spark streaming入门
1234567891011121314# 构建一个 Spark Streaming 应用程序的4 个步骤scala> val ssc = new StreamingContext(sc,Seconds(5))scala> val lines = ssc.socketTextStream(
...
spark streaming 基础与调优
发表于
|
分类于
spark
spark-streaming的状态更新updateStateByKey、reduceByKeyAndWindow必须启用检查点功能，因为有状态的操作是从程序开始时一直进行的
DStream操作
与RDD相同的操作方法
transform：用于直接操作DStream内部的RDD，那些DStream没
...
scala 日志处理实例
发表于
|
分类于
scala
日志格式
100.97.15.241 - - [19/Aug/2016:11:05:47 +0800] “GET /view.php HTTP/1.0” 200 0 “http://www.gooogle.cn/search?q=hadoop" “Mozilla/5.0 (compa
...
scala 学习入门
发表于
|
分类于
scala
基本类型
大部分都能隐式转换，Byte、Short需要显式指定
12val little : Byte = 3val little:Short = 3
char、String支持\转义
12val a = 'a' //char = 'a'val str = "hello \101"
...