使用Flink Maven项目进行词频统计

批处理
def main(args: Array[String]): Unit = {
//创建执行环境
val env = ExecutionEnvironment.getExecutionEnvironment

//从文件中读取数据
val unit = env.readTextFile("C:\\Intel\\day046\\input\\word.txt")
//进行数据处理
val ww = unit.flatMap(_.split(",")).map((_,1)).groupBy(0).sum(1)

//进行数据结果打印输出
ww.print()

}

流处理
def main(args: Array[String]): Unit = {
//创建执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment

//从端口读取数据
val unit = env.socketTextStream("hdp222",555)

//进行数据处理
val ww = unit.flatMap(_.split(",")).map((_,1)).keyBy(0).sum(1)

//打印输出
ww.print()
env.execute()

}