Flink快速入门--安装与示例运行

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。

首先要想运行flink，我们需要下载并解压flink的二进制包，下载地址如下：

我们可以选择flink与scala结合版本，这里我们选择最新的1.9版本apache flink 1.9.0 for scala 2.12进行下载。

下载成功后，在windows系统中可以通过windows的bat文件或者cygwin来运行flink。

在linux系统中分为单机，集群和hadoop等多种情况。

通过windows的bat文件运行

首先启动cmd命令行窗口，进入flink文件夹，运行bin目录下的start-cluster.bat

注意：运行flink需要java环境，请确保系统已经配置java环境变量。

$ cd flink
$ cd bin
$ start-cluster.bat
starting a local cluster with one jobmanager process and one taskmanager process.
you can terminate the processes via ctrl-c in the spawned shell windows.
web interface by default on http://localhost:8081/.

显示启动成功后，我们在浏览器访问
可以看到flink的管理页面。

通过cygwin运行

cygwin是一个在windows平台上运行的类unix模拟环境，官网下载：

安装成功后，启动cygwin终端，运行start-cluster.sh脚本。

$ cd flink
$ bin/start-cluster.sh
starting cluster.

显示启动成功后，我们在浏览器访问
可以看到flink的管理页面。

linux系统上安装flink

单节点安装

在linux上单节点安装方式与cygwin一样，下载apache flink 1.9.0 for scala 2.12，然后解压后只需要启动start-cluster.sh。

集群安装

集群安装分为以下几步：

1、在每台机器上复制解压出来的flink目录。

2、选择一个作为master节点，然后修改所有机器conf/flink-conf.yaml

jobmanager.rpc.address = master主机名

3、修改conf/slaves,将所有work节点写入

work01
work02

4、在master上启动集群

bin/start-cluster.sh

安装在hadoop

我们可以选择让flink运行在yarn集群上。

下载flink for hadoop的包

 保证 hadoop_home已经正确设置即可

启动 bin/yarn-session.sh

运行flink示例程序

批处理示例：

提交flink的批处理examples程序：

bin/flink run examples/batch/wordcount.jar

这是flink提供的examples下的批处理例子程序，统计单词个数。

$ bin/flink run examples/batch/wordcount.jar
starting execution of program
executing wordcount example with default input data set.
use --input to specify file input.
printing result to stdout. use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)

得到结果，这里统计的是默认的数据集，可以通过--input --output指定输入输出。

我们可以在页面中查看运行的情况：

流处理示例：

启动nc服务器：

nc -l 9000

提交flink的批处理examples程序：

bin/flink run examples/streaming/socketwindowwordcount.jar --port 9000

这是flink提供的examples下的流处理例子程序，接收socket数据传入，统计单词个数。

在nc端写入单词

$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye

输出在日志中

$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4

停止flink

$ ./bin/stop-cluster.sh

大数据实时处理的王者-flink

更多实时计算,flink,kafka等相关技术博文，欢迎关注实时流式计算