配置和官方最简案例(NetCatSource、LoggerSink)
程序员文章站
2022-12-10 17:10:35
Flume(1)——配置和官方最简案例(NetCat Source、Logger Sink)
Flume组成部分
Flume的主要组成部分就是Age...
Flume(1)——配置和官方最简案例(NetCat Source、Logger Sink)
Flume组成部分
Flume的主要组成部分就是Agent和Agent中的Source、Channel、Sink。Source、Channel、Sink都有固定类型的支持。只要配置了适当类型的组件就可以传输数据了。例如:
NetCat Source:从socket端口获取数据作为Source
Kafka Source:从Kafka获取数据作为Source
Logger Sink:将数据写入到Logger
Kafka Sink:将数据写入到Kafka
HDFS Sink:将数据写入到HDFS
Flume下载
Flume安装
解压到一个目录即可。
flume目录结构
(可选操作)配置环境变量
Flume配置
修改flume-env.sh.template为flume-env.sh
JAVA_HOME配置项
如果环境变量配置了JAVA_HOME,这里也可以不配置。
JAVA_OPTS配置项
可以通过这个参数配置设置Java内存的大小。
查看Flume版本
flume-ng version
下一篇: C++拷贝控制