欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Flink on yarn的部署

程序员文章站 2022-07-14 13:42:28
...

1.环境变量配置

若要在Yarn上运行Flink应用,必须事先告诉Flink和yarn有关的配置。需要怎么告诉Flink呢?

提交Flink任务的client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR环境变量,通过这个环境变量来读取YARN和HDFS的配置信息,否则提交任务会失败。

2.提交Flink任务到yarn的两种方式

同时启动Yarn application和Flink task

flink run -m yarn-cluster -ys 8 -ynm myapp -yn 4 -yjm 1024 -ytm 4096 -d -c com.paultech.MyApp ./myapp.jar

参数说明:

  • -m 运行模式,这里使用yarn-cluster,即yarn集群模式。
  • -ys slot个数。
  • -ynm Yarn application的名字。
  • -yn task manager 数量。
  • -yjm job manager 的堆内存大小。
  • -ytm task manager 的堆内存大小。
  • -d detach模式。可以运行任务后无需再控制台保持连接。
  • -c 指定jar包中class全名。

先启动Yarn application,再在指定的application内运行Flink task

启动yarn session的命令如下:

yarn-session.sh -d -n 4 -nm riskmanater -jm 1024 -tm 4096 -t relative/path/to/file

相关参数解释:

  • -d: Detach模式
  • -nm: Application名称
  • -jm: Job Manager 容器的内存
  • -tm: Task Manager 容器的内存
  • -t: 传送文件至集群,使用相对路径。程序中读取文件仍使用相对路径
    这里的参数和上面flink的类似,只不过少了前缀y

在特定Flink yarn session上提交Flink任务:

flink run -yid application_12345678 --class MainClassFullPath riskmanager.jar

这里使用-yid参数来指定任务运行于那个Flink yarn session之上。

)

相关标签: 大数据复习