欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Flink on Yarn

程序员文章站 2022-07-14 13:41:28
...

Flink 提供了两种在 yarn 上运行的模式,分别为 Session-Cluster 和 Per-Job-Cluster模式。
1) Session-cluster 模式:
Flink on Yarn
Session-Cluster 模式需要先启动集群,然后再提交作业,接着会向 yarn 申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn 中的其中一个作业执行完成后, 释放了资源, 下个作业才会正常提交。所有作业共享 Dispatcher 和 ResourceManager;共享资源;适合规模小执行时间短的作业。
在 yarn 中初始化一个 flink 集群,开辟指定的资源,以后提交任务都向这里提交。这个 flink 集群会常驻在 yarn 集群中, 除非手工停止

  • 启动方式
./yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

其中:

-n(--container): TaskManager   的数量。
-s(--slots): 每个 TaskManager 的 slot 数量,默认一个 slot 一个 core,默认每个taskmanager 的 slot 的个数为 1, 有时可以多一些 taskmanager,做冗余。
-jm: JobManager 的内存( 单位 MB)-tm:每个 taskmanager 的内存(单位 MB)-nm: yarn 的 appName(现在 yarn 的 ui 上的名字)-d:后台执行。
  • 执行任务
./flink run -c com.wen.flink.WordCountDemo
FlinkWorkCount-1.0-jar-with-dependencies.jar --host lcoalhost –port 9999

2) Per-Job-Cluster 模式:
Flink on Yarn
一个 Job 会对应一个集群,每提交一个作业会根据自身的情况,都会单独向 yarn 申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。独享 Dispatcher 和 ResourceManager,按需接受资源申请;适合规模大长时间运行的作业。
每次提交都会创建一个新的 flink 集群,任务之间互相独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。

提交job

./flink run –m yarn-cluster -c com.wen.flink.WordCountDemo
FlinkWorkCount-1.0-jar-with-dependencies.jar --host lcoalhost –port 9999
相关标签: Flink flink