Skip to content

Flink 作业执行流程(Cluster Mode On YARN)

  • flink

获取执行路径,获取配置信息,环境变量,日志配置,执行命令,提交给 CliFrontend

  • CliFrontend

加载环境及配置信息,初始化,解析并执行请求

run

解析配置信息,生成运行时信息

构建 PackagedProgram

执行 runProgram,获取 ClusterDescriptor,计算并行度,生成 JobGraph,提交作业

清理资源及文件

build

  • code -> transformations List
  • StreamGraphGenerator -> StreamGraph
  • StreamingJobGraphGenerator -> JobGraph
  • ExecutionGraphBuilder -> ExecutionGraph

resource

  • 查找已分配 slot 是否符合条件
  • 查找 slotPool 是否有空闲的
  • 向 RM 组件申请 slot,向 YARN 的 RM 申请 container
  • YARN 初始化 container,通知 container 申请成功
  • 部署 TM ,向 RM 注册
  • RM 向 TM 申请 slot
  • TM 向 JM 注册,并提供 slot
  • JM 向 TM 的 slot 部署 task

Reference