• 第一步,实时平台的 Flink Jar 任务提交,Flink Jar 任务版本管理,Docker Flink 任务镜像构建,上传镜像到 Docker 镜像仓库;

  • 第二步,任务启动;

  • 第三步,yaml 文件创建;

  • 第四步,和 k8s Api Server 之间进行命令交互;

  • 五步,从 Docker 镜像仓库拉取 Flink 任务镜像到 Flink k8s 集群;

  • 最后,任务运行。这边有几个 tips:

     

    • 作业模式为 Flink Standalone Per Job 模式;

    • 每个 Flink Jar 任务一个镜像,通过任务名称 + 时间截作为镜像的版本;

    • JobManager 需要创建为 Deployment 而不是 Job 类型;

    • Dockerfile 指定 HADOOP_USER_NAME,与线上任务保持一致。

 

 

最后修改于 2021-06-01 09:28:49
上一篇