-
第一步,实时平台的 Flink Jar 任务提交,Flink Jar 任务版本管理,Docker Flink 任务镜像构建,上传镜像到 Docker 镜像仓库;
-
第二步,任务启动;
-
第三步,yaml 文件创建;
-
第四步,和 k8s Api Server 之间进行命令交互;
-
第五步,从 Docker 镜像仓库拉取 Flink 任务镜像到 Flink k8s 集群;
-
最后,任务运行。这边有几个 tips:
-
作业模式为 Flink Standalone Per Job 模式;
-
每个 Flink Jar 任务一个镜像,通过任务名称 + 时间截作为镜像的版本;
-
JobManager 需要创建为 Deployment 而不是 Job 类型;
-
Dockerfile 指定 HADOOP_USER_NAME,与线上任务保持一致。
-
最后修改于 2021-06-01 09:28:49