Flink 运维
docker 安装 flink
(1)使用 docker 命令拉取镜像
(2)编写 docker-compose.yml
,内容如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
| version: '2.1' services: jobmanager: image: flink expose: - '6123' ports: - '8081:8081' command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager
taskmanager: image: flink expose: - '6121' - '6122' depends_on: - jobmanager command: taskmanager links: - 'jobmanager:jobmanager' environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager
|
(3)执行 docker-compose,命令如下:
(4)打开浏览器,访问 http://127.0.0.1:8081
Flink 配置
基础配置
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
| jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
|
高可用配置
容错和 checkpoint 配置
Web UI 配置
高级配置
Flink 集群安全配置
1 2 3 4 5 6 7 8 9 10 11
| # 指示是否从 Kerberos ticket 缓存中读取 # security.kerberos.login.use-ticket-cache: true
# 包含用户凭据的 Kerberos 密钥表文件的绝对路径 # security.kerberos.login.keytab: /path/to/kerberos/keytab
# 与 keytab 关联的 Kerberos 主体名称 # security.kerberos.login.principal: flink-user
# 以逗号分隔的登录上下文列表,用于提供 Kerberos 凭据(例如,`Client,KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证) # security.kerberos.login.contexts: Client,KafkaClient
|
Zookeeper 安全配置
参考资料