Flink 如何确认自己的并发是否合理?

理论上 flink作业的并发数和作业整体的处理速度成正比, 在Flink作业上线初期, 可以先设置较少的并发, 查看当前的处理速度.

  1. 查看Flink作业的相关指标,确认作业的处理能力。查看flink算子的numrecordsoutpersecond指标,确认source的处理速度Flink metrics 指标链接http://flink.iteblog.com/monitoring/metrics.html

  1. 查看上游消息的产生速度。 查看Flink作业消费的topic的生产速度 指标
  2. 利用监控系统:如果你的环境中已经有监控系统,可以考虑将 Kafka 的指标集成到监控系统中。一些监控系统提供了对 Kafka 的监控支持,可以直接查看 topic 的生产速度和其他相关指标。
  3. 使用特定命令
获取指定 Kafka 主题特定时间点偏移量的命令。

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic --time -1

bin/kafka-run-class.sh:这是执行 Kafka 相关类的脚本。
kafka.tools.GetOffsetShell:表示要运行获取偏移量的工具类。
--broker-list localhost:9092:指定了 Kafka 代理的地址和端口。
--topic your_topic:明确要操作的主题名称。
--time -1:这里的 -1 通常表示获取最新的偏移量。也可以用13位时间戳

通过两者的速度差, 则可以确认需要扩充的并行数量,得出需要设置的并发数.

感觉不错的宝宝可以送个花哈~ 感谢感谢~~

---点击下方送朵花按钮---

#大数据##offer##经验##面经##flink##投票#
全部评论

相关推荐

昨天 11:35
蚌埠坦克学院 C++
现在进来个骚扰电话,我都会激动的以为是hr电话
阿杰阿杰:是这样的 有的时候还担心HR电话被标记为诈骗电话 还不放心 得接一下
点赞 评论 收藏
分享
10-30 23:23
已编辑
中山大学 C++
去B座二楼砸水泥地:这无论是个人素质还是专业素质都👇拉满了吧
点赞 评论 收藏
分享
1 收藏 评论
分享
牛客网
牛客企业服务