Flink 如何确认自己的并发是否合理?

理论上 flink作业的并发数和作业整体的处理速度成正比, 在Flink作业上线初期, 可以先设置较少的并发, 查看当前的处理速度.

  1. 查看Flink作业的相关指标,确认作业的处理能力。查看flink算子的numrecordsoutpersecond指标,确认source的处理速度Flink metrics 指标链接http://flink.iteblog.com/monitoring/metrics.html

  1. 查看上游消息的产生速度。 查看Flink作业消费的topic的生产速度 指标
  2. 利用监控系统:如果你的环境中已经有监控系统,可以考虑将 Kafka 的指标集成到监控系统中。一些监控系统提供了对 Kafka 的监控支持,可以直接查看 topic 的生产速度和其他相关指标。
  3. 使用特定命令
获取指定 Kafka 主题特定时间点偏移量的命令。

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic --time -1

bin/kafka-run-class.sh:这是执行 Kafka 相关类的脚本。
kafka.tools.GetOffsetShell:表示要运行获取偏移量的工具类。
--broker-list localhost:9092:指定了 Kafka 代理的地址和端口。
--topic your_topic:明确要操作的主题名称。
--time -1:这里的 -1 通常表示获取最新的偏移量。也可以用13位时间戳

通过两者的速度差, 则可以确认需要扩充的并行数量,得出需要设置的并发数.

感觉不错的宝宝可以送个花哈~ 感谢感谢~~

---点击下方送朵花按钮---

#大数据##offer##经验##面经##flink##投票#
全部评论

相关推荐

offerboyyyy:之前看到降温完收到offer了的呢佬,可以签保底等
点赞 评论 收藏
分享
totoroyyw:千年老妖😂
投递华为等公司10个岗位
点赞 评论 收藏
分享
评论
1
收藏
分享
牛客网
牛客企业服务