Flink 如何确认自己的并发是否合理?
理论上 flink作业的并发数和作业整体的处理速度成正比, 在Flink作业上线初期, 可以先设置较少的并发, 查看当前的处理速度.
- 查看Flink作业的相关指标,确认作业的处理能力。查看flink算子的numrecordsoutpersecond指标,确认source的处理速度Flink metrics 指标链接:http://flink.iteblog.com/monitoring/metrics.html
- 查看上游消息的产生速度。 查看Flink作业消费的topic的生产速度 指标
- 利用监控系统:如果你的环境中已经有监控系统,可以考虑将 Kafka 的指标集成到监控系统中。一些监控系统提供了对 Kafka 的监控支持,可以直接查看 topic 的生产速度和其他相关指标。
- 使用特定命令
获取指定 Kafka 主题特定时间点偏移量的命令。 bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic --time -1 bin/kafka-run-class.sh:这是执行 Kafka 相关类的脚本。 kafka.tools.GetOffsetShell:表示要运行获取偏移量的工具类。 --broker-list localhost:9092:指定了 Kafka 代理的地址和端口。 --topic your_topic:明确要操作的主题名称。 --time -1:这里的 -1 通常表示获取最新的偏移量。也可以用13位时间戳
通过两者的速度差, 则可以确认需要扩充的并行数量,得出需要设置的并发数.
感觉不错的宝宝可以送个花哈~ 感谢感谢~~
---点击下方送朵花按钮---
#大数据##offer##经验##面经##flink##投票#