#软件开发2024笔面经# 0)项目中遇到哪些问题?1)业务数据采集框架选择(FlinkCDC,Maxwell,Canal)2)Dwd 层新老访客修复、Dws层用户回流状态过大,选择状态后端不合理导致OOM3)状态后端选择 RocksDB导致链路延迟过高4)Dws层读取外部数据库维度数据网络延迟过高导致反压5)数据倾斜导致的反压6)Flink SQL 未设置 TTL 导致的 OOM7)改变程序拓扑结构,通过Savepoint恢复程序未指定算子Uid 导致的报错8)Kafka 分区动态增加,Flink键控不到新分区数据导致数据丢失9)某个Kafka分区没有数据,导致 Flink下游水位线无法抬升,窗口无法关闭计算10) Kafka的问题(挂了、丢了、重复了、积压了、乱序了、如何提高吞吐量)11) Hbase 的rowkey设计不合理导致的数据热点问题12) Redis做旁路缓存,与Hbase的数据一致性问题13) Flink写Clickhouse的精准一次性问题14) Clickhouse 的优化问题 #大数据# #数据人的面试交流地# #offer#