第一题还是位图可以解决问题,如果用取Hash值的方法确定数据在小文件中的位置,不能够应对数据倾斜的问题。。。当然如果用Flink流式处理的思想边来边聚合是可以的,这里也不用一直加,如果同一个数据来了两次第三次直接扔掉就行了。
点赞 评论

相关推荐

10-05 23:02
东北大学 Java
我说句实话啊:那时候看三个月培训班视频,随便做个项目背点八股,都能说3 40w是侮辱价
点赞 评论 收藏
分享
牛客网
牛客企业服务