当数据量比较大时，使用常规的方式来判重就不行了。例如，使用 MySQL 数据库判重，或使用 List.contains() 或 Set.contains() 判重就不行了，因为数据量太大会导致内存放不下，或查询速度太慢等问题。 1.空间占用量预测 正常情况下，如果将 40 亿 QQ 号存储在 Java 中的 int 类型的话，一个 int 占 4 字节（byte）那么 40 亿占用空间大小为： 4000000000*4/1024/1024/1024=14.9 GB 1GB=1024MB，1MB=1024KB，1KB=1024B（byte） 所以，我们无法使用正常的手段进行 40 亿 QQ ...

2024-11-23 一编---------------------bg：985本想投java实习，想问问投日常还是准备暑期实习？面试经验为零，八股只看了一点java guide，最近项目收尾了才准备开始把重心放到八股上，想了解下八股怎么背效率高一点orz技术栈只跟着黑马的课学到redis，还不太深入。算法的话力扣题量400+，hot100和剑指offer刷了一遍，最近在二刷hot100。有一个用github page部署的个人博客，拉的github上的模板写的，链接在简历里面有过做实际落地项目（简历的第二个项目）的经验，是大二下找学院里老师加的开发组，项目甲方是某国企，一直到现在大三上开学收尾，做的都是打杂的crud类型的业务想问问简历怎么改，以及还有哪些我可以做的事情，求大佬们的建议！！不玻璃心！！！非常感谢！！2025-1-10 二编---------------------换掉了原来的点评+外卖项目 #简历# #简历完善# #简历求指导# #java#

刚一点面的，就面了十来分钟。1. 自我介绍:然后我说了一下项目的背景和上下游关系和价值。2. 问怎么开发dwd模型的。(我答的是模型建设5要素)3. 问写过udf函数没有(没写过)4. 我的优点吧(我说我学习积极，身体素质好)，面试官说是聊下你的技术方面(我答的是hive，spark，hadoop这些)。5. 问了不了解SQL的存储过程(数仓为啥要写存储过程啊)6. 然后开始反问(问了下部门业务，面试官说主要是做治理这一块，看我简历说我是在做开发是吧)，(问了下部门架构)7. 没了，就十来分钟。