蹲粮厂面经

应该是某部门里的算法团队，有大模型相关的1.自我介绍2.项目详细拷打3.长记忆这块除了 rag，你们有试过长文本模型吗？为什么不好？你们使用的扩充到 32K 的模型还是预训练本身就 32K 的模型？4.你们记忆检索怎么检索的？有做什么优化吗？5. 有没有了解过 loss in middle？（应该是这个？应该是说中间的注意下降吧？不是很懂这个原理）6.DPO PPO 能讲一下它们的区别吗？有没有了解过更前沿的 RLHF？7.DPO 里你刚刚说的 reject chosen 的 loss 里的概率是怎么计算的知道吗？8. 简单讲讲 transformer bert 一类的模型的结构吧。9.attention 公式是什么？为什么要除以根号 dk？10. 你们模型效果怎么评估？上线有具体准确率之类的要求吗？11. 安全对齐这块，你们有做样本分布统计吗？ 就是具体涉及到哪些类？代码题最大乘积连续子数组

9.7 50min1、自我介绍2、实习拷打3、基本数据类型和引用类型区别4、谈谈你对C++和Java两种语言的理解和感受5、Java的数据类型有哪些6、介绍一些排序算法手撕：选一种提到的排序算法一开始选的冒泡（不想写快排），写完后问我为什么选简单的写。后面没办法又撕快排，直接卡死爆栈溢出，调了很久没搞出来，面试官又引导，难绷。这下好了，直接觉得我知难而退

一面介绍你最熟悉的项目数据质量、来源训练细节、模型评估BPE拷打论文、问其他工作的区别手撕：链表easy题手撕MHA二面拷打项目数据清洗、分词、配比数据来源、代码比例并行策略loss抖动对齐拷打论文八股：生成式和判别式、KL散度三面hr职业规划选择offer看什么base、薪资期望老家哪的有无其他offer具体问题可以私聊我虽然是提前批，但是流程不算快，隔几天出结果

好久不见，距离上一次发博客已经过去整整半年了，最近又收到了入职两周年的推送，再一次提醒我时光飞逝，不知不觉都过了25岁，不再是”职场萌新“了。先感谢上一篇文章的关注者和读者们，当然也是非常感谢二哥（@沉默王二）的转发，博客在公众号和牛客都能有这么多人分享和点赞有点惊讶，看到99+也着实受宠若惊。发现可以帮助到其他人，也很高兴。这篇博客里写一些近半年的经历思考、书籍分享，还有一些副业的变动。近况和思考时间飞快，不知不觉已经工作两年，也25岁了。随着逐渐熟悉进入舒适区，平时有了更多时间跳出圈外去思考工作和生活。正式“奔3”了，停下来想一想，2024是我觉得最有收获的一年，因为从来没有这么立体地思考...