想看看大家对大模型赛道和金融风控赛道的看法。目前京东金融开了并逼签， 总包没有那么离谱，但是也还比较可观。还有度小满这种金融风控，估计快开奖了，应该总包低一些，结构更好？大模型的话目前在看 minimax， 也差不多不能再拖了，总包低一些，但是应该能谈？ 其他的腾讯淘天滴滴快手之类的，一个是估计等不到了，另一个是总包大概率低 10-15。不知道金融风控赛道是不是更稳定轻松，又怕没有大模型的前景。 看看大家的看法。

从上次飞书 3 面挂，内部流转后，再次三面挂。绷不住了，秋招面了五六个组 11 面了，面不动了，草。真的生气了。还好淘天今天 发意向，快手转评估了。希望以后我面的那几个部门业绩都越来越差

minimax 已经 oc 并且开奖了，还挺有想法的。但是很怕这种初创撑不到我毕业或者毕业一年内就寄了，直接没有应届生身份。所以看看牛客上能不能捞到有在这边工作实习的同学，想聊聊看法。 网上的信息实在是太少了。

华为今天晚上打电话来咨询意向情况，然后恭喜我拿到了 offer。 我问是保温，可能开出来还是一定有，他说是一定有的，已经过了。然后问我线下面谈有没有意愿，就随便聊了聊。有同学有知道这种情况吗？华为能这么早泡出来？开奖他说这个电话之后估计也快了，具体时间没说。

上周线下面完，一直是三面完成状态，今天发现多了一行字“部门正抓紧评估结果”，为啥会突然给我加一行字啊，好慌。面试官上周就加微信了，说是正常推进中，也不太敢问他。有没有同学也出现过？更新：上午 HR 打电话说准备发意向了。十一月谈薪

之前看到别的同学各种字节 x 面挂，细细算下来我也已经要 8 面了，算上暑期已经面了 12 次了。四月 字节 Data 架构 二面挂七月 字节 NLP 信息中台 三面挂八月 字节 筋斗云推荐算法 二面挂九月 字节 电商对话大模型 一面挂九月 字节 商业化大模型 一面挂十月 字节 大模型安全 二面挂十月 字节 飞书 约二面除了四月的二面 后端多进程代码题没写出来，其他的所有代码题都写出来了。中间大部分挂的理由是叙事比较啰嗦，抓不住重点，但是面评没黑，能一直捞。问题不大，我比较剑，喜欢被反复的感觉。

最近比较忙，面试也没停，不记得太多了，写一些我觉得比较有意思的。来源淘天 度小满 快手 字节等1. Bert 的结构和预训练任务2.Bert 的 MLM 任务和 word2vec 的上下文预测中间有啥区别？3. 知不知道 rag 用的 embedding 和 bert 的区别？4. rag 检索会有啥优化？5. lora 微调在显存上主要节省的是哪部分空间？（优化器）6. 微调数据集怎么做的采样？怎么优化？7. 强化学习的一些，DPO 的一些优化8. attention 有哪些优化？（其实不太懂，我就说 GQA MQA）其他的大部分八股都是很常见的，主要是最近被连续问了两次 embedding 相关，可以看看 bge 的预训练任务代码比较常规吧，有意思的是二分类器输入 100 bs 的 64 维度输入和 Y label，自己实现 sigmoid BCE layerNorm， 先过一个 Linear 再过 layerNorm 再过 Linear 再计算 loss 返回

淘天二面1.自我介绍2.说是简单问几个基础题BatchNorm 和 LayerNorm 的区别？BatchNorm 计算的均值方差的维度是什么？（给我的是一个图片处理的维度，他说虽然我是 NLP，但是应该也做过图片吧？我说没有做过，面试官说问都问了就问到底吧。。。我：啊？）LayerNorm 的计算的维度呢？为什么 NLP 不用 BatchNorm？（重点是想听我回答样本长度不一样）BatchNorm 公式，除了做基本的归一化，还有几个参数？（我讲了放缩和偏移值，应该还有一个 epsilon）为什么要放缩和偏移？（说不太好）3. 开始问项目其实主要就是围绕 RAG 记忆项目这一个聊了聊代码题两个字符串相乘（我写的是第一种笨的解法，实现加法再实现乘法，代码量很大，和面试官逐步梳理了一遍代码，他说应该没啥问题，但是估计要跑通还是有 bug，记事本也不要求跑通了。 然后就跟我说另一种直接用 I j 计算位置的方法）反问

北京通用人工智能研究院两个面试官一男一女1. 自我介绍2.项目你决定你这些数据处理的工作，心得是什么？为什么你会用 Qwen2 而不是其他模型？如何评测你所谓的对话风格？目前有什么优化点？对话记忆这块你是怎么做的？具体讲一下。（中间讲到 mem0，还一起吐槽了一下这个项目不值得那么多🌟）手写一下 DPO 的 loss（中间还写错了一个 sigmoid 写成了 softmax）为什么公式里要 ref 模型？DPO 被称为数据分布偏移敏感，你知道是什么原因吗？（草，啥玩意）有了解过传统的 RL 那块吗？（不了解）有用过推理加速啥的吗？讲一下代码题1. MultiheadAtten 2. BPE 分词（这个代码是真折磨啊，没写过主要是，写了个很庞大丑陋的代码， 最后有几个 bug 所以没跑通，反正就是面试官两个人也反复跟我拉扯代码细节，就是硬要我跑一下。。。后面还是遗留了一个 sort 字典的 bug 没跑通，就发了份我的代码，面试官说线下他在慢慢看）BPE 这题拉扯了 30 分钟，他们真的好认真在面试。

网易互娱 NLP 吧，没写代码，纯纯项目八股，喉咙冒烟。1.自我介绍2.蚂蚁实习问了一下项目的联邦学习 梯度攻击思路用了哪些 peft 微调？介绍一下有没有了解过 Qlora？他具体是怎么量化的？（不太清楚）3.商汤实习除了 sft 还用过什么对齐手段吗？PPO 和 DPO 的区别讲一下？了解新的一些 RLHF 吗？KTO 啥的。（不太了解了）线上模型是怎么评测的？涉及到人工你们是怎么做的？4.八股transformer 的位置编码是怎么样的形式？还了解哪些新的位置编码？能介绍一下 self attention 吗？为什么要除以根号 dk？MHA MQA GQA 了解吗？讲一下你知道 transformer 原始的 FFN 是什么结构吗？你知道 transformer 的 Norm 怎么做的吗？现在大模型一般用什么 Norm？反问还有很多忘记了，反正就纯聊

百度智源连着，难蚌百度感觉又寄了。。。。面试官一点兴趣没有的样子，有点压力。1.自我介绍2.项目拷打大模型联邦学习你们是做了什么？为什么用 Qwen2？你们有没有遇到一些比较创造性的任务小模型比大模型差很多？怎么抉择。你所谓的高质量数据，这个质量是怎么评定的？二分类任务一般用哪些指标判断？（我说 auc，因为自己做一些推荐预测是样本非常不均衡）那对于不均衡样本有什么办法吗？（我说重采样欠采样）从训练角度有什么办法吗？（不会。。。loss 可以有权重啥的瞎讲）这些指标你一般看哪些？ppl 是什么？都是概率，他和交叉熵有什么区别？有注意一般训练都会输出 ppl 吗？为啥？KL 散度和交叉熵的关系？为什么不用 KL 散度做 loss？介绍一下 DPO有了解一些更新的 RLHF 吗代码题看到我写 Cpp，又问了几个 Cpp。。。都回答错了，太久远了。代码题是类似于两个有序数组合并，但是要原地，第一个数组空间足够。我归并的 and or 写错了一个，没跑出来。。。。只给了不到 10 分钟，然后不让我写了，也不问思路。反问做什么业务：百度输入法，就不想问了，还急着智源。。。智源说是 coding 面但是比较简单1.自我介绍介绍了一下 peft 的那些几种微调方式什么时候选择 lora？lora 的几种变种知道吗？（不太清楚了，只知道一两个）项目随便聊聊一个一个问了几分钟。代码题括号生成 回溯反问 总的 25 分钟感觉百度又凉了，很崩溃

大模型面了三面，没有新锐加面没有 HR 以为要寄了，竟然直接发 oc 了泪目。秋招第一个正式 oc，给被挂麻了的我一点安慰，希望不是大白菜。感谢爹滴。

咱就是说，笔试非得安排工作日这合理吗？有实习的都不能去呗？还有 vivo，12 号晚上 10.58 发 13 号下午 3 点笔试？？？ 跟招行信用卡冲突，也没这样安排的吧？上周的小米，携程都是工作日，没做这周也没发了。vivo 直接一次机会，不参加默认放弃，那直接挂简历得了。。。。。食不食油饼？

应该是某部门里的算法团队，有大模型相关的1.自我介绍2.项目详细拷打3.长记忆这块除了 rag，你们有试过长文本模型吗？为什么不好？你们使用的扩充到 32K 的模型还是预训练本身就 32K 的模型？4.你们记忆检索怎么检索的？有做什么优化吗？5. 有没有了解过 loss in middle？（应该是这个？应该是说中间的注意下降吧？不是很懂这个原理）6.DPO PPO 能讲一下它们的区别吗？有没有了解过更前沿的 RLHF？7.DPO 里你刚刚说的 reject chosen 的 loss 里的概率是怎么计算的知道吗？8. 简单讲讲 transformer bert 一类的模型的结构吧。9.attention 公式是什么？为什么要除以根号 dk？10. 你们模型效果怎么评估？上线有具体准确率之类的要求吗？11. 安全对齐这块，你们有做样本分布统计吗？ 就是具体涉及到哪些类？代码题最大乘积连续子数组