字节大模型二面面经（持续记录！！

继续贴一下整理好的面试记录😬面试问题：- MLA是怎么做的？为什么它比LoRA快？同样是低秩分解，为啥推理时LoRA慢而MLA快？- LoRA算法是怎么工作的？它的参数是怎么初始化的？你觉得它有什么缺点？- 能介绍一下Flash Attention吗？它是怎么做到既省显存又提速的？- 能聊聊你在阿里做的工作吗？RM的MoE结构为什么这么设计？参数量大概是多少？- 提升模型的推理能力和指令跟随能力，哪个更难？为什么？优化指令跟随能力的方法和优化推理能力的方法有什么不同？- RLHF的幻觉实验具体是怎么做的？能详细说说实验步骤吗？代码题：- 用np手撕beam search，我大概写了下实现，比如怎么办理beam中的序列，怎么计算新序列得分，这个确实抽象了（既然遇见了，有时间还是准备一下吧）还有需要注意的是，在面试的时候，进入飞书会议后，不要切换后台！不要切换网页！不要切换窗口！只要切换了，就会被检测到（字节面试官亲自提示过😭

自我介绍项目。用文本进行图像搜索项目，用户的输入文本和训练使用的有偏差怎么办（例如比较口语化）？从现场弄一些数据进行微调，或者给用户一下提示，让用户知道怎么样能更好的匹配。无做题。反问：岗位相关。为什么支付宝现在支付会减几块钱？以及碰一碰。因为wx一般大家都是打开的，买东西的时候，不用切换app进行支付。简单的优势就导致支付宝落在了下风，因此用优惠和碰一碰来和wx竞争。40 min结束。一分钟后面试通过。蚂蚁的面试流程真是舒服啊！

面试问题：- 聊聊对transformer的理解，整体结构是怎样的？几个部分组成- Attention的公式里为什么要除以根号dk？这个操作有什么作用？另外，为什么在训练过程中容易出现梯度消失或梯度爆炸的问题？- （针对简历提问）在sft中遇到了哪些问题？最后是怎么解决的？能不能分享一下你的经验？（好好好套方案？）- （针对简历提问）领域大模型数据配比是如何考虑的？不同领域的数据比例如何确定？- 为什么现在的LLM都是Decoder-only？这种结构有什么优势？- ADAM优化器比SGD好在哪？简单介绍一下梯度下降的原理，ADAM是怎么改进的？。。。代码题：- 给定一个互不相同的整数数组 nums，求其所有子集（幂集）。（类似leetcode78）- （第二个题好像是个字符串的题，忘了）

先自我介绍。项目。感觉面试官不太懂多模态。也没问啥。无八股。做题。代码：三数之和。钉钉出现故障，面试官口述了问题，然后让我讲了一下思路。反问。面试官说了很多。挺能聊的。岗位主要是做 agent 相关，用户出行规划、订票(机票火车票)建议。工作内容还可以，不是那么无聊。感觉不太匹配，50%概率挂。