字节大模型面到三面了！撑住！

继续贴一下整理好的面试记录😬


面试问题：
- MLA是怎么做的？为什么它比LoRA快？同样是低秩分解，为啥推理时LoRA慢而MLA快？
- LoRA算法是怎么工作的？它的参数是怎么初始化的？你觉得它有什么缺点？
- 能介绍一下Flash Attention吗？它是怎么做到既省显存又提速的？
- 能聊聊你在阿里做的工作吗？RM的MoE结构为什么这么设计？参数量大概是多少？
- 提升模型的推理能力和指令跟随能力，哪个更难？为什么？优化指令跟随能力的方法和优化推理能力的方法有什么不同？
- RLHF的幻觉实验具体是怎么做的？能详细说说实验步骤吗？
代码题：
- 用np手撕beam search，我大概写了下实现，比如怎么办理beam中的序列，怎么计算新序列得分，这个确实抽象了（既然遇见了，有时间还是准备一下吧）

还有需要注意的是，在面试的时候，进入飞书会议后，不要切换后台！不要切换网页！不要切换窗口！只要切换了，就会被检测到（字节面试官亲自提示过😭