目前在北京某大厂，未落户，湖北人，4年工作经验，拿到几个offer，请路过的个位大佬给个意见

先自我介绍。项目。感觉面试官不太懂多模态。也没问啥。无八股。做题。代码：三数之和。钉钉出现故障，面试官口述了问题，然后让我讲了一下思路。反问。面试官说了很多。挺能聊的。岗位主要是做 agent 相关，用户出行规划、订票(机票火车票)建议。工作内容还可以，不是那么无聊。感觉不太匹配，50%概率挂。

1.DeepSpeed Zero(123)2.流水线并行3.显存中模型参数，梯度，优化器参数的比例4.混合精度，在模型训练的过程中混合精度的变化过程5.流水线并行的时候气泡现象6.介绍PPO，DPO，GRPO7.Prompt设计8.模型重复输出应该如何解决9.TopK,TopP,Temperature10.介绍Encode结构11.有哪些位置编码12.RoPE如何实现13.DeepSeek的注意力机制MLA14.DeepSeek的混合专家模型MoE15.模型的外推性16.Layer normalization在前面和在后面的区别和优缺点17.Batch norm相比Layer norm18.RMS norm为啥去掉减去均值的步骤也可以有效？19.word embedding20.有哪些高效微调的方法21.了解QWQ模型吗

自我介绍项目deepspeed zero 的三个状态？1b 的模型需要多少显存？16G。模型2g,梯度2g，优化器状态4g+4g(以adam为例，一阶动量32位和二阶动量32位)。如果有32位的模型参数的备份，就还有4g。一共2+2+4+4+4=16g。adam 优化器的形式？Adam优化器中：一阶矩估计：用于引入动量，使参数更新具有“惯性”，加速收敛，同时平滑梯度，减少噪声影响，让参数更新更稳定。二阶矩估计：通过衡量梯度方差，自适应调整各参数维度的学习率，使不同维度都能以合适速度更新，还能有效处理稀疏梯度问题。dpo ppo grpo的区别？为什么用llava 不用qwen-vl？在图文检索...