一面

• 自我介绍
• 项目+论文
• 为啥项目中使用Ptuning？
• 说一下Ptuning的原理
• 如何关注训练过程中的指标？ 训练步数如何确定？
• RLHF的整个流程详细
• llama factory代码看过吗？
• DPO了解吗？
• 算法题 二分，medium， 旋转数组的最小数字

二面

二面面试官问了很多开放性问题，就是丢给你一个一个问题/实际的步骤，问你怎么解决，怎么考虑，而不是问某某东西的原理

• 自我介绍
• 项目
• 训练大模型的数据如何弄的？
• RLHF的三个流程中你觉得哪个应该是最重要的？为什么？
• 为啥RLHF中要用PPO？和其他RL算法的区别？
• 为什么需要Rewar model？
• Reward model 如何训练？Reward model 你觉得训练到什么程度可以？
• Reward model不准确怎么办？
• 如何提升RLHF的效率？你认为关键在哪里？
• DPO的原理？
• Rewar model和训练的LLM模型用同一个基座模型可能有什么作用？
• Reward有多个目标可以怎么做？
• 算法题 爬楼梯 面试官会引导逐步改善最开始写的解优化算法到最优空间复杂度