3.10 小米算法实习生(大模型)二面(50min)

3.10 小米算法实习生(大模型)二面(50min)
无脸男*2
自我介绍
项目的目的
混合精度微调,是混合什么精度
Qlora如何实现
冻结矩阵的反量化如何实现(面试官提示后答出来)
如果要用FP16精度转换到int4,如何使误差最小,实现过程?
介绍GRPO、PPO、DPO之间的区别
既然GRPO的会有方差问题,那GRPO应用到什么样的背景下,SFT要做怎样的处理,才能够使GRPO强化学习微调效果更好
GRPO的Group可以如何选取

手撕:MHA
反问:实习生在部门中负责的任务,做一些方案的实验研究,了解业务;计算资源,充足
全部评论

相关推荐

点赞 评论 收藏
分享
04-15 13:17
已编辑
中国科学技术大学 Java
维密牛:javaguide太泛了,想面试突击的建议不要硬凿Guide费时间,我自己整理到飞书上的面经差不多一两周就能去面了😂需要的d一下就行,不要米
点赞 评论 收藏
分享
评论
4
17
分享

创作者周榜

更多
牛客网
牛客企业服务