网易互娱-n星计划-AI研究工程师面经
ailab,base 广州,做游戏npc,代码生成等业务
9.19 一面
1、项目相关
2、llama用的什么注意力?
3、flashattention简单讲一下?
4、ppl是什么?
5、如何选取训练后的模型?
6、有试过将多个模型权重合并吗?
7、训练时loss暴增可能是什么原因,怎么解决
8、有哪些节省显存的方式?
=======================
9.25 二面
1、项目相关
2、介绍一下SFT,lora,reward model,DPO
3、SFT只计算回答部分的损失合适吗?
4、模型蒸馏了解吗?损失是什么?可以用KL散度吗
5、交叉熵和KL散度的公式是什么
6、MQA,GQA是什么,deepseek的MLA了解了吗
7、如何训练一个代码检索模型?
8、reranker的训练目标?训练目标和我们希望的目标是否有不一致的地方,就比如训练时q-d对的匹配概率,但我们希望是检索的文档对大模型有用,这两个目标是否存在不一致呢?
========================
10.17 三面
全程问项目
========================
10.23 hr面
========================
无意向,目前还在泡池子
9.19 一面
1、项目相关
2、llama用的什么注意力?
3、flashattention简单讲一下?
4、ppl是什么?
5、如何选取训练后的模型?
6、有试过将多个模型权重合并吗?
7、训练时loss暴增可能是什么原因,怎么解决
8、有哪些节省显存的方式?
=======================
9.25 二面
1、项目相关
2、介绍一下SFT,lora,reward model,DPO
3、SFT只计算回答部分的损失合适吗?
4、模型蒸馏了解吗?损失是什么?可以用KL散度吗
5、交叉熵和KL散度的公式是什么
6、MQA,GQA是什么,deepseek的MLA了解了吗
7、如何训练一个代码检索模型?
8、reranker的训练目标?训练目标和我们希望的目标是否有不一致的地方,就比如训练时q-d对的匹配概率,但我们希望是检索的文档对大模型有用,这两个目标是否存在不一致呢?
========================
10.17 三面
全程问项目
========================
10.23 hr面
========================
无意向,目前还在泡池子
全部评论
差不多同时间hr面,还没结果
相关推荐
点赞 评论 收藏
分享
查看3道真题和解析
点赞 评论 收藏
分享