百度提前批一面面经总结
岗 nlp/机器学习/大模型
老哥人很好,部门深度学习相关
1.自我介绍
2.讲下论文(盘的很细,从开始到结尾每个细节都问到了)
3.bert roberta 区别
4.transformer里注意力机制演进(MHA,GQA,MQA,MLA)
5,MLA怎么与RoPE结合的
论文还是得看啊xdm
手撕:
self attention
进一步
MHA怎么实现,改一下
实现一个linear(顿了一下,最后实现了个y = wx + b,最后也是感觉少写了一维)
求别凉555
---------------------------------
8.12更新,被分享力