分享一下整理的大模型面经

9.28 一面1、构建搜索二叉树2、项目3、逻辑回归介绍一下，损失函数4、逻辑回归缓解过拟合的方法5、l1和l2正则化的区别6、为什么l1可以起到稀疏特征筛选的作用？代码题没写出来==================10.13 二面/再次一面1、项目2、如何确保模型输出的格式正确？3、解码方式有了解吗？4、能否从解码方式上约束模型输出？5、大模型结构了解吗？6、注意力机制公式，为什么要除以根号k的维度？不除以的分布是什么，除以后的分布是什么？7、手撕零钱问题8、实现开根号代码题再次没写出来。。。。。。。。。挂了

目前已经是毕业几年的老鸟了，因为面试过别人，所以面小公司相对轻松。背景，研究生以来一直从事深度学习相关工作。目前在做垂直领域大模型和一些RAG。Q1：为什么跳槽？接下来基本是对着简历找感兴趣的地方。Q2: RAG 讲一讲你这个项目Q3: 分片怎么优化的？Q4: 评测怎么做的?Q5：什么时候RAG什么时候微调？Q6：self-instructQ7: 微调方法Q8: DPOQ9: 团队构成Q10: 产品不懂技术，如何缓解这带来的问题最后是反问。先拿小公司试试手，这个一面看起来问得比较浅。从我的经验来看，大概是想要确认你是否真的做过相关工作。欢迎大家小窗交流沟通。后面会陆续更新~

🐭🐭目前研二，打算25年开始找多模态的实习，目前在帮老师打工的同时准备面试。但是🐭🐭之前的论文和横向都和多模态没啥关系，所以想问问佬们有没有什么值得做的、能写到简历的开源项目（苍穹外卖！），比如多模态rag之类的

一面 竞赛项目； 千卡并行项目； 手撕1：力扣611； 手撕2：力扣1191； 二面 推理竞赛项目； 千卡并行项目； 手撕1：力扣185； 三面 千卡并行项目； 手撕1：CUDA矩阵乘法； 手撕2：二叉树的深拷贝；