太初 大模型算法 一面

部门与岗位：TEG - 混元大模型团队 - 大模型对齐一面自我介绍，过实习，讲论文，论文过的比较细，有说的笼统的地方面试官会实时进行询问交流了解哪些大模型，简要挑一两个介绍一下，当时说了 Qwen 和 DeepSeek，然后面试官又问了这两个有什么区别接着上一问，为什么大家都开始探索 MoE 架构，MoE 相比 Dense 有什么好处在之前实习的时候用 LoRA 微调过 Qwen，于是问了有没有全量微调过，有没有对比过两者的性能表现讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式代码：22. 括号生成代码：多头自注意力一面问的八股还是比较多的，问的也比较细，而且还写了两道代码题，整个面试花的时间也比较多，大概一个半小时左右二面自我介绍，过实习和论文，面试官会一起进行探讨，包括工作的动机、贡献和结果，也会提一些问题和建议之前实习用 DeepSpeed 微调过 Qwen2-72B，于是面试官问了 ZeRO-1，ZeRO-2，ZeRO-3 三个模式的区别当时你用 DeepSpeed ZeRO-3 来微调 Qwen2-72B，每一张卡占用的显存大概是多少，估算一下为什么是占这么多的显存除了 DeepSpeed，还用过其他的什么优化方法吗我看你也用到了 LoRA，知道 LoRA 的原理吗，A 和 B 两个矩阵怎么初始化，有了解过其他的初始化方法吗对 RLHF 了解的多吗代码：3. 无重复字符的最长子串二面更多的是结合具体的工作来问的，从用到的东西来引出问题，问的也比较灵活。当然因为部门主要是做对齐的，所以也大概聊了聊 RLHF三面自我介绍，挑一个觉得做的比较好的论文和实习讲一下，面试官问的比较详细，为什么选现在这种方案，为什么 work，其他方案有考虑吗在微调 Qwen 的时候，数据是怎么构造的，有用到什么数据清洗方法吗，数据配比是怎么做的讲一下 RLHF 的流程，之前有用 RLHF 做过模型对齐吗在做对齐的时候，为什么 SFT 之后还要做 RLHF，只用 SFT 可以吗知道哪些强化学习算法，除了 PPO 和 DPO 这些呢，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进开放题：对目前大模型的发展有什么看法代码：零钱的两个题 322. 零钱兑换518. 零钱兑换 II三面面试官更聚焦于对齐这一块的内容，考的比较深。由于之前没有接触过强化学习，答得还是比较吃力的，不过面试官还挺好的，会一起讨论来做引导四面自我介绍，过论文和实习，问的也比较细，这里能明显的感受出来面试官的视角更系统，会把这些工作串起来问我看你简历上没写 RLHF，平常有用过 RLHF 吗推导一下神经网络反向传播的过程一道排列组合的概率题开放题：你觉得大模型目前还有哪些可以改进的点四面整体更看重思维和基础，没有考察什么八股总结一共四轮技术面，整体来说强度比较大，对于大模型八股的考察比较细，对大模型的理解问的也比较深刻，包括一些数理逻辑基础，考察的比较全面需要内推码的可以用下面这个链接：内推链接：https://join.qq.com/resume.html?k=ANQI6RfQ3rhPS2dpyIkeSw#26届实习##大模型##八股##面经##腾讯##内推#

📍面试公司：网易有道👜面试岗位：大模型 实习生📖面试问题：1. top-k和top-p2. 对比损失和llm中的temperature3. lora微调4. llm中的强化学习5. 训练样本的文本如何构建的，输出的格式6. rag🙌面试体验：问的很细，难，一轮直接挂 #大模型面经#

美团大模型产品转正实习面经（已offer）先说结论：整体看美团的大模型产品面试非常偏技术导向，面试官的水平很高，对项目的技术细节和商业化思路追问的非常细致，面了50分钟左右；需要大家掌握基本的ai技术，对自己所做的业务细节有足够的了解、对未来商业化的路径有思考；我下面的面经拆解也会分成技术常识题和项目细节两个大部分一. 自我介绍在面美团的转正实习之前我只有一段中厂的ai产品实习，并不是很突出；所以我从经验（也就是过去的实习项目）和能力（自己的能力如何和ai产品对口）两个维度介绍了自己，面试官挺感兴趣的，所以后续问题基本是在追问这两个部分二. 项目细节题1. 你们业务这个垂类大模型是怎么训练出来的？垂类大模型主要解决什么问题？ 垂类大模型是基于集团内的通用大模型微调的2. 你参与过模型训练吗？会觉得产品是算法工具人吗？产品视角你觉得能为模型训练贡献什么？3. 你提到你们项目目前还在探索商业化路径，那你觉得未来可能是什么盈利模式，或者说你觉得到底什么样的ai产品能赚到钱？4. 你怎么去定义badcase？标准是如何制定出来的？5. badcase的评估是你进行吗，还是有专门的外包团队？6. 了解自动化的ai-native评估方式吗？为什么你们不采用这种方式？7. 你们这个知识库主要场景是什么？传统的ai不能进行这样的知识问答吗？8. rag的流程是什么？9. rag的知识库来源是什么，其中你提到拆分逻辑，这个逻辑是怎么确定的？10. 如何优化rag里的badcase，提升rag效果？三. 技术常识题1. bert和transformer是什么，解释一下2. 为什么有这二者架构上的区别，使用场景上有什么不同？3. 大模型的大体现在哪些方面？4. 为什么传统ai没有像现在这样跑出来5. 为什么现在的ai都是一个字一个字蹦出来回答的6. 什么叫模型的过拟合？7. 你前面也提到dpo，dpo是什么？dpo和sft有什么区别？8. 什么业务该用大模型，什么业务该用小模型？9. 了解注意力机制吗？需要内推的小伙伴可以用下面的内推码哦美团2025届春季校园招聘暨2026届暑期实习（可转正）启动啦带【转正实习】的为26届暑期实习岗招聘岗位：技术类、产品类、商业分析类、零售类、运营类、设计类、市场营销类、职能类、金融类、销售、客服与支持类、综合类等工作城市：北京、上海、深圳、成都、香港、广州等诸多城市内推链接：https://zhaopin.meituan.com/m/campus?zp-from=hiring-campus-bole-elephant&staffSsoId=23765171内推码：RXB7BM8 （简历优先筛选，流程加速推进）#26实习##产品##产品面经##美团##美团内推##实习转正##技术#

方向1：公司目前最火的算子开发赛道，帮助客户更快用好华为昇腾算力，推进昇腾算子开发生态，加速昇腾产品进入千行百业；基于昇腾CANN架构，构建高性能的NPU加速引擎解决方案。（核心竞争力，对标英伟达cuda）方向2：负责大模型与端云协同能力部署，实现端侧实时流畅的语言与视觉大模型加速计算。（不接触大模型，都不好意思说自己是搞AI的）【任职要求】业务技能要求：1、25届应届生；2、有较强的学习能力和编码能力；3、有良好的表达能力和沟通能力，注重团队合作，主动担当。专业知识要求：1、 C/C++或Python编程基本功扎实， 有较强的代码分析与实现能力；2、了解深度学习及神经网络加速的相关概念、有Caffe/Tensorflow/Pytorch等深度学习框架应用经验者优先。【岗位优势】1、多地域团队年轻，，规模化扩招50+！工作氛围轻松、活跃！#牛客AI配图神器#2、新业务，当下风口业务，舞台够大，可以大展拳脚，可达到的高度不设限，也容易出成绩。有意者可添加 微信联系方式