大模型面经每日总结

腾讯NLP 1.跨模态对齐有哪些方式？为何逐渐不使用Q-Former？2. Baichuan2 - 7B模型架构是怎样的？其位置编码如何实现？与Qwen家的位置编码实现有何不同？3. 了解Qwen - VL吗？其架构如何？有何独特之处？4. Adapter、P - tuning和Lora之间的区别与联系是什么？5. 数据集如何构建与评测？6. 数据集评估过程中遇到哪些困难？如何解决？7. RAG检索内容是否相关？有无进行Rerank或其他操作？8. 对Agent有何看法？9. 了解强化学习DPO吗？与PPO有何区别？有什么好处？10. 谈一谈大模型完整训练过程及每一阶段的作用。混元大模型团队1.Qwen 和 DeepSeek 有什么区别？2.为何大家都开始探索 MoE 架构？MoE 相比 Dense 有什么好处？3.用 LoRA 微调过 Qwen，是否全量微调过？两者性能表现有何对比？4.用 DeepSpeed 微调过 Qwen2 - 72B，ZeRO - 1、ZeRO - 2、ZeRO - 3 三个模式的区别是什么？用 DeepSpeed ZeRO - 3 微调 Qwen2 - 72B 时，每一张卡占用显存大概是多少？为什么？5.除了 DeepSpeed，还用过哪些优化方法？6.知道 LoRA 的原理吗？A 和 B 两个矩阵怎么初始化？了解过其他初始化方法吗？7.讲一下大模型训练和推理的流程，SFT 和 RLHF 的作用分别是什么？8.在 RLHF 中，目前主流的强化学习算法有哪几个？写出损失函数的表达式。9.对 RLHF 了解多少？讲一下 RLHF 的流程。之前有用 RLHF 做过模型对齐吗？在做对齐时，为什么 SFT 之后还要做 RLHF？只用 SFT 可以吗？10.知道哪些强化学习算法？除了 PPO 和 DPO，DeepSeek 用的 GRPO 相比于 GPT 的 PPO 做了哪些改进？11.微调 Qwen 时，数据是怎么构造的？有用到什么数据清洗方法？数据配比是怎么做的？CSIG腾讯地图1. 进行自我介绍，聊简历上和大模型相关的项目（约5分钟）。2. 讲一下LORA的基本原理。3. 了解主流的开源大模型吗？如Llama、Qwen、deepseek。4. 对Python的熟悉程度如何，能用pytorch写一下多头注意力机制吗？5. C++的代码能力情况（较随意聊） 。6. 手撕代码：反转链表和合并有序链表。7. 反问问题：    - 腾讯地图做的大模型应用是什么？    - 对Manus的看法是什么？ 百度文心一言1. PPO 与 GRPO 的区别，分别介绍它们的优势与缺点。2.DPO 对齐训练的曲线是怎么样的，正例的概率会提升吗？参考这个知乎回答。3.Deepseek - R1 里面不仅推理能力很好，而且文采能力也很好，这是个开放问题，如何让模型的文采能力也很好呢？4.deepseed 介绍。5.deepspeed 的每一段的通信比较，zero3 分别是 0 和 2 的多少倍，1.5 倍。6.DPO 如何解决回答过长的问题，除了正则。7.开放问题：为什么现在大家都在关注于大模型的推理能力 reasoning。8.对于一个 base model 如何增强大模型的 reasoning 能力。9.DPO 除了长度问题还有其他的问题吗？与问题 2 对应，reward hacking？都没有奖励模型了。10.说一下 simpo 的原理，它是怎么解决 dpo 微调序列过长的问题的。minimax1.大模型算法中模型参数量每个部分有多少？2.你了解哪些评估 minimax 大模型算法的手段？3.如何评估 minimax 大模型算法中多模态模型的输出质量？4.对于 minimax 大模型算法的数据集，如何提高质量？如何利用 gpt 辅助提升数据集质量？5.有哪些方法可以提升 minimax 大模型算法中预训练模型的质量？

一、训练范式与核心技术1. 强化学习主导- DeepSeek-R1基于大规模强化学习（RL）完成后训练，其强化学习训练占比超过95%，甚至存在完全依赖RL的DeepSeek-R1-Zero版本。- 传统指令模型（如文心、ChatGPT O1）则更依赖监督微调（SFT）和人类反馈的强化学习（RLHF）。2. 冷启动与多阶段训练- DeepSeek-R1通过引入高质量“冷启动”数据辅助初始阶段学习，并结合多阶段训练策略（如拒绝采样）提升推理能力。- 而指令模型通常直接从预训练模型通过SFT对齐人类偏好。二、能力与任务适配性1. 复杂推理能力- DeepSeek-R1专门针对数学推导、代码生成、逻辑分析等复杂任务优化，其推理过程中支持自我验证、错误检测及多路径探索。- 指令模型更侧重通用对话和指令理解，在复杂推理任务中表现较弱。2. 生成质量差异- DeepSeek-R1的纯RL版本（R1-Zero）存在生成内容可读性较低的问题，需通过混合训练策略改进，- 而指令模型因依赖SFT数据，输出更符合人类语言习惯。三、架构设计与成本效率1. 优化算法创新- DeepSeek-R1采用Group Relative Policy Optimization（GRPO）等新型RL算法，支持无监督条件下的推理能力进化。- 指令模型通常沿用PPO等传统RLHF算法。2. 成本优势- DeepSeek-R1在同等性能下成本比OpenAI o1系列低30倍，且在数学、代码基准测试中达到甚至超越Claude 3.5 Sonnet等模型。四、应用场景与合规性1. 垂直领域适配- DeepSeek-R1更适用于科研、金融等高精度推理场景，- 而ChatGPT O1等指令模型偏向通用客服、教育等泛化场景。 #产品经理#  #Ai产品经理#  #AI#  #牛客创作赏金赛#  #牛客激励计划#

在这篇文章中，我尝试从趋势分析、企业选择、能力转型等几个角度，将关于大模型的所见所思呈现出来，希望对大家有帮助。第一部分：趋势分析前几周跟一个老朋友聚会，边吃边聊，我们一起YY出了很多的AI小秘书，在生活中帮助我们：我们应聘时，它监听面试官的问题，把答案显示在屏幕上。警察审案件时，它监听嫌疑人的声音、语气、生理数据，给出建议，并告诉警察如何进一步提问来挖出真相。它可以把律师事务所、会计师事务所大量根据行业模板做基础工作的一线员工给替换掉。结婚率进一步下降，因为春水堂的硅胶娃娃借助大模型的深厚思考，成了男性的真正伴侣，社会再没有了男女对抗，大家各玩各的。中年男人失业之后的几个退路，滴滴司机、保安...