腾讯大模型（技术研究-自然语言处理）面经

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗？分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么？有什么好处6️⃣知道RLHF吗？讲一下训练流程7️⃣接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

鼠鼠之前是搞垂域llm训练的，offer也偏应用，想找个对秋招帮助大的，但不知道怎么选，请各位佬帮忙看下~1、阿里-飞猪-大语言模型和智能客服业务场景是做大模型的智能客服，优点是阿里系的转正率高，飞猪也不卷，缺点是飞猪有点边缘了2、美团-keeta-算法策略是美团的出海品牌，处于扩展期，部门应该算核心之一？鼠鼠投的大模型算法，面试的时候也聊大模型，不过最后发的岗位是算法策略，面试官说主要做商品、商家方向，比如竞对、大模型打商品标签、商家助手之类的，还有用户增长，广告素材的生成等场景，鼠鼠只会llm，这些听不懂啊，有没有佬说下这种方向的前景？3、腾讯-csig-腾讯地图-大模...

✅一面1️⃣时间:1h+自我介绍2️⃣项目介绍:问的很细，过程中不停打断提问算法竞赛项目，整体数据处理流程、模型效果评估方法、心得体会3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别？4️⃣Transformer 的复杂度Bert 用的什么位置编码，为什么要用正弦余弦来做位置编码？还知道其他哪些位置编码？5️⃣除了 bert 还做过哪些模型的微调？为什么现在的大模型大多是 decoder-only 的架构？6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗？讲一下原理？7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长，以及反问✅二面1️⃣自我介绍2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势，Transformer 怎么体现时序信息？3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上，LayerNorm 更多用在语言上，为什么有没 chatGLM，LLaMA 等部署、微调经历？4️⃣有没有了解过大模型加速推理？5️⃣讲一下 Flash Attention?6️⃣算法题先说思路再写代码1、数组中的第K个最大元素2、数组 nums 表示若干个区间的集合，请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

鼠鼠急性咽炎好几天了，下午还发39度高烧，本来想联系换时间的，但考虑现在hc基本发完了，再延期不知道会不会影响，去校医室开了点退烧药手撕：hot100 层序遍历，秒了说下复杂度聊项目，跟面试官讲了项目背景、遇到的难点，中间面试官会打断提问题之后面试官对整体的训练流程比较质疑，问CPT后为什么需要sft？跟CPT的区别是什么，我解释了好几次，从训练目的、数据差异等角度都解释了，但面试官还是没明白，让我写下两者的loss，从loss的角度去解释，我就写了个基于上下文去预测next token的交叉熵，然后解释说无论是pt还是sft，loss都是交叉熵，区别在于给定的上下文，或者数据不同，结果面试官...