苏宁易购算法岗面经

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练（KV缓存） 训练和推理有什么区别（并行化）6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的，用的秩是多少，为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗？分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么？有什么好处6️⃣知道RLHF吗？讲一下训练流程7️⃣接下来就是好几个场景题，电商相关的，用大模型解决prompt应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

背景我是23届某985计算机，进入一家AI初创公司担任C++图像算法工程师，主要做目标检测和图像分割相关的开发工作。在公司工作一年后，由于业务调整，我开始寻找新的机会，boss上联系了 HR（鼠鼠），投了C++图像算法岗位机考机考安题目整体难度适中，第一题是字符串匹配，要求判断一个字符串是否是另一个的子串，这道题比较简单，顺利第二题是数组去重并统计频率，用哈希表可以轻松解决，也很快完成第三题是图像像素均值滤波，主要考察二维数组的遍历和边界处理，虽然调试时遇到一些小问题，但最终还是通过了考前我按照鼠鼠的建议刷了题库和LeetCode Hot 100，感觉真题比练习的题目还要简单一些，关键是要保持...

投递时间3.10~4.10面了淘天 控股 字节 腾讯 蚂蚁的大模型岗大概问的都差不多，主要是简历的东西，剩下一点时间会问一些八股。总结一下八股：强化学习（目前每个面试官都会问），L1 L2正则化，LoRA原理，其他PEFT方法，SFT和DPO的区别，SFT和DPO训练心得，Transformer结构，位置编码，长度外推，优化器，flash attention，分类为什么用cse而不是mse，BERT系列训练流程与各种变体，AUC指标，最近读过的论文。#暑期##算法#

部门：QQ音乐base地：深圳流程：一面+二面+三面+HR面推进速度：非常快，每一面在一小时内出结果一面 50min自我介绍论文介绍什么是MHAAttention运算公式为什么除以根号dk介绍现有相对位置编码和绝对位置编码的异同点，都有哪些结构RoPE的结构RoPE相比于绝对位置编码的优势是什么？为什么外推性更好？为什么RoPE理论上可以无限外推？RoPE为什么可以利用绝对位置和相对位置的优势？介绍RAG项目（基座模型是什么？几b ？全参微调用了多少卡？数据多大？问答对的形式有图片吗？对RAG的理解是什么？为什么要用RAG？BGE模型的结构什么是LoRA？有个两层神经网络，参数1万*一万，低秩...