大厂面经｜字节大模型算法岗

鼠鼠急性咽炎好几天了，下午还发39度高烧，本来想联系换时间的，但考虑现在hc基本发完了，再延期不知道会不会影响，去校医室开了点退烧药手撕：hot100 层序遍历，秒了说下复杂度聊项目，跟面试官讲了项目背景、遇到的难点，中间面试官会打断提问题之后面试官对整体的训练流程比较质疑，问CPT后为什么需要sft？跟CPT的区别是什么，我解释了好几次，从训练目的、数据差异等角度都解释了，但面试官还是没明白，让我写下两者的loss，从loss的角度去解释，我就写了个基于上下文去预测next token的交叉熵，然后解释说无论是pt还是sft，loss都是交叉熵，区别在于给定的上下文，或者数据不同，结果面试官...

投递时间3.10~4.10面了淘天 控股 字节 腾讯 蚂蚁的大模型岗大概问的都差不多，主要是简历的东西，剩下一点时间会问一些八股。总结一下八股：强化学习（目前每个面试官都会问），L1 L2正则化，LoRA原理，其他PEFT方法，SFT和DPO的区别，SFT和DPO训练心得，Transformer结构，位置编码，长度外推，优化器，flash attention，分类为什么用cse而不是mse，BERT系列训练流程与各种变体，AUC指标，最近读过的论文。#暑期##算法#

个人背景：双9，0对口实习+0对口论文，2月中下旬投完小论文后，由于自己本身没有太多大模型的经验，一直在纠结是做传统NLP/搜广推/大模型，甚至是开发。在纠结思考了很久，综合牛客+xhs各路dl的建议后，决定全力梭哈大模型。准备过程2月中下旬开始准备大模型八股+刷力扣，目前力扣300题左右，八股找了一些大模型资料看了一遍之后，3月中下旬开始大规模海投。投递记录OPPO：大模型算法岗，3.7投递，一直在初筛阶段；蔚来：大模型应用研究岗， 3.9投递，一面 + 二面后OC已拒；腾讯音乐：技术研究—自然语言处理（TME没有专门的大模型岗），3月初投递，一面 + 二面 + 三面 + HR面， OC；美...

✅一面1️⃣时间:1h+自我介绍2️⃣项目介绍:问的很细，过程中不停打断提问算法竞赛项目，整体数据处理流程、模型效果评估方法、心得体会3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别？4️⃣Transformer 的复杂度Bert 用的什么位置编码，为什么要用正弦余弦来做位置编码？还知道其他哪些位置编码？5️⃣除了 bert 还做过哪些模型的微调？为什么现在的大模型大多是 decoder-only 的架构？6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗？讲一下原理？7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长，以及反问✅二面1️⃣自我介绍2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势，Transformer 怎么体现时序信息？3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上，LayerNorm 更多用在语言上，为什么有没 chatGLM，LLaMA 等部署、微调经历？4️⃣有没有了解过大模型加速推理？5️⃣讲一下 Flash Attention?6️⃣算法题先说思路再写代码1、数组中的第K个最大元素2、数组 nums 表示若干个区间的集合，请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。