大厂面经|腾讯 AI Lab NLP 算法岗

✅一面
1️⃣时间:1h+自我介绍
2️⃣项目介绍:问的很细,过程中不停打断提问算法竞赛项目,整体数据处理流程、模型效果评估方法、心得体会
3️⃣八股:简单介绍一下 BERT 和 TransformerAttention 和 self-attention 有什么区别?
4️⃣Transformer 的复杂度Bert 用的什么位置编码,为什么要用正弦余弦来做位置编码?还知道其他哪些位置编码?
5️⃣除了 bert 还做过哪些模型的微调?为什么现在的大模型大多是 decoder-only 的架构?
6️⃣讲一下生成式语言模型的工作机理用过 LoRA 吗?讲一下原理?
7️⃣算法题最大子段和跳台阶其他问后续安排和实习时长,以及反问
✅二面
1️⃣自我介绍
2️⃣项目:深挖八股Transformer 结构和 LSTM 的区别和优势,Transformer 怎么体现时序信息?
3️⃣Transformer Encoder 和 Decoder 的输入输出和结构BatchNorm 更多用在视觉上,LayerNorm 更多用在语言上,为什么有没 chatGLM,LLaMA 等部署、微调经历?
4️⃣有没有了解过大模型加速推理?
5️⃣讲一下 Flash Attention?
6️⃣算法题先说思路再写代码
1、数组中的第K个最大元素
2、数组 nums 表示若干个区间的集合,请你合并所有重叠的区间,并返回一个不重叠的区间数组,该数组需恰好覆盖输入中的所有区间。输入: nums =[[1,3],[2,6],[8,10],[15,18]]输出:[[1,6],[8,10],[15,18]]
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
八股文真多啊
点赞 回复 分享
发布于 04-18 14:19 四川

相关推荐

✅一面1️⃣深挖多模态论文2️⃣介绍transformer架构3️⃣详细说一下Decoder的因果注意力 QKV分别来自哪4️⃣Attention为什么要做scaled 不做会怎么样 为什么用根号d_k5️⃣Transformer怎么做加速训练(KV缓存) 训练和推理有什么区别(并行化)6️⃣深挖多模态大模型论文用的video-llama 讲一下大模型的结构7️⃣论文用了CoT讲一下论文的CoT是怎么样的8️⃣微调用的LoRA介绍一下LoRA9️⃣LoRA初始化怎么做的,用的秩是多少,为什么不选其他的数1️⃣0️⃣知道deepspeed和megatron吗?分别介绍一下1️⃣1️⃣论文用的deepspeed详细讲了一下三个stage分别是什么✅二面1️⃣深挖多模态和大模型的论文2️⃣Decoder文本生成有哪几种方法3️⃣还知道哪些多模态大模型4️⃣介绍一下ALBEF、BLIP5️⃣BLIP2的结构是什么  两阶段怎么训练的 有哪些损失6️⃣知道PEFT吗 讲一下LoRA7️⃣还有什么微调方法 -> prefix-tuning和P-tuning 两者分别是怎么做的 为了解决什么提出的8️⃣后面就是一些场景题✅三面1️⃣深挖论文2️⃣讲一下multi-head attention 用pytorch手撕一下 要可以实现cross attention的3️⃣讲一下你用的大模型是什么结构 特征是怎么喂给大模型的4️⃣大模型训练为什么不用SFT5️⃣LoRA是什么?有什么好处6️⃣知道RLHF吗?讲一下训练流程7️⃣接下来就是好几个场景题,电商相关的,用大模型解决prompt应该怎么设计,怎么处理prompt的输出,怎么过滤错误格式的输出📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
字节跳动三面446人在聊 查看23道真题和解析
点赞 评论 收藏
分享
补发一下之前面试腾讯的面经,具体timeline可以参考前面的帖子。一面(约30mins):自我介绍,挑一个简历里最好的一个项目详细介绍下项目中遇到了什么挑战,怎么解决的了解DeepSeek吗,为什么DeepSeek现在这么火?说一下DeepSeek里的MLA和GRPOGRPO和DPO,PPO,RLHF的区别看你之前有LoRA微调DeepSeek的项目,简单说说微调经验,效果如何RAG在检索阶段能有哪些优化?(sub-query,HyDE等)二面(约1h10mins):自我介绍,拷打简历。写一下GRPO的公式先屏幕共享从头到尾walk through讲一下DeepSeek技术报告论文。面试官中间会穿插提问DeepSeek-v3/r1/r1-zero有什么区别DeepSeek-r1-zero的冷启动数据是怎么组成的DeepSeek-r1-zero解决了DeepSeek-r1的哪些问题如何解决大模型的幻觉Embedding如何微调(讲了对比学习啥的)RAG的评测指标有哪些业界现在function call的做法和水平场景题:大致是RAG中检索结果遇到张冠李戴的问题该如何解决举几个例子能够体现你的研究能力三面(约30mins)拷打LoRA微调项目,问了实验的数据集,参数设置,结果如何等等你目前的研究方向主要是什么?讲一下ReRanker的目的,做法有哪些场景题:我现在运用RAG来检索回答,目标是检索四个季度的表格数据,但是经过检索+ReRanker后只出现了三个季度的数据,该如何解决hr面(约15mins)比较常规,大致如下:用三个词语描述下你为何能胜任这份工作你的优缺点都说一下你过往实习项目中遇到过的最大困难是什么,怎么解决的最早实习时间,实习时常引流:腾讯字节阿里淘天美团拼多多#暑期实习##腾讯##大模型#
Rafae1:接好运
查看27道真题和解析
点赞 评论 收藏
分享
评论
3
16
分享

创作者周榜

更多
牛客网
牛客企业服务