58同城（2+1）​1. 项目+实习​2. LoRA微调全概况​3. MHA 改进​4. KV cache​5. Paged attention​6.7B LLM的训练显存占用​7. Deepspeed 三阶段​8. 大模型发展史​9. 代码题：动态规划#大模型# #面经# #nlp# 互联网大厂 #互联网大厂实习# 校招 #算法# #58到家#

腾讯 LLM (3+1) 🚀实习+项目占比1/2,八股1/4，代码题1/4，项目被问个底朝天1. 介绍transformers的结构以及每部分的作用以及对应的参数大小2. 介绍位置编码（绝对，相对主要是ROPE，以及Alibi（Baichuan使用的））3. 介绍目前所用的优化器，它们有何区别？项目中使用了LSTM？为什么使用它，不用Transformer？LSTM的不足和优势？优势差点没说不来🥲5. LLM多大的，是否使用并行方式，训练多久，训练过程中遇到什么难题以及如何解决？Deepspeed和Megatron对比一下有何不同，优势分别是什么？6. 你为什么选用Deepspeed？出发点是什么？PEFT的各种结构，简单总结下，各有什么好处？6. linux如何查询某个文件的前几行？回答指令你为什么使用DPO不使用PPO？出发点是什么？7. 阐述下你所了解的大模型压缩技术？并展开讲述1-2个8. 开放题：现在你有两个选择：超大模型的对话助手和很多特定领域的小模型对话助手，你会选用哪种方案？9. 代码题：1. 多头注意力机制源码、2. 对角线矩阵、三数之和、3. 快速排序、最长不重复子数组（？）10.HR就是那样子的，腾讯那边会问：你自己职业规划有什么想法？可三年或五年。面了两次都遇到了。。。#nlp算法工程师# #秋招# #算法# #互联网大厂# #大模型# #实习# #马上消费金融#

10.10 小鹏汽车（3+1）1. 项目/实习2. 跨模态对齐方式3. Adapter和lora区别4. Agent的基本原理5. multi-agent的设计6. Deepseek的创新7. MLA和MHA的差别和优势8. GRPO的设计原理以及KL散度公式9. DPO的计算公式10. RAG的优势和难点11. 没有代码题#面经# #校招# #秋招# #算法# #互联网大厂# #大模型# #nlp算法工程师#

10.9 快手 NLP/LLM （2+0/2+1）项目为主，每次基本也就3-5个八股，有重叠的1. 实习/项目   问到底2. Bert的架构介绍，Ernie架构3. RAG的完整工作流4. PPO和DPO的差别？5. Deepspeed介绍下，主要问zero3阶段6. LSTM和GRU的优缺点7. MQA、GQA、MHA的不同和优点8. Pre-LN和Post-LN的差别和优势9. LLama2比LLama1的修改在哪些地方，数据量除外？10. RAG对比SFT有何优势？11. 大模型的词表有哪些？具体有什么不同？12. 忘记了开放题13. 代码题：旋转矩阵和皇后变体14. 你对于该岗位的看法？15. 未来职业规划？#大模型# #面经# #互联网大厂# nlp #算法# 实习 #校招# #秋招#

PDD算法 和 字节 NLP（2+0/2+1）🙂1. PDD全程无八股，面试官基本都是推广搜工程师，面试官不会NLP2. PDD的LC题目：最长不重复子串 以及 接雨水进阶版 和 自己出的一道题剩下全是字节的1. 深挖实习和项目，直到你不会的2. 位置编码有哪几种？具体介绍了ROPE3. 跨模态对齐的方案有哪些？为什么选择该方案4. 针对长序列问题建模你有什么见解？5. DPO的公式以及原理？6. RAG中你认为的关键点有哪些？并就其中1-2点展开下7. 聊一聊大模型的发展道路？8. 为什么分类用CE不用 MSE？9. 残差网络的优点，至少说出3个10. Deepspeed的三阶段介绍下11. 介绍下LLAMA的架构12. 代码题：MHA，岛屿最大面积，还有个忘了#大模型# #互联网大厂# #字节跳动# pdd #nlp# 面经 #实习# #校招#

腾讯 NLP (2+1) 🥲🥲 HR面后挂了1. 实习+项目介绍 2. 讲一下大模型的发展史3. 分布式架构你了解什么？展开描述下4. 跨模态对齐的方式有哪些？为什么现在逐渐不使用Q-Former？5. Baichuan2-7B的模型架构怎么样的？它的位置编码怎么实现的？跟Qwen家的位置实现编码有何不同？6. Qwen-VL有使用了解过吗？它的架构怎么样的？有什么独特之处？7. 说一下Adapter和P-tuning以及Lora之间的区别和联系？8. 你的数据集如何构建的？如何评测的？请详细展开说下9. 你在进行数据集评估过程中，遇到哪些困难？怎么解决的？10. RAG检索的内容是否真的相关？有没有进行Rerank或者其它别的操作？11. 对于Agent你有什么看法？12. 强化学习DPO了解过吗？跟PPO的区别？有什么好处？13. 请谈一下大模型完整训练过程以及每一阶段有什么作用？14. 你如果让你来评价你自己，你觉得自己的优势是什么？15. 你自己职业规划有什么想法？16. 你如何看待这个职业？#腾讯# #大模型# 面经 #校招# 实习内推 #互联网大厂# nlp自然语言处理 #腾讯校招# 腾讯客服 #ai算法工程师#

汇川集团 AI算法(2+1) 🚀一面技术面 二面是HR面（我是没想到），终面 主管综合面（技术+规划）1. 实习+项目介绍 2. LoRA家族有哪些，优缺点是什么?3. 当你在遇到一些技术问题的时候，你通常会用哪些方式去解决？4. 跨模态对齐的方式有哪些？各有什么优缺点？5. 志愿者证书的评比方式？6. 对自己未来的一个发展方向和行业有什么想法？7. 你如果让你来评价你自己，你觉得自己的优势和不足是什么？8. 你上升的空间这一块对自己职业规划有什么想法？#nlp算法工程师# #大模型# #汇川技术# #ai算法工程师# #面经# #汇川技术求职进展汇总#

🌟【背景速览】1. 25届应届生，BG双非本末9硕，自动化硕士，研二上学期转NLP2. 0.2小白转nlp（组会一直听同门讲NLP相关内容）3. 历时9个月逆袭本人去年四月份前没有任何实习经历，主要通过github，B站，知乎以及xhs自学。💼【日常和暑期实习投递】许多小伙伴和我最初一样，认为必须做好万全准备才能投递简历，其实现在回看是wrong。后期会越来越发现，那些投出去的简历似乎都消失在了茫茫人海中，已读不回或毫无进度。—— 投递策略：先开枪后瞄准 ——1. 过一遍八股后，多投简历（优先****，其次官网...），投得越多，面试机会越多。2. 积累经验：面试是不断查漏补缺的关键阶段，面试技巧也会越来越熟练。3. 隐藏机制：        大厂「复活甲」：同一公司不同部门可多次被捞（腾讯简历多刷新提高曝光度）        日常实习岗转化：表现优异可转暑期留用通道（主动询问HR可能性，现在大都画饼子）4. 建议：周日投N家 → 周中n家测评或面试 → 周六复盘改进 → 循环📚【手撕准备】1. 初级：免费的《代码随想录》，侧重思路和基础。2. 中级：刷******** Hot100。3. 高级：B站关注“灵山茶爱府”，学习题型分类及解题方法。4. 总结：Hot100足够应对绝大多数企业的手撕，时间充足三阶段，不足直接中级。🔍【知识储备】八股会先在知乎以及xhs查找先进行总结，面试进行补充，底下再扩展。分为详细章节记录参见图4超高频：项目：—— 项目深挖——1. 务必了解甚至精通你负责的项目部分，因为面试官可能会一直询问到你的知识盲区。2. 熟悉面试中可能遇到的问题包括但不限于：你具体负责了项目的哪些方面？项目的应用场景是什么？模型的输入和输出分别是什么？是采用了全量数据训练还是LoRA（低秩适应）？资源的使用情况是怎样的？你使用的训练框架是哪一个？数据的多样性如何？在项目过程中，你认为最具挑战性的部分或项目的难点在哪里？有没有考虑过其他的解决方案？等等等。。。高频考点：—— 八股拷打——1. Transformer解剖图，从输入到输出结构和作用倒背如流。已成功一大步。2. Bert家族图谱（Roberta/ALBert等）3. LLM实战工具链，例如PEFT，SFT，RL，切词等等🤔【遇到的问题】1. 当遇到知识盲区时：这个问题我目前的理解是XXXX，但更优的解决方案可能需要XXX2. 当被质疑项目深度时：这个设计确实存在改进空间，根据最新ACL（XXXX）论文，我们可以尝试引入XXX方案 #实习# #实习内推# #nlp算法工程师# #大模型# #ai算法工程师#  #暑期实习# #日常实习# 有任何问题可以评论区留言或者私聊哦~

商汤 LLM (2+0)🥲 二面后挂了1. 主要是以项目为主，讲完项目，提问发散问题以及八股。2. Baichuan2-7B的架构讲一下，有什么特别之处？3. Lora微调7B模型，可训练参数是多少？显存占用如何？4. 介绍下Lora以及qlora的区别5. 其它多模态对齐方式有哪些？6. LSTM与Transformer的区别，以及后者的优势？7. 讲解下scaling law8. 预训练一般分为哪些阶段，每个阶段的特点有何区别？#春招# #实习# #秋招# #ai算法工程师# #大模型# #nlp算法工程师# #商汤科技#

#八股# 科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #算法# #大模型# #nlp# #科大讯飞求职进展汇总# #ai算法工程师# #实习# #秋招# #春招#

科大讯飞 NLP (2+1+1) 🚀主要是以项目为主，如果项目有论文支撑，直接对着你的论文直接开讲，中间打断提问发散问题, 最后八股拷打。八股如下包含飞星计划以及秋招正式批：Lora为什么在工业界这么吃香？原因是什么？LLM的分布式框架了解过吗？展开讲一下它们的优缺点？大模型的训练的完整流程是什么样子的？为什么要先经过SFT微调，在RL？DPO和PPO有什么区别？你更喜欢使用那种？当时浅浅回答了下，喜欢DPO，优点说明下。DPO的公式给我写一下或者口述一下？当时没写出来🙄DPO跟对比学习有哪些相同点和不同点？我的项目用了后者 跨模态对齐如何做的，你都了解那些对齐方式？模型的幻觉问题？以及RAG的好处？如何利用RAG去缓解模型环节？ROPE给我介绍一下？代码能写下吗?（当时还不会写🙄）你了解哪些多模态encoder？没有Leetcode🫡，但对着论文拷打发散问题很难受🤕#八股# #牛客解忧铺# #大模型# #nlp# #算法#

9.1 同花顺 大模型（2+1）🚀主要是以项目为主，掺杂八股，八股具体如下（忘记顺序是什么样子）：1. Transformer的自注意力机制及相比RNN的优势？2. 自注意力计算中为何除以 $$\sqrt{d_k} $$？3. 现在LLM微调的方式有哪些？ 再问Adapter和Lora的区别？4. LLM的架构有哪些？现在使用的是那种？为什么？5. Prefix LM与Causal LM区别？6. RLHF流程? 当时不太懂，没深问，现在需要多了解7. 如何优化大模型训练速度？8. 跨模态对齐你是如何做的？Q-Former与MLP适配器的优劣。9. LLM训练中遇到Loss突增如何解决？#实习# #秋招# #大模型# #nlp# #金融# #算法# #八股#

本人情况，男，双非本末9硕，非科班自学算法目前决赛圈是三个，都是ai算法：1️⃣华为Title好一点，但是业务是面向内部的，会不会不好跳槽？而且薪资低2️⃣汇川   对象在苏州，未来想跳槽回去。苏州也有个汇川，不知道容不容易转到苏州。3️⃣理想汽车  工资高不少，部门较核心，跟之前做的也相关，未来能跳槽到苏州 魔门塔有些纠结求建议，求各位畅所欲言 #ai算法offer#  #理想汽车# #汇川技术# #华为# #华为2012实验室# #ai算法工程师# #大模型算法工程师# #搜广推# 引流 #腾讯#字节 #阿里