1.自我介绍2.项目拷打你们的训练数据怎么构造的？对话的风格是怎么做的？遇到 OOC 问题你们一般怎么解决？还有一些比如说动漫角色这种，可能更难解决，你们怎么做。模型输出内容太假大空你们怎么做？记忆怎么做的？然后问了一个八股为什么现在大模型输入和输出价格不一样（说的有点结结巴巴，大意就是说输出需要对每个输入都要计算 注意力，输入只需要计算前面的部分。反正就是平均下来输入的成本比输出低。）代码题无序序列中位数，用 topk 改了一下。反问

感觉面试官非常没有面试的欲望，面试也很短，没搞懂。1. 自我介绍2.项目拷打介绍实习项目的背景从最一开始是怎么做的，怎么考虑优化的？怎么评估我们最后的模型？比较好的数据获取方式有哪一些？除了 SFT 有做 DPO 吗？DPO 的 loss 是什么？（含含糊糊的描述了一下）有了解推理加速吗的原理吗？Qwen2 有哪些提升？Group Query Attention 是什么原理？问的很少，半个小时就写题，写 top K。很快写完了，但是用 C++我的 include queue 写成了 include priority queue，所以显示没有这个文件跑不通。我问面试官：好像飞书没支持优先队列（我都心虚），能不能自己编译器跑一下给你看？面试官：不用了，代码就到这里吧。然后反问一面就这样，我想着代码题我也不是不会，一般都多少会让我跑一下？他也不要我解释也不看，直接结束。

阿里大文娱优酷，没做笔试直接约面试。1.自我介绍 2.实习经历训练数据有哪些组成部分？每一个样本是只有一句话参与训练还是都参与？用的什么训练框架？SFT 的过程中有没有遇到什么困难？你们这个流程中，有需要人力评估吗？在哪一部分？多机多卡训练的时候用到了 deepspeed 吧？你了解 deepspeed 吗？流水线并行了解吗？你们训练的时候学习率怎么调的，用不用 warm up？还有一些忘记了智力题：10 个字的句子，最多能分成多少种分词？（实际上很简单，就是 10 个词中间 9 个空，分割过不分，2 的 9 次方。 我硬是用递归公式推了半天）代码题： 给一个数 N，一个长度 L。 求一个非负整数连续序列，序列和等于 N，长度不小于 L。 多个答案的话要输出最小的长度。（有一些数学计算）反问业务：做剧本辅助的大模型面试官迟到五分钟进来说还在开会让我等一会。等了 30 分钟+面试 90 分钟，整体两个小时没绷住 hhh。 

NLP 大模型岗位三面基本全部聊实习项目，基本没有什么八股。1.自我介绍2.项目文本数据分块的时候我为什么用规则而不用大模型？（文本太长，模型效果不好之类的）模型现在用多大参数（都有，对比了一下）你们用比较小的模型有遇到什么明显的逻辑问题吗（有，7B 以上还好，7B 一下几乎不能用，对比了一下效果）有没有啥指标可以体现你这个工作的效果？问的时间不长，35 分钟，业务比较匹配。后面就问如果发 offer 可不可以提前实习，比较想要能提前实习的。没做题然后反问反问问流程说是还有个四面，和他的老板业务总监聊聊？不是很懂为啥四面才是总监

投的是蚂蚁的财富保险事业群吧，做支付宝理财里面相关的一些大模型业务的。面试官人好温柔，爱了。1. 自我介绍2. 问实习项目基本围绕项目去聊的涉及到了一些点项目里某个对齐的标签化你们是用固定的一些标签还是不固定的其他方式？（固定的维度，得到了面试官的认可 hh）有没有考虑过 DPO？DPO 的正负样本怎么构造的？你们训练框架用的啥？有没有了解过 deepspeed 的那几个阶段的区别，还有 offload？（不太了解）lora 用过吗？原理了解过吗？讲一下。有没有注意到 lora 论文里有一个 scale？（没有）有兴趣以后可以看看你们一般训练前怎么估算资源的？有没有想过怎么提高训练效率？有论文吗（无）感觉问的没有非常多，都是聊项目一些具体内容，八股比较少。也没做题，反正看样子是过了，面试官人也很好。

昨天三面推到了今天，面试官比较忙。1.自我介绍2.聊了一会蚂蚁的实习，联邦学习安全之类的，说了一下落地难的情况，面试官感觉对这个也是有了解的，以前面试官基本上都是跳过这个 hh。3.聊暑期实习的项目。聊了一会。问我前两面做了题没有，我说没有。1. 写一个 self atten， 只需要写 forward触发八股为什么要除以根号 dk？不能是 dk？或者其他的吗？多头是头越多越好还是越少越好？头越多计算越快还是越少越快？2.最长公共子串反问了

技术二面，两个面试官一个看起来年轻一点，一个看起来更大一点，估计是大老板上。面下来感觉半挂半过，也是偏向于技术+行为面，更多会看个人潜力，这也是我尴尬的地方。1.自我介绍年轻面试官先问1. 介绍一下你这个项目2. 有没有涉及到模型训练（有，讲了一下）3.你这个 prompt 是怎么调的？格式结构化有没有遇到问题？4.一般你怎么去评估你的这个模型？后面就开始尴尬了5.除了大模型，你还有做其他 NLP 的项目吗？（之前做过 bert 情感分析项目）6.其他的呢，比如传统一些的机器学习，你有没有一些经历？（本科学过一点，但是毕竟没做业务还是不熟悉）7. 哪一个算法是你最擅长的？机器学习或者深度学习（支支吾吾，很害怕问机器学习，真不会啊。 我就说，基本还是 transformer 出来之后的那些，早一点的 attention word2vec 也知道一点点）8. 那你大学里哪一门课学的最好？（很慌，我说这个问题感觉有点坑啊，有点不敢回答）面试官笑着说，要想哪个最好问是吧？那我们就不问这个了。9. 你本科数学，运筹学学过吗（学过，但是太久了不记得了）遗传算法还能讲的出来吗（大脑一片空白，讲不出来。。。）10.推荐算法有接触过吗？（我说 这个有一些，之前在蚂蚁实习做过 Deep FM 框架的一些东西，但是他没接着问）11.给你一个场景，假设让你用 bert 或者 transformer 做一个文本分类，你能很快搭建吗（我：这个应该很快，给 bert 加一个分类头，训练一下。 一开始以为要写代码很慌。后面就是随便问了一下）换第二个面试官，更大的那个，就比较行为面了1. 看起来大模型是你的长板啊，那你能讲讲你学习大模型的路线吗？（讲了讲实习中学习，看论文，看代码）2. 你在模型上线做 a b 实验有什么个人体会吗（按照模型评测讲了一通）3. 你做这些微调，有没有一些总结？就是这些算法直接的一些区别？（讲了一下 peft 那些区别）4. 你觉得你是动手能力更强类型还是理论知识更强的类型？（动手能力更强，但是动手能力的拓展需要理论知识做基础）其他还有一些忘记了反问：1. 具体业务，智能客服，设计那些具体的细分方向？2.部门业务的长远规划（大面试官说你这个是问前景吧？就给我说了一通客服部门提级，扩招的一些被重视的情况）3.对校招生的要求（比较看个人潜力，但是也不仅仅看学习能力。 所以会问一些本科成绩啊之类的，但是还是希望实习经验也够，能快速上手）4.流程，是最后一面吗？（正常应该是的）被第一个面试官问机器学习和传统 NLP 学习课程一连串打懵了。最后一个反问里，面试官说一般是最后一面，看个人情况会有调整，你可以等 HR 通知。 所以生死不明。———————————————周一就挂了。。。。不得不说挂的还挺迅速，也算是好事吧，不泡池子。

#软件开发投递记录# （想拿一个牛客周边）浅浅记录一下🌚投递之前都不知道互联网有这么多厂，每天焦虑的时候就会去投一些厂。1. Minimax-大模型算法-暑期面了一面就拒了二面，被捞起来秋招，7 月初就二面+HR 面了-等待开奖中2.  滴滴提前批-大模型算法应用-7.31 一面-8.5 二面-8.7 三面-没有加面没有 HR 面也没挂没转投，泡着吧。。。。3. 文远知行-不知道什么岗位-一面挂了4. 字节筋斗云-推荐算法-二面挂了 不匹配挂5. 快 Star-大模型一面挂，多模态内容理解一面泡池子快两周了。。。（30 号挂了）6. 作业帮提前批-大模型算法对话方向-8.6 一面，8.13 二面，8.19HR 面-等开奖（咨询 HR 说是在排序，很无语，当时面试说本周内会出结果，看来还是排序不够高拿 oc）7. 百度提前批-大模型算法商业 AIGC-816 一面-823 二面-829 三面-排序（三面经理说两周内出结果）-9.4 挂了（还挺快）8. 智谱-大模型应用-8.20 一面-8.26 二面-8.30 三面-挂了（莫名其妙的，三面自我感觉挺好）9. 京东-NLP-8.26 一面-8.28 二面-8.30 三面-9.2 挂了    9.3 复活。。约机器学习（金融风控）岗位-9.4 一面-9.10 二面10. 腾讯-大模型应用-8.21 一面-8.26 二面-9.2 三面-9.10 四面11. 科大讯飞-NLP 二面挂了（没问啥实际东西，最后问了预期薪资，可能太高了，过了一周 HR 通知我不推进）12. 美团-大模型算法-8.22 一面-9.4 挂（有病啊要挂早挂啊，面试很顺利然后泡池子 两周挂？？？）13. 联影医疗-大模型应用-8.26 一面-挂了14. 电信人工智能研究院-大模型研究岗-8.30 一面15. 字节正式批-电商对话大模型-9.3 一面-9.5 感谢信（不懂，好像没有 hc 了，等捞）16. 蚂蚁-大模型算法-9.2 一面17. 斑马智行（好像也算阿里系）-约了 9.4 晚上一面18.阿里大文娱优酷-大模型-9.3 一面19.淘天-NLP-9.10 一面20.Oppo-大模型-9.12 一面（竟然约面了）饿了么-笔试完阿里国际-周一笔试（啥玩意啊怎么安排这个时间，撞了面试）阿里云挂简历米哈游挂简历虾皮笔试完蔚来两个志愿间隔很久两个笔试，第一个做完一直泡池子，第二个直接挂笔试。。还有一堆，累了，很多没推进--------现在妥妥的终面杀手，还不如一轮游了。求 oc。

先给一二面面试官磕个头，配享太庙，对百度好感拉升到爆了。三面这轮更像是行为面和技术面的混合，侧重点应该还是对个人优缺点的评估。1.自我介绍2.拷打了字节的后端项目，这让我很意外3.字节项目里数据的一些情况，存储啥的4.简历上有 Cpp，问了一些知不知道 cpp11 的多进程库（我说不太熟，之前用的是 C 的那一套）STL 常用哪些？底层原理是什么？（随便说了几个）5.linux 经常用哪些指令？（随便说了下，没说完就打断，下一个问题了）后面还问了组内的情况，自己三段实习的选择和考量？自己相对于科班同学的优缺点，怎么体现等等。 是怎么调 prompt 的？有哪些经验？（这个问的还挺多）自己是怎么规划自己未来的方向的？后面就是基本就是聊天，反问啥的。面试官说百度技术确实是可以的，作为第一份工作还是收获很大。说这个组推进还是比较快的，估计两周内就会有一个结果。虽然 1 2 面面的一坨，还是许愿一个 oc！(🙏ˊᗜˋ*)

一面 HR，这是二面，技术一面。面试官人很好，聊了很久，总结一下问题吧。1.自我介绍2.项目介绍3.你这个 prompt 是怎么调整的？4.你如何评估你们这个效果呢？（我从数据评估和模型评估两方面讲）5.你们的训练数据怎么构造的？用的什么格式？6.全参微调训练一次多久？7.主要是 SFT 吗？没考虑强化学习？8.你觉得为什么现在大模型都是 only decoder？有什么好处？9.lora 做过吗？讲一下原理10.lora 你对哪些层次加 adapter？怎么定的？print model 看吗？（面试官后面说对不同层加 lora 效果影响还蛮大的，不仅仅是参数大小）11. 对训练精度了解吗？（fp16 bf16 我讲的不太对，这部分不是很记得了，要复习一下） 12.attention 里面的注意力分数是什么？为什么要 Q 乘以 Kt？什么含义？13. 位置编码了解吗？讲一下代码题：类似于 topk 但是不要求复杂度，更像是数据处理场景题。反问：聊了很多，面试官人确实很好，泪目。只能说面试确实看缘分。

智谱的面试总是很简短啊，也不写代码，都搞不懂怎么过或者不过的。1.自我介绍2.聊实习内容rag 这块做了什么？你们的场景具体是啥？你的工作里有涉及到训练模型的吗？讲一下（细讲）你有了解过智谱的模型吗？（讲了一下 GLM）你觉得 GLM 第一代的特殊结构有啥优劣？（就是 prefix LM 嘛，其实很多细节忘了，就凭着记忆讲了一下，训练任务关注上下文，mask 有一部分全 1）有了解 lora 吗？讲一下 lora 反问（因为时间还没 40 分钟，所以我硬着头皮反问了七八分钟）

面试官：今天我们面的是 实习岗位我：啊？面试官：不好意思看错了，最近面试太多了1.自我介绍2.项目介绍（一个小时。。直接联影 面试 PPT 拿过来聊）因为业务几乎一样，一直聊各种细节大部分都是项目，比较有代表性的有一些你们如何评估模型的最后的质量？你们怎么评估训练数据的逻辑？怎么解决 rag 检索到的内容模型用不上？还有很多都是项目相关一个小时左右了，就随便问了几个八股训练用的 deepspeed 吧？你了解吗？介绍一下？（不记得了。。。最近完全没看这种八股。我说 deepspeed 本质就是模型部署多个在多个卡，一起训练，应该是模型并行还是数据并行来着。。。）面试官：deepspeed 本质就是数据并行，那你知道这一些并行方式吗？3D 并行之类的（道歉，最近确实没咋看这块，就讲了一下张量并行，数据 模型并行）面试官：虽然现在都很集成化，但是下去还是要多看看这块，不单单是我这边问，别的面试也可能会问到。Llama 用 group query atten 了解吗？（大概讲了一下，也没细追问，还好）面试官：虽然已经一个多小时了，但是出于流程原因还是要这个代码，一个最长公共子串（秒了）面试官：好，你有啥反问的吗（反问）嗯，我会把今天的情况如实反馈，如果有后续我们会再约面。求三面

上次看到人家内推就投了。。。只能说感觉和互联网面试体验不太一样女面试官声音很温柔全程拿着我做的 PPT 在介绍实习项目中间好几个点感觉面试官都不太能跟上我啊😮‍💨也没问啥太多问题问了一些 query 改写为什么用 jaccard 相似度不用语义相似度之类的最后累死我了讲了 45 分钟，面试官说：你这讲的都是大模型项目介绍，那有没有什么内容能体现你的算法能力呢？我：啊？你是指哪方面算法（我以为是说代码题）面试官：就是深度学习 NLP 算法之类的呀我：我这讲的项目不都是大模型吗？这不算算法能力的体现吗？（一脸懵逼，然后开始说中间学会了哪些东西。。。）不是很懂， 这我还能解耦出来里面学会的知识点吗。。然后就问了问我学校做的啥。。。反问

很奇怪， 这种完全不匹配，还能过我到二面。。。这个组做推荐业务的，也不设计大模型推荐，。。。所以感觉面试官也不知道问我啥1.自我介绍2.针对一个项目介绍3.你觉得怎么写 prompt 是比较好的 prompt？4.如果你需要生成一个广告或者摘要， 你怎么做让模型的字数尽可能少？5.为什么你们的业务要用这个基座不用那个？6.你用过那么多大模型，他们有啥区别？（就从激活函数 NORM prefixLM casualLM transformer 位置编码讲）7. 你觉得先 NORM 和后 NORM 有啥优劣？8. MHA 的计算时间复杂度是多少？和 FFN 哪个复杂度更高（感觉好像不太好直接比较啊）手撕 MHA（其实我都没写好，面前看过代码，但是接口记不住，就随便写了个样子）没写完呢就说可以了，面试官也没看然后问：大模型训练常见的 loss 有哪些，写一下公司（写了交叉熵 KL 散度 PPO DPO 的 loss）反问：你们推荐用到大模型吗？（目前还没有，业界主要还不用这个）手撕 transformer mha