2024/11/081.自我介绍2.围绕项目提问手撕题:3.如何使用rand5来实现rand74.实现一个多头注意力机制。大模型八股:5.注意力计算时，为什么需要除以缩放系数？6.具体到多头注意力的计算中，掩码是如何加入的？（加性掩码，负无穷表示masked，0表示不masked）7.全参数微调和lora的区别8.LSTM和transformer的区别，transformer的优势？9.deepspeed的zero1，zero2和zero3都是什么？10. deepspeed和Megatron之间的差异是什么？11.为什么大量使用decoder而不是encoder？已过，已约二面。#字节求职进展汇总##字节复活赛##字节##哪个瞬间让你对大厂祛魅了？#

四面完了来一句过了但是方向不匹配，真是既要又要啊，不想要我把我拖到四面才挂，又想拿我刷面试kpi说我面评很好还能继续面，真是有范。

二面（10.9）全程无八股，无手撕，重点聊项目。1.自我介绍2.展开讲讲jd的项目中，具体是怎么做的。3.jd项目中，数据的形式，如何获取的，CoT数据如何让构建。4.jd项目中模型融合方法是什么吗？5.简单介绍模型融合方法的流程6.模型融合中的参数设置有什么经验或者理论吗？（没有，硬搜）7. jd项目中训练的模型，相比之前有多大的提升，使用72B模型比7B模型有多大提升。8.bd项目里的数据如何获得。9.bd项目里使用了lora进行微调，没尝试其他方法吗？（没有，因为我跑路了，不知道他们后面干没干）hr面（10.14）1.开局自我介绍2.喜欢什么样的工作氛围3.研究生成绩大概在班里排什么位置4.家里是哪的，对南方的生活是否接受5.找工作时，三个优先考虑的因素，并给出这三个因素的序6.三段实习经历，哪段对你成长最大7实习过程中遇到过什么低谷，你是怎么解决的 #秋招# #秋招OC许愿# #秋招积极心态保持方法# #如何一边实习一边秋招# #实习与准备秋招该如何平衡# #你的秋招进行到哪一步了# #你觉得今年秋招难吗# #你的秋招进展怎么样了# #算法面试分享# #算法面试经验分享# #算法面试题#

要是当初找工作的方向定成了开发而不是算法，那我估计早废了，开发那么多八股，背不了一点😇#选择和努力，哪个更重要？#

1.手撕，数组压缩成字符串存在至少三个连续的数字可以压缩成“A-B”的形式，例如11，12，13可以压缩成“11-13”。2.自我介绍3.聊实习的项目反问1.面试的组主要是做什么方向的。答，预训练。2.公司算力资源是否丰富。答，主要靠买云服务训练，卡数会随着公司发展和实际情况波动。已过，节后约二面。 #秋招# #秋招OC许愿# #秋招积极心态保持方法#

#假如你的老板掉河里，你的工作能为他做什么# 用老板生前的语料训练数字生命，我要给老板完整的一生。

现在的公司真的想找算法工程师吗？很多公司投完简历秒挂，或者是笔试完简历秒挂，连个面试的机会都没有。和这些公司相比起来，我甚至觉得那些kpi一面挂的公司都变得眉清目秀了起来，起码他们还愿意提供一个和面试官交流的机会。交流的机会都不给，笔试完就挂，搁着搜集大量代码数据用于代码模型呢？

具体是做大模型训练套件的中台组，所以很考察涉及大模型内部计算的细节。1.自我介绍2.手撕 和最大的连续子序列3 写一个多头注意力 reshape transpose4 为什么要使用多头注意力 更多的qkv嵌入更好的表达能力5 单头注意力和多头注意力计算量比较。多头略多一些，具体应该是多在多头注意力concat之后的又一次线性变换上。这题当时没答对。6 为什么使用gqa，gqa的好处有啥。略微减少参数量，均衡性能并减少kv cache的压力。7 为什么是kv cache 而不是qv cache。我理解是，如果是qv cache，这东西能算的注意力是最后一列而不是最后一行，这种计算甚至是反因果系统这个前提的，我感觉我的解释有道理，但面试官不满意，可能有更好的答案。8 lora具体为什么能减少计算过程中的显存占用，具体减少在那部分上了？我认为权重和前向过程中的激活值在加上lora之后，整体也不会少太多，那么少的只能是来自梯度和优化器状态，其中大头是优化器状态。9 拷打Megatron中的张量并行都存在哪些地方，具体如何做张量并行，当时没太完全看透Megatron（虽然现在也没看透），所以这题直接爆炸了。10 具体来说Megatron在transformers中的张量并行，可以发生在mlp，attention，embedding，cross entropy这几块。在mlp上，存在一个因为非线性变换，而对两个矩阵乘中的右侧矩阵列split，左侧矩阵不切的方式进行并行，减少一个同步点。attention中的并行主要是对头并行。embedding和cross entropy中这是要减少vocab这个超大纬度给计算带来的压力，做vocab纬度的张量并行。11 见我Megatron 张量并行打的不是很好，可能是想引导一下，面试官问我长文本训练中，需要算loss的token很多，怎么缓解这个过程的计算压力，我觉得他当时想引导我讲cross entropy的张量并行的，但我当时没想到。反问 很套路的了解部门业务结果 面完秒挂 😭 #如何判断面试是否凉了# #百度求职进展汇总# #互联网没坑了，还能去哪里？#

8.28 美团一面 纯纯的搞笑面前言：本来美团的面经不该在这个时间点来写的，我也并不想写，因为这面经写出来没有丝毫的价值，本该着手去写的已挂的百度二面面经，但在我看到我的美团校招流程变成回到人才库时，我必须写点什么吐槽这件事。1.自我介绍2.看我的简历里面没有学校的经历，为什么？（学校的经历和求职的需求百分之百不符合）3.看我许久以前的简历是找java的，为什么改了？（礼貌的回答了）4.让我选一个项目聊，我选了目前实习做的项目，大语言模型做类似判别的任务。5.我这个项目的场景下，大模型的输入是啥？我回答是文字。6.大模型的输出是啥？我回答也是文字。7.这个loss是怎么计算的？我回答，toke...

我tm真的是嘴贱啊，Megatron这个框架我还没刻在dna里就敢在做中台的面试官面前拽，我tm是真嫌自己死的不够快。我发现了，我就是这样的人，我就需要一个面试官狠狠地秒杀我，让我进入血怒状态，才能把东西学明白。不说了，看源码去了。 #百度求职进展汇总#

不知道到底是提前批还是正式批 面呗一面（8.26）1.自我介绍2.讲项目里的focal loss，为什么要使用，好处有哪些，focal loss最初用于解决什么问题。3.讲项目里提到的kto，他和dpo的区别，相比dpo的优势。4.讲给苹果贡献的dora和lora的区别，dora为什么看起来更好5.手撕自注意力6.softmax的公式7.softmax有个改进版（除掉最大值），写出公式，为什么要这么改进。8.llama2相对llama1改进，三大块，rms、rope、silu9.group query attention 为什么这么设计。10.手撕 三数之和 hot100老演员了 秒了。反问：是做中台的部门，做一些训练组件之类的东西。一面是个小姐姐，感觉压力不是很大。 #百度# #百度求职进展汇总# #百度秋招提前批进度# #百度秋招提前批# #百度进度交流汇总# #百度2025校招# #百度提前批进度交流#

提前批 非star岗位类型：推荐方向llm算法一面：自我介绍。聊项目。无八股。手撕是一个滑动窗口 有些小细节没写对 但最后还是给过了。二面：自我介绍然后紧接伪代码手撕多头注意力，撕完面试官说rms和残差链接呢？我说这个一般不在多头注意力这个类里面写，又给他写了一下transformersblock里面forward的伪代码。紧急八股，rms和一般layer norm的区别。layer norm和batch norm的区别，为什么大模型中一般用layer norm然后是手撕，先给了一道dp，乘积最大的子数组，这题刷了好几遍，可以秒。但我怕面试官认为我太会，故意沉思了一段时间，才和他说了一下思路，然后秒了。可能是上一道题沉思的不够久，写得还是太快了，面试官又给了道点积最大的子数组，一开始不太会，思考了一下还是dp，转移思路和编辑距离类似，就写出来了。三面自我介绍。简单介绍自己做的项目。一个智力题，去掉大小王的扑克牌，随机抽五张，自由选择盖下一张展示四张，和同伙设计一种出老千的方式，使得同伙可以猜出盖牌。分颜色和点数两纬度出老千，颜色这块一开始想复杂了，在讨论各种情况，然后面试官点了一下我，抽五张牌，必有相同的两花色。点数上，面试官提示可以定义花色和点数的排序规则，展示的四张牌，一张同花色作为点数的锚点，其他三张可以根据排序规则被标记为1 2 3，1~3排列出6种情况，对应6中差值，把1~13的范围想成进制，则可以cover住任何差值。聊人生，聊对大模型的理解，聊之后想做的方向。 #快手# #快手秋招正式启动啦# #快手求职进展汇总# #秋招提前批启动你开冲了吗# #秋招# #快手提前批#

j73421一面（1h）自我介绍聊项目sft过程中的遗忘问题怎么解决transformers相比cnn、rnn的优势在哪。手撕全排列一面完第二天hr约二面二面（50min）面试官开局迟到20min自我介绍聊项目pretrain、sft、偏好对齐这三块有啥区别手撕 无向图上存在多个节点，给定连边关系，类似于找岛屿。二面完两天没动静，然后就挂了。 #百度求职进展汇总# #百度秋招提前批进度# 题都答了，手撕也撕出来了，可能和他们做的不匹配吧。哈哈，寄😇