字节三面，写了三遍交叉熵🤮今天又是交叉熵，还是numpy手写二分类交叉熵整个过程真是交交又叉叉啊🤣#字节求职进展汇总#

更新一下，确实过了，约二面了----------如题，这周复活赛打赢被捞了，今天晚上面完，23点的时候刷新发现链接消失了，但是如图还是显示初试环节这正常吗，我看一般都是进复试然后复试面试场数可能很多 #腾讯求职进展汇总#

想了一下还是写一下吧，后面面经可能不会写的很详细了jd那条我先隐了，有需求可以私信交流1. 自我介绍完了之后讲项目2. 做题，LC1363. 手撕交叉熵，以及原理4. 做一个找数组中最大的K个数5. 智力题，关于对称路径的问题，同一段路来回总时间一样会不会遇到来回同一时间点在同一位置的情况已经过了，等三面

一、智谱AI GLM对齐组 二面1. 自我介绍2. 昨天晚上面的，很多记不得了3. 主要问了一下实习做便好对齐的一些DPO的细节4. 问了一下RLHF强化学习部分的一些优化5. 问了我做DPO训练的资源和时间消耗（这里有点忘了，结果面试官估算了一下算的非常准确）6. 问了我项目里面做PPO训练的时候的资源消耗（记不得，现场推算了一下）面试官水平很高，对齐方面问的很深入，感觉我半路出家还是不太行，面试官对我也不是很感兴趣，半个小时就结束了今天问HR挂了没，还没有明确结果二、中兴 算法工程师（智算） 三面1. 自我介绍2. 主要拷打实习，问了很多继续预训练的细节，比较在意有没有对基座模型进行修改3. 我三面专家面的画风好像跟我在牛客上看到的不太一样，偏向于聊天面，没有太多参考意义目前状态已经进 综合评估 状态了三、智源研究院 行业大模型 二面1. 自我介绍2. 主要拷打实习的继续预训练、SFT、DPO的所有内容3. 问了一些LLM的传统八股，有一个比较答的差的问题，SFT的loss具体是怎么算的？感觉这个下去还得仔细看看代码，平常基本上就是用框架，没太关注过🥹上面三个面试都没有手撕#智谱AI##中兴求职进展汇总##智源##软件开发笔面经#

1. 自我介绍2. transformer中softmax的作用？不做softmax会有什么问题？Softmax怎么解决上下溢的问题？除了减去最大值还有方法？3. selfattention 和传统attention 的区别？为什么Q K矩阵要不一样？Q K相同会怎么样？4. BERT的CLS token的作用？这个CLS在下游分类任务的效果不好，有什么不用CLS的改进方法吗？用BERT做分类如何更好表达句子含义？BERT的输出有几种？对应BERT中的哪两个函数？BERT当中哪些计算是线性的哪些是非线性的？BERT是怎么区分一词多义的？5. 学习率warmup的用法和作用？解释梯度消失的原因和解决方法，Dropout可以解决梯度消失吗？6. BERT和GPT各自结构的优势？如果大模型以后部署、速度都得到了很大的提升，BERT会被取代吗？7. GBDT和随机森林的区别？各自的方法流程？各自的数据处理的特点？各自偏向于解决什么问题？GBDT和随机森林对异常值的敏感程度？随机森林随机体现在哪些地方？8. 讲一下BN和LN，Transformer问什么不用BN？9. LORA微调的目的？LORA可以增加领域知识吗？LORA矩阵初始化？两个矩阵的初始化反过来会怎么样？LORA微调的超参？10. LLM复读机问题以及解决方法有哪些？怎么抑制LLM的幻觉问题？常用的位置编码有哪些？ 一些对原始attention的改进有哪些？11. 为什么要用多头注意力？多头的思想和QKV三个不同投影矩阵的思想的异同？QKV矩阵除了增加表达能力以外还有什么作用？（不太懂问的是啥，面试官后面提示说是还有降维的作用，不是很懂）类似多头的集成的思想在什么算法里面比较常见？（我答了机器学习的集成学习类，比如前面的随机森林，还说了MOE这种，面试官比较想听到的是多尺度CNN）修改了一些内容，恢复开放了，之前热度太高有点😨 #京东求职进展汇总# #软件开发笔面经#

如图，以及挂了6个志愿了你到底招不招人啊啊啊啊啊啊#阿里求职进展汇总#

如题，太爽了，第一次体验秒进录用评估！#快手求职进展汇总##牛客创作赏金赛#

话说有人拼多多进行到四面的嘛？

1. 面试官先自我介绍了一下2. 我的自我介绍3. 主要比较care实习里面的各个阶段的数据流程，问了一下合成数据的优缺点？4. 问了一下LLM评估方面，人工还是自动化？离线评估指标和线上评估指标有什么区别？5. 问了一下推荐系统和LLM结合的理解，从召回和精排两部分稍微说了一下理解，以及结合多模态blabla6. 做了一个最长回文子串的题，我用的一般的O(n^2)的算法，那个O(n)的记不得了，面试官让优化，大概说了一下可以剪枝什么的，没有具体做（确实不太会）7. 反问，其实更多的是面试官在给我讲推荐系统的难点，以及他们认为LLM可以优化哪些地方#快手求职进展汇总##牛客创作赏金赛#

这周一腾讯QQ一面秒挂影响了心情，这周的面经都没写面经的话尽量回忆一下联想一面1. 问了一个比较怪的问题，我没有很理解。就是我项目里面有做RLHF，他就问我的RM怎么训练的，回答给SFT模型加一个线性层输出reward值，然后就问我这个过程需要导什么库？答加载模型需要transformers库，然后问我加那个reward头需要什么库？有点懵，不是很懂他想问什么，加头的做法是参照LlamaforSequntialClassification做的2. 然后其他的都是一些常规问题，不太记得了，没有做题腾讯 QQ 一面1. 主要拷打了一下实习和项目2. 然后问我如果在QQ想做什么，回答了可能做QQ短视频、小世界的一些推荐（给自己挖坑，推荐只是速成了一下，不是很熟悉）3. 然后开始问推荐怎么和大模型进行结合？问开放性问题：怎么去给QQ短视频里面的视频做推荐？怎么挖掘这些视频的标签？ 只能说自己挖坑自己受苦4. 手撕出了一个 寻找目标值，之前面试的时候做过，结果这次做的有些小bug，感觉是这个导致了最后挂字节 广告算法 一面重量级来了1. 上来没有问实习，没有问项目直接开始八股轰炸2. transformer相关经典八股，问了有一个问题我觉得值得说一下，就是问我知不知道序列中每一个token的embedding在经过很多层self attention之后会变得相似的问题以及对应的原因？之前没有思考过，当场思考了一下，意思大概是深层网络往往学到的是序列的全局特征，所以会相似，还有就是每一次做self attention相当于在做平滑。这部分确实还得再想想3. 开始机器学习相关，手撕一个二分类的全流程，从输入到embedding到分类网络到sigmoid函数到交叉熵loss（中间的具体模型用一个函数代替即可）4. 手撕上述交叉熵loss的链式求导，就是loss对p求导，p对sigmoid求导（这里需要记住sigmoid的导数等于sigmoid x （1-sigmoid），不然现场推怕是推不了一点）5. 做一个最长公共子序列，算是常规6. 改成子串再做一遍。。。。（这个还是想了好久怎么改DP的条件）只能说不愧是字节，希望二面不要太折磨人😩中兴 算法工程师（智算）一面会议室里面进来了四个人😨，离谱1. 主要还是问实习和项目2. 其中一个面试官感觉像是套方案，疯狂问我实习部分继续预训练的数据大小、数据配比、数据清洗、训练流程、训练参数、学习率，感觉是遇到这种面试官还真得牢记项目的全流程，一些环节忘了就有点尬了智谱AI GLM对齐团队 一面1. 实习、项目拷打2. 因为是对齐团队，所以很care我有没有关注目前前沿的RLHF方法（前沿的关注不了一点，只能说了一些感觉有点早的东西）3. 大概讲了 从优化PPO出发和优化DPO出发的两类对齐方法，优化PPO的比如deepseek的GRPO，优化DPO的比如一堆DPO变体，以及DPO加正则化的方法。中间还让我从强化学习的角度给出优化PPO的方法，我就讲了一下老本行，从PG到REINFORCE到TRPO到PPO，然后表示我也不知道怎么优化PPO，已经是强化学习工业界用的最广泛的了哈哈哈哈哈4. 手撕了一个transformer的decoder block5. 记忆里应该还是问了Deepspeed跟Megatron智源人工智能研究院 行业大模型 一面1.时长半个小时，主要拷打实习经历，我实习做的也是领域大模型。非常巧的是，面试官也在美团同一个部门实习过，甚至认识我老板，希望不要跟我老板对情况，戳穿我吹牛逼的东西快手 推荐大模型 二面1. 记不太清问了些啥了，感觉是实习主要加LLM的一些经典八股（感觉是不超出我目前写过的面经的范围）2. 手撕了一道最小编辑距离，写的时候有一个地方=写成==了，一直检查不出来，给面试官逗笑了京东 NLP 二面1. 主要拷打实习，比较关注数据质量处理，以及模型评估方面，会care具体上线业务没有2. 一些常规的LLM八股，有一个问题值得说一下。问了一个LLM推理的时候，如何从prompt到response？他想问的意思其实是LLM出来的结果不是prompt+response嘛，然后怎么去把response分出来，还说具体的代码里面会有一些额外操作，不是简单的截取然后decode，让我下去仔细看看3. 手撕了一个topk，我直接heapq.nlargest，面试官说也行哈哈哈哈哈中兴 算法工程师（智算）二面1. 这一面感觉是很HR面的感觉，介绍实习的时候也是比较关注数据的来源、处理、采样方面，然后是聊天，各种查户口面试时间硬是拖到一个小时，本来预约的是半个小时。。---------------------------又是忙碌的一周，感觉是腾讯给我秒挂了真的很影响心情，毕竟是最想去的厂了麻花腾！再给我一次👅的机会吧 #牛客创作赏金赛# #腾讯# #美团# #百度# #拼多多# #科大讯飞# #联想# #中兴# #作业帮# #快手# #字节# #智谱AI# #京东# #智源#

今晚腾讯QQ一面，面完两个小时挂了第一次秒挂藤子大概多久能再捞一次啊，然后是挂了之后更改岗位会不会好一点#腾讯求职进展汇总#

评估中了！希望最后真的能发意向吧，这个我是真想去的啊 #百度求职进展汇总# #牛客创作赏金赛#

面试时间8月30日1. 自我介绍2. 直接做两道题，LC17、LC2093. 开始问实习，主要在继续预训练的数据、训练参数等上详细问了（一直问我两阶段学习率都是怎么设置的）问实习的过程中穿插了一些LLM八股4. 预训练的loss5. 退火过程的理解6. LLM的几种架构7. Llama跟BERT的各种对比8. Llama结构的演化改进9. ROPE的原理10. BN、LN、RMSnorm反问，主要做视频相关的推荐，多模态之类的，感觉是没有多模态经历要寄了虽然但是，感觉面试官不是很懂LLM，我说了个RLHF他反应了半天，还让我解释不过没事，挂了继续投，下一个准备投广告😁 #快手# #牛客创作赏金赛# #快手求职进展汇总# --------------------更新，已经约二面了，这次居然秒过

面试时间8月29日科大讯飞飞星计划NLP 二面感觉是要寄，这面试官问问题很不清晰。。。1. 直接查户口2. 跳过项目、实习直接八股轰炸（感觉是直接回我不感兴趣）3. 问训练一个通用大模型的步骤（我理解成base模型了，流程里面只说了预训练，然后他意思是chat那种，就还得包含SFT、RLHF）4. 问Transformer encoder decoder结构上的不同（答了双向注意力和单向注意力，面试官说还有呢，答了transformer里面一个self attention，一个cross attention，问还有呢，答了transformer中encoder self attention + FFN，decoder self attention + cross attention + FFN，问还有呢？还有啥啊？你让说结构区别的啊，难道他其实想问输入输出、训练任务的区别？反正给我问急了？）5. 问RLHF的流程，问到RM的训练的时候突然问RLHF的loss是什么，顺势就以为问的是RM的loss，答交叉熵，说不对？？？不是吗？后面想了一下他可能是想问PPO的loss6. 后面确实问了PPO的优化目标。。。7. 最急的来了，问有多个弱分类器，怎么利用生成一个更强的分类器，答voting，然后直接问了机器学习ensemble的方法，bagging、boosting、stacking，勉强答上来，然后问这些方法对数据的处理有什么不同，只记得bagging是有放回的采样。。。（机器学习的八股确实还得再加强）8. python相关 装饰器、*args、**kwargs9. 问大量文本怎么生成一个字典（理解了一会才明白问的是词表生成，答了BPE的流程）10. 反问环节，说是做RAG的，不是那你连我的LLM实习经历也不问？八股也不问RAG？总结，目前为止科大讯飞两次面试体验都很差，一面好像就半个小时？查户口加听我讲项目、无手撕无八股直接结束。二面面试官问题都说不清楚，让我理解困难，然后实习、项目一个不问，也没有手撕，40分钟不到就结束，麻麻滴，想挂我直说好吧😠拼多多算法工程师三面1. 自我介绍2. 查户口，从本科查到研究生，问比赛经历、课程、保研blabla一堆3. 实习介绍，全程倾听，讲嗨了4. 研究项目介绍，全程倾听，讲嗨了5. 问个人优点缺点、导师评价、实习leader评价等等6. 问能不能接受拼多多的工作时间，先接受了再说，感觉11 11 6也不是不行，💰给够还是可以考虑的7. 反问，这个面试官的组主要是做拼多多评价相关的业务面试体验还是很好的，拼多多算是我面试流程最快的了，笔试到三面完也就半个月多一点，不知道后面还有没有HR面，先许愿一个offer好吧#科大讯飞##拼多多##面经#