25届 菜鸡算法工程师 秋招面试历程记录

总体二十多分钟1.先问了一下基础情况，然后做自我介绍2.拷问实习项目，主要问我数据怎么做的、数据分布怎么调整，然后不知道怎么跳到文本分类的样本分布上了，问我文本分类样本不均衡怎么做；然后问我模型训练怎么做的，让我介绍一下deepspeed框架、vllm框架3.拷问我rag的项目，问我两路召回中这两路有什么区别、rerank的作用、selfrag是什么、模型推理时延4.拷问我的论文项目，主要问了强化学习了解不了解、用的什么算法、ppo是onpolicy还是offpolicy等5.反问，问部门工作，说是做高性能计算以及提供一些服务的，回答比较官方总体感觉面试官在边面试边百度主要百度了我简历上的一些关键框架，然后照着百度上问的 #软件开发笔面经#  #如何判断面试是否凉了#

此贴记录下🐭🐭的秋招流程，秋招真是漫长而又折磨的过程啊，而且今年算法岗貌似行情都不是很好，现在算法就拿到oc的都是神人了。bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位timeline：2024.7.28 百度提前批 北京-机器学习/数据挖掘/自然语言处理工程师 简历投递2024.8.1 百度提前批 北京-机器学习/数据挖掘/自然语言处理工程师 一面2024.8.8 百度提前批 北京-机器学习/数据挖掘/自然语言处理工程师 二面2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.12 字...

这周一腾讯QQ一面秒挂影响了心情，这周的面经都没写面经的话尽量回忆一下联想一面1. 问了一个比较怪的问题，我没有很理解。就是我项目里面有做RLHF，他就问我的RM怎么训练的，回答给SFT模型加一个线性层输出reward值，然后就问我这个过程需要导什么库？答加载模型需要transformers库，然后问我加那个reward头需要什么库？有点懵，不是很懂他想问什么，加头的做法是参照LlamaforSequntialClassification做的2. 然后其他的都是一些常规问题，不太记得了，没有做题腾讯 QQ 一面1. 主要拷打了一下实习和项目2. 然后问我如果在QQ想做什么，回答了可能做QQ短视频、小世界的一些推荐（给自己挖坑，推荐只是速成了一下，不是很熟悉）3. 然后开始问推荐怎么和大模型进行结合？问开放性问题：怎么去给QQ短视频里面的视频做推荐？怎么挖掘这些视频的标签？ 只能说自己挖坑自己受苦4. 手撕出了一个 寻找目标值，之前面试的时候做过，结果这次做的有些小bug，感觉是这个导致了最后挂字节 广告算法 一面重量级来了1. 上来没有问实习，没有问项目直接开始八股轰炸2. transformer相关经典八股，问了有一个问题我觉得值得说一下，就是问我知不知道序列中每一个token的embedding在经过很多层self attention之后会变得相似的问题以及对应的原因？之前没有思考过，当场思考了一下，意思大概是深层网络往往学到的是序列的全局特征，所以会相似，还有就是每一次做self attention相当于在做平滑。这部分确实还得再想想3. 开始机器学习相关，手撕一个二分类的全流程，从输入到embedding到分类网络到sigmoid函数到交叉熵loss（中间的具体模型用一个函数代替即可）4. 手撕上述交叉熵loss的链式求导，就是loss对p求导，p对sigmoid求导（这里需要记住sigmoid的导数等于sigmoid x （1-sigmoid），不然现场推怕是推不了一点）5. 做一个最长公共子序列，算是常规6. 改成子串再做一遍。。。。（这个还是想了好久怎么改DP的条件）只能说不愧是字节，希望二面不要太折磨人😩中兴 算法工程师（智算）一面会议室里面进来了四个人😨，离谱1. 主要还是问实习和项目2. 其中一个面试官感觉像是套方案，疯狂问我实习部分继续预训练的数据大小、数据配比、数据清洗、训练流程、训练参数、学习率，感觉是遇到这种面试官还真得牢记项目的全流程，一些环节忘了就有点尬了智谱AI GLM对齐团队 一面1. 实习、项目拷打2. 因为是对齐团队，所以很care我有没有关注目前前沿的RLHF方法（前沿的关注不了一点，只能说了一些感觉有点早的东西）3. 大概讲了 从优化PPO出发和优化DPO出发的两类对齐方法，优化PPO的比如deepseek的GRPO，优化DPO的比如一堆DPO变体，以及DPO加正则化的方法。中间还让我从强化学习的角度给出优化PPO的方法，我就讲了一下老本行，从PG到REINFORCE到TRPO到PPO，然后表示我也不知道怎么优化PPO，已经是强化学习工业界用的最广泛的了哈哈哈哈哈4. 手撕了一个transformer的decoder block5. 记忆里应该还是问了Deepspeed跟Megatron智源人工智能研究院 行业大模型 一面1.时长半个小时，主要拷打实习经历，我实习做的也是领域大模型。非常巧的是，面试官也在美团同一个部门实习过，甚至认识我老板，希望不要跟我老板对情况，戳穿我吹牛逼的东西快手 推荐大模型 二面1. 记不太清问了些啥了，感觉是实习主要加LLM的一些经典八股（感觉是不超出我目前写过的面经的范围）2. 手撕了一道最小编辑距离，写的时候有一个地方=写成==了，一直检查不出来，给面试官逗笑了京东 NLP 二面1. 主要拷打实习，比较关注数据质量处理，以及模型评估方面，会care具体上线业务没有2. 一些常规的LLM八股，有一个问题值得说一下。问了一个LLM推理的时候，如何从prompt到response？他想问的意思其实是LLM出来的结果不是prompt+response嘛，然后怎么去把response分出来，还说具体的代码里面会有一些额外操作，不是简单的截取然后decode，让我下去仔细看看3. 手撕了一个topk，我直接heapq.nlargest，面试官说也行哈哈哈哈哈中兴 算法工程师（智算）二面1. 这一面感觉是很HR面的感觉，介绍实习的时候也是比较关注数据的来源、处理、采样方面，然后是聊天，各种查户口面试时间硬是拖到一个小时，本来预约的是半个小时。。---------------------------又是忙碌的一周，感觉是腾讯给我秒挂了真的很影响心情，毕竟是最想去的厂了麻花腾！再给我一次👅的机会吧 #牛客创作赏金赛# #腾讯# #美团# #百度# #拼多多# #科大讯飞# #联想# #中兴# #作业帮# #快手# #字节# #智谱AI# #京东# #智源#

bg：2本 top2硕 tx一段大模型实习 学校研究方向及其抽象基本没面试官问 秋招主要投递大模型应用/NLP岗位简单总结下科大讯飞面试体验，流程推进极慢，每次推进基本都要两周左右，面试无手撕，算法困难户友好timeline：2024.8.11 科大讯飞-飞星计划 NLP 简历投递2024.8.22 科大讯飞-飞星计划 NLP 一面 1H左右面试问题：1. 自我介绍2. 拷打tx实习项目，大概用时20min3. 考察常见八股，常见结构的大模型代表（encoder-only、decoder-only、encoder-decoder）以及他们为什么是那些结构； ...