智谱 GLM预训练 二面

昨天三面推到了今天，面试官比较忙。1.自我介绍2.聊了一会蚂蚁的实习，联邦学习安全之类的，说了一下落地难的情况，面试官感觉对这个也是有了解的，以前面试官基本上都是跳过这个 hh。3.聊暑期实习的项目。聊了一会。问我前两面做了题没有，我说没有。1. 写一个 self atten， 只需要写 forward触发八股为什么要除以根号 dk？不能是 dk？或者其他的吗？多头是头越多越好还是越少越好？头越多计算越快还是越少越快？2.最长公共子串反问了

你了解 Mixtral 8*7B 模型训练的优化组选择吗？机内通信首选的策略组应该是什么，选择的原因是什么？shared_memory 一定重要吗，cuda 中的 memory 种类和使用方式介绍一下cuda launch 的过程，CPU 端怎么知道命令完成的GPU 之间的通信是如何完成的cuda 的计算和通信指令是如何发出的CP 的并行方式和并行思想，ring 和 ulysses 的技术介绍介绍一下在大模型训练/推理过程中常见的通信原语请解释并介绍一下 Roofline 模型，是怎么运用到实际场景中的如果给你一些 CPU，GPU 的型号，你如何去对他们进行比较合适的组装，以及机内机间的带宽你...

一、智谱AI GLM对齐组 二面1. 自我介绍2. 昨天晚上面的，很多记不得了3. 主要问了一下实习做便好对齐的一些DPO的细节4. 问了一下RLHF强化学习部分的一些优化5. 问了我做DPO训练的资源和时间消耗（这里有点忘了，结果面试官估算了一下算的非常准确）6. 问了我项目里面做PPO训练的时候的资源消耗（记不得，现场推算了一下）面试官水平很高，对齐方面问的很深入，感觉我半路出家还是不太行，面试官对我也不是很感兴趣，半个小时就结束了今天问HR挂了没，还没有明确结果二、中兴 算法工程师（智算） 三面1. 自我介绍2. 主要拷打实习，问了很多继续预训练的细节，比较在意有没有对基座模型进行修改3. 我三面专家面的画风好像跟我在牛客上看到的不太一样，偏向于聊天面，没有太多参考意义目前状态已经进 综合评估 状态了三、智源研究院 行业大模型 二面1. 自我介绍2. 主要拷打实习的继续预训练、SFT、DPO的所有内容3. 问了一些LLM的传统八股，有一个比较答的差的问题，SFT的loss具体是怎么算的？感觉这个下去还得仔细看看代码，平常基本上就是用框架，没太关注过🥹上面三个面试都没有手撕#智谱AI##中兴求职进展汇总##智源##软件开发笔面经#

下面我将对自己的基本情况进行介绍并对58校招岗位进行推荐希望能对大家有所帮助基本情况：双非本科，211硕士。曾在好未来和智谱实习。目前在58任职大模型算法工程师，负责对齐算法相关的工作。自我认知：熟悉python、pytorch、deepspeed、megaton等技术。熟悉当前主流大模型架构和对齐方法，紧跟目前主流的对齐技术。能够流畅的阅读英文文献。热爱人工智能技术，对当前前沿的NLP算法有着浓厚的学习兴趣。明确目标当前人工智能的快速发展，特别是大模型的应用，催生了算法工程师的大量岗位需求。这一波技术浪潮为我们这些热爱人工智能的技术爱好者带来了前所未有的机会。作为对这一领域充满激情的从业者，...