鹅厂 （似乎是青云计划的）WXG 大模型推理工程师一面凉经

Kstar 大模型训练/推理岗  50分钟，面完直接躺地上睡觉zzz上来直接对着简历里的实习经历和项目问。1. 有哪些KV Cache Compression的形式？（这边我想先从自己的实习项目开始，再说别的，被对方直接打断“我没有问你的东西，我问有哪些方法”  态度感觉很不友好 ）  开始吟唱八股。2. MHA，MQA，GQA的概念，问怎样广播KV。之后问Multi-head Latent Attention与GQA的数据对应关系（给定hidden_status，Rope，MLA和GQA个数问MLA对应几个GQA），只知道MLA是低秩矩阵乘，但是具体怎么算没自己看过……没答上来。3. 问了20分钟项目里的KV Cache Sparse计算的细节和vLLM Triton的实现，自我感觉答得还可以。不过其中有一个，问我KV Cache Sparse计算为什么不用掩码，跟他说用掩码会导致不必要的GPU I/O和计算，不如直接传入稀疏矩阵，但对方一直觉得我说的有问题 = =||  4. DeepSpeed Zero123分别做了什么工作，吟唱完Zero1后被直接打断，让我算如果用Adam优化器，N个参数量的规模下Zero1如何给P个GPU分配数据。磕磕绊绊答出来，但是被说N个参数量还要考虑不同数据类型之间占用的内存不同FP32FP16balabala5. SmoothQuant原理，为什么要Smooth，参数如何设定（八股启动）  怎样判断一个模型是否适合SmoothQuant，如果用每层激活值分布判断，是看input channel还是output channel（答output，但是说完之后对方不置可否 = =||）6. AWQ和GPTQ原理，有何区别。7. 项目里为什么选用不同的量化方法，GPTQ和SmoothQuant对应什么场景。8. 蒸馏模型怎么做的，用了哪些技术（因为我用的模型是训练组给的蒸馏模型，只知道蒸馏的概念，细节不清楚）9. 分布式gpu通信原语  all together   all2all  （展开说了分别各自对应什么场景，结果被打断说“我只需要知道你告诉我这是通信原语就行”  觉得我说太多了…急着下班吗）反问环节有点幽默……我“请问您这边主要是做上游的微调或者modeling还是偏模型工程的推理加速？”  对方沉默一会儿回答“我们是算法”  把我尬住半天，，，面完1分钟看官网秒挂#秋招#

大家有了解启元实验室吗？这个实验室怎么样呀？稳不稳定加不加班呀？这个实验室也有机器人具身智能相关的岗位

1.自我介绍2.项目经历，逐条拷打3.假设面试官什么都不懂，简短介绍transformer让其理解transformer的结构transformer残差连接的目的transformer encoder的归一化是什么cv常用的归一化是什么，和transformer归一化的区别layernorm的公式batchnorm推理时的方差和均值如何计算4.RAG的流程5.LLM Agent 技术的了解6.除了DPO，其他的一些对齐算法的实践和了解6.手撕题目 一个mxn矩阵 每行元素从左到右升序，每列元素从上到下升序，给定目标值判断是否在矩阵中问思路时间复杂度7.正常反问------------------今天一天面了三场好累----------更新一下，共享了----------光速复活，早上起床看共享了，这会又显示面试中了就是不知道啥时候继续面

上周，领导给了我一份简历。领导：熊猫，这里是一个来自xxxx大学的同学，你看看有没有空去面试一下我：OK，我看一下(我看了后发现，这同学的简历写的还不错，重点突出，层次分明，虽然一开始是做算法的，但是后面也有几段AI-HPC、AI推理优化的经历，工作内容对于校招生来说还可以，且写的东西都在我的知识范围内，我有信心可以“焦作人”，于是答应了去聊一聊）--------------------------------------分界线-------------------------------------时间飞逝到面试时刻。我：你好，同学！我是XX公司的AI推理加速工程师，花名熊猫，首先感谢你今天...