推理部署优化/高性能开发 春招总结-1

Kstar 大模型训练/推理岗  50分钟，面完直接躺地上睡觉zzz上来直接对着简历里的实习经历和项目问。1. 有哪些KV Cache Compression的形式？（这边我想先从自己的实习项目开始，再说别的，被对方直接打断“我没有问你的东西，我问有哪些方法”  态度感觉很不友好 ）  开始吟唱八股。2. MHA，MQA，GQA的概念，问怎样广播KV。之后问Multi-head Latent Attention与GQA的数据对应关系（给定hidden_status，Rope，MLA和GQA个数问MLA对应几个GQA），只知道MLA是低秩矩阵乘，但是具体怎么算没自己看过……没答上来。3. 问了20分钟项目里的KV Cache Sparse计算的细节和vLLM Triton的实现，自我感觉答得还可以。不过其中有一个，问我KV Cache Sparse计算为什么不用掩码，跟他说用掩码会导致不必要的GPU I/O和计算，不如直接传入稀疏矩阵，但对方一直觉得我说的有问题 = =||  4. DeepSpeed Zero123分别做了什么工作，吟唱完Zero1后被直接打断，让我算如果用Adam优化器，N个参数量的规模下Zero1如何给P个GPU分配数据。磕磕绊绊答出来，但是被说N个参数量还要考虑不同数据类型之间占用的内存不同FP32FP16balabala5. SmoothQuant原理，为什么要Smooth，参数如何设定（八股启动）  怎样判断一个模型是否适合SmoothQuant，如果用每层激活值分布判断，是看input channel还是output channel（答output，但是说完之后对方不置可否 = =||）6. AWQ和GPTQ原理，有何区别。7. 项目里为什么选用不同的量化方法，GPTQ和SmoothQuant对应什么场景。8. 蒸馏模型怎么做的，用了哪些技术（因为我用的模型是训练组给的蒸馏模型，只知道蒸馏的概念，细节不清楚）9. 分布式gpu通信原语  all together   all2all  （展开说了分别各自对应什么场景，结果被打断说“我只需要知道你告诉我这是通信原语就行”  觉得我说太多了…急着下班吗）反问环节有点幽默……我“请问您这边主要是做上游的微调或者modeling还是偏模型工程的推理加速？”  对方沉默一会儿回答“我们是算法”  把我尬住半天，，，面完1分钟看官网秒挂#秋招#

清华系的AI infra创业公司，规模比较小，全是清华大佬，被狠狠吊打。一面八股transformer的模型结构有哪些位置编码？其特点是什么？GQAFlash Attention？Page AttentionDecoder-Only和Encoder-Decoder-Only模型相比有什么区别？手撕CUDA规约计算反问培养及管理体系二面二面应该是技术负责人了，项目拷打，问的特别细特别深，当时面试完人麻了，也没有录音记录，所以细节已经忘掉了。因为他们公司跟我实习的公司有业务合作，所以这位技术大佬比我还了解实习公司的业务，面试过程快扣出四室一厅了，毫无疑问的挂了。

本硕985计算流体方向，课题是做LBM算法的CUDA C++并行加速优化，写一些简单kernel算子，想问各位uu转码现实吗，有哪些大厂的岗位可以投呢

上周，领导给了我一份简历。领导：熊猫，这里是一个来自xxxx大学的同学，你看看有没有空去面试一下我：OK，我看一下(我看了后发现，这同学的简历写的还不错，重点突出，层次分明，虽然一开始是做算法的，但是后面也有几段AI-HPC、AI推理优化的经历，工作内容对于校招生来说还可以，且写的东西都在我的知识范围内，我有信心可以“焦作人”，于是答应了去聊一聊）--------------------------------------分界线-------------------------------------时间飞逝到面试时刻。我：你好，同学！我是XX公司的AI推理加速工程师，花名熊猫，首先感谢你今天...