大模型LLM面试题总结

Kstar 大模型训练/推理岗  50分钟，面完直接躺地上睡觉zzz上来直接对着简历里的实习经历和项目问。1. 有哪些KV Cache Compression的形式？（这边我想先从自己的实习项目开始，再说别的，被对方直接打断“我没有问你的东西，我问有哪些方法”  态度感觉很不友好 ）  开始吟唱八股。2. MHA，MQA，GQA的概念，问怎样广播KV。之后问Multi-head Latent Attention与GQA的数据对应关系（给定hidden_status，Rope，MLA和GQA个数问MLA对应几个GQA），只知道MLA是低秩矩阵乘，但是具体怎么算没自己看过……没答上来。3. 问了20分钟项目里的KV Cache Sparse计算的细节和vLLM Triton的实现，自我感觉答得还可以。不过其中有一个，问我KV Cache Sparse计算为什么不用掩码，跟他说用掩码会导致不必要的GPU I/O和计算，不如直接传入稀疏矩阵，但对方一直觉得我说的有问题 = =||  4. DeepSpeed Zero123分别做了什么工作，吟唱完Zero1后被直接打断，让我算如果用Adam优化器，N个参数量的规模下Zero1如何给P个GPU分配数据。磕磕绊绊答出来，但是被说N个参数量还要考虑不同数据类型之间占用的内存不同FP32FP16balabala5. SmoothQuant原理，为什么要Smooth，参数如何设定（八股启动）  怎样判断一个模型是否适合SmoothQuant，如果用每层激活值分布判断，是看input channel还是output channel（答output，但是说完之后对方不置可否 = =||）6. AWQ和GPTQ原理，有何区别。7. 项目里为什么选用不同的量化方法，GPTQ和SmoothQuant对应什么场景。8. 蒸馏模型怎么做的，用了哪些技术（因为我用的模型是训练组给的蒸馏模型，只知道蒸馏的概念，细节不清楚）9. 分布式gpu通信原语  all together   all2all  （展开说了分别各自对应什么场景，结果被打断说“我只需要知道你告诉我这是通信原语就行”  觉得我说太多了…急着下班吗）反问环节有点幽默……我“请问您这边主要是做上游的微调或者modeling还是偏模型工程的推理加速？”  对方沉默一会儿回答“我们是算法”  把我尬住半天，，，面完1分钟看官网秒挂#秋招#

moe和dense模型的区别，各自的优缺点 a. 参数量，计算量，训练效果，如何选择deepspeed原理，你是否可以从理论上对 ds 的 stage3 阶段的性能进行分析混合并行策略是否了解，介绍一下 TP，PP，DP 的使用场景介绍一下混合精度训练的原理和优势 ● 追问量化技术是否了解是否了解 Hopper 架构的新特性，对 flash-attention3 是否了解，两者的结合如何介绍一下 SM，SP，warp 相关概念和关系（感觉想问 warp-group...力扣手撕：岛屿数量未来发展方向，对 LLM 行业的态度及意向

组内急招，面试绿色通道！感兴趣请发简历给：xinyuehu@microsoft.com微软搜索广告算法团队隶属微软亚洲互联网工程院，我们与来自全球的工程师团队一起搭建涵盖用户、广告主和搜索引擎在内的业界领先的广告生态系统。微软广告产品遍布美国、加拿大 、英国、法国、德国、中国、日本、新西兰等全球200多个国家和地区。作为微软搜索广告团队的一员，你的技术和成果将会让全球超过10亿用户受益。岗位职责：1. 参与微软搜索广告系统的设计和开发工作，利用最前沿的LLM技术，改善广告相关性及收益2. 保持对数字的敏感性，基于测试结果及线上/线下指标对产品进行进一步改进3. 深入理解搜索广告系统，主动探索并发现问题，应用算法及相关技术手段进行改善4. 接受资深工程师和研究员的共同指导，研究探索最前沿的算法并将其落地在实际业务中任职要求：1. 计算机科学或相关专业硕士或博士在读，可长期实习的优先2. 熟悉 C/C++ 编程，信息检索，数据挖掘，机器学习，NLP，搜索广告及相关领域中的一个或多个领域，并有一定的知识积累3. 动手能力强，热爱软件设计及编程，能够持续研究和学习前沿技术，具有迎接挑战，解决难题的信心及热情4. 具有良好的沟通及团队合作能力，能够自我激励及自我指导5. 有LLM相关经验，在数据挖掘，机器学习相关领域发表了重要期刊或会议论文者优先    

某度提前批三面，来分享面经。 某度提前批三面更多是边面试边聊天，聊天其实更多啦，没有特别多的技术问题。 1.你觉得做的这个项目性能收益的insights在哪里？是有人这么做吗，还是你自己创新的？ 2.对目前AI/GPU处理器的公司有什么看法？觉得有谁最后能突破NV走出来吗？你是如何评价各家的技术路线的？包括了瓶颈，NPU和GPGPU的区别和联系，国内的技术路线等 3.你有什么对昆仑芯好奇的吗？4.虚拟地址和物理地址的关系，什么时候多个虚拟地址会映射到同一个物理地址，会出现一个虚拟地址映射到不同物理地址的情况吗，为什么？ 5.问了偏好的地域和为什么不留在实习的地方