京东大模型推理算法一面二面

有点久远了，今天刚二面，总结下。
非常喜欢的面试官（一面），很帅很专业很聪明很落地很……（此处省略100字）。
二面的leader没开摄像头，never mind，我就是个渣渣，无所谓的。

记录下没答上来的点吧，大伙凑活看
1. Deepseek部署：很落地，但是具体细节忘记了，当时没及时记录下来。这个很火，建议刚入门的朋友可以多看看dpsk新技术。
2. Treereduece：不知道，只知道ringreduce
3. mooncake：新技术，答到KTransformer（CPU+GPU异构加速）的时候，面试官提到的
4. EP dispatch combine
5. Pd分离 Deepseek - dual pipline chunked prefill
6. 多卡分布式训推
7. GEMM和GEMV实现和优化上的区别
8. contiueous batching
9. chunked batching
10. Offloading：系统资源不够用的时候，卸载用不到的kvcache，或者没有被激活的专家等等
11. GPU命中率

场景：
1. 分布式部署的时候怎么去解决io bound
2. Deepseek- MoE 部署  EP TP 部署优劣对比

评价：猜你没有看过vllm源码+对分布式了解还不够，然后也说了分布式需要资源，这也是实习的意义


二面：
1. 为什么会有KVcache？为什么没有Q cache？（正好以前研究时候手撕过，设想一个你好的prompt，模型也回答你好，关键地方在于对于同样一个token，kv embedding的时候是同样的结果）
2. Cuda除了gemm还做过哪些？（没有）
3. 学这些东西用了多久？（两个月。。答长了，怕觉得我，学了这么久还这么垃圾。答短了，怕觉得我，才学这么点时间，垃圾。当然，长还是短，看他咯）
4. 以后啥安排？会定居北京吗？（回答对象、父母安排，意向是留在北京，机会多些）提到租房，问我了解京东附近房价吗？（闲聊）
5. 叫我做好准备，工作强度不低，弱弱的问了一句时间，大概是10-8，还行吧，和学习的时间比起来这都还好。
6. 说我不够底层，确实吧，还得学啊，路漫漫其修远兮，吾将上下而求索

参考连接：
为什么加速LLM推断有KV Cache而没有Q Cache？ - 莫叶何竹的回答 - 知乎
https://www.zhihu.com/question/653658936/answer/107469197025

Mooncake (1): 在月之暗面做月饼，Kimi 以 KVCache 为中心的分离式推理架构 - ZHANG Mingxing的文章 - 知乎
https://zhuanlan.zhihu.com/p/705754254

讲解的非常好，不是那么有基础的同学都可以试着了解一下【KTransformers 团队分享异构推理架构思路：基于内存的大模型推理成本优化】 https://www.bilibili.com/video/BV1VNQrYGEad/?share_source=copy_web&vd_source=0b7a45021acc545f42356bf3b2bb7080