5.9一面:1. 讲项目2. 推理优化技术(有损, 无损)3. 有哪些性能评价指标4. 场景题, 设计top指令, 资源的管理层面有哪些需要考虑的(WA这些, 我不会)5. CPU管理哪些资源(物理资源, 资源对象实例角度)5.10 二面:1. 讲项目2. 场景, 假如只有一个模型,如何在硬件设备上高效部署(模型并行, 量化, 调度, 当GPU显存不够但是只有一个GPU, 又必须要做推理服务, 考虑将模型按层卸载到CPU上, 每次计算再传到GPU上, 针对这个方案详细问了这个延迟大概是什么量级的, 带宽指标是多少)3. 问了CUDA优化方法

5.6一面1. 自我介绍(介绍完就发现技术栈不匹配了)2. 问项目3. 程序内存中堆和栈的区别4. 使用堆的时候怎么防止内存泄漏5. debug方法(我发现字节很喜欢问这个, 但是我不太会, 我觉得他们想要的标准答案应该是linux环境下用gdb的core文件的debug方法)6. 说说面向对象编程, 举个例子7. 浮点数float和double的精度(还有一些, 但是记不住了)手撕:1. 一个按照从小到大排序的有序链表(正负数都有), 把它重新按照绝对值大小排序.2. 流量控制, 滑动时间窗口, 每秒通过五个请求, 如果超过五个就舍弃. 问这个算法有什么问题, 怎么改进.(面试官的意思是从时间窗口的角度思考, 而不是动态调整阈值的角度. )

一面1. 项目介绍2. 介绍MPS3. 推荐模型训练技术, embeding和MLP的分离部署4. 模型训练 数据并行的通信量, 通信算子5. CUDA warp执行模式6. transformer架构7. 位置编码(问了, 但我说我不太了解就也没再细问下去)二面写代码, mem allocator

有点久远, 记不太清了, 尽量回忆一面1. 介绍项目2. CUDA GEMM手撕: cuda 向量加法二面1. LLM推理部署优化技术2. 模型量化Float32 和 INT8 怎们相互转换手撕: 公共子序列

一面:1. 项目(MPS, 训练内存, 调度策略, 时分复用和空分复用)2. LLM推理有什么主要瓶颈3. LLM推理主要的优化技术4. page attention5. orca迭代级请求调度手撕: 反转链表二面: 1. 项目(MPS, GPU占用率指标)2. C++ 数组下标越界了会报什么错3. 怎么Debug, linux环境下如何定位错误手撕: LRU cache

基础平台研发工程师 一面(4.23)1. 介绍项目2. CUDA GEMM3. CUDA 矩阵求逆4. GEMM算法层面优化5. 智能指针, 循环引用, weak_ptr转share_ptr6. 虚函数7. C++ 的sort函数是基于什么算法? 答: 快排. 然后让介绍一下快排8. CUDA排序算法9. CUDA并行规约二面(4.24)1. 介绍项目2. 介绍lora3. 训练过程的内存占用4. GEMM优化5. C++ lambda6. C++ template7. template的特化和实例化8. 训练和推理过程在计算上有什么差异