小米-多模态算法工程师 面经（一二面）

当时一二面流程很紧凑，没有分开记录，每面大约50min。总的来说很友好，面试体验也不错，不会的不太逼问，主要根据你的简历和jd进行提问。

虽然流程很快但是offer反馈比较慢，应该是同时面多个在排序。后面时间不合适就没去。

惯例：互相介绍

自我介绍2min，之后面试官介绍自己的团队在做什么

深挖项目

• 介绍你做的某课题的pipeline、为什么要这样设计改进（就是问创新点）
• 在xx项目中，如何解决遮挡导致的视角歧义问题？
• 对比过不同3D表征方式对多模态融合的影响吗？
• 若加入雷达点云作为第三模态，会如何调整对齐策略？
• loss函数介绍+写出

基本算法八股

• 看你做过bert，介绍一下bert,transformer
• transformer和之前的模型相比，为什么有这么大的提升？
• 在视觉Transformer中，如何处理非均匀采样的3D点云数据？（可谈Patch Embedding改进）
• 自注意力和注意力的区别？注意力的KQV分别是？叙述自注意力流程
• 写一下自注意力的代码/过程
• 你是如何设计跨模态注意力机制？举例说明

JD相关

• 描述一个文生图的模型框架？
• 文生3D任务中，如何将Stable Diffusion的输出与NeRF/SDF等3D重建方法结合？
• 视频生成场景下，时序信息对齐与空间对齐哪个更重要？为什么？
• 对于3D语义分割任务，MIoU与Chamfer Distance如何取舍？
• 写一下MIOU的公式

手撕

LeetCode 244(哈希设计)

LeetCode 347(TopK问题)

其他提问及反问

实习时间，需要长期实习

除了做科研训练，是否做过多卡训练，是否做过服务器优化，在工程侧的优势是？

团队可以带给实习生/校招生的培养和资源