OPPO多模态感知一面

#小马智行##实习##实习生#1. 熟悉开放词汇检测 OVD相关内容，比如YOLO-World, Grounding-DINO等2. 熟悉SAM,SAM2微调或者Mobile-SAM, Fast-SAM,RepViT-SAM等工作3. 熟悉utralytics #牛客AI配图神器#框架4. 有CV or 多模态方向的paper满足上面四者之一即可工作要求：根据上面的要求做一些项目尝试工作，基于内部数据集训练更好的model。外地学校可以有房补，要求实习期最好6个月以上。有转正名额，优秀者可以转正答辩，无需校招面试。

当时一二面流程很紧凑，没有分开记录，每面大约50min。总的来说很友好，面试体验也不错，不会的不太逼问，主要根据你的简历和jd进行提问。虽然流程很快但是offer反馈比较慢，应该是同时面多个在排序。后面时间不合适就没去。惯例：互相介绍自我介绍2min，之后面试官介绍自己的团队在做什么深挖项目介绍你做的某课题的pipeline、为什么要这样设计改进（就是问创新点）在xx项目中，如何解决遮挡导致的视角歧义问题？对比过不同3D表征方式对多模态融合的影响吗？若加入雷达点云作为第三模态，会如何调整对齐策略？loss函数介绍+写出基本算法八股看你做过bert，介绍一下bert,transformertra...

1. 核心影响因素- 任务类型：- 简单任务（如文本分类）：可能需数百到数千条标注数据。- 复杂任务（如对话生成、阅读理解）：通常需数万条甚至更多数据，尤其需多样性和高质量样本。- 模型规模：- 大参数量模型（如GPT-3、PaLM）可能需更多数据防止过拟合，但通过策略（如参数冻结）可降低需求。- 较小模型（如BERT-base）可能在较少数据下表现良好。核心是数据质量：- 高质量、标注精准、多样化的数据可显著减少需求量。- 低质量数据可能导致模型性能瓶颈，需额外清洗或增补。领域差异：- 若预训练数据与目标领域差异大（如通用→医疗），需更多领域数据调整模型分布。- 训练策略：- 正则化技术（早停、Dropout、数据增强）可缓解小数据过拟合。- 迁移学习技巧（如Adapter、LoRA）可减少可训练参数量，降低数据需求。经验可参考范围- 常规任务（分类/标注）：- 小模型（如BERT）：1k-10k样本。- 大模型（如GPT-3.5）：可能需10k-50k样本（结合领域适配策略）。- 生成任务（对话/摘要）：- 通常需5k-100k+样本，依赖生成质量要求。- 领域适配：- 若领域差异大，需额外增加20%-50%数据量。产品经理的权衡维度- 业务目标：- 若需快速验证MVP，可接受小数据+低精度（如数百样本），后续迭代优化。- 若追求高精度（如医疗、金融场景），需预留足够标注预算。- 资源限制：- 标注成本：若数据获取昂贵，需优先优化数据质量或采用主动学习。- 算力与时间：大数据量需更高训练成本，需权衡ROI。- 替代方案：- Prompt Engineering：用少量样本设计提示词，可能无需微调。- Few-shot Learning：结合模型原生能力减少数据依赖。 #牛客激励计划#  #聊聊我眼中的AI#   #数据人的面试交流地#  #AI了，我在打一种很新的工#  #面试被问期望薪资时该如何回答#  #面试题刺客退退退#  #大家都开始春招面试了吗#  #24届软开秋招面试经验大赏# #牛客AI配图神器#

自我介绍项目deepspeed zero 的三个状态？1b 的模型需要多少显存？16G。模型2g,梯度2g，优化器状态4g+4g(以adam为例，一阶动量32位和二阶动量32位)。如果有32位的模型参数的备份，就还有4g。一共2+2+4+4+4=16g。adam 优化器的形式？Adam优化器中：一阶矩估计：用于引入动量，使参数更新具有“惯性”，加速收敛，同时平滑梯度，减少噪声影响，让参数更新更稳定。二阶矩估计：通过衡量梯度方差，自适应调整各参数维度的学习率，使不同维度都能以合适速度更新，还能有效处理稀疏梯度问题。dpo ppo grpo的区别？为什么用llava 不用qwen-vl？在图文检索...