26级搜广推or大模型

攒人品~大模型岗位深挖论文项目，如何构建的数据集，评价指标，置信度的考虑，rag怎么做的，prompt怎么写的。bert的input词向量和其他大模型的区别，transformer的MHA之后的FFN是如何训练的。手撕最长无重复子串。反问业务。希望别挂

你了解 Mixtral 8*7B 模型训练的优化组选择吗？机内通信首选的策略组应该是什么，选择的原因是什么？shared_memory 一定重要吗，cuda 中的 memory 种类和使用方式介绍一下cuda launch 的过程，CPU 端怎么知道命令完成的GPU 之间的通信是如何完成的cuda 的计算和通信指令是如何发出的CP 的并行方式和并行思想，ring 和 ulysses 的技术介绍介绍一下在大模型训练/推理过程中常见的通信原语请解释并介绍一下 Roofline 模型，是怎么运用到实际场景中的如果给你一些 CPU，GPU 的型号，你如何去对他们进行比较合适的组装，以及机内机间的带宽你...

1. 我重构了一下虚拟试衣项目的逻辑讲了25min2. 问为什么不可以直接concat人穿衣服，答可以做到mask-free3. 为什么用clip 衣服细粒度可以保持住吗（不太行，可以考虑dino v2）4. 既然一直提到clip 手写一下 主要写forward5. 手写RMSNorm（我都不知道是啥了快，写了一下写错了）6. 还想要我写，时间到了就没再写7. 介绍做什么： 音频模态，还是可能会不可避免dirty work （洗数据） 问我的顾虑8. 能否提前实习9. 为什么暑期没来百度10. 我的诉求：尽量快点推进

一面/技术面 2024/7/25 晚上18:00-19:00自我介绍为什么不做推荐转行做NLP介绍实习，从背景、动机、数据处理、实验方案到成果，到后续安排，问了个遍数据如何处理详细介绍了LongLoRA，包括各种实验细节Sparse Attention了解哪些Transformer中有哪些加速收敛，防止过拟合的操作介绍各种norm，batchnorm训练测试差异位置编码方案有哪些？优缺点长文本技术了解哪些，详细说一说长文本和Sparse Attention的结合有哪些，详细说说介绍NIPS论文，问了一些问题代码：二叉树右视图，比较基础反问二面/技术面 2024/8/14 晚上20:00-21:...