日常实习offer选择

大模型好难，都是面试没啥问题，结果挂了

先自我介绍。项目。感觉面试官不太懂多模态。也没问啥。无八股。做题。代码：三数之和。钉钉出现故障，面试官口述了问题，然后让我讲了一下思路。反问。面试官说了很多。挺能聊的。岗位主要是做 agent 相关，用户出行规划、订票(机票火车票)建议。工作内容还可以，不是那么无聊。感觉不太匹配，50%概率挂。

通俗解释旋转位置编码，和sin-cos位置编码有什么不同之处简述GPT3、LLAMA、ChatGLM的区别从生态，训练语料分布、模型结构方面Multi-query Attention与Grouped-query Attention区别是什么非Transformer架构的算法模型如LFM(Liquid Foundation Models)有哪些优势了解 GShard 吗

自我介绍项目deepspeed zero 的三个状态？1b 的模型需要多少显存？16G。模型2g,梯度2g，优化器状态4g+4g(以adam为例，一阶动量32位和二阶动量32位)。如果有32位的模型参数的备份，就还有4g。一共2+2+4+4+4=16g。adam 优化器的形式？Adam优化器中：一阶矩估计：用于引入动量，使参数更新具有“惯性”，加速收敛，同时平滑梯度，减少噪声影响，让参数更新更稳定。二阶矩估计：通过衡量梯度方差，自适应调整各参数维度的学习率，使不同维度都能以合适速度更新，还能有效处理稀疏梯度问题。dpo ppo grpo的区别？为什么用llava 不用qwen-vl？在图文检索...