移动研究院面经

#移动研究院笔试#离谱 破案了  为什么那个身高的题 有人卡在50%，有人在83%。太离谱了，首先就是输出第二个不同的身高，其次是若没有第二高，则输出汉字 无。   真的是离大谱了

LAMB优化器介绍 增大bs，学习率如何调整，模型很大，bs不变呢？ 你知道的并行切分策略； ZeRO介绍； pp并行下每张卡的显存、计算量一样嘛，激活值呢？ DCU和华为AI加速卡区别、生态、通信库； 千卡项目详细介绍一下； 异步保存方面详细介绍； DDP/DeepSpeed中的一些异步保存机制； T5 和 GPT-2的差异； transformer结构； 残差连接的作用； 3D并行相关； 意向地

自我介绍手撕算法介绍LSTM，有几个门，和GRU以及RNN的区别。LSTM有输入输出遗忘门，GRU有重置更新门。都是RNN的变体。LSTM是怎么解决梯度消失问题的？cell state的加法可以使梯度大于1，逻辑门参数可以一定程度上控制梯度消失。LSTM和GRU哪个训练得更快？GRU更快。transformer的encoder和decoder有什么不同？结构上和任务上。transformer的decoder为什么要用掩码？swin transformer的优势。梯度反向传播的原理。链式求导得到误差对于各个权重系数的偏导，然后通过梯度下降算法更新权重，从而最小化损失函数。常用的优化器有哪些？transformer为什么在大批量数据上表现更好？自注意力机制和分布式并行训练。RNN变体有训练瓶颈吗？有，梯度消失或爆炸。反问。部门以及团队情况。

#选哪个？#目前楼主的池子陆续开了，现在有点犹豫不知道怎么选，求助一下牛油们工资差距小于2k，主要就是选行业和选公司了引流：华为 大疆 大华 海康 科大讯飞 比亚迪 美团 京东 拼多多