中国移动研究院，AI并行训练面经

  • LAMB优化器介绍
  • 增大bs，学习率如何调整，模型很大，bs不变呢？
  • 你知道的并行切分策略；
  • ZeRO介绍；
  • pp并行下每张卡的显存、计算量一样嘛，激活值呢？
  • DCU和华为AI加速卡区别、生态、通信库；
  • 千卡项目详细介绍一下；
  • 异步保存方面详细介绍；
  • DDP/DeepSpeed中的一些异步保存机制；
  • T5 和 GPT-2的差异；
  • transformer结构；
  • 残差连接的作用；
  • 3D并行相关；
  • 意向地
全部评论
友友面的是西安吗
点赞 回复 分享
发布于 昨天 11:43 陕西

相关推荐

头像 会员标识
11-23 13:25
西安电子科技大学 机器学习
点赞 评论 收藏
分享
11-23 10:53
华中科技大学 无线通信工程师
点赞 评论 收藏
分享
11-23 17:35
北京师范大学珠海分校 风控律师
点赞 评论 收藏
分享
11-22 16:28
已编辑
门头沟学院 无线通信工程师
点赞 评论 收藏
分享
10-30 19:56
哈尔滨理工大学 Java
点赞 评论 收藏
分享
1 1 评论
分享

全站热榜

正在热议
# 25届秋招总结 #
279764次浏览 2424人参与
# 如果实习可以转正，你会不会放弃秋招 #
206143次浏览 2807人参与
# 北方华创开奖 #
24592次浏览 263人参与
# 地方国企笔面经互助 #
3282次浏览 7人参与
# 学历or实习经历，哪个更重要 #
47536次浏览 368人参与
# 选完offer后，你后悔学本专业吗 #
16778次浏览 120人参与
# 如何一边实习一边秋招 #
989304次浏览 12623人参与
# 软开人，秋招你打算投哪些公司呢 #
41695次浏览 534人参与
# 数据人的面试交流地 #
436432次浏览 7812人参与
# 0offer是寒冬太冷还是我太菜 #
893143次浏览 7966人参与
# 得物求职进展汇总 #
64949次浏览 674人参与
# 求职遇到的搞笑事件 #
69043次浏览 571人参与
# 你觉得专业和学校哪个对薪资影响最大 #
28970次浏览 215人参与
# 查收我的offer竞争力报告 #
21334次浏览 263人参与
# 你最想要的公司福利是？ #
43543次浏览 161人参与
# 没有实习经历，还有机会进大厂吗 #
809146次浏览 13886人参与
# 来聊聊机械薪资天花板是哪家 #
67533次浏览 460人参与
# 当你面对裁员会如何？ #
26538次浏览 156人参与
# 一觉醒来，我觉醒了超级打工人系统 #
3657次浏览 38人参与
# 应届生被毁约被毁意向了怎么办 #
28863次浏览 247人参与
# 面试体验感最好的是哪家？ #
84215次浏览 822人参与
牛客网
牛客企业服务