中国移动研究院,AI并行训练面经

  • LAMB优化器介绍
  • 增大bs,学习率如何调整,模型很大,bs不变呢?
  • 你知道的并行切分策略;
  • ZeRO介绍;
  • pp并行下每张卡的显存、计算量一样嘛,激活值呢?
  • DCU和华为AI加速卡区别、生态、通信库;
  • 千卡项目详细介绍一下;
  • 异步保存方面详细介绍;
  • DDP/DeepSpeed中的一些异步保存机制;
  • T5 和 GPT-2的差异;
  • transformer结构;
  • 残差连接的作用;
  • 3D并行相关;
  • 意向地
全部评论

相关推荐

昨天 23:28
已编辑
四川大学 C工程师
一波三折1. 8月份,数存hr联系,投递了嵌入式软件方向的简历,然后一直没理过了2. 10月中下旬,重新联系数存hr,说11.6 还有一波笔试3. 笔试做完,突然想起之前实习的时候 mt 说海思os那边闭源已经做了我的相关经历,还没开源出来。联系了之前在海思实习过的同学,把简历往他们主管那边推推4. 海思那边帮忙推进”简历解锁-重新投递部门-面试”的过程5. 投递海思操作系统部门,11.18 简历过筛完,11.22 一天面完 1145定律,希望能入池一面:1. 手撕 hot100原题,56.合并区间 (难崩的是这几天100道做了65道,这道在我做的时候有个思路觉得有点麻烦刚好就跳了)2. 老家在哪?3. 最有成就的事情?4. 实习阶段的心得体会5. 会不会数据库? 不会6. c里面的设计模式7.  学校做过的项目8. 实习做过的项目9. NULL指针访问的时候,不同os(RTOS Linux)上硬件和软件的基本处理流程? 我是跟着rv架构 ,rtos和linux去回的二面:1. 手撕判断是否回文串(有点不一样,改过一点,本质还是这个)2. 拷打项目,因为比较match,问的非常详细主管面:跟着简历变介绍边提问1. 拷打项目 (中途质疑我的贡献代码行不是我一个人做的)2. 拉家常,为什么不读研3. 偶像是谁反问:成都还有hc嘛?有,小伙子还是要多出去走走看看,不要想着窝在家里[感觉成都大概率没戏了😭]11.23 18:18 25h定律入池,泡池子
投递海思半导体等公司10个岗位
点赞 评论 收藏
分享
1 1 评论
分享
牛客网
牛客企业服务