大模型基础架构岗面经（二）

  1. 是否了解萃取技术，偏特化全特化（为什么乱入了模版编程）
  2. 模型的并行策略有什么，策略的选择是如何确定的，如何排序并行策略组
  • 你对于流水线并行的理解是什么
  • 对于数据并行的理解
  1. 解决显存不够的方法有哪些，对显存优化的选择有什么看法
  2. 什么是 scale law
  3. deepspeed的特点是什么？各个zero stage都有什么用？
  4. 对于长文本的训练，有什么解决优化方案
  5. 请介绍一下 transformer 的结构
  6. 没有手撕，美滋滋
全部评论
m
1 回复 分享
发布于 08-23 23:57 黑龙江
哪家公司呀
点赞 回复 分享
发布于 08-29 15:58 北京

相关推荐

10-20 16:39
已编辑
中山大学 算法工程师
点赞 评论 收藏
分享
10-25 20:47
南开大学 算法工程师
点赞 评论 收藏
分享
10-31 10:27
已编辑
北京师范大学 数据挖掘
天文研三极限转行，请大家帮看简历和岗位
#广发卡校招来了#  #建信金科校招# 9月份才正式准备转行。之前一直坚持搞天文学，实在搞不下去了，然后了解了机器学习，发现对这些内容很感兴趣。就花一个月学了学，极限做了个老项目，就去投简历了。十月中旬才开始投的，还没有投很多。想投一些数据挖掘岗位。想问问大家我这个背景(技术菜，只有学历能看)是不是投国企之类的更合适啊？互联网公司好像很难进，而且秋招截止得很早，错过了很多机会。还想去找个寒假实习，秋招和找实习同时推进可行吗?现在还在一边做一些更进一步的项目。但是找工作和提升技能之间好难平衡。目前就投了建信金科，广发银行信用卡中心，光大银行，嘉银金科，还有一些******上的公司但没有什么回复。 #无实习如何秋招上岸# #想实习转正，又想准备秋招，我该怎么办#
点赞 评论 收藏
分享
10-13 12:35
清华大学 算法工程师
点赞 评论 收藏
分享
11-01 15:35
中国科学技术大学 Java
点赞 评论 收藏
分享
点赞 12 评论
分享

全站热榜

正在热议
# 25届秋招公司红黑榜 #
102994次浏览 561人参与
# 非技术投递记录 #
421463次浏览 5483人参与
# 25届秋招总结 #
22859次浏览 328人参与
# 我的实习日记 #
1274340次浏览 15834人参与
# 简历被挂麻了，求建议 #
2349187次浏览 32212人参与
# 通信硬件人笔面经互助 #
1009361次浏览 14648人参与
# 实习好累，可以辞职全力准备秋招吗 #
29601次浏览 502人参与
# 实习中的菜狗时刻 #
266074次浏览 2667人参与
# 今年秋招哪家公司给的薪资最良心？ #
9794次浏览 107人参与
# 不考虑薪资和职业，你最想做什么工作呢？ #
17858次浏览 151人参与
# Offer比较，你最看重什么？ #
99699次浏览 740人参与
# 如何写一份好简历 #
579230次浏览 8246人参与
# 硬件应届生薪资是否普遍偏低？ #
39360次浏览 379人参与
# 一觉醒来，秋招难度下降一万倍…… #
11107次浏览 129人参与
# 实习与准备秋招该如何平衡 #
634825次浏览 7655人参与
# 你的秋招进展怎么样了 #
1597510次浏览 24263人参与
# 双非能在秋招上岸吗？ #
49862次浏览 417人参与
# 实习，投递多份简历没人回复怎么办 #
2295432次浏览 33379人参与
# 你的秋招进行到哪一步了 #
1626847次浏览 20857人参与
# 工作中，努力重要还是选择重要？ #
14304次浏览 187人参与
牛客网
牛客企业服务