05-21 20:15 北京邮电大学算法工程师

关注

求问，大模型推理加速怎么系统的学习

如题，目前是做大模型的，主要做方法上的创新。但是个人很喜欢底层的一些技术，想系统学习一下推理加速这些mlsys的内容和研究。马上也要读博了，老师比较放养，研究方向可以根据自己的兴趣来。有没有大佬指点一下，这些偏底层的研究方向怎么入门。

全部评论

推荐最新楼层

牛客344243631号

门头沟学院算法工程师

先掌握transformer的架构，然后知道推理的整体的参数情况和开销（包括推理的时候在GPU那部分的计算，通信开销），接着去看各个大模型的架构，比如mqa，gqa，moe，mla的修改，后面看flash attention，稀疏注意力相关的内容，还有什么批推理加速之类的。一个更好的方法是去看项目，让你导师给你几个项目这样会比较有头绪。

9 回复分享

发布于 06-10 18:36 辽宁

是我的神的做题家很亲切

北京航空航天大学人工智能

找个科研实习？

点赞回复分享

发布于 07-25 12:05 北京

11-04 11:18

抖音视界_iOS工程师

[北京/深圳部门直招] 抖音搜索招人啦

加入我们，你将获得：参与抖音搜索核心业务研发，打造亿级用户产品。 与顶尖技术团队合作，学习和成长，快速提升技术能力。 参与 LLM 在端侧的应用和创新，探索前沿技术，引领行业发展。 拥有极具竞争力的薪资福利，享受字节跳动提供的丰富员工福利。工作地点： 北京/深圳岗位类型：社招/校招/实习社招 iOS 深圳：https://job.toutiao.com/s/iSS9a9ne社招 iOS 北京：https://job.toutiao.com/s/iSS9f55H社招 Android 深圳：https://job.toutiao.com/s/iSS9MgFT社招 Android 北京：https:...

投递字节跳动等公司10个岗位 >

点赞评论收藏

分享

11-09 15:40

东南大学 C++

offer选择 AI编译or架构设计？

投票

双九硕应届。两家都在上海，薪资应该摩尔线程稍高一点点。百度paddle是做AI编译器，在AI Infra业内的认可度较高，工作氛围不错，从现实来看是更稳妥的选择，但是工作内容不是很喜欢。摩尔线程是做AI计算架构设计，上限高，和个人过往经历也更对口，工作内容很感兴趣，也很想为国产显卡出一份力。就是可能不是很稳定。做理想主义者还是聚焦现实？引流 #offer帮选##百度##摩尔线程##华为##字节##腾讯##美团##阿里##网易##荣耀##寒武纪##壁仞科技#

投递摩尔线程等公司10个岗位 offer帮选

点赞评论收藏

分享

11-09 09:29

中国科学院大学算法工程师

【快手】大模型小型化算法实习生招聘

工作岗位：快手-AI平台-大模型小型化算法实习生工作地点：北京市海淀区西二旗中路29号元中心岗位要求：● 数理要求: 熟练掌握线性代数，概率论，信息论，凸优化等基础知识；了解矩阵论, 随机过程等● 框架要求: 精通PyTorch，熟练大模型并行框架的应用，包括 DeepSpeed，Megatron-LM● 代码要求: 精通Python● 对模型加速的算法研究有浓厚的兴趣，特别是针对LLM和SoRA等前沿模型的推理加速探索● 有论文发表经验优先，提供算力支持对创新idea的研究和应用岗位职责：● 负责快手内部AIGC大模型的推理部署效率优化需求，包括但不限于Diffusion采样时间优化，Dif...

投递快手等公司10个岗位 >

点赞评论收藏

分享

11-14 19:00

北京联合大学机器学习

26实习投递记录11.10-11.15

周一投完这周共5个面试 面完3个 时间冲突放弃1个 周五还剩1个力扣和数据结构没怎么刷先上战场了 面试中目前失败一个（写了65%）研一下到现在学了半年CUDA和TensorRT构建推理引擎 各类模型的高性能算子和高性能推理还缺乏实践 更深的TVM，分布式的deepseed和汇编没时间了 现在迷茫了 要学的很多且可能学完依旧找不到 #高性能计算#  #高性能计算面经#  #HPC高性能计算工程师#

点赞评论收藏

分享

11-23 13:42

门头沟学院机器学习

海康威视：高性能计算面经

10.24一面（30分钟） 介绍超算平台项目； 国外平台和国产平台对比； 分布式训练方面的瓶颈； 推理这块的理解； 量化过程中出现掉点的情况如何排查； 期望的工作内容规划； 对一个新领域的学习如何进行； 分享的一个比较困难的阶段、如何解决； 怎么缓解压力； 手撕：合并两个有序数组； 10.29二面（线下HR面）

查看10道真题和解析

点赞评论收藏

分享

评论

1

6

全站热榜

正在热议

# 25届秋招总结 #

428913次浏览 4343人参与

# 实习，投递多份简历没人回复怎么办 #

2449242次浏览 34807人参与

# 阿里云管培生offer #

66359次浏览 1769人参与

# 地方国企笔面经互助 #

7500次浏览 18人参与

# ai智能作图 #

37051次浏览 452人参与

# 虾皮求职进展汇总 #

102469次浏览 822人参与

# 北方华创开奖 #

68306次浏览 559人参与

# 发工资后，你做的第一件事是什么 #

11139次浏览 54人参与

# 实习想申请秋招offer，能不能argue薪资 #

38364次浏览 313人参与

# 机械求职避坑tips #

24299次浏览 253人参与

# 我的实习求职记录 #

6148187次浏览 84109人参与

# 工作中，努力重要还是选择重要？ #

33787次浏览 375人参与

# 25届机械人为了秋招做了哪些准备？ #

26872次浏览 367人参与

# 软件开发投递记录 #

1485052次浏览 23969人参与

# 你投递的公司有几家约面了？ #

32886次浏览 186人参与

# 机械人怎么评价今年的华为 #

158574次浏览 1354人参与

# 提前批简历挂麻了怎么办 #

149344次浏览 1969人参与

# 如果再来一次，你还会选择这个工作吗？ #

121529次浏览 1185人参与

# 华为工作体验 #

112696次浏览 874人参与

# 投递实习岗位前的准备 #

1194281次浏览 18511人参与

# 我在牛爱网找对象 #

75308次浏览 557人参与

# 在职场上，你最讨厌什么样的同事 #

6543次浏览 99人参与

牛客网
牛客企业服务