先掌握transformer的架构，然后知道推理的整体的参数情况和开销（包括推理_牛客网

牛客344243631号

06-10 18:36 门头沟学院算法工程师

关注

先掌握transformer的架构，然后知道推理的整体的参数情况和开销（包括推理的时候在GPU那部分的计算，通信开销），接着去看各个大模型的架构，比如mqa，gqa，moe，mla的修改，后面看flash attention，稀疏注意力相关的内容，还有什么批推理加速之类的。一个更好的方法是去看项目，让你导师给你几个项目这样会比较有头绪。

11-04 11:18

抖音视界_iOS工程师

[北京/深圳部门直招] 抖音搜索招人啦

加入我们，你将获得：参与抖音搜索核心业务研发，打造亿级用户产品。 与顶尖技术团队合作，学习和成长，快速提升技术能力。 参与 LLM 在端侧的应用和创新，探索前沿技术，引领行业发展。 拥有极具竞争力的薪资福利，享受字节跳动提供的丰富员工福利。工作地点： 北京/深圳岗位类型：社招/校招/实习社招 iOS 深圳：https://job.toutiao.com/s/iSS9a9ne社招 iOS 北京：https://job.toutiao.com/s/iSS9f55H社招 Android 深圳：https://job.toutiao.com/s/iSS9MgFT社招 Android 北京：https:...

投递字节跳动等公司10个岗位 >

点赞评论收藏

分享

11-09 15:40

东南大学 C++

offer选择 AI编译or架构设计？

投票

双九硕应届。两家都在上海，薪资应该摩尔线程稍高一点点。百度paddle是做AI编译器，在AI Infra业内的认可度较高，工作氛围不错，从现实来看是更稳妥的选择，但是工作内容不是很喜欢。摩尔线程是做AI计算架构设计，上限高，和个人过往经历也更对口，工作内容很感兴趣，也很想为国产显卡出一份力。就是可能不是很稳定。做理想主义者还是聚焦现实？引流 #offer帮选##百度##摩尔线程##华为##字节##腾讯##美团##阿里##网易##荣耀##寒武纪##壁仞科技#

投递摩尔线程等公司10个岗位 offer帮选

点赞评论收藏

分享

11-09 09:29

中国科学院大学算法工程师

【快手】大模型小型化算法实习生招聘

工作岗位：快手-AI平台-大模型小型化算法实习生工作地点：北京市海淀区西二旗中路29号元中心岗位要求：● 数理要求: 熟练掌握线性代数，概率论，信息论，凸优化等基础知识；了解矩阵论, 随机过程等● 框架要求: 精通PyTorch，熟练大模型并行框架的应用，包括 DeepSpeed，Megatron-LM● 代码要求: 精通Python● 对模型加速的算法研究有浓厚的兴趣，特别是针对LLM和SoRA等前沿模型的推理加速探索● 有论文发表经验优先，提供算力支持对创新idea的研究和应用岗位职责：● 负责快手内部AIGC大模型的推理部署效率优化需求，包括但不限于Diffusion采样时间优化，Dif...

投递快手等公司10个岗位 >

点赞评论收藏

分享

11-14 19:00

北京联合大学机器学习

26实习投递记录11.10-11.15

周一投完这周共5个面试 面完3个 时间冲突放弃1个 周五还剩1个力扣和数据结构没怎么刷先上战场了 面试中目前失败一个（写了65%）研一下到现在学了半年CUDA和TensorRT构建推理引擎 各类模型的高性能算子和高性能推理还缺乏实践 更深的TVM，分布式的deepseed和汇编没时间了 现在迷茫了 要学的很多且可能学完依旧找不到 #高性能计算#  #高性能计算面经#  #HPC高性能计算工程师#

点赞评论收藏

分享

11-23 13:42

门头沟学院机器学习

海康威视：高性能计算面经

10.24一面（30分钟） 介绍超算平台项目； 国外平台和国产平台对比； 分布式训练方面的瓶颈； 推理这块的理解； 量化过程中出现掉点的情况如何排查； 期望的工作内容规划； 对一个新领域的学习如何进行； 分享的一个比较困难的阶段、如何解决； 怎么缓解压力； 手撕：合并两个有序数组； 10.29二面（线下HR面）

查看10道真题和解析

点赞评论收藏

分享

牛客热帖

正在热议

# 拼多多求职进展汇总 #

240729次浏览 2051人参与

# 实习，投递多份简历没人回复怎么办 #

2447966次浏览 34795人参与

# 北方华创开奖 #

68015次浏览 558人参与

# 25届秋招总结 #

425736次浏览 4301人参与

# 虾皮求职进展汇总 #

100674次浏览 810人参与

# 地方国企笔面经互助 #

7407次浏览 18人参与

# 阿里云管培生offer #

65499次浏览 1767人参与

# ai智能作图 #

35585次浏览 436人参与

# 中兴求职进展汇总 #

471193次浏览 2453人参与

# 我在牛爱网找对象 #

75238次浏览 556人参与

# 双非有机会进大厂吗 #

106214次浏览 1334人参与

# 实习想申请秋招offer，能不能argue薪资 #

38023次浏览 313人参与

# 机械求职避坑tips #

24229次浏览 252人参与

# 发工资后，你做的第一件事是什么 #

10702次浏览 52人参与

# 25届机械人为了秋招做了哪些准备？ #

26817次浏览 366人参与

# 投格力的你，拿到offer了吗？ #

47916次浏览 337人参与

# 我的实习求职记录 #

6145866次浏览 84085人参与

# 投递实习岗位前的准备 #

1193853次浏览 18510人参与

# 机械人怎么评价今年的华为 #

158493次浏览 1354人参与

# 在职场上，你最讨厌什么样的同事 #

6482次浏览 96人参与

# 实习与准备秋招该如何平衡 #

726116次浏览 8569人参与

# 华为工作体验 #

112512次浏览 871人参与

牛客网
牛客企业服务