Megatron-lm 计算tp值

给定模型参数：
模型层数l
模型维度d_model
输入长度seq_len
注意力头head

怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
点赞 回复 分享
发布于 2024-04-14 00:47 北京

相关推荐

2024-11-23 13:18
门头沟学院 机器学习
小米汽车 深度学习训练框架优化面经
一面 实习主要工作介绍； 千卡训练项目介绍； 竞赛项目介绍； 手撕：反转矩阵； 技术规划； 有什么其他offer； python深拷贝和浅拷贝区别； CPP的三种智能指针和用法； 写时拷贝原理 零拷贝原理 二面 大模型分布式训练的流程、并行策略考虑； 各种并行策略介绍； TP为什么有按行/列两种； 按行/列对应的是什么； Megatron-SP介绍， Transformer架构，有那些层、算子； encoder和incoder介绍，特点； FlashAttention介绍； online softmax介绍； block是软件还是硬件的； CUDA有哪些优化方法； 访存优化方法有哪些；...
查看31道真题和解析
点赞 评论 收藏
分享
2024-12-04 11:23
北京航空航天大学 算法工程师
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
2024-12-18 20:54
已编辑
点赞 评论 收藏
分享
2024-11-20 08:11
已编辑
University of Liverpool C++
点赞 评论 收藏
分享
2024-12-11 12:45
北京大学 产品经理
走“价格战”的路，比亚迪让供应商无路可走？
文/郭楚妤编辑/侯煜‍12月上市的新能源车定价又一次刷新底线。12月新能源车10万元档新品层出不穷。值得一提的是，吉利推出银河星舰7 EM-i，限时售价为9.98万—13.28万元，相比于银河L7起售价降低2.5万。银河星舰7 EM-i主打全球量产最高46.5% 热效率的发动机，超过了比亚迪第五代DM-i量产热效率46.06%的发动机。即使在技术加持下，吉利还是将新车价格降到10万以下。不仅如此，其他车企也纷纷在年末降价。12月，极氪推出“购车权益”“零息分期”等价格政策；12月1日深蓝直降5000；比亚迪下调王朝系列车型价格；11月29日理想宣布年底限时0息政策，单车型最低首付金额6.98万...
点赞 评论 收藏
分享
评论
3
收藏
分享

全站热榜

正在热议
# 职场高情商速成班 #
1961次浏览 49人参与
# 测测你的职业性格 #
27857次浏览 284人参与
# 被同事甩锅了怎么办 #
13606次浏览 88人参与
# 我的实习求职记录 #
6498062次浏览 86244人参与
# 机械制造薪资爆料 #
1149157次浏览 9402人参与
# 对未来的工作有什么期待 #
14367次浏览 126人参与
# 24届的你们都什么时候入职？ #
46552次浏览 387人参与
# 机械人怎么评价今年的华为 #
170199次浏览 1429人参与
# 我的简历长这样 #
2088140次浏览 28220人参与
# 如何一边实习一边秋招 #
1100040次浏览 13470人参与
# 你们的毕业论文什么进度了 #
858608次浏览 8666人参与
# 那些拿到大厂offer的简历长啥样 #
172902次浏览 2771人参与
# 入职第五天，你被拉进了几个工作群 #
6869次浏览 38人参与
# 我的岗位说明书 #
121262次浏览 1171人参与
# 大家每天通勤多久？ #
14591次浏览 116人参与
# 虾皮求职进展汇总 #
179794次浏览 1195人参与
# 软件开发投递记录 #
1586687次浏览 24919人参与
# 分享一个让你热爱工作的瞬间 #
12015次浏览 129人参与
# 如何写一份好简历 #
677227次浏览 9225人参与
# 提前批简历挂麻了怎么办 #
168336次浏览 2106人参与
牛客网
牛客企业服务