Megatron-lm 计算tp值

给定模型参数：
模型层数l
模型维度d_model
输入长度seq_len
注意力头head

怎么计算tp
全部评论
感觉是和注意力头有关 求答案🤔
点赞 回复 分享
发布于 04-14 00:47 北京
在不开GQA和TP的情况下，如果是llama，那么d/h＝128，只开TP的情况下，d/h'*tp_size＝128
点赞 回复 分享
发布于 07-22 10:00 北京

相关推荐

11-23 13:18
门头沟学院 机器学习
小米汽车 深度学习训练框架优化面经
一面 实习主要工作介绍； 千卡训练项目介绍； 竞赛项目介绍； 手撕：反转矩阵； 技术规划； 有什么其他offer； python深拷贝和浅拷贝区别； CPP的三种智能指针和用法； 写时拷贝原理 零拷贝原理 二面 大模型分布式训练的流程、并行策略考虑； 各种并行策略介绍； TP为什么有按行/列两种； 按行/列对应的是什么； Megatron-SP介绍， Transformer架构，有那些层、算子； encoder和incoder介绍，特点； FlashAttention介绍； online softmax介绍； block是软件还是硬件的； CUDA有哪些优化方法； 访存优化方法有哪些；...
查看31道真题和解析
点赞 评论 收藏
分享
12-04 11:23
北京航空航天大学 算法工程师
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
12-18 20:54
已编辑
点赞 评论 收藏
分享
11-20 08:11
已编辑
University of Liverpool C++
点赞 评论 收藏
分享
12-11 12:45
北京大学 产品经理
走“价格战”的路，比亚迪让供应商无路可走？
文/郭楚妤编辑/侯煜‍12月上市的新能源车定价又一次刷新底线。12月新能源车10万元档新品层出不穷。值得一提的是，吉利推出银河星舰7 EM-i，限时售价为9.98万—13.28万元，相比于银河L7起售价降低2.5万。银河星舰7 EM-i主打全球量产最高46.5% 热效率的发动机，超过了比亚迪第五代DM-i量产热效率46.06%的发动机。即使在技术加持下，吉利还是将新车价格降到10万以下。不仅如此，其他车企也纷纷在年末降价。12月，极氪推出“购车权益”“零息分期”等价格政策；12月1日深蓝直降5000；比亚迪下调王朝系列车型价格；11月29日理想宣布年底限时0息政策，单车型最低首付金额6.98万...
点赞 评论 收藏
分享
评论
3
收藏
分享

全站热榜

正在热议
# 秋招感动瞬间 #
3548次浏览 55人参与
# 你都收到了哪些公司的感谢信？ #
3793979次浏览 32712人参与
# 被同事甩锅了怎么办 #
10735次浏览 75人参与
# 职场吐槽大会 #
99983次浏览 811人参与
# 上班到公司第一件事做什么？ #
20421次浏览 216人参与
# 哪个瞬间让你对大厂祛魅了？ #
162914次浏览 1009人参与
# 打杂的实习你会去吗？ #
91283次浏览 819人参与
# 工作压力大怎么缓解 #
41442次浏览 713人参与
# 如何一边实习一边秋招 #
1057770次浏览 13163人参与
# 软件开发2024笔面经 #
2381577次浏览 48655人参与
# 你想留在一线还是回老家？ #
9052次浏览 171人参与
# 通信硬件知识分享 #
2566次浏览 43人参与
# 想实习转正，又想准备秋招，我该怎么办 #
519205次浏览 5217人参与
# 小米求职进展汇总 #
611288次浏览 4722人参与
# 华为工作体验 #
129833次浏览 975人参与
# 实习与准备秋招该如何平衡 #
763188次浏览 8793人参与
# 字节跳动工作体验 #
247768次浏览 3249人参与
# 毕业后不工作的日子里我在做什么 #
126972次浏览 1152人参与
# 选择和努力，哪个更重要？ #
27265次浏览 292人参与
# 测测你的职业性格 #
16852次浏览 213人参与
牛客网
牛客企业服务