雪笋肉丝面
2024-04-07 16:57 香港大学 算法工程师
关注
如果往深里说，可以结合上Lipschitz常量，self-attention的Lipschitz常量比较大，也就是上下界浮动大，BN层无法有效约束。这个点比较深，还可以延伸到LN的变体RMSNorm。
虽然从理论上可以讲的很深，但其实主要还是实验上有效，这些八股属实没意思。
查看原帖
3 3
相关推荐
查看14道真题和解析
投递vivo等公司10个岗位 > 牛客热帖
更多
正在热议
更多
# 科大讯飞求职进展汇总 #
258605次浏览 2593人参与
# 读研or工作，哪个性价比更高？ #
23036次浏览 310人参与
# 如果重来一次你还会读研吗 #
154029次浏览 1689人参与
# 文科生还参加今年的春招吗 #
3037次浏览 27人参与
# 选择和努力，哪个更重要？ #
41059次浏览 469人参与
# 长光卫星求职进展汇总 #
27439次浏览 183人参与
# 机械人选offer，最看重什么？ #
68456次浏览 433人参与
# 机械制造岗投递时间线 #
19268次浏览 324人参与
# 影石Insta360求职进展汇总 #
107322次浏览 963人参与
# 如果再来一次，你还会学硬件吗 #
102412次浏览 1230人参与
# 打工人的工作餐日常 #
24577次浏览 221人参与
# 招聘要求与实际实习内容不符怎么办 #
39356次浏览 463人参与
# 如果公司降薪，你会跳槽吗？ #
44098次浏览 343人参与
# 机械制造公司评价 #
98344次浏览 286人参与
# 一人推荐一个值得去的通信/硬件公司 #
160893次浏览 1734人参与
# 正在实习的你，有转正机会吗？ #
335735次浏览 2689人参与
# 我的工作日记 #
52867次浏览 762人参与
# 我的国央企投递进展 #
35796次浏览 242人参与
# 小厂实习有必要去吗 #
31409次浏览 215人参与
# 当下环境，你会继续卷互联网，还是看其他行业机会 #
68291次浏览 494人参与