牛客705831157号
08-31 14:55 门头沟学院 算法工程师
关注
个人理解，LoRA微调里面，AB反过来初始化可以，但不可以全0，A的梯度更新过程依赖于B，B的梯度更新依赖于A，因此初始化是需要AB其中之一非0，而AB其中之一为0可以保证在微调的初始阶段，原模型从大的文本语料库中学到的信息被保留下来，所以AB其中之一需要为0
查看原帖
1 1
相关推荐
投递荣耀等公司10个岗位 点赞 评论 收藏
分享
点赞 评论 收藏
分享
哔哩哔哩公司氛围 96人发布 牛客热帖
正在热议
# 25届秋招总结 #
382095次浏览 3800人参与
# ai智能作图 #
12543次浏览 196人参与
# 北方华创开奖 #
64970次浏览 519人参与
# 地方国企笔面经互助 #
6166次浏览 14人参与
# 我的实习求职记录 #
6109305次浏览 83855人参与
# 发工资后，你做的第一件事是什么 #
5156次浏览 20人参与
# 阿里云管培生offer #
52287次浏览 1511人参与
# 硬件兄弟们 甩出你的华为奖状 #
76339次浏览 617人参与
# 如果再来一次，你还会选择这个工作吗？ #
104186次浏览 1047人参与
# 哪些公司校招卡第一学历 #
31561次浏览 89人参与
# 如果有时光机，你最想去到哪个年纪？ #
27196次浏览 562人参与
# 华为工作体验 #
109587次浏览 853人参与
# 如果你有一天可以担任公司的CEO，你会做哪三件事？ #
9135次浏览 186人参与
# 还记得你第一次面试吗？ #
30193次浏览 425人参与
# 许愿池 #
216795次浏览 2543人参与
# 腾讯求职进展汇总 #
206081次浏览 1689人参与
# 你觉得第一学历对求职有影响吗？ #
15951次浏览 129人参与
# 产运销实习日记 #
27879次浏览 323人参与
# 阿里求职进展汇总 #
71923次浏览 785人参与
# 上班到公司第一件事做什么？ #
14633次浏览 165人参与
# 实习，投递多份简历没人回复怎么办 #
2430089次浏览 34652人参与
# 实习中的菜狗时刻 #
280168次浏览 2759人参与