大佬们问个问题
1.预训练的损失函数和微调的损失函数计算有什么不同？关注点有什么差异？
2.预训练后的模型获得了什么样的能力？微调后又获得了什么样能力？

昨天面试的时候被问到了😭
全部评论
预训练所有token位置都计算损失、SFT一般只有答案部分计算损失（提问部分label是-100） 预训练是为了吃知识、SFT为了指令遵循
7 回复 分享
发布于 08-20 16:37 广东
预训练和微调的任务不同损失函数肯定会不同吧？预训练不都是自回归而微调可能会根据下游任务设计不同的损失函数
点赞 回复 分享
发布于 08-20 11:18 北京
这个预训练是指的视觉编码器的预训练，还是mllm的第一阶段预训练
点赞 回复 分享
发布于 09-08 11:53 天津

相关推荐

11-03 15:44
已编辑
华东师范大学 Java
点赞 评论 收藏
分享
头像
11-03 18:37
已编辑
山东大学 嵌入式工程师
点赞 评论 收藏
分享
头像
09-16 12:33
拐儿中学 Java
小米回复我了
🤡🤡🤡
希希睿：我都忘了我是来找工作的了😂就看你们皮
点赞 评论 收藏
分享
10-18 21:51
西安电子科技大学 C++
看看逆天公司😅😅😅
ArisRobert：统一解释一下，第4点的意思是，公司按需通知员工，没被通知到的员工是没法去上班的，所以只要没被通知到，就自动离职。就是一种比较抽象的裁员。
点赞 评论 收藏
分享
头像
11-01 11:41
已编辑
百度_技术工程研发组_java后端开发实习生(实习员工)
点赞 评论 收藏
分享
8 13 评论
分享

全站热榜

正在热议
# 25届秋招公司红黑榜 #
110966次浏览 583人参与
# 通信硬件人笔面经互助 #
1014408次浏览 14707人参与
# 机械制造笔面经 #
1850793次浏览 28866人参与
# 非技术投递记录 #
424821次浏览 5494人参与
# 不考虑薪资和职业，你最想做什么工作呢？ #
20138次浏览 172人参与
# 央国企投递记录 #
37148次浏览 947人参与
# 我的实习日记 #
1277305次浏览 15884人参与
# 25届秋招总结 #
31805次浏览 447人参与
# 今年秋招哪家公司给的薪资最良心？ #
17866次浏览 170人参与
# 硬件应届生薪资是否普遍偏低？ #
41891次浏览 401人参与
# 如果公司降薪，你会跳槽吗？ #
18248次浏览 194人参与
# 想给25届机械人的秋招建议 #
15652次浏览 161人参与
# 简历被挂麻了，求建议 #
2356386次浏览 32264人参与
# 一觉醒来，秋招难度下降一万倍…… #
15064次浏览 171人参与
# 如何写一份好简历 #
580602次浏览 8270人参与
# 实习好累，可以辞职全力准备秋招吗 #
29928次浏览 505人参与
# 投递实习岗位前的准备 #
1136340次浏览 17778人参与
# 米哈游求职进展汇总 #
163248次浏览 1406人参与
# 你会选择考研还是直接就业 #
165511次浏览 1780人参与
# 实习中的菜狗时刻 #
266724次浏览 2671人参与
牛客网
牛客企业服务