获赞
266
粉丝
35
关注
6
看过 TA
114
武汉科技大学
2020
算法工程师
IP属地:北京
暂未填写个人简介
私信
关注
2019-08-07 13:13
已编辑
京东_算法工程师
bert的两个损失函数是啥,有了解的么。
clotz:bert预训练两个任务: 1.Masked LM, 判断Masked token在是否属于上下文,softmax 输出,loss 计算 Mask token位置的交叉熵 2.Next Sentence Prediction,上下文判断,判断两句话上下文关系是否成立,sigmoid输出,类似于逻辑斯特回归二分类
0 点赞 评论 收藏
分享
关注他的用户也关注了:
牛客网
牛客企业服务