问个nlp问题

bert的两个损失函数是啥,有了解的么。
全部评论
bert预训练两个任务: 1.Masked LM, 判断Masked token在是否属于上下文,softmax 输出,loss 计算 Mask token位置的交叉熵 2.Next Sentence Prediction,上下文判断,判断两句话上下文关系是否成立,sigmoid输出,类似于逻辑斯特回归二分类
点赞 回复 分享
发布于 2019-08-07 13:33

相关推荐

暮雨轻歌:看起来hr不能接受我菜查看图片
点赞 评论 收藏
分享
评论
点赞
9
分享

创作者周榜

更多
牛客网
牛客企业服务