https://blog.csdn.net/yangfengling1023/article/details/91954116
BERT最主要的组成部分便是，词向量（token embeddings）、段向量(segment embeddings)、位置向量(position embeddings)
词向量：是模型中关于词最主要的信息
段向量：是因为BERT里面的下一句的预测任务，所以会有两句拼接起来，上句与下句，上句有上句段向量，下句则有下句段向量，也就是图中A与B。此外，句子末尾都有加[SEP]结尾符，两句拼接开头有[CLS]符
位置向量：是因为 Transformer 模型不能记住时序，所以人为加入表示位置的向量
之后这三个向量拼接起来的输入会喂入BERT模型，输出各个位置的表示向量
全部评论

相关推荐

11-22 00:56
天津大学 汽车设计
点赞 评论 收藏
分享
头像 会员标识
11-18 15:50
牛客运营
巨坑。。。一定别去这些假国企
国务院国有资产监督管理委员会曾发布过《假冒中央企业名单》的公告，列举出一系列打着国企的旗号，但实际上并不具备国企的资质和背景，甚至存在欺诈风险。为了避免牛友们上当受骗，牛牛整理了部分清单：中自基业控股集团有限公司中自云智慧城市科技集团有限公司中企万邦（北京）企业管理咨询有限公司江西冀睿能源产业有限公司中盛航信（深圳）技术有限公司通航博金建设发展（成都）集团有限公司国华永瑞（杭州）产业管理有限公司商投能运（海南）投资有限公司南昌金赞科技有限公司中金文华（山东）实业有限公司华金产业发展（海南）有限公司国金南瑞（天津）建设集团有限公司……同时，我们在求职央国企的时候也要注意招聘企业、招聘信息的真实性...
点赞 评论 收藏
分享
10-08 00:57
门头沟学院 Java
点赞 评论 收藏
分享
11-19 23:36
未填写教育信息 Java
家人们，谁懂啊！免费实习
都还没面试就给我下了判决书
废铁汽车人：秋招真是牛鬼蛇神齐聚一堂
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
11-21 17:16
求帮选校招Offer：科大讯飞、金山办公
科大讯飞 算法工程师 28.0k*14.0, 百分之三十是绩效，惯例只发0.9
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 25届秋招总结 #
293637次浏览 2575人参与
# 如果不工作真的会快乐吗 #
58432次浏览 505人参与
# 阿里云管培生offer #
15022次浏览 261人参与
# 地方国企笔面经互助 #
3614次浏览 8人参与
# 国央企薪资爆料 #
6643次浏览 50人参与
# 选完offer后，你后悔学本专业吗 #
19000次浏览 135人参与
# 百度开奖 #
156069次浏览 935人参与
# 学历or实习经历，哪个更重要 #
49936次浏览 384人参与
# 美团求职进展汇总 #
1324874次浏览 12433人参与
# 投递实习岗位前的准备 #
1178253次浏览 18383人参与
# 面试体验感最好的是哪家？ #
84783次浏览 841人参与
# 正在实习的你，几点下班 #
51224次浏览 381人参与
# 如何一边实习一边秋招 #
990760次浏览 12630人参与
# 得物求职进展汇总 #
65894次浏览 679人参与
# 实习生应该准时下班吗 #
167193次浏览 1159人参与
# 提前批简历挂麻了怎么办 #
146078次浏览 1942人参与
# 0offer是寒冬太冷还是我太菜 #
896641次浏览 7999人参与
# 腾讯求职进展汇总 #
195188次浏览 1637人参与
# 银行笔面经互助 #
82454次浏览 873人参与
# 网申一定要掌握的小技巧 #
5279次浏览 52人参与
# 数据人offer决赛圈怎么选 #
116429次浏览 1461人参与
# 海康威视求职进展汇总 #
398215次浏览 3403人参与
牛客网
牛客企业服务