牛客586382495号
2023-08-06 00:36 蚌埠坦克学院 C++
关注
额，我谈一下我的理解哈，不一定对，相似度计算就是做乘法，所谓注意力机制是通过做乘法来实现的，具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话，语言模型是用来实现给不同token编码的，理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中，通过大量文本的训练，会发现在这个某些固定长度的句子下，前边的主语会和随之而来的这种代词产生比较多的注意力，至于那个训练方式最基本的就是bert里的那两种，训练后再去预测的话，你提出的it这个词就会被拿过去计算相似度，结果会在tiger上更高，大概这么个意思吧
查看原帖
6 3
相关推荐
12-02 15:47
南开大学 算法工程师 点赞 评论 收藏
分享
NKZZD：已经面完，如果一面过了立即二面，如果不过直接就短信人才库了。一面单面，二面好像是群面。海面，不建议来，待遇一般且基本没有户口指标，如果是博士可能好点。 点赞 评论 收藏
分享
牛客热帖
正在热议
# 秋招感动瞬间 #
3665次浏览 58人参与
# 你都收到了哪些公司的感谢信？ #
3795987次浏览 32716人参与
# 被同事甩锅了怎么办 #
10762次浏览 75人参与
# 职场吐槽大会 #
100131次浏览 812人参与
# 我的求职思考 #
4475155次浏览 59305人参与
# 上班到公司第一件事做什么？ #
20546次浏览 217人参与
# 哪个瞬间让你对大厂祛魅了？ #
163394次浏览 1010人参与
# 技术转行的心路历程 #
34728次浏览 588人参与
# 如何一边实习一边秋招 #
1058263次浏览 13163人参与
# 打杂的实习你会去吗？ #
91553次浏览 820人参与
# 通信硬件知识分享 #
2678次浏览 43人参与
# 想实习转正，又想准备秋招，我该怎么办 #
519456次浏览 5217人参与
# 你想留在一线还是回老家？ #
9105次浏览 171人参与
# 实习与准备秋招该如何平衡 #
763465次浏览 8795人参与
# 材料进Fab厂真的劝退吗？ #
24012次浏览 128人参与
# 字节跳动工作体验 #
247935次浏览 3249人参与
# 毕业后不工作的日子里我在做什么 #
127095次浏览 1155人参与
# 校招我听劝 #
192442次浏览 1846人参与
# 投了多少份简历才上岸 #
222802次浏览 2575人参与
# 大家实习每天都在干啥 #
47466次浏览 320人参与