transfomer

2953次浏览 2人互动

此刻你想和大家分享什么

热门最新

2023-08-05 22:14

大佬们，-tansformer中相似度和注意力有什么区别吗？感觉本质上都是一样的。-“the tiger ate the sheep because it was hungry.” transformer的注意力机制是怎么知道it指的是tiger而不是sheep？ #阿里#字节跳动 #transfomer#算法

MyriZzz：直观理解it可以指tiger或sheep，人依靠语意可以理解到应该指的是tiger，transformer多头注意力会出现有的头it会attend tiger有的attend sheep，这是为什么要用多头，全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的，仅仅只给出这一句话理论上学不出

点赞评论收藏

玩命加载中

创作者周榜

热议话题

1

... 实习进度记录

0
2

... 你知道哪些职场黑话？

0
1

... Keep实习校招
3

... 春招进度记录

0
4

... 第一份工作应该选高薪还是热爱？

0
5

... 招银网络求职进展汇总

0
6

... 风评不好的公司，你会去吗？

0
7

... 软开人，说说你的烦心事

0
8

... 毕业后不工作的日子里我在做什么

0
9

... 你想吐槽公司的哪些规定

0
10

... 24届营销人拿到了几个offer

0