额，我谈一下我的理解哈，不一定对，相似度计算就是做乘法，所谓注意力机制是通过做乘法来实现的，具体那个变换形式得到qkv的过程就很灵活了。然后这个句子的话，语言模型是用来实现给不同token编码的，理论上来说是关系越接近他们的embedding计算相似度越高或者所谓注意力会越集中，通过大量文本的训练，会发现在这个某些固定长度的句子下，前边的主语会和随之而来的这种代词产生比较多的注意力，至于那个训练方式最基本的就是bert里的那两种，训练后再去预测的话，你提出的it这个词就会被拿过去计算相似度，结果会在tiger上更高，大概这么个意思吧

直观理解it可以指tiger或sheep，人依靠语意可以理解到应该指的是tiger，transformer多头注意力会出现有的头it会attend tiger有的attend sheep，这是为什么要用多头，全连接层和多头何冰后乘的输出矩阵会有筛选效果。最终到底指什么还是根据你的语料库或者训练任务来的，仅仅只给出这一句话理论上学不出

没区别，注意力就是相似度

实验科学 没有为什么🐶

注意力是相似度加了softmax之后的结果，注意力可以加mask只比较你想要关注的区域

很简单 注意力结果是由于KQV生成三个矩阵的参数权重决定的，参数权重是训练出来的，训练过程中发现it跟tiger相关性高的时候表现好，跟sheep相关性高的时候表现不好，学习出来的。 再说相似度和注意力，相似度指的是KQ之间的相似度，但是注意力还需要考虑V，一般的attention是做点乘求出来kq相似度然后用softmax转成V的权重。当然这里的相似度不一定用点乘，可以用其他的核函数，具体可以看linear attention.