好未来——nlp大模型岗

挺可惜的。问了一个项目。接着问了transformer的自注意力,QKV没答对。g了。

面试官说他们是做大模型的,要求还是比较高。

ps:

狂学自注意力!

自注意力里面的

Q:查询的内容

K: 商品的索引,关键字

V: 商品的内容,

attention才是注意力,即权重。

Q和K得到相似度。

Q和K为何不能用一个?答:打破对称性。如:我是一个男孩”这句话,男孩对修饰我的重要性应该要高于我修饰男孩的重要性。

全部评论

相关推荐

purcoter:虚拟货币预测正确率百分之99,还要找工作干嘛,不早就财富自由了
点赞 评论 收藏
分享
评论
12
25
分享

创作者周榜

更多
牛客网
牛客企业服务