好未来——nlp大模型岗
挺可惜的。问了一个项目。接着问了transformer的自注意力,QKV没答对。g了。
面试官说他们是做大模型的,要求还是比较高。
ps:
狂学自注意力!
自注意力里面的
Q:查询的内容
K: 商品的索引,关键字
V: 商品的内容,
attention才是注意力,即权重。
Q和K得到相似度。
Q和K为何不能用一个?答:打破对称性。如:我是一个男孩”这句话,男孩对修饰我的重要性应该要高于我修饰男孩的重要性。
挺可惜的。问了一个项目。接着问了transformer的自注意力,QKV没答对。g了。
面试官说他们是做大模型的,要求还是比较高。
ps:
狂学自注意力!
自注意力里面的
Q:查询的内容
K: 商品的索引,关键字
V: 商品的内容,
attention才是注意力,即权重。
Q和K得到相似度。
Q和K为何不能用一个?答:打破对称性。如:我是一个男孩”这句话,男孩对修饰我的重要性应该要高于我修饰男孩的重要性。
相关推荐