Attentional Factorization Machines(AFM)——论文阅读笔记

引言

FM算法通过引入特征交叉和矩阵分解思想使得模型能够针对二维以上的数据进行归纳,最终的结果会受到各交叉项的影响,然而这样是不合理的,并非所有的交叉项都有内部联系。本文通过引入Attention机制,在每个交叉项前面加上一个注意力权重,权重由模型训练一步步优化,有利于忽略不合理的交叉项,提升模型精确度。

内容

图片说明
从图片中可以看出,AFM算法所做出的改进无非就是添加一个Attention网络,输入的是交叉项,输出注意力矩阵,结合交叉项本身得到最终结果。
图片说明
模型的公式如上图,在FM基础上添加了两项,P^T和a_ij:
P^T是权重矩阵,a_ij是交叉项的注意力评分,通过正向传播得到。
图片说明
a_ij的计算是通过交叉项的激活函数输出,再用softmax归一化得到。

总结

AFM=FM+Attention

全部评论

相关推荐

不愿透露姓名的神秘牛友
07-02 15:39
希望奇迹发生的布莱克...:真的是 现在卷实习就是没苦硬吃
点赞 评论 收藏
分享
05-14 20:34
门头沟学院 Java
窝补药贝八股:管他们,乱说,反正又不去,直接说680
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务