Attentional Factorization Machines（AFM）——论文阅读笔记

引言

FM算法通过引入特征交叉和矩阵分解思想使得模型能够针对二维以上的数据进行归纳，最终的结果会受到各交叉项的影响，然而这样是不合理的，并非所有的交叉项都有内部联系。本文通过引入Attention机制，在每个交叉项前面加上一个注意力权重，权重由模型训练一步步优化，有利于忽略不合理的交叉项，提升模型精确度。

内容

从图片中可以看出，AFM算法所做出的改进无非就是添加一个Attention网络，输入的是交叉项，输出注意力矩阵，结合交叉项本身得到最终结果。

模型的公式如上图，在FM基础上添加了两项，P^T和a_ij：
P^T是权重矩阵，a_ij是交叉项的注意力评分，通过正向传播得到。

a_ij的计算是通过交叉项的激活函数输出，再用softmax归一化得到。

总结

AFM=FM+Attention