Softmax函数
相关概念：
max函数定义就是在选取最大的值．这个最大值函数只能选择最大值
如果我想要一个能够大概率选择最大值，还能够小概率选择小值的函数．这就要用到softmax函数
softmax函数的定义：或称为归一化指数函数，是逻辑函数的推广．能够将一个含有任意实数的k维向量z压缩到另一个k维实向量\(\sigma (z)\)中，使得每个元素都在(0,1)之间，并且和为１．\[\sigma (z)_{j}=\frac{e^{z_{j}}}{\sum_{k=1}^{K} e^{z_{k}}}, j=1,2,...K\]- 实际应用：
在神经网络中利用softmax函数来进行反向传播：神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2之间的差距，计算Loss，才能应用反向传播 \[L_{i}=-log(\frac{e^{f_{y_{i}}}}{\sum_{j} e^{j}})\]
在优化loss过程中，我们要通过梯度下降，每次优化一个step大小的梯度，这个时候我们就要求Loss对每个权重矩阵的偏导，然后应用链式法则。那么这个过程的第一步，就是求Loss对score的偏导．score \(y_{i}\)，先定义\(P(y_{i})\):\[P(y_{i})=\frac{e^{f_{y_{i}}}}{\sum_{j} e^{j}}\] loss 对score的偏导：
\[\frac{\partial L_{i}}{\partial f_{yi}}=- ln (\frac{e^{f_{y_{i}}}}{\sum _{j} e^{j}})^{'}\]
\[=-1 *\frac{\sum_{j} e^{j}}{e^{f_{y_{i}}}}* (\frac{e^{f_{y_{i}}}}{\sum_{j}e^{j}})^{'}\]
\[=-1 *\frac{\sum_{j} e^{j}}{e^{f_{y_{i}}}}*(1-\frac{\sum_{j \neq f_{yi}} e^{j}}{\sum_{j}e^{j}})^{'}\]
\[=-1 *\frac{\sum_{j} e^{j}}{e^{f_{y_{i}}}}*-1*\sum_{j \neq f_{yi}} e^{j}*-1*\frac{1}{(\sum_{j} e^{j})^{2}}*(\sum_{j}e^{j})^{'}\]
\[=-1 *\frac{\sum_{j} e^{j}}{e^{f_{y_{i}}}}*-1*\sum_{j \neq f_{yi}} e^{j}*-1*\frac{1}{(\sum_{j} e^{j})^{2}}*e^{f_{y_{i}}}\]
\[=-(1-P_{f_{y_{i}}})=P_{f_{y_{i}}}-1\]
可以看得出求导结果的形式非常清晰明了．求解损失函数的梯度，只需要计算概率向量在真正结果的那一个维度减一即可． 举例分析：
假设我们得到的某个训练样本的向量分数为\([2,3,5]\),那么所对应的概率是\([\frac{e^2}{e^{2}+e^{3}+e^{5}},\frac{e^3}{e^{2}+e^{3}+e^{5}},\frac{e^5}{e^{2}+e^{3}+e^{5}}]\)=\([0.042,0.114,0.844]\).如果正确的分类是第三个的话，计算的偏导为\[[0.042,0.114,0.844-1]=[0.042,0.114,-0.156]\]根据这个结果进行反向传播的计算．参考文献：
0.softmax的解释，编程中的注意点
1.wiki-softmax function
2.softmax的理解与应用. @author:杨思达zzz
网易公司福利 152人发布
