之前学习吴恩达深度学习视频的时候,笔记都做于笔记本上。借此秋招复习之际,将之更于博客中,并附加一些之后所学的知识。 一、归一化输入与BatchNormalization 1、归一化输入 加速网络学习收敛、往往是输入层。 Z-Score(0均值、1方差)归一化步骤:①、零均值化:②、归一化方差: 线性(最大最小)归一化公式:这种归一化方法比较适用在数值比较集中的情况。这种方法有个缺陷,如果max和min不稳定,很容易使得归一化结果不稳定,使得后续使用效果也不稳定。实际使用中可以用经验常量值来替代max和min。 非线性归一化:经常用在数据分化比较大的场景,有些数值很大,有些很小。通过一些数学...