读书笔记_牛客图书馆

牛客图书馆 > 读书笔记

开通博客写笔记

读书笔记

全部第1章第2章第3章第4章第5章第6章第7章第8章

《神经网络与深度学习》7.1读书笔记

网络优化与正则化目前，研究者从大量的实践中总结了一些经验方法，在神经网络的表示能力、复杂度、学习效率和泛化能力之间找到比较好的平衡，并得到一个好的网络模型．本章从网络优化和网络正则化两个方面来介绍这些方法．在网络优化方面，介绍一些常用的优化算法、参数初始化方...

子永编辑于 2021-06-03 19:17:02
《神经网络与深度学习》读书笔记

5.5 其他卷积方式 5.5.1 转置卷积 5.5.2 空洞卷积空洞卷积（Atrous Convolution）是一种不增加参数数量，同时增加输出单元感受野的一种方法，也称为膨胀卷积。空洞卷积通过给卷积核插入“空洞”来变相地增加其大小．如果在...

子永编辑于 2021-04-02 14:44:27
《神经网络与深度学习》4.4读书笔记

反向传播算法（BP） BP算法(即反向传播算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射...

子永编辑于 2021-02-05 16:53:10
《神经网络与深度学习》7.5读书笔记

7.5 逐层归一化逐层归一化（Layer-wise Normalization）是将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使得网络更容易训练。逐层归一化可有效提高训练效率的原因有：更好的尺度不变...

子永编辑于 2021-07-02 10:03:35
《神经网络与深度学习》6.5读书笔记

6.5 长程依赖问题循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系． 6.5.1 改进方案...

子永编辑于 2021-05-07 20:37:09
《神经网络与深度学习》6.4读书笔记

循环神经网络的参数可以通过梯度下降方法来进行学习 6.4.1 随时间反向传播算法 6.4.2 实时循环学习算法...

子永编辑于 2021-04-30 13:55:49
《神经网络与深度学习》7.3读书笔记

7.3 参数初始化神经网络的参数学习是一个非凸优化问题．当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键，关系到网络的优化效率和泛化能力．参数初始化的方式通常有以下三种：预训练初始化：不同的参数初始值会收敛到不同的局部最优解．虽然这些局...

子永编辑于 2021-06-18 14:27:42
《神经网络与深度学习》4.5读书笔记

4.5 自动梯度计算神经网络的参数主要通过梯度下降来进行优化．当确定了风险函数以及网络结构后，我们就可以手动用链式法则来计算风险函数对每个参数的梯度，并用代码进行实现．但是手动求导并转换为计算机程序的过程非常琐碎并容易出错,导致实现神经网络变得十分低效．...

子永编辑于 2021-02-20 13:28:24
《神经网络与深度学习》6.8读书笔记

6.8 扩展到图结构如果将循环神经网络按时间展开，每个时刻的隐状态𝒉𝑡 看作一个节点，那么这些节点构成一个链式结构，每个节点𝑡 都收到其父节点的消息（Message），更新自己的状态，并传递给其子节点．而链式结构是一种特殊的图结构，我们可以比较容易地...

子永编辑于 2021-05-31 08:54:58
《神经网络与深度学习》读书笔记

2.4 偏差-方差分解拟合能力强的模型一般复杂度会比较高，容易导致过拟合。相反，如果限制模型的复杂度，降低其拟合能力，又可能会导致欠拟合。偏差（Bias），是指一个模型在不同训练集上的平均性能和最优模型的差异，可以用来衡量一个模型的拟合能力。方差（Va...

子永编辑于 2020-11-18 20:35:56

读书笔记

热门图书