读书笔记_牛客图书馆

牛客图书馆 > 读书笔记

开通博客写笔记

读书笔记

全部第1章第2章第3章第4章第5章第6章第7章第8章

《神经网络与深度学习》读书笔记

第6章循环神经网络在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力．在生物神经网络中，神经元之间的连接关系要复杂得多．前馈神经网络可以看作一个复杂的函数，每次输入都是独立的，即网络的输出只...

子永编辑于 2021-04-09 14:44:44
《神经网络与深度学习》读书笔记

6.2 简单循环网络简单循环网络（Simple Recurrent Network，SRN）[Elman, 1990] 是一个非常简单的循环神经网络，只有一个隐藏层的神经网络．在一个两层的前馈神经网络中,连接存在相邻的层与层之间，隐藏层的节点之间是无连接...

子永编辑于 2021-04-16 18:48:35
《神经网络与深度学习》6.6读书笔记

6.6 基于门控的循环神经网络为了改善循环神经网络的长程依赖问题，一种非常好的解决方案是在公式(6.50)的基础上引入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息．这一类网络可以称为基于门控的循环神经网络（Gate...

子永编辑于 2021-05-14 18:38:45
《神经网络与深度学习》6.3读书笔记

6.3 应用到机器学习循环神经网络可以应用到很多不同类型的机器学习任务．根据这些任务的特点可以分为以下几种模式：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。 6.3.1 序列到类别模式序列到类别模式主要用于序列数据的分类问题：输入为序...

子永编辑于 2021-04-23 15:55:40
《神经网络与深度学习》6.5读书笔记

6.5 长程依赖问题循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系． 6.5.1 改进方案...

子永编辑于 2021-05-07 20:37:09
《神经网络与深度学习》6.4读书笔记

循环神经网络的参数可以通过梯度下降方法来进行学习 6.4.1 随时间反向传播算法 6.4.2 实时循环学习算法...

子永编辑于 2021-04-30 13:55:49
《神经网络与深度学习》6.8读书笔记

6.8 扩展到图结构如果将循环神经网络按时间展开，每个时刻的隐状态𝒉𝑡 看作一个节点，那么这些节点构成一个链式结构，每个节点𝑡 都收到其父节点的消息（Message），更新自己的状态，并传递给其子节点．而链式结构是一种特殊的图结构，我们可以比较容易地...

子永编辑于 2021-05-31 08:54:58
《神经网络与深度学习》6.7读书笔记

6.7 深层循环神经网络如果将深度定义为网络中信息传递路径长度的话，循环神经网络可以看作既“深”又“浅”的网络．一方面来说，如果我们把循环网络按时间展开，长时间间隔的状态之间的路径很长，循环网络可以看作一个非常深的网络．从另一方面来说，如果同一时刻网络输入...

子永编辑于 2021-05-21 16:15:40

读书笔记

热门图书