牛客图书馆 > 读书笔记
  • 《神经网络与深度学习》4.2 读书笔记

    4.2 网络结构 一个生物神经细胞的功能比较简单,而人工神经元只是生物神经细胞的理想化和简单实现,功能更加简单.要想模拟人脑的能力,单一的神经元是远远不 够的,需要通过很多神经元一起协作来完成复杂的功能,这样通过一定的连接方式或信息传递方式进行协作的神经元可...
    子永 编辑于 2021-01-23 09:15:01
  • 《神经网络与深度学习》读书笔记

    4.6 优化问题 神经网络的参数学习比线性模型要更加困难,主要原因有两点:1)非凸优化问题和 2)梯度消失问题.非凸优化问题 神经网络的优化问题是一个非凸优化问题。 梯度消失问题 由于Sigmoid型函数的饱和性,饱和区的导数更是接近于0.这样,误差经过...
    子永 编辑于 2021-02-27 19:56:55
  • 《神经网络与深度学习》第四章 读书笔记

    第四章:前馈神经网络 人工神经网络(Artificial Neural Network,ANN)是指一系列受生物学和神经科学启发的数学模型.这些模型主要是通过对人脑的神经元网络进行抽象, 构建人工神经元,并按照一定拓扑结构来建立人工神经元之间的连接,来模拟 ...
    子永 编辑于 2021-01-11 20:36:29
  • 《神经网络与深度学习》4.4读书笔记

    反向传播算法(BP) BP算法(即反向传播算法)适合于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射...
    子永 编辑于 2021-02-05 16:53:10
  • 《神经网络与深度学习》4.5读书笔记

    4.5 自动梯度计算 神经网络的参数主要通过梯度下降来进行优化.当确定了风险函数以及网络结构后,我们就可以手动用链式法则来计算风险函数对每个参数的梯度,并用 代码进行实现.但是手动求导并转换为计算机程序的过程非常琐碎并容易出错,导致实现神经网络变得十分低效....
    子永 编辑于 2021-02-20 13:28:24
  • 《神经网络与深度学习》4.3读书笔记

    4.3 前馈神经网络 在前馈神经网络中,各神经元分别属于不同的层。每一层的神经元可以接收 前一层神经元的信号,并产生信号输出到下一层。第0层称为输入层,最后一层称为输出层,其他中间层称为隐藏层。整个网络中无反馈,信号从输入层向输出层单向传播,可用一个有向无环...
    子永 编辑于 2021-01-29 10:56:16