-
《神经网络与深度学习》7.6读书笔记
7.6 超参数优化 常见超参数1 网络结构 包括神经元的链接关系 层数、 每层神经元的数量、激活函数的类型等。2 优化参数 包括优化方法、学习率、小批量的样本数量等。3 正则化系数 7.6.1 网格搜索 网格搜索（Grid Search）是一种通过尝试所...子永 编辑于 2021-07-09 16:47:25 -
《神经网络与深度学习》7.4读书笔记
7.4 数据预处理 一般而言，样本特征由于来源以及度量单位不同，它们的尺度（Scale）（即取值范围）往往差异很大．以描述长度的特征为例，当用“米”作单位时令其值为𝑥，那么当用“厘米”作单位时其值为100𝑥．不同机器学习模型对数据特征尺度的敏感程度不一样...子永 编辑于 2021-06-25 17:03:36 -
《神经网络与深度学习》7.2读书笔记
7.2 优化算法 目前，深度神经网络的参数学习主要是通过梯度下降法来寻找一组可以最小化结构风险的参数．在具体实现中，梯度下降法可以分为：批量梯度下降、随机梯度下降以及小批量梯度下降三种形式．根据不同的数据量和参数量，可以选择一种具体的实现形式．本节介绍一些在...子永 编辑于 2021-06-11 20:24:28 -
《神经网络与深度学习》7.7读书笔记
7.7 网络正则化 正则化（Regularization）是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法，比如引入约束、增加先验、提前停止等。 7.7.1 L1 L2 正则化 7.7.2 权重衰减 7.7.3 提前停止 提前停止（Ea...子永 编辑于 2021-07-16 19:22:11 -
《神经网络与深度学习》7.1读书笔记
网络优化与正则化 目前，研究者从大量的实践中总结了一些经验方法，在神经网络的表示能力、复杂度、学习效率和泛化能力之间找到比较好的平衡，并得到一个好的网络模型．本章从网络优化和网络正则化两个方面来介绍这些方法．在网络优化方面，介绍一些常用的优化算法、参数初始化方...子永 编辑于 2021-06-03 19:17:02 -
《神经网络与深度学习》7.5读书笔记
7.5 逐层归一化 逐层归一化（Layer-wise Normalization）是将传统机器学习中的数据归一化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使得网络更容易训练。 逐层归一化可有效提高训练效率的原因有： 更好的尺度不变...子永 编辑于 2021-07-02 10:03:35 -
《神经网络与深度学习》7.3读书笔记
7.3 参数初始化 神经网络的参数学习是一个非凸优化问题．当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键，关系到网络的优化效率和泛化能力．参数初始化的方式通常有以下三种： 预训练初始化：不同的参数初始值会收敛到不同的局部最优解．虽然这些局...子永 编辑于 2021-06-18 14:27:42
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K1座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
