解释型语言和编译型语言编译型语言 通过专门的编译器，把所有源代码一次转换为特定平台的可执行文件，然后再运行。一次编译，多次执行。比如C，C++。优点 ：一次编译，多次运行。 脱离编译环境，并且运行效率高。 缺点：依靠编译器、跨平台性差，可移植性差。编译的时候根据对应的运行环境生成机器码，不同的操作系统之间移植就会有问题，需要根据运行的操作系统环境编译不同的可执行文件。编译之后如果需要修改就需要整个模块重新编译。解释型语言 由专门的解释器，根据需要将部分源代码临时转换成特定平台的机器码，然后执行。边解释边执行。比如Python, PHP.优点：跨平台性好...

主成分分析法是一种特征提取的方法，它是一种常用的无监督学习方法，这一方法利用正交变换把由线性相关变量表示的观察数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。动机：降低数据的维度，尽可能保留最多的信息方法：可以使用SVD分解。分析：PCA的本质是通过投影降维，显然选择保留最大差异性的轴来投影比较合理。所有奇异值的平方和与数据集的总体方差相等。奇异值越大=得到的方差越多=包含的信息就越多使用奇异值分解：A = U D V_ 其中D中前k个最大奇异值对应的V_矩阵的列构成坐标转化矩阵。特征分解方阵A的特征值k和特征向量m， 指A作用于向量m相当于常量k对向量m进行缩放。性质：...

目的不同规模的输入导致不同的权重更新和优化器的步骤向最小值的方向不均衡，这也使损失函数的形状不成比例。在这种情况下，就需要使用较低的学习速率来避免过冲，这就意味着较慢的学习过程。解决办法是归一化。归一化处理后所有的值具有 0 均值和单位方差，这样可以提供更快的收敛和更稳定的训练。对象输入层和神经网络的中间层输出。如果只是对输入数据做归一化，这样只能保证数据在输入层是一致的，并不能保证每层网络的输入数据分布是一致的，所以在神经网络模型的中间层也需要加入归一化处理。Batchnormalization将每个batch之间一一对应的每个channel相加,求均值和方差之后，做归一化处理，最后再加入缩...

正则化通常只对权重w做正则惩罚，而不对偏置b做正则惩罚，原因如下每个偏置只控制一个单变量，即使不正则化也不会导致很大的方差正则化偏置参数很可能导致欠拟合范数：0范数(L0范数)-向量中非0元素的个数。1范数(L1范数)-向量中各个元素绝对值之和。2范数(L2范数)-向量的模长。L1正则化在目标函数中增加一个正则项 a * 权重w的一范数， a为。也称为Lasso回归, 拉格朗日正则相对于L2正则化，L1正则化会产生更稀疏的解，广泛应用于特征选择机制。L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；L2正则化在目标函数中增加一个正则项 a/2 * 权...

Jacobian矩阵；一阶偏导Hessian矩阵，二阶偏导

CNN经典三级结构：输入层-->卷积层-->激活函数-->池化层-->输出CNN特点：局部连接（卷积层）与传统神经网络的全连接相比，卷积层的每个神经元与输入数据的一个局部（感受野）相连。当卷积核的大小与输入层的大小一致时，与全连接类似。感受野的计算：RF(i + 1) = (RF(i) - 1) * stride(i) + Ksize; RF(1) = Ksize;参数共享（卷积层）把局部连接（感受野）中的每一个卷积核中对应的权值进行共享，大减少网络训练参数的同时，还可以实现并行训练。局部平移不变性（参数共享和池化）局部平移不变性是一个很有用的性质，尤其当我们关注...

CNN链接CNN结构 CNN特点池化激活函数Jacobian矩阵和Hessian矩阵链接优化方法随机梯度下降动量自适应学习率二阶近似过拟合、欠拟合正则化 链接归一化 链接主成分分析 （特征分解与奇异值分解）链接序列建模 RNN lstm gru生成式网络GAN受限玻尔兹曼机