特征工程：归一化与标准化

样本特征由于来源以及度量单位不同，它们的尺度（Scale），或者说是取值范围有可能差异很大。如果一个机器学习算法在缩放全部或者部分特征后不影响它的学习和预测，我们就称该算法具有尺度不变性（Scale Invariance）。神经网络从理论上应该具有尺度不变性，可以通过参数的调整来适应不同特征的尺度。但是尺度不同的输入特征会增加训练的难度。¹

1/ 最小最大值归一化

归一化（Normalization）方法泛指把数据特征转换为相同尺度的方法。最小最大值归一化（Min-Max Normalization）是最为简单的归一化方法，通过简单的缩放将每一个特征的取值范围归一到 $[0, 1]$ 或 $[- 1, 1]$ . 假如样本数据 $\{\boldsymbol{x}^{(n)}\}^N_{n=1}$ ，最小最大归一化到 $[0, 1]$ 的公式为：

\hat{x}^{(n)}=\frac{x^{(n)}-\min{(x^{(n)})}}{\max_n(x^{(n)})-\min_n(x^{(n)})},

最小最大归一化到 $[- 1, 1]$ ，可以先将数据归一化到 $[0, 1]$ 之间，然后再进行平移缩放：

\hat{x}^{(n)}=\frac{2}{\text{max}_n(x^{(n)})-\text{min}_n(x^{(n)})}\left(x^{(n)}-\text{min}_n(x^{(n)})\right)-1,

所以将数据利用最小最大归一化到某个范围 $[r_{1}, r_{2}]$ 的代码为：

import torch
import numpy as np
from sklearn import preprocessing
np.random.seed(9) # 设置随机种子为 9

def min_max_norm(X, feature_range=(0, 1)):
    r1, r2 = feature_range  # 将数据归一化到 [r1, r2] 之间
    xmin, xmax = X.min(axis=0), X.max(axis=0) # 得到数据的最大最小值
    X_std = (X - xmin) / (xmax - xmin)     # 标准化到 [0, 1]
    X_scaled = X_std * (r2 - r1) + r1      # 数据平移缩放到 [r1, r2]
    return X_scaled

与 sklearn.preprocessing 中的 MinMaxScaler() 进行对比：

sample_size = 5
X = np.random.randn(sample_size) * 255
X = X.reshape(-1, 1)
min_max_norm(X, feature_range=(0, 1))    # 数据归一化到 [0, 1] 之间
preprocessing.MinMaxScaler(feature_range=(0, 1)).fit_transform(X.reshape(-1, 1))
# array([1.        , 0.73983247, 0.        , 0.98747617, 0.66033068])

min_max_norm(X, feature_range=(-1, 1))   # 数据归一化到 [-1, 1] 之间
preprocessing.MinMaxScaler(feature_range=(-1, 1)).fit_transform(X.reshape(-1, 1))
# array([ 1.        ,  0.47966494, -1.        ,  0.97495233,  0.32066137])

# 两种方法得到的结果是一样的

2/ 标准化

标准化（Standardization）也叫 Z 值归一化（Z-Score Normalization），它的作用是将每一维特征都调整为均值为 0，方差为 1. 首先计算均值与方差：

\begin{aligned} \mu &=\frac{1}{N} \sum_{n=1}^{N} x^{(n)} \\ \sigma^{2} &=\frac{1}{N} \sum_{n=1}^{N}\left(x^{(n)}-\mu\right)^{2} \end{aligned}

然后将特征 $x^{(n)}$ 减去均值，并除以标准差，得到新的特征值 $\hat{x}^{(n)}$ ：

\hat{x}^{(n)}=\frac{x^{(n)}-\mu}{\sigma}

标准差 $\sigma$ 不能为零，否则说明这一维的特征没有任何区分性，可以直接删掉。

标准化的代码：

def z_score_norm(X):
    mu = X.mean()   # 计算数据的均值
    sigma = X.std() # 计算数据的标准差（方差的平方根）
    return (X - mu) / sigma

z_score_norm(X)
preprocessing.StandardScaler().fit_transform(X)
# array([ 0.88537948,  0.17106352, -1.86022047,  0.85099404, -0.04721657])