ml-notes

知识点总结：

机器学习：

模型评估
欠拟合，过拟合
评估方法：留出法，交叉验证，自助法
性能度量：错误率，精度。查准率，查全率，F1。ROC与AUC
假设检验
偏差与方差
线性模型
线性回归
对数几率回归(逻辑回归)
线性判别分析
类别不平衡问题
决策树
信息增益，信息率，信息指数
剪枝：预剪枝，后剪枝
连续值与缺失值
多变量决策树
ID3，C4.5
CART树的生成与剪枝
gbdt，xgboost，lightgbm
支持向量机
支持向量机的公式推导，支持向量
对偶问题，KKT条件
软间隔与正则化，合页损失函数
核方法：线性核函数，高斯核等
SMO算法
贝叶斯分类器
朴素贝叶斯分类器
极大似然估计
集成学习
Boosting
随机森林
平均法，投票法，学习法
聚类
聚类的性能度量
k-means聚类，代码实现k-means，K值选择
密度聚类
层次聚类
降维
主成成分分析PCA，推导(投影方差最大)
统计学习方法概率：
训练误差与测试误差
正则化
生成模型与判别模型
分类问题，标注问题，回归问题
感知机
感知机模型
感知机学习策略
数据集的线性可分
K近邻法
KNN算法：模型，距离度量，k值选择，分类规则
最大熵模型
约束条件，条件熵最大，极大似然估计
EM算法
EM算法的推导
EM算法应用：高斯混合模型
隐马尔可夫模型
HMM形式，三个基本问题
概率计算：前向-后向算法
学习算法：监督学习，鲍姆-韦尔奇算
预测问题：近似算法，维特比算法(公式)
条件随机场
概率无向图的因子分解(团，最大团)
条件随机场的参数化定义
条件随机场的概率计算问题
条件随机场的学习算法
信息论
信息熵
联合熵
交叉熵
条件熵
互信息
相对熵
其他
梯度下降法
牛顿法，拟牛顿法
拉格朗日对偶性
马尔可夫链
PageRank算法
深度学习基础
softmax
softmax格式，交叉熵损失
多层感知机(即前馈神经网络)
权重衰减
丢弃法
数值衰减与爆炸
参数初始化
激活函数:relu，tanh，sigmoid，leaky relu
优化算法：
梯度下降，小批量梯度下降，随机梯度下降
动量法
AdaGrad算法
RMSProp算法
AdaDelta算法
Adam算法
计算机视觉
卷积神经网络
二维卷积：填充，步幅，多通道，特征图，感受野
池化层：最大池化与平均池化
全连接层
卷积神经网络经典模型
AlexNet：图像增强
VGG
NiN
GoogleNet
Xception
Resnet
Desnet
Batch normalization
Layer Normalization
目标检测
锚框
交并比
SSD(单发多框目标检测)
R-CNN系列(R-CNN,Fast R-CNN, Faster R-CNN, Mask R-CNN)
yolo
全卷积网络
样式迁徙
自然语言处理
循环神经网络
语言模型，语言模型复杂度
GRU，LSTM：LSTM为什么可以解决梯度弥散
多层RNN，双向RNN
词嵌入
word2vec：负采样，层次softmax，skip-gram, cbow
glove：共现矩阵
文本分类
fastText
TextCNN：一维卷积,池化，展开，全连接
TextRNN：最后一维隐含层，用来分类
模型：
Transformer：自注意力，multi-head self attention，缩放，layer nor，postion-emb，encoder-decoder
bert
Elmo
Seq2seq:beam search，注意力机制(隐状态加权平均)