1)混合高斯模型2)条件随机场模型3)区分度训练4)隐马尔科夫模型
产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:
对于输入x,类别标签y:(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)
Logistic Regression
SVM
Traditional Neural Networks
Nearest Neighbor
CRF
Linear Discriminant Analysis
Boosting
Linear Regression
Gaussians
Naive Bayes
Mixtures of Multinomials
Mixtures of Gaussians
Mixtures of Experts
HMMs
Sigmoidal Belief Networks, Bayesian Networks
Markov Random Fields
Latent Dirichlet Allocation
生成模型: 关注数据是如何生成的
判别模型: 关注类别之间的差别
借用一下这位老兄的例子:
假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来,和你说了一句话,你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的:
那么第一种方法就是生成方法,第二种方法是判别方法。
生成方法由数据学习联合概率分布,然后求出条件概率分布
作为预测的模型,即生成模型:
,
判别式模型(Discriminative Model)直接对条件概率 P(y∣x)P(y∣x) 进行建模,它学习的是不同输入 xx 与输出 yy 之间的边界。常见的判别式模型包括:线性回归、逻辑回归、支持向量机(SVM)、决策树、随机森林、、多层感知机(MLP)、传统神经网络、邻近算法(K邻近、最近邻)条件随机场(CRF)、
提升算法(Boosting Algorithm、常见的提升算法有 AdaBoost(Adaptive Boosting,自适应提升)、GBDT(Gradient Boosting Decision Tree,梯度提升决策树)。
条件概率分布(Conditional Probability Distribution)是在给定某些条件下,某个随机变量的概率分布。
例如,条件概率分布 P(Y∣X=x)P(Y∣X=x) 表示在已知随机变量 XX 取值为 xx 的条件下,随机变量 YY 的概率分布。
用公式表示,条件概率 P(Y∣X=x)=P(X=x,Y)P(X=x)P(Y∣X=x)=P(X=x)P(X=x,Y) 。
生成式模型(Generative Model)对联合概率分布 P(x,y)P(x,y) 进行建模。有联合概率分布之后,可以用贝叶斯定理得到条件分布概率P(y∣x)P(y∣x),即上述判别式模型的那个概率。但是反过来却不行,条件概率无法得到联合概率分布。
常见的生成式模型有朴素贝叶斯、隐马尔可夫模型、马尔可夫随机场、多项式混合模型、高斯模型、高斯混合模型、高斯分布、Sigmoidal Belief Networks、贝叶斯网络、潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)
联合概率分布(Joint Probability Distribution)表示两个或多个随机变量同时取值的概率分布。
例如,假设有两个随机变量 XX 和 YY ,联合概率分布 P(X=x,Y=y)P(X=x,Y=y) 表示 XX 取值为 xx 且 YY 取值为 yy 的概率。