首页 > 试题广场 >

以下几种模型方法属于判别式模型的有

[单选题]
以下几种模型方法属于判别式模型的有
1)混合高斯模型
2)条件随机场模型
3)区分度训练
4)隐马尔科夫模型
  • 1,4
  • 3,4
  • 2,3
  • 1,2

判别式模型与生成式模型的区别

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:

对于输入x,类别标签y:
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)

产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行。

Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:

On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes

(http://robotics.stanford.edu/~ang/papers/nips01-discriminativegenerative.pdf)


判别式模型常见的主要有:

Logistic Regression

SVM

Traditional Neural Networks

Nearest Neighbor

CRF

Linear Discriminant Analysis

Boosting

Linear Regression


产生式模型常见的主要有:

                      

       Gaussians

       Naive Bayes


       Mixtures of Multinomials

       Mixtures of Gaussians

       Mixtures of Experts

       HMMs

Sigmoidal Belief Networks, Bayesian Networks

Markov Random Fields

Latent Dirichlet Allocation

发表于 2015-11-20 09:41:03 回复(1)
发表于 2017-09-02 14:25:57 回复(3)


公式上看

生成模型: 学习时先得到 P(x,y),继而得到 P(y|x)。预测时应用最大后验概率法(MAP)得到预测类别 y。 
判别模型: 直接学习得到P(y|x),利用MAP得到 y。或者直接学得一个映射函数 y=f(x)。


直观上看

生成模型: 关注数据是如何生成的 
判别模型: 关注类别之间的差别


借用一下这位老兄的例子:

假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来,和你说了一句话,你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的:

  1. 学习每一种语言,你花了大量精力把汉语、英语和法语等都学会了,我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说,你就可以知道他说的是什么语音.
  2. 不去学习每一种语言,你只学习这些语言之间的差别,然后再判断(分类)。意思是指我学会了汉语和英语等语言的发音是有差别的,我学会这种差别就好了。

那么第一种方法就是生成方法,第二种方法是判别方法


编辑于 2018-08-16 20:10:34 回复(1)

生成方法由数据学习联合概率分布P(X,Y),然后求出条件概率分布作为预测的模型,即生成模型:

                               

模型表示了给定输入X产生输出Y的生成关系。
判别方法由数据直接学习决策函数f(X)或者条件概率分布作为预测模型,即判别模型。判别方法关心的是对给定的输入X,应该预测什么样的输出Y
发表于 2019-03-26 15:08:59 回复(0)
区分度训练是什么?
发表于 2016-08-22 22:02:53 回复(4)
生成式模型 (一般来说, 生成式模型都会对数据的分布做一定的假设)

判别式分析
朴素贝叶斯 
朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。
最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM)
K近邻(KNN)
混合高斯模型
隐马尔科夫模型(HMM) 
HMM(隐马尔可夫模型)是用来描述隐含未知参数的统计模型。举一个经典的例子:一个东京的朋友每天根据天气{下雨,天晴}决定当天的活动{公园散步,购物,清理房间}中的一种,我每天只能在***上看到她发的“啊,我前天公园散步、昨天购物、今天清理房间了!”,那么我可以根据她发的推断东京这三天的天气。在这个例子里,显状态是活动,隐状态是天气
贝叶斯网络
Sigmoid Belief Networks
马尔科夫随机场(Markov Random Fields)
深度信念网络(DBN)
判别式模型

线性回归(Linear Regression)
逻辑斯蒂回归(Logistic Regression)
神经网络(NN)
支持向量机(SVM)
高斯过程(Gaussian Process)
条件随机场(CRF)
CART(Classification and Regression Tree)

发表于 2019-07-30 13:17:00 回复(0)
生成模型是得到联合分布概率p(x,y) 判别模型是得到条件分布概率p(y|x)
发表于 2019-03-04 21:14:10 回复(0)
生成模型就是得到p(x,y)
判别模型就是得到p(y|x)
发表于 2018-06-30 16:58:18 回复(0)

判别式模型(Discriminative Model)直接对条件概率 P(y∣x)P(yx) 进行建模,它学习的是不同输入 xx 与输出 yy 之间的边界。常见的判别式模型包括:线性回归、逻辑回归、支持向量机(SVM)、决策树、随机森林、、多层感知机(MLP)、传统神经网络、邻近算法(K邻近、最近邻)条件随机场(CRF)、
提升算法(Boosting Algorithm、常见的提升算法有 AdaBoost(Adaptive Boosting,自适应提升)、GBDT(Gradient Boosting Decision Tree,梯度提升决策树)。

条件概率分布(Conditional Probability Distribution)是在给定某些条件下,某个随机变量的概率分布。

例如,条件概率分布 P(Y∣X=x)P(YX=x) 表示在已知随机变量 XX 取值为 xx 的条件下,随机变量 YY 的概率分布。

用公式表示,条件概率 P(Y∣X=x)=P(X=x,Y)P(X=x)P(YX=x)=P(X=x)P(X=x,Y) 。

生成式模型(Generative Model)对联合概率分布 P(x,y)P(x,y) 进行建模。有联合概率分布之后,可以用贝叶斯定理得到条件分布概率P(y∣x)P(yx),即上述判别式模型的那个概率。但是反过来却不行,条件概率无法得到联合概率分布。
常见的生成式模型有朴素贝叶斯、隐马尔可夫模型、马尔可夫随机场、多项式混合模型、高斯模型、高斯混合模型、高斯分布、Sigmoidal Belief Networks、贝叶斯网络、潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)

联合概率分布(Joint Probability Distribution)表示两个或多个随机变量同时取值的概率分布。

例如,假设有两个随机变量 XX 和 YY ,联合概率分布 P(X=x,Y=y)P(X=x,Y=y) 表示 XX 取值为 xx 且 YY 取值为 yy 的概率。

发表于 2025-02-18 10:27:12 回复(0)
产生式模型联合概率分布,判别式模型条件概率分布
发表于 2022-02-10 16:39:01 回复(0)
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)
发表于 2018-09-08 10:56:31 回复(0)
其实我想问一下KNN是判别式模型还是生成式模型? 在不同的文章里面给出的结论不一样
发表于 2018-08-24 10:38:10 回复(0)

产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:

对于输入x,类别标签y:
产生式模型估计它们的联合概率分布P(x,y)
判别式模型估计条件概率分布P(y|x)
2 3 是的
发表于 2018-08-05 11:55:14 回复(0)