【有书共读】《机器学习》读书笔记CH7

第7章

先验概率：是根据以往经验和分析得到的概率。

后验概率：若事情已经发生，现要求这件事情发生的原因是由某个因素引起的可能性的大小，即由结果推导原因。

贝叶斯判定准则：最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记。

判别式模型：给定x，通过直接建模P(c|x)来预测c；决策树、BP神经网络、支持向量机等

生成式模型：先对联合概率分布P(x,c)建模，然后再由此获得P(c|x)；朴素贝叶斯。

EM算法是常用的估计参数隐变量的利器，它是一种迭代的方法，其基本想法是：若参数θ已知，则可根据训练数据推断出最优隐变量Z的值（E步）；反之，若Z的值已知，则可方便的对参数θ做极大释然估计（M步）

EM算法的实例：Kmeans聚类、高斯混合模型

课后习题是检验学习成果的重要手段和查缺补漏的好帮手。

试证明：条件独立性假设不成立时，朴素贝叶斯分类器任有可能产生最优分类器。