提升树 提升树模型 以决策树为基函数的提升方法称为提升树(boosting tree)。 对分类问题是二叉分类树，对回归问题是二叉回归树。 提升树可以表示为决策树的加法模型： <nobr> fM(x)=∑m=1MT(x;Θm) </nobr> 其中， <nobr> T(x;Θm) </nobr>表示决策树； <nobr> Θm </nobr>为决策树的参数；M为树的个数。 提升树算法 提升树算法采用前向分步算法。首先确定初始提升树 <nobr>...

待补充

隐马尔科夫模型的基本概念 定义 HMM是关于时序的概率模型，描述又一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。 基本概念 状态序列 隐藏的马尔科夫链随机生成的状态的序列 观测序列 每个状态生成一个观测，而由此产生的观测的随机序列。序列的每个位置可以看作是一个时刻。 HMM由初始概率分布，状态转移概率分布以及观测概率分布确定。 设 <nobr> Q </nobr>是所有可能的状态的集合， <nobr> V </nobr>是所有可能的观...

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望；M步，求极大。所以这一算法称为期望极大算法，简称EM算法。 EM算法的引入 EM算法 EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。 一般地，用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z连在一起称为完全数据，观测数据Y又称为不完全数据。 EM算法 输入：观测变量数据Y，隐变量数据Z，联合分布 <nobr> P(Y,Z|θ) </nobr>，条件分布 <n...

提升(boosting)方法是一种可以将弱学习器提升为强学习器的算法。在分类问题中，它通过改变训练样本的权重，使得先前学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，并将这些分类器进行过线性组合，提高分类的性能。 提升方法AdaBoost算法 在每一轮如何改变训练数据的权值或概率分布 AdaBoost 提高那些被前一轮弱分类器错误分类的样本的权值，而降低那些被正确分类样本的权值。 如何将弱分类器组合成一个强分类器 AdaBoost采取加权多数表决的方法。加大分类误差率小的弱分类器的权值，减小分类误差率大的弱分类器的权值。 AdaBo...

最大熵(maximum entropy model)由最大熵原理推导实现。这里首先叙述一般的最大熵原理，然后讲解最大熵模型的推导，最后给出最大熵模型学习的形式。 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。 最大熵原理也可以表述为在满足约束条件的模型中选取熵最大的模型。 假设离散型随机变量X的概率分步是 <nobr> P(X) </nobr>，则其熵 <nobr> H(P)=−∑xP(x)logP(x) </nobr&g...

Logistic回归模型 logistic分布 逻辑斯谛分布 设X是连续随机变量，X具有下列分布函数和密度函数 <nobr> F(x)=P(X≤x)=11+e−(x−μ)/γ </nobr> <nobr> f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2 </nobr> 密度函数和分布函数如图所示 分布函数图形是一条S形曲线。该曲线以点 <nobr> (μ,12) </nobr>位中心对称，即满足 &lt...

在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 其主要优点是模型具有可读性，分类速度快。 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。 预测时，对新的数据，利用决策树模型进行分类。 决策树学习通常包括3个步骤：特征选择，决策树生成和决策树的修剪。 决策树模型与学习 决策树与if-else规则 由决策树的根结点到叶结点的每一条路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。 决策树与条件概率分布 决策树所表示的条件概率分布由各个单元...

朴素贝叶斯(naive Bayes)算法是基于贝叶斯定理与特征条件独立假设的分类方法。 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。 朴素贝叶斯算法的学习与分类 基本方法 朴素贝叶斯算法对条件概率分布作了条件独立性的假设。 <nobr> P(X=x|Y=ck)=P(X(1)=x(1),...,X(n)=x(n)|Y=ck)=∏j=1nP(X(j)=x(j)|Y=ck)(4.3) </nobr> 朴素贝叶斯算法学习到生成数据的机制...

k近邻法不具有显式的学习过程。k近邻法利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。 k值的选择，距离度量及分类决策规则是k近邻法得三个基本要素。 k近邻算法 k近邻法 根据给定的距离度量，在训练集T中找出与x最领进的k个点，涵盖这k个点的x的邻域记作 <nobr> Nk(x) </nobr>； 在 <nobr> Nk(x) </nobr>中根据分类决策规则（如多数表决）决定x的类别y： <nobr> y=argmax...

感知机学习策略 数据假设和学习目标 假设训练数据是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。 损失函数 损失函数的一个自然选择是误分类点的总和。但这样的损失函数不是参数w,b的连续可导函数，不易优化。 另一个选择是误分类点到超平面S的总距离。 假设超平面S的误分类点集合为M，那么所有误分类点到超平面的总距离为 <nobr> −1||w||∑xi∈Myi(w⋅xi+b) </nobr> 不考虑 <nobr> 1||w|| </nobr>，就得到感知机...

核技巧 非线性分类问题 用线性分类的方法求解非线性分类问题分为两步： 首先使用一个变换将原空间的数据映射到新空间； 然后在新空间里利用线性分类学习方法从训练数据中学习分类模型。核技巧就是这种方法。 核技巧应用到SVM，基本想法是通过一个非线性变换将输入空间对应于一个特征空间，使得在输入空间中的超曲面模型对应于特征空间中的超平面模型（SVM）。这样，分类问题的学习任务通过在特征空间中求解线性SVM就可以完成。 核函数的定义 <nobr> K(x,z)=ϕ(x)⋅ϕ(z) </nobr> 称 <nobr> K(x,z) ...

线性支持向量机 松弛变量和惩罚代价 线性不可分意味着某些样本点 <nobr> (xi,yi) </nobr>不能满足函数间隔大于等于1的约束条件。可以对每个样本点 <nobr> (xi,yi) </nobr>引入一个松弛变量 <nobr> ξi≥0 </nobr>，使函数间隔加上松弛变量大于等于1.这样，约束条件变为 <nobr> yi(wi⋅xi+b)≥1−ξi </nobr> 同时，对每个松弛变量 <nobr> ...

线性可分支持向量机 定义 给定线性可分训练数据集，通过间隔最大化或等价求解相应凸二次规划问题学习得到的分离超平面为 <nobr> w∗⋅x+b∗=0 </nobr> 以及相应的分类决策函数 <nobr> f(x)=sign(w∗⋅x+b∗) </nobr> 称为线性可分支持向量机。 函数间隔与几何间隔 函数间隔 对于给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点 <nobr> (xi,yi) </nobr&gt...