文章目录 1. 引言 2. HMM变量 3. HMM的结构 4. HMM的参数 5. HMM的生成步骤 1. 引言 隐马尔可夫模型是结构最简单的动态贝叶斯网络。是一种有向图模型，主要用于时序数据建模，在语音识别，自然语言处理(NLP)，生物信息，模式识别等领域有广泛的应用。HMM是关于时序的概率模型，描述一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再有各个状态生成一个观测而产生观测随机序列的过程。 2. HMM变量 HMM中的变量可分为两组。第一组是状态变量 ...

文章目录 1. 概率论 1.1 条件概率 1.2 全概率公式 1.3 贝叶斯公式 1.4 独立性 2. 简单图分析（简单贝叶斯网络独立性分析） 3. 朴素贝叶斯 朴素贝叶斯的推导 3.1 高斯朴素贝叶斯（Gaussian Naive Bayes） 3.2 多项分布朴素贝叶斯（Multinomial Native Bayes） 1. 概率论 与之相关的有概率论的一些知识，这里先做简单知识复习。 1.1 条件概率 条件概率是指事件A在另外一个事件B已经发生条件下...

文章目录 1. 引言 2. 算法 3. 算法描述 4. 小结 1. 引言 提升算法大多都是基于这样的一个思想；对于一个复杂的任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独判断的好。实际上就是 三个臭皮匠，顶个诸葛亮的道理。 AdaBoost算法是提升算法中具有代表性的一种，它通过改变样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类器的性能。 2. 算法 输入：训练数据集 T = ...

引言（关于集成学习） 集成算法包括很多种包括Bagging，随机森林，Boosting 以及其他更加高效的集成算法。在这篇博客上只介绍Bagging算法及随机森林，Boosting提升算法及其他高效的算法在下一篇详细讲解。 集成算法就是通过构建多个学习器来完成学习任务，是由多个基学习器或者是个体学习器来完成的。它可以是由决策树，神经网络等多种基学习算法组成。就像是投票表决答案一样，多数人的参与总会比一个人的观点更加准确。集成学习通过多个学习器进行结合，可以获得比单一学习器显著优越的泛化性能。而且集成学习一般都是以弱学习器集成来得到一个强的学习器获得更好地性能。 假设集成通过简单的投票方法结合...

决策树算法的基本流程 决策树顾名思义就是基于树对问题的决策和判别的过程，是人类在面对决策问题时一种很自然的处理机制，下面有个例子 通过决策树得出最终的结果。                                我们所要做的就是去得到这样一个树去帮助我们决策问题，使样本通过这个树实现分类。一般来说，一棵树包含一个根节点，若干个内部节点和若干个叶子节点；叶子节点对应于决策结果，其他每个节点则对应一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本的全集。从根节点到每个叶子节点的路径对应了一个判定测试序列。决策树学习的目的就是为了产生一个泛化能力强，...

吴恩达的课程中跟国内的一些教程中分析问题的思路还是有些不同的，吴恩达的课程从简单的LR开始让我们先去理解优化目标，一步步的引导我们去理解SVM，然后揭开他神秘的面纱，便于理解，是很不错的课程。我学习的国内课程是直接重点讲解，讲到SVM核心内容。在这里我总结下自己学习SVM的一些想法（目标函数的优化，对偶问题，smo求解，其他核函数，SVM回归，最大间隔等）方便以后查看。 引言 SVM 一个支持向量机用于构造一个超平面，或再高或无限维空间，其可以用于分类，回归，或其它任务中设定的超平面的。直观地，可以做一个良好的分离。如下图，能将训练样本划分的超平面可能有很多，但是我们从直观上去看，应该去找...

K近邻法是机器学习中一种很基本的算法，可以用做分类和回归，主要的思想跟我们生活中近墨者黑，近朱者赤的思想雷同。例如我们看一个人人品的好坏只需要看与之相交的人的品格好坏。KNN算法分类和回归主要区别在于最后做预测时候的决策方式不同：分类时我们选取与之相近的K个样本采取多数表决法来判断类别，回归时我们选取K个样本的平均值来作为预测值。 1.KNN算法的三个要素 K值     对于K值的选取可根据我们的经验，然而有时候并不是那么的好，我们需要通过交叉验证来不断地调节K值，直到选择到满意的值。K选择较小的值，就会使用训练实例中较小领域的训练实例进行预测，训练的误差会减小，那也就意味这只有与之相...

在调用sklearn selectKBest().fit时出现 Unknown label type: 'unknown'错误：   当出现此问题时一般来说是你传入的数据类型被调用函数不接受， 你需要改变数据类型。 1. 例如采用卡方验证选取特征时，如果你传入的是标签是float类型，会产生此错误。 后加上astype(‘int’)即可 例如：                                                                                  .fit(train_x,train_y.astype(‘int’)) 2....

Linux系统中常见目录的作用：   常见的目录名 目录的作用 / Linux系统的根目录。 /bin/ 存放系统命令的目录，普通用户和超级用户都可以执行里面的命令。该目录中的命令在单用户模式下也可以执行。 /sbin/ 存放与系统环境设置相关的命令，只有超级用户才可以执行里面的命令，但是有些命令允许普通用户查看。 /usr/bin/ 存放系统命令的目录，普通用户和超级用户都可以执行里面的命令。这些命令和系统启动无关，在单用户模式下不能执行。 ...

 [root@localhost ~] # root ： 当前登录用户 localhost ： 主机名 ~ ： 家目录 # ： 超级管理员提示符         $ : 普通管理员提示符 命令格式 ：      命令  [选项]  [参数] ls [选项] [文件或目录] 选项 ：  -a 显示所有文件 包括隐藏文件  -l 显示详细信息  -d 查看目录属性   -h 人性化显示文件大小   -i 显示iNode ll  《 = 》ls -l mkdir -p [目录名] （-p 递归创建目录） cd [目录]  （切换所在目录）  ...

Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。 命令模式 (按键 Esc 开启) Enter : 转入编辑模式 Shift-Enter : 运行本单元，选中下个单元 Ctrl-Enter : 运行本单元 Alt-Enter : 运行本单元，在其下插入新单元 Y : 单元转入代码状态 M :单元转入markdown状态 R : 单元转入raw状态 1 : 设定 1 级标题 2 : 设定 2 级标题 3 : 设定 3 级标题 4 : 设定 4 级标题 5 : 设定 5 级...

信息量 信息量表示事件的不确定性。一件事情发生的概率越大那么那么它的发生所带来的信息量越小，反之，一件事情发生的概率越小那么那么它的发生所带来的信息量越大。由于存在这种关系，我们可以表示一件事情发生所带来的信息量为-logP。 熵 熵是所有信息量的期望。 H(X)=−∑i=1np(xi)logp(xi) H ( X ) = − <mstyle displayst...

ML算法模型 简单总结一下在学习的过程中对Machine Learning算法模型理解： 决策树 ( decision tree)详解 集成算法(Bagging，随机森林) 集成算法(AdaBoost基本原理) Boosting算法（GBDT，XGBoost，LightGBM） SVM(Support Vector Machin) 支持向量机 详解 KNN(k-nearest neighbors) K近邻算法深入 聚类算法 – K 均值算法详解（K-means） – 层次聚类算法详解 – DBSCAN 算法详解 – BIRCH 算法 – CURE 算法 贝...

在机器学习算法中很多会用到距离计算算法和相似度计算算法，在这里简单总结下方便以后查看。                                                             距离计算算法 欧几里得距离 欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。 曼哈顿距离 是种使用在几何度量空间的几何学用语，用以标明两个点...