专栏介绍 本专栏专注于机器学习领域的技术与知识点，是五年学习研究的笔记整理，囊括机器学习领域绝大部分常见模型和技术。旨在于让读者可以通过专栏的阅读和学习从原理上理解机器学习以及其中的模型和算法，做到知其然也知其所以然。 对于机器学习中的每一个模型和算法，尽可能做到源码级的剖析，亲自用Python代码实现一个个”高深莫测“的模型，身体力行地体会每一个模型的原理和特点。 如果你仔细阅读本专栏当中的所有文章，相信你不仅可以入门机器学习这个领域，还能获得一定深度的知识积累。相信足够应付大部分相关的面试。 由于篇幅所限，本专栏不包含深度学习以及神经网络的相关内容。 作者介绍 ACM-ICPC亚洲区银牌选...

题意 The string "PAYPALISHIRING" is written in a zigzag pattern on a given number of rows like this: (you may want to display this pattern in a fixed font for better legibility) https://leetcode.com/problems/zigzag-conversion/ 翻译 给定一个字符串，将它变成蛇形输出。这个蛇形的概念比较抽象，我们需要结合样例才能理解。 样例 Inpu...

分布式系统当中有一个著名的CAP理论，它也是分布式系统理论的基础。 CAP理论最早发表于2000年，由加州伯克利的教授首先在ACM PODC会议上提出猜想，两年之后，被麻省理工学院的教授Seth Gilbert和Nancy Lynch从理论上证明。从此之后，它成了分布式系统领域的公认定理。 今天这篇文章就和大家聊聊这个大名鼎鼎的CAP理论。 CAP理论描述起来其实很简单，它说的是一个分布式系统最多只能满足C（一致性）、A（可用性）和P（分区性）这三者当中的两个。我们先来看一下这三项分别代表了什么。 Consistency 一致性 分布式系统当中的一致性指的是所有节点的数据一致，或者...

从前有一户夫妻，他们生了两个孩子。已知其中一个是女孩，那么另一个孩子也是女孩的概率是多少呢？ 这是一道概率论课本上的经典问题，一开始的时候，很多人会觉得两个孩子的性别是独立事件，我们知道其中一个孩子的性别，应该对另一个孩子没有影响。但实际上并不是这样，我们可以列出两个孩子性别的所有可能： 孩子1 孩子2 男 女 男 男 女 女 女 男 从上面这个表格里，我们可以看出来，两个孩子的性别组合一共有4种。其中至少有一个女孩的是三种，而这三种当中，两个孩子都是女孩的有一种。所以答案就是。 除了表格列举出所有情况之外，我们还可以通过条件概率来计算。已知, 和，可以求出。 我们...

本文始发于个人公众号：TechFlow 1 在开始今天的文章之前，我们先来讲一个故事： 在一个月黑风高的夜晚，怪盗基德潜入了一个著名的珠宝会馆。他面前有三个装着珠宝的柜子，这三个规则分别是A、B和C。每个柜子里装了一个珠宝，这三个珠宝的体积分别是6，5，5，价值分别是10，5， 6。基德每次只能打开一个柜子，他需要将偷出来的珠宝放进随身携带的包里。他的包的体积是10，那么请问，基德应该采取什么策略呢？ 学过算法的同学会一眼就看出来，这是一个背包问题。 我们假装没学过，就按照常理来分析。显然ABC三个珠宝当中A珠宝是最值钱的，由于基德每次只能打开一个柜子，理论上来说应该先拿A。 但是如果...

今天的文章，我们继续探讨搜索引擎，和大家聊聊搜索引擎最重要的一环——倒排索引。 在介绍倒排索引之前，我们先来看看什么是索引。索引是数据库当中的概念，维基百科中的说法是“数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据”。可以简单地把索引当成是字典里的检索目录，我们比如我们要查一个叫“index”的单词，通过目录，可以快速地找到字母i开始的位置。索引也是一样，不过我们查找的不再是单词的首字母，而是数据。 在之前介绍搜索引擎的文章当中，我们曾经说过，搜索引擎的爬虫爬取到网页的文本信息之后，会先进行分词，再进行存储。也就是说存储的不是完整的文档，而是文档当中的关键...

本文始发于公众号：TechFlow 矩阵的初等变换这个概念可能在很多人听来有些陌生，但其实我们早在初中的解多元方程组的时候就用过它。只不过在课本当中，这种方法叫做消元法。我们先来看一个课本里的例子： 假设我们要解这个方程，怎么做呢？ 首先，我们把(1)式加到(2)式，把(4)式加到(3)式，把(1)式乘6加到(4)式可以得到： 我们再把(4)式减去(2)式乘5，可以解出： 我们把带入，可以解出。 因为消元之后，方程组的数量少于变量的数量，我们无法解出所有的变量。其中的可以取任何值。 上面这个计算的方法我们都非常熟悉，如果我们用一个矩阵来表示所有的次数，那么这个矩阵D可以写成： 那么，我们刚才消...

本文始发于个人公众号：TechFlow 今天和大家聊的问题叫做最长不重复子串，这道题很有意思，我们先来看题面： Given a string, find the length of the longest substring without repeating characters. 翻译 题目只有一句话：给定一个字符串，要求返回不包含重复字符的最长子串的长度。 样例 Example 1: Input: "abcabcbb" Output: 3 Explanation: The answer is "abc", with ...

说到数据库，以前我老师有一句很经典的话。你可以不会写SQL，但是一定不能不知道ACID。 在工业领域，SQL可以说是应用最广泛的技术。从后端到算法，从数据到DBA，再到产品，甚至连一些运营也会基本的SQL。所以如果你现在还不太会的话，我建议你用一个下午的时间找个网站好好学一下。 原本我是想直接写些Hbase相关的内容，但是我发现要想讲清楚Hbase，必须要讲noSQL数据库。如果将noSQL，则又离不开最传统的关系型数据库。所以我们一步一步来，先从基础的关系型数据库讲起。或许我这么说并不准确，因为数据库并不基础，相反它十分复杂。从索引到各种优化和设计原理，再到内部的各种算法和数据结构，涉及到的...

本文首发于公众号：TechFlow 在概率论的课本上有一个经典的问题，一直困扰我很久。有很多次我以为我想明白了，过了一段时间却又会糊涂。这个问题学过概率论的同学想必都知道，就是著名的三扇门问题。说是之前在美国有一个著名的综艺节目，这个节目里有三扇关闭着的门。其中有两扇的后面是山羊，有一扇则放着一辆豪车。主持人会让嘉宾做出选择，嘉宾做出选择之后，主持人会打开其中错误的一扇门，询问嘉宾：伙计，你有一次更改选择的机会，你要使用吗？节目的效果如何我们不谈，但是背后的数学问题却很有意思。我们更改或者不更改选择，究竟分别有多大的赢面呢？ 我们从直觉来分析，我们更不更换答案应该不会影响。毕竟三扇门里有一...

本文始发于个人公众号：TechFlow 之前的文章当中我们详细阐述了二分法，尤其是讨论了我们在编写代码时候的边界问题。传送门： 算法浅谈——人人皆知却很多人写不对的二分法 今天这一篇文章，我们继续来讲算法，我们不讲二分法了。来讲讲二分法的进阶版——三分法。 是的，你们没有看错，这不是我任性起的名字，而是实实在在的有这个算法。不过如果去搜索引擎里搜，大概率会搜到摄影的三分构图法，而很难搜索三分查找的算法。 主要原因是它和二分法比较起来要小众得多，几乎所有的算法书籍当中都没有三分法的介绍。它更多的是存在于ACM-ICPC这类算法竞赛当中，不过小众没关系，只要有用就好。三分法的原理也很简单，和二分法...

在前文当中，我们介绍了搜索引擎的大致原理。有错过或者不熟悉的同学，可以点击下方的链接回顾一下前文的内容。 ML基础——搜索引擎基本原理 在介绍爬虫部分的时候，我们知道，爬虫在爬取到网页的内容之后，会先进行一些处理。首先要做的就是过滤掉HTML当中的各种标签信息，只保留最原生的网页内容。之后，程序会对这些文本内容提取关键词。 今天我们就来讲讲关键词提取当中最重要的一个部分——中文分词。 在世界上众多的语言当中，中文算是比较特殊的一种。许多语言自带分词信息，比如英文，机器学习写作machine learning。machine和learning之间自带一个空格作为分隔。但是中文不是这样，汉字之...

本文始发于个人公众号： TechFlow 上一讲当中我们复习了行列式的内容，行列式只是开胃小菜，线性代数的大头还是矩阵。 矩阵的定义很简单，就是若干个数按照顺序排列在一起的数表。比如m * n个数，排成一个m * n的数表，就称为一个m * n的矩阵。 矩阵运算的相关性质不多，主要的有这么几点： 矩阵的加法有结合律和交换律 矩阵的乘法没有交换律 m * n的矩阵乘上n * k的矩阵的结果是一个m*k的矩阵 很多人会觉得矩阵乘法比较复杂，不仅是计算复杂，而且经常会记不清运算的方法。会觉得复杂，可能只是因为我们将它当做了数学公式来生硬的记忆，而没有理解其中的原理。 我们不妨假设A和B分别是...

今天要讲的是一道经典的算法题，虽然不难，但是很有意思，我们一起来看下题目： You are given two non-empty linked lists representing two non-negative integers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two numbers and return it as a linked list. You may assume the two numbers do not co...