参考： The Activation in Deep Learning 浅谈深度学习中的激活函数 1. Sigmoid: f ( x ) = 1 1 + e − x f(x) = \frac{1}{1+e^{-x}} f(x)=1+e−x1​ 2. Tanh: f ( x ) = 1 − e − 2 x 1 + e − 2 x f(x) = \frac{1-e^{-2x}}{1+e^{-2x}} f(x)=1+e−2x1−e−2x​ 3. ReLU: f ( x ) = { 0 ( x ≤ 0 ) x ( x > 0 ) f(x) = \begin{ca...

参考： Wikipedia – Matrix calculus Wikipedia 上对于矩阵的微分描述得很详细。 给定两个矩阵 A = ( a i j ) m × n A=\begin{pmatrix} a_{ij}\end{pmatrix}_{m \times n} A=(aij​​)m×n​ 和 B = ( b i j ) m × n B=\begin{pmatrix} b_{ij}\end{pmatrix}_{m \times n} B=(bij​​)m×n​，它们的阿达马积和克罗内克积定义如下： 阿达马积（Hadamard product）： A ∘ B = ( a i j...

前言 如果你在使用 Matlab 来处理一些数学问题，希望这篇博客可以帮到你。你可以根据所需要的内容查看对应的标题的内容，可以知道在 Matlab 中使用什么函数来解决问题。 Matlab 数学建模 前言 1. 优化问题 1.1. 线性规划函数：linprog() 1.2. 非线性规划函数：fmincon() 1.3. 整数规划：intlinprog() 1. 优化问题 1.1. 线性规划函数：linprog() 1.1.1. 线性规划的标准形式 线性规划的目标函数可以是求最大值，也可以是求最小值，...

Python 中文乱码是因为编码格式的问题，在开头加上： #!/usr/bin/python # -*- coding: UTF-8 -*- 修改编码格式就好了。

原文地址：Encoding Time Series as Images 虽然现在深度学习在计算机视觉和语音识别上发展得很好，但是碰到时间序列时，构建预测模型是很难的。原因包括循环神经网络较难训练、一些研究比较难以应用，而且没有现存与训练网络，1D-CNN 不方便。 但是如果使用 Gramian Angular Field (GAF)，可以把时间序列转成图片，充分利用目前机器视觉上的优势。 这篇文章会包括下面这些内容： 数学先验知识； Gram Matrix 为何可以为单变量的时间序列构建一个好的二维表示； Gram Matrix 点积为何不能表示 CNN 的数据； 为 CNN...

MATLAB 里面在使用 plot 函数时，输出的二维曲线有其默认的设定，如果想要改变设置，譬如增加线宽、改变线条颜色、线条样式时，可以通过改变线条的属性实现。 以 μ = 0 \mu = 0 μ=0 的正态分布概率函数为例，我们来看看不同的线条属性有怎么样的区别。 1. 改变线条属性 线条的属性有：Color —— 颜色、LineStyle —— 线型、LineWidth —— 线条宽度、LineJoin —— 线条边角的样式、 AlignVertexCenters —— 锐化垂直线和水平线 线条属性的默认值为 ([0,0,0],'-','0.5','round','off') ...

安装 Jupyer 很简单，查看官网，可知道用 pip 直接安装。 打开命令行，执行 pip install jupyter 就会帮你安装 jupyter 及其它的一些依赖项。 安装完毕后执行 jupyter notebook 就会在浏览器打开 jupyter 了。

安装 Scrapy 框架 安装 Scrapy 还是比较简单的，我这里只说在 Windows 上的的安装。 1. 确认 Python 版本 首先确认自己的 Python 的版本： 我是 Python3.7 64 位的。 2. 下载库文件 然后在 Python 第三方库网址上分别下载对应版本的 Scrapy、Lxml、Twisted 的 whl 包，然后利用 pip 来安装： 打开命令行，进入下载的 whl 所在目录，用 pip install [whl]，其中 [whl] 为你刚刚下载的文件的名字。 3. 安装 pywin32 在这个网址下载对应的 pywin32，默认...

Typora 有一个「高亮」的格式，类似于荧光笔，但是感觉默认的颜色偏亮，看久了不舒服，所以利用修改主题文件的方式来自定义颜色。 操作很简单，先找到主题文件：「文件」 ==> 「偏好设置」（或者直接 Ctrl + 逗号），在右边「外观」栏中找到「打开主题文件」打开： 打开主题对应的 .css 文件，在最后面加上下面的文字： mark { background: #a9d18e; border-bottom: 0px solid #ffffff; padding: 0.0px; margin: 0 0px; } 如果只是想要单纯改变颜色，也可以只写 bac...

核函数：RBF 是如何让线性 SVM 可以分类非线性数据的？ 1. 线性支持向量机 支持向量机的思想就是给定训练样本集 D D D，在样本空间中找到一个划分的超平面，例如下图： 但如果遇到某一些数据，并没有这么容易可以用一个平面分隔开，像如下的环形数据： 现实中非线性的数据还是很多数的，而解非线性问题要远比线性问题复杂得多，花费的资源也会成倍的增加，为此我们使用了核技巧（kernel trick）。 2. 核函数 如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使得样本可分。1 简单地讲，就是把数据映射到一个更加高维的空间，让数据在此高维空间上的映射线性可...

Jupyter Notebook：让编程就像搭积木 1. 为何选择 Jupyter Notebook? 当我们想要进行类似机器学习、大数据这样的分析编程时，如果是在例如 PyChram 这样的编译器上写，一般是要把整个代码文件写完，然后再运行。这样的缺点就是如果中间某行出现了 Bug，我们就要排除，然后再重新运行整个文档，或者是 Debug。 但是如果是在 Jupyter Notebook 上，我们就可以一小块一小块的去运行，碰到不合预期的结果，可以很方便的回到特定的单元，去输出各种变量，排查错误。 这种感觉就像是搭积木，一小块一小块的去写，这样慢慢一步一步地把整个代码写完整，再一齐运...

利用 MonteCarlo 模拟验证概率分布 有这样一道题目： 已知两个独立随机变量 x , y x,y x,y，随机变量 x x x 服从几何分布 G e o m ( p ) \mathrm{Geom}(p) Geom(p)， y y y 服从区间 [ 0 , 1 ] [0,1] [0,1] 上的均匀分布 U ( 0 , 1 ) \mathrm{U}(0,1) U(0,1)，求新的随机变量 z = x y z=xy z=xy 的概率分布。 这个题目可以使用数学方法，将其答案显式地写出来，但是验证解出来的答案是否正确，就可以使用蒙特卡洛方法了。我们可以先写出自己的答...

第二章 机器学习概述 习题 2-1 分析为什么平方损失函数不适用于分类问题。 解： 平方损失函数为： L ( y , f ( x ; θ ) ) = 1 2 ( y − f ( x ; θ ) ) 2 (2.14) \mathcal{L}\left(y,f(\boldsymbol{x};\theta)\right)=\frac{1}{2}\left(y-f(\boldsymbol{x};\theta)\right)^2 \tag{2.14} L(y,f(x;θ))=21​(y−f(x;θ))2(2.14) 对于分类问题，例如如果一个分类问题有标签 [ 1 , 2 , 3 ] [1, ...

数学符号的总结在 LaTeX：公式常用字符和表达式可以看下. 1. 数学公式 数学公式用到的一些包： \usepackage{amsmath} % 最基本的包 % \usepackage[fleqn]{amsmath} % 这样是设置全局公式左对齐 \usepackage{amssymb} \usepackage{amsfonts} \usepackage{stackrel} \numberwithin{equation}{subsection} % 改变公式编号 (1.1.1) % 也可以写成一行 \usepackage{amsmath, amsfonts, ams...