**提示：**关于 RNN 的内容将横跨好几篇文章，包括基本的 RNN 结构、支持字符级序列生成的纯 TensorFlow 实现等等。而关于 RNN 的后续文章会包含更多高级主题，比如更加复杂的用于机器翻译任务的 Attention 机制等。 一、概述 使用循环结构拥有很多优势，最突出的一个优势就是它们能够在内存中存储前一个输入的表示。如此，我们就可以更好的预测后续的输出内容。持续追踪内存中的长数据流会出现很多的问题，比如 BPTT 算法中出现的梯度消失（gradient vanishing）问题就是其中之一。幸运的是，我们可以对架构做出一些改进来解决这个问题。 二、CHAR-RNN...

在本文中，我将介绍基本的编码器（encoder）和解码器（decoder），用于处理诸如机器翻译之类的 seq2seq 任务。我们不会在这篇文章中介绍注意力机制，而在下一篇文章中去实现它。 如下图所示，我们将输入序列输入给编码器，然后将生成一个最终的隐藏状态，并将其输入到解码器中。即编码器的最后一个隐藏状态就是解码器的新初始状态。我们将使用 softmax 来处理解码器输出，并将其与目标进行比较，从而计算我们的损失函数。这里的主要区别在于，我没有向编码器的输入添加 EOS（译注：句子结束符，end-of-sentence）token，同时我也没有让编码器对句子进行反向读取。 数据 ...

在第一篇文章中，我们看到了如何使用 TensorFlow 实现一个简单的 RNN 架构。现在我们将使用这些组件并将其应用到文本分类中去。主要的区别在于，我们不会像 CHAR-RNN 模型那样输入固定长度的序列，而是使用长度不同的序列。 文本分类 这个任务的数据集选用了来自 Cornell 大学的语句情绪极性数据集，它包含了 5331 个正面和负面情绪的句子。这是一个非常小的数据集，但足够用来演示如何使用循环神经网络进行文本分类了。 预处理步骤 清洗句子并切分成一个个 token； 将句子转换为数值 token； 保存每个句子的序列长。 如上图所示，我们希望在计算完成...

在这篇文章里，我们将尝试使用带有注意力机制的编码器-解码器（encoder-decoder）模型来解决序列到序列（seq-seq）问题 首先，让我们来一窥整个模型的架构并且讨论其中一些有趣的部分，然后我们会在先前实现的不带有注意力机制的编码器-解码器模型基础之上，添加注意力机制。我们将慢慢引入注意力机制，并实现模型的推断。。注意：这个模型并非当下最好的模型，更何况这些数据还是我在几分钟内草率地编写的。这篇文章旨在帮助你理解使用注意力机制的模型，从而你能够运用到更大的数据集上，并且取得非常不错的结果。 带有注意力机制的编码器-解码器模型： 这张图片是第一张图的更为具体的版本，包含了...

在本文中，我将介绍基本的编码器（encoder）和解码器（decoder），用于处理诸如机器翻译之类的 seq2seq 任务。我们不会在这篇文章中介绍注意力机制，而在下一篇文章中去实现它。 如下图所示，我们将输入序列输入给编码器，然后将生成一个最终的隐藏状态，并将其输入到解码器中。即编码器的最后一个隐藏状态就是解码器的新初始状态。我们将使用 softmax 来处理解码器输出，并将其与目标进行比较，从而计算我们的损失函数。这里的主要区别在于，我没有向编码器的输入添加 EOS（译注：句子结束符，end-of-sentence）token，同时我也没有让编码器对句子进行反向读取。 数据 ...

在本文中，我们将探索并尝试创建我们自己定义的 RNN 单元。不过在此之前，我们需要先仔细研究简单的 RNN，再逐步深入较为复杂的单元（如 LSTM 与 GRU）。我们会分析这些单元在 tensorflow 中的实现代码，最终参照这些代码来创建我们的自定义单元。 基本 RNN： 对于传统的 RNN 来说，最大的问题就在于每个单元的重复输入都是静态的，因此我们无法充分学习到长期的依赖情况。你回想一下基本 RNN 单元，就会发现所有操作都是单一的 tanh 运算。 对于解决短期依赖情况的问题来说，这种结构已经够用了；但如果我们希望通过有效的长期记忆来预测目标，则需要使用更稳定强大的 R...

在这篇文章里，我们将尝试使用带有注意力机制的编码器-解码器（encoder-decoder）模型来解决序列到序列（seq-seq）问题 首先，让我们来一窥整个模型的架构并且讨论其中一些有趣的部分，然后我们会在先前实现的不带有注意力机制的编码器-解码器模型基础之上，添加注意力机制。我们将慢慢引入注意力机制，并实现模型的推断。。注意：这个模型并非当下最好的模型，更何况这些数据还是我在几分钟内草率地编写的。这篇文章旨在帮助你理解使用注意力机制的模型，从而你能够运用到更大的数据集上，并且取得非常不错的结果。 带有注意力机制的编码器-解码器模型： 这张图片是第一张图的更为具体的版本，包含了...

团队协作的三大工作流 Git 作为一个代码版本管理系统，利用它强大的版本控制和branch，我们能做出一些优雅的团队协作的工作流。 这也是之前我在Git文章谈到的，Git对团队协作具有很大帮助，这篇文章我将来谈谈基于Git的三大工作流。 工作流 在英语中叫做：workflow，从名字上看出团队协作应该像流水一样，顺畅。 好的工作流能给你团队合作带来很大的好处，有条不紊的应对各种问题。 坏的工作流可能会使本来一个很好的项目失败在团队协作上。 所以我们来学学程序员常用到的工作流。 现在三种广泛使用的工作流程： Git flow Github f...

在本文中，我们将探索并尝试创建我们自己定义的 RNN 单元。不过在此之前，我们需要先仔细研究简单的 RNN，再逐步深入较为复杂的单元（如 LSTM 与 GRU）。我们会分析这些单元在 tensorflow 中的实现代码，最终参照这些代码来创建我们的自定义单元。 基本 RNN： 对于传统的 RNN 来说，最大的问题就在于每个单元的重复输入都是静态的，因此我们无法充分学习到长期的依赖情况。你回想一下基本 RNN 单元，就会发现所有操作都是单一的 tanh 运算。 对于解决短期依赖情况的问题来说，这种结构已经够用了；但如果我们希望通过有效的长期记忆来预测目标，则需要使用更稳定强大的 R...

常常我们接触到Internet这个词，也就是英特网，那英特网到底是什么呢？ 其实关于如何定义因特网都没有一个确切的说法，所以我们通过侧面来描绘Internet 在介绍因特网之前，我们应该了解，什么是计算机网络？ 计算机网络 定义: 两台以上具有独立操作系统的计算机通过某些介质连接 成的相互共享软硬件资源的集合体。 两大功能： 计算机网络有两大功能： 连通性 共享性 关于连通性，通过定义可以看出，就是计算机通过某种方式连在了一起 关于共享性，我认为即是连通之意义所在，在于信息共享，沟通 了解了计算机网络，我们来聊聊Internet。 Inte...

团队协作的三大工作流 Git 作为一个代码版本管理系统，利用它强大的版本控制和branch，我们能做出一些优雅的团队协作的工作流。 这也是之前我在Git文章谈到的，Git对团队协作具有很大帮助，这篇文章我将来谈谈基于Git的三大工作流。 工作流 在英语中叫做：workflow，从名字上看出团队协作应该像流水一样，顺畅。 好的工作流能给你团队合作带来很大的好处，有条不紊的应对各种问题。 坏的工作流可能会使本来一个很好的项目失败在团队协作上。 所以我们来学学程序员常用到的工作流。 现在三种广泛使用的工作流程： Git flow Github f...

在开始之前，再一次谈谈网络结构 网络边缘： 主机和服务器 服务器一般在数据中心 接入网络，物理介质： 有线通信链路 无线通信链路 网络核心： 路由器 网络组成的网络 几个名词的含义 端系统： 就是网络应用程序的设备 处在网络的边缘部分 客户/服务器 （C/S架构）： 客户请求，并提供的服务 端对端模型： 极少或者不采用专门的服务器 在端系统之间交互 如何将边缘设备连接到网络边缘的路由器呢？ 接入网络分类 粗糙的分类： 家庭接入网...

常常我们接触到Internet这个词，也就是英特网，那英特网到底是什么呢？ 其实关于如何定义因特网都没有一个确切的说法，所以我们通过侧面来描绘Internet 在介绍因特网之前，我们应该了解，什么是计算机网络？ 计算机网络 定义: 两台以上具有独立操作系统的计算机通过某些介质连接 成的相互共享软硬件资源的集合体。 两大功能： 计算机网络有两大功能： 连通性 共享性 关于连通性，通过定义可以看出，就是计算机通过某种方式连在了一起 关于共享性，我认为即是连通之意义所在，在于信息共享，沟通 了解了计算机网络，我们来聊聊Internet。 Inte...

我们有了 设备， 有了通信链路，那我们如何在网络中传输数据？ 基本原理： 电路交换: 每次会话预留沿其路径(线路) 所需的独占资源–电话网 分组交换: 数据以离散的数据块通过网络 来发送 电路交换 基于电话网的交换原理 网络资源比如宽带被分片 多路复用(Multiple Access) 分片分配到会话 分片没有被会话使用的情况下，分片空载 (不共享) 电路级性能(有保证) 要求呼叫建立–建立一个专门的端到端线路(意味着每个链路上预留一个线路) 链路带宽分片的方式 频分-frequency divisio...