bitxz - 个人主页动态

2020-09-16 11:59

XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。总之，XLNET是一种通用的自回归预训练方法。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果 1. 什么是XLNet XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。总之，XLNet是一种通用的自回归预训练方法。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet 在 20 个任务上超过了 BERT 的表现，并在 18 个任务上取得了当前最佳效果（st...

0 点赞评论收藏

2020-09-16 11:59

电子科技大学 Java

详解依存句法分析

依存句法分析 语法分析(syntactic parsing )是自然语言处理中一个重要的任务，其目标是分析句子的语法结构并将其表示为容易理解的结构(通常是树形结构)。同时，语法分析也是所有工具性NLP任务中较为高级、较为复杂的一种任务。 通过掌握语法分析的原理、实现和应用，我们将在NLP工程师之路上跨越一道分水岭。 本章将会介绍短语结构树和依存句法树两种语法形式，并且着重介绍依存句法分析的原理和实现。 12.1 短语结构树 语言其实具备自顶而下的层级关系，固定数量的语法结构能够生成无数句子。比如，仅仅利用下列两个语法规律，我们就能够生成所有名词短语。 名词短语可以由名词和名词短语组...

0 点赞评论收藏

2020-09-16 11:59

已编辑

电子科技大学 Java

Transformer详解

1. 什么是Transformer 《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 2. Transformer结构 2.1 总体结构 Transformer的结构和Attention模型一样，Transformer模型中也采用了 encoer-decoder 架构...

0 点赞评论收藏

2020-09-16 11:59

已编辑

电子科技大学 Java

textRNN 与 textCNN详解

1. 什么是textRNN textRNN指的是利用RNN循环神经网络解决文本分类问题，文本分类是自然语言处理的一个基本任务，试图推断出给定文本(句子、文档等)的标签或标签集合。 文本分类的应用非常广泛，如： 垃圾邮件分类：2分类问题，判断邮件是否为垃圾邮件 情感分析：2分类问题：判断文本情感是积极还是消极；多分类问题：判断文本情感属于{非常消极，消极，中立，积极，非常积极}中的哪一类。 新闻主题分类：判断一段新闻属于哪个类别，如财经、体育、娱乐等。根据类别标签的数量，可以是2分类也可以是多分类。 自动问答系统中的问句分类 社区问答系统中的问题分类：多标签多分类(对一段文本进...

0 点赞评论收藏

2020-09-16 11:59

电子科技大学 Java

详解seq2seq

1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如： 英语输⼊：“They”、“are”、“watching”、“.” 法语输出：“Ils”、“regardent”、“.” 当输⼊和输出都是不定⻓序列时，我们可以使⽤编码器—解码器（encoder-decoder）或者seq2seq模型。序列到序列模型，简称seq2seq模型。这两个模型本质上都⽤到了两个循环神经⽹络，分别叫做编码器和解码器。编码器⽤来分析输⼊序列，解码器⽤来⽣成输出序列。两 个循环神经网络是共...

0 点赞评论收藏

2020-09-16 11:59

电子科技大学 Java

说说GloVe

1. 说说GloVe 正如GloVe论文的标题而言，**GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similarity）、类比性（analogy）等。**我们通过对向量的运算，比如欧几里得距离或者cosine相似度，可以计算出两个单词之间的语义相似性。 2. GloVe的实现步骤 2.1 ...

0 点赞评论收藏

2020-09-16 11:58

已编辑

电子科技大学 Java

NLP概述

1. 什么是NLP 自然语言处理 (Natural Language Processing) 是人工智能（AI）的一个子领域。**自然语言处理是研究在人与人交互中以及在人与计算机交互中的语言问题的一门学科。**为了建设和完善语言模型，自然语言处理建立计算框架，提出相应的方法来不断的完善设计各种实用系统，并探讨这些实用系统的评测方法。 2. NLP主要研究方向 信息抽取：从给定文本中抽取重要的信息，比如时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来，就是要了解谁在什么时候、什么原因、对谁、做了什么事、有什么结果。 文本生成：机器像人一样使用自然语言进行表...

0 点赞评论收藏

2020-09-16 11:58

电子科技大学 Java

XLNet详解

0 点赞评论收藏

2020-09-16 11:58

电子科技大学 Java

fastText详解

1. 什么是fastText 英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog”，但使⽤不同的后缀来改变词的含义。而且，这个关联可以推⼴⾄其他词汇。 在word2vec中，我们并没有直接利⽤构词学中的信息。⽆论是在跳字模型还是连续词袋模型中，我们都将形态不同的单词⽤不同的向量来表⽰。例如，“dog”和“dogs”分别⽤两个不同的向量表⽰，而模型中并未直接表达这两个向量之间的关系。鉴于此，fastText提出了⼦词嵌⼊(subword embedding)的⽅法，从而试图将构词信息引⼊wo...

0 点赞评论收藏

2020-09-16 11:58

已编辑

电子科技大学 Java

Transformer详解

0 点赞评论收藏

2020-09-16 11:57

已编辑

电子科技大学 Java

详解seq2seq

0 点赞评论收藏

2020-09-16 11:57

已编辑

电子科技大学 Java

算法竞赛、数据结构学习路线以及教程：为你的算法学习提供便利！

Algorithm All in ONE🎄 Let Everyone Study Algorithm Easier😊 仓库在这里 因为准备实习👔，整理了一下算法的课件、书籍、论文、习题、OJ网站，总结了学习路线。 不管是准备面试，进BAT🚀； 还是自学算法竞赛💼； 或者单纯的课外拓展🤷； 不管你算法能力如何，这个仓库里总有适合你的算法学习宝藏✈️！ 对Coder🧑‍💻而言，算法学习都是有必要的，只是不同领域可能要求深浅不同 所以，咱们开始学起来吧🌈～ 全面收集、整理了从高中参加竞赛到现在的算法竞赛课件、论文集、书...

0 点赞评论收藏

2020-09-16 11:57

已编辑

电子科技大学 Java

NLP概述

0 点赞评论收藏

2020-09-16 11:57

电子科技大学 Java

fastText详解

0 点赞评论收藏

2020-09-16 11:56

已编辑

电子科技大学 Java

算法竞赛、数据结构学习路线以及教程：为你的算法学习提供便利！

0 点赞评论收藏

创作者周榜

关注他的用户也关注了：