Event Detection with Trigger-Aware Lattice Neural Network(论文解读)
本文针对事件抽取任务中的触发词识别和触发词分类子任务提出了可以充分利用字级别和词级别语义信息的模型Trigger-Aware Lattice Neural Network(TLNN),在ACE2005和KBP2017数据集上取得了state-of-art的效果。本文收录在EMNLP2019
源码:github 原文:原文链接
缺少自然分隔符的语言(如中文)在事件抽取任务上存在以下问题:
① 基于词(word)的方法易造成触发词的错误匹配/识别(Trigger Identification),原因在于预处理阶段的分词错误。
② 触发词的多义性会导致触发词的分类(Trigger Classfication)错误。
解决方法:
本文提出的TLNN框架动态融合字(character)与词(word)的信息以缓解问题①
通过添加外部语言知识库(HowNet)增强对多义触发词的理解以缓解问题②
TLNN框架:
基于触发词感知的特征提取器架构(Trigger-Aware Feature Extractor):
为了缓解触发词的错误匹配问题,创建一个path链接某个词开始和结束位置之间所有词的单元状态(cell state)。
该模型分为三个阶段的处理流程:
1) 预处理模块:使用Skip-Gram模型将句子序列S={c1,c2,…,cN}转化为字级别和词级别的向量。同时,基于HowNet得到所有的与该句子序列中有关的字和词的注释信息向量(sense-level embedding)。
2) 特征提取模块
使用触发词感知的网格LSTM(Trigger-aware lattice LSTM)作为特征提取器,它可以同时提取character-level、 word-level、sense-level(使用HowNet对多义词的注释)的信息。
3) 序列标注模块
采用BIO标注方式,使用CRF预测序列的标注结果,并获得序列标注的loss。
实验:
本文在ACE2005和KBP2017数据集上分别进行了触发词识别和触发词分类的实验。文中实验对比基于字和基于词的触发词识别和触发词分类任务时均取得较好的效果。
总结:
本文提出一个事件抽取模型TLNN,该模型可以有效缓解触发词错误匹配和一词多义的触发词问题,借助多个粒度的语义特征表示(字级别、词级别、字/词释义级别)和
基于触发词感知的特征提取器捕获多个层级的语义信息,得到了较好的实验效果。
补充
Lattice LSTM 结构
该模型对输入字符序列和所有匹配词典的潜在词汇进行编码。与基于字符的方法相比,该模型显性地利用词和词序信息。与基于词的方法相比,lattice LSTM不会出现分词错误。门控循环单元使得模型能够从句子中选择最相关的字符和词,以生成更好的效果。
关注我的微信公众号,一起变强!
参考:
【1】**Lattice LSTM介绍:**https://baijiahao.baidu.com/s?id=1604786068701856320&wfr=spider&for=pc
【2】Yue Zhang、***g .2018 Chinese NER Using Lattice LSTM原文链接