1. 首页
  2. 教育
  3. 深度学习

多跳问答任务:面向多跳问答的分层图网络

这是一篇关于多跳问答(multi-hopQA)任务的论文,不同于单跳QA,multi-hopQA任务下问题的答案需要对多个段落或篇章进行多跳推理。

这是一篇关于多跳问答(multi-hopQA)任务的论文,不同于单跳QA,multi-hopQA任务下问题的答案需要对多个段落或篇章进行多跳推理。

多跳问答任务:面向多跳问答的分层图网络

然而,现有的相关工作仍旧存在一些挑战与困难需要被进一步研究:

现有工作会使用类似信息检索的思想来查找问题相关的段落,然后用MRC任务中类似的方法来找到问题的答案,但存在的问题是:怎么将散落在不同语义粒度(段落、句子、实体)的信息聚合起来,用于问题答案和支撑事实发现的联合预测;

为了更好地利用文中用于answer发现的evidence,一些工作通过构建实体级别的图结构来进行推理;然而,基于实体图的方法能够用于预测问题的答案,却不能用于支撑事实的发现。

基于以上问题,作者设计了HierarchicalGraphNetwork(HGN)来进行multi-hopQA任务,较之以往工作,它有以下三个特点:

具有四种类型的节点,分别是问题节点、段落节点、句子节点和实体节点,不同类型的节点可分别用于multi-hopQA下的不同步骤下的子任务中;

引入预训练语言模型来学习文本的上下文表示,并得到节点的初始化表示,再通过图网络进一步更新节点表示;

由于问题的答案不一定是一个实体,因此在答案预测时引入spanprediction来发现非实体的问题答案。

具体地,HGN模型由如下部分构成:

多跳问答任务:面向多跳问答的分层图网络

GraphConstructionModule:分层图构建模块,包括三个步骤:通过titlematching选择与问题相关的段落、发现段落中能够提供指向其他段落证据的实体、句子,基于以上两边得到了图中所需的节点,再根据规则在节点之间添加上连边。

ContextEncodingModule:使用Roberta和BiLSTM对文本进行编码,得到问题节点、段落节点、句子节点的初始表示。

GraphReasoningModule:使用图注意力机制在节点之间进行信息传递,更新节点的表示。

Multi-taskPredictionModule:分步进行如下三个子任务:基于段落节点的段落选择、基于句子节点的支撑事实预测、以及基于实体节点答案预测以及基于上下文表示和spanprediction的非entity答案预测。

作者使用HGN模型在HotpotQA数据集上进行实验,在两种任务设置下,都在AnswerPrediction与SupportFactPrediction的联合任务上都取得了sota效果。

多跳问答任务:面向多跳问答的分层图网络

多跳问答任务:面向多跳问答的分层图网络

最后,作者又进行了一系列的分析,包括误差分析、消融实验、不同预训练模型对实验结果的影响以及HGN在不同推理类型下的性能。

多跳问答任务:面向多跳问答的分层图网络

多跳问答任务:面向多跳问答的分层图网络

责任编辑:xj

原文标题:【每日一读】EMNLP2020:面向多跳问答的分层图网络

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/16569.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code