CN113392213B - 事件抽取方法以及电子设备、存储装置 - Google Patents
事件抽取方法以及电子设备、存储装置 Download PDFInfo
- Publication number
- CN113392213B CN113392213B CN202110420855.XA CN202110420855A CN113392213B CN 113392213 B CN113392213 B CN 113392213B CN 202110420855 A CN202110420855 A CN 202110420855A CN 113392213 B CN113392213 B CN 113392213B
- Authority
- CN
- China
- Prior art keywords
- event
- text
- extraction
- semantic
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 364
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 55
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 24
- 230000007704 transition Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种事件抽取方法以及电子设备、存储装置,其中,事件抽取方法包括:获取事件文本的事件参数;其中,事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性;在每轮抽取过程中,选择未选择过的事件参数作为当前参数,并构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语;其中,问题文本包括在本轮抽取之前抽取到的事件词语。上述方案,能够提高事件抽取的准确性。
Description
技术领域
本申请涉及自然语言处理技术领域,特别是涉及一种事件抽取方法以及电子设备、存储装置。
背景技术
互联网技术的发展使现代社会进入了一个信息***的时代,然而无论是普通读者还是诸如新闻记者等专业人员,都不可以避免地收到信息过载的影响。故此,有必要从非结构化的事件文本中抽取出与事件相关的事件词语,以助于快速、清晰地了解事件的主要情况,从而大大提升用户获取事件信息的效率。
目前,现有的事件抽取技术仍然存在抽取不准确的情况,特别是在面对诸如事件参数重叠等复杂文本时,现有技术往往无法准确完成事件抽取任务。有鉴于此,如何提高事件抽取的准确性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题文本是提供一种事件抽取方法以及电子设备、存储装置,能够提高事件抽取的准确性。
为了解决上述技术问题,本申请第一方面提供了一种事件抽取方法,包括:获取事件文本的事件参数;其中,事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性;在每轮抽取过程中,选择未选择过的事件参数作为当前参数,并构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语;其中,问题文本包括在本轮抽取之前抽取到的事件词语。
为了解决上述技术问题,本申请第二方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的事件抽取方法。
为了解决上述技术问题,本申请第三方面提供了一种存储装置,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面中的事件抽取方法。
上述方案,获取事件文本的事件参数,且事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性,并在每轮抽取过程中,选择未选择过的事件参数作为当前参数,进一步构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语,且问题文本包括在本轮抽取之前抽取到的事件词语,故此,在每一轮抽取过程中,通过构造关于问询当前参数的问题文本,能够在本轮抽取过程中仅关注当前参数,由此既能够面对简单文本的事件抽取任务,而在即使面对诸如事件参数重叠等复杂文本的事件抽取任务时,由于每轮抽取过程仅关注当前参数,也能够尽可能地降低对事件抽取的影响,且由于问题文本中包括在本轮抽取之前抽取到的事件词语,故随着抽取轮数的不断增加,问题文本中所包含的已抽取到的事件词语也在不断增加,即问题文本能够随抽取轮数的增加而渐进地丰富其信息,有利于提高事件抽取的准确性。
附图说明
图1是本申请事件抽取方法一实施例的流程示意图;
图2是第一语义提取模型和第二语义提取模型联合训练一实施例的示意图;
图3是事件参数排序方式一实施例的示意图;
图4是构造分支问题一实施例的示意图;
图5是本申请事件抽取方法另一实施例的流程示意图;
图6是利用本申请事件抽取方法进行多轮抽取一实施例的过程示意图;
图7是本申请事件抽取模型的训练方法一实施例的流程示意图;
图8是本申请电子设备一实施例的框架示意图;
图9是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请事件抽取方法一实施例的流程示意图。
具体而言,可以包括如下步骤:
步骤S11:获取事件文本的事件参数。
本公开实施例中,事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性。事件文本可以来源于新闻、期刊、报纸、小说等等,在此不做限定。例如,事件文本可以包括但不限于:“XX月XX日,XX汽车制造公司在XX市XX展览中心展出了最新设计的跑车”、“小明和小红约好分别从北京和上海坐飞机前往广州旅游”。上述事件文本仅仅是实际应用时可能存在的情况,并不因此而限定事件文本的具体内容。
在一个实施场景中,事件类别可以为若干种预设类别其中一种或者多种,且每种预设类别具有若干种事件属性。若干种预设类别以及每种预设类别所具有的事件属性可以预先定义的。例如,ACE(Automatic Content Extraction,自动内容抽取)事件标签体系包括多种事件类别以及描述事件结构的事件属性。请参阅表1,表1是ACE事件标签体系示例。如表1所示,在ACE事件标签***中包括婚假、攻击、受伤和转移等事件类别,其中,事件类别“婚假”具有事件属性“人物”、“时间”、“地点”,而事件类别“攻击”具有事件属性“攻击者”、“目标”、“受害者”、“时间”,事件类别“受伤”具有事件属性“施事者”、“受害者”、“工具”、“时间”、“地点”,事件类别“转移”具有事件属性“转移对象”、“始发地”、“目的地”、“交通工具”、“价格”和“时间”。此外,也可以根据实际应用需要,自定义事件标签体系,例如,自定义事件标签体系可以包括“展出”,其可以具有事件属性“时间”、“地点”、“展出物”、“主办方”,在此不再一一举例。
表1 ACE事件标签体系示例
在另一个实施场景中,为了提高确定事件参数的准确性,可以提取事件文本的文本语义表示,并获取若干种预设类别的类别语义表示,且如前所述,每种预设类别具有若干种事件属性,在此基础上,可以利用文本语义表示和类别语义表示,得到事件文本分别与若干种预设类别之间的相关度,从而可以基于相关度满足预设条件的预设类别,得到事件文本的事件参数。上述方式,通过提取事件文本的文本语义表示,并获取若干种预设类别的类别语义表示,从而在语义层面利用上述两种语义表示得到事件文本分别与若干种预设类别之间的相关度,并基于相关度得到事件文本的事件参数,进而能够有利于提高确定事件参数的准确性。
在一个具体的实施场景中,相关度具体可以是将文本语义表示和类别语义表示进行点击运算得到的。具体地,可以将文本语义表示分别与若干种预设类别的类别语义表示进行点击运算,得到若干个融合有事件文本信息和预设类别信息的语义向量,并利用全连接层对每一个语义向量进行降维处理,进一步利用诸如sigmoid等归一化函数将降维处理结果归一化至0至1范围内,得到相关度。需要说明的是,相关度越大,表明事件文本与预设类别之间的关联程度越高,反之,相关度越小,表明事件文本与预设类别之间的关联程度越低。以表1所示的4种预设类别为例,为了便于描述,可以将文本语义表示记为Vcls,并将上述4中预设类别的类别语义表示分别记为Vmarry,Vattack,Vinjure,Vtransport,通过分别将上述文本语义表示Vcls以及上述4个类别语义表示经过上述、点积运算、降维处理、归一化等处理,可以得到事件文本与上述4种预设类别之间的相关度。其他情况可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,上述预设条件可以设置为包括:相关度大于预设阈值。具体地,预设阈值可以根据实际应用情况进行设置。例如,在对事件类别的准确度要求比较严苛的情况下,预设阈值可以设置地高一些,如可以设置为0.5等,而在对事件类别的准确度要求相对宽松的情况下,预设阈值可以设置相对低一些,如可以设置为0.4等,在此不做限定。
在又一个具体的实施场景中,以事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”以及表1所示的4种预设类别为例,经过上述提取语义表示、相关度计算等步骤,可以确定预设类别“转移”。其他情况可以以此类推,在此不再一一举例。
在又一个具体的实施场景中,文本语义表示可以是利用第一语义提取模型提取得到的,类别语义表示可以是预先利用训练至收敛的第二语义提取模型提取得到的,且第一语义提取模型和第二语义提取模型是利用样本事件文本联合训练得到的,即第一语义提取模型和第二语义提取模型是在同一训练过程训练得到的,通过语义提取模型提取得到文本语义表示和类别语义表示,能够有利于提高上述两种语义表示的准确性,此外由于类别语义表示是预先利用训练至收敛的第二语义提取模型提取得到的,故能够免于在事件抽取过程中再提取类别语义表示,从而能够有利于降低处理负荷。
在另一个具体的实施场景中,请结合参阅图2,图2是第一语义提取模型和第二语义提取模型联合训练一实施例的示意图。如图2所示,利用第一语义提取模型对样本事件文本进行语义提取,得到样本事件文本的样本文本语义表示,利用第二语义提取模型分别对若干种预设类别进行语义提取,得到每种预设类别的样本类别语义表示,将样本文本语义表示和若干种预设类别的样本类别语义表示输入相关度计算模型,得到样本事件文本与每一种预设类别之间的预测相关度(如,0.6、0.7、0.8等等),再基于样本事件文本与每一种预设类别之间的实际相关度(如,在样本事件文本涉及预设类别的情况下,实际相关度为1,在样本事件文本不涉及预设类别的情况下,实际相关度为0)和预测相关度之间的差异,调整上述第一语义提取模型、第二语义提取模型和相关度计算模型的网络参数,并重复上述训练步骤,直至模型收敛为止。在模型训练收敛之后,即可以利用第二语义提取模型分别对若干种预设类别进行语义提取,得到各种预设类别的类别语义表示。需要说明的是,上述相关度计算模型具体可以包括:点积运算层、全连接层以及诸如sigmoid归一化层。此外,具体可以利用交叉熵损失函数处理上述实际相关度和预测相关度,得到一个损失值,并利用该损失值调整网络参数。
步骤S12:在每轮抽取过程中,选择未选择过的事件参数作为当前参数,并构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语。
在一个实施场景中,每轮抽取过程,抽取出与当前参数对应的事件词语。需要说明的是,如前所描述,事件参数是对事件信息的概括描述,而事件词语是源自事件文本的具体词语。以表1为例,事件类别“转移”可以视为诸如“飞往”、“前往”、“步行至”、“行驶至”等词汇的概括描述,而诸如“飞往”、“前往”、“步行至”、“行驶至”等词汇若出现在事件文本中,即可以视为事件类别“转移”的事件词语;或者,事件属性“交通工具”可以视为诸如“飞机”、“火车”、“汽车”等词汇的概括描述,而诸如“飞机”、“火车”、“汽车”等词汇若出现在事件文本中,则可以视为事件属性“交通工具”的事件词语。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,为了提高事件抽取的准确性,特别是在面对复杂任务的事件抽取任务时,为了最大可能地避免因参数重叠等复杂原因而导致抽取出错,每轮抽取过程中,可以选择未选择过的一个事件参数作为当前参数。仍以事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”为例,如前所述,其事件类别为“转移”,该事件类别具有事件属性“转移对象”、“始发地”、“目的地”、“交通工具”、“价格”和“时间”,即事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”的事件参数具体可以包括:“转移”,以及“转移对象”、“始发地”、“目的地”、“交通工具”、“价格”和“时间”,则在每轮抽取过程中,可以选择其中一个未选择过的事件参数作为当前参数。例如,第一轮事件抽取,可以选择事件参数“转移”作为当前参数,第二轮事件抽取,可以选择事件参数“转移对象”作为当前参数,第三轮以及后续每一轮,可以以此类推,在此不再一一举例。
在另一个实施场景中,为了在兼顾事件抽取的准确性前提下,提高事件抽取的效率,每轮抽取过程中,也可以选择未选择过的多个(如,2个、3个等等)事件参数作为当前参数。例如,为了兼顾事件抽取的准确性和效率,在面对诸如“小明三天前坐飞机离开了北京”等不存在参数重叠等情况的简单文本的情况下,每轮抽取过程中,可以选择未经选择过的2个事件参数作为当前参数。
在一个实施场景中,为了有效选择当前参数,当前参数具体可以是按照与事件类别对应的参数顺序依次选择的,且参数顺序中事件类别位于首位。也就是说,每一种事件类别均对应有参数顺序,仍以表1为例,事件类别“婚嫁”可以对应有一个参数顺序,而事件类别“攻击”也可以对应有一个参数顺序,事件类别“受伤”也可以对应有一个参数顺序,以及事件类别“转移”也可以对应有一个参数顺序。其他情况可以以此类推,在此不再一一举例。
在一个具体的实施场景中,为了提高每一轮事件抽取的准确性,可以统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序。具体地,可以对涉及同一事件类别的样本事件文本所涉及的各个事件属性进行统计,并计算各个事件属性各自的占比,从而可以按照占比的高低顺序,对该事件类别对应的参数顺序中各个事件属性进行排序。请结合参阅图3,图3是事件参数排序方式一实施例的示意图。如图3所示,以事件类别“婚嫁”为例,可以筛选出所有涉及事件类别“婚嫁”的样本事件文本,并对这些涉及事件类别“婚嫁”的样本事件文本所涉及的事件属性“时间”、“地点”、“人物”分别进行统计,最终可以统计得到事件属性“时间”占比最高,事件属性“人物”占比最低,事件属性“地点”占比居中,从而可以将事件类别“婚嫁”对应的参数顺序中各个事件属性由前往后排序为:“时间”、“地点”、“人物”。其他情况可以以此类推,在此不再一一举例。上述方式,通过统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序,故占比越高,越先被选择为当前参数,由于占比越高的事件参数,事件抽取模型在训练过程中越能够对其进行充分学习,故一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。
在另一个具体的实施场景中,为了提高每一轮事件抽取的准确性,可以统计利用预设抽取模型对涉及统计事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,得到事件类别对应的参数顺序中若干事件属性的顺序。具体地,对于涉及同一事件类别的样本事件文本,可以利用预设抽取模型分别抽取这些样本事件文本中各个事件属性对应的事件词语,并统计各个事件属性的分别抽取得到的事件词语的准确率,从而可以按照准确率的高低顺序,对该事件类别对应的参数顺序中各个事件属性进行排序。请继续参阅图3,以事件类别“攻击”为例,可以筛选出所有涉及事件类别“攻击”的样本事件文本,并利用预设抽取模型对这些涉及事件类别“攻击”的样本事件文本抽取事件属性“时间”、“地点”、“攻击者”、“目标”、“受害者”分别对应的事件词语的准确率,最终可以统计得到上述各个事件属性按照准确性由高到低的顺序为:“时间”、“地点”、“攻击者”、“目标”、“受害者”,故事件类别“攻击”对应的参数顺序中若干事件属性的排序为:“时间”、“地点”、“攻击者”、“目标”、“受害者”。其他情况可以以此类推,在此不再一一举例。需要说明的是,预设抽取模型可以包括BERT(Bidirectional Encoder Representationsfrom Transformers,即双向Transformer的Encoder)、CRF(Conditional Random Field,条件随机场),具体网络结构在此不再赘述。上述方式,通过统计利用预设抽取模型对涉及同一事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序,故准确率越高,越先被选择为当前参数,由于准确率越高的事件参数,抽取效果越好,故一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。
在又一个具体的实施场景中,为了提高每一轮事件抽取的准确性,还可以统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,分别得到事件类别对应的参数顺序中若干事件属性的第一分值,与此同时,统计利用预设抽取模型对涉及同一事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,分别得到事件类别对应的参数顺序中若干事件属性的第二分值,在此基础上,可以基于第一分值和第二分值,得到事件类别对应的参数顺序中若干事件属性的排序。具体地,可以对第一分值和第二分值进行加权处理(如,加权平均),得到各个事件属性的总分值,从而可以按照总分值的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序,即总分值越高,排序越靠前,总分值越低,排序越靠后。请继续参阅图3,以事件类别“转移”为例,可以统计涉及事件类别“转移”的样本事件文本所涉及的各个事件属性“时间”、“转移对象”、“始发地”、“目的地”、“交通工具”和“价格”的占比,并基于占比的高低顺序,得到这些事件属性的第一分值,与此同时,统计利用预设抽取模型对涉及事件类别“转移”的样本事件文本抽取上述事件属性对应的事件词语的准确率,并基于准确率的高低顺序,得到这些事件属性的第二分值,在第一分值和第二分值的基础上,得到这些事件属性的总分值由高到低分别为:“时间”、“转移对象”、“始发地”、“目的地”、“交通工具”和“价格”,故事件类别“转移”对应的参数顺序中若干事件属性的排序为:“时间”、“转移对象”、“始发地”、“目的地”、“交通工具”和“价格”。其他情况可以以此类推,在此不再一一举例。上述方式,通过结合占比统计层面和准确率统计层面,来对事件类别对应的参数顺序中若干事件属性进行排序,一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。
本公开实施例中,问题文本包括在本轮抽取之前抽取到的事件词语。需要说明的是,在本轮抽取之前抽取到的事件词语具体可以包括:在本轮抽取之前抽取到的所有事件词语。以事件文本“小明三天前坐飞机离开了北京”为例,其事件类别为“转移”,对应的参数顺序由前往后分别为:“转移”、“时间”、“转移对象”、“始发地”、“目的地”、“交通工具”、“价格”,则第一轮抽取过程中,可以选择事件参数“转移”作为当前参数,且由于本轮是第一轮抽取,故在此之前并无已抽取到的事件词语,则可以直接构造关于问询当前参数“转移”的问题文本,如“句子中转移事件的触发词是什么?”,并利用事件抽取模型抽取得到事件文本中与事件参数“转移”对应的事件词语“离开”;第二轮抽取过程中,可以将事件参数“时间”作为当前参数,并利用已抽取到的事件词语“离开”构造问题文本,如“当转移事件的触发词是离开时,转移时间是什么时候?”,并利用事件抽取模型抽取得到事件文本中与事件参数“时间”对应的事件词语“三天前”;在第三轮抽取过程中,可以将事件参数“转移对象”作为当前参数,并利用在此之前已经抽取到的事件词语“离开”、“三天前”构造问题文本,如“当转移事件的触发词是离开,时间是三天前,转移对象是谁?”,并利用事件抽取模型抽取得到事件文本中与事件参数“转移对象”对应的事件词语“小明”;在第四轮抽取过程中,可以将事件参数“始发地”作为当前参数,并利用在此之前已经抽取到的事件词语“离开”、“三天前”、“小明”构造问题文本,如“当转移事件的触发词是离开,时间是三天前,转移对象是小明,始发地是哪里?”,并利用事件抽取模型抽取得到事件文本中与事件参数“始发地”对应的事件词语“北京”;在第五轮抽取过程中,可以将事件参数“目的地”作为当前参数,并利用在此之前已经抽取得到的事件词语“离开”、“三天前”、“小明”、“北京”构造问题文本,如“当转移事件的触发词是离开,时间是三天前,转移对象是小明,始发地是北京,目的地是哪里?”,并利用事件抽取模型在事件文本中并未抽取到对应的事件词语。需要说明的是,在某一轮抽取过程中,若未抽取到事件参数对应的事件词语,则可以继续下一轮抽取,故在第六轮抽取过程中,可以将事件参数“交通工具”作为当前参数,并利用在此之前抽取得到的事件词语“离开”、“三天前”、“小明”、“北京”构造问题文本,如“当转移事件的触发词是离开,时间是三天前,转移对象是小明,始发地是北京,交通工具是什么?”,并利用事件抽取模型抽取得到事件文本中与事件参数“交通工具”对应的事件词语“飞机”;在第七轮抽取过程中,可以将事件参数“价格”作为当前参数,并利用在此之前抽取得到的事件词语“离开”、“三天前”、“小明”、“北京”、“飞机”构造问题文本,如“当转移事件的触发词是离开,时间是三天前,转移对象是小明,始发地是北京,交通工具是飞机,价格是多少?”,并利用事件抽取模型在事件文本中并未抽取到对应的事件词语。故此,请参阅表2,表2是抽取结果的一种示例。如表2所示,对于事件文本“小明三天前坐飞机离开了北京”,通过本公开实施例上述渐进式地多轮阅读理解,可以得到如下抽取结果,需要说明的是,表中“-”表示未抽取到与事件参数对应的事件词语。
表2抽取结果的一种示例
如表2所示,通过本公开实施例中对非结构化的事件文本进行事件抽取,能够得到结构化的事件信息,从而能够有利于提高阅读效率。此外,由于在抽取过程中,预先定义的事件参数在语义层面进行交互,能够更好地利用事件参数的语义信息,且还可以轻易地对预先定义的事件参数进行同义扩展,而不影响模型影响,同时又能够提高模型的泛化能力。
在一个实施场景中,将问题文本和事件文本输入事件抽取模型,可以得到事件文本中各个字符属于事件词语的概率值,从而可以根据概率值从事件文本的各个字符中选择若干字符,得到事件词语。
在一个具体的实施场景中,上述概率值可以包括但不限于:属于事件词语的首位(Beginning)字符的概率值、属于事件词语的中间(Inter)字符的概率值、属于事件词语的末位(End)字符的概率值、单个(Single)字符即为事件词语的概率值,此外还可以包括不属于事件词语的概率值。在此基础上,可以基于各个字符最高的概率值,得到每一字符的字符属性(即上述首位字符、末位字符等)。此外,为了便于区分,可以将首位字符标记为B,中间字符标记为I,末位字符标记为E,单个字符标记为S,不属于事件词语的字符标记为O(即Other)。以事件文本“小明三天前坐飞机离开了北京”为例,在当前参数为事件参数“时间”的情况下,事件文本中字符“三”标记为B,字符“天”标记为I,字符“前”标记为E,则最终可以抽取到事件参数“时间”对应的事件词语“三天前”。其他事件参数可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,事件抽取模型具体可以包括语义提取网络(如,BERT等)和结果预测网络(如,可以包括全连接层、归一化层等),将问题文本和事件文本输入语义提取网络进行语义提取,可以得到事件文本中各个字符的语义表示,将各个字符的语义表示输入结果预测网络进行结果预测,可以得到各个字符属于事件词语的概率值,如各个字符分别属于事件词语的首位字符、中间字符、末位字符、单个字符以及不属于事件词语的概率值,在此基础上,可以基于上述概率值,抽取得到当前参数对应的事件词语。
在一个实施场景中,在事件文本的事件类别有多种的情况下,可以将每一种事件类别以及事件类别的若干事件属性,作为事件文本的一组事件参数,并对于每一组事件参数,执行本公开实施例中的步骤S12,即执行在每轮抽取过程中,选择未选择过的事件参数作为当前参数的步骤以及后续步骤,以得到本组事件参数分别对应的事件词语。上述方式,在事件类别有多种的情况下,将每一种事件类别以及事件类别的若干事件属性,作为事件文本的一组事件参数,从而对于每一组事件参数,执行选择未选择过的事件参数作为当前参数的步骤以及后续步骤,以得到本组事件参数分别对应的事件词语,进而能够针对每种事件类别均能够抽取到事件词语,有助于提高事件抽取的完整性。
在一个具体的实施场景中,以事件文本“小明三天前坐飞机离开了北京,当天到老家上海后和女朋友结婚”为例,该事件文本的事件类别有“转移”和“婚嫁”,如前所述,事件类别“转移”具有若干事件属性“时间”、“转移对象”、“始发地”“目的地”、“交通工具”和“价格”,而事件类别“婚嫁”则具有事件属性“时间”、“地点”和“人物”,故可以将事件类别“转移”及其若干事件属性“时间”、“转移对象”、“始发地”“目的地”、“交通工具”和“价格”作为一组事件参数,并将事件类别“婚嫁”及其事件属性“时间”、“地点”和“人物”作为一组事件参数。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,问题文本所包含的在本轮抽取之前抽取到的事件词语对应的事件参数各不相同,若本轮抽取之前一轮抽取到的事件词语有多个的情况下,则在构造关于问询当前参数的问题文本时,可以分别基于本轮抽取之前一轮抽取到的每一个事件词语,构造问题文本,即在本轮抽取之前一轮抽取到的事件词语有多个的情况下,可以构造与多个事件词语数量相同的分支,且在本轮抽取以及之后每一轮抽取过程中,可以基于在同一分支所抽取出来的事件词语构造问题文本,从而在每一轮抽取过程中,可以构造出多分支问题,以确保问题文本所包含的在本轮抽取之前抽取到的事件词语对应的事件参数各不相同。上述方式,问题文本所包含的在本轮抽取之前抽取到的事件词语对应的事件参数各不相同,若本轮抽取之前一轮抽取到的事件词语有多个,则分别基于本轮抽取之前一轮抽取到的每一个事件词语,构造问题文本,即在本轮抽取之前一轮抽取到的事件词语有多个的情况下,能够在本轮抽取过程中,构造多分支问题,有助于确保每个分支问题中事件参数的唯一性,进而能够有利于提高事件抽取的准确性。
在一个具体的实施场景中,仍以事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”为例,如前所述,该事件文本的事件类别为“转移”。需要说明的是,为了简化描述,本实施场景中,事件类别“转移”对应的参数顺序为:“转移”、“转移对象”、“始发地”、“目的地”、“交通工具”,请参阅图4,图4是构造分支问题一实施例的示意图。如图4所示,在第一轮抽取过程中,可以构造关于问询当前参数“转移”的问题文本Q1“句子中转移事件的触发词是什么?”,并利用事件抽取模型抽取得到当前参数“转移”对应的事件词语A1“前往”;在第二轮抽取过程中,可以利用第一轮抽取得到的事件词语“前往”以及当前参数“转移对象”构造问题文本Q2“当转移事件的触发词是前往时,转移对象是谁?”,并利用事件抽取模型抽取得到当前参数“转移对象”对应的事件词语A2“小明”、“小红”,故自此之后,每轮事件抽取可以分成与多个事件词语数量相同的分支;在第三轮抽取过程中,由于前一轮抽取到两个事件词语,故分支1,可以分别基于前一轮抽取到的其中一个事件词语“小明”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“始发地”的问题文本Q3-1“当转移事件的触发词是前往,转移对象是小明时,始发地是哪里?”,并利用事件抽取模型抽取得到当前参数“始发地”对应的事件词语A3-1“北京”,与此同时,分支2,可以基于前一轮抽取到的另一事件词语“小红”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“始发地”的问题文本Q3-2“当转移事件的触发词是前往,转移对象是小红时,始发地是哪里?”,并利用事件抽取模型抽取得到当前参数“始发地”对应的事件词语A3-2“上海”;在第四轮抽取过程中,由于前一轮中每条分支抽取到一个事件词语,即一共抽取到两个事件词语,故分支1,可以基于分支1抽取到的事件词语“北京”、“小明”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“目的地”的问题文本Q4-1“当转移事件的触发词是前往,转移对象是小明,始发地是北京时,目的地是哪里?”,并利用事件抽取模型抽取得到当前参数“目的地”对应的事件词语A4-1“广州”,与此同时,对于分支2,可以基于分支2抽取到的事件词语“上海”、“小红”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“目的地”的问题文本Q4-2“当转移事件的触发词是前往,转移对象是小红,始发地是上海时,目的地是哪里?”,并利用事件抽取模型抽取得到当前参数“目的地”对应的事件词语A4-2“广州”;在第五轮抽取工程中,由于前一轮中每条分支抽取到一个事件词语,即一共抽取到两个事件词语,故分支1,可以基于分支1抽取到的事件词语“北京”、“小明”、“广州”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“交通工具”的问题文本Q5-1“当转移事件的触发词是前往,转移对象是小明,始发地是北京,目的地是广州时,交通工具是什么?”,并利用事件抽取模型抽取得到当前参数“交通工具”对应的事件词语A5-1“飞机”,与此同时,对于分支2,可以基于分支2抽取到的事件词语“上海”、“小红”、“广州”以及再之前已经抽取到的事件词语“前往”,构造关于问询当前参数“交通工具”的问题文本Q5-2“当转移事件的触发词是前往,转移对象是小红,始发地是上海,目的地是广州时,交通工具是什么?”,并利用事件抽取模型抽取得到当前参数“交通工具”对应的事件词语A5-2“飞机”。请参阅表3,表3是抽取结果的另一种示例。具体地,表3是上述事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”结构化抽取结果。对于其他事件文本的抽取可以以此类推,在此不再一一举例。
表3抽取结果的另一种示例
由前述简单事件文本“小明三天前坐飞机离开了北京”和此处复杂事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”可见,本公开实施例不仅可以解决简单事件文本的事件抽取问题,还能够解决复杂事件文本的事件抽取问题,即能够通过统一的模型框架解决全部情形的事件抽取问题,具有极其广泛的适用性。
上述方案,获取事件文本的事件参数,且事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性,并在每轮抽取过程中,选择未选择过的事件参数作为当前参数,进一步构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语,且问题文本包括在本轮抽取之前抽取到的事件词语,故此,在每一轮抽取过程中,通过构造关于问询当前参数的问题文本,能够在本轮抽取过程中仅关注当前参数,由此既能够面对简单文本的事件抽取任务,而在即使面对诸如事件参数重叠等复杂文本的事件抽取任务时,由于每轮抽取过程仅关注当前参数,也能够尽可能地降低对事件抽取的影响,且由于问题文本中包括在本轮抽取之前抽取到的事件词语,故随着抽取轮数的不断增加,问题文本中所包含的已抽取到的事件词语也在不断增加,即问题文本能够随抽取轮数的增加而渐进地丰富其信息,有利于提高事件抽取的准确性。
请参阅图5,图5是本申请事件抽取方法另一实施例的流程示意图。如前述公开实施例所述,每一轮抽取过程中,可以构造一个关于问询当前参数的问题文本,为了提高语义丰富程度,本公开实施例中,每一轮抽取过程中,可以构造多个关于问询当前参数的问题文本。具体地,本公开实施例可以包括如下步骤:
步骤S51:获取事件文本的事件参数。
本公开实施例中,事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性,具体可以参阅前述公开实施例中相关描述,在此不再赘述。
步骤S52:在每轮抽取过程中,选择未选择过的事件参数作为当前参数,并构造多个关于问询当前参数的问题文本,且对于每一问题文本,将问题文本和事件文本输入事件抽取模型进行预测,得到预测结果,以及基于多个问题文本对应的预测结果,得到事件文本中与当前参数对应的事件词语。
需要说明的是,本公开实施例中,问题文本包括在本轮抽取之前抽取到的事件词语,具体可以参阅前述公开实施例中相关描述,在此不再赘述。此外,关于如何选择事件参数以及如何构造问题文本等与前述公开实施例相似之处,可以参阅前述公开实施例中相关描述,在此同样不再赘述。
在一个实施场景中,每轮抽取过程中,所构造的多个关于问询当前参数的问题文本,具体可以是字面表述不同的问题文本。请结合参阅图6,图6是利用本申请事件抽取方法进行多轮抽取一实施例的过程示意图。以事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”,如前述公开实施例所述,该事件文本的事件类别为“转移”,则在第一轮抽取过程中,构造关于问询当前参数“转移”的问题文本时,可以构造多个字面表述不同的问题文本,如可以包括如下问题文本:Q1“句子中转移事件的触发词是什么?”、Q2“哪个动词能够表示转移的语义?”、Q3“转移,触发词是什么?”;进一步地,在第二轮抽取过程中,构造关于问询当前参数“转移对象”的问题文本时,可以构造多个字面表述不同的问题文本,如可以构造如下问题文本:Q1“当转移事件的触发词是前往时,转移对象是谁?”、Q2“什么人是前往触发的转移事件中的转移对象?”、Q3“转移,触发词:前往,转移对象是?”。其他情况可以以此类推,在此不再一一举例。需要说明的是,多个问题文本的数量可以是2个、3个、4个等等,在此不做限定。
在另一个实施场景中,请继续参阅图6,为了便于描述,可以将问题文本记为Question=[q1,q2,…,qn],即问题文本共包含n个字符,可以将事件文本记为sentence=[w1,w2,…,wk],即事件文本共包含k个字符。进一步地,为了区分多个问题文本,可以将问题文本记为其中,i表示第i个问题文本。在此基础上,对于第i个问题文本,将问题文本i和事件文本输入事件抽取模型,其输入数据形式可以表示为:Input=[CLS]Questioni[SEP]sentence[SEP],其中,CLS表示输入的开始字符,SEP表示分隔字符。
在一个实施场景中,请继续参阅图6,如图6所示,事件抽取模型具体可以包括语义提取网络、语义融合网络和结果预测网络。在此基础上,可以将问题文本和事件文本输入语义提取网络,得到事件文本各个字符的初始语义表示,再利用语义融合网络将各个字符的初始语义表示分别与事件类别的类别语义表示进行融合,得到各个字符的最终语义表示,最后利用结果预测网络对最终语义表示进行预测,得到预测结果。需要说明的是,语义提取网络可以包括但不限于BERT等,在此不做限定。上述方式,通过语义提取网络提取得到事件文本中各个字符的初始语义表示,并通过语义融合网络将各个字符的初始语义表示分别和事件类别的类别语义表示进行融合,得到各个字符的最终语义表示,最终利用结果预测网络对最终语义表示进行预测,得到预测结果,故能够在事件抽取过程中通过事件类别的类别语义表示加强字符的初始语义表示,能够有利于提高事件抽取的稳定性。
在一个具体的实施场景中,以语义抽取网络包括BERT为例,可以获取问题文本和事件文本中字符的向量表示(embedding)。每一字符的向量表示可以包括词向量表示(wordembedding)、位置向量表示(position embedding)和段落向量表示(segment embedding)。具体获取过程可以参阅BERT模型的相关技术细节,在此不再赘述。在获取得到问题文本和事件文本中字符的向量表示之后,即可以利用BERT对这些字符的向量表示进行语义提取,得到事件文本中各个字符的初始语义表示,具体提取过程也可以参阅BERT模型的相关技术细节,在此不再赘述。
在另一个具体的实施场景中,请继续结合参阅图6,自第二轮抽取开始,均可以知晓已经抽取到的事件词语,这些事件词语可以视为之前各轮所构造的问题文本的答案,故自第二轮抽取开始,为了提高模型对尚未被抽取的字符的关注,可以对属于已经抽取到的事件词语的第一字符以及不属于已经抽取到的事件词语的第二字符进行区分,即可以在事件文本中进行答案标记。如前所述,可以获取问题文本和事件文本中字符的向量表示,且向量表示至少包括词向量表示和段落向量表示,并将事件文本中第一字符和第二字符的向量表示进行更新,以区分第一字符和第二字符,在此基础上,再将问题文本和事件文本中字符的向量表示输入语义提取网络,得到各个字符的初始语义表示。上述方式,能够在语义层面区分事件文本中属于事件词语的字符和不属于事件词语的字符,有利于事件抽取模型在抽取过程中加强对尚未被抽取的字符的关注度,从而能够有利于提高事件抽取的准确性和稳定性。
以更新第一字符和第二字符的词向量表示为例,可以将第一字符的词向量表示与第一向量表示相加,以更新第一字符的向量表示,并将第二字符的词向量表示与第二向量表示相加,以更新第二字符的向量表示。需要说明的是,第一向量表示不同于第二向量表示,且第一字符的词向量表示、第二字符的词向量表示、第一向量表示和第二向量表示四者的维度相同,如可以均为10维、20维、30维等等,在此不做限定。以第一向量表示和第二向量表示均为5维向量表示为例,第一向量表示A可以为[0.10.10.10.10.1],第二向量表示B可以为[0.50.50.50.50.5],需要说明的是,上述第一向量表示A和第二向量表示B的举例仅仅是实际应用时可能存在的一种情况,并不因此而限定第一向量表示和第二向量表示。
以更新第一字符和第二字符的段落向量表示为例,可以将第一字符的段落向量表示更新为第三向量表示,并维持第二字符的段落向量表示不变,且第三向量表示不同于第二字符的段落向量表示。需要说明的是,段落向量表示用于表示字符所在的段落。例如,对于属于问题文本的字符而言,其段落向量表示可以设置为0,而对于属于事件文本的字符而言,其段落向量表示可以设置为1,在此基础上,可以将第一字符的段落向量表示更新为不同于1的第三向量表示(如,2、3、4等等),并维持第二字符的段落向量表示不变。
需要说明的是,上述是分别对词向量表示、段落向量表示进行更新的实施例,也可以根据需要,同时对词向量表示和段落向量表示进行更新。也就是说,在更新第一字符的向量表示时,可以将第一字符的词向量表示和第一向量表示相加,并将第一字符的段落向量表示更新为第三向量表示,而在更新第二字符的向量表示时,可以将第二字符的词向量表示与第二向量表示相加,并维持第二字符的段落向量表示不变,且第一向量表示不同于第二向量表示,第三向量表示不同于第二字符的段落向量表示。具体可以参阅前述描述,在此不再赘述。
在又一个具体的实施场景中,请继续结合参阅图6,语义融合网络具体可以包括点积运算层(即图6中⊙所示),为了便于描述,可以将事件文本中k个字符的初始语义表示分别记为:h1,h2,…,hk。需要说明的是,每次将多个问题文本中的一个与事件文本共同输入事件抽取模型的语义提取网络,均可以得到k个字符的初始语义表示。故为了便于区分,第i个问题文本和事件文本输入语义提取网络所得到的事件文本中k个字符的初始语义表示可以分别记为:在此基础上,在利用语义融合网络将各个字符的初始语义表示分别与事件类别的类别语义表示(即图6中以不同阴影所填充的矩形)进行融合时,可以将各个字符的初始语义表示(即/>)分别与事件类别的类别语义表示进行点积运算,从而得到上述k个字符的最终语义表示,为了便于描述可以记为/>
本公开实施例中,预测结果可以表示事件文本中各个字符属于事件词语的可能性,例如,预测结果可以包括事件文本中各个字符属于当前参数对应的事件词语的初始概率值。
在一个具体的实施场景中,结果预测网络可以包括但不限于全连接层和归一化层(如softmax等),将最终语义表示输入结果预测网络,经过全连接层的降维处理以及归一化层的归一化处理之后,可以得到事件文本中各个字符属于当前参数对应的事件词语的初始概率值,为了便于描述,可以各个字符的初始概率值记为p1,p2,…,pk。此外,如前所述,第i个问题文本和事件文本输入语义提取网络所得到的事件文本中k个字符的初始语义表示经语义融合网络处理之后,所得到的最终语义表示可以记为对应地,这些最终语义表示/>输入结果预测网络之后,可以得到预测结果i,预测结果i具体可以包括各个字符属于当前参数对应的事件词语的初始概率值/>
在另一个实施场景中,如前所述,预测结果包括各个字符属于事件词语的初始概率值,故在得到多个问题文本分别所对应的预测结果之后,可以基于多个问题文本对应的预测结果,得到事件词语。具体地,可以分别将事件文本中各个字符作为当前字符,并对对各个预测结果中当前字符的初始概率值进行加权处理,得到当前字符属于事件词语的最终概率值,从而基于各个字符的最终概率值,得到事件词语。需要说明的是,各个多个问题文本所对应的预测结果可以具有不同的权重,也可以具有相同的权重。例如,在多个问题文本为3个的情况下,问题文本1至问题文本3的权重可以分别为0.2、0.3、0.5;或者,在多个问题文本为3个的情况下,问题文本1至问题文本3的权重可以分别1/3、1/3、1/3,在此不做限定。上述方式,预测结果包括各个字符属于事件词语的初始概率值,在此基础上,分别将各个字符作为当前字符,并对各个预测结果中当前字符的初始概率值进行加权处理,得到当前字符属于事件词语的最终概率值,从而基于各个字符的最终概率值,得到事件词语,故此,在事件抽取过程中,能够融合基于多个问题文本所获得的预测结果,有利于提高事件抽取的准确性。
在一个具体的实施场景中,如前述公开实施例所述,每一字符的初始概率值可以进一步包括该字符分别被标记为B、I、E、S、O五个标签的子概率值,关于B、I、E、S、O五个标签的具体含义可以参阅前述公开实施例中相关描述,在此不再赘述。故此,对于当前字符而言,可以对各个预测结果中当前字符被预测为B标签的子概率值进行加权处理,得到当前字符被预测为B标签的最终概率值,同理可以对各个预测结果中当前字符被预测为I标签的子概率值进行加权处理,得到当前字符被预测为I标签的最终概率值,以此类推,最终可以得到当前字符被预测为E标签、S标签和O标签的最终概率值,从而可以将最高的最终概率值所对应的标签,确定为当前字符的标签。对于事件文本中各个字符均可以执行上述步骤,如图6所示,最终可以得到k个字符的标签。
在另一个具体的实施场景中,如前所述,可以事件文本中各个字符的标签,进一步地,可以基于各个字符的标签进行后处理,以抽取到事件文本中与当前参数对应的事件词语。仍以事件文本“小明和小红约好分别从北京和上海坐飞机前往广州旅游”为例,在当前参数为“转移”的情况下,最终可以确定该事件文本中字符“前”预测为B标签,字符“往”预测为E标签,即可以将字符“前”视为与当前参数“转移”对应的事件词语的首位字符,可以将字符“往”视为与当前参数“转移”对应的事件词语的末位字符,故可以将“前往”抽取,作为与当前参数“转移”对应的事件词语。其他事件文本可以以此类推,在此不再一一举例。
区别于前述实施例,通过构造多个不同的问题文本,并对于每一问题文本,将问题文本和事件文本输入事件抽取模型进行预测,得到预测结果,且预测结果表示事件文本中各个字符属于事件词语的可能性,在此基础上,再基于多个问题文本对应的预测结果,得到事件词语,故此在每轮事件抽取过程中,能够参考多个问题文本的语义信息,提高可参考的语义信息的丰富程度,从而能够有利于进一步提高事件抽取的准确性。
请参阅图7,图7是本申请事件抽取模型的训练方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S71:获取样本事件文本以及若干轮抽取分别对应的样本问题文本。
本公开实施例中,每轮抽取对应的样本问题文本对应标注有本轮抽取的事件参数对应的实际事件词语,且每轮抽取对应的样本问题文本包括在本轮抽取之前的样本问题文本所标注的实际事件词语。
在一个实施场景中,可以预先设置与不同事件类别对应的参数顺序,每轮抽取的事件参数可以按照与样本事件文本所涉及的事件类别相对应的参数顺序进行设置。请结合参阅图3,对于事件类别“婚嫁”,参数顺序由前往后分别设置为:“时间”、“地点”、“人物”,其他事件类别可以参阅图3以及前述公开实施例中相关描述,在此不再赘述。
在另一个实施场景中,请结合参阅图4,以样本事件文本为“小明和小红约好分别从北京和上海坐飞机前往广州旅游”为例,可以为第一轮抽取预先构造样本问题文本Q1,并为样本问题文本Q1标注与第一轮抽取的事件参数“转移”对应的实际事件词语A1,并为第二轮抽取预先构造样本问题文本Q2,并为样本问题文本Q2标注与第二轮抽取的事件参数“转移对象”对应的实际事件词语A2,第三轮抽取、第四轮抽取以及第五轮抽取可以以此类推,在此不再一一举例。
步骤S72:在每轮抽取过程中,将本轮抽取的事件参数作为当前参数,并将本轮抽取对应的样本问题文本和样本事件文本输入事件抽取模型,以抽取得到样本事件文本中与当前参数对应的预测事件词语,基于本轮抽取对应的样本问题文本所标注的实际事件词语与预测事件词语之间的差异,调整事件抽取模型的网络参数。
需要说明的是,本公开实施例中,事件抽取模型的数据处理过程,可以参阅前述公开实施例中相关描述,在此不再赘述。
在一个实施场景中,可以采用交叉熵损失函数处理实际事件词语以及预测事件词语,得到本轮抽取的损失值,在此基础上,可以基于该损失值,调整事件抽取模型的网络参数。
在另一个实施场景中,在下一轮抽取时,可以重复上述步骤S72,如此往复,能够在每轮抽取过程中,对事件抽取模型的网络参数进行动态调整,提高事件抽取模型的学习效率。
在又一个实施场景中,每轮抽取对应的样本问题文本还可以对应标注有实际词语情况,该实际词语情况表示样本事件文本中是否存在有本轮抽取的事件参数对应的实际事件词语。例如,在存在实际事件词语时,可以为样本问题文本标注1标签,在不存在实际事件词语时,可以为样本问题文本标注0标签。仍以“小明和小红约好分别从北京和上海坐飞机前往广州旅游”为例,请结合参阅图3,事件类别“转移”还可以对应设有事件属性“价格”,则还可为第六轮抽取预先构造样本问题文本Q6-1,如“当转移事件的触发词是前往,转移对象是小明,始发地是北京,目的地是广州,交通工具是飞机时,价格是多少?”,并为样本问题文本Q6-1标注表示“无答案”的标签(如,0标签),以及样本问题文本Q6-2,如“当转移事件的触发词是前往,转移对象是小红,始发地是上海,目的地是广州,交通工具是飞机时,价格是多少?”,并为样本问题文本Q6-2标注“无答案”的标签(如,0标签)。在此基础上,可以在每轮抽取过程中,可以基于预测词语情况(即,事件抽取模型是否能够抽取得到预测事件词语)和实际词语情况之间的差异,以及本轮抽取对应的样本问题文本所标注的实际事件词语与预测事件词语之间的差异,调整事件抽取模型的网络参数。故此,每轮抽取过程中,能够联合是否存在事件词语的二分类任务辅助事件抽取模型的训练,从而能够有利于提高事件抽取模型的学习效果。
在一个具体的实施场景中,请结合参阅图6,如图6所示,在将样本问题文本和样本事件文本输入到事件抽取模型的语义提取网络之后,可以得到样本问题文本和样本事件文本中开始字符(如,CLS)的样本初始语义表示(即,hCLS),该样本初始语义表示经过分类网络预测,即可以得到上述预测词语情况。需要说明的是,分类网络具体可以包括全连接层、归一化层(如sigmoid)等,在此不做限定。
在另一个具体的实施场景中,如前述公开实施例所述,在每轮抽取过程中,可以构建多个关于问询当前参数的样本问题文本,则在每轮抽取过程中,每一样本问题文本和样本事件文本输入事件抽取模型的语义提取网络之后,均可以得到开始字符的样本初始语义表示hCLS,在此情况下,可以对多个样本问题文本分别对应的样本初始语义表示hCLS进行平均,得到开始字符的样本平均语义表示,该样本平均语义表示经过分类网络预测,即可以得到上述预测词语情况。
区别于前述实施例,获取样本事件文本以及若干轮抽取分别对应的样本问题文本,且在每轮抽取过程中,将本轮抽取的事件参数作为当前参数,并将本轮抽取对应的样本问题文本和样本事件文本输入事件抽取模型,以抽取得到样本事件文本中与当前参数对应的预测事件词语,基于本轮抽取对应的样本问题文本所标注的实际事件词语与预测事件词语之间的差异,调整事件抽取模型的网络参数,能够渐进地训练事件抽取模型,有利于提高事件抽取模型的准确性。
请参阅图8,图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,存储器81中存储有程序指令,处理器82用于执行程序指令以实现上述任一事件抽取方法实施例中的步骤。具体地,电子设备80可以包括但不限于:台式计算机、笔记本电脑、服务器、手机、平板电脑等等,在此不做限定。
具体而言,处理器82用于控制其自身以及存储器81以实现上述任一事件抽取方法实施例中的步骤。处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
本公开实施例中,处理器82用于获取事件文本的事件参数;其中,事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性;处理器82用于在每轮抽取过程中,选择未选择过的事件参数作为当前参数,并构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语;其中,问题文本包括在本轮抽取之前抽取到的事件词语。
上述方案,获取事件文本的事件参数,且事件参数包括事件文本涉及的事件类别和事件类别的若干事件属性,并在每轮抽取过程中,选择未选择过的事件参数作为当前参数,进一步构造关于问询当前参数的问题文本,以及将问题文本和事件文本输入事件抽取模型,以抽取得到事件文本中与当前参数对应的事件词语,且问题文本包括在本轮抽取之前抽取到的事件词语,故此,在每一轮抽取过程中,通过构造关于问询当前参数的问题文本,能够在本轮抽取过程中仅关注当前参数,由此既能够面对简单文本的事件抽取任务,而在即使面对诸如事件参数重叠等复杂文本的事件抽取任务时,由于每轮抽取过程仅关注当前参数,也能够尽可能地降低对事件抽取的影响,且由于问题文本中包括在本轮抽取之前抽取到的事件词语,故随着抽取轮数的不断增加,问题文本中所包含的已抽取到的事件词语也在不断增加,即问题文本能够随抽取轮数的增加而渐进地丰富其信息,有利于提高事件抽取的准确性。
在一些公开实施例中,处理器82用于构造多个不同的问题文本,处理器82用于对于每一问题文本,将问题文本和事件文本输入事件抽取模型进行预测,得到预测结果;其中,预测结果表示事件文本中各个字符属于事件词语的可能性;处理器82用于基于多个问题文本对应的预测结果,得到事件词语。
区别于前述实施例,通过构造多个不同的问题文本,并对于每一问题文本,将问题文本和事件文本输入事件抽取模型进行预测,得到预测结果,且预测结果表示事件文本中各个字符属于事件词语的可能性,在此基础上,再基于多个问题文本对应的预测结果,得到事件词语,故此在每轮事件抽取过程中,能够参考多个问题文本的语义信息,提高可参考的语义信息的丰富程度,从而能够有利于进一步提高事件抽取的准确性。
在一些公开实施例中,预测结果包括各个字符属于事件词语的初始概率值,处理器82用于分别将各个字符作为当前字符;处理器82用于对各个预测结果中当前字符的初始概率值进行加权处理,得到当前字符属于事件词语的最终概率值;处理器82用于基于各个字符的最终概率值,得到事件词语。
区别于前述实施例,在事件抽取过程中,能够融合基于多个问题文本所获得的预测结果,有利于提高事件抽取的准确性。
在一些公开实施例中,处理器82用于将问题文本和事件文本输入事件抽取模型的语义提取网络,得到各个字符的初始语义表示;处理器82用于利用事件抽取模型的语义融合网络将各个字符的初始语义表示分别与事件类别的类别语义表示进行融合,得到各个字符的最终语义表示;处理器82用于利用事件抽取模型的结果预测网络对最终语义表示进行预测,得到预测结果。
区别于前述实施例,通过语义提取网络提取得到事件文本中各个字符的初始语义表示,并通过语义融合网络将各个字符的初始语义表示分别和事件类别的类别语义表示进行融合,得到各个字符的最终语义表示,最终利用结果预测网络对最终语义表示进行预测,得到预测结果,故能够在事件抽取过程中通过事件类别的类别语义表示加强字符的初始语义表示,能够有利于提高事件抽取的稳定性。
在一些公开实施例中,处理器82用于获取问题文本和事件文本中字符的向量表示;其中,向量表示至少包括词向量表示和段落向量表示;处理器82用于将事件文本中第一字符和第二字符的向量表示分别进行更新,以区分第一字符和第二字符;其中,第一字符属于已经抽取到的事件词语,第二字符不属于已经抽取到的事件词语;处理器82用于将问题文本和事件文本中字符的向量表示输入语义提取网络,得到各个字符的初始语义表示。
区别于前述实施例,能够在语义层面区分事件文本中属于事件词语的字符和不属于事件词语的字符,有利于事件抽取模型在抽取过程中加强对尚未被抽取的字符的关注度,从而能够有利于提高事件抽取的准确性和稳定性。
在一些公开实施例中,处理器82用于将第一字符的词向量表示与第一向量表示相加,并将第二字符的词向量表示与第二向量表示相加,且第一向量表示不同于第二向量表示。
区别于前述实施例,通过将第一字符的词向量表示与第一向量表示相加,并将第二字符的词向量表示与第二向量表示相加,且第一向量表示不同于第二向量表示,能够有效区分第一字符和第二字符,有利于事件抽取模型在抽取过程中加强对尚未被抽取的字符的关注度,从而能够有利于提高事件抽取的准确性和稳定性。
在一些公开实施例中,处理器82用于将第一字符的段落向量表示更新为第三向量表示,并维持第二字符的段落向量表示不变,且第三向量表示不同于第二字符的段落向量表示。
区别于前述实施例,通过将第一字符的段落向量表示更新为第三向量表示,并维持第二字符的段落向量表示不变,且第三向量表示不同于第二字符的段落向量表示,能够有效区分第一字符和第二字符,有利于事件抽取模型在抽取过程中加强对尚未被抽取的字符的关注度,从而能够有利于提高事件抽取的准确性和稳定性。
在一些公开实施例中,当前参数是按照与事件类别对应的参数顺序依次选择的,且参数顺序中事件类别位于首位,处理器82用于统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序;或者,处理器82用于统计利用预设抽取模型对涉及同一事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序。
区别于前述实施例,通过统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序,故占比越高,越先被选择为当前参数,由于占比越高的事件参数,事件抽取模型在训练过程中越能够对其进行充分学习,故一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。此外,通过统计利用预设抽取模型对涉及同一事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,得到事件类别对应的参数顺序中若干事件属性的排序,故准确率越高,越先被选择为当前参数,由于准确率越高的事件参数,抽取效果越好,故一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。
在一些公开实施例中,处理器82用于统计涉及同一事件类别的样本事件文本所涉及的各个事件属性的占比,并基于占比的高低顺序,分别得到事件类别对应的参数顺序中若干事件属性的第一分值;以及,处理器82用于统计利用预设抽取模型对涉及同一事件类别的样本事件文本抽取各个事件属性对应的事件词语的准确率,并基于准确率的高低顺序,分别得到事件类别对应的参数顺序中若干事件属性的第二分值;处理器82用于基于第一分值和第二分值,得到事件类别对应的参数顺序中若干事件属性的排序。
区别于前述实施例,通过结合占比统计层面和准确率统计层面,来对事件类别对应的参数顺序中若干事件属性进行排序,一方面能够提高在先抽取的事件参数对应的事件词语的准确性,另一方面由于问题文本包括在本轮抽取之前抽取到的事件词语,故在抽取在后抽取的事件参数对应的事件词语过程中,能够依赖于在先抽取的准确性较高的事件参数对应的事件词语,故也能够提高在后抽取的事件参数对应的事件词语,从而能够有利于在事件抽取的全过程中,提高事件抽取的准确性。
在一些公开实施例中,处理器82用于提取事件文本的文本语义表示,并获取若干种预设类别的类别语义表示;其中,每种预设类别具有若干事件属性;处理器82用于利用文本语义表示和类别语义表示,得到事件文本分别与若干种预设类别之间的相关度;处理器82用于基于相关度满足预设条件的预设类别,得到事件文本的事件参数。
区别于前述实施例,通过提取事件文本的文本语义表示,并获取若干种预设类别的类别语义表示,从而在语义层面利用上述两种语义表示得到事件文本分别与若干种预设类别之间的相关度,并基于相关度得到事件文本的事件参数,进而能够有利于提高确定事件参数的准确性。
在一些公开实施例中,文本语义表示是利用第一语义提取模型提取得到的,类别语义表示是预先利用训练至收敛的第二语义提取模型提取得到的,且第一语义提取模型和第二语义提取模型是利用样本事件文本联合训练得到的;和/或,预设条件包括:相关度大于预设阈值;和/或,相关度是将文本语义表示和类别语义表示进行点积运算得到的。
在一些公开实施例中,问题文本所包含的在本轮抽取之前抽取到的事件词语对应的事件参数各不相同,若本轮抽取之前一轮抽取到的事件词语有多个的情况下,处理器82用于分别基于本轮抽取之前一轮抽取到的每一个事件词语,构造问题文本。
区别于前述实施例,问题文本所包含的在本轮抽取之前抽取到的事件词语对应的事件参数各不相同,若本轮抽取之前一轮抽取到的事件词语有多个,则分别基于本轮抽取之前一轮抽取到的每一个事件词语,构造问题文本,即在本轮抽取之前一轮抽取到的事件词语有多个的情况下,能够在本轮抽取过程中,构造多分支问题,有助于确保每个分支问题中事件参数的唯一性,进而能够有利于提高事件抽取的准确性。
在一些公开实施例中,在事件类别有多种的情况下,处理器82用于将每一种事件类别以及事件类别的若干事件属性,作为事件文本的一组事件参数;处理器82用于对于每一组事件参数,执行在每轮抽取过程中,选择未选择过的事件参数作为当前参数的步骤以及后续步骤,以得到本组事件参数分别对应的事件词语。
区别于前述实施例,在事件类别有多种的情况下,将每一种事件类别以及事件类别的若干事件属性,作为事件文本的一组事件参数,从而对于每一组事件参数,执行选择未选择过的事件参数作为当前参数的步骤以及后续步骤,以得到本组事件参数分别对应的事件词语,进而能够针对每种事件类别均能够抽取到事件词语,有助于提高事件抽取的完整性。
请参阅图9,图9是本申请存储装置90一实施例的框架示意图。存储装置90存储有能够被处理器运行的程序指令91,程序指令91用于实现上述任一事件抽取方法实施例中的步骤。
上述方案,在每一轮抽取过程中,通过构造关于问询当前参数的问题文本,能够在本轮抽取过程中仅关注当前参数,由此既能够面对简单文本的事件抽取任务,而在即使面对诸如事件参数重叠等复杂文本的事件抽取任务时,由于每轮抽取过程仅关注当前参数,也能够尽可能地降低对事件抽取的影响,且由于问题文本中包括在本轮抽取之前抽取到的事件词语,故随着抽取轮数的不断增加,问题文本中所包含的已抽取到的事件词语也在不断增加,即问题文本能够随抽取轮数的增加而渐进地丰富其信息,有利于提高事件抽取的准确性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种事件抽取方法,其特征在于,包括:
获取事件文本的事件参数;其中,所述事件参数包括所述事件文本涉及的事件类别和所述事件类别的若干事件属性;
在每轮抽取过程中,选择未选择过的所述事件参数作为当前参数,并构造关于问询所述当前参数的问题文本,以及将所述问题文本和所述事件文本输入事件抽取模型,以抽取得到所述事件文本中与所述当前参数对应的事件词语;其中,所述问题文本包括在本轮抽取之前抽取到的事件词语,所述问题文本和所述事件文本具体输入至所述事件抽取模型的语义提取网络,得到所述事件文本中各个字符的初始语义表示,以用于预测所述各个字符属于所述事件词语的可能性,且所述初始语义表示的提取步骤包括:
获取所述问题文本和所述事件文本中所述字符的向量表示;其中,所述向量表示至少包括词向量表示和段落向量表示;
将第一字符的词向量表示与第一向量表示相加,并将第二字符的词向量表示与不同于所述第一向量表示的第二向量表示相加;和/或,将第一字符的段落向量表示更新为第三向量表示,并维持第二字符的段落向量表示不变,且所述第三向量表示不同于所述第二字符的段落向量表示;其中,所述第一字符属于已经抽取到的所述事件词语,所述第二字符不属于已经抽取到的所述事件词语;
将所述问题文本和所述事件文本中所述字符更新后的向量表示输入所述语义提取网络,得到所述各个字符的初始语义表示。
2.根据权利要求1所述的方法,其特征在于,所述构造关于问询所述当前参数的问题文本,包括:
构造多个不同的所述问题文本;
所述将所述问题文本和所述事件文本输入事件抽取模型,以抽取得到所述事件文本中与所述当前参数对应的事件词语,包括:
对于每一所述问题文本,将所述问题文本和所述事件文本输入所述事件抽取模型进行预测,得到预测结果;其中,所述预测结果表示所述事件文本中各个字符属于所述事件词语的可能性;
基于所述多个所述问题文本对应的所述预测结果,得到所述事件词语。
3.根据权利要求2所述的方法,其特征在于,所述预测结果包括所述各个字符属于所述事件词语的初始概率值;所述基于所述多个所述问题文本对应的所述预测结果,得到所述事件词语,包括:
分别将所述各个字符作为当前字符;
对各个所述预测结果中所述当前字符的初始概率值进行加权处理,得到所述当前字符属于所述事件词语的最终概率值;
基于所述各个字符的最终概率值,得到所述事件词语。
4.根据权利要求2所述的方法,其特征在于,所述将所述问题文本和所述事件文本输入所述事件抽取模型进行预测,得到预测结果,包括:
将所述问题文本和所述事件文本输入事件抽取模型的语义提取网络,得到所述各个字符的初始语义表示;
利用所述事件抽取模型的语义融合网络将所述各个字符的初始语义表示分别与所述事件类别的类别语义表示进行融合,得到所述各个字符的最终语义表示;
利用所述事件抽取模型的结果预测网络对所述最终语义表示进行预测,得到所述预测结果。
5.根据权利要求1所述的方法,其特征在于,所述当前参数是按照与所述事件类别对应的参数顺序依次选择的,且所述参数顺序中所述事件类别位于首位,所述参数顺序中所述若干事件属性的排序步骤包括:
统计涉及同一所述事件类别的样本事件文本所涉及的各个所述事件属性的占比,并基于所述占比的高低顺序,得到所述事件类别对应的参数顺序中所述若干事件属性的排序;
或者,统计利用预设抽取模型对涉及同一所述事件类别的样本事件文本抽取各个所述事件属性对应的事件词语的准确率,并基于所述准确率的高低顺序,得到所述事件类别对应的参数顺序中所述若干事件属性的排序。
6.根据权利要求5所述的方法,其特征在于,所述参数顺序中所述若干事件属性的排序步骤包括:
统计涉及同一所述事件类别的样本事件文本所涉及的各个所述事件属性的占比,并基于所述占比的高低顺序,分别得到所述事件类别对应的参数顺序中所述若干事件属性的第一分值;以及,
统计利用预设抽取模型对涉及同一所述事件类别的样本事件文本抽取各个所述事件属性对应的事件词语的准确率,并基于所述准确率的高低顺序,分别得到所述事件类别对应的参数顺序中所述若干事件属性的第二分值;
基于所述第一分值和所述第二分值,得到所述事件类别对应的参数顺序中所述若干事件属性的排序。
7.根据权利要求1所述的方法,其特征在于,所述获取事件文本的事件参数,包括:
提取所述事件文本的文本语义表示,并获取若干种预设类别的类别语义表示;其中,每种所述预设类别具有所述若干事件属性;
利用所述文本语义表示和所述类别语义表示,得到所述事件文本分别与所述若干种预设类别之间的相关度;
基于所述相关度满足预设条件的所述预设类别,得到所述事件文本的事件参数。
8.根据权利要求7所述的方法,其特征在于,所述文本语义表示是利用第一语义提取模型提取得到的,所述类别语义表示是预先利用训练至收敛的第二语义提取模型提取得到的,且所述第一语义提取模型和所述第二语义提取模型是利用样本事件文本联合训练得到的;
和/或,所述预设条件包括:所述相关度大于预设阈值;
和/或,所述相关度是将所述文本语义表示和所述类别语义表示进行点积运算得到的。
9.根据权利要求1所述的方法,其特征在于,所述问题文本所包含的在所述本轮抽取之前抽取到的事件词语对应的事件参数各不相同,在所述本轮抽取之前一轮抽取到的事件词语有多个的情况下,所述构造关于问询所述当前参数的问题文本,包括:
分别基于所述本轮抽取之前一轮抽取到的每一个所述事件词语,构造所述问题文本。
10.根据权利要求1所述的方法,其特征在于,在所述事件类别有多种的情况下,所述方法还包括:
将每一种所述事件类别以及所述事件类别的所述若干事件属性,作为所述事件文本的一组所述事件参数;
对于每一组所述事件参数,执行所述在每轮抽取过程中,选择未选择过的所述事件参数作为当前参数的步骤以及后续步骤,以得到本组所述事件参数分别对应的事件词语。
11.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的事件抽取方法。
12.一种存储装置,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至10任一项所述的事件抽取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110420855.XA CN113392213B (zh) | 2021-04-19 | 2021-04-19 | 事件抽取方法以及电子设备、存储装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110420855.XA CN113392213B (zh) | 2021-04-19 | 2021-04-19 | 事件抽取方法以及电子设备、存储装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113392213A CN113392213A (zh) | 2021-09-14 |
CN113392213B true CN113392213B (zh) | 2024-05-31 |
Family
ID=77617581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110420855.XA Active CN113392213B (zh) | 2021-04-19 | 2021-04-19 | 事件抽取方法以及电子设备、存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392213B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113901793A (zh) * | 2021-12-08 | 2022-01-07 | 北京来也网络科技有限公司 | 结合rpa和ai的事件抽取方法及装置 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598510A (zh) * | 2014-10-16 | 2015-05-06 | 苏州大学 | 一种事件触发词识别方法及装置 |
CN109446513A (zh) * | 2018-09-18 | 2019-03-08 | 中国电子科技集团公司第二十八研究所 | 一种基于自然语言理解的文本中事件的抽取方法 |
CN109614541A (zh) * | 2018-12-04 | 2019-04-12 | 北京艾漫数据科技股份有限公司 | 一种事件识别方法、介质、装置以及计算设备 |
WO2019184217A1 (zh) * | 2018-03-26 | 2019-10-03 | 平安科技(深圳)有限公司 | 热点事件分类方法、装置及存储介质 |
CN110597994A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 事件元素识别方法和装置 |
CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
CN111382575A (zh) * | 2020-03-19 | 2020-07-07 | 电子科技大学 | 一种基于联合标注和实体语义信息的事件抽取方法 |
CN111401033A (zh) * | 2020-03-19 | 2020-07-10 | 北京百度网讯科技有限公司 | 事件抽取方法、事件抽取装置和电子设备 |
CN111475617A (zh) * | 2020-03-30 | 2020-07-31 | 招商局金融科技有限公司 | 事件主体抽取方法、装置及存储介质 |
CN111522915A (zh) * | 2020-04-20 | 2020-08-11 | 北大方正集团有限公司 | 中文事件的抽取方法、装置、设备及存储介质 |
CN111723568A (zh) * | 2020-05-21 | 2020-09-29 | 上海明略人工智能(集团)有限公司 | 一种事件抽取方法、装置和计算机可读存储介质 |
CN111723569A (zh) * | 2020-05-21 | 2020-09-29 | 上海明略人工智能(集团)有限公司 | 一种事件抽取方法、装置和计算机可读存储介质 |
CN111858878A (zh) * | 2020-06-18 | 2020-10-30 | 达而观信息科技(上海)有限公司 | 从自然语言文本中自动提取答案的方法、***及存储介质 |
CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
WO2020239061A1 (zh) * | 2019-05-31 | 2020-12-03 | 腾讯科技(深圳)有限公司 | 基于文本的事件检测方法、装置、计算机设备及存储介质 |
CN112084381A (zh) * | 2020-09-11 | 2020-12-15 | 广东电网有限责任公司 | 一种事件抽取方法、***、存储介质以及设备 |
CN112434536A (zh) * | 2020-11-06 | 2021-03-02 | 合肥讯飞数码科技有限公司 | 文档理解方法、设备和存储介质 |
WO2021042503A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 信息分类抽取方法、装置、计算机设备和存储介质 |
CN112507700A (zh) * | 2020-11-26 | 2021-03-16 | 北京百度网讯科技有限公司 | 事件抽取方法、装置、电子设备及存储介质 |
KR20210036318A (ko) * | 2020-03-20 | 2021-04-02 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이벤트 아규먼트 추출 방법, 장치 및 전자 기기 |
CN112612885A (zh) * | 2020-12-18 | 2021-04-06 | 成都三零凯天通信实业有限公司 | 一种基于bert类模型的阅读理解式新闻文本事件抽取方法 |
-
2021
- 2021-04-19 CN CN202110420855.XA patent/CN113392213B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598510A (zh) * | 2014-10-16 | 2015-05-06 | 苏州大学 | 一种事件触发词识别方法及装置 |
WO2019184217A1 (zh) * | 2018-03-26 | 2019-10-03 | 平安科技(深圳)有限公司 | 热点事件分类方法、装置及存储介质 |
CN109446513A (zh) * | 2018-09-18 | 2019-03-08 | 中国电子科技集团公司第二十八研究所 | 一种基于自然语言理解的文本中事件的抽取方法 |
CN109614541A (zh) * | 2018-12-04 | 2019-04-12 | 北京艾漫数据科技股份有限公司 | 一种事件识别方法、介质、装置以及计算设备 |
WO2020239061A1 (zh) * | 2019-05-31 | 2020-12-03 | 腾讯科技(深圳)有限公司 | 基于文本的事件检测方法、装置、计算机设备及存储介质 |
WO2021042503A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技(深圳)有限公司 | 信息分类抽取方法、装置、计算机设备和存储介质 |
CN110597994A (zh) * | 2019-09-17 | 2019-12-20 | 北京百度网讯科技有限公司 | 事件元素识别方法和装置 |
CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
CN111382575A (zh) * | 2020-03-19 | 2020-07-07 | 电子科技大学 | 一种基于联合标注和实体语义信息的事件抽取方法 |
KR20210038853A (ko) * | 2020-03-19 | 2021-04-08 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이벤트 추출 방법, 이벤트 추출 장치 및 전자 기기 |
CN111401033A (zh) * | 2020-03-19 | 2020-07-10 | 北京百度网讯科技有限公司 | 事件抽取方法、事件抽取装置和电子设备 |
KR20210036318A (ko) * | 2020-03-20 | 2021-04-02 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이벤트 아규먼트 추출 방법, 장치 및 전자 기기 |
CN111475617A (zh) * | 2020-03-30 | 2020-07-31 | 招商局金融科技有限公司 | 事件主体抽取方法、装置及存储介质 |
CN111522915A (zh) * | 2020-04-20 | 2020-08-11 | 北大方正集团有限公司 | 中文事件的抽取方法、装置、设备及存储介质 |
CN111723568A (zh) * | 2020-05-21 | 2020-09-29 | 上海明略人工智能(集团)有限公司 | 一种事件抽取方法、装置和计算机可读存储介质 |
CN111723569A (zh) * | 2020-05-21 | 2020-09-29 | 上海明略人工智能(集团)有限公司 | 一种事件抽取方法、装置和计算机可读存储介质 |
CN111858878A (zh) * | 2020-06-18 | 2020-10-30 | 达而观信息科技(上海)有限公司 | 从自然语言文本中自动提取答案的方法、***及存储介质 |
CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
CN112084381A (zh) * | 2020-09-11 | 2020-12-15 | 广东电网有限责任公司 | 一种事件抽取方法、***、存储介质以及设备 |
CN112434536A (zh) * | 2020-11-06 | 2021-03-02 | 合肥讯飞数码科技有限公司 | 文档理解方法、设备和存储介质 |
CN112507700A (zh) * | 2020-11-26 | 2021-03-16 | 北京百度网讯科技有限公司 | 事件抽取方法、装置、电子设备及存储介质 |
CN112612885A (zh) * | 2020-12-18 | 2021-04-06 | 成都三零凯天通信实业有限公司 | 一种基于bert类模型的阅读理解式新闻文本事件抽取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113392213A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684478B (zh) | 分类模型训练方法、分类方法及装置、设备和介质 | |
CN110162593B (zh) | 一种搜索结果处理、相似度模型训练方法及装置 | |
CN109657054B (zh) | 摘要生成方法、装置、服务器及存储介质 | |
US9317594B2 (en) | Social community identification for automatic document classification | |
CN106709040B (zh) | 一种应用搜索方法和服务器 | |
US20160306800A1 (en) | Reply recommendation apparatus and system and method for text construction | |
JP2019504413A (ja) | 絵文字を提案するためのシステムおよび方法 | |
CN111222305A (zh) | 一种信息结构化方法和装置 | |
CN108885623A (zh) | 基于知识图谱的语意分析***及方法 | |
CN112860852A (zh) | 信息分析方法及装置、电子设备和计算机可读存储介质 | |
US10915756B2 (en) | Method and apparatus for determining (raw) video materials for news | |
CN112989208B (zh) | 一种信息推荐方法、装置、电子设备及存储介质 | |
CN113392331A (zh) | 文本处理方法及设备 | |
CN110019776B (zh) | 文章分类方法及装置、存储介质 | |
CN109522412A (zh) | 文本情感分析方法、装置及介质 | |
CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN110781428A (zh) | 评论展示方法、装置、计算机设备及存储介质 | |
CN111126067A (zh) | 实体关系抽取方法及装置 | |
CN113032520A (zh) | 信息分析方法及装置、电子设备和计算机可读存储介质 | |
EP4172807A1 (en) | Systems and methods for using artificial intelligence to evaluate lead development | |
CN113392213B (zh) | 事件抽取方法以及电子设备、存储装置 | |
CN114911931A (zh) | 一种基于bert对抗训练的比较句情感分析方法及*** | |
CN113204624B (zh) | 一种多特征融合的文本情感分析模型及装置 | |
CN114090793A (zh) | 信息抽取方法、装置、电子设备及计算机可读介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |