CN110674303A - 事件语句处理方法、装置、计算机设备和可读存储介质 - Google Patents
事件语句处理方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN110674303A CN110674303A CN201910948382.3A CN201910948382A CN110674303A CN 110674303 A CN110674303 A CN 110674303A CN 201910948382 A CN201910948382 A CN 201910948382A CN 110674303 A CN110674303 A CN 110674303A
- Authority
- CN
- China
- Prior art keywords
- event
- statement
- vectorization
- coding
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种事件语句处理方法、装置、计算机设备和可读存储介质,涉及数据处理技术领域。首先对事件语句中的每个单词进行映射,得到事件语句对应的向量化语句,对向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,得到深层向量化语句,再将深层向量化语句与向量化语句进行拼接,得到拼接后的语句向量,对语句向量进行编码,得到事件语句的编码特征,并利用训练得到的事件检测模型,对事件语句的编码特征进行解码,得到事件语句的事件主体,同时对事件语句的编码特征进行事件类型的检测,得到事件语句的事件类型,进而实现了同时对事件语句事件类型的检测以及对事件语句事件主体的抽取。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种事件语句处理方法、装置、计算机设备和可读存储介质。
背景技术
互联网上每天都会产生大量的数据,描述许多已经发生的事件。对发生的公共事件或者特定行业内所发生的事件进行区分和主体识别,不仅有助于实时把握事件的发展趋势以及整个行业的发展方向,也可辅助高层决策,降低风险,具有重要的实际应用价值和研究意义。目前,现有大多的方法都只进行事件类型的检测,并没有进行事件主体抽取,任务单一,不具备较强的实际应用价值。
发明内容
基于上述研究,本发明提供了一种事件语句处理方法、装置、计算机设备和可读存储介质。
本发明的实施例可以这样实现:
第一方面,本发明实施例提供一种事件语句处理方法,包括:
对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句;
对所述向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句;
将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量;
对所述语句向量进行编码,以得到所述事件语句的编码特征;
利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
在可选的实施方式中,所述将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句的步骤包括:
使用多头自注意力机制,将线性变换后的向量化语句复制到多个语义空间;
针对于每个所述语义空间,在该语义空间中,随机初始化得到一目标向量化语句,将该语义空间中的线性变换后的向量化语句与所述目标向量化语句进行第一矩阵运算,得到第一语义矩阵;
将所述第一语义矩阵与该语义空间中的线性变换后的向量化语句进行第二矩阵运算,得到第二语义矩阵;
将每个所述语义空间的第二语义矩阵进行拼接,得到所述深层向量化语句。
在可选的实施方式中,所述对所述语句向量进行编码,以得到所述事件语句的编码特征的步骤包括:
根据双向长短期记忆网络对所述语句向量进行编码,得到第一方向和第二方向的输出;
将所述第一方向和第二方向的输出进行拼接,得到所述事件语句的编码特征。
在可选的实施方式中,所述事件检测模型包括单向长短期记忆网络;
所述对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体的步骤包括:
利用所述单向长短期记忆网络对所述事件语句的编码特征进行解码,得到所述事件语句中每一个单词属于事件主体的概率;
根据所述事件语句中每一个单词属于事件主体的概率,得到所述事件语句的事件主体。
在可选的实施方式中,所述事件检测模型还包括卷积神经网络和全连接网络;
所述对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型的步骤包括:
根据所述卷积神经网络对所述事件语句的编码特征进行池化操作,得到池化操作后的编码特征;
将池化操作后的编码特征输入至所述全连接网络,得到所述事件语句属于每个事件类型的概率;
根据所述事件语句属于每个事件类型的概率,得到所述事件语句的事件类型。
在可选的实施方式中,所述事件检测模型通过以下步骤训练得到:
对训练数据集中的每个事件语句进行事件主体标记和事件类型标记,得到标记后的事件语句;
针对于每个所述标记后的事件语句,将该标记后的事件语句的编码特征输入至待训练的事件检测模型进行训练,并基于预设损失函数,通过反向传播算法对所述待训练的事件检测模型的参数进行调整,直到所述预设损失函数的输出小于预设阈值。
在可选的实施方式中,所述训练数据集中的每个事件语句的事件主体标记通过BIO标注方法实现。
第二方面,本发明实施例提供一种事件语句处理装置,所述装置包括映射模块、拼接模块、编码模块以及处理模块;
所述映射模块用于对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句,对所述向量化语句进行线性变换,并利用将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句;
所述拼接模块用于将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量;
所述编码模块用于对所述语句向量进行编码,以得到所述事件语句的编码特征;
所述处理模块用于利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
第三方面,本发明实施例提供一种计算机设备,包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行前述实施方式中任意一项所述的事件语句处理方法。
第四方面,本发明实施例提供一种可读存储介质,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行前述实施方式中任意一项所述的事件语句处理方法。
本发明实施例提供的事件语句处理方法、装置、计算机设备和可读存储介质,首先对事件语句中的每个单词进行映射,得到事件语句对应的向量化语句,对向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,得到深层向量化语句,再将深层向量化语句与向量化语句进行拼接,得到拼接后的语句向量,再得到语句向量后对语句向量进行编码,得到事件语句的编码特征,并利用训练得到的事件检测模型,对事件语句的编码特征进行解码,得到事件语句的事件主体,同时对事件语句的编码特征进行事件类型的检测,得到事件语句的事件类型,进而实现了同时对事件语句事件类型的检测以及对事件语句事件主体的抽取,具有较强的实际应用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的电子设备的一种方框示意图。
图2为本发明实施例所提供的事件语句处理方法的一种流程示意图。
图3为本发明实施例所提供的事件语句处理方法的另一种流程示意图。
图4为本发明实施例所提供的事件语句处理方法的又一种流程示意图。
图5为本发明实施例所提供的事件语句处理方法的又一种流程示意图。
图6为本发明实施例所提供的事件语句处理方法的又一种流程示意图。
图7为本发明实施例所提供的事件语句处理方法的又一种流程示意图。
图8为本发明实施例所提供的事件语句处理装置的一种方框示意图。
图标:100-电子设备;10-事件语句处理装置;11-映射模块;12-拼接模块;13-编码模块;14-处理模块;20-存储器;30-处理器;40-通信单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
互联网上每天都会产生大量的新闻数据,描述许多已经发生的事件。但由于事件种类繁多,无法快速而且准确地分辨事件的类型以及事件中的主体。其中,事件主体是指事件发生的主要参与方,也是与该事件联系最为紧密的一方,事件类型是指不同的事件所属的类别,比如在金融领域有“实控人股东变更”,“信批违规”,“财务造假”等事件类型。
目前,现有对事件语句处理的方法,大多都是基于图神经网络或者基于深度学习和注意力机制,但是现有的方法大多只进行事件类型的检测,并没有进行事件主体抽取,任务单一,不具备较强的实际应用价值。
并且,现有的方法,大多都使用特定的自然语言处理工具,例如Jieba,语言技术平台(LTP),standfordNLP等,首先对句子进行分词,建立依存树,然后再将这些特征输入模型进行处理,一方面处理的过程繁琐,另一方面,这些自然语言处理工具在处理的过程中本身具有一定的误差,因此在后续建模分析的过程中会存在误差累积的问题。
基于上述研究,本发明实施例提供一种事件语句处理方法,以改善上述问题。
请参阅图1,本发明实施例提供的事件语句处理方法,应用于图1所示的电子设备100,由所述电子设备100执行本实施例所提供的事件语句处理方法。在本实施例中,所述电子设备100可以是,但不限于,个人电脑(Personal Computer,PC)、笔记本电脑、个人数字助理(Personal Digital Assistant,PDA)或服务器等具有处理能力的电子设备100。
所述电子设备100包括事件语句处理装置10、存储器20、处理器30以及通信单元40;所述存储器20、处理器30以及通信单元40各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互直接可通过一条或多条通讯总线或信号线实现电性连接。所述事件语句处理装置10包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器20中的软件功能模块,所述处理器30通过运行存储在存储器20内的软件程序以及模块,从而执行各种功能应用以及数据处理。
所述存储器20可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
所述处理器30可以是一种集成电路芯片,具有信号的处理能力。所述处理器30可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等。
所述通信单元40用于通过网络建立所述电子设备100与其他外部设备之间的通信连接,并通过所述网络进行数据传输。
可以理解,图1所示的结构仅为示意,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的架构图,请结合参阅图2,图2为本实施例所提供的事件语句处理方法的流程示意图,由图1所示的电子设备执行,下面对图2所示的流程示意图进行详细阐述。
步骤S10:对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句。
其中,由于计算机等电子设备,无法直接处理中文,因此,需要将事件语句中的每个单词转化为数字的映射,得到每个单词的向量化表示,然后将每个单词的向量化表示进行合并,即可得到事件语句对应的向量化语句。
作为一种可选的实施方式,本实施例可通过word2vector模型对事件语句中的每个单词进行映射,得到事件语句对应的向量化语句。在此之前,本实施所提供的事件语句处理方法,首先利用word2vector模型预先对大量的数据进行训练,得到每个单词对应的向量,然后根据每个单词对应的向量,则可得到事件语句对应的向量化语句。
例如,给定的大量的数据中一共有20000个不同的单词,每个单词设定300个维度,即对每一个字随机初始化一个长度为300的向量,如[0.01,0.002,0.0123,0.09,...0.023]300,则可得到一个维度为[20000,300]的向量,进而得到每个单词的向量。针对这20000个单词,每个单词对应一个唯一的编号,如“我”对应编号3,“他”对应编号4,“赢”对应编号为987,“了”对应编号234......那么对于一个语句“我赢了”中每个单词对应的编号即分别为3,987,234,在得到该语句中每个单词对应的编号后,则可从20000个字中分别找到编号为3的向量,编号为987的向量,编号为234的向量,然后将编号为3的向量,编号为987的向量,编号为234的向量合并起来,则可得到该语句对应的向量话语句。作为一种可选的实施方式,每个单词对应的向量也可直接采用已训练好的公开的数据,然后对已训练好的公开的数据进行微调。
步骤S20:对所述向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句。
步骤S30:将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量。
步骤S40:对所述语句向量进行编码,以得到所述事件语句的编码特征。
其中,在得到事件语句对应的向量化语句后,对该向量化语句进行线性变换,再将线性变换后的向量化语句映射到多个语义空间进行处理,用以捕获不同子空间的相关信息,从而得到更加丰富的深层向量化语句。
在得到深层向量化语句后,将该向量化语句与该深层向量化语句进行拼接,得到一个新的向量,即语句向量,再对该语句向量进行编码,即可得到该事件语句的编码特征。
步骤S50:利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
其中,在得到事件语句的编码特征后,分为两路处理,一路是对事件语句的编码特征进行解码,得到事件语句的事件主体,另一路则是基于事件语句的编码特征,检测该事件语句的事件类型,得到该事件语句的事件类型,由此实现事件语句的事件主体的抽取以及事件类型的检测。
本实施例提供的事件语句处理方法通过对事件语句事件类型的检测以及对事件主体的抽取,实现了多任务的进行,同时也可获得更加有用的信息,具有较强的实际应用价值,且本实施例提供的事件语句处理方法,在进行对事件语句事件类型的检测以及对事件主体的抽取时,直接对事件语句中的每个单词进行映射,无需使用现有的自然语言处理工具对语句进行分词等处理,使得操作更为简单,也避免了因使用自然语言处理工具而导致的误差累积的问题,同时也更加符合真实应用场景。
在上述基础上,请结合参阅图3,作为一种可选实施方式,所述将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句的步骤包括步骤S21至步骤S24。
步骤S21:使用多头自注意力机制,将线性变换后的向量化语句复制到多个语义空间。
其中,多头自注意力机制(Multi-head自注意力机制)是指将计算得到的结果划分为多个中间结果,并对每个中间结果采用自注意力机制,从而将计算得到的结果映射到多个语义空间,用以捕获不同子空间的相关信息,得到更加丰富的深层向量化语句,从而使最终结果更为精确。
在具体地实施方式中,本实施例所提供的事件语句处理方法,使用多头自注意力机制,将线性变换后的向量化语句复制到多个语义空间,例如,线性变换后的向量化语句是一个维度为[B,S,D]的向量,其中B为batch_size,S为句子长度,D为隐层维度,若B=1,该事件语句的长度为3,D=64,则该线性变换后的向量化语句为[3,64]的向量,将其复制N份,即成为N个语义空间,其中,N为multi-head的个数,可自定义设置。
相较于现有技术,采用分割的方式在有限的范围内对语义空间进行划分,提取有限的特征信息(例如,对于给定一个[3,512]的向量,分割为8个语义空间时,每个只能为[3,64]),而本实施通过复制的方式对语义空间进行划分,其数量可以随意设置,进而本实施可获取更多的特征,捕获到更多子空间的相关信息,得到更加丰富的深层向量化语句。
步骤S22:针对于每个所述语义空间,在该语义空间中,随机初始化得到一目标向量化语句,将该语义空间中的线性变换后的向量化语句与所述目标向量化语句进行第一矩阵运算,得到第一语义矩阵。
在本实施例中,第一矩阵运算为:MGT,其中,M为线性变换后的向量化语句,G为随机初始化后得到的向量化语句,即目标向量化语句,可选的,在本实施例中,目标向量化语句与线性变换后的向量化语句的维度相同,MGT即表示线性变换后的向量化语句乘以目标向量化语句的转置。
例如,线性变换后的向量化语句为[3,64]的向量,将其复制N份,每一份仍是[3,64]的向量,即M,在每一个语义空间内,随机初始化得到的目标向量化语句为G,G与线性变换后的向量化语句M的维度相同,进而通过第一矩阵运算MGT,即可得到一个维度为[3,3]的矩阵,该矩阵即为第一语义矩阵。
步骤S23:将所述第一语义矩阵与该语义空间中的线性变换后的向量化语句进行第二矩阵运算,得到第二语义矩阵。
在本实施例中,第二矩阵运算为:HM,其中,H为第一语义矩阵,HM即表示第一语义矩阵乘以线性变换后的向量化语句。
例如,线性变换后的向量化语句M为[3,64]的向量,通过第一矩阵运算MGT后,得到的第一语义矩阵H为维度为[3,3]的矩阵,通过第二矩阵运算HM,即可得到一个新的[3,64]的矩阵,该矩阵则为第二语义矩阵。
步骤S24:将每个所述语义空间的第二语义矩阵进行拼接,得到所述深层向量化语句。
其中,基于上述步骤,得到每个语义空间的第二语义矩阵后,将每个语义空间的第二语义矩阵进行拼接,即得到深层向量化语句。例如,每个语义空间得到的第二语义矩阵为[3,64],假设N=8,即有8个语义空间,则可以得到8个维度为[3,64]的矩阵,将8个维度为[3,64]的矩阵进行拼接后则得到一个维度为[3,512]的矩阵,[3,512]的矩阵即为本实施例所述的深层向量化语句。
本实施例通过将线性变换后的向量化语句映射到多个语义空间进行处理,捕获了不同子空间的相关信息,进而可得到更加丰富的深层向量化语句,提高了后续工作的处理效率。
作为一种可选的实施方式,请结合参阅图4,所述对所述语句向量进行编码,以得到所述事件语句的编码特征的步骤包括步骤S41至步骤S42。
步骤S41:根据双向长短期记忆网络对所述语句向量进行编码,得到第一方向和第二方向的输出。
步骤S42:将所述第一方向和第二方向的输出进行拼接,得到所述事件语句的编码特征。
其中,双向长短期记忆网络(Long Short-Term Memory,LSTM)一般由两个普通的神经网络所组成,一个为正方向的神经网络,利用过去的信息,一个为逆序的神经网络,利用未来的信息。因此,通过双向长短期记忆网络对语句向量进行编码,即可得到两个方向上的输出,即第一方向和第二方向的输出。
在得到第一方向和第二方向的输出后,将第一方向和第二方向的输出进行拼接,即可得到最终的编码结果,即事件语句的编码特征。例如,通过双向长短期记忆网络得到的输出,维度均为[B,S,D],其中B为batch_size,S为句子长度,D为该层设定的隐层节点数,假设为300,将两个方向的输出进行拼接后就成了一个维度为[B,S,600]的矩阵,该矩阵则为事件语句的编码特征。
在得到事件语句的编码特征后,即可将事件语句的编码特征输入到已训练好的事件检测模型中,得到事件语句的事件主体与事件类型。
在进一步的实施方式中,请结合参阅图5,所述事件检测模型通过步骤S60至步骤S70训练得到:
S60:对训练数据集中的每个事件语句进行事件主体标记和事件类型标记,得到标记后的事件语句。
其中,针对训练数据集中的每个事件语句的事件主体进行序列标注,作为一种可选的实施方式,本实施例通过BIO标注方法对训练数据集中每个事件语句的事件主体进行标记。其中BIO标注方法中,B表示begin,即开始,I表示inside,即中间,O表示other,即其他。对于一个事件语句的事件主体则用B和I进行标记,例如,若某事件语句为“A公司已经资不抵债将进行破产重整”,其中A公司为该事件语句的事件主体,则将A公司三个字依次标记为B,I,I,即将“A”标记B,将“公”标记为I,“司”标记为I,而该事件语句中的字则全部标记为O。
对训练数据集中的每个事件语句的事件类型进行标记时,可将事件类型与数字进行对应,即,一个事件类型对应于一个数字,例如,训练数据集中的事件语句存在5种事件类型,则可将这5种事件类型分别标记为[0,1,2,3,4]。例如,财务造假类型对应标记5,而某事件语句属于财务造假类型,则对该事件语句标记为5。
在将训练数据集中的每个事件语句的事件类型和事件主体标记完成后,根据步骤S10至步骤S40,获得每个标记后的事件语句的编码特征。
S70:针对于每个所述标记后的事件语句,将该标记后的事件语句的编码特征输入至待训练的事件检测模型进行训练,并基于预设损失函数,通过反向传播算法对所述待训练的事件检测模型的参数进行调整,直到所述预设损失函数的输出小于预设阈值。
其中,本实施例所提供的待训练的事件检测模型包括单向长短期记忆网络、卷积神经网络和全连接网络,在获得每个标记后的事件语句的编码特征后,将每个标记后的事件语句的编码特征输入至待训练的事件检测模型中进行训练。
针对每个标记后的事件语句的编码特征,将该标记后的事件语句的编码特征输入至待训练的事件检测模型中后,分为两路对该标记后的事件语句的编码特征进行处理,一路进行事件类型的检测,一路进行事件主体的抽取。
具体地,利用单向长短期记忆网络即可对该标记后的事件语句的编码特征进行解码,输出该标记后的事件语句中每一个单词属于每个标记类型的概率,即输出每一个单词分别属于标记B,标记I,标记O的概率。对于每个单词,最大概率值所对应的标记,即属于该单词的标记,例如,对于某单词,其输出概率分别为0.5,0.3,0.2,其中,0.5对应B标记,0.3对应I标记,0.2对应O标记,则该单词的标记为B标记。
同时利用卷积神经网络对该标记后的事件语句的编码特征进行池化操作,然后将池化操作后的编码特征输入至全连接网络进行事件类型的判定,全连接网络的输出即为该标记后的事件语句属于每个事件类型的概率,其中,最大概率值所对应的类型,则为该标记后的事件语句的事件类型。例如,对于某标记后的事件语句,输出属于事件类型0的概率为0.3,属于事件类型1的概率为0.1,属于事件类型2的概率为0.4,属于事件类型3的概率为0.15,属于事件类型4的概率为0.05,则该标记后的事件语句为事件类型2。
在计算输出标记后的事件语句的事件类型以及事件语句中每个单词的标记后,将计算输出的事件类型与训练数据集中该标记后的事件语句中标记的事件类型进行比对,得到第一误差,将计算输出的每个单词的标记与训练数据中该标记后的事件语句中每个单词的标记进行比对,得到第二误差,将第一误差和第二误差进行累加,得到总误差,再基于预设损失函数,通过反向传播算法将总误差反向传播,对待训练的事件检测模型的参数进行调整,直到预设损失函数的输出小于预设阈值,事件检测模型训练结束。
在得到训练好的事件检测模型后,针对待处理的事件语句,在得到待处理的事件语句的编码特征后,即可将该事件语句的编码特征输入到训练好的事件检测模型进行处理。具体地,请结合参阅图6和图7,所述对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体的步骤包括步骤S51至步骤S52。所述对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型的步骤包括步骤S53至步骤S55。
步骤S51:利用所述单向长短期记忆网络对所述事件语句的编码特征进行解码,得到所述事件语句中每一个单词属于事件主体的概率。
步骤S52:根据所述事件语句中每一个单词属于事件主体的概率,得到所述事件语句的事件主体。
其中,将事件语句的编码特征输入到训练好的事件检测模型中后,通过单向长短期记忆网络即可对事件语句的编码特征进行解码后,可得到该事件语句中每一个单词属于每个标记的概率,以B标记为开头,I标记为结尾,先选取B标记在三个标记中的概率值为最大的单词,然后选取I标记在三个标记中的概率值为最大的单词,将选取得到的单词进行组合作为事件语句的事件主体,即以B_I_I的格式选取单词。
例如,将某事件语句“A公司已经资不抵债将进行破产重整”的编码特征输入到训练好的事件检测模型后,输出“A”属于每个标记的概率分别为0.5,0.3,0.2,得出“A”为B标记;输出“公”属于每个标记的概率分别为0.3,0.4,0.3,得出“公”为I标记;输出“司”属于每个标记的概率分别为0.2,0.5,0.3,得出“司”为I标记;输出“已”属于每个标记的概率分别为0.3,0.1,0.6,得出“已”为O标记;输出“经”属于每个标记的概率分别为0.1,0.1,0.8,得出“经”为O标记......则该事件语句抽取得到事件主体为“A公司”。
又例如,将某事件语句“今年A公司已经资不抵债将进行破产重整”的编码特征输入到训练好的事件检测模型后,输出“今”属于每个标记的概率分别为0.5,0.3,0.2,得出“今”为B标记;输出“年”属于每个标记的概率分别为0.2,0.1,0.7,得出“年”为O标记;输出“A”属于每个标记的概率分别为0.5,0.3,0.2,得出“A”为B标记;输出“公”属于每个标记的概率分别为0.3,0.4,0.3,得出“公”为I标记;输出“司”属于每个标记的概率分别为0.2,0.5,0.3,得出“司”为I标记;输出“已”属于每个标记的概率分别为0.3,0.1,0.6,得出“已”为O标记......则该事件语句抽取得到事件主体为“A公司”,其中“今”字不进行抽取。
步骤S53:根据所述卷积神经网络对所述事件语句的编码特征进行池化操作,得到池化操作后的编码特征。
步骤S54:将池化操作后的编码特征输入至所述全连接网络,得到所述事件语句属于每个事件类型的概率。
步骤S55:根据所述事件语句属于每个事件类型的概率,得到所述事件语句的事件类型。
其中,将事件语句的编码特征输入到训练好的事件检测模型中后,通过卷积神经网络对该事件语句的编码特征进行池化操作,然后将池化操作后的编码特征输入至全连接网络进行事件类型的判定,全连接网络的输出即为该事件语句属于每个事件类型的概率,选取最大概率值所对应的类别作为该事件语句的事件类型。
本实施例所提供的事件语句处理方法,在得到事件语句的编码特征后,将事件语句的编码特征输入到训练好的事件检测模型中进行处理,即可快速且准确地得到事件语句的事件主体和事件类型,例如,将某事件语句“小明涉嫌财务造假”的编码特征输入至事件检测模型中,即可输出该事件语句的事件主体为小明,事件类型为财务造假。
在上述基础上,请结合参阅图8,本实施例还提供一种事件语句处理装置10,所述事件语句处理装置10包括映射模块11、拼接模块12、编码模块13以及处理模块14。
所述映射模块11用于对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句,对所述向量化语句进行线性变换,并利用将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句。
所述拼接模块12用于将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量。
所述编码模块13用于对所述语句向量进行编码,以得到所述事件语句的编码特征。
所述处理模块14用于利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的事件语句处理装置10的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
在上述基础上,本实施例还提供一种计算机设备,包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备上述所述的事件语句处理方法。
在上述基础上,本实施例还提供一种可读存储介质,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行上述所述的事件语句处理方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的计算机设备和可读存储介质的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上,本发明实施例提供的事件语句处理方法、装置、计算机设备和可读存储介质,首先对事件语句中的每个单词进行映射,得到事件语句对应的向量化语句,对向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,得到深层向量化语句,再将深层向量化语句与向量化语句进行拼接,得到拼接后的语句向量,再得到语句向量后对语句向量进行编码,得到事件语句的编码特征,并利用训练得到的事件检测模型,对事件语句的编码特征进行解码,得到事件语句的事件主体,同时对事件语句的编码特征进行事件类型的检测,得到事件语句的事件类型,进而实现了同时对事件语句事件类型的检测以及对事件语句事件主体的抽取,具有较强的实际应用价值。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种事件语句处理方法,其特征在于,包括:
对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句;
对所述向量化语句进行线性变换,并将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句;
将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量;
对所述语句向量进行编码,以得到所述事件语句的编码特征;
利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
2.根据权利要求1所述的事件语句处理方法,其特征在于,所述将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句的步骤包括:
使用多头自注意力机制,将线性变换后的向量化语句复制到多个语义空间;
针对于每个所述语义空间,在该语义空间中,随机初始化得到一目标向量化语句,将该语义空间中的线性变换后的向量化语句与所述目标向量化语句进行第一矩阵运算,得到第一语义矩阵;
将所述第一语义矩阵与该语义空间中的线性变换后的向量化语句进行第二矩阵运算,得到第二语义矩阵;
将每个所述语义空间的第二语义矩阵进行拼接,得到所述深层向量化语句。
3.根据权利要求1所述的事件语句处理方法,其特征在于,所述对所述语句向量进行编码,以得到所述事件语句的编码特征的步骤包括:
根据双向长短期记忆网络对所述语句向量进行编码,得到第一方向和第二方向的输出;
将所述第一方向和第二方向的输出进行拼接,得到所述事件语句的编码特征。
4.根据权利要求1所述的事件语句处理方法,其特征在于,所述事件检测模型包括单向长短期记忆网络;
所述对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体的步骤包括:
利用所述单向长短期记忆网络对所述事件语句的编码特征进行解码,得到所述事件语句中每一个单词属于事件主体的概率;
根据所述事件语句中每一个单词属于事件主体的概率,得到所述事件语句的事件主体。
5.根据权利要求1所述的事件语句处理方法,其特征在于,所述事件检测模型还包括卷积神经网络和全连接网络;
所述对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型的步骤包括:
根据所述卷积神经网络对所述事件语句的编码特征进行池化操作,得到池化操作后的编码特征;
将池化操作后的编码特征输入至所述全连接网络,得到所述事件语句属于每个事件类型的概率;
根据所述事件语句属于每个事件类型的概率,得到所述事件语句的事件类型。
6.根据权利要求1所述的事件语句处理方法,其特征在于,所述事件检测模型通过以下步骤训练得到:
对训练数据集中的每个事件语句进行事件主体标记和事件类型标记,得到标记后的事件语句;
针对于每个所述标记后的事件语句,将该标记后的事件语句的编码特征输入至待训练的事件检测模型进行训练,并基于预设损失函数,通过反向传播算法对所述待训练的事件检测模型的参数进行调整,直到所述预设损失函数的输出小于预设阈值。
7.根据权利要求6所述的事件语句处理方法,其特征在于,所述训练数据集中的每个事件语句的事件主体标记通过BIO标注方法实现。
8.一种事件语句处理装置,其特征在于,所述装置包括映射模块、拼接模块、编码模块以及处理模块;
所述映射模块用于对事件语句中的每个单词进行映射,得到所述事件语句对应的向量化语句,对所述向量化语句进行线性变换,并利用将线性变换后的向量化语句映射到多个语义空间进行处理,以得到深层向量化语句;
所述拼接模块用于将所述深层向量化语句与所述向量化语句进行拼接,得到拼接后的语句向量;
所述编码模块用于对所述语句向量进行编码,以得到所述事件语句的编码特征;
所述处理模块用于利用训练得到的事件检测模型,对所述事件语句的编码特征进行解码,得到所述事件语句的事件主体,并对所述事件语句的编码特征进行事件类型的检测,得到所述事件语句的事件类型。
9.一种计算机设备,其特征在于,包括处理器及存储有计算机指令的非易失性存储器,所述计算机指令被所述处理器执行时,所述计算机设备执行权利要求1-7中任意一项所述的事件语句处理方法。
10.一种可读存储介质,其特征在于,所述可读存储介质包括计算机程序,所述计算机程序运行时控制所述可读存储介质所在计算机设备执行权利要求1-7中任意一项所述的事件语句处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910948382.3A CN110674303B (zh) | 2019-09-30 | 2019-09-30 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910948382.3A CN110674303B (zh) | 2019-09-30 | 2019-09-30 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674303A true CN110674303A (zh) | 2020-01-10 |
CN110674303B CN110674303B (zh) | 2022-03-01 |
Family
ID=69080639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910948382.3A Active CN110674303B (zh) | 2019-09-30 | 2019-09-30 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674303B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368551A (zh) * | 2020-02-14 | 2020-07-03 | 京东数字科技控股有限公司 | 一种确定事件主体的方法和装置 |
CN111814640A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事直播事件的检测和信息提取方法及*** |
CN112036168A (zh) * | 2020-09-02 | 2020-12-04 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
CN113761132A (zh) * | 2021-09-09 | 2021-12-07 | 上海明略人工智能(集团)有限公司 | 一种事件检测方法、***、电子设备及存储介质 |
CN114462418A (zh) * | 2021-12-31 | 2022-05-10 | 粤港澳大湾区数字经济研究院(福田) | 事件检测方法、***、智能终端及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120278336A1 (en) * | 2011-04-29 | 2012-11-01 | Malik Hassan H | Representing information from documents |
CN107122416A (zh) * | 2017-03-31 | 2017-09-01 | 北京大学 | 一种中文事件抽取方法 |
CN107239445A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络的新闻事件抽取的方法及*** |
CN108628823A (zh) * | 2018-03-14 | 2018-10-09 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
CN110134757A (zh) * | 2019-04-19 | 2019-08-16 | 杭州电子科技大学 | 一种基于多头注意力机制的事件论元角色抽取方法 |
CN110209807A (zh) * | 2018-07-03 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种事件识别的方法、模型训练的方法、设备及存储介质 |
CN110209816A (zh) * | 2019-05-24 | 2019-09-06 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、***、装置 |
-
2019
- 2019-09-30 CN CN201910948382.3A patent/CN110674303B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120278336A1 (en) * | 2011-04-29 | 2012-11-01 | Malik Hassan H | Representing information from documents |
CN107122416A (zh) * | 2017-03-31 | 2017-09-01 | 北京大学 | 一种中文事件抽取方法 |
CN107239445A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络的新闻事件抽取的方法及*** |
CN108628823A (zh) * | 2018-03-14 | 2018-10-09 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
CN110209807A (zh) * | 2018-07-03 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种事件识别的方法、模型训练的方法、设备及存储介质 |
CN110134757A (zh) * | 2019-04-19 | 2019-08-16 | 杭州电子科技大学 | 一种基于多头注意力机制的事件论元角色抽取方法 |
CN110209816A (zh) * | 2019-05-24 | 2019-09-06 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、***、装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368551A (zh) * | 2020-02-14 | 2020-07-03 | 京东数字科技控股有限公司 | 一种确定事件主体的方法和装置 |
CN111368551B (zh) * | 2020-02-14 | 2023-12-05 | 京东科技控股股份有限公司 | 一种确定事件主体的方法和装置 |
CN111814640A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事直播事件的检测和信息提取方法及*** |
CN112036168A (zh) * | 2020-09-02 | 2020-12-04 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
WO2022048194A1 (zh) * | 2020-09-02 | 2022-03-10 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
CN112036168B (zh) * | 2020-09-02 | 2023-04-25 | 深圳前海微众银行股份有限公司 | 事件主体识别模型优化方法、装置、设备及可读存储介质 |
CN113761132A (zh) * | 2021-09-09 | 2021-12-07 | 上海明略人工智能(集团)有限公司 | 一种事件检测方法、***、电子设备及存储介质 |
CN113761132B (zh) * | 2021-09-09 | 2024-03-19 | 上海明略人工智能(集团)有限公司 | 一种事件检测方法、***、电子设备及存储介质 |
CN114462418A (zh) * | 2021-12-31 | 2022-05-10 | 粤港澳大湾区数字经济研究院(福田) | 事件检测方法、***、智能终端及计算机可读存储介质 |
CN114462418B (zh) * | 2021-12-31 | 2023-04-07 | 粤港澳大湾区数字经济研究院(福田) | 事件检测方法、***、智能终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110674303B (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674303B (zh) | 事件语句处理方法、装置、计算机设备和可读存储介质 | |
CN112464641B (zh) | 基于bert的机器阅读理解方法、装置、设备及存储介质 | |
CN114372477B (zh) | 文本识别模型的训练方法、文本识别方法及装置 | |
JP6955580B2 (ja) | 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体 | |
CN111241304B (zh) | 基于深度学习的答案生成方法、电子装置及可读存储介质 | |
CN111475617B (zh) | 事件主体抽取方法、装置及存储介质 | |
CN114218403B (zh) | 基于知识图谱的故障根因定位方法、装置、设备及介质 | |
CN112860919B (zh) | 基于生成模型的数据标注方法、装置、设备及存储介质 | |
CN112949320B (zh) | 基于条件随机场的序列标注方法、装置、设备及介质 | |
CN113486178B (zh) | 文本识别模型训练方法、文本识别方法、装置以及介质 | |
CN112686049A (zh) | 文本审核方法、装置、设备及存储介质 | |
CN113947095B (zh) | 多语种文本翻译方法、装置、计算机设备及存储介质 | |
CN113688631A (zh) | 一种嵌套命名实体识别方法、***、计算机和存储介质 | |
CN113239702A (zh) | 意图识别方法、装置、电子设备 | |
CN112085091A (zh) | 基于人工智能的短文本匹配方法、装置、设备及存储介质 | |
CN111428757A (zh) | 模型训练方法、异常数据检测方法、装置和电子设备 | |
CN111126056B (zh) | 一种识别触发词的方法及装置 | |
CN115544560A (zh) | 一种敏感信息的脱敏方法、装置、计算机设备及存储介质 | |
CN117807482B (zh) | 海关报关单的分类方法、装置、设备及存储介质 | |
CN111091004A (zh) | 一种语句实体标注模型的训练方法、训练装置及电子设备 | |
CN112417886A (zh) | 意图实体信息抽取方法、装置、计算机设备及存储介质 | |
CN116089605A (zh) | 基于迁移学习和改进词袋模型的文本情感分析方法 | |
CN115270792A (zh) | 一种医疗实体识别方法及装置 | |
CN114912441A (zh) | 文本纠错模型生成方法、纠错方法、***、设备和介质 | |
CN115249017B (zh) | 文本标注方法、意图识别模型的训练方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220615 Address after: 15, second floor, east side of clean coal workshop, No. 68, Shijingshan Road, Shijingshan District, Beijing 100043 (cluster registration) Patentee after: Beijing Zhizhi Heshu Technology Co.,Ltd. Address before: No.310, building 4, courtyard 8, Dongbei Wangxi Road, Haidian District, Beijing Patentee before: MININGLAMP SOFTWARE SYSTEMS Co.,Ltd. |