CN113326371A - 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法 - Google Patents

一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法 Download PDF

Info

Publication number
CN113326371A
CN113326371A CN202110480675.0A CN202110480675A CN113326371A CN 113326371 A CN113326371 A CN 113326371A CN 202110480675 A CN202110480675 A CN 202110480675A CN 113326371 A CN113326371 A CN 113326371A
Authority
CN
China
Prior art keywords
model
event
training
data
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110480675.0A
Other languages
English (en)
Other versions
CN113326371B (zh
Inventor
李书棋
高阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Original Assignee
Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd, Nanjing University filed Critical Jiangsu Wanwei Aisi Network Intelligent Industry Innovation Center Co ltd
Priority to CN202110480675.0A priority Critical patent/CN113326371B/zh
Publication of CN113326371A publication Critical patent/CN113326371A/zh
Application granted granted Critical
Publication of CN113326371B publication Critical patent/CN113326371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，属于计算机技术领域。方法使用综合知识辅助模型进行判断，通过引入海量文本预训练而成，包含了大量语义语法知识信息的预训练语言模型作为事件抽取模型的网络结构单元，并使用混合抗噪声干扰的远程监督特征的模型算法，加入圆形约束条件下的梯度方向对抗干扰训练，该方法不仅能表示更加丰富的文本信息，同时也能在引入远程监督特征时，通过对抗干扰训练，增加模型对噪声误差的抵抗能力。

Description

一种融合预训练语言模型与抗噪声干扰远程监督信息的事件 抽取方法
技术领域
本发明涉及一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，特别是涉及计算机数据处理技术领域。
背景技术
随着互联网时代下信息化建设的不断深化，海量互联网信息呈现出爆发式的增长，如何利用互联网信息辅助行业决策的制定，成为企业甚至政府国家当下关注的重点。来自互联网的信息往往以文字的形式出现，通常来自新闻文稿、论坛回复等渠道，一般呈现出无结构、多冗余的特性，需要加以阅读理解定位到文字中的关键信息，过滤无关内容。事件抽取即是将非机构化文本的数据内容以结构化的形式进行呈现，将文字中的表达关键意图以事件为单位进行提取，将无结构的文字信息转换为机构化的事件信息，进而用于后续的趋势分析、事理知识图谱建立、舆情消息预警等一系列工作之中，是信息提取工程中重要的一环。
传统的事件提取往往依赖于人工的全面参与，面对海量的互联网资讯信息，传统的事件分析借助人工在庞大的文章报告中阅读查找相关信息数据，并进行整理记录,需要消耗大量人力资源。为解决信息结构化的过程中消耗大量人力的问题，近年来提出使用机器学习的方式对事件模式进行识别提取。机器学习的方式通过识别文字中的事件模式，将符合该模式的文本片段以结构化的方式进行提取，能够实现批量化的机器文本处理，大大改善了人工阅读提取文字结构化信息中的效率问题。但传统机器学习事件模式模板的制定依旧需要依赖领域内专家的知识，借助深度学习通过标注过的数据，自动学习相应的事件模式特征，成为了近年来事件结构化抽取的新方向。考虑到互联网信息庞大，内容种类复杂繁多，提高深度学习模型在不同事件间的迁移和泛化能力，成为了互联网事件信息抽取的一个难题。通常做法是使用远程监督的方式，引入外部的知识辅助模型的预测。远程监督算法假设：对于一个已有的知识图谱中的一个结构化事件，假设外部知识库中任何包含其中实体的句子，在一定程度上都反映了这种关系。基于这个假设，远程监督算法可以基于一个标注好的小型知识图谱，给外部文档库中的句子标注关系标签，相当于做了样本的自动标注，因此是一种半监督的算法。但远程监督除了带来外部的知识信息外，同时也会带来错误的指导信息，引入了噪声的干扰影响模型的判断的准确性。RNN和CNN在文本表示能力上存在的不足也影响了事件的预测提取。因此，研究如何使用表达能力更强的神经网络模型和使用外部知识辅助深度模型进行事件结构化抽取，并同时减少误差噪声干扰是需要考虑的问题。
发明内容
发明目的：一个目的是提出一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，以解决现有技术存在的上述问题，丰富文本信息的同时，通过对抗干扰训练，增加模型对噪声误差的抵抗能力。
技术方案：第一方面，提出了一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，该方法包括如下步骤：
步骤1、训练数据语料采集，通过爬虫获取的互联网文本数据，将文本形式的数据通过爬虫以.txt文件形式进行存储。
步骤2、对标注数据进行预处理操作，包括去除html标签和特殊符号，将文本以句子或段落的形式进行分割为短文本。
步骤3、根据事件定义对文本存在事件的事件触发词、主体、客体、时间、地点、事件类型进行标注，并将标注的数据补充加入远程监督知识库，完成数据的标注；将标注后的数据和远程监督知识库进行匹配，将匹配成功的触发词加入该样本的远程监督信息中，并按照7：1：2的比例分为训练集、验证集和测试集。
步骤4、对事件抽取的事件检测和事件参与元素提取两个阶段分别进行模型的构建。
步骤5、使用训练数据进行事件抽取模型的训练，并通过验证数据集和测试数据集评估训练的好坏，通过多轮的迭代，选择表现最优的模型进行使用。
步骤6、使用训练好的模型对新的无标注互联网文本数据进行事件的预测和提取，对新的文本在经过数据预处理清洗后，先将其与远程监督知识库进行匹配，将同时在远程知识库和新的待预测文本中出现的触发词，加入到文本的远程特征当中，输入模型预测事件的触发类型和相关的事件参与元素。
在第一方面的一些可实现方式中，所述事件抽取模型的构建具体步骤为：
通过自注意力机制进行语言建模，使用多头注意力捕捉文本中多角度的特征信息；
通过一个双层的神经网络FFN进行特征转换提取，采用ReLU做为激活函数层，并使用层归一化进行特征归一化处理；
利用残差连接的方式结合预训练模型的各个层，通过循环迭代，得到预训练模型提取的特征；
将远程监督触发词出现的位置使用该触发词在远程监督库中的类型编号进行标注，得到一个离散的序列特征，通过远程监督嵌入层，映射到低维空间；
将预训练模型提取的特征和远程监督特征进行拼接；
在远程监督嵌入层进行学习和参数更新的过程中，加入梯度方向的扰动，计算模型反向传播在远程监督特征嵌入层的梯度；
保留远程监督特征嵌入层原始参数，使用得到的扰动步长添加对抗扰动，再重新进行一次前向和反向传播，得到新的梯度；
恢复远程监督特征嵌入层原始参数，使用添加扰动后的新梯度进行模型整体参数更新；
重复多次训练过程，选取结果最好的模型进行使用；
将新的互联网文本数据通过预处理，输入模型；
预测是否出现事件，检测出现事件时，提取结构化事件元素。
有益效果：本发明提出了一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，通过结合预训练语言模型与远程监督信息进行自动事件结构化抽取，并通过加入扰动对抗训练的方式，在引入外部知识提高模型效果的同时，有效缓解远程监督带来的误差噪声信息，提高了事件抽取的效果。综合知识辅助模型进行判断，通过引入海量文本预训练而成，包含了大量语义语法知识信息的预训练语言模型作为事件抽取模型的网络结构单元，并使用混合抗噪声干扰的远程监督特征的模型算法，该方法不仅能表示更加丰富的文本信息，同时也能在引入远程监督特征时，通过对抗干扰训练，增加模型对噪声误差的抵抗能力。
附图说明
图1是一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法模型结构图。
图2是一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法注意力机制特征提取示意图。
图3是一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法远程监督特征层结构图。
图4是一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法实验效果图。
图5是一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法加入圆形约束的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，本发明提出了一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，该方法包括如下步骤：
步骤1、训练数据语料采集，通过爬虫获取的互联网文本数据，将文本形式的数据通过爬虫以.txt文件形式进行存储。
步骤2、对标注数据进行预处理操作，包括去除html标签和特殊符号，将文本以句子或段落的形式进行分割为短文本。
步骤3、根据事件定义对文本存在事件的事件触发词、主体、客体、时间、地点、事件类型进行标注，并将标注的数据补充加入远程监督知识库，完成数据的标注；将标注后的数据和远程监督知识库进行匹配，将匹配成功的触发词加入该样本的远程监督信息中，并按照7：1：2的比例分为训练集、验证集和测试集。
步骤4、对事件抽取的事件检测和事件参与元素提取两个阶段分别进行模型的构建。
具体的，建立一种结合预训练模型和远程监督的事件抽取模型，如图1所示，具体过程为：首先使用基于海量文本训练的预训练模型结构对文本进行编码，如图2所示，通过自注意力机制进行语言建模：
Figure DEST_PATH_IMAGE002
式中，Q、K、V为注意力的计算矩阵，由输入数据与对应的参数通过矩阵运算而来；
Figure DEST_PATH_IMAGE004
表示文本经过嵌入矩阵压缩后的文本向量表示维度。
其次，使用多头注意力捕捉文本中多角度的特征信息为：
Figure DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE008
表示线性变换矩阵，参与到模型训练参数更新之中；其中：
Figure DEST_PATH_IMAGE010
式中，
Figure DEST_PATH_IMAGE012
表示Query（询问）向量的变换映射矩阵；
Figure DEST_PATH_IMAGE014
表示Key（键）向量的变换映射矩阵；
Figure DEST_PATH_IMAGE016
表示Value（值）x向量的变换映射矩阵；
再次，通过一个双层的神经网络FFN进行特征转换提取，采用ReLU做为激活函数层：
Figure DEST_PATH_IMAGE018
并使用层归一化进行特征归一化处理：
Figure DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE022
表示前馈网络层的中第一个全连接网络的计算参数；
Figure DEST_PATH_IMAGE024
表示前馈网络层中第二个全连接网络的计算参数；表示该样本每一个词位置表示向量的平均值，
Figure DEST_PATH_IMAGE026
表示该样本每一个词位置表示向量的方差，
Figure DEST_PATH_IMAGE028
为一个可学习的权值参数在；
Figure DEST_PATH_IMAGE030
为防止发生除零错误的一个较小数值；
Figure DEST_PATH_IMAGE032
表示Element-wise Product即逐位置进行相乘。
从次，利用残差连接的方式结合预训练模型的各个层：
Figure DEST_PATH_IMAGE034
X表示输入的变量，相当于跨层相加；
Figure DEST_PATH_IMAGE036
表示该层网络的原始输入；y则为网络层输出特征，通过以上流程叠加多次，得到预训练模型提取的特征。
最后，将预训练模型提取的特征和远程监督特征进行拼接，将远程监督触发词出现的位置使用该触发词在远程监督库中所属的类型编号进行标注，得到一个离散的序列特征，通过远程监督嵌入层，映射到低维空间，如图3所示，将其和预训练提取特征拼接送入分类器进行事件预测，在每个字的位置进行二分类预测是否为触发词。
步骤5、使用训练数据进行事件抽取模型的训练，并通过验证数据集和测试数据集评估训练的好坏，通过多轮的迭代，选择表现最优的模型进行使用。
步骤6、使用训练好的模型对新的无标注互联网文本数据进行事件的预测和提取，对新的文本在经过数据预处理清洗后，先将其与远程监督知识库进行匹配，将同时在远程知识库和新的待预测文本中出现的触发词，加入到文本的远程特征当中，输入模型预测事件的触发类型和相关的事件参与元素。
在进一步的实施例中，所述事件抽取模型的构建具体步骤为：
通过自注意力机制进行语言建模，使用多头注意力捕捉文本中多角度的特征信息。
通过一个双层的神经网络FFN进行特征转换提取，采用ReLU做为激活函数层，并使用层归一化进行特征归一化处理。
利用残差连接的方式结合预训练模型的各个层，通过循环迭代，，得到预训练模型提取的特征。
将远程监督触发词出现的位置使用该触发词在远程监督库中的类型编号进行标注，得到一个离散的序列特征，通过远程监督嵌入层，映射到低维空间。
将预训练模型提取的特征和远程监督特征进行拼接。
在远程监督嵌入层进行学习和参数更新的过程中，加入梯度方向的扰动，计算模型反向传播在远程监督特征嵌入层的梯度。
保留远程监督特征嵌入层原始参数，使用得到的扰动步长添加对抗扰动，再重新进行一次前向和反向传播，得到新的梯度。
恢复远程监督特征嵌入层原始参数，使用添加扰动后的新梯度进行模型整体参数更新。
重复多次训练过程，选取结果最好的模型进行使用。
将新的互联网文本数据通过预处理，输入模型。
预测是否出现事件，检测出现事件时，提取结构化事件元素。
在进一步的实施例中，为缓解远程监督带来的错误触发词信息，本专利中采用对抗学习的策略，在远程监督嵌入层进行学习和参数更新的过程中，采用对抗学习的方法加入梯度方向的扰动。提高模型的抗噪声干扰能力，具体如下：
计算模型反向传播在远程监督特征嵌入层的梯度：
Figure DEST_PATH_IMAGE038
通过球面映射的方式阻止扰动偏移约束内的最优点，设置扰动半径
Figure 843727DEST_PATH_IMAGE030
，表示扰动的约束范围大小，得到扰动步长：
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE042
为扰动的约束空间，
Figure DEST_PATH_IMAGE044
为小步的步长。
保留远程监督特征嵌入层原始参数，使用得到的扰动步长添加对抗扰动，再重新进行一次前向和反向传播，得到新的梯度。
恢复远程监督特征嵌入层原始参数，使用添加扰动后的新梯度进行模型整体参数更新。
事件元素抽取网络结构与事件预测相似，仅去除远程监督特征嵌入层，并在输出层对每种类型元素分别进行预测。通过测试证明，在准确率、召回率和f1分数上，本方法都优于其它几种机器学习的事件抽取方法，如图4所示。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (4)

1.一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，其特征在于，包括如下步骤：
步骤1、训练数据语料采集，通过爬虫获取的互联网文本数据，将文本形式的数据通过爬虫以.txt文件形式进行存储；
步骤2、对标注数据进行预处理操作；
步骤3、根据事件定义对文本进行标注，并将标注的数据补充加入远程监督知识库，完成数据的标注，并按照7：1：2的比例分为训练集、验证集和测试集；
步骤4、对事件抽取的事件检测和事件参与元素提取两个阶段分别进行模型的构建；
步骤5、使用训练数据进行事件抽取模型的训练，并通过验证数据集和测试数据集评估训练的好坏，通过多轮的迭代，选择表现最优的模型进行使用；
步骤6、使用训练好的模型对新的无标注互联网文本数据进行事件的预测和提取，对新的文本在经过数据预处理清洗后，先将其与远程监督知识库进行匹配，将同时在远程知识库和新的待预测文本中出现的触发词，加入到文本的远程特征当中，输入模型预测事件的触发类型和相关的事件参与元素。
2.根据权利要求1所述的一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，所述事件抽取模型的构建具体步骤为：
通过自注意力机制进行语言建模，使用多头注意力捕捉文本中多角度的特征信息；
通过一个双层的神经网络FFN进行特征转换提取，采用ReLU做为激活函数层，并使用层归一化进行特征归一化处理；
利用残差连接的方式结合预训练模型的各个层，通过循环迭代，得到预训练模型提取的特征；
将远程监督触发词出现的位置使用该触发词在远程监督库中的类型编号进行标注，得到一个离散的序列特征，通过远程监督嵌入层，映射到低维空间；
将预训练模型提取的特征和远程监督特征进行拼接；
在远程监督嵌入层进行学习和参数更新的过程中，加入梯度方向的扰动，计算模型反向传播在远程监督特征嵌入层的梯度；
保留远程监督特征嵌入层原始参数，使用得到的扰动步长添加对抗扰动，再重新进行一次前向和反向传播，得到新的梯度；
恢复远程监督特征嵌入层原始参数，使用添加扰动后的新梯度进行模型整体参数更新；
重复多次训练过程，选取结果最优的模型进行使用；
将新的互联网文本数据通过预处理，输入模型；
预测是否出现事件，检测出现事件时，提取结构化事件元素。
3.根据权利要求1所述的一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，所述预处理操作包括去除html标签和特殊符号，将文本以句子或段落的形式进行分割为短文本。
4.根据权利要求1所述的一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法，所述步骤3进一步为：根据事件定义对文本存在事件的事件触发词、主体、客体、时间、地点、事件类型进行标注，并将标注的数据补充加入远程监督知识库，完成数据的标注；将标注后的数据和远程监督知识库进行匹配，将匹配成功的触发词加入当前样本的远程监督信息中，并按照7：1：2的比例分为训练集、验证集和测试集。
CN202110480675.0A 2021-04-30 2021-04-30 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法 Active CN113326371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110480675.0A CN113326371B (zh) 2021-04-30 2021-04-30 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110480675.0A CN113326371B (zh) 2021-04-30 2021-04-30 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法

Publications (2)

Publication Number Publication Date
CN113326371A true CN113326371A (zh) 2021-08-31
CN113326371B CN113326371B (zh) 2023-12-29

Family

ID=77414011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110480675.0A Active CN113326371B (zh) 2021-04-30 2021-04-30 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法

Country Status (1)

Country Link
CN (1) CN113326371B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762482A (zh) * 2021-09-15 2021-12-07 智道网联科技(北京)有限公司 用于自动驾驶的神经网络模型的训练方法及相关装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874410A (zh) * 2017-01-22 2017-06-20 清华大学 基于卷积神经网络的中文微博文本情绪分类方法及其***
CN108182295A (zh) * 2018-02-09 2018-06-19 重庆誉存大数据科技有限公司 一种企业知识图谱属性抽取方法及***
CN109063185A (zh) * 2018-08-27 2018-12-21 电子科技大学 面向事件检测的社交网络短文本数据过滤方法
CN109582949A (zh) * 2018-09-14 2019-04-05 阿里巴巴集团控股有限公司 事件元素抽取方法、装置、计算设备及存储介质
CN110188172A (zh) * 2019-05-31 2019-08-30 清华大学 基于文本的事件检测方法、装置、计算机设备及存储介质
CN111125370A (zh) * 2019-12-06 2020-05-08 南京中新赛克科技有限责任公司 一种适应小样本的关系抽取方法
CN111339774A (zh) * 2020-02-07 2020-06-26 腾讯科技（深圳）有限公司 文本的实体关系抽取方法和模型训练方法
CN111694924A (zh) * 2020-06-17 2020-09-22 合肥中科类脑智能技术有限公司 一种事件抽取方法和***
CN111897908A (zh) * 2020-05-12 2020-11-06 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及***
CN111914558A (zh) * 2020-07-31 2020-11-10 湖北工业大学 基于句袋注意力远程监督的课程知识关系抽取方法及***
CN112016293A (zh) * 2020-10-22 2020-12-01 浙江大学 一种基于多实例协同对抗训练的远程监督关系抽取方法
CN112052665A (zh) * 2020-09-12 2020-12-08 广东工业大学 一种远程监督事件抽取方法及其应用
WO2020247616A1 (en) * 2019-06-07 2020-12-10 Raytheon Bbn Technologies Corp. Linguistically rich cross-lingual text event embeddings
CN112307130A (zh) * 2020-10-21 2021-02-02 清华大学 一种文档级远程监督关系抽取方法及***
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
WO2021042503A1 (zh) * 2019-09-06 2021-03-11 平安科技（深圳）有限公司 信息分类抽取方法、装置、计算机设备和存储介质
CN112487203A (zh) * 2019-01-25 2021-03-12 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
CN112580328A (zh) * 2020-12-11 2021-03-30 上海明略人工智能(集团)有限公司 事件信息的抽取方法及装置、存储介质、电子设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874410A (zh) * 2017-01-22 2017-06-20 清华大学 基于卷积神经网络的中文微博文本情绪分类方法及其***
CN108182295A (zh) * 2018-02-09 2018-06-19 重庆誉存大数据科技有限公司 一种企业知识图谱属性抽取方法及***
CN109063185A (zh) * 2018-08-27 2018-12-21 电子科技大学 面向事件检测的社交网络短文本数据过滤方法
CN109582949A (zh) * 2018-09-14 2019-04-05 阿里巴巴集团控股有限公司 事件元素抽取方法、装置、计算设备及存储介质
CN112487203A (zh) * 2019-01-25 2021-03-12 中译语通科技股份有限公司 一种融入动态词向量的关系抽取***
WO2020239061A1 (zh) * 2019-05-31 2020-12-03 腾讯科技（深圳）有限公司 基于文本的事件检测方法、装置、计算机设备及存储介质
CN110188172A (zh) * 2019-05-31 2019-08-30 清华大学 基于文本的事件检测方法、装置、计算机设备及存储介质
WO2020247616A1 (en) * 2019-06-07 2020-12-10 Raytheon Bbn Technologies Corp. Linguistically rich cross-lingual text event embeddings
WO2021042503A1 (zh) * 2019-09-06 2021-03-11 平安科技（深圳）有限公司 信息分类抽取方法、装置、计算机设备和存储介质
CN111125370A (zh) * 2019-12-06 2020-05-08 南京中新赛克科技有限责任公司 一种适应小样本的关系抽取方法
CN111339774A (zh) * 2020-02-07 2020-06-26 腾讯科技（深圳）有限公司 文本的实体关系抽取方法和模型训练方法
CN111897908A (zh) * 2020-05-12 2020-11-06 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及***
CN111694924A (zh) * 2020-06-17 2020-09-22 合肥中科类脑智能技术有限公司 一种事件抽取方法和***
CN111914558A (zh) * 2020-07-31 2020-11-10 湖北工业大学 基于句袋注意力远程监督的课程知识关系抽取方法及***
CN112052665A (zh) * 2020-09-12 2020-12-08 广东工业大学 一种远程监督事件抽取方法及其应用
CN112307130A (zh) * 2020-10-21 2021-02-02 清华大学 一种文档级远程监督关系抽取方法及***
CN112016293A (zh) * 2020-10-22 2020-12-01 浙江大学 一种基于多实例协同对抗训练的远程监督关系抽取方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112580328A (zh) * 2020-12-11 2021-03-30 上海明略人工智能(集团)有限公司 事件信息的抽取方法及装置、存储介质、电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QUANZHI LI ET AL.: "A Unified Model for Financial Event Classification, Detection and Summarization", 《PROCEEDINGS OF THE TWENTY-NINTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE 》, pages 4668 - 4674 *
QUANZHI LI等: "A Unified Model for Financial Event Classification, Detection and Summarization", PROCEEDINGS OF THE TWENTY-NINTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-20), pages 4668 - 4674 *
陈星月等: "基于ELECTRA模型与词性特征的金融事件抽取方法研究", 《数据分析与知识发现》, vol. 5, no. 7, pages 36 - 47 *
陈星月等: "基于ELECTRA模型与词性特征的金融事件抽取方法研究", 数据分析与知识发现, vol. 5, no. 07, pages 36 - 47 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762482A (zh) * 2021-09-15 2021-12-07 智道网联科技(北京)有限公司 用于自动驾驶的神经网络模型的训练方法及相关装置
CN113762482B (zh) * 2021-09-15 2024-04-16 智道网联科技(北京)有限公司 用于自动驾驶的神经网络模型的训练方法及相关装置

Also Published As

Publication number Publication date
CN113326371B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN110598005A (zh) 一种面向公共安全事件的多源异构数据知识图谱构建方法
CN113191148B (zh) 一种基于半监督学习和聚类的轨道交通实体识别方法
CN109918505B (zh) 一种基于文本处理的网络安全事件可视化方法
CN113742733B (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN111597328B (zh) 一种新事件主题提取方法
CN115292568B (zh) 一种基于联合模型的民生新闻事件抽取方法
Suyanto Synonyms-based augmentation to improve fake news detection using bidirectional LSTM
CN113988075A (zh) 基于多任务学习的网络安全领域文本数据实体关系抽取法
CN117574898A (zh) 基于电网设备的领域知识图谱更新方法及***
CN116244448A (zh) 基于多源数据信息的知识图谱构建方法、设备及***
CN115481635A (zh) 一种地址要素解析方法和***
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN114648029A (zh) 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法
CN113378024B (zh) 一种基于深度学习面向公检法领域的相关事件识别方法
CN114416479A (zh) 一种基于流外正则化的日志序列异常检测方法
CN111786999B (zh) 一种入侵行为的检测方法、装置、设备和存储介质
CN113326371A (zh) 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法
CN117151222A (zh) 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质
CN115757062A (zh) 一种基于句嵌入以及Transformer-XL的日志异常检测方法
CN115994531A (zh) 一种多维度文本综合辨识方法
CN112765940B (zh) 一种基于主题特征和内容语义的网页去重方法
CN115098637A (zh) 一种基于汉字形音义多元知识的文本语义匹配方法和***
CN114298041A (zh) 网络安全命名实体的识别方法及识别装置
CN114491033A (zh) 一种基于词向量和主题模型的用户兴趣模型构建的方法
CN116821349B (zh) 一种基于大数据的文献分析方法及管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant