CN110619053A - 实体关系抽取模型的训练方法和抽取实体关系的方法 - Google Patents

实体关系抽取模型的训练方法和抽取实体关系的方法 Download PDF

Info

Publication number
CN110619053A
CN110619053A CN201910883330.2A CN201910883330A CN110619053A CN 110619053 A CN110619053 A CN 110619053A CN 201910883330 A CN201910883330 A CN 201910883330A CN 110619053 A CN110619053 A CN 110619053A
Authority
CN
China
Prior art keywords
entity
training
relation
target
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910883330.2A
Other languages
English (en)
Inventor
钟辉强
尹存祥
方军
刘亮
骆金昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910883330.2A priority Critical patent/CN110619053A/zh
Publication of CN110619053A publication Critical patent/CN110619053A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种实体关系抽取模型的训练方法和抽取实体关系的方法，涉及大数据领域。具体实现方案为：根据已知数据库中的实体关系三元组，匹配训练文本，实体关系三元组中包括已知实体对和已知实体对对应的已知关系，训练文本中包括已知实体对；基于初始模型预测已知实体对在训练文本中的关系，得到预测关系；根据多个训练文本对应的已知关系和预测关系之间的差值，调整初始模型的参数，得到实体关系抽取模型，实体关系抽取模型用于预测目标实体对在目标文本中的关系。本申请的技术方案不需要对训练文本中的实体关系进行人工标注，从而可以快速抽取实体关系。

Description

实体关系抽取模型的训练方法和抽取实体关系的方法
技术领域
本申请涉及一种数据处理领域，尤其涉及一种大数据领域。
背景技术
在知识图谱构建中，知识抽取是核心基础，而实体关系是知识抽取的重要组成部分。当前，存在大量的自由文本，但是这些非结构化信息杂乱无章，无法被用户充分利用。如何从这些自由文本中抽取结构化知识，尤其是实体关系，具有十分重要的意义。
发明内容
本申请实施例提供一种实体关系抽取模型的训练方法和抽取实体关系的方法，以解决现有技术中的一个或多个技术问题。
第一方面，本申请实施例提供实体关系抽取模型的训练方法，包括：
根据已知数据库中的实体关系三元组，匹配训练文本，实体关系三元组中包括已知实体对和已知实体对对应的已知关系，训练文本中包括已知实体对；
基于初始模型预测已知实体对在训练文本中的关系，得到预测关系；
根据多个训练文本对应的已知关系和预测关系之间的差值，调整初始模型的参数，得到实体关系抽取模型，实体关系抽取模型用于预测目标实体对在目标文本中的关系。
上述技术方案通过对已知数据库构造实体关系三元组，进而从海量自由文本匹配对应的训练文本，以训练实体关系抽取模型。由于实体关系三元组中的实体对和实体关系为已知的，因此不需要对训练文本中的实体关系进行人工标注，可以提高训练训练效率。
在一种实施方式中，初始模型为双向门控循环单元-注意力机制模型。
上述技术方案基于双向门控循环单元可以学习到训练文本中的每个词的上下文信息，注意力机制可以学习到与上下文相关的词的权重，以更好的表征训练文本，使训练出的模型具有更好的表现。
在一种实施方式中，基于初始模型预测已知实体对在训练文本中的关系，包括：
从训练文本中确定出多个训练字符，多个训练字符中包括与已知实体对匹配的训练参考字符；
基于训练字符与训练参考字符的位置关系，得到训练字符的实***置特征；
将各训练字符的字符特征和实***置特征输入初始模型，预测已知实体对在训练文本中的关系。
上述技术方案通过将训练文本表示为字符特征和实***置特征，可以建立多维向量表示，以更好地表征训练文本。
第二方面，本申请实施例提供一种抽取实体关系的方法，包括：
基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，实体关系抽取模型为根据以上任一项的训练方法训练得到；
判断待选抽取结果是否满足预设条件；
在判断待选抽取结果为不满足预设条件的情况下，对目标文本进行句法依存分析，以确定目标实体对在目标文本中的关系。
上述技术方案通过引入句法依存关系抽取，能有效挖掘新的关系类型，补充数据库关系集合以外的关系，丰富关系集合。
在一种实施方式中，基于实体关系抽取模型，预测目标实体对在目标文本中的关系，包括：
从目标文本中确定出多个目标字符，多个目标字符中包括与目标实体对匹配的目标参考字符；
基于目标字符与目标参考字符的位置关系，得到目标字符的实***置特征；
将各目标字符的字符特征和实***置特征输入实体关系抽取模型，预测目标实体对在目标文本中的关系。
第三方面，本申请实施例提供一种实体关系抽取模型的训练装置，包括：
匹配模块，用于根据已知数据库中的实体关系三元组，匹配训练文本，实体关系三元组中包括已知实体对和已知实体对对应的已知关系，训练文本中包括已知实体对；
预测关系确定模块，用于基于初始模型预测已知实体对在训练文本中的关系，得到预测关系；
调整模块，用于根据多个训练文本对应的已知关系和预测关系之间的差值，调整初始模型的参数，得到实体关系抽取模型，实体关系抽取模型用于预测目标实体对在目标文本中的关系。
在一种实施方式中，初始模型为双向门控循环单元-注意力机制模型。
第四方面，本申请实施例提供一种抽取实体关系的装置，包括：
模型预测模块，用于基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，实体关系抽取模型为根据以上任一项的训练方法训练得到；
判断模块，用于判断待选抽取结果是否满足预设条件；
句法依存分析模块，用于在判断待选抽取结果为不满足预设条件的情况下，对目标文本进行句法依存分析，以确定目标实体对在目标文本中的关系。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例一种实施方式的实体关系抽取模型的训练方法的流程图；
图2是根据本申请实施例一种实施方式的构成训练文本的示例图；
图3是根据本申请实施例的word2vec模型的Skip-gram结构的示意图；
图4是根据本申请实施例的初始模型结构的示例图；
图5是根据本申请实施例一种实施方式的抽取实体关系的方法的流程图；
图6是根据本申请实施例的抽取实体关系的方法的应用示例图；
图7是根据本申请实施例一种实施方式的实体关系抽取模型的训练装置的框图；
图8是根据本申请实施例一种实施方式的抽取实体关系的装置的框图；
图9是根据本申请实施例一种实施方式的实体关系抽取模型的训练方法的电子设备的框图；
图10是根据本申请实施例一种实施方式的抽取实体关系的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中采用模板规则、统计和聚类等策略，从目标文本中抽取目标实体对的关系。由于模板规则需要依赖专家定义，因此这种方式的可扩展性差，且基于统计和聚类策略，关系抽取的准确性也难以保证。相关技术中采用自扩展(BootStrapping)算法进行关系抽取，即对于要抽取的关系，首先手工设定若干种子实例，然后迭代地从数据中抽取关系对应的关系模板和更多的实例。这种方式扩展出来的关系模板数量有限，且准确率会随模板数量增加而下降。相关技术中将关系抽取任务当做分类问题。根据训练数据设计有效的特征，从而学习各类分类模型，然后使用训练好的分类器预测关系。这种方式需要依赖大量的人工标注语料，人工标注费时费力，如果没有标注数据则无法进行模型训练，同时数据规模也大大限制了模型训练。对此，本申请实施例通过对已知数据库构造实体关系三元组，进而从海量自由文本匹配对应的训练文本，以训练实体关系抽取模型。由于实体关系三元组中的实体对和实体关系为已知的，因此不需要对训练文本中的实体关系进行人工标注。
在一种实施方式中，图1示出本实施例的实体关系抽取模型的训练方法的流程图。如图1所示，该训练方法包括：
步骤S101：根据已知数据库中的实体关系三元组，匹配训练文本，实体关系三元组中包括已知实体对和已知实体对对应的已知关系，训练文本中包括已知实体对。
已知数据库可以包括已有的数据库知识，即知识库(Knowledge Base，KB)，如结构化查询语言(Structured Query Language，SQL)数据库。在一个示例中，采用远程监督的方式从已知数据库中构造实体关系三元组，如主语-谓语-宾语(Subject-Predication-Object，SPO)三元组，即用KB中的实体关系三元组去对齐自由文本(例如百科、互联网新闻等)，以实现自动标注。因此，这种方式可以作为无标记数据关系提取的远程监督。可以假设两个实体如果在KB中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系。例如，实体”Steve Jobs”和实体“Apple”在KB中存在“founder”的关系，则包含这两个实体的非结构文本“Steve Jobs was the co-founder and CEO of Apple and formerlyPixar.”可以作为一个训练文本(如训练正例)来训练初始模型。
在一个示例中，如图2所示，三元组库中包括从已知数据库中构造的多个实体关系三元组，如<中国、首都、北京>、<苹果、颜色、红色>、<苹果、创始人、Steve Jobs>等。从自由文本中关联(匹配)与实体关系三元组<中国、首都、北京>对应的句子1“中国的首都是北京。”以及句子2“北京是一个美丽的城市，处于中国的中部。”，进而可以将句子1和句子2作为训练文本，并将实体关系三元组<中国、首都、北京>作为句子1和句子2的标注数据。
本实施例的方法通过远程监督，充分建立了已知数据库中的实体关系三元组和海量自由文本之间的关系桥梁，可以方便快速地构造训练文本，并能节省大量的标注时间。
步骤S102：基于初始模型预测已知实体对在训练文本中的关系，得到预测关系。
其中，初始模型可以为深度学习模型，如卷积神经网络(Convolutional NeuralNetworks,CNN)或双向循环神经网络(Recurrent Neural Networks，RNN)。本实施例中，初始模型可以采用双向门控循环单元-注意力机制(Bi-Gated-Recurrent-Unit-attention，Bigru-attention)模型。其中，Bigru可以学习到训练文本中的每个词的上下文信息，attention机制可以学习到与上下文相关的词的权重，更好的表征训练文本，使训练出的模型具有更好的表现。
在一种实施方中，在步骤S102中可以包括：从训练文本中确定出多个训练字符，多个训练字符中包括与已知实体对匹配的训练参考字符；基于训练字符与训练参考字符的位置关系，得到训练字符的实***置特征；将各训练字符的字符特征和实***置特征输入初始模型，预测已知实体对在训练文本中的关系。
首先，可以将训练文本进行分字符操作，即将训练文本划分成多个字符(训练字符)，进而得到每个训练字符对应的字符特征。字符特征可以基于词转向量(word tovector，word2vec)模型从训练文本中提取字符(character)粒度的特征而得到。在一个示例中，可以基于word2vec模型的Skip-gram结构确定训练文本的字符特征。图3示出了word2vec模型的Skip-gram结构的示意图。如图3所示，基于输入的某一字符特征w(t)，可以学习到该字符特征w(t)对应字符的上下文的字符特征，如w(t-2)、w(t-1)、w(t+1)和w(t+2)。
实***置特征用于表征每个训练字符相对于已知实体对中每个实体的距离。由于已知实体对包括两个已知实体(如已知实体1和已知实体2)，因此，每个训练字符的实***置特征为两个，其中一个为训练字符与已知实体1的距离，另一个为训练字符与已知实体2的距离。
其中，与已知实体对匹配的训练字符为训练参考字符。如与已知实体1匹配的训练字符1作为第一训练参考字符，则训练字符1与已知实体1的第一实***置特征可以用“0”表示，位于训练字符1左边的训练字符与已知实体1的第一实***置特征可以用相应的负数表示，位于训练字符1右边的训练字符与已知实体1的第一实***置特征可以用相应的正数表示。用类似的方法，可以得到每个训练字符与已知实体2的第二实***置特征。进而可以得到训练文本对应的两组实***置特征。在一个示例中，可以将各实***置特征平移相同距离，以使各实***置特征都可以用正数来表示。
在一个示例中，如图4所示，在初始模型的输入层(input layer)输入对训练文本的切字符结果，即从训练文本中确定出的各个训练字符x1～xT。在初始模型的字符嵌入层(character embedding layer)，学习训练字符x1～xT分别对应的模型特征e1～eT。例如：训练字符x1对应的模型特征e1包括100维的字符特征、5维的第一实***置特征和5维的第二实***置特征。训练文本的模型特征e1～eT在初始模型的Bigru层被表征为双向特征向量，拼接双向特征向量，得到对应的特征向量h1～hT。特征向量h1～hT对实体关系的分析作用大小不一样，可以基于初始始模型的attention层学习不同特征向量的权重w1～wT，将每个特征向量及其对应的权重进行权重加和(即w1×h1+w2×h2+w3×h3+……+wT×hT)后输出至初始模型的输出层(output layer)。输出层包括全连接层(Fully Connected Layer)和softmax网络，用于根据权重加和的结果输出预测关系y。
也就是说，本实施例中，可以将构造好的训练文本进行字符特征和实***置特征表示，先输入到多层Bigru网络中，再输入到attention网络中，最后经过softmax网络得到训练文本的预测关系。
步骤S103：根据多个训练文本对应的已知关系和预测关系之间的差值，调整初始模型的参数，得到实体关系抽取模型，实体关系抽取模型用于预测目标实体对在目标文本中的关系。
对于每个训练文本均对应有预测关系和已知关系，其中，预测关系为基于初始模型预测得到，已知关系为该训练文本对应的实体关系三元组中的已知关系。在初始模型的训练过程中，基于每个训练文本的预测关系和已知关系建立损失函数，并不断调整初始模型的参数，直到损失函数值达到设定值，得到训练好的模型，即实体关系抽取模型。
在一种实施方式中，图5示出了本实施例的抽取实体关系的方法的流程图。如图5所示，该方法包括：
步骤S501：基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，其中，实体关系抽取模型可以根据上述实施例中的训练方法训练得到；
步骤S502：判断待选抽取结果是否满足预设条件；
步骤S503：在判断待选抽取结果为不满足预设条件的情况下，对目标文本进行句法依存分析，以确定目标实体对在目标文本中的关系。
也就是说，在本实施例中，优先利用实体关系抽取模型抽取目标实体对在目标文本中的关系，得到待选抽取结果。如果待选抽取结果不为空，则该待选抽取结果满足预设条件，那么可以将该待选抽取结果作为目标实体对在目标文本中的关系。如果待选抽取结果为未知类别或该待选抽取结果的关系置信度低于设定值，则该待选抽取结果不满足预设条件，那么可以对目标文本进行句法依存分析，得到目标实体对在目标文本中的关系。如果对目标文本进行句法依存分析，得到的结果为空，则返回未知关系，即目标实体对在目标文本中的关系未知。
在一种实施方式中，在步骤S501中可以包括：从目标文本中确定出多个目标字符，多个目标字符中包括与目标实体对匹配的目标参考字符；基于目标字符与目标参考字符的位置关系，得到目标字符的实***置特征；将各目标字符的字符特征和实***置特征输入实体关系抽取模型，预测目标实体对在目标文本中的关系。
首先，可以对目标文本进行分字符操作，进而基于word2vec模型的Skip-gram结构确定目标文本的字符特征。与上述训练方法相类似，由于目标实体对包括两个目标实体，因此，每个目标字符的实***置特征为两个。进而，目标文本对应两组实***置特征。基于目标文本的字符特征和实***置特征，利用实体关系抽取模型可以预测目标实体对在目标文本中的关系。
对目标文本进行句法依存分析，即确定目标文本的句法结构或者目标文本中词汇之间的依存关系。这可以包括两方面的内容，一方面是确定目标文本的语法体系，即对目标文本中合法的句子的语法结构给与形式化的定义；另一方面是句法分析技术，即根据给定的语法体系，自动推导出目标文本的句法结构，分析目标文本所包含的句法单位和这些句法单位之间的关系。
在一个示例中，句法依存分析通常满足以下几个条件：1)一个句子中只有一个成分是独立的；2)句子的其他成分都从属于某一成分；3)任何一个成分都不能依存于两个或两个以上的成分；4)如果成分A直接从属成分B，而成分C在句子中位于A和B之间，那么，成分C或者从属于A，或者从属于B，或者从属于A和B之间的某一成分；5)中心成分左右两边的其他成分相互不***。
在一个示例中，可以从目标文本中抽取以谓词为中心的事实三元组关系，包括：主谓宾、定语后置、动宾关系、介宾关系等关系。
下表示出了对目标文本“J收购了K公司”进行句法依存分析的示例。
其中，SBV(subject-verb)表示主谓关系，即指名词和动作之间的关系；HED为虚拟出来的头节点；MT(mood-tense)表示语态结构，如用于表达句子的时态助词(如着、了、过)和语气助词(如吧、啊、呢)；ATT(attribute)表示定中关系，即定语和中心词之间的关系，如定语对中心词起修饰或限制作用；VOB(verb-object)表示动宾关系，即非谓语动词及其宾语的关系，即VOB中的两个词构成动宾短语，并作为句子的其他修饰成分。第6列的依存关系表示字符与头节点的依存关系。
本实施例中，可以优先利用实体关系抽取模型抽取关系，并在得到的关系为未知类别或关系置信度低的情况下，采用句法依存关系抽取关系，可以有效挖掘新的关系类型，丰富关系集合。
图6示出了本实施例的抽取实体关系的应用示例图。如图6所示，在本示例中，可以根据已知数据库中的实体关系三元组，从海量自由文本中匹配对应的训练文本；基于这些训练文本训练Bigru-attention模型，进行模型学习，得到训练好的模型，即实体关系抽取模型；将给定的目标实体对和目标文本输入实体关系抽取模型，得到待选抽取结果；在待选抽取结果不为空的情况下，输出该待续抽取结果，即将实体关系抽取模型的输出结果作为目标实体对在目标文本中的关系；在待选抽取结果为空或关系置信度低的情况下，利用句法依存对目标文本进行句法分析学习，得到输出结果。
在一种实施方式中，图7示出根据本申请实施例的实体关系抽取模型的训练装置的框图。如图7所示，该训练装置包括：
匹配模块701，用于根据已知数据库中的实体关系三元组，匹配训练文本，实体关系三元组中包括已知实体对和已知实体对对应的已知关系，训练文本中包括已知实体对；
预测关系确定模块702，用于基于初始模型预测已知实体对在训练文本中的关系，得到预测关系；
调整模块703，用于根据多个训练文本对应的已知关系和预测关系之间的差值，调整初始模型的参数，得到实体关系抽取模型，实体关系抽取模型用于预测目标实体对在目标文本中的关系。
在一种实施方式中，初始模型为双向门控循环单元-注意力机制模型。
在一种实施方式中，预测关系确定模块702包括：训练字符确定单元，用于从训练文本中确定出多个训练字符，多个训练字符中包括与已知实体对匹配的训练参考字符；第一实***置特征确定单元，用于基于训练字符与训练参考字符的位置关系，得到训练字符的实***置特征；第一输入单元，用于将各训练字符的字符特征和实***置特征输入初始模型，预测已知实体对在训练文本中的关系。
在一种实施方式中，图8示出根据本申请实施例提供一种抽取实体关系的装置。如图8所示，该装置包括：
模型预测模块801，用于基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，实体关系抽取模型为根据以上任一项的训练方法训练得到；
判断模块802，用于判断待选抽取结果是否满足预设条件；
句法依存分析模块803，用于在判断待选抽取结果为不满足预设条件的情况下，对目标文本进行句法依存分析，以确定目标实体对在目标文本中的关系。
在一种实施方式中，模型预测模块801包括：目标字符确定单元，用于从目标文本中确定出多个目标字符，多个目标字符中包括与目标实体对匹配的目标参考字符；第二实***置特征确定单元，用于基于目标字符与目标参考字符的位置关系，得到目标字符的实***置特征；第二输入单元，用于将各目标字符的字符特征和实***置特征输入实体关系抽取模型，预测目标实体对在目标文本中的关系。
如图9所示，是根据本申请实施例的实体关系抽取模型的训练方法的电子设备的框图。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个第一处理器901、第一存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。第一处理器可以对在电子设备内执行的指令进行处理，包括存储在第一存储器中或者第一存储器上以在外部输入/第一输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个第一处理器和/或多条总线与多个第一存储器和多个第一存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多第一处理器***)。图9中以一个第一处理器901为例。
第一存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述第一存储器存储有可由至少一个第一处理器执行的指令，以使所述至少一个第一处理器执行本申请所提供的实体关系抽取模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的导航方法。
第一存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的实体关系抽取模型的训练方法对应的程序指令/模块(例如，附图7所示的匹配模块701、预测关系确定模块702和调整模块703)。第一处理器901通过运行存储在第一存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例中的实体关系抽取模型的训练方法。
第一存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据实体关系抽取模型的训练方法的电子设备的使用所创建的数据等。此外，第一存储器902可以包括高速随机存取第一存储器，还可以包括非瞬时第一存储器，例如至少一个磁盘第一存储器件、闪存器件、或其他非瞬时固态第一存储器件。在一些实施例中，第一存储器902可选包括相对于第一处理器901远程设置的第一存储器，这些远程第一存储器可以通过网络连接至实体关系抽取模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实体关系抽取模型的训练方法的电子设备还可以包括：第一输入装置903和第一输出装置904。第一处理器901、第一存储器902、第一输入装置903和第一输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
第一输入装置903可接收输入的数字或字符信息，以及产生与实体关系抽取模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等第一输入装置。第一输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Cr9stal Displa9，LCD)、发光二极管(Light Emitting Diode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
如图10所示，是根据本申请实施例的抽取实体关系的方法的电子设备的框图。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个第二处理器1001、第二存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。第二处理器可以对在电子设备内执行的指令进行处理，包括存储在第二存储器中或者第二存储器上以在外部输入/第二输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical UserInterface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个第二处理器和/或多条总线与多个第二存储器和多个第二存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多第二处理器***)。图10中以一个第二处理器1001为例。
第二存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述第二存储器存储有可由至少一个第二处理器执行的指令，以使所述至少一个第二处理器执行本申请所提供的抽取实体关系的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的导航方法。
第二存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的抽取实体关系的方法对应的程序指令/模块(例如，附图8所示的模型预测模块801、判断模块802和句法依存分析模块803)。第二处理器1001通过运行存储在第二存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述实施例中的抽取实体关系的方法。
第二存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据抽取实体关系的方法的电子设备的使用所创建的数据等。此外，第二存储器1002可以包括高速随机存取第二存储器，还可以包括非瞬时第二存储器，例如至少一个磁盘第二存储器件、闪存器件、或其他非瞬时固态第二存储器件。在一些实施例中，第二存储器1002可选包括相对于第二处理器1001远程设置的第二存储器，这些远程第二存储器可以通过网络连接至抽取实体关系的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
抽取实体关系的方法的电子设备还可以包括：第二输入装置1003和第二输出装置1004。第二处理器1001、第二存储器1002、第二输入装置1003和第二输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
第二输入装置1003可接收输入的数字或字符信息，以及产生与抽取实体关系的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等第二输入装置。第二输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Cr10stal Displa10，LCD)、发光二极管(Light Emitting Diode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过对已知数据库构造实体关系三元组，进而从海量自由文本匹配对应的训练文本，以训练实体关系抽取模型。由于实体关系三元组中的实体对和实体关系为已知的，因此不需要对训练文本中的实体关系进行人工标注，可以方便快速地训练模型，以提高实体关系抽取的效率。进一步地，通过引入句法依存关系抽取，能有效挖掘新的关系类型，补充数据库关系集合以外的关系，丰富关系集合。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种实体关系抽取模型的训练方法，其特征在于，包括：
根据已知数据库中的实体关系三元组，匹配训练文本，所述实体关系三元组中包括已知实体对和所述已知实体对对应的已知关系，所述训练文本中包括所述已知实体对；
基于初始模型预测所述已知实体对在所述训练文本中的关系，得到预测关系；
根据多个所述训练文本对应的已知关系和预测关系之间的差值，调整所述初始模型的参数，得到实体关系抽取模型，所述实体关系抽取模型用于预测目标实体对在目标文本中的关系。
2.根据权利要求1所述的训练方法，其特征在于，所述初始模型为双向门控循环单元-注意力机制模型。
3.根据权利要求1所述的训练方法，其特征在于，基于初始模型预测所述已知实体对在所述训练文本中的关系，包括：
从所述训练文本中确定出多个训练字符，多个所述训练字符中包括与所述已知实体对匹配的训练参考字符；
基于所述训练字符与所述训练参考字符的位置关系，得到所述训练字符的实***置特征；
将各所述训练字符的字符特征和实***置特征输入所述初始模型，预测所述已知实体对在所述训练文本中的关系。
4.一种抽取实体关系的方法，其特征在于，包括：
基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，所述实体关系抽取模型根据权利要求1至3任一项所述的训练方法训练得到；
判断所述待选抽取结果是否满足预设条件；
在判断所述待选抽取结果为不满足所述预设条件的情况下，对所述目标文本进行句法依存分析，以确定所述目标实体对在所述目标文本中的关系。
5.根据权利要求4所述的方法，其特征在于，基于实体关系抽取模型，预测目标实体对在目标文本中的关系，包括：
从所述目标文本中确定出多个目标字符，多个所述目标字符中包括与所述目标实体对匹配的目标参考字符；
基于所述目标字符与所述目标参考字符的位置关系，得到所述目标字符的实***置特征；
将各所述目标字符的字符特征和实***置特征输入所述实体关系抽取模型，预测所述目标实体对在所述目标文本中的关系。
6.一种实体关系抽取模型的训练装置，其特征在于，包括：
匹配模块，用于根据已知数据库中的实体关系三元组，匹配训练文本，所述实体关系三元组中包括已知实体对和所述已知实体对对应的已知关系，所述训练文本中包括所述已知实体对；
预测关系确定模块，用于基于初始模型预测所述已知实体对在所述训练文本中的关系，得到预测关系；
调整模块，用于根据多个所述训练文本对应的已知关系和预测关系之间的差值，调整所述初始模型的参数，得到实体关系抽取模型，所述实体关系抽取模型用于预测目标实体对在目标文本中的关系。
7.根据权利要求6所述的训练装置，其特征在于，所述初始模型为双向门控循环单元-注意力机制模型。
8.一种抽取实体关系的装置，其特征在于，包括：
模型预测模块，用于基于实体关系抽取模型，预测目标实体对在目标文本中的关系，得到待选抽取结果，所述实体关系抽取模型为根据权利要求1至3任一项所述的训练方法训练得到；
判断模块，用于判断所述待选抽取结果是否满足预设条件；
句法依存分析模块，用于在判断所述待选抽取结果为不满足所述预设条件的情况下，对所述目标文本进行句法依存分析，以确定所述目标实体对在所述目标文本中的关系。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4或5中所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
CN201910883330.2A 2019-09-18 2019-09-18 实体关系抽取模型的训练方法和抽取实体关系的方法 Pending CN110619053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883330.2A CN110619053A (zh) 2019-09-18 2019-09-18 实体关系抽取模型的训练方法和抽取实体关系的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883330.2A CN110619053A (zh) 2019-09-18 2019-09-18 实体关系抽取模型的训练方法和抽取实体关系的方法

Publications (1)

Publication Number Publication Date
CN110619053A true CN110619053A (zh) 2019-12-27

Family

ID=68923411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883330.2A Pending CN110619053A (zh) 2019-09-18 2019-09-18 实体关系抽取模型的训练方法和抽取实体关系的方法

Country Status (1)

Country Link
CN (1) CN110619053A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274391A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 一种spo的抽取方法、装置、电子设备及存储介质
CN111274407A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 知识图谱中三元组置信度计算方法和装置
CN111339314A (zh) * 2020-02-19 2020-06-26 北京百度网讯科技有限公司 一种三元组数据的生成方法、装置和电子设备
CN111400451A (zh) * 2020-03-16 2020-07-10 北京百度网讯科技有限公司 信息抽取方法、信息抽取装置和电子设备
CN111414482A (zh) * 2020-03-20 2020-07-14 北京百度网讯科技有限公司 一种事件论元抽取方法、装置以及电子设备
CN111444349A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取方法、装置、计算机设备和存储介质
CN111539209A (zh) * 2020-04-15 2020-08-14 北京百度网讯科技有限公司 用于实体分类的方法和装置
CN111694967A (zh) * 2020-06-11 2020-09-22 腾讯科技（深圳）有限公司 属性抽取方法、装置、电子设备及介质
CN111814476A (zh) * 2020-06-09 2020-10-23 北京捷通华声科技股份有限公司 一种实体关系的抽取方法和装置
CN112464637A (zh) * 2020-11-27 2021-03-09 平安科技（深圳）有限公司 基于标签的优化模型训练方法、装置、设备及存储介质
CN112487206A (zh) * 2020-12-09 2021-03-12 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112836064A (zh) * 2021-02-24 2021-05-25 吉林大学 知识图谱补全方法、装置、存储介质及电子设备
CN113051356A (zh) * 2021-04-21 2021-06-29 深圳壹账通智能科技有限公司 开放关系抽取方法、装置、电子设备及存储介质
CN113190686A (zh) * 2021-04-25 2021-07-30 浙江大学软件学院（宁波）管理中心（宁波软件教育中心） 一种面向数控机床设备维护的知识图谱关系补全方法
CN113836316A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 三元组数据的处理方法、训练方法、装置、设备及介质
CN114386411A (zh) * 2020-10-16 2022-04-22 北京金山数字娱乐科技有限公司 一种关系抽取方法及装置
CN114595686A (zh) * 2022-03-11 2022-06-07 北京百度网讯科技有限公司 知识抽取方法、知识抽取模型的训练方法及装置
CN116069956A (zh) * 2023-03-29 2023-05-05 之江实验室 基于混合注意力机制的药物知识图谱实体对齐方法及装置
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157643A1 (en) * 2016-12-06 2018-06-07 Siemens Aktiengesellschaft Device and method for natural language processing
WO2019085328A1 (zh) * 2017-11-02 2019-05-09 平安科技（深圳）有限公司 企业关系提取方法、装置及存储介质
CN109902171A (zh) * 2019-01-30 2019-06-18 中国地质大学（武汉） 基于分层知识图谱注意力模型的文本关系抽取方法及***
CN110134772A (zh) * 2019-04-18 2019-08-16 五邑大学 基于预训练模型与微调技术的医疗文本关系抽取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157643A1 (en) * 2016-12-06 2018-06-07 Siemens Aktiengesellschaft Device and method for natural language processing
WO2019085328A1 (zh) * 2017-11-02 2019-05-09 平安科技（深圳）有限公司 企业关系提取方法、装置及存储介质
CN109902171A (zh) * 2019-01-30 2019-06-18 中国地质大学（武汉） 基于分层知识图谱注意力模型的文本关系抽取方法及***
CN110134772A (zh) * 2019-04-18 2019-08-16 五邑大学 基于预训练模型与微调技术的医疗文本关系抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佘恒: "《基于深度学习的中文文本实体关系抽取研究与实现》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210216819A1 (en) * 2020-01-15 2021-07-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, electronic device, and storage medium for extracting spo triples
CN111274407A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 知识图谱中三元组置信度计算方法和装置
CN111274391B (zh) * 2020-01-15 2023-09-01 北京百度网讯科技有限公司 一种spo的抽取方法、装置、电子设备及存储介质
CN111274391A (zh) * 2020-01-15 2020-06-12 北京百度网讯科技有限公司 一种spo的抽取方法、装置、电子设备及存储介质
CN111339314A (zh) * 2020-02-19 2020-06-26 北京百度网讯科技有限公司 一种三元组数据的生成方法、装置和电子设备
CN111339314B (zh) * 2020-02-19 2024-02-13 北京百度网讯科技有限公司 一种三元组数据的生成方法、装置和电子设备
CN111444349A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取方法、装置、计算机设备和存储介质
CN111444349B (zh) * 2020-03-06 2023-09-12 深圳追一科技有限公司 信息抽取方法、装置、计算机设备和存储介质
CN111400451A (zh) * 2020-03-16 2020-07-10 北京百度网讯科技有限公司 信息抽取方法、信息抽取装置和电子设备
CN111400451B (zh) * 2020-03-16 2023-05-09 北京百度网讯科技有限公司 信息抽取方法、信息抽取装置和电子设备
US11880397B2 (en) 2020-03-20 2024-01-23 Beijing Baidu Netcom Science Technology Co., Ltd. Event argument extraction method, event argument extraction apparatus and electronic device
CN111414482B (zh) * 2020-03-20 2024-02-20 北京百度网讯科技有限公司 一种事件论元抽取方法、装置以及电子设备
CN111414482A (zh) * 2020-03-20 2020-07-14 北京百度网讯科技有限公司 一种事件论元抽取方法、装置以及电子设备
CN111539209B (zh) * 2020-04-15 2023-09-15 北京百度网讯科技有限公司 用于实体分类的方法和装置
CN111539209A (zh) * 2020-04-15 2020-08-14 北京百度网讯科技有限公司 用于实体分类的方法和装置
CN111814476B (zh) * 2020-06-09 2024-04-16 北京捷通华声科技股份有限公司 一种实体关系的抽取方法和装置
CN111814476A (zh) * 2020-06-09 2020-10-23 北京捷通华声科技股份有限公司 一种实体关系的抽取方法和装置
CN111694967B (zh) * 2020-06-11 2023-10-20 腾讯科技（深圳）有限公司 属性抽取方法、装置、电子设备及介质
CN111694967A (zh) * 2020-06-11 2020-09-22 腾讯科技（深圳）有限公司 属性抽取方法、装置、电子设备及介质
CN114386411A (zh) * 2020-10-16 2022-04-22 北京金山数字娱乐科技有限公司 一种关系抽取方法及装置
CN112464637B (zh) * 2020-11-27 2024-02-27 平安科技（深圳）有限公司 基于标签的优化模型训练方法、装置、设备及存储介质
CN112464637A (zh) * 2020-11-27 2021-03-09 平安科技（深圳）有限公司 基于标签的优化模型训练方法、装置、设备及存储介质
CN112487206B (zh) * 2020-12-09 2022-09-20 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112487206A (zh) * 2020-12-09 2021-03-12 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112836064B (zh) * 2021-02-24 2023-05-16 吉林大学 知识图谱补全方法、装置、存储介质及电子设备
CN112836064A (zh) * 2021-02-24 2021-05-25 吉林大学 知识图谱补全方法、装置、存储介质及电子设备
WO2022222300A1 (zh) * 2021-04-21 2022-10-27 深圳壹账通智能科技有限公司 开放关系抽取方法、装置、电子设备及存储介质
CN113051356B (zh) * 2021-04-21 2023-05-30 深圳壹账通智能科技有限公司 开放关系抽取方法、装置、电子设备及存储介质
CN113051356A (zh) * 2021-04-21 2021-06-29 深圳壹账通智能科技有限公司 开放关系抽取方法、装置、电子设备及存储介质
CN113190686A (zh) * 2021-04-25 2021-07-30 浙江大学软件学院（宁波）管理中心（宁波软件教育中心） 一种面向数控机床设备维护的知识图谱关系补全方法
CN113836316A (zh) * 2021-09-23 2021-12-24 北京百度网讯科技有限公司 三元组数据的处理方法、训练方法、装置、设备及介质
CN113836316B (zh) * 2021-09-23 2023-01-03 北京百度网讯科技有限公司 三元组数据的处理方法、训练方法、装置、设备及介质
CN114595686A (zh) * 2022-03-11 2022-06-07 北京百度网讯科技有限公司 知识抽取方法、知识抽取模型的训练方法及装置
CN114595686B (zh) * 2022-03-11 2023-02-03 北京百度网讯科技有限公司 知识抽取方法、知识抽取模型的训练方法及装置
CN116069956A (zh) * 2023-03-29 2023-05-05 之江实验室 基于混合注意力机制的药物知识图谱实体对齐方法及装置
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN116522935B (zh) * 2023-03-29 2024-03-29 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN116069956B (zh) * 2023-03-29 2023-07-04 之江实验室 基于混合注意力机制的药物知识图谱实体对齐方法及装置

Similar Documents

Publication Publication Date Title
CN110619053A (zh) 实体关系抽取模型的训练方法和抽取实体关系的方法
CN111523326B (zh) 实体链指方法、装置、设备以及存储介质
CN111428507B (zh) 实体链指方法、装置、设备以及存储介质
EP3852001A1 (en) Method and apparatus for generating temporal knowledge graph, device, and medium
US20210312139A1 (en) Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium
JP7108675B2 (ja) 意味マッチング方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US11537792B2 (en) Pre-training method for sentiment analysis model, and electronic device
US20210200813A1 (en) Human-machine interaction method, electronic device, and storage medium
US11507751B2 (en) Comment information processing method and apparatus, and medium
CN111709234A (zh) 文本处理模型的训练方法、装置及电子设备
CN112507101B (zh) 一种建立预训练语言模型的方法和装置
CN111079945B (zh) 端到端模型的训练方法及装置
US11704326B2 (en) Generalization processing method, apparatus, device and computer storage medium
CN111737954A (zh) 文本相似度确定方法、装置、设备和介质
US20210191938A1 (en) Summarized logical forms based on abstract meaning representation and discourse trees
US11321370B2 (en) Method for generating question answering robot and computer device
CN112528001B (zh) 一种信息查询方法、装置及电子设备
CN113657100A (zh) 实体识别方法、装置、电子设备及存储介质
CN111708800A (zh) 查询方法、装置及电子设备
US11468236B2 (en) Method and apparatus for performing word segmentation on text, device, and medium
CN111539209A (zh) 用于实体分类的方法和装置
CN111640511A (zh) 医疗事实验证的方法、装置、电子设备及存储介质
CN114444462B (zh) 模型训练方法及人机交互方法、装置
CN112329453A (zh) 样本章节的生成方法、装置、设备以及存储介质
CN111984774A (zh) 搜索方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination