CN110969014A - 一种基于同步神经网络的意见二元组抽取方法 - Google Patents

一种基于同步神经网络的意见二元组抽取方法 Download PDF

Info

Publication number
CN110969014A
CN110969014A CN201911124188.XA CN201911124188A CN110969014A CN 110969014 A CN110969014 A CN 110969014A CN 201911124188 A CN201911124188 A CN 201911124188A CN 110969014 A CN110969014 A CN 110969014A
Authority
CN
China
Prior art keywords
opinion
layer
words
matrix
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911124188.XA
Other languages
English (en)
Other versions
CN110969014B (zh
Inventor
刘杰
陈少维
王禹
张文政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201911124188.XA priority Critical patent/CN110969014B/zh
Publication of CN110969014A publication Critical patent/CN110969014A/zh
Application granted granted Critical
Publication of CN110969014B publication Critical patent/CN110969014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

一种基于同步神经网络的意见二元组抽取方法。在细粒度情感分析领域，意见二元组抽取是一个重要任务，该任务旨在挖掘意见句中包含的评价对象、评价词、以及两者间的修饰关系。给定意见句，本发明方法首先基于预训练语言模型BERT构建编码层，学习词的上下文语义。随后，交替构建多个识别层与同步层，以实现评价对象、评价词、以及两者间关系的同步抽取。具体地，识别层包含意见实体抽取与关系检测两个模块，同步层设计了两个同步矩阵(即，边界同步矩阵与关系同步矩阵)来记录识别层学习到的高层语义信息，并传递给下一个识别层，以实现意见实体抽取与关系检测的相互促进。最后，本方法利用一个推理层，基于识别层的结果获取最终的意见二元组。

Description

一种基于同步神经网络的意见二元组抽取方法
技术领域
本发明属于计算机应用技术，数据挖掘，细粒度情感分析技术领域。
背景技术
随着信息技术的发展，互联网中积累了大量的用户评论数据。对这些评论数据进行语义分析和意见挖掘对各行业的发展具有重要意义，由此细粒度情感分析的相关研究逐渐受到广泛关注。其中，意见二元组抽取(即评价对象-评价词二元组抽取)是一个重要的任务。
为解决该任务，早期的方法主要采用流水线的方式。例如，Hu等人[1]首先识别意见句中包含的评价对象，再基于关联关系抽取评价对象相邻的形容词作为对应的评价词。Zhuang等人[2]首先抽取意见句中包含的评价对象与评价词，再使用依赖关系模板挖掘其关系。基于流水线的方法虽然可以较为简单的进行二元组的抽取，但是这类方法通常会忽略意见实体抽取与关系检测之间的依赖关系，并且会面临错误传导的问题。
为了进一步考虑意见实体抽取和关系检测之间的依赖关系，一些研究工作提出了联合学习的方法。例如，Klinger等人[3,4]分析了评价对象和评价词之间的相互依赖关系，提出了一种基于因子图的联合推理模型来抽取评价对象、评价词和它们之间的关系。Yang等人[5]利用了整数线性规划的方式同时识别评价对象、评价词、意见持有人以及他们之间的关系。但是这些方法通常是基于浅层的机器学习模型，而且需要依赖于手工设计的特征或模板，这在一定程度上限制了二元组抽取的性能。
近年来，深度学习的方法被广泛用于意见实体抽取任务，并且取得了很好的研究成果。Liu等人[6]设计了一种结合多种预训练词向量的循环神经网络方法来抽取评价对象。Xu等人[7]设计了一种卷积神经网络，并考虑领域性词向量来抽取评价对象。Wang等人[8,9]和Li等人[10]关注于评价对象和评价词的联合抽取，并使用深度学习方法取得了很好的性能。具体地，Wang等人[9]和Li等人[10]均采用了注意力机制来捕捉评价对象和评价词之间的潜在关系。Hu等人[11]将预训练的语言模型BERT[12]作为主干结构来抽取评价对象和其对应的情感极性。虽然深度学习技术在意见实体抽取任务中取得了很好的研究成果，但是意见二元组抽取任务依旧是一个未得到充分研究的问题，仍需要进行更多探索性的研究。
综上，现有的意见二元组抽取技术主要可以分为两类：基于流水线的方式和基于联合学习的方式。这两类方法虽然在意见二元组任务上取得了一定的研究成果，但是仍存在问题。其中，由于分步学习的影响，基于流水线的方法通常存在错误传导的问题。而现有的基于联合学习的技术虽然可以避免错误传导，并进一步考虑意见实体抽取和关系检测之间的依赖关系，但是相关工作通常是基于因子图、整数线性规划等浅层的机器学习模型，而且需要依赖于手工设计的特征或模板，这在一定程度上限制了二元组抽取的性能。
参考文献：
[1]Hu,M.,and Liu,B.2004.Mining and summarizing customer reviews.InSIGKDD2004,168–177.
[2]Zhuang,L.；Jing,F.；and Zhu,X.2006.Movie review mining andsummarization.In CIKM 2006,43–50.
[3]Klinger,R.,and Cimiano,P.2013a.Bi-directional interdependencies ofsubjective expressions and targets and their value for ajoint model.InACL2013,848–854.
[4]Klinger,R.,and Cimiano,P.2013b.Joint and pipeline probabilisticmodels for fine-grained sentiment analysis:Extracting aspects,subjectivephrases and their relations.In ICDM 2013,937–944.
[5]Yang,B.,and Cardie,C.2013.Joint inference for finegrained opinionextraction.In ACL 2013,1640–1649.
[6]Liu,P.；Joty,S.R.；and Meng,H.M.2015.Fine-grained opinion miningwith recurrent neural networks and word embeddings.In EMNLP 2015,1433–1443.
[7]Xu,H.；Liu,B.；Shu,L.；and Yu,P.S.2018.Double embeddings and cnn-based sequence labeling for aspect extraction.InACL 2018,592–598.
[8]Wang,W.；Pan,S.J.；Dahlmeier,D.；and Xiao,X.2016.Recursive neuralconditional random fields for aspect-based sentiment analysis.In EMNLP 2016,616–626.
[9]Wang,W.；Pan,S.J.；Dahlmeier,D.；and Xiao,X.2017.Coupled multi-layerattentions for co-extraction ofaspect and opinion terms.In AAAI 2017,3316–3322.
[10]Li,X.；Bing,L.；Li,P.；Lam,W.；and Yang,Z.2018.Aspect term extractionwith history attention and selective transformation.In IJCAI 2018,4194–4200.
[11]Hu,M.；Peng,Y.；Huang,Z.；Li,D.；and Lv,Y.2019.Opendomain targetedsentiment analysis via span-based extraction and classification.In ACL 2019,537–546.
[12]Devlin,J.；Chang,M.；Lee,K.；and Toutanova,K.2019.BERT:pre-trainingof deep bidirectional transformers for language understanding.In NAACL 2019,4171–4186.
发明内容
本发明的目的是解决现有意见二元组抽取技术中面临的错误传导、需要设计手工特征等问题，并提供一种基于同步神经网络的意见二元组抽取方法。
本发明提出的基于同步神经网络的意见二元组抽取方法基于深度学习技术实现意见二元组的抽取，利用神经网络技术自动学习词的语义特征，进而无需构建手工设计的特征。此外，本发明构建了多个交替的识别层与同步层，联合抽取意见句中的评价对象、评价词、以及它们之间的关联关系，在避免错误传导的同时，进一步实现了意见要素抽取模块与关系检测模块之间的信息交互，使得两个模块相互促进。
本发明的技术方案
一种基于同步神经网络的意见二元组抽取方法，主要由编码层、多个交替的识别层与同步层、以及推理层组成。具体地，编码层接收原始意见句为输入，使用预训练的语言模型BERT学习意见句中每个词的上下文语义表示。随后，识别层接收词的上下文语义表示作为输入，并进行意见实体的抽取与关系检测。为实现评价词、评价对象、以及其关系的同步抽取，识别层主要由一个基于全连接层的意见实体抽取模块和一个基于注意力机制的关系检测模块组成。进一步地，本方法在识别层之上构建一个同步层，并将识别层与同步层交替执行多次，以实现意见实体抽取和关系检测相互促进。在同步层中，本方法设计了两个同步矩阵(即，边界同步矩阵和关系同步矩阵)来记录高层识别信息并将信息传递至后续的识别层中。最后，本方法使用一个推理层来获取最终识别的意见二元组。
本发明方法的具体步骤如下：
步骤1)编码层：基于预训练的语言模型构建词的上下文语义表示。
步骤1.1)对评价文本进行分词处理，得到评价文本对应的词序列。
步骤1.2)对每个词，构建词向量、段落向量、以及位置向量，并将三种向量进行加和得到词的初始向量表示，并将此表示作为步骤1.3)中预训练语言模型的输入向量。
步骤1.3)使用BERT作为预训练语言模型，输入步骤1.2)得到的词的初始向量表示，将BERT最后一层的输出作为词的上下文语义表示。
步骤2)识别层：基于步骤1)构建的词的上下文语义表示，同步抽取意见实体的边界、意见实体的类别与评价方面以及评价词之间的修饰关系。
步骤2.1)意见实体抽取。将意见实体抽取问题形式化为序列标注任务。综合考虑词的上下文语义和与其具有关联关系的词的语义，计算词与标签之间的匹配程度。
步骤2.2)关系检测。考虑到意见句中评价对象与评价词之间的关系可能存在一对多、多对一、嵌套、交叠等复杂的情况，采用注意力机制对关系进行检测。在综合考虑词的上下文语义和其所属的意见实体的语义的基础上，计算词与词之间的关联关系，进而得到词之间的关联矩阵。
步骤3)同步层：基于步骤2)中意见实体抽取和关系检测的结果，设计边界同步矩阵与关系同步矩阵记录高层交互信息，为后续的识别层提供信息指导。两个矩阵均被初始化为全零矩阵，并且在每个同步层中通过以下方法进行更新。
步骤3.1)边界同步矩阵的构建。边界同步矩阵记录了任意两个词属于同一个意见实体的概率，该矩阵由步骤2.1)得到的词与标签之间的匹配程度转化得到。具体地，首先使用softmax和argmax变换计算词对应的预测标签。随后，基于预测的标签序列，可以计算实体的边界矩阵。最后，基于实体边界矩阵计算表示实体边界置信度的边界同步矩阵。
步骤3.2)关系同步矩阵的构建。由于步骤2.2)中得到的关联矩阵中可能存在一定的噪音，因此过滤其中的噪音，进而得到关系同步矩阵。
步骤4)交替执行步骤2)与步骤3)，以使得意见实体抽取与关系检测可以相互促进。
步骤5)推理层：将最后一个识别层的结果转化为最终的意见二元组。
步骤5.1)基于步骤2.1)得到的词与标签之间的匹配程度，利用条件随机场(CRF)计算词序列对应的标签序列。
步骤5.2)基于步骤5.1)得到的标签序列，抽取意见句中包含的意见实体。结合步骤2.2)中得到的关联矩阵，判断评价对象和评价词之间是否存在修饰关系，进而得到最终预测的意见二元组。
本发明的优点和有益效果：
本发明基于在线的评论数据实现意见二元组抽取，综合挖掘意见句中词的语义关系与关联关系，提出的方法既同步抽取了评价对象、评价词、以及两者间的修饰关系，又进一步实现了意见实体抽取和关系检测之间的相互促进。由此，本发明不仅提升了二元组抽取的性能，而且为更高效地实现后续情感分类、意见总结等任务打下坚实的基础。
附图说明
图1是本发明的整体***结构示意图。
图2是本发明同步神经网络的示意图。
具体实施方式
实施例1：
下面结合附图对本发明提供的基于同步神经网络的意见二元组抽取方法进行详细说明。
本发明主要采用深度学***台配备不低于8G的内存，CPU核心数不低于4个且主频不低2.6GHz、GPU环境、Linux操作***，并安装Python 3.6及以上版本、pytorch0.4及以上版本等必备软件环境。
如图1所示，本发明提供的基于同步神经网络的意见二元组抽取方法，包括按顺序执行的下列步骤：
步骤1)编码层：基于预训练的语言模型构建词的上下文语义表示。
步骤1.1)如图2所示，给定意见句S，本步骤对评价文本进行分词处理，得到评价文本对应的词序列X＝{x1，x2，...，xn}。
例如，给定评价文本“这里的食物十分美味。”，经过分词，可以得到词序列X＝{″这里″，″的″，″食物″，″十分″，″美味″，″。″}。
步骤1.2)对每个词xt，构建词向量
Figure BDA0002276292060000051
段落向量
Figure BDA0002276292060000052
以及位置向量
Figure BDA0002276292060000053
并将三种向量进行加和得到预训练语言模型的输入向量et。
例如，对于评价文本中的第三个词“食物”，其预训练语言模型的输入向量可表示为e3＝[0.33.-0.18，...，0.42，0.21]。
步骤1.3)如图2所示，使用BERT作为预训练语言模型，输入步骤1.2)得到的输入向量E＝{e1，e2，...，en}，将BERT最后一层的输出作为词的上下文语义表示
H＝{h1，h2，...，hn}。
例如，对于评价文本中的第三个词“食物”，其上下文语义表示为h3＝[0.06，0.31，...，0.00，-0.12]。
步骤2)识别层：基于步骤1)构建的词的上下文语义表示，同步抽取意见实体的边界、意见实体的类别和评价方面以及评价词之间的修饰关系。如图2所示，本步骤将得到词的标签分布矩阵Ci，以及词之间的关系矩阵Gi，其中i表示第i个识别层。
步骤2.1)意见实体抽取。将意见实体抽取问题形式化为序列标注任务。具体地，对于意见句中的第t个词，可以通过下述公式计算其与标签之间的匹配程度
Figure BDA0002276292060000061
Figure BDA0002276292060000062
其中
Figure BDA0002276292060000063
表示第t个词在第i个识别层的隐藏表示，
Figure BDA0002276292060000064
和
Figure BDA0002276292060000065
为模型参数,dt为隐藏表示
Figure BDA0002276292060000066
的维度，k为标签空间的维度。具体地，本任务的标签空间为v＝{O，BA，IA，BP，IP}，由此本任务中k＝5。
例如，对于评价文本中的第三个词“食物”，在第一个识别层中，其与标签之间的匹配程度可表示为
Figure BDA0002276292060000067
在计算隐藏表示
Figure BDA0002276292060000068
的过程中，需要考虑评价对象和评价词之间的修饰关系。例如，若两个短语间存在修饰关系，则其中一个为评价对象，另一个为评价词。为了利用这种修饰关系，在同步层设计了关系同步矩阵R，具体的构建方式参见以下步骤3.2)。基于关系同步矩阵与步骤1.3)得到的词的上下文语义表示，可以通过下述公式计算隐藏表示
Figure BDA0002276292060000069
Figure BDA00022762920600000610
Figure BDA00022762920600000611
其中，
Figure BDA00022762920600000612
表示第t个词与第j个词之间的关联程度，
Figure BDA00022762920600000613
和
Figure BDA00022762920600000614
为模型参数，dh为步骤1.3)中词上下文表示的维度。
步骤2.2)关系检测。考虑到意见句中评价对象与评价词之间的关系可能存在一对多、多对一、嵌套、交叠等复杂的情况，采用注意力机制对关系进行检测。具体地，在第i个识别层中，可以通过下述公式计算第t个词与第j个词之间的关联程度
Figure BDA00022762920600000615
Figure BDA00022762920600000616
Figure BDA0002276292060000071
其中
Figure BDA0002276292060000072
为第t个词的隐藏表示，W*和br为模型参数，γ为分值函数，关联程度
Figure BDA0002276292060000073
可以组成关联矩阵
Figure BDA0002276292060000074
例如，对于给定的评价文本，在第一个识别层中，其关联矩阵可表示为
Figure BDA0002276292060000075
在检测词与词之间的关联关系的过程中，仅考虑词本身的含义是不够的，还需考虑其所属意见实体的语义。由此，设计了边界同步矩阵B，具体的构建方式参见步骤3.1)。基于边界同步矩阵与步骤1.3)得到的词的上下文语义表示，可以通过下述公式计算隐藏表示
Figure BDA0002276292060000076
Figure BDA0002276292060000077
Figure BDA0002276292060000078
其中
Figure BDA0002276292060000079
表示第t个词与第j个词属于同一个意见实体的概率，W*为模型参数。
步骤3)同步层：基于步骤2)中意见实体抽取和关系检测的结果，设计边界同步矩阵与关系同步矩阵记录高层交互信息，为后续的识别层提供信息指导。两个矩阵在本方法中均被初始化为全零矩阵，并且在每个同步层中通过以下方法进行更新。如图2所示，本步骤将得到边界同步矩阵Ti以及关系同步矩阵Ri，其中其中i表示第i个同步层。
步骤3.1)边界同步矩阵的构建。边界同步矩阵记录了任意两个词属于同一个意见实体的概率，该矩阵由步骤2.1)得到的词与标签之间的匹配程度
Figure BDA00022762920600000710
转化得到。具体地，首先使用softmax变换计算词对应的标签分布
Figure BDA00022762920600000711
随后使用如下公式得到词对应的预测标签
Figure BDA00022762920600000712
Figure BDA0002276292060000081
其中，v为标签空间。
例如，评价文本中的第三个词“食物”，在第一个同步层中，其对应的预测标签可表示为
Figure BDA0002276292060000082
基于预测的标签序列，可以计算实体的边界矩阵
Figure BDA0002276292060000083
具体地，当第t个词与第j个词属于同一个意见实体时，
Figure BDA0002276292060000084
反之
Figure BDA0002276292060000085
由于得到的边界矩阵
Ti并非标准结果，因此需要计算表示实体边界置信度的边界同步矩阵B，具体的计算方式如下：
Figure BDA0002276292060000086
例如，对于给定的评价文本，在第一个同步层中，其对应的实体的边界矩阵可表示为
Figure BDA0002276292060000087
通过计算，其对应的边界同步矩阵可表示为
Figure BDA0002276292060000088
步骤3.2)关系同步矩阵的构建。由于步骤2.2)中得到的关联矩阵
Figure BDA0002276292060000089
中可能存在一定的噪音，因此通过下式过滤其中的噪音，进而得到关系同步矩阵
Figure BDA00022762920600000810
Figure BDA00022762920600000811
其中β为关联度阈值。具体地，β设置为0.25。
例如，对于给定的评价文本，在第一个同步层中，其对应的关系同步矩阵可表示为
Figure BDA0002276292060000091
步骤4)交替执行步骤2)与步骤3)，以使得意见实体抽取与关系检测可以相互促进。
步骤5)推理层：将最后一个识别层的结果转化为最终的意见二元组。
步骤5.1)基于步骤2.1)得到的词与标签之间的匹配程度
Figure BDA0002276292060000092
利用条件随机场(CRF)计算词序列对应的标签序列：
Figure BDA0002276292060000093
Figure BDA0002276292060000094
其中
Figure BDA0002276292060000095
表示标签间的转移概率，
Figure BDA0002276292060000096
表示词到标签的状态概率，
YC表示所有可能的标签序列。
例如，对于给定的评价文本，其对应的标签序列可表示为Y＝[O，O，BA，BP，IP，O]。
步骤5.2)基于步骤5.1)得到的标签序列，抽取意见句中包含的意见实体。结合步骤2.2)中得到的关联矩阵
Figure BDA0002276292060000097
通过下式判断评价对象和评价词之间是否存在修饰关系：
Figure BDA0002276292060000098
当δ高于给定的阈值时，评价对象与评价词之间存在修饰关系。具体地，本发明将阈值设为0.5，并由此得到如图2所示的最终预测的意见二元组P。
例如，对于给定的评价文本，其对应的意见二元组为“{食物，十分美味}”。

Claims (5)

1.一种基于同步神经网络的意见二元组抽取方法，主要由编码层、多个交替的识别层与同步层、以及推理层组成；具体步骤如下：
步骤1)编码层：基于预训练的语言模型构建词的上下文语义表示；
步骤2)识别层：基于步骤1)构建的词的上下文语义表示，同步抽取意见实体的边界、意见实体的类别与评价方面以及评价词之间的修饰关系；
步骤3)同步层：基于步骤2)中意见实体抽取和关系检测的结果，设计边界同步矩阵与关系同步矩阵记录高层交互信息，为后续的识别层提供信息指导；两个矩阵均被初始化为全零矩阵，并且在每个同步层中不断进行更新；
步骤4)交替执行步骤2)与步骤3)，以使得意见实体抽取与关系检测能够相互促进；
步骤5)推理层：将最后一个识别层的结果转化为最终的意见二元组。
2.根据权利要求1所述的基于同步神经网络的意见二元组抽取方法，其特征在于，步骤1)编码层的具体操作方法如下：
步骤1.1)对评价文本进行分词处理，得到评价文本对应的词序列；
步骤1.2)对每个词，构建词向量、段落向量、以及位置向量，并将三种向量进行加和得到词的初始向量表示，并将此表示作为步骤1.3)中预训练语言模型的输入向量；
步骤1.3)使用BERT作为预训练语言模型，输入步骤1.2)得到的词的初始向量表示，将BERT最后一层的输出作为词的上下文语义表示。
3.根据权利要求1所述的基于同步神经网络的意见二元组抽取方法，其特征在于，步骤2)识别层的具体操作方法如下：
步骤2.1)意见实体抽取；将意见实体抽取问题形式化为序列标注任务；综合考虑词的上下文语义和与其具有关联关系的词的语义，计算词与标签之间的匹配程度；
步骤2.2)关系检测；考虑到意见句中评价对象与评价词之间的关系可能存在一对多、多对一、嵌套、交叠的复杂情况，采用注意力机制对关系进行检测；具体地，在综合考虑词的上下文语义和其所属的意见实体的语义的基础上，计算词与词之间的关联关系，进而得到词之间的关联矩阵。
4.根据权利要求3所述的基于同步神经网络的意见二元组抽取方法，其特征在于，步骤3)同步层的具体操作方法如下：
步骤3.1)边界同步矩阵的构建；边界同步矩阵记录了任意两个词属于同一个意见实体的概率，该矩阵由步骤2.1)得到的词与标签之间的匹配程度转化得到；具体地，首先使用softmax和argmax变换计算词对应的预测标签；随后，基于预测的标签序列，计算实体的边界矩阵；最后，基于实体边界矩阵计算表示实体边界置信度的边界同步矩阵；
步骤3.2)关系同步矩阵的构建；由于步骤2.2)中得到的关联矩阵中可能存在一定的噪音，因此需要过滤其中的噪音，进而得到关系同步矩阵。
5.根据权利要求3或4所述的基于同步神经网络的意见二元组抽取方法，其特征在于，步骤5)推理层的具体操作方法如下：
步骤5.1)基于步骤2.1)得到的词与标签之间的匹配程度，利用条件随机场(CRF)计算词序列对应的标签序列；
步骤5.2)基于步骤5.1)得到的标签序列，抽取意见句中包含的意见实体；结合步骤2.2)中得到的关联矩阵，判断评价对象和评价词之间是否存在修饰关系，进而得到最终预测的意见二元组。
CN201911124188.XA 2019-11-18 2019-11-18 一种基于同步神经网络的意见二元组抽取方法 Active CN110969014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911124188.XA CN110969014B (zh) 2019-11-18 2019-11-18 一种基于同步神经网络的意见二元组抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911124188.XA CN110969014B (zh) 2019-11-18 2019-11-18 一种基于同步神经网络的意见二元组抽取方法

Publications (2)

Publication Number Publication Date
CN110969014A true CN110969014A (zh) 2020-04-07
CN110969014B CN110969014B (zh) 2023-04-07

Family

ID=70030786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911124188.XA Active CN110969014B (zh) 2019-11-18 2019-11-18 一种基于同步神经网络的意见二元组抽取方法

Country Status (1)

Country Link
CN (1) CN110969014B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563384A (zh) * 2020-04-22 2020-08-21 华南理工大学 面向电商产品的评价对象识别方法、装置及存储介质
CN111581350A (zh) * 2020-04-30 2020-08-25 识因智能科技(北京)有限公司 一种基于预训练语言模型的多任务学习阅读理解方法
CN111667158A (zh) * 2020-05-26 2020-09-15 南开大学 一种基于多图神经网络联合学习的工作技能预测方法
CN111968700A (zh) * 2020-07-07 2020-11-20 南京农业大学 一种基于bert的水稻表型组学知识图谱关系提取方法及***
CN111966832A (zh) * 2020-08-21 2020-11-20 网易（杭州）网络有限公司 评价对象的提取方法、装置和电子设备
CN112287119A (zh) * 2020-06-23 2021-01-29 北京理工大学 一种在线资源相关信息抽取的知识图谱生成方法
CN112818701A (zh) * 2021-02-01 2021-05-18 上海明略人工智能(集团)有限公司 用于确定对话实体识别模型的方法、装置及设备
CN112966527A (zh) * 2021-04-21 2021-06-15 吉林大学 一种基于自然语言推理的关系抽取模型
WO2023119496A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 抽出装置
WO2023119497A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 要望抽出装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130218914A1 (en) * 2012-02-20 2013-08-22 Xerox Corporation System and method for providing recommendations based on information extracted from reviewers' comments
CN107578092A (zh) * 2017-09-01 2018-01-12 广州智慧城市发展研究院 一种基于情绪和意见挖掘的情感复合分析方法及***
US20180053107A1 (en) * 2016-08-19 2018-02-22 Sap Se Aspect-based sentiment analysis
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
CN109582948A (zh) * 2017-09-29 2019-04-05 北京国双科技有限公司 评价观点抽取的方法及装置
CN109948165A (zh) * 2019-04-24 2019-06-28 吉林大学 基于混合注意力网络的细粒度情感极性预测方法
CN110457480A (zh) * 2019-08-16 2019-11-15 国网天津市电力公司 基于交互式注意力机制的细粒度情感分类模型的构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130218914A1 (en) * 2012-02-20 2013-08-22 Xerox Corporation System and method for providing recommendations based on information extracted from reviewers' comments
US20180053107A1 (en) * 2016-08-19 2018-02-22 Sap Se Aspect-based sentiment analysis
CN107578092A (zh) * 2017-09-01 2018-01-12 广州智慧城市发展研究院 一种基于情绪和意见挖掘的情感复合分析方法及***
CN109582948A (zh) * 2017-09-29 2019-04-05 北京国双科技有限公司 评价观点抽取的方法及装置
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
CN109948165A (zh) * 2019-04-24 2019-06-28 吉林大学 基于混合注意力网络的细粒度情感极性预测方法
CN110457480A (zh) * 2019-08-16 2019-11-15 国网天津市电力公司 基于交互式注意力机制的细粒度情感分类模型的构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENGXIANG LIU等: "COMPARATIVE OP INION SENTENCES I DENTIFICATION AND ELEMENTS EXTRACTION" *
ZIGANG TANG等: "Simultaneous determination of five phthalate esters and bisphenol A in milk by packed-nanofiber solid-phase extraction coupled with gas chromatography and mass spectrometry" *
睢国钦;那日萨;彭振;: "基于深度学习和CRFs的产品评论观点抽取方法" *
郝志峰;黄浩;蔡瑞初;温雯;: "基于多特征融合与双向RNN的细粒度意见分析" *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021212801A1 (zh) * 2020-04-22 2021-10-28 华南理工大学 面向电商产品的评价对象识别方法、装置及存储介质
CN111563384A (zh) * 2020-04-22 2020-08-21 华南理工大学 面向电商产品的评价对象识别方法、装置及存储介质
CN111563384B (zh) * 2020-04-22 2022-10-25 华南理工大学 面向电商产品的评价对象识别方法、装置及存储介质
CN111581350A (zh) * 2020-04-30 2020-08-25 识因智能科技(北京)有限公司 一种基于预训练语言模型的多任务学习阅读理解方法
CN111667158A (zh) * 2020-05-26 2020-09-15 南开大学 一种基于多图神经网络联合学习的工作技能预测方法
CN111667158B (zh) * 2020-05-26 2022-06-10 南开大学 一种基于多图神经网络联合学习的工作技能预测方法
CN112287119A (zh) * 2020-06-23 2021-01-29 北京理工大学 一种在线资源相关信息抽取的知识图谱生成方法
CN112287119B (zh) * 2020-06-23 2022-10-18 北京理工大学 一种在线资源相关信息抽取的知识图谱生成方法
CN111968700A (zh) * 2020-07-07 2020-11-20 南京农业大学 一种基于bert的水稻表型组学知识图谱关系提取方法及***
CN111966832A (zh) * 2020-08-21 2020-11-20 网易（杭州）网络有限公司 评价对象的提取方法、装置和电子设备
CN112818701A (zh) * 2021-02-01 2021-05-18 上海明略人工智能(集团)有限公司 用于确定对话实体识别模型的方法、装置及设备
CN112818701B (zh) * 2021-02-01 2023-07-04 上海明略人工智能(集团)有限公司 用于确定对话实体识别模型的方法、装置及设备
CN112966527A (zh) * 2021-04-21 2021-06-15 吉林大学 一种基于自然语言推理的关系抽取模型
WO2023119496A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 抽出装置
WO2023119497A1 (ja) * 2021-12-22 2023-06-29 日本電気株式会社 要望抽出装置

Also Published As

Publication number Publication date
CN110969014B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110969014B (zh) 一种基于同步神经网络的意见二元组抽取方法
Li et al. A survey on deep learning for named entity recognition
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
US11182562B2 (en) Deep embedding for natural language content based on semantic dependencies
Zhang et al. A deep neural network-based method for deep information extraction using transfer learning strategies to support automated compliance checking
Fang et al. Self-attention networks for code search
JP7316721B2 (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
Zhang et al. Aspect-based sentiment analysis for user reviews
Accuosto et al. Mining arguments in scientific abstracts with discourse-level embeddings
Ahmed et al. A fine-grained deep learning model using embedded-CNN with BiLSTM for exploiting product sentiments
Liang et al. A multi-level neural network for implicit causality detection in web texts
Song et al. A method for identifying local drug names in xinjiang based on BERT-BiLSTM-CRF
Bhatia et al. Clustering glossary terms extracted from large-sized software requirements using FastText
Zhang et al. Hierarchical representation and deep learning–based method for automatically transforming textual building codes into semantic computable requirements
Su et al. CSS-LM: A contrastive framework for semi-supervised fine-tuning of pre-trained language models
Wang et al. Models and techniques for domain relation extraction: a survey
Zheng et al. A text classification-based approach for evaluating and enhancing the machine interpretability of building codes
Zhang et al. A new approach of integrating industry prior knowledge for HAZOP interaction
Agarwal et al. From methods to datasets: A survey on Image-Caption Generators
Tian et al. Scene graph generation by multi-level semantic tasks
Liao et al. Two-stage fine-grained text-level sentiment analysis based on syntactic rule matching and deep semantic
Varma et al. Few shot learning with fine-tuned language model for suicidal text detection
Wang et al. A stack-propagation framework with slot filling for multi-domain dialogue state tracking
Xi et al. Chinese named entity recognition: applications and challenges
Akdemir et al. A review on deep learning applications with semantics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant