CN109522920B - 基于结合语义特征的同义判别模型的训练方法及设备 - Google Patents

基于结合语义特征的同义判别模型的训练方法及设备 Download PDF

Info

Publication number
CN109522920B
CN109522920B CN201811088050.4A CN201811088050A CN109522920B CN 109522920 B CN109522920 B CN 109522920B CN 201811088050 A CN201811088050 A CN 201811088050A CN 109522920 B CN109522920 B CN 109522920B
Authority
CN
China
Prior art keywords
sentence
sentences
matrix
word
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811088050.4A
Other languages
English (en)
Other versions
CN109522920A (zh
Inventor
张容晟
舒畅
武拥珍
何永
李传丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiyu Intelligent Technology (Jiaxing) Co.,Ltd.
Original Assignee
Yiyu Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yiyu Intelligent Technology Shanghai Co ltd filed Critical Yiyu Intelligent Technology Shanghai Co ltd
Priority to CN201811088050.4A priority Critical patent/CN109522920B/zh
Publication of CN109522920A publication Critical patent/CN109522920A/zh
Application granted granted Critical
Publication of CN109522920B publication Critical patent/CN109522920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的是提供一种基于结合语义特征的同义判别模型的训练方法及设备，针对单一模型存在的缺点，本发明提出一种将两种方法结合起来的模型，充分利用二者的优势，弥补各自的不足。本发明通过结合卷积神经网络和循环神经网络所提取的特征，挖掘自然语言的深度语义，提高机器判别两句话相似度的准确率。同时，本发明在卷积神经网络提取特征的过程中引入了注意力机制，使得每个字/词能定位到另一句中的对应部分。相比于已有的方案，通过以上方法提取的特征能够更好地反映两个句子的深层语义，从而提高同义判别的准确率。

Description

基于结合语义特征的同义判别模型的训练方法及设备
技术领域
本发明涉及计算机领域，尤其涉及一种基于结合语义特征的同义判别模型的训练方法及设备。
背景技术
近几年，随着深度学习领域的飞速发展，越来越多的自然语言处理相关的任务也逐渐从传统的做法转向使用深度学习的方法，在效果上也有明显的提升。这些任务中比较典型的有：机器翻译，文本生成，情感分类，智能问答等。
同义句判别作为其中的一个重要任务，在近些年获得了极大关注，其根本原因在于这一任务与实际工程具有良好的契合性。当前企业所构建的问答库大多由预设的问题及与之匹配的回答构成。若使用简单的文字匹配搜索，则即使用户输入的问题与数据库中问题只有细微的差别，也无法得到相应的回答。在这种情况下，使用同义句判别可以很好的解决这一问题。只需将用户输入的问题与库中问题逐一做同义句判别，即可找出与用户问题意义相同的句子，从而得到相应的答案。可以发现，能否使用这一方法的关键就在于判别结果是否准确，而如何提高判别的准确率正是当前研究的热点。
发明内容
本发明的一个目的是提供一种基于结合语义特征的同义判别模型的训练方法及设备。
根据本发明的一个方面，提供了一种基于结合语义特征的同义判别模型的训练方法，该方法包括：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
进一步的，上述方法中，根据所述字或词序列查找相对应的词向量，包括：
根据所述字或词序列，并利用当前语料训练得到词向量；或，
根据所述字或词序列在预训练好的词向量中查找相对应的词向量。
进一步的，上述方法中，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离。
进一步的，上述方法中，将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。
根据本发明的另一面，还提供一种基于结合语义特征的同义判别模型的训练设备，其中，该设备包括：
第一装置，用于将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
第二装置，用于利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
第三装置，用于利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
第四装置，用于利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
第五装置，用于利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
第六装置，用于对所述句子对进行统计分析，以提取所述句子对的统计特征；
第七装置，用于将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
第八装置，用于将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
进一步的，上述设备中，第一装置，用于根据所述字或词序列，并利用当前语料训练得到词向量；或，根据所述字或词序列在预训练好的词向量中查找相对应的词向量。
进一步的，上述设备中，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离。
进一步的，上述设备中，还包括第九装置，用于将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。
根据本发明的另一面，还提供一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
根据本发明的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
与现有技术相比，针对单一模型存在的缺点，本发明提出一种将两种方法结合起来的模型，充分利用二者的优势，弥补各自的不足。本发明通过结合卷积神经网络和循环神经网络所提取的特征，挖掘自然语言的深度语义，提高机器判别两句话相似度的准确率。同时，本发明在卷积神经网络提取特征的过程中引入了注意力机制，使得每个字/词能定位到另一句中的对应部分。相比于已有的方案，通过以上方法提取的特征能够更好地反映两个句子的深层语义，从而提高同义判别的准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个方面的一种基于结合语义特征的同义判别模型的训练方法及设备的原理图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，本发明提供一种基于结合语义特征的同义判别模型的训练方法，包括：
步骤S1，将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
在此，所述句子对(sentence pair)是输入的两个语句，这里研究的问题主要是判别两个句子(一对句子)是否为同义句；
可以根据所述字或词序列，并利用当前语料训练得到词向量，也可以根据所述字或词序列在预训练好的词向量中查找相对应的词向量；
经过步骤S1，可以将输入的自然语言语句转化为相对应的词向量矩阵，以方便之后的处理；
步骤S2，利用卷积神经网络对步骤S1得到的两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
在此，步骤S2可以让每个句子的局部特征得到挖掘；
步骤S3，利用注意力机制对步骤S1得到的两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
在此，这一步通过构建互注意力矩阵，使得每个句子中的字/词能在另一个句子中找到与之对应的部分；
步骤S4，利用注意力机制对步骤S2得到的所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
在此，步骤S4与步骤S3类似，区别在于步骤S4是在句子对的卷积特征对基础上进一步挖掘两个句子相互关联的部分；
步骤S5，利用双向循环神经网络对步骤S1得到的两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
在此，步骤S5可以让句子的全局特征得到挖掘；
步骤S6，对所述句子对进行统计分析，以提取所述句子对的统计特征；
在此，所述句子对的统计特征包括两个句子的长度差、编辑距离等；
通过步骤S6得到句子对的统计特征，这一步从统计领域出发，挖掘两个句子的相似特征，可以看作是对以上各步骤提取的特征的一种补充；
步骤S7，将以上步骤S2～6所提取出的所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征等全部拼接为一个矩阵，得到总的特征矩阵；
在此，这一步将所有提取出的特征合并为一个总的特征矩阵；
步骤S8，将步骤S7得到的所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征，从而具备进行同义判别的能力。
本发明的基于结合语义特征的同义判别模型的训练方法一实施例中，步骤S8，将步骤S7得到的总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征之后，还包括：
步骤S9，将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。具体的，目前，用来进行同义判别的模型大多采用卷积神经网络或循环神经网络。这两种方法虽然已经被证明可以在一定程度上对句子语义进行分析，但都仍然存在弊端。
卷积神经网络通过利用卷积核对局部视野窗内的字/词进行卷积，从而得到字与字/词与词之间的联系，并将这些特征挖掘提取出来，用于分类判别。但这种方法的缺点在于无法获取相隔较远的字词之间的联系。
与之相反，循环神经网络由于其独特的“遗忘门”机制，对较长序列的处理有不错的效果。但同时，由于缺乏对局部信息的提取，循环神经网络同样不能达到非常理想的效果。
针对单一模型存在的缺点，本发明提出一种将两种方法结合起来的模型，充分利用二者的优势，弥补各自的不足。本发明通过结合卷积神经网络和循环神经网络所提取的特征，挖掘自然语言的深度语义，提高机器判别两句话相似度的准确率。同时，本发明在卷积神经网络提取特征的过程中引入了注意力机制，使得每个字/词能定位到另一句中的对应部分。相比于已有的方案，通过以上方法提取的特征能够更好地反映两个句子的深层语义，从而提高同义判别的准确率。
根据本发明的另一面，还提供一种基于结合语义特征的同义判别模型的训练设备，其中，该设备包括：
第一装置，用于将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
第二装置，用于利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
第三装置，用于利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
第四装置，用于利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
第五装置，用于利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
第六装置，用于对所述句子对进行统计分析，以提取所述句子对的统计特征；
第七装置，用于将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
第八装置，用于将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
进一步的，上述设备中，第一装置，用于根据所述字或词序列，并利用当前语料训练得到词向量；或，根据所述字或词序列在预训练好的词向量中查找相对应的词向量。
进一步的，上述设备中，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离。
进一步的，上述设备中，还包括第九装置，用于将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。
根据本发明的另一面，还提供一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
根据本发明的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵对，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (8)

1.一种基于结合语义特征的同义判别模型的训练方法，其中，该方法包括：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
2.根据权利要求1所述的方法，其中，根据所述字或词序列查找相对应的词向量，包括：
根据所述字或词序列，并利用当前语料训练得到词向量；或，
根据所述字或词序列在预训练好的词向量中查找相对应的词向量。
3.根据权利要求1所述的方法，其中，将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。
4.一种基于结合语义特征的同义判别模型的训练设备，其中，该设备包括：
第一装置，用于将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
第二装置，用于利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
第三装置，用于利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
第四装置，用于利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
第五装置，用于利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
第六装置，用于对所述句子对进行统计分析，以提取所述句子对的统计特征，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离；
第七装置，用于将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
第八装置，用于将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
5.根据权利要求4所述的设备，其中，第一装置，用于根据所述字或词序列，并利用当前语料训练得到词向量；或，根据所述字或词序列在预训练好的词向量中查找相对应的词向量。
6.根据权利要求4所述的设备，其中，还包括第九装置，用于将待判断的句子对输入学习完毕的神经网络模型中，以确定所述待判断的句子对是否为同义语句。
7.一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
8.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
将输入的作为句子对两个句子分别按字或词拆分，得到每个句子对应的字或词序列，并根据所述字或词序列查找相对应的词向量，得到每个句子对应的词向量矩阵；
利用卷积神经网络对两个句子的词向量矩阵分别进行特征提取，得到所述句子对的卷积特征；
利用注意力机制对两个句子的词向量矩阵分别进行处理，得到每个句子的互注意力矩阵，并利用每个句子的互注意力矩阵对两个句子的词向量矩阵进行映射，得到所述句子对的注意力特征；
利用注意力机制对所述句子对的卷积特征进行处理，得到卷积特征的互注意力矩阵，并利用所述卷积特征的互注意力矩阵对所述句子对的卷积特征进行映射，得到所述句子对的卷积特征的注意力特征；
利用双向循环神经网络对两个句子的词向量矩阵分别进行特征提取，得到句子对的循环特征；
对所述句子对进行统计分析，以提取所述句子对的统计特征，所述句子对的统计特征包括：两个句子的长度差和/或编辑距离；
将所述句子对的卷积特征、句子对的注意力特征、所述句子对的卷积特征的注意力特征、句子对的循环特征和句子对的统计特征拼接为一个矩阵，得到总的特征矩阵；
将所述总的特征矩阵输入神经网络模型中学习，使得神经网络模型学习到同义语句之间与不同义语句之间的特征。
CN201811088050.4A 2018-09-18 2018-09-18 基于结合语义特征的同义判别模型的训练方法及设备 Active CN109522920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811088050.4A CN109522920B (zh) 2018-09-18 2018-09-18 基于结合语义特征的同义判别模型的训练方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811088050.4A CN109522920B (zh) 2018-09-18 2018-09-18 基于结合语义特征的同义判别模型的训练方法及设备

Publications (2)

Publication Number Publication Date
CN109522920A CN109522920A (zh) 2019-03-26
CN109522920B true CN109522920B (zh) 2020-10-13

Family

ID=65771541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811088050.4A Active CN109522920B (zh) 2018-09-18 2018-09-18 基于结合语义特征的同义判别模型的训练方法及设备

Country Status (1)

Country Link
CN (1) CN109522920B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083834B (zh) * 2019-04-24 2023-05-09 北京百度网讯科技有限公司 语义匹配模型训练方法、装置、电子设备及存储介质
CN111859926B (zh) * 2020-07-28 2023-07-25 中国平安人寿保险股份有限公司 同义句对生成方法、装置、计算机设备及存储介质
CN114819188A (zh) * 2022-05-19 2022-07-29 北京百度网讯科技有限公司 模型训练方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107797985A (zh) * 2017-09-27 2018-03-13 百度在线网络技术（北京）有限公司 建立同义鉴别模型以及鉴别同义文本的方法、装置
CN108052588A (zh) * 2017-12-11 2018-05-18 浙江大学城市学院 一种基于卷积神经网络的文档自动问答***的构建方法
CN108108771A (zh) * 2018-01-03 2018-06-01 华南理工大学 基于多尺度深度学习的图像问答方法
CN108287822A (zh) * 2018-01-23 2018-07-17 北京容联易通信息技术有限公司 一种中文相似问题生成***与方法
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220231A (zh) * 2016-03-22 2017-09-29 索尼公司 用于自然语言处理的电子设备和方法以及训练方法
CN108170736B (zh) * 2017-12-15 2020-05-05 南瑞集团有限公司 一种基于循环注意力机制的文档快速扫描定性方法
CN108536679B (zh) * 2018-04-13 2022-05-20 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107797985A (zh) * 2017-09-27 2018-03-13 百度在线网络技术（北京）有限公司 建立同义鉴别模型以及鉴别同义文本的方法、装置
CN108052588A (zh) * 2017-12-11 2018-05-18 浙江大学城市学院 一种基于卷积神经网络的文档自动问答***的构建方法
CN108108771A (zh) * 2018-01-03 2018-06-01 华南理工大学 基于多尺度深度学习的图像问答方法
CN108287822A (zh) * 2018-01-23 2018-07-17 北京容联易通信息技术有限公司 一种中文相似问题生成***与方法
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding;Tao Shen et al.;《arXiv》;20171120;第1-10页 *
基于深度学习的问答匹配方法;荣光辉 等;《计算机应用》;20171010;第37卷(第10期);第2861-2865页 *

Also Published As

Publication number Publication date
CN109522920A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
Dwivedi et al. Research and reviews in question answering system
JP2020524314A (ja) 危険アドレス識別方法及び機器、並びに電子装置
CN104615589A (zh) 训练命名实体识别模型的方法、命名实体识别方法及装置
WO2019223362A1 (zh) 自动问答方法及装置
CN109522920B (zh) 基于结合语义特征的同义判别模型的训练方法及设备
US20220343082A1 (en) System and method for ensemble question answering
CN109359178A (zh) 一种检索方法、装置、存储介质及设备
US11417339B1 (en) Detection of plagiarized spoken responses using machine learning
CN112581327B (zh) 基于知识图谱的法律推荐方法、装置和电子设备
US20220366135A1 (en) Extended open information extraction system
Šandrih et al. Development and evaluation of three named entity recognition systems for serbian-the case of personal names
CN117648933B (zh) 基于深度学习和知识库的自然语言歧义消解方法和***
Yen et al. Unanswerable question correction in question answering over personal knowledge base
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
Jian et al. English text readability measurement based on convolutional neural network: A hybrid network model
CN113779227A (zh) 案情事实抽取方法及***及装置及介质
CN111783425B (zh) 基于句法分析模型的意图识别方法及相关装置
CN109684357B (zh) 信息处理方法及装置、存储介质、终端
CN116028626A (zh) 文本匹配方法、装置、存储介质以及电子设备
CN114691907B (zh) 一种跨模态检索的方法、设备及介质
Karpagam et al. Deep learning approaches for answer selection in question answering system for conversation agents
CN115712713A (zh) 一种文本匹配方法、装置、***以及存储介质
CN109522921A (zh) 语句相似度判别方法及设备
Murugathas et al. Domain specific question & answer generation in tamil
KR20230103009A (ko) 인공지능을 이용한 수학 문제 자동 풀이 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210720

Address after: 314299 room 202-5, 2nd floor, Huayuan Building, Pinghu Economic and Technological Development Zone, Jiaxing City, Zhejiang Province

Patentee after: Yiyu Intelligent Technology (Jiaxing) Co.,Ltd.

Address before: 201203 Shanghai Pudong New Area free trade trial area, 1 spring 3, 400 Fang Chun road.

Patentee before: YIYU INTELLIGENT TECHNOLOGY (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right