CN111324699A - 语义匹配的方法、装置、电子设备及存储介质 - Google Patents

语义匹配的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111324699A
CN111324699A CN202010105193.2A CN202010105193A CN111324699A CN 111324699 A CN111324699 A CN 111324699A CN 202010105193 A CN202010105193 A CN 202010105193A CN 111324699 A CN111324699 A CN 111324699A
Authority
CN
China
Prior art keywords
words
sentences
association information
target
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010105193.2A
Other languages
English (en)
Inventor
赵文
张开旭
刘洪�
陈守志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tencent Technology Co Ltd
Original Assignee
Guangzhou Tencent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tencent Technology Co Ltd filed Critical Guangzhou Tencent Technology Co Ltd
Priority to CN202010105193.2A priority Critical patent/CN111324699A/zh
Publication of CN111324699A publication Critical patent/CN111324699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种语义匹配的方法、装置、电子设备及存储介质，属于自然语言处理技术领域。所述方法包括：基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，所述目标图的一个节点用于表示所述至少两个语句中的一个词语，所述目标图的边用于表示所述边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；将语言模型中的掩码矩阵替换为所述目标图的邻接矩阵，所述掩码矩阵用于使参与计算的部分值不起作用；基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系。上述技术方案，增强了语义结构之间的关系，提高了语义匹配的准确度。

Description

语义匹配的方法、装置、电子设备及存储介质
技术领域
本申请涉及自然语言处理技术领域，特别涉及一种语义匹配的方法、装置、电子设备及存储介质。
背景技术
随着大规模数据集的出现和深度学习的发展，出现了很多解决语义匹配问题的方法。语义匹配是指判断语句之间的语义关系，如相似关系或者矛盾关系，语义匹配的核心是词义理解和结构语义理解，词义理解是指精准掌握词语在上下文中的含义，结构语义理解是指理解语义成分之间的关系，语义成分是指语义结构的组成成分。由于语义匹配广泛的应用于搜索、问答以及内容推荐等场景中，因此语义匹配的结果是否准确，就显得尤为重要。
相关技术中，通常是通过编码器将待匹配的语句编码成向量，通过比较向量之间的距离，来得到语句之间的语义关系。该编码器可以为基于LSTM(Long Short-TermMemory，长短期记忆网络)的编码器，或者基于CNN(Convolutional Neural Networks，卷积神经网络)的编码器等。
上述语义匹配的过程中，是从语句之间的角度来理解语句各词语在上下文中的含义，忽略了语义成分之间的关系，也即忽略了对结构语义的理解，导致语义匹配的结果的准确度不高。
发明内容
本申请实施例提供了一种语义匹配的方法、装置、电子设备及存储介质，增强了语义成分之间的关系，提高了语义匹配的准确度。所述技术方案如下：
一方面，提供了一种语义匹配的方法，所述方法包括：
基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，所述目标图的一个节点用于表示所述至少两个语句中的一个词语，所述目标图的边用于表示所述边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；
将语言模型中的掩码矩阵替换为所述目标图的邻接矩阵，所述掩码矩阵用于使参与计算的部分值不起作用；
基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系。
一方面，提供了一种语义匹配装置，所述装置包括：
构造模块，用于基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，所述目标图的一个节点用于表示所述至少两个语句中的一个词语，所述目标图的边用于表示所述边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；
替换模块，用于将语言模型中的掩码矩阵替换为所述目标图的邻接矩阵，所述掩码矩阵用于使参与计算的部分值不起作用；
确定模块，用于基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系。
在一种可选的实现方式中，所述构造模块，还用于对待匹配的至少两个语句分别进行依存句法分析，得到至少两个依存句法树，一个所述依存句法树用于表示一个语句中词语之间的依存关系；响应于所述至少两个语句中的两个词语之间具有所述依存关系或者不属于同一个语句，在用于表示所述两个词语的两个节点之间构造边，得到目标图。
在一种可选的实现方式中，所述确定模块，还用于将所述至少两个语句对应的语句向量输入替换后的所述语言模型；基于所述语言模型的编码层，确定所述至少两个语句中词语之间的相似程度；基于所述语言模型的解码层，确定所述至少两个语句之间的语义关系。
在一种可选的实现方式中，所述确定模块，还用于在所述编码层中，根据所述邻接矩阵，将满足目标条件的词语之间的第一关联信息调整至第二关联信息，所述第二关联信息所表示的词语之间的关联程度大于所述第一关联信息；根据所述第二关联信息，确定所述至少两个语句中词语之间的相似程度。
在一种可选的实现方式中，所述第一关联信息和所述第二关联信息以数值形式表示；所述确定模块，还用于将所述邻接矩阵的元素值作为关系增强参数，所述关系增强参数的取值为1或0，1表示词语之间满足所述目标条件，0表示词语之间不满足所述目标条件；获取目标参数，将所述目标参数输入激活函数，所述目标参数为随着所述语言模型的训练进行优化的参数，所述激活函数用于保证正向增强词语之间的关联程度；根据所述关系增强参数和所述激活函数的乘积对词语之间的第一关联信息进行调整，得到所述第二关联信息。
在一种可选的实现方式中，所述目标条件为下述任一种：
属于不同语句的词语；
属于同一语句且具有依存关系的词语。
在一种可选的实现方式中，所述确定模块，还用于对于任一词语，将所述词语与所述两个语句中其他词语之间的第二关联信息，作为所述词语对应的注意力矩阵中的元素；根据所述注意力矩阵和所述其他词语的值向量，确定所述词语与所述其他词语之间的相似程度。
在一种可选的实现方式中，所述确定模块，还用于在所述解码层，根据所述邻接矩阵，对所述编码层的输出结果进行解码；根据所述解码层的输出结果，确定所述至少两个语句之间的语义关系。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行以实现本申请实施例中的语义匹配的方法中所执行的操作。
一方面，提供了一种存储介质，所述存储介质中存储有至少一段程序代码，所述至少一段程序代码用于执行本申请实施例中的语义匹配的方法。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，通过根据语句中词语间的依存关系构造目标图，在图中用边表示词语之间的依存关系和不属于同一语句，并将该目标图的邻接矩阵替代语言模型中的掩码矩阵，从而增强了语义结构之间的关系，提高了语义匹配的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的语义匹配***的结构框图；
图2是根据本申请实施例提供的一种语义匹配的方法流程图；
图3是根据本申请实施例提供的一种依存句法树的示意图；
图4是根据本申请实施例提供的一种目标图的示意图；
图5是根据本申请实施例提供的另一种语义匹配的方法流程图；
图6是根据本申请实施例提供的一种语义匹配的装置框图；
图7是根据本申请实施例提供的一种终端的结构框图；
图8是根据本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提供了一种语义匹配方法，可以应用于搜索、问答、翻译以及内容推荐等场景中，如在搜索场景中对一个商品名称进行搜索时，通过本申请实施例提供的语义匹配方法，可以确定该商品名称在数据库中对应的信息，然后从数据库中提取相应的信息进行显示；或者，在问答场景中检测到某个问题时，通过本申请实施例提供的语义匹配方法，可以将该问题与已存储的其他问题进行匹配，在有相似的问题时，显示该相似的问题的回答；或者，在翻译场景将待翻译的内容翻译为目标语言时，通过本申请实施例提供的语义匹配方法，可以确定与该待翻译的内容语义相同的目标语言的内容；再或者，在内容推荐场景根据输入的内容进行推荐时，通过本申请实施例提供的语义匹配方法，可以确定与输入的内容相关的推荐内容。
下面简单介绍一下本申请实施例提供的语义匹配方法的主要步骤：首先基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，该目标图的一个节点用于表示上述至少两个语句中的一个词语，该目标图的边用于表示该边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句。然后，将语言模型中的掩码矩阵替换为该目标图的邻接矩阵，该掩码矩阵用于使参与计算的部分值不起作用。最后，基于该至少两个语句对应的语句向量以及替换后的上述语言模型，确定上述至少两个语句之间的语义关系。上述语义匹配方法，通过基于语句中词语间的依存关系构造目标图，并用该目标图的邻接矩阵替代语言模型中的掩码矩阵，从而增强了语义结构之间的关系，提高了语义匹配的准确度。
图1是根据本申请实施例提供的语义匹配***100的结构框图。该语义匹配***100包括：终端110和语义匹配平台120。
终端110通过无线网络或有线网络与语义匹配平台110相连。终端110可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3播放器、MP4播放器和膝上型便携计算机中的至少一种。终端110安装和运行有支持语义匹配的应用程序。该应用程序可以是问答类、检索类、翻译类或者资讯类等应用程序中的一种。示意性的，终端110是用户使用的终端，该终端110中运行的应用程序内登录有用户账户。
语义匹配平台120包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。语义匹配平台120用于为支持语义匹配的应用程序提供后台服务。可选地，语义匹配平台120承担主要语义匹配工作，终端110承担次要语义匹配工作；或者，语义匹配平台120承担次要语义匹配工作，终端110承担主要语义匹配工作；或者，语义匹配平台120或终端110分别可以单独承担语义匹配工作。
可选地，语义匹配平台120包括：接入服务器、语义匹配服务器和数据库。接入服务器用于提供终端110提供接入服务。语义匹配服务器用于提供语义匹配有关的后台服务。语义匹配服务器可以是一台或多台。当语义匹配服务器是多台时，存在至少两台语义匹配服务器用于提供不同的服务，和/或，存在至少两台语义匹配服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。语义匹配服务器中可以设置有语言模型。在本申请实施例中，该语言模型是基于多头注意力机制所构建的模型。
终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述语义匹配***还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是根据本申请实施例提供的一种语义匹配的方法流程图，如图2所示。上述电子设备可以被提供为终端，还可以被提供为服务器，在本申请实施例中以应用于终端为例进行说明。该语义匹配的方法包括以下步骤：
201、终端对待匹配的至少两个语句分别进行依存句法分析，得到至少两个依存句法树，一个依存句法树用于表示一个语句中词语之间的依存关系。
在本申请实施例中，对于待匹配的至少两个语句，终端可以分别对每个语句进行分词，对于任一语句，终端可以按照预设的语言规则，分析得到该语句中包括的多个词语之间的依存关系，根据该依存关系，构造该语句对应的依存句法树。可选的，终端还可以通过依存句法分析工具对该至少两个语句分别进行依存句法分析，获取每个语句对应的依存句法树，从而得到至少两个依存句法树。上述至少两个语句可以是中文语句，也可以是英文语句，还可以是其他语言的语句，本申请实施例对此不进行限制。上述依存句法分析工具可以是基于统计学方法构造的工具，也可以是基于深度学习构造的工具，还可以是基于某种规则构造的工具，本申请实施例对此不进行限制。
例如，以终端对待匹配的两个中文语句分别进行依存句法分析为例，参见图3所示，图3是根据本申请实施例提供的一种依存句法树的示意图。在图3中，包括两个依存句法树，一个依存句法树对应一个中文语句。在“他说了一句大实话”这一语句对应的依存句法树中，“他”、“了”以及“大实话”这三个词语均与“说”具有依存关系，而“一句”这个词语与“大实话”具有依存关系。在“她曾经说了谎话”这一语句对应的依存句法树中，“她”、“曾经”、“了”以及“谎话”这四个词语均与“说”具有依存关系。
在一种可选的实现方式中，在得到上述至少两个依存句法树中，响应于依存句法树中包括复合词，终端可以对该复合词进一步的进行分词，得到至少两个词语，并保留分词前后的依存关系。其中，复合词指的是由至少两个词语按照一定的语法规则复合得到，如复合词“美人”由“美”和“人”两个词语复合得到，再如复合词“football(足球)”由“foot(脚)”和“ball(球)”两个词语复合得到。终端通过对复合词进一步的进行分词，可以使得依存句法树中的词语成为最小的词语单元，从而便于将词语通过向量的形式来表示。
例如，图3中的“大实话”为一个复合词，经过分词后得到“大”和“实话”两个词语，保持原有的依存关系不变，则这两个词语均与“说”具有依存关系，“一句”与这两个词均有依存关系。再如，有的英语单词中包括前缀或后缀，终端可以通过分词将单词的前缀或者后缀分离，得到该前缀或者后缀以及另一个单词。
202、终端响应于上述至少两个语句中的两个词语之间具有依存关系或者不属于同一个语句，在用于表示上述两个词语的两个节点之间构造边，得到目标图，该目标图的一个节点用于表示至少两个语句中的一个词语。
在本申请实施例中，终端在得到上述至少两个依存句法树后，可以基于该至少两个依存句法树构造一个目标图，该目标图中的一个节点用于表示一个词语，该目标图中的一条边用于表示该边连接的节点所表示的词语之间存在依存关系或者不属于同一个语句。上述技术过程，也即是，对于任一语句中的任一词语，在上述目标图中，该词语对应的节点与其他语句中的每个词语对应的节点之间均通过边连接，且该词语对应的节点与同一语句中具有依存关系的其他词语对应的节点之间均通过边连接。
例如，参见图4所示，图4是根据本申请实施例提供的一种目标图的示意图。在图4中，继续以图3中示出的两个中文语句对应的依存句法树为例进行说明，将上述两个中文语句中包括的11个词语作为目标图中的11个节点，其中，上述11个词中包括由“大实话”分词得到的“大”和“实话”两个词语。对于该11个词语中的任一词语，如“他”这一词语，由于“他”与同一语句中的“说”这一词语之间存在依存关系，因此在“他”对应的节点和“说”对应的节点之间构造边，并且，由于“他”与“她”、“曾经”、“说”、“了”以及“谎话”这五个词语不属于同一语句，则在“他”对应的节点和上述五个词语对应的节点之间构造边。
203、终端将语言模型中的掩码矩阵替换为上述目标图的邻接矩阵，该掩码矩阵用于使参与计算的部分值不起作用。
在本申请实施例中，终端可以通过语言模型来确定上述至少两个语句之间的语义关系，该语言模型可以由多层Transformer(一种用于自然语言处理的模型)构成，Transformer主要基于编码器-解码器结构和注意力机制。该语言模型中包括掩码矩阵，通过该掩码矩阵可以对参与计算的某些数据进行掩盖，消除这部分值对参数更新的影响，也即是这部分值无论取任何值，都不会影响参数更新的结果。而上述目标图的邻接矩阵用于表示目标图中节点之间的相邻关系，也即该邻接矩阵中的元素用于表示两个词语具有依存关系或者不属于同一语句，不仅反映了语句之间词语的关系还反映了语句内词语之间的关系。通过该目标图的邻接矩阵来替换掩码矩阵，一方面可以继续对某些数据进行掩盖，另一方面可以根据该邻接矩阵对词语之间的关系进行增强，加深了语义成分之间的关系，增强了对结构语义的理解。
204、终端基于上述至少两个语句对应的语句向量以及替换后的上述语言模型，确定上述至少两个语句之间的语义关系。
在本申请实施例中，终端可以将上述至少两个语句对应的语句向量输入到替换后的语言模型中，根据该替换后的语言模型的输出结果，来确定上述至少两个语句之间的语义关系。相应的，本步骤可以通过子步骤2041至子步骤2043来实现：
2041、终端将上述至少两个语句对应的语句向量输入替换后的语言模型。
终端可以将上述至少两个语句连接在一起，构成一个目标语句，将该目标语句中各词语对应的词向量组合为上述语句向量；终端还可以获取上述至少两个语句中每个语句中词语对应的词向量，将获取到的词向量组合为上述语句向量。其中，终端可以基于嵌入算法将上述至少两个语句中的词语转换为对应的词向量。
2042、终端基于语言模型的编码层，确定至少两个语句中词语之间的相似程度。
该语言模型可以基于多层Transformer构成，Transformer的结构简单来说包括一个编码组件和一个解码组件，编码组件中包括至少一个编码器，而解码组件中包括与编码器数量相同的解码器。编码组件所在的层可以称为语言模型的编码层。其中，编码器可以包括两个子层：自注意力层和前馈神经网络，编码器接收至少一个向量作为输入，将接收到的向量传递到自注意力层，然后将自注意力层的输出结果传入前馈神经网络，最后将前馈神经网络的输出送到下一个编码器。
在自注意力层，终端基于自注意力机制，通过词向量计算各词语的自注意力的步骤可以为：第一步，对于输入的语句向量中的每个词向量，分别创建一个Query(查询)向量、一个Key(键)向量以及一个Value(值)向量。这些向量可以通过词向量分别与对应的权重矩阵相乘得到，其中，权重矩阵的维度数小于词向量的维度数。如权重矩阵的维度数为64，而词向量以及编码器的输入/输出的向量的维度数为512。通过将向量的维度降低，可以在进行注意力矩阵计算时保持维度上的固定。第二步，计算每个词语之间的关联信息，该关联信息用于表示词语之间的关联程度，可以通过数值的形式表示。对于任一词语的Query向量，通过计算该词语的Query向量与其他各词语的Key向量的点积，来得到该词语与其他各词语之间的关联信息。第三步，将上述关联信息除以Key向量的维度数的平方根，以保证更新过程更加稳定。第四步，对计算结果进行标准化处理，如通过逻辑回归的方式进行标准化处理，使得标准化处理后的结果加起来等于1。第五步，将每个词语的Value向量分别与标准化处理的结果相乘。第六步，将第五步中得到的相乘结果相加，即得到一个词语的自注意力，该自注意力用于表示该词语与其他词语的相似程度。
例如，通过qi、ki和vi分别来表示词语i的Query向量、Key向量和Value向量。通过公式(1)可以对词语之间的关联程度进行标准化处理，实现上述第二步至第四步。然后通过公式(2)来实现上述第五步和第六步。
Figure BDA0002388310030000091
其中，αij表示词语i与词语j之间的关联信息，exp()表示以自然常数e为底的指数函数，qi表示词语i的Query向量，
Figure BDA0002388310030000092
表示词语j的Key向量，T表示转置，L表示至少两个语句中的词语的总数量，L为正整数，l表示词语的标识。
Figure BDA0002388310030000093
其中，oi表示词语i的自注意力，αij表示词语i与词语j之间的关联信息，vj表示词语j的Value向量。
在一种可选的实现方式中，上述第二步至第六步还可以简化为矩阵计算，参见公式(3)所示。
Figure BDA0002388310030000101
其中，O表示元素为各词语之间相似度的矩阵，softmax()表示逻辑回归函数，Q表示各词语的Query向量组成的矩阵，K表示各词语的Key向量组成的矩阵，T表示转置，dk表示维度数，V表示各词语的Value向量组成的矩阵。
在一种可选的实现方式中，终端在编码层中计算每个词语之间的关联程度时，可以调整词语之间的关联信息，该关联信息用于表示词语之间的关联程度。相应的步骤可以为：终端可以根据上述目标图的邻接矩阵，将满足目标条件的词语之间的第一关联信息，调整至第二关联信息，该第二关联信息所表示的词语之间的关联程度大于该第一关联信息，终端根据该第二关联信息，确定上述至少两个语句中词语之间的相似程度。其中，目标条件可以为属于不同语句的词语或者属于同一语句且具有依存关系的词语。通过调整词语之间的关联信息，可以增强词语之间的关联程度，从而增强了语义结构之间的关系。
在一种可选的实现方式中，第一关联信息和第二关联信息可以以数值形式表示，从而终端可以通过随着语言模型的训练进行优化的目标参数来调整词语之间的关联信息。相应的步骤可以为：终端可以将邻接矩阵的元素值作为关系增强参数，该关系增强参数的取值为1或0，1表示词语之间满足目标条件，0表示词语之间不满足目标条件。终端获取目标参数，将该目标参数输入激活函数，该目标参数为随着语言模型的训练进行优化的参数，该激活函数用于保证正向增强词语之间的关联程度。终端可以根据关系增强参数和激活函数的乘积对词语之间的第一关联信息进行调整，得到第二关联信息。通过邻接矩阵的特性，可以基于邻接矩阵中元素的值来间接表示满足目标条件的词语，即具有依存关系或者不属于同一语句的词语所对应的节点之间由边连接，则由边连接的节点所对应的词语即为上述满足目标条件的词语。通过邻接矩阵中元素的值来表示词语之间是否满足目标条件，从而对词语之间的关联关系进行调整，节约了判断过程，提高了计算效率。
例如，在调整前，可以通过上述公式(1)计算得到第一关联信息。在调整后，可以通过公式(4)来计算得到第二关联信息。
Figure BDA0002388310030000111
其中，αij表示词语i与词语j之间的关联信息，exp()表示以自然常数e为底的指数函数，qi表示词语i的Query向量，
Figure BDA0002388310030000112
表示词语j的Key向量，T表示转置，γij表示词语i与词语j对应的关系增强系数，也即在邻接矩阵中对应的元素值，σ( )表示激活函数，λ表示目标参数。
在一种可选的实现方式中，终端可以获取各词语对应的注意力矩阵，基于该注意力矩阵来确定词语之间的相似程度。相应的，终端根据第二关联信息，确定至少两个语句中词语之间的相似程度的步骤可以为：对于任一词语，终端可以将该词语以上述两个词语中其他词语之间的第二关联信息，作为该词语对应的注意力矩阵中的元素，根据该注意力矩阵和其他词语的值向量，确定该词语与其他词语之间的相似程度。通过采用矩阵与向量相乘的方式进行计算，可以一定程度上缩短计算所需时间，提高计算效率。
需要说明的是，编码组件中在包括两个或者两个以上的编码器时，这些编码器堆叠在一起，最底部的编码器的输入为上述语句向量，该最底部的编码器的输出为与该最底部的编码器位置相邻且位于该编码器上方的编码器的输入。也即，对于编码组件中除最底部的编码器和最顶部的编码器以外的任一编码器，该编码器的输入为与该编码器位置相邻且位于该编码器下方的编码器的输出，该编码器的输出为与该编码器位置相邻且位于该编码器上方的编码器的输入。通过选用包括两个或者两个以上的编码器，使得编码器的最终输出，也即解码器的输入更准确。
2043、终端基于语言模型的解码层，确定至少两个语句之间的语义关系。
终端在得到编码层的输出结果后，将输出的结果输入到解码组件，该解码组件所在的层可以称为语言模型的解码层。在该解码层，终端可以根据上述邻接矩阵，对上述编码层的输出结果进行解码，根据该解码层的输出结果，即可确定上述至少两个语句之间的语义关系。其中，解码器可以包括三个子层：自注意力层、编解码注意力层以及前馈神经网络。上述邻接矩阵可以在解码器的自注意力层使参与计算的部分值不起作用，使自注意力层只关注输出序列中靠前的位置。
例如，一个语句中各词语对应的输出结果与另一个语句中各词语对应的输出结果分别对应，则认为这两个语句相似；反之若均不对应，或者仅有部分对应，则认为这两个语义不相似。
需要说明的是，上述步骤201至步骤204所描述的步骤是本申请提供的语义匹配的方法可选的实现方案，该实现方案的流程还可以参见图5所示，图5是根据本申请实施例提供的另一种语义匹配的方法流程图，示例性的示出了终端对两个语句的处理过程。在图5中，首先分别对语句1和语句2进行依存句法分析，得到两个依存句法树。然后将两个依存句法树融合为一个目标图。然后计算该目标图对应的邻接矩阵，将该邻接矩阵替换掉语言模型的掩码矩阵。最后基于替换后的语言模型，输出语句1和语句2的语义关系。该语义关系可以为矛盾、相似或者无关等。
在其他可选的实现方案中，终端还可以将上述至少两个语句分别构成词语集合，一个语句对应一个词语集合，对于任一语句，根据词语间的依存关系来构造该语句对应的图，并确定该图对应的边集。基于该边集来确定词语是否满足上述目标关系。例如，以语句A和语句B为例，语句A中包含的词语构成集合S1，语句B中包含的词语构成集合S2。G1表示语句A对应的图，G1中的节点表示S1中的元素，E1表示G1对应的边集。类似的，G2表示语句A对应的图，G2中的节点表示S2中的元素，E2表示G2对应的边集。对于任意两个词语ti和tj，<ti,tj>表示从语ti出发到tj的有向边，若该有向边存在于E1或者E2中，则表示这两个词语之间存在依存关系，若ti和tj不同时出现在S1或S2中，则表示两个词语属于不同语句。则关系增强系数可以通过公式(5)来表示。
Figure BDA0002388310030000121
其中，γij表示词语i与词语j对应的关系增强系数，if(如果)表示目标条件，elsewise(其他)表示其他情况，ti表示词语i，tj表示词语j，Sm表示集合m，Sn表示集合n。
在本申请实施例中，通过根据语句中词语间的依存关系构造目标图，在图中用边表示词语之间的依存关系和不属于同一语句，并将该目标图的邻接矩阵替代语言模型中的掩码矩阵，从而增强了语义结构之间的关系，提高了语义匹配的准确度。
图6是根据本申请实施例提供的一种语义匹配的装置框图。该装置用于执行上述语义匹配的方法执行时的步骤，参见图，装置包括：构造模块601、替换模块602以及确定模块603。
构造模块601，用于基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，目标图的一个节点用于表示至少两个语句中的一个词语，目标图的边用于表示边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；
替换模块602，用于将语言模型中的掩码矩阵替换为目标图的邻接矩阵，掩码矩阵用于使参与计算的部分值不起作用；
确定模块603，用于基于至少两个语句对应的语句向量以及替换后的语言模型，确定至少两个语句之间的语义关系。
在一种可选的实现方式中，构造模块601，还用于对待匹配的至少两个语句分别进行依存句法分析，得到至少两个依存句法树，一个依存句法树用于表示一个语句中词语之间的依存关系；响应于至少两个语句中的两个词语之间具有依存关系或者不属于同一个语句，在用于表示两个词语的两个节点之间构造边，得到目标图。
在一种可选的实现方式中，确定模块603，还用于将至少两个语句对应的语句向量输入替换后的语言模型；基于语言模型的编码层，确定至少两个语句中词语之间的相似程度；基于语言模型的解码层，确定至少两个语句之间的语义关系。
在一种可选的实现方式中，确定模块603，还用于在编码层中，根据邻接矩阵，将满足目标条件的词语之间的第一关联信息调整至第二关联信息，第二关联信息所表示的词语之间的关联程度大于第一关联信息；根据第二关联信息，确定至少两个语句中词语之间的相似程度。
在一种可选的实现方式中，第一关联信息和第二关联信息以数值形式表示；确定模块603，还用于将邻接矩阵的元素值作为关系增强参数，关系增强参数的取值为1或0，1表示词语之间满足目标条件，0表示词语之间不满足目标条件；获取目标参数，将目标参数输入激活函数，目标参数为随着语言模型的训练进行优化的参数，激活函数用于保证正向增强词语之间的关联程度；根据关系增强参数和激活函数的乘积对词语之间的第一关联信息进行调整，得到第二关联信息。
在一种可选的实现方式中，目标条件为下述任一种：
属于不同语句的词语；
属于同一语句且具有依存关系的词语。
在一种可选的实现方式中，确定模块603，还用于对于任一词语，将词语与两个语句中其他词语之间的第二关联信息，作为词语对应的注意力矩阵中的元素；根据注意力矩阵和其他词语的值向量，确定词语与其他词语之间的相似程度。
在一种可选的实现方式中，确定模块603，还用于在解码层，根据邻接矩阵，对编码层的输出结果进行解码；根据解码层的输出结果，确定至少两个语句之间的语义关系。
在本申请实施例中，通过根据语句中词语间的依存关系构造目标图，在图中用边表示词语之间的依存关系和不属于同一语句，并将该目标图的邻接矩阵替代语言模型中的掩码矩阵，从而增强了语义结构之间的关系，提高了语义匹配的准确度。
需要说明的是：上述实施例提供的语义匹配的装置在运行应用程序时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的语义匹配的装置与语义匹配的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在本申请实施例中，电子设备可以被提供为终端或者服务器，当被提供为终端时，可以由该终端实现上述语义匹配的方法所执行的操作；当被提供为服务器时，可以由该服务器实现上述语义匹配的方法所执行的操作，该服务器可以接收终端发送的待匹配的至少两个语句，由服务器基于语义匹配平台确定该至少两个语句之间的语义关系，将该语义关系返回至终端；也可以由该服务器和终端的交互来实现上述语义匹配的方法所执行的操作。
上述电子设备可以被提供为终端，图7是根据本申请实施例提供的一种终端700的结构框图。该终端图7示出了本发明一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的语义匹配的方法。
在一些实施例中，终端700还可选包括有：***设备接口703和至少一个***设备。处理器701、存储器702和***设备接口703之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口703相连。具体地，***设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
***设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和***设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和***设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
上述电子设备可以被提供为服务器，图8是根据本申请实施例提供的一种服务器的结构示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的语义匹配的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于电子设备，该计算机可读存储介质中存储有至少一段程序代码，该至少一段程序代码用于被处理器执行并实现本申请实施例中的语义匹配的方法中电子设备所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种语义匹配的方法，其特征在于，所述方法包括：
基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，所述目标图的一个节点用于表示所述至少两个语句中的一个词语，所述目标图的边用于表示所述边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；
将语言模型中的掩码矩阵替换为所述目标图的邻接矩阵，所述掩码矩阵用于使参与计算的部分值不起作用；
基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系。
2.根据权利要求1所述的方法，其特征在于，所述基于待匹配的至少两个语句中词语之间的依存关系，构造目标图，包括：
对待匹配的至少两个语句分别进行依存句法分析，得到至少两个依存句法树，一个所述依存句法树用于表示一个语句中词语之间的依存关系；
响应于所述至少两个语句中的两个词语之间具有所述依存关系或者不属于同一个语句，在用于表示所述两个词语的两个节点之间构造边，得到目标图。
3.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系，包括：
将所述至少两个语句对应的语句向量输入替换后的所述语言模型；
基于所述语言模型的编码层，确定所述至少两个语句中词语之间的相似程度；
基于所述语言模型的解码层，确定所述至少两个语句之间的语义关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述语言模型的编码层，确定所述至少两个语句中词语之间的相似程度，包括：
在所述编码层中，根据所述邻接矩阵，将满足目标条件的词语之间的第一关联信息调整至第二关联信息，所述第二关联信息所表示的词语之间的关联程度大于所述第一关联信息；
根据所述第二关联信息，确定所述至少两个语句中词语之间的相似程度。
5.根据权利要求4所述的方法，其特征在于，所述第一关联信息和所述第二关联信息以数值形式表示；
所述根据所述邻接矩阵，将满足目标条件的词语之间的第一关联信息调整至第二关联信息，包括：
将所述邻接矩阵的元素值作为关系增强参数，所述关系增强参数的取值为1或0，1表示词语之间满足所述目标条件，0表示词语之间不满足所述目标条件；
获取目标参数，将所述目标参数输入激活函数，所述目标参数为随着所述语言模型的训练进行优化的参数，所述激活函数用于保证正向增强词语之间的关联程度；
根据所述关系增强参数和所述激活函数的乘积对词语之间的第一关联信息进行调整，得到所述第二关联信息。
6.根据权利要求4或5任一项权利要求所述的方法，其特征在于，所述目标条件为下述任一种：
属于不同语句的词语；
属于同一语句且具有依存关系的词语。
7.根据权利要求4或5任一项权利要求所述的方法，其特征在于，所述根据所述第二关联信息，确定所述至少两个语句中词语之间的相似程度，包括：
对于任一词语，将所述词语与所述两个语句中其他词语之间的第二关联信息，作为所述词语对应的注意力矩阵中的元素；
根据所述注意力矩阵和所述其他词语的值向量，确定所述词语与所述其他词语之间的相似程度。
8.根据权利要求3所述的方法，其特征在于，所述基于所述语言模型的解码层，确定所述至少两个语句之间的语义关系，包括：
在所述解码层，根据所述邻接矩阵，对所述编码层的输出结果进行解码；
根据所述解码层的输出结果，确定所述至少两个语句之间的语义关系。
9.一种语义匹配装置，其特征在于，所述装置包括：
构造模块，用于基于待匹配的至少两个语句中词语在语句中的依存关系，构造目标图，所述目标图的一个节点用于表示所述至少两个语句中的一个词语，所述目标图的边用于表示所述边所连接的节点所表示的词语之间存在依存关系或者不属于同一个语句；
替换模块，用于将语言模型中的掩码矩阵替换为所述目标图的邻接矩阵，所述掩码矩阵用于使参与计算的部分值不起作用；
确定模块，用于基于所述至少两个语句对应的语句向量以及替换后的所述语言模型，确定所述至少两个语句之间的语义关系。
10.根据权利要求9所述的装置，其特征在于，所述构造模块，还用于对待匹配的至少两个语句分别进行依存句法分析，得到至少两个依存句法树，一个所述依存句法树用于表示一个语句中词语之间的依存关系；响应于所述至少两个语句中的两个词语之间具有所述依存关系或者不属于同一个语句，在用于表示所述两个词语的两个节点之间构造边，得到目标图。
11.根据权利要求9所述的装置，其特征在于，所述确定模块，还用于将所述至少两个语句对应的语句向量输入替换后的所述语言模型；基于所述语言模型的编码层，确定所述至少两个语句中词语之间的相似程度；基于所述语言模型的解码层，确定所述至少两个语句之间的语义关系。
12.根据权利要求11所述的装置，其特征在于，所述确定模块，还用于在所述编码层中，根据所述邻接矩阵，将满足目标条件的词语之间的第一关联信息调整至第二关联信息，所述第二关联信息所表示的词语之间的关联程度大于所述第一关联信息；根据所述第二关联信息，确定所述至少两个语句中词语之间的相似程度。
13.根据权利要求12所述的装置，其特征在于，所述第一关联信息和所述第二关联信息以数值形式表示；所述确定模块，还用于将所述邻接矩阵的元素值作为关系增强参数，所述关系增强参数的取值为1或0，1表示词语之间满足所述目标条件，0表示词语之间不满足所述目标条件；获取目标参数，将所述目标参数输入激活函数，所述目标参数为随着所述语言模型的训练进行优化的参数，所述激活函数用于保证正向增强词语之间的关联程度；根据所述关系增强参数和所述激活函数的乘积对词语之间的第一关联信息进行调整，得到所述第二关联信息。
14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行权利要求1至8任一项权利要求所述的语义匹配的方法。
15.一种存储介质，其特征在于，所述存储介质用于存储至少一段程序代码，所述至少一段程序代码用于执行权利要求1至8任一权利要求所述的语义匹配的方法。
CN202010105193.2A 2020-02-20 2020-02-20 语义匹配的方法、装置、电子设备及存储介质 Pending CN111324699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010105193.2A CN111324699A (zh) 2020-02-20 2020-02-20 语义匹配的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010105193.2A CN111324699A (zh) 2020-02-20 2020-02-20 语义匹配的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111324699A true CN111324699A (zh) 2020-06-23

Family

ID=71171154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010105193.2A Pending CN111324699A (zh) 2020-02-20 2020-02-20 语义匹配的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111324699A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269884A (zh) * 2020-11-13 2021-01-26 北京百度网讯科技有限公司 信息抽取方法、装置、设备及存储介质
CN113254473A (zh) * 2021-07-05 2021-08-13 中国气象局公共气象服务中心(国家预警信息发布中心) 一种获取气象服务知识的方法及装置
CN114417838A (zh) * 2022-04-01 2022-04-29 北京语言大学 基于transformer模型提取同义语块对的方法
CN114444472A (zh) * 2022-04-02 2022-05-06 北京百度网讯科技有限公司 文本处理方法、装置、电子设备和存储介质
CN114492457A (zh) * 2022-02-16 2022-05-13 平安科技（深圳）有限公司 语义识别方法、装置、电子设备及存储介质
CN114548115A (zh) * 2022-02-23 2022-05-27 北京三快在线科技有限公司 复合名词的解释方法、装置及电子设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269884A (zh) * 2020-11-13 2021-01-26 北京百度网讯科技有限公司 信息抽取方法、装置、设备及存储介质
CN112269884B (zh) * 2020-11-13 2024-03-05 北京百度网讯科技有限公司 信息抽取方法、装置、设备及存储介质
CN113254473A (zh) * 2021-07-05 2021-08-13 中国气象局公共气象服务中心(国家预警信息发布中心) 一种获取气象服务知识的方法及装置
CN113254473B (zh) * 2021-07-05 2021-09-24 中国气象局公共气象服务中心(国家预警信息发布中心) 一种获取气象服务知识的方法及装置
CN114492457A (zh) * 2022-02-16 2022-05-13 平安科技（深圳）有限公司 语义识别方法、装置、电子设备及存储介质
CN114492457B (zh) * 2022-02-16 2023-07-07 平安科技（深圳）有限公司 语义识别方法、装置、电子设备及存储介质
CN114548115A (zh) * 2022-02-23 2022-05-27 北京三快在线科技有限公司 复合名词的解释方法、装置及电子设备
CN114548115B (zh) * 2022-02-23 2023-01-06 北京三快在线科技有限公司 复合名词的解释方法、装置及电子设备
CN114417838A (zh) * 2022-04-01 2022-04-29 北京语言大学 基于transformer模型提取同义语块对的方法
CN114444472A (zh) * 2022-04-02 2022-05-06 北京百度网讯科技有限公司 文本处理方法、装置、电子设备和存储介质
CN114444472B (zh) * 2022-04-02 2022-07-12 北京百度网讯科技有限公司 文本处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN110134804B (zh) 图像检索方法、装置及存储介质
CN111324699A (zh) 语义匹配的方法、装置、电子设备及存储介质
CN110750992B (zh) 命名实体识别方法、装置、电子设备及介质
CN110807325B (zh) 谓词识别方法、装置及存储介质
CN111985240A (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
US11995406B2 (en) Encoding method, apparatus, and device, and storage medium
CN110162604B (zh) 语句生成方法、装置、设备及存储介质
CN110147533B (zh) 编码方法、装置、设备及存储介质
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN114281956A (zh) 文本处理方法、装置、计算机设备及存储介质
CN110555102A (zh) 媒体标题识别方法、装置及存储介质
CN110837557B (zh) 摘要生成方法、装置、设备及介质
CN113836946B (zh) 训练评分模型的方法、装置、终端及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN110990549B (zh) 获取答案的方法、装置、电子设备及存储介质
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
CN113032560B (zh) 语句分类模型训练方法、语句处理方法及设备
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN111310701B (zh) 手势识别方法、装置、设备及存储介质
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN110096707B (zh) 生成自然语言的方法、装置、设备及可读存储介质
CN112487162A (zh) 确定文本语义信息的方法、装置、设备以及存储介质
CN111782767A (zh) 问答方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023575

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination