CN115481224A - 一种匹配文本的方法、电子设备及计算机可读存储介质 - Google Patents

一种匹配文本的方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115481224A
CN115481224A CN202211033773.0A CN202211033773A CN115481224A CN 115481224 A CN115481224 A CN 115481224A CN 202211033773 A CN202211033773 A CN 202211033773A CN 115481224 A CN115481224 A CN 115481224A
Authority
CN
China
Prior art keywords
text
information
neural network
feature vector
session information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211033773.0A
Other languages
English (en)
Inventor
魏林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202211033773.0A priority Critical patent/CN115481224A/zh
Publication of CN115481224A publication Critical patent/CN115481224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种匹配文本的方法、电子设备及计算机可读存储介质,本申请实施例获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;获取参与会话的客户的画像信息;获取多个候选的文本,针对每个所述文本,提取所述文本的特征信息;针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。因此,实现了针对会话信息进行准确的文本匹配过程。

Description

一种匹配文本的方法、电子设备及计算机可读存储介质
技术领域
本申请涉及人工智能技术领域,特别涉及一种匹配文本的方法、电子设备及计算机可读存储介质。
背景技术
采用自然语言处理(NLP)技术对文本匹配是一个比较成熟的技术,在不同场景下,可以采用不同的文本匹配方式对文本进行匹配。比如,采用短查询词语(query)进行文本的标题(title)的搜索,将具有匹配成功的标题的文本作为该短查询词语匹配的文本。这种文本匹配方式比较简单,将短的查询词语的语义特征与短的标题的语义特征,在训练得到的神经网络模型中进行相似度计算,以确定是否匹配时,所采用的神经网络模型在进行两者的语义特征处理时采用的方式一致,处理结果也分布在一个相似的空间内,在计算相似度时准确且可靠。又比如,采用查询词语进行文本的搜索,得到匹配的文本。这种文本匹配方式的搜索对象是包括很多词语的长度较长的文本,也就是短查询词语与长文本之间采用训练的神经网络模型进行相似度计算,以确定是否匹配,所采用的神经网络模型在进行两者的语义特征处理时就无法采用相同的方式,并且处理结果也不会分布在一个相似空间内,在计算相似度时复杂且无法得到准确结果。再比如,还可以采用查询文本进行被查询文本的搜索,得到匹配的文本。这种文本匹配方式比较复杂,所采用的神经网络模型在处理两者的语义特征是也比较复杂,这种文本匹配方式不常用。
随着互联网技术的快速发展,各种运营服务平台为客户提供各种运营服务,比如基于销售物品的平台由销售服务提供者为客户提供销售服务等等。在这种场景下,基于运营服务平台,销售服务提供者需要与客户之间采用诸如即时通讯(IM)等交互方式进行对话,获知客户需求,为客户推荐所匹配的文本,从而使得客户能够继续在该平台上消费运营服务。可以看出,运营服务平台基于会话信息匹配并推荐的文本,直接影响了运营服务的质量。因此,采用何种文本匹配方式,能够使得基于会话信息进行准确的文本匹配,并进行后续的推荐,以提升运营服务平台的运营服务质量,是一个亟待解决的问题。
发明内容
有鉴于此,本申请实施例提供一种匹配文本的方法、电子设备及计算机可读存储介质,该匹配方法能够针对会话信息进行准确的文本匹配。
本申请实施例提供一种匹配文本的方法,所述方法包括:
获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;
获取参与会话的客户的画像信息;
获取多个候选文本,针对每个所述文本,提取所述文本的特征信息;
针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;
从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。
在上述方法中,所述提取会话信息中的至少一类型的特征信息包括:
提取所述会话信息的时序语义特征信息、所述会话信息的关键词信息、所述会话信息中的反映客户意图信息和所述会话信息所属的会话阶段信息中的一种或多个组合。
在上述方法中,所述针对每个所述文本,提取所述文本的特征信息包括:
针对每个所述文本,提取所述文本的标题特征信息及语义特征信息。
在上述方法中,所述针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值包括:
将所述文本的特征信息,采用所述文本匹配模型中的第一神经网络进行映射后,得到所述文本的特征向量,将所述文本的特征向量采用所述文本匹配模型中的第一自注意力机制神经网络进行处理后,得到所述文本的关键特征向量;
将所述至少一类型的特征信息和所述客户的画像信息,采用所述文本匹配模型中的第二神经网络进行映射后,得到所述会话信息相关的特征向量,将所述会话信息相关的特征向量采用所述文本匹配模型中的第二自注意力神经网络进行处理后,得到所述会话信息的关键特征向量;
基于所述文本的特征信息,构造所述文本的生成特征信息,采用所述文本匹配模型中的第三神经网络进行映射后,得到所述文本的生成特征向量;
将所述会话信息的关键特征向量及所述文本的生成特征向量,输入到所述文本匹配模型中的第四神经网络进行所述文本的生成特征的相似度计算,得到所述文本的对抗特征向量;
将所述文本的关键特征向量与所述文本的对抗特征向量输入到所述文本匹配模型中的至少一层全连接层单元进行至少一次的分类处理后,再通过所述文本匹配模型的逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值。
在上述方法中,所述第一神经网络为distilbert网络;
所述第二神经网络为双向长短期记忆bi-LSTM网络;
所述第三神经网络为distilbert网络。
在上述方法中,所述第四神经网络基于设置的函数进行所述文本的生成特征的相似度计算,所述设置的函数为:
所设置的随机变量值与所述文本的生成特征向量的乘积值,与,所述随机变量值的剩余值与所述会话信息的关键特征向量的乘积值,之和,所述随机变量值的取值为:设置的所述文本的生成特征与所述会话信息的关键特征向量之间的相似度值的剩余值,与设置的符合设定概率的伯努利分布随机数之间的乘积值。
在上述方法中,所述文本匹配模型是训练得到的,所述文本匹配模型的结构包括:
第一神经网络、第一自注意力机制神经网络、第二神经网络、第二自注意力机制神经网络、第三神经网络、第四神经网络、至少一层全连接层单元及一逻辑回归层单元,其中,
获取样本文本的特征信息,通过所述第一神经网络进行映射后,得到所述样本文本的特征向量,将所述样本文本的特征向量采用所述第一自注意力机制神经网络进行处理后,得到所述样本文本的关键特征向量;
从样本会话信息中获取得到至少一类型的特征信息,及获取参与会话的客户的样本画像信息,通过所述第二神经网络进行映射后,得到所述会话信息相关的样本特征向量,采用所述第二自注意力神经网络进行处理后,得到所述会话信息的样本关键特征向量;
基于所述样本文本的特征信息,构造所述样本文本的生成特征信息,采用所述第三神经网络进行映射后,得到所述样本文本的生成特征向量;
将所述会话信息的样本关键特征向量及所述样本文本的生成特征向量,输入到所述第四神经网络进行所述文本的生成特征的相似度计算,得到所述样本文本的对抗特征向量;
将所述样本文本的关键特征向量与所述样本文本的对抗特征向量输入到所述至少一层全连接层单元进行至少一次的分类处理后,再通过所述逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值;
基于计算得到的所述文本与所述会话信息的相似度值对所述文本匹配模型中的参数进行调整,再采用上述方式对所述文本匹配模型继续训练,直到满足设定的相似度阈值为止。
在本申请的另一个实施例中,还提供一种电子设备,其特征在于,包括:
处理器;
存储器,存储有程序,所述程序配置为在被所述处理器执行时实现如权利要求1至7中任一项所述的匹配文本的方法。
在本申请的另一个实施例中,还提供一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行上述任一项所述的匹配文本的方法。
在本申请的另一个实施例中,还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现如上述任一项所述的匹配文本的方法。
如上所见,本申请实施例获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;获取参与会话的客户的画像信息;获取多个候选的文本,针对每个所述文本,提取所述文本的特征信息;针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。因此,本申请实施例在进行文本匹配时,不仅依据是会话信息中的多类型的特征信息,而且依据了参与会话的客户的画像信息,从而更加明确会话所表达的含义,提供匹配度更高的文本;在匹配文本时,还针对了文本的语义特征和标题特征进行匹配,从而使得匹配的文本更符合会话所涉及的含义。本申请实施例实现了针对会话信息进行准确的文本匹配过程。
附图说明
图1为目前提供的匹配文本的结构示意图;
图2为本申请实施例提供的匹配文本的方法流程图;
图3为本申请实施例提供的匹配文本的架构示意图;
图4为本申请实施例提供的匹配文本模型的结构示意图;
图5为本申请实施提供的匹配文本后得到的文本展示示意图;
图6为本申请实施例提供的匹配文本的装置结构示意图;
图7为本申请的另一个实施例所提供的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本申请的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
目前,在匹配文本时,考虑到简单且易于执行,通常采用短查询词语进行文本的标题的搜索,将具有匹配成功的标题的文本作为该短查询词语匹配的文本的方案。具体地说,如图1所示,图1为目前提供的匹配文本的结构示意图。图中基于全连接层神经网络模型进行匹配,通常的网络结构为双塔网络结构。上述方案的匹配过程是由训练得到的神经网络模型进行的,通过该神经网络模型的输入层,分别接收查询词语向量及文本的标题向量后,在该神经网络模型的表示层分别从查询词语向量提取出查询词语的语义特征向量,及从文本的标题向量中提取出标题的语义特征向量;在该神经网络模型的匹配层进行两者相似度的匹配后,最终得到匹配得分,将匹配得分最高的文本的标题,作为匹配成功的文本的标题,从而匹配得到具有该文本的标题的文本。
当然,图1所述的过程也可以替换为查询语句与文本的匹配方案,或者文本与文本的匹配方案,但是匹配的准确性会降低,及在匹配层时的匹配过程会变得复杂。
目前文本匹配方案的应用场景为推荐文章,而在基于运营服务平台由运营服务提供者为客户提供运营服务过程中,与客户之间的问答交互场景下,针对会话信息进行文本的匹配方案则没有提供。采用图1所述的过程进行针对会话信息进行文本的匹配时,存在最终匹配的文本不准确的问题。这是因为,在会话交互场景下,最终匹配的文本不仅仅与会话信息的具体语义特征有关,还与客户的行为特征、客户自身特证、当前涉及的内容主题等信息都有关,而单纯以会话信息的语义特征匹配文本,则会造成匹配得到的文本并不是准确的,在后续推荐给客户后,也无法提升运营服务平台的运营服务质量。
在具体技术领域应用时,如何有针对性的为具体技术领域的会话场景匹配合适的文本则目前没有方案可以实现。比如,运营服务平台为房屋销售服务平台时,基于与客户之前的会话内容、客户需求及经纪人的回答,进行文本推送的应用场景下,如何进行会话内容的文本匹配,并将匹配成功的文本推送给客户的方案,目前无法实现。这是因为,在该应用场景下,一方面,经纪人的运营服务对于与客户之间的会话内容的依赖性较强,能够通过与客户的会话内容,转换为真实商机委托,所以需要准确推送相关的文本;另一方面,其他运营服务平台进行文本推送时,也可以基于客户的行为特征进行匹配并推送,但是在本应用场景下,为了提升经纪人的服务质量,不仅需要考虑客户的行为特征,而且还需要结合经纪人的服务质量、以及会话内容的语义特征等信息,来匹配要推荐的文本,整个匹配过程是比较复杂的;再一方面,在该应用场景下,进行文本匹配时,会存在与会话信息相似度很高但相关性不够的文本匹配上,即匹配的文本包括了会话信息描述的内容,但该匹配的文本又存在一些条件或领域等不匹配的情况。因此,在该应用场景下,基于会话信息,采用何种文本匹配方式,可以匹配准确的文本并推送给客户,成为了一个亟待解决的问题。
本申请实施例为了解决上述问题,采用的具体文本匹配方法为:获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;获取参与会话的客户的画像信息;获取多个候选的文本,针对每个所述文本,提取所述文本的特征信息;针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。
这样,本申请实施例在进行文本匹配时,依据的不仅仅是会话信息中的一类型的特征信息,而是包括了诸如会话信息的时序语义特征、会话信息的关键词信息、会话信息中的反映客户意图信息和会话信息所属的会话阶段信息中的多种类型信息,并且还依据了参与会话的客户的画像信息,从而更加明确会话所表达的含义,提供匹配度更高的文本;更进一步地,在匹配文本时,也不仅仅只针对文本的标题特征进行匹配,还针对了文本的语义特征,从而使得匹配的文本更符合会话所涉及的含义。这样,本申请实施例实现了针对会话信息进行准确的文本匹配过程。
本发明实施例中,在文本匹配模型中采用了不同的神经网络模型分别对会话信息中的多种类型的特征信息和客户的画像信息进行向量编码映射,及对文本的特征信息进行向量编码映射,从而保证在后续相似度计算过程中所使用的特征向量的有效性。
更进一步地,本申请实施例在文本匹配模型在相似度计算过程中,还引入了文本的对抗特征向量进行计算,从而提升文本匹配模型的鲁棒性,加强匹配文本的程度。为了在文本匹配模型中引入文本的抵抗特征向量,在文本匹配模型中设置了生成神经网络,来生成文本的对抗特征向量,该文本的对特征向量与会话信息的相似度较高但相关性较差,引入文本匹配模型进行计算,就可以提升文本匹配模型的鲁棒性。
因此,本申请实施例提供的文本匹配模型采用基于生成及分类的架构构思,采用生成的架构构思来生成相应的对抗特征向量加强文本匹配模型的处理,采用分类的架构构思来计算相似度值,从而提升所匹配文本的相似度及相关度。
图2为本申请实施例提供的匹配文本的方法流程图,其具体步骤包括:
步骤201、获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;
步骤202、获取参与会话的客户的画像信息;
步骤203、获取多个候选的文本,针对每个所述文本,提取所述文本的特征信息;
步骤204、针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;
步骤205、从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。
在上述过程中,设定个数根据需要设置,这里不限定。
在上述过程中,设定个数可以设置为1。在这种情况下,则是确定具有最高相似度值的所述文本,将所述具有最高相似度值的所述文本,作为匹配所述会话信息的文本。
在上述过程中,步骤201、步骤202及步骤203的执行顺序可以同时进行、或者顺序进行、或者反序进行,这里不限制。
在上述过程中,所述获取参与会话的客户的画像信息可以是从所述会话信息中获取的,或者从参与会话的相关人员的信息中获取的,这里不限制。
应理解,在本公开的实施例中,会话信息、画像信息等均是在得到用户预先授权的情况下获取的。
在本申请实施例中,由于会话过程中的会话信息包含了很多类型的特征信息,比如关键词、客户的意图(需求)、当前会话所处的会话阶段(session)等信息,这些信息也决定了客户所关注的文本类型,因此,在匹配文本时,需要将这些信息输入所述文本匹配模型中处理。具体地说,所述提取会话信息中的至少一类型的特征信息包括:
提取所述会话信息的时序语义特征信息、所述会话信息的关键词信息、所述会话信息中的反映客户意图信息和所述会话信息所属的会话阶段信息中的一种或多个组合。
在本申请实施例中,由于仅仅匹配文本的标题会使得匹配不准确,所以在匹配时,还需要进行文本的语义特征进行匹配。因此,针对每个所述文本,提取所述文本的特征信息包括:针对每个所述文本,提取所述文本的标题特征信息及语义特征信息。
上述方法采用图3所示的架构实现,图3为本申请实施例提供的匹配文本的架构示意图。如图所示,将会话信息中的时序语义特征、关键词信息、反映客户意图信息及所属的会话阶段信息,以及所述文本的特征信息中的标题特征信息及语义特征信息,输入到文本匹配模型中处理,得到相似度值输出。
具体地说,当运营服务平台为房屋销售服务平台时,所述会话信息中的关键词信息、所述会话信息中的反映客户意图信息,以及反映客户意图信息的类别如表一所示。
Figure BDA0003818094340000081
Figure BDA0003818094340000091
表一
具体地说,当运营服务平台为房屋销售服务平台时,参与会话的客户的画像信息如表二所示,包括了客户的特征、经纪人特征及所涉及会话特征等。
Figure BDA0003818094340000092
表二
具体地说,当运营服务平台为房屋销售服务平台时,所述会话信息所属的会话阶段信息为客户当前所在的购房阶段,购房阶段包括了了解阶段、深度了解阶段、意向阶段及成交阶段等等。
在本申请实施例中,所述文本匹配模型采用基于生成及分类的架构构思,采用生成的架构构思来生成相应的对抗特征向量加强文本匹配模型的处理,采用分类的架构构思来计算相似度值。具体地说,所述针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值包括:
将所述文本的特征信息,采用所述文本匹配模型中的第一神经网络进行映射后,得到所述文本的特征向量,将所述文本的特征向量采用所述文本匹配模型中的第一自注意力机制神经网络进行处理后,得到所述文本的关键特征向量;
将所述至少一类型的特征信息和所述客户的画像信息,采用所述文本匹配模型中的第二神经网络进行映射后,得到所述会话信息相关的特征向量,将所述会话信息相关的特征向量采用所述文本匹配模型中的第二自注意力神经网络进行处理后,得到所述会话信息的关键特征向量;
基于所述文本的特征信息,构造所述文本的生成特征信息,采用所述文本匹配模型中的第三神经网络进行映射后,得到所述文本的生成特征向量;
将所述会话信息的关键特征向量及所述文本的生成特征向量,输入到所述文本匹配模型中的第四神经网络进行所述文本的生成特征的相似度计算,得到所述文本的对抗特征向量;
将所述文本的关键特征向量与所述文本的对抗特征向量输入到所述文本匹配模型中的至少一层全连接层单元进行至少一次的分类处理后,再通过所述文本匹配模型的逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值。
在一个示例性实施例中,所述第一神经网络为distilbert网络;所述第二神经网络为双向长短期记忆(bi-LSTM)网络;所述第三神经网络为distilbert网络,然而应理解本公开的实施例并不限于此。
可以看出,对于会话过程的会话信息,由于包括多个类型的特征信息,这些特征信息之间具有相关性,所以采用了bi-LSTM网络得到对应的特征向量,而对于文本的特征信息来说,采用了distilbert网络处理。
在本申请实施例中,第四神经网络就是为了生成对抗特征向量的生成神经网络,用来提升文本匹配模型的鲁棒性。在具体实现上,所述第四神经网络基于设置的函数进行所述文本的生成特征的相似度计算,所述设置的函数为:所设置的随机变量值与所述文本的生成特征向量的乘积值,与,所述随机变量值的剩余值与所述会话信息的关键特征向量的乘积值,之和,所述随机变量值的取值为:设置的所述文本的生成特征与所述会话信息的关键特征向量之间的相似度值的剩余值,与设置的符合设定概率的伯努利分布随机数之间的乘积值。
第四神经网络所采用的函数的公式表达为:
S=sDgen+(1-s)M,s=(1-y)z (1)
其中,Dgen表示的是文本的生成特征信息经过distilBert网络产生的文本的生成特征向量;M为会话信息经过bi-LSTM网络得到对应的特征向量;Y为一个参数,表示两者的相似度,当y=0时输出为Dgen,当y=1时,输出为M。为了加入噪音,本申请实施例引入了一个z,z为符合设定概率的伯努利分布随机数,这样是为了加强文本匹配模型的鲁棒性。
在这里,定义了s(D,M)为文本与会话信息的相似度值,当s=1时,表示两者是相匹配的,当s=0时,表示两者是不匹配的,s是文本匹配模型的全连接层单元的输出,取值为0-1,作为最终得到的相似度值。
在上述过程中,所述文本匹配模型的逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值时,所述文本匹配模型的逻辑回归层单元采用归一化(softmax)函数进行向量转换,得到的得分就是相似度值。该softmax函数采用已有的公式,具体为:
score=softmax(WX+b)=softmax(W(α·D+S)))=softmax(W(α·D+sDgen+(1-s)M)),s=(1-y)z
在这里,softmax(WX+b)是softmax的表达式,表明对wx+b参数进行归一化的概率计算,得到位于[0,1]区间的值,将该值作为最终的得分socre。其中,WX+b=W(α·D+S),具体为W(α·D+sDgen+(1-s)M)。Dgen表示的是文本的生成特征信息经过distilBert网络产生的文本的生成特征向量;M为会话信息经过bi-LSTM网络得到对应的特征向量;y为表示两者的相似度,z为符合设定概率的伯努利分布随机数,D标识文本的生成特征信息,α为文本的生成特征信息所设置的系数,根据经验值设置。
得分的高低表示的文本与会话信息之间的相关程度,本申请将召回的文本按照得分的高低进行推荐。
在本申请实施例中,所述文本匹配模型是训练得到的,所述文本匹配模型的目标函数为:
Figure BDA0003818094340000111
其中,β是设置的超级参数,为了使得模型更容易区分对抗特征向量,将β设置为大于1的值。x,y分别代表了该模型的输入,即x为所述至少一类型的用户特征信息和所述客户的画像信息等的所述会话信息的关键特征向量,y为文本的特征信息。x及y的下标i标识了要进行相似度计算的所述会话信息的关键特征向量及所述文本的生成特征向量的数量值,N为要进行相似度计算的所述会话信息的关键特征向量及所述文本的生成特征向量的数量总值,fθ为计算随机变量值的函数,该函数在计算时是基于所述会话信息的关键特征向量计算得到的。
在本申请实施例中,文本匹配模型的结构如图4所示,图4为本申请实施例提供的匹配文本模型的结构示意图,所述文本匹配模型的结构包括:第一神经网络、第一自注意力机制神经网络、第二神经网络、第二自注意力机制神经网络、第三神经网络、第四神经网络、至少一层全连接层单元及一逻辑回归层单元,其中,
获取样本文本的特征信息,通过所述第一神经网络进行映射后,得到所述样本文本的特征向量,将所述样本文本的特征向量采用所述第一自注意力机制神经网络进行处理后,得到所述样本文本的关键特征向量;从样本会话信息中获取得到至少一类型的特征信息,及获取参与会话的客户的样本画像信息,通过所述第二神经网络进行映射后,得到所述会话信息相关的样本特征向量,采用所述第二自注意力神经网络进行处理后,得到所述会话信息的样本关键特征向量;
基于所述样本文本的特征信息,构造所述样本文本的生成特征信息,采用所述第三神经网络进行映射后,得到所述样本文本的生成特征向量;
将所述会话信息的样本关键特征向量及所述样本文本的生成特征向量,输入到所述第四神经网络进行所述文本的生成特征的相似度计算,得到所述样本文本的对抗特征向量;
将所述样本文本的关键特征向量与所述样本文本的对抗特征向量输入到所述至少一层全连接层单元进行至少一次的分类处理后,再通过所述逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值;
基于计算得到的所述文本与所述会话信息的相似度值对所述文本匹配模型中的参数进行调整,再采用上述方式对所述文本匹配模型继续训练,直到满足设定的相似度阈值为止。
在这里,第一神经网络为distilbert网络,第二神经网络为bi-LSTM网络,第三神经网络为distilbert网络,第四神经网络采用设置的函数实现,即采用上述的公式(1)实现。
在这里,构造所述样本文本的生成特征信息时,可以采用设置的规则对所述样本文本的特征信息进行替换,就是将所述样本文本作为正样本,将正样本中的地域信息、范畴信息或/和时间信息进行随机替换,得到所述样本文本的生成特征信息。所述样本文本的生成特征信息为负样本特征信息。采用这种方式的目的是在所述模型训练及后续应用时,保留与相似度相关的向量特征,而破坏与相关性相关的向量特征。
本发明实施例在经过了所训练的文本匹配模型的文本匹配后,就会将与所述会话信息的相关性很高,但是相似度不高的文本被排除,而将相似度很高且属性也相同的文本筛选出来,推荐给客户。从而保证了匹配文本的准确性。
在一个具体例子中,当运营服务平台为房屋销售服务平台时,将本申请实施例提供的文本匹配方式在平台上运行,在设定时间内获取会话信息,匹配文本后进行推送,比如设定时间为1天。如图5所示,图5为本申请实施提供的匹配文本后得到的文本展示示意图,该图中的左侧呈现了经纪人上展示的描述文本的图像,右侧呈现了为客户推荐的描述文本的图像,可以看出,为客户推荐的描述文本图像与经纪人想要推送给客户的描述文本的图像相同。经过统计,为客户推荐的相似度值最高的描述文本的图像,采纳度达到了78%,为客户推荐的相似度值第三高的描述文本的图像,采纳度达到了86%。因此,采用本申请实施例进行的文本匹配过程,提高了文本匹配的准确性。
图6为本申请实施例提供的匹配文本的装置结构示意图,所述装置包括:获取单元、匹配单元及输出单元,其中,
获取单元,用于获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;获取参与会话的客户的画像信息;获取多个候选的文本,针对每个所述文本,提取所述文本的特征信息;
匹配单元,用于针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;
输出单元,用于从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。
在本申请的另一个实施例中,还提供一种电子设备,包括:处理器;存储器,存储有程序,所述程序配置为在被所述处理器执行时实现如上述的匹配文本的方法。
在本申请的另一个实施例中,提供了一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时引发所述处理器执行前述实施例中的匹配文本方法。图7为本申请的另一个实施例所提供的一种电子设备的示意图。如图7所示,本申请另一实施例还提供一种电子设备,其可以包括处理器701,其中,处理器701用于执行上述一种匹配文本的方法的步骤。从图7中还可以看出,上述实施例提供的电子设备还包括非瞬时计算机可读存储介质702,该非瞬时计算机可读存储介质702上存储有计算机程序,该计算机程序被处理器701运行时执行上述一种匹配文本的方法的步骤。
具体地,该非瞬时计算机可读存储介质302能够为通用的存储介质,如移动磁盘、硬盘、FLASH、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、或便携式紧凑磁盘只读存储器(CD-ROM)等,该非瞬时计算机可读存储介质302上的计算机程序被处理器301运行时,能够引发处理器601执行上述的一种匹配文本的方法的各个步骤。
实际应用中,所述的非瞬时计算机可读存储介质702可以是上述实施例中描述的设备/装置/***中所包含的,也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或多个程序被执行时,能够执行上述的一种匹配文本的方法中的各个步骤。
本申请的再一实施例还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述的一种匹配文本的方法中的各个步骤。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思路,并不用于限制本申请。对于本领域的技术人员来说,可以依据本申请的思路、精神和原则,在具体实施方式及应用范围上进行改变,其所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种匹配文本的方法,其特征在于,所述方法包括:
获取会话过程中的会话信息,提取所述会话信息中的至少一类型的特征信息;
获取参与会话的客户的画像信息;
获取多个候选文本,针对每个所述文本,提取所述文本的特征信息;
针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值;
从多个候选的文本中,根据各个所述文本对应的相似度值从高到低的顺序,选取设定个数的所述文本,作为匹配所述会话信息的文本。
2.如权利要求1所述的方法,其特征在于,所述提取会话信息中的至少一类型的特征信息包括:
提取所述会话信息的时序语义特征信息、所述会话信息的关键词信息、所述会话信息中的反映客户意图信息和所述会话信息所属的会话阶段信息中的一种或多个组合。
3.如权利要求1或2述的方法,其特征在于,所述针对每个所述文本,提取所述文本的特征信息包括:
针对每个所述文本,提取所述文本的标题特征信息及语义特征信息。
4.如权利要求3所述的方法,其特征在于,所述针对每个所述文本,将所述文本的特征信息,及所述至少一类型的特征信息和所述客户的画像信息,输入到文本匹配模型中,进行所述文本与所述会话信息之间的相似度计算,得到所述文本与所述会话信息的相似度值包括:
将所述文本的特征信息,采用所述文本匹配模型中的第一神经网络进行映射后,得到所述文本的特征向量,将所述文本的特征向量采用所述文本匹配模型中的第一自注意力机制神经网络进行处理后,得到所述文本的关键特征向量;
将所述至少一类型的特征信息和所述客户的画像信息,采用所述文本匹配模型中的第二神经网络进行映射后,得到所述会话信息相关的特征向量,将所述会话信息相关的特征向量采用所述文本匹配模型中的第二自注意力神经网络进行处理后,得到所述会话信息的关键特征向量;
基于所述文本的特征信息,构造所述文本的生成特征信息,采用所述文本匹配模型中的第三神经网络进行映射后,得到所述文本的生成特征向量;
将所述会话信息的关键特征向量及所述文本的生成特征向量,输入到所述文本匹配模型中的第四神经网络进行所述文本的生成特征的相似度计算,得到所述文本的对抗特征向量;
将所述文本的关键特征向量与所述文本的对抗特征向量输入到所述文本匹配模型中的至少一层全连接层单元进行至少一次的分类处理后,再通过所述文本匹配模型的逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值。
5.如权利要求4所述的方法,其特征在于,所述第一神经网络为distilbert网络;
所述第二神经网络为双向长短期记忆bi-LSTM网络;
所述第三神经网络为distilbert网络。
6.如权利要求4所述的方法,其特征在于,所述第四神经网络基于设置的函数进行所述文本的生成特征的相似度计算,所述设置的函数为:
所设置的随机变量值与所述文本的生成特征向量的乘积值,与,所述随机变量值的剩余值与所述会话信息的关键特征向量的乘积值,之和,所述随机变量值的取值为:设置的所述文本的生成特征与所述会话信息的关键特征向量之间的相似度值的剩余值,与设置的符合设定概率的伯努利分布随机数之间的乘积值。
7.如权利要求1所述的方法,其特征在于,所述文本匹配模型是训练得到的,所述文本匹配模型的结构包括:
第一神经网络、第一自注意力机制神经网络、第二神经网络、第二自注意力机制神经网络、第三神经网络、第四神经网络、至少一层全连接层单元及一逻辑回归层单元,其中,
获取样本文本的特征信息,通过所述第一神经网络进行映射后,得到所述样本文本的特征向量,将所述样本文本的特征向量采用所述第一自注意力机制神经网络进行处理后,得到所述样本文本的关键特征向量;
从样本会话信息中获取得到至少一类型的特征信息,及获取参与会话的客户的样本画像信息,通过所述第二神经网络进行映射后,得到所述会话信息相关的样本特征向量,采用所述第二自注意力神经网络进行处理后,得到所述会话信息的样本关键特征向量;
基于所述样本文本的特征信息,构造所述样本文本的生成特征信息,采用所述第三神经网络进行映射后,得到所述样本文本的生成特征向量;
将所述会话信息的样本关键特征向量及所述样本文本的生成特征向量,输入到所述第四神经网络进行所述文本的生成特征的相似度计算,得到所述样本文本的对抗特征向量;
将所述样本文本的关键特征向量与所述样本文本的对抗特征向量输入到所述至少一层全连接层单元进行至少一次的分类处理后,再通过所述逻辑回归层单元进行分类后的向量转化后,计算得到所述文本与所述会话信息的相似度值;
基于计算得到的所述文本与所述会话信息的相似度值对所述文本匹配模型中的参数进行调整,再采用上述方式对所述文本匹配模型继续训练,直到满足设定的相似度阈值为止。
8.一种电子设备,其特征在于,包括:
处理器;
存储器,存储有程序,所述程序配置为在被所述处理器执行时实现如权利要求1至7中任一项所述的匹配文本的方法。
9.一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,其特征在于,所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的匹配文本的方法。
10.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的匹配文本的方法。
CN202211033773.0A 2022-08-26 2022-08-26 一种匹配文本的方法、电子设备及计算机可读存储介质 Pending CN115481224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211033773.0A CN115481224A (zh) 2022-08-26 2022-08-26 一种匹配文本的方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211033773.0A CN115481224A (zh) 2022-08-26 2022-08-26 一种匹配文本的方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115481224A true CN115481224A (zh) 2022-12-16

Family

ID=84422531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211033773.0A Pending CN115481224A (zh) 2022-08-26 2022-08-26 一种匹配文本的方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115481224A (zh)

Similar Documents

Publication Publication Date Title
CN110427617B (zh) 推送信息的生成方法及装置
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN108304439B (zh) 一种语义模型优化方法、装置及智能设备、存储介质
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
US20180336193A1 (en) Artificial Intelligence Based Method and Apparatus for Generating Article
Lee et al. Multimodal prompting with missing modalities for visual recognition
CN109857844B (zh) 基于点餐对话文本的意图识别方法、装置、电子设备
CN110717099B (zh) 一种推荐影片的方法及终端
CN111539197B (zh) 文本匹配方法和装置以及计算机***和可读存储介质
CN113821605B (zh) 一种事件抽取方法
CN107507028A (zh) 用户偏好确定方法、装置、设备及存储介质
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN109992781B (zh) 文本特征的处理方法、装置和存储介质
CN117076688A (zh) 基于领域知识图谱的知识问答方法及其装置、电子设备
CN114077661A (zh) 信息处理装置、信息处理方法和计算机可读介质
CN110457707B (zh) 实词关键词的提取方法、装置、电子设备及可读存储介质
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN113656699B (zh) 用户特征向量确定方法、相关设备及介质
CN112597292B (zh) 问题回复推荐方法、装置、计算机设备和存储介质
CN115525740A (zh) 对话应答语句的生成方法、装置、电子设备及存储介质
CN113204699B (zh) 信息推荐方法、装置、电子设备及存储介质
CN110633410A (zh) 信息处理方法及装置、存储介质、电子装置
CN113032676A (zh) 基于微反馈的推荐方法和***
CN112581297A (zh) 基于人工智能的信息推送方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination