CN112287085A - 语义匹配方法、***、设备及存储介质 - Google Patents
语义匹配方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN112287085A CN112287085A CN202011230122.1A CN202011230122A CN112287085A CN 112287085 A CN112287085 A CN 112287085A CN 202011230122 A CN202011230122 A CN 202011230122A CN 112287085 A CN112287085 A CN 112287085A
- Authority
- CN
- China
- Prior art keywords
- preset
- question
- model
- recall
- templates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种语义匹配方法、***、设备及存储介质,方法包括:接收问题信息,并对问题信息进行预处理生成问题文本;将问题文本分别输入预设召回模型中,召回多个与问题文本相似的预设问题模板;将召回的多个预设问题模板输入预设语言模型中,生成与各预设问题模板相对应的句向量;获取问题信息对应的业务场景,确定业务场景对应已训练精排模型;将各预设问题模板相对应的句向量输入与问题信息对应的已训练精排模型中,将与问题文本相似度最高的预设问题模板设置与问题信息匹配。本发明涉及人工智能和区块链领域,所提供的语义匹配方法预算时效性高。且本发明还适用于智慧政务、智慧医疗等领域,从而可进一步推动智慧城市的建设。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种语义匹配方法、***、计算机 设备及存储介质。
背景技术
现有技术中,通过设置计算机程序实现人机交互。现有的问题***分为 两类:开放领域的问答***和特定领域的问答***。开放领域问答***依赖 于现实中的各种本体和信息,从而可以处理多种多样的问题,具体可以涉及 到生活方方面面。特定领域的问答***仅仅智能处理特定领域中的问题,例 如与音乐相关的问题或者与天气预报相关的问题等等。相较于开放领域的问 答,特定领域的问答***训练难度更小,特定领域问答***一般对用户输入 的语句进行相似度计算,匹配最相似语句,然后获取该语句对应的答案。当 一个特定领域的问答***需要对接多个业务场景时,由于数据库内预设的问 题模板数量庞大,导致该问答***的训练难度大、运算时效性差。
发明内容
本发明的主要目的在于提出一种语义匹配方法、***、计算机设备及存 储介质,旨在解决需要对接多个业务场景的问答***,运算时效性差的技术 问题。
为实现上述目的,本发明提供一种语义匹配方法,包括步骤:
接收问题信息,并对所述问题信息进行预处理生成问题文本;
将所述问题文本分别输入预设召回模型中,召回多个与所述问题文本相 似的预设问题模板;
将召回的多个所述预设问题模板输入预设语言模型中,生成与各所述预 设问题模板相对应的句向量;
获取所述问题信息对应的业务场景,确定所述业务场景对应的已训练精 排模型;
将各所述预设问题模板相对应的句向量输入与所述问题信息对应的已训 练精排模型中,以对多个与所述问题文本相似的预设问题模板进行相似度排 序,将与所述问题文本相似度最高的预设问题模板设置为与所述问题信息匹 配。
可选地,所述将所述问题文本分别输入预设召回模型中,召回多个与所 述问题文本相似的预设问题模板的步骤包括:
将所述问题文本输入至少两个预设召回模型中,每个所述预设召回模型 输出预设个数的召回结果,其中,多个所述预设召回模型分别为采用不同预 设规则训练的召回模型;
根据与各所述预设召回模型对应的召回结果确定多个与所述问题文本相 似的预设问题模板。
可选地,所述将所述问题文本输入至少两个预设召回模型中,每个所述 预设召回模型输出预设个数的召回结果的步骤包括:
将所述问题文本输入第一预设召回模型,生成与所述问题文本的句型和 词组相似的多个预设问题模板;
将所述问题文本输入第二预设召回模型,生成与所述问题文本的语义相 似的多个预设问题模板,其中,所述第一预设召回模型和第二预设召回模型 为分别基于同一全量数据库训练的召回模型,所述全量数据库中包括多个预 设问题。
可选地,所述将召回的多个所述预设问题模板输入预设语言模型中,生 成与各所述预设问题模板相对应的句向量的步骤包括:
分别将各召回的预设问题模板输入预设语言模型中,所述预设语言模型 为部署于GUP上的已训练bert模型;
已训练bert模型输出与各所述预设问题模板相对应的句向量。
可选地,所述将召回的多个预设问题模板输入预设语言模型中,生成与 各所述预设问题模板相对应的句向量的步骤之前,还包括:
获取第一样本数据,所述第一样本数据包括多个业务场景对应的多个问 题样本和与各所述问题样本对应训练文本;
构建所述问题样本和与各所述问题样本对应的训练文本形成正样本句子 对和负样本句子对,生成训练语料;
将所述训练语料输入待训练的bert模型进行模型训练,生成已训练bert 模型。
可选地,所述获取所述问题信息对应的业务场景,确定所述业务场景对 应已训练精排模型的步骤之前包括:
获取第二样本数据,所述第二样本数据为与业务场景对应的多个问题样 本;
将所述第二样本数据的各问题样本输入已训练bert模型中输出与各问题 样本对应的句向量,根据句向量生成训练样本;
将所述训练样本输入待训练的精排模型进行模型训练,生成与所述第二 样本数据对应的业务场景所对应的已训练精排模型。
可选地,所述将与所述问题文本相似度最高的预设问题模板设置与所述 问题信息匹配的步骤之后,还包括:
获取与所述问题信息匹配的预设问题模板对应的预设回答;
将所述预设回答发送至所述问题信息的发送端。
为实现上述目的,本发明还提供一种语义匹配***,所述***包括:
接收模块,接收问题信息,并对所述问题信息进行预处理生成问题文本;
召回模块,将所述问题文本分别输入预设召回模型中,召回多个与所述 问题文本相似的预设问题模板;
句向量生成模块,将召回的多个所述预设问题模板输入预设语言模型中, 生成与各所述预设问题模板相对应的句向量;
精排模型确定模块,获取所述问题信息对应的业务场景,确定所述业务 场景对应已训练精排模型;
排序模块,将各所述预设问题模板相对应的句向量输入与所述问题信息 对应的已训练精排模型中,以对多个与所述问题文本相似的预设问题模板进 行相似度排序,将与所述问题文本相似度最高的预设问题模板设置为与所述 问题信息匹配。
为实现上述目的,本发明还提供一种计算机设备,所述计算机设备包括 存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程 序,所述计算机程序被所述处理器执行时实现如上所述的语义匹配方法的步 骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机 可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如 上所述的语义匹配方法的步骤。
本发明提出的一种语义匹配方法、***、计算机设备及存储介质,通过 通过采用预设召回模型,从而可在预设问题模板的数据库中预先筛选多个与 问题文本相似的预设问题模板,再对多个相似的预设问题模板做进一步处理, 从而减小了后续处理的运算量,提高运算时效性;通过将不同业务场景对应 的预设问题模板均输入至同一预设语言模型生成句向量,再将不同业务场景 对应的预设问题模板输入至与业务场景对应的精排模型,相对与可对接所有 业务场景的精排模型,对应业务场景的精排模型训练难度小,运算速度快。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图;
图2为本发明语义匹配方法第一实施例的流程示意图;
图3为本发明语义匹配方法第一实施例步骤S200的细化流程示意图;
图4为本发明语义匹配方法第一实施例步骤S300的细化流程示意图;
图5为本发明语义匹配方法第二实施例的流程示意图;
图6为本发明语义匹配方法第三实施例的流程示意图;
图7为本发明语义匹配***的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步 说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限 定本发明。
请参照图1,图1为本发明各个实施例中所提供的计算机设备的硬件结构 示意图。所述计算机设备包括通信模块01、存储器02及处理器03等部件。 本领域技术人员可以理解,图1中所示出的计算机设备还可以包括比图示更 多或更少的部件,或者组合某些部件,或者不同的部件布置。其中,所述处 理器03分别与所述存储器02和所述通信模块01连接,所述存储器02上存 储有计算机程序,所述计算机程序同时被处理器03执行。
通信模块01,可通过网络与外部设备连接。通信模块01可以接收外部设 备发出的数据,还可发送数据、指令及信息至所述外部设备,所述外部设备 可以是数据管理终端、手机、平板电脑、笔记本电脑和台式电脑等电子设备。
存储器02,可用于存储软件程序以及各种数据。存储器02可主要包括存 储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能 所需的应用程序(基于父进程创建所述指令对应的目标子进程、第一监控子 进程和共享文件)等;存储数据区可存储根据计算机设备的使用所创建的数 据或信息等。此外,存储器02可以包括高速随机存取存储器,还可以包括非 易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态 存储器件。
处理器03,是计算机设备的控制中心,利用各种接口和线路连接整个计 算机设备的各个部分,通过运行或执行存储在存储器02内的软件程序和/或模 块,以及调用存储在存储器02内的数据,执行计算机设备的各种功能和处理 数据,从而对计算机设备进行整体监控。处理器03可包括一个或多个处理单 元;优选的,处理器03可集成应用处理器和调制解调处理器,其中,应用处 理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理 无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器03中。在一实施例中,处理器03包括中央处理器(CPU,central processing unit)和 图形处理器(GPU,Graphics Processing Unit),GPU相较于CPU,GPU运算速度 更快、成本更高。将预设语言模型部署于GPU上,可以加快句向量的计算速 度。
尽管图1未示出,但上述计算机设备还可以包括电路控制模块,电路控制 模块用于与市电连接,实现电源控制,保证其他部件的正常工作。
本领域技术人员可以理解,图1中示出的计算机设备结构并不构成对计算 机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或 者不同的部件布置。
根据上述硬件结构,提出本发明方法各个实施例。
参照图2,在本发明语义匹配方法的第一实施例中,所述语义匹配方法包 括步骤:
步骤S100,接收问题信息,并对所述问题信息进行预处理生成问题文本;
用户在用户端上输入问题信息,用户端将该问题信息发送至预存有实现 语义匹配方法计算机程序的服务器或计算机上,以实现接收问题信息。由于 用户编辑的问题信息具有不可控性,为了保证匹配结果的准确性,需要对问 题信息进行预处理,预处理具体可以包括过滤标点符号、英文字母、表情符 号、感叹词、称谓等。
步骤S200,将所述问题文本分别输入预设召回模型中,召回多个与所述 问题文本相似的预设问题模板;
预设问题模板为本领域技术人员根据该语义匹配方法所对应的业务场景 预先设置的多种可能出现的问题模板,并对各个问题模板设置了对应的答案, 以实现计算机自动回复用户提出的问题。对于复杂的业务场景,可以采用区 块链技术和知识图谱技术构建包括多个预设问题模板的数据中心,具体可以 将各个预设问题模板作为数据中心的节点,新的节点加入该数据中心,需要 全数据中心中的各个节点进行投票,以确定该节点是否可以进行连接,超过 51%的节点共识验证表示该新的节点可以加入该数据中心;将新的节点的实体 与其他节点的实体一一进行匹配,不同节点之间相同的实体建立连接,数据 中心的各个节点通过实体形成单向串联环。预设召回模型可以在该数据中心 中进行去中心化的召回。
在本发明中具体可以仅设置一个预设召回模型,该预设召回模型根据全 量数据库进行训练得到,以用于对全量数据库中的预设问题模板进行召回, 筛选出与问题文本相似的预设个数的预设问题模板,与问题文本相似可以是 基于语义、句型、同义词等一种或多种规则计算得到的。当然预设召回模型 也可以是多个,即每一个预设召回模型为分别基于语义、句型、同义词等一 种规则训练得到的。
步骤S300,将召回的多个所述预设问题模板输入预设语言模型中,生成 与各所述预设问题模板相对应的句向量;
为了增加预算效率,可以将预设语言模型部署在GPU。预设语言模型为 基于各个业务场景可能面对的预设问题模板训练得到的模型,以用于根据各 个预设问题模板生成对应的句向量,方便步骤S400中的已训练精排模型使用。
步骤S400,获取所述问题信息对应的业务场景,确定所述业务场景对应 的已训练精排模型;
步骤S500,将各所述预设问题模板相对应的句向量输入与所述问题信息 对应的已训练精排模型中,以对多个与所述问题文本相似的预设问题模板进 行相似度排序,将与所述问题文本相似度最高的预设问题模板设置为与所述 问题信息匹配。
精排模型用于根据输入的句向量,对句向量与问题文本的相似度进行综 合排序,以获得一个相似度最高的句向量作为输出结果。业务场景具体可以 为住房安全保险业务、银行卡安全保险业务、宠物安全保险业务等,还可以 是智慧政务、智慧医疗等划分出来的各个分业务,由于业务场景数量多,各 个业务场景之间差异较大,导致将各个业务统一训练一个对应的精排模型训 练难度大,训练得到精排模型运算量大、精确度低,导致运行时效性低。为 了提高针对各个业务场景对应的语义匹配精确度,同时为了减小模型训练难度,在本发明中针对每一个业务场景设置了一个已训练的精排模型。各精排 模型由于仅对接一个业务场景,精排模型本身结构简单,可以部署CPU上, 多个精排模型共享一个预设语言模型。
在本实施例中,通过采用预设召回模型,从而可在预设问题模板的数据 库中预先筛选多个与问题文本相似的预设问题模板,再对多个相似的预设问 题模板做进一步处理,从而减小了后续处理的运算量,提高运算时效性;通 过将不同业务场景对应的预设问题模板均输入至同一预设语言模型生成句向 量,再将不同业务场景对应的预设问题模板输入至与业务场景对应的精排模 型,相对于可对接所有业务场景的精排模型,对应单一业务场景的精排模型 训练难度小、结构简单,运算速度快;本发明可适用于智慧政务、智慧医疗等领域,从而可进一步推动智慧城市的建设。
进一步地,请参照图3,图3为本申请语义匹配方法第一实施例中步骤 S200的流程细化示意图,基于图2所示实施例,在本实施例中,步骤S200, 将问题文本分别输入预设召回模型中,召回多个与所述问题文本相似的预设 问题模板包括:
步骤S210,将所述问题文本输入至少两个预设召回模型中,每个所述预 设召回模型输出预设个数的召回结果,其中,多个所述预设召回模型分别为 采用不同预设规则训练的召回模型;
步骤S220,根据与各所述预设召回模型对应的召回结果确定多个与所述 问题文本相似的预设问题模板。
在本实施例中预设召回模型的数量为两个,两个预设召回模型分别采用 不同预设规则训练,使得即便采用同样的样本进行训练,得到的预设召回模 型也不相同,从而使得不同预设召回模型对所述问题文本输出的召回结果具 有差异,每个预设召回模型均能从不同角度输出召回结果。通过设置多个预 设召回模型,从而可以基于不同角度输出召回结果,再根据输出的召回结果 进行进一步地精排,从而使得获得的匹配结果准确。
进一步地,步骤S210包括:
步骤S211,将所述问题文本输入第一预设召回模型,生成与所述问题文 本的句型和词组相似的多个预设问题模板;
第一预设召回模型可以是ES(elasticsearch)召回模型,以通过分词和各 个分词的权重等参数计算得到与问题文本与各个预设问题模板的相似度,再 根据相似度进行排序,以获得相似度较高的预设数量的预设问题模板。在本 实施例中预设数量为20个。这部分预设问题模板与预设问题在字面意思、句 型等相近。例如:“我要投保手机”与“我要给手机投保”,其字面意思基 本一致,仅句式不同。
步骤S212,将所述问题文本输入第二预设召回模型,生成与所述问题文 本的语义相似的多个预设问题模板,其中,所述第一预设召回模型和第二预 设召回模型为分别基于同一全量数据库训练的召回模型,所述全量数据库中 包括多个预设问题。
第二预设召回模型具体可以是语义召回模型,与第一预设召回模型相似, 也是通过计算得到与问题文本与各个预设问题模板的相似度,再根据相似度 进行排序,以获得相似度较高的预设数量的预设问题模板。语义相似具体例 如“佣金”和“手续费,这两个词在语义上相近,但是字面上完全不同。
通过设置第一预设召回模型从字面上召回相似的预设问题模板,通过设 置第二预设召回模型从语义上召回相似的预设问题模板,使得输入预设语言 模型中的预设问题模板从多个维度上体现了与问题样本的相似,使得匹配得 到的结果更加准确。
进一步地,请参照图4,图4为本申请语义匹配方法第一实施例的步骤S300喜欢流程示意图,基于图3所示实施例,在本实施例中,步骤S300,召 回的多个预设问题模板输入预设语言模型中,生成与各所述预设问题模板相 对应的句向量包括:
步骤S310,分别将各召回的预设问题模板输入预设语言模型中,所述预 设语言模型为部署于GUP上的已训练bert模型;
步骤S320,已训练bert模型输出与各所述预设问题模板相对应的句向量。
bert(Bidirectional Encoder Representations from Transformers)模型为基于 Transformer的双向编码器构建的模型,由于已训练bert模型计算深度较深、 计算量较大,通过将已训练bert模型部署于GUP上,可以提高运算速度。
进一步地,请参照图5,图5为本申请语义匹配方法第二实施例的流程示 意图,基于图4所示实施例,在本实施例中,步骤S300,将召回的多个预设 问题模板输入预设语言模型中,生成与各所述预设问题模板相对应的句向量 之前,还包括:
步骤S610,获取第一样本数据,所述第一样本数据包括多个业务场景对 应的多个问题样本和与各所述问题样本对应训练文本;
具体地本领域技术人员可以针对各个业务场景可能面对的问题设置问题 样本,还需要针对问题样本设置相似的训练文本,将所有的问题样本集合和 对应的训练文本集合设置为第一样本数据,其中问题样本和训练文本的数据 各占一半。
步骤S610,构建所述问题样本和与各所述问题样本对应的训练文本形成 正样本句子对和负样本句子对,生成训练语料;
具体地,对各所述问题样本和训练文本进行分割,以使得后续可以连接 为对应的句子对。根据各所述问题样本和训练文本构建句子对,句子对具体 可以包括正样本句子对和负样本句子对,正样本句子对为两个句子间之间存 在相似关系,负样本句子对为两个句子之间不存在相似关系。
步骤S630,将训练语料输入待训练的bert模型进行模型训练,生成已训 练bert模型。
将训练语料输入待训练的bert模型中,进行多次的迭代,并根据得到的 损失函数等对待训练的bert模型中的权重进行多次更新,从而获得已训练bert 模型。
在本实施例中,已训练bert模型为根据多个业务场景对应的问题样本进 行训练得到的,即已训练的bert模型可针对各个业务场景对应的问题样本进 行处理,生成对应的词向量。
进一步地,请参照图6,图6为本申请语义匹配方法第三实施例的流程示 意图,基于图5所示实施例,在本实施例中,步骤S400,获取所述问题信息 对应的业务场景,确定所述业务场景对应已训练精排模型之前包括:
步骤S710,获取第二样本数据,所述第二样本数据为与业务场景对应的 多个问题样本;
步骤S720,将所述第二样本数据的各问题样本输入已训练bert模型中输 出与各问题样本对应的句向量,根据句向量生成训练样本;
步骤S730,将所述训练样本输入待训练的精排模型进行模型训练,生成 与所述第二样本数据对应的业务场景所对应的已训练精排模型。
在本实施例中,待训练的精排模型可以为交互式精排模型。第二样本数 据仅包括某一业务场景对应的问题样本,即训练得到的已训练精排模型仅针 对该一个业务场景,并且由于预先将问题样本输入已训练bert模型中得到句 向量,再对句向量进行精排,使得各个已训练精排模型与已训练bert模型高 度适配,从而提高语义匹配的效果。
在一实施例中,步骤S500,将与所述问题文本相似度最高的预设问题模 板设置与所述问题信息匹配之后,还包括:
获取与所述问题信息匹配的预设问题模板对应的预设回答;
将所述预设回答发送至所述问题信息的发送端。
每个业务场景可以预先预设与预设问题对应的回答,以生成预设问题与 答案映射关系,通过确定的与所述问题信息匹配的预设问题模板可以查询到 对应的回答,并将回答反馈给用户,实现自动化问答。
参见图7,本发明还提供一种语义匹配***,包括:
接收模块10,接收问题信息,并对所述问题信息进行预处理生成问题文 本;
召回模块20,将问题文本分别输入预设召回模型中,召回多个与所述问 题文本相似的预设问题模板;
句向量生成模块30,将召回的多个所述预设问题模板输入预设语言模型 中,生成与各所述预设问题模板相对应的句向量;
精排模型确定模块40,获取所述问题信息对应的业务场景,确定所述业 务场景对应的已训练精排模型;
排序模块50,将各所述预设问题模板相对应的句向量输入与所述问题信 息对应的已训练精排模型中,以对多个与所述问题文本相似的预设问题模板 进行相似度排序,将与所述问题文本相似度最高的预设问题模板设置为与所 述问题信息匹配。
进一步地,所述召回模块20包括:
召回单元,将所述问题文本输入至少两个预设召回模型中,每个所述预 设召回模型输出预设个数的召回结果,其中,多个所述预设召回模型分别为 采用不同预设规则训练的召回模型;
集合单元,根据与各所述预设召回模型对应的召回结果确定多个与所述 问题文本相似的预设问题模板。
进一步地,召回单元包括:
第一预设召回子单元,将所述问题文本输入第一预设召回模型,生成与 所述问题文本的句型和词组相似的多个预设问题模板;
第二预设召回子单元,将所述问题文本输入第二预设召回模型,生成与 所述问题文本的语义相似的多个预设问题模板,其中,所述第一预设召回模 型和第二预设召回模型为分别基于同一全量数据库训练的召回模型,所述全 量数据库中包括多个预设问题。
进一步地,句向量生成模块30包括:
第一输入单元,分别将各召回的预设问题模板输入预设语言模型中,所 述预设语言模型为部署于GUP上的已训练bert模型;
第一生成单元,已训练bert模型输出与各所述预设问题模板相对应的句 向量。
进一步地,语义匹配***还包括第一训练模块,第一训练模块用于:
获取第一样本数据,所述第一样本数据包括多个业务场景对应的多个问 题样本和与各所述问题样本对应训练文本;
构建所述问题样本和与各所述问题样本对应的训练文本形成正样本句子 对和负样本句子对,生成训练语料;
将所述训练语料输入待训练的bert模型进行模型训练,生成已训练bert 模型。
进一步地,语义匹配***还包括第一训练模块,第一训练模块用于:
获取第二样本数据,所述第二样本数据为与业务场景对应的多个问题样 本;
将所述第二样本数据的各问题样本输入已训练bert模型中输出与各问题 样本对应的句向量,根据句向量生成训练样本;
将所述训练样本输入待训练的精排模型进行模型训练,生成与所述第二 样本数据对应的业务场景所对应的已训练精排模型。
进一步地,语义匹配***还包括匹配模块,匹配模块用于:
获取与所述问题信息匹配的预设问题模板对应的预设回答;
将所述预设回答发送至所述问题信息的发送端。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序。所述 计算机可读存储介质可以是图1的终端中的存储器02,也可以是如ROM (Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存 取存储器)、磁碟、光盘中的至少一种,所述计算机可读存储介质包括若干 信息用以使得终端执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括 为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下, 由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物 品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间 接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种语义匹配方法,其特征在于,包括步骤:
接收问题信息,并对所述问题信息进行预处理生成问题文本;
将所述问题文本分别输入预设召回模型中,召回多个与所述问题文本相似的预设问题模板;
将召回的多个所述预设问题模板输入预设语言模型中,生成与各所述预设问题模板相对应的句向量;
获取所述问题信息对应的业务场景,确定所述业务场景对应的已训练精排模型;
将各所述预设问题模板相对应的句向量输入与所述问题信息对应的已训练精排模型中,以对多个与所述问题文本相似的预设问题模板进行相似度排序,将与所述问题文本相似度最高的预设问题模板设置为与所述问题信息匹配。
2.根据权利要求1所述的语义匹配方法,其特征在于,所述将所述问题文本分别输入预设召回模型中,召回多个与所述问题文本相似的预设问题模板的步骤包括:
将所述问题文本输入至少两个预设召回模型中,每个所述预设召回模型输出预设个数的召回结果,其中,多个所述预设召回模型分别为采用不同预设规则训练的召回模型;
根据与各所述预设召回模型对应的召回结果确定多个与所述问题文本相似的预设问题模板。
3.根据权利要求2所述的语义匹配方法,其特征在于,所述将所述问题文本输入至少两个预设召回模型中,每个所述预设召回模型输出预设个数的召回结果的步骤包括:
将所述问题文本输入第一预设召回模型,生成与所述问题文本的句型和词组相似的多个预设问题模板;
将所述问题文本输入第二预设召回模型,生成与所述问题文本的语义相似的多个预设问题模板,其中,所述第一预设召回模型和第二预设召回模型为分别基于同一全量数据库训练的召回模型,所述全量数据库中包括多个预设问题。
4.根据权利要求3所述的语义匹配方法,其特征在于,所述将召回的多个所述预设问题模板输入预设语言模型中,生成与各所述预设问题模板相对应的句向量的步骤包括:
分别将各召回的预设问题模板输入预设语言模型中,所述预设语言模型为部署于GUP上的已训练bert模型;
已训练bert模型输出与各所述预设问题模板相对应的句向量。
5.根据权利要求4所述的语义匹配方法,其特征在于,所述将召回的多个预设问题模板输入预设语言模型中,生成与各所述预设问题模板相对应的句向量的步骤之前,还包括:
获取第一样本数据,所述第一样本数据包括多个业务场景对应的多个问题样本和与各所述问题样本对应训练文本;
构建所述问题样本和与各所述问题样本对应的训练文本形成正样本句子对和负样本句子对,生成训练语料;
将所述训练语料输入待训练的bert模型进行模型训练,生成已训练bert模型。
6.根据权利要求5所述的语义匹配方法,其特征在于,所述获取所述问题信息对应的业务场景,确定所述业务场景对应已训练精排模型的步骤之前包括:
获取第二样本数据,所述第二样本数据为与业务场景对应的多个问题样本;
将所述第二样本数据的各问题样本输入已训练bert模型中输出与各问题样本对应的句向量,根据句向量生成训练样本;
将所述训练样本输入待训练的精排模型进行模型训练,生成与所述第二样本数据对应的业务场景所对应的已训练精排模型。
7.根据权利要求6所述的语义匹配方法,其特征在于,所述将与所述问题文本相似度最高的预设问题模板设置与所述问题信息匹配的步骤之后,还包括:
获取与所述问题信息匹配的预设问题模板对应的预设回答;
将所述预设回答发送至所述问题信息的发送端。
8.一种语义匹配***,其特征在于,所述语义匹配***包括:
接收模块,接收问题信息,并对所述问题信息进行预处理生成问题文本;
召回模块,将所述问题文本分别输入预设召回模型中,召回多个与所述问题文本相似的预设问题模板;
句向量生成模块,将召回的多个所述预设问题模板输入预设语言模型中,生成与各所述预设问题模板相对应的句向量;
精排模型确定模块,获取所述问题信息对应的业务场景,确定所述业务场景对应的已训练精排模型;
排序模块,将各所述预设问题模板相对应的句向量输入与所述问题信息对应的已训练精排模型中,以对多个与所述问题文本相似的预设问题模板进行相似度排序,将与所述问题文本相似度最高的预设问题模板设置为与所述问题信息匹配。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的语义匹配方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的语义匹配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011230122.1A CN112287085B (zh) | 2020-11-06 | 2020-11-06 | 语义匹配方法、***、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011230122.1A CN112287085B (zh) | 2020-11-06 | 2020-11-06 | 语义匹配方法、***、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112287085A true CN112287085A (zh) | 2021-01-29 |
CN112287085B CN112287085B (zh) | 2023-12-05 |
Family
ID=74352135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011230122.1A Active CN112287085B (zh) | 2020-11-06 | 2020-11-06 | 语义匹配方法、***、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287085B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688246A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 基于人工智能的历史问题召回方法、装置及相关设备 |
CN113850384A (zh) * | 2021-09-30 | 2021-12-28 | 维沃移动通信有限公司 | 模型训练方法及装置 |
CN114595697A (zh) * | 2022-03-14 | 2022-06-07 | 京东科技信息技术有限公司 | 用于生成预标注样本的方法、装置、服务器和介质 |
CN115860012A (zh) * | 2022-05-25 | 2023-03-28 | 北京中关村科金技术有限公司 | 用户意图识别方法、装置、电子设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740077A (zh) * | 2018-12-29 | 2019-05-10 | 北京百度网讯科技有限公司 | 基于语义索引的答案搜索方法、装置及其相关设备 |
CN110263144A (zh) * | 2019-06-27 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种答案获取方法及装置 |
CN111177349A (zh) * | 2019-12-20 | 2020-05-19 | 厦门快商通科技股份有限公司 | 问答匹配方法、装置、设备及存储介质 |
CN111368042A (zh) * | 2020-02-13 | 2020-07-03 | 平安科技(深圳)有限公司 | 智能问答方法、装置、计算机设备及计算机存储介质 |
CN111858859A (zh) * | 2019-04-01 | 2020-10-30 | 北京百度网讯科技有限公司 | 自动问答处理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-11-06 CN CN202011230122.1A patent/CN112287085B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109740077A (zh) * | 2018-12-29 | 2019-05-10 | 北京百度网讯科技有限公司 | 基于语义索引的答案搜索方法、装置及其相关设备 |
CN111858859A (zh) * | 2019-04-01 | 2020-10-30 | 北京百度网讯科技有限公司 | 自动问答处理方法、装置、计算机设备及存储介质 |
CN110263144A (zh) * | 2019-06-27 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种答案获取方法及装置 |
CN111177349A (zh) * | 2019-12-20 | 2020-05-19 | 厦门快商通科技股份有限公司 | 问答匹配方法、装置、设备及存储介质 |
CN111368042A (zh) * | 2020-02-13 | 2020-07-03 | 平安科技(深圳)有限公司 | 智能问答方法、装置、计算机设备及计算机存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688246A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 基于人工智能的历史问题召回方法、装置及相关设备 |
CN113688246B (zh) * | 2021-08-31 | 2023-09-26 | 中国平安人寿保险股份有限公司 | 基于人工智能的历史问题召回方法、装置及相关设备 |
CN113850384A (zh) * | 2021-09-30 | 2021-12-28 | 维沃移动通信有限公司 | 模型训练方法及装置 |
CN114595697A (zh) * | 2022-03-14 | 2022-06-07 | 京东科技信息技术有限公司 | 用于生成预标注样本的方法、装置、服务器和介质 |
CN114595697B (zh) * | 2022-03-14 | 2024-04-05 | 京东科技信息技术有限公司 | 用于生成预标注样本的方法、装置、服务器和介质 |
CN115860012A (zh) * | 2022-05-25 | 2023-03-28 | 北京中关村科金技术有限公司 | 用户意图识别方法、装置、电子设备及介质 |
CN115860012B (zh) * | 2022-05-25 | 2024-06-11 | 北京中关村科金技术有限公司 | 用户意图识别方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112287085B (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112287085B (zh) | 语义匹配方法、***、设备及存储介质 | |
CN110301117B (zh) | 用于在会话中提供响应的方法和装置 | |
CN109086303A (zh) | 基于机器阅读理解的智能对话方法、装置、终端 | |
CN109697239B (zh) | 用于生成图文信息的方法 | |
CN113127624B (zh) | 问答模型的训练方法及装置 | |
CN109325040B (zh) | 一种faq问答库泛化方法、装置及设备 | |
CN110019742B (zh) | 用于处理信息的方法和装置 | |
US11651015B2 (en) | Method and apparatus for presenting information | |
CN110347802B (zh) | 一种文本分析方法及装置 | |
CN112579733B (zh) | 规则匹配方法、规则匹配装置、存储介质及电子设备 | |
CN111930914A (zh) | 问题生成方法和装置、电子设备以及计算机可读存储介质 | |
CN113239169A (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
CN112528654A (zh) | 自然语言处理方法、装置及电子设备 | |
CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
CN116541493A (zh) | 基于意图识别的交互应答方法、装置、设备、存储介质 | |
CN117271736A (zh) | 一种问答对的生成方法和***、电子设备及存储介质 | |
CN117520523B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 | |
CN116821307B (zh) | 内容交互方法、装置、电子设备和存储介质 | |
CN117290478A (zh) | 一种知识图谱问答方法、装置、设备和存储介质 | |
CN117009113A (zh) | 人工智能模型的调用方法、装置、计算机设备及存储介质 | |
Kaviya et al. | Artificial intelligence based farmer assistant chatbot | |
CN111767720A (zh) | 一种标题生成方法、计算机及可读存储介质 | |
EP4127957A1 (en) | Methods and systems for searching and retrieving information | |
CN115795007A (zh) | 智能问答方法、智能问答装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |