CN113157863B - 问答数据处理方法、装置、计算机设备及存储介质 - Google Patents
问答数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113157863B CN113157863B CN202110448332.6A CN202110448332A CN113157863B CN 113157863 B CN113157863 B CN 113157863B CN 202110448332 A CN202110448332 A CN 202110448332A CN 113157863 B CN113157863 B CN 113157863B
- Authority
- CN
- China
- Prior art keywords
- question
- entity
- answer
- preset
- replied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 6
- 238000005295 random walk Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009411 base construction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种问答数据处理方法、装置、计算机设备及存储介质。该方法通过对待回复问题进行实体识别之后并将识别到的实体记录为关键实体;自预设问答知识库中抽取与关键实体一阶关联的所有问答实体,并根据关键实体以及与其关联的所有问答实体构建实体子图;根据待回复问题以及实体子图,判断预设问答知识库中是否包含待回复问题的答复;若预设问答知识库不包含待回复问题的答复,则根据关键实体确定与待回复问题对应的限定域问答模型;通过限定域问答模型输出所有候选答复句子;根据预设选取规则自所有候选答复句子中选取一个候选答复句子作为对待回复问题的答复句子,并将答复句子发送至预设接收方。本发明提高了问答回复的准确性。
Description
技术领域
本发明涉及大数据引擎技术领域,尤其涉及一种问答数据处理方法、装置、计算机设备及存储介质。
背景技术
目前,智能问答是自然语言处理中主要任务之一,目前,将智能问答也已经应用于如智能问答机器人、语音助手等各个领域中。
但是,传统现有技术中,的智能问答***中往往采用如深度学习等单一技术,并且传统的智能问答***且主要应用在一些专业领域中,然而,智能问答***在应用在于专业领域中时往往受限于专业领域的训练数据的不足,难以获取大量的标注数据,从而由于而标注数据量的稀缺会导致智能问答***的训练存在偏差,进而导致智能问答***的准确率较低。进一步地并且,对于单纯通过智能问答***对问题进行回复的方案来说,若若通过大量所有答复数据对训练智能问答***进行则会导致训练,其训练过程将会十分较为复杂,和缓慢,但若通过减少若仅用部分答复数据的方式简化训练过程,则会存在答复覆盖率较低的问题。
发明内容
本发明实施例提供一种问答数据处理方法、装置、计算机设备及存储介质,以解决智能问答***的准确率较低的问题。
一种问答数据处理方法,包括:
接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;
自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;
根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;
若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;
将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值;
根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
一种问答数据处理装置,包括:
实体识别模块,用于接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;
实体子图构建模块,用于自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;
知识库答复模块,用于根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;
问答模型确定模块,用于若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;
模型答复模块,用于将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值;
答复句子发送模块,用于根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述问答数据处理方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述问答数据处理方法。
上述问答数据处理方法、装置、计算机设备及存储介质,该方法通过接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值。根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
本发明通过结合预设问答知识库以及限定域问答模型的方式,对于预设问答知识库未覆盖的问题,可以通过与待回复问题关联的限定域问答模型给出近似答案,可以输出对待回复问题最准确的答复句子,提高了问答回复的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中问答数据处理方法的一应用环境示意图;
图2是本发明一实施例中问答数据处理方法的一流程图;
图3是本发明一实施例中问答数据处理装置的一原理框图;
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的问答数据处理方法,该问答数据处理方法可应用如图1所示的应用环境中。具体地,该问答数据处理方法应用在问答数据处理***中,该问答数据处理***包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于解决智能问答***的准确率较低的问题。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种问答数据处理方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S10:接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体。
可以理解地,待回复问题可以根据不同应用场景进行选取,请求回答指令可以由用户发送的指令,也可以在键入待回复问题之后自动生成的。
具体地,在接收到包含待回复问题的请求回答指令之后,对待回复问题进行实体识别,并将识别到的实体记录为待回复问题中的关键实体。一般地,待回复问题中包含一个实体以及实体关系,示例性地,假设待回复问题为“请问第一台电子计算机诞生于什么年份”,则该待回复问题中的关键实体即为“第一台电子计算机”,对应的实体关系为“诞生年份”;进而在对待回复问题进行实体识别之后,可以直接将待回复问题中的实体直接记录为关键实体。
在一实施例中,步骤S10中,包括:
获取实体识别模型,并将所述待回复问题输入至所述实体识别模型中,以通过所述实体识别模型对所述待回复问题进行实体识别,获取所述关键实体。
其中,实体识别模型用于提取待回复问题中的关键实体,该实体识别模型是经过预先迭代训练后得到的。具体地,在获取实体识别模型之后,将待回复问题输入至实体识别模型中,以通过实体识别模型中的直接预测模块以及辅助预测模块对待回复问题中的实体进行识别,进而确定待回复问题中的关键实体。
在一具体实施例中,所述获取实体识别模型之前,包括:
获取预设样本数据集;所述预设样本数据集中包含至少一个不具有标注标签的实体样本数据。
可以理解地,实体样本数据为不具有预先通过人工标注的标注标签的数据;一般地,在有监督学习中需要大量的人工标注数据进行模型训练学习,但是人工标注数据需求量很大,通过人工进行标注的方法浪费时间,且无法输出庞大的标注数据,因此本发明需要解决的其中一个问题就是缺乏有标注数据的情况下,如何对模型进行更加精确,快速的训练学习。进一步地,实体样本数据可以根据不同场景进行选取,示例性地,实体样本数据可以从知网、百度等检索数据库中采集得到,例如在电影编辑场景下,实体样本数据可以为电影剧本中的句子;在面试场景下,实体样本数据可以为面试者的自我介绍或者简历。
将所述实体样本数据输入至包含第一初始参数的预设识别模型中,通过所述预设识别模型中的直接预测模块对所述实体样本数据进行标准标签预测,得到标准标签分布以及与所述实体样本数据对应的样本编码向量。
可以理解地,在本申请中,预设识别模型是结合了有监督学习以及无监督学习形成的半监督学习模型;如预设识别模型中的直接预测模块是通过少量的具有标注标签的数据进行训练得到的,也即直接预测模块是训练完成的模块,进而通过直接预测模块对不具有标注标签的实体样本数据进行标准标签预测时,可以不用额外训练一个预测模块,提高了模型训练的效率。
进一步地,在将实体样本数据输入至包含第一初始参数的预设识别模型之后,该实体样本数据作为直接预测模块的输入,该直接预测模块中包含一个双向循环神经网络编码器,该双向循环网络编码器用于对实体样本数据进行向量编码,进而得到与实体样本数据对应的实体编码向量,进而在通过双向循环网络编码器对实体样本数据进行向量编码得到实体编码向量后,通过标注分类器对实体编码向量进行直接标签预测,得到与实体样本数据对应的样本编码向量。
通过所述预设识别模型中的各辅助预测模块,根据所述样本编码向量对所述实体样本数据进行辅助标签预测,得到与各所述辅助预测模块输出的辅助标签分布。
可以理解地,辅助预测模块指的是根据不同的字词组合对某个字词进行实体预测的模块,该辅助预测模块用于与直接预测模块进行结合形成半监督模式,对如实体标注数据等不具有标注标签的数据进行实体预测;需要说明的是,为了尽可能多的提取实体样本数据中各个字词的表征数据,因此设定的每一个辅助预测模块提取实体样本数据的特征均是不同的,也即每一个辅助预测模块对实体样本数据中字词的实体判别的依据是不一样的,进而通过不同的辅助预测模块可以提高模型实体识别的准确率;示例性地,假设对实体样本数据中第四个词进行实体预测,则其中一个辅助预测模块可以通过排序在该实体样本数据中第四个词的前三个字词对其进行实体预测,另一个辅助预测模块可以通过排序在该实体样本数据中第四个词的后四个字词对其进行实体预测等。
具体地,在将所述实体样本数据输入至包含第一初始参数的预设识别模型中,通过所述预设识别模型中的直接预测模块对所述实体样本数据进行标准标签预测,得到标准标签分布以及与所述实体样本数据对应的样本编码向量之后,通过预设识别模型中的各辅助预测模块,根据样本编码向量对实体样本数据进行不同视图的辅助标签预测,可以理解地,上述说明中已经指出各个辅助预测模块对实体样本数据中字词的实体判别的依据是不一样的,也即各个辅助预测模块是以不同的字词视图进行辅助标签预测,进而输出对实体样本数据中各字词的实体预测结果,也即辅助标签分布。
根据各所述辅助标签分布与所述标准标签分布确定所述预设识别模型的总损失值。
可以理解地,在通过所述预设识别模型中的各辅助预测模块,根据所述样本编码向量对所述实体样本数据进行辅助标签预测,得到与各所述辅助预测模块输出的辅助标签分布之后,确定各辅助标签分布与标准标签分布之间的KL(Kullback–Leiblerdivergence,相对熵)散度,具体地可以根据如下表达式确定:
其中,DKL(p||q)指的是辅助标签分布与标准标签分布之间的KL散度;p(xi)表征的是实体样本数据中第i个未标注样本字词对应的辅助预测模块输出的辅助标签分布;q(xi)表征的是与p(xi)的未标注样本字词对应的标准标签分布。
进一步地,通过下述表达式确定预设识别模型的总损失值:
其中,LVCT(θ)为预设识别模型的总损失值;|Dul|为预设样本数据集中实体样本数据的个数;k为预设识别模型中辅助预测模块的个数;qθ(y|xi)为第θ个实体样本数据中第i个未标注样本字词对应的标准标签分布;为第θ个实体样本数据中第i个未标注样本字词的第j个辅助预测模块输出的辅助标签分布;/>为第θ个实体样本数据中第i个未标注样本字词的各辅助标签分布与标准标签分布之间的KL散度。
在所述总损失值未达到预设的收敛条件时,更新迭代所述预设识别模型的第一初始参数,直至所述总损失值达到所述预设的收敛条件时,将收敛之后的所述预设识别模型记录为所述实体识别模型。
可以理解地,该收敛条件可以为总损失值小于设定阈值的条件,也即在总损失值小于设定阈值时,停止训练;收敛条件还可以为总损失值经过了10000次计算后值为很小且不会再下降的条件,也即总损失值经过10000次计算后值很小且不会下降时,停止训练,将收敛之后的所述预设识别模型记录为实体识别模型。
进一步地,根据所述实体样本数据对应的根据各所述辅助标签分布与所述标准标签分布确定所述预设识别模型的总损失值之后,在总损失值未达到预设的收敛条件时,根据该总损失值调整预设识别模型的第一初始参数,并将该实体样本数据重新输入至调整第一初始参数后的预设识别模型中,以在该实体样本数据对应的总损失值达到预设的收敛条件时,选取预设样本数据集中另一仅实体样本数据,并执行上述步骤,并得到与该实体样本数据对应的总损失值,并在该总损失值未达到预设的收敛条件时,根据该总损失值再次调整预设识别模型的第一初始参数,使得该实体样本数据对应的总损失值达到预设的收敛条件。
如此,在通过预设样本数据集中所有实体样本数据对预设识别模型进行训练之后,使得预设识别模型输出的结果可以不断向准确地结果靠拢,让识别准确率越来越高,直至所有实体样本数据对应的总损失值均达到预设的收敛条件时,将收敛之后的所述预设识别模型记录为面试识别模型。
S20:自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图。
可以理解地,在预设问答知识库中包含多个三元组,进而在提取待回复问题中的关键实体之后,可以从预设问答知识库中,抽取与关键实体具有直接关联的问答实体,可以理解地,一阶关联即指与关键实体具有直接关联的实体,而与问答实体具有直接关联的实体则属于二阶关联,三阶关联等,进而根据关键实体以及与其关联的所有问答实体构建实体子图。进一步地,关键实体与问答实体之间具有实体关系。示例性地,假设关键实体为iphone11,问答实体为5499,则其之间的实体关系为价格或售价。
在一实施例中,步骤S20中,所述自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,包括:
将所述关键实体与所述预设问答知识库中的所有知识三元组进行实体匹配,以确定包含与所述关键实体相同的起始实体的知识三元组;所述知识三元组中包含起始实体、实体关系以及终点实体。
将已确定的所有所述知识三元组中的终点实体记录为所述问答实体。
可以理解地,起始实体与终点实体均可以为不同场景下的具体实体,如起始实体可以为iPhone手机、冰箱等;终点实体可以为具体的价格(如5499元等)。
具体地,在对所述待回复问题进行实体识别,以获取所述待回复问题中的关键实体之后,将关键实体与预设问答知识库中的所有知识三元组进行实体匹配,如可以采用余弦相似度算法确定关键实体与所有知识三元组中的起始实体的匹配余弦相似度,进而将各余弦相似度与预设余弦相似度阈值进行比较,超过余弦相似度阈值的起始实体即为与关键实体相同的起始实体。其中,预设余弦相似度阈值可以根据需求进行设定,示例性地,余弦相似度阈值可以设定为95%等。
进一步地,在确定包含与所述关键实体相同的起始实体的知识三元组之后,将已确定的所有所述知识三元组中的终点实体记录为与关键实体一阶关联的所述问答实体。
在一实施例中,所述将所述关键实体与所述预设问答知识库中的所有知识三元组进行实体匹配之前,包括:
获取预设意图集合以及问答知识图谱。
可以理解地,预设意图集合是指用户提出的问题中潜在的意图汇总,该预设意图集合可以根据不同的应用场景建立不同的意图集合。问答知识图谱指的是从如百度、知网等数据库中爬取得到的答案数据库,该问答知识图谱中存储多个实体,以及各个实体之间的实体关系组成的三元组,例如针对于一个答案男性退休年龄为65岁,则从该答案中提取的三元组则可以为(男性,退休年轻,65)。
通过预设采样方式自所述预设意图集合中采集起始实体。
可选地,预设采样方式可以为随机采样方式,按照实体顺序采样方式或者按照数组采样方式等。
在一具体实施方式中,采用随机采样方式作为预设采样方式。具体地,在预设意图集合中,随机采样一个实体集合,在采集到实体集合之后,通过随机采样方式从实体集合中选取一个实体,并将该实体记录为起始实体。其中,实体集合用于存储不同类别的实体的集合;示例性地,实体集合包括电子产品实体类、家具实体类、食品实体类或者职业实体类等实体类,则对应的起始实体可以为iPhone手机、冰箱、汉堡包或者卡车司机等实体。
以所述起始实体为起点,采用随机游走方法,自所述问答知识图谱中确定与所述起始实体关联的实体关系以及终点实体。
基于所述起始实体、实体关系以及终点实体,构建与所述起始实体对应的知识三元组,并根据各所述知识三元组构建所述预设问答知识库。
其中,三元组的格式可以为(起始实体,实体关系,终点实体)。
具体地,在通过预设的采样方式从意图集合中采集起始实体之后,将该起始实体作为起点,采用随机游走方法,从知识图谱中确定与起始实体对应的实体关系和终点实体,基于起始实体,实体关系和终点实体,按照三元组的格式生成知识三元组,并根据各知识三元组构建预设问答知识库。示例性地,假设通过预设的采样方式从意图集合中采集到的起始实体为“iPhone11”,将“iPhone11”作为起点,采用随机游走方法,从知识图谱中确定与“iPhone11”对应的实体关系为“官网价格”和终点实体为“5499”,基于“iPhone11”,“官网价格”,“5499”,按照三元组的格式生成知识三元组为(iPhone11,官网价格,5499)。
其中,由于知识图谱中存储多个实体和各个实体之间的关系,故一个起始实体对应的实体关系和终点实体也有多个,通过随机游走的方法,选择其中一种与起始实体相关的实体关系和终点实体来生成知识三元组。
S30:根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复。
具体地,可以通过预训练得到的bert语言模型对实体子图进行编码,进而对待回复问题以及编码后的实体子图进行平均池化后接入MLP网络,进而确定预设问答知识库中是否包含待回复问题的答复。示例性地,若预设问答知识库可以对待回复问题进行答复,则可以输出1进行表征,并输出对应的答复句子;若预设问答知识库中不包含待回复问题的答复,则可以输出0进行表征,并自动进入步骤S40。例如待回复问题为“现在Iphone11售价多少?”,则对应的关键实体可以为Iphone11,售价则为实体关系,进而在预设问答知识库中确定与iphone11关联的实体子图之后,确定实体子图中是否存在可以回答该待回复问题的分支,如实体子图中其中一个分支为iphone11当前价格为5499元,进而在接入MLP网络之后,会输出1,并输出答复句子为iphone11当前价格为5499元。
S40:若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型。
可以理解地,预设问答知识库可以解决一般的问题,如遇到专业技术领域中的问题,可能预设问答知识库不能进行答复,进而可以确定与待回复问题中关键实体对应的限定域问答模型,进而通过该限定域问答模型对待回复问题进行答复。例如,假设待回复问题为Macbook中的M1芯片中某一模块的原理是怎么样的,则可能预设问答知识库无法回答,则可以确定出与该待回复问题对应的限定域问答模型,如电路,计算机等领域中。
在一实施例中,步骤S40之前,也即根据所述关键实体确定与所述待回复问题对应的限定域问答模型之前,包括:
获取预设问题语料集;所述预设问题语料集中包含至少一个问题样本数据;一个所述问题样本数据关联一个知识限定域。
可选地,问题样本数据可以通过从如知网、知乎、百度等检索数据库中爬取得到。知识限定域指的是如医学领域、金融领域、计算机领域等具有专业知识的领域。
获取预设限定域语料集;所述预设限定域语料集中包含至少一个具有标注标签的答案候选语料;一个所述答案候选语料关联一个知识限定域;一个所述标注标签包含与至少一个问题样本数据对应的真实答复开始位置以及真实答复结束位置。
可以理解地,预设限定域语料集指的是从不同知识限定领域中(如知识限定领域可以为医学领域、金融领域、计算机领域等)采集到的答案候选语料的集合。答案候选语料指的是包含经常被提及的问题对应的答案的语料,也即在每一个不同的领域中,由于不同的领域中的专业性质不同,往往针对各个领域存在针对性的提问,进而需要通过与提问对应的领域专业的书籍或者资料中的语料进行查找,进而确定对应的答案,且该答案候选语料已被提前进行标注,也即在答案候选语料中标注针对每一问题样本数据的真实答复开始位置以及真实答复结束位置,进而可以根据答案候选语料中真实答复开始位置以及真实答复结束位置的语料内容提炼出与问题样本数据一一对应的答案。
将一个所述问题样本数据以及与其对应的所述答案候选语料输入至包含第二初始参数的初始问答模型,在所述答案候选语料中确定与所述问题样本数据对应的预测答复开始位置以及预测答复结束位置。
其中,初始问答模型是基于中文开源阅读理解数据集DuReader等数据训练得到的机器阅读理解模型,使得初始问答模型具备一定的问答预测能力,但是每个领域的专业知识不同,因此可以通过不同知识限定域的问题样本数据以及答案候选语料对该初始问答模型进行进一步训练,以调整初始问答模型的第二初始参数,使得初始问答模型可以学习不同的知识限定域中的专业知识,提高初始问答模型的准确率,并更具有针对性。
具体地,在获取预设问题语料集以及获取预设限定域语料集之后,将一个所述问题样本数据以及与其对应的所述答案候选语料输入至包含第二初始参数的初始问答模型,在所述答案候选语料中确定与所述问题样本数据对应的预测答复开始位置以及预测答复结束位置。可以理解地,与问题样本数据对应的答案候选语料指的是,该答案候选语料具有的标注标签中包含针对该问题样本数据对应的真实答复开始位置以及真实答复结束位置,并且答案候选语料与问题样本数据属于同一知识限定域。
根据所述真实答复开始位置、真实答复结束位置、预测答复开始位置以及预测答复结束位置,确定所述初始问答模型的答复损失值。
具体地,在将关联同一知识限定域的问题样本数据以及所述答案候选语料输入至包含第二初始参数的初始问答模型,在所述答案候选语料中确定与所述问题样本数据对应的预测答复开始位置以及预测答复结束位置,根据真实答复开始位置,真实答复结束位置,预测答复开始位置以及预测答复结束位置,通过如交叉熵损失函数等损失函数确定初始问答模型的答复损失值。
在所述答复损失值未达到预设的收敛条件时,更新迭代所述初始问答模型的第二初始参数,直至所述答复损失值达到所述预设的收敛条件时,将收敛之后的所述初始问答模型记录为所述限定域问答模型。
可以理解地,该收敛条件可以为答复损失值小于设定阈值的条件,也即在答复损失值小于设定阈值时,停止训练;收敛条件还可以为答复损失值经过了10000次计算后值为很小且不会再下降的条件,也即答复损失值经过10000次计算后值很小且不会下降时,停止训练,将收敛之后的初始问答模型记录为限定域问答模型。
进一步地,根据真实答复开始位置、真实答复结束位置、预测答复开始位置以及预测答复结束位置,确定初始问答模型的答复损失值之后,在答复损失值未达到预设的收敛条件时,根据该答复损失值调整初始问答模型的第二初始参数,并将该问题样本数据以及答案候选语料重新输入至调整第二初始参数后的初始问答模型中,以在该问题样本数据对应的答复损失值达到预设的收敛条件时,选取预设问题语料集中另一仅问题样本数据,并执行上述步骤,以得到与该问题样本数据对应的答复损失值,并在该答复损失值未达到预设的收敛条件时,根据该答复损失值再次调整初始问答模型的第二初始参数,使得该问题样本数据对应的答复损失值达到预设的收敛条件。
如此,在通过预设问题语料集中所有问题样本数据对初始问答模型进行训练之后,使得初始问答模型输出的结果可以不断向准确地结果靠拢,让识别准确率越来越高,直至所有问题样本数据对应的答复损失值均达到预设的收敛条件时,将收敛之后的初始问答模型记录为限定域问答模型。
S50:将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值。
可选地,预设置信度阈值可以设定为0.9,0.95等。
可以理解地,在将待回复问题输入至限定域问答模型中,通过限定域问答模型对待回复问题进行答复之后,限定域问答模型会对各答复进行置信度判断,并将每一答复句子的置信度与预设置信度阈值进行比较,进而在确定答复句子的置信度大于或等于预设置信度阈值之后,将该答复句子输出,也即候选答复句子;剩余小于预设置信度阈值的答复置信度对应的句子则不被输出,以提高问答数据处理的准确性。
在一实施例中,步骤S50之后,也即所述通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子之后,包括:
对所述候选答复句子进行实体结构化处理,以提取所述候选答复句子中的答复起始实体,答复实体关系以及答复终点实体。
可以理解地,结构化处理即为提取出候选答复句子中的所有实体(也即答复起始实体以及答复终点实体),以及实体之间的答复实体关系。如候选答复句子为iphone11当前价格为5499元,则对应提取得到的答复起始实体为iphone11,答复终点实体为5499,答复实体关系为当前价格,进而构建得到的答复三元组为(iphone11,当前价格,5499)。
根据与同一候选答复句子对应的所述答复起始实体、答复实体关系以及答复终点实体,构建答复三元组。
将与各所述候选答复句子对应的答复三元组存储至所述预设问答知识库中。
具体地,在通过限定域问答模型输出与待回复问题对应的所有候选答复句子之后,对所述候选答复句子进行实体结构化处理,以提取所述候选答复句子中的答复起始实体,答复实体关系以及答复终点实体;根据与同一候选答复句子对应的所述答复起始实体、答复实体关系以及答复终点实体,构建答复三元组,并将与各候选答复句子对应的答复三元组存储至预设问答知识库中,进而可以在下一次遇到同样的待回复问题时,可以通过预设问答知识库进行答复,无需调用对应的限定域问答模型,进而在减少问答回复的答复时间的同时,增加了预设问答知识库中的数据量。
S60:根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
可选地,预设选取规则可以为随机选择一个候选答复句子作为答复句子,亦或者可以为选择置信度最高的候选答复句子作为答复句子。具体地,在将待回复问题输入至限定域问答模型中,通过限定域问答模型输出与待回复问题对应的所有候选答复句子之后,根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。其中,预设接收方可以为发送请求回答指令的一方。
在本实施例中,通过结合预设问答知识库以及限定域问答模型的方式,对于预设问答知识库未覆盖的问题,可以通过与待回复问题关联的限定域问答模型给出近似答案,可以输出对待回复问题最准确的答复句子,提高了问答回复的准确性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种问答数据处理装置,该问答数据处理装置与上述实施例中问答数据处理方法一一对应。如图3所示,该问答数据处理装置包括实体识别模块10、实体子图构建模块20、知识库答复模块30、问答模型确定模块40、模型答复模块50和答复句子发送模块60。各功能模块详细说明如下:
实体识别模块10,用于接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;
实体子图构建模块20,用于自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;
知识库答复模块30,用于根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;
问答模型确定模块40,用于若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;
模型答复模块50,用于将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值;
答复句子发送模块60,用于根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
优选地,所述实体识别模块包括:
实体识别子模块,用于获取实体识别模型,并将所述待回复问题输入至所述实体识别模型中,以通过所述实体识别模型对所述待回复问题进行实体识别之后,将识别到的实体记录为所述关键实体。
优选地,所述问答处理装置还包括:
样本数据集获取模块,用于获取预设样本数据集;所述预设样本数据集中包含至少一个不具有标注标签的实体样本数据;
直接预测模块,用于将所述实体样本数据输入至包含第一初始参数的预设识别模型中,通过所述预设识别模型中的直接预测模块对所述实体样本数据进行标准标签预测,得到标准标签分布以及与所述实体样本数据对应的样本编码向量;
辅助预测模块,用于通过所述预设识别模型中的各辅助预测模块,根据所述样本编码向量对所述实体样本数据进行辅助标签预测,得到与各所述辅助预测模块输出的辅助标签分布;
总损失值确定模块,用于根据各所述辅助标签分布与所述标准标签分布确定所述预设识别模型的总损失值;
实体识别模型训练模块,用于在所述总损失值未达到预设的收敛条件时,更新迭代所述预设识别模型的第一初始参数,直至所述总损失值达到所述预设的收敛条件时,将收敛之后的所述预设识别模型记录为所述实体识别模型。
优选地,所述实体子图构建模块20包括:
实体匹配单元,用于将所述关键实体与所述预设问答知识库中的所有知识三元组进行实体匹配,以确定包含与所述关键实体相同的起始实体的知识三元组;所述知识三元组中包含起始实体、实体关系以及终点实体;
问答实体确定单元,用于将已确定的所有所述知识三元组中的终点实体记录为所述问答实体。
优选地,所述问答数据处理装置还包括:
数据获取模块,用于获取预设意图集合以及问答知识图谱;
起始实体采集模块,用于通过预设采样方式自所述预设意图集合中采集起始实体;
实体确定模块,用于以所述起始实体为起点,采用随机游走方法,自所述问答知识图谱中确定与所述起始实体关联的实体关系以及终点实体;
问答知识库构建模块,用于基于所述起始实体、实体关系以及终点实体,构建与所述起始实体对应的知识三元组,并根据各所述知识三元组构建所述预设问答知识库。
优选地,所述问答数据处理装置还包括:
问题语料集获取模块,用于获取预设问题语料集;所述预设问题语料集中包含至少一个问题样本数据;一个所述问题样本数据关联一个知识限定域;
限定域语料集获取模块,用于获取预设限定域语料集;所述预设限定域语料集中包含至少一个具有标注标签的答案候选语料;一个所述答案候选语料关联一个知识限定域;一个所述标注标签包含与至少一个问题样本数据对应的真实答复开始位置以及真实答复结束位置;
答复预测模块,用于将一个所述问题样本数据以及与其对应的所述答案候选语料输入至包含第二初始参数的初始问答模型,在所述答案候选语料中确定与所述问题样本数据对应的预测答复开始位置以及预测答复结束位置;
答复损失值确定模块,用于根据所述真实答复开始位置、真实答复结束位置、预测答复开始位置以及预测答复结束位置,确定所述初始问答模型的答复损失值;
问答模型训练模块,用于在所述答复损失值未达到预设的收敛条件时,更新迭代所述初始问答模型的第二初始参数,直至所述答复损失值达到所述预设的收敛条件时,将收敛之后的所述初始问答模型记录为所述限定域问答模型。
优选地,所述问答数据处理装置还包括:
结构化处理模块,用于对所述候选答复句子进行实体结构化处理,以提取所述候选答复句子中的答复起始实体,答复实体关系以及答复终点实体;
答复三元组构建模块,用于根据与同一候选答复句子对应的所述答复起始实体、答复实体关系以及答复终点实体,构建答复三元组;
三元组存储模块,用于将与各所述候选答复句子对应的答复三元组存储至所述预设问答知识库中。
关于问答数据处理装置的具体限定可以参见上文中对于问答数据处理方法的限定,在此不再赘述。上述问答数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作***、计算机程序和数据库。该内存储器为可读存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中问答数据处理方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种问答数据处理方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中问答数据处理方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中问答数据处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (9)
1.一种问答数据处理方法,其特征在于,包括:
接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;
自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;
根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;
若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;
将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值;
根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方;
所述根据各所述关键实体确定与所述待回复问题对应的限定域问答模型之前,包括:
获取预设问题语料集;所述预设问题语料集中包含至少一个问题样本数据;一个所述问题样本数据关联一个知识限定域;
获取预设限定域语料集;所述预设限定域语料集中包含至少一个具有标注标签的答案候选语料;一个所述答案候选语料关联一个知识限定域;一个所述标注标签包含与至少一个问题样本数据对应的真实答复开始位置以及真实答复结束位置;
将一个所述问题样本数据以及与其对应的所述答案候选语料输入至包含第二初始参数的初始问答模型,在所述答案候选语料中确定与所述问题样本数据对应的预测答复开始位置以及预测答复结束位置;
根据所述真实答复开始位置、真实答复结束位置、预测答复开始位置以及预测答复结束位置,确定所述初始问答模型的答复损失值;
在所述答复损失值未达到预设的收敛条件时,更新迭代所述初始问答模型的第二初始参数,直至所述答复损失值达到所述预设的收敛条件时,将收敛之后的所述初始问答模型记录为所述限定域问答模型。
2.如权利要求1所述的问答数据处理方法,其特征在于,所述对所述待回复问题进行实体识别,以提取所述待回复问题中的至少一个关键实体,包括:
获取实体识别模型,并将所述待回复问题输入至所述实体识别模型中,以通过所述实体识别模型对所述待回复问题进行实体识别之后,将识别到的实体记录为所述关键实体。
3.如权利要求2所述的问答数据处理方法,其特征在于,所述获取实体识别模型之前,还包括:
获取预设样本数据集;所述预设样本数据集中包含至少一个不具有标注标签的实体样本数据;
将所述实体样本数据输入至包含第一初始参数的预设识别模型中,通过所述预设识别模型中的直接预测模块对所述实体样本数据进行标准标签预测,得到标准标签分布以及与所述实体样本数据对应的样本编码向量;
通过所述预设识别模型中的各辅助预测模块,根据所述样本编码向量对所述实体样本数据进行辅助标签预测,得到与各所述辅助预测模块输出的辅助标签分布;
根据各所述辅助标签分布与所述标准标签分布确定所述预设识别模型的总损失值;
在所述总损失值未达到预设的收敛条件时,更新迭代所述预设识别模型的第一初始参数,直至所述总损失值达到所述预设的收敛条件时,将收敛之后的所述预设识别模型记录为所述实体识别模型。
4.如权利要求1所述的问答数据处理方法,其特征在于,所述自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,包括:
将所述关键实体与所述预设问答知识库中的所有知识三元组进行实体匹配,以确定包含与所述关键实体相同的起始实体的知识三元组;所述知识三元组中包含起始实体、实体关系以及终点实体;
将已确定的所有所述知识三元组中的终点实体记录为所述问答实体。
5.如权利要求4所述的问答数据处理方法,其特征在于,所述将所述关键实体与所述预设问答知识库中的所有知识三元组进行实体匹配之前,包括:
获取预设意图集合以及问答知识图谱;
通过预设采样方式自所述预设意图集合中采集起始实体;
以所述起始实体为起点,采用随机游走方法,自所述问答知识图谱中确定与所述起始实体关联的实体关系以及终点实体;
基于所述起始实体、实体关系以及终点实体,构建与所述起始实体对应的知识三元组,并根据各所述知识三元组构建所述预设问答知识库。
6.如权利要求1所述的问答数据处理方法,其特征在于,所述通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子之后,包括:
对所述候选答复句子进行实体结构化处理,以提取所述候选答复句子中的答复起始实体,答复实体关系以及答复终点实体;
根据与同一候选答复句子对应的所述答复起始实体、答复实体关系以及答复终点实体,构建答复三元组;
将与各所述候选答复句子对应的答复三元组存储至所述预设问答知识库中。
7.一种问答数据处理装置,其特征在于,所述问答数据处理装置用于执行如权利要求1至6任一项所述的问答数据处理方法,所述问答数据处理装置包括:
实体识别模块,用于接收包含待回复问题的请求回答指令之后,对所述待回复问题进行实体识别,并将识别到的实体记录为所述待回复问题中的关键实体;
实体子图构建模块,用于自预设问答知识库中,抽取与所述关键实体一阶关联的所有问答实体,并根据所述关键实体以及与其关联的所有所述问答实体构建实体子图;
知识库答复模块,用于根据所述待回复问题以及所述实体子图,判断所述预设问答知识库中是否包含所述待回复问题的答复;
问答模型确定模块,用于若所述预设问答知识库不包含所述待回复问题的答复,则根据所述关键实体确定与所述待回复问题对应的限定域问答模型;
模型答复模块,用于将所述待回复问题输入至所述限定域问答模型中,通过所述限定域问答模型输出与所述待回复问题对应的所有候选答复句子;所有所述候选答复句子的答复置信度均大于或等于预设置信度阈值;
答复句子发送模块,用于根据预设选取规则,自所有所述候选答复句子中选取一个所述候选答复句子作为对所述待回复问题的答复句子,并将所述答复句子发送至预设接收方。
8.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述问答数据处理方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述问答数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110448332.6A CN113157863B (zh) | 2021-04-25 | 2021-04-25 | 问答数据处理方法、装置、计算机设备及存储介质 |
PCT/CN2021/096370 WO2022227162A1 (zh) | 2021-04-25 | 2021-05-27 | 问答数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110448332.6A CN113157863B (zh) | 2021-04-25 | 2021-04-25 | 问答数据处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113157863A CN113157863A (zh) | 2021-07-23 |
CN113157863B true CN113157863B (zh) | 2024-05-28 |
Family
ID=76870207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110448332.6A Active CN113157863B (zh) | 2021-04-25 | 2021-04-25 | 问答数据处理方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113157863B (zh) |
WO (1) | WO2022227162A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113468314B (zh) * | 2021-08-31 | 2022-02-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 关系预测及问答方法、装置、电子设备及计算机存储介质 |
CN115934922B (zh) * | 2023-03-09 | 2024-01-30 | 杭州心识宇宙科技有限公司 | 一种对话业务执行方法、装置、存储介质及电子设备 |
CN116662522B (zh) * | 2023-07-28 | 2023-12-12 | 阿里巴巴达摩院(杭州)科技有限公司 | 问题答案推荐方法、存储介质和电子设备 |
CN116860949B (zh) * | 2023-08-21 | 2024-04-05 | 人民网股份有限公司 | 问答处理方法、装置、***、计算设备及计算机存储介质 |
CN117252260B (zh) * | 2023-09-06 | 2024-06-11 | 山东心法科技有限公司 | 一种基于大语言模型的面试技能训练方法、设备及介质 |
CN116992862B (zh) * | 2023-09-26 | 2024-02-20 | 中科航迈数控软件(深圳)有限公司 | 数控机床异常辅助处理方法、装置、设备及介质 |
CN117520126A (zh) * | 2023-11-14 | 2024-02-06 | 生命奇点(北京)科技有限公司 | 一种电子病历问答模型的评分*** |
CN117766137B (zh) * | 2024-02-22 | 2024-05-28 | 广东省人民医院 | 一种基于强化学习的医疗诊断结果确定方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284363A (zh) * | 2018-12-03 | 2019-01-29 | 北京羽扇智信息科技有限公司 | 一种问答方法、装置、电子设备及存储介质 |
CN109739995A (zh) * | 2018-12-21 | 2019-05-10 | ***股份有限公司 | 一种信息处理方法及装置 |
CN110275949A (zh) * | 2019-06-06 | 2019-09-24 | 深圳中兴飞贷金融科技有限公司 | 用于贷款应用的自动应答方法及*** |
KR20200069200A (ko) * | 2018-12-06 | 2020-06-16 | 한국과학기술원 | 자연언어 텍스트의 어휘 지식 그래프 표현 방법 및 장치 |
CN111506721A (zh) * | 2020-04-22 | 2020-08-07 | 福州大学 | 一种面向领域知识图谱的问答***及构建方法 |
CN111538825A (zh) * | 2020-07-03 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 知识问答方法、装置、***、设备及存储介质 |
CN111914074A (zh) * | 2020-07-16 | 2020-11-10 | 华中师范大学 | 基于深度学习与知识图谱的限定领域对话生成方法及*** |
CN111949787A (zh) * | 2020-08-21 | 2020-11-17 | 平安国际智慧城市科技股份有限公司 | 基于知识图谱的自动问答方法、装置、设备及存储介质 |
CN112148851A (zh) * | 2020-09-09 | 2020-12-29 | 常州大学 | 一种基于知识图谱的医药知识问答***的构建方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678816B2 (en) * | 2017-08-23 | 2020-06-09 | Rsvp Technologies Inc. | Single-entity-single-relation question answering systems, and methods |
CN110837550B (zh) * | 2019-11-11 | 2023-01-17 | 中山大学 | 基于知识图谱的问答方法、装置、电子设备及存储介质 |
CN111259653B (zh) * | 2020-01-15 | 2022-06-24 | 重庆邮电大学 | 基于实体关系消歧的知识图谱问答方法、***以及终端 |
CN112287095A (zh) * | 2020-12-30 | 2021-01-29 | 中航信移动科技有限公司 | 确定问题答案的方法、装置、计算机设备及存储介质 |
-
2021
- 2021-04-25 CN CN202110448332.6A patent/CN113157863B/zh active Active
- 2021-05-27 WO PCT/CN2021/096370 patent/WO2022227162A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284363A (zh) * | 2018-12-03 | 2019-01-29 | 北京羽扇智信息科技有限公司 | 一种问答方法、装置、电子设备及存储介质 |
KR20200069200A (ko) * | 2018-12-06 | 2020-06-16 | 한국과학기술원 | 자연언어 텍스트의 어휘 지식 그래프 표현 방법 및 장치 |
CN109739995A (zh) * | 2018-12-21 | 2019-05-10 | ***股份有限公司 | 一种信息处理方法及装置 |
CN110275949A (zh) * | 2019-06-06 | 2019-09-24 | 深圳中兴飞贷金融科技有限公司 | 用于贷款应用的自动应答方法及*** |
CN111506721A (zh) * | 2020-04-22 | 2020-08-07 | 福州大学 | 一种面向领域知识图谱的问答***及构建方法 |
CN111538825A (zh) * | 2020-07-03 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 知识问答方法、装置、***、设备及存储介质 |
CN111914074A (zh) * | 2020-07-16 | 2020-11-10 | 华中师范大学 | 基于深度学习与知识图谱的限定领域对话生成方法及*** |
CN111949787A (zh) * | 2020-08-21 | 2020-11-17 | 平安国际智慧城市科技股份有限公司 | 基于知识图谱的自动问答方法、装置、设备及存储介质 |
CN112148851A (zh) * | 2020-09-09 | 2020-12-29 | 常州大学 | 一种基于知识图谱的医药知识问答***的构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113157863A (zh) | 2021-07-23 |
WO2022227162A1 (zh) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113157863B (zh) | 问答数据处理方法、装置、计算机设备及存储介质 | |
CN109446302B (zh) | 基于机器学习的问答数据处理方法、装置和计算机设备 | |
CN111062215B (zh) | 基于半监督学习训练的命名实体识别方法和装置 | |
CN110457431B (zh) | 基于知识图谱的问答方法、装置、计算机设备和存储介质 | |
CN108920654B (zh) | 一种问答文本语义匹配的方法和装置 | |
WO2021068321A1 (zh) | 基于人机交互的信息推送方法、装置和计算机设备 | |
CN112287089B (zh) | 用于自动问答***的分类模型训练、自动问答方法及装置 | |
CN111191032B (zh) | 语料扩充方法、装置、计算机设备和存储介质 | |
CN112287069B (zh) | 基于语音语义的信息检索方法、装置及计算机设备 | |
CN112131883B (zh) | 语言模型训练方法、装置、计算机设备和存储介质 | |
CN111783902A (zh) | 数据增广、业务处理方法、装置、计算机设备和存储介质 | |
CN112766319B (zh) | 对话意图识别模型训练方法、装置、计算机设备及介质 | |
WO2020073533A1 (zh) | 自动问答方法及装置 | |
CN110377733B (zh) | 一种基于文本的情绪识别方法、终端设备及介质 | |
CN111859916B (zh) | 古诗关键词提取、诗句生成方法、装置、设备及介质 | |
CN110704586A (zh) | 一种信息处理方法及*** | |
CN113239169A (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
CN112632258A (zh) | 文本数据处理方法、装置、计算机设备和存储介质 | |
CN110377618B (zh) | 裁决结果分析方法、装置、计算机设备和存储介质 | |
CN113343711B (zh) | 工单生成方法、装置、设备及存储介质 | |
CN116150306A (zh) | 问答机器人的训练方法、问答方法及装置 | |
CN117520590B (zh) | 海洋跨模态图文检索方法、***、设备及存储介质 | |
CN114238715A (zh) | 基于社会救助的问答***、构建方法、计算机设备及介质 | |
CN117312535A (zh) | 基于人工智能的问题数据处理方法、装置、设备及介质 | |
CN117093682A (zh) | 意图识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |