CN110019736B - 基于语言模型的问答匹配方法、***、设备及存储介质 - Google Patents

基于语言模型的问答匹配方法、***、设备及存储介质 Download PDF

Info

Publication number
CN110019736B
CN110019736B CN201711482842.5A CN201711482842A CN110019736B CN 110019736 B CN110019736 B CN 110019736B CN 201711482842 A CN201711482842 A CN 201711482842A CN 110019736 B CN110019736 B CN 110019736B
Authority
CN
China
Prior art keywords
question
answer
language model
model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711482842.5A
Other languages
English (en)
Other versions
CN110019736A (zh
Inventor
王颖帅
李晓霞
苗诗雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711482842.5A priority Critical patent/CN110019736B/zh
Publication of CN110019736A publication Critical patent/CN110019736A/zh
Application granted granted Critical
Publication of CN110019736B publication Critical patent/CN110019736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于语言模型的问答匹配方法、***、设备及存储介质，其中方法包括步骤：S1、在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，然后获取答案数据库中与所述目标问题对应的每个答案数据；S2、采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性；S3、采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。本发明通过语言模型和决策树模型，可以快速、准确地定位出用户需求和对答案数据智能排序，从而为用户筛选出最想看的答案，提升用户体验。

Description

基于语言模型的问答匹配方法、***、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种基于语言模型的问答匹配方法、***、设备及存储介质。
背景技术
在当今信息时代，计算机作为信息传递工具已经逐渐在全球范围内普及。随着人工智能的发展，可以让计算机理解语言，并能对用户的对话做出有价值的排序。现有技术中，问答***一般采用以下两种方法来实现问题与答案的匹配：
(1)问题和答案基于规则的匹配
该方法主要包括字符串匹配查找，正则表达式等，通过编写复杂的正则表达式规则模板，模拟出每一个语境对应的关键词进行匹配关联，若提问句不存在对应的匹配规则，就会得到不靠谱的排序；
(2)基于检索的语料***，计算词向量
这种方法通过对句子分词后形成词向量，然后根据相似度排序答案，由于算法并没有真正学习利用语言的内在逻辑关系，有可能有的答案者把问题在答案中复制了一遍，但是基于相似度计算会得到很高的相似度，显然不能保证用户体验。
发明内容
本发明要解决的技术问题是为了克服现有技术中基于规则的问答方法需要复杂的正则表达式且答案可能不靠谱，而基于检索的语料***通过计算问答句之间的词向量相似度，并没有利用语言的内在逻辑关系，答案可能不靠谱的缺陷，提供一种基于语言模型的问答匹配方法、***、设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种基于语言模型的问答匹配方法，其特点是，包括：
S1、在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，然后获取答案数据库中与所述目标问题对应的每个答案数据；
S2、采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性，其中所述行为特征可以为回答状态、回答问题的用户的客户端类型、问题是否被匿名答案、回答的类型、创建问题的答案到现在的时间、回答修改到现在的时间、回答的点赞数、用户收到问题的次数、用户收到问题消息次数、用户点击提问消息次数、用户回答次数、用户被点赞次数和用户最佳回答次数等特征之中的至少一个。
S3、采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
较佳地，所述决策树模型包括GBDT(Gradient Boosting Decision Tree，梯度提升决策树)模型。
较佳地，所述语言模型包括N-Gram模型(N元统计模型)、神经网络语言模型和循环神经网络，所述步骤S2具体包括：
采用所述N-Gram模型将所述答案数据生成相应的答案词向量；
采用所述神经网络语言模型训练所述答案词向量；
采用所述循环神经网络训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
较佳地，所述N-Gram模型包括Skip-Gram模型(给定输入词项来预测上下文的一种语言处理模型)。
较佳地，在步骤S3后，所述问答匹配方法还包括：评估所述排序结果的AUC(Areaunder Curve，是Roc(receiver operating characteristic，接收者操作特征)曲线下的面积)指标和/或评估所述排序结果的曝光点击率。
较佳地，在步骤S3后，所述问答匹配方法还包括：将所述排序结果中排序靠前的若干个答案数据推送至用户。
较佳地，在将所述排序结果中排序靠前的若干个答案数据推送至用户的步骤前，所述问答匹配方法还包括：将所述排序结果进行ABTest测试(A/B测试)。
较佳地，在将所述排序结果中排序靠前的若干个答案数据推送至用户的步骤后，所述问答匹配方法还包括：
接收用户选取指令；
根据所述选取指令从所述排序结果中选取最佳回答；
对所述最佳回答标记标签。
较佳地，步骤S1具体包括：
在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量；
计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度；
将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题；
将答案数据库中与所述目标问题对应的每个答案数据返回。
本发明还提供一种基于语言模型的问答匹配***，其特点是，包括：获取模块、语言模块和决策树模块；
所述获取模块用于在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，还用于获取答案数据库中与所述目标问题对应的每个答案数据；
所述语言模块用于采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性；
所述决策树模块用于采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
较佳地，所述决策树模型包括GBDT模型。
较佳地，所述语言模型包括N-Gram模型、神经网络语言模型和循环神经网络；
所述N-Gram模型用于将所述答案数据生成相应的答案词向量；
所述神经网络语言模型用于训练所述答案词向量；
所述循环神经网络用于训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
较佳地，所述N-Gram模型包括Skip-Gram模型。
较佳地，所述基于语言模型的问答匹配***还包括评估模块，所述评估模块用于在所述决策树模型预测出所述排序结果后，评估所述排序结果的AUC指标和/或评估所述排序结果的曝光点击率。
较佳地，所述基于语言模型的问答匹配***还包括推送模块，所述推送模块用于在所述决策树模型预测出所述排序结果后，将所述排序结果中排序靠前的若干个答案数据推送至用户。
较佳地，所述基于语言模型的问答匹配***还包括ABTest模块，所述ABTest模块用于将所述排序结果进行ABTest测试，然后调用所述推送模块。
较佳地，所述基于语言模型的问答匹配***还包括标签模块，在调用所述推送模块后，所述标签模块用于接收用户选取指令，根据所述选取指令从所述排序结果中选取最佳回答，对所述最佳回答标记标签。
较佳地，所述获取模块具体包括：词向量生成单元、相似度计算单元和数据返回单元；
所述词向量生成单元用于在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量；
所述相似度计算单元用于计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度；
所述数据返回单元用于将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题，还用于将答案数据库中与所述目标问题对应的每个答案数据返回。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点是，所述处理器执行所述程序时实现上述的基于语言模型的问答匹配方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特点是，所述程序被处理器执行时实现上述的基于语言模型的问答匹配方法的步骤。
本发明的积极进步效果在于：本发明提出一种基于语言模型的问答匹配方法、***、设备及存储介质，通过语言模型提取特征，并采用决策树模型根据特征进行预测排序，可以快速、准确地定位出用户需求，对答案数据进行智能排序，为用户筛选出最想看的答案，提升用户体验。
附图说明
图1为本发明的实施例1的基于语言模型的问答匹配方法的流程图。
图2为本发明的实施例1的基于语言模型的问答匹配方法的步骤S101的流程图。
图3为本发明的实施例1的基于语言模型的问答匹配方法的步骤S102的流程图。
图4为本发明的实施例1的基于语言模型的问答匹配方法的语言模型的流程框图。
图5为本发明的实施例2的基于语言模型的问答匹配方法的流程图。
图6为本发明的实施例3的基于语言模型的问答匹配方法的流程图。
图7为本发明的实施例4的基于语言模型的问答匹配***的组成示意图。
图8为本发明的实施例5的基于语言模型的问答匹配***的组成示意图。
图9为本发明的实施例6的基于语言模型的问答匹配***的组成示意图。
图10为本发明的实施例7的电子设备的硬件结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例涉及的基于语言模型的问答匹配方法，包括：
步骤S101、在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，然后获取答案数据库中与所述目标问题对应的每个答案数据。
鉴于信息技术及人工智能的发展，可以通过数据库来满足用户需求，比如一个用户想在电商平台购买某个商品，想了解这个商品一些情况，这时用户可以就这个商品进行发问，然后曾经买过该商品的用户就会收到提问，并可以进行回答，最后答案会返回给提问的用户，这时候用户就可以根据回答者的描述，对自己的购物做出决策。随着提问数据和答案数据的增加，这时就可以将这些提问数据、答案数据相应地建立出提问数据库和答案数据库，这样就将提问问题形成提问数据库内容列表、将答案数据形成答案数据库内容列表，并在提问数据库内容列表中包括该商品相关的一些字段内容，比如用户账号、商品编号、问题最新回复时间、问题答案数、问题是否匿名回答等，以及在答案数据库内容列表中包括针对该商品所作回答的一些字段内容，比如用户答案商品编号、用户答案状态、用户是否匿名回答、用户回答类型、用户回答是否被设置为最佳、用户回答的点赞数等。随着数据库不断积累，可以将用户提问相关的答案返回给提问者。
具体实施时，如图2所示，步骤S101具体可包括：
步骤S101-1、在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量。
这里，可以优选如Skip-Gram模型这样的N-Gram模型作为语言模型生成词向量，因为N-gram模型是基于隐马尔科夫的假设，从而可以将语言的内在逻辑关系保留下来，即假设在一段文本中，第n个单词出现的概率只与前面有限的n-1个词语有关，基于这样的假设，就可以将提问问题生成一个表征该提问问题内容的向量，从而将用户使用的自然语言提出的问题以及回答的答案等文本内容转换为可计算的词向量。
步骤S101-2、计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度；
步骤S101-3、将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题；
步骤S101-4、将答案数据库中与所述目标问题对应的每个答案数据返回。
步骤S102、采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性，其中所述行为特征可以包括回答状态、回答问题的用户的客户端类型、问题是否被匿名答案、回答的类型、创建问题的答案到现在的时间、回答修改到现在的时间、回答的点赞数、用户收到问题的次数、用户收到问题消息次数、用户点击提问消息次数、用户回答次数、用户被点赞次数和用户最佳回答次数等特征之中的至少一个。在具体应用场景的实施时，所述行为特征可以根据应用场景来进行选择设定，各个行为特征的权重值也可以根据实际应用中的重要程度来确定。
具体实施时，为得到这些答案数据与目标问题之间的关联紧密程度，需要采用语言模块对这些答案数据进行特征抽取比如生成文本特征、抽取出答案数据中包含的行为特征，然后还对这些特征加以训练，以获得能更好地表征这些答案数据的特征。这时，如图3所示，步骤S102具体可包括：
步骤S102-1、采用所述N-Gram模型将所述答案数据生成相应的答案词向量，这里的N-Gram模型可优选Skip-Gram模型；
步骤S102-2、采用所述神经网络语言模型训练所述答案词向量；
步骤S102-3、采用所述循环神经网络训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
这里，语言模型的处理流程框图如图4所示，最下面一层词语为将文本拆分后的一个个词语，词语的上一层神经网络是通过共现矩阵计算的词向量，词向量的上一层用一个激活函数比如Sigmoid函数(Sigmoid函数常用作神经网络的阈值函数)来做非线性变换，最后通过Softmax(Softmax为一种函数，常用于作为回归模型)概率预测将输出值归一化成概率，这样模型就可以像一般神经网络一样使用梯度下降算法进行优化，并通过训练得到最优的参数解。
具体实施中，语言模型的主要参数包括：
(1)valid_size：表示测试集中如果计算一个词语的近义词，需要计算的个数是，取值为16；
(2)batch_size：神经网络分批梯度训练时，每一批中需要训练的样本个数，取值为128；
(3)embedding_size：词语转化后的词向量中向量的维度，取值为128；
(4)skip_window：每个词语周围的语境词语个数，取值为1；
(5)num_skips：预测语境词语被使用的次数，取值为2；
(6)神经网络的学习率设为0.05。
S103、采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
具体实施时，决策树模型优选GBDT模型，模型主要参数包括：
(1)算法排序逻辑是分类Classification；
(2)优化器的学习速率是LearningRate＝0.05；
(3)树的迭代棵数是NumIterations＝50；
(4)树的最大深度是MaxDepth＝6；
(5)连续特征的分箱数是：MaxBins＝32。
这样，通过GBDT模型构造多棵树，共同对答案数据进行预测排序。
本实施例中，通过语言模型将文本特征和行为特征结合，然后通过GBDT模型预测出排序结果，使排序结果更符合用户提问，从而可以让用户能看到自己最想看的答案，提高用户体验。
实施例2
如图5所示，在实施例1的基础上，本实施例涉及的基于语言模型的问答匹配方法还包括：
步骤S104、评估所述排序结果的AUC指标和/或评估所述排序结果的曝光点击率。
一方面，通过对所述排序结果进行算法评估，即进行AUC指标评估，可以获知所述基于语言模型的问答匹配方法的效果，以便于对所述基于语言模型的问答匹配方法进行调参训练。经评估，AUC可达到0.836，表明了所述基于语言模型的问答匹配方法取得了非常良好的效果。
另一方，还可通过对所述排序结果进行业务评估，可以获知用户对所述排序结果的曝光点击率，以便于改进所述基于语言模型的问答匹配方法输出的排序结果，提高用户体验。
实施例3
如图6所示，在实施例1的基础上，本实施例涉及的基于语言模型的问答匹配方法还包括：
步骤S105、将所述排序结果进行ABTest测试；
步骤S106、将所述排序结果中排序靠前的若干个答案数据推送至用户；
步骤S107-1、接收用户选取指令；
步骤S107-2、根据所述选取指令从所述排序结果中选取最佳回答；
步骤S107-3、对所述最佳回答标记标签。
通过做ABTest测试以及收集用户使用反馈，便于改进所述基于语言模型的问答匹配方法，可以为用户提供更具参考价值的排序结果，以提高答案数据的点击转化率，从而提高用户使用体验。
实施例4
如图7所述，本实施例涉及的基于语言模型的问答匹配***包括获取模块1、语言模块2和决策树模块3，获取模块1用于在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，还用于获取答案数据库中与所述目标问题对应的每个答案数据，语言模块2用于采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性，决策树模块3用于采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
具体实施时，获取模块1包括词向量生成单元11、相似度计算单元12和数据返回单元13，其中词向量生成单元11用于在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量，相似度计算单元12用于计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度，数据返回单元13用于将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题，还用于将答案数据库中与所述目标问题对应的每个答案数据返回。
具体实施时，决策树模块3中的决策树模型包括GBDT模型。
具体实施时，语言模块2中的语言模型包括N-Gram模型、神经网络语言模型和循环神经网络，其中所述N-Gram模型用于将所述答案数据生成相应的答案词向量，这里可优选Skip-Gram模型；所述神经网络语言模型用于训练所述答案词向量；所述循环神经网络用于训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
实施例5
如图8所示，在实施例4的基础上，本实施例涉及的所述基于语言模型的问答匹配***还包括评估模块4，评估模块4用于在所述决策树模型预测出所述排序结果后，评估所述排序结果的AUC指标和/或评估所述排序结果的曝光点击率。一方面，通过对所述排序结果进行算法评估，即进行AUC指标评估，可以获知所述基于语言模型的问答匹配方法的效果，以便于对所述基于语言模型的问答匹配方法进行调参训练。另一方，还可通过对所述排序结果进行业务评估，可以获知用户对所述排序结果的曝光点击率，以便于改进所述基于语言模型的问答匹配方法输出的排序结果，提高用户体验。
实施例6
如图9所示，在实施例4的基础上，本实施例涉及的所述基于语言模型的问答匹配***还包括ABTest模块5、推送模块6和标签模块7，其中ABTest模块5用于将所述排序结果进行ABTest测试，推送模块6用于将所述排序结果中排序靠前的若干个答案数据推送至用户，标签模块7用于接收用户选取指令，根据所述选取指令从所述排序结果中选取最佳回答，对所述最佳回答标记标签。这样通过做ABTest测试、向用户推荐答案数据以及收集用户对推荐答案数据的标记反馈情况，***就可以将这些标记作为答案数据的重要行为特征加以利用，使得这样的答案数据更具有参考价值，从而便于改进所述基于语言模型的问答匹配***，向用户提供更具参考价值的答案数据，以提高答案数据的点击转化率，提高用户使用体验。
实施例7
本实施例涉及的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1、实施例2或实施例3所述的基于语言模型的问答匹配方法。
图10为本实施例涉及的电子设备的结构示意图。图10示出了适于用来实现本发明实施方式的示例性的电子设备50的框图。图10显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同***组件(包括存储器52和处理器51)的总线53。
总线53包括数据总线、地址总线和控制总线。
存储器52可以包括易失性存储器，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。
存储器52还可以包括具有一组(至少一个)程序模块524的程序工具525，这样的程序模块524包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的基于语言模型的问答匹配方法。
电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，电子设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信，网络适配器56通过总线53与电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本实施例涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1、实施例2或实施例3所述的基于语言模型的问答匹配方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1、实施例2或实施例3所述的基于语言模型的问答匹配方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (20)

1.一种基于语言模型的问答匹配方法，其特征在于，包括：
S1、在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，然后获取答案数据库中与所述目标问题对应的每个答案数据；
S2、采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性；
S3、采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
2.如权利要求1所述的基于语言模型的问答匹配方法，其特征在于，所述决策树模型包括GBDT模型。
3.如权利要求1所述的基于语言模型的问答匹配方法，其特征在于，所述语言模型包括N-Gram模型、神经网络语言模型和循环神经网络，步骤S2具体包括：
采用所述N-Gram模型将所述答案数据生成相应的答案词向量；
采用所述神经网络语言模型训练所述答案词向量；
采用所述循环神经网络训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
4.如权利要求3所述的基于语言模型的问答匹配方法，其特征在于，所述N-Gram模型包括Skip-Gram模型。
5.如权利要求1所述的基于语言模型的问答匹配方法，其特征在于，在步骤S3后，所述问答匹配方法还包括：评估所述排序结果的AUC指标和/或评估所述排序结果的曝光点击率。
6.如权利要求1所述的基于语言模型的问答匹配方法，其特征在于，在步骤S3后，所述问答匹配方法还包括：将所述排序结果中排序靠前的若干个答案数据推送至用户。
7.如权利要求6所述的基于语言模型的问答匹配方法，其特征在于，在将所述排序结果中排序靠前的若干个答案数据推送至用户的步骤前，所述问答匹配方法还包括：将所述排序结果进行ABTest测试。
8.如权利要求6所述的基于语言模型的问答匹配方法，其特征在于，在将所述排序结果中排序靠前的若干个答案数据推送至用户的步骤后，所述问答匹配方法还包括：
接收用户选取指令；
根据所述选取指令从所述排序结果中选取最佳回答；
对所述最佳回答标记标签。
9.如权利要求1所述的基于语言模型的问答匹配方法，其特征在于，步骤S1具体包括：
在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量；
计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度；
将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题；
将答案数据库中与所述目标问题对应的每个答案数据返回。
10.一种基于语言模型的问答匹配***，其特征在于，包括：获取模块、语言模块和决策树模块；
所述获取模块用于在接收到提问问题后，从提问数据库中获取与所述提问问题匹配的目标问题，还用于获取答案数据库中与所述目标问题对应的每个答案数据；
所述语言模块用于采用语言模型对所述答案数据进行处理，生成相应的文本特征及行为特征，所述行为特征用于表征所述答案数据的状态和属性；
所述决策树模块用于采用决策树模型计算所述文本特征和所述行为特征，并根据计算结果预测所述答案数据的排序结果。
11.如权利要求10所述的基于语言模型的问答匹配***，其特征在于，所述决策树模型包括GBDT模型。
12.如权利要求10所述的基于语言模型的问答匹配***，其特征在于，所述语言模型包括N-Gram模型、神经网络语言模型和循环神经网络；
所述N-Gram模型用于将所述答案数据生成相应的答案词向量；
所述神经网络语言模型用于训练所述答案词向量；
所述循环神经网络用于训练所述神经网络语言模型输出的结果以获得所述文本特征及所述行为特征。
13.如权利要求12所述的基于语言模型的问答匹配***，其特征在于，所述N-Gram模型包括Skip-Gram模型。
14.如权利要求10所述的基于语言模型的问答匹配***，其特征在于，所述基于语言模型的问答匹配***还包括评估模块，所述评估模块用于在所述决策树模型预测出所述排序结果后，评估所述排序结果的AUC指标和/或评估所述排序结果的曝光点击率。
15.如权利要求10所述的基于语言模型的问答匹配***，其特征在于，所述基于语言模型的问答匹配***还包括推送模块，所述推送模块用于在所述决策树模型预测出所述排序结果后，将所述排序结果中排序靠前的若干个答案数据推送至用户。
16.如权利要求15所述的基于语言模型的问答匹配***，其特征在于，所述基于语言模型的问答匹配***还包括ABTest模块，所述ABTest模块用于将所述排序结果进行ABTest测试，然后调用所述推送模块。
17.如权利要求15所述的基于语言模型的问答匹配***，其特征在于，所述基于语言模型的问答匹配***还包括标签模块，在调用所述推送模块后，所述标签模块用于接收用户选取指令，根据所述选取指令从所述排序结果中选取最佳回答，对所述最佳回答标记标签。
18.如权利要求10所述的基于语言模型的问答匹配***，其特征在于，所述获取模块具体包括：词向量生成单元、相似度计算单元和数据返回单元；
所述词向量生成单元用于在接收到所述提问问题后，采用语言模型对所述提问问题进行处理，生成所述提问问题的问句词向量；
所述相似度计算单元用于计算所述问句词向量与提问数据库中每一问题对应的词向量的相似度；
所述数据返回单元用于将提问数据库中与所述问句词向量的相似度最大的词向量对应的问题作为目标问题，还用于将答案数据库中与所述目标问题对应的每个答案数据返回。
19.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的基于语言模型的问答匹配方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9任一项所述的基于语言模型的问答匹配方法的步骤。
CN201711482842.5A 2017-12-29 2017-12-29 基于语言模型的问答匹配方法、***、设备及存储介质 Active CN110019736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711482842.5A CN110019736B (zh) 2017-12-29 2017-12-29 基于语言模型的问答匹配方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711482842.5A CN110019736B (zh) 2017-12-29 2017-12-29 基于语言模型的问答匹配方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110019736A CN110019736A (zh) 2019-07-16
CN110019736B true CN110019736B (zh) 2021-10-01

Family

ID=67187166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711482842.5A Active CN110019736B (zh) 2017-12-29 2017-12-29 基于语言模型的问答匹配方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110019736B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570838B (zh) * 2019-08-02 2022-06-07 北京葡萄智学科技有限公司 语音流处理方法和装置
CN110569350B (zh) * 2019-08-08 2022-08-09 河北省讯飞人工智能研究院 法条推荐方法、设备和存储介质
WO2021051404A1 (en) * 2019-09-20 2021-03-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for auxiliary reply
CN111078972B (zh) * 2019-11-29 2023-06-16 支付宝(杭州)信息技术有限公司 提问行为数据的获取方法、装置和服务器
CN111026854A (zh) * 2019-12-05 2020-04-17 电子科技大学广东电子信息工程研究院 一种答案质量的评估方法
CN111368064B (zh) * 2020-03-26 2023-04-07 深圳平安医疗健康科技服务有限公司 调查信息处理方法、装置、设备及存储介质
CN113204623A (zh) * 2021-05-28 2021-08-03 中国工商银行股份有限公司 问答方法及装置
CN117290694B (zh) * 2023-11-24 2024-03-15 北京并行科技股份有限公司 问答***评估方法、装置、计算设备及存储介质
CN117609470A (zh) * 2023-12-08 2024-02-27 中科南京信息高铁研究院 基于大语言模型和知识图谱的问答***、其构建方法及智能化数据治理平台
CN117473071B (zh) * 2023-12-27 2024-04-05 珠海格力电器股份有限公司 数据检索方法、装置、设备及计算机可读介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118554A (zh) * 2007-09-14 2008-02-06 中兴通讯股份有限公司 智能交互式问答***及其处理方法
CN101257512A (zh) * 2008-02-02 2008-09-03 黄伟才 用于问答***的问答匹配方法及问答方法和***
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和***
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答***
CN101656799A (zh) * 2008-08-20 2010-02-24 阿鲁策株式会社 自动会话***以及会话情节编辑装置
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN102034475A (zh) * 2010-12-08 2011-04-27 中国科学院自动化研究所 一种运用计算机对开放式短对话进行交互式评分的方法
CN102255788A (zh) * 2010-05-19 2011-11-23 北京启明星辰信息技术股份有限公司 报文分类决策构建***及方法、报文分类***及方法
CN102456073A (zh) * 2011-11-03 2012-05-16 中国人民解放军国防科学技术大学 一种部分最值查询方法
CN102760128A (zh) * 2011-04-26 2012-10-31 华东师范大学 一种基于智能客服机器人交互的电信领域套餐推荐方法
CN104572868A (zh) * 2014-12-18 2015-04-29 清华大学 基于问答***的信息匹配的方法和装置
CN104636456A (zh) * 2015-02-03 2015-05-20 大连理工大学 一种基于词向量的问题路由方法
CN107463699A (zh) * 2017-08-15 2017-12-12 济南浪潮高新科技投资发展有限公司 一种基于seq2seq模型的实现问答机器人的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060662A1 (en) * 2003-08-22 2005-03-17 Thomas Soares Process for creating service action data structures
US9703536B2 (en) * 2014-08-11 2017-07-11 International Business Machines Corporation Debugging code using a question and answer system based on documentation and code change records

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377777A (zh) * 2007-09-03 2009-03-04 北京百问百答网络技术有限公司 一种自动问答方法和***
CN101118554A (zh) * 2007-09-14 2008-02-06 中兴通讯股份有限公司 智能交互式问答***及其处理方法
CN101257512A (zh) * 2008-02-02 2008-09-03 黄伟才 用于问答***的问答匹配方法及问答方法和***
CN101656799A (zh) * 2008-08-20 2010-02-24 阿鲁策株式会社 自动会话***以及会话情节编辑装置
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN101566998A (zh) * 2009-05-26 2009-10-28 华中师范大学 一种基于神经网络的中文问答***
CN102255788A (zh) * 2010-05-19 2011-11-23 北京启明星辰信息技术股份有限公司 报文分类决策构建***及方法、报文分类***及方法
CN102034475A (zh) * 2010-12-08 2011-04-27 中国科学院自动化研究所 一种运用计算机对开放式短对话进行交互式评分的方法
CN102760128A (zh) * 2011-04-26 2012-10-31 华东师范大学 一种基于智能客服机器人交互的电信领域套餐推荐方法
CN102456073A (zh) * 2011-11-03 2012-05-16 中国人民解放军国防科学技术大学 一种部分最值查询方法
CN104572868A (zh) * 2014-12-18 2015-04-29 清华大学 基于问答***的信息匹配的方法和装置
CN104636456A (zh) * 2015-02-03 2015-05-20 大连理工大学 一种基于词向量的问题路由方法
CN107463699A (zh) * 2017-08-15 2017-12-12 济南浪潮高新科技投资发展有限公司 一种基于seq2seq模型的实现问答机器人的方法

Also Published As

Publication number Publication date
CN110019736A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110019736B (zh) 基于语言模型的问答匹配方法、***、设备及存储介质
US11120801B2 (en) Generating dialogue responses utilizing an independent context-dependent additive recurrent neural network
US11113479B2 (en) Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query
CN110147551B (zh) 多类别实体识别模型训练、实体识别方法、服务器及终端
US20200050942A1 (en) Deep learning model for cloud based technical support automation
US20190164084A1 (en) Method of and system for generating prediction quality parameter for a prediction model executed in a machine learning algorithm
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
US20170351962A1 (en) Predicting user question in question and answer system
CN111444320A (zh) 文本检索方法、装置、计算机设备和存储介质
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN111783993A (zh) 智能标注方法、装置、智能平台及存储介质
US11874798B2 (en) Smart dataset collection system
CN111339292A (zh) 文本分类网络的训练方法、***、设备及存储介质
US11797281B2 (en) Multi-language source code search engine
CN111563158A (zh) 文本排序方法、排序装置、服务器和计算机可读存储介质
US20190251473A1 (en) Cognitive System Virtual Corpus Training and Utilization
US20240160642A1 (en) Systems and methods for categorization of ingested database entries to determine topic frequency
CN112069799A (zh) 基于依存句法的数据增强方法、设备和可读存储介质
CN111078881B (zh) 细粒度情感分析方法、***、电子设备和存储介质
CN109299459B (zh) 一种单语义监督的词向量训练方法及装置
CN112330387B (zh) 一种应用于看房软件的虚拟经纪人
CN111445271A (zh) 模型生成方法、作弊酒店的预测方法、***、设备和介质
CN109271633B (zh) 一种单语义监督的词向量训练方法及装置
CN110851600A (zh) 基于深度学习的文本数据处理方法及装置
Liu Python Machine Learning By Example: Implement machine learning algorithms and techniques to build intelligent systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant