CN108280218A - 一种基于检索和生产混合问答的流程*** - Google Patents

一种基于检索和生产混合问答的流程*** Download PDF

Info

Publication number
CN108280218A
CN108280218A CN201810123117.7A CN201810123117A CN108280218A CN 108280218 A CN108280218 A CN 108280218A CN 201810123117 A CN201810123117 A CN 201810123117A CN 108280218 A CN108280218 A CN 108280218A
Authority
CN
China
Prior art keywords
question
retrieval
model
answer
grader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810123117.7A
Other languages
English (en)
Inventor
王春辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yyi (beijing) Technology Co Ltd
Original Assignee
Yyi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yyi (beijing) Technology Co Ltd filed Critical Yyi (beijing) Technology Co Ltd
Priority to CN201810123117.7A priority Critical patent/CN108280218A/zh
Publication of CN108280218A publication Critical patent/CN108280218A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于检索和生产混合问答的流程***，包括分类器、候选集、数据库和模型筛选。本发明的有益效果是：分类器能够感知问题的上下文，能够对问题的分类具有极高的准确率，分类器使用基于深度学习的分类模型和正则表达式识别相结合的方法进行问题的分类，能够提取问题中的重要属性调用相应的api进行实时查询，候选集检索***的问题匹配过程中建立倒排索引进行原语句检索和同义词的查询扩展检索，能够搜索出来与问题最相近的句子，解决了检索***搜索不精确的问题，对话模型使用seq2seq模型进行对话回复的生成，并在其中加入了Attention机制，同时也在解码端加入了BeamSearch机制，生成的句子更加具有逻辑性和结构性，增加了回复的多样性。

Description

一种基于检索和生产混合问答的流程***
技术领域
本发明涉及一种流程***，具体为一种基于检索和生产混合问答的流程 ***，属于信息检索处理技术领域。
背景技术
近些年来，问答机器人由于其广泛的应用场景和巨大的商业价值，受到 越来越多的广大科技型公司和科研机构的重视，因此也出现了很多优秀的产 品，如微软的小冰，apple的Siri，***的谷歌助手。不像其他的传统电 子app，人们不需要输入固定的命令语言(比如：“提交”、“购买”)，而可以 使用人类语言与app进行交流。
问答***一直以来被认为是人工智能领域最难的问题之一。但是随着最 近几年来各种问答社区和社交网站的出现，对话语料的数量出现了***性的 增长，并且硬件的发展使得计算机的计算力大大提高，这一切都为问答*** 的发展提供了新的机遇。
问答***可以分为基于垂直领域和开放领域两种，开放领域主要是闲聊 类，垂直领域主要是助手类，当前建立对话机器人的主流技术主要是基于检 索模型和生成模型两种。
在检索模型中，***会根据所给的问题从Question-Answer数据库中找 寻与该问题语义最相近的问句，然后返回该问句对应的答案，该方法的主要 问题有两个：第一个是数据库中Question-Answer对数量有限，有可能检索 不到用户提出的问题的答案。第二个问题是Question-Answer对是固定的， 可能无法根据用户提出的问题得到完全对应的答案。
在生成模型中，对话***会首先理解用户提出的问题，然后逐字的生成 对应于该问题的答案。目前主流的方法是深度学习中Seq2Seq模型，该模型 先用encoder端将问句编码为一个向量表示，再由decoder端将该向量表示 解码为一个回复，该模型的主要问题是有可能生成的答案很容易是通用的、 单调的回复(例如：“我不知道”、“好的”等)，这样的回复包含的信息较少， 没有实质性的意义。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于检索和生产混合 问答的流程***。
本发明通过以下技术方案来实现上述目的：一种基于检索和生产混合问 答的流程***，包括
分类器，对一个query进行分类。
候选集，对于未能进行分类的问题，在检索***找寻与该问题最接近的 问题，筛选出来的候选句子集。
数据库，用于储存各种问题问句，便于找寻与所提问题语义最相近的问 句
模型筛选，调用生成***生成对应答案给出回复。
其中，所述分类器将所提问题分为“天气”、“新闻”、“笑话”、“航 班/高铁”，“附近(地理位置)”和“其他”六种类型，所述候选集使用基 于循环神经网络的自编码模型来得到每个句子的向量表达，所述候选集使用 BM25评分方法进行问题与数据库内的句子进行相似度计算，所述模型筛选使 用了基于Seq2Seq的模型进行生成***的搭建。
一种基于检索和生产混合问答的流程***，主要包括以下步骤：
步骤A,使用了基于卷积神经网络(CNN)的分类模型和基于正则表达式两 种方法来构建query分类器。
步骤B，在建立检索***时，选择了key-value内存数据库redis进行倒 排索引搭建和问答语料存储，使用python实现了普通检索、扩展查询、BM25 模型的相似度评价等功能，并使用Tensorflow训练了自编码模型来解决检索 时句子的语义识别问题。
步骤C，选择开源框架Tensorflow进行对话模型以建立对话生成***，Tensorflow是***开发的人工智能框架平台，可用于图像和自然语言处理 等多项深度学习领域。
优选的，为了能够对问题的分类具有极高的准确率，所述分类器能够感 知问题的上下文，通过与问题的上下文结合。
优选的，为了能够提取问题中的重要属性进行实时查询，所述分类器使 用基于深度学习的分类模型和正则表达式识别相结合的方法进行问题的分类。
优选的，为了解决检索***搜索不精确的问题，所述候选集检索***的 问题匹配过程中建立倒排索引进行原语句检索和同义词的查询扩展检索。
优选的，为了使生成的句子更加具有逻辑性和结构性，所述步骤C中， 对话模型使用seq2seq模型进行对话回复的生成，并在其中加入了Attention 机制，同时也在解码端加入了BeamSearch机制。
本发明的有益效果是：该基于检索和生产混合问答的流程***设计合理， 分类器能够感知问题的上下文，通过与问题的上下文结合，能够对问题的分 类具有极高的准确率，分类器使用基于深度学习的分类模型和正则表达式识 别相结合的方法进行问题的分类，能够提取问题中的重要属性调用相应的api 进行实时查询，具有较强的实时性，候选集检索***的问题匹配过程中建立 倒排索引进行原语句检索和同义词的查询扩展检索，能够搜索出来与问题最 相近的句子，解决了检索***搜索不精确的问题，步骤C中，对话模型使用 seq2seq模型进行对话回复的生成，并在其中加入了Attention机制，同时也 在解码端加入了BeamSearch机制，加入了Attention机制和BeamSearch的 Seq2Seq模型生成的句子更加具有逻辑性和结构性，增加了回复的多样性。
附图说明
图1为本发明结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种基于检索和生产混合问答的流程***，包括
分类器，对一个query进行分类。
候选集，对于未能进行分类的问题，在检索***找寻与该问题最接近的 问题，筛选出来的候选句子集。
数据库，用于储存各种问题问句，便于找寻与所提问题语义最相近的问 句
模型筛选，调用生成***生成对应答案给出回复。
其中，所述分类器将所提问题分为“天气”、“新闻”、“笑话”、“航 班/高铁”，“附近(地理位置)”和“其他”六种类型，所述候选集使用基 于循环神经网络的自编码模型来得到每个句子的向量表达，所述候选集使用 BM25评分方法进行问题与数据库内的句子进行相似度计算，所述模型筛选使 用了基于Seq2Seq的模型进行生成***的搭建。
一种基于检索和生产混合问答的流程***，主要包括以下步骤：
步骤A,使用了基于卷积神经网络(CNN)的分类模型和基于正则表达式两 种方法来构建query分类器。
步骤B，在建立检索***时，选择了key-value内存数据库redis进行倒 排索引搭建和问答语料存储，使用python实现了普通检索、扩展查询、BM25 模型的相似度评价等功能，并使用Tensorflow训练了自编码模型来解决检索 时句子的语义识别问题。
步骤C，选择开源框架Tensorflow进行对话模型以建立对话生成***，Tensorflow是***开发的人工智能框架平台，可用于图像和自然语言处理 等多项深度学习领域。
所述分类器能够感知问题的上下文，通过与问题的上下文结合，能够对 问题的分类具有极高的准确率，所述分类器使用基于深度学习的分类模型和 正则表达式识别相结合的方法进行问题的分类，能够提取问题中的重要属性 调用相应的api进行实时查询，具有较强的实时性，所述候选集检索***的 问题匹配过程中建立倒排索引进行原语句检索和同义词的查询扩展检索，能 够搜索出来与问题最相近的句子，解决了检索***搜索不精确的问题，所述 步骤C中，对话模型使用seq2seq模型进行对话回复的生成，并在其中加入了Attention机制，同时也在解码端加入了BeamSearch机制，加入了Attention机制和BeamSearch的Seq2Seq模型生成的句子更加具有逻辑性和 结构性，增加了回复的多样性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实 现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。 不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实 施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也 可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于检索和生产混合问答的流程***，其特征在于：包括
分类器，对一个query进行分类；
候选集，对于未能进行分类的问题，在检索***找寻与该问题最接近的问题，筛选出来的候选句子集；
数据库，用于储存各种问题问句，便于找寻与所提问题语义最相近的问句；
模型筛选，调用生成***生成对应答案给出回复；
其中，所述分类器将所提问题分为“天气”、“新闻”、“笑话”、“航班/高铁”，“附近”和“其他”六种类型，所述候选集使用基于循环神经网络的自编码模型来得到每个句子的向量表达，所述候选集使用BM25评分方法进行问题与数据库内的句子进行相似度计算，所述模型筛选使用了基于Seq2Seq的模型进行生成***的搭建。
2.根据权利要求1所述的一种基于检索和生产混合问答的流程***，其特征在于，所述流程***包括以下步骤：
步骤A，使用了基于卷积神经网络的分类模型和基于正则表达式两种方法来构建query分类器；
步骤B，在建立检索***时，选择了key-value内存数据库redis进行倒排索引搭建和问答语料存储，使用python实现了普通检索、扩展查询、BM25模型的相似度评价功能，并使用Tensorflow训练了自编码模型来解决检索时句子的语义识别问题；
步骤C，选择开源框架Tensorflow进行对话模型以建立对话生成***，可用于图像和自然语言处理多项深度学习领域。
3.根据权利要求1所述的一种基于检索和生产混合问答的流程***，其特征在于：所述分类器能够感知问题的上下文。
4.根据权利要求1所述的一种基于检索和生产混合问答的流程***，其特征在于：所述分类器使用基于深度学习的分类模型和正则表达式识别相结合的方法进行问题的分类。
5.根据权利要求1所述的一种基于检索和生产混合问答的流程***，其特征在于：所述候选集检索***的问题匹配过程中建立倒排索引进行原语句检索和同义词的查询扩展检索。
6.根据权利要求2所述的一种基于检索和生产混合问答的流程***，其特征在于：所述步骤C中，对话模型使用seq2seq模型进行对话回复的生成，并在其中加入了Attention机制，同时也在解码端加入了BeamSearch机制。
CN201810123117.7A 2018-02-07 2018-02-07 一种基于检索和生产混合问答的流程*** Pending CN108280218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810123117.7A CN108280218A (zh) 2018-02-07 2018-02-07 一种基于检索和生产混合问答的流程***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810123117.7A CN108280218A (zh) 2018-02-07 2018-02-07 一种基于检索和生产混合问答的流程***

Publications (1)

Publication Number Publication Date
CN108280218A true CN108280218A (zh) 2018-07-13

Family

ID=62807935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810123117.7A Pending CN108280218A (zh) 2018-02-07 2018-02-07 一种基于检索和生产混合问答的流程***

Country Status (1)

Country Link
CN (1) CN108280218A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN109657126A (zh) * 2018-12-17 2019-04-19 北京百度网讯科技有限公司 答案生成方法、装置、设备和介质
CN109918484A (zh) * 2018-12-28 2019-06-21 中国人民大学 对话生成方法和装置
CN110297895A (zh) * 2019-05-24 2019-10-01 山东大学 一种基于自由文本知识的对话方法及***
CN110362651A (zh) * 2019-06-11 2019-10-22 华南师范大学 检索和生成相结合的对话方法、***、装置和存储介质
CN111090664A (zh) * 2019-07-18 2020-05-01 重庆大学 基于神经网络的高仿人多模式对话方法
CN111966782A (zh) * 2020-06-29 2020-11-20 百度在线网络技术（北京）有限公司 多轮对话的检索方法、装置、存储介质及电子设备
CN113220856A (zh) * 2021-05-28 2021-08-06 天津大学 一种基于中文预训练模型的多轮对话***
US20210365810A1 (en) * 2020-05-12 2021-11-25 Bayestree Intelligence Pvt Ltd. Method of automatically assigning a classification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1928864A (zh) * 2006-09-22 2007-03-14 浙江大学 一种基于问答库的中文自然语言问答方法
CN101373532A (zh) * 2008-07-10 2009-02-25 昆明理工大学 旅游领域faq中文问答***实现方法
CN104050256A (zh) * 2014-06-13 2014-09-17 西安蒜泥电子科技有限责任公司 基于主动学习的问答方法及采用该方法的问答***
CN105824933A (zh) * 2016-03-18 2016-08-03 苏州大学 基于主述位的自动问答***及其实现方法
CN107463699A (zh) * 2017-08-15 2017-12-12 济南浪潮高新科技投资发展有限公司 一种基于seq2seq模型的实现问答机器人的方法
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1928864A (zh) * 2006-09-22 2007-03-14 浙江大学 一种基于问答库的中文自然语言问答方法
CN101373532A (zh) * 2008-07-10 2009-02-25 昆明理工大学 旅游领域faq中文问答***实现方法
CN104050256A (zh) * 2014-06-13 2014-09-17 西安蒜泥电子科技有限责任公司 基于主动学习的问答方法及采用该方法的问答***
CN105824933A (zh) * 2016-03-18 2016-08-03 苏州大学 基于主述位的自动问答***及其实现方法
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107463699A (zh) * 2017-08-15 2017-12-12 济南浪潮高新科技投资发展有限公司 一种基于seq2seq模型的实现问答机器人的方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657041A (zh) * 2018-12-04 2019-04-19 南京理工大学 基于深度学习的问题自动生成方法
CN109657041B (zh) * 2018-12-04 2023-09-29 南京理工大学 基于深度学习的问题自动生成方法
CN109657126A (zh) * 2018-12-17 2019-04-19 北京百度网讯科技有限公司 答案生成方法、装置、设备和介质
CN109657126B (zh) * 2018-12-17 2021-03-23 北京百度网讯科技有限公司 答案生成方法、装置、设备和介质
CN109918484A (zh) * 2018-12-28 2019-06-21 中国人民大学 对话生成方法和装置
CN109918484B (zh) * 2018-12-28 2020-12-15 中国人民大学 对话生成方法和装置
CN110297895A (zh) * 2019-05-24 2019-10-01 山东大学 一种基于自由文本知识的对话方法及***
CN110297895B (zh) * 2019-05-24 2021-09-17 山东大学 一种基于自由文本知识的对话方法及***
CN110362651A (zh) * 2019-06-11 2019-10-22 华南师范大学 检索和生成相结合的对话方法、***、装置和存储介质
CN111090664A (zh) * 2019-07-18 2020-05-01 重庆大学 基于神经网络的高仿人多模式对话方法
US20210365810A1 (en) * 2020-05-12 2021-11-25 Bayestree Intelligence Pvt Ltd. Method of automatically assigning a classification
CN111966782A (zh) * 2020-06-29 2020-11-20 百度在线网络技术（北京）有限公司 多轮对话的检索方法、装置、存储介质及电子设备
CN111966782B (zh) * 2020-06-29 2023-12-12 百度在线网络技术（北京）有限公司 多轮对话的检索方法、装置、存储介质及电子设备
US11947578B2 (en) 2020-06-29 2024-04-02 Baidu Online Network Technology (Beijing) Co., Ltd. Method for retrieving multi-turn dialogue, storage medium, and electronic device
CN113220856A (zh) * 2021-05-28 2021-08-06 天津大学 一种基于中文预训练模型的多轮对话***

Similar Documents

Publication Publication Date Title
CN108280218A (zh) 一种基于检索和生产混合问答的流程***
CN109284357B (zh) 人机对话方法、装置、电子设备及计算机可读介质
WO2021159632A1 (zh) 智能问答方法、装置、计算机设备及计算机存储介质
US10649990B2 (en) Linking ontologies to expand supported language
CN104461525B (zh) 一种可自定义的智能咨询平台生成***
CN110209897B (zh) 智能对话方法、装置、存储介质及设备
CN109960786A (zh) 基于融合策略的中文词语相似度计算方法
CN110096567B (zh) 基于qa知识库推理的多轮对话回复选择方法、***
CN110046236A (zh) 一种非结构化数据的检索方法及装置
CN111353049A (zh) 数据更新方法、装置、电子设备及计算机可读存储介质
CN112632239A (zh) 基于人工智能技术的类脑问答***
Dsouza et al. Chat with bots intelligently: A critical review & analysis
CN110377752A (zh) 一种应用于政务大厅运营的知识库***
CN116932733A (zh) 基于生成式大语言模型的信息推荐方法及相关装置
CN112364148A (zh) 一种基于深度学习方法的生成型聊天机器人
CN116541493A (zh) 基于意图识别的交互应答方法、装置、设备、存储介质
CN117251552A (zh) 基于大型语言模型的对话处理方法、装置及电子设备
KR20180116103A (ko) 온톨로지 대화 관계망을 이용한 연속 대화 방법 및 시스템
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
CN113065324A (zh) 一种基于结构化三元组和锚定模板的文本生成方法及装置
CN111767386A (zh) 对话处理方法、装置、电子设备及计算机可读存储介质
JP6034459B1 (ja) 対話インターフェース
CN115378890B (zh) 信息输入方法、装置、存储介质及计算机设备
CN114330285B (zh) 语料处理方法、装置、电子设备及计算机可读存储介质
CN109002498A (zh) 人机对话方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713