CN114969291B - 一种自动问答方法及装置 - Google Patents
一种自动问答方法及装置 Download PDFInfo
- Publication number
- CN114969291B CN114969291B CN202210610581.5A CN202210610581A CN114969291B CN 114969291 B CN114969291 B CN 114969291B CN 202210610581 A CN202210610581 A CN 202210610581A CN 114969291 B CN114969291 B CN 114969291B
- Authority
- CN
- China
- Prior art keywords
- answer
- question
- target
- matching
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种自动问答方法及装置,通过接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。通过本申请可以精准的识别出无法回答的问题或不相关的问题,提高了工作效率,也使得该***提供给客户的答案更加准确。
Description
技术领域
本发明涉及定位技术领域,具体涉及一种自动问答方法及装置。
背景技术
随着信息技术、互联网的快速发展,网络资源不断的丰富了人们的生活,人们获取信息的方式也越来越多、越来越方便。目前,智能问答***已在服务行业得到广泛的应用。智能问答***能够提高服务业的工作效率、及时的满足客户的需求,极大的提高了我们的生活质量。由于问答***缺乏人类的常识和推理能力,所以目前的问答***在面对客户提出一些无法回答的问题或者是不相关问题时,常常靠猜测来给出不可靠或不准确的答案。近些年有的学者将知识库引入到问答***中试图解决问题***的这一缺陷,虽然这一方法更够更加准确的提供给用户更准确、有价值的答案,但是这仅仅对于提高文本匹配模型的精度有帮助,不能识别客户提出的一些无法回答的问题。
传统的方法主要是利用相似度理论方法进行文本匹配,文本匹配模型与相似度理论是问答***的核心。文本匹配模型分为基于交互的匹配模型和基于表示的文本匹配模型。
但存在一定的缺陷,基于表示的文本匹配模型容易失去语义焦点,基于交互的文本匹配往往会忽视全局的语义信息。再加上文本固有的长距离依赖性和多义性,不能有效的捕获文本的上下文信息和隐式语义信息,所以目前的匹配模型的精度都较低。
发明内容
鉴于所述问题,提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种自动问答方法及装置,包括:
一种自动问答方法,所述方法用于生成用户提出目标问题的目标答案,其特征在于,包括:
接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
优选地,所述依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集的步骤,包括:
对所述目标问题进行关键词提取,并依据所述关键词生成所述目标问题的领域;
依据所述目标问题的领域和所述关键词匹配相对应的信息生成所述第一问题集。
优选地,所述确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值的步骤,包括:
将所述目标问题的文本进行向量化生成目标问题向量;
将所述第一问题集中的第一问题的文本分别进行向量化生成相对应的第一问题向量;
将所述目标问题进行编码生成目标问题编码;
将所述第一问题集中的第一问题分别进行编码生成相对应的第一问题编码;
依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量;
依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接生成相对应的第二拼接向量;
依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵;
依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵;
依据所述第一池化矩阵和所述相对应的第二池化矩阵分别进行相似度匹配生成相对应的相似度值。
优选地,所述依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵的步骤,包括:
依据所述第一拼接向量和所述目标问题编码进行融合生成第一融合层;
依据所述第一融合层进行池化生成第一池化矩阵。
优选地,所述依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵的步骤,包括:
依据所述相对应的第二拼接向量和所述相对应的第一问题编码进行融合生成相对应的第二融合层;
依据所述相对应的第二融合层进行池化生成相对应的第二池化矩阵。
优选地,所述确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值的步骤,包括:
将所述目标问题的文本进行向量化生成所述匹配目标问题向量;
将所述第一答案集中的第一答案的文本分别进行向量化生成相对应的第一答案向量;
将所述目标问题进行编码生成所述匹配目标问题编码;
将所述第一答案集中的第一答案分别进行编码生成相对应的第一答案编码;
依据所述匹配目标问题向量和所述匹配目标问题编码进行拼接生成匹配第一拼接向量;
依据所述相对应的第一答案向量和所述相对应的第一答案编码分别进行拼接生成相对应的第一答案拼接向量;
依据所述匹配第一拼接向量和所述匹配目标问题编码生成匹配第一池化矩阵;
依据所述相对应的第一答案拼接向量和所述相对应的第一答案编码生成相对应的第一答案池化矩阵;
依据所述匹配第一池化矩阵和所述相对应的第一答案池化矩阵分别进行相似度匹配生成相对应的第一问答匹配值。
优选地,所述依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案的步骤,包括:
选取所述第一答案集中第一问答匹配值最高的第一答案作为第一最佳答案,并选取所述第二答案集中第二问答匹配值最高的第二答案作为第二最佳答案。
为实现本申请还包括一种自动问答装置,所述装置用于通过目标无人机的拍摄图片来对目标无人机进行定位,包括:
第一问题集模块,用于接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
相似度值模块,用于确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
第二答案集模块,用于当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
第一问答匹配值模块,用于确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
第二问答匹配值模块,用于确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
第二最佳答案模块,用于依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
目标答案模块,用于依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
为实现本申请还包括一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如所述的自动问答方法的步骤。
为实现本申请还包括一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如所述的自动问答方法的步骤。
本申请具有以下优点:
在本申请的实施例中,通过接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。通过本申请可以精准的识别出无法回答的问题或不相关的问题,提高了工作效率,也使得该***提供给客户的答案更加准确。在问题生成***中加入相似性机制有效的判断客户的问题,提高了问答***阶段的答案匹配精度。本申请基于交互的匹配模型比传统的匹配模型得到更高的准确度;基于交互的匹配模型比现有最优的基于表示的BERT模型更简洁、性能更优、模型参数较少、运行效率更高。本申请引入了一个问题重生机制、共注意力机制增强了问句对和问答对之间的互信息,提高了深度交互文本匹配模型的性能。将原始问题与答案的匹配结果、重生问题与答案的匹配结果结合得到最终的答案匹配使得客户得到的答案更加精准、有效。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种自动问答方法的步骤流程图;
图2是本申请一实施例提供的一种自动问答方法的知识图谱结构图;
图3是本申请一实施例提供的一种自动问答方法的生成模型原理结构图;
图4是本申请一实施例提供的一种自动问答方法的Skip-gram模型结构图;
图5是本申请一实施例提供的一种自动问答方法的LSTM网络结构图;
图6是本申请一实施例提供的一种自动问答方法的BILSTM对文本进行编码结构图;
图7是本申请一实施例提供的一种自动问答方法的一维卷积和池化过程步骤流程图;
图8是本申请一实施例提供的一种自动问答方法的生成生成对抗网络原理图;
图9是本申请一实施例提供的一种自动问答方法的双层前馈网络图;
图10是本申请一实施例提供的一种自动问答生成***功能结构图;
图11是本申请一实施例提供的一种基于外部知识的深度交互文本相似度计算模型结构图;
图12是本申请一实施例提供的一种基于信息增强的深度交互文本匹配模型结构图;
图13是本申请一实施例提供的一种自动问答装置的结构框图;
图14是本发明一实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请一实施例提供的一种自动问答方法的步骤流程图,具体包括如下步骤:
S110、接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
S120、确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
S130、当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
S140、确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
S150、确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
S160、依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
S170、依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
在本申请的实施例中,通过接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。通过本申请可以精准的识别出无法回答的问题或不相关的问题,提高了工作效率,也使得该***提供给客户的答案更加准确。在问题生成***中加入相似性机制有效的判断客户的问题,提高了问答***阶段的答案匹配精度。本申请基于交互的匹配模型比传统的匹配模型得到更高的准确度;基于交互的匹配模型比现有最优的基于表示的BERT模型(BERT是一种预训练语言模型)更简洁、性能更优、模型参数较少、运行效率更高。本申请引入了一个问题重生机制、共注意力机制增强了问句对和问答对之间的互信息,提高了深度交互文本匹配模型的性能。将原始问题与答案的匹配结果、重生问题与答案的匹配结果结合得到最终的答案匹配使得客户得到的答案更加精准、有效。
下面,将对本示例性实施例中的自动问答方法作进一步地说明。
如上述步骤S110所述,接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集。
在本发明一实施例中,可以结合下列描述进一步说明步骤S110所述“接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集”的具体过程。
在本申请一实施例中,对所述目标问题进行关键词提取,并依据所述关键词生成所述目标问题的领域;依据所述目标问题的领域和所述关键词匹配相对应的信息生成所述第一问题集。
作为一种示例,所述对目标问题进行关键词提取的步骤,包括:对所述目标问题就行分词处理,生成分词问题,依据所述分词问题生成所述关键词。
在一具体实施例中,所述对所述目标问题进行关键词提取,并依据所述关键词生成所述目标问题的领域的步骤,具体为:客户提出目标问题,先J 将问题转换成文本数据,再对文本数据进行分词、命名实体标注等处理,判断该目标问题所属的应用领域。
分词情况如下:例如文本数据“支付宝花呗支付分期还款怎么提前还清?”
分词后:“支付|支付宝|花呗|分期|还款|怎么|提前|还清”
其中:支付宝和花呗两个词为名词、实体词。根据这两个词就可以判断该问题所属的应用领域为金融行业。
作为一种示例,依据所述目标问题的领域和所述关键词匹配相对应的信息生成所述第一问题集的步骤包括:依据所述目标问题的领域和所述关键词在预设数据库中匹配相对应的信息生成目标问题的知识图谱;依据所述知识图谱生成所述第一问题集。
在一具体实施例中,通过命名实体获取该应用领域内的外部知识,外部知识包括知识图谱和语料库和数据集。知识图谱(Knowledge Graph)。是由Google为了提升搜索引擎返回的答案质量和用户查询的效率,于2012年 5月16日发布的。它是由一些相互连接的实体和他们的属性构成。知识图谱是由一条条知识组成,每条知识表示一个SPO三元组(Subject-Predicate-Object,主语-谓语-宾语)。如图2所示为知识图谱的结构模式图。图2中是以著名篮球运动员姚明为中心得到知识图谱,根据姚明的一些信息就可以得到一张相关的结构图。根据这种结构图中的信息再生成一些有关姚明的问句集,这就是知识图谱在本***中的作用。
在一具体实施例中,根据外部知识,搭建生成模型来生成相应的问题对数据集。当出现三元组结构SPO(姚明,身高,226cm)时,则通过生成器形成“姚明的身高是多少?”,“姚明的身高是226cm吗?”等问句文本,最终将形成一个问句集。生成模型如图3所示。
在本申请中,在问题生成***阶段提出了基于外部知识的深度交互文本匹配方法。该方法加入了外部知识提高了文本匹配模型的性能;基于交互的匹配模型比传统的匹配模型得到更高的准确度;基于交互的匹配模型比现有最优的基于表示的BERT模型更简洁、性能更优、模型参数较少、运行效率更高。
如上述步骤S120所述,确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值。
在本发明一实施例中,可以结合下列描述进一步说明步骤S120所述“确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值”的具体过程。
在本申请一实施例中,将所述目标问题的文本进行向量化生成目标问题向量;将所述第一问题集中的第一问题的文本分别进行向量化生成相对应的第一问题向量;将所述目标问题进行编码生成目标问题编码;将所述第一问题集中的第一问题分别进行编码生成相对应的第一问题编码;依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量;依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接生成相对应的第二拼接向量;依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵;依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵;依据所述第一池化矩阵和所述相对应的第二池化矩阵分别进行相似度匹配生成相对应的相似度值。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“将所述目标问题的文本进行向量化生成目标问题向量;将所述第一问题集中的第一问题的文本分别进行向量化生成相对应的第一问题向量”的具体过程。
作为一种示例,所述将目标问题的文本进行去停用词处理生成目标长度问题;再依据所述目标长度问题生成所述目标问题向量。
作为一种示例,所述将第一问题的文本进行去停用词处理生成第一长度问题;再依据所述第一长度问题生成所述第一问题向量。
在一具体实施例中,输入目标问题和第一问题集中的第一问题,对若干个问句分别进行分词,去标点,去停用词得到干净的词序列。再将问句整理成相同的长度L,长度不足在句首补零,问句长的截断。两个问句分别用TA和 TB表示。使用Word2Vector(词向量)预训练中Skip-gram(Skip-gram用于预测与给定中心词相对应的上下文词)模型对客户提出的转换成文本数据的问题、生成的问题集进行词嵌入,非结构化的文本数据转成结构化的矩阵,将输入文本在低维空间进行向量化表示。用和/>分别表示TA和TB的词嵌入矩阵。使用词嵌入的目的为,以中文为例,词库中至少包括几千个字,几万个词,将其代入模型时,如果使用onehot(onehot是最为简单也是比较常用的文本特征表示方法。在词语特征表示上,其本质直接将词语在词语集合中的下标作为改词的表示)编码,则变量有成千上万个维度,参数数量和计算量都非常庞大;且无法计算词间的近似性,无法使用“类比”方法将学到的规则泛化到近义词上,也不利于进一步的迁移学习。词嵌入可将词的特征映射到较低的维度,比如用200维特征描述词库中所有的词,使用模型参数更少,训练更快。其中,所述Skip-gram模型如图4所示。
需要说明的是,Skip-gram模型包含三层结构,包含输入层、投影层和输出层。其中输入层:输入当前样本的中心词w的词向量;输出层为一颗霍夫曼(Huffman)编码树。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“将所述目标问题进行编码生成目标问题编码;将所述第一问题集中的第一问题分别进行编码生成相对应的第一问题编码”的具体过程。
作为一种示例,将所述目标问题生成前向目标向量和后向目标向量,依据所述前向目标向量和所述后向目标向量生成所述目标问题编码;将所述第一问题集中第一问题分别生成相对应的前向第一向量和后向第一向量,依据所述前向第一向量和所述后向第一向量生成所述相对应的第一问题编码。
在一具体实施例中,使用双向长短期记忆网络(BILSTM)和多头注意力机制对问句对的上下文信息进行编码,提取上下文的文本语义信息。
其计算的基本原理如下:
AL=BILSTM(A)
Am=MultiHead([Ac;A])
其中AL、Am分别为BILSTM网络和多头注意力机制的输出;[Ac;A]和[Ac;Am]表示连接操作;Ae表示文本TA的整个编码器的输出;h表示编码器层的输出维数,即BILSTM和多头注意力机制输出维数之和。对文本 TB同样操作得到TB的输出矩阵为Be。利用BILSTM网络和多头注意机制的连接作为文本的编码表示,不仅捕获了文本中相邻词的融合信息,而且还保留了长距离相关词的关键信息。LSTM模型由输入门、遗忘门、记忆门、输出门组成。其计算过程通过对状态Ct中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递,而无用的信息被丢弃。在本***中用来提取上下文重要的语义信息特征。LSTM模型如图5所示。
前向的LSTM依次输入“我”,“爱”,“中国”得到三个向量{hL0,hL1,hL2}。后向的LSTM依次输入“中国”,“爱”,“我”得到三个向量{hR0,hR1,hR2}。最后将前向和后向的隐向量进行拼接得到{[hL0,hR2],[hL1,hR1],[hL2,hR0]},表示为{h0,h1,h2}。BILSTM对文本进行编码结构图具体如图6所示。
多头注意力机制:多头注意力机制是由多个自注意力机制(self-attention) 组成的。自注意力机制计算三个新向量Q、K、V,分别由词嵌入向量与一个随机初始化的矩阵相乘得到。然后,将Q乘以K的转置表示编码(encoder) 的一个词,表示对输入的其他部分的关注度。然后将这个关注程度除以一个常数后做softmax操作,表示其他部分对这个词的相关性程度。最后使用V 和softmax得到的值相乘,结构记为自注意力机制在这个词的值。计算公式如下:
多头注意力机制就是初始化多组Q,K,V,然后把这些矩阵拼接成一个矩阵,再与一个随机初始化的矩阵相乘即可。计算公式如下:
Multihead(Q,K,V)=concat(head1,L,headh)wo
headi=Attention(QWi Q,KWi K,VWi V)
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量;依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接生成相对应的第二拼接向量;”的具体过程。
作为一种示例,将目标问题向量得到的矩阵向量与目标问题编码得到的矩阵向量进行拼接并加入共注意力机制生成所述第一拼接向量;依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接并加入所述共注意力机制生成相对应的第二拼接向量。
在一具体实施例中,向量拼接。将目标问题向量的矩阵向量与目标问题编码得到的矩阵向量进行拼接;将第一问题向量的矩形向量和所述第一问题编码的矩形向量进行拼接;
加入共注意力机制使得文本对中高度相关的单词和短语比普通的单词获得更高的注意权重,获取两个文本的交互信息。
共注意力机制来源于自注意力机制的原理,共注意力机制是提取两个文本之间的词级交互信息,赋予文本中高度相关的词更高的关注权重。首先计算两个文本的交互矩阵,然后用一个softmax函数最为TB的关注权重对每一行进行归一化,对TA中每一列也用同样的方法进行归一化。计算过程如下:
Am=softmaxrow(E)Be
Bm=softmaxcol(E)Ae
其中:Am和Bm分别为从TA和TB的角度表示的两个文本之间的词级别交互信息。值的注意的是,交互信息是不对称的,从TA到TB的交互矩阵不同于逆方向的交互矩阵。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵”的具体过程。
在本申请一实施例中,依据所述第一拼接向量和所述目标问题编码进行融合生成第一融合层;依据所述第一融合层进行池化生成第一池化矩阵。
在本发明一实施例中,可以结合下列描述进一步说明步骤“所述依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵”的具体过程。
在本申请一实施例中,依据所述相对应的第二拼接向量和所述相对应的第一问题编码进行融合生成相对应的第二融合层;依据所述相对应的第二融合层进行池化生成相对应的第二池化矩阵。
在一具体实施例中,将上述编码器层的语义表示Ae(Be)和共注意力层的交互式表示Am(Bm)进行融合。
将上述编码器层的语义表示Ae和共注意力层的交互式表示Am进行融合。
将上述编码器层的语义表示Be和共注意力层的交互式表示Bm进行融合。
通过一个融合门进行融合,以文本TA为例,融合的计算过程如下:
o=[tanh(αW1+b1)]
其中,Wi∈R3h×h,bi∈Rh,i=(1,2,3);Af为文本TA经过融合门后的融合矩阵,其维数为h;表示元素级乘法。同样的计算方法将Be和Bm融合,得到融合输出矩阵Bf。
采用一维卷积神经网络(1DCNN)和全局最大池化提取关键信息来完成问句的语义表示,得到融合矩阵向量。
利用一维卷积和全局最大池化来提取关键信息,分别对文本TA和TB做该操作得到最终的向量pa和pb,计算的公式如下:
pa=[Max(1DConv(Af))]
pb=[Max(1DConv(Bf))]
输入数据是3*4的矩阵,卷积核大小kernel_size为2,卷积核个数为k。一维卷积网络的滑窗操作是一个以卷积核大小为高,输入数据维数为宽的卷积核在纵向加权求和的过程。例如,如图所示,当输入数据经过第一个卷积核的滑窗操作后转变成一个(2*1)的列向量,其中:
x1=(a+b+c+d)W1+(e+f+g+h)W2+b1
y1=(e+f+g+h)W1+(i+j+k+l)W2+b1
同理,k个卷积核进行滑窗操作形成k个(2*1)的列向量,即形成(2*k) 的k维矩阵(feature map)。
池化操作其实是一个降维过程,保留最重要的信息特征。池化操作的滑窗操作与卷积类似,设pool_size为2,相当于高为2,宽为经过一个卷积和卷积后的数据维数,即为1。所以经过最大池化和平均池化后,分别形成一个(1*1)的向量。计算公式如下:
M1={x1,y1}
一维卷积输出k个(2*1)的列向量经过池化后会形成k个列向量,将这k个列向量拼接在一起就形成一个(1*k)的矩阵。具体如图7所示。
在本发明一实施例中,可以结合下列描述进一步说明步骤“依据所述第一池化矩阵和所述相对应的第二池化矩阵分别进行相似度匹配生成相对应的相似度值”的具体过程。
在一具体实施例中,根据得到的问题对的两个向量,使用余弦相似度计算文本之间的相似度。
余弦相似度的计算公式如下:
其中,pa和pb分别表示文本TA和TB池化后的语义向量,h表示语义向量的维数。相似度的取值范围为[0,1]。
确定***文本相似度的阈值,根据计算的相似度判断两个文本是否相似。
如上述步骤S130所述,当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集。
在本发明一实施例中,可以结合下列描述进一步说明步骤S130所述“当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集”的具体过程。
在一具体实施例中,计算的文本相似度大于阈值则判断为可回答的问句,然后进行问答***阶段;计算的相似度小于阈值则判断为无法回答或者不相关问题,提示客户“无法识别问题,请重新输入您要询问的问题!”。所述预设数值为0.8。
现有的问答***不具有人类的常识和推理能力,不能识别无法回答的问题和不相关的问题。当出现无法回答或不相关问题时总是靠猜测提供不可靠和不正确的答案,不能满足客户的需求,也降低了工作效率。本申请提出的自动问答生成***可以精准的识别出无法回答的问题或不相关的问题,尽早的提醒客户输入正确的问题,提高了工作效率,也使得该***提供给客户的答案更加准确。
在一具体实施例中,对于上述得到的可回答的问句文本,即目标问题,采用生成生成对抗网络(GAN)生成一个在语义上等价于原文本的新文本,增强两个文本序列之间的互信息,提高文本的匹配度。
需要说明的是,生成生成对抗网络是基于博弈论的思想,由一个生成器和一个判别器组成。基本原理就是生成器生成的数据尽可能的欺骗判别器,判别器无法识别生成的数据是否为真实的数据,判别器的目的是区分真实的数据,通过多次训练,生成器和判别器不断增强,直到判别器判断生成的数据就是真实的数据,并且生成器生成的数据与真实的数据十分相似。相当于一个极大极小的博弈过程,也就是极大化的判别器的判断能力,极小化生成器的被识破的概率。用公式表达为:
其中D为判别器,G为生成器,具体如图8所示。
互信息:本***中,对生成生成对抗网络的潜在解释是增强了文本对之间的互信息。在信息论中,问答对(QA)之间的互信息表示为I(Q,A),用以衡量从彼此中学习到的信息量。I(Q,A)表示两个熵之间的差值,计算公式如下:
I(Q,A)=H(A)-H(A|Q)=H(Q)-H(Q|A)
其中,H(A)表示答案文本的信息熵;H(A|Q)表示给定Q的情况下A的不确定性;对上式比较直观的解释是:如果Q和A是确定相关的(A=f(Q)),那么不确定度H(A|Q)=H(Q|A)=0,I(Q,A)最大;如果Q和A是独立的,那么H(A|Q)=H(A)和H(Q|A)=H(Q),I(Q,A)为0。对于一对问答文本QA,如果问题和答案可以相互推断出来,那么它们就可以得到最大化的互信息。互信息的强弱可以判断一个匹配模型的优劣。给定一个匹配模型,如果可以重新生成一个新的问题Q2,那么关于A的不确定性就降低了,也即是 H(A|Q1,Q2)<H(A|Q1)。因此,得到如下的结论:
I(Q1,Q2,A)=H(A)-H(A|Q1,Q2)>H(A)-H(A|Q1)=I(Q1,A)
所以可以得出,重新生成一个新的问题后,互信息得到了增强。因此重新生成一个新问题后,可以得到更全面、更准确的答案。
本申请提出的自动问答生成***是将问题生成***与问答***进行协同工作。在问题生成***中加入相似性机制有效的判断客户的问题,提高了问答***阶段的答案匹配精度,两个***协同工作可以在实际生活中满足客户的需求,提高服务业的工作效率。
在一句具体实施例中,生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集,所述目标问题的第一答案的集合为所述第一答案集,所述第二问题的第二答案的集合为第二答案集。
如上述步骤S140所述,确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值。
在本发明一实施例中,可以结合下列描述进一步说明步骤S140所述“确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值”的具体过程。
在本申请一实施例中,将所述目标问题的文本进行向量化生成所述匹配目标问题向量;将所述第一答案集中的第一答案的文本分别进行向量化生成相对应的第一答案向量;将所述目标问题进行编码生成所述匹配目标问题编码;将所述第一答案集中的第一答案分别进行编码生成相对应的第一答案编码;依据所述匹配目标问题向量和所述匹配目标问题编码进行拼接生成匹配第一拼接向量;依据所述相对应的第一答案向量和所述相对应的第一答案编码分别进行拼接生成相对应的第一答案拼接向量;依据所述匹配第一拼接向量和所述匹配目标问题编码生成匹配第一池化矩阵;依据所述相对应的第一答案拼接向量和所述相对应的第一答案编码生成相对应的第一答案池化矩阵;依据所述匹配第一池化矩阵和所述相对应的第一答案池化矩阵分别进行相似度匹配生成相对应的第一问答匹配值。
在本发明一实施例中,可以结合下列描述进一步说明所述“将所述目标问题的文本进行向量化生成所述匹配目标问题向量;将所述第一答案集中的第一答案的文本分别进行向量化生成相对应的第一答案向量”的具体过程。
在一具体实施例中,与上述将所述目标问题的文本进行向量化生成目标问题向量的原理相同,均采用Word2Vector预训练中Skip-gram模型对原始问句、生成问句、答案文本进行词嵌入,表征文本的特征信息。其中 分别表示原始问句、生成问句以及答案文本。/>分别表示原始问句词、生成问句以及答案的词嵌入向量。首先对原始问句与答案的问答对进行如下的步骤。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“将所述目标问题进行编码生成所述匹配目标问题编码;将所述第一答案集中的第一答案分别进行编码生成相对应的第一答案编码”的具体过程。
在一具体实施例中,与上述将所述目标问题进行编码生成目标问题编码的原理相同,使用双向递归神经网络(BIGRU)和多头注意力机制对文本的上下文信息进行编码,提取上下文的文本语义信息。
BIGRU同BILSTM原理一样,BIGRU比BILSTM参数更少、运行速度更快、提取特征质量更高。同上述的原理与计算方法,计算方法如下:
AL=BIGRU(A)
Am=MultiHead([Ac;A])
其中AL、Am分别为BILSTM网络和多头注意力机制的输出;[Ac;A]和[Ac;Am]表示连接操作;Ae表示文本的整个编码器的输出;h表示编码器层的输出维数,即BILSTM和多头注意力机制输出维数之和。对文本/>同样操作得到/>的输出矩阵为Be。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“依据所述匹配目标问题向量和所述匹配目标问题编码进行拼接生成匹配第一拼接向量;依据所述相对应的第一答案向量和所述相对应的第一答案编码分别进行拼接生成相对应的第一答案拼接向量”的具体过程。
在一具体实施例中,原理同依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量,将编码器层的语义表示Ae(Be)和共注意力层的交互式表示Am(Bm)进行融合。
计算原理同上述加入共注意力机制使得文本对中高度相关的单词和短语比普通的单词获得更高的注意权重,获取两个文本的交互信息。通过一个融合门进行融合,以文本为例,融合的计算过程如下:
o=[tanh(αW1+b1)]
其中,Wi∈R3h×h,bi∈Rh,i=(1,2,3);Af为文本经过融合门后的融合矩阵,其维数为h;/>表示元素级乘法。同样的计算方法将Be和Bm融合,得到融合输出矩阵Bf。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“依据所述匹配第一拼接向量和所述匹配目标问题编码生成匹配第一池化矩阵;依据所述相对应的第一答案拼接向量和所述相对应的第一答案编码生成相对应的第一答案池化矩阵;”的具体过程。
在一具体实施例中,采用不同核大小的一维卷积神经网络(1DCNN)、全局最大池化以及平均池化融合方式提取关键信息来完成问句的语义表示,得到融合矩阵向量。
一维卷积神经网络以及池化的原理同依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵的步骤。在这里的计算过程如下:
其中1DConvi(·)表示卷积核大小为i的一维卷积网络;n为卷积核的数量;和/>表示文本/>和/>经过卷积核大小为i的网络池化后的向量;k表示卷起网络的滤波器数量;p为这一层问答对输出的连接向量。
在本发明一实施例中,可以结合下列描述进一步说明步骤所述“依据所述匹配第一池化矩阵和所述相对应的第一答案池化矩阵分别进行相似度匹配生成相对应的第一问答匹配值”的具体过程。
在一具体实施例中,将问答对的链接矩阵向量p两层前馈神经网络得到问答对的匹配结果。
在本步骤中输入层输入的是连接向量p,输出的是匹配得分。其计算公式如下:
其中,W4、W5分别为前馈神经网络中每一层的权重;b4、b5分别为前馈神经网络中每一层的偏置,F为最终的激活函数。对于本***系同问答匹配排序过程,激活函数为tanh,输出为两个文本的匹配分数。
双层前馈神经网络由一个输入层、两个隐藏层和一个输出层组成,具体如图9所示。每一层的神经元可以接受前一层神经元的信号,并产生输入层。输入层是第0层,整个网络中无反馈,信号从输入层向输出层单向传播,可以用一个有向无环图表示,如上图所示。前馈神经网络通过如下的公式进行信息传播:
z(l)=W(l)·a(l-1)+b(l)
a(l)=fl(z(l))
其中,fl(·)表示第l层神经元的激活函数;表示l-1层到第l层的权重矩阵,m(l)表示第l层有几个神经元;b(l)表示l-1层到第l层的偏置;z(l)表示第l层的净输入;a(l)第l层神经元的输出。
如上述步骤S150所述,确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值。
在本发明一实施例中,可以结合下列描述进一步说明步骤S150所述“确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值”的具体过程。
在本申请一实施例中,确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值的步骤,与所述确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值的步骤,相同,在此不在重复赘述。
作为一种示例,将所述第二问题的文本进行向量化生成所述匹配第二问题向量;将所述第二答案集中的第二答案的文本分别进行向量化生成相对应的第二答案向量;将所述第二问题进行编码生成所述匹配第二问题编码;将所述第二答案集中的第二答案分别进行编码生成相对应的第二答案编码;依据所述匹配第二问题向量和所述匹配第二问题编码进行拼接生成匹配第一拼接向量;依据所述相对应的第二答案向量和所述相对应的第二答案编码分别进行拼接生成相对应的第二答案拼接向量;依据所述匹配第一拼接向量和所述匹配第二问题编码生成匹配第一池化矩阵;依据所述相对应的第二答案拼接向量和所述相对应的第二答案编码生成相对应的第二答案池化矩阵;依据所述匹配第一池化矩阵和所述相对应的第二答案池化矩阵分别进行相似度匹配生成相对应的第二问答匹配值。
如上述步骤S160所述,依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案。
在本发明一实施例中,可以结合下列描述进一步说明步骤S160所述“依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案”的具体过程。
在本申请一实施例中,选取所述第一答案集中第一问答匹配值最高的第一答案作为第一最佳答案,并选取所述第二答案集中第二问答匹配值最高的第二答案作为第二最佳答案。
在一具体实施例中,根据目标问句与第一答案的匹配得分,得到可能的答案的排序结果1。根据第二问句与第二答案的匹配得分,得到可能的答案的排序结果2。结合排序结果1与结果2推送最佳的可能答案排序结果,找到最佳的问句答案。
如上述步骤S170所述,依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
在本发明一实施例中,可以结合下列描述进一步说明步骤S170所述“依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案”的具体过程。
在一具体实施例中,将融合排序第一最佳答案和所述第二最佳答案,得到最终的答案排序结果,并推送目标答案。
在一具体实施例中,将第一最佳答案的第一问答匹配值与第二最佳答案的第二问题匹配值相比较,选择数值较高的作为目标答案。
在一具体实施例中,将对两个***四个模型进行详细的描述以及可实施的环境。本实施方案分为两个阶段、四个部分,步骤1-步骤14为问句对生成***阶段,其中步骤1-步骤5为数据生成部分,步骤6-步骤14为问句相似度得分计算部分。步骤15-步骤26为问答***阶段,其中步骤15-步骤23 为基于增强互信息的深度交互文本匹配部分,步骤24-步骤26为推送答案排序部分。本***的实施环境为:采用TensorFlow(新型云端计算框架)深度学习作为框架,在Windows10 64为操作***,Pycharm2020(Integrated DevelopmentEnvironment,集成开发环境),CPU(central processing unit,中央处理器)为Inter(R)Core(TM)[email protected],内存32GB,GPU 为11GB 1080Ti,python 3.8(Anaconda)。
步骤1:客户通过手机、电脑提出相应的问题,如果是语音数据需要转化成文字数据,保证数据是中文的。
步骤2:根据客户提出的问句对问句进行分词,采用比较精准的jieba 分词工具,在Python中安装jieba第三方库可以直接使用。
步骤3:根据分词结果去除掉一些停用词(如:的、了等字),然后标记命名实体、专有领域名词。在Python中调用jieba三方库直接实现该操作。
步骤4:根据标记的命名实体以及专有领域名词判断问句的应用领域,再查找应用领域内的知识图谱、语料库、经典的数据集等资料,将其统称为外部知识。
步骤5:利用外部知识尽可能多的生成问句集,再加上已有的问句集形成一个庞大的领域问句集。利用Python语言、TensorFlow框架搭建一个问句生成模型完成。
步骤6:词嵌入层,将非结构化的文本数据转换成结构化的数值数据。利用Word2Vector预训练模型中Skip-gram方法对客户提出的问句、生成的问句集进行词嵌入,得到结构化的矩阵向量,表征文本的特征信息。在Python 中安装gensim库,在gensim库中可直接调用Word2Vector工具,向量维度设置为300,窗口大小为5,采用优化算法进行加速训练。
步骤7:编码器层,将词嵌入的向量进行编码,标记并提取重要的语义信息特征。我们使用BILSTM网络提取上下文的语义信息,并且避免了梯度消失和梯度***的问题。利用Python语言、TensorFlow框架搭建一个BILSTM 模块完成,需要调用GPU加速。网络隐含层维度设置为300,激活函数为tanh 函数。
步骤8:引入多头注意力机制,赋予重要的单词和短语更重要的权重,辅助BILSTM网络更加准确的提取上下文的语义信息。利用Python,在 BILSTM模块中加入多个注意力机制层即可完成,注意力机制头数设置为3 得到最佳的结果。
步骤9:向量拼接,将词嵌入的矩阵向量与编码器层的矩阵向量进行拼接。在Python中利用pandas库中concat函数即可完成。
步骤10:共注意力层,赋予问句文本对中高度相关的单词和短语比普通的单词更高的注意权重,有效地提高两个问句文本之间的交互式语义信息。将通过编码后的问句A和问句B同时通过共注意力层,交互4次得到最佳结果,交互次数低于或高于4次都会降低神经网络的模型性能。
步骤11:特征信息融合层,通过融合门融合编码器层的语义表示Ae(Be) 和共注意力层的交互式表示Am(Bm)。
步骤12:池化层,提取融合特征表示的关键信息。我们利用1DCNN和最大池化层(Max-Pooling)来提取不同角度的关键信息。利用Python语言、 TensorFlow框架搭建一个1DCNN+Max-Pooling模块完成。卷积核个数设置为128,激活函数为tanh函数,优化函数为Adam函数,学习率设置为0.01,损失函数用均方误差,训练过程的批处理参数设置为1024,训练10轮,使用最大池化方法。
步骤13:分别对客户提出的问句以及生成问句进行步骤6-步骤12的操作后,得到两个向量,利用余弦相似度计算方法问句对的相似程度。在Python 中调用库可以直接实现余弦相似度的计算。
步骤14:确定该***文本相似度的阈值。根据计算的结果制定相应的阈值,当计算的余弦相似度值为0~0.5时判断为无法回答的问题;当计算的余弦相似度值为0.5~0.8时判断为不相关问题;当计算的余弦相似度值为0.8~1 时判断为可回答的问题。
步骤15:计算的文本相似度值大于阈值0.8时判断为可回答的问题,然后进入问答***阶段;当判断为无法回答或者不相关问题时,提示客户“无法识别问题,请重新输入您要询问的问题!”。利用Python编程实现该操作。
步骤16:当客户提出的问题判断为可回答的问题后,进入问答***的新问句生成。采用生成生成对抗网络生成一个与原客户问句等价的新问句,增强两个问句之间的互信息,分别对这两个问句匹配相应的答案,提高文本的匹配度。利用Python语言、TensorFlow框架搭建一个GAN网络完成,调用 GPU加速。生成器学习率设置为0.01,判别器学习率设置为0.001,对抗训练批次设置为256,dropout设置为0.2。
步骤16:词嵌入层,将非结构化的文本数据转换成结构化的数值数据。利用Word2Vector预训练模型中Skip-gram方法对客户提出的问句、生成的问句集进行词嵌入,得到结构化的矩阵向量,表征文本的特征信息。同步骤 6操作完成,直接重新调用步骤6程序。
步骤17:编码器层,将词嵌入的向量进行编码,标记并提取重要的语义信息特征。我们改用BIGRU(BiGRU是由单向的、方向相反的、输出由这两个GRU的状态共同决定的GRU组成的神经网络模型)网络加多头注意机制提取上下文的语义信息,不仅避免了梯度消失和梯度***的问题,而且使得提取的语义信息更高。利用Python语言、TensorFlow框架搭建一个BIGRU 模块完成,需要调用GPU加速。BIGRU网络隐含层维度设置为300,激活函数为tanh函数,多头注意力机制的头数设置为3可以得到最佳结果。
步骤18:向量拼接,将词嵌入的矩阵向量与编码器层的矩阵向量进行拼接。同步骤9,利用pandas库中concat函数即可完成。
步骤19:共注意力层,赋予问答文本对中高度相关的单词和短语比普通的单词更高的注意权重,有效地提高问答文本对之间的交互式语义信息。将通过编码后的问句A和答案B同时通过共注意力层,交互4次得到最佳结果。
步骤20:特征信息融合层,通过融合门融合编码器层的语义表示Ae(Be) 和共注意力层的交互式表示Am(Bm)。
步骤21:池化层,提取融合特征表示的关键信息。我们利用不同内核的多个1DCNN、最大池化(Max-Pooling)以及平均池化层(Mean-Pooling)融合来提取不同角度的关键信息。利用Python语言、TensorFlow框架搭建一个 1DCNN+Max&Mean-Pooling模块完成。卷积核个数设置为128,卷积核大小分别设置为1、2、3,激活函数为tanh函数,优化函数为Adam函数,学***均池化融合方法。
步骤23:匹配层,将问句的融合矩阵向量与答案文本的融合矩阵向量计算其匹配得分。使用两层前馈神经网络(MLP)获得两个文本的匹配结果。利用Python语言TensorFlow框架搭建一个双层的MLP模块。需要调用GPU、隐含层的维度设置为100,激活函数用tanh函数,Dropout(训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种 trikc供选择。Dropout源于其文章Improving neural networks by preventingco-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来提高神经网络的性能)设置为0.2,隐藏层为两层。
步骤24:将客户原始问句与可能的答案按照步骤16~步骤23的方案进行匹配,计算得到匹配得分,根据匹配的得分高低进行排序,排序在Python 中直接调用排序算法得到排序结果1。
步骤25:将生成问句与可能的答案按照步骤16~步骤23的方案进行匹配,计算得到匹配得分,根据匹配的得分高低进行排序,排序在Python中直接调用排序算法得到排序结果2。
步骤26:融合排序结果1和排序结果2,得到最终的答案排序结果,并推送最佳答案。
在本申请中,问答***阶段提出了基于增强互信息的深度交互文本匹配方法。该方法引入了一个问题重生机制、共注意力机制增强了问句对和问答对之间的互信息,提高了深度交互文本匹配模型的性能。将原始问题与答案的匹配结果、重生问题与答案的匹配结果结合得到最终的答案匹配使得客户得到的答案更加精准、有效。具体如图10-12所示。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图13,示出了本申请一实施例提供的一种自动问答装置,具体包括如下模块,
第一问题集模块1310,用于接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
相似度值模块1320,用于确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
第二答案集模块1330,用于当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
第一问答匹配值模块1340,用于确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
第二问答匹配值模块1350,用于确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
最佳答案模块1360,用于依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
目标答案模块1370,用于依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
在本发明一实施例中,所述第一问题集模块1310包括:
领域子模块,用于对所述目标问题进行关键词提取,并依据所述关键词生成所述目标问题的领域;
第一问题集子模块,用于依据所述目标问题的领域和所述关键词匹配相对应的信息生成所述第一问题集
在本发明一实施例中,所述相似度值模块1320包括:
目标问题向量子模块,用于将所述目标问题的文本进行向量化生成目标问题向量;
第一问题向量子模块,用于将所述第一问题集中的第一问题的文本分别进行向量化生成相对应的第一问题向量;
目标问题编码子模块,用于将所述目标问题进行编码生成目标问题编码;
第一问题编码子模块,用于将所述第一问题集中的第一问题分别进行编码生成相对应的第一问题编码;
第一拼接向量子模块,用于依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量;
第二拼接向量子模块,用于依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接生成相对应的第二拼接向量;
第一池化矩阵子模块,用于依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵;
第二池化矩阵子模块,用于依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵;
相似度值子模块,用于依据所述第一池化矩阵和所述相对应的第二池化矩阵分别进行相似度匹配生成相对应的相似度值。
在本发明一实施例中,所述第一池化矩阵子模块包括:
第一融合层子模块,用于依据所述第一拼接向量和所述目标问题编码进行融合生成第一融合层;
第一池化矩阵子模块,用于依据所述第一融合层进行池化生成第一池化矩阵。
在本发明一实施例中,所述第二池化矩阵子模块包括:
第二融合层子模块,用于依据所述相对应的第二拼接向量和所述相对应的第一问题编码进行融合生成相对应的第二融合层;
第二池化矩阵子模块,用于依据所述相对应的第二融合层进行池化生成相对应的第二池化矩阵。
在本发明一实施例中,所述第一问答匹配值模块1340包括:
匹配目标问题向量子模块,用于将所述目标问题的文本进行向量化生成所述匹配目标问题向量;
第一答案向量子模块,用于将所述第一答案集中的第一答案的文本分别进行向量化生成相对应的第一答案向量;
匹配目标问题编码子模块,用于将所述目标问题进行编码生成所述匹配目标问题编码;
第一答案编码子模块,用于将所述第一答案集中的第一答案分别进行编码生成相对应的第一答案编码;
第一拼接向量子模块,用于依据所述匹配目标问题向量和所述匹配目标问题编码进行拼接生成匹配第一拼接向量;
第一答案拼接向量子模块,用于依据所述相对应的第一答案向量和所述相对应的第一答案编码分别进行拼接生成相对应的第一答案拼接向量;
匹配第一池化矩阵子模块,用于依据所述匹配第一拼接向量和所述匹配目标问题编码生成匹配第一池化矩阵;
第一答案池化矩阵子模块,用于依据所述相对应的第一答案拼接向量和所述相对应的第一答案编码生成相对应的第一答案池化矩阵;
第一问答匹配值子模块,用于依据所述匹配第一池化矩阵和所述相对应的第一答案池化矩阵分别进行相似度匹配生成相对应的第一问答匹配值。
在本发明一实施例中,所述最佳答案模块1360包括:
最佳答案子模块,用于选取所述第一答案集中第一问答匹配值最高的第一答案作为第一最佳答案,并选取所述第二答案集中第二问答匹配值最高的第二答案作为第二最佳答案。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
在本具体实施例与上述具体实施例中有重复的操作步骤,本具体实施例仅做简单描述,其余方案参考上述具体实施例描述即可。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图14,示出了本申请的一种自动问答方法的计算机设备,具体可以包括如下:
上述计算机设备12以通用计算设备的形式表现,计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,内存28,连接不同***组件(包括内存28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、音视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
内存28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图14中未示出,可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块42,这些程序模块42被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器中,这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其他程序模块42以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信,还可与一个或者多个使得操作人员能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过I/O接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)),广域网(WAN)和/ 或公共网络(例如因特网)通信。如图14所示,网络适配器20通过总线18 与计算机设备12的其他模块通信。应当明白,尽管图14中未示出,可以结合计算机设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***34等。
处理单元16通过运行存储在内存28中的程序,从而执行各种功能应用以及数据处理,例如实现本申请实施例所提供的一种自动问答方法。
也即,上述处理单元16执行上述程序时实现:接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
在本申请实施例中,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有实施例提供的一种自动问答方法。
也即,给程序被处理器执行时实现:获取待提取的图像数据,并依据所述图像数据生成锐化图像数据;其中,所述图像数据为所述目标无人机在航行中拍摄的彩色图像;依据所述锐化图像数据确定图像中的连续特征向量;依据所述图像中的连续特征向量确定所述目标无人机的当前位置。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在操作人员计算机上执行、部分地在操作人员计算机上执行、作为一个独立的软件包执行、部分在操作人员计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到操作人员计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种自动问答方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种自动问答方法,所述方法用于生成用户提出目标问题的目标答案,其特征在于,包括:
接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
2.根据权利要求1所述的自动问答方法,其特征在于,所述依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集的步骤,包括:
对所述目标问题进行关键词提取,并依据所述关键词生成所述目标问题的领域;
依据所述目标问题的领域和所述关键词匹配相对应的信息生成所述第一问题集。
3.根据权利要求1所述的自动问答方法,其特征在于,所述确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值的步骤,包括:
将所述目标问题的文本进行向量化生成目标问题向量;
将所述第一问题集中的第一问题的文本分别进行向量化生成相对应的第一问题向量;
将所述目标问题进行编码生成目标问题编码;
将所述第一问题集中的第一问题分别进行编码生成相对应的第一问题编码;
依据所述目标问题向量和所述目标问题编码进行拼接生成第一拼接向量;
依据所述相对应的第一问题向量和所述相对应的第一问题编码分别进行拼接生成相对应的第二拼接向量;
依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵;
依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵;
依据所述第一池化矩阵和所述相对应的第二池化矩阵分别进行相似度匹配生成相对应的相似度值。
4.根据权利要求3所述的自动问答方法,其特征在于,所述依据所述第一拼接向量和所述目标问题编码生成第一池化矩阵的步骤,包括:
依据所述第一拼接向量和所述目标问题编码进行融合生成第一融合层;
依据所述第一融合层进行池化生成第一池化矩阵。
5.根据权利要求3所述的自动问答方法,其特征在于,所述依据所述相对应的第二拼接向量和所述相对应的第一问题编码生成相对应的第二池化矩阵的步骤,包括:
依据所述相对应的第二拼接向量和所述相对应的第一问题编码进行融合生成相对应的第二融合层;
依据所述相对应的第二融合层进行池化生成相对应的第二池化矩阵。
6.根据权利要求1所述的自动问答方法,其特征在于,所述确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值的步骤,包括:
将所述目标问题的文本进行向量化生成匹配目标问题向量;
将所述第一答案集中的第一答案的文本分别进行向量化生成相对应的第一答案向量;
将所述目标问题进行编码生成所述匹配目标问题编码;
将所述第一答案集中的第一答案分别进行编码生成相对应的第一答案编码;
依据所述匹配目标问题向量和所述匹配目标问题编码进行拼接生成匹配第一拼接向量;
依据所述相对应的第一答案向量和所述相对应的第一答案编码分别进行拼接生成相对应的第一答案拼接向量;
依据所述匹配第一拼接向量和所述匹配目标问题编码生成匹配第一池化矩阵;
依据所述相对应的第一答案拼接向量和所述相对应的第一答案编码生成相对应的第一答案池化矩阵;
依据所述匹配第一池化矩阵和所述相对应的第一答案池化矩阵分别进行相似度匹配生成相对应的第一问答匹配值。
7.根据权利要求1所述的自动问答方法,其特征在于,所述依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案的步骤,包括:
选取所述第一答案集中第一问答匹配值最高的第一答案作为第一最佳答案,并选取所述第二答案集中第二问答匹配值最高的第二答案作为第二最佳答案。
8.一种自动问答装置,所述装置用于生成用户提出目标问题的目标答案,其特征在于,包括:
第一问题集模块,用于接收用户的目标问题,并依据所述目标问题中的关键词匹配出相对应的信息生成第一问题集;
相似度值模块,用于确定所述第一问题集中的第一问题和所述目标问题分别进行相似度匹配生成相对应的相似度值;
第二答案集模块,用于当存在大于预设数值的相似度值时,则依据所述目标问题和预建立的生成对抗网络生成第二问题,并生成对应于所述目标问题的第一答案集,以及并依据所述第二问题生成相对应的第二答案集;
第一问答匹配值模块,用于确定所述目标问题和所述第一答案集中的第一答案分别进行问答匹配生成相对应的第一问答匹配值;
第二问答匹配值模块,用于确定所述第二问题和所述第二答案集中的第二答案分别进行问答匹配生成相对应的第二问答匹配值;
第二最佳答案模块,用于依据所述第一问答匹配值和所述第二问答匹配值分别确认出第一答案集中的第一最佳答案以及第二答案集中的第二最佳答案;
目标答案模块,用于依据所述第一最佳答案和所述第二最佳答案生成所述用户提出的目标问题的目标答案。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的自动问答方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的自动问答方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210610581.5A CN114969291B (zh) | 2022-05-31 | 2022-05-31 | 一种自动问答方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210610581.5A CN114969291B (zh) | 2022-05-31 | 2022-05-31 | 一种自动问答方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114969291A CN114969291A (zh) | 2022-08-30 |
CN114969291B true CN114969291B (zh) | 2023-08-08 |
Family
ID=82957605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210610581.5A Active CN114969291B (zh) | 2022-05-31 | 2022-05-31 | 一种自动问答方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114969291B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019732A (zh) * | 2017-12-27 | 2019-07-16 | 杭州华为数字技术有限公司 | 一种智能问答方法以及相关装置 |
CN110275949A (zh) * | 2019-06-06 | 2019-09-24 | 深圳中兴飞贷金融科技有限公司 | 用于贷款应用的自动应答方法及*** |
CN110502620A (zh) * | 2019-07-02 | 2019-11-26 | 平安科技(深圳)有限公司 | 导诊相似问题对生成方法、***及计算机设备 |
CN111858859A (zh) * | 2019-04-01 | 2020-10-30 | 北京百度网讯科技有限公司 | 自动问答处理方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210065018A1 (en) * | 2019-08-27 | 2021-03-04 | Intuit Inc. | Smart Question and Answer Optimizer |
-
2022
- 2022-05-31 CN CN202210610581.5A patent/CN114969291B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110019732A (zh) * | 2017-12-27 | 2019-07-16 | 杭州华为数字技术有限公司 | 一种智能问答方法以及相关装置 |
CN111858859A (zh) * | 2019-04-01 | 2020-10-30 | 北京百度网讯科技有限公司 | 自动问答处理方法、装置、计算机设备及存储介质 |
CN110275949A (zh) * | 2019-06-06 | 2019-09-24 | 深圳中兴飞贷金融科技有限公司 | 用于贷款应用的自动应答方法及*** |
CN110502620A (zh) * | 2019-07-02 | 2019-11-26 | 平安科技(深圳)有限公司 | 导诊相似问题对生成方法、***及计算机设备 |
Non-Patent Citations (1)
Title |
---|
一种基于卷积神经网络的自动问答***;杨骏;敬思远;项炜;;乐山师范学院学报(第04期);46-50 * |
Also Published As
Publication number | Publication date |
---|---|
CN114969291A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11093560B2 (en) | Stacked cross-modal matching | |
JP7195365B2 (ja) | 画像条件付きマスク言語モデリングを用いて画像認識のための畳み込みニューラルネットワークを訓練するための方法 | |
Trischler et al. | Natural language comprehension with the epireader | |
CN110096567B (zh) | 基于qa知识库推理的多轮对话回复选择方法、*** | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
CN109344404B (zh) | 情境感知的双重注意力自然语言推理方法 | |
CN111831789B (zh) | 一种基于多层语义特征提取结构的问答文本匹配方法 | |
CN111897913A (zh) | 基于语义树增强的复杂文本查询到视频的跨模态检索方法 | |
CN110990555B (zh) | 端到端检索式对话方法与***及计算机设备 | |
CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
CN110096711A (zh) | 序列全局关注和局部动态关注的自然语言语义匹配方法 | |
CN109145083B (zh) | 一种基于深度学习的候选答案选取方法 | |
CN111046155A (zh) | 一种基于fsm多轮问答的语义相似度计算方法 | |
CN111966812A (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
CN115688879A (zh) | 一种基于知识图谱的智能客服语音处理***及方法 | |
CN113297370A (zh) | 基于多交互注意力的端到端多模态问答方法及*** | |
CN111814489A (zh) | 口语语义理解方法及*** | |
CN114548101A (zh) | 基于可回溯序列生成方法的事件检测方法和*** | |
CN110852066B (zh) | 一种基于对抗训练机制的多语言实体关系抽取方法及*** | |
CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
CN111581365B (zh) | 一种谓词抽取方法 | |
CN110390050B (zh) | 一种基于深度语义理解的软件开发问答信息自动获取方法 | |
CN117235261A (zh) | 一种多模态方面级情感分析方法、装置、设备及存储介质 | |
Wang et al. | FastHybrid: A hybrid model for efficient answer selection | |
CN114969291B (zh) | 一种自动问答方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |