CN111858896A - 一种基于深度学习的知识库问答方法 - Google Patents
一种基于深度学习的知识库问答方法 Download PDFInfo
- Publication number
- CN111858896A CN111858896A CN202010751026.5A CN202010751026A CN111858896A CN 111858896 A CN111858896 A CN 111858896A CN 202010751026 A CN202010751026 A CN 202010751026A CN 111858896 A CN111858896 A CN 111858896A
- Authority
- CN
- China
- Prior art keywords
- granularity
- question
- word
- user
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 94
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 17
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000004575 stone Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度学习的知识库问答方法，包括：对用户的自然语言问句进行主题实体识别，识别出多个主题实体；根据多个主题实体进行权重赋值，获得不同权重的多个中心实体；根据不同权重的多个中心实体，选出候选答案路径，并计算出相似度总分；根据相似度总分，对候选答案路径进行排序权重，获得不同权重的多个候选答案路径；对不同权重的多个中心实体和不同权重的多个候选答案路径进行函数匹配计算，获得最终答案并反馈给用户。此发明解决了传统问答方法识别错误主题实体或无法识别主题实体的问题，降低了主题实体识别模型的错误率，提高了属性关系检测模型的准确率，提高了整个知识库问答的准确率。
Description
技术领域
本发明涉及计算机问答***技术领域，具体涉及一种基于深度学习的知识库问答方法。
背景技术
近年来，随着科技的不断创新，人工智能也取得了突飞猛进的发展。自动问答***作为人工智能的一个重要分支领域也受到了越来越多的关注。网络信息的指数增长成为了互联网发展的必然趋势。面对如此庞大的信息量的增长，怎样快速提取用户所需要的有效信息将变得十分重要。搜索引擎技术的出现很大程度上满足了人们对信息获取的需求。搜索引擎也逐渐成为人们获取知识，筛选信息的便捷途径。但是传统的搜索引擎根据用户的问题返回的是一系列的网页或者文档，而不是直接返回用户所需要的答案。问答***就是为了解决用户的这种需求而出现的。用户将需求的问题用自然语言的方式输入给问答***，问答***快速的将最准确的答案返回给用户。问答***将会是下一代搜索引擎的基本形态。
知识库问答是自动问答的一种。知识库又称为知识图谱，是一种用于存储大规模的结构化知识的数据库***。通常知识库中结构化的知识可以用三元组的形式表示，即(subject,predicate,object)。其中subject和object分别表示三元组中的头实体和尾实体，predicate表示头实体和尾实体之间的关系。在大规模知识库中通常包含数千万的三元组，很多三元组相互连接可以构成一个有向图，每个实体代表图中的节点，谓语关系代表节点之间的有向边。知识库中海量的知识储备为问答***提供了丰富的事实资源，而且知识库中结构化的知识表示方式也非常适合应用于事实性的问答任务中。
基于知识库的问答***的研究方法可以分为基于语义解析的方法、基于信息抽取的方法和基于向量建模的方法。
基于语义解析的方法首先将自然语言问题转化为逻辑形式的表达，然后将上一步的表达结果转化为知识库查询语言如sparql等从知识库里查询相应的信息并返回答案。
基于信息抽取的方法是通过提取问题中的实体，通过在知识库中查询该实体得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案，然后通过观察问题依据某些规则或模板进行信息抽取，得到问题特征向量，建立分类器通过输入问题特征向量对候选答案进行筛选，从而得出最终答案。
基于向量建模的方法首先是根据自然语言问题抽取出其中的主题实体，根据主题实体在知识库中寻找到候选答案，然后将通过对问题和候选答案一系列的特征提取，最终得到它们的分布式表达，通过计算问题的向量表达和候选答案的向量表达的得分进行候选答案的排序以及选择。
目前存在的基于深度学习的知识库问答方法通常将知识库问答分为三个步骤，分别为主题实体识别、属性关系检测和答案选择。主题实体识别的任务是通过主题实体识别模型将用户提出的自然语言问题中的主题实体识别出来。属性关系检测的任务是根据上一步识别出来的主题实体到知识库中查找对应的头实体，并将头实体所连接的所有路径作为此次用户问题的候选答案，然后通过属性关系检测模型将所有候选答案排序。答案选择的任务是把属性关系检测步骤返回的排序最高的候选路径作为知识库问答的最终答案返回给用户。
现有的主题实体识别模型通常是应用简单的神经网络进行端到端的训练，最终得到的往往只是问句中一个最明显的主题实体供下一步属性关系检测模型使用。如问句“计算机理论与技术是哪个出版社出版的？”经过主题实体识别模型得到的标注序列可能是1、“计算机理论”2、“计算机理论与技术”，但是该模型最终选择了概率更大的“计算机理论”实体返回给的属性关系检测步骤，而这两个实体在知识库中都有相应的头实体和路径。又如问句“石头记的作者是谁？”，主题实体识别模型识别到了实体“石头记”，但是在知识库中却没有“石头记”这个头实体。只选择最明显的主题实体“计算机理论”或者“石头记”作为属性关系检测步骤的中心实体，这样一来无论属性关系检测模型的准确率有多高，都无法给出用户一个正确的答案了，所以后续的工作都是无效的。
而现有的属性关系检测模型通过将连接中心实体的n个路径(包括实体和关系)和用户问句进行编码而得到同一语义空间中的低维稠密向量，从而计算向量间的相似度以得到各个路径的排序结果。但是对n个路径的统一编码忽略了各个路径上关系的作用。此外，由于路径上的实体和关系通常都是短语，和用户问句这种句子并不是一个量级上的，用户问句作为一个句子包含了更多的语义信息，所以简单的对用户问句进行编码并没有充分的利用问句的语义信息和问句与路径之间的交互信息，这是导致属性关系检测模型准确率较低的关键。
以往的答案选择模型通常只是简单的选择属性关系检测步骤中排序最靠前的路径作为知识库问答的结果。但是这样做没有考虑到主题实体识别步骤和属性关系检测步骤之间的联系，认为两个步骤相互独立，从而降低了知识库问答的准确性。
发明内容
本发明的目的是提供一种基于深度学习的知识库问答方法。此方法旨在解决传统问答方法识别错误主题实体或无法识别主题实体的问题，降低主题实体识别模型的错误率，提高属性关系检测模型的准确率，提高整个知识库问答的准确率。
为达到上述目的，本发明提供了一种基于深度学习的知识库问答方法，包括以下步骤：
步骤1：基于主题实体识别SAMM模型，对用户的自然语言问句进行主题实体识别，识别出多个主题实体；
步骤2：根据多个主题实体进行权重赋值，获得不同权重的多个中心实体；
步骤3：基于属性关系检测MGQR模型，根据不同权重的多个中心实体，选出候选答案路径，并计算出用户的自然语言问句和候选答案路径的相似度总分；
步骤4：根据相似度总分，对候选答案路径进行排序权重，获得不同权重的多个候选答案路径；
步骤5：基于线性函数，对不同权重的多个中心实体和不同权重的多个候选答案路径进行函数匹配计算，获得最终答案并反馈给用户。
最优选的，主题实体识别还包括以下步骤：
步骤1.1：将用户的自然语言问句进行分词拼接，获得拼接后的用户问句；
步骤1.2：对拼接后的用户问句进行上下文信息提取，获得含有上下文信息的语义特征；
步骤1.3：根据含有上下文信息的语义特征进行特征识别，识别出多个主题实体。
最优选的，分词拼接还包括以下步骤：
步骤1.1.1：将用户的自然语言问句进行分词和更新，得到用户问句；
步骤1.1.2：基于自注意力机制，计算用户问句中任意两个词向量之间的依赖关系，获得用户问句的自注意交互矩阵；
步骤1.1.3：将用户问句与自注意交互矩阵进行拼接，获得拼接后的用户问句。
最优选的，特征识别还包括以下步骤：
步骤1.3.1：将含有上下文信息的语义特征输入条件随机场CRF，获得标注后的问句序列；
步骤1.3.2：根据标注后的问句序列，识别出多个主题实体。
最优选的，权重赋值还包括以下步骤：
步骤2.1：根据多个主题实体的排序顺序，从中选出排序靠前的多个主题实体；
步骤2.2：对排序靠前的多个主题实体分别赋予不同的权重，获得不同权重的多个主题实体，作为不同权重的多个中心实体。
最优选的，计算相似度总分还包括以下步骤：
步骤3.1：对候选答案路径中字、词和实体关系进行粒度向量表示，分别获得候选答案路径的字粒度向量、词粒度向量和实体关系粒度向量；
步骤3.2：根据字粒度向量、词粒度向量和实体关系粒度向量进行语义特征提取，获得字粒度语义特征、词粒度语义特征和实体关系粒度语义特征；
步骤3.3：根据字粒度向量、词粒度向量、实体关系粒度向量和字粒度语义特征、词粒度语义特征、实体关系粒度语义特征进行相似度计算，计算出相似度总分。
最优选的，粒度向量表示还包括以下步骤：
步骤3.1.1：基于随机初始化的方式，对候选答案路径中的字进行字粒度向量表示，获得字粒度向量；
步骤3.1.2：基于word2vec预训练词向量工具，对候选答案路径中的词进行词粒度向量表示，获得词粒度向量；
步骤3.1.3：基于随机初始化的方式，对候选答案路径中的实体关系进行实体关系粒度向量表示，获得实体关系粒度向量。
最优选的，语义特征提取还包括以下步骤：
步骤3.2.1：对字粒度向量、词粒度向量和实体关系粒度向量分别进行加权计算，分别获得字粒度候选路径下的字粒度用户问句、词粒度候选路径下的词粒度用户问句和实体关系粒度的候选路径下的实体关系粒度用户问句；
步骤3.2.2：分别对字粒度用户问句、词粒度用户问句和实体关系粒度用户问句进行提取，分别获得字粒度语义特征、词粒度语义特征和实体关系粒度语义特征。
最优选的，相似度计算还包括以下步骤：
步骤3.3.1：对字粒度向量和字粒度语义特征进行字粒度相似度计算，计算出字粒度候选路径下用户的自然语言问句和候选答案路径的字粒度相似度得分；
步骤3.3.2：对词粒度向量和词粒度语义特征进行词粒度相似度计算，计算出词粒度候选路径下用户的自然语言问句和候选答案路径的词粒度相似度得分；
步骤3.3.3：对实体关系粒度向量和实体关系粒度语义特征进行实体关系粒度相似度计算，计算出实体关系粒度候选路径下用户的自然语言问句和候选答案路径的实体关系粒度相似度得分；
步骤3.3.4：对字粒度相似度得分、词粒度相似度得分和实体关系粒度相似度得分进行权重分配，并计算出相似度总分。
最优选的，排序权重还包括以下步骤：
步骤4.1：根据相似度总分，对候选答案路径进行排序，获得排序后的候选答案路径；
步骤4.2：从排序后的候选答案路径中，筛选出多个候选答案路径；
步骤4.3：对多个候选答案路径分别赋予不同的权重，获得不同权重的多个候选答案路径。
运用此发明，解决了传统问答方法识别错误主题实体或无法识别主题实体的问题，降低了主题实体识别模型的错误率，提高了属性关系检测模型的准确率，提高了整个知识库问答的准确率。
相对于现有技术，本发明具有以下有益效果：
本发明提供的基于深度学习的知识库问答方法，解决知识库问答的三个步骤中分别提出了改进方法，在步骤一中很大程度上解决了主题实体识别步骤识别了错误的主题实体或者是识别不到主题实体的问题，降低了主题实体识别模型的错误率。在步骤中二中考虑到了候选路径上关系的作用和用户问句表达的更多语义信息，提高了属性关系检测模型的准确率。在步骤三中结合前两个步骤的结果，提高了整个知识库问答的准确率。
附图说明
图1为本发明提供的基于深度学习的知识库问答方法流程图。
图2为本发明提供的主题实体识别和权重赋值的方法流程图。
图3为本发明提供的计算相似度总分的方法流程图。
图4为本发明提供的排序权重方法流程图。
具体实施方式
以下结合附图通过具体实施例对本发明作进一步的描述，这些实施例仅用于说明本发明，并不是对本发明保护范围的限制。
本发明是一种基于深度学习的知识库问答方法，如图1所示，包括以下步骤：
步骤1：如图2所示，基于主题实体识别SAMM模型，对用户的自然语言问句进行主题实体识别，识别出多个主题实体。
其中，主题实体识别还包括以下步骤：
步骤1.1：将用户的自然语言问句进行分词拼接，获得拼接后的用户问句；其中，分词拼接还包括以下步骤：
步骤1.1.1：将用户的自然语言问句进行分词，并通过word2vec预训练词向量工具对分词后的每个词进行更新，得到维度为d的n个词向量，用维度为d的n个词向量作为用户问句Eq；其中，用户问句Eq满足：
其中，维度为d的n个词向量Eq∈Rn×d；n为词向量个数；d为词向量维度；
为用户问句中第i个词的词向量；在本实施例中，维度d为300。
步骤1.1.2：基于自注意力机制，计算用户问句Eq中内部任意两个词向量之间的依赖关系，即第i个词的词向量
和第j个词的词向量
获得用户问句Eq的自注意交互矩阵
且满足：
其中，k∈[1,n]；
为用户问句Eq中第j个词的词向量；αij为用户问句Eq中第i个词与第j个词之间的点乘相似度，且满足：
步骤1.1.3：将用户问句Eq与自注意交互矩阵
进行拼接，获得拼接后的用户问句Cq，且满足：
步骤1.2：基于双向长短时记忆网络，对拼接后的用户问句Cq进行上下文信息提取，获得含有上下文信息的语义特征Sq，且满足：
其中，
为拼接后的用户问句Cq在t时刻的语义特征；
步骤1.3：根据含有上下文信息的语义特征Sq进行特征识别，识别出多个主题实体。其中，特征识别还包括以下步骤：
步骤1.3.1：将含有上下文信息的语义特征Sq输入条件随机场CRF，获得标注后的问句序列；
步骤1.3.2：根据标注后的问句序列，识别出多个主题实体；在本实施例中，识别出N个主题实体。
步骤2：根据多个主题实体进行权重赋值，获得不同权重的多个中心实体；其中，权重赋值还包括以下步骤：
步骤2.1：根据多个主题实体的排序顺序，从中选出排序靠前的多个主题实体；
步骤2.2：根据排序顺序，对排序靠前的多个主题实体分别赋予不同的权重，获得不同权重的多个主题实体，分别作为不同权重的多个中心实体。
在本实施例中，排序靠前的多个体主题实体个数为K个，中心实体的个数为K个。
根据排序顺序赋予不同的权重是根据，主题实体中顺序靠前的赋予较大的权重，顺序靠后的赋予较小的权重，为后续的答案选择步骤提供了选择知识库问答结果的依据。
步骤3：如图3所示，基于属性关系监测MGQR模型，根据不同权重的多个中心实体，选出候选答案路径，并计算出用户的自然语言问句和候选答案路径的相似度总分。
其中，选出候选答案路径为通过K个中心实体，从知识库中选出K个对应的以该主题实体为中心，n个节点为半径的子图，并将子图上所有路径作为候选答案路径。
其中，计算用户的自然语言问句和候选答案路径的相似度总分还包括以下步骤：
步骤3.1：对候选答案路径中字、词和实体关系进行粒度向量表示，分别获得候选答案路径的字粒度向量、词粒度向量和实体关系粒度向量；其中，粒度向量表示还包括以下步骤：
步骤3.1.1：基于随机初始化的方式，对候选答案路径中的字进行字粒度向量表示，获得候选答案路径的字粒度向量；其中，字粒度向量为Pchar，且满足：
其中，v为候选答案路径中字的个数。
步骤3.1.2：基于word2vec预训练词向量工具，对候选答案路径中的词进行词粒度向量表示，获得候选答案路径的词粒度向量；其中，词粒度向量为Pword，且满足：
其中，h为候选答案路径中词的个数。
步骤3.1.3：对词粒度向量Pword进行更新，基于随机初始化的方式，对候选答案路径中的实体关系进行实体关系粒度向量表示，获得候选答案路径中的实体关系粒度向量；其中，实体关系粒度向量为Prelation，且满足：
其中，l为候选答案路径中实体关系的个数。
步骤3.2：根据候选答案路径的字粒度向量Pchar、词粒度向量Pword和实体关系粒度向量Prelation进行语义特征提取，获得候选答案路径的字粒度语义特征、词粒度语义特征和实体关系粒度语义特征。
其中，语义特征提取还包括以下步骤：
步骤3.2.1：对候选答案路径的字粒度向量Pchar、词粒度向量Pword和实体关系粒度向量Prelation分别进行加权计算，分别获得字粒度候选路径下的字粒度用户问句、词粒度候选路径下的词粒度用户问句和实体关系粒度的候选路径下的实体关系粒度用户问句；其中，字粒度用户问句为
且满足：
其中，
为用户问句中的第i个单词与字粒度候选路径中的每个字的匹配信息；eij为用户问句中第i个单词与字粒度候选路径中第j个字之间的点乘相似度，且满足：
词粒度用户问句为
且满足：
其中，
为用户问句中的第i个单词与词粒度候选路径中的每个词的匹配信息；bij为用户问句中第i个单词与字粒度候选路径中第j个词之间的点乘相似度，且满足：
实体关系粒度用户问句为
且满足：
其中，
为用户问句中的第i个单词与词粒度候选路径中的每个实体关系的匹配信息；fij为用户问句中第i个单词与字粒度候选路径中第j个实体关系之间的点乘相似度，且满足：
步骤3.2.2：基于卷积神经网络，分别对字粒度用户问句
词粒度用户问句
和实体关系粒度用户问句
进行提取，分别获得字粒度语义特征、词粒度语义特征和实体关系粒度语义特征；其中，字粒度语义特征为c_charq，且满足：
c_charq＝CNN(αq)；
词粒度语义特征为c_wordq，且满足：
c_wordq＝CNN(βq)；
实体关系粒度语义特征为c_req，且满足：
c_req＝CNN(γq)。
步骤3.3：基于双向长短时记忆网络，根据候选答案路径的字粒度向量Pchar、词粒度向量Pword和实体关系粒度向量Prelation和候选答案路径的字粒度语义特征c_charq、词粒度语义特征c_wordq、实体关系粒度语义特征c_req进行相似度计算，计算出用户的自然语言问句和候选答案路径的相似度总分。
其中，相似度计算还包括以下步骤：
步骤3.3.1：将字粒度向量Pchar和字粒度语义特征c_charq对应输入双向长短时记忆网络中，进行字粒度相似度计算，计算出字粒度候选路径下用户的自然语言问句和候选答案路径的字粒度相似度得分Score1；
步骤3.3.2：将词粒度向量Pword和词粒度语义特征c_wordq对应输入双向长短时记忆网络中，进行词粒度相似度计算，计算出词粒度候选路径下用户的自然语言问句和候选答案路径的词粒度相似度得分Score2；
步骤3.3.3：将实体关系粒度向量Prelation和实体关系粒度语义特征c_req对应输入双向长短时记忆网络中，进行实体关系粒度相似度计算，计算出实体关系粒度候选路径下用户的自然语言问句和候选答案路径的实体关系粒度相似度得分Score3；
步骤3.3.4：对字粒度相似度得分Score1、词粒度相似度得分Score2和实体关系粒度相似度得分Score3进行权重分配，并计算出用户问句和候选路径的相似度总分Score，且满足：
其中，μ，
ω分别为字粒度、词粒度和实体关系粒度的权重系数；且字粒度的权重系数μ、词粒度的权重系数
和实体关系粒度的权重系数ω为实验计算的最优解。
步骤4：如图4所示，根据相似度总分，对候选答案路径进行排序权重，获得不同权重的多个候选答案路径；其中，排序权重还包括以下步骤：
步骤4.1：根据相似度总分Score从高到低对候选答案路径进行排序，获得排序后的候选答案路径；
步骤4.2：从排序后的候选答案路径中，筛选出多个候选答案路径；在本实施例中，候选答案路径的个数为Z个；其中，Z≥1，Z小于候选答案路径的总个数。
步骤4.3：对多个候选答案路径分别赋予不同的权重，获得不同权重的多个候选答案路径。
Z个候选答案路径赋予不同的权重中，顺序靠前的赋予较大的权重，顺序靠后的赋予较小的权重。
步骤5：基于线性函数，对不同权重的多个中心实体和不同权重的多个候选答案路径进行函数匹配计算，获得最终答案并反馈给用户；其中，最终答案为Selection_Function，且满足：
其中，k_top_entity为不同权重的K个中心实体；z_top_path为不同权重的Z个候选答案路径；
为线性函数系数。
本发明的工作原理：
基于主题实体识别SAMM模型，对用户的自然语言问句进行主题实体识别，识别出多个主题实体；根据多个主题实体进行权重赋值，获得不同权重的多个中心实体；基于属性关系检测MGQR模型，根据不同权重的多个中心实体，选出候选答案路径，并计算出用户的自然语言问句和候选答案路径的相似度总分；根据相似度总分，对候选答案路径进行排序权重，获得不同权重的多个候选答案路径；基于线性函数，对不同权重的多个中心实体和不同权重的多个候选答案路径进行函数匹配计算，获得最终答案并反馈给用户。
综上所述，本发明一种基于深度学习的知识库问答方法，解决了传统问答方法识别错误主题实体或无法识别主题实体的问题，降低了主题实体识别模型的错误率，提高了属性关系检测模型的准确率，提高了整个知识库问答的准确率。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (10)
1.一种基于深度学习的知识库问答方法，其特征在于，包括以下步骤：
步骤1：基于主题实体识别SAMM模型，对用户的自然语言问句进行主题实体识别，识别出多个主题实体；
步骤2：根据所述多个主题实体进行权重赋值，获得不同权重的多个中心实体；
步骤3：基于属性关系检测MGQR模型，根据所述不同权重的多个中心实体，选出候选答案路径，并计算出用户的自然语言问句和所述候选答案路径的相似度总分；
步骤4：根据所述相似度总分，对所述候选答案路径进行排序权重，获得不同权重的多个候选答案路径；
步骤5：基于线性函数，对所述不同权重的多个中心实体和所述不同权重的多个候选答案路径进行函数匹配计算，获得最终答案并反馈给用户。
2.如权利要求1所述的基于深度学习的知识库问答方法，其特征在于，所述主题实体识别还包括以下步骤：
步骤1.1：将用户的自然语言问句进行分词拼接，获得拼接后的用户问句；
步骤1.2：对所述拼接后的用户问句进行上下文信息提取，获得含有上下文信息的语义特征；
步骤1.3：根据所述含有上下文信息的语义特征进行特征识别，识别出多个主题实体。
3.如权利要求2所述的基于深度学习的知识库问答方法，其特征在于，所述分词拼接还包括以下步骤：
步骤1.1.1：将用户的自然语言问句进行分词和更新，得到用户问句；
步骤1.1.2：基于自注意力机制，计算所述用户问句中任意两个词向量之间的依赖关系，获得所述用户问句的自注意交互矩阵；
步骤1.1.3：将所述用户问句与所述自注意交互矩阵进行拼接，获得拼接后的用户问句。
4.如权利要求2所述的基于深度学习的知识库问答方法，其特征在于，所述特征识别还包括以下步骤：
步骤1.3.1：将所述含有上下文信息的语义特征输入条件随机场CRF，获得标注后的问句序列；
步骤1.3.2：根据所述标注后的问句序列，识别出多个主题实体。
5.如权利要求1所述的基于深度学习的知识库问答方法，其特征在于，所述权重赋值还包括以下步骤：
步骤2.1：根据所述多个主题实体的排序顺序，从中选出排序靠前的多个主题实体；
步骤2.2：对所述排序靠前的多个主题实体分别赋予不同的权重，获得不同权重的多个主题实体，作为所述不同权重的多个中心实体。
6.如权利要求1所述的基于深度学习的知识库问答方法，其特征在于，计算所述相似度总分还包括以下步骤：
步骤3.1：对所述候选答案路径中字、词和实体关系进行粒度向量表示，分别获得所述候选答案路径的字粒度向量、词粒度向量和实体关系粒度向量；
步骤3.2：根据所述字粒度向量、所述词粒度向量和所述实体关系粒度向量进行语义特征提取，获得字粒度语义特征、词粒度语义特征和实体关系粒度语义特征；
步骤3.3：根据所述字粒度向量、所述词粒度向量、所述实体关系粒度向量和所述字粒度语义特征、所述词粒度语义特征、所述实体关系粒度语义特征进行相似度计算，计算出所述相似度总分。
7.如权利要求6所述的基于深度学习的知识库问答方法，其特征在于，所述粒度向量表示还包括以下步骤：
步骤3.1.1：基于随机初始化的方式，对所述候选答案路径中的字进行字粒度向量表示，获得所述字粒度向量；
步骤3.1.2：基于word2vec预训练词向量工具，对所述候选答案路径中的词进行词粒度向量表示，获得所述词粒度向量；
步骤3.1.3：基于随机初始化的方式，对所述候选答案路径中的实体关系进行实体关系粒度向量表示，获得所述实体关系粒度向量。
8.如权利要求6所述的基于深度学习的知识库问答方法，其特征在于，所述语义特征提取还包括以下步骤：
步骤3.2.1：对所述字粒度向量、所述词粒度向量和所述实体关系粒度向量分别进行加权计算，分别获得字粒度候选路径下的字粒度用户问句、词粒度候选路径下的词粒度用户问句和实体关系粒度的候选路径下的实体关系粒度用户问句；
步骤3.2.2：分别对所述字粒度用户问句、所述词粒度用户问句和所述实体关系粒度用户问句进行提取，分别获得所述字粒度语义特征、所述词粒度语义特征和所述实体关系粒度语义特征。
9.如权利要求6所述的基于深度学习的知识库问答方法，其特征在于，所述相似度计算还包括以下步骤：
步骤3.3.1：对所述字粒度向量和所述字粒度语义特征进行字粒度相似度计算，计算出字粒度候选路径下用户的自然语言问句和候选答案路径的字粒度相似度得分；
步骤3.3.2：对所述词粒度向量和所述词粒度语义特征进行词粒度相似度计算，计算出词粒度候选路径下用户的自然语言问句和候选答案路径的词粒度相似度得分；
步骤3.3.3：对所述实体关系粒度向量和所述实体关系粒度语义特征进行实体关系粒度相似度计算，计算出实体关系粒度候选路径下用户的自然语言问句和候选答案路径的实体关系粒度相似度得分；
步骤3.3.4：对所述字粒度相似度得分、所述词粒度相似度得分和所述实体关系粒度相似度得分进行权重分配，并计算出所述相似度总分。
10.如权利要求1所述的基于深度学习的知识库问答方法，其特征在于，所述排序权重还包括以下步骤：
步骤4.1：根据所述相似度总分，对所述候选答案路径进行排序，获得排序后的候选答案路径；
步骤4.2：从所述排序后的候选答案路径中，筛选出多个候选答案路径；
步骤4.3：对所述多个候选答案路径分别赋予不同的权重，获得所述不同权重的多个候选答案路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751026.5A CN111858896B (zh) | 2020-07-30 | 2020-07-30 | 一种基于深度学习的知识库问答方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010751026.5A CN111858896B (zh) | 2020-07-30 | 2020-07-30 | 一种基于深度学习的知识库问答方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858896A true CN111858896A (zh) | 2020-10-30 |
| CN111858896B CN111858896B (zh) | 2024-03-29 |
Family
ID=72945675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010751026.5A Active CN111858896B (zh) | 2020-07-30 | 2020-07-30 | 一种基于深度学习的知识库问答方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858896B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112579752A (zh) * | 2020-12-10 | 2021-03-30 | 上海明略人工智能(集团)有限公司 | 实体关系的抽取方法及装置、存储介质、电子设备 |
| CN112650845A (zh) * | 2020-12-30 | 2021-04-13 | 西安交通大学 | 一种基于bert与知识表示学习的问答***及方法 |
| CN112818675A (zh) * | 2021-02-01 | 2021-05-18 | 北京金山数字娱乐科技有限公司 | 一种基于知识库问答的实体抽取方法及装置 |
| CN115292461A (zh) * | 2022-08-01 | 2022-11-04 | 北京伽睿智能科技集团有限公司 | 基于语音识别的人机交互学习方法及*** |
| CN117521814A (zh) * | 2023-12-05 | 2024-02-06 | 北京科技大学 | 一种基于多模态输入和知识图谱的问答方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016112679A1 (zh) * | 2015-01-14 | 2016-07-21 | 百度在线网络技术（北京）有限公司 | 实现智能问答的方法、***和存储介质 |
| CN110232113A (zh) * | 2019-04-12 | 2019-09-13 | 中国科学院计算技术研究所 | 一种提高知识库问答准确度的方法及*** |
-
2020
- 2020-07-30 CN CN202010751026.5A patent/CN111858896B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016112679A1 (zh) * | 2015-01-14 | 2016-07-21 | 百度在线网络技术（北京）有限公司 | 实现智能问答的方法、***和存储介质 |
| CN110232113A (zh) * | 2019-04-12 | 2019-09-13 | 中国科学院计算技术研究所 | 一种提高知识库问答准确度的方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 安波;韩先培;孙乐;: "融合知识表示的知识库问答***", 中国科学:信息科学, no. 11 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112579752A (zh) * | 2020-12-10 | 2021-03-30 | 上海明略人工智能(集团)有限公司 | 实体关系的抽取方法及装置、存储介质、电子设备 |
| CN112650845A (zh) * | 2020-12-30 | 2021-04-13 | 西安交通大学 | 一种基于bert与知识表示学习的问答***及方法 |
| CN112650845B (zh) * | 2020-12-30 | 2023-01-03 | 西安交通大学 | 一种基于bert与知识表示学习的问答***及方法 |
| CN112818675A (zh) * | 2021-02-01 | 2021-05-18 | 北京金山数字娱乐科技有限公司 | 一种基于知识库问答的实体抽取方法及装置 |
| CN115292461A (zh) * | 2022-08-01 | 2022-11-04 | 北京伽睿智能科技集团有限公司 | 基于语音识别的人机交互学习方法及*** |
| CN115292461B (zh) * | 2022-08-01 | 2024-03-12 | 北京伽睿智能科技集团有限公司 | 基于语音识别的人机交互学习方法及*** |
| CN117521814A (zh) * | 2023-12-05 | 2024-02-06 | 北京科技大学 | 一种基于多模态输入和知识图谱的问答方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858896B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112115238B (zh) | 一种基于bert和知识库的问答方法和*** | |
| CN111639171B (zh) | 一种知识图谱问答方法及装置 | |
| KR102194837B1 (ko) | 지식기반 질문 응답 방법 및 장치 | |
| Neculoiu et al. | Learning text similarity with siamese recurrent networks | |
| CN111858896B (zh) | 一种基于深度学习的知识库问答方法 | |
| CN112214610B (zh) | 一种基于跨度和知识增强的实体关系联合抽取方法 | |
| CN104794169B (zh) | 一种基于序列标注模型的学科术语抽取方法及*** | |
| CN111985239A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| CN110597961A (zh) | 一种文本类目标注方法、装置、电子设备及存储介质 | |
| CN113515632B (zh) | 基于图路径知识萃取的文本分类方法 | |
| CN110968708A (zh) | 一种教育信息资源属性标注方法及*** | |
| CN112328800A (zh) | 自动生成编程规范问题答案的***及方法 | |
| CN114238653B (zh) | 一种编程教育知识图谱构建、补全与智能问答的方法 | |
| CN112131876A (zh) | 一种基于相似度确定标准问题的方法及*** | |
| CN115564393A (zh) | 一种基于招聘需求相似度的职位推荐方法 | |
| CN111581364B (zh) | 一种面向医疗领域的中文智能问答短文本相似度计算方法 | |
| CN113806493A (zh) | 一种用于互联网文本数据的实体关系联合抽取方法、装置 | |
| CN114048305A (zh) | 一种基于图卷积神经网络的行政处罚文书的类案推荐方法 | |
| Celikyilmaz et al. | A graph-based semi-supervised learning for question-answering | |
| CN111581365A (zh) | 一种谓词抽取方法 | |
| CN113780832B (zh) | 舆情文本评分方法、装置、计算机设备和存储介质 | |
| Vijayaraju | Image retrieval using image captioning | |
| CN114912460A (zh) | 基于文本挖掘的精细化拟合识别变压器故障方法及设备 | |
| CN112397201B (zh) | 一种面向智能问诊***的复述句生成优化方法 | |
| CN111339303B (zh) | 一种基于聚类与自动摘要的文本意图归纳方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |