CN112035627A - 自动问答方法、装置、设备及存储介质 - Google Patents

自动问答方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112035627A
CN112035627A CN202010731550.6A CN202010731550A CN112035627A CN 112035627 A CN112035627 A CN 112035627A CN 202010731550 A CN202010731550 A CN 202010731550A CN 112035627 A CN112035627 A CN 112035627A
Authority
CN
China
Prior art keywords
question
natural language
knowledge
answer
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010731550.6A
Other languages
English (en)
Other versions
CN112035627B (zh
Inventor
傅向华
杨静莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202010731550.6A priority Critical patent/CN112035627B/zh
Publication of CN112035627A publication Critical patent/CN112035627A/zh
Application granted granted Critical
Publication of CN112035627B publication Critical patent/CN112035627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用计算机技术领域，提供了一种自动问答方法、装置、设备及存储介质，该方法包括：获取自然语言问句，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息，将自然语言问句和知识信息输入预先训练好的自动问答模型，通过自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案，从而有效地提高了自动问答的准确度。

Description

自动问答方法、装置、设备及存储介质
技术领域
本发明属于计算机技术领域中的自然语言处理领域、机器学习领域、人工智能领域，尤其涉及一种自动问答方法、装置、设备及存储介质。
背景技术
自动问答技术涉及自然语言处理、机器学习、人工智能等，能够自动分析用户以自然语言方式提出的问题，返回给用户相应的答案。
针对自动问答技术，研究人员已提出了各式各类的自动问答模型，例如，基于序列到序列(Sequence to Sequence network，简称seq2seq)的自动问答模型。然而，目前的自动问答模型大多面临知识匮乏的问题，导致自动问答模型无法准确地理解问句，进而导致得到的答案准确度不高。
发明内容
本发明的目的在于提供一种自动问答方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的自动问答方法，导致自动问答中答***度不高的问题。
一方面，本发明提供了一种自动问答方法，所述方法包括下述步骤：
获取自然语言问句；
在预设的基于知识图谱的问答库中，查找所述自然语言问句的知识信息；
将所述自然语言问句和所述知识信息输入预先训练好的自动问答模型，获得所述自动问答模型输出的所述自然语言问句的答案。
另一方面，本发明提供了一种自动问答装置，所述装置包括：
问句获取单元，用于获取自然语言问句；
知识查找单元，用于在预设的基于知识图谱的问答库中，查找所述自然语言问句的知识信息；以及
答案生成单元，用于将所述自然语言问句和所述知识信息输入预先训练好的自动问答模型，获得所述自动问答模型输出的所述自然语言问句的答案。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述自动问答方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述自动问答方法所述的步骤。
本发明获取自然语言问句，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息，将自然语言问句和知识信息输入预先训练好的自动问答模型，获得自动问答模型输出的自然语言问句的答案，从而通过在基于知识图谱的问答库中查找自然语言问句的知识信息、将自然语言问句和知识信息输入字段问答模型，实现自动问答中自然语言问句和知识信息的融合，有效解决了自动问答中的知识匮乏问题，且提高了知识信息获取效率，进而提高了自动问答的准确度和效率。
附图说明
图1是本发明实施例一提供的自动问答方法的实现流程图；
图2是本发明实施例二提供的自动问答方法的实现流程图；
图3是本发明实施例三提供的自动问答装置的结构示意图；
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的自动问答方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获取自然语言问句。
本发明实施例适用于计算机、服务器、平板电脑、智能手机等电子设备。
在本发明实施例中，可获取用户输入的自然语言问句、或者终端设备发送的自然语言问句、或者预先采集的自然语言问句，以对获取的自然语言问句进行解答。其中，自然语言是指中文、英文或者日文等语言，自然语言问句是指通过自然语言表述的问句。例如，自然语言问句为“小孩子感冒用什么药物治疗？”。其中，自然语言问句的数量大于等于1，在自然语言问句的数量为多个时，后续可对多个自然语言问句分别进行自动解答。
在步骤S102中，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息。
在本发明实施例中，知识图谱包括一条条的知识，每条知识可以表示为一个主谓宾(Subject-Predicate-Object，简称SPO)三元组，其中，主语和宾语表示实体，谓语表示两个实体之间的关系，因此每条知识还可以理解为下列形式：实体-实体关系-实体。基于知识图谱的问答库中包括多个预设的实体类型、多个预设的实体关系类型和多个问句类型，因此，基于知识图谱的问答库中包括多条知识。可根据输入基于知识图谱的问答库中的自然语言问句，在知识图谱中查找相应的知识，由这些知识得到自然语言问句的知识信息，有效地提高了知识信息获取的效率。
作为示例地，以基于知识图谱的医药问答库为例，基于知识图谱的医药问答库中的实体类型可包括“诊断检查项目”(例如支气管造影、关节镜检查)、“医疗科目”(例如内科、整形美容科)、“疾病”、“药品”等；基于知识图谱的医药问答库中的实体关系类型可包括“属于”(例如XX症状属于XX科)、“疾病常用药品”(例如XX病常用XX药)、“疾病忌吃食物”(例如XX病忌吃XX食物)；基于知识图谱的医药问答库中的问句类型可包括“询问疾病症状”(例如：“XX病的症状有哪些”的问句类型为“询问疾病症状”)、“询问疾病病因”(例如：“为什么会患有XX病”的问句类型为“询问疾病病因”)。
在本发明实施例中，可在基于知识图谱的问答库中，通过数据库查询语句查找与自然语言问句相关的知识信息。其中，自然语言问句的知识信息的数量为一条或多条，每条知识信息可以是一句话，也可以是一段话。例如，自然语言问句“小孩子感冒发烧用什么药物治疗”，在基于知识图谱的问答库中会同时查找到与“小孩子感冒用什么药物治疗”相关的知识信息“小孩子感冒症状为XX时推荐使用XX药物，小孩子感冒症状为XXX时推荐使用XXX药物”、以及与“小孩子发烧用什么药物治疗”相关的知识信息“小孩子发烧推荐使用XX药物”。
在步骤S103中，将自然语言问句和知识信息输入预先训练好的自动问答模型，通过自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案。
在本发明实施例中，在得到自然语言问句的知识信息后，可将自然语言问句的知识信息当作自然语言问句的外部扩展知识，以对自然语言问句进行知识补充，解决自然问答过程中知识匮乏的问题。
在本发明实施例中，可将自然语言问句和自然语言问句的知识信息输入自动问答模型中。在自动问答模型中，对自然语言问句和知识信息分别进行编码，得到自然语言问句的问句表示和知识信息的知识表示，将问句表示与知识表示进行融合，得到融合了知识表示的问句表示，对融合了知识表示的问句表示进行解码，得到自然语言问句的答案。其中，自然语言问句的问句表示为自然语言问句的词向量序列，知识信息的知识表示为知识信息的词向量序列，自动问答模型为深度神经网络模型。
本发明实施例中，在基于知识图谱的问答库中，查找自然语言问句的知识信息，通过预先训练好的自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案，从而基于知识图谱的问答库获取知识信息，提高了知识信息的获取效率，通过自动问答模型对自然语言问句和知识信息进行处理得到答案，解决自动问答面临的知识匮乏的问题，进而提高了自动问答的准确度和效率。
实施例二：
图2示出了本发明实施例二提供的自动问答方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，获取自然语言问句。
在本发明实施例中，步骤S201可参照步骤S101的详细描述，不再赘述。
在步骤S202中，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息。
在本发明实施例中，知识图谱包括一条条的知识，每条知识可以表示为一个主谓宾三元组，还可以理解为下列形式：实体-实体关系-实体。基于知识图谱的问答库中包括多个预设的实体类型、多个预设的实体关系类型和多个问句类型，因此，基于知识图谱的问答库中包括多条知识。
在本发明实施例中，可在基于知识图谱的问答库中，通过数据库查询语句查找与自然语言问句相关的知识信息。其中，自然语言问句的知识信息的数量为一条或多条，每条知识信息可以是一句话，也可以是一段话。
在本发明实施例中，在基于知识图谱的问答库中，通过数据库查询语句查找与自然语言问句相关的知识信息的过程中，可先获取知识图谱的问答库中预设的类别词，将获取的类别词与自然语言问句进行匹配，确定自然语言问句所属的问句类别，其中，自然语言问句所属的问句类别可为一个或多个，例如，自然语言问句“怎么确定是否感冒”可能既属于“询问疾病症状”的问句类型，也属于“询问疾病需要做什么检查”的问句类型。再根据基于知识图谱的问答库中预设的关键词和主题词，对自然语言问句进行关键词和主题词提取，例如采用AC自动机(Aho-Corasick automation)算法提取关键词和主题词，其中，关键词和主题词都为句子中重要的词语，但主题词比关键词更为重要，自然语言问句通常包括少数的主题词和多个关键词，例如，自然语言问句“小孩子咳嗽和发热用什么药物治疗”中，“咳嗽”和“发热”是该自然语言问句中的主题词，“小孩子”、“药物”和“治疗”是该自然语言问句中的关键词。在得到自然语言问句的问句类型、主题词和关键词之后，可由自然语言问句的问句类型、主题词和关键词构成数据库查询语句，在基于知识图谱的问答库中查找到自然语言问句的知识信息，从而通过对自然语言问句进行语义分析，再根据语义分析得到的问句类型、主题词、关键词，查询得到知识信息，降低了知识信息查询的复杂度，提高了知识信息获取的效率。
在一个可行的实施方式中，基于知识图谱的问答库为图数据库，从而通过图数据库的方式提高知识图谱的存储效果和查找效率。例如，基于知识图谱的问答库为图数据库neo4j，数据库查找语句可为结构化的cypher查询语句。又如，基于知识图谱的问答库可采用现有的基于知识图谱的医药问答库。
在步骤S203中，通过自动问答模型中的编码器对自然语言问句进行编码，得到问句表示。
在本发明实施例中，可先对自然语言问句进向量化，将向量化后的自然语言问句输入自动问答模型中的编码器，对向量化后的自然语言问句进行编码，得到自然语言问句的问句表示。其中，自然语言问句的问句表示为自然语言问句中各个词的词向量构成的词向量序列，编码器为训练好的神经网络模型。
在一个可行的实施方式中，编码器包括预设数量个网络层，通过编码器中各个网络层依次对向量化后的自然语言问句进行编码，得到自然语言问句的问句表示，其中，各个网络层包括多头注意力层和前馈神经网络层，在将上一个网络层的输出作为当前的网络层的输入时，依次通过当前的网络层中的多头注意力层和前馈神经网络层对该输入进行处理，以提高自然语言问句的编码效果。
在一个可行的实施方式中，在通过各个网络从依次对向量化后的自然语言问句进行处理的过程中，将编码器中第N个网络层的输出，输入编码器中的第N+1个网络层的多头注意力层，得到该多头注意力层的输出，对该多头注意力层的输出进行残差学习和批标准化处理，将经过残差学习和批标准化处理的该多头注意力层的输出，输入第N+1个网络层中的前馈神经网络，得到第N+1个网络层的输出。再将第N+1个网络层的输出作为第N+2个网络层的输入，如此实现各个网络层的编码过程。其中，N大于等于1，第一个网络层的输入为向量化后的自然语言问句。因此，结合多头注意力层、残差学习、批标准化处理和前馈神经网络，提高自然语言问句的编码效果。
在一个可行的实施方式中，以第一个网络层为例，通过第一网络层对向量化的自然语言问句进行编码的过程，包括下列步骤：
(1)在第一层网络层的多头注意力层中，通过预设的权重参数对向量化的自然语言问句进行处理。处理公式可为：
Qi＝FWi Q、Ki＝FWi K、Vi＝FWi V，其中，Wi Q、Wi K、Wi V为多头注意层的权重参数，1≤i≤h，h为预设参数，F为向量化后的自然语言问句，Wi Q、Wi K、Wi V可在自动问答模型训练时训练得到。
(2)在第一层网络层的多头注意力层中，通过预设的自注意力公式对将计算得到的h个Qi、Ki、Vi进行计算，得到h个加权的特征矩阵Hi，根据h个加权的特征矩阵Hi得到最终的特征矩阵H。
特征矩阵Hi的计算公式可为：
Figure BDA0002603504760000071
Hi＝Attention(Qi,Ki,Vi)，dk为预设常数参数。
特征矩阵H的计算公式可为：
H＝Concat(H1,H2,…,Hh)W0，其中，Concat()为用于合并多个向量或者多个数组的函数，在此用于将多个特征矩阵Hi进行合并，W0为预设的权重参数，W0可在自动问答模型训练时训练得到。
(3)对特征矩阵H进行残差学习和批标准化处理。
对特征矩阵H进行残差学习的公式可为：
H'＝F+H，其中，H'为残差学习后的特征矩阵。
对残差学习后的特征矩阵H'进行批标准化处理的公式可为：
Figure BDA0002603504760000081
其中，γ和β为预设的权重参数，可以在自动问答模型训练时训练得到，
Figure BDA0002603504760000082
N为多头注意力层的节点个数，ε和为预设的常数参数，L为批标准化处理后的特征矩阵。
(4)在第一层网络层的前馈网络层中，对批标准化处理后的特征矩阵进行处理，得到该前馈网络层的输出。
在第一层网络层的前馈网络层中，对批标准化处理后的特征矩阵进行处理的处理公式可为：
FFN(L)＝max(0,LW1+b1)W2+b2，其中，W1、W2为预设的权重参数，b1、b2为预设的偏置参数，W1、W2、b1和b2可在自动问答模型训练时训练得到，max(0,LW1+b1)表示从0和LW1+b1中取最大值。
(5)对第一层网络层中的前馈网络层的输出进行残差学习和批标准化处理，得到第一层网络层的输出。其中，残差学习和批标准化处理不再赘述。
因此，通过上述(1)、(2)、(3)、(4)、(5)所描述的步骤完成第一层网络层对向量化后的自然语言问句的处理，后续的第二层、第三层等网络层的处理过程可参照第一层网络层的描述，不再赘述。其中，第一层网络层的输出是第二层网络层的输入，以此类推，将最后一层网络层的输出确定为自然语言问句的问句表示。
在步骤S204中，通过编码器对知识信息进行编码，得到知识表示。
在本发明实施例中，通过编码器对自然语言问句的知识信息进行编码，得到知识信息的知识表示，可参照通过编码器对自然语言问句进行编码得到问句表示的过程，不再赘述。
在步骤S205中，确定问句表示和知识表示进行融合的权重参数，根据权重参数对问句表示和知识表示进行融合，得到融合知识表示的问句表示。
在本发明实施例中，在得到自然语言问句的问句表示和自然语言问句的知识信息的知识表示之后，可确定用于问句表示和知识表示进行融合的融合参数，根据该融合参数将问句表示与知识表示进行融合，得到融合了知识表示的问句表示，从而使后续用于解码的问句表示包含充分的知识信息，提高答案准确度。
在一个可行的实施方式中，在确定用于问句表示与知识表示进行融合的融合参数的过程中，可先确定问句表示与知识表示之间的匹配度，在根据匹配度，确定问句表示与知识表示进行融合的融合参数，以提高问句表示与知识表示进行融合的融合参数的准确度。
在一个可行的实施方式中，问句表示与知识表示之间匹配度的计算公式为：
Figure BDA0002603504760000091
其中，rq为问句表示，rk为知识表示，f(rq,rk)为问句表示和知识表示的匹配度，
Figure BDA0002603504760000092
为预设的权重参数，
Figure BDA0002603504760000093
为预设的偏置参数，
Figure BDA0002603504760000094
和
Figure BDA0002603504760000095
可通过对自动问答模型进行训练得到。
进一步的，依据该匹配度确定融合参数的计算公式为：
Figure BDA0002603504760000096
其中，α为融合参数，relu()为激活函数，
Figure BDA0002603504760000097
为预设的权重参数，
Figure BDA0002603504760000098
为预设的偏置参数，
Figure BDA0002603504760000099
和
Figure BDA00026035047600000910
可通过对自动问答模型进行训练得到。α∈Rn，n为知识信息的数量，也为知识表示的数量。
在一个可行的实施方式中，在根据融合参数将问句表示与知识表示进行融合的过程中，融合参数可起到一个软切换的作用，以融合参数作为抽取概率，对知识表示进行信息抽取，以“1减去融合参数”作为抽取概率，对问句表示进行信息抽取，从而提高问句表示与知识表示进行融合的灵活性，降低问句表示与知识表示进行融合的复杂度。融合过程的计算公式可为：
r'k＝α*rk，r'q＝(1-α)*rq，Rq＝r'k+r'q。其中，Rq为融合了知识信息的问句表示，r'k为以融合参数α为抽取概率从知识表示中抽取得到的信息，r'q为以1减去融合参数α为抽取概率从问句表示中抽取得到的信息。
进一步的，在从基于知识图谱的问答库中未查找到自然语言问句的知识信息时，融合参数的值设置为0，此时知识表示的抽取概率为0，问句表示的抽取概率为1。在知识表示与问句表示融合之前，可对自然语言问句是否存在有效信息进行检测，若检测出自然语言问句不存在有效信息(例如，自然语言问句“今天不舒服是什么原因”中不存在有效消息)，则将融合参数的值设置为1，此时知识表示的抽取概率为1，问句表示的抽取概率为0，从而有效地提高知识表示与问句表示进行融合的灵活性。
在步骤S206中，通过自动问答模型中的解码器对融合知识表示的问句表示进行解码，得到答案。
在本发明实施例中，在得到融合了知识表示的问句表示后，可通过自动问答模型中的解码器对该融合了知识表示的问句表示进行解码，得到自然语言问句的答案，实现自然语言问句的自动问答。
在本发明实施例中，解码器包括多个网络层，每个网络层依次包括多头注意力层和前馈神经网络层，每个多头注意力层的输出都要进行残差学习和批标准化处理，每个前馈神经网络层的输出也都要进行残差学习和批标准化处理，多头注意力层、前馈神经网络层、残差学习和批标准化处理了参照编码层的详细描述，不再赘述。融合了知识表示的问句表示经过解码器的多个网络层处理后，得到最后一个网络层输出的预测词。将各个预测词输入编码器中与最后一个网络层连接的线性网络层和分类层、以及词汇表对应的预设概率分布，得到各个预测词的概率，依据各个预测词的概率，在所有预测词中进行词汇选取，将选取的词汇组合得到自然语言问句的答案。
在一个可行的实施方式，在依据各个预测词的概率，在所有预测词中进行词汇选取时，可依次选取概率最大的预测词，直至选取得到的预测词为预设的终止符。由所有选取的词汇按照选取的先后顺序进行组合，得到自然语言问句的答案，从而提高自动问答的准确度。
在一个可行的实施方式中，线性网络层和分类层可表示为下列公式：
Pkg＝softmax(Vy+b)，其中，Pkg为预测词汇y对应的概率，V为预设的权值参数，b为预设的偏置参数，V和b都可以通过自动问答模型的训练得到。
在一个可行的实施方式中，自动问答模型中的编码器和解码器可分别采用Transformer编码器和Transformer解码器，以提高自动问答模型的编码效果和解码效果。
在一个可行的实施方式中，在训练自动问答模型时，可采用有监督的训练方式，以提高自动问答模型的训练效果。
本发明实施例中，在基于知识图谱的问答库中，查找自然语言问句的知识信息，通过预先训练好的自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案，从而基于知识图谱的问答库获取知识信息，提高了知识信息的获取效率，通过自动问答模型对自然语言问句和知识信息进行处理得到答案，解决自动问答面临的知识匮乏的问题，进而提高了自动问答的准确度和效率。
实施例三：
图3示出了本发明实施例三提供的自动问答装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
问句获取单元31，用于获取自然语言问句；
知识查找单元32，用于在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息；以及
答案生成单元33，用于将自然语言问句和知识信息输入预先训练好的自动问答模型，通过自动问答模型对自然语言问句和知识信息进行编码、融合和解码，获得自动问答模型输出的自然语言问句的答案。
在一个可行的实施方式中，知识查找单元32，具体用于：
根据基于知识图谱的问答库中预设的类别词，确定自然语言问句所属的问句类别；根据基于知识图谱的问答库中预设的关键词和主题词，对自然语言问句进行关键词和主题词提取；根据自然语言问句所属的问句类别、自然语言问句中的关键词、以及自然语言问句中的主题词，在基于知识图谱的问答库中查找自然语言问句的知识信息。
在一个可行的实施方式中，答案生成单元33，具体用于：
通过自动问答模型中的编码器对自然语言问句进行编码，得到问句表示；确定用于问句表示与知识表示进行融合的融合参数；根据融合参数对问句表示和知识表示进行融合，得到融合知识表示的问句表示；通过自动问答模型中的解码器对融合知识表示的问句表示进行解码，得到答案。
在一个可行的实施方式中，编码器包括预设数量个网络层；答案生成单元33，具体用于：
对自然语言问句进行向量化；将向量化后的自然语言问句输入编码器；通过各网络层依次对向量化后的自然语言问句进行编码，得到问句表示，各网络层包括多头注意力层和前馈神经网络层。
在一个可行的实施方式中，答案生成单元33，具体用于：
将编码器中第N各网络层的输出，输入编码器中第N+1各网络层中的多头注意力层，N大于等于1；对第N+1个网络层中多头注意力层的输出进行残差学习和批标准化处理，得到第N+1个网络层中前馈神经网络层的输入；将第N+1个网络层中前馈神经网络层的输出进行残差学习和批标准化处理，得到第N+1个网络层的输出。
在一个可行的实施方式中，答案生成单元33，具体用于：
确定问句表示与知识表示之间的匹配度；根据匹配度，确定融合参数。
在一个可行的实施方式中，答案生成单元33，具体用于：
根据解码器和预设的词汇表，将融合了知识表示的问句表示输入解码器，得到词汇表的概率分布；根据词汇表的概率分布，在词汇表中依次选取预测词，根据选取的预测词得到答案。
在本发明实施例中，自动问答装置的具体实现和达到的技术效果可参照相应方法实施例的具体描述，不再赘述。
在本发明实施例中，自动问答装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例四：
图4示出了本发明实施例四提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S103或者图2所示的步骤S201至S206。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，获取自然语言问句，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息，将自然语言问句和知识信息输入预先训练好的自动问答模型，通过自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案，从而有效地解决了自动问答的知识匮乏问题，提高自动问答的准确度。
本发明实施例的电子设备可以为计算机、服务器、平板电脑等。该电子设备终端4中处理器40执行计算机程序42时实现自动问答方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S103，或者图2所示的步骤S201至步骤S206。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，获取自然语言问句，在预设的基于知识图谱的问答库中，查找自然语言问句的知识信息，将自然语言问句和知识信息输入预先训练好的自动问答模型，通过自动问答模型对自然语言问句和知识信息进行编码、融合和解码，得到自动问答模型输出的自然语言问句的答案，从而有效地解决了自动问答的知识匮乏问题，提高自动问答的准确度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动问答方法，其特征在于，所述方法包括下述步骤：
获取自然语言问句；
在预设的基于知识图谱的问答库中，查找所述自然语言问句的知识信息；
将所述自然语言问句和所述知识信息输入预先训练好的自动问答模型，通过所述自动问答模型对所述自然语言问句和所述知识信息进行编码、融合和解码，得到所述自动问答模型输出的所述自然语言问句的答案。
2.根据权利要求1所述的方法，其特征在于，所述在预设的基于知识图谱的问答库中，查找所述自然语言问句的知识信息，包括：
根据所述基于知识图谱的问答库中预设的类别词，确定所述自然语言问句所属的问句类别；
根据所述基于知识图谱的问答库中预设的关键词和主题词，对所述自然语言问句进行关键词和主题词提取；
根据所述自然语言问句所属的问句类别、所述自然语言问句中的关键词、以及所述自然语言问句中的主题词，在所述基于知识图谱的问答库中查找所述自然语言问句的知识信息。
3.根据权利要求1所述的方法，其特征在于，所述将所述自然语言问句和所述知识信息输入预先训练好的自动问答模型，通过所述自动问答模型对所述自然语言问句和所述知识信息进行编码、融合和解码，得到所述自动问答模型输出的所述自然语言问句的答案，包括：
通过所述自动问答模型中的编码器对所述自然语言问句进行编码，得到问句表示；
通过所述编码器对所述知识信息进行编码，得到知识表示；
确定用于所述问句表示与所述知识表示进行融合的融合参数；
根据所述融合参数对所述问句表示和知识表示进行融合，得到融合所述知识表示的问句表示；
通过所述自动问答模型中的解码器对融合所述知识表示的问句表示进行解码，得到所述答案。
4.根据权利要求3所述的方法，其特征在于，所述编码器包括预设数量个网络层，所述通过所述自动问答模型中的编码器对所述自然语言问句进行编码，得到问句表示的步骤，包括：
对所述自然语言问句进行向量化；
将向量化后的所述自然语言问句输入所述编码器；
通过各所述网络层依次对向量化后的所述自然语言问句进行编码，得到所述问句表示，各所述网络层包括多头注意力层和前馈神经网络层。
5.根据权利要求4所述的方法，其特征在于，所述通过各所述网络层依次对向量化后的所述自然语言问句进行处理，包括：
将所述编码器中第N个网络层的输出，输入所述编码器中第N+1个网络层中的多头注意力层，所述N大于等于1；
对所述第N+1个网络层中多头注意力层的输出进行残差学习和批标准化处理，得到所述第N+1个网络层中前馈神经网络层的输入；
将所述第N+1个网络层中前馈神经网络层的输入，输入所述第N+1个网络层中的前馈神经网络；
对所述第N+1个网络层中前馈神经网络层的输出进行残差学习和批标准化处理，得到所述第N+1个网络层的输出。
6.根据权利要求3所述的方法，其特征在于，所述确定用于所述问句表示与所述知识表示进行融合的融合参数，包括：
确定所述问句表示与所述知识表示之间的匹配度；
根据所述匹配度，确定所述融合参数。
7.根据权利要求3所述的方法，其特征在于，所述通过解码器对融合了所述知识表示的问句表示进行解码，得到所述答案，包括：
根据预设的词汇表的概率分布，将融合了所述知识表示的问句表示输入所述解码器，得到多个预测词的概率；
根据所述多个预测词的概率，进行词汇选取；
根据选取得到的词汇，得到所述答案。
8.一种自动问答装置，其特征在于，所述装置包括：
问句获取单元，用于获取自然语言问句；
知识查找单元，用于在预设的基于知识图谱的问答库中，查找所述自然语言问句的知识信息；以及
答案生成单元，用于将所述自然语言问句和所述知识信息输入预先训练好的自动问答模型，通过所述自动问答模型对所述自然语言问句和所述知识信息进行编码、融合和解码，获得所述自动问答模型输出的所述自然语言问句的答案。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202010731550.6A 2020-07-27 2020-07-27 自动问答方法、装置、设备及存储介质 Active CN112035627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010731550.6A CN112035627B (zh) 2020-07-27 2020-07-27 自动问答方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010731550.6A CN112035627B (zh) 2020-07-27 2020-07-27 自动问答方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112035627A true CN112035627A (zh) 2020-12-04
CN112035627B CN112035627B (zh) 2023-11-17

Family

ID=73583231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010731550.6A Active CN112035627B (zh) 2020-07-27 2020-07-27 自动问答方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112035627B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559707A (zh) * 2020-12-16 2021-03-26 四川智仟科技有限公司 一种基于知识驱动的客服问答方法
CN112650768A (zh) * 2020-12-22 2021-04-13 网易（杭州）网络有限公司 对话信息的生成方法、装置及电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276723A1 (en) * 2006-04-28 2007-11-29 Gideon Samid BiPSA: an inferential methodology and a computational tool
US20110307435A1 (en) * 2010-05-14 2011-12-15 True Knowledge Ltd Extracting structured knowledge from unstructured text
CN102663129A (zh) * 2012-04-25 2012-09-12 中国科学院计算技术研究所 医疗领域深度问答方法及医学检索***
US20130262125A1 (en) * 2005-08-01 2013-10-03 Evi Technologies Limited Knowledge repository
US9336259B1 (en) * 2013-08-08 2016-05-10 Ca, Inc. Method and apparatus for historical analysis analytics
CN106710596A (zh) * 2016-12-15 2017-05-24 腾讯科技（上海）有限公司 回答语句确定方法及装置
CN107729493A (zh) * 2017-09-29 2018-02-23 北京创鑫旅程网络技术有限公司 旅行知识图谱的构建方法、装置及旅行问答方法、装置
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN108073600A (zh) * 2016-11-11 2018-05-25 阿里巴巴集团控股有限公司 一种智能问答交互方法、装置以及电子设备
CN108647233A (zh) * 2018-04-02 2018-10-12 北京大学深圳研究生院 一种用于问答***的答案排序方法
CN108984778A (zh) * 2018-07-25 2018-12-11 南京瓦尔基里网络科技有限公司 一种智能交互自动问答***以及自我学习方法
CN109271524A (zh) * 2018-08-02 2019-01-25 中国科学院计算技术研究所 知识库问答***中的实体链接方法
CN109918489A (zh) * 2019-02-28 2019-06-21 上海乐言信息科技有限公司 一种多策略融合的知识问答方法和***
CN110188182A (zh) * 2019-05-31 2019-08-30 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及介质
CN111125333A (zh) * 2019-06-06 2020-05-08 北京理工大学 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN111274373A (zh) * 2020-01-16 2020-06-12 山东大学 一种基于知识图谱的电子病历问答方法及***

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130262125A1 (en) * 2005-08-01 2013-10-03 Evi Technologies Limited Knowledge repository
US20070276723A1 (en) * 2006-04-28 2007-11-29 Gideon Samid BiPSA: an inferential methodology and a computational tool
US20110307435A1 (en) * 2010-05-14 2011-12-15 True Knowledge Ltd Extracting structured knowledge from unstructured text
CN102663129A (zh) * 2012-04-25 2012-09-12 中国科学院计算技术研究所 医疗领域深度问答方法及医学检索***
US9336259B1 (en) * 2013-08-08 2016-05-10 Ca, Inc. Method and apparatus for historical analysis analytics
CN108073600A (zh) * 2016-11-11 2018-05-25 阿里巴巴集团控股有限公司 一种智能问答交互方法、装置以及电子设备
CN106710596A (zh) * 2016-12-15 2017-05-24 腾讯科技（上海）有限公司 回答语句确定方法及装置
CN107748757A (zh) * 2017-09-21 2018-03-02 北京航空航天大学 一种基于知识图谱的问答方法
CN107729493A (zh) * 2017-09-29 2018-02-23 北京创鑫旅程网络技术有限公司 旅行知识图谱的构建方法、装置及旅行问答方法、装置
CN108647233A (zh) * 2018-04-02 2018-10-12 北京大学深圳研究生院 一种用于问答***的答案排序方法
CN108984778A (zh) * 2018-07-25 2018-12-11 南京瓦尔基里网络科技有限公司 一种智能交互自动问答***以及自我学习方法
CN109271524A (zh) * 2018-08-02 2019-01-25 中国科学院计算技术研究所 知识库问答***中的实体链接方法
CN109918489A (zh) * 2019-02-28 2019-06-21 上海乐言信息科技有限公司 一种多策略融合的知识问答方法和***
CN110188182A (zh) * 2019-05-31 2019-08-30 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及介质
CN111125333A (zh) * 2019-06-06 2020-05-08 北京理工大学 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN111274373A (zh) * 2020-01-16 2020-06-12 山东大学 一种基于知识图谱的电子病历问答方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHISH VASWANI: "Attention is all you need", 《PROCEEDINGS OF THE 31ST INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, pages 6000 - 6010 *
SHUMAN LIU: "Knowledge Diffusion for Neural Dialogue Generation", 《PROCEEDINGS OF THE 56TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS 》, vol. 1, pages 1489 *
徐聪: "基于深度学习和强化学习的对话模型研究", 《中国博士学位论文全文数据库 信息科技》, pages 138 - 261 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559707A (zh) * 2020-12-16 2021-03-26 四川智仟科技有限公司 一种基于知识驱动的客服问答方法
CN112650768A (zh) * 2020-12-22 2021-04-13 网易（杭州）网络有限公司 对话信息的生成方法、装置及电子设备

Also Published As

Publication number Publication date
CN112035627B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
Liu et al. Probabilistic reasoning via deep learning: Neural association models
CN111209384B (zh) 基于人工智能的问答数据处理方法、装置及电子设备
CN114565104A (zh) 语言模型的预训练方法、结果推荐方法及相关装置
CN112667799B (zh) 一种基于语言模型和实体匹配的医疗问答***构建方法
WO2023029506A1 (zh) 病情分析方法、装置、电子设备及存储介质
CN111444715B (zh) 实体关系识别方法、装置、计算机设备和存储介质
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN115048447B (zh) 一种基于智能语义补全的数据库自然语言接口***
CN113408430B (zh) 基于多级策略和深度强化学习框架的图像中文描述***及方法
WO2022227203A1 (zh) 基于对话表征的分诊方法、装置、设备及存储介质
CN113704437A (zh) 一种融合多头注意力机制和相对位置编码的知识库问答方法
CN112035627B (zh) 自动问答方法、装置、设备及存储介质
CN112632250A (zh) 一种多文档场景下问答方法及***
CN108509539B (zh) 信息处理方法电子设备
CN112380867A (zh) 文本处理、知识库的构建方法、装置和存储介质
CN116662502A (zh) 基于检索增强的金融问答文本生成方法、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN115455985A (zh) 一种基于机器阅读理解的自然语言***的处理方法
CN111540470A (zh) 一种基于bert迁移学习的社交网络抑郁倾向检测模型及其训练方法
CN117056475A (zh) 一种基于知识图谱的智能制造问答方法、装置及存储介质
CN112668481A (zh) 一种遥感图像语义抽取方法
CN116737911A (zh) 基于深度学习的高血压问答方法及***
CN114637852B (zh) 医学文本的实体关系抽取方法、装置、设备及存储介质
CN112131363B (zh) 自动问答方法、装置、设备及存储介质
CN114443818A (zh) 一种对话式知识库问答实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant