CN116467419A - 基于人工智能的对话生成方法、装置、计算机设备及介质 - Google Patents

基于人工智能的对话生成方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN116467419A
CN116467419A CN202310446327.0A CN202310446327A CN116467419A CN 116467419 A CN116467419 A CN 116467419A CN 202310446327 A CN202310446327 A CN 202310446327A CN 116467419 A CN116467419 A CN 116467419A
Authority
CN
China
Prior art keywords
target
template
question
entity
templates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310446327.0A
Other languages
English (en)
Inventor
李志韬
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202310446327.0A priority Critical patent/CN116467419A/zh
Publication of CN116467419A publication Critical patent/CN116467419A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于人工智能领域，尤其涉及一种基于人工智能的对话生成方法、装置、计算机设备及介质。本发明根据命名实体识别算法对目标问题进行识别，确定各个目标实体词及其实体类别，得到更注重问题关键信息的目标问题模板，并获取少量的N个示例问题模板作为参照，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，提高了模板之间的匹配效率，从语料库中获取相似问题模板对应的答案模板以得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据并输入至训练好的对话生成模型以得到目标答案，同时提取了相似问答模板和目标问题的特征，提高了对话生成结果的准确性。

Description

基于人工智能的对话生成方法、装置、计算机设备及介质
技术领域
本发明适用于人工智能领域，尤其涉及一种基于人工智能的对话生成方法、装置、计算机设备及介质。
背景技术
现有对话生成***通常是基于抽取式模型，通过在大规模的文档语料库中进行目标问题与预设问题之间的相似度匹配，以检索出对应的文档内容并进行阅读理解，抽取出与目标问题最匹配的材料片段作为回复。
文档语料库中储存的文档内容是有限的，该种对话生成方法在目标问题中包含各种不同的人名、地名、时间、日期以及其他类别的实体词时，由于无法在文档语料库中穷尽列出所有的人名、地名、时间、日期等实体词，会降低相似度匹配的准确性，从而检索出错误的文档内容进行回复，大大降低了对话生成结果的准确性。
因此，在对话生成任务中，如何提高对话生成结果的准确性成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于人工智能的对话生成方法、装置、计算机设备及介质，以解决现有对话生成方法的结果准确性较低的问题。
第一方面，本发明实施例提供一种基于人工智能的对话生成方法，所述对话生成方法包括：
获取目标问题，根据命名实体识别算法对所述目标问题进行识别，确定所述目标问题中的各个目标实体词以及各个所述目标实体词的实体类别，根据所述目标问题、各个所述目标实体词以及所述实体类别得到目标问题模板，所述实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数中的至少一种；
从语料库中获取N个示例问题模板，分别计算所述目标问题模板和各个所述示例问题模板的相似度，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板，其中，N为大于1的整数；
从所述语料库中获取所述相似问题模板对应的答案模板，根据所述相似问题模板以及对应的所述答案模板得到相似问答模板，根据所述相似问答模板和所述目标问题得到目标输入数据；
将所述目标输入数据输入至训练好的对话生成模型，得到目标答案。
第二方面，本发明实施例提供一种基于人工智能的对话生成装置，所述对话生成装置包括：
问题模板确定模块，用于获取目标问题，根据命名实体识别算法对所述目标问题进行识别，确定所述目标问题中的各个目标实体词以及各个所述目标实体词的实体类别，根据所述目标问题、各个所述目标实体词以及所述实体类别得到目标问题模板，所述实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数；
相似模板筛选模块，用于从语料库中获取N个示例问题模板，分别计算所述目标问题模板和各个所述示例问题模板的相似度，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板，其中，N为大于1的整数；
输入数据确定模块，用于从所述语料库中获取所述相似问题模板对应的答案模板，根据所述相似问题模板以及对应的所述答案模板得到相似问答模板，根据所述相似问答模板和所述目标问题得到目标输入数据；
目标答案生成模块，用于将所述目标输入数据输入至训练好的对话生成模型，得到目标答案。
第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的对话生成方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的对话生成方法。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板，使得目标问题模板与目标问题相比，更注重问题的关键信息，使得后续步骤中只需从语料库中获取少量的N个示例问题模板，以目标问题模板作为参照，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，提高了问题模板之间的匹配效率，并从语料库中获取相似问题模板对应的答案模板，根据相似问题模板以及对应的答案模板得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据，将目标输入数据输入至训练好的对话生成模型得到目标答案，同时提取了相似问答模板和目标问题的特征，提高了对话生成结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于人工智能的对话生成方法的一应用环境示意图；
图2是本发明实施例一提供的一种基于人工智能的对话生成方法的流程示意图；
图3是本发明实施例二提供的一种基于人工智能的对话生成装置的结构示意图；
图4是本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例一提供的一种基于人工智能的对话生成方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端计算机设备、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参见图2，是本发明实施例一提供的一种基于人工智能的对话生成方法的流程示意图，上述对话生成方法可以应用于图1中的客户端，该对话生成方法可以包括以下步骤：
步骤S201，获取目标问题，根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板。
其中，命名实体识别算法用于识别文本中的实体词以及各个实体词的实体类别，其中，实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数中的至少一种。
由于实体词不可能在语料库中穷尽列出，在根据目标问题和对话生成模型生成目标答案时，目标问题中的实体词会降低问题匹配的准确性，从而降低对话生成模型的结果准确性。因此，为了提高对话生成模型的准确性，在本实施例中，首先根据命名实体识别算法对目标问题进行实体词识别以及对应实体类别的判断，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，以根据目标问题、各个目标实体词以及实体类别得到目标问题模板，使得目标问题模板与目标问题相比，更注重问题中的关键内容，从而提高问题匹配时的准确性，进而提高对话生成模型的结果准确性。
可选的是，根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板，包括：
根据分词算法对目标问题进行分词，得到目标问题的若干个词项；
根据命名实体识别算法对各个词项进行识别，确定各个词项的实体类别；
根据各个词项的实体类别确定目标问题中的实体词和非实体词；
通过将目标问题中的实体词替换为对应的实体类别，并保留目标问题中的非实体词，得到目标问题模板。
其中，分词算法用于将文字切分成一个一个单独的词项，例如，基于字符串匹配的分词算法和机械分词算法等。
在本实施例中，首先根据分词算法对目标问题进行分词，得到目标问题的若干个词项，然后使用命名实体识别算法对各个词项进行识别，确定各个词项的实体类别，其中，实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数中的至少一种。
当词项对应的实体类别为非实体时，可确定该词项为非实体词，当词项对应的实体类别为人名、地名、组织机构名、时间、日期、货币量或百分数时，可确定该词项为实体词。
在根据目标问题、各个目标实体词以及实体类别得到目标问题模板时，为了使得目标问题模板与目标问题相比，更注重问题中的关键内容，在本实施例中，将目标问题中的实体词替换为对应的实体类别，并保留目标问题中的非实体词，得到目标问题模板，并将得到的目标问题模板用于后续问题之间的匹配，以提高问题匹配时的准确性，进而提高对话生成模型的结果准确性。
上述根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板的步骤，基于对目标问题中实体词的识别以及实体类别的判断得到目标问题模板，与目标问题相比，目标问题模板更注重目标问题中的关键内容，提高了后续问题匹配时的准确性，进而提高了对话生成模型的结果准确性。
步骤S202，从语料库中获取N个示例问题模板，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板。
其中，语料库中存储有N个示例问题模板以及与各个示例问题模板对应的答案模板，作为与目标问题模板进行匹配的基础，通过在语料库中筛选出与目标问题模板最相似的示例问题模板，以结合对应的答案模板生成目标答案，提高对话生成模型的结果准确性。其中，N为语料库中存储的示例问题模板的数量，N为大于1的整数。
具体地，在本实施例中，在得到目标问题模板之后，首先从语料库中获取N个示例问题模板，分别计算目标问题模板和各个示例问题模板的相似度，并对N个相似度进行比较，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，以使得在确定目标问题的目标答案时，可以通过参考该相似问题模板以及对应的答案模板来提高目标答***性。
可选的是，从语料库中获取N个示例问题模板，包括：
根据命名实体识别算法对语料库中的M个预设问题进行识别，确定各个预设问题中的各个问题实体词以及各个问题实体词的实体类别，根据各个预设问题、各个问题实体词以及实体类别得到M个问题模板；
根据预设的聚类算法对M个问题模板进行聚类，得到N个聚类集合；
根据各个聚类集合中各个问题模板之间的距离，从各个聚类集合中分别筛选出一个示例问题模板，得到N个示例问题模板。
其中，在语料库中只包含M个预设问题以及对应的M个预设答案时，为了提高问题匹配时的准确性，需要获得预设问题的问题模板，使得问题模板与预设问题相比，更注重问题中的关键内容，以提高与目标问题模板的匹配准确性。
具体地，根据命名实体识别算法对语料库中的M个预设问题进行识别，确定各个预设问题中的各个问题实体词以及各个问题实体词的实体类别，然后，根据预设问题、各个问题实体词以及实体类别得到M个问题模板。
在一实施方式中，针对任一预设问题，根据各个问题实体词的实体类别确定预设问题中的问题实体词和非问题实体词，通过将预设问题中的问题实体词替换为对应的实体类别，并保留预设问题中的非问题实体词，得到与对应预设问题相比更注重问题中的关键内容的问题模板。
在本实施例中，由于问题模板中的问题实体词被对应的实体类别所替换，因此，不同预设问题的问题模板可能一致，例如，对于预设问题“Who is Jack？”以及预设问题“Whois Tom？”，其中的“Jack”和“Tom”为问题实体词，且对应实体类别均为“name”(人名)，使用实体类别“name”替换“Jack”和“Tom”，得到的两个问题模板均为“Who is name？”。
因此，为了提高问题模板的匹配效率，在本实施例中，通过对M个问题模板进行聚类，将一致或者相似的问题模板聚类在同一个集合中，并从各个集合中筛选出一个问题模板作为示例问题模板，用于后续与目标问题模板的匹配计算，以减少模板匹配中的冗余计算，有效提高问题模板的匹配效率。
具体地，首先根据预设的聚类算法对M个问题模板进行聚类，得到N个聚类集合，预设的聚类算法用于将一致或者相似的问题模板聚类在同一个集合中，例如，K均值聚类、均值漂移聚类、基于密度的聚类方法以及使用高斯混合模型的最大期望聚类方法等，在本实施例中，预设的聚类算法可根据实际情况进行设定。
然后，针对任一聚类集合，计算其中各个问题模板之间的距离，并选取与其他问题模板之间的距离之和最小的问题模板，作为从该聚类集合中筛选出的示例问题模板，该示例问题模板作为该聚类集合模板中问题模板的代表，可以有效表征该聚类集合包含的问题关键信息。则通过计算各个聚类集合中各个问题模板之间的距离，从各个聚类集合中筛选出一个示例问题模板，得到N个示例问题模板。
可选的是，语料库中存储有与N个示例问题模板对应的N个答案模板，N个答案模板的生成方法包括：
从语料库中获取与N个示例问题模板一一对应的N个预设答案；
根据命名实体识别算法对N个预设答案进行识别，确定预设答案中的各个答案实体词以及各个答案实体词的实体类别，根据预设答案、各个答案实体词以及实体类别得到N个答案模板。
其中，N个示例问题模板用于在执行对话生成任务时，与目标问题模板进行相似度匹配，并确定与目标问题模板最相似的示例问题模板对应的预设答案，以基于该预设答案完成目标答案的生成。
因此，为了减少预设答案中的答案实体词对目标答案的影响，对于语料库中与N个示例问题模板一一对应的N个预设答案，根据命名实体识别算法对N个预设答案分别进行识别，确定各个预设答案中的各个答案实体词以及各个答案实体词的实体类别，并根据各个预设答案、各个答案实体词以及实体类别得到N个答案模板。
在一实施方式中，使用N个示例问题模板和对应的N个答案模板替换语料库中的M个预设问题和对应的M个预设答案，即可更新语料库中的内容，得到包含N个示例问题模板和对应的N个答案模板的语料库，以提高问题模板之间的匹配效率，进而提高对话生成效率。
可选的是，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，包括：
根据词向量技术将目标问题模板转换为目标问题向量，根据词向量技术将各个示例问题模板转换为对应的示例问题向量；
根据目标问题向量、各个示例问题向量和预设的相似度计算公式，计算得到目标问题模板和对应的各个示例问题模板的相似度；
对N个相似度进行比较，将相似度最大的示例问题模板作为目标问题模板的相似问题模板。
其中，词向量技术用于将文本表示成一系列能够表达文本语义的向量，例如，独热编码(One-hot Encoding)和Word2Vec(一种词向量模型)。在本实施例中，根据Word2Vec技术将目标问题模板转换为目标问题向量，该目标问题向量可以用来表征目标问题模板中的语义信息，根据Word2Vec技术将各个示例问题模板转换为对应的示例问题向量，该示例问题向量可以用来表征对应示例问题模板中的语义信息。
因此，在进行目标问题模板和各个示例问题模板之间的匹配时，将目标问题向量和各个示例问题向量之间的相似度，作为目标问题模板和对应的各个示例问题模板之间的相似度，则相似度越高，表征目标问题模板和对应的示例问题模板越相似。则对得到的N个相似度进行比较，即可将相似度最大的示例问题模板作为目标问题模板的相似问题模板，该相似问题模板作为与目标问题模板最相似的问题模板，用于后续目标答案的生成，提高了对话生成结果的准确性。
可选的是，根据目标问题向量、各个示例问题向量和预设的相似度计算公式，计算得到目标问题模板和对应的各个示例问题模板的相似度，包括：
将目标问题向量和各个示例问题向量代入至预设的相似度计算公式，得到目标问题模板和对应的各个示例问题模板的相似度；
预设的相似度计算公式如下：
式中，Xi为目标问题模板和第i个示例问题模板的相似度，m为目标问题向量，si为第i个示例问题向量，其中，i＝1,2，…，N。
其中，目标问题向量可以用来表征目标问题模板中的语义信息，示例问题向量可以用来表征对应示例问题模板中的语义信息，在本实施例中，通过计算目标问题向量和各个示例问题向量之间的余弦相似度，即可用来表示目标问题模板和对应的各个示例问题模板的相似度，且余弦相似度越大，表示目标问题模板和对应的示例问题模板的相似度越大。
举例说明，将目标问题向量m和第i个示例问题向量si代入至预设的相似度计算公式中，即可得到目标问题模板和第i个示例问题模板之间的相似度Xi：
式中，Xi为目标问题模板和第i个示例问题模板的相似度，m为目标问题向量，si为第i个示例问题向量。
上述从语料库中获取N个示例问题模板，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板的步骤，获取更注重问题中关键内容的示例问题模板，减少了问题实体词在问题模板匹配时的影响，有效提高了问题模板之间的匹配准确性，并筛选出与目标问题模板最相似的示例问题模板用于后续目标答案的生成，提高了对话生成结果的准确性。
步骤S203，从语料库中获取相似问题模板对应的答案模板，根据相似问题模板以及对应的答案模板得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据。
其中，语料库中存储有N个示例问题模板以及与各个示例问题模板对应的答案模板，从中获取相似问题模板对应的答案模板后，将相似问题模板以及对应的答案模板相结合得到相似问答模板，该相似问答模板可以有效表征与目标问题最相似的问题结构以及对应的答案结构。
因此，根据相似问答模板和目标问题得到目标输入数据，该目标输入数据可以借助相似问答模板更有效地推理目标问题，以得到更准确的目标答案，提高对话生成结果的准确性。
上述从语料库中获取相似问题模板对应的答案模板，根据相似问题模板以及对应的答案模板得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据的步骤，得到的目标输入数据可以借助相似问答模板更有效地推理目标问题，提高了对话生成结果的准确性。
步骤S204，将目标输入数据输入至训练好的对话生成模型，得到目标答案。
其中，目标输入数据既包含相似问答模板，又包含目标问题，将目标输入数据输入至训练好的对话生成模型，可同时提取到相似问答模板和目标问题的特征，进而对特征进行解码得到目标答案，完成对话生成任务。
可选的是，对话生成模型包括编码器和解码器，以预设的样本问题为训练样本，以训练样本的预设答案为训练标签；
对话生成模型的训练过程包括：
将样本问题输入至编码器进行特征提取，得到样本问题特征；
将样本问题特征输入至解码器进行解码，得到样本预测答案；
根据样本预测答案和预设答案计算损失函数，以损失函数为依据，对编码器的参数和解码器的参数进行修正，直至损失函数收敛，得到训练好的对话生成模型。
其中，对话生成模型包括编码器和解码器，编码器用于对输入数据进行特征提取，解码器用于对提取到的特征进行解码并输出生成结果，在本实施例中，为了提高对话生成模型的性能，将大量预设的样本问题作为训练样本，将训练样本的预设答案作为训练标签，对该对话生成模型进行训练。
具体地，将样本问题输入至编码器进行特征提取，得到样本问题特征，将样本问题特征输入至解码器进行解码，得到样本预测答案，然后，根据样本预测答案和预设答案计算损失函数，该损失函数用来表征样本预测答案和预设答案之间的差异，且损失函数越大，样本预测答案和预设答案之间的差异越大，表示对话生成模型的准确性越差。因此，以损失函数为依据，对编码器的参数和解码器的参数进行修正，直至损失函数收敛，以得到训练好的对话生成模型。
在一实施方式中，根据词向量计算将样本预测答案转换为预测向量，根据词向量计算将预设答案转换为预设向量，通过计算预测向量和预设向量之间的差异得到损失函数，作为编码器和解码器的参数修正基础，以提高对话生成模型的准确性。
上述将目标输入数据输入至训练好的对话生成模型，得到目标答案的步骤，根据训练好的对话生成模型对目标输入数据进行编码和解码，可以同时提取到相似问答模板和目标问题的特征，提高了对话生成模型的准确性。
本发明实施例根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板，使得目标问题模板与目标问题相比，更注重问题的关键信息，使得后续步骤中只需从语料库中获取少量的N个示例问题模板，以目标问题模板作为参照，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，提高了问题模板之间的匹配效率，并从语料库中获取相似问题模板对应的答案模板，根据相似问题模板以及对应的答案模板得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据，将目标输入数据输入至训练好的对话生成模型得到目标答案，同时提取了相似问答模板和目标问题的特征，提高了对话生成结果的准确性。
对应于上文实施例的对话生成方法，图3给出了本发明实施例二提供的基于人工智能的对话生成装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。
参见图3，该对话生成装置包括：
问题模板确定模块31，用于获取目标问题，根据命名实体识别算法对目标问题进行识别，确定目标问题中的各个目标实体词以及各个目标实体词的实体类别，根据目标问题、各个目标实体词以及实体类别得到目标问题模板，实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数；
相似模板筛选模块32，用于从语料库中获取N个示例问题模板，分别计算目标问题模板和各个示例问题模板的相似度，将相似度最大的示例问题模板作为目标问题模板的相似问题模板，其中，N为大于1的整数；
输入数据确定模块33，用于从语料库中获取相似问题模板对应的答案模板，根据相似问题模板以及对应的答案模板得到相似问答模板，根据相似问答模板和目标问题得到目标输入数据；
目标答案生成模块34，用于将目标输入数据输入至训练好的对话生成模型，得到目标答案。
可选的是，上述问题模板确定模块31包括：
问题分词子模块，用于根据分词算法对目标问题进行分词，得到目标问题的若干个词项；
根据命名实体识别算法对各个词项进行识别，确定各个词项的实体类别；
根据各个词项的实体类别确定目标问题中的实体词和非实体词；
通过将目标问题中的实体词替换为对应的实体类别，并保留目标问题中的非实体词，得到目标问题模板。
可选的是，上述相似模板筛选模块32包括：
预设问题模板确定子模块，用于根据命名实体识别算法对语料库中的M个预设问题进行识别，确定各个预设问题中的各个问题实体词以及各个问题实体词的实体类别，根据各个预设问题、各个问题实体词以及实体类别得到M个问题模板；
模板聚类子模块，用于根据预设的聚类算法对M个问题模板进行聚类，得到N个聚类集合；
模板筛选子模块，用于根据各个聚类集合中各个问题模板之间的距离，从各个聚类集合中分别筛选出一个示例问题模板，得到N个示例问题模板。
可选的是，上述相似模板筛选模块32还包括：
预设答案获取子模块，用于从语料库中获取与N个示例问题模板一一对应的N个预设答案；
答案模板确定子模块，用于根据命名实体识别算法对N个预设答案进行识别，确定各个预设答案中的各个答案实体词以及各个答案实体词的实体类别，根据各个预设答案、各个答案实体词以及实体类别得到N个答案模板。
可选的是，上述相似模板筛选模块32还包括：
向量转换子模块，用于根据词向量技术将目标问题模板转换为目标问题向量，根据词向量技术将各个示例问题模板转换为对应的示例问题向量；
相似度计算子模块，用于根据目标问题向量、各个示例问题向量和预设的相似度计算公式，计算得到目标问题模板和对应的各个示例问题模板的相似度；
相似模板筛选子模块，用于对N个相似度进行比较，将相似度最大的示例问题模板作为目标问题模板的相似问题模板。
可选的是，上述相似度计算子模块包括：
相似度计算单元，用于将目标问题向量和各个示例问题向量代入至预设的相似度计算公式，得到目标问题模板和对应的各个示例问题模板的相似度；
相似度计算公式确定单元，用于确定预设的相似度计算公式如下：
式中，Xi为目标问题模板和第i个示例问题模板的相似度，m为目标问题向量，si为第i个示例问题向量，其中，i＝1,2，…，N。
可选的是，上述目标答案生成模块34包括：
对话生成模型确定子模块，用于确定对话生成模型包括编码器和解码器，以预设的样本问题为训练样本，以训练样本的预设答案为训练标签；
特征提取子模块，用于将样本问题输入至编码器进行特征提取，得到样本问题特征；
特征解码子模块，用于将样本问题特征输入至解码器进行解码，得到样本预测答案；
参数优化子模块，用于根据样本预测答案和预设答案计算损失函数，以损失函数为依据，对编码器的参数和解码器的参数进行修正，直至损失函数收敛，得到训练好的对话生成模型。
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图4为本发明实施例三提供的一种计算机设备的结构示意图。如图4所示，该实施例的计算机设备包括：至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个对话生成方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作***和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的对话生成方法，其特征在于，所述对话生成方法包括：
获取目标问题，根据命名实体识别算法对所述目标问题进行识别，确定所述目标问题中的各个目标实体词以及各个所述目标实体词的实体类别，根据所述目标问题、各个所述目标实体词以及所述实体类别得到目标问题模板，所述实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数中的至少一种；
从语料库中获取N个示例问题模板，分别计算所述目标问题模板和各个所述示例问题模板的相似度，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板，其中，N为大于1的整数；
从所述语料库中获取所述相似问题模板对应的答案模板，根据所述相似问题模板以及对应的所述答案模板得到相似问答模板，根据所述相似问答模板和所述目标问题得到目标输入数据；
将所述目标输入数据输入至训练好的对话生成模型，得到目标答案。
2.根据权利要求1所述的对话生成方法，其特征在于，所述从语料库中获取N个示例问题模板，包括：
根据命名实体识别算法对语料库中的M个预设问题进行识别，确定各个所述预设问题中的各个问题实体词以及各个所述问题实体词的实体类别，根据各个所述预设问题、各个所述问题实体词以及所述实体类别得到M个问题模板；
根据预设的聚类算法对M个所述问题模板进行聚类，得到N个聚类集合；
根据各个所述聚类集合中各个所述问题模板之间的距离，从各个所述聚类集合中分别筛选出一个示例问题模板，得到N个示例问题模板。
3.根据权利要求2所述的对话生成方法，其特征在于，所述语料库中存储有与N个所述示例问题模板对应的N个所述答案模板，N个所述答案模板的生成方法包括：
从所述语料库中获取与N个所述示例问题模板一一对应的N个预设答案；
根据命名实体识别算法对N个所述预设答案进行识别，确定各个所述预设答案中的各个答案实体词以及各个所述答案实体词的实体类别，根据各个所述预设答案、各个所述答案实体词以及所述实体类别得到N个答案模板。
4.根据权利要求1所述的对话生成方法，其特征在于，所述根据命名实体识别算法对目标问题进行识别，确定所述目标问题中的各个目标实体词以及各个所述目标实体词的实体类别，根据所述目标问题、各个所述目标实体词以及所述实体类别得到目标问题模板，包括：
根据分词算法对所述目标问题进行分词，得到所述目标问题的若干个词项；
根据命名实体识别算法对各个所述词项进行识别，确定各个所述词项的实体类别；
根据各个所述词项的实体类别确定所述目标问题中的实体词和非实体词；
通过将所述目标问题中的所述实体词替换为对应的所述实体类别，并保留所述目标问题中的所述非实体词，得到目标问题模板。
5.根据权利要求1所述的对话生成方法，其特征在于，所述分别计算所述目标问题模板和各个所述示例问题模板的相似度，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板，包括：
根据词向量技术将所述目标问题模板转换为目标问题向量，根据词向量技术将各个所述示例问题模板转换为对应的示例问题向量；
根据所述目标问题向量、各个所述示例问题向量和预设的相似度计算公式，计算得到所述目标问题模板和对应的各个所述示例问题模板的相似度；
对N个所述相似度进行比较，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板。
6.根据权利要求5所述的对话生成方法，其特征在于，所述根据所述目标问题向量、各个所述示例问题向量和预设的相似度计算公式，计算得到所述目标问题模板和对应的各个所述示例问题模板的相似度，包括：
将所述目标问题向量和各个所述示例问题向量代入至所述预设的相似度计算公式，得到所述目标问题模板和对应的各个所述示例问题模板的相似度；
所述预设的相似度计算公式如下：
式中，Xi为所述目标问题模板和第i个所述示例问题模板的相似度，m为所述目标问题向量，si为第i个所述示例问题向量，其中，i＝1,2，…，N。
7.根据权利要求1所述的对话生成方法，其特征在于，所述对话生成模型包括编码器和解码器，以预设的样本问题为训练样本，以所述训练样本的预设答案为训练标签；
所述对话生成模型的训练过程包括：
将所述样本问题输入至所述编码器进行特征提取，得到样本问题特征；
将所述样本问题特征输入至所述解码器进行解码，得到样本预测答案；
根据所述样本预测答案和所述预设答案计算损失函数，以所述损失函数为依据，对所述编码器的参数和所述解码器的参数进行修正，直至所述损失函数收敛，得到训练好的对话生成模型。
8.一种基于人工智能的对话生成装置，其特征在于，所述对话生成装置包括：
问题模板确定模块，用于获取目标问题，根据命名实体识别算法对所述目标问题进行识别，确定所述目标问题中的各个目标实体词以及各个所述目标实体词的实体类别，根据所述目标问题、各个所述目标实体词以及所述实体类别得到目标问题模板，所述实体类别包括非实体、人名、地名、组织机构名、时间、日期、货币量和百分数；
相似模板筛选模块，用于从语料库中获取N个示例问题模板，分别计算所述目标问题模板和各个所述示例问题模板的相似度，将相似度最大的所述示例问题模板作为所述目标问题模板的相似问题模板，其中，N为大于1的整数；
输入数据确定模块，用于从所述语料库中获取所述相似问题模板对应的答案模板，根据所述相似问题模板以及对应的所述答案模板得到相似问答模板，根据所述相似问答模板和所述目标问题得到目标输入数据；
目标答案生成模块，用于将所述目标输入数据输入至训练好的对话生成模型，得到目标答案。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的对话生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的对话生成方法。
CN202310446327.0A 2023-04-14 2023-04-14 基于人工智能的对话生成方法、装置、计算机设备及介质 Pending CN116467419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310446327.0A CN116467419A (zh) 2023-04-14 2023-04-14 基于人工智能的对话生成方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310446327.0A CN116467419A (zh) 2023-04-14 2023-04-14 基于人工智能的对话生成方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN116467419A true CN116467419A (zh) 2023-07-21

Family

ID=87178592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310446327.0A Pending CN116467419A (zh) 2023-04-14 2023-04-14 基于人工智能的对话生成方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116467419A (zh)

Similar Documents

Publication Publication Date Title
CN110287961B (zh) 中文分词方法、电子装置及可读存储介质
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN112036184A (zh) 基于BiLSTM网络模型及CRF模型的实体识别方法、装置、计算机装置及存储介质
CN112328655B (zh) 文本标签挖掘方法、装置、设备及存储介质
CN111651994B (zh) 一种信息抽取方法、装置、电子设备和存储介质
CN113010679A (zh) 问答对生成方法、装置、设备及计算机可读存储介质
CN116483979A (zh) 基于人工智能的对话模型训练方法、装置、设备及介质
CN114218945A (zh) 实体识别方法、装置、服务器及存储介质
CN115344699A (zh) 文本分类模型的训练方法、装置、计算机设备及介质
CN114861635A (zh) 一种中文拼写纠错方法、装置、设备及存储介质
CN114970467B (zh) 基于人工智能的作文初稿生成方法、装置、设备及介质
CN116844573A (zh) 基于人工智能的语音情感识别方法、装置、设备及介质
CN116680385A (zh) 基于人工智能的对话问答方法、装置、计算机设备及介质
CN114612919B (zh) 一种票据信息处理***及方法、装置
CN115373982A (zh) 基于人工智能的测试报告分析方法、装置、设备及介质
CN115718889A (zh) 针对公司简介的行业分类方法及装置
CN114943306A (zh) 意图分类方法、装置、设备及存储介质
CN115080864A (zh) 基于人工智能的产品推荐方法、装置、计算机设备及介质
CN114842982A (zh) 一种面向医疗信息***的知识表达方法、装置及***
CN116467419A (zh) 基于人工智能的对话生成方法、装置、计算机设备及介质
CN113836297A (zh) 文本情感分析模型的训练方法及装置
CN112036183A (zh) 基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质
CN112434889A (zh) 一种专家行业分析方法、装置、设备及存储介质
CN116720123B (zh) 一种账户识别方法、装置、终端设备及介质
CN114416925B (zh) 敏感词识别方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination