CN110020015A - 一种对话***回答生成方法及*** - Google Patents
一种对话***回答生成方法及*** Download PDFInfo
- Publication number
- CN110020015A CN110020015A CN201711481699.8A CN201711481699A CN110020015A CN 110020015 A CN110020015 A CN 110020015A CN 201711481699 A CN201711481699 A CN 201711481699A CN 110020015 A CN110020015 A CN 110020015A
- Authority
- CN
- China
- Prior art keywords
- sequence
- word sequence
- keyword
- word
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种对话***回答生成方法及***,包括以下步骤:步骤S1)将多轮对话数据按照每一轮进行切割,每一轮对话表示为(U,Y);步骤S2)对U中的每个词进行词性标注和命名实体识别,找到词序列中的关键词序列;步骤S3)使用数据库查询或者神经网络自动生成的方法,得到目标关键词序列。然后对每个目标关键词,查找得到该关键词的词向量;步骤S4)模型训练,对训练集中所有轮次的对话,使用seq2seq模型获得预测的词序列Y’;步骤S5)训练完成后,对测试样本中的任意一个用户输入样本,进行步骤S4)的操作,获得预测的词序列Y’。本发明不仅可有效控制生成的回答的内容,还提高了回答的质量。
Description
技术领域
本发明涉及计算机网络领域,尤其涉及一种对话***回答生成方法及***。
背景技术
随着科学技术的发展以及人工智能产业的兴起,以自然语言进行交互的口语对话***在社会的方方面面有着极大需求。个人助理如苹果公司的Siri、微软的小娜、亚马逊的Echo等应运而生,给人们的日常生活带来便利;智能客服也应用在各大服务行业的龙头企业,减少人工客服的数量,并提升服务质量;在健康医疗领域,医疗对话***和辅助诊断吸引着众多创业公司,百度医生等简化的医疗对话***也逐步成型,为常见疾病导诊并提供初步诊断方案。
目前市面上的这些对话***多基于检索,即从多个候选回答中选取最佳答案,或者从互联网上检索相关答案,无法生成新的回答。为了能依据不同的问题,可以得到候选答案集合中没有的句子,基于生成的对话***成为当前的挑战难题。
给定一个用户输入文本和对话历史文本,如何生成合理、正确的回答是生成式对话***的主要研究内容。由于深度学习和神经网络的兴起,目前的文本生成主要使用基于循环神经网络(Recurrent Neural Network,以下简称RNN)的序列到序列(Sequence tosequence,以下简称Seq2seq模型)的生成方式。已有的方法是直接对输入文本的词序列和输出文本的词序列,使用循环神经网络建模。然而这些方法生成的词序列,没有考虑外部知识,完全由数据驱动,自由度过大,质量欠佳,而且过程不可控。
发明内容
本发明针对现有技术存在的不足,提出了一种对话***回答生成方法,不仅可有效控制生成的回答的内容,还提高了回答的质量。
本发明的一种对话***回答生成方法,包括以下步骤:
步骤S1)将多轮对话数据切割成单轮对话,每一轮对话表示为(U,Y),U={u1,u2,…,uT-1,uT}为该轮用户输入的词序列,Y={y1,y2,…,yn-1,yn}为该轮中回答的词序列;T表示用户输入的词序列的长度,n表示实际回答的词序列的长度;
步骤S2)对U中的每个词进行词性标注和命名实体识别,找到词序列中的关键词序列G={g1,…,gL-1,gL},L为关键词序列的长度;
步骤S3)使用数据库查询或者神经网络自动生成的方法,从关键词序列G得到目标关键词序列C={c1,…,ct-1,gt},然后对每个目标关键词,查找得到目标关键词的词向量序列X={x1,…,xt-1,xt},t为目标关键词序列的长度;
步骤S4)模型训练,对训练集中所有轮次的对话,将每一轮的关键词词向量序列X输入Seq2seq模型,获得预测的词序列Y’;
步骤S5)训练完成后,对测试样本中的任意一个用户输入样本,进行步骤S4)的操作,获得预测的词序列Y’。
进一步,所述模型训练将每一轮的目标关键词词向量序列X输入Seq2seq模型,以该轮的回答Y作为正确的标签,与预测的词序列Y’求误差并进行梯度回传,多次迭代并用随机梯度下降法训练模型。
进一步,所述步骤S4)中若对词序列Y’中含有句子结束符,则进行截断,只保留结束符之前的序列作为对话***的回答;否则预测的词序列Y’直接作为对话***的回答。
一种对话***回答生成***,包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述方法的步骤。
本发明的优点在于:有效地使用了词性、命名实体标注等外部知识,从句子提取出细粒度的更加准确的信息,再通过输入关键词到输出关键词的映射,限定了需要生成的文本的信息,生成的句子,是在输入文本和输出关键词的共同约束下得到的,包含了需要表达的信息,减小了生成的自由度,使得过程更加可控。从输出关键词再到句子,使得生成的句子能包含必须的有效信息。这一过程也符合了人脑先有需要表达的信息,再组织语言进行表达的过程。生成的句子合理、正确。本发明的回答生成方法不仅可有效控制生成的回答的内容,还提高了回答的质量。
附图说明
图1为本发明的方法的流程图;
图2为本发明的Seq2seq模型示意图。
具体实施方式
下面结合附图对本发明进一步的描述。
在对话***中,本发明对用户输入文本进行处理,使用词性标注、命名实体识别等方式提取输入文本中的关键词,使用数据库查询或者神经网络自动生成的方法,得到期望回答中包含关键词的序列,根据这些关键词使用神经网络模型造句,生成回答文本。
如图1所示,本发明的方法包括以下步骤:
步骤S1)、将多轮对话数据切割成单轮对话,每轮表示为“用户输入-回答”的形式。并将数据分为训练集、开发集和测试集,用于训练,校验参数和测试。对于每一轮对话(U,Y),U={u1,u2,…,uT-1,uT}为该轮用户输入的词序列,Y={y1,y2,…,yn-1,yn}为该轮中回答的词序列;其中,T表示用户输入的词序列的长度,n表示实际回答的词序列的长度。
步骤S2)、对U中的每个词进行词性标注和命名实体识别,找到词序列中的关键词序列G={g1,…,gL-1,gL};L为关键词序列的长度。
步骤S3)、使用数据库查询或者神经网络自动生成的方法,从关键词序列G得到目标关键词序列C={c1,…,ct-1,gt},t为目标关键词序列的长度。然后对每个目标关键词,查找得到目标关键词的词向量序列X={x1,…,xt-1,xt};词向量将各个词表示为一个固定长度的向量,可提前使用语料训练得到,也可随机初始化,在模型中与其他参数同时进行训练。
步骤S4)对训练集中所有轮次的对话,使用数据库查询或者神经网络自动生成的方法,将每一轮的关键词词向量序列X输入Seq2seq模型,以该轮的回答Y作为正确的标签,与预测的词序列Y’求误差并进行梯度回传。多次迭代并用随机梯度下降法训练模型。
其中,Seq2seq模型包括编码器(Encoder)和解码器(Decoder),如图2所示,其中xi表示目标关键词序列中的第i个关键词的词向量(1≤i≤t),输入到编码器中的RNN中,编码得到各个关键词的隐层(Hidden state)。Cj表示从编码器的注意力(Attention)机制得到的第j时刻的上下文表示,输入到解码器中的RNN中,然后根据RNN该时刻的隐层或输出(Output),预测该时刻输出的词语yj。解码器一直重复从注意力读取C并预测该时刻的y直到达到设定的最大句子长度或句子结束符。
步骤S5)训练完成后,对测试样本中的任意一个用户输入样本,进行与上述同样的操作,从解码器获得预测的词序列Y’。若对词序列Y’中含有句子结束符,则进行截断,只保留结束符之前的序列;否则预测的词序列Y’直接作为对话***的回答。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种对话***回答生成方法,其特征在于,包括以下步骤:
步骤S1)将多轮对话数据切割成单轮对话,每一轮对话表示为(U,Y),U={u1,u2,…,uT-1,uT}为该轮用户输入的词序列,Y={y1,y2,…,yn-1,yn}为该轮中回答的词序列;T表示用户输入的词序列的长度,n表示实际回答的词序列的长度;
步骤S2)对U中的每个词进行词性标注和命名实体识别,找到词序列中的关键词序列G={g1,…,gL-1,gL},L为关键词序列的长度;
步骤S3)使用数据库查询或者神经网络自动生成的方法,从关键词序列G得到目标关键词序列C={c1,…,ct-1,gt},然后对每个目标关键词,查找得到目标关键词的词向量序列X={x1,…,xt-1,xt},t为目标关键词序列的长度;
步骤S4)模型训练,对训练集中所有轮次的对话,将每一轮的关键词词向量序列X输入Seq2seq模型,获得预测的词序列Y’;
步骤S5)训练完成后,对测试样本中的任意一个用户输入样本,进行步骤S4)的操作,获得预测的词序列Y’。
2.如权利要求1所述的一种对话***回答生成方法,其特征在于,所述模型训练将每一轮的目标关键词词向量序列X输入Seq2seq模型,以该轮的回答Y作为正确的标签,与预测的词序列Y’求误差并进行梯度回传,多次迭代并用随机梯度下降法训练模型。
3.如权利要求1所述的一种对话***回答生成方法,其特征在于,所述步骤S4)中若对词序列Y’中含有句子结束符,则进行截断,只保留结束符之前的序列作为对话***的回答;否则预测的词序列Y’直接作为对话***的回答。
4.一种对话***回答生成***,包括存储器、处理器和存储在存储器上的并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~3之一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481699.8A CN110020015A (zh) | 2017-12-29 | 2017-12-29 | 一种对话***回答生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481699.8A CN110020015A (zh) | 2017-12-29 | 2017-12-29 | 一种对话***回答生成方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110020015A true CN110020015A (zh) | 2019-07-16 |
Family
ID=67187191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711481699.8A Pending CN110020015A (zh) | 2017-12-29 | 2017-12-29 | 一种对话***回答生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110020015A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347368A (zh) * | 2019-07-18 | 2019-10-18 | 北京香侬慧语科技有限责任公司 | 一种对话生成的方法、装置、存储介质及电子设备 |
CN111274375A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于双向gru网络的多轮对话方法及*** |
CN112989767A (zh) * | 2021-04-21 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 医学词语标注方法、医学词语映射方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510221A (zh) * | 2009-02-17 | 2009-08-19 | 北京大学 | 一种用于信息检索的查询语句分析方法与*** |
CN105701253A (zh) * | 2016-03-04 | 2016-06-22 | 南京大学 | 中文自然语言问句语义化的知识库自动问答方法 |
CN106503101A (zh) * | 2016-10-14 | 2017-03-15 | 五邑大学 | 电商客服自动问答***语句关键词提取方法 |
CN107329995A (zh) * | 2017-06-08 | 2017-11-07 | 北京神州泰岳软件股份有限公司 | 一种语义受控的答案生成方法、装置及*** |
CN107463699A (zh) * | 2017-08-15 | 2017-12-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于seq2seq模型的实现问答机器人的方法 |
-
2017
- 2017-12-29 CN CN201711481699.8A patent/CN110020015A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510221A (zh) * | 2009-02-17 | 2009-08-19 | 北京大学 | 一种用于信息检索的查询语句分析方法与*** |
CN105701253A (zh) * | 2016-03-04 | 2016-06-22 | 南京大学 | 中文自然语言问句语义化的知识库自动问答方法 |
CN106503101A (zh) * | 2016-10-14 | 2017-03-15 | 五邑大学 | 电商客服自动问答***语句关键词提取方法 |
CN107329995A (zh) * | 2017-06-08 | 2017-11-07 | 北京神州泰岳软件股份有限公司 | 一种语义受控的答案生成方法、装置及*** |
CN107463699A (zh) * | 2017-08-15 | 2017-12-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于seq2seq模型的实现问答机器人的方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347368A (zh) * | 2019-07-18 | 2019-10-18 | 北京香侬慧语科技有限责任公司 | 一种对话生成的方法、装置、存储介质及电子设备 |
CN110347368B (zh) * | 2019-07-18 | 2023-01-17 | 北京香侬慧语科技有限责任公司 | 一种对话生成的方法、装置、存储介质及电子设备 |
CN111274375A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于双向gru网络的多轮对话方法及*** |
CN111274375B (zh) * | 2020-01-20 | 2022-06-14 | 福州大学 | 一种基于双向gru网络的多轮对话方法及*** |
CN112989767A (zh) * | 2021-04-21 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 医学词语标注方法、医学词语映射方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287481B (zh) | 命名实体语料标注训练*** | |
Luo et al. | A critical review of state‐of‐the‐art chatbot designs and applications | |
Ngai et al. | Rule writing or annotation: Cost-efficient resource usage for base noun phrase chunking | |
CN112507696B (zh) | 基于全局注意力意图识别的人机交互导诊方法与*** | |
CN111708874A (zh) | 基于复杂意图智能识别的人机交互问答方法与*** | |
CN111401066B (zh) | 基于人工智能的词分类模型训练方法、词处理方法及装置 | |
WO2021139232A1 (zh) | 基于医疗知识图谱的分诊方法、装置、设备及存储介质 | |
Zhang et al. | Memory-augmented dialogue management for task-oriented dialogue systems | |
CN113889259A (zh) | 一种知识图谱辅助下的自动诊断对话*** | |
CN110020015A (zh) | 一种对话***回答生成方法及*** | |
CN112420151A (zh) | 一种超声报告后结构化解析方法、***、设备和介质 | |
CN116757652B (zh) | 一种基于大语言模型的在线招聘推荐***及方法 | |
WO2021139231A1 (zh) | 基于神经网络模型的分诊方法、装置和计算机设备 | |
WO2022006329A1 (en) | Attention neural networks with conditional computation | |
Chandiok et al. | CIT: Integrated cognitive computing and cognitive agent technologies based cognitive architecture for human-like functionality in artificial systems | |
Wahde et al. | DAISY: An implementation of five core principles for transparent and accountable conversational AI | |
CN117423470B (zh) | 一种慢性病临床决策支持***及构建方法 | |
CN110232191A (zh) | 自动文本查错方法 | |
Hwang et al. | End-to-end dialogue system with multi languages for hospital receptionist robot | |
CN115171870A (zh) | 一种基于m-BERT预训练模型的就诊引导提示方法及*** | |
Bandhu et al. | Health care chatbot using natural language processing with SGD and ADAM optimizer parameter optimization | |
Muangnak et al. | The neural network conversation model enables the commonly asked student query agents | |
Dinesh et al. | Chat and voice bot implementation for cardio and ent queries using nlp | |
Ismael et al. | Chatbot System for Mental Health in Bahasa Malaysia | |
Mandayam et al. | Intelligent conversational model for mental health wellness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |
|
RJ01 | Rejection of invention patent application after publication |