CN113656569B - 一种基于上下文信息推理的生成式对话方法 - Google Patents
一种基于上下文信息推理的生成式对话方法 Download PDFInfo
- Publication number
- CN113656569B CN113656569B CN202110975993.4A CN202110975993A CN113656569B CN 113656569 B CN113656569 B CN 113656569B CN 202110975993 A CN202110975993 A CN 202110975993A CN 113656569 B CN113656569 B CN 113656569B
- Authority
- CN
- China
- Prior art keywords
- vectors
- vector
- information
- semantic
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 107
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000012216 screening Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人机交互技术,其公开了一种基于上下文信息推理的生成式对话方法,提高生成式对话***回复生成的质量。本发明首先对获取的输入信息进行数据清洗,并处理为后续模型需要的输入格式,然后引入自注意力机制分别对历史上下文中的重要单词和重要句子进行关注权重计算,得到相应的语义向量表示,并使用该语义向量表示选取与历史上下文相关的外部知识,在解码过程中通过两步解码,分别将筛选的历史上下文信息和选取的外部知识融入回复的成过程中,得到更加准确的高质量回复。
Description
技术领域
本发明涉及人机交互技术,具体涉及一种基于上下文信息推理的生成式对话方法。
背景技术
随着深度学***,应当具备分析历史对话信息的能力,并通过历史信息来使用相关的知识信息。如何提高对话***回复的生成质量,是生成式对话***研究的重点。
作为一个对话***,最终研究目标是希望它能够拥有像人一样的思维方式,有效理解与用户的交谈内容,所以需要***对多轮对话的历史上下文信息进行把握,相比于以往研究的单轮对话,多轮对话***的难点在于:多轮对话一般会围绕相应的主题开展,如何从历史上下文中得到有助于回复生成的有益信息,帮助***理解历史对话内容、主题非常重要;同时在人进行对话交流时,会根据对话内容来搜寻自己大脑中具备的知识库,利用相关的知识丰富自己的回复,因此,对话***中引入外部知识,也是提升机器智能水平的重要方法。
目前的生成式对话研究中,被广泛应用的策略是不加区分地接收全部的历史信息,这样做可能会有许多的信息噪声被输入到模型中,对回复生成造成负面影响。为此一些研究者尝试使用相似度测量来定义对话上下文的相关性。还有研究者尝试将传统Attention(注意力)机制引入模型中,但是在多轮对话过程中,当前回复需要注意的重要信息可能已经不在相近的历史会话中,而是被多句无用话语隔开,该模型通过利用RNN(循环神经网络),虽然能够关注比较相近的历史上下文信息,但是并不能很好地把握距离较远的有用话语。
因此,现有生成式对话***存在的不足为:
1、对历史上下文中的信息区分度不足,不能很好地把握与对话相关的关键词句;
2、对外部知识的利用程度较低,无法很好地将其融入回复的生成过程中。
换言之,现有生成式对话***难以筛选历史上下文中的有效信息,并通过有效信息选用相关的知识辅助回复生成,因此生成的回复质量不高,难以保持主题一致。
发明内容
本发明所要解决的技术问题是:提出一种基于上下文信息推理的生成式对话方法,提高生成式对话***回复生成的质量。
本发明解决上述技术问题采用的技术方案是:
一种基于上下文信息推理的生成式对话方法,应用于对话***中,该方法包括以下步骤:
S1、对用户输入信息及历史上下文信息数据进行预处理,获得输入文本数据;
S2、将输入文本数据转化为词向量表示,并通过词级编码器编码后获得输入文本数据的语义向量;
S3、使用自注意力机制对输入文本数据的语义向量进行计算,分别关注历史上下文中的重要句子和句子中的重要单词,获得筛选后的历史上下文语义向量;
S4、对外部知识进行编码,通过自注意力网络,根据所述筛选后的历史上下文语义向量,选取与历史上下文相关的外部知识;
S5、采用两步解码器,在第一步解码中将筛选后的历史上下文语义向量与用户输入信息在对话***中对应的参考回复结合,得到初步回复,在第二步解码中,将选取的外部知识的语义向量与初步回复结合,生成最终回复。
作为进一步优化,步骤S1具体包括:
S11、进行数据清洗,包括将用户输入信息及历史上下文信息数据进行分词、大小写转换、全角半角格式转换;
S12、将清洗好的数据使用“__eou__”符号进行句子分割,并转换成下游模型处理需要的文本格式,得到输入文本数据。
作为进一步优化,步骤S2具体包括:
S21、利用Word2Vec模型,将输入文本数据转换为词向量;
S22、将输入文本数据的词向量,通过Bi-GRU编码器进行编码,获得输入文本数据的语义向量。
作为进一步优化,步骤S3具体包括:
S31、将输入文本数据的语义向量,按句子输入词级信息筛选器,利用自注意力机制对其关键单词进行关注,计算注意力权重,得到新的语义向量表示,并拼接成上下文初步表示语义向量;
S32、将所述上下文初步表示语义向量,输入句子级信息筛选器,利用自注意力机制对关键句子进行关注,计算注意力权重,完成对历史上下文信息的筛选,获得筛选后的历史上下文语义向量。
作为进一步优化,步骤S4具体包括:
S41、将知识库的外部知识,通过Word2Vec模型转化成词向量;
S42、通过Bi-GRU编码器,对外部知识的词向量进行编码,得到外部知识语义向量;
S43、利用注意力机制,将所述外部知识语义向量与步骤S3中得到的筛选后的历史上下文语义向量进行结合,通过计算所述外部知识语义向量的注意力权重,选取与历史上下文相关的外部知识。
作为进一步优化,步骤S5具体包括:
S51、在两步解码器的第一步解码中,将步骤S3得到的筛选后的历史上下文语义向量与用户输入信息在对话***中对应的参考回复通过注意力机制进行融合,获得初步回复的自注意力表示;
S52、在两步解码器的第二部解码中,将步骤S4得到的选取的外部知识的语义向量与所述初步回复的自注意力表示通过注意力机制进行融合;
S53、基于步骤S52融合后的向量,通过softmax函数计算单词预测概率,根据预测概率选择单词生成最终回复。
本发明的有益效果是:
通过自注意力机制能够对序列自身进行计算获得内部依赖关系,使模型能够在历史对话上下文中获取到与当前回复生成最相关的句子以及句子中与主题信息相关的单词,从而为模型生成回复提供最有效的信息辅助;
同时,在生成回复的过程中利用了外部知识来增强回复的事实准确性,并通过两步解码器来规避生成过程中筛选出的上下文信息与选取的外部知识之间的相互影响,首先通过第一步解码初步融合了参考回复与筛选出的上下文历史信息,得到第一步解码状态,然后再加入选取的外部知识,完成第二步解码,生成最终的回复,这样既考虑了对历史上下文的充分把握,又在其基础上增加了必要的外部知识,提升回复的质量。
附图说明
图1为本发明实施例中的基于上下文信息推理的生成式对话方法流程图;
图2为本发明中将输入文本数据转换为词向量的流程图;
图3为本发明中的筛选历史上下文语义向量的流程图;
图4为本发明中的筛选外部知识的语义向量的流程图;
图5为本发明中的采用两步解码器进行回复生成的流程图。
具体实施方式
本发明旨在提出一种基于上下文信息推理的生成式对话方法,提高生成式对话***回复生成的质量。其核心思想是:首先对获取的输入信息进行数据清洗,并处理为后续模型需要的输入格式,然后引入自注意力机制分别对历史上下文中的重要单词和重要句子进行关注权重计算,得到相应的语义向量表示,并使用该语义向量表示选取与历史上下文相关的外部知识,在解码过程中通过两步解码,分别将筛选的历史上下文信息和选取的外部知识融入回复的成过程中,得到更加准确的高质量回复。
实施例:
如图1所示,本实施例中的基于上下文信息推理的生成式对话方法主要包括数据预处理、语义表示、历史上下文信息筛选、外部知识选择和两步解码生成回复几个步骤,具体实施如下:
S1、数据预处理:
本步骤中,对用户输入信息及历史上下文信息数据进行预处理,获得输入文本数据,具体方法包括:
S11、将输入的对话信息,包括用户输入信息及历史上下文信息数据,进行分词、大小写转换、全角半角格式转换等数据清洗工作;
S12、将清洗好的数据使用“_eou_”符号进行句子分割,转换成下游模型需要的格式。
S2、语义表示:
本步骤中,使用Word2Vec模型,将输入文本数据转化成词向量表示,然后采用基于Bi-GRU的词级编码器进行编码,得到语义向量表示。具体的方法如图2所示,其包括:
S21、使用Word2Vec的方法,将清洗好的数据进行向量化表示,获得向量化的输入序列input={s1,s2,...,sN},其中N为句子个数,其中每个句子表示为si={w1,w2,...,wM},M为句子中单词的数量。
S22、将步骤S21得到的向量化的句子表示,通过Bi-GRU编码器进行编码,编码过程如下公式所示,
hM=BGRUs({x1,x2,...,xM})
其中,是通过正向Bi-GRU在t时刻通过xt和/>计算出的向量表示,xt表示句子中第t个单词的词嵌入,第t个单词也即是在Bi-GRU的第t步(时刻)中计算得到;/>是通过反向Bi-GRU在t时刻通过xt和/>计算出的向量表示;ht由/>和/>两者拼接组合而成;hM为最终状态,M为句子中的单词数量。
使用hM表示句子向量,最终得到句子语义向量为:
其中,指的是输入句子中第M个单词WM的语义表示,/>指的是第M个单词WM的语义表示的置信度。
并由历史上下文信息全部句子的语义向量,最终得到上下文语义向量为:
其中,表示历史上文全部句子的向量表示,/>表示每一个句子,N为句子数量;/>表示上下文句子中第N个句子的语义表示的置信度。
S3、语义表示:
本步骤中,使用自注意力机制关注对输入文本数据的语义向量进行计算,分别关注历史上下文中的重要句子和句子中的重要单词,获得筛选后的历史上下文语义向量。上述输入文本数据的语义向量,也即步骤S2中由用户输入信息和历史上下文信息数据,编码得到的各句子的句子语义向量
具体的方法如图3所示,包括:
S31、将输入文本数据的语义向量,按句子输入词级信息筛选器,利用自注意力机制对其关键单词进行关注,将作为Q,K,V,按照如下公式计算注意力权重:
headi=selfAttention(QWi Q,KWi K,VWi V)
M=Concat(head1,head2,...,headH)
O=MW
其中,采用H个平行头来关注向量的不同维度,对于第i个头,Wi Q,Wi K,Wi V是与n维向量矩阵Q,K,V相关的权重矩阵,通过多个头分别计算后连接组成最终的向量,记为上下文初步表示语义向量Os。
S32、将上下文初步表示语义向量Os,也即经过单词筛选的上下文语义向量,输入句子级信息筛选器,利用自注意力机制对关键句子进行关注,计算注意力权重,完成对历史上下文信息的筛选,获得筛选后的历史上下文语义向量。
也即,将Os输入句子级信息筛选器,按照与步骤S31中词级信息筛选器同样的公式进行计算,得到包含了单词和句子两种粒度信息的历史上下文表示Oc,再通过一个前馈神经网络输出最终的注意力表示由此完成对历史上下文信息的筛选,获得筛选后的历史上下文语义向量。
S4、外部知识选择:
本步骤中,使用Bi-GRU对外部知识进行编码,并根据筛选出的历史上下文信息,使用知识选择器选择有关的外部知识,得到知识的语义向量表示。具体的流程如图4所示,其包括:
S41、将知识库的外部知识通过Word2Vec转化成词向量,K={K1,K2,...,Kn},其中每条知识为其中/>是指第i个外部知识中的第m个单词对于该知识的贡献度。
S42、通过Bi-GRU对外部知识的词向量进行编码,编码过程如下:
其中xt表示知识序列中第t个单词的词嵌入,是通过正向Bi-GRU在t时刻通过xt和/>计算出的向量表示,/>是通过反向Bi-GRU在t时刻通过xt和/>计算出的向量表示,kt由两者拼接组合而成。最终的到知识的语义向量k={k1,k2,...,kn},n为知识数量。
S43、使用注意力机制将步骤S3中句子级筛选得到的语义向量、词级筛选得到的语义向量与步骤S42得到的外部知识的语义向量进行结合,计算知识语义向量的注意力权重,实现选取与历史上下文相关的知识,具体计算如下公式所示:
其中Ua,Va,Wa为学习参数,αi为第i条知识向量分配的权重,所以经过筛选后的全部知识表示即为所有向量表示的加权和,记为Ka。
S5、两步解码生成回复:
本步骤中,使用两步解码器,在第一步将筛选后的历史上下文语义向量与当前状态向量结合,得到初步回复,然后在第二步将选取的知识的语义向量与初步回复结合,生成最终回复。上述当前状态向量指用户输入信息在对话***中对应的参考回复Or,其是由用户输入信息,在不结合历史上下文以及外部知识库的前提下,仅根据用户输入信息,直接由Bi-GRU编码模型得到的语义向量,由步骤S2中获取。
具体的流程如图5所示,其包括:
S51、将步骤S3得到的历史上下文语义向量与用户输入信息在对话***中对应的参考回复Or,通过注意力机制进行融合,计算方式如下:
headi=Attention(QWi Q,KWi K,VWi V)
M=Concat(head1,head2,...,headH)
O=MW
其中,采用H个平行头来关注向量的不同维度,对于第i个头,Wi Q,Wi K,Wi V是与n维向量矩阵Q,K,V相关的权重矩阵,通过多个头分别计算后连接组成最终的向量表示,这里作为K,V矩阵,Or作为Q矩阵。融合后,通过一个前馈神经网络得到初步回复表示/>
S52、将步骤S4得到的知识语义向量与初步回复的自注意力表示通过注意力机制进行融合,计算方式如下:
Q=selfattention(Ka)
Od+k=Attention(K,Q,V)
融合后,通过一个前馈神经网络得到最终向量,表示
S53、基于融合后的向量,采用注意力分数,通过softmax函数计算单词预测概率。具体计算公式如下:
L(y,p(y|x))=-logp(y|x)
其中,x为输入,y为目标单词;input为输入序列,r1,...,rt-1为已生成的单词,rt为目标单词,WO表示参数矩阵。
Claims (6)
1.一种基于上下文信息推理的生成式对话方法,应用于对话***,其特征在于,该方法包括以下步骤:
S1、对用户输入信息及历史上下文信息数据进行预处理,获得输入文本数据;
S2、将输入文本数据转化为词向量表示,并通过词级编码器编码后获得输入文本数据的语义向量;
S3、使用自注意力机制对输入文本数据的语义向量进行计算,分别关注历史上下文中的重要句子和句子中的重要单词,获得筛选后的历史上下文语义向量;
S4、对外部知识进行编码,通过自注意力网络,根据所述筛选后的历史上下文语义向量,选取与历史上下文相关的外部知识;
S5、采用两步解码器,在第一步解码中将筛选后的历史上下文语义向量与用户输入信息在对话***中对应的参考回复结合,得到初步回复,在第二步解码中,将选取的外部知识的语义向量与初步回复结合,生成最终回复。
2.如权利要求1所述的一种基于上下文信息推理的生成式对话方法,其特征在于,
步骤S1具体包括:
S11、进行数据清洗,包括将输入的对话信息进行分词、大小写转换、全角半角格式转换;
S12、将清洗好的数据使用“__eou__”符号进行句子分割,并转换成下游模型处理需要的文本格式,得到输入文本数据。
3.如权利要求1所述的一种基于上下文信息推理的生成式对话方法,其特征在于,
步骤S2具体包括:
S21、利用Word2Vec模型,将输入文本数据转换为词向量;
S22、将输入文本数据的词向量,通过Bi-GRU编码器进行编码,获得输入文本数据的语义向量。
4.如权利要求1所述的一种基于上下文信息推理的生成式对话方法,其特征在于,步骤S3具体包括:
S31、将输入文本数据的语义向量,按句子输入词级信息筛选器,利用自注意力机制对其关键单词进行关注,计算注意力权重,得到新的语义向量表示,并拼接成上下文初步表示语义向量;
S32、将所述上下文初步表示语义向量,输入句子级信息筛选器,利用自注意力机制对关键句子进行关注,计算注意力权重,完成对历史上下文信息的筛选,获得筛选后的历史上下文语义向量。
5.如权利要求1所述的一种基于上下文信息推理的生成式对话方法,其特征在于,
步骤S4具体包括:
S41、将知识库的外部知识,通过Word2Vec模型转化成词向量;
S42、通过Bi-GRU编码器,对外部知识的词向量进行编码,得到外部知识语义向量;
S43、利用注意力机制,将所述外部知识语义向量与步骤S3中得到的筛选后的历史上下文语义向量进行结合,通过计算所述外部知识语义向量的注意力权重,选取与历史上下文相关的外部知识。
6.如权利要求1-5任意一项所述的一种基于上下文信息推理的生成式对话方法,其特征在于,
步骤S5具体包括:
S51、在两步解码器的第一步解码中,将步骤S3得到的筛选后的历史上下文语义向量与用户输入信息在对话***中对应的参考回复通过注意力机制进行融合,获得初步回复的自注意力表示;
S52、在两步解码器的第二部解码中,将步骤S4得到的选取的外部知识的语义向量与所述初步回复的自注意力表示通过注意力机制进行融合;
S53、基于步骤S52融合后的向量,通过softmax函数计算单词预测概率,根据预测概率选择单词生成最终回复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975993.4A CN113656569B (zh) | 2021-08-24 | 2021-08-24 | 一种基于上下文信息推理的生成式对话方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110975993.4A CN113656569B (zh) | 2021-08-24 | 2021-08-24 | 一种基于上下文信息推理的生成式对话方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113656569A CN113656569A (zh) | 2021-11-16 |
CN113656569B true CN113656569B (zh) | 2023-10-13 |
Family
ID=78492697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110975993.4A Active CN113656569B (zh) | 2021-08-24 | 2021-08-24 | 一种基于上下文信息推理的生成式对话方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113656569B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113806506B (zh) * | 2021-09-15 | 2023-04-18 | 电子科技大学 | 一种面向常识推理的生成式人机对话回复生成方法 |
CN115169367B (zh) * | 2022-09-06 | 2022-12-09 | 杭州远传新业科技股份有限公司 | 对话生成方法及装置、存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110032633A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 多轮对话处理方法、装置和设备 |
CN110096567A (zh) * | 2019-03-14 | 2019-08-06 | 中国科学院自动化研究所 | 基于qa知识库推理的多轮对话回复选择方法、*** |
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及*** |
CN110334190A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向开放域对话***的回复自动生成方法 |
CN111309883A (zh) * | 2020-02-13 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的人机对话方法、模型训练方法及装置 |
CN111353029A (zh) * | 2020-02-22 | 2020-06-30 | 杭州电子科技大学 | 一种基于语义匹配的多轮对话口语理解方法 |
WO2020238985A1 (zh) * | 2019-05-31 | 2020-12-03 | 中国科学院深圳先进技术研究院 | 模型训练方法、对话生成方法、装置、设备及存储介质 |
CN112071429A (zh) * | 2020-09-04 | 2020-12-11 | 汪礼君 | 一种基于知识图谱的医疗自动问答***构建方法 |
CN112084314A (zh) * | 2020-08-20 | 2020-12-15 | 电子科技大学 | 一种引入知识的生成式会话*** |
CN112364148A (zh) * | 2020-12-08 | 2021-02-12 | 吉林大学 | 一种基于深度学习方法的生成型聊天机器人 |
CN112988967A (zh) * | 2021-03-08 | 2021-06-18 | 华南理工大学 | 基于两阶段解码的对话生成方法及装置、介质和计算设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10606846B2 (en) * | 2015-10-16 | 2020-03-31 | Baidu Usa Llc | Systems and methods for human inspired simple question answering (HISQA) |
US20180329884A1 (en) * | 2017-05-12 | 2018-11-15 | Rsvp Technologies Inc. | Neural contextual conversation learning |
-
2021
- 2021-08-24 CN CN202110975993.4A patent/CN113656569B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096567A (zh) * | 2019-03-14 | 2019-08-06 | 中国科学院自动化研究所 | 基于qa知识库推理的多轮对话回复选择方法、*** |
CN110032633A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 多轮对话处理方法、装置和设备 |
CN110188167A (zh) * | 2019-05-17 | 2019-08-30 | 北京邮电大学 | 一种融入外部知识的端到端对话方法及*** |
WO2020238985A1 (zh) * | 2019-05-31 | 2020-12-03 | 中国科学院深圳先进技术研究院 | 模型训练方法、对话生成方法、装置、设备及存储介质 |
CN110334190A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向开放域对话***的回复自动生成方法 |
CN111309883A (zh) * | 2020-02-13 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 基于人工智能的人机对话方法、模型训练方法及装置 |
CN111353029A (zh) * | 2020-02-22 | 2020-06-30 | 杭州电子科技大学 | 一种基于语义匹配的多轮对话口语理解方法 |
CN112084314A (zh) * | 2020-08-20 | 2020-12-15 | 电子科技大学 | 一种引入知识的生成式会话*** |
CN112071429A (zh) * | 2020-09-04 | 2020-12-11 | 汪礼君 | 一种基于知识图谱的医疗自动问答***构建方法 |
CN112364148A (zh) * | 2020-12-08 | 2021-02-12 | 吉林大学 | 一种基于深度学习方法的生成型聊天机器人 |
CN112988967A (zh) * | 2021-03-08 | 2021-06-18 | 华南理工大学 | 基于两阶段解码的对话生成方法及装置、介质和计算设备 |
Non-Patent Citations (3)
Title |
---|
Nisrine Ait Khayi等.Attention Based Transformer for Student Answers Assessment.《AAAI Publications, The Thirty-Third International Flairs Conference》.2020,1-6. * |
Sihyung Kim等.Knowledge-grounded chatbot based on dual wasserstein generative adversarial networks with effective attention mechanisms.《Applied Sciences》.2020,第10卷(第10期),1-11. * |
马满福;刘元喆;李勇;王霞;贾海;史彦斌;张小康.基于LCN的医疗知识问答模型.西南大学学报(自然科学版).2020,(第10期),30-41. * |
Also Published As
Publication number | Publication date |
---|---|
CN113656569A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647612A (zh) | 一种基于双视觉注意力网络的视觉对话生成方法 | |
CN113656569B (zh) | 一种基于上下文信息推理的生成式对话方法 | |
Liu et al. | Reinforcement learning for emotional text-to-speech synthesis with improved emotion discriminability | |
CN114385802A (zh) | 一种融合主题预测和情感推理的共情对话生成方法 | |
CN113205792A (zh) | 一种基于Transformer和WaveNet的蒙古语语音合成方法 | |
CN110069611A (zh) | 一种主题增强的聊天机器人回复生成方法及装置 | |
CN114281954A (zh) | 一种基于关系图注意力网络的多轮对话回复生成***及方法 | |
CN116092473A (zh) | 韵律标注模型、韵律预测模型的训练方法及相关设备 | |
CN114898779A (zh) | 融合多模态的语音情感识别方法及*** | |
CN114239607A (zh) | 一种对话答复方法及装置 | |
CN114386426A (zh) | 一种基于多元语义融合的金牌话术推荐方法及装置 | |
CN117994622A (zh) | 多模态感知融合的情感识别方法和机器人情感交互方法 | |
CN116863920B (zh) | 基于双流自监督网络的语音识别方法、装置、设备及介质 | |
CN116108856B (zh) | 基于长短回路认知与显隐情感交互的情感识别方法及*** | |
CN117592564A (zh) | 问答交互方法、装置、设备及介质 | |
CN116860943A (zh) | 对话风格感知与主题引导的多轮对话方法及*** | |
CN116842150A (zh) | 基于对比学习的变分自编码器回复生成方法 | |
CN115169363A (zh) | 一种融合知识的增量编码的对话情感识别方法 | |
CN115422329A (zh) | 一种基于知识驱动的多路筛选融合对话生成方法 | |
Sanjay et al. | Natural text-to-speech synthesis by conditioning spectrogram predictions from transformer network on waveglow vocoder | |
CN113806506B (zh) | 一种面向常识推理的生成式人机对话回复生成方法 | |
CN115422388B (zh) | 一种视觉对话方法及*** | |
CN117150320B (zh) | 对话数字人情感风格相似度评价方法及*** | |
CN113657257B (zh) | 一种端到端的手语翻译方法和*** | |
CN114265920B (zh) | 一种基于信号和场景的智能机器人对话方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |