CN112527962A - 基于多模态融合的智能应答方法、装置、机器可读介质及设备 - Google Patents

基于多模态融合的智能应答方法、装置、机器可读介质及设备 Download PDF

Info

Publication number
CN112527962A
CN112527962A CN202011499081.6A CN202011499081A CN112527962A CN 112527962 A CN112527962 A CN 112527962A CN 202011499081 A CN202011499081 A CN 202011499081A CN 112527962 A CN112527962 A CN 112527962A
Authority
CN
China
Prior art keywords
information
text
matrix
answer
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011499081.6A
Other languages
English (en)
Inventor
苏磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
Yuncong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuncong Technology Group Co Ltd filed Critical Yuncong Technology Group Co Ltd
Priority to CN202011499081.6A priority Critical patent/CN112527962A/zh
Publication of CN112527962A publication Critical patent/CN112527962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多模态融合的智能应答方法，包括：获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；对图像信息和文本信息进行特征提取，得到图像特征信息和文本特征信息；将所述图像特征信息与文本特征信息进行融合，得到融合模态数据信息；对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互***能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。

Description

基于多模态融合的智能应答方法、装置、机器可读介质及设备
技术领域
本发明涉及人工智能领域，具体涉及一种基于多模态融合的智能应答方法、装置、机器可读介质及设备。
背景技术
人机交互***是自然语言处理领域重要的研究方向之一，人机多轮交互也是图灵测试的核心。当前的人机交互***局限于语音和文本的交互方式，随着语音助手、智能客服的普及应用，具有视听说的多模态对话***，在零售、客服、安防、金融、中介、教育等很多领域变得越来越重要。
然而，在人机交互***中，如何有效的融合多模态信息，更加细致精准的理解用户意图，进而给出准确顺畅的回答，值得研究和解决。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多模态融合的智能应答方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。
为实现上述目的及其他相关目的，本发明提供一种基于多模态融合的智能应答方法，包括：
获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
可选地，所述文本信息包括时间序列信息、对话角色信息、对话文本信息，相应的所述文本特征信息包括：时间序列特征信息、对话角色特征信息、对话文本特征信息。
可选地，所述将所述图像特征信息与所述文本特征信息进行融合，包括：
将所述图像特征信息转换成图像特征矩阵；
将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
可选地，所述将所述图像特征信息转换成图像特征矩阵，包括：
通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
可选地，所述将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵，包括：
对所述文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
分别通过Embedding将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
可选地，通过生成语言模型对所述融合模态数据信息进行特征提取得到预测文本答句矩阵以及对所述预测文本答句矩阵进行转换得到目标文本答句。
可选地，所述生成语言模型至少包括多头自注意力层、全连接层、Softmax层。
可选地，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵。
可选地，所述对所述预测文本答句矩阵进行转换得到目标文本答句，包括：
通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；
通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；
根据所述概率分布得到目标文本答句。
可选地，所述生成语言模型包括多模态分层编解码MHRED(MultimodalHierarchical Encoder Decoder)、BART或GPT(Generative Pre-Training)。
为实现上述目的及其他相关目的，本发明提供一种基于多模态融合的智能应答装置，包括：
问答信息获取模块，用于获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
特征提取模块，用于对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
特征融合模块，用于将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
答句输出模块，用于对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
可选地，所述特征融合模块包括：
图像特征转换子模块，用于将所述图像特征信息转换成图像特征矩阵；
文本特征转换子模块，用于将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
特征融合子模块，用于将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
可选地，所述图像特征转换子模块包括：
图像特征向量转换子模块，用于通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
可选地，所述文本特征转换子模块包括：
分词单元，用于对所述文本特征信息中的时间序列特征信息、对话角色特征信息、对话文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
向量转换单元，用于分别通过Embedding将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
第一组合单元，分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
第二组合单元，用于将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
可选地，通过生成语言模型对所述融合模态数据信息进行特征提取得到预测文本答句矩阵以及对所述预测文本答句矩阵进行转换得到目标文本答句。
可选地，所述生成语言模型至少包括多头自注意力层、全连接层、Softmax层；其中，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵；通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；根据所述概率分布得到目标文本答句。
为实现上述目的及其他相关目的，本发明还提供一种基于多模态融合的智能应答设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。
如上所述，本发明提供的一种基于多模态融合的智能应答方法、装置、机器可读介质及设备，具有以下有益效果：
本发明的一种基于多模态融合的智能应答方法，包括：获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互***能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。
附图说明
图1为本发明一实施例一种基于多模态融合的智能应答方法的流程图；
图2为本发明一实施例问答信息的生成方法；
图3为本发明一实施例将所述图像特征信息与所述文本特征信息进行融合的方法流程图；
图4为本发明一实施例融合模态数据信息的结构的示意图；
图5为本发明一实施例将所述图像特征信息转换成图像特征矩阵的方法流程图；
图6为本发明一实施例将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵的方法流程图；
图7为本发明一实施例一种基于多模态融合的智能应答装置的硬件结构示意图；
图8为本发明一实施例特征融合模块的示意图；
图9为本发明一实施例图像特征转换子模块的示意图；
图10为本发明一实施例文本特征转换子模块的示意图；
图11为本发明一实施例中终端设备的硬件结构示意图；
图12为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本申请实施例提供一种基于多模态融合的智能应答方法，包括：
S11获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
S12对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
S13将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
S14对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互***能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。
在一实施例中，通过以下方式得到所述问答信息。
如图2所示，将相邻连续的问句与答句以分隔符|||合并，同时将图片数据以特殊字符<img>占位，通过滑动窗口方法，以问句Qn作为起始基准，An作为对应回复，n-ctx_turns作为上下文窗口。遍历单组Session会话数据，滑动生成所有问答信息。
其中，上下文窗口代表的是经过了多少轮对话。假如说，a问一句，b答一句，经过了一轮对对话，若a问了三句，b答了三句，则进行了3轮问答。
其中，将相邻连续的问句与答句以分隔符进行合并，是指将问句进行合并以及将答句进行合并。例如，假如a先问了三句,b答了两句，则将a问的三句用分隔符进行合并，将b答的两句进行合并。
在步骤S12中，可以通过预训练的神经网络模型对问答信息中的图像信息进行特征提取，得到图像特征信息，其中，神经网络的算法可以包括但不限于VGGNet、ResNet、Inception算法。
在步骤S12中，可以通过Embedding对问答信息中的文本信息进行特征提取，得到文本特征信息。所述文本信息包括时间序列信息、对话角色信息、对话文本信息，相应的所述文本特征信息包括：时间序列特征信息、对话角色特征信息、对话文本特征信息。
在一实施例中，如图3所示，所述将所述图像特征信息与所述文本特征信息进行融合，包括：
S31将所述图像特征信息转换成图像特征矩阵；
S32将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
S33将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
所述文本特征矩阵包括维度相同时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
其中，如图4所示，融合模态数据信息的结构为知识库Knowledge、对话历史Context history、当前问句Question、当前答句Answer。其中，在所述融合模态数据信息中，知识库以对话历史的形成串行拼接在融合模态数据信息中的起始位置。其中，所述知识库Knowledge可以包括图片的属性信息，例如，颜色等。
在一实施例中，如图5所示，所述将所述图像特征信息转换成图像特征矩阵，包括：
S51通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
S52判断所述图像特征向量的数量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
在步骤S51中，也可以通过步骤S12中预训练的深度卷积神经网络模型将图像特征信息转换成图像特征向量。具体地，通过深度卷积神经网络模型的全连接网络将图像特征信息转换为图像特征向量，通过图像特征向量来表征图片。若包括多个图像特征向量，则将多个图像特征向量相连形成图像特征矩阵。
在一实施例中，如图6所示，所述将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵，包括：
S61对所述文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
S62分别通过Embedding(嵌入层)将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
S63分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
具体地，将表示时间序列特征信息的每个词向量相连形成时间序列特征矩阵；对话角色特征信息的每个词向量相连形成对话角色特征矩阵；对话文本特征信息的每个词向量相连形成对话文本特征矩阵。
S64将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
在步骤S14中，经由步骤S13处理得到的融合模态数据信息，可以利用生成语言模型进行特征提取，得到预测文本答句矩阵，然后通过生成语言模型对所述预测文本答句矩阵的维度进行转换，得到最终的目标文本答句。
在一实施例中，所述的生成语言模型至少包括多头自注意力层、全连接层、Softmax层。利用多头自注意力层以及非线性的Softmax层，通过损失函数计算误差，反向梯度优化生成模型，从而充分学习融合模态数据信息的关系与表征，完成生成目标文本答句的任务。
在另一实施例中，所述的生成语言模型还可以包括归一化层、残差层，多头自注意力层、归一化层、残差层、全连接层、Softmax层依次铺叠设置。
其中，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵；通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；根据所述概率分布得到目标文本答句。
融合模态数据信息经过生成语言模型后得到预测文本答句矩阵，该预测文本答句矩阵并不是能被人直接接受的自然语言，因此，需要将预测文本答句矩阵通过全连接层进行维度的转换，转换到字典维度，该字典中包含有很多的字，从字典中选择概率最大的作为最终输出的字。
例如，预测文本答句矩阵的维度是768维，字典里面有30000个字的话，就会把预测文本答句矩阵中的元素映射到字典中，每一个元素可能对应字典中的多个字，同时每个字具有相应的概率，然后选择最高概率那个字，把这个字提取出来，作为最终输出的字。
其中，概率可以通过生成语言模型(预先训练好的神经网络模型)获得，经过生成语言模型的Softmax层，得到(0,1)的概率分布，概率最大的分量即是当前时间步的预测结果。
在一实施例中，所述生成语言模型包括多模态分层编解码MHRED(MultimodalHierarchical Encoder Decoder)、降噪自编码器BART或GPT(Generative Pre-Training)。
应该理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本发明的基于多模态融合的智能应答方法可以应用在人机交互领域，可以兼容不同的生成语言模型(如MHRED,BART，GPT)。这种多模态融合方式，兼顾信息的完整性与互补性，同时可以借助基于深度学习的生成语言模型，自动学习优化模态间的关系和表征，进而获得各个模态特征在高维度上的最佳表达，更好的完成下游任务。
如图7，本申请实施例提供一种基于多模态融合的智能应答装置，包括：
问答信息获取模块71，用于获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
特征提取模块72，用于对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
特征融合模块73，用于将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
答句输出模块74，用于对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
本发明利用多模态的特征在人机交互场景中进行问句答句的预测，有利于信息的完整性、不同模态之间的信息互补以及在后续的生成模型中学习单独模态的信息重要度和模态信息间的关系，并且融合多模态的信息使得人机交互***能够生成更加完整、流畅的回答，并增加答句的语义丰富度和逻辑性。
在一实施例中，通过以下方式得到所述问答信息。
如图2所示，将相邻连续的问句与答句以分隔符|||合并，同时将图片数据以特殊字符<img>占位，通过滑动窗口方法，以问句Qn作为起始基准，An作为对应回复，n-ctx_turns作为上下文窗口。遍历单组Session会话数据，滑动生成所有问答信息。
其中，上下文窗口代表的是经过了多少轮对话。假如说，a问一句，b答一句，经过了一轮对对话，若a问了三句，b答了三句，则进行了3轮问答。
其中，将相邻连续的问句与答句以分隔符进行合并，是指将问句进行合并以及将答句进行合并。例如，假如a先问了三句,b答了两句，则将a问的三句用分隔符进行合并，将b答的两句进行合并。
在一实施例中，图像特征的提取可以通过预训练的神经网络模型对问答信息中的图像信息进行特征提取，得到图像特征信息，其中，神经网络的算法可以包括但不限于VGGNet、ResNet、Inception算法。
在一实施例中，本文特征的提取可以通过Embedding对问答信息中的文本信息进行特征提取，得到文本特征信息。所述文本信息包括时间序列信息、对话角色信息、对话文本信息，相应的所述文本特征信息包括：时间序列特征信息、对话角色特征信息、对话文本特征信息。
在一实施例中，如图8所示，所述特征融合模块包括：
图像特征转换子模块81，用于将所述图像特征信息转换成图像特征矩阵；
文本特征转换子模块82，用于将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
特征融合子模块83，用于将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
所述文本特征矩阵包括维度相同时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
其中，如图4所示，融合模态数据信息的结构为知识库Knowledge、对话历史Context history、当前问句Question、当前答句Answer。其中，在所述融合模态数据信息中，知识库以对话历史的形成串行拼接在融合模态数据信息中的起始位置。其中，所述知识库Knowledge可以包括图片的属性信息，例如，颜色等。
在一实施例中，如图9所示，所述图像特征转换子模块包括：
图像特征向量转换单元91，用于通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
判断单元92，用于判断所述图像特征向量的数量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
将所述图像特征信息转换为图像特征向量也可以通过预训练的深度卷积神经网络模型将图像特征信息转换成图像特征向量。具体地，通过深度卷积神经网络模型的全连接网络将图像特征信息转换为图像特征向量，通过图像特征向量来表征图片。若包括多个图像特征向量，则将多个图像特征向量相连形成图像特征矩阵。
在一实施例中，如图10所示，所述文本特征转换子模块包括：
分词单元101，用于对所述文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
向量转换单元102，用于分别通过Embedding(嵌入层)将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
第一组合单元103，用于分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
具体地，将表示时间序列特征信息的每个词向量相连形成时间序列特征矩阵；对话角色特征信息的每个词向量相连形成对话角色特征矩阵；对话文本特征信息的每个词向量相连形成对话文本特征矩阵。
第二组合单元104，用于将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
在得到融合模态数据信息后，可以利用生成语言模型进行特征提取，得到预测文本答句矩阵，然后通过生成语言模型对所述预测文本答句矩阵的维度进行转换，得到最终的目标文本答句。
在一实施例中，所述的生成语言模型至少包括多头自注意力层、全连接层、Softmax层。利用多头自注意力层以及非线性的Softmax层，通过损失函数计算误差，反向梯度优化生成模型，从而充分学习融合模态数据信息的关系与表征，完成生成目标文本答句的任务。
在另一实施例中，所述的生成语言模型还可以包括归一化层、残差层，多头自注意力层、归一化层、残差层、全连接层、Softmax层依次铺叠设置。
其中，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵；通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；根据所述概率分布得到目标文本答句。
融合模态数据信息经过生成语言模型后得到预测文本答句矩阵，该预测文本答句矩阵并不是能被人直接接受的自然语言，因此，需要将预测文本答句矩阵通过全连接层进行维度的转换，转换到字典维度，该字典中包含有很多的字，从字典中选择概率最大的作为最终输出的字。
例如，预测文本答句矩阵的维度是768维，字典里面有30000个字的话，就会把预测文本答句矩阵中的元素映射到字典中，每一个元素可能对应字典中的多个字，同时每个字具有相应的概率，然后选择最高概率那个字，把这个字提取出来，作为最终输出的字。
其中，概率可以通过生成语言模型(预先训练好的神经网络模型)获得，经过生成语言模型的Softmax层，得到(0,1)的概率分布，概率最大的分量即是当前时间步的预测结果。
在一实施例中，所述生成语言模型包括多模态分层编解码MHRED(MultimodalHierarchical Encoder Decoder)、降噪自编码器BART或GPT(Generative Pre-Training)。
本发明的基于多模态融合的智能应答方法可以应用在人机交互领域，可以兼容不同的生成语言模型(如MHRED,BART，GPT)。这种多模态融合方式，兼顾信息的完整性与互补性，同时可以借助基于深度学习的生成语言模型，自动学习优化模态间的关系和表征，进而获得各个模态特征在高维度上的最佳表达，更好的完成下游任务。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图11为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件***接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图12为本申请的一个实施例提供的终端设备的硬件结构示意图。图12是对图11在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理***，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和***接口模块之间提供接口，上述***接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于***SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图12实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图11实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (18)

1.一种基于多模态融合的智能应答方法，其特征在于，包括：
获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
2.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述文本信息包括时间序列信息、对话角色信息、对话文本信息，相应的所述文本特征信息包括：时间序列特征信息、对话角色特征信息、对话文本特征信息。
3.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述将所述图像特征信息与所述文本特征信息进行融合，包括：
将所述图像特征信息转换成图像特征矩阵；
将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
4.根据权利要求3所述的基于多模态融合的智能应答方法，其特征在于，所述将所述图像特征信息转换成图像特征矩阵，包括：
通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
5.根据权利要求3所述的基于多模态融合的智能应答方法，其特征在于，所述将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵，包括：
对所述文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
分别通过Embedding将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
6.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，通过生成语言模型对所述融合模态数据信息进行特征提取得到预测文本答句矩阵以及对所述预测文本答句矩阵进行转换得到目标文本答句。
7.根据权利要求6所述的基于多模态融合的智能应答方法，其特征在于，所述生成语言模型至少包括多头自注意力层、全连接层、Softmax层。
8.根据权利要求7所述的基于多模态融合的智能应答方法，其特征在于，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵。
9.根据权利要求7所述的基于多模态融合的智能应答方法，其特征在于，所述对所述预测文本答句矩阵进行转换得到目标文本答句，包括：
通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；
通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；
根据所述概率分布得到目标文本答句。
10.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述生成语言模型包括多模态分层编解码MHRED(Multimodal Hierarchical Encoder Decoder)、BART或GPT(Generative Pre-Training)。
11.一种基于多模态融合的智能应答装置，其特征在于，包括：
问答信息获取模块，用于获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；
特征提取模块，用于对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；
特征融合模块，用于将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；
答句输出模块，用于对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。
12.根据权利要求11所述的基于多模态融合的智能应答方法，其特征在于，所述特征融合模块包括：
图像特征转换子模块，用于将所述图像特征信息转换成图像特征矩阵；
文本特征转换子模块，用于将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；
特征融合子模块，用于将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。
13.根据权利要求12所述的基于多模态融合的智能应答方法，其特征在于，所述图像特征转换子模块包括：
图像特征向量转换子模块，用于通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；
若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；
若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。
14.根据权利要求12所述的基于多模态融合的智能应答方法，其特征在于，所述文本特征转换子模块包括：
分词单元，用于对所述文本特征信息中的时间序列特征信息、对话角色特征信息、对话文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；
向量转换单元，用于分别通过Embedding将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；
第一组合单元，分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；
第二组合单元，用于将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。
15.根据权利要求11所述的基于多模态融合的智能应答方法，其特征在于，通过生成语言模型对所述融合模态数据信息进行特征提取得到预测文本答句矩阵以及对所述预测文本答句矩阵进行转换得到目标文本答句。
16.根据权利要求15所述的基于多模态融合的智能应答方法，其特征在于，所述生成语言模型至少包括多头自注意力层、全连接层、Softmax层；其中，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵；通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；根据所述概率分布得到目标文本答句。
17.一种基于多模态融合的智能应答设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-10中一个或多个所述的方法。
18.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-10中一个或多个所述的方法。
CN202011499081.6A 2020-12-17 2020-12-17 基于多模态融合的智能应答方法、装置、机器可读介质及设备 Pending CN112527962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499081.6A CN112527962A (zh) 2020-12-17 2020-12-17 基于多模态融合的智能应答方法、装置、机器可读介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499081.6A CN112527962A (zh) 2020-12-17 2020-12-17 基于多模态融合的智能应答方法、装置、机器可读介质及设备

Publications (1)

Publication Number Publication Date
CN112527962A true CN112527962A (zh) 2021-03-19

Family

ID=75001198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499081.6A Pending CN112527962A (zh) 2020-12-17 2020-12-17 基于多模态融合的智能应答方法、装置、机器可读介质及设备

Country Status (1)

Country Link
CN (1) CN112527962A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989013A (zh) * 2021-04-30 2021-06-18 武汉龙津科技有限公司 一种对话处理方法、装置、电子设备及存储介质
CN113342947A (zh) * 2021-05-26 2021-09-03 华南师范大学 能感知对话上下文相对位置信息的多轮对话文本生成方法
CN113743128A (zh) * 2021-09-15 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 获取对话语义表示的方法和语义表示模型训练方法及装置
CN113779934A (zh) * 2021-08-13 2021-12-10 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法
CN116702795A (zh) * 2023-08-01 2023-09-05 北京中关村科金技术有限公司 结合AI和Chatterbot的智慧政务对话处理方法及软件产品
CN116734750A (zh) * 2023-08-15 2023-09-12 山西锦烁生物医药科技有限公司 基于光纤传感器的冰场冰层厚度智能检测方法及***
CN116775960A (zh) * 2023-08-23 2023-09-19 成都安哲斯生物医药科技有限公司 一种多模态医疗数据问答方法及存储介质
CN116798427A (zh) * 2023-06-21 2023-09-22 支付宝(杭州)信息技术有限公司 基于多模态的人机交互方法及数字人***
CN116932712A (zh) * 2023-06-30 2023-10-24 上海蜜度信息技术有限公司 一种多模态输入的交互信息生成方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110433A1 (en) * 2012-02-01 2016-04-21 Sri International Method and apparatus for correlating and viewing disparate data
CN107480206A (zh) * 2017-07-25 2017-12-15 杭州电子科技大学 一种基于多模态低秩双线性池化的图像内容问答方法
CN109800294A (zh) * 2019-01-08 2019-05-24 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、***、装置
CN110348535A (zh) * 2019-07-17 2019-10-18 北京金山数字娱乐科技有限公司 一种视觉问答模型训练方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110433A1 (en) * 2012-02-01 2016-04-21 Sri International Method and apparatus for correlating and viewing disparate data
CN107480206A (zh) * 2017-07-25 2017-12-15 杭州电子科技大学 一种基于多模态低秩双线性池化的图像内容问答方法
CN109800294A (zh) * 2019-01-08 2019-05-24 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、***、装置
CN110348535A (zh) * 2019-07-17 2019-10-18 北京金山数字娱乐科技有限公司 一种视觉问答模型训练方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989013A (zh) * 2021-04-30 2021-06-18 武汉龙津科技有限公司 一种对话处理方法、装置、电子设备及存储介质
CN113342947A (zh) * 2021-05-26 2021-09-03 华南师范大学 能感知对话上下文相对位置信息的多轮对话文本生成方法
CN113342947B (zh) * 2021-05-26 2022-03-15 华南师范大学 能感知对话上下文相对位置信息的多轮对话文本生成方法
CN113779934A (zh) * 2021-08-13 2021-12-10 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN113779934B (zh) * 2021-08-13 2024-04-26 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN113743128A (zh) * 2021-09-15 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 获取对话语义表示的方法和语义表示模型训练方法及装置
CN116030048A (zh) * 2023-03-27 2023-04-28 山东鹰眼机械科技有限公司 灯检机及其方法
CN116798427A (zh) * 2023-06-21 2023-09-22 支付宝(杭州)信息技术有限公司 基于多模态的人机交互方法及数字人***
CN116932712A (zh) * 2023-06-30 2023-10-24 上海蜜度信息技术有限公司 一种多模态输入的交互信息生成方法、装置、设备和介质
CN116702795B (zh) * 2023-08-01 2023-10-27 北京中关村科金技术有限公司 结合AI和Chatterbot的智慧政务对话处理方法及软件产品
CN116702795A (zh) * 2023-08-01 2023-09-05 北京中关村科金技术有限公司 结合AI和Chatterbot的智慧政务对话处理方法及软件产品
CN116734750A (zh) * 2023-08-15 2023-09-12 山西锦烁生物医药科技有限公司 基于光纤传感器的冰场冰层厚度智能检测方法及***
CN116734750B (zh) * 2023-08-15 2023-10-27 山西锦烁生物医药科技有限公司 基于光纤传感器的冰场冰层厚度智能检测方法及***
CN116775960A (zh) * 2023-08-23 2023-09-19 成都安哲斯生物医药科技有限公司 一种多模态医疗数据问答方法及存储介质
CN116775960B (zh) * 2023-08-23 2023-10-20 成都安哲斯生物医药科技有限公司 一种多模态医疗数据问答方法及存储介质

Similar Documents

Publication Publication Date Title
CN112527962A (zh) 基于多模态融合的智能应答方法、装置、机器可读介质及设备
CN110309283B (zh) 一种智能问答的答案确定方法及装置
CN108985358B (zh) 情绪识别方法、装置、设备及存储介质
CN112685565A (zh) 基于多模态信息融合的文本分类方法、及其相关设备
KR20210037619A (ko) 멀티 모달 콘텐츠 처리 방법, 장치, 기기 및 저장 매체
US20230385560A1 (en) System and Method for Temporal Attention Behavioral Analysis of Multi-Modal Conversations in a Question and Answer System
US20230386238A1 (en) Data processing method and apparatus, computer device, and storage medium
CN112069309A (zh) 信息获取方法、装置、计算机设备及存储介质
CN112286485B (zh) 通过语音控制应用的方法、装置、电子设备与存储介质
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN116720004A (zh) 推荐理由生成方法、装置、设备及存储介质
Zhu et al. Multimodal Fusion Method Based on Self‐Attention Mechanism
CN114298121A (zh) 基于多模态的文本生成方法、模型训练方法和装置
CN112200318A (zh) 一种目标检测方法、装置、机器可读介质及设备
CN111783429B (zh) 信息处理方法、装置、电子设备以及存储介质
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及***
CN111508472A (zh) 一种语种切换方法、装置及存储介质
CN112560506A (zh) 文本语义解析方法、装置、终端设备及存储介质
CN115640815A (zh) 翻译方法、装置、可读介质及电子设备
Gao et al. Generalized pyramid co-attention with learnable aggregation net for video question answering
CN117520498A (zh) 基于虚拟数字人交互处理方法、***、终端、设备及介质
CN115617975B (zh) 针对少样本多轮对话的意图识别方法及装置
CN112001167A (zh) 一种标点符号添加方法、***、设备和介质
CN116662496A (zh) 信息抽取方法、训练问答处理模型的方法及装置
CN115221306A (zh) 自动应答评价方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319