CN115512191A - 一种联合问答的图像自然语言描述方法 - Google Patents

一种联合问答的图像自然语言描述方法 Download PDF

Info

Publication number
CN115512191A
CN115512191A CN202211150406.9A CN202211150406A CN115512191A CN 115512191 A CN115512191 A CN 115512191A CN 202211150406 A CN202211150406 A CN 202211150406A CN 115512191 A CN115512191 A CN 115512191A
Authority
CN
China
Prior art keywords
image
question
model
segmentation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211150406.9A
Other languages
English (en)
Inventor
卫志华
刘官明
张恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202211150406.9A priority Critical patent/CN115512191A/zh
Publication of CN115512191A publication Critical patent/CN115512191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种联合问答的图像自然语言描述方法，包括三个步骤：步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，能生成问题相关的长文本回答，作为图像内容的精细化语义描述。

Description

一种联合问答的图像自然语言描述方法
技术领域
本发明属于计算机视觉和自然语言处理领域。
背景技术
图像描述生成是一个跨文本和图像的多模态任务，目的是从图片中产生相应的自然语言描述。这个任务对于人类来说非常容易，但是对于计算机来说非常具有挑战性。随着深度学习的流行，越来越多的人尝试使用神经网络来解决机器的图像描述问题。
然而，由于自然语言描述存在多样性，使得其具备不一样的标准形式，使用特定数据集进行训练仅能得到符合该数据集分布的图像内容描述，限制了适用范围。同时，大多数的图像描述方法仅仅被动地生成单调的句子，并不会考虑到图像中场景与关注目标之间的联系，因此也很难同时对不同的、多尺度的目标进行描述，也容易对潜在的联系视而不见。这种机械的图像描述与人类对图像的语义认知存在较大的偏差，在与真实的人类进行交互时往往无法相互理解。
图像描述生成一般分为图像特征提取和文本生成两个子模块。图像特征提取常见的方法是使用图像识别神经网络模型来提取目标，但是这会导致图像信息的缺失和特征提取的偏差。同时，基于特征提取进行短句生成往往只关注特定的目标，不能由图像具有的丰富语义信息生成多粒度的描述，容易造成跨模态信息的大量损失。因此，机器的图像描述仍然与人类对图像的自然认知有着较大的差距。
发明内容
本发明针对背景技术的不足提供一种联合问答的图像自然语言描述方法，以视觉问答模型为基础生成图像内容描述，通过设计图像分割模块，问题生成模块和联合问答模块，借助关系特征图中不同尺度区域产生多个语义相关的提问，以问题-答案为对应关系，使用具有多粒度特征的引导问题产生图像场景的精细化描述，该方法能捕获图像中隐式事实发生可能性，生成更符合人类对图像语义认知的自然语言描述。
本发明采用如下技术方案：
一种联合问答的图像自然语言描述方法，其特征在于，以视觉问答模型为基础来生成图像内容的精细化描述。首先，图像分割模块获得图像目标和背景类别划分的分割特征图；其次，问题生成模块构建隐式的场景类型表征，以关注目标为中心产生多粒度的引导问题；最后，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征。本方法以视觉问答为基础，根据问题-答案的对应关系，生成图像内容的自然语言描述。
一种联合问答的图像自然语言描述方法，包括三个步骤：
步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；
步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；
步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，能生成问题相关的长文本回答，作为图像内容的精细化语义描述。
针对步骤一，本发明提供了一种提取图像特征的优选方案。
针对步骤二，本发明公开了以LSTM模型为基础的问题生成模型，其特征在于，可以对分割特征图进行处理，通过构建隐式的场景类型表征，先产生包含关注目标信息的关系特征图，随后以关注目标为中心，多尺度地建立与图像关注目标之间、关注目标和背景之间的联系，生成的多粒度引导问题即作为后续联合问答中的一环。
针对步骤三，本发明公开了以BUTD(自底向上，自顶向下)模型为基础的联合问答模型，其特征在于，引入了对比学习的损失函数，可以联合关系特征图和引导问题，提高模型跨模态的学习能力，增强模型对图像和问题答案之间语义联系的理解，生成图像内容的精细化描述。
具体的，
步骤一：图像分割
1.1利用现已公开的图像语义分割数据集，其中的批量图像均有像素级的类别标注。
1.2使用深度学习方法对图像分割数据集进行训练，构造图像分割神经网络模型。图像分割的任务是给图像进行稠密预测，通过对不同目标以特定颜色进行标注，让每个像素点都有其所属的目标或者封闭区域的类别。
1.3将训练好的图像分割神经网络的模型权重保存，该网络模型可对原始图像进行处理，区分图像中不同的目标和背景，最终输出目标间、目标与背景间的分割特征图。
步骤二：问题生成
2.1处理现已公开的视觉问题生成数据集，对数据集中的问题范畴进行分类，不同的问题范畴多角度地看待目标及其之间的联系，同一图像的多个问题范畴不仅关注着不同的目标，也关注着相同目标不同尺度的图像区域。同时，对数据集的回答和问题做合并处理，生成一句完整的自然语言描述。
2.2使用深度学习方法对处理后的视觉问题生成数据集进行训练，构造问题生成神经网络模型。问题生成模型构建隐式的场景类型表征，初步产生包含关注目标信息的关系特征图，随后以关注目标为中心，学习问题范畴和图像不同粒度区域之间的相关性，多尺度地生成与关注目标上下文相关的不同问题。
步骤三：联合问答
3.1整合图像分割模块、问题生成模块和联合问答模块，以引导问题作为上下文，使用自上而下的注意力机制进行学习，引入对比学习的损失函数，对引导问题和关系特征图进行联合多模态嵌入表征。根据训练好的网络，给出候选答案及其置信度，生成图像内容的自然语言描述。
本发明的有益效果：
1.图像分割(使用他人已有的分割模型)不仅包括显式的目标和背景的像素级信息，还包括隐藏的对象间的从属、并列和逻辑关系，能提供全面且精细的图像特征信息。
2.该设计方案相比于直接生成图像描述，步骤二中以图像生成的多粒度特征问题能引导更为精细具体的多尺度回答，同时还能捕获图像中隐式事实发生的可能性，提供描述简单事件的能力。
3.该设计方案提供了一种图像描述的新方法，其以多粒度特征问题作为图像内容描述生成的引导核心，使用视觉问答模型构建问题-答案的对应关系(为本申请首次提出使用视觉问答模型生成图像描述)，引入对比学习的损失函数提高了模型跨模态的学习能力，能提供更符合人类对图像语义认知的自然语言描述，有利于提高人机交互的处理效率。
附图说明
图1图像分割模型图
图2本发明设计的问题生成模型
图3联合问答模型图
图4联合问答的图像描述示例图
具体实施方式
实施例
联合问答的图像描述示例如图4所示。
一种基于视觉问答的分割式图像内容描述方法，包括以下步骤：
步骤一：图像分割
1.1在本实施例中，所采用的数据集为Cityscapes数据集，该数据集专注于对复杂城市街道场景的视觉理解，它包含来自50个不同城市的街道场景中记录的多种立体视频序列，带有20000帧弱注释和5000帧高质量像素级注释，总共提供了包括行人、交通工具、道路、建筑、信号灯和信号标志等30种类别的标注。
1.2在本实施例中，使用深度学习方法对图像分割数据集进行训练，构造编码器-解码器结构的Deeplab图像分割网络模型。Deeplab系列是一种基于全卷积的扩张卷积语义分割模型，提出的空洞卷积可以在不增加参数量的情况下尽可能地恢复在卷积操作中持续降低的特征图分辨率。本实施例采用的Deeplab v3+模型是一种编码器-解码器结构的分割网络模型，其具有较高的计算速度和预测精度。其中，编码器模块用来提取图像中高级的语义信息。解码器模块用来恢复低层级的空间信息，获取清晰完整的类别分割边界和目标间、目标与背景间的关系。网络模型如图1所示。
在编码器结构阶段，首先采用结合了深度可分离卷积的Xception网络作为骨干网络对输入图像进行初始特征提取。Xception网络使用残差连接和深度可分离卷积，对特征图进行下采样。随后的带洞空间金字塔池化模块(ASPP，Atrous Spatial PyramidPooling)用来进一步提取多尺度的特征信息，模块中的1×1卷积、全局平均池化和扩张率(用Rate表示)分别为6、12、18的空洞卷积组合为纵式并行结构，接着将多尺度特征图通过1×1卷积处理压缩通道数到256，特征图分辨率降低到原图的1/16，作为编码器结构的特征图输出。
在解码器结构阶段，对编码器结构输出的特征图进行4倍的双线性插值的上采样处理，与骨干网络上对应层级的浅层特征图在通道调整后进行拼接，再经过两个3×3卷积层细化特征图，最终经过4倍的双线性插值上采样，得到和原图相同尺寸的具有丰富细节和全局信息的分割预测结果。
1.3将训练好的Deeplab v3+图像分割神经网络的模型权重保存，该网络模型可对原始图像进行处理，区分图像中不同的目标和背景，最终输出目标间、目标与背景间的分割特征图，其详尽地提取了图像的像素级特征。
步骤二：问题生成
2.1在本实施例中，处理现已公开的视觉问题生成数据集(包括SQuAD数据集等等)，对数据集中的问题范畴进行分类，不同的问题范畴多角度地看待目标及其之间的联系，同一图像的多个问题范畴不仅关注着不同的目标，也关注着相同目标不同尺度的图像区域。同时，对数据集的回答和问题做合并处理，生成一句完整的自然语言描述。
问题范畴包括对象(Object)，属性(Attribute)，关系(Relationship)，计数(Counting)，行为(Behavior)等等。
2.2在本实施例中，使用深度学习方法对处理后的视觉问题生成数据集进行训练，构造问题生成神经网络模型。
为了直接从特征图像中生成基于视觉基础的问题，构建残差连接的MLP(多层感知机)，其以包含类别信息的分割特征图为输入，输出包含主要关注目标信息的关系特征图，用来指导后续的问题生成。
典型的MLP包括三层：输入层、隐藏层和输出层，MLP神经网络不同层之间是全连接的，隐藏层通过训练构建图像的场景类型表征权重，每一层神经网络的计算公式如下：
H＝XWh+bh
O＝HWo+bo
Y＝σ(O)
其中，X是特征输入，Y是特征输出，Wh和Wo分别为隐藏层和输出层的权重，bh和bo分别为隐藏层和输出层的偏差，σ表示的是激活函数，这里使用sigmoid函数。
分割特征图通过残差连接生成关系特征图，表征关系权重的通道代表着关注目标的显著度，每个分割特征图的封闭目标区域都有相应的关注系数，用u表示关系特征层。随后，问题生成模型以LSTM(长短期记忆循环神经网络)为基础，多粒度、分层次地建立关系特征图中每个关注目标和周边封闭范围类别的关联，在不同尺度上根据预测的最优先问题范畴生成相关的引导问题。
使用LSTM学习关注目标和问题的关系，让模型能根据问题锁定关注目标的相关区域进行训练。LSTM涉及短期记忆h和长期记忆C的传递，包括输入门、输出门和遗忘门，包括公式如下(为现有技术)：
Figure BDA0003856159120000061
Figure BDA0003856159120000062
Figure BDA0003856159120000063
Figure BDA0003856159120000064
Figure BDA0003856159120000065
Figure BDA0003856159120000066
ct＝zt⊙it+ct-1⊙ft
Figure BDA0003856159120000067
Figure BDA0003856159120000068
yt＝(ct)⊙ot
其中，xt是当前时刻的输入，yt-1是上一时刻的短期记忆，ct-1是上一时刻的长期记忆，Wf、Wi、Wz和Wo是相应的输入权重，Rf、Ri、Rz和Ro是相应的递归权重，pi表示的是窥视孔权值矩阵，用来更新粒度大小，bf、bi、bz和bo是相应的计算偏差，σ表示的是sigmoid激活函数。
问题生成神经网络模型的损失函数如下所示：
Figure BDA0003856159120000069
其中，
Figure BDA00038561591200000610
是模型生成的问题向量，qi是数据集中真实的问题向量，u表示预测的关系权重值，为正数。
问题生成的网络模型如图2所示。关系特征图提供了图像整体的上下文信息，通过构建隐式的场景类型表征，关注目标高效地让问题生成集中在若干个目标上，更好地限定了图像场景的关注目标，提供了图像中更为抽象的目标焦点表示；以关注目标为中心，在不同粒度层级上，根据预测的最优先问题范畴生成若干个不同尺度的问题，这些问题涵盖了图像中核心区域的重要信息，使得问题生成神经网络模型处理得到的引导问题更为全面。
步骤三：联合问答
3.1在本实施例中，整合步骤一图像分割模块、步骤二问题生成模块和步骤三联合问答模块，以引导问题作为上下文，使用自上而下的注意力机制进行学习，对引导问题和关系特征图进行联合多模态嵌入表征。
首先对问题生成的问题特征向量q和图像分割得到的分割特征图v进行连接作为上下文，来引导模型对于v和q的权重Wq和Wv进行训练；
fq(q)＝Wqq
fv(v)＝Wvv
对fq(q)和fv(v)进行多模态嵌入，使用哈尔玛积进行计算：
Figure BDA0003856159120000072
p(y)＝σ(h)
其中，fq表示问题流的输出，fv表示视觉流的输出，p(y)是最终的输出结果，匹配程度更接近的问题特征向量q和分割特征图v具有更高的分值，Wq和Wv表示权值矩阵，σ表示线性激活函数。联合嵌入的损失函数为对比损失：
Figure BDA0003856159120000071
其中，yT表示正确匹配的问题特征向量q和分割特征图v的输出结果。
联合问答的网络模型如图3所示。整合图像分割模块、问题生成模块和联合问答模块，根据训练好的网络，能给出置信度最高的答案预测。本方法以视觉问答为基础，能对图像内容做出精细化描述。

Claims (8)

1.一种联合问答的图像自然语言描述方法，其特征在于，包括三个步骤：
步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；
步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；
步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，生成问题相关的长文本回答，作为图像内容的精细化语义描述。
2.如权利要求1所述的描述方法，其特征在于：
针对步骤二，以LSTM模型为基础的问题生成模型，对分割特征图进行处理，通过构建隐式的场景类型表征，先产生包含关注目标信息的关系特征图，随后以关注目标为中心，多尺度地建立与图像关注目标之间、关注目标和背景之间的联系，生成的多粒度引导问题即作为后续联合问答中的一环。
3.如权利要求1所述的描述方法，其特征在于：
针对步骤三，以BUTD模型为基础的联合问答模型，引入了对比学习的损失函数，联合关系特征图和引导问题，提高模型跨模态的学习能力，增强模型对图像和问题答案之间语义联系的理解，生成图像内容的精细化描述。
4.如权利要求1所述的描述方法，其特征在于：
步骤一：图像分割
1.1利用现已公开的图像语义分割数据集，其中的批量图像均有像素级的类别标注；
1.2使用深度学习方法对图像分割数据集进行训练，构造图像分割神经网络模型；图像分割的任务是给图像进行稠密预测，通过对不同目标以特定颜色进行标注，让每个像素点都有其所属的目标或者封闭区域的类别；
1.3将训练好的图像分割神经网络的模型权重保存，该网络模型可对原始图像进行处理，区分图像中不同的目标和背景，最终输出目标间、目标与背景间的分割特征图。
5.如权利要求1或2所述的描述方法，其特征在于：
步骤二：问题生成
2.1处理现已公开的视觉问题生成数据集，对数据集中的问题范畴进行分类，不同的问题范畴多角度地看待目标及其之间的联系，同一图像的多个问题范畴不仅关注着不同的目标，也关注着相同目标不同尺度的图像区域；同时，对数据集的回答和问题做合并处理，生成一句完整的自然语言描述；
2.2使用深度学习方法对处理后的视觉问题生成数据集进行训练，构造问题生成神经网络模型；问题生成模型构建隐式的场景类型表征，初步产生包含关注目标信息的关系特征图，随后以关注目标为中心，学习问题范畴和图像不同粒度区域之间的相关性，多尺度地生成与关注目标上下文相关的不同问题。
6.如权利要求1或3所述的描述方法，其特征在于：
步骤三：联合问答
3.1整合图像分割模块、问题生成模块和联合问答模块，以引导问题作为上下文，使用自上而下的注意力机制进行学习，引入对比学习的损失函数，对引导问题和关系特征图进行联合多模态嵌入表征；根据训练好的网络，给出候选答案及其置信度，生成图像内容的自然语言描述。
7.如权利要求5所述的描述方法，其特征在于：
问题生成神经网络模型的损失函数如下所示：
Figure FDA0003856159110000021
其中，
Figure FDA0003856159110000022
是模型生成的问题向量，qi是数据集中真实的问题向量，u表示预测的关系权重值，为正数。
8.如权利要求5所述的描述方法，其特征在于：
联合嵌入的损失函数为对比损失：
Figure FDA0003856159110000023
其中，yT表示正确匹配的问题特征向量q和分割特征图v的输出结果。
CN202211150406.9A 2022-09-21 2022-09-21 一种联合问答的图像自然语言描述方法 Pending CN115512191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211150406.9A CN115512191A (zh) 2022-09-21 2022-09-21 一种联合问答的图像自然语言描述方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211150406.9A CN115512191A (zh) 2022-09-21 2022-09-21 一种联合问答的图像自然语言描述方法

Publications (1)

Publication Number Publication Date
CN115512191A true CN115512191A (zh) 2022-12-23

Family

ID=84503366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211150406.9A Pending CN115512191A (zh) 2022-09-21 2022-09-21 一种联合问答的图像自然语言描述方法

Country Status (1)

Country Link
CN (1) CN115512191A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663530A (zh) * 2023-08-01 2023-08-29 北京高德云信科技有限公司 数据生成方法、装置、电子设备及存储介质
CN117312512A (zh) * 2023-09-25 2023-12-29 星环信息科技(上海)股份有限公司 一种基于大模型的问答方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663530A (zh) * 2023-08-01 2023-08-29 北京高德云信科技有限公司 数据生成方法、装置、电子设备及存储介质
CN116663530B (zh) * 2023-08-01 2023-10-20 北京高德云信科技有限公司 数据生成方法、装置、电子设备及存储介质
CN117312512A (zh) * 2023-09-25 2023-12-29 星环信息科技(上海)股份有限公司 一种基于大模型的问答方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6351689B2 (ja) 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法
CN110377710B (zh) 一种基于多模态融合的视觉问答融合增强方法
Zhang et al. Multimodal intelligence: Representation learning, information fusion, and applications
EP4006772A1 (en) Video processing method and apparatus, and electronic device and storage medium
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN110717431A (zh) 一种结合多视角注意力机制的细粒度视觉问答方法
CN112036276B (zh) 一种人工智能视频问答方法
CN115512191A (zh) 一种联合问答的图像自然语言描述方法
CN113255457A (zh) 基于人脸表情识别的动画角色面部表情生成方法及***
CN110232564A (zh) 一种基于多模态数据的交通事故法律自动决策方法
CN113283336A (zh) 一种文本识别方法与***
CN112037239B (zh) 基于多层次显式关系选择的文本指导图像分割方法
CN113792177A (zh) 基于知识引导深度注意力网络的场景文字视觉问答方法
Zhang et al. Teaching chinese sign language with a smartphone
CN116564338A (zh) 语音动画生成方法、装置、电子设备和介质
Zakari et al. Vqa and visual reasoning: An overview of recent datasets, methods and challenges
Xue et al. Lcsnet: End-to-end lipreading with channel-aware feature selection
Cao et al. Visual question answering research on multi-layer attention mechanism based on image target features
He et al. An optimal 3D convolutional neural network based lipreading method
CN115661830A (zh) 基于结构化多模态融合网络的文本指导图像分割方法
Salam et al. You Only Look Once (YOLOv3): Object Detection and Recognition for Indoor Environment
CN115018215A (zh) 基于多模态认知图谱的人口居住预测方法、***和介质
Kahfi et al. Lip Motion Recognition for Indonesian Vowel Phonemes Using 3D Convolutional Neural Networks
CN114117159A (zh) 一种多阶图像特征与问题交互的图像问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination