CN110188775B - 一种基于联合神经网络模型的图像内容描述自动生成方法 - Google Patents
一种基于联合神经网络模型的图像内容描述自动生成方法 Download PDFInfo
- Publication number
- CN110188775B CN110188775B CN201910453505.6A CN201910453505A CN110188775B CN 110188775 B CN110188775 B CN 110188775B CN 201910453505 A CN201910453505 A CN 201910453505A CN 110188775 B CN110188775 B CN 110188775B
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- image
- joint
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003062 neural network model Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000007774 longterm Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种基于联合神经网络模型的图像内容描述自动生成方法,包括构建联合神经网络、联合神经网络多层映射参数训练、图片及对应文本预处理和输入模型进行描述结果检测等四个步骤。本发明通过使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络构建联合神经网络;利用误差反向传播算法对神经网络多层映射参数进行训练;对图像进行预处理,利用卷积神经网络提取特征以及进行特征映射;输入模型进行描述结果检测,用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述,能够显著有效的提升的自动描述图片内容的效果。
Description
技术领域
本发明涉及机器学习与图像处理技术领域,尤其涉及一种基于联合神经网络模型的图像内容描述自动生成方法。
背景技术
如何自动描述图像内容是人工智能在计算机视觉和自然语言处理领域中一项重要的研究课题。图像描述生成融合了计算机视觉,自然语言处理和机器学习的综合问题,类似翻译图像为一段描述文字,该问题对人类不具有挑战性,但是对机器有非常高的挑战性,因为该任务需要利用机器模型理解图像的内容和用自然语言去表达内容的关系,同时还要提取图像中的语义信息并生成人类的自然语言。
在机器翻译和大数据的研究热潮兴起后,也开始了图像自动描述研究的浪潮。当前大多数的Image Caption方法基于Encoder-Decoder模型。其中encoder一般为卷积神经网络,利用最后全连接层或者卷积层的特征作为图像的特征,decoder一般为递归神经网络,主要用于图像描述的生成。但普通RNN网络(Recurrent Neural Network)存在梯度下降的问题,RNN仅能记忆神经网络单元之前有限的单元内容,使得自动描述图像内容的效果不佳。因此需要一种基于联合神经网络模型的图像内容描述自动生成方法,用于显著有效的提升自动描述图像内容的效果。
发明内容
本发明的目的在于,针对上述问题,提出一种基于联合神经网络模型的图像内容描述自动生成方法。
一种基于联合神经网络模型的图像内容描述自动生成方法,包括如下步骤:
S1:构建卷积神经网络与循环神经网络的联合神经网络,用于使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络联合构建;
S2:利用误差反向传播算法对联合神经网络多层映射参数进行训练;
S3:图像预处理,卷积神经网络提取特征以及进行特征映射,得到图像的特征向量,用于后续输入模型进行测试;
S4:特征向量输入联合神经网络进行类别判定,用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,构建联合神经网络包括如下子步骤:
S11:利用Flickr30k获得最大的图像字幕数据集,包括训练,验证,测试三部分;
S12:其中数据集中的train集中的图像处理作为卷积神经网络的输入;
S13:将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测,其中卷积核规格分别为7*7,1*1,3*3,5*5;
S14:在卷积层中每层中将会复制输出向量进行映射运算,提取每层中的特征簇;
S15:构建2层的LSTM,将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算,根据LSTM神经网络长短期记忆训练,完成联合神经网络的构建。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,映射运算模型构建包括如下子步骤:
S141:构建恒等快捷连接映射结构;
S142:在恒等快捷连接映射结构中的增加首端和末端的1*1卷积层
S143:利用ResNet网络结构将卷积网络进行拼接组合。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,所述步骤S2还包括如下子步骤:
S21:先行预训练LSTM部分的网络,进行模型稳定性训练;
S22:在数据集Flickr30k对整体模型进行训练,完成联合神经网络中的特征映射;
S23:训练步骤S21和S22中的形成的稳定效果的模型,最终完成联合神经网络的训练。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,所述步骤S22还包括如下子步骤:
S221:对每层输入数据进行标准化,使其以较小的方差集中在均值附近,需要满足:
其中x是最小batch中的值,即B={x1······m},同时在正向传播的时候对数据进行标准化处理,即满足:
求随机下降的一个batch进行正规化,以减少计算量后进行规模和位置的线型转变即满足:
其中γ和β两个参数需要通过神经网络进行训练,完成特征映射的全部环节。
深层神经网络学习过程中容易出现偏导结果偏小,从而导致参数更新过小的情况;当网络足够深,将会导致参数过小的情况,从而使参数重新偏移变差,实现了特征映射这一步骤进行避免网络层数的增加影响学习结果的情况。
S222:根据映射运算中获取的连续矩阵,在LSTM网络的训练中,引入词典集与元矩阵进行匹配,获取最大概率,根据文本描述和连续分块矩阵的匹配度进行捕获关键词,同时删除在字典集已经被捕获的关键词。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,所述图像预处理,包括以下子步骤:
S31:使用Flickr30k数据集中训练集图片作为ResNet网络的输入;
S32:将训练集中的图像根据较小的边缩放至规格为256*480的图像,满足scale算法输入;
S33:随机剪裁224*224的图像规格,同时对图像进行随机水平镜像,同时减去均值,作为神经网络的输入值。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,所述类别判定,包括以下步骤:将图像预处理中得到的特征向量输入训练后的神经网络中,经过多层卷积层卷积、通过修改的特征映射连接,最终通过LSTM网络解码解析出图像叙述文本。
本发明的有益效果:改进了卷积神经网络中的底层特征的映射机,提出了一种新的构建联合神经网络的方法,同时改进解码卷积神网络捕获图像特征的LSTM网络结构,能够显著有效的提升的自动描述图片内容的效果。
附图说明
图1是恒等快捷连接的残差结构图;
图2-a是原本映射结构图,图2-b为改进的映射结构图;
图3为基于ResNet网络结构的特征映射结构图;
图4是本发明的***结构框图;
图5为提出新的联合神经网络模型结构示意图;
图6为改进的联合神经网络的特征匹配结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
一种基于联合神经网络模型的图像内容描述自动生成方法,包括如下步骤:
S1:构建卷积神经网络与循环神经网络的联合神经网络;
S2:利用误差反向传播算法对联合神经网络多层映射参数进行训练;
S3:图像预处理得到图像的特征向量;
S4:特征向量输入联合神经网络进行类别判定;
一种基于联合神经网络模型的图像内容描述自动生成方法,构建联合神经网络包括如下子步骤:
S11:利用Flickr30k获得最大的图像字幕数据集,包括训练,验证,测试三部分;
S12:其中数据集中的train集中的图像处理作为卷积神经网络的输入;
S13:将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测,其中卷积核规格分别为7*7,1*1,3*3,5*5;
S14:在卷积层中每层中将会复制输出向量进行映射运算,提取每层中的特征簇;
S15:构建2层的LSTM,将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算,根据LSTM神经网络长短期记忆训练,完成联合神经网络的构建。
本实施例中,一种基于联合神经网络模型的图像内容描述自动生成方法,映射运算模型的构建,包括构建改进的恒等快捷连接映射结构和利用ResNet网络结构将卷积网络进行拼接组合两个步骤:
如图1所示,构建函数表达式为F(x)=W2σ(W1x)的恒等快捷连接映射结构,其中σ代表图1中的非线性函数Relu函数;通过恒等快捷连接(恒等映射)的F(x)+x函数表达式为:
y=F(X,{Wi})+x
如图2所示,将上述的恒等快捷连接映射的结构的基础上,将3*3的卷积层替换成1*1+3*3+1*1的卷积层,弥补单层残差块实验效果不明显的影响,其中首端和末端的1*1卷积层用来削减和恢复维度,相比于原来的设计结构中3*3的结构,时间复杂度相似,使用zero-padding的同等映射代替原本的结构,增加机构的数量,网络深度随之增加,同时解决了退化问题,性能不断提升。
如图3所示,在ResNet网络结构上将特征映射进行进一步改进,将卷积神经网络进行拼接组合,形成连续矩阵,用于后续LSTM解码。
进一步的,一种基于联合神经网络模型的图像内容描述自动生成方法,所述步骤S2还包括如下子步骤:
S21:先行预训练LSTM部分的网络,进行模型稳定性训练;
S22:在数据集Flickr30k对整体模型进行训练,完成联合神经网络中的特征映射;
S23:训练步骤S21和S22中的形成的稳定效果的模型,最终完成联合神经网络的训练。
一种基于联合神经网络模型的图像内容描述自动生成方法,步骤S22还包括如下子步骤:
S221:对每层输入数据进行标准化,使其以较小的方差集中在均值附近,需要满足:
其中x是最小batch中的值,即B={x1······m},同时在正向传播的时候对数据进行标准化处理,即满足:
求随机下降的一个batch进行正规化,以减少计算量后进行规模和位置的线型转变即满足:
其中γ和β两个参数需要通过神经网络进行训练,完成特征映射的全部环节。
S222:根据映射运算中获取的连续矩阵,在LSTM网络的训练中,引入词典集与元矩阵进行匹配,获取最大概率,根据文本描述和连续分块矩阵的匹配度进行捕获关键词,同时删除在字典集已经被捕获的关键词。LSTM网络在训练过程中可以根据矩阵和文本向量的长度进行自动中止,防止噪音匹配。
一种基于联合神经网络模型的图像内容描述自动生成方法,图像预处理,包括以下子步骤:
S31:使用Flickr30k数据集中训练集图片作为ResNet网络的输入;
S32:将训练集中的图像根据较小的边缩放至规格为256*480的图像,满足scale算法输入;
S33:随机剪裁224*224的图像规格,同时对图像进行随机水平镜像,同时减去均值,作为神经网络的输入值。
输入模型进行文本生成判定,包括以下步骤:
S41:将步骤S33中得到的特征向量输入训练后的神经网络中,经过多层卷积层卷积、通过修改的特征映射连接,
S42:通过改进的LSTM网络解码解析出图像叙述文本,其中包括联合矩阵和文本向量联合匹配和通过LSTM匹配字典的概率查询步骤。
本发明改进了卷积神经网络中的底层特征的映射机,提出了一种新的构建联合神经网络的方法,同时改进解码卷积神网络捕获图像特征的LSTM网络结构,能够显著有效的提升的自动描述图片内容的效果。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于联合神经网络模型的图像内容描述自动生成方法,其特征在于,包括如下步骤:
S1:构建卷积神经网络与循环神经网络的联合神经网络;
S2:利用误差反向传播算法对联合神经网络多层映射参数进行训练;
所述步骤S2还包括如下子步骤:
S21:先行预训练LSTM部分的网络,进行模型稳定性训练;
S22:利用数据集Flickr30k对整体模型进行训练,完成联合神经网络中的特征映射;
S23:训练步骤S21和S22中的形成的稳定效果的模型,最终完成联合神经网络的训练;
所述步骤S22还包括如下子步骤:
S221:对每层输入数据进行标准化,使其以较小的方差集中在均值附近,需要满足:
求随机下降的一个batch进行正规化,以减少计算量后进行规模和位置的线型转变得到yi,满足:
S222:根据映射运算中获取的连续矩阵,在LSTM网络的训练中,引入字典集与元矩阵进行匹配,获取最大概率,根据文本描述和连续分块矩阵的匹配度进行捕获关键词,同时删除在字典集已经被捕获的关键词;
S3:图像预处理得到图像的特征向量;
S4:特征向量输入联合神经网络进行类别判定。
2.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法,其特征在于,构建联合神经网络包括如下子步骤:
S11:利用Flickr30k获得最大的图像字幕数据集,包括训练,验证,测试三部分;
S12:其中数据集中的训练集中的图像处理作为卷积神经网络的输入;
S13:将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测,其中卷积核规格分别为7*7,1*1,3*3,5*5;
S14:在卷积层每层中将会复制输出向量进行映射运算,提取每层中的特征簇;
S15:构建2层的LSTM,将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算,根据LSTM神经网络长短期记忆训练,完成联合神经网络的构建。
3.根据权利要求2所述的一种基于联合神经网络模型的图像内容描述自动生成方法,其特征在于,映射运算模型构建包括如下子步骤:
S141:构建恒等快捷连接映射结构;
S142:在恒等快捷连接映射结构中的增加首端和末端的1*1卷积层;
S143:利用ResNet网络结构将卷积网络进行拼接组合。
4.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法,其特征在于:所述图像预处理,包括以下子步骤:
S31:使用Flickr30k数据集中训练集图片作为ResNet网络的输入;
S32:将训练集中的图像根据较小的边缩放至规格为256*480的图像,满足scale算法输入;
S33:随机剪裁224*224的图像规格,同时对图像进行随机水平镜像,同时减去均值,作为神经网络的输入值。
5.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法,其特征在于,所述类别判定,包括以下步骤:将图像预处理中得到的特征向量输入训练后的神经网络中,经过多层卷积层卷积、通过修改的特征映射连接,最终通过LSTM网络解码解析出图像叙述文本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910453505.6A CN110188775B (zh) | 2019-05-28 | 2019-05-28 | 一种基于联合神经网络模型的图像内容描述自动生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910453505.6A CN110188775B (zh) | 2019-05-28 | 2019-05-28 | 一种基于联合神经网络模型的图像内容描述自动生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110188775A CN110188775A (zh) | 2019-08-30 |
CN110188775B true CN110188775B (zh) | 2020-06-26 |
Family
ID=67718376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910453505.6A Active CN110188775B (zh) | 2019-05-28 | 2019-05-28 | 一种基于联合神经网络模型的图像内容描述自动生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188775B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111013149A (zh) * | 2019-10-23 | 2020-04-17 | 浙江工商大学 | 一种基于神经网络深度学习的卡牌设计生成方法及*** |
CN110941855B (zh) * | 2019-11-26 | 2022-02-15 | 电子科技大学 | 一种AIoT场景下的神经网络模型窃取防御方法 |
CN110968725B (zh) * | 2019-12-03 | 2023-04-28 | 咪咕动漫有限公司 | 图像内容描述信息生成方法、电子设备及存储介质 |
CN111582447B (zh) * | 2020-04-30 | 2023-04-07 | 电子科技大学 | 基于多种网络特征的闭环检测方法 |
CN113793404B (zh) * | 2021-08-19 | 2023-07-04 | 西南科技大学 | 一种基于文本和轮廓的人为可控图像合成方法 |
CN114419402B (zh) * | 2022-03-29 | 2023-08-18 | 中国人民解放军国防科技大学 | 图像故事描述生成方法、装置、计算机设备和存储介质 |
CN115861715B (zh) * | 2023-02-15 | 2023-05-09 | 创意信息技术股份有限公司 | 基于知识表示增强的图像目标关系识别算法 |
CN116451177B (zh) * | 2023-06-15 | 2023-09-12 | 创意信息技术股份有限公司 | 一种航迹关联方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844442A (zh) * | 2016-12-16 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于fcn特征提取的多模态循环神经网络图像描述方法 |
CN107729987A (zh) * | 2017-09-19 | 2018-02-23 | 东华大学 | 基于深度卷积‑循环神经网络的夜视图像的自动描述方法 |
CN108509521A (zh) * | 2018-03-12 | 2018-09-07 | 华南理工大学 | 一种自动生成文本索引的图像检索方法 |
CN108564122A (zh) * | 2018-04-10 | 2018-09-21 | 北京工业大学 | 基于卷积-循环混合网络的图像描述模型的一体化训练方法 |
CN108875807A (zh) * | 2018-05-31 | 2018-11-23 | 陕西师范大学 | 一种基于多注意力多尺度的图像描述方法 |
CN109271628A (zh) * | 2018-09-03 | 2019-01-25 | 东北大学 | 一种图像描述生成方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417788B2 (en) * | 2016-09-21 | 2019-09-17 | Realize, Inc. | Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks |
US10558750B2 (en) * | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
CN106846306A (zh) * | 2017-01-13 | 2017-06-13 | 重庆邮电大学 | 一种超声图像自动描述方法和*** |
US11042782B2 (en) * | 2017-03-20 | 2021-06-22 | Intel Corporation | Topic-guided model for image captioning system |
CN108388900B (zh) * | 2018-02-05 | 2021-06-08 | 华南理工大学 | 基于多特征融合和时空注意力机制相结合的视频描述方法 |
-
2019
- 2019-05-28 CN CN201910453505.6A patent/CN110188775B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844442A (zh) * | 2016-12-16 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于fcn特征提取的多模态循环神经网络图像描述方法 |
CN107729987A (zh) * | 2017-09-19 | 2018-02-23 | 东华大学 | 基于深度卷积‑循环神经网络的夜视图像的自动描述方法 |
CN108509521A (zh) * | 2018-03-12 | 2018-09-07 | 华南理工大学 | 一种自动生成文本索引的图像检索方法 |
CN108564122A (zh) * | 2018-04-10 | 2018-09-21 | 北京工业大学 | 基于卷积-循环混合网络的图像描述模型的一体化训练方法 |
CN108875807A (zh) * | 2018-05-31 | 2018-11-23 | 陕西师范大学 | 一种基于多注意力多尺度的图像描述方法 |
CN109271628A (zh) * | 2018-09-03 | 2019-01-25 | 东北大学 | 一种图像描述生成方法 |
Non-Patent Citations (2)
Title |
---|
《Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention》;Kazi Nazmul Haque et al.;《arXiv:1801.05141v1》;20180116;第1-12页 * |
基于CNN和LSTM的视频语义分析***设计与实现;窦敏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215(第02期);第I138-1346页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110188775A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188775B (zh) | 一种基于联合神经网络模型的图像内容描述自动生成方法 | |
US11113599B2 (en) | Image captioning utilizing semantic text modeling and adversarial learning | |
CN111079532A (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
CN111598183B (zh) | 一种多特征融合图像描述方法 | |
CN109783666A (zh) | 一种基于迭代精细化的图像场景图谱生成方法 | |
CN112800774B (zh) | 基于注意力机制的实体关系抽取方法、装置、介质和设备 | |
CN113836992B (zh) | 识别标签的方法、训练标签识别模型的方法、装置及设备 | |
WO2023134082A1 (zh) | 图像描述语句生成模块的训练方法及装置、电子设备 | |
CN116821318B (zh) | 基于大语言模型的业务知识推荐方法、装置及存储介质 | |
CN113657115A (zh) | 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法 | |
US11948078B2 (en) | Joint representation learning from images and text | |
CN116975350A (zh) | 图文检索方法、装置、设备及存储介质 | |
CN111507093A (zh) | 一种基于相似字典的文本攻击方法、装置及存储介质 | |
CN117746078B (zh) | 一种基于用户自定义类别的物体检测方法及*** | |
Ishmam et al. | From image to language: A critical analysis of visual question answering (vqa) approaches, challenges, and opportunities | |
Liu et al. | An anomaly detection method based on double encoder–decoder generative adversarial networks | |
CN113705207A (zh) | 语法错误识别方法及装置 | |
CN116109980A (zh) | 一种基于视频文本匹配的动作识别方法 | |
Liu et al. | Recurrent image captioner: Describing images with spatial-invariant transformation and attention filtering | |
Vilalta et al. | Studying the impact of the full-network embedding on multimodal pipelines | |
Sattari et al. | Improving image captioning with local attention mechanism | |
CN113569094A (zh) | 视频推荐方法、装置、电子设备及存储介质 | |
CN114419402B (zh) | 图像故事描述生成方法、装置、计算机设备和存储介质 | |
CN116523032B (zh) | 一种图像文本双端迁移攻击方法、装置和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |