CN107665356A - 一种图像标注方法 - Google Patents

一种图像标注方法 Download PDF

Info

Publication number
CN107665356A
CN107665356A CN201710969648.3A CN201710969648A CN107665356A CN 107665356 A CN107665356 A CN 107665356A CN 201710969648 A CN201710969648 A CN 201710969648A CN 107665356 A CN107665356 A CN 107665356A
Authority
CN
China
Prior art keywords
image
labeling method
word
image labeling
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710969648.3A
Other languages
English (en)
Inventor
吕学强
董志安
李宝安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201710969648.3A priority Critical patent/CN107665356A/zh
Publication of CN107665356A publication Critical patent/CN107665356A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像标注方法，包括以下步骤：步骤1)定义图像标注模型的目标函数；步骤2)将图像输入CNN模型，得到原始图像特征；步骤3)对原始图像特征进行加权；步骤4)向LSTM模型中输入信息；步骤5)对预测结果产生的误差进行反向传播。本发明提供的图像标注方法，首先通过卷积神经网络提取图像底层特征，然后使用聚焦机制提取图像特定位置区域与图像标注词相关的图像特征输入到长短期记忆网络模型中，生成相应的预测标注词，最终实现图像标注，标注性能优异，标注精度高，可以很好地满足实际应用的需要。

Description

一种图像标注方法
技术领域
本发明属于图像处理技术领域，具体涉及一种图像标注方法。
背景技术
近年来，研究人员一直致力于研究计算机对图像的语义理解。自动图像标注是让计算机自动对图像中的实体标注关键词，它是图像检索领域中的一种关键技术。随着多媒体信息技术和互联网信息技术的迅速发展，每天数以亿计的新图像呈现在互联网上。和文本相比，图像可以更加直观、更加精确地描述信息，因此在如今信息***的时代，图像能使用户更方便、更快捷、更精确地获取所需信息。图像信息逐渐成为当下时代信息传播的最重要的途径之一。因此，如何在如此海量的图像数据中帮助用户迅速准确地找出所需图像成为近年来多媒体信息技术领域内的研究热点。自动图像标注技术作为图像检索领域内的关键技术之一，成为众多研究人员研究的重要课题。
自动图像标注作为图像检索领域里的重要技术，有较高的研究意义和商用价值。自动图像标注技术自2000年被提出以来，众多研究人员投身于相关研究中，很多自动图像标注方法被提出，虽然这些方法在一定程度上提高了图像检索的精确性和效率。但是，由于图像“语义鸿沟”的存在，目前的以自动图像标注技术为基础的检索***准确率依然不够理想，自动图像标注技术依然处在发展阶段，标注性能不够好、标注精度不够高是现有技术的缺陷。现如今图像信息已经成为互联网传播信息的重要途径。目前，全球规模最大的图像分享平台Flicker用户接近10亿，包含上百亿张图像。能够在如此庞大的图像库里快速精准地检索到用户需求的图像，是如今大数据时代的迫切需求，而当前大多数自动图像标注技术在如此庞大的图像库中普遍效果较差，所以研究大数据下的新的自动图像标注技术意义重大。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于提供一种标注性能优异、标注精度高的的图像标注方法。
为了实现上述发明目的，本发明提供的技术方案如下：
一种图像标注方法，包括以下步骤：
步骤1)定义图像标注模型的目标函数；
步骤2)将图像输入CNN模型，得到原始图像特征；
步骤3)对原始图像特征进行加权；
步骤4)向LSTM模型中输入信息；
步骤5)对预测结果产生的误差进行反向传播。
进一步地，步骤1)中的目标函数为其中y＝{y1，…，yN}，θ代表该模型中所有需要训练的参数，I代表图像；y代表最终预测的标注组合，即最终的标注词，K表示词汇表中词汇的数量，N代表标注词的个数。
进一步地，步骤2)中的原始图像特征为CNN全连接层之前的某层卷积层的特征图，该原始图像特征由L个D维特征组成，每个D维特征映射到原图像的不同位置区域。
进一步地，步骤3)包括利用聚焦权重向量αt对原始图像特征进行加权，聚焦权重向量αt是一个L维向量，每一维的值大小代表着图像不同位置特征的权重大小，
聚焦权重向量αt＝softmax(Weet)，其中，
et代表t时刻聚焦机制的中间状态信息，a代表原始图像特征，ht-1代表t-1时刻LSTM模型的输出。
进一步地，步骤4)中，LSTM的输入信息xt＝[Wyyt-1，Wzzt]，其中Wy为词编码参数，Wz为图像特征编码参数，其中yt-1是图像的正确标注词，zt是当前时刻使用聚焦权重参数加权后的图像特征。
进一步地，图像的正确标注词组Y＝(y0，y1，y2…yt…yn)从t＝1时刻开始按顺序输入到LSTM模型当中，其中y0是一个特殊的单词“start”，标志着标注过程的开始，yn是另一个特殊单词“end”，标志着标注过程的结束；yt-1经词向量编码参数Wy编码后输入到LSTM模型中；zt经图像特征编码参数Wz编码后输入到LSTM模型中。
进一步地，正确标注词采用独热编码形式，由一个N维向量构成，N代表单词词典内的单词数目，除对应标注词位为1外，其余位为0。
进一步地，步骤5)包括利用损失函数将所有预测标注词标注正确的log似然概率值求和后取负数，所述损失函数定义为
进一步地，步骤5)还包括应用随机梯度下降法以及链式求导法则不断更新模型中的参数。
进一步地，LSTM模型的计算过程公式如下：
it＝σ(Wixxt+Wihht-1)，
ot＝σ(Woxxt+Wohht-1)，
ft＝σ(Wfxxt+Wfhht-1)，
ct＝ft⊙ct-1+it⊙h(Wcxxt+Wchht-1)，
ht＝ot⊙ct，
yt+1＝Softmax(Wyht)，
其中，σ(·)、h(·)是激活函数，⊙是矩阵点乘操作；it是输入门限，用来控制t时刻的输入信息；ft是遗忘门限，用来控制对t-1时刻隐含层的记忆信息的选择性遗忘；ot是输出门限，用来控制t时刻的输出信息；ct是t时刻隐含层的记忆信息，它由上一时刻的隐含层信息和当前时刻的输入信息共同决定，它是LSTM的核心记忆单元；ht是t时刻隐含层的输出信息；yt+1是ht经过softmax分类器得到的预测结果。
本发明提供的图像标注方法，针对有效缓解图像底层特征与高层语义之间存在的语义鸿沟问题，提出一种基于聚焦机制的深度神经网络图像标注方法，该方法首先通过卷积神经网络(CNN)提取图像底层特征，然后使用聚焦机制提取图像特定位置区域与图像标注词相关的图像特征输入到长短期记忆网络(LSTM)模型中，生成相应的预测标注词，最终实现图像标注；该方法借助聚焦机制，有效结合了CNN提取图像特征的能力以及LSTM提取图像语义特征的能力，能够利用图像底层特征和图像高层语义特征，可以更好地提取到与图像语义相关的图像特征，有效提高图像标注精度，标注性能优异，标注精度高，可以很好地满足实际应用的需要。
附图说明
图1为本发明的流程图；
图2为基于聚焦机制的深度神经网络图像标注模型的结构示意图；
图3为传统神经网络模型基本结构示意图；
图4为RNN神经网络模型常规结构示意图；
图5为LSTM网络单元内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种图像标注方法，包括以下步骤：
步骤1)建立基于聚焦机制的的深度神经网络图像标注模型，定义该模型的目标函数：
其中，y＝{y1，…，yN}，θ代表该模型中所有需要训练的参数，I代表一张图像；y代表最终预测的标注组合，即最终的标注词，K表示词汇表中词汇的数量，N代表标注词的个数。图像标注模型的结构参照图2所示。
步骤2)将图像I输入CNN模型，得到原始图像特征a，
考虑到聚焦机制是对图像不同位置的特征进行加权，因此提取的原始特征应包含位置信息，CNN模型中全连接层之前各层的特征图与原图像存在位置上的映射关系。本发明选取CNN全连接层之前的某层卷积层的特征图作为原始图像特征，该原始图像特征由L个D维特征组成，每个D维特征映射到原图像的不同位置区域。
步骤3)利用聚焦权重向量对原始图像特征进行加权；
聚焦机制是实现对不同时刻对不同位置区域特征的关注度，这种对不同位置的关注通过聚焦权重αt来控制。如图2所示，从t＝1时刻开始，每一个时刻该模型都会产生一个聚焦权重向量αt。聚焦权重向量αt是一个L维向量，其向量所有元素之和为1，即每一维的值大小代表着图像不同位置特征的权重大小。其计算公式如公式(4.4)、(4.5)所示，
αt＝softmax(Weet) (4.5)；
其中et代表t时刻聚焦机制的中间状态信息，当t＝0时，e0从图像特征a中取得。当t＞0时，et由t-1时刻LSTM模型的输出ht-1和t-1时刻聚焦机制的中间状态信息et-1共同决定。et-1可以理解为聚焦机制模型中的记忆模块，它记忆t时刻之前所有时刻对于图像位置区域的关注信息。这个过程可以直观理解为确定当前时刻要关注的图像位置区域需要借助之前时刻所关注的图像位置区域信息(由et-1提供)以及之前时刻记忆在LSTM模型中的语义信息(由ht-1提供)。αt由et经聚焦权重解码参数We解码后再经过softmax分类器得到。聚焦机制模型在训练开始时得到的聚焦权重αt并不能将图像特征准确的聚焦到当前时刻预测标注词在图像中所处位置，即应用聚焦权重αt得到的加权后的图像特征和准确地聚焦当前时刻预测标注词的加权图像特征是存在差距的。随着训练过程进行，聚焦机制模型中的参数Wa、Wh、We不断被更新，这种差距也就被不断地减小，最终聚焦机制模型可以实现准确的聚焦。
加权后输入到LSTM模型中的图像特征对于t时刻的zt由原始图像特征a和t时刻聚焦权重αt相乘得到，用来控制t时刻对于图像不同位置特征的关注度。对t时刻输入到LSTM模型的图像加权特征zt所聚焦的位置就是t时刻LSTM模型的输出的预测标注词所处的位置。
步骤4)向LSTM模型中输入信息，将图像的正确标注词组以及加权后的图像特征输入LSTM模型中；
LSTM的输入信息xt＝[Wyyt-1，Wzzt]，其中Wy为词编码参数，Wz为图像特征编码参数，xt由两部分组成，其中yt-1是图像的正确标注词(采用独热编码形式，由一个N维向量构成，N代表单词词典内的单词数目。除对应标注词位为1外，其余位为0)。图像的正确标注词组Y＝(y0，y1，y2…yt...yn)从t＝1时刻开始按顺序输入到LSTM模型当中。其中y0是一个特殊的单词“start”，标志着标注过程的开始。yn是另一个特殊单词“end”，标志着标注过程的结束。yt-1经词向量编码参数Wy编码后输入到LSTM模型中。xt的另一部分是当前时刻使用聚焦权重参数加权后的图像特征zt，zt经图像特征编码参数Wz编码后输入到LSTM模型中。
每个时刻LSTM模型隐含层的输出信息ht经过输出解码参数Wp解码后得到预测结果pt+1，pt+1＝g(Wp·ht+bp)，其中g(·)代表softmax分类器。pt+1是使用LSTM模型得到的当前时刻LSTM模型输入标注词的下一个标注词的预测概率。然而通过pt+1得到的预测标注词和当前时刻LSTM模型输入标注词的下一个正确标注词是存在差距的，即预测结果产生了误差。需要对这种误差进行反向传播，以保证随着模型的训练，LSTM模型每个时刻的预测结果与正确的预测结果差距越来越小，最终得到精度较高的图像标注模型。
步骤5)对预测结果产生的误差进行反向传播，将所有预测标注词标注正确的log似然概率值求和后取负数；
本模型训练过程是误差的反向传播，更新模型参数的过程，定义损失函数该损失函数是将所有预测标注词标注正确的log似然概率值求和后取负数的结果。
对于参数更新，应用随机梯度下降法(Stochastic Gradient Descent，简称SGD)以及链式求导法则。通过训练不断更新模型中的参数，使得损失值L(I，y)尽量小。这些参数包括LSTM模型内部参数，聚焦权重参数(Wa、Wh、We)，词编码参数Wy，图像特征编码参数Wz，输出解码参数Wp等(本发明直接使用训练好的CNN模型提取图像特征，因此不对CNN模型参数进行更新)，上述参数在模型训练的每个时刻都是参数共享的。
CNN是前馈神经网络的一种，它包含卷积层和池化层两种独特的隐含层结构。CNN具有较好的特征提取能力，目前它被广泛应用在图像、视频、语音等领域。
CNN具有独特的网络结构。其独特性主要体现在两个方面。一个方面时它的下一层神经元与上一层神经元之间不是全连接的，即其神经元之间是局部感知的。另一方面神经元连接过程中具有相同的权重，即神经元的连接是权重共享的。这种独特的局部感知和权重共享的网络结构与生物神经网络接近。这样的模型能够有效减少网络中的参数，有效降低网络的复杂度。CNN有两种独特的隐含层结构，即卷积层和池化层。CNN中某一层卷积层由多种卷积核组成，一个卷积核是一个M*M大小的滤波器，它用来提取上一层感受野中每个局部位置的某种局部特征。池化层用来对上一层卷积特征进行降维，具体操作是将上一层卷积特征划分成多个N*N的区域。提取每个区域的平均(或最大)的特征值作为降维后的特征。CNN通常在经过一系列卷积层、池化层、全连接层后通常会接入一个softmax分类器，用来处理多分类问题。
循环神经网络(Recurrent Neural Network，以下简称RNN)具有独特的记忆功能结构。神经网络模型包含输入层、隐含层、输出层三层结构。在传统的神经网络模型，从输入层到隐含层到输出层，每一层层内节点是无连接的，各层之间的节点是存在连接的，具体结构如图3所示。这种传统的神经网络模型并不包含记忆信息的功能，像一些需要借助已产生信息进行计算的问题是无能为力的。例如，如果对于一句话，要预测下一个出现的单词，大多情况下需要借助前面已经产生的词汇，比如“我是一个篮球运动员，我爱打篮球”这样一句话，后一句里面的“打篮球”需要通过前一句话中的“篮球运动员”推断出来。RNN模型可以将之前时刻产生的信息进行记忆并应用到当前时刻计算过程中，这得益于RNN相比于传统的神经网络模型在结构上发生的改变，RNN的隐含层的输入不仅包含当前时刻输入层的输出，还包含上一时刻隐含层的输出信息，即隐含层内部的节点是有连接的，具体结构信息如图4所示。
LSTM(Long Short-Term Memory，LSTM)是RNN模型的改进模型，它内部的单元结构如图5所示。LSTM模型的计算过程公式(3.1)-(3.6)所示。其中，σ(·)、h(·)是激活函数，⊙是矩阵点乘操作。it是输入门限，用来控制t时刻的输入信息。ft是遗忘门限，用来控制对t-1时刻隐含层的记忆信息的选择性遗忘。ot是输出门限，用来控制t时刻的输出信息。ct是t时刻隐含层的记忆信息，它由上一时刻的隐含层信息和当前时刻的输入信息共同决定，它是LSTM的核心记忆单元。ht是t时刻隐含层的输出信息。yt+1是ht经过softmax分类器得到的预测结果。
it＝σ(Wixxt+Wihht-1) (3.1)；
ot＝σ(Woxxt+Wohht-1) (3.2)；
ft＝σ(Wfxxt+Wfhht-1) (3.3)；
ct＝ft⊙ct-1+it⊙h(Wcxxt+Wchht-1) (3.4)；
ht＝ot⊙ct (3.5)；
yt+1＝Softmax(Wyht) (3.6)。
本发明提供的图像标注方法，针对有效缓解图像底层特征与高层语义之间存在的语义鸿沟问题，提出一种基于聚焦机制的深度神经网络图像标注方法，该方法首先通过卷积神经网络(CNN)提取图像底层特征，然后使用聚焦机制提取图像特定位置区域与图像标注词相关的图像特征输入到长短期记忆网络(LSTM)模型中，生成相应的预测标注词，最终实现图像标注；本图像标注方法的新的距离测度，融合了图像的语义信息，减小了图像底层特征与图像高层语义之间的差异，对于图像语义准确理解有重要意义，能够有效提高图像标注精度；该方法借助聚焦机制，有效结合了CNN提取图像特征的能力以及LSTM提取图像语义特征的能力，能够利用图像底层特征和图像高层语义特征，可以更好地提取到与图像语义相关的图像特征，有效提高图像标注精度，标注性能优异，标注精度高，可以很好地满足实际应用的需要。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像标注方法，其特征在于，包括以下步骤：
步骤1)定义图像标注模型的目标函数；
步骤2)将图像输入CNN模型，得到原始图像特征；
步骤3)对原始图像特征进行加权；
步骤4)向LSTM模型中输入信息；
步骤5)对预测结果产生的误差进行反向传播。
2.根据权利要求1所述的图像标注方法，其特征在于，步骤1)中的目标函数为
3.根据权利要求1-2所述的图像标注方法，其特征在于，步骤2中的原始图像特征为CNN全连接层之前的某层卷积层的特征图，该原始图像特征由L个D维特征组成，每个D维特征映射到原图像的不同位置区域。
4.根据权利要求1-3所述的图像标注方法，其特征在于，步骤3包括利用聚焦权重向量αt对原始图像特征进行加权，聚焦权重向量αt是一个L维向量，每一维的值大小代表着图像不同位置特征的权重大小。
聚焦权重向量αt＝softmax(Weet)，其中，
et代表t时刻聚焦机制的中间状态信息，a代表原始图像特征，ht-1代表t-1时刻LSTM模型的输出。
5.根据权利要求1-4所述的图像标注方法，其特征在于，步骤4)中，LSTM的输入信息xt＝[Wyyt-1，Wzzt]，其中Wy为词编码参数，Wz为图像特征编码参数，其中yt-1是图像的正确标注词，zt是当前时刻使用聚焦权重参数加权后的图像特征。
6.根据权利要求1-5所述的图像标注方法，其特征在于，图像的正确标注词组Y＝(y0，y1，y2...yt...yn)从t＝1时刻开始按顺序输入到LSTM模型当中，其中y0是一个特殊的单词“start”，标志着标注过程的开始，yn是另一个特殊单词“end”，标志着标注过程的结束；yt-1经词向量编码参数Wy编码后输入到LSTM模型中；zt经图像特征编码参数Wz编码后输入到LSTM模型中。
7.根据权利要求1-5所述的图像标注方法，其特征在于，正确标注词采用独热编码形式，由一个N维向量构成，N代表单词词典内的单词数目，除对应标注词位为1外，其余位为0。
8.根据权利要求1-7所述的图像标注方法，其特征在于，步骤5)包括利用损失函数将所有预测标注词标注正确的log似然概率值求和后取负数，所述损失函数定义为
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>I</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>log</mi> <mi> </mi> <msub> <mi>p</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
9.根据权利要求1-8所述的图像标注方法，其特征在于，步骤5)还包括应用随机梯度下降法以及链式求导法则不断更新模型中的参数。
10.根据权利要求1-9所述的图像标注方法，其特征在于，LSTM模型的计算过程公式如下：
it＝σ(Wixxt+Wihht-1)，
ot＝σ(Woxxt+Wohht-1)，
ft＝σ(Wfxxt+Wfhht-1)，
ct＝ft⊙ct-1+it⊙h(Wcxxt+Wchht-1)，
ht＝ot⊙ct，
yt+1＝Softmax(Wyht)。
CN201710969648.3A 2017-10-18 2017-10-18 一种图像标注方法 Pending CN107665356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710969648.3A CN107665356A (zh) 2017-10-18 2017-10-18 一种图像标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710969648.3A CN107665356A (zh) 2017-10-18 2017-10-18 一种图像标注方法

Publications (1)

Publication Number Publication Date
CN107665356A true CN107665356A (zh) 2018-02-06

Family

ID=61098761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710969648.3A Pending CN107665356A (zh) 2017-10-18 2017-10-18 一种图像标注方法

Country Status (1)

Country Link
CN (1) CN107665356A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN109032356A (zh) * 2018-07-27 2018-12-18 深圳绿米联创科技有限公司 手语控制方法、装置及***
CN109146858A (zh) * 2018-08-03 2019-01-04 诚亿电子（嘉兴）有限公司 自动光学检验设备问题点二次校验方法
CN109343920A (zh) * 2018-09-10 2019-02-15 深圳市腾讯网络信息技术有限公司 一种图像处理方法及其装置、设备和存储介质
WO2020186484A1 (zh) * 2019-03-20 2020-09-24 深圳大学 图片自动生成描述的方法、***、电子装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN105701516A (zh) * 2016-01-20 2016-06-22 福州大学 一种基于属性判别的自动图像标注方法
CN105938485A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于卷积循环混合模型的图像描述方法
CN107076567A (zh) * 2015-05-21 2017-08-18 百度（美国）有限责任公司 多语言图像问答
CN107066464A (zh) * 2016-01-13 2017-08-18 奥多比公司 语义自然语言向量空间

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107076567A (zh) * 2015-05-21 2017-08-18 百度（美国）有限责任公司 多语言图像问答
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN107066464A (zh) * 2016-01-13 2017-08-18 奥多比公司 语义自然语言向量空间
CN105701516A (zh) * 2016-01-20 2016-06-22 福州大学 一种基于属性判别的自动图像标注方法
CN105938485A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于卷积循环混合模型的图像描述方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KELVIN XU 等: "Show, Attend and Tell: Neural Image Caption Generation with Visual Attention", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1502.03044》 *
ORIOL VINYALS 等: "Show and Tell: A Neural Image Caption Generator", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHAO GUO 等: "Attention-based LSTM with Semantic Consistency for Videos Captioning", 《PROCEEDINGS OF THE 24TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
梁欢: "《基于深度学习的图像语义理解研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665506A (zh) * 2018-05-10 2018-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN108665506B (zh) * 2018-05-10 2021-09-28 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及服务器
CN109032356A (zh) * 2018-07-27 2018-12-18 深圳绿米联创科技有限公司 手语控制方法、装置及***
CN109146858A (zh) * 2018-08-03 2019-01-04 诚亿电子（嘉兴）有限公司 自动光学检验设备问题点二次校验方法
CN109146858B (zh) * 2018-08-03 2021-09-17 诚亿电子（嘉兴）有限公司 自动光学检验设备问题点二次校验方法
CN109343920A (zh) * 2018-09-10 2019-02-15 深圳市腾讯网络信息技术有限公司 一种图像处理方法及其装置、设备和存储介质
CN109343920B (zh) * 2018-09-10 2021-09-07 深圳市腾讯网络信息技术有限公司 一种图像处理方法及其装置、设备和存储介质
WO2020186484A1 (zh) * 2019-03-20 2020-09-24 深圳大学 图片自动生成描述的方法、***、电子装置及存储介质

Similar Documents

Publication Publication Date Title
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110390397B (zh) 一种文本蕴含识别方法及装置
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN107665356A (zh) 一种图像标注方法
CN108628935B (zh) 一种基于端到端记忆网络的问答方法
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN110096567A (zh) 基于qa知识库推理的多轮对话回复选择方法、***
CN112699216A (zh) 端到端的语言模型预训练方法、***、设备及存储介质
CN109214006A (zh) 图像增强的层次化语义表示的自然语言推理方法
CN113743099B (zh) 基于自注意力机制方面术语提取***、方法、介质、终端
CN115964459B (zh) 基于食品安全认知图谱的多跳推理问答方法及***
CN114428850B (zh) 一种文本检索匹配方法和***
CN114969278A (zh) 一种基于知识增强图神经网络的文本问答模型
CN117236338B (zh) 一种稠密实体文本的命名实体识别模型及其训练方法
CN114510946B (zh) 基于深度神经网络的中文命名实体识别方法及***
CN114757184B (zh) 实现航空领域知识问答的方法和***
CN116258147A (zh) 一种基于异构图卷积的多模态评论情感分析方法及***
CN115858756A (zh) 基于感知情绪倾向的共情人机对话***
CN115688753A (zh) 中文预训练语言模型的知识注入方法和交互***
Li et al. Multimodal fusion with co-attention mechanism
CN116955579B (zh) 一种基于关键词知识检索的聊天回复生成方法和装置
CN112417890B (zh) 一种基于多样化语义注意力模型的细粒度实体分类方法
Xu et al. CNN-based skip-gram method for improving classification accuracy of chinese text
CN112579739A (zh) 基于ELMo嵌入与门控自注意力机制的阅读理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180206