CN112667841B - 一种弱监督的深度上下文感知图像表征方法及*** - Google Patents
一种弱监督的深度上下文感知图像表征方法及*** Download PDFInfo
- Publication number
- CN112667841B CN112667841B CN202011587005.0A CN202011587005A CN112667841B CN 112667841 B CN112667841 B CN 112667841B CN 202011587005 A CN202011587005 A CN 202011587005A CN 112667841 B CN112667841 B CN 112667841B
- Authority
- CN
- China
- Prior art keywords
- image
- representation
- characterization
- context
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012512 characterization method Methods 0.000 title claims abstract description 59
- 230000000007 visual effect Effects 0.000 claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims 2
- 230000008447 perception Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种弱监督的深度上下文感知图像表征方法及***,包括:获取待处理图像;对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;对哈希向量,进行二值化处理,得到待处理图像的哈希表征。该方法充分捕获了图像的语义信息,并在一个统一的框架内增强了图像表征的辨别力。本发明引入了辨别损失,强制图像表征重新生成标签。这样可以增强图像表征的区分性,且进一步提高哈希码的质量;相较于之前的方法,本发明提高了基于哈希表征的图像检索性能。
Description
技术领域
本申请涉及图像表征技术领域,特别是涉及一种弱监督的深度上下文感知图像表征方法及***。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术,并不必然构成现有技术。
随着社交网络和移动智能手机的普及,大量的图片被网民记录和分享。为了克服海量图像带来的存储成本,同时满足高效图像检索的需求,图像哈希表征学习越来越引起人们的研究兴趣。受深度神经网络在表征学习方面成功的启发,人们的研究重点已经转向到探索深度图像哈希表征学习方法上。尽管它们取得了令人满意的进展,但大多数工作都是有监督的学习方法。换句话说,它们依赖于多个类别的大量标注图像,标注成本是非常昂贵的,故不适用于真实的应用中。我们知道,社交图片与用户提供的标签是相关联的,这些标签信息在一定程度上可以描述图片的语义信息。更重要的是,与图像类别标注信息相比,用户标签信息更容易获得。鉴于此弱监督的深度图像哈希表征学习,即利用用户标签作为监督信息而不是图像类别标注来学习哈希函数,是非常必要的。
但是,仅仅通过用户的标签信息来学习图像哈希函数并不简单,原因如下:
1)在社交媒体平台上,用户提供的标签并不完善。换句话说,它们可能与图像的类别没有直接的联系。例如,一幅图像对应的用户标签是“教堂”,“建筑”和“尖塔”,而它的类别却是“天空”。此外,由于社交媒体用户注重自我、喜欢个性表达等特点,致使与图片相关的标签通常是主观的或与内容无关的(如:美好的,漂亮的)。因此,如何从用户标签中挖掘有效的监督信息成为一个关键问题。
2)为了更好地学习用于图像检索的哈希表征,提取图像的细粒度语义信息至关重要。这样可以进一步增强图像与其对应语义标签之间的匹配。因此,如何全面理解图像的内容,提取有用的语义信息是迫切需要解决的问题。
现阶段,据我们所知,只有一个基于深度学习的弱监督图像哈希表征学习方法,该方法利用标签嵌入或二值化标签向量作为监督信息进行图像哈希表征学习。虽然取得了不错的性能,但它有几个关键的缺点:
1)基于二进制标签向量的学习模型认为两幅图像共享至少一个用户标签,它们就是相似的,这是不合理的。因为实际生活中,两幅图像共享用户标签,但它们的类别可能完全不同;
2)将整张图像全局编码当作视觉表征,这样一个紧凑的表示很难捕获图像中的细粒度语义细节。因此,弱监督的深度图像哈希表征学习仍处于起步阶段,仍有待进一步探索。
发明内容
为了解决现有技术的不足,本申请提供了一种弱监督的深度上下文感知图像表征方法及***;具体来说,我们设计了一种新的图像编码器来增强图像内容的理解,它可以自适应地捕获有意义的区域上下文信息,并将它们聚合成新的图像表征。此外,由于监督信息薄弱,即用户的标签信息,可能会影响图像表征的区分性,我们引入了辨别损失来缓解这一问题。它迫使图像表征重新生成与其相关的标签信息,从而加强了图像和标签之间的对齐,以及学习到的哈希码的表征能力。最后,利用学习到的图像哈希码,可以有效地进行大规模图像检索。
第一方面,本申请提供了一种弱监督的深度上下文感知图像表征方法;
一种弱监督的深度上下文感知图像表征方法,包括:
获取待处理图像;
对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;
对哈希向量,进行二值化处理,得到待处理图像的哈希表征。
第二方面,本申请提供了一种弱监督的深度上下文感知图像表征***;
一种弱监督的深度上下文感知图像表征***,包括:
获取模块,其被配置为:获取待处理图像;
表征提取模块,其被配置为:对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;
二值化处理模块,其被配置为:对哈希向量,进行二值化处理,得到待处理图像的哈希表征。
第三方面,本申请还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述第一方面所述的方法。
第四方面,本申请还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成第一方面所述的方法。
第五方面,本申请还提供了一种计算机程序(产品),包括计算机程序,所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
与现有技术相比,本申请的有益效果是:
(1)本发明提出了一种端到端弱监督的深度图像哈希表征学习方法,该方法充分捕获了图像的语义信息,并在一个统一的框架内增强了图像表征的辨别力;
(2)为了充分利用弱监督的用户标签信息,本发明引入了辨别损失,强制图像表征重新生成标签。这样可以增强图像表征的区分性,且进一步提高哈希码的质量;
(3)相较于之前的方法,本发明提高了基于哈希表征的图像检索性能。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图;
图2为第一个实施例的图像编码器内部网络结构示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了一种弱监督的深度上下文感知图像表征方法;
如图1所示,一种弱监督的深度上下文感知图像表征方法,包括:
S101:获取待处理图像;
S102:对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;
S103:对哈希向量,进行二值化处理,得到待处理图像的哈希表征。
作为一个或多个实施例,所述对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;通过训练后的图像编码器来实现。
进一步地,如图2所示,所述图像编码器,包括:
依次连接的ResNet-50网络、自注意力机制模块、求和单元、平均池化层和多层感知机网络;其中,ResNet-50网络作为图像编码器的输入端,多层感知机网络作为图像编码器的输出端。
进一步地,所述ResNet-50网络,用于对待处理图像进行表征提取,提取出基础视觉表征。
示例性的,采用预训练的ResNet-50网络作为基础视觉表征提取模型的主干网络。输入一张224x224x3维的图像,通过ResNet-50网络的Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x这5层,最终输出7x7x2048维的特征图。形式上,我们将上述过程总结如下:
Xi=φ(Ii),
进一步地,所述自注意力机制模块,用于捕获基础视觉表征的特征图上每一个点的上下文信息,得到上下文强化后的区域表征矩阵。
示例性的,利用自注意力机制捕获特征图上每一个点的上下文信息,即
应理解的,为了充分理解每个细粒度特征区域的语义,上下文信息起着至关重要的作用。本发明建立了一个视觉表征生成模块,来很好地利用每一个区域的上下文信息。
进一步地,所述求和单元,用于将上下文强化后的区域表征与基础视觉表征相加,得到增强后的区域特征。
应理解的,为了保持各视觉区域的原始信息,我们将强化后的表征与原始表征相加。
进一步地,所述平均池化层,用于对增强后的区域特征进行融合得到上下文强化的视觉表征。
应理解的,选择平均池化操作将增强后的区域特征融合为一个视觉表征向量。更具体地说,上述运算可以形式化地表示为:
进一步地,所述多层感知机网络,用于对上下文强化的视觉表征进行映射为哈希向量。
其中,θ1和θ2分别对应Relu和sigmoid激活函数,Wl和bl(l∈{1,2})分别表示学习的参数矩阵和向量。
进一步地,在测试阶段和实际应用阶段,所述图像编码器后面还连接有二值化单元,所述二值化单元,用于对哈希表征进行二值化处理,得到哈希码表征。
进一步地,所述训练后的图像编码器,训练步骤包括:
构建训练集;所述训练集包括已知用户标签的图像;
将训练集中的图像作为图像编码器的输入值,将训练集中的已知标签的表征向量作为图像编码器的输出值,对图像编码器进行训练;
当图像编码器的总损失函数达到最小值时,停止训练,得到训练后的图像编码器。
训练阶段:假设我们有N个图像-标签-类别组,表示为其中Ii代表第i个图像,/>为与图像Ii相关的标签集合,li∈{0,1}K为二值图像类别向量,K表示图像类别数目。特别地,如果Ii隶属于第k个类别,那么li的第k个元素值为1,否则为0。本发明旨在利用/>信息学习哈希函数,为每一个图像输出哈希码表征,即bi。图像编码器,生成蕴含细粒度视觉语义信息的图像表征;标签编码器,输出用户标签信息的表征。
测试阶段:给定一张测试图像I,我们先提取测试图像的哈希表征h1(图像编码器中多层感知机网络的输出),然后采用下述公式对其进行二值化得到哈希码表征:
其中,sgn为符号函数。
进一步地,所述已知标签的表征向量,获取步骤包括:
对训练集图像的已知标签,采用标签编码器进行编码处理,得到已知标签的表征向量。
进一步地,所述采用标签编码器进行编码处理的具体步骤包括:
将与图像对应的每一个标签信息采用word2vec工具得到词向量编码;
对所有的词向量编码,进行平均池化处理,得到已知标签的表征向量。示例性的,标签编码过程包括:将与图片对应的每一个标签信息使用word2vec工具得到词向量编码。之后,采用平均池化作用到所有词向量中,最终得到一个标签表征向量其中d表示词向量编码维度。
进一步地,所述图像编码器的总的损失函数,包括:量化损失函数、成对损失函数、铰链损失函数和辨别损失函数。
量化损失:
所述成对损失函数,旨在保证标签表征相似的图像对之间具有相似的哈希码表征。
成对损失:
其中,为图像编码器输出的训练集中第i张图像的哈希向量,/>为图像编码器输出的训练集中第j张图像的哈希向量,ti为训练集中第i张图像的已知标签表征,tj为训练集中第j张图像的已知标签表征,L表示哈希码长度,N为训练集中图像数目。/>
所述铰链损失函数,为了消除图像和文本模态间语义鸿沟,铰链损失迫使输入匹配的图像-标签对的表征相近,反之亦然。
铰链损失:
所述辨别损失函数,迫使上下文强化的图像表征xi准确地重新生成相应的标签信息,从而确保图像表征的区分性,同时提高图像哈希表征的质量。
辨别损失:
其中,Lc为标签数目,pic为第i个图像包含第c个标签的预测概率值,yic为真实标注结果,即第i个图像包含第c个标签,它的值为1,N为训练集中图像数目进一步地,所述图像编码器的总的损失函数为:
L=λ1L1+L2+λ3L3+λ4L4
其中,λ1,λ3,λ4为平衡损失函数的超参数。
实施例二
本实施例提供了一种弱监督的深度上下文感知图像表征***;
一种弱监督的深度上下文感知图像表征***,包括:
获取模块,其被配置为:获取待处理图像;
表征提取模块,其被配置为:对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;
二值化处理模块,其被配置为:对哈希向量,进行二值化处理,得到待处理图像的哈希表征。
此处需要说明的是,上述获取模块、表征提取模块和二值化处理模块对应于实施例一中的步骤S101至S103,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重,某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***,可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时,可以有另外的划分方式,例如多个模块可以结合或者可以集成到另外一个***,或一些特征可以忽略,或不执行。
实施例三
本实施例还提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述实施例一所述的方法。
应理解,本实施例中,处理器可以是中央处理单元CPU,处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC,现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如,存储器还可以存储设备类型的信息。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元及算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
实施例四
本实施例还提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例一所述的方法。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (4)
1.一种弱监督的深度上下文感知图像表征方法,其特征是,包括:
获取待处理图像;
训练后的图像编码器,对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;从而生成蕴含细粒度视觉语义信息的图像表征;
对哈希向量,进行二值化处理,得到待处理图像的哈希表征;
所述图像编码器,包括:
依次连接的ResNet-50网络、自注意力机制模块、求和单元、平均池化层和多层感知机网络;其中,ResNet-50网络作为图像编码器的输入端,多层感知机网络作为图像编码器的输出端;
所述ResNet-50网络,用于对待处理图像进行表征提取,提取出基础视觉表征;
采用预训练的ResNet-50网络作为基础视觉表征提取模型的主干网络,输入一张224x224x3维的图像,通过ResNet-50网络的Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x这5层,最终输出7x7x2048维的特征图,将过程总结如下:
Xi=φ(Ii),
所述自注意力机制模块,用于捕获基础视觉表征的特征图上每一个点的上下文信息,得到上下文强化后的区域表征矩阵;
利用自注意力机制捕获特征图上每一个点的上下文信息,即
所述求和单元,用于将上下文强化后的区域表征与基础视觉表征相加,得到增强后的区域特征;
所述平均池化层,用于对增强后的区域特征进行融合得到上下文强化的视觉表征;
选择平均池化操作将增强后的区域特征融合为一个视觉表征向量;平均池化操作表示为:
所述多层感知机网络,用于对上下文强化的视觉表征进行映射为哈希向量;
其中,θ1和θ2分别对应Relu和sigmoid激活函数,Wl和bl(l∈{1,2})分别表示学习的参数矩阵和向量;
所述训练后的图像编码器,训练步骤包括:
构建训练集;所述训练集包括已知用户标签的图像;
将训练集中的图像作为图像编码器的输入值,将训练集中的已知标签的表征向量作为图像编码器的输出值,对图像编码器进行训练;
当图像编码器的总损失函数达到最小值时,停止训练,得到训练后的图像编码器;
所述已知标签的表征向量,获取步骤包括:
对训练集图像的已知标签,采用标签编码器进行编码处理,得到已知标签的表征向量;
所述采用标签编码器进行编码处理,具体步骤包括:
将与图像对应的每一个标签信息采用word2vec工具得到词向量编码;
对所有的词向量编码,进行平均池化处理,得到已知标签的表征向量;
所述图像编码器的总损失函数,包括:量化损失函数、成对损失函数、铰链损失函数和辨别损失函数;
量化损失:
所述成对损失函数,旨在保证标签表征相似的图像对之间具有相似的哈希码表征;成对损失:
其中,为图像编码器输出的训练集中第i张图像的哈希向量,为图像编码器输出的训练集中第j张图像的哈希向量,ti为训练集中第i张图像的已知标签表征,tj为训练集中第j张图像的已知标签表征,L表示哈希码长度,N为训练集中图像数目;
所述铰链损失函数,为了消除图像和文本模态间语义鸿沟,铰链损失迫使输入匹配的图像-标签对的表征相近,反之亦然;
铰链损失:
所述辨别损失函数,迫使上下文强化的图像表征xi准确地重新生成相应的标签信息,从而确保图像表征的区分性,同时提高图像哈希表征的质量;
辨别损失:
其中,Lc为标签数目,pic为第i个图像包含第c个标签的预测概率值,yic为真实标注结果,即第i个图像包含第c个标签,它的值为1,N为训练集中图像数目;
所述图像编码器的总的损失函数为:
L=λ1L1+L2+λ3L3+λ4L4
其中,λ1,λ3,λ4为平衡损失函数的超参数。
2.采用如权利要求1所述的一种弱监督的深度上下文感知图像表征方法的一种弱监督的深度上下文感知图像表征***,其特征是,包括:
获取模块,其被配置为:获取待处理图像;
表征提取模块,其被配置为:训练后的图像编码器,对待处理图像进行表征提取,提取出基础视觉表征;基于基础视觉表征,生成上下文强化视觉表征;对上下文强化视觉表征映射为哈希向量;
二值化处理模块,其被配置为:对哈希向量,进行二值化处理,得到待处理图像的哈希表征;
所述图像编码器,包括:
依次连接的ResNet-50网络、自注意力机制模块、求和单元、平均池化层和多层感知机网络;其中,ResNet-50网络作为图像编码器的输入端,多层感知机网络作为图像编码器的输出端;
所述图像编码器的总损失函数,包括:量化损失函数、成对损失函数、铰链损失函数和辨别损失函数;
所述铰链损失函数,为了消除图像和文本模态间语义鸿沟,铰链损失迫使输入匹配的图像-标签对的表征相近,反之亦然;
铰链损失:
所述辨别损失函数,迫使上下文强化的图像表征xi准确地重新生成相应的标签信息,从而确保图像表征的区分性,同时提高图像哈希表征的质量;
辨别损失:
其中,Lc为标签数目,pic为第i个图像包含第c个标签的预测概率值,yic为真实标注结果,即第i个图像包含第c个标签,它的值为1,N为训练集中图像数目。
3.一种电子设备,其特征是,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述权利要求1所述的方法。
4.一种计算机可读存储介质,其特征是,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011587005.0A CN112667841B (zh) | 2020-12-28 | 2020-12-28 | 一种弱监督的深度上下文感知图像表征方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011587005.0A CN112667841B (zh) | 2020-12-28 | 2020-12-28 | 一种弱监督的深度上下文感知图像表征方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112667841A CN112667841A (zh) | 2021-04-16 |
CN112667841B true CN112667841B (zh) | 2023-03-24 |
Family
ID=75411538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011587005.0A Active CN112667841B (zh) | 2020-12-28 | 2020-12-28 | 一种弱监督的深度上下文感知图像表征方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112667841B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222033A (zh) * | 2021-05-19 | 2021-08-06 | 北京数研科技发展有限公司 | 基于多分类回归模型与自注意力机制的单目图像估计方法 |
CN113254695B (zh) * | 2021-05-27 | 2022-06-07 | 支付宝(杭州)信息技术有限公司 | 图像检索的方法及装置、图像表征网络的训练方法及装置 |
CN116523028B (zh) * | 2023-06-29 | 2023-10-03 | 深圳须弥云图空间科技有限公司 | 基于图像空间位置的图像表征模型训练方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
CN111723220A (zh) * | 2020-06-18 | 2020-09-29 | 中南大学 | 基于注意力机制和哈希的图像检索方法、装置及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9245205B1 (en) * | 2013-10-16 | 2016-01-26 | Xerox Corporation | Supervised mid-level features for word image representation |
CN110610129A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种基于自注意力机制的深度学习人脸识别***及方法 |
CN111428073B (zh) * | 2020-03-31 | 2022-08-09 | 新疆大学 | 一种深度监督量化哈希的图像检索方法 |
-
2020
- 2020-12-28 CN CN202011587005.0A patent/CN112667841B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
CN111723220A (zh) * | 2020-06-18 | 2020-09-29 | 中南大学 | 基于注意力机制和哈希的图像检索方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于弱监督深度学习的图像检索技术研究;胡琦瑶等;《西北大学学报(自然科学版)》;20201113;第50卷(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112667841A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112667841B (zh) | 一种弱监督的深度上下文感知图像表征方法及*** | |
CN112685565B (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
CN113961736B (zh) | 文本生成图像的方法、装置、计算机设备和存储介质 | |
WO2024041479A1 (zh) | 一种数据处理方法及其装置 | |
CN112528029A (zh) | 文本分类模型处理方法、装置、计算机设备及存储介质 | |
CN114330966A (zh) | 一种风险预测方法、装置、设备以及可读存储介质 | |
CN113761250A (zh) | 模型训练方法、商户分类方法及装置 | |
CN112015896A (zh) | 基于人工智能的情感分类方法、以及装置 | |
Sun et al. | Image steganalysis based on convolutional neural network and feature selection | |
CN114359582B (zh) | 一种基于神经网络的小样本特征提取方法及相关设备 | |
CN116541492A (zh) | 一种数据处理方法及相关设备 | |
CN116778148A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN117095019A (zh) | 一种图像分割方法及相关装置 | |
Zhu et al. | Image-based storytelling using deep learning | |
CN114529761A (zh) | 基于分类模型的视频分类方法、装置、设备、介质及产品 | |
CN115292439A (zh) | 一种数据处理方法及相关设备 | |
CN113297525A (zh) | 网页分类方法、装置、电子设备、及存储介质 | |
Ashrafi et al. | Development of image dataset using hand gesture recognition system for progression of sign language translator | |
CN113919338B (zh) | 处理文本数据的方法及设备 | |
CN116266259A (zh) | 图像文字结构化输出方法、装置、电子设备和存储介质 | |
CN115205758A (zh) | 基于视频与文本的智能转换方法、装置、电子设备及介质 | |
CN114638297A (zh) | 一种命名实体提取方法、装置、电子设备和存储介质 | |
CN118230081B (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN117407557B (zh) | 零样本实例分割方法、***、可读存储介质及计算机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |