CN108491848B - 基于深度信息的图像显著性检测方法和装置 - Google Patents
基于深度信息的图像显著性检测方法和装置 Download PDFInfo
- Publication number
- CN108491848B CN108491848B CN201810192934.8A CN201810192934A CN108491848B CN 108491848 B CN108491848 B CN 108491848B CN 201810192934 A CN201810192934 A CN 201810192934A CN 108491848 B CN108491848 B CN 108491848B
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- network
- detected
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度信息的图像显著性检测方法和装置。其中,该方法包括:获取待检测图像以及待检测图像的深度图像;获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;基于第一特征图像和第二特征图像,得到待检测图像的显著性图像。本发明解决了现有技术中的显著性检测算法精准度不高的技术问题。
Description
技术领域
本发明涉及图像处理领域,具体而言,涉及一种基于深度信息的图像显著性检测方法和装置。
背景技术
当人们看图像时,人们总是关注整个图像的一个子集,这就是所谓的视觉注意力,视觉注意力是一个神经生物学过程,能够过滤出不相关的信息,并突出最显著的前景信息。目前已经开发了各种计算模型,包括显著性检测算法,来模拟这种机制,用于主动注视控制、识别、分割以及图像检索。一般而言,显著性检测算法可以分为自上而下的方法和自下而上的方法,其中,自上而下的方法由任务驱动,需要监督学习;自下而上的方法通常使用低级提示,如颜色特征、距离特征和启发式显著特征,其中,最常用的启发式显著特征之一是对比度,如基于像素或基于斑点的对比度。
但是目前的显著性检测算法仅仅使用RGB信息,在检测显著性物体尤其是针对3D数据时,精准度不高,方法健壮性不够强,容易造成误检、漏检等情况,很难得到一个精确的图像显著性检测结果,不仅造成显著性物体本身的错检,同时也会对利用显著性检测结果的应用造成一定的误差。
针对上述现有技术中的显著性检测算法精准度不高的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于深度信息的图像显著性检测方法和装置,以至少解决现有技术中的显著性检测算法精准度不高的技术问题。
根据本发明实施例的一个方面,提供了一种基于深度信息的图像显著性检测方法,包括:获取待检测图像以及待检测图像的深度图像;获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;基于第一特征图像和第二特征图像,得到待检测图像的显著性图像。
根据本发明实施例的另一方面,还提供了一种基于深度信息的图像显著性检测装置,包括:第一获取模块,用于获取待检测图像以及待检测图像的深度图像;第二获取模块,用于获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;第一处理模块,用于基于第一特征图像和第二特征图像,得到待检测图像的显著性图像。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述基于深度信息的图像显著性检测方法。
根据本发明实施例的另一方面,还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述基于深度信息的图像显著性检测方法。
在本发明实施例中,通过获取待检测图像以及待检测图像的深度图像;获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;基于第一特征图像和第二特征图像,得到待检测图像的显著性图像,本发明在获取待检测图像的显著性图像时,结合了待检测图像的深度图像的特征信息,从而实现了提高图像显著性检测结果,使图像中的显著性区域更精准地显现出来,为后期的目标识别和分类等应用提供精准且有用的信息的技术效果,进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种基于深度信息的图像显著性检测方法的示意图;以及
图2是根据本发明实施例的一种基于深度信息的图像显著性检测装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种基于深度信息的图像显著性检测方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的基于深度信息的图像显著性检测方法,如图1所示,该方法包括如下步骤:
步骤S102,获取待检测图像以及待检测图像的深度图像;
步骤S104,获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;
步骤S106,基于第一特征图像和第二特征图像,得到待检测图像的显著性图像。
具体的,步骤S102中获取待检测图像的深度图像时,可以使用Kinect设备待检测图像的深度图像。
除RGB信息之外,深度信息已经被证明有助于显著性估计,本发明在获取待检测图像的显著性图像时,结合了待检测图像的特征信息和深度图像的特征信息,将深度信息有效的与RGB信息进行整合,因此对待检测图像的显著性检测能够更加精准,更加鲁棒性的检测出显著性物体。
在本发明实施例中,通过获取待检测图像以及待检测图像的深度图像;获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;基于第一特征图像和第二特征图像,得到待检测图像的显著性图像,本发明在获取待检测图像的显著性图像时,结合了待检测图像的深度图像的特征信息,从而实现了提高图像显著性检测结果,使图像中的显著性区域更精准地显现出来,为后期的目标识别和分类等应用提供精准且有用的信息的技术效果,进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
除此之外,随着3D数据采集技术(如使用飞行时间传感器和Microsoft Kinect的技术)的发展以及视觉场景变得越来越复杂,2D数据已经不能满足提取突出物体的需求,3D数据相较于2D数据更适合于实际应用,然而目前大多数关于显著性检测的方法都集中在二维图像上,并不适用于三维图像的显著性检测,而本发明由于结合了深度信息,因此有利于区分具有相似外观的不同物体,能够适用于对三维图像的显著性检测,可以用来对3D内容进行监视、检索和图像识别。
在一种可选的实施例中,步骤S104中获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像之前,方法还包括:
步骤S202,构建先验模型引导深度增强网络,其中,先验模型引导深度增强网络包括主网络和子网络,主网络为编码器-解码器结构,子网络为编码器结构;
步骤S104中获取待检测图像的特征图像,包括:步骤S204,通过主网络的编码器获取待检测图像的特征图像;
步骤S104中获取深度图像的特征图像,包括:步骤S206,通过子网络的编码器获取深度图像的特征图像;
步骤S106中基于第一特征图像和第二特征图像,得到待检测图像的显著性图像,包括:步骤S208,基于第一特征图像和第二特征图像,通过主网络的解码器,得到待检测图像的显著性图像。
具体的,先验模型引导深度增强网络即PDNet(PRIOR-MODEL GUIDED DEPTH-ENHANCED NETWORK),包括主网络和子网络,其中,主网络具体为先前模型引导主网络,可以是一个卷积-反卷积模型,其中,卷积阶段作为特征提取器,可以将输入图像转换成分层丰富的特征表示,反卷积阶段可以用作形状恢复器以恢复分辨率,并将细节中的显著对象从背景中细分;子网络具体为深度增强子网络,可以提取深度线索。
具体的,步骤S204中通过主网络的编码器获取待检测图像的特征图像后,可以得到编码过后的待检测图像的特征层,步骤S206中通过子网络的编码器获取深度图像的特征图像后,可以得到深度图像的深度信息特征层,步骤S208中基于第一特征图像和第二特征图像,通过主网络的解码器,得到待检测图像的显著性图像,具体可以为:将步骤S204得到的待检测图像的特征层和步骤S206得到的深度图像的深度信息特征层进行连接,之后通过主网络的解码器,得到最终的显著性图像。
在一种可选的实施例中,主网络的编码器为VGG结构,VGG结构采用全卷积网络,全卷积网络包括多个单元,每个单元包括卷积层、批量标准化层和整流线性激活单元。
具体的,VGG为从Alex-net发展而来的深度网络,本发明中可应用于主网络的编码器部分模型,具体可以使用VGG-16和/或VGG-19,采用该结构可以有效的利用分层特征,在VGG结构采用全卷积网络(FCN网络)时,全卷积网络中每个卷积层之后都有一个批量标准化层(BN层,即Batch Normalization层)来提高收敛速度,之后经过整流线性激活单元(ReLU单元)的激活功能添加非线性,其中,每个卷积层的内核大小可以都为3x3。
具体的,主网络中还可以使用复制-裁剪技术(详见Olaf Ronneberger,PhilippFischer,and Thomas Brox,“U-net:Convolutional networks for biomedical imagesegmentation,”in International Conference on Medical Image Computing andComputer-Assisted Intervention.Springer,2015,pp.234-241.),复制-裁剪技术可以用于在早期阶段添加更多的低级特征,以提高采样阶段的显著图的细节。
具体的,主网络的解码器可以包括卷积层和线性激活函数,例如可以是3x3大小内核的卷积层,线性激活函数可以为sigmoid激活函数,第一特征图像和第二特征图像中的特征可以通过具有3x3大小和线性激活函数的一个卷积核得到金字塔输出,并被连接到一个具有一个3x3大小内核的最终卷积层。
在一种可选的实施例中,步骤S202中构建先验模型引导深度增强网络,包括:步骤S302,构建主网络;
其中,步骤S302中构建主网络,包括:步骤S304,采用显著性检测数据集对主网络进行预训练。
具体的,假设现有技术中使用深度图像数据集(RGB-D数据集)进行图像显著性检测后得到的显著图像中每个像素的显著性值可以如下式1:
Smi,j=p(S|R(I,i,j);θ)
其中,Smij表示现有技术中图像显著性检测后得到的显著图像,θ表示显著性检测网络的权重,i、j表示Smij中像素的位置坐标,R(I,i,j)表示对应于Smij中位置(i,j)的接受域。
本发明中考虑到RGB-D数据集的局限性,采用的是基于RGB的显著性检测数据集对主网络进行预训练,其中,本发明中使用的显著性检测数据集可以是MSRA10K数据集和DUTS-TR数据集,其中,MSRA10K包含10000个具有高质量像素注释的图像,DUTS数据集是当前最大的显著性检测基准,包含10553个训练图像(DUTS-TR)和5019个测试图像(DUTS-TE),本发明中在采用显著性检测数据集进行训练之前,可以将显著性检测数据集中的每个图像预处理为相同的大小并进行归一化,例如,可以将每个图像被缩放到相同的大小[224,224],并归一化为[0,1],在对主网络进行预训练之后,可以得到预先模型权重,预先模型权重可以使用γ表示,γ可以用于指导本发明使用的显著性检测网络即指导先验模型引导深度增强网络的权重。因此,在不考虑子网络的情况下,预训练主网络后,得到的显著图像中每个像素的显著性值可以如下式2:
其中,上式2中θ表示本发明中显著性检测网络即指导先验模型引导深度增强网络的权重。
为了获得输入的深度图像的特征,本发明中还应用了子网络对深度图像进行编码,并将由子网络获得的深度图像的特征作为卷积层并入主网络中,具体方式可以是将经过主网络得到的原始图像信息特征层和经过子网络得到的深度信息特征层进行堆叠,其中,子网络的规模大小决定了最后两种特征层的堆叠比例,子网络的输出特征do被用作先前模型引导主网络的权重矩阵,因此,子网络可以被看作是深度增强的权重预测网络,因此,在考虑子网络的情况下,上式2可以变更为下式3:
其中,上式3中α是通过子网络获得的基于深度的特征映射的组合权重因子。
在一种可选的实施例中,步骤S106中基于第一特征图像和第二特征图像,得到待检测图像的显著性图像,包括:
步骤S402,采用多特征拼接技术对第一特征图像和第二特征图像进行拼接,得到拼接后图像;
步骤S404,根据拼接后图像得到待检测图像的显著性图像。
具体的,多特征拼接技术主要基于损失融合模式,可以用于实现准确的显著性检测和损失融合。
在一种可选的实施例中,在步骤S404中根据拼接后图像得到待检测图像的显著性图像后,还包括如下步骤:计算显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵。
具体的,显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵的计算公式如下式4:
上式中,loss表示显著性图像与地面真实显著性掩模之间的逐像素二进制交叉熵,S表示显著性图像,G表示地面真实显著性掩模,i、j表示图像中像素的位置坐标,W表示显著性图像的宽,H表示显著性图像的高。
实施例2
根据本发明实施例,提供了一种基于深度信息的图像显著性检测装置的产品实施例,图2是根据本发明实施例的基于深度信息的图像显著性检测装置,如图2所示,该装置包括第一获取模块、第二获取模块和第一处理模块,其中,第一获取模块,用于获取待检测图像以及待检测图像的深度图像;第二获取模块,用于获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;第一处理模块,用于基于第一特征图像和第二特征图像,得到待检测图像的显著性图像。
在本发明实施例中,通过第一获取模块获取待检测图像以及待检测图像的深度图像;第二获取模块获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;第一处理模块基于第一特征图像和第二特征图像,得到待检测图像的显著性图像,本发明在获取待检测图像的显著性图像时,结合了待检测图像的深度图像的特征信息,从而实现了提高图像显著性检测结果,使图像中的显著性区域更精准地显现出来,为后期的目标识别和分类等应用提供精准且有用的信息的技术效果,进而解决了现有技术中的显著性检测算法精准度不高的技术问题。
此处需要说明的是,上述第一获取模块、第二获取模块和第一处理模块对应于实施例1中的步骤S102至步骤S106,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在一种可选的实施例中,装置还包括:第一构建模块,用于在第二获取模块获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像之前,构建先验模型引导深度增强网络,其中,先验模型引导深度增强网络包括主网络和子网络,主网络为编码器-解码器结构,子网络为编码器结构;第二获取模块包括第三获取模块和第四获取模块,其中,第三获取模块,用于通过主网络的编码器获取待检测图像的特征图像;第四获取模块,用于通过子网络的编码器获取深度图像的特征图像;第一处理模块包括:第二处理模块,用于基于第一特征图像和第二特征图像,通过主网络的解码器,得到待检测图像的显著性图像。
此处需要说明的是,上述第一构建模块、第三获取模块、第四获取模块和第二处理模块对应于实施例1中的步骤S202、步骤S204、步骤S206和步骤S208,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在一种可选的实施例中,主网络的编码器为VGG结构,VGG结构采用全卷积网络,全卷积网络包括多个单元,每个单元包括卷积层、批量标准化层和整流线性激活单元。
在一种可选的实施例中,第一构建模块包括:第二构建模块,用于构建主网络;其中,第二构建模块包括:训练模块,用于采用显著性检测数据集对主网络进行预训练。
此处需要说明的是,上述第二构建模块和训练模块对应于实施例1中的步骤S302和步骤S304,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在一种可选的实施例中,第一处理模块,包括拼接模块和第三处理模块,其中,拼接模块,用于采用多特征拼接技术对第一特征图像和第二特征图像进行拼接,得到拼接后图像;第三处理模块,用于根据拼接后图像得到待检测图像的显著性图像。
此处需要说明的是,上述拼接模块和第三处理模块对应于实施例1中的步骤S402至步骤S404,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
实施例3
根据本发明实施例,提供了一种存储介质的产品实施例,该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述基于深度信息的图像显著性检测方法。
实施例4
根据本发明实施例,提供了一种处理器的产品实施例,该处理器用于运行程序,其中,程序运行时执行上述基于深度信息的图像显著性检测方法。
实施例5
根据本发明实施例,提供了一种计算机设备的产品实施例,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述基于深度信息的图像显著性检测方法。
实施例6
根据本发明实施例,提供了一种终端的产品实施例,该终端包括第一获取模块、第二获取模块、第一处理模块和处理器,其中,第一获取模块,用于获取待检测图像以及待检测图像的深度图像;第二获取模块,用于获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;第一处理模块,用于基于第一特征图像和第二特征图像,得到待检测图像的显著性图像;处理器,处理器运行程序,其中,程序运行时对于从第一获取模块、第二获取模块和第一处理模块输出的数据执行上述基于深度信息的图像显著性检测方法。
实施例7
根据本发明实施例,提供了一种终端的产品实施例,该终端包括第一获取模块、第二获取模块、第一处理模块和存储介质,其中,第一获取模块,用于获取待检测图像以及待检测图像的深度图像;第二获取模块,用于获取待检测图像的特征图像,得到第一特征图像,以及获取深度图像的特征图像,得到第二特征图像;第一处理模块,用于基于第一特征图像和第二特征图像,得到待检测图像的显著性图像;存储介质,用于存储程序,其中,程序在运行时对于从第一获取模块、第二获取模块和第一处理模块输出的数据执行上述基于深度信息的图像显著性检测方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于深度信息的图像显著性检测方法,其特征在于,包括:
获取待检测图像以及所述待检测图像的深度图像;
获取所述待检测图像的特征图像,得到第一特征图像,以及获取所述深度图像的特征图像,得到第二特征图像;
基于所述第一特征图像和所述第二特征图像,得到所述待检测图像的显著性图像;
获取所述待检测图像的特征图像,得到第一特征图像,以及获取所述深度图像的特征图像,得到第二特征图像之前,所述方法还包括:
构建先验模型引导深度增强网络,其中,所述先验模型引导深度增强网络包括主网络和子网络,所述主网络为编码器-解码器结构,所述子网络为编码器结构;
获取所述待检测图像的特征图像,包括:通过所述主网络的编码器获取所述待检测图像的特征图像;
获取所述深度图像的特征图像,包括:通过所述子网络的编码器获取所述深度图像的特征图像;
基于所述第一特征图像和所述第二特征图像,得到所述待检测图像的显著性图像,包括:基于所述第一特征图像和所述第二特征图像,通过所述主网络的解码器,得到所述待检测图像的显著性图像。
2.根据权利要求1所述的方法,其特征在于,所述主网络的编码器为VGG结构,所述VGG结构采用全卷积网络,所述全卷积网络包括多个单元,每个所述单元包括卷积层、批量标准化层和整流线性激活单元。
3.根据权利要求1所述的方法,其特征在于,构建先验模型引导深度增强网络,包括:构建所述主网络;
其中,构建所述主网络,包括:采用显著性检测数据集对所述主网络进行预训练。
4.根据权利要求1-3中任意一项所述的方法,其特征在于,基于所述第一特征图像和所述第二特征图像,得到所述待检测图像的显著性图像,包括:
采用多特征拼接技术对所述第一特征图像和所述第二特征图像进行拼接,得到拼接后图像;
根据所述拼接后图像得到所述待检测图像的显著性图像。
5.一种基于深度信息的图像显著性检测装置,其特征在于,包括:
第一获取模块,用于获取待检测图像以及所述待检测图像的深度图像;
第二获取模块,用于获取所述待检测图像的特征图像,得到第一特征图像,以及获取所述深度图像的特征图像,得到第二特征图像;
第一处理模块,用于基于所述第一特征图像和所述第二特征图像,得到所述待检测图像的显著性图像;
所述装置还包括:
第一构建模块,用于在所述第二获取模块获取所述待检测图像的特征图像,得到第一特征图像,以及获取所述深度图像的特征图像,得到第二特征图像之前,构建先验模型引导深度增强网络,其中,所述先验模型引导深度增强网络包括主网络和子网络,所述主网络为编码器-解码器结构,所述子网络为编码器结构;
所述第二获取模块包括:
第三获取模块,用于通过所述主网络的编码器获取所述待检测图像的特征图像;
第四获取模块,用于通过所述子网络的编码器获取所述深度图像的特征图像;
所述第一处理模块包括:
第二处理模块,用于基于所述第一特征图像和所述第二特征图像,通过所述主网络的解码器,得到所述待检测图像的显著性图像。
6.根据权利要求5所述的装置,其特征在于,所述主网络的编码器为VGG结构,所述VGG结构采用全卷积网络,所述全卷积网络包括多个单元,每个单元包括卷积层、批量标准化层和整流线性激活单元。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的基于深度信息的图像显著性检测方法。
8.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至4中任意一项所述的基于深度信息的图像显著性检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810192934.8A CN108491848B (zh) | 2018-03-09 | 2018-03-09 | 基于深度信息的图像显著性检测方法和装置 |
PCT/CN2018/113457 WO2019169884A1 (zh) | 2018-03-09 | 2018-11-01 | 基于深度信息的图像显著性检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810192934.8A CN108491848B (zh) | 2018-03-09 | 2018-03-09 | 基于深度信息的图像显著性检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108491848A CN108491848A (zh) | 2018-09-04 |
CN108491848B true CN108491848B (zh) | 2022-02-25 |
Family
ID=63338115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810192934.8A Active CN108491848B (zh) | 2018-03-09 | 2018-03-09 | 基于深度信息的图像显著性检测方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108491848B (zh) |
WO (1) | WO2019169884A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491848B (zh) * | 2018-03-09 | 2022-02-25 | 北京大学深圳研究生院 | 基于深度信息的图像显著性检测方法和装置 |
CN109522797A (zh) * | 2018-10-16 | 2019-03-26 | 华南农业大学 | 基于卷积神经网络的水稻秧苗及苗期杂草识别方法和*** |
CN113808062A (zh) * | 2019-04-28 | 2021-12-17 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
CN110555434B (zh) * | 2019-09-03 | 2022-03-29 | 浙江科技学院 | 一种局部对比和全局指导的立体图像视觉显著性检测方法 |
CN110648334A (zh) * | 2019-09-18 | 2020-01-03 | 中国人民解放***箭军工程大学 | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 |
CN111428602B (zh) * | 2020-03-18 | 2024-07-05 | 浙江科技学院 | 卷积神经网络边缘辅助增强的双目显著性图像检测方法 |
CN111583173B (zh) * | 2020-03-20 | 2023-12-01 | 北京交通大学 | 一种rgb-d图像显著性目标检测方法 |
CN111860518B (zh) * | 2020-06-30 | 2022-10-04 | 北京航空航天大学 | 用于分割图像的方法、装置、设备和计算机可读介质 |
CN111931793B (zh) * | 2020-08-17 | 2024-04-12 | 湖南城市学院 | 一种显著性目标提取方法及*** |
CN113191373B (zh) * | 2021-05-11 | 2023-05-05 | 山东财经大学 | 一种基于中心先验与U-Net网络相结合的显著性检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139385A (zh) * | 2015-08-12 | 2015-12-09 | 西安电子科技大学 | 基于深层自动编码器重构的图像视觉显著性区域检测方法 |
CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
US9779359B2 (en) * | 2012-03-14 | 2017-10-03 | Microsoft Technology Licensing, Llc | Quantum arithmetic on two-dimensional quantum architectures |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331412B (zh) * | 2014-09-23 | 2018-03-09 | 北京工业大学 | 一种在规格化三维人脸库中进行人脸检索的方法 |
CN106373162B (zh) * | 2015-07-22 | 2019-04-16 | 南京大学 | 一种基于显著性融合与传播的显著物体检测方法 |
CN105894502B (zh) * | 2016-03-30 | 2019-10-11 | 浙江大学 | 基于超图模型的rgbd图像显著性检测方法 |
CN108491848B (zh) * | 2018-03-09 | 2022-02-25 | 北京大学深圳研究生院 | 基于深度信息的图像显著性检测方法和装置 |
-
2018
- 2018-03-09 CN CN201810192934.8A patent/CN108491848B/zh active Active
- 2018-11-01 WO PCT/CN2018/113457 patent/WO2019169884A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9779359B2 (en) * | 2012-03-14 | 2017-10-03 | Microsoft Technology Licensing, Llc | Quantum arithmetic on two-dimensional quantum architectures |
CN105139385A (zh) * | 2015-08-12 | 2015-12-09 | 西安电子科技大学 | 基于深层自动编码器重构的图像视觉显著性区域检测方法 |
CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
Non-Patent Citations (1)
Title |
---|
融合显著深度特征的RGB-D 图像显著目标检测;吴建国等;《电子与信息学报》;20170915;第39卷(第9期);第2148-2154页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019169884A1 (zh) | 2019-09-12 |
CN108491848A (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108491848B (zh) | 基于深度信息的图像显著性检测方法和装置 | |
Li et al. | A weighted sparse coding framework for saliency detection | |
US11274922B2 (en) | Method and apparatus for binocular ranging | |
US9443137B2 (en) | Apparatus and method for detecting body parts | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
EP4085369A1 (en) | Forgery detection of face image | |
US11615612B2 (en) | Systems and methods for image feature extraction | |
CN110210492B (zh) | 一种基于深度学习的立体图像视觉显著性检测方法 | |
CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
Poggi et al. | Deep stereo fusion: combining multiple disparity hypotheses with deep-learning | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN114170623B (zh) | 一种人物交互检测设备及其方法、装置、可读存储介质 | |
JP2015036939A (ja) | 特徴抽出プログラム及び情報処理装置 | |
CN115908789A (zh) | 跨模态特征融合及渐近解码的显著性目标检测方法及装置 | |
CN112651333A (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
CN113128428B (zh) | 基于深度图预测的活体检测方法和相关设备 | |
CN114494395A (zh) | 基于平面先验的深度图生成方法、装置、设备及存储介质 | |
CN114764870A (zh) | 对象定位模型处理、对象定位方法、装置及计算机设备 | |
CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
CN114862716B (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
CN114220082A (zh) | 一种车道线识别方法、装置和计算机可读存储介质 | |
CN116152334A (zh) | 图像处理方法及相关设备 | |
CN111435448B (zh) | 图像显著性物体检测方法、装置、设备及介质 | |
Wei et al. | Wall segmentation in house plans: fusion of deep learning and traditional methods | |
CN115984583B (zh) | 数据处理方法、装置、计算机设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |