WO2015180527A1 - 一种图像显著性检测方法 - Google Patents

一种图像显著性检测方法 Download PDF

Info

Publication number
WO2015180527A1
WO2015180527A1 PCT/CN2015/075514 CN2015075514W WO2015180527A1 WO 2015180527 A1 WO2015180527 A1 WO 2015180527A1 CN 2015075514 W CN2015075514 W CN 2015075514W WO 2015180527 A1 WO2015180527 A1 WO 2015180527A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
image block
block
saliency
Prior art date
Application number
PCT/CN2015/075514
Other languages
English (en)
French (fr)
Inventor
袁春
陈刚彪
Original Assignee
清华大学深圳研究生院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华大学深圳研究生院 filed Critical 清华大学深圳研究生院
Publication of WO2015180527A1 publication Critical patent/WO2015180527A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the present invention relates to the field of computer vision, and in particular to an image saliency detection method.
  • the technical problem to be solved by the present invention is to make up for the deficiencies of the above prior art, and to provide an image saliency detection method, which is more in line with the human visual system and has more accurate detection results.
  • An image saliency detecting method comprises the following steps: 1) performing block processing on an image, and dividing into K image blocks of size M ⁇ N; wherein values of K, M and N are set by a user; 2) Calculating feature values of each image block, the feature values including a brightness feature value, a color feature value, a direction feature value, a depth feature value, and a sparse feature value, wherein the depth feature value Where ⁇ 1 and ⁇ 2 are constants, which are set by the user according to the range of depth values in the image and the range of quantization intervals when the eigenvalues are fused; max(deep(x, y)) represents the image block to be calculated.
  • the image saliency detection method of the invention introduces depth features and sparse features on the basis of the traditional feature values, and introduces the depth features to distinguish the close-range and the distant view in the image, so that the close-range view closer to the observer in the saliency map is compared.
  • the vision is more prominent, which is more in line with the observation principle that the human visual system pays more attention to the closer part of the human eye.
  • the sparse feature is introduced and characterized by sparse coding unit, and the sparse coding unit is trained by the ICA algorithm, which is very similar to the characteristics of the human primary visual cortex receptive field, thereby further ensuring that the obtained saliency map conforms to the human visual system.
  • the saliency map is more accurate when the resulting saliency map is more in line with the human visual system.
  • the saliency detection method of the image of the present invention is more accurate than the conventional saliency detection method.
  • FIG. 1 is a flowchart of an image saliency detecting method according to an embodiment of the present invention
  • FIG. 2 is a view showing a processing result of processing an image including a close-up view by a detecting method according to an embodiment of the present invention
  • FIG. 3 is a view showing a processing result of processing an image including a distant view by a detecting method according to an embodiment of the present invention.
  • the idea of the present invention is: based on the current regional contrast-based saliency detection method, the saliency value of the image block is calculated by weighted summation between the image block and the image block, and finally the significant value of the entire image is obtained.
  • Sexual map During the detection process, depth features and sparse features are introduced on the basis of traditional contrast feature values such as intensity, color and direction. The two visual features of depth information and sparse coding are introduced into the computational process of the saliency map, making the detection results more in line with human visual perception.
  • the present invention also introduces a central displacement method to correct the position of the center point in the image segmentation process, and divides the image with the significant center in the initial saliency map as the center point, thereby imitating the transfer process of the human eye focus, so that The resulting saliency map is more in line with the characteristics of the human visual system.
  • the human visual sharpness coefficient is used to weight the difference value of each image block, and the closer the image block is to the central block, the larger the weighting coefficient is, and the characteristics of the human visual system are more consistent, so that the detection result is more accurate.
  • a flowchart of an image saliency detection method in the specific embodiment includes the following steps:
  • Block processing The image is subjected to block processing and divided into K image blocks of size M ⁇ N; wherein the values of K, M and N are set by the user. If M ⁇ N is set to be small and K is large, that is, the more detailed the divided blocks are, the subsequent calculation results are more accurate, but the corresponding calculation amount is also larger. If M ⁇ N is set larger, K is smaller, that is, The smaller the block is, the coarser it is, the smaller the subsequent calculation will be, but the accuracy of the calculation will be worse. Preferably, according to a plurality of experimental tests, when the image block is divided into sizes of 8 ⁇ 8, the calculation amount is not too large, and the calculation accuracy can also be satisfied.
  • the image is segmented by the region growing method, and the region growing method is used to block the significant central block of the image as the center.
  • this preferred setting it is necessary to obtain an initial saliency map of the image in advance, and the block having the largest saliency value in the initial saliency map is taken as the center.
  • the physical center of the image is generally used as a center for segmentation, and the preferred setting uses a significant center as a center, which can imitate the transfer process of the human eye focus, so that the final remarkableness is obtained.
  • the figure is more in line with the characteristics of the human visual system.
  • the center of the field that is, the center of significance
  • the center of the field has an important position, not the physical center of the image.
  • Dividing the image blocks according to the significant center makes the division of the image blocks more in line with the characteristics of the significant regions in the image that the human visual system pays more attention to.
  • the saliency map calculated by the image block is significantly centered. The accuracy is higher and the effect is better.
  • the feature values include: a brightness feature value, a color feature value, a direction feature value, a depth feature value, and a sparse feature value.
  • the brightness feature, the color feature and the directional feature belong to the traditional contrast feature, which can be extracted by using the Gaussian pyramid and the center-surround operator.
  • the corresponding mature calculation method can be calculated, and the following calculation formulas are only used as an example. The specific calculation process of the three eigenvalues will not be detailed.
  • M 0 ( ⁇ )
  • r, g, b respectively represent the r channel pixel value, the g channel pixel value and the b channel pixel value of the image block to be calculated.
  • ⁇ represents the number of Gaussian pyramid layers and is an integer between 0 and 8.
  • ⁇ represents the angle and takes values of 0°, 45°, 90° or 135°.
  • G 0 ( ⁇ ) represents a Gabor filter operator in the 0 degree direction
  • G ⁇ /2 ( ⁇ ) represents a Gabor filter operator in the 90 degree direction.
  • the introduced depth feature values are calculated as follows:
  • ⁇ 1 and ⁇ 2 are constants, and are set by the user according to the range of the depth value in the image and the range of the range when the eigenvalues are fused.
  • the depth value d ranges from 0 to 255
  • exp(-1/d) takes a value between 0 and 0.996, and all the feature values are quantized to 0 to 255 when the feature values are fused.
  • the values of ⁇ 1 and ⁇ 2 can be adjusted according to the above principle.
  • the depth value d in the image to be processed is concentrated in other interval ranges, and the values of ⁇ 1 and ⁇ 2 are also adjusted to adjust the range of the quantization interval to 0 to 255, thereby satisfying the requirements of the expected quantization interval range.
  • ⁇ 1 and ⁇ 2 are comprehensively set by the user according to the range of depth values in the image and the range of quantization intervals when the eigenvalues are fused.
  • max(deep(x, y)) represents the maximum value of the depth value of the pixel in the image block to be calculated.
  • the maximum value of the depth value of the pixel brought into the image block p is calculated as max(deep(x, y)).
  • the maximum value of the depth value of the pixel brought into the image block q is calculated as max(deep(x, y)).
  • A denotes a sparse coding unit
  • I represents a matrix of pixel values of M ⁇ N pixel points in the image block to be calculated. For example, when the image block p is calculated, that is, a matrix composed of pixel values of M ⁇ N pixel points of the image block p is taken. If the image block q is calculated, a matrix of pixel values of corresponding pixels in the image block q is correspondingly introduced.
  • the above-mentioned sparse feature is an attempt to find an ideal reversible weighting matrix W so that the image I can be expressed by the matrix W using sparse features.
  • W A -1 can be determined, thereby determining that the reversible weighting matrix W is obtained.
  • the sparse coding unit A by the ICA algorithm.
  • a fixed point algorithm is adopted, and a fixed number algorithm is used to train a large number of image blocks to obtain 192 data, and the first M ⁇ N data is used as the sparse coding. unit.
  • step P3 After each feature value of each image block is calculated, the process proceeds to step P3).
  • the difference value D pq between the current image block p and the image block q can be calculated according to the following formula:
  • Fi(p) represents the quantized feature value of the current image block p when the feature i
  • Fi(q) represents the quantized feature value of the image block q when the feature i.
  • the image feature p, the luminance feature value, the color feature value, the direction feature value, the depth feature value, and the sparse feature value of the image block q are quantized to the same interval range, and then the feature values of the image block p under each feature are The absolute value of the eigenvalue difference value of the image block q is summed and calculated to obtain a difference value between the image block p and the image block q. Centering on the current image block p, traversing the remaining (K-1) image blocks in the image, and calculating the difference value between the current image block p and the remaining (K-1) image blocks.
  • the human visual sharpness coefficient is used as the weighting coefficient, so that the saliency calculation result of the image is more consistent with the salient region of the real reaction image.
  • T(f, e) represents the contrast threshold
  • the contrast threshold can be expressed as a function of spatial frequency and retinal eccentricity
  • the significance value is calculated as: Where e pq represents the retinal eccentricity of the center point of the image block q relative to the center point of the image block p, and the contrast threshold is calculated by taking the function T(f, e), thereby calculating the image block p and the image block.
  • D pq represents the difference value between the image block p and the image block q. Centering on the current image block p, traversing the remaining (K-1) image blocks in the image, and calculating the corresponding human visual sharpness coefficient according to the retinal eccentricity of the current image block p and the remaining (K-1) image blocks.
  • the coefficient is used to weight the difference value between the current image block p and the remaining (K-1) image blocks, and the saliency value of the current image block p is obtained by weighting.
  • the significance value of each image block is calculated.
  • the image block closer to the current image block p has a lower retinal eccentricity e, and accordingly, the lower the contrast threshold T(f, e), setting the human visual sharpness coefficient
  • the visual sharpness coefficient is introduced to weight the difference value between different image blocks.
  • the visual sharpness coefficient accords with the principle that the human eye vision pays more attention to the salient region. Compared with the Euclidean distance, the weight is more consistent with the biological characteristics.
  • the calculated significance value of the current image block p is closer to the result observed by the human eye, and the calculation is more accurate.
  • the saliency values of the image blocks are calculated, and the saliency values of the image blocks are integrated to obtain the saliency map of the original image.
  • the depth feature and the sparse feature are introduced, and the depth feature is introduced, so that the detection result is more in line with the characteristics of the region where the human visual system is closer to the human eye, and the sparse feature is introduced.
  • the sparse coding unit is calculated by the ICA algorithm.
  • the coefficient coding unit is very similar to the characteristics of the human primary visual cortex receptive field, which can simulate the characteristics of the human primary visual cortex receptive field, and also make the result more in line with the human visual system.
  • the saliency detection method of the image of the present invention is more accurate than the conventional saliency detection method.
  • the test results of the near view and the distant view image are respectively processed by the method of the present embodiment.
  • Fig. 2a is an original image containing a close-up view
  • Fig. 2b is a saliency map obtained after the process.
  • Fig. 3a is an original image containing a distant view
  • Fig. 3b is a saliency map obtained after the process. From the processing results, accurate and significant region detection results can be obtained, and the sparse targets farther away from the observer can be better segmented into the background, and have better segmentation effects for sparse targets farther away from the observer. . Even if it is not in the significant area of the center of the image, it can be accurately detected, which is more in line with the human visual system.
  • the salient region detection method in the specific embodiment can be well applied in image segmentation, retrieval, target recognition and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像显著性检测方法，包括以下步骤：1）对图像进行分块处理，划分为K个大小为M×N的图像块；其中，K，M和N的值由用户设定；2）计算各图像块的特征值，所述特征值包括亮度特征值、颜色特征值、方向特征值，深度特征值和稀疏特征值；3）将图像块的各特征值量化到同一区间范围，将各特征值融合计算得到各图像块与其余图像块之间的差异值；4）确定加权系数，将各图像块与其余图像块之间的差异值加权求和计算得到各图像块的显著性值。本发明的图像显著性检测方法，通过在传统的特征值基础上引入了深度特征和稀疏特征，较符合人类视觉***观察图像的特点，从而确保处理得到的显著性图较符合人类视觉***，显著性图较准确。

Description

一种图像显著性检测方法 【技术领域】
本发明涉及计算机视觉领域，特别是涉及一种图像显著性检测方法。
【背景技术】
人类在观察图像时，通常只关注整幅图像或整段视频中很小的较为显著的一部分。因此，计算机模拟人类视觉***时，主要通过检测图像中显著性区域进行模拟。显著性检测已逐渐成为计算机视觉领域非常重要的一个研究课题。显著性检测在人机交互、智能监控、图像分割、图像检索和自动标注等方面有很大的发展前景。在这个研究领域中，如何运用有效的方法从图像中准确的检测出显著区域，是一个非常重要的问题。传统的显著性检测方法有多种，但对于某些图像，如图像中存在近景和远景，且远景距离观察者较远的图像，对于这类图像的显著性检测，结果不太符合人类视觉***，检测结果还不太准确。
【发明内容】
本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像显著性检测方法，对图像的显著性检测更符合人类视觉***，检测结果较准确。
本发明的技术问题通过以下的技术方案予以解决：
一种图像显著性检测方法，包括以下步骤：1)对图像进行分块处理，划分为K个大小为M×N的图像块；其中，K，M和N的值由用户设定；2)计算各图像块的特征值，所述特征值包括亮度特征值、颜色特征值、方向特征值，深度特征值和稀疏特征值，其中，深度特征值
Figure PCTCN2015075514-appb-000001
其中，λ1和λ2为常数，由用户根据所述图像中深度值的范围和特征值融合时的量化区间范围进行设定；max(deep(x，y))表示待计算的图像块中的像素的深度值的最大值；稀疏特征值f＝W×I，其中W＝A-1，A表示稀疏编码单元，根据独立变量分析ICA算法得到的多个稀疏编码单元中前M×N个；I表示待计算的图像块中的M×N个像素点的像素值矩阵；3)将图像块的各特征值量化到同一区间范围，将各特征值融合计算得到各图像块与其余图像块之间的差异值；4)确定加权系数，将各图像块与其余图像块之间的差异值加权求和计算得到各图像块的显著性值。
本发明与现有技术对比的有益效果是：
本发明的图像显著性检测方法，在传统的特征值基础上引入了深度特征和稀疏特征，引入深度特征区分图像中的近景和远景，使得到的显著性图中距离观测者较近的近景较远景更突出，从而更符合人类视觉***较关注距离人眼较近部分的观测原理。而引入稀疏特征，借助稀疏编码单元表征，而稀疏编码单元借助ICA算法训练得到，与人类初级视皮层感受野的特点非常类似，从而进一步确保得到的显著性图符合人类视觉***。当得到的显著性图更加符合人类视觉***时，显著性图更为准确。特别是对于图像中存在较远的远景时，本发明的图像的显著性检测方法较传统的显著性检测方法较准确。
【附图说明】
图1是本发明具体实施方式的图像显著性检测方法的流程图；
图2是本发明具体实施方式的检测方法处理包含近景的图像的处理结果图；
图3是本发明具体实施方式的检测方法处理包含远景的图像的处理结果图。
【具体实施方式】
下面结合具体实施方式并对照附图对本发明做进一步详细说明。
本发明的构思是：基于目前效果较好的基于区域对比度的显著性检测方法，通过图像块与图像块之间的差异值加权求和计算图像块的显著性值，最终得到整幅图像的显著性图。检测过程中，在传统的对比度特征值诸如强度、颜色和方向等的基础上，引入了深度特征和稀疏特征。深度信息和稀疏编码这两种视觉特征被引入显著图的计算过程，使得检测结果更加符合人类视觉感受。进一步地，本发明中还引入中央位移方法对图像分块过程中的中心点进行了位置修正，以初始显著性图中的显著中心为中心点划分图像，从而模仿人眼聚焦的转移过程，使最终得到的显著性图更加符合人类视觉***的特点。更进一步地，利用人类视觉尖锐系数来对各图像块的差异值进行加权，距离中心块越近的图像块，设置其加权系数越大，且较符合人类视觉***的特点，使检测结果更加准确。
如图1所示，为本具体实施方式中图像显著性检测方法的流程图，包括以下步骤：
P1)分块处理：对图像进行分块处理，划分为K个大小为M×N的图像块；其中，K，M和N的值由用户设定。如果设定M×N较小，K较大，即划分的块较多越精细，则后续计算结果较精确，但相应计算量也较大。如果设定M×N较大，K较小，即划 分的块较少越粗糙，则后续计算量会小一些，但计算结果的精确度会差一些。优选地，根据多次实验测试，将图像块划分为8×8大小的尺寸时，计算量不会太大，同时也能满足计算精确度的要求。
优选地，分块处理时，采用区域生长法对图像进行分块，区域生长法分块时选取图像的显著中心块作为中心进行分块处理。采取该优选设置时，需要事先得到图像的初始显著性图，取该初始显著性图中显著性值最大的块作为中心即可。传统的区域生长法中进行分块处理时，一般采用图像的物理中心作为中心进行分块，而该优选设置中采用显著中心作为中心，可模仿人眼聚焦的转移过程，使最终得到的显著性图更加符合人类视觉***的特点。这是因为：当寻找场景中的特定目标时，根据图像特征的分布规律，人眼焦点的分布会从图像中心向其它位置转移。因此，视野中心，也即显著中心具有重要的地位，而非图像的物理中心。按照显著中心划分图像块，使得图像块的划分更加符合人类视觉***较为关注图像中显著区域的特点，相对于以图像中心划分计算的显著性图，以显著中心划分图像块计算的显著性图的准确度较高，效果较好。
P2)计算各图像块的特征值。具体地，特征值包括：亮度特征值、颜色特征值、方向特征值，深度特征值和稀疏特征值。
该步骤中，亮度特征、颜色特征和方向特征属于传统的对比度特征，可以利用高斯金字塔和center-surround操作符来提取，有相应成熟的计算方法可计算得到，如下列举部分计算公式仅做示例说明，不再详述该三个特征值的具体计算过程。
亮度特征值：M＝(r+g+b)/3；
红绿颜色特征值：
Figure PCTCN2015075514-appb-000002
蓝黄颜色特征值：
Figure PCTCN2015075514-appb-000003
方向特征值：M0(σ)＝||M*G0(θ)||+||M*Gπ/2(θ)||；
上述计算公式中，r，g，b分别表示待计算图像块的r通道像素值，g通道像素值和b通道像素值。σ表示高斯金字塔层数，为0～8之间的整数。θ表示角度，取值为0°，45°，90°或135°。G0(θ)表示0度方向的Gabor滤波算子，Gπ/2(θ)表示90度方向的Gabor滤波算子。
引入的深度特征值按照如下公式计算：
Figure PCTCN2015075514-appb-000004
其中，λ1和λ2为常数，由用户根据所述图像中深度值的范围和特征值融合时的区间范围进行设定。例如，待处理的图像中深度值d的范围在0～255，则exp(-1/d)取值在0-0.996之间，而特征值融合时所有特征值均需量化到0～255的区间范围内，此时设定λ1＝255，λ2＝1，则深度特征值的取值范围就调节到了0～255，即满足要求。而如果量化区间范围为0～1，则可以按照上述原则调整λ1和λ2的取值。再例如，待处理的图像中深度值d集中在其它区间范围，为调节到0～255的量化区间范围，同样调整λ1和λ2的取值，从而满足预期的量化区间范围的要求。总的来说，在具体应用过程中，λ1和λ2由用户根据图像中深度值的范围和特征值融合时的量化区间范围进行综合设定。
其中，max(deep(x，y))表示待计算的图像块中的像素的深度值的最大值。例如，计算图像块p的深度特征值时，即带入图像块p中像素的深度值的最大值作为max(deep(x，y))进行计算。计算图像块q时，相应带入图像块q中像素的深度值的最大值作为max(deep(x，y))进行计算。
引入的稀疏特征值按照如下公式计算：f＝W×I；
其中W＝A-1，A表示稀疏编码单元，根据独立变量分析ICA算法(independent component analysis)得到的多个稀疏编码单元中前M×N个。如上述分块时M＝N＝8，则此处即取前64个。I表示待计算的图像块中的M×N个像素点的像素值矩阵。例如计算图像块p时，即带入图像块p的M×N个像素点的像素值组成的矩阵。如计算图像块q，则相应带入图像块q中相应像素点的像素值组成的矩阵。
上述采用稀疏特征，即是试图找到一个理想的可逆加权矩阵W，使得图像I可以通过矩阵W使用稀疏特征来表达。而在图片的线性变换的基础上，ICA算法把图片分解为独立成分即稀疏编码单元，图像可以表示为一组稀疏编码单元的线性组合，I＝∑f×A，其中，稀疏编码单元A通过用ICA算法训练大量的图像块计算得到。根据ICA算法，即可确定W＝A-1，从而确定得到可逆加权矩阵W。
上述通过ICA算法确定稀疏编码单元A的具体方法有多种，优选地，采用固定点算法，取固定点算法训练大量的图像块可计算得到192个数据，取前M×N个数据作为稀疏编码单元。
综上，计算得到各图像块的各特征值后，进入步骤P3)。
P3)将图像块的各特征值量化到同一区间范围，将各特征值融合计算得到各图像块与其余图像块之间的差异值。
该步骤中，具体地，可根据如下公式进行融合计算当前图像块p与图像块q之间的差异值Dpq：
Figure PCTCN2015075514-appb-000005
其中，Fi(p)表示特征i时的当前图像块p的量化后特征值，Fi(q)表示特征i时的图像块q的量化后特征值。具体地，将图像块p、图像块q的亮度特征值、颜色特征值、方向特征值，深度特征值和稀疏特征值量化到同一区间范围，然后将各特征下的图像块p的特征值与图像块q的特征值差值的绝对值求加和计算得到图像块p与图像块q的差异值。以当前图像块p为中心，遍历图像中其余的(K-1)个图像块，计算得到当前图像块p与其余(K-1)个图像块之间的差异值。
P4)确定加权系数，将各图像块与其余图像块之间的差异值加权求和计算得到各图像块的显著性值。
该步骤中，一般可以图像块与图像块之间的欧式距离Ds(pq)作为加权系数，计算图像块p的显著性值Sp＝∑Ds(pq)×Dpq。优选地，以人类视觉尖锐系数作为加权系数，从而使图像的显著性计算结果更加符合真实的反应图像的显著区域。具体地，
定义人类视觉尖锐系数
Figure PCTCN2015075514-appb-000006
其中，T(f，e)表示对比度阈值，基于实验结果，对比度阈值可以用一个关于空间频率和视网膜离心率的函数表示，
Figure PCTCN2015075514-appb-000007
式子中，T0是对比度阈值的最小值，T0＝1/64；α是空间频率衰减常数，α＝0.106；f是空间频率，f＝4；e2是半分辨率离心率，e2＝2.3；e是视网膜离心率，由两个图像块的中心点决定。
以人类视觉尖锐系数作为加权系数后，计算显著性值为：
Figure PCTCN2015075514-appb-000008
其中，epq表示图像块q的中心点相对于图像块p的中心点的视网膜离心率，带入函数T(f，e)中即可计算得到对比度阈值，从而计算得到图像块p与图像块q的差异值的加权系数C(f，e)。Dpq表示图像块p与图像块q之间的差异值。以当前图像块p为中心，遍历图像中其余的(K-1)个图像块，根据当前图像块p与其余(K-1)个图像块 的视网膜离心率计算得到相应的人类视觉尖锐系数，利用该系数加权当前图像块p与其余(K-1)个图像块之间的差异值，加权计算得到当前图像块p的显著性值。类似地，计算各个图像块的显著性值。
引入上述视觉尖锐系数，根据视网膜离心率的规律，越靠近当前图像块p的图像块具有越低的视网膜离心率e，相应地，对比度阈值T(f，e)也越低，设置人类视觉尖锐系数
Figure PCTCN2015075514-appb-000009
则越靠近的图像块具有较高的视觉尖锐系数，越远的图像块具有较低的视觉尖锐系数。引入视觉尖锐系数对不同的图像块之间的差异值进行加权，视觉尖锐系数符合人眼视觉对显著区域较关注的原理，相比于欧氏距离作为系数进行加权，较符合生物学特点，从而计算的当前图像块p的显著性值较接近人眼观察的结果，计算较准确。
综上，通过步骤P1)至P4)，即计算得到各图像块的显著性值，将各图像块的显著性值整合，即得到原始图像的显著性图。本具体实施方式中计算显著性值时，引入深度特征和稀疏特征，引入深度特征，可使检测结果更符合人类视觉***较关注距离人眼较近的部分的区域的特点，而引入稀疏特征，借助ICA算法计算得到稀疏编码单元，该系数编码单元与人类的初级视皮层感受野的特点非常相似，从而可模拟人类的初级视皮层感受野的特点，同样使结果更加符合人类视觉***。本具体实施方式中，引入两种视觉特征，深度信息和稀疏编码，使得检测结果更加符合人类视觉感受，显著性图更为准确。特别是对于图像中存在较远的远景时，本发明的图像的显著性检测方法较传统的显著性检测方法较准确。
如图2和图3所示，分别为采用本具体实施方式的方法处理近景和远景图像的测试结果。图2a为原始的包含近景的图像，图2b为处理后得到的显著性图。图3a为原始的包含远景的图像，图3b为处理后得到的显著性图。从处理结果来看，能够得到准确的显著区域检测结果，在距离观察者较远的稀疏的目标也能够更好的分割到背景中，对距离观察者较远的稀疏目标有较好的分割效果。而即使不在图像中心的显著区域也能够准确的检测到，较符合人类视觉***。本具体实施方式中的显著区域检测方法在图像分割、检索、目标识别等方面都可有很好的应用。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

  1. 一种图像显著性检测方法，其特征在于：包括以下步骤：
    1)对图像进行分块处理，划分为K个大小为M×N的图像块；其中，K，M和N的值由用户设定；
    2)计算各图像块的特征值，所述特征值包括亮度特征值、颜色特征值、方向特征值，深度特征值和稀疏特征值，其中，深度特征值
    Figure PCTCN2015075514-appb-100001
    其中，λ1和λ2为常数，由用户根据所述图像中深度值的范围和特征值融合时的量化区间范围进行设定；max(deep(x，y))表示待计算的图像块中的像素的深度值的最大值；稀疏特征值f＝W×I，其中W＝A-1，A表示稀疏编码单元，根据独立变量分析ICA算法得到的多个稀疏编码单元中前M×N个；I表示待计算的图像块中的M×N个像素点的像素值矩阵；
    3)将图像块的各特征值量化到同一区间范围，将各特征值融合计算得到各图像块与其余图像块之间的差异值；
    4)确定加权系数，将各图像块与其余图像块之间的差异值加权求和计算得到各图像块的显著性值。
  2. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤1)中采用区域生长法对图像进行分块处理，分块时选取图像的显著中心块作为中心进行分块处理，所述图像的显著中心块为图像的初始显著图中显著值最大的块。
  3. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤4)中，以人类视觉尖锐系数作为加权系数进行加权求和，所述人类视觉尖锐系数
    Figure PCTCN2015075514-appb-100002
    其中，T(f，e)表示对比度阈值，
    Figure PCTCN2015075514-appb-100003
    其中，T0是对比度阈值的最小值，T0＝1/64；α是空间频率衰减常数，α＝0.106；f是空间频率，f＝4；e是视网膜离心率；e2是半分辨率离心率，e2＝2.3；当前图像块p的显著性值
    Figure PCTCN2015075514-appb-100004
    其中，epq表示图像块q的中心点相对于图像块p的中心点的视网膜离心率，Dpq表示图像块p与图像块q之间的差异值。
  4. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤2)中， 所述图像中深度值的范围在0～255，特征值融合时的量化区间范围为0～255，设定λ1＝255，λ2＝1。
  5. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤3)中，根据如下公式进行融合计算当前图像块p与图像块q之间的差异值Dpq：
    Figure PCTCN2015075514-appb-100005
    其中，Fi(p)表示特征i时的当前图像块p的量化后特征值，Fi(q)表示特征i时的图像块q的量化后特征值。
  6. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤1)中设定M＝8，N＝8；所述步骤2)中A为根据独立变量分析ICA算法得到的多个稀疏编码单元中前64个。
  7. 根据权利要求1所述的图像显著性检测方法，其特征在于：所述步骤2)中所述独立变量分析ICA算法为固定点算法。
PCT/CN2015/075514 2014-05-26 2015-03-31 一种图像显著性检测方法 WO2015180527A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410226552.4A CN103996195B (zh) 2014-05-26 2014-05-26 一种图像显著性检测方法
CN201410226552.4 2014-05-26

Publications (1)

Publication Number Publication Date
WO2015180527A1 true WO2015180527A1 (zh) 2015-12-03

Family

ID=51310350

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/075514 WO2015180527A1 (zh) 2014-05-26 2015-03-31 一种图像显著性检测方法

Country Status (2)

Country Link
CN (1) CN103996195B (zh)
WO (1) WO2015180527A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN113128519A (zh) * 2021-04-27 2021-07-16 西北大学 一种多模态多拼接的rgb-d显著性目标检测方法
CN115424037A (zh) * 2022-10-12 2022-12-02 武汉大学 一种基于多尺度稀疏表示的显著目标区域提取方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996195B (zh) * 2014-05-26 2017-01-18 清华大学深圳研究生院 一种图像显著性检测方法
CN104392231B (zh) * 2014-11-07 2019-03-22 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法
CN104966286B (zh) * 2015-06-04 2018-01-09 电子科技大学 一种3d视频显著性检测方法
CN105404888B (zh) * 2015-11-16 2019-02-05 浙江大学 结合颜色和深度信息的显著性目标检测方法
CN105869173B (zh) * 2016-04-19 2018-08-31 天津大学 一种立体视觉显著性检测方法
CN106023184A (zh) * 2016-05-16 2016-10-12 南京大学 一种基于各向异性中心环绕差异的深度显著性检测方法
CN106228544B (zh) * 2016-07-14 2018-11-06 郑州航空工业管理学院 一种基于稀疏表示和标签传播的显著性检测方法
CN106683074B (zh) * 2016-11-03 2019-11-05 中国科学院信息工程研究所 一种基于雾霾特性的图像篡改检测方法
CN106815323B (zh) * 2016-12-27 2020-02-07 西安电子科技大学 一种基于显著性检测的跨域视觉检索方法
CN107067030A (zh) * 2017-03-29 2017-08-18 北京小米移动软件有限公司 相似图片检测的方法和装置
CN107369131B (zh) * 2017-07-04 2019-11-26 华中科技大学 图像的显著性检测方法、装置、存储介质和处理器
CN107784662B (zh) * 2017-11-14 2021-06-11 郑州布恩科技有限公司 一种图像目标显著性度量方法
CN110322496A (zh) * 2019-06-05 2019-10-11 国网上海市电力公司 基于深度信息的图像显著性度量方法
CN112115292A (zh) * 2020-09-25 2020-12-22 海尔优家智能科技（北京）有限公司 图片搜索方法及装置、存储介质、电子装置
CN112633294A (zh) * 2020-12-10 2021-04-09 中国地质大学（武汉） 基于感知哈希的显著性区域检测方法、设备及存储设备
CN115065814B (zh) * 2021-11-15 2023-05-12 北京荣耀终端有限公司 屏幕色彩准确度检测方法及装置
CN115049717B (zh) * 2022-08-15 2023-01-06 荣耀终端有限公司 一种深度估计方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260259B2 (en) * 2002-01-08 2007-08-21 Siemens Medical Solutions Usa, Inc. Image segmentation using statistical clustering with saddle point detection
CN103065302A (zh) * 2012-12-25 2013-04-24 中国科学院自动化研究所 一种基于离群数据挖掘的图像显著性检测方法
CN103679173A (zh) * 2013-12-04 2014-03-26 清华大学深圳研究生院 图像显著区域检测方法
CN103714537A (zh) * 2013-12-19 2014-04-09 武汉理工大学 一种图像显著性的检测方法
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1739594B1 (en) * 2005-06-27 2009-10-28 Honda Research Institute Europe GmbH Peripersonal space and object recognition for humanoid robots
CN101980248B (zh) * 2010-11-09 2012-12-05 西安电子科技大学 基于改进视觉注意力模型的自然场景目标检测方法
CN102103750B (zh) * 2011-01-07 2012-09-19 杭州电子科技大学 基于韦伯定理和中央-周围假设的视觉显著性检测方法
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7260259B2 (en) * 2002-01-08 2007-08-21 Siemens Medical Solutions Usa, Inc. Image segmentation using statistical clustering with saddle point detection
CN103065302A (zh) * 2012-12-25 2013-04-24 中国科学院自动化研究所 一种基于离群数据挖掘的图像显著性检测方法
CN103679173A (zh) * 2013-12-04 2014-03-26 清华大学深圳研究生院 图像显著区域检测方法
CN103714537A (zh) * 2013-12-19 2014-04-09 武汉理工大学 一种图像显著性的检测方法
CN103810503A (zh) * 2013-12-26 2014-05-21 西北工业大学 一种基于深度学习的自然图像中显著区域的检测方法
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258453A (zh) * 2020-09-27 2021-01-22 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN112258453B (zh) * 2020-09-27 2024-04-26 南京一起康讯智能科技有限公司 一种工业故障巡检机器人定位地标检测方法
CN113128519A (zh) * 2021-04-27 2021-07-16 西北大学 一种多模态多拼接的rgb-d显著性目标检测方法
CN113128519B (zh) * 2021-04-27 2023-08-08 西北大学 一种多模态多拼接的rgb-d显著性目标检测方法
CN115424037A (zh) * 2022-10-12 2022-12-02 武汉大学 一种基于多尺度稀疏表示的显著目标区域提取方法

Also Published As

Publication number Publication date
CN103996195B (zh) 2017-01-18
CN103996195A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
WO2015180527A1 (zh) 一种图像显著性检测方法
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN110544258B (zh) 图像分割的方法、装置、电子设备和存储介质
CN104966085B (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN103871029B (zh) 一种图像增强及分割方法
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN101729911B (zh) 一种基于视觉感知的多视点图像颜色校正方法
CN105354581B (zh) 融合颜色特征与卷积神经网络的彩色图像特征提取方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN106709901B (zh) 基于深度先验的模拟雾图生成方法
CN104361593A (zh) 一种基于hvs和四元数的彩色图像质量评价方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
US20130342694A1 (en) Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device
CN104732534B (zh) 一种图像中显著目标的抠取方法及***
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和***
CN102663723A (zh) 一种基于颜色样本与电场模型的图像分割方法
CN105740844A (zh) 基于图像识别技术的绝缘子炸裂故障检测方法
CN106203448B (zh) 一种基于非线性尺度空间的场景分类方法
CN102175993A (zh) 基于卫星sar影像的雷达景象匹配特征参考图制备方法
CN105184804A (zh) 基于机载红外相机航拍图像的海面小目标检测方法
Alvarado-Robles et al. An approach for shadow detection in aerial images based on multi-channel statistics
CN107273803B (zh) 云层图像检测方法
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15799584

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15799584

Country of ref document: EP

Kind code of ref document: A1