CN107423739A - 图像特征提取方法及装置 - Google Patents
图像特征提取方法及装置 Download PDFInfo
- Publication number
- CN107423739A CN107423739A CN201610343781.3A CN201610343781A CN107423739A CN 107423739 A CN107423739 A CN 107423739A CN 201610343781 A CN201610343781 A CN 201610343781A CN 107423739 A CN107423739 A CN 107423739A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- feature
- pending
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种图像特征提取方法及装置,所述方法包括:获取待处理图像,计算所述待处理图像的显著性特征,获得特征图像,将所述特征图像进行边缘检测,获得所述特征图像的边缘特征,提取所述待处理图像的局部特征,利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征。本发明实施例提高了图像特征的精确度。
Description
技术领域
本申请属于图像处理技术领域,具体地说,涉及一种图像特征提取方法及装置。
背景技术
图像特征提取在计算机视觉和图像处理领域具有广泛应用,例如图像检索时,需要将输入图像与图像库中的图像进行比较,以查找到与输入图像匹配的检索图像,而将输入图像与图像库中的图像进行比较即是将输入图像的图像特征与图像库中图像的图像特征进行比较。
现有技术中,图像特征提取通常是提取图像的局部特征,如SIFT(ScaleInvariantFeature Transform,尺度不变特征转换),但是,传统的局部特征提取会提取很多的特征点,导致图像特征的数据量较大,且在图像背景比较复杂时,由于图像特征的数据量较大,导致图像特征中包括很多背景中的特征点,从而也会导致提取图像特征并不够精确。
发明内容
有鉴于此,本申请所要解决的技术问题是提供了一种图像特征提取方法及装置,用以解决现有技术中图像特征数据量较大,图像特征精确度低的技术问题。
为了解决上述技术问题,本申请公开了一种图像特征提取方法,包括:
获取待处理图像;
计算所述待处理图像的显著性特征,获得特征图像;
将所述特征图像进行边缘检测,获得所述特征图像的边缘特征;
提取所述待处理图像的局部特征;
利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征。
优选的,所述利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征包括:
将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
优选的,所述特征图像为显著性概率图像;
所述计算所述待处理图像的显著性特征,获得特征图像包括:
计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
优选的,所述计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图包括:
提取所述待处理图像中每个像素点的位置向量;
利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIEL*a*b*颜色空间中的颜色向量;
利用每个像素点的颜色向量,计算所述待处理图像在所述CIE L*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量;
计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量;
基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
优选的,所述将所述特征图像进行边缘检测,获得所述特征图像的边缘特征包括:
将所述特征图像进行边缘增强,获得增强图像;
将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值;
利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
优选的,所述利用所述检测阈值,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征包括:
利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
所述二值化计算公式为:
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
一种图像特征提取装置,包括:
第一获取模块,用于获取待处理图像;
特征图像获取模块,用于计算所述待处理图像的显著性特征,获得特征图像;
边缘特征获取模块,用于将所述特征图像进行边缘检测,获得所述特征图像的边缘特征;
提取模块,用于提取所述待处理图像的局部特征;
第二获取模块,用于利用所述边缘特征对局部特征进行过滤,获得所述待处理图像的图像特征。
优选的,所述第二获取模块具体用于将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
优选的,所述特征图像为显著性概率图像;
所述特征图像获取模块具体用于计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
优选的,所述特征图像获取模块具体用于,
第一提取单元,用于提取所述待处理图像中每个像素点的位置向量;
第二提取单元,用于利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIE L*a*b*颜色空间内中的颜色向量;
确定单元,用于利用每个像素点的颜色向量,计算所述待处理图像在所述CIE L*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量;
第一获取单元,用于计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量;
第二获取单元,用于基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
优选的,所述边缘特征获取模块包括:
增强单元,用于将所述特征图像进行边缘增强,获得增强图像;
阈值获取单元,用于将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值;
边缘特征获取单元,用于利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
优选的,所述边缘特征获取单元具体用于利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
其中,所述二值化计算公式为:
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
与现有技术相比,本申请可以获得包括以下技术效果:
通过提取待处理图像的显著性特征,并基于所述待处理图像的显著性特征进行边缘检测得到所述待处理图像的边缘特征,可以滤除所述待处理图像中背景信息,降低了所述图像特征点的数据量,降低背景信息的冗余;通过所述边缘特征对所述待处理图像的局部特征进行滤除,获得所述待处理图像的图像特征,极大地降低了图像特征点的数据量,并提高了图像特征的精确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请图像特征提取方法的一个实施例的流程图;
图2是本申请图像特征提取方法的另一个实施例的流程图;
图3是本申请图像特征提取装置的一个实施例的结构示意图;
图4是本申请图像特征提取装置的另一个实施例的结构示意图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式,藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
随着移动互联网的高速发展,智能手机和平板电脑等移动智能终端设备日益普及,图像已经成为人们日常生活必不可少的信息传输媒介。对图像应用中,如图像检测和图像匹配中均需要使用特征点对图像进行描述,来实现图像检索和匹配,其中图像,可以是电子商品广告,或某品牌商品等内容图像。因此,在大量品类繁多,设计复杂的图像中,高效的利用图像提供的信息找到用户的关注点,并通过提取图像特征的方法,迅速的根据用户感兴趣的图像检索到类似的品牌商品。
本申请实施例的技术方案主要应用于对图像特征的提取,正如背景技术中所述,传统的图像特征提取方法,如SIFT、HOG(Histogram of Orirnted Gradient,方向梯度直方图特征)、Gabor(小波变换)、LBP(Local Binary Pattern,局部二值特征)等。由于SIFT特征对图像的分辨率,旋转角度都有很强的鲁棒性,因此常作为图像检索领域的主要特征。但是,SIFT特征在提取图像局部特征时会产生很多的特征点,导致图像特征数据量较大,因此在利用图像特征进行图像匹配或图像检索时,大大降低了运算速度,且实时性较差。而且,当图像背景比较复杂时,由于图像特征的数据量较大,当在利用图像特征进行图像检索和图像匹配时,导致图像特征中包括很多背景中的特征点,从而也会导致提取图像特征并不够精确。
发明人经过一系列的研究,提出了本申请实施例的技术方案,在本申请实施例中,首先计算待处理图像的显著性特征,获得特征图像,进一步的对特征图像进行边缘检测,获得边缘特征,利用边缘特征对待处理图像的局部特征进行过滤,即可以获得待处理图像的图像特征。由于通过计算显著性特征可以将很多与用户感兴趣区域无关的图像的背景特征点滤除,通过边缘检测,可以进一步滤除背景特征点,将边缘特征与所述待处理图像的局部特征取交集后,得到所述待处理图像边缘上的特征点,极大地降低了待处理图像特征的数据量,简化了不必要的冗余信息,提高了所述待处理图像特征的精确度。而在利用所述图像特征进行图像检索时,可以使图像检索效率大大提高,从而可以解决图像检索实时性差的问题。
下面将结合附图对本发明技术方案进行详细描述。
图1为本申请实施例提供的一种图像特征提取方法一个实施例的流程图,该方法可以包括以下几个步骤:
101:获取待处理图像。
其中,所述待处理图像可以是由用户输入的待处理图像,也可以图像库中的待处理图像。所述待处理图像可以是电子商品广告图像或某品牌商品商标图像。
102:计算所述待处理图像的显著性特征,获得特征图像。
其中,所述显著性特征表示人眼对所述待处理图像中像素点关注的程度,其可以是显著性概率值或灰度值。因此,获得的特征图像可以是基于显著性概率得到的显著性概率图像或基于灰度值得到的显著性图像。
通过计算所述待处理图像显著性特征,可以提取出所述待处理图像中被人眼关注区域的特征点,不包括所述待处理图像中背景区域的像素点,从而可以降低所述待处理图像特征的数据量,并可以提高所述待处理图像特征的精确度。
其中,作为又一个实施例,在所述显著性特征为显著性概率时,所述计算所述待处理图像的显著性特征,获得特征图像可以是:
计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
其中,计算所述待处理图像中每一个像素点的显著性概率可以是:基于FASA(FastAccurate and Size-Aware,快速、准确、空间感知)显著性目标提取模型或对数残差谱或CRF(Conditional Random Field,条件随机场)显著性目标提取模型提取所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
此外,在所述显著性特征为灰度值时,所述计算所述待处理图像的显著性特征可以是:计算所述待处理图像中每一个像素点的灰度值,获得显著性图像。灰度值越大表明越属于所述待处理图像中人眼关注的像素点。
本实施例中,通过计算所述待处理图像的显著性特征,可以提取出所述待处理图像中被人眼关注区域的特征图像,将所述待处理图像的背景区域的特征点滤除,从而可以减少所述待处理图像特征的数据量,并且可以提高所述待处理图像特征的精确度。
103:将所述特征图像进行边缘检测,获得所述特征图像的边缘特征。
104:提取所述待处理图像的局部特征。
其中,所述局部特征可以选用SIFT、HOG、Gabor、LBP等局部特征描述子,或者这些特征的组合特征。
105:利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征。
通过对局部特征进行过滤,可以获得位于所述待处理图像边缘处的特征点集,使得所述待处理图像特征的数据量大大降低,且所述待处理图像特征的精确度也得到了提高。
其中,所述特征点集为所述待处理图像中每一个像素点特征的集合,也即所述待处理图像的图像特征是由所述待处理图像中每一个像素点的特征组成的。
作为又一个实施例,所述利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的特征图像可以是:
将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
通过将边缘特征与局部特征取交集,可以获得局部特征中位于边缘处的特征点集,这些特征点集即作为图像特征。
其中,所述边缘特征与所述局部特征取交集可以是:
获取边缘特征点的位置向量,将所述边缘特征点的灰度值与所述局部特征点的灰度值进行比较;
其中,所述局部特征点的位置向量与所述边缘特征点位置向量相同;
当具有相同位置向量的所述局部特征点所对应的所述边缘特征点的灰度值为边缘上的灰度值时,保留所述局部特征点,作为所述待处理图像的图像特征。
其中,所述边缘特征点为所述特征图像经过边缘提取后,所获得的具有边缘特征的像素点;所述局部特征点为所述待处理图像经过局部特征描述子提取后,所获得的具有局部特征的像素点。
在本实施例中,通过计算显著性特征可以将很多图像中与用户感兴趣区域无关的图像背景的特征点滤除,通过边缘检测,可以进一步滤除图像背景的特征点,获得图像边缘处的特征点,将边缘特征与所述待处理图像的局部特征取交集后,得到图像边缘上的局部特征点,可以极大地降低了图像特征的数据量,简化了不必要的冗余信息,提高了所述待处理图像特征的精确度。
图2为本申请实施例提供的又一种获得特征图像的实施例的流程图,该方法可以包括以下几个步骤:
201:获取待处理图像;
202:提取所述待处理图像中每个像素点的位置向量。
其中,所述获取所述待处理图像的每个像素点的位置向量,可以针对所述待处理图像中的每个像素点,由公式(1)获得像素点i的位置向量Pi,如下所示:
203:利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIE L*a*b*颜色空间中的颜色向量。
其中,所述利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIEL*a*b*颜色空间中的颜色向量可以是:由公式(2)获取所述CIEL*a*b*颜色空间内的颜色向量,
其中,所述待处理图像的颜色可以量化为设定数量个颜色,因此所述待处理图像在所述CIE L*a*b*颜色空间内的颜色向量可以为量化后的颜色向量,例如:将所述待处理图像的颜色量化为K个颜色,则所述颜色向量Ci量化后为所述量化后的颜色向量其中,K可以设定为24。
204:利用每个像素点的颜色向量,计算所述待处理图像在所述CIEL*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量。
其中,利用每个像素点的颜色向量,计算所述待处理图像在所述CIEL*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量可以包括:
利用公式(3)计算所述待处理图像在CIE L*a*b*颜色空间的空间中心,并确定所述颜色空间中的颜色向量{mx'(pi),my'(pi)},
其中,N为所述待处理图像像素点的个数,wc(Ci,Cj)是颜色的权重,可以由公式(4)高斯函数计算得到:
σc是调节颜色差异的参数。其中,x维的空间中心的颜色向量可以采用与y维相同的方法计算获得。
205:计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量。
其中,所述计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量可以是:
利用公式(5)计算每个所述量化后的颜色向量相对所述空间中心的颜色向量在水平方向的位置变化和垂直方向的位置变化,获得位置变化向量{Vx'(pi),Vy'(pi)}:
其中,x维的空间位置变化向量可以采用与y维相同的方法计算。其中,Ci→Qk表明像素点pi位于量化后颜色直方图的第k个柱。其中,是颜色直方图的第k个柱的像素点个数。
206:基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
其中,所述显著性概率图像为基于显著性概率得到的所述待处理图像的特征图像。其中,所述显著性概率图像可以是:基于FASA显著性目标提取模型提取所述待处理图像中各个像素点的显著性概率,获得的所述显著性概率图像。
其中,所述基于所述空间中心的颜色向量及所述每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像可以是:
利用公式(6)多元高斯函数计算每个像素点的显著性概率P(pi),获得显著性概率图像。
其中,所述gi可由公式(7)计算所得:
其中,nw和nh是所述待处理图像的宽和长,μ和Σ分别取自所述FASA显著性目标提取模型,并按公式(8)取值。
其中,公式(8)中μ和Σ取值,是根据FASA显著性目标提取模型所得。
207:将所述特征图像进行边缘增强,获得增强图像。
其中,所述特征图像可以是显著性概率图像。
其中,所述将所述特征图像进行边缘增强,获得增强图像,可以在之后对增强图像进行二值化时,更有利于提取所述特征图像的边缘特征。
208:将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值。
209:利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
作为又一个实施例,所述利用所述检测阈值,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征可以是:
利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
所述二值化特征计算公式为(9)式,如下所示:
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
其中,所述二值化过程为,计算所述增强图像中每一个像素点的灰度值Pij在预设邻域内的加权平均,获得每一个像素点的加权灰度值,其中,所述预设邻域可由i,j设定。
将所述每一个像素点的加权灰度值与所述检测阈值进行比较,当所述像素点的加权灰度值大于所述检测阈值时,则判定该像素点位于图像边缘处,则可以将位于该像素点位置的特征点作为所述显著性概率图像的边缘特征;当所述像素点的加权灰度值小于所述检测阈值时,则判定该像素点没有位于图像边缘处,则可以滤除位于该像素点位置的特征点。
210:提取所述待处理图像的局部特征。
211:利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征。
其中,本实施例中201、210-211步骤与图1实施例中101、104-105步骤完全相同,在此不再赘述。
在本实施例中,通过计算显著性特征可以将很多图像中与用户感兴趣区域无关的图像背景的特征点滤除,通过边缘检测,可以进一步滤除图像背景的特征点,获得图像边缘处的特征点,将边缘特征与所述待处理图像的局部特征取交集后,得到图像边缘上的局部特征点,可以极大地降低了图像特征的数据量,简化了不必要的冗余信息,提高了所述待处理图像特征的精确度。
图3为本申请实施例提供的一种图像特征提取装置的一个实施例的结构示意图,具体包括以下几个模块:
第一获取模块301,用于获取待处理图像。
其中,所述待处理图像可以是由用户输入的待处理图像,也可以图像库中的待处理图像。所述待处理图像可以是电子商品广告图像或某品牌商品商标图像。
特征图像获取模块302,用于计算所述待处理图像的显著性特征,获得特征图像。
其中,所述显著性特征表示人眼对所述待处理图像中像素点关注的成度。其可以是显著性概率值或者灰度值。因此,获得的特征图像可以是基于显著性概率得到的显著性概率图像或基于灰度值得到的显著性图像。
通过计算所述待处理图像显著性特征,可以提取出所述待处理图像中被人眼关注区域的特征点,不包括所述待处理图像中背景区域的像素点,从而可以降低所述待处理图像特征的数据量,并可以提高所述待处理图像特征的精确度。
作为又一个实施例,在所述显著性特征为显著性概率时,所述特征图像获取模块具体用于:
计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
其中,计算所述待处理图像中每一个像素点的显著性概率可以是:基于FASA显著性目标提取模型或对数残差谱或CRF显著性目标提取模型提取所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
此外,在所述显著性特征为灰度值时,所述计算所述待处理图像的显著性特征可以是:计算所述待处理图像中每一个像素点的灰度值,获得显著性图像。灰度值越大表明越属于所述待处理图像中人眼关注的像素点。
本实施例中,通过计算所述待处理图像的显著性特征,可以提取出所述待处理图像中被人眼关注区域的特征图像,可以将所述待处理图像的背景区域的特征点滤除,从而可以减少所述待处理图像特征的数据量,并且可以提高所述待处理图像特征的精确度。
边缘特征获取模块303,用于将所述特征图像进行边缘检测,获得所述特征图像的边缘特征。
提取模块304,用于提取所述待处理图像的局部特征。
其中,所述局部特征可以选用SIFT、HOG、Gabor、LBP等局部特征描述子,或者这些特征的组合特征。
第二获取模块305,用于利用所述边缘特征对局部特征进行过滤,获得所述待处理图像的图像特征。
通过对局部特征进行过滤,可以获得位于所述待处理图像边缘处的特征点集,使得所述待处理图像特征的数据量大大降低,且所述待处理图像特征的精确度也得到了提高。
其中,所述特征点集为所述待处理图像中每一个像素点特征的集合,也即所述待处理图像的图像特征是由所述待处理图像中每一个像素点的特征组成的。
作为又一个实施例,所述第二获取模块305具体用于
将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
通过将边缘特征与局部特征取交集,可以获得局部特征中位于边缘处的特征点集,这些特征点集即作为图像特征。
其中,所述边缘特征与所述局部特征取交集可以包括:
获取边缘特征点的位置向量,将所述边缘特征点的灰度值与所述局部特征点的灰度值进行比较;
其中,所述局部特征点的位置向量与所述边缘特征点位置向量相同;
当具有相同位置向量的所述局部特征点所对应的所述边缘特征点的灰度值为边缘上的灰度值时,保留所述局部特征点,作为所述待处理图像的图像特征。
其中,所述边缘特征点为所述特征图像经过边缘提取后,所获得的具有边缘特征的像素点;所述局部特征点为所述待处理图像经过局部特征描述子提取后,所获得的具有局部特征的像素点。
在本实施例中,通过计算显著性特征可以将很多图像中与用户感兴趣区域无关的图像背景的特征点滤除,通过边缘检测,可以进一步滤除图像背景的特征点,获得图像边缘处的特征点,将边缘特征与所述待处理图像的局部特征取交集后,得到图像边缘上的局部特征点,可以极大地降低了图像特征的数据量,简化了不必要的冗余信息,提高了所述待处理图像特征的精确度。
图4是本申请实施例的一种图像特征提取装置的另一个实施例的结构示意图,具体包括以下几个模块:
第一获取模块401,用于获取待处理图像。
特征图像获取模块402,用于计算所述待处理图像的显著性特征,获得特征图像。
其中,所述特征图像获取模块402可以包括以下几个单元:
第一提取单元411,用于提取所述待处理图像中每个像素点的位置向量。
其中,所述第一提取单元411具体用于,可以针对所述待处理图像中的每个像素点,由公式(1)获得像素点i的位置向量P,如下所示:
第二提取单元412,用于利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIE L*a*b*颜色空间内中的颜色向量。
其中,所述第二提取单元412具体用于:由公式(2)获取所述CIE L*a*b*颜色空间内的颜色向量,
其中,所述待处理图像的颜色可以量化为设定数量个颜色,因此所述待处理图像在所述CIE L*a*b*颜色空间内的颜色向量可以为量化后的颜色向量,例如:将所述待处理图像的颜色量化为K个颜色,则所述颜色向量Ci量化后为所述量化后的颜色向量其中,K可以设定为24。
确定单元413,用于利用每个像素点的颜色向量,计算所述待处理图像在所述CIEL*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量。
其中,所述确定单元413具体用于:
利用公式(3)计算所述待处理图像在CIE L*a*b*颜色空间的空间中心,并确定所述颜色空间中的颜色向量{mx'(pi),my'(pi)},
其中,N为所述待处理图像像素点的个数,wc(Ci,Cj)是颜色的权重,可以由公式(4)高斯函数计算得到:
其中,σc是调节颜色差异的参数。其中,x维的空间中心的颜色向量可以采用与y维相同的方法计算获得。
第一获取单元414,用于计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量。
其中,所述第一获取单元414具体用于:
利用公式(5)计算每个所述量化后的颜色向量相对所述空间中心的颜色向量在水平方向的位置变化和垂直方向的位置变化,获得位置变化向量{Vx'(pi),Vy'(pi)}:
其中,x维的空间位置变化向量可以采用与y维相同的方法计算。其中,Ci→Qk表明像素点pi位于量化后颜色直方图的第k个柱。其中,是颜色直方图的第k个柱的像素点个数。
第二获取单元415,用于基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
其中,所述显著性概率图像为基于显著性概率得到的所述待处理图像的特征图像。其中,所述显著性概率图像可以是:基于FASA显著性目标提取模型提取所述待处理图像中各个像素点的显著性概率,获得的所述显著性概率图像。
其中,所述第二获取单元415具体用于:
利用公式(6)多元高斯函数计算每个像素点的显著性概率P(pi),获得显著性概率图像。
其中,所述gi可由公式(7)计算所得:
其中,nw和nh是所述待处理图像的宽和长,μ和Σ分别取自所述FASA显著性目标提取模型,并按公式(8)取值。
其中,公式(8)中μ和Σ取值,是根据FASA显著性目标提取模型所得。
边缘特征获取模块403,用于将所述特征图像进行边缘检测,获得所述特征图像的边缘特征。
其中,所述边缘特征获取模块403具体包括以下几个单元:
增强单元416,用于将所述特征图像进行边缘增强,获得增强图像。
其中,所述特征图像可以是显著性概率图像。
其中,所述增强单元416具体用于,可以在之后对所述增强图像进行二值化时,更有利于提取所述特征图像的边缘特征。
阈值获取单元417,用于将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值。
边缘特征获取单元418,用于利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
作为又一个实施例,所述边缘特征获取单元418具体用于:
利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
所述二值化特征计算公式为(9)式,如下所示:
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
其中,所述二值化过程为,计算所述增强图像中每一个像素点的灰度值Pij在预设邻域内的加权平均,获得每一个像素点的加权灰度值,其中,所述预设邻域可由i,j设定。
将所述每一个像素点的加权灰度值与所述检测阈值进行比较,当所述像素点的加权灰度值大于所述检测阈值时,则判定该像素点位于图像边缘处,则可以将位于该像素点位置的特征点作为所述显著性概率图像的边缘特征;当所述像素点的加权灰度值小于所述检测阈值时,则判定该像素点没有位于图像边缘处,则可以滤除位于该像素点位置的特征点。
提取模块404,用于提取所述待处理图像的局部特征;
第二获取模块405,用于利用所述边缘特征对局部特征进行过滤,获得所述待处理图像的图像特征。
其中,本实施例中第一获取模块401、提取模块404-第二获取模块405与图3实施例中第一获取模块301、提取模块304-第二获取模块305完全相同,在此不再赘述。
在本实施例中,通过计算显著性特征可以将很多图像中与用户感兴趣区域无关的图像背景的特征点滤除,通过边缘检测,可以进一步滤除图像背景的特征点,获得图像边缘处的特征点,将边缘特征与所述待处理图像的局部特征取交集后,得到图像边缘上的局部特征点,可以极大地降低了图像特征的数据量,简化了不必要的冗余信息,提高了所述待处理图像特征的精确度。在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式,然所述描述乃以说明本申请的一般原则为目的,并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
上述说明示出并描述了本实用新型的若干优选实施例,但如前所述,应当理解本实用新型并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述实用新型构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本实用新型的精神和范围,则都应在本实用新型所附权利要求的保护范围内。
Claims (12)
1.一种图像特征提取方法,其特征在于,包括:
获取待处理图像;
计算所述待处理图像的显著性特征,获得特征图像;
将所述特征图像进行边缘检测,获得所述特征图像的边缘特征;
提取所述待处理图像的局部特征;
利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征。
2.如权利要求1所述的方法,其特征在于,所述利用所述边缘特征对所述局部特征进行过滤,获得所述待处理图像的图像特征包括:
将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
3.如权利要求1所述的方法,其特征在于,所述特征图像为显著性概率图像;
所述计算所述待处理图像的显著性特征,获得特征图像包括:
计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
4.如权利要求3所述方法,其特征在于,所述计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图包括:
提取所述待处理图像中每个像素点的位置向量;
利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIEL*a*b*颜色空间中的颜色向量;
利用每个像素点的颜色向量,计算所述待处理图像在所述CIE L*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量;
计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量;
基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
5.如权利要求1所述的方法,其特征在于,所述将所述特征图像进行边缘检测,获得所述特征图像的边缘特征包括:
将所述特征图像进行边缘增强,获得增强图像;
将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值;
利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
6.如权利要求5所述方法,其特征在于,所述利用所述检测阈值,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征包括:
利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
所述二值化计算公式为:
<mrow>
<msup>
<mi>P</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>W</mi>
<mi>g</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
</mrow>
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
7.一种图像特征提取装置,其特征在于,包括:
第一获取模块,用于获取待处理图像;
特征图像获取模块,用于计算所述待处理图像的显著性特征,获得特征图像;
边缘特征获取模块,用于将所述特征图像进行边缘检测,获得所述特征图像的边缘特征;
提取模块,用于提取所述待处理图像的局部特征;
第二获取模块,用于利用所述边缘特征对局部特征进行过滤,获得所述待处理图像的图像特征。
8.如权利要求7所述装置,其特征在于,所述第二获取模块具体用于将所述边缘特征与所述局部特征取交集,获得所述待处理图像的图像特征。
9.如权利要求7所述装置,其特征在于,所述特征图像为显著性概率图像;
所述特征图像获取模块具体用于计算所述待处理图像中每一个像素点的显著性概率,获得显著性概率图像。
10.如权利要求9所述装置,其特征在于,所述特征图像获取模块具体用于
第一提取单元,用于提取所述待处理图像中每个像素点的位置向量;
第二提取单元,用于利用每个像素点的位置向量,提取所述待处理图像的每个像素点在CIE L*a*b*颜色空间内中的颜色向量;
确定单元,用于利用每个像素点的颜色向量,计算所述待处理图像在所述CIE L*a*b*颜色空间中的空间中心,并确定所述空间中心的颜色向量;
第一获取单元,用于计算每个像素点的颜色向量相对所述空间中心的颜色向量的位置变化向量;
第二获取单元,用于基于所述空间中心的颜色向量及每个像素点的位置变化向量,采用多元高斯函数计算每个像素点的显著性概率,获得显著性概率图像。
11.如权利要求7所述装置,其特征在于,所述边缘特征获取模块包括:
增强单元,用于将所述特征图像进行边缘增强,获得增强图像;
阈值获取单元,用于将所述增强图像中的各个像素点的灰度值进行加权平均,获得检测阈值;
边缘特征获取单元,用于利用所述检测阈值,对所述增强图像的每一个像素点的灰度值进行二值化,获得二值化特征,将所述二值化特征作为边缘特征。
12.如权利要求11所述装置,其特征在于,所述边缘特征获取单元具体用于利用所述检测阈值,按照二值化计算公式,对所述像素点的显著性概率进行二值化,获得所述二值化特征,作为边缘特征;
其中,所述二值化计算公式为:
<mrow>
<msup>
<mi>P</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>W</mi>
<mi>g</mi>
</msub>
<mo>-</mo>
<mi>C</mi>
</mrow>
其中,P′为边缘特征;C为所述检测阈值;Wg为预设权重;Pij为所述增强图像中每一个像素点的灰度值;i为所述每一个像素点的横坐标;j为所述每一个像素点的纵坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610343781.3A CN107423739B (zh) | 2016-05-23 | 2016-05-23 | 图像特征提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610343781.3A CN107423739B (zh) | 2016-05-23 | 2016-05-23 | 图像特征提取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107423739A true CN107423739A (zh) | 2017-12-01 |
CN107423739B CN107423739B (zh) | 2020-11-13 |
Family
ID=60421984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610343781.3A Active CN107423739B (zh) | 2016-05-23 | 2016-05-23 | 图像特征提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107423739B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110956200A (zh) * | 2019-11-05 | 2020-04-03 | 哈尔滨工程大学 | 一种轮胎花纹相似度检测方法 |
CN115035356A (zh) * | 2022-08-11 | 2022-09-09 | 深圳新智联软件有限公司 | 嵌入式***中特征点变换方法、装置及设备 |
CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854466A (zh) * | 2010-05-13 | 2010-10-06 | 北京英泰智软件技术发展有限公司 | 一种运动区域探测方法及装置 |
CN102629328A (zh) * | 2012-03-12 | 2012-08-08 | 北京工业大学 | 融合颜色的显著特征概率潜在语义模型物体图像识别方法 |
CN102663401A (zh) * | 2012-04-18 | 2012-09-12 | 哈尔滨工程大学 | 一种图像特征提取和描述方法 |
US20130301912A1 (en) * | 2012-05-09 | 2013-11-14 | University Of Southern California | Image enhancement using modulation strength map and modulation kernel |
CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
CN104933738A (zh) * | 2015-06-16 | 2015-09-23 | 中国人民解放军国防科学技术大学 | 一种基于局部结构检测和对比度的视觉显著图生成方法 |
CN105354835A (zh) * | 2015-10-16 | 2016-02-24 | 浙江工业大学 | 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法 |
-
2016
- 2016-05-23 CN CN201610343781.3A patent/CN107423739B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854466A (zh) * | 2010-05-13 | 2010-10-06 | 北京英泰智软件技术发展有限公司 | 一种运动区域探测方法及装置 |
CN102629328A (zh) * | 2012-03-12 | 2012-08-08 | 北京工业大学 | 融合颜色的显著特征概率潜在语义模型物体图像识别方法 |
CN102663401A (zh) * | 2012-04-18 | 2012-09-12 | 哈尔滨工程大学 | 一种图像特征提取和描述方法 |
US20130301912A1 (en) * | 2012-05-09 | 2013-11-14 | University Of Southern California | Image enhancement using modulation strength map and modulation kernel |
CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
CN104933738A (zh) * | 2015-06-16 | 2015-09-23 | 中国人民解放军国防科学技术大学 | 一种基于局部结构检测和对比度的视觉显著图生成方法 |
CN105354835A (zh) * | 2015-10-16 | 2016-02-24 | 浙江工业大学 | 结合相位一致性、梯度幅值和结构显著性的医学图像质量评价方法 |
Non-Patent Citations (5)
Title |
---|
GO¨KHAN YILDIRIM,SABINE SU¨SSTRUNK: "FASA: Fast, Accurate, and Size-Aware Salient Object Detection", 《COMPUTER VISION》 * |
ZEXIA LIU 等: "Background Priors based Saliency Object Detection", 《2016 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE》 * |
吕超: "显著性区域指导的局部特征算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张一飞 等: "采用形态学边界特征的医学图像检索", 《小型微型计算机***》 * |
贺瑞芳: "面向视觉假体的复杂图像处理技术", 《电子测量技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110956200A (zh) * | 2019-11-05 | 2020-04-03 | 哈尔滨工程大学 | 一种轮胎花纹相似度检测方法 |
CN115035356A (zh) * | 2022-08-11 | 2022-09-09 | 深圳新智联软件有限公司 | 嵌入式***中特征点变换方法、装置及设备 |
CN115294338A (zh) * | 2022-09-29 | 2022-11-04 | 中威泵业(江苏)有限公司 | 一种叶轮表面缺陷识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107423739B (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | ORSIm detector: A novel object detection framework in optical remote sensing imagery using spatial-frequency channel features | |
Nandhini Abirami et al. | Deep CNN and Deep GAN in Computational Visual Perception‐Driven Image Analysis | |
CN108830855B (zh) | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 | |
Tang et al. | Hyperspectral image classification based on three-dimensional scattering wavelet transform | |
Phansalkar et al. | Adaptive local thresholding for detection of nuclei in diversity stained cytology images | |
CN102750385B (zh) | 基于标签检索的相关性—质量排序图像检索方法 | |
Zhang et al. | A dense u-net with cross-layer intersection for detection and localization of image forgery | |
EP3867808A1 (en) | Method and device for automatic identification of labels of image | |
Zhang et al. | Deep salient object detection by integrating multi-level cues | |
CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
CN114913588A (zh) | 一种应用于复杂场景下的人脸图像修复及识别方法 | |
Liu et al. | Overview of image inpainting and forensic technology | |
CN107423739A (zh) | 图像特征提取方法及装置 | |
Fu et al. | Detecting GAN-generated face images via hybrid texture and sensor noise based features | |
Shao et al. | Generative image inpainting with salient prior and relative total variation | |
Zhang et al. | An image denoising method based on BM4D and GAN in 3D shearlet domain | |
Ma | Improving SAR target recognition performance using multiple preprocessing techniques | |
Qiao | Image Processing Technology Based on Machine Learning | |
CN111985487A (zh) | 一种遥感影像目标提取方法、电子设备及存储介质 | |
Bandarupally et al. | Detection of Military Targets from Satellite Images using Deep Convolutional Neural Networks | |
Elakkiya et al. | Feature based object recognition using discrete wavelet transform | |
Bin et al. | Automatic inspection of surface crack in solar cell images | |
Zhang et al. | A target-aware fusion framework for infrared and visible images | |
Dawood et al. | Combining the contrast information with LPQ for texture classification | |
Patil et al. | Performance improvement of face recognition system by decomposition of local features using discrete wavelet transforms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171201 Assignee: Apple R&D (Beijing) Co., Ltd. Assignor: BEIJING MOSHANGHUA TECHNOLOGY CO., LTD. Contract record no.: 2019990000055 Denomination of invention: Method and device for extracting characteristic of Chinese character image License type: Common License Record date: 20190211 |
|
EE01 | Entry into force of recordation of patent licensing contract | ||
GR01 | Patent grant | ||
GR01 | Patent grant |