CN102004916B - 图像特征提取***及其方法 - Google Patents
图像特征提取***及其方法 Download PDFInfo
- Publication number
- CN102004916B CN102004916B CN 201010545316 CN201010545316A CN102004916B CN 102004916 B CN102004916 B CN 102004916B CN 201010545316 CN201010545316 CN 201010545316 CN 201010545316 A CN201010545316 A CN 201010545316A CN 102004916 B CN102004916 B CN 102004916B
- Authority
- CN
- China
- Prior art keywords
- key point
- image
- importance
- key
- topography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种图像特征提取***及其方法,本发明的方法计算各个关键点的局部图像重要性以及空间分布重要性,根据对各个关键点的重要性的评估,从中挑选出重要的关键点来描述目标,避免了次要关键点的影响,既提高了目标识别的准确程度,又降低了后续匹配过程中的运算量。
Description
【技术领域】
本发明图像识别领域,特别是关于图像特征提取的图像特征提取***及其方法。
【背景技术】
图像局部特征是模式识别领域近年来涌现出的一类描述图像特性的鲁棒特征。这类特征具有很强的区分力和稳定性,基于这些局部特征的三维重建、图像拼接、摄像机标定、图像与视频检索、视频跟踪技术都取得了较大的成功。
目前最常用的局部特征提取方法就是SIFT变换(全称为Scale InvariantFeature Transformation,即尺度不变特征变换),该变换可以提取出对图像缩放、旋转甚至仿射变换都保持不变的图像局部特征。SIFT变换首先检测出图像中的显著性结构即尺度空间极值点,这些显著结构在图像中往往称作关键点(KeyPoint)。
检测出关键点之后,在各个关键点为中心的大小为8×8的图像窗口中,计算梯度方向直方图作为各个关键点的特征。
但是,SIFT变换存在一个严重的问题,即会在一幅图像中产生大量的关键点,如图1所示,这会产生大量的特征,冗余信息很多,对于描述物体的特征以及后续的匹配、识别操作都是十分不利的。
【发明内容】
本发明的目的就是提出一种能够准确提取图像特征又能降低后续匹配过程中运算量的的图像特征提取***。
本发明的另一目的在于提出一种能够准确提取图像特征又能降低后续匹配过程中运算量的图像特征提取方法。
为达成前述目的,本发明一种图像特征提取***,其包括:
图像关键点检测单元,其检测并初步确定图像中的关键点;
局部图像重要性判断单元,其对图像关键点检测单元初步确定的关键点进行重要性分析,获得每个关键点的局部图像重要性信息;
空间位置重要性判断单元,其对每个关键点进行空间位置重要性分析,获取每个关键点的空间位置重要性信息;
重要性排序单元,结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序;
关键点筛选单元,依据重要性排序单元对关键点的排序选出排在前面的若干个关键点,其余的予以剔除,挑选出重要的关键点。
进一步地,所述图像关键点检测单元采用尺度不变特征变换(SIFT变换)检测图像中的关键点。
进一步地,所述局部图像重要性判断单元计算关键点图像的信息熵来判断关键点的局部图像重要性,熵值越高,则该关键点越重要。
进一步地,所述空间位置重要性判断单元确定以关键点为中心的不同大小的图像窗口,然后计算不同窗口图像的直方图的变化值,不同窗口图像的直方图的变化值越大则图像空间位置重要性越高。
进一步地,所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积,计算关键点的重要性值,然后依据该重要性值对关键点进行排序。
为达成前述另一目的,本发明一种图像特征提取方法,其包括:
对输入的图像进行关键点检测,获取n个关键点的位置;
计算每个关键点的局部图像重要性;
计算每个关键点的空间位置重要性信息;
结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序;
依据重要性排序单元对关键点的排序选出排在前面的若干个关键点,其余的予以剔除,挑选出重要的关键点。
进一步地,所述对输入的图像进行关键点检测是采用尺度不变特征变换(SIFT变换)检测图像中的关键点。
进一步地,所述计算每个关键点的局部图像重要性是计算关键点图像的信息熵来判断关键点的局部图像重要性,熵值越高,则该关键点越重要,其中图像熵值的计算为:
进一步地,所述计算每个关键点的空间位置重要性信息包括:
确定以关键点为中心的不同大小的图像窗口;
计算不同窗口图像的直方图的变化值,不同窗口图像的直方图的变化值越大则图像空间位置重要性越高,其中不同窗口的直方图的变化值为:
进一步地,所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积,计算关键点的重要性值,然后依据该重要性值对关键点进行排序。
与现有的图像局部特征提取方法相比,本发明根据对各个关键点的重要性的评估,从中挑选出重要的关键点来描述目标,避免了次要关键点的影响,既提高了目标识别的准确程度,又降低了后续匹配过程中的运算量。
【附图说明】
图1是现有的SIFT变换中关键点太多的示意图。
图2是本发明的图像特征提取***的结构框图。
图3是本发明图像特征提取***的图像关键点检测单元初步检测关键点的示意图。
图4是本发明特征提取***的图像关键点检测单元确定关键点特征向量的示意图。
图5是不同图像块的灰度直方图,以证明熵是一种合理的图像重要性度量。
图6是具有相同的熵值的不同图像的示意图。
图7是本发明特征提取***的特征提取方法的流程图。
【具体实施方式】
此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
请参阅图2所示,其显示本发明的图像特征提取***2的结构框图。如图所示,本发明的图像特征提取***2其包括图像关键点检测单元21、局部图像重要性判断单元22、空间位置重要性判断单元23、重要性排序单元24以及关键点筛选单元25。
图像关键点检测单元21用于对输入的图像进行关键点检测,其中检测的具体方法为使用SIFT变换(全称为Scale Invariant Feature Transformation,即尺度不变特征变换)获取图像中各个关键点的特征向量。如图3所示,SIFT变换的方法首先对图像进行尺度空间极值检测,以初步确定关键点位置和所在尺度。在检测尺度空间极值时,图中标记为叉号的像素需要跟包括同一尺度的周围邻域9×2个像素总共26个像素进行比较,以确保在尺度空间和二维图像空间都检测到局部极值。如图4所示,检测出关键点之后,在各个关键点为中心的大小为8×8的图像窗口中,计算梯度方向直方图作为各个关键点的特征。关于SIFT变换的其他具体步骤为本领域技术人员应当知道的技术,因此本说明书不再具体详细说明。
如前述背景技术中所述,SIFT变换存在一个严重的问题,即会在一幅图像中产生大量的关键点,如图1所示,这会产生大量的特征,冗余信息很多,对于描述物体的特征以及后续的匹配、识别操作都是十分不利的。因此在检测出关键点之后进一步判断每个关键点的重要性。
局部图像重要性判断单元22使用图像信息熵来衡量各个关键点的重要程度。图像信息熵是衡量图像信息丰富程度的一个重要指标,表示一幅图像包含信息量的多少,图像的熵值越大,说明图像信息越丰富。任意一幅图像I的信息熵可以按照如下公式来计算:
图5是不同图像块的灰度直方图。可以看出,那些视觉上较为显著的区域往往具有比较复杂的局部结构,其灰度直方图的分布也趋向于平坦,从而具有较大的熵值;而那些不太显著的区域的灰度直方图则呈明显的峰状分布,从而具有较小的熵值。因此,熵是一种合理的图像重要性度量。
对于每个关键点(xi,yi),我们提取以(xi,yi)为中心的8×8的图像窗口,如图4所示,计算该窗口中的图像直方图,再按照公式(1)计算出熵EN(xi,yi),熵值越高表明该关键点的局部特征越显著,描述能力越强,其重要性就应该越高。
由于熵计算过程只需要计算局部直方图,忽略了结构和空间信息,一个很明显的推论就是此区域中像素的任何一种排列都具有相同的熵值。如图6所示,(a)是一个从摩托车图像中截取的图像块,(b)是其像素的随机排列。这两个图像块虽然具有相同的熵值,但显然图(a)的图像块从视觉上感觉更显著一些,因为其中像素的排列具有高度的结构性。而图(b)这种结构性差的局部区域对于特征提取是没有什么意义的。
为了处理情况,本发明的空间位置重要性判断单元23进一步使用直方图的变化来区别有相似灰度分布的局部图像的重要性。具体的,我们改变以各个关键点为中心的图像窗口的大小,然后计算直方图的变化,如果直方图变化越小,表明该局部图像的结构性越不好,越类似于随机区域。设以关键点(xi,yi)为中心的8×8的图像窗口计算出的直方图为H(xi,yi),我们对其进行归一化,得到归一化直方图,即对H(xi,yi)中的每个元素都除以一个常数使得所有元素的和为1。然后,调整图像窗口的大小至(8+d)×(8+d),一般,d可以取-1,1,计算出归一化之后的直方图,计算与他们的差异:
Δ(xi,yi)的数值越大,表明(xi,yi)处的局部特征的结构性程度越高。最后,关键点(xi,yi)的重要性αi计算为:
αi=Δ(xi,yi)×EN(xi,yi)(3)
重要性排序单元24根据公式(3)计算出的关键点的重要性αi对所有的关键点的重要性进行排序。
关键点筛选单元25根据重要性排序单元24的排序选出排在前面的若干个关键点,其余的都予以剔除,就实现了挑选出重要的关键点的目标。
请参阅图7所示,其显示本发明的图像特征提取***的图像特征提取方法的流程图。本发明的特征提取方法包括:
步骤S701:对输入的图像进行关键点检测,获取n个关键点的位置其中具体的检测方法为使用SIFT变换(全称为Scale Invariant FeatureTransformation,即尺度不变特征变换)获取图像中各个关键点的特征向量。如图3所示,SIFT变换的方法首先对图像进行尺度空间极值检测,以初步确定关键点位置和所在尺度。在检测尺度空间极值时,图中标记为叉号的像素需要跟包括同一尺度的周围邻域9×2个像素总共26个像素进行比较,以确保在尺度空间和二维图像空间都检测到局部极值。如图4所示,检测出关键点之后,在各个关键点为中心的大小为8×8的图像窗口中,计算梯度方向直方图作为各个关键点的特征。
步骤S702:计算每个关键点(xi,yi)的局部图像重要性EN(xi,yi),计算每个关键点的图像重要性是通过计算每个关键点的图像窗口的信息熵来判断关键点的图像重要性。任意一幅图像I的信息熵可以按照如下公式来计算:
对于每个关键点(xi,yi),我们提取以(xi,yi)为中心的8×8的图像窗口,如图4所示,计算该窗口中的图像直方图,再按照公式(1)计算出熵EN(xi,yi),熵值越高表明该关键点的局部特征越显著,描述能力越强,其重要性就应该越高。
步骤S703:计算每个关键点的空间位置重要性Δ(xi,yi),我们改变以各个关键点为中心的图像窗口的大小,然后计算直方图的变化,如果直方图变化越小,表明该局部图像的结构性越不好,越类似于随机区域。设以关键点(xi,yi)为中心的8×8的图像窗口计算出的直方图为H(xi,yi),我们对其进行归一化,得到归一化直方图,即对H(xi,yi)中的每个元素都除以一个常数使得所有元素的和为1。然后,调整图像窗口的大小至(8+d)×(8+d),一般,d可以取-1,1,计算出归一化之后的直方图,计算与他们的差异:
Δ(xi,yi)的数值越大,表明(xi,yi)处的局部特征的结构性程度越高。
步骤S704:计算每个关键点(xi,yi)的重要性αi=Δ(xi,yi)×EN(xi,yi)。
步骤S705:根据前面计算的关键点的重要性αi=Δ(xi,yi)×EN(xi,yi)对关键点的重要性进行排序,选出排在前面的若干个关键点,其余的都予以剔除,即可确定出重要关键点。
与现有的图像局部特征提取方法相比,本发明根据对各个关键点的重要性的评估,从中挑选出重要的关键点来描述目标,避免了次要关键点的影响,既提高了目标识别的准确程度,又降低了后续匹配过程中的运算量。
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是,熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地,本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。
Claims (6)
1.一种图像特征提取***,其包括:
图像关键点检测单元,其检测并初步确定图像中的关键点;
局部图像重要性判断单元,其对图像关键点检测单元初步确定的关键点进行重要性分析,获得每个关键点的局部图像重要性信息;
空间位置重要性判断单元,其对每个关键点进行空间位置重要性分析,获取每个关键点的空间位置重要性信息;
重要性排序单元,结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序;
关键点筛选单元,依据重要性排序单元对关键点的排序选出排在前面的若干个关键点,其余的予以剔除,挑选出重要的关键点,
所述局部图像重要性判断单元计算关键点图像的信息熵来判断关键点的局部图像重要性,熵值越高,则该关键点越重要,其中图像熵值的计算为:
所述空间位置重要性判断单元确定以关键点为中心的不同大小的图像窗口,然后计算不同窗口图像的直方图的变化值,不同窗口图像的直方图的变化值越大则图像空间位置重要性越高,其中不同窗口图像的直方图的变化值为:
2.如权利要求1所述的图像特征提取***,其特征在于:所述图像关键点检测单元采用尺度不变特征变换(SIFT变换)检测图像中的关键点。
3.如权利要求1所述的图像特征提取***,其特征在于:所述重要性排序单元是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积,计算关键点的重要性值,然后依据该重要性值对关键点进行排序。
4.一种图像特征提取方法,其包括:
对输入的图像进行关键点检测,获取关键点的位置;
计算每个关键点的局部图像重要性;
计算每个关键点的空间位置重要性信息;
结合前述关键点的局部图像重要性信息及空间位置重要性信息对关键点重要性进行排序;
依据对关键点的重要性排序选出排在前面的若干个关键点,其余的予以剔除,挑选出重要的关键点,
所述计算每个关键点的局部图像重要性是计算关键点图像的信息熵来判断关键点的局部图像重要性,熵值越高,则该关键点越重要,其中图像熵值的计算为:
所述计算每个关键点的空间位置重要性信息包括:
确定以关键点为中心的不同大小的图像窗口;
计算不同窗口图像的直方图的变化值,不同窗口图像的直方图的变化值越大则图像空间位置重要性越高,其中不同窗口图像的直方图的变化值为:
5.如权利要求4所述的图像特征提取方法,其特征在于:所述对输入的图像进行关键点检测是采用尺度不变特征变换(SIFT变换)检测图像中的关键点。
6.如权利要求4所述的图像特征提取方法,其特征在于:所述重要性排序步骤是将前述关键点的熵值及关键点不同窗口图像的直方图的变化值进行乘积,计算关键点的重要性值,然后依据该重要性值对关键点进行排序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010545316 CN102004916B (zh) | 2010-11-15 | 2010-11-15 | 图像特征提取***及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010545316 CN102004916B (zh) | 2010-11-15 | 2010-11-15 | 图像特征提取***及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102004916A CN102004916A (zh) | 2011-04-06 |
CN102004916B true CN102004916B (zh) | 2013-04-24 |
Family
ID=43812269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010545316 Active CN102004916B (zh) | 2010-11-15 | 2010-11-15 | 图像特征提取***及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102004916B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6044548B2 (ja) * | 2011-11-18 | 2016-12-14 | 日本電気株式会社 | 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム |
CN104115189B (zh) * | 2011-11-18 | 2016-12-28 | 日本电气株式会社 | 局部特征量提取装置、用于提取局部特征量的方法 |
CN102592291A (zh) * | 2011-12-28 | 2012-07-18 | 浙江大学 | 一种基于摄影元素的图像重要性检测方法 |
ITMI20120003A1 (it) * | 2012-01-02 | 2013-07-03 | Telecom Italia Spa | Analisi d'immagine |
CN105160360A (zh) * | 2015-09-29 | 2015-12-16 | 上海斐讯数据通信技术有限公司 | 一种国旗识别方法及移动终端 |
CN106295592A (zh) * | 2016-08-17 | 2017-01-04 | 北京金山安全软件有限公司 | 一种媒体文件字幕的识别方法、装置及电子设备 |
CN107918777A (zh) * | 2017-11-24 | 2018-04-17 | 福州大学 | 一种筛除图像不稳定特征点的方法 |
CN111563397B (zh) * | 2019-02-13 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 检测方法、装置、智能设备及计算机存储介质 |
CN110209848B (zh) * | 2019-05-15 | 2021-06-18 | 珠海市杰理科技股份有限公司 | 图像数据存取方法、装置、计算机设备以及存储介质 |
CN112036280A (zh) * | 2020-08-24 | 2020-12-04 | 方海涛 | 水鸟种群动态监测方法、装置和设备 |
CN113191277B (zh) * | 2021-05-06 | 2023-12-19 | 北京惠朗时代科技有限公司 | 一种基于熵值校验的表格图像区域识别方法及*** |
CN114913076B (zh) * | 2022-07-19 | 2022-11-11 | 成都智明达电子股份有限公司 | 一种图像缩放旋转方法、装置、***及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1885317A (zh) | 2006-07-06 | 2006-12-27 | 上海交通大学 | 基于形态学和信息熵的自适应边缘检测方法 |
CN101354254A (zh) | 2008-09-08 | 2009-01-28 | 北京航空航天大学 | 一种飞行器航向跟踪方法 |
CN101676953A (zh) | 2008-08-22 | 2010-03-24 | 奥多比公司 | 自动视频图像分割 |
-
2010
- 2010-11-15 CN CN 201010545316 patent/CN102004916B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1885317A (zh) | 2006-07-06 | 2006-12-27 | 上海交通大学 | 基于形态学和信息熵的自适应边缘检测方法 |
CN101676953A (zh) | 2008-08-22 | 2010-03-24 | 奥多比公司 | 自动视频图像分割 |
CN101354254A (zh) | 2008-09-08 | 2009-01-28 | 北京航空航天大学 | 一种飞行器航向跟踪方法 |
Non-Patent Citations (2)
Title |
---|
廖斌,肖山竹,卢焕章.《基于加权局部熵的图像兴趣点检测方法》.《激光与红外》.2007,第37卷(第4期),全文. * |
张春美,龚志辉,黄艳.《几种特征点提取算法的性能评估及改进》.《测绘科学技术学报》.2008,第25卷(第3期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN102004916A (zh) | 2011-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102004916B (zh) | 图像特征提取***及其方法 | |
Li et al. | Automatic pavement crack detection by multi-scale image fusion | |
CN103077512B (zh) | 基于主成分析的数字图像的特征提取与匹配方法 | |
CN101539629B (zh) | 基于多特征证据融合与结构相似度的遥感图像变化检测方法 | |
CN115861291B (zh) | 基于机器视觉的贴片电路板生产缺陷检测方法 | |
CN109115800B (zh) | 一种产品毛刺的快速检测及长度精确测量方法 | |
CN102789578B (zh) | 基于多源目标特征支持的红外遥感图像变化检测方法 | |
CN102663391A (zh) | 一种图像的多特征提取与融合方法及*** | |
CN105279772A (zh) | 一种红外序列图像的可跟踪性判别方法 | |
CN104112279B (zh) | 一种目标检测方法及装置 | |
CN105160355A (zh) | 一种基于区域相关和视觉单词的遥感图像变化检测方法 | |
CN104077609A (zh) | 一种基于条件随机场的显著性检测方法 | |
CN115035182B (zh) | 一种山区滑坡灾害预警方法及*** | |
CN114972356A (zh) | 塑料制品表面缺陷检测识别方法及*** | |
CN112215079B (zh) | 一种全局多阶段目标跟踪方法 | |
CN116758067B (zh) | 基于特征匹配的金属结构件检测方法 | |
CN111461010B (zh) | 一种基于模板跟踪的电力设备识别效率优化方法 | |
CN111582270A (zh) | 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法 | |
CN110245672B (zh) | 基于快速视网膜特征点匹配及多尺度分割的浮选破碎气泡检测方法 | |
CN101908150B (zh) | 一种人体检测方法 | |
CN105825215B (zh) | 一种基于局部近邻嵌入核函数的仪表定位方法及使用载体 | |
CN102930291A (zh) | 用于图形图像的k近邻局部搜索遗传自动聚类方法 | |
Jiang et al. | Interpretability-aware industrial anomaly detection using autoencoders | |
CN101839980A (zh) | 一种基于分割窗的无监督遥感图像变化检测方法 | |
CN113850769A (zh) | 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP01 | Change in the name or title of a patent holder |
Address after: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Patentee after: WUXI ZHONGGAN MICROELECTRONIC CO., LTD. Address before: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Patentee before: Wuxi Vimicro Co., Ltd. |