CN110619338B - 一种可长时间依赖的图像特征提取方法 - Google Patents

一种可长时间依赖的图像特征提取方法 Download PDF

Info

Publication number
CN110619338B
CN110619338B CN201910879088.1A CN201910879088A CN110619338B CN 110619338 B CN110619338 B CN 110619338B CN 201910879088 A CN201910879088 A CN 201910879088A CN 110619338 B CN110619338 B CN 110619338B
Authority
CN
China
Prior art keywords
image
pyramid
camera
extracted
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910879088.1A
Other languages
English (en)
Other versions
CN110619338A (zh
Inventor
马忠丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201910879088.1A priority Critical patent/CN110619338B/zh
Publication of CN110619338A publication Critical patent/CN110619338A/zh
Application granted granted Critical
Publication of CN110619338B publication Critical patent/CN110619338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种可长时间依赖的图像特征提取方法，通过估计相机的运动状态分析相机连续拍摄图像的重叠区域，从而重点对重叠区域进行特征提取；构建金字塔图层，在金字塔图层上逐层提取角点，角点的数量根据图像分辨率选择，图像分辨率越大，所需提取的角点数越多；通过运动状态调整高斯函数的均值和方差来达到控制提取特征阈值分布的效果，并以此控制提取到的特征在图像上的分布。本发明有很好的通用性；提取出的特征来自重叠区域，而特征匹配正是需要这部分图像的特征，所以提取出来的特征能被用于特征匹配，特征利用率高；实现了完全自主化的提取的同时，也能够精确用于行人等目标识别中的智能视频搜索的图像特征提取，工程中更易于实现。

Description

一种可长时间依赖的图像特征提取方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种可长时间依赖的图像特征提取方法。
背景技术
随着多媒体技术的迅速发展，生活中出现越来越多的图像数据，如何快速有效的对图像进行处理变得尤为重要。图像处理中，通常使用提取到的特征进行图像之间的匹配，随后通过匹配关系求得两帧图像之间的位置关系。图像特征主要有图像的颜色特征、纹理特征、形状特征以及空间关系等。特征是描述模式的最佳方式，我们通常认为特征的各个维度能够从不同的角度描述模式，在理想情况下，维度之间是互补完备的。特征提取的主要目的是降维，特征抽取的主要思想是将原始样本投影到一个低维特征空间，得到最能反映样本本质或进行样本区分的低维样本特征。图像处理中，通常使用提取到的特征进行图像之间的匹配，通过匹配关系求得两帧图像之间的位置关系，所以提取稳定的特征对于图像处理至关重要。而当图像是相机在快速运动时拍摄的时候，每帧图像上直接利用传统方法提取的特征利用时间短，可重复利用的特征少，实际上图像上不同部分的特征在相机运动状态不同时间存在不同的有效周期。
常用的特征提取方法在应用于相机运动定位时存在以下缺点：当相机运动时，相机拍摄到的图像重叠程度较小，这导致了特征匹配时大部分特征点都是没有用处的，而提取特征点又需要花费大量时间。所以如果提取的特征点不处于图像的重叠区域，则对于定位是无效的。传统的特征提取方法是对图像无差别的提取特征，不会根据重叠区域的不同调整提取特征的位置，这样提取到的特征利用率是很低的。因此目前急需一种可长时间依赖的图像特征提取方法，来解决上述问题。
发明内容
本发明的目的是提供一种可长时间依赖的图像特征提取方法，以解决上述现有技术存在的问题，提高特征提取的效率。
为实现上述目的，本发明提供了如下方案：本发明提供一种可长时间依赖的图像特征提取方法，包括如下步骤：
步骤一、通过估计相机的运动状态分析相机连续拍摄图像的重叠区域，从而重点对重叠区域进行特征提取；
步骤二、构建金字塔图层，然后在金字塔图层上逐层提取角点，角点的数量根据图像分辨率选择，图像分辨率越大，所需提取的角点数越多；
步骤三、通过运动状态调整高斯函数的均值和方差来达到控制提取特征阈值分布的效果，并以此控制提取到的特征在图像上的分布。
优选地，角点的提取过程为：假设整个金字塔中要提取nfeature个特征点，金字塔缩放的尺度是factor，金字塔的层数是nlevel，则金字塔最顶层要提取的特征点数为：
Figure BDA0002205309570000021
金字塔中层数为L的层数中提取特征点的数目为n1*factorL。
优选地，将整幅图像用均匀的网格划分成小块，每个小块的特征提取阈值由一个负高斯函数决定，相机运动的速度决定高斯函数的方差、相机旋转的角度决定高斯函数的均值。
优选地，如果相机运动速度越大、图像四周的特征消失的越快，此时需要降低负高斯函数的方差、使四周的提取阈值变高；
若相机发生旋转，则远离相机旋转方向一侧的图像特征消失快、此时将负高斯函数的均值根据旋转角调整，使旋转一侧的提取阈值低、另一侧的阈值高。
优选地，步骤二中金字塔图层的构建方法具体为：对原图使用高斯滤波器进行模糊，然后对模糊后的图像降采样成长宽各为原图0.5倍的图像，重复上面的模糊降采样的过程，构建出一个图像金字塔。
本发明公开了以下技术效果：本发明所提出的可长时间依赖的图像特征提取方法具备以下优点：
(1)通用性好。因为绝大部分传统的特征提取方法都有根据阈值筛选步骤，所以本发明所提出的根据改变图像区域提取特征的阈值分布的方法有较好的通用性；
(2)特征利用率高。本发明提出的特征提取方法可以提取出的特征大部分来自重叠区域，而特征匹配正是需要这一部分图像的特征，所以提取出来的特征大多数都能被用于特征匹配，因此特征利用率高；
(3)易于实现。本发明通过相机的运动状态直接控制阈值分布的函数，实现了图像特征完全自主化的提取，且只需要调整函数的参数即可实现对提取区域的控制，能够精确、有效的用于行人等目标识别中的智能视频搜索的图像特征提取，在工程中更易于实现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图；
图2为二维高斯函数图像,其中图2a、图2b分别为方差为1.5和15的二维高斯函数图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1-2，本发明提供一种可长时间依赖的图像特征提取方法，在提取角点时，首先构造一个8层的金字塔，金字塔由多张不同分辨率的图像组成，模拟了从近到远拍摄图像的过程，因此可以在这些图像上提取到不同尺度的特征。提取的图像特征是一种改进的FAST角点，FAST角点通过判断局部像素值的差异程度判断像素点是否为角点，基础的FAST角点不具备旋转不变性，改进的FAST角点使用像素邻域的灰度质心作为特征点的方向，有了方向的角点更加稳定。在金字塔图像上逐层提取角点。当图像分辨率位于512*384到752*480时，在金字塔中共提取1000个角点，当分辨率提高时，则增加提取角点的数量，如在KITTI数据集中，图像分辨率高达3384*2710，则提取2000个角点比较合适。然后将这1000个点按照等比数列的分布方式确定在金字塔各层的提取数量。
假设整个金字塔中要提取nfeature个特征点，金字塔缩放的尺度是factor，金字塔的层数是nlevel，则金字塔最顶层要提取的特征点数n1为：
Figure BDA0002205309570000051
金字塔中层数为L的层数中提取特征点的数目为n1*factorL。这样做使得特征数目按照图像尺度分布，符合人的直觉，远处看到的特征少，近处看到的特征多。
摄像机的运动主要可以分为两类，一种是旋转，一种是平移。
(1)在摄像机旋转时，靠近摄像机旋转一侧的特征点在运行过程中可视时间更长。
(2)在摄像机平移时，中间部分的图像变化小，四周的图像变化大，所以中间区域特征点的可视时间更长。
为了提取可视时间长的特征，本文使用动态阈值提取特征。
将网络划分成均匀的网格，每个网格的特征提取阈值由一个负高斯函数决定，如图2所示。相机运动的速度决定高斯函数的方差、相机旋转的角度决定高斯函数的均值。
(1)这样如果相机运动速度越大、图像四周的特征消失的越快，需要降低负高斯函数的方差，使得四周的提取阈值变高。
(2)如果相机发生旋转，则远离相机旋转方向一侧的图像特征消失快，需要将负高斯函数的均值根据旋转角调整，使得旋转一侧的提取阈值低、另一侧的阈值高。
通过相机的运动状态直接控制阈值分布的函数，实现了图像特征完全自主化的提取，且只需要调整函数的参数即可实现对提取区域的控制，所以易于在工程中实现；提取出的特征大部分来自重叠区域，而特征匹配正是需要这一部分图像的特征，所以提取出来的特征都大多数都能被用于特征匹配，因此特征利用率高；通过这样的动态阈值策略可以提取到可长时间依赖的图像特征，极大地降低了图像特征提取所需的时间，也能够精确用于行人等目标识别中的智能视频搜索的图像特征提取，在工程中更易于实现。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种可长时间依赖的图像特征提取方法，其特征在于：包括如下步骤：
步骤一、通过估计相机的运动状态分析相机连续拍摄图像的重叠区域，从而重点对重叠区域进行特征提取；
步骤二、构建金字塔图层，然后在金字塔图层上逐层提取特征点，所述特征点的数量根据图像分辨率选择，图像分辨率越大，所需提取的特征点数越多；
步骤三、通过运动状态调整高斯函数的均值和方差来达到控制特征提取 阈值分布的效果，并以此控制提取到的特征点在图像上的分布；将所述金字塔图层用均匀的网格划分成小块，每个小块的特征提取阈值由一个负高斯函数决定，相机运动的速度决定负高斯函数的方差、相机旋转的角度决定负高斯函数的均值。
2.根据权利要求1所述的可长时间依赖的图像特征提取方法，其特征在于：所述特征点的提取过程为：假设整个金字塔中要提取nfeature个特征点，金字塔缩放的尺度是factor，金字塔的层数是nlevel，则金字塔最顶层要提取的特征点数为：
Figure FDA0003333426140000011
金字塔中层数为L的层数中提取特征点的数目为n1*factor L。
3.根据权利要求1所述的可长时间依赖的图像特征提取方法，其特征在于：如果相机运动速度越大、图像四周的特征消失的越快，此时需要降低负高斯函数的方差、使四周的提取阈值变高；若相机发生旋转，则远离相机旋转方向一侧的图像特征消失快、此时将负高斯函数的均值根据旋转角调整，使旋转一侧的提取阈值低、另一侧的阈值高。
4.根据权利要求1所述的可长时间依赖的图像特征提取方法，其特征在于：步骤二中金字塔图层的构建方法具体为：对原图使用高斯滤波器进行模糊，然后对模糊后的图像降采样成长宽各为原图0.5倍的图像，重复上面的模糊降采样的过程，构建出一个金字塔图层。
CN201910879088.1A 2019-09-18 2019-09-18 一种可长时间依赖的图像特征提取方法 Active CN110619338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910879088.1A CN110619338B (zh) 2019-09-18 2019-09-18 一种可长时间依赖的图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910879088.1A CN110619338B (zh) 2019-09-18 2019-09-18 一种可长时间依赖的图像特征提取方法

Publications (2)

Publication Number Publication Date
CN110619338A CN110619338A (zh) 2019-12-27
CN110619338B true CN110619338B (zh) 2022-02-08

Family

ID=68923393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910879088.1A Active CN110619338B (zh) 2019-09-18 2019-09-18 一种可长时间依赖的图像特征提取方法

Country Status (1)

Country Link
CN (1) CN110619338B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191370A (zh) * 2021-04-26 2021-07-30 安徽工程大学 一种基于阈值自适应阈值调整的orb算法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629329A (zh) * 2012-02-28 2012-08-08 北京工业大学 基于自适应sift算法的人员室内定位方法
CN108830191A (zh) * 2018-05-30 2018-11-16 上海电力学院 基于改进emm及orb算法的移动机器人slam方法
CN109903338A (zh) * 2019-03-14 2019-06-18 中国计量大学 一种基于改进orb算法的移动机器人定位方法
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110046623A (zh) * 2019-03-04 2019-07-23 青岛小鸟看看科技有限公司 一种图像特征点提取方法和相机
CN110084248A (zh) * 2019-04-23 2019-08-02 陕西理工大学 一种orb特征均匀化提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629329A (zh) * 2012-02-28 2012-08-08 北京工业大学 基于自适应sift算法的人员室内定位方法
CN108830191A (zh) * 2018-05-30 2018-11-16 上海电力学院 基于改进emm及orb算法的移动机器人slam方法
CN110046623A (zh) * 2019-03-04 2019-07-23 青岛小鸟看看科技有限公司 一种图像特征点提取方法和相机
CN109903338A (zh) * 2019-03-14 2019-06-18 中国计量大学 一种基于改进orb算法的移动机器人定位方法
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110084248A (zh) * 2019-04-23 2019-08-02 陕西理工大学 一种orb特征均匀化提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ORB特征四叉树均匀分布算法;刘宏伟 等;《自动化仪表》;20180531;第39卷(第05期);第52-54页 *
Ra＇ul Mur-Artal等.ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras.《arXiv:1610.06475v1 [cs.RO]》.2016, *

Also Published As

Publication number Publication date
CN110619338A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
EP3640844A1 (en) Target recognition method and apparatus for a deformed image
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN105046649A (zh) 一种去除运动视频中运动物体的全景图拼接方法
CN109711246B (zh) 一种动态物体识别方法、计算机装置及可读存储介质
CN104063858B (zh) 图像模糊处理方法及装置
CN104008542B (zh) 一种针对特定平面图形的快速角点匹配方法
CN106558022A (zh) 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN106530328B (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
CN110245199B (zh) 一种大倾角视频与2d地图的融合方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN109003307B (zh) 基于水下双目视觉测量的捕鱼网目尺寸设计方法
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN112084886B (zh) 提升检测神经网络目标检测性能的方法及装置
CN111899295A (zh) 一种基于深度学习的单目场景深度预测方法
CN112364805A (zh) 一种旋转手掌图像检测方法
CN110619338B (zh) 一种可长时间依赖的图像特征提取方法
CN116485646A (zh) 一种基于微注意力的轻量化图像超分辨率重建方法及装置
CN112580435B (zh) 人脸定位方法、人脸模型训练与检测方法及装置
CN115424249B (zh) 一种复杂背景下空中弱小目标自适应检测方法
CN116188405A (zh) 一种基于单目高位摄像头采集图片的车辆姿态估计方法及***
Wang et al. Deep learning-based human activity analysis for aerial images
CN106339709A (zh) 一种图像实时提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant