CN108021921A - 图像特征点提取***及其应用 - Google Patents
图像特征点提取***及其应用 Download PDFInfo
- Publication number
- CN108021921A CN108021921A CN201711183532.3A CN201711183532A CN108021921A CN 108021921 A CN108021921 A CN 108021921A CN 201711183532 A CN201711183532 A CN 201711183532A CN 108021921 A CN108021921 A CN 108021921A
- Authority
- CN
- China
- Prior art keywords
- feature point
- feature
- unit
- point
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一图像特征点提取***及其应用，包括一特征点判断单元、一特征点提取单元以及一纹理丰富度判断单元，其中所述特征点判断模块根据一特征点判断阈值对图像中的点进行特征点的判断，其中所述特征点提取单元被通信连接于所述特征点判断单元，以提取相应所述特征点，其中所述纹理丰富度判断单元被通信连接于所述特征点判断单元和所述特征点提取单元，其中所述纹理丰富度判断单元根据一基准数据分析被所述特征点提取单元提取的所述特征点是否符合所述基准数据对应点要求，当不符合时，所述纹理丰富度判断单元相应地形成一更新数据以改变所述判断阈值。
Description
技术领域
本发明涉及一图像特征点提取***及其应用，其中所述图像特征点提取*** 针对纹理丰富度不同的物体图像都能够提取适宜数量的特征点，以实现对相应物 体的跟踪。
背景技术
对三维物体的跟踪一直是机器视觉研究的热点，特别在增强现实领域，而基 于机器视觉的方法以简单、廉价、非接触等优点得到了在增强现实领域研究者的 广泛关注。目前对三维物体的跟踪方法主要有基于三维点云跟踪、基于边缘的跟 踪、基于特征点的跟踪、以及上述方法的组合跟踪，其中基于特征点的跟踪方法 应用较为广泛。
传统的ORB(Object Request Broker)特征点提取方法都采用统一的阈值 和标准来提取整幅图像的特征点，因此一旦图像的灰度变化不均匀，有的地方平 缓，有的地方图像信息特别丰富，那么提取的特征点将主要集中在这些变化剧烈 的地方，而这将导致提取的特征点特别集中，进而对后期图像的匹配和跟踪是极 为不利的。换句话说，传统的基于特征点的跟踪方法无法对纹理丰富度不同的物 体进行跟踪。
另一方面，在对物体进行跟踪的过程中常常会受到各种其他因素的影响，比 如当纹理丰富区域比较集中，若该区域受到影响，则很可能导致无法提取到相应 的特征点，进而导致整个跟踪的失败。而传统的ORB特征点提取的方法都无法解 决这类问题。同样地，如果当物体的纹理不明显，如果对其进行特征点的提取， 则很可能无法提取到足够表征所述物体特征的特征点，从而也会导致跟踪的失败。 换句话说，传统的特征点的提取方法使无法根据被跟踪的物体的实际情况进行特 征点的提取，尤其是当物体纹理较为丰富的区域在跟踪过程移出了机器视觉界外 或者是被其他物体遮挡。
发明内容
本发明的一个目的在于提供一图像特征点提取***及其应用，其中所述图像 特征点提取***能够提取物体的特征点，以在后续基于被提取的所述特征点跟踪 相应的物体。
本发明的一个目的在于提供一图像特征点提取***及其应用，其中所述图像 特征点***，其中所述特征点提取***针对纹理丰富度不同的物体图像能够提取 适宜数量的特征点，以在后续根据被提取的所述特征点跟踪相应的物体。
本发明的另一个目的在于提供一图像特征点提取***及其应用，其中当被跟 踪物体图像的纹理丰富区域无法被获取时，所述图像特征点提取***依旧能够提 取被跟踪物体的特征点。
本发明的另一个目的在于提供一图像特征点提取***及其应用，其中所述图 像特征点提取***能够对被跟踪的物体图像进行循环特征点的提取，直至被提取 的所述特征点的数量足以用以跟踪相应的物体。
本发明的另一个目的在于提供一图像特征点提取***及其应用，其中所述图 像特征点提取***同样能够对纹理丰富度不均匀的物体图像进行特征点的提取。
为实现上述至少一个目的，本发明提供一图像特征点提取***，包括：
一特征点判断单元，以根据一特征点判断阈值对图像中的点进行特征点的判 断；
一特征点提取单元，其中所述特征点提取单元被通信连接于所述特征点判断 单元，以提取相应所述特征点；以及
一纹理丰富度判断单元，其中所述纹理丰富度判断单元被通信连接于所述特 征点判断单元和所述特征点提取单元，其中所述纹理丰富度判断单元根据一基准 数据分析被所述特征点提取单元提取的所述特征点是否符合所述基准数据对应 点要求，当不符合时，所述纹理丰富度判断单元相应地形成一更新数据以改变所 述判断阈值。
根据本发明一实施例，其中所述纹理丰富度判断单元包括一纹理丰富度判断 模块和一特征点变化判断模块，其中所述图像特征点提取***进一步包括一均匀 化处理单元，其中所述纹理丰富度判断模块被通信连接于所述特征点判断单元和 所述特征点提取单元，以根据一基准数据分析被所述特征点提取单元提取的所述 特征点是否符合所述基准数据对应点要求，其中所述特征点变化判断模块被通信 连接于所述特征点提取单元和所述纹理丰富度判断模块，其中所述特征点变化判 断模块能够将当前提取的所述特征点与前一次提取的所述特征点进行比较，并能 够判断所述特征点前后变化是否满足一变化阈值，其中所述均匀化处理单元被通 信连接于所述特征点变化判断模块和所述特征点判断单元，以在所述特征点前后 变化满足所述变化阈值时，对图像进行均匀化处理。
根据本发明一实施例，其中所述特征点判断阈值是以图像中某像素点半径为 R的圆上16个像素点值与中心点像素差的绝对值，若圆上有超过det(Pnum)个像素 点与中心点之间的差值超过特征点判断阈值δ，则所述中心点被作为特征点，其 判定条件为：
根据本发明一实施例，其中所述特征点变化模块根据以下公式进行判断是否 需要对所述图像进行均匀化处理：
Fnum(Ij)<σFnum(T)，
其中所述Fnum(Ij)表示当前物体图像的所述特征点数量，其中所述Fnum(T) 为所述物体图像的一关键模板帧的特征点数量，其中所述σ与所述物体的纹理丰 富度在整个物体特征影响的系数。
根据本发明一实施例，其中所述基准数据对应不同纹理丰富度的物体对应的 所述特征点的数量范围δ1-δ2。
根据本发明一实施例，其中改变所述特征点判断阈值的函数为：
根据本发明一实施例，其中所述图像特征点提取***进一步包括一数据获取 单元，其中所述数据获取单元被通信连接于所述特征点判断单元，其中所述数据 获取单元能够获取至少一视屏帧的相关数据。
为实现上述至少一个目的，本发明提供一目标物跟踪***，包括权利要求1 至7中任一所述的图像特征点提取***、一特征点匹配判断单元以及一分析单元， 其中所述特征点匹配判断单元根据一匹配基准将被提取的所述特征点与一模板 帧的特征点进行匹配，以形成一特征点集，其中所述分析单元被通信连接于所述 特征点匹配判断单元以计算所述特征点集与所述模板帧的所述特征点之间的单 应性变换。
根据本发明一实施例，其中所述目标物跟踪***，其中所述数据获取单元包 括一模板帧获取模块，其中所述模板帧获取模块被通信连接于所述特征点判断单 元，其中所述模板帧获取模块能够存储至少一被跟踪物体的图像相关数据，其中 所述特征点判断模块能够判断出所述模板帧的特征点，其中所述特征点提取单元 相应地能够提取所述模板帧的所述特征点。
为实现上述至少一个目的，本发明提供一图像特征点的提取方法，其中所述 方法包括以下步骤：
(A)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B)根据判断的结果，提取特征点；
(C)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断所 述特征点满足所述基准数据对特征点相应的要求；以及
(D)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不满 足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)。
为实现上述至少一个目的，本发明提供一目标物跟踪的方法，包括以下部步 骤：
(A1)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B1)根据判断的结果，提取特征点；
(C1)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断 所述特征点满足所述基准数据对特征点相应的要求；
(D1)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不 满足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)；
(E1)将提取的所述特征点与一模板帧的特征点进行匹配以形成一特征点集； 以及
(F1)计算所述特征点集中的所述特征点与所述模板帧的所述特征点之间的 单应性变换。
附图说明
图1为本发明一图像特征点提取***的示意图。
图2为本发明一特征点判断及提取的示意图。
图3为本发明一目标物跟踪***的示意图。
图4A为本发明一被跟踪的物体图像丰富区域被遮挡的示意图。
图4B为本发明一均匀化处理单元在一被跟踪的物体图像丰富区域被遮挡时 均匀化处理的示意图。
图5为本发明一图像特征点的提取方法的流程图。
图6为本发明一目标物跟踪的方法的流程图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中 的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以 下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方 案、等同方案以及没有背离本发明的精神和范围的其他技术方案。本领域技术人 员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、 “前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、 “外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了 便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定 的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
参考图1和图2，本发明提供一图像特征点提取***，其中所述图像特征 点提取***包括一特征点判断单元10、一特征点提取单元20和一纹理丰富度判 断单元30，其中所述特征点提取单元20被通信连接于所述特征点判断单元10 和所述纹理丰富度判断单元30。
所述特征点判断单元10能够对被跟踪的物体的图像中的点进行进行判断， 以判断其是否为需要的特征点，进而形成相应的判断结果，其中所述特征点提取 单元20能够从所述特征点判断单元10获取所述判断结果，并根据所述判断结果 提取相应符合条件的所述特征点，并且所述特征点提取单元20能够计算被提取 的所述特征点的数量以形成相应的至少一提取数据，其中所述提取数据被实施为 所述特征点提取单元20提取的所述特征点的点集的所述特征点的总数，其中所 述纹理丰富度判断单元30能够从所述特征点提取单元20获取所述提取数据，其 中所述纹理丰富度判断单元30进一步能够获取一基准数据，其中所述基准数据 对应不同纹理丰富度的物体对应的所述特征点的数量范围δ1-δ2，其中所述纹 理丰富度判断单元30能够对比分析所述提取数据和所述基准数据，进而形成相 应的分析结果。
具体地，所述特征点判断单元10能够根据一特征点判断阈值δ对获取的图 像进行特征点的判断，其中所述特征点的判断方法可以采用传统的判断方法，为 使本领域技术人员能够理解本发明，本发明以下描述中将举例进行说明，本领域 技术人员能够理解的是，本发明不受此方面的限制。
在本发明一实施例中，所述特征点判断阈值δ被实施为以某像素点半径为R 的圆上16个像素点值与中心点像素差的绝对值，若圆上有超过det(Pnum)个像素点 与中心点之间的差值超过特征点判断阈值δ，则所述中心点被作为特征点，其判 定条件为：
所述特征点提取单元20被通信连接于所述特征点判断单元10，并能够将所 述特征点判断单元10判断出的所述特征点进行统计以形成相应的所述提取数据。
所述纹理丰富度判断单元30被通信连接于所述特征点提取单元20，并能够 从所述特征点提取单元20获取所述提取数据，并能够将所述提取数据跟所述基 准数据进行分析对比，其中当所述提取数据对应的所述特征点的数量少于所述基 准数据特征点的数量时，代表所述物体的纹理丰富度较低，从而导致提取的所述 特征点数量不足。此时所述纹理丰富度判断单元30相应地形成一更新数据，其 中所述特征点判断单元10被通信连接于所述纹理丰富度判断单元30，其中所述 特征点判断单元10能够从所述纹理丰富度判断单元30获取所述更新数据，并且 所述特征点判断单元10根据所述更新数据相应地能够自动地更新所述特征点判 断单元10中的所述特征点判断阈值δ，从而相应地降低所述特征点提取的标准。
具体地，，在物体纹理丰富度较低时，所述物体图像上的特征点数量较少， 根本无法实现对物体进行后续的跟踪，而通过本发明中所述纹理丰富度判断模块 30改变所述特征点判断阈值δ的方式，从而降低对所述特征点的判定条件，其调 整函数为：
其中所述特征点判断模块10进一步地根据改变后的提取阈值δ重新判断所 述图像中的所述特征点以重新形成所述判断结果，其中所述特征点提取单元20 根据所述判断结果，进而相应地重新形成所述提取数据，其中所述纹理丰富度判 断单元30进一步跟定所述提取数据重新分析所述基准数据所述提取数据，其中 一旦被提取的所述特征点的数量在所述范围δ1-δ2内，则所述特征点提取单元20 将直接将提取的所述提取数据进行保存。
当所述物体的纹理丰富度较高时，为避免提取的所述特征点的数量较多，也 需要对所述特征点判断单元10的所述阈值δ进行调整，其中所述调整函数为：
其中所述特征点判断单元10调整所述特征点判断阈值δ后，将重新判断所 述图像中的所述特征点以重新形成所述判断结果，其中所述特征点提取单元20 根据所述判断结果，进而相应地重新形成所述提取数据，其中所述纹理丰富度判 断单元30进一步根据所述基准数据重新分析所述提取数据，其中一旦被提取的 所述特征点的数量在所述范围δ1-δ2内，则所述特征点提取单元20将直接将提 取的所述提取数据进行保存，并将此次所述特征点提取单元20提取的所述特征 点作为最终提取的所述特征点。
值得一提的是，所述纹理丰富度判断单元30同时也能够对判断的次数进行 统计，其中可以于所述纹理丰富度判断单元30设定一迭代次数限制值MaxIndex， 从而保证所述图像特征点提取***的时效性，也就是说，在多次改变所述特征点 判断阈值δ后，即使最后所述特征点提取单元20提取的所述特这点的数量依旧 不在所述范围δ1-δ2内，而迭代的次数已经达到所述数限制值MaxIndex，则依旧 以此次所述特征点提取单元20提取的所述特征点为最终提取的所述特征点。本 领域技术人员能够理解的是，通过对所述特征点判断阈值δ进行实时调整，从而 使得所述图像特征点提取***能够针对纹理丰富度不同的物体都能够提取适宜 的特征点。
进一步地，所述纹理丰富度判断单元30包括一纹理丰富度判断模块31和一 特征点变化模块32，其中所述纹理丰富度判断模块31被通信连接于所述特征点 提取单元20和所述特征点判断单元10，其中所述特征点提取单元31能够从所 述特征点提取单元20获取所述提取数据，并能够分析比较所述提取数据和所述 基准数据，以在所述提取数据对应的所述特征点数量无法满足所述基准数据对应 的所述特征点数量时，形成所述更新数据。
所述特征点变化模块32被通信连接于所述特征点提取单元20和所述特征点 提取单元31，其中所述特征点变化模块32能够记录每次所述特征点提取单元20 形成的所述提取数据，并能够将所述特征点提取单元20上次提取的所述提取数 据对应的特征点数量与此次获取的所述提取数据对应的特征点的数量进行对比， 从而形成相应的变化数据，其中所述特征点变化模块32进一步能过获取一变化 基准数据，其中所述变化基准数据对应于前后两次所述特征点数量变化的变化阈 值，其中当所述变化数据对应的特征点数量变化小于所述变化阈值对应的所述特 征点数量时，所述纹理丰富度判断模块31继续对所述提取数据进行判断处理； 其中当所述变化数据对应的特征点数量变化大于所述变化阈值对应的所述特征 点数量时，则表示所述特征点发生了剧烈的变化，相应地表示当前被跟踪的所述 物体出界或者被遮挡，此时需要对所述图像进行均匀化处理。
在本发明一实施例中，所述特征点变化模块32根据以下公式进行判断是否 需要对所述图像进行均匀化处理：
Fnum(Ij)<σFnum(T)，
其中所述Fnum(Ij)表示当前物体图像的所述特征点数量，其中所述Fnum(T) 为所述物体图像的一关键模板帧的特征点数量，其中所述σ与所述物体的纹理丰 富度在整个物体特征影响的系数。
具体地，所述图像特征点提取***进一步包括一均匀化处理单元40，其中 所述均匀化处理单元40被通信连接于所述纹理丰富度判断单元30的所述特征点 变化模块32和所述特征点提取单元20，其中所述均匀化处理单元40能够从所 述特征点变化模块32获取所述特征点变化模块32形成的所述变化数据，以对物 体的所述图像进行均匀化处理。具体地，所述均匀化处理单元40能够对所述图 像进行区域等分化以形成相应的多个子图像，进而所述特征点提取单元20能够 对每个所述子图像进行特征点的提取，并将提取的每个所述字图像的所述特征点 进行统计合并，以形成相应的所述提取数据。
相应地，所述纹理丰富度判断模块30的所述纹理丰富度判断模块31获取所 述提取数据，其中当所述提取数据对应的特征点的数量少于所述基准数据对应的 所述特征点的数量时，表示此时提取的特征点的数量过多或过少，所述纹理丰富 度判断模块31相应地形成所述更新数据，其中所述特征点提取单元30获取所述 更新数据后，通过更新所述阈值δ，从而重新对所述子图像进行特征点的提取。
本领域技术人员能够理解的，藉由所述特征点变化模块32和所述均匀化处 理单元40，从而即使分析的图像中的物体被遮挡或者是出界，所述图像特征点 提取***同样能够提取适宜数量的特征点。
比如，参考4A和图4B，当图像中的物体纹理较为丰富的中心区域被阻挡后， 所述特征特征点提取单元20提取的所述特征点的数据将发生锐减，其中所述特 征点变化模块32将形成相应的变化数据，其中所述均匀化处理单元40能够获取 所述变化数据，并能够根据所述变化数据将所述图像等分为9等分，以形成9个 所述子图像，随后，所述特征点提取单元20对9个所述子图像同时进行特征点 的提取，以形成相应的所述提取数据，其中所述纹理丰富度判断模块31能够获 取所述提取数据，并能够判断所述提取数据对应的所述特征点数量是否满足所述 基准数据对应的所述特征点数据对应的所述特征点数量，如果不满足，所述纹理 丰富度判断模块31同样会形成相应的更新数据。
图3中，当图像中的物体较为丰富的中心区域被遮挡后，此时被提取的特征 点将很少分布被遮挡的所述中心区域，而会更多的分布在所述中心区域之外的其 他区域，具体地，主要分布在未被遮挡的其他8个所述子图像对应的区域。因此， 此时所述图像特征点提取***提取的所述特征点将避免了被遮挡的所述字图像 对应的中心区域。
本领域技术人员能够理解的是，当被跟踪物体图像的纹理丰富区域被遮挡而 无法对该区域进行特征点提取时，所述图像特征点提取***依旧能够提取被跟踪 物体的特征点。
进一步地，所述图像特征点提取***进一步包括一数据获取单元50，其中 所述数据获取单元50能够获取外界的图像数据，具体地，所述数据获取单元50 能够被通信连接于一图像获取设备，比如至少一单目摄像机，从而能够直接对所 述图像获取设备的每幅视频帧进行特征点提取。
在本发明实施例中，所述数据获取单元50被通信连接于所述特征点判断单 元10，从而能够将获取的数据传输至所述特征点判断单元10。
所述数据获取单元50包括一视频帧获取模块51，其中所述视屏帧获取模块 51被通信连接于所述特征点判断单元10，其中所述视频帧获取单元51能够获取 至少一视屏帧的相关数据，其中所述特征点判断模块10能够从所述视频帧获取 模块51获取所述相关数据。
值得一提的地，本发明中所述图像特征点提取***能够被用以三维物体的跟 踪。
参考图3，根据本发明的另一方面，本发明提供一目标物跟踪***，其中所 述目标物跟踪***包括所述特征点判断单元10、所述特征点提取单元20、所述 纹理丰富度判断单元30以及一特征点匹配判断单元60，其中所述特征点匹配判 断单元60能够将获取的图像的所述特征点与一关键模板帧图像的特征点进行匹 配判断，从而实现对物体进行跟踪，其中所述关键模板帧图像对应一被追踪的物 体的图像。
同样的，所述纹理丰富度判断单元30包括所述纹理丰富度判断模块31和所 述特征点变化模块32，其中所述纹理丰富度判断模块31被通信连接于所述特征 点提取单元20和所述特征点判断单元10，其中所述特征点提取单元31能够从 所述特征点提取单元20获取所述提取数据，并能够分析比较所述提取数据和所 述基准数据，以在所述提取数据对应的所述特征点数量无法满足所述基准数据对 应的所述特征点数量时，形成所述更新数据。
所述特征点变化模块32被通信连接于所述特征点提取单元20和所述特征点 提取单元31，其中所述特征点变化模块32能够记录每次所述特征点提取单元20 形成的所述提取数据，并能够将所述特征点提取单元20上次提取的所述提取数 据对应的特征点数量与此次获取的所述提取数据对应的特征点的数量进行对比， 从而形成相应的变化数据，其中所述特征点变化模块32进一步能过获取一变化 基准数据，其中所述变化基准数据对应于前后两次所述特征点数量变化的变化阈 值，其中当所述变化数据对应的特征点数量变化小于所述变化阈值对应的所述特 征点数量时，所述纹理丰富度判断模块31继续对所述提取数据进行判断处理； 其中当所述变化数据对应的特征点数量变化大于所述变化阈值对应的所述特征 点数量时，则表示所述特征点发生了剧烈的变化，相应地表示当前被跟踪的所述 物体出界或者被遮挡，此时需要对所述图像进行均匀化处理。
具体地，所述目标物跟踪***包括所述均匀化处理单元40，其中所述均匀 化处理单元40被通信连接于所述纹理丰富度判断单元30的所述特征点变化模块 32和所述特征点提取单元20，其中所述均匀化处理单元40能够从所述特征点变 化模块32获取所述特征点变化模块32形成的所述变化数据，以对物体的所述图 像进行均匀化处理。具体地，所述均匀化处理单元40能够对所述图像进行区域 等分化以形成相应的多个子图像，进而所述特征点提取单元20能够对每个所述 子图像进行特征点的提取，并将提取的每个所述字图像的所述特征点进行统计合 并，以形成相应的所述提取数据。
相应地，所述纹理丰富度判断模块30的所述纹理丰富度判断模块31获取所 述提取数据，其中当所述提取数据对应的特征点的数量少于所述基准数据对应的 所述特征点的数量时，表示此时提取的特征点的数量过多或过少，所述纹理丰富 度判断模块31相应地形成所述更新数据，其中所述特征点提取单元30获取所述 更新数据后，通过更新所述阈值δ，从而重新对所述子图像进行特征点的提取。
所述数据获取单元50进一步包括一模板帧获取模块52，其中所述模板帧获 取模块52被通信连接于所述特征点判断单元10，其中所述模板帧获取模块52 能够存储至少一被跟踪物体的图像相关数据，其中所述特征点判断模块10能够 判断出所述模板帧的特征点，其中所述特征点提取单元20相应地能够提取所述 模板帧的所述特征点，相应地，所述特征点匹配判断单元60被通信连接于所述 特征点提取单元20，以能够从所述特征点提取单元20获取所述模板帧的所述特 征点点集以形成所述匹配基准。
所述特征点匹配判断单元60同时能够获取每幅所述视频帧的所述特征点 Fnum(Ii)，并能够将所述模板帧的所述特征点与所述视频帧的所述特征点数、进行 匹配判断，以相应地形成一匹配结果。
具体地，所述特征点匹配判断单元60具有一匹配阈值t，所述特征点匹配 判断单元60能够计算所述模板帧的每个所述特征点与每幅所述视频帧的每个所 述特征点之间的汉明距离D＝{d1,d2,...,dn}，其中汉明距离最小值Dmin＝min{d1,d2,...,dn} 所对应的点为p最近邻点，若Dmin<t则认定两点匹配，否则p无匹配点。
其所述特征点匹配判断单元60根据所述匹配的结果，进而对所述视频帧的 所述特征点重新整理，从而形成匹配后的所述特征点集，具体地，以所述模板帧 图像为基准，以所述视频模板帧图像为目标，进行比率测试，首先，利用所述模 板帧的所述特征点对所述图像特征点进行2次邻近查询，从而到所述视屏帧的每 个所述特征点到所述模板帧的每个所述特征点之间的距离，相应地，也能够到得 所述视屏帧的每个所述特征点最近邻bn和次近邻的bn’,到最近邻和次近邻的 距离分别为dn和dn’其次，进行阈值测试，设匹配阈值为t，若dn>t，剔除 该匹配对；最后进行比率测试，设比率阈值为ε，若此时我们认为bn和 bn’都有可能是查询集的匹配点，故剔除该匹配对。随后再对得到的点集进行交 叉测试，查询集和目标集匹配对的特征点集合分别是{sn}和{pn}，其中n＝1，2，3…， 反转查询集和目标集，求取{pn}的匹配点{s'n}，正确的匹配对对应的查询集为 {sn}∩{s'n}。
进一步地，所述目标物跟踪***包括一分析单元70，其中所述跟踪分析单 元70被通信连接于所述特征点匹配判断单元60，其中所述分析单元70能够从 所述特征点匹配判断单元10获取与所述模板帧图像的所述特征点相匹配的所述 视频模板帧的所述特征点集，并能够计算出改特征点集中的所述特征点与所述模 板帧的相应特征点之间的单应性变换关系，从而根据所述单应性变换关系得出被 跟踪的物体在相邻两幅视频帧中发生的运动，从而实现对物体的跟踪。
参考图5，根据本发明的另一个方面，本发明提供一图像特征点的提取方法， 其中所述方法包括以下步骤：
(A)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B)根据判断的结果，提取特征点；
(C)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断所 述特征点满足所述基准数据对特征点相应的要求；以及
(D)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不满 足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)。
参考图6，根据本发明另一个方面，本发明提供一目标物跟踪的方法，包括 以下部步骤：
(A1)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B1)根据判断的结果，提取特征点；
(C1)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断 所述特征点满足所述基准数据对特征点相应的要求；
(D1)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不 满足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)；
(E1)将提取的所述特征点与一模板帧的特征点进行匹配以形成一特征点集； 以及
(F1)计算所述特征点集中的所述特征点与所述模板帧的所述特征点之间的 单应性变换。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为 举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及 结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式 可以有任何变形或修改。
Claims (11)
1.一图像特征点提取***，其特征在于，包括：
一特征点判断单元，以根据一特征点判断阈值对图像中的点进行特征点的判断；
一特征点提取单元，其中所述特征点提取单元被通信连接于所述特征点判断单元，以提取相应所述特征点；以及
一纹理丰富度判断单元，其中所述纹理丰富度判断单元被通信连接于所述特征点判断单元和所述特征点提取单元，其中所述纹理丰富度判断单元根据一基准数据分析被所述特征点提取单元提取的所述特征点是否符合所述基准数据对应点要求，当不符合时，所述纹理丰富度判断单元相应地形成一更新数据以改变所述判断阈值。
2.根据权利要求1所述的图像特征点提取***，其中所述纹理丰富度判断单元包括一纹理丰富度判断模块和一特征点变化判断模块，其中所述图像特征点提取***进一步包括一均匀化处理单元，其中所述纹理丰富度判断模块被通信连接于所述特征点判断单元和所述特征点提取单元，以根据一基准数据分析被所述特征点提取单元提取的所述特征点是否符合所述基准数据对应点要求，其中所述特征点变化判断模块被通信连接于所述特征点提取单元和所述纹理丰富度判断模块，其中所述特征点变化判断模块能够将当前提取的所述特征点与前一次提取的所述特征点进行比较，并能够判断所述特征点前后变化是否满足一变化阈值，其中所述均匀化处理单元被通信连接于所述特征点变化判断模块和所述特征点判断单元，以在所述特征点前后变化满足所述变化阈值时，对图像进行均匀化处理。
3.根据权利要求1所述的图像特征点提取***，其中所述特征点判断阈值是以图像中某像素点半径为R的圆上16个像素点值与中心点像素差的绝对值，若圆上有超过det(Pnum)个像素点与中心点之间的差值超过特征点判断阈值δ，则所述中心点被作为特征点，其判定条件为：
<mrow>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>&ForAll;</mo>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mi>i</mi>
<mi>r</mi>
<mi>c</mi>
<mi>l</mi>
<mi>e</mi>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mo>|</mo>
<mi>g</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>g</mi>
<mi>r</mi>
<mi>a</mi>
<mi>y</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>.</mo>
</mrow>
4.根据权利要求2所述的图像特征点提取***，其中所述特征点变化模块根据以下公式进行判断是否需要对所述图像进行均匀化处理：
Fnum(Ij)<σFnum(T)，
其中所述Fnum(Ij)表示当前物体图像的所述特征点数量，其中所述Fnum(T)为所述物体图像的一关键模板帧的特征点数量，其中所述σ与所述物体的纹理丰富度在整个物体特征影响的系数。
5.根据权利要求4所述的图像特征点提取***，其中所述基准数据对应不同纹理丰富度的物体对应的所述特征点的数量范围δ1-δ2。
6.根据权利要求5所述的图像特征点提取***，其中改变所述特征点判断阈值的函数为：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&rho;</mi>
<mo>+</mo>
</msub>
<mrow>
<mo>(</mo>
<mi>det</mi>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
<mo>,</mo>
<mi>&delta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>></mo>
<msub>
<mi>&delta;</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&rho;</mi>
<mo>-</mo>
</msub>
<mrow>
<mo>(</mo>
<mi>det</mi>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mo>)</mo>
<mo>,</mo>
<mi>&delta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>&delta;</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
7.根据权利要求1所述的图像特征点提取***，其中所述图像特征点提取***进一步包括一数据获取单元，其中所述数据获取单元被通信连接于所述特征点判断单元，其中所述数据获取单元能够获取至少一视屏帧的相关数据。
8.一目标物跟踪***，其特征在于，包括权利要求1至7中任一所述的图像特征点提取***、一特征点匹配判断单元以及一分析单元，其中所述特征点匹配判断单元根据一匹配基准将被提取的所述特征点与一模板帧的特征点进行匹配，以形成一特征点集，其中所述分析单元被通信连接于所述特征点匹配判断单元以计算所述特征点集与所述模板帧的所述特征点之间的单应性变换。
9.根据权利要求8所述的目标物跟踪***，其中所述目标物跟踪***，其中所述数据获取单元包括一模板帧获取模块，其中所述模板帧获取模块被通信连接于所述特征点判断单元，其中所述模板帧获取模块能够存储至少一被跟踪物体的图像相关数据，其中所述特征点判断模块能够判断出所述模板帧的特征点，其中所述特征点提取单元相应地能够提取所述模板帧的所述特征点。
10.一图像特征点的提取方法，其特征在于，其中所述方法包括以下步骤：
(A)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B)根据判断的结果，提取特征点；
(C)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断所述特征点满足所述基准数据对特征点相应的要求；以及
(D)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不满足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)。
11.一目标物跟踪的方法，包括以下部步骤：
(A1)根据一特征点判断阈值，判断当前图像数据中的点是否特征点；
(B1)根据判断的结果，提取特征点；
(C1)比较所述(B)中提取的所述特征点与一基准数据中的特征点以判断所述特征点满足所述基准数据对特征点相应的要求；
(D1)若满足，将所述(B)中提取的特征点作为最终提取的特征点，若不满足，通过改变所述(A)中的所述特征点判断阈值，继续执行所述(A)；
(E1)将提取的所述特征点与一模板帧的特征点进行匹配以形成一特征点集；以及
(F1)计算所述特征点集中的所述特征点与所述模板帧的所述特征点之间的单应性变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183532.3A CN108021921A (zh) | 2017-11-23 | 2017-11-23 | 图像特征点提取***及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183532.3A CN108021921A (zh) | 2017-11-23 | 2017-11-23 | 图像特征点提取***及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108021921A true CN108021921A (zh) | 2018-05-11 |
Family
ID=62080171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711183532.3A Pending CN108021921A (zh) | 2017-11-23 | 2017-11-23 | 图像特征点提取***及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108021921A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060806A (zh) * | 2018-08-29 | 2018-12-21 | 孙燕 | 箱子底端材料类型辨识机构 |
| WO2020052120A1 (zh) * | 2018-09-12 | 2020-03-19 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
| CN112288040A (zh) * | 2020-01-10 | 2021-01-29 | 牧今科技 | 执行用于物体识别的图像分类的方法和*** |
| CN113020428A (zh) * | 2021-03-24 | 2021-06-25 | 北京理工大学 | 级进模的加工监控方法、装置、设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101405783A (zh) * | 2006-03-24 | 2009-04-08 | 丰田自动车株式会社 | 道路区划线检测装置 |
| CN103279952A (zh) * | 2013-05-17 | 2013-09-04 | 华为技术有限公司 | 一种目标跟踪方法和装置 |
| US20140270484A1 (en) * | 2013-03-14 | 2014-09-18 | Nec Laboratories America, Inc. | Moving Object Localization in 3D Using a Single Camera |
| CN104182974A (zh) * | 2014-08-12 | 2014-12-03 | 大连理工大学 | 一种基于特征点进行图像匹配的加速方法 |
| CN104200487A (zh) * | 2014-08-01 | 2014-12-10 | 广州中大数字家庭工程技术研究中心有限公司 | 一种基于orb特征点匹配的目标跟踪方法 |
| US20140368645A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Robust tracking using point and line features |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
| CN107122782A (zh) * | 2017-03-16 | 2017-09-01 | 成都通甲优博科技有限责任公司 | 一种均衡的半密集立体匹配方法 |
| CN107248169A (zh) * | 2016-03-29 | 2017-10-13 | 中兴通讯股份有限公司 | 图像定位方法及装置 |
| CN107369183A (zh) * | 2017-07-17 | 2017-11-21 | 广东工业大学 | 面向mar的基于图优化slam的跟踪注册方法及*** |
-
2017
- 2017-11-23 CN CN201711183532.3A patent/CN108021921A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101405783A (zh) * | 2006-03-24 | 2009-04-08 | 丰田自动车株式会社 | 道路区划线检测装置 |
| US20140270484A1 (en) * | 2013-03-14 | 2014-09-18 | Nec Laboratories America, Inc. | Moving Object Localization in 3D Using a Single Camera |
| CN103279952A (zh) * | 2013-05-17 | 2013-09-04 | 华为技术有限公司 | 一种目标跟踪方法和装置 |
| US20140368645A1 (en) * | 2013-06-14 | 2014-12-18 | Qualcomm Incorporated | Robust tracking using point and line features |
| CN104200487A (zh) * | 2014-08-01 | 2014-12-10 | 广州中大数字家庭工程技术研究中心有限公司 | 一种基于orb特征点匹配的目标跟踪方法 |
| CN104182974A (zh) * | 2014-08-12 | 2014-12-03 | 大连理工大学 | 一种基于特征点进行图像匹配的加速方法 |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
| CN107248169A (zh) * | 2016-03-29 | 2017-10-13 | 中兴通讯股份有限公司 | 图像定位方法及装置 |
| CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
| CN107122782A (zh) * | 2017-03-16 | 2017-09-01 | 成都通甲优博科技有限责任公司 | 一种均衡的半密集立体匹配方法 |
| CN107369183A (zh) * | 2017-07-17 | 2017-11-21 | 广东工业大学 | 面向mar的基于图优化slam的跟踪注册方法及*** |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109060806A (zh) * | 2018-08-29 | 2018-12-21 | 孙燕 | 箱子底端材料类型辨识机构 |
| CN109060806B (zh) * | 2018-08-29 | 2019-09-13 | 陈青 | 箱子底端材料类型辨识机构 |
| WO2020052120A1 (zh) * | 2018-09-12 | 2020-03-19 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
| CN110895699A (zh) * | 2018-09-12 | 2020-03-20 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
| US11403835B2 (en) | 2018-09-12 | 2022-08-02 | Beijing Bytedance Network Technology Co., Ltd. | Method and device for processing feature point of image |
| CN110895699B (zh) * | 2018-09-12 | 2022-09-13 | 北京字节跳动网络技术有限公司 | 用于处理图像的特征点的方法和装置 |
| CN112288040A (zh) * | 2020-01-10 | 2021-01-29 | 牧今科技 | 执行用于物体识别的图像分类的方法和*** |
| CN112288040B (zh) * | 2020-01-10 | 2021-07-23 | 牧今科技 | 执行用于物体识别的图像分类的方法和*** |
| CN113020428A (zh) * | 2021-03-24 | 2021-06-25 | 北京理工大学 | 级进模的加工监控方法、装置、设备及存储介质 |
| CN113020428B (zh) * | 2021-03-24 | 2022-06-28 | 北京理工大学 | 级进模的加工监控方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
| CN108021921A (zh) | 图像特征点提取***及其应用 | |
| CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| CN109614922A (zh) | 一种动静态手势识别方法和*** | |
| CN108416266A (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| WO2016023264A1 (zh) | 指纹识别方法及其指纹识别装置 | |
| US20200380285A1 (en) | Systems and methods for enhancing real-time image recognition | |
| Aiping et al. | Face detection technology based on skin color segmentation and template matching | |
| CN109614933B (zh) | 一种基于确定性拟合的运动分割方法 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN107545550B (zh) | 细胞图像偏色校正方法 | |
| CN103955682A (zh) | 基于surf兴趣点的行为识别方法及装置 | |
| WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及*** | |
| CN110135230A (zh) | 表情辨识训练***及表情辨识训练方法 | |
| CN105139417A (zh) | 视频监控下的多目标实时跟踪方法 | |
| Chen et al. | Edge preservation ratio for image sharpness assessment | |
| CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 | |
| CN105631285A (zh) | 一种生物特征身份识别方法及装置 | |
| CN110826534A (zh) | 一种基于局部主成分分析的人脸关键点检测方法及*** | |
| CN111539975B (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
| CN105335717B (zh) | 基于智能移动终端视频抖动分析的人脸识别*** | |
| CN112926552A (zh) | 基于深度神经网络的遥感影像车辆目标识别模型及方法 | |
| CN106406507B (zh) | 图像处理方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 202177 room 493-61, building 3, No. 2111, Beiyan highway, Chongming District, Shanghai Applicant after: TAPUYIHAI (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 201802 room 412, building 5, No. 1082, Huyi Road, Jiading District, Shanghai Applicant before: TAPUYIHAI (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180511 |