CN105844663A - 一种自适应orb目标跟踪方法 - Google Patents

一种自适应orb目标跟踪方法 Download PDF

Info

Publication number
CN105844663A
CN105844663A CN201610156876.4A CN201610156876A CN105844663A CN 105844663 A CN105844663 A CN 105844663A CN 201610156876 A CN201610156876 A CN 201610156876A CN 105844663 A CN105844663 A CN 105844663A
Authority
CN
China
Prior art keywords
brief
son
steered
characteristic point
fast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610156876.4A
Other languages
English (en)
Other versions
CN105844663B (zh
Inventor
罗大鹏
张明东
罗林波
刘永文
曾志鹏
魏龙生
马丽
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201610156876.4A priority Critical patent/CN105844663B/zh
Publication of CN105844663A publication Critical patent/CN105844663A/zh
Application granted granted Critical
Publication of CN105844663B publication Critical patent/CN105844663B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自适应ORB目标跟踪方法,对FAST特征不具备方向的问题,加入了FAST特征的方向信息,在特征点描述部分则采用基于像素点二进制位比较的BRIEF特征描述子,并改进了BRIEF描述子对图像噪声敏感和不具有旋转不变性的缺点,与SIFT算法相比,ORB算法不仅具有旋转不变性和抗噪声能力,同时运算速度比SIFT算法提高了两个数量级。本发明的自适应ORB目标跟踪方法充分利用了ORB算法的这一特性,并对ORB算法作出进一步改进,然后在此基础上提出了自适应ORB算法,进一步提高运算的速度和跟踪的准确性,更加符合实时跟踪的要求。

Description

一种自适应ORB目标跟踪方法
技术领域
本发明涉及一种自适应ORB目标跟踪方法,属于计算机视觉领域。
背景技术
随着我国的经济不断发展,社会的不断进步,人口的流动量越来越大。庞大的人口流动量给公共安全带来了极大的挑战,为了有效保障城市安全,越来越多的城市不断加大公共场所的监控力度,其中,视频监控就是一个有效的途径。例如,在一个机场,大约要安装2000多个摄像机。目前的监控技术主要是通过摄像机采集被监控场所的实时画面,然后将通过显示设备将采集到的画面进行显示,最终要通过人工来观看监控视频以判断是否有突发事件发生。这是一种被动的监控方式,同时,有研究表明,当人盯着屏幕超过10分钟,将有90%的视频信息将被漏掉,这将使监控的效果大打折扣。为了提高监控效果,同时将监控操作人员从繁杂而枯燥的“盯屏幕”任务解脱出来,就需要我们发展智能视频分析,尽量减少人工干预。智能视频分析包括三个关键步骤:对感兴趣的运动目标进行检测,对检测到的目标进行跟踪,最终对跟踪的目标进行行为分析。所以跟踪在整个智能视频分析中扮演着极其关键重要的作用。
近年来,在智能视频分析方面取得了很大的发展,有许多学者相继提出了各种行之有效的方法,典型的有SIFT算法,Harris角点检测算法和SUSAN算法,它们都可以产生高质量的特征点,例如,SIFT算法具有很好的尺度不变性和旋转不变性,同时对视角和光照变化也具有一定的不变性。但是这些算法的计算量都很大,不利于一些实时跟踪的应用或者在低功耗产品上的应用。针对以上算法的不足,有学者提出了例如FAST检测子、BRIEF描述子等来减小计算量,但是,这些算法在减少运算量的同时,也带来了一些不足,例如:FAST特征不具有方向性,而BRIEF描述子对图像噪声比较敏感,同时也不具有旋转不变性。
发明内容
为了解决现有技术的不足,本发明提供了一种自适应ORB目标跟踪方法,对FAST特征不具备方向的问题,加入了FAST特征的方向信息,在特征点描述部分则采用基于像素点二进制位比较的BRIEF特征描述子,并改进了BRIEF描述子对图像噪声敏感和不具有旋转不变性的缺点,与SIFT算法相比,ORB算法不仅具有旋转不变性和抗噪声能力,同时运算速度比SIFT算法提高了两个数量级。本发明的自适应ORB目标跟踪方法充分利用了ORB算法的这一特性,并对ORB算法作出进一步改进,然后在此基础上提出了自适应ORB算法,进一步提高运算的速度和跟踪的准确性,更加符合实时跟踪的要求。
本发明为解决其技术问题所采用的技术方案是:提供了一种自适应ORB目标跟踪方法,包括以下步骤:
(1)对于动态视频的当前帧,框选目标区域,在目标区域内检测该帧的特征点并加上方向信息:
(1.1)利用FAST算子对当前帧进行特征点检测,得到当前帧的所有FAST特征点;
(1.2)在检测到的FAST特征点中,利用Harris角点检测算子挑选出Harris角点响应值最大的前N个FAST特征点,其中Harris角点相应函数为:
R=detM-k(traceM)2
其中,M为矩阵:
M ( x , y ) = Σ x , y w ( x , y ) I x ( x , y ) 2 I x ( x , y ) I y ( x , y ) I x ( x , y ) I y ( x , y ) I y ( x , y ) 2
对矩阵M(x,y)对角化得到:
M = λ 1 0 0 λ 2
Ix(x,y)和Iy(x,y)为坐标为(x,y)的像素点的灰度值I(x,y)的偏导数,w(x,y)为高斯窗口函数,detM=λ1λ2,traceM=λ12,k为经验常数因子;
(1.3)利用图像金字塔产生多尺度特征;
(1.4)对N个FAST特征点分别加上方向信息,包括以下过程:
(1.4.1)对于一个FAST特征点,定义以该FAST特征点为中心的像素块的矩:
m i j = Σ x , y x i y j I ( x , y )
其中,mij为像素块的矩,i和j分别是矩的阶数的系数;
(1.4.2)对于像素块,通过以下公式计算其亮度质心C:
C = m 10 m 00 , m 01 m 00
其中,m00是像素块的0阶矩,m01和m10是像素块的1阶矩;
设像素块的中心点为O,则中心点O到亮度质心C构成向量则FAST特征点的方向为θ:
θ=atan2(m01,m10)
(2)对FAST特征点进行描述:
(2.1)对当前帧进行高斯模糊;
(2.2)生成BRIEF描述子,包括以下过程:
(2.2.1)在D×D的图像块区域定义一个τ测试:
&tau; ( I ; P 1 , P 2 ) = 1 : I ( P 1 ) < I ( P 2 ) 0 : I ( P 1 ) &GreaterEqual; I ( P 2 )
其中,I(P1)表示点P1(u,v)处的灰度值,I(P2)表示点P2(p,q)处的灰度值,D为设置值;
(2.2.2)在D×D的图像块区域中随机选出n对点P1i,P2i进行τ测试,得到长度为n的二进制串,即BRIEF描述子:
(2.3)对BRIEF描述子进行旋转,生成steered BRIEF描述子,包括以下过程:
(2.3.1)将随机选出的n对点P1i,P2i构建特征测试集,用2×n矩阵表示:
S = P 1 1 , ... , P 1 n P 2 1 , ... , P 2 n
(2.3.2)利用FAST特征点的方向θ对矩阵S进行旋转,得到矩阵Sθ
Sθ=RθS
其中Rθ为旋转矩阵:
R &theta; = c o s &theta; s i n &theta; - s i n &theta; c o s &theta;
(2.3.3)生成steered BRIEF描述子为:
gn(I;θ):=fn(I)|(P1i,P2i)∈Sθ
(2.4)利用贪婪搜索法从特征测试集中筛选出满足要求的steered BRIEF描述子构成rBRIEF,包括以下过程:
(2.4.1)计算所有的steered BRIEF描述子与0.5的距离,并对其进行排序,利用排序后的steered BRIEF描述子构建向量T;
(2.4.2)进行贪婪搜索:创建一个结果向量R,将向量T中的第一个steered BRIEF描述子放入R中,并将其从T中提出,然后将T中的下一个steered BRIEF描述子取出来与R中的所有steered BRIEF描述子进行比较,计算T中取出的steered BRIEF描述子与R中的所有steered BRIEF描述子的相关性,如果相关性超过设定的阈值threshold,则将取出的steered BRIEF描述子丢弃,否则将取出的steered BRIEF描述子放入R中;
(2.4.3)重复步骤(2.4.2)直到R中有n个steered BRIEF描述子,或则T中所有的steered BRIEF描述子比较完毕;若R中有n个steered BRIEF描述子,则向量R中的steeredBRIEF描述子即为rBRIEF描述子,则进入步骤(3),否则调高threshold,回到步骤(2.4.1)开始重构向量T并重新进行贪婪搜索;
(3)进入下一帧,以下一帧作为当前帧对其重复步骤(1)和步骤(2)的过程,得到该帧的FAST特征点及其rBRIEF描述子;
(4)计算前后两帧的FAST特征点的描述子之间的汉明距离,如果汉明距离在设定的阈值范围内,则前后两帧的FAST特征点匹配成功,后一帧匹配成功的特征点所组成的区域为跟踪区域;否则匹配失败;
(5)对跟踪区域内的FAST特征点进行统计以计算跟踪区域的重心,计算重心到每一个FAST特征点的欧氏距离并求出其中的最大值,以重心为圆心,以欧氏距离最大值为半径画圆,以该圆的外接矩形作为跟踪结果边界框;以后一帧的跟踪结果边界框划定的范围作为对该帧的下一帧进行预判,将该范围作为下一帧的目标区域,返回步骤(3),直到完成动态视频的所有前后两帧的匹配。
步骤(1.1)中利用FAST算子进行特征点检测,包括以下过程:
(1.1.1)从当前帧选取一像素点P作为待检测的点,以像素点P为圆心、半径等于3像素的离散化的Bresenhan圆上有16个像素点,从上方中间像素点开始顺时针对该16个像素点进行排序;
(1.1.2)将像素点P的灰度值IP分别于第1个、第5个、第9个和第13个像素点的灰度值进行比较,如果第1个、第5个、第9个和第13个像素点中至少有3个像素点的灰度值都大于IP+t,或者都小于IP-t,则继续将P的像素值与Bresenhan圆上其他像素点的灰度值进行比较,否则将P点丢弃;如果包括第1个、第5个、第9个和第13个像素点在内,有z个连续的像素点的灰度值都大于IP+t,或者都小于IP-t,则P为一个FAST特征点;其中t为设定的阈值。
z设置为9。
n为256。
经验常数因子k取值0.04。
本发明基于其技术方案所具有的有益效果在于:本发明充分利用ORB算法具有旋转不变性,运算速度快,跟踪效果好的特点,同时对ORB算法进行了改进,其改进主要体现在(1)根据当前帧的跟踪结果预判下一帧的跟踪范围,然后在预判区域内进行特征点检测和特征点描述,从而可以减少计算量,提高跟踪速度,同时在小范围内提取特征并进行匹配,可以有效提高匹配的正确率,提高跟踪精度;(2)把当前帧的跟踪结果(包含特征点和描述子的信息)保存起来作为下一帧跟踪模板的图像,节省了下一帧跟踪时对模板图像进行特征点提取的耗时,从而缩短了跟踪时间;(3)提出了自适应的概念,其自适应性体现在跟踪结果的边界框bounding box的大小可以根据每一帧中特征点的个数及其分布自行调整。例如,当跟踪目标缩小时,特征点个数较少且分布较集中,边界框缩小,同时提高了抗干扰能力。自适应主要是首先对跟踪区域内的特征点进行统计,计算其重心,然后求重心到每一个特征点的欧式距离,并求出其最大值,以特征点的重心为圆心,最大距离为半径画圆,以该圆的外接矩形作为跟踪结果边界框。
附图说明
图1 FAST特征点检测原理示意图;
图2示出自适应原理图;
图3是本发明的流程图;
图4示出了本发明的方法与ORB算法的跟踪结果对比;
图4a-4c是ORB的跟踪结果;
图4d-4f是本发明的方法的跟踪结果;
图5是本发明与ORB算法跟踪时间对比;
图6示出了本发明的方法与传统的LK、MSIFT跟踪算法对T50战机的跟踪结果对比;
图6a-6c是LK光流的跟踪结果;
图6d-6f是MSIFT算法的跟踪结果;
图6g-6i是本发明的方法的跟踪结果;
图7示出了本发明的方法与传统的LK、MSIFT跟踪算法对T50战机的跟踪时间对比;
图8示出了本发明的方法与传统的LK、MSIFT跟踪算法对DJI S1000飞行器的跟踪结果对比;
图8a-8c是LK光流的跟踪结果;
图8d-8f是MSIFT算法的跟踪结果;
图8g-8i是本发明的方法的跟踪结果;
图9示出了本发明的方法与传统的LK、MSIFT跟踪算法对DJI S1000飞行器跟踪的时间对比;
图10示出了本发明的方法与传统的LK、MSIFT跟踪算法对滑雪运动者的跟踪结果对比;
图10a-10c是LK光流的跟踪结果;
图10d-10f是MSIFT算法的跟踪结果;
图10g-10i是本发明的方法的跟踪结果;
图11示出了本发明的方法与传统的LK、MSIFT跟踪算法对滑雪运动者的跟踪的时间对比。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明提供了一种自适应ORB目标跟踪方法,参照图3,包括以下步骤:
(1)对于动态视频的当前帧,框选目标区域,在目标区域内检测该帧的特征点并加上方向信息:
(1.1)利用FAST算子对当前帧进行特征点检测,得到当前帧的所有FAST特征点,参照图1,包括以下过程:
(1.1.1)从当前帧选取一像素点P作为待检测的点,以像素点P为圆心、半径等于3像素的离散化的Bresenhan圆上有16个像素点,从上方中间像素点开始顺时针对该16个像素点进行排序;
(1.1.2)将像素点P的灰度值IP分别于第1个、第5个、第9个和第13个像素点的灰度值进行比较,如果第1个、第5个、第9个和第13个像素点中至少有3个像素点的灰度值都大于IP+t,或者都小于IP-t,则继续将P的像素值与Bresenhan圆上其他像素点的灰度值进行比较,否则将P点丢弃;如果包括第1个、第5个、第9个和第13个像素点在内,有z个连续的像素点的灰度值都大于IP+t,或者都小于IP-t,则P为一个FAST特征点;其中t为设定的阈值;
比较1、5、9、13像素点能够加快检测速度;
(1.2)在检测到的FAST特征点中,利用Harris角点检测算子挑选出Harris角点响应值最大的前N个FAST特征点,其中Harris角点相应函数为:
R=detM-k(traceM)2
其中,M为矩阵:
M ( x , y ) = &Sigma; x , y w ( x , y ) I x ( x , y ) 2 I x ( x , y ) I y ( x , y ) I x ( x , y ) I y ( x , y ) I y ( x , y ) 2
对矩阵M(x,y)对角化得到:
M = &lambda; 1 0 0 &lambda; 2
Ix(x,y)和Iy(x,y)为坐标为(x,y)的像素点的灰度值I(x,y)的偏导数,w(x,y)为高斯窗口函数,detM=λ1λ2,traceM=λ12,k为经验常数因子;
(1.3)利用图像金字塔产生多尺度特征:
图像金字塔产生多尺度是现有技术,图像金字塔是一个图像集,集合中的所有图像都源于同一个原始图像,而且是通过对原始图像连续降采样得到。要从金字塔第i层生成第i+1层(用Gi+1表示第i+1层,原始图像为第0层,用G0表示),先用高斯核对第i层进行卷积,然后删除所有的偶数行和偶数列,这样得到第i+1层,新得到的图像大小会变为原来的四分之一。通过对G0(原始图像)不停迭代,就可以得到整个金字塔,ORB算法中,迭代八次,即:得到8层金字塔;然后再在每一层图像上重复(1.1)、(1.2)步骤,从而构成多尺度特征;
(1.4)对N个FAST特征点分别加上方向信息,包括以下过程:
(1.4.1)对于一个FAST特征点,定义以该FAST特征点为中心的像素块的矩:
m i j = &Sigma; x , y x i y j I ( x , y )
其中,mij为像素块的矩,i和j分别是矩的阶数的系数;
(1.4.2)对于像素块,通过以下公式计算其亮度质心C:
C = m 10 m 00 , m 01 m 00
其中,m00是像素块的0阶矩,m01和m10是像素块的1阶矩;
设像素块的中心点为O,则中心点O到亮度质心C构成向量则FAST特征点的方向为θ:
θ=atan2(m01,m10)
atan2是正切函数的一个变种,对于任意不同时等于0的实参数x和y,atan2(x,y)所表达的意思是坐标原点为起点,指向(x,y)的射线在坐标平面上与x轴正方向之间的角度。当y>0时,射线与x轴正方向的所得的角的角度指的是x轴正方向绕逆时针方向到达射线旋转的角的角度;而当y<0时,射线与x轴正方向所得的角的角度指的是x轴正方向绕顺时针方向达到射线旋转的角的角度;
(2)对FAST特征点进行描述:
(2.1)对当前帧进行平滑处理,即进行高斯模糊;
(2.2)生成BRIEF描述子,包括以下过程:
(2.2.1)在D×D的图像块区域定义一个τ测试:
&tau; ( I ; P 1 , P 2 ) = 1 : I ( P 1 ) < I ( P 2 ) 0 : I ( P 1 ) &GreaterEqual; I ( P 2 )
其中,I(P1)表示点P1(u,v)处的灰度值,I(P2)表示点P2(p,q)处的灰度值,D为设置值;
(2.2.2)在D×D的图像块区域中随机选出n对点P1i,P2i进行τ测试,得到长度为n的二进制串,即BRIEF描述子:
P1i,P2i不是特征点,它们是在以FAST特征点为中心、S×S的区域中选出的,P1i,P2i构成一个点对,最终需要选出n个点对,实验证明,P1i,P2i按照它们到特征点的距离服从的高斯分布选取效果最好。
(2.3)对BRIEF描述子进行旋转,生成steered BRIEF描述子,包括以下过程:
(2.3.1)将随机选出的n对点P1i,P2i构建特征测试集,用2×n矩阵表示:
S = P 1 1 , ... , P 1 n P 2 1 , ... , P 2 n
(2.3.2)利用FAST特征点的方向θ对矩阵S进行旋转,得到矩阵Sθ
Sθ=RθS
其中Rθ为旋转矩阵:
R &theta; = c o s &theta; s i n &theta; - s i n &theta; c o s &theta;
(2.3.3)生成steered BRIEF描述子为:
gn(I;θ):=fn(I)|(P1i,P2i)∈Sθ
(2.4)利用贪婪搜索法从特征测试集中筛选出满足要求的steered BRIEF描述子构成rBRIEF,包括以下过程:
(2.4.1)计算所有的steered BRIEF描述子与0.5的距离,并对其进行排序,利用排序后的steered BRIEF描述子构建向量T;
(2.4.2)进行贪婪搜索:创建一个结果向量R,将向量T中的第一个steered BRIEF描述子放入R中,并将其从T中提出,然后将T中的下一个steered BRIEF描述子取出来与R中的所有steered BRIEF描述子进行比较,计算T中取出的steered BRIEF描述子与R中的所有steered BRIEF描述子的相关性,如果相关性超过设定的阈值threshold,则将取出的steered BRIEF描述子丢弃,否则将取出的steered BRIEF描述子放入R中;
(2.4.3)重复步骤(2.4.2)直到R中有n个steered BRIEF描述子,或则T中所有的steered BRIEF描述子比较完毕;若R中有n个steered BRIEF描述子,则向量R中的steeredBRIEF描述子即为rBRIEF描述子,则进入步骤(3),否则调高threshold,回到步骤(2.4.1)开始重构向量T并重新进行贪婪搜索;
(3)进入下一帧,以下一帧作为当前帧对其重复步骤(1)和步骤(2)的过程,得到该帧的FAST特征点及其rBRIEF描述子;
(4)进行特征点匹配,由于特征点的描述子是一串二进制字符串,所以可以通过计算rBRIEF描述子之间的汉明距离,如果汉明距离在设定的阈值范围内,则匹配成功,否则匹配失败:计算前后两帧的FAST特征点的描述子之间的汉明距离,如果汉明距离在设定的阈值范围内,则前后两帧的FAST特征点匹配成功,后一帧匹配成功的特征点所组成的区域为跟踪区域;否则匹配失败;
(5)参照图2,为自适应过程:对跟踪区域内的FAST特征点进行统计以计算跟踪区域的重心,计算重心到每一个FAST特征点的欧氏距离并求出其中的最大值,以重心为圆心,以欧氏距离最大值为半径画圆,以该圆的外接矩形作为跟踪结果边界框;以后一帧的跟踪结果边界框划定的范围作为对该帧的下一帧进行预判,将该范围作为下一帧的目标区域,返回步骤(3),直到完成动态视频的所有前后两帧的匹配。
z设置为9。
n为256。
经验常数因子k取值0.04。
从图4对比中可以看出,本发明的跟踪准确率优于ORB算法的跟踪准确率;从图5的对比中,可以看出本发明的跟踪所用的时间低于ORB算法所用的时间,即本发明的跟踪速度高于ORB的跟踪速度;从图6、图8、图10中可以看出,对不同物体的跟踪,本发明的方法跟踪的准确率均由于传统的LK、MSIFT算法的跟踪准确率;从图7、图9、图11中可以看出,本发明跟踪所用的时间均低于传统的LK、MSIFT跟踪算法所用的时间,也即本发明的方法的跟踪速度高于传统的LK、MSIFT跟踪算法的速度。综上,无论是与传统的LK、MSIFT跟踪算法相比,还是跟ORB算法相比,本发明的跟踪准确率和跟踪速度均比较有优势,实现了又快又准的目的。

Claims (5)

1.一种自适应ORB目标跟踪方法,其特征在于包括以下步骤:
(1)对于动态视频的当前帧,框选目标区域,在目标区域内检测该帧的特征点并加上方向信息:
(1.1)利用FAST算子对当前帧进行特征点检测,得到当前帧的所有FAST特征点;
(1.2)在检测到的FAST特征点中,利用Harris角点检测算子挑选出Harris角点响应值最大的前N个FAST特征点,其中Harris角点相应函数为:
R=detM-k(traceM)2
其中,M为矩阵:
M ( x , y ) = &Sigma; x , y w ( x , y ) I x ( x , y ) 2 I x ( x , y ) I y ( x , y ) I x ( x , y ) I y ( x , y ) I y ( x , y ) 2
对矩阵M(x,y)对角化得到:
M = &lambda; 1 0 0 &lambda; 2
Ix(x,y)和Iy(x,y)为坐标为(x,y)的像素点的灰度值I(x,y)的偏导数,w(x,y)为高斯窗口函数,detM=λ1λ2,traceM=λ12,k为经验常数因子;
(1.3)利用图像金字塔产生多尺度特征;
(1.4)对N个FAST特征点分别加上方向信息,包括以下过程:
(1.4.1)对于一个FAST特征点,定义以该FAST特征点为中心的像素块的矩:
m i j = &Sigma; x , y x i y j I ( x , y )
其中,mij为像素块的矩,i和j分别是矩的阶数的系数;
(1.4.2)对于像素块,通过以下公式计算其亮度质心C:
C = m 10 m 00 , m 01 m 00
其中,m00是像素块的0阶矩,m01和m10是像素块的1阶矩;
设像素块的中心点为O,则中心点O到亮度质心C构成向量则FAST特征点的方向为θ:
θ=atan2(m01,m10)
(2)对FAST特征点进行描述:
(2.1)对当前帧进行高斯模糊;
(2.2)生成BRIEF描述子,包括以下过程:
(2.2.1)在D×D的图像块区域定义一个τ测试:
&tau; ( I ; P 1 , P 2 ) = 1 : I ( P 1 ) < I ( P 2 ) 0 : I ( P 1 ) &GreaterEqual; I ( P 2 )
其中,I(P1)表示点P1(u,v)处的灰度值,I(P2)表示点P2(p,q)处的灰度值,D为设置值;
(2.2.2)在D×D的图像块区域中随机选出n对点P1i,P2i进行τ测试,得到长度为n的二进制串,即BRIEF描述子:
(2.3)对BRIEF描述子进行旋转,生成steered BRIEF描述子,包括以下过程:
(2.3.1)将随机选出的n对点P1i,P2i构建特征测试集,用2×n矩阵表示:
S = P 1 1 , ... , P 1 n P 2 1 , ... , P 2 n
(2.3.2)利用FAST特征点的方向θ对矩阵S进行旋转,得到矩阵Sθ
Sθ=RθS
其中Rθ为旋转矩阵:
R &theta; = c o s &theta; s i n &theta; - s i n &theta; cos &theta;
(2.3.3)生成steered BRIEF描述子为:
gn(I;θ):=fn(I)|(P1i,P2i)∈Sθ
(2.4)利用贪婪搜索法从特征测试集中筛选出满足要求的steered BRIEF描述子构成rBRIEF,包括以下过程:
(2.4.1)计算所有的steered BRIEF描述子与0.5的距离,并对其进行排序,利用排序后的steered BRIEF描述子构建向量T;
(2.4.2)进行贪婪搜索:创建一个结果向量R,将向量T中的第一个steered BRIEF描述子放入R中,并将其从T中提出,然后将T中的下一个steered BRIEF描述子取出来与R中的所有steered BRIEF描述子进行比较,计算T中取出的steered BRIEF描述子与R中的所有steered BRIEF描述子的相关性,如果相关性超过设定的阈值threshold,则将取出的steered BRIEF描述子丢弃,否则将取出的steered BRIEF描述子放入R中;
(2.4.3)重复步骤(2.4.2)直到R中有n个steered BRIEF描述子,或则T中所有的steered BRIEF描述子比较完毕;若R中有n个steered BRIEF描述子,则向量R中的steeredBRIEF描述子即为rBRIEF描述子,则进入步骤(3),否则调高threshold,回到步骤(2.4.1)开始重构向量T并重新进行贪婪搜索;
(3)进入下一帧,以下一帧作为当前帧对其重复步骤(1)和步骤(2)的过程,得到该帧的FAST特征点及其rBRIEF描述子;
(4)计算前后两帧的FAST特征点的描述子之间的汉明距离,如果汉明距离在设定的阈值范围内,则前后两帧的FAST特征点匹配成功,后一帧匹配成功的特征点所组成的区域为跟踪区域;否则匹配失败;
(5)对跟踪区域内的FAST特征点进行统计以计算跟踪区域的重心,计算重心到每一个FAST特征点的欧氏距离并求出其中的最大值,以重心为圆心,以欧氏距离最大值为半径画圆,以该圆的外接矩形作为跟踪结果边界框;以后一帧的跟踪结果边界框划定的范围作为对该帧的下一帧进行预判,将该范围作为下一帧的目标区域,返回步骤(3),直到完成动态视频的所有前后两帧的匹配。
2.根据权利要求1所述的自适应ORB目标跟踪方法,其特征在于:步骤(1.1)中利用FAST算子进行特征点检测,包括以下过程:
(1.1.1)从当前帧选取一像素点P作为待检测的点,以像素点P为圆心、半径等于3像素的离散化的Bresenhan圆上有16个像素点,从上方中间像素点开始顺时针对该16个像素点进行排序;
(1.1.2)将像素点P的灰度值IP分别于第1个、第5个、第9个和第13个像素点的灰度值进行比较,如果第1个、第5个、第9个和第13个像素点中至少有3个像素点的灰度值都大于IP+t,或者都小于IP-t,则继续将P的像素值与Bresenhan圆上其他像素点的灰度值进行比较,否则将P点丢弃;如果包括第1个、第5个、第9个和第13个像素点在内,有z个连续的像素点的灰度值都大于IP+t,或者都小于IP-t,则P为一个FAST特征点;其中t为设定的阈值。
3.根据权利要求2所述的自适应ORB目标跟踪方法,其特征在于:z设置为9。
4.根据权利要求1所述的自适应ORB目标跟踪方法,其特征在于:n为256。
5.根据权利要求1所述的自适应ORB目标跟踪方法,其特征在于:经验常数因子k取值0.04。
CN201610156876.4A 2016-03-21 2016-03-21 一种自适应orb目标跟踪方法 Expired - Fee Related CN105844663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610156876.4A CN105844663B (zh) 2016-03-21 2016-03-21 一种自适应orb目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610156876.4A CN105844663B (zh) 2016-03-21 2016-03-21 一种自适应orb目标跟踪方法

Publications (2)

Publication Number Publication Date
CN105844663A true CN105844663A (zh) 2016-08-10
CN105844663B CN105844663B (zh) 2018-11-27

Family

ID=56587345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610156876.4A Expired - Fee Related CN105844663B (zh) 2016-03-21 2016-03-21 一种自适应orb目标跟踪方法

Country Status (1)

Country Link
CN (1) CN105844663B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106846367A (zh) * 2017-02-15 2017-06-13 北京大学深圳研究生院 一种基于运动约束光流法的复杂动态场景的运动物体检测方法
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN107392934A (zh) * 2017-06-01 2017-11-24 浙江大学 原位高分辨透射电镜视频动态无漂移的处理方法
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海(上海)智能科技有限公司 图像特征点提取***及其应用
CN108171734A (zh) * 2017-12-25 2018-06-15 西安因诺航空科技有限公司 一种orb特征提取与匹配的方法及装置
CN108455228A (zh) * 2017-12-29 2018-08-28 长春师范大学 轮胎自动装载***
CN108898615A (zh) * 2018-06-15 2018-11-27 阿依瓦(北京)技术有限公司 用于高频信息图像的块匹配方法
CN109146920A (zh) * 2018-06-29 2019-01-04 西北工业大学 一种可嵌入式实现的目标跟踪方法
CN109325962A (zh) * 2017-07-31 2019-02-12 株式会社理光 信息处理方法、装置、设备以及计算机可读存储介质
CN109615645A (zh) * 2018-12-07 2019-04-12 国网四川省电力公司电力科学研究院 基于视觉的特征点提取方法
CN109919971A (zh) * 2017-12-13 2019-06-21 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110046623A (zh) * 2019-03-04 2019-07-23 青岛小鸟看看科技有限公司 一种图像特征点提取方法和相机
CN110516528A (zh) * 2019-07-08 2019-11-29 杭州电子科技大学 一种基于运动背景下的动目标检测和跟踪方法
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学(武汉) 一种自适应选择特征的相关滤波跟踪方法
CN112037193A (zh) * 2020-08-28 2020-12-04 长安大学 一种电力线路特征标记方法及装置
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113554036A (zh) * 2021-07-07 2021-10-26 浙江工业大学 一种改进orb算法的特征点提取与匹配方法
CN113850351A (zh) * 2021-12-01 2021-12-28 武汉依迅北斗时空技术股份有限公司 图像特征点的匹配方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1308896A2 (en) * 2001-11-05 2003-05-07 Samsung Electronics Co., Ltd. Illumination-invariant object tracking method and image editing system using the same
CN102074000A (zh) * 2010-11-23 2011-05-25 天津市亚安科技电子有限公司 一种利用方差率最优解自适应调整窗宽的跟踪方法
CN102903121A (zh) * 2012-08-31 2013-01-30 四川九洲电器集团有限责任公司 基于运动目标跟踪的融合算法
CN103517042A (zh) * 2013-10-17 2014-01-15 吉林大学 一种养老院老人危险行为监测方法
CN103745240A (zh) * 2013-12-20 2014-04-23 许雪梅 一种基于Haar分类器和ORB特征的人脸检索方法及***
CN103793715A (zh) * 2014-02-13 2014-05-14 电子科技大学 基于场景信息挖掘的井下人员目标跟踪方法
CN104200487A (zh) * 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1308896A2 (en) * 2001-11-05 2003-05-07 Samsung Electronics Co., Ltd. Illumination-invariant object tracking method and image editing system using the same
CN102074000A (zh) * 2010-11-23 2011-05-25 天津市亚安科技电子有限公司 一种利用方差率最优解自适应调整窗宽的跟踪方法
CN102903121A (zh) * 2012-08-31 2013-01-30 四川九洲电器集团有限责任公司 基于运动目标跟踪的融合算法
CN103517042A (zh) * 2013-10-17 2014-01-15 吉林大学 一种养老院老人危险行为监测方法
CN103745240A (zh) * 2013-12-20 2014-04-23 许雪梅 一种基于Haar分类器和ORB特征的人脸检索方法及***
CN103793715A (zh) * 2014-02-13 2014-05-14 电子科技大学 基于场景信息挖掘的井下人员目标跟踪方法
CN104200487A (zh) * 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780557B (zh) * 2016-12-23 2020-06-09 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN106846367A (zh) * 2017-02-15 2017-06-13 北京大学深圳研究生院 一种基于运动约束光流法的复杂动态场景的运动物体检测方法
CN106846367B (zh) * 2017-02-15 2019-10-01 北京大学深圳研究生院 一种基于运动约束光流法的复杂动态场景的运动物体检测方法
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN106960451B (zh) * 2017-03-13 2019-12-31 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN107392934B (zh) * 2017-06-01 2020-06-12 浙江大学 原位高分辨透射电镜视频动态无漂移的处理方法
CN107392934A (zh) * 2017-06-01 2017-11-24 浙江大学 原位高分辨透射电镜视频动态无漂移的处理方法
CN109325962A (zh) * 2017-07-31 2019-02-12 株式会社理光 信息处理方法、装置、设备以及计算机可读存储介质
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海(上海)智能科技有限公司 图像特征点提取***及其应用
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN109919971A (zh) * 2017-12-13 2019-06-21 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109919971B (zh) * 2017-12-13 2021-07-20 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108171734B (zh) * 2017-12-25 2022-01-07 西安因诺航空科技有限公司 一种orb特征提取与匹配的方法及装置
CN108171734A (zh) * 2017-12-25 2018-06-15 西安因诺航空科技有限公司 一种orb特征提取与匹配的方法及装置
CN108455228A (zh) * 2017-12-29 2018-08-28 长春师范大学 轮胎自动装载***
CN108898615A (zh) * 2018-06-15 2018-11-27 阿依瓦(北京)技术有限公司 用于高频信息图像的块匹配方法
CN109146920A (zh) * 2018-06-29 2019-01-04 西北工业大学 一种可嵌入式实现的目标跟踪方法
CN109146920B (zh) * 2018-06-29 2021-12-28 西北工业大学 一种可嵌入式实现的目标跟踪方法
CN109615645A (zh) * 2018-12-07 2019-04-12 国网四川省电力公司电力科学研究院 基于视觉的特征点提取方法
CN110046623A (zh) * 2019-03-04 2019-07-23 青岛小鸟看看科技有限公司 一种图像特征点提取方法和相机
CN109961103B (zh) * 2019-04-02 2020-10-27 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN109961103A (zh) * 2019-04-02 2019-07-02 北京迈格威科技有限公司 特征提取模型的训练方法、图像特征的提取方法及装置
CN110516528A (zh) * 2019-07-08 2019-11-29 杭州电子科技大学 一种基于运动背景下的动目标检测和跟踪方法
CN110544267A (zh) * 2019-07-24 2019-12-06 中国地质大学(武汉) 一种自适应选择特征的相关滤波跟踪方法
CN110544267B (zh) * 2019-07-24 2022-03-15 中国地质大学(武汉) 一种自适应选择特征的相关滤波跟踪方法
CN112037193A (zh) * 2020-08-28 2020-12-04 长安大学 一种电力线路特征标记方法及装置
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113554036A (zh) * 2021-07-07 2021-10-26 浙江工业大学 一种改进orb算法的特征点提取与匹配方法
CN113850351A (zh) * 2021-12-01 2021-12-28 武汉依迅北斗时空技术股份有限公司 图像特征点的匹配方法及装置

Also Published As

Publication number Publication date
CN105844663B (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN105844663A (zh) 一种自适应orb目标跟踪方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN104778690B (zh) 一种基于摄像机网络的多目标定位方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其***
Cao et al. Rapid detection of blind roads and crosswalks by using a lightweight semantic segmentation network
CN102184541B (zh) 多目标优化人体运动跟踪方法
CN110795982A (zh) 一种基于人体姿态分析的表观视线估计方法
CN101763515A (zh) 一种基于计算机视觉的实时手势交互方法
CN103426179B (zh) 一种基于均值偏移多特征融合的目标跟踪方法及装置
CN103745483A (zh) 一种基于球场比赛视频图像的移动目标位置自动检测方法
CN109460267A (zh) 移动机器人离线地图保存与实时重定位方法
CN106096621B (zh) 基于矢量约束的着降位置检测用随机特征点选取方法
CN109766873A (zh) 一种混合可变形卷积的行人再识别方法
CN105279769A (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN109409215A (zh) 基于深度卷积神经网络的前方车辆半遮挡人体的检测方法
CN108961385A (zh) 一种slam构图方法及装置
Wang et al. Deep learning based target detection algorithm for motion capture applications
Jing et al. Sports image detection based on FPGA hardware system and particle swarm algorithm
CN116188695A (zh) 三维手部姿态模型的构建方法和三维手部姿态估计方法
Jin Player target tracking and detection in football game video using edge computing and deep learning
CN107610224A (zh) 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
Li et al. 3D-Yoga: a 3D yoga dataset for visual-based hierarchical sports action analysis
Yue et al. SCFNet: Semantic correction and focus network for remote sensing image object detection
Liu et al. Orientation robust object detection in aerial images based on r-nms
CN107341483A (zh) 一种基于旋转矫正网络的稳健行人检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181127

Termination date: 20190321