发明内容
本发明要解决的技术问题是,在空间域提取特征,在频域计算位移和尺度变化的目标追踪。
首先在空间域对目标及其周围一定区域的图像提取特征。然后对提取的特征进行傅里叶变换。在频域内,将实时特征与特征模板做回归运算,得到不同尺度下目标位移的置信度矩阵,并预测目标的尺度和位移变化。
解决上述技术问题,本发明提供了一种基于频域回归模型目标追踪方法,包括如下步骤:
选择目标区域,根据所述目标区域中的图像提取空间域特征;
对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
更进一步,追踪方法还包括,根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到。
更进一步,在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。
更进一步,通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
更进一步,所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
更进一步,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
更进一步,所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
更进一步,所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
其中,N=64,i和j分别为横纵坐标位置。
本发明提供了基于频域回归模型目标追踪***,包括:
空间域提取单元,用以选择目标区域,根据所述目标区域中的图像提取空间域特征;
滤波器,用以对所述空间域特征进行汉明滤波;
与滤波器连接的傅里叶变换单元,用以对滤波器的输出进行傅里叶变换,得到实时特征;
置信度矩阵单元,用以根据特征模板与所述实时特征进行回归运算得到置信度矩阵;
预测单元,用以对所述目标的位移结果进行预测;
更新单元,用以变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
本发明还提供了高级驾驶辅助***,包括基于频域回归模型目标追踪***、安装在车上的视觉传感器以及预警单元,
视觉传感器,用以采集视频数据;
所述基于频域回归模型目标追踪***,用以从所述视频数据中选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
预警单元,用以在检测到目标车辆和行人的位置后,通过标追踪***实时跟踪上述目标的位置,提示驾驶员是否有碰撞前方的车辆和行人的危险。
本发明的有益效果:
1)由于基于频域回归模型目标追踪方法,包括如下步骤:选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。本发明的目标追踪方法,适用于频域回归的实时性极强的纹理和梯度结合的特征。在本发明中还首次提出通过汉明窗抑制边缘特征,对空间域特征进行优化。
2)由于本发明的空间域特征提取包含了纹理和梯度信息的简单快速的双通道特征,经实验,在intel core i5双核电脑上,双通道特征方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍,在本发明的框架下,两种特征可以取得相似的准确率。
3)由于对所述空间域特征进行汉明滤波,针对边缘特征过强造成的追踪误差,本发明通过对提取的空间域特征进行汉明滤波,能够抑制边缘区域的特征。
4)由于变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,考虑到视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。故优先选取标准尺度0.9倍的区域和1.1倍的区域重复基于频域回归模型目标追踪步骤。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1是本发明一实施例中的基于频域回归模型目标追踪方法流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括如下步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;所述空间域特征包含了纹理和梯度信息的简单快速的双通道特征,首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。在车辆进入目标区域,可以借助车内的高级驾驶辅助***采集图像。所述高级驾驶辅助***,简称ADAS。是利用安装于车上的各式各样的传感器,在第一时间收集车内外的环境数据,进行静、动态物体的辨识、侦测与追踪等技术上的处理,从而能够让驾驶者在最快的时间察觉可能发生的危险,以引起注意和提高安全性的主动安全技术。一般而言,ADAS采用的传感器主要有摄像头、雷达、激光和超声波等,可以探测光、热、压力或其它用于监测汽车状态的变量,通常位于车辆的前后保险杠、侧视镜、驾驶杆内部或者挡风玻璃上。ADAS对驾驶员的提醒功能包括防前车碰撞预警,车道偏离预警,防行人碰撞预警等。
所述步骤S100中的有益效果至少包括:经实验,在intel core i5双核电脑上,采用步骤S100的方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍。故在本发明的框架下,两种特征可以取得相似的准确率。
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;经过上述汉明滤波后,到尺寸为64*64的滤波模板H。再进行傅里叶变换,上述空间域特征经过傅里叶变换后的频域特征。
在一些实施例中,所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
在一些实施例中,所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
其中,N=64,i和j分别为横纵坐标位置。
所述步骤S101中的有益效果至少包括:采用汉明窗,针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
在一些实施例中,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
在一些实施例中,特征模板是被追踪目标的参考模板,可以理解为被追踪目标的历史特征。将特征模板与实时特征做回归运算,再进行傅里叶反变换,可得到64*64大小的置信度矩阵。
在一些实施例中,所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述的步骤。
图2是图1中进一步操作流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
还包括,步骤S104根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值,更新得到,完成对特征模板的更新。
在一些实施例中,通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
图3是图2中进一步操作流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
步骤S104根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到;
步骤S105在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。
具体地,选取不同尺度的f(Z)的最大值进行比较:
max(f(z)s=0.9,1,1.1),
取最大值对应的尺度,即为尺度变化s。
具体地,f(z)对应的最大值的位置,即为位移变化xs,ys,根据回归矩阵的位置变化关系,xs和ys应该按如下公式得到:
其中N=64。
得到新的目标为:
其中xp,yp分别为上一帧目标位置的中心点坐标,wp,hp为上一帧目标的宽和高。
在所述步骤S104中通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
在步骤S100中所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
在步骤S102中根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
在步骤S101中所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
其中,N=64,i和j分别为横纵坐标位置。
图4是本发明一优选实施例中的基于频域回归模型目标追踪方法流程示意图。
步骤S200选择以目标中心点为中心,目标长宽2倍区域的图像,提取图像特征;在步骤S200中将图像归一化到64*64尺寸。
步骤S201汉明窗滤波,抑制边缘特征;针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
步骤S202把空间域特征经过傅里叶变换到频域,得到实时特征;将时域变换到频域。
步骤S203特征模板做回归运算,得到位移置信度矩阵;通过置信度举证,得到特征模板与实时特征的相关性。
步骤S204取标准尺度0.9倍和1.1倍尺度区域重复上述步骤;由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述步骤。
步骤S205选取置信度最大值对应的尺度更新目标尺度,选取置信度最大的位移点计算目标新的位置;
步骤S206用新的特征模板,与特征模板进行线性插值更新特征模板。
本发明的原理:
1.1空间域提取特征
本发明设计了一种包含了纹理和梯度信息的简单快速的双通道特征。首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。此过程非常简单,不再详述。如图5所示,是选择目标周围2倍区域示意图。
然后按照如下公式提取纹理通道特征:
用如下两个卷积核分别对水平和垂直两个方向进行卷积,得到梯度通道特征。
[-1,0,1]、[-1,0,1]T
最终获得的空间域特征记为T。经实验,在intel core i5双核电脑上,此种方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍,在本发明的框架下,两种特征可以取得相似的准确率。
1.2汉明滤波
针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
其中,通过上述公式计算得到尺寸为64*64的滤波模板H,其中N=64,i和j为横纵坐标位置。滤波模板H如图6所示。
1.3对特征进行傅里叶变换
空间域特征经过傅里叶变换后的频域特征记为Z。傅里叶变换的方法非常经典,在此不再详述。
Z=F(T·H)
1.4与特征模板求置信度矩阵
特征模板(记为X)是被追踪目标的参考模板,可以理解为被追踪目标的历史特征。将特征模板与实时特征做回归运算,再进行傅里叶反变换,可得到64*64大小的置信度矩阵f(Z),此矩阵包含了目标中心点为中心,目标长宽2倍区域内不同位移的置信度,即对目标位移预测的结果。
根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,c代表不同的通道,对本发明而言,分别为纹理通道和梯度通道,通道数为2。α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,Y是服从高斯分布的回归目标。需要注意的是,当两张图像在频域求相关性后,再通过傅里叶反变换到空间域,位移为0的点会由中心点变为左上角的点。所以Y的高斯分布的峰值点也应由中心移至左上角,所以Y的高斯分布的峰值点也应由中心移至左上角,请参考图7是高斯分布的峰值点比较。
1.5对不同尺度重复上述步骤并预测尺度和位移变化
由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述步骤。
选取不同尺度的f(Z)的最大值进行比较
max(f(z)s=0.9,1,1.1),
取最大值对应的尺度,即为尺度变化s。
具体地,f(z)对应的最大值的位置,即为位移变化xs,ys,根据回归矩阵的位置变化关系,xs和ys应该按如下公式得到:
其中N=64。
得到新的目标为:
其中xp,yp分别为上一帧目标位置的中心点坐标,wp,hp为上一帧目标的宽和高。
1.6更新特征模板
根据新的目标位置提取特征,与特征模板按照如下公式进行线性插值,完成对新的特征模板的更新。
X=((1-δ)×X1)+(δ×X2)
经大量实验,可以取δ=0.05。
图8是本发明一实施例中的基于频域回归模型目标追踪***结构示意图。
基于频域回归模型目标追踪***10,包括:
空间域提取单元1,用以选择目标区域,根据所述目标区域中的图像提取空间域特征;
滤波器2,用以对所述空间域特征进行汉明滤波;
与滤波器连接的傅里叶变换单元3,用以对滤波器的输出进行傅里叶变换,得到实时特征;
置信度矩阵单元4,用以根据特征模板与所述实时特征进行回归运算得到置信度矩阵;
预测单元5,用以对所述目标的位移结果进行预测;
更新单元6,用以变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
通过上述的基于频域回归模型目标追踪***10,首先在空间域对目标及其周围一定区域的图像提取特征。然后对提取的特征进行傅里叶变换。在频域内,将实时特征与特征模板做回归运算,得到不同尺度下目标位移的置信度矩阵,并预测目标的尺度和位移变化。
在一些实施例中,在空间域提取单元1中,所述空间域特征包含了纹理和梯度信息的简单快速的双通道特征,首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。
在一些实施例中,在滤波器2中,对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;经过上述汉明滤波后,到尺寸为64*64的滤波模板H。
在一些实施例中,在与滤波器连接的傅里叶变换单元3中,进行傅里叶变换,上述空间域特征经过傅里叶变换后的频域特征。
在一些实施例中,置信度矩阵单元4及预测单元5,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
在一些实施例中,在更新单元6中,根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到。在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
图9是本发明一实施例中的高级驾驶辅助***结构示意图
在本实施例中的高级驾驶辅助***,包括基于频域回归模型目标追踪***10、安装在车上的视觉传感器11以及预警单元12,
视觉传感器11,用以采集视频数据;
所述基于频域回归模型目标追踪***10,用以从所述视频数据中选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
预警单元12,用以在检测到目标车辆和行人的位置后,通过标追踪***实时跟踪上述目标的位置,提示驾驶员是否有碰撞前方的车辆和行人的危险。
所属领域的普通技术人员应当理解:以上,所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。