CN106204639A - 基于频域回归模型目标追踪方法、***及高级驾驶辅助*** - Google Patents

基于频域回归模型目标追踪方法、***及高级驾驶辅助*** Download PDF

Info

Publication number
CN106204639A
CN106204639A CN201610498277.0A CN201610498277A CN106204639A CN 106204639 A CN106204639 A CN 106204639A CN 201610498277 A CN201610498277 A CN 201610498277A CN 106204639 A CN106204639 A CN 106204639A
Authority
CN
China
Prior art keywords
target
frequency domain
confidence level
regression model
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610498277.0A
Other languages
English (en)
Inventor
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kai Yi (Beijing) Technology Co., Ltd.
Original Assignee
Kai Yi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Yi (beijing) Technology Co Ltd filed Critical Kai Yi (beijing) Technology Co Ltd
Priority to CN201610498277.0A priority Critical patent/CN106204639A/zh
Publication of CN106204639A publication Critical patent/CN106204639A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于频域回归模型目标追踪方法、***及高级驾驶辅助***,方法包括:选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。本发明的目标追踪方法,适用于频域回归的实时性极强的纹理和梯度结合的特征。在本发明中还首次提出通过汉明窗抑制边缘特征,对空间域特征进行优化。本发明的方法兼顾快速性与鲁棒性,运算资源消耗小,对多目标追踪的场景满足实时性需求。

Description

基于频域回归模型目标追踪方法、***及高级驾驶辅助***
技术领域
本发明涉及图像处理领域,特别涉及基于频域回归模型目标追踪方法、***及高级驾驶辅助***。
背景技术
在基于视觉算法的高级驾驶辅助***(ADAS),目标追踪是一项关键技术,其包括车辆追踪、行人追踪等。尤其在计算资源有限的嵌入式设备中,由于目标检测算法非常耗费运算资源,无法频繁进行。目标追踪技术的意义在于,在目标检测的间隔,用一种快速的方法追踪目标的位置,保证目标的位置在每一帧都可以实时准确地更新。
现有的目标追踪技术大部分是在空域中进行,例如Mean Shift方法,TLD(Tracking-learning Detection)方法等。在空间域进行目标追踪的方法,需要对目标周围的若干备选框进行遍历,利用最优化函数,以大量迭代运算换取准确结果。此种方法无法兼顾快速性与鲁棒性。而基于频域的目标追踪方法,目前没有很好解决尺度可变的问题,只支持单一尺度下的目标追踪。另外,特征选取也是频域方法的一个难题,多数会选用HOG(Histogram of Oriented Gradient)特征,但提取HOG特征运算资源消耗较大,对多目标追踪的场景难以满足实时性需求。除此以外,边缘特征过强,也可能导致错误追踪结果,这个问题目前没有很好地解决。
发明内容
本发明要解决的技术问题是,在空间域提取特征,在频域计算位移和尺度变化的目标追踪。
首先在空间域对目标及其周围一定区域的图像提取特征。然后对提取的特征进行傅里叶变换。在频域内,将实时特征与特征模板做回归运算,得到不同尺度下目标位移的置信度矩阵,并预测目标的尺度和位移变化。
解决上述技术问题,本发明提供了一种基于频域回归模型目标追踪方法,包括如下步骤:
选择目标区域,根据所述目标区域中的图像提取空间域特征;
对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
更进一步,追踪方法还包括,根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到。
更进一步,在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。
更进一步,通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
更进一步,所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
更进一步,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
更进一步,所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
更进一步,所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
h i , j = ( 0.53836 - 0.46164 cos ( 2 π ( N 2 - i ) N - 1 ) ) × ( 0.53836 - 0.46164 cos ( 2 π ( N 2 - j ) N - 1 ) )
其中,N=64,i和j分别为横纵坐标位置。
本发明提供了基于频域回归模型目标追踪***,包括:
空间域提取单元,用以选择目标区域,根据所述目标区域中的图像提取空间域特征;
滤波器,用以对所述空间域特征进行汉明滤波;
与滤波器连接的傅里叶变换单元,用以对滤波器的输出进行傅里叶变换,得到实时特征;
置信度矩阵单元,用以根据特征模板与所述实时特征进行回归运算得到置信度矩阵;
预测单元,用以对所述目标的位移结果进行预测;
更新单元,用以变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
本发明还提供了高级驾驶辅助***,包括基于频域回归模型目标追踪***、安装在车上的视觉传感器以及预警单元,
视觉传感器,用以采集视频数据;
所述基于频域回归模型目标追踪***,用以从所述视频数据中选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
预警单元,用以在检测到目标车辆和行人的位置后,通过标追踪***实时跟踪上述目标的位置,提示驾驶员是否有碰撞前方的车辆和行人的危险。
本发明的有益效果:
1)由于基于频域回归模型目标追踪方法,包括如下步骤:选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。本发明的目标追踪方法,适用于频域回归的实时性极强的纹理和梯度结合的特征。在本发明中还首次提出通过汉明窗抑制边缘特征,对空间域特征进行优化。
2)由于本发明的空间域特征提取包含了纹理和梯度信息的简单快速的双通道特征,经实验,在intel core i5双核电脑上,双通道特征方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍,在本发明的框架下,两种特征可以取得相似的准确率。
3)由于对所述空间域特征进行汉明滤波,针对边缘特征过强造成的追踪误差,本发明通过对提取的空间域特征进行汉明滤波,能够抑制边缘区域的特征。
4)由于变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,考虑到视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。故优先选取标准尺度0.9倍的区域和1.1倍的区域重复基于频域回归模型目标追踪步骤。
附图说明
图1是本发明一实施例中的基于频域回归模型目标追踪方法流程示意图。
图2是图1中进一步操作流程示意图。
图3是图2中进一步操作流程示意图。
图4是本发明一优选实施例中的基于频域回归模型目标追踪方法流程示意图。
图5是选择目标周围2倍区域示意图。
图6是滤波模板H示意图。
图7是高斯分布的峰值点比较。
图8是本发明一实施例中的基于频域回归模型目标追踪***结构示意图。
图9是本发明一实施例中的高级驾驶辅助***结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1是本发明一实施例中的基于频域回归模型目标追踪方法流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括如下步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;所述空间域特征包含了纹理和梯度信息的简单快速的双通道特征,首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。在车辆进入目标区域,可以借助车内的高级驾驶辅助***采集图像。所述高级驾驶辅助***,简称ADAS。是利用安装于车上的各式各样的传感器,在第一时间收集车内外的环境数据,进行静、动态物体的辨识、侦测与追踪等技术上的处理,从而能够让驾驶者在最快的时间察觉可能发生的危险,以引起注意和提高安全性的主动安全技术。一般而言,ADAS采用的传感器主要有摄像头、雷达、激光和超声波等,可以探测光、热、压力或其它用于监测汽车状态的变量,通常位于车辆的前后保险杠、侧视镜、驾驶杆内部或者挡风玻璃上。ADAS对驾驶员的提醒功能包括防前车碰撞预警,车道偏离预警,防行人碰撞预警等。
所述步骤S100中的有益效果至少包括:经实验,在intel core i5双核电脑上,采用步骤S100的方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍。故在本发明的框架下,两种特征可以取得相似的准确率。
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;经过上述汉明滤波后,到尺寸为64*64的滤波模板H。再进行傅里叶变换,上述空间域特征经过傅里叶变换后的频域特征。
在一些实施例中,所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
在一些实施例中,所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
h i , j = ( 0.53836 - 0.46164 cos ( 2 π ( N 2 - i ) N - 1 ) ) × ( 0.53836 - 0.46164 cos ( 2 π ( N 2 - j ) N - 1 ) )
其中,N=64,i和j分别为横纵坐标位置。
所述步骤S101中的有益效果至少包括:采用汉明窗,针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
在一些实施例中,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
在一些实施例中,特征模板是被追踪目标的参考模板,可以理解为被追踪目标的历史特征。将特征模板与实时特征做回归运算,再进行傅里叶反变换,可得到64*64大小的置信度矩阵。
在一些实施例中,所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述的步骤。
图2是图1中进一步操作流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
还包括,步骤S104根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值,更新得到,完成对特征模板的更新。
在一些实施例中,通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
图3是图2中进一步操作流程示意图。
本实施例中的基于频域回归模型目标追踪方法,包括步骤:
步骤S100选择目标区域,根据所述目标区域中的图像提取空间域特征;
步骤S101对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
步骤S102根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
步骤S103变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
步骤S104根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到;
步骤S105在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。
具体地,选取不同尺度的f(Z)的最大值进行比较:
max(f(z)s=0.9,1,1.1),
取最大值对应的尺度,即为尺度变化s。
具体地,f(z)对应的最大值的位置,即为位移变化xs,ys,根据回归矩阵的位置变化关系,xs和ys应该按如下公式得到:
x s = x s i f x s < N / 2 x s - N i f x s &GreaterEqual; N / 2 y s = y s i f y s < N / 2 y s - N i f y s &GreaterEqual; N / 2
其中N=64。
得到新的目标为:
O x , y , w , h = O x p + x s , y p + y s , w p * s , h p * s
其中xp,yp分别为上一帧目标位置的中心点坐标,wp,hp为上一帧目标的宽和高。
在所述步骤S104中通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
在步骤S100中所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
在步骤S102中根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
在步骤S101中所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
h i , j = ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - i ) N - 1 ) ) &times; ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - j ) N - 1 ) )
其中,N=64,i和j分别为横纵坐标位置。
图4是本发明一优选实施例中的基于频域回归模型目标追踪方法流程示意图。
步骤S200选择以目标中心点为中心,目标长宽2倍区域的图像,提取图像特征;在步骤S200中将图像归一化到64*64尺寸。
步骤S201汉明窗滤波,抑制边缘特征;针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
步骤S202把空间域特征经过傅里叶变换到频域,得到实时特征;将时域变换到频域。
步骤S203特征模板做回归运算,得到位移置信度矩阵;通过置信度举证,得到特征模板与实时特征的相关性。
步骤S204取标准尺度0.9倍和1.1倍尺度区域重复上述步骤;由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述步骤。
步骤S205选取置信度最大值对应的尺度更新目标尺度,选取置信度最大的位移点计算目标新的位置;
步骤S206用新的特征模板,与特征模板进行线性插值更新特征模板。
本发明的原理:
1.1空间域提取特征
本发明设计了一种包含了纹理和梯度信息的简单快速的双通道特征。首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。此过程非常简单,不再详述。如图5所示,是选择目标周围2倍区域示意图。
然后按照如下公式提取纹理通道特征:
| I i , j - E ( I ) | 255
用如下两个卷积核分别对水平和垂直两个方向进行卷积,得到梯度通道特征。
[-1,0,1]、[-1,0,1]T
最终获得的空间域特征记为T。经实验,在intel core i5双核电脑上,此种方法对单目标的特征提取时间仅为0.3ms,比HOG特征的3ms快10倍,在本发明的框架下,两种特征可以取得相似的准确率。
1.2汉明滤波
针对边缘特征过强造成的追踪误差,本发明通过对提取的特征T进行汉明滤波,抑制边缘区域的特征。
h i , j = ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - i ) N - 1 ) ) &times; ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - j ) N - 1 ) )
其中,通过上述公式计算得到尺寸为64*64的滤波模板H,其中N=64,i和j为横纵坐标位置。滤波模板H如图6所示。
1.3对特征进行傅里叶变换
空间域特征经过傅里叶变换后的频域特征记为Z。傅里叶变换的方法非常经典,在此不再详述。
Z=F(T·H)
1.4与特征模板求置信度矩阵
特征模板(记为X)是被追踪目标的参考模板,可以理解为被追踪目标的历史特征。将特征模板与实时特征做回归运算,再进行傅里叶反变换,可得到64*64大小的置信度矩阵f(Z),此矩阵包含了目标中心点为中心,目标长宽2倍区域内不同位移的置信度,即对目标位移预测的结果。
根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,c代表不同的通道,对本发明而言,分别为纹理通道和梯度通道,通道数为2。α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,Y是服从高斯分布的回归目标。需要注意的是,当两张图像在频域求相关性后,再通过傅里叶反变换到空间域,位移为0的点会由中心点变为左上角的点。所以Y的高斯分布的峰值点也应由中心移至左上角,所以Y的高斯分布的峰值点也应由中心移至左上角,请参考图7是高斯分布的峰值点比较。
1.5对不同尺度重复上述步骤并预测尺度和位移变化
由于视频流两帧之间的变化极其微小,两帧间的尺度变化也很小。此处选取标准尺度0.9倍的区域和1.1倍的区域重复上述步骤。
选取不同尺度的f(Z)的最大值进行比较
max(f(z)s=0.9,1,1.1),
取最大值对应的尺度,即为尺度变化s。
具体地,f(z)对应的最大值的位置,即为位移变化xs,ys,根据回归矩阵的位置变化关系,xs和ys应该按如下公式得到:
x s = x s i f x s < N / 2 x s - N i f x s &GreaterEqual; N / 2 y s = y s i f y s < N / 2 y s - N i f y s &GreaterEqual; N / 2
其中N=64。
得到新的目标为:
O x , y , w , h = O x p + x s , y p + y s , w p * s , h p * s
其中xp,yp分别为上一帧目标位置的中心点坐标,wp,hp为上一帧目标的宽和高。
1.6更新特征模板
根据新的目标位置提取特征,与特征模板按照如下公式进行线性插值,完成对新的特征模板的更新。
X=((1-δ)×X1)+(δ×X2)
经大量实验,可以取δ=0.05。
图8是本发明一实施例中的基于频域回归模型目标追踪***结构示意图。
基于频域回归模型目标追踪***10,包括:
空间域提取单元1,用以选择目标区域,根据所述目标区域中的图像提取空间域特征;
滤波器2,用以对所述空间域特征进行汉明滤波;
与滤波器连接的傅里叶变换单元3,用以对滤波器的输出进行傅里叶变换,得到实时特征;
置信度矩阵单元4,用以根据特征模板与所述实时特征进行回归运算得到置信度矩阵;
预测单元5,用以对所述目标的位移结果进行预测;
更新单元6,用以变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
通过上述的基于频域回归模型目标追踪***10,首先在空间域对目标及其周围一定区域的图像提取特征。然后对提取的特征进行傅里叶变换。在频域内,将实时特征与特征模板做回归运算,得到不同尺度下目标位移的置信度矩阵,并预测目标的尺度和位移变化。
在一些实施例中,在空间域提取单元1中,所述空间域特征包含了纹理和梯度信息的简单快速的双通道特征,首先根据目标上一帧的位置,选择目标周围2倍区域的图像进行灰度化,并归一化到64*64尺寸。
在一些实施例中,在滤波器2中,对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;经过上述汉明滤波后,到尺寸为64*64的滤波模板H。
在一些实施例中,在与滤波器连接的傅里叶变换单元3中,进行傅里叶变换,上述空间域特征经过傅里叶变换后的频域特征。
在一些实施例中,置信度矩阵单元4及预测单元5,根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
在一些实施例中,在更新单元6中,根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到。在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。通过线性插值更新新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
图9是本发明一实施例中的高级驾驶辅助***结构示意图
在本实施例中的高级驾驶辅助***,包括基于频域回归模型目标追踪***10、安装在车上的视觉传感器11以及预警单元12,
视觉传感器11,用以采集视频数据;
所述基于频域回归模型目标追踪***10,用以从所述视频数据中选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
预警单元12,用以在检测到目标车辆和行人的位置后,通过标追踪***实时跟踪上述目标的位置,提示驾驶员是否有碰撞前方的车辆和行人的危险。
所属领域的普通技术人员应当理解:以上,所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于频域回归模型目标追踪方法,其特征在于包括如下步骤:
选择目标区域,根据所述目标区域中的图像提取空间域特征;
对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;
根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;
变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
2.根据权利要求1所述的基于频域回归模型目标追踪方法,其特征在于,还包括,
根据新的目标位置,提取得到目标位置提取特征,得到新的特征模板,所述新的特征模板与特征模板进行线性插值更新得到。
3.根据权利要求2所述的基于频域回归模型目标追踪方法,其特征在于,在所述置信度矩阵中,选取置信度最大值对应的尺度更新目标尺度,选择置信度最大的位移点计算目标新的位置。
4.根据权利要求2所述的基于频域回归模型目标追踪方法,其特征在于,通过线性插值更新特征模板得到新的特征模板的方法具体为:
X=((1-δ)×X1)+(δ×X2)
其中,δ=0.05,X1表示特征模板,X2表示新的特征模板。
5.根据权利要求1所述的基于频域回归模型目标追踪方法,其特征在于,所述空间域特征,包括纹理特征和梯度特征,
所述纹理特征:其中,E(I)表示灰度图像的均,i、j分别表示像素点的横纵坐标;
所述梯度特征按照[-1,0,1]、[-1,0,1]T两个卷积核,分别对水平和垂直两个方向进行卷积后得到。
6.根据权利要求1所述的基于频域回归模型目标追踪方法,其特征在于,
根据下述的置信度矩阵,对所述目标的位移结果进行预测:
f(Z)=F-1(KXZ·α)
其中,KXZ=∑Zc·conj(Xc),表示特征模板X与实时特征Z的相关性,其中,c代表不同的通道,α表示岭回归矩阵α=(KXX+λ)-1Y,其中λ=0.0001,y是服从高斯分布的回归目标。
7.根据权利要求6所述的基于频域回归模型目标追踪方法,其特征在于,所述置信度矩阵大小为64*64,该置信度矩阵包括,目标中心点为中心且目标长宽2倍区域内不同位移的置信度。
8.根据权利要求1所述的基于频域回归模型目标追踪方法,其特征在于,所述汉明滤波得到尺寸为64*64的滤波模板H的具体方法为:
h i , j = ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - i ) N - 1 ) ) &times; ( 0.53836 - 0.46164 cos ( 2 &pi; ( N 2 - j ) N - 1 ) )
其中,N=64,i和j分别为横纵坐标位置。
9.基于频域回归模型目标追踪***,其特征在于,包括:
空间域提取单元,用以选择目标区域,根据所述目标区域中的图像提取空间域特征;
滤波器,用以对所述空间域特征进行汉明滤波;
与滤波器连接的傅里叶变换单元,用以对滤波器的输出进行傅里叶变换,得到实时特征;
置信度矩阵单元,用以根据特征模板与所述实时特征进行回归运算得到置信度矩阵;
预测单元,用以对所述目标的位移结果进行预测;
更新单元,用以变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪。
10.高级驾驶辅助***,其特征在于,包括基于频域回归模型目标追踪***、安装在车上的视觉传感器以及预警单元,
视觉传感器,用以采集视频数据;
所述基于频域回归模型目标追踪***,用以从所述视频数据中选择目标区域,根据所述目标区域中的图像提取空间域特征;对所述空间域特征进行汉明滤波后再进行傅里叶变换,得到实时特征;根据特征模板与所述实时特征进行回归运算得到置信度矩阵,对所述目标的位移结果进行预测;变换尺度重复上述步骤,并预测出目标区域的尺度和位移变化,完成对目标的追踪;
预警单元,用以在检测到目标车辆和行人的位置后,通过标追踪***实时跟踪上述目标的位置,提示驾驶员是否有碰撞前方的车辆和行人的危险。
CN201610498277.0A 2016-06-27 2016-06-27 基于频域回归模型目标追踪方法、***及高级驾驶辅助*** Pending CN106204639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610498277.0A CN106204639A (zh) 2016-06-27 2016-06-27 基于频域回归模型目标追踪方法、***及高级驾驶辅助***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610498277.0A CN106204639A (zh) 2016-06-27 2016-06-27 基于频域回归模型目标追踪方法、***及高级驾驶辅助***

Publications (1)

Publication Number Publication Date
CN106204639A true CN106204639A (zh) 2016-12-07

Family

ID=57463693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610498277.0A Pending CN106204639A (zh) 2016-06-27 2016-06-27 基于频域回归模型目标追踪方法、***及高级驾驶辅助***

Country Status (1)

Country Link
CN (1) CN106204639A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别***及方法
CN107590820A (zh) * 2017-08-25 2018-01-16 北京飞搜科技有限公司 一种基于相关滤波的视频对象追踪方法及其智能装置
CN109816694A (zh) * 2019-01-28 2019-05-28 北京旷视科技有限公司 目标跟踪方法、装置及电子设备
CN111723593A (zh) * 2020-06-19 2020-09-29 中国科学院微电子研究所 一种条形码定位方法及定位装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
库涛等: ""尺度目标的频域核回归跟踪研究"", 《空军工程大学学报(自然科学版)》 *
胡昭华等: ""多通道核相关滤波的实时跟踪方法"", 《计算机应用》 *
裴继红等: ""基于海明窗滤波及粒子群优化搜索的医学图像配准"", 《生物医学工程学杂志》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682592A (zh) * 2016-12-08 2017-05-17 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别***及方法
CN106682592B (zh) * 2016-12-08 2023-10-27 北京泛化智能科技有限公司 一种基于神经网络方法的图像自动识别***及方法
CN107590820A (zh) * 2017-08-25 2018-01-16 北京飞搜科技有限公司 一种基于相关滤波的视频对象追踪方法及其智能装置
CN107590820B (zh) * 2017-08-25 2020-06-02 兰州飞搜信息科技有限公司 一种基于相关滤波的视频对象追踪方法及其智能装置
CN109816694A (zh) * 2019-01-28 2019-05-28 北京旷视科技有限公司 目标跟踪方法、装置及电子设备
CN111723593A (zh) * 2020-06-19 2020-09-29 中国科学院微电子研究所 一种条形码定位方法及定位装置
CN111723593B (zh) * 2020-06-19 2024-05-10 中国科学院微电子研究所 一种条形码定位方法及定位装置

Similar Documents

Publication Publication Date Title
CN107031623B (zh) 一种基于车载盲区相机的道路预警方法
US11709058B2 (en) Path planning method and device and mobile device
EP4152204A1 (en) Lane line detection method, and related apparatus
US9902426B2 (en) Apparatus and method for driver assistance
CN106204639A (zh) 基于频域回归模型目标追踪方法、***及高级驾驶辅助***
CN109727273B (zh) 一种基于车载鱼眼相机的移动目标检测方法
CN110223302A (zh) 一种基于旋转区域提取的舰船多目标检测方法
CN106529493A (zh) 一种基于透视图的鲁棒性多车道线检测方法
CN106096525A (zh) 一种复合型车道识别***及方法
CN105894542A (zh) 一种在线目标跟踪方法及装置
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
EP2713308A2 (en) Method and system for using fingerprints to track moving objects in video
CN110490156A (zh) 一种基于卷积神经网络的快速车辆检测方法
CN108446622A (zh) 目标物体的检测跟踪方法及装置、终端
CN104766346A (zh) 一种基于视频图像的斑马鱼跟踪方法
CN104318559A (zh) 用于视频图像匹配的特征点快速检测方法
CN109190483A (zh) 一种基于视觉的车道线检测方法
CN106570487A (zh) 物体间的碰撞预测方法和装置
CN102156989B (zh) 视频帧中车辆遮挡检测与分割方法
Xiao et al. Lane detection based on road module and extended kalman filter
CN106203273A (zh) 多特征融合的车道线检测***、方法及高级驾驶辅助***
CN104267209B (zh) 一种基于虚拟线圈的高速公路视频测速方法及***
CN108573280A (zh) 一种无人船自主通过桥梁的方法
CN105631900A (zh) 一种车辆跟踪方法及装置
CN116740988A (zh) 可见光和热成像相机的全时段桥梁自适应防船撞预警方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20161221

Address after: 300450 in Tianjin Binhai bonded Airport East seven road 2

Applicant after: Liu Peng

Address before: 100036 Beijing city in Haidian District Cuiwei building 14, three layers of A121

Applicant before: Kai Yi (Beijing) Technology Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170613

Address after: 100036 Beijing city in Haidian District Cuiwei building 14, three layers of A121

Applicant after: Kai Yi (Beijing) Technology Co., Ltd.

Address before: 300450 in Tianjin Binhai bonded Airport East seven road 2

Applicant before: Liu Peng

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207