CN107305632B - 基于单目计算机视觉技术的目标对象距离测量方法与*** - Google Patents

Abstract

本发明公开了一种基于单目计算机视觉技术的目标对象距离测量方法与***，该方法包括以下步骤：通过摄像头实时采集车辆前方或后方的序列图像；根据采集的序列图像确定天际线的参考高度；以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；通过光学几何模型，确定目标对象的物理尺寸；通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸；基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离。本发明较为全面的考虑了影响影响距离测量精度的多个因素，提高了计算的精度。

Description

基于单目计算机视觉技术的目标对象距离测量方法与***

技术领域

本发明涉及辅助驾驶技术，尤其涉及一种基于单目计算机视觉技术的目标对象距离测量方法与***。

背景技术

汽车电子领域中，高级辅助驾驶***(Advanced Driving Assistant System,ADAS)的距离监测预警功能(Headway Monitoring Warning,HMW)及碰撞预警功能(ForwardCollision Warning,FCW)就必须依赖于距离测量元器件及算法。更进一步，如果要实现自适应巡航(Adaptive Cruise Control，ACC)和自动紧急刹车(Autonomous EmergencyBraking,AEB)功能，距离的测量必须达到足够高的精度。目前，实现前方障碍物距离测量的主流技术主要有两种，第一种是靠单目/双目摄像头采集图像，识别障碍物并给出预警或刹车指令；第二种是靠毫米波雷达判定前方障碍物，测量与障碍物的相对运动趋势并作出刹车指令或预警提醒。

对测距元器件而语言，基于毫米波雷达的测距方法会受到包括检测对象的材质、表面粗糙度、尺寸和运动状态等因素的影响，且无法判断被检测对象的类型及预判其运动状态。同时，毫米波雷达的成本相对较高，且安装程序复杂。

对测距算法而言，数据回归模型的样本量和回归方法的选取直接影响到测距的精度，其相对于静止物体和环境而言，运动目标的测量更为多变，因此数据回归测距模型的鲁棒性相对较差。此外，基于光学几何模型的测距精度依赖于图像特征参数的提取精度，特征参数几个像素的跳变就会在远距离测量时产生较大的误差，且环境光线的多变也会给距离测量引入随机误差，因此其稳定性还有待提高。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于单目计算机视觉技术的目标对象距离测量方法与***。

本发明解决其技术问题所采用的技术方案是：一种基于单目计算机视觉技术的目标对象距离测量方法，包括：

1)通过摄像头实时采集车辆前方或后方的序列图像；

2)根据采集的序列图像确定天际线的参考高度h；

3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

4)通过光学几何模型，确定目标对象的物理尺寸：W(t_n)＝w_i(t_n)×h/y(t_n)，式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度(目标对象底部边缘与天际线间的像素高度)；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法；

6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)。

按上述方案，所述步骤2)还包括根据天际线参考高度的计算结果，对天际线高度值进行优化：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量***自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝argmin(y₀,y_p,y_θ,y_m)。

按上述方案，所述步骤2)中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

本发明还公开了一种基于单目计算机视觉技术的目标对象距离测量***，包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

按上述方案，所述天际线高度计算装置中天际线参考高度的计算，采用下述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正后的天际线为：

y_θ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量***自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝argmin(y₀,y_p,y_θ,y_m)。

按上述方案，所述天际线高度计算装置中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

按上述方案，所述目标对象的物理尺寸确定装置中确定目标对象的物理尺寸采用下述公式：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

按上述方案，所述目标的真实特征尺寸计算装置中计算目标的真实特征尺寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。

本发明产生的有益效果是：本发明较为全面的考虑了影响影响距离测量精度的多个因素：对光线变化引起的像素跳变和随机误差采用平滑方法处理数据，使测量数值更为稳定；考虑路面颠簸的实际状况，对俯仰角的引起的误差进行补偿；最优化算法确定距离计算的参数，消除多参数下计算误差的累积；以不变之特征尺寸代替多变之底部阴影，减少计算变量，从而降低误差引入的概率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的汽车底部阴影所确定的底部边缘示意图；

图3是本发明实施例的***结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，基于单目计算机视觉技术的目标对象距离测量方法，该距离测量方法具体实现步骤如下：

步骤101：通过单个摄像头采集序列图像，并将采集序列图像输出等待处理；

步骤102：确定并优化天际线参考高度的取值y。主要实现方案为：

计算天际线的参考高度，首先必须通过目标检测识别目标对象的边缘，如图2中汽车底部阴影所确定的底部边缘。根据图2，可以看出：参考高度即为底部边缘与天际线的高差。为了得到精确的边缘检测结果，本申请采用了颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而优化边缘检测结果，即便在远距离时，这种方法也能达到较好的边缘检测效果。

基于底部边缘的检测结果，还需要对天际线进行优化：

(1)在测试***静止状态下，采用标示牌标定方法，且不限于采用该方法对天际线(Horizon)进行标定，确定其初值y₀；

(2)如果距离测量***处于运动状态，可通过道路模型，尤其是车道线模型确定其图像消失点(Vanishing Point)，进而确定相应的天际线y_vp。

(3)如果距离测量***处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离至偏离光轴，而产生俯仰角θ。此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

(4)此外，通过测量***自身的运动状态，也可以确定天际线的值，计算公式如下：

上式中，v为距离测量***自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度。

通过上述多种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝argmin(y₀,y_p,y_θ,y_m) (2)

步骤103：通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸，如汽车7的在图像上的像素宽度w_i，或者是行人的高度以及其他物理尺寸不变的特征量。

步骤104：通过光学几何模型，确定目标对象的物理尺寸：

W(t_n)＝w_i(t_n)×h/y(t_n) (3)

步骤105：由于边缘提取时，难免出现目标对象特征像素尺寸的跳变，进而影响其实际物理尺寸的计算精度，因此需要通过数据平滑方法对计算结果进行平滑，以输出稳定的物理尺寸。本申请用卡尔曼滤波方法(Kalman Filter)，但不限于该种方法对公式(3)的计算结果进行处理。一般而言，连续10～30帧图像便可使结果收敛于真值附近:：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n}) (4)

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。

步骤106：基于计算得到的真实特征尺寸，便可通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n) (5)

本发明中目标检测算法有很多种，我们所用的是模式识别算法，具体实现方式为：对大量的车辆或其他障碍物正、负样本，进行训练得到一个分类器，然后对图像进行遍历搜索，满足分类器特征树的物体被确定为目标对象。除此之外，目标检测方法，特别是运动目标检测方法还包括：帧差法，光流法，模板匹配法。

近几年热门的车辆检测方法

1)HOG特征+haar-like特征；SVM或adaboost分类器；(HOG+SVM；haar-like+adaboost速度快)

2)光流法；或增加一个HMM分类器，或SVM分类器

本发明实际采用的是SVM或adaboost分类器。

本发明中的目标对象指的是车辆前方障碍物。

根据上述方法，相应的，可以编程形成一套***。

如图3，一种基于单目计算机视觉技术的目标对象距离测量***，包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度h；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象像素尺寸。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于单目计算机视觉技术的目标对象距离测量方法，其特征在于，包括以下步骤：

1)通过摄像头实时采集车辆前方或后方的序列图像；

2)根据采集的序列图像确定天际线的参考高度；

所述步骤2)中天际线参考高度的计算，采用下述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正后的天际线为：

y_θ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量***自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝arg min(y₀,y_vp,y_θ,y_m)；

3)以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

4)通过光学几何模型和天际线的参考高度，确定目标对象的物理尺寸；

5)通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

6)基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象特征像素尺寸。

2.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤2)中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

3.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤4)确定目标对象的物理尺寸：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

4.根据权利要求1所述的目标对象距离测量方法，其特征在于，所述步骤5)中计算目标的真实特征尺寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。

5.一种基于单目计算机视觉技术的目标对象距离测量***，其特征在于，包括：

图像采集装置，用于通过摄像头实时采集车辆前方或后方的序列图像；

天际线高度计算装置，用于根据采集的序列图像确定天际线的参考高度；天际线参考高度的计算，采用下述优化计算方法：

(2.1)在摄像头静止状态下，采用标示牌标定方法对天际线进行标定，确定其初值y₀；

(2.2)如果摄像头处于运动状态，通过道路模型或者车道线模型确定其图像消失点，进而确定相应的天际线y_vp；

(2.3)如果摄像头处于非平面运动而使得摄像头原本平行于路面的光轴发生偏离，产生俯仰角θ；此时通过修正方法弥补俯仰角所带来的误差；进而确定相应的天际线y_θ；

具体方法为：光轴发生了偏转引起的车辆底部边缘坐标变化为d_y,那么修正后的天际线为：

yθ＝y_-1+d_y

y_-1＝f*tanθ+v₀

式中，v₀为已知的摄像头主点纵坐标；

(2.4)如果摄像头处于运动状态，通过摄像头自身的运动状态，确定天际线的值y_m，计算公式如下：

上式中，v为距离测量***自身的运动速度，Δt为时间间隔，y₁、y₂为路面特征点的像素坐标，f、h分别为摄像头的焦距与安装高度；

通过上述四种方法分别可得到天际线参考高度y的估计值，考虑各估计的置信度，并采用最小二乘法，便可得到运动状态下天际线参考高度y的最优估计：

y＝arg min(y₀,y_vp,y_θ,y_m)；

目标对象特征像素尺寸计算装置，用于以序列图像中物理尺寸不变的目标为目标对象，通过目标检测方法，确定用于距离测量的目标对象特征像素尺寸；

目标对象的物理尺寸确定装置，用于通过光学几何模型，确定目标对象的物理尺寸；

目标的真实特征尺寸计算装置，用于通过数据平滑方法对目标对象特征像素尺寸计算结果进行平滑，以输出稳定的物理尺寸，然后计算目标的真实特征尺寸：

目标对象的距离计算装置，用于基于计算得到的真实特征尺寸，通过光学几何模型计算得到目标对象的距离：

Z(t_n)＝W_v(t_n)f/w_i(t_n)

式中，f已知的摄像头焦距；Z(t_n)为车辆与目标对象的距离，W_v(t_n)为目标的真实特征尺寸，w_i(t_n)为某帧图像上提取的目标对象特征像素尺寸。

6.根据权利要求5所述的目标对象距离测量***，其特征在于，所述天际线高度计算装置中计算天际线的参考高度采用下述方法，首先通过目标检测识别目标对象的边缘，进行边缘检测时采用颜色特征及纹理特征提取目标的边缘，并结合跟踪算法对检测边框进行跟踪，进一步采用光流预判检测边框的缩放趋势，从而获得准确的边缘检测结果，然后基于底部边缘的检测结果得到天际线的参考高度。

7.根据权利要求5所述的目标对象距离测量***，其特征在于，所述目标对象的物理尺寸确定装置中确定目标对象的物理尺寸采用下述公式：W(t_n)＝w_i(t_n)×h/y(t_n)；

式中，w_i(t_n)为某帧图像上提取的目标对象像素尺寸；h为摄像头的安装高度；y(t_n)相应帧图像计算得到的天际线参考高度；W(t_n)为相应帧图像计算得到的目标对象物理尺寸。

8.根据权利要求5所述的目标对象距离测量***，其特征在于，所述目标的真实特征尺寸计算装置中计算目标的真实特征尺寸如下：

W_v(t_n)＝F({w_i(t_j)|0≤j≤n})

式中，W_v(t_n)为目标的真实特征尺寸，t_n为收敛截止步长，F为任意合理的平滑方法。

Images