CN106780622A - 一种用于汽车前碰预警及车道偏离预警的摄像头标定方法 - Google Patents

Abstract

本发明涉及一种用于汽车前碰预警及车道偏离预警的摄像头标定方法，该方法包括下列顺序的步骤：（1）录制或者实时播放路面视频，选取视频中的一张图片，再选取该图片中的A、B、C、D四个点作为路面上的矩形的四个顶点；（2）对上述四个顶点做粗略透视变换，得到粗略估算矩阵；（3）根据粗略估算矩阵存在的误差进行调整；（4）进行空间分辨率调整和整体平移；（5）标定完成。本发明的方法简单方便，无需额外的标定设备及各种参数，仅适用地面车道线长度宽度标准即可完成标定；步骤简单易上手，获取视频后，标定时间通常可控制在5分钟以内；精度不低于传统标定方法，可满足LDW及FCW功能需求。

Description

一种用于汽车前碰预警及车道偏离预警的摄像头标定方法

技术领域

本发明涉及行车主动安全算法及图像标定处理技术领域，尤其是一种用于汽车前碰预警及车道偏离预警的摄像头标定方法。

背景技术

近些年，汽车自主驾驶的主动安全技术迅速发展，主动安全技术是指通过传感器、图像等手段实时监测车辆的运行状态，对驾驶员予以提醒，警告或直接调节控制车辆来从而达到辅助驾驶功能，以减轻事故率与驾驶员负担。

车辆前防碰撞预警(ForwardCollisionWarning)，简称FCW，及车道偏离预警(LaneDeparture Warning)，简称LDW是其中的重要一部分。FCW能够实时监测前方车辆，判断本车与前车之间的距离、方位及相对速度，当存在潜在碰撞危险时对驾驶者进行警告；LDW能够实时监测车辆是否偏离当前所处车道，在车辆压线时给予警告。在当前主流算法中，这两项监测***都离不开对车载摄像头的标定，在FCW预警中，需要根据标定结果来计算离前车的距离，LDW预警中，需要根据标定结果来计算车身距离车道线的距离。

目前，对于基于图像的FCW与LDW，一般的标定方法是通过车前或路面的特定距离摆放特定标定板等，或测量车载相机安装倾角及高度，图像采集后计算透视变换矩阵，从而得到标定结果。但实际实施中，由于前者需要制作特定的标定装置，标定成本较高，且过程繁琐；而后者需记录安装摄像头的仰角和安装高度才能进行标定，而如何准确测量摄像头安装俯仰角及高度实际在量产中是一个较难的问题。

发明内容

本发明的目的在于提供一种成本低、便于标定的用于汽车前碰预警及车道偏离预警的摄像头标定方法。

为实现上述目的，本发明采用了以下技术方案：一种用于汽车前碰预警及车道偏离预警的摄像头标定方法，该方法包括下列顺序的步骤：

(1)录制或者实时播放路面视频，选取视频中的一张图片，再选取该图片中的A、B、C、D四个点作为路面上的矩形的四个顶点；

(2)对上述四个顶点做粗略透视变换，得到粗略估算矩阵；

(3)根据粗略估算矩阵存在的误差进行调整；

(4)进行空间分辨率调整和整体平移；

(5)标定完成。

在步骤(2)中，所述粗略估算矩阵的计算公式为：

其中a₁₁～a₃₃为透视变换矩阵参数，为未知数；(x₁/z₁,y₁/z₁)、(x₂/z₂,y₂/z₂)、(x₃/z₃,y₃/z₃)、(x₄/z₄,y₄/z₄)为逆投影过后的四个点，即变换后的4个点的图像坐标；(u₁,v₁)(u₂,v₂)(u₃,v₃)(u₄,v₄)为原图像中的A、B、C、D四个点的图像坐标，即变换前的4个点的图像坐标，为已知数；通过解方程组，得到透视变换矩阵参数a₁₁～a₃₃。

在步骤(3)中，若两车道存在平行度误差，则通过分别调节A、B两点的图像坐标中横坐标x值来调整透视矩阵，从而调整透视图像；若车道线末端偏向左，则对应车道线末端的位置应向右调整，即A，B点的横坐标x应增大，单次调整单位为一个像素，直到调整到车道线平行且竖直为止；若车道线末端偏向右，则对应车道线末端的位置应向左调整，即A，B点的横坐标x应减小，单次调整单位为一个像素，直到调整到车道线平行且竖直为止。

在步骤(3)中，若两条车道线长度比例不同导致存在误差，则由车道线虚线部分是否对齐来判断：若两车道存在图像y方向的误差，此类误差可通过分别调节A，B两点的图像坐标中纵坐标y值来调整透视矩阵，从而调整透视图像；若车道线末端偏向上，则对应车道线末端应向下调整，即A，B点的纵坐标y应增大，单次调整单位为一个像素，直到调整到车道线比例相同为止；若车道线末端偏向下，则对应车道线末端应向上调整，即A，B点的纵坐标y应减小，单次调整单位为一个像素，直到调整到车道线比例相同为止。

在步骤(4)中，所述空间分辨率调整是指进行透视图像x方向和y方向的放缩，使空间分辨率等于规定值，此调整通过同时放缩A，B，C，D点的X值以调整X方向的空间分辨率和放缩A，B，C，D点的Y值以调整Y方向的空间分辨率来进行，公式如下：

其中，(x₁′,y₁′)(x₂′,y₂′)(x₃′,y₃′)(x₄′,y₄′)为放缩过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未放缩的A，B，C，D四点的坐标值。k₁,k₂分别为X方向的空间分辨率，Y方向的空间分辨率调节参数，M为图像纵向中轴线。

在步骤(4)中，所述整体平移是指通过同时平移A、B、C、D点的坐标，将与车头垂直的中间线置于透视变换图像的x方向中轴线上，计算公式如下：

其中，(x₁′,y₁′)(x₂′,y₂′)(x₃′,y₃′)(x₄′,y₄′)为平移过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未平移的A，B，C，D四点的坐标值，Δx，Δy分别为图像在x方向，y方向的平移量。

由上述技术方案可知，本发明的方法简单方便，无需额外的标定设备及各种参数，仅适用地面车道线长度宽度标准即可完成标定；步骤简单易上手，获取视频后，标定时间通常可控制在5分钟以内；精度不低于传统标定方法，可满足LDW及FCW功能需求。

附图说明

图1为透视变换效果示意图，其中左图为相机拍摄图像经二值化处理后的示意图，右图为经过标定即透视变换后的效果示意图；

图2为初步透视变换矩阵计算中，4个控制点的坐标位置图；其中，左图中ABCD点为相机拍摄原始图像中的4个控制点，右图中ABCD为透视变换后的4个控制点的对应位置；

图3为针对车道线不平行的调整效果示意图，其中，左图为调整前的示意图，右图为调整后的示意图；

图4为针对两条车道线比例不同的调整效果示意图，其中，左图为调整前的示意图，右图为调整后的示意图；

图5为针对空间分辨率的调整效果示意图，其中，左图为调整前的示意图，右图为调整后的示意图；

图6中为针对图像平移的调整效果示意图，其中，左图为调整前的示意图，右图为调整后的示意图；

图7为实例中的标定后的透视变换效果示意图。

具体实施方式

如图1所示，标定通常通过透视变换进行，标定结果即透视变换矩阵，通过该矩阵可以将图片投影到一个新的视平面，公式如下：

其中，(u，v)代表原图像中像素点的位置。变换矩阵即为3*3矩阵,其中，a₁₁～a₃₃为相关矩阵参数。对应得到变换后的图片坐标(x，y),其中x＝x′/w′，y＝y′/w′。

一种用于汽车前碰预警及车道偏离预警的摄像头标定方法，该方法包括下列顺序的步骤：

(1)录制或者实时播放路面视频，选取视频中的一张图片，再选取该图片中的A、B、C、D四个点作为路面上的矩形的四个顶点；

(2)对上述四个顶点做粗略透视变换，得到粗略估算矩阵；

(3)根据粗略估算矩阵存在的误差进行调整；

(4)进行空间分辨率调整和整体平移；

(5)标定完成。

在步骤(2)中，粗略估算矩阵可由变换前的四个点的坐标与变换后的四个对应点的坐标计算得到，所述粗略估算矩阵的计算公式为：

其中a₁₁～a₃₃为透视变换矩阵参数，为未知数；(x₁/z₁,y₁/z₁)、(x₂/z₂,y₂/z₂)、(x₃/z₃,y₃/z₃)、(x₄/z₄,y₄/z₄)为逆投影过后的四个点，即变换后的4个点的图像坐标；(u₁,v₁)(u₂,v₂)(u₃,v₃)(u₄,v₄)为原图像中的A、B、C、D四个点的图像坐标，即变换前的4个点的图像坐标，为已知数；通过解方程组，得到透视变换矩阵参数a₁₁～a₃₃。

在步骤(1)中，在车道正中行车，或停在车道中间，录一段视频，选取其中视频中一张图片，选取如图2左图中的4个点(路面上矩形的四个顶点)，则逆透视变换后的该4个点的坐标为矩形，长宽由实际车道长度宽度决定，如图2右图所示。通常，在粗略变换后，需要细微调整变换矩阵，得到质量更好的图像，以方便和优化FCW和LDW的计算。

在步骤(3)中，若两车道存在平行度误差，则通过分别调节A、B两点的图像坐标中横坐标x值来调整透视矩阵，从而调整透视图像；若车道线末端偏向左，则对应车道线末端的位置应向右调整，即A，B点的横坐标x应增大，单次调整单位为一个像素，直到调整到车道线平行且竖直为止；若车道线末端偏向右，则对应车道线末端的位置应向左调整，即A，B点的横坐标x应减小，单次调整单位为一个像素，直到调整到车道线平行且竖直为止。两车道存在平行度误差体现在图像上，可由车道线是否平行来进行判断，如图3左图所示，两车道存在平行度误差；A、B、C、D为调整前的透视变换图像，A，B点旁边的箭头为A，B点调整的方向，通过该步调节，可使两条车道线平行，如图3的右图所示。图3左图中的两条车道线均向右偏，则在调整过程中，将车道线末端AB点的横坐标减小，即向左移动，即可达到图3右图中对应效果。

在步骤(3)中，若两条车道线长度比例不同导致存在误差，则由车道线虚线部分是否对齐来判断：若两车道存在图像y方向的误差，此类误差可通过分别调节A，B两点的图像坐标中纵坐标y值来调整透视矩阵，从而调整透视图像；若车道线末端偏向上，则对应车道线末端应向下调整，即A，B点的纵坐标y应增大，单次调整单位为一个像素，直到调整到车道线比例相同为止；若车道线末端偏向下，则对应车道线末端应向上调整，即A，B点的纵坐标y应减小，单次调整单位为一个像素，直到调整到车道线比例相同为止。此类标定误差体现在图像上，可由车道线虚线部分是否对齐来判断。如图4左图所示，两车道存在图像y方向的误差。通过该步调节，可使两条车道线比例相同，如图4右图所示。在图4左图中，两条车道线竖直方向比例明显不同，则在调整过程中，可以左线为基准，调整右线中BD点纵坐标，即：将B点的纵坐标减小即向上移动，将D点的纵坐标增大即向下移动，调整后可达到图4右图中的对应效果。

在步骤(4)中，为方便进行FCW与LDW的进一步处理，通常规定透视变换后的图像一个像素对应实际世界坐标的固定距离，称为空间分辨率。在调整完以上误差项后，就需要进行透视图像x和y方向的放缩，使空间分辨率等于规定值。所述空间分辨率调整是指进行透视图像x方向和y方向的放缩，使空间分辨率等于规定值，此调整通过同时放缩A，B，C，D点的X值以调整X方向的空间分辨率和放缩A，B，C，D点的Y值以调整Y方向的空间分辨率来进行，公式如下：

其中，(x₁′,y₁′)(x₂′,y₂′)(x₃′,y₃′)(x₄′,y₄′)为放缩过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未放缩的A，B，C，D四点的坐标值。k₁,k₂分别为X方向的空间分辨率，Y方向的空间分辨率调节参数，M为图像纵向中轴线。如图5所示，在图5左图中，纵向方向明显拉长，横向方向缩小，需要进行调整。则在调整中，需放大ABCD点的横向坐标，以纵向以中轴线为中心线，缩小ABCD点的纵向坐标，设定合适的k₁,k₂值，调整后效果如图5右图所示。

在步骤(4)中，所述整体平移是指通过同时平移A、B、C、D点的坐标，将与车头垂直的中间线置于透视变换图像的x方向中轴线上，计算公式如下：

其中，(x₁′,y₁′)(x₂′,y₂′)(x₃′,y₃′)(x₄′,y₄′)为平移过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未平移的A，B，C，D四点的坐标值，Δx，Δy分别为图像在x方向，y方向的平移量。如图6所示，左图经过调整，平移至右图正常位置。在图6左图中，透视变换结果明显偏于左下方，不在图像中间。则在调整中，将ABCD点的位置向中间靠拢，即横向坐标增加一个固定值，纵向坐标减小一个固定值，调整后即可达到图6右图效果。

通过以上四类调节A，B，C，D点的方式，透视矩阵的计算通过软件调整即可完成，方便快捷，整个过程通常不超过5分钟，大大提高了标定效率及计算精度。

如图7所示，在拍摄录制视频并得到初始矩阵后，使用软件调整四个点控制坐标位置，得到合适的透视变换矩阵。图中竖线表示车道宽度，当前实施例下为3.75米，横线表示一段虚线加间隔的距离，在这里为10米。若无虚线即没有Y向空间分辨率参照物，也可使用卷尺测量距离后在路面做标记作为Y向空间分辨率参照物。依次按照上述步骤调整，使车道线落于目标横线，竖线位置，即认为标定完成。实际世界坐标系中1米的距离对应图中10个像素。在调整两车道线平行，及纵向比例相同后，图像的横竖空间分辨率分别由控制点的宽度即3.75米，长度即10米决定。最后平移至画面中心，标定完成。

Claims (6)

1.一种用于汽车前碰预警及车道偏离预警的摄像头标定方法，该方法包括下列顺序的步骤：

(1)录制或者实时播放路面视频，选取视频中的一张图片，再选取该图片中的A、B、C、D四个点作为路面上的矩形的四个顶点；

(2)对上述四个顶点做粗略透视变换，得到粗略估算矩阵；

(3)根据粗略估算矩阵存在的误差进行调整；

(4)进行空间分辨率调整和整体平移；

(5)标定完成。

2.根据权利要求1所述的用于汽车前碰预警及车道偏离预警的摄像头标定方法，其特征在于：在步骤(2)中，所述粗略估算矩阵的计算公式为：

$\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\\ z_1& z_2& z_3& z_4\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{cccc}{u}_1& u_2& u_3& u_4\\ v_1& v_2& v_3& v_4\\ 1& 1& 1& 1\end{array}\right]$

其中a₁₁～a₃₃为透视变换矩阵参数，为未知数；(x₁/z₁,y₁/z₁)、(x₂/z₂,y₂/z₂)、(x₃/z₃,y₃/z₃)、(x₄/z₄,y₄/z₄)为逆投影过后的四个点，即变换后的4个点的图像坐标；(u₁,v₁)(u₂,v₂)(u₃,v₃)(u₄,v₄)为原图像中的A、B、C、D四个点的图像坐标，即变换前的4个点的图像坐标，为已知数；通过解方程组，得到透视变换矩阵参数a₁₁～a₃₃。

3.根据权利要求1所述的用于汽车前碰预警及车道偏离预警的摄像头标定方法，其特征在于：在步骤(3)中，若两车道存在平行度误差，则通过分别调节A、B两点的图像坐标中横坐标x值来调整透视矩阵，从而调整透视图像；若车道线末端偏向左，则对应车道线末端的位置应向右调整，即A，B点的横坐标x应增大，单次调整单位为一个像素，直到调整到车道线平行且竖直为止；若车道线末端偏向右，则对应车道线末端的位置应向左调整，即A，B点的横坐标x应减小，单次调整单位为一个像素，直到调整到车道线平行且竖直为止。

4.根据权利要求1所述的用于汽车前碰预警及车道偏离预警的摄像头标定方法，其特征在于：在步骤(3)中，若两条车道线长度比例不同导致存在误差，则由车道线虚线部分是否对齐来判断：若两车道存在图像y方向的误差，此类误差可通过分别调节A，B两点的图像坐标中纵坐标y值来调整透视矩阵，从而调整透视图像；若车道线末端偏向上，则对应车道线末端应向下调整，即A，B点的纵坐标y应增大，单次调整单位为一个像素，直到调整到车道线比例相同为止；若车道线末端偏向下，则对应车道线末端应向上调整，即A，B点的纵坐标y应减小，单次调整单位为一个像素，直到调整到车道线比例相同为止。

5.根据权利要求1所述的用于汽车前碰预警及车道偏离预警的摄像头标定方法，其特征在于：在步骤(4)中，所述空间分辨率调整是指进行透视图像x方向和y方向的放缩，使空间分辨率等于规定值，此调整通过同时放缩A，B，C，D点的X值以调整X方向的空间分辨率和放缩A，B，C，D点的Y值以调整Y方向的空间分辨率来进行，公式如下：

$\left[\begin{array}{cccc}{x}_1^{\′}& x_2^{\′}& x_3^{\′}& x_4^{\′}\\ y_1^{\′}& y_2^{\′}& y_3^{\′}& y_4^{\′}\end{array}\right]=\left[\begin{array}{cccc}{k}_1(x_1-M)& k_1(x_2-M)& k_1(x_3-M)& k_1(x_4-M)\\ k_2{y}_1& k_2{y}_2& k_2{y}_3& k_2{y}_4\end{array}\right]$

其中，(x′₁,y′₁)(x′₂,y′₂)(x′₃,y′₃)(x′₄,y′₄)为放缩过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未放缩的A，B，C，D四点的坐标值。k₁,k₂分别为X方向的空间分辨率，Y方向的空间分辨率调节参数，M为图像纵向中轴线。

6.根据权利要求1所述的用于汽车前碰预警及车道偏离预警的摄像头标定方法，其特征在于：在步骤(4)中，所述整体平移是指通过同时平移A、B、C、D点的坐标，将与车头垂直的中间线置于透视变换图像的x方向中轴线上，计算公式如下：

$\left[\begin{array}{cccc}{x}_1^{\′}& x_2^{\′}& x_3^{\′}& x_4^{\′}\\ y_1^{\′}& y_2^{\′}& y_3^{\′}& y_4^{\′}\end{array}\right]=\left[\begin{array}{cccc}{x}_1+\mathrm{\Δ}x& x_2+\mathrm{\Δ}x& x_3+\mathrm{\Δ}x& x_4+\mathrm{\Δ}x\\ y_1+\mathrm{\Δ}y& y_2+\mathrm{\Δ}y& y_3+\mathrm{\Δ}y& y_4+\mathrm{\Δ}y\end{array}\right]$

其中，(x′₁,y′₁)(x′₂,y′₂)(x′₃,y′₃)(x′₄,y′₄)为平移过后的A，B，C，D四点坐标值，(x₁,y₁)(x₂,y₂)(x₃,y₃)(x₄,y₄)为未平移的A，B，C，D四点的坐标值，Δx，Δy分别为图像在x方向，y方向的平移量。