CN104504680A - 一种用于智能车的逆透视标定方法 - Google Patents

Abstract

一种用于智能车的逆透视标定方法属于智能车无人驾驶技术领域。首先在智能辆前方路面标记出一个矩形的，记录矩形的长和宽，使用需要逆透视标定的摄像机捕获一张图像，然后从图像中找出矩形的四个顶角点对应的图像坐标，最后通过四个坐标点和矩形的长宽计算出逆透视所需要的单应性矩阵。本发明具有简单易操作、输入参数少、标定精度高等优点，克服了传统标定方法的缺陷。

Description

一种用于智能车的逆透视标定方法

技术领域：

本发明是一种用于智能车的逆透视标定方法，属于智能车无人驾驶技术领域。

背景技术：

安全驾驶、智能交通越来越受人们关注和重视，无人驾驶智能车的研究也已成为热点。车道线、斑马线、停止线等重要的交通标线的识别技术是智能车无人驾驶技术的重要组成，而这些交通标线的识别往往需要对原始图像进行逆透视变换。由于智能车辆长时间的测试、行驶过程中会是摄像机的位置发生一些变化，因此经常需要进行逆透视标定。

在现已发表的关于逆透视变换方法的论文中都将研究重点放在了逆透视变换的方法上而忽略了逆透视的标定方法，没有研究人员研究智能车辆中的逆透视标定方法。由于无人驾驶智能汽车的特殊性，要求用于智能车的逆透视标定方法具有操作简易、误差小、精度高的特点。

发明内容：

本发明的目的在于解决无人驾驶智能汽车在实际研究和实验中频繁对摄像机进行逆透视标定过程中遇到操作复杂、误差大、精度低、标定时间长的难题，提出了一种用于智能车的逆透视标定方法。

为了实现上述目的，本发明采取了如下的技术方案：

步骤1：矩形的选定；

步骤1-1：在摄像机的视野范围内的平坦地面上选取一个矩形，要求矩形的纵轴线与智能车的纵轴线平行；

步骤1-2：对所选取的矩形的四个顶角进行标记，要求标记在摄像机的图像画面中能够清晰显示；

步骤1-3：测量矩形的边长，横向边长W，纵向边长H，单位为厘米；为了减少标定误差，要求所选定的矩形的W满足100<W<1000,H满足300<H<1500；

步骤2：捕获图像；

步骤2-1：使用待逆透视标定的摄像机捕获一张图像，要求地面上矩形的四个角的标记在图像内；

步骤3：建立世界平面坐标系；所述的世界平面是指智能车所在的地面所组成的二维平面；所述的坐标系是以横轴为X轴，纵轴为Y轴，其中原点的左边是X轴的正轴，右边是X轴负轴，上边是Y轴负轴，下边是Y轴的正轴；

步骤4：建立图像坐标系；所述的图像坐标系是以图像左上角为原点，横轴为X轴，纵轴为Y轴；

步骤5：计算矩形四个角的世界坐标；四个角的坐标点分别表示为P1(a/k,b/k)，P2((a+W)/k,b/k)，P3(a/k,(b+H)/k)，P4((a+W)/k,(b+H)/k)；其中点P1，P2，P3，P4分别是矩形左上方角、右上方角、左下方角、右下方角；其中k是一个比值，代表的是逆透视图像中一个像素代表的实际距离是k厘米；其中a表示的是X轴偏移距离，单位是厘米，a为正值时逆透视图像往右偏移，a为负值时逆透视图像往左偏移；其中b表示的是Y轴偏移距离，单位是厘米，b为正值时逆透视图像往下偏移，b为负值时逆透视图像往上偏移；P1(a/k,b/k)是矩形左上角点相对于世界坐标原点的坐标点，即当a、b都为零时，P1(a/k,b/k)＝0,0)是世界坐标系的原点；逆透视图像中的左上角(0,0)即是世界坐标系的原点；

步骤6：计算矩形四个角在图像中的图像坐标；四个角的坐标点分别表示为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)；其中其中点p1，p2，p3，p4分别是矩形左上方角、右上方角、左下方角、右下方角在图像中的坐标；

步骤7：计算单应性矩阵H；所述的单应性矩阵H是图像坐标系与世界坐标系的转换关系，是一个3乘3的矩阵；利用开源计算机视觉库(OpenCV)中的函数cvGetPerspectiveTransform(P,p,H)；其中P、p都是坐标点数组，分别保存了世界坐标系中的P1，P2，P3，P4四个坐标点和图像坐标系中的p1，p2，p3，p4四个坐标点；其中H为单应性矩阵，该函数是通过对P、p中的坐标点进行计算得出单应性矩阵并保存在H中；

步骤8：根据步骤7所得的H对图像进行逆透视变换得到逆透视图像。

上述方案需要特别说明是的：

1.步骤1中的矩形选择对标定至关重要，决定了逆透视图像的效果；其中有三个步骤需要进一步说明：步骤1-1中矩形的位置需要和智能车保持在同一地面并且要求智能辆的纵轴与矩形框的纵轴保持在同一直线上，其目的是保证逆透视图像的对称性；由于程序无法自动识别矩形的四个角，而需要人工的将这四个点对应的图像坐标找出来，为了减少人为干扰误差，因此步骤1-2中要求对矩形四个角进行标记；步骤1-3中矩形边长的选择也是决定整个标定过程的成败，其中W、H的选取要根据摄像机的视野范围以及矩形框里车辆的远近而定，如果视野范围较小且离车辆较近则W、H可小些，反则可以大一些，其目的是保证矩形框在摄像机的视野范围内；

2.步骤5计算矩形四个角的世界坐标中有三个参数非常重要，其值的选择将直接影响到标定效果；其中k代表的是逆透视图像中一个像素代表的实际距离是k厘米，因此根据具体需要进行设置，但是尽量设置为能被W、H都能整除的整数，举例如W＝300，H＝600，则k可以是3、5、6、10等，但是k不应该设置得过大或过小，否则都将影响标定效果，因为如果k值太小则会导致逆透视图像尺寸很大而增加了图像存储成本，如果k值太大则会导致逆透视图像尺寸很小而不利于车道线、停止线、斑马线的识别，图像5和图6是a、b相同k不同的效果图；其中a、b的设置也非常重要，其决定了逆透视图像的视野范围，是因为逆透视图像是世界平面按k厘米每像素的比例进行投影的，所以逆透视的原点即是世界坐标系的原点，而a、b就是用于控制矩形左上角在逆透视图像或者世界坐标平面的位置，因此a、b决定了逆透视图像的视野范围，图5和图7是k相同a、b不同的效果图；a、b可以是正负值，所代表的含义也是不一样的，但在实际的应用中一般不会选择负值，因为负值意味着减小了逆透视图像的视野范围，但这需要根据实际应用为主，a、b的设置不宜太大，其绝对值尽量保持在600以内，并且尽量保证a、b值能整除k，从而减少因小数带了的误差；

本发明的有益效果是：

本发明通过可行的技术方案，具有以下几点有益效果：

1.解决了传统标定中因需要测量摄像机高度、俯仰角等信息而标定误差大的问题；

2.解决了传统标定板尺寸过小的问题；因为传统标定方法中一般使用黑白棋盘格标定板进行标定，而车辆体积较大，摄像机在车上很难识别到标定板；

3.本发明中的标定方法简单易操作，可以将整个逆透视标定过程在5分钟内完成；

4.可以根据调整部分参数满足实际应用要求，适应性强；

附图说明：

图1本发明的流程示意图

图2从摄像机获取的原始图像

图3输入的参数

图4矩形四个角在图像中的坐标

图5参数1的结果

图6参数2的结果

图7参数3的结果

具体实施方式：

采用本发明的方法，给出一个非限定性的实例，结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、智能车测试场地进行实现，为了保证无人驾驶智能汽车以及人员安全，所用平台和场地均为无人驾驶技术专业实验平台和测试场地。所使用的一些通用技术如图像获取、坐标点获取等不在详细叙述。

本发明的实施方式如下：

1.按照步骤1要求在智能车前方选取一个矩形，借助车道线以及锥桶对矩形的选取和四个角的标记；具体操作是：首先将车辆停在两车道的正中间，然后在车辆前方4米使用卷尺测量选取了一个610cm乘610cm的矩形，并用锥桶的底座对矩形的四个角进行了标记；按照步骤2要求从摄像机上获取了一种图像，见图2；

2.按照步骤3、4、5、6、7、8的详细步骤进行实现，其中所涉及到的参数如下：参数1为k＝5、W＝610、H＝610、a＝150、b＝300；参数2为k＝10、W＝610、H＝610、a＝150、b＝300；参数3为k＝5、W＝610、H＝610、a＝0、b＝0；原始图像大小是1000X270；图像中矩形四个角的坐标分别p1(304,103)、p2(677,104)、p3(100,234)、p4(880,238)；

3.逆透视标定结果与效果：

根据2参数1所得标定结果

$H=\left|\begin{array}{ccc}2.40115142& -1.66877472& 2.69854919e+2\\ 1.86429778e-3& 6.07412830e-2& 7.82127075e+1\\ -4.47532038e-5& -3.38974083e-3& 1\end{array}\right|;$ 效果图见图5；

根据2参数2所得标定结果

$H=\left|\begin{array}{ccc}4.73403549& -3.30037975& 2.68011566e+2\\ -1.91638749e-2& 1.27451822e-1& 7.83218613e+1\\ -1.86057048e-4& -6.74905721e-3& 1\end{array}\right|;$ 效果图见图6；

根据2参数3所得标定结果 $H=\left|\begin{array}{ccc}6.04704428& -2.08066559& 302\\ 5.34602022e-3& 7.94393867e-2& 103\\ -2.74105860e-5& 4.24927846e-3& 1\end{array}\right|;$ 效果图见图7。

Claims (1)

1.一种用于智能车的逆透视标定方法，其特征在于，包括以下步骤：

步骤1：矩形的选定；

步骤1-1：在摄像机的视野范围内的平坦地面上选取一个矩形，要求矩形的纵轴线与智能车的纵轴线平行；

步骤1-2：对所选取的矩形的四个顶角进行标记，要求标记在摄像机的图像画面中能够清晰显示；

步骤1-3：测量矩形的边长，横向边长W，纵向边长H，单位为厘米；为了减少标定误差，要求所选定的矩形的W满足100<W<1000,H满足300<H<1500；

步骤2：捕获图像；

步骤2-1：使用待逆透视标定的摄像机捕获一张图像，要求地面上矩形的四个角的标记在图像内；

步骤3：建立世界平面坐标系；所述的世界平面是指智能车所在的地面所组成的二维平面；所述的坐标系是以横轴为X轴，纵轴为Y轴，其中原点的左边是X轴的正轴，右边是X轴负轴，上边是Y轴负轴，下边是Y轴的正轴；

步骤4：建立图像坐标系；所述的图像坐标系是以图像左上角为原点，横轴为X轴，纵轴为Y轴；

步骤5：计算矩形四个角的世界坐标；四个角的坐标点分别表示为P1(a/k,b/k)，P2((a+W)/k,b/k)，P3(a/k,(b+H)/k)，P4((a+W)/k,(b+H)/k)；其中点P1，P2，P3，P4分别是矩形左上方角、右上方角、左下方角、右下方角；其中k是一个比值，代表的是逆透视图像中一个像素代表的实际距离是k厘米；其中a表示的是X轴偏移距离，单位是厘米，a为正值时逆透视图像往右偏移，a为负值时逆透视图像往左偏移；其中b表示的是Y轴偏移距离，单位是厘米，b为正值时逆透视图像往下偏移，b为负值时逆透视图像往上偏移；P1(a/k,b/k)是矩形左上角点相对于世界坐标原点的坐标点，即当a、b都为零时，P1(a/k,b/k)＝0,0)是世界坐标系的原点；逆透视图像中的左上角(0,0)即是世界坐标系的原点；

步骤6：计算矩形四个角在图像中的图像坐标；四个角的坐标点分别表示为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)；其中其中点p1，p2，p3，p4分别是矩形左上方角、右上方角、左下方角、右下方角在图像中的坐标；

步骤7：计算单应性矩阵H；所述的单应性矩阵H是图像坐标系与世界坐标系的转换关系，是一个3乘3的矩阵；利用开源计算机视觉库(OpenCV)中的函数cvGetPerspectiveTransform(P,p,H)；其中P、p都是坐标点数组，分别保存了世界坐标系中的P1，P2，P3，P4四个坐标点和图像坐标系中的p1，p2，p3，p4四个坐标点；其中H为单应性矩阵，该函数是通过对P、p中的坐标点进行计算得出单应性矩阵并保存在H中；

步骤8：根据步骤7所得的H对图像进行逆透视变换得到逆透视图像。