CN1537749A - 一种车载摄像机外部参数三线标定方法 - Google Patents

Abstract

本发明公开了车载摄像机外部参数三线标定方法，该方法针对基于视觉导航的智能车辆车载摄像机标定问题，利用现成的工具箱进行内部参数标定，根据透视投影原理，三条平行线在图像平面上具有相同的消失点和不同的斜率，而摄像机的外部参数与消失点和斜率有着内在的联系，经过数学推导和坐标变换，能够建立以像素为单位的摄像机外部参数表达式。在像素坐标系内，以手工或自动的方式确定平行线交点和另外三点的坐标后，即可直接计算出所需参数。此过程可以在多种环境下实现，如公路、运动场跑道或专门画的平行线。实验结果验证了该方法的可行性和正确性。

Description

一种车载摄像机外部参数三线标定方法

技术领域

本发明属于计算机视觉领域，涉及计算机视觉中摄像机标定，特别涉及一种车载摄像机外部参数三线标定方法。

背景技术

随着城市化的发展和汽车的普及，交通运输问题日益严重，智能车辆导航的概念应运而生。基于视觉的道路跟踪最受重视，根据申请人进行的资料检索，查出以下文献：

[1]Bertozzi M，Broggi A，Cellario M，et al.ArtificialVision in road vehicles[C].In：Proceedings of the IEEE on IntelligentTransmission System，2002，90(7)：1258-1271

[2]杨明，陆建业，王宏，张钹等.基于视觉的道路跟踪[J].《模式识别与人工智能》，2001，14(2)：186-193

[3]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述.《自动化学报》，2000，26(1)：43-55

[4]Bertozzi M，Broggi A.GOLD：a parallel real-time stereovision system for generic obstacle and lane detection[J].IEEEtransactions on image processing，1998，7(1)：62-81

[5]Bertozzi M，Broggi A，Fascioli A.Self-calibration of astereo vision system for automotive applications[C].In：Proceedingsof IEEE International Conference on Robotics and Automation，2001，4：3698-3703

[6]Southall B，Taylor C J.Stochastic road shapeestimation[C].In：Proceedings of Eighth IEEE InternationalConference on Computer Vision，2001，1：205-212

[7]宋雪峰，杨明，王宏.基于网格状纹理的简易摄像机标定方法.《计算机工程与应用[J]》.2002，7：72-74

在智能车辆导航诸多复杂且具有挑战性的任务中，最受重视的是基于视觉的道路跟踪^[1][2]。在这个过程中通常需要根据摄像机获取的图像信息计算三维空间中物体的几何信息，并由此重建或识别物体，因而摄像机标定是必不可少的^[3]。对于车载摄像机的标定问题，有很多人进行了研究：意大利帕尔马大学的ARGO***假定摄像机的内部参数已知，在地面上画上已知尺寸的网格，利用网格的交点来标定外部参数^[4]；此外他们还采用了一种所谓的自标定方法^[5]，使用发动机盖上的标记点作为标定目标，这些标定点相对于车体坐标系的位置是已知的；宾夕法尼亚大学GRASP实验室的研究人员使用了南加利福尼亚大学开发的标定工具箱进行内部参数的标定，利用代表车道的直线进行外部参数的标定^[6]；清华大学的研究人员利用地面上的网格进行标定^[7]。还有其他研究人员使用Intel的函数库进行摄像机内部参数的标定，使用类似于ARGO***的方法标定外部参数。虽然上述标定方法能够较好地解决问题，但都存在不足之处：操作过程复杂，对环境的要求较高，或标定的参数较少。

目前对智能车辆的研究，主要集中在路面较平整的区域，因此可作地面平坦性假设。由于车辆是在路面上行驶，一定范围内的偏差不会引起太大的问题，故标定的精度可以大大低于机器人手眼标定、三维重建等应用领域内的精度。

发明内容

针对上述车载摄像机标定的这些特点，本发明的目的在于，提供一种车载摄像机外部参数三线标定的方法。

实现上述发明目的技术解决方案是，车载摄像机外部参数三线标定方法，其特点是，在平坦地面上画三条互相平行的直线，或利用已有的平行线，或找一段有三条标志线的平直道路，使使载有摄像机汽车的纵轴平行于这些直线，测得它们与车体纵轴的距离；建立以像素为单位的摄像机外部参数表达式来确定车载摄像机外部参数，经过数学推导和坐标变换，得到摄像机相对车体的侧倾角ψ、俯仰角θ、方向角、摄像机在车体中离地面的高度h和摄像机光心距车体纵轴的横向距离d。

本发明的方法只需平坦地面上三条平行的直线，就可以进行摄像机外部参数标定，无需专用场地，甚至可以在车辆的行驶过程中完成。

附图说明

图1是本发明的车体与摄像机之间的关系示意图，也是本发明的一个实施例；其中(a)为侧视图，(b)为俯视图，(c)为后视图；

图2是摄像机坐标系、图像平面坐标系和像素坐标系的关系示意图；

图3是标定用的平直公路及手工叠加在上面的直线图片；

图4是标定用的运动场跑道及手工叠加在上面的直线图片。

具体实施方式

以下结合附图和发明人给出的实施例对本发明作进一步的详细说明。

依照上述技术方案，车载摄像机外部参数三线标定方法包括以下步骤：

1)在平坦地面上画三条互相平行的直线，或利用已有的平行线，或找一段有三条标志线的平直道路，使载有摄像机汽车的纵轴平行于这些直线，测得它们与车体纵轴的距离；

2)车载摄像机外部参数的确定

车载摄像机外部参数包括摄像机相对车体的侧倾角ψ、俯仰角θ、方向角、摄像机在车体中离地面的高度h和摄像机距车中心距离d；

3)建立以像素为单位的摄像机外部参数表达式

如图1所示，采用左手坐标系，设车体坐标系中某一点的坐标为p_v＝(x_v，y_v，z_v)，其在摄像机坐标系的坐标为p_c＝(x_c，y_c，z_c)。摄像机相对车体的侧倾角为ψ(沿车辆行驶方向观察顺时针倾斜为正)，俯仰角为θ(指向上方为正)，方向角为(指向车身轴线左方为正)，摄像机的光心在车体坐标系中的位置是t＝(l，d，h)，则

p_v＝R·p_c+t

p_c＝R^-1·p_v-R^-1·t＝R^T·p_v-R^T·t                (1)

其中

$=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$

其中

假设地面平坦，光轴o在平面z_v＝0上的投影形成的矢量是η，η与X_v轴形成的夹角是，光轴o与η形成的夹角是θ，摄像机相对车体的侧倾角(或称摄像机的滚转角)为ψ，l₁、l₂、l₃为平坦地面上三条平行于车身纵轴的直线，距X_v的距离分别为a、b、c；

对于平坦地面上一条平行于车身纵轴X_v，且到其距离为k的直线l，其参数方程为

根据式(1)，l在摄像机坐标系中的参数方程为

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{21}& r_{31}\\ r_{12}& r_{22}& r_{32}\\ r_{13}& r_{23}& r_{33}\end{array}\right]\·\left[\begin{array}{c}s\\ k\\ 0\end{array}\right]-\left[\begin{array}{ccc}{r}_{11}& r_{21}& r_{31}\\ r_{12}& r_{22}& r_{32}\\ r_{13}& r_{23}& r_{33}\end{array}\right]\·\left[\begin{array}{c}l\\ d\\ h\end{array}\right]$

$=\left[\begin{array}{c}s\·r_{11}+k\·r_{21}-l\·r_{11}-d\·r_{21}-h\·r_{31}\\ s\·r_{12}+k\·r_{22}-l\·r_{12}-d\·r_{22}-h\·r_{32}\\ s\·r_{13}+k\·r_{23}-l\·r_{13}-d\·r_{23}-h\·r_{33}\end{array}\right]---\left(3\right)$

根据本文定义的摄像机坐标系、图像平面坐标系和像素坐标系之间的相互关系(图2)，有

u＝y_c，v＝-z_c，u＝(i-c_i)·dx，v＝(j-c_j)·dy            (4)

其中dx、dy和c_i、c_j分别为横向、纵向的比例系数和主点位置。

根据小孔成像模型，结合式(3)、式(4)，l在图像平面坐标系上的参数方程为(焦距以像素为单位表示)

由于s是任意实数，且和l在同一个方向上，式(5)改写成

当s→∞时，直线l延伸到无穷远处，其在图像平面坐标系上的消失点为

$u_h=\underset{s\→\∞}{\mathrm{li}{m}^u}$

$=\underset{s\→\∞}{\lim }{f}_i\·\mathrm{dx}\·\frac{s\·r_{12}+k\·r_{22}-d\·r_{22}-h\·r_{32}}{s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31}}---\left(7a\right)$

$=f_i\·\mathrm{dx}\·\frac{r_{12}}{r_{11}}$

$v_h=\underset{s\→\∞}{\lim }v$

$=\underset{s\→\∞}{\lim }-f_j\·\mathrm{dy}\·\frac{s\·r_{13}+k\·r_{23}-d\·r_{23}-h\·r_{33}}{s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31}}---\left(7b\right)$

$=-f_j\·\mathrm{dy}\·\frac{r_{13}}{r_{11}}$

因为空间中相互平行的直线族在视平面有相同的消失点，故直线l₁、l₂、l₃成像的消失点为

u_h1＝u_h2＝u_h3＝u_h

v_h1＝v_h2＝v_h3＝v_h

$g=\frac{\mathrm{du}}{\mathrm{dv}}=\frac{\frac{\mathrm{du}}{\mathrm{ds}}}{\frac{\mathrm{dv}}{\mathrm{ds}}}---\left(8\right)$

$=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{k\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-k\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{k\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-k\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

对于3条平行线l₁、l₂、l₃，分别有

$g_1=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{a\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-a\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{a\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-a\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

$g_2=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{b\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-b\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{b\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-b\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}---\left(9\right)$

$g_3=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{c\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-c\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{c\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-c\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

根据式(9)，解得

$\mathrm{tg\ψ}=\frac{(r_1-r_3)(a-b)-(r_1-r_2)(a-c)}{(r_1-r_3)(r_{1}a-r_{2}b)-(r_1-r_2)(r_{1}a-r_{3}c)}---\left(10\right)$

根据式(7a)、(7b)

$\mathrm{tg\θ}=\frac{u_h\·\sin \mathrm{\ψ}}{f_i\·\mathrm{dx}}+\frac{v_h\·\cos \mathrm{\ψ}}{f_j\·\mathrm{dy}}---\left(11\right)$

根据式(9)，解得

$h=\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}---\left(13\right)$

$d=\frac{B}{A}\·\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}+a$

其中：

A＝r₁·sinψ·cosθ-cosθcosψ

B＝-(cossinψ+sincosψsinθ)-r₁(coscosψ-sinsinψsinθ)

C＝r₂·sinψcosθ-cosθcosψ

D＝-(cossinψ+sincosψsinθ)-r₂(coscosψ-sinsinψsinθ)

$r_n=-\frac{g_n}{\frac{f_i}{f_j}\·\frac{\mathrm{dx}}{\mathrm{dy}}},$ n＝1，2，3

4)参数标定

摄像机的内部参数使用南加利福尼亚大学开发的标定工具箱进行标定(J.Y.Bouget.Matlab camera calibration toolbox.http：//www.vision.caltech.edu/bougetj/calib_doc/index.html)，从一组标定物不同方位的图像中提取出已知几何信息的特征点，然后将其送入优化过程，就可以得到摄像机的主点和有效焦距。

利用本发明在平坦地面上画三条互相平行的直线，或利用已有的平行线(如运动场的百米赛道)，或找一段有三条车道线的平直道路，使汽车的纵轴平行于这些直线，测得它们与车体纵轴的距离(即a、b、c)就可方便地进行摄像机外部参数标定。

实施例：

该方法以不同的形式在吉林大学和西安交通大学的试验车上进行了测试。首先选用的是一段具有三条车道线的平直公路。图3是实验车采集的视频中的一帧，相机是美国PULNIX公司的TMC-9700，采集卡和处理卡分别是加拿大CORECO公司的Viper RGB和Python，镜头选用Computar 8mm，图像分辨率设定为256×240，摄像机安装在副驾驶位置的前上方。将该帧图片存成bmp格式的文件，然后利用Windows的画笔进行处理，用画笔的直线工具画出l₁ ^c、l₂ ^c、l₃ ^c三条直线，叠加在车道线上，代表标志线成像的中心线。H(i_h，j_h)表示三条平行线的交点，P₁(i₁，j₁)为l₁ ^c上除H(i_h，j_h)外的任意一点，P₂(i₂，j₂)为l₂ ^c上除H(i_h，j_h)外的任意一点，P₃(i₃，j₃)为l₃ ^c上除H(i_h，j_h)外的任意一点。利用画笔的图像坐标定位功能，找出四个选定点的像素坐标，此外测得a＝-3.2m，b＝0.3m，c＝3.8m。在像素坐标系中，

$g_n=\frac{\mathrm{dx}}{\mathrm{dy}}\·\frac{i_h-i_n}{j_h-j_n},n=\mathrm{1,2,3}---\left(14\right)$

将式(14)代入式(10)、(11)、(12)、(13)中，即可求得ψ，θ，，d，h的值。

                表1 PULNIX摄像机内部参数和外部参数标定结果

参  f_i  f_j  c_i c_j    ψ         θ                d      h

数

值  599  605  89  150  0.034rad  -0.219rad  0.053rad  0.29m  1.70m

    像   像   像  像

    素   素   素  素

上述实验方法只是该标定方法的一种实现方式，还能以另外一种方式进行。如图4所示，场地选用塑胶运动场的百米跑道(这样可以直接利用赛道标志线的已知几何信息而不必重新画线，且满足地面平坦性假设)，使汽车的纵向轴平行于跑道标志线。所用的像机为SONY DSR-PD150P，将变焦设定为望远方式的最大值，手动聚焦，分辨率设定为640×480，测得a＝-1.25m，b＝0m，c＝1.25m，标定的结果见表2。

                表2 SONY摄像机内部参数和外部参数标定结果

参  f_i  f_j  c_i  c_j    ψ         θ                d       h

数

值  789  806  322  218  0.039rad  -0.026rad  -0.028rad  0.25m  1.37m

    像   像   像   像

    素   素   素   素

此外还可以在车辆行驶过程中进行标定。例如在行驶中，司机使车体上某一事先定好的标志对准中间车道线，行进方向与车道线平行，就可以确定a、b、c的值，从而完成标定。

本发明的车载摄像机外部参数三线标定方法中的平行线成像定位是手工实现的，如果在标定过程中引入图像处理技术，就可以实现车载摄像机外部参数的自动标定。这样车辆即使在行驶中，只要遇到合适的路段，就可以随时进行标定。

显然，本发明的三线标定方法不能对摄像机光心相对车体坐标系的纵向位移l进行标定，需要额外测量这个参数，使得l引入测量误差，但一般不会太大。在一般情况下，汽车的预瞄距离为30m～70m，因此测量引入的误差是可以忽略的，且幸运的是其它参数的计算不依赖于该参数。

另外，标定过程不可避免地会产生误差，其主要原因可归结如下：

●不能满足地面平坦性假设；

●三条直线存在弯曲或相互之间不平行；

●车身的纵轴线方向没有与直线平行；

●手工叠加的直线不是标志线的中心线；

●三条直线相对于车身纵轴线的距离测量误差较大；

●内部参数的标定不准确。

理论分析和实验结果表明，三线法仅需三条平行线，就可以完成车载摄像机的外部参数标定，相对已有的一些方法，具有原理简单，操作方便，通用性强，实现方式多样，易集成在车载机器视觉***中等优点。引入图像处理技术后，整个标定过程可以完全自动化，甚至能够在车辆行驶中进行，从而在一定程度上解决了车载摄像机参数的漂移问题。另外，三线法还可以简化成六点法，即用呈矩形分布的六个点代替三条平行线。六点法特别适合于在固定场地上标定，只需要画六个点，但不适合于在公路上标定。附：《车载摄像机外部参数标定三线法》中一些公式的证明1.文中式(8)的推导

$\frac{\mathrm{du}}{\mathrm{ds}}=f_i\·\mathrm{dx}\·\frac{r_{12}(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})-(s\·r_{12}+k\·r_{22}-d\·r_{22}-h{\·r}_{32})}{{(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})}^2}$

$=f_i\·\mathrm{dx}\·\frac{k\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-k\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}\·r_{32}}{{(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})}^2}{r}_{11}$

$\frac{\mathrm{dv}}{\mathrm{ds}}=-f_i\·\mathrm{dy}\·\frac{r_{13}\·(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})-(s\·r_{13}+k\·r_{23}-d\·r_{23}-h{\·r}_{32})\·r_{11}}{{(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})}^2}{r}_{11}$

$=-f_i\·\mathrm{dy}\·\frac{k\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-k\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}{{(s\·r_{11}+k\·r_{21}-d\·r_{21}-h\·r_{31})}^2}\·r_{11}$

然后有

$g=\frac{\mathrm{du}}{\mathrm{dv}}=\frac{\frac{\mathrm{du}}{\mathrm{ds}}}{\frac{\mathrm{dv}}{\mathrm{ds}}}$

$=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{k\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-k\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h{\·r}_{11}{r}_{32}}{k\·r_{13}\·r_{21}-d{\·r}_{13}{\·r}_{21}-h\·r_{13}\·r_{31}-k\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h{\·r}_{11}{r}_{33}}$

2.文中式(10)的推导根据文中式(9)

$g_1=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{a\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-a\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{a\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-a\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

$g_2=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{b\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-b\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{b\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-b\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

$g_3=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{c\·r_{12}\·r_{21}-d\·r_{12}\·r_{21}-h\·r_{12}\·r_{31}-c\·r_{11}\·r_{22}+d\·r_{11}\·r_{22}+h\·r_{11}{r}_{32}}{c\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-c\·r_{11}\·r_{23}+d\·r_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

令 $r_n=-\frac{g_n}{\frac{f_i}{f_j}\·\frac{\mathrm{dx}}{\mathrm{dy}}},$ n＝1，2，3

则

$r_1=\frac{a(r_{12}\·r_{21}-r_{11}\·r_{22})+d(r_{11}\·r_{22}-r_{12}\·r_{21})+h(r_{11}\·r_{32}-r_{12}\·r_{31})}{a\·(r_{13}\·r_{21}-r_{11}\·r_{23})+d(r_{11}\·r_{23}-r_{13}\·r_{21})+h(r_{11}\·r_{33}-r_{13}\·r_{31})}$

展开得r₁·a·(r₁₃·r₂₁-r₁₁·r₂₃)+r₁·d·(r₁₁·r₂₃-r₁₃·r₂₁)+r₁·h·(r₁₁r₃₃-r₁₃·r₃₁)＝a·(r₁₂·r₂₁-r₁₁·r₂₂)+d·(r₁₁·r₂₂-r₁₂·r₂₁)+h·(r₁₁r₃₂-r₁₂·r₃₁)    (A1)同理可得r₂·b·(r₁₃·r₂₁-r₁₁·r₂₃)+r₂·d·(r₁₁·r₂₃-r₁₃·r₂₁)+r₂·h·(r₁₁r₃₃-r₁₃·r₃₁)＝b·(r₁₂·r₂₁-r₁₁·r₂₂)+d·(r₁₁·r₂₂-r₁₂·r₂₁)+h·(r₁₁r₃₂-r₁₂·r₃₁)  (A2)r₃·c·(r₁₃·r₂₁-r₁₁·r₂₃)+r₃·d·(r₁₁·r₂₃-r₁₃·r₂₁)+r₃·h·(r₁₁r₃₃-r₁₃·r₃₁)＝c·(r₁₂·r₂₁-r₁₁·r₂₂)+d·(r₁₁·r₂₂-r₁₂·r₂₁)+h·(r₁₁r₃₂-r₁₂·r₃₁)  (A3)式(A1)减去式(A2)得(r₁·a-r₂·b)·(r₁₃·r₂₁-r₁₁·r₂₃)+d·(r₁-r₂)·(r₁₁·r₂₃-r₁₃·r₂₁)+h·(r₁-r₂)·(r₁₁·r₃₃-r₁₃·r₃₁)＝(a-b)·(r₁₂·r₂₁-r₁₁·r₂₂)                      (A4)式(A1)减去式(A3)得

(r₁·a-r₃·c)·(r₁₃·r₂₁-r₁₁·r₂₃)+d·(r₁-r₃)·(r₁₁·r₂₃-r₁₃·r₂₁)+h·(r₁-r₃)·(r₁₁·r₃₃-r₁₃·r₃₁)＝(a-c)·(r₁₂·r₂₁-r₁₁·r₂₂)                  (A5)式(A2)减去式(A3)得

(r₂·b-r₃·c)·(r₁₃·r₂₁-r₁₁·r₂₃)+d·(r₂-r₃)·(r₁₁·r₂₃-r₁₃·r₂₁)+h·(r₂-r₃)·(r₁₁·r₃₃-r₁₃·r₃₁)＝(b-c)·(r₁₂·r₂₁-r₁₁·r₂₂)                  (A6)由(A4)得

d·(r₁-r₂)·(r₁₁·r₂₃-r₁₃·r₂₁)＝(a-b)·(r₁₂·r₂₁-r₁₁·r₂₂)-(r₁·a-r₂·b)·(r₁₃·r₂₁-r₁₁·r₂₃)-h·(r₁-r₂)·(r₁₁·r₃₃-r₁₃·r₃₁)                  (A7)由(A5)得

d·(r₁-r₃)·(r₁₁·r₂₃-r₁₃·r₂₁)＝(a-c)·(r₁₂·r₂₁-r₁₁·r₂₂)-(r₁·a-r₃·c)·(r₁₃·r₂₁-r₁₁·r₂₃)-h·(r₁-r₃)·(r₁₁·r₃₃-r₁₃·r₃₁)                  (A8)由(A6)得

d·(r₂-r₃)·(r₁₁·r₂₃-r₁₃·r₂₁)＝(b-c)·(r₁₂·r₂₁-r₁₁·r₂₂)-(r₂·b-r₃·c)·(r₁₃·r₂₁-r₁₁·r₂₃)-h·(r₂-r₃)·(r₁₁·r₃₃-r₁₃·r₃₁)                  (A9)(A7)除以(A8)，得

$\frac{r_1-r_2}{r_1-r_3}=\frac{(a-b)\·(r_{12}\·r_{21}-r_{11}\·r_{22})-(r_1\·a-r_2\·b)(r_{13}\·r_{23}-r_{11}\·r_{23})-h\·(r_1-r_2)\·(r_{11}\·r_{33}-r_{13}\·r_{31})}{(a-b)\·(r_{12}\·r_{21}-r_{11}\·r_{22})-(r_1\·a-r_3\·c)-(r_{13}\·r_{21}-r_{11}\·r_{23})-h\·(r_1-r_3)\·(r_{11}\·r_{33}-r_{13}\·r_{31})}---\left(A10\right)$

整理得：

(r₁-r₂)·(a-c)·(r₁₂·r₂₁-r₁₁·r₂₂)-(r₁-r₂)·(r₁·a-r₃·c)·(r₁₃·r₂₁-r₁₁·r₂₃)

                                                                                (A11)

＝(r₁-r₃)·(a-b)·(r₁₂·r₂₁-r₁₁·r₂₂)-(r₁-r₃)·(r₁·a-r₂·b)·(r₁₃·r₂₁-r₁₁-r₂₃)因为

r₁₂·r₂₁-r₁₁·r₂₂＝(sincosψ+cossinψsinθ)·(-sincosθ)-cosθcos·(coscosψ-sinsinψsinθ)＝-cosψcosθ

r₁₃·r₂₁-r₁₁·r₂₃＝(sinsinψ-coscosψsinθ)·(-sincosθ)-cosθcos·(cossinψ+sincosψsinθ)＝-sinψcosθ式(A11)改写为

(r₁-r₂)·(a-c)·(-cosψcosθ)-(r₁-r₂)·(r₁·a-r₃·c)·(-sinψcosθ)

                                                                            (A12)

＝(r₁-r₃)·(a-b)·(-cosψcosθ)-(r₁-r₃)·(r₁·a-r₂·b)·(-sinψcosθ)等式两边约去cosθ，有

-(r₁-r₂)·(a-c)·cosψ+(r₁-r₃)·(a-b)·cosψ＝(r₁-r₃)·(r₁·a-r₂·b)·sinψ-(r₁-r₂)·(r₁·a-r₃·c)·sinψ故有

$\mathrm{tg\ψ}=\frac{(r_1-r_3)(a-b)-(r_1-r_2)(a-b)}{(r_1-r_3)(r_{1}a-r_{2}b)-(r_1-r_2)(r_{1}a-r_{3}c)}---\left(A13\right)$

3.文中式(11)的推导

根据文中式(7a)和(7b)，有

式(A14)除以式(A15)，最后解得

$\mathrm{tg\θ}=\frac{u_h\·\sin \mathrm{\ψ}}{f_i\·\mathrm{dx}}+\frac{v_h\·\cos \mathrm{\ψ}}{f_j\·\mathrm{dy}}---\left(A16\right)$

4.文中式(12)的推导根据式(A14)，解得

5.文中式(13)的推导由式(A1)得d·[r₁·(r₁₁·r₂₃-r₁₃·r₂₁)-(r₁₁·r₂₂-r₁₂·r₂₁)]＝h·[(r₁₁·r₃₂-r₁₂·r₃₁)-r₁·(r₁₁r₃₃-r₁₃·r₃₁)]+a·(r₁₂·r₂₁-r₁₁·r₂₂)-r₁·α·(r₁₃·r₂₁-r₁₁·r₂₃)  (A18)由式(A2)得d·[r₂·(r₁₁·r₂₃-r₁₃·r₂₁)-(r₁₁·r₂₂-r₁₂·r₂₁)]＝h·[(r₁₁·r₃₂-r₁₂·r₃₁)-r₂·(r₁₁r₃₃-r₁₃·r₃₁)]+b·(r₁₂·r₂₁-r₁₁·r₂₂)-r₂·b·(r₁₃·r₂₁-r₁₁·r₂₃)   (A19)其中

r₁₁·r₂₂-r₁₂·r₂₁＝cosθcos·(coscosψ-sinsinψsinθ)-(sincosψ+cossinψsinθ)·(-sincosθ)

                 ＝cosθcosψ

r₁₁·r₂₃-r₁₃·r₂₁＝cosθcos·(cossinψ+sincosψsinθ)-(sinsinψ-coscosψsinθ)·(-sincosθ)

                 ＝sinψcosθ

r₁₁·r₃₂-r₁₂·r₃₁＝cosθcos·(-cosθsinψ)-(sinsinψ-coscosψsinθ)·sinθ

                 ＝-cos·sinψ-sin·cosψ·sinθ

r₁₁·r₃₃-r₁₃·r₃₁＝cosθcos·cosθcosψ-(sinsinψ-coscosψsinθ)·sinθ

                 ＝cos·cosψ-sin·sin·sinθ令A＝r₁·(r₁₁·r₂₃-r₁₃·r₂₁)-(r₁₁·r₂₂-r₁₂·r₂₁)＝r₁·sinψ·cosθ-cosθcosψB＝[(r₁₁·r₃₂-r₁₂·r₃₁)-r₁·(r₁₁r₃₃-r₁₃·r₃₁)]＝-(cossinψ+sincosψsinθ)-r₁(coscosψ-sinsinψsinθ)C＝r₂·(r₁₁·r₂₃-r₁₃·r₂₁)-(r₁₁·r₂₂-r₁₂·r₂₁)＝r₂·sinψcosθ-cosθcosψD＝(r₁₁·r₃₂-r₁₂·r₃₁)-r₂·(r₁₁r₃₃-r₁₃·r₃₁)＝-(cossinψ+sincosψsinθ)-r₂(coscosψ-sinsinψsinθ)式(A18)除以(A19)，得

$\frac{A}{C}=\frac{\mathrm{hB}+\mathrm{aA}}{\mathrm{hD}+\mathrm{bC}}$

所以

$h=\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}$

再由式(A18)，得

$d=\frac{B}{A}\·\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}+a$

Claims (1)

1.车载摄像机外部参数三线标定方法，其特征在于，包括以下步骤：

1)在平坦地面上画三条互相平行的直线，或利用已有的平行线，或找一段有三条标志线的平直道路，使载有摄像机汽车的纵轴平行于这些直线，测得这些直线与车体纵轴的距离；

2)车载摄像机外部参数的确定

车载摄像机外部参数包括摄像机相对车体的侧倾角ψ、俯仰角θ、方向角、摄像机在车体中离地面的高度h和摄像机光心距车体纵轴的横向距离d；

(1)建立以像素为单位的摄像机外部参数表达式，采用左手坐标系，设车体坐标系中某一点的坐标为p_v＝(x_v，y_v，z_v)，其在摄像机坐标系的坐标为p_c＝(x_c，y_c，z_c)；摄像机相对车体的侧倾角为ψ，该侧倾角沿车辆行驶方向观察顺时针倾斜为正；俯仰角为θ，该俯仰角指向上方为正；方向角为，该方向角指向车身轴线左方为正；摄像机的光心在车体坐标系中的位置是t＝(l，d，h)，则

p_v＝R·p_c+t

p_c＝R^-1·p_v-R^-1·t＝R^T·p_v-R^T·t      (1)

其中

$=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$

(2)假设地面平坦，光轴o在平面z_v＝0上的投影形成的矢量是η，η与X_v轴形成的夹角是，光轴o与η形成的夹角是θ，摄像机的侧倾角为ψ，l₁、l₂、l₃为平坦地面上三条平行于车身纵轴的直线，距X_v的距离分别为a、b、c；对于平坦地面上一条平行于车身纵轴X_v，且到其距离为k的直线l，其参数方程为

(3)根据式(1)，l在摄像机坐标系中的参数方程为

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{21}& r_{31}\\ r_{12}& r_{22}& r_{32}\\ r_{13}& r_{23}& r_{33}\end{array}\right]\left[\begin{array}{c}s\\ k\\ 0\end{array}\right]-\left[\begin{array}{ccc}{r}_{11}& r_{21}& r_{31}\\ r_{12}& r_{22}& r_{32}\\ r_{13}& r_{23}& r_{33}\end{array}\right]\·\left[\begin{array}{c}l\\ d\\ h\end{array}\right]$

$=\left[\begin{array}{c}s{\·r}_{11}+k{\·r}_{21}-l{\·r}_{11}-d{\·r}_{21}-h{\·r}_{31}\\ s{\·r}_{12}+k{\·r}_{22}-l{\·r}_{12}-d{\·r}_{22}-h\·r_{32}\\ s\·r_{13}+k{\·r}_{23}-l{\·r}_{13}-d{\·r}_{23}-h\·r_{33}\end{array}\right]---\left(3\right)$

(4)根据上述定义的摄像机坐标系、图像平面坐标系和像素坐标系之间的相互关系，有

u＝y_c，v＝-z_c，u＝(i-c_i).dx，v＝(j-c_j)·dy     (4)

其中dx、dy和c_i、c_j分别为横向、纵向的比例系数和主点位置；

(5)根据小孔成像模型，结合式(3)、式(4)，l在图像平面坐标系上的参数方程为

式中焦距以像素为单位表示；由于s是任意实数，且和l在同一个方向上，式(5)改写成

(6)当s→∞时，直线l延伸到无穷远处，其在图像平面坐标系上的消失点为

$u_h=\underset{s\→\∞}{\lim }u$

$=\underset{s\→\∞}{\lim }{f}_i\·\mathrm{dx}\·\frac{s{\·r}_{12}+k\·r_{22}-d\·r_{22}-h{\·r}_{32}}{s{\·r}_{11}+k\·r_{21}-d\·r_{21}-h{\·r}_{31}}$

$=f_i\·\mathrm{dx}\·\frac{r_{12}}{r_{11}}---\left(7a\right)$

$v_h=\underset{s\→\∞}{\lim }v$

$=\underset{s\→\∞}{\lim }-f_j\·\mathrm{dy}\·\frac{s{\·r}_{13}+k\·r_{23}-d\·r_{23}-h{\·r}_{23}}{s{\·r}_{11}+k\·r_{21}-d\·r_{21}-h{\·r}_{31}}$

$=-f_j\·\mathrm{dy}\·\frac{r_{13}}{r_{11}}---\left(7b\right)$

因为空间中相互平行的直线族在视平面有相同的消失点，故直线l₁、l₂、l₃成像的消失点为

u_h1＝u_h2＝u_h3＝u_h

v_h1＝v_h2＝v_h3＝v_h

(7)根据图象平面中直线的斜率得

$g=\frac{\mathrm{du}}{\mathrm{dv}}=\frac{\frac{\mathrm{du}}{\mathrm{ds}}}{\frac{\mathrm{dv}}{\mathrm{ds}}}---\left(8\right)$

$=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{k{\·r}_{12}\·r_{21}-d\·r_{12}{\·r}_{21}-h{\·r}_{12}\·r_{31}-k{\·r}_{11}\·r_{22}+d{\·r}_{11}{\·r}_{22}+h{\·r}_{11}{r}_{32}}{k\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-k{\·r}_{11}{\·r}_{23}+d{\·r}_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

对于3条平行线l₁、l₂、l₃，分别有

$g_1=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{a{\·r}_{12}\·r_{21}-d\·r_{12}{\·r}_{21}-h{\·r}_{12}\·r_{31}-a{\·r}_{11}\·r_{22}+d{\·r}_{11}{\·r}_{22}+h{\·r}_{11}{r}_{32}}{a\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-a\·r_{11}{\·r}_{23}+d{\·r}_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

$g_2=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{b{\·r}_{12}\·r_{21}-d\·r_{12}{\·r}_{21}-h{\·r}_{12}\·r_{31}-b{\·r}_{11}\·r_{22}+d{\·r}_{11}{\·r}_{22}+h{\·r}_{11}{r}_{32}}{b\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-b{\·r}_{11}{\·r}_{23}+d{\·r}_{11}\·r_{23}+h\·r_{11}{r}_{33}}---\left(9\right)$

$g_3=-\frac{f_i\·\mathrm{dx}}{f_j\·\mathrm{dy}}\·\frac{c{\·r}_{12}\·r_{21}-d\·r_{12}{\·r}_{21}-h{\·r}_{12}\·r_{31}-c{\·r}_{11}\·r_{22}+d{\·r}_{11}{\·r}_{22}+h{\·r}_{11}{r}_{32}}{c\·r_{13}\·r_{21}-d\·r_{13}\·r_{21}-h\·r_{13}\·r_{31}-c{\·r}_{11}{\·r}_{23}+d{\·r}_{11}\·r_{23}+h\·r_{11}{r}_{33}}$

(8)根据式(9)，解得

$\mathrm{tg\ψ}=\frac{(r_1-r_3)(a-b)-(r_1-r_2)(a-c)}{(r_1-r_3)(r_{1}a-r_{2}b)-(r_1-r_2)(r_{1}a-r_{3}c)}---\left(10\right)$

(9)根据式(7a)、(7b)，得到俯仰角的表达式

$\mathrm{tg\θ}=\frac{u_h\·\sin \mathrm{\ψ}}{f_i\·\mathrm{dx}}+\frac{v_h\·\cos \mathrm{\ψ}}{f_j\·\mathrm{dy}}---\left(11\right)$

(10)根据式(7a)、(7b)，还能得到方向角的表达式

(11)根据式(9)，可以解得

$h=\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}$

$d=\frac{B}{A}\·\frac{(b-a)\mathrm{AC}}{\mathrm{BC}-\mathrm{AD}}+a---\left(13\right)$

其中：

A＝r₁·sinψ·cosθ-cosθcosψ

B＝-(cossinψ+sincosψsinθ)-r₁(coscosψ-sinsinψsinθ)

C＝r₂·sinψcosθ-cosθcosψ

D＝-(cossinψ+sincosψsinθ)-r₂(coscosψ-sinsinψsinθ)

$r_n=-\frac{g_n}{\frac{f_i}{f_j}\·\frac{\mathrm{dx}}{\mathrm{dy}}},n=\mathrm{1,2,3}$

在像素坐标系内，以手工或自动的方式确定平行线交点和另外三点后的坐标后，即可直接计算出所需参数；

3)经过上述数学推导和坐标变换，得到摄像机相对车体的侧倾角ψ、俯仰角θ、方向角、摄像机在车体中离地面的高度h和摄像机光心距车体纵轴的横向距离d，即可完成摄像机外部参数标定。

Images