CN102915532B - 确定车辆视觉***外部参数的方法以及车辆视觉*** - Google Patents

Abstract

为了确定车辆视觉***（2至4）的外部参数，在由车辆视觉***（2至4）的摄像机（2、3）捕捉的至少一幅影像中识别多条道路车道标线（21至23）。针对所述多条道路车道标线（21至23）中的各道路车道标线，分别确定第一参数集，其定义道路车道标线（21至23）在影像平面中延伸所沿着的线的朝向和位置。确定第二参数集，其定义对应道路车道标线（21至23）在道路平面中延伸所沿着的线的朝向和位置。确定线性变换，对于所述多条道路车道标线（21至23；31至33）中的所有道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。根据确定的线性变换来建立外部参数，建立的外部参数定义摄像机（2、3）的至少一个朝向。

Description

确定车辆视觉***外部参数的方法以及车辆视觉***

技术领域

本发明实施方案涉及确定车辆视觉***外部参数的方法以及车辆视觉***。本发明实施方案尤其涉及允许使用影像处理来确定外部参数的方法以及车辆视觉***。

背景技术

在车辆***中整合一个或者多个影像传感器已经变得越来越普遍。所述影像传感器可被用作驾驶员辅助***的组件，其中，所述影像传感器捕捉车辆环境影像。捕捉的影像可被处理以执行目标识别，以及/或者可能在处理之后，可显示给使用者。自动报警和辅助功能可被执行以警告驾驶员潜在危险情况，或者通过启动刹车等来主动控制车辆操作。影像传感器还可被用作后视或者侧视摄像机，所述后视或者侧视摄像机帮助驾驶员停车或者其它关键操作。

在车辆应用中利用影像传感器正变得越来越普及，校准车辆视觉***所需的复杂性和时间成为重要问题。校准车辆视觉***需要知道外部参数和内部参数。虽然内部参数随着时间推移可经常保持不变，但是这可能并不总是适用于外部参数。摄像机在车辆上的位置以及摄像机的三维朝向对于所述外部参数而言是示例性的。摄像机朝向可随着时间推移改变，例如，这是归因于在车辆继续运行期间的震动，这可能引起摄像机朝向改变。摄像机朝向改变可需要重新校准视觉***，以避免潜在的危险运行情况。

一种确定外部参数的方法在于：在相对于车辆的预定位置处定位一个或者多个专用路标；确定路标在摄像机影像平面中的位置；以及确定线性映射参数，所述线性映射将车辆坐标系中目标坐标映射到影像平面中目标坐标上。所述方法是基于点在世界坐标系中的三维坐标与影像平面中二维坐标之间的映射。这样一种方法可能需要相对于车辆高精度定位路标，这可能需要在专业车间执行重新校准。这对可频繁确定外部参数强加约束。

发明内容

所属领域还需要确定车辆视觉***外部参数的方法以及车辆视觉***，其中，校准不需要针对校准程序使用专用路标。所属领域还需要允许在车辆驾驶操作期间确定外部参数的这样一种方法和这样一种车辆视觉***。

根据一个方面，提供确定车辆视觉***外部参数的方法。车辆视觉***包括安装在车辆中的摄像机。处理由摄像机捕捉的道路的至少一幅影像以识别所述至少一幅影像中的多条道路车道标线，所述多条道路车道标线相互平行地在道路平面中延伸。针对所述多条道路车道标线中各道路车道标线，确定第一参数集和第二参数集。第一参数集定义道路车道标线在至少一幅影像的影像平面中延伸所沿着的线的朝向和位置。第二参数集定义道路车道标线在道路平面中延伸所沿着的线的朝向和位置。基于关于道路车道标线在道路平面中的间距的信息来确定第二参数集。确定线性变换，针对所述多条道路车道标线中各道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。基于确定的线性变换来建立外部参数，其中，建立的外部参数定义摄像机的至少一个朝向。

在所述方法中，在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射。通过基于定义道路平面中的线的第二参数集与定义影像平面中的线的第一参数集之间的映射来确定外部参数，校准程序的稳健性得以实现。道路车道标线用作定义所述线以确定线性变换的标线。道路车道标线在车辆驾驶操作期间可用作标线，而无需在相对于车辆的预定位置处定位专用标线。

可基于确定的线性变换来建立外部参数，使得建立的外部参数定义摄像机在车辆坐标系中的至少一个朝向，即，在安装车辆视觉***的车辆的坐标系中。

第一参数集分别包括可组织为n元组（n>1）的多个参数。第二参数集分别包括也可组织为n元组的多个参数。

在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射的情况下，外部参数确定对车辆沿车辆行进所沿着的道路的纵向方向的位置不敏感。不需要标线在相对于道路纵向方向上的起始点和结束点的特定位置处定位车辆，这是因为用在校准中的是线，而不是单独点。

针对道路车道标线，关于道路车道标线在道路横向方向上的位置的信息可使用地图数据库来确定，所述地图数据库通常在车辆中可用作例如车辆导航***的一部分。所述地图数据库可包括关于车道宽度的明确信息。所述地图数据库还可包括关于可与道路车道宽度相关联的功能道路等级的信息。所述信息可被用于确定车辆视觉***外部参数，而无需进行专门测量以在校准时确定道路车道标线的位置。

第一参数集可包括影像平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在影像平面中延伸所沿着的线。第二参数集可包括道路平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在道路平面中延伸所沿着的线。

可通过确定单应矩阵的矩阵元素来确定线性变换。描述定义对应道路车道标线在影像平面中延伸所沿着的线的双线性方程系数与定义对应道路车道标线在道路平面中延伸所沿着的线的另一个双线性方程系数之间线性映射的矩阵的矩阵元素为单应矩阵的矩阵元素，所述单应矩阵定义车辆和影像平面世界坐标系中的点之间的映射。单应矩阵的矩阵元素可被确定成使得

针对每个i=1、…、M，近似其中，i表示道路车道标线整数标识符，M表示所述多个道路车道标线总计数，H表示具有三行和三列的单应矩阵，上标T表示矩阵转置，向量表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及向量表示针对第i条道路车道标线确定的所述第二参数集的3元组。这使得单应矩阵被确定。各种标准和技术可用于确保根据单应矩阵H所依据的未知外部参数数目以及道路车道标线计数M，针对各i=1、…、M，近似为了说明，如果H所依据的未知外部参数数目等于2·M，那么可执行如果H所依据的未知外部参数数目小于2·M，则得到过度确定的方程集。诸如最小二乘近似的多种传统技术可用于确定在该情况下H的矩阵元素。

确定第一参数集可分别包括：确定参数值a’_i、b’_i和c’_i，使得道路车道标线在影像平面中延伸所沿着的线由以下定义：

a'_i·x'+b'_i·y'+c'_i＝0，（2）

其中，i表示整数道路车道标线标识符，而x’和y’表示影像平面中的坐标。双线性方程（2）定义影像平面中的线。

确定第二参数集可分别包括：确定参数值a_i、b_i和c_i，使得道路车道标线在道路平面中延伸所沿着的线由以下定义：

a_i·x+b_i·y+c_i＝0，（3）

其中，x和y表示道路平面中的坐标。双线性方程（3）定义影像平面中的线。

单应矩阵的矩阵元素可基于以下值来确定：针对所有i=1、…、M，

其中，N[·]表示向量范数，而M表示用在校准中多条道路车道标线总计数。向量范数N[·]可为任何范数，诸如L₂或者另一个L_p范数。基于方程（4）针对各种道路车道标线的表达式，单应矩阵的矩阵元素可以数值稳健方式确定。单应矩阵的矩阵元素可被确定成使得方程（4）表达式的i总和

最小化。或者，单应矩阵的矩阵元素可被确定成使得方程（5）总和为小于阈值。为了增加稳健性，用在本方法中的道路车道标线计数M可选择成大于单应矩阵中未知外部参数数目除以二。虽然具有三行和三列的单应矩阵H具有九个矩阵元素，但是未知外部参数数目小于或者等于六。如果只有摄像机朝向未知，那么足以确定定义摄像机轴相对于车辆的朝向的三个坐标。

单应矩阵的矩阵元素可被确定成使得

最小化。使方程（6）总和最小化的单应矩阵H可以数值高效方式找到。为了增加稳健性，计数M可选择成大于单应矩阵中未知外部参数数目除以二。

单应矩阵的矩阵元素可被确定成使得，针对各i=1、…、M，

如果H所依据的未知外部参数数目等于M/2，那么方程（7）条件允许高效确定外部参数。

当根据方程（3）确定第二参数集时，参数值a_i或者b_i中的一个可相应地被设定为等于零，而c_i与参数值a_i或者b_i中的另一个的商可被设定为具有一个值，所述值基于关于道路车道标线的间距的信息来确定。道路车道标线在车辆世界坐标系中的偏移通过道路车道标线来确定。这允许使用关于间距的信息来确定第二参数集。

针对所述道路车道标线中的每一条，c_i与参数值a_i或者b_i其中另一个的商可被设定为等于

(2·k(i)+1)·l/2+s。(8)

这里，k(i)表示依据道路车道标线标识符的整数，l表示道路车道宽度，而s表示独立于道路车道标线标识符的值。所述值s为车辆与道路车道中心的偏移。值s可从捕捉的至少一幅影像中估计。值s还可被设定为等于零以考虑车辆通常在道路车道中心行驶的事实。基于方程（8），道路车道标线在道路平面中延伸所沿着的线可被参数化。为了说明，标定车辆行驶车道的道路车道标线可通过分别设定k(i)等于0和-1来参数化。如果车辆纵向方向定义为x轴，那么参数值a_i等于0，而c_i／b_i由方程（8）给出。如果车辆纵向方向定义为y轴，那么参数值b_i等于0，而c_i／a_i由方程（8）给出。

多条道路车道标线可包括在道路平面中彼此平行地延伸的至少两条道路车道标线。这允许确定定义摄像机朝向的至少三个坐标。

多条道路车道标线可包括在道路平面中彼此平行地延伸的至少三条道路车道标线。这允许较高稳健性地确定定义摄像机朝向的三个坐标。如果摄像机在车辆参考系中的位置坐标未知，那么还可确定位置坐标。

用在本方法中的多条道路车道标线的计数M和待确定的外部参数的计数M_e可满足

M_c≤2·M。（9）

藉此，在本方法中识别和使用的道路车道标线可选择成使得可确定所有未知外部参数。多条道路车道标线计数的M以及待确定的外部参数计数的M_e可被设定成使得M_c＝2·M。

识别的多条道路车道标线不需要在影像中同时可见。为了说明，只有一条或者两条道路车道标线可在由摄像机捕捉的影像中可见，以及至少一条其它道路车道标线可在由摄像机捕捉的另一幅影像中可见。本文中所述的各种步骤在这种情况下仍然适用于确定车辆***外部参数。校准因此对定位在摄像机视场一部分中的障碍物稳健。

关于道路车道标线间距的信息可为存储在记忆体中的固定值。为了说明，在不同国家，道路车道具有可由法律法规事先规定的特征宽度。为了说明，德国的道路车道可具有3.6米的特征宽度。所述信息可被用于确定第二参数集。

关于道路车道标线间距的信息还可基于地图数据库来确定。可确定车辆位置。关于道路车道宽度的信息可使用确定的车辆位置从地图数据库检索。

为了增强稳健性，当确定第一参数集时，可对多幅影像执行平均化程序。对于至少一条道路车道标线，道路车道标线延伸所沿着的线可分别针对由摄像机捕捉的道路多幅影像中的每一幅而确定。例如，根据方程（2）描述线的参数可针对各影像而确定。针对单独影像确定的双线性方程系数可被平均化以定义用在方程（4）至（7）中任一个中的第一参数集。或者，单应矩阵的矩阵元素可针对影像中的每一幅而单独确定，以及所产生外部参数或者单应矩阵的矩阵元素可被平均化。

确定外部参数的方法可通过安装在车辆中的处理单元来执行。确定外部参数的方法可在车辆沿着道路行驶时确定。

根据另一个方面，提供处理由车辆视觉***摄像机捕捉的影像的方法。使用任何一个方面或者实施方案的方法，在校准程序中确定车辆视觉***外部参数。在随后操作中，由摄像机捕捉的影像可基于确定的外部参数来处理。基于确定的外部参数处理影像可包括以下任何一个或者任何组合：确定用于通过显示器视觉输出捕捉影像的参数；当捕捉影像通过显示器输出时，确定图形标线在捕捉影像上叠加的位置；针对驾驶员辅助功能处理影像。

可基于用户命令初始校准程序。例如，在预定时间间隔之后，或者当自动检测车辆视觉***外部参数改变时，校准程序可自动起始。

根据另一个方面，提供车辆视觉***。所述车辆视觉***包括：摄像机，其具有电光组件以捕捉影像；和处理单元。所述处理单元被构造来处理从摄像机接收的影像数据。所述处理单元被构造来处理由摄像机捕捉的道路的至少一幅影像以识别至少一幅影像中的多条道路车道标线，所述多条道路车道标线在道路平面中相互平行地延伸。所述处理单元被构造来针对识别的多条道路车道标线中各道路车道标线，分别确定第一参数集和第二参数集。第一参数集定义道路车道标线在至少一幅影像的影像平面中延伸所沿着的线的朝向和位置。第二参数集定义道路车道标线在道路平面中延伸所沿着的线的朝向和位置。所述处理单元被构造来基于关于道路车道标线在道路平面中的间距的信息来确定第二参数集。所述处理单元被构造来确定线性变换，针对多条道路车道标线中各道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。所述处理单元被构造来基于确定的线性变换来建立外部参数，建立的外部参数定义摄像机的至少一个朝向。

车辆视觉***被构造来使得可基于定义线的参数来确定外部参数。藉此实现外部参数的稳健性确定，而不需知道专用标线相对于车辆在车辆纵向方向上的位置。外部参数可在车辆沿着道路行驶时确定。

处理单元可被构造来基于确定的线性变换来建立外部参数，使得建立的外部参数定义摄像机在车辆坐标系中（即，在安装车辆视觉***的车辆的坐标系中）的至少一个朝向。

处理单元可被构造来执行根据任何一个方面或者实施方案的确定车辆视觉***外部参数的方法。

车辆视觉***可包括输出器件。影像处理单元可被构造来在基于由摄像机捕捉的影像来输出信息时使用在校准程序期间确定的车辆视觉***外部参数。

根据另一个方面，提供具有根据任何一个方面或者实施方案所述的车辆视觉***的车辆。

实施方案可针对驾驶员辅助功能被用在车辆视觉***中，诸如后视***或者环视***，而不限于此。

附图说明

参考附图更详细地描述实施方案。

图1是配备有车辆视觉***并且定位于具有道路车道标线的道路上的车辆的示意图。

图2是包括车辆视觉***的驾驶员辅助***的示意方块图。

图3至5是使用车辆视觉***的摄像机捕捉的影像的示意图。

图6是其上定位有车辆的道路的鸟瞰图。

图7是确定车辆视觉***的外部参数的方法的流程图。

图8是其上定位有车辆的另一条道路的鸟瞰图。

图9是可用在图7的方法中的程序的流程图。

图10是通过车辆视觉***的处理单元执行的方法的流程图。

具体实施方式

在整个描述中，相同或者相似参考数字是指相同或者相似组件。虽然一些实施方案将在特定背景下描述，但是实施方案并不限于这些特定背景。在车辆视觉***背景下使用的诸如“向前”、“前”、“向后”、“后”或者“侧”的术语是指车辆参照系。即，“向前”方向是驾驶员透过挡风玻璃可见的方向等。

图1是示出定位在道路20上的车辆1的示意图。车辆1包括车辆视觉***。

车辆视觉***包括摄像机2。车辆视觉***可包括另一个摄像机3或者多个另外摄像机。车辆视觉***的摄像机2、3中的至少一个被构造来使得捕捉的影像示出车辆1在捕捉影像的至少一部分中所处的道路20。车辆视觉***包括处理器件4。处理器件4耦合至车辆视觉***的摄像机2、3的电光组件，并且被构造来处理从电光传感器接收的影像数据。为了说明，各摄像机2、3可包括CCD传感器或者另一个电光传感器以将光影像转换为影像数据。处理器件4可包括一个或者多个处理器，所述处理器被构造来执行程序码以根据本文中所述方法中的任何一个来确定车辆视觉***外部参数。

车辆视觉***外部参数包括摄像机2在车辆坐标系5中的位置和朝向。车辆视觉***外部参数还可包括一个或者多个其它摄像机3在车辆坐标系5中的位置和朝向。摄像机在车辆世界坐标系5中的位置可通过摄像机特征点相对于车辆世界坐标系原点6的三个坐标来定义。原点6可在与车辆地平面平行的方向上位于车辆1中心处以及在与地平面相对应的高度处。定义摄像机位置的特征点可为电光传感器中心或者光轴与摄像机光学组件相交点处。摄像机朝向可通过摄像机特征轴相对于车辆坐标系5的朝向来定义。所述轴可为对应摄像机光轴。朝向可通过空间中朝向的三个角度或者空间中的朝向的任何其它等效描述来定义。摄像机2的轴7以及摄像机3的轴8在图1中图示。

车辆视觉***被构造来使得至少摄像机（诸如摄像机2）的朝向可在校准程序中自动确定。处理单元4被构造来使用在道路20上平行延伸的道路车道标线21至23作为标线。沿道路纵向方向的平移不变性容许在不必将车辆定位在相对于道路车道标线的起点或者终点的特定已知位置处的情况下确定外部参数。可能存在确定外部参数时无需考虑的其它道路车道标线24。

为了确定摄像机2的外部参数，处理单元4被构造来在摄像机影像平面中识别道路车道标线在影像平面中延伸所沿着的线。处理单元4被构造来针对多条道路车道标线中的每一条，分别确定与对应线相关联的第一参数集。第一参数集可为在影像平面坐标中双线性方程的3元组系数，所述方程定义影像平面中的对应线。

处理单元4可被构造来针对多条道路车道标线中的每一条，分别确定第二参数集，其定义道路车道标线在道路平面中延伸所沿着的线。第二参数集可为在道路平面坐标中双线性方程的3元组系数，所述方程定义道路平面中的对应线。

处理单元4可被构造来确定具有三行和三列的单应矩阵的元素，所述矩阵定义第一参数集与第二参数集之间的映射，以确定对应摄像机2的至少一个朝向。

在一些实施中，处理单元4可被构造来另外确定对应摄像机2的位置。

处理单元4可被构造来针对车辆视觉***多个摄像机执行以上处理。

当基于定义线在影像平面中的朝向和位置偏移和相对应的线在道路平面中的朝向和位置偏移的参数来确定车辆视觉***外部参数时，可以进行稳健的外部参数确定。在摄像机视场的至少一个大部分上笔直的道路段上的道路车道标线在车辆行驶操作期间普遍且广泛可用。当处理单元4确定车辆正行驶在具有已知道路车道宽度的道路上时，可选择性地执行校准。可基于车辆当前位置以及基于道路车道宽度是否存储在地图数据库中或者道路车道宽度是否可从道路可用的其它信息（诸如道路的功能道路等级（FRC））确定来作出这样一种确定。

车辆1的车辆视觉***可包括驾驶员辅助***或者可与驾驶员辅助***互动。针对车辆视觉***建立的外部参数可在处理由车辆视觉***的摄像机捕捉的影像时使用。

图2为驾驶员辅助***11的示意方块图。驾驶员辅助***11可安装在车辆中。驾驶员辅助***11包括车辆视觉***，所述车辆视觉***包括摄像机2和处理单元4。

驾驶员辅助***11可包括另外组件，诸如存储在存储器件中的地图数据库12、位置确定单元13和光学输出接口14。处理单元4可从位置确定单元13中检索关于当前车辆位置的信息。位置确定单元13可为GPS、NAVSTAT-GPS、Galileo或者其它定位单元。基于所述信息，处理单元14可访问地图数据库12以确定关于车辆所处道路段的道路车道宽度的信息。处理单元4可使用所述信息来确定车辆视觉***外部参数。

处理单元4可耦合至光学输出接口14。在已经确定车辆视觉***外部参数之后，处理单元4可基于确定的外部参数通过光学输出接口14来控制光信息的输出。

下文将更详细描述确定外部参数的方法。所述方法可通过车辆视觉***处理单元4来执行。虽然将在一个摄像机的背景下描述确定外部参数，但是所述方法可并行或者依次应用于车辆视觉***的多个摄像机。

当摄像机包括引起非线性影像失真的光学组件时，诸如鱼眼失真或者其它非线性径向或者柱形失真，可使用摄像机已知内在参数来校正失真。针对以下描述，假设捕捉的影像不包括非线性失真。本文中对“捕捉的影像”作出的参考因此不排除影像已经经历一些预处理以校正非线性失真。

车辆世界坐标系的空间坐标与车辆视觉***摄像机影像平面中的影像点之间的光学映射可通过摄像机矩阵来描述。当使用单应坐标时，摄像机矩阵可被表示为具有三行和四列的矩阵。空间坐标（诸如车辆参照系中的空间坐标）与影像平面中影像点之间的映射可表示为

方程（10）中，H3×4为摄像机矩阵

在方程（10）右手边上的坐标x，y，z表示车辆世界参照系中的坐标。世界参照系原点可位于道路平面中，使得道路平面上的点具有为0的z坐标。

在方程（10）左手边上的向量包括x’和y’，x’和y’代表当通过w’以常规方式归一化时影像平面坐标。

针对道路平面中的点，z=0。所述点根据以下被映射到影像平面上

方程（12）中，H表示单应矩阵，其定义道路平面与影像平面之间的映射。

比较方程（12）与方程（11），

单应矩阵的矩阵元素依据内在参数（诸如焦距）和外部参数。例如，内在参数从车辆视觉***的初始校准得知。

道路平面中的线通过以下定义

a·x+b·y+c＝0。(14)

方程（14）为在道路平面中坐标x和y中的双线性方程。三个系数a、b和c定义线在道路平面中的朝向和位置。线位置可理解为线与沿x轴或者y轴测量的坐标系原点的位置偏移，即，线与坐标轴中的一个的相交点。由于方程（14）乘以任何非零数值仍定义道路平面中同一线的事实，系数a、b和c中的一个可被设定为任意值。

当摄像机不具有非线性失真时，或者在已经校正影像中非线性失真之后，位于道路平面中的线被映射到影像平面中另一条线上。影像平面中所述线可通过以下双线性方程来描述

a'·x+b'·y+c'＝0。(15)

方程（15）为在影像平面中坐标x’和y’中的双线性方程。三个系数a’、b’和c’定义线在影像平面中的朝向和位置。由于方程（15）乘以任何非零数值仍定义影像平面中同一条线的事实，所述系数中的一个可被设定为任意值。

当方程（15）为当记录影像时通过方程（14）定义的线所映射的线时，定义道路平面中的线的系数a、b和c以及系数a’、b’和c’为相关：

方程（16）中，H表示方程（12）和（13）中定义的单应矩阵。上标T表示矩阵转置。根据方程（12）定义道路平面与影像平面中的点坐标之间映射的单应矩阵H定义转置之后，3元组系数(a’,b’,c’)与3元组系数(a,b,c)之间的线性变换。3元组系数(a’,b’,c’)为第一参数集，其定义线在影像平面中的朝向和位置。3元组系数(a,b,c)为第二参数集，其定义道路平面中相对应线的朝向和位置。

虽然双线性方程（14）和（15）3元组系数之间的映射通过方程（16）来说明，但是有各种等效公式。为了说明，道路平面和影像平面中的线还可分别通过角度和偏移值来定义。

根据实施方案，道路车道标线被用于确定外部参数。针对笔直道路段，道路车道标线定义道路平面和影像平面中的线。针对在道路平面中平行延伸的多条道路车道标线中的每一条，确定定义影像平面中的线的参数以及定义道路平面中的线的参数。基于方程（16），然后可使用方程（16）右手边和左手边上的系数向量来确定车辆视觉***外部参数。

用于确定外部参数的道路车道标线数目可基于未知外部参数的数目来选择。可需要确定最多六个外部参数，所述参数定义摄像机位置和朝向。如果摄像机位置已知，那么可能只需要确定定义摄像机朝向的三个外部参数。用在校准中的道路车道标线总计数M以及确定的外部参数数目可选择成使得

M_e≤2·M，(9)

其中，M_e为待确定的对应摄像机外部参数数目。待确定外部参数可选择成使得M_e为偶数。为了说明，可确定定义摄像机位置的一个坐标以及定义摄像机朝向的三个角坐标。然后，M可选择成使得M=M_e/2。

参考图3至6，将说明3元组系数(a,b,c)和(a’,b’,c’)的确定。

图3为由摄像机捕捉的影像30的示意图。如果摄像机具有引起非线性失真的光学组件，那么影像30为通过预处理以校正非线性失真而获得的影像。

所述影像中包括多条道路车道标线31至33。道路车道标线31和33是连续的。道路车道标线32为虚线。道路车道标线31至33可易通过执行目标识别而检测。为了说明，可使用边缘检测方案。

道路车道标线31沿影像平面中的线34延伸。线34可定义为道路车道标线31的纵向中心线或者边缘。道路车道标线32沿线35延伸。线35可定义为道路车道标线32的纵向中心线或者边缘。道路车道标线33沿线36延伸。线36可定义为道路车道标线33的纵向中心线或者边缘。

在影像识别之后，可确定定义线34的第一参数集、定义线35的另一个第一参数集以及定义线36的另一个第一参数集。如参考方程（15）解释，第一参数集可分别是影像空间坐标中双线性方程的系数。

图4示出道路的另一幅影像40，而图5示出道路的另一幅影像41。针对道路车道标线31在影像30中延伸所沿着的线34；针对道路车道标线31在影像40中延伸所沿着的线44；以及/或者针对道路车道标线31在影像41中延伸所沿着的线47，可执行第一参数集确定，所述第一参数集定义道路车道标线31延伸所沿着的线。针对道路车道标线32在影像30中延伸所沿着的线35，针对道路车道标线32在影像40中延伸所沿着的线45，以及/或者针对道路车道标线32在影像41中延伸所沿着的线48，可执行第一参数集确定，所述第一参数集定义道路车道标线32延伸所沿着的线。针对道路车道标线33在影像30中延伸所沿着的线36以及/或者针对道路车道标线33在影像40中延伸所沿着的线46，可执行第一参数集确定，所述第一参数集定义道路车道标线33延伸所沿着的线。

如将参考图9描述，如果一幅以上影像中包括道路车道标线，那么可针对更高的校准稳健性执行所确定系数的平均化。

第二参数集可基于由识别的道路车道标线标定的道路车道宽度或者多个道路车道宽度来确定。所述宽度定义道路车道标线在道路横向方向上的间距。

为了说明，将更详细描述一个情况，其中，由道路车道标线标定的道路车道具有等同宽度。这是针对高速公路上行驶方向上相邻车道的情况。这也是在只有两条车道的道路上针对一个交通方向提供一条车道以及针对另一个交通方向提供另一条车道的情况。可考虑不同车道宽度。

车辆行进所沿着的道路纵向方向可定义为与车辆世界坐标系坐标轴中的一个对齐。在不失一般性情况下，道路车道标线延伸的方向可被设定为x方向。然后，不同道路车道标线延伸所沿着的线分别通过以下来定义：

y+(2·k(i)+1)·l／2+s＝0。(17)

方程（17）中，s表示车辆坐标系原点与车道中心的偏移。所述值可从捕捉的影像中估计。或者，s还可被设定为等于零，因此假设车辆大致沿着车道中心行进。方程（17）中，l为道路车道宽度。因子k(i)是依据对应道路车道标线的整数。为了说明，针对标定车辆行进所在车道一侧的道路车道标线，k(i)=-1。针对标定车辆行进所在车道另一侧的道路车道标线，k(i)=0。标定与车辆行进所在车道相邻车道的道路车道标线具有k(i)=1或者k(i)=-2。

方程（16）右手边上的参数3元组然后可写成

这里，λi为任意非零因子，考虑在所有系数与同一非零因子相乘情况下线保持不变的事实。因子λi可根据方程（16）左手边上的参数3元组比例因子来选择。因子λi可被设定为等于1。

图6图示道路车道标线延伸所沿着的线的参数。车辆1正在沿着由道路车道标线21和22标定的车道中心行驶。在不失一般性情况下，假设x轴在道路纵向方向上延伸。第一道路车道标线21延伸所沿着的线与x轴偏移值d₁（示出在51处），所述值由方程（17）给定，其中k(1)=-1以及s=0。第二道路车道标线22延伸所沿着的线与x轴偏移值d₂（示出在52处），所述值由方程（17）给定，其中k(2)=0以及s=0。第三道路车道标线23延伸所沿着的线与x轴偏移值d₃（示出在53处），所述值由方程（17）给定，其中k(3)=1且s=0。

针对道路车道标线延伸所沿着的三条线使用方程（16）

以及(20)

通过展开方程（19）至（21），获得一组九个方程。因为包括针对影像平面中的线的系数的列向量乘以非零因子保留所述线不变，以及因为包括针对道路平面中的线的系数的列向量乘以非零因子保留所述线不变，所以九个方程中只有六个是线性独立的。从方程（19）至（21）可确定多达六个外部参数。为了说明，摄像机位置和朝向两者都可通过针对单应矩阵的矩阵因素所依据的外部参数求解方程（19）至（21）来获得。

如果不期望从针对至少两条道路车道标线获得的线性映射中来确定所有六个外部参数，那么过确定组方程可以传统方式求解。为了说明，

可最小化，其中，N[·]表示向量范数。当使用最小二乘法技术时，

可最小化。为了说明，如果只有摄像机朝向待确定，那么当摄像机位置已知时，使用两条道路车道标线（M=2）以及确定角度使得方程（5）变为最小便足够。

单应矩阵的矩阵元素依据摄像机外部参数的方式为已知。针对外部参数的单应矩阵以及相对应可行定义有各种表示。

为了说明，摄像机矩阵H可根据绕z轴、y轴和x轴连续旋转，接着平移和投影来定义：

H_3×4＝P·T·R_x·R_y·R_z(22)

使用齐次坐标。T、R_x、R_y和R_z为具有四行和四列的矩阵。T为齐次坐标中平移矩阵。R_x、R_y和R_z为齐次坐标中描述绕x轴、y轴和z轴旋转的旋转矩阵。P为具有三行和四列的投影矩阵。

方程（22）中，使用Tait-Bryan符号。绕z轴旋转角（偏航角）可由a表示，绕y轴旋转角（俯仰角）可由b表示，以及绕x轴旋转角（侧倾角）可由g表示。然后，

h₁₁＝c_x·cosβ·cosα-f_x·sinγ·sinβ·cosα-f_x·cosγ·sinα，(23)

h₁₂＝-c_x·cosβ·sinα+f_x·sinγ·sinβ·sinα-f_x·cosγ·cosα，(24)

h₁₄＝c_x·d_x-f_x·d_y，(25)

h₂₁＝c_y·cosβ·cosα+f_y·cosγ·sinβ·cosα-f_y·sinγ·sinα，(26)

h₂₂＝-c_y·cosβ·sinα-f_y·cosγ·sinβ·sinα-f_y·sinγ·cosα，(27)

h₂₄＝c_y·d_x-f_y·d_z，(28)

h₃₁＝cosβ·cosα，(29)

h₃₂＝-cosβ·sinα，以及(30)

h₃₄＝d_x。(31)

方程（23）至（31）中，c_x和c_y表示相对于影像平面中心测量的主点的坐标，而f_x和f_y表示焦距。这些是例如从初始校准得知的内部参数。三个角度α、β和γ为世界坐标系与摄像机坐标系之间的旋转角度。三个参数d_x、d_y和d_z为x、y和z方向上世界坐标系与摄像机坐标系之间的平移。

在实施方案中，基于方程（16）的线性变换来确定至少一些外部参数。在一些实施方案中，可确定所有六个外部参数α、β和γ以及d_x、d_y和d_z。在其它实施方案中，d_x、d_y和d_z为已知，并且只确定角度α、β和γ。使用确定的外部参数，还可确定全摄像机矩阵（即具有三行和四列的全单应矩阵）的剩余矩阵元素h₁₃、h₂₃和h₃₃。

根据方程（22）的单应矩阵表示仅为各种表示中一种。为了说明，可使用欧拉角以及相对应旋转，而不是绕z轴、y轴和x轴旋转，来定义摄像机坐标系与世界坐标系之间的相对朝向。

图6为通过车辆视觉***处理单元执行的方法61的流程图。在方法61中，确定车辆视觉***外部参数。外部参数包括摄像机相对于世界坐标的至少一个朝向。外部参数通过安装在车辆中的处理单元来确定，以及可在车辆行驶时确定。

在62，如果摄像机具有引起非线性失真的光学组件，那么校正非线性失真。可基于在初始校准中确定的摄像机内部参数来校正非线性失真。

在63，检索表示由摄像机捕捉的一幅影像或者若干幅影像的影像数据。

在64，执行影像识别以识别影像中的多条道路车道标线。为了进一步处理，使用在道路平面中平行延伸的道路车道标线。例如，所述道路车道标线可基于它们是否朝着共同交汇点收敛来识别。用在本方法中的多条道路车道标线数目可基于待确定的外部参数数目来限制。或可或另可根据可用于校准的道路车道标线数目来修改确定的许多外部参数。为了说明，如果识别两条道路车道标线，那么可能只确定摄像机朝向。如果识别至少三条道路车道标线，那么可能确定摄像机朝向和位置。

在65，针对多条道路车道标线中的每一条确定第一参数集。第一参数集定义对应道路车道标线在影像平面中延伸所沿着的线。第一参数集可为在影像平面坐标中双线性的方程的3元组系数。第一参数集可分别包括方程（2）系数。

在66，针对多条道路车道标线中的每一条确定第二参数集。第二参数集定义对应道路车道标线在道路平面中延伸所沿着的线。第二参数集可为在世界坐标中双线性的方程的3元组系数。第二参数集可分别包括方程（3）系数。

第二参数集可基于关于道路车道宽度或者多个道路车道宽度的信息来确定。关于道路车道宽度的信息可从驾驶员辅助***的地图数据库中检索。车辆所处道路段可使用车辆的位置确定***来确定，以确定道路车道宽度。

道路车道宽度可以各种方式中的任何一个来确定。为了说明，如果关于道路车道宽度的明确信息存储于地图数据库中（即以宽度值形式），那么所述信息可检索并且使用。如果没有关于道路车道宽度的明确信息存储于地图数据库中，那么可从地图数据库中检索关于道路的功能道路等级的信息。规定各种功能道路等级的道路车道宽度的查找表可被用于确定对应道路段的道路车道宽度。取代使用查找表，可使用将功能道路等级与道路车道宽度相关联的其它手段。

在67，基于线性变换来确定摄像机外部参数，针对已经确定第一参数集和第二参数集的所有道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。线性变换可通过包括单应矩阵的矩阵元素的矩阵来定义。所述矩阵的矩阵元素可依据外部参数。矩阵元素可进一步依据已知的摄像机内部参数。

可使用参考图1至6所述技术中的任何一个来确定外部参数。

在校准方法中可考虑不同道路宽度以及/或者车辆与道路车道横向中心的偏移。为此，可确定第二参数集以使道路车道宽度从道路车道改变为另一条道路车道。或可或另可确定第二参数集使得可考虑车辆与道路车道横向中心的偏移。

图8为位于道路上的车辆的示意鸟瞰图。道路车道标线21和22标定具有宽度l1的道路车道（示出在58处）。道路车道标线22和23标定具有另一宽度l2的另一道路车道（示出在59处）。定义车辆世界坐标系原点的车辆中心与道路车道中心偏移s（示出在54处）。

当假设x轴为道路车道标线延伸所沿着的轴时，在针对道路车道标线21、道路车道标线22和道路车道标线23确定的第二参数集中，a_i=0。

针对第一道路车道标线21在道路平面中延伸所沿着线的其它参数可被设定为任何值b₁和c₁，使得

c₁／b₁＝l₁／2-s，(32)

考虑车辆中心向道路车道标线21偏移s的事实。方程（32）右手边代表距离d₁（示出在55处）。

针对第一道路车道标线22在道路平面中延伸所沿着线的其它参数可被设定为任何值b₂和c₂，使得

c₂／b₂＝-l₁/2-s，(33)

考虑车辆中心偏离道路车道标线22达s的事实。方程（33）右手边代表距离d₂的负值（示出在56处）。

针对第一道路车道标线23在道路平面中延伸所沿着线的其它参数可被设定为任何值b₃和c₃，使得

c₃／b₃＝-l₂-l₁／2-s，(34)

考虑车辆中心偏离道路车道标线23达s以及在道路车道标线23与22之间延伸的道路车道具有宽度l2的事实，所述宽度可不同于在道路车道标线22与21之间延伸的车道宽度l1。方程（34）右手边代表距离d₃负值（示出在57处）。

可评估由摄像机捕捉的一幅以上影像以在重新校准程序中确定外部参数。

在一些实现中，可执行跟踪以监视道路车道标线在由摄像机依时序捕捉的各种影像中延伸所沿着的线的位置和朝向。

当车辆沿道路行进时在依时序捕捉的多幅影像中识别道路车道标线时，可执行参数平均化，所述参数定义道路车道标线在各种影像中延伸所沿着的线。校准稳健性可得以提高。

图9是针对存在于多幅影像中的道路车道标线确定第一参数集的程序71的流程图。影像计数由R表示。所述程序可通过车辆视觉***的处理单元来执行。所述程序可被执行以实施方法61的步骤63至65。

在72，检索多幅影像的影像数据。影像数目由R表示。

在73，通过将影像标识符j设定为等于1来起始影像迭代。

在74，确定双线性方程的系数a’_i,j、b’_i,j和c’_i,j，使得第i条道路车道标线在第j幅影像中延伸所沿着的线由以下来定义

a'_i,j·x'+b'_i,j·y'+c'_i,j＝0，(35)

其中，x’和y’表示影像平面坐标。

在75，验证是否已经针对所有影像确定双线性方程（35）系数。如果j<R，那么在76处j递增，并且方法返回至74。

如果已经针对所有影像确定系数，那么方法在77处继续。在77处，针对R幅影像中第i条道路车道标线获得的不同系数可被组合以确定针对第i条道路车道标线的第一参数集。为了说明，可执行平均化使得

以及(37)

可使用加权平均或者其它组合技术。

如参考图7方法61的步骤67解释，如此确定的第一参数集可被用于基于线性变换来确定车辆视觉***外部参数。

针对道路车道标线中的至少一条，可执行跟踪多幅影像中道路车道标线以及/或者对针对不同影像中的线确定的系数取平均值。可针对多条道路车道标线中的每一条执行跟踪以及/或者平均化。当捕捉多幅影像时，安装车辆视觉***的车辆位置相对于道路偏移。

如针对本文中各种实施方案所述的确定车辆视觉***外部参数可被用于在驾驶操作期间重新校准车辆视觉***。这允许确定和考虑随时间推移出现的外部参数改变（例如在驾驶员辅助功能中）。使用本文中所述任何一个实施方案的方法来确定的外部参数可被用于各种目的，诸如控制经由光学输出器件的捕捉影像输出；确定当经由光学输出器件输出捕捉影像时信息在捕捉影像上重叠处的位置；或者其它驾驶员辅助功能。

图10为根据一个实施方案的方法81的流程图。方法81可通过车辆视觉***的处理单元来执行。

在82，执行车辆视觉***初始校准。在82处的校准可使用定位在车辆世界坐标系中的预定义位置处的专用标线。在82处的校准不需要但是可能使用道路车道标线作为路标。在82处的校准中，可确定内部参数和外部参数。内部参数实施例包括焦距。内部参数还可包括多个焦距。内部参数还可包括主点坐标，定义主点与摄像机电光传感器中心之间的偏移。

在83，在车辆视觉***使用期间处理捕捉的影像。

在84，确定是否执行重新校准。可回应于用户命令执行重新校准。当自上次校准起预定时间间隔已过去时，或可或另可自动执行重新校准。当确定基于旧外部参数的影像处理不再满足预定质量标准时，或可或另可自动执行重新校准。在这些情况的任何一个中，只有当确定车辆正在可获得或者可得出关于道路车道宽度的信息的道路段上行进时，可起始重新校准，例如，这是因为所述信息明确包括在地图数据库中，或者因为它可以其它方式得出。

如果确定不需要重新校准，那么继续使用先前外部参数，并且方法返回到83。

如果确定需要重新校准，那么方法进行至85。在85，使用道路车道标线作为路标来确定外部参数。基于线性变换来确定外部参数，针对用在重新校准中的多条道路车道标线中的所有，所述线性变换定义定义道路车道标线在影像平面中延伸所沿着线的第一参数集与定义道路车道标线在道路平面中延伸所沿着线的第二参数集之间的映射。

已经参考附图描述根据实施方案的方法和车辆视觉***。在其它实施方案中可实施修改和变更。

为了说明，虽然已经描述道路平面中或者影像平面中的线由双线性方程的3元组系数定义的实施方案，但是针对所述线可使用其它参数化。为了说明，影像平面中以及/或者道路平面中的线可通过定义朝向的角度以及定义其与坐标轴中的一个的相交点的偏移来参数化。

为了进一步说明，虽然已经描述只基于影像参数结合关于道路车道宽度的信息的自主确定，但是另外传感器可用于提供外部参数的估计。然后可使用实施方案的确定外部参数的方法来完善估计。

虽然道路车道标线已经示例性地示为连续线或者虚线，但是可使用沿道路延伸的任何类型的道路车道标线。为了说明，在由摄像机捕捉影像的道路位置终止的道路车道标线也定义线，以及因此可用于确定外部参数的方法中。道路车道标线还可为定位为道路车道标线的墙壁或者一系列柱子的基线末端。

本发明实施方案可用在驾驶员辅助***中而不限于此。

Claims (14)

1.一种确定车辆视觉***(2至4)的外部参数的方法，所述车辆视觉***(2至4)包括安装在车辆(1)中的摄像机(2、3)，所述方法包括以下步骤：

处理由所述摄像机(2、3)捕捉的道路(20)的至少一幅影像(30、40、41)以识别所述至少一幅影像(30、40、41)中的多条道路车道标线(21至23；31至33)，所述多条道路车道标线(21至23；31至33)在道路平面中相互平行地延伸；

针对所述多条道路车道标线(21至23；31至33)中各道路车道标线(21至23；31至33)，确定

第一参数集，其定义道路车道标线(21至23；31至33)在影像平面中延伸所沿着的线(34至36；44至46；47、48)的朝向和位置；以及

第二参数集，其定义道路车道标线(21至23；31至33)在所述道路平面中延伸所沿着的线(21’至23’)的朝向和位置，基于关于所述道路车道标线(21至23；31至33)在所述道路平面中的间距(58、59)的信息来确定所述第二参数集；

确定线性变换，对于所述多条道路车道标线(21至23；31至33)中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及

基于所述已确定的线性变换来建立所述外部参数，所述建立的外部参数定义所述摄像机(2、3)的至少一个朝向；

其中，确定所述线性变换包括：确定单应矩阵的矩阵元素。

2.根据权利要求1所述的方法，

其中，所述单应矩阵的所述矩阵元素被确定成使得针对每个i＝1，…，M近似其中，i表示道路车道标线标识符，M表示所述多条道路车道标线(21至23；31至33)的计数，H表示具有三行和三列的所述单应矩阵，表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及表示针对第i条道路车道标线确定的所述第二参数集的3元组。

3.根据权利要求1所述的方法，

其中，确定所述第一参数集分别包括：确定参数值a’_i、b’_i和c’_i，使得道路车道标线(21至23；31至33)在所述影像平面中延伸所沿着的线(34至36；44至46；47、48)按如下定义：

a′_i·x′+b′_i·y′+c′_i＝0，

其中，i表示道路车道标线标识符，而x’和y’表示所述影像平面中的坐标。

4.根据权利要求3所述的方法，

其中，确定所述第二参数集分别包括：确定参数值a_i、b_i和c_i，使得道路车道标线(21至23；31至33)在所述道路平面中延伸所沿着的线(21’至23’)按如下定义：

a_i·x+b_i·y+c_i＝0，

其中，x和y表示所述道路平面中的坐标。

5.根据权利要求4所述的方法，

其中，针对i＝1，…，M，所述单应矩阵的所述矩阵元素基于以下来确定：

$N\&lsqb;H^T\left(\begin{array}{c}{a^{\&prime;}}_i\\ {b^{\&prime;}}_i\\ {c^{\&prime;}}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)\&rsqb;$

其中，N[·]表示向量范数。

6.根据权利要求4所述的方法，

其中，所述单应矩阵的所述矩阵元素被确定成使得

${\mathrm{\&Sigma;}}_{i=1}^M\left|\right|H^T\left(\begin{array}{c}{a^{\&prime;}}_i\\ {b^{\&prime;}}_i\\ {c^{\&prime;}}_i\end{array}\right)-\left(\begin{array}{c}{a}_i\\ b_i\\ c_i\end{array}\right)|{|}^2$

最小化。

7.根据权利要求4至6中任一项所述的方法，

其中，针对所述多条道路车道标线(21至23；31至33)中的每一个，所述参数值a_i或者b_i中的一个被设定为等于零，而c_i与所述参数值a_i或者b_i中的另一个的商基于关于所述道路车道标线(21至23；31至33)的所述间距(58、59)的所述信息来设定。

8.根据权利要求7所述的方法，

其中，针对所述多条道路车道标线(21至23；31至33)中的每一个，c_i与所述参数值a_i或者b_i中的另一个的所述商被设定为等于

(2·k(i)+1)·l/2+s，

其中，k(i)表示依据道路车道标线标识符的整数，l表示道路车道宽度，而s表示与道路车道中心的偏移(54)，所述偏移独立于道路车道标线标识符。

9.根据权利要求1至6中任一项所述的方法，

其中，所述多条道路车道标线(21至23；31至33)包括在所述道路平面中彼此平行地延伸的至少三条道路车道标线(21至23；31至33)。

10.根据权利要求1至6中任一项所述的方法，

其中，所述多条道路车道标线(21至23；31至33)的计数M以及待确定的外部参数的计数M_e满足M_e≤2·M。

11.根据权利要求1至6中任一项所述的方法，

其中，所述确定所述第二参数集包括：确定车辆位置以及基于所述确定的车辆位置从地图数据库(12)中检索关于道路车道宽度(58、59)的信息。

12.根据权利要求1至6中任一项所述的方法，

其中，针对所述多条道路车道标线(21至23；31至33)中的至少一条，道路车道标线(21至23；31至33)在影像平面中延伸所沿着的线(34至36；44至46；47、48)对应针对由所述摄像机(2、3)捕捉的所述道路(20)的多幅影像(30、40、41)而确定，并且对定义所述线(34至36；44至46；47、48)在所述多幅影像(30、40、41)中的朝向和位置的参数取平均值以确定所述第一参数集。

13.一种处理由车辆视觉***(2至4)的摄像机(2、3)捕捉的影像的方法，其中，

使用根据权利要求1至6中任一项所述的方法来确定所述车辆视觉***(2至4)的外部参数，并且

基于所述确定的外部参数来处理由所述摄像机(2、3)捕捉的影像。

14.一种车辆视觉***，包括：

摄像机(2、3)，其具有电光组件以捕捉影像(30、40、41)；以及

处理单元(4)，其被构造来处理从所述摄像机(2、3)接收的影像数据，所述处理单元(4)被构造来：

处理由所述摄像机(2、3)捕捉的道路(20)的至少一幅影像(30、40、41)以识别所述至少一幅影像(30、40、41)中的多条道路车道标线(21至23；31至33)，所述多条道路车道标线(21至23；31至33)在道路平面中相互平行地延伸；

针对所述多条道路车道标线(21至23；31至33)中的各道路车道标线(21至23；31至33)，分别确定

第一参数集，其定义道路车道标线(21至23；31至33)在影像平面中延伸所沿着的线(34至36；44至46；47、48)的朝向和位置；以及

第二参数集，其定义道路车道标线(21至23；31至33)在所述道路平面中延伸所沿着的线(21’至23’)的朝向和位置，所述处理单元被构造来基于关于所述道路车道标线(21至23；31至33)在所述道路平面中的间距(57、58)的信息来确定所述第二参数集；

确定线性变换，针对所述多条道路车道标线(21至23；31至33)中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及

基于所述确定的线性变换来建立外部参数，所述建立的外部参数定义所述摄像机(2、3)的至少一个朝向；

其中，确定所述线性变换包括：确定单应矩阵的矩阵元素。