CN104135599A - 镜头图像校正***及镜头图像校正方法 - Google Patents

Abstract

本发明提供一种镜头图像校正***及镜头图像校正方法，包括至少一取像单元、多个方向传感单元以及一处理单元。取像单元依一高度配置在交通工具上，用于预视一图像。方向传感单元配置在交通工具以及取像单元上，用于取得交通工具的一交通工具方向角度及取像单元的一取像方向角度。处理单元用于计算一图像转换关系，并依图像转换关系使图像符合一图像预设条件。在一静态校正程序中，处理单元根据图像及交通工具方向角度与取像方向角度决定取像单元的一偏移角度，处理单元再根据高度、偏移角度与图像计算出图像转换关系。

Description

镜头图像校正***及镜头图像校正方法

技术领域

本发明是有关于一种校正***，且特别是有关于一种镜头图像校正***及镜头图像校正方法。

背景技术

为了降低交通事故的发生，如车道偏移警示***(Lane Departure WarningSystem,LDWS)以及车辆俯视图***(bird eye view)等各种交通工具行进监控装置已被开发并受到高度重视。此外，各种交通工具在行进时，搭载偏移警示***也能辅助驾驶良好地控制交通工具，以避免事故的发生。

然而，为了维持准确的警示功能，各种偏移警示***的出厂校正极为重要。一般而言，目前市面上的车道偏移警示***是通过具有特征点的定位件(如棋盘格或是具有特征点的校正板等)进行校正。然而，由于目前驾驶偏移警示***所使用的镜头图像分辨率并不高，因此通过拍摄特征点做为镜头取像方向角度校正的方式容易产生误差而难以达到准确的警示效果，然而，若误差存在，则可能会产生误判，造成事故与无法弥补的遗憾。并且，在实际使用时，若镜头受到使用者误触或是由于其他外力偏移甚至脱落，只能再次送回校正场所，需花费大量人力、时间以及金钱。并且，若交通工具由于倾斜或环境等因素而使得镜头朝向光源时(如太阳光或路灯等)，容易因图像过曝、模糊而影响警示效果。另外，若交通工具行驶在颠簸震动的环境，由于一般的驾驶偏移警示***的镜头与内部图像转换矩阵已在厂内校正时固定而无法动态调整之故，驾驶偏移警示***容易受到颠簸震动环境的影响而造成误判。因此，如何有效地进行交通工具上的镜头图像的校正，已成为当前亟待解决的问题之一。

发明内容

本发明提供一种镜头图像校正***与一种镜头图像校正方法，适用于交通工具上。

本发明的实施例中的适用于交通工具上的镜头图像校正***包括至少一取像单元、多个方向传感单元以及一处理单元。取像单元依一高度配置在交通工具上，用于预视一图像。方向传感单元分别配置在交通工具以及取像单元上，用于取得交通工具的一交通工具方向角度及取像单元的一取像方向角度。处理单元用于计算一图像转换关系，并依图像转换关系使图像符合一图像预设条件。其中，在一静态校正程序中，处理单元根据图像及交通工具方向角度与取像方向角度决定取像单元配置在交通工具内的一偏移角度，处理单元再根据高度、偏移角度与图像计算出图像转换关系。

在本发明的一实施例中，当上述的图像发生改变而不再符合图像预设条件时，镜头图像校正***进行一动态校正程序，以改变图像转换关系与取像单元的取像方向角度其中之一，并再次进行静态校正程序，直到图像符合图像预设条件为止。

在本发明的一实施例中，当上述的图像符合图像预设条件时，图像正确地反映交通工具相对于所处环境的移动方向。

在本发明的一实施例中，当上述的交通工具晃动或倾斜程度超过一阈值时，镜头图像校正***根据取像方向角度与交通工具方向角度之间的一方向关系调整图像转换关系，直到图像符合图像预设条件为止。

在本发明的一实施例中，上述的取像方向角度朝向交通工具的前方，方向关系为交通工具与取像方向角度之间的倾斜角(pitch)的差异。

在本发明的一实施例中，上述的至少一取像单元为多个取像单元，分别配置在交通工具上的不同位置，并且各取像单元以不同的各取像方向角度拍摄各图像，镜头图像校正***根据这些图像转换关系分别转换这些图像为多个部分俯视图，镜头图像校正***将这些部分俯视图拼接为一鸟瞰图。

在本发明的一实施例中，上述的这些取像方向角度至少涵盖交通工具的倾斜方向(pitch)、偏航方向(yaw)以及翻转方向(roll)。

在本发明的一实施例中，上述的镜头图像校正***还包括至少一调整支架，其中当图像发生模糊时，镜头图像校正***通过调整支架调整取像单元的取像方向角度，直到图像符合图像预设条件为止。

在本发明的一实施例中，上述的取像方向角度朝向交通工具的前方，调整支架调整取像单元的倾斜角(pitch)。

在本发明的一实施例中，上述的至少一取像单元为多个取像单元，至少一调整支架为多个调整支架，这些取像单元分别配置在交通工具上的不同位置，并且各取像单元以不同的各取像方向角度拍摄各图像，镜头图像校正***根据这些图像转换关系分别转换这些图像为多个部分俯视图，镜头图像校正***将这些部分俯视图拼接为一鸟瞰图。

在本发明的一实施例中，上述的这些取像方向角度至少涵盖交通工具的倾斜方向(pitch)、偏航方向(yaw)以及翻转方向(roll)，并且这些调整支架分别调整各取像单元的倾斜角(pitch)、偏航角(yaw)以及翻转角(roll)至少其一。

本发明的一实施例中的一种适用于交通工具上的镜头图像校正方法，包括一静态校正程序。静态校正程序包括：利用至少一取像单元预视一图像，其中取像单元是依一高度配置在交通工具上；利用分别配置在交通工具以及取像单元上的多个方向传感单元，取得交通工具的一交通工具方向角度及取像单元的一取像方向角度；利用一处理单元，计算一图像转换关系，并依图像转换关系转换图像为一平面图像并使平面图像符合一图像预设条件。其中，在一静态校正程序中，处理单元根据图像及交通工具方向角度与取像方向角度决定取像单元配置在交通工具内的一偏移角度，处理单元再根据高度、偏移角度与图像计算出图像转换关系。

在本发明的一实施例中，上述的镜头图像校正方法还包括一动态校正程序，当上述的图像发生改变而不再符合图像预设条件时，镜头图像校正***进行动态校正程序，以改变图像转换关系与取像单元的取像方向角度其中之一，并再次进行静态校正程序，直到图像符合图像预设条件为止。

在本发明的一实施例中，上述的镜头图像校正方法还包括：当上述的交通工具晃动或倾斜程度超过一阈值时，根据取像方向角度与交通工具方向角度之间的一方向关系调整图像转换关系，直到图像符合图像预设条件为止。

在本发明的一实施例中，上述的至少一取像单元为多个取像单元，分别配置在交通工具上的不同位置，并且各取像单元以不同的各取像方向角度拍摄各图像。其中，镜头图像校正方法还包括：根据这些图像转换关系分别转换这些图像为多个部分俯视图；以及将这些部分俯视图拼接为一鸟瞰图。

在本发明的一实施例中，上述的镜头图像校正方法还包括：当图像发生模糊时，通过至少一调整支架调整取像单元的取像方向角度，直到图像符合图像预设条件为止。

在本发明的一实施例中，上述的至少一取像单元为多个取像单元，至少一调整支架为多个调整支架，这些取像单元分别配置在交通工具上的不同位置，并且各取像单元以不同的各取像方向角度拍摄各图像。其中，镜头图像校正方法还包括：根据这些图像转换关系分别转换这些图像为多个部分俯视图；以及将这些部分俯视图拼接为一鸟瞰图。

基于上述，本发明的实施例中的镜头图像校正***在静态校正后，可通过改变图像转换关系与取像单元的取像方向角度其中之一，并再次进行静态校正程序，藉此维持符合图像预设条件的图像，以作为判断交通工具的行进状态的依据。并且，本发明的实施例中的镜头图像校正方法可通过改变图像转换关系与取像单元的取像方向角度其中之一动态维持图像，藉此使图像符合图像预设条件，以作为判断交通工具的行进状态的依据。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1A是本发明的一实施例中配置在一交通工具上的镜头图像校正***的侧视图；

图1B是本发明之一实施例中配置在一交通工具上的镜头图像校正***的俯视图；

图2A是取像镜头拍摄真实物体时的光路示意图；

图2B是图1实施例中的取像镜头的投影光路示意图；

图3示出配有图1实施例中镜头图像校正***的交通工具位于斜坡上的示意图；

图4是示出图1实施例中的取像单元与调整支架的示意图；

图5是本发明的另一实施例中的镜头图像校正***的示意图；

图6A是本发明的又一实施例的图像镜头校正方法中的静态校正程序的流程图；

图6B是本发明的又一实施例的图像镜头校正方法中的动态校正程序的流程图。

附图标记说明：

10：交通工具；

100、200：镜头图像校正***；

110、111、112、113、114：取像单元；

120：方向传感单元；

121：方向传感单元；

122：方向传感单元；

130：调整支架；

A、B、C、D、A’、B’、C’、D’、O：点；

AP：取像孔径；

CD、CD1、CD2、CD3、CD4：取像方向角度；

f：焦距；

G1、G2、G3、G4：区域；

H：高度；

HZ：水平线；

i、j：长度；

S：实际物体；

S’：图像；

SR：图像传感元件；

PU：处理单元；

PX：像素；

S100、S110、S120、S130、S140、S200、S205、S210、S215、S220：步骤；

SL：斜坡；

TD：交通工具方向角度；

u、v、w、x、y、z：坐标值；

X、Y、Z：坐标轴；

θ：偏移角度；

α、β：夹角。

具体实施方式

图1A是本发明的一实施例中配置在一交通工具上的镜头图像校正***的侧视图。图1B是本发明的一实施例中配置在一交通工具上的镜头图像校正***的俯视图。请参照图1A以及图1B，在本实施例中，适用于交通工具10上的镜头图像校正***100可包括至少一取像单元110、多个方向传感单元120以及一处理单元PU。在本实施例中，方向传感单元120例如可包括二个方向传感单元121以及方向传感单元122，并且方向传感单元120例如可以包括三轴的陀螺仪、加速度计、磁场计等适于检测方向的装置，取像单元110例如为摄像镜头等适于拍摄图像的装置。并且，在本实施例中，交通工具10以车辆为例，然而本发明不以此为限。取像单元110可配置在交通工具10上。方向传感单元121与122可分别配置在取像单元110以及交通工具10上。

在本实施例中，为了使取像单元110所拍摄到的图像能够用以作为判断交通工具10行进时是否偏移，因此需先校正取像单元110。详细而言，在本实施例中，取像单元110是依一高度H配置在交通工具10上，并可用于预视一图像。在本实施例中，此高度H可为一预设值，并例如是取像单元110与交通工具10的底部(例如图1A中示出的车底)之间的高度，然而本发明不以此为限。方向传感单元120可分别配置在交通工具10以及取像单元110上，用于取得交通工具10的一交通工具方向角度TD及取像单元的一取像方向角度CD。处理单元PU可用于计算一图像转换关系，并依图像转换关系使图像符合一图像预设条件。其中，图像转换关系与图像预设条件将在后续详述。

详细而言，在本实施例中，在一静态校正程序中，处理单元PU可根据图像及交通工具方向角度TD与取像方向角度CD决定取像单元110配置在交通工具10内的一偏移角度θ(如图1所示出)，处理单元PU可再根据高度H、偏移角度θ与图像计算出图像转换关系。举例而言，在本实施例中，处理单元PU例如可通过其他驱动机制(将于后叙)调整取像单元110的偏移角度θ，并且在本实施例中，图像转换关系例如是图像转换矩阵，处理单元PU在计算出此图像转换矩阵后例如可储存在一存储单元(未图示)中，以供后续的使用。有关图像转换关系的详细叙述也将在后叙述。

举例而言，在本实施例中，图像预设条件例如是使图像能够正确反应真实世界坐标(即交通工具10所处环境)的条件，并可以是使图像所包含的拍摄涵盖范围、图像的尺寸大小或是相关的图像参数。更详细而言，在本实施例中，当取像单元110以预设的高度H与特定的方向配置在交通工具10，并使得上述的图像符合图像预设条件时，图像可正确地反映交通工具10相对于所处环境的移动方向。因此，当图像符合图像预设条件时，处理单元PU可根据图像判断交通工具10相对于所处环境的移动状态，因此可应用于例如为车道偏航警示***(Lane Departure Warning System，LDWS)或是其他交通工具的图像警示***上。

由于本实施例中的镜头图像校正***100在静态校正程序中可通过处理单元PU根据预设的高度H、偏移角度θ与图像计算出图像转换关系并储存起来，因此可不必以人工或手动的方式校正各取像单元110的取像方向角度CD与高度H来符合图像预设条件，并且也不必在特定的校正场地进行繁复的校正过程，因此校正所花费的时间与金钱得以节省，同时也能具有良好的准确度。

换言之，当经过静态校正程序后，镜头图像校正***100可将取像单元110所拍摄到的图像内的特征(如车道线等)通过图像转换关系转换为真实世界中的坐标。在本实施例中，由于取像单元110是安装交通工具10上，当取像单元110所拍摄到的图像内的特征偏移时(例如车道线发生偏移歪斜现象时)，即代表交通工具10对地面的行进方向产生偏移，而可进一步通过如车道偏移警示***(Lane Departure Warning System,LDWS)等其他警示***对驾驶进行警示。

详细而言，在本实施例中，图像转换关系例如是取像方向角度CD以及取像单元110所拍摄到一图像之间的关系。举例而言，图2A是取像镜头拍摄真实物体时的光路示意图，请参照图1A至图2A，在本实施例中，取像单元110所包含的图像传感元件SR以及取像孔径AP如图2A所示出，其中，当取像单元110朝向X轴方向拍摄实际物体S的图像时，根据针孔成像(pin-hole camera module)原理，实际物体S的图像会通过取像孔径AP而成像在图像传感元件SR上，如图像S’所示。换言之，实际物体S与图像S’之间的存在着一转换矩阵，也即，可由图像S’上的特征变化(例如车道线的方向变化)，通过转换矩阵的转换，即可得知车辆相对于真实世界中的车道的偏移程度。

举例而言，若在图像S’在图像传感元件SR上的图像坐标为[u,v,w]，而图像S’所反映的实际物体S在真实世界中的坐标为[x,y,z]，则[u,v,w]可通过下式转换为[x,y,z]：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\·\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=R\left({\mathrm{\θ}}_{\mathrm{Roll}}\right)\·R\left({\mathrm{\θ}}_{\mathrm{pitch}}\right)\·R\left({\mathrm{\θ}}_{\mathrm{Yaw}}\right)\·\left[\begin{array}{c}u\\ v\\ w\end{array}\right]$

其中，R(θ_Roll)、R(θ_Pitch)、R(θ_Yaw)分别代表在倾斜角(pitch)、翻转角(Roll)以及偏航角(Yaw)的旋转矩阵。

进一步而言，取像单元110相对于水平面(即X-Y平面)的位置、高度、角度等可以预先依照需求而设定好。举例而言，图2B是图1实施例中的取像镜头的投影光路示意图，请参照图1至图2B，在本实施例中，取像单元110相对于真实世界(即周遭环境)的坐标例如为(0，0，150)(单位例如为厘米)，而取像单元110的图像传感元件SR(点A’B’C’D’构成的四边形)可对应至取像单元110在真实世界的取像范围所形成的点ABCD构成的四边形。在本实施例中，以640×480传感像素的互补式金氧半导体传感器(complementarymetal oxide semiconductor sensor，CMOS sensor)为例，假设A’B’C’D’四点的坐标分别如下：

$A^{\′}=\left[\begin{array}{c}\frac{-640}{2}\·i\\ \frac{480}{2}\·j\\ f\end{array}\right];$ $B^{\′}=\left[\begin{array}{c}\frac{-640}{2}\·i\\ \frac{-480}{2}\·j\\ f\end{array}\right];$

$C^{\′}=\left[\begin{array}{c}\frac{640}{2}\·i\\ \frac{480}{2}\·j\\ f\end{array}\right];$ $D^{\′}=\left[\begin{array}{c}\frac{640}{2}\·i\\ \frac{-480}{2}\·j\\ f\end{array}\right],$

其中，i代表图像传感元件SR上每一个像素PX在Y轴方向上的长度，j代表图像传感元件SR上每一个像素PX在Z轴方向上的长度。并且f代表取像单元110的取像焦距。由于取像单元110的初始位置与取像方向角度CD可依照需求事先决定，而取像单元110与交通工具10的倾斜角(pitch)、翻转角(Roll)以及偏航角(Yaw)的信息可由方向传感单元120得知。藉此，图像传感元件SR上的坐标点A’B’C’D’可通过针孔成像原理以及通过上述R(θ_Roll)、R(θ_Pitch)、R(θ_Yaw)的旋转矩阵转换至真实世界坐标点ABCD。而可不必通过特定的校正板或校正场所即可准确地校正。

另一方面，为了使真实世界坐标(相对于水平面)再转换至交通工具10目前所处的环境(例如山坡等非水平的路面)，因此可再将由图像传感元件SR上的坐标点A’B’C’D’所推得的真实世界坐标点ABCD投影至所需要的面上。假设A’点对应于真实世界中的坐标点(即A点)的坐标如下：

$A=\left[\begin{array}{c}1\\ 1\\ 149\end{array}\right],$

由于取像单元110在真实世界的坐标点O位于[0,0,150]，因此，向量即为[1,1,-1]。推得向量之后，即可利用向量推算A’点投影在真实世界坐标中的各平面上的坐标点。举例而言，假设A点位于真实世界坐标中的X-Y平面(即Z=0)上，可根据下式：

$\left\{\begin{array}{c}Z=0\\ \frac{X-0}{1}=\frac{Y-0}{1}=\frac{Z-150}{-1}\end{array}\right\}$

推算出A点投影至X-Y平面的坐标为[150,150,0]。同理，可利用取像单元110所拍摄到的图像将其余的BCD点先转换为B’C’D’点，再转换至欲投影的平面(例如为Z=0的平面)上，然而本发明不限于投影至Z=0的平面，在其他实施例中，例如也可投影至交通工具10所处的具有坡度(可由方向传感单元120得出)的斜坡的平面上，进而能够反应交通工具10与路面的关系以作为判断是否偏移的依据。换言之，利用取像单元110，可将真实世界的坐标(即相对于水平面的坐标)，通过上述计算，转换为交通工具所处环境(例如车辆所行进的地面，可能倾斜或颠簸而与水平面不平行等等情况)，而能够进行即时的校正而更能贴近现实需求。

更进一步而言，在图像传感元件SR上的坐标[u,v,w]与真实世界中的坐标位置[x,y,z]之间的图像转换关系(即矩阵M)可由二维齐次方程式如下：

$\mathrm{\λ}\·\left[\begin{array}{c}u\\ v\\ w\end{array}\right]=M\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ w\end{array}\right]$

由于上式矩阵M有8个变量，至少只需利用4组数据(例如ABCD点所对应的A’B’C’D’点)即可通过最小均方误差(least square error)演算法推得图像转换关系(即矩阵M)。在推算出图像转换关系(即矩阵M)后，镜头图像校正***100可储存图像转换关系(即矩阵M)，而在交通工具10行进时，可利用查表(look-up table)的方式查询矩阵M以将图像中的特征(例如车道线)转换为真实世界的坐标，作为判断交通工具10是否有行进偏移等现象的依据，藉此，可进一步节省大量计算矩阵M的时间，有助于即时地、准确地判别图像。值得注意的是，上述的矩阵M以3阶方阵为例，然而本发明不以此为限。

由于取像单元110配置在交通工具上的高度H、位置与取像方向角度CD都可事先被决定好，因此，在静态校正程序时，通过上述的针孔成像原理，可由取像单元110中的图像传感元件SR上所拍摄到的图像中的特征点(例如车道线上的反光点)的坐标[u,v,w]，推算出特征点位于真实世界中(相对于水平面)的坐标[x,y,z]的坐标为何。在得出至少四组配对的坐标[u,v,w]以及坐标[x,y,z]后，可利用上述的最小误差演算法推算出两者之间的图像转换关系(即矩阵M)，并可进一步地将此图像转换关系储存为查表(look-up table)于存储单元，例如快闪存储器(flash memory)或其他存储器，然而本发明不以此为限。换言之，取像单元110可在不需特定的校正场所即可进行自动的静态校正程序，如此一来，可节省大量人力与时间即能准确地校正。藉此，镜头图像校正***100可通过取像单元110所拍摄到的图像特征点(例如车道线)的变化，准确地判断交通工具是否产生行进偏移等现象。

然而，当图像发生改变而不再符合图像预设条件时，例如交通工具行驶在颠簸或倾斜的路面等场合而使得图像受到影响而无法用以判断交通工具的行进方向是否偏移时，镜头图像校正***100可进行一动态校正程序，以改变图像转换关系(即矩阵M)与取像单元110的取像方向角度CD其中之一，并再次进行上述的静态校正程序，直到图像符合图像预设条件为止。在本实施例中，当上述的图像符合图像预设条件时，取像单元110所拍摄到的图像可以正确地反映交通工具10相对于所处环境(例如道路)的移动方向。

详细而言，在动态校正程序中，当上述的交通工具10晃动或倾斜程度超过一阈值时，镜头图像校正***100可根据取像方向角度CD与交通工具方向角度TD之间的一方向关系调整图像转换关系(即矩阵M)，直到图像符合图像预设条件为止(也即直到图像足以用来作为判断交通工具10是否行进偏移的基准为止)。

举例而言，图3示出配有图1实施例中镜头图像校正***的交通工具位于斜坡上的示意图，请参照图1与图3，在本实施例中，交通工具10(例如为车辆)行驶在斜坡SL上，此斜坡与水平线HZ的坡度夹角为β。取像方向角度CD朝向交通工具10的前方。其中，交通工具10的交通工具方向角度TD也与水平线HZ夹β角，而取像单元110的取像方向角度CD与水平线HZ夹α角。由于交通工具10与取像单元110分别具有方向传感单元121、122(如图1中所示出)，因此α角与β角的信息可被量测出来。其中，α角与β角之间的差(α-β)角即为取像单元110与斜坡SL的倾斜角(pitch)差异，也即上述的方向关系。据此(α-β)角，当路面颠簸或斜坡SL斜率有剧烈变化超过预先设定的阈值时，镜头图像校正***100可检测此一倾斜角变化，并执行上述的动态校正程序以重新计算调整图像转换关系(即调整静态校正程序中已算出的矩阵M)，将受到影响的图像重新调整转换以得到正确的透视矩阵(即新的矩阵M)，藉此以适应路面颠簸或斜坡SL斜率的剧烈变化对图像所产生的影响。

另一方面，图4是示出图1实施例中的取像单元与调整支架的示意图，请参照图1与图4，上述的镜头图像校正***100可还包括至少一调整支架130，其中当图像发生模糊时，镜头图像校正***100可通过调整支架130调整取像单元110的取像方向角度CD，直到图像符合图像预设条件为止。举例而言，在某些场合的光影影响很大(例如曝光情况严重的场所)，此时取像单元110所拍摄到的图像可能也受到影响而产生严重曝光或模糊的情况，而影响判别的准确度。在这种情况下，取像单元110可通过调整支架130调整取像方向角度CD(本实施例中，取像方向角度CD朝向交通工具10的前方，调整支架130例如可调整取像单元的倾斜角(pitch)，然而本发明不以此为限)，并根据新的取像方向角度CD重新进行上述的静态校正程序，藉此以使图像能够恢复判别的准确度。

图5是本发明的另一实施例中的镜头图像校正***的示意图，请参照图1至图5，与图1实施例中的镜头图像校正***100相似，然而，不同之处在于，本实施例中的镜头图像校正***200中的至少一取像单元110为多个取像单元111、112、113以及114，至少一调整支架130为多个调整支架(未示出在图5中)。其中，这些取像单元111至114分别配置在交通工具10上的不同位置，例如设置于交通工具10的前后左右四周，并且各取像单元111至114以不同的各取像方向角度CD1、CD2、CD3以及CD4拍摄各方向的图像。镜头图像校正***200可根据各取像方向角度CD1、CD2、CD3以及CD4所拍摄到的图像所推得的这些图像转换关系分别转换这些图像为多个部分俯视图，镜头图像校正***200可将这些部分俯视图拼接为一鸟瞰图。换言之，各取像单元111至114例如可分别取得区域G1至G4的图像并合并为鸟瞰图，以进一步做为判别交通工具10在各方向上是否有行进偏移等变化的依据。

进一步而言，上述的这些取像方向角度CD1、CD2、CD3以及CD4可至少涵盖交通工具10的倾斜方向(pitch)、偏航方向(yaw)以及翻转方向(roll)。藉此，镜头图像校正***200可进一步判别交通工具10在各方向上(例如倾斜方向(pitch)、偏航方向(yaw)以及翻转方向(roll))是否发生改变的情形，当道路颠簸或是倾斜程度有剧烈变化时，镜头图像校正***200可检测此变化并动态调整图像转换关系(即各取像单元111、112、113以及114的透视矩阵)。

举例而言，即使是交通工具10(如车辆)由于零件问题或是道路的倾斜导致交通工具10向右倾斜的状态(即交通工具10具有翻转角(roll))，当此一倾斜状态超过一预先决定的阈值时，各取像单元111、112、113以及114所拍摄到的图像可能会发生变化而使得车辆偏移的判别不再准确，此时镜头图像校正***200可利用各取像单元111、112、113以及114的方向传感单元(未示出在图5中)判断各取像单元111、112、113以及114的倾斜方向(pitch)、偏航方向(yaw)以及翻转方向(roll)，而可以选择性地改变图像转换关系或是通过各调整支架130调整各取像方向角度CD1至CD4，再进行静态图像校正程序，藉此以维持图像判别交通工具10行进是否发生偏移的准确度。

图6A是本发明的又一实施例的图像镜头校正方法中的静态校正程序的流程图，图6B是本发明的又一实施例的图像镜头校正方法中的动态校正程序的流程图，请参照图1至图6B，在本实施例中，图像镜头校正方法例如可通过上述图1与图5实施例中的镜头图像校正***100与镜头图像校正***200来执行。其中，适用于交通工具10上的镜头图像校正方法包括静态校正程序(步骤S100)以及动态校正程序(步骤S200)。其中，静态校正程序可包括：利用至少一取像单元110预视一图像，其中取像单元110是依一高度H配置在交通工具10上(步骤S110)；利用分别配置在交通工具10以及取像单元110上的多个方向传感单元120，取得交通工具10的取像方向角度CD与交通工具方向角度TD(步骤S120)；利用一处理单元PU，计算一图像转换关系(例如上述的矩阵M)，并依图像转换关系转换图像为一平面图像并使平面图像符合一图像预设条件(步骤S130)。其中，在一静态校正程序中，处理单元PU可根据图像及交通工具方向角度TD与取像方向角度CD决定取像单元110配置在交通工具10内的偏移角度θ，处理单元PU再根据高度H、偏移角度θ与图像计算出图像转换关系。相关的构件与详细说明可参照图1至图6B实施例中所述，在此不再赘述。

举例而言，在本实施例中的步骤S110中，利用至少一取像单元110预视一图像，并且取像单元110配置在交通工具10内的位置、取像单元110欲摆放的取像方向角度CD、光圈大小、取像单元110的图像传感分辨率、取像单元110的透镜焦距以及摆放于交通工具10内的高度H等可依照实际需求决定，本发明不以此为限。并且，在步骤S130中，取像方向角度CD、取像单元110与图像转换关系的数量可为一个或多个，当其数量为多个时，镜头图像校正方法可还包括：根据这些图像转换关系分别转换这些图像为多个部分俯视图；以及将这些部分俯视图拼接为一鸟瞰图，如图1与图5实施例中所述，在此不再赘述。

此外，在本实施例中，静态校正程序也可还包括储存图像转换关系(步骤S140)，藉此，可通过查表方式，节省多次计算图像转换关系的时间，待图像由于外在因素的影响而须重新校正时，再以后续的动态校正流程校正。

动态校正程序包括当图像发生改变而不再符合图像预设条件时(例如交通工具10行驶在颠簸或倾斜的路面等场合而使得图像受到影响而无法用以判断交通工具10的行进方向是否偏移时)，改变图像转换关系与取像方向角度CD其中之一，并再次进行静态校正程序，直到图像符合图像预设条件为止。详细而言，上述的镜头图像校正方法中的动态校正程序可还包括：判断交通工具10晃动或倾斜程度是否超过一阈值(步骤S205)，当上述的交通工具10晃动或倾斜程度超过阈值时，根据取像方向角度CD与交通工具方向角度TD之间的一方向关系调整图像转换关系(步骤S210)，直到图像符合图像预设条件为止，以及：判断图像是否有模糊或曝光情形(步骤S215)，当图像发生模糊时，通过至少一调整支架130调整取像单元110的取像方向角度CD(步骤S220)，直到图像符合图像预设条件为止。值得注意的是，上述各步骤的顺序与流程仅用以例示本实施例，本发明不以此为限，例如，在其他实施例中，也可在动态校正程序中先执行步骤S215与步骤S220，再执行步骤S205与步骤S210，而也可具有相似的功效。其中，详细的装置与说明细节可参照图1至图5实施例中所述，在此不再赘述。

综上所述，本发明的实施例中的镜头图像校正***与镜头图像校正方法可不必使用特定的校正场地即可达成静态校正程序，可节省人力、时间与费用，而也可维持良好的精准度。并且，本发明的实施例中的镜头图像校正***与镜头图像校正方法可依照需求随时启动进行动态校正程序，即使交通工具位于颠簸或倾斜环境，甚或是使用者误触而改变取像单元的取像方向角度时仍可即时自动地进行校正镜头图像校正***而恢复准确度，此外，本发明的实施例中的镜头图像校正***中的方向传感器价格低廉而能提供即时的镜头图像校正，并可进一步用于各种交通工具上的镜头校正。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种适用于交通工具上的镜头图像校正***，其特征在于，包括：

至少一取像单元，依一高度配置在该交通工具上，用于预视一图像；以及

多个方向传感单元，分别配置在该交通工具以及该取像单元上，用于取得该交通工具的一交通工具方向角度及该取像单元的一取像方向角度；

一处理单元，用于计算一图像转换关系，并依该图像转换关系使该图像符合一图像预设条件；

其中，在一静态校正程序中，该处理单元根据该图像及该交通工具方向角度与该取像方向角度决定该取像单元配置在该交通工具内的一偏移角度，该处理单元再根据该高度、该偏移角度与该图像计算出该图像转换关系。

2.根据权利要求1所述的镜头图像校正***，其特征在于，当该图像符合该图像预设条件时，该图像正确地反映该交通工具相对于所处环境的行进状态。

3.根据权利要求1所述的镜头图像校正***，其特征在于，当该图像发生改变而不再符合该图像预设条件时，该镜头图像校正***进行一动态校正程序，以改变该图像转换关系与该取像单元的该取像方向角度其中之一，并再次进行该静态校正程序，直到该图像符合该图像预设条件为止。

4.根据权利要求1所述的镜头图像校正***，其特征在于，当该交通工具晃动或倾斜程度超过一阈值时，该镜头图像校正***根据该取像方向角度与该交通工具方向角度之间的一方向关系调整该图像转换关系，直到该图像符合该图像预设条件为止。

5.根据权利要求4所述的镜头图像校正***，其特征在于，该取像方向角度朝向该交通工具的前方，该方向关系为该交通工具与该取像方向角度之间的倾斜角的差异。

6.根据权利要求4所述的镜头图像校正***，其特征在于，该至少一取像单元为多个取像单元，分别配置在该交通工具上的不同位置，并且各该取像单元以不同的各该取像方向角度拍摄各该图像，该镜头图像校正***根据该些图像转换关系分别转换该些图像为多个部分俯视图，该镜头图像校正***将该些部分俯视图拼接为一鸟瞰图。

7.根据权利要求6所述的镜头图像校正***，其特征在于，该些取像方向角度至少涵盖该交通工具的倾斜方向、偏航方向以及翻转方向。

8.根据权利要求1所述的镜头图像校正***，其特征在于，还包括至少一调整支架，其中当该图像发生模糊时，该镜头图像校正***通过该调整支架调整该取像单元的该取像方向角度，直到该图像符合该图像预设条件为止。

9.根据权利要求8所述的镜头图像校正***，其特征在于，该取像方向角度朝向该交通工具的前方，该调整支架调整该取像单元的倾斜角。

10.根据权利要求8所述的镜头图像校正***，其特征在于，该至少一取像单元为多个取像单元，该至少一调整支架为多个调整支架，该些取像单元分别配置在该交通工具上的不同位置，并且各该取像单元以不同的各该取像方向角度拍摄各该图像，该镜头图像校正***根据该些图像转换关系分别转换该些图像为多个部分俯视图，该镜头图像校正***将该些部分俯视图拼接为一鸟瞰图。

11.根据权利要求10所述的镜头图像校正***，其特征在于，该些取像方向角度至少涵盖该交通工具的倾斜方向、偏航方向以及翻转方向，并且该些调整支架分别调整各该取像单元的倾斜角、偏航角以及翻转角至少其一。

12.一种适用于交通工具上的镜头图像校正方法，其特征在于，包括：

一静态校正程序，包括：

利用至少一取像单元预视一图像，其中该取像单元是依一高度配置在该交通工具上；

利用分别配置在该交通工具以及该取像单元上的多个方向传感单元，取得该交通工具的一交通工具方向角度及该取像单元的一取像方向角度；

利用一处理单元，计算一图像转换关系，并依该图像转换关系转换该图像为一平面图像并使该平面图像符合一图像预设条件；

其中，在该静态校正程序中，该处理单元根据该图像及该交通工具方向角度与该取像方向角度决定该取像单元配置在该交通工具内的一偏移角度，该处理单元再根据该高度、该偏移角度与该图像计算出该图像转换关系。

13.根据权利要求12所述的镜头图像校正方法，其特征在于，当该图像符合该图像预设条件时，该图像正确地反映该交通工具相对于所处环境的行进状态。

14.根据权利要求12所述的镜头图像校正方法，其特征在于，还包括一动态校正程序，其中当该图像发生改变而不再符合该图像预设条件时，该镜头图像校正***进行该动态校正程序，以改变该图像转换关系与该取像单元的该取像方向角度其中之一，并再次进行该静态校正程序，直到该图像符合该图像预设条件为止。

15.根据权利要求14所述的镜头图像校正方法，其特征在于，还包括：

当该交通工具晃动或倾斜程度超过一阈值时，根据该取像方向角度与该交通工具方向角度之间的一方向关系调整该图像转换关系，直到该图像符合该图像预设条件为止。

16.根据权利要求15所述的镜头图像校正方法，其特征在于，该取像方向角度朝向该交通工具的前方，该方向关系为该交通工具与该取像方向角度之间的倾斜角的差异。

17.根据权利要求15所述的镜头图像校正方法，其特征在于，该至少一取像单元为多个取像单元，分别配置在该交通工具上的不同位置，并且各该取像单元以不同的各该取像方向角度拍摄各该图像，其中该镜头图像校正方法还包括：

根据该些图像转换关系分别转换该些图像为多个部分俯视图；以及

将该些部分俯视图拼接为一鸟瞰图。

18.根据权利要求17所述的镜头图像校正方法，其特征在于，该些取像方向角度至少涵盖该交通工具的倾斜方向、偏航方向以及翻转方向。

19.根据权利要求14所述的镜头图像校正方法，其特征在于，还包括：

当该图像发生模糊时，通过至少一调整支架调整该取像单元的该取像方向角度，直到该图像符合该图像预设条件为止。

20.根据权利要求19所述的镜头图像校正方法，其特征在于，该取像方向角度朝向该交通工具的前方，该调整支架调整该取像单元的倾斜角。

21.根据权利要求18所述的镜头图像校正方法，其特征在于，该至少一取像单元为多个取像单元，该至少一调整支架为多个调整支架，该些取像单元分别配置在该交通工具上的不同位置，并且各该取像单元以不同的各该取像方向角度拍摄各该图像，其中该镜头图像校正方法还包括：

根据该些图像转换关系分别转换该些图像为多个部分俯视图；以及

将该些部分俯视图拼接为一鸟瞰图。

22.根据权利要求21所述的镜头图像校正方法，其特征在于，该些取像方向角度至少涵盖该交通工具的倾斜方向、偏航方向以及翻转方向，并且该些调整支架分别调整各该取像单元的倾斜角、偏航角以及翻转角至少其一。