CN115943636A - 处理装置及车载摄像机装置 - Google Patents

Abstract

本揭示提供一种处理装置，所述处理装置在将单目摄像机或立体摄像机安装于车辆而拍摄校正用的标记时检测车辆的设置偏差或者摄像机的安装偏差造成的摄像机相对于标记的设置偏差，以不受该因素对图像的偏差的影响的方式校正玻璃造成的图像偏差，从而准确地测量距离。本发明的处理装置根据对距车载摄像机(立体摄像机(104))的距离不同的多个标记(101、102、103)进行拍摄得到的图像以及模型化的车辆(111)的车窗(前挡玻璃(112))的数据来获取车载摄像机的设置偏差，使用设置偏差来变更对车载摄像机的图像进行修正用的修正数据。所谓设置偏差，是相对于车载摄像机针对标记(101、102、103)所存在的卡片应配置的位置的位置偏差。

Description

处理装置及车载摄像机装置

技术领域

本发明涉及一种算出将一个或多个摄像机图像修正为无畸变的图像的数据的处理装置及车载摄像机装置。

背景技术

专利文献1的现有技术在将具有第1摄像机和第2摄像机的立体摄像机设置于车辆后，算出对隔着前挡玻璃(透明体)拍摄到的第1摄像机的图像进行校正的第1摄像机的修正参数。接着，算出对第1摄像机与第2摄像机的被摄体的视差偏差进行校正的第2摄像机的修正参数，由此来去除前挡玻璃造成的图像的偏差。

专利文献2的现有技术在隔着和不隔着前挡玻璃(透明体)时利用立体摄像机来拍摄被摄体并求出图像上的被摄体的坐标，根据与这些坐标的差来算出构成图像的修正参数。根据该修正参数来去除前挡玻璃造成的图像的偏差。

现有技术文献

专利文献

专利文献1：日本专利特开2019-132855号公报

专利文献2：日本专利特开2015-169583号公报

发明内容

发明要解决的问题

在安装有摄像机的车辆存在相对于卡片的设置偏差的情况或者摄像机存在相对于车辆的安装偏差的情况下，以前挡玻璃造成的图像的偏差的形式构成的修正参数中会包含车辆的设置偏差以及摄像机的安装偏差造成的图像的偏差。由此，在拍摄与为校正而拍摄到的被摄体的距离不一样的距离的对象物时，第1摄像机与第2摄像机的图像上的对象物便产生垂直方向的偏差，图案匹配处理中对象物的像不会正常地一致，从而无法检测准确的视差。此外，第1摄像机与第2摄像机的图像上的对象物产生水平方向的偏差，从而产生视差误差。如此，因视差误差而无法准确地测量对象物的距离。

本发明的课题在于提供一种处理装置，所述处理装置在将单目摄像机或立体摄像机安装于车辆而拍摄校正用的标记时检测车辆的设置偏差或者摄像机的安装偏差造成的摄像机相对于标记的设置偏差，以不受该因素对图像的偏差的影响的方式校正玻璃造成的图像偏差，从而准确地测量距离。

解决问题的技术手段

本发明的处理装置根据拍摄距车载摄像机的距离不同的多个标记得到的图像以及模型化的车辆的窗口的数据来获取所述车载摄像机的设置偏差，使用所述设置偏差来变更对所述车载摄像机的图像进行修正用的修正数据，其中，所谓所述设置偏差，是相对于所述车载摄像机针对所述标记所存在的卡片应配置的位置的位置偏差。

发明的效果

根据本发明，可以根据距离不同的标记在图像上的间隔及位置偏差来检测不依存于距离的车辆的玻璃的模型的放大率及偏移偏差、依存于距离的标记与摄像机间位置及姿态偏差。继而，假定摄像机位置存在车辆设置偏差及摄像机安装偏差，以校正前挡玻璃造成的图像的偏差的方式变更对图像进行修正的数据，由此，仅靠1次拍摄便能去除车辆设置偏差及摄像机安装偏差造成的图像的偏差，从而能准确地测量距离。

附图说明

图1为表示本发明的处理装置及车载摄像机装置的实施方式的图。

图2为表示标记的配置区域的例子的图。

图3为表示本发明的处理装置及车载摄像机装置的实施方式的图。

图4为表示处理装置及车载摄像机装置的动作的图。

图5为表示修正图像上的标记的位置的图。

图6为表示从上方观察标记、立体摄像机以及车辆的配置的例子的图。

图7为表示从侧方观察标记、立体摄像机以及玻璃的配置的例子的图。

图8为表示立体摄像机的动作的图。

图9为表示算出2个摄像***部的修正图像上的视差的例子的图。

图10为表示图3所示的处理装置及车载摄像机装置的变形例的图。

图11为表示图3所示的处理装置及车载摄像机装置的变形例的图。

图12为表示摄像机的动作的图。

图13为表示拍摄距离测量的对象物得到的图像的例子的图。

具体实施方式

(实施方式1)

图1为表示本发明的一实施例的形态的图像校正装置的构成的图。图2为表示标记的配置区域的例子的图。图3为表示本发明的一实施例的形态的图像校正装置的立体摄像机的构成的图。

本实施方式的处理装置例如为图像校正装置。图像校正装置具有对在不透过前挡玻璃112的状态下拍摄到的图像的畸变及偏差进行修正用的图像修正数据，车辆111被设置为偏离了规定位置121及规定姿态(方向122)的位置及姿态(方向123)。在立体摄像机104相对于车辆111而安装为偏离了规定位置及姿态(方向122)的位置及姿态(方向124)的状态下，去除车辆111的设置偏差以及立体摄像机104的安装偏差的影响，以修正前挡玻璃112造成的图像偏差的方式变更图像修正数据。

图1及图3中展示本发明的图像校正装置的一实施例的构成。此处，以灰色显示的修正图像存储部316、视差图像存储部317、距离检测部330不包含在图像校正装置中，在检测立体物的距离的情形下工作。它们的动作于后文叙述。

图像校正装置具备多个标记、车辆设置偏差检测部105以及立体摄像机104。

如图2所示，多个标记具有圆形状。多个标记201配置在车辆的正面，多个标记202、多个标记203、多个标记204以及多个标记205相对于多个标记201而言分别配置在左上近前、右上近前、左下近前以及右下近前。此处，标记201、标记202、标记203、标记204以及标记205分别描绘在卡片206、卡片207、卡片208、卡片209以及卡片210上。此外，标记101表示标记201，标记102表示标记202或204，标记103表示标记203或标记205。只要相距摄像机而配置在不同距离上，则标记201～205的配置也可为图2所示以外的配置。

由LiDAR(Light Detection and Ranging)及运算部等构成的车辆设置偏差检测部105具有按设计来设置时的车辆的表面形状数据(设计值)以及车辆的位置(设计位置)，对车辆111的表面位置(测量值)进行测量并将车辆111的表面形状数据的设计值与车辆111的表面位置的测量值进行对照，从而检测车辆111距设计位置的位置偏差及姿态偏差。

立体摄像机104安装在车辆111上，透过车辆111的前挡玻璃112来拍摄标记201～205。此外，立体摄像机104具备摄像***部300a、摄像***部300b以及运算部310，与车辆位置偏差检测部105连接在一起。

摄像机等摄像***部300a具备光学元件部301a及摄像元件部302a。透镜等光学元件部301a使光折射而在摄像元件部302a上成像。摄像元件等摄像元件部302a对经光学元件部301a折射后的光的像受光而生成与该光的强度相应的图像。

摄像机等摄像***部300b具备光学元件部301b及摄像元件部302b。此外，摄像***部300a与摄像***部300b的焦距的设计值相同。摄像***部300a与摄像***部300b的光轴的方向大致相同。透镜等光学元件部301b使光折射而在摄像元件部302b上成像。摄像元件等摄像元件部302b对经光学元件部301b折射后的光的像受光而生成与该光的强度相应的图像。

摄像***部300a所拍摄到的图像是在制作视差图像时成为基准的图像，所以称为基准图像。此外，摄像***部300b所拍摄到的图像是在制作视差图像时供探索与从基准图像提取到的区域一致的区域的图像，称为参考图像。

CPU(central processing unit，中央运算处理装置)及存储器等运算部310具备拍摄图像存储部311、图像修正信息存储部312、校正信息存储部313、同步信号发生部314、基准图像导入部315a、参考图像导入部315b、图像校正部320、修正图像存储部316、视差图像存储部317、偏差修正信息存储部318以及距离检测部330。

存储器等拍摄图像存储部311储存从摄像***部300a及摄像***部300b输出的图像。

存储器等图像修正信息存储部312针对摄像***部300a的图像以及摄像***部300b的图像而储存与拍摄图像(无畸变的图像)上的各像素相对应的修正图像(有畸变的拍摄后的图像)上的二维坐标(图像修正数据)。图像修正信息存储部312储存事先在无前挡玻璃112的状态下求出的摄像***部300a及摄像***部300b的图像修正数据，而且储存图像修正数据变更部所制作的、修正为隔着前挡玻璃112而无畸变的图像的图像修正数据。此处，所谓无畸变的图像，是以针孔模型进行透视投影得到的图像。该图像修正数据用于对拍摄后的图像的透镜畸变或光轴错位进行修正的处理，表示拍摄时的图像的畸变。

存储器等校正信息存储部313储存有摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记201～205相对于立体摄像机104的三维位置、摄像***部300a及摄像***部300b中的前挡玻璃112造成的图像变形模型的数据(玻璃变形数据)的设计值以及这时的修正图像上的各标记图像、前挡玻璃112造成的图像变形的模型的水平方向及垂直方向的放大率及偏移偏差、车辆设置的位置偏差及姿态偏差、摄像机安装的位置偏差及姿态偏差。

此处，前挡玻璃112造成的图像变形的水平方向及垂直方向的放大率及偏移偏差量、车辆设置的位置偏差及姿态偏差、摄像机安装的位置偏差及姿态偏差是在图像偏差因素检测部322中算出。前挡玻璃112造成的图像变形的水平方向及垂直方向的放大率的初始值为1，这以外的初始值为零。玻璃变形数据是与透过前挡玻璃112前的图像上的各像素相对应的、透过前挡玻璃112后的图像上的位置的二维坐标。

同步信号发生部314生成并发送同步信号。

基准图像导入部315a根据同步信号发生部314的同步信号对摄像元件部302a发送同步信号及曝光时间的信息，之后获取摄像元件部302a所生成的图像，并将图像储存至拍摄图像存储部311。

参考图像导入部315b根据同步信号发生部314的同步信号对摄像元件部302b发送同步信号及曝光时间的信息，之后获取摄像元件部302b所生成的图像，并将图像储存至拍摄图像存储部311。

图像校正部320具备标记位置检测部321、图像偏差因素检测部322以及图像修正数据变更部323。

标记位置检测部321根据事先储存在图像修正信息存储部312中的图像修正数据、前挡玻璃112造成的图像变形数据的设计值来算出对隔着前挡玻璃112的拍摄图像进行修正的图像修正数据，使用该图像修正数据来修正摄像***部300a及摄像***部300b的拍摄图像。标记位置检测部321接着进行图案匹配处理，以与校正信息存储部313中储存的标记图像和它们的修正图像上的标记像一致的方式检测修正图像上的标记位置(检测位置)。

图像偏差因素检测部322根据校正信息存储部313中储存的摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记相对于立体摄像机104的三维位置、摄像***部300a及摄像***部300b的玻璃变形数据的设计值来算出以无偏差的方式设置于车辆111、前挡玻璃112造成的图像偏差与设计值一致的情况下的修正图像上的标记位置(设计位置)。

进而，图像偏差因素检测部322根据修正图像上的标记201～205的检测位置及设计位置、利用前挡玻璃112造成的图像偏差不依存于立体摄像机104与标记201～205之间的距离这一事实和摄像机设置偏差依存于立体摄像机104与标记201～205之间的距离这一事实来算出前挡玻璃112造成的图像变形的水平方向及垂直方向的放大率及偏移偏差、摄像机设置偏差。此处，摄像机设置偏差是标记201～205与立体摄像机104之间的位置偏差及姿态偏差(距设计部位的偏差)。接着，根据车辆设置偏差检测部105所检测到的车辆设置偏差、图像偏差因素检测部322所算出的摄像机设置偏差来算出摄像机安装偏差。此处，摄像机安装偏差是在车辆111上安装有立体摄像机104时的立体摄像机104相对于车辆111的位置偏差及姿态偏差(距设计部位的偏差)。

图像修正数据变更部323读入校正信息存储部313中储存的摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记201～205相对于立体摄像机104的三维位置。

此外，图像修正数据变更部323使用图像偏差因素检测部322所检测到的摄像机设置偏差、摄像机安装偏差、前挡玻璃112的模型的水平方向及垂直方向的放大率、偏移偏差来算出表示摄像机设置偏差造成的图像偏差的摄像机设置偏差数据、表示摄像机安装方向偏差造成的图像偏差的摄像机安装方向偏差数据、前挡玻璃112的模型的水平方向及垂直方向的放大率、有偏移偏差时的玻璃偏差数据。

此外，图像修正数据变更部323使用二维线性插补而针对每一像素来依序进行基于摄像机安装方向偏差数据的变换、基于玻璃偏差数据的变换、基于玻璃变形数据的变换、基于摄像机设置偏差数据的变换、基于不透过前挡玻璃112时的图像修正数据(表示拍摄时的图像的畸变)的变换。由此，图像修正数据变更部323去除摄像机设置偏差造成的像素偏差，而且针对基准图像及参考图像而算出朝着车辆111的行进方向时的隔着前挡玻璃112的图像修正数据，并将这些图像修正数据储存至图像修正信息存储部312。

存储器等修正图像存储部316储存图像修正部331使用摄像***部300a及摄像***部300b的图像修正数据来修正各自的拍摄图像得到的修正图像。存储器等视差图像存储部317储存视差图像。存储器等偏差修正信息存储部318储存基准图像及参考图像中的有纵向边缘和横向边缘两者的区域的位置的时间序列数据、消失点位置的设计值、消失点位置数据(检测值)、摄像机安装偏差造成的水平方向及垂直方向的图像偏差。

距离检测部330具备图像修正部331、视差算出部332、识别部333以及摄像机安装偏差检测部334。

图像修正部331使用从图像修正信息存储部312读入的基准图像及参考图像的图像修正数据将从拍摄图像存储部311读入的拍摄时的基准图像及参考图像变换为无畸变的图像。将这些修正后的基准图像及参考图像储存至修正图像存储部316。

视差算出部332从修正图像存储部316读入修正后的基准图像及参考图像，探索与从修正后的基准图像上提取到的规定尺寸的区域(称为基准区域)相对应的、处于修正后的参考图像上的相同高度的区域。视差算出部332算出与基准区域一致的参考图像上的区域(称为参考区域)的位置与基准区域的位置的差即视差。针对各基准区域而算出视差，由此算出视差图像。

识别部333从视差图像存储部317读入视差图像，根据视差、摄像***部300a与摄像***部300b的焦点的距离(基线长)、焦距以及1像素的尺寸而算出在摄像***部300a及摄像***部300b的光轴方向上从立体摄像机104起到图像上的对象物为止的距离。识别部333针对各区域而算出距离，由此算出距离图像。

识别部333接着从修正图像存储部316读入修正后的基准图像，使用修正后的基准图像及距离图像来识别基准图像中映现出来的对象物以及基准图像上的对象物的位置，算出对象物相对于立体摄像机104的三维的相对位置及相对速度。此处，相对于立体摄像机104的三维的相对位置坐标系是以摄像***部300a的入射光瞳中心为原点而相对于摄像***部100a而在右方向上取x坐标、在下方向上取y坐标、在光轴方向上取z坐标。此外，识别部333根据立体摄像机104与对象物的相对位置及相对速度来算出至碰撞为止的时间，判定规定时间内是否会发生碰撞。

摄像机安装偏差检测部334针对从修正图像存储部316读入的上一次和本次的修正后的基准图像而制作水平方向及垂直方向的边缘图像，检测包含纵向边缘(垂直方向的边缘)和横向边缘(水平方向的边缘)两者的区域。接着，摄像机安装偏差检测部334进行图案匹配处理，探索与本次的修正后的基准图像上的区域相对应的上一次的修正后的基准图像上的区域，求出包含纵向边缘和横向边缘两者的区域的位置的时间序列数据。

进而，摄像机安装偏差检测部334求出上述区域的位置的时间序列数据的多个近似曲线，根据它们的交点来检测基准图像上的消失点的位置(检测值)。摄像机安装偏差检测部334将基准图像上的消失点的位置的检测值与设计值的差作为摄像机安装偏差储存至偏差修正信息存储部318。最后，摄像机安装偏差检测部334对从图像修正信息存储部312读入的基准图像的图像修正数据作摄像机安装偏差程度的修正，并储存至图像修正信息存储部312。对参考图像进行同样的处理。

使用图4，对图1～图3所示的本实施方式的立体摄像机104的一实施例的动作次序进行说明。

步骤401：同步信号发生部314生成同步信号并送至基准图像导入部315a及参考图像导入部315b。

基准图像导入部315a在刚收到来自同步信号发生部314的同步信号后，对摄像元件部302a发送同步信号及曝光时间的信息。摄像元件部302a在刚收到来自基准图像导入部315a的同步信号及曝光时间的信息后，对经光学元件部301a折射后的光的像作曝光时间程度的受光，生成与该光的强度相应的图像，并将图像送至基准图像导入部315a。基准图像导入部315a从摄像元件部302a接收图像，并将图像储存至拍摄图像存储部311。

参考图像导入部315b在刚收到来自同步信号发生部314的同步信号后，对摄像元件部302b发送同步信号及曝光时间的信息。摄像元件部302b在刚收到来自参考图像导入部315b的同步信号及曝光时间的信息后，对经光学元件部301b折射后的光的像作曝光时间程度的受光，生成与该光的强度相应的图像，并将图像送至参考图像导入部315b。参考图像导入部315b从摄像元件部302b接收图像，并将图像储存至拍摄图像存储部311。

步骤402：标记位置检测部321从拍摄图像存储部311读入拍摄时的基准图像及参考图像，从图像修正信息存储部312读入事先储存的基准图像及参考图像的图像修正数据，从校正信息存储部313读入事先储存的基准图像及参考图像的玻璃变形数据。

不透过前挡玻璃112时的基准图像的图像修正表(F12x、F12y)示于式(1)及(2)。此处，(X1,Y1)为拍摄图像(透过光学元件后)上的位置，(X2,Y2)为不透过前挡玻璃112时的修正图像(透过光学元件前)上的位置。

X1＝F12x(X2,Y2) · · · (1)

Y1＝F12y(X2,Y2) · · · (2)

使用式(3)及(4)，根据玻璃变形数据(Gx,Gy)来算出与透过前挡玻璃112前的修正后的基准图像上的位置(X3,Y3)相对应的透过前挡玻璃112后的修正后的基准图像上的位置(X2,Y2)。

X2＝Gx(X3,Y3) · · · (3)

Y2＝Gy(X3,Y3) · · · (4)

透过前挡玻璃112后的修正后的基准图像上的位置(X2,Y2)为实数。因此，针对处于位置(X2,Y2)附近的值为整数的4个位置而使用式(1)及(2)来求与透过前挡玻璃112后的修正后(透过光学元件前)的基准图像上的位置相对应的拍摄后(透过光学元件后)的基准图像上的位置，并进行二维线性插补。由此，算出与隔着前挡玻璃112的修正后的基准图像上的位置(X3,Y3)相对应的拍摄后的基准图像上的位置。对各像素进行该处理，算出用于将拍摄图像变换为隔着前挡玻璃112的修正图像的图像修正数据(式(5)及(6))。

X1＝F13x(X3,Y3) · · · (5)

Y1＝F13y(X3,Y3) · · · (6)

使用该图像修正数据对拍摄后的基准图像的位置(X1,Y1)的周边4像素的亮度值实施二维线性插补，由此算出图像修正后的基准图像的像素(X3,Y3)的亮度值。对修正后的基准图像的各像素实施上述步骤，算出与设计一致的前挡玻璃112的情况下的修正后的基准图像的亮度值。

标记位置检测部321读入校正信息存储部313中储存的摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记201～205相对于立体摄像机104的三维位置。标记位置检测部321进而根据这些参数的值来算出立体摄像机104无设置偏差、不透过前挡玻璃112、无光学元件的畸变时的修正图像上的标记位置(设计位置)。

接着，标记位置检测部321读入校正信息存储部313中储存的各标记图像，算出标记位置的设计附近的图像修正后的基准图像的亮度值与标记图像的亮度值的差的绝对值的和(SAD，Sum of Absolute Difference)。标记位置检测部321求出在标记201～205的设计位置附近SAD最小的位置。

标记位置检测部321根据SAD最小的位置的左右像素的SAD来进行等角直线拟合，算出图像修正后的基准图像与标记图像最一致的位置的子像素。标记位置检测部321对SAD最小的水平方向的位置加上该子像素，由此算出标记201～205的水平方向的位置。

接着，标记位置检测部321根据SAD最小的位置的上下像素的SAD来进行等角直线拟合，算出图像修正后的基准图像与标记图像最一致的位置的子像素。对SAD最小的垂直方向的位置加上该子像素，由此算出标记201～205的垂直方向的位置。同样地，对其他标记201～205也进行同样的处理，算出修正后的基准图像上的标记201～205的位置。将通过以上处理检测到的标记201～205的位置称为检测位置。此外，该标记201～205的检测位置在图5中相当于修正图像501上的标记502及标记504。

对参考图像也进行以上的图像修正及标记位置检测的处理。

步骤403：图像偏差因素检测部322从校正信息存储部313读入摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记201～205相对于立体摄像机104的三维位置、摄像***部300a及摄像***部300b的玻璃变形数据的设计值。图像偏差因素检测部322根据这些信息来算出以无偏差的方式设置于车辆111、前挡玻璃112造成的图像偏差与设计值一致的情况下的修正图像上的标记201～205的位置(设计位置)。该标记201～205的设计位置在图5中相当于修正图像501上的标记503及标记505。

图像偏差因素检测部322根据像上述那样算出的修正图像上的标记201～205的设计位置和步骤402中检测到的标记201～205的检测位置，像下述那样推断前挡玻璃112的放大率及摄像机设置偏差等。此处，根据距立体摄像机104的距离不同的标记201～205的位置而利用前挡玻璃112造成的图像偏差不依存于立体摄像机104与标记201～205间距离这一事实和摄像机设置偏差依存于立体摄像机104与标记201～205间距离这一事实。

步骤403：图像偏差因素检测部322根据步骤402中求出的修正图像上的标记201～205的设计位置及检测位置，像下述那样推断前挡玻璃112的放大率及摄像机设置偏差等。此处，根据距立体摄像机104的距离不同的标记201～205的位置而利用前挡玻璃112造成的图像偏差不依存于立体摄像机104与标记201～205间距离这一事实和摄像机设置偏差依存于立体摄像机104与标记201～205间距离这一事实。

首先，对于基准图像，图像偏差因素检测部322针对修正图像中的卡片206上的标记201的检测位置及设计位置而算出在水平方向及垂直方向上相邻的标记201的间隔的平均。同样地，算出卡片207～210上的标记202～205的检测位置及设计位置的间隔的平均。因此，利用前挡玻璃112造成的图像偏差不依存于立体摄像机104与标记201～205之间的距离这一事实和摄像机设置偏差依存于立体摄像机104与标记201～205之间的距离这一事实。由此，使用式(7)至式(10)来算出前挡玻璃112带来的水平方向及垂直方向的放大率Mgh、Mgv、立体摄像机104与标记201间距离dLc。此处，远的标记为标记201，近的标记为标记202～205。

Mgh＝Mifh Minh(Lf－Ln)/(Minh Lf－Mifh Ln) · · · (7)

Mgv＝Mifv Minv(Lf－Ln)/(Minv Lf－Mifv Ln) · · · (8)

Mifh＝Wifh/Wdfh  · · · (9)

Mifv＝Wifv/Wdfv  · · · (10)

Minh＝Winh/Wdnh  · · · (11)

Minv＝Winv/Wdnv  · · · (12)

dLc＝(dLch+dLcv)/2 · · · (13)

dLch＝(Mifh－Minh)Lf Ln/(Minh Lf－Mifh Ln) · · · (14)

dLcv＝(Mifv－Minv)Lf Ln/(Minv Lf－Mifv Ln) · · · (15)

·远的标记201与立体摄像机104的距离的设计值：Lf

·近的标记202～205与立体摄像机104的距离的设计值：Ln

·标记201～205与立体摄像机104的距离偏差：dLc

·前挡玻璃112带来的水平方向的放大率：Mgh

·前挡玻璃112带来的垂直方向的放大率：Mgv

·修正图像上的远的标记201的设计位置的水平方向的间隔的平均：Wdfh

·修正图像上的近的标记202～205的设计位置的水平方向的间隔的平均：Wdnh

·修正图像上的远的标记201的设计位置的垂直方向的间隔的平均：Wdfv

·修正图像上的近的标记202～205的设计位置的垂直方向的间隔的平均：Wdnv

·修正图像上的远的标记201的检测位置的水平方向的间隔的平均：Wifh

·修正图像上的近的标记202～205的检测位置的水平方向的间隔的平均：Winh

·修正图像上的远的标记201的设计位置的检测方向的间隔的平均：Wifv

·修正图像上的近的标记202～205的检测位置的垂直方向的间隔的平均：Winv

·修正图像上的远的标记201的间隔的水平方向的放大率：Mifh

·修正图像上的近的标记202～205的间隔的水平方向的放大率：Minh

·修正图像上的远的标记201的间隔的垂直方向的放大率：Mifv

·修正图像上的近的标记202～205的间隔的垂直方向的放大率：Minv

将处于离标记202近的位置的卡片206上的标记201设为远的标记，将标记202设为近的标记，使用式(13)～(15)来算出处于图像上的左上的标记202与立体摄像机104之间的距离偏差dLclu。进行同样的计算，算出标记203～205与立体摄像机104之间的距离偏差dLcru(图像上的右上)、dLcld(图像上的左下)、dLclu(图像上的右下)。如图6所示，可以根据相对于与立体摄像机104的光轴方向601垂直的水平方向的线602及线603的左右标记间的距离偏差来算出标记与立体摄像机104之间的横摆角偏差。因此，使用式(16)～式(18)来算出标记与立体摄像机104之间的横摆角偏差dψc。

dψc＝atan((dLcl－dLcr)/Llr) · · · (16)

dLcl＝(dLcul+dLcdl)/2   · · · (17)

dLcr＝(dLcur+dLcdr)/2   · · · (18)

·左侧的标记202及204的距离偏差的平均dLcl

·右侧的标记203及205的距离偏差的平均dLcr

·左侧与右侧的标记间的距离的设计值的平均Llr

如图7所示，可以根据相对于与立体摄像机104的光轴方向703垂直的垂直方向的线704及线705的上下标记间的距离偏差来算出标记与立体摄像机104间的纵倾角偏差。因此，使用式(19)～式(21)来算出标记与立体摄像机104间的纵倾角偏差dφc。

dφc＝atan((dLcd－dLcu)/Lud) · · · (19)

dLcu＝(dLcul+dLcur)/2   · · · (20)

dLcd＝(dLcdl+dLcdr)/2   · · · (21)

·上侧的标记202及203与立体摄像机间的距离偏差的平均：dLcu

·下侧的标记204及205与立体摄像机间的距离偏差的平均：dLcd

·上侧与下侧的标记间的距离的设计值的平均：Lud

标记与立体摄像机104之间的侧倾角偏差是以修正图像上的光轴位置(或中心位置)为中心而相当于标记的检测位置与设计位置的旋转偏差。因此，使用修正图像上的式(22)来算出侧倾角偏差dθc。

dθc＝-atan[Σ{(Vi－Vo)(Ud－Uo)－(Ui－Uo)(Vd－vo)}/Σ{(Ui－Uo)(Ud－Uo)+(Vi－Vo)(Vd－Vo)}]···(22)

·标记201～205的各检测位置：(Ui、Vi)

·标记201～205的各设计位置：(Ud、Vd)

·修正图像上的光轴位置(中心位置)：(Uo、Vo)

标记与立体摄像机104间的水平方向及垂直方向的位置偏差依存于立体摄像机104与标记之间的距离，但前挡玻璃112造成的偏移偏差不依存于立体摄像机104与标记之间的距离。利用这一事实而使用式(23)～式(26)来算出前挡玻璃112造成的水平方向及垂直方向的偏移偏差dUg及dVg、标记与立体摄像机104间的水平方向及垂直方向的位置偏差dXc及dYc。此处，远的标记相当于标记201，近的标记相当于标记202～205。

dXc＝(dUin－dUif)c Lf Ln/{f(Lf－Ln)} · · · (23)

dYc＝(dVin－dVif)c Lf Ln/{f(Lf－Ln)} · · · (24)

dUg＝(dUin Ln－dUif Lf)/(Lf－Ln)  · · · (25)

dVg＝(dVin Ln－dVif Lf)/(Lf－Ln)  · · · (26)

·透镜的焦距：f

·摄像元件的像素间距：c

·修正图像上的远的标记的水平方向的检测位置与设计位置的差的平均：dUif

·修正图像上的近的标记的水平方向的检测位置与设计位置的差的平均：dUin

·修正图像上的远的标记的垂直方向的检测位置与设计位置的差的平均：dVif

·修正图像上的远的标记的垂直方向的检测位置与设计位置的差的平均：dVin

对参考图像也实施基准图像上实施过的上述处理。

使用基准图像和参考图像来算出所算出的立体摄像机104与标记间的水平方向及垂直方向的位置偏差、距离偏差、纵倾角偏差、横摆角偏差、侧倾角偏差的平均。将这些作为立体摄像机104的设置偏差。此外，通过以上的算出，得以求出基准图像及参考图像的前挡玻璃112带来的水平方向及垂直方向的放大率及偏移偏差。

步骤404：车辆设置偏差检测部105对车辆111照射激光，根据其反射光的受光时间来检测到车辆111的表面的多个部位的距离及受光角度。根据这些距离及受光角度来变换为车辆111的表面的多个部位的检测位置。

车辆设置偏差检测部105具有按设计来设置时的车辆111的表面形状数据以及车辆111的位置(设计位置)及姿态(设计姿态)，根据这些数据来算出车辆111的表面的多个部位的设计位置。

探索离车辆111的表面的各部位的检测位置最近的设计位置，将该设计位置设定为检测位置的对应点。根据车辆111的表面的各部位的检测位置(Xvm、Yvm、Zvm)及设计位置(Xvd、Yvd、Zvd)，使用式(27)～式(32)来算出车辆111的位置偏差(dXv、dYv、dLv)及姿态偏差(dφv、dψv、dθv)。

dXv＝Σ(Xvd－Xvm)/Nm  · · · (27)

dYv＝Σ(Yvd－Yvm)/Nm  · · · (28)

dLv＝Σ(Zvd－Zvm)/Nm  · · · (29)

dφv＝-atan[Σ{(Zvm－Zo)(Yvd－Yvo)－(Yvm－Yvo)(Zvd－Zvo)}/Σ{(Yvm－Yvo)(Yvd－Yvo)+(Zvm－Zvo)(Zvd－Zvo)}]···(30)

dψv＝-atan[Σ{(Xvm－Xo)(Zvd－Zvo)－(Zvm－Zvo)(Xvd－Xvo)}/Σ{(Zvm－Zvo)(Zvd－Zvo)+(Xvm－Xvo)(Xvd－Xvo)}]···(31)

dθv＝-atan[Σ{(Yvm－Yo)(Xvd－Xvo)－(Xvm－Xvo)(Yvd－Yvo)}/Σ{(Xvm－Xvo)(Xvd－Xvo)+(Yvm－Yvo)(Yvd－Yvo)}]···(32)

·测量点的数量Nm

·车辆111的旋转中心(Xvo、Yvo、Zvo)

对车辆111的设计位置及设计姿态加上像上述那样算出的车辆111的位置偏差及姿态偏差，根据车辆111的表面形状数据再次算出车辆111的表面的多个部位的设计位置。继而，重复以下处理：探索离车辆111的表面的各部位的检测位置最近的设计位置，将该设计位置设定为检测位置的对应点，使用式(27)～式(32)来算出车辆111的位置偏差及姿态偏差。在利用式(27)～式(32)算出的偏差的值小于规定阈值的情况下，结束处理，将到此为止的这些偏差相加得到的值作为车辆设置的位置偏差及姿态偏差。

步骤405：摄像机安装偏差检测部334使用式(33)～式(38)，从摄像机设置的位置偏差及姿态偏差减去车辆设置的位置偏差及姿态偏差，由此算出摄像机安装的位置偏差(dXa、dYa、dLa)及姿态偏差(dφa、dψa、dθa)。

dXa＝dXc－dXv   · · · (33)

dYa＝dYc－dYv   · · · (34)

dZa＝dZc－dZv   · · · (35)

dφa＝dφc－dφv  · · · (36)

dψa＝dψc－dψv  · · · (37)

dθa＝dθc－dθv  · · · (38)

步骤406：图像修正数据变更部323读入校正信息存储部313中储存的摄像***部300a及摄像***部300b的焦距、像素间距、拍摄图像上的光轴位置、修正图像上的光轴位置、以无偏差的方式设置于车辆111时的标记相对于立体摄像机104的三维位置。图像修正数据变更部323根据这些参数的值来算出立体摄像机104无设置偏差、不透过前挡玻璃112、无光学元件的畸变时的修正图像上的标记位置(设计位置)。

图像修正数据变更部323根据图像偏差因素检测部322所算出的立体摄像机104的设置的位置偏差及姿态偏差来算出不透过前挡玻璃112时的修正图像上的标记位置。图像修正数据变更部323根据这2个修正图像上的标记位置的变化来制作表示摄像机设置偏差造成的图像偏差的摄像机设置偏差数据。

接着，图像修正数据变更部323根据有图像偏差因素检测部322所算出的立体摄像机104设置的位置偏差及姿态偏差的状态来算出没有(去除掉)摄像机的安装方向相对于车辆111的行进方向的偏差程度时的修正图像上的标记位置。继而，图像修正数据变更部323根据有立体摄像机设置偏差时和从那里消除了相对于车辆111的行进方向的摄像机的安装方向偏差时的修正图像上的标记位置来算出摄像机安装方向偏差数据。

图像修正数据变更部323算出图像偏差因素检测部322所算出的前挡玻璃112的模型的水平方向及垂直方向的放大率、有偏移偏差时的玻璃偏差数据。图像修正数据变更部323使用步骤402所示那样的二维线性插补而针对每一像素来依序进行基于摄像机安装方向偏差数据的变换、基于玻璃偏差数据的变换、基于玻璃变形数据的变换、基于摄像机设置偏差数据的变换、基于不透过前挡玻璃112时的图像修正数据(表示光学元件造成的畸变)的变换。

由此，图像修正数据变更部323去除摄像机设置偏差造成的像素偏差，而且针对基准图像及参考图像而算出朝着车辆111的行进方向时的隔着前挡玻璃112的图像修正数据。图像修正数据变更部323将这些图像修正数据储存至图像修正信息存储部312。

图3所示的本实施方式的立体摄像机104在车辆111行驶的期间内进行图8所示的动作，由此，使用制作出的图像修正数据来检测立体物的距离，并且检测摄像机安装偏差而变更图像修正数据。

步骤801：同步信号发生部314生成同步信号并送至基准图像导入部315a及参考图像导入部315b。

基准图像导入部315a在刚收到来自同步信号发生部314的同步信号后，对摄像元件部302a发送同步信号及曝光时间的信息。摄像元件部302a在刚收到来自基准图像导入部315a的同步信号及曝光时间的信息后，对经光学元件部301a折射后的光的像作曝光时间程度的受光，生成与该光的强度相应的图像，并将图像送至基准图像导入部315a。基准图像导入部315a从摄像元件部302a接收图像，并将图像储存至拍摄图像存储部311。

参考图像导入部315b在刚收到来自同步信号发生部314的同步信号后，对摄像元件部302b发送同步信号及曝光时间的信息。摄像元件部302b在刚收到来自参考图像导入部315b的同步信号及曝光时间的信息后，对经光学元件部301b折射后的光的像作曝光时间程度的受光，生成与该光的强度相应的图像，并将图像送至参考图像导入部315b。参考图像导入部315b从摄像元件部302b接收图像，并将图像储存至拍摄图像存储部311。

步骤802：图像修正部331从拍摄图像存储部311读入拍摄后的基准图像及参考图像。图像修正部331从图像修正信息存储部312读入基准图像及参考图像的图像修正数据。

使用式(39)及式(40)，根据与修正后的基准图像上的各像素相对应的拍摄后的图像上的坐标(Fx(X4,Y4),Fy(X4,Y4))来算出与修正后的基准图像的像素(X4,Y4)相对应的拍摄后的基准图像的位置(X1,Y1)。

X1＝Fx(X4,Y4) · · · (39)

Y1＝Fy(X4,Y4) · · · (40)

对基准图像的位置(X1,Y1)的周边4像素的亮度值实施二维线性插补，由此算出修正后的基准图像的像素(X4,Y4)的亮度值。对修正后的基准图像的各像素实施上述步骤，算出修正后的基准图像的亮度值。此外，对参考图像也实施上述步骤，算出参考图像的修正图像的亮度值。将修正后的基准图像及参考图像储存至修正图像存储部316。

步骤803：视差算出部332从修正图像存储部316读入基准图像及参考图像的修正图像。视差算出部332像图9所示那样提取修正后的基准图像901的规定尺寸的区域903(称为基准区域)。视差算出部332通过以下的图案匹配在修正后的参考图像902上探索映有与基准区域903相同的对象物的区域的图像。

视差算出部332提取处于与基准图像903相同高度的参考图像902的规定尺寸的区域904(参考区域)，算出基准区域903的亮度值与参考区域904的亮度值的差的绝对值的和(SAD，Sum of Absolute Difference)。视差算出部332针对处于与基准区域903相同高度的参考图像902上的各参考区域904而算出SAD，探索SAD最小的值的参考区域905。视差算出部332使用参考区域905的SAD以及距参考区域905一像素的左右相邻的参考区域的SAD来进行等角直线拟合，算出与基准区域903最一致的参考图像上的参考区域905的子像素。视差算出部332对基准区域903与参考区域905的位置的差加上子像素，由此算出修正后的基准图像901上的基准区域903的视差。

视差算出部332对图像修正后的基准图像901上的所有区域实施这样的处理，算出基准图像901的整体上的视差。视差算出部332将如此算出的视差图像储存至视差图像存储部317。

步骤804：识别部333从视差图像存储部317读入视差图像。

识别部333使用式(41)来算出视差图像上的区域内的与立体摄像机104的光轴方向的距离L。此处，f为摄像***部300a及摄像***部300b的焦距的设计值，B为摄像***部300a与摄像***部300b的主点间的距离(基线长)，d为视差，c为摄像元件部302a及摄像元件部302b的像素间距。

L＝f×B/(d×c) · · · (41)

识别部333对视差图像的所有区域实施该处理，算出视差图像整体上的与立体摄像机104的光轴方向的距离，制作出距离图像。

识别部333使用式(42)～式(44)来算出距离图像上的区域内的三维位置。此处，三维坐标系是以从立体摄像机104的摄像***部300a的光学元件部301a的主点垂直往下的路面上的点为原点而在右方向上取X坐标、在上方向上取Y坐标、在行进方向上取Z坐标。此外，(U、V)为距离图像上的各位置，(U0、V0)为基准图像上的光轴位置，H为立体摄像机104距路面的安装高度。

X＝L×c×(U－U0)/f  · · · (42)

Y＝H+L×c×(V－V0)/f · · · (43)

Z＝L      · · · (44)

识别部333对视差图像的所有区域实施该处理，在视差图像整体上算出三维位置。

识别部333在距离图像上检测距离的比率为处理的阈值以内且相邻的区域，在该区域的面积为阈值以上、这些区域距路面的高度(Y坐标)为阈值以上的情况下，推断为立体物。

步骤805：摄像机安装偏差检测部334从修正图像存储部316读入上一次及本次的处理中制作出的修正后的基准图像。摄像机安装偏差检测部334针对上一次和本次的修正后的基准图像而制作水平方向及垂直方向的边缘图像。摄像机安装偏差检测部334在这些边缘图像上的规定尺寸的区域内检测存在纵向边缘和横向边缘两者的区域。摄像机安装偏差检测部334使用图案匹配处理来探索与该区域一致的上一次的修正后的基准图像上的区域。

在上一次和本次的修正图像上检测到一致的边缘的情况下，摄像机安装偏差检测部334检测上一次和本次的边缘位置，并在偏差修正信息存储部318中对与检测到的上一次的边缘位置一致的边缘位置追加储存本次的边缘位置。在上一次和本次的修正图像上没有一致的边缘的情况下，摄像机安装偏差检测部334将本次的边缘位置新储存至偏差修正信息存储部318。如此，摄像机安装偏差检测部334不断储存边缘的时间序列位置。

在某一边缘位置的时间序列数据的数量为规定阈值以上的情况下，摄像机安装偏差检测部334求边缘一致的时间序列数据连结而成的近似直线。摄像机安装偏差检测部334对包含纵向边缘和横向边缘两者的各区域实施该处理。摄像机安装偏差检测部334求这些近似直线的每一组合在图像上的交点的位置，并将这些交点的位置加以平均。

在交点的位置的平均值距设计上的消失点位置为阈值以内的距离的情况下，摄像机安装偏差检测部334判定正在直线前进，将交点的位置的平均值作为消失点位置，使消失点位置数据的数量加一并储存至偏差修正信息存储部318。在交点的位置的平均值距设计上的消失点位置为阈值以上的距离的情况下，摄像机安装偏差检测部334判定正在转弯，从而判定没有准确地检测到该消失点位置数据而予以废弃。

在偏差修正信息存储部318中储存的消失点位置数据的数量为规定阈值以上的情况下，摄像机安装偏差检测部334将偏差修正信息存储部318中储存的消失点位置数据加以平均，求出消失点位置的检测值，将消失点位置的检测值与设计值的差作为摄像机安装偏差造成的水平方向及垂直方向的图像偏差。

摄像机安装偏差检测部334对参考图像进行上述处理。算出基准图像及参考图像中的摄像机安装偏差造成的水平方向及垂直方向的图像偏差的平均并储存至偏差修正信息存储部318。

步骤806：摄像机安装偏差检测部334从图像修正信息存储部312读入基准图像的图像修正数据，从偏差修正信息存储部318读入摄像机安装偏差造成的水平方向及垂直方向的图像偏差。摄像机安装偏差检测部334使用步骤402所示那样的二维线性插补而针对各像素中的每一者来依序进行基于基准图像的图像修正数据的变换、对摄像机安装偏差造成的水平方向及垂直方向的图像偏差进行修正的变换。由此，摄像机安装偏差检测部334算出将摄像机安装偏差去除的图像修正数据。

摄像机安装偏差检测部334对参考图像进行上述处理。摄像机安装偏差检测部334将如此算出的基准图像及参考图像的图像修正数据储存至图像修正信息存储部312。

在车辆111上安装立体摄像机104时，若有车辆设置偏差或立体摄像机安装偏差，则无法与前挡玻璃112造成的图像偏差进行区分。于是，车辆设置偏差或立体摄像机安装偏差造成的图像偏差便包含在前挡玻璃112造成的图像偏差中，导致变更后的图像修正数据产生误差。继而，在处于与标记不一样的距离的对象物的修正后的基准图像和参考图像中产生水平方向及垂直方向的图像偏差。继而，该垂直方向的图像偏差会导致图案匹配处理中基准图像与参考图像的区域不一致，无法正常地算出视差。此外，即便垂直偏差得到了修正，也会因水平方向的图像偏差而产生视差误差。

根据本实施方式，根据距离不同的标记在图像上的间隔及位置偏差来检测不依存于距离的车辆111的玻璃的模型的放大率及偏移偏差、依存于距离的标记与摄像机间位置及姿态偏差。继而，假定摄像机位置存在车辆设置偏差及摄像机安装偏差，以校正前挡玻璃112造成的图像的偏差的方式变更对图像进行修正的数据。由此，仅靠1次拍摄便能去除车辆设置偏差及摄像机安装偏差造成的图像的偏差，从而能准确地测量距离。

根据图3所示的本实施方式，在车辆111行驶的期间内，在图8所示的动作次序的步骤805及步骤806中，由摄像机安装偏差检测部334检测修正图像上的消失点位置(检测位置)。继而，摄像机安装偏差检测部334根据消失点的设计位置的差，将其当作摄像机安装偏差造成的水平方向及垂直方向的图像偏差，以对它们进行修正的方式变更图像修正数据。由此，能够修正经年产生的立体摄像机104的设置偏差或变形等造成的修正偏差。

再者，本发明的处理装置及车载摄像机装置不限定于上述实施方式，可以做各种变形来加以运用。下面，对本发明的处理装置及车载摄像机装置的实施方式的变形例进行说明。

(变形例1-1)(由计算部实施图像校正的处理的实施方式)

图1及图10中展示本发明的处理装置及车载摄像机装置的一实施方式的构成。本变形例在图1及图3所示的处理装置及车载摄像机装置的一实施方式中从立体摄像机104中卸下了校正信息存储部313、图像校正部320并在新追加的计算部106(1000)中配备了校正信息存储部313、图像校正部320。

计算部106(1000)与立体摄像机104及车辆设置偏差检测部105连接在一起。各部的动作与图1及图3所示的处理装置及车载摄像机装置的实施方式相同。如此，通过从立体摄像机104中卸下校正信息存储部313、图像校正部320，能将进行图像校正处理的执行文件从立体摄像机104中去除，从而能削减在立体摄像机104内使用的存储器容量。此外，新追加的计算部106(1000)是在安装至车辆111的工序中以专用方式加以设置，计算部106(1000)的运算处理能力比立体摄像机104快。因此，能缩短图像校正处理所耗费的时间，从而能增加每小时能校正图像的台数。

(变形例1-2)(仅摄像机设置偏差的检测)

本变形例在图1及图3所示的本发明的处理装置及车载摄像机装置的实施方式中将车辆设置偏差检测部105剔除。此外，不实施图4所示的动作次序中的步骤404及步骤405。进而，在步骤406中，不是针对各像素中的每一者而依序进行基于摄像机安装方向偏差数据的变换、基于玻璃偏差数据的变换、基于玻璃变形数据的变换、基于摄像机设置偏差数据的变换、基于不透过前挡玻璃112时的图像修正数据(表示光学元件造成的畸变)的变换，而是针对各像素中的每一者而依序进行基于玻璃偏差数据的变换、基于玻璃变形数据的变换、基于摄像机设置偏差数据的变换、基于不透过前挡玻璃112时的图像修正数据(表示光学元件造成的畸变)的变换。

由此，即便不配备车辆设置偏差检测部105，也能从图像修正数据中去除车辆设置偏差带来的立体摄像机104的设置偏差造成的修正误差。在该变形例中，立体摄像机安装偏差造成的图像上的消失点位置会产生误差，但在图8所示的动作次序的步骤805及步骤806中会检测摄像机安装偏差并算出对由此导致的图像偏差进行修正的图像修正数据，由此，能够修正立体摄像机安装偏差造成的图像偏差。

(变形例1-3)(检测标记中心的位置的实施方式)

在本变形例中，在图1及图3所示的本发明的处理装置及车载摄像机装置的实施方式中校正信息存储部313不储存修正图像上的各标记图像。此外，在步骤402中，不是使用标记图像进行图案匹配处理来检测特征点位置，而是在图像修正后的基准图像及参考图像中进行将规定亮度值以下的像素设定为1、将这以外的像素设定为0的二值化处理并算出二值化后的图像上的各标记的重心位置，由此来检测标记的位置。由此，能够减少预先制作标记图像并加以存储的作业。

(变形例1-4)(单目摄像机的图像校正装置)

在本变形例中，在图1及图3所示的本发明的处理装置及车载摄像机装置的实施方式中，将图1所示的立体摄像机104变更为单目摄像机104而配备图11所示的单目摄像机来代替图3所示的立体摄像机，进行图12所示的动作次序代替图8所示的行驶时的动作次序，并且，在图4及图12所示的动作次序中，各部进行摄像***部1000的图像相关的处理而不是进行摄像***部300a及摄像***部300b的图像相关的处理。

图1及图11中展示本发明的图像校正装置的一实施例的构成。此处，以灰色显示的修正图像存储部316、距离检测部1030不包含在本实施方式中，在检测立体物的距离的情形下工作。它们的动作于后文叙述。

单目摄像机安装在车辆111中，透过车辆111的前挡玻璃112对标记201～205进行拍摄。此外，单目摄像机具备摄像***部1000和运算部310，与车辆设置偏差检测部105连接在一起。

摄像机等摄像***部1000具备光学元件部1001和摄像元件部1002。透镜等光学元件部1001使光折射而在摄像元件部1002上成像。摄像元件等摄像元件部1002对经光学元件部1001折射后的光的像受光而生成与该光的强度相应的图像。

CPU(central processing unit，中央运算处理装置)及存储器等运算部310具备拍摄图像存储部311、图像修正信息存储部312、校正信息存储部313、修正图像存储部316、偏差修正信息存储部318、图像导入部1015、图像校正部320、距离检测部1030。

距离检测部1030具备图像修正部331、识别部1032、立体物距离检测部1033、摄像机安装偏差检测部334。

存储器等拍摄图像存储部311、图像修正信息存储部312、校正信息存储部313、修正图像存储部316、偏差修正信息存储部318存储摄像***部1000的信息而不是摄像***部300a及摄像***部300b的信息。

图像导入部1015获取摄像元件部1002所生成的图像，并将图像储存至拍摄图像存储部311。

标记位置检测部321、图像偏差因素检测部322、图像修正数据变更部323、图像修正部331、摄像机安装偏差检测部1034不是进行摄像***部300a及摄像***部300b的图像相关的处理，而是进行摄像***部1000的图像相关的同样的处理。

识别部1032在图像修正部331所修正后的图像中的各区域内算出车辆111的特征量，检测与车辆111的特征一致的区域。此外，识别部1032在修正后的图像中的各区域内算出行人的特征量，检测与行人的特征一致的区域。

立体物距离检测部1033将车辆111的区域以及行人的区域的下部的位置作为与路面接触的位置，根据与路面接触的位置来算出车辆111及行人的距离。

图1及图11所示的本变形例以图4所示的动作次序进行动作。此处，在步骤401中进行下述处理，并且，标记位置检测部321、图像偏差因素检测部322、图像修正数据变更部323进行摄像***部1000的图像相关的处理而不是进行摄像***部300a及摄像***部300b的图像相关的处理，由此来检测摄像机设置偏差、车辆设置偏差、摄像机安装偏差、前挡玻璃112的水平方向及垂直方向的放大率。

步骤401：图像导入部1015对摄像元件部1002发送摄像信号及曝光时间的信息。摄像元件部1002在刚收到来自图像导入部1015的摄像信号及曝光时间的信息后，对经光学元件部1001折射后的光的像作曝光时间程度的受光，生成与该光的强度相应的图像，并将图像送至图像导入部1015。图像导入部1015从摄像元件部1002接收图像，并将图像储存至拍摄图像存储部311。

图1及图11所示的本变形例的单目摄像机的实施方式中，进行图12所示的动作次序代替图8所示的动作次序，由此检测立体物的距离，并且检测摄像机安装偏差而变更图像修正数据。此处，在步骤801中进行与不使用同步信号发生部的变形例1-4的步骤401(上述)相同的处理。此外，在步骤802及步骤805～806中，不是进行摄像***部300a及摄像***部300b的图像相关的处理，而是进行摄像***部1000的图像相关的同样的处理，所以省略这些步骤的说明，仅展示步骤1103及步骤1104的说明。

步骤1103：识别部1032读入修正图像存储部316中储存的修正后的图像。在修正后的图像1201中的各区域内算出车辆111的特征量，如图13所示，检测与车辆111的特征一致的区域1202。此外，识别部1032在修正后的图像1201中的各区域内算出行人的特征量，检测与行人的特征一致的区域1203。

步骤1104：立体物距离检测部1033将车辆111的区域1202以及行人的区域1203的下部的位置作为与路面接触的位置，根据与路面接触的位置来算出车辆111及行人的距离。

在车辆111上安装单目摄像机时，若有车辆设置偏差或单目摄像机安装偏差，则无法与前挡玻璃112造成的图像偏差进行区分，车辆设置偏差或单目摄像机安装偏差造成的图像偏差便会包含在前挡玻璃112造成的图像偏差中，导致变更后的图像修正数据产生误差，从而在处于与标记不一样的距离的对象物的修正后的图像中产生水平方向及垂直方向的图像偏差，该垂直方向的图像偏差会导致它们的距离产生误差。

在变形例1-4中，根据距离不同的标记在图像上的间隔及位置偏差来检测不依存于距离的车辆111的前挡玻璃112的模型的放大率及偏移偏差、依存于距离的标记与摄像机间位置及姿态偏差。继而，假定摄像机位置存在车辆设置偏差及摄像机安装偏差，以校正前挡玻璃112造成的图像的偏差的方式变更对图像进行修正的数据，由此，仅靠1次拍摄便能去除车辆设置偏差及摄像机安装偏差造成的图像的偏差，从而能准确地测量距离。

再者，变形例1-4的单目摄像机不限定于上述实施方式，可以像变形例1-1～变形例1-3所示那样做各种变形来加以运用，会获得同样的效果。

以上，使用附图对本揭示的处理装置及车载摄像机装置的实施方式进行了详细叙述，但具体构成并不限定于该实施方式，即便有不脱离本揭示的主旨的范围内的设计变更等，它们也包含在本揭示内。

符号说明

101…标记、102…标记、103…标记、104…立体摄像机、105…车辆设置偏差检测部、106…计算部、111…车辆、112…前挡玻璃、121…规定的车辆的位置、122…规定的车辆的姿态(方向)、123…车辆的姿态(方向)、124…立体摄像机的姿态(方向)、201…标记、202…标记、203…标记、204…标记、205…标记、206…卡片、207…卡片、208…卡片、209…卡片、210…卡片、300b…摄像***部、301a…光学元件部、301b…光学元件部、302a…摄像元件部、302b…摄像元件部、310…运算部、311…拍摄图像存储部、312…图像修正信息存储部、313…校正信息存储部、314…同步信号发生部、315a…基准图像导入部、315b…参考图像导入部、316…修正图像存储部、317…视差图像存储部、318…偏差修正信息存储部、320…图像校正部、321…标记位置检测部、322…图像偏差因素检测部、323…图像修正数据变更部、330…距离检测部、331…图像修正部、332…视差算出部、333…识别部、334…摄像机安装偏差检测部、501…修正图像、502…标记的检测位置、503…标记的设计位置、504…标记的检测位置、标记的设计位置、601…光轴方向、602…与光轴方向垂直的水平方向的线、603…与光轴方向垂直的水平方向的线、701…标记、702…标记、703…光轴方向、704…与光轴方向垂直的垂直方向的线、705…与光轴方向垂直的垂直方向的线、901…修正后的基准图像、902…修正后的参考图像、903…基准区域、904…参考区域、905…与基准区域最一致的参考区域、1000…计算部、1000…摄像***部、1001…光学元件部、1002…摄像元件部、1015…图像导入部、1030…距离检测部、1032…识别部、1033…立体物距离检测部、1201…修正图像、1202…车辆、1203…行人。

Claims (6)

1.一种处理装置，其特征在于，根据拍摄距车载摄像机的距离不同的多个标记得到的图像以及模型化的车辆的车窗的数据来获取所述车载摄像机的设置偏差，使用所述设置偏差来变更对所述车载摄像机的图像进行修正用的修正数据，

所述设置偏差是指相对于所述车载摄像机针对所述标记所存在的卡片应配置的位置的位置偏差。

2.根据权利要求1所述的处理装置，其特征在于，

所述标记配置成在上下方向上距所述车载摄像机的距离不一样，

所述处理装置根据所述标记的间隔及距离偏差来获取所述设置偏差，

所述设置偏差为所述车辆的纵倾角偏差。

3.根据权利要求1所述的处理装置，其特征在于，

所述标记配置成在左右方向上距所述车载摄像机的距离不一样，

所述处理装置根据所述标记的间隔及距离偏差来获取所述设置偏差，

所述设置偏差为所述车辆的横摆角偏差。

4.根据权利要求1所述的处理装置，其特征在于，

所述处理装置根据图像上的所述标记的水平方向及垂直方向的间隔偏差来获取所述窗口的水平方向及垂直方向的放大率。

5.根据权利要求1所述的处理装置，其特征在于，

具有检测所述车辆的设置偏差的车辆设置偏差检测部，

根据所述车辆的所述设置偏差以及所述车载摄像机的所述设置偏差来算出所述车载摄像机相对于所述车辆的安装偏差，使用所述车载摄像机的所述设置偏差以及所述车载摄像机的所述安装偏差来变更对所述车载摄像机的图像进行修正用的修正数据。

6.一种车载摄像机装置，其特征在于，具备根据权利要求1所述的处理装置，该车载摄像机装置具有第1摄像机及第2摄像机，

所述处理装置获取所述第1摄像机拍摄所述标记得到的第1图像以及所述第2摄像机拍摄所述标记得到的第2图像，

根据从所述第1图像及所述第2图像得到的标记间隔偏差及位置偏差来获取所述第1摄像机及所述第2摄像机相关的所述窗口的放大率偏差、偏移偏差、以及共通的车辆设置偏差，

根据所述放大率偏差、所述偏移偏差、以及所述共通的车辆设置偏差来变更所述第1摄像机及所述第2摄像机用的修正数据。

Images