CN104949619A - 车辆用立体图像处理装置 - Google Patents

Abstract

本发明提供车辆用立体图像处理装置。在车辆行驶中诊断有无立体摄像机的位置偏移，提前避免因位置偏移而引起的错误识别所导致的车辆控制的不良情况发生。通过立体图像处理部和识别处理部进行的白线检测是评价图像平面中的道路宽度方向的亮度变化而抽出作为白线的候补的点组，计算左右的白线候补点的视差而变换为实际空间坐标来生成白线模型。摄像机位置偏移诊断部通过计算基于立体摄像机的基准图像与比较图像之间的在同一水平线上的左白线的视差与右白线的视差的差异的诊断值来判断有无摄像机位置偏移。在发生摄像机位置偏移时，对车辆控制装置指示停止控制功能和/或转移到失效保护控制，另外，向用户输出催促向经销商的维修工厂等入库检查的警报。

Description

车辆用立体图像处理装置

技术领域

本发明涉及一种对利用搭载于车辆的立体摄像机拍摄的图像进行处理而以三维方式识别行驶环境的车辆用立体图像处理装置。

背景技术

近年来，在汽车等车辆中，采用利用摄像机拍摄前方的行驶环境并通过进行图像处理来识别行驶环境的技术。特别是通过采用使用立体摄像机从不同的视点拍摄同一个对象，然后根据所得的视差(距离数据)以三维方式识别对象的立体图像处理的技术，从而使避免与前方障碍物碰撞、针对前行车辆的跟踪控制、针对摇晃和脱离行车线的报警控制、和/或转向控制等对驾驶员的各种辅助控制得到实用化。

这样的立体摄像机由如下方式构成，即，例如将两台一组的摄像机以彼此的光轴大致平行的方式、按照预定的基准线长度(光轴间隔)进行机械固定，如果在其安装位置产生偏移，则各摄像机的拍摄方向偏移，因此发生无法识别前行车辆、距离数据的精度变差等现象。

因此，专利文献1中公开了通过在立体摄像机的前方设置调整用卡，通过处理对该调整用卡的拍摄图像而调整立体摄像机的位置偏移，从而提高距离数据的可靠性的技术。

现有技术文献

专利文献

专利文献1：日本特开2004-132870号公报

发明内容

技术问题

然而，专利文献1中公开的现有技术是在工厂中车辆出厂时和/或在市场上的经销商等的维修工厂中进行检查时，使车辆停止而检查立体摄像机有无位置偏移并进行调整的技术，在用户的实际使用环境下难以检查立体摄像机是否发生位置偏移。

本发明是鉴于上述情况而完成的，其目的在于提供能够在车辆行驶中诊断有无立体摄像机的位置偏移，提前避免由位置偏移引起的错误识别所导致的车辆控制的不良情况发生的车辆用立体图像处理装置。

技术方案

本发明的车辆用立体图像处理装置对搭载于车辆的立体摄像机的拍摄图像进行处理而以三维方式识别行驶环境，具备：左右类似物检测部，根据上述立体摄像机的拍摄图像检测在本车辆的左右成对存在的类似物而分别对其进行匹配处理，计算在图像的同一水平线上的左侧的类似物的视差和右侧的类似物的视差；和摄像机位置偏移诊断部，计算基于上述同一水平线的左侧的类似物的视差与右侧的类似物的视差的差异的诊断值，将该诊断值与预先设定的阈值进行比较而诊断上述立体摄像机的机械性位置偏移。

有益效果

根据本发明，能够在车辆行驶中诊断有无立体摄像机的位置偏移，提前避免由位置偏移引起的错误识别所导致的车辆控制的不良情况发生。

附图说明

图1是车辆用立体图像处理装置的构成图。

图2是表示核线的说明图。

图3是立体匹配的说明图。

图4是白线检测的说明图。

图5是表示基准图像和比较图像的白线位置的说明图。

图6是表示根据图5的基准图像和比较图像求得的左右白线的视差的说明图。

图7是表示根据图5的基准图像和比较图像识别的白线的说明图。

图8是表示发生摄像机位置偏移时的基准图像和比较图像的白线位置的说明图。

图9是表示根据图8的基准图像和比较图像求得的左右白线的视差的说明图。

图10是表示根据图8的基准图像和比较图像识别的白线的说明图。

图11是表示根据图5的基准图像和比较图像求得的左右白线的高度的说明图。

图12是表示根据图8的基准图像和比较图像求得的左右白线的高度的说明图。

符号说明

1：立体图像处理装置

2：立体摄像机

2a：摄像机(主摄像机)

2b：摄像机(副摄像机)

7：立体图像处理部(左右类似物检测部)

9：识别处理部(左右类似物检测部)

10：摄像机位置偏移诊断部

20：车辆控制装置

Lep：核线

d：视差

z：距离

Δjd、Δyd、al、ar：诊断值

具体实施方式

以下，参照附图说明本发明的实施方式。

在图1中，符号1表示对利用搭载于汽车等车辆、从不同的视点拍摄对象物的立体摄像机2所拍摄的图像进行处理而对对象物的三维位置进行测距、从三维角度识别车外的行驶环境的立体图像处理装置。对于该立体图像处理装置1而言，作为对立体摄像机2的拍摄图像进行处理的功能，主要具备A/D变换部3、光轴调整部4、粗调整部5、距离校正部6、立体图像处理部7、识别处理部9，并具备距离数据存储器8a和图像数据存储器8b。

另外，对于立体图像处理装置1而言，作为检测在市场中的实际使用时发生的立体摄像机2的机械性位置偏移的功能，具备摄像机位置偏移诊断部10。立体摄像机2在本实施方式中具有CCD和/或CMOS等拍摄元件，并由快门速度可变且相互同步的一组摄像机2a、2b构成，对利用摄像机2a、2b拍摄的车外的图像进行立体图像处理而对车外的物体的三维位置进行测距。

众所周知，根据立体法进行的对象物的三维位置的测距主要是对利用摄像机2a、2b拍摄的两个图像进行求出两个图像上的同一点的对应位置的立体匹配(对应点搜索)处理。该对应点搜索通常以核线上的一维搜索的形式实施。

即，如图2(a)所示，在用摄像机模型表示摄像机2a、2b，将各视点(透镜中心)记为C1、C2，将各投影面(图像平面)记为IM1、IM2的情况下，关注三维空间上的点P，则关注点P在摄像机2a的投影面IM1上以点P1被观测到，在摄像机2b的投影面IM2上以点P2被观测到。

对应点搜索是从另一侧的投影面IM2上搜索与一侧的投影面IM1上的点P1对应的点，但由于摄像机配置的几何学关系，与点P1对应的投影面IM2上的点在由点P1、C1、C2构成的平面与投影面IM2相交而成的直线Lep(核线)上。该核线Lep在投影面IM1上也同样存在，对应点搜索归结到核线Lep上的一维搜索。

此时，通过使核线Lep与图像的扫描线一致，能够简化搜索处理。因此，在本实施方式中，如图2(b)所示，将摄像机2a、2b的投影面IM1、IM2平行配置而使两者的核线Lep与图像的水平扫描线Lh一致。

更详细而言，对立体摄像机2进行机械和电调整，以使其成为如下摄像机配置的方式，即，使配置在水平方向的右侧的摄像机2a与配置在左侧的摄像机2b的彼此的光轴平行而使拍摄面一致，此外，使彼此的拍摄面的横轴方向(水平扫描线方向)一致(相互不旋转)。这样的立体摄像机2将两台摄像机2a、2b作为以预定的基准线长度固定的摄像机单元而形成，例如将其设置于车室内上部的前窗内侧的室内镜附近。

应予说明，在本实施方式中，右侧的摄像机2a拍摄成为对应点搜索的基准的基准图像，左侧的摄像机2b拍摄进行对应点搜索的比较图像。以下，将拍摄基准图像(右图像)的右侧的摄像机2a适当记载为主摄像机2a，将拍摄比较图像(左图像)的左侧的摄像机2b适当记载为副摄像机2b。

由各摄像机2a、2b拍摄的模拟图像分别被A/D变换部3变换为预定的亮度等级(例如256级灰度)的数字图像。该数字化的图像数据在以图像的左下角为原点、以水平方向为i坐标轴、以垂直方向为j坐标轴的i-j坐标系中表现，由主摄像机2a得到基准图像数据，由副摄像机2b得到比较图像数据。

光轴调整部4相对于摄像机的拍摄区域调整识别并利用的处理区域的位置。立体摄像机2的安装位置因每个车辆的差异而无法避免在一对摄像机2a、2b间产生光轴的朝向相对于车体的方向(图像中心的方向)朝俯仰方向和偏航方向偏移。因此，使识别处理的对象的处理区域相对于各摄像机的拍摄区域移动，修正摄像机光轴的偏移，在此，相对于各摄像机的拍摄区域移动识别处理的对象的处理区域时，例如利用在出厂时拍摄调整用卡而算出的校正参数。

应予说明，校正参数是校正由各摄像机2a、2b的位置偏移引起的图像的识别区域的光轴方向的偏移以及一对图像数据的并行、旋转方向的偏移的参数，光轴调整部4使预先设定的大小的识别区域在各摄像机的拍摄区域内沿偏航方向和俯仰方向平行移动预定的移动量。

粗调整部5在图像上补偿制造摄像机单元时的机械性调整中没能补偿的摄像机2a、2b间的位置偏移。例如，在出厂时，检查副摄像机2b的图像相对于主摄像机2a的图像在并行、旋转方向的偏移而将仿射变换的参数存储于存储器。然后，通过利用该仿射变换参数而使副摄像机2b的图像从几何学上移动预定的并行量、旋转角，从而修正副摄像机2b的图像相对于主摄像机2a的图像在并行、旋转方向的偏移。

距离校正部6因为校正由摄像机的光学失真引起的图像数据的失真，因此分别校正基准图像数据和比较图像数据。具体而言，基于预先算出的校正参数，将构成基准图像、比较图像的各自的图像数据的像素点的坐标在图像平面上进行移位。通过该校正，基本上能够校正由各摄像机2a、2b的光学失真引起的图像的失真，校正由该失真引起的距离数据的误差。

应予说明，校正参数根据如下方法确定，即，例如在出厂时拍摄调整用卡，然后根据从该调整用卡检测到的特征点在图像平面上的坐标与对应于特征点的目标坐标之间的差分进行确定。在此，目标坐标是指用完全不存在光学失真的理想的摄像机拍摄调整用卡时所检测到的坐标，例如可以根据调整用卡的图案、该调整用卡与摄像机之间的距离以及摄像机的焦点距离算出。

通过该光轴调整部4和粗调整部5中的图像数据的校正以及距离校正部6中的图像数据的校正来保证基准图像和比较图像中的核线的一致。然后，将相当于一帧的一对图像数据输出到后段的立体图像处理部7，并且将其储存到图像数据存储器8b中。

立体图像处理部7通过立体匹配处理求出基准图像与比较图像之间的对应位置的偏移量(视差)。作为该立体匹配处理，例如可以利用公知的区域搜索法，评价基准图像与比较图像之间的相关度。在本实施方式中，作为相关度的评价函数，计算基准图像的小区域(块)与比较图像的小区域(块)之间的像素值的差分(绝对值)的总和(SAD:Sum of Absolute Difference)。作为像素值，通常大多使用各像素的亮度值。

基于SAD的评价函数的值被称为市街距离(City Block Distance)，块间的相关越高(越类似)，市街距离的值越小，根据市街距离取最小值时的块之间的水平方向的移位量产生视差。市街距离CB通过如下方式计算而得到，即，用以水平方向为i坐标、以垂直方向为j坐标的正交坐标定义图像平面上的位置，将搜索彼此的相关度的块记为i×j(i＝0～n，j＝0～n)的搜索块时，如以下的(1)式所示，边在i轴(核线)上反复错开预定的移位值，边计算基准图像的搜索块M(i,j)与比较图像的搜索块S(i,j)的SAD值。

CB＝Σ│M(i,j)-S(i,j)│…(1)

在以上的SAD运算中，例如以4×4像素的搜索块为对象，边使比较图像的搜索块(子块)的位置相对于基准图像的搜索块(主块)在水平扫描线上以一个像素为单位反复错开，边进行SAD运算，如图3所示，市街距离为最小值C0的点作为主块与子块间的相关度最高的对应位置(一致点)而被求出。在该一致点中的主块与子块之间的一个像素单位的偏移量(水平扫描方向上主块的位置im与子块的位置is之差)产生具有一个像素单位的分辨率的视差d(像素视差)，而针对每个块算出的视差d的集合作为形成距离图像的距离数据而保存到距离数据存储器8a。

应予说明，由于离对象物的距离越大，基于该像素视差的距离信息的分辨率越低，所以根据需要进行求出具有一个像素单位以下的分辨率的子像素级的视差的处理。

识别处理部9使用保存到距离数据存储器8a中的距离数据而得到在实际空间的距离，并且进行各种识别处理。例如，对预定阈值范围内的距离数据进行分组的分组处理，抽出沿道路白线、沿道路存在的护栏、路边石等侧壁数据，并且将立体物分类为二轮车、普通车辆、大型车辆、行人、电线杆等其它立体物而抽出。

对于所识别的各数据计算在实际空间的三维坐标中的各自的位置。具体而言，在实际空间上，以主摄像机2a和副摄像机2b的中央正下方的道路面上的点为原点，以本车辆的车宽度方向即左右方向为X轴，以车高方向为Y轴，以车长方向即距离方向为Z轴，利用基于三角测量原理的下述(2)～(4)式，将距离图像上的点(i，j，d)坐标变换成实际空间上的点(x，y，z)。

x＝CD/2+z·wi·(i-iv)/f…(2)

y＝z·wj·(j-jv)/f+CAHM…(3)

z＝CD·f/(d·wi)…(4)

其中，CD：摄像机间隔(基准线长度)

CAHM：从原点到摄像机中心(透镜中心)的高度

f：透镜的焦点距离

d：视差(像素数)

wi：像素间距(水平方向)

iv：光轴位置(本车辆正面的无限远点的i坐标)

wj：像素间距(垂直方向)

jv：光轴位置(本车辆正面的无限远点的j坐标)

并且，在二轮车、普通车辆、大型车辆的车辆数据中，预先推断其前后方向长度为例如3m、4.5m、10m等，另外，宽度方向利用检测到的宽度的中心位置计算该车辆中存在的中心位置。此外，在立体物数据中，由距本车辆的距离在各轴方向的变化计算相对于本车辆的相对速度，在该相对速度的基础上考虑到本车辆的速度而进行计算，由此计算各立体物在各轴方向的速度。

根据由此得到的各信息，即，道路的白线数据、沿道路存在的护栏、路边石等侧壁数据以及立体物数据(种类、距本车辆的距离、中心位置坐标、速度等各种数据)识别本车辆周围的行人或者轻型车辆、在与本车辆行驶的道路连接的道路上行驶的其它车辆等移动物体。将这样的来自识别处理部9的白线数据、沿道路存在的护栏、路边石等侧壁数据、立体物数据等输入到车辆控制装置20中。车辆控制装置20根据来自识别处理部9的信息指示进行防止与障碍物碰撞的预碰撞制动控制、带跟踪功能的巡航控制、对摇晃和脱离行车线的报警控制和/或转向控制等对驾驶员的驾驶辅助控制。

在这样的驾驶辅助控制中，重要的是正确把握对象物的三维位置，因此，需要通过定期的维护等使立体摄像机2的位置精度维持在出厂时的状态。然而，在行驶不良路段等暴露于振动激烈的行驶环境的情况下，或者长期没有进行维护的情况下，可能在构成立体摄像机2的摄像机2a、2b之间产生位置偏移，难以正确把握对象物的三维位置而导致控制性变差。

特别是，在基于道路白线的识别结果的巡航控制和/或防止脱离行车线的控制等中，有时难以恰当地识别道路的白线形状，控制本身可能会失败。因此，摄像机位置偏移诊断部10诊断构成立体摄像机2的摄像机2a、2b间是否产生在旋转方向和/或并行方向的位置偏移，在判断为产生了位置偏移的情况下，通过停止基于由立体图像处理而得到的行驶环境的识别结果的车辆控制***的相关功能和/或转移到失效保护控制，从而确保安全。

应予说明，在诊断过程中，在因噪声的影响等而判断为发生摄像机位置偏移而使车辆控制***的相关功能停止后，在预定期间判断为正常的状态持续的情况下，可以使***恢复。

摄像机2a、2b间的位置偏移可以通过利用作为行驶环境中的基准的对象物来检测。作为该基准的对象物，可以考虑道路附带的固定物，其中，可以利用在本车辆行驶的道路中在本车辆的左右成对设置的类似物，例如道路面上的左右的白线、左右的护栏、左右的路边石(侧壁)等。

对于这些左右侧的类似物，在使核线与水平扫描线(水平线)一致的本实施方式的立体图像处理中，位于相同距离的部分被显示在同一水平线上。因此，在存在左右成对的类似物的情况下，通过在同一水平线上比较左右的类似物的视差，从而能够判断在摄像机2a、2b间是否发生位置偏移。

特别是，白线是存在于道路面上的亮度较高的对象物，大多情况下，不会受到遮挡等的影响而以左右一对的形式检测到。因此，在本实施方式中，就以在正常的情况下位于相同距离的左右的白线会显示在同一水平线上的事实为基准，诊断摄像机2a、2b间有无位置偏移。

应予说明，本实施方式的在摄像机位置偏移诊断中所使用的白线是是用来区分车辆行驶的车辆通行区域的线的总称，包括单线、双线等多重线、实线、虚线等，此外也包括黄色线等，将在本车辆的两侧(左右)检测到的白线作为诊断的基准。

在此，对由立体图像处理部7和识别处理部9进行的左右的白线检测功能，即作为检测左右的类似物的左右类似物检测部的功能进行说明。道路的白线可以通过如下方式检测，即，评价图像平面上的沿道路宽度方向的亮度变化而抽出作为白线的候补的点组，对该白线候补的点组的时间序列数据进行处理。

例如，如图4所示，在图像平面上从车宽方向内侧向外侧搜索，将车宽方向外侧的像素的亮度相对于内侧的像素的亮度高且表示其变化量的亮度的微分值为正侧的设定阈值以上的点(边缘点)检测为白线开始点Ps。另外，将车宽度方向外侧的像素的亮度相对于内侧的像素的亮度低且表示其变化量的亮度的微分值为负侧的设定阈值以下的点(边缘点)检测为白线结束点Pe。

然后，将白线开始点Ps与白线结束点Pe之间的中间的预定区域作为白线候补点抽出，将通过立体匹配求出的白线候补点的视差变换为实际空间的坐标。然后，对基于单位时间的车辆移动量的白线候补点的空间坐标位置的时间序列数据进行处理，算出与左右的白线近似的白线模型。在本实施方式中，作为白线模型，在表现XYZ坐标空间中的XZ平面上的形状的近似模型的基础上加上表示YZ平面上的高度的近似模型，由此能够三维地掌握白线。

XZ平面上的白线形状例如可以利用如下近似模型表现，即，将通过霍夫变换求出的直线成分连结而得的近似模型、或者用如下的(5)、(6)式所示的、通过距离z的二次式对左右白线的x方向位置xl、xr进行了近似而得的近似模型。

xl＝Al·z²+Bl·z+Cl…(5)

xr＝Ar·z²+Br·z+Cr…(6)

(5)、(6)式中的系数Al、Bl、Cl、Ar、Br、Cr是对左右的白线候补点的实际空间坐标(x，z)应用最小二乘法而确定的。系数Ai、Ar分别表示左右的白线的曲率成分，系数Bl、Br分别表示左右的白线在本车辆的宽度方向上的倾斜成分(偏航角成分)，系数Cl、Cr分别表示左右的白线在本车辆的宽度方向上的位置成分。

另外，YZ平面上的左右白线的高度yl、yr例如可以用如下的(7)、(8)式所示的、将距离z的一次式近似为直线而求出。该一次式的系数al、ar、bi、br通过对白线候补点的实际空间坐标(y，z)应用最小二乘法而确定。

yl＝al·z+bl…(7)

yr＝ar·z+bl…(8)

对于这样的白线，在摄像机位置偏移诊断部10中，基于基准图像与比较图像之间的左白线的视差与右白线的视差之间的差异计算诊断值，由此判断有无摄像机位置偏移。在判断为发生了摄像机位置偏移的情况下，由于由识别处理部9算出的白线模型和/或其它车辆等的位置信息是错误识别引起的错误的信息，因此对车辆控制装置20指示停止控制功能和/或转移到失效保护控制，另外，向用户输出催促去经销商的维修工厂等进行入库检查的警报。

是否发生摄像机位置偏移利用基于同一水平线上的左右白线的视差的差异的诊断值来判断。具体而言，计算如下的(a)～(c)所示的诊断值，通过单独或者适当地组合利用这些诊断值，由此判断是否发生了摄像机位置偏移。以下，为了简化说明，以车辆在平坦道路且道路宽度一定的直线路上行驶，并且车辆位置(摄像机位置)在左右白线的中心且车辆与左右白线平行的情况为例进行说明。

(a)根据产生同一视差的左右白线的图像坐标值之差计算的诊断值

摄像机2a、2b间不存在位置偏移时，如图5所示，左右的白线WLl、WLr在摄像机2a的基准图像和摄像机2b的比较图像上，在水平方向偏移对应于视差的量而被显示。在此，在图5中，关注基准图像的坐标j1的右白线WLr上的地点A和坐标j2(j2＞j1)的左白线WLl上的地点B，离摄像机2a近的地点A被拍摄在图像的下方位置，离摄像机2a远的地点B被拍摄在图像的上方(光轴附近)。

与此相对，在比较图像中，地点A被拍摄于在坐标j1上沿水平方向(i轴方向)偏移相当于视差da的量的右白线WLr上的位置A1，地点B被拍摄于在坐标j2上沿水平方向(i轴方向)偏移相当于视差db的量的左白线WLl上的位置B1。如果将这样的关系用图像垂直坐标(j坐标)与视差d之间的关系表示时，成为如图6的关系。

在图6中，地点A的视差da相对于地点B的视差db为da＞db，且在同一地点(相同的j坐标值的水平线)上左白线WLl的视差与右白线WLr的视差成为相同的值。换言之，产生相同的视差值的左白线WLl的j坐标值和右白线WLr的j坐标值成为相同的值。利用这种关系的视差值计算实际空间的距离z和车宽度方向的坐标值x而生成白线的近似式(参照上述的(2)～(6)式)时，算出如图7所示的白线位置。

在图7中，由于摄像机位置没有产生偏移，所以在地点A从车辆中心(摄像机2a、2b的中心)到左白线WLl的横向位置Xla和到右白线WLr的横向位置Xra、在地点B从车辆中心到左白线WLl的横向位置Xlb和到右白线WLr的横向位置Xrb全部为相同的值(Xla＝Xra＝Xlb＝Xrb)，由此可知能够正确识别白线。

另一方面，在摄像机2a、2b间产生了位置偏移时，例如，在摄像机2b相对于摄像机2a向上方偏移的情况下，如图8所示，摄像机2a的基准图像中的右白线WLr上的地点A在摄像机2b的比较图像中被拍摄为与原来的对应位置A1相比更靠近图像下方的位置A1’。同样，地点B在比较图像中也被拍摄为与原来的对应位置B1相比更靠近图像下方的位置B2。

即，摄像机2b相对于摄像机2a向上方偏移的情况下，作为相对于基准图像的坐标j1上的地点A的比较图像的真正的对应点的位置A1会移动到坐标j1a(j1a＜j1)。另外，作为相对于基准图像的坐标j2上的地点B的比较图像的真正的对应点的位置B1会移动到坐标j2b(j2b＜j2)。因此，真正的核线从原来的水平线偏移而倾斜。

然而，立体匹配视核线在水平线上而实施，因此将位于相同的j1坐标上的位置A2作为相对于基准图像的j1坐标的地点A的比较图像的对应点而计算视差da’，另外，将位于相同的j2坐标上的位置B2作为相对于基准图像的j2坐标的地点B的比较图像的对应点而计算视差db’。其结果，所计算的右白线的地点A的视差da’比原来的视差da小，左白线的地点B的视差db’比原来的视差db大，因此图像垂直坐标与视差之间的关系如图9所示，在左右白线不一致而具有不同的特性。

在图9的图像垂直坐标与视差的关系中，在相同的j坐标值的水平线上，右白线WLr的视差比左白线WLl的视差小(远)，在相同的视差值中，右白线WLr的j坐标值比左白线WLl的j坐标值小。由该关系求出实际空间的距离z和车宽方向的坐标值x而生成白线的近似式时，成为如图10所示的白线形状，原来是直线形状的左右白线被错误识别为在行进方向上向右侧弯曲的形状。

因此，在摄像机位置偏移诊断部10中，作为基于同一水平线上的左右白线的视差的差异的诊断值，计算产生相同的视差值的左白线的j坐标值与右白线的j坐标值之差Δjd。然后，将该诊断值Δjd与预先设定的作为摄像机位置偏移允许值的阈值thj进行比较，比较结果为Δjd≤thj时，判定为正常，比较结果为Δjd＞thj时，判断为发生了摄像机位置偏移。

应予说明，诊断值Δjd例如可以对应于任意距离的视差而计算相当于预定帧数的平均值来获取，或者可以对应于近距离、中距离、远距离等多个地点中的视差而计算相当于预定帧数的平均值来获取。另外，根据条件，也可以将相同水平线上的左右白线的视差的差分直接用作诊断值。

(b)根据左右白线的高度之差计算的诊断值

如上述的图6所说明，在没有发生摄像机位置偏移的情况下，在同一地点(相同的j坐标值的水平线)，左白线WLl的视差和右白线WLr的视差为相同的值。因此，以基于上述的(7)、(8)式的一次方程式关系的形式计算左右白线WLl、WLr的距离z与高度y的关系时，如图11所示，在地点A、B的高度相同，且表示高度与距离的关系的直线的斜率ai、ar为0(平坦的道路)，成为高度y相对于距离z一定且在左右白线WLl、WLr为相同高度的关系。

另一方面，在发生了摄像机位置偏移(摄像机2b相对于摄像机2a向上方偏移)的情况下，如图9所示，在相同的j坐标值的水平线上，右白线WLr的视差比左白线WLl的视差小，在相同的视差值中，右白线WLr的j坐标值比左白线WLl的j坐标值小。因此，左右白线WLl、WLr在实际空间中的高度y与距离z的关系如图12所示，左白线WLl和右白线WLr的高度与距离的关系分别呈现为具有预定斜率的直线，在相同的距离左白线WLl的计算值比右白线WLr高。

因此，将距离相同的条件下的左白线的高度与右白线的高度之差Δyd作为基于同一水平线上的左右白线的视差的差异的诊断值来计算，判断是否发生摄像机位置偏移。将诊断值Δyd与预先设定的作为摄像机位置偏移的允许值的阈值thy比较，比较结果为Δyd≤thy时，判定为正常，比较结果为Δyd＞thy时，判断为发生了摄像机位置偏移。

此时，诊断值Δyd例如可以对应于任意距离的视差而计算相当于预定帧数的平均值来获取，或者可以对应于近距离、中距离、远距离等多个地点的视差而计算相当于预定帧数的平均值获取。

(c)根据表示白线的高度与距离的关系的直线斜率而计算的诊断值

图12的关系表示在发生了摄像机位置偏移的情况下，在平坦的道路上，左右白线的高度与距离的关系是具有斜率al、ar的直线。该斜率al、ar根据实际存在的道路的前后方向的梯度和/或横向的梯度(倾斜)而具有上限值，另外，根据实际道路的形状，左右的斜率al、ar需要正负极性相同。因此，通过将斜率al、a作为诊断值，比较上限值和/或极性，从而能够判断是否发生了摄像机位置偏移。

如此，在本实施方式中，在诊断构成立体摄像机2的摄像机2a、2b间是否在旋转方向和/或并行方向上发生了位置偏移时，将道路的左右白线为基准而加以利用，基于分别通过匹配处理而得到的同一水平线上的左白线的视差与右白线的视差的差异而计算诊断值。然后，通过将该诊断值与预先设定的阈值进行比较，从而判断在摄像机2a、2b间是否发生了位置偏移。

由此，无论在立体摄像机中是否发生了位置偏移，均能够将白线和/或其它车辆等的位置信息的识别结果适用于车辆控制而提前防止不良情况发生，能够确保安全。

Claims (5)

1.一种车辆用立体图像处理装置，对搭载于车辆的立体摄像机的拍摄图像进行处理而以三维方式识别行驶环境，其特征在于，具备：

左右类似物检测部，根据所述立体摄像机的拍摄图像检测在本车辆的左右成对存在的类似物而分别对其进行匹配处理，计算在图像的同一水平线上的左侧的类似物的视差和右侧的类似物的视差；和

摄像机位置偏移诊断部，计算基于所述同一水平线的左侧的类似物的视差与右侧的类似物的视差的差异的诊断值，将该诊断值与预先设定的阈值进行比较而诊断所述立体摄像机的机械性位置偏移。

2.根据权利要求1所述的车辆用立体图像处理装置，其特征在于，所述类似物是道路面上的白线。

3.根据权利要求1所述的车辆用立体图像处理装置，其特征在于，所述诊断值使用基于所述左侧的类似物在任意地点的视差与所述右侧的类似物在任意地点的视差的差异的坐标值之差，以及基于所述左侧的类似物在任意地点的距离与所述右侧的类似物在任意地点的距离的差异的坐标值之差。

4.根据权利要求1或2所述的车辆用立体图像处理装置，其特征在于，作为所述诊断值，使用基于所述视差的实际空间的距离相同的条件下的所述左侧的类似物在实际空间中的高度与所述右侧的类似物在实际空间中的高度之差。

5.根据权利要求1或2所述的车辆用立体图像处理装置，其特征在于，作为所述诊断值，使用将所述左侧的类似物和所述右侧的类似物在实际空间中的高度与距离的关系近似为直线时的直线斜率。