CN1779483A - 车载用图像处理装置 - Google Patents

Abstract

本发明提供了一种车载用图像处理装置，在具有作为车外监视单元的雷达(2)和摄像机(1)的车载***中，可以根据雷达(2)的测量结果适当设定由摄像机(1)获得的图像中应该进行图像处理的区域(图像处理区域)，并且不需要高分辨能力的雷达。设有图像处理装置(3)，其根据由雷达(2)检测出的物体的测量位置，确定所述图像处理区域的中心位置，根据从雷达(2)输出的电磁波的波束分布，确定所述图像处理区域的大小。

Description

车载用图像处理装置

技术领域

本发明涉及具有作为车外监视单元的雷达和摄像单元的车载***。

背景技术

为了实现车辆的前行车追踪自动行驶功能等，需要识别前行车和障碍物等物体来获取其位置信息等，作为该用途的车外监视单元，使用雷达(激光雷达和毫米波雷达等)和摄像单元(CCD摄像机和CMOS摄像机等)。其中，雷达测量距物体的距离和方位，速度快且精度良好，但具有不能准确判定物体为何物(是前行车还是障碍物等)的缺点。另一方面，摄像单元可以通过公知的图像处理推测存在于所拍摄图像内的物体为何物，但是具有图像处理花费时间、难以获得充分的响应性(实时性)的缺点。

因此，专利文献1和专利文献2提出了下述图像处理装置：并用雷达和摄像单元，根据雷达的测量结果，确定通过摄像单元得到的图像中的特定区域(推测为物体所在的区域，以下称为图像处理区域)，仅对该区域进行图像处理。

专利文献1 日本特开平7-125567号公报

专利文献2 日本特开平6-124340号公报

可是，上述的以往的图像处理装置具有以下应该解决的问题。

首先，在专利文献1的装置中，利用该专利文献1的第[0030]段的算式，算出进行图像处理的基准点和区域，但是，虽说是根据所检测的物体的大小和形状算出图像处理区域，但实际是根据预先假设的纵横比率算出图像设定区域。因此，当存在假设之外的形状或大小的物体时，存在不能设定合适的图像处理区域的问题。例如，在假设为汽车时，对于人、自行车或摩托车等，图像处理区域过大，并不适合。

并且，专利文献1中记载了根据与物体的距离设定图像处理区域的大小，但是在本车稍前面存在自行车等的情况下，几乎整个画面成为图像处理区域，这不能说是合理的。并且，当相同距离处存在不同物体(例如大型卡车和自行车)时，由于设定相同大小的图像处理区域，因而存在不能设定合适的图像处理区域的问题(对于某一方设定过大的区域或过小的区域)。

另外，专利文献1的装置使用只在水平方向上扫描的激光雷达。因此，为了防止因路面倾斜造成的前方物体的漏检，需要使用上下方向较长的激光束。如果采用这种结构，则能够将水平方向的分辨能力设定得较高，但不得不降低上下方向的分辨能力，当存在来自物体的反射时，实质上不能在上下方向上判别物体存在于激光雷达的检测范围内的何处。因此，为了防止漏检，不得不对于上下方向将图像处理区域设定得特别大，图像处理区域不合适的程度更加明显。

其次，专利文献2的装置使用上下左右扫描的二维扫描方式的激光雷达，在雷达的测量结果中，把距离数据相同的测量点所存在的上下左右方向的区域判定为物体存在的区域，通过将该区域的大小乘以某个合适的值来设定比物体大的区域(包括物体及物体周边的区域)，把该区域作为图像处理区域。

因此，在专利文献2的装置中，为了利用激光雷达针对上下和左右方向判定存在物体的区域，需要使雷达进行二维扫描，并且使激光雷达的发光频度(雷达的分辨能力)在上下左右两个方向都相当高，这就存在如下的问题：雷达的动作或测量数据的处理需要花费时间，并且很难实现实时处理，另外，消耗功率也增加。

发明内容

本发明的目的在于，提供一种车载用图像处理装置，在具有作为车外监视单元的雷达和摄像单元的车载***中，可以根据雷达的测量结果适当设定由摄像单元获得的图像中应该进行图像处理的区域(图像处理区域)，且不需要高分辨能力的雷达。

本发明的车载用图像处理装置具有：雷达，其根据在车外边扫描边输出的电磁波的反射波，测量距存在于车外的物体的距离和方位；获取车外的图像的摄像单元；图像处理单元，其对通过该摄像单元获得的图像中的预定图像处理区域进行图像处理，其特征在于，设有图像处理区域确定单元，其根据由所述雷达检测到的物体的测量位置，确定所述图像处理区域的中心位置，根据从所述雷达输出的电磁波的波束分布(beamprofile)，确定所述图像处理区域的大小。

此处，所谓“波束分布”是指与波束的传播方向正交的截面中的二维方向上的扩展，具体地讲指波束的直径、截面积或扩展角等。并且，所谓“由雷达检测到的物体的测量位置”是指检测出有物体存在的测量点的坐标(上下左右前后的三维位置信息)，具体地讲是指接收到超过阈值的反射波时的例如发送波束的中心轴位置，对于距离方向，是根据从此时的发送开始到接收到反射波为止的延迟时间计算的距离的位置。另外，根据物体相对于雷达分辨能力的大小，对于一个物体，在扫描方向上存在多个该测量位置。对于一般的汽车，为了检测多个该测量位置，通常设定相对于一般的车宽足够小的扫描分辨能力。

并且，“雷达”优选在两个方向上进行扫描的二维扫描方式，但也可以是只在一个方向上进行扫描的一维扫描方式。

根据本申请的车载用图像处理装置，以检测出有物体存在的测量位置为中心，将具有与雷达的波束截面对应的扩展的区域确定为图像处理区域。并且，当物体在雷达的扫描方向上具有一定程度的大小时，在扫描方向上存在多个上述测量位置，与此对应地确定多个图像处理区域。

因此，如果恰当地设定了波束截面的扩展，则所确定的图像处理区域整体(为多个时指它们的集合)成为至少在扫描方向上与物体大小无关而适当地包含物体及其周边的合适区域。例如是人和自行车那样较小的物体时，上述测量位置的数量减少，相应地图像处理区域在扫描方向上变狭小。另一方面，例如是普通的汽车和大型卡车那样较大的物体时，上述测量位置的数量对应其大小而增多，相应地图像处理区域在扫描方向上变宽大。另外，在使用二维扫描方式的雷达时，可以在两个方向上获得这种使图像处理区域成为合适大小的效果。

并且，根据本发明的车载用图像处理装置，如上所述，根据波束截面的扩展确定图像处理区域，所以也可以不利用雷达准确地判定物体大小本身。因此，在使用二维扫描方式的雷达时，不需要如专利文献2的装置那样在各个方向上提高雷达的分辨能力，就能够实现较高的响应性和节能性。

其次，本发明的优选方式为，在由雷达检测的物体的测量位置为多个，并且这些测量位置小于雷达的分辨能力或接近分辨能力的情况下，图像处理区域确定单元把这些测量位置组合为同一物体的测量位置，把基于这些测量位置的图像处理区域整合为一个图像处理区域。该情况下，同一物体的图像处理区域被整合，具有容易进行逐个识别物体用的图像处理的优点。

并且，本发明的另一优选方式为所述电磁波的波束的截面形状为圆形或椭圆形。

并且，本发明的另一优选方式为所述电磁波的波束的扩展角在任何方向都小于摄像单元的视场角。该情况下，可以将图像处理区域限制成在任何方向上都小于通过摄像单元获得的图像，减轻图像处理的负担的效果显著。

并且，本发明的另一优选方式为所述图像处理区域确定单元假设与本车行驶的路面平行的平面，把由所述雷达检测的物体的测量位置投影于所述平面上，把利用两个或两个以上的点连接该投影位置而成的线转换为图像坐标，利用该转换后的线限定所述图像处理区域的下限。该情况下，使用不在上下方向上进行扫描的一维扫描方式的雷达，把上下方向的波束的扩展设定得充分宽，使得不存在漏检，在这种情况下，也能够把图像处理区域的下限抑制到所需最小限度，可以限制图像处理区域的上下方向的无用的扩展，避免增加由此造成的图像处理的负担。

另外，从本车看到的物体(前行车等)的高度方向的位置取决于路面的形状。即使本车和物体之间存在标高差，只要两辆汽车存在于平面倾斜的路面上，就能够根据上述方式适当设定图像处理区域的下限，而不需要校正上述平面的位置。但是，在本车存在于水平的路面上、物体存在于斜面上时，从车辆看物体时看起来位于较高位置(或较低位置)，所以需要校正上述平面的高度方向的位置。该校正可以利用下述方法实现。本车的位置可以利用GPS(全球定位***)求出。并且，物体的位置可以根据与本车的相对位置求出。根据这些当前位置，通过检索道路地图信息，可以得知斜度信息。由此，可以相对地求出从本车看时物体看起来位于上下哪个位置，根据该结果校正上述平面的高度方向的位置，由此可以准确求出图像处理区域的下限。并且，不使用GPS，通过图像处理也能够根据路上的白线等的形状变化求出路面的上下变化，所以同样能够求出本车和物体的相对的上下位置关系。

并且，上述实施方式优选是：所述图像处理单元从与所述转换后的线相接的位置开始进行图像处理的光栅扫描。这样，通过从物体的下部位置开始进行图像处理，可以更快地通过图像处理来识别物体。

并且，本发明的另一优选方式为：所述图像处理区域确定单元根据从所述雷达输出的电磁波的波束强度为最大值的一半的位置，确定所述图像处理区域的大小。这是将波束截面的扩展(外缘)设定在何处的方式，把波束强度为最大值的一半的位置(或其附近)作为波束截面的外缘。波束强度当然具有从中心朝向外侧降低的趋势，但是，例如把波束强度为零的位置作为外缘时，图像处理区域过大，不能使图像处理区域形成最合适的大小，但如果是一半程度，则能够形成更加合适的大小。

并且，本发明的另一优选方式为：所述图像处理区域确定单元根据由雷达检测的距物体的距离的增大，减小图像处理区域的大小。具体地讲，例如把确定图像处理区域的大小的波束分布(波束的直径、截面积或扩展角)设定为随着距离增加而减小。根据这种方式，即使距物体的距离较远，也能够使图像处理区域形成为所需最小限度的最佳大小。来自远方的反射光只能从波束中心的强度较大的位置返回，这是因为物体存在于波束的更中心侧。

并且，本发明的另一优选方式为：具有图像处理区域位置校正单元，其根据雷达和摄像单元的中心轴所成的角度，校正图像处理区域的位置。根据这种方式，即使雷达和摄像单元的中心轴不平行时，也能够把图像处理区域设定在合适的位置。

并且，本发明的另一优选方式为：所述图像处理区域确定单元把所述图像处理区域确定为与从雷达输出的电磁波的圆形或椭圆形的波束截面形状内切或外切的矩形区域。根据这种方式，图像处理区域是矩形，所以能够容易地进行图像处理区域的设定。

该情况时，所述图像处理区域确定单元优选利用位于所述矩形区域的对角的两个角位置来指定所述图像处理区域。这样，具有减少用于指定所述图像处理区域的处理数据量的优点。

根据本发明的车载用图像处理装置，可以与物体的大小无关地适当设定图像处理区域，并且不需要分辨能力较高的雷达，能够实现较高的响应性和节能性。

附图说明

图1(A)是说明包括车载用图像处理装置的车外监视***的结构的方框图，(B)是说明激光雷达的投射波束截面等的图。

图2(A)是表示激光雷达的投射波束和扫描方向的平面图，(B)是表示激光雷达的投射波束的侧视图。

图3(A)是表示由摄像机形成的图像例和图像中的测距点的示例的图，(B)是表示测距点和雷达视野之间的关系的平面图。

图4是表示摄像机和雷达的配置关系和坐标系的图。

图5(A)是说明成为图像处理区域的矩形区域的图，(B)是表示图像坐标系和摄像机坐标系的关系的图。

图6(A)是表示由一个测距点设定的一个图像处理区域的图，(B)是表示整合了多个图像处理区域的图，(C)是表示最终的图像处理区域的图。

图7是说明确定图像处理区域的控制处理的流程图。

图8(A)是表示对测距点进行投影的平面的图，(B)是表示所投影的测距点的图。

图9(A)是表示连接所投影的测距点的线的图，(B)是表示图像上的该线的图。

图10(A)是表示利用上述线限制图像处理区域的下限之前的状态的图，(B)是表示利用上述线限制图像处理区域的下限之后的状态的图。

图11(A)是说明光栅扫描的图，(B)是说明光栅扫描的窗口的图。

图12(A)是表示所测量的距离为基准值时的波束截面的扩展的图，(B)是表示所测量的距离比基准值远时的波束截面的扩展的图，(C)是表示所测量的距离为基准值时的波束扩展角的图，(D)是表示所测量的距离比基准值远时的波束扩展角的图。

图13(A)是表示摄像机和雷达的中心轴平行的状态的图，(B)是表示合适的波束区域(图像处理区域)的位置的图。

图14(A)是表示摄像机和雷达的中心轴不平行的状态的图，(B)是表示向下方偏移的波束区域(图像处理区域)的位置的图。

具体实施方式

以下，根据附图说明本发明的实施方式。

(第1方式例)

图1(A)是说明包括本示例的车载用图像处理装置的车外监视***的结构的方框图，图1(B)是说明激光雷达的投射波束截面等的图。另外，图2(A)是表示激光雷达的投射波束和扫描方向的平面图，图2(B)是表示激光雷达的投射波束的侧视图。

首先，说明整体结构。

本***如图1(A)所示，具有摄像机1(摄像单元)、激光雷达(L/R)2、图像处理装置3(图像处理区域确定单元、图像处理单元)。

激光雷达2是在水平方向上进行扫描的一维扫描方式的激光雷达，朝向本车的前方水平安装(参照图4)。该雷达2的投射波束如图1(B)所示，是截面纵长的椭圆形状，如图2所示，相比于纵扩展角β，其横扩展角α格外小。并且，相比于作为摄像单元的摄像机1的视场角(视野)，雷达2的投射波束的横扩展角α和纵扩展角β均格外小(参照图13(A))。另外，如果假定波束强度的截面方向的分布为高斯分布(正态分布)，则波束扩展角α和β(即、波束截面的扩展)被定义为到该分布中的例如3σ(σ为标准偏差)为止的范围。

下面，摄像机1例如是利用CCD或CMOS等公知的装置构成的摄像单元，在此可以仅设置一个。并且，摄像机1例如朝向本车的前方大致水平安装，以获得本车前方的图像(参照图4)。另外，摄像机1和激光雷达2的中心轴(光轴)优选相互平行，但也可以不平行。

图像处理装置3由包括微电脑的电路构成，控制激光雷达2，根据激光雷达2的测量结果，确定由摄像机1获得的图像中的特定区域(图像处理区域)，通过对该图像处理区域进行图像处理，进行车辆前方的物体判别等，并把该信息输出给车辆的其它控制器。

以下，参照图7的流程图等说明该图像处理装置3执行的处理。

如图7所示，图像处理装置3首先在步骤S1中进行激光束扫描、即激光雷达2的一次扫描的测量动作。

然后，在步骤S2中，取得通过步骤S1的雷达2的测量动作而检测到的物体的测量位置(N个测距点)的一个数据。具体地讲，取得测距点的坐标Ci(H、YLi、ZLi)的一个数据(获取N个中的一个)。此处，H为图4所示的X方向(上下方向)的坐标值，是相当于雷达2的投射波束的中心轴的高度的值。并且，YLi是图4所示的Y方向(左右方向)的坐标值，根据接收到超过阈值的反射光时的扫描角度求出。另外，ZLi是图4所示的Z方向(前后方向、距离方向)的坐标值，根据从接收到超过阈值的反射光时的发光开始的延迟时间求出。另外，相当于该坐标Ci的图像上的位置被作为图像处理区域的中心位置。

然后，在步骤S3中，根据预先设定的波束扩展角α和β(例如，强度分布为3σ的位置)，利用算式1计算在步骤S2中求出的测量位置的距离ZLi的波束截面的径长a、b。另外，波束截面的径长a、b如图5(A)所示，分别为相当于波束截面的外缘的椭圆的短轴的一半长度a、和长轴的一半长度b。另外，如图1(B)所示，把波束截面的扩展作为具有高斯分布的3σ的一半宽度(半值宽度)的椭圆，也可以根据该椭圆求出上述径长a、b。

[算式1]

b＝2ZL·tan(β/2)

a＝2ZL·tan(α/2)

然后，在步骤S4中，把与以步骤S2中求出的测距点的坐标Ci为中心的椭圆(在步骤S3中求出的径长为a、b的椭圆)外切的矩形区域作为图像处理区域，取得指定该矩形区域的位置。在此，求出位于所述矩形区域的对角的两个角位置、即左上坐标Ai(H+b、YLi-a、ZLi)和右下坐标Bi(H-b、YLi+a、ZLi)。另外，当然也可以求出左下坐标和右上坐标。并且，也可以求出不是外切、而是内切的矩形区域作为图像处理区域。

然后，在步骤S5中，把步骤S2和S4中获得的坐标Ci、Ai、Bi(L/R坐标系)转换为摄像机坐标系(Xc、Yc、Zc)，然后在步骤S6中，再转换为图像坐标系(U、V)。

另外，如图4和图5(B)所示，在确定各个坐标系的符号和方向的关系时，在L/R(XL、YL、ZL)、摄像机坐标系(Xc、Yc、Zc)和图像坐标系(U、V)之间，下述算式2和算式3表示的关系成立。上述坐标转换使用该关系式进行。在算式2中，R表示3×3行列式，T表示3×1行列式。并且，R和T是在公知的摄像机校准中预先设定的。并且，在算式3中，F表示摄像机1的焦点距离，U0、V0表示图像中心，dU、dV表示一个像素的各个方向的长度。

[算式2]

$\left[\begin{array}{c}\mathrm{XL}\\ \mathrm{YL}\\ \mathrm{ZL}\end{array}\right]=R\left[\begin{array}{c}\mathrm{Xc}\\ \mathrm{Yc}\\ \mathrm{Zc}\end{array}\right]+T$

[算式3]

$U=U0+\frac{F}{\mathrm{dU}}\·\frac{\mathrm{Xc}}{\mathrm{Zc}}$

$V=V0+\frac{F}{\mathrm{DV}}\·\frac{\mathrm{Yc}}{\mathrm{Zc}}$

然后，在步骤S7中，如果对于所有测距点的坐标Ci(i＝0、…、N-1)的数据已完成步骤S2～S6的处理，则转入步骤S8，否则返回步骤S2，对下一测距点重复步骤S2～S6的处理。

然后，在步骤S8中，把位于同一距离的测距点(距离ZLi的数据在预定的允许误差范围内而大致相同的测距点)组合为同一物体的点。但是，此处即使是相同距离，也仅在测量位置小于所述雷达的分辨能力或接近分辨能力的情况下，才对这些测量位置进行组合。例如，相对于投射波束的横方向(Y方向)的分辨能力(单位为弧度)乘以距离数据所得到的间隔，在测量位置的横方向的间隔相等或较小时，进行这些特定位置的上述组合。另外，即使在测量位置的横方向的间隔等于或小于分辨能力时，在距离ZLi超过预定的允许误差范围的情况下也作为别的组进行处理。

然后，在步骤S9中，把基于在步骤S1中组合后的各个测量位置的所述图像处理区域整合为一个图像处理区域。具体地讲，作为指定整合后的图像处理区域的数据，求出整合后的区域的左上坐标和右下坐标。此处，左上坐标是多个被组合后的左上坐标Ai中最左上方的坐标，右下坐标是多个被组合后的右上坐标Bi中最右下方的坐标。

然后，在步骤S10中，计算在步骤S9中整合后的区域和未整合的区域在图像数据上的地址。

然后，在步骤S11中，对在步骤S10中指定的图像处理区域进行预定的图像处理，实现车辆判别等，把该结果输出给车辆的控制器等。经过步骤S11，结束一个示例的处理。

另外，在下一个扫描时刻，再从步骤S1开始重复处理。

根据以上说明的控制处理，在本车前方有一台前行车10的情况下(通过摄像机1拍摄到了图3(A)所示的图像的情况下)，通过步骤S1的测量动作，获得例如图3(A)、(B)所示的多个测距点Ci(i＝0、…、N-1)。

然后，通过步骤S2～S6的处理，如图6(A)所示，对一个测距点Ci求出一个矩形区域Ki，通过重复步骤S2～S6，如图6(B)所示(为了避免烦杂，在图6(B)中只对测距点C1～C3和矩形区域K1～K3标注了符号)，对所有测距点Ci分别求出矩形区域Ki。然后，通过步骤S8～S10的处理，如图6(C)所示，最终确定各个矩形区域Ki整合而成的矩形区域K作为图像处理区域。

另外，例如对于横向宽度小于普通汽车的自行车等，与汽车相比整合的矩形区域的数量(即、测距点的数量)更少，相应地最终的图像处理区域更小，另一方面，对于卡车等大型物体，相应地最终的图像处理区域更大，结果，确定了具有与物体的横宽相对应的合适的横向宽度的图像处理区域。

根据本示例的车载用图像处理装置，把检测出有物体存在的测量位置作为中心，把具有与雷达的波束截面对应的扩展的区域确定为图像处理区域。并且，当物体在雷达的扫描方向上具有一定程度的大小时，上述测量位置在扫描方向存在多个，与此对应，也确定多个图像处理区域。

因此，如果恰当地设定波束截面的扩展，则所确定的图像处理区域整体(为多个时指它们的集合)成为至少在扫描方向上与物体大小无关而适当地包含物体及其周边的合适区域。例如是人和自行车那样较小的物体时，上述测量位置的数量较少，相应地图像处理区域在扫描方向上较小。另一方面，例如是普通的汽车和大型卡车那样较大的物体时，上述测量位置的数量根据其大小而增多，相应地图像处理区域在扫描方向上较大。

并且，根据本示例，如前面所述，由于根据波束截面的扩展确定图像处理区域，所以也可以不利用雷达准确地判定物体的大小本身。因此，无需如专利文献2的装置那样提高雷达的扫描方向的分辨能力，就能够实现较高的响应性和节能性。

并且，在本示例中，在雷达所检测出的物体测量位置为多个，并且这些测量位置小于雷达的分辨能力或接近分辨能力的情况下，把这些测量位置组合为同一物体的测量位置，把基于这些测量位置的图像处理区域整合为一个图像处理区域。因此，同一物体的图像处理区域被整合，具有容易进行逐个识别物体用的图像处理的优点。

并且，在本示例中，雷达2的波束的扩展角在任何方向上都小于摄像单元(摄像机1)的视场角。因此，可以将图像处理区域限制成在任何方向上都小于通过摄像单元获得的图像，减轻图像处理的负担的效果显著。另外，在上述实施例中，在不进行扫描的上下方向，可以把波束的扩展角设定得与摄像机的视场角相同或者更宽。该情况下，对于扫描方向(横方向)，可以限制图像处理区域。

并且，在本示例中，把图像处理区域确定为与从雷达输出的电磁波的圆形或椭圆形的波束截面形状内切或外切的矩形区域。因此，图像处理区域成为矩形，容易进行图像处理区域的设定。特别是在本示例中，利用位于矩形区域的对角的两个角位置来指定图像处理区域，所以具有用于指定图像处理区域的处理数据量较少的优点。

(第2实施例)

下面，说明在不进行雷达的扫描的上下方向的下限侧进一步限制图像处理区域的方式(第2实施例)。另外，以下对于与第1实施例相同的结构省略说明。

在该示例中，在前述图7的一系列处理中的步骤S10和步骤S 11之间，图像处理装置3执行下述处理。

首先，假设与本车行驶的路面平行的平面11(例如，本车行驶的轮胎接地平面本身、或者将该平面上下平行移动预定量而得到的平面)。例如在摄像机1与车体(轮胎接地平面)平行时，在摄像机坐标系(Xc、Yc、Zc)中，可以利用高度方向的坐标Xc的数据(例如从轮胎接地平面到摄像机1的光轴的高度的数据)指定该平面11。并且，在路面是平坦面的情况下，如图8(A)所示，该平面11当然也与前行车10等行驶的路面平行。然后，把由雷达检测出的物体的测量位置(例如，在前述步骤S5中得到的测距点Ci的坐标数据)按图8(B)所示投影到平面11上，求出该投影的投影点Ci’的坐标。然后，如图9(A)所示，求出利用两点或两点以上的点连接这些投影点Ci’的线L。并且，如图9(B)或图10(A)所示，把该线L转换为图像坐标，如图10(B)所示，利用该转换后的线L限定所述图像处理区域K的下限，确定最终的图像处理区域K’。

在本示例的情况下，使用不在上下方向上进行扫描的一维扫描方式的雷达，把上下方向的波束扩展设定得充分宽，使得不会漏检，在这种情况下，也能够把图像处理区域的下限抑制到所需最小限度，可以限制图像处理区域的上下方向的无用扩展，避免由此造成的图像处理的负担增加。

另外，该情况下，如图11(A)所示，优选从与转换为图像坐标后的线L(下限线)相接的位置开始进行图像处理的光栅扫描。这样，通过从物体的下部位置开始进行图像处理，可以更快地通过图像处理识别物体。另外，在图11(A)中，符号12表示光栅扫描的特征提取窗口(由多个像素构成的区域，例如图11(B)所示的3×3像素的区域)，图11(B)是表示该窗口的图像数据例(例如图像的明暗值)的图。光栅扫描例如如图11(A)中箭头所示，对这种窗口一面进行“Z”字形扫描，一面进行基于图像数据的积和运算的物体图像的边缘提取等。

(第3实施例)

下面，如图12所示，说明随着雷达2所测量到的距物体的距离增加，而缩小图像处理区域(波束截面的扩展)的大小的方式(第3实施例)。

在该示例中，在前述图7的一系列处理的步骤S3中，图像处理装置3例如执行下述处理(1)～(3)中的任一处理。

(1)根据算式4所表示的关系式，根据作为雷达的测量结果在步骤S2中获得的距离ZL的数据，改变波束径长。在算式4中，a表示改变前的波束半径，a’表示改变后的波束半径，d表示作为基准的距离数据，d’表示作为测量结果的距离数据(参照图12(A)、(B))。并且，K表示调整用的常数。

[算式4]

$a^{\′}=\frac{K}{d^{\′}-d}a$

(2)根据算式5表示的关系式改变波束半径，使波束截面积随着所述距离ZL的数据而变化。在算式5中，S表示改变前的波束截面积，S’表示改变后的波束截面积，d表示作为基准的距离数据，d’表示作为测量结果的距离数据(参照图12(A)、(B))。并且，K表示调整用的常数。

[算式5]

$S^{\′}=\frac{K}{{(d^{\′}-d)}^2}S$

(3)根据算式6表示的关系式，使波束扩展角随着所述距离ZL的数据而变化，并根据该结果改变波束半径。在算式6中，θ表示改变前的波束扩展角，θ’表示改变后的波束扩展角，d表示作为基准的距离数据，d’表示作为测量结果的距离数据(参照图12(A)、(B))。并且，K表示调整用的常数。

[算式6]

${\mathrm{\θ}}^{\′}=\frac{K}{d^{\′}-d}\mathrm{\θ}$

另外，在本示例中，为方便起见对波束截面为圆形的情况进行了说明，但如第1实施例那样是椭圆形时，也可以和本示例一样。同样地改变长轴侧和短轴侧的两种波束径长即可。

根据以上说明的第3实施例的方式，即使距物体的距离较远时，也能够使图像处理区域形成为所需最小限度的最佳大小。来自远方的反射光只能从波束中心的强度较大的位置返回，这是因为物体存在于波束的更中心侧。

(第4实施例)

下面，说明根据雷达2和摄像机1的中心轴所成的角度校正图像处理区域的位置的方式(第4实施例)。

在该示例中，在前述图7的一系列处理中的例如步骤S2和步骤S3之间，图像处理装置3执行下述校正处理。

即，设雷达2和摄像机1的中心轴的上下方向所成的角度为偏移角dθ(参照图14(A))时，把各个测距点Ci的XL方向(上下方向)的坐标数据从“H”改变为“H+ZL×tan(dθ)”。

如图13(A)所示，在雷达2和摄像机1的中心轴平行的状态下设定坐标转换式时，只要保持在雷达2和摄像机1的中心轴平行的状态下，波束区域的位置(即、图像处理区域的位置)就能够维持如图13(B)所示的合适状态。可是，如图14(A)所示，由于某种原因使得上述各轴不平行时，在该状态下图像处理区域如图14(B)所示，偏离合适位置。但是，在本实施例中，在已知该偏移角dθ的情况下(例如，雷达具有在前行车接近时随之朝上改变光轴的功能、和该功能所用的角度传感器)，具有可以通过上述校正处理把图像处理区域校正为合适状态(如图13(B)所示的位置)的效果。

另外，本发明不限于上述实施例，可以进行各种变形和应用。

例如，可以把本发明应用于具有二维扫描方式的雷达的***。该情况下，如前面所述，可以在各个扫描方向获得使图像处理区域成为合适大小的效果。

并且，电磁波的波束的截面形状可以是圆形。例如，如果是二维扫描方式的雷达时，为了防止上下方向的漏检而使波束在上下方向上较长的必要性降低，所以容易形成圆形。

Claims (6)

1.一种车载用图像处理装置，具有：雷达，其根据在车外边扫描边输出的电磁波的反射波，测量距存在于车外的物体的距离和方位；获取车外的图像的摄像单元；图像处理单元，其对通过该摄像单元获得的图像中的预定图像处理区域进行图像处理，其特征在于，

设有图像处理区域确定单元，其根据由所述雷达检测出的物体的测量位置，确定所述图像处理区域的中心位置，根据从所述雷达输出的电磁波的波束分布，确定所述图像处理区域的大小。

2.根据权利要求1所述的车载用图像处理装置，其特征在于，

所述图像处理区域确定单元在由所述雷达检测出的物体的测量位置为多个，并且这些测量位置小于所述雷达的分辨能力或接近分辨能力的情况下，把这些测量位置组合为同一物体的测量位置，把基于这些测量位置的所述图像处理区域整合为一个图像处理区域；

所述电磁波的波束的截面形状为圆形或椭圆形；

所述电磁波的波束的扩展角在任何方向上都小于摄像单元的视场角。

3.根据权利要求1或2所述的车载用图像处理装置，其特征在于，

所述图像处理区域确定单元假设与本车行驶的路面平行的平面，把由所述雷达检测出的物体的测量位置投影到所述平面上，把利用两个或两个以上的点连接该投影位置而成的线转换为图像坐标，利用该转换后的线限定所述图像处理区域的下限；

所述图像处理单元从与所述转换后的线相接的位置开始进行图像处理的光栅扫描。

4.根据权利要求1或2所述的车载用图像处理装置，其特征在于，

所述图像处理区域确定单元根据从所述雷达输出的电磁波的波束强度为最大值的一半的位置，确定所述图像处理区域的大小；

所述图像处理区域确定单元随着由所述雷达检测出的距物体的距离的增加，减小所述图像处理区域的大小。

5.根据权利要求1或2所述的车载用图像处理装置，其特征在于，具有图像处理区域位置校正单元，其根据所述雷达和所述摄像单元的中心轴所成的角度，校正所述图像处理区域的位置。

6.根据权利要求1或2所述的车载用图像处理装置，其特征在于，

所述图像处理区域确定单元把所述图像处理区域确定为与从所述雷达输出的电磁波的圆形或椭圆形的波束截面形状内切或外切的矩形区域；

所述图像处理区域确定单元利用位于所述矩形区域的对角的两个角位置，来指定所述图像处理区域。

Images