CN102910168A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，其即使仅对于来自拍摄装置的图像信息，也能够根据微小的图像变化精度良好地求出参数，实现高精度的前方车辆追踪控制。基于本车辆的行驶控制量进行针对前方行驶中的移动体的追踪控制的图像处理装置，包括：图像处理部，其根据所输入的拍摄图像确定移动体的区域，在追踪控制开始后，将所确定的移动体的区域设定为基准图像区域，将经过规定时间后的移动体的区域设定为比较图像区域；对照部，其将所设定的基准图像区域和比较图像区域进行对照，计算关于移动体的行驶信息；和控制量计算部，其根据由对照部计算出的行驶信息计算本车辆的行驶控制量。

Description

图像处理装置

技术领域

本发明涉及进行图像处理的图像处理装置。

背景技术

近年来，开发了以驾驶支援为目的车载摄像机并正在普及。这些摄像机不是将拍摄的图像展现给用户，而是装载有通过图像处理自动检测车道和车辆的功能，开发了防止车辆脱离车道的事故的功能，和追踪前方车辆的功能。一般而言，为了实现这2个功能，要使用毫米波雷达或激光雷达这样的雷达装置以及车载摄像机。因为使用2种传感器，所以存在成本高的问题。

于是，需要仅根据从摄像机得到的图像实现追踪控制、维持车道的功能的技术。作为仅使用从摄像机得到的图像进行追踪控制的技术，提出了专利文献1中记载的方法。

该方法求出某一时刻t的前方车辆在图像上的宽度并登录为基准特征量，之后求出在时刻t+n得到的图像上的前方车辆的宽度，控制车速使其与上述基准特征量一致。例如，设时刻t的前方车辆在图像上的宽度是20像素，时刻t+n的前方车辆在图像上的宽度是25像素，则因为接近了前方车辆，所以进行控制以降低本车的速度，由此能够实现追踪控制。

先行技术文献

专利文献

专利文献1：日本特开2002-74598号公报

发明内容

发明要解决的课题

但是，专利文献1的方法中，需要求出前方车辆在图像上的宽度的处理。此外，存在难以检测图像上的前方车辆尺寸的微小变化的课题。

本发明的目的在于提供一种图像处理装置，其即使仅对于来自拍摄装置的图像信息，也能够根据微小的图像变化精度良好地求出参数，实现高精度的前方车辆追踪控制。

用于解决课题的方法

为了解决上述课题，本发明是一种图像处理装置，其基于本车辆的行驶控制量进行针对前方行驶中的移动体的追踪控制，该图像处理装置包括：图像处理部，其根据所输入的拍摄图像确定移动体的区域，在追踪控制开始后，将所确定的移动体的区域设定为基准图像区域，将经过规定时间后的移动体的区域设定为比较图像区域；对照部，其将所设定的基准图像区域和比较图像区域进行对照，计算关于移动体的行驶信息；和控制量计算部，其根据由对照部计算出的行驶信息计算本车辆的行驶控制量。

此外，是一种图像处理装置，其基于本车辆的控制量进行车道内的行驶控制，该图像处理装置包括：图像处理部，其根据所输入的拍摄图像检测路面上的车道，将检测出的车道的区域设定为基准图像区域，将经过规定时间后的车道的区域设定为比较图像区域；对照部，其将所设定的基准图像区域和比较图像区域进行对照，计算图像的平行移动成分和图像的旋转参数；和控制量计算部，其根据由对照部计算出的图像的平行移动成分和图像的旋转参数计算本车辆的转向的控制量。

发明效果

能够提供一种图像处理装置，其即使仅对于来自拍摄装置的图像信息，也能够根据微小的图像变化精度良好地求出参数，实现高精度的前方车辆追踪控制。

附图说明

图1是表示本发明的图像处理装置的一个实施力的框图。

图2是表示使用了本发明的图像处理装置的图像处理***的一个结构例的图。

图3是表示使用了本发明的图像处理装置的图像处理***的其他结构例的图。

图4是说明本发明的图像处理装置的第一实施方式的图像区域的设定的图。

图5是表示本发明的图像处理装置的第一实施方式的处理流程的一例的图。

图6是表示本发明的图像处理装置的第一实施方式的设定基准图像的处理流程的一例的图。

图7是表示本发明的图像处理装置的第一实施方式的图像对照的处理流程的一例的图。

图8是说明本发明的图像处理装置的第二实施方式的图像区域的设定的图。

符号说明

1图像处理装置

2摄像机单元

3处理单元

4摄像机

5图像输入单元

6CPU

7ROM

8、9存储器

12通信单元

13控制装置

14数据传输单元

20图像处理部

21基准图像设定部

22对照部

23控制量计算部

具体实施方式

以下参照附图，说明本发明的实施方式。

（第一实施方式）

图1是表示本发明的第一实施方式中的图像处理装置1的基本结构的例子的框图。详情将在后文中叙述。

第一实施方式是对从作为拍摄装置的摄像机4导入的图像进行处理，对于在本车前方行驶的移动体即前方车辆基于本车辆的行驶控制量进行追踪控制的图像处理装置1的控制方法。

本发明的图像处理装置1，应用于如图2所示的图像处理装置1和控制装置13，用该图像处理装置1所具备的摄像机4（拍摄装置）拍摄周围的环境，对拍摄的图像进行处理，实现控制车辆的功能。

此时，图像处理装置1也可以具备2个以上的摄像机。此外，也可以如图3所示，是将图1的图像处理装置1的处理分离为摄像机单元2（具有摄像机4、从摄像机4导入图像的图像输入单元5、输出导入的图像的I/F42）和处理单元3（具有从摄像机单元2输入图像的I/F43、存储导入的图像的存储器9、处理导入的图像的CPU6、存储用于使用CPU6处理图像的图像处理程序的ROM7），对于从摄像机单元2输入的图像用处理单元3进行处理的结构。以下以图2的结构为例进行说明。摄像机4例如在车厢内的后视镜（room mirror）附近以拍摄车辆前方的方式安装。

该图像处理装置1由作为拍摄装置的摄像机4、作为用于处理该摄像机4拍摄的图像的处理单元的CPU6、作为CPU6用的记录单元且存储拍摄的图像和由CPU6处理后的处理结果的存储器9、作为用于使用CPU6进行处理的图像处理程序的记录单元的ROM7、和控制摄像机4并且导入图像的图像输入单元5构成，用总线11连接它们。但是，该结构并非必要条件，也可以是在CPU6之外进一步装载图像处理LSI而用专用的LSI对处理的一部分进行处理的结构，或者不是仅有1个存储器而是使用图像处理LSI用的RAM等多个存储器的结构。

本图像处理装置1的摄像机4，例如装载有CCD或CMOS拍摄元件。此外，图像处理装置1与控制装置13，被CAN（Controller AreaNetwork：控制器局域网）等通信单元12连接，能够相互传输图像处理装置1的处理结果等。

图像处理装置1根据用摄像机4拍摄的图像中的前方车辆的图像，计算用于追踪前方车辆的目标车速、减速度、加速度、油门、刹车的控制量等，发送到控制装置13。控制装置13接收图像处理装置1发送的信号，对未图示的刹车或油门等致动器发送指令，控制车辆的速度。但是，也可以是图像处理装置1不求出目标车速、减速度、加速度、油门、刹车的控制量等，而是求出图像上的前方车辆区域的大小的变化量（放大率）等，将其结果发送到控制装置13，用控制装置13计算目标车速、减速度、加速度、油门、刹车的控制量等的结构。

应用本发明的图像处理装置1，为了实现这些，在ROM7中保存涉及本实施方式的图像处理程序，使电源ON时CPU6执行这些程序，由此实现处理拍摄的图像的一系列功能，如图1的图像处理装置1的功能框图所示，作为图像处理部20、基准图像设定部21、对照部22、控制量计算部23起作用。

图1的图像处理部20，具有确定用作为拍摄装置的摄像机4拍摄的图像中的前方车辆的区域，在追踪控制开始时的时刻t将前方车辆的区域的图像设定为基准图像区域，经过规定的时间后，在时刻t+N，将前方车辆的区域的图像设定为比较图像区域的功能。但是，基准图像的设定也可以是通过触摸面板和外部接口等手工设定的结构。

基准图像设定部21，具有在存储器9中保存图像处理部20中设定的基准图像区域中的图像的功能。此时，也可以是保存包括基准图像区域的尺寸的图像以及基准图像区域的坐标，以代替基准图像区域中的图像的结构。

对照部22具有对于由基准图像设定部21保存在存储器9中的时刻t的基准图像区域或者其中的图像、与图像处理部20设定的时刻t的比较图像区域或者其中的图像进行对照，计算作为移动体的前方车辆的行驶信息（例如前方车辆的图像区域的大小的变化即放大率、表示图像上的位置变化的平行移动量、实际空间上与前方车辆的车间距离、前方车辆的横向位置等的至少1个）的功能。也可以是不求出图像上的前方车辆区域的放大率和位置的变化，而是改为如后所述直接计算涉及减速度、加速度、车辆的转向的参数的结构。

控制量计算部23具有根据由对照部22求出的行驶信息（前方车辆的图像区域的放大率、平行移动量、实际空间上的前方车辆的移动量等的至少1个）计算本车辆的行驶控制量（例如本车的目标车速、加速度、减速度、目标横向加速度、目标车轮转角、目标方向舵偏角、目标横摆角速度等的至少1个）的功能。进而，也可以是求出对油门、刹车、方向盘的致动器发送的指令值的结构。

通过使用这些功能，例如如图4所示，在将时刻t的前方车辆的区域设定为基准图像，将时刻t+N的前方车辆的区域设定为比较图像的情况下，因为比较图像的前方车辆的图像比基准图像更大（放大率不足1），所以能够控制车辆使得在时刻t+N+1得到的前方车辆的比较区域的图像比时刻t+N小、接近基准图像。但是，放大率也可以定义为在基准图像比比较图像大的情况下不足1。此外，在基准图像与比较图像的大小相等的情况下为1也不是必要条件。

以上构成的图像处理装置1，如上所述通过由CPU6执行图像处理程序，能够处理图像，计算车辆控制所需的信息。但是，如上所述，图像处理部20、基准图像设定部21、对照部22、控制量计算部23的一部分或者全部也可以由摄像机单元2执行。

此处，参照图5的流程图说明如上所述的图像处理装置1中直到图像处理装置1计算控制量的一系列处理。

图5所示的一系列处理，在电源接通时开始，反复进行直到电源断开。也可以设置能够操作程序开始、停止的界面。

首先，电源接通时，用图像处理装置1执行图像处理程序，执行RAM等存储器9的初始化等启动时的初始化处理（步骤101）。

接着，判定是否为图像处理程序的执行途中的初始化时刻（步骤102），如果是要在步骤103中执行初始化的时刻则转移到步骤114，不是执行初始化处理的时刻则执行步骤104的处理。

步骤114的初始化处理中，对于过去由图像处理部20设定并由基准图像设定部21在作为存储部的存储器中存储的基准图像区域，执行清除、使其无效等处理。由此能够重新设定为追踪其他车辆。

步骤102的初始化时刻判定中，基于驾驶员是否操作了未图示的前方车辆追踪的取消按钮、是否踩了刹车这些信息判定时刻。例如，如果按下了取消按钮或者踩了刹车，则判定为初始化时刻。此外，在有其他车辆进入前方车辆与本车之间的情况下，也判定为初始化时刻。

在步骤104中，判定是否为基准图像区域的设定时刻。该处理中，例如在驾驶员按下了未图示的追踪控制开始按钮的情况下判定为基准图像区域的设定时刻。除驾驶员按下追踪控制开始按钮的情况以外，在前方车辆追踪控制中有其他车辆进入前方车辆与本车之间等情况下，也判定为基准图像区域的设定时刻。然后，如果判定不是基准图像区域的设定时刻则返回处理102，如果判定为设定时刻则转移到步骤105，判定是否已经设定基准图像区域。

然后，如果已经设定基准图像区域，则处理当前时刻（从设定基准图像的时刻起经过时刻N的时刻）的图像，确定前方车辆的图像区域并设定为比较图像区域（步骤106）。其中，设定基准图像区域的时刻设为t。

之后，在步骤107中判定比较图像区域的设定是否成功，在成功的情况下，对基准图像区域与比较图像区域进行对照（步骤108）。具体的对照方法将在后文中叙述。

然后，基于步骤108中得到的结果计算控制量，将控制量通过通信单元12发送到控制装置13。

此外，在步骤105中判定没有完成设定基准图像区域的情况下，处理当前时刻的图像设定基准图像区域（步骤110）。此处，在步骤111中如果基准图像区域设定成功则返回步骤102，反复进行用设定的基准图像区域逐次计算控制量的处理。在步骤111中判定基准图像区域设定失败的情况下，输出基准图像区域的设定失败的消息、即表示基准图像区域设定失败的信息。该信息是在显示器上显示的显示信息、从扬声器发出声音的声音信息、点亮灯的点亮信息、发出蜂鸣音的警告信息的至少1个，由此对驾驶员通知错误（步骤112）。

或者也可以是反复进行基准图像区域的设定处理，在失败规定次数以上时通知驾驶员的结构。或者也可以是在基准图像区域的设定处理失败的情况下，不是进行追踪控制，而是实施维持一定速度或者该时刻的速度的控制，即输出使本车辆的速度维持预先决定的一定速度、或者该时刻的速度的控制信息的结构。此时，也可以输出基准图像区域设定失败的消息、即上述显示信息、声音信息、点亮信息、警告信息等的至少1个，由此对驾驶员通知错误，并实施维持一定速度的控制。

此外，在步骤107中判定比较图像区域的设定失败的情况下，在步骤103中判定是否失败规定次数以上（M次以上）、即比较图像区域的设定是否失败了预先决定的次数以上，以及移动体即前方车辆是否因左右转等脱离、即移动体是否脱离本车辆的拍摄装置能够拍摄的范围。在判定为失败次数为M次以下并且前方车辆没有脱离的情况下，使用过去的对照结果和过去的控制量计算结果的至少一方计算当前的控制量，即输出使用预先存储的过去的上述行驶信息计算的行驶控制量、或者预先存储的过去的行驶控制量。在比较图像区域的设定失败了预先规定的次数以上（失败M次以上）、或者移动体脱离了本车辆的拍摄装置能够拍摄的范围（前方车辆脱离）的情况下，转移到步骤112。在步骤112中，输出比较图像的设定失败的消息、即表示基准图像区域的设定失败的信息。该信息是在显示器上显示的显示信息、从扬声器发出声音的声音信息、点亮灯的点亮信息、发出蜂鸣音的警告信息等的至少1个，由此对驾驶员通知错误。或者，也可以是在比较图像区域的设定处理失败的情况下，不是进行追踪控制而是实施维持一定速度的控制的结构。

接着，参照图6所示的流程图说明如上所述的图像处理装置1中图像处理装置1设定基准图像的一系列处理的流程。

首先用步骤201判定是否为初始化时刻。例如，根据从未图示的方向盘转角传感器或横摆角速度传感器等得到的信息判断本车辆较大转向的情况下判定为初始化时刻，如果转向量在规定值以下则判断不是初始化时刻。

在步骤202中，在不是初始化时刻的情况下转移到步骤203，设定前方车辆候选检测的搜索范围。在是初始化时刻的情况下，转移到步骤209，使前方车辆候选检测的搜索范围初始化。

然后，例如使用周知的模板匹配等技术在搜索范围内扫描，检测车辆的候选（步骤204）。此时，也可以根据用与相邻像素的差值求出的边缘或各像素的亮度值信息剪切车辆候选的区域。

之后，如果判定为存在车辆候选（步骤205），则在步骤206中使用支持向量机（SVM）、AdaBoost、RealAdaBoost、神经网络等公知技术识别是否为车辆。但是，此时如果在过去检测出的前方车辆，则也可以通过对该前方车辆的图像和从图像提取的特征量与当前的图像的部分图像对照来识别车辆。

例如像图7所示的流程图那样，在步骤210中，在搜索范围内设定部分图像，判定该部分图像与过去的前方车辆的图像是否相同。如果搜索范围内的扫描没有完成（步骤211），则改变部分图像的位置、大小反复进行步骤210的处理。

如果所有车辆候选的识别处理没有完成（步骤207），则返回步骤206。如果所有完成则从通过识别处理判定为车辆的候选中，判定作为追踪控制对象的前方车辆（步骤208）。是否前方车辆的判定处理中，通过判定检测出的车辆是否在本车行驶的车道内、前进方向是否相同，来决定是不是前方车辆。

此外，在步骤205中没有车辆候选的情况下，跳过车辆候选检测处理。

用以上说明的方法等检测前方车辆，将某个时刻t的图像设定为基准图像，之后在时刻t+N设定比较图像区域时，步骤108的基准图像与比较图像的对照中，例如求出以下式1的值最小的参数。

$\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{(I\left(W(i;z,\mathrm{tx},\mathrm{ty})\right)-T\left(i\right))}^2$ ……式1

其中，T：基准图像的亮度值，I：比较图像的亮度值，W：使比较图像变形的函数，z：放大率，tx：车辆的平行移动量（横），ty：车辆的平行移动量（纵），M是基准图像的像素数。

关于变换函数W，设像素i的坐标为i=(x,y)，则例如为：

$W(i;p)=\left(\begin{array}{c}z\·x+\mathrm{tx}\\ z\·y+\mathrm{ty}\end{array}\right)$ ……式2

当然放大率z也可以在纵方向和横方向为不同的值，也可以包括旋转、剪切等参数。其中，将参数z、tx、ty一并记作p。

用式1求出能够使比较图像变形为与基准图像一致的参数。如果能够求出放大率，就能够求出车辆是接近还是远离本车。能够如下所述解该式1。

使参数变化Δp以使e更小。反复进行它得到最佳解。即，将式1记作如式2所示，反复进行求出Δp并将p+Δp代入p的处理。

$\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{(I\left(W(i;p+\mathrm{\Δp})\right)-T\left(i\right))}^2$ ……式3

对于式3应用一次泰勒展开得到：

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{[I\left(W(i;p)\right)+\▿I\frac{\∂W}{\∂p}\mathrm{\Δp}-T\left(i\right)]}^2$ ……式4

对其设式4=0，解出Δp得到式5。即能够求出Δp。

$\mathrm{\Δp}=H^{-1}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{[\▿I\frac{\∂W}{\∂p}]}^T[T\left(i\right)-I\left(W(i;p)\right)]$ ……式5

其中，H表示海森矩阵，上标-1表示逆矩阵，上标T表示转置矩阵。

但是，求出的参数也可以不是放大率，而是本车的减速度、加速度、目标车速、车间距离等涉及本车速度的参数。这是因为前方车辆的图像的放大、缩小与本车的车速、减速度、加速度、车间距离等相关，所以能够使图像的2维图像变形与本车的运动关联而公式化。此外，此外，也可以用本车的横摆角速度、横向加速度、旋转半径、方向盘舵角、车轮转角等涉及本车转向的参数代替车辆的平行移动量(tx,ty)。例如使变换函数W为式6。

$W(i;p)=\left(\begin{array}{c}\frac{D+(v+a\·t)\·t}{D}\·x+\mathrm{tx}\\ \frac{D+(v+a\·t)\·t}{D}\·y+\mathrm{ty}\end{array}\right)$ ……式6

其中，p由D、v、a、tx、ty构成，D是车间距离，v是相对速度，a是本车的加速度，t是微小时间（例如0.5秒、1秒、2秒、3秒等）。

此外，如果是车间距离一定的追踪控制，则基准图像保持固定即可，但在要变更车间距离的情况下，或者更新基准图像，或者对基准图像应用放大等图像变换。例如，如果放大基准图像与比较图像对照，则车间距离变短，如果缩小基准图像与比较图像对照，则车间距离变长。

如上所述通过使用本发明，能够提供一种图像处理装置，其即使仅对于来自拍摄装置的图像信息，也能够根据微小的图像变化精度良好地求出参数，实现高精度的前方车辆追踪控制。

以上所述的方法，说明了使用1台摄像机的摄像机，但在存在2台以上摄像机的情况下也能够应用本实施方式。如果应用于使用2台摄像机的立体摄像机，则能够使基准图像和比较图像的设定变得容易，与立体摄像机的3维计测结果并用来控制车辆。此外，说明了关于车辆的实施例，但对于机器人或倾卸车等建筑机械这样的移动物也能够应用本发明。

此外，基准图像的设定、比较图像的设定失败时，通过对驾驶员通知该消息，驾驶员能够判断是否正在追踪控制下行驶，能够提高控制的安全性。进而，比较图像的设定失败时，通过进行维持一定速度的控制，仅用本发明就能够实现前方车辆的追踪控制和维持一定速度的控制，并且具有能够在不存在前方车辆等情况下进行控制的优点。

（第二实施方式）

参照附图详细说明第二实施方式。

第一实施方式中，是应用于前方车辆的追踪控制的例子，但也能够通过使用道路的车道标识等连续、断续存在的路面标识进行维持车道的控制。

即，具有：图像处理部20，其根据所输入的拍摄图像检测路面上的车道，将检测到的车道的区域设定为基准图像区域，将经过规定时间后的车道的区域设定为比较图像区域；对照部22，其对所设定的基准图像区域与比较图像区域进行对照，计算图像的平行移动成分和图像的旋转参数；和控制量计算部23，其根据对照部22中计算出的图像的平行移动成分和图像的旋转参数计算本车辆的转向的控制量。

具体而言，如图8所示，将某个时刻t的车道标识的图像设定为基准图像，之后将时刻t+N的车道标识的图像设定为比较图像。在本车与车道平行地行驶的情况下，总是在相同位置拍摄到车道标识，但本车偏向某一侧、车道标识与前进方向不平行时，会在不同的位置拍摄到车道标识。

本实施例中，在步骤108的处理中，例如使式2的参数p为图像的平行移动成分tx、ty和图像的旋转参数θ，求出tx、ty、θ。然后，根据步骤109中得到的tx、ty、θ求出车辆的转向的控制量。

此外，能够通过将车辆的横摆角速度、横向加速度、转向半径、方向盘舵角、车轮转角等本车的转向的控制量、车辆或摄像机的上下方向的角度（俯仰）加入到图像的变换函数W并公式化，而计算车辆的横摆角速度、横向加速度、旋转半径、方向盘舵角、车轮角度等本车的转向的控制量、车辆或摄像机的上下方向的角度（俯仰）。

例如，当参数p由图像的旋转参数θ和tx、ty构成时，变换函数W成为式7。

$W(i;p)=\left(\begin{array}{c}\cos \mathrm{\θ}\·x-\sin \mathrm{\θ}\·y+\mathrm{tx}\\ \sin \mathrm{\θ}\·x+\cos \mathrm{\θ}\·y+\mathrm{ty}\end{array}\right)$ ……式7

这样的第二实施方式中，也与第一实施方式同样，能够提供一种图像处理装置，其即使仅对于来自拍摄装置的图像信息，也能够根据微小的图像变化精度良好地求出参数，实现高精度的前方车辆追踪控制。

此外，以上所述的方法，说明了使用1台摄像机的摄像机，但在存在2台以上摄像机的情况下也能够应用本实施方式。如果应用于使用2台摄像机的立体摄像机，则能够使基准图像和比较图像的设定变得容易，并且使用立体摄像机的3维计测结果控制车辆。此外，说明了关于车辆的实施例，但对于机器人或倾卸车等建筑机械这样的移动物也能够应用本发明。

此外，叙述了图像的放大率、平行移动量、旋转、剪切，但也能够使用将方形的图像变换为台形这样的其他仿射变换参数。

Claims (12)

1.一种图像处理装置，其基于本车辆的行驶控制量进行针对前方行驶中的移动体的追踪控制，该图像处理装置的特征在于，包括：

图像处理部，其根据所输入的拍摄图像确定所述移动体的区域，在追踪控制开始后，将所确定的所述移动体的区域设定为基准图像区域，将经过规定时间后的所述移动体的区域设定为比较图像区域；

对照部，其将所设定的所述基准图像区域和所述比较图像区域进行对照，计算关于所述移动体的行驶信息；和

控制量计算部，其根据由所述对照部计算出的所述行驶信息计算本车辆的所述行驶控制量。

2.如权利要求1所述的图像处理装置，其特征在于：

关于所述移动体的行驶信息，是表示所述移动体的图像区域的大小变化比例的放大率、表示图像上的位置变化的平行移动量、与前方车辆的车间距离、前方车辆的横向位置、前方车辆与本车辆的相对速度、本车辆的加速度的至少1个。

3.如权利要求1所述的图像处理装置，其特征在于：

具有基准图像设定部，该基准图像设定部将与由所述图像处理部设定的所述基准图像区域对应的图像存储到存储部。

4.如权利要求1所述的图像处理装置，其特征在于：

所述本车辆的行驶控制量，是本车辆的目标车速、加速度、减速度、目标横向加速度、目标车轮转角、目标方向舵偏角、目标横摆角速度的至少1个。

5.如权利要求1所述的图像处理装置，其特征在于：

所述图像处理部，在判定为所述基准图像区域的设定失败的情况下，输出表示所述基准图像区域的设定失败的信息。

6.如权利要求5所述的图像处理装置，其特征在于：

输出的表示所述基准图像区域设定失败的所述信息，是在显示器上显示的显示信息、从扬声器发出声音的声音信息、点亮灯的点亮信息、发出蜂鸣音的警告信息的至少1个。

7.如权利要求5所述的图像处理装置，其特征在于：

输出的表示所述基准图像区域设定失败的所述信息，是使本车辆的速度维持在预先决定的一定速度、或者维持在表示所述信息时的速度的控制信息。

8.如权利要求5所述的图像处理装置，其特征在于：

输出的表示所述基准图像区域的设定失败的所述信息，具有在显示器上显示的显示信息、从扬声器发出声音的声音信息、点亮灯的点亮信息、发出蜂鸣音的警告信息的至少1个，和使本车辆的速度维持在预先决定的一定速度的控制信息。

9.如权利要求1所述的图像处理装置，其特征在于：

所述图像处理部，在判定为所述比较图像区域的设定失败的情况下，进行所述比较图像区域的设定是否失败了预先决定的次数以上的判定，和移动体是否脱离本车辆的拍摄装置能够拍摄的范围的判定。

10.如权利要求9所述的图像处理装置，其特征在于：

所述控制量计算部，在判定为所述比较图像区域的设定没有失败预先决定的次数以上、并且判定移动体没有脱离本车辆的拍摄装置能够拍摄的范围的情况下，将用预先存储的过去的所述行驶信息计算出的行驶控制量、或者预先存储的过去的所述行驶控制量输出。

11.如权利要求1所述的图像处理装置，其特征在于：

所述图像处理部，从所输入的拍摄图像在搜索范围内进行扫描，检测移动体的候选，从检测出的移动体的候选中识别是否为移动体，从识别为移动体的移动体的候选中判定是否为追踪控制的对象的移动体。

12.一种图像处理装置，其基于本车辆的控制量进行车道内的行驶控制，该图像处理装置的特征在于，包括：

图像处理部，其根据所输入的拍摄图像检测路面上的车道，将检测出的所述车道的区域设定为基准图像区域，将经过规定时间后的所述车道的区域设定为比较图像区域；

对照部，其将所设定的所述基准图像区域和所述比较图像区域进行对照，计算图像的平行移动成分和图像的旋转参数；和

控制量计算部，其根据由所述对照部计算出的所述图像的平行移动成分和所述图像的旋转参数计算本车辆的转向的控制量。

Images