CN106985783A

CN106985783A - 图像处理装置

Info

Publication number: CN106985783A
Application number: CN201611019825.3A
Authority: CN
Inventors: 相羽智在; 本村真也
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2016-01-20
Filing date: 2016-11-18
Publication date: 2017-07-28
Anticipated expiration: 2036-11-18
Also published as: US10196031B2; JP6318183B2; CN106985783B; US20170203712A1; DE102016125339A1; JP2017130053A

Abstract

本发明的目的在于提供一种图像处理装置，能够不限制行人保护机构的动作，而继续进行基于照相机拍摄的图像的驾驶支援控制。当行人碰撞判定部(12)根据来自碰撞检测传感器(15)的检测信号检测到行人的碰撞时，安全气囊工作指示部(13)向安全气囊模块(7)输出工作指示信号。另一方面，当图像模式切换部(24)检测到该工作指示信号时，将有效图像区域(Ie)的图像识别区域设定为未映出安全气囊(6b)的可用区域(A2)。

Description

图像处理装置

技术领域

本发明涉及一种即使在行人保护机构工作时也能够继续不停地进行基于照相机图像的驾驶支援控制的图像处理装置。

背景技术

当行人与以规定速度以上的速度行驶的车辆的前保险杠碰撞时，腿会被该前保险杠撞倒，上身倒在前车盖(发动机罩)上，头部与前风挡玻璃(以下称“前挡玻璃”)、前支柱(A柱)等发生二次碰撞。

作为避免这种二次碰撞的措施，已知有在检测到行人的碰撞时，使设置在发动机室的安全气囊向前挡玻璃和前支柱(A柱)膨胀展开，覆盖这些刚性部，以此来避免行人的头部与刚性部直接碰撞的行人保护用安全气囊。另外，也已知有在行人与行驶中的车辆碰撞时，让前车盖弹起，使该前车盖作为缓冲部件发挥功能，以此来避免二次碰撞的技术。

但是，当车辆搭载有识别前方的车载照相机时，若行人保护用安全气囊或前车盖弹起等行人保护机构工作，则该行人保护机构的工作会导致行人保护用安全气囊或前车盖的一部分进入视角内。当该安全气囊或前车盖的一部分被误识别为处于极近距离的障碍物时，自动紧急制动(AEB)等驾驶支援控制可能会误运行。因此，当行人保护机构工作时，会让基于车载照相机拍摄的图像的驾驶支援控制自动停止。

但是，当驾驶支援控制停止时，会出现无法防止驾驶员为避免与行人碰撞而进行错误的驾驶操作(方向盘操作、加速操作等)所导致的车辆的二次碰撞(撞向电线杆、驶上路崖等)的不良情况。因此，例如专利文献1(日本特开2004-284440号公报)公开了一种即使安全气囊或前车盖挡在前挡玻璃的前方遮住视野，也能够利用设置在后视镜前方的照相机拍摄的图像确保视野，以此来恰当地应对的技术。

现有技术文献

专利文献

专利文献1：(日本)特开2004-284440号公报

但是，上述文献公开的技术中，即使安全气囊或前车盖挡在前挡玻璃的前方，也必须调整照相机与安全气囊、前车盖的位置关系，以免其进入照相机的视角。

其结果，当通过限制照相机的视野角(视角)来调整时，会给常规时的驾驶支援控制带来障碍；另外，当通过限制安全气囊的膨胀展开和前车盖的弹起来调整时，会产生碰撞时的行人的二次碰撞的避免受到制约的不良情况。

发明内容

鉴于上述情况，本发明的目的在于提供一种图像处理装置，其不会限制行人保护机构的动作，能够让基于车载照相机拍摄的图像的驾驶支援控制继续进行，不仅可以有效保护碰撞时的行人，还可以防患于未然地防止车辆的二次碰撞。

本发明的图像处理装置具有：车载照相机，其拍摄本车辆前方的行驶环境；图像识别处理单元，其根据所述车载照相机拍摄的图像生成图像识别区域内的距离图像；以及对象物识别处理单元，其根据所述车载照相机拍摄的图像和所述图像识别单元生成的距离图像，识别所述图像识别区域内的对象物和距该对象物的距离，其中，所述图像处理装置具有图像模式切换单元，所述图像模式切换单元对所述对象物识别处理单元识别的图像识别区域进行切换，所述图像模式切换单元检测行人的碰撞并检查是否向行人保护机构输出了工作指示信号，当检测到该工作指示信号的输出时，从将常规的有效图像区域整体设定为所述图像识别区域的常规模式切换到将所述行人保护机构未映入的图像区域设定为所述图像识别区域的区域限制模式。

发明效果

根据本发明，图像模式切换单元检测行人的碰撞并在检测到向行人保护机构输出了工作指示信号时，将行人保护机构未映入的图像区域设定为图像识别区域，因此在对象物识别处理中，可以在该图像识别区域内识别对象物和距该对象物的距离。其结果，不会限制行人保护机构的动作，能够继续进行基于车载照相机拍摄的图像的驾驶支援控制，不仅可以有效保护碰撞时的行人，还可以防患于未然地防止车辆的二次碰撞。

附图说明

图1是行人保护用安全气囊膨胀展开的状态的车体前部的立体图；

图2是行人处理装置和图像处理装置的主要部分构成图；

图3是表示图像模式切换处理程序(ルーチン)的流程图；

图4是表示区域限制模式程序的流程图；

图5是表示其他方式的区域限制模式的流程图；

图6是车载照相机拍摄的摄影图像的说明图；

图7(a)是表示有效图像区域的实际图像的说明图，图7(b)是表示有效图像区域的距离图像的说明图，图7(c)是表示图7(b)所示的距离图像的每一行的有效距离像素数的说明图。

符号说明

1…车辆

2…车体前部

3…前保险杠

4…前车盖

5…车载照相机

5a…主相机

5b…副相机

6…前挡玻璃

7…安全气囊模块

7a…安全气囊

7b…气体发生器

7c…空出部(逃げ部)

7d…上边部

9…车盖促动器

10…A/D转换器

11…行人保护用安全气囊单元

12…行人碰撞判定部

13…安全气囊工作指示部

14…车速传感器

15…碰撞检测传感器

21…图像识别单元

22…图像识别处理部

23…照相机控制部

24…图像模式切换部

25…对象物识别处理部

A1…不可用区域

A2…可用区域

Ie…有效图像区域

Im…实际图像区域

具体实施方式

下面基于附图，对本发明的一个实施方式进行说明。图1所示的车辆1的车体前部2设置有发动机室(未图示)，该发动机室的前部配设有前保险杠3，另外，上部用前车盖4自由开关地覆盖。

另一方面，车辆1的前挡玻璃6的上部内侧配置有车载照相机5。该车载照相机5拍摄本车辆1前方的行驶环境，是具有主相机5a和副相机5b的彩色照相机，各照相机5a、5b配设在夹着车宽方向中央的左右等间隔的位置。主相机5a拍摄在进行立体处理时所需的基准图像(右图像)，副相机5b拍摄该处理中的比较图像(左图像)。

另外，在前车盖4内面配设有安全气囊模块7作为行人保护机构。该安全气囊模块7具有行人保护用安全气囊(以下简称“安全气囊”)7a、使该气囊7a展开的气体发生器7b(参考图2)。该前车盖4为前开式，以设置在前车盖4的后部车宽方向两侧的车盖铰链(未图示)为支点进行开关。另一方面，在安全气囊7a膨胀展开时，设置在车盖铰链上的车盖促动器9让前车盖4的后部弹起，如图1所示，使安全气囊7a从其空隙膨胀展开。

该安全气囊7a的膨胀展开使得前挡玻璃6的下部、左右的前支柱(A柱)8、以及未图示的前阻风板和前雨刷等刚性部被覆盖。进一步地，膨胀展开时的安全气囊7a在中央部形成U形的空出部7c，该空出部7c的下部成为安全气囊7a的上边部7d。驾驶员和车载照相机5通过该空出部7c确保视野。

如图2所示，设置在安全气囊模块7上的气体发生器7b以及车盖促动器9根据构成行人保护装置的行人保护用安全气囊单元11发来的指令信号而工作。另外，车载照相机5在两照相机5a、5b彼此同步的状态下，将输出的R、G、B的各模拟图像通过A/D转换器10转换为规定色阶的数字图像并输出到图像识别单元21。该行人保护用安全气囊单元11和构成图像处理装置的图像识别单元21构成为以微型计算机为主体，具有公知的CPU、ROM、RAM等，ROM中存储有CPU执行的各种程序和固定数据等。

作为CPU处理的安全气囊工作功能，行人保护用安全气囊单元11具有作为行人碰撞判定单元的行人碰撞判定部12、作为工作指示单元的安全气囊工作指示部13。行人碰撞判定部12根据车速传感器14检测到的车速和作为碰撞检测单元的碰撞检测传感器15检测到的压力变化，判定行人的碰撞。碰撞检测传感器15例如为压力传感器，在沿车宽方向左右延伸的前保险杠3内，与沿着该前保险杠3配设的长条状的压力管、压力腔连通，并检测压力管、压力腔因碰撞而被压坏时的碰撞压力的变化。

而且，在车速为行人碰撞判定车速以上、且碰撞检测传感器15检测到的碰撞压力为预先设定的检测行人碰撞的压力范围(前保险杠3形成轻微凹陷程度的轻碰撞)时，行人碰撞判定部12判定为行人碰撞。在行人碰撞判定部12判定为行人碰撞时，安全气囊工作指示部13向车盖促动器9输出驱动信号，同时对安全气囊模块7输出气体发生器7b的工作指示信号。

如此一来，车盖促动器9使前车盖4的后部弹起并打开，并且，安全气囊模块7启动气体发生器7b并向安全气囊7a注入气体。其结果，安全气囊7a从通过车盖促动器9打开的前车盖4的后部向前挡玻璃6的方向左右扩张并膨胀展开，如图1所示，覆盖左右的前支柱(A柱)8以及未图示的前阻风板和前雨刷等刚性部，防止头部与这些刚性部直接碰撞。

另一方面，作为CPU处理的图像识别处理功能，图像识别单元21具有作为图像识别处理单元的图像识别处理部22、照相机控制部23、作为图像模式切换单元的图像模式切换部24、作为对象物识别处理单元的对象物识别处理部25。图像识别处理部22根据车载照相机5拍摄的图像数据，识别本车辆前方的对象物。该对象物为前行车、道路标识、信号灯、对向来车、行人等立体物、以及行驶路上描画的白线、文字等，在识别这些各对象物的同时，根据主相机5a和副相机5b的视差求出各对象物与本车辆1的距离并生成距离图像。

即，如图6所示，图像识别处理部22获取车载照相机5拍摄的实际图像区域Im的一部分作为有效图像区域Ie。而且，如图7(a)所示，根据各照相机5a、5b获取的有效图像区域Ie的图像，生成由图7(b)所示的由具有距离信息的距离像素的分布图像构成的距离图像。需要说明的是，在有效图像区域Ie的垂直方向上，下侧为拍摄近处的图像、上侧为拍摄远方的图像。

照相机控制部23读取图像识别处理部22处理的图像数据的平均亮度值，设定在下一帧的拍摄中作为最优亮度的曝光时间(快门速度)，根据该曝光时间进行各照相机5a、5b的曝光控制。

图像模式切换部24根据是否从安全气囊工作指示部13输出了工作指示信号，切换到将图像识别区域设定为整个有效图像区域Ie的常规模式、和限制有效图像区域Ie的区域限制模式。在该区域限制模式中，如图7(a)所示，当有效图像区域Ie中映入了安全气囊7a的图像时，检测与前方图像的边界，将与该边界相比拍摄近处的垂直方向的图像区域作为不可用区域A1屏蔽。其结果，与边界相比拍摄远方的垂直方向的图像区域成为可用区域A2，将该可用区域A2设定为图像识别区域。

对象物识别处理部25对图像模式切换部24设定的图像识别区域的距离图像(参考图7(b))进行公知的分组处理，通过与预先存储的三维框(窗口)进行比较，识别本车辆1前方的前行车、行人、行驶车道等对象物、以及距该对象物的距离，将这些作为对象物信息暂时存储在RAM等存储单元中。需要说明的是，对象物与本车辆1之间的距离的求出方法是公知事项，故省略其说明。

之后，根据对象物识别处理部25识别的、暂时存储在存储单元中的对象物信息，执行自动转向控制、自动跟随控制、自动制动控制等各种驾驶支援控制，支援驾驶员的驾驶操作。

接着，根据图3所示的图像模式切换处理程序，对上述图像模式切换部24执行的图像模式切换处理进行更加详细的说明。

即，该程序中，首先，在步骤S1中，检查是否从行人保护用安全气囊单元11的安全气囊工作指示部13接收到向安全气囊模块7输出的工作指示信号，未接收到工作指示信号时，进入步骤S2，执行常规模式处理，离开程序。另一方面，接收到工作指示信号时，进入步骤S3，执行区域限制模式处理，离开程序。需要说明的是，在步骤S2执行的常规模式处理中，将图6所示的有效图像区域Ie整体设定为图像识别区域。

上述步骤S3的区域限制模式处理按照图4所示的区域限制模式子程序执行。该子程序中，首先，在步骤S11中，检测不可用区域A1与可用区域A2的边界，设定可用区域A2(参考图7)。作为检测不可用区域A1与可用区域A2的边界的方式，有：

(1)通过安全气囊7a的颜色检测；

(2)通过距离图像的有效距离像素数检测等。

(1)通过安全气囊7a的颜色检测

该方式中，预先在ROM等存储单元中存储安全气囊7a的颜色(例如，根据256色阶的亮度值(R、G、B)的组合进行设定)，如图7(a)所示，从主相机5a拍摄的有效图像区域Ie的实际图像中检测安全气囊7a所对应的亮度值的区域。之后，查找检测到的亮度值的上边部7d，将其作为安全气囊7a与本车辆1前方的行驶环境的边界，将与该边界相比拍摄近处的垂直方向的图像区域作为不可用区域A1屏蔽。其结果，与该边界相比拍摄远方的垂直方向的图像区域成为可用区域A2。

然后，进入步骤S12，将该可用区域A2设定为图像识别区域，离开程序。

需要说明的是，当为行人保护机构使前车盖4的后部弹起保护行人的弹起车盖方式时，预先存储前车盖4的后端边缘的颜色，从实际图像中检测亮度值所对应的区域，将其上边设定为边界。

通过该方式，可用区域A2与基于安全气囊7a的映入的不可用区域A1的边界根据实际图像和距离图像而求出，因此可以确保最大限度的可用区域A2。

(2)通过距离图像的有效距离像素数检测

当有效图像区域Ie中映出安全气囊7a时，会误将安全气囊7a的接缝和褶皱检测为有效距离像素，因此有效距离像素数(实际上能够为计算距离提供的像素数)极度变少。因此，求出每行(水平方向)的有效距离像素数，在图7(b)的垂直方向上从j1行至j16行比较相邻行的有效距离像素数，将极度增加的行(图7(c)中为j7)识别为安全气囊7a与本车辆1前方的行驶环境的边界，将与该边界相比拍摄近处的垂直方向的图像区域作为不可用区域A1屏蔽。其结果，与边界相比拍摄远方的垂直方向的图像区域成为可用区域A2。

或者，在从图7(b)的j1行至j16行的垂直方向上比较每一行的水平方向的有效距离像素数和预先设定的不可用区域判定像素数，将从有效距离像素数≥不可用判定值切换为有效距离像素数＜不可用判定值的位置识别为边界(图7(c)中为j6、j7之间)，将与该边界相比拍摄近处的垂直方向的图像区域作为不可用区域A1屏蔽，将拍摄远方的垂直方向的图像区域作为可用区域A2。

需要说明的是，当行人保护机构为弹起车盖方式时，虽然前车盖4的内面的凹凸会被误检测为有效距离像素，但该有效距离像素数极少，因此，与上述相同，根据该有效距离像素数识别边界。

另外，图5表示区域限制模式子程序的另一种方式。上述子程序中，从实际图像或距离图像中识别安全气囊7a与前方的行驶环境的边界，而在本实施方式中，预先设定应屏蔽的不可用区域A1、以及可用区域A2，据此唯一地设定图像识别区域。

该子程序中，首先，在步骤S21中，读取预先存储的不可用区域A1与可用区域A2。这两个区域A1、A2通过实验和模拟求出，作为固定数据存储在ROM等存储单元中。即，首先，通过实验和模拟，从安全气囊7a膨胀展开时的有效图像区域Ie的映入中检测安全气囊7a的上边部7d的边界。然后，将与该边界相比拍摄近处的垂直方向的图像区域设定为不可用区域A1，将与该边界相比拍摄远方的垂直方向的图像区域设定为可用区域A2。

之后，进入步骤S22，将有效图像区域Ie的不可用区域A1所对应的图像区域屏蔽，另一方面，将可用区域A2所对应的图像区域设定为图像识别区域，离开程序。

通过该方式，可用区域A2被瞬间设定，因此可以迅速应对安全气囊7a的膨胀展开。

如此，根据本实施方式，即使行人保护用安全气囊7a膨胀展开，映入车载照相机5的视角，由于将安全气囊7a映入的图像区域作为不可用区域A1而屏蔽，将垂直方向的图像区域设定为可用区域A2，将该可用区域A2设定为图像识别区域，因此，能够不限制行人保护机构的动作，而继续进行基于照相机拍摄的图像的驾驶支援控制。其结果，不仅可以有效保护碰撞时的行人免受二次碰撞，还可以防患于未然地防止车辆的二次碰撞。

需要说明的是，本发明并不限于上述实施方式，例如，在行人保护机构使前车盖4的后部弹起作为缓冲部件发挥功能的方式中也可适用本发明。此时，映入图像的前车盖4的后端部成为不可用区域A1与可用区域A2的边界。

Claims

1.一种图像处理装置，具有：

车载照相机，其拍摄本车辆前方的行驶环境；

图像识别处理单元，其根据所述车载照相机拍摄的图像生成图像识别区域内的距离图像；以及

对象物识别处理单元，其根据所述车载照相机拍摄的图像和所述图像识别处理单元生成的距离图像，识别所述图像识别区域内的对象物和距该对象物的距离，

其特征在于，

所述图像处理装置具有图像模式切换单元，所述图像模式切换单元对所述对象物识别处理单元识别的图像识别区域进行切换，

所述图像模式切换单元检测行人的碰撞并检查是否向行人保护机构输出了工作指示信号，当检测到该工作指示信号的输出时，从将常规的有效图像区域整体设定为所述图像识别区域的常规模式切换到将所述行人保护机构未映入的图像区域设定为所述图像识别区域的区域限制模式。

2.根据权利要求1所述的图像处理装置，其特征在于，所述区域限制模式中，通过所述行人保护机构的颜色识别映入所述有效图像区域的所述行人保护机构，检测所述行人保护机构的颜色未映入的边界，从该边界将拍摄远方的垂直方向的图像区域设定为所述图像识别区域。

3.根据权利要求1所述的图像处理装置，其特征在于，所述区域限制模式中，在垂直方向上求出每行的所述有效图像区域的水平方向的有效距离像素数，将该有效距离像素数多于预先设定的不可用区域判定像素数的行设定为边界，从该边界将拍摄远方的垂直方向的图像区域设定为所述图像识别区域。

4.根据权利要求1所述的图像处理装置，其特征在于，将所述行人保护机构映入所述有效图像区域的区域预先设定为不可用区域，

在所述区域限制模式中，从所述不可用区域的边界将拍摄远方的垂直方向的图像区域设定为所述图像识别区域。