CN104210421A - 周围环境判定装置 - Google Patents

周围环境判定装置 Download PDF

Info

Publication number
CN104210421A
CN104210421A CN201410230939.7A CN201410230939A CN104210421A CN 104210421 A CN104210421 A CN 104210421A CN 201410230939 A CN201410230939 A CN 201410230939A CN 104210421 A CN104210421 A CN 104210421A
Authority
CN
China
Prior art keywords
urban district
street lamp
vehicle
processing
determination processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410230939.7A
Other languages
English (en)
Other versions
CN104210421B (zh
Inventor
小川原也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN104210421A publication Critical patent/CN104210421A/zh
Application granted granted Critical
Publication of CN104210421B publication Critical patent/CN104210421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/056Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/11Linear movements of the vehicle
    • B60Q2300/112Vehicle speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/14Other vehicle conditions
    • B60Q2300/142Turn signal actuation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/33Driving situation
    • B60Q2300/332Driving situation on city roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/33Driving situation
    • B60Q2300/332Driving situation on city roads
    • B60Q2300/3321Detection of streetlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种周围环境判定装置,作为车辆的周围环境其准确地判定市区、非市区。所述周围环境判定装置通过拍摄部获取拍摄了自身车辆前方的拍摄图像,针对拍摄图像的每一个检测目标帧单位进行路灯检测。并且,使用拍摄图像的当前检测目标帧单位中的路灯检测结果与以往的检测目标帧单位中的路灯检测结果这两者进行判定车辆周围环境是否为市区的市区判定处理。此外,在自身车辆右转或左转后的期间内,使关于判定是市区还是非市区的判定响应性比右转或左转后的期间以外的时候高。

Description

周围环境判定装置
技术领域
本发明涉及一种判定自身车辆的周围环境,特别是判定是市区还是非市区的周围环境判定装置。
背景技术
如果自身车辆的前照灯的远光灯照射于前方行驶车辆、对向行驶车辆,则可能会导致那些前方行驶车辆等的驾驶员眼花而影响驾驶,因此为了防止这种情况的发生,作为前照灯配光控制,所谓的AHB(远近光自动切换***:Auto High Beam)及ADB(自适应光束调整:Adaptive Driving Beam)广为人知。在进行该前照灯配光控制时,要求识别存在于自身车辆前方的前方行驶车辆、对向行驶车辆和/或周围环境是否为适合将前照灯设定为远光灯的行驶场景。
有时需要进行是否为适合设定成远光灯的行驶场景的判断的一个周围环境是市区还是非市区。例如,在自动打开/关闭远光灯的AHB中,在市区(周围充分明亮的场景)无需远光灯,防止对周围车辆的驾驶员照射眩光。
需要说明的是,在下述专利文献1中公开了通过摄像机进行路灯检测,当一定时间内所检测出的路灯数量超过一定数量时,或者当一定期间内检测到路灯的时间超过一定时间时,判定为市区,且作为不需要远光灯的场景。
现有技术文献
专利文献
专利文献1:日本特开2009-61812号公报
发明内容
在这里,当市区或非市区的行驶环境发生了变化时,尽可能迅速进行判定,据此迅速进行准确的前照灯配光控制为佳。
另一方面,如果使市区、非市区的判定的响应性过快,则在非市区中通过暂时设有多个路灯等的地方的情况下,或者在市区中暂时变成无法检测出路灯的状况的情况下,有时判定结果会随意变动,这并不合适。因此,本发明的目的在于能够稳定且根据环境变化迅速地执行市区、非市区的判定。
第1方面,本发明的周围环境判定装置,其具备:拍摄部,其获取拍摄了自身车辆前方的拍摄图像;检测处理部,其针对所述拍摄图像的每一个检测目标帧单位至少进行路灯检测;环境判定处理部,其使用所述拍摄图像的当前检测目标帧单位中的路灯检测结果与以往的检测目标帧单位中的路灯检测结果这两者进行判定车辆周围环境是否为市区的市区判定处理;并且,所述环境判定处理部在自身车辆的右转或左转后的期间内,使关于判定是市区还是非市区的判定响应性比右转或左转后的期间以外的时候高。
根据该构成,基本上,不仅反映了当前的检测目标帧单位,还反映了以往的检测目标帧单位的检测结果而进行考虑到时间序列变动的市区判定。但是,例如,在作为开始右转或左转后的预定期间等的右转或左转后的期间,使判定响应性比右转或左转后期间以外的时候高,从而执行迅速的判定。
第2方面,在上述的本发明的周围环境判定装置中,优选地,所述环境判定处理部在自身车辆的停止过程中不进行市区判定结果的更新。
这是由于还可能存在例如在非市区中偶然在有灯光的地方停车的情况等。
第3方面,在上述的本发明的周围环境判定装置中,优选地,所述环境判定处理部在自身车辆的右转或左转后的期间内,通过降低以往的检测目标帧单位中的路灯检测结果的反映度来提高判定响应性。
即,在观测时间序列变动的情况下,通过在当前的路灯检测结果上加权,从而执行相对短期的判定。
第4方面,在上述的本发明的周围环境判定装置中,优选地,所述环境判定处理部在自身车辆的右转或左转后的期间内,通过降低与路灯检测结果的值进行比较的阈值来提高判定响应性。
即,通过降低作为比较基准的阈值来提高判定响应性。
第5方面,在上述的本发明的周围环境判定装置中,优选地,在所述市区判定处理中,如果对于当前的检测目标帧单位中的路灯检测结果的值与以往的检测目标帧单位中的路灯检测结果的值分别进行预定的加权而平均的值在预定的阈值以上,则判定为市区。
通过对于当前与以往的检测目标帧单位中的路灯检测结果的值赋予预定的加权的基础上进行平均,实现导入了时间序列变动要素的判定。
第6方面,在上述的本发明的周围环境判定装置中,优选地,在所述市区判定处理中,在判定为市区以后,在各检测目标帧单位中的路灯检测结果的值连续预定次数处于用于判定非市区的阈值以下的情况下,判定为非市区。
据此,通过避免过于简单地判定为非市区,确保判定的稳定性。
第7方面,在上述的本发明的周围环境判定装置中,优选地,还具备配光控制部,其在由所述环境判定处理部判定当前的车辆周围环境为市区时,控制前照灯使其不执行远光灯照射。
据此,在判定行驶场景为市区的情况下,关闭远光灯。
根据本发明,作为自身车辆的周围环境可适当地判定市区与非市区。特别是,通过还反映当前以及以往的检测目标帧单位的检测结果而进行考虑到时间序列的变动的市区判定来提高判定的稳定性,同时在右转或左转后的期间通过提高判定响应性,能够应对产生周围环境变化的可能性较高的情况而进行迅速的判定。
附图说明
图1是本发明的实施方式的车辆控制***的框图;
图2是实施方式的车辆控制***的图像处理部以及驾驶辅助控制部的功能构成的说明图;
图3是在实施方式中使用的亮图像、暗图像的说明图;
图4是实施方式的检测范围的说明图;
图5是实施方式的环境判定以及前照灯控制的流程图;
图6是实施方式的要素群以及目标群的说明图;
图7是实施方式的场景判定处理的流程图;
图8是实施方式的右转或左转过程判定处理的流程图;
图9是实施方式的市区判定处理的流程图;
图10是实施方式的控制信息计算处理的流程图;
图11是实施方式的远光灯控制的说明图;
图12是实施方式的与对向车辆会车时的说明图;
图13是实施方式的在市区判定处理中的右转或左转时的响应性变更的说明图。
符号说明
1                        车辆控制***
2                        拍摄部
3                        图像处理部
3D                       尾灯检测处理部
3E                       前照灯检测处理部
3F                       路灯检测处理部
3G                       目标识别和辨别处理部
3H                       场景判定处理部
3I                       控制信息计算处理部
5                        驾驶辅助控制部
5A                       配光控制处理部
6                        显示控制部
7                        发动机控制部
8                        变速器控制部
9                        制动控制部
10                       灯光控制部
15                       前照灯
16                       ADB执行器
17                       传感器、操纵器类
具体实施方式
<1.***整体结构>
图1表示具备作为本发明的实施方式的周围环境判定装置的车辆控制***1的构成。在此,在图1中,在车辆控制***1的构成中主要只提取与本发明有关的主要部分的构成而予以示出。另外,实施方式的周围环境判定装置,主要通过图中的拍摄部2与图像处理部3来实现。
车辆控制***1具备在自身车辆上所设置的拍摄部2、图像处理部3、内存4、驾驶辅助控制部5、显示控制部6、发动机控制部7、变速器控制部8、制动控制部9、灯光控制部10、显示部11、发动机关联执行器12、变速器关联执行器13、制动器关联执行器14、前照灯15、ADB(Adaptive Driving Beam)执行器16、传感器、操纵器类17以及总线18。
拍摄部2具备设置成在车辆中可对行驶方向(前方)进行拍摄的第一摄像机部2A、第二摄像机部2B。
为了能够根据所谓的立体视觉方法测量距离,例如在自身车辆的挡风玻璃的上部附近在车宽方向上隔开预定间隔而配置有第一摄像机部2A、第二摄像机部2B。第一摄像机部2A、第二摄像机部2B的光轴平行,焦距分别为相同值。另外,帧周期同步,帧频也一致。拍摄元件的像素数例如在640×480左右。
在第一摄像机部2A、第二摄像机部2B的各拍摄元件中所获得的电子信号(拍摄图像信号)分别被A/D转换,而成为以像素单位表示根据预定灰度的亮度值的数字图像信号(拍摄图像数据)。在本实施方式的情况下,这些拍摄图像数据为彩色图像数据,因此按照每一个像素得到R(红)、G(绿)、B(蓝)这三种数据(亮度值)。亮度值的灰度,例如为256灰度。
以下,将在第一摄像机部2A中获得的拍摄图像数据标记为“第一拍摄图像数据”,将在第二摄像机部2B中获得的拍摄图像数据标记为“第二拍摄图像数据”。
本例中的拍摄部2具有关于第一摄像机部2A、第二摄像机部2B的快门速度以及增益(ISO感光度)的自动调节功能。另外,拍摄部2还可以基于来自图像处理部3的指示,调节第一摄像机部2A、第二摄像机部2B的快门速度以及增益。
图像处理部3由具备例如CPU(中央处理单元:Central Processing Unit)、ROM(只读存储器:Read Only Memory)以及作为工作区域的RAM(随机存取存储器:Random Access Memory)的微型计算机构成,执行按照存储于ROM的程序的各种处理。
图像处理部3将拍摄部2拍摄自身车辆的前方而获得的作为第一拍摄图像数据、第二拍摄图像数据的各帧图像数据存储在内存部4。并且,基于各帧的第一拍摄图像数据、第二拍摄图像数据,执行各种处理以识别作为外部环境而存在于车辆前方的物体。
在此,关于图像处理部3所执行的具体处理的详细内容,将在后面进行描述。
驾驶辅助控制部5例如由微型计算机构成,基于由图像处理部3进行的图像处理结果和/或通过传感器、操纵器类17所获得的检测信息和/或操作输入信息等,执行用于驾驶辅助的各种控制处理。
驾驶辅助控制部5通过总线18与同样由微型计算机构成的显示控制部6、发动机控制部7、变速器控制部8、制动控制部9以及灯光控制部10的各控制部相连接,在这些各控制部之间能够相互进行数据通信。驾驶辅助控制部5对于上述各控制部中必要的控制部发出指示而使之执行驾驶辅助相关的动作。
在本实施方式的情况下,驾驶辅助控制部5进行对于前照灯15的配光控制。在图中,通过作为“配光控制处理部5A”的功能模块来表示驾驶辅助控制部5所具有的用于配光控制的处理功能。配光控制处理部5A基于图像处理部3根据对向行驶车辆、前方行驶车辆和/或路灯等的识别结果而生成的控制信息,对于灯光控制部10进行用于ADB控制和/或AHB控制的指示。
传感器、操纵器类17综合表示设置于自身车辆的各种传感器和/或操纵器。作为传感器、操纵器类17所具有的传感器,例如有发动机转数传感器、检测吸入空气量的吸入空气量传感器、根据油门踏板的踩踏量检测油门开度的油门开度传感器、检测安装于吸气通道中而调节供给至发动机各气缸的吸入空气量的节气门的开度的节气门开度传感器、检测表示发动机温度的冷却水温的水温传感器、检测车外气温的外部气温传感器等。
另外,作为操纵器,有用于指示发动机的起动/停止的点火开关、用于进行AT(自动变速器)车辆中的自动变速模式/手动变速模式的选择和/或手动变速模式时的升档/降档的指示的变速杆、用于进行设置于后述的显示部11的MFD(多功能显示器:Multi Function Display)中的显示信息的切换的显示切换开关等。
特别是,在本实施方式的情况下,在传感器、操纵器类17中设有车速传感器17A、转向角传感器17B、油门开度传感器17C、前照灯开关17D、转向指示器开关17E。
前照灯开关17D表示用于进行前照灯15的近光灯的打开/关闭、远光灯的打开/关闭的指示的操纵器。在这里,在本例的情况下,根据远光灯的打开/关闭操作,ADB功能也被开启/关闭。
显示部11综合表示设置于驾驶员的前方的仪表板内设置的车速表、转速表等各种仪表和/或MFD、以及用于向其他驾驶员提示信息的显示器。在MFD中,可以同时或者切换而显示自身车辆的总里程以及外部气温、瞬时油耗等各种信息。
显示控制部6基于来自传感器、操纵器类17中预定的传感器的检测信号和/或由操纵器的操作输入信息等,控制由显示部11进行的显示动作。
发动机控制部7基于来自传感器、操纵器类17中预定的传感器的检测信号和/或由操纵器的操作输入信息等,控制作为发动机关联执行器12而设置的各种执行器。作为发动机关联执行器12,例如设有驱动节气门的节气门执行器、进行燃油喷射的喷油嘴等与发动机驱动相关的各种执行器。
例如,发动机控制部7根据前述的点火开关的操作而进行发动机的起动/停止控制。另外,发动机控制部7基于来自发动机转数传感器和/或油门开度传感器等预定的传感器的检测信号,还进行喷油时间、喷油脉宽、节气门开度等的控制。
变速器控制部8基于来自传感器、操纵器类17中预定的传感器的检测信号和/或由操纵器的操作输入信息等,控制作为变速器关联执行器13而设置的各种执行器。作为变速器关联执行器13,例如设有进行自动变速器的变速控制的控制阀、使锁止离合器进行锁止动作的锁止执行器等的变速器相关的各种执行器。
例如,在通过前述变速杆选择了自动变速模式时,变速器控制部8按照预定的变速模式向控制阀输出变速信号而进行变速控制。另外,在设定手动变速模式时,变速器控制部8向控制阀输出根据由变速杆进行的升档/降档指示的变速信号而进行变速控制。
制动控制部9基于来自传感器、操纵器类17中的预定的传感器的检测信号和/或由操纵器的操作输入信息等,控制作为制动关联执行器14而设置的各种执行器。作为制动关联执行器14,例如设有用于控制从制动助力器向制动主缸的输出液压和/或制动液管内液压的液压控制执行器等的制动相关的各种执行器。
例如,当从驾驶辅助控制部5发出起动制动器的指示时,制动控制部9控制上述液压控制执行器而使自身车辆制动。另外,制动控制部9通过根据预定的传感器(例如,车轴的转速传感器和/或车速传感器)的检测信息计算车轮的滑移率,并根据滑移率由上述液压控制执行器对液压进行加压或减压,从而实现所谓的ABS(防抱死制动***:Antilock Brake System)控制。
灯光控制部10基于来自传感器、操纵器类17中预定的传感器的检测信号和/或由操纵器的操作输入信息等,进行前照灯15的开关控制以及ADB执行器16的控制。
具体地说,灯光控制部10基于由亮度传感器等预定的传感器所检测的检测信号,进行开关前照灯15的自动前照灯控制等。另外,灯光控制部10基于由前述的前照灯开关17D的操作输入信息,还进行前照灯15的近光灯、远光灯的打开/关闭控制。此外,特别是本实施方式的灯光控制部10,通过基于来自驾驶辅助控制部5中的配光控制处理部5A的指示来控制ADB执行器16,从而实现ADB功能。本例中的ADB执行器16例如为驱动遮光板的执行器,通过基于来自灯光控制部10的控制而驱动遮光板,从而在远光灯的配光区域的一部分形成遮光区域或者不形成遮光区域(即,远光灯为全照状态)。
<2.在本实施方式中所执行的处理概要>
根据图2说明在本实施方式中所执行的各种处理的概要。
需要说明的是,在图2中,将图像处理部3基于第一拍摄图像数据、第二拍摄图像数据而执行的各种图像处理按照功能进行分类后用框图示出。另外,在图2中还一并示出驾驶辅助控制部5所具有的配光控制处理部5A。
如图所示,如果按照功能大致划分,则图像处理部3可表示成包含距离图像生成处理部3A、行车线检测处理部3B、行车线模型形成处理部3C、尾灯检测处理部3D、前照灯检测处理部3E、路灯检测处理部3F、目标识别和辨别处理部3G、场景判定处理部3H以及控制信息计算处理部3I。
在图像处理部3中,距离图像生成处理部3A所执行的距离图像生成处理是基于保存于内存4的第一拍摄图像数据、第二拍摄图像数据而生成距离图像的处理。具体地说,距离图像生成处理是通过图像匹配检测出第一拍摄图像数据与第二拍摄图像数据(即,立体拍摄的一对图像数据)之间的对应点,并将所检测出的对应点间的坐标的偏移作为视差M进行计算,然后使用该视差M并根据三角测量原理将距实际空间中的对应点的距离表示在图像上的距离图像数据的处理。
行车线检测处理部3B所执行的行车线检测处理是基于标准图像(即,第一拍摄图像数据或者第二拍摄图像数据中预先设定的一个图像数据)与在上述距离图像生成处理中所生成的距离图像数据(作为对应点的每一个像素的距离信息)检测形成于自身车辆行驶的路面上的行车线的处理。具体地说,在行车线检测处理中,首先基于标准图像的各像素的亮度值与各像素在实际空间中的距离,在标准图像上检测行车线候选点,基于所检测出的行车线候选点检测自身车辆的左右的行车线位置。例如,在标准图像上的1个像素宽度的水平线上,向左右方向每次偏移1个像素的同时进行搜索,并基于标准图像的各像素的亮度值,将各像素的亮度微分值(=边缘强度)发生较大变化而满足阈值以上的条件的像素作为行车线候选点进行检测。在作为上述搜索目标的水平线上,从标准图像的例如由下侧向上方每次偏移1个像素宽度的同时依次进行该处理。据此,在自身车辆的右侧区域及左侧区域中分别检测出行车线候选点。
行车线模型形成处理部3C所执行的行车线模型形成处理是基于在上述行车线检测中所检测出的左右行车线候选点的信息,形成在X、Y、Z的各轴(X轴为左右方向、Y轴为高度方向、Z轴为车辆行驶方向)所定义的三维空间上的行车线模型的处理。具体地说,通过例如最小二乘法等,对在行车线检测部中所检测出的行车线候选点在实际空间上的位置(X、Y、Z)进行直线拟合,形成在三维空间上的行车线模型。
通过如此形成的行车线模型,还可获得自身车辆行驶路面的高度信息。
在此,上述的距离图像生成处理、行车线检测处理以及行车线模型形成处理的方法与日本特开2008-33750号公报所公开的方法相同,具体内容请参照该文献。
由尾灯检测处理部3D、前照灯检测处理部3E、路灯检测处理部3F、目标识别和辨别处理部3G、场景判定处理部3H以及控制信息计算处理部3I分别执行的尾灯检测处理、前照灯检测处理、路灯检测处理、目标识别和辨别处理、场景判定处理以及控制信息计算处理将成为用于本实施方式的周围环境判定以及前照灯控制的处理。关于这些各种处理,在后面会另行说明。
<3.关于亮图像、暗图像以及检测范围>
首先,在说明实施方式的用于周围环境判定以及前照灯控制的处理之前,说明在图像识别中使用的两种拍摄图像(帧图像)以及各目标的检测范围。
如后所述,在本实施方式中,作为不应照射远光灯的目标而识别前方行驶车辆与对向行驶车辆。前方行驶车辆的识别基于尾灯的检测结果而进行,对向行驶车辆的识别基于前照灯的检测结果而进行。
在这里,前照灯与尾灯各自的光量差异较大,因此如果使用以相同的快门速度所拍摄的图像,则有时可能会造成两者均无法检测出清晰的图像。例如,在以符合尾灯的快门速度所拍摄的图像中,有时前照灯的亮度会饱和。
因此,在本实施方式中,按照每一帧变更快门速度,根据以符合尾灯的快门速度、符合前照灯的快门速度分别拍摄的图像进行各目标的检测处理。以下,将以尾灯用的快门速度(比前照灯用慢的快门速度)拍摄而得的拍摄图像数据标记为“亮图像G1”,将以前照灯用的快门速度(比尾灯用快的快门速度)拍摄而得的拍摄图像数据标记为“暗图像G2”。
在图3A、图3B中分别示出在同一场景下所拍摄的亮图像G1、暗图像G2的实例。
图像处理部3向拍摄部2发出指示,以使第一摄像机部2A、第二摄像机部2B分别交替输出亮图像G1、暗图像G2。据此,作为通过第一摄像机部2A所获得的第一拍摄图像数据、以及通过第二摄像机部2B所获得的第二拍摄图像数据,在每一帧期间分别交替切换亮图像G1、暗图像G2。此时,对于亮图像G1,以在前述的自动调节功能中所设定的快门速度进行拍摄。另外,对于暗图像G2,以在亮图像G1的快门速度上赋予预定的补偿的快门速度进行拍摄。
在此,前述的距离图像基于亮图像G1而生成。
在这里,暗图像G2用于前照灯检测的同时,还用于由路灯检测处理部3F进行的路灯检测处理。考虑到这一点,本例中的暗图像G2设定为比亮图像G1更向上方偏移的图像。
但是,在拍摄图像上的路灯的亮度大多在前照灯与尾灯的中间左右,因此未必是暗图像G2,使用亮图像G1进行路灯检测亦可。
另外,在本实施方式中,对于尾灯(前方行驶车辆)、前照灯(对向行驶车辆)、路灯的各个目标规定有检测范围。即,关于这些各个目标的检测处理并不是将亮图像G1和/或暗图像G2的全部像素作为目标而进行,而是对于作为尾灯检测处理目标范围的尾灯检测范围As、作为前照灯检测处理目标范围的前照灯检测范围At、以及作为路灯检测处理的目标范围的路灯检测范围Ag分别进行。
图4A示出了针对亮图像G1规定的尾灯检测范围As的实例,图4B示出了针对暗图像G2规定的前照灯检测范围At以及路灯检测范围Ag的实例。这些各检测范围分别设定为矩形范围。各个检测范围的位置分别设定为在图像内能够覆盖目标存在的区域。
通过预先设定如上所述的尾灯检测范围As、前照灯检测范围At、以及路灯检测范围Ag的各个检测范围,可以限定检测目标的范围,从而可以缩短处理时间、降低处理负担的同时可以防止在原本不存在检测目标的位置上的误检。
<4.处理的整体流程>
图5是示出实施方式的图像识别的处理的整体流程的流程图。在此,图5所示的一系列处理为图像处理部3在每一帧期间重复执行的处理。
首先,图像处理部3在步骤S101中判别是否为夜间。在不是夜间的情况下,由于开始就没有必要对各个目标进行检测及识别,因此通过该步骤S101的判别处理来判别是否有必要对各个目标进行检测及识别。
在此,是否为夜间的判别基于拍摄图像数据的快门速度以及增益值进行。或者,是否为夜间的判别也可基于远光灯是否处于打开状态的判别结果来进行。
在步骤S101中,当获得不是夜间的否定结果时,结束在当前帧期间内的处理,当获得是夜间的肯定结果时,进入到步骤S102。
在步骤S102中判别图像类型。即,在当前帧期间内判别从拍摄部2导入的拍摄图像数据是亮图像G1还是暗图像G2。
若图像类型为亮图像G1,则在步骤S103中执行尾灯检测处理后,结束在当前帧期间内的处理。
另一方面,当图像类型被判别为暗图像G2时,在步骤S104中执行前照灯检测处理后,在步骤S105中进行路灯检测处理。
接下来,在步骤S106中执行目标识别和辨别处理。详细内容将在后面予以描述,但目标识别和辨别处理是基于在步骤S103中执行的尾灯检测处理的结果与在步骤S104、S105中分别执行的前照灯检测处理、路灯检测处理的各结果,对前方行驶车辆、对向行驶车辆、路灯的各个目标进行识别、辨别的处理。
执行目标识别和辨别处理后,在步骤S107、步骤S108中分别执行场景判定处理、控制信息计算处理后,结束处理。
以下,说明作为步骤S103~S108所执行的尾灯检测处理、前照灯检测处理、路灯检测处理、目标识别和辨别处理、场景判定处理、控制信息计算处理的各个处理的内容。
<5.尾灯检测处理>
尾灯检测处理是检测推测为前方行驶车辆的尾灯部分的区域(尾灯区域)的处理。在该尾灯检测处理中,首先,针对亮图像G1设定尾灯检测范围As的情况下,将该尾灯检测范围As内的像素作为目标而检测红色的像素。然后,对于所检测出的像素进行群组化,创建要素群。具体地说,将所检测出的像素间的距离在A1像素以下的像素之间群组化。例如,设A1=1.5像素。
在此基础上,求得要素群的基本特征量。作为基本特征量有,·要素群的上下左右坐标(在用矩形包围要素群的情况下的各边的位置)
·要素群内像素数
·要素群内最大亮度值、最小亮度值
·要素群的平均视差(要素群内的各像素的视差M的平均值),
在此,视差M使用在前述的距离图像生成处理中所获得的值。
然后,基于要素群的基本特征量的信息,进行要素群的筛选。即,删除基本特征量在以下设定条件外的要素群。
条件1):要素群的纵向、横向尺寸在B1像素以下。B1例如为2个像素。
条件2):要素群内像素数在C1像素以下。C1例如为2个像素。
其他,在要素群的尺寸过大时,也可以删除。但是,使此时的阈值根据距离(视差M)而变化。
图6A中示出在如上所述的尾灯检测处理中所检测出的(最终所挑选的)要素群的模式图。
图中用灰色示出的区域表示尾灯检测范围As内的相当于前方行驶车辆的区域(前方行驶车辆区域),用黑色示出的区域表示作为红色像素而检测出的区域。根据上述的尾灯检测处理,图中用虚线示出的矩形区域作为要素群而被群组化。
如上所述,根据尾灯检测处理,相当于前方行驶车辆的尾灯部分的区域作为要素群而被检测出。
在此,根据上述的说明能够得以理解的那样,要素群可定义为对包含于应识别的目标的特征部分进行群组化的群。在后述的目标识别和辨别处理中,以这些要素群的检测结果为基础,应识别的目标的范围作为目标群而被群组化(参照图6B)。
<6.前照灯检测处理>
前照灯检测处理是检测推测为对向行驶车辆的前照灯部分的区域(前照灯区域)的处理。
前照灯检测处理的基本流程如下。
i)检测亮度值在阈值D2以上的像素。
ii)对所检测出的像素进行群组化,创建要素群。
iii)求得要素群的基本特征量。
iv)筛选要素群。
作为上述i)的处理,针对暗图像G2设定前照灯检测范围At,在该前照灯检测范围At内,将亮度值在D2以上的像素判定为前照灯区域候选。在这里,例如在256灰度的亮度中,将D2设定为5~10左右的较小值。这是因为也有必要检测亮度充分变小的远方(例如,数百米)的前照灯。
如上所述,如果检测出作为前照灯区域候选的像素,则上述ii)~iv)的处理按照与尾灯检测处理时的处理相同地进行。据此,相当于对向行驶车辆的前照灯部分的区域作为要素群而被检测出。
<7.路灯检测处理>
路灯检测处理是检测推测为路灯的区域(路灯区域)的处理。
路灯检测处理与前照灯检测处理相同,按照上述i)~iv)的步骤进行。但是,作为上述i)的处理,针对暗图像G2设定路灯检测范围Ag,在该路灯检测范围Ag内,将亮度值在预定值以上的像素作为路灯区域候选而进行判定,在这一点有所不同。
如果检测出作为路灯区域候选的像素,则同样地进行上述ii)~iv)的处理,据此,相当于路灯的区域作为要素群而被检测出。
<8.目标识别和辨别处理>
目标识别和辨别处理是基于上述的尾灯检测处理、前照灯检测处理以及路灯检测处理的各个处理结果而进行目标(前方行驶车辆、对向行驶车辆、路灯)的识别和辨别的处理。
在这里所说的“识别”是指,识别目标的范围。“辨别”是指,计算存在于所“识别”的范围内的物体是否为目标的可能性(例如,后述的可靠性),并基于该可能性区分是否为目标。
目标的“识别”处理通过如下方式进行,即基于基本特征量的信息,将在尾灯检测处理、前照灯检测处理、路灯检测处理中所求得的各要素群作为目标群而群组化。
在这里,如果要素群的平均视差值大致相同,则这些要素群构成同一目标的可能性较高。另外,如果是构成同一目标,则可以说这些要素群的上下左右方向的间隔距离在预定范围内。
在目标的“识别”处理中,通过将满足平均视差值被视为相同的要素群的条件且这些要素群的上下左右方向的间隔距离在预定范围内的要素群作为目标群而群组化,由此进行目标的“识别”处理。在此,关于上述间隔距离的“预定范围”,考虑到拍摄图像内的目标尺寸会根据从自身车辆到该目标的距离而变化的这一点,根据平均视差值而设为可变。
根据如上所述的“识别”处理,实现如图6B所示的目标群的群组化。例如,将包含作为前方行驶车辆和/或对向行驶车辆的左右发光部分(各要素群)的范围作为1个目标群而被群组化。
在此,关于路灯,由于作为1个发光部的要素群其本身为应识别的目标,因此不执行上述的“识别”处理,可以将要素群直接作为目标群进行处理。
在目标的“辨别”处理中,对于在上述的“识别”处理中进行了群组化的各目标群计算可靠性,提取可靠性在预定阈值以上的目标群。
本例的可靠性针对每一帧进行计算。在“辨别”处理中,针对每一帧进行可靠性与上述预定阈值之间的比较,由此进行目标群的提取。
可靠性例如基于构成目标群的要素群数量和目标群尺寸以及距离路面的高度信息等进行计算。在此,距离路面的高度值使用在前述的行车线模型形成处理中所获得的值。
通过如上所述的“辨别”处理,可以区分作为前方行驶车辆和/或对向行驶车辆的目标以外的物体(自身车辆的灯光所照射的标识、看板以及反光镜等)。
即,关于在前方行驶车辆检测范围As内所识别的目标群,辨别为前方行驶车辆的尾灯或者其他的物体。
另外,关于在对向行驶车辆检测范围At内所识别的目标群,辨别为对向行驶车辆的前照灯或者其他物体。
在此,关于路灯,无需进行如上所述的“辨别”处理,可以将目标群处理为“路灯”即可。但是,也可以辨别路灯与信号器,或者区分具有认为是路灯以外的特征的目标wim。
<9.场景判定处理>
利用图7~图9说明作为上述图5的步骤S107所执行的场景判定处理的详细内容。该场景判定处理是最终判定当前自身车辆的周围环境和/或行驶状况是否为无需远光灯的场景的处理,作为周围环境判定进行是市区还是非市区的判定。这是因为市区十分明亮,认为无需远光灯。另外,作为行驶状况,低速时由于没有必要照射灯光至远方,因此作为无需远光灯的场景,此外,在右转或左转过程中由于没有必要照射灯光至远方,因此作为无需远光灯的场景。
在图7中示出图像处理部3通过作为场景判定处理部3H的功能而实施的场景判定处理。作为步骤S201,图像处理部3检测当前自身车辆的行驶速度是否在一定速度以上。例如,确认车速传感器17A的检测信息,作为一定速度例如确认是否在20km/h以上。
然后,如果行驶速度低于一定速度,则图像处理部3进入步骤S205,判定为无需远光灯的场景而使无需远光灯标志=1。
在此,优选地,为防止判定的波动而设置迟滞值。例如,在使无需远光灯标志=1的情况下,通过将步骤S201的判断的一定速度由20km/h变更至18km/h,使判定结果(无需远光灯标志的“1”、“0”)不出现频繁的变动。
在检测到行驶速度为一定以上的情况下,图像处理部3在步骤202中判定当前是否处于右转或左转过程中。例如,计算转向指示器的亮灯期间,当转向指示器在一定期间持续亮灯(闪烁)时,判断为处于右转或左转过程。另外,优选地,在该判定中设置迟滞值。
在图8中示出在步骤S202中进行的右转或左转过程判定处理的一例。在此,在进行该图8的处理的同时,图像处理部3进行在转向指示器闪烁时使内部计数器(说明中称为“转向指示器计数器”)计数的处理,在转向指示器灭灯时停止计时(其中,最小值为0)的处理。
在步骤S210中,图像处理部3确认当前是否判定为处于右转或左转过程(是否为后述的步骤S213的判定后的期间)。
如果当前不是判定为右转或左转过程的期间,则在步骤S211中确认转向指示器计数器的值是否超出右转或左转判定阈值R1。右转或左转判定阈值R1例如设为相当于5秒的计数值等。
如果转向指示器计数器的值未超出右转或左转判定阈值R1,则图像处理部3在步骤S215中判定当前不处于右转或左转过程。
另一方面,如果转向指示器计数器的值超出右转或左转判定阈值R1,则在步骤S213中将右转或左转后标志开启,在步骤S214中判定当前处于右转或左转过程。在此,右转或左转后标志是指用于表示在后述的市区判定中确认的右转或左转后的期间(右转或左转后的一定期间)的标志,该右转或左转后标志在一定时间(例如20秒)内,保持开启状态。
在步骤S214中判定为右转或左转过程之后,进行图7的步骤S202的情况下,图8的处理从步骤S210进入S212。在步骤S212中,图像处理部3确认转向指示器计数器的值是否小于右转或左转判定阈值R2。右转或左转判定阈值R2例如设为相当于2秒的计数值等。
如果转向指示器计数器的值不小于右转或左转判定阈值R2,则在步骤S214中继续进行右转或左转过程的判定。如果转向指示器计数器的值小于右转或左转判定阈值R2,则在步骤S215中判定为不处于右转或左转过程,即判定为右转或左转已结束。
例如,如该图8所示,判定是否为右转或左转过程。在此,通过设定为右转或左转判定阈值R1>R2,在判定处理中赋予迟滞,而抑制是否处于右转或左转过程的判定频繁变动。在此,在这里,在转向指示器亮灯(闪烁)期间判定了右转或左转,但是例如也可以根据转向角传感器17B的信息判定右转或左转过程,或者结合转向指示器亮灯期间与转向角传感器17B的信息来判定右转或左转过程。此外,也可以考虑将车体转向角度检测结果用于判定右转或左转过程。
在图7的步骤S202中,进行如以上图8所示的右转或左转过程判定,在判定为处于右转或左转过程中时,图像处理部3进入步骤S205,判定为无需远光灯的场景而使无需远光灯标志=1。
在判定为不处于右转或左转过程中时,图像处理部3在步骤S203中进行市区判定处理,判定当前的周围环境是否为市区。在市区判定处理中判定为市区时,图像处理部3进入步骤S205,判定为无需远光灯的场景而使无需远光灯标志=1。
另外,在市区判定处理中如果没有判定为市区,则作为需要远光灯的场景,在步骤S204中使无需远光灯标志=0。
即,在图7的场景判定处理中,在行驶速度不足一定速度的情况下、处于右转或左转过程中的情况下、在市区判定处理中判定为市区的情况下的任意一种情况下,使无需远光灯标志=1,即作为无需远光灯的场景。另一方面,如果不满足任意一个条件,则使无需远光灯标志=0,即作为需要远光灯的场景。
在这里,步骤S203的市区判定处理是通过使用拍摄图像的当前的检测目标帧单位中的路灯检测结果与以往的检测目标帧单位中的路灯检测结果这两者,考虑时间序列变动而判定车辆周围环境是否为市区的处理。
在此,“检测目标帧单位”是指作为获得用于场景判定处理的检测结果的单位的1个或者多个帧。因此,“当前的检测目标帧单位”并不仅限于拍摄图像的最近的1帧。如上所述,当通过亮图像G1、暗图像G2进行检测处理时,检测目标帧单位为亮图像G1与暗图像G2的2个帧期间的单位。另外,例如,在对2个帧或3个帧等的检测结果进行平均而进行1次场景判定处理的情况下,该多个帧相当于“检测目标帧单位”。
以下,关于如上所述的市区判定进行详细说明。
在市区判定处理中,首先为了判定从非市区进入到市区,设定一个判定值S,并按如下方式更新判定值S。
S=T·(上一次的S)+(1-T)·X
X=(在路灯检测范围Ag中作为路灯所辨别的目标群数+U·在前方行驶车辆检测范围As中没有被辨别为前方行驶车辆的目标群数+U·在对向行驶车辆检测范围At中没有被辨别为对向行驶车辆的目标群数)
上述“X”是作为在当前的检测目标帧单位下检测的检测结果的目标群数。即,是路灯的目标群与在前方行驶车辆检测范围As以及对向行驶车辆检测范围At中没有被辨别为前方行驶车辆及对向行驶车辆(=可能为路灯的)的目标群数之和。但是,“U”是给予检测结果的权重参数,其以辨别为路灯的目标群数为中心进行判定,因此“U”为1以下(例如0.5)。因此,“X”成为在识别为路灯的数量上反映少许可能为路灯的物体数量的值。说明中将“X”称作“路灯数反映值”。
“T”是设定为比0大且小于1的参数(以下还称为“系数T”),其设定时间序列上的各检测目标帧单位的检测结果的反映权重。“T”是上一次的判定值S的系数,“1-T”是当前的检测目标帧单位的路灯数X的系数,因此判定值S在系数T越接近0,当前的检测目标帧单位下的检测结果的权重越大,在系数T越接近1,以往的检测目标帧单位下的检测结果的权重越大。从上述公式来看,“上一次的判定值S”还包含上上次以前的判定值S的要素,因此判定值S在系数T越接近0,越反映短期的检测结果,在系数T越接近1,则越反映长期的检测结果。
在此,可以假设例如数十秒程度的期间而设定系数T。
但是,在右转或左转后一定期间(右转或左转后标志开启时),使系数T比通常的直行时小(使判定值S反映比较短期的检测结果)。例如,假设为数秒左右的期间的值。
以上的判定值S是反映当前的检测目标帧单位中的检测结果与以往的检测目标帧单位中的检测结果这两者的值。
如果该判定值S在预定的阈值thA(例如thA=3)以上,则判定为已从非市区进入到市区,即无需远光灯的场景。如果判定值S小于阈值thA,则判定为非市区,即需要远光灯的路况。
在此,在车辆停止时,不更新判定值S的值。这是为了在非市区偶然停靠在具有局部光源的地方时,防止判定结果误从非市区转向市区。
接下来,为了判定已从市区进入到非市区,使用上述路灯数反映值X。在路灯数反映值X为阈值thB(例如thB=3)以下的状态持续预定次数以上时,使判定结果转变至非市区。
具体地说,将路灯数反映值X在阈值thB以下的连续次数设定为“Y”,当连续次数Y在阈值V以上时,判定为非市区。
阈值V通常设定为10秒左右的相当值,但是在右转或左转后一定期间(右转或左转后标志开启时)阈值V比通常值缩短(例如,3秒左右的相当值)。
图9示出如上所述的市区判定处理的具体例。
在市区判定处理中,在图9的步骤S205中,图像处理部3确认当前自身车辆是否处于停车中。如果处于车辆停车中,则在步骤S266中维持上一次判定。也不进行判定值S的更新。
如果不处于车辆停车中,则在步骤S251中,确认右转或左转后标志是否开启。即,确认是否为在图8中所述的右转或左转后的期间(例如,检测为右转或左转过程后20秒的期间)。
如果右转或左转后标志关闭,则在步骤S252中设定系数T=T1、阈值V=V1。如果右转或左转后标志开启,则在步骤S253中设定系数T=T2、阈值V=V2。并且,T1>T2、V1>V2。这是为了在右转或左转后的期间,缩小系数T1、阈值V,而使关于判定是市区还是非市区的判定响应性比正常时(除右转或左转后的期间以外的时候)高。
在步骤S254中,图像处理部3使用当前的检测目标帧单位的检测结果来计算路灯数反映值X。
然后,在步骤S255中,使用路灯数X、系数T、上一次的判定值S而计算(更新)判定值S。
在步骤S256中,图像处理部3确认上一次的判定是否为市区。如果上一次的判定是非市区,则此次判定成为依然处于非市区或者已进入市区的判定。在这种情况下,图像处理部3进入步骤S257,将判定值S与阈值thA相比较。然后,如果判定值S在阈值thA以上,则作为已进入市区,在步骤S258中进行市区判定。如果判定值S小于阈值thA,则此次判定为依然处于非市区,在步骤S259中进行非市区判定。
另一方面,在上一次判定为市区的情况下,此次判定成为依然处于市区或者已进入非市区的判定。因此,首先,图像处理部3从步骤S256进入到步骤S260,将路灯数反映值X与阈值thB相比较。并且,如果路灯数反映值X在阈值thB以下,则在步骤S261中增加连续次数Y的值。如果路灯数反映值X超出阈值thB,则在步骤S262中将连续次数Y的值重置为零。
因此,连续次数Y的值表示在步骤S260中判定路灯数反映值X为阈值thB以下的连续次数。在步骤S263中,将该连续次数Y与阈值V进行比较,如果连续次数Y超出阈值V,则作为已进入非市区,在步骤S265中进行非市区判定。如果连续次数Y未超出阈值V,则此次判定为依然处于市区,在步骤S264中进行市区判定。
在这里,在右转后期间的情况下,在步骤S253中设系数T=T2、阈值V=V2。
首先,如果设系数T=T2,在步骤S255中所求得的判定值S以靠近当前的检测目标帧单位的量被加权,成为反映相对短期的时间序列转变的值。即,通过降低以往的检测目标帧单位中的路灯检测结果的反映度,并在当前的路灯检测结果中设置权重,从而在从非市区进入到市区时,在步骤S257中容易判定判定值S在阈值thA以上。据此,提高周围从非市区变为市区时的判定响应性。
另外,如果设阈值V=V2,则在步骤S263中即使连续次数Y比通常时少,也判定为非市区。因此,在周围从市区变为非市区时,可相对快速完成非市区判定。即,提高周围从市区变为非市区时的判定响应性。
如上所述,在自身车辆的右转或左转后的期间,使关于判定是市区还是非市区的判定响应性比正常时(=除右转或左转后的期间以外的时候)高。
<10.控制信息计算处理>
作为图5的步骤S108所执行的控制信息计算处理是基于由识别和辨别处理获得的前方行驶车辆、对向行驶车辆的识别和辨别结果与场景判定处理的结果来计算ADB控制信息的处理。具体的处理内容参照图10的流程图进行说明。
在图10中,图像处理部3在步骤S301中基于上述场景判定处理的结果(无需远光灯标志是“1”还是“0”)辨别是否为无需远光灯的场景。在获得是无需远光灯的场景的肯定结果的情况下,在步骤S305中生成表示远光灯关闭的控制信息,在步骤S306中将该控制信息输出至驾驶辅助控制部5(配光控制处理部5A)之后,结束处理。
另一方面,在获得需要远光灯的场景的否定结果时,在步骤S302中辨别是否存在前方行驶车辆或者对向行驶车辆。即,基于上述识别和辨别处理的结果,辨别是否存在前方行驶车辆或者对向行驶车辆的某一个。
在获得不存在前方行驶车辆或者对向行驶车辆的否定结果的情况下,在步骤S303中生成表示全部远光灯开启的控制信息,在步骤S306中向驾驶辅助控制部5输出该控制信息后,结束处理。
另外,在获得存在前方行驶车辆或者对向行驶车辆的肯定结果的情况下,在步骤S304中生成表示目标以外远光灯打开的控制信息。此时,图像处理部3基于识别和辨别处理的结果,计算可照射远光灯的范围(在下面,将该范围的信息标记为“照射范围信息”)。可照射远光灯的范围以前方行驶车辆、对向行驶车辆的左右坐标信息为基准进行计算。
在步骤S306中,图像处理部3将在步骤S304中生成的控制信息(含照射范围信息)输出至驾驶辅助控制部5,结束处理。
<11.基于控制信息的配光控制>
在驾驶辅助控制部5(配光控制处理部5A)中,作为配光控制处理,执行基于上述控制信息的配光控制。具体地说,在配光控制处理中,根据表示远光灯关闭的控制信息,对于灯光控制部10发出关闭远光灯的指示。另外,根据表示全部远光灯打开的控制信息,对于灯光控制部10发出打开全部远光灯的指示。此外,根据表示目标以外远光灯打开的控制信息,为使远光灯仅照射到按照包含于该控制信息的照射范围信息的范围中,而对灯光控制部10发出指示。
图11是根据表示目标以外远光灯打开的控制信息所实现的、关于远光灯的照射方式的说明图。在此,在图中纸张上方方向表示自身车辆的前方方向。
如图11A所示,这种情况下的远光灯的照射对于前方行驶车辆和对向行驶车辆存在的范围(图中斜线部分)以外的范围进行。
在此,作为ADB,还可以考虑只能对一处进行远光灯遮光的形态。在这种情况下,在与图11A相同地存在多个不应照射远光灯的目标且在这些目标之间形成有不存在目标的范围时,如图11B所示,进行配光控制,以将不应照射远光灯的目标(前方行驶车辆、对向行驶车辆)之间的范围也作为远光灯的非照射范围。为此,例如在前述的控制信息计算处理中,在存在多个不应照射远光灯的目标的情况下,对这些进行群组化,只要以该群的左右方向的最大坐标为基准计算照射范围信息即可。
在这里,作为不应照射远光灯的目标,对向行驶车辆如果向自身车辆靠近某种程度,则将从前照灯检测范围At脱离(参照图12)。因此,在确认对向行驶车辆靠近(例如50m:但是,在前照灯检测范围At中处于可检测的距离内为条件)某种程度的距离时,将向预计会车的方向的远光灯的照射关闭一定期间(例如1秒)。
<12.总结及变形例>
如上所述,在实施方式中,主要通过拍摄部2与图像处理部3的功能实现作为周围环境判定装置的构成。拍摄部2获得拍摄自身车辆前方的拍摄图像。图像处理部3具备:路灯检测处理部3F,其针对拍摄图像的每一个检测目标帧单位至少进行路灯检测;场景判定处理部3H(环境判定处理部),其使用所述拍摄图像的当前的检测目标帧单位中的路灯检测结果与以往的检测目标帧单位中的路灯检测结果这两者,进行判定车辆周围环境是否为市区的市区判定处理。
因此,基本上,不仅能够反映当前的检测目标帧单位,还能够反映以往的检测目标帧单位的检测结果而进行考虑到时间序列的变动的市区判定。据此,可以进行稳定的市区/非市区的判定。即,可以避免如在非市区中由于暂时路灯数量增加等而判定为市区,或者相反地在市区中由于暂时路灯数量减少而判定为非市区的错误判定以及判定结果的频繁变动。
但是,右转或左转后,有时周围环境(市区与非市区)会急剧地变化。因此,场景判定处理部3H在市区判定处理中,在作为开始自身车辆的右转或左转后的预定期间等的右转或左转后的期间中,使关于判定是市区还是非市区的判定响应性高于右转或左转后的期间以外的时候。例如,通常设为系数T=T1、阈值V=V1,在右转或左转后的期间设为系数T=T2、阈值V=V2,提高判定响应性。据此,对应右转或左转后的周围状况变化,能够执行迅速的判定。
在图13中进行说明。图13A示意性地示出在时间轴上所检测出的路灯,图13B示出在右转或左转后的期间内不变更判定响应性的情况,图13C示出如本实施方式那样在右转或左转后的期间内变更判定响应性的情况。
时间t1、t2分别表示进行右转或左转而道路情况变化的时间。
在不变更判定响应性的图13B的情况下,如箭头P4、P5的部分发生反应延迟。如果变更判定响应性,则如图13C的箭头P4’、P5’的部分改善反应延迟。
例如,在进行如从无需远光灯的街道经过右转或左转而进入需要远光灯的街道这样的行驶场景切换时,由于驾驶员希望更快地变为远光灯,因此也可以比正常行驶时快速地进行市区-非市区的判定切换。通过在右转或左转后的期间提高判定响应性,也能够应对这类情况。
另外,在实施方式中,在自身车辆停止过程中,在停车过程中不更新判定值S,因而判定结果维持上一次的结果。据此,避免在非市区偶然在有灯光的地方停车时等情况下做出错误判定,可提高判定的可靠性。
此外,在实施方式中,在自身车辆的右转或左转后的期间,通过降低以往的检测目标帧单位中的路灯检测结果的反映度来提高判定响应性。具体地说,是将系数T变更为T1、T2的方法。即,在观测时间序列变动的情况下,通过在当前的路灯检测结果中设置权重,可以执行相对短期的判定,并且可以提高判定响应性。
另外,在本实施方式中,在自身车辆的右转或左转后的期间,通过降低与路灯检测结果的值进行比较的阈值来提高判定响应性。具体地说,是将阈值V变更为V1、V2的方法。可以通过减小作为比较基准的阈值V来提高判定响应性。
在此,在右转或左转后通过阈值设定来提高判定响应性的方法,还可以考虑其他方法。例如,在图9的步骤S252、S253中,也可以对在步骤S257中使用的阈值thA以及在步骤S260中使用的阈值thB进行可变设定。
当然,也可以使系数T与阈值thA这两项、以及阈值V与阈值thB这两项在右转或左转后的期间发生变化。
另外,在实施方式的市区判定处理中,对于当前的检测目标帧单位中的路灯检测结果的值与以往的检测目标帧单位中的路灯检测结果的值分别进行预定的加权而平均的值(即,判定值S),如果在预定的阈值thA以上,则判定为市区(步骤S257)。作为判定值S,对当前与以往的检测目标帧单位中的路灯检测结果的值给予预定的加权之基础上进行平均,并通过将其与阈值thA进行比较,可实现导入时间序列变动的要素的判定,并且可为判定的稳定化、可靠性的提高做出贡献。
此外,在实施方式的市区判定处理中,在判定为市区之后,在各检测目标帧单位中的路灯检测结果的值连续预定次数(Y>V),并且在非市区判定阈值(thB)以下的情况下,判定为非市区。据此,在判定为市区时,可以避免简单地判定为非市区而确保判定的稳定性。
另外,在实施方式中,还具备配光控制部(控制信息计算部3I以及配光控制处理部5A),其在判定为当前的车辆周围环境是市区的情况下进行控制,以使前照灯不执行远光灯照射。据此,可以实现在判定行驶场景为市区时关闭远光灯,在AHB和/或ADB动作中实现恰当的远光灯配光动作。
在实施方式中,作为路灯检测结果,使用在拍摄图像的帧内所设定的路灯检测范围Ag内所检测出的路灯数(参照路灯数反映值X)。取而代之,或者在此基础上,也可以将在路灯检测范围Ag内的路灯区域的比例作为路灯检测结果来使用。由于路灯数和/或图像内的路灯区域的比例是区分市区与非市区的重要因素,因此通过使用这样的路灯检测结果,可以进行准确的市区判定。
另外,在前方行驶车辆检测范围As内未被辨别为前方行驶车辆的检测物体的数量、在对向行驶车辆检测范围At内未被辨别为对向行驶车辆的检测物体的数量也作为路灯数反映值X的要素。前方行驶车辆检测范围As的前方行驶车辆以外的检测物体(例如,高亮度物体)和/或对向行驶车辆检测范围At的对向行驶车辆以外的检测物体(例如,高亮度物体)考虑是市区的灯光等,可以成为区分市区与非市区的要素。通过参考这些要素而进行判定,可提高市区判定准确度。
在此,优选地,也可以在判定要素中加入前方行驶车辆检测范围As内的检测物体区域比例和/或对向行驶车辆检测范围At内的检测物体区域比例。
但是,也可以考虑在市区判定处理中不使用前方行驶车辆检测范围As和/或对向行驶车辆检测范围At内的检测结果信息(检测出的目标群)的实例。即,也可以仅使用路灯检测范围Ag内的目标群。
例如,关于在市区判定处理中的上述判定值S=T·(上一次的S)+(1-T)·X,将路灯数反映值X设定为X=(在路灯检测范围Ag中作为路灯而被辨别的目标群数)。
另外,本发明的具体结构和/或动作还可以有多种变形例。
作为获得拍摄自身车辆前方的拍摄图像的拍摄部,说明了使用作为图1的第一摄像机部2A、第二摄像机部2B的立体摄像***的实例,但是并不仅限于此,也可以在具备包含1部摄像机的拍摄部的构成中进行市区判定。
另外,在实施方式中,为了检测路灯、尾灯、前照灯而依次获取了亮图像G1与暗图像G2,但也可以不专门获取这样的快门速度不同的图像。
此外,也可以通过拍摄部2获得各个快门速度不同的路灯检测用图像、尾灯检测用图像、前照灯检测用图像。
另外,市区检测处理的具体方法并不仅限于图9的处理。
只要是使用当前以及以往的检测目标帧单位中的路灯检测结果进行判定的处理,则可适用本发明。
例如,可以考虑在作为一定时间的多个检测目标帧单位的期间内所检测的路灯数量超过预定数量的情况下判定为市区的处理中,在右转或左转后的期间,减小上述的预定数量的实例。
或者,还可以考虑在作为一定期间内的多个检测目标帧单位的期间内检测路灯的时间超过预定时间的情况下判定为市区的处理中,在右转或左转后的期间,缩短上述预定时间的值的实例。
总之,在使用当前以及以往的检测目标帧单位中的路灯检测结果而进行市区判定的处理中,只要是在右转或左转后的期间内提高判定响应性的方法即可。
另外,在实施方式中,作为一例而将右转或左转后的期间设为从检测出右转或左转过程开始后20秒的期间(右转或左转后标志开启的期间),但是当然并不仅限于20秒。另外,根据情况也可以改变右转或左转后的期间的长度。例如,根据右转或左转后的期间的车速、加速情况等,使右转或左转后的期间发生变化。
另外,作为场景判定处理,如图7所示那样进行了速度判定处理、右转或左转过程判定处理、市区判定处理,但是作为本发明的周围环境判定装置,只要至少进行市区判定处理即可。
此外,在图10中举例说明在ADB中应用场景判定结果的情况,但也可应用于AHB(Auto High Beam)。即,在存在前方行驶车辆、对向行驶车辆的情况和/或在无需远光灯的场景下,控制远光灯设定为关闭。具体地说,在AHB的情况下,在图11的步骤S302中,如果检测出前方行驶车辆和对向行驶车辆,则可以在步骤S305中将远光灯控制为关闭(不进行步骤S304)。

Claims (7)

1.一种周围环境判定装置,其具备:
拍摄部,其获取拍摄了自身车辆前方的拍摄图像;
检测处理部,其针对所述拍摄图像的每一个检测目标帧单位至少进行路灯检测;
环境判定处理部,其使用所述拍摄图像的当前的检测目标帧单位中的路灯检测结果与以往的检测目标帧单位中的路灯检测结果这两者进行判定车辆周围环境是否为市区的市区判定处理;
所述环境判定处理部在自身车辆的右转或左转后的期间内,使关于判定是市区还是非市区的判定响应性比右转或左转后的期间以外的时候高。
2.根据权利要求1所述的周围环境判定装置,其中,所述环境判定处理部在自身车辆的停止过程中不进行市区判定结果的更新。
3.根据权利要求1或2所述的周围环境判定装置,其中,所述环境判定处理部在自身车辆的右转或左转后的期间内,通过降低以往的检测目标帧单位中的路灯检测结果的反映度来提高判定响应性。
4.根据权利要求1或2所述的周围环境判定装置,其中,所述环境判定处理部在自身车辆的右转或左转后的期间内,通过降低与路灯检测结果的值进行比较的阈值来提高判定响应性。
5.根据权利要求1或2所述的周围环境判定装置,其中,在所述市区判定处理中,如果对于当前的检测目标帧单位中的路灯检测结果的值与以往的检测目标帧单位中的路灯检测结果的值分别进行预定的加权而平均的值在预定的阈值以上,则判定为市区。
6.根据权利要求1或2所述的周围环境判定装置,其中,在所述市区判定处理中,在判定为市区以后,如果各检测目标帧单位中的路灯检测结果的值连续预定次数处于用于判定非市区的阈值以下,则判定为非市区。
7.根据权利要求1或2所述的周围环境判定装置,还具备配光控制部,其在由所述环境判定处理部判定当前的车辆周围环境为市区时,控制前照灯使其不执行远光灯照射。
CN201410230939.7A 2013-05-29 2014-05-28 周围环境判定装置 Active CN104210421B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013112595A JP5820843B2 (ja) 2013-05-29 2013-05-29 周囲環境判定装置
JP2013-112595 2013-05-29

Publications (2)

Publication Number Publication Date
CN104210421A true CN104210421A (zh) 2014-12-17
CN104210421B CN104210421B (zh) 2016-10-26

Family

ID=51899575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410230939.7A Active CN104210421B (zh) 2013-05-29 2014-05-28 周围环境判定装置

Country Status (4)

Country Link
US (1) US9336447B2 (zh)
JP (1) JP5820843B2 (zh)
CN (1) CN104210421B (zh)
DE (1) DE102014107488B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110774975A (zh) * 2019-11-13 2020-02-11 上海智驾汽车科技有限公司 一种基于图像识别的智能灯光控制方法及装置
CN113196740A (zh) * 2018-12-18 2021-07-30 日立安斯泰莫株式会社 图像处理装置
CN113954736A (zh) * 2021-11-19 2022-01-21 东风悦享科技有限公司 一种智能大灯自适应交通环境控制***方法、***

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10252663B2 (en) * 2014-06-02 2019-04-09 Denso Corporation Headlight control apparatus
JP6314666B2 (ja) * 2014-06-02 2018-04-25 株式会社デンソー 前照灯制御装置
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
DE102015212104A1 (de) * 2015-06-30 2017-01-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrtrichtungsanzeigers eines Fahrzeugs
JP6200481B2 (ja) 2015-11-25 2017-09-20 株式会社Subaru 車外環境認識装置
JP6539191B2 (ja) * 2015-11-25 2019-07-03 株式会社Subaru 車外環境認識装置
JP6310899B2 (ja) 2015-11-25 2018-04-11 株式会社Subaru 車外環境認識装置
JP6527456B2 (ja) * 2015-12-02 2019-06-05 株式会社Subaru 車外環境認識装置
JP6756507B2 (ja) * 2016-04-01 2020-09-16 日立オートモティブシステムズ株式会社 環境認識装置
US9928434B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Appartuses, systems, and methods for determining when a vehicle occupant is using a mobile telephone
US9928433B1 (en) * 2016-06-14 2018-03-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for determining when a vehicle operator is texting while driving
DE102016005458A1 (de) * 2016-07-29 2018-02-01 Daimler Ag Betreiben eines Scheinwerfers
JPWO2019159765A1 (ja) * 2018-02-15 2021-01-28 株式会社小糸製作所 車両検出装置および車両用灯具システム
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
US11092480B2 (en) * 2018-09-27 2021-08-17 International Business Machines Corporation Light obstruction sensor
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
US11436876B2 (en) * 2019-11-01 2022-09-06 GM Global Technology Operations LLC Systems and methods for diagnosing perception systems of vehicles based on temporal continuity of sensor data
FR3104674B1 (fr) * 2019-12-16 2021-11-26 Valeo Vision Procédé de commande d’un système d’éclairage d’un véhicule automobile

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012020662A (ja) * 2010-07-15 2012-02-02 Koito Mfg Co Ltd 車両検出装置及びこれを備えた前照灯制御装置
CN102424016A (zh) * 2011-10-19 2012-04-25 清华大学 一种基于机器视觉的汽车前照灯自动控制***
JP2012242218A (ja) * 2011-05-18 2012-12-10 Denso Corp 車載レーザレーダ装置
CN102848968A (zh) * 2011-06-29 2013-01-02 比亚迪股份有限公司 一种车辆远近光灯控制装置及其控制方法
CN103042968A (zh) * 2012-12-21 2013-04-17 深圳职业技术学院 一种汽车车灯控制方法及控制***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225317A (ja) * 2004-02-12 2005-08-25 Ichikoh Ind Ltd 配光制御システム
JP4714104B2 (ja) 2006-07-31 2011-06-29 富士重工業株式会社 物体傾き検出装置
JP4775658B2 (ja) * 2006-12-27 2011-09-21 アイシン・エィ・ダブリュ株式会社 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP4722101B2 (ja) 2007-09-04 2011-07-13 日立オートモティブシステムズ株式会社 配光等の自動車の制御装置
JP5097648B2 (ja) 2008-08-28 2012-12-12 株式会社小糸製作所 前照灯制御装置および車両用前照灯装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012020662A (ja) * 2010-07-15 2012-02-02 Koito Mfg Co Ltd 車両検出装置及びこれを備えた前照灯制御装置
JP2012242218A (ja) * 2011-05-18 2012-12-10 Denso Corp 車載レーザレーダ装置
CN102848968A (zh) * 2011-06-29 2013-01-02 比亚迪股份有限公司 一种车辆远近光灯控制装置及其控制方法
CN102424016A (zh) * 2011-10-19 2012-04-25 清华大学 一种基于机器视觉的汽车前照灯自动控制***
CN103042968A (zh) * 2012-12-21 2013-04-17 深圳职业技术学院 一种汽车车灯控制方法及控制***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196740A (zh) * 2018-12-18 2021-07-30 日立安斯泰莫株式会社 图像处理装置
CN110774975A (zh) * 2019-11-13 2020-02-11 上海智驾汽车科技有限公司 一种基于图像识别的智能灯光控制方法及装置
CN113954736A (zh) * 2021-11-19 2022-01-21 东风悦享科技有限公司 一种智能大灯自适应交通环境控制***方法、***
CN113954736B (zh) * 2021-11-19 2023-06-23 东风悦享科技有限公司 一种智能大灯自适应交通环境控制***方法、***

Also Published As

Publication number Publication date
US9336447B2 (en) 2016-05-10
JP2014232408A (ja) 2014-12-11
JP5820843B2 (ja) 2015-11-24
DE102014107488A1 (de) 2014-12-04
DE102014107488B4 (de) 2019-05-23
CN104210421B (zh) 2016-10-26
US20140355827A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
CN104210421A (zh) 周围环境判定装置
O'Malley et al. Vehicle detection at night based on tail-light detection
CN101900567B (zh) 基于像素的无纹理畅通路径检测
CN103213540B (zh) 车辆的行驶环境辨识装置
CN101950350B (zh) 使用分级方法的畅通路径检测
CN101900566B (zh) 基于像素的纹理丰富畅通路径检测
CN103810469B (zh) 车外环境识别装置
CN102806867B (zh) 图像处理装置及配光控制方法
US20080007429A1 (en) Visibility condition determining device for vehicle
US20200074639A1 (en) Method and apparatus for evaluating a vehicle travel surface
US9690995B2 (en) Image processing apparatus
CN102881186A (zh) 车辆用外界识别装置及使用了该装置的车辆控制***
US10944958B2 (en) Method and device for detecting height-limiting rod, and automatic driving system
JP6723328B2 (ja) 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム
JP6034923B1 (ja) 車外環境認識装置
JP6227898B2 (ja) 画像処理装置
CN113246846B (zh) 车辆灯光控制方法、装置及车辆
CN103597498A (zh) 用于向车辆的大灯控制装置传输关于当前车辆周围环境的数据的方法和控制装置
CN103493099A (zh) 用于识别车辆摄像机的视野中的气溶胶的强度的方法和设备
CN110450706A (zh) 一种自适应远光灯控制***及图像处理算法
CN104115204A (zh) 立体物检测装置
JP2017016194A (ja) 車外環境認識装置
CN104008518B (zh) 对象检测设备
CN110588499A (zh) 一种基于机器视觉的前照灯自适应控制***及方法
JP6151569B2 (ja) 周囲環境判定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Subaru Co.

Address before: Tokyo, Japan

Patentee before: Fuji Heavy Industries, Ltd.