CN107615351A - 信号机检测装置及信号机检测方法 - Google Patents

信号机检测装置及信号机检测方法 Download PDF

Info

Publication number
CN107615351A
CN107615351A CN201580080664.6A CN201580080664A CN107615351A CN 107615351 A CN107615351 A CN 107615351A CN 201580080664 A CN201580080664 A CN 201580080664A CN 107615351 A CN107615351 A CN 107615351A
Authority
CN
China
Prior art keywords
semaphore
vehicle
angle
video camera
wide angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080664.6A
Other languages
English (en)
Other versions
CN107615351B (zh
Inventor
山井大贵
松尾治夫
冲孝彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN107615351A publication Critical patent/CN107615351A/zh
Application granted granted Critical
Publication of CN107615351B publication Critical patent/CN107615351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

信号机检测装置具备：窄角摄像机(11)、具有比窄角摄像机(11)宽的视角的广角摄像机(12)、根据通过窄角摄像机(11)拍摄的窄角图像及通过广角摄像机(12)拍摄的广角图像的至少任一图像检测信号机的信号机检测部(4)，信号机检测部(4)基于根据信号机相对于车辆(5)的位置和车辆(5)的速度计算出的、为了车辆(5)停止在相对于信号机的停止位置而车辆(5)应该开始减速的减速开始区域，选择根据窄角图像检测出的信号机及根据广角图像检测出的信号机的任一个作为检测结果。

Description

信号机检测装置及信号机检测方法
技术领域
本发明涉及检测交通信号机的信号机检测装置及信号机检测方法。
背景技术
提案有通过选择由具有宽的视角的广角摄像机拍摄的广角图像及由具有窄的视角的窄角摄像机拍摄的窄角图像的任一种的检测结果，能够连续监视车辆前方的物体的装置(参照专利文献1)。在这种装置中，在直至物体的距离超过通过广角图像以希望的精度可检测到的距离的情况下，选择窄角图像，在物体为窄角摄像机的视野外的情况，选择广角图像。
现有技术文献
专利文献
专利文献1:(日本)特开2011－121398号公报
然而，专利文献1记载的技术对于因切换检测结果时产生的识别的延迟时间或不确认等而车辆控制的判断延迟的可能性并没有提及。当使车辆停止的判断延迟时，可能需要大的减速度。
发明内容
鉴于上述问题点，本发明的目的在于，提供能够抑制因切换检测结果中的延迟时间或不确认等引起的对车辆控制的影响的信号机检测装置及信号机检测方法。
信号机检测装置通过考虑为了车辆停止而应该开始减速的区域，以在检测结果切换中减少对车辆控制的影响的方式来切换窄角摄像机及广角摄像机对信号机(信号灯)的检测结果。
附图说明
图1是说明本发明的实施方式的信号机检测装置的基本的结构的示意性块图；
图2是说明本发明的实施方式的信号机检测装置的结构及数据流的块图；
图3是说明通过窄角摄像机及广角摄像机可检测信号机的区域、减速开始区域、及可切换区域的图；
图4(a)～图4(c)是说明窄角摄像机及广角摄像机的视角区域的图；
图5是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开始区域、及可切换区域(W1侧)的图；
图6是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开始区域、及可切换区域(N2侧)的图；
图7是说明本发明的实施方式的信号机检测装置的信号机检测方法的一例的流程图。
具体实施方式
参照附图，说明本发明的实施方式。在附图的记载中，在相同或类似的部分附加相同或类似的符号，省略重复的说明。
(信号机检测装置)
如图1所示，本实施方式的信号机检测装置具备包括窄角摄像机11及广角摄像机12的摄像部1、具有摄像机选择部2及图像处理部3的信号机检测部4、车速传感器10。车速传感器10检测车辆5的速度，并将检测出的速度作为速度信息Dv向摄像机选择部2输出。信号机检测部4根据通过摄像部1拍摄的图像，检测设置于车辆5行驶的道路周边且存在于车辆5的前方的信号机，并将作为检测结果的信号机信息Dt向外部输出。车辆5例如是基于信号机检测部4的信号机信息Dt等，沿着预设定的行驶路径自动行驶的自动驾驶车辆。
窄角摄像机11及广角摄像机12分别搭载于车辆5，拍摄车辆5的前方。窄角摄像机11及广角摄像机12分别具备CCD、CMOS等固体摄像元件，输出可进行图像处理的数字图像。广角摄像机12具有比窄角摄像机11宽的视角(视场角)。因此，广角摄像机12以相同的析像度拍摄离开相同的距离的对象的情况下，与窄角摄像机11相比，其分辨率低。窄角摄像机11将拍摄出的窄角图像作为窄角图像信息Dn向信号机检测部4输出。广角摄像机12将拍摄出的广角图像作为广角图像信息Dw向信号机检测部4输出。
摄像机选择部2及图像处理部3例如使用具备中央运算处理装置(CPU)、存储器、及输入输出部的微控制器能够实现。该情况下，CPU通过执行在微控制器预先安装的计算机程序，构成摄像机选择部2及图像处理部3。微控制器例如也可以兼用为用于自动驾驶控制等的车辆5的其它的控制的电子控制单元(ECU)。
图像处理部3根据通过窄角摄像机11拍摄的窄角图像及通过广角摄像机12拍摄的广角图像的至少任一图像，并通过图像处理检测出信号机。图像处理部3基于摄像机选择部2的决定，将根据窄角图像检测出的信号机及根据广角图像检测出的信号机的任一个作为信号机信息Dt输出。图像处理部3根据窄角图像及广角图像的任一个检测信号机，由此，能够降低处理负荷。该情况下，图像处理部3在切换用于信号机的检测的窄角图像和广角图像时，检测中会产生延迟时间。
图像处理部3分别对通过窄角摄像机11拍摄的窄角图像及通过广角摄像机12拍摄的广角图像实施用于检测信号机的图像处理。例如，图像处理部3根据生成同步图像检测在基于工业用电源的交流周期的特定的周期进行闪烁的信号机所具有的信号灯。或者，图像处理部3使用色调及形状的类似判定处理，能够检测信号机。这样，图像处理部3使用各种图像处理方法或它们的组合能够检测信号机及信号机的颜色。
此外，图像处理部3在图像上不是设定窄角图像信息Dn、广角图像信息Dw表示的各图像的整个区域，而是设定一部分检测区域，通过只对检测区域实施图像处理，能够降低用于信号机检测的处理负荷及处理时间。基于从包括道路形状及信号机的位置的地图信息、车辆5的位置信息等推定的信号机的位置，检测区域被设定在图像上。
如图2所示，摄像机选择部2具备可检测区域计算部21、减速开始区域计算部22、可切换区域计算部23、延迟距离计算部24、切换区域决定部25、摄像机决定部26。摄像机选择部2基于速度信息Dv等，向图像处理部3输出在图像处理部3指定将从窄角图像检测出的信号机及从广角图像检测出的信号机的哪个作为信号机信息Dt输出的选择摄像机信息Ds。
可检测区域计算部21基于表示在窄角摄像机11及广角摄像机12的所设定的视角、垂直及水平方向的角度、析像度的摄像机信息Dc，计算出能够检测信号机的可检测区域，作为可检测区域信息D01输出。可检测区域计算部21对窄角摄像机11及广角摄像机12分别计算出信号机的检测率超过规定的阈值的区域、信号机未偏离视角的区域。可检测区域计算部21根据对窄角摄像机11及广角摄像机12分别计算出的区域，计算出窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域作为可检测区域。
此外，基于检测对象和车辆5之间的距离，预测由窄角摄像机11及广角摄像机12取得的图像上的像素数量，信号机的检测率超过规定的阈值的区域通过预测的像素数量是否超过在过去的检测数据中成为阈值的检测对象的像素而计算出。信号机未偏离视角的区域基于沿着车辆5的行进方向的信号机从窄角摄像机11及广角摄像机12的光轴的偏离而计算出。
如图3所示，将从车辆5至信号机的距离设为X时，通过窄角摄像机11可检测信号机的区域是由右上的阴影所示的区域，在信号机T1和T2所在的区域，在车辆的前后方向的距离是N21＜X＜N1的区域。另外，通过广角摄像机12可检测信号机的区域是由左上阴影所示的区域，在信号机T2和T3所在的区域，在车辆的前后方向的距离是W2＜X＜W1的区域。此外，车辆的车宽方向表示未偏离窄角摄像机11及广角摄像机12的横向的视角的区域，车辆的前后方向的距离越近就越窄。
N1及W1分别指窄角摄像机11及广角摄像机12对信号机的检测率超过规定的阈值的距离，是基于根据各图像可检测信号机的距离而设定的规定值。窄角摄像机11对信号机的检测率超过规定的阈值的距离区域是X＜N1，广角摄像机12对信号机的检测率超过规定的阈值的距离区域是X＜W1。N2及W2分别是信号机偏离窄角摄像机11及广角摄像机12的视角的位置中基于车辆的前后方向的位置而设定的规定值。信号机偏离窄角摄像机11的视角的区域在车辆的前后方向中是X＜N2，信号机偏离广角摄像机12的视角的区域在车辆的前后方向中是X＜W2。由于N2＜W1，所以窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域在信号机T2所在的区域，在车辆的前后方向是N2＜X＜W1。可检测区域计算部21将N2＜X＜W1作为可检测区域信息D01并输出。
图4(a)～(c)是表示从车辆5向前进方向捕获信号机的由窄角摄像机11及广角摄像机12取得的图像的图。图4(a)～(c)表示图3的信号机T1～T3分别所在的状态。窄角摄像机11的视角范围位于广角摄像机12的视角范围的内侧。图4(a)表示位于仅通过窄角摄像机11可检测的区域的信号机T1。广角摄像机12对信号机的检测率为规定的阈值以下的距离区域为X≥W1。图4(b)表示位于窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域的信号机T2。图4(c)表示位于仅通过广角摄像机12可检测的区域的信号机T2。信号机偏离窄角摄像机11的视角的区域是X＜N2。
减速开始区域计算部22基于车辆5减速时作为目标的减速度的目标减速度Dr和速度信息Dv，计算出为了使车辆5停止在相对于各信号机的停止位置而车辆5应该减速的减速开始区域，并作为减速开始区域信息D02输出。目标减速度Dr也可以是作为目标的减速度的范围。
目标减速度Dr表示的减速度的范围设为a0～a1(a0＜a1)，速度信息Dv表示的车辆5的速度设为v，从信号机至信号机的停止线的距离设为α时，减速开始区域的自车辆的前后方向的距离能够如下式(1)所示。
v2/(2×a0)－α～v2/(2×a1)－α (1)
在图3所示的例子中，C1相当于v2/(2×a1)－α，C2相当于v2/(2×a0)－α。即，减速开始区域信息D02是指只要在至信号机的距离X为C2≤X≤C1的期间开始减速，则车辆5就能够以减速度a0～a1停止在停止位置。考虑乘客的乘坐感觉等，减速度也可以调整大小及范围(a0～a1)。
可切换区域计算部23基于可检测区域信息D01及减速开始区域信息D02，以车辆控制不与开始减速的时刻重合的方式计算出图像处理部3能够从窄角图像切换为广角图像的可切换区域，并作为可切换区域信息D03输出。图3所示的例子中，可切换区域信息D03所示的区域是从可检测区域信息D01除去减速开始区域信息D02的区域。
假如，X在减速开始区域内时，如果图像处理部3从窄角图像切换为广角图像，则用于停止的判断延迟，车辆5有可能需要比目标减速度Dr大的减速度。通过判断在X为可切换区域内的位置是否为了停止而减速，开始减速控制，车辆5以目标减速度Dr内的减速度在相对于各信号机的停止位置能够停止。
延迟距离计算部24基于将图像处理部3用于信号机的检测的窄角图像切换为广角图像时的规定的延迟时间t、速度信息Dv表示的车辆5的速度v，计算出在延迟时间t车辆5移动的延迟距离，并作为延迟距离信息D04输出。t可以预先设定。在图3所示的例子中，在延迟时间t，X从D1至变为D2，车辆5以速度v移动时，延迟距离|D1－D2|为vt。
切换区域决定部25基于可切换区域信息D03和延迟距离信息D04，决定表示图像处理部3从窄角图像切换为广角图像的区域的切换区域，并作为切换区域信息D05输出。
切换区域决定部25决定延迟距离收敛在可切换区域内的区域作为切换区域。另外，切换区域在信号机位于可切换区域时，即使产生延迟距离，以能够将根据分辨率高的窄角图像检测出的信号机作为尽可能长的时间检测结果而决定。即，切换区域决定部25将延迟距离|D1－D2|接近N2，且收敛在可切换区域(除了C2≤X≤C12的N2＜X＜W1)的区域作为切换区域而决定。
在图5所示的例子中，切换区域信息D05所示的区域(E2≤X≤E1)因延迟距离未收敛在比减速开始区域靠N2侧，所以决定为W1侧的区域中尽可能接近C1的区域。此外，E1及E2与D1及D2对应。即，图像处理部3在信号机经过E1时，从窄角图像切换为广角图像进行信号机的检测。信号机进入减速开始区域前，能够从窄角图像切换为广角图像，抑制对车辆控制的影响，能够切换信号机的检测结果。另外，在图6所示的例子中，切换区域信息D05所示的区域(E2≤X≤E1)由于延迟距离收敛在C2和N2之间，所以决定在尽可能接近N2的区域。直至信号机通过减速开始区域，利用图像处理部3根据窄角摄像机11的窄角图像能够检测信号机。抑制对车辆控制的影响，切换信号机的检测结果，同时，并通过长期使用析像度高的窄角图像，能够延长更高精度的信号机的检测。
摄像机决定部26基于可切换区域信息D03、信号机的相对位置信息Dp、选择摄像机履历信息Dh、速度信息Dv，输出表示在信号机的检测中使用窄角摄像机11及广角摄像机12哪一个的选择摄像机信息Ds。选择摄像机履历信息Dh是拍摄用于前一个的信号机的检测的图像的摄像机及表示前一个的信号机的检测结果的信息。选择摄像机信息Ds是在图像处理部3指定将根据窄角图像检测出的信号机及根据广角图像检测出的信号机的哪一个作为信号机信息Dt输出的信息。
相对位置信息Dp是表示各信号机相对于车辆5的相对位置的信息。相对位置信息Dp根据包含道路形状及信号机的位置的地图信息、车辆5的位置信息来推定。车辆5的位置信息从全球定位***(GPS)接收机等测位装置、搭载于车辆5的加速度传感器、舵角传感器及车速传感器10取得。此外，相对位置信息Dp表示的信号机是对车辆5提示信号的信号机，即车辆应该遵守的信号机。
(摄像机决定部的动作)
以下，参照图7的流程图，说明本实施方式的信号机检测装置的信号机检测方法的一例。以下所示的处理通过摄像机决定部26针对向车辆5提示信号的信号机的每一个执行。
在步骤S1，摄像机决定部26判定信号机的位置是否处于通过窄角摄像机11可检测的区域。即，从车辆5至信号机的距离X为通过可检测区域计算部21计算出的N2以上，且判定是否是不偏离窄角摄像机11的横向的视角的区域。摄像机决定部26在信号机的位置处于通过窄角摄像机11可检测的区域的情况下，向步骤S2进行处理，信号机的位置不在通过窄角摄像机11可检测的区域的情况下，不能根据窄角图像检测出信号机，所以，在步骤S7选择广角摄像机12。
在步骤S2，摄像机决定部26判定信号机的位置是否处于通过广角摄像机12可检测的区域。此外，广角摄像机12的横向的视角因比窄角摄像机11的横向的视角宽，所以在步骤S2，信号机处于不偏离广角摄像机12的横向的视角的区域。即，判定从车辆5至信号机的距离X是否为通过可检测区域计算部21计算出的W1以下。车辆5朝向信号机前进的情况下，摄像机决定部26判定在图像处理部3通过窄角摄像机11的窄角图像检测出的信号机是否进入通过广角摄像机12可检测的区域。摄像机决定部26在信号机的位置处于通过广角摄像机12可检测的区域的情况下，向步骤S3进行处理，在信号机的位置不在通过广角摄像机12可检测的区域的情况下，因信号机不能根据广角图像检测，所以，在步骤S8选择窄角摄像机11。
在步骤S3，摄像机决定部26判定通过图像处理部3检测出的信号机是否为绿色信号。摄像机决定部26在信号机不是绿色信号的情况下，向步骤S4进行处理。摄像机决定部26在信号机是绿色信号的情况下，向步骤S5进行处理。
在步骤S4，摄像机决定部26判定信号机的位置是否通过减速开始区域。即，判定从车辆5至信号机的距离X是否进入通过减速开始区域计算部22计算出的X≤C1的区域。在信号机的位置未通过减速开始区域的情况下，向步骤S5进行处理。摄像机决定部26在信号机不是绿色信号，或未检测出信号机的情况，在信号机的位置通过减速开始区域的情况下，车辆5已开始减速，在检测信号机的图像的切换时即使产生延迟，信号机变化为绿色信号，或检测有绿色信号的情况下，只在中止车辆的减速控制的时刻产生延迟，影响少，所以，在步骤S9选择广角摄像机12。由此，摄像机决定部26在信号机为绿色信号期间，能够不易产生因检测结果的切换而引起的延迟。
在步骤S5，摄像机决定部26根据选择摄像机履历信息Dh判定前一个的信号机的检测结果是否是窄角摄像机11的检测结果。摄像机决定部26在前一个处理中选择窄角摄像机11的情况下，向步骤S7进行处理。摄像机决定部26在前一个的处理中选择广角摄像机12的情况下，向步骤S6进行处理。
在步骤S6，摄像机决定部26基于对于前一个的处理，从车辆5的位置信息等推定的交叉路口(信号机)的位置，判定车辆5是否通过交叉路口(信号机)。摄像机决定部26在判定出车辆5通过交叉路口(信号机)的情况下，向步骤S7进行处理。摄像机决定部26在判定出车辆5未通过交叉路口(信号机)的情况下，进入步骤S9，由于将检测结果的切换设为最低限度，所以，直至判定出车辆5通过交叉路口(信号机)为止，继续选择广角摄像机12。
在步骤S7，摄像机决定部26基于切换区域信息D05，判定检测出的信号机的位置是否处于通过切换区域决定部25决定的切换区域。即，判定从车辆5至信号机的距离X是否为E2≤X≤E1。摄像机决定部26在信号机的位置处于切换区域的情况下，在步骤S9，选择广角摄像机12。摄像机决定部26在信号机的位置不在切换区域的情况下，在步骤S8，继续选择窄角摄像机11。
摄像机决定部26生成在图像处理部3指定将根据步骤S8或步骤S9中选择的摄像机的图像检测出的信号机作为信号机信息Dt输出的选择摄像机信息Ds，向图像处理部3输出。
根据本实施方式的信号机检测装置，在信号机位于决定为避开减速开始区域的切换区域内时，将检测结果从根据窄角图像检测出的信号机切换为根据广角图像检测出的信号机。由此，本实施方式的信号机检测装置抑制对车辆控制的影响，能够切换信号机的检测结果，能够进行车辆5的顺畅的减速控制。
另外，根据本实施方式的信号机检测装置，切换区域基于信号机从窄角摄像机11的视角偏离的距离而设定，所以，能够长时间选择分辨率高的窄角摄像机11的检测结果。因此，本实施方式的信号机检测装置能够提高信号机的检测精度。
另外，根据本发明的实施方式的信号机检测装置，检测的信号机是绿色信号的情况下，基于信号机从窄角摄像机11的视角偏离的距离，将检测结果切换为广角摄像机12的检测结果。由此，本实施方式的信号机检测装置能够长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测精度。
另外，根据本实施方式的信号机检测装置，因切换区域基于根据广角图像可检测信号机的距离来设定，所以，在广角摄像机12的检测精度低的位置，继续选择窄角摄像机11的检测结果。因此，本实施方式的信号机检测装置能够长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测精度。
另外，根据本实施方式的信号机检测装置，在检测出的信号机不是绿色信号，或不能检测信号机的情况，且通过减速开始区域的情况下，车辆5已开始减速，所以，选择根据广角图像检测出的信号机作为检测结果。由此，本实施方式的信号机检测装置在信号机为绿色信号期间，能够难以产生因检测结果的切换而引起的延迟。
另外，根据本实施方式的信号机检测装置，在选择广角摄像机12的检测结果的情况下，直至车辆5通过交叉路口为止，继续选择广角摄像机12。由此，本实施方式的信号机检测装置降低不需要的检测结果的切换，能够将检测结果的切换抑制在最低限度。
(其它的实施方式)
如上述，通过上述实施方式描述了本发明，但不应该理解为构成本公开的一部分的论述及附图限定本发明。根据本公开的内容，各种代替实施方式、实施例及运用技术对于本领域技术人员来说是显而易见的。
例如，在已论述的实施方式中，图6的流程图的步骤S3及步骤S4的处理的顺序可以相反。其它，不用说，包含彼此应用上述各构成的构成等，本发明在此未描述的各种实施方式等。因此，本发明的技术的范围仅根据上述的说明并通过适当的请求保护范围的发明特定事项来确定。
产业上的可利用性
根据本发明，可提供通过考虑车辆应该开始减速的减速开始区域进行检测结果的切换，能够减少切换引起的对车辆控制的影响的信号机检测装置及信号机检测方法。
符号说明
4 信号机检测部
5 车辆
10 车速传感器
11 窄角摄像机
12 广角摄像机

Claims (7)

1.一种信号机检测装置，其特征在于，具备：
窄角摄像机，其拍摄车辆的前方；
广角摄像机，其拍摄所述车辆的前方，并具有比所述窄角摄像机宽的视角；
信号机检测部，其根据通过所述窄角摄像机拍摄的窄角图像及通过所述广角摄像机拍摄的广角图像的至少任一个图像检测信号机，
所述信号机检测部基于根据信号机相对于所述车辆的位置和所述车辆的速度计算出的、为了使所述车辆停止在相对于所述信号机的停止位置而所述车辆应该开始减速的减速开始区域，选择根据所述窄角图像检测出的信号机及根据所述广角图像检测出的信号机的任一个作为检测结果。
2.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在所述信号机相对于所述车辆的位置处于所述信号机从所述窄角摄像机的视角偏离的区域的情况下，选择根据广角图像检测出的信号机作为检测结果。
3.如权利要求2所述的信号机检测装置，其特征在于，
所述信号机检测部在所述信号机相对于所述车辆的位置不是基于所述信号机从所述窄角摄像机的视角偏离的距离而设定的规定值以上的情况，且检测出的信号机是绿色信号的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
4.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在从所述车辆至所述信号机的距离处于根据所述广角图像可检测信号机的距离区域的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
5.如权利要求4所述的信号机检测装置，其特征在于，
所述信号机检测部在检测出的信号机不是绿色信号，或不能检测出信号机的情况，且从所述车辆至所述信号机的距离处于根据所述广角图像可检测信号机的距离区域的情况下，选择根据所述广角图像检测出的信号机作为检测结果。
6.如权利要求1所述的信号机检测装置，其特征在于，
所述信号机检测部在选择根据所述广角图像检测出的信号机作为检测结果的情况下，直至判断出所述车辆通过交叉路口为止，继续选择从所述广角图像检测出的信号机作为检测结果。
7.一种信号机检测方法，其特征在于，包含下述步骤：
根据通过拍摄车辆的前方的窄角摄像机拍摄的窄角图像及通过拍摄所述车辆的前方并具有比所述窄角摄像机宽的视角的广角摄像机拍摄的广角图像的至少任一图像，检测信号机；
根据信号机相对于所述车辆的位置和所述车辆的速度，计算出为了使所述车辆停止在相对于所述信号机的停止位置，所述车辆应该开始减速的减速开始区域；
基于所述减速开始区域，选择根据所述窄角图像检测出的信号机及根据所述广角图像检测的信号机的任一个。
CN201580080664.6A 2015-06-05 2015-06-05 信号机检测装置及信号机检测方法 Active CN107615351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066364 WO2016194228A1 (ja) 2015-06-05 2015-06-05 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
CN107615351A true CN107615351A (zh) 2018-01-19
CN107615351B CN107615351B (zh) 2018-10-30

Family

ID=57440767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080664.6A Active CN107615351B (zh) 2015-06-05 2015-06-05 信号机检测装置及信号机检测方法

Country Status (10)

Country Link
US (1) US10055656B2 (zh)
EP (1) EP3306589B1 (zh)
JP (1) JP6447722B2 (zh)
KR (1) KR101942214B1 (zh)
CN (1) CN107615351B (zh)
BR (1) BR112017026218B1 (zh)
CA (1) CA2988303C (zh)
MX (1) MX361912B (zh)
RU (1) RU2668782C1 (zh)
WO (1) WO2016194228A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114746923A (zh) * 2019-11-12 2022-07-12 日产自动车株式会社 信号机识别方法及信号机识别装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652514B (zh) * 2017-01-22 2021-08-03 斑马信息科技有限公司 提高交通网络中车辆通行能力的***和方法
JP7184591B2 (ja) 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7245653B2 (ja) * 2019-01-04 2023-03-24 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7261588B2 (ja) * 2019-01-04 2023-04-20 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7115420B2 (ja) * 2019-05-23 2022-08-09 株式会社デンソー 画像処理装置
JP7167880B2 (ja) * 2019-08-27 2022-11-09 トヨタ自動車株式会社 停止線位置推定装置及び車両制御システム
US11987245B2 (en) 2019-11-15 2024-05-21 Nissan Motor Co., Ltd. Method for controlling vehicle and vehicle control device
JP7503031B2 (ja) * 2021-08-02 2024-06-19 株式会社デンソー 車両制御装置
WO2024024114A1 (ja) * 2022-07-29 2024-02-01 日本電信電話株式会社 物体検知率算出装置、物体検知率算出方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244737A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 監視システム
US20070046449A1 (en) * 2005-08-31 2007-03-01 Honda Motor Co., Ltd. Travel safety apparatus for vehicle
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法
JP2009219000A (ja) * 2008-03-12 2009-09-24 Pioneer Electronic Corp カメラ装置および撮像システム
JP2010026618A (ja) * 2008-07-16 2010-02-04 Alpine Electronics Inc 車載用ナビゲーション装置及び交差点進入案内方法
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
US20130088578A1 (en) * 2011-10-06 2013-04-11 Yuhko UMEZAWA Image processing apparatus and vehicle
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
JP4622928B2 (ja) * 2006-04-14 2011-02-02 トヨタ自動車株式会社 車載カメラ制御装置および車載カメラ制御方法。
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP2010225075A (ja) 2009-03-25 2010-10-07 Denso Corp 運転支援装置
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
JP5761109B2 (ja) * 2012-04-10 2015-08-12 トヨタ自動車株式会社 運転支援装置
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства
WO2016006029A1 (ja) * 2014-07-08 2016-01-14 日産自動車株式会社 信号機検出装置及び信号機検出方法
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244737A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 監視システム
US20070046449A1 (en) * 2005-08-31 2007-03-01 Honda Motor Co., Ltd. Travel safety apparatus for vehicle
CN101395645A (zh) * 2006-03-06 2009-03-25 丰田自动车株式会社 图像处理***及方法
JP2008015759A (ja) * 2006-07-05 2008-01-24 Honda Motor Co Ltd 運転支援装置
JP2009219000A (ja) * 2008-03-12 2009-09-24 Pioneer Electronic Corp カメラ装置および撮像システム
JP2010026618A (ja) * 2008-07-16 2010-02-04 Alpine Electronics Inc 車載用ナビゲーション装置及び交差点進入案内方法
JP2011121398A (ja) * 2009-12-08 2011-06-23 Toyota Motor Corp 車両前方監視装置
US20130088578A1 (en) * 2011-10-06 2013-04-11 Yuhko UMEZAWA Image processing apparatus and vehicle
CN104411559A (zh) * 2012-03-26 2015-03-11 谷歌公司 用于检测交通信号及其关联状态的鲁棒方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114746923A (zh) * 2019-11-12 2022-07-12 日产自动车株式会社 信号机识别方法及信号机识别装置
CN114746923B (zh) * 2019-11-12 2024-05-14 日产自动车株式会社 信号机识别方法及信号机识别装置

Also Published As

Publication number Publication date
EP3306589A4 (en) 2018-05-02
EP3306589A1 (en) 2018-04-11
JPWO2016194228A1 (ja) 2018-03-29
BR112017026218B1 (pt) 2021-01-05
WO2016194228A1 (ja) 2016-12-08
KR20180008727A (ko) 2018-01-24
RU2668782C1 (ru) 2018-10-02
US20180150705A1 (en) 2018-05-31
CN107615351B (zh) 2018-10-30
MX2017015442A (es) 2018-03-07
EP3306589B1 (en) 2019-01-09
KR101942214B1 (ko) 2019-01-24
CA2988303A1 (en) 2016-12-08
CA2988303C (en) 2018-11-13
JP6447722B2 (ja) 2019-01-09
US10055656B2 (en) 2018-08-21
MX361912B (es) 2018-12-19

Similar Documents

Publication Publication Date Title
CN107615351A (zh) 信号机检测装置及信号机检测方法
JP5421072B2 (ja) 接近物体検知システム
US9426364B2 (en) Image processing apparatus and image processing method
JP3671825B2 (ja) 車間距離推定装置
US20180365991A1 (en) Traffic Light Recognition Device and Traffic Light Recognition Method
JP2016016681A (ja) 駐車枠認識装置
JP2018180941A (ja) 傾斜検出装置
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
US10609337B2 (en) Image processing apparatus
JP2014503408A (ja) ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置
JP2020068515A (ja) 画像処理装置
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US20200104604A1 (en) Vehicle traveling environment detecting apparatus and vehicle traveling controlling system
US10210407B2 (en) Traffic signal detection device and traffic signal detection method
US9827906B2 (en) Image processing apparatus
JP2020109560A (ja) 信号機認識方法及び信号機認識装置
RU2737641C1 (ru) Способ помощи при парковке и устройство помощи при парковке
JPH0552562A (ja) 先行車追尾用車間距離検出装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6280426B2 (ja) 車両用ヘッドライトの測定装置
JP2010018223A (ja) 車両用走行路面検出装置
JP2006036048A (ja) 車両ライト制御装置
JP2016051994A (ja) 車両の接近物体検出装置
JP2020042716A (ja) 異常検出装置および異常検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant