JP6500887B2 - 車両用注意喚起装置 - Google Patents

車両用注意喚起装置 Download PDF

Info

Publication number
JP6500887B2
JP6500887B2 JP2016250556A JP2016250556A JP6500887B2 JP 6500887 B2 JP6500887 B2 JP 6500887B2 JP 2016250556 A JP2016250556 A JP 2016250556A JP 2016250556 A JP2016250556 A JP 2016250556A JP 6500887 B2 JP6500887 B2 JP 6500887B2
Authority
JP
Japan
Prior art keywords
target
vehicle
camera
target information
specifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016250556A
Other languages
English (en)
Other versions
JP2018106334A (ja
Inventor
哲平 太田
哲平 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016250556A priority Critical patent/JP6500887B2/ja
Priority to US15/846,923 priority patent/US10124812B2/en
Priority to DE102017131183.1A priority patent/DE102017131183B4/de
Priority to CN201711405483.3A priority patent/CN108237998B/zh
Publication of JP2018106334A publication Critical patent/JP2018106334A/ja
Application granted granted Critical
Publication of JP6500887B2 publication Critical patent/JP6500887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009Priority selection
    • B60W2050/0091Priority selection of control inputs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、カメラセンサにより取得された第1物標情報及びレーダーセンサにより取得された第2物標情報に基づいて自車両と衝突する可能性がある障害物を抽出し、表示部を使って障害物に対するドライバーの注意を喚起する車両用注意喚起装置に関する。
従来から知られるこの種の車両用注意喚起装置の一つ(以下、「従来装置」と称呼する)は、ミリ波レーダー及びステレオカメラの2つの検出手段を備える。更に、従来装置は、2つの検出手段による検出結果を用いて物標の自車両に対する方位及び物標と自車両との間の距離を特定することによって物標の位置を特定する。加えて、従来装置は、これらの特定された物標の方位及び位置を用いてドライバーの注意を喚起すべき物標を特定するようになっている(例えば、特許文献1を参照。)。
特開2005−084034号公報(段落0012及び0014等参照)
ところで、一般に、ミリ波レーダーを含むレーダーセンサは、ステレオカメラよりも自車両と物標との距離(以下、「相対距離」とも称呼する。)を精度よく検出できる。従って、注意喚起を行うか否かを決定する際に使用される相対距離にはレーダーセンサにより測定された相対距離が使用されることが望ましい。一方、ステレオカメラは、レーダーセンサよりも、自車両に対する物標の方位を精度よく検出できる。従って、注意喚起を行うか否かを決定する際に使用される物標の方位にはステレオカメラにより測定された方位を優先して使用することが望ましい。即ち、レーダーセンサの検出結果とステレオカメラの検出結果との両方に基づいて物標の位置(相対距離及び方位)を特定することが好ましい。このような「レーダーセンサの検出結果とステレオカメラの検出結果の両方を用いて物標の位置を特定する方法」は「フュージョン方法」と称呼される場合がある。
ところが、例えば、歩行者が自車両から遠い位置に居る場合、その歩行者によるレーダーの反射波の強度は弱いので、レーダーセンサがその歩行者を見失う場合がある。こうした場合、レーダーセンサの検出結果が得られないので、ステレオカメラの検出結果のみに基づいて物標の位置(相対距離及び方位)を特定する「カメラ単独方法」が使用される。
しかしながら、フュージョン方法からカメラ単独方法へ(又はその逆へ)と物標の位置の特定(取得)方法が切り替えられる場合、レーダーセンサの物標位置の検出精度及びステレオカメラの物標位置の検出精度の違いに起因して、切替直前の物標の位置と切替直後の物標の位置とが大きく変化してしまう可能性がある。この場合、物標の自車両に対する移動方向及び/又は物標の位置の変化量に基づいて算出される相対速度等の推定精度が低下するので、自車両に衝突する可能性が低い物標を注意喚起すべき障害物として誤って検出する事態が生じ、その結果、誤った注意喚起がなされてしまう可能性がある。
本発明は上述した課題に対処するためになされたものである。即ち、本発明の目的の一つは、物標の位置の特定方法が切り替えられた場合に誤った注意喚起がなされてしまう可能性を低減できる車両用注意喚起装置を提供することにある。
本発明の車両用注意喚起装置(以下、「本発明装置」とも称呼する。)は、
自車両の周辺の領域の画像をカメラセンサ(11)により撮影し、撮影した画像に基づいて、物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を含む第1物標情報を取得する第1物標情報取得部(10及びステップ505)と、
前記自車両の周辺の領域にレーダーセンサ(12C及び12L,12R)により電波を放射し、当該レーダーセンサにより前記電波の反射波を受信し、当該反射波に基づいて前記物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を含む第2物標情報を取得する第2物標情報取得部(10及びステップ510)と、
前記第1物標情報に基づいて前記物標の前記自車両に対する方位を特定し且つ前記第2物標情報に基づいて前記物標と前記自車両との間の距離を特定することによって前記物標の位置を特定するとともに前記第2物標情報に基づいて前記物標の前記自車両に対する速度である相対速度を特定するフュージョン方法(ステップ615)、並びに、前記第1物標情報に基づいて前記物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を特定することによって前記物標の位置を特定するとともに当該特定した距離に基づいて前記相対速度を算出するカメラ単独方法(ステップ645)、の何れかを選択的に用いて、前記物標の位置及び前記相対速度を特定する物標情報特定部(10及びステップ515)と、
前記自車両の走行状態に関する車両状態情報を取得する車両状態情報取得部(13、10及びステップ520)と、
前記物標情報特定部によって特定された物標の位置及び当該物標の位置の推移に基づく物標の移動方向の少なくとも一方に基づいて、前記自車両に衝突する可能性が高い障害物を抽出する障害物抽出部(10及びステップ570)と、
前記抽出された障害物が前記自車両の前端部を含む先端領域に到達するまでの余裕時間を、前記物標情報特定部により特定された前記物標と前記自車両との間の距離と前記相対速度とに基づいて算出する余裕時間算出部(10及びステップ580)と、
ドライバーの視線を誘導する注意喚起画面(70)を表示可能な表示部(20)と、
前記余裕時間が閾値以下である障害物の方向に前記ドライバーの視線を誘導する画面を前記注意喚起画面として前記表示部に表示させる表示制御部(10、ステップ585及びステップ590)と、
を備える。
更に、本発明装置は、
前記物標情報特定部が前記カメラ単独方法を用いて前記物標の位置及び前記相対速度を特定している場合に前記第1物標情報及び前記第2物標情報が第1条件(「フュージョン開始条件」)を満たしたとき(ステップ640「Yes」)、前記物標情報特定部が用いる方法を前記カメラ単独方法から前記フュージョン方法に切り替え(ステップ650)、且つ、
前記物標情報特定部が前記フュージョン方法を用いて前記物標の位置及び前記相対速度を特定している場合に前記第1物標情報及び前記第2物標情報が第2条件(「カメラ単独開始条件」)を満たしたとき(ステップ610「Yes」)、前記物標情報特定部が用いる方法を前記フュージョン方法から前記カメラ単独方法に切り替える(ステップ620)、
切替部(10、ステップ605乃至ステップ620、ステップ640及びステップ650)を更に備える。
更に、本発明装置においては、
前記表示制御部は、
前記切替部によって前記物標情報特定部が用いる方法が前記フュージョン方法から前記カメラ単独方法に切り替えられた時点から第1所定時間(「所定時間T1」)が経過するまで(ステップ540「No」)、前記カメラ単独方法を用いて前記位置及び前記相対速度が特定された物標に対する前記注意喚起画面の表示を禁止し(ステップ543)、
前記切替部によって前記物標情報特定部が用いる方法が前記カメラ単独方法から前記フュージョン方法に切り替えられた時点から第2所定時間(「所定時間T2」)が経過するまで(ステップ560「No」)、前記フュージョン方法を用いて前記位置及び前記相対速度が特定された物標に対する前記注意喚起画面の表示を禁止する(ステップ543)、
ように構成される。
本発明装置によれば、フュージョン方法からカメラ単独方法に切り替えられた時点から第1所定時間(所定時間T1)が経過するまで、カメラ単独方法を用いて位置及び相対速度が特定された物標に対する注意喚起画面の表示が禁止される。同様に、カメラ単独方法からフュージョン方法に切り替えられた時点から第2所定時間(所定時間T2)が経過するまで、フュージョン方法を用いて位置及び相対速度が特定された物標に対する注意喚起画面の表示が禁止される。
これによって、レーダーセンサの物標位置の検出精度及びステレオカメラの物標位置の検出精度の違いに起因して、切替直前の物標の位置と切替直後の物標の位置とが大きく変化しても、自車両に衝突する可能性が低い物標に対して誤った注意喚起がなされる可能性を低減できる。
本発明の一態様において、前記第2所定時間は前記第1所定時間よりも短く設定される(図4の「所定時間T1」及び「所定時間T2」)。
この態様によれば、カメラ単独方法からフュージョン方法に切り替えられた場合に新たな注意喚起画面の表示が禁止される第2所定時間が、フュージョン方法からカメラ単独方法に切り替えられた場合に新たな注意喚起画面の表示が禁止される第1所定時間より短く設定されている。このため、ドライバーは、物標位置の検出精度がカメラ単独方法よりも高いフュージョン方法を用いて正確に位置が特定された物標に対する注意喚起画面をいち早く視認できる。
なお、上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成に対して、実施形態で用いた符号及び/又は名称を括弧書きで添えているが、発明の各構成要件を前記符号及び/又は名称によって規定される実施形態に限定されるものではない。
図1は、本発明の実施形態に係る運転支援装置の概略システム構成図である。 図2は、図1に示したレーダーセンサ及びカメラセンサの取付位置の説明図である。 図3は、図1に示したレーダーセンサの検知領域の説明図である。 図4は、物標の位置特定方法が切り替えられた場合のタイミングチャートである。 図5は、図1に示した注意喚起ECUのCPUが実行するルーチンを示したフローチャートである。 図6は、図5に示した物標位置特定処理で注意喚起ECUのCPUが実行するルーチンを示したフローチャートである。 図7は、注意喚起画面の説明図である。
以下、本発明の実施形態に係る車両用注意喚起装置について図面を用いて説明する。なお、本発明の実施形態に係る車両用注意喚起装置が搭載された車両は、他車両と区別する必要がある場合、「自車両」と称呼される。
図1は、本発明の実施形態の車両用注意喚起装置(以下、「本実施装置」と称呼される場合がある。)の概略システム構成図である。本実施装置は自車両に搭載され、自車両のドライバー(運転者)に自車両と衝突する可能性が高い障害物に対する注意を喚起する装置(即ち、障害物への注意喚起を行う装置)である。本実施装置は注意喚起ECU10を備える。なお、ECUは、「Electirc Control Unit」の略であり、マイクロコンピュータを主要部として備える。マイクロコンピュータは、CPUとROM及びRAM等の記憶装置とを含む。CPUはROMに格納されたインストラクション(プログラム、ルーチン)を実行することによって、各種機能を実現する。
本実施装置は、更に、カメラセンサ11、前方レーダーセンサ12C、前側方レーダーセンサ12L,12R、車両状態センサ13及び表示器20を備える。注意喚起ECU10は、これらと接続されている。
カメラセンサ11は、自車両前方の領域を撮影する車載ステレオカメラ、及び、車載ステレオカメラによって撮影された画像を処理する画像処理装置(何れも図示省略)を備える。
車載ステレオカメラは所定時間が経過する毎に撮影した画像を表す画像信号を画像処理装置に送信する。
画像処理装置は、受信した画像信号に基づき、撮影領域に存在する物標の有無を判定する。画像処理装置は、物標が存在すると判定した場合、その物標の自車両に対する方位(方向)及び物標と自車両との間の距離(即ち、相対距離)を算出するとともに、物標の種類(歩行者、二輪車及び自動車等)をパターンマッチングによって識別する。物標と自車両との間の距離は、車載ステレオカメラが撮影した左画像と右画像の視差に基づいて算出される。この車載ステレオカメラによる物標の位置(相対距離及び方位)の測定によると、物標の自車両に対する方位の検出精度は高く、物標と自車両との間の距離の検出精度は低い。
カメラセンサ11は、物標の位置(即ち、相対距離及び方位)を示す情報及び物標の種類を示す情報を所定時間が経過する毎に注意喚起ECU10に出力する。注意喚起ECU10は、入力された物標情報に含まれる物標の位置を示す情報に基づいて物標の位置の推移を特定することができる。そして、注意喚起ECU10は、特定した物標の位置の推移に基づいて物標の自車両に対する速度(即ち、相対速度)及び相対的な移動軌跡を把握することができる。
前方レーダーセンサ12Cは、図2に示すように、自車両のフロントバンパーFBの車幅方向中心位置に設けられている。前側方レーダーセンサ12Rは、フロントバンパーFBの右コーナー部に設けられている。前側方レーダーセンサ12Lは、フロントバンパーFBの左コーナー部に設けられている。以下、前方レーダーセンサ12C及び前側方レーダーセンサ12L,12Rを「レーダーセンサ12」と総称する。
レーダーセンサ12は、ミリ波帯の電波(以下、「ミリ波」とも称呼される。)を放射する。ミリ波の放射範囲内に物標が存在する場合、物標はレーダーセンサ12から放射されたミリ波を反射する。レーダーセンサ12は、その反射波を受信し、その反射波に基づいて、自車両と物標との間の距離(即ち、相対距離)、物標の自車両に対する方位及び物標の自車両に対する速度(即ち、相対速度)等を検出する。
前方レーダーセンサ12Cの検知領域は、図3に示すように、車両前後軸(車両中心線CL)から、左右方向に±θ1deg(0deg<θ1<90deg)の範囲である。なお、図3においては、車両前後軸の前方側が0degと規定され、且つ、前方レーダーセンサ12Cの左方向の範囲の図示が省略されている。従って、前方レーダーセンサ12Cは、主に、自車両前方の物標を検知する。一方、前側方レーダーセンサ12Rの検知領域は、車両前後軸から右方向にθ2deg(90deg<θ2<180deg)、左方向に−θ3deg(0deg<θ3<90deg)である。従って、前側方レーダーセンサ12Rは、主に、自車両右側方の物標を検知する。前側方レーダーセンサ12Lの検知領域は、図示していないが、前側方レーダーセンサ12Rの検知領域を、車両前後軸を対称軸として、左右対称とした領域である。従って、前側方レーダーセンサ12Lは、主に、自車両左側方の物標を検知する。各レーダーセンサ12C,12L,12Rの検知距離は、例えば、数十メートルである。各レーダーセンサ12C,12L,12Rは、所定時間が経過する毎に物標の位置情報(自車両と物標と間の距離及び物標の自車両に対する方位)及び物標の相対速度を検知し、所定時間が経過する毎にその検知した位置情報及び相対速度を注意喚起ECU10に送信する。従って、注意喚起ECU10は、レーダーセンサ12から送られてくる情報に基づいて、物標の自車両に対する相対速度及び相対的な移動軌跡を把握することができる。
カメラセンサ11によって検知された「物標の自車両との距離(相対距離)及び物標の自車両に対する方位」に関する情報を「第1物標情報」と称呼し、レーダーセンサ12によって検知された「物標の自車両との距離(相対距離)及び物標の自車両に対する方位、並びに、相対速度に関する情報」を「第2物標情報」と称呼する。
車両状態センサ13は、自車両の走行進路を推定するために必要となる自車両の走行状態に関する車両状態情報を取得するセンサである。車両状態センサ13は、自車両の車体速度(即ち、車速)を検出する車速センサ、自車両の水平方向の前後方向及び左右(横)方向の加速度を検出する加速度センサ、自車両のヨーレートを検出するヨーレートセンサ、及び、操舵輪の舵角を検出する舵角センサ等を含む。車両状態センサ13は、所定時間が経過する毎に車両状態情報を注意喚起ECU10に出力する。
注意喚起ECU10は、車速センサによって検出される車速、及び、ヨーレートセンサによって検出されるヨーレートに基づいて、自車両の旋回半径を演算し、この旋回半径に基づいて、自車両の車幅方向の中心点の(実際には、自車両の左右の前輪の車軸上の中心点)が向かっている走行進路を走行予測進路として推定する。ヨーレートが発生している場合、走行予測進路は円弧状となる。更に、注意喚起ECU10は、ヨーレートがゼロの場合には、加速度センサによって検出されている加速度の方向に沿った直線進路を、自車両が向かっている走行進路(即ち、走行予測進路)であると推定する。なお、注意喚起ECU10は、走行予測進路を、自車両が旋回しているか直進しているかに依らず、自車両から走行予測進路に沿って所定の距離だけ進んだ地点までの経路(即ち、有限長さの線)として認識(決定)する。
表示器20は、ヘッドアップディスプレイ(以下、「HUD」と称呼する。)である。HUDは、自車両内の各種ECU及びナビゲーション装置からの表示情報を受信し、その表示情報を自車両のフロントガラスの一部の領域(表示領域)に映し出す。注意喚起ECU10は、後述する注意喚起対象物が検知された場合、注意喚起画面70(図7を参照。)の表示指令をHUDに送信する。これにより、HUDは、表示領域の一部を使って、注意喚起対象物の方向にドライバーの視線を誘導する注意喚起画面70を表示する。注意喚起画面については後に詳述する。
なお、表示器20はHUDに特に限定されない。即ち、表示器20は、MID(Multi Information Display)、及び、ナビゲーション装置のタッチパネル等であってもよい。MIDは、スピードメータ、タコメータ、フューエルゲージ、ウォーターテンペラチャーゲージ、オド/トリップメータ、及び、ウォーニングランプ等のメータ類を集合させてダッシュボードに配置した表示パネルである。
(作動の概要)
本実施装置は、カメラセンサ11からの第1物標情報及びレーダーセンサ12からの第2物標情報の両方に基づいて物標の位置等を特定する方法(フュージョン方法)、及び、第1物標情報のみに基づいて物標の位置等を特定する方法(カメラ単独方法)、を選択的に用いて、物標の位置を特定する
フュージョン方法によれば、物標の自車両に対する方位は第1物標情報(即ち、カメラセンサ11からの物標情報)に基づいて特定され、物標と自車両との間の距離は第2物標情報(即ち、レーダーセンサ12からの物標情報)に基づいて特定される。一方、カメラ単独方法によれば、物標の自車両に対する方位及び物標と自車両との間の距離はともに第1物標情報(即ち、カメラセンサ11からの物標情報)に基づいて特定される。なお。フュージョン方法において、物標の自車両に対する方位が、第1物標情報(即ち、カメラセンサ11からの物標情報)及び第2物標情報(即ち、レーダーセンサ12からの物標情報)の両方に基づいて特定されてもよい。
第1物標情報に基づく物標の自車両に対する方位はカメラセンサ11が撮影した画像に基づいて特定される。このため、第1物標情報に基づく自車両に対する方位の検出精度は高い。
第1物標情報に基づく物標と自車両との間の距離(相対距離)は、車載ステレオカメラであるカメラセンサ11が撮影した左画像及び右画像における視差に基づいて特定される。一方、第2物標情報に基づく物標と自車両との間の距離は、レーダーセンサ12によって放射された電波の反射波の遅延(放射から反射波の受信までの時間)に基づいて特定される。このため、第1物標情報に基づく物標と自車両との間の距離の検出精度は、第2物標情報に基づく物標と自車両との間の距離の検出精度よりも低い。
即ち、第1物標情報に含まれる物標の自車両に対する方位の検出精度は相対的に高いが、第1物標に含まれる物標と自車両との間の距離の検出精度は相対的に低い。一方、第2物標情報に含まれる「物標と自車両との間の距離及び物標の相対速度」の検出精度は相対的に高いが、第2物標情報に含まれる物標の自車両に対する方位の検出精度は相対的に低い。
従って、フュージョン方法によれば、物標の相対距離及び方位は共に精度良く特定される。一方、カメラ単独方法によれば、物標の方位は精度良く特定されるが、物標の相対距離は若干低い精度にて特定される。
図4に示すように、本実施装置が時刻taにおいてフュージョン方法を用いて物標の位置を特定していると仮定する。この場合、本実施装置は、新たに第1物標情報及び第2物標情報を取得する毎に、第1物標情報及び第2物標情報がカメラ単独開始条件(「第2条件」と称呼する場合もある。)を満たすか否かを判定する。図4に示す時刻t1において「カメラ単独開始条件」が成立した場合、本実施装置は物標の位置の特定方法をフュージョン方法からカメラ単独方法に切り替える。なお、カメラ単独開始条件の詳細については後述する。
物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合、物標の方位についてはフュージョン方法と同じく第1物標情報に基づいて特定される。しかし、自車両と物標との間の距離についてはフュージョン方法と異なり第1物標情報に基づいて特定される。
従って、物標の位置特定方法がフュージョン方法からカメラ単独方法へ(又は、その逆へ)切り替えられた場合、物標と自車両との間の距離の特定方法が前回(切替え直前)までの特定方法と異なる。このため、「物標の位置特定方法の切替直前に特定されていた物標と自車両との間の距離」から「物標の位置特定方法の切替直後に特定された物標と自車両との間の距離」が大きく変化してしまう可能性がある。換言すれば、物標の位置特定方法の切替直後の物標の位置が切替直前の物標の位置から大きく変化してしまう可能性がある。
一方、本実施装置は、第1物標情報及び/又は第2物標情報に基づいて検出される物標の中から自車両と衝突する可能性が高い物標(自車両と異常接近する物標を含む。)を障害物として抽出する。更に、本実施装置は、障害物が所定条件(注意喚起条件)を満たす場合、当該障害物が存在する方向にドライバーの視線を誘導する注意喚起画面70(図7を参照。)を表示する(即ち、注意喚起を実施する。)。
上述した障害物を抽出する処理では、物標の位置の時系列データを用いて物標の移動方向が算出され、その算出された物標の移動方向に基づいて障害物が抽出される。このため、上述したように、物標の位置特定方法の切替直後に物標の位置が大きく変化した場合、算出される物標の移動方向が不正確になる。よって、注意喚起の対象とはならない物標が、注意喚起の対象となる可能性がある障害物として抽出されてしまう可能性がある。
更に、上述したように、本実施装置は、注意喚起の対象となる可能性がある物標として抽出された障害物が所定条件を満たす場合、注意喚起画面70を表示することにより、注意喚起を行う。この所定条件は、本実施装置において、余裕時間(衝突所要時間)TTC(Time to collision)が閾値(閾値時間)T1th以下となったときに成立する条件である。
この余裕時間(衝突所要時間)TTCは、以下の時間TTC1及び時間TTC2の何れかである。
・障害物が自車両と衝突すると予測される時点までの時間TTC1(現時点から衝突予測時点までの時間)
・自車両の側方を通り抜ける可能性のある障害物が自車両に最接近する時点までの時間TTC2(現時点から最接近予測時点までの時間)。
余裕時間TTCは、自車両と障害物との距離(相対距離)を自車両に対する障害物の速度(相対速度)によって除することにより算出される。即ち、余裕時間TTCは、障害物と自車両とが現時点における相対速度及び相対移動方向を維持しながら移動すると仮定した場合における障害物が「自車両の先端領域」に到達するまでの時間である。自車両の先端領域は、自車両の車体の前端部の左端から一定距離αだけ左側に位置する点と、自車両の車体の前端部の右端から一定距離αだけ右側に位置する点と、を結んだ線分により表される領域である。障害物がその障害物の移動方向に基づいて自車両の先端領域に到達しないと判定される場合、余裕時間TTCは無限大(実際には、閾値時間T1thよりも十分に大きい値)に設定される。
一方、第1物標情報(即ち、カメラセンサ11からの物標情報)は相対速度を含んでいないので、カメラ単独方法を使用している場合、所定時間前の第1物標情報に含まれる物標の相対距離と最新の第1物標情報に含まれる物標の相対距離との変化量に基づいて相対速度が算出される。同様に、物標の位置の特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合においても、物標の相対速度は、所定時間前の第2物標情報に含まれる物標の相対距離と最新の第1物標情報に含まれる物標の相対距離との変化量に基づいて算出されざるを得ない。このため、物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合に物標の位置が大きく変化すると、物標の相対速度が急に大きな値になるように算出されることがある。この場合、余裕時間TTCが閾値T1th以下となって注意喚起が誤って実施されてしまう可能性がある。
そこで、本実施装置は、図4に示すように、時刻t1において物標の位置の特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合、その時点(即ち、時刻t1)から所定時間T1が経過する時点(即ち、時刻tb)まで、カメラ単独方法を用いて位置が特定された物標に対する注意喚起画面70(即ち新たな注意喚起画面70)の表示を禁止する。これによって、上述した事態の発生を防止できる。
カメラ単独方法に切り替えられてから所定時間T1が経過した後、本実施装置は、カメラ単独方法を用いて特定した物標の位置に基づいて自車両に衝突する可能性が高い物標を障害物として抽出し、抽出した障害物が所定条件を満たせば、当該障害物の方向にドライバーの視線を誘導する注意喚起画面70(図7を参照。)を表示する。
図4においては、本実施装置は、時刻t2で取得した第1物標情報及び第2物標情報がフュージョン開始条件(「第1条件」と称呼する場合もある。)を満たすと判定すると、物標の位置特定方法をカメラ単独方法からフュージョン方法に切り替える。なお、フュージョン開始条件の詳細は後述する。
物標の位置特定方法がカメラ単独方法からフュージョン方法に切り替えられた直後においても、上述したように、「切替直前に特定されていた物標と自車両との間の距離」と「切替直後に特定された物標と自車両との間の距離」とが大きく変化してしまう可能性がある。この場合、物標の移動方向が正確に算出されないので、注意喚起の対象とは成り得ない物標が注意喚起の対象として選択される可能性がある。そこで、本実施装置は、時刻t2において物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合、その時点(即ち、時刻t2)から所定時間T2が経過する時点(即ち、時刻tc)まで、フュージョン方法を用いて位置が特定された物標に対する注意喚起画面70(即ち新たな注意喚起画面70)の表示を禁止する。
(具体的作動)
注意喚起ECU10のCPU(以下、「CPU」と表記した場合、特に断りがない限り、注意喚起ECU10のCPUを指す。)は、図5にフローチャートで示したルーチンを所定時間が経過する毎に実行する。図5に示すルーチンは、注意喚起画面70(図7を参照。)を表示するためのルーチンである。
従って、所定のタイミングになると、CPUは図5のステップ500から処理を開始してステップ505に進み、カメラセンサ11から第1物標情報を読み取る。次いで、CPUはステップ510に進み、レーダーセンサ12から第2物標情報を読み取る。
次に、CPUはステップ515に進み、物標の位置を特定する物標位置特定処理を実行する。実際には、CPUはステップ515に進むと、図6にフローチャートで示したサブルーチンを実行する。
即ち、CPUはステップ515に進むと、図6のステップ600から処理を開始してステップ605に進み、現時点における物標の位置特定方法を示す情報がフュージョン方法を示すか否かを判定する。なお、物標の位置特定方法を示す情報はカメラ単独方法及びフュージョン方法の何れかを示す。更に、物標の位置特定方法を示す情報は、自車両の図示しないイグニッション・キー・スイッチがオフからオンに変更されたとき、便宜上、フュージョン方法を示すように設定される。
物標の位置特定方法を示す情報がフュージョン方法である場合、CPUは、ステップ605にて「Yes」と判定してステップ610に進む。CPUは、ステップ610にて、「ステップ505で読み取った第1物標情報及びステップ510で読み取った第2物標情報」がカメラ単独開始条件を満たすか否かを判定する。
カメラ単独開始条件の詳細について説明する。カメラ単独開始条件は、第1物標情報の検出結果と第2物標情報の検出結果とに許容以上の相違が生じたことに起因して、物標の位置の特定方法をフュージョン方法からカメラ単独方法に切り替える必要性が生じた場合に成立する条件である。即ち、カメラ単独開始条件は、第1物標情報の検出結果と第2物標情報の検出結果とに許容以上の相違が生じたことを検出したときに成立する条件である。
より詳細には、カメラ単独開始条件は次の(1)及び(2)の少なくとも一方が成立したときに成立する条件である。(1)及び(2)の少なくとも一方が成立する場合、CPUはステップ610にて「Yes」と判定する。
(1)第1物標情報で検出されている物標が第2物標情報で検出されていない場合(換言すると、カメラセンサ11により検出されている物標がレーダーセンサ12により検出されない場合)。
(2)第1物標情報で検出されている物標の位置と第2物標情報で検出されている物標の位置とが所定範囲内でない場合(換言すると、カメラセンサ11により検出されている物標の相対距離とレーダーセンサ12により検出されている同じ物標の相対距離との差が閾値距離以上であるか、及び/又は、カメラセンサ11により検出されている物標の方位とレーダーセンサ12により検出されている同じ物標の方位との差が閾値角度以上である場合)。
ここで、上記カメラ単独開始条件が成立する場合の三つの例について説明する。
一つ目の例は、レーダーセンサ12が、ミリ波帯の電波の反射強度が弱い物標(例えば歩行者)からの反射波を受信できなくなった場合である。この場合、第1物標情報で検出されている物標が第2物標情報で検出されなくなり、上記(1)が成立し、カメラ単独開始条件が成立する。このような状況は、ミリ波帯の反射強度が弱い物標が遠距離に存在する場合に特に発生しやすい。
二つ目の例は、第1物標情報で一つの物標として検出されている物標が、第2物標情報で複数の物標として検出されている場合である。例えば、全長又は車幅が長い車両が第2物標情報で複数の物標として検出されてしまう。この場合、第1物標情報で検出されている一つの物標に対応する物標が第2物標情報で検出されていないと判定され、上記(1)が成立する。なお、この場合、第1物標情報で検出されている一つの物標の位置と第2物標情報で検出されている複数の物標のうちの一つの物標の位置とが所定範囲内にないと判定されて、上記(2)が成立する場合もある。
三つ目の例は、第1物標情報で複数の物標として検出されている物標が、第2物標情報で一つの物標として検出されている場合である。例えば、近距離に存在する複数の物標が第2物標情報で一つの物標として検出されてしまう。この場合、第1物標情報で検出されている一つの物標が第2物標情報で検出されていないと判定され、上記(1)が成立する。なお、この場合、第1物標情報で検出されている複数の物標のうち一つの物標の位置と第2物標情報で検出されている一つのの物標の位置とが所定範囲内にないと判定されて、上記(2)が成立する場合もある。
ステップ505にて読み取った第1物標情報及びステップ510にて読み取った第2物標情報がカメラ単独開始条件を満たさない場合、CPUは、ステップ610にて「No」と判定し、ステップ615に進む。
ステップ615にて、CPUは、フュージョン方法を用いて物標の位置(相対距離及び方位)を特定し、ステップ695に進み、本ルーチンを一旦終了して図5のステップ520に進む。より詳細には、CPUは、物標の自車両に対する方位を第1物標情報に基づいて特定し、物標と自車両との間の距離(相対距離)を第2物標情報に基づいて特定する。
次に、ステップ520にて、CPUは、車両状態センサ13が取得した車両状態情報を読み取り、ステップ525に進む。
ステップ525にて、CPUは、ステップ520にて読み取った車両状態情報に基づいて、上述したように走行予測進路を推定し、ステップ530に進む。
ステップ530にて、CPUは、カメラ単独切替フラグが「1」に設定されているか否かを判定する。カメラ単独切替フラグは、物標の位置特定方法がカメラ単独方法に切り替えられた時点(物標の位置特定方法がフュージョン方法である場合にカメラ単独開始条件が成立した時点)にて「1」に設定される(後述する図6のステップ630を参照。)。カメラ単独切替フラグは、「1」に設定されてから所定時間T1が経過した時点(後述する図5のステップ545を参照。)、又は、「1」に設定されてから所定時間T1が経過する前に物標の位置特定方法がフュージョン方法に切り替えられる時点(物標の位置特定方法がカメラ単独方法である場合にフュージョン開始条件が成立した時点であり、後述する図6のステップ655を参照。)にて「0」に設定されるフラグである。
カメラ単独切替フラグが「1」に設定されていない場合、ステップ530にてCPUは「No」と判定し、ステップ550に進む。ステップ550にて、CPUは、フュージョン切替フラグが「1」に設定されているか否かを判定する。
フュージョン切替フラグは、物標の位置特定方法がフュージョン方法に切り替えられた時点(物標の位置特定方法がカメラ単独方法である場合にフュージョン開始条件が成立した時点)にて「1」に設定される(後述する図6のステップ660を参照。)。フュージョン切替フラグは、「1」に設定されてから所定時間T2が経過した時点(後述する図5のステップ565を参照。)、又は、「1」に設定されてから所定時間T2が経過する前に物標の位置特定方法がカメラ単独方法に切り替えられる時点(物標の位置特定方法がフュージョン方法である場合にカメラ単独開始条件が成立した時点であり、後述する図6のステップ625を参照。)にて「0」に設定されるフラグである。
フュージョン切替フラグが「1」に設定されていない場合、ステップ550にてCPUは「No」と判定し、ステップ570に進む。ステップ570にて、ステップCPUは、ステップ515にて特定した物標の位置と、ステップ525にて推定した走行予測進路と、に基づいて、自車両に衝突する可能性のある物標(自車両に極めて接近する物標を含む。)を障害物として抽出する。より具体的に述べると、CPUは、自車両の左右の前輪の車軸上の中心点が向かっている走行進路を中心走行予測進路として推定する。更に、CPUは、走行予測進路として、自車両の車体の前端部の左端から一定距離αだけ左側に位置する点が通過する左側走行予測進路と、自車両の車体の前端部の右端から一定距離αだけ右側に位置する点が通過する右側走行予測進路と、を中心走行予測進路に基づいて推定する。更に、CPUは、左側走行予測進路と右側走行予測進路との間の領域を走行予測進路領域として特定する。
そして、CPUは、今回の本ルーチンのステップ515で特定された物標の位置、及び過去数回の本ルーチンのステップ515で特定された物標の位置に基づいて、物標の移動軌跡を算出(推定)する。更に、CPUは、算出した物標の移動軌跡に基づいて、物標の自車両に対する移動方向を算出する。次いで、CPUは、走行予測進路領域と、自車両と物標との相対関係(相対位置及び相対速度)と、物標の自車両に対する移動方向と、に基づいて、走行予測進路領域内に既に存在している物標と、走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差すると予測される物標と、を自車両に衝突する可能性のある物標(即ち、障害物)として抽出する。
以下、ステップ570の処理について、より詳細に述べる。
CPUは、自車両の前方の物標を「第1物標情報及び/又は第2物標情報」に基づいて検出した場合、その物標が、走行予測進路領域内にあるか否か及び走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろうか否かを判定する。この場合、自車両の前方とは、前方レーダーセンサ12Cの検知領域を指す。具体的には、CPUは、ステップ515にて特定された物標の位置が走行予測進路領域内にあれば、当該物標が走行予測進路領域内にあると判断する。更に、CPUは、ステップ515にて特定された物標の位置からの当該物標の移動方向に伸びる直線が走行予測進路領域及び自車両の先端領域と交差する場合、当該物標が「走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差する」と判断する。
そして、CPUは、その物標が「走行予測進路領域内にあるか又は走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろう」と判定した場合、その物標が歩行者であるとカメラセンサ11が判別していたとき、その歩行者を自車両に衝突する可能性のある障害物として抽出する。
更に、CPUは、自車両の前側方で物標を検出した場合、その物標が走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろうか否かを判定する。この場合、自車両の前側方とは、前側方レーダーセンサ12L及び12Rの検知領域を指す。具体的には、CPUは、前側方で検出された物標のステップ515にて特定された位置から当該物標の移動方向に伸びる直線が走行予測進路領域及び自車両の先端領域と交差する場合、当該物標が走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろうと判断する。そして、CPUは、その物標が走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろうと判定した場合、その物標が歩行者、二輪車及び自動車等の何れであるかを区別することなく、その物標を自車両に衝突する可能性のある障害物として抽出する。
なお、上述したように、CPUは、左側走行予測進路を「自車両の前端部の左端から一定距離αだけ更に左側に位置する点が通過する進路」として推定し、且つ、右側走行予測進路を「自車両の前端部の右端から一定距離αだけ更に右側に位置する点が通過する進路」として推定している。このため、CPUは、自車両の左側面近傍又は右側面近傍を通り抜ける可能性がある物標(歩行者及び二輪車等)も、「走行予測進路領域内にあるか又は走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差するであろう」と判断する。従って、CPUは、自車両の左側方又は右側方を通り抜ける可能性のある物標も障害物として抽出できる。
以上から理解されるように、ステップ570の処理によって抽出される障害物は、自車両の前方に存在する歩行者、自車両の側方から自車両の左右の走行予測進路に交差した後に自車両の先端領域に交差するように接近してくる移動体、及び、自車両の側方を通り抜ける可能性のある移動体等が含まれる。
次に、CPUは、ステップ575に進み、ステップ570にて少なくとも一つの障害物が抽出されたか否かを判定する。
ステップ570において障害物が一つも抽出されていない場合、ドライバーの注意を喚起すべき障害物が存在しない。この場合、CPUはステップ575にて「No」と判定し、ステップ595に進み、本ルーチンを一旦終了する。この結果、注意喚起画面70(図7を参照。)は表示されない。
一方、ステップ570にて少なくとも一つの障害物が抽出された場合、CPUは、ステップ575にて「Yes」と判定し、ステップ580に進む。
ステップ580にて、CPUは、ステップ570の処理で抽出された障害物のそれぞれの余裕時間TTCを算出する。余裕時間TTCは上述したとおりの時間である。
上述したように、余裕時間TTCは、障害物が現時点における相対速度及び相対移動方向を維持しながら移動すると仮定して算出される。従って、余裕時間TTCの計算には障害物の相対速度を取得する必要がある。
ここで、現在の物標の位置の特定方法を示す情報がフュージョン方法である場合(即ち、現時点においてフュージョン方法により物標の位置が特定されている場合)、CPUは、障害物の相対速度として、レーダーセンサ12からの第2物標情報に含まれる相対速度を余裕時間TTCの計算に用いることができる。一方、現在の物標の位置の特定方法を示す情報がカメラ単独方法である場合(即ち、現時点においてカメラ単独方法により物標の位置が特定されている場合)、CPUは、障害物の相対速度をカメラセンサ11からの第1物標情報に基づいて算出し、その算出した相対速度を余裕時間TTCの計算に用いる。
具体的には、現在の物標の位置の特定方法を示す情報がカメラ単独方法である場合、CPUは、前回本ルーチンを実行したときに読み取った第1物標情報における当該障害物と自車両との間の距離(以下、前回距離と称呼する。)をRAMから読み出す。なお、CPUは、第1物標情報及び第2物標情報を取得したとき、それらをRAMに記憶する。更に、CPUは、今回ステップ505で読み取った第1物標情報における当該障害物と自車両との間の距離(以下、今回距離と称呼する。)を特定する。そして、CPUは、前回距離から今回距離を減算した値を、前回距離を取得した時刻から今回距離を取得した時刻までの時間で除算して、障害物の自車両に対する相対速度を算出する。
なお、余裕時間TTCは、ドライバーが自車両と障害物との衝突(異常接近を含む。)を回避するために自車両を操作することができる時間を表す。つまり、余裕時間TTCは、緊急度合を表すパラメータであって、注意喚起の必要度合に相当する。即ち、余裕時間TTCが小さいほど注意喚起の必要度合は大きくなり、余裕時間TTCが大きいほど注意喚起の必要度合は小さくなる。
次に、CPUはステップ585に進み、ステップ580にて算出した障害物のそれぞれの余裕時間TTCが所定の閾値T1th以下であるか否かを判定する。更に、CPUは、このステップ585にて余裕時間TTCが所定の閾値T1th以下である障害物が少なくとも一つ存在するか否かを判定する。
余裕時間TTCが閾値T1th以下である障害物が存在しない場合(即ち、所定条件を満たす障害物が存在しない場合)、注意喚起画面70(図7を参照。)を表示する注意喚起を実施する必要がない。この場合、CPUはステップ585にて「No」と判定してステップ595に進み、本ルーチンを一旦終了する。この結果、注意喚起画面70(図7を参照。)は表示されない。即ち、注意喚起は実施されない。
これに対し、余裕時間TTCが閾値T1th以下である障害物が少なくとも一つ存在する場合(即ち、所定条件を満たす障害物が存在する場合)、CPUは、ステップ585にて「Yes」と判定し、ステップ590に進む。ステップ590にて、CPUは、余裕時間TTCが閾値T1th以下である障害物(注意喚起対象物)が存在する方向にドライバーの視線を誘導する注意喚起画面70(図7を参照。)を表示器20に表示することにより注意喚起を実施し、ステップ595に進み、本ルーチンを一旦終了する。
ここで、注意喚起画面70の詳細について図7を用いて説明する。表示器20の表示領域は、自車両のフロントガラスのドライバー席前方の領域に設けられている。この表示領域の中心線は、図7の一点鎖線により示されている。当該中心線は説明の都合上図示しているが、実際の表示領域には表示されない。表示領域の中心線は車両中心線CL(図3を参照。)に対応する。表示領域の中心線より左側の領域は自車両の前方周辺の左領域に対応し、表示領域の中心線より右側の領域は自車両の前方周辺の右領域に対応する。
注意喚起画面70では、余裕時間TTCが閾値T1th以下である障害物の方向にドライバーの視線を誘導する視線誘導アイコン71が表示される。なお、本明細書において、視線誘導アイコン71は、表示要素又は視線誘導マークとも称呼される場合がある。
視線誘導アイコン71は、三つの円弧が一列に並ぶ形状である。視線誘導アイコン71は、表示領域の中心線上の所定の位置P0を中心に左右方向に±90degの範囲で放射状に表示される。三つの円弧の弧の長さは、所定の位置P0から遠くなるにつれて短くなる。これらの三つの円弧は、位置P0に近いものから順番に点灯されていく。視線誘導アイコン71は、中心線と直交する水平線のうち位置P0から右側に伸びる直線から、当該水平線のうち位置P0から左側に伸びる直線までの角度範囲(180deg)を15等分した角度(12deg)単位で表示可能である。図7では、視線誘導アイコン71が表示可能な位置(軸線)を点線で示すが、この点線は実際の表示領域には表示されない。
図7に示す例では、視線誘導アイコン71は、表示領域の中心線から右側に18degの方向を指し、この方向に「余裕時間TTCが閾値T1th以下となった障害物(注意喚起対象物)」が存在することを示す。ドライバーの視線が視線誘導アイコン71の指す方向に誘導されることによって、ドライバーの注意喚起対象物に対する注意が喚起される。CPUは、図5のステップ590に進んだとき、余裕時間TTCが閾値T1th以下の障害物(注意喚起対象物)の方向(方位)に基づいて視線誘導アイコン71が指す方向を決定し、その方向に沿って視線誘導アイコン71が表示されるように表示器(HUD)20に表示指令を送信する。
なお、余裕時間TTCが閾値T1th以下である障害物が複数存在する場合、CPUは、余裕時間TTCが最小である障害物を選択する。そして、CPUは、余裕時間TTCが最小である障害物が存在する方向を指す視線誘導アイコン71を含む注意喚起画面70を表示する。
ところで、現在の物標の位置特定方法を示す情報がフュージョン方法である場合にステップ505にて読み取った第1物標情報及びステップ510にて読み取った第2物標情報がカメラ単独開始条件を満たしたと仮定する。この場合、CPUはステップ515に進んだときに図6のステップ610に進み、当該ステップ610にて「Yes」と判定してステップ620に進む。カメラ単独開始条件が成立する場合とは、第1物標情報及び第2物標情報が上記(1)及び(2)の少なくとも一方を満たす場合である。この場合、物標の位置の特定にフュージョン方法を用いることができず、カメラ単独方法を用いて物標の位置が特定されなければならない。従って、CPUは、ステップ620にて、物標の位置特定方法を示す情報をカメラ単独方法に設定し(切り替え)、ステップ625に進む。
ステップ625にて、CPUは、フュージョン切替フラグを「0」に設定し、ステップ630に進む。上述したように、フュージョン切替フラグは、物標の位置特定方法がカメラ単独方法からフュージョン方法に切り替えられた時点から所定時間T2が経過する時点までの間、又は、物標の位置特定方法がカメラ単独方法からフュージョン方法に切り替えられた時点から所定時間T2が経過する前にカメラ単独方法に切り替えられる時点まで「1」に設定される。従って、物標の位置特定方法がフュージョン方法に切り替えられてから所定時間T2が経過する前に物標の位置特定方法がカメラ単独方法に切り替えられた場合、フュージョン切替フラグが「1」に設定されたままであるので、CPUはステップ625にてフュージョン切替フラグを「0」に設定する。
ステップ630にて、CPUは、カメラ単独切替フラグを「1」に設定し、ステップ635に進む。ステップ635にて、CPUは、第1切替タイマを初期化し(即ち、第1切替えタイマを「0」に設定(クリア)し)、ステップ645に進む。第1切替タイマは、物標の位置特定方法がカメラ単独方法に切り替えられてから経過した時間を計測するタイマである(後述するステップ535を参照。)。
ステップ645にて、CPUは、カメラ単独方法を用いて物標の位置を特定し、ステップ695に進み、本ルーチンを一旦終了して図5のステップ520に進む。より詳細には、CPUは、物標の自車両に対する方位を第1物標情報に基づいて特定し、且つ、物標と自車両との間の距離を第1物標情報に基づいて特定する。
上述したステップ630にてカメラ単独切替フラグが「1」に設定されると、CPUは、図5のステップ530に進んだとき、そのステップ530にて「Yes」と判定してステップ535に進む。ステップ535にて、CPUは、現在の第1切替タイマの値に「1」を加算した値を第1切替タイマの値に代入して、ステップ540に進む。
ステップ540にて、CPUは、第1切替タイマの値が閾値TM1th以上であるか否かを判定する。第1切替タイマの値が閾値TM1th以上である場合とは、物標の位置特定方法がカメラ単独方法に切り替えられてから所定時間T1が経過している場合である。
第1切替タイマの値が閾値TM1th未満である場合、CPUはステップ540にて「No」と判定し、ステップ543に進み、前回本ルーチンを実行したときに表示器20に表示されていた画面をそのまま表示する。その後、CPUはステップ595に進み、本ルーチンを一旦終了する。即ち、物標の位置特定方法がカメラ単独方法に切り替えられてから所定時間T1(閾値TM1thに相当する時間)が経過するまでは、CPUはステップ570以降の処理を行わないので、カメラ単独方法によって位置が特定された物標に対する注意喚起画面70の表示が禁止される。
物標の位置特定方法がカメラ単独方法に切り替えられた直後に、カメラ単独方法によって位置が特定された物標に対する注意喚起画面70の表示が禁止される理由について説明する。カメラ単独方法に切り替えた直後においては、物標と自車両との間の距離が第1物標情報に基づいて特定される。フュージョン方法では、この距離は第2物標情報に基づいて特定されている。このため、カメラ単独方法に切り替えた直後の物標と自車両との間の距離が、第2物標情報に基づいて特定されていた前回の距離から大きく変化してしまう。
これによって、物標の移動方向が正確に算出されないので、ステップ570における障害物の抽出精度が低くなる。更に、物標の位置特定方法がカメラ単独方法である場合、物標の自車両に対する相対速度が、物標と自車両との間の距離の変化量に基づいて算出される。このため、物標の位置特定方法がカメラ単独方法に切り替えられた直後においては、物標の自車両に対する相対速度も正確に算出されないことになる。従って、障害物の余裕時間TTCも正確に算出されない。
このように、障害物の抽出精度が低下し、且つ、障害物の余裕時間TTCが正確に算出されない状態で、注意喚起対象物が特定され、且つ、注意喚起画面70が表示されると、この注意喚起画面70では、自車両と衝突する可能性が低い物標に対してドライバーの視線を誘導してしまう可能性が高い。その結果、ドライバーの混乱を招く可能性がある。
そこで、本実施装置では、物標の位置特定方法がカメラ単独方法に切り替えられた時点から所定時間T1が経過するまでの期間、カメラ単独切替フラグが「1」に設定される。それにより、図5のステップ570乃至ステップ590の処理によって注意喚起画面70が表示されることはなく、ステップ543にて前回の画面が表示される。この結果、上述した問題の発生を防止でき、ドライバーが混乱する可能性を低減できる。
一方、第1切替タイマの値が閾値TM1th以上となったとき(即ち、物標の位置特定方法がカメラ単独方法に切り替えられた時点から所定時間T1が経過したとき)、CPUはステップ540にて「Yes」と判定し、ステップ545に進む。ステップ545にてCPUはカメラ単独切替フラグを「0」に設定して、ステップ550に進む。
ステップ550にて、CPUは、フュージョン切替フラグが「1」に設定されているか否かを判定する。ここでは、フュージョン切替フラグが「1」に設定されていないと仮定する。即ち、現時点の物標の位置特定方法がカメラ単独方法のままであると仮定する。この場合、ステップ550にてCPUは「No」と判定し、ステップ570以降に進む。従って、CPUは、第1物標情報に基づいて障害物を抽出するとともに、余裕時間TTCを算出し、その余裕時間TTCを用いて注意喚起対象物があるか否かを判定し、更に、注意喚起対象物があると判定した場合には注意喚起を行う。なお、上述したように、この場合の余裕時間TTCの算出に用いる障害物の相対速度は、前回の第1物標情報における障害物と自車両との間の距離及び今回の第1物標情報における障害物と自車両との間の距離に基づいて算出される。
物標の位置特定方法を示す情報がカメラ単独方法に設定された状態においてCPUがステップ515に進むと、CPUは図6のステップ605にて「No」と判定し、ステップ640に進むようになる。
ステップ640にて、CPUは、ステップ505で読み取った第1物標情報及びステップ510で読み取った第2物標情報がフュージョン開始条件を満たすか否かを判定する。
フュージョン開始条件の詳細について説明する。フュージョン開始条件は、第1物標情報の検出結果と第2物標情報の検出結果との許容以上の相違が解消されたことに起因して、物標の位置特定方法をカメラ単独方法からフュージョン方法に切り替えることが可能な場合に成立する条件である。
より詳細には、フュージョン開始条件は、次の条件が成立したときに成立する条件である。次の条件が成立する場合、CPUはステップ640で「Yes」と判定する。
・第2物標情報で新たな物標が検出され、この第2物標情報により示される当該物標の位置が第1物標情報で検出されている物標の位置と所定範囲内である場合(換言すると、カメラセンサ11により検出されている物標の相対距離とレーダーセンサ12により検出されている同じ物標の相対距離との差が閾値距離未満であり、且つ、カメラセンサ11により検出されている物標の方位とレーダーセンサ12により検出されている同じ物標の方位との差が閾値角度未満である場合)。
ここで、フュージョン開始条件が成立する場合の例について説明する。
「ミリ波帯の電波の反射強度が弱い物標」からの反射波をレーダーセンサ12が受信できなくなり、カメラ単独開始条件の(1)が成立して、物標の位置の特定方法がカメラ単独方法に切り替えられたと仮定する。この場合、自車両と「ミリ波帯の電波の反射強度が弱い物標」との間の距離が近くなると、当該物標からの反射波をレーダーセンサ12が受信できるようになる。このとき、上述したフュージョン開始条件が成立する。
更に、第1物標情報で検出されている一つの物標が第2物標情報で複数の物標として検出されていることに起因して、カメラ単独開始条件の(1)又は(2)が成立して、カメラ単独方法に切り替えられたと仮定する。この場合、第1物標情報で検出されている一つの物標が第2物標情報で一つの物標と検出されると、上述したフュージョン開始条件が成立する。
同様に、第1物標情報で複数の物標として検出されている物標が、第2物標情報で一つの物標として検出されていることに起因して、カメラ単独開始条件の(1)又は(2)が成立して、カメラ単独方法に切り替えられたと仮定する。この場合、第2物標情報で一つの物標として検出していた物標が複数の物標として検出されると、上述したフュージョン開始条件が成立する。
物標の位置特定方法を示す情報がカメラ単独方法に設定された状態において、「図5のステップ505にて読み取った第1物標情報及びステップ510にて読み取った第2物標情報」がフュージョン開始条件を満たさない場合、CPUはステップ640にて「No」と判定し、ステップ645に進む。
ステップ645にて、CPUは、カメラ単独方法を用いて物標の位置を特定し、ステップ695に進み、本ルーチンを一旦終了して図5のステップ520に進む。CPUは、ステップ520にて車両状態情報を読み取り、ステップ525にて走行予測進路を推定し、ステップ530に進む。
ここでは、カメラ単独切替フラグもフュージョン切替フラグも設定されていない。よって、CPUは、ステップ530にて「No」と判定し、更に、ステップ550にて「No」と判定して、ステップ570以降に進む。この結果、カメラセンサ11によって検知された第1物標情報に基づいて、障害物が抽出され、その障害物の余裕時間TTCが算出される。更に、算出された余裕時間TTCが閾値T1th以下である障害物が存在する場合、注意喚起画面70が表示される。
この状態において、「ステップ505にて読み取った第1物標情報及びステップ510にて読み取った第2物標情報」がフュージョン開始条件を満たすと、CPUは図6のステップ640にて「Yes」と判定し、ステップ650に進む。ステップ650にて、CPUは、物標の位置特定方法を示す情報をフュージョン方法に設定し、ステップ655に進む。ステップ655にて、CPUは、カメラ単独切替フラグを「0」に設定し、ステップ660に進む。
なお、上述したように、カメラ単独切替フラグは、物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた時点から所定時間T1が経過する時点までの間、又は、物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた時点から所定時間T1が経過する前にフュージョン方法に切り替えられる時点まで「1」に設定される。従って、物標の位置特定方法がカメラ単独方法に切り替えられてから所定時間T1が経過する前に物標の位置特定方法がフュージョン方法に切り替えられた場合、カメラ単独切替フラグが「1」に設定されたままであるので、ステップ655にて「0」に設定する。
次に、CPUは、ステップ660にてフュージョン切替フラグを「1」に設定して、ステップ665に進み、第2切替タイマを初期化し(即ち、第2切替えタイマを「0」に設定(クリア)し)、ステップ615に進む。ステップ615にて、CPUは、フュージョン方法を用いて物標の位置を特定して、ステップ695に進み、本ルーチンを一旦終了して、図5のステップ520に進む。
ステップ520にて、CPUは、車両状態情報を読み取り、ステップ525に進み、走行予測進路を推定して、ステップ530に進む。この場合、カメラ単独切替フラグは「0」に設定されているので、CPUは、ステップ530にて「No」と判定して、ステップ550に進む。図6のステップ660にてフュージョン切替フラグが「1」に設定されているので、CPUは、ステップ550にて「Yes」と判定し、ステップ555に進む。
ステップ555にて、CPUは、現在の第2切替タイマの値に「1」を加算した値を第2切替タイマの値に代入して、ステップ560に進む。
ステップ560にて、CPUは、第2切替タイマの値が閾値TM2th以上であるか否かを判定する。第2切替タイマの値が閾値TM2th以上である場合とは、物標の位置特定方法がフュージョン方法に切り替えられてから所定時間T2が経過している場合である。
第2切替タイマの値が閾値TM2th未満である場合、CPUはステップ560にて「No」と判定し、ステップ543に進み、前回本ルーチンを実行したときに表示器20に表示されていた画面をそのまま表示して、ステップ595に進み、本ルーチンを一旦終了する。即ち、物標の位置特定方法がフュージョン方法に切り替えられてから所定時間T2(閾値TM2thに相当する時間)が経過するまでは、CPUはステップ570以降の処理を行わないので、フュージョン方法によって位置が特定された物標に対する注意喚起画面70の表示が禁止される。
物標の位置特定方法がフュージョン方法に切り替えられた直後に、フュージョン方法によって位置が特定された物標に対する注意喚起画面70の表示が禁止される理由について説明する。フュージョン方法に切り替えた直後においては、物標と自車両との間の距離が第2物標情報に基づいて特定される。カメラ単独方法では、この距離は第1物標情報に基づいて特定されている。このため、フュージョン方法に切り替えた直後の物標と自車両との間の距離が、第1物標情報に基づいて特定されていた前回の距離から大きく変化してしまう。
これによって、物標の移動方向が正確に算出されないので、ステップ570における障害物の抽出精度が低くなる。なお、物標の位置特定方法がフュージョン方法である場合、物標の自車両に対する相対速度は、第2物標情報に含まれる検出精度の高い相対速度を利用できる。このため、障害物の余裕時間TTCは正確に算出できる。従って、物標の位置特定方法がフュージョン方法に切り替えられた直後、余裕時間TTCは正確に算出できる。しかしながら、上述したように、障害物の抽出精度が低下してしまうから、物標の位置特定方法がフュージョン方法に切り替えられた直後においては誤った注意喚起がなされる可能性が高い。
このため、フュージョン方法に切り替えられてから所定時間T2が経過するまで、図5のステップ570にて障害物が抽出されず、ステップ543にて前回の画面が表示されるようになっている。
一方、第2切替タイマの値が閾値TM2th以上となったとき(即ち、物標の位置特定方法がフュージョン方法に切り替えられた時点から所定時間T2が経過したとき)、CPUはステップ560にて「Yes」と判定し、ステップ565に進む。ステップ565にて、CPUは、フュージョン切替フラグを「0」に設定して、ステップ570以降に進む。この結果、第1物標情報及び第2物標情報の両方に基づいて、障害物が抽出され、その障害物の余裕時間TTCが算出される。更に、算出された余裕時間TTCが閾値T1th以下である障害物が存在する場合、注意喚起画面70が表示される。
以上、説明したように、本実施装置は、物標の位置特定方法をフュージョン方法からカメラ単独方法に切り替えてから所定時間T1が経過するまで、新たな注意喚起画面70の表示を禁止し、前回の画面の表示を継続する。更に、本実施装置は、物標の位置特定方法をカメラ単独方法からフュージョン方法に切り替えてから所定時間T2が経過するまで、新たな注意喚起画面70の表示を禁止し、前回の画面の表示を継続する。これによって、不正確な注意喚起画面70の表示を防止できるので、ドライバーの混乱を防止できる。
更に、所定時間T2は、「物標の位置特定方法の切替前後の物標の位置の変化」が物標の移動方向の算出に影響しなくなる時間に設定される。但し、物標の位置特定方法がフュージョン方法である所定時間T2の期間において、物標の自車両に対する相対速度は、物標の位置の時系列データに基づくことなく、レーダーセンサ12から送られてくる第2物標情報に基づいて即座に特定可能である。これに対し、物標の位置特定方法がカメラ単独方法である場合、物標の自車両に対する相対速度は、物標の位置の時系列データに基づいて算出される。このため、所定時間T1は「物標の位置特定方法の切替前後の物標の位置の変化」が「物標の移動方向」の算出及び「物標の自車両に対する相対速度」の算出の両方に影響しなくなる時間を考慮して設定されなければならない。以上のことから、所定時間T1は所定時間T2より長く設定されている。即ち、所定時間T2は所定時間T1より短く設定されている。これによって、物標の位置特定方法がフュージョン方法に切り替えられた場合、検出精度の高い方法で位置及び相対速度が特定された物標に対する注意喚起画面70がいち早く表示される。
次に、図4に示す時刻ta、時刻t1、時刻tb、時刻t2及び時刻tcで実行される処理について簡単に説明する。
時刻taでは、物標の位置特定方法はフュージョン方法であり、時刻taで読み取られる第1物標情報及び第2物標情報はカメラ単独開始条件を満たさず、カメラ単独切替フラグ及びフュージョン切替フラグの何れも設定されていない。
この場合、CPUは、図5のステップ515に進んだとき、図6のステップ605に進み、そのステップ605て「Yes」と判定し、且つ、ステップ610にて「No」と判定する。そして、CPUは、ステップ615に進み、フュージョン方法を用いて物標の位置を特定する。その後、CPUは、図5のステップ520及びステップ525を順に実行して、ステップ530に進む。
この場合、カメラ単独切替フラグは設定されていないので、ステップ530にてCPUは「No」と判定して、ステップ550に進む。更に、フュージョン切替フラグは設定されていないので、ステップ550にてCPUは「No」と判定して、ステップ570以降に進む。この結果、CPUは、フュージョン方法により取得された物標情報に基づいて注意喚起(注意喚起画面70の表示)の必要性を判定し、その判定結果に応じて注意喚起を行う。
図4に示した例においては、時刻t1が到来したときにカメラ単独開始条件が満たされる。この段階においては、物標の位置特定方法はフュージョン方法である。従って、CPUは、図5のステップ515に進んだとき、図6のステップ605に進み、ステップ605にて「Yes」と判定してステップ610に進む。そして、CPUは、ステップ610にて「Yes」と判定し、ステップ620乃至ステップ635の処理を行い、ステップ645に進む。この結果、物標の位置特定方法を示す情報がカメラ単独方法に設定され、フュージョン切替フラグが「0」に設定される。なお、時刻t1直前においてフュージョン切替フラグは「0」であるから、ステップ625の処理は確認的に実施される。更に、カメラ単独切替フラグが「1」に設定され、第1切替タイマが初期化される。加えて、カメラ単独方法により物標の位置が特定される。この結果、CPUが図5のステップ520以降に進んでステップ530に進んだとき、CPUはそのステップ530にて「Yes」と判定して、ステップ535に進む。ステップ535にて、CPUは第1切替タイマの値に「1」を加算して、ステップ540に進む。時刻t1ではカメラ単独開始条件が成立した直後であるので、物標の位置特定方法がカメラ単独方法に切り替えられてから所定時間T1が経過していない。このため、CPUはステップ540にて「No」と判定し、ステップ543に進み、時刻t1の直前で表示されていた注意喚起画面70を表示する。
図4に示す時刻tbが到来したときに、時刻t1でカメラ単独方法に切り替えられてから所定時間T1が経過する。したがって、CPUは、ステップ535にて第1切替タイマの値に「1」を加算してステップ540に進み、ステップ540にて「Yes」と判定し、ステップ545を経由して、ステップ550に進む。フュージョン切替フラグは「1」に設定されていないので、ステップ550にてCPUは「No」と判定して、ステップ570以降に進む。この結果、CPUは、カメラ単独方法により取得された物標情報に基づいて注意喚起(注意喚起画面70の表示)の必要性を判定し、その判定結果に応じて注意喚起を行う。
図4に示す時刻t2が到来したときにフュージョン開始条件が満たされる。この段階においては、物標の位置特定方法はカメラ単独方法である。従って、CPUは、図5のステップ515に進んだとき、図6のステップ605に進み、ステップ605にて「No」と判定してステップ640に進む。そして、CPUは、ステップ640にて「Yes」と判定し、ステップ650乃至ステップ665の処理を行い、ステップ615に進む。この結果、物標の位置特定方法を示す情報がフュージョン方法に設定され、カメラ単独切替フラグが「0」に設定される。なお、時刻t2直前においてカメラ単独切替フラグは「0」であるから、ステップ655の処理は確認的に実施される。更に、フュージョン切替フラグが「1」に設定され、第2切替タイマが初期化される。加えて、フュージョン方法により物標の位置が特定される。この結果、CPUが図5のステップ520以降に進んでステップ550に進んだとき、CPUはそのステップ550にて「Yes」と判定して、ステップ555に進む。ステップ555にて、CPUは第2切替タイマの値に「1」を加算して、ステップ560に進む。時刻t2ではフュージョン開始条件が成立した直後であるので、物標の位置特定方法がフュージョン方法に切り替えられてから所定時間T2が経過していない。このため、CPUはステップ560にて「No」と判定し、ステップ543に進み、時刻t2の直前で表示されていた注意喚起画面70を表示する。
図4に示す時刻tcが到来したときに、時刻t2でフュージョン方法に切り替えられてから所定時間T2が経過する。したがって、CPUは、ステップ555にて第2切替タイマの値に「1」を加算してステップ560に進み、ステップ560にて「Yes」と判定し、ステップ565を経由して、ステップ570以降に進む。この結果、CPUは、フュージョン方法により取得された物標情報に基づいて注意喚起(注意喚起画面70の表示)の必要性を判定し、その判定結果に応じて注意喚起を行う。
本発明は上記実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、物標の位置特定方法がフュージョン方法からカメラ単独方法に切り替えられた場合の所定時間T1と、物標の位置特定方法がカメラ単独方法からフュージョン方法に切り替えられた場合の所定時間T2と、が同じ時間であってもよい。
更に、視線誘導アイコン71は、上述したドライバーの視線を誘導する各機能を有する範囲において、任意にデザインされ得る。
更に、ステップ570においては、CPUは、前方レーダーセンサ12Cが検出した物標から障害物を抽出する場合、物標が歩行者であるか否かにかかわらず、「走行予測進路領域内にあるか又は走行予測進路領域に将来的に進入し且つ自車両の先端領域と交差すると予測される」物標を障害物として抽出してもよい。
10…注意喚起ECU、11…カメラセンサ、12C…前方レーダーセンサ、12L,12R…前側方レーダーセンサ、13…車両状態センサ、20…表示器

Claims (2)

  1. 自車両の周辺の領域の画像をカメラセンサにより撮影し、撮影した画像に基づいて、物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を含む第1物標情報を取得する第1物標情報取得部と、
    前記自車両の周辺の領域にレーダーセンサにより電波を放射し、当該レーダーセンサにより前記電波の反射波を受信し、当該反射波に基づいて前記物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を含む第2物標情報を取得する第2物標情報取得部と、
    前記第1物標情報に基づいて前記物標の前記自車両に対する方位を特定し且つ前記第2物標情報に基づいて前記物標と前記自車両との間の距離を特定することによって前記物標の位置を特定するとともに前記第2物標情報に基づいて前記物標の前記自車両に対する速度である相対速度を特定するフュージョン方法、並びに、前記第1物標情報に基づいて前記物標の前記自車両に対する方位及び前記物標と前記自車両との間の距離を特定することによって前記物標の位置を特定するとともに当該特定した距離に基づいて前記相対速度を算出するカメラ単独方法、の何れかを選択的に用いて、前記物標の位置及び前記相対速度を特定する物標情報特定部と、
    前記自車両の走行状態に関する車両状態情報を取得する車両状態情報取得部と、
    前記物標情報特定部によって特定された物標の位置及び当該物標の位置の推移に基づく物標の移動方向の少なくとも一方に基づいて前記自車両に衝突する可能性が高い障害物を抽出する障害物抽出部と、
    前記抽出された障害物が前記自車両の前端部を含む先端領域に到達するまでの余裕時間を、前記物標情報特定部により特定された前記物標と前記自車両との間の距離と前記相対速度とに基づいて算出する余裕時間算出部と、
    ドライバーの視線を誘導する注意喚起画面を表示可能な表示部と、
    前記余裕時間が閾値以下である障害物の方向に前記ドライバーの視線を誘導する画面を前記注意喚起画面として前記表示部に表示させる表示制御部と、
    を備えた車両用注意喚起装置であって、
    前記物標情報特定部が前記カメラ単独方法を用いて前記物標の位置及び前記相対速度を特定している場合に前記第1物標情報及び前記第2物標情報が第1条件を満たしたとき、前記物標情報特定部が用いる方法を前記カメラ単独方法から前記フュージョン方法に切り替え、且つ、
    前記物標情報特定部が前記フュージョン方法を用いて前記物標の位置及び前記相対速度を特定している場合に前記第1物標情報及び前記第2物標情報が第2条件を満たしたとき、前記物標情報特定部が用いる方法を前記フュージョン方法から前記カメラ単独方法に切り替える、
    切替部を更に備え、
    前記表示制御部は、
    前記切替部によって前記物標情報特定部が用いる方法が前記フュージョン方法から前記カメラ単独方法に切り替えられた時点から第1所定時間が経過するまで、前記カメラ単独方法を用いて前記位置及び前記相対速度が特定された物標に対する前記注意喚起画面の表示を禁止し、
    前記切替部によって前記物標情報特定部が用いる方法が前記カメラ単独方法から前記フュージョン方法に切り替えられた時点から第2所定時間が経過するまで、前記フュージョン方法を用いて前記位置及び前記相対速度が特定された物標に対する前記注意喚起画面の表示を禁止する、
    ように構成された車両用注意喚起装置。
  2. 請求項1に記載の車両用注意喚起装置であって、
    前記第2所定時間は前記第1所定時間よりも短く設定された、
    車両用注意喚起装置。
JP2016250556A 2016-12-26 2016-12-26 車両用注意喚起装置 Active JP6500887B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016250556A JP6500887B2 (ja) 2016-12-26 2016-12-26 車両用注意喚起装置
US15/846,923 US10124812B2 (en) 2016-12-26 2017-12-19 In-vehicle alert apparatus and method of controlling in-vehicle alert apparatus
DE102017131183.1A DE102017131183B4 (de) 2016-12-26 2017-12-22 Fahrzeugseitige Warnvorrichtung und Verfahren einer Steuerung einer fahrzeugseitigen Warnvorrichtung
CN201711405483.3A CN108237998B (zh) 2016-12-26 2017-12-22 车载提醒设备和控制车载提醒设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250556A JP6500887B2 (ja) 2016-12-26 2016-12-26 車両用注意喚起装置

Publications (2)

Publication Number Publication Date
JP2018106334A JP2018106334A (ja) 2018-07-05
JP6500887B2 true JP6500887B2 (ja) 2019-04-17

Family

ID=62510415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250556A Active JP6500887B2 (ja) 2016-12-26 2016-12-26 車両用注意喚起装置

Country Status (4)

Country Link
US (1) US10124812B2 (ja)
JP (1) JP6500887B2 (ja)
CN (1) CN108237998B (ja)
DE (1) DE102017131183B4 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190820B2 (ja) * 2018-04-02 2022-12-16 パナソニックホールディングス株式会社 侵入検知システムおよび侵入検知方法
US10532697B2 (en) 2018-06-14 2020-01-14 International Business Machines Corporation Augmented reality-based roadside content viewing within primary field of view
CN109255857A (zh) * 2018-08-23 2019-01-22 江苏罗思韦尔电气有限公司 一种带安全预警功能的记录仪
CN109087485B (zh) * 2018-08-30 2021-06-08 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质
CN113168711A (zh) * 2018-09-05 2021-07-23 英特尔公司 利用阴影和反射的用于自主驾驶的对象检测和追踪
JP6930512B2 (ja) * 2018-10-19 2021-09-01 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
CN109490825B (zh) * 2018-11-20 2021-02-09 武汉万集信息技术有限公司 定位导航方法、装置、设备、***及存储介质
US11143599B2 (en) 2018-12-03 2021-10-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a pipeline inspection robot
US10890505B2 (en) 2018-12-03 2021-01-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
US10783623B2 (en) * 2018-12-03 2020-09-22 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
JP6933677B2 (ja) * 2019-03-07 2021-09-08 本田技研工業株式会社 車両制御装置、車両制御方法、車両およびプログラム
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US20200342230A1 (en) * 2019-04-26 2020-10-29 Evaline Shin-Tin Tsai Event notification system
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
CN111923898B (zh) * 2019-05-13 2022-05-06 广州汽车集团股份有限公司 障碍物检测方法及装置
JP2021018262A (ja) * 2019-07-17 2021-02-15 豊田合成株式会社 ディスプレイパネル
CN113220137A (zh) * 2020-02-04 2021-08-06 奥迪股份公司 移动电子设备辅助使用***、车辆及相应的方法和介质
CN112109730A (zh) * 2020-06-10 2020-12-22 上汽通用五菱汽车股份有限公司 基于交互数据的提醒方法、车辆及可读存储介质
EP3932719B1 (en) * 2020-07-03 2024-04-24 Honda Research Institute Europe GmbH Method for assisting a user of an assistance system, assistance system and vehicle comprising such a system
CN113723282B (zh) * 2021-08-30 2024-03-22 上海商汤临港智能科技有限公司 车辆行驶提示方法、装置、电子设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3918791B2 (ja) 2003-09-11 2007-05-23 トヨタ自動車株式会社 物体検出装置
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4561674B2 (ja) * 2006-03-30 2010-10-13 株式会社デンソー 物体検出装置
US9723274B2 (en) * 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
US9511634B2 (en) * 2014-10-30 2016-12-06 Elwha Llc Systems and methods for anticipatory tire pressure control
JP6248950B2 (ja) * 2015-01-13 2017-12-20 トヨタ自動車株式会社 車両用表示装置および車両用表示方法
US9452732B1 (en) * 2015-03-30 2016-09-27 Ford Global Technologies, Llc Vehicle key off load reduction via off-board sensor
WO2016204213A1 (ja) * 2015-06-16 2016-12-22 株式会社デンソー 車両制御装置、及び車両制御方法
US10059261B2 (en) * 2015-11-24 2018-08-28 Thunder Power New Energy Vehicle Development Company Limited Collision warning system
US9840254B2 (en) * 2015-12-31 2017-12-12 Sony Corporation Method and system for adaptive detection and application of horn for an autonomous vehicle

Also Published As

Publication number Publication date
CN108237998B (zh) 2020-03-24
CN108237998A (zh) 2018-07-03
DE102017131183A1 (de) 2018-06-28
JP2018106334A (ja) 2018-07-05
DE102017131183B4 (de) 2023-06-22
US20180178811A1 (en) 2018-06-28
US10124812B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
JP6500887B2 (ja) 車両用注意喚起装置
US10710502B2 (en) In-vehicle alert apparatus and alert method
JP6551384B2 (ja) 車両用注意喚起装置
JP6819431B2 (ja) 注意喚起装置
US10589673B2 (en) In-vehicle alert device
JP6607110B2 (ja) 車両用注意喚起装置
CN107251127B (zh) 车辆的行驶控制装置以及行驶控制方法
US20150353078A1 (en) Driving assistance apparatus
JP5233432B2 (ja) 運転支援システム、運転支援方法及び運転支援プログラム
CN109204136B (zh) 周边图像显示控制装置
WO2017042089A1 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JP4832489B2 (ja) 車線判定装置
JP2010250445A (ja) 運転支援装置、及びプログラム
JP5595078B2 (ja) 運転支援装置
JP6188779B2 (ja) 運転支援装置
JP4876147B2 (ja) 車線判定装置及びナビゲーションシステム
JP2007320536A (ja) 並走車両監視装置
JP2009298362A (ja) 車両の車線逸脱警報装置
JP2018144600A (ja) 車両用後方警報装置
JP2017004339A (ja) 車両用運転者支援装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190304

R151 Written notification of patent or utility model registration

Ref document number: 6500887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151