JP6617677B2 - 車両制御装置、車両制御方法 - Google Patents

車両制御装置、車両制御方法 Download PDF

Info

Publication number
JP6617677B2
JP6617677B2 JP2016205051A JP2016205051A JP6617677B2 JP 6617677 B2 JP6617677 B2 JP 6617677B2 JP 2016205051 A JP2016205051 A JP 2016205051A JP 2016205051 A JP2016205051 A JP 2016205051A JP 6617677 B2 JP6617677 B2 JP 6617677B2
Authority
JP
Japan
Prior art keywords
determined
image
captured image
determination
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016205051A
Other languages
English (en)
Other versions
JP2018067130A (ja
JP2018067130A5 (ja
Inventor
崇弘 馬場
崇弘 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016205051A priority Critical patent/JP6617677B2/ja
Priority to US16/343,663 priority patent/US11407390B2/en
Priority to PCT/JP2017/037064 priority patent/WO2018074330A1/ja
Publication of JP2018067130A publication Critical patent/JP2018067130A/ja
Publication of JP2018067130A5 publication Critical patent/JP2018067130A5/ja
Application granted granted Critical
Publication of JP6617677B2 publication Critical patent/JP6617677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17Using electrical or electronic regulation means to control braking
    • B60T8/171Detecting parameters used in the regulation; Measuring values used in the regulation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17Using electrical or electronic regulation means to control braking
    • B60T8/172Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02Active or adaptive cruise control system; Distance control
    • B60T2201/022Collision avoidance systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/32Vehicle surroundings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

電磁波センサと画像センサとを併用して物体を検出する車両制御装置、及び車両制御方法に関する。
従来、電磁波センサと画像センサとを併用して自車前方の物体を検出する車両制御装置が知られている。具体的には、電磁波センサにより検出された物体の位置と、画像センサにより撮像された撮像画像から検出された物体の位置とを用いた判定条件により両物体が同一の物体であるか否かを判定する。
特許文献1では、電磁波センサ及び撮像画像により検出された物体の各位置が近接していることを物体が同一物体であるか否かの判定条件とする装置が開示されている。また、特許文献1に開示された装置では、上記した判定条件に加えて、電磁波センサにより検出された物体の位置に基づいて算出される自車両と物体とが衝突するまでの時間と、撮像画像により検出された物体の位置に基づいて算出される自車両と物体とが衝突するまでの時間との差が閾値以下であることを、物体が同一物体として判定される判定条件としている。
特開2016―66182号公報
ところで、撮像画像を用いて物体の位置を算出する場合、例えば、周知のパターンマッチング処理を用いて撮像画像から物体を認識する。このパターンマッチング処理は、必ずしも撮像画像内に物体の全体がなくとも当該物体を認識可能であるため、物体の一部が撮像画像から途切れている場合でも、物体が認識される場合がある。そして、一部が撮像画像から途切れた状態で認識された物体は、この物体の全体が認識される場合と比べて、撮像画像に占める領域がずれることで、算出される位置にずれを生じさせる。そして、このずれにより、同一物体であるか否かの判定において、同一である可能性が高い2つの物体が異なる物体として判定されるおそれがある。
本発明は、上記課題に鑑みたものであり、電磁波センサと画像センサとを併用して物体を検出する車両制御装置及び車両制御方法において、物体が同一物体であるか否かの判定精度が低下するのを抑制することができる車両制御装置、及び車両制御方法を提供することを目的とする。
上記課題を解決するために本発明では、電磁波センサにより自車前方の物体を検出した第1位置と、画像センサにより自車前方を撮像した撮像画像から検出した前記物体の第2位置とに基づいて、前記物体が同一物体であるか否かを判定する物体判定部、を備える車両制御装置であって、前記物体が前記撮像画像により検出されており、かつその一部が前記画像センサの撮像領域外となっていることで、当該物体の一部が前記撮像画像から途切れているか否かを判定する画像判定部と、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記物体が同一物体であるか否かの判定に用いられる判定条件を変更する判定条件変更部と、を備える。
一部が画像センサの撮像領域外に位置している物体は、撮像画像により検出される第2位置が真値と比べて異なる位置となる場合がある。この点、上記構成では、撮像画像により検出されている物体の一部が画像センサの撮像領域外となっていることで、物体の一部が撮像画像から途切れているか否かを判定する。そして、物体について、その一部が撮像画像から途切れていると判定された物体を、物体の一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう判定条件を変更することとした。この場合、物体の一部が撮像領域外に位置することで、第2位置に誤差が生じる場合でも、この物体が異なる物体として判定されるのを抑制し、同一物体であるか否かの判定精度が低下するのを抑制することができる。
車両制御装置の構成を説明する図。 物体の検出を説明する図。 衝突判定を説明する図。 第2位置の検出を説明する図。 同一物体であるか否かの判定方法を説明するフローチャート。 図5のステップS13の処理を詳細に示すフローチャート。 一部が撮像画像から途切れた歩行者を判定する手法を説明する図。 同一物体であるか否かの判定の信頼度を説明する図。 判定条件の変更を説明する図。 第2実施形態にかかるECU20の処理を説明するフローチャート。 補完モードでの衝突回避制御の実施態様を説明する図。 信頼度の算出手法を説明する図。
以下、車両制御装置及び車両制御方法の実施の形態を、図面を使用して説明する。なお、以下の実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
(第1実施形態)
図1に示すように、車両制御装置100は、車両に搭載されており、車両前方に位置する物体を検出する。そして、物体と車両とが衝突するおそれがある場合、自車両と物体との衝突の回避動作、又は衝突の緩和動作を実施する。図1に示すように、車両制御装置100は、各種センサ30と、ECU(Electronic Control Unit)20と、運転支援装置40と、を備えている。
各種センサ30は、ECU20に接続されており、物体に対する検出結果をこのECU20に出力する。図1では、各種センサ30は、電磁波センサ31と、撮像画像を取得する画像センサ32と、を備えている。検出対象となる物体の内、電磁波センサ31により検出されるものと画像センサ32により取得された撮像画像により検出されるものとを区別する場合、電磁波センサ31により検出される物体を電磁波物標と記載し、撮像画像により検出される物体を画像物標と記載する。
電磁波センサ31は、ミリ波やレーダ等の指向性のある送信波を送信し、この送信波に応じて電磁波物標から反射される反射波により物体の位置や、自車両を基準とする相対速度を検出する。例えば、電磁波センサ31は、アンテナを自車両に対して水平方向に走査することで、このアンテナによる送信波の送信や、反射波の受信を行う。
画像センサ32は、自車両CSの前側に配置されており、自車前方を撮像した撮像画像を取得し、この撮像画像を所定周期でECU20に出力する。画像センサ32は、CCD(Charge coupled device)等の撮像素子を解像度に応じた数だけ縦横に配置することで構成されている。この画像センサ32により取得される撮像画像は、画像センサ32の解像度に応じた画素により形成されている。この実施形態では、画像センサ32は、単眼カメラとして説明を行うが、ステレオカメラを用いるものであってもよい。
ECU20は、CPU,ROM,RAM等を備えた周知のコンピュータとして構成されている。そして、CPUが、ROMに格納されたプログラムを実行することで、自車前方の物体の検出や、検出された物体の位置を用いた当該物体との衝突可能性の判定を行うための各機能を実現する。
ECU20の機能の内、物体判定部23は、電磁波センサ31により自車前方の物体を検出した第1位置と、画像センサ32により自車前方を撮像した撮像画像から検出した物体の第2位置とに基づく判定条件により、この物体が同一物体であるか否かを判定する。この実施形態では、物体判定部23は、領域条件判定部24と、時間条件判定部25と、を備えており、領域条件判定部24により設定される判定条件と、時間条件判定部25により設定される判定条件とを用いて、物体が同一であるか否かの判定を行う。
まずは、同一物体であるか否かの判定に用いられる第1位置と第2位置とを説明する。図2(a)に示すように、第1位置Prは、電磁波センサ31による物体の検出位置であり、車両横方向をX方向、車両の進行方向をY方向とするXY平面上の位置として検出される。この第1位置Prは、自車両から物体までの相対距離r1と、自車両を中心とする方位θrとを含んでいる。なお、図2(a)のXY平面は、自車両CSの先端位置の内、電磁波センサ31が設けられた位置を基準点Poとして設定されている。
図2(a)に示すように、第2位置は、撮像画像による物体の検出位置であり、XY平面上の位置として検出される。この第2位置Piは、自車両から物体までの相対距離r2と、自車両を中心とする方位θiとを含み、第1位置Prと同様にXY平面上の位置として検出される。
この第2位置の内、相対距離r2は、撮像画像内で認識された物体の下端に基づいて算出される。具体的には、物体判定部23は、予め登録されている辞書を用いたパターンマッチング処理により撮像画像から物体を認識する。辞書には、物体の種類ごとに用意されている。そして、図2(b)に示すように、物体判定部23は、撮像画像内で認識された物体の下端の位置Pendから撮像画像の下端までの長さD1と、撮像画像内において予め算出されている消失点(Focus of Expansion; FOE)から撮像画像の下端までの長さD2との比に基づいて、第2位置の内、相対距離r2を算出する。
撮像画像内における物体の下端の位置Pendは、撮像画像を構成する画素の水平方向の数iと垂直方向の数jに基づいて算出することができる。例えば、図2(b)に示す撮像画像における左上の頂点Oの座標(i、j)を(0、0)とした場合に、長さD1は、垂直方向において、物体の下端の位置Pendから撮像画像の下端までの画素数により算出することができる。同様に、長さD2は、垂直方向において、消失点FOEから撮像画像の下端までの画素数により算出することができる。
撮像画像内における消失点の算出は、周知の学習処理により実施される。例えば、撮像画像から自車両の左右に位置する区画線LINを認識し、これらの区画線LINの延長線上の交点を求めることによって消失点FOEの推定位置を算出する。そして、所定の静止物等に対して周知のオプティカルフローを算出し、このオプティカルフローに基づいて、推定位置を補正することで消失点FOEの適正な位置を学習していく。例えば、静止物である区画線や樹木等は、消失点から出現するように移動することが検出される。そのため、これら静止物の出現点を複数回に渡って検出し、検出した各出現点により消失点FOEの推定位置が適正な位置となるよう学習を行う。
領域条件判定部24は、第1位置に基づいて算出される電磁波探索領域と、第2位置に基づいて算出される画像探索領域とに重なる領域が存在することを判定条件として、物体が同一物体であるか否かを判定する。図2(a)では、電磁波探索領域Rrと画像探索領域Riとの間に重なる領域OLが存在しているため、領域条件判定部24は、電磁波物標と画像物標とを同一の物体として判定している。
図2(a)に示すように、電磁波探索領域Rrは、第1位置Prを基準として、距離方向及び方位方向のそれぞれについて、電磁波センサ31の特性に基づき予め設定されている想定誤差分の幅を持たせた領域である。例えば、電磁波探索領域Rrは、第1位置Pr(r1,θr)を基準として、距離方向の想定誤差、及び方位方向の角度の想定誤差分だけ広がる領域として設定される。
画像探索領域Riは、第2位置Piを基準として、距離方向及び方位方向のそれぞれについて、画像センサ32の特性に基づき予め設定されている想定誤差分の幅を持たせた領域である。例えば、図2(a)では、第2位置Pi(r2,θi)を基準として、距離方向の想定誤差、及び方位方向の角度の想定誤差分だけ広げた領域として設定される。
時間条件判定部25は、第1位置及び第2位置により算出された電磁波予測時間TTC(Time to Collision)1と、画像予測時間TTC2との差が判定閾値Thd以下であることを判定条件として、物体が同一物体であるか否かを判定する。図3(a)に示すように、電磁波予測時間TTC1は、自車両がこのままの自車速度で走行した場合に、何秒後に電磁波物標に衝突するかを示す評価値であり、第1位置に基づいて算出された自車両から電磁波物標までの相対距離r1を、自車両を基準とする電磁波物標の相対速度で除算することで算出される。また、画像予測時間TTC2は、自車両がこのままの自車速度で走行した場合に、何秒後に画像物標に衝突するかを示す評価値であり、第2位置に基づいて算出された自車両から画像物標までの相対距離r2を、自車両を基準とする画像物標の相対速度で除算することで算出される。電磁波予測時間TTC1と画像予測時間TTC2との差ΔTTCが判定閾値Thd以下である場合に、電磁波物標と画像物標とが同一物体であると判定される。
衝突判定部26は、物体判定部23により、電磁波物標と画像物標とが同一物体として判定された場合に、第1位置と第2位置とを融合することで、物体に対する新たな位置情報である融合位置を算出する。例えば、第1位置(r1,θr)の内、精度の高い相対距離r1と、第2位置(r2,θi)の内、精度の高い方位θiとを融合させて、融合位置(r1,θi)を算出する。以下では、物体判定部23により同一物体と判定されることで、融合位置が算出された物体をフュージョン物標と記載する。
また、衝突判定部26は、複数の融合位置に基づいて、物体が自車両と衝突するか否かを判定する。例えば、衝突判定部26は、時系列の異なる複数の融合位置に基づいて、フュージョン物標として判定された物体の移動軌跡を算出し、この移動軌跡を自車両側に向けて延長することで当該物体の将来位置を算出する。図3(b)は、時刻t1〜t4の融合位置により算出された移動軌跡を自車両に向けて延長することで将来位置Fpを算出している。そして、算出した将来位置が自車両に設定された衝突横位置CSP内である場合、この物体と自車両とが衝突する可能性があると判定する。衝突横位置CSPは、自車両の前部において自車中心から横方向(X方向)に延びた範囲である。
衝突判定部26は、将来位置が算出された物体と自車両とが衝突する可能性を示す衝突予測時間TTC3を算出することで、物体が自車両と衝突するか否かを判定するものであってもよい。衝突予測時間TTC3は、現在の物体の位置を示す融合位置を、自車両を基準とする物体の相対速度により除算することにより算出される。また、衝突判定部26は、将来位置を算出する以外にも、フュージョン物標として判定された物体の内、この物体の車幅を示す横方向での位置を算出し、この横位置に基づいて、物体と自車両とが衝突する可能性を判定するものであってもよい。
運転支援装置40は、ドライバに対して警報音を発する警報装置や、自車両の車速を減速させるブレーキ装置であり、衝突判定部による判定結果に基づいて、物体との衝突回避動作や衝突軽減動作を行う。運転支援装置40がブレーキ装置であれば、自車両とフュージョン物標とが衝突すると判定された場合に、自動ブレーキを作動させる。また、運転支援装置40が警報装置であれば、自車両とフュージョン物標とが衝突すると判定された場合に、警報音を発する。
図4(a)は、自車前方において、電磁波センサ31で物体を検出できる領域である電磁波検出領域A1と、画像センサ32により自車前方を撮像できる領域である撮像領域A2とを示している。この実施形態では、撮像領域A2は、電磁波検出領域A1と比べて、自車前方において前後に狭い領域となっている。また、自車前方において近傍の領域と遠方の領域とは、電磁波センサ31により物体を検出することができるが、画像センサ32により撮像された撮像画像から物体を認識できない領域となっている。そのため、自車前方において、近傍と遠方との各位置に物体が位置していると、第1位置を検出することができるが、第2位置を検出できないこととなる。
撮像画像を用いて検出された物体の第2位置は、撮像画像内で認識された物体の下端の位置に基づいて算出される。ここで、自車前方に位置する物体の下部が画像センサ32の撮像領域A2より外側に位置していることで、この物体の一部が撮像画像から途切れている場合でも、図4(b)に示すように、物体判定部23がパターンマッチング処理により画像物標Gbを認識してしまう場合がある。このような場合、撮像画像の下端の位置により物体の第2位置Pieが算出されることとなる。そのため、物体の下部が撮像画像から途切れた状態で算出される第2位置Pieは、真値Pitと比べて異なる位置に算出されることとなる。このような場合、同じ物体に対して検出された第2位置と、第1位置とのずれが大きくなることで、この物体が異なる物体として判定されるおそれがある。このため、本実施形態では、ECU20は、画像判定部21と判定条件変更部22と、を備えている。
画像判定部21は、物体が撮像画像により検出されており、かつ物体の一部が画像センサ32の撮像領域外となっていることで、当該物体の一部が撮像画像から途切れているか否かを判定する。この実施形態では、物体の下端部の位置により第2位置を算出するため、画像判定部21は、物体の下部が撮像領域外となっているか否かを判定する。
判定条件変更部22は、画像判定部21により、その一部が撮像画像から途切れていると判定された物体を、その一部が撮像画像から途切れていないと判定された物体と比べて、同一物体として判定され易くなるよう判定条件を変更する。本実施形態では、判定条件変更部22は、画像探索領域を距離方向に拡大することで、画像探索領域と電磁波探索領域とを重なり易くし、同一物体として判定し易くしている。また、電磁波予測時間と画像予測時間との差を比較する判定閾値を大きくすることで、同一物体として判定し易くしている。
次に、ECU20より実施される同一物体であるか否かの判定方法を、図5を用いて説明する。図5に示す処理は、ECU20により所定周期で実施される。また、この例では、自車前方に位置する歩行者を検出対象とする場合を例に説明を行う。
まず、ステップS11では、電磁波センサ31による電磁波物標の検出結果である第1位置を取得する。また、ステップS12では、撮像画像による画像物標の検出結果である第2位置を取得する。
ステップS13では、第2位置が検出された歩行者が同一判定の判定条件を変更する対象となるか否かを判定する。図6は、ステップS13の処理を詳細に説明するフローチャートである。図6に示す処理では、自車両との距離が近づくことで脚部が撮像画像から途切れる歩行者を検出対象としている。
ステップS31では、第2位置が検出された歩行者に対して、撮像画像上での歩行者の位置変化の方向を判定する。例えば、ECU20は、第2位置が検出された歩行者の特徴点を抽出し、この特徴点の時系列の変化を示すオプティカルフローにより、撮像画像上での歩行者の位置変化の方向を判定する。例えば、特徴点は、歩行者の輪郭を示すエッジ点を用いることができる。ステップS31が方向判定部として機能する。
歩行者の撮像画像上での位置変化の方向が下方であれば、この歩行者は、自車両に対して近づいていると判定できる。一方、歩行者の撮像画像上の位置変化の方向が下方以外であれば、この歩行者は、自車両に対して遠ざかっていると判定できる。この実施形態では、ECU20は、撮像画像上での歩行者の位置変化の方向が、横方向や上方向として検出された場合に、位置変化の方向が下方以外であると判定する。
撮像画像上での歩行者の位置変化の方向が下方以外であれば(ステップS31:NO)、歩行者が自車両に近づいていないため、図6に示す処理を終了し、図5に戻る。一方、撮像画像上での歩行者の位置変化の方向が下方であれば(ステップS31:YES)、歩行者が自車量に近づいているため、ステップS32では、撮像画像内において歩行者の下部である脚部が途切れているか否かを判定する。例えば、ECU20は、パターンマッチングに用いる辞書の内、歩行者の上半身及び下半身を認識するための辞書を備えている。そのため、歩行者の上半身用の辞書と下半身用の辞書とを併用することで、歩行者の脚部が途切れているか否かを判定する。具体的には、上半身用の辞書により認識された歩行者の内、下半身用の辞書により認識することができない歩行者を、脚部が途切れている歩行者として判定する。ステップS32が画像判定工程として機能する。
歩行者の上半身用の辞書には、歩行者の頭部、及び胴体から抽出される特徴量が登録されている。そのため、歩行者の上半身用の辞書を用いることで、図7(a),(b)に示すように、少なくとも、撮像画像内に頭部Gbhと胴体Gbbとが存在する歩行者を認識することが可能となる。また、歩行者の下半身用の辞書には、歩行者の脚部から抽出される特徴量が登録されている。そのため、下半身用の辞書を用いてパターンマッチングを行うことで、図7(a)に示すように、脚部GbLが含まれる歩行者は認識されるが、図7(b)に示すように、脚部GbLが途切れている歩行者は認識されないこととなる。なお、辞書に用いる、頭部、胴体、脚部のそれぞれの特徴量は、固定値を用いる以外にも、周知の学習処理に基づいて最適な値を更新するものであってもよい。
歩行者の脚部が途切れていなければ(ステップS32:NO)、図6に示す処理を終了し、図5に戻る。一方、歩行者の脚部が途切れていれば(ステップS32:YES)、ステップS33では、歩行者の下部が撮像領域外であるとして判定する。ECU20は、歩行者の下部が撮像領域外であることを示す状態フラグを真にし、図6に示す処理を終了する。
図5に戻り、ステップS14では、第1位置及び第2位置による歩行者の同一判定の信頼度を算出する。同一判定の信頼度が低い場合、むやみに判定条件を変更してしまうと、かえって物体に対する判定精度を低下させるおそれがあるためである。ここで、信頼度は、第1位置及び第2位置を用いた同一判定の確からしさを示す指標値である。この第1実施形態では、ECU20は、今回の処理より過去において、歩行者を同一物体として継続して判定している回数に基づいて、信頼度を算出する。これは、判定回数が多いことは同一判定が安定して行われていることを示すため、画像物標と電磁波物標とが同一物体である可能性が高くなるためである。ステップS14が信頼度算出部として機能する。
図8に示すように、この実施形態では、歩行者が同一物体として判定された回数が増加するに従い、信頼度が高くなるようその値が規定されている。例えば、ECU20は、図8に示す信頼度と同一物体として判定された回数との関係を示すマップを記録しており、このマップに基づいて、信頼度を取得する。
ステップS14で算出された信頼度が閾値Th1未満であれば(ステップS15:NO)、ステップS19に進む。一方、ステップS14で算出された信頼度が閾値Th1以上であれば(ステップS15:YES)、ステップS16に進み、状態フラグを判定する。なお、閾値Th1は、信頼度を判定するための閾値である。
歩行者の下部が撮像画像から途切れていることを示す状態フラグが偽であれば(ステップS16:NO)、ステップS19に進む。一方、状態フラグが真であれば(ステップS16:YES)、ステップS17,S18において、下部が撮像画像から途切れていると判定された歩行者が、下部が撮像画像から途切れていないと判定された歩行者と比べて、同一物体として判定され易くなるよう判定条件を変更する。そのため、ステップS17,S18が判定条件変更工程として機能する。
まず、ステップS17では、その下部が撮像画像から途切れていると判定された歩行者に対して、その下部が撮像画像から途切れていないと判定された歩行者と場合と比べて、画像探索領域を距離方向に拡大する。この実施形態では、図9(a)に示すように、ECU20は、撮像画像から途切れている歩行者の脚部の長さを算出し、算出した脚部の長さに基づいて、撮像領域外に位置する歩行者の下端の位置Pendの推定値を算出する。そして、算出された下端の位置Pendに基づいて、画像探索範囲の距離方向での拡大量を算出する。
撮像画像から途切れている脚部の長さの算出方法として、例えば、ECU20は撮像画像から周知のパターンマッチング処理を用いて、歩行者の頭部及び胴体のそれぞれの長さを認識し、認識した各部の長さの比に基づいて撮像画像から途切れている脚部の長さを算出する。
そして、図9(b)に示すように、推定された下端の位置に応じて、ECU20は、画像探索範囲を距離方向に拡大する。この実施形態では、撮像画像の下端から推定された歩行者の下端部の位置までの長さが長い程、画像探索範囲における距離方向の拡大量が大きくなる。なお、図9(b)では、画像探索範囲を、距離方向において自車両と近づく側に拡大している。
ステップS18では、その下部が撮像画像から途切れていると判定された歩行者に対して、その下部が撮像画像から途切れていないと判定された歩行者と比べて同一物体として判定され易くなるよう、判定閾値Thdを大きくする。例えば、ECU20は、撮像領域外となっている歩行者の下端部の位置を推定する。そして、推定された下端部の位置に基づいて、判定閾値Thdを大きくする。そのため、撮像画像の下端から推定された歩行者の下端部までの長さが長い程、判定閾値Thdの増加量が大きくなる。
ステップS19では、第1位置を検出した電磁波物標と第2位置を検出した画像物標とが同一物体であるか否かの判定を行う。この実施形態では、各探索領域に重なる領域が存在するか否かの判定条件と、各予測時間の差が判定閾値Thd以下となるか否かの判定条件と、がともに成立した場合に、歩行者の同一判定を行う。また、ステップS17及びS18において、判定条件が変更されている場合、変更後の判定条件により同一の物体であるか否かの判定が行われる。そのため、画像探索領域が距離方向に拡大されることで、電磁波探索領域との間で重なる領域が生じやすくなる。また、判定閾値Thdを大きくすることで、電磁波予測時間と画像予測時間との差が判定閾値Thdよりも小さいと判定され易くなる。
同一物体であるとの判定条件が成立した場合(ステップS19:YES)、ステップS20では、判定が成立したことを示す成立フラグを真にする。一方、同一物体であるとの判定が成立しない場合(ステップS19:NO)、ステップS21では、成立フラグを偽にする。
ステップS20又はステップS21の処理が終了した場合、図5の処理を一旦、終了する。そのため、ステップS20において成立フラグが真となっていれば、この歩行者に対して第1位置と第2位置とを融合させた融合位置が算出されることとなる。一方で、ステップS21において成立フラグが偽となっていれば、融合位置は算出されないこととなる。ステップS19〜S21が物体判定工程として機能する。
以上説明したようにこの第1実施形態では、ECU20は、第2位置を検出した歩行者の一部が画像センサ32の撮像領域外となっていることで、歩行者の一部が撮像画像から途切れているか否かを判定する。そして、その一部が撮像画像から途切れていると判定された物体を、一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう判定条件を変更することとした。この場合、物体の一部が撮像領域外に位置することで、第2位置に誤差が生じる場合でも、この物体が異なる物体として判定されるのを抑制し、同一物体であるか否かの判定精度が低下するのを抑制することができる。
ECU20は、前撮像画像上での位置変化の方向が下方と判定されたことを条件に、一部が撮像画像から途切れていると判定された物体が、一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、判定条件を変更する。自車両に対してその位置が近くなることでその一部が撮像画像から途切れる物体は、その位置が遠ざかることでその一部が撮像画像から途切れる物体と比べて、自車両と衝突する可能性が高くなる。この点、上記構成では、撮像画像上での当該物体の位置変化の方向が下方と判定されたことを条件に、一部が撮像画像から途切れていると判定された物体が、一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、判定条件を変更する、こととした。この場合、自車両からの距離が近づいている物体に制限して同一物体と判定され易くなるよう、判定条件を変更ことで、判定条件を緩和したことに伴う衝突回避制御の不要作動を抑制することができる。
ECU20は、第1位置を基準として、物体から自車両までの距離方向及び自車両を基準とする物体の方位方向に所定範囲で広がる電磁波探索領域と、第2位置を基準として、距離方向及び方位方向に所定範囲で広がる画像探索領域とを算出し、算出された電磁波探索領域と画像探索領域とに重なる領域が存在することを、判定条件とする。そして、その一部が撮像画像から途切れていると判定された物体が、その一部が撮像画像から途切れていないと判定された物体と場合と比べて同一物体として判定され易くなるよう、画像探索領域を距離方向に拡大する。
距離方向、及び方位方向に所定範囲で広がる電磁波探索領域及び画像探索領域を算出し、算出された各探索領域で重なる領域が存在することを判定条件とする場合、第2位置の精度が低下することで、画像探索領域の距離方向での範囲が適正に算出されず、2つの探索領域が重ならなくなるおそれがある。この点、上記構成では、物体の一部が撮像画像から途切れていると判定された物体に対して、物体の一部が撮像画像から途切れていないと判定された物体と比べて物体が同一物体として判定され易くなるよう、画像探索領域を距離方向に拡大する、こととした。この場合、一部が撮像画像から途切れていると判定された物体に対しては画像探索領域を距離方向に変更すればよく、簡易な手法により、物体を同一物体として判定され易くすることができる。
ECU20は、第1位置に基づいて物体が自車両に衝突するまでの予測時間である電磁波予測時間を算出し、第2位置に基づいて物体が自車両に衝突するまでの予測時間である画像予測時間を算出し、この電磁波予測時間と画像予測時間との差が判定閾値以下であることを判定条件とする。そして、その一部が撮像画像から途切れていると判定された物体が、その一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、判定閾値を大きくする。
第1位置に基づいて算出される電磁波予測時間と、第2位置に基づいて算出される画像予測時間との差が判定閾値以下であることを物体が同一物体であるか否かの判定条件とする場合、第2位置の算出精度が低いと、この第2位置に基づいて算出される画像予測時間に誤差が生じ、電磁波予測時間との差が大きくなる場合がある。この点、上記構成では、物体の一部が撮像画像から途切れていると判定された物体に対して、判定閾値を大きくすることで、物体の一部が撮像画像から途切れていないと判定された物体と比べて物体を同一物体として判定され易くする、こととした。この場合、一部が撮像画像から途切れていると判定された物体に対しては判定閾値を大きくすればよく、簡易な手法により、物体を同一物体として判定され易くすることができる。
ECU20は、物体の同一判定の信頼度を算出し、信頼度が所定値以上であることを条件に、その一部が撮像画像から途切れていると判定された物体に対して、判定条件を変更する。
同一物体であるか否かの信頼度が低い場合、むやみに判定条件を変更してしまうと、かえって物体に対する判定精度を低下させるおそれがある。この点、上記構成では、信頼度が所定値以上であることを条件に、一部が撮像画像から途切れていると判定された物体に対して、判定条件を変更する、こととした。この場合、判定条件を変更したことに起因する、判定精度の低下を抑制することができる。
(第2実施形態)
この第2実施形態では、図5に示す処理において、物体が同一物体として判定された後に、第2位置が検出されなくなった状態である画像ロストが生じた場合に、その下部が撮像画像から途切れている物体に対して、下部が撮像画像から途切れていない物体と比べて、同一物体としての判定を継続させ易くする。画像ロストは、物体が同一物体として判定された後に、第1位置が継続して検出され、かつ第2位置が検出されなくなった状態である。
まず、画像ロストが生じた場合の衝突回避制御について説明する。図10(a)は、衝突回避制御の一例として、自動ブレーキの制動力の違いを説明する図である。図10(a)では、横軸を時間secとし、縦軸を車速Vの推移とすることで、自動ブレーキが作動してからの車速Vの減少量の傾きにより自動ブレーキの制動力を示している。すなわち、傾きが大きいほど、自動ブレーキの制動力が高いこととなる。
過去において同一として判定されている物体は、第2位置が検出されていない場合であっても、自車前方に存在している可能性がある。そのため、ECU20は、画像ロストが生じている物体に対しては、同一物体としての判定を所定期間だけ継続する。また、画像ロスト後に同一物体としての判定を継続する期間では、衝突回避制御を補完モードにより実施する。図10(a)では、画像ロストが生じている物体に対しては、画像ロストが生じていない物体と比べて、自動ブレーキの制動力を低下させている。なお、衝突回避制御として、運転支援装置40が警報音を発生させる場合、画像ロストが生じている場合の警報音の音量を画像ロストが生じていない場合の警報音と比べて小さくするものであってもよい。
次に、第2実施形態にかかるECU20の処理を、図11を用いて説明する。図11に示す処理は、ECU20が、物体を同一と判定が成立した後に、所定周期で実施する処理である。この第2実施形態において、物体として歩行者を対象とする場合を例に説明を行う。
ステップS41では、過去において歩行者が同一物体として判定されていたか否かを判定する。例えば、ECU20は、歩行者がフュージョン物標として判定されていることを示す成立フラグが真となっているか否かを判定する。歩行者がフュージョン物標として判定されていなければ(ステップS41:NO)、図11の処理を一旦終了する。
歩行者が同一物体として判定されていれば(ステップS41:YES)、ステップS42では、画像ロストの成立条件を判定する。ECU20は、物体に対して第1位置が継続して検出されており、第2位置が検出されていない場合を、画像ロストの成立条件としている。画像ロストが成立していなければ(ステップS42:NO)、図11の処理を一旦終了する。ステップS42が画像ロスト判定部として機能する。
画像ロストが生じていれば(ステップS42:YES)、ステップS43〜S48では、画像ロストが生じている歩行者に対して実施される補完モードの設定を行う。この実施形態では、衝突回避制御の作動し易さや、画像ロストが生じた物体を同一物体として継続して判定する際の継続時間が設定される。
ステップS43では、歩行者の同一判定の信頼度を示す信頼度を算出する。この第2実施形態においても、図5のステップS14と同様に、ECU20は、フュージョン物標の判定が継続している回数に基づいて、信頼度を判定する。
信頼度が閾値Th11以上である場合(ステップS44:YES)、ステップS45では、歩行者の下部が途切れているか否かの判定を行う。この第2実施形態においても、ECU20は、上半身用の辞書と下半身用の辞書とを併用して、歩行者の下部が撮像画像から途切れているか否かを判定する。
画像ロストは、物体が電磁波センサ31の撮像領域内から撮像領域外へ移動することで、ECU20が撮像画像から物体を認識できなくなったことにより生じる。ここで、物体が自車両に対して近づいている場合、物体の移動に伴い、撮像領域から途切れる歩行者の下部の面積が大きくなることで、ECU20が物体を認識できなくなる。そのため、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体は自車両の近傍に位置している可能性が高くなる。一方、例えば、物体が自車両から横方向に遠ざかる場合、物体の移動に伴い下部以外の部位が撮像画像から途切れることで、ECU20が物体を認識できなくなる。そのため、物体の下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された歩行者は、自車両に対して遠ざかる方向に移動することで撮像領域外に移動している可能性が高くなる。
歩行者の下部が途切れていると判定された場合(ステップS45:YES)、ステップS46では、下部が撮像画像から途切れていると判定された歩行者に対する衝突回避制御を、下部が撮像画像から途切れていないと判定された歩行者に対する衝突回避制御と比べて、作動し易くする。
例えば、衝突回避制御として、自動ブレーキを作動させる場合、図10(a)に示すように、下部が撮像画像から途切れていると判定された歩行者に対する自動ブレーキの制動力を、下部が撮像画像から途切れていないと判定された歩行者に対する自動ブレーキの制動力と比べて高くする。また、衝突回避制御として、運転支援装置40が警報音を発する場合、画像ロストが生じている歩行者の内、下部が撮像画像から途切れている歩行者に対する警報音の音量を、下部が撮像画像から途切れていない歩行者に対する警報音の音量と比べて高くする。
一方、信頼度が閾値Th11未満である場合(ステップS44:NO)や、歩行者の下部が途切れていないと判定された場合(ステップS45:NO)、ステップS48では、下部が撮像画像から途切れていないと判定された歩行者に対する衝突回避制御を、下部が撮像画像から途切れていると判定された歩行者に対する衝突回避制御と比べて、作動し難くする。
そのため、衝突回避制御として自動ブレーキを実施する場合、図10(a)に示すように、自動ブレーキの制動力を、下部が撮像画像から途切れている歩行者に対する自動ブレーキの制動力と比べて低くする。また、衝突回避制御として、警報音を発する場合は、警報音の音量を、下部が撮像画像から途切れている歩行者に対する警報音の音量と比べて低くする。ステップS46,S48が制御部として機能する。
ステップS47では、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された歩行者を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された歩行者と比べて、同一物体としての判定を継続させ易くする。この実施形態では、ECU20は、補完モードの継続時間を延長するよう継続時間を変更ことで、同一物体としての判定を継続させ易くしている。ステップS47が継続条件変更部として機能する。
そして、ステップS47又はS48の処理が終了すると、図11に示す処理を一旦終了する。
以上説明したように、この第2実施形態では、ECU20は、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて、同一物体としての判定を継続させ易くする。
下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体は自車両の近傍に位置している可能性が高く、また、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体は、自車両から遠ざかる向きに移動している可能性が高くなる。この点、上記構成では、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて、同一物体としての判定を継続させ易くする、こととした。この場合、自車前方に存在する可能性が高い物体に対しては、画像ロスト後も同一物体としての判定が継続され易くなるため、物体に対する衝突回避制御の不作動を抑制することができる。
ECU20は、画像ロストが生じていると判定された物体に対して、この画像ロストが生じる前における第1位置及び第2位置による物体の同一判定の信頼度を算出する。そして、信頼度が閾値以上であると判定されたことを条件に、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて、同一物体としての判定を継続され易くする。
物体が同一物体として判定された場合でも、この判定の信頼度が低いと、画像ロスト後に同一物体としての判定を継続させ易くすることで、かえって衝突回避制御の不作動の要因となる。この点、上記構成では、物体の同一判定の信頼度が閾値以上であることを条件に、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて、同一物体としての判定を継続させ易くする、こととした。この場合、判定の信頼度が高い場合に制限して、画像ロスト後に同一物体としての判定を継続することで、衝突回避制御の不要作動を抑制することができる。
ECU20は、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて衝突回避制御を作動させ易くする。
下部が撮像画像から途切れることで画像ロストが生じた物体は、下部が撮像画像から途切れていると判定されることなく画像ロストが生じた物体と比べて、画像ロスト後にも自車前方に位置する可能性が高くなる。この点、上記構成では、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体に対して、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて、衝突回避制御を作動させ易くする、こととした。この場合、画像ロストが生じた物体の内、自車前方に存在する可能性が高い物体に対する衝突回避制御が不作動となる可能性を低減することができる。
(その他の実施形態)
第1位置により算出された電磁波予測時間TTC1と、第2位置により算出された画像予測時間TTC2との差が判定閾値よりも大きいことを、物体が同一物体であるか否かの判定条件する場合に、図5のステップS14や、図11のステップS43で算出される信頼度を、各予測時間の差に基づいて算出するものであってもよい。この場合、図12(a)に示すように、各予測時間の差であるΔTTCが小さい程、信頼度が高く算出される。例えば、ECU20は、図12(a)に示す信頼度と差ΔTTCとの関係を示すマップを記録しており、このマップに基づいて、信頼度を取得する。
自車両から物体までの距離に応じて、物体の同一判定の信頼度を算出するものであってもよい。ここで、自車両から物体までの距離が近い場合、電磁波センサ31により検出される物体の検出精度が低下し、自車両から物体までの距離が遠い場合、撮像画像により検出される物体の検出精度が低下する。そのため、図12(b)では、自車両から物体までの距離がL1以下となる近距離では、距離が短くなる程、信頼度を低い値とする。また、自車両から物体までの距離がL2以上となる遠距離では、距離が遠くなる程、信頼度を高い値とする。なお、距離L2は距離L1と比べて自車両からの距離が遠い値となる。
判定条件の変更手法として画像探索領域を距離方向に拡大する以外にも、XY平面上において、画像探索領域を距離方向にオフセットするものであってもよい。この場合、図5のステップS17において、ECU20は、撮像画像から途切れている物体の下部の長さを推定し、推定した下部の長さに基づいて、物体の下端の位置を算出する。そして、算出された下端の位置に基づいて、画像探索範囲を距離方向にオフセットする量を算出する。
また、画像探索領域の拡大量を、撮像画像から途切れている下部の長さにより変更することに代えて、所定量だけ拡大するものであってもよい。
第2位置の算出は、撮像画像内で認識された物体の下端の位置に基づいて算出する以外にも、物体の下端の位置及び上端の位置に基づいて算出するものであってもよい。この場合、物体の一部として、下部が撮像画像から途切れているか否かを判定する以外にも、物体の上部が撮像画像から途切れている場合を、物体の一部が撮像画像から途切れているとして判定するものであってもよい。
同一物体であるか否かの判定条件として、各探索領域が重なるか否かの判定と、各予測時間が判定閾値以下となるか否かの判定とを併用する以外にも、これらの判定条件のいずれかを用いるものであってもよい。この場合、図5のステップS19において、同一物体であるか否かの判定は、各探索領域が重なるか否か、又は予測時間の差が判定閾値以下となるか否かのいずれかにより実施されることとなる。
第2実施形態において、ECU20が衝突回避制御を作動させ易くする他の例として、自動ブレーキの作動タイミングを早めるものであってもよい。この場合、ECU20は、下部が撮像画像から途切れていると判定され、かつ画像ロストが生じていると判定された物体を、下部が撮像画像から途切れていないと判定され、かつ画像ロストが生じていると判定された物体と比べて自動ブレーキの作動タイミングを早めることで、衝突回避制御を作動させ易くする。ECU20が衝突回避制御を作動させ易くする他の例として、警報音の作動タイミングを早めるものであってもよい。
同一物体であるか否かが判定される対象として、歩行者に代えて自転車としてもよい。この場合、ECU20は、歩行者用の辞書に代えて、自転車用の辞書を用いることとなる。
21…画像判定部、22…判定条件変更部、23…物体判定部、31…電磁波センサ、32…画像センサ、100…車両制御装置、A2…撮像領域、Pi…第2位置、Pr…第1位置。

Claims (11)

  1. 電磁波センサ(31)により自車前方の物体を検出した第1位置と、画像センサ(32)により自車前方を撮像した撮像画像から検出した前記物体の第2位置とに基づいて、前記第1位置が検出された物体と前記第2位置が検出された前記物体が同一物体であるか否かを判定する物体判定部、を備える車両制御装置であって、
    前記物体が前記撮像画像により検出されており、かつ当該物体の一部が前記画像センサの撮像領域外となっていることで、前記物体の一部が前記撮像画像から途切れているか否かを判定する画像判定部と、
    前記物体判定部による同一物体であるか否かの判定において、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記物体判定部により前記物体が同一物体であるか否かの判定に用いられる判定条件を変更する判定条件変更部と、を備える車両制御装置。
  2. 時系列の異なる複数の前記撮像画像に基づいて、前記撮像画像上での前記物体の位置変化の方向を判定する方向判定部を備え、
    前記判定条件変更部は、前記撮像画像上での前記位置変化の方向が下方と判定されたことを条件に、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記判定条件を変更する請求項1に記載の車両制御装置。
  3. 前記物体判定部は、前記第1位置を基準として、前記物体から自車両までの距離方向及び自車両を基準とする前記物体の方位方向に所定範囲で広がる電磁波探索領域と、前記第2位置を基準として、前記距離方向及び前記方位方向に所定範囲で広がる画像探索領域とを算出し、算出された前記電磁波探索領域と前記画像探索領域とに重なる領域が存在することを、前記判定条件とするものであり、
    前記判定条件変更部は、前記一部が撮像画像から途切れていると判定された物体が、前記一部が前記撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記画像探索領域を前記距離方向に拡大する、請求項1又は請求項2に記載の車両制御装置。
  4. 前記物体判定部は、前記第1位置に基づいて前記物体が自車両に衝突するまでの予測時間である電磁波予測時間を算出し、前記第2位置に基づいて前記物体が自車両に衝突するまでの予測時間である画像予測時間を算出し、前記電磁波予測時間と前記画像予測時間との差が所定閾値以下であることを前記判定条件とするものであり、
    前記判定条件変更部は、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記所定閾値を大きくする、請求項1から請求項3のいずれか一項に記載の車両制御装置。
  5. 前記第1位置及び前記第2位置による前記物体の同一判定の信頼度を算出する信頼度算出部を備え、
    前記判定条件変更部は、前記信頼度が所定値以上であることを条件に、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記判定条件を変更する、請求項1から請求項4のいずれか一項に記載の車両制御装置。
  6. 前記画像判定部は、前記物体の下部が前記撮像画像から途切れているか否かを判定するものであって、
    前記物体が、同一物体として判定された後に、前記第1位置が継続して検出され、かつ前記第2位置が検出されなくなった物体を画像ロストが生じた物体として判定する画像ロスト判定部と、
    前記下部が前記撮像画像から途切れていると判定され、かつ前記画像ロストが生じていると判定された物体を、前記下部が前記撮像画像から途切れていないと判定され、かつ前記画像ロストが生じていると判定された物体と比べて同一物体としての判定を継続させ易くする継続条件変更部と、を備える請求項1から請求項5のいずれか一項に記載の車両制御装置。
  7. 電磁波センサ(31)により自車前方の物体を検出した第1位置と、画像センサ(32)により自車前方を撮像した撮像画像から検出した前記物体の第2位置とに基づいて、前記物体が同一物体であるか否かを判定する物体判定部、を備える車両制御装置であって、
    前記物体が前記撮像画像により検出されており、かつ当該物体の一部が前記画像センサの撮像領域外となっていることで、前記物体の一部が前記撮像画像から途切れているか否かを判定する画像判定部を備え、
    前記画像判定部は、前記物体の下部が前記撮像画像から途切れているか否かを判定するものであって、
    前記物体が、同一物体として判定された後に、前記第1位置が継続して検出され、かつ前記第2位置が検出されなくなった物体を画像ロストが生じた物体として判定する画像ロスト判定部と、
    前記下部が前記撮像画像から途切れていると判定され、かつ前記画像ロストが生じていると判定された物体を、前記下部が前記撮像画像から途切れていないと判定され、かつ前記画像ロストが生じていると判定された物体と比べて同一物体としての判定を継続させ易くする継続条件変更部と、を備える車両制御装置
  8. 前記画像ロストが生じていると判定された物体に対して、前記画像ロストが生じる前における前記第1位置及び前記第2位置による前記物体の同一判定の信頼度を算出する信頼度算出部を備え、
    前記継続条件変更部は、前記信頼度が所定値以上であることを条件に、前記下部が前記撮像画像から途切れていると判定され、かつ前記画像ロストが生じていると判定された物体を、前記下部が前記撮像画像から途切れていないと判定され、かつ前記画像ロストが生じていると判定された物体と比べて前記同一物体としての判定を継続させ易くする、請求項6又は請求項7に記載の車両制御装置。
  9. 前記同一物体として判定された物体に対して、自車両との衝突を回避するための衝突回避制御を実施する制御部を備え、
    前記制御部は、前記下部が前記撮像画像から途切れていると判定され、かつ前記画像ロストが生じていると判定された物体を、前記下部が前記撮像画像から途切れていないと判定され、かつ前記画像ロストが生じていると判定された物体と比べて前記衝突回避制御を作動させ易くする、請求項6から請求項8のいずれか一項に記載の車両制御装置。
  10. 電磁波センサ(31)により自車前方の物体を検出した第1位置と、画像センサ(32)により自車前方を撮像した撮像画像から検出した前記物体の第2位置とに基づいて、前記第1位置が検出された物体と前記第2位置が検出された物体とが同一物体であるか否かを判定する物体判定工程、を車両制御装置に実施させる車両制御方法であって、
    前記車両制御装置に、
    前記物体が前記撮像画像により検出されており、かつ当該物体の一部が前記画像センサの撮像領域外となっていることで、前記物体の一部が前記撮像画像から途切れているか否かを判定する画像判定工程と、
    前記物体判定工程による同一物体であるか否かの判定において、前記一部が撮像画像から途切れていると判定された物体が、前記一部が撮像画像から途切れていないと判定された物体と比べて同一物体として判定され易くなるよう、前記物体判定工程において前記物体が同一物体であるか否かの判定に用いられる判定条件を変更する判定条件変更工程と、を実施させる車両制御方法。
  11. 電磁波センサ(31)により自車前方の物体を検出した第1位置と、画像センサ(32)により自車前方を撮像した撮像画像から検出した前記物体の第2位置とに基づいて、前記物体とが同一物体であるか否かを判定する物体判定工程、を車両制御装置に実施させる車両制御方法であって、
    前記車両制御装置に、
    前記物体が前記撮像画像により検出されており、かつ当該物体の一部が前記画像センサの撮像領域外となっていることで、前記物体の一部が前記撮像画像から途切れているか否かを判定する画像判定工程を実施させ、
    前記画像判定工程では、前記物体の下部が前記撮像画像から途切れているか否かを判定するものであって、
    前記車両制御装置に、
    前記物体が、同一物体として判定された後に、前記第1位置が継続して検出され、かつ前記第2位置が検出されなくなった物体を画像ロストが生じた物体として判定する画像ロスト判定工程と、
    前記下部が前記撮像画像から途切れていると判定され、かつ前記画像ロストが生じていると判定された物体を、前記下部が前記撮像画像から途切れていないと判定され、かつ前記画像ロストが生じていると判定された物体と比べて同一物体としての判定を継続させ易くする継続条件変更工程と、を実施させる車両制御方法
JP2016205051A 2016-10-19 2016-10-19 車両制御装置、車両制御方法 Active JP6617677B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016205051A JP6617677B2 (ja) 2016-10-19 2016-10-19 車両制御装置、車両制御方法
US16/343,663 US11407390B2 (en) 2016-10-19 2017-10-12 Vehicle control apparatus and vehicle control method
PCT/JP2017/037064 WO2018074330A1 (ja) 2016-10-19 2017-10-12 車両制御装置、車両制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016205051A JP6617677B2 (ja) 2016-10-19 2016-10-19 車両制御装置、車両制御方法

Publications (3)

Publication Number Publication Date
JP2018067130A JP2018067130A (ja) 2018-04-26
JP2018067130A5 JP2018067130A5 (ja) 2019-01-17
JP6617677B2 true JP6617677B2 (ja) 2019-12-11

Family

ID=62018481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016205051A Active JP6617677B2 (ja) 2016-10-19 2016-10-19 車両制御装置、車両制御方法

Country Status (3)

Country Link
US (1) US11407390B2 (ja)
JP (1) JP6617677B2 (ja)
WO (1) WO2018074330A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555916B1 (ko) * 2018-12-12 2023-07-17 현대자동차주식회사 Odm 정보 신뢰성 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
KR20210060237A (ko) * 2019-11-18 2021-05-26 현대모비스 주식회사 후방 교차 충돌 감지 시스템 및 방법
US20220317295A1 (en) * 2021-03-30 2022-10-06 Panasonic Intellectual Property Management Co., Ltd. Object detection device, vehicle, method of setting wave receiving period in object detection device, and method of setting detection sensitivity in object detection device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3915746B2 (ja) * 2003-07-01 2007-05-16 日産自動車株式会社 車両用外界認識装置
JP4469980B2 (ja) * 2004-12-21 2010-06-02 国立大学法人静岡大学 移動体追跡のための画像処理方法
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
JP5048609B2 (ja) * 2008-08-01 2012-10-17 株式会社豊田中央研究所 対象物追跡装置及びプログラム
JP2010237872A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
JP5904925B2 (ja) * 2012-10-25 2016-04-20 本田技研工業株式会社 車両周辺監視装置
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP6075408B2 (ja) 2012-11-22 2017-02-08 株式会社デンソー 物標検出装置
JP5842862B2 (ja) * 2013-05-14 2016-01-13 株式会社デンソー 衝突緩和装置
US9230442B2 (en) * 2013-07-31 2016-01-05 Elwha Llc Systems and methods for adaptive vehicle sensing systems
JP6394228B2 (ja) 2014-09-24 2018-09-26 株式会社デンソー 物体検出装置

Also Published As

Publication number Publication date
US20200055494A1 (en) 2020-02-20
JP2018067130A (ja) 2018-04-26
US11407390B2 (en) 2022-08-09
WO2018074330A1 (ja) 2018-04-26

Similar Documents

Publication Publication Date Title
JP6673178B2 (ja) 車両制御装置、車両制御方法
JP6592266B2 (ja) 物体検知装置、及び物体検知方法
JP6561584B2 (ja) 車両制御装置、及び車両制御方法
WO2016159288A1 (ja) 物標存在判定方法及び装置
JP6512164B2 (ja) 物体検出装置、物体検出方法
JP6432447B2 (ja) 車両制御装置、及び車両制御方法
WO2016158944A1 (ja) 車両制御装置及び車両制御方法
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
JP6787157B2 (ja) 車両制御装置
WO2017065212A1 (ja) 車両制御装置及び車両制御方法
WO2018092590A1 (ja) 車両制御装置、車両制御方法
WO2016194900A1 (ja) 車両制御装置、及び車両制御方法
JP6601362B2 (ja) 移動検出装置
JP6363518B2 (ja) 区画線認識装置
JP6432482B2 (ja) 車両制御装置、車両制御方法
JP4807444B2 (ja) 制御対象物抽出装置および車両制御装置
WO2016186171A1 (ja) 物体検出装置、及び物体検出方法
JP6617677B2 (ja) 車両制御装置、車両制御方法
US20080310678A1 (en) Pedestrian Detecting Apparatus
JP2018026023A (ja) 認識装置、及び、認識方法
WO2018110196A1 (ja) 車両制御装置、車両制御方法
JP6733616B2 (ja) 車両制御装置
US20220366702A1 (en) Object detection device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R151 Written notification of patent or utility model registration

Ref document number: 6617677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250