JP4815488B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP4815488B2
JP4815488B2 JP2008325958A JP2008325958A JP4815488B2 JP 4815488 B2 JP4815488 B2 JP 4815488B2 JP 2008325958 A JP2008325958 A JP 2008325958A JP 2008325958 A JP2008325958 A JP 2008325958A JP 4815488 B2 JP4815488 B2 JP 4815488B2
Authority
JP
Japan
Prior art keywords
distance
vehicle
parallax
speed
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008325958A
Other languages
English (en)
Other versions
JP2010146494A (ja
Inventor
誠 相村
英樹 橋本
雅和 坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008325958A priority Critical patent/JP4815488B2/ja
Priority to US12/608,321 priority patent/US8242897B2/en
Priority to AT09175835T priority patent/ATE520115T1/de
Priority to EP09175835A priority patent/EP2202708B1/en
Publication of JP2010146494A publication Critical patent/JP2010146494A/ja
Application granted granted Critical
Publication of JP4815488B2 publication Critical patent/JP4815488B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。
従来より、２台のカメラを光軸を互いに平行にして搭載したいわゆるステレオカメラにより車両周辺に存在する対象物を検出し、同一の対象物についての右カメラの画像中の画像部分と左カメラの画像中の画像部分との視差を算出して、該視差を用いて対象物と車両との距離を算出する構成が知られている。そして、このように視差を用いて算出した対象物と車両間の距離に基づいて、対象物と車両との接触可能性を判定するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
特開２００１−６０６９号公報
上述した特許文献１に記載されたアルゴリズムによって、車両に近い範囲から、例えば１００ｍを超えるような遠距離までの範囲に所在する対象物を検出する場合、遠距離に存在する対象物を検出するときには、２台のカメラの光軸変動の影響が大きくなって、算出される距離の誤差が大きくなる。そのため、近距離から遠距離までの全範囲に対して、対象物と車両との接触可能性を安定して判定することが困難であった。
そこで、本発明は、車両周辺の近距離から遠距離までの全範囲について、接触可能性のある対象物を、安定した検出タイミングで検出することができる車両周辺監視装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、車両に搭載された２台の撮像手段により得られる撮像画像を用いて、車両の周囲を監視する車両周辺監視装置に関する。
そして、本発明の第１の態様は、前記撮像画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段と、前記２台の撮像手段により同時点で撮像された各撮像画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分間の視差を算出する視差算出手段と、実空間上の同一の対象物について、前記視差算出手段により時系列的に算出された視差のデータから、所定時間あたりの視差変化率を算出する視差変化率算出手段と、前記車両の速度を検出する速度検出手段と、前記視差算出手段により算出された１つの視差のデータから、前記車両と前記対象物との距離を算出する第１の距離算出手段と、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する第２の距離算出手段と、前記第１の距離算出手段により算出された距離が所定距離以下であるときは、歩行者又は自転車を検出対象とした近距離用の対象物検出アルゴリズムを適用して、前記第１の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出し、前記第１の距離算出手段により算出された距離が前記所定距離よりも長いときには、大型動物を検出対象とした遠距離用の対象物検出アルゴリズムを適用して、前記第２の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出する監視対象物検出手段とを備えたことを特徴とする。
かかる本発明によれば、前記監視対象物検出手段は、前記第１の距離算出手段により算出される車両と対象物との距離が前記所定距離以下であるときは、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出し、該距離が前記所定距離よりも長いときには、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出する。これにより、例えば、近距離の範囲においては、歩行者や自転車等を対象とした近距離用の対象物検出アルゴリズムを適用し、また、遠距離の範囲においては、大型動物等を対象とした遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を精度良く検出することができる。そのため、車両周辺の近距離から遠距離までの全範囲について、接触可能性のある対象物を、安定した検出タイミングで検出することができる。
さらに、本発明によれば、前記第２の距離算出手段により、前記視差変化率に基づいて前記車両と対象物の距離を算出することによって、遠距離の範囲における前記車両と前記対象物との距離の算出誤差を抑制して、前記車両との接触可能性がある対象物を検出することができる。
また、前記監視対象物検出手段は、前記第１の距離算出手段により算出された距離と前記所定距離との差が所定範囲内であるときは、前記近距離用の対象物検出アルゴリズムと前記遠距離用アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することを特徴とする。
かかる本発明によれば、対象物の種別の切り分けが難しい前記所定距離付近においては、前記近距離用の対象物検出アルゴリズムと、前記遠距離用の対象物検出アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することによって、対象物の見逃しが生じることを抑制することができる。
また、前記監視対象物検出手段は、前記速度検出手段による検出速度が所定速度以下であるときは、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出し、前記速度検出手段による検出速度が前記所定速度よりも高いときには、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出することを特徴とする。
かかる本発明によれば、前記車両の速度を用いることによって、対象物との接近に対する余裕度も加味して、前記近距離用の対象物検出アルゴリズムと、前記遠距離用の対象物検出アルゴリズムの適用を切換えることができる。
また、前記監視対象物検出手段は、前記速度検出手段による検出速度と前記所定速度との差が所定範囲内であるときは、前記近距離用の対象物検出アルゴリズムと前記遠距離用アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することを特徴とする。
かかる本発明によれば、対象物の種別の切り分けが難しい前記所定速度付近においては、前記近距離用の対象物検出アルゴリズムと、前記遠距離用の対象物検出アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することによって、対象物の見逃しが生じることを抑制することができる。
また、前記監視対象物検出手段は、所定時点における撮像画像に対して、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出しているときに、前記第１の距離算出手段による検出距離が前記所定距離よりも長くなっても、該近距離用の対象物検出アルゴリズムを適用した前記車両との接触可能性がある対象物の検出を中断せずに継続することを特徴とする。
かかる本発明によれば、前記近距離用の対象物検出アルゴリズムが中断されて、前記車両との接触可能性がある対象物の検出タイミングが遅れることを防止することができる。
また、前記監視対象物検出手段は、所定時点における撮像画像に対して、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出しているときに、前記第１の距離算出手段による検出距離が前記所定距離以下となっても、該遠距離用の対象物検出アルゴリズムを適用した前記車両との接触可能性がある対象物の検出を中断せずに継続することを特徴とする。
かかる本発明によれば、前記遠距離用の対象物検出アルゴリズムが中断されて、前記車両との接触可能性がある対象物の検出タイミングが遅れることを防止することができる。
また、本発明の第２の態様は、前記撮像画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段と、前記２台の撮像手段により同時点で撮像された各撮像画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分間の視差を算出する視差算出手段と、実空間上の同一の対象物について、前記視差算出手段により時系列的に算出された視差のデータから、所定時間あたりの視差変化率を算出する視差変化率算出手段と、前記車両の速度を検出する速度検出手段と、前記視差算出手段により算出された１つの視差のデータから、前記車両と前記対象物との距離を算出する第１の距離算出手段と、前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する第２の距離算出手段と、前記速度検出手段による検出速度が所定速度以下であるときは、歩行者又は自転車を検出対象とした近距離用の対象物検出アルゴリズムを適用して、前記第１の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出し、前記速度検出手段による検出速度が前記所定速度よりも高いときには、大型動物を検出対象とした遠距離用の対象物検出アルゴリズムを適用して、前記第２の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出する監視対象物検出手段とを備えたことを特徴とする。
かかる本発明によれば、前記監視対象物検出手段は、前記速度検出手段により検出される前記車両の速度が前記所定速度以下であるときは、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出し、該速度が前記所定速度よりも高いときには、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出する。これにより、例えば、低速域においては、歩行者や自転車等を対象とした近距離用の対象物検出アルゴリズムを適用し、また、高速道路走行中のような高速域においては、大型動物等を対象とした遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を精度良く検出することができる。そのため、低速域から高速域までの全範囲について、接触可能性のある対象物を、安定した検出タイミングで検出することができる。
本発明の実施の形態について、図１〜１８を参照して説明する。図１は本発明の車両周囲監視装置の構成図であり、本発明の車両周囲監視装置は画像処理ユニット１により構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ（本発明撮像手段に相当する），２Ｌ（本発明の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３、車両の走行速度を検出する車速センサ４（本発明の速度検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声により注意喚起を行うためのスピーカ６、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置７が接続されている。
図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対称な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された第１画像から、実空間上の対象物の第１画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された第２画像から、該第１画像部分と相関性を有する第２画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された第１画像部分と対応画像抽出手段２１により抽出された第２画像部分との視差を算出する視差算出手段２２、視差算出手段２２により算出された同一の対象物についての視差の時系列データから、単位時間あたりの視差の変化率である視差勾配（本発明の視差変化率に相当する）を算出する視差勾配算出手段２３、１つの視差のデータに基いて対象物と車両１０との距離を算出する第１の距離算出手段２４、視差勾配に基づいて対象物と車両１０との距離を算出する第２の距離算出手段２５、及び、車両１０との接触可能性がある対象物を検出する監視対象物検出手段２６として機能する。
なお、対象物抽出手段２０と対応画像抽出手段２１とにより、本発明の対象物抽出手段が構成されている。
次に、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。
画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。
なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。
続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。
次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。
ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。
また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。図４を参照して、対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像３０から対応する探索画像３０ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像、本発明の第１画像部分に相当する）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像３１から探索画像３０ａに対応する画像を探索する探索領域３２を設定し、探索画像３０ａとの相間演算を実行して対応画像３１ａを抽出する。
続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像３０ａの重心位置と対応画像３１ａの重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。
ＳＴＥＰ１０は、第１の距離算出手段２４による処理である。第１の距離算出手段２４は、探索画像３０ａ及び対応画像３１ａに対応する実空間上の対象物と車両１０間の距離Ｚを、以下の式（１）によって算出する。
但し、Ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。
続くＳＴＥＰ１１は監視対象物検出手段２６による処理であり、監視対象物検出手段２６は、車両１０に接触する可能性があって、注意喚起の対象となる監視対象物を検出する「監視対象物検出処理」を実行する。そして、監視対象物が検出されたときは、次のＳＴＥＰ１２でＳＴＥＰ３０に分岐し、画像処理ユニット１は、ブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、監視対象物が検出されなかったときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。
ここで、第２の距離算出手段２５による対象物と車両１０との距離Ｚの算出処理について説明する。
上述したように、第１の距離算出手段２４により、１つの視差のデータを用いて上記式（１）により対象物と車両１０との距離Ｚを算出する場合、(a)車両１０の走行時における振動の影響、(b)赤外線カメラ２Ｒ，２Ｌを車両１０に搭載するときのエイミング精度、(c)対応画像抽出手段２１により同一の対象物の画像部分を抽出するときの相関演算による影響等の要因によって、車両と対象物との実際の距離（実距離）と、算出した距離Ｚとの間に誤差が生じる。
このような実距離と算出距離との誤差は、上記式（１）については、以下の式（２）に示したように、視差オフセットαとして影響が現れる。
そして、特に車両１０と対象物との距離Ｚが長くなると視差算出手段２２により算出される視差ｄｘが小さくなって、上記式（２）の視差オフセットαの影響が無視できなくなる。そのため、第１の距離算出手段２４により算出された距離Ｚを用いて対象物と車両１０との接触可能性を判定するときに、接触判定の精度が低下するという不都合が生じる。
ここで、図５（ａ）は、例えば、車両１０が７２km/hで走行しているときの視差ｄｘと距離Ｚとの関係を、縦軸を視差ｄｘに設定し、横軸を車両１０と対象物との距離Ｚに設定して示したものである。図中ｄ1は視差オフセットα＝０のとき、ｄ2は視差オフセットα＝−２（pixel）のとき、ｄ3は視差オフセットα＝−４（pixel）のときを示している。
図５（ａ）から明らかなように、視差オフセットαの値に応じて距離に対応する視差ｄｘの値が変化するため、距離の算出誤差が生じる。例えば、実際の車両１０と対象物との距離が１５０ｍであるときに、視差オフセットα＝−２（pixel）があると距離の算出値は２０５ｍとなり、視差オフセットα＝−４（pixel）があると距離の算出値は３２２ｍとなる。
しかし、視差勾配は、視差オフセットが生じても変化しない。そこで、第２の距離算出手段２５は、視差の時系列データから視差勾配を算出し、視差勾配を用いて対象物と車両１０との距離を算出することによって、視差オフセットαの影響を排除している。
第２の距離算出手段２５は、図６に示したフローチャートに従って、視差勾配を用いて車両１０と対象物との距離を算出する。第２の距離算出手段２５は、ＳＴＥＰ５０で、予め設定された時系列時間Ｔs（例えば１秒間）の間に、視差算出手段２２により算出された視差の時系列データから、視差が算出されなかったときのデータ（対応画像抽出手段２１による相関演算が失敗したときのデータ等）や、視差の値が他のデータから極端に乖離しているデータを除外する外れ値除外処理を行う。
また、ＳＴＥＰ５１で、第２の距離算出手段２５は、視差の時系列データの個数や視差を求める際の相関演算における相関度等に基づいて、視差の時系列データの信頼性を判定する。そして、視差の時系列データの信頼性があると判定したときは、次のＳＴＥＰ５２からＳＴＥＰ５３に進む。一方、視差の時系列データの信頼性がないと判定したときには、ＳＴＥＰ５２からＳＴＥＰ６０に分岐し、今回の視差の時系列データに基く監視対象物検出手段２６による処理が禁止される。
ＳＴＥＰ５３で、第２の距離算出手段２５は、視差の時系列データから視差勾配を算出し、ＳＴＥＰ５４で視差勾配に基づいて車両１０と対象物との距離Ｚを算出する（第２の距離算出処理）。ＳＴＥＰ５４の第２の距離算出処理の詳細については、後述する。
続くＳＴＥＰ５５で、第２の距離算出手段２５は、視差勾配を用いて算出した車両１０と対象物との距離Ｚ2と、例えば視差の時系列データの中間値を用いて、第１の距離算出手段２４により上記式（１）によって算出された車両１０と対象物との距離Ｚ1とを比較する。
そして、第２の距離算出手段２５は、Ｚ1とＺ2との差が所定範囲内（赤外線カメラ２Ｒ，２Ｌの取付精度や車両の振動等により変化する車両１０固有の範囲）から外れたときは、視差オフセットαが大きく、Ｚ2の信頼性が低いと判定する。第２の距離算出手段２５は、Ｚ2の信頼性が低いと判定したときは、次のＳＴＥＰ５６からＳＴＥＰ６０に分岐し、この場合は、今回の監視対象物検出手段２６による監視対象物検出処理を禁止する。一方、Ｚ1の信頼性が低くないと判定したときには、ＳＴＥＰ５６からＳＴＥＰ５７に進み、この場合には、監視対象物検出手段２６による監視対象物検出処理が実行される。
次に、図７を参照して、図６のＳＴＥＰ５４における「第２の距離算出処理」について説明する。第２の距離算出手段２５は、ＳＴＥＰ７０で、車速センサ４により算出される車両１０の走行速度ＶCARを入力する。また、続くＳＴＥＰ７１で、第２の距離算出手段２５は、図６のＳＴＥＰ５３で算出された視差勾配の算出値Ｉaを入力し、ＳＴＥＰ７２で時系列時間（視差の時系列データのサンプリング時間）Ｔs（例えば、１秒）を入力する。
そして、第２の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループを繰り返し実行して、視差勾配の算出値Ｉaに対応する視差を算出する。図５（ｂ）は、視差オフセットα＝０であって、車両１０が１００km/hで走行しているときの視差と視差勾配の変化を、左側の縦軸を視差に設定し、右側の縦軸を視差勾配に設定し、横軸を時間に設定して、静止した対象物について示したものである。図中ｅ1が視差の時系列データ（理論的な視差の時系列データ）であり、ｅ2が視差勾配（理論的な視差勾配）である。
第２の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループにおいて、ＳＴＥＰ７３で、視差のサンプリング期間Ｔwを図５（ｂ）の５秒経過時から０秒に向かって、サンプリング時間Ｔs（例えば１秒）ずつずらしながら設定し（例えば、４〜５秒、３．５〜４．５秒、３．０〜４．０秒、２．５〜３．５秒、…）、ＳＴＥＰ７４で、車両１０の速度ＶCARとサンプリング期間Ｔwとに基づいて、Ｔwにおける視差の理論的な時系列データを作成する。
そして、第２の距離算出手段２５は、続くＳＴＥＰ７５で、各サンプリング期間Ｔwにおける視差の理論的な時系列データから視差勾配の理論値Ｉtを算出して、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったか否かを判断する。
そして、ＳＴＥＰ７６で視差勾配の算出値Ｉaが理論値Ｉt以上となったときは、ループを抜けてＳＴＥＰ７７に進み、視差勾配の算出値Ｉaが理論値Ｉtよりも小さいときにはＳＴＥＰ７３に戻って、次のサンプリング期間Ｔwを設定してＳＴＥＰ７４以降の処理を行う。
ＳＴＥＰ７７で、第２の距離算出手段２５は、ＳＴＥＰ７３〜ＳＴＥＰ７６のループで最後に算出した視差勾配の理論値Ｉtに対応する視差ｄx_tを取得する。例えば、視差勾配の算出値Ｉaが１５０であったときには、図５（ｂ）に示したように、視差勾配の算出値Ｉaが理論値Ｉt以上となったサンプリング期間Ｔw（２．５〜３．５秒）の中間値である３．０秒における理論的な時系列データの視差９．０が取得される。
そして、第２の距離算出手段２４は、続くＳＴＥＰ７８で、視差９．０を上記式（１）に代入して車両と対象物との距離（補正距離）Ｚ2を算出する。
次に、図８〜図９を参照して、視差勾配から車両と対象物との距離を算出する処理の他の実施形態について説明する。
先ず、図８（ａ）及び図８（ｂ）は、視差の時系列データの分布を、縦軸を視差に設定し、横軸を時間に設定して示したものであり、図８（ａ）はｔ11〜ｔ13のサンプリング期間における９個の視差の算出データから直線Ｓaを求めている。
また、図８（ｂ）は、視差オフセットα＝０としたときの理論的な視差勾配を持つ直線を、車両と対象物との距離毎に示したものであり、Ｓ1は距離を１９０ｍに設定した直線、Ｓ2は距離を１８０ｍに設定した直線、Ｓnは距離を１００ｍに設定した直線を示している。
そして、第２の距離算出手段２５は、図８（ａ）に示したように、視差の時系列データから作成した直線Ｓaの勾配と同じ勾配を有する直線を、図８（ｂ）のＳ1〜Ｓnの直線の中から選択し、選択した直線の設定距離を車両１０と対象物の距離として求めることができる。
次に、図９は、車両１０の走行速度毎（図９では、７０km/h，９５km/h，１００km/h）に、視差勾配と対象物との距離との相関マップＭ1，Ｍ2，Ｍ3，…を予め用意するものである。第２の距離算出手段２５は、視差の時系列データから算出した視差勾配を、車両１０の走行速度に応じて選択した相関マップに適用することによって、車両１０と対象物との距離Ｚを求めることができる。
例えば、車両１０の走行速度が７０km/hであって、視差の時系列データから算出した視差勾配がＩaであるときには、第１の距離算出手段２４は、図９の相関マップＭ1を選択して視差勾配Ｉaを適用することにより、車両１０と対象物との距離Ｚを得ることができる。
次に、図３のＳＴＥＰ１１における「監視対象物検出処理」の第１の実施形態から第４の実施形態について説明する。
［第１の実施形態］先ず、「監視対象物検出処理」の第１の実施形態について、図１０に示したフローチャートに従って説明する。監視対象物検出手段２６は、ＳＴＥＰ１００で、対象物抽出手段２０により抽出された画像部分のいずれかを、検出対象として選択する。
そして、続くＳＴＥＰ１０１で、監視対象物検出手段２６は、選択された画像部分について、第１の距離算出手段２４により算出された対象物と車両１０間の距離Ｚ1が、Ｚ_th（本発明の所定距離に相当する）以下であるか否かを判断する。
ここで、図１１（ｂ）は、第１の距離算出手段２４により、１つの視差データを用いて算出した対象物と車両１０間の距離Ｚ1の真の距離に対する誤差の推移をａで示し、第２の距離算出手段２５により、視差勾配を用いて算出した対象物と車両１０間の距離Ｚ2の真の距離に対する誤差の推移をｂで示したものである。図１１（ｂ）では、縦軸が誤差Ｅに設定され、横軸が距離Ｚに設定されている。
図１１（ｂ）を参照して、ＳＴＥＰ１０１におけるＺthは、例えば、第１の距離算出手段２４による算出距離Ｚ1の誤差が、誤差の許容範囲の上限Ｅthを超えるＺbや、第１の距離算出手段２４による算出距離Ｚ1の誤差が、第２の距離算出手段２５による算出距離Ｚ2の誤差よりも大きくなるＺaに設定される。
また、図１２は、対象物と車両１０間の距離を算出するときの必要距離精度を、対象物と車両１０間の距離が長くなるに従って低く設定する場合の、所定距離Ｚthの設定方法を説明したものであり、縦軸が誤差Ｅに設定され、横軸が距離Ｚに設定されている。
図１２中、ｃ1〜ｃ2が必要距離精度（許容される誤差の範囲）であり、ｄ1〜ｄ2が第１の距離算出手段２４による算出距離Ｚ1の誤差範囲、ｅ1〜ｅ2が第２の距離算出手段２５による算出距離Ｚ2の誤差範囲である。この場合は、第１の距離算出手段２４による算出距離Ｚ1の誤差が、ｃ1〜ｃ2の範囲を超えるＺcが、所定距離Ｚthとして設定されている。
ＳＴＥＰ１０１で、第１の距離算出手段２４による算出距離Ｚ1が所定距離Ｚth以下であるときはＳＴＥＰ１０２に進む。そして、監視対象物検出手段２６は、「近距離用検出処理」を実行する。
「近距離用検出処理」は、主として車両１０の付近に存在する歩行者及び自転車を対象とした近距離用の対象物検出アルゴリズムを適用して、対象物が歩行者或いは自転車であるか否かを判断する。そして、対象物が歩行者或いは自転車であると判断したときには、対象物が所定の余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性等を判定し、ＳＴＥＰ１０３に進む。
なお、このような自車両との接触可能性の判定処理については、前掲した特開２００１−６０６９公報に「警報判定処理」として詳説されているので、ここでは説明を省略する。
また、ＳＴＥＰ１０１で、第１の距離算出手段２４により算出された距離Ｚ1が所定距離Ｚthよりも長いときには、ＳＴＥＰ１１０に分岐する。そして、監視対象物検出手段２６は、第２の距離算出手段２５により、視差勾配を用いて対象物と車両１０との距離Ｚ2（補正距離）を算出する。また、続くＳＴＥＰ１１１で、監視対象物検出手段２６は、「遠距離用検出処理」を実行する。
「遠距離用検出処理」は、主として車両１０からある程度離れた範囲に存在する大型動物を対象とした遠距離用の対象物検出アルゴリズムを適用して、対象物が大型動物であるか否かを判断する。そして、対象物が大型動物であると判断したときには、対象物が所定の余裕時間内に自車両１０と接触する可能性、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性等を判定して、ＳＴＥＰ１０３に進む。
「近距離用検出処理」又は「遠距離用検出処理」によって、対象物と車両１０との接触可能性ありと判定されたときは、ＳＴＥＰ１０３からＳＴＥＰ１０４に進み、監視対象物検出手段２６は、対象物を注記喚起の対象として登録する。一方、「近距離用検出処理」により、対象物が車両との接触可能性なしと判定されたときは、ＳＴＥＰ１０３からＳＴＥＰ１０５に分岐する。
ＳＴＥＰ１０５で、監視対象物検出手段２６は、次の検出対象（図３のＳＴＥＰ６で抽出された画像部分のうち、未だＳＴＥＰ１００〜ＳＴＥＰ１０４、ＳＴＥＰ１１０〜ＳＴＥＰ１１１の処理が行われていないもの）の有無を判断する。そして、次の検出対象があるときはＳＴＥＰ１００に戻り、次の対象物についてＳＴＥＰ１００以下の処理を実行する。一方、次の検出対象がないときには、ＳＴＥＰ１０６に進んで「監視対象物検出処理」を終了する。
ここで、図１１（ａ）は、以上説明した「監視対象物検出処理」の第１の実施形態において、「近距離用検出処理」と「遠距離用検出処理」が実行される範囲を示したものであり、縦軸が対象物と車両１０との距離（Ｚ）に設定され、横軸が車両１０の走行速度（Ｖ）に設定されている。
図１１（ａ）では、対象物と車両１０間の距離がＺth以下の範囲Ａ1で、「近距離用検出処理」が実行され、対象物と車両との距離がＺthよりも長い範囲Ｂ2で、「遠距離用検出処理」が実行される。
［第２の実施形態］次に、「監視対象物検出処理」の第２の実施形態について、図１３に示したフローチャートに従って説明する。図１３のフローチャートは、図１０に示したフローチャートに対して、ＳＴＥＰ１３０の判断部を追加したものであり、ＳＴＥＰ１２０〜ＳＴＥＰ１２６の処理は、図１０のＳＴＥＰ１００〜ＳＴＥＰ１０６の処理に相当し、ＳＴＥＰ１３１〜ＳＴＥＰ１３２の処理は、図１０のＳＴＥＰ１１０〜ＳＴＥＰ１１１の処理に相当する。そのため、これらの処理についての説明は省略する。
図１３のフローチャートでは、ＳＴＥＰ１２１で、第１の距離算出手段２４により算出された対象物と車両１０間の距離Ｚ1がＺthよりも長いときにＳＴＥＰ１３０に分岐し、監視対象物検出手段２６は、車速センサ４により検出される車両１０の走行速度Ｖが、車速の判定閾値Ｖth（本発明の所定速度に相当する）以下であるか否かを判断する。
ここで、車速の判定閾値Ｖthは、Ｚthと対象物の検出タイミングの上限時間Ｔthから決定される。例えば、Ｚth＝８０(m)、Ｔth＝４(sec)であるときは、Ｖth＝７２(km/h）となる。或いは、高速道路のみで「遠距離用検出処理」を適用するときには、Ｖth＝８０(km/h)に設定してもよい。
ＳＴＥＰ１３０で、車両１０の走行速度ＶがＶth以下であるときはＳＴＥＰ１２２に分岐し、監視対象物検出手段２６は、「近距離用検出処理」を実行する。一方、車両１０の走行速度ＶがＶthを超えているときにはＳＴＥＰ１３１に進み、監視対象物検出手段２６は、「遠距離用検出処理」を実行する。
ここで、図１４は、以上説明した「監視対象物検出処理」の第２の実施形態において、「近距離用検出処理」と「遠距離用検出処理」が実行される範囲を示したものであり、縦軸が対象物と車両１０との距離（Ｚ）に設定され、横軸が車両１０の走行速度（Ｖ）に設定されている。
図１４では、対象物と車両１０間の距離がＺth以下、及び対象物と車両１０間の距離がＺthよりも長く、且つ、車両１０の速度ＶがＶth以下である範囲Ａ2で、「近距離用検出処理」が実行される。また、対象物と車両１０間の距離ＺがＺthよりも長く、且つ、車両１０の速度ＶがＶthを越えている範囲Ｂ2で、「遠距離用検出処理」が実行される。
［第３の実施形態］次に、「監視対象物検出処理」の第３の実施形態について、図１５に示したフローチャートに従って説明する。監視対象物検出手段２６は、ＳＴＥＰ１４０で、対象物抽出手段２０により抽出された画像部分のいずれかを、検出対象として選択する。
そして、続くＳＴＥＰ１４１で、監視対象物検出手段２６は、選択された画像部分について、第１の距離算出手段２４により算出された対象物と車両１０間の距離Ｚ1が、Ｚthを中心とした設定範囲（Ｚmin〜Ｚmax）内にあるか否かを判断する。
第１の距離算出手段２４による算出距離Ｚ1がＺmin〜Ｚmaxの範囲内にあるときはＳＴＥＰ１４２に進み、監視対象物検出手段２６は、「近距離用検出処理」を実行する。そして、対象物と車両との接触可能性ありと判定されたときは、次のＳＴＥＰ１４３からＳＴＥＰ１４４に進む。
一方、対象物と車両との接触可能性なしと判定されたときには、ＳＴＥＰ１４３からＳＴＥＰ１７０に分岐する。そして、監視対象物検出手段２６は、第２の距離算出手段２５により、視差勾配を用いて対象物と車両１０間の距離Ｚ2を算出し、次のＳＴＥＰ１７１で「遠距離用検出処理」を実行する。
このように、第１距離算出手段２４による算出距離がＺ1がＺmin〜Ｚmaxの範囲内にあるときには、「近距離用検出処理」で対象物と車両１０との接触可能性無しと判断されたときに、「遠距離用検出処理」を実行することにより、距離の遠近判断の境界付近において、歩行者や大型動物等の検出ミスが生じることを抑制することができる。
監視対象物検出手段２６は、次のＳＴＥＰ１７２で、対象物の車両１０との接触可能性の有無を判断する。そして、対象物と車両１０との接触可能性が有るときはＳＴＥＰ１４４に分岐し、対象物と車両１０との接触可能性が無いときにはＳＴＥＰ１４５に進む。
また、ＳＴＥＰ１４１で、第１の距離算出手段２４による算出距離Ｚ1がＺmin〜Ｚmaxの範囲内にないときには、ＳＴＥＰ１５０に分岐する。そして、監視対象物検出手段２６は、第１の距離算出手段２４による算出距離Ｚ1がＺmin以下であるか否かを判断する。
第１の距離算出手段２４による算出距離Ｚ1がＺmin以下であるときはＳＴＥＰ１５２に分岐し、監視対象物検出手段２６は、「近距離用検出処理」を実行する。そして、ＳＴＥＰ１５３に進み、監視対象物検出手段２６は、対象物と車両１０の接触可能性を判断する。
一方、ＳＴＥＰ１５０で、第１の距離算出手段２４による算出距離Ｚ1がＺminよりも長いときにはＳＴＥＰ１５１に進み、監視対象物検出手段２６は、車両１０の速度ＶがＶth以下であるか否かを判断する。そして、車両１０の速度ＶがＶth以下であるときはＳＴＥＰ１５２に進み、車両１０の速度ＶがＶthを越えているときにはＳＴＥＰ１６０に分岐する。
監視対象物検出手段２６は、ＳＴＥＰ１６０で、第２の距離算出手段２５により、対象物と車両間の距離Ｚ2を算出し、続くＳＴＥＰ１６１で「遠距離用検出処理」を実行してＳＴＥＰ１５３に進む。
ＳＴＥＰ１５２の「近距離用検出処理」又はＳＴＥＰ１６１の「遠距離用検出処理」により、対象物と車両１０との接触可能性有りと判断されたときはＳＴＥＰ１４４に分岐し、接触可能性無しと判断されたときにはＳＴＥＰ１４５に進む。ＳＴＥＰ１４４〜ＳＴＥＰ１４６の処理は、図１０のＳＴＥＰ１０４〜ＳＴＥＰ１０６の処理に相当するので、ここでは説明を省略する。
ここで、図１６は、以上説明した「監視対象物検出処理」の第３の実施形態において、「近距離用検出処理」と「遠距離用検出処理」が実行される範囲を示したものであり、縦軸が対象物と車両１０間の距離（Ｚ）に設定され、横軸が車両１０の走行速度（Ｖ）に設定されている。
図１６では、対象物と車両１０間の距離Ｚが、Ｚthを中心としたＺmin〜Ｚmaxの範囲Ｃ内にあるときに、「近距離用検出処理」が実行されると共に、「近距離用検出処理」で対象物と車両１０との接触可能性が無しと判断されたときには、「遠距離用検出処理」も実行される。
また、車両１０の速度ＶがＶth以下、且つ対象物と車両１０間の距離がＺmxよりも長い範囲Ａ3と、対象物と車両１０間の距離ＺがＺmin以下の範囲Ａ4では、「近距離用検出処理」のみが実行される。また、車両１０の速度ＶがＶthを超え、且つ、対象物と車両１０間の距離ＺがＺmaxよりも長い範囲Ｂ3では、「遠距離用検出処理」のみが実行される。
［第４の実施形態］次に、「監視対象物検出処理」の第４の実施形態について、図１７に示したフローチャートに従って説明する。図１７のフローチャートは、図１５に示したフローチャートに対して、ＳＴＥＰ１４１の判断部の条件を変えてＳＴＥＰ１８１とすると共に、ＳＴＥＰ１５０の判断部の条件を変えてＳＴＥＰ１９０としたものである。
図１７のＳＴＥＰ１８３〜ＳＴＥＰ１８６の処理は、図１５のＳＴＥＰ１４２〜ＳＴＥＰ１４６に相当し、ＳＴＥＰ２１０〜ＳＴＥＰ２１２の処理は図１５のＳＴＥＰ１７０〜ＳＴＥＰ１７２に相当し、ＳＴＥＰ１９１〜ＳＴＥＰ１９３の処理は図１５のＳＴＥＰ１５１〜ＳＴＥＰ１５３に相当し、ＳＴＥＰ２００〜ＳＴＥＰ２０１の処理は図１５のＳＴＥＰ１６０〜ＳＴＥＰ１６１に相当する。そのため、これらの処理についての説明は省略する。
図１７のフローチャートでは、ＳＴＥＰ１８１で、第１の距離算出手段２４による算出距離Ｚ1が、Ｚthを中心とした設定範囲（Ｚmin〜Ｚmax）であり、且つ、車両１０の速度Ｖが、Ｖthを中心とした設定範囲（Ｖmin〜Ｖmax）内にあるか否かを判断する。
そして、ＳＴＥＰ１８１の条件が満たされるときはＳＴＥＰ１８２に進み、満たされないときにはＳＴＥＰ１９０に分岐する。ＳＴＥＰ１９０で、監視対象物検出手段２６は、第１の距離算出手段２４による算出距離Ｚ1がＺth以下であるか否かを判断し、Ｚ1がＺth以下であるときはＳＴＥＰ１９２に進み、Ｚ1がＺthよりも長いときにはＳＴＥＰ２００に分岐する。
ここで、図１８は、以上説明した「監視対象物検出処理」の第４の実施形態において、「近距離用検出処理」と「遠距離用検出処理」が実行される範囲を示したものであり、縦軸が対象物と車両１０との距離（Ｚ）に設定され、横軸が車両１０の速度（Ｖ）に設定されている。
図１８では、対象物と車両１０間の距離Ｚが、Ｚthを中心としたＺmin〜Ｚmaxの範囲内にあり、且つ、車両１０の速度Ｖが、Ｖthを中心としたＶmin〜Ｖmaxの範囲内にあるＣで、「近距離用検出処理」が実行されると共に、「近距離用検出処理」で対象物と車両１０との接触可能性無しと判断されたときには、「遠距離用検出処理」も実行される。
また、車両の速度ＶがＶmin以下の範囲、対象物と車両１０間の距離ＺがＺmin以下の範囲、車両の速度ＶがＶmin〜Ｖthであって対象物と車両１０間の距離ＺがＺmaxを越えた範囲、車両の速度ＶがＶmaxを超えて対象物と車両１０間の距離ＺがＺth以下である範囲からなる範囲Ａ5内で、「近距離用検出処理」のみが実行される。
また、車両１０の速度がＶthを超えて対象物と車両１０間の距離ＺがＺthよりも長い範囲Ｂ4内で、「遠距離用検出処理」のみが実行される。
なお、本実施の形態では、対象物と車両との距離に基づいて、或いは該距離と車両の速度とに基づいて「近距離用検出処理」と「遠距離用検出処理」のいずれを用いて監視対象物を検出するかを決定したが、車両の速度のみに基づいて、「近距離用検出処理」と「遠距離用検出処理」のいずれを用いて監視対象物を検出するかを決定するようにしてもよい。
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して対象物との接触可能性を判断するようにしてもよい。
また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。
また、本実施の形態においては、本発明の第１の距離算出手段として、２台の赤外線カメラの視差のデータから車両と対象物との距離を算出するものを示したが、他の構成とし、例えば、ミリ波レーダやレーザーレーダ等により距離を算出してもよい。
また、「遠距離用検出処理」においては、第２の距離算出手段により遠距離の範囲での対象物自体の距離精度が確保されたとしても、周囲の距離情報等を用いた詳細な対象物の形状認識を行うことが困難になる。そのため、遠距離の範囲での対象物の形状認識を、例えば距離情報を用いない映像特徴を主とする形状認識アルゴリズム等の、近距離の範囲での対象物の形状認識とは異なるアルゴリズムを使用するようにしてもよい。
本発明の車両周囲監視装置の構成図。 図１に示した車両周囲監視装置の車両への取り付け態様の説明図。 図１に示した画像処理ユニットにおける処理手順を示したフローチャート。 対応画像抽出手段による画像の抽出処理と、画像間の視差の説明図。 視差オフセットによる影響の説明図、及び視差勾配に基づく理論的な視差の算出の説明図。 視差の時系列データの信頼性を判定して視差勾配を算出し、視差勾配に基づく対象物との推定距離の信頼性を判定する処理のフローチャート。 視差勾配に基づいて、対象物との距離を求める処理のフローチャート。 視差勾配に基づいて対象物との距離を求める処理の説明図。 視差勾配に基づいて対象物との距離を求める処理の説明図。 監視対象物検出処理の第１の実施形態のフローチャート。 監視対象物検出処理の第１の実施形態における近距離用検出処理と遠距離用検出処理の実行範囲の説明図。 対象物と車両の距離を算出するときの必要距離精度を、対象物と車両間の距離が長くなるに従って低く設定する場合の、所定距離の設定方法の説明図。 監視対象物検出処理の第２の実施形態のフローチャート。 監視対象物検出処理の第２の実施形態における近距離用検出処理と遠距離用検出処理の実行範囲の説明図。 監視対象物検出処理の第３の実施形態のフローチャート。 監視対象物検出処理の第３の実施形態における近距離用検出処理と遠距離用検出処理の実行範囲の説明図。 監視対象物検出処理の第４の実施形態のフローチャート。 監視対象物検出処理の第４の実施形態における近距離用検出処理と遠距離用検出処理の実行範囲の説明図。
符号の説明
１…画像処理ユニット、２Ｒ…赤外線カメラ（第１の撮像手段）、２Ｌ…赤外線カメラ（第２の撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…視差勾配算出手段、２４…第１の距離算出手段、２５…第２の距離算出手段、２６…監視対象物検出手段

Claims (7)

  1. 車両に搭載された２台の撮像手段により得られる撮像画像を用いて、車両の周囲を監視する車両周辺監視装置であって、
    前記撮像画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段と、
    前記２台の撮像手段により同時点で撮像された各撮像画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分間の視差を算出する視差算出手段と、
    実空間上の同一の対象物について、前記視差算出手段により時系列的に算出された視差のデータから、所定時間あたりの視差変化率を算出する視差変化率算出手段と、
    前記車両の速度を検出する速度検出手段と、
    前記視差算出手段により算出された１つの視差のデータから、前記車両と前記対象物との距離を算出する第１の距離算出手段と、
    前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する第２の距離算出手段と、
    前記第１の距離算出手段により算出された距離が所定距離以下であるときは、歩行者又は自転車を検出対象とした近距離用の対象物検出アルゴリズムを適用して、前記第１の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出し、前記第１の距離算出手段により算出された距離が前記所定距離よりも長いときには、大型動物を検出対象とした遠距離用の対象物検出アルゴリズムを適用して、前記第２の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出する監視対象物検出手段とを備えたことを特徴とする車両周辺監視装置。
  2. 請求項１記載の車両周辺監視装置において、
    前記監視対象物検出手段は、前記第１の距離算出手段により算出された距離と前記所定距離との差が所定範囲内であるときは、前記近距離用の対象物検出アルゴリズムと前記遠距離用アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することを特徴とする車両周辺監視装置。
  3. 請求項１又は請求項２記載の車両周辺監視装置において、
    前記監視対象物検出手段は、前記速度検出手段による検出速度が所定速度以下であるときは、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出し、前記速度検出手段による検出速度が前記所定速度よりも高いときには、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出することを特徴とする車両周辺監視装置。
  4. 請求項３記載の車両周辺監視装置において、
    前記監視対象物検出手段は、前記速度検出手段による検出速度と前記所定速度との差が所定範囲内であるときは、前記近距離用の対象物検出アルゴリズムと前記遠距離用アルゴリズムの両方を適用して、前記車両との接触可能性がある対象物を検出することを特徴とする車両周辺監視装置。
  5. 請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
    前記監視対象物検出手段は、所定時点における撮像画像に対して、前記近距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出しているときに、前記第１の距離算出手段による検出距離が前記所定距離よりも長くなっても、該近距離用の対象物検出アルゴリズムを適用した前記車両との接触可能性がある対象物の検出を中断せずに継続することを特徴とする車両周辺監視装置。
  6. 請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
    前記監視対象物検出手段は、所定時点における撮像画像に対して、前記遠距離用の対象物検出アルゴリズムを適用して、前記車両との接触可能性がある対象物を検出しているときに、前記第１の距離算出手段による検出距離が前記所定距離以下となっても、該遠距離用の対象物検出アルゴリズムを適用した前記車両との接触可能性がある対象物の検出を中断せずに継続することを特徴とする車両周辺監視装置。
  7. 車両に搭載された２台の撮像手段により得られる撮像画像を用いて、該車両の周囲を監視する車両周辺監視装置であって、
    前記撮像画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段と、
    前記２台の撮像手段により同時点で撮像された各撮像画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分間の視差を算出する視差算出手段と、
    実空間上の同一の対象物について、前記視差算出手段により時系列的に算出された視差のデータから、所定時間あたりの視差変化率を算出する視差変化率算出手段と、
    前記車両の速度を検出する速度検出手段と、
    前記視差算出手段により算出された１つの視差のデータから、前記車両と前記対象物との距離を算出する第１の距離算出手段と、
    前記視差変化率と前記車両の速度とに基づいて、前記車両と前記対象物間の距離を算出する第２の距離算出手段と、
    前記速度検出手段による検出速度が所定速度以下であるときは、歩行者又は自転車を検出対象とした近距離用の対象物検出アルゴリズムを適用して、前記第１の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出し、前記速度検出手段による検出速度が前記所定速度よりも高いときには、大型動物を検出対象とした遠距離用の対象物検出アルゴリズムを適用して、前記第２の距離算出手段により算出された前記車両と前記対象物との距離を用いて前記車両との接触可能性がある対象物を検出する監視対象物検出手段とを備えたことを特徴とする車両周辺監視装置。
JP2008325958A 2008-12-22 2008-12-22 車両周辺監視装置 Expired - Fee Related JP4815488B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008325958A JP4815488B2 (ja) 2008-12-22 2008-12-22 車両周辺監視装置
US12/608,321 US8242897B2 (en) 2008-12-22 2009-10-29 Vehicle environment monitoring apparatus
AT09175835T ATE520115T1 (de) 2008-12-22 2009-11-12 Vorrichtung zur überwachung einer fahrzeugumgebung
EP09175835A EP2202708B1 (en) 2008-12-22 2009-11-12 Vehicle environment monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008325958A JP4815488B2 (ja) 2008-12-22 2008-12-22 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2010146494A JP2010146494A (ja) 2010-07-01
JP4815488B2 true JP4815488B2 (ja) 2011-11-16

Family

ID=41508425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008325958A Expired - Fee Related JP4815488B2 (ja) 2008-12-22 2008-12-22 車両周辺監視装置

Country Status (4)

Country Link
US (1) US8242897B2 (ja)
EP (1) EP2202708B1 (ja)
JP (1) JP4815488B2 (ja)
AT (1) ATE520115T1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
JP5569365B2 (ja) * 2010-11-30 2014-08-13 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、及び案内プログラム
KR101239718B1 (ko) * 2010-12-14 2013-03-06 주식회사 이미지넥스트 차량 주변 물체 검출 시스템 및 방법
DE112012003685T5 (de) * 2011-09-05 2014-07-10 Mitsubishi Electric Corp. Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US9292735B2 (en) * 2011-09-28 2016-03-22 Honda Motor Co., Ltd. Living body recognizing device
JP5863105B2 (ja) * 2011-12-13 2016-02-16 アルパイン株式会社 車両移動量推定装置および障害物検出装置
US9905013B2 (en) 2012-09-03 2018-02-27 Toyota Jidosha Kabushiki Kaisha Speed calculating device and speed calculating method, and collision determination device
JP5951785B2 (ja) * 2012-10-04 2016-07-13 アルプス電気株式会社 画像処理装置及び車両前方監視装置
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
JP6225844B2 (ja) * 2014-06-30 2017-11-08 株式会社デンソー 対象物検出装置
JP6483360B2 (ja) 2014-06-30 2019-03-13 本田技研工業株式会社 対象物認識装置
KR101683986B1 (ko) * 2014-10-17 2016-12-07 현대자동차주식회사 헤드업 디스플레이 제어장치 및 방법
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
KR101747167B1 (ko) * 2015-02-23 2017-06-15 부경대학교 산학협력단 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법
EP3373037B1 (en) * 2017-03-10 2023-06-28 The Hi-Tech Robotic Systemz Ltd Single casing advanced driver assistance system
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
WO2023276223A1 (ja) * 2021-06-30 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法及び制御装置
WO2023063094A1 (ja) * 2021-10-13 2023-04-20 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04195600A (ja) * 1990-11-28 1992-07-15 Toyota Motor Corp 車載用測距装置
JP3436074B2 (ja) * 1997-06-10 2003-08-11 トヨタ自動車株式会社 車載ステレオカメラ
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP2001169310A (ja) * 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2003329439A (ja) * 2002-05-15 2003-11-19 Honda Motor Co Ltd 距離検出装置
JP4209637B2 (ja) * 2002-06-26 2009-01-14 富士重工業株式会社 監視システムの距離補正装置および距離補正方法
JP4628683B2 (ja) 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
JP4879462B2 (ja) * 2004-02-16 2012-02-22 ダイハツ工業株式会社 車両制動方法及び車両制動装置
JP2006318060A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
EP1901225A1 (en) 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2007024590A (ja) 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置

Also Published As

Publication number Publication date
US20100156616A1 (en) 2010-06-24
ATE520115T1 (de) 2011-08-15
JP2010146494A (ja) 2010-07-01
EP2202708B1 (en) 2011-08-10
EP2202708A1 (en) 2010-06-30
US8242897B2 (en) 2012-08-14

Similar Documents

Publication Publication Date Title
JP4815488B2 (ja) 車両周辺監視装置
JP4733756B2 (ja) 車両周辺監視装置
JP4631096B2 (ja) 車両周辺監視装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP4203512B2 (ja) 車両周辺監視装置
JP5706874B2 (ja) 車両の周辺監視装置
JP4426535B2 (ja) 車両の周辺監視装置
JP4410292B1 (ja) 車両の周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP2008027309A (ja) 衝突判定システム、及び衝突判定方法
JP5480917B2 (ja) 車両周辺監視装置
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP2009040108A (ja) 画像表示制御装置及び画像表示制御システム
JP4887537B2 (ja) 車両周辺監視装置
JP4864953B2 (ja) 車両周辺監視装置
JP2011103058A (ja) 誤認識防止装置
JP6087240B2 (ja) 車両周辺監視装置
JP2004106682A (ja) 障害物検出装置
KR20070019347A (ko) 자동 주행 시스템의 이동체 검출 장치 및 그 방법
JP4823753B2 (ja) 車両の周辺監視装置
JP4629638B2 (ja) 車両の周辺監視装置
JP5399887B2 (ja) 車両周辺監視装置
JP4975776B2 (ja) 車両周辺監視装置
JP2015179337A (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees