JP5480917B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5480917B2
JP5480917B2 JP2011549886A JP2011549886A JP5480917B2 JP 5480917 B2 JP5480917 B2 JP 5480917B2 JP 2011549886 A JP2011549886 A JP 2011549886A JP 2011549886 A JP2011549886 A JP 2011549886A JP 5480917 B2 JP5480917 B2 JP 5480917B2
Authority
JP
Japan
Prior art keywords
image
image portion
vehicle
extension area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011549886A
Other languages
English (en)
Other versions
JPWO2011086807A1 (ja
Inventor
誠 相村
伸治 長岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2011549886A priority Critical patent/JP5480917B2/ja
Publication of JPWO2011086807A1 publication Critical patent/JPWO2011086807A1/ja
Application granted granted Critical
Publication of JP5480917B2 publication Critical patent/JP5480917B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両に取り付けられたカメラによる撮像画像から、車両周辺の監視対象物を認識する車両周辺監視装置に関する。
従来より、カメラにより撮像された自車両周辺の画像から、自車両に接触する可能性がある歩行者等の監視対象物を検知して、運転者に報知するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。
特許文献１に記載された車両周辺監視装置においては、赤外線カメラにより撮像されたから歩行者の画像部分と他車両の画像部分とを識別して抽出するために、自車両からの距離が同一であって赤外線量が規定値以下であり、対称の位置に存在する一対の画像部分を含む画像領域を、他車両の画像領域であると認識している。
特許第３８３９３２９号公報
上記特許文献１に記載された車両周辺監視装置による場合には、自車両と監視対象物との距離を算出するために、ステレオカメラによる構成やレーダ等による測距装置を備える必要がある。また、自車両と監視対象物との距離の検出誤差が大きいと、他車両の認識精度が低くなるという不都合がある。
そこで、本発明は、自車両と監視対象物との距離情報を用いずに、他車両の画像を精度良く認識することができる車両周辺監視装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、車載カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置に関する。
そして、本発明の車両周辺監視装置の第１の態様は、前記撮像画像から、水平方向で線対称となる位置に存在する第１画像部分及び第２画像部分を抽出する対称画像部分抽出部と、前記第１画像部分を含む所定サイズの領域を、第１拡張領域として設定する拡張領域設定部と、前記第２画像部分を含む前記第１拡張領域のサイズよりも広い範囲を、拡張探索範囲として設定する拡張探索範囲設定部と、前記拡張探索範囲内で前記第１拡張領域又は前記第１拡張領域のミラー反転画像との相関度が所定レベル以上である第２拡張領域を探索し、該第２拡張領域が探知されたときに、前記第１画像部分及び前記第２画像部分を含む画像を車両と認識する対象物種別認識部とを備え、前記拡張領域設定部は、対応する実空間上の位置の路面からの高さが所定高さ以上であることを条件として、前記第１拡張領域を設定することを特徴とする。
かかる本発明によれば、前記対象物種別認識部により、前記第１拡張領域又は前記第１拡張領域のミラー反転画像との相関度が所定レベル以上である前記第２拡張領域が、前記拡張探索範囲内に存在するか否かにより、前記第１画像部分及び前記第２画像部分を含む画像が他車両であるか否かが認識される。そして、この場合は、前記第１画像部分と前記第２画像部分の対称性に加えて、前記第１画像部分及び前記第２画像部分の周囲の画像の形態（形状、大きさ、明度等）の相関度が判断され、前記第１画像部分及び前記第２画像部分が同一の車両の画像部分であれば、この相関度が高くなる。そのため、自車両と監視対象物との距離の情報を用いることなく、監視対象物が他車両であるか否かを精度良く認識することができる。
さらに本発明によれば、他車両の下部に備えられた単一の部品（マフラー等）の画像が、前記第１周囲領域と前記第２周囲領域のいずれか一方にのみ含まれることを防止して、前記相関度が低くなることを抑制することができる。
次に、本発明の車両周辺監視装置の第２の態様は、単一の車載カメラによる撮像画像に基づいて、前記撮像画像から、水平方向で線対称となる位置に存在する第１画像部分及び第２画像部分を抽出する対称画像部分抽出部と、前記第１画像部分を含む所定サイズの領域を、第１拡張領域として設定する拡張領域設定部と、前記第２画像部分を含む前記第１拡張領域のサイズよりも広い範囲を、拡張探索範囲として設定する拡張探索範囲設定部と、前記拡張探索範囲内で前記第１拡張領域又は前記第１拡張領域のミラー反転画像との相関度が所定レベル以上である第２拡張領域を探索し、該第２拡張領域が探知されたときに、前記第１画像部分及び前記第２画像部分を含む画像を車両と認識する対象物種別認識部と、自車両から監視対象物までの距離を、前記カメラの撮像画像における前記第１画像部分と前記第２画像部分との水平方向の間隔に基づいて算出する距離算出部とを備え、前記距離算出部は、自車両から監視対象物までの距離を、異なる時刻での前記カメラの撮像画像間における該監視対象物の画像の大きさの変化率に基づいて算出し、前記対象物種別認識部は、同一の監視対象物について前記距離算出部により算出された、前記第１画像部分と前記第２画像部分との水平方向の間隔に基づく距離と該監視対象物の画像の大きさの変化率に基く距離との差が所定値以上であるときに、該監視対象物が移動体であると認識することを特徴とする。
かかる本発明によれば、前記第１画像部分と前記第２画像部分との間隔（車両の左右のヘッドライト又はテールライトの間隔）は、車両の幅（概ね１５０cm〜２００cm）に対応したものとなる。そして、自車両からの距離が長くなるに従って、前記第１画像部分と前記第２画像部分との間隔が短くなる。そこで、例えば、車両の幅が１７０cmであると仮定したときの、撮像画像上での車両の画像の水平方向の幅と実空間距離との対応関係のデータを予め用意することにより、前記第１画像部分と前記第２画像部分との間隔から、該車両までの距離を算出することができる。
さらに本発明において、前記監視対象物の画像の大きさの変化率に基く距離の算出は、監視対象物が静止していることを前提とするため、監視対象物が車両のような移動体であるときには距離の算出誤差が大きくなる。そこで、前記対象物種別認識部は、同一の監視対象物について前記距離算出部により算出された、前記第１画像部分と前記第２画像部分との間隔に基づく距離と該監視対象物の画像の大きさの変化率に基づく距離との差が所定値以上であるときに、該監視対象物が移動体であると認識することができる。
そして、このように、監視対象物が移動体であると認識されたときには、該監視対象物の画像の大きさの変化率に基く距離の算出を禁止することで、誤差の大きい距離が用いられることを回避することができる。また、監視対象物が移動体であるときには、静止物体とみなされる歩行者ではないことが確実であるため、例えば、歩行者用の接触判定の対象から除外することができる。
本発明の車両周辺監視装置の構成図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 図１に示した画像処理ユニットによる一連の処理のフローチャート。 対称画像部分抽出処理のフローチャート。 対称画像部分抽出処理の説明図。 対称信頼性判定処理のフローチャート。 対称信頼性判定処理のフローチャート。 形状信頼性判定処理の説明図。
本発明の実施形態について、図１〜図８を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、遠赤外線を検出可能な１台の赤外線カメラ２と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、この監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット１と、音声により警報を出力するためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者い視認させる表示を行うためのヘッドアップディスプレイ７（以下、ＨＵＤ７という）とを備えている。
図２を参照して、赤外線カメラ２は車両１０の前部に配置され、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
また、画像処理ユニット１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有している。図１を参照して、画像処理ユニット１は、画像メモリに取り込んだ車両前方の画像から監視対象物の画像部分の候補を抽出する対象物抽出部２０、画像候補に中から水平方向の対称性を有する第１及び第２画像部分を抽出する対称画像部分抽出部２１、及び第１画像部分を含む第１拡張領域を設定する拡張領域設定部２２を備えている。
さらに、画像処理ユニット１は、第２画像部分を含む拡張探索範囲を設定する拡張探索範囲設定部２３、拡張探索範囲内で第１拡張領域のミラー反転画像と所定レベル以上の相関性を有する第２拡張領域を探索することで、対称信頼性の有無を判断し、対称信頼性のある画像を、他車両の画像と認識する対象物種別認識部２４、画像に対応する実空間上の位置を算出する実空間位置算出部２５、及び監視対象物と車両１０（自車両）との接触可能性を判定する接触判定部２６を備えている。
また、画像処理ユニット１は、図示しないＣＰＵやメモリ等により構成された電子ユニットであり、該ＣＰＵに車両周辺監視用のプログラムを実行させることによって、画像処理ユニット１は、対象物抽出部２０、対称画像部分抽出部２１、拡張領域設定部２２、拡張探索範囲設定部２３、対象物種別認識部２４、実空間位置算出部２５、及び接触判定部２６として機能する。
次に図３に示したフローチャートに従って、画像処理ユニット１により実行される監視対象物が他車両であることの認識処理について説明する。画像処理ユニット１は、「前処理」（ＳＴＥＰ１００〜）→「対称画像部分抽出」（ＳＴＥＰ２００〜）→「対称信頼性判定」→「形状信頼性判定」、という工程を実行して他車両を認識する。
「前処理」は対象物抽出部２０により実行される。対象物抽出部２０は、赤外線カメラ２からの赤外線映像信号（アナログ信号）を入力して、デジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。そして、画像処理ユニット１は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が該閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。
次に、画像処理ユニット１は、２値画像から監視対象物の特定の部位（例えば、歩行者の頭部）の画像部分の候補を抽出する。具体的には、２値画像中の白の各領域のランレングスデータを算出し、水平方向に重なる部分がある領域をまとめてラベルを付するラベリング処理を行い、ラベルが付された領域うち、予め設定された特徴量（円形状等）を有する領域を監視対象物の特定の部位の画像部分の候補として抽出する。
ここで、図５（ａ）は、他車両の画像３０を含む２値画像Ｉmを示しており、監視対象物の画像部分の候補として、他車両のヘッドライト部の画像部分３１，３２が抽出された状態を示している。以下では、図５（ａ）の画像Ｉmに含まれる他車両を認識する場合を例にして説明する。
「対称画像部分抽出」は、図４に示したフローチャートに従って、対称画像部分抽出部２１により実行される。対称画像部分抽出部２１は、図４のＳＴＥＰ１０１で、図５（ｂ）に示したように、監視対象物の画像部分の候補３１を含む水平方向dxＰ及び垂直方向dyPの幅の第１画像部分Ａ1を設定する。
続くＳＴＥＰ１０２で、対称画像部分抽出部２１は、第１画像部分Ａ1のミラー反転画像（第１画像部分Ａ1の中心を通る垂直線に対して、第１画像部分Ａ1の左右を反転させた画像）Ａ1mを生成する。次のＳＴＥＰ１０３で、対称画像部分抽出部２１は、第１画像部分Ａ1の右側に水平方向の幅がdxＡで垂直方向の幅がdyＡである右探索範囲ＥRを設定すると共に、第１画像部分Ａ1の左側に水平方向の幅がdxＡで垂直方向の幅がdyＡである左探索範囲ＥLを設定する。
そして、続くＳＴＥＰ１０４で、対称画像部分抽出部２１は、右探索範囲ＥR及び左探索範囲ＥL内で、ミラー反転画像Ａ1mとの相関度が所定レベル以上である（Ａ1mとの相関度が高い）第２画像部分Ａ2を探索する。図５（ａ）の例では、他車両の左ヘッドライトの画像部分３２を含む第２画像部分Ａ2が探知される。
このように、第２画像部分Ａ2が探知されたときは、次のＳＴＥＰ１０５からＳＴＥＰ１０６に進み、対称画像部分抽出部２１は、対称画像部分（第１画像部分Ａ1及び第２画像部分Ａ2）があると判断してＳＴＥＰ１０７に進む。この場合は、図３の「対称信頼性判定」の処理に進む。
一方、第２画像部分Ａ2が探知されなかったときには、ＳＴＥＰ１０５からＳＴＥＰ１１０に分岐し、対称画像部分抽出部２１は、対称画像部分がないと判断してＳＴＥＰ１０７に進む。この場合には、図３の「対称信頼性判定」以降の処理は実行されない。なお、ＳＴＥＰ１００で他の監視対象物の画像部分の候補が抽出されていれば、この候補について、ＳＴＥＰ２００以降の処理が再度実行される。
「対称信頼性判定」は、図６に示したフローチャートに従って、拡張領域設定部２２、拡張探索範囲設定部２３、及び対象物種別認識部２４により実行される。
図６のＳＴＥＰ３０１〜ＳＴＥＰ３０４は、拡張領域設定部２２による処理である。拡張領域設定部２２は、ＳＴＥＰ３０１で、図５（ａ）に示した他車両の画像３０の幅ｃａｒ_w（第１画像部部分Ａ1と第２画像部分Ａ2間の距離から推定）と、中心ｃａｒ_c（第１画像部分Ａ1と第２画像部分Ａ2の中間点）を算出する。
続くＳＴＥＰ３０２で、拡張領域設定部２２は、画像３０の幅ｃａｒ_wと第１画像部分Ａ1の水平方向の幅dxＰとの差又は比が、一般的な車両における車幅とヘッドライトの幅との差又は比を想定して設定された規定範囲内であるか否かを判断する。そして、ｃａｒ_wとdxＰとの差又は比が、規定範囲外であるときはＳＴＥＰ３２０に分岐する。
ＳＴＥＰ３２０は対象物種別認識部２４による処理であり、対象物種別認識部２４は、第１画像部分Ａ1と第２画像部分Ａ2との対称信頼性がなく、画像３０は他車両の画像ではないと判断する。この場合には、図３のＳＴＥＰ４００の「形状信頼性判定」以降の処理は実行されない。なお、ＳＴＥＰ１００の「前処理」で他の監視対象物の画像部分の候補が抽出されていれば、この候補についてＳＴＥＰ２００以降の処理が再度実行される。
一方、ＳＴＥＰ３０２で、画像３０の幅ｃａｒ_wと第１画像部分Ａ1の水平方向の幅dxＰとの差又は比が規定範囲内であったときには、ＳＴＥＰ３０３に進む。ＳＴＥＰ３０３〜ＳＴＥＰ３０４は、拡張領域設定部２２による処理である。
ＳＴＥＰ３０３で、拡張領域設定部２２は、図７（ａ）に示したように、第１画像部分Ａ1を含む第１拡張領域Ｂ1を設定する。例えば、拡張領域設定部２２は、第１拡張領域Ｂ1を、第１画像部分Ａ1の中心位置（ｘs，ｙs）から、所定マージン（ｘmg，ｙmg）分オフセットさせた点（ｘp，ｙp）（＝（ｘs−ｘmg，ｙs−ｙmg））を基準とて、水平方向の幅dxＱをｃａｒ_wの１／２程度、垂直方向の幅dyＱを第１画像部分Ａ1の高さdyＰ＋２×ｙmg程度のサイズに設定する。また、ＳＴＥＰ３０４で、拡張領域設定部２２は、第１拡張領域Ｂ1のミラー反転画像Ｂ1mを生成する。
この場合、図７（ｂ）に示したように、第１拡張領域Ｂ1は、第１画像部分Ａ1と第２画像部分Ａ2を結ぶ線分５０と、この線分の中点Ｐcで直交する直線５１を境界とした、第１画像部分Ａ1側に設定されている。
続くＳＴＥＰ３０５は、拡張探索範囲設定部２３による処理である。拡張探索範囲設定部２３は、図７（ｂ）に示したように、水平方向については、第１画像部分Ａ1と第２画像部分Ａ2を結ぶ線分５０の中点Ｐc(car_cx,car_cy）から、所定マージン（ｃａｒ_w／４）だけオフセットさせ、垂直方向についてはＰ1(xp,yp）から所定マージン（ｍｇp）だけオフセットさせた基準点Ｐ2(xq,yq)（＝(car_cx−car_w/4,yp−mgp)）を設定する。
そして、拡張探索範囲設定部２３は、拡張探索範囲Ｃを、基準点Ｐ2から、水平方向の幅dxＢをｃａｒ_w程度、垂直方向の幅dyＢをdyＰ＋２×mgp程度のサイズに設定する。この場合、拡張探索範囲Ｃの水平方向の範囲は、中点Ｐcから第２画像部分Ａ2までの範囲を含むようにして設定されている。
次のＳＴＥＰ３０６〜ＳＴＥＰ３０８は、対象物種別認識部２４による処理である。対象物種別認識部２４は、ＳＴＥＰ３０６で、拡張探索範囲Ｃ内で、第１拡張領域Ｂ1のミラー反転画像Ｂ1mとの相関度が所定レベル以上である第２拡張領域を探索する。そして、図７（ｂ）に示したように、ミラー反転画像Ｂ1mとの相関度が所定レベル以上である第２拡張領域Ｂ2を探知したときは、次のＳＴＥＰ３０７からＳＴＥＰ３０８に進む。
この場合は、直線５１の左右で、広範囲の対称性を有する第１拡張領域Ｂ1及び第２拡張領域Ｂ2が存在することが確認されため、対象物種別認識部２４は、画像３０の対称信頼性があると判断してＳＴＥＰ３０９に進み、「対象信頼性判定」の処理を終了する。そして、図３のＳＴＥＰ４００の「形状信頼性判定」の処理に進む。
一方、拡張探索範囲Ｃ内で、第１拡張領域Ｂ1のミラー反転画像Ｂ1mが探知されなかったときには、ＳＴＥＰ３０７からＳＴＥＰ３２０に分岐し、対象物種別認識部２４は、画像３０の対称信頼性がなく、画像３０は他車両の画像ではないと判断する。この場合には、図３の「形状信頼性判定」の処理は実行されない。なお、ＳＴＥＰ１００で他の監視対象物の画像部分の候補が抽出されていれば、この候補について、ＳＴＥＰ２００以降の処理が再度実行される。
図３のＳＴＥＰ４００の「形状信頼性判定」は、対象物種別認識部２４による処理である。対象物種別認識部２４は、図８に示したように、対称性が認識された部分（左右のヘッドライトの画像部分３１，３２間の範囲）の上部又は下部に、車両特有の特徴を有する部分があるか否かを判断する。
ここで、車両特有の特徴として、例えば、ピラーの斜めエッジ（図中Ｆ1）、ルーフの水平エッジ（図中Ｆ2）、排気管の横長形状（図中Ｆ3）、タイヤの同じ大きさの２つの形状（図中Ｆ4，Ｆ5）の有無が判断される。そして、対象物種別認識部２４は、車両特有の特徴を有する部分があったときに、画像３０が他車両の画像であると認識する。
このようにして、画像３０が他車両の画像であると認識されたときには、接触判定部２６は、自車両との接触可能性の判断を行わない。
なお、本実施の形態では、図３に示したように、監視対象物の画像について、ＳＴＥＰ２００，３００で左右（水平方向）の対称性を判断すると共に、ＳＴＥＰ４００で「形状信頼性判定」を行うことにより他車両認識の信頼性を向上させたが、「形状信頼性判定」を行わない場合であっても、本発明の効果を得ることができる。
また、本実施の形態では、単一のカメラ６による撮像画像から自車両と監視対象物との距離を算出する距離算出部２５を示したが、２台のカメラ（ステレオカメラ）を備えて、この２台のカメラの視差から自車両と監視対象物との距離を算出してもよく、レーダ等の測距センサにより自車両と監視対象物との距離を検知するようにしてもよい。
また、本実施の形態では赤外線カメラ２を用いた例を示したが、可視カメラを用いた場合であっても本発明の適用が可能である。
また、本実施の形態では、第１拡張領域Ｂ1のミラー反転画像Ｂ1mとの相関度が所定レベル以上である第２拡張領域Ｂ2を探索したが、他車両の形状及び第１拡張領域Ｂ1の設定態様によっては、ミラー反転画像Ｂ1mではなく第１拡張領域Ｂ1との相関度が所定レベル以上である第２拡張領域Ｂ2を探索してもよい。
また、本実施の形態では、対称画像部分抽出部２１により対称画像部分（第１画像部分Ａ1及び第２画像部分Ａ2）を抽出したが、本発明に関連する構成として、灯体の特徴（円形状等）を有する第１画像部分Ａ1を抽出する灯体画像部分抽出部を備えて、拡張領域設定部２２により第１画像部分Ａ1を含む第１拡張領域を設定し、対象物種別認識部２４により、該第１拡張領域が第１画像部分Ａ1を中点とする水平方向の左右対称性を有するか否かを判定するようにしてもよい。
この場合、第１画像部分として抽出される車両のヘッドライトやテールライトの左右の近傍箇所は、対称性をもってデザインされるのが一般的であるため、第１拡張領域が第１画像部分を中点とする水平方向の左右対称性車両を有しているときには、第１画像部分を含む画像が車両の画像であると精度良く認識することができる。
さらに、実空間距離算出部２５により、自車両から監視対象物までの距離を、赤外線カメラ２の撮像画像における第１画像部分Ａ1と第２画像部分Ａ2との水平方向の間隔に基づいて算出してもよい。この場合には、例えば、車両の幅を１７０cmであると仮定して設定した、撮像画像における車両の画像の幅（画素数）と自車両１０から該車両までの距離との対応マップのデータを予めメモリに保持し、この対応マップに第１画像部分と第２画像部分との間隔（画素数）を適用して、自車両１０から他車両までの距離を求めることができる。
また、対象物種別認識部２４により、このように、第１画像部分と第２画像部分との間隔に基づいて算出した自車両１０と他車両との距離と、上述した画像の大きさの変化率に基いて算出した自車両１０と他車両との距離との差が、所定値以上であるか否かを判断し、所定値以上であったときには他車両が移動体であると認識するようにしてもよい。
以上のように、本発明の車両周辺監視装置によれば、自車両と監視対象物との距離情報を用いずに、他車両の画像を精度良く認識することができるため、自車両の周辺を監視するために有用である。
１…画像処理ユニット、２０…対象物抽出部、２１…対称画像部分抽出部、２２…拡張領域設定部、２３…拡張探索範囲設定部、２４…対象物種別認識部、Ａ1…第１画像部分、Ａ1m…第１画像部分のミラー反転画像、Ａ2…第２画像部分、Ｂ1…第１拡張領域、Ｂ2…第２拡張領域、Ｃ…拡張探索範囲。

Claims (2)

  1. 車載カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置において、
    前記撮像画像から、水平方向で線対称となる位置に存在する第１画像部分及び第２画像部分を抽出する対称画像部分抽出部と、
    前記第１画像部分を含む所定サイズの領域を、第１拡張領域として設定する拡張領域設定部と、
    前記第２画像部分を含む前記第１拡張領域のサイズよりも広い範囲を、拡張探索範囲として設定する拡張探索範囲設定部と、
    前記拡張探索範囲内で前記第１拡張領域又は前記第１拡張領域のミラー反転画像との相関度が所定レベル以上である第２拡張領域を探索し、該第２拡張領域が探知されたときに、前記第１画像部分及び前記第２画像部分を含む画像を車両と認識する対象物種別認識部とを備え、
    前記拡張領域設定部は、対応する実空間上の位置の路面からの高さが所定高さ以上であることを条件として、前記第１拡張領域を設定することを特徴とする車両周辺監視装置。
  2. 単一の車載カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置において、
    前記撮像画像から、水平方向で線対称となる位置に存在する第１画像部分及び第２画像部分を抽出する対称画像部分抽出部と、
    前記第１画像部分を含む所定サイズの領域を、第１拡張領域として設定する拡張領域設定部と、
    前記第２画像部分を含む前記第１拡張領域のサイズよりも広い範囲を、拡張探索範囲として設定する拡張探索範囲設定部と、
    前記拡張探索範囲内で前記第１拡張領域又は前記第１拡張領域のミラー反転画像との相関度が所定レベル以上である第２拡張領域を探索し、該第２拡張領域が探知されたときに、前記第１画像部分及び前記第２画像部分を含む画像を車両と認識する対象物種別認識部と、
    自車両から監視対象物までの距離を、前記カメラの撮像画像における前記第１画像部分と前記第２画像部分との水平方向の間隔に基づいて算出する距離算出部とを備え、
    前記距離算出部は、自車両から監視対象物までの距離を、異なる時刻での前記カメラの撮像画像間における該監視対象物の画像の大きさの変化率に基づいて算出し、
    前記対象物種別認識部は、同一の監視対象物について前記距離算出部により算出された、前記第１画像部分と前記第２画像部分との水平方向の間隔に基づく距離と該監視対象物の画像の大きさの変化率に基く距離との差が所定値以上であるときに、該監視対象物が移動体であると認識することを特徴とする車両周辺監視装置。
JP2011549886A 2010-01-14 2010-12-16 車両周辺監視装置 Expired - Fee Related JP5480917B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011549886A JP5480917B2 (ja) 2010-01-14 2010-12-16 車両周辺監視装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010005905 2010-01-14
JP2010005905 2010-01-14
JP2011549886A JP5480917B2 (ja) 2010-01-14 2010-12-16 車両周辺監視装置
PCT/JP2010/072647 WO2011086807A1 (ja) 2010-01-14 2010-12-16 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JPWO2011086807A1 JPWO2011086807A1 (ja) 2013-05-16
JP5480917B2 true JP5480917B2 (ja) 2014-04-23

Family

ID=44304098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011549886A Expired - Fee Related JP5480917B2 (ja) 2010-01-14 2010-12-16 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8994824B2 (ja)
EP (1) EP2482268A4 (ja)
JP (1) JP5480917B2 (ja)
CN (1) CN102713988B (ja)
WO (1) WO2011086807A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
CN103310213B (zh) * 2012-03-07 2016-05-25 株式会社理光 车辆检测方法和装置
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
KR102021152B1 (ko) * 2013-05-07 2019-09-11 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
JP5895955B2 (ja) * 2014-02-07 2016-03-30 トヨタ自動車株式会社 車線境界線検出装置
JP6398675B2 (ja) * 2014-12-09 2018-10-03 株式会社デンソー 画像生成装置
US10803299B2 (en) 2017-03-16 2020-10-13 Echo-Sense, Inc. System to overcome the two-dimensional nature of the captured images when attempting to generate three-dimensional measurement data
US11064226B2 (en) * 2017-03-16 2021-07-13 Echo-Sense, Inc. System and method for concurrent data streams from a singular sensor with remotely selectable parameters
CN107933461B (zh) * 2017-11-17 2020-07-10 重庆长安汽车股份有限公司 基于单摄像头的车内识别融合装置及方法
CN111886858B (zh) * 2018-03-15 2022-06-21 株式会社小糸制作所 车辆用影像***
JP7073991B2 (ja) * 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
EP3937066A1 (en) * 2020-07-07 2022-01-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Peer vehicle center line determination system and method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235635A (ja) * 1993-02-08 1994-08-23 Daihatsu Motor Co Ltd 距離検出方法
JPH06333049A (ja) * 1993-05-27 1994-12-02 Nec Corp 移動車の環境認識方法および装置
JPH0778258A (ja) * 1993-09-08 1995-03-20 Sumitomo Electric Ind Ltd 物体認識装置
JP2002358595A (ja) * 2001-06-01 2002-12-13 Mitsubishi Electric Corp 道路交通流計測装置および道路交通流計測方法
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
JP2006285549A (ja) * 2005-03-31 2006-10-19 Matsushita Electric Ind Co Ltd 画像処理式車両検出装置及び画像処理式車両検出方法
JP2009230530A (ja) * 2008-03-24 2009-10-08 Honda Motor Co Ltd 車両認識装置、車両、及び車両認識用プログラム
JP2009265882A (ja) * 2008-04-24 2009-11-12 Honda Motor Co Ltd 車両周辺監視装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3839329B2 (ja) 2002-02-04 2006-11-01 本田技研工業株式会社 ナイトビジョンシステム
JP4094604B2 (ja) * 2004-11-30 2008-06-04 本田技研工業株式会社 車両周辺監視装置
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
CN101450647A (zh) * 2008-12-29 2009-06-10 广东铁将军防盗设备有限公司 车辆避障告警方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06235635A (ja) * 1993-02-08 1994-08-23 Daihatsu Motor Co Ltd 距離検出方法
JPH06333049A (ja) * 1993-05-27 1994-12-02 Nec Corp 移動車の環境認識方法および装置
JPH0778258A (ja) * 1993-09-08 1995-03-20 Sumitomo Electric Ind Ltd 物体認識装置
JP2002358595A (ja) * 2001-06-01 2002-12-13 Mitsubishi Electric Corp 道路交通流計測装置および道路交通流計測方法
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
JP2006285549A (ja) * 2005-03-31 2006-10-19 Matsushita Electric Ind Co Ltd 画像処理式車両検出装置及び画像処理式車両検出方法
JP2009230530A (ja) * 2008-03-24 2009-10-08 Honda Motor Co Ltd 車両認識装置、車両、及び車両認識用プログラム
JP2009265882A (ja) * 2008-04-24 2009-11-12 Honda Motor Co Ltd 車両周辺監視装置

Also Published As

Publication number Publication date
US8994824B2 (en) 2015-03-31
CN102713988A (zh) 2012-10-03
US20120300076A1 (en) 2012-11-29
CN102713988B (zh) 2015-02-25
EP2482268A1 (en) 2012-08-01
JPWO2011086807A1 (ja) 2013-05-16
EP2482268A4 (en) 2013-09-04
WO2011086807A1 (ja) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5480917B2 (ja) 車両周辺監視装置
JP6197291B2 (ja) 複眼カメラ装置、及びそれを備えた車両
JP4733756B2 (ja) 車両周辺監視装置
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP5529910B2 (ja) 車両周辺監視装置
JP5774770B2 (ja) 車両周辺監視装置
US9965690B2 (en) On-vehicle control device
US10192444B2 (en) Forward collision warning system and method
JP4528283B2 (ja) 車両周辺監視装置
JP2007193445A (ja) 車両の周辺監視装置
JP2010146494A (ja) 車両周辺監視装置
JP4887537B2 (ja) 車両周辺監視装置
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP5083164B2 (ja) 画像処理装置及び画像処理方法
JP4864953B2 (ja) 車両周辺監視装置
JP6087240B2 (ja) 車両周辺監視装置
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
JP2004348645A (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP5399887B2 (ja) 車両周辺監視装置
JP5430633B2 (ja) 車両周辺監視装置
JP4975776B2 (ja) 車両周辺監視装置
WO2019013253A1 (ja) 検出装置
JP6453571B2 (ja) 立体物認識装置
JP4871941B2 (ja) 車両周辺監視装置
JP2003309843A (ja) 障害物警報装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140214

R150 Certificate of patent or registration of utility model

Ref document number: 5480917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees