JP2008052467A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2008052467A5 JP2008052467A5 JP2006227338A JP2006227338A JP2008052467A5 JP 2008052467 A5 JP2008052467 A5 JP 2008052467A5 JP 2006227338 A JP2006227338 A JP 2006227338A JP 2006227338 A JP2006227338 A JP 2006227338A JP 2008052467 A5 JP2008052467 A5 JP 2008052467A5
- Authority
- JP
- Japan
- Prior art keywords
- target object
- vehicle
- processing unit
- object candidate
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000001629 suppression Effects 0.000 description 3
- 241000282994 Cervidae Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000003247 decreasing Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Description
本発明は、車載の撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムに関する。
車載の赤外線カメラにより撮像された車両の周辺画像に基づき、当該車両と接触する可能性がある人間等の物体の有無を判定する技術が提案されている(たとえば、特許文献1参照)。
特開2001−6096号公報
しかし、車両の周辺画像のグレースケール画像において図5に示されているように空Oの下方に拡がる森林等の遠景物体Qの、空Oとの境界部分の輝度が高くなる場合がある。したがって、図4に示されているようにグレースケール画像において高輝度となる対象物体(人間またはその頭部)Pが、遠景物体Qの当該境界部分に紛れ込んでしまい、この対象物体Pの存在および挙動を認識することが困難となる場合がある。これは、車両周辺の人間等の対象物体の存在を高い精度で認識するために車載の赤外線カメラのゲインが高く設定されていることが主な原因である。
そこで、本発明は、車載の撮像装置を通じて得られた画像において人間等の対象物体が遠景物体の空との境界部分に紛れ込んだ場合でも、この対象物体の存在、さらにはその挙動を高精度で認識しうる車両周辺監視システムを提供することを解決課題とする。
第1発明の車両周辺監視システムは、高ゲイン状態の第1撮像装置および第2撮像装置のそれぞれを通じて得られた第1および第2画像のうち少なくとも一方を用いて1次対象物体候補を認識し、かつ、前記1次対象物体候補の実空間位置を測定する第1処理部と、低ゲイン状態の該第1撮像装置を通じて得られた該第1画像において該1次対象物体候補に対応する2次対象物体候補の、該第1処理部により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該2次対象物体候補を当該対象物体として認識する第2処理部とを備えていることを特徴とする。
第1発明の車両周辺監視システムによれば、高ゲインの第1画像および第2画像のうち少なくとも一方を用いて1次対象物体候補の存在が確実に認識される。これにより1次対象物体候補の実空間位置が高精度で測定されうる。「実空間」とは、たとえば移動装置の移動方向や位置の変化に伴って変動する座標系を意味する。一方、低ゲインの第1画像では前記のような背景物体の空との境界部分における高輝度領域の出現が抑制される。これにより、1次対象物体候補に対応する2次対象物体候補の空間特性が、低ゲインの第1画像において高精度で認識されうる。また、2次対象物体候補の空間特性が対象物体の空間特性に応じた「空間特性要件」を満たすか否か、ひいては当該対象物体候補が対象物体に該当するか否かが精度よく判定されうる。第1発明において物体または物体候補の「空間特性」とは当該物体または物体候補の実空間位置に基づくサイズ、または当該サイズおよび形状に応じた特性を意味する。このように高ゲインの第1および第2画像のうち少なくとも一方と、低ゲインの第1画像との併用によって、前記のように背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在が高精度で認識されうる。
第2発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第1処理部が前記1次対象物体候補の時系列的な測定位置に基づき前記車両と該1次対象物体候補との接触可能性を評価し、前記第2処理部が該第1処理部により該車両との接触可能性が高いと評価された該1次対象物体候補に対応する前記2次対象物体候補の前記空間特性を認識することを特徴とする。
第2発明の車両周辺監視システムによれば、前記のように高ゲインの第1画像および第2画像において1次対象物体候補の実空間位置が高精度で測定されうる。したがって、時系列的に測定された1次対象物体候補の実空間位置に基づいて当該1次対象物体候補と車両との接触可能性が高精度で評価されうる。そして、車両と接触する可能性が高い1次対象物体候補に対応する2次対象物体候補の形状が、空間特性要件を満たすか否かに応じて、当該2次対象物体候補が対象物体に該当するか否かが高精度で認識されうる。
第3発明の車両周辺監視システムは、第1または第2発明の車両周辺監視システムにおいて、前記第1処理部により評価された前記車両との接触可能性の高低に応じて、前記第2処理部により認識された前記対象物体に関して当該車両に搭載されている機器の動作を異なる態様で制御する第3処理部をさらに備えていることを特徴とする。
第3発明の車両周辺監視システムによれば、前記のように高精度で評価された車両と1次対象物体候補との接触可能性に基づいて車載機器の動作が制御される。これにより、車両と対象物体との接触を回避する観点から、車両の減速や操舵等、車両の挙動が適当に制御されうる。また、車載機器が後述する情報出力機器である場合、車両と対象物体との接触可能性の高低に応じて、異なる態様で当該対象物体の存在が強調等されて出力されうる。
第4発明の車両周辺監視システムは、第1または第2発明の車両周辺監視システムにおいて、前記第2処理部により認識された前記対象物体の存在を知らせるまたは強調する情報を前記車両に搭載されている情報出力機器に出力させる第3処理部をさらに備えていることを特徴とする。
第4発明の車両周辺監視システムは、第1または第2発明の車両周辺監視システムにおいて、前記第2処理部により認識された前記対象物体の存在を知らせるまたは強調する情報を前記車両に搭載されている情報出力機器に出力させる第3処理部をさらに備えていることを特徴とする。
第4発明の車両周辺監視システムによれば、前記のように対象物体の存在が高精度で認識されうるので、車両と当該対象物体との接触回避等の観点から、当該対象物体またはその部分を強調等する情報が適当に出力されうる。ここで、情報の出力とは、視覚、聴覚、触覚等、五感を通じて当該情報を車両の運転者等に認識させうるあらゆる形態で情報が出力されることを意味する。これにより、車両の運転者に対象物体の存在を認識させ、必要に応じて車両と対象物体との接触を回避するために車両の減速や操舵等、車両の挙動を適当に制御させることができる。
第5発明の車両周辺監視システムは、第1〜第4発明のうちいずれか1つの車両周辺監視システムにおいて、前記第2処理部が、前記2次対象物体候補の前記空間特性が前記空間特性要件を満たしていないと判定したことを要件として前記第1撮像装置のゲインをさらに低下させた上で当該判定を再実行することを特徴とする。
第5発明の車両周辺監視システムによれば、第1画像に前記のように背景物体の空との境界部分に出現した高輝度領域の影響により、2次対象物体候補が対象物体に該当するか否かが判定されえないような状況でも、当該影響を一度にまたは段階的なゲイン調節により排除して、対象物体の存在が高精度で認識されうる。
第6発明の車両周辺監視システムは、高ゲイン状態の第1撮像装置および第2撮像装置のそれぞれを通じて得られた第1および第2画像のうち少なくとも一方を用いて1次対象物体候補を認識する第1処理部と、低ゲイン状態の該第1撮像装置を通じて得られた該第1画像において該1次対象物体候補に対応する2次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該2次対象物体候補を当該対象物体として認識する第2処理部とを備えていることを特徴とする。
第6発明の車両周辺監視システムによれば、高ゲインの第1画像および第2画像のうち少なくとも一方を用いて1次対象物体候補の存在が確実に認識される。一方、低ゲインの第1画像では前記のような背景物体の空との境界部分における高輝度領域の出現が抑制される。これにより、1次対象物体候補に対応する2次対象物体候補の空間特性が低ゲインの第1画像において高精度で認識されうる。また、2次対象物体候補の空間特性が対象物体の空間特性に応じた「空間特性要件」を満たすか否か、ひいては当該対象物体候補が対象物体に該当するか否かが精度よく判定されうる。第6発明において物体または物体候補の「空間特性」とは当該物体または物体候補の形状に応じた特性を意味する。このように高ゲインの第1および第2画像のうち少なくとも一方と、低ゲインの第1画像との併用によって、前記のように背景物体の空との境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両の周辺にある対象物体の存在が高精度で認識されうる。
本発明の車両周辺監視システムの実施形態について図面を用いて説明する。
本発明の車両周辺監視システムの構成について図1を用いて説明する。
本発明の車両周辺監視システムの構成について図1を用いて説明する。
図1に示されている車両1には、車両周辺監視システム10と、車両1の前方部において車幅方向中央部にほぼ対称に配置された第1赤外線カメラ(第1撮像装置)101および第2赤外線カメラ(第2撮像装置)102と、フロントウィンドウにおいて運転者の視界を妨げないように配置されたHUD104とが搭載されている。また、図2に示されているように車両1には、ヨーレートセンサ122や速度センサ124等の種々のセンサが搭載されている。なお、第1赤外線カメラ101および第2赤外線カメラ102の左右の配置は、図1に示されている配置の反対であってもよい。
車両周辺監視システム10は車載の2つの赤外線カメラ、すなわち第1赤外線カメラ101および第2赤外線カメラ102のそれぞれを通じて得られた画像に基づいて車両1の周辺、特に前方の対象物の存在および挙動を認識または監視するシステムである。車両周辺監視システム10は、車両1に搭載されたハードウェアとしてのECUまたはコンピュータ(CPU,ROM,RAM,I/O等により構成されている。)と、メモリに格納され、当該コンピュータに諸機能を付与するソフトウェアとしての本発明の車両周辺監視プログラムとにより構成されている。なお、車両周辺監視プログラムは最初から車載コンピュータのメモリ(ROM等)に格納されていてもよいが、車載コンピュータからのリクエストがあったとき等の任意のタイミングでこのプラグラムの一部または全部がサーバ(構築システムを構成する。)20からネットワークや人工衛星を介して当該車載コンピュータに配信(ダウンロード)または放送され、そのメモリ(EEPROM、RAM等)に格納されてもよい。
車両周辺監視システム10は図2に示されているように、第1処理部11と、第2処理部12と、第3処理部13とを備えている。第1処理部11は高ゲイン状態の第1赤外線カメラ101および第2赤外線カメラ102のそれぞれを通じて得られた第1画像および第2画像において1次対象物体候補P1を認識する。また、第1処理部11は第1画像および第2画像の視差を用いて1次対象物体候補P1の実空間位置を測定する。さらに、第1処理部11は1次対象物体候補P1の時系列的な測定位置に基づき車両1と当該1次対象物体候補P1との接触可能性を評価する。第2処理部12は第1処理部11により認識された1次対象物体候補P1に、低ゲイン状態の第1赤外線カメラ101を通じて得られた第1画像において対応する2次対象物体候補P2を認識する。また、第2処理部12は2次対象物体候補P2の「空間特性」を認識する。また、第2処理部12は2次対象物体候補P2の空間特性が対象物体Pの空間特性に応じた「空間特性要件」を満たすか否かを判定し、当該空間特性要件を満たす空間特性を有する2次対象物体候補P2を当該対象物体Pとして認識する。対象物体Pとしては人間、鹿等の動物、他の車両等が任意に選択されうる。第3処理部13は第1処理部11により評価された1次対象物体候補P1と車両1との接触可能性の高低に応じて、当該1次対象物体候補P1に対応する2次対象物体候補P2の中から第2処理部12により空間特性要件を満たすと認識された2次対象物体候補P2を対象物体Pとして認識する。また、第3処理部13は対象物体Pの存在を知らせるまたは強調する画像をHUD(情報出力機器)104に表示させる等、車載機器の動作を制御する。
前記構成の車両周辺監視システム10の機能について図3〜図9を用いて説明する。
まず、第1処理部11が「第1処理」を実行する(図3/S11)。
具体的には、第1処理部11はメモリから第1画像(高ゲイン)および第2画像(高ゲイン)を読み出す(図3/S111)。第1画像(高ゲイン)は、高ゲイン状態の第1赤外線カメラ101により撮像された赤外線画像がA/D変換されることで得られたグレースケール画像がさらに2値化処理されることで得られ、当該メモリに格納されたものである。同様に第2画像(高ゲイン)は、高ゲインに設定(固定)されている第2赤外線カメラ102により撮像された赤外線画像がA/D変換されることで得られたグレースケール画像がさらに2値化処理されることで得られ、当該メモリに格納されたものである。
また、第1処理部11は第1画像(高ゲイン)および第2画像(高ゲイン)のそれぞれにおいて1次対象物体候補P1を認識する(図3/S112)。具体的には、第1画像および第2画像が、前記特許文献1に開示されている手法と同様の手法によってランレングスデータ化される。そして、ランレングスデータ化されて得られた横に延びる複数のラインのうち、画像の縦方向に重なりがあり、かつ、長さの偏差が所定値以内である複数のライン群が1つの1次対象物体候補P1として認識される。たとえば図4に示されているような2値化画像が得られた場合、当該手法によって図5に示されているような3つの1次対象物体候補(斜線部分)P11〜P13が認識される。
さらに、第1処理部11は第1画像および第2画像の視差を利用して、第1処理部11により認識された1次対象物体候補P1の重心(または代表点)の実空間における位置を測定する(図3/S113)。この際、第1処理部11はヨーレートセンサ122および速度センサ124のそれぞれの出力に基づき、車両1の回頭による、画像における位置ずれを補正する。回頭角補正された1次対象物体候補P1の測定位置は時系列的にメモリに格納される。ここで実空間位置とは、図1に示されているように第1赤外線カメラ101および第2赤外線カメラ102の取り付け位置の中点を原点Oとし、水平方向、鉛直方向および前後方向をそれぞれX、YおよびZ軸とする座標系における位置を意味する。視差を利用した実空間位置の測定方法および回頭角補正方法はたとえば前記特許文献1において説明されているのでここでは詳細な説明を省略する。
さらに、第1処理部11は1次対象物体候補P1の時系列的な測定位置をメモリから読み取り、読み取った時系列的な測定位置に基づき車両1を基準とした当該1次対象物体候補P1の相対速度(大きさおよび向きを含む。)Vsを算出する(図3/S114)。
また、第1処理部11は車両1と当該1次対象物体候補P1との接触可能性を評価する(図3/S115)。たとえば、図8に示されているように第1赤外線カメラ101または第2赤外線カメラ102により監視可能な三角形領域A0よりも、車両1に対する1次対象物体候補P1の相対速度vsと余裕時間Tとの積(vs×T)だけ低い三角形領域(警報判定領域)が定義される。また、当該三角形領域のうち、Z軸を中心とするX方向の幅がα+2β(α:車幅、β:余裕幅)の第1領域(接近判定領域)A1と、第1領域A1の左右の第2領域(侵入判定領域)A2LおよびA2Rとが定義される。そして、1次対象物体候補P1が第1領域A1にある場合や、1次対象物体候補P1が左右の第2領域A2にあって、その相対速度ベクトルvsに鑑みて第1領域A1に侵入してくることが予測される場合、この1次対象物体候補P1と車両1とが接触する可能性が高く評価される。当該手法により、たとえば図5に示されている複数の1次対象物体候補P11〜P13のうち、1次対象物体候補P11およびP13のそれぞれと車両1との接触可能性が高いと評価される。
続いて第2処理部12が「第2処理」を実行する(図3/S12)。
第2処理部12はメモリから第1画像(低ゲイン)を読み出し(図3/S121)、この第1画像(低ゲイン)におけるすべての2次対象物体候補P2の「空間特性」を認識する(図3/S122)。なお、第1画像(低ゲイン)において認識された2次対象物体候補P2のうち、第1処理部11により車両1との接触可能性が高いと評価された1次対象物体候補P1に対応する2次対象物体候補P2についてのみ空間特性が認識されてもよい。たとえば2次対象物体候補P2は()、第1処理部11により車両1との接触可能性が高いと評価された、図5に示されている1次対象物体候補P11およびP13に対応している。第1画像(低ゲイン)は、低ゲイン状態の第1赤外線カメラ101により撮像された赤外線画像がA/D変換されることで得られたグレースケール画像がさらに2値化処理されることで得られ、当該メモリに格納されたものである。第1赤外線カメラ101のゲインは第2処理部12により制御される。たとえば図6に示されている2値化画像が得られた場合、図7に示されているような2次対象物体候補(斜線部分)P2が認識される。
2次対象物体候補P2の空間特性は、当該2次対象物体候補P2に対応する1次対象物体候補P1について第1処理部11により測定された実空間位置に基づく「サイズ」および当該2次対象物体候補P2の「形状」の両方に応じた特性を意味する。たとえば、2次対象物体候補P2の上部の実空間における横方向(X方向)のサイズおよび縦方向(Y方向)のサイズのうち一方または両方と、第1画像(低ゲイン)において図7に示されている矩形状のマスクMに含まれる2次対象物体候補P2の上部の形状に応じた縦横比とが当該2次対象物体候補P2の空間特性として認識される。当該縦横比は、たとえば図7に示されているような2次対象物体候補P2の上部の上端および下端を上下の境界とするマスクMに含まれている画像領域を横に走査したときの高輝度画素数の分布曲線(たとえば、ガウス分布曲線のような形状を有している。)において、所定値を超える部分の高さおよび幅の比として測定される。
また、第2処理部12は2次対象物体候補P2の空間特性が「空間特性要件」を満たすか否かを判定する(図3/S123)。空間特性要件は人間等の対象物体Pの標準的なサイズおよび形状に応じた空間特性に応じて設定され、メモリに格納されている。たとえば、2次対象物体候補P2の上部の実空間における横方向(X方向)のサイズおよび縦方向(Y方向)のサイズのうち一方または両方が、対象物体Pである人間の頭部の縦方向および横方向のそれぞれの標準的なサイズに応じて設定された範囲に含まれること、および前記縦横比が対象物体Pである人間の頭部の標準的な縦横比に応じた範囲に含まれることが空間特性要件として設定される。そして、第2処理部12は2次対象物体候補P2の形状が空間特性要件を満たすと判定した場合(図3/S123‥YES)、当該2次対象物体候補P2を対象物体Pとして認識する(図3/S124)。
一方、第2処理部12により空間特性要件を満たす空間特性を有する2次対象物体候補P2が第1画像(低ゲイン)に存在しないと判定した場合(図3/S123‥NO)、後述の第3処理が実行されることなくそのまま処理が終了する。
次に、第3処理部13が「第3処理」を実行する(図3/S13)。
第3処理部13は、第2処理部12により認識された対象物体Pに対応する1次対象物体候補P1ついて、第1処理部11により評価された車両1との接触可能性の高低をメモリから読み取って判定する(図3/S131)。そして、第3処理部13は対象物体Pに対応する1次対象物体候補P1と車両1との接触可能性が高いと判定した場合(図3/S131‥YES)、「第1制御処理」を実行する(図3/S132)。これにより、たとえば対象物体Pの存在を強調するため、図9に示されているように当該対象物体Pを囲む矩形状の橙色のフレームfが「第1情報」としてHUD104に表示される。なお、対象物体Pの全部または大部分を包含するものであれば、フレームfの形状やサイズは任意に変更されてもよい。また、第1情報として「ピッピッピッ」等の音声がスピーカ(図示略)から出力されてもよい。
一方、第3処理部13は対象物体Pに対応する1次対象物体候補P1と車両1との接触可能性が低いと判定した場合(図3/S131‥NO)、「第2制御処理」を実行する(図3/S133)。これにより、たとえば対象物体Pの存在を控えめに強調するため、同じく図9に示されているように対象物体Pを囲む矩形状の黄色のフレームfが「第2情報」としてHUD104に表示される。なお、第2情報として「ピッ」等、第1情報よりも短い(または音量が小さい)音声がスピーカ(図示略)から出力されてもよい。
前記機能を発揮する本発明の車両周辺監視システム10によれば、図4に示されているような第1画像(高ゲイン)および第2画像(高ゲイン)のそれぞれにおいて、図5に示されているような1次対象物体候補P11〜P13が確実に認識されうる。これにより、1次対象物体候補P1の実空間位置が正確に測定され、かつ、時系列的な当該測定位置に基づいて車両1と1次対象物体候補P1との接触可能性が高精度で評価されうる(図3/S111〜S115参照)。
一方、第1画像(低ゲイン)では、図6に示されているように、図4に示されているような背景物体Qの空Oとの境界部分における高輝度領域の出現が抑制される。これにより、1次対象物体候補P1に対応する2次対象物体候補P2の空間特性が第1画像(低ゲイン)において正確に認識されうる(図3/S122参照)。また、第1画像(低ゲイン)における2次対象物体候補P2のサイズおよび形状に応じた空間特性が対象物体Pの空間特性に応じた空間特性要件を満たすか否か、ひいては当該2次対象物体候補P2が対象物体Pに該当するか否かが精度よく判定されうる(図3/S123参照)。
このように高ゲインの第1および第2画像のうち少なくとも一方と、低ゲインの第1画像との併用によって、図4に示されているような背景物体Qの空Oとの境界部分に高輝度領域が高ゲインの画像に出現するような場合でも車両1の周辺にある対象物体Pの存在およびその挙動が高精度で認識されうる。
さらに、車両1と対象物体Pとの接触可能性が高い精度で評価されうるので、車両1と対象物体Pとの接触回避等の観点から、当該対象物体Pの存在を強調する第1または第2情報が適当にHUD104に表示(出力)されうる(図3/S132、S133、図9)。これにより、運転者に車両1の前方における対象物体Pの存在を認識させ、車両1と対象物体Pとの接触を回避するために車両1の減速や操舵等、車両1の挙動を適当に制御させることができる。
なお、前記実施形態では高ゲインの第1赤外線カメラ101および第2赤外線カメラ102のそれぞれを通じて得られた2つの赤外線画像が2値化処理されることで得られた2つの2値化画像を用いて1次対象物体候補P1が認識された。そのほか、高ゲインの第1赤外線カメラ101および第2赤外線カメラ102のうち一方を通じて得られた1つの赤外線画像のみが2値化処理されることで得られた1つの2値化画像を用いて1次対象物体候補P1が認識されてもよい。
また、前記実施形態では第1画像(高ゲイン)および第2画像(高ゲイン)の視差を用いて1次対象物体候補P1の実空間位置が測定された(図3/S113)。そのほか、レーダーを用いる等、異なる手法によって1次対象物体候補P1の実空間位置が測定されてもよい。
さらに、前記実施形態では車両1と1次対象物体候補P1との接触可能性が評価され、当該接触可能性の高低に応じて第1制御処理または第2制御処理が実行される(図3/S115,S131〜S133参照)。そのほか、車両1との接触可能性とは無関係に対象物体Pの有無に応じて異なる制御処理が実行されてもよい。
また、前記実施形態では2次対象物体候補P2の空間特性が当該2次対象物体候補P2の「サイズ」および「形状」に応じた特性として定義され、空間特性要件が対象物体Pの標準的な「サイズ」および「形状」に基づいて定義されている。そのほか、2次対象物体候補P2の空間特性が当該2次対象物体候補P2の「サイズ」に応じた特性として定義され、空間特性要件が対象物体Pの標準的な「サイズ」に基づいて定義されてもよい。また、2次対象物体候補P2の空間特性が当該2次対象物体候補P2の「形状」に応じた特性として定義され、空間特性要件が対象物体Pの標準的な「形状」に基づいて定義されてもよい。2次対象物体候補P2の空間特性が当該2次対象物体候補P2の「形状」に応じた特性として定義されている場合、1次対象物体候補P1の実空間位置の測定(図3/S113参照)が省略されてもよい。2次対象物体候補P2の形状に応じた空間特性が空間特性要件を満たしているか否かが、テンプレートマッチング等、2次対象物体候補P2の形状が対象物体Pの標準的な形状にどの程度類似しているかに応じて判定されてもよい。
さらに、前記実施形態では第2処理部11により空間特性要件を満たす空間特性を有する2次対象物体候補P2が低ゲインの第1画像に存在しないと判定された場合(図3/S123‥NO)、第3処理が実行されることなくそのまま処理が終了したが、他の実施形態としてこのような場合、第2処理部12が第1赤外線カメラ101のゲインをさらに低下させた上で当該判定処理を再実行してもよい。さらに、第1赤外線カメラ101の初期ゲインが第2赤外線カメラ102のゲインと同一に設定され、第1処理部11が空間特性要件を満たす2次対象物体候補P2が低ゲインの第1画像に存在しないと判定したことを要件として(図3/S113‥NO)、第1赤外線カメラ101のゲインを一度にまたは複数回にわたって段階的に低下させてもよい。
また、前記実施形態では第1制御処理により対象物体Pの存在を強調する第1情報がHUD104に出力され、第2制御処理により対象物体Pの存在を強調する、第1情報とは異なる形態の第2情報がHUD104に出力される(図9参照)。そのほか、第1制御処理および第2制御処理として車両1の挙動を制御するためにステアリングシステムやブレーキシステム等の車載機器の動作が異なる態様で制御されてもよい。当該構成の車両周辺監視システム10によれば、前記のように高精度で評価された車両1と対象物体Pとの接触可能性に基づいて車載機器が制御され、これにより、車両1と対象物体Pとの接触を回避する観点から、車両1の減速や操舵等、その挙動が適当に制御されうる。
1‥車両、10‥車両周辺監視システム、11‥第1処理部、12‥第2処理部、13‥第3処理部、20‥サーバ、101‥第1赤外線カメラ(第1撮像装置)、102‥第2赤外線カメラ(第2撮像装置)、104‥HUD(情報出力機器(車載機器))、122‥ヨーレートセンサ、124‥速度センサ、P‥対象物体、P1‥1次対象物体候補、P2‥2次対象物体候補
Claims (6)
- 車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、
高ゲイン状態の第1撮像装置および第2撮像装置のそれぞれを通じて得られた第1および第2画像のうち少なくとも一方を用いて1次対象物体候補を認識し、かつ、前記1次対象物体候補の実空間位置を測定する第1処理部と、
低ゲイン状態の該第1撮像装置を通じて得られた該第1画像において該1次対象物体候補に対応する2次対象物体候補の、該第1処理部により測定された実空間位置に基づくサイズ、または当該サイズおよび形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該2次対象物体候補を当該対象物体として認識する第2処理部とを備えていることを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第1処理部が前記1次対象物体候補の時系列的な測定位置に基づき前記車両と該1次対象物体候補との接触可能性を評価し、
前記第2処理部が該第1処理部により該車両との接触可能性が高いと評価された該1次対象物体候補に対応する前記2次対象物体候補の前記空間特性を認識することを特徴とする車両周辺監視システム。 - 請求項2記載の車両周辺監視システムにおいて、
前記第1処理部により評価された前記車両との接触可能性の高低に応じて、前記第2処理部により認識された前記対象物体に関して当該車両に搭載されている機器の動作を異なる態様で制御する第3処理部をさらに備えていることを特徴とする車両周辺監視システム。 - 請求項1または2記載の車両周辺監視システムにおいて、
前記第2処理部により認識された前記対象物体の存在を知らせるまたは強調する情報を前記車両に搭載されている情報出力機器に出力させる第3処理部をさらに備えていることを特徴とする車両周辺監視システム。 - 請求項1〜4のうちいずれか1つに記載の車両周辺監視システムにおいて、前記第2処理部が、前記2次対象物体候補の前記空間特性が前記空間特性要件を満たしていないと判定したことを要件として前記第1撮像装置のゲインをさらに低下させた上で当該判定を再実行することを特徴とする車両周辺監視システム。
- 車両に搭載されている撮像装置を通じて得られた画像に基づいて当該車両の周辺を監視するシステムであって、
高ゲイン状態の第1撮像装置および第2撮像装置のそれぞれを通じて得られた第1および第2画像のうち少なくとも一方を用いて1次対象物体候補を認識する第1処理部と、
低ゲイン状態の該第1撮像装置を通じて得られた該第1画像において該1次対象物体候補に対応する2次対象物体候補の形状に応じた空間特性を認識し、該空間特性が対象物体の該空間特性に応じた空間特性要件を満たす該2次対象物体候補を当該対象物体として認識する第2処理部とを備えていることを特徴とする車両周辺監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006227338A JP4869835B2 (ja) | 2006-08-24 | 2006-08-24 | 車両周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006227338A JP4869835B2 (ja) | 2006-08-24 | 2006-08-24 | 車両周辺監視システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008052467A JP2008052467A (ja) | 2008-03-06 |
JP2008052467A5 true JP2008052467A5 (ja) | 2008-10-16 |
JP4869835B2 JP4869835B2 (ja) | 2012-02-08 |
Family
ID=39236473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006227338A Expired - Fee Related JP4869835B2 (ja) | 2006-08-24 | 2006-08-24 | 車両周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4869835B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5410730B2 (ja) * | 2008-10-09 | 2014-02-05 | 日立オートモティブシステムズ株式会社 | 自動車の外界認識装置 |
JP5601453B2 (ja) * | 2010-03-30 | 2014-10-08 | マツダ株式会社 | 車両用運転支援装置 |
CN112954305B (zh) * | 2021-01-27 | 2022-08-09 | 浙江智慧视频安防创新中心有限公司 | 一种工业相机的拍摄参数测试方法、装置以及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59197816A (ja) * | 1983-04-25 | 1984-11-09 | Nippon Denso Co Ltd | 車間距離検出装置 |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
-
2006
- 2006-08-24 JP JP2006227338A patent/JP4869835B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456086B2 (ja) | 車両周辺監視装置 | |
JP4173901B2 (ja) | 車両周辺監視装置 | |
JP4171501B2 (ja) | 車両の周辺監視装置 | |
JP4271720B1 (ja) | 車両周辺監視装置 | |
JP4521642B2 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
JP2010108264A (ja) | 車両周辺監視装置 | |
WO2009150771A1 (ja) | 車両周辺監視装置 | |
JP2007304033A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
JP2007310706A (ja) | 車両周辺監視装置 | |
JP4486997B2 (ja) | 車両周辺監視装置 | |
JP2014127032A (ja) | 車両用外界認識装置 | |
US7885430B2 (en) | Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program | |
JP4869835B2 (ja) | 車両周辺監視システム | |
JP2008052467A5 (ja) | ||
JP4404047B2 (ja) | 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム | |
JP4716294B2 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
JP4694441B2 (ja) | 車両周辺監視システム | |
JP4496383B2 (ja) | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム | |
JP4975379B2 (ja) | 車両周辺監視システム | |
JP4970861B2 (ja) | 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム | |
JP5442050B2 (ja) | 車両周辺監視システム | |
JP4828333B2 (ja) | 車両周辺監視システム | |
JP2008042779A5 (ja) | ||
JP4590654B2 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
JP2007334763A5 (ja) |