JP2003348575A - ステレオ式車外監視装置およびその制御方法 - Google Patents

ステレオ式車外監視装置およびその制御方法

Info

Publication number
JP2003348575A
JP2003348575A JP2002151945A JP2002151945A JP2003348575A JP 2003348575 A JP2003348575 A JP 2003348575A JP 2002151945 A JP2002151945 A JP 2002151945A JP 2002151945 A JP2002151945 A JP 2002151945A JP 2003348575 A JP2003348575 A JP 2003348575A
Authority
JP
Japan
Prior art keywords
stereo
vehicle
monitoring
cameras
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002151945A
Other languages
English (en)
Other versions
JP3965078B2 (ja
Inventor
Takayuki Sogawa
能之 十川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2002151945A priority Critical patent/JP3965078B2/ja
Publication of JP2003348575A publication Critical patent/JP2003348575A/ja
Application granted granted Critical
Publication of JP3965078B2 publication Critical patent/JP3965078B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】複数のステレオ画像処理および認識処理が簡素
に行え、コストの低減化を図るとともに、車両周囲の監
視等に多様な機能性を持たせる。 【解決手段】ステレオ式車外監視装置は、それぞれが車
両Gの異なる部位に取り付けられ、それぞれが異なる監
視方向を監視する複数のステレオカメラ1〜8を有す
る。これらのステレオカメラ1〜8は、処理ユニット1
0に共通接続されている。この処理ユニット10は、同
期信号生成部11と、画像信号選択部12と、距離情報
生成部13と、認識部14とを有する。画像信号選択部
12は、それぞれのステレオカメラ1〜8のいずれかを
選択する。距離情報生成部13は、画像信号選択部12
で選択されたステレオカメラより出力された一対の画像
情報に基づいて、ステレオマッチングによって距離情報
を生成する。認識部14は、距離情報生成部13によっ
て生成された距離情報に基づいて、監視対象となる対象
物を認識する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、自動車等
の車両周囲をステレオカメラにより監視するステレオ式
車外監視装置およびその制御方法に関する。
【0002】
【従来の技術】従来、ステレオカメラによる画像認識に
より、車両前方の障害物等の監視対象となる対象物や道
路の形状などを監視したり、対象物までの距離を検出す
るステレオ式車外監視装置が知られている。この監視装
置は、車両前方の監視のみならず、車両上に複数車載す
ることにより、側方監視用や後方監視用としても応用す
ることが可能である。しかも、このようなステレオカメ
ラによる監視装置は、パッシブセンサであるため、互い
に干渉し合う光や電波によるレーダ等を用いたものと異
なり、複数同時に使用することができる。また、監視す
べき対象物が、金属であるか否か、または、光の反射率
が高いか否か等の物質に依存しないため、車両の側方監
視や後方監視には適した特性を有する。
【0003】
【発明が解決しようとする課題】しかしながら、上記し
た従来装置では、他の方式のセンサや画像認識処理手段
に比べ、処理情報や計算量が圧倒的に多く、大規模な電
子回路やメモリ、高性能のコンピュータ等を使用する必
要がある。このため、装置自体が複雑化するばかりでな
く、高価なものとなる。その結果、監視体制の強化(監
視領域の拡張)を図るために、単に、複数の監視装置を
独立して車両上に車載することは、全体のステレオ画像
処理および認識処理が複雑となり、コストも高くなる。
【0004】本発明は、上記の事情に鑑みてなされたも
のであり、その目的は、監視体制の強化を図りつつ、装
置コストの上昇を抑制し得る新規なステレオ式車外監視
装置およびその制御方法を提供することである。
【0005】
【課題を解決するための手段】上記した課題を解決する
ために、第1の発明は、ステレオ式車外監視装置を提供
する。この監視装置は、それぞれが車両の異なる部位に
取り付けられ、それぞれが異なる監視方向を監視する複
数のステレオカメラを有する。これらのステレオカメラ
は、処理ユニットに共通接続されている。この処理ユニ
ットは、選択部と、生成部と、認識部とを有する。選択
部は、複数のステレオカメラのいずれかを選択する。生
成部は、選択部で選択されたステレオカメラより出力さ
れた一対の画像情報に基づいて、ステレオマッチングに
よって距離情報を生成する。認識部は、生成部によって
生成された距離情報に基づいて、監視対象となる対象物
を認識する。
【0006】ここで、第1の発明において、複数のステ
レオカメラは、車両の全周囲を監視するように取り付け
られているとともに、ステレオカメラの選択を時分割に
よって行うことが好ましい。
【0007】また、第1の発明においては、車両の走行
状態を検出し、センサ信号を出力するセンサをさらに有
する。そして、選択部は、センサからのセンサ信号に応
じて、監視方向の注力量を決定するとともに、この注力
量に応じて、時分割によるステレオカメラの選択に重み
を変えることが好ましい。この場合、センサ信号は、ス
テアリングの舵角を示す信号、車速を示す信号、ギヤポ
ジションを示す信号、または、方向指示器の状態を示す
信号の少なくとも一つを含む。
【0008】第2の発明は、ステレオ式車外監視装置の
制御方法を提供する。この制御方法は、互いに同期して
一対の画像を出力する複数のステレオカメラを有すると
ともに、ステレオカメラのそれぞれが、車両の異なる部
位に取り付けられている。そして、第1のステップで
は、ステレオカメラのいずれかを選択する。第2のステ
ップでは、第1のステップで選択されたステレオカメラ
より出力された一対の画像情報に基づいて、ステレオマ
ッチングを行い、距離情報を生成する。第3のステップ
では、第2のステップで生成された距離情報に基づい
て、監視対象となる対象物を認識する。
【0009】
【発明の実施の形態】(第1の実施形態)図1は、第1
の実施形態に係るステレオ式車外監視装置が車載された
車両を概略的に示す上面図である。この車両Gには、車
両Gのほぼ全周囲をカバーすべく、複数台のステレオカ
メラ1〜8が設置されている。第1のステレオカメラ1
は、車両Gのルーフ前部中央(例えば、ルームミラー近
傍)に設置され、車両前方を所定の撮像範囲θ1で監視
する。第2のステレオカメラ2は、車両Gのルーフ後部
中央に設置され、車両後方を所定の撮像範囲θ2で監視
する。第3のステレオカメラ3は、車両Gの右前側方に
設置され、例えば、交差点での右折時といった状況に対
応すべく、車両右前側方を所定の撮像範囲θ3で監視す
る。第4のステレオカメラ4は、車両Gの右後側方に設
置され、例えば、右車線変更時といった状況に対応すべ
く、車両右後側方を所定の撮像範囲θ4で監視する。第
5のステレオカメラ5は、車両Gの左前側方に設置さ
れ、例えば、交差点での左折時といった状況に対応すべ
く、車両左前側方を所定の撮像範囲θ5で監視する。第
6のステレオカメラ6は、車両Gの左後側方に設置さ
れ、例えば、左車線変更時といった状況に対応すべく、
車両左後側方を所定の撮像範囲θ6で監視する。第7の
ステレオカメラ7は、車両Gの右前バンパの側方に設置
され、例えば、右側路地からの飛び出し車両に対応すべ
く、車両右前バンパの側方を所定の撮像範囲θ7で監視
する。第8のステレオカメラ8は、車両Gの左前バンパ
の側方に設置され、左側路地からの飛び出し車両に対応
すべく、車両左前バンパの側方を所定の撮像範囲θ8で
監視する。
【0010】換言すると、ステレオカメラ1〜8は、そ
れぞれが車両Gの異なる部位に取り付けられ、それぞれ
が異なる監視方向を撮像することにより、車両Gの全周
囲を監視している。また、それぞれのステレオカメラ1
〜8は、いずれも各監視領域における監視対象となる対
象物を撮像して、一対の撮像画像(ステレオ画像)を出
力する。この一対の撮像画像に基づいて、後述する処理
ユニット10は、走行車や歩行者といった対象物を認識
する。
【0011】図2は、本実施形態に係るステレオ式車外
監視装置のブロック構成図である。ステレオカメラ1〜
8は、車両Gに設置した1台の処理ユニット10に共通
接続されている。この処理ユニット10は、同期信号生
成部11と、画像信号選択部12と、距離情報生成部1
3と、認識部14とを有する。同期信号生成部11とス
テレオカメラ1〜8とは、同期信号線と映像信号線とで
それぞれ接続されている。同期信号生成部11は、ステ
レオカメラ1〜8のそれぞれの映像信号(映像1フレー
ム)を一定の時間間隔で出力させるような同期信号を生
成する。この同期信号による制御の下で、ステレオカメ
ラ1〜8は、互いに同期して一対の撮像画像の映像信号
をそれぞれ出力する。ステレオカメラ1〜8より出力さ
れた映像信号は、画像信号選択部12に入力される。
【0012】画像信号選択部12は、ステレオカメラ1
〜8からのいずれか一つの映像信号を、例えば、アナロ
グマルチプレクサ等により時分割で切換え処理すること
により選択する。画像信号選択部12により選択された
ステレオカメラ1〜8のいずれか一つの映像信号は、距
離情報生成部13に出力される。距離情報生成部13
は、ステレオカメラ1〜8のいずれか一つの映像信号に
基づいて、ステレオマッチングによって距離情報(視
差)を生成する。認識部14は、距離情報生成部13に
よって生成された距離情報に基づいて、それぞれのステ
レオカメラ1〜8の画像処理および認識処理を行うこと
により、各監視領域における監視対象となる対象物を認
識する。このとき、認識部14には、予め、画像信号選
択部12により時分割で切換え処理されたステレオカメ
ラ1〜8のいずれか一つの映像信号の時系列的な選択情
報が入力されている。これにより、距離情報生成部13
および認識部14は、時分割処理によりステレオカメラ
1〜8からの画像情報を処理する。
【0013】図3は、上述した画像信号選択部12によ
るステレオカメラ1〜8からの映像信号の選択を時分割
により切換え処理するタイミングチャートである。この
タイミングチャートでは、例えば、1/30秒毎に等間
隔で同期信号生成部11より同期信号が出力される。こ
れにより、ステレオカメラ1〜8からは、映像1フレー
ムの映像信号が1/30秒毎の等間隔で出力され、画像
信号選択部12に入力される。画像信号選択部12で
は、ステレオカメラ1〜8からの映像信号が、第1のス
テレオカメラ(前方監視)1から第8のステレオカメラ
(左前バンパ側方監視)8まで1/30秒毎の一定の時
間間隔で順次時系列的に選択される。そして、これを1
処理サイクルとして、1処理サイクル中におけるステレ
オカメラ1〜8からの映像信号の選択が繰返し実行され
る。
【0014】すなわち、上述した第1の実施形態では、
全監視領域から出力されるステレオカメラ1〜8の映像
信号を時分割で切換えることにより、順次時系列的に選
択する。この選択された映像信号に基づいて、距離情報
がステレオマッチングによって生成される。この生成さ
れた距離情報と画像信号選択部12により時分割で切換
え処理された時系列的な選択情報とに基づいて、各監視
領域における監視対象となる対象物が認識される。これ
により、車両Gの全周囲における各監視領域に設置した
ステレオカメラ1〜8の画像認識処理が、1つの処理ユ
ニット10により一括して集中的に行われる。この結
果、複数のステレオ画像処理および認識処理が簡素にか
つ速やかに行うことができ、装置コストの低減を図れ
る。それとともに、車両周囲の監視等に多様な機能性を
持たせることができ、効果的な監視が行える。
【0015】(第2の実施形態)図4は、第2の実施形
態に係るステレオ式車外監視装置のブロック構成図であ
る。この第2の実施形態では、上述した第1の実施形態
の構成に加えて、車両Gの走行状態を検出する検出部2
0が設けられている。この検出部20は、車速を検出す
る第1のセンサ21と、左右のステアリング舵角を検出
する第2のセンサ22と、ギヤポジション(前進位置・
後進位置)を検出する第3のセンサ23とを有する。こ
れらの各センサ21,22,23より出力されるセンサ
信号、つまり、車速を示す信号、ステアリングの舵角を
示す信号、または、ギヤポジションを示す信号は、処理
ユニット10の画像信号選択部12に入力される。画像
信号選択部12では、入力された各センサ21,22,
23からのセンサ信号に応じて、ステレオカメラ1〜8
による各監視方向の注力量が決定される。この決定され
た注力量に応じて、1処理サイクル中における時分割切
換え処理により選択されるステレオカメラ1〜8からの
映像信号の選択時間割当が行われる。
【0016】次に、車両走行状態に応じた、画像信号選
択部12よるステレオカメラ1〜8の選択を具体的に説
明する。ギヤポジションが前進位置で、かつ、高速(低
速判定値V1≦車速V)で走行している状態において、
例えば、右車線変更を行うために、ステアリングが右側
に操舵された場合(右操舵判定値A1≦舵角A)、車両
Gの右前側方を監視する第3のステレオカメラ3が主体
的に選択される。
【0017】図5は、第3のステレオカメラ3が選択さ
れた際、1処理サイクル中のステレオカメラ1〜8より
出力される映像信号の選択時間割当による注力量を示す
タイミングチャートである。この場合、ステレオカメラ
1〜8の1処理サイクル中の選択時間割当は、例えば、
ステレオカメラ1,3,4が割合3、その他のステレオ
カメラ2,5〜8が割合1の比率で設定される。画像信
号選択部12では、上述した各センサ21,22,23
のセンサ信号に応じて、ステレオカメラ1〜8による各
監視方向の注力量が決定される。この決定された注力量
に応じて、1処理サイクル中における時分割切換え処理
が行われる。図3に示す時分割切換えタイミングと比較
して、ステレオカメラ1〜8より出力される映像信号の
選択に伴う時分割の重みが変わっており、前方、右前側
方、右後側方に監視の重点がおかれていることが分か
る。
【0018】同様に、高速前進時において(低速判定値
V1≦車速V)、ステアリングがあまり操舵されていな
い場合(左操舵判定値A2≦舵角<右操舵判定値A
1)、車両Gの前方を監視する第1のステレオカメラ1
が主体的に選択される。これにより、ステレオカメラ1
〜8の1処理サイクル中の選択時間割当は、例えば、ス
テレオカメラ1,3,4,5,6が割合3、その他のス
テレオカメラ2,7〜8が割合1の比率で設定され、監
視方向の注力量が決定される。
【0019】同様に、高速前進時において、例えば、左
車線変更を行うために、ステアリングが左側に操舵され
た場合(舵角A<左操舵判定値A2)、車両Gの左前側
方を監視する第5のステレオカメラ5が主体的に選択さ
れる。この第5のステレオカメラ5が選択されると、ス
テレオカメラ1〜8の1処理サイクル中の選択時間割当
は、ステレオカメラ1,5,6が割合3、その他のステ
レオカメラ2,3〜4,7〜8が割合1の比率で設定さ
れ、監視方向の注力量が決定される。
【0020】一方、低速前進走行時において(車速V<
低速判定値V1)、例えば、右折を行うために、ステア
リングが右側に操舵された場合(右操舵判定値A1≦舵
角A)、車両Gの右前バンパ側方を監視する第7のステ
レオカメラ7が主体的に選択される。この第7のステレ
オカメラ7が選択されると、ステレオカメラ1〜8の1
処理サイクル中の選択時間割当は、ステレオカメラ1,
3,4,7が割合3、その他のステレオカメラ2,5〜
6,8が割合1の比率で設定され、監視方向の注力量が
決定される。
【0021】同様に、低速前進走行時において、ステア
リングがあまり操舵されていない場合(左操舵判定値A
2≦舵角<右操舵判定値A1)、車両Gの前方を監視す
る第1のステレオカメラ1が主体的に選択される。この
第1のステレオカメラ1が選択されると、ステレオカメ
ラ1〜8の1処理サイクル中の選択時間割当は、ステレ
オカメラ1,3,4,7,8が割合3、その他のステレ
オカメラ2,5〜6が割合1の比率で設定され、監視方
向の注力量が決定される。
【0022】同様に、低速前進走行時において、例え
ば、左折を行うために、ステアリングが左側に操舵され
た場合(舵角A<左操舵判定値A2)、車両Gの左前バ
ンパ側方を監視する第8のステレオカメラ8が主体的に
選択される。この第8のステレオカメラ8が選択される
と、ステレオカメラ1〜8の1処理サイクル中の選択時
間割当は、ステレオカメラ1,5,6,8が割合3、そ
の他のステレオカメラ2〜4,7が割合1の比率で設定
され、監視方向の注力量が決定される。
【0023】一方、ギヤポジションが後進位置にある後
進走行時において、例えば、ハンドル右切り後退時のよ
うに、ステアリングが右側に操舵された場合(右操舵判
定値A3≦舵角A)、車両Gの右後側方を監視する第4
のステレオカメラ4が主体的に選択される。この第4の
ステレオカメラ4が選択されると、ステレオカメラ1〜
8の1処理サイクル中の選択時間割当は、ステレオカメ
ラ2,4が割合3、その他のステレオカメラ1,3,5
〜8が割合1の比率で設定され、監視方向の注力量が決
定される。
【0024】同様に、後進走行時において、例えば、直
進後退時のように、ステアリングがあまり操舵されてい
ない場合(左操舵判定値A4≦舵角A<右操舵判定値A
3)、車両Gの後方を監視する第2のステレオカメラ2
が主体的に選択される。この第2のステレオカメラ2が
選択されると、ステレオカメラ1〜8の1処理サイクル
中の選択時間割当は、ステレオカメラ2,4,6が割合
3、その他のステレオカメラ1,3,5,7〜8が割合
1の比率で設定され、監視方向の注力量が決定される。
【0025】同様に、後前進走行時において、例えば、
ハンドル左切り後退時にように、ステアリングが左に操
舵された場合(舵角A<左操舵判定値A4)、車両Gの
左後側方を監視する第6のステレオカメラ6が主体的に
選択される。この第6のステレオカメラ6が選択される
と、ステレオカメラ1〜8の1処理サイクル中の選択時
間割当は、ステレオカメラ2,6が割合3、その他のス
テレオカメラ1,3〜5,7〜8が割合1の比率で設定
され、監視方向の注力量が決定される。
【0026】(第3の実施形態)図6は、第3の実施形
態に係るステレオ式車外監視装置のブロック構成図であ
る。この第3の実施形態では、上述した第2の実施形態
の構成に加えて、車両Gの走行状態を検出する検出部2
0に第4のセンサ24が付加されている。この第4のセ
ンサ24は、方向指示器の動作状態、つまり、走行時に
おける車両Gの「右折時」または「左折時」のドライバ
ーの意志により操作される方向指示器のON・OFFを
検出する。第4のセンサ24より出力されたセンサ信号
は、処理ユニット10の画像信号選択部12に入力され
る。
【0027】すなわち、右折時、右方向指示器がONに
なると、ステレオカメラ1〜8の1処理サイクル中の選
択時間割当は、ステレオカメラ1,3,4が割合5、そ
の他のステレオカメラ2,5〜8が割合1の比率で設定
される。一方、左折時、左方向指示器がONになると、
ステレオカメラ1〜8の1処理サイクル中の選択時間割
当は、ステレオカメラ1,5,6が割合5、その他のス
テレオカメラ2〜4,7〜8が割合1の比率で設定され
る。これにより、画像信号選択部12では、上述した各
センサ21,22,23と同様に、方向指示器のセンサ
信号に応じて、ステレオカメラ1〜8による各監視方向
の注力量が決定される。この決定された注力量に応じ
て、1処理サイクル中における時分割切換え処理が行わ
れる。
【0028】(第4の実施形態)図7は、第4の実施形
態に係るステレオ式車外監視装置のブロック構成図あ
る。この第4の実施形態では、上述した第1の実施形態
の構成に加えて、処理ユニット10における画像信号選
択部12と距離情報生成部13との間に画像補正部15
が設けられている。この画像補正部15は、画像信号選
択部12より時分割されて出力されるステレオカメラ1
〜8の映像信号(一対の画像情報)を、アフィン変換補
正等による幾何学的変換処理により補正する。処理ユニ
ット10には、画像補正データメモリ16と画像補正デ
ータ選択部17とが設けられている。画像補正データメ
モリ16には、各ステレオカメラ1〜8のそれぞれの画
像補正データが蓄積されている。画像補正データ選択部
17は、画像補正データメモリ16に蓄積された各ステ
レオカメラ1〜8の画像補正データを画像信号選択部1
2からの選択情報により抽出し、画像補正部15に出力
する。
【0029】すなわち、それぞれのステレオカメラ1〜
8における映像信号の一つが画像信号選択部12により
時分割選択されると、その選択された映像信号の選択情
報が画像補正データ選択部17に伝達される。画像補正
データ選択部17は、画像信号選択部12からの選択情
報に基づいて、画像補正データメモリ16から画像補正
データを選択的に抽出する。これにより、画像補正デー
タ選択部17は、画像信号選択部12と同様に、画像補
正データメモリ16に蓄積された画像補正データを時分
割切換えにより選択的に抽出する。画像補正データ選択
部17により選択された画像補正データは、画像補正部
15に入力される。画像補正部15では、画像信号選択
部12により時分割で選択されたステレオカメラ1〜8
の映像信号が、画像補正データに基づいて、アフィン変
換補正により幾何学的変換処理される。このアフィン変
換補正されたステレオカメラ1〜8の映像信号が距離情
報生成部13に入力される。これにより、距離情報生成
部13では、アフィン変換補正された映像信号に基づい
て、ステレオマッチングによって距離情報が生成され
る。この結果、監視対象となる対象物の画像処理および
認識処理の精度が一段と高められる。
【0030】なお、上述した各実施形態において、認識
部14で認識された車両周囲における各監視領域の画像
認識情報は、例えば、車内に設置したアラーム機構ある
いはディスプレイ等の表示機構を介してドライバ等に伝
達される。
【0031】
【発明の効果】以上説明したように、本発明では、車両
周囲の各監視領域にそれぞれ設置される複数のステレオ
カメラを処理ユニットに共通接続している。このため、
それぞれのステレオカメラの画像処理および認識処理
が、最小限の認識ユニットにより一括して集中的に行う
ことができる。この結果、複数のステレオ画像処理およ
び認識処理が簡素にかつ速やかに行え、コストの低減化
が図れる。しかも、車両周囲の監視等に多様な機能性を
持たせることができるとともに、効果的な監視が行え
る。
【図面の簡単な説明】
【図1】第1の実施形態におけるステレオ式車外監視装
置が車載された車両を概略的に示す上面図
【図2】第1の実施形態に係るステレオ式車外監視装置
のブロック構成図
【図3】画像信号選択部における時分割切換え処理を示
すタイミングチャート
【図4】第2の実施形態に係るステレオ式車外監視装置
のブロック構成図
【図5】1処理サイクル中のステレオカメラより出力さ
れる映像信号の選択時間割当による注力量を示すタイミ
ングチャート
【図6】第3の実施形態に係るステレオ式車外監視装置
のブロック構成図
【図7】第4の実施形態に係るステレオ式車外監視装置
のブロック構成図
【符号の説明】
G 車両 1 第1のステレオカメラ(前方監視) 2 第2のステレオカメラ(後方監視) 3 第3のステレオカメラ(右前側方監視) 4 第4のステレオカメラ(右後側方監視) 5 第5のステレオカメラ(左前側方監視) 6 第6のステレオカメラ(左後側方監視) 7 第7のステレオカメラ(右前バンパ側方監視) 8 第8のステレオカメラ(左前バンパ側方監視) 10 処理ユニット 11 同期信号生成部 12 画像信号選択部 13 距離情報生成部 14 認識部 15 画像補正部 16 画像補正データメモリ 17 画像補正データ選択部 20 車両走行状態検出部 21 第1のセンサ(車速検出) 22 第2のセンサ(ステアリング舵角検出) 23 第3のセンサ(ギヤポジション検出) 24 第4のセンサ(方向指示器の状態検出)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 330 G06T 1/00 330B 5L096 7/00 7/00 C 300 300E 7/60 180 7/60 180B G08G 1/16 G08G 1/16 C Fターム(参考) 2F112 AC03 AC06 BA09 CA05 DA32 FA12 FA35 FA45 3D020 BA20 BC07 BC14 BC17 BC19 BD07 BE01 BE03 5B057 AA16 AA19 BA13 CA13 CA16 CB13 CB16 DC02 DC32 5C054 AA01 CH10 EA01 EA05 FC12 FC15 HA30 5H180 AA01 CC04 CC14 EE15 LL01 LL02 LL04 5L096 AA09 CA04 CA05 DA02 FA66 HA07

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】ステレオ式車外監視装置において、 それぞれが車両の異なる部位に取り付けられ、それぞれ
    が異なる監視方向を監視する複数のステレオカメラと、 前記複数のステレオカメラに共通接続された処理ユニッ
    トとを有し、 前記処理ユニットは、 前記ステレオカメラのいずれかを選択する選択部と、 前記選択部によって選択された前記ステレオカメラより
    出力された一対の画像情報に基づいて、ステレオマッチ
    ングによって距離情報を生成する生成部と、 前記生成部によって生成された距離情報に基づいて、監
    視対象となる対象物を認識する認識部とを有することを
    特徴とするステレオ式車外監視装置。
  2. 【請求項2】前記複数のステレオカメラは、車両の全周
    囲を監視するように取り付けられていることを特徴とす
    る請求項1に記載されたステレオ式車外監視装置。
  3. 【請求項3】前記選択部は、前記ステレオカメラの選択
    を時分割によって行うことを特徴とする請求項1または
    2に記載されたステレオ式車外監視装置。
  4. 【請求項4】車両の走行状態を検出し、センサ信号を出
    力するセンサをさらに有し、 前記選択部は、前記センサからのセンサ信号に応じて、
    それぞれの監視方向の注力量を決定し、当該注力量に応
    じて、前記時分割の重みを変えることを特徴とする請求
    項3に記載されたステレオ式車外監視装置。
  5. 【請求項5】前記センサ信号は、ステアリングの舵角を
    示す信号、車速を示す信号、ギヤポジションを示す信
    号、または、方向指示器の状態を示す信号の少なくとも
    一つを含むことを特徴とする請求項4に記載されたステ
    レオ式車外監視装置。
  6. 【請求項6】互いに同期して一対の画像を出力する複数
    のステレオカメラを有し、前記ステレオカメラのそれぞ
    れが、車両の異なる部位に取り付けられたステレオ式車
    外監視装置の制御方法において、 前記ステレオカメラのいずれかを選択するステップと、 前記選択されたステレオカメラより出力された一対の画
    像情報に基づいて、ステレオマッチングを行い、距離情
    報を生成するステップと、 前記生成された距離情報に基づいて、監視対象となる対
    象物を認識するステップとを有することを特徴とするス
    テレオ式車外監視装置の制御方法。
JP2002151945A 2002-05-27 2002-05-27 ステレオ式車外監視装置およびその制御方法 Expired - Fee Related JP3965078B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002151945A JP3965078B2 (ja) 2002-05-27 2002-05-27 ステレオ式車外監視装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002151945A JP3965078B2 (ja) 2002-05-27 2002-05-27 ステレオ式車外監視装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2003348575A true JP2003348575A (ja) 2003-12-05
JP3965078B2 JP3965078B2 (ja) 2007-08-22

Family

ID=29769390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002151945A Expired - Fee Related JP3965078B2 (ja) 2002-05-27 2002-05-27 ステレオ式車外監視装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP3965078B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284669A (ja) * 2004-03-29 2005-10-13 Fujitsu Ltd 運転支援装置、運転支援制御プログラム
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置
JP2007098979A (ja) * 2005-09-30 2007-04-19 Clarion Co Ltd 駐車支援装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
EP2579231A1 (en) 2011-10-06 2013-04-10 Ricoh Company, Ltd. Image processing apparatus for vehicle
WO2020250520A1 (ja) * 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3043202B1 (en) 2015-01-09 2019-07-24 Ricoh Company, Ltd. Moving body system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284669A (ja) * 2004-03-29 2005-10-13 Fujitsu Ltd 運転支援装置、運転支援制御プログラム
JP4661070B2 (ja) * 2004-03-29 2011-03-30 富士通株式会社 運転支援装置、運転支援制御プログラム
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置
JP2007098979A (ja) * 2005-09-30 2007-04-19 Clarion Co Ltd 駐車支援装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
EP2579231A1 (en) 2011-10-06 2013-04-10 Ricoh Company, Ltd. Image processing apparatus for vehicle
US20130088578A1 (en) * 2011-10-06 2013-04-11 Yuhko UMEZAWA Image processing apparatus and vehicle
WO2020250520A1 (ja) * 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置
JP2020205498A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置

Also Published As

Publication number Publication date
JP3965078B2 (ja) 2007-08-22

Similar Documents

Publication Publication Date Title
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
US9398226B2 (en) Image-capturing device for moving body
US7557691B2 (en) Obstacle detector for vehicle
JP4883977B2 (ja) 車両用画像表示装置
EP2045132B1 (en) Driving support device, driving support method, and computer program
CN103987582B (zh) 驾驶辅助装置
US20080198226A1 (en) Image Processing Device
JP2007098967A (ja) 車両周辺監視装置及びセンサユニット
JP2000177512A (ja) 車両の駐車支援装置
WO2009011458A1 (ja) 車載画像処理装置
JP6869467B2 (ja) 駐車支援装置
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
KR20120094397A (ko) 자동차용 카메라 모듈 및 이를 이용한 주차 유도 방법
EP3939835B1 (en) On-vehicle information display device
JP2003348575A (ja) ステレオ式車外監視装置およびその制御方法
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
KR20100057253A (ko) 차량 주위의 이미지를 기록하는 장치 및 방법
JP6465919B2 (ja) 障害物検知システム
JP2007251880A (ja) 車両用画像表示装置および画像合成方法
CN114009013A (zh) 信号处理装置、信号处理方法以及成像装置
JP5709460B2 (ja) 運転支援システム、運転支援方法および運転支援プログラム
JP2010237798A (ja) 画像処理装置および画像処理プログラム
JP2002199382A (ja) 動画像処理カメラ及びこれを用いた画像処理システム
JP2004064696A (ja) 駐車支援装置
JP2003134427A (ja) 車両用ドライブレコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070525

R150 Certificate of patent or registration of utility model

Ref document number: 3965078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees