JP2003044996A - 障害物検出装置 - Google Patents

障害物検出装置

Info

Publication number
JP2003044996A
JP2003044996A JP2001232674A JP2001232674A JP2003044996A JP 2003044996 A JP2003044996 A JP 2003044996A JP 2001232674 A JP2001232674 A JP 2001232674A JP 2001232674 A JP2001232674 A JP 2001232674A JP 2003044996 A JP2003044996 A JP 2003044996A
Authority
JP
Japan
Prior art keywords
image
obstacle
holding
holding means
held
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001232674A
Other languages
English (en)
Inventor
Michio Miwa
道雄 三輪
Ryosuke Iida
亮介 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001232674A priority Critical patent/JP2003044996A/ja
Publication of JP2003044996A publication Critical patent/JP2003044996A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】立体物を単眼カメラで識別する障害物検出装置
を提供すること。 【解決手段】車両などの移動に伴って、少しずつ撮影位
置が異なる画像を撮影する画像入力手段1によって入力
された複数枚の画像から、路面を識別する平面領域識別
手段14と、路面上の特徴点を抽出する特徴点抽出手段
5と、前記特徴点抽出手段5によって抽出した路面上の
前記特徴点の動きを検出する動き検出手段6と、前記路
面上の特徴点の移動量を計算する移動量計算手段7と、
この移動量に従って前記複数枚の画像の対応する前記路
面上の特徴点を重ね合わせるときに、路面上にない立体
物の路面からの浮き上がりが大きくし、重ね合わせたと
きの差分が大きいものを際立たせるぼかし画像生成手段
9とを備え、前記差分画像生成手段9によって生成され
た差分画像の差分値に基づいて障害物の位置を検出する
障害物検出手段13により、障害物を識別する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両に搭載したカ
メラで撮影した複数の画像の中から、車両周辺の障害物
を検出する装置に関するものである。
【0002】
【従来の技術】図62は、従来の障害物検出装置の概略
構成のブロック図を示す。従来、この種の障害物検出装
置は、視点を変えながら被検出物の画像を入力する画像
入力部621と、視点を変えて撮影した一連の画像に対
してブロックマッチングなどの処理を行い、画像間のオ
プティカルフローを求めるオプティカルフロー検出部6
22と、画像入力部621が路上を動く場合は、画像入
力部621の動き情報として、車輪の回転をモニタする
などの方法で取得する検出部とを備えたものであった。
また、画像入力部621の動きとオプティカルフロー検
出部622で求めた画像間のオプティカルフローによ
り、三角測量の原理を用いて物体までの距離を求める三
角測量演算部623と、画像内のエッジを検出する画像
領域抽出部624と、エッジ周辺の距離を求める直接法
演算部435と、距離情報を統合するデプスマップ合成
部626と、デプスマップを出力する出力部627を備
え、計測結果は画像データと撮影した物体までの距離情
報が記録されたデプスマップとして出力し、測定対象物
である被検出物の形状を計測するものであった(特開平
7−181024号公報参照)。
【0003】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の障害物検出装置は、画像間のブロックマッチ
ングを行う必要があり、さらに、対象物の特徴点の対応
を取る必要があった。このため、例えば、図63に示す
車両のように、表面が丸みを帯びていると、特徴点を取
りにくい物体の場合は、物体の検出が困難であるという
問題があった。
【0004】本発明は、このような問題点を解決するた
めになされたもので、移動する車両に搭載したカメラか
ら撮影した複数の画像から、立体物を検出する障害物検
出装置を提供するものである。
【0005】
【課題を解決するための手段】本発明の障害物検出装置
は、車両上に搭載され、所定の時間間隔で車両周辺の画
像を撮影し、前記撮影した画像を画像処理可能な画像デ
ータとして入力する画像入力手段と、所定の時点で撮影
した前記画像データを保持する第1の画像保持手段と、
前記所定の時間間隔をおいて撮影した前記画像データを
保持する第2の画像保持手段と、前記第1の画像保持手
段の保持する画像データを撮影した時点から、前記第2
の画像保持手段の保持する画像データを撮影した時点ま
で、車両が移動した移動量を保持する移動量保持手段
と、前記第1の画像保持手段の保持する画像データに、
前記移動量保持手段の保持する前記移動量に応じた画像
処理を加える画像変換手段と、前記画像変換手段によっ
て画像処理された前記第1の画像保持手段の保持する前
記画像データと前記第2の画像保持手段の保持する画像
データとにぼかし画像処理を加えるぼかし画像生成手段
と、前記ぼかし画像生成手段によってぼかし画像処理さ
れた画像データを保持する第1のぼかし画像保持手段お
よび第2のぼかし画像保持手段と、前記第1のぼかし画
像保持手段の保持する画像データと前記第2のぼかし画
像保持手段の保持する画像データの差分画像データを生
成する差分画像生成手段と、前記差分画像生成手段によ
って得られた差分画像データから障害物の位置を検出す
る障害物位置検出手段を備えた構成を有している。この
構成により、障害物の特徴が得にくい場合でも、車両か
ら撮影した複数の画像の差分画像から、車両周辺の障害
物を検出することとなる。
【0006】本発明の障害物検出装置は、ガウス関数を
用いた画像処理をする構成を有している。この構成によ
り、複数の画像の路面上の特徴点を重ね合わせて差分画
像を求めたとき、路面上の立体物の差分画像を際立たせ
ることができ、車両周辺の障害物を検出することとな
る。
【0007】本発明の障害物検出装置は、前記第1の画
像保持手段および前記第2の画像保持手段に保持された
画像の中から、路面上の平面が撮影された領域を指示す
る平面領域指示手段を備えた構成を有している。この構
成により、画像入力手段が撮影した画像上の路面の領域
を認識することができ、この路面上の特徴点を抽出し、
複数の画像の路面上の特徴点を重ね合わせて、車両周辺
の障害物を検出することとなる。
【0008】本発明の障害物検出装置は、前記移動量保
持手段として、前記第1の画像保持手段および前記第2
の画像保持手段に保持された前記画像の中から、前記平
面領域指示手段により指示された平面領域内の特徴点を
抽出する特徴点抽出手段と、前記特徴点抽出手段によっ
て抽出された前記特徴点の動きを検出する動き検出手段
と、前記動き検出手段によって検出された動きから前記
画像入力手段の移動量を計算する移動量計算手段とを備
えた構成を有している。この構成により、画像入力手段
が撮影した複数の画像の路面上の特徴点を抽出し、この
特徴点の動きを検出し、この特徴点の動きから画像入力
手段の移動量を計算することができる。この移動量をも
とに、複数の画像の路面上の特徴点を重ね合わせて、車
両周辺の障害物を検出することとなる。
【0009】本発明の障害物検出装置は、前記画像入力
手段を搭載した前記車両の回転方向の移動量を、回転方
向測定手段によって取得する構成を有している。この構
成により、車両の回転量を、回転方向測定手段により求
め、特徴点の移動量を計算することができる。この移動
量をもとに、複数の画像の路面上の特徴点を重ね合わせ
て、車両周辺の障害物を検出することとなる。
【0010】本発明の障害物検出装置は、前記画像入力
手段を搭載した前記車両の回転方向の移動量を回転方向
測定手段によって取得し、並進方向の移動量を並進方向
測定手段によって取得する構成を有している。この構成
により、平面上の特徴点から車両の動きを検出できない
場合でも、回転方向の移動量と並進方向の移動量から車
両の移動量を計算することができる。この移動量をもと
に、複数の画像の路面上の特徴点を重ね合わせて、車両
周辺の障害物を検出することとなる。
【0011】本発明の障害物検出装置は、前記動き検出
手段で検出した前記車両の動きを動き情報として記録す
る動き保持手段と、前記移動量計算手段によって前記移
動量の計算をする際、前記動き保持手段に記録された動
き情報を基に、前記移動量の計算を安定化させる構成を
有している。この構成により、車両の移動量の履歴を保
持することができるため、移動量の履歴を考慮した移動
量を求めることができる。この移動量をもとに、複数の
画像の路面上の特徴点を重ね合わせて、車両周辺の障害
物を検出することとなる。
【0012】本発明の障害物検出装置は、前記第1の画
像保持手段および前記第2の画像保持手段に保持された
画像内から平面領域を検出する平面領域検出手段を備え
た構成を有している。この構成により、画像入力手段の
撮影した画像から平面領域を検出することができる。こ
の平面領域内の特徴点を抽出し、複数の画像の路面上の
特徴点を重ね合わせて、車両周辺の障害物を検出するこ
ととなる。
【0013】本発明の障害物検出装置は、前記車両上に
搭載され、前記所定の時間間隔で車両周辺の画像を撮影
し、前記撮影した画像を前記画像処理可能な画像データ
として入力する前記画像入力手段と、前記所定の時点で
撮影した第1の画像を前記画像データとして保持する前
記第1の画像保持手段と、前記所定の時間間隔をおいて
撮影した第2の画像を前記画像データとして保持する前
記第2の画像保持手段と、さらに前記所定の時間間隔を
おいて撮影した第3の画像を前記画像データとして保持
する前記第3の画像保持手段と、前記第1の画像保持手
段と前記第2の画像保持手段に保持された画像をもと
に、請求項1に記載の移動量計算手段によって計算され
た前記第1の移動量を保持する前記第1の移動量保持手
段と、前記第2の画像保持手段と前記第3の画像保持手
段に保持された画像をもとに、請求項1に記載の移動量
計算手段によって計算された前記第2の移動量を保持す
る前記第2の移動量保持手段と、請求項1に記載のぼか
し画像生成手段によって前記第3の画像保持手段に保持
された画像を変換し、ぼかした画像を保持する第3のぼ
かし画像保持手段と、請求項1に記載の第1のぼかし画
像保持手段に保持された画像と請求項1に記載の第2の
ぼかし画像保持手段に保持された画像の差分画像を保持
する第1の差分画像保持手段と、請求項1に記載の第2
のぼかし画像保持手段に保持された画像と前記第3のぼ
かし画像保持手段に保持された画像の差分画像を保持す
る第2の差分画像保持手段と、前記第1の差分画像保持
手段に保持された画像と前記第2の差分画像保持手段に
保持された画像を重畳する画像重畳手段と、前記画像重
畳手段によって重畳された画像から障害物の位置とを検
出する構成を有している。この構成により、車両から撮
影した複数の画像の差分画像から、車両周辺の障害物を
検出することとなる。
【0014】本発明の障害物検出装置は、色を設定する
色設定手段と、前記第2の画像保持手段に保持された画
像上で、前記障害物検出手段によって検出された領域
に、前記色設定手段によって設定された色をつける画像
合成手段と、前記画像合成手段によって合成された画像
を表示する画像表示手段とを備えた構成を有している。
この構成により、障害物検出手段により検出された障害
物の領域を示すための、色を設定したマーカーを画像に
合成して表示することとなる。
【0015】本発明の障害物検出装置は、前記車両上に
搭載され、前記所定の時間間隔で車両周辺の画像を撮影
し、前記撮影した画像を前記画像処理可能な画像データ
として入力する前記画像入力手段と、前記所定の時点で
撮影した第1の画像を前記画像データとして保持する前
記第1の画像保持手段と、前記所定の時間間隔をおいて
撮影した第2の画像を前記画像データとして保持する前
記第2の画像保持手段と、さらに前記所定の時間間隔を
おいて撮影した第3の画像を前記画像データとして保持
する前記第3の画像保持手段と、さらに前記所定の時間
間隔をおいて撮影した第4の画像を前記画像データとし
て保持する第4の画像保持手段と、前記第1の画像保持
手段によって保持された画像と前記第2の画像保持手段
によって保持された画像から移動領域を検出する第1の
移動領域検出手段と、前記第3の画像保持手段によって
保持された画像と前記第4の画像保持手段によって保持
された画像から移動領域を検出する第2の移動領域検出
手段と、前記第1の移動領域検出手段によって検出され
た移動領域を保持する第1の移動領域保持手段と、前記
第2の移動領域検出手段によって検出された移動領域を
保持する第2の移動領域保持手段と、投影面の高さを変
更する投影面変更手段と、前記第1の移動領域保持手段
によって保持された移動領域と第2の移動領域保持手段
によって保持された移動領域を、前記投影面変更手段に
よって変更された投影面に投影する画像投影手段と、前
記画像投影手段によって投影された画像を重畳する投影
画像重畳手段と、前記投影画像重畳手段によって重畳さ
れた画像から障害物の位置を検出する前記障害物位置検
出手段とを備えた構成を有している。この構成により、
車両から撮影した複数の画像の差分画像から、車両周辺
の障害物を検出することとなる。
【0016】本発明の障害物検出装置は、前記第1の移
動領域検出手段および前記第2の移動領域検出手段とし
て、前記平面領域検出手段と、前記特徴点抽出手段と、
前記動き検出手段と、前記移動量計算手段と、前記画像
変換手段と、前記ぼかし画像生成手段と、前記第1のぼ
かし画像保持手段と、前記第2のぼかし画像保持手段
と、前記差分画像生成手段とを備えた構成を有してい
る。この構成により、車両周辺を撮影した複数の画像の
平面領域を検出し、この平面領域の特徴点を抽出し、さ
らに特徴点の動きを検出し、この特徴点の移動量を計算
することができる。この移動量をもとに、車両から撮影
した複数の画像を合成し、車両周辺の障害物を検出する
こととなる
【0017】本発明の障害物検出装置は、画像の取得位
置を入力する画像取得位置入力手段と、前記障害物位置
検出手段で検出した障害物を、前記画像取得位置入力手
段で入力した位置に配置する障害物配置決定手段を備え
た構成を有している。この構成により、検出した障害物
の位置情報を記録し、この位置情報をもとに、画像に障
害物の位置を示すマーカーを合成して表示することとな
る。
【0018】本発明の障害物検出装置は、前記障害物配
置決定手段の決定した障害物の位置情報を送信する障害
物位置送信手段と、障害物の位置情報を受信する障害物
位置受信手段とを備えた構成を有している。この構成に
より、検出した障害物情報を他の車両へ送信し、また、
他の車両が検出した障害物情報を受信し、障害物情報を
共有して利用することとなる。
【0019】本発明の障害物検出装置は、前記車両上に
搭載され、前記所定の時間間隔で車両周辺の画像を撮影
し、前記撮影した画像を前記画像処理可能な画像データ
として入力する前記画像入力手段および第2の画像入力
入力手段と、前記所定の時点で前記画像入力手段によっ
て撮影した画像を前記画像データとして保持する前記第
1の画像保持手段と、前記第2の画像入力手段によって
撮影した画像を前記画像データとして保持する前記第3
の画像保持手段と、前記所定の時間間隔をおいて前記画
像入力手段によって撮影した画像を前記画像データとし
て保持する前記第2の画像保持手段と、前記第2の画像
入力手段によって撮影した画像を前記画像データとして
保持する前記第4の画像保持手段と、前記第1の画像保
持手段によって保持された画像データと前記第2の画像
保持手段によって保持された画像データから、移動領域
を検出する第1の移動領域検出手段と、前記第3の画像
保持手段によって保持された画像と前記第4の画像保持
手段によって保持された画像から移動領域を検出する第
2の移動領域検出手段と、前記第1の移動領域検出手段
によって検出された移動領域を保持する第1の移動領域
保持手段と、前記第2の移動領域検出手段によって検出
された移動領域を保持する第2の移動領域保持手段と、
投影面の高さを変更する投影面変更手段と、前記第1の
移動領域保持手段によって保持された移動領域と第2の
移動領域保持手段によって保持された移動領域を、前記
投影面変更手段によって変更された投影面に投影する画
像投影手段と、前記画像投影手段によって投影された画
像を重畳する投影画像重畳手段と、前記投影画像重畳手
段によって重畳された画像から障害物の位置を検出する
前記障害物位置検出手段とを備えた構成を有している。
この構成により、車両から撮影した複数の画像の合成に
より、車両周辺の障害物を検出することとなる。
【0020】本発明の障害物検出装置は、前記障害物位
置検出手段によって検出された前記障害物の高さ情報を
生成する高さ情報生成手段と、前記高さ表示情報生成手
段によって生成された高さ情報を表示するモニタとを備
えた構成を有している。この構成により、直に路面上に
配置された障害物でない場合でも、この障害物の存在す
る高さ位置を検出し、モニタ上に表示することとなる。
【0021】本発明の障害物検出装置は、前記障害物の
位置を保持する位置保持手段と、前記車両と前記位置保
持手段の保持する位置との距離がもっとも近い部分の表
示情報を作成する前記高さ情報生成手段とを備えた構成
を有している。この構成により、障害物を検出したと
き、車両の形状を考慮して、障害物との距離が最も近
い、衝突の可能性のある部分をマーカー表示することと
なる。
【0022】本発明の障害物検出装置は、前記第2の画
像保持手段の保持する画像と、前記障害物位置検出手段
の検出した障害物の位置を示す画像とを切り替えて表示
する画面切替手段を備えた構成を有している。この構成
により、第2の画像保持手段の保持する画像と、車両を
上から見た画像に障害物の位置に示すマーカーを表示し
た画像とを切替えて表示することとなる。
【0023】本発明の障害物検出装置は、前記車両の形
状を保持する形状保持手段と、前記障害物と前記形状保
持手段の衝突する部分の距離が最も近い部分の表示情報
を作成する前記高さ情報生成手段とを備えた構成を有し
ている。この構成により、障害物を検出した場合、車両
の形状を考慮して、障害物との距離が最も近い、衝突の
可能性のある部分をマーカー表示することとなる。
【0024】本発明の障害物検出装置は、前記モニタの
画面を分割して、前記障害物と前記形状保持手段との位
置関係を異なった視点で表示する構成を有している。こ
の構成により、モニタ上に車両周辺を上から見た画面
と、車両側面から見た画面を同時に表示し、障害物をマ
ーカー表示できるため、検出した障害物の形状および車
両との位置関係を認識することとなる。
【0025】本発明の障害物検出装置は、前記高さ表示
情報生成手段の生成した情報を音声に変換する音声合成
装置を備えた構成を有している。この構成により、検出
した障害物が車両に衝突する可能性のある場合には、視
覚情報だけでなく音声情報で警告することとなる。
【0026】本発明の障害物検出装置は、前記第2の移
動領域検出手段から出力される動き情報に基づいて、前
記第2の画像保持手段に保持された画像と前記第4の画
像保持手段に保持された画像を交互に表示するか、前記
障害物位置検出手段の検出した障害物情報を表示するか
を、切り替えて表示する表示画像切替手段を備えた構成
を有している。この構成により、二台の画像入力手段の
撮影した車両周辺の画像を交互に表示するか、車両を上
からみた画像に障害物の位置を示すマーカー表示を加え
た画像を表示するか、いずれかの画像に切替えてモニタ
上に表示することとなる。
【0027】本発明の障害物検出装置は、前記障害物位
置検出手段の検出した前記障害物の位置情報を、動き物
体として表示する動き物体配置手段を備えた構成を有し
ている。この構成により、障害物が移動物体であって
も、位置を検出し、モニタ上に検出した移動物体の位置
の履歴を表示することとなる。
【0028】
【発明の実施の形態】以下、本発明の障害物検出装置に
ついて、詳しく説明する。なお、すべての図面におい
て、同様な構成要素は同じ参照記号および符号を用いて
示し、詳細な説明は省略する。
【0029】まず、本発明の第1の実施形態に係る障害
物検出装置のについて、図面を参照しながら説明する。
図1は、本発明の第1の実施形態に係る障害物検出装置
を示すブロック図である。図1に示すように、本発明の
第1の実施形態に係る障害物検出装置は、画像入力手段
1と、第1の画像保持手段2と、第2の画像保持手段3
と、移動量保持手段15と、画像変換手段8と、ぼかし
画像生成手段9と、第1のぼかし画像保持手段10と、
第2のぼかし画像保持手段11と、差分画像生成手段1
2と、障害物位置検出手段13とを備えたものである。
【0030】画像入力手段1は、車両上に搭載され、車
両が移動するに伴って時々刻々変化する車両周辺の画像
を、所定の時間間隔で撮影し、撮影した画像を画像処理
可能な画像データとして画像保持手段へ入力するもので
ある。画像入力手段としては、可視領域映像を撮影する
ものに限定するものではなく、赤外領域映像なども含む
ものである。また、画像を画像処理可能な画像データと
して撮影できる画像入力手段としては、ディジタルカメ
ラ(以下、単にカメラという。)などが挙げられる。
【0031】第1の画像保持手段2と第2の画像保持手
段3は、画像入力手段1が撮影した画像をディジタル画
像データとして記憶媒体に記憶するものである。この画
像データを記憶する記憶媒体としては、車両の移動に伴
って時々刻々撮影される画像データを更新して記憶でき
るものであり、基板に実装されるSRAMモジュールや
カードスロットに挿入されるメモリーカードなどが挙げ
られる。
【0032】移動量保持手段15は、第1の画像保持手
段2に保持する画像を撮影した時点から、第2の画像保
持手段3に保持する画像を撮影した時点までに、車両が
移動した移動量を記憶するものである。
【0033】画像変換手段8は、第1の画像保持手段2
に保持する画像上の特徴点50と、第2の画像保持手段
3に保持する画像上の特徴点50とを重ね合わせること
ができるように、移動量保持手段15に記憶する車両の
移動量に基づいて、第1の画像保持手段2に保持する画
像に変換処理を加えるものである。
【0034】ぼかし画像生成手段9は、画像変換手段8
によって画像処理された第1の画像保持手段2の保持す
る前記画像データと、前記第2の画像保持手段3の保持
する画像データとにぼかし画像処理を加えるものであ
る。二枚の差分合成を求めるとき、このぼかし画像処理
を加えておくことにより、特徴点の位置合わせに余裕を
持たせることができる。したがって、このぼかし画像処
理を加えた二枚の画像の特徴点を重ねるように合成した
とき、立体物の路面からの浮き上がりを大きくし、重ね
合わせたときの差分が大きいものを際立たせることがで
きる。ぼかし画像処理を加える方法としては、図6の式
(64)で表されるガウス関数 H(x,y)と、図6
の式(65)で表される積和計算 g(x,y)を用い
ることができる。
【0035】第1のぼかし画像保持手段10は、ぼかし
画像処理された第1の画像保持手段2の保持する画像デ
ータを保持するものであり、第2のぼかし画像保持手段
11は、ぼかし画像処理された第2の画像保持手段3の
保持する画像データを保持するものである。車両の移動
に伴って時々刻々撮影される画像データにぼかし画像処
理を加え、更新して記憶するものである。
【0036】差分画像生成手段12は、ぼかし画像処理
された第1のぼかし画像保持手段10の保持する画像デ
ータと、ぼかし画像処理された第2のぼかし画像保持手
段11の保持する画像データとから、差分画像を生成す
るものである。
【0037】障害物位置検出手段13は、この差分画像
生成手段12によって得られた差分画像データから差分
量の閾値基準と比較判定し、この差分画像生成手段12
で求めた差分画像を基に、この路面から浮き上がってい
るものの領域を抽出し、障害物として検出するものであ
る。図7の画像71は、ぼかし画像処理された第1のぼ
かし画像保持手段10の保持する画像データと、ぼかし
画像処理された第2のぼかし画像保持手段11の保持す
る画像データとを合成した差分画像である。図7の画像
72は前記差分画像71から障害物を検出し、第1の画
像保持手段に保持する画像に検出した障害物を示すマー
カーを記入したものである。
【0038】この構成によれば、障害物の特徴が得にく
い場合でも、車両から撮影した複数の画像の差分画像か
ら、車両周辺の障害物を検出することとなる。
【0039】次に、本発明の第1の実施形態の障害物検
出装置の概略手順を、図43のフローチャートを用いて
説明する。
【0040】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と、第2の画像を第1の画
像保持手段と第2の画像保持手段に記憶する処理であ
る。ステップS432は、画像入力手段1が第1の画像
を撮影した位置と、画像入力手段1が第2の画像を撮影
した位置とから画像入力手段1の移動量を求める処理で
ある。ステップS433は、ステップ432で求めた移
動量をもとに、第1の画像に画像の変換を加える処理で
ある。ステップS434は、変換された第1の画像にぼ
かし画像生成処理を加え、第2の画像にぼかし画像生成
処理を加える処理である。ステップS435は、ぼかし
画像処理された第1のぼかし画像と第2のぼかし画像の
差分画像を生成する。ステップS436では、この差分
画像と所定の閾値を比較判定し、障害物を検出する処理
である。
【0041】以上のように、本発明の第1の実施形態に
係る障害物検出装置は、画像入力手段1と、第1の画像
保持手段2と、第2の画像保持手段3と、移動量保持手
段15と、画像変換手段8と、ぼかし画像生成手段9
と、第1のぼかし画像保持手段10と、第2のぼかし画
像保持手段11と、差分画像生成手段12と、障害物検
出手段13とを設けているので、時々刻々変化する車両
周辺の画像を、所定の時間間隔で取り込むことができ
る。また、車両の移動量をもとに、二枚の画像の路面上
の特徴点を合わせるように画像を合成ることができる。
さらに、単眼カメラであっても、時々刻々変化する位置
から路上の障害物を撮影し、位置を変えて撮影した複数
枚の画像を合成しているため、障害物を見る位置による
視差情報として障害物を検出し、障害物の存在を捕らえ
ることができる。
【0042】次に、本発明の第2の実施形態に係る障害
物検出装置について、図面を参照して説明する。
【0043】図2に示すように、本発明の第2の実施形
態に係る障害物検出装置は、図1の第1の実施形態とは
さらに、平面領域指示手段14と、特徴点抽出手段5
と、動き検出手段6と、移動量計算手段7とを備えた点
が相違している。
【0044】平面領域指示手段14は、この画像の中か
ら路面が撮影されている領域を指示するものである。図
3に示すように、画像31および画像32の中に表示さ
れている枠34は、路面上の特徴点を抽出する平面領域
を指示するものである。
【0045】特徴点抽出手段5は、画像31および画像
32のそれぞれの枠34内にある路面上の特徴点を抽出
するものである。
【0046】動き検出手段6は、画像31および画像3
2の枠34内にある特徴点の対応関係から特徴点の動き
を求めるものである。求めた結果は、図3の画像33に
示すように、動きベクトル35で表すことができる。
【0047】移動量計算手段7は、第1の画像の保持手
段で保持する画像の路面上の特徴点と、第2の画像の保
持手段で保持する画像の路面上の特徴点とを重ね合わせ
ることが出来るように、この二枚の画像の特徴点の移動
量を計算するものである。
【0048】この構成によれば、障害物の特徴が得にく
い場合でも、車両から撮影した複数の画像の差分画像か
ら、車両周辺の障害物を検出することとなる。
【0049】次に、本発明に係る障害物検出装置の障害
物検出方法について、図4、図5、図6を用いて説明す
る。
【0050】図4は、カメラ位置41とカメラ位置42
の位置から、画像入力手段1が、立体物43と路面40
上の特徴点50を撮影する説明図である。図4に示すよ
うに、平面40上には、複数の特徴点50がある。車が
移動するに伴ってカメラ位置41あるいはカメラ位置4
2で、画像入力手段1が車両周辺の特徴点50を含む画
像を撮影する。この特徴点50は、カメラ位置41の位
置において画像面44上の像46として、また、カメラ
位置42の位置において画像面45上の像47として撮
影されることを示したものである。
【0051】図5は、カメラ位置の動きを求める計算方
法を示したものである。図5に示すように、平面は、面
の式(51)によって表すことができる。カメラが原点
Oにあるとき、面上の点は(x,y)の位置に撮影され
る。このとき、面上の点の座標(X,Y,Z)とカメラで
撮影した点の座標(x,y)の対応関係は、式(52)に
よって表すことができる。
【0052】カメラ位置が、運動パラメータ式(53)
によって示される位置Qに移動したとき、面上の特徴点
は、式(54)によって求めることができる。この式
(54)で示されたTijを変換行列という。この変換行
列Tijは、カメラ位置Oとカメラ位置Qで撮影し画像の
中から、路面上にある5個以上の特徴点を抽出し、最小
自乗法で求めることができる。この計算手順について
は、金谷健一著の画像理解(森北出版、1990年)に記載
されている。この変換行列Tijが求まれば、図4で示し
たカメラ位置41で撮影した路面上の特徴点と、カメラ
位置42で撮影した路面上の特徴点を重ねることができ
る。
【0053】図6は、画像の重ね合わせを説明した説明
図である。画像61と画像62は、画像入力手段が、図
4上の位置41と位置42で撮影した立体物と特徴点を
示したものである。この二枚の画像を平面上の特徴点6
4が重なるように位置を合わせると、画像63のように
路面から離れているものは重ならない。この方法を利用
して、路面から浮き上がっている立体物を検出すること
となる。
【0054】この構成によれば、障害物の特徴が得にく
い場合でも、車両から撮影した複数の画像の差分画像か
ら、車両周辺の障害物を検出することとなる。
【0055】次に、本発明の第2の実施形態に係る移動
量計算部の概略手順を、図44のフローチャートを用い
て説明する。
【0056】ステップS441は、画像入力手段1が車
両周辺を撮影した第1の画像と、第2の画像を第1の画
像保持手段と第2の画像保持手段に記憶する処理であ
る。ステップS443は、第1の画像と第2の画像とに
平面領域を指示する情報を加える処理である。ステップ
S444は、第1の画像と第2の画像の平面領域の中か
ら特徴点を抽出する処理である。ステップS445は、
抽出した特徴点をもと、特徴点の動きを検出する処理で
ある。ステップS446は、特徴点の動きから移動量を
計算する処理である。ステップS433は、第1の画像
に画像の変換処理を加える処理である。ステップS44
7は、変換処理された第1の画像にぼかし画像生成処理
を加え、第1のぼかし画像を生成し、第2の画像にぼか
し画像生成処理を加え、第2のぼかし画像を生成する処
理である。ステップS448は、ぼかし画像処理された
第1のぼかし画像と第2のぼかし画像の差分画像を保持
する処理である。ステップS435は、第1のぼかし画
像と第2のぼかし画像の差分画像を生成する処理であ
る。ステップS436は、この差分画像と所定の閾値を
比較判定し、障害物を検出する処理である。
【0057】以上のように、本発明の第2の実施形態に
係る障害物検出装置は、平面領域保持手段14と、特徴
点抽出手段5と、動き検出手段6と、移動量検出手段7
とを設けているので、平面領域保持手段14の示す平面
領域内から路面上の特徴点を抽出し、特徴点抽出手段5
により特徴点の動きを抽出し、動き検出手段6により特
徴点の動きを検出し、移動量検出手段7により移動量を
検出し、第1の画像保持手段で保持する画像と第2の画
像保持手段で保持する画像の特徴点を重ね合わせること
ことができる。したがって、画像の重ならない部分を、
路面上にない立体形状の障害物として判断することがで
きる。
【0058】図8は、本発明の第3の実施形態に係る障
害物検出装置の概略構成のブロック図を示す。図8に示
すように、本発明の第3の実施形態に係る障害物検出装
置は、前記第2の実施形態とはさらに、回転方向測定手
段81を備えた点が相違している。
【0059】回転方向測定手段81は、車両が回転方向
に向きを変えたとき、車両に搭載されている画像入力手
段1の回転運動を測定し、測定した回転角を移動量計算
手段7へ入力するものである。回転方向測定手段81と
しては、ジャイロセンサなどが挙げられる。
【0060】この構成によれば、回転方向測定手段81
によって画像入力手段1の回転運動を検出できるため、
図5の式(53)、式(54)の未知数のうち、回転パ
ラメータRijをあらかじめ知ることができる。さらに、
路面上の特徴点として最低2点の動きを求めることによ
って、カメラ位置の運動パラメータ式(53)を求めるこ
ととなる。
【0061】次に、本発明の第3の実施形態の回転方向
測定部の概略手順を、図45のフローチャートを用いて
説明する。
【0062】ステップS441は、画像入力手段1が車
両周辺を撮影した第1の画像と、第2の画像を第1の画
像保持手段と第2の画像保持手段に記憶する処理であ
る。ステップS443は、第1の画像と第2の画像とに
平面領域を指示する情報を加える処理である。ステップ
S444は、第1の画像と第2の画像の平面領域の中か
ら特徴点を抽出する処理である。ステップS445は、
抽出した特徴点をもと、特徴点の動きを検出する処理で
ある。ステップS446は、特徴点の動きと回転方向の
測定値とから移動量を計算する処理である。ステップS
433は、第1の画像に画像の変換処理を加える処理で
ある。ステップS447は、変換処理された第1の画像
にぼかし画像生成処理を加え、第2の画像にぼかし画像
生成処理を加える処理である。ステップS448は、ぼ
かし画像処理された第1のぼかし画像と第2のぼかし画
像の差分画像を保持する処理である。ステップS435
は、第1のぼかし画像と第2のぼかし画像の差分画像を
生成する処理である。ステップS436は、この差分画
像と所定の閾値を比較判定し、障害物を検出する処理で
ある。
【0063】以上のように、本発明の第3の実施形態に
係る障害物検出装置は、第2の実施形態とはさらに、回
転方向測定手段81を設けているので、車両が回転方向
に向きを変えたとき、この車両の回転運動の回転量を測
定することができる。さらに、この回転量を移動量計算
手段7へ入力し、移動量を算出することができる。さら
に、第1の画像保持手段で保持する画像と第2の画像保
持手段で保持する画像の特徴点を重ね合わせ、路面上の
立体物を障害物として検出することができる。
【0064】図9は、本発明の第4の実施形態に係る障
害物検出装置の概略構成のブロック図を示す。図9に示
すように、本発明の第4の実施形態に係る障害物検出装
置は、前記第1の実施形態とはさらに、画像入力手段1
の動きを求める回転方向測定手段91と、移動方向測定
手段92と移動量計算手段93とを備えた点が相違して
いる。
【0065】回転方向測定手段91は、車両が回転方向
に向きを変えたとき、車両に搭載されている画像入力手
段1の回転した角度を測定するものである。回転方向測
定手段91としては、車両の舵角センサなどが挙げられ
る。
【0066】移動方向測定手段92は、車両が並進方向
に移動した移動量を、車両の速度から求めるものであ
る。移動方向測定手段92としては、速度計が挙げられ
る。
【0067】移動量計算手段93は、回転方向測定手段
91から求められる角度と移動方向測定手段92から求
められる移動量を総合して、第1の画像を撮影した位置
から第2の画像を撮影した位置のまでの移動量を計算す
るものである。
【0068】この構成によれば、回転方向測定手段91
によって画像入力手段1の回転運動を検出できるため、
図5の式(53)、式(54)の未知数のうち、回転パ
ラメータRijをあらかじめ知ることができる。したがっ
て、路面上の特徴点として最低2点の動きを求めること
によって、カメラ位置の運動パラメータ式(53)を求め
ることができる。さらに、移動方向測定手段92によっ
て、車両の並進方向の移動量を測定することができるた
め、前記回転方向測定手段91から求められる角度とを
総合して車両の移動量を算出することとなる。
【0069】次に、本発明の第4の実施形態の回転方向
測定部と移動方向測定部の概略手順を、図48のフロー
チャートを用いて説明する。
【0070】次に、本発明の第4の実施形態の回転方向
測定部の概略手順を、図46のフローチャートを用いて
説明する。
【0071】ステップS443は、画像入力手段1が車
両周辺を撮影した第1の画像と、第2の画像を第1の画
像保持手段と第2の画像保持手段に記憶する処理であ
る。ステップS446は、特徴点の動きと回転方向の測
定値とから移動量を計算する処理である。ステップS4
33は、第1の画像に画像の変換処理を加える処理であ
る。ステップS447は、変換処理された第1の画像に
ぼかし画像生成処理を加え、第2の画像にぼかし画像生
成処理を加える処理である。ステップS448は、ぼか
し画像処理された第1のぼかし画像と第2のぼかし画像
の差分画像を保持する処理である。ステップS435
は、第1のぼかし画像と第2のぼかし画像の差分画像を
生成する処理である。ステップS436は、この差分画
像と所定の閾値を比較判定し、障害物を検出する処理で
ある。
【0072】以上のように、本発明の第4の実施形態に
係る障害物検出装置は、第3の実施形態とはさらに、回
転方向測定手段91と、移動方向測定手段92と、移動
量計算手段93とを設けているので、回転方向測定手段
91により車両のハンドルの蛇角センサを利用して車両
の回転角度を測定し、移動方向測定手段92により車両
の速度計を利用して並進方向の移動量を測定することが
できる。また、回転方向測定手段91から求められる角
度移動量と、移動方向測定手段92から求められる並進
方向移動量とを総合して、移動量計算手段93により移
動量を算出し、第1の画像保持手段で保持する画像と第
2の画像保持手段で保持する画像の特徴点を重ね合わせ
ることができる。さらに、画像の重ならない部分を、路
面上にない立体形状の障害物として判断することができ
る。
【0073】図10は、本発明の第5の実施形態に係る
障害物検出装置の概略構成のブロック図を示す。図10
に示すように、本発明の第5の実施形態に係る障害物検
出装置は、第2の実施形態に係る平面領域指示手段14
に代えて、平面領域検出手段101を備えた点が相違し
ている。
【0074】平面領域検出手段101は、路面のテクス
チャなどを解析して画像入力手段1で入力された画像の
路面領域を探索するものである。図11に示すように、
画像112は、画像入力手段1によって入力された画像
111から、テクスチャなどを解析して路面の領域を探
索し、路面として判断した領域を表示したものである。
【0075】この構成によれば、路面上の特徴点を抽出
する領域を、この平面領域検出手段101で検出し、特
徴点抽出手段5へ平面領域を指示することとなる。
【0076】次に、本発明の第5の実施形態に係る障害
物検出装置の概略手順を、図47のフローチャートを用
いて説明する。
【0077】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と、第2の画像を第1の画
像保持手段と第2の画像保持手段に記憶する処理であ
る。ステップS442は、第1の画像と第2の画像とに
平面領域を検出する処理である。ステップS444は、
第1の画像と第2の画像の平面領域の中から特徴点を抽
出する処理である。ステップS445は、抽出した特徴
点をもと、特徴点の動きを検出する処理である。ステッ
プS446は、特徴点の動きと回転方向の測定値とから
移動量を計算する処理である。ステップS433は、第
1の画像に画像の変換を加える処理である。ステップS
447は、変換処理された第1の画像にぼかし画像生成
処理を加え、第2の画像にぼかし画像生成処理を加える
処理である。ステップS448は、ぼかし画像処理され
た第1のぼかし画像と第2のぼかし画像の差分画像を保
持する処理である。ステップS435は、第1のぼかし
画像と第2のぼかし画像の差分画像を生成する処理であ
る。ステップS436は、この差分画像と所定の閾値を
比較判定し、障害物を検出する処理である。
【0078】以上のように、本発明の第5の実施形態に
係る障害物検出装置は、平面領域保持手段14に代え
て、平面領域検出手段101を設けているので、平面領
域検出手段101では、テクスチャなどの解析により路
面領域を抽出することができる。この路面領域から特徴
点抽出手段5により特徴点を抽出し、動き検出手段6に
より特徴点の動きを検出し、移動量検出手段7により移
動量を検出し、第1の画像保持手段で保持する画像と第
2の画像保持手段で保持する画像の特徴点を重ね合わせ
ることことができる。したがって、画像の重ならない部
分を、路面上にない立体形状の障害物として判断するこ
とができる。
【0079】図12は、本発明の第6の実施形態に係る
障害物検出装置の概略構成のブロック図を示す。図12
に示すように、本発明の第6の実施形態に係る障害物検
出装置は、前記第5の実施形態とはさらに、第3の画像
保持手段121、第1の移動量保持手段122、第2の
移動量保持手段123、第3のぼかし画像保持手段12
4、第1の差分画像保持手段125、第2の差分画像保
持手段126、画像重畳手段127を備えた点が相違し
ている。
【0080】第3の画像保持手段121は、第1の画像
保持手段2および第2の画像保持手段3と同様に、画像
入力手段1が撮影した画像をディジタル画像データとし
て記憶媒体に記憶するものである。車両の移動に伴って
時々刻々撮影される画像データが、順に第1の画像保持
手段2、第2の画像保持手段3、第3の画像保持手段1
21に保持される。
【0081】第1の移動量保持手段122は、第1の画
像保持手段2に保持する画像を撮影した時点から、第2
の画像保持手段3に保持する画像を撮影した時点まで
に、車両が移動した移動量を、記憶するものである。
【0082】第2の移動量保持手段123は、第2の画
像保持手段3に保持する画像を撮影した時点から、第3
の画像保持手段121に保持する画像を撮影した時点ま
でに、車両が移動した移動量を、記憶するものである。
【0083】第3のぼかし画像保持手段124は、第3
の画像保持手段に保持する画像に、ぼかし画像処理を加
えて、保持するものである。車両の移動に伴って時々刻
々撮影される画像データにぼかし画像処理を加え、更新
して記憶するものである。
【0084】第1の差分画像保持手段125は、第1の
ぼかし画像保持手段10と、第2のぼかし画像保持手段
11の差分画像を保持するものである。
【0085】第2の差分画像保持手段126は、第2の
ぼかし画像保持手段11と、第3ぼかし画像保持手段1
24の差分画像を保持するものである。
【0086】画像重畳手段127は、第1の差分画像保
持手段125と第2の差分画像保持手段126とを重畳
処理するものである。この重畳処理された画像から、障
害物位置検出手段13によって障害物の位置を判別す
る。
【0087】図13は、路面上の障害物130を、画像
入力手段131が撮影した画像134と、画像入力手段
132が撮影した画像135と、画像入力手段133が
撮影した画像136と、さらに、特徴点を重ね合わせる
ように変換した画像137と、画像138と、画像13
9と、さらに特徴点を重ね合わせた画像140を示した
説明図である。図13に示すように、路面上の障害物1
30は、位置131、位置132、位置133と移動す
るときに撮影され、画像134、画像135、画像13
6として保持される。このときの画像入力手段1の位置
の動きを求めて、路面上の特徴点を合わせるよう画像に
変換処理を施すと、画像134は画像137に、画像1
35は画像138に、画像136は画像139になる。
この路面上の特徴点を一致させるように三枚の画像13
7、画像138、画像139を重ね合わせると、画像1
40が得られることとなる。
【0088】次に、本発明の第6の実施形態に係る障害
物検出装置の概略手順を、図48のフローチャートを用
いて説明する。
【0089】ステップS481は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
を、第1の画像保持手段と第2の画像保持手段と第3の
画像保持手段に記憶する処理である。ステップS442
は、第1の画像と第2の画像と第3の画像の平面領域を
検出する処理である。ステップS444は、第1の画像
と第2の画像と第3の画像の平面領域の中から特徴点を
抽出する処理である。ステップS445は、抽出した特
徴点をもと、特徴点の動きを検出する処理である。ステ
ップS446は、特徴点の動きから移動量を計算する処
理である。ステップS433は、第1の画像と第3の画
像に変換を加える処理である。ステップS447は、変
換処理された第1の画像にぼかし画像生成処理を加え、
第2の画像にぼかし画像生成処理を加え、第3の画像に
ぼかし画像生成処理を加える処理である。ステップS4
84は、ぼかし画像処理された第1のぼかし画像と第2
のぼかし画像の第1の差分画像を生成し、ぼかし画像処
理された第2のぼかし画像と第3のぼかし画像の第2の
差分画像を生成し、保持する処理である。ステップS4
85は、第1の差分画像と第2の差分画像を重畳する処
理である。ステップS436は、重畳した画像と所定の
閾値を比較判定し、障害物を検出する処理である。
【0090】以上のように、本発明の第6の実施形態に
係る障害物検出装置は、前記第5の実施形態とはさら
に、第3の画像保持手段121、第1の移動量保持手段
122、第2の移動量保持手段123、第3のぼかし画
像保持手段124、第1の差分画像保持手段125、第
2の差分画像保持手段126、画像重畳手段127を設
けているので、画像入力手段の動きが不安定な場合、例
えば、カメラ位置131からカメラ位置132の位置に
移動する間の動きが少ない場合でも、カメラ位置132
とカメラ位置133の間の動きが大きければ、路面上の
立体物130を識別することができる。
【0091】図14は、本発明の第7の実施形態に係る
障害物検出装置の概略構成のブロック図を示す。図14
に示すように、本発明の第7の実施形態に係る障害物検
出装置は、前記第6の実施形態とはさらに、色設定手段
141と、画像合成手段142と、表示手段143とを
備えた点が相違している。
【0092】色設定手段141は、図15に示すよう
に、検出された障害物の領域を示すマーカー152およ
びマーカー152の色を設定し、保持するものである。
【0093】画像合成手段142は、画像入力手段の撮
影した画像に、検出された障害物の領域を示すマーカー
152を合成するものである。
【0094】表示手段143は、マーカー152を合成
して表示するものである。図15の画像151は、路面
上の立体物と立体物を示す楕円のマーカー152を重ね
て表示したものである。
【0095】この構成によれば、検出した障害物の位置
に色設定手段141で設定したマーカーを重畳し、表示
手段143に撮影した画像とマーカーを表示することと
なる。
【0096】次に、本発明の第7の実施形態に係る障害
物検出装置の概略手順を、図49のフローチャートを用
いて説明する。
【0097】ステップS481は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
を、第1の画像保持手段と第2の画像保持手段と第3の
画像保持手段に記憶する処理である。ステップS442
は、第1の画像と第2の画像と第3の画像の平面領域を
検出する処理である。ステップS444は、第1の画像
と第2の画像と第3の画像の平面領域の中から特徴点を
抽出する処理である。ステップS445は、抽出した特
徴点をもと、特徴点の動きを検出する処理である。ステ
ップS446は、特徴点の動きから移動量を計算する処
理である。ステップS433は、第1の画像と第3の画
像に変換を加える処理である。ステップS447は、変
換処理された第1の画像にぼかし画像生成処理を加え、
第2の画像にぼかし画像生成処理を加え、第3の画像に
ぼかし画像生成処理を加える処理である。ステップS4
84は、ぼかし画像処理された第1のぼかし画像と第2
のぼかし画像の第1の差分画像を生成し、ぼかし画像処
理された第2のぼかし画像と第3のぼかし画像の第2の
差分画像を生成し、保持する処理である。ステップS4
85は、第1の差分画像と第2の差分画像を重畳する処
理である。ステップS436は、重畳した画像と所定の
閾値を比較判定し、障害物を検出する処理である。ステ
ップS486は、検出された障害物の位置に設定された
色のマーカーを合成する処理である。
【0098】以上のように、本発明の第7の実施形態に
係る障害物検出装置は、前記第6の実施形態とはさら
に、色設定手段141と、画像合成手段142と、表示
手段143とを設けているので、検出した障害物の位置
と大きさを示すことができ、障害物を認識しやすい視覚
情報として表示することができる。
【0099】図16は、本発明の第8の実施形態に係る
障害物検出装置の概略構成のブロック図を示す。図16
に示すように、本発明の第8の実施形態に係る障害物検
出装置は、前記第2の実施形態とはさらに、第3の画像
保持手段161と、第4の画像保持手段162と、第1
の移動領域検出手段164と、第2の移動領域検出手段
165と、第1の移動領域保持手段166と、第2の移
動領域保持手段167と、投影面変更手段168と、画
像投影手段169と、投影画像重畳手段170とを備え
た点が相違している。
【0100】第3の画像保持手段161および第4の画
像保持手段162は、車両が移動するに伴って時々刻々
変化する車両周辺の画像を、所定の時間間隔で撮影し、
撮影した画像を画像処理可能な画像データとして保持す
るものである。第1の画像保持手段2および第2の画像
保持手段3とを含めて、四枚の画像を用いて障害物を検
出することとなる。
【0101】第1の移動領域検出手段164および第2
の移動領域検出手段165は、図17に示すように、本
発明の第2の実施形態に係る障害物検出装置の画像の平
面領域検出手段からぼかし画像の差分画像生成までの手
段を含むものであり、その働きは、第2の実施形態で述
べたものと同じである。
【0102】第1の移動領域保持手段166は、第1の
画像保持手段2と第2の画像保持手段3の画像から移動
領域を求めた画像を保持するものであり、第2の移動領
域保持手段167は、第3の画像保持手段161と第4
の画像保持手段162の画像から移動領域を求めた画像
を保持するものである。
【0103】投影面変更手段168は、第1の移動領域
保持手段166および第2の移動領域保持手段167で
得られた立体物を投影する投影面を変更するものであ
る。
【0104】画像投影手段169は、第1の移動領域保
持手段166と第2の移動領域保持手段167に保持さ
れた立体物の領域とを、投影面変更手段168によって
変更された別の投影面に投影するものである。
【0105】投影画像重畳手段170は、投影面に投影
された第1の移動領域保持手段166に保持された映像
と第2の移動領域保持手段167に保持された映像とを
投影画像として重ね合わせるものである。
【0106】障害物位置検出手段13は、重畳された画
像から立体物の位置を検出する。この障害物位置検出手
段13で検出された障害物183は、投影面変更手段1
68により変更された投影面上の障害物を検出したこと
となる。
【0107】次に、立体物を投影する面を変更した場合
の作用について、図18を用いて説明する。
【0108】図18(A)では、平面185上に立体物
183が立っている様子を示している。画像入力手段1
の位置を移動して、この立体物183を位置181と位
置182で撮影したとき、立体物183は、画像186
内では像184として、画像187では像185として
撮影される。次に、図18(B)は、画像入力手段1に
よって撮影された像を投影面に投影した状態の説明図を
示している。図18(B)で、面194は平面185と
同じ高さ、面195は、それより少し高く、面196は
それよりさらに高くしたものである。像184を、面1
94に投影すると、投影像188のように投影される。
同じように、面195上では投影像190として、面1
96上では投影像182のように投影される。また、像
185は、面194上には投影像189として、195
上では投影像191として、面196上では、投影像1
83として投影される。
【0109】図18の(C)、(D)、(E)は、図1
8(B)に示した投影面196、投影面195、投影面
194に投影された立体物183を真上から見た図であ
る。図18(E)は面194に投影された立体物の投影
像、図18(D)は面195に投影された立体物の投影
像、図18(C)は面196に投影された立体物の投影
像を示している。面の高さが変わるにつれて、面19
4、面195、面196に投影された像は少しずつ位置
を変えていくが、常に立体物183を真上から見た場所
で重なることがわかる。この構成により、立体物183
が真上から見てどこにあるかを知ることができる。
【0110】図19(A)は、立体物197が空中に浮
いている様子を示している。立体物197は、カメラ位
置181では像198として撮影され、カメラ位置18
2では像199として撮影される。この立体物の像19
8を、図19(B)に示すように、投影面の高さを投影
面194、投影面195、投影面196のように変えな
がら投影すると、当映像は、それぞれ投影像200、投
影像202、投影像204となる。一方、この立体物の
像199は、それぞれ投影像201、投影像203、投
影像205となる。各面に投影された像は、図19
(C)、(D)、(E)に示すようになる。そして、図
19(C)では、投影像204と投影像205が重なっ
ており、投影面196の高さ上には立体物があることが
わかり、その投影像の重なりから立体物が真上から見て
どこにあるかを知ることができる。また、図18
(D)、(E)では重なっていないことから、立体物1
97の存在する高さを知ることもできる。この構成によ
り、空中に浮いている立体物であっても、上から見て立
体物のある位置と、立体物のある高さを知ることができ
る。
【0111】次に、本発明の第8の実施形態に係る障害
物検出装置の概略手順を、図50のフローチャートを用
いて説明する。
【0112】ステップS501は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
と第4の画像を、画像保持手段に記憶する処理である。
ステップS502は、第1の移動領域と第2の移動領域
を検出する処理である。ステップS504は、投影面を
変更して投影像を求める処理である。ステップS505
は、投影面を変更して求めた投影像を重畳する処理であ
る。ステップS436は、重畳した画像と所定の閾値を
比較判定し、障害物を検出する処理である。
【0113】図20は、本発明の第9の実施形態に係る
障害物検出装置の概略構成のブロック図を示す。図20
に示すように、本発明の第9の実施形態に係る障害物検
出装置は、前記第8の実施形態とはさらに、第2の画像
入力手段206を備えた点が相違している。
【0114】第2の画像入力手段206は、第3の画像
保持手段161および第4の画像保持手段162へ保持
する画像を入力するものである。第3の画像保持手段1
61と第4の画像保持手段162へ画像を入力した後の
処理は、第8の実施形態と同じである。
【0115】次に、上述したような構成を有する障害物
検出装置の障害物検出方法について、図面を参照して説
明する。図21は、本発明の第9の実施形態に係る障害
物検出装置の障害物検出方法の説明図である。この図2
1は、車両を上から見た図であり、図21(A)、図2
1(B)、図21(C)は、それぞれ投影面変更手段で
変更された投影面に障害物を投影し、投影された像から
障害物212の位置を検出する説明図である。図21
(A)では、2台の画像入力手段1および画像入力手段
206が障害物212の方向に向いており、障害物21
2は投影面に投影された状態を示している。この投影面
上で2台の画像入力手段の撮影した画像を重ねたとき、
障害物の存在する位置で、像が重なることとなる。図2
1(B)および図21(C)でも同様に、別の投影面に
投影された画像を重ねたとき、障害物の存在する位置
で、像が重なることとなる。
【0116】図22は、本発明の第9の障害物検出装置
を搭載した車両を側面から見て、車両の後ろの障害物を
検出する状態を説明した図である。この図では、障害物
221が中空に存在し、画像入力手段1および画像入力
手段206が車両の後方の障害物を撮影している。この
図のように、障害物221が中空に存在していても、投
影面の高さを変えて障害物221の投影像を重ねること
により、障害物の位置を検出することとなる。また、車
両の角に障害物が存在する場合でも、二台の画像入力手
段1と画像入力手段206が障害物を撮影した画像か
ら、投影像を重ねて、障害物221を検出することとな
る。
【0117】次に、本発明の第9の実施形態に係る障害
物検出装置の概略手順を、図51のフローチャートを用
いて説明する。
【0118】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に記憶する処理である。ステップS501は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に記憶する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、重畳した画像と所定の閾値を比較判定し、
障害物を検出する処理である。
【0119】以上のように、本発明の第9の実施形態に
係る障害物検出装置は、前記第8の実施形態とはさら
に、第2の画像入力手段206を設けているので、投影
面を変えながら第1の画像入力手段1と第2の画像入力
手段206によって撮影された画像を重ねていくことに
より、車の角にある障害物212を検出することができ
る。また、空中に飛び出た突起物があった場合でも、車
両211から障害物までの距離222を知ることとがで
きる。
【0120】図23は、本発明の第10の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図2
3に示すように、本発明の第10の実施形態に係る障害
物検出装置は、前記第9の実施形態とはさらに、高さ表
示情報生成手段231およびモニタ232を備えた点が
相違している。
【0121】高さ表示情報生成手段231は、投影面変
更手段168で変更された投影面毎に投影された障害物
の投影像をもとに、障害物の高さの位置情報を生成する
ものである。
【0122】図24は、本発明の第10の実施形態の障
害物検出装置を搭載した車両245の側面図および搭載
するモニタ232の表示状態を示した説明図である。こ
の構成によれば、前記第9の実施形態と同様の手順に従
って、二台の画像入力手段1および画像入力手段206
が撮影する画像をもとに、投影面を変更して、障害物の
投影像を求め、障害物の位置と投影面の高さ情報を、高
さ表示情報生成手段231に記録することとなる。この
投影面上に障害物が存在しない場合は、投影像が重なら
ないので、投影面を逐次変更して、障害物の投影像を重
ね合わせて評価することにより、障害物が存在する高さ
を検出することとなる。
【0123】図24のモニタの表示は、この高さ表示情
報生成手段231に記録された障害物221の高さおよ
び位置情報から生成される表示内容を示している。この
モニタ232には、車両のバンパー端241が映ってお
り、突起物221が、車両の衝突する高さにあるとき
は、モニタ232上に、マーカー243を表示するとと
もに、メッセージ244として、例えば、「ぶつかる突
起物があります。」というメッセージを表示することが
できる。
【0124】次に、本発明の第10の実施形態に係る障
害物検出装置の概略手順を、図52のフローチャートを
用いて説明する。
【0125】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS521は、高さ表示情報を生成する処理である。
ステップS493は、高さ表示情報を表示する処理であ
る。
【0126】以上のように、本発明の第10の実施形態
に係る障害物検出装置は、前記第9の実施形態とはさら
に、高さ表示情報生成手段231およびモニタ232を
設けているので、検出した障害物221の接近に伴っ
て、モニタ232上の障害物221の位置に色設定手段
141で設定したマーカー243を重畳し、表示手段1
43に表示することができるので、検出した障害物22
1の位置と大きさを示すことができる。また、障害物2
21を認識しやすい視覚情報として提供することができ
る。
【0127】図25は、本発明の第11の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図2
5に示すように、本発明の第11の実施形態に係る障害
物検出装置は、前記第10の実施形態とはさらに、位置
保持手段251を備えた点が相違している。
【0128】位置保持手段251は、車両と凹凸のある
障害物までの最も近い部分を検出しマーカー262を用
いて、表示するものである。
【0129】この構成によれば、図26に示すように、
凹凸のある障害物が存在した場合、投影面変更手段16
8で変更された投影面毎に障害物位置検出手段13で検
出する障害物の位置情報を記録する処理において、車両
に最も近い部分を障害物情報として保持することとな
る。
【0130】次に、本発明の第11の実施形態に係る障
害物検出装置の概略手順を、図53のフローチャートを
用いて説明する。
【0131】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS521は、高さ表示情報を生成する処理である。
ステップS493は、高さ表示情報を表示する処理であ
る。
【0132】以上のように、本発明の第11の実施形態
に係る障害物検出装置は、前記第10の実施形態とはさ
らに、位置保持手段251を設けているので、表示では
車両のバンパー241の部分と障害物261の突出部が
最も近い距離として検出されるため、障害物261が、
車両の衝突する高さにあるときは、モニタ232上に、
マーカー262を表示するとともに、メッセージ244
として、例えば、「ぶつかる突起物があります。」とい
うメッセージを表示することができる。
【0133】図27は、本発明の第12の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図2
7に示すように、本発明の第12の実施形態に係る障害
物検出装置は、前記第11の実施形態とはさらに、形状
保持手段271を備えた点が相違している。
【0134】形状保持手段271は、車両245の形状
情報を保持するものである。
【0135】この構成によれば、図28に示すように、
車両245の形状情報を保持しているため、突起物28
1に凹凸がある場合には、車両245との位置関係を考
慮して、最も衝突の危険が高い部分を検出することとな
る。
【0136】次に、本発明の第12の実施形態に係る障
害物検出装置の概略手順を、図53のフローチャートを
用いて説明する。
【0137】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS521は、高さ表示情報を生成する処理である。
ステップS493は、高さ表示情報を表示する処理であ
る。
【0138】以上のように、本発明の第12の実施形態
に係る障害物検出装置は、前記第11の実施形態とはさ
らに、形状保持手段271を設けているので、車両のバ
ンパー282と障害物281との位置関係が、最も衝突
の危険が高い部分として検出された場合には、モニタ2
32上に車両のバンパー部分241と衝突の可能性のあ
る障害物281にマーカー283を重ねて表示すること
ができる。
【0139】また、図29のように、高さ保持手段の保
持する障害物281と車両のバンパー部分241との最
も近い位置関係を、上から見た場合と横から見た場合の
ように視点を変えて表示することにより、障害物に衝突
する認識を高めることかできる。
【0140】図30は、本発明の第13の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図3
0に示すように、本発明の第13の実施形態に係る障害
物検出装置は、前記第10の実施形態とはさらに、音声
合成手段301とスピーカ302とを備えた点が相違し
ている。
【0141】この構成により、車両に障害物が接近した
ときには、例えば、「ぶつかる突起物があります。」と
いうメッセージを聞くこととなる。
【0142】次に、本発明の第13の実施形態に係る障
害物検出装置の概略手順を、図55のフローチャートを
用いて説明する。
【0143】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS521は、高さ表示情報を生成する処理である。
ステップS493は、高さ表示情報を表示する処理であ
る。ステップS551は、ぶつかる障害物を検出したと
き、音声のメッセージを伝える処理である。
【0144】以上のように、本発明の第13の実施形態
に係る障害物検出装置は、前記第10の実施形態とはさ
らに、音声合成手段301とスピーカ302とを備えて
いるので、車両の進行方向に、障害物が検出された場合
は、音声のメッセージにより、障害物との衝突を認識す
ることができる。
【0145】図31は、本発明の第14の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図3
1に示すように、本発明の第14の実施形態に係る障害
物検出装置は、前記第8の実施形態とはさらに、画像切
替え手段311を備えた点が相違している。
【0146】画像切替え手段311は、図32(A)の
ように、車両321が障害物323に近づき、障害物位
置検出手段13によって、障害物が検出されると、画面
が切り替わる。
【0147】図32(B)は切り替えられたモニタ画面
を示す。この構成によれば、モニタ312上の表示を2
つに分け、右側半分のモニタ上には、第2の画像保持手
段4に保持された画像322をそのまま表示して、障害
物323の識別を容易にしている。一方、左側半分のモ
ニタ312上には、車両のバンパー端241が映ってい
る。そして、モニタ312上に、マーカー283を表示
するとともに、メッセージ244として、例えば、「ぶ
つかる突起物があります。」というメッセージを表示す
ることとなる。
【0148】次に、本発明の第14の実施形態に係る障
害物検出装置の概略手順を、図56のフローチャートを
用いて説明する。
【0149】ステップS501は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
と第4の画像を、画像保持手段に保持する処理である。
ステップS502は、第1の移動領域と第2の移動領域
を検出する処理である。ステップS504は、投影面を
変更して投影像を求める処理である。ステップS505
は、投影面を変更して求めた投影像を重畳する処理であ
る。ステップS436は、障害物の位置を検出する処理
である。ステップS561は、モニタの表示を切替える
処理である。ステップS493は、高さ表示情報を表示
する処理である。
【0150】以上のように、本発明の第14の実施形態
に係る障害物検出装置は、前記第8の実施形態とはさら
に、画像切替え手段311を設けているので、車両32
1が障害物323に近づき、障害物位置検出手段13に
よって、障害物が検出されると、画面が切替わり、障害
物を容易に認識することができる。
【0151】図33は、本発明の第15の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図3
3に示すように、本発明の第15の実施形態に係る障害
物検出装置は、前記第8の実施形態とはさらに、障害物
配置決定手段332と、画像取得位置入力手段331と
を備えた点が相違している。
【0152】画像取得位置入力手段331は、車両の地
図上の現在地を知るものである。この画像取得位置入力
手段331としては、例えば、人工衛星による位置測定
システム(以下、単にGPSという。)などである。
【0153】障害物配置決定手段332は、障害物位置
検出手段13から得られた障害物があるか否かの情報
と、画像取得位置入力手段331の位置情報を元に、障
害物341が車両の通過した経路に沿って、どのように
配置されているかを記録するものである。図24は、車
両の通過する経路に沿って検出された障害物341を記
録する状況を示した説明図である。
【0154】この構成によれば、図34に示すように、
障害物配置決定手段332は、障害物位置検出手段13
から取得した障害物があるか否かの情報と、画像取得位
置入力手段331の位置情報を元に、障害物341が車
両の通過した経路に沿って、どのように配置されている
かを記録することとなる。
【0155】次に、本発明の第15の実施形態に係る障
害物検出装置の概略手順を、図57のフローチャートを
用いて説明する。
【0156】ステップS501は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
と第4の画像を、画像保持手段に保持する処理である。
ステップS502は、第1の移動領域と第2の移動領域
を検出する処理である。ステップS504は、投影面を
変更して投影像を求める処理である。ステップS505
は、投影面を変更して求めた投影像を重畳する処理であ
る。ステップS436は、障害物の位置を検出する処理
である。ステップS572は、画像取得位置情報を取得
し、障害物の配置を決定する処理である。
【0157】以上のように、本発明の第15の実施形態
に係る障害物検出装置は、前記第8の実施形態とはさら
に、障害物配置決定手段332と、画像取得位置入力手
段331とを設けているので、障害物341が車両の通
過した経路に沿って、どのように配置されているかを記
録した情報をもとに、モニタ上に表示された地図に検出
された障害物情報を重ねて表示することができる。
【0158】図35は、本発明の第16の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図3
5に示すように、本発明の第16の実施形態に係る障害
物検出装置は、前記第2の実施形態とはさらに、動き保
持手段351を備えた点が相違している。
【0159】動き保持手段351は、動き検出手段6に
よって検出された画像入力手段1のこれまでの動きを保
持しており、第1の画像保持手段および第2の画像保持
手段に保持されたデータから得られた動きデータを補完
するものである。この動き保持手段351としては、例
えば、カルマンフィルタが挙げられる。
【0160】この構成によれば、第1の画像保持手段3
および第2画像保持手段4に保持する画像から求められ
る車両の移動量に、動き保持手段351に保持されたデ
ータをもとに補完を加えることができるので、より正確
な車両の移動量を得ることとなる。
【0161】次に、本発明の第16の実施形態に係る障
害物検出装置の概略手順を、図58のフローチャートを
用いて説明する。
【0162】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を、画像保持
手段に保持する処理である。ステップS444は、第1
の画像と第2の画像の平面領域を指示する処理である。
ステップS445は、第1の画像と第2の画像の特徴点
の動きを検出する処理である。ステップS446は、特
徴点の動きから移動量を計算する処理である。ステップ
S433は、第1の画像に画像の変換処理を加える処理
である。ステップS447は、変換処理された第1の画
像にぼかし画像生成処理を加え、第1のぼかし画像を生
成し、第2の画像にぼかし画像生成処理を加え、第2の
ぼかし画像を生成する処理である。ステップS448
は、ぼかし画像処理された第1のぼかし画像と第2のぼ
かし画像の差分画像を保持する処理である。ステップS
435は、第1のぼかし画像と第2のぼかし画像の差分
画像を生成する処理である。ステップS436は、この
差分画像と所定の閾値を比較判定し、障害物を検出する
処理である。
【0163】以上のように、本発明の第16の実施形態
に係る障害物検出装置は、前記第2の実施形態とはさら
に、動き保持手段351を設けているので、車両の動き
情報をもとに、車両の動きを予測し、より正確な障害物
情報を提供することができる。
【0164】図36は、本発明の第17の実施形態に係
る障害物検出装置の概略構成のブロック図を示す。図3
6に示すように、本発明の第17の実施形態に係る障害
物検出装置は、前記第8の実施形態とはさらに、表示画
像切替手段361と、モニタ362とを備えた点が相違
している。
【0165】表示画像切替手段361は、障害物の検出
状況に応じて、モニタ362上に表示する情報を切替え
るものである。図37は、障害物の検出状況に応じて切
替えられた画面の表示例を示すものである。
【0166】この構成によれば、表示画像切替え手段3
61は、第2の移動領域抽出手段165内の動き検出手
段6からの信号と、第2の画像入力手段206が移動し
たか否かの信号とを受取る。この動き検出手段6から第
2の画像入力手段206が動いていないという情報が得
られたときには、図37(A)に示すように、表示画像
切替え手段361は、画像入力手段1と、第2の画像入
力手段206の画像を路面に投影しながら交互に表示す
る。この結果、障害物371の像372が路面に交互に
現れる画面を表示することとなる。一方、動き検出手段
6から、第2の画像入力手段206が移動したという情
報が得られたときには、図32(B)に示すように、表
示画像切替え手段361は、車両を真上からみた画像
に、路面上の障害物の位置を示すマーカー373を重ね
て表示することとなる。また、画像入力手段1が動いて
いないときでも、障害物の有無を判別することとなる。
【0167】次に、本発明の第17の実施形態に係る障
害物検出装置の概略手順を、図59のフローチャートを
用いて説明する。
【0168】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS591は、表示画像を切替える処理である。ステ
ップS493は、モニタに切替えた表示をする処理であ
る。
【0169】以上のように、本発明の第17の実施形態
に係る障害物検出装置は、前記第8の実施形態とはさら
に、表示画像切替手段361と、モニタ362とを設け
ているので、障害物の検出状況により、モニタの表示情
報を切替え、さらに、画像入力手段1が動いていないと
きでも、障害物の有無を判別することができる。
【0170】図38は、本発明の第18の実施形態に係
る障害物検出装置の概略構成のブロック図である。図3
8に示すように、本発明の第18の実施形態に係る障害
物検出装置は、前記第9の実施形態とはさらに、動き物
体配置手段381を備えた点が相違している。
【0171】動き物体配置手段381は、障害物として
検出した物体の動いた位置を記憶するものである。
【0172】図39は、本発明の第18の実施形態の障
害物検出装置の投影面を変更した動き物体の検出を示し
た説明図を示す。この構成によれば、図39(A)、3
9(B)、39(C)は、車両が(A)の位置のとき、
車両が(B)の位置のとき、車両が(C)の位置のとき
に、動き物体が検出される状態を、車両を上から見た図
で示した説明図である。図39(A)は、障害物検出装
置が、動き物体を検出する手順にしたがって、三枚の投
影面に投影された投影像を示したものである。三枚と
も、二台の画像入力手段1と第2の画像入力手段206
によって撮影された画像の投影像は重なっており、投影
面の高さに障害物402が存在することを検出すること
となる。図39(B)、39(C)についても、画像入
力手段1と第2の画像入力手段206によって撮影され
た画像から、画像入力手段1または第2の画像入力手段
206が移動した場合と同じ手順にしたがって、障害物
の位置を検出することとなる。この手順を繰り返すこと
によって、動き物体の動きを検出することができる。
【0173】次に、本発明の第18の実施形態に係る障
害物検出装置の概略手順を、図60のフローチャートを
用いて説明する。
【0174】ステップS431は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像を画像保持手
段に保持する処理である。ステップS511は、画像入
力手段2が車両周辺を撮影した第3の画像と第4の画像
を、画像保持手段に保持する処理である。ステップS5
02は、第1の移動領域と第2の移動領域を検出する処
理である。ステップS504は、投影面を変更して投影
像を求める処理である。ステップS505は、投影面を
変更して求めた投影像を重畳する処理である。ステップ
S436は、障害物の位置を検出する処理である。ステ
ップS601は、動き物体を検出し、モニタ上に表示す
る処理である。
【0175】以上のように、本発明の第18の実施形態
に係る障害物検出装置は、前記第9の実施形態とはさら
に、動き物体配置手段381を設けているので、投影面
の高さを変更して投影像を重ねることにより、動き物体
402の位置を求めることができる。さらに、図39
(A)、図39(B)、図39(C)および図40に示
すように、所定の時間間隔で動き物体402の位置を確
認していけば、車両401周辺の動き物体402の位置
を追跡することができる。
【0176】図41は、本発明の第19の実施形態に係
る障害物検出装置の概略構成のブロック図である。図4
1に示すように、本発明の第19の実施形態に係る障害
物検出装置は、前記第15の実施形態とはさらに、障害
物位置送信手段411と、障害物位置受信手段412と
を備えた点が相違している。
【0177】障害物位置送信手段411は、本発明の障
害物検出装置が検出した障害物の位置情報を後続する他
の車両に、障害物情報として提供するものである。
【0178】障害物位置受信手段412は、逆に、本車
両が後続車両である場合、先行車両から障害物情報の提
供を受けるものである。
【0179】図42は、検出した障害物の位置情報を後
続する車両に提供する説明図である。図42に示すよう
に、車両421に搭載した画像入力手段1の撮影した画
像から障害物341が検出されたとき、この障害物の位
置情報は、人工衛星342による位置測定システムGP
Sによる地図上の位置を付加されて、後続する車両42
2に送信する。後続する車両412は、受信した障害物
の位置情報を地図上の位置で認識することとなる。
【0180】次に、本発明の第19の実施形態に係る障
害物検出装置の概略手順を、図61のフローチャートを
用いて説明する。
【0181】ステップS501は、画像入力手段1が車
両周辺を撮影した第1の画像と第2の画像と第3の画像
と第4の画像を、画像保持手段に保持する処理である。
ステップS502は、第1の移動領域と第2の移動領域
を検出する処理である。ステップS504は、投影面を
変更して投影像を求める処理である。ステップS505
は、投影面を変更して求めた投影像を重畳する処理であ
る。ステップS436は、障害物の位置を検出する処理
である。ステップS611は、障害物の位置情報を後続
する車両に送信する処理である。ステップS612は、
障害物の位置情報を受信する処理である。
【0182】以上のように、本発明の第19の実施形態
に係る障害物検出装置は、前記第15の実施形態とはさ
らに、障害物位置送信手段411と、障害物位置受信手
段412とを設けているので、車両421が障害物34
1の位置を検出したことを、後続する車両422に送信
することによって、GPSによる地図上の位置を付加さ
れて、後続する車両422に通信される。後続する車両
422は、受信した障害物の位置情報を地図上の位置で
認識し、車両を進めることができる。
【0183】
【発明の効果】以上説明したように、本発明は、動画像
中の路面などの特徴点を得やすいものから画像入力手段
の動きを求めることにより、車両など形状が曲面で構成
され、特徴点の対応を取りにくい物体であっても、障害
物として検出するというすぐれた効果を有する障害物検
出装置を提供することができるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る障害物検出装置
の概略構成を示すブロック図
【図2】本発明の第2の実施形態に係る障害物検出装置
の概略構成を示すブロック図
【図3】平面領域を示した二枚の画像と、路面上の特徴
点の動きベクトルを表示した画像
【図4】路面上の特徴点と障害物を撮影する画像入力手
段を示した説明図
【図5】画像入力手段の位置と障害物の位置関係を説明
し座標と特徴点の動きを求める数式
【図6】画像の合成と障害物の検出を示した模式図とぼ
かし画像処理を加えるガウス関数と積和計算式
【図7】画像にぼかし画像処理を加えた画像と障害物に
マーカーを重ねて表示した画像
【図8】本発明の第3の実施形態に係る障害物検出装置
の概略構成を示すブロック図
【図9】本発明の第4の実施形態に係る障害物検出装置
の概略構成を示すブロック図
【図10】本発明の第5の実施形態に係る障害物検出装
置の概略構成を示すブロック図
【図11】車両周辺を撮影した画像と画像の路面領域を
検出し画像処理を加えた画像
【図12】本発明の第6の実施形態に係る障害物検出装
置の概略構成を示すブロック図
【図13】撮影した画像と移動量をもとに変換された画
像とから、特徴点を重ねて合成し、障害物を検出するこ
と示した模式図
【図14】本発明の第7の実施形態に係る障害物検出装
置の概略構成を示すブロック図
【図15】検出した障害物にマーカーを合成した画像
【図16】本発明の第8の実施形態に係る障害物検出装
置の概略構成を示すブロック図
【図17】本発明の第8の実施形態に係る障害物検出装
置の第1の移動領域検出手段と第2の移動領域検出手段
を拡大して示したブロック図
【図18】図18(A)は、障害物183と障害物を撮
影する画像入力手段を示した説明図図18(B)は、変
更した投影面に障害物を投影した状態を側面から見た説
明図図18(C)は、変更した投影面に障害物を投影し
た状態を側面から見た説明図図18(D)は、変更した
投影面に障害物を投影した状態を側面から見た説明図図
18(E)変更した投影面に障害物を投影した状態を側
面から見た説明図
【図19】図19(A)は、障害物197と障害物を撮
影する画像入力手段を示した説明図図19(B)は、変
更した投影面に障害物を投影した状態を側面から見た説
明図図19(C)は、変更した投影面に障害物を投影し
た状態を側面から見た説明図図19(D)は、変更した
投影面に障害物を投影した状態を側面から見た説明図図
19(E)は、変更した投影面に障害物を投影した状態
を側面から見た説明図
【図20】本発明の第9の実施形態に係る障害物検出装
置の概略構成を示すブロック図
【図21】図21(A)は、車両を上から見た図に、投
影面を変更して投影した障害物の投影像を表示した説明
図図21(B)は、車両を上から見た図に、投影面を変
更して投影した障害物の投影像を表示した説明図図21
(C)は、車両を上から見た図に、投影面を変更して投
影した障害物の投影像を表示した説明図
【図22】障害物と車両の位置関係を側面から示した説
明図
【図23】本発明の第10の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図24】障害物と車両の位置関係を側面から示した説
明図と、モニタ上の表示を示す説明図
【図25】本発明の第11の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図26】障害物と車両の位置関係を側面から見た説明
図と、モニタ上の表示を示す説明図
【図27】本発明の第12の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図28】障害物と車両の位置関係を側面から見た説明
図と、モニタ上の表示を示す説明図
【図29】障害物と車両の位置関係を側面から見た説明
図と、モニタ上の表示を示す説明図
【図30】本発明の第13の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図31】本発明の第14の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図32】障害物と車両の位置関係を側面から見た説明
図と、モニタ上の表示を示す説明図
【図33】本発明の第15の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図34】本発明の第15の実施形態に係る障害物検出
装置を搭載した車両と障害物、およびGPSによる障害
物の位置検出を説明した説明図
【図35】本発明の第16の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図36】本発明の第17の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図37】車両と障害物を上から見た説明図
【図38】本発明の第18の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図39】図39(A)は、本発明の第18の実施形態
において、投影面を変更した動き物体の検出を示した説
明図図39(B)は、本発明の第18の実施形態におい
て、投影面を変更した動き物体の検出を示した説明図図
39(C)は、本発明の第18の実施形態において、投
影面を変更した動き物体の検出を示した説明図
【図40】本発明の第18の実施形態において、動き物
体の検出を示した模式図
【図41】本発明の第19の実施形態に係る障害物検出
装置の概略構成を示すブロック図
【図42】本発明の第19の実施形態において、車両と
障害物、およびGPSによる障害物の位置検出を説明し
た説明図
【図43】本発明の第1の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図44】本発明の第2の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図45】本発明の第3の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図46】本発明の第4の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図47】本発明の第5の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図48】本発明の第6の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図49】本発明の第7の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図50】本発明の第8の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図51】本発明の第9の実施形態に係る障害物検出装
置の概略構成のフローチャート
【図52】本発明の第10の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図53】本発明の第11の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図54】本発明の第12の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図55】本発明の第13の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図56】本発明の第14の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図57】本発明の第15の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図58】本発明の第16の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図59】本発明の第17の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図60】本発明の第18の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図61】本発明の第19の実施形態に係る障害物検出
装置の概略構成のフローチャート
【図62】従来の技術の概略構成を示すブロック図
【図63】従来の装置で撮影した画像
【符号の説明】
1 画像入力手段 2 第1の画像保持手段 3 第2の画像保持手段 5 特徴抽出手段 6 動き検出手段 7 移動量計算手段 8 画像変換手段 9 ぼかし画像生成手段 10 第1のぼかし画像保持手段 11 第2のぼかし画像保持手段 12 差分画像生成手段 13 障害物位置検出手段 14 平面領域指示手段 15 移動量保持手段 34 枠 35 動きベクトル 40 平面 41、42 カメラ位置 43 立体物 44、45 画像面 46、47 画像上の点 48、49 画像上の立体物 50 特徴点 64 平面上の特徴点 73 マーカー 81 回転方向測定手順 91 回転方向測定手順 92 移動方向測定手順 93 移動量計算手順 101 平面領域検出手順 121 第3の画像保持手段 122 第1の移動量保持手段 123 第2の移動量保持手段 124 第3のぼかし画像保持手段 125 第1の差分画像保持手段 126 第2の差分画像保持手段 127 画像重畳手段 130 立体物 130、131、132 カメラ位置 152 立体物の位置 161 第3の画像保持手段 162 第4の画像保持手段 164 第1の移動領域検出手段 165 第2の移動領域検出手段 166 第1の移動領域保持手段 167 第2の移動領域保持手段 168 投影面変更手段 169 画像投影手段 170 投影画像重畳手段 181、182 カメラ位置 183 立体物 184 画像面上の立体物 185 平面 186、187 画像面 188、189、190、191、192、193
投影像 194、195、196 投影面 197 立体物 198、199 画像面上の立体物 200、201、202、203、204、205
投影像 206 第2の画像入力手段 211 車両 212 障害物 221 突起物 222 距離 231 高さ表示情報生成手段 232 モニタ 241 自動車のバンパー端 242 モニタ 243 マーカー 244 メッセージ 245 車両 251 位置保持手段 261 突起物 262 マーカー 271 形状保持手段 281 突起物 282 バンパー 283 マーカー 301 音声合成手段 302 スピーカー 311 画像切替手段 321 車両 322 第2の画像保持手段に保持された画像 323 障害物 331 画像取得位置入力手段 332 障害物配置決定手段 341 障害物 342 人工衛星 351 動き保持装置 361 表示画像切替手段 362 モニタ 371 障害物 372 障害物を路面に投影した像 373 障害物の位置を示すマーカー 381 動き物体配置手段 401 車両 402 移動物体 411 障害物位置送信手段 412 障害物位置受信手段 421、422 車両 S431 第1の画像と第2の画像の入力と保持のス
テップ S432 移動量の保持のステップ S433 画像の変換のステップ S434 第1のぼかし画像と第2のぼかし画像の生
成と保持のステップ S435 差分画像の生成のステップ S436 障害物位置の検出のステップ S441 第1の画像と第2の画像の入力のステップ S442 平面領域の指示のステップ S443 第1の画像と第2の画像の保持のステップ S444 特徴点の抽出のステップ S445 動き検出のステップ S446 移動量の計算のステップ S447 ぼかし画像の生成のステップ S448 第1のぼかし画像と第2のぼかし画像の保
持のステップ S451 回転方向の測定のステップ S461 速度の測定のステップ S481 第1の画像、第2の画像および第3の画像
の入力と保持のステップ S482 第1の移動量の保持と第2の移動量の保持
のステップ S483 第1のぼかし画像、第2のぼかし画像およ
び第3のぼかし画像の保持のステップ S484 第1の差分画像と第2の差分画像の保持の
ステップ S485 画像の重畳のステップ S491 色の設定のステップ S492 画像の合成のステップ S493 表示のステップ S501 第1の画像、第2の画像、第3の画像およ
び第4の画像の入力と保持のステップ S502 第1の移動領域と第2の移動領域の検出と
保持のステップ S503 投影面の変更のステップ S504 画像の投影のステップ S505 投影画像の重畳のステップ S511 第3の画像と第4の画像の入力と保持のス
テップ S521 高さ表示情報の生成のステップ S531 位置の保持のステップ S541 形状の保持のステップ S551 音声の合成と音声の出力のステップ S561 画面の切り替えのステップ S571 画像取得位置入力のステップ S572 障害物の配置決定のステップ S581 動き保持のステップ S591 表示画像の切り替えのステップ S601 動き物体の配置のステップ S611 障害物位置の送信のステップ S612 障害物位置の受信のステップ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 626 B60R 21/00 626C 626G 628 628B 628C 628D G06T 1/00 330 G06T 1/00 330A 7/20 100 7/20 100 7/60 150 7/60 150B G08G 1/00 G08G 1/00 J H04N 7/18 H04N 7/18 J // G08G 1/09 G08G 1/09 H Fターム(参考) 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE04 CE08 DA07 DB02 DB09 DC05 5C054 AA01 CA04 CE15 CG06 CH01 EA01 EA07 ED07 ED14 EF06 EG06 FC01 FC15 FE09 GA04 GB12 GB15 HA30 5H180 AA01 BB04 CC04 EE11 FF05 FF22 FF27 FF32 LL01 5L096 AA06 BA04 CA05 DA01 DA03 EA06 FA09 GA08 HA02

Claims (23)

    【特許請求の範囲】
  1. 【請求項1】 車両上に搭載され、所定の時間間隔で車
    両周辺の画像を撮影し、前記撮影した画像を画像処理可
    能な画像データとして入力する画像入力手段と、所定の
    時点で撮影した前記画像データを保持する第1の画像保
    持手段と、前記所定の時間間隔をおいて撮影した前記画
    像データを保持する第2の画像保持手段と、前記第1の
    画像保持手段の保持する画像データを撮影した時点か
    ら、前記第2の画像保持手段の保持する画像データを撮
    影した時点まで、車両が移動した移動量を保持する移動
    量保持手段と、前記第1の画像保持手段の保持する画像
    データに、前記移動量保持手段の保持する前記移動量に
    応じた画像処理を加える画像変換手段と、この画像変換
    手段によって画像処理された前記第1の画像保持手段の
    保持する前記画像データと前記第2の画像保持手段の保
    持する画像データとにぼかし画像処理を加えるぼかし画
    像生成手段と、このぼかし画像生成手段によってぼかし
    画像処理された画像データを保持する第1のぼかし画像
    保持手段および第2のぼかし画像保持手段と、前記第1
    のぼかし画像保持手段の保持する画像データと前記第2
    のぼかし画像保持手段の保持する画像データの差分画像
    データを生成する差分画像生成手段と、この差分画像生
    成手段によって得られた差分画像データから障害物の位
    置を検出する障害物位置検出手段を備えたことを特徴と
    する障害物検出装置。
  2. 【請求項2】 前記ぼかし画像生成手段は、ガウス関数
    を用いた画像処理をすることを特徴とする請求項1に記
    載の障害物検出装置。
  3. 【請求項3】 前記第1の画像保持手段および前記第2
    の画像保持手段に保持された画像の中から、路面上の平
    面が撮影された領域を指示する平面領域指示手段を備え
    たことを特徴とする請求項1乃至請求項2に記載の障害
    物検出装置。
  4. 【請求項4】 前記移動量保持手段として、前記第1の
    画像保持手段および前記第2の画像保持手段に保持され
    た前記画像の中から、前記平面領域指示手段により指示
    された平面領域内の特徴点を抽出する特徴点抽出手段
    と、この特徴点抽出手段によって抽出された前記特徴点
    の動きを検出する動き検出手段と、この動き検出手段に
    よって検出された動きから前記画像入力手段の移動量を
    計算する移動量計算手段とを備えたことを特徴とする請
    求項1乃至請求項3に記載の障害物検出装置。
  5. 【請求項5】 前記画像入力手段を搭載した前記車両の
    回転方向の移動量を、回転方向測定手段によって取得す
    ることを特徴とする請求項1乃至請求項4に記載の障害
    物検出装置。
  6. 【請求項6】 前記画像入力手段を搭載した前記車両の
    回転方向の移動量を回転方向測定手段によって取得し、
    並進方向の移動量を並進方向測定手段によって取得する
    ことを特徴とする請求項1および請求項2に記載の障害
    物検出装置。
  7. 【請求項7】 前記動き検出手段で検出した前記車両の
    動きを動き情報として記録する動き保持手段と、前記移
    動量計算手段によって前記移動量の計算をする際、前記
    動き保持手段に記録された動き情報をもとに、前記移動
    量の計算を安定化させることを特徴とする請求項4に記
    載の障害物検出装置。
  8. 【請求項8】 前記第1の画像保持手段および前記第2
    の画像保持手段に保持された画像内から平面領域を検出
    する平面領域検出手段を備えたことを特徴とする請求項
    1乃至請求項2に記載の障害物検出装置。
  9. 【請求項9】 前記車両上に搭載され、前記所定の時間
    間隔で車両周辺の画像を撮影し、前記撮影した画像を前
    記画像処理可能な画像データとして入力する前記画像入
    力手段と、前記所定の時点で撮影した第1の画像を前記
    画像データとして保持する前記第1の画像保持手段と、
    前記所定の時間間隔をおいて撮影した第2の画像を前記
    画像データとして保持する前記第2の画像保持手段と、
    さらに前記所定の時間間隔をおいて撮影した第3の画像
    を前記画像データとして保持する前記第3の画像保持手
    段と、前記第1の画像保持手段と前記第2の画像保持手
    段に保持された画像をもとに、請求項1に記載の移動量
    計算手段によって計算された前記第1の移動量を保持す
    る前記第1の移動量保持手段と、前記第2の画像保持手
    段と前記第3の画像保持手段に保持された画像をもと
    に、請求項1に記載の移動量計算手段によって計算され
    た前記第2の移動量を保持する前記第2の移動量保持手
    段と、請求項1に記載のぼかし画像生成手段によって前
    記第3の画像保持手段に保持された画像を変換し、ぼか
    した画像を保持する第3のぼかし画像保持手段と、請求
    項1に記載の第1のぼかし画像保持手段に保持された画
    像と請求項1に記載の第2のぼかし画像保持手段に保持
    された画像の差分画像を保持する第1の差分画像保持手
    段と、請求項1に記載の第2のぼかし画像保持手段に保
    持された画像と前記第3のぼかし画像保持手段に保持さ
    れた画像の差分画像を保持する第2の差分画像保持手段
    と、前記第1の差分画像保持手段に保持された画像と前
    記第2の差分画像保持手段に保持された画像を重畳する
    画像重畳手段と、この画像重畳手段によって重畳された
    画像から障害物の位置と検出することを特徴とする障害
    物検出装置。
  10. 【請求項10】 色を設定する色設定手段と、前記第2
    の画像保持手段に保持された画像上で、前記障害物検出
    手段によって検出された領域に、前記色設定手段によっ
    て設定された色をつける画像合成手段と、この画像合成
    手段によって合成された画像を表示する画像表示手段と
    を備えたことを特徴とする請求項9に記載の障害物検出
    装置。
  11. 【請求項11】 前記車両上に搭載され、前記所定の時
    間間隔で車両周辺の画像を撮影し、前記撮影した画像を
    前記画像処理可能な画像データとして入力する前記画像
    入力手段と、前記所定の時点で撮影した第1の画像を前
    記画像データとして保持する前記第1の画像保持手段
    と、前記所定の時間間隔をおいて撮影した第2の画像を
    前記画像データとして保持する前記第2の画像保持手段
    と、さらに前記所定の時間間隔をおいて撮影した第3の
    画像を前記画像データとして保持する前記第3の画像保
    持手段と、さらに前記所定の時間間隔をおいて撮影した
    第4の画像を前記画像データとして保持する第4の画像
    保持手段と、前記第1の画像保持手段によって保持され
    た画像と前記第2の画像保持手段によって保持された画
    像から移動領域を検出する第1の移動領域検出手段と、
    前記第3の画像保持手段によって保持された画像と前記
    第4の画像保持手段によって保持された画像から移動領
    域を検出する第2の移動領域検出手段と、前記第1の移
    動領域検出手段によって検出された移動領域を保持する
    第1の移動領域保持手段と、前記第2の移動領域検出手
    段によって検出された移動領域を保持する第2の移動領
    域保持手段と、投影面の高さを変更する投影面変更手段
    と、前記第1の移動領域保持手段によって保持された移
    動領域と第2の移動領域保持手段によって保持された移
    動領域を、前記投影面変更手段によって変更された投影
    面に投影する画像投影手段と、この画像投影手段によっ
    て投影された画像を重畳する投影画像重畳手段と、この
    投影画像重畳手段によって重畳された画像から障害物の
    位置を検出する前記障害物位置検出手段とを備えたこと
    を特徴とする障害物検出装置。
  12. 【請求項12】 前記第1の移動領域検出手段および前
    記第2の移動領域検出手段として、前記平面領域検出手
    段と、前記特徴点抽出手段と、前記動き検出手段と、前
    記移動量計算手段と、前記画像変換手段と、前記ぼかし
    画像生成手段と、前記第1のぼかし画像保持手段と、前
    記第2のぼかし画像保持手段と、前記差分画像生成手段
    とを備えたことを特徴とする請求項11に記載の障害物
    検出装置。
  13. 【請求項13】 画像の取得位置を入力する画像取得位
    置入力手段と、前記障害物位置検出手段で検出した障害
    物を、前記画像取得位置入力手段で入力した位置に配置
    する障害物配置決定手段を備えたことを特徴とする請求
    項11に記載の障害物検出装置。
  14. 【請求項14】 前記障害物配置決定手段の決定した障
    害物の位置情報を送信する障害物位置送信手段と、障害
    物の位置情報を受信する障害物位置受信手段とを備えた
    ことを特徴とする請求項13に記載の障害物検出装置。
  15. 【請求項15】 前記車両上に搭載され、前記所定の時
    間間隔で車両周辺の画像を撮影し、前記撮影した画像を
    前記画像処理可能な画像データとして入力する前記画像
    入力手段および第2の画像入力手段と、前記所定の時点
    で前記画像入力手段によって撮影した画像を前記画像デ
    ータとして保持する前記第1の画像保持手段と、前記第
    2の画像入力手段によって撮影した画像を前記画像デー
    タとして保持する前記第3の画像保持手段と、前記所定
    の時間間隔をおいて前記画像入力手段によって撮影した
    画像を前記画像データとして保持する前記第2の画像保
    持手段と、前記第2の画像入力手段によって撮影した画
    像を前記画像データとして保持する前記第4の画像保持
    手段と、前記第1の画像保持手段によって保持された画
    像データと前記第2の画像保持手段によって保持された
    画像データから、移動領域を検出する第1の移動領域検
    出手段と、前記第3の画像保持手段によって保持された
    画像と前記第4の画像保持手段によって保持された画像
    から移動領域を検出する第2の移動領域検出手段と、前
    記第1の移動領域検出手段によって検出された移動領域
    を保持する第1の移動領域保持手段と、前記第2の移動
    領域検出手段によって検出された移動領域を保持する第
    2の移動領域保持手段と、投影面の高さを変更する投影
    面変更手段と、前記第1の移動領域保持手段によって保
    持された移動領域と第2の移動領域保持手段によって保
    持された移動領域を、前記投影面変更手段によって変更
    された投影面に投影する画像投影手段と、この画像投影
    手段によって投影された画像を重畳する投影画像重畳手
    段と、この投影画像重畳手段によって重畳された画像か
    ら障害物の位置を検出する前記障害物位置検出手段とを
    備えたことを特徴とする障害物検出装置。
  16. 【請求項16】 前記障害物位置検出手段によって検出
    された前記障害物の高さ情報を生成する高さ表示情報生
    成手段と、前記高さ表示情報生成手段によって生成され
    た高さ情報を表示するモニタとを備えたことを特徴とす
    る請求項15に記載の障害物検出装置。
  17. 【請求項17】 前記障害物の位置を保持する位置保持
    手段と、前記障害物と前記位置保持手段の保持する位置
    との距離が最も近い部分の表示情報を作成する前記高さ
    情報生成手段とを備えたことを特徴とする請求項15乃
    至請求項16に記載の障害物検出装置。
  18. 【請求項18】 前記第2の画像保持手段の保持する画
    像と、前記障害物位置検出手段の検出した障害物の位置
    を示す画像とを切り替えて表示する画面切替手段を備え
    たことを特徴とする請求項15乃至請求項17に記載の
    障害物検出装置。
  19. 【請求項19】前記車両の形状を保持する形状保持手段
    と、前記障害物と前記形状保持手段の衝突する部分の距
    離が最も近い部分の表示情報を作成する前記高さ情報生
    成手段とを備えたことを特徴とする請求項15乃至請求
    項18に記載の障害物検出装置。
  20. 【請求項20】 前記モニタの画面を分割して、前記障
    害物と前記形状保持手段との位置関係を異なった視点で
    表示することを特徴とする請求項17乃至請求項18に
    記載の障害物検出装置。
  21. 【請求項21】 前記高さ表示情報生成手段の生成した
    情報を音声に変換する音声合成装置を備えたことを特徴
    とする請求項14乃至請求項19に記載の障害物検出装
    置。
  22. 【請求項22】 前記第2の移動領域検出手段から出力
    された動き情報に基づいて、前記第2の画像保持手段に
    保持された画像と前記第4の画像保持手段に保持された
    画像を交互に表示するか、前記障害物位置検出手段の検
    出した障害物情報を表示するかを、切り替えて表示する
    表示画像切替手段を備えたことを特徴とする請求項10
    に記載の障害物検出装置
  23. 【請求項23】 前記障害物位置検出手段の検出した前
    記障害物の位置情報を、動き物体として表示する動き物
    体配置手段を備えたことを特徴とする請求項10に記載
    の障害物検出装置。
JP2001232674A 2001-07-31 2001-07-31 障害物検出装置 Pending JP2003044996A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001232674A JP2003044996A (ja) 2001-07-31 2001-07-31 障害物検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001232674A JP2003044996A (ja) 2001-07-31 2001-07-31 障害物検出装置

Publications (1)

Publication Number Publication Date
JP2003044996A true JP2003044996A (ja) 2003-02-14

Family

ID=19064559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001232674A Pending JP2003044996A (ja) 2001-07-31 2001-07-31 障害物検出装置

Country Status (1)

Country Link
JP (1) JP2003044996A (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2005347863A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両周囲表示装置及び車両周囲表示方法
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006178673A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 走行支援装置
JP2006268076A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
WO2007058325A1 (ja) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha 駐車支援装置及び駐車支援方法
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP2007172501A (ja) * 2005-12-26 2007-07-05 Alpine Electronics Inc 車両運転支援装置
JP2007180720A (ja) * 2005-12-27 2007-07-12 Alpine Electronics Inc 車両運転支援装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2007249386A (ja) * 2006-03-14 2007-09-27 Fuji Heavy Ind Ltd 画像処理装置
KR100865165B1 (ko) 2007-07-10 2008-10-24 현대중공업 주식회사 로봇 팔레타이징 시스템의 최적경로 설정방법
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
JP2010201996A (ja) * 2009-03-02 2010-09-16 Whetron Electronics Co Ltd 車両の影像観測システム及びその使用方法
JP2011039998A (ja) * 2009-08-18 2011-02-24 Clarion Co Ltd 直線成分低減装置および歩行者検出表示システム
JP2011057101A (ja) * 2009-09-10 2011-03-24 Toshiba Alpine Automotive Technology Corp 車両用障害物検出装置
JP2011087037A (ja) * 2009-10-14 2011-04-28 Toshiba Alpine Automotive Technology Corp 車両用障害物検出装置
EP2233357A3 (en) * 2009-03-27 2012-06-13 Aisin Aw Co., Ltd. Driving support device, driving support method, and driving support program
JP2013084292A (ja) * 2012-12-17 2013-05-09 Yupiteru Corp 電子機器及びプログラム
JP2013125301A (ja) * 2011-12-13 2013-06-24 Alpine Electronics Inc 車両移動量推定装置および障害物検出装置
WO2014131193A1 (en) * 2013-03-01 2014-09-04 Harman International Industries, Incorporated Road region detection
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
WO2019080061A1 (zh) * 2017-10-26 2019-05-02 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
WO2019111307A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
WO2022018791A1 (ja) * 2020-07-20 2022-01-27 日本電気株式会社 画像処理装置および画像処理方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005015088B4 (de) * 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP2005318541A (ja) * 2004-04-02 2005-11-10 Denso Corp 車両周辺監視システム
JP2005347863A (ja) * 2004-05-31 2005-12-15 Nissan Motor Co Ltd 車両周囲表示装置及び車両周囲表示方法
JP4556494B2 (ja) * 2004-05-31 2010-10-06 日産自動車株式会社 車両周囲表示装置及び車両周囲表示方法
JP2006027556A (ja) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP2006178673A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 走行支援装置
JP4626295B2 (ja) * 2004-12-21 2011-02-02 日産自動車株式会社 走行支援システム及び走行支援装置
JP2006268076A (ja) * 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP4697230B2 (ja) * 2005-11-17 2011-06-08 アイシン精機株式会社 駐車支援装置及び駐車支援方法
US8140209B2 (en) 2005-11-17 2012-03-20 Aisin Seiki Kabushiki Kaisha Parking assisting device and parking assisting method
JPWO2007058325A1 (ja) * 2005-11-17 2009-05-07 アイシン精機株式会社 駐車支援装置及び駐車支援方法
WO2007058325A1 (ja) * 2005-11-17 2007-05-24 Aisin Seiki Kabushiki Kaisha 駐車支援装置及び駐車支援方法
JP2007172501A (ja) * 2005-12-26 2007-07-05 Alpine Electronics Inc 車両運転支援装置
JP2007180720A (ja) * 2005-12-27 2007-07-12 Alpine Electronics Inc 車両運転支援装置
JP4606322B2 (ja) * 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2007249386A (ja) * 2006-03-14 2007-09-27 Fuji Heavy Ind Ltd 画像処理装置
WO2009005025A1 (ja) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. 移動物体検出装置
JPWO2009005025A1 (ja) * 2007-07-03 2010-08-26 コニカミノルタホールディングス株式会社 移動物体検出装置
KR100865165B1 (ko) 2007-07-10 2008-10-24 현대중공업 주식회사 로봇 팔레타이징 시스템의 최적경로 설정방법
JP2010201996A (ja) * 2009-03-02 2010-09-16 Whetron Electronics Co Ltd 車両の影像観測システム及びその使用方法
US8675070B2 (en) 2009-03-27 2014-03-18 Aisin Aw Co., Ltd Driving support device, driving support method, and driving support program
EP2233357A3 (en) * 2009-03-27 2012-06-13 Aisin Aw Co., Ltd. Driving support device, driving support method, and driving support program
JP2011039998A (ja) * 2009-08-18 2011-02-24 Clarion Co Ltd 直線成分低減装置および歩行者検出表示システム
JP2011057101A (ja) * 2009-09-10 2011-03-24 Toshiba Alpine Automotive Technology Corp 車両用障害物検出装置
JP2011087037A (ja) * 2009-10-14 2011-04-28 Toshiba Alpine Automotive Technology Corp 車両用障害物検出装置
JP2013125301A (ja) * 2011-12-13 2013-06-24 Alpine Electronics Inc 車両移動量推定装置および障害物検出装置
JP2013084292A (ja) * 2012-12-17 2013-05-09 Yupiteru Corp 電子機器及びプログラム
WO2014131193A1 (en) * 2013-03-01 2014-09-04 Harman International Industries, Incorporated Road region detection
US10936883B2 (en) 2013-03-01 2021-03-02 Harman International Industries, Incorporated Road region detection
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
WO2019080061A1 (zh) * 2017-10-26 2019-05-02 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
WO2019111307A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
JPWO2019111307A1 (ja) * 2017-12-05 2020-04-02 三菱電機株式会社 表示制御装置及び表示制御方法
WO2022018791A1 (ja) * 2020-07-20 2022-01-27 日本電気株式会社 画像処理装置および画像処理方法

Similar Documents

Publication Publication Date Title
JP2003044996A (ja) 障害物検出装置
JP4091775B2 (ja) 運転支援装置
CN111986506B (zh) 基于多视觉***的机械式停车位泊车方法
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
US11315348B2 (en) Vehicular vision system with object detection
US6956503B2 (en) Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
US20070009137A1 (en) Image generation apparatus, image generation method and image generation program
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
EP1462762A1 (en) Circumstance monitoring device of a vehicle
WO2012091476A2 (ko) 사각 지대 표시 장치 및 방법
JP2004114977A (ja) 移動体周辺監視装置
JP2004240480A (ja) 運転支援装置
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP3301421B2 (ja) 車両周囲状況提示装置
JP2004120661A (ja) 移動体周辺監視装置
JP2002104117A (ja) 車両用運転支援システム
WO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JPH09304101A (ja) ナビゲーション装置
JP2000293693A (ja) 障害物検出方法および装置
Baehring et al. Detection of close cut-in and overtaking vehicles for driver assistance based on planar parallax
JP5271186B2 (ja) 車両用画像表示装置
JP4696925B2 (ja) 画像処理装置
KR101295618B1 (ko) 사각 지대 표시 장치 및 방법
JP2004104478A (ja) 駐車アシスト装置及び駐車アシスト方法
CN112528719A (zh) 推定装置、推定方法以及存储介质