JP2008026998A - 障害物位置算出システム、及び障害物位置算出方法 - Google Patents

Abstract

【課題】視差算出の対象となる対象領域の周辺領域の画像データも含めて視差を算出することにより、より精度良く障害物が存在する位置を算出することができる障害物位置算出システム、及び障害物位置算出方法を提供する。
【解決手段】車両の周辺を撮像する複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物の位置を算出する。複数の遠赤外線撮像装置から取得した画像データを所定の大きさの対象領域に分割し、分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定する。拡張領域ごとに複数の画像間で相関値を算出し、算出された相関値に基づいて一の画像データ中の拡張領域に対応する他の画像データ中の領域との視差を算出する。視差が略一致する隣接する領域を結合して障害物候補領域として特定し、特定された障害物候補領域の代表点の実際の位置を推算する。
【選択図】図５

Description

本発明は、車両の周辺を撮像する遠赤外線撮像装置で撮像した画像データに基づいて、精度良く障害物が存在する位置を算出することができる障害物位置算出システム、及び障害物位置算出方法に関する。

自動車等の車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外線撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。

例えば、遠赤外線撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度値を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外線撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間の存在を検出することが可能となっている。

そして、例えば特許文献１では、人間の存在を障害物の存在として検出した場合、障害物までの距離及び方向を算出して、衝突の可能性を算出することにより、ヘッドアップディスプレイに警告表示を出力する、警笛を鳴動する等の運転者に対する注意喚起手段を備える周辺監視装置が開示されている。
特開２００１−０１８７３８号公報

特許文献１では、左右に並置された遠赤外線撮像装置で撮像された画像データから障害物として検出された人間を示す領域の視差を求め、三角測量の原理を用いて障害物までの距離及び障害物が存在する方向を推定している。遠赤外線撮像装置で撮像した画像データは、他の種類の撮像装置で撮像された画像データと比較して色情報、あるいは画像スペクトルの高周波成分が少ない。そのため、遠赤外線撮像装置で撮像された画像は、視差を求める場合に比較される画像データ間での差異が小さく、相関の大小だけでは領域が一致しているか否かを判断することが困難になるおそれがあるという問題点があった。

例えば左右に配置された遠赤外線撮像装置で撮像された画像データに基づいて相関値を算出する場合、左右の画像に同一の対象物が映っているか否かを判定するに止まっており、例えば「電柱の前の人間」といった、複数の対象物の位置関係を考慮しつつ相関値を算出することはできなかった。したがって、相違する複数の対象物を含む一の障害物候補領域について視差を求めることになり、検出すべき障害物までの距離を正確に求めることができない。

また、遠赤外線撮像装置を車両に搭載する場合、対象物までの距離が３０ｍ乃至８０ｍである遠近双方に存在する対象物が同時に撮像される。例えば距離３０ｍの対象物と距離８０ｍの対象物とが一の画像内で撮像されている場合、視差を求める対象を正確に特定することが困難であり、類似する距離に存在する異なる対象物間であるにもかかわらず高い相関値が算出されるおそれがあり、結果として誤った視差が算出される場合が生じうる。

本発明は、斯かる事情に鑑みてなされたものであり、視差算出の対象となる対象領域の周辺領域の画像データも含めて視差を算出することにより、より精度良く障害物が存在す
る位置を算出することができる障害物位置算出システム、及び障害物位置算出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物位置算出システムは、車両の周辺を撮像する複数の遠赤外線撮像装置と、該複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備え、複数の遠赤外線撮像装置で撮像された画像に基づいて障害物の位置を算出する障害物位置算出システムにおいて、前記検出装置は、前記複数の遠赤外線撮像装置から取得した画像を所定の大きさの対象領域に分割する領域分割手段と、分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定する拡張領域設定手段と、設定された拡張領域ごとに複数の画像間で相関値を算出する相関値算出手段と、算出された相関値に基づいて一の画像中の拡張領域に対応する他の画像中の領域との視差を算出する視差算出手段と、算出された視差が略一致する隣接する領域を結合して障害物候補領域として特定する障害物候補領域特定手段と、特定された障害物候補領域の代表点の実際の位置を推算する位置推算手段とを備えることを特徴とする。

第２発明に係る障害物位置算出システムは、第１発明において、前記領域分割手段は、前記複数の遠赤外線撮像装置から取得した画像データを二値化処理する手段と、二値化処理されたデータに基づいて位置算出の対象となる範囲を特定する手段とを備え、画像中の特定された範囲に相当する領域を所定の大きさの対象領域に分割するようにしてあることを特徴とする。

第３発明に係る障害物位置算出システムは、第１又は第２発明において、矩形領域として前記対象領域を設定してあり、前記周辺領域は、対象領域ごとに矩形領域の各辺に直交する方向に存在する矩形領域であることを特徴とする。

第４発明に係る障害物位置算出方法は、車両の周辺を撮像する複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、検出された障害物の位置を算出する障害物位置算出方法において、前記複数の遠赤外線撮像装置から取得した画像を所定の大きさの対象領域に分割し、分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定し、設定された拡張領域ごとに複数の画像間で相関値を算出し、算出された相関値に基づいて一の画像中の拡張領域に対応する他の画像中の領域との視差を算出し、算出された視差が略一致する隣接する領域を結合して障害物候補領域として特定し、特定された障害物候補領域の代表点の実際の位置を推算することを特徴とする。

第１発明、及び第４発明では、車両の周辺を撮像する複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、検出された障害物の位置を算出する。複数の遠赤外線撮像装置から取得した画像を所定の大きさの対象領域に分割し、分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定する。設定された拡張領域ごとに複数の画像間で相関値を算出し、算出された相関値に基づいて一の画像中の拡張領域に対応する他の画像中の領域との視差を算出する。算出された視差が略一致する隣接する領域を結合して障害物候補領域として特定し、特定された障害物候補領域の代表点の実際の位置を推算する。相関値を算出する対象領域を拡張し、拡張された拡張領域について相関値を算出することにより、障害物の周辺の情報、例えば対象物と同一の物体に一部が撮像されている、対象物の前に存在する障害物が撮像されている、対象物の後ろに存在する障害物が撮像されている等の状態を考慮して相関値を算出することができる。したがって、輝度変化が比較的小さい領域、対象物に相当する領域と類似する領域が対象範囲内に存在する場合等であっても、障害物として検出すべき対象
物について対応する点、ブロック、領域等を精度良く特定することができ、左右画像の視差をより精度良く算出することが可能となる。

第２発明では、複数の遠赤外線撮像装置から取得した画像データを二値化処理することにより位置算出の対象となる範囲を特定し、画像中の特定された範囲に相当する領域を所定の大きさの対象領域に分割する。これにより、例えば二値化処理により得ることができた高輝度領域の代表点について実際の距離を推算することができ、輝度変化が比較的小さい領域、対象物に相当する領域と類似する領域が対象範囲内に存在する場合等であっても、障害物として検出すべき対象物について対応する点、ブロック、領域等を精度良く特定することができ、左右画像の視差をより精度良く算出することが可能となる。

第３発明では、矩形領域として対象領域を設定してあり、周辺領域は、対象領域ごとに矩形領域の各辺に直交する方向に存在する矩形領域である。これにより、画像の上下方向又は左右方向に輝度変化の依存性を有する可能性が高い対象物、例えば歩行者を検出する場合に、上下左右の周辺領域における周囲の輝度値を考慮した上で対象領域の相関値を算出することができ、左右の画像から視差を正確に算出することが可能となる。

本発明によれば、相関値を算出する対象領域を拡張し、拡張された拡張領域について相関値を算出することにより、障害物の周辺の情報、例えば対象物と同一の物体に一部が撮像されている、対象物の前に存在する障害物が撮像されている、対象物の後ろに存在する障害物が撮像されている等の状態を考慮して相関値を算出することができる。したがって、輝度変化が比較的小さい領域、対象物に相当する領域と類似する領域が対象範囲内に存在する場合等であっても、障害物として検出すべき対象物について対応する点、ブロック、領域等を精度良く特定することができ、左右画像の視差をより精度良く算出することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方に存在する障害物までの距離を算出する場合を例として説明する。

図１は、本発明の実施の形態に係る障害物位置算出システムの構成を示す模式図である。本実施の形態では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内に並置している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１、１の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態に係る障害物位置算出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取っ
た輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。

図３は、本発明の実施の形態に係る障害物位置算出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、遠赤外線撮像装置１、１から取得した画像データを、所定の大きさ、例えば３×３画素の対象領域に分割する。ＬＳＩ３３は、分割された対象領域を周辺領域まで拡張した拡張領域を設定する。ＬＳＩ３３は、拡張領域について、遠赤外線撮像装置１、１から取得した左右の画像データの視差を算出し、対象物までの距離を三角測量の原理に基づいて算出する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物位置算出システムの検出装置３のＬＳＩ３３の障害物位置算出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、読み出した画像データを所定の大きさの対象領域に分割する（ステップＳ４０２）。分割する対象領域の設定方法は特に限定されるものではない。例えばｍ×ｎ（ｍ、ｎは自然数）画素からなる方形領域として設定しても良い。本実施の形態では、３×３画素からなる方形領域として対象領域を設定する。

ＬＳＩ３３は、分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定する（ステップＳ４０３）。拡張領域を設定する方向及び大きさは、検出すべき対象物に応じて相違する。例えば検出すべき対象物が歩行者である場合、二値化処理による高輝度領域は歩行者の頭部を中心とした領域となる。したがって、対象領域を単純に周囲方向へ拡張するよりも、上下方向及び左右方向に拡張する方が、背景、路面等の他の対象物との輝度差を検出しやすく、より精度良く視差を算出することが可能となる。

例えば対象領域が３×３画素からなる方形領域である場合、方形領域の各辺方向へ対象領域を拡張することが好ましい。図５は、対象領域が方形領域である場合の拡張領域の設
定例を示す図である。

従来の視差算出には、３×３画素からなる対象領域５１を基準として、左右の遠赤外線撮像装置１、１で撮像された画像の相関値を算出して、対応する点、ブロック、領域等を探索していた。図６は、対象領域５１の変動による障害物候補領域として検出される領域の変動例を示す図である。図６（ａ）に示すように、対象領域５１が比較的狭小である場合には、対象領域間で高い相関が検出される領域は少なく、障害物候補領域を正確に特定することは困難である。

そこで対象領域５１を、図５（ｂ）に示すように周辺領域５２を含む拡張領域、例えば５×５画素からなる領域まで拡張して、拡張領域を基準として、左右の遠赤外線撮像装置１、１で撮像された画像の相関値を算出して、対応する点、ブロック、領域等を探索する。この場合、図６（ｂ）に示すように、拡張領域間で高い相関が検出される領域が比較的多く、障害物候補領域をより特定しやすくなる。したがって、左右の遠赤外線撮像装置１、１で撮像された画像間で算出された相関値の信頼性が高くなり、両画像間で対応する点、ブロック、領域等を探索することがより容易となり、視差を確実に求めることにより検出対象となる障害物の全体像を精度良く推算することができる。

また、対象領域５１を単純に５×５画素からなる領域まで拡張するのではなく、検出すべき対象物の特徴に応じて拡張する方向を特定することがより好ましい。例えば、検出すべき対象物が歩行者である場合、画像の上下方向及び左右方向にのみ背景画像との間に強い依存性を有する。この場合、図５（ｃ）に示すように、対象領域５１を、方形領域の各辺の外側方向、すなわち対象領域５１の上下方向及び左右方向にのみ拡張した部分拡張領域５３、５３、５３、５３を含む拡張領域を基準として、左右の遠赤外線撮像装置１、１で撮像された画像の相関値を算出して、対応する点、ブロック、領域等を探索する。

図６（ｃ）は、対象領域５１の上下方向及び左右方向にのみ拡張した部分拡張領域５３、５３、５３、５３を含む拡張領域を基準とした場合の障害物候補領域の検出状態を示している。周辺の背景画像等との依存関係を考慮することにより、単純に対象領域５１を拡張した場合の図６（ｂ）と比較した場合、より障害物候補領域を特定しやすく、左右の遠赤外線撮像装置１、１で撮像された画像間で算出された相関値の信頼性が高くなり、両画像間で対応する点、ブロック、領域等を探索することがより容易となり、多くの領域で視差を確実に求めることにより検出対象となる障害物の全体像を精度良く推算することができる。

ＬＳＩ３３は、設定された拡張領域ごとに画像単位で相関値を算出する（ステップＳ４０４）。例えば左の遠赤外線撮像装置１で撮像された画像に基づいて設定された拡張領域を基準として、右の遠赤外線撮像装置１で撮像された画像中の該拡張領域と同一の形状、同一の大きさの領域群との間の相関値を算出する。なお、拡張領域と同一の形状、同一の大きさの領域群とは、例えば視差＝１、２、・・・、ｎ（ｎは自然数）の場合の領域群を意味している。

ＬＳＩ３３が、拡張領域ごとに画像単位で相関値Ｒを算出する場合、相関値Ｒは（数１）に基づいて算出される。

（数１）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは左の遠赤外線撮像装置１で撮像された画像に基づいて設定された拡張領域内におけるｋ番目の画素の画素値を、Ｇｋは右の遠赤外線撮像装置１で撮像された画像中の該拡張領域と同一の形状、同一の大きさの領域群におけるｋ番目の画素の画素値を、それぞれ示している。

ＬＳＩ３３は、視差ごとに算出した相関値が最大である視差を抽出する（ステップＳ４０５）。すなわち算出された相関値が最大である視差で障害物が存在する可能性が高い。

ＬＳＩ３３は、抽出された視差が略一致する隣接する領域を結合して障害物候補領域として特定する（ステップＳ４０６）。ＬＳＩ３３は、特定された障害物候補領域の代表点の実際の位置を推算する（ステップＳ４０７）。例えば障害物候補領域の重心を代表点とする。

具体的には、ＬＳＩ３３は、左右の遠赤外線撮像装置１、１で撮像された画像にて対応している領域の視差に基づいて、車両前部中心点と検出された障害物との距離、及び障害物の方向を示す車両前部中心点からの角度を算出する。方向を示す角度は、車両の進行方向に対して左側を正の角度、右側を負の角度として算出する。

ＬＳＩ３３は、算出した障害物までの距離及び障害物が存在する方向に基づいて、公知のアルゴリズムに沿って衝突判定処理を実行し、衝突する可能性が高い場合には、障害物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の障害物の存在を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の障害物の存在を運転者へ報知する。

障害物として検出する対象物が歩行者ではない場合には、拡張領域は上限方向及び左右方向に拡張することに限定されない。例えば道路上の白線検出に上述したシステムを適用する場合、路面上の白線が斜め方向に延伸していることから、対象領域を斜め４方向に拡張した拡張領域とすることにより、精度良く白線を検出することが可能となる。このように、検出する対象物に応じて、背景画像との依存方向が相違することから、対象物に応じて拡張領域を設定することにより、より精度良く相関値を算出することができ、障害物の位置を推定することが可能となる。

以上のように本実施の形態によれば、相関値を算出する対象領域を拡張し、拡張された拡張領域について相関値を算出することにより、障害物の周辺の情報、例えば対象物と同一の物体に一部が撮像されている、対象物の前に存在する障害物が撮像されている、対象物の後ろに存在する障害物が撮像されている等の状態を考慮して相関値を算出することができる。したがって、輝度変化が比較的小さい領域、対象物に相当する領域と類似する領域が対象範囲内に存在する場合等であっても、障害物として検出すべき対象物について対
応する点、ブロック、領域等を精度良く特定することができ、左右画像の視差を精度良く算出することにより障害物までの距離を正確に推定することが可能となる。

なお、対象領域が正方領域である場合を例に説明してきたが、対象領域は正方領域に限定されるものではなく、障害物が存在する可能性のある領域であれば形状は特に限定されない。また、撮像された画像全てを対象領域に分割することに限定されるものでもなく、例えば二値化処理を実行した後の高輝度領域に対してのみ、領域分割を行っても良い。

また、上述した実施の形態では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物位置算出システムの構成を示す模式図である。 本発明の実施の形態に係る障害物位置算出システムの遠赤外線撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る障害物位置算出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態に係る障害物位置算出システムの検出装置のＬＳＩの障害物位置算出処理の手順を示すフローチャートである。 対象領域が方形領域である場合の拡張領域の設定例を示す図である。 対象領域の変動による障害物候補領域として検出される領域の変動例を示す図である。

符号の説明

１ 遠赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 映像出力部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (4)

1. 車両の周辺を撮像する複数の遠赤外線撮像装置と、
   該複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
   を備え、複数の遠赤外線撮像装置で撮像された画像に基づいて障害物の位置を算出する障害物位置算出システムにおいて、
   前記検出装置は、
   前記複数の遠赤外線撮像装置から取得した画像を所定の大きさの対象領域に分割する領域分割手段と、
   分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定する拡張領域設定手段と、
   設定された拡張領域ごとに複数の画像間で相関値を算出する相関値算出手段と、
   算出された相関値に基づいて一の画像中の拡張領域に対応する他の画像中の領域との視差を算出する視差算出手段と、
   算出された視差が略一致する隣接する領域を結合して障害物候補領域として特定する障害物候補領域特定手段と、
   特定された障害物候補領域の代表点の実際の位置を推算する位置推算手段と
   を備えることを特徴とする障害物位置算出システム。
2. 前記領域分割手段は、
   前記複数の遠赤外線撮像装置から取得した画像データを二値化処理する手段と、
   二値化処理されたデータに基づいて位置算出の対象となる範囲を特定する手段と
   を備え、
   画像中の特定された範囲に相当する領域を所定の大きさの対象領域に分割するようにしてあることを特徴とする請求項１記載の障害物位置算出システム。
3. 矩形領域として前記対象領域を設定してあり、
   前記周辺領域は、対象領域ごとに矩形領域の各辺に直交する方向に存在する矩形領域であることを特徴とする請求項１又は２記載の障害物位置算出システム。
4. 車両の周辺を撮像する複数の遠赤外線撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、検出された障害物の位置を算出する障害物位置算出方法において、
   前記複数の遠赤外線撮像装置から取得した画像を所定の大きさの対象領域に分割し、
   分割された対象領域、及び該対象領域の周囲に存在する周辺領域とで構成される拡張領域を設定し、
   設定された拡張領域ごとに複数の画像間で相関値を算出し、
   算出された相関値に基づいて一の画像中の拡張領域に対応する他の画像中の領域との視差を算出し、
   算出された視差が略一致する隣接する領域を結合して障害物候補領域として特定し、
   特定された障害物候補領域の代表点の実際の位置を推算することを特徴とする障害物位置算出方法。

Images