JP6060612B2 - 移動面状況認識装置、移動体、及びプログラム - Google Patents

Description

本発明は、移動面状況認識装置、移動体、及びプログラムに関する。

近年、自動車の安全性や利便性を向上するため、車載カメラを利用した運転支援システムが実用化されている。運転支援システムにおいて、衝突防止等の機能を実現するためには、走行空間における路面状況の認識が非常に重要である。ステレオカメラを用いると視覚情報だけでなく距離情報も得ることができるため、最近ではステレオカメラを利用した運転支援システムに関する研究が多く行われている。

特許文献１では、路面形状や路上物等の路面状況を正確に判定することを目的として、輝度画像及び視差から得た白線の三次元情報を用いて、特徴ヒストグラムテンプレートと比較し、白線の三次元形状を取得している。また、白線の三次元形状を補間することによって、路面三次元形状を認識している。そして、路面三次元形状を撮影したと仮定した画像に変換することにより、その変換画像と路面画像との差を示す差分画像を生成し、この差分画像に基づいて路上物を検出する技術が開示されている。

しかしながら、上記従来の路面状況認識は、ステレオカメラによって撮影された輝度画像と、それから得られたヒストグラム視差と、の両方を使って特徴量を算出することにより、三次元情報に基づいて認識するものである。よって、認識アルゴリズムが複雑であり、カメラ上での実装と、リアルタイム処理が難しいという問題があった。

また、特許文献１に記載された技術では、ステレオカメラの撮像画像から得られたヒストグラムと、基準特徴量とを比較することを行っている。しかしながら、輝度画像の白線抽出と視差とを取得することによって、複数の白線の三次元形状から路面三次元形状を取得し、さらに、路面三次元形状の変換画像と路面画像との差を示す差分画像を生成し、この差分画像に基づいて路上物を検出しているため、路面状況の認識方法が複雑であり、カメラの内部処理としての実装と、リアルタイム性の実現とが困難であるという問題は解消されていない。

そこで本発明は、上記従来技術の問題点に鑑みてなされたものであって、ステレオカメラを用いて得た距離データと視差画像とを用いることで、簡易な構成と処理により、高速度で、路面状況を自動的に認識することができる移動面状況認識装置、移動体、及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の本発明における移動面状況認識装置は、移動体に搭載された第１及び第２の撮像手段によりそれぞれ撮像された第１及び第２の画像を取得するステレオ画像取得手段と、前記第１及び第２の画像に基づいて当該第１及び第２の画像に対応する視差データを含む視差画像を生成する視差生成手段と、前記視差データに基づいて、前記視差画像と当該視差データにより示される高さが最も高い点が関連づけられた第１の視差マップと、前記視差画像と前記視差データにより示される高さが最も低い点が関連づけられた第２の視差マップとを生成する視差マップ生成手段と、前記第１の視差マップで示される高さ及び前記第２の視差マップで示される高さから算出される高さ差分に基づいて認識処理を行う認識処理手段と、を含むことを特徴とする。

本発明によれば、認識処理に視差データを用いることに加え、自動車等の移動体が走行する路面の高さ差分の特徴量を既知の情報として利用することにより、システムを高速化・自動化することができるので、ステレオカメラによる簡易な構成と処理により、高速度で、路面状況を自動的に認識することができる移動面状況認識装置、移動体、及びプログラムを得ることができる。

本発明の実施形態に係る移動面状況認識装置の全体構成について説明する概略構成図である。 本発明の実施形態に係る移動面状況認識装置の機能ブロックについて説明する図である。 本発明の実施形態に係る移動面状況認識装置のステレオカメラから取得されたステレオ画像を用いて視差画像と輝度画像とを生成する機能ブロックについて説明する図である。 本発明の実施形態に係る移動面状況認識装置のステレオカメラの構造と結像関係について説明する図である。 本発明の実施形態に係る移動面状況認識装置のステレオカメラで得られた（ａ）左カメラ画像例、（ｂ）右カメラ画像例について説明する図である。 本発明の実施形態に係る移動面状況認識装置の左右輝度画像と視差画像について説明する図である。 本発明の実施形態に係る移動面状況認識装置の視差画像と、Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐとの関係について説明する図である。 本発明の実施形態に係る移動面状況認識装置の輝度画像と、Ｕ−Ｍａｐ、Ｕ−Ｌｏｗ−Ｍａｐ、及びＵ−Ｈｅｉｇｈｔ−Ｍａｐとの関係について説明する図である。 本発明の実施形態に係る移動面状況認識装置の路面認識処理フローについて説明する図である。 本発明の実施形態に係る移動面状況認識装置の路面状況認識の例について説明する図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明はステレオカメラに関するものであり、簡易な構成で、路面状況をリアルタイムに認識するもの、すなわち、ステレオカメラを用いて距離を測定し、距離情報に基づいて路面状況を認識するものである。

具体的には、自動車等が移動する路面に対して、移動面である路面の高さの差分量を整理し、明記したデータである移動面高さ差分特徴量をメモリにプリセット、すなわち記憶させておく。そして、車載ステレオカメラから視差データを取得し、画像のＸ方向視差画像ヒストグラム（Ｘ方向視差マップ：Ｕ−Ｍａｐ）とＸ方向視差高さマップ(Ｕ−Ｌｏｗ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ)とを算出する。さらに、認識処理において、Ｕ−Ｍａｐから抽出された線の情報に基づき、Ｕ−Ｌｏｗ−Ｍａｐ上及びＵ−Ｈｅｉｇｈｔ−Ｍａｐ上で高さ差分を移動面高さ差分特徴量と比較し、移動面と物体とを認識する。そして、輝度画像との位置関係に基づき、路面範囲、路上物、及び路外物を求めることが特徴になっている。

上記記載の本発明の特徴について、以下図面を用いて詳細に解説する。まず始めに、本発明の実施形態に係る移動面状況認識装置の全体構成について説明する。図１は、本発明の実施形態に係る移動面状況認識装置の全体構成について説明する概略構成図である。

本発明の実施形態に係る移動面状況認識装置は、ハードウェアの全体構成としては図１に示すような移動面状況の認識機能を有したステレオカメラシステム１００である。距離を取得するために左右平行に取り付けられた２台のカメラである左カメラ１０１と右カメラ１０２と、２台のカメラ１０１、１０２で取得された移動面上の被写体の画像であるステレオ画像から、視差データを高速に算出するためのＦＰＧＡ（Field Programmable Gate Array）１０３と、視差マップの生成や認識処理を行うＭＰＵ（Micro Processing Unit）１０６と、撮影画像、視差データ、及び認識結果画像を記憶するフレームバッファ１０４と、認識処理に用いるためにカメラから得られた路面高さ差分特徴量を明記したデータを記憶するメモリ１０７と、路面認識処理の結果やカメラ画像を表示するための画像表示装置１０５と、を有する。

次に、本発明の実施形態に係る移動面状況認識装置の機能ブロックついて詳細に説明する。図２は、本発明の実施形態に係る移動面状況認識装置の機能ブロックについて説明する図である。なお、図２に示す移動面状況認識装置２００は、路面上を移動する移動体、例えば、自動車等に搭載されるものである。

移動面状況認識装置２００は、２台のカメラ１０１、１０２（図１）からステレオ画像を取得するステレオ画像取得部２０１と、取得されたステレオ画像からステレオマッチング処理を行い、視差画像を生成する視差画生成部２０２と、移動する移動面の路面高さ差分特徴量を記憶する路面高さ差分特徴量記憶部２０４と、視差画像上の視差データのヒストグラム等に代表される視差データの頻度を示す視差マップを作成する視差マップ生成部２０３と、視差マップと輝度画像とから認識処理を行う認識処理演算部２０５と、認識処理演算部２０５の認識結果画像を出力表示するための認識結果画像表示部２０６とから構成される。

次に、図２に示した機能ブロックの各構成要素について説明する。ステレオカメラ画像取得部２０１は、左右カメラ１０１、１０２を平行に取り付け、左カメラ１０１と右カメラ１０２とでそれぞれ撮影された画像が出力される。視差画像生成部２０２は、取得されたステレオカメラ画像間で相互に対応する部分画像を検出するステレオマッチング処理を行い、部分画像間の視差で構成され、視差データからなる視差画像を生成する。

ここで、ステレオ画像取得部２０１で取得されたステレオカメラ画像に基づいて行われるステレオマッチング処理について図３から図５を用いて説明する。図３は、本発明の実施形態に係る移動面状況認識装置２００のステレオカメラから取得されたステレオ画像を用いて視差画像と輝度画像とを生成する機能ブロックについて説明する図である。図４は、本発明の実施形態に係る移動面状況認識装置のステレオカメラの構造と結像関係について説明する図である。図５は、本発明の実施形態に係る移動面状況認識装置のステレオカメラで得られた（ａ）左カメラ画像例、（ｂ）右カメラ画像例について説明する図である。

ステレオマッチング処理は、図３における輝度画像入力部３０１及び視差画像計算部３０２で実行される。ステレオ画像取得部２０１で取得されるステレオ画像は、図４に示す左右のカメラレンズとセンサとから取得される２枚のステレオ画像である。図４に示すように左レンズＬ ４０１と右レンズＲ ４０２には、それぞれステレオ画像が入力される。図５に、入力されたステレオ画像の、（ａ）左カメラ画像、及び（ｂ）右カメラ画像の例を示す。左レンズＬ ４０１及び右レンズＲ ４０２により、同じ被写体４０３が左右のセンサにおける結像位置は異なる。

輝度画像入力部３０１には、ステレオ画像の左画像又は右画像から輝度画像が入力される。入力された画像は、ステレオカメラの図示しないメモリ領域に保存される。視差画像計算部３０２では、ステレオ画像取得部２０１で取得されたステレオ画像を用いて、撮影対象における左右画像での結線位置の差、すなわち視差が計算される。図５（ａ）（ｂ）に示すように、左右のレンズ４０１、４０２で結像されたステレオ画像の同じ部分に対してブロックマッチングを施すことにより、視差画像が計算される。

具体的には、左右画像をブロックに分割し、同じ物体の左右画像におけるブロックの差分が一番少ないとき、ブロックがマッチングした部分から視差を求める。すなわち、左画像のブロックの値Ｉｌ（ｘ、ｙ）に対して、右画像のブロックの値Ｉｒ（ｘ＋Δ、ｙ）が見つかった場合、その差分である視差データΔを求める。例えば、１２８０×９６０画素の画像に対して５×５サイズのブロックで分割を行い、各ブロックにおける視差値を求める。ブロックサイズの最適値は実験により調整し、設定する。

図４に示す例では、被写体４０３上にある点Ｏの位置と、左右画像での結像位置である、左レンズ４０１の結像中心、及び右レンズ４０２の結像中心との間の距離は、それぞれΔ１とΔ２である。その差分である視差データは、Δ＝Δ１＋Δ２である。視差画像は画素位置での視差値を有するものである。

次に、左右輝度画像と視差画像の例について図６を用いて説明する。図６は、本発明の実施形態に係る移動面状況認識装置の左右輝度画像と視差画像について説明する図である。本発明の実施形態で生成される視差マップは、視差画像上のＸ方向走査による視差データのヒストグラムであるＵ−Ｍａｐ、それぞれの視差データの最大高さマップであるＵ−Ｈｅｉｇｈｔ−Ｍａｐ、及び最小高さマップであるＵ−Ｌｏｗ−Ｍａｐである。

すなわち、左カメラ１０１（図１）によって取得された（ａ）左画像と、右カメラ１０２によって取得された（ｂ）右画像とが、ステレオ画像取得部２０１（図３）において輝度画像として出力され、視差画像生成部２０２においてステレオマッチング処理が行われ、（ｃ）視差画像がカラー表示される。

次に、視差画像と、Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐとの関係を図７を用いて説明する。図７は、本発明の実施形態に係る移動面状況認識装置の視差画像と、Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐとの関係について説明する図である。

図７において、（ａ）視差画像のうち、Ｘ軸の０座標７０１において、Ｙ軸の０行から３行までに、２、５、３、３の視差データが対応付けられている。そして、（ｂ）Ｕ−Ｍａｐでは、視差データの出現回数、すなわち出現頻度を示す値がＵ−Ｍａｐの値になることから、（ａ）視差画像のＸ軸の０座標７０１において、２は１回、３は２回、５は１回それぞれ出現しているので、（ｂ）Ｕ−ＭａｐのＸ軸の０座標７０２には、２の欄に１、３の欄に２、５の欄に１がそれぞれ定められる。

次に、（ｃ）Ｕ−Ｈｅｉｇｈｔ−Ｍａｐでは、視差データの一番番高い行数がＵ−Ｈｅｉｇｈｔ−Ｍａｐの値になることから、（ａ）視差画像のＸ軸の０座標７０１において、２は０行、３は３行、５は１行が一番高い行数であるので、（ｃ）Ｕ−Ｈｅｉｇｈｔ−ＭａｐのＸ軸の０座標７０３には、２の欄に０、３の欄に３、５の欄に１がそれぞれ定められる。

最後に、（ｄ）Ｕ−Ｌｏｗ−Ｍａｐでは、視差データの一番低い行数がＵ−Ｌｏｗ−Ｍａｐの値になることから、（ａ）視差画像のＸ軸の０座標７０１において、２は０行、３は２行、５は１行が一番低い行数であるので、（ｄ）Ｕ−Ｌｏｗ−ＭａｐのＸ軸の０座標７０４には、２の欄に０、３の欄に２、５の欄に１がそれぞれ定められる。以下、（ａ）視差画像のＸ軸の０座標以降の視差データについても同様に定めることができる。

次に、輝度画像と、Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐとの関係の例を図８を用いて説明する。図８は、本発明の実施形態に係る移動面状況認識装置の輝度画像と、Ｕ−Ｍａｐ、Ｕ−Ｌｏｗ−Ｍａｐ、及びＵ−Ｈｅｉｇｈｔ−Ｍａｐとの関係について説明する図である。

路面高さ差分特徴量記憶部２０４（図２）では、検出対象の路面高さ差分特徴量が処理前にプリセット、すなわち記憶される。路面高さ差分特徴量は、路肩と物体とを判別するための基準として利用される。認識処理演算部２０５では、視差画像に基づいて、まず、３つの視差マップであるＵ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐを生成する。そして、生成された視差マップに対し、路肩、路面の面上に存在する路上物、及び路面の外部に存在する路外物を認識する。

例えば、図８では、（ａ）輝度画像において、建物８０１は、（ｂ）Ｕ−Ｍａｐにおいて何らかの影８０３として認識されるが、（ｃ）Ｕ−Ｌｏｗ−Ｍａｐでは、路肩８０３として認識され、（ｄ）Ｕ−Ｈｅｉｇｈｔ−Ｍａｐでは、建物８０１が路外物８０１として認識されている。また、（ａ）輝度画像において、自動車８０２は、（ｂ）Ｕ−Ｍａｐにおいて、視差画像に存在するノイズを除去するノイズ近似、並びに線近似がされた後、何らかの線分８０２として認識されるが、（ｄ）Ｕ−Ｈｅｉｇｈｔ−Ｍａｐでは、自動車８０２が路上物８０２として認識されている。

次に、本発明の実施形態における移動面状況認識装置の具体的な処理フローを図９を用いて説明する。図９は、本発明の実施形態に係る移動面状況認識装置の路面認識処理フローについて説明する図である。まず、輝度画像と視差画像とに基づいて、ステップ（以下、「Ｓ」という。）９０１の処理において、Ｕ−Ｍａｐ、Ｕ−Ｈｅｉｇｈｔ−Ｍａｐ、及びＵ−Ｌｏｗ−Ｍａｐが生成される。そして、Ｓ９０２の処理では、入力されたＵ−Ｍａｐに基づいて、ノイズの除去と線分の近似処理が行われ、対象物の抽出処理が行われる。

そして、Ｓ９０３の処理では、Ｕ−Ｍａｐ上で抽出された線分に対して、Ｕ−Ｌｏｗ−Ｍａｐ上とＵ−Ｈｅｉｇｈｔ−Ｍａｐ上との位置関係に基づいて、線分毎に高さ差分が算出される。この算出された高さ差分と視差マップとに基づいて、実際の高さずれを求め、予め路面高さ差分特徴量記憶部２０４に記憶された路面高さ差分特徴量と比較し、路肩と物体とが認識される。

具体的には、実際の高さずれが路面高さ差分特徴量より大きい場合、物体として認識する。また、実際の高さずれが路面高さ差分特徴量より小さい場合、路肩として認識する。そして、Ｓ９０４の処理では、路肩の輝度画像上での位置関係に基づいて、路面範囲を求め、さらに、路面範囲に基づいて、認識された物体を、路上物と路外物とに分類する。なお、認識結果画像表示部２０６（図２）は、カメラからの各種画像や認識結果画像（路肩と物体とを線と枠等で重畳表示した画像）をユーザが確認するため、画像として出力する機能を有する。

なお、図９に示した本発明の実施形態における充電装置の各動作フローは、コンピュータ上のプログラムに実行させることもできる。すなわち、移動面状況認識装置１００の図示しない制御部に内蔵される図示しないＣＰＵが、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成される図示しない記憶部に格納されたプログラムをロードし、プログラムの各処理ステップが順次実行されることによって行われる。

本発明の実施形態における認識結果処理画像を図１０を用いて説明する。図１０は、本発明の実施形態に係る移動面状況認識装置の路面状況認識の例について説明する図である。図１０では、（ａ）輝度画像において、建物８０１は、（ｂ）Ｕ−Ｍａｐにおいて何らかの影８０３として認識されるが、（ｄ）Ｕ−Ｈｅｉｇｈｔ−Ｍａｐでは、路外物８０１として認識され、（ｅ）認識結果画像として、建物８０１として認識される。

また、（ａ）輝度画像において、自動車８０２は、（ｄ）Ｕ−Ｈｅｉｇｈｔ−Ｍａｐでは、路上物８０２として認識され、（ｅ）認識結果画像として自動車８０２として認識される。さらに、（ａ）輝度画像において、道路標識８０４は、（ｃ）Ｕ−Ｌｏｗ−Ｍａｐにおいて路肩８０５として認識され、（ｅ）認識結果画像として道路標識８０４として認識される。このように、（ｅ）認識結果画像では、路肩を線として、路上物の物体と路外物の物体とを違う色として、輝度画像に重畳表示させて出力する。

以上説明したように、本発明によれば、ステレオカメラを備えた移動面認識用カメラシステムにおいて、ステレオカメラによって取得された視差情報と、事前に記憶しておいた移動面高さ差分特徴量とを用いることにより、路肩の認識、及び路外物と路上物との判別といった路面状況を、高速度で自動的に認識することができる移動面状況認識装置、移動体、及びプログラムを得ることが可能となった。

以上、本発明の好適な実施形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。

１００ ステレオカメラシステム
１０１ 左カメラ
１０２ 右カメラ
１０３ ＦＰＧＡ
１０４ フレームバッファ
１０５ 画像表示装置
１０６ ＭＰＵ
１０７ メモリ
２００ 移動面状況認識装置
２０１ ステレオ画像取得部
２０２ 視差画像生成部
２０３ 視差マップ生成部
２０４ 路面高さ差分特徴量記憶部
２０５ 認識処理演算部
２０６ 認識結果画像表示部
３０１ 輝度画像入力部
３０２ 視差画像計算部
４０１ 左レンズ
４０２ 右レンズ
４０３ 被写体
８０１ 建物、路外物
８０２ 自動車、線分
８０３ 影、路肩
８０４ 道路標識
８０５ 路肩

特開２００２−１５０３０２号公報

Claims (7)

1. 移動体に搭載された第１及び第２の撮像手段によりそれぞれ撮像された第１及び第２の画像を取得するステレオ画像取得手段と、
   前記第１及び第２の画像に基づいて当該第１及び第２の画像に対応する視差データを含む視差画像を生成する視差生成手段と、
   前記視差データに基づいて、前記視差画像と当該視差データにより示される高さが最も高い点が関連づけられた第１の視差マップと、前記視差画像と前記視差データにより示される高さが最も低い点が関連づけられた第２の視差マップとを生成する視差マップ生成手段と、
   前記第１の視差マップで示される高さ及び前記第２の視差マップで示される高さから算出される高さ差分に基づいて認識処理を行う認識処理手段と、
   を含むことを特徴とする移動面状況認識装置。
2. 前記両撮像手段から得られた前記被写体の前記移動面からの高さである移動面高さ差分特徴量が予め記憶されている移動面高さ差分特徴量記憶手段と、
   前記視差マップと前記移動面高さ差分特徴量とに基づいて、前記被写体を構成する物体を認識する認識処理演算手段と、
   を含むことを特徴とする請求項１記載の移動面状況認識装置。
3. 前記被写体を構成する物体は、前記移動面の外部に存在する移動面外物と、前記移動面の面上に存在する移動面上物とを含み、前記認識処理演算手段は、前記移動面を認識した後、前記移動面外物と移動面上物とを区別して認識することを特徴とする請求項１または２に記載の移動面状況認識装置。
4. 前記出力手段は、前記被写体の画像と、前記被写体を構成する物体とを重畳して表示することを特徴とする請求項１から３の何れか１項に記載の移動面状況認識装置。
5. 前記視差マップ生成手段は、前記視差マップを生成する前に、前記視差画像に含まれるノイズを除去することを特徴とする請求項１から４の何れか１項に記載の移動面状況認識装置。
6. 移動体に搭載された第１及び第２の撮像手段によりそれぞれ撮像された第１及び第２の画像を取得するステレオ画像取得手段と、
   前記第１及び第２の画像に基づいて当該第１及び第２の画像に対応する視差データを含む視差画像を生成する視差生成手段と、
   前記視差データに基づいて、前記視差画像と当該視差データにより示される高さが最も高い点が関連づけられた第１の視差マップと、前記視差画像と前記視差データにより示される高さが最も低い点が関連づけられた第２の視差マップとを生成する視差マップ生成手段と、
   前記第１の視差マップで示される高さ及び前記第２の視差マップで示される高さから算出される高さ差分に基づいて認識処理を行う認識処理手段と、
   を含むことを特徴とする移動体。
7. 移動体に搭載された第１及び第２の撮像手段によりそれぞれ撮像された第１及び第２の画像を取得する処理と、
   前記第１及び第２の画像に基づいて当該第１及び第２の画像に対応する視差データを含む視差画像を生成する処理と、
   前記視差データに基づいて、前記視差画像と当該視差データにより示される高さが最も高い点が関連づけられた第１の視差マップと、前記視差画像と前記視差データにより示される高さが最も低い点が関連づけられた第２の視差マップとを生成する処理と、
   前記第１の視差マップで示される高さ及び前記第２の視差マップで示される高さから算出される高さ差分に基づいて認識処理を行う処理と、
   を含むことを特徴とするプログラム。