JP4744823B2 - 周辺監視装置および俯瞰画像表示方法 - Google Patents

Description

この発明は、車両等の移動体周辺を当該移動体に搭載した魚眼カメラにより監視する移動体の周辺監視技術に係り、特に魚眼カメラにより撮像した画像に基いた俯瞰画像が得られるようして、運転者にとってより安全に運転し得る移動体周辺監視装置および俯瞰画像表示方法に関する。

従来、移動体に用いられる周辺監視装置は、複数のカメラによって撮像された画像に基き合成画像を生成する画像処理技術を用いて、移動体運転の際の安全運転支援に利用される。

例えば、特許文献１によれば、周辺監視装置１は、図１３に示すように、移動体である２の任意の位置に複数のカメラ３が取り付けられている。周辺監視装置１は、任意の位置に取り付けられた複数のカメラ３にて取得した画像に基き合成画像を生成し、この合成画像を車両２内において表示させることにより、車両２の安全運転に寄与することができるようにしている。合成画像は、車両２の上方に仮想視点Ｐが予め設定され、この仮想視点Ｐから車両２を俯瞰した画像となるように、画像処理を行う。

特許文献１では、俯瞰画像を生成するにあたっては、合成画像の画素と、各カメラ画像の画素データとの対応関係が記述されたマッピングテーブルが用いられる。

この仮想視点Ｐからの俯瞰した画像は、車両２の周縁の一部が含まれる広角画像であるので、車両２の運転者としてはこの広角画像を見ながら安全に運転することができる。

他方、周辺監視装置１によれば、各カメラ３には標準レンズ装着の通常のカメラが使用されるために、これらのカメラ３でカバーされる画像領域が比較的狭い。移動体の運転上必要な領域をカバーするためには、多数のカメラを設置して対応せざるを得なかった。この場合、多数の画像を合成処理する必要があるので、画像処理が煩雑になると共に、より多くの処理時間を要することとなる。

また、予めマッピングテーブルを作成しておく必要があるが、その作成にはかなりの労力と時間を要することになる。

また、他の車両周辺監視装置として、特許文献２に開示されたものがある。

この特許文献２によれば、周辺監視装置１１は、図１４に示すように、車両１２の車内の運転者の死角位置に、死角カメラ１３が、また、車両１２の後部トランクの中央位置には、魚眼レンズを使用した魚眼カメラ１４が後向きに設置されている。魚眼カメラ１４から得られた移動体後方の魚眼画像は、通常の２次元画像に正規化処理されて、運転者に移動体後方の死角部分の通常画像を提供できるようになっている。

この周辺監視装置１１によれば、車両１２が、前方または後方へ移動する場合に、この前方または後方に存在する障害物や後方に進入してくる車両等の物体が視認可能領域内において、目視可能となり、より安全運転に寄与することができるようにしている。
特許第３３００３３４号公報 特開２００３−１９６６４５号公報

本発明は、前記の事情に鑑みてなされたもので、車両等の周辺を少数の魚眼カメラで撮像して広角な画像を得る一方で、この魚眼画像を高速に俯瞰画像に変換することができる周辺監視装および俯瞰画像表示方法を提供することを目的とする。

前記目的を達成するために、本発明に係る周辺監視装置は、移動体に搭載され、移動体周辺の魚眼画像を入力する魚眼カメラと、前記魚眼カメラにより得られた魚眼画像の少なくとも一部に関し、前記魚眼カメラに固有の情報を含む正規化パラメータを用いて、前記魚眼画像を通常の２次元画像に正規化するための正規化処理によって、前記魚眼カメラが搭載された位置における正規化された２次元画像に変換する正規化処理手段と、前記２次元画像を用いて、前記移動体を俯瞰する仮想位置からみた前記移動体およびその周辺を表す俯瞰画像を求めるための変換パラメータを算出する算出手段と、この算出手段により求められた変換パラメータおよび前記正規化パラメータを用いて、前記俯瞰画像の各画素に対応する位置データを前記魚眼画像から順次取出すことにより俯瞰画像を作成する画像作成手段と、この画像作成手段により作成された俯瞰画像を表示する表示装置と、を備え、前記魚眼画像の少なくとも一部は、前記移動体を俯瞰する仮想位置からみたときの互いの位置関係が既知である地面上に置かれた少なくとも４点の基準点で構成された基準点群を前記魚眼カメラにより撮像した基準魚眼画像のうちの前記基準点群を含む部分画像である部分基準魚眼画像であり、前記正規化処理手段は、前記魚眼カメラにより得られた前記部分基準魚眼画像を、前記正規化パラメータを用いて前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換し、前記変換パラメータの算出手段は、前記部分基準２次元画像における前記基準点群を選択的に指定する手段を有し、前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から前記変換パラメータを算出する、ことを特徴とするものである。

一方、前記目的を達成するために、本発明に係る俯瞰画像表示方法は、移動可能な物体に取り付けられた魚眼カメラにより前記移動可能な物体を俯瞰する仮想位置からみたときの互いの位置関係が既知である地面上に置かれた少なくとも４点の基準点で構成された基準点群を撮像した第１の魚眼画像のうちの前記基準点群を含む部分画像である部分基準魚眼画像を第１のメモリに記憶する画像記憶ステップと、前記魚眼カメラに固有の情報を含む正規化パラメータを用いて、前記魚眼カメラにより得られた前記部分基準魚眼画像を、通常の２次元画像に正規化するための正規化処理によって前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換するステップと、前記部分基準２次元画像における前記基準点群を選択的に指定するステップと、前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から、前記部分基準２次元画像から前記移動可能な物体を俯瞰する仮想位置からみた前記移動可能な物体およびその周辺を表す俯瞰画像を求めるための変換パラメータを算出して第２のメモリに記憶するステップと、前記変換パラメータおよび前記正規化パラメータを用いて、前記魚眼カメラで取得する第２の魚眼画像に関し、前記俯瞰画像の各画素データに対応する前記第２の魚眼画像中の画像データの位置を順次計算し、当該画像データを前記俯瞰画像の画素データとして順次取り出して表示装置に供給する表示ステップと、を備えることを特徴とする方法である。

本発明によれば、車両等の移動体の所定位置に設置された魚眼カメラにより、車両等の周囲の死角となるエリアを含んで撮像した画像を基に、車両等の上方に仮想視点を設定して俯瞰図を作成することができる。

従って、この俯瞰図を車両の周囲の運転席側において目視可能にしたから、運転者にとって車両の周辺の障害物等を容易に確認することができ、この障害物等の物体を撥ねたり衝突したりすることを未然に防止して安全運転に寄与することができる周辺監視装置および俯瞰画像表示方法を提供することができる。

本発明に係る移動体周辺監視装置の実施形態について、添付図面を参照して説明する。

図１ないし図３は、本発明による周辺監視装置３０の実施形態を示す概要図である。

この周辺監視装置３０は、図１に示すように、自家用自動車等の車両３１の両サイドミラー３５に魚眼カメラ３６が搭載され、車両３１の運転中または運転を開始する際、運転者から見て死角となる視野を含んだ有効視野α１およびα２の広角の魚眼画像が得られる。図示を省略したが、たとえばさらに車両３１の前方および後方にも魚眼カメラ３６を備えることにより、車両３１の全周囲を魚眼カメラでカバーすることができる。

また、周辺監視装置３０は、複数（ｎ）の魚眼カメラ３６で得られた魚眼画像を用いて、仮想視点Ｐから見た俯瞰画像を生成するため、後述する俯瞰画像作成手段３７を備える。俯瞰画像は、図２にその概念を示すように、車両３１の上方位置に仮想視点Ｐを設定し、この仮想視点Ｐから車両およびその周辺を俯瞰した場合の俯瞰図であり、車両３１に取り付けられた魚眼カメラによりえられる魚眼画像を用いて作成するが、その作成方法の詳細は後述する。得られた俯瞰画像は、画像データ合成手段４０を介して、例えばナビゲーション用表示装置４２や任意の表示装置に表示される。

周辺監視装置３０は、図３に示すように、運転者が操作可能なコマンド入力部３２および車両３１の周辺に設けられる各種センサ（図示せず）のセンサ情報入力部３３を有し、これらにより入力された信号が制御部３４、信号処理手段３８に供給される。

センサ情報入力部３３は、ミリ波などのレーダーによるアクティブセンシング機器などから得られる車両外部の近傍に存在する立体物などの検出信号や、車両３１の状態（ギア・ポジション、操舵角、車速度）などの各種車両情報を図示しないセンサにより検出している。

信号処理手段３８は、センサ入力信号Ｓｂを受信して、たとえば車両周辺の立体物が存在し車両の運行に障害を与えるおそれがある障害物となる場合には、障害物特定データ信号Ｓｃ２を生成して画像認識装置３９へ供給する。

画像認識装置３９は、俯瞰画像作成手段３７から得られる画像データ信号Ｓｄ（ＳＤ１〜Ｓｄｎ）を用いて、運転する上で注意すべき領域を画像認識手法を用いて行うが、この場合に障害物特定データ信号Ｓｃ２も参照することが望ましい。画像認識装置３９は、要注意領域を認識した場合には要注意領域データ信号Ｓｅを出力するとともに、注意を喚起するための音声ガイダンス信号Ｓｆを生成する。

この音声ガイダンス信号Ｓｆは、車両３１の、例えば運転席に設置されるスピーカ４３にて音声変換され、このスピーカ４３から音声ガイダンスが発信されるようになっている。

画像認識装置３９からの要注意領域データ信号Ｓｅは画像データ合成手段４０に入力される一方、画像データ合成手段４０は、この要注意領域データ信号Ｓｅおよび俯瞰画像作成手段３７から出力される俯瞰統合画像データ信号Ｓｉを受信して、俯瞰画像中に要注意領域を識別できるように合成した合成画像データ信号Ｓｇを生成する。この合成画像データ信号Ｓｇは、例えばカーナビゲーション（図示せず）に設けられるカーナビゲーション用表示装置４２にて、運転者へ提示される。

他方コマンド入力部３２は、図４に示すように、スイッチ入力部３２ａおよび音声入力部３２ｂとを備えている。

スイッチ入力部３２ａは、車両３１の運転者が任意の領域の状態を画面表示したいなどの指示を行なう場合に、適宜にスイッチをオンさせることにより、スイッチ入力信号Ｓａ１を制御部３４に出力することができる。

また、音声入力部３２ｂは、車両３１の運転者が音声により適宜の画面表示の切換えなどを音声で指示することにより、音声入力信号Ｓａ_２を制御部３４に出力させることができる。制御部３４は音声解析部４５を備え、この音声解析部４５が音声入力信号Ｓａ_２の音声指示内容を解析して、音声解析信号Ｓａ２１を制御手段４７に出力させることができる。

図４において、センサ情報入力部３３から得られる車両３１のギアレバー位置，ハンドルの回動角（操舵角）および車両速度等の検知信号も、センサ入力信号Ｓｂとしてセンサ解析部４６へ入力され、このセンサ解析部４６で解析されたセンサ入力信号Ｓｂはセンサ解析信号Ｓｂ_１となって制御手段４７に入力される。

制御部３４に備えられる制御手段４７は、図４に示すように、コマンド入力部３２，センサ情報入力部３３からスイッチ入力信号Ｓａ１，音声入力信号Ｓａ２およびセンサ入力信号Ｓｂを受信して、例えば関心領域（ＲＯＩ：Region of Interest）の表示を示す関心領域提示信号Ｓｃ１や、俯瞰図を作成する俯瞰図作成指示信号Ｓｈを、制御手段４７を介して俯瞰画像作成手段３７に供給する。

図５に示された俯瞰画像作成手段３７は、オンライン俯瞰画像作成時に、俯瞰図作成指示信号Ｓｈに応じて俯瞰画像の作成を行い、また関心領域提示信号Ｓｃ１に応じて作成された俯瞰画像の中から関心のある領域を表示したり、拡大表示できるように構成されている。俯瞰画像作成手段３７は、複数の魚眼カメラ３６にてセレクタ５０を介して取得したカメラ画像データ信号ｇ１，ｇ２…ｇｎ、制御部３４側から関心領域提示信号Ｓｃ１および俯瞰図作成指示信号Ｓｈをオンライン画像生成部５３に受信して俯瞰画像を作成し、俯瞰統合画像データ信号Ｓｉおよび画像データ信号Ｓｄを生成している。

俯瞰画像作成手段３７について、図５を参照して更に詳細に説明する。

俯瞰画像作成手段３７は、車両３１が運転に先だって魚眼カメラ３６側から得られるカメラ画像データ信号ｇ１〜ｇｎを較正処理部５１に送り、この較正処理部５１で較正処理を行う第１の手続きと、この手続きを経た後、車両３１の運転時にオンライン画像生成部５３で俯瞰画像を生成する第２の手続きを行うものである。

図５において俯瞰画像作成手段３７は、第１の手続きの際にはカメラ画像データ信号ｇ１〜ｇｎを較正処理部５１側へ送信し、第２の手続きの際にはカメラ画像データ信号ｇ１〜ｇｎの送信先をオンライン画像生成部５３に切り替える切替スイッチの役目をなすセレクタ５０と、第１の手続きの際、カメラ画像データ信号ｇ１〜ｇｎを用いて俯瞰画像生成のための変換パラメータを生成する較正処理部５１と、生成された変換パラメータを収容するパラメータファイル５２と、第２の手続きの際、カメラ画像データ信号ｇ１〜ｇｎとパラメータファイル５２内のパラメータとを用いて俯瞰画像を生成するオンライン画像生成部５３と、を備える。

なお、符号５４は、較正処理部５１により較正処理を実施し、また処理結果を検証したり、確認するためのモニタ画面である。

オンライン画像生成処理（第２の手続き）では、図６に示す俯瞰画像処理装置６０ａ，６０ｂ，…，６０ｎによりオンラインで得られる魚眼画像を、最終的には画像統合手段６２を用いて図２に示す仮想視点Ｐから見た俯瞰画像に変換する。概念的には、魚眼画像を［数１］によりまず通常の２次元画像に正規化する正規化処理を行う。

次に、［数２］により正規化された画像（以下、正規化画像）を俯瞰画像に変換する処理を行えばよい。

このとき、魚眼画像を正規化処理するための正規化パラメータと、正規化画像を俯瞰画像に変換するための俯瞰化パラメータがそれぞれ用いられる。各画像の関係を図７を用いて説明すると、魚眼画像領域Ｇｘと正規化画像領域Ｇｙとの間の関係（［数１］のパラメータ）が既知であれば、魚眼画像から正規化画像への画像変換をすることができる。具体的には魚眼カメラ３６の撮像特性にかかわる正規化パラメータを用いることができる。

また、正規化画像領域Ｇｙと俯瞰化画像領域Ｇｚとの間の関係（［数２］のパラメータ）が既知であれば、正規化画像から俯瞰画像に変換することができる。具体的には魚眼カメラ３６の取り付け位置、姿勢にかかわる俯瞰化パラメータを用いることができる。

そして、複数の魚眼カメラ３６に対応して複数の俯瞰画像が得られるため、これらを統合して一枚の画像にして車両およびその周囲を含む統合された俯瞰画像を提示することにより、車両の周辺の状況を適切に提示することができる。なお、ここで用いる正規化処理については、例えば本発明者による特願２００４−１５８８５５号明細書にも詳細に記載されている手法を用いることができ、また、高速化処理を実現するため実際には正規化画像自体を求めることは省略することができる。

他方、較正処理（第１の手続き）では、俯瞰画像作成手段３７でオンライン画像生成処理を行うに先立ち、オンライン画像生成処理に用いるための正規化パラメータおよび俯瞰化パラメータとをあらかじめ求めておき、パラメータファイル５２に記憶させ、内蔵しておく。

以下、魚眼カメラ３６からの魚眼画像の較正処理（第１の手続き）の具体例についてさらに詳細に説明する。

較正処理の全体は、図８に示されるように３ステップからなる。

ステップ１では、魚眼カメラ３６ごとに［数１］に関連する正規化パラメータを求める。ステップ２では、魚眼カメラ３６ごとに［数２］に関連する俯瞰化パラメータ（Ｈ行列）を求める。

そして、ステップ３では、複数の俯瞰図（画像）を統合するための位置の較正を行う位置合わせ情報を求める。

まず、ステップ１では、魚眼カメラ３６から得られる魚眼画像を通常の２次元画像への変換に必要な正規化パラメータを算出する。それぞれの魚眼カメラ３６のＣＭＯＳ（ＣＣＤ）の特性、レンズ特性により撮像系パラメータを算出するものである。パラメータには画像サイズ、魚眼画像の中心位置、魚眼画像の半径などを含み、［数１］に直接関係し、また座標変換に利用する。

［数１］において、魚眼画像領域Ｇｘ上の１画素の極座標を（θｓ、φｓ）とし、そのＸＹ座標をＸ＿ｐｉｘｅｌ，Ｙ＿ｐｉｘｅｌ）で示し、正規化画像領域Ｇｙ上の１画素を（Ｐｘ，Ｐｙ，Ｐｚ）で示している。

ｋｕ，ｋｖは画像のサイズやカメラのズーム倍率（画角）で定まり、ｒ＿ｐｘｌは魚眼画像の半径である。

従って、正規化パラメータは、魚眼カメラなどの既知の情報を用いて予め計算することができる。

ステップ２では、［数２］に関連するＨ行列を求めるが、魚眼カメラの取り付け位置などの既知の情報だけでは、Ｈ行列の係数等である俯瞰化パラメータを求めることができないため、２つのサブステップを持つ。

最初の第１サブステップでは、図１０に示すように、４点以上の形が既知なマーカーＱ３を地面において魚眼カメラ３６にて撮影しその撮影画像の端点を上から見た場合のあるべき形を描画してモニター５４に表示し、その端点との対応付けをＧＵＩにより行う。

図１０において、正規化画像平面Ｇ１のマーカーＱ１は、マーカーＱ３を魚眼カメラにて撮像して得られた魚眼画像を正規化した正規化画像とする。マーカーＱ１を含む正規化画像を俯瞰画像に変換した場合に得られる俯瞰画像は、俯瞰用画像平面Ｇ２上のマーカーＱ２がこれに対応する。すなわちここで、俯瞰画像中の画素（Ｕｉ，Ｖｉ）と，正規化画像中の画素（Ｕｉ’，Ｖｉ’）の対応関係がつくことになる。したがって、各サフィックスｉに関して［数３］が成り立つ。ここで９個の要素をもつＨ及びαｉが未知数である。

次の第２サブステップでは、たとえば、ｈ１１＝１として、未知数をＸと置くと、［数３］、［数４］のような最小自乗問題として定式化できる。

したがって、本問題は一般化逆行列・特異値分解などを用いて求解可能である。よってＨの各要素が求まる。

具体的には、俯瞰画像作成手段３７の較正処理部５１は、図７に示すように、（１）魚眼画像の一部である魚眼画像領域Ｇｘについてから、魚眼カメラ３６画像の取付け位置で正規化処理した画像を求める。この場合、魚眼カメラ３６で形状が既知の図形などを撮像することが望ましい。

既知の魚眼画像についてその一部である魚眼画像領域Ｇｘの魚眼画像（既知図形を含む部分）についてのみ正規化処理を行なえばよい。この正規化処理された画像をモニタ画面５４に表示し、既知図形上の複数（４以上）の点（画素位置）をＧＵＩを用いて指定する。たとえば、地面上の正方形の４点であれば、俯瞰図ではこれが正方形に見えるはずである。

しかしながら、魚眼カメラ３６でこの正方形を撮像したとしても、その魚眼画像およびその正規化画像は通常正方形にはならない。しかし、正方形を撮像した画像であることを知っている人であれば、当該正方形に対応する画素を俯瞰画像作成手段３７のモニタ画面上で指示することが可能である。このときたとえば正方形の４点を指示することにより、［数３］中の座標（Ｕｉ，Ｖｉ），（Ｕｉ’，Ｖｉ’）が既知となるので、Ｈ係数を求めることが可能となる。

なおこの処理は正方形に限られず、既知の図形であれば両者の対応関係を指定できる。

すなわち較正処理ステップ２における第２サブステップで、［数３］の未知数を容易に逆算することができる。

次に、俯瞰図の位置を較正するステップ３では、図１１に示すように、複数の撮像領域６５ａ〜６５ｄにて撮影したマーカーｙ１１〜ｙ１４と対応する画面上の位置Ｑ３´を位置あわせすることにより、１枚の俯瞰図として統合するための位置合わせ情報を求めるものである。具体的には、モニタ画面５４上に、各撮像領域から得られた俯瞰画像を表示させ、ＧＵＩで対応マーカーを指定することにより、統合画像において、各俯瞰画像の位置関係を示す位置合わせ情報を求めることができる。

再び図５において、以上の較正処理で得られた正規化パラメータ、俯瞰化パラメータおよび位置合わせ情報はパラメータファイル５２に記憶され、オンライン画像生成の際に利用される。

次に、俯瞰画像作成手段３７に設けられるオンライン画像生成部５３について、そのブロック構成を示す図６を参照して更に詳細に説明する。

オンライン画像生成部５３は、先に求められた正規化変換パラメータおよびＨ行列変換パラメータにより、複数の魚眼カメラ３６から得たカメラ画像データ信号ｇ１，ｇ２〜ｇｎに基き、俯瞰画像化する俯瞰画像処理装置６０ａ〜６０ｎと、この俯瞰画像処理装置６０ａ〜６０ｎにてデータ処理されて生成される画像データ信号Ｓｄ（Ｓｄ_１…Ｓｄ_ｎ）を受信して、俯瞰統合画像データ信号Ｓｉを生成する画像統合手段６２とから構成される。

俯瞰画像処理装置６０ａ〜６０ｎは、魚眼カメラ３６側からそれぞれカメラ画像データ信号ｇ１〜ｇｎを受信することにより、また図５に示すパラメータファイル５２に内蔵されたパラメータを利用して俯瞰画像に対応する画像データ信号Ｓｄを生成する。較正手続きにより各種パラメータが既知となっているため、［数２］により俯瞰画像中の画素と正規化画像中での画素との対応位置が計算できる。さらに［数１］の関係により正規化画像中での画素とオリジナルの魚眼画像中でのテクセル値（テキスチャーマッピングすべき、もととなる画素の値）を計算することができる。

これらの計算により、俯瞰画像中の任意の画素に対応する魚眼画像中での画素位置を計算し、この画素位置の画像データを順次取り出すことにより、俯瞰画像が作成される。この場合、正規化画像は実際には求める必要がなく、画像としては、魚眼画像から直接的に俯瞰画像を作成していることとなる。

画像統合手段６２は、俯瞰画像処理装置６０ａ〜６０ｎにて生成された画像データ信号Ｓｄに含まれる画像データを集合して１枚の画像に統合処理するもので、先にあらかじめ求められた位置合わせ情報を用いて、１枚の俯瞰図に画像処理した画像を含む俯瞰統合画像データ信号Ｓｉを生成するものである。

俯瞰統合画像データ信号Ｓｉを生成するにあたって、俯瞰画像処理装置６０ａ〜６０ｎにおいて、［数１］および［数２］による俯瞰画像化処理がなされる。

画像統合手段６２では必要に応じて、画像データ信号Ｓｄをそのまま一枚に統合する過程において、重なり合った領域を処理する機能を有する。すなわちそれぞれの重なった領域の一方のみ描画するのでなく、同一の領域を描画している複数の画像データ信号Ｓｄの中から適当にブレンディングして描画する。すると、例えば図８に示すように、サイドミラー３５の各々に設置された各１台の魚眼カメラ３６であって、それぞれの魚眼カメラ３６の有効視野α１およびα２により撮影された画像（人物）ｘ１およびｘ２は重複した画像の重なり領域６７にて、その足元が、共通の一点に交わった１枚の俯瞰画像として得られるのが特徴である。

このように、複数の魚眼カメラ３６で撮影した画像を統合して１つの俯瞰画像が、図２に示すように、カーナビゲーション用表示装置４２に表示されることにより、運転者側にとって見やすく、また、画像が強調されて表示されるので一層見やすいものとなる。

再び図６を参照すると、オンライン画像生成時において俯瞰図作成指示信号Ｓｈがある場合には、魚眼カメラ３６により得られた魚眼画像は、先ず、オンライン画像生成部５３の俯瞰画像処理装置６０ａ〜６０ｎにて、各魚眼カメラ３６に対応した正規化パラメータを選択抽出して行い、上述した魚眼画像の正規化および俯瞰化した画像が得られる。

他方、制御部３４から、オンライン画像生成時において関心領域提示信号Ｓｃ１が出力される場合、画像統合手段６２は、コマンド入力部３２からたとえば別途指定される魚眼カメラ番号と注視領域指示信号などを用いて対象とする魚眼カメラに対応する俯瞰画像処理装置の１つに対応する魚眼カメラから得られた１魚眼画像の注視領域に対応する部分のみを必要に応じて拡大処理して表示装置へ供給するようにすれば、関心のある部分（方向）の俯瞰画像表示も行うことができる。

本実施形態の周辺監視装置３０は、さらに図３に示す画像認識装置３９により、要注意領域データ信号Ｓｅを画像データ合成手段４０が受信することにより、必要に応じて画像認識装置３９の認識結果を画像データ合成手段４０にて俯瞰統合画像データ信号Ｓｉと合成して表示装置、例えばカーナビケーション用表示装置４２に供給することもできる。

すなわち、例えば地面に接して動きの無い物体は移動体である車両３１が移動したとすると、俯瞰化された景色（画像）は、この車両３１の動きに合わせた一定のベクトル値を持って変化する。

その一方、人（障害物）が車両３１の左側方に歩いているとすると、前記一定のベクトルと一致しない動きが検出できる。このベクトルの変化を検知して障害物とみなすことができる。

以上により、画像認識装置３９は、一定のベクトルを持たない動きのある物体を俯瞰画像中から検出することにより、この物体を＜障害物＞移動体とみなして発見することができる。また、この発見した場所から、車両３１が左折しようとした場合に、巻き込みそうになると想定されたときは、警報の音声ガイダンスを発報がなされるように構成してもよい。

（オンライン画像生成部の第２の実施例）
本発明の周辺監視装置３０によれば、オンライン画像生成にあたり、正規化画像処理や俯瞰画像処理を高速に行うことができるＧＰＵ（グラフィック専用プロセッサ）を採用することができる。［数２］における第一式左辺は同次座標系（ｈｏｍｏｇｅｎｅｏｕｓ ｃｏｏｒｄｉｎａｔｅ）による表現である。したがって、［数２］におけるテキスチャーの計算はたとえば表示したい俯瞰図の４端点のみ事前に［数２］で計算し、同次座標系モードで内部をテキスチャーマッピングすることにより実行できる。

例えば図１２に示すように、アプリケーション処理とＧＰＵが協調することにより高速に処理を行うことができる。

アプリケーション処理は、アプリケーションソフトウェアが用いられ、俯瞰図として表示したい描画領域の四隅の点の位置を算出し、この計算は、俯瞰画像として表示したい領域の決定段階ａ１、において、この領域を矩形で定義するための例えば４端点（ｕｉ，ｖｉ）（ｉ＝１〜４）を指定して、この４端点から［数２］を用いて、正規化画像中の対応するテキスチャ座標（ｕｉ，ｖｉ，ｗｉ）を算出する段階ａ２と、この段階ａ２より該当部分のテキスチャーマッピング先の座標（ｕｉ´，ｖｉ´，ｗｉ´）の明示、魚眼オリジナル画像を全体をテキスチャとして明示する段階ａ３と、段階ａ２より矩形部分のテキスチャーマッピング先の座標およびテキスチャ側の座標（ｕｉ´，ｖｉ´，ｗｉ´）明示の段階ａ４の各段階の処理が行なわれる。

なお、これらの各段階ａ１〜ａ４では、正規化処理に用いられる［数１］相当の処理がｂ１のグラフィックス機能で、［数２］相当の処理がｂ２のグラフィックス処理で実行されることになる。

図１２に示すように、魚眼画像オリジナルメモリ（第１のメモリ）６１の魚眼画像を、同次座標による３次元非線形テキスチャーマッピングする段階ｂ１と、この段階ｂ１により生成された正規化画像を予め記憶する正規化画像メモリ（第２のメモリ）６３の正規化画像７１を、同次座標によるテキスチャーマッピングし、俯瞰画像７１を生成する段階ｂ２の処理が行なわれる。

また、各テキスチャーマッピングする段階ｂ１およびｂ２によれば、俯瞰位置から見た俯瞰画像のある平面を描画領域とみなし、３次元上で行うテキスチャーマッピングの対象と考えることにより、グラフィックボード側でかなりの処理を行なうことができる。

このように、これらの各テキスチャーマッピングする段階ｂ１およびｂ２の少なくとも一方を高速画像処理（ＧＰＵ処理）することにより、特にカラー処理や動画像処理を高速に行なうことができる。

なお、上記の説明において第１、第２のメモリ６１，６３は仮想的なものであり、必ずしも物理的に設ける必要はない。すなわち、正規化画像を途中段階で作成することなく、オンラインで魚眼画像から直接的に俯瞰画像への高速変換が可能である。

このように、周辺監視装置３０によれば、高速な動画描画が可能となり、リアルタイムに利用可能な車載向けの映像監視等への適用も可能である。

また、車両等の移動体に搭載することにより、安全運転のために非常に有効な監視装置を提供できる。

なお、周辺監視装置３０の移動体として例示した車両３１は、かならずしも移動体である必要はなく、周囲が移動するシステムに採用される場合は、単に魚眼カメラを備えた固定式等の物体であってもよい。

本発明の周辺監視装置を搭載した車両の斜視図。 本発明の周辺監視装置を搭載した車両の仮想視点を示す図。 本発明の周辺監視装置を示す機能ブロック図。 本発明の周辺監視装置の機能を示すブロック図。 本発明の周辺監視装置における俯瞰画像作成手段の機能ブロック図。 本発明の周辺監視装置におけるオンライン画像生成部の機能ブロック図。 画像領域間の関係を説明するための図。 本発明の周辺監視装置において生成された俯瞰画像のイメージの一例を示す図。 魚眼画像から俯瞰画像を得るにあたっての較正処理を示すフロー図。 図７の俯瞰画像化する較正処理の概念を示す図。 較正処理のステップ３を説明するための概念図。 ＧＰＵを用いた俯瞰画像化処理の概念を示す図。 従来の周辺監視装置を搭載した移動体の側面図。 従来の周辺監視装置を搭載した移動体において、仮想視点と実カメラとの関係を概念的に示す図。

符号の説明

３０ 周辺監視装置
３１ 車両（移動体）
３２ コマンド入力部
３２ａ スイッチ入力部
３２ｂ 音声に有力部
３３ センサ情報入力部
３４ 制御部
３５ サイドミラー
３６ 魚眼カメラ（魚眼レンズを備えたカメラ）
３７ 俯瞰画像作成手段
３８ 信号処理手段
３９ 画像認識装置
４０ 画像データ合成手段
４２ カーナビゲーション用表示装置（画面表示装置）
４３ スピーカ
４５ 音声解析部
４６ センサ解析部
４７ 制御手段
５０ セレクタ
５１ 較正処理部
５２ パラメータファイル
５３ オンライン画像生成部
５４ モニタ画面
６０ａ〜６０ｂ 俯瞰画像処理装置
６２ 画像統合手段
６５ａ〜６５ｄ 撮像領域
６７ 画像の重なり領域
α１，α２ 有効視野
ｇ１〜ｇｎ カメラ画像データ信号
Ｓａ１ スイッチ入力信号
Ｓａ２ 音声入力信号
Ｓａ２１ 音声解析信号
Ｓｂ センサ入力信号
Ｓｂ１ 解析データ信号
Ｓｃ１ 関心領域提示信号
Ｓｃ２ 障害物特定データ信号
Ｓｄ（Ｓｄ１〜Ｓｄｎ） 画像データ信号
Ｓｅ 要注意領域データ信号
Ｓｆ 音声ガイダンス信号
Ｓｇ 合成画像データ信号
Ｓｈ 俯瞰図作成指示信号
Ｓｉ 俯瞰統合画像データ信号
Ｇ 表示俯瞰画像
Ｇ１ 正規化画像平面
Ｇ２ 俯瞰用画像平面
Ｇ３ 地面
Ｇｘ 魚眼画像領域
Ｇｙ 正規化画像領域
Ｇｚ 俯瞰化画像領域

Claims (8)

1. 移動体に搭載され、移動体周辺の魚眼画像を入力する魚眼カメラと、
   前記魚眼カメラにより得られた魚眼画像の少なくとも一部に関し、前記魚眼カメラに固有の情報を含む正規化パラメータを用いて、前記魚眼画像を通常の２次元画像に正規化するための正規化処理によって、前記魚眼カメラが搭載された位置における正規化された２次元画像に変換する正規化処理手段と、
   前記２次元画像を用いて、前記移動体を俯瞰する仮想位置からみた前記移動体およびその周辺を表す俯瞰画像を求めるための変換パラメータを算出する算出手段と、
   この算出手段により求められた変換パラメータおよび前記正規化パラメータを用いて、前記俯瞰画像の各画素に対応する位置データを前記魚眼画像から順次取出すことにより俯瞰画像を作成する画像作成手段と、
   この画像作成手段により作成された俯瞰画像を表示する表示装置と、
   を備え、
   前記魚眼画像の少なくとも一部は、
   前記移動体を俯瞰する仮想位置からみたときの互いの位置関係が既知である地面上に置かれた少なくとも４点の基準点で構成された基準点群を前記魚眼カメラにより撮像した基準魚眼画像のうちの前記基準点群を含む部分画像である部分基準魚眼画像であり、
   前記正規化処理手段は、
   前記魚眼カメラにより得られた前記部分基準魚眼画像を、前記正規化パラメータを用いて前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換し、
   前記変換パラメータの算出手段は、
   前記部分基準２次元画像における前記基準点群を選択的に指定する手段を有し、前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から前記変換パラメータを算出する、
   ことを特徴とする周辺監視装置。
2. 前記魚眼カメラを複数有し、
   前記画像作成手段により作成された複数の前記俯瞰画像を１つの画像に統合する画像統合手段、
   をさらに備え、
   前記正規化処理手段は、
   前記複数の魚眼カメラにより得られた前記部分基準魚眼画像のそれぞれを、前記正規化パラメータを用いて前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換し、
   前記変換パラメータの算出手段は、
   前記複数の魚眼カメラごとに前記部分基準２次元画像における前記基準点群を選択的に指定する手段を有し、前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から前記複数の魚眼カメラごとに前記変換パラメータを算出し、
   前記表示装置は、
   前記画像統合手段により統合された前記俯瞰画像を表示する、
   請求項１記載の周辺監視装置。
3. 前記俯瞰画像中から障害物を認識するための画像認識装置をさらに備えたことを特徴とする請求項１記載の周辺監視装置。
4. 前記画像認識装置は、前記俯瞰画像中の移動ベクトルに基いて障害物を認識するものであることを特徴とする請求項３記載の周辺監視装置。
5. 前記移動体は車両であり、
   前記画像作成手段は、
   前記パラメータ算出手段により求められた変換パラメータおよび前記正規化パラメータを用いて、前記俯瞰画像の各画素に対応する魚眼画像中の画素の位置データをグラフィック専用プロセッサのＧＰＵ機能を利用して順次計算することにより、俯瞰画像を作成する、
   請求項２記載の周辺監視装置。
6. 移動可能な物体に取り付けられた魚眼カメラにより前記移動可能な物体を俯瞰する仮想位置からみたときの互いの位置関係が既知である地面上に置かれた少なくとも４点の基準点で構成された基準点群を撮像した第１の魚眼画像のうちの前記基準点群を含む部分画像である部分基準魚眼画像を第１のメモリに記憶する画像記憶ステップと、
   前記魚眼カメラに固有の情報を含む正規化パラメータを用いて、前記魚眼カメラにより得られた前記部分基準魚眼画像を、通常の２次元画像に正規化するための正規化処理によって前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換するステップと、
   前記部分基準２次元画像における前記基準点群を選択的に指定するステップと、
   前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から、前記部分基準２次元画像から前記移動可能な物体を俯瞰する仮想位置からみた前記移動可能な物体およびその周辺を表す俯瞰画像を求めるための変換パラメータを算出して第２のメモリに記憶するステップと、
   前記変換パラメータおよび前記正規化パラメータを用いて、前記魚眼カメラで取得する第２の魚眼画像に関し、前記俯瞰画像の各画素データに対応する前記第２の魚眼画像中の画像データの位置を順次計算し、当該画像データを前記俯瞰画像の画素データとして順次取り出して表示装置に供給する表示ステップと、
   を備えることを特徴とする俯瞰画像表示方法。
7. 前記第１のメモリに記憶する画像記憶ステップは、
   前記移動可能な物体に取り付けられた複数の魚眼カメラのそれぞれにより前記移動可能な物体を俯瞰する仮想位置からみたときの互いの位置関係が既知である地面上に置かれた基準点群を撮像した第１の魚眼画像のうちの前記基準点群を含む部分画像である部分基準魚眼画像を前記魚眼カメラごとに第１のメモリに記憶するステップであり、
   前記部分基準２次元画像に変換するステップは、
   前記魚眼カメラに固有の情報を含む正規化パラメータを用いて、前記複数の魚眼カメラにより得られた前記部分基準魚眼画像のそれぞれを、通常の２次元画像に正規化するための正規化処理によって前記魚眼カメラが搭載された位置における正規化された部分基準２次元画像に変換するステップであり、
   前記基準点群を選択的に指定するステップは、
   前記複数の魚眼カメラごとに前記部分基準２次元画像における前記基準点群を選択的に指定するステップであり、
   前記第２のメモリに記憶するステップは、
   前記複数の魚眼カメラごとに、前記指定された前記部分基準２次元画像における前記基準点群を構成する前記基準点の互いの位置関係と前記既知の位置関係との対応関係から、前記部分基準２次元画像から前記移動可能な物体を俯瞰する仮想位置からみた前記移動可能な物体およびその周辺を表す俯瞰画像を求めるための変換パラメータを算出して第２のメモリに記憶するステップであり、
   前記表示ステップは、
   前記変換パラメータおよび前記正規化パラメータを用いて、前記魚眼カメラで取得する第２の魚眼画像に関し、前記俯瞰画像の各画素データに対応する前記第２の魚眼画像中の画像データの位置を順次計算し、当該画像データを前記俯瞰画像の画素データとして順次取り出すことにより前記魚眼カメラごとに前記俯瞰画像を作成するステップと、
   前記魚眼カメラごとに前記俯瞰画像を作成するステップにより作成された複数の前記俯瞰画像を１つの画像に統合するステップと、
   前記統合された俯瞰画像を表示装置に供給する表示ステップと、
   を有する、
   請求項６記載の俯瞰画像表示方法。
8. 前記俯瞰画像中の移動ベクトルに基いて障害物を認識するステップ、
   をさらに有する請求項６記載の俯瞰画像表示方法。

Images