JP2009017462A - 運転支援システム及び車両 - Google Patents

Abstract

【課題】車速センサ及び舵角センサを必要とすることなく車両速度及び回転角を推定する。
【解決手段】車両に設置されたカメラのカメラ画像から特徴点を抽出し、該特徴点の追跡処理を行うことによって、時系列で並ぶカメラ画像間における前記特徴点の移動ベクトルを導出する。移動ベクトルを鳥瞰図座標上にマッピングし、鳥瞰図座標上における移動ベクトル（351,352）に基づいて車両の移動における回転角（Φ）を推定すると共に車両速度（ΦとＲに比例）を推定する。そして、推定された回転角及び車両速度に基づいて車両の予想通過エリアに応じたガイドラインを作成し、鳥瞰図画像にガイドラインを重畳して表示する。
【選択図】図１４

Description

本発明は、運転支援システムに関する。特に、移動体に取り付けられたカメラの撮影画像から移動体の移動速度及び回転角を推定する技術に関する。また本発明は、その運転支援システムを利用した車両に関する。

車両に設置されたカメラの撮影画像に車両の進行方向に対応するガイドラインを重畳して表示することにより、駐車等の運転操作を支援するシステムが提案されている。このようなシステムは、例えば、下記特許文献１に開示されている。ガイドラインを推定するためには車両速度及び車両の回転角情報が必要となるが、特許文献１の手法では、車両速度及び回転角情報を車速センサ及び舵角センサ等の特殊な測定装置から得なければならないため、システムの構築が煩雑となり実用性に欠ける。

尚、下記特許文献２には、２つの鳥瞰図画像間の差分画像に基づいて障害物領域を推定する手法が提案されている。

特許第３８３３２４１号公報 特開２００６−２６８０７６号公報

そこで本発明は、システム構築の容易化に寄与する運転支援システムを提供することを目的とする。また、本発明は、それを利用した車両を提供することを目的とする。

本発明に係る運転支援システムは、移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから時系列で並ぶ複数のカメラ画像を取得して、前記カメラ画像から生成した表示用画像を表示装置に出力する運転支援システムにおいて、前記複数のカメラ画像の内の基準カメラ画像から特徴点を抽出するとともに各カメラ画像における前記特徴点の位置を追跡処理によって検出することにより、異なるカメラ画像間における前記特徴点の移動ベクトルを導出する移動ベクトル導出手段と、前記移動ベクトルに基づいて、前記移動体の移動速度と前記移動体の移動における回転角とを推定する推定手段と、を備え、前記カメラ画像と推定された前記移動速度及び回転角とに基づいて、前記表示用画像を生成することを特徴とする。

これにより、特殊な測定装置を必要とすることなく移動速度や回転角を推定することができるため、システムの構築が容易となる。

具体的には例えば、当該運転支援システムは、前記カメラ画像の座標上における前記特徴点及び前記移動ベクトルを座標変換によって所定の鳥瞰図座標上にマッピングするマッピング手段を更に備え、前記推定手段は、前記鳥瞰図座標上の前記特徴点の位置に従って配置された、前記鳥瞰図座標上の前記移動ベクトルに基づいて、前記移動速度と前記回転角を推定する。

より具体的には例えば、前記複数のカメラ画像は、順次訪れる第１、第２及び第３の時刻で取得される第１、第２及び第３のカメラ画像を含み、前記マッピング手段は、第１〜第３のカメラ画像の夫々における前記特徴点、並びに、第１及び第２のカメラ画像間における前記特徴点の移動ベクトル及び第２及び第３のカメラ画像間における前記特徴点の移動ベクトルを、前記鳥瞰図座標上にマッピングし、前記鳥瞰図座標上の、第１及び第２のカメラ画像間における前記特徴点の移動ベクトル及び第２及び第３のカメラ画像間における前記特徴点の移動ベクトルを、夫々、第１鳥瞰移動ベクトル及び第２鳥瞰移動ベクトルと呼んだ場合、前記マッピング手段によって、前記鳥瞰図座標上の前記第１の時刻における前記特徴点の位置に、第１鳥瞰移動ベクトルの始点が配置され、且つ、前記鳥瞰図座標上の前記第２の時刻における前記特徴点の位置に、第１鳥瞰移動ベクトルの終点及び第２鳥瞰移動ベクトルの始点が配置され、且つ、前記鳥瞰図座標上の前記第３の時刻における前記特徴点の位置に、第２鳥瞰移動ベクトルの終点が配置され、前記推定手段は、第１及び第２鳥瞰移動ベクトルと、前記鳥瞰図座標上における前記移動体の位置と、に基づいて、前記移動速度と前記回転角を推定する。

そして例えば、当該運転支援システムは、各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段と、推定された前記移動速度及び前記回転角と前記鳥瞰図座標上における前記移動体の位置に基づいて前記鳥瞰図座標上における前記移動体の予想通過エリアを推定する通過エリア推定手段と、を更に備え、前記予想通過エリアに応じた指標を前記鳥瞰図画像に重畳することによって前記表示用画像を生成する。

また例えば、当該運転支援システムは、各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段と、互いに異なる時刻で取得された２つのカメラ画像に基づく２つの鳥瞰図画像を画像マッチングによって位置合わせしてから両鳥瞰図画像間の差分をとることにより、高さのある立体物領域の、前記鳥瞰図座標上における位置を推定する立体物領域推定手段と、を更に備えている。

或いは例えば、当該運転支援システムは、各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段を更に備え、互いに異なる第１及び第２の時刻で取得された２つのカメラ画像に基づく２つの鳥瞰図画像を、第１及び第２の鳥瞰図画像と呼んだ場合、当該運転支援システムは、更に、座標変換手段を含む立体物領域推定手段を更に備え、前記座標変換手段は、推定された前記移動速度に基づく前記第１及び第２の時刻間における前記移動体の移動距離と、推定された第１及び第２の時刻に対応する前記回転角と、に基づいて、２つの鳥瞰図画像上の特徴点が重なるように第１及び第２の鳥瞰図画像の内の一方の座標を変換し、前記立体物領域推定手段は、座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分に基づいて、高さのある立体物領域の、前記鳥瞰図座標上における位置を推定する。

そして例えば、当該運転支援システムは、推定された前記移動速度及び前記回転角と前記鳥瞰図座標上における前記移動体の位置に基づいて前記鳥瞰図座標上における前記移動体の予想通過エリアを推定する通過エリア推定手段と、前記予想通過エリアと前記立体物領域とが重なるか否かを判断する立体物監視手段と、を更に備えている。

これにより、移動体と立体物との衝突危険性を監視することができる。

更に例えば、前記立体物監視手段は、前記予想通過エリアと前記立体物領域が重なると判断したとき、前記立体物領域の前記位置と前記移動体の前記位置と前記移動速度に基づいて、前記移動体と前記立体物領域に対応する立体物が衝突するまでの時間長さを推定するとよい。

また、本発明に係る車両には、上記の何れかに記載の運転支援システムが設置されている。

本発明によれば、システム構築の容易化に寄与する運転支援システムを提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１に、本発明の実施形態に係る運転支援システム（視界支援システム）の構成ブロック図を示す。図１の運転支援システムは、カメラ１と、画像処理装置２と、表示装置３と、を備える。カメラ１は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置２に出力する。画像処理装置２は、撮影画像を座標変換することによって鳥瞰図画像を生成し、更に鳥瞰図画像から表示用画像を生成する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正を施し、そのレンズ歪み補正後の撮影画像を鳥瞰図画像に変換するものとする。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。

以下、単に、撮影画像といった場合、それは、レンズ歪み補正後の撮影画像を意味するものとする。但し、レンズ歪み補正が不要な場合もある。また、撮影画像から鳥瞰図画像を生成するための座標変換を「鳥瞰変換」と呼ぶ。鳥瞰変換の手法については後述する。

図２は、図１の運転支援システムが適用される車両１００の外観側面図である。図２に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置される。車両１００は、例えばトラックである。水平面とカメラ１の光軸とのなす角は、図２にθで表される角度と、θ₂で表される角度との２種類がある。角度θ₂は、一般的には、見下ろし角または俯角と呼ばれている。今、角度θを、水平面に対するカメラ１の傾き角度として捉える。９０°＜θ＜１８０°且つθ＋θ₂＝１８０°、が成立する。

カメラ１は、車両１００の周辺を撮影する。特に、車両１００の後方側に視野を有するようにカメラ１は車両１００に設置される。カメラ１の視野には、車両１００の後方側に位置する路面が含まれる。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。また、本実施形態において、地面と路面は同義である。

カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

［鳥瞰図画像の生成方法］
画像処理装置２は、カメラ１の撮影画像を鳥瞰変換によって鳥瞰図画像に変換する。この鳥瞰変換の手法について説明する。以下に示す、鳥瞰図画像を生成するための座標変換は、一般に透視投影変換と呼ばれる。

図３は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_w Ｚ_w を含む世界座標系Ｘ_w Ｙ_w Ｚ_w との関係を示している。カメラ座標系ＸＹＺは、Ｘ軸、Ｙ軸及びＺ軸を座標軸とする三次元の座標系である。撮像面Ｓの座標系Ｘ_buＹ_buは、Ｘ_bu軸及びＹ_bu軸を座標軸とする二次元の座標系である。２次元地面座標系Ｘ_w Ｚ_wは、Ｘ_w軸及びＺ_w軸を座標軸とする二次元の座標系である。世界座標系Ｘ_w Ｙ_wＺ_wは、Ｘ_w軸、Ｙ_w軸及びＺ_w軸を座標軸とする三次元の座標系である。

以下、カメラ座標系ＸＹＺ、撮像面Ｓの座標系Ｘ_buＹ_bu、２次元地面座標系Ｘ_w Ｚ_w 及び世界座標系Ｘ_w Ｙ_w Ｚ_w を、夫々、単にカメラ座標系、撮像面Ｓの座標系、２次元地面座標系及び世界座標系と略記することがある。

カメラ座標系ＸＹＺでは、カメラ１の光学中心を原点Ｏとして、光軸方向にＺ軸がとられ、Ｚ軸に直交しかつ地面に平行な方向にＸ軸がとられ、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸がとられ、撮像面Ｓの縦方向にＹ_bu軸がとられている。

世界座標系Ｘ_w Ｙ_w Ｚ_w では、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と地面との交点を原点Ｏ_w とし、地面と垂直な方向にＹ_w 軸がとられ、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w 軸がとられ、Ｘ_w 軸およびＹ_w 軸に直交する方向にＺ_w 軸がとられている。

Ｘ_w 軸とＸ軸との間の平行移動量はｈであり、その平行移動の方向は鉛直線方向である。Ｚ_w 軸とＺ軸との成す鈍角の角度は、傾き角度θと一致する。ｈ及びθの値は予め設定され、画像処理装置２に与えられる。

カメラ座標系ＸＹＺにおける座標を（ｘ，ｙ，ｚ）と表記する。ｘ、ｙ及びｚは、夫々、カメラ座標系ＸＹＺにおける、Ｘ軸成分、Ｙ軸成分及びＺ軸成分である。
世界座標系系Ｘ_w Ｙ_w Ｚ_wにおける座標を（ｘ_w ，ｙ_w ，ｚ_w ）と表記する。ｘ_w 、ｙ_w 及びｚ_wは、夫々、世界座標系系Ｘ_w Ｙ_w Ｚ_wにおける、Ｘ_w軸成分、Ｙ_w軸成分及びＺ_w軸成分である。
二次元地面座標系Ｘ_w Ｚ_w における座標を（ｘ_w ，ｚ_w ）と表記する。ｘ_w及びｚ_wは、夫々、二次元地面座標系Ｘ_w Ｚ_wにおける、Ｘ_W軸成分及びＺ_W軸成分であり、それらは世界座標系系Ｘ_w Ｙ_w Ｚ_wにおけるＸ_W軸成分及びＺ_W軸成分と一致する。
撮像面Ｓの座標系Ｘ_buＹ_buにおける座標を（ｘ_bu，ｙ_bu）と表記する。ｘ_bu及びｙ_buは、夫々、撮像面Ｓの座標系Ｘ_buＹ_buにおける、Ｘ_bu軸成分及びＹ_bu軸成分である。

カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘ_w Ｙ_w Ｚ_w の座標（ｘ_w ，ｙ_w ，ｚ_w ）との間の変換式は、次式（１）で表される。

ここで、カメラ１の焦点距離をｆとする。そうすると、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、次式（２）で表される。

上記式（１）及び（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_w Ｚ_w の座標（ｘ_w ，ｚ_w ）との間の変換式（３）が得られる。

また、図３には示されていないが、鳥瞰図画像についての座標系である鳥瞰図座標系Ｘ_auＹ_auを定義する。鳥瞰図座標系Ｘ_auＹ_auは、Ｘ_au軸及びＹ_au軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ_auＹ_auにおける座標を（ｘ_au，ｙ_au）と表記する。鳥瞰図画像は、二次元配列された複数の画素の画素信号によって表され、鳥瞰図画像上における各画素の位置は座標（ｘ_au，ｙ_au）によって表される。ｘ_au及びｙ_auは、それぞれ鳥瞰図座標系Ｘ_auＹ_auにおけるＸ_au軸成分及びＹ_au軸成分である。

鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（以下、仮想視点という）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。

地面と一致する、二次元地面座標系Ｘ_w Ｚ_w が定義される平面は、鳥瞰図座標系Ｘ_auＹ_auが定義される平面と平行である。従って、二次元地面座標系Ｘ_w Ｚ_w から仮想カメラの鳥瞰図座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。仮想カメラの高さ（即ち、仮想視点の高さ）をＨとすると、二次元地面座標系Ｘ_w Ｚ_w の座標（ｘ_w ，ｚ_w ）と鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）との間の変換式は、次式（４）で表される。仮想カメラの高さＨは予め設定されている。更に、式（４）を変形することにより、下式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）を、鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）に変換するための次式（７）が得られる。

撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）は、撮影画像における座標を表すため、上記式（７）を用いることによって撮影画像を鳥瞰図画像に変換することができる。

即ち、式（７）に従って、撮影画像の各画素の座標（ｘ_bu，ｙ_bu）を鳥瞰図座標系の座標（ｘ_au，ｙ_au）に変換することにより、鳥瞰図画像を生成することができる。鳥瞰図画像は、鳥瞰図座標系に配列された各画素から形成される。

実際には、式（７）に従って、撮影画像上の各画素の座標（ｘ_bu，ｙ_bu）と鳥瞰図画像上の各画素の座標（ｘ_au，ｙ_au）との対応関係を示すテーブルデータを作成しておき、これを図示されないメモリ（ルックアップテーブル）に予め格納しておく。そして、このテーブルデータを用いて撮影画像を鳥瞰図画像に変換するようにする。勿論、撮影画像が得られる度に式（７）に基づく座標変換演算を行って鳥瞰図画像を生成するようにしても構わない。

以下に、図１の運転支援システムの動作内容を更に詳細に説明する実施例として、第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用される。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図１の画像処理装置２は、カメラ１から所定の周期にて撮影画像を取り込み、順次得られる撮影画像から表示用画像を順次生成して、最新の表示用画像を表示装置３に対して出力する。これにより、表示装置３には、最新の表示用画像が更新表示される。

図４を参照して、１つの表示用画像を生成するための動作の流れを説明する。図４は、この動作の流れを表すフローチャートである。図４に示すステップＳ１１〜Ｓ１７の各処理は、図１の画像処理装置２にて実行される。

本発明に係る特徴的な表示用画像を生成するためには、異なる時刻で撮影された複数の撮影画像が必要である。そこで、画像処理装置２は、異なる時刻に撮影された複数の撮影画像を取り込み、この複数の撮影画像を後段の処理にて参照する（ステップＳ１１）。今、取り込んだ複数の撮影画像が、時刻ｔ１に撮影された撮影画像（以下、単に、時刻ｔ１の撮影画像ともいう）と、時刻ｔ２に撮影された撮影画像（以下、単に、時刻ｔ２の撮影画像ともいう）と、時刻ｔ３に撮影された撮影画像（以下、単に、時刻ｔ３の撮影画像ともいう）と、を含むものとする。時刻ｔ１の後に時刻ｔ２が訪れ、時刻ｔ２の後に時刻ｔ３が訪れるものとし、時刻ｔ１と時刻ｔ２との間の時間間隔及び時刻ｔ２と時刻ｔ３との間の時間間隔を、Δｔにて表す（Δｔ＞０）。

続くステップＳ１２において、時刻ｔ１の撮影画像から特徴点が抽出される。特徴点とは、周囲の点と区別できる、追跡の容易な点のことである。このような特徴点は、水平及び垂直方向における濃淡変化量が大きくなる画素を検出する、周知の特徴点抽出器（不図示）を用いて自動的に抽出することができる。特徴点抽出器とは、例えば、Harrisのコーナ検出器、ＳＵＳＡＮのコーナ検出器である。抽出されるべき特徴点は、例えば、路面上に描かれた白線の交点又は端点や、路面上の汚れ又は亀裂などであり、路面上の高さのない不動点を想定している。

今、説明の具体化のため、車両１００後方の路面上に長方形形状の図形が描かれており、その長方形の４頂点を４つの特徴点として取り扱う場合を想定する。そして、時刻ｔ１の撮影画像から該４つの特徴点を抽出した場合を例にとる。４つの特徴点は、第１、第２、第３及び第４の特徴点から成るものとする。また、上記の長方形形状の図形は、駐車場における長方形形状の駐車枠であるとする。

本実施例では、車両１００が真っ直ぐに後退していた場合を考える。図５（ａ）、（ｂ）及び（ｃ）の画像２１０、２２０及び２３０は、夫々、車両１００が真っ直ぐに後退していた場合における、時刻ｔ１、ｔ２及びｔ３の撮影画像を表す。そして、図５（ａ）において、符号２１１〜２１４が付された４つの点は、画像２１０から抽出された４つの特徴点であり、点２１１、２１２、２１３及び２１４が、夫々、第１、第２、第３及び第４の特徴点に対応するとする。

尚、撮影画像、鳥瞰図画像及び表示用画像を表す各図面において、画像の下方向は、車両１００が位置する方向に合致するものとする。また、車両１００が真っ直ぐに前進又は後退している時における車両１００の進行方向は、撮影画像、鳥瞰図画像及び表示用画像における垂直方向（上下方向）に合致するものとする。尚、鳥瞰図画像及び表示用画像において、垂直方向はＺ_w軸に平行なＹ_au軸の方向に合致する（図３参照）。

ステップＳ１２に続くステップＳ１３では、特徴点の追跡処理がなされる。特徴点の追跡処理として公知の手法を採用することができる。或る時刻に撮影された撮影画像を第１参照画像とし且つその時刻よりも後の時刻に撮影された撮影画像を第２参照画像とした場合、追跡処理は、第１及び第２参照画像を対比することによって行われる。より具体的には例えば、第１参照画像における特徴点の位置の近傍領域を特徴点探索領域とし、第２参照画像の特徴点探索領域内で画像マッチング処理を行うことにより第２参照画像の特徴点の位置を特定する。画像マッチング処理では、例えば、第１参照画像における特徴点の位置を中心とした矩形領域内の画像でテンプレートを形成し、そのテンプレートと第２参照画像の特徴点探索領域内の画像との類似度を計算する。計算された類似度から、第２参照画像の特徴点の位置が特定される。

時刻ｔ１及びｔ２の撮影画像を夫々第１及び第２参照画像として取り扱って追跡処理を行えば、時刻ｔ２の撮影画像における特徴点の位置が求まり、その後、時刻ｔ２及びｔ３の撮影画像を夫々第１及び第２参照画像として取り扱って追跡処理を行えば、時刻ｔ３の撮影画像における特徴点の位置が求まる。

このような追跡処理によって特定された、画像２２０上の第１〜第４の特徴点を、図５（ｂ）では、夫々、点２２１、２２２、２２３及び２２４によって表し、画像２３０上の第１〜第４の特徴点を、図５（ｃ）では、夫々、点２３１、２３２、２３３及び２３４によって表す。

ステップＳ１３では、更に、時刻ｔ１とｔ２の撮影画像間における各特徴点の移動ベクトル及び時刻ｔ２とｔ３の撮影画像間における各特徴点の移動ベクトルを求める。２つの画像間における着目した特徴点の移動ベクトルは、その２つの画像間における該特徴点の移動の向き及び大きさを表す。

図６に、画像２１０と画像２２０間における第１〜第４の特徴点の移動ベクトルを、４つの矢印付き直線にて示す。カメラ１で車両１００の後退中に駐車枠を撮影した場合、図６に示す如く、路面上で静止した各特徴点の移動ベクトルは互いに異なってくる。そこで、本実施例では、ステップＳ１３に続くステップＳ１４において、特徴点と特徴点の移動ベクトルを鳥瞰図座標上へマッピングする（投影する）。

撮影画像上の着目点の座標値を（ｘ_bu，ｙ_bu）で表し且つ該着目点の鳥瞰図座標上の座標値を（ｘ_au，ｙ_au）で表した場合、両座標値の関係は、上記の式（７）によって表される。従って、ステップＳ１４では、時刻ｔ１〜ｔ３における各撮影画像の第１〜第４の特徴点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に変換するとともに、ステップＳ１３にて求められた各移動ベクトルの終点及び始点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に座標変換することにより鳥瞰図座標上の各移動ベクトルを求める。尚、鳥瞰図座標上における各特徴点の座標値は、鳥瞰図座標上における各移動ベクトルの始点及び終点の座標値を表しているため、前者が求まれば自動的に後者も求まる或いは後者が求まれば自動的に前者も求まる、とも言える。

また、ステップＳ１４では、ステップＳ１１にて取り込んだ各撮影画像を、上記式（７）に従って鳥瞰図画像に変換する。時刻ｔ１、ｔ２及びｔ３の撮影画像に基づく鳥瞰図画像を、夫々、時刻ｔ１、ｔ２及びｔ３の鳥瞰図画像と呼ぶ。図７（ａ）、（ｂ）及び（ｃ）の画像２１０ａ、２２０ａ及び２３０ａは、夫々、図５（ａ）、（ｂ）及び（ｃ）の画像２１０、２２０及び２３０に基づく、時刻ｔ１、ｔ２及びｔ３の鳥瞰図画像を表す。また、図８に、画像２１０ａと画像２２０ａ間における第１〜第４の特徴点の移動ベクトル２５１〜２５４を示す。図８にも示すように、鳥瞰図画像上では、４つの特徴点の動きが一致する。尚、移動ベクトル２５１の始点及び終点の位置は、夫々、画像２１０ａ上における第１の特徴点の位置及び画像２２０ａ上における第１の特徴点の位置と合致する（移動ベクトル２５２〜２５４についても同様）。

この後、ステップＳ１５において、ステップＳ１４で求められた鳥瞰図座標上の特徴点と移動ベクトルから、車両１００の移動速度と車両１００の移動における回転角を推定する。以下、車両１００の移動速度を、車両速度と呼ぶ。上記の回転角は、車両１００の操舵角に対応する。

本実施例では、車両１００が真っ直ぐ後退しているため、求められるべき回転角は０°である。具体的には、時刻ｔ１及びｔ２の鳥瞰図画像間における第１の特徴点の移動ベクトルと、時刻ｔ２及びｔ３の鳥瞰図画像間における第１の特徴点の移動ベクトルと、を対比し、両ベクトルの向きが同じである場合、回転角は０°であると推定する。或いは、図７の移動ベクトル２５１〜２５４の何れか、又は、移動ベクトル２５１〜２５４の平均ベクトルが、鳥瞰図画像の垂直方向を向いている場合に、回転角が０°であると推定するようにしてもよい。

車両速度の推定には、鳥瞰図座標が二次元地面座標をスケール変換したものであることを利用する（上記の式（４）又は（５）参照）。即ち、このスケール変換における変換率をＫとし、鳥瞰図座標上における移動ベクトル２５１〜２５４の何れかの大きさ、又は、移動ベクトル２５１〜２５４の平均ベクトルの大きさをＬとした場合、時刻ｔ１−ｔ２間における車両速度ＳＰは、下記式（８）にて推定算出される。車両速度ＳＰは、図３の２次元地面座標系Ｘ_w Ｚ_w で定義される速度であり、式（５）より、Ｋ＝Ｈ／ｆ、である。尚、上述したように、時刻ｔ１−ｔ２間の時間間隔はΔｔである。

ステップＳ１５の後、ステップＳ１６に移行する。ステップＳ１６では、ステップＳ１５にて推定された車両速度と回転角に基づいて鳥瞰図座標上における車両進行ガイドラインの位置を算出し、その後、ステップＳ１７において、ステップＳ１４にて得られた鳥瞰図画像に車両進行ガイドラインを重畳することにより表示用画像を生成する。表示用画像も、鳥瞰図画像と同様、鳥瞰図座標上における画像である。

表示用画像を生成するための鳥瞰図画像及び車両進行ガイドラインとして、最新の撮影画像に基づく鳥瞰図画像及び最新の車両進行ガイドラインを用いる。例えば、時刻ｔ１〜ｔ３の撮影画像の取得後、時刻ｔ２−ｔ３間の車両速度及び回転角を推定し、それらに基づいて最新の車両進行ガイドラインを推定した場合は、時刻ｔ３の鳥瞰図画像にその最新の車両進行ガイドラインを重畳することにより最新の表示用画像を生成する。

図９に、生成された表示用画像２７０を示す。表示用画像２７０内において、符号２８０が付された水平方向に伸びる斜線領域は、カメラ１の実際の撮影に基づく車両１００の後端部又は画像処理装置２が鳥瞰図画像に付加した車両１００の後端部を表している。後端部２８０の左端２８１と右端２８２との間の長さは、鳥瞰図座標上における車両１００の車幅を表している。また、左端２８１と右端２８２の中央点を符号２８３にて参照する。左端２８１、右端２８２及び中央点２８３は、表示用画像（又は鳥瞰図画像）の最も下側の水平ライン上に位置するものとする。

カメラ１を車両１００に取り付ける時に実施されるカメラ校正処理において、鳥瞰図座標上における左端２８１、右端２８２、中央点２８３の位置は定められ、画像処理装置２は、それらの位置を表示用画像の生成を行う前に予め認識している（カメラ校正処理は、図４の動作実行に先立って実施される）。鳥瞰図座標（鳥瞰図画像又は表示用画像）上において、画像の垂直方向に平行な車両１００の中心線は、中央点２８３を通る。

表示用画像に描画される車両進行ガイドラインは、車両１００の両端部が通過することが予想される２つの端部ガイドラインと、車両１００の中央部が通過することが予想される１つの中央ガイドラインと、を含む。表示用画像２７０では、２つの端部ガイドラインが破線２７１及び２７２によって表され、中央ガイドラインが一点鎖線２７３によって表されている。本実施例の如く車両１００が真っ直ぐ後退している場合、端部ガイドラインを、車両１００の車幅の延長線で表すことができる。つまり、表示用画像２７０では、左端２８１を通り且つ画像の垂直方向に平行な直線と右端２８１を通り且つ画像の垂直方向に平行な直線とが端部ガイドラインとされ、中央点２８３を通り且つ画像の垂直方向に平行な直線が中央ガイドラインとされる。２つの端部ガイドラインに挟まれたエリアは、車両１００の車体が未来に通過することが予想される、鳥瞰図座標上における車両１００の未来の通過エリア（予想通過エリア）に相当する。

表示用画像には、更に、車両１００からの距離を表す第１及び第２の距離線が重畳される。表示用画像２７０においては、実線２７４及び２７５が、夫々、第１及び第２の距離線を表す。第１及び第２の距離線は、例えば、夫々、車両１００の後端からの距離が１ｍ及び２ｍの部分を示している。２次元地面座標系Ｘ_w Ｚ_w におけるＺ_w 軸方向の座標値ｚ_wは、車両１００からの距離を表しているので、画像処理装置２は、上記式（４）又は（５）から、表示用画像上における第１及び第２の距離線の位置を求めることが出来る。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例では、車両１００が曲がりながら後退している場合を想定し、表示用画像を生成するための動作の流れを説明する。この動作の流れを表すフローチャートは、第１実施例における図４と同様であるため、本実施例でも図４を参照する。第１実施例にて記載された内容は、矛盾なき限り、全て第１実施例にも適用される。

まず、ステップＳ１１において、画像処理装置２は、異なる時刻に撮影された複数の撮影画像を取り込む（ステップＳ１１）。第１実施例と同様、取り込んだ複数の撮影画像に、時刻ｔ１〜ｔ３の撮影画像が含まれるものとする。

続くステップＳ１２において、時刻ｔ１の撮影画像から特徴点を抽出する。第１実施例と同様、車両１００後方の路面上に長方形形状の図形が描かれており、その長方形の４頂点を４つの特徴点として取り扱う場合を想定する。そして、時刻ｔ１の撮影画像から該４つの特徴点を抽出した場合を例にとる。４つの特徴点は、第１、第２、第３及び第４の特徴点から成る。また、上記の長方形形状の図形は、駐車場における長方形形状の駐車枠であるとする。

図１０（ａ）、（ｂ）及び（ｃ）の画像３１０、３２０及び３３０は、夫々、車両１００が曲がりながら後退していた場合における、時刻ｔ１、ｔ２及びｔ３の撮影画像を表す。図１０（ａ）において、符号３１１〜３１４が付された４つの点は、画像３１０から抽出された４つの特徴点であり、点３１１、３１２、３１３及び３１４が、夫々、第１、第２、第３及び第４の特徴点に対応するとする。

ステップＳ１２に続くステップＳ１３では、第１実施例と同様、特徴点の追跡処理を行うことにより、画像３２０及び３３０の夫々における、第１〜第４の特徴点の位置を求める。この追跡処理によって特定された、画像３２０上の第１〜第４の特徴点を、図１０（ｂ）では、夫々、点３２１、３２２、３２３及び３２４によって表し、画像３３０上の第１〜第４の特徴点を、図１０（ｃ）では、夫々、点３３１、３３２、３３３及び３３４によって表す。

ステップＳ１３では、更に、時刻ｔ１とｔ２の撮影画像間における各特徴点の移動ベクトル及び時刻ｔ２とｔ３の撮影画像間における各特徴点の移動ベクトルを求める。図１１に、求められた移動ベクトルの一部を示す。移動ベクトル３４１、３４２、３４３及び３４４は、夫々、画像３１０及び３２０間における第１の特徴点の移動ベクトル、画像３２０及び３３０間における第１の特徴点の移動ベクトル、画像３１０及び３２０間における第４の特徴点の移動ベクトル、画像３２０及び３３０間における第４の特徴点の移動ベクトルである。

続くステップＳ１４では、第１実施例と同様、ステップＳ１３で求められた各特徴点及び各移動ベクトルを鳥瞰図座標上へマッピングする（投影する）。即ち、時刻ｔ１〜ｔ３における各撮影画像の第１〜第４の特徴点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に変換するとともに、ステップＳ１３にて求められた各移動ベクトルの終点及び始点の座標値（ｘ_bu，ｙ_bu）を式（７）に従って鳥瞰図座標上の座標値（ｘ_au，ｙ_au）に座標変換することにより鳥瞰図座標上の各移動ベクトルを求める。

更に、ステップＳ１４では、ステップＳ１１にて取り込んだ時刻ｔ１〜ｔ３の各撮影画像を、上記式（７）に従って鳥瞰図画像に変換する。図１２（ａ）、（ｂ）及び（ｃ）の画像３１０ａ、３２０ａ及び３３０ａは、夫々、図１０（ａ）、（ｂ）及び（ｃ）の画像３１０、３２０及び３３０に基づく、時刻ｔ１、ｔ２及びｔ３の鳥瞰図画像を表す。また、図１３に、ステップＳ１４にて求められた、画像３１０ａと画像３２０ａ間における第１の特徴点の移動ベクトル３５１及び画像３２０ａと画像３３０ａ間における第１の特徴点の移動ベクトル３５２を示す。移動ベクトル３５１及び３５２は、鳥瞰図座標（鳥瞰図画像）上における移動ベクトルである。

この後、ステップＳ１５において、ステップＳ１４で求められた鳥瞰図座標上の特徴点と移動ベクトルから、車両１００の移動速度と車両１００の移動における回転角を推定する。この推定手法を、図１４を参照して説明する。図１４には、図１３に示すものと同じ移動ベクトル３５１及び３５２が示されている。ステップＳ１４におけるマッピングによって、移動ベクトル３５１の始点位置は、鳥瞰図座標上の時刻ｔ１における第１の特徴点の位置（即ち、図１２（ａ）の鳥瞰図画像３１０ａ上における第１の特徴点の位置）と合致し、移動ベクトル３５１の終点位置及び移動ベクトル３５２の始点位置は、鳥瞰図座標上の時刻ｔ２における第１の特徴点の位置（即ち、図１２（ｂ）の鳥瞰図画像３２０ａ上における第１の特徴点の位置）と合致し、移動ベクトル３５２の終点位置は、鳥瞰図座標上の時刻ｔ３における第１の特徴点の位置（即ち、図１２（ｃ）の鳥瞰図画像３３０ａ上における第１の特徴点の位置）と合致する。

図１４では、説明の便宜上、１つの鳥瞰図画像３６０上に、移動ベクトル３５１及び３５２と、第１実施例で述べた車両１００の後端部２８０、左端２８１、右端２８２及び中央点２８３と、を示している。移動ベクトル３５１と３５２が成す角度には、１８０度を超える角度と１８０未満の角度とが存在するが、これらの角度の内、１８０未満の角度をθ_Aにより表す。そして、角度θ_Aの補角をΦにて表す（即ち、θ_A＋Φ＝１８０°）。この補角Φが、ステップＳ１５において推定されるべき車両１００の回転角である。今の例の場合、回転角Φは、時刻ｔ２−ｔ３間（又は時刻ｔ１−ｔ２間）における車両１００の回転角である。

更に、鳥瞰図画像３６０上における移動ベクトル３５１の終点を通り且つ角度θ_Aを２等分する直線３６１と、車両１００の後端部２８０を車幅方向に延長した線との交点をＯ_Aにて表す。車両１００の後端部２８０を車幅方向に延長した線とは、車両１００の最後端を通り且つ画像の水平方向に平行な線である。図１４は、車両１００の後端部２８０を車幅方向に延長した線が画像の最も下側の水平ライン上に存在している場合を想定している。画像処理装置２は、交点Ｏ_Aの位置を、鳥瞰図画像３６０上における車両１００の回転中心の位置として推定する。以下、交点Ｏ_Aを回転中心Ｏ_Aと呼ぶ。

また、鳥瞰図画像３６０上において、回転中心Ｏ_Aと、Ｙ_au軸方向における車両１００の中心線を通る中央点２８３と、の距離をＲにて表す。そうすると、ステップＳ１５では、時刻ｔ２−ｔ３間（又は時刻ｔ１−ｔ２間）における車両１００の移動距離Ｄを下記式（９）にて、時刻ｔ２−ｔ３間（又は時刻ｔ１−ｔ２間）における車両速度ＳＰを下記式（１０）にて推定することができる。移動距離Ｄ及び車両速度ＳＰは、図３の２次元地面座標系Ｘ_w Ｚ_w で定義される距離及び速度であり、Ｋは、上述したように、鳥瞰図座標と二次元地面座標との間のスケール変換の変換率である。

このように、鳥瞰図画像（鳥瞰図座標）３６０上における移動ベクトル３５１及び３５２並びに車両の位置情報から、移動距離Ｄ及び車両速度ＳＰ並びに回転角Φが求められる。車両の位置情報とは、鳥瞰図画像（鳥瞰図座標）３６０上における車両１００の配置位置を表す情報であり、その位置情報は、鳥瞰図画像（鳥瞰図座標）３６０上における「車両１００の後端部２８０を車幅方向に延長した線」並びに「左端２８１、右端２８２及び中央点２８３」の位置を特定する。このような位置情報は、例えばカメラ校正処理の段階において設定され、図４の動作に先立って予め画像処理装置２に与えられる。

また、鳥瞰図画像３６０上において、回転中心Ｏ_Aと左端２８１との距離をＲ１とし、回転中心Ｏ_Aと右端２８２との距離をＲ２とする。

ステップＳ１５の後、ステップＳ１６に移行する。ステップ１６では、ステップＳ１５にて推定された車両速度と回転角に基づいて、鳥瞰図座標上における車両進行ガイドラインの位置を算出し、その後、ステップＳ１７において、ステップＳ１４にて得られた鳥瞰図画像に車両進行ガイドラインを重畳することにより表示用画像を生成する。表示用画像も、鳥瞰図画像と同様、鳥瞰図座標上における画像である。

表示用画像を生成するための鳥瞰図画像及び車両進行ガイドラインとして、最新の撮影画像に基づく鳥瞰図画像及び最新の車両進行ガイドラインを用いる。例えば、時刻ｔ１〜ｔ３の撮影画像の取得後、時刻ｔ２−ｔ３間の車両速度及び回転角を推定し、それらに基づいて最新の車両進行ガイドラインを推定した場合は、時刻ｔ３の鳥瞰図画像にその最新の車両進行ガイドラインを重畳することにより最新の表示用画像を生成する。

図１５に、生成された表示用画像３７０を示す。表示用画像３７０内にも、図９と同様、車両１００の後端部２８０の画像が描画される。第１実施例で述べたように、車両進行ガイドラインは、２つの端部ガイドラインと１つの中央ガイドラインを含む。表示用画像３７０では、２つの端部ガイドラインは破線３７１及び３７２によって表され、中央ガイドラインは一点鎖線３７３によって表されている。一方の端部ガイドライン３７１は左端２８１を起点として描かれ、他方の端部ガイドライン３７２は右端２８２を起点として描かれ、中央ガイドライン３７３は、中央点２８３を起点として描かれる。

端部ガイドライン３７１は、半径がＲ１であって回転中心Ｏ_Aを円心とする円弧とされる。この円弧は左端２８１を通り、左端２８１を通る垂直ラインは端部ガイドライン３７１に対応する円弧の接線となる。端部ガイドライン３７２は、半径がＲ２であって回転中心Ｏ_Aを円心とする円弧とされる。この円弧は右端２８２を通り、右端２８２を通る垂直ラインは端部ガイドライン３７２に対応する円弧の接線となる。中央ガイドライン３７３は、半径がＲであって回転中心Ｏ_Aを円心とする円弧とされる。この円弧は中央点２８３を通り、中央点２８３を通る垂直ラインは中央ガイドライン３７３に対応する円弧の接線となる。また、第１実施例と同様にして、表示有画像３７０には、第１及び第２の距離線３７４及び３７５が重畳される。

本実施例によれば、車速センサや舵角センサなどの特殊な測定装置を必要とすることなく、車両速度と回転角を推定することができるため、運転支援システムの構築が容易である。また、上述のようにして得られた表示用画像を表示装置３に表示することにより、運転者の視界が支援され、運転の安全性向上が図られる。

尚、本実施例では、第１の特徴点についての移動ベクトルに基づいて車両速度及び回転角を推定し、それらに従って表示用画像を生成するようにしているが、他の特徴点についての移動ベクトルに基づいて車両速度及び回転角の推定等を行うようにしてもよい。また、複数の特徴点の移動ベクトルに基づいて車両速度及び回転角を推定するようにしてもよく、そのようにすれば、推定誤差を小さくすることも可能である。

＜＜第３実施例＞＞
第２実施例で算出された移動距離Ｄと回転角Φを用いて、鳥瞰図画像中における障害物領域（立体物領域）を推定することができる。この推定に関する実施例として、第３実施例を説明する。第３実施例は、第２実施例と組み合わせて実施される。第２実施例に記載された事項は、全て第３実施例に適用される。

障害物領域は、鳥瞰図画像上における障害物の描画領域に対応する。障害物とは、人物などの高さのある物体（立体物）である。地面を形成する路面などは、高さがないため障害物ではない。

鳥瞰変換では、鳥瞰図画像が地表面において連続性を有するように座標変換が行われる。従って、同一の障害物を互いに異なる２つの視点で撮影して２つの鳥瞰図画像を得た場合、原理上、両鳥瞰図画像間において、路面の画像は一致するが障害物の画像は一致しない（上記特許文献２参照）。第３実施例では、この特性を利用して、障害物領域を推定する。

図１６を参照して、障害物領域の推定処理とそれに関与する処理の動作の流れを説明する。図１６は、その動作の流れを表すフローチャートである。

第２実施例で想定した例を第３実施例にも適用する。更に、本実施例では、カメラ１の視野内に１つの障害物が存在している場合を想定する。まず、第２実施例で述べたステップＳ１１〜Ｓ１６の各処理（又は第２実施例で述べたステップＳ１１〜Ｓ１７の各処理）を終えてから、図１６のステップＳ２１に移行する。

ステップＳ２１では、まず、図４のステップＳ１４にて得られた２つの鳥瞰図画像の位置合わせを行う。説明の具体化のため、図７（ｂ）及び（ｃ）に示される時刻ｔ２の鳥瞰図画像２２０ａと時刻ｔ３の鳥瞰図画像２３０ａの位置合わせを行う場合を例にとり、ステップＳ２１にて実施される位置合わせの動作説明を行う。

この位置合わせの際、図４のステップＳ１５にて推定された時刻ｔ２−ｔ３間における車両１００の回転角Φと、上記式（９）に従って推定された時刻ｔ２−ｔ３間における車両１００の移動距離Ｄと、を用いる。つまり、回転角Φと移動距離Ｄに基づき、時刻ｔ２の鳥瞰図画像２２０ａを回転角Φと移動距離Ｄに相当する分だけ座標変換（回転と平行移動の座標変換）することによって、座標変換後の鳥瞰図画像２２０ａ上の第１〜第４の特徴点の位置と、鳥瞰図画像２３０ａ上の第１〜第４の特徴点の位置と、を一致させる。

その後、ステップＳ２１では、座標変換後の鳥瞰図画像２２０ａと、鳥瞰図画像２３０ａと、の差分をとることにより、両画像の差分画像を生成し、この差分画像から鳥瞰図座標上における障害物領域を推定する。図１７（ａ）の画像４０１は、座標変換後の鳥瞰図画像２２０ａ上における障害物の画像を表し、図１７（ｂ）の画像４０２は、鳥瞰図画像２３０ａ上における障害物の画像を表す。図１７（ｃ）は、上記の差分画像上における障害物の画像を表している。画像４０１と画像４０２は一部分において一致するが、画像４０１と画像４０２との間には不一致の部分が存在するため、その不一致の部分が差分画像上に現れる。その不一致の部分は、図１７（ｃ）において、斜線領域４０３で示されており、ステップＳ２１では、この斜線領域４０３を障害物領域として抽出して鳥瞰図座標上における障害物領域の位置を特定する。

ステップＳ２１の後、ステップＳ２２に移行する。ステップＳ２２では、ステップＳ２１にて推定された障害物領域が車両１００の通過エリア（予想通過エリア）と重なるか否かを判定する。上述したように、車両１００の通過エリアは、２つの端部ガイドラインに挟まれたエリアである。従って、今の例の場合、推定された障害物領域が図１５の端部ガイドライン３７１と３７２に挟まれたエリア（即ち、通過エリア）と重なるが否かを判断し、前者の全部又は一部が後者と重なる場合はステップＳ２３に移行する一方、重ならない場合は図１６の処理を終える。

ステップＳ２３では、車両１００の後端部と障害物との距離Ｌが推定される。図１８は、図１５の表示用画像３７０に障害物の画像を追加した表示用画像（鳥瞰図画像）を表し、この表示用画像（鳥瞰図画像）上における障害物領域の最下点４１１と回転中心Ｏ_Aとを結ぶ線と、車両１００の後端部２８０を車幅方向に延長した線と、の成す角度をωで表す（但し、ω＜１８０°）。最下点４１１は、障害物領域を形成する画素の内、最も車両１００側に位置する画素（Ｙ_au軸方向の座標値y_auが最も小さい画素）を意味する。

ステップＳ２３では、角度ωを用い、上記の距離Ｌを下記式（１１）に従って推定算出する。距離Ｌは、図３の２次元地面座標系Ｘ_w Ｚ_w で定義される距離であり、Ｋは、上述したように、鳥瞰図座標と二次元地面座標との間のスケール変換の変換率である。

ステップＳ２３の後に続くステップＳ２４では、式（１１）から得られる距離Ｌ及び式（１０）から得られる車両速度ＳＰに基づいて、車両１００と障害物が衝突するまでの時間（時間長さ）を推定する。この時間の長さは、Ｌ／Ｓ、となる。即ち、現時点の車両速度ＳＰ及び回転角Φにて車両１００が後退し続けた場合、Ｌ／Ｓで表される時間の経過後、車両１００が障害物に衝突すると予測する。

続くステップＳ２５では、ステップＳ２４にて推定された時間（Ｌ／Ｓ）に応じた報知処理を行う。例えば、ステップＳ２４にて推定された時間（Ｌ／Ｓ）と所定の閾値とを対比し、前者が後者以内であれば、危険であると判断して衝突危険性を喚起するための報知（危険報知）を行う。この報知は、映像又は音声など、任意の手法によって実現される。例えば、表示用画像上における障害物領域を点滅させることによって運転支援システムのユーザに注意を喚起する。或いは、図示されないスピーカ（不図示）からの音声出力によって、ユーザに注意を喚起する。

本実施例によれば、車両１００近傍の障害物が自動的に検出されるとともに衝突に対する推測処理がなされ、運転の安全性が向上する。

尚、ステップ２１において、時刻ｔ２の鳥瞰図画像２２０ａを座標変換することによって時刻ｔ２とｔ３の鳥瞰図画像を位置合わせし、これによって障害物領域を推定する手法を例示したが、時刻ｔ２の鳥瞰図画像２２０ａの代わりに時刻ｔ３の鳥瞰図画像２３０ａを座標変換することによって時刻ｔ２とｔ３の鳥瞰図画像の位置合わせを行うようにしても構わない。

また、回転角Φと移動距離Ｄに基づいて時刻ｔ２とｔ３の鳥瞰図画像の位置合わせを行い、これによって障害物領域を推定する手法を例示したが、位置合わせの手法はこれに限定されない。即ち例えば、公知の画像マッチングを行うことにより、時刻ｔ２とｔ３の鳥瞰図画像の位置合わせを行うようにしてもよい。これによっても、回転角Φ及び移動距離Ｄに基づく位置合わせと同様の結果が得られる。より具体的に例えば、時刻ｔ２の鳥瞰図画像上の第１及び第２の特徴点と時刻ｔ３の鳥瞰図画像上の第１及び第２の特徴点とが夫々重なるように両鳥瞰図画像の内の一方に対して座標変換を行い、これによって両鳥瞰図画像の位置合わせを行う。その後、位置合わせ後の両鳥瞰図画像の差分画像を求め、この差分画像から上述と同様にして障害物領域を抽出すればよい。

＜＜第４実施例＞＞
次に、第４実施例を説明する。第４実施例では、第１又は第２実施例と、第３実施例と、に対応する運転支援システムの機能ブロック図を例示する。図１９は、第４実施例に係る運転支援システムの機能ブロック図である。第４実施例に係る運転支援システムは、符号１１〜１９にて参照される各部位を含み、符号１１〜１８にて参照される部位は図１の画像処理装置２内に設けられる。障害物監視部１９は、画像処理装置２内又は画像処理装置２の外部に設けられる。

カメラ１の撮影画像（カメラ画像）は、特徴点抽出／追跡部１１と鳥瞰変換部１５に与えられる。特徴点抽出／追跡部１１は、図４のステップＳ１１〜Ｓ１３の各処理を行い、撮影画像から特徴点を抽出して該特徴点の追跡を行う（移動ベクトルの算出も行う）。マッピング処理部１２と鳥瞰変換部１５とによって、図４のステップＳ１４の処理が実行される。即ち、マッピング処理部１２は、特徴点抽出／追跡部１１によって抽出又は検出された特徴点及び移動ベクトルを鳥瞰図座標上にマッピングし、鳥瞰変換部１５は、各撮影画像に対して鳥瞰変換を行って各撮影画像を鳥瞰図画像に変換する。説明の便宜上、マッピング処理部１２と鳥瞰変換部１５を別個の部位として示しているが、両部位の機能は類似しているので両部位を単一の部位に統合可能である。

車両速度／回転角推定部１３は、図４のステップＳ１５の処理を行う。即ち、マッピング処理部１２のマッピングによって得られた鳥瞰図座標上における移動ベクトルに基づいて上述の車両速度及び回転角を推定する。車両進行ガイドライン作成部（通過エリア推定部）１４は、図４のステップＳ１６の処理を行う。即ち、車両速度／回転角推定部１３によって推定された車両速度及び回転角並びに鳥瞰図座標上における車両の位置情報に基づいて、鳥瞰図座標上における車両進行ガイドラインの位置を算出する。車両進行ガイドラインは、鳥瞰図座標上における車両の未来の通過エリア（予想通過エリア）を表す指標として機能する。

そして、表示用画像生成部１６は、図４のステップＳ１７の処理を行う。即ち、車両進行ガイドライン作成部１４によって算出された位置を有する車両進行ガイドラインを鳥瞰変換部１５から得られた鳥瞰図画像に対して重畳することにより表示用画像を生成し、これを図１の表示装置３に対して出力する。

障害物領域推定部１７は、図１６のステップＳ２１の処理を行って、上述の障害物領域を推定する。障害物領域推定部１７内の座標変換部１８は、障害物領域を推定するために必要な、２つの鳥瞰図画像間の位置合わせ用の座標変換を実行する。障害物監視部１９は、障害物領域推定部１７にて推定された障害物領域の位置と車両進行ガイドライン作成部１４によって作成された車両進行ガイドラインの位置とを対比することにより、図１６のステップＳ２２の処理を実行し、更に、ステップＳ２３〜Ｓ２５の各処理も実行する。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施例では、撮影画像から４つの特徴点を抽出又は検出する場合を例示したが、上述の説明からも明らかなように抽出又は検出されるべき特徴点の個数は１以上であればよい。

［注釈２］
透視投影変換によって撮影画像から鳥瞰図画像を得る手法を説明したが、平面射影変換によって撮影画像から鳥瞰図画像を得るようにしても構わない。この場合、撮影画像上の各画素の座標を鳥瞰図画像上の各画素の座標に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階にて求める。ホモグラフィ行列の求め方は公知である。そして、図４に示す動作を行う場合、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。この場合、図４のステップＳ１４における特徴点及び移動ベクトルの鳥瞰図座標へのマッピングも、ホモグラフィ行列に基づいて行うことができる。

［注釈３］
上述の実施形態では、１つのカメラから得られた撮影画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に設置された複数のカメラ（不図示）から得られた複数の撮影画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に他の１台以上のカメラを車両１００に取り付け、その他のカメラの撮影画像に基づく画像をカメラ１の撮影画像に基づく画像（図９の表示用画像２７０や図１５の表示用画像３７０）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、特開２００６−２８７８９２号公報にも記載されているような全周鳥瞰図画像である。

［注釈４］
上述の実施形態では、車両の例として自動車（トラック）を例示しているが、自動車に分類されない車両に対しても本発明は適用可能であり、更に車両に分類されない移動体に対しても本発明は適用可能である。車両に分類されない移動体は、例えば、車輪を備えておらず、車輪以外の機構を用いて移動する。例えば、遠隔操作によって工場内を移動する、移動体としてのロボット（不図示）に対して、本発明を適用することも可能である。

［注釈５］
図１の画像処理装置２及び図１９の各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。図１の画像処理装置２及び図１９の各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係る運転支援システムの構成ブロック図である。 図１の運転支援システムが適用される車両の外観側面図である。 本発明の実施形態に係り、カメラ座標系ＸＹＺと撮像面の座標系Ｘ_buＹ_buと世界座標系Ｘ_w Ｙ_w Ｚ_w との関係を示す図である。 本発明の実施形態に係り、表示用画像を生成するための動作の流れを表すフローチャートである。 本発明の第１実施例に係り、図２の車両が真っ直ぐに後退していた場合における、時刻ｔ１、ｔ２及びｔ３の撮影画像を表す図である。 本発明の第１実施例に係り、撮影画像上における特徴点の時刻ｔ１−ｔ２間移動ベクトルを示す図である。 図５（ａ）（ｂ）（ｃ）に対応する、時刻ｔ１、ｔ２及びｔ３の鳥瞰図画像を表す図である。 本発明の第１実施例に係り、鳥瞰図画像上における特徴点の時刻ｔ１−ｔ２間移動ベクトルを示す図である。 本発明の第１実施例に係り、図２の車両が真っ直ぐに後退していた場合における表示用画像を示す図である。 本発明の第２実施例に係り、図２の車両が曲がりながら後退していた場合における、時刻ｔ１、ｔ２及びｔ３の撮影画像を表す図である。 本発明の第２実施例に係り、撮影画像上における特徴点の移動ベクトルを示す図である。 図１０（ａ）（ｂ）（ｃ）に対応する、時刻ｔ１、ｔ２及びｔ３の鳥瞰図画像を表す図である。 本発明の第２実施例に係り、鳥瞰図画像上における特徴点の移動ベクトルを示す図である。 本発明の第２実施例に係り、鳥瞰図座標上における移動ベクトルから車両速度と回転角を推定する手法を説明するための図である。 本発明の第２実施例に係り、図２の車両が曲がりながら後退していた場合における表示用画像を示す図である。 本発明の第３実施例に係り、障害物領域の推定処理とそれに関与する処理の動作の流れを表すフローチャートである。 本発明の第３実施例に係り、座標変換後の時刻ｔ２の鳥瞰図画像上における障害物の画像を示す図（ａ）と、時刻ｔ３の鳥瞰図画像上における障害物の画像を示す図（ｂ）と、両画像の差分から推定される障害物領域を示す図（ｃ）である。 本発明の第３実施例に係り、鳥瞰図座標上における車両と障害物の位置関係を説明するための図である。 本発明の第４実施例に係る運転支援システムの機能ブロック図である。

符号の説明

１ カメラ
２ 画像処理装置
３ 表示装置
１００ 車両

Claims (9)

1. 移動体に取り付けられて前記移動体の周辺を撮影するカメラを備え、前記カメラから時系列で並ぶ複数のカメラ画像を取得して、前記カメラ画像から生成した表示用画像を表示装置に出力する運転支援システムにおいて、
   前記複数のカメラ画像の内の基準カメラ画像から特徴点を抽出するとともに各カメラ画像における前記特徴点の位置を追跡処理によって検出することにより、異なるカメラ画像間における前記特徴点の移動ベクトルを導出する移動ベクトル導出手段と、
   前記移動ベクトルに基づいて、前記移動体の移動速度と前記移動体の移動における回転角とを推定する推定手段と、を備え、
   前記カメラ画像と推定された前記移動速度及び回転角とに基づいて、前記表示用画像を生成する
   ことを特徴とする運転支援システム。
2. 前記カメラ画像の座標上における前記特徴点及び前記移動ベクトルを座標変換によって所定の鳥瞰図座標上にマッピングするマッピング手段を更に備え、
   前記推定手段は、前記鳥瞰図座標上の前記特徴点の位置に従って配置された、前記鳥瞰図座標上の前記移動ベクトルに基づいて、前記移動速度と前記回転角を推定する
   ことを特徴とする請求項１に記載の運転支援システム。
3. 前記複数のカメラ画像は、順次訪れる第１、第２及び第３の時刻で取得される第１、第２及び第３のカメラ画像を含み、
   前記マッピング手段は、第１〜第３のカメラ画像の夫々における前記特徴点、並びに、第１及び第２のカメラ画像間における前記特徴点の移動ベクトル及び第２及び第３のカメラ画像間における前記特徴点の移動ベクトルを、前記鳥瞰図座標上にマッピングし、
   前記鳥瞰図座標上の、第１及び第２のカメラ画像間における前記特徴点の移動ベクトル及び第２及び第３のカメラ画像間における前記特徴点の移動ベクトルを、夫々、第１鳥瞰移動ベクトル及び第２鳥瞰移動ベクトルと呼んだ場合、
   前記マッピング手段によって、前記鳥瞰図座標上の前記第１の時刻における前記特徴点の位置に、第１鳥瞰移動ベクトルの始点が配置され、且つ、前記鳥瞰図座標上の前記第２の時刻における前記特徴点の位置に、第１鳥瞰移動ベクトルの終点及び第２鳥瞰移動ベクトルの始点が配置され、且つ、前記鳥瞰図座標上の前記第３の時刻における前記特徴点の位置に、第２鳥瞰移動ベクトルの終点が配置され、
   前記推定手段は、第１及び第２鳥瞰移動ベクトルと、前記鳥瞰図座標上における前記移動体の位置と、に基づいて、前記移動速度と前記回転角を推定する
   ことを特徴とする請求項２に記載の運転支援システム。
4. 各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段と、
   推定された前記移動速度及び前記回転角と前記鳥瞰図座標上における前記移動体の位置に基づいて前記鳥瞰図座標上における前記移動体の予想通過エリアを推定する通過エリア推定手段と、を更に備え、
   前記予想通過エリアに応じた指標を前記鳥瞰図画像に重畳することによって前記表示用画像を生成する
   ことを特徴とする請求項１〜請求項３の何れかに記載の運転支援システム。
5. 各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段と、
   互いに異なる時刻で取得された２つのカメラ画像に基づく２つの鳥瞰図画像を画像マッチングによって位置合わせしてから両鳥瞰図画像間の差分をとることにより、高さのある立体物領域の、前記鳥瞰図座標上における位置を推定する立体物領域推定手段と、を更に備えた
   ことを特徴とする請求項１に記載の運転支援システム。
6. 各カメラ画像の座標を所定の鳥瞰図座標上に座標変換することにより、各カメラ画像を鳥瞰図画像に変換する鳥瞰変換手段を更に備え、
   互いに異なる第１及び第２の時刻で取得された２つのカメラ画像に基づく２つの鳥瞰図画像を、第１及び第２の鳥瞰図画像と呼んだ場合、
   当該運転支援システムは、更に、座標変換手段を含む立体物領域推定手段を更に備え、
   前記座標変換手段は、推定された前記移動速度に基づく前記第１及び第２の時刻間における前記移動体の移動距離と、推定された第１及び第２の時刻に対応する前記回転角と、に基づいて、２つの鳥瞰図画像上の特徴点が重なるように第１及び第２の鳥瞰図画像の内の一方の座標を変換し、
   前記立体物領域推定手段は、座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分に基づいて、高さのある立体物領域の、前記鳥瞰図座標上における位置を推定する
   ことを特徴とする請求項１に記載の運転支援システム。
7. 推定された前記移動速度及び前記回転角と前記鳥瞰図座標上における前記移動体の位置に基づいて前記鳥瞰図座標上における前記移動体の予想通過エリアを推定する通過エリア推定手段と、
   前記予想通過エリアと前記立体物領域とが重なるか否かを判断する立体物監視手段と、を更に備えた
   ことを特徴とする請求項５または請求項６に記載の運転支援システム。
8. 前記立体物監視手段は、前記予想通過エリアと前記立体物領域が重なると判断したとき、前記立体物領域の前記位置と前記移動体の前記位置と前記移動速度に基づいて、前記移動体と前記立体物領域に対応する立体物が衝突するまでの時間長さを推定する
   ことを特徴とする請求項７に記載の運転支援システム。
9. 請求項１〜請求項８の何れかに記載の運転支援システムが設置された
   ことを特徴とする、移動体としての車両。

Images