JP3773433B2 - 移動体の周囲監視装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体の周囲を監視するための移動体の周囲監視装置に関する。より詳細には、人または貨物を輸送する自動車または電車を含む移動体の周囲を監視するために用いられる移動体の周囲監視装置に関する。
【０００２】
【従来の技術】
近年における交通事故の増大は、大きな社会問題となっている。特に、道路が交差する交差点（Ｔ字交差または四つ角等）において、人の飛び出しに起因する事故、車両同士の出合い頭の衝突事故、車両同士の追突事故がしばしば発生している。これら交差点での交通事故の原因は、車両の運転者および歩行者共に、安全を確認する上で必要とされる視界に比べて、実際に得られる視界が狭く、その結果、十分な注意を払っていないと危険の認識が遅れることに起因すると考えられる。よって、車両自体の改良および運転者の注意、道路環境の整備等がさらに強く望まれている。
【０００３】
従来から、道路環境を整備するために、交差点のような視界が遮られているところにミラーが設置されている。しかし、ミラーを設置するだけでは依然として視界が狭く、また、設置されるミラーの数もまだ十分ではないため、安全にたいして万全であるとは言えない。
【０００４】
また、車両の安全、特に後方確認を目的として、監視カメラを車両後部に設置し、ケーブルを通じて運転席の横または前方パネル部に設置したモニターに監視用のカメラからの画像を表示するシステムが、バスを含む大型車両または一部の乗用車において普及している。しかし、この場合でも、車両の側方の安全確認は運転者の視覚によるところが大きく、交差点のような視界が遮られているところでは危険の認識が遅れることが多い。さらに、この種のカメラは一般に視界が狭く、一つのカメラでは、一方向に対する障害物の有無または何らかの物体と衝突する危険性について確認することができるが、広範囲の障害物の有無または何らかの物体と衝突する危険性について確認するためには、カメラの角度を変化させる操作が必要である。
【０００５】
すなわち、従来の車両周囲監視装置では、一方向の監視することのみに重点がおかれており、車両の周囲３６０゜に対する確認を行うためには、複数台（例えば、前後左右計４台以上）のカメラが必要となる。
【０００６】
また、高所、高緯度地域または冬場など、周囲温度が所定の温度以下の場合、車両のエンジンを始動後所定の時間経過するまでに、車両の窓ガラスに付着した水滴またはその水滴が凍結すること等により、車両の窓ガラスが曇って、車両内部から外部を目視しづらい場合がしばしばある。車両を道路に駐車するとき、車両の周辺に人または他の車両が接近することが多いが、そのような状況下で、車両の運転を開始する場合、車両の窓ガラスの曇りをワイパーまたは温風などで十分に除去しないと、車両の運転者は周囲の状況を認識することができず、危険である。
【０００７】
【発明が解決しようとする課題】
車両を利用する際には安全を確認して対応しなければならない状況がしばしばある。車両の出発時の周囲の確認、車両の左折時または右折時、駐車場または車庫からの入出庫時に、車両の前方だけでなく、車両の左右および後方の確認が必要となる。車両の運転者がこれらの確認を行うことは非常に重要であるが、車両の構造上、運転席からの死角部分の安全の確認が難しく、運転者にとっては多大な負担になる。
【０００８】
さらに、従来の車両周囲監視装置を用いて車両の周囲３６０゜に対する確認を行うためには、複数台のカメラを必要とする。そして、これを使用する場合には、運転者は、そのときの状況に応じて、モニターに表示される画像を出力するカメラを切り替えるか、または、カメラの向きを変えて、車両の周囲の安全を確認する必要がある。これは、運転者に非常に大きな負担をかけることになる。
【０００９】
また、車両の窓ガラスが曇って、車両内部から外部を目視しづらいような時に車両を運転する場合、車両の運転者は、直接的に車両の周囲を目視するために、車両内部の温度が上昇した結果、車両の窓ガラスの曇りが晴れるまで待つか、または、車両の窓ガラスを拭いて曇りをとる作業が必要である。その間、直接的に車両の周囲を目視する以外の方法で車両の周囲の安全を確認することができれば、より安全に運転を行なうことができる。
【００１０】
本発明は、このような従来技術の課題を解決するためになされたものであり、移動体の周囲の状況を容易に確認して運転者の負担を減らすことができ、安全性を高めることができる移動体の周囲監視装置を提供することを目的とする。
【００１１】
さらに、移動体が移動可能状態になるときに、移動体のオペレータが移動体の周囲の状況を瞬時に把握することができる移動体の周囲監視装置を提供することをさらなる目的とする。
【００１２】
【課題を解決するための手段】
本発明の移動体の周囲を監視するための移動体の周囲監視装置は、その周囲の領域の映像を光学像に中心射影変換する光学系と、撮像レンズを含み、前記中心射影変換された光学像を画像データに変換する撮像部とを含む少なくとも１つの全方位視覚センサーと、前記画像データをパノラマ画像データおよび透視画像データの少なくとも一方に変換する画像処理部と、前記パノラマ画像データに対応するパノラマ画像および前記透視画像データに対応する透視画像の少なくとも一方を表示する表示部と、前記表示部を制御する表示制御部とを備える、全方位視覚システムを搭載する移動体の周囲監視装置であって、前記光学系は、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラーを含み、前記双曲面ミラーの光軸が前記撮像レンズの光軸に一致し、前記撮像レンズの主点が前記双曲面ミラーの一方の焦点位置に位置し、前記表示部が、前記移動体の周囲を俯瞰する前記透視画像を表示する。
【００１３】
前記少なくとも１つの全方位視覚センサーは、前記移動体全体の周囲を俯瞰する映像を前記画像データに変換するように配置されてもよい。
【００１４】
前記表示部は、前記パノラマ画像と前記透視画像を同時に、または、切り替えて表示してもよい。
【００１５】
前記表示部は、前記移動体の移動想定方向と反対方向の領域の画像を表示してもよい。
【００１６】
前記画像処理部は、前記周囲の領域のうちの第１の領域に対応する画像データを第１の透視画像データに変換してもよい。
【００１７】
前記画像処理部は、前記表示制御部からの制御に応じて、前記周囲の領域のうちの、第１の領域とは一致しない第２の領域に対応する画像データを前記第１透視画像データとは一致しない第２の透視画像データに変換してもよい。
【００１８】
前記第２の領域は、前記第１の領域を、平行移動および拡大縮小のうちの少なくとも一方を行なった領域に位置してもよい。
【００１９】
前記光学系の光軸が前記移動体の移動想定方向に対して垂直軸方向を向くように前記光学系が配置されてもよい。
【００２０】
前記表示部が、前記表示制御部からの制御に応じて、表示部の表示画像の所定の位置に前記移動体を表す画像を表示してもよい。
【００２１】
また、前記表示部は、移動体の周囲を俯瞰する透視画像を表示する際に、表示画面の所定の位置に移動体を示す画像を表示させるのが好ましい。
【００２２】
本発明によれば、表示部は、移動体の周囲を俯瞰する透視画像を表示する。この場合、表示部が移動体全体の周囲を俯瞰する透視画像を表示すると、移動体のオペレータは１度に移動体の全ての方向の周囲を確認することができる。
【００２３】
１つの全方位視覚センサーが、直接的に移動体全体の周囲を俯瞰する映像を画像データに変換することが可能な場合、表示部は、その全方位視覚センサーからの画像データを変換した移動体全体の周囲を俯瞰する透視画像を表示することができる。
【００２４】
しかし、１つの全方位視覚センサーでは、その配置により、直接的に移動体全体の周囲を俯瞰する映像を画像データに変換することができない場合がある。例えば、取り付けた全方位視覚センサーの高さが車両より高い位置にある場合は、全方位視覚センサーは、直接的に車両全体の周囲を上方から俯瞰した映像を得ることができるが、取り付けた全方位視覚センサーの高さが車両の天井よりも低い場合、全方位視覚センサーの視野の一部は、車両に妨害されて、車両全体の周囲を俯瞰した映像を得ることができない。
【００２５】
その場合、複数の全方位視覚センサーから得られた複数の透視画像を合成して、車両全体の周囲を俯瞰した１つの透視画像を表示してもよい。これにより、移動体のオペレータは１度に移動体の全ての方向の周囲を確認することができる。
【００２６】
また、画像処理部内の記憶部に、予め車両を上方から撮影した画像を示す車両画像データを記憶させ、記憶部に記憶された車両画像データと全方位視覚センサーによる映像を変換した透視画像データとを合成することで、表示部は、表示部の表示画面の所定の位置に車両を表す透視画像を表示してもよい。
【００２７】
また、予め車両を上方から俯瞰した画像として、コンピュータグラフィックスによって作成した所定の画像データを画像処理部内の記憶部に記憶し、全方位視覚センサーで撮像した映像を変換した透視画像データとその所定の画像データとを合成して、それにより、表示部の表示画面の所定の位置に車両を表す画像を表示してもよい。
【００２８】
このように、移動体の画像と移動体の周囲の透視画像とを合成して表示することで、移動体のオペレータは、移動体と移動体の周囲に存在する物体との相対的距離を容易に把握することができる。予め移動体を撮影した画像を表示することによって、移動体のオペレータは、一層臨場感をもって移動体と移動体の周囲に存在する物体との相対的距離を把握することができる。
【００２９】
前記表示部は、前記移動体の移動想定方向と反対方向の領域の画像と、前記移動体の移動想定方向および前記移動想定方向と反対方向とは異なる方向の領域の画像とを同時に表示してもよい。
【００３０】
前記移動体は自動車であってもよい。
【００３１】
前記自動車は、前記自動車の移動想定方向側に位置する第１のバンパーと、前記自動車の前記移動想定方向と反対方向側に位置する第２のバンパーとを有し、前記少なくとも１つの全方位視覚センサーは、前記第１のバンパーの上に設置される第１の全方位視覚センサーと、前記第２のバンパーの上に設置される第２の全方位視覚センサーとを含んでもよい。
【００３２】
前記第１の全方位視覚センサーは、前記第１のバンパーのうちの前記自動車の移動想定方向に対して左端または右端のいずれか一方の上に設置され、前記第２の全方位視覚センサーは、前記第２のパンバーのうちの前記第１の全方位視覚センサーの設置位置と対向する側の上に設置されてもよい。
【００３３】
前記表示部は、前記第１の全方位視覚センサーによる第１の透視画像と、前記第２の全方位視覚センサーによる第２の透視画像とを合成した画像を表示してもよい。
【００３４】
前記画像処理部は、前記移動体を表す画像に変換される前記移動体画像データを記憶する記憶部を備え、前記画像処理部は、前記移動体画像データと前記画像データとを合成し、前記表示部は、前記移動体を表す画像を含む前記透視画像を表示してもよい。
【００３５】
前記移動体画像データは、コンピュータグラフィックスによって作成される画像データであってもよい。
【００３６】
前記移動体画像データは、前記移動体を撮影した画像データであってもよい。
【００３７】
前記全方位視覚システムが、前記移動体の周囲温度を測定する温度測定部をさらに備え、前記温度測定部が測定した周囲温度が所定の温度以下である場合、前記移動体が移動可能状態になるとき、前記表示部は、前記移動体の周囲を俯瞰する透視画像を表示してもよい。
【００３８】
前記表示部は、前記第１の全方位視覚センサーによる前記移動体の周囲を俯瞰する透視画像の表示領域と前記第２の全方位視覚センサーによる前記移動体の周囲を俯瞰する透視画像の表示領域とが重なる領域において、前記表示制御部からの制御に基づいて、前記第１の全方位視覚センサーまたは前記第２の全方位視覚センサーの一方に対応する透視画像を表示してもよい。
【００３９】
また、さらに、移動体の周囲温度が所定の温度以下の場合、移動体の移動可能状態になるとき、表示部は、移動体の周囲を俯瞰した画像を表示するようにするのが好ましい。移動体の周囲を俯瞰した画像を得るためには、全方位視覚センサーは、移動体の移動想定方向に対して垂直方向に配置されることが好ましい。移動体が車両の場合、全方位視覚センサーの視野方向が９０°下向き（鉛直軸方向下向き）の透視画像が得られるように、全方位視覚センサーは配置される。このように配置された全方位視覚センサーが撮像した映像を変換した透視画像を表示することにより、移動体のオペレータは、移動体周囲の安全確認を容易に行なうことができる。
【００４０】
なお、本明細書において、光学系によって中心射影変換される周囲の領域の映像は、同一の点を視点とする光学系の周囲の領域の映像である。
【００４１】
以下、本発明の作用について説明する。
【００４２】
本発明にあっては、全方位視覚センサーの光学系は、光学系の周囲の領域の映像を中心射影変換する。この光学系は、例えば、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラーを含み、双曲面ミラーの光軸が、全方位視覚センサーの撮像部に備わった撮像レンズの光軸に一致し、かつ、撮像レンズの主点が双曲面ミラーの片方の焦点に位置する。
【００４３】
そして、光学系を通して受光される光学像を撮像部により画像データに変換し、この画像データを画像処理部によりパノラマ画像データおよび透視画像データのうちの少なくとも一方に変換する。
【００４４】
表示部は、パノラマ画像データに対応するパノラマ画像および透視画像データに対応する透視画像のうちの少なくとも一方を表示する。
【００４５】
撮像部で撮像した光学像は、双曲面ミラーの一方の焦点を視点とした画像と見なすことができ、極座標から直交座標への座標変換を行ってパノラマ画像または透視画像への変換が可能となる。
【００４６】
表示画像の選択または表示される画像の大きさの制御は表示制御部により行う。
【００４７】
ある実施形態において、１つの全方位視覚センサーは、移動体全体の周囲を俯瞰する透視画像データが得られるように配置される。移動体が車両の場合、一般に、その全方位視覚センサーの透視画像の視野方向が下方向に９０゜になるように移動させることにより、車両の周囲を俯瞰した画像を表示することが可能になる。
【００４８】
これにより、表示部は、移動体の周囲を俯瞰する透視画像を表示することができる。
【００４９】
その結果、一方向の監視のみを重視した従来の移動体監視装置のように、運転者が、表示部に表示される画像を出力する複数のカメラを切り替えたり、カメラの向きを変えたりする必要がなく、容易に移動体の周囲を確認することができる。
【００５０】
表示部は、周囲の領域のうち、移動体の移動想定方向と反対方向の領域の透視画像を表示する。
【００５１】
あるいは、表示制御部からの制御に応じて、画像処理部によって平行移動（上下および／または左右を含む）（パン・チルト）処理、および、拡大縮小（ズームイン・ズームアウト）処理のうちの少なくとも一方を行なった画像を表示することができる。
【００５２】
それにより、例えば、駐車場または車庫での入出庫時もしくは車両の幅寄せ時に、左右の車両またはその他の障害物との間隔を確認するのに最適である。
【００５３】
なお、本明細書において、拡大縮小とは、拡大または縮小のいずれかを意味する。
【００５４】
光学系の光軸を移動体の移動想定方向に対して垂直軸方向に向けるように光学系を配置する場合、その光学系によって撮像された映像を変換した透視画像は、移動体全体を俯瞰するような画像（すなわち、鳥瞰図）となり得る。例えば、駐車場または車庫での入出庫時もしくは車両の幅寄せ時に、左右の車両またはその他の障害物との間隔を確認することが容易になる。なお、光学系の光軸が車両の移動想定方向に対して鉛直方向に向いていない場合でも、全方位視覚センサーの透視画像の視野方向を鉛直軸下向きに合わせれば、所望の画像を得ることができる。
【００５５】
さらに、表示制御部からの制御に応じて、移動体画像を表示部の表示画面の所定の位置（例えば、表示画像の中心）に表示させることにより、移動体の周囲の状況を容易に知ることができる。
【００５６】
また、さらに、表示部の表示画面の所定の位置に、予め撮影した移動体画像またはコンピュータグラフィックスにより作成された移動体画像を表示することにより、移動体と移動体の周囲の物体（障害物等）の相対的な位置関係を認識しやすい。
【００５７】
さらに、表示部に、移動体の移動想定方向と反対方向の領域の画像と、移動体の移動想定方向および移動体の移動想定方向と反対方向とは異なる領域の画像とを同時に表示させることにより、移動体の移動想定方向以外の方向の確認を容易に行うことが可能となる。概して、移動体のオペレータは、移動体の移動想定方向を向いて移動体を操作するため、移動体の移動想定方向以外の方向を確認することは安全の観点から利点がある。
【００５８】
例えば、移動体が自動車である場合、前後のバンパー上に２つの全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。特に、車両の前方のある全方位視覚センサーを左コーナー部および右コーナー部のいずれか一方の上に設置し、車両の後方の別の全方位視覚センサーを前方に設置した全方位視覚センサーの設置位置と対角位置のコーナー部上に設置することにより、運転者の死角となり易い移動体のすぐ側において移動体全体の周囲略３６０゜の画像が得られる。
【００５９】
さらに、車両の前方のコーナー部に設置した全方位視覚センサーにより得られる移動体の周囲を俯瞰した透視画像と、前方とは対角に位置する後方のコーナー部に設置した全方位視覚センサーにより得られる移動体の周囲を俯瞰した透視画像とを合成した透視画像を表示部に表示させることにより、車両全体の周囲の画像を１つの画面に表示することが可能となり、安全確認が容易になる。
【００６０】
また、さらに、高所、高緯度地域または冬場等、移動体の周囲温度が所定の温度以下となり、移動体内部から外部を目視しづらいような場合（例えば、移動体が車両の場合、車両の窓ガラスが曇る場合）、移動体が移動可能状態になるとき、表示部が移動体の周囲を俯瞰した透視画像を表示することにより、移動体のオペレータは、移動体の周囲の安全確認を容易に行なうことができる。移動体が車両の場合、全方位視覚センサーの透視画像の視野方向を９０°下向き（鉛直軸方向下向き）にすることで、車両の周囲の画像を表示することができる。
【００６１】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００６２】
（実施形態１）
図１Ａは本発明の一実施形態である移動体の周囲監視装置２００を備えた移動体１００の構成を示す平面図であり、図１Ｂはその移動体１００の側面図である。
【００６３】
本実施形態において、移動体１００の具体例として、移動体１００が車両である場合を説明する。
【００６４】
本実施形態において、車両１００は、移動体の周囲監視装置２００を搭載する。図１Ａおよび図１Ｂに示される移動体の周囲監視装置２００は、全方位視覚センサー２１０と、演算制御部２２０とを含む。全方位視覚センサー２１０は、車両１００の天井（ルーフ）の上に配置される。演算制御部２２０は、例えば、車両１００の運転者の側に配置される。
【００６５】
図１Ａおよび図１Ｂに示される全方位視覚センサー２１０は、自身を中心として周囲の領域（略水平方向３６０゜を含む）の視野を有している。
【００６６】
図１Ｃは本発明の別の一実施形態である移動体の周囲監視装置２００Ａを備えた移動体１００Ａの構成を示す平面図であり、図１Ｄはその移動体１００Ａの側面図である。車両１００Ａは、移動体の周囲監視装置２００Ａを搭載する。図１Ｃおよび図１Ｄに示される移動体の周囲監視装置２００Ａは、第１の全方位視覚センサー２１０Ａと、第２の全方位視覚センサー２１０Ｂと、演算制御部２２０とを含む。第１の全方位視覚センサー２１０Ａは、車両１００Ａの前側に（車両１００Ａの前進方向）配置され、第２の全方位視覚センサー２１０Ｂは、車両１００Ａの後ろ側に（車両１００Ａの後退方向）配置される。演算制御部２２０は、例えば、車両１００Ａの運転者の側に配置される。
【００６７】
車両１００Ａは、さらに、車両１００の前側に配置されるフロントバンパー１１０と、車両１００Ａの後ろ側に配置されるリアバンパー１２０とを有する。
【００６８】
図１Ｃおよび図１Ｄに示される車両１００Ａでは、車両１００Ａのフロントバンパー１１０の中央部上に第１の全方位視覚センサー２１０Ａが配置され、リアバンパー１２０の中央部上に第２の全方位視覚センサー２１０Ｂが配置される。第１の全方位視覚センサー２１０Ａおよび第２の全方位視覚センサー２１０Ｂのそれぞれは、自身を中心として周囲の領域（略水平方向３６０゜を含む）の視野を有する。
【００６９】
しかし、第１の全方位視覚センサー２１０Ａの視野のうちの後方視野の略１８０゜は車両１００Ａによってふさがれるため、第１の全方位視覚センサー２１０Ａの有効な視野は、第１の全方位視覚センサー２１０Ａの略側方から前方の１８０゜である。また、リアバンパー１２０上の第２の全方位視覚センサー２１０Ｂの視野のうちの前方視野の略１８０゜は車両１００Ａによってふさがれるため、第２の全方位視覚センサー２１０Ｂの有効な視野は、第２の全方位視覚センサー２１０Ｂの略側方から後方の１８０゜である。
【００７０】
図２は、本実施形態における移動体の周囲監視装置２００の構成を説明するためのブロック図である。
【００７１】
この移動体の周囲監視装置２００は、その周囲の領域の映像を画像データに変換する全方位視覚センサー２１０と、全方位視覚センサー２１０によって変換された画像データを処理し、処理した画像を表示する演算制御部２２０とを含む。なお、図１Ｃおよび図１Ｄに示される移動体の周囲監視装置２００Ａは、全方位視覚センサーを２つ備える点を除いて移動体の周囲監視装置２００と同様の機能を有する。また、図１Ｃおよび図１Ｄに示される第１の全方位視覚センサー２１０Ａおよび第２の全方位視覚センサー２１０Ｂのそれぞれは、全方位視覚センサー２１０と同様の機能を有する。
【００７２】
全方位視覚センサー２１０は、その周囲の視野領域の映像を中心射影変換する光学系２１２と、光学系２１２によって中心射影変換された光学像を画像データに変換する撮像部２１４とを含む。撮像部２１４は、撮像レンズ２１６と、中心射影変換された光学像を受光する受光部２１７と、受光部２１７部によって受光された光学像を画像データに変換する画像データ生成部２１８とを含む。
【００７３】
また、演算制御部２２０は、撮像部２１４によって変換された画像データをパノラマ画像データおよび透視画像データの少なくとも一方に変換する画像処理部２３０と、画像処理部２３０からの出力２３６を表示する表示部２４０と、画像処理部２３０からの出力２３８および／または外部からの入力２５４に基づいて、表示部２４０において表示される画像の選択または画像の大きさなどを制御するための出力２５２を表示部２４０に出力する表示制御部２５０とを備える。画像処理部２３０は、所望の場合に、警報発生部２６０に出力２６２を出力し、警報を発生させる。画像処理部２３０は、画像変換部２３２と、出力バッファメモリー２３４と、記憶部２３５とを含む。表示部２４０は、パノラマ画像データに対応するパノラマ画像および透視画像データに対応する透視画像の少なくとも一方の画像を表示する。記憶部２３５は、画像処理部２３０の画像処理に関連する何らかのデータが記憶される。例えば、記憶部２３５は、車両１００、１００Ａを上方から俯瞰した画像を記憶している。
【００７４】
画像処理部２３０は、例えば、車両１００の前方エンジン室内または後方貨物室内に設置することが可能であり、表示部２４０および表示制御部２５０は、運転席前方パネル内またはパネル横に設置することができる。
【００７５】
以下に、各部分について、詳細に説明する。
【００７６】
図３は、中心射影変換が可能な光学系２１２の具体例を示す。
【００７７】
ここでは、光学系２１２は、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラー３１０を含む。双曲面ミラー３１０の光軸（Ｚ軸）３１２は、撮像部２１４に備わった撮像レンズ２１６の光軸３１４に一致するように、撮像レンズ２１６および双曲面ミラー３１０は配置される。撮像レンズ２１６の第１主点２１５は、双曲面ミラー３１０の片方の焦点（焦点▲２▼）に位置する。これにより、中心射影変換（撮像部２１４で撮像した光学像を双曲面ミラー３１０の一方の焦点▲１▼を視点とする周囲の領域の映像と見なすこと）が可能になる。このような光学系２１２は、例えば特開平６−２９５３３３号公報に詳述されているので、以下に特徴点のみを説明する。
【００７８】
図３において、双曲面ミラー３１０とは、双曲線をＺ軸３１２を中心として回転して得られる２つの曲面（２葉双曲面）のうちの一方（Ｚ＞０の領域）の曲面の凸状面に鏡面を形成したものである。この２葉双曲面は、
（Ｘ²＋Ｙ²）／ａ²−Ｚ²／ｂ²＝−１ ・・・（１）
ｃ²＝（ａ²＋ｂ²）
で表される。なお、ａおよびｂは双曲面の形状を定義する定数であり、ｃは焦点の位置を定義する定数である。本明細書において、ａ、ｂ、ｃをミラー定数とよぶ。双曲面ミラー３１０は双曲線を回転することによって得られる曲面形状であるので、双曲線の回転軸は、この双曲面ミラー３１０の光軸３１２となる。
【００７９】
この双曲面ミラー３１０は２つの焦点▲１▼と▲２▼とを有し、外部から一方の焦点（この場合は、焦点▲１▼）に向かう光は双曲面ミラー３１０で反射され、全て他方の焦点（この場合は、焦点▲２▼）に向かうという特徴を有する。従って、双曲面ミラー３１０の光軸３１２と撮像レンズ２１６の光軸３１４とを一致させると共に、他方の焦点▲２▼に撮像レンズ２１６の第１主点２１５を配置することにより、撮像部２１４で撮像される光学像は、視野方向によって視点位置を変えずに、一方の焦点▲１▼を視点中心とした周囲の領域の映像を画像データに変換可能なことを意味する。ただし、この場合、双曲面ミラー３１０の内部の領域の映像を撮像することができないことに留意されたい。また、実際には、撮像部２１４が有限の大きさを有するため、撮像部２１４は、撮像部２１４によって双曲面ミラー３１０の焦点▲１▼に入射することが妨げられる光を受光することはできない。
【００８０】
撮像部２１４は、例えば、ビデオカメラである。図３における双曲面ミラー３１０を介して受光する光学像を、ＣＣＤまたはＣＭＯＳ等の固体撮像素子を利用して画像データに変換する。変換された画像データは、画像処理部２３０に送られる。
【００８１】
図４Ａは、画像処理部２３０の詳細な構造を示すブロック図である。
【００８２】
画像処理部２３０は、画像変換部２３２と、出力バッファメモリー２３４と、記憶部２３５とを含む。画像変換部２３２は、Ａ／Ｄ変換器４１０と、入力バッファメモリー４２０と、ＣＰＵ４３０と、ルックアップテーブル（ＬＵＴ）４４０と、画像変換ロジック４５０とを含む。画像処理部２３２のそれぞれの要素と、出力バッファメモリー２３４とは、バスライン４６０を介して接続される。
【００８３】
図４Ｂは、画像変換部２３２の詳細な構造を示すブロック図である。
【００８４】
画像変換部２３２には、撮像部２１４にて撮像された光学像を変換した画像データが入力される。画像データがアナログ信号の場合には、Ａ／Ｄ変換器４１０によりデジタル信号に変換された後で入力バッファメモリー４２０に入力される。画像データがデジタル信号の場合には、直接入力バッファメモリー４２０に入力される。
【００８５】
画像変換部２３２では、上記入力バッファメモリー４２０からの出力を必要に応じて画像処理を施す。画像処理は、例えば、画像変換ロジック４５０が、ＬＵＴ４４０を用いて、画像データをパノラマ画像データおよび透視画像データの少なくとも一方に変換したり、表示すべき画像の平行移動（上下または左右への移動）および／または拡大縮小することによって行なわれる。その後、画像処理後の画像データが図４Ａに示す出力バッファメモリー２３４に入力される。これらの制御は、ＣＰＵ４３０により制御される。このとき、ＣＰＵ４３０は、所謂ＲＩＳＣ方式でも、ＣＩＳＣ方式でもよい。
【００８６】
次に、上記画像変換ロジック４５０による画像変換の原理について説明する。画像変換としては、周囲の領域の映像を３６０゜のパノラマ画像に変換するためのパノラマ画像変換および透視画像に変換するための透視変換がある。また、透視画像は横回転移動（左右移動、いわゆるパン動作）および縦回転移動（上下移動、いわゆるチルト動作）が可能である。本明細書において、横回転移動および縦回転移動のうちの少なくとも一方の移動を「平行移動」とよぶ。
【００８７】
まず、３６０゜のパノラマ画像変換について、図５を用いて説明する。図５（ａ）は、受光部２１７によって受光される円形入力光学像５１０を示す。図５（ｂ）は、円形入力光学像５１０をドーナツ状に切り出し、切り開く様子を示す（５１５）。図５（ｃ）は、円形入力光学像５１０を引き伸ばして直交座標に変換した後のパノラマ画像５２０を示す。
【００８８】
図５（ａ）に示すように、円形入力光学像５１０をその中心を原点とした極座標で表す場合、円形入力光学像５１０上のある点（画素）Ｐの座標は（ｒ，θ）で表わされる。図５（ｂ）に示すように、この円形入力光学像５１０をドーナツ状に切り出して、ＰＯ（ｒｏ，θｏ）を基準に切り開いて引き伸ばし、これを四角いパノラマ画像５２０に変換する座標変換式は、パノラマ画像５２０上の点Ｐ２の座標を（ｘ，ｙ）とすると、
ｘ＝θ−θｏ
ｙ＝ｒ−ｒｏ
で表される。図５（ａ）の円形入力光学像５１０上の点Ｐ１の座標を（Ｘ，Ｙ）とし、その中心Ｏの座標を（Ｘｏ，Ｙｏ）とすると、
Ｘ＝Ｘｏ＋ｒ×ｃｏｓθ
Ｙ＝Ｙｏ＋ｒ×ｓｉｎθ
であるので、この式は、
Ｘ＝（ｙ＋ｒｏ）×ｃｏｓ（ｘ＋θｏ）＋Ｘｏ
Ｙ＝（ｙ＋ｒｏ）×ｓｉｎ（ｘ＋θｏ）＋Ｙｏ
と書きかえることができる。
【００８９】
パノラマ画像のパン・チルト動作は、基準点ＰＯ（ｒｏ、θｏ）の位置を別の位置に変えることにより行うことができる。θｏを変えることによりパン動作が行われ、ｒｏを変えることによりチルト動作が行われる。但し、チルト動作については変換領域を外れてしまうため、本実施形態では使用しない。
【００９０】
次に、透視変換について、図６を用いて説明する。透視変換における座標変換については、空間上の点が入力光学像上のどの位置に対応するかを計算し、入力光学像上の点の画像情報を透視変換後の周囲の映像上の対応する座標位置に割り当てる方法を採用する。
【００９１】
図６に示すように、空間上のある点をＰ３とし、受光部２１７に形成される円形入力光学像上の対応する点の座標をＲ（ｒ，θ）とし、撮像レンズ２１６の焦点距離をＦとし、受光部２１７は、撮像レンズ２１６から焦点距離Ｆ離れて配置される。さらに、双曲面ミラー３１０のミラー定数を（ａ，ｂ，ｃ）（上記図３のａ、ｂ、ｃと同じ）とし、αを物点から双曲面ミラー３１０の焦点▲１▼へ向かう入射光の焦点から見た入射角（水平面からの上下振れ角）、βを物点から双曲面ミラー３１０の焦点▲１▼へ向かう光が双曲面ミラー３１０で反射され、撮像レンズ２１６に入射する入射角（但し、撮像レンズ２１６の光軸３１４からの角度ではなく、光軸３１４に垂直な撮像レンズ２１６平面からの角度）とすると、
ｒ＝Ｆ×ｔａｎ（（π／２）−β） ・・・（２）
であり、ここで、

となる。上記式（２）を整理すると、

となる。さらに、円形入力光学像５１０上の点の座標を直交座標に変換してＲ（Ｘ，Ｙ）とすると、
Ｘ＝ｒ×ｃｏｓθ ・・・（３）
Ｙ＝ｒ×ｓｉｎθ ・・・（４）
であるので、

となる。
【００９２】
次に、横回転移動と縦回転移動について説明する。
【００９３】
まず、双曲面ミラー３１０の焦点▲１▼から距離Ｒ、俯角φ（図６のαと同じ）、Ｚ軸３１２周りの回転角θの透視空間上に、図６に示すような幅Ｗ、高さｈの画像平面が存在すると仮定する。画像平面の中心がＰ３である。このとき、画像平面上の点、例えば右上コーナーの点Ｑの座標（ｔｘ，ｔｙ，ｔｚ）は、
ｔｘ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｃｏｓθ−（Ｗ／２）ｓｉｎθ・・・（７）
ｔｙ＝（Ｒｃｏｓφ＋（ｈ／２）ｓｉｎφ）ｓｉｎθ−（Ｗ／２）ｃｏｓθ・・・（８）
ｔｚ＝Ｒｓｉｎφ−（ｈ／２）ｃｏｓφ ・・・（９）
で表される。従って、上記式（７）、（８）および（９）を上記式（５）および（６）に代入することにより、入力画像面上のうちのＱと対応する点の座標ＸとＹとを求めることができる。すなわち、

となる。ここで、表示部２４０の画面サイズのピクセル（画素）単位を幅ｎおよび高さｍとすると、上記式（７）、（８）および（９）においてＷをＷ／ｎステップでＷ〜−Ｗ、ｈをｈ／ｍステップでｈ〜−ｈまで変化させたときに、入力光学像５１０上の対応する点の画像データを表示部２４０が表示するように構成することにより、透視画像を表示することができる。
【００９４】
次に、透視変換における横回転移動と縦回転移動（パン・チルト動作）について説明する。まず、上述のようにして得られた点Ｑが横回転移動（左右移動）した場合について説明する。横回転移動（Ｚ軸３１２回りの回転）については、移動角度をΔθとすると、移動後の座標（ｔｘ’，ｔｙ’，ｔｚ’）は、

で表される。従って、横回転移動については、上記式（１２）、（１３）および（１４）を上記式（５）および（６）に代入することにより、（ｔｘ’、ｔｙ’、ｔｚ’）と入力光学像５１０面上の対応する点の座標ＸとＹとを求めることができる。画像平面上の他の点（Ｑ点以外の点）についても同様である。よって、上述したのと同様に、上記式（１２）、（１３）および（１４）においてＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力光学像５１０面上の対応する点の画像データを表示部２４０が表示するように構成することにより、横回転した透視画像を表示することができる。
【００９５】
次に、上述のようにして得られた点Ｑが縦回転移動（上下移動）した場合について説明する。縦回転移動（Ｚ軸３１２方向の回転）については、移動角度をΔφとすると、移動後の座標（ｔｘ”，ｔｙ”，ｔｚ”）は、

で表される。従って、縦回転移動については、上記式（１５）、（１６）および（１７）を上記式（５）および（６）に代入することにより、（ｔｘ”、ｔｙ”、ｔｚ”）と入力光学像５１０面上の対応する点の座標ＸとＹとを求めることができる。他の平面上の点についても同様である。よって、上記式（１５）、（１６）および（１７）をＷ〜−Ｗ、ｈ〜−ｈまで変化させたときに、入力光学像５１０面上の対応する点の画像データを表示部２４０が表示するように構成することにより、縦回転した透視画像が得られる。
【００９６】
透視画像のズームイン・ズームアウト機能については、上記式（１１）および（１２）において、Ｗおよびｈを変えずにＲを小さくすると、焦点▲１▼からの視野領域が広がって光学的にズームアウトした場合と等価な縮小画像が得られ、Ｒを大きくすると、視野領域が狭くなって光学的にズームインした場合と等価な拡大画像が得られる。
【００９７】
ここで、撮像部２１４の光軸３１４が地面に対して鉛直方向上向きになるように車両１００に取り付け、縦回転移動によりα＝−９０゜となるように透視画像の視野方向を選ぶと、その透視画像は車両１００の周囲を真上から俯瞰するような画像（鳥瞰図）となる。この画像において視野領域を広げるためには、上述したようにＲを小さくすればよく、拡大画像が欲しい場合にはＲを大きくすればよい。さらに、表示制御部２５０からの制御（例えば、キー操作）により縮小された画像表示を行うことにより、図１Ａおよび図１Ｂに示される全方位視覚センサー２１０を中心として、自車両１００全体を含む一定範囲の広さの周囲を真上から俯瞰するような画像（鳥瞰図）となる。
【００９８】
本明細書において、俯瞰とは、移動体１００の移動想定方向に対して垂直上方から移動体の映像を撮像することを意味する。
【００９９】
また、本明細書において、移動想定方向とは、移動体１００の移動確率が最も高い方向を意味する。移動体１００は、移動想定方向に移動することを想定して設計されており、また、一般に、移動体１００のオペレータは、移動想定方向を直視するように位置している。
【０１００】
さらに、上述の透視画像は、焦点▲１▼からある選択された視野方向を中心として、その視野方向に垂直な面を想定しているが、上記式（５）および（６）を用いれば、視野方向に対して任意の位置および任意の角度の透視画像面を設定し得ることは明らかである。ここで、例えば全方位視覚センサー２１０を車両１００の天井ではなく、車両１００のコーナー部に設置した場合を考えると、通常の透視画像では、全方位視覚センサー２１０からの視野方向を中心として、その上下左右が等しい間隔の画像となっているため、表示部２４０の表示画面で表示される画像は、自車両１００の位置が中心からずれた位置に表示されるかもしれない。
【０１０１】
そこで、例えば自車両１００の車幅を２ｌｗとしたときに、上記式（１５）、（１６）および（１７）において画像平面の範囲をＷ〜−Ｗ、ｈ〜−ｈとせずに、横および縦に（μ，ν）だけ移動させて（ずらして）、Ｗ＋μ〜−Ｗ＋μ、ｈ＋ν〜−ｈ＋νとすることにより、自車両１００の位置を中心として画像表示することが可能である。但し、ｌｗ＝√（μ²＋ν²）である。このような処理は、画像処理部２３０により変換処理する際に、Ｗおよびｈにμおよびνを加えることにより行うことができる。
【０１０２】
表示部２４０は、例えば、ブラウン管、ＬＣＤやＥＬのモニターである。表示部２４０は、また、画像処理部２３０の出力バッファメモリー２３４からの出力を受け取り、画像を表示する。このとき、マイクロコンピューターを含む表示制御部２５０によって、表示部２４０に表示する画像（画像処理部２３０により変換されたパノラマ画像および／または透視変換画像）を選択したり、または、表示される画像の方向、画像の大きさを制御することができる。
【０１０３】
図７は、表示部２４０によって表示される表示画面７１０を示す。
【０１０４】
この図７において、表示画面７１０は、第１の透視画像表示部７２０と、第２の透視画像表示部７３０と、第３の透視画像表示部７４０と、パノラマ画像表示部７５０とを含む。第１の透視画像表示部７２０は、デフォルトで、車両１００の周囲のうちの前方の透視画像を表示し、第２の透視画像表示部７３０は、デフォルトで、車両１００の周囲のうちの左側の透視画像を表示し、第３の透視画像表示部７４０は、デフォルトで、車両１００の周囲のうちの右側の透視画像を表示する。また、パノラマ画像表示部７５０は、車両１００の周囲全体の映像を表示する。
【０１０５】
表示画面７１０は、また、第１の透視画像表示部７２０を説明するための第１の説明表示部７２５、第２の透視画像表示部７３０を説明するための第２の説明表示部７３５、第３の透視画像表示部７４０を説明するための第３の説明表示部７４５を、パノラマ画像表示部７５０を説明するための第４の説明表示部７５５を含む。
【０１０６】
表示画面７１０は、さらに、表示される透視画像を平行移動させるための方向キー７６０と、画像が表示する領域を拡大するための拡大キー７７０、画像が表示する領域を縮小するための縮小キー７８０を含む。
【０１０７】
ここで、第１の説明表示部７２５、第２の説明表示部７３５、第３の説明表示部７４５、第４の説明表示部７５５は、第１の透視画像表示部７２０、第２の透視画像表示部７３０、第３の透視画像表示部７４０、パノラマ画像表示部７５０のそれぞれのアクティブスイッチになっている。利用者は、第１の説明表示部７２５、第２の説明表示部７３５、第３の説明表示部７４５、第４の説明表示部７５５を操作して、対応する第１の透視画像表示部７２０、第２の透視画像表示部７３０、第３の透視画像表示部７４０、パノラマ画像表示部７５０をアクティブ状態にした後に、その表示部の画像の平行移動および／または拡大縮小が可能になる。さらに、第１の説明表示部７２５、第２の説明表示部７３５、第３の説明表示部７４５、第４の説明表示部７５５の表示色が変わることで、対応する第１の透視画像表示部７２０、第２の透視画像表示部７３０、第３の透視画像表示部７４０、パノラマ画像表示部７５０がアクティブであることを示してもよい。
【０１０８】
第１の透視画像表示部７２０、第２の透視画像表示部７３０、第３の透視画像表示部７４０、パノラマ画像表示部７５０は、方向キー７６０、拡大キー７７０、縮小キー７８０を操作することにより、平行（上下左右）移動および／または拡大縮小させることができる。また、パノラマ画像表示部７５０については、方向キー７６０を操作することにより上下左右移動させることができる。但し、パノラマ画像表示部７５０については、拡大縮小は行われない。
【０１０９】
例えば、利用者が、第１の説明表示部７２５を押すと、その信号が表示制御部２５０に送られる。表示制御部２５０は、第１の説明表示部７２５の色を変更させるか、または点滅させることによって、第１の透視画像表示部７２０がアクティブ状態であることを示す。それと共に第１の透視画像表示部７２０がアクティブ状態になり、方向キー７６０、拡大キー７７０、縮小キー７８０からの信号に応じて、表示制御部２５０から画像処理部２３０の画像変換部２３２に信号が送られる。そして、方向キー７６０、拡大キー７７０、縮小キー７８０キーのそれぞれに対応して変換された画像が、表示部２４０に送られ、画面に表示される。
【０１１０】
表示画面７１０は、さらに全方位視覚センサー切り換えキー７９０を含んでもよい。
【０１１１】
ここで、例えば運転者が、画面上の近くにある全方位視覚センサー切り換えキー７９０を操作すると、その操作に応じて、表示制御部２５０から画像処理部２３０および表示部２４０に信号が送られ、前方の全方位視覚センサー（図１Ｃ、１Ｄの２１０Ａ）による画像と後方の全方位視覚センサー（図１Ｃ、１Ｄの２１０Ｂ）による画像が切り換えられる。そして、例えば後方の全方位視覚センサー２１０Ｂを選んだ場合には、後方の全方位視覚センサー２１０Ｂの画像が表示される。さらに、３つの透視画像表示部７２０、７３０、７４０のうちの真ん中に位置する第１の画像表示部７２０を選択し、方向キー７６０により下方向に−９０゜まで画面をチルトさせると、上述したように、自車両１００Ａの後方部の周囲を真上から俯瞰した画像が得られる。この画像を図８に示す。
【０１１２】
図８は、表示部２４０が表示する別の表示画面８１０を示す。
【０１１３】
図８に示すように、表示画面８１０は、第１の透視画像表示部８３０のみを拡大して表示することもできる。第１の説明表示部８２０は、第１の透視画像表示部８３０が車両１００Ａの後部の周囲を俯瞰する後部鳥瞰図であることを示す。このように鳥瞰図的表示を行うことは、特に、駐車場または車庫での入出庫時もしくは幅寄せ時に左右の車両またはその他の障害物との間隔を確認するのに最適である。
【０１１４】
この図８は、全方位視覚センサー２１０Ｂを後述する実施形態２に示すように、車両１００Ａのコーナー部に設置した場合を示している。この場合、全方位視覚センサー２１０Ｂの視野は、視野の略９０゜が自車両１００Ａによりふさがれるため（図の領域８６０）、約２７０゜である。これに対し、レアバンパー１２０の中央部に設けた全方位視覚センサー２１０Ｂ（図１Ｃおよび１Ｄ参照）を設けた場合、後方１８０゜の視野の画像が得られる。
【０１１５】
さらに、図７に示される第２の透視画像表示部７３０および第３の透視画像表示部７４０は、各々左右に３６０゜回転の任意の角度回転させた画像を表示することも可能である。第２の透視画像表示部７３０または第３の透視画像表示部７４０が、左右のいずれか一方に９０゜回転させた画像を表示することにより、前方または後方の透視画像が得られる。なお、この表示画面への切り換えは、表示画面にさらなる操作ボタンを設けて、図７に示されるような表示画面から１回のボタン操作で切り換えられるようにしてもよい。
【０１１６】
（実施形態２）
図９Ａは実施形態２の移動体の周囲監視装置１０００を備えた車両９００の構成を示す平面図であり、図９Ｂはその車両９００の側面図である。
【０１１７】
本実施形態では、車両９００の前方コーナー部上に全方位視覚センサー１０１０Ａを配置し、その対角位置の後方コーナー部上に全方位視覚センサー１０１０Ｂを配置している点で、車両１００Ａとは異なる。
【０１１８】
全方位視覚センサー１０１０Ａ、１０１０Ｂのそれぞれは、自身を中心として略水平方向３６０゜の視野を含む周囲の視野を有する。しかし、前方コーナー部上の全方位視覚センサー１０１０Ａの有効な視野は、斜め後方視野略９０゜が車両９００によってふさがれるため、略２７０゜である。また、後方コーナー部上の全方位視覚センサー１０１０Ｂの有効な視野は、斜め前方視野略９０゜が車両９００にふさがれるため、略２７０゜である。よって、２つの全方位視覚センサー１０１０Ａ、１０１０Ｂを合わせて、運転者の死角となりやすい車両９００全体の周囲の略３６０゜の画像が得られる。
【０１１９】
ここで、例えば運転者が、図７に示されたような表示画面７１０の真ん中に位置する第１の透視画像表示部７２０を選んだ場合には、表示画面７１０は、通常、全方位視覚センサー１０１０Ａからの視野方向を中心とした画像であり、画像上で自車両９００の位置が表示画像の中心からずれた位置に表示されることがある。そこで、上述したように、表示画面に表示される自車両９００を表す画像を所定の位置（例えば、表示画像の中心）に表示するようにシフトさせることも可能である。
【０１２０】
図１０は、本実施の形態による表示画面１１１０を示す。画像処理部２３０または表示部２４０が、前方コーナー部の全方位視覚センサー１０１０Ａにより得られる鳥瞰図的画像と、その対角位置の後方コーナー部の全方位視覚センサー１０１０Ｂにより得られる鳥瞰図的画像とを合成することにより、図１０に示すように、表示画面１１１０は、自車両９００の周囲の画像を１度に１つの画面に表示させることも可能である。
【０１２１】
なお、全方位視覚センサーを取り付ける高さが自車両より高い場合、自車両の周囲を上方から俯瞰した映像が得られるが、取り付け高さが自車両の高さよりも低い場合には、実際には自車両を横からみた映像しか得られない。そこで、図８および図１０に示すような自車両を表す画像を表示するために、予め自車両を上方から撮影した画像を用意するか、または，コンピュータグラフィックスにより自車両の周囲を上方から俯瞰した画像を用意し、表示画面内の表示画像の所定の位置に合成表示（スーパーインポーズ）させるができる。これにより、車両の運転者は、車両の周囲の状況を容易に確認することができ、例えば、駐車場での白線位置または障害物との間隔をより容易に認識できる。
【０１２２】
また、さらに、図１１に示すように、車両９００の対角するコーナー部に設置された２つの全方位視覚センサー１０１０Ａ、１０１０Ｂからの画像を合成表示するときに、両方の全方位視覚センサー１０１０Ａ、１０１０Ｂの画像の重なる領域１、領域４については、どちらか一方の全方位視覚センサーの画像を選択して表示するように構成されている。このような構成のとき、選択された一方の全方位視覚センサーの領域１、領域４の画像と、他方の全方位視覚センサーの領域２、領域３の画像との間に視野方向の違いによる不連続が生じ、その部分は車両９００の運転者には非常に見ずらい画像となる。
【０１２３】
そこで、車両９００の運転者が、画面の近くにある表示制御部２５０に接続された切替キー７９０を操作すると、その信号が表示制御部２５０に送られ、キー操作に対応して表示制御部２５０から画像処理部２３０および表示部２４０に信号が送られ、重なる領域の画像が、運転者がより注意したい領域と連続した画像になるように、領域１または領域４の画像が切り替えられる。そして、例えば、車両９００の運転者が領域１と領域２との間よりも、領域１と領域３との間をより注意したいとき、運転者が切替キー７９０を操作して、領域１の画像として、領域３を撮像している全方位視覚センサー１０１０Ａの画像を選択すると、領域１と領域３が連続した画像となり、領域１と領域２との間が不連続となる。一方、逆に、運転者が切替キー７９０を操作して、領域１の画像として、領域２を撮像している全方位視覚センサー１０１０Ｂの画像を選択すると、領域１と領域２が連続した画像となり、領域１と領域３との間が不連続となる。領域４についても同様である。
【０１２４】
（実施形態３）
図１２Ａは実施形態３の移動体の周囲監視装置１３００を備えた車両１２００の構成を示す平面図であり、図１２Ｂはその車両１２００の側面図である。
【０１２５】
図１２Ａおよび図１２Ｂに示される移動体の周囲監視装置１３００は、車両１２００の外部の最適な位置（例えば、天井部前方）に周囲温度を計測する温度測定部２７０が設置されている点で、移動体の周囲監視装置１０００とは異なる。
【０１２６】
図１３は、実施形態３の移動体の周囲監視装置１３００を示すブロック図である。移動体の周囲監視装置１３００は、演算制御部１３２０が温度測定部２７０を備えている点で、図２に示した移動体の周囲監視装置２００とは異なる。
【０１２７】
本実施形態では、車両１２００の外部の最適な位置（例えば、天井部前方）に周囲温度を計測する温度測定部２７０が設置されている。さらに、ケーブルを通じて本監視装置の表示制御部２５０に接続されており、車両のエンジン始動時に、温度測定部２７０の測定結果が所定の温度以下のとき、表示制御部２５０は、温度測定部２７０からの出力２５６に基づいて、例えば、一定期間、自動的に図１０に示すような自車両１２００の周囲の画像を１度に１つの表示画面に表示させるように構成される。このように構成することにより、車両１２００の周囲温度が所定の温度以下の場合、車両１２００の窓ガラスが曇って周囲が見えなくても、車両１２００の運転者は容易に周囲の安全を確認することができる。
【０１２８】
なお、上記実施形態１〜３では、全方位視覚センサーを車両のルーフ、または、バンパー上に設置しているが、ボンネット上、サイドミラー上等に設置してもよい。また、上記実施形態１〜３では、車両として、特に乗用車を意図して説明したが、本発明は乗用者に限定されるものではなく、バス等の大型車や貨物用車両についても同様に本発明を適用可能である。特に、貨物用車両では、貨物室によって運転車の後方視界が遮られることが多いため、本発明が特に有効である。また、本発明による移動体として、電車に適用することも可能であり、さらに、飛行機や移動ロボット全般にも適用可能である。
【０１２９】
【発明の効果】
以上詳述したように、本発明によれば、例えば車両のバンパー上部やコーナー部等に全方位視覚センサーを設置することにより、運転席から死角となる部分を容易に確認することが可能となる。従来の車両監視装置のように運転者が表示装置に表示される映像を出力する複数のカメラを切り替えたり、カメラの向きを替えたりしなくてもよいので、出発時の周囲確認時、左折時や右折時、駐車場や車庫からの入出庫時の安全確認等、左右後方確認を行って安全運転を確実に行うことができる。
【０１３０】
さらに、任意の表示画像、表示方向や画像サイズを切り替えて表示することができ、特に、駐車場や車庫での入出庫時や幅寄せ時等に、鳥瞰図的表示に表示を切り替えることにより、左右の車両やその他の障害物との間隔を確認できる等、安全確認を容易に行って、接触事故等を防ぐことができる。
【図面の簡単な説明】
【図１Ａ】本発明の実施形態１の移動体の周囲監視装置を備えた車両の構成を示す平面図である。
【図１Ｂ】本発明の実施形態１の移動体の周囲監視装置を備えた車両の構成を示す側面図である。
【図１Ｃ】本発明の実施形態１の変形例の移動体の周囲監視装置を備えた車両の構成を示す平面図である。
【図１Ｄ】本発明の実施形態１の変形例の移動体の周囲監視装置を備えた車両の構成を示す側面図である。
【図２】本発明の一実施形態である移動体の周囲監視装置の構成を説明するためのブロック図である。
【図３】本発明の一実施形態である移動体の周囲監視装置における光学系の構成例を示す斜視図である。
【図４Ａ】本発明の一実施形態である移動体の周囲監視装置における画像処理部の構成例を示すブロック図である。
【図４Ｂ】本発明の一実施形態である移動体の周囲監視装置における画像処理部内の画像変換部の構成例を示すブロック図である。
【図５】本発明の一実施形態である移動体の周囲監視装置における、入力光学像からパノラマ画像への変換について模式的に説明するための平面図であり、（ａ）は撮像部で得られた円形入力光学像を示し、（ｂ）はドーナツ状に切り出して切り開く途中の様子を示し、（ｃ）は引き伸ばして直交座標に変換した後のパノラマ画像を示す。
【図６】本発明の一実施形態である移動体の周囲監視装置における、入力光画像から透視画像への変換について説明するための斜視図である。
【図７】本発明の一実施形態である移動体の周囲監視装置における表示部の表示形態の例を示す図である。
【図８】本発明の一実施形態である移動体の周囲監視装置における表示部の表示形態の他の例を示す図である。
【図９Ａ】本発明の実施形態２の移動体周囲監視装置を備えた車両の構成を示す平面図である。
【図９Ｂ】本発明の実施形態２の移動体周囲監視装置を備えた車両の構成を示す側面図である。
【図１０】本発明の実施形態２の移動体の周囲監視装置における表示部の表示形態の他の例を示す図である。
【図１１】本発明の実施形態２の移動体の周囲監視装置における表示部の表示形態の他の例における画像の領域区分を示す図である。
【図１２Ａ】本発明の実施形態３の移動体周囲監視装置を備えた車両の構成を示す平面図である。
【図１２Ｂ】本発明の実施形態３の移動体周囲監視装置を備えた車両の構成を示す側面図である。
【図１３】本発明の実施形態３の移動体の周囲監視装置の概略を示すブロック図である。
【符号の説明】
１００、１００Ａ 車両
１１０ フロントバンパー
１２０ リアバンパー
２００、２００Ａ 移動体の周囲監視装置
２１０、２１０Ａ、２１０Ｂ 全方位視覚センサー
２１２ 光学系
２１４ 撮像部
２１６ 撮像レンズ
２１７ 受光部
２１８ 画像データ生成部
２２０ 演算制御部
２３０ 画像処理部
２３２ 画像変換部
２３４ 出力バッファメモリー
２３５ 記憶部
２４０ 表示部
２５０ 表示制御部
２７０ 温度測定部
３１０ 双曲面ミラー
３１２ 双曲面ミラー３１０の光軸
３１４ 撮像レンズ２１６の光軸
４１０ Ａ／Ｄ変換器
４２０ 入力バッファメモリー
４３０ ＣＰＵ
４４０ ＬＵＴ
４５０ 画像変換ロジック
４６０ バスライン
５１０ 円形入力画像
５１５ ドーナツ状に切り出し、切り開く途中の状態
５２０ パノラマ画像
７１０ 表示画面
７２０ 第１の透視画像表示部
７２５ 第１の説明表示部
７３０ 第２の透視画像表示部
７３５ 第２の説明表示部
７４０ 第３の透視画像表示部
７４５ 第３の説明表示部
７５０ パノラマ画像表示部
７５５ 第４の説明表示部
７６０ 方向キー
７７０ 拡大キー
７８０ 縮小キー
７９０ 全方位視覚センサー切り換えキー
８１０ 表示画面
８２０ 第１の説明表示部
８３０ 拡大した第１の透視画像表示部
９００ 車両
１０００ 移動体の周囲監視装置
１０１０Ａ、１０１０Ｂ 全方位視覚センサー
１１１０ 表示画面
１２００ 車両
１３００ 移動体の周囲監視装置
１３１０Ａ、１３１０Ｂ 全方位視覚センサー
１１１０ 表示画面
１３２０ 演算制御部

Claims (19)

1. 移動体の周囲を監視するための移動体の周囲監視装置であって、
   その周囲の領域の映像を光学像に中心射影変換する光学系と、撮像レンズを含み、前記中心射影変換された光学像を画像データに変換する撮像部とを含む少なくとも１つの全方位視覚センサーと、
   前記画像データをパノラマ画像データおよび透視画像データの少なくとも一方に変換する画像処理部と、
   前記パノラマ画像データに対応するパノラマ画像および前記透視画像データに対応する透視画像の少なくとも一方を表示する表示部と、
   前記表示部を制御する表示制御部と
   を備える、全方位視覚システムを搭載する移動体の周囲監視装置であって、
   前記光学系は、２葉双曲面のうちの一方の双曲面形状を有する双曲面ミラーを含み、前記双曲面ミラーの光軸が前記撮像レンズの光軸に一致し、前記撮像レンズの主点が前記双曲面ミラーの一方の焦点位置に位置し、
   前記表示部が、前記移動体の周囲を俯瞰する前記透視画像を表示する、移動体の周囲監視装置。
2. 前記少なくとも１つの全方位視覚センサーは、前記移動体全体の周囲を俯瞰する映像を前記画像データに変換するように配置される、請求項１に記載の移動体の周囲監視装置。
3. 前記表示部は、前記パノラマ画像と前記透視画像を同時に、または、切り替えて表示する、請求項１に記載の移動体の周囲監視装置。
4. 前記表示部は、前記移動体の移動想定方向と反対方向の領域の画像を表示する、請求項１に記載の移動体の周囲監視装置。
5. 前記画像処理部は、前記周囲の領域のうちの第１の領域に対応する画像データを第１の透視画像データに変換する、請求項１に記載の移動体の周囲監視装置。
6. 前記画像処理部は、前記表示制御部からの制御に応じて、前記周囲の領域のうちの、第１の領域とは一致しない第２の領域に対応する画像データを前記第１透視画像データとは一致しない第２の透視画像データに変換する、請求項５に記載の移動体の周囲監視装置。
7. 前記第２の領域は、前記第１の領域を、平行移動および拡大縮小のうちの少なくとも一方を行なった領域に位置する、請求項６に記載の移動体周囲監視装置。
8. 前記光学系の光軸が前記移動体の移動想定方向に対して垂直軸方向を向くように前記光学系が配置される、請求項１に記載の移動体の周囲監視装置。
9. 前記表示部が、前記表示制御部からの制御に応じて、前記表示部の表示画像の所定の位置に前記移動体を表す画像を表示する、請求項１に記載の移動体の周囲監視装置。
10. 前記表示部は、前記移動体の移動想定方向と反対方向の領域の画像と、前記移動体の移動想定方向および前記移動想定方向と反対方向とは異なる方向の領域の画像とを同時に表示する、請求項１に記載の移動体の周囲監視装置。
11. 前記移動体は自動車である、請求項１に記載の移動体の周囲監視装置。
12. 前記自動車は、前記自動車の移動想定方向側に位置する第１のバンパーと、前記自動車の前記移動想定方向と反対方向側に位置する第２のバンパーとを有し、
    前記少なくとも１つの全方位視覚センサーは、前記第１のバンパーの上に設置される第１の全方位視覚センサーと、前記第２のバンパーの上に設置される第２の全方位視覚センサーとを含む、請求項１１に記載の移動体の周囲監視装置。
13. 前記第１の全方位視覚センサーは、前記第１のバンパーのうちの前記自動車の移動想定方向に対して左端または右端のいずれか一方の上に設置され、
    前記第２の全方位視覚センサーは、前記第２のパンバーのうちの前記第１の全方位視覚センサーの設置位置と対向する側の上に設置される、請求項１２に記載の移動体の周囲監視装置。
14. 前記表示部は、前記第１の全方位視覚センサーによる第１の透視画像と、前記第２の全方位視覚センサーによる第２の透視画像とを合成した画像を表示する、請求項１３に記載の移動体の周囲監視装置。
15. 前記画像処理部は、前記移動体を表す画像に変換される前記移動体画像データを記憶する記憶部を備え、
    前記画像処理部は、前記移動体画像データと前記透視画像データとを合成し、前記表示部は、前記移動体を表す画像を含む透視画像を表示する、請求項１に記載の移動体の周囲監視装置。
16. 前記移動体画像データは、コンピュータグラフィックスによって作成される画像データである、請求項１５に記載の移動体の周囲監視装置。
17. 前記移動体画像データは、前記移動体を撮影した画像データである、請求項１５に記載の移動体の周囲監視装置。
18. 前記全方位視覚システムが、前記移動体の周囲温度を測定する温度測定部をさらに備え、
    前記温度測定部が測定した周囲温度が所定の温度以下である場合、前記移動体が移動可能状態になるとき、前記表示部は、前記移動体の周囲を俯瞰する透視画像を表示する、請求項１に記載の移動体の周囲監視装置。
19. 前記表示部は、前記第１の全方位視覚センサーによる前記移動体の周囲を俯瞰する透視画像の表示領域と前記第２の全方位視覚センサーによる前記移動体の周囲を俯瞰する透視画像の表示領域とが重なる領域において、前記表示制御部からの制御に基づいて、前記第１の全方位視覚センサーまたは前記第２の全方位視覚センサーの一方に対応する透視画像を表示する、請求項１３に記載の移動体の周囲監視装置。

Images