JP2005006341A - パノラマ画像形成器 - Google Patents

Abstract

【課題】 複数の仮想の光学的中心を使用することによる立体パノラマ画面を形成する。
【解決手段】 角錘のような一つの反射多面体素子は、上記角錐内の第一の位置にほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第一の組の複数のカメラの各カメラの視野の方向を変える。上記角錘は、また、上記角錐内の第二の位置にほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第二の組の複数のカメラの各カメラの視野の方向を変える。一方のパノラマ画像が、ユーザの左目に映り、他方のパノラマ画像がユーザの右目に映った場合、上記第一および第二の仮想の光学的中心からのパノラマ画像は、立体パノラマ画像を形成する。
【選択図】 図２

Description

本発明は、画面表示システムに関し、特にパノラマ画面表示システムに関する。

＜関連発明への相互参照＞
本出願は、下記の共通に譲渡された米国特許出願に関する。すなわち、米国特許５，７４５，３０５となった、「パノラマ画像形成器」という名称の特許出願第０８／４３１，３５６号；特許出願番号が０８／４３１，３５４である、１９９５年４月２８日付けの「パノラマ画像形成器およびシステム」；米国特許５，７９３，５２７となった、特許出願番号が０８／４９７６７３の「高解像度画面表示システム」；米国特許５，５３９，４８３となった、特許出願番号が０８／４９７３４１の「パノラマ映写装置」；特許出願番号が０８／５６５５０１の、１９９５年１１月３０日付けの「球形画面表示／映写装置」；特許出願番号が０８／９４６４４３の、１９９７年１０月７日付けの「オフセット仮想光学的中心を持つパノラマ画面表示システム」；「コンパクト形高解像度パノラマ画面表示システム」という名称の共通に譲渡された共存出願の米国特許出願；「支持スタンドを含むパノラマ画面表示システム」という名称の共通に譲渡された共存出願の米国特許出願に関する。

もっと効率的に動作させるためには、テレプレゼンスにより、いくつかのタスクを実行することが望ましい。テレプレゼンスという用語は、遠隔地からユーザに、ユーザがあたかもその遠隔地にいるかのような感じを与える、視覚的またはその他のタイプの感覚的情報を供給することを意味する。例えば、現在、多くの企業は、テレプレゼンスを利用して会議を行っている。テレプレゼンスは、また遠隔地にいて学習したり、コンサートおよびスポーツ・イベントのようなイベントを遠隔地にいながら見たりする場合にも役に立つ。ユーザがいろいろな画面を切り換えることができるようにし、それにより例えば、会議室をぐるりと見回したりするような感じを与えれば、ユーザはもっと現実的なテレプレゼンスを体験する。

従来は、ユーザにいくつかの画面を見せるために、異なる光学的中心を持つ数台のカメラが使用された。図１はそのような状況を示す。図１は、光学的中心を、それぞれ、１０、１２、１４および１６に持つ、カメラ２、４、６および８を示す。ユーザが画面を変えたいと思った場合、そのユーザは、単にカメラを切り換えるだけでよい。もっと複雑なシステムの場合には、ユーザが画面を切り換えたいと思った場合、そのユーザは、光学的中心１０、１２、１４または１６からばかりではなく、別の光学的中心１８、２０、２２、２４または２６からも画面を入手することができた。１８、２０、２２、２４および２６のような光学的中心に関連する場面は、選択した光学的中心に最も近い二つのカメラからの画面を使用して入手することができる。例えば、光学的中心１８からの画面は、カメラ２および４からの画面を使用し、光学的中心１８からの画面をシミューレートするために、上記二つの画面の間で補間を行うことにより入手された。このような手順を使用した場合には、画面が不均一になった。その上、このような補間画面を形成するには、大量の計算能力と時間が必要になり、そのため、この技術はコストが高いし、ユーザのコマンドに対する応答も遅かった。このような計算上の間接費がかさむので、そのシステムを同時に使用することができるユーザの数は制限された。

本発明の一実施形態は、その内部において、数台のカメラが、共通の光学的中心を効果的に持つ、全方向、すなわち、パノラマ画像形成器を提供する。この場合、上記カメラの中の少なくとも一台の視野の方向は、平面ミラーにより変えられる。各カメラの視野は、全体として、３６０度の連続した一つの視野を構成するように配置される。ユーザは３６０度の視野をぐるりと見渡すことができる。その場合、従来の技術で使用した補間の計算上の諸経費を使わなくても、単に一台のカメラ、一台以上のカメラ、または複数のカメラの組合せの出力を使用するだけで、各視野は、同じか殆ど同じ光学的中心を持つ。上記配置は、一人の参加者が、より自然な形で、会議室を見ることができるようにすることにより、仮想の会議室の使用状態を改善するのに使用することができる。この自然な形は、ある特定の時間に、画面を変えるために単に自分の頭の向きを変える実際の会議室に座っている参加者に密接に対応する。

本発明の他の実施形態の場合には、複数のカメラは、各カメラが、中空でないか、中空の角錐のような、中空でないか、中空の多面体の異なる反射面の方を向くように位置されている。そのため、各カメラは、角錐内に位置する仮想の光学的中心を持つことになる。上記複数のカメラは、その仮想の光学的中心が相互に変位するように位置している。上記の変位により、角錐の反射面の縁部から受ける画像の歪を除去する狭いブラインド領域が形成される。

本発明のさらに他の実施形態の場合には、複数の仮想の光学的中心を使用することにより、立体パノラマ画面が形成される。角錘のような一つの反射多面体素子は、角錐内の第一の位置に、ほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第一の組の複数のカメラの各カメラの視野の方向を変える。角錘は、また、角錐内の第二の位置に、ほぼ同じ位置の仮想の光学的中心の一つのグループを形成するために、第二の組の複数のカメラの各カメラの視野の方向を変える。一方のパノラマ画像が、ユーザの左目に映り、他方のパノラマ画像が、ユーザの右目に映った場合、上記第一および第二の仮想の光学的中心からのパノラマ画像は、立体パノラマ画像を形成する。

本発明のさらに他の実施形態の場合には、反射面を持つ角錐のような多面体は、コンパクトなパノラマ画像形成器を形成するために、相互に底面を接するように、すなわち、入れ子状に積み重ねられる。同じまたはほぼ同じ仮想の光学的中心を持つ多くのカメラを使用することができるような方法で、複数の反射多面体が使用される。多くのカメラを使用すると、大きな画面が多くのより小さい領域に分割される。この場合、個々のカメラは、それぞれのより小さな領域を写す。各カメラは、より小さい領域を映すので、ユーザは、解像度が改善された画面を見ることになる。

本発明のさらに他の実施形態の場合には、角錐のような反射多面体は、角錐の頂点を通過するポストにより支持される。その後、複数のカメラが上記ポストに装着され、装着用構造体と、個々のカメラを支持するための構造体を持つパノラマ画像形成器が形成される。

本発明のさらに他の実施形態の場合には、上記パノラマ画像形成器の共通の仮想の光学的中心にカメラを設置することにより、ユーザは、ほぼ球形の画面を見ることができる。球形の画面を改善するために、共通の仮想の光学的中心のところのカメラを広角レンズとして使用することができる。

本発明のさらに他の実施形態の場合には、画像形成器は、任意のタイプの画像形成装置を含むことができる。上記画像形成装置が、カメラまたは他のタイプの画像捕捉装置である場合には、ユーザに対してパノラマ画像が捕捉され、画像形成装置が、プロジェクタまたは他のタイプの画像形成装置である場合には、ユーザはパノラマ画像を見ることになる。

図２は、ユーザに対して３６０度の画面を供給するための、四台のカメラ・システムである。この場合、上記カメラは、それぞれ、共通または殆ど共通の仮想光学的中心を持つ。角錐４０は、反射面４２、４４、４６および４８を持ち、中空であっても、中空でなくてもよいし、または角錐台であってもよい。好適な実施形態の場合には、各反射面は、底面５０に平行な平面に対して４５度の角度を持ち、錐４０の頂点を通る。カメラ５２、５４、５６および５８は、角錐の反射面４８、４２、４４および４６にそれぞれ関連する。上記カメラとしては、光学的スキャナのような画像収集装置を使用することができる。その結果、カメラ５２は、面４８からの反射を感知して、矢印６０の方向に対象物を見ることができる。カメラ５４は、面４２からの反射を感知して、矢印６２の方向に対象物を見る。カメラ５６は、面４４からの反射を感知して、矢印６４の方向に対象物を見る。また、カメラ５８は、面４６からの反射を感知して、矢印６６の方向に対象物を見る。各カメラは、９０度の視野を持つ。しかし、もっと広い視野を使用することができ、重畳している画面に関連するピクセルを削除または組合せることにより、画像の重畳する部分を除去することができる。角錐４０上のその関連する反射面からの反射を感知する四台のカメラの組合せにより、角錐４０の周囲に３６０度の画面領域が形成される。ミラーが角錐の底面に対して４５度の角度を持っている場合には、各カメラの光学的中心を、底面５０に平行で、角錐４０の頂点７０と交差する平面上に位置させることが望ましい。各カメラの光学的中心は、また頂点７０を通るラインの上に位置していなければならないし、またカメラに関連する反射面のベースラインに垂直でなければならない。例えば、カメラ５４の光学的中心は、ライン７２上に位置する。ライン７２は、反射面４２のベースライン７４に垂直である。ライン７２は、頂点７０を通る平面に含まれていて、底面５０に平行である。同様に、カメラ５６の光学的中心は、ベースライン８２に垂直なライン８０上に位置していて、カメラ５２の光学的中心は、ベースライン８６に垂直なベースライン８４上に位置している。

各カメラの光学的中心は、頂点７０から距離Ｘのところの上記ラインの一つの上に位置していて、各カメラは、底面５０へ垂直な方向を指している光学軸、または視線の方向を持つ。（上記距離Ｘは、反射面が、上記カメラの視野の分だけを反射するような長さでなければならない。しかし、カメラが移動して反射面に接近すると、反射面の欠陥がよりハッキリと見えるようになる。）光学的中心をこのような位置に設置すると、各カメラは、位置９０のところ、またはほぼこの位置に位置する仮想光学的中心を共有することになる。仮想の光学的中心９０は、頂点７０を通るライン上の頂点７０から距離Ｘのところに位置していて、ベース５０に垂直である。

この実施形態の場合、角錐の構成について説明してきたが、カメラがほぼ同じ位置にある仮想の光学的中心を持つように視野の方向を曲げるために、異なる形状の平面ミラーの幾何学的配置を使用することができる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、底面および頂点は物理的に存在していなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。

図３は、角錐４０の他の図である。この場合、図面を簡単にするために、カメラ５４だけを図示してある。仮想の光学的中心を角錐４０内の位置９０またはその付近に位置させるために、カメラ５４はライン７２上に位置する。カメラ５４が、ベース５０に垂直な方向に９０度の視野を持っている場合には、またカメラ５４の光学的中心が、ライン７２に沿って頂点７０から距離Ｘだけ離れている場合には、カメラ５４は、矢印６２の方向に９０度の視野を持つ。同じように、カメラ５６、５８および５２は、矢印６４、６６および６０の方向に、それぞれ９０度の視野を持つ。この配置は、安いコストで、３６０度の視野領域を形成する。何故なら、９０度の視野を持つカメラは、比較的安い光学系を持つからである。

図４は、角錐４０の平面図である。図４は、ライン７２沿いのカメラ５４の光学的中心の位置を示す。ライン７２も、角錐４０のベースライン７４に垂直でなければならない。カメラの光学的中心は、ライン７２に沿って頂点７０から距離Ｘ、またはほぼＸだけ離れた位置に位置していなければならない。点１００は、頂点７０からのラインが、ベース５０に垂直に交差するある位置のベース５０上に位置する。同様に、カメラの光学的中心５６、５８および５２は、それぞれ、ライン７６、８０および８４に沿って、距離ＸまたはＸにほぼ等しい距離だけ離れた位置に位置している。

図５は八つの側面を持つ角錐１２０である。角錐１２０は、各面１２２が、頂点１３０を通り、ベース１２４に平行な平面と４５度の角度を形成する反射面１２２を持つ。図２の四つの面を持つ角錐の場合と同様に、図５の各反射面はそれに関連するカメラを持つことができる。各カメラの光学的中心は、頂点１３０を通る平面内に含まれていて、ベース５０に平行である。上記ラインは、位置決めをするカメラに関連する反射面のベースライン１３２に垂直である。八つの面を持つ角錐を使用すると、３６０度の視野を得るのに、４５度の水平視野しか持たないカメラを使用することができるという利点がある。４５度の視野しか持たないカメラは、安いコストの光学系を持ち、比較的安価な部材を使用して、３６０度の視野を形成することができる。

図６は、角錐１２０の平面図である。図５のところで説明したように、各カメラの光学的中心は、頂点１３０を通り、ベース１２４に平行な平面内に含まれるライン１３４に沿って位置する。上記光学的中心は、適当なベースライン１３２に垂直なライン１３４に沿って、頂点７０から距離Ｘ、またはほぼＸに等しい距離だけ離れた位置に位置している。点１４０は、ベース１２４と、頂点１３０を通りベース１２４に垂直なラインとの交点のところのベース１２４上に位置する。

もっと多くの、またはもっと少ない反射面を持つ多面体または角錐を使用することができる。もっと多くの面を持つ角錐を使用する際に得られる利点は、中程度から狭い視野を持つカメラを使用することができるということである。中程度の視野を持つカメラは、比較的安価な光学系を持つ。角錐で使用される面の数は、多数のカメラを供給するためのコストにより幾分制限される。三つの反射面を持つ角錐により、３６０度の視野を供給することができる。３６０度の視野を供給するために、三つの面を持つ角錐だけを使用すると、コストが高くなる恐れがある。本発明のこの実施形態は、それぞれが１２０度の視野を持つ、三つのカメラを使用するが、上記の広い視野を持つカメラは、比較的高価な光学的部材を使用する。

３６０度視野を必要としない用途の場合には、角錐の各反射面に関連するカメラを持たない画像形成器を組み立てることができる。不必要なカメラを除去することができる他に、部分的角錐または部分的多面体である反射素子を使用することにより、不必要な角錐または多面体を除去することができる。

この実施形態の場合、角錐の構成について説明してきたが、カメラがほぼ同じ位置にある仮想光学的中心を持つように視野の方向を変化させるために、異なる形状の平面ミラーの幾何学的配置を使用することができる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。

図７は、図２−図４の画像形成器のような、画像形成器のカメラにより入手したデータを制御するためのシステムのブロック図である。カメラ５２、５４、５６および５８は、角錐４０のその関連反射面により、３６０度の視野を入手する。カメラ５２、５４、５６および５８の画像信号、または出力信号は、それぞれ、アナログ−デジタル（Ａ／Ｄ）変換器１６０、４６２、１６４および１６６を通る。上記カメラの出力は、ピクセルのストリームと見なすことができ、上記Ａ／Ｄ変換器の出力は、カメラからのピクセルを表わすデータであると見なすことができる。上記Ａ／Ｄ変換器の出力は、マルチプレクサ１７０を通過する。マルチプレクサ１７０により、各Ａ／Ｄ変換器からのピクセル・データは、メモリ１７２に到着することができる。コントローラ１７４は、Ａ／Ｄ変換器の出力をメモリ１７２に記憶するようにマルチプレクサ１７０の選択ラインを循環させる。マルチプレクサ１７０は、カメラのピクセル速度の四倍の速度で切り換えられる。もっと多くの、またはもっと少ないカメラを使用する場合には、マルチプレクサ１７０が切り換えられる速度は、それに応じて速くなったり、遅くなったりする。マルチプレクサを使用しないで、各Ａ／Ｄ変換器の出力を別のメモリに記憶することもできる。コントローラ１７４は、マルチプレクサ１７０の切り換えを制御するカウンタ、およびメモリ１７２にアドレスするために使用されるカウンタに、制御信号を送るマイクロプロセッサにより実行される。上記カウンタへの上記制御信号は、リセット、イネーブルおよび始動オフセットを含む。

ピクセル情報がメモリ１７２に送られるので、メモリ１７２は、あるシーンの３６０度の視野を含む。メモリ１７２に記憶されたピクセル情報は、デジタル−アナログ（Ｄ／Ａ）変換器１７６およびビデオ・ディスプレイ１７８に送られる。Ｄ／Ａ変換器１７６を通して、ビデオ・ディスプレイ１７８に送られる、メモリ１７２の実際の部分は、ユーザ入力装置１８０により制御される。ユーザ入力装置１８０としては、マウス、ジョイスティックまたはキーボードのような通常の装置を使用することができる。ユーザは、自分の視野を右に移動したい場合には、ジョイスティックを右に傾けるだけでよいし、自分の視野を左に移動したい場合には、ジョイスティックを左に傾けるだけでよいし、また視野をそのままにしておきたい場合には、ジョイスティックを中央に維持しておけばよい。ユーザ装置１８０の入力に従って、コントローラ１７４は、メモリ１７２へアドレスするために使用されるオフセットおよび始動アドレスを変化させる。

図８は、カメラが供給するデータと、ユーザが見る画面との間の関係を示す。複数のカメラが仮想の光学的中心を共有しているので、画面はシリンダ状の画面であると見なすことができる。セクター２００は、カメラ５２が供給する情報を表わすものと見なすことができるし、セクター２０２は、カメラ５４が供給する情報を表わすものと見なすことができるし、セクター２０４は、カメラ５６が供給する情報を表わすものと見なすことができるし、セクター２０６は、カメラ５８が供給する情報を表わすものと見なすことができる。各セクターのシリンダの表面は、コラムの集合体と見なすことができる。各コラムはピクセルからなる。例えば、セクター２００は、コラム２１０、２１２、２１４および２１６を含む複数のコラムの集合体と見なすことができる。同様に、カメラ５４の出力は、セクター２０２のコラム２１８を含む複数のコラムの集合体と見なすことができるし、カメラ５８の出力は、セクター２０６のコラム２２０のような複数のコラムを含むことができる。

図９は、ユーザ入力装置１８０からの信号に基づいて、異なる画面に容易にアクセスするために、メモリ１７２がどのように分割されるのかを示す。セクション２３０、２３２、２３４および２３６は、それぞれ、セクター２０６、２００、２０２および２０４に対応する。各セクション２３０、２３２、２３４および２３６は、メモリ１７２の一つのブロックであると見なすことができる。メモリ１７２の上記ブロックは、シーケンシャルなアドレスを持つ複数のコラムに分割される。メモリ・セグメント２３０の第一のコラムは、セクター２０６のピクセルの第一のコラムに対応する。一つのコラムに関連するメモリ位置の数は、特定のコラムの各ピクセルに対して一つの位置を持つのに、少なくとも十分なものでなければならない。例えば、図８の複数のピクセルからなる一つのコラムが、１，０００のピクセルを持っている場合には、図９のメモリ・セグメントに関連する各コラムは、少なくとも１，０００の位置を持っていなければならない。特定のメモリ・セグメントに関連するコラムの数は、図８のシリンダの特定のセクションに関連するコラムの数に、少なくとも等しいものでなければならない。

あるカメラが水平方向に走査した場合には、カウンタが発生したアドレスへのオフセットを単に変化させるだけで、シーケンシャルなピクセルが、特定のメモリの隣接コラムの、恐らく異なる列に描かれる。全体の書き込みアドレスは、カウンタの出力に、上記オフセットを加算することにより発生する。このオフセットは、水平方向に走査したピクセルの受信速度で変化する。水平方向の走査が終了した後で、カウンタは増大し、再びオフセットが水平方向の走査速度で変化する。その結果、書き込みサイクル中に、メモリの特定のセグメントをアドレスした場合には、水平方向のピクセル走査速度でオフセットを変化させることにより、また垂直方向の走査速度でカウンタを増大することにより、コラムがアドレスされる。このタイプのアドレス・スキームは、各メモリ・セグメント内のコラムをアクセスするために使用される。書き込みサイクル中に、異なるメモリ・セグメントをアドレスする場合には、書き込みセグメントのオフセットが、カウンタ出力およびコラム・オフセットの合計値に加算される。この書き込みセグメントのオフセットにより、メモリ・セグメント２３０、２３２、２３４および２３６にアドレスすることができる。上記セグメント・オフセットは、マルチプレクサ１７０が切り換えられる速度と同じ速度で変化する。

類似の方法で、メモリ１７２からピクセル・データが読み出される。カウンタ出力および二組のオフセットの合計値は、読み出しアドレスを発生するのに使用される。最初のスタート・コラムが取り出されると、ビデオ・ディスプレイの水平方向の走査速度と同じ速度で、読み出しコラム・オフセットを切り換えることにより、読み出しアドレスが発生する。一回の水平方向の走査分のデータの読み出しが行われた後で、読み出しカウンタが増大し、読み出しコラム・オフセットが、上記ディスプレイの水平方向の走査速度に等しい速度で変化する。その結果、オフセット・アドレスが、ディスプレイの水平方向の表示速度で変化し、カウンタが、ディスプレイの垂直方向の走査速度に等しい速度で増大する。ビデオ・ディスプレイが要求する速度より、速い速度でも、遅い速度でも、データを読み出すことができる。しかし、より速い速度で読み出した場合には、バッファ・メモリを使用する必要があり、より遅い速度で読み出した場合には、見ている人には、ビデオ・ディスプレイが揺れ動くように見える場合がある。

図８のピクセルのシリンダ上の配置は、通常、平らなディスプレイか、またはほぼ平らなディスプレイ上に表示されることに留意されたい。その結果、画像は、シリンダ状の面と平らな面との間での変換を補償して表示される。このような表示は、普通のデジタル信号処理集積回路の簡単な変換アルゴリズムを使用して行われる。このようなタイプの変換方法は、当業者にとっては周知であり、１９９３年マサチューセッツ州リーディング所在の、アディソン−ウェズリー社の、ビシュビット（Ｖｉｓｈｖｊｉｔ） Ｓ．ナルワ（Ｎａｌｗａ）著の「コンピュータ・ビジョンの案内ツアー」に記載されている。上記変換は非常に解像度の高いディスプレイによっても行うことができる。

ユーザが選択した画面が、カメラ５２のような特定のカメラの画面に正確に一致している場合には、コラム２４０−２４８が、メモリ１７０から読み出されることに留意されたい。コラム２４０はセグメント２３２の最初のコラムであり、コラム２４８はセグメント２３２の最後のコラムである。ユーザが反時計方向に視野を移動しようと考えた場合には、スタート・コラムは右に向かって移動し、その結果、読み出し動作はコラム２４６から開始し、コラム２５０で終了する。コラム２４６は、カメラ５２からのピクセル・データを含むメモリ・セグメント２３２に関連する第二のコラムであり、コラム２５０は、カメラ５６に関連するピクセル・データの最初のコラムであることに留意されたい。ユーザが視野を移動するにつれて、スタート・コラムはユーザのコマンドに従って移動する。例えば、ユーザが視野を反時計方向に移動するように指示した場合には、図９のスタート・コラムは、右方向に移動し、同様に、ユーザが視野を時計方向に移動するように指示した場合には、スタート・コラムは左方向に移動する。今までと同様に、コラムはオフセットによりアドレスされ、オフセットがメモリ・セグメント間の移動を含んでいる場合には、読み出しセグメントのオフセットが、コラム・オフセットとカウンタ出力との合計値に加算される。

図１０は、コントローラ１７４のブロック図である。コントローラ１７４は、マイクロプロセッサ２７０およびメモリ２７２を含む。メモリ２７２は、ＲＡＭおよびＲＯＭを含む。プロセッサ２７０は、ライン２７４上で、ユーザ入力装置１８０からのコマンドを受信する。マイクロプロセッサ２７０は、カウンタ２７６のスタート、ストップおよびリセットを制御する。カウンタ２７６は、マルチプレクサ１７０の選択ラインを制御する。カウンタ２７６は、カメラの水平方向の走査速度の四倍である速度をカウントする。書き込みアドレス・ゼネレータ２７８は、メモリ１７２に対して書き込みアドレス指定を行う。書き込みアドレス・ゼネレータ２７８は、カウンタ、オフセットを記憶するためのレジスタ、およびオフセットとカウンタ出力とを加算するための加算装置を含む。マイクロプロセッサ２７０は、書き込みアドレス・ゼネレータ２７８が使用するオフセット選択およびカウンタを制御する。書き込みアドレスは、図９のところで説明したように形成される。読み出しアドレス・ゼネレータ２８０は、メモリ１７２に読み出しアドレスを供給する。読み出しアドレス・ゼネレータ２８０は、カウンタ、オフセットを記憶するためのレジスタ、およびオフセットとカウンタ出力とを加算するための加算装置を含む。書き込みアドレス・ゼネレータ２７８の場合のように、マイクロプロセッサ２７０は、読み出しアドレス・ゼネレータ２８０のオフセット選択およびカウンタを制御する。マイクロプロセッサ２７０は、またユーザ入力１８０からライン２７４上に供給された入力に基づいて、カウンタが使用するスタート・コラムを制御する。

メモリ１７２が、ポートを二つ持つメモリである場合には、書き込みアドレスおよび読み出しアドレスは、別々にメモリ１７２に送られる。メモリ１７２が、ポートを一つしか持たないメモリである場合には、書き込みアドレスおよび読み出しアドレスは、メモリ１７２に対して多重化される。

図１１は、５番目のカメラを含む、図２の画面表示システムである。カメラまたは画像収集装置４００は角錐内に位置するが、カメラ４００の光学的中心は仮想の光学的中心９０のところ、またはそれに近い位置に位置している。カメラ４００は、矢印４１０の方向で対象物を感知する。残りの４台のカメラの画面と結合している、結果として得られる画面は、ほぼ球形の画面である。図１１の複数のカメラの代わりに画像収集装置を使用した場合には、ほぼ球形の画面表示システムは、ほぼ球形の投影システムになる。カメラまたは映写装置は、三つ、四つまたはそれ以上の面を持つ角錐を備える画面表示／映写装置の仮想の光学的中心に置くことができることに留意されたい。また、カメラ４００の視野内の不必要な障害物を避けるために、反射面のベースの縁部４２０を斜めにする必要があることにも留意されたい。カメラまたは縁部収集装置４００を移動させることにより、ベースの縁部４２０による不必要な縁部のアーティファクトを避けることもできる。装置４００は、その光学的中心が矢印４１０の方向に、仮想の光学的中心９０から離れた位置に、位置するように移動させなければならない。装置４００の光学的中心は、この装置の使用した視野が縁部４２０を含まないように位置させなければならない。

図１２は、図２の角錐の平面図である。図２の場合には、カメラ５２、５４、５６および５８は、ベース５０の方向へ上方へ移動している。その結果、カメラ５２、５４、５６および５８に対応する、仮想の光学的中心５００、５０２、５０４および５０６は、それぞれ、仮想の光学的中心９０から離れる方向に移動する。カメラ５２が、角錐の縁部により影響を受けない、ライン５０８および５１０の間の画像を捕捉するように、またカメラ５４が、角錐の縁部により影響を受けないライン５１２および５１４の間の画像を捕捉するように、またカメラ５６が、角錐の縁部により影響を受けないライン５１６および５１８の間の画像を捕捉するように、またカメラ５８が、角錐の縁部により影響を受けないライン５２０および５２２の間の画像を捕捉するように、仮想の光学的中心に移動させることが望ましい。そうすることにより、カメラは、狭い平らな領域から、角錐により歪んだ画像を捕捉しない。より詳細に説明すると、平らな領域５２４、５２６、５２８および５３０は使用されないし、ブラインド領域が形成される。これにより、反射角錐の縁部により歪んだ画像領域を除去するという利点が得られる。視野の上記部分を除去することにより、縁部のところの画像のアーティファクトを補償する画像処理をそれほど行わなくてもすむようになる。平面５２４、５２６、５２８および５３０を画像のアーティファクトを避けるのに十分薄くなるように、仮想の光学的中心５００、５０２、５０４および５０６を接近して位置させることが望ましい。上記の薄い平面を維持することにより、その共通の境界のところの画像を処理する必要がなくなり、一方、ユーザが目で見ることができる影響が最小限度まで軽減する。

図１３は、平面領域５２４、５２６、５２８および５３０にそれぞれ位置する、影の部分５６０、５６２、５６４および５６６を含む、図１２の角錐である。上記影の部分により、カメラに入る不必要な光の量が少なくなる。類似の影の部分を、装置４００と一つまたはそれ以上の他の画像形成装置との間のブラインド領域内に置くことができる。また、ベース５０の後ろの光源から、カメラ５２、５４、５６および５８に入る不必要な光の量を減らすために、影の部分の縁部が、ベースの縁部を越えて延びる状態で、ベース５０上に影の部分を置くことができる。

図１４は、ベースとベースとが接するように配置された反射角錐６０２および６０４である。ベースは、相互に接することもできるが、間に間隔を置くこともできる。反射角錐６０２および６０４は、それぞれ、四つのファセットを含む。角錐６０２は、反射ファセット６０８、６１０、６１２および６１４を含む。反射角錐６０４は、反射面６１６、６１８、６２０および６２２を含む。角錐６０２は頂点６２４を含み、角錐６０４は頂点６２６を含む。頂点６２４および６２６は、各角錐のベースに垂直なライン６２８上に位置する。各角錐は、反射面によりその視野の方向が変えられてカメラのような四つの画像形成装置を含む。角錐６０２の場合には、その光学的中心が点６３０に位置する第一のカメラは、矢印６３２の方向に視野を持つ。この場合、視野の方向は反射面６０８により変えられる。光学的中心が点６３４に位置する第二のカメラは、矢印６３６の方向に視野を持つが、その視野の方向は、反射面６１０により変えられる、光学的中心が点６３８に位置する第三のカメラは、矢印６４０の方向に視野を持つが、その視野の方向は反射面６１２により変えられる。光学的中心が点６４２に位置する第四のカメラは、矢印６４４の方向に視野を持つが、その視野の方向は反射面６１４により変えられる。反射性角錐６０４の場合には、その光学的中心が点６４６に位置する第一のカメラは、矢印６４８の方向に視野を持つ。この場合、上記視野の方向は面６１６により変えられる。光学的中心が点６５０に位置する第二のカメラは、矢印６５２の方向に視野を持つが、その視野の方向は面６１８により変えられる。

光学的中心が点６５４に位置する第三のカメラは、矢印６５６の方向に視野を持つが、その視野の方向は面６２０により変えられる。光学的中心が点６５８に位置する第四のカメラは、矢印６６０の方向に視野を持つが、その視野の方向は面６２２により変えられる。各角錐に関連するカメラは、図２、図３、図４、図１１および図１２に示すカメラの位置に類似した位置に設置されていて、そのため、四つのカメラからなる各組は、共通の仮想の光学的中心を共有するか、その関連角錐に近接して位置する仮想の光学的中心を持つ。カメラの各組は、またその関連角錐内にオフセット仮想光学的中心を持つことができる。カメラは、各角錐に関連するカメラが、二つの角錐のベースが合流するライン６２８に沿って、共通の仮想の光学的中心を共有するように配置させることができる。また、そのオフセット仮想光学的中心が、二つの角錐のベースが合流するライン６２８上の一点の周囲に集まるようにカメラを配置することもできる。

図１４の構造体は、図２、図３および図４のところで説明した画像形成器と比較すると、垂直方向の視野が広くなっている。図１４の画像形成器は、同じまたは殆ど同じ水平方向の視野に対して、一台のカメラではなく、二台のカメラにより垂直方向の視野を広げている。カメラの代わりに画像形成装置を使用して、プロジェクタを作ることもできることに留意されたい。また反射角錐６０２および６０４を回転させて相互に変位させることもできることに留意されたい。この変位した関係は、両方の頂点を通る軸を中心にして、角錐の一方または両方を回転させることにより得られる。例えば、上記軸はライン６２８と重なっていてもよい。上記のように回転させると、角錐６０２の反射ファセットの側部の縁部は、角錐６０４の反射ファセットの側部の縁部から変位する。

この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在しなくてもよいし、底平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。

図１５は、二つの反射角錐である。反射角錐７０２は、反射角錐７０４内に入れ子状に収容されている。二つ以上の反射性角錐を入れ子状にすることができることに留意されたい。例えば、もう一つの反射角錐を反射角錐７０２内に入れ子状に入れて、さらにもう一つの反射角錐を、角錐７０２内に入れ子状に入っている角錐内に入れ子状に入れることができる。角錐７０２の頂点７０６、および角錐７０４の頂点７０８は、両方の角錐のベースに垂直なライン７１０上に位置する。ここでもまた、各角錐は、それぞれがその関連角錐の反射面により方向が変えられる視野を持つ、カメラのような四台の画像形成装置を含む。角錐７０２は、反射ファセット７１２、７１４、７１６および７１８を含む。反射角錐７０４は、反射ファセット７２０、７２２、７２４および７２６を含む。四台のカメラは、その視野の方向が角錐７０２の反射面により変えられるように配置されている。その光学的中心が点７０３に位置し、その視野が矢印７３２の方向を向いている第一のカメラは、反射面７１２により方向を変えられた視野を持つ。その光学的中心が点７３４に位置し、その視野が矢印７３６の方向を向いている第二のカメラは、反射面７１４により方向を変えられた視野を持つ。その光学的中心が点７３８に位置し、その視野が矢印７４０の方向を向いている第三のカメラは、反射面７１６により方向を変えられた視野を持つ。その光学的中心が点７４２に位置し、その視野が矢印７４４の方向を向いている第四のカメラは、反射面７１８により方向を変えられた視野を持つ。角錐およびその関連カメラは、上記カメラの視野が、角錐７０４により妨げられないように位置していることに留意されたい。このような配置は、角錐７０２を、角錐７０４のベースを越えて、延びることができるようにすることにより可能になる。角錐７０４の場合には、光学的中心を点７５０に持ち、視野が矢印７５２の方向を向いている第一のカメラは、その視野の方向が反射面７２０により変えられる。光学的中心を点７５４に持ち、視野が矢印７５６の方向を向いている第二のカメラは、その視野の方向が反射面７２２により変えられる。光学的中心を点７５８に持ち、視野が矢印７６０の方向を向いている第三のカメラは、その視野の方向が反射面７２４により変えられる。光学的中心を点７６２に持ち、視野が矢印７６４の方向を向いている第四のカメラは、その視野の方向が反射面７２６により変えられる。各角錐に関連するカメラは、図２、図３、図４、図１１および図１２に示す位置に位置し、そのため、八台のカメラは仮想の光学的中心７７０を共有するか、または角錐７０２内に近接した複数の仮想の光学的中心を持つ。カメラの各組も、角錐７０２内にオフセット仮想光学的中心を持つことができる。

図１５のパノラマ画像形成器は、それ自身に部分的な球形の視野を与えるために、光学的中心を点７７０に持ち、視野が矢印７７２の方向を向いている９番目のカメラを備えることができる。光学的中心を位置７７０に持つカメラは、視野をもっと広くするために広角レンズを使用することができる。

図１６は、光学的中心を点７８０に持ち、平面ミラー７８４により視野の方向が変えられ、視野が矢印７８２の方向を向いている追加のカメラを含む、図１５の部分的に球形の画像形成器である。光学的中心７８０が、角錐７０２および７０４の頂点、および仮想の光学的中心７７０を通るライン７１０上に位置していることに留意されたい。また、点７８０が、平面ミラー７８４と仮想の光学的中心７７０との間の距離に等しいか、ほぼ等しい距離だけ、平面ミラー７８４から離れた位置に位置していることに留意されたい。光学的中心を点７８０に持ち、平面ミラー７８４により方向が変えられた視野を持つカメラを設置することにより、図１５の部分的に球形の画像形成器は、球形の画像形成器になる。光学的中心を点７８０に持つように設置されたカメラの視野を広くするために、カメラは広角レンズを備えることができる。点７８０に光学的中心を持つように設置されたカメラの視野を広くするために、また広角レンズの使用をできるだけ避けるために、平面ミラー７８４の代わりに曲面ミラーを使用することができる。

この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、ベース平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。

図１５および図１６について説明すると、カメラの代わりに画像形成装置を使用してプロジェクタを作ることができることに留意されたい。また反射角錐７０２および７０４を回転させて相互に変位させることもできることに留意されたい。この変位した関係は、両方の角錐の頂点を通る軸を中心にして、角錐の一方または両方を回転させることにより得られる。例えば、上記軸はライン７１０と重なっていてもよい。上記のように回転させると、角錐７０２の反射ファセットの側部の縁部は、角錐７０４の反射ファセットの側部の縁部と整合しない。

図１７は、パノラマ画像形成器を指示するためのスタンドである。反射角錐８００は、中空のチューブ８０４のような支持部材を使用して、スタンドまたはポスト８０２上に装着される。角錐は、頂点端部８０６のところで、中空のチューブ８０４に固定される。中空のチューブは、角ブラケット８０８によりスタンド８０２に固定される。中空のチューブ８０４は、頂点８０６を越えて延びていて、そのため、カメラ８１０をチューブ８０４により支持することができる。カメラは、カメラ８１０をスペーサ８１４に対して押しつけるための、ストラップまたはベルト８１２により、チューブに固定される。クランプまたはストラップ８１２の圧力により、カメラ８１０、スペーサ８１４およびチューブ８０４の外表面の間に摩擦が発生し、この摩擦によりカメラ８１０は、チューブ８０４にしっかりと装着される。また、カメラ８１０の端部８１６のところに、第一のストラップおよび関連スペーサを設置することもできる。カメラ８１０に対するビデオ接続および電力接続は、中空のチューブ８０４を通り、ポスト８０２と角錐８００のベースの間に位置する空間を通る、ケーブル８１８により行われる。中空のチューブ８０４の代わりに、中空でない支持部材を使用することができることに留意されたい。しかし、中空の支持部材は、ケーブルを通すための好都合な経路を形成する。ケーブルをチューブ８０４内を通すことにより、ケーブルがカメラ８１０の視野内に入り込むことが防止される。角錐８００のベース端部のところに、ゴムのスタンドまたは脚部が設置される。ユーザがポスト８０２を使用したがらない場合に、柔軟に使用できるように、ポストの代わりに、これらのスタンドを使用することができる。

画像形成器をチューブ８０４の端部８３０のところで支持するために、図１７の画像形成器を倒置することもできる。この構成の場合、ケーブル８１８は、チューブ８０４の端部８３０を通して、単に通すことができる。この構成の場合、チューブ８０４は、角部ブラッケト８０８類似の角ブラッケトにより、端部８３０のところのポスト８０２に装着される。また、パノラマ画像形成器を支持するために、端部８３０を任意の便利な構造体に装着することもできる。

図１７のスタンドは、図１４、図１５および図１６の画像形成器に使用することができる。図１７のところで説明したように、画像形成器は、両方の角錐の頂点または頂点端部を通る中空のチューブに装着される。

＜校正＞
カメラ・システムを校正することにより、より高品質の画像を形成することができる。異なるタイプの画像の歪を補償する（参照用テーブルとして実行することができる）画像マッピング関数を決定するために校正を使用することができる。例えば、マッピング関数は、広角レンズにより生じるたる形歪を修正するために使用することができる。マッピング関数は、またカメラの整合していない電荷結合素子による回転歪のような他のタイプの歪を修正するのにも使用することができる。図１８は、たる形歪と回転歪の組合せを示す。この場合、上記歪により長方形の対象物９００は歪んだ画像９０２になる。歪んだ画像９０２は、歪んでいない対象物９００に対して回転し、たる形歪が、長方形の対象物９００の縁部９０４および９０６が、画像９０２の縁部９０８および９１０として表れ、縁部９１２および９１４が、それぞれ、縁部９１６および９１８として現われる。この歪は、カメラ・システムを校正することにより決定されるマッピング関数により修正される。

図１９は、カメラ・システムを校正するためのプロセスである。間隔が等しい楕円形の点９３０の垂直コラムが固定位置に置かれる。上記点は黒い背景上の白い点であり、背景上においては、楕円形の点は垂直方向を向いている。パノラマ・カメラ９４０は、それ自身の仮想の光学的中心を通る軸９４２を中心にして一回に少しのステップずつ回転する。各ステップにおいて、楕円形の点のコラムの歪んだ画像が現れ、上記歪を除去するために、このデータに対するマッピング関数が決定される。この関数により、間隔の等しい点の垂直な各コラムの歪んだ画像が、マッピングされた画像の等間隔の点の垂直なコラムとなるように画像をマッピングする。白い点の画像はその間に黒い部分を持っているが、補間により各画像ピクセル（白い点の間のピクセルを含む）に適用するために、マッピング関数が計算されることに留意されたい。カメラが回転すると、画像マッピング関数は、個々の各ステップ毎に決定され、これらのマッピング関数の集まりを、等間隔の点の垂直な各コラム画面、画像の等間隔の点の垂直なコラムとして確実に表わすことができるばかりではなく、これらのコラムが、その画像捕捉の間の角回転に比例する、水平方向に間隔を確実に持つことができる、２Ｄ−２Ｄマッピングに結合することができる。後者により、そのシーンの（平らではなく）シリンダ状の画像ができる。

図２０および図２１は、楕円形の点の垂直なコラムを表わすデータをどのようにして歪の結果として表わすことができるのかを示す。図２０は、この図は、カメラが供給するデータと、ユーザが見る画面との間の関係を示しているという点で、図８に類似している。点の垂直なコラムは、歪の結果として、図２０の一本のコラムでないことに留意されたい。この歪の場合、点は一本のコラム内だけではなく、複数のコラム９６０、９６２、９６４および９６６内に存在している。図２１は、この図が、画像データの記憶方法を示しているという点で、図９に類似している。歪んだ画像データが、図２１に示すように、メモリに記憶されると、点を表わすデータは、数本のコラムを占める。この場合、コラム９８０、９８２、９８４および９８６は、それぞれ、図２０のコラム９６０、９６２、９６４および９６６に対応する。校正段階で決定された画像マッピング関数は、データが図２１のメモリから読み出される時に、この歪を修正するのに使用される。修正した画像データまたは歪を含んでいない画像データは、ユーザに表示することもできるし、または歪を含んでいない画像を表わすデータを記憶するのに使用したメモリに書き込むことができる。

図２２は、図２１のメモリから読み出したデータと、ユーザが見ることができる歪を含んでいない画面との間の関係を示す。例えば、コラム１０００に関連するマッピング関数は、コラム１０００の一番上の部分で使用するためにデータを読み出した場合に、データをコラム９８０から読み出すことを指定し、すぐ下のコラム１０００の部分で使用するためにデータを読み出す時、コラム９８２からデータを読み出すことを指定する。マッピング関数は、またコラム１０００の中央部分で使用するためにデータを読み出す場合には、コラム９８４からデータを読み出すように指定する。コラム１０００をさらに下方に移動した場合、データはコラム９８２から読み出され、その後で、コラム９８０から読み出され、最後に、コラム１０００の底部で使用するためにデータの検索が行われると、コラム９８６から読み出される。マッピング関数の指定に従ってデータを読み出した結果、ディスプレイを見ているユーザに対して、データのコラムは垂直になる。図２２は、図２１のメモリから検索したデータが、垂直なコラムとして表示されていることを示す。この場合には、歪はもはやはっきりとは認められない。校正中に決定された類似のマッピング関数は、表示のための歪を含まない画像を形成するために、図２２の各コラムに対して使用される。パノラマ・カメラを校正するために使用した複数の各回転ステップの代わりに、図２２のいくつかのコラムの一つのグループを使用することができることに留意されたい。

カラー校正および輝度校正も、同様に、図１９の手順に類似の手順により、行うことができる。この場合、楕円形の点のコラム９３０の代わりに、周知のカラー・パターンが使用される。パノラマ・カメラが回転し、その結果、各カメラはカラー・パターンの画像を捕捉する。（赤、緑、青およびグレイのいくつかの色調のような）いくつかのカラー・パターンを一つずつ使用することができる。その後、ピクセル毎に、各カラーからのデータは、任意の赤、緑または青の歪を修正するために調整され、その結果、作成された画像は、校正カラー・パターンに非常によく似たカラー・パターンを持つ。さらに、各カメラからの各ピクセルの輝度が調整され、その結果、一定のカラーおよび輝度のあるシーンを見ている場合には、一つのカメラの画像、および複数のカメラの画像間の輝度およびカラーは比較的均一になる。マッピング関数のところですでに説明したように、ピクセル毎の調整は表に記憶することができる。正確さでは劣るが、もっと簡単な方法をカラーおよび輝度の計算に使用することができる。この方法の場合は、特定のカラーと輝度を持つあるシーンを見る場合に、正しいカラーおよび輝度を入手するために、各カメラのカラーおよび輝度の制御を手動で調整する。この方法を使用した場合には、特定のカメラのすべてのピクセルは同じように調整されることに留意されたい。

図２３は、校正に基づく画像マッピング修正を使用するパノラマ・カメラ・システムである。図２３は図７に類似の図である。しかし、フレーム・バッファ・メモリおよび追加マイクロプロセッサを使用していることに留意されたい。カメラ５２、５４、５６および５８は、画像データを収集して、そのデータをアナログ−デジタル変換器１６０、１６２、１６４および１６６に、それぞれ送信する。その後、上記アナログ−デジタル変換器の出力は、赤、緑、青および輝度調整ユニット１０１０、１０１２、１０１４および１０１８を通る。上記調整ユニットがアナログ・ユニットである場合には、上記調整ユニットをアナログ−デジタル変換器の前に設置することができる。さらに、調整ユニットを内蔵するカメラを使用することもできる。いずれの場合も、上記調整ユニットは、計算手順による決定に従ってカラーおよび輝度を調整するためにプログラムすることもできるし、または設定することもできる。上記各ユニットは、赤、緑および青のレベル、および上記アナログ−デジタル変換器からの信号のレベルを調整する。カメラ５２−５８がカラー・カメラである場合には、アナログ−デジタル変換器１６０−１６６は、通常、三つの信号を受信し、三つの信号を出力することに留意されたい。この場合、入力信号および出力信号の各組は、赤、緑および青の中の一つに対応する。ユニット１０１０−１０１６は、単に、全体の輝度校正設定に従って、赤、緑および青信号の全体の振幅を調整する。赤、緑および青輝度調整の出力は、その後、図７のところで説明したように、マルチプレクサを通り、フレーム・バッファ・メモリ１０３０に送られる。フレーム・バッファ・メモリ１０３０の代わりに、各赤、緑、青および輝度調整ユニット１０１０、１０１２、１０１４および１０１８用の個々のフレーム・バッファを使用することもできる。個々の各フレーム・バッファの出力は、その後、マルチプレクサ１７０を通してマイクロプロセッサ１０３０に送られる。

フレーム・バッファ・メモリ１０３０は、図７のメモリ１７２と同じ方法で動作し、図２１のところで説明したように、歪んだ画像を表わすデータを記憶する。その後、マイクロプロセッサ１０４０は、校正手順中に決定したマッピング関数を使用して、フレーム・バッファ・メモリ１０３０からデータを読み出し、その後で、表示メモリ１０５０に上記データを書き込む。図７のところでの説明を思いだして欲しいのだが、歪んでいない画像を表わすデータは、その後、ユーザが検索できるようにメモリ１０５０に記憶される。ユーザは、図７のところで説明したように、データを検索することができる。その場合、データの読み出しは、ユーザ入力に基づいて決定される。各ユーザは、表示メモリの全部の内容を使用することができる。電話ネットワークまたはデータ・ネットワークのような通信ネットワークを通して、上記データを各ユーザに送ることもできるし、専用の有線または無線通信経路を通して、直接ユーザに送ることもできる。その後、ユーザは、上記データをユーザに表示することができるアナログ形式に変換するために、デジタル−アナログ変換器を使用することもできるし、またはデジタル・データを直接使用し、デジタル−アナログ変換器を使用しないですます方法もある。

図２４は、反射面１２０２、１２０４、１２０６および１２０８を含む反射角錐１２００である。ライン１２１０は、角錐１２００の頂点１２１２を通り、角錐のベース１２１４に垂直な角錐の軸である。角錐１２００は、図２および図３のところで説明した角錐に類似の角錐である。しかし、この場合、一つの仮想の光学的中心ではなく、二つの仮想の光学的中心が使用される。仮想の光学的中心１２１４および１２１６は、立体のパノラマ画像形成器を供給するために使用される。正常な人の視野にできるだけ近づけるために、仮想の光学的中心１２１４および１２１６は、人間の両眼の間の通常の距離にほぼ等しい距離だけ離れていることが望ましい。各仮想の光学的中心１２１４および１２１６は、一組のカメラに関連する。この場合、上記一組のカメラの各カメラの視野の方向は、角錐の反射面で変えられていて、その結果、方向が変えられた視野の一部はほぼ隣接している。これらのカメラは、図２、図３および図１７のところで説明したように配置し、支持されているが、これらのカメラは、カメラの各組が、角錐の中心から変位している仮想の光学的中心を持つようにも配置されている。各光学的中心に対するカメラは、図２および図３のところで説明した方法に類似の方法で配置されているが、これらのカメラは、また二組のカメラのそれぞれの組が、異なる仮想の光学的中心を持つようにも配置されている。この場合、一組のカメラは、仮想の光学的中心を点１２１４に持ち、他方の組のカメラは、仮想の光学的中心を点１２１６に持つ。

図２５は、軸１２１０に沿ったベースのところで、図２４の矢印１２１８の方向に見た角錐１２００である。仮想の光学的中心１２１４および１２１６は、中心の軸１２１０から、人間の両目の間の通常の距離にほぼ等しい距離だけ、水平方向に変位している。この実施形態の場合には、仮想の光学的中心１２１４および１２１６は、軸１２１０を通るＡＡ線上に存在する。

図２６は、図２４および図２５のＡＡ線に沿って切断した、角錐１２００の断面図である。図面を簡単にするために、仮想の光学的中心１２１４だけを示したが、仮想の光学的中心１２１６のような、他の変位した仮想の光学的中心の場合にも、仮想の光学的中心１２１４に関連するカメラに対する位置決め技術を使用することができる。点１２３０は、その視野の方向が、角錐１２００の反射面１２０２により変えられたカメラの光学的中心を示す。光学的中心１２３０は、反射面１２０４からのその垂直方向の距離１２４０が、仮想の光学的中心１２１４、と反射面１２０４との間の垂直方向の距離１２４２である垂直方向の距離１２３４に等しくなる位置に位置する。同様に、点１２３８は、その視野の方向が、反射面１２０４により変えられたカメラの光学的中心を示す。光学的中心１２３８は、反射面１２０２からのその垂直方向の距離１２４０が、仮想の光学的中心１２１４と反射面１２０４との間の垂直方向の距離１２４２に等しくなるような位置に位置する。

図２７は、図２５のＣＣ線に沿って切断した角錐１２００の断面図である。点１２５０は、その視野の方向が、反射面１２０８により変えられたカメラの光学的中心を示す。点１２５２は、その視野の方向が、反射面１２０６により変えられたカメラの光学的中心を示す。点１２５０は、反射面１２０８からのその垂直方向の距離１２５４が、反射面１２０８と仮想の光学的中心１２１４との間の、垂直方向の距離１２５６に等しくなるような位置に位置する。光学的中心１２５２は、反射面１２０２からのその垂直方向の距離１２５８が、仮想の光学的中心１２１４と反射面１２０２との間の垂直方向の距離である１２６０に等しくなるような位置に位置する。

図２８は、仮想の光学的中心１２１４に関連するカメラであり、各カメラの光学的中心が、図２６および図２７に従って配置されるように位置している。点１２３０に光学的中心を持つカメラは、矢印１２６０の方向を向いている視野を持つ。上記視野の方向は、反射面１２０２により変えられ、その結果、点１２３０に関連するカメラに対する仮想の光学的中心は、仮想の光学的中心１２１４に位置する。点１２５０に光学的中心を持つカメラは、矢印１２６２の方向を向いている視野を持つ。上記視野の方向は、面１２０８により変えられる。その結果、点１２５０に関連するカメラは、点１２１４に仮想の光学的中心を持つ。同様に、点１２２５に光学的中心を持つカメラは、矢印１２６４の方向を向いている視野を持つ。この場合、上記視野の方向は、面１２０６により変えられる。その結果、点１２５２に関連するカメラは、点１２１４に仮想の光学的中心を持つ。同様に、点１２３８に光学的中心を持つカメラは、矢印１２６６の方向を向いている視野を持つ。この場合、上記視野の方向は、面１２０４により変えられる。その結果、点１２３８に関連するカメラは、点１２１４に仮想の光学的中心を持つ。類似の組のカメラは、図２６および図２７のところで説明したように配置することができる。その結果、第二の仮想の光学的中心を点１２１６のところに形成することができる。図面を簡単にするために、仮想の光学的中心１２１６に間追加のカメラは図示していない。

各仮想の光学的中心１２１４および１２１６に対して、完全なパノラマ画像が形成されることに留意されたい。各光学的中心に関連する画像は、図７および図２３のところで説明したように処理される。しかし、この場合、ユーザが一つの画像を要求した場合には、好適には、左および右と表示された二つの画像が与えられることが好ましい。この場合、左の画像は左目に映り、右の画像は右目に映る。そうすることにより、一方の目を仮想の光学的中心１２１４に置き、他方の目を仮想の光学的中心２１６に置いた状態で、角錐の内部から世界を見ているユーザに与えられるのと同じ立体画面が供給される。さらに、各カメラに関連する仮想の光学的中心は、仮想の光学的中心１２１４のような正確に一つの位置または点である必要はないことに留意されたい。ただ複数のカメラを正確に整合するのは困難であるという理由だけから、複数の光学的中心を点１２１４の周囲に密集させることができる。さらに、図１２のところで説明したように、ブラインド領域になる一組のオフセット仮想光学的中心が形成されるように、１２１４の周囲に複数のカメラの仮想の光学的中心を意図的に密集させることが望ましい。これらブラインド領域は、角錐の異なる反射面が合流する角錐の縁部により、歪を起こす場合がある画像の一部を除去するために使用することができる。

図２９は、反射角錐１３００である。反射角錐１３００は、角錐の頂点を通り、角錐のベースに垂直な軸１３０２を持つ。上記角錐は、三つの仮想の光学的中心１３０４、１３０６および１３０８を持つ、パノラマ画像形成器の一部である。各仮想の光学的中心は、図２６および図２７のところでの説明に従って設置されている一組のカメラを持つ。複数の仮想の光学的中心は、軸１３０２から等距離１３１０のところに位置していて、相互に距離１３１２だけ間隔を持つように配置される。この場合、距離１３１２は、人間の両眼の間の通常の距離にほぼ等しい。このように配置されているので、各仮想の光学的中心は、それをパノラマ画面に関連づける。

図３０も、角錐の外側から、ベースのところで、下を見おろしている角錐１３００の図面である。図３０は、ユーザに画像を供給するために、どの組の仮想の光学的中心が使用されるのかを示す。使用する一組の仮想の光学的中心は、ユーザがどの方向を見たいのかによって違ってくる。図のライン１３２０、１３２２および１３２４は基準線である。ライン１３２０は、仮想の光学的中心１３０４および軸１３０２を通る。ライン１３２２は、仮想の光学的中心１３０８および軸１３０２を通る。同様に、ライン１３２４は、仮想の光学的中心１３０６および軸１３０２を通る。ライン１３２２は、矢印１３２６の方向に、仮想の光学的中心１３０６および１３０４が形成する、画面の中心と見なすことができる。さらに、ライン１３２４の矢印１３２８は、矢印１３２８の方向に、仮想の光学的中心１３０８および１３０４が形成する画面の中心と見なすことができる。ライン１３２０の矢印１３３０は、矢印１３３０の方向に、仮想の光学的中心１３０６および１３０８が形成する、画面の中心と見なすことができる。ライン１３２２の矢印１３３２は、矢印１３３２の方向に、仮想の光学的中心１３０６および１３０４が形成する画面の中心と見なすことができる。

ライン１３２４の矢印１３３４は、矢印１３３４の方向に、仮想の光学的中心１３０４および１３０８が形成する画面の中心と見なすことができる。ライン１３２０の矢印１３３６は、矢印１３３６の方向に、仮想の光学的中心１３０６および１３０８が形成する、画面の中心と見なすことができる。それ故、異なる配列の仮想の光学的中心の組は、異なる方向の立体画面用として最もよく使用することができる。ユーザが視線の方向を変えると、左右の目に画像を映し出すために使用する仮想の光学的中心も変化する。ライン１３４０および１３４２の間に中心を持つ画像を見ている場合には、ユーザの左右の目に映っている画像は、それぞれ、仮想の光学的中心１３０６および１３０４により供給される。ライン１３４２および１３４４の間に中心を持つ画像を見ている場合には、仮想の光学的中心１３０８および１３０４により供給される画像は、それぞれ、左右の画像を供給するために使用される。ユーザが、ライン１３４４および１３４６の間に中心を持つ画像を見ている場合には、ユーザの左右の目は、それぞれ、仮想の光学的中心１３０８および１３０６から画像を受け取る。ユーザが、ライン１３４８および１３４６の間に中心を持つ画像を見ている場合には、仮想の光学的中心１３０４および１３０６から、それぞれ、ユーザに左右の画像が供給される。ユーザが、ライン１３５０および１３４８の間に中心を持つ画像を見ている場合には、仮想の光学的中心１３０４および１３０８から、それぞれ、ユーザに左右の画像が供給される。最後に、ユーザが、ライン１３４０および１３５０８の間に中心を持つ画像を見ている場合には、仮想の光学的中心１３０６および１３０８から、それぞれ、画像が左右の目に供給される。

図３１は、角錐の頂点を通る軸１４０２を持つ角錐の外側からベースのところを見ている反射角錐１４００である。角錐１４００は、八つの仮想の光学的中心１４０４、１４０６、１４０８、１４１０、１４１２、１４１４、１４１６、１４１８に関連する８組のカメラを持つ。仮想の光学的中心は、軸１４０２から等距離１４２０のところにある。光学的中心１４０４および１４１２のような対向する仮想の光学的中心の各組は、距離１４２０の二倍の距離のところに位置する。距離１４２０の二倍の距離は、人間の両眼の間の通常の距離にほぼ等しい。

図３２は、その人がどの方向を見たがっているのかにより、画像を供給するために、仮想の光学的中心のどの組が使われるのかを示すために使用した基準線を含む、図３１のパノラマ画像形成器である。基準線１４３０は、仮想の光学的中心１４０６、軸１４０２および仮想の光学的中心１４１４を通る。基準線１４３２は、仮想の光学的中心１４０８、軸１４０２および仮想の光学的中心１４１６を通る。基準線１４３４は、仮想の光学的中心１４１０、軸１４０２および仮想の光学的中心１４１８を通る。基準線１４３６は、仮想の光学的中心１４１２、軸１４０２および仮想の光学的中心１４０４を通る。この実施形態の場合には、ユーザが基準線のほぼ２２．５度内の画面を見たい場合には、ユーザに左右の画像を供給するために、その基準線に関連する一組の仮想の光学的中心とその視線の方向が使用される。ユーザが、ライン１４３０の矢印１４３８の方向で、ライン１４４０および１４４２の間の画面を見たい場合には、画像形成器は、左目用の画像として、仮想の光学的中心１４１０からの画像を使用し、右目用の画像として、仮想の光学的中心１４１８からの画像を使用する。ユーザが、ライン１４３２の矢印１４４４の方向で、ライン１４４６および１４４２の間の画面を見たい場合には、仮想の光学的中心１４１２および１４０４が、それぞれ左右の画像を供給する。ユーザが、ライン１４３４の矢印１４４８の方向で、ライン１４５０および１４４６の間の画面を見たい場合には、仮想の光学的中心１４１４および１４０６が、それぞれ左右の画像を供給する。ユーザが、ライン１４３６の矢印１４５２の方向で、ライン１４５４および１４５０の間の画面を見たい場合には、仮想の光学的中心１４１６および１４０８が、それぞれ左右の画像を供給する。ユーザが、ライン１４３０の矢印１４５６の方向で、ライン１４５４および１４５８の間の画面を見たい場合には、仮想の光学的中心１４１８および１４１０が、それぞれ左右の画像を供給する。ユーザが、ライン１４３２の矢印１４６０の方向で、ライン１４５８および１４６２の間の画面を見たい場合には、仮想の光学的中心１４０４および１４１２が、それぞれ左右の画像を供給する。ユーザが、ライン１４３４の矢印１４６４の方向で、ライン１４６６および１４６２の間の画面を見たい場合には、仮想の光学的中心１４０６および１４１４が、それぞれ左右の画像を供給する。ユーザが、ライン１６３４の矢印１４６８の方向で、ライン１４４０および１４６６の間の画面を見たい場合には、仮想の光学的中心１４０８および１４１６が、それぞれ左右の画像を供給する。

この実施形態においては、角錐の構成について説明したが、カメラがほぼ同じ位置を占める仮想の光学的中心を持つように、視野の方向を変えるために異なる平面ミラーの幾何学的配置を使用することもできる。例えば、中空でない、中空のまたは部分的多面体を使用することができる。さらに、角錐構成の場合には、ベースおよび頂点が物理的に存在していなくてもよいし、ベース平面または端部および頂点または端部のような概念上の補助手段であると見なすことができる。

図３３は、三つの仮想の光学的中心を持つ立体パノラマ画面表示システムのブロック図である。このブロック図は、各組のカメラの持つ機能が図２３に示す機能に類似しているという点で、図２３に類似している。この実施形態の場合、カメラの各グループ１５００、１５０２および１５０４は、それぞれ、図２９の仮想の光学的中心１３０４、１３０６および１３０８に対応する。この実施形態の場合には、カメラの各グループは、四台のカメラを含む。カメラの各グループの出力は、赤／緑／青修正回路１５０６に供給される。上記赤／緑／青修正回路１５０６は、図２３のところで説明した回路の動作に類似の動作を行う。赤／緑／青修正回路１５０６の出力は、フレーム・メモリ・ユニット１５０８により記憶される。複数のカメラが捕捉した画像を表わすデータは、コントローラ１５１０が供給するアドレスに従ってフレーム・メモリに書き込まれる。コントローラ１５１０は、図２３および図７−図９のところで説明したように、フレーム・メモリにアドレスする。コントローラ１５１０は、ＡＳＩＣ（特定用途向けＩＣ）、マイクロコンピュータまたはマイクロプロセッサにより実行することができる。データはフレーム・メモリ１５０８から読み出され、マイクロプロセッサ１５１４の制御の下で表示メモリ１５１２に記憶される。表示メモリ１５１２にデータを書き込んでいる時、マイクロプロセッサは、カメラ・システムにより生じた歪を修正するために画像マッピングを使用する。この画像マッピング・プロセスは、図２０−図２２のところで説明したプロセスに類似している。表示メモリ１５１２からの出力は、図７−図９のところで説明した方法と類似の方法で、コントローラ１５１０によりアドレスされる。これらの出力は、視線の方向を指定するユーザの入力に従って供給することができる。

表示メモリ１５１２の出力は、スイッチに送られる。上記スイッチは、この実施形態の場合には、左のマルチプレクサ１５１６および右のマルチプレクサ１５１８である。各マルチプレクサは、仮想の光学的中心の中の一つに関連するカメラ・グループからの左右の画像データの対の各々を選択するために使用される。上記スイッチは、例えば、機械的スイッチ、バスにイネーブルされた選択したメモリを含むバス、または選択したメモリにアクセスするマイクロコンピュータまたはマイクロプロセッサにより実行することができる。特定の仮想の光学的中心に関連する画像データの選択は、ユーザ入力を通してユーザが選択した画面に基づいて、コントローラ１５１０の制御の下で行われ、図示のようにコントローラからの制御信号によりマルチプレクサが制御される。ユーザの入力に応じて供給される実際の画像データは、図３０のところで説明した方法で供給される。ユーザが見て、そうしたい場合には、編集できるように、各仮想の光学的中心に対して、表示メモリの全部の出力を供給することもできる。マルチプレクサ１５１６および１５１８が供給する左右の画像データ対は、モデムに送り、通信ネットワークを通して転送することができる。通信ネットワーク１５２２が、デジタル・データを直接受け入れる場合には、モデム１５２０を使用する必要はない。通信ネットワーク１５２２からのデータは、モデム１５２４により受信され、上記モデムは、上記データを左右のディスプレイ１５２６および１５２８に供給する。ディスプレイ１５２６および１５２８がアナログ・データを必要とする場合には、モデム１５２４とディスプレイとの間にデジタル−アナログ変換器を設置することができる。ユーザ入力装置１５３０としては、モデム１５２４、通信ネットワーク１５２２、およびモデム１５２０を通して、ユーザの選択データをコントローラ１５１０に送るためのジョイスティックのような装置を使用することができる。ユーザの場所が、画面表示システムからそんなに離れていない場合には、マルチプレクサ１５１６および１５１８からのデータは、直接左のディスプレイ１５３２、および右のディスプレイ１５３４に送ることができる。上記ディスプレイがアナログ・データを必要とする場合には、左のディスプレイ１５３２、および右のディスプレイ１５３４に、それぞれ、データを供給するために、デジタル−アナログ変換器１５３６、および１５３８を使用することができる。さらに、コントローラ１５１０にユーザ選択データを供給するために、ユーザ入力装置１５４０を使用することができる。

画面表示システムが、図３２のところで説明したシステムのように、追加の仮想の光学的中心を使用する場合には、図３３の基本的レイアウトに、追加の処理経路を追加することができる。図３４の場合には、カメラ・グループ１５００、１５０２および１５０４のカメラの数を変更することができることに留意されたい。例えば、四つの面を持つ角錐の三つの面だけを画面表示のために使用する場合には、カメラ・グループのカメラの数は三台だけでよい。

コントローラ１５１０およびマイクロプロセッサ１５１４は、上記機能にアドレスすることができる十分な処理速度を持つ、一台のマイクロプロセッサ、マイクロコンピュータまたはコンピュータにすることができる。同様に、フレーム・メモリおよび表示メモリも、図３３の各メモリに関連するデータにアクセスすることができるようにアドレスされる一台のメモリにすることもできる。

従来技術の複数のカメラを含む画面表示システムである。 反射面を含む四面角錐を使用する四つのカメラからなる全方向またはパノラマ画面表示システムである。 各カメラに共通の光学的中心を供給するために、角錐の反射面がどのように使用されるのかを示す。 角錐の平面図であり、カメラの位置を示す。 反射側面を持つ八面角錐である。 図５の角錐の平面図である。 カメラが発生したデータを制御するためのシステムのブロック図である。 カメラから受けとったデータと、ユーザが見る画面との間の関連を示す。 図７のメモリに対するアドレス・スキームである。 図７のコントローラのブロック図である。 ５番目のカメラを含む、図２の画面表示システムである。 仮想の光学的中心が変位している、図２の角錐の平面図である。 ブラインド領域内に位置する影の部分を含む、図１２の角錐である。 底部と底部とが接している複数の角錐を使用するパノラマ画像形成器である。 入れ子状の角錐を使用するパノラマ画像形成器である。 入れ子状の角錐を使用する球形画像形成器である。 パノラマ画像形成器を支持するのに使用されるスタンドである。 二つのタイプの歪である。 校正プロセスである。 カメラから受けとったデータと、ユーザが見る歪を含む画面との間の関連を示す。 歪んだ画像データの記憶方法である。 マッピングした画像の記憶方法である。 画像マッピングを使用する場合の、パノラマ・カメラ・システムのブロック図である。 二つの仮想の光学的中心を含む反射角錐である。 底面から見た図２４の角錐である。 ＡＡ線に沿って切断した、図２４の角錐の断面図である。 ＢＢ線に沿って切断した、図２４の角錐の断面図である。 角錐の仮想の光学的中心の一つと関連するカメラである。 三つの仮想の光学的中心を含む反射角錐である。 見る方向が異なる場合の、異なる組の仮想の光学的中心の使用方法である。 八つの仮想の光学的中心を持つ反射角錐である。 見る方向が異なる場合の、異なる組の仮想光学的中心の使用方法である。 三つの光学的中心を持つパノラマ画面表示システムのブロック図である。

Claims (2)

1. 合成視野を有するパノラマ画像形成器において、
   各々が視野を有する複数の画像形成装置、及び
   異なる方向を向いている複数の平面反射ファセットとを備え、
   該ファセットの少なくとも２つの各々が該画像形成装置の視野の少なくとも一部の方向を変更して、該画像形成装置の少なくとも２つの方向を変更された視野の少なくとも一部がほぼ同じ点から現われるようになっており、
   該方向を変更された視野は、該方向を変更された視野の各々をそれに対応する画像に関係づける校正データを用いて、該合成視野を形成するよう合体されていることを特徴とするパノラマ画像形成器。
2. 請求項１に記載のパノラマ画像形成器において、
   前記画像形成装置はカメラ又はプロジェクタであるパノラマ画像形成器。
   

Images