JP4950293B2 - 自動立体システム - Google Patents

Description

本発明は、スクリーン上に画像を自動立体表示するための方法であって、使用者の右眼および左眼のための分離したチャネルの画像情報が、介在し合うセグメントでスクリーン上に表示され、かつ、各チャネルの画像情報が、使用者の片方の眼のみに見えることができるように、レンズアレイが、スクリーンから放射される光を屈折させるために配置されている方法に関する。

立体視の一般的な原理によると、空間の奥行き感は、わずかに異なる視点であって、その左右と使用者の眼の視差差に反映する視点から、同一の場面を示す２つの異なる画像を、使用者の両眼に表示することから生じる。

使用者の左眼および右眼に、異なる画像を表示するための従来のシステムは、ヘッドセットまたはシャッター眼鏡を用いるが、使用者にとって非常に邪魔になる。

米国特許第６３０２５４１号は、「何も装着していない眼で」自動立体画像を見ることを許容して、立体画像を、例えばコンピュータ用モニタなどのスクリーン上に生じることができる上述の種類の方法を記載している。そのためには、左右のチャネルの画像情報、すなわち使用者の左眼および右眼のそれぞれを対象とする情報を、セグメントの形状（すなわち、左チャネルおよび右チャネルに交互に属する縦縞）でスクリーン上に配置する。そして、例えばシリンドリカルレンズによって形成されるレンズアレイを、スクリーンの前に配置し、かつ、スクリーンのピクセルラスタに相対して慎重に位置付ける。その結果、観察者が特定の位置にいる場合は、各チャネルの情報が片方の眼のみに見えることができるように、種々のスクリーンピクセルから放射される光が屈折される。ヘッドトラッキング（追従）システムまたはアイトラッキングシステムを用いて、スクリーン上の画像表示を、観察者の位置の変化に適合させてもよい。

この方法は、各セグメントが、そのセグメントに割り当てられた画像情報に加えて、同一のチャネルにおける隣接するセグメントの少なくとも一つに割り当てられた画像情報も有するという、さらに顕著な特徴を有する。従って、ヘッドトラッキングシステムまたはアイトラッキングシステムを用いなくても、使用者の位置の軽微な変更に対して非常に頑強であり、また、ヘッドトラッキングシステムの遅延に対しても頑強である。この頑強性は、各セグメントに表示される情報の重複性（冗長性）によって達成されるので、観察位置が変化し、結果的に他のピクセルが使用者のそれぞれの眼に見えるようになる場合に、見えるようになったピクセルに表示される情報は、それでもなお、関連チャネルの画像に適合する。

本発明の目的は、自動立体方法、およびその方法を異なるハードウェア装置で実施するときに一層の融通性をもたらすシステムを提供することである。

この目的を達成するために、上述の種類の方法は、レンズアレイによって決定されるチャネルマスクを、レンズアレイと固定された関係を有するディスプレイ座標系で定義するステップと、チャネルマスクを、投影中心としての使用者の位置を用いた、レンズアレイの主平面からスクリーンの物体面へのチャネルマスクの投影に対応する座標変換にかけ、それによって、スクリーンの各ピクセルに、チャネルの少なくとも１つとの相関を割り当てるステップと、チャネルごとに、そのチャネルの画像情報を含むテクスチャマップを格納するステップと、スクリーンの各ピクセルを、テクスチャマップの少なくとも１つの領域に関連付ける座標変換を行うステップであって、前記変換は、レンズアレイによるピクセルからの光の屈折を表すステップと、テクスチャマップとの各ピクセルの相関およびこれらのテクスチャマップの関連領域の内容に基づいて、各ピクセルの内容を決定するステップとを特徴とする。

この方法の主な利点は、レンズアレイとスクリーン上のピクセルラスタとの位置関係に、それほど厳密でない要件を課すことである。そのためには、レンズアレイの構成を、システムのソフトウェアで、チャネルマスクによってモデリングして、次いでこのマスクを、投影中心としての観察者の位置を用いた中心投影を用いて、スクリーン上の物体面に投影する。それから、スクリーン上のピクセルを、チャネルマスクの投影画像に関連付けることによって、ピクセルごとに、それが属するチャネルを決定することができる。このように、もはや、レンズアレイのシリンドリカルレンズと、これらの各レンズを通して見られるピクセルとの固定関係を有する必要はない。従って、レンズアレイとスクリーンのピクセルラスタは分離され、そのことは、レンズアレイの設計をスクリーン上のピクセルラスタに適合させる必要がなく、所与のレンズアレイを、種々の解像度およびピクセルラスタを有する多種多様のスクリーンで用いることができるという、大きな利点を有する。その結果、モニタスクリーンがあるコンピュータを有する誰もが、レンズアレイをそのスクリーンに取り付け、ほんの少し調整をするだけで、具体的にはチャネルマスクをシステムのソフトウェアで定義することについて、本発明を利用することができる。さらに、ミスマッチエラーの恐れを増大させることなく、スクリーンのピクセルの解像度を向上させること、および／または、レンズアレイのレンズ寸法を縮小することができる。

本発明に記載の方法では、ピクセルがどちらのチャネルに属するのかが決定すると、そのピクセルに表示される内容が、関連チャネルと関連しているテクスチャマップからフェッチされる。テクスチャマップは、使用者の片方の眼に表示される完全な画像を含むピットマップであると考えられ得る。しかし、テクスチャマップの解像度およびアスペクト比は、スクリーンの解像度およびアスペクト比と一致する必要はなく、そのことは、ソフトウェアの移植性に貢献する。ピクセルの内容を定めるテクスチャマップ部分は、レンズアレイの光学特性に従って決定されるので、従って、ピクセルの内容は、使用者がこのピクセルをレンズアレイを通して見る位置の画像情報に対応する。この位置、つまりテクスチャマップの関連位置は、座標変換を用いて計算され、そのパラメータは、用いられているレンズアレイに依存する。従って、これらのパラメータを適切に調整することによって、ソフトウェアを種々のレンズに容易に適合させることができる。

従って、本発明に記載の方法が、入手可能なハードウェアに柔軟に適合できることが理解されるであろう。さらに、スクリーンの特性とレンズアレイの特性との間に厳密な連関がないので、多くの影響（三次元画像の質を劣化させる影響およびレンズアレイとスクリーンとの間のミスマッチから生じる影響）を排除することができる。

本発明に記載の方法を実行するように適合されるシステムおよびソフトウェア製品は、製品についての独立請求項で定義される。

本発明の好ましい実施形態の、より特定された特徴は、従属請求項で示される。

本発明に記載の方法は、レンズアレイのシリンドリカルレンズが、スクリーン上のピクセルコラムに相対して傾斜されているシステムに適合するための、十分な柔軟性がある。このようなシステムは、当業界でよく知られているように、レンズアレイの傾きが、モアレ効果及び他のエラー（隣接するレンズ間の遷移に関係する色層（カラーシーム）など）を緩和するのに役立つので、本発明の好ましい実施形態を構成する。レンズアレイの画像形成特性を反映する座標変換は、いわゆる、シリンドリカルレンズの中心軸に対応する不変の軸を有する軸方向アフィン変換であろう。

スクリーン上の個々のピクセルは、必ずしも２つのチャネルのうちの１つだけに割り当てられるのではなく、両方のチャネルと相関し得る。これは、ピクセルが２つのチャネル間の境界線上に位置するときの状況であろう。この状況では、遷移エラーを緩和するために、ピクセルの２つのチャネルとの相関に従って、２つのテクスチャマップの内容を融合するフィルタリング手順を適用するのが好ましい。

カラーディスプレイでは、各ピクセルは３つのサブピクセルから構成され、２つのチャネルとの相関は、同一のピクセルの種々のサブピクセルによって異なっていてよい。チャネル境界線上のピクセルが、２つのチャネルのうちの少なくとも１つで見えるならば、これらのサブピクセルの異なる相関は、色誤差を生じさせ得る。しかし、レンズアレイが傾いている場合は、その誤差は大きく緩和されるであろう。このような誤差をさらに抑えるために、ピクセルを、サブピクセルの異なるトリプレットと再定義することが可能であり、そのとき全てのサブピクセルは、関連チャネルとの、ほぼ同じ相関を有するであろう。他の可能性は、隣接するピクセル上に色誤差を「拡散」させるための、アルゴリズムである。

チャネルマスクの投影とピクセルの内容の識別の両方に関係している座標変換は、容易に行列で表すことができる。そして、次々に行われる２つの変換は、２つの行列の積によって表わされるであろう。同様に、逆変換は逆行列によって表わされるであろう。座標変換を幾何学的物体に適用することは、物体を定義する１つまたはそれより多くのベクトルを有する、対応する行列の乗算に対応する。この座標変換は変位も含み得るが、それでもなお行列で、すなわち、いわゆる斉次（同次）行列で表し得る。この行列は、三次元空間の変換では、特定の４×４行列であり、第４行の行列要素が平行移動を特定する。座標変換をマトリックス乗算として表現する利点は、最新のグラフィックカードまたはグラフィックアクセラレータが、このようなマトリックス乗算を非常に効率よく行うことに特に優れていることである。

使用者の位置が変化することが許されるならば、例えば、ヘッドトラッキングシステムまたはアイトラッキングシステムを用いる場合、使用者の位置に依存する座標変換の行列は、時間依存行列によって表わされるであろう。そして、使用者の位置に依存する全ての変換を集約する時間依存行列と定数行列の積によって、座標変換を表すことが可能になる。また、そうすることが好ましい。それから、時間依存行列のみを動的に適合しなければならず、完全な変換は、一度だけ計算される必要がある定数行列とこの行列を乗じることによって、簡単に得られる。

テクスチャマップからピクセルの内容をフェッチすることに関係する手順も、最新のグラフィック処理ハードウェアの特有の強度及び性能に依存しており、「テクスチャのジオメトリへのマッピング」または「レンダリングパイプライン」として知られる技術を含んでもよく、例えばＯｐｅｎＧＬまたはＤｉｒｅｃｔＸなどのグラフィックインターフェイスに基づいていてもよい。

本発明の好ましい実施形態を、図面を併用して説明する。

図１は、本発明に記載のシステムのブロック図である。 図２は、レンズアレイの光の屈折特性を説明する、レンズアレイの断面図である。 図３は、図２の断面図と同等の方法で、レンズアレイの光の屈折特性を説明する図である。 図４は、スクリーンおよびレンズアレイの正面図である。 図５は、レンズアレイおよびスクリーンに関連する種々の座標系、並びに、レンズアレイからスクリーン上へのチャネルマスクの投影を説明する図である。 図６は、ピクセルの、投影チャネルマスクによって定められた異なるチャネルとの、異なる相関を説明する図である。 図７は、ピクセルの、投影チャネルマスクによって定められた異なるチャネルとの、異なる相関を説明する図である。 図８は、レンズアレイの拡大効果をモデリングするための、ピクセルに適用された座標変換を説明する図である。 図９は、レンズアレイの屈折効果を説明する図である。 図１０は、屈折と拡大効果の複合を説明する図である。 図１１は、カラーピクセルのチャネル相関を説明する図である。 図１２は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１３は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１４は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１５は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１６は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１７は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１８は、具体例に関する、本発明に従う方法の効果を説明する図である。 図１９は、具体例に関する、本発明に従う方法の効果を説明する図である。 図２０は、具体例に関する、本発明に従う方法の効果を説明する図である。

図１に示すシステムは、モニタ１４を駆動してモニタのスクリーン１６上に画像を表示するグラフィックカード１２を含む、コンピュータシステム１０（例えばパソコン）を備える。レンズアレイ１８はスクリーン１６の前に配置される。アイトラッキングシステムまたはヘッドトラッキングシステム２０の一部分を形成するビデオカメラは、モニタ１４に取り付けられ、コンピュータシステム１０と通信する。

グラフィックカード１２は、コンピュータシステム１０のメモリに格納される、２つのテクスチャマップＬおよびＲにアクセスできる。テクスチャマップＬは、左チャネルの画像情報、すなわち、レンズアレイ１８を通してスクリーン１６を見る使用者（図示せず）の左眼に表示される画像情報を格納する。同様に、テクスチャマップＲは、使用者の右眼のための右チャネルの画像情報を格納する。ヘッドトラッキングシステム２０は、使用者の頭のいずれの移動を追跡し、かつ、これらの移動をコンピュータシステムに信号で伝える。次いでコンピュータシステムは、スクリーン１６上に表示される情報を、使用者の変化後の位置に適合するであろう。

図２は、スクリーン１６およびレンズアレイ１８の概略断面図である。スクリーン１６は、例えば、厚さｄ１の可撓性カバー２４によって保護されているＴＦＴ（薄膜トランジスタ）層２２を備えるＴＦＴスクリーンであってよい。レンズアレイ１８は、厚さｄ２の空隙２６によってカバー２４から分離され、平行なシリンドリカルレンズ２８のアレイを画定する波形の前面および平坦な裏面を有する透明板によって形成されている。レンズアレイ１８を形成するプレートは、シリンドリカルレンズ２８の頂部で測定される全厚ｄ３を有する。

いくつかの放射線３０は、ＴＦＴ層２２における種々の薄膜トランジスタ（ＴＦＴｓ）から放射される光線を表しており、それらは、スクリーンを見る使用者すなわち観察者の理想的な位置を象徴する点Ｕに最終的に集まる前に、透明カバー２４およびレンズアレイ１８で屈折する。放射線３０のそれぞれは、レンズ２８の一つの頂部を通過する。従って、光線３０がＴＦＴ層２２の面（物体面ο）で発生している点は、点Ｕに置かれる源から照明されるときの、シリンドリカルレンズ２８の頂線の投影であると考えられ得る。

図３は簡易化してあるが同等の図を示している。図３では、カバー２４、空隙２６およびレンズアレイ１８の異なる屈折率ｎ１、ｎ２およびｎ３のそれぞれは無視されているが、その代わりとして、物体面οがレンズアレイ１８に近づけられ、その結果ここでは一直線の放射線３０は、図２の位置と全く同じ位置で、物体面οに達する。図３に示す同等の図は、シリンドリカルレンズの像面湾曲の影響を無視するのであれば、実際の状況にかなり近似している。実際には、点Ｕ（すなわち使用者の位置）とスクリーンの間の距離は、図２または図３よりも非常に大きいであろうから、像面湾曲の影響が、図２および図３から予期されるであろうほど著しくないであろうという状況で観察されるはずである。

各シリンドリカルレンズの頂線を通過する面ｐは、レンズアレイの主平面と呼ばれるであろう。物体面οと主平面ｐの間の（仮想の）対物距離ａは、カバー２４、空隙２６およびレンズアレイ２８の屈折率および厚さに、次の式で関係している。

図３は、使用者の左眼および右眼３２、３４も示しており、使用者の理想的な位置を表す点Ｕが、眼３２および３４を結ぶ線の中央の点として定義されることを示している。さらに図３は、物体面ο（薄膜トランジスタの面に対応する）で放射されるいくつかの光線３６、３８、４０、４２が、レンズアレイ１８のレンズによって屈折されて、次いで使用者の眼３２、３４に向かって伝播するかまたは、使用者の眼３２、３４を通り過ぎて伝播することを示している。放射線３０はレンズの中央を通過するので、レンズで屈折されていないが、光線３６〜４２はシリンドリカルレンズの湾曲した表面で屈折されている（かつ集光もされる）。光線３６は非常に屈折されているので、使用者の左眼３２に達する。同様に、光線３８は非常に屈折されているので、使用者の右眼３４に達する。対照的に、光線４０は、その関連するレンズの中央を通過するので、屈折されずに集光だけされて、使用者の眼のちょうど間である点Ｕに達する。従って、この光線およびスクリーン上の関連するピクセルは使用者には見えない。同様に、光線４２は非常に強く屈折されているので、使用者の左眼の近傍を通り過ぎ、その結果、この光線および関連するピクセルのどちらも使用者には見えない。従って、物体面οに表示される画像は、使用者の左眼３２のみに見える縦縞すなわちセグメントに、使用者の右眼３４のみに見えるセグメントと交互に細分されて、これらのセグメントは、通常は、完全に見ることができない「不可視ゾーン」によって分離されることが理解されるであろう。具体的には、光線４０に対応するゾーンは、左眼３２に関連するセグメント、つまり左チャネルの画像情報を、右眼３４および右チャネルに関連するセグメントから分離する。

レンズアレイ１８のこの特性は、主平面ｐを、左チャネルゾーン４６（図４において白で示されている）と右チャネルゾーン４８（黒で示されている）とに分割するチャネルマスク４４によって表わされる。シリンドリカルレンズの頂線は、左チャネルゾーン４６から右チャネルゾーン４８への第１の種類の遷移を形成する。

レンズアレイは周期的であるので、第２の種類の遷移は、レンズアレイ１８の隣接するシリンドリカルレンズ間の境界に一致して、第１の種類の遷移の中間に形成される。光線４２などの光線が左チャネルゾーン４６を通過するという事実は、この光線が実際に見えることを必ずしも意味するのではなく、この光線が、使用者の右眼よりも左眼に近づくことを意味するに過ぎない。右眼３４に関する右チャネルゾーンにも、同じことがいえる。

図３にさらに示すように、投影中心としての位置Ｕを用いて、チャネルマスク４４を物体面οに投影することができる。これは、投影右チャネルゾーンすなわち右チャネルセグメント５４と、投影左チャネルゾーンすなわち左チャネルセグメント５２を含む、投影チャネルマスク５０をもたらす。物体面ο（つまりスクリーンのＴＦＴ層２２）のピクセルが、左チャネルセグメント５２の範囲内にあるときは、左チャネルと関連している、すなわち相関している。また、ピクセルが、右チャネルセグメント５４の範囲内にあるときは、右チャネルと関連している、すなわち相関している。従って、スクリーン上の各ピクセルについて、ピクセルがどのチャネルに属するのか、すなわち、ピクセルを少しでも見ることができるならば、どちらの眼でピクセルを見るのかまたは見るであろうかを決定できる。

使用者からスクリーンまでの距離は、第１の種類の遷移における不可視ゾーンと第２の種類の遷移における不可視ゾーンとが等しい幅を有するときに最適であると考えられる。使用者がスクリーンからさらに後退する場合、発散光線４０が使用者の両眼３２、３４に達するちょうどその時に、第１の種類の不可視ゾーンは縮小し、最終的には消滅するであろう。反対に、使用者がスクリーンに近づく場合、第２の種類の不可視ゾーン（光線４２に象徴されるように）は縮小し、最終的に消滅するであろう。一方の種類の不可視ゾーンが消滅する場合、左チャネルと右チャネルはもはや完全に分離されていない。すなわち、いくつかのピクセルまたはその一部分が両眼で見える。

使用者が、図３において左または右に移動する場合、投影チャネルマスク５０は反対方向に移動するであろう。しかし、これは、スクリーン上に表示される画像を同じ量だけ移動させることによって補正することができる。ヘッドトラッキングシステムまたはアイトラッキングシステムが存在しないならば、画像は、もちろん好ましくは、スクリーン中央の真正面に位置する使用者が最適に観察することができるような位置に表示されるであろう。

さらに図３に示すように、投影チャネルマスク５０は、チャネルマスク４４と比較して拡大されている。しかしこの拡大は、投影が原因に過ぎず（すなわち放射線３０の発散）、個々のシリンドリカルレンズの拡大特性に関係していない。

図４に示すように、レンズアレイ１８のシリンドリカルレンズ２８は、厳密には鉛直に配置されていないが、スクリーンの鉛直なピクセルコラムと、所定の角αを成す。本発明に記載の方法は、任意の所望の角αを扱うことができる。角αの好ましい選択は、

である。

図４はさらに、３つの異なる座標系を示している。３つの異なる座標系は、その起点をスクリーン１６の左上角に有する軸ＳＣＳxおよび軸ＳＣＳｙを含む、スクリーン座標系（ＳＣＳ）と、その起点がスクリーンの中央である軸ＤＣＳｘおよび軸ＤＣＳｙを含む、ディスプレイ座標系（ＤＣＳ）と、その起点が同様にスクリーンの中央である軸ＵＣＳｘおよび軸ＵＣＳｙを含む、使用者座標系（ＵＣＳ）である。ディスプレイ座標系ＤＣＳおよび使用者座標系ＵＣＳは、図４の図面の面に垂直であるｚ軸を有する三次元座標系である。それらの起点は、主平面ｐに位置する。

図５は、主平面ｐおよび物体面οの斜視図であり、ディスプレイ座標系のｚ軸ＤＣＳｚも示している。さらに、この図は、ＵＣＳの起点から使用者の位置（すなわち図３の点Ｕ）までを示す位置ベクトルＶを示している。ここでチャネルマスクは、正方形Ｃで表わされており、投影チャネルマスクは、物体面οにおける正方形Ｋで表わされている。正方形Ｃおよび正方形Ｋの側面が、シリンドリカルレンズ２８の長手方向、つまり軸ＤＣＳｙに平行であることが理解されるであろう。図５におけるベクトルＷは、物体面οへのベクトルＶの投影である。

スクリーン座標系ＳＣＳの固有の長さ単位はピクセルであろう。そして、使用者座標系ＵＣＳの長さ単位は、ｍｍ（ミリメートル）などのメートル単位であろう。しかし、ディスプレイ座標系ＤＣＳにおいては、長さ単位は、レンズアレイ１８の個々のレンズ２８の幅と定義される単位ｂである。

チャネルマスクが、投影中心としての点Ｕを用いて、物体面οに投影されると、スクリーン上の各ピクセルについて、それがどのチャネルに属するのかを決めることが可能である。まず、簡潔にするために、スクリーンが、黒（０）と白（２５５）の間の任意のグレースケールと想定され得る正方画素を有する、白黒スクリーンであるものとする。もしピクセルが完全に存在するのであれば（すなわち、左チャネルセグメント５２の１つに４つの角全てを有する）、ピクセルは左チャネルと関連するであろう（すなわち、ピクセルは左チャネルとの相関１を有する）。反対に、ピクセルが完全に右チャネルセグメント５４の１つの範囲内にあるときは、ピクセルは右チャネルとの相関１を有するであろう（結果的に左チャネルとの相関０を有するであろう）。

図６および図７は、ピクセル５６またはピクセル５８が、左チャネルセグメント５２と右チャネルセグメント５４の間の境界線６０と重なる場合を図示している。これは直接的なやり方で調べることができ、例えば、境界線６０に相対するピクセルの４つの角のそれぞれの位置を確認することによって、または、境界線からピクセルの中央までの距離を求めることによって調べることができる。例えば、図５の正方形Ｃを正方形Ｋに伝える投影を、ディスプレイ座標系ＤＣＳに適用するときに新しい座標系が得られる。新しい座標系は、物体面οにｘ軸およびｙ軸を有し、且つ、長さ単位として、拡大率（Ｖ_ｚ+ａ）／Ｖ_ｚ（Ｖ_ｚ＝図５のベクトルＶのｚ成分）を乗じるレンズ幅ｂを有する。そのとき、この座標系では、第１の種類のチャネル遷移における境界線６０は、ｘ座標が整数であるという条件を満たし、第２の種類のチャネル遷移に属する境界線は、ｘ座標が１／２を加えた整数であるという条件を満たすであろう。従って、ピクセルの座標をその座標系に示す場合に、その２種類のいずれかの境界線からピクセルの中央までの距離を、容易に求めることができる。もちろんこの手順は、ピクセルを主平面ｐに投影し、次いでその位置をディスプレイ座標系に示すことによって反転されてもよい。

好ましい実施形態において、ピクセルは、横線幅６２を検査することでチャネルと相関する。横線幅６２は、ピクセル幅を有し、ピクセルの中央を通過する。図６に示す実施例では、ピクセル５６は、ほとんど完全にセグメント５４の範囲内に位置しており、セグメント５２をわずかに擦っている。その結果、線幅６２はやはり完全にセグメント５４に含まれる。従って、ピクセル５６は右チャネルと相関１を有すると判断されるであろう。

図７に示すより一般的な場合では、境界線６０が、線幅を２つの部分６２ａと６２ｂに分割する。そして、ピクセル５８の各チャネルとの相関は、線幅６２の全長で割られた、対応する部分６２ａまたは６２ｂの長さによって与えられる。代替としては、例えば、ピクセル５８の右チャネルとの相関は、ピクセルの全領域で割られた右チャネルセグメント５４と重なる、ピクセルの部分領域によって与えられるであろう。

ピクセルの２つのチャネルとの相関が求められると、タスクは、関連する画像情報を、図１に示すテクスチャマップＬおよび／またはテクスチャマップＲからフェッチすることである。しかしこの目的を達成するためには、レンズアレイ１８の光学効果を考慮しなければならないため、テクスチャマップまたはその好適な部分を、主平面ｐにマッピングし、次いで物体面οに投影するには十分ではない。

レンズアレイ１８の効果の１つは、各ピクセルが、使用者によって見られるときに、軸ＤＣＳxの方向に拡大しているように見えることである。拡大率は、レンズの円筒状の曲率によって求められる。一例として、ここでは、拡大率は３であるものとする。さらに、代表例として、考慮中のピクセルが、完全に右チャネルに属するものとする。そのとき、使用者が、考慮中のピクセルから知覚する画像情報は、同率（すなわち３で）で拡大されたテクスチャマップＲの領域に対応しなければならない。さらに、ピクセルは、ピクセルの側面と平行でない軸ＤＣＳｘの方向に拡大または伸長するであろう。従って、図８に示すように、ピクセル６４の領域に対応するテクスチャマップＲの領域は、偏菱形６６の形状を有する。偏菱形６６は、ピクセル６４を角αだけ回転させ、それを３倍の倍率でｘ方向に伸長させ、次いでそれを角−αだけ逆回転させることによって得られる。この変換は、スクリーン１６上の任意のピクセルについても同じであろう。従って、対応する計算は、一度だけ行う必要がある。

図３の光線３６〜４２で図示するように、レンズアレイ１８は（ピクセルの中点が光線３０の１つに位置しない限り）、物体面οのピクセルの位置を移動するというさらなる効果を有する。この効果を図９に図示する。ピクセル６４から放射した光線６８は、レンズアレイ１８によって（主平面ｐで）集光かつ屈折され、このことが、拡大し変位したピクセルの仮想画像６４’を生じさせる。距離Δは、ピクセルの変位が生じないであろう境界線６０からピクセル６４（の中心）までのオフセットである。このオフセットは、ピクセル６４が属するチャネルを決めるのに関連して、すでに計算されている。レンズの拡大特性は、β（＝３）の倍率でこのオフセットを拡大する。その結果、ピクセルが変位されるようである距離Ｎが、Ｎ＝Δ（β−１）で与えられる。

従って、ピクセル６４に関連する画像情報を、テクスチャマップＲからフェッチするための手順は、ピクセル６４の中央位置に対応する、テクスチャマップＲにおける位置（適切なテクスチャ座標系に示される）を識別するステップと、偏菱形６６の中心が、識別された位置と一致するようにテクスチャマップに配置するステップと、偏菱形６６を軸ＤＣＳｘに平行な方向に、距離Ｎだけ移動させる（この変位の跡は、ピクセル６４が位置する境界線６０の辺に依存する）ステップとを含む。

このことは図１０に図示されており、そこでは、ピクセル６４および境界線６０がテクスチャ座標系にマッピングされている。この図によると、ピクセルの関連領域が、β＝１のテクスチャマップにおいて、正方形６４で示される領域を対象にする一方で、偏菱形６６は、ピクセルに関連する領域の位置を、例えばβ＝３で反射するであろう。

テクスチャマップの境界線の画像は、「ベータ」の値に影響されない。

次いで、理想的には、スクリーン１６のピクセル６４に表示される画像情報（階調レベル）は、図１０の偏菱形６６に含まれる画像情報を平均化することによって得られるであろう。しかし実際には、テクスチャマップＲも解像度に限界があるので、この平均化処理は正確でないであろう。従って、バイリニアフィルタリングまたはトライリニアフィルタリングなどの、好適なサンプリングまたはフィルタリング技術を適用して、より正確にピクセルの内容を求めてもよい。

ピクセルがテクスチャマップＬおよびＲの両方と相関する場合は、それぞれの相関に比例して、テクスチャマップＬおよびＲ両方の対応領域の内容を融合することによって、そのピクセルに表示される内容を決定する。このことは、１つの特定のチャネルにおける画像を考慮する場合、ピクセルの内容が「誤った」チャネルの内容によっても影響されているので、ピクセルの内容は完全に正確ではないかもしれないことを意味する。このことは、第１の種類の境界線６０の１つまたは第２の種類の境界線の１つに位置するピクセルに限り（すなわち、通常は見えないピクセル）当てはまることに注意されたい。これらのピクセルは、使用者が比較的大きい横方向への動きを行うか、スクリーンの非常に近くに移動するか、スクリーンから非常に遠くに移動する場合に限り、見えるようになるであろう。そのような場合には、遷移は滑らかにされ、かつ、これらのピクセルの内容を融合することによって生じる可視異常は、ピクセルが２つのチャネルの１つに完全に割り当てられていたら見られたであろう影響ほど、妨げにならないであろう。このことは、特に、レンズアレイ１８が比較的精巧である（すなわちレンズ幅ｂが比較的小さい）場合において、システムの性能および頑強性を向上させるであろう。最適な観察距離が与えられる場合では対物距離ａもまた小さくなるので、その結果、スクリーンおよびレンズアレイの配置をよりコンパクトにすることができるという利点を、小さいレンズ幅ｂは有する。

もちろん、境界線上の各ピクセルでも、２つの相関のどちらがより大きいかに依存して、左チャネルまたは右チャネルのいずれかに完全に割り当てるという改変した実施形態を実施することは可能である。

スクリーン１６が標準のカラースクリーンである場合は、各ピクセルは、図１１に示すように、３つの長方形のサブピクセル７０、７２、７４に細分されるであろう。そして、これらの各サブピクセルは、基本色の赤色、緑色および青色（ｒｇｂ）のうちの１つで、薄膜トランジスタ（ＴＦＴ）によって形成されるであろう。このようなカラーピクセルを左チャネルおよび右チャネルに相関させる手順は、図６および図７と共に説明された手順に類似しているが、ここではこの手順は、サブピクセル７０、７２および７４のそれぞれ個別に行われる。図１１に示す実施例において、赤色サブピクセル７０は、このように、完全に左チャネルと相関し、ピクセル７２は主に左チャネルと相関し、一方青色ピクセル７４は、主に右チャネルと相関するであろう。ピクセル全体が白色であるべき場合に、例えば、左チャネルで見られる場合には、青色サブピクセル７４は、ほとんど貢献しないかまたは見えないままでさえあるかもしれないため、ピクセルは実際には黄色に見えるであろう。よって、これはある種の色欠陥を意味する。しかし、境界線６０は傾斜しているので、その色欠陥は種々のピクセルラインによって異なるであろう。その欠陥は実質的に平均化されるので、その結果、境界線のピクセルが見えるようになるときでさえ、著しい色層（カラーシーム）は生じないであろう。追加の対策としては、青色ピクセル７４が「抜けている」ことによって生じる誤差（エラー）を、近傍のピクセルに拡散させてもよい。例えば、青色ピクセル７４が完全に右チャネルに属する場合に割り当てられるべき強度を、隣接する青色ピクセル７６の強度に加えることができるので、その結果、ピクセル７６、７０および７２によって形成されるトリプレットの全体の色印象は、この場合においても、白である。

サブピクセルは、それらがチャネルと相関しているときは個別に扱われるが、３つのサブピクセルからなるカラーピクセル全体は、画像情報をテクスチャマップＬまたはＲからフェッチするときにユニットとして扱われるので、その結果、ピクセルは正しい色印象を与えるであろう。

上述した種々の座標系間の変換、並びに、チャネルマスクおよびテクスチャマップの物体面οへの投影を含む変換は、マトリックス乗算を用いて達成できることが理解されるであろう。例えば、単純な回転行列（角αについて）を、座標系ＵＣＳとＤＣＳの間の変換に用いてもよい。一部の変換は、例えばスクリーン座標系からの変換及びスクリーン座標への変換では、座標系の起点が一致しないので、平行移動も要する。従って、斉次４×４行列を用いるのが都合がいい。

このような４×４行列はまた、図３および図５と共に説明されているような、チャネルマスクの特徴点を物体面οに投影することに用いられるであろう。チャネルマスクの特徴点は、例えば、図５における正方形Ｃの頂点または境界線６０のそれぞれの対の点であってよい。投影に関係する拡大は、図３と共に説明されるように、行列によって与えられるであろう。

式中、ａは図３で定義される対物距離であり、Ｖ_ｚはベクトルＶのｚ座標である（図５）。

チャネルマスク４４に相対する投影マスク５０の移動は、行列によって与えられる。

ここで、Ｗ_ｘ＝（ａ＊Ｖ_ｘ／Ｖ_ｚ）、Ｗ_ｙ＝（ａ＊Ｖ_ｙ／Ｖ_ｚ）およびＷ_ｚ＝ａは、ベクトルＷのｘ成分、ｙ成分およびｚ成分である（Ｖ_ｘおよびＶ_ｙは、Ｖのｘ成分およびｚ成分である）。

行列Ｓと任意の同次（斉次）ベクトルＡ＝（Ａ_ｘ，Ａ_ｙ，Ａ_ｚ，１）の乗算は、長さによる変位の効果およびベクトルＷ方向への変位の効果を有し、ベクトル（Ａ_ｘ＋Ｗ_ｘ，Ａ_ｙ＋Ｗ_ｙ，Ａ_ｚ＋Ｗ_ｚ，１）をもたらす。

チャネルマスクの任意の特徴点の全体の投影は、行列Ｍと行列Ｓの積と、その点の座標ベクトルとを乗じることによって得られる。

スクリーン空間をテクスチャリングするプロセス、すなわち、ピクセルごとに関連する画像情報を、テクスチャマップＬまたはＲからフェッチするプロセスは、以下の方法でなされる。

我々は、スクリーン空間のピクセルごとに、このピクセル上にマッピングされるであろうテクスチャマップの関連領域が位置する場所を知る必要がある。一般に、「画像を含む長方形のビットマップ」として理解されるテクスチャは、その独自の２次元テクスチャ座標系（ＴＣＳ）を有し、そこでは、左上角はＴ１＝（０，０）と特定され、他の角は、時計回りの順に、Ｔ２＝（１,０）、Ｔ３＝（１，１）およびＴ４＝（０，１）である。このＴＣＳの空間は、テクスチャ空間とも呼ばれている。

我々はここで、２つのテクスチャＬおよびＲの角Ｔ１、Ｔ２、Ｔ３およびＴ４を、スクリーン１６の４つの頂点Ｄ１、Ｄ２、Ｄ３およびＤ４を用いて特定する。これは、テクスチャＬおよびＲが、テクスチャのマッピングされた画像が使用者によって見られることになる正にその場所に、スクリーン１６上で位置することになることを、我々が想定することを意味する。

ピクセルラインの数およびスクリーンのピクセル列に従って、テクスチャマップを細分することは、テクスチャ座標のテクスチャマップに、各ピクセルの中央位置を直接与える。

次いで行うことは、図９および図１０に示すように、角を含む偏菱形６６を、所望のピクセルの角に配置して、偏菱形の変位を、テクスチャ空間でベクトルＮだけ行うだけである。テクスチャフェッチに関して、我々は簡単に、テクスチャ空間の偏菱形の角を、スクリーン空間のピクセルの角を用いて特定でき、我々の好ましいサンプリング方法に従って、テクスチャの関連位置（「サンプルのフットポイント」）をピクセルにマッピングする。

結果として、各チャネルについて、使用者がスクリーン上で見るものは、スクリーンの前の主平面ｐに画像を形成されるテクスチャマップの内容であって、それが全てのピクセルの内容である。不可視ゾーンのピクセルでさえ正しい内容を有しているので、その結果、使用者がわずかに左または右に移動する場合に、スクリーン上の表示は変更されず、画像は妨害されないであろう。

図１２から図２２を参照して、本発明に記載の方法の効果を、右チャネルの画像の簡単な例と共に説明する。図１２に示すように、この画像は、語「ｒｉｇｈｔ」で構成されており、５つの隣接するシリンドリカルレンズに跨っている。それらの対応するセグメントは、ｎ−２、ｎ−１、ｎ、ｎ＋１およびｎ＋２である。中央のレンズｎの中心軸は、鎖線で示されている。矩形Ｐは、レンズｎの影響を受ける画像領域を示している。その矩形に含まれる情報は、使用者がスクリーンを直角に見る場合だけでなく、使用者が側方にずれた位置からスクリーンを見る場合においても、レンズｎを通して使用者に見えるであろう。そのためには、矩形Ｐに含まれる情報を、縮小した矩形Ｐ’に変換しなければならない。

このことは図１３に示しており、そこでは、矩形Ｐの元の画像を陰影で示し、矩形Ｐ’の変換画像を黒で示している。この変換は、図８および図１０に示すように変換されたテクスチャマップＲの領域から、各ピクセルの画像情報をフェッチした結果である。必要なパラメータが特定されると、これらのテクスチャ操作は、グラフィックカード１２によって自動的に実行される。

図１４は、セグメントｎ−１およびｎ＋１に関連する画像の対応する変換を示している。

図１５において、実際に使用者に見えるゾーン（最適な観察位置で）を白色の背景で示し、一方、不可視ゾーンを陰影付きの背景で示す。

図１６は、スクリーン１６のピクセル、もっと正確にいえば、サブピクセル構造を付加的に示している。各ピクセルの赤色サブピクセルは、点で印を付けられている。

図１７は、右チャネルで見えるゾーン（白色の背景）と共に、ピクセル構造を示している。図１７における陰影付きのピクセルは、不可視ゾーン、ならびに、左チャネルに確保されるセグメントであって、やはり右眼に見えないセグメントを含んでいる。図１８において、左チャネルと相関するピクセルを濃い陰影で示し、一方、右チャネルに属するが不可視ゾーンに位置するピクセルを、薄い陰影で示す。これらの見えないピクセルは、それでもなお、右チャネルの画像情報を有し、その結果、その情報が幾分重複していることが分かるであろう。例えば、文字「ｈ」の右足は、セグメントｎ＋１の中心ゾーンで見えて、セグメントｎ＋２の不可視ゾーンに再び示されている。

図１９は、使用者が頭を移動させ、その結果、可視ゾーンがそれぞれのセグメントの中心からずれている状況を図示している。ヘッドトラッキングシステムは、使用者のこの移動を検知して、それに従って、ピクセルの左チャネルおよび右チャネルとの相関を調節する。結果として、セグメントの境界線が移動して、その結果、これらの境界線近傍の不可視ゾーンにおけるピクセルの内容が変化する。このようにして、米国特許第６３０２５４１号に記載されているように、システムは、セグメントに跨る画像情報を「スクロール」することによって、使用者の移動に対応する。

最後に、図２０は、図１３から図１８に示す変換を反転させるレンズアレイ１８の光学効果を示しており、使用者の右眼で見える全体画像を、その元の形状で構成している。一方、スクリーンのサブピクセル構造は、ここでは拡大し歪んでいる。

Claims (10)

1. スクリーン（１６）上に画像を自動立体表示するための方法であって、使用者の右眼（３４）および左眼（３２）のための分離したチャネルの画像情報が、介在し合うセグメント（５２、５４）で前記スクリーン（１６）上に表示され、かつ、前記各チャネルの画像情報が、前記使用者の片方の眼のみに見えることができるように、レンズアレイ（１８）が、前記スクリーンから放射される光を屈折させるために配置される上記方法であって、
   前記レンズアレイ（１８）の光の屈折特性によって決定されるチャネルマスク（４４）を、前記レンズアレイ（１８）と固定された関係を有するディスプレイ座標系（ＤＣＳ）で定義するステップであって、前記チャンネルマスク（４４）は、前記レンズアレイ（１８）の主平面（Ｐ）を左チャンネルゾーン（４６）と右チャンネルゾーン（４８）とに分割するステップと、
   前記チャネルマスクを、投影中心としての前記使用者の位置（Ｕ）を用いた、前記レンズアレイ（１８）の前記主平面（ｐ）から前記スクリーンの物体面（ο）への前記チャネルマスク（４４）の投影に対応する座標変換にかけ、それによって、前記スクリーンの各ピクセルに、前記チャネルの少なくとも１つとの相関を割り当てるステップと、
   前記チャネルごとに、そのチャネルの前記画像情報を含むテクスチャマップ（Ｌ、Ｒ）を格納するステップと、
   前記スクリーンの各ピクセル（６４）を、前記テクスチャマップ（Ｌ、Ｒ）の少なくとも１つの関連領域（６６）に関連付ける座標変換を行うステップであって、前記変換は、前記レンズアレイ（１８）による前記ピクセルからの光の屈折を表すステップと、
   前記テクスチャマップ（Ｌ、Ｒ）との前記各ピクセル（６４）の前記相関およびこれらのテクスチャマップの少なくとも一つの前記関連領域（６６）の内容に基づいて、前記各ピクセル（６４）の内容を決定するステップであって、前記関連領域（６６）は、前記座標変換によってピクセル（６４）に関連付けられるステップとを含む方法。
2. 前記レンズアレイ（１８）が、前記レンズアレイのシリンドリカルレンズ（２８）の長手方向が、前記スクリーン（１６）の垂直軸（ＳＣＳｙ）に相対して角（α）で傾斜している位置で、前記スクリーン（１６）上に配置され、かつ、前記各ピクセルを前記テクスチャマップの１つの関連領域（６６）と関連付ける前記座標変換が、前記レンズアレイの前記傾斜角（α）だけ回転すること、および、これらのレンズの前記長手方向に垂直な方向への前記シリンドリカルレンズ（２８）の拡大効果に対応する、アフィン変換による一次変換を含む請求項１に記載の方法。
3. 前記使用者の前記位置（Ｕ）の変化を検知および追跡して、前記チャネルマスクの前記投影に対応する前記座標変換を、前記使用者の変化した位置に従って動的に変化させる、請求項１または請求項２に記載の方法。
4. 前記座標変換は、斉次（同次）行列の乗算で行われる請求項１〜３のいずれか一項に記載の方法。
5. 前記使用者の前記位置（Ｕ）の変化を検知および追跡して、前記チャネルマスクの前記投影に対応する前記座標変換を、前記使用者の変化した位置に従って動的に変化させ、前記チャネルマスクの投影に対応する前記座標変換が、定数行列と、前記使用者の前記位置（Ｕ）の前記変化の影響を反映する変数行列の積である行列によって定義される、請求項４に記載の方法。
6. 前記各ピクセルの内容を決定する前記ステップは、前記テクスチャマップ（Ｌ、Ｒ）の領域を、前記スクリーン上の前記セグメント（５２、５４）上にマッピングするテクスチャ手順を含む、請求項１〜５のいずれか一項に記載の方法。
7. 前記各ピクセルに、前記チャネルの少なくとも１つとの相関を割り当てる前記ステップは、２つのセグメント（５２、５４）間の境界線（６０）上のピクセル（５６、５８）を識別し、かつ、これらのピクセルに前記２つのチャネルそれぞれとの相関を割り当てるステップを含み、
   前記内容を決定する前記ステップは、これらのピクセルに適用される場合は、前記ピクセルに割り当てられた前記相関に従って、前記テクスチャマップ（Ｌ、Ｒ）両方の前記関連領域からの内容を融合するステップを含む、請求項１〜６のいずれか一項に記載の方法。
8. スクリーン（１６）上にカラー画像を表示する場合であって、そのピクセル（７８、８０）が種々のカラーのサブピクセル（７０、７２、７４）から構成される場合は、前記チャネルの少なくとも１つとの相関を割り当てる前記ステップは、サブピクセルそれぞれ個別に行われる、請求項１〜７のいずれか一項に記載の方法。
9. 画像を自動立体表示するためのシステムであって、
   スクリーン（１６）を有するモニタ（１４）と、
   前記スクリーン（１６）の前に配置されるレンズアレイ（１８）と、
   コンピュータシステム（１０）と、
   前記コンピュータシステム（１０）で動くときに、前記コンピュータシステム（１０）に方法を行わせるプログラムコードを含み、
   前記方法は、
   前記スクリーン（１６）上に画像を自動立体表示するための方法であって、使用者の右眼（３４）および左眼（３２）のための分離したチャネルの画像情報が、介在し合うセグメント（５２、５４）で前記スクリーン（１６）上に表示され、かつ、前記レンズアレイ（１８）が、前記スクリーン（１６）から放射される光を屈折させ、前記各チャネルの画像情報が、前記使用者の片方の眼のみに見えることができる前記方法であって、
   前記レンズアレイ（１８）の光の屈折特性によって決定されるチャネルマスク（４４）を、前記レンズアレイ（１８）と固定された関係を有するディスプレイ座標系（ＤＣＳ）で定義するステップであって、前記チャンネルマスク（４４）は、前記レンズアレイ（１８）の主平面Pを左チャンネルゾーン（４６）と右チャンネルゾーン（４８）とに分割するステップと、
   前記チャネルマスクを、投影中心としての前記使用者の位置（Ｕ）を用いた、前記レンズアレイ（１８）の前記主平面（ｐ）から前記スクリーンの物体面（ο）への前記チャネルマスク（４４）の投影に対応する第１の座標変換にかけ、それによって、前記スクリーンの各ピクセルに、前記チャネルの少なくとも１つとの相関を割り当てるステップと、
   前記チャネルごとに、そのチャネルの前記画像情報を含む、前記コンピュータのメモリに格納されたテクスチャマップ（Ｌ、Ｒ）を格納するステップと、
   前記スクリーンの各ピクセル（６４）を、前記テクスチャマップ（Ｌ、Ｒ）の少なくとも１つの関連領域（６６）に関連付ける第２の座標変換を行うステップであって、前記第２の座標変換は、前記レンズアレイ（１８）による前記ピクセルからの光の屈折を表すステップと、
   前記テクスチャマップ（Ｌ、Ｒ）との前記各ピクセル（６４）の前記相関およびこれらのテクスチャマップの少なくとも一つの前記関連領域（６６）の内容に基づいて、前記各ピクセル（６４）の内容を決定するステップであって、前記関連領域（６６）は、前記座標変換によってピクセル（６４）に関連付けられるステップとを含む、システム。
10. 画像の自動立体表示のためのソフトウェア製品であって、
    コンピュータ可読媒体に格納され、
    スクリーン（１６）を有し、且つ該スクリーン（１６）の前にレンズアレイ（１８）を備えたモニタ（１４）に接続されるコンピュータで動くときに、前記コンピュータに、方法を行わせるプログラムコードを備え、
    前記方法は、
    前記スクリーン（１６）上に画像を自動立体表示するための方法であって、使用者の右眼（３４）および左眼（３２）のための分離したチャネルの画像情報が、介在し合うセグメント（５２、５４）で前記スクリーン（１６）上に表示され、かつ、前記レンズアレイ（１８）が、前記スクリーン（１６）から放射される光を屈折させ、前記各チャネルの画像情報が、前記使用者の片方の眼のみに見えることができる前記方法であって、
    前記レンズアレイ（１８）の光の屈折特性によって決定されるチャネルマスク（４４）を、前記レンズアレイ（１８）と固定された関係を有するディスプレイ座標系（ＤＣＳ）で定義するステップであって、前記チャンネルマスク（４４）は、前記レンズアレイ（１８）の主平面Pを左チャンネルゾーン（４６）と右チャンネルゾーン（４８）とに分割するステップと、
    前記チャネルマスクを、投影中心としての前記使用者の位置（Ｕ）を用いた、前記レンズアレイ（１８）の前記主平面（ｐ）から前記スクリーンの物体面（ο）への前記チャネルマスク（４４）の投影に対応する第１の座標変換にかけ、それによって、前記スクリーンの各ピクセルに、前記チャネルの少なくとも１つとの相関を割り当てるステップと、
    前記チャネルごとに、そのチャネルの前記画像情報を含む、前記コンピュータのメモリに格納されたテクスチャマップ（Ｌ、Ｒ）を格納するステップと、
    前記スクリーンの各ピクセル（６４）を、前記テクスチャマップ（Ｌ、Ｒ）の少なくとも１つの関連領域（６６）に関連付ける第２の座標変換を行うステップであって、前記第２の座標変換は、前記レンズアレイ（１８）による前記ピクセルからの光の屈折を表すステップと、
    前記テクスチャマップ（Ｌ、Ｒ）との前記各ピクセル（６４）の前記相関およびこれらのテクスチャマップの少なくとも一つの前記関連領域（６６）の内容に基づいて、前記各ピクセル（６４）の内容を決定するステップであって、前記関連領域（６６）は、前記座標変換によってピクセル（６４）に関連付けられるステップとを含む、ソフトウェア製品。

Images