JP5070198B2 - 自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法 - Google Patents

Description

（関連出願）
本出願は、２００５年３月２６日に出願の名称「自動立体視映像交互配置用タイル形式ビューマップ」の米国暫定特許出願第６０／６６５，５９７号に係わる優先権を主張するものである。

本発明は、自動立体視映像ディスプレイシステムに関し、特に、コンポーネントをタイル形式に配置したビューマップを使用して自動立体視映像ディスプレイシステム向けにハードウェアベースの映像交互配置を行う方法に関する。

ステレオグラフィックスシンサグラム（StereoGraphics SynthaGram）（商標）は、図１に示されるようなディスプレイ表面に（普通、斜めに）レンチキュラ要素のアレイを装着して使用する自動立体視映像形成製品である。ウィンネク(Winnek)の米国特許第３，４０９，３５１号には、その斜め配置、すなわち、レンチキュラの軸をディスプレイの垂直端に対してある角度で傾かせるプロセスが記載されている。ステレオグラフィックスシンサグラム（StereoGraphics SynthaGram）（商標）に含まれる特別なソフトウェアでは、多重映像画像情報が、交互配置マッピング技法を用いて適切に配列されているので、当該ディスプレイを見ると、人は左目で左目映像の一つを見て、右目で右目映像の一つを見るようになる。この結果、特殊な眼鏡、鏡、または眼に装着して使用する他の立体視選択装置を使用する必要なく、映像を立体視する経験が得られる。

普通、ステレオグラフィックスシンサグラム（StereoGraphics SynthaGram）（商標）では、約９個の相異なるソース映像画像が提供され、各ソース映像画像は相異なる視点から得られたものを示し、これらを合成すると、自動的に立体視される映像シーンが得られる。これらのソース映像画像は、写真をソースとしたものでも、コンピュータグラフィックスをソースとしたものでもよく、また、事前に調製したものでも、またはリアルタイム（ディスプレイと実質的に同時）に得られるものでもよい。映像の数は、９個より多くとも少なくとも一般性は失われない。

映像の交互配置に使用されるステレオグラフィックスシンサグラム（StereoGraphics SynthaGram）（商標）アルゴリズムは、インタージグ（Interzig；ジグザグ配置）と称され、これら二つの用語は、本開示では双方とも交換可能であり、同じ意味で使用される。画像交互配置プロセスは、先ず相異なるソース映像画像すべてからサブピクセル（サブピクセルとは、単一ピクセルの赤、緑、または青のコンポーネントのこと）を抽出し、次いでこれらのサブピクセルを適切に配列し、その結果として交互配置された画像を得るものである。例えば、ある特定のソース映像画像のサブピクセルは、そのサブピクセルが画像を視ている人の特定の視野ゾーンに対応するレンチキュラアレイの微小レンズ部分の下に現出すれば、インタージグされた画像にコピー可能となるのである。

前記画像交互配置プロセスは、光学ディスプレイの特性を理解した上でサブピクセルのマッピングを実行する。これら特性には、見る人と交互配置された画像との間の視距離は勿論のこと、レンチキュラアレイの物理的配置（ピッチ、傾き、オフセット）が含まれる。

最後に、インタージグされたサブピクセルデータがディスプレイ装置の実際のサブピクセルに送られ、さらにレンチキュラ微小レンズアレイを通過し、その結果、映像を自動的に立体視する経験が得られる。

インタージグを実施するプロセスを加速するため、本発明のシステムは、ビューマップを作成し得る。前記ビューマップは、最終映像画像に現出する所与のサブピクセルに対するソースとして使用される具体的なソース映像画像を示ようにエンコードされる。そのようなビューマップの一例が、図３に示される。画像交互配置プロセスでは、従って、ソース映像画像、例えば、９個のソース映像画像が取り出され、これらを単一のビューマップにマッピングすることによって、画像交互配置プロセスを加速する。事前に計算されたビューマップを備えれば、どのソース映像画像を最終画像の所要のサブピクセルに使用すべきかを繰り返して計算する面倒さと計算時間とが節約される。一旦ソース映像画像が、図３に示されるようなビューマップをルックアップテーブルとして使用することによって、決定されてしまえば、本発明のシステムは、ビューマップ値が指し示すソース映像画像に属する適切な画像マップ位置にあるピクセルのカラー要素値に基づいて特定のサブピクセルの強度を決定し得る。

ビューマップは、ピクセルマスキング法を含む別の相異なる実施方法を使用しても効率的に適用し得る。この場合、ビューマップは、ソース映像画像をフィルタ処理する一組のバイナリ形式マスクとピクセルを生成し、ピクセル毎計算が、グラフィックス装置のテクスチャに記憶されたビューマップを参照することによって、急速に実行される。

上記のような高速アルゴリズムを使用してさえ、極めて大きいビューマップを使用すると、性能にペナルティが課されことが起こり得る。上記のように、前記ビューマップは、作成される最終画像のフルサイズに対応する（また、より大きなセグメントのビデオメモリを占拠することもあり得る）。ビューマップと、恐らくそのビューマップが作成するバイナリ形式マスクとが、より小さくなり得るならば、本システムで必要とされるグラフィックスメモリが小さくなり、処理速度に係わる相当程度の便益が実現し得ることになる。処理速度に係わる便益は、一般に、限定的テクスチャメモリ内外でテクスチャを交換する時間が減少することから生ずる。適用次第であるが、追加的テクスチャは、ビジュアル効果（表面パターン）を得るのに使用し得る。ビューマップテクスチャは、これらの他のテクスチャと競合してメモリ空間を占める。例えば、３８４０×２４００ピクセルのフルスクリーンサイズに対して作成される最終画像は、グラフィックス装置が２乗サイズという制約を有する場合、４０９６×４０９６のサイズの極めて大きなビューマップを必要とする。

本発明の設計が求めることは、ビューマップ性能の問題と処理時間から生じるペナルティとを解決し、装置のスループットを増大するとともに、得られた自動立体視映像画像を見る人の楽しみを増やすことである。より効率的な方法で自動立体視ディスプレイのシステム内にビューマップを採用する設計、特に、以前に利用可能のものを超えた便益をもたらす設計を提供することは、有利なことであろう。

本発明の態様の一つに基づけば、自動立体視ソース映像画像の縮小サイズのビューマップを作成する方法が開示される。本方法は、ソース映像画像の値と始点ピクセルを含む複数のピクセル位置とから成る第一ビューマップに自動立体視ソース映像画像をマッピングする数学モデルを作成するステップと、前記第一ビューマップに前記自動立体視ソース映像画像をマッピングするステップと、前記第一ビューマップを走査してソース映像画像の値が始点ピクセルの値と近接的にマッチングする少なくとも一つのピクセル位置を得るステップと、マッチングされたピクセル位置を前記第一ビューマップ内に再生することによって縮小サイズのビューマップを作成するステップとを備える。

本発明のこれらと他の利点は、本発明の以下の詳細な説明と添付の図面とから当業者には明白となろう。

本開示は、レンチキュラ光学スクリーンを使用して視られる自動立体視画像に必要なソース映像画像を数学的に交互配置、すなわち、インタージグする方法をカバーする。図１は、レンチキュラ方式スクリーンが装着されたそのようなディスプレイを示す。ディスプレイ装置１０１は、フラットパネル型ディスプレイ装置であり、一方、スクリーン１０２は、微小レンズのアレイを備えるレンチキュラ方式スクリーンである。スクリーン１０２は、ユーザまたは見る人の視野ゾーンの相異なるセグメントに自動立体視映像の相異なるコンポーネントを導くためにディスプレイ表面上に設置される。

図２は、ディスプレイ装置１０１のサブピクセルを覆うある一つの具体的なレンチクルの輪郭を示す。レンチクル２０１は、微小レンズアレイの中の一つのレンチクルである。ここでは、レンズ要素はスクリーンから面が外に凸であるが、別には、面が内に凹のものでもよい。サブピクセル２０２は、装置を構成するサブピクセルを表し、各サブピクセルは、１ドットの光を発する。現在製作されているフラットパネル型ディスプレイでは、これらの１ドット光を発する装置サブピクセルは各々、赤（Ｒ）、緑）Ｇ）、または青（Ｂ）のいずれか一つの情報を備える。ここで、サブピクセル２０２の本質的属性は、離散的で、しかも個々にアドレス可能な光のドットを表すものということであり、特に赤、緑、青であるということではない。将来のディスプレイは、例えば、多色カラーのドット要素のような相異なる種類のカラーまたは光の情報を伝えるディスプレイドット要素を配列し得るからである。領域２０３は、各レンチクルが９個のサブ領域に分割されている（この例では、自動立体視映像画像が９個のソース映像画像を使用するということを仮定する）ことを示す。ここでは、０〜８の番号が付けられ、適切なレンチクルサブ領域下に表され得るソース映像画像に対応している。例えば、真ん中のソース映像画像は、番号４で示され、そのデータは、レンチクルの真ん中のサブ領域の真下に配置されるのが好ましい。

上記のように、本発明のシステムは、ソース映像画像のマップとして事前に計算されたビューマップを使用し、これをどのような所与のサブピクセルに対しても使用する。このビューマップをガイドとして実施される画像交互配置は、使用される特定のソース映像画像について繰り返し計算を行うことに基づく画像交互配置プロセスの場合に比較して、はるかに急速、かつ効率的に行われる。

図３は、そのようなビューマップの例を示す。領域３０１は、ビューマップが数のアレイであることを示す。単一ピクセル３０２は、ビューマップアレイの一部を示し、単一のピクセルを示す。同ピクセルは、この配置では３個のサブピクセルを備え、各サブピクセルはディスプレイ装置上のアドレス可能の離散的光点を示す。図示の装置では、サブピクセルのセットは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各サブピクセルから成る。赤サブピクセル３０３は、特定の赤（Ｒ）サブピクセルのビューマップにおける位置を表す。ビューマップのこのメンバーに含まれている値は、たまたま０であるとし得るが、これは、対応する装置サブピクセルが、対応するソース映像画像＃０からのグラフィック情報を含んでいなければならないということを示す。

実際には、この実施例の赤サブピクセル３０３に附随する値である０は、近似値、すなわち、その特定のサブピクセル位置の実際のソース映像画像の値の丸められた値のこともある。例えば、実際のソース映像画像の値は０．２５であるかも知れない。すなわち、対応する装置サブピクセルは、理想的には、そのグラフィック情報をソース映像画像＃０からソース映像画像＃１までの間の１／４のところのソース映像画像から取得する必要があることを意味しているかも知れない。ソース映像画像＃０とソース映像画像＃１との間にはソース映像画像が存在しないので、サブピクセル位置に対するソース映像画像値は、０．２５という実際の値から整数の０に必然的に丸められなければならない。

本設計は、向上した効率的タイル形式ビューマップ法をベースとし、マッピングされる最終の交互配置画像よりも格段に小さなサイズのビューマップに対する必要性に対処するものである。ビューマップは、フルサイズの画像よりも小さいので、最終画像の相異なるタイル、すなわち、部分に対して再使用できる。

必要とされる映像を効果的にマッピングする、より小さなサイズのビューマップを作成するには、ある一つのビューマップ、すなわち、第一ビューマップを作成するのに使用される数学モデルを取得するステップと、そのビューマップを走査してソース映像画像の値が始点ピクセルの値と近接的にマッチングするピクセル位置を得るステップとが必要がある。注記したいことは、前記ソース映像画像の値は、ここでは正確な値を示すものであって、ビューマップに記されることになるこの値の丸められた整数バージョンではないことである。ビューマップを生成するのに使用される数学モデルは、オフセット値のアレイから成る。普通、９個のソース映像画像が採用されるが、他の個数のソース映像画像も使用し得る。９個のソース映像画像の場合、最終のビューマップには、９個のソース映像画像の内の１個を指し示すサブピクセル各々が、レンチキュラ光学エレメントの下にあるそのサブピクセルの位置に基づいてマッピングされる。そのようなマッピングは、普通、ピクセルをディスプレイする最良の位置の近似に基づいているので、レンチキュラを通して見ると、見る人にはそのマッピングによって最適な映像視条件が得られる。例えば、ある特定のサブピクセル位置の計算で、４．３２７８というソース映像画像値が必要であると仮定すると、この値は４に丸められ、サブピクセル位置は４という値を受け取ることになる。すなわち、これは、ソース映像画像＃４が、最終の交互配置された自動立体視映像画像でそのサブピクセルを表すのに使用されるということを意味する。

所与のサブピクセル位置に対するソース映像画像の値を計算するには、普通、マッピング計算が伴われる。この計算では、レンチキュラのピッチ、傾斜、位置、その他の物理的属性に関する既知の値を使用して、所与のレンチキュラ要素のどの部分が特定のサブピクセルのグリッドの特定の位置の上に存在するかどうかが正確に決定される。この計算を行う方法はたくさんある。幾つかの方法では、与えられた行とスクリーン全体の新しい行の各々に含まれる新しいピクセルの各々に対するオフセット値を繰り返し加算する計算が含まれ、他の方法では、事前に較正された定数値で位置値を乗算する計算が含まれる。重要なことは、どのようにマッピングを計算するかではなく、得られたビューマップが結果として、スクリーン上の全範囲のサブピクセル位置上にレンチキュラ要素を位置合わせするように作成されるということである。上述したように、ビューマップ計算は、結果として丸められるのであるが、これは、実際の映像画像の数は、限定された数だけが利用可能であるということを反映しているのであって、このことは、ビューマップでは整数のソース映像画像値で示される。

最終の交互配置された画像よりも小さなサイズのビューマップを使用するため、本システムでは、９個のソース映像画像中に繰り返しパターンの位置が探索される。本システムにおける繰り返しパターンの位置の探索は、ソース映像画像を走査して、フルサイズのビューマップ内で、そのようなフルサイズのビューマップの始点近くに見出される数字パターンに近接的にマッチングするそのような繰り返しパターンを探索するステップで行われる。つまり、始点の（一番最初の）サブピクセルが１．３０００というソース映像画像値を有し、そして同じ行の（そして始点サブピクセルと同じカラー成分を示す）他の一つのサブピクセルが同様に１．３０００というソース映像画像値（またはその値に極めて近接した値）を有する場合、その第二サブピクセルからスタートするビューマップ情報は冗長になるわけである。このような状況では、そのサブピクセル位置までの（フルサイズより小さい）ビューマップ情報のコピーを再使用して、そのサブピクセルの箇所でスタートし得る。

注記したいのは、この点で採用されるソース映像画像の値、例えば、上記の例では１．３０００に関しては、本システムでは、丸められた整数値ではなく、正確なソース映像画像値が使用されるということである。

特定の軸（水平または垂直）に沿った最適なタイル寸法を見出すのに使用される一般アルゴリズムは、可能な誤差が最小となるようにその軸に沿って走査するステップを含む。上記の例では、誤差は１．３０００−１．３０００＝０．００００となる。換言すれば、誤差とは、ピクセル間、例えば、隣接するピクセル間の映像画像値間の差を表すものである。通常、誤差ゼロは達成されないし、そのような完全なことは必要でもない。さらに多くは、誤差の値は、小数点以下の小さな値となる。これらの小数点以下の小さな誤差値は、次いで誤差が繰り返して生じる回数だけ掛け算され、総合誤差値が決定される。他の例を用いてみよう。最終画像の水平ピクセルのサイズが１６００で、３００のタイル寸法をテストしている場合、そのタイルのサイズでは一回タイル作製する毎に０．０６の誤差値となると仮定する。この例の総合誤差は、実際に大略（１６００／３００×０．０６）、つまり、約０．３となる。目的は、総合誤差が、得られる画像のフル領域に対して最小限に抑えられるタイル寸法を得るように、走査することである。

水平と垂直とから成る二次元に対しては、長方形面積のタイル作製スキームには二種類の一般クラスが存在する。すなわち、行間に水平オフセットが存在しないグリッド型配置と、行間にある幅の水平オフセットが存在する「レンガ」型配置である。グリッド型配置は図４に示され、作成は最も簡単であり、使用にも最も簡単である。図４では、タイル４０１は、画像エリアの表現図の上部左側のコーナーにあるタイルである。領域４０２は、このタイルが図３のものと同様なビューマップを含み、タイルのコーナーに始点を有していることを示す。タイル４０３は、画像エリアにある別個のタイル例である。注記したいのは、このタイルの始点が、タイル４０１に使用されているのと全く同一のビューマップデータを有していることである（ソース映像画像値はすべて｛０，２，４，６，８，１．３，．．．｝である）。このタイル例は、前のタイルから離れて位置する水平オフセットを有する。タイル４０４は、更なる他の一つのタイル例であり、他の一つのタイルの直下に現れている。注記したいのは、図４のタイルのフルセットがグリッド配置を形成するということである。結果として、本システムは、多重の領域から成るスクリーン域を有し、これらの領域が集合してグリッドを形成するのである。

これらの領域はすべて、同一または極めて同様な対応するソース映像画像値を有する。この実質的同一性により、本システムは比較的小さなビューマップを使用して全スクリーンのこれら極めて多くのタイル領域のいずれをも示すことが可能となるのである。

グリッドのサイズを決定するということは、最適の水平タイル寸法を見出し、そして最適の垂直タイル寸法を見出すという問題である。ここで、最適とはその寸法に沿って総合誤差を最小限にすることを意味する。図５に示されるような、行の間に水平オフセットを備える「レンガ」型タイル配置の利点は、タイル位置が他のタイルの直上または直下に限定されないならば、より小さな総合誤差が垂直方向の次元に生じ得るということである。図５では、タイル５０１は画像エリアの表現図の上部左側コーナーにあるタイルである。領域５０２は、このタイルのビューマップを表し、タイルのコーナーにその始点を有する。タイル５０３は、画像エリアにある別個のタイル例であり、始点は、タイル５０１に使用のものと同一のビューマップデータを有する。タイル５０４は、次行に配置されるタイル例である。注記したいのは、タイル５０４が上の行にあるタイルの直下にはなく、かつ水平のオフセットがあるので、結果として「レンガ」を積んだ状態の配置になるということである。タイル５０５が示すのは、この「レンガ」型レイアウトを使うと、幾つかのタイルは、そのビューマップの始点が全体画像の始点に先行する箇所に結果として生じる、すなわち、部分的全体画像が提供されるということである。

注記したいのは、図に示される例では、ピクセルマップ始点（ディスプレイ、ビューマップ、タイル作成スキーム、および最終画像に適用される）が、上部左側コーナーにあると仮定されていることである。同じ一般原理と操作方法が、相異なる座標スキーム、例えば、下部左側始点を有するスキームやレイアウトにも適用される。

総合誤差値をさらに縮小するには、追加的技法を使用して達成し得る。すなわち、例えば、図６に示されているように、ビューマップのインデックスに付け加えられる増分値に基づいて、タイル化されたビューマップがソース映像画像を間接的に指し示すことを可能とする技法によって達成し得る。そのような追加的処理の支援があれば、本タイル作成スキームは完全に近い結果を達成し得る。

例えば、一つタイルが｛１，２，３，４，５，．．．｝のソース映像画像値を有し、他の一つのタイルが｛３，４，５，６，７，．．．｝のソース映像画像値を有すると仮定すると、後者のタイルは、各ソース映像画像値に２という値を追加しなければならないことを除いて、第一のビューマップに使用されたものと同一のビューマップで示し得る。この技法の利点は、この技法が、そのソース映像数のファクターだけ、可能なタイル作製スキームの数を増加し、従って、他のファクターはすべて同一で、最良のタイル作成スキーム（複数を含む）の精度を増す（誤差を最小化する）ことである。

さらに具体例を使用して説明しよう。図６にあるタイル６０１は、画像エリアの表現図の上部左側コーナーにあるタイルを示す。領域６０２は、タイル６０１のビューマップであり、０，２，４，６，８，１，３，．．．で（この例では）スタートする数の二次元アレイである。タイル６０３は、次のタイル例である。図６の例では、同じビューマップデータアレイ（すなわち、ここでも０，２，４，６，８，１，３，．．．でスタートする）を使用するけれども、各サブピクセルに対して、この例では、本システムは、４の値を加える。注記したいのは、もし合計がソース映像画像の総数（９）に等しいか、超えれば、本システムは、その数を引いてインデックス値を正規化することである。従って、このタイル６０３にあるピクセルは、ソース映像画像４＋０，４＋２，４＋４，４＋６−９，４＋８−９，４＋１，４＋３，．．．を使用する。タイル６０４は、次ぎの行に位置するタイル例である。タイル６０３と同じように、本システムは、同じビューマップと関連データを使用するが、ここでは、次行のタイルを実装するのに相異なるオフセット因子（この例では、１である）を適用する。従って、この改良法では、少なくとも一つのオフセット因子を以降のタイルすべてに適用することになるので、ビューマップデータ処理の必要程度が減少しながらも、許容し得る総括映像視結果が得られる。

タイル６０５は、タイル６０４から水平方向にオフセットして配置されたタイル例である。タイル６０５は、前記ビューマップデータを使用して、これらに、６０４でも使用された垂直のタイルオフセット値（１）を加え、タイル６０３で使用された水平のタイルオフセット値（４）を加えたデータアレイを有する。

図６の例に示されるように、ビューマップの始点サブピクセルはソース映像画像＃０を規定し得るが、これは、始点サブピクセルの一番最初のタイル位置に対しては正しい。しかし、始点サブピクセルの次の水平タイル位置に対しては、０というそのサブピクセルのビューマップ値は、オフセット値が、例えば、４というオフセット値が加えられたものとなる。従って、新しいタイル位置に対しては、ビューマップ値は、実際はソース映像画像＃４（０＋４）を規定する。次の水平のタイル位置に対しては、本システムは、４というオフセット値を加え、０＋４＋４＝８とする。その後、本システムはさらに再び、４というオフセット値を加え、８＋４＝１２という結果を出す。本システムは、ソース映像画像の数（ここでも、一般に９）を引算し、０〜８の許容し得る範囲内で値を正規化し、１２−９＝３とする。これは、本システムが今はソース映像画像＃３を指し示すということを意味する。相異なるオフセット値を、ビューマップタイルの相異なる行の例に適用し得る。

ビューマップがタイル増分に基づいてソース映像画像を指し示すこのより良い方法を最適化するに当たって、最小化された誤差値は、最早｛（あるサブピクセルに対して計算された非整数のソース映像値）―（始点サブピクセルのソース映像値）｝ではない。代わりに、本システムは、任意のサブピクセルの計算されたソース映像値の少数部分と始点サブピクセルのソース映像値の少数部分との間の差を最小化することを狙うものである。最適化法を変更して、前記の数（０〜ソース映像画像の総数の範囲、一般に９）の少数部分をただ比較することにすると、最適化に必要な候補の選択性を顕著に改良し得る。

交互配置された立体視映像画像は、全体の総タイル作製誤差が単一のソース映像画像に丸められる範囲の約５％以内ならば、シームレスと見ても許容し得る。実験したところ、増分されたインデックス値を使用してソース映像画像を指し示す直前記載の技法は、５％未満の総タイル作製誤差でタイル作製処理の結果を出すことができる。従って、タイル作製されたビューマップを使用することにより、本設計では、シームレスのように見える交互配置の立体視映像画像が作成され、同時にフルサイズのビューマップを使用するのに比較して、処理速度も大幅に改良される。

幾つかのケースでは、タイルの総数をある特定の最大限界内に維持することによって、追加的性能便益を導出し得る。より小さいビューマップサイズを有することで得られる処理時間の有利性よりも、計算のハードウェアや実施に左右されるのであるが、ビューマップを適用してディスプレイを完成するために必要な時間の方が優先することもあり得る。最適タイル作成スキームを見出すアルゴリズムは、修正を加えて、これや他の可能な制約に基づいてソリューションを制約し得る。

タイル作成スキームを適用し得るにはその前に、そのようなスキームが、タイル作製仕様を構成する一組の数で記述される必要がある。その目的は、タイル作製スキームを比較的簡単なやり方で表し、自動立体視映像ディスプレイ向けに交互配置された画像をアセンブリするシステムが、ビューマップをスクリーンのタイル作製領域に正確に適用し得るようにすることである。ビューマップはフルサイズのスクリーンより小さいのはもちろんである。そのようなアセンブリを行うと、視覚的にシームレスな効果が得られ、フルサイズのスクリーン用ビューマップを使用した場合と同じ位良好なグラフィックスを自動立体視し得る。

タイル作製仕様は幾つかの数字的コンポーネントを含む。第一に、ビューマップタイルは水平と垂直のピクセル次元を有する。本コンピュータシステムは、ビューマップタイルを追加して位置合わせするに当たって、前のタイルの直ぐ下と直ぐ左右に、水平と垂直の両方向に位置するように設定する。タイル作製方法が「レンガ」状タイル配置とするために次の行に水平オフセットを採用する場合、タイル作製仕様は、垂直列当たりの水平オフセットを規定する必要がある。タイル作製方法が、ビューマップで示された値に適用された増分に基づいてソース映像画像にアドレスするものならば、タイル作製仕様はその増分の具体的な量を示す必要がある。タイル作製仕様は、一般に、水平と垂直のタイル作製次元を規定するために相異なる増分を含み得る。タイル作製による誤差情報も、タイル作製仕様の一部として含まれ得る。結果が許容し得るかどうかを直ちに判断する目的だからである。例えば、５％のタイル作製誤差が許容可能ならば、タイル作製仕様に、この値を設定し、５％を超えるタイル作製誤差があれば、許容不可能なソリューションであると示し得る。

本システムは、タイル作製スキームをプログラムに基づいて適用し、ビューマップタイル各個が、形成中の全体の交互配置画像を何処でオーバーレイするかを決定し得る。コンピュータまたはディスプレイ装置は、既に計算された特定のタイル作製仕様に基づいてタイルをレイアウトし得る。ソース映像増分がタイル作製モデル（例えば、図６に図示）の一部として使用される場合は、コンピュータまたはディスプレイ装置は、タイル作製モデルと仕様に基づいて正確にこれらの増分値を適用する必要がある。その適用に当たっては、普通、タイル作製仕様で示された水平と垂直の増分オフセット値に基づいて、各タイル位置に対して増分値を再計算する手順が含まれる。

タイル作製仕様に関しては、コンピュータまたはディスプレイ装置は、これを現在のタイル作製スキームに適用するが、その適用は、一般に、実行中のタイル作製モデルに規定された制約条件に従ってどのようにタイルがレイアウトされるべきかという性質に関するルールに従う。簡単な例は、グリッド型タイル作製（ビューマップに増分を使用しない）である。グリッド型タイル作製シナリオでは、「ルール」は、最初のタイルをスクリーン始点に設置し、そして以降のタイルをすべて（水平と垂直）に設置し、全部が前のタイルと隣接するように配置することといえる。水平オフセットのタイルでは、タイル作製スキームとその実行は、さらに、行当たりの水平オフセットの値と水平オフセットの適用方法とを双方とも規定する必要がある。従って、タイル作製仕様は、対処される具体的なニーズと所望の性能または活性に高度に依存する。

本システムが、ビューマップ解釈のために増分値を使用するタイルに適用する場合（例えば、タイルの一つが１，２，３，．．．、次のタイルが３，４，５，．．．、最初のタイルから垂直に離れた次のタイルが７，８，９，．．．、としよう）、ルールセット設定し、それとともにそのルールセットに従う仕様をも定め、増分値が確実に簡単かつ正確に適用されるようにする。この機能を実行するために複数のルールセットを採用し得るが、水平方向と垂直方向に見出される各連続タイルに対して加算される水平増分と垂直増分とを備えるそのようなルールセットの一つも採用し得る。

本発明の設計は、一般に、どのような汎用高性能コンピュータ処理アーキテクチャまたはハードウェア上にでも実行し得るという意味ではハードウェアに独立である。本明細書に開示されるタイル形式ビューマップを使用する自動立体視映像画像交互配置処理は、当業者に一般に既知の汎用または特殊高性能コンピュータ上での処理をも網羅するものである。

本明細書に提供された設計と、説明された具体的な態様は、限定を意味するのではなく、本発明、すなわち、視差補正の改良されたシステムと方法に関する教示と便益とを依然として備える別法のコンポーネントをも含むものである。従って、本発明は具体的な実施の形態に関連して説明されたけれども、本発明はさらに修正が可能であることも理解されるであろう。本発明のこの出願がカバーしようとするのは、本発明の原理に、一般に、従う本発明のどのような変形、使用、または適用であり、本発明に関連する技術内で行われる既知で慣行的な実際技術内にあって本開示から逸脱したものをも含む。

具体的な実施の形態に関わる前述の説明は、開示の一般特性を十分に明らかにしているものであるから、他の人も、現在の知識を適用することによって、本発明の一般概念に逸脱することなく多岐にわたる適用のためのシステムと方法を容易に修正および／または適応し得る。従って、そのような適応と修正は、開示された実施の形態の等価物の意味と範囲の内にある。本明細書に採用された用語または術語は、説明目的であり、限定のためではない。

レンチキュラのスクリーンが装着されたディスプレイを示す図である。 レンチクルの輪郭と当該レンチクルで覆われたサブピクセルとを示す図である。 ビューマップパターンを示す図であり、画像交互配置がこのパターンに基づいているのを示す図である。 ビューマップのタイルがグリッド状に配置されている配置図である。 ビューマップのタイルの「レンガ」型配置図であり、行の間に水平のオフセットが許容されているのを示す図である。 タイル形式ビューマップ実装のバリエーションの一つを示す図である。

Claims (20)

1. 自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法であって、
   自動立体視映像ソース画像をフルサイズの第一ビューマップにマッピングする数学モデルを作成するステップと、
   ソース映像画像の番号と始点ピクセルを含む複数のピクセル位置とを含む前記第一ビューマップに前記自動立体視映像ソース画像をマッピングするステップと、
   前記第一ビューマップを走査して、始点ピクセル近くに見出される前記ソース映像画像の番号の数字パターンと近接的にマッチングする繰り返しパターンを探索するステップと、
   マッチングされた前記繰り返しパターンを前記第一ビューマップ内に再生することによって前記縮小サイズのビューマップを作成するステップと、
   を備え、
   前記マッピングするステップにおける前記第一ビューマップでは前記ソース映像画像の番号として丸められていない値が使用され、前記縮小サイズのビューマップでは前記ソース映像画像の番号として整数値が用いられ、
   前記繰り返しパターンを探索するステップは、当該繰り返しパターンを前記第一ビューマップに適用したときに生じる、隣接するピクセル間のソース映像画像の番号の誤差の総和が最小限になるように、当該繰り返しパターンの寸法を求めるステップを含む、自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法。
2. 前記数学モデルが、自動立体視映像ソース画像の対応したピクセルからのピクセルオフセットを表すピクセルオフセット値のアレイから成る、請求項１の方法。
3. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、多重ソース映像画像のうちの一つを指し示す、請求項１または２の方法。
4. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、前記第一ビューマップのピクセル量に加えられた増分値に基づいて間接的にソース映像画像を指し示す、請求項１または２の方法。
5. 前記走査するステップが、水平のオフセットを間に含まないピクセル領域を通じて水平方向に走査するステップから成る、請求項１から４のいずれか１項に記載の方法。
6. 前記走査するステップが、水平のオフセットを間に有するピクセル領域を通じて水平方向に走査するステップから成る、請求項１から４のいずれか１項に記載の方法。
7. 自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法であって、
   ソース映像画像の番号と始点ピクセルを含む複数のピクセル位置とを含むフルサイズの第一ビューマップに前記自動立体視映像ソース画像をマッピングするステップと、
   前記第一ビューマップを走査して、始点ピクセル近くに見出される前記ソース映像画像の番号の数字パターンと近接的にマッチングする繰り返しパターンを探索するステップと、
   マッチングされた前記繰り返しパターンを前記第一ビューマップ内に再生することによって前記縮小サイズのビューマップを作成するステップと、
   を備え、
   前記マッピングするステップにおける前記第一ビューマップでは前記ソース映像画像の番号として丸められていない値が使用され、前記縮小サイズのビューマップでは前記ソース映像画像の番号として整数値が用いられ、
   前記繰り返しパターンを探索するステップは、当該繰り返しパターンを前記第一ビューマップに適用したときに生じる、隣接するピクセル間のソース映像画像の番号の誤差の総和が最小限になるように、当該繰り返しパターンの寸法を求めるステップを含む、自動立体視映像ソース画像の縮小サイズのビューマップを作成する、自動立体視ソース画像の縮小サイズのビューマップを作成する方法。
8. 前記マッピングのステップに先立って、前記自動立体視映像ソース画像を前記第一ビューマップにマッピングする数学モデルを作成するステップをさらに備える、請求項７の方法。
9. 前記数学モデルが、前記自動立体視映像ソース画像の対応したピクセルからのピクセルオフセットを表すピクセルオフセット値のアレイから成る、請求項８の方法。
10. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、多重ソース映像画像のうちの一つを指し示す、請求項７から９のいずれか１項に記載の方法。
11. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、前記第一ビューマップのピクセル量に加えられた増分値に基づいて間接的にソース映像画像を指し示す、請求項７から９のいずれか１項に記載の方法。
12. 前記走査するステップが、水平のオフセットを間に含まないピクセル領域を通じて水平方向に走査するステップから成る、請求項７から１１のいずれか１項に記載の方法。
13. 前記走査するステップが、水平のオフセットを間に有するピクセル領域を通じて水平方向に走査するステップから成る、請求項７から１１のいずれか１項に記載の方法。
14. 自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法であって、
    前記自動立体視映像ソース画像を多重ソース画像に分割するステップと、
    前記自動立体視映像ソース画像に基づいてフルサイズの第一ビューマップを作成するステップと、
    前記多重ソース画像を走査することによって前記多重ソース画像中に繰り返しパターンの位置を探索して前記フルサイズのビューマップの始点近くに見出される数のパターンに近接的にマッチングするサブピクセルの数パターンを有する少なくとも一つのサブピクセルを得るステップと、
    そのサブピクセルの箇所でスタートするそのサブピクセル位置までビューマップ情報のコピーを再利用して縮小サイズのビューマップを作成するステップと、
    を備え、
    前記少なくとも一つのサブピクセルを得るステップではソース映像画像の番号として丸められていない値が使用され、前記縮小サイズのビューマップでは前記ソース映像画像の番号として整数値が用いられ、
    前記少なくとも一つのサブピクセルを得るステップは、前記繰り返しパターンを前記第一ビューマップに適用したときに生じる、隣接するピクセル間のソース映像画像の番号の誤差の総和が最小限になるように、当該繰り返しパターンの寸法を求めるステップを含む、自動立体視映像ソース画像の縮小サイズのビューマップを作成する方法。
15. 前記少なくとも一つのサブピクセルを得るステップに先立って、自動立体視映像のソース画像を前記第一ビューマップにマッピングする数学モデルを作成するステップをさらに備える、請求項１４の方法。
16. 前記数学モデルが、自動立体視映像ソース画像の対応したピクセルからのピクセルオフセットを表すピクセルオフセット値のアレイから成る、請求項１５の方法。
17. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、多重ソース映像画像のうちの一つを指し示す、請求項１４から１６のいずれか１項に記載の方法。
18. 前記縮小サイズのビューマップにマッピングされた各サブピクセルが、前記第一ビューマップのピクセル量に加えられた増分値に基づいて間接的にソース映像画像を指し示す、請求項１４から１７のいずれか１項に記載の方法。
19. 前記位置を探索するステップが、水平のオフセットを間に含まないピクセル領域を通じて水平方向に走査するステップから成る、請求項１４から１８のいずれか１項に記載の方法。
20. 前記位置を探索するステップが、水平のオフセットを間に有するピクセル領域を通じて水平方向に走査するステップから成る、請求項１４から１８のいずれか１項に記載の方法。

Images