JP2000502234A - イメージ変換及び符号化技術 - Google Patents

Abstract

(57)【要約】 元の２Ｄイメージから、立体ディスプレイのため左目イメージ及び右目イメージを作る方法において、ａ）前記元のイメージ内の少なくとも１つの目標を特定し、ｂ）前記目標又は各目標のアウトラインを定め、ｃ）前記目標又は各目標の深度特性を定め、ｅ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを形成する方法。

Description

【発明の詳細な説明】 イメージ変換及び符号化技術 本発明は、広くは立体イメージ合成技術に関し、より詳しくは、２次元（２Ｄ ）又は３次元（３Ｄ）立体ディスプレイシステム上に立体イメージをディスプレ イする目的で、２Ｄイメージを変換し、更に符号化し、伝送しかつ復号する方法 に関する。 コンパクトで高性能なビデオプロジェクションシステム、画像処理、デジタル ビデオ及び液晶パネルの領域における最近の技術革新は、能動偏光ガラス及び受 動偏光ガラスの両方及び単一視聴者用自動立体ディスプレイ及び多視聴者用自動 立体ディスプレイの両方を使用した多くの実用的３Ｄディスプレイシステムを可 能にした。 ３次元ディスプレイシステムは、好奇心の域を脱し、今や、娯楽、商業及び科 学の分野での実用的ディスプレイシステムになりつつある。今や、これらの装置 上に３Ｄ媒体をディスプレイすることが要求されている。伝統的に、この３Ｄ媒 体（すなわち、異なる透視方向から見た同一景色の少なくとも２つの別々の視界 についてのイメージ情報を含む、作られた媒体）を作るのに２つの方法がある。 すなわち、 １）コンピュータによる２つの別々の視界（通常は、リアルタイムでの視界） の創出、及び ２）横方向にずらして配置した２つのカメラを用いたビデオ撮影又はフィルム 撮影である。 コンピュータ援用設計（ＣＡＤ）システム、シミュレータ又はビデオゲーム機 器に使用するコンピュータ創成イメージの場合には、異なる透視方向から見た２ つの別イメージを作ることは複雑なプロセスではない。 横方向にずらして配置した２つのカメラを用いた映画のフィルム撮影は、多年 に亘って良く理解されている。しかしながら、このアプローチには多くの問題が ある。フィルム撮影又はビデオ撮影する場合、２Ｄよりも３Ｄの方がかなり困難 である。なぜならば、景色内の最近目標と最遠目標との許容距離（実用３Ｄ目標 深度）に制限があり、かつフレーミング問題（例えば、近い目標が一方のカメラ にのみ写ってしまい、従って、再生したときに３Ｄイメージ創成の不正確さが強 調されてしまう問題）があるからである。他の問題は、２つのカメラからのイメ ージ間の待ち時間による偽３Ｄ人為結果（false 3D artefacts）を引き起こすこ となく、滑らかなパン(pan)を維持することである。 複雑さ、制作及び実施の高コスト、及び家庭用及び商業用マーケットのために 製造されているものは依然として非常に少数の３Ｄディスプレイシステムに過ぎ ないという事実から、主要な映画又はビデオ制作者が３Ｄ媒体を作ることに対す る大きな動機が存在しない。しかしながら、慣用的な２Ｄフィルムを３Ｄ態様に 再処理できる技術が考えられるならば、最初から直接３Ｄでフィルム撮影するよ りも遥に低いコストで、新フィルムを３Ｄフォーマットに変換できるだけでなく 、２Ｄフィルム及びビデオの大量の記録集を再処理して、映画及びビデオの両マ ーケットに再リリースすることもできる。 しかしながら、既存の２Ｄイメージを３Ｄイメージとして見ることができるよ うに、既存の２Ｄイメージを変換できれば好都合である。これを達成する１つの 方法は、単一の２Ｄイメージを、「切り貼り(cut and paste)」技術により左右 ２つの別々のイメージに変換することである。この技術では、イメージから１つ の目標を「切り出し」かつ左方又は右方にずらし、次に元のイメージ上に「貼り 付け」て、必要な別々のイメージを作る。しかしながら、この方法では、イメー ジ内の目標が正式に占拠していた領域にブランク領域が生じてしまう。 従って本発明の目的は、これらの問題の少なくとも１つを解消し又は軽減する ことにある。 この点に留意し、本発明は、その一態様として、元の２Ｄイメージから、立体 ディスプレイのための左目イメージ及び右目イメージを作る方法において、前記 元のイメージの選択領域を、決定された量及び方向だけずらすことにより引き伸 ばされたイメージを創成し、この引き伸ばされたイメージが前記左目イメージ及 び右目イメージを形成することを特徴とする方法を提供する。 変換された２つのイメージは、観者（viewer）がその左目及び右目で見たとき 、「切り貼り」技術で作られるイメージの場合に生じるブランク領域が全くない ３Ｄイメージを形成する。 本願は、２Ｄ媒体の３Ｄフォーマットへの変換に包含される幾つかの重要なア ルゴリズムプロセス、及びこの新しい３Ｄ媒体の通信及び記憶に適した新しい複 合データフォーマットをカバーする。また、本願では、この新しい３Ｄフォーマ ットのリアルタイム符号化、伝送及び復号を行なう幾つかのハードウェア機器に ついても論じる。 本発明の技術の主要な長所は、コストを大幅に節約できること、及び媒体供給 の点で優れていることである。フィルム撮影するのに１つのカメラのみを使用す ればよい。２Ｄから３Ｄへの変換プロセスの性質のため、いかなる場合でも最終 の２Ｄディスプレイプロセスを妨げない３Ｄの小さなパケットの付加を除き、イ メージ媒体を事実上変化させることなくパッケージしかつ伝送することができる 。このため、実際に、イメージ品位を低下させることなく、標準２Ｄテレビジョ ン上にイメージを２Ｄ又は３Ｄでディスプレイでき（必要ならばシャッタ眼鏡等 を使用する）、また３Ｄテレビジョン又は他のディスプレイに３Ｄでディスプレ イできる。 ２Ｄから３Ｄへの変換プロセスの最終段階は、受信機でリアルタイムに完了さ れ、従って、３Ｄイメージをディスプレイするために増大するバンド幅条件はテ レビジョンデコーダに限定され、テレビジョン放送業者のチャンネル取扱い能力 に悪影響を与えない。 本発明の他の態様によれば、元の２Ｄイメージを立体ディスプレイのための引 き伸ばされたイメージに変換すべく、元の２Ｄイメージに施すべき変更を記述す る方法が提供される。 本発明の他の態様によれば、２Ｄビデオイメージを立体ディスプレイのための 引き伸ばされたイメージに変換できるように、２Ｄイメージのビデオ信号を符号 化する方法が提供される。 本発明の更に別の態様によれば、２Ｄビデオイメージを立体ディスプレイのた めの引き伸ばされたイメージに変換できるように、符号化データを含む２Ｄイメ ージのビデオ信号を受けかつ該ビデオ信号から符号化データを抽出する方法が提 供される。 本発明の更に別の態様によれば、２Ｄビデオイメージを符号化データで操作し て、立体ディスプレイのための引き伸ばされたイメージを形成する方法が提供さ れる。 本発明の更に別の態様によれば、元の２Ｄイメージから、立体ディスプレイ用 の左目イメージ及び右目イメージを作る方法において、 ａ）前記元のイメージ内の少なくとも１つの目標を特定し、 ｂ）前記目標又は各目標のアウトラインを定め、 ｃ）前記目標又は各目標の深度特性（depth characteristic）を定め、 ｄ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数として 決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための２ つの引き伸ばされたイメージを形成する方法が提供される。 これらのイメージペアは、立体３Ｄ効果を無くすため、互いに鏡像関係又は同 様な関係に配置することができる。 イメージは複数の目標を有し、各目標には前記それぞれの深度特性を付与でき るものでもよい。イメージは個々のベースで変換されるものでもよい。或いは、 ビデオ又はフィルムにおけるような一連の関連イメージを変換するものでもよい 。 イメージはデジタル化され、かつイメージ上に一時的にメッシュを置くことに より電子的に引き伸ばされ又は変換されるものでもよい。メッシュは、最初は、 複数の平行な横方向メッシュラインと、該横方向メッシュラインに対して直角に 配置された複数の長手方向メッシュラインとを有している。メッシュのメッシュ ラインの各交点は、メッシュサブポイントを形成する。イメージは、メッシュを 歪ませると下に横たわるイメージが引き伸ばされるように、メッシュと一緒に移 動される。イメージを滑らかに引き伸ばすように、メッシュラインは連続状態に 維持される。各メッシュサブポイントの元の位置からのずれ（変位）量は、元の イメージについての変換データを与える。サブポイントは横方向にずらすことが できる。 メッシュサブポイントのずれは数学的アルゴリズムにより定め、これによりイ メージの自動変換を行なうこともできる。この方法は、陰影、かすみ及び運動内 挿データを、カパラレックス情報(force paralex information)及び運動パラレ ックス遅延についての視界遅延(field delay)及び方向を含む変換データに付加 して更に高めることができる。 ３Ｄイメージとして見ることができるイメージを伝送するのに、既存のイメー ジ伝送システムを使用できるようにすることは有効である。本発明は、２Ｄイメ ージを形成するビデオ信号を送信するイメージ伝送システムに使用できる。 本発明の他の態様によれば、イメージ内のどの目標を処理すべく選択するか、 これらを如何に処理するか、これらの優先度又は他の目標及びこれらの深度特性 について記述する変換／引き伸ばしプロセスから、１組の「目標スクリプティン グ」データを作る方法が提供される。このスクリプティングデータは、元の２Ｄ イメージを再処理すべく後で使用するためコンピュータのメモリに記憶されるか 、３Ｄイメージを再生すべく他の場所（この場所は、同じ２Ｄイメージを有する と仮定する）に伝送されるものでもよい。 従って本発明の他の態様によれば、２Ｄビデオイメージを形成するビデオ信号 を符号化するためのエンコーダが提供され、該エンコーダは、変換データをビデ オ信号に付加して符号化された信号を形成し、変換データは、ビデオイメージを 立体ディスプレイのための引き伸ばされたイメージに変換すべく、ビデオイメー ジの選択されたそれぞれの点のずれを定める。 変換データをビデオ信号に付加することにより、符号化された信号を伝送する のに既存の伝送システムを使用できる。変換データをビデオ信号に付加するのに 種々の構成を使用できる。例えば、データは、伝送されるビデオイメージの頂部 及び底部においてビデオイメージのブランクライン内、又は各ラインの水平同期 時間又は水平オーバースキャン領域内に含めることができる。 本発明は、既存の２Ｄビデオイメージの変換に限定されるものではない。それ どころか、本発明のプロセスは、２Ｄビデオイメージの創成と同時に変換データ を作るのに容易に使用できる。 従って、本発明の他の態様によれば、３Ｄ変換データで符号化された２Ｄビデ オイメージを作る方法において、 複数のビデオカメラからビデオイメージを捕捉し、 それぞれの各ビデオカメラからのビデオイメージを比較して前記変換データを 作り、該変換データは、立体ディスプレイのための引き伸ばされたイメージへの ビデオイメージの変換を行なうためのビデオイメージのそれぞれの点のずれを定 め、 前記ビデオカメラの１つからのビデオ信号と変換データとを結合して符号化さ れたビデオ信号を作る方法が提供される。 本発明の更に別の態様では、３Ｄ変換データで符号化された２Ｄビデオイメー ジを作る方法において、 ビデオカメラから左目ビデオイメージ及び右目ビデオイメージを捕捉し、 立体ビデオカメラからの左目ビデオイメージ及び右目ビデオイメージを比較し て前記変換データを作り、該変換データは、立体ディスプレイのための引き伸ば されたイメージへのビデオイメージの変換を行なうためのビデオイメージのそれ ぞれの点のずれを定め、 前記ビデオカメラからのビデオ信号と変換データとを結合して符号化されたビ デオ信号を作る方法が提供される。 本発明の他の態様によれば、３Ｄ変換データで符号化された２Ｄビデオ信号を 作るシステムにおいて、 互いに横方向にずらして配置された少なくとも第１および第２のビデオカメラ と、 変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラ からデータを受けかつ比較して変換データを作り、該変換データは、一方のビデ オカメラからのビデオイメージのそれぞれの点のずれを定め、ビデオイメージを 立体ディスブレイのための引き伸ばされたイメージに変換し、 前記一方のビデオカメラからのビデオ信号と前記変換手段からの変換データと を結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有する システムが提供される。 ３Ｄ変換データで符号化された２Ｄビデオイメージが単一の観者のためにのみ 必要である場合には、各カメラは、観者の左右の目によって見られる景色を表す 。 本発明の他の態様では、３Ｄ変換データで符号化された２Ｄビデオイメージを 作るシステムにおいて、 立体ビデオカメラと、 変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメラ からデータを受けかつ比較して変換データを作り、該変換データは、ビデオイメ ージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのための 引き伸ばされたイメージに変換し、 ビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビデ オ信号を作るためのエンコーダ手段を更に有するシステムが提供される。 本発明の他の態様によれば、立体ディスプレイを形成するためのビデオ信号を 復号するためのデコーダであって、前記信号が２Ｄビデオイメージを形成し、ビ デオイメージを変換するための変換データを更に有し、該変換データが、ビデオ イメージのそれぞれの点のずれを定め、ビデオイメージを立体ディスプレイのた めの引き伸ばされたイメージに変換する構成のデコーダにおいて、 ａ）ビデオ信号を受ける手段と、 ｂ）変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号を 作るための復号手段とを有するデコーダが提供される。 このデコーダは、 ａ）ビデオ信号を別々のビデオ信号成分に変換するためのＲＧＢすなわち成分 ビデオ変換器と、 ｂ）各ビデオ成分をそれぞれのデジタル信号に変換するためのＡ／Ｄ変換手段 と、 ｃ）前記デジタル信号を記憶するためのデジタル記憶手段とを設けることがで きる。 復号（デコーダ）手段は、デジタル記憶手段の読み出し速度を制御する可変周 波数クロック手段を制御し、これにより記憶手段が可変速度で読み出される。こ れにより、ビデオイメージが、変換データに従って引き伸ばされかつ圧縮される 。 或いは、ＲＧＢすなわちビデオ成分が可変速度で記憶手段に読み込まれかつ固 定速度で記憶手段から読み出されるように構成できる。 デコーダは、単一ビデオラインを処理するか、全視界又はフレームにおけるよ うに多数のラインを処理することができる。この場合、変換データからの全メッ シュが、全視界又はフレームについて計算された画素歪み（横方向のずれ）をも って復元される。 記憶手段は、デュアルポートＲＡＭラインストアの形態に構成できる。 視覚手段上で見ることができるように、読み出されたデジタル信号を変換され たビデオ信号に変換するためのＤ／Ａ変換手段を設けることができる。視覚手段 として、テレビジョン又は変換されたビデオイメージを見るための他のスクリー ンがある。視覚手段として、更に、変換されたビデオイメージを立体イメージと して見られるようにするため、デコーダにより制御されるシャッタ眼鏡がある。 別の構成として、デコーダには、変換された左側ビデオイメージ及び右側ビデ オイメージのデジタル信号をそれぞれ記憶するための並列記憶手段を設けること ができる。この場合、視覚手段として、左右のビデオイメージを同時に投影する ためのディスプレイユニットがある。 デコーダ手段には、変換データをビデオ信号から分離させるための分離手段を 設けることができる。 本発明の他の態様によれば、 ａ）ビデオイメージを形成するビデオ信号を変換データで符号化するためのエ ンコーダを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き伸 ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定め 、 ｂ）変換データをビデオ信号から分離させかつ変換データの関数としてビデオ 信号を変換するためのデコーダとを有する立体イメージディスプレイシステムが 提供される。 本発明の更に別の態様によれば、ａ）２Ｄビデオイメージを形成するビデオ信 号を復号させて立体ディスプレイを形成するためのデコーダと、ビデオイメージ を変換するための変換データとを更に有し、変換データは、ビデオイメージを立 体ディスプレイ用の引き伸ばされたイメージに変換するため、ビデオイメージの それぞれの点のずれを定め、前記デコーダは、ビデオ信号を受ける手段と、変換 データを読み出しかつビデオ信号を制御して変換されたビデオ信号を形成する手 段とを有している多観者用立体ディスプレイシステムが提供される。 本発明の可能性のある実施形態を示す添付図面を参照して、以下に本発明を説 明する。 本発明の他の実施形態も可能であり、従って、添付図面に示す特定実施形態は 前述の説明の全部に取って代わるものではないと理解すべきである。 図面において、 第１図は、元のイメージと、３Ｄイメージすなわち立体イメージを得るための 慣用的な左右のイメージとを示す図面である。 第２図は、元のイメージと、切り貼り技術を用いて作られる３Ｄイメージを得 るための左右のイメージとを示す図面である。 第３図は、元のイメージと、本発明による力学的深度合図法により創成された イメージとを示す図面である。 第４図は、本発明による左右のイメージ及び合成３Ｄイメージを示す図面であ る。 第５図は、歪みメッシュにより不連続的に歪まされたイメージを示す図面であ る。 第６図は、歪みメッシュにより連続的に歪まされたイメージを示す図面である 。 第７図は、左側メッシュ及び右側メッシュについてのメッシュ空間ずれデータ （ＭＳＤ）の例を示す図面である。 第８図は、本発明によるビデオイメージにＭＳＤデータを付加する方法を示す フローチャートである。 第９図は、本発明によるビデオチェインにＤＤＣデコーダを組み込む方法を示 すブロック図である。 第１０図は、視界連続複合ビデオ出力を与える本発明のＤＤＣデコーダユニッ トの可能性ある実施形態を示すブロック図である。 第１１図は、視界並列複合ビデオ出力を与える本発明のＤＤＣデコーダユニッ トの可能性ある実施形態を示すブロック図である。 第１２図は、本発明によるＭＳＤデコーダの一態様を示すブロック図である。 第１３図は、ＭＳＤデータを複合ビデオ信号に符号化する方法を示すものであ る。 第１４図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを 形成する構成を示すブロック図である。 第１５図は、リアルタイムに創成されるＤＤＣ符号化されたビデオイメージを 形成する他の構成を示すブロック図である。 第１６図は、多観者用３Ｄシステムの作動原理を示す図面である。 第１７図は、レンズ形レンズを使用する３Ｄシステムの作動原理を示すブロッ ク図である。 第１８図及び第１９図は、それぞれ、レンズ形レンズ組立体を使用した多プロ ジェクタシステムを示す図面である。 第２０図は、本発明によるＤＤＣデコーダを組み込んだ多プロジェクタシステ ムを示す図面である。 ２Ｄすなわち「平面(monoscopic)」ビデオ信号を３Ｄすなわち「立体（ste-re oscopic)」ビデオ信号に変換することを可能にする本発明の方法は、以下の説明 において力学的深度合図（Dynamic Depth Cueing；ＤＤＣ）法と呼び、下記 の技術を含むがこれらの技術に限定されるものではない。 ａ）３Ｄ創成−２Ｄイメージを３Ｄ立体イメージペアに変換しかつ３Ｄ変換デ ータを作る技術及び手順 ｂ）３Ｄスクリプティング−２Ｄイメージを３Ｄ立体イメージペアに変換する のに２Ｄイメージに施す必要がある変更を記述する技術。どのオブジェクトが選 択されたか、それがどのように処理され、そして３Ｄデータ記憶手段に供給され るか、を記述する。 ｃ）３Ｄデータ符号化−情報を規定フォーマットで２Ｄビデオイメージに付加 する技術。この結果得られる修正ビデオは、既存のビデオ記録、ビデオ編集、ビ デオ送受信システムと互換性がある。 ｄ）３Ｄ規格プロコトル−３Ｄ変換データは、規定データフォーマット又は規 格プロコトルを用いて２Ｄビデオに付加される。このプロコトルは、３Ｄ変換デ ータを２Ｄ伝送に付加する世界的な標準になるであろう。 ｅ）３Ｄデータ復号化−２Ｄビデオイメージプラス変換データを受けかつ２Ｄ ビデオイメージに付加された情報を抽出して、３Ｄ立体イメージペアを合成する 技術。 ｆ）３Ｄ合成−変換データを用いて２Ｄビデオイメージを操作し、３Ｄ立体イ メージペアを合成する技術。 ２Ｄイメージを模擬３Ｄイメージに変換するには、元のイメージを修正して僅 かに異なる２つのイメージを作り、これらの別々のイメージを独立的に左右の目 に供与する必要がある。元のイメージへの修正は、像平面（投影スクリーン又は ビュースクリーンに位置している）内で目標を横方向にずらし、深度（奥行き） の印象を与えることからなる。 イメージ内の目標が、像平面に関して、観者から一層離れて見えるようにする には、左目へのイメージ内の目標を僅かに左横方向にずらしかつ右目へのイメー ジ内の目標を僅かに右横方向にずらす必要がある。これは、第１図に示されてい る。目標が観者に近づいて見えるようにするには、左目へのイメージ内の目標を 右横方向にずらしかつ右目へのイメージ内の目標を左横方向にずらす必要がある 。像平面に位置させるべき目標は、両目と同じ位置でイメージ内に置かれる。 現実の目標を見る場合には、観者は焦点情報をも使用する。しかしながら、模 擬３Ｄイメージではこの情報は存在せず、横方向のずれが大き過ぎると、特に目 標を観者に近づけるためには、目標は２つの別々のイメージに破断されて見え、 ３Ｄ効果は喪失する。 左側イメージ及び右側イメージはコンピュータを用いて作ることができる。イ メージは、最初にビデオデジタイザを用いてデジタル化され、得られたデータは メモリに記憶される。次に、新しい２つのイメージが創成される。 必要な横方向ずれをもつ新しい左右のイメージを創成する最も簡単な方法は、 イメージから目標を「切り出し」、これを、必要な横方向ずれを与えて「貼り付 ける」方法であり、これは切り貼り技術と呼ばれる。これは、最初に、「移動」 すべき目標を識別して、この位置を定め、次に、イメージから目標を「切り出し 」て、これを横方向に移動させることにより行なわれる。 この簡単な技術の問題は、選択された目標がひとたび移動されると、背景も除 去され、背景にブランク領域が生じる（第２図参照）。 本発明によれば、イメージ内の目標は、必要な横方向のずれを与えるべく「引 き伸ばされ」、かつ元の背景細部を保有する。この結果生じるイメージの横方向 歪みは数学的に平滑化されるため、この効果は、視覚的人為結果（visual arte- facts）を殆ど又は全くもたない「実」３Ｄイメージとして認識される。 イメージのこの引き伸ばし効果をより良く視覚化するため、変換すべきイメー ジが薄いゴムシート上に印刷されていることを想像されたい。目標に隣接するイ メージの表面上の一点を選択し、これを、例えばその元の位置の右方の新しい位 置へと引き伸ばす。従って、目標の右方のイメージセクションは圧縮され、かつ 目標の左方のイメージセクションは引き伸ばされる（第３図参照）。観者がこれ を両目で見ると、観者には目標が歪んで見える。 しかしながら、これと同様であるが反対側に引き伸ばされたイメージが他方の 目に供された場合には、観者は歪んだイメージを見るどころか、３Ｄ特性をもつ 目標を見ることができる。これが第４図に示されている。 イメージ内の目標の「引き伸ばし」は、電子工学的に行なわれる。各ビデオフ レームにおける関心目標は、最初に、これらの概略を定めることにより特定され る。各目標について、深度又はメッシュ歪み特性（mesh distortion character- istc）も定める。引き伸ばしは、オペレータがイメージを引っ張ることができる ようにしかつこの結果生じる３Ｄイメージの効果をリアルタイムで見ることがで きるようにすることにより行なわれる。オペレータの熟練及び芸術的手法の介入 を用いて、得られるイメージの３Ｄインパクト及び連続するビデオシーケンスを 決定できる。個々のビデオフレームは手作業（すなわち、非リアルタイム）によ り変換することもできるが、本発明者は、ビデオ「クリップ」を形成する一連の 関連フレームを自動的（すなわち、リアルタイム）に変換させることも考えてい る。オペレータは、変換すべきビデオクリップの開始フレーム及び終了フレーム を定める。また、開始フレーム及び終了フレームでの、像平面に対する各目標の 相対深度も決定する。ビデオクリップは、クリップの各目標の開始位置及び終了 位置を用いて処理され、中間フレームの必要な引き伸ばし又は操作を内挿する。 異なる深度をもつ多数のオーバーラップする目標の場合には、最前方の目標が 優先される。これは、元の２Ｄイメージが単一カメラで撮られたものであり、従 って、画素情報が自動的に最前方に優先されているため、本来的なことである。 イメージの「引き伸ばし」は、デジタル化されたイメージを操作することによ り電子工学的に行なうことができる。メッシュ（格子）は、歪みの前に、メッシ ュの各行及び列の座標が（０、０）となるように、歪ませるべきイメージ上に一 時的に置かれる。メッシュのｘ座標は変化され、これにより、歪められる、下に 位置するイメージが得られる。メッシュラインの直ぐ下のイメージ領域だけが移 動される（これでは、第５図のように不連続になってしまう）のではなく、隣接 するメッシュラインも移動され、第６図のような滑らかな歪みが形成される。 歪みメッシュ(distortion mesh)の粗さが、３Ｄ効果のインパクトを決定する 。メッシュが粗いほど、引き伸ばされる目標に近い方のより多くスプラインされ た他の目標がインパクトを受ける。これにより、得られるイメージには低い３Ｄ インパクトが生じる。メッシュが細かいほど、目標のエッジが鋭くなりかつ高い ３Ｄ効果が得られるが、エッジの不連続性は大きくなる。歪みメッシュのオーダ は、説明の目的上、１６×１６であると想定する。メッシュ上の各サブポイント の情報（すなわち、歪み後の座標位置）が符号化され、背景及び最前方目標のサ ブポイントが作られる。例えば、１６の異なるレベル、４つの背景及び１２の最 前方目標が得られるサブポイント符号化には、４ビットが使用される。サブポイ ント符号化のフォーマットは、実験的に決定し、用途に適合するように調節する こともできる。 別の構成として、このメッシュ歪みプロセスは、イメージの自動処理を可能に する数学的アルゴリズムにより規定することもできる。 左目のメッシュ歪みがひとたび決定されると、右目の歪みの座標は、行列のス カラー演算に−１を掛けることにより簡単に求められ（すなわち、同量だけ反対 側の横方向にずらした場合）、自動的に計算できることに留意されたい。これが 第７図に示されている。 歪みメッシュの各交点の相対水平オフセットから形成される行列は、メッシュ 空間ずれ（Mesh Spatial Displacement;ＭＳＤ）データを規定する。 合成３Ｄイメージを完全に規定しかつ再現する上で必要な全てのことは、元の 変更されていない２Ｄイメージ及びｍＳＤデータを得ることである。かくして、 ３Ｄイメージは、２Ｄイメージ及び関連するＭＳＤデータファイルを考慮するこ とにより、記憶され、伝送され、創成され、編集されかつ操作される。 従って、各ビデオフレーム内のＭＳＤデータを符号化することにより、慣用的 な２Ｄビデオシステムに関して３Ｄイメージを記憶しかつ伝送することができる 。元の２Ｄビデオイメージが変更なく記憶されかつ伝送されるので、得られるビ デオは、既存のビデオ及びテレビジョンシステムとの完全な互換性を有している 。既存の２ＤＴＶ受像機は、通常の画像をディスプレイするであろう。 観者によって感知されずかつ既存のビデオ規格との互換性を有するように、多 くの既存の技術を使用してＭＳＤデータを２Ｄイメージに付加することができる 。これらの技術として次のものがあるが、これらに限定されるものではない。 ａ）「文字多重(Teletext)」データの付加と同様にして、ブラックレベルに設 定された画像の頂部及び底部のスペアラインにＭＳＤ情報を挿入すること。 ｂ）各イメージの左右の見ることができないオーバースキャン領域における技 術。 ｃ）英国放送協会（ＢＢＣ）の「同期音(sound in sync)」システムのライン に沿う水平同調期間における技術。 将来、デジタルＨＤＴＶ（高品位ＴＶ）の導入により、スペアデジタルデータ フレームを、ＭＳＤデータの挿入に利用できるであろう。 第８図には、ＭＳＤデータを２Ｄビデオイメージに付加してＤＤＣ符号化され たビデオフレームを形成するプロセスが示されている。 ＭＳＤデータの量は小さく、１フレーム当たり約１００バイトであると見積も られる。これは、必要ならば、ランレングス符号化又は微分符号化等の標準デー タ圧縮技術を用いることにより更に圧縮して記憶及び伝送することもできる。 データの量（amount of data）が小さいため、必要なデータ速度（data rate ） も低い。ＭＳＤデータは多数のフレームに亘って迅速には変化しないので、空間 及び時間圧縮を用いて必要データを更に減少させることができる。ＭＳＤデータ とその関連フレームとの間の正確な時間関係は重要でないので、１フレームのず れ誤差は多分許容できるであろう。 この場合も、データが少量であること、データレートが低いこと、及び整合性 は厳格でないことから、各フレームにおいて１／４の情報量で、ＭＳＤデータを 多数（すなわち４つ）のフレームについて送ることができるであろう。 第９図には、ＤＤＣデコーダをビデオチェーンに組み込む方法を示すブロック 図が示されている。ＤＤＣデコーダの入力には、ＤＤＣ符号化されたビデオ（該 ビデオは、地上波、衛星波等の既存のあらゆるビデオソースを介して得ることが できる）が供給される。デコーダの１つの出力は、標準ＴＶディスプレイを駆動 しかつＤＤＣデコーダにより同期化されたシャッタ眼鏡を着用した観者が３Ｄイ メージを見られるようにする標準ビデオ波形（すなわち、ビデオ変調無線周波数 信号）である。 ＤＤＣデコーダからは、オーストラリア国特許出願第 66718/94 に開示されて いるバーチャルリアリティ（ＶＲ）ヘッドセット又は自動立体ディスプレイのよ うな他の３Ｄディスプレイ装置を駆動するための付加出力を利用できる。 第１０図には、ＤＤＣデコーダの可能性ある１つの組込み例が示されている。 入力ビデオ信号（該信号は、複合フォーマット又はＳビデオフォーマットのＰＡ Ｌ又はＮＴＳＣ信号を使用できる）が、複合ＲＧＢ又はコンポーネントビデオ変 換器に供給される。ＲＧＢ出力すなわちコンポーネントビデオ出力はＡ／Ｄ変換 器に供給され、そのデジタル出力はデュアルポートＲＡＭラインストアの入力ポ ートに供給される。デジタルビデオデータの各ラインは、一定速度でＲＡＭに入 る。データは、ＭＳＤデコーダの出力により制御される可変周波数クロックによ り決定される速度で、ラインストアから読み出される。 ラインデータを可変速度でＲＡＭから読み出す効果により、得られるビデオは ＭＳＤデータに従って引き伸ばされ又は圧縮される。 次に、変換されたデータが、Ｄ／Ａ変換器及びＰＡＬ／ＮＴＳＣエンコーダに 供給される。得られる３Ｄ視界連続複合ビデオ信号(3D field sequential compo site video signal)は、ディスプレイに供給される（注：このプロセスは、可変 速度でラインストアに読み込まれかつ固定速度で読み出されるビデオ信号でも作 動できる。入力される複合ビデオ信号は、ＲＧＢ又はコンポーネントビデオ信号 に変換する必要がある。なぜならば、ラインストアからの出力が可変速度で読み 出されると、クロミナンス周波数が変化してディスプレイエラーを引き起こす虞 れがあるからである）。 ＤＤＣ復号は、視界又はフレームストアを用いても実施できる。この場合には 、ＭＳＤデータからの全メッシュは、全視界又はフレームについて計算された画 素歪み（横方向のずれ）で復元する。 次に、得られるＲＧＢ又はコンポーネントビデオ出力から、３Ｄ立体イメージ ペアがディスプレイされる。 シャッタ眼鏡コントローラは、シャッタ眼鏡にタイミングパルスを供給する赤 外光源を形成する。このコントローラは、ＰＡＬ／ＮＴＳＣエンコーダと同期さ れる。また、コントローラは、３Ｄ符号化されていない景色の場合又は３Ｄ符号 化に適していない景色の場合にはシャッタ眼鏡が開放状態を維持する指令を与え 、これにより、これらのビデオシーケンス部分の場合に優れたイメージ品位が得 られるようにする。 第１１図は、３Ｄ視界複合ビデオ出力を作るＤＤＣデコーダのブロック図を示 す。ＭＳＤデコーダは、２つの可変速クロック（一方は左側のＲＡＭラインスト ア用、他方は右側のＲＡＭラインストア用である）を作る。この形式のデコーダ は、本件出願人の既存の自動立体３Ｄディスプレイの視界ストアに置換するのに 適している。この技術は、元の２Ｄビデオソースと同じ視界割合（field rate） の左右のビデオソースを形成する（すなわち、視界連続ビデオ出力（field seq- uential video output）が作られる。 別の構成として、非視界ビデオ出力（non-field video output）を、２Ｄイメ ージより高い解像度の走査速度で出力に作ることができる。 第１２図は、ＭＳＤデコーダの一態様を示すブロック図である。この場合、Ｍ ＳＤデータは、ビデオ信号の最初の１６ライン（第１３図）の複合ビデオ信号に 符号化される。入ってくる複合ビデオ信号は、マイクロプロセッサに垂直タイミ ング信号及び水平タイミング信号を与える同期分離器に供給される。また、ビデ オ（信号）は、黒レベルクランプ回路、比較器及びレベルシフタに供給される。 レベルシフタからの出力は、ビデオ信号のライン１〜１６の一連の符号化された ＭＳＤデータを保有するＴＴＬレベル信号である。マイクロプロセッサは、水平 同期パルスを待機してループしており、ライン１の水平同期パルスを決定した後 、次の１６バイトを読み取る。ＭＳＤデータが完全に読み取られるまで、同様な プロセスが次の１５ラインに反復される。受けたＭＳＤデータに基づいて、マイ クロプロセッサは、連続する各ビデオラインのデジタルビデオラインストアに可 変速クロックを与える。マイクロプロセッサは、ラインの同期パルスをカウント することによりビデオラインが処理されるインデックスを維持する。 ３Ｄイメージの深度知覚は、観者によって異なる。また、シャッタ眼鏡を着用 して３Ｄイメージを見る場合には、３Ｄイメージの「強度」は、観察距離で調節 する必要がある。３Ｄイメージの強度は、マイクロプロセッサにより供給される アルゴリズムを介して３Ｄイメージの強度を観者が変えることができるリモート コントロール装置で変えることができる。アルゴリズムはＭＳＤ行列の各要素の 大きさを変えることによって、３Ｄ効果の強度を変化させる。特定の観者の好み がひとたび入力されたならば、デコーダユニットによりこの設定を維持させるこ とも考えられる。 ＤＤＣ符号化されたビデオイメージのリアルタイム創成には多くの技術がある 。このような技術のうちの１つの技術では、カメラレンズと、付加された測距用 電荷結合素子（ＣＣＤ）配列との間の距離が変えられる（第１４図）。ＣＣＤは 、各目標の焦点段階が変化されたイメージをもつ一連のフレームを作る。次に、 鮮鋭度検出アルゴリズムを一連のフレームに適用し、イメージの各目標について の鮮鋭度インデックスを決定する。次に、どのフレームで各目標が最も鮮鋭であ るかを決定する（これは、当該目標が位置する焦点面を示す）。次に、この情報 を使用してＭＳＤデータを形成する。 第１５図は、２つのビデオカメラを使用して別々の左目イメージ及び右目イメ ージを創成する他の技術を示す。各カメラからの輝度情報はデジタル化されて、 ラインストアに供給される。自動相関器又は同様な作動機器が、２つのラインス トア内のビットパターン（左右で１６要素）を比較して、ふさわしいペアを探す 。イメージ内の目標を表すビデオパターン間の差（距離）を用いてＭＳＤデータ を作る。１つのカメラ出力とＭＳＤデータとを結合して、ＤＤＣ符号化されたビ デオをリアルタイムに作る。 別の構成として、２つのビデオカメラの代わりに、立体ビデオカメラを使用す ることもできる。 ＤＤＣを使用して、既存の非アイトラッキング自動立体３Ｄ多観者用システム の重大な欠点を解消することができる。これらのシステムは、第１６図に示すよ うに、左右のイメージの反復シーケンスを作ることにより３Ｄイメージを形成す る。各連続イメージ間の距離は６５ｍｍであり、これは観者の眼間距離に等しい 。従って、位置Ａに居る観者は正しいシーケンスの３Ｄイメージを見るであろう 。 しかしながら、観者が横方向に３２ｍｍ移動して位置Ｂに居るとすると、この 場合には、右目で左側イメージを見て、左目で右側イメージを見ることになる（ す なわち、観者は「反転３Ｄ」イメージを見ることになる）。この反転３Ｄイメー ジは、観者に非常な不快感を与え、短時間でも観者に疲労感すなわち頭痛を引き 起こす。 殆どの多観者用自動立体イメージシステムはこの欠点を有している。より詳し くは、殆どのシステムは、レンズ形レンズ(lenticular lenses)及び格子形イメ ージセパレータを用いている。第１７図には、レンズ形レンズを使用した多観者 用自動立体イメージシステムが示されている。左側プロジェクタからのイメージ は第１レンズ形レンズを通って、マットスクリーンの表面上に合焦される。第２ レンズ形レンズがこのイメージを再合焦させ、観察距離の位置に光の垂直ストラ イプを形成する。右側イメージを含む第２プロジェクタも第１レンズ形レンズを 照射するが、両プロジェクタ間の横方向のずれのため、観者の平面において得ら れる右目イメージは左目イメージから６５ｍｍずれている。６５ｍｍ間隔を隔て た左右イメージのこの交互シーケンスが反復される。 正しい位置に居る観者は正しい３Ｄイメージを見られるが、前述のように観者 が不正確な位置に移動すると、反転３Ｄイメージを見ることになる。 実際に、レンズ形レンズを使用する３Ｄイメージシステムを見るべく最初に座 るとき、観者が正しい３Ｄイメージを見るか反転３Ｄイメージを見るかを決定す ることは困難である。観者は、不快感を覚えるまで、正しくない位置に居ること に気付かない。 また、観者が長時間に亘って正しい観察位置を維持することは困難である。ま た、観者は、第２レンズ形レンズから正しい距離に居ることも必要である。正し くない距離で見ると、フリンジ効果及びクロストーク効果が生じ易くなるからで ある。 レンズ形レンズを使用するシステムに付随する他の問題は解像度である。解像 度は、全レンズ形レンズの各「レンズ素子」のピッチ（約１ｍｍ）により制限さ れる。 左右だけのイメージを投影する代わりに、第１８図に示すように、多数（例え ば４つ）のプロジェクタを用いたレンズ形レンズを使用するイメージシステムに より、一連のイメージ１、２、３、４（各イメージは６５ｍｍの間隔を隔ててい る）を作ることを考える。元の景色は、同じシーケンス及び間隔を隔てた４つの カメラを用いて記録されている。位置Ａ、Ｂ又はＤに居る観者は正しい３Ｄイメ ージを見るが、位置Ｃに居る観者は反転３Ｄイメージを見る。 これは、許容できる３Ｄイメージを、横方向に３倍の距離で見ることができる ため、従前の左右システムに比べ大きな改善である。観者は、従前の左右システ ムと同様に、不快感を覚えるまで、位置Ｄが反転３Ｄイメージを与えることに気 付かない。 ここで、プロジェクタ４を「無」イメージ（黒）に置換すると（第１９図）、 位置Ａ、Ｂは前と同様であるが、位置Ｃでは、右目に平面イメージを作りかつ左 目に黒色イメージを作り、不快感を覚えることなく見続けることができる。同様 に、位置Ｄも平面イメージを作るが、この場合も反転３Ｄ効果は生じない。かく して、本発明者は、５０％の観者位置で正しい３Ｄイメージが作られ、かつ５０ ％の観者位置で僅かに劣っているが不快でないイメージが作られ、反転３Ｄ効果 を無くすことができるシステムを得た。 プロジェクタの個数を増大させかつ無イメージを設けることにより、正しい３ Ｄイメージが見られる横方向距離を増大できかつ反転３Ｄ効果を無くすことがで きる。 しかしながら、このような多プロジェクタシステムを実施することは実用的で ないと考えられる。なぜならば、先ず、プロジェクタの個数が増大すると、各プ ロジェクタにビデオイメージを与えるのに必要な伝送／記録バンド幅が実用的な ものでなくなるからである。 このアプローチの制限は、ＤＤＣ符号化された２Ｄイメージを伝送しかつＤＤ Ｃを用いて必要数の投影イメージを合成することにより解決できる。ＤＤＣデコ ーダ内には広いバンド幅が要求されるが、送信機及び／又は記録機器には元の２ Ｄバンド幅が維持される。 第２０図には、ＤＤＣデコーダ及びレンズ形レンズを使用する多観者用イメー ジシステムが示されている。 ＤＤＣ符号化／復号化は、次のように、元のイメージの極左から極右に至る可 能イメージ範囲を表すビデオイメージのシーケンスを作ることを可能にする。 〔Ｌ、Ｌ１、Ｌ２・・・Ｒ２、Ｒ１、Ｒ〕 要するに、幾つかの用途は次のように説明される。 ＤＤＣすなわち力学的深度合図（Dynamic Depth Cueing）は、変換の中間段階 にある２Ｄから３Ｄへの変換プロセスから得られるデータ形式についての用語で ある。この段階では、データは、元のビデオ信号と、デジタル又はアナログ形式 に符号化されたデータパケットとからなり、変換仕事を完了すべく特定電子ハー ドウェア及び／又はソフトウェアに命令する必要がある全ては、この付加データ である。合成３Ｄ情報は、視界連続（すなわち左／右）形ビデオフォーマット、 ２つの別々のビデオストリーム、ライン・ビー・ラインシステム（a line be li ne system） （すなわち、左側視界から１ライン、右側視界から１ライン）又 は有効な他の何らかのフォーマットの形態にすることができる。 変換データパケットのフォーマットの入念な設計により、標準ＴＶ上にディス プレイされたときに付加データに気付かないように、この付加データを含めるこ とができる。かくして、既存のテレビジョン設備を変更することなく３Ｄテレビ ジョン送信を行なうことができる。デコーダは、視覚装置（すなわちＴＶ）の近 くに配置できかつ本質的に、伝送信号を遮断し、復号しかつＴＶに出力してこれ を見るための「ブラックボックス」である。従って、各ＴＶに「ブラックボック ス」を付加することにより、既存の２ＤペイＴＶ又はＴＶ網構造の改良が簡単化 される。 多イメージ形自動立体３Ｄディスプレイシステム用媒体の供給について説明する 。これらのシステムは、僅かに異なる斜視図による多イメージを供給することに 基づいている。これらのシステムは、異なる斜視図の個数が大きい（例えば、８ 〜１６）と、非常に多くの観者が見ることができるようになる点で非常に有効で ある。これらの主な欠点は、同時に利用するための非常に多くの異なる景図を必 要とするので、高度なビデオ圧縮技術を用いたとしても、媒体の供給が非常に困 難なことである。しかしながら、ＤＤＣデコーダを用いて３Ｄ媒体を創成するな らば、要求された数と同数の個々の斜視図を創成できる。また、通常の２Ｄイメ ージと同様、ＴＶやビデオデコーダのような機器を作ることができる。観者は、 伝送されたイメージについてのいかなる変化も気付かない。 ＤＤＣ符号化された標準２Ｄビデオイメージは、次のような特徴を有する。 ・ＤＤＣ符号化された２Ｄイメージは、ＴＶ及びビデオレコーダのような標準 ビデオ機器に、通常の２Ｄイメージとして受信できる。観者は、伝送されたイメ ージについてのいかなる変化も気付かない。 ・ＤＤＣ符号化されたイメージは、既存の全てのビデオ、編集、記録、受信及 び送信システム及び技術との完全な互換性を有している。従って、ＤＤＣ符号化 された２Ｄイメージは、既存の全てのビデオ技術及びテレビジョン技術に対して 使用できる。 ・ＤＤＣ符号化された２Ｄビデオは、カラーＴＶ及びステレオサウンドの導入 と同様にして市場に投入できる。ＤＤＣデコーダを備えたＴＶセット（観者が適 当な視覚眼鏡を用いるもの）又は３ＤＴＶセットでは３Ｄイメージがディスプレ イされる。 ・ＤＤＣ符号化は景色間のシームレス遷移が可能であり、これは３Ｄ符号化の 場合にも有効でありかつ２Ｄでディスプレイする場合にも有効である。この遷移 部は、観者が気付くことはない。 ・ＤＤＣ符号化されたビデオは、既存の全ての３Ｄディスプレイ機器にディス プレイできかつ多観者用システムとして適している。 ・ＤＤＣ符号化は、元のビデオソースのライン及び視界規格を保有する。 ・ＤＤＣ符号化は、左／右視界連続フォーマットでの３Ｄビデオイメージを符 号化する場合のように、イメージ更新周波数（image update frequency）を低下 させることはない。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，Ｇ Ｅ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ， ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，Ｐ Ｌ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ， ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イ メージを作る方法において、前記元のイメージの選択領域を、決定された量及び 方向だけずらすことにより引き伸ばされたイメージを創成し、この引き伸ばされ たイメージが前記左目イメージ及び右目イメージを形成することを特徴とする方 法。 ２．元の２Ｄイメージから、立体ディスプレイのための左目イメージ及び右目イ メージを作る方法において、 ａ）前記元のイメージ内の少なくとも１つの目標を特定し、 ｂ）前記目標又は各目標のアウトラインを定め、 ｃ）前記目標又は各目標の深度特性を定め、 ｄ）前記目標又は各目標の選択領域を、これらの目標の深度特性の関数とし て決定された量だけそれぞれ横方向にずらし、観者の左目及び右目で見るための ２つの引き伸ばされたイメージを形成することを特徴とする方法。 ３．前記元の２Ｄイメージが形成された部分をずらして、イメージ内にいかなる 黒領域も生じないようにすることを特徴とする請求の範囲第１項又は第２項に記 載の方法。 ４．前記引き伸ばされたイメージの一方が、他方の前記引き伸ばされたイメージ の鏡像イメージであることを特徴とする請求の範囲第１項〜第３項のいずれか１ 項に記載の方法。 ５．前記各目標には、別々の深度特性が与えられることを特徴とする請求の範囲 第２項に記載の方法。 ６．複数の２Ｄイメージが変換されることを特徴とする請求の範囲第１項〜第５ 項のいずれか１項に記載の方法。 ７．デジタル化された２Ｄイメージから、立体ディスプレイのための左目イメー ジ及び右目イメージを作る方法において、 前記デジタル化されたイメージ上にメッシュを形成し、該メッシュが、最初 は、複数の平行な横方向メッシュラインと、複数の平行な長手方向メッシュライ ンとを備え、前記横方向メッシュラインが前記長手方向メッシュラインに対して 直角に配置されかつ複数のサブポイントを形成すべく交差し、 前記サブポイントを移動させることによりメッシュを歪ませ、下に横たわる イメージを引き伸ばすことを特徴とする方法。 ８．互いに隣接するサブポイント間の前記メッシュラインは、全ての歪みの終時 に連続した状態を維持していることを特徴とする請求の範囲第７項に記載の方法 。 ９．前記サブポイントは、横方向にずれてメッシュを歪ませることを特徴とする 請求の範囲第７項又は第８項に記載の方法。 10．各サブポイントの歪み量を使用して、元の２Ｄイメージを立体ディスプレイ のための左目イメージ及び右目イメージに変換できるようにするデータを作り、 該データは、イメージ内のどの目標を処理すべきであるか、前記目標を如何に処 理すべきであるか、他の目標に対する前記目標の優先度、及び前記目標の深度特 性を規定することを特徴とする請求の範囲第７項〜第９項のいずれか１項に記載 の方法。 11．前記各サブポイントに要求される歪みを定める数学的アルゴリズムを創出す ることを特徴とする請求の範囲第１０項に記載の方法。 12．前記元の２Ｄイメージ及び変換データは、標準２Ｄ技術に沿って伝送できる ことを特徴とする請求の範囲第１０項又は第１１項に記載の方法。 13．立体ディスプレイのための左目イメージ及び右目イメージへの２Ｄビデオ信 号の変換を補助すべく、変換データを用いて２Ｄビデオ信号を符号化する方法に おいて、 前記ビデオ信号に変換データを付加して符号化された信号を作り、前記変換 データは、ビデオイメージを立体ディスプレイ用の引き伸ばされたイメージに変 換すを特徴とする方法。 14．.前記変換データは、伝送すべき標準２Ｄイメージの頂部及び／又は底部の ブランクライン内で伝送されることを特徴とする請求の範囲第１３項に記載の方 法。 15．前記変換データは、伝送すべき標準２Ｄイメージの水平同期時間内に伝送さ れることを特徴とする請求の範囲第１３項に記載の方法。 16．前記変換データは、伝送すべき標準２Ｄイメージの各ラインの水平オーバー スキャン領域内で伝送されることを特徴とする請求の範囲第１３項に記載の方法 。 17．３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、 複数のビデオカメラからビデオイメージを捕捉し、 それぞれの各ビデオカメラからのビデオイメージを比較して前記変換データ を作り、該変換データは、立体ディスプレイのための左目イメージ及び右目イメ ージへのビデオイメージの変換を行なうためのビデオイメージのそれぞれの点の ずれを定め、 前記ビデオカメラの１つからのビデオ信号と変換データとを結合して符号化 されたビデオ信号を作ることを特徴とする方法。 18．立体ディスプレイを形成するためのビデオ信号を符号化する方法において、 前記ビデオ信号を受け、該ビデオ信号は２Ｄビデオイメージ及び該ビデオイ メージを変換するための変換データを有し、該変換データは、ビデオイメージを 、立体ディスプレイ用の引き伸ばされたイメージに変換するためのビデオイメー ジのそれぞれの点のずれを定め、 前記ビデオ信号から変換データを読み出し、 前記変換データに従って前記２Ｄビデオイメージ内の目標をずらすことによ り、ディスプレイ用２Ｄビデオイメージから左目イメージ及び右目イメージを作 ることを特徴とする方法。 19．前記２ＤビデオイメージをＲＧＢ成分に変換し、 各成分をデジタル信号に変換し、 左目イメージ及び右目イメージを作る前に前記デジタル信号を記憶すること を特徴とする請求の範囲第１８項に記載の方法。 20．前記デジタル信号は、変換データの関数として、可変速度で記憶部から読み 出されることを特徴とする請求の範囲第１８項又は第１９項に記載の方法。 21．前記デジタル信号は、変換データの関数として、可変速度で記憶部に読み込 まれることを特徴とする請求の範囲第１８項又は第１９項に記載の方法。 22．前記デジタル信号は、アナログシステム上で見るためアナログに変換される ことを特徴とする請求の範囲第１８項〜第２１項のいずれか１項に記載の方法。 23．前記変換データは前記ビデオ信号から分離されることを特徴とする請求の範 囲第１８項〜第２１項のいずれか１項に記載の方法。 24．元の２Ｄイメージから立体ディスプレイ用の左目イメージ及び右目イメージ を作るシステムにおいて、前記元のイメージの領域を選択する手段と、前記選択 領域を決定された量及び方向だけずらして引き伸ばされたイメージを創成する手 段とを有し、前記引き伸ばされたイメージは前記左目イメージ及び右目イメージ を形成することを特徴とするシステム。 25．元の２Ｄイメージから立体ディスプレイのための左目イメージ及び右目イメ ージを作るシステムにおいて、 前記元のイメージ内の目標を特定する手段と、 各目標の深度特性を定める手段と、 各目標の選択領域を、各目標の深度特性の関数として決定された量だけ横方 向にずらし、観者の左目及び右目で見るための２つの引き伸ばされたイメージを 形成する手段とを有することを特徴とするシステム。 26．一方の引き伸ばされたイメージの鏡像イメージを創成する手段を有すること を特徴とする請求の範囲第２４項又は第２５項に記載のシステム。 27．前記深度特性を定める手段は、イメージの各目標について別々の深度特性を 定めることができることを特徴とする請求の範囲第２４項〜第２６項のいずれか １項に記載のシステム。 28．複数の２Ｄイメージを変換できることを特徴とする請求の範囲第２４項〜第 ２７項のいずれか１項に記載のシステム。 29．３Ｄ変換データで符号化された２Ｄビデオ信号を作るシステムにおいて、互 いに横方向にずらして配置された少なくとも第１および第２のビデオカメラと、 変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメ ラからデータを受けかつ比較して変換データを作り、該変換データは、一方のビ デオカメラからのビデオイメージのそれぞれの点のずれを定め、ビデオイメージ を立体ディスプレイのための引き伸ばされたイメージに変換し、 前記一方のビデオカメラからのビデオ信号と前記変換手段からの変換データ とを結合して、符号化されたビデオ信号を作るためのエンコーダ手段を更に有す ることを特徴とするシステム。 30．立体ディスプレイを形成するためのビデオ信号を復号するためのデコーダで あって、前記信号が２Ｄビデオイメージを形成し、ビデオイメージを変換するた めの変換データを更に有し、該変換データが、ビデオイメージのそれぞれの点の ずれを定め、ビデオイメージを立体ディスプレイのための引き伸ばされたイメー ジに変換する構成のデコーダにおいて、 ａ）ビデオ信号を受ける手段と、 ｂ）変換データを読み出しかつビデオ信号を制御して変換されたビデオ信号 を作るための復号手段とを有することを特徴とするデコーダ。 31．ａ）ビデオ信号を別々のビデオ信号成分に変換するためのＲＧＢすなわち成 分ビデオ変換器と、 ｂ）各ビデオ成分をそれぞれのデジタル信号に変換するためのＡ／Ｄ変換手 段と、 ｃ）前記デジタル信号を記憶するためのデジタル記憶手段とを有することを 特徴とする請求の範囲第３０項に記載のデコーダ。 32．前記デコーダは、デジタル記憶手段の読み出し速度を制御する可変周波数ク ロック手段を制御するように構成され、これにより前期記憶手段が可変速度で読 み出されて、変換データに従って２Ｄイメージを変換することを特徴とする請求 の範囲第３０項又は第３１項に記載のデコーダ。 33．前記デコーダは、デジタル記憶手段の読み出し速度を制御する可変周波数ク ロック手段を制御するように構成され、これにより、ＲＧＢすなわちビデオ成分 が可変速度で記憶手段に読み込まれて、変換データに従って２Ｄイメージを変換 することを特徴とする請求の範囲第３０項又は第３１項に記載のデコーダ。 34．前記記憶手段はデュアルポートＲＡＭラインストアの形態をなしていること を特徴とする請求の範囲第３０項〜第３３項のいずれか１項に記載のデコーダ。 35．単一ビデオラインを処理することを特徴とする請求の範囲第３０項〜第３４ 項のいずれか１項に記載のデコーダ。 36．多ビデオラインを処理することを特徴とする請求の範囲第３０項〜第３４項 のいずれか１項に記載のデコーダ。 37．視覚手段上で見ることができるように、読み出されたデジタル信号を変換さ れたビデオ信号に変換するためのＤ／Ａ変換手段が設けられていることを特徴と する請求の範囲第３０項〜第３６項のいずれか１項に記載のデコーダ。 38．変換された左側ビデオイメージ及び右側ビデオイメージのデジタル信号をそ れぞれ記憶するための並列記憶手段を有していることを特徴とする請求の範囲第 ３０項〜第３６項のいずれか１項に記載のデコーダ。 39．前記変換されたデータをビデオ信号から分離するための分離手段を有してい ることを特徴とする請求の範囲第３０項〜第３８項のいずれか１項に記載のデコ ーダ。 40．ａ）ビデオイメージを形成するビデオ信号を変換データで符号化するための エンコーダを有し、変換データは、ビデオイメージを立体ディスプレイ用の引き 伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれを定 め、 ｂ）変換データをビデオ信号から分離させかつ変換データの関数としてビデ オ信号を変換するためのデコーダとを有することを特徴とする立体イメージディ スプレイシステム。 41．ビデオ信号を復号させて立体ディスプレイを形成するためのデコーダと、ビ デオ信号は２Ｄビデオイメージを形成し、さらに、ビデオイメージを変換するた めの変換データを有し、変換データは、ビデオイメージを立体ディスプレイ用の 引き伸ばされたイメージに変換するため、ビデオイメージのそれぞれの点のずれ を定め、前記デコーダは、ビデオ信号を受ける手段と、変換データを読み出しか つビデオ信号を制御して変換されたビデオ信号を形成する手段とを有しているこ とを特徴とする多観者用立体ディスプレイシステム。 42．３Ｄ変換データで符号化された２Ｄビデオイメージを作る方法において、立 体ビデオカメラから左目ビデオイメージ及び右目ビデオイメージを捕捉し、 立体ビデオカメラからの左目ビデオイメージ及び右目ビデオイメージを比較 して前記変換データを作り、該変換データは、立体ディスプレイのための左目イ メージ及び右目イメージへのビデオイメージの変換を行なうためのビデオイメー ジのそれぞれの点のずれを定め、 前記ビデオカメラからのビデオ信号と変換データとを結合して符号化された ビデオ信号を作ることを特徴とする方法。 43．３Ｄ変換データで符号化された２Ｄビデオイメージを作るシステムにおいて 、立体ビデオカメラと、 変換データを作るための変換手段とを有し、該変換手段は、前記ビデオカメ ラからデータを受けかつ比較して変換データを作り、該変換データは、ビデオイ メージを立体ディスプレイのための引き伸ばされたイメージに変換するための、 ビデオイメージのそれぞれの点のずれを定め、 ビデオ信号と前記変換手段からの変換データとを結合して、符号化されたビ デオ信号を作るためのエンコーダ手段を更に有することを特徴とするシステム。