JP6023066B2 - 異なる次元のビデオデータストリームを同時表示用に組み合わせること - Google Patents

Description

本発明の実施形態は、一般に電子画像表示の分野に関し、より具体的には、異なる次元のビデオデータストリームを同時表示用に組み合わせることに関する。

テレビ、コンピュータなどの表示システム又はその他の同様の表示システムを利用して、複数のビデオデータストリームから生成される複数のビデオ画像の表示を生成することができる。表示は、複数のデータストリームの同時表示を含むことができる。

特に、表示システムは、主画像と１つ又はそれ以上の副画像とを生成することができる。例えば、ピクチャ・イン・ピクチャ（ＰｉＰ）表示は、特定のビデオ送受信機要素の機能である。ＰｉＰ表示においては、第１のチャンネル（主画像）がディスプレイの大部分（例えば全画面表示）を用いて表示され、同時に１つ又はそれ以上のその他のチャンネル（副画像）がはめ込みウィンドウ内に表示される。従って、１つ又はそれ以上の副画像は一般に、主画像の一部を覆い隠す。

しかしながら、ビデオ技術は発展しており、単なる２次元（２Ｄ）画像にとどまらず、３次元（３Ｄ）画像を含むことができる。一例において、データは、２Ｄ ＨＤＭＩ（商標）（高解像度マルチメディア・インターフェース）ビデオデータストリーム並びに３Ｄ ＨＤＭＩビデオデータストリームを含むことができる（２００９年５月２８日に発行された高解像度マルチメディア・インターフェース１．４規格）。従って、画像の生成のために受信されるデータストリームは、２Ｄビデオデータストリーム、３Ｄビデオデータストリーム、又は２Ｄ及び３Ｄビデオデータストリームの組合せの場合がある。

「Ｓｔａｎｄａｒｄ ｆｏｒ ａ Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｅｒｉａｌ Ｂｕｓ」１３９４−１９９５、ＩＥＥＥ、１９９６年８月３０日発行及び補遺

本発明の実施形態は、一般に、異なる次元のビデオデータストリームを同時表示用に組み合わせることに向けられる。

本発明の第１の態様において、装置の実施形態は、複数のビデオデータストリームを受信するインターフェースを含み、各ビデオストリームの次元は、２次元（２Ｄ）又は３次元（３Ｄ）のいずれかである。この装置は、第１のビデオデータストリームを主ビデオ画像として処理し、１つ又はそれ以上のビデオデータストリームをビデオ副画像として処理する処理モジュールをさらに含み、処理モジュールは、主ビデオデータストリームと副ビデオデータストリームとを組み合わせて複合出力を生成するビデオコンバイナを含む。処理モジュールは、ビデオ副画像の各々の次元を変更して主ビデオ画像の次元に適合させるように構成される。

本発明の第２の態様において、方法の実施形態は、複数のビデオデータストリームを受信することを含み、ビデオデータストリームの各々の次元は、２次元（２Ｄ）又は３次元（３Ｄ）のいずれかである。第１のビデオデータストリームが主ビデオチャンネルとして選択され、１つ又はそれ以上のビデオデータストリームが副ビデオチャンネルとして選択される。副ビデオデータストリームの各々の次元は、第１のデータストリームの次元と整合するように変換される。複合ビデオ出力が生成され、ビデオ出力は、主ビデオチャンネルから生成された主ビデオ画像と副ビデオチャンネルから生成されたビデオ副画像とを含む。

本発明の第３の態様において、ビデオコンバイナの実施形態は、主ビデオデータストリームと１つ又はそれ以上の副ビデオデータストリームとを多重化して複合ピクセルデータを生成するマルチプレクサを含み、データストリームは、３次元（３Ｄ）又は２次元（２Ｄ）のいずれかとすることができる。ビデオコンバイナは、主ビデオデータストリームから同期信号を抽出する同期抽出器と、複合ピクセルデータに含めるべきピクセルを抽出された同期信号に基づいて識別し、２Ｄ及び３Ｄ主ビデオストリームに対して動作する第１の座標プロセッサと、第２の座標プロセッサを含む３Ｄビデオモジュールとをさらに含み、第２の座標プロセッサは、複合ピクセルデータに含めるべきピクセルを抽出された同期信号に基づいて識別し、３Ｄ主ビデオストリームに対して動作する。

本発明の実施形態は、添付図面における図において、例示を目的として限定を目的とせずに示され、図中、同様の符号は同様の要素を示す。

２Ｄ及び３Ｄビデオデータストリームを表示するシステムの図である。 ２Ｄ及び３Ｄビデオデータフレームの図である。 主ビデオ及び副ビデオデータストリームの処理及び表示のための装置及びシステムの実施形態の図である。 ビデオデータストリームを扱うためのプロセスの実施形態を示すフローチャートである。 ２Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ２Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ３Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ３Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ２Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ２Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ３Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ３Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。 ２Ｄ副ビデオデータストリームを３Ｄ主ビデオストリーム内でシフトするための実施形態を示す。 ３Ｄ副ビデオデータストリームを３Ｄ主ビデオストリーム内でシフトするための実施形態を示す。 異なる次元のデータストリームを組み合わせるためのビデオコンバイナの実施形態を示す。 異なる次元のデータストリームを処理するための装置又はシステムの実施形態を示す。

本発明の実施形態は、一般に、異なる次元のビデオデータストリームを同時表示用に組み合わせることに向けられる。

幾つかの実施形態において、複数のビデオデータストリームを同時表示するための方法、装置又はシステムが提供され、このビデオデータストリームは異なる次元のストリームを含むことができる。データストリームは、２次元（２Ｄ）及び３次元（３Ｄ）両方のデータストリームを含むことができる。本明細書で用いられる場合、画像又はビデオストリームの次元とは、その画像又はビデオによって表わされる次元のタイプ又は数のことを指し、従ってそのビデオ又は画像が２Ｄ次元又は３Ｄ次元のどちらであるかを指す。

幾つかの実施形態において、方法、装置、又はシステムは、ビデオデータストリームから生成された画像を組み合わせ又は混合して、複合ビデオ出力内で１つ又はそれ以上の副ビデオ画像が主ビデオ画像と共に表示されるように動作すること可能であり、この方法、装置又はシステムは、画像の次元を整合させるように動作する。幾つかの実施形態において、１つ又はそれ以上の副ビデオ画像は、その副ビデオ画像の次元が主ビデオ画像と整合するように変換又は合成される。

図１は、２Ｄ及び３Ｄビデオデータストリームを表示するシステムの図である。この図において、２次元の場合、ＨＤＭＩ送信機などの送信装置（データソース）１０５は、２Ｄデータフレームのストリームを含むデータストリーム１１０を提供することができる。２Ｄデータストリームは、データストリームを受信すると２Ｄ画像をデコードし表示する高解像度テレビ（ＨＤＴＶ）などの受信装置（データシンク）１１５により受信される。３Ｄビデオフォーマットは、視聴者の両目でわずかに異なる画像を見せて画像内に奥行きの錯覚を生み出すＨＤＭＩのより新しい機能である。３次元の場合、３Ｄ互換性ＨＤＭＩ送信機などの３Ｄビデオ用送信装置１２０は、左及び右のチャンネル画像を含む３Ｄデータフレームのストリームを含む、データストリーム１２５を提供することができる。図１に示されるように、３Ｄ対応ＨＤＭＩ送信機は、左右両方の画像を単一のフレーム内にパックし、このフレームをＨＤＭＩデータストリーム上に送信する。３Ｄデータストリームは、左右のチャンネルを表示する３Ｄビデオ機能を有するＨＤＴＶなどの受信装置１３０によって受信される。３Ｄ対応ＨＤＴＶ１３０は、３Ｄフレームを受信すると、データフレームをデコードし、左画像と右画像に分割する。立体画像を表示するための幾つかの方法があり、アクティブシャッター方式の眼鏡１４０は、ＨＤＴＶを見るための普及した方法である。図示されるように、ＨＤＴＶは、表示パネル上で左右の画像を交互に切り替えることにより立体表示を実行する。この図において、アクティブ眼鏡１４０は、ＨＤＴＶ１３０により表示される左画像１５０又は右画像１４５と同期して光を遮断又は透過し、ＨＤＴＶ１３０は、アクティブ眼鏡１４０の動作のための同期信号を一斉送信する同期エミッタ１３５を含む。

図２は、２Ｄ及び３Ｄのビデオデータフレームの図である。図２は、２Ｄビデオフォーマット２０５及び３Ｄビデオフォーマット２１０を示す。２Ｄフォーマット２０５においては、フレーム１の後に第２のフレームであるフレーム２が続くような単一のアクティブビデオ領域が設けられる。３Ｄビデオフォーマット２１０においては、左領域及び右領域として示された２つのアクティブビデオ領域とその２つのアクティブビデオ領域間のアクティブ空間とが一緒になって３Ｄアクティブビデオフレームを構成する。３Ｄビデオ構造のための幾つかの可能なフォーマットが存在し、可能なフォーマットには、フレーム・パッキング、フィールド・オルタナティブ、ライン・オルタナティブ、サイド・バイ・サイド、Ｌ＋ｄｅｐｔｈ及びその他が含まれる。そのようなフォーマットのほとんどは、２つの２Ｄフレーム（左及び右）が単一の３Ｄフレームを構成するという点で、図示したフレーム構造との類似性を有する。しかしながら、実施形態はこのタイプの３Ｄ構造に限定されない。

図３は、主ビデオストリーム及び副ビデオデータストリームの処理及び表示のための装置及びシステムの実施形態の図である。この図において、複数のビデオストリームからＰｉＰビデオを生成するための実施形態の概略フロー図が提供される。幾つかの実施形態において、複数の着信ビデオチャンネルのうちの１つが、主ビデオとして用いるために視聴者によって選択される。この図において、主ビデオ３３０を生成するために選択されたビデオチャンネルは、ビデオ１すなわち要素３０２である。１つ又はそれ以上の着信ビデオチャンネルを副ビデオチャンネル用に選択することができ、それらはこの図においては副チャンネル選択３１４によるビデオ２すなわち要素３０４から副チャンネル選択３１６によるビデオＮ＋１すなわち要素３０６までである。幾つかの実施形態において、副ビデオチャンネルは、ビデオ画像上に例えば設定メニュー又はクローズドキャプション（字幕）のような情報を重ね合わせる機能であるオンスクリーン・ディスプレイ（ＯＳＤ）を含むことができる。幾つかの実施形態において、副ビデオチャンネルとして選択されたビデオチャンネルに対して、ビデオチャンネルのダウンサンプリング、ダウンスケーリング、又はクロッピングを含むがこれに限定されないダウンサイズを行い、表示用の画面ウィンドウに適合にさせることができる。幾つかの実施形態において、ダウンサンプリング・プロセス又はモジュール３１８−３２０のようなダウンサイズ要素は、副チャンネルからの副ビデオのサイズを縮小して、図３において副１すなわち要素３３２及び副Ｎすなわち要素３３４として示された副画像を生成する。幾つかの実施形態において、副画像を主ビデオストリームと同期させるために、副画像はダウンサンプリング・モジュールから受信され、画像を組み合わせる前に１つ又はそれ以上のバッファ３２２−３２４内に一時的に格納される。幾つかの実施形態において、このバッファを利用して、主ビデオ３３０の１つ又は複数の部分に重ね合わされる副ビデオ用のピクセルデータが提供される。幾つかの実施形態において、ビデオコンバイナ・プロセス又はモジュール３４０は、主ビデオ３５２及び副ビデオ３５４−３５６を含む複合ビデオ出力３５０として示されるような単一の画面内での表示のために、主ビデオ画像３３０及び副ビデオ画像３３２−３３４をマージするように動作する。全ての着信ビデオストリームが異なる解像度及びサンプリングレートを有し得る２Ｄビデオであると仮定する従来のＰｉＰビデオとは対照的に、幾つかの実施形態は、２Ｄビデオ及び３Ｄビデオを共にＰｉＰ表示用にサポートするビデオ複合機能の強化をもたらす。

幾つかの実施形態において、装置、システム又は方法は、ＰｉＰ表示用に均質なビデオ及び不均質なビデオの両方を組み合わせることを規定する。幾つかの実施形態において、不均質なＰＩＰ表示の場合、着信ビデオデータストリームの少なくとも１つが２Ｄビデオデータであると同時に、着信ビデオデータストリームの少なくとも１つが３Ｄビデオデータである。幾つかの実施形態において、送出ビデオは、主着信ビデオの次元に応じて２Ｄ又は３Ｄビデオ画像のいずれかとすることができる。

表１は、着信２Ｄ及び３Ｄビデオデータストリームと得られる送出ＰｉＰビデオ画像との組み合わせを示す。幾つかの実施形態において、送出ＰｉＰビデオの次元は、主ビデオデータ画像として選択されたデータストリームの次元に関連付けられる。

表１

図４は、ビデオデータストリームを扱うプロセスの実施形態を示すフローチャートである。この図では、複数のビデオ入力が受信され（４０５）、ここでビデオ入力は２Ｄ及び３Ｄビデオストリームの任意の組み合わせとすることができる。ビデオ入力の中で、主チャンネルと１つ又はそれ以上の副チャンネルとが識別される（４１０）。幾つかの実施形態において、副チャンネルがダウンサイズされ、ＰｉＰ表示用の副ビデオが形成される（４１５）。

幾つかの実施形態において、主ビデオが２Ｄであり（４２０）、かつ副チャンネルが２Ｄである場合（４２５）、従来のＰｉＰ動作の場合に生じるような２Ｄ主ビデオと２Ｄ副ビデオとの組み合わせが得られる（４３５）。しかしながら、主ビデオが２Ｄであり（４２０）、かつ副チャンネルが３Ｄである場合（４２５）には、２Ｄ副ビデオが３Ｄ副チャンネルから合成される（４３０）。例えば、２Ｄ副チャンネルは、ダウンサンプリングされ組み合わされてＰｉＰビデオ出力に利用されるビデオ用に、３Ｄビデオデータストリームの左チャンネル又は右チャンネルのいずれかを選択することにより合成することができる。２Ｄ主ビデオと２Ｄ合成副ビデオとを組み合わせて複合ＰｉＰビデオ出力が形成される（４３５）。組合せに続いてビデオを提示することができ、複合ビデオは、ピクチャ・イン・ピクチャとしての２Ｄ副ビデオが２Ｄ主ビデオ上にあるものである（４４０）。

幾つかの実施形態において、主ビデオが３Ｄであり（４２０）、かつ副チャンネルが２Ｄである場合（４４５）、３Ｄ副ビデオが２Ｄ副チャンネルから合成される（４５０）。例えば、３Ｄ副ビデオは、副チャンネルを、合成３Ｄ副チャンネル用の左右両方の副チャンネルにコピーすることにより合成することができる。合成３Ｄ副チャンネルはダウンサイズされ、３Ｄ主チャンネルと組み合わされてＰｉＰビデオを生成する（４５５）。３Ｄ主ビデオと３Ｄ合成副ビデオとを組み合わせて複合ＰｉＰビデオ出力が形成される（４５５）。主ビデオが３Ｄであり（４２０）、かつ副チャンネルが３Ｄである場合（４４５）には、３Ｄ主ビデオと３Ｄ副ビデオとの組み合わせが得られる（４５５）。３Ｄ主ビデオを用いたときには、ビデオの組み合わせは、主ビデオと比べた副ビデオの相対的な視聴距離をシフトさせることを含むことができる（４６０）。組合せに続いてビデオを提示することができ、複合ビデオ出力は、ピクチャ・イン・ピクチャとしての３Ｄ副ビデオが３Ｄ主ビデオ上にあるものである（４６５）。

図５は、２Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。幾つかの実施形態において、２Ｄビデオチャンネルを主チャンネル５１０として選択することができ、各ビデオフレームは単一の主ビデオフレーム５３０を含む。２Ｄビデオチャンネルを副チャンネル５２０としてさらに選択することができ、各ビデオフレームは単一のビデオフレームを含み、これがダウンサイズされて副ビデオフレーム５３２を形成する。幾つかの実施形態において、ビデオコンバイナ５４０が主ビデオフレーム及び副ビデオフレームを受信し、このビデオコンバイナ５４０は、主ビデオストリームと副ビデオストリームとをマージするように動作する。幾つかの実施形態において、組み合わせプロセスは、視聴者又はビデオシステムにより定義された副フレーム領域内で主ビデオのピクセルを副ビデオのピクセルで置き換える。その結果は、主ビデオフレーム５５２と１つ又はそれ以上の副ビデオフレーム５５４とを含む複合ビデオ５５０であり、１つ又はそれ以上の副ビデオフレームは、主ビデオフレーム５５２の一部を覆い隠す。

図６は、３Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。幾つかの実施形態において、３Ｄビデオチャンネルを主チャンネル６１０として選択することができ、各ビデオフレームは左ビデオフレーム領域６３０及び右ビデオフレーム領域６３１を含む。３Ｄビデオチャンネルを副チャンネル６２０としてさらに選択することができ、各ビデオフレームは、ダウンサイズされて左副フレーム領域６３２を形成する左ビデオフレーム領域と、ダウンサイズされて右副フレーム領域６３３を形成する右ビデオフレーム領域とを含む。従って、主ビデオ及び副ビデオの両方とも、単一の３Ｄフレーム内に左領域及び右領域を含む３Ｄビデオである。幾つかの実施形態において、ビデオコンバイナ６４０は、主ビデオフレーム及び副ビデオフレームを受信し、主ビデオストリームと副ビデオストリームとをマージするよう動作し、このビデオコンバイナ６４０は、副ビデオの左領域を主ビデオの左領域の中に挿入し、副ビデオ領域の右領域を主ビデオの右領域の中に挿入する。複合ビデオ６５０は、左副ビデオ領域６５４を有する主左ビデオ領域６５２と、右副ビデオ領域６５５を有する主右ビデオ領域６５３とを含み、副ビデオ領域は、主ビデオ領域の一部を覆い隠す。

図７は、２Ｄ主ビデオデータストリームと３Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。この場合には、生成されるＰｉＰビデオは２Ｄであり、視聴者の画面上に３Ｄ効果は提示されない。幾つかの実施形態において、主ビデオが２Ｄであるので、生成されるＰｉＰビデオの次元は２Ｄになる。しかしながら、着信副ビデオは３Ｄである。幾つかの実施形態において、副ビデオの次元を主ビデオの次元に整合させるために、３Ｄ副ビデオを合成して２Ｄビデオを生成する。３Ｄビデオを変換又は合成して２Ｄビデオを形成するための多くの方法がある。幾つかの実施形態において、変換のための方法は、ビデオ領域の一方の側を棄却し、もう一方の側のみを用いることを含む。例えば、ビデオコンバイナは、各々の副ビデオフレームの左領域を棄却し、右領域を主ビデオに挿入することができる。視聴者は、生成されたはめ込み画面内で各々の副ビデオフレームの右画像しか見ることができないが、画像における奥行きの錯覚を作り出すために必要な左画像と右画像との間の差異はわずかなので、一般に大きな情報の損失はない。しかしながら、実施形態は、３Ｄチャンネルを変換して２Ｄビデオ画像を生成するためのいずれかの特定のプロセスに限定されるものではない。

図７に示されるように、２Ｄビデオチャンネルを主チャンネル７１０として選択することができ、各ビデオフレームは単一のビデオフレーム領域７３０を含む。３Ｄビデオチャンネルを副チャンネル７２０として選択することができ、各ビデオフレームは、ダウンサイズされて左副フレーム領域７３２を形成する左ビデオフレーム領域と、ダウンサイズされて右副フレーム領域７３３を形成する右ビデオフレーム領域とを含む。従って、主ビデオチャンネルと副ビデオチャンネルは異なる次元を有する。幾つかの実施形態において、副ビデオの次元を変換して２Ｄ副ビデオ画像を生成する。幾つかの実施形態において、ビデオコンバイナ７４０は、主ビデオフレーム及び副ビデオフレームを受信し、主ビデオストリームと副ビデオストリームとをマージするよう動作し、このビデオコンバイナは、副ビデオ上の左領域又は右領域のどちらかを除去し、副ビデオの残りの領域を主ビデオに挿入する。複合ビデオ７５０は、主ビデオ領域７５２を含み、はめ込みウィンドウは右又は左の副ビデオ領域７５４を含む。

図８は、３Ｄ主ビデオデータストリームと２Ｄ副ビデオデータストリームとを組み合わせるための実施形態を示す。この図において、着信副ビデオは２Ｄであり、従って３Ｄのでは１フレーム当たり１つの左画像及び１つの右画像があるのに対して、２Ｄの１フレーム当たり１つの画像しかない。幾つかの実施形態において、副チャンネル８２０（これがダウンサイズされて副ビデオ画像８３２を生成する）の次元を主ビデオチャンネル８１０（各フレームが左領域８３０及び右領域８３１を含む）の３Ｄフォーマットに整合させるために、ビデオコンバイナ８４０は、２Ｄ副ビデオデータから３Ｄビデオ画像を合成する。幾つかの実施形態において、ビデオコンバイナ８４０は、同じ副画像を主ビデオフレーム内に２回挿入するように動作する。幾つかの実施形態においては、副ビデオの同じ画像のコピーを主ビデオ画像の左領域及び右領域の両方に挿入してＰｉＰビデオ８５０を生成し、これは左領域８５２内の第１の副ビデオ８５４及び右領域８５３内の第２の副ビデオ８５５として図示される。

しかしながら、図８において生成されたＰｉＰビデオを見る視聴者は、はめ込みウィンドウの外側では主ビデオの３Ｄ効果を見ることになるが、はめ込みウィンドウの内側では３Ｄ効果は全く見えない。従って、はめ込みウィンドウが修正されなければ、はめ込みウィンドウの内側の画像は、表示画面の枠と同じ奥行きにあり、平坦で２次元で見えることになろう。そのため幾つかの実施形態においては、合成されたはめ込みビデオ副画像をさらに修正して、ビデオの見かけの奥行きを変化させる。

図９Ａは、３Ｄ主ビデオデータストリーム内の２Ｄ副ビデオデータストリームをシフトさせるための実施形態を示す。この図において、「２Ｄイン３Ｄ」ＰｉＰビデオを強化するための随意の補助的方法が提供される。「２Ｄイン３Ｄ」ＰｉＰビデオにおけるはめ込みウィンドウの内側の３Ｄ効果は副ビデオデータストリームのソースが３Ｄ情報を含まないので生成されないが、幾つかの実施形態において装置又はシステムがはめ込みウィンドウ全体の見かけ「奥行き」を調整することができる。ここで「奥行き」という用語は、視聴者が３Ｄ眼鏡を用いて画面を見るときに視聴者が知覚する仮想距離を示す。

図９Ａにおけるビデオ９１０に示されるように、ビデオコンバイナが主ビデオの左右両方の領域の同じ位置に副画像を挿入すると、視聴者には、はめ込みウィンドウが画面の枠と同じ距離に位置して見える。幾つかの実施形態において、視聴者にとっての見かけの奥行きを、はめ込みウィンドウが画面の枠よりも奥に／より遠くに位置して見えるように調整することができる。ビデオ９２０に示されるように、ビデオコンバイナは、副画像を左領域においてはより左に配置し、同じ副画像を右領域においてはより右に配置することができる。２つの副画像間のオフセットは、記号「Δ」によって示される。Δの値が大きくなるほど、視聴者は、はめ込みウィンドウが画面の枠よりもより奥に（又はより遠くに）位置していると知覚する。

幾つかの実施形態において、装置又はシステムは、はめ込みウィンドウが画面から飛び出していると視聴者が知覚するようにはめ込みウィンドウの奥行きを調整することもできる。ビデオ９３０に示されるように、ビデオコンバイナは、副画像を左領域においてはより右に配置し、同じ副画像を右領域においてはより左に配置することができる。２つの副画像間のオフセットは、記号「−Δ」によって示される。Δの値がより負（ゼロを下回る）になるほど、視聴者は、はめ込みウィンドウが画面の枠よりもより飛び出している（すなわち視聴者のより近くに位置する）と知覚する。

図９Ｂは、３Ｄ主ビデオデータストリーム内の３Ｄ副ビデオデータストリームをシフトさせるための実施形態を示す。この図においては、ビデオ９４０におけるはめ込みウィンドウは３Ｄビデオデータストリームに基づいているので、はめ込みウィンドウは既に３Ｄ効果を有している。幾つかの実施形態において、装置又はシステムはさらなるオフセットを与えて、はめ込みウィンドウに対して知覚される奥行きを生成する。この図において、ビデオ９５０におけるはめ込みウィンドウのシフトで示されるように正のΔ値が与えられると、視聴者は、はめ込みウィンドウ内の３Ｄ画像全体が主ビデオより奥に（遠くに）位置していると知覚する。幾つかの実施形態において、同様にビデオ９６０に示されるように負のΔ値が与えられると、視聴者は、はめ込みウィンドウ内の３Ｄ画像全体が主ビデオから飛び出している（より近くにある）と知覚する。

幾つかの実施形態においては、奥行き調整機能を利用して視聴者が主オブジェクトに焦点を合わせるようにさせることができる。主オブジェクトは、主ビデオ又は１つ若しくはそれ以上のはめ込みウィンドウのいずれかとすることができる。例えば、普通のピクチャ・イン・ピクチャ・モードの場合には、視聴者は通常、主ビデオに焦点を合わせることを望んでいる。はめ込みウィンドウが飛び出しているか又は画面の枠と同じ奥行きに位置していると、はめ込みウィンドウは視聴者の焦点及び集中をそらしかねない。この例では、装置又はシステムは、Δ値を正の値に設定することによりはめ込みウィンドウをより奥に配置し、視聴者が主ビデオにより焦点を合わせることができるようにすることができる。別の例において、チャンネル切り換えモードでは、視聴者は次に視聴するチャンネルを選択するためにはめ込みウィンドウを用いてあちこち移動して見ることを望んでいる。この場合には、視聴者ははめ込みウィンドウに焦点を合わせる方を好むかもしれない。ビデオ９３０又は９６０に示されるように、装置は、負のΔ値を用いることによりはめ込みウィンドウの奥行きを調整して飛び出すようにさせ、それにより視聴者の関心を引き付けるように動作することができる。従って幾つかの実施形態において、主オブジェクトが主ビデオである場合には、ビデオコンバイナは正のΔ値を利用してはめ込みウィンドウの知覚される奥行きを大きくすることができ、主オブジェクトがはめ込みビデオである場合には、ビデオコンバイナは負のΔ値を利用してはめ込みウィンドウの知覚される奥行きを小さくすることができる。幾つかの実施形態においては、奥行き調整機能をさらに利用して、オンスクリーンディスプレイ（ＯＳＤ）の見かけの奥行きを調整することができる。ＯＳＤは、図９Ａ及び図９Ｂに示されるようにＯＳＤの奥行きを調整する目的に関しては副ビデオチャンネルとして扱うことができる。奥行き調整機能を用いて、システムは、ＯＳＤが主ビデオから飛び出してして見えるように又は主ビデオよりも奥に位置して見えるようにすることが可能である。

図１０は、異なる次元のデータストリームを組み合わせるためのビデオコンバイナの実施形態を示す。ビデオコンバイナ１０００は、例えば図３に示されるビデオコンバイナ３４０とすることができる。図１０において、ビデオコンバイナ１０００は、主ビデオチャンネル及び１つ又はそれ以上の副ビデオチャンネルを入力として取得し、送出ＰｉＰビデオを生成するように動作する。幾つかの実施形態において、ビデオコンバイナは、主ビデオストリームのデータフレームを最小限の修正で転送し、次いで主ビデオのはめ込みウィンドウ内のピクセルを副ビデオのピクセルで置き換えて、その結果得られるＰｉＰ画像を形成するように動作する。

幾つかの実施形態において、ビデオコンバイナ１０００は、図１０に示されるように、複数のモジュールを含む。幾つかの実施形態において、ビデオコンバイナは、主ビデオとして選択されるチャンネルと、図１０における副１から副Ｎのような副ビデオとして選択することができる１つ又はそれ以上のその他のチャンネルとを含む、複数のビデオチャンネル１００５を受信する。幾つかの実施形態において、ビデオチャンネル１００５はマルチプレクサ１０４０により受信され、このマルチプレクサは、主チャンネルのピクセル値を副チャンネルのピクセルで置き換えてＰｉＰ表示を生成するように動作する。幾つかの実施形態において、マルチプレクサは、アルファ・ブレンディングを利用して主チャンネルのピクセルデータと副チャンネルのデータピクセルとを所定の割合で混合し、アルファ・ブレンディングとは、第１の（アルファ）画像を１つ又はそれ以上の画像レイヤと組み合わせて半透明画像を提供するプロセスのことを表現したものである。幾つかの実施形態において、同期抽出モジュールは、Ｖｓｙｎｃ（垂直同期）、Ｈｓｙｎｃ（水平同期）及びＤＥ（データイネーブル）信号などの同期信号を主ビデオインターフェースから分離するように動作する。幾つかの実施形態において、主ビデオからの同期信号１０５０は、ＰｉＰビデオ出力を生成するための同期マージ・プロセス又はモジュール１０６０に転送される。幾つかの実施形態において、第１の座標プロセッサ１０２５は、現在送信されているピクセルの座標を追跡し、現在のピクセルがはめ込みウィンドウの内側に位置しているか否か判定する。判定結果を用いて、ＰｉＰビデオ生成のためのソースの選択においてマルチプレクサを制御する。幾つかの実施形態において、３Ｄ主ビデオ用モジュール１０１５は、垂直同期挿入器（Ｖｓｙｎｃ挿入器）１０２０及び第２の座標プロセッサ１０３０を含む。幾つかの実施形態において、主ビデオが３Ｄビデオであるときには第１の座標プロセッサ１０２５に加えて第２の座標プロセッサ１０３０が用いられる。３Ｄ主ビデオの場合には、第１の座標プロセッサ１０２５が３Ｄフォーマットの左領域を制御し、一方、第２の座標プロセッサ１０３０が３Ｄフォーマットの右領域を制御する。幾つかの実施形態において、第２の座標プロセッサ１０３０は、第１の座標プロセッサ１０２５と共用することができる。幾つかの実施形態において、Ｖｓｙｎｃ挿入器１０２０は付加的なＶｓｙｎｃ信号を主ビデオの３Ｄフォーマット内のアクティブ空間領域の中に挿入するよう動作し、このことにより第２の座標プロセッサ１０３０は３Ｄフォーマットの知識を必要とすることなく座標を計算することが可能になる。幾つかの実施形態において、この結果得られるマルチプレクサ１０４０からのピクセル値１０５５が、同期抽出モジュール１０１０からの同期信号１０５０と共に同期マージモジュール１０６０によって受信され、表示用のＰｉＰビデオが生成される。

図９Ａ及び図９Ｂに示されるように、選択された主ビデオチャンネルが３Ｄチャンネルである環境においては、はめ込みウィンドウの見かけの奥行きを左右の副画像間の相違によって調整することができる。この場合には、第１の座標プロセッサ１０２５の水平座標は、第２の座標プロセッサ１０３０の水平座標とは異なる。この差異が、図９Ａのビデオ９２０及び９３０並びに図９Ｂのビデオ９５０及び９６０に示されるような左はめ込みウィンドウと右はめ込みウィンドウとの間の水平距離Δを作り出す。

図１１は、異なる次元のデータストリームを処理するための装置又はシステムの実施形態を示す。この図においては、この説明に密接に関連しない特定の標準的かつ周知の構成要素は示されていない。幾つかの実施形態のもとでは、デバイス又はシステム１１００は同時ビデオ画像を生成し表示する装置又はシステムであり、ビデオ画像は主ビデオ画像及び１つ又はそれ以上の副ビデオ画像である。

幾つかの実施形態のもとでは、装置又はシステム１１００は、データ送信のための相互接続部若しくはクロスバー１１０５又はその他の通信手段を含む。データは、音声映像データ及び関連する制御データを含むことができる。装置又はシステム１１００は、情報を処理するための、相互接続部１１０５に結合した１つ又はそれ以上のプロセッサ１１１０のような処理手段を含むことができる。プロセッサ１１１０は、１つ又はそれ以上の物理プロセッサ及び１つ又はそれ以上の論理プロセッサを含むことができる。さらに、プロセッサ１１１０の各々は、複数のプロセッサコアを含むことができる。相互接続部１１０５は簡略化のために単一の相互接続として示されているが、複数の異なる相互接続部又はバスを表わすことができ、そのような相互接続部に対する構成要素の接続は様々なものであり得る。図１１に示された相互接続部１１０５は、いずれか１つ又はそれ以上の、個別の物理バス、２地点間接続、又は両者が適切なブリッジ、アダプタ若しくはコントローラにより接続されたものを表わす抽象概念である。相互接続部１１０５は、例えば、システムバス、周辺装置相互接続（ＰＣＩ）若しくはＰＣＩエクスプレス（ＰＣＩｅ）バス、ＨｙｐｅｒＴｒａｎｓｐｏｒｔ又は業界標準（ｉｎｄｓｔｒｙ ｓｔａｎｄａｒｄ）アーキテクチャ（ＩＳＡ）バス、小型コンピュータシステムインターフェース（ＳＣＳＩ）バス、ＩＩＣ（Ｉ２Ｃ）バス、又は「ファイヤワイヤ（Ｆｉｒｅｗｉｒｅ）」と呼ばれることもある米国電気電子技術者協会（ＩＥＥＥ）規格１３９４バスを含むことができる（非特許文献１）。装置又はシステム１０００は、１つ又はそれ以上のＵＳＢ互換接続を取り付けることができるユニバーサル・シリアル・バス（ＵＳＢ）のようなシリアルバスをさらに含むことができる。

幾つかの実施形態において、装置又はシステム１１００は、プロセッサ１１１０により実行される情報及び命令を格納するためのメモリ１１１５として、ランダム・アクセス・メモリ（ＲＡＭ）又はその他の動的記憶装置をさらに含む。メモリ１１１５は、データストリーム又は副ストリームについてのデータを格納するために用いることもできる。ＲＡＭメモリは、例えば、メモリ内容のリフレッシュを必要とする動的ランダム・アクセス・メモリ（ＤＲＡＭ）、及び、内容のリフレッシュは必要としないがコストが高い静的ランダム・アクセス・メモリ（ＳＲＡＭ）を含む。ＤＲＡＭメモリは、信号を制御するクロック信号を含む同期式動的ランダム・アクセス・メモリ（ＳＤＲＡＭ）、及び拡張データ出力動的ランダム・アクセス・メモリ（ＥＤＯ ＤＲＡＭ）を含むことができる。幾つかの実施形態において、システムのメモリは、特定のレジスタ、バッファ、又はその他の専用メモリを含むことができる。装置又はシステム１１００は、プロセッサ１１１０のための静的情報及び命令を格納するための読み出し専用メモリ（ＲＯＭ）１１３０又はその他の静的記憶装置も含むことができる。装置又はシステム１１００は、特定の要素の格納のための１つ又はそれ以上の不揮発性メモリ要素１１３５を含むことができる。

幾つかの実施形態において、情報及び命令を格納するためのデータ格納部１１２０を装置又はシステム１１００の相互接続部１１０５に結合することができる。データ格納部１２０は、磁気ディスク、光ディスク及びその対応するドライブ、又はその他のメモリデバイスを含むことができる。そのような要素は、互いに組み合わされたものでも又は別個の構成要素であってもよく、装置又はシステム１１００のその他の要素の一部を利用することができる。幾つかの実施形態において、データ格納部は、ディスプレイ上での提示のためのビデオデータ格納部１１２５を含むことができる。

装置又はシステム１１００は、相互接続部１１０５を介してディスプレイ装置又は要素１１４０に結合することもできる。幾つかの実施形態において、ディスプレイ１１４０は、情報又はコンテンツをエンドユーザに表示するための、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又はその他のいずれかのディスプレイ技術を含むことができる。幾つかの実施形態において、ディスプレイ１１４０を利用して複数の画像を同時に表示することができ、ここで複数の画像は主ビデオ及び１つ又はそれ以上の副ビデオ画像を含む。幾つかの実施形態において、複数の画像は、装置又はシステム１１００により受信される複数のビデオデータストリームから生成することができ、第１のビデオストリームは主ビデオ１１４２として選択され、１つ又はそれ以上のその他のビデオデータストリームは副ビデオ画像１１４４として選択され、複数のビデオデータストリームの次元は異なっていてもよい。幾つかの実施形態において、プロセッサ１１１０は、受信したデータストリームを処理して、１人又はそれ以上の視聴者１１５０が視聴するためのＰｉＰ表示を生成するよう動作することができる。幾つかの実施形態において、副ビデオ画像として選択されたデータストリームを主ビデオ１１４２の次元と整合するように変換又は合成することができる。

幾つかの実施形態において、情報及び／又はコマンド選択をプロセッサ１１１０に通信するために、入力デバイス１１６０を装置若しくはシステム１１００に結合するか又は入力デバイス１１６０は装置若しくはシステム１１００と通信することができる。種々の実装において、入力デバイス１１６０は、遠隔制御装置、キーボード、キーパッド、タッチスクリーン、音声起動システム、若しくはその他の入力デバイス、又はそのようなデバイスの組み合わせとすることができる。幾つかの実施形態において、装置又はシステム１１００は、指示情報及びコマンド選択を１つ又はそれ以上のプロセッサ１１１０に通信し、ディスプレイ１１４０上のカーソルの動きを制御するための、マウス、トラックボール、タッチパッド又はその他のデバイスなどのカーソル制御デバイス１１６５をさらに含むことができる。

１つ又はそれ以上の送信機又は受信機１１７０を相互接続部１１０５に結合することもできる。幾つかの実施形態において、装置又はシステム１１００は、データの受信又は送信のための１つ又はそれ以上のポート１１７５を含むことができる。受信又は送信することができるデータは、３Ｄ又は２Ｄビデオデータストリーム１１８０を含むことができる。装置又はシステム１１００は、無線信号によるデータの受信のために１つ又はそれ以上のアンテナ１１７８をさらに含むことができる。装置又はシステム１１００は電力装置又はシステム１１８５も含むことができ、これは、電源、バッテリ、太陽電池、燃料電池、又は電力の供給若しくは発生のためのその他のシステム若しくはデバイスを含むことができる。電力装置又はシステム１１８５により与えられる電力は、必要に応じて装置又はシステム１１００の要素に供給することができる。

上記の説明において、説明の目的で、本発明を完全に理解してもらうために多数の具体的な詳細が述べられている。しかしながら、これらの具体的な詳細の幾つかがなくても本発明を実施できることが当業者には明らかであろう。他の例において、周知の構造及び装置は、ブロック図形態で示されている。図示された構成要素間に中間の構造体があることもある。本明細書において説明された又は図示された構成要素は、図示されていない又は説明されていない付加的な入力又は出力を有することができる。図示された要素又は構成要素は、任意のフィールドの再順序付け又はフィールドサイズの変更を含めて、異なる構成又は順序で配置することができる。

本発明は、種々のプロセスを含むことができる。本発明のプロセスは、ハードウェア構成要素によって実装することもでき、又はコンピュータ可読命令で具体化することもでき、これを用いて、この命令でプログラムされた汎用若しくは専用プロセッサ又は論理回路に該プロセスを実行させることができる。あるいは、該プロセスをハードウェアとソフトウェアとの組み合わせによって実行することができる。

本発明の一部をコンピュータプログラム製品として提供することができ、コンピュータプログラム製品は、コンピュータプログラム命令が格納されたコンピュータ可読媒体を含むことができ、該コンピュータプログラム命令を用いてコンピュータ（又はその他の電子デバイス）をプログラムして、本発明によるプロセスを実行させることができる。コンピュータ可読媒体は、限定されないが、フロッピーディスケット、光ディスク、ＣＤ−ＲＯＭ（コンパクトディスク読み出し専用メモリ）、光磁気ディスク、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、ＥＰＲＯＭ（消去及びプログラム可能読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読み出し専用メモリ）、磁気又は光学カード、フラッシュメモリ、又は電子的命令を格納するのに適したその他のタイプの媒体／コンピュータ可読媒体を含むことができる。さらに、本発明はコンピュータプログラム製品としてダウンロードすることもでき、この場合、プログラムを遠隔コンピュータから要求側コンピュータに伝送することができる。

方法の多くはその最も基本的な形態で説明されているが、本発明の基本範囲から逸脱することなく、どの方法にもプロセスを追加することができ又はどの方法からもプロセスを削除することができ、また、説明されたどのメッセージにも情報を追加することができ又はどのメッセージからも情報を差し引くことができる。多数のさらなる修正及び改造を行うことができることが当業者には明らかであろう。具体的な実施形態は、本発明を限定するためではなく、これを例証するために提供されたものである。

要素「Ａ」が要素「Ｂ」に又は要素「Ｂ」と結合すると言う場合、要素Ａは要素Ｂに直接結合することもあり、又は、例えば要素Ｃを通して間接的に結合することもある。明細書において、ある構成要素、特徴、構造、プロセス、又は特性Ａが、ある構成要素、特徴、構造、プロセス、又は特性Ｂを「引き起こす、生じさせる」と述べられている場合、「Ａ」は、「Ｂ」の少なくとも部分的な原因ではあるが、「Ｂ」を引き起こすことを補助する少なくとも１つのその他の構成要素、特徴、構造、プロセス、又は特性も存在し得る。明細書において、ある構成要素、特徴、構造、プロセス、又は特性を「含むことがある」、「含む場合がある」又は「含むことができる」と指示されている場合、その特定の構成要素、特徴、構造、プロセス、又は特性は必ずしも含まれることが要求されているわけではない。明細書が「ある（ａ又はａｎ）」要素に言及している場合、記載された要素が１つしか存在しないことを意味するわけではない。

実施形態は、本発明の実装又は実施例である。明細書における「実施形態」、「１つの実施形態」、「幾つかの実施形態」又は「その他の実施形態」への言及は、その実施形態に関連して説明された特定の特徴、構造、又は特性が少なくとも幾つかの実施形態に含まれるが、必ずしも全ての実施形態に含まれる必要はないことを意味する。出現する様々な「実施形態」、「１つの実施形態」、又は「幾つかの実施形態」は、必ずしも全てが同じ実施形態を指すわけではない。上記の本発明の例示的な実施形態の説明において、開示を円滑化して種々の本発明の態様の１つ又はそれ以上の理解を助けるために、本発明の種々の特徴は、ときには、まとめて１つの実施形態、図面、又はその説明としてグループ化されていることがあることを理解されたい。

１０５、１２０：送信装置
１１０、１２５：データストリーム
１４５：右画像
１５０：左画像
１０００：ビデオコンバイナ
１１００：装置又はシステム
１１７８：アンテナ

Claims (25)

1. 各ビデオストリームの次元が２次元（２Ｄ）又は３次元（３Ｄ）のいずれかである複数のビデオデータストリームを受信するインターフェースと、
   前記複数のビデオデータストリームの第１のビデオデータストリームを主ビデオ画像として処理し、かつ、前記複数のビデオデータストリームの第２のビデオデータストリームをビデオ副画像として処理する処理モジュールと
   を含む装置であって、
   前記処理モジュールは、前記主ビデオ画像と前記ビデオ副画像とを組み合わせて複合ビデオ出力を生成するビデオコンバイナを含み、
   前記処理モジュールは、前記ビデオ副画像の次元を変更して前記主ビデオ画像の次元に整合させるように構成され、
   前記ビデオコンバイナは、前記第１のビデオデータストリームから同期信号を抽出するモジュールを含み、
   前記ビデオコンバイナは、前記ビデオ副画像と前記主ビデオ画像とを多重化して出力ピクセルデータを生成するマルチプレクサを含み、
   前記ビデオコンバイナは、前記出力ピクセルデータと前記抽出された同期信号とを受信して前記複合ビデオ出力を生成するモジュールを含むことを特徴とする装置。
2. 前記処理モジュールは、前記第２のビデオデータストリームをダウンサイズして、前記第２のビデオデータストリームを前記ビデオ副画像のための領域に適合させるようにさらに構成されることを特徴とする請求項１に記載の装置。
3. 前記第２のビデオデータストリームをダウンサイズすることは、前記第２のビデオデータストリームをダウンサンプリングすること、ダウンスケーリングすること、又はクロッピングすることを含むことを特徴とする請求項２に記載の装置。
4. 前記第２のビデオデータストリームの変換は、視聴者にとっての前記ビデオ副画像とディスプレイ枠との間の見かけの奥行きを調整することを含むことを特徴とする請求項１に記載の装置。
5. 前記第２のビデオデータストリームがオンスクリーン・ディスプレイ（ＯＳＤ）を含み、前記第２のビデオデータストリームの変換は、前記視聴者にとっての前記ＯＳＤとディスプレイ枠との間の見かけの奥行きを調整することを含むことを特徴とする請求項４に記載の装置。
6. １つ又はそれ以上の画像を表示するディスプレイ画面をさらに含み、前記１つ又はそれ以上の画像は、前記主ビデオ画像及び前記ビデオ副画像を含むことができ、前記ビデオ副画像は、前記主ビデオ画像より小さく、かつ、前記主ビデオ画像の一部を覆い隠すことを特徴とする請求項１に記載の装置。
7. 前記ビデオコンバイナは、前記ビデオ副画像及び前記主ビデオ画像のどのピクセルを前記出力ピクセルデータに含めるべきか決定する１つ又はそれ以上の座標プロセッサを含むことを特徴とする請求項１に記載の装置。
8. 各々のビデオストリームの次元が２次元（２Ｄ）又は３次元（３Ｄ）のいずれかである複数のビデオデータストリームを受信するステップと、
   前記複数のビデオデータストリームの第１のビデオデータストリームを主ビデオチャンネルとして選択するステップと、
   前記複数のビデオデータストリームの第２のビデオデータストリームを副ビデオチャンネルとして選択するステップと、
   前記第２のビデオデータストリームの次元を、前記第１のビデオデータストリームの次元と整合するように変換するステップと、
   前記主ビデオチャンネルから生成された主ビデオ画像と前記副ビデオチャンネルから生成されたビデオ副画像とを含む複合ビデオ出力を生成するステップと、
   を含み、
   前記複合ビデオ出力を生成するステップにおいて、前記主ビデオチャンネルから同期信号を抽出する、ことを特徴とする方法。
9. 前記複合ビデオ出力を生成するステップは、前記第１のビデオデータストリームと前記第２のビデオデータストリームとを多重化するステップを含むことを特徴とする請求項８に記載の方法。
10. 前記ビデオ副画像が表示のための特定のはめ込みウィンドウに適合するように、前記第２のビデオデータストリームのフレームをダウンサイズするステップをさらに含むことを特徴とする請求項８に記載の方法。
11. 前記主ビデオチャンネルが３Ｄビデオチャンネルであり、かつ、前記副ビデオチャンネルが２Ｄチャンネルであり、前記第２のビデオデータストリームの次元を変換するステップは、
    前記副ビデオチャンネルのデータの各フレームを左チャンネル領域及び右チャンネル領域にコピーするステップを含むことを特徴とする請求項８に記載の方法。
12. 前記主ビデオチャンネルが３Ｄビデオチャンネルであり、前記副ビデオチャンネルの左領域の位置と前記副ビデオチャンネルの右領域の位置との間の差異を変更することにより、前記副ビデオチャンネルの見かけの奥行きを調整するステップをさらに含むことを特徴とする請求項８に記載の方法。
13. 前記副ビデオチャンネルがオンスクリーン・ディスプレイ（ＯＳＤ）を含み、前記副ビデオチャンネルの前記見かけの奥行きを調整するステップは、ＯＳＤの左領域の位置とＯＳＤの右領域の位置との間の差異を変更するステップを含むことを特徴とする請求項１２に記載の方法。
14. 前記主ビデオチャンネルが２Ｄビデオチャンネルであり、かつ、前記副ビデオチャンネルが３Ｄチャンネルであり、
    前記第２のビデオデータストリームの次元を変換するステップは、データフレームの左領域又は右領域のいずれかを除去し、残りの左領域又は右領域を前記副ビデオチャンネルのための２Ｄデータフレームのデータフレームとして用いるステップを含むことを特徴とする請求項８に記載の方法。
15. 主ビデオデータストリームと１つ又はそれ以上の副ビデオデータストリームとを多重化して複合ピクセルデータを生成するマルチプレクサを含み、
    各ビデオデータストリームは３次元（３Ｄ）又は２次元（２Ｄ）のいずれかであることが可能であり、
    前記主ビデオデータストリームから同期信号を抽出する同期抽出器と、
    ２Ｄ主ビデオデータストリームと３Ｄ主ビデオデータストリームの第１の領域とに対して動作し、複合ピクセルデータに含めるべきピクセルを前記抽出された同期信号に基づいて識別する第１の座標プロセッサと、
    第２の座標プロセッサを含む３Ｄビデオモジュールとを含み、
    前記第２の座標プロセッサが、３Ｄ主ビデオデータストリームの第２の領域に対して動作し、前記複合ピクセルデータに含めるべきピクセルを前記抽出された同期信号に基づいて識別することを特徴とするビデオコンバイナ。
16. 前記第２の座標プロセッサが前記第１の座標プロセッサと共有されることを特徴とする請求項１５に記載のビデオコンバイナ。
17. 前記３Ｄビデオモジュールは、垂直同期挿入器をさらに含み、前記垂直同期挿入器は、
    前記主ビデオデータストリームの３Ｄフォーマット内のアクティブ空間領域の中に付加的な垂直同期信号を挿入することを特徴とする請求項１５に記載のビデオコンバイナ。
18. 前記複合ピクセルデータと前記抽出された同期信号とを受信して複合ビデオ出力を生成するモジュールをさらに含むことを特徴とする請求項１５に記載のビデオコンバイナ。
19. プロセッサによって実行されたときに、前記プロセッサに、
    各々のビデオデータストリームの次元が２次元（２Ｄ）又は３次元（３Ｄ）いずれかである複数のビデオデータストリームを受信するステップと、
    前記複数のビデオデータストリームの第１のビデオデータストリームを主ビデオチャンネルとして選択するステップと、
    前記複数のビデオデータストリームの第２のビデオデータストリームを副ビデオチャンネルとして選択するステップと、
    前記第２のビデオデータストリームの次元を、前記第１のビデオデータストリームの次元と整合するように変換するステップと、
    前記主ビデオチャンネルから生成された主ビデオ画像と前記副ビデオチャンネルから生成されたビデオ副画像とを含む複合ビデオ出力を生成するステップと
    を含む動作を行わせる命令のシーケンスを表わすデータが格納されており、
    前記複合ビデオ出力を生成するステップにおいて、前記主ビデオチャンネルから同期信号を抽出する、ことを特徴とするコンピュータ可読格納媒体。
20. 前記複合ビデオ出力を生成するステップは、前記第１のビデオデータストリームと前記第２のビデオデータストリームとを多重化するステップを含むことを特徴とする請求項１９に記載の媒体。
21. プロセッサにより実行されたときに、前記プロセッサに、
    前記ビデオ副画像が表示のための特定のはめ込みウィンドウに適合するように、前記第２のビデオデータストリームのフレームをダウンサイズするステップを含む動作を行わせる命令をさらに含むことを特徴とする請求項１９に記載の媒体。
22. 前記主ビデオチャンネルが３Ｄビデオチャンネルであり、かつ、前記副ビデオチャンネルが２Ｄチャンネルであり、
    前記第２のビデオデータストリームの次元を変換するステップは、前記副ビデオチャンネルのデータの各フレームを左チャンネル領域及び右チャンネル領域にコピーするステップを含むことを特徴とする請求項１９に記載の媒体。
23. 前記主ビデオチャンネルが３Ｄビデオチャンネルであり、プロセッサにより実行されたときに、前記プロセッサに、
    前記副ビデオチャンネルの左領域の位置と前記副ビデオチャンネルの右領域の位置との間の差異を変更することにより、前記副ビデオチャンネルの見かけの奥行きを調整するステップを含む動作を行わせる命令をさらに含むことを特徴とする請求項１９に記載の媒体。
24. 前記副ビデオチャンネルがオンスクリーン・ディスプレイ（ＯＳＤ）を含み、前記副ビデオチャンネルの前記見かけの奥行きを調整するステップは、ＯＳＤ左領域の位置とＯＳＤ右領域の位置との間の差異を変更するステップを含むことを特徴とする請求項２３に記載の媒体。
25. 前記主ビデオチャンネルが２Ｄビデオチャンネルであり、かつ、前記副ビデオチャンネルが３Ｄであり、前記第２のビデオデータストリームの次元を変換するステップは、データフレームの左領域又は右領域のいずれかを除去し、残りの左領域又は右領域を前記副ビデオチャンネルのための２Ｄデータフレームのデータフレームとして用いるステップを含むことを特徴とする請求項１９に記載の媒体。

Images