JP2008522519A - 主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化及び復号するための方法及び装置 - Google Patents

Abstract

【課題】通常、デジタルＰＩＰビデオ信号は、主ビデオ信号の中で直接編集され、単一の符号化ビデオストリームの中で一緒に符号化される。しかしながら、符号化されたビデオ信号のＰＩＰ表示に関して、ユーザにフルコントロールを与えるため、各ＰＩＰ信号は分離した符号化を要求し、さらに受信機の中で１つのビデオ復号器が、表示されるビデオ信号のそれぞれに対して要求される
【解決手段】タイムラインに関連した補助ビデオ信号のＰＩＰ状表示が可能であり、これは、１つの符号化されたビデオストリーム、つまり１つのビデオ復号器で達成される。符号化時、ビデオパネルは、主ビデオ領域と１つまたは複数のＰＩＰウィンドウを収容しているサイドパネルとに、論理的に分割される。復号後、主ビデオ領域は、フルディスプレイサイズに引き延ばされ、中央に表示される。サイドパネルのビデオコンテンツは直接表示されるのではなく、サイド情報に依存して、このサイドパネルのある部分は、主ビデオウィンドウ上に重ね合わされる。ＰＩＰビデオ信号は、もはや主ビデオウィンドウの中にハードコートされていないため、ユーザは、ＰＩＰビデオ信号のそれぞれの１つを表示したり隠したり制御できる。
【選択図】図５

Description

本発明は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化し、復号及び表示するための方法及び装置に関する。

一般に、画面上のデジタル符号化されたビデオ信号のピクチャーインピクチャ（ＰＩＰ）表示は、それぞれの表示されたビデオストリームに対して１つのビデオ復号器を要求する。テレビ放送分野では、異なったビデオ信号は通常、関連づけられていないため、これは避けられない。しかしながら、光ディスクのような記憶媒体のコンテキストでは、全てのコンテンツは、作成時に既に知られている。もし、主ビデオストリームと補助ＰＩＰビデオストリームが、共通のタイムラインを有していた場合、主要なビデオの中に補助ＰＩＰビデオ信号を直接編集し、それらを１つの符号化ビデオストリームとし一緒に符号化する技術の段階がある。スクリーン上の所定の位置に表示される補助ビデオ信号は、現在の主ビデオを、ビデオメニューボタンの中にプレビューされている他のビデオストリームの１つに切り替えるための“ビデオメニューボタン”として使用されてもよい。典型的な応用は、特許文献１に例として示されているようにマルチアングル記憶媒体で異なったカメラアングル間のシーンを切り替えることである。

シーンの中の様々な異なった対象に対する静止画像テクスチャは、単一の画像、たとえばＪＰＥＧ画像、中で一緒に転送され得ることは、３次元グラフィックデザインから知られている。

米国特許出願 ２００４−０１２６０８５号公報

この解決策の主な不利益は、主ビデオ信号と１つ又は複数の補助ＰＩＰ型ビデオ信号の組との任意の組み合わせが、事前に作成される必要があることである。主ビデオのために要求される記憶容量を事実上２倍にするＰＩＰビデオ信号が含まれていない主ビデオの追加の版が、ディスク上に置いてなければ、ＰＩＰ状のビデオ信号を消すことはできない。

本発明によって解決される問題は、単一のビデオ復号器のみを使用することでピクチャインピクチャビデオ表示を可能とし、さらに、それに対応して関連したビデオ信号を符号化することである。この問題は、請求項１及び３に開示された方法によって解決される。対応する方法を利用する装置は、請求項２及び４に開示されている。

本発明によれば、タイムラインに関連した補助ビデオ信号のＰＩＰ状表示が可能であり、それによって、ＰＩＰ状信号の表示でユーザにコントロールを与え、さらに、単一の符号化ビデオストリームでこれを達成している。

特に高解像度ビデオの場合、オプションのＰＩＰビデオ信号のため、主ビデオ解像度のいくつかを犠牲にすることが可能になる。例えば１９２０×１０８０ピクセルを有しているビデオ平面は、図１に描かれているように、例えば１６８０×１０８０ピクセルの主ビデオウィンドウＭＮＶＩＤと、１つ又は複数のＰＩＰウィンドウＰＩＰ１からＰＩＰ５を収容している２４０×１０８０のサイドパネルとに、論理的に分割される。復号後、主ビデオウィンドウＭＮＶＩＤが、例えば図２に描かれているように中央に、または、フル１９２０×１０８０のディスプレイサイズに引き延ばされるか若しくは倍率変更され、表示される。選択された表示オプションに依存して、（倍率変更前の）復号されたピクセルのアスペクト比は、（中央の表示において）正方形であるか否かのどちらかである。サイドパネルのビデオコンテンツは直接表示されるのではなく、サイド情報に依存して、このサイドパネルのある部分は、主ビデオウィンドウＭＮＶＩＤ上に重ね合わされる。このサイド情報は、図２に描かれているように、主ビデオの表面でのそれらの補助ビデオ信号のそれぞれの望ましい倍率と配置と同様に、サイドパネルビデオ、例えば、２４０×１６０ピクセルサイズの１から６までの補助ビデオ信号、の論理的なコンテンツの情報を含んでいる。

ＰＩＰ状のビデオ信号は、もはや主ビデオウィンドウの中に“ハードコート”されていないという事実のため、ユーザは、それらの追加的なビデオ信号のそれぞれの１つを表示したり隠したり制御できる。さらに、ユーザは、図３に例として示されているように、画面上の任意の場所でＰＩＰウィンドウの位置又は倍率を制御することができる。これらの操作は、従来技術のように、復号され表示される個別のビデオストリームを要求しない。それゆえ、表示、非表示、倍率変更又は再位置調整の操作は、時間の遅れ、つまりビデオ再生の中断を招かず、追加的な記憶空間の要求をしない。

符号化側では、主ビデオ信号と補助（ＰＩＰ）ビデオ信号の境界がコーディックによって符号化された要素の境界、典型的には１６×１６ピクセルのようなサイズのブロック又はマクロブロック、と一致するように、主ビデオ信号と補助（ＰＩＰ）ビデオ信号の場所とサイズを制約するという効果がある。さらに、現在ほとんどのコーディックで利用される時間的予測は、与えられたブロック又はマクロブロックに対して、同じ論理信号からの予測データのみが使用されるように制約されることができる。つまり、主ビデオ領域に属しているマクロブロックは、主ビデオ領域に属しているピクセルから予測されるだけである。同じことは、ＰＩＰ信号のそれぞれのマクロブロックに対しても正しい。

原則として、発明の方法は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化することに適しており、主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、主ビデオ信号を配置するステップと、１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、１つ又は複数の補助ビデオ信号を配置するステップと、単一の符号化ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化するステップと、前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成するステップと、記憶媒体のマスタとなることができる結合データストリームを提供するため、前記単一の符号化ビデオ信号のデータと、前記符号化された位置と倍率の情報のデータを結合するステップを含んでいる。

原則として、発明の装置は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化することに適しており、主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、主ビデオ信号を配置し、１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、１つ又は複数の補助ビデオ信号を配置することに適合した手段と、単一の符号化ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化することに適合した手段と、前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成することに適合した手段と、記憶媒体のマスタとなることができる結合データストリームを提供するため、前記単一の符号化ビデオ信号のデータと、前記符号化された位置と倍率の情報のデータを結合することに適合した手段とを含んでいる。

原則として、発明の方法は、主ビデオ信号と１つ又は複数の補助ビデオ信号を復号すること、及び前記主ビデオ信号と０以上の前記補助ビデオ信号を表示することに適しており、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初から配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記方法は、記憶媒体から、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号のデータを含んでいる結合データストリームを受け取るステップと、復号された主ビデオ信号と、１つ又は複数の復号された補助ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を単一の復号器で復号するステップと、前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報のデータを前記結合データストリームから獲得するステップと、前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号と、０以上の前記復号された補助ビデオ信号を構成するステップを含んでいる。

原則として、発明の装置は、主ビデオ信号と１つ又は複数の補助ビデオ信号を復号すること、及び前記主ビデオ信号と０以上の前記補助ビデオ信号を表示することに適しており、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初から配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記装置は、記憶媒体から、前記主ビデオ信号及び前記１つ又は複数の補助ビデオ信号を含んでいる結合データストリームを受け取ること、及び、復号された主ビデオ信号と、１つ又は複数の復号された補助ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を復号する単一の復号器を含むことに適合した手段と、前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報のデータを前記結合データストリームから獲得することに適合した手段と、前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号と０以上の前記復号された補助ビデオ信号を構成することに適合した手段を含んでいる。

本発明の効果のある追加の実施形態は、対応する従属請求項に開示されている。発明の代表的実施形態は、添付の図を参照に記述される。

図４の中で例えば、３つのビデオ画像又はビデオ画像列入力元段階ＶＩＤ１、ＶＩＤ２、及びＶＩＤ３は、３つの異なった入力元主ビデオピクチャを生成する。これらの段階のそれぞれの１つは、対応するコンバイナＣＭＢ１、ＣＭＢ２、ＣＭＢ３のそれぞれに、及び、対応するダウンコンバータＤＷＮＣ１、ＤＷＮＣ２、ＤＷＮＣ３のそれぞれに、その出力信号を与え、ダウンコンバータは、それについて対応するＰＩＰピクチャを形成する。コンバイナは、主ビデオピクチャと、他のビデオ画像又はビデオ画像列入力元に由来する１つ又は複数のＰＩＰピクチャとを結合することができ、その結果、ＰＩＰデータは対応している主画像データの近くに、例えば、本図の一番上と一番下で描かれているように配置される。コンバイナＣＭＢ１、ＣＭＢ２及びＣＭＢ３の出力信号は、対応するビデオ符号化器ＥＮＣ１、ＥＮＣ２及びＥＮＣ３を通過し、その後、ディスクマスターリングステージＤＭＳＴで、記憶媒体ＳＴＭの原盤作成のために、それらの符号化ビデオデータと、関連したＰＩＰの位置と倍率の情報データ項目と、ボタンコマンドのデータとを、最終的に結合するために使用される。このボタンコマンドデータは、主ピクチャが表示されているとき、ＰＩＰピクチャＶＩＤ_ｎを示しているボタンがユーザによって作動させられた場合、入力元ピクチャＶＩＤ_ｎにジャンプするため、対応している記憶媒体再生機の中で使用される。なお、本例ではｎは１から３までである。ビデオ符号化器は例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１符号化を使用する。

図５は復号のためのブロックダイアグラムであり、ＰＩＰピクチャと一緒に主画像を合成し、表示することが示されている。ピックアップとチャネル復号器（図示せず）を使用することで、符号化された主ピクチャデータとＰＩＰピクチャデータとを含んでいるデータが記憶媒体ＳＴＭから読み出される。単一のビデオ復号器ＤＥＣが、図４及び図５の一番上に描かれているように配置された主ピクチャデータとＰＩＰピクチャデータとを含んでいる符号化されたピクチャデータを復号する。ビデオ復号器ＤＥＣは、対応する復号のタイプ、つまり、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１復号を使用する。関連したＰＩＰの位置と倍率の情報データ項目は、位置と倍率の復号器ＤＥＣＰＳＣで復号される。この復号器とボタンコマンドデータ復号器（図示せず）は、対応する情報項目を、最終的にコンポジタＣＰＳＴＲに供給する。コンポジタＣＰＳＴＲは、復号されたフレームを保存するバッファを含み、これらの情報項目を復号されたビデオデータに適用し、主ピクチャとＰＩＰピクチャデータＭＰＤＰＩＰＤを、ユーザが望んだように配置して出力する。ＰＩＰ状のビデオ信号を重ね合わせるための処理は、フレームバッファ内の高速ブロック移動操作によって、又は、多重ビデオレイヤでの表示処理が可能な場合、表示のため他のレイヤにＰＩＰビデオデータを移動することによって、のいずれかで実行される。図５の上半分は、Ｖ１が主ピクチャでＶ２とＶ３が２つのＰＩＰピクチャである場合の再生処理を示しており、一方、図５の下半分は、Ｖ２ ＰＩＰボタンがユーザによって押された後、Ｖ２が主ピクチャでＶ１とＶ３が２つのＰＩＰピクチャである場合の再生処理のための同じ段階ＤＥＣ、ＤＥＣＰＳＣ、及びＣＰＳＴＲを示している。位置と倍率の情報データは前記記憶媒体から取り出され、又はユーザによって生成され、制御され、若しくは修正される。

図６は復号のためのブロックダイアグラムであり、ＰＩＰピクチャと一緒に、又は含まずに、主画像を合成し、表示することが示されている。つまり、ＰＩＰピクチャは主画像を表示しているとき隠されることが可能である。ピックアップとチャネル復号器（図示せず）を使用することで、符号化された主ピクチャデータとＰＩＰピクチャデータとを含んでいるデータが記憶媒体ＳＴＭから読み出される。単一のビデオ復号器ＤＥＣが、図６の一番上に描かれているように配置された主ピクチャデータとＰＩＰピクチャデータとを含んでいる符号化されたピクチャデータを復号する。ビデオ復号器ＤＥＣは、対応する復号のタイプ、つまり、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１復号を使用する。関連したＰＩＰの位置と倍率の情報データ項目は、位置と倍率の復号器ＤＥＣＰＳＣで復号される。この復号器とボタンコマンドデータ復号器（図示せず）は、対応する情報項目を、最終的にコンポジタＣＰＳＴＲに供給する。コンポジタＣＰＳＴＲは、復号されたフレームを保存するバッファを含み、これらの情報項目を復号されたビデオデータに適用し、主ピクチャとＰＩＰピクチャデータＭＰＤＰＩＰＤを、ユーザが望んだように配置して出力する。ＰＩＰ状のビデオ信号を重ね合わせるための処理は、フレームバッファ内の高速ブロック移動操作によって、又は、多重ビデオレイヤでの表示処理が可能な場合、表示のため他のレイヤにＰＩＰビデオデータを移動することによって、のいずれかで実行される。コンポジタは、追加的な表示ＰＩＰ入力信号を受け取り評価する。この信号は、１つ又は複数のＰＩＰピクチャの表示状態に関連している。この信号の“真”の状態ＳＰＩＰＴＲは、図６の上半分のように１つ又は複数のＰＩＰピクチャの表示を引き起こす。図６の下半分は、“ＰＩＰを隠す”ボタンがユーザによって押され、コンポジタがその状態が“偽”である表示ＰＩＰ入力信号ＳＰＩＰＦを受け取った後、Ｖ１が依然として主ピクチャでＶ２とＶ３ ＰＩＰピクチャが表示されるビデオデータに、もはや含まれない場合の再生処理のための同じ段階ＤＥＣ、ＤＥＣＰＳＣ、及びＣＰＳＴＲを示している。補助ビデオ信号のそれぞれの１つに対して、ＳＰＩＰＴＲとＳＰＩＰＦを用いて、それが主ビデオ信号と一緒に表示されるか否かが制御される。

ＰＩＰビデオ信号の符号化されたピクセルのアスペクト比は、たとえあったとしても、表示処理のなかでビデオスケーラの位置に依存する。表示バッファが倍率変更される前に、ＰＩＰビデオ信号が重ね合わされた場合、主ビデオとＰＩＰビデオの両方は、適切な非正方形のピクセルを有する必要がある。もしＰＩＰビデオが、倍率変更されていない個別のビデオレイヤに表示される、または、主表示バッファが倍率変更されていないならば、ＰＩＰビデオは、正方形のピクセルアスペクト比を持たなければならない。１９２０×１０８０ピクセルの来るべきディスプレイ標準の場合のように、これは、表示装置が正方形のピクセルを持っていることを仮定している。

図７のコンポジタＣＰＳＴＲのより詳細なブロックダイアグラムにおいて、図５及び図６の中のＤＥＣからの復号されたビデオ出力信号は、フレームバッファＦＲＢＵＦの中に保存される。主ビデオ信号から構成されるフレームバッファ出力は、第１のスケーラＳＣＬＲ１を通過し、このスケーラの中でピクチャは、フルディスプレイフォーマット、例えば、１６：９又は４：３フォーマット、を占めるように、水平、及び／又は、垂直方向に拡大される。復号されたＰＩＰピクチャデータは、フレームバッファＦＲＢＵＦからＰＩＰバッファＰＩＰＢＵＦに転送され、その出力は第２のスケーラＳＣＬＲ２を通過し、このスケーラの中で、第１のスケーラＳＣＬＲ１の中で行われた倍率変更に応じた程度で、１つ又は複数のＰＩＰピクチャは水平、及び／又は、垂直方向に拡大される。一方、スケーラＳＣＬＲ１、及び／又は、スケーラＳＣＬＲ２は、ＰＩＰピクチャの倍率変更をカスタマイズするためユーザによって制御される。スーパーインポーザＳＩＭＰＲは、倍率変更されたＰＩＰピクチャデータと倍率変更された主ピクチャデータとを結合し、対応して結合したピクチャデータＭＰＤＰＩＰＤを出力する。第２のスケーラＳＣＬＲ２とスーパーインポーザＳＩＭＰＲは、図５及び図６の位置と倍率の復号器ＤＥＣＰＳＣから、復号されたＰＩＰの位置及び倍率の情報データ項目を受け取る。スーパーインポーザＳＩＭＰＲは、図６に関連して記述されている表示又は非表示ＰＩＰ入力信号ＳＰＩＰＴＲ又はＳＰＩＰＦを受け取り、評価する。

本発明は、第２のビデオ復号器又は２倍の媒体空間を必要とすることなく、オプションのピクチャインピクチャビデオの表示を容易にする。主ビデオの水平解像度に小さな減少があるのみである。本発明は、光学記録又はハードディスクシステム（例えば、ＤＶＤ、ＨＤ−ＤＶＤ、ＢＤ）の中で使用され、さらに、簡単な復号及び単一ビデオストリームの表示に加えて、いくつかの追加のビデオデータを表示の前に転送することのみが、再生機または受信機の中で要求される。

媒体上に保存したときの主ビデオピクチャとＰＩＰピクチャに対する論理的データ構造を示す。 再生したときのＰＩＰピクチャを表示している第１の例を示す。 再生したときのＰＩＰピクチャを表示している第２の例を示す。 ＰＩＰピクチャをエミュレートすることで多重ビデオストリームの生成を示す。 ＰＩＰピクチャと一緒に主画像が復号され、構成され、表示されることを示す。 主画像を表示しているとき、ＰＩＰピクチャを隠すことを示す。 コンポジタのブロックダイアグラムを示す。

符号の説明

ＰＩＰ１〜ＰＩＰ５ ＰＩＰビデオ信号
ＭＮＶＩＤ 主ビデオ信号
ＶＩＤ１〜ＶＩＤ３ ビデオ画像列入力元段階
ＤＷＮＣ１〜ＤＷＮＣ３ ダウンコンバータ
ＣＭＢ１〜ＣＭＢ３ コンバイナ
ＥＮＣ１〜ＥＮＣ３ ビデオ符号化器
ＤＭＳＴ ディスクマスターリングステージ
ＰＳＣＩ 位置と倍率の情報
ＳＴＭ 記憶媒体
ＤＥＣ ビデオ復号器
ＤＥＣＰＳＣ 位置と倍率の復号器
ＣＰＳＴＲ コンポジタ
ＦＲＢＵＦ フレームバッファ
ＳＣＬＲ１ 第１のスケーラ
ＳＣＬＲ２ 第２のスケーラ
ＰＩＰＢＵＦ ＰＩＰバッファ
ＳＩＭＰＲ スーパーインポーザ

本発明は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化し、復号及び表示するための方法及び装置に関する。

一般に、画面上のデジタル符号化されたビデオ信号のピクチャー・イン・ピクチャ（ＰＩＰ）表示は、それぞれの表示されたビデオストリームに対して１つのビデオ復号器を必要とする。テレビ放送分野では、異なるビデオ信号は通常、関連がないため、これは避けられない。しかしながら、光ディスクのような記憶媒体のコンテキストでは、全てのコンテンツは、作成時に既に知られている。もし、主ビデオストリームと補助ＰＩＰビデオストリームが、共通のタイムラインを有している場合、主要なビデオの中に補助ＰＩＰビデオ信号を直接編集し、それらを１つの符号化ビデオストリームとし一緒に符号化ことは既知である。スクリーン上の所定の位置に表示される補助ビデオ信号は、現在の主ビデオを、ビデオメニューボタンの中にプレビューされている他のビデオストリームの１つに切り替えるための“ビデオメニューボタン”として使用することができる。典型的な応用は、特許文献１に例として示されているようにマルチアングル記憶媒体で異なったカメラアングル間のシーンを切り替えることである。

シーンの中の様々な異なった対象に対する静止画像テクスチャが、単一の画像、たとえばＪＰＥＧ画像、で一緒に転送され得ることは、３次元グラフィックデザインから知られている。

米国特許公開 ２００４−０１２６０８５号公報

この解決策の主な欠点は、主ビデオ信号と１つ又は複数の補助ＰＩＰ型ビデオ信号の組との組み合わせが、事前に作成される必要があることである。ＰＩＰビデオ信号が含まれていない主ビデオのバージョンが、ディスク上に置いてなければ、ＰＩＰ状のビデオ信号を消すことはできない。これは、主ビデオのために要求される記憶容量を事実上２倍にする。

本発明によって解決される問題は、単一のビデオ復号器のみを使用してピクチャー・イン・ピクチャビデオ表示を可能とし、そして、関連したビデオ信号を符号化することである。この問題は、請求項１及び３に開示された方法によって解決される。対応する方法を利用する装置は、請求項２及び４に開示されている。

本発明によれば、
−タイムラインに関連した補助ビデオ信号のＰＩＰ状表示が可能であり、
−それによって、ユーザにＰＩＰ状信号の表示のコントロールを与え、さらに、
−単一の符号化ビデオストリームでこれを達成している。

特に高解像度ビデオの場合、オプションのＰＩＰビデオ信号のため、主ビデオ解像度のいくつかを犠牲にすることになる。例えば１９２０×１０８０ピクセルを有しているビデオ平面は、図１に描かれているように、例えば１６８０×１０８０ピクセルの主ビデオウィンドウＭＮＶＩＤと、１つ又は複数のＰＩＰウィンドウＰＩＰ１からＰＩＰ５を収容している２４０×１０８０のサイドパネルとに、論理的に分割される。復号後、主ビデオウィンドウＭＮＶＩＤが、例えば図２に描かれているように中央に、または、フル１９２０×１０８０のディスプレイサイズに引き延ばされるか若しくは倍率変更されて、表示される。選択された表示オプションに従って、（倍率変更前の）復号されたピクセルのアスペクト比（縦横比）は、正方形（中央の表示において）であるか否かのどちらかである。サイドパネルのビデオコンテンツは直接表示されるのではなく、サイド情報に依存して、このサイドパネルのある部分が、主ビデオウィンドウＭＮＶＩＤ上に重ね合わされる。このサイド情報は、図２に描かれているように、主ビデオの面での補助ビデオ信号の２４０×１６０ピクセルサイズの例えば、１から６までの補助ビデオ信号のサイドパネルビデオの論理的なコンテンツの情報と好ましい倍率と配置を含んでいる。

ＰＩＰ状のビデオ信号は、もはや主ビデオウィンドウの中に“ハードコート”されていないという事実のため、ユーザは、追加のビデオ信号のそれぞれの１つを表示したり隠したり制御できる。さらに、ユーザは、図３に例として示されているように、画面上の任意の場所でＰＩＰウィンドウの位置又は倍率を制御することができる。これらの操作は、従来技術のように、復号され表示される個別のビデオストリームを要求しない。それゆえ、表示、非表示、倍率変更又は再位置調整の操作は、時間の遅れ、つまりビデオ再生の中断を招かず、追加的な記憶空間を必要としない。

符号化側では、主ビデオ信号と補助（ＰＩＰ）ビデオ信号の境界が、コーディックによって符号化された要素、典型的には１６×１６ピクセルのようなサイズのブロック又はマクロブロックの境界、と一致するように、主ビデオ信号と補助（ＰＩＰ）ビデオ信号の場所とサイズを制約することが好ましい。さらに、現在ほとんどのコーディックで利用される時間的予測は、与えられたブロック又はマクロブロックに対して、同じ論理信号からの予測データのみが使用されるように制約される。つまり、主ビデオ領域に属しているマクロブロックは、主ビデオ領域に属しているピクセルのみから予測される。同じことは、ＰＩＰ信号のそれぞれのマクロブロックに対してもあてはまる。

原則として、本発明の方法は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化することに適しており、
−主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、主ビデオ信号を配置するステップと、
−１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、１つ又は複数の補助ビデオ信号を配置するステップと、
−前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化して単一の符号化ビデオ信号を提供するステップと、
−前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成するステップと、
−前記単一の符号化ビデオ信号のデータと、前記符号化位置と倍率情報のデータを結合して記憶媒体のマスタとなることができる結合データストリームを提供するステップを含んでいる。

原則として、本発明の装置は、主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化することに適しており、
−主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、主ビデオ信号を配置し、１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、１つ又は複数の補助ビデオ信号を配置することに適合した手段と、
−前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化して単一の符号化ビデオ信号を提供する手段と、
−前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成することに適合した手段と、
−前記単一の符号化ビデオ信号のデータと、前記符号化された位置と倍率の情報のデータを結合して記憶媒体のマスタとなることができる結合データストリームを提供することに適合した手段とを含んでいる。

原則として、本発明の方法は、主ビデオ信号と１つ又は複数の補助ビデオ信号を復号すること、及び前記主ビデオ信号のみ又は前記主ビデオ信号と１以上の前記補助ビデオ信号を表示することに適しており、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初は配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記方法は、
−記憶媒体から、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号のデータを含んでいる結合データストリームを受け取るステップと、
−復号された主ビデオ信号と、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を単一の復号器で復号して１つ又は複数の復号された補助ビデオ信号を提供するステップと、
−前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報のデータを前記結合データストリームから獲得するステップと、
−前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号のみ又は前記主ビデオ信号と１以上の前記復号された補助ビデオ信号を構成するステップを含んでいる。

原則として、本発明の装置は、主ビデオ信号と１つ又は複数の補助ビデオ信号を復号すること、及び前記主ビデオ信号のみ又は前記主ビデオ信号と１以上の前記補助ビデオ信号を表示することに適しており、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初は配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記装置は、
−記憶媒体から、前記主ビデオ信号及び前記１つ又は複数の補助ビデオ信号を含んだ結合データストリームを受け取ること、及び、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を復号する単一の復号器を含み復号された主ビデオ信号と、１つ又は複数の復号された補助ビデオ信号を提供することに適合した手段と、
−前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報のデータを前記結合データストリームから獲得することに適合した手段と、
−前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号のみ又は前記主ビデオ信号と１以上の前記復号された補助ビデオ信号を構成することに適合した手段を含んでいる。

本発明の効果のある追加の実施形態は、対応する従属請求項に開示されている。本発明の代表的実施形態は、添付の図を参照に記述される。

図４で例えば、３つのビデオ画像又はビデオ画像列入力元段階ＶＩＤ１、ＶＩＤ２、及びＶＩＤ３は、３つの異なった入力元主ビデオピクチャを生成する。これらの段階のそれぞれは、対応するコンバイナＣＭＢ１、ＣＭＢ２、ＣＭＢ３及び、対応するダウンコンバータＤＷＮＣ１、ＤＷＮＣ２、ＤＷＮＣ３のそれぞれに、その出力信号を与え、ダウンコンバータは、それについて対応するＰＩＰピクチャを形成する。コンバイナは、主ビデオピクチャと、他のビデオ画像又はビデオ画像列入力元に由来する１つ又は複数のＰＩＰピクチャとを結合することができ、その結果、ＰＩＰデータは対応している主画像データの近くに、例えば、本図の一番上と一番下で描かれているように配置される。コンバイナＣＭＢ１、ＣＭＢ２及びＣＭＢ３の出力信号は、対応するビデオ符号化器ＥＮＣ１、ＥＮＣ２及びＥＮＣ３を通過し、その後、ディスクマスターリングステージＤＭＳＴで、記憶媒体ＳＴＭの原盤作成のために、それらの符号化ビデオデータと、関連したＰＩＰの位置と倍率の情報データ項目と、ボタンコマンドのデータとを、最終的に結合するために使用される。このボタンコマンドデータは、主ピクチャが表示されているとき、ＰＩＰピクチャＶＩＤ_ｎを示しているボタンがユーザによって活性化された場合、入力元ピクチャＶＩＤ_ｎにジャンプするため、対応している記憶媒体再生機の中で使用される。なお、本例ではｎは１から３までである。ビデオ符号化器は例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１符号化を使用する。

図５において、ＰＩＰピクチャと主画像を復号し、合成し、表示するブロックダイアグラムが示されている。ピックアップとチャネル復号器（図示せず）を使用して、符号化された主ピクチャデータとＰＩＰピクチャデータとを含んでいるデータが記憶媒体ＳＴＭから読み出される。単一のビデオ復号器ＤＥＣが、図４及び図５の一番上に描かれているように配置された主ピクチャデータとＰＩＰピクチャデータとを含んでいる符号化されたピクチャデータを復号する。ビデオ復号器ＤＥＣは、対応する復号のタイプ、つまり、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１復号を使用する。関連したＰＩＰの位置と倍率の情報データ項目は、位置と倍率の復号器ＤＥＣＰＳＣで復号される。この復号器とボタンコマンドデータ復号器（図示せず）は、対応する情報項目を、最終的にコンポジタＣＰＳＴＲに供給する。コンポジタＣＰＳＴＲは、復号されたフレームを保存するバッファを含み、これらの情報項目を復号されたビデオデータに適用し、主ピクチャとＰＩＰピクチャデータＭＰＤＰＩＰＤを、ユーザが望んだように配置して出力する。ＰＩＰ状のビデオ信号を重ね合わせるための処理は、フレームバッファ内の高速ブロック移動操作によって、又は、多重ビデオレイヤでの表示処理が可能な場合、表示のため他のレイヤにＰＩＰビデオデータを移動することによって、のいずれかで実行される。図５の上半分は、Ｖ１が主ピクチャでＶ２とＶ３が２つのＰＩＰピクチャである場合の再生処理を示しており、一方、図５の下半分は、Ｖ２ ＰＩＰボタンがユーザによって押された後、Ｖ２が主ピクチャでＶ１とＶ３が２つのＰＩＰピクチャである場合の再生処理のための同じ段階ＤＥＣ、ＤＥＣＰＳＣ、及びＣＰＳＴＲを示している。位置と倍率の情報データは前記記憶媒体から取り出されるか、又はユーザによって生成され、制御され、若しくは修正される。

図６において、ＰＩＰピクチャと一緒に、又は含まずに、主画像を復号し、合成し、表示するブロックダイアグラムが示されている。つまり、ＰＩＰピクチャは主画像を表示しているとき隠すことが可能である。ピックアップとチャネル復号器（図示せず）を使用して、符号化された主ピクチャデータとＰＩＰピクチャデータとを含んでいるデータが記憶媒体ＳＴＭから読み出される。単一のビデオ復号器ＤＥＣが、図６の一番上に描かれている主ピクチャデータとＰＩＰピクチャデータとを含んでいる符号化されたピクチャデータを復号する。ビデオ復号器ＤＥＣは、対応する復号のタイプ、つまり、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ又はＶＣ−１復号を使用する。関連したＰＩＰの位置と倍率の情報データ項目は、位置と倍率の復号器ＤＥＣＰＳＣで復号される。この復号器とボタンコマンドデータ復号器（図示せず）は、対応する情報項目を、最終的にコンポジタＣＰＳＴＲに供給する。コンポジタＣＰＳＴＲは、復号されたフレームを保存するバッファを含み、これらの情報項目を復号されたビデオデータに適用し、主ピクチャとＰＩＰピクチャデータＭＰＤＰＩＰＤを、ユーザが望んだように構成して出力する。ＰＩＰ状のビデオ信号を重ね合わせるための処理は、フレームバッファ内の高速ブロック移動操作によって、又は、多重ビデオレイヤでの表示処理が可能な場合、表示のため他のレイヤにＰＩＰビデオデータを移動することによって、のいずれかで実行される。コンポジタは、追加的な表示ＰＩＰ入力信号を受け取り評価する。この信号は、１つ又は複数のＰＩＰピクチャの表示状態に関連している。この信号の“真”の状態ＳＰＩＰＴＲは、図６の上半分のように１つ又は複数のＰＩＰピクチャの表示を引き起こす。図６の下半分は、“ＰＩＰを隠す”ボタンがユーザによって押され、コンポジタが、状態が“偽”である表示ＰＩＰ入力信号ＳＰＩＰＦを受け取った後の同じ段階ＤＥＣ、ＤＥＣＰＳＣ、及びＣＰＳＴＲを示している。ここでＶ１は依然として主ピクチャでありＶ２とＶ３ ＰＩＰピクチャは表示されるビデオデータに、もはや含まれない。補助ビデオ信号のそれぞれ毎にＳＰＩＰＴＲとＳＰＩＰＦを用いて、主ビデオ信号と一緒に表示されるか否かが制御される。

ＰＩＰビデオ信号の符号化されたピクセルのアスペクト比（縦横比）は、表示処理のなかのビデオスケーラ、仮にあるとしても、の位置に依存する。表示バッファが倍率変更される前に、ＰＩＰビデオ信号が重ね合わされた場合、主ビデオとＰＩＰビデオの両方は、適切な非正方形のピクセルを有する必要がある。もしＰＩＰビデオが、倍率変更されていない個別のビデオレイヤに表示される、または、主表示バッファが倍率変更されていないならば、ＰＩＰビデオは、正方形のピクセルアスペクト比を持たなければならない。１９２０×１０８０ピクセルの来るべきディスプレイ標準の場合のように、これは、表示装置が正方形のピクセルを持っていることを仮定している。

図７のコンポジタＣＰＳＴＲのより詳細なブロックダイアグラムにおいて、図５及び図６の中のＤＥＣからの復号されたビデオ出力信号は、フレームバッファＦＲＢＵＦの中に保存される。主ビデオ信号のみから構成されるフレームバッファ出力は、第１のスケーラＳＣＬＲ１を通過し、このスケーラの中でピクチャは、フルディスプレイフォーマット、例えば、１６：９又は４：３フォーマット、を占めるように、水平、及び／又は、垂直方向に拡大される。復号されたＰＩＰピクチャデータは、フレームバッファＦＲＢＵＦからＰＩＰバッファＰＩＰＢＵＦに転送され、その出力は第２のスケーラＳＣＬＲ２を通過し、このスケーラの中で、第１のスケーラＳＣＬＲ１の中で行われた倍率変更に応じて、１つ又は複数のＰＩＰピクチャが水平、及び／又は、垂直方向に拡大される。又は、スケーラＳＣＬＲ１、及び／又は、スケーラＳＣＬＲ２は、ＰＩＰピクチャの倍率変更をカスタマイズするためユーザによって制御される。スーパーインポーザＳＩＭＰＲは、倍率変更されたＰＩＰピクチャデータと倍率変更された主ピクチャデータとを結合し、対応して結合したピクチャデータＭＰＤＰＩＰＤを出力する。第２のスケーラＳＣＬＲ２とスーパーインポーザＳＩＭＰＲは、図５及び図６の位置と倍率の復号器ＤＥＣＰＳＣから、復号されたＰＩＰの位置及び倍率の情報データ項目を受け取る。スーパーインポーザＳＩＭＰＲは、図６に関連して記述したように表示又は非表示ＰＩＰ入力信号ＳＰＩＰＴＲ又はＳＰＩＰＦを受け取り、評価する。

本発明は、第２のビデオ復号器又は２倍の媒体空間を必要とすることなく、オプションのピクチャー・イン・ピクチャビデオの表示を容易にする。主ビデオの水平解像度にわずかな減少があるのみである。本発明は、光学記録又はハードディスクシステム（例えば、ＤＶＤ、ＨＤ−ＤＶＤ、ＢＤ）で使用され、さらに、単一ビデオストリームの単純な復号及び表示の他に、表示の前にいくつかの追加のビデオデータを転送することのみが、再生機または受信機に要求されるだけである。

媒体上に保存したときの主ビデオピクチャとＰＩＰピクチャに対する論理的データ構造を示す。 再生したときのＰＩＰピクチャを表示している第１の例を示す。 再生したときのＰＩＰピクチャを表示している第２の例を示す。 ＰＩＰピクチャをエミュレートすることで多重ビデオストリームの生成を示す。 ＰＩＰピクチャと主画像が復号され、合成され、表示されることを示す。 主画像を表示しているとき、ＰＩＰピクチャを隠すことを示す。 コンポジタのブロックダイアグラムを示す。

符号の説明

ＰＩＰ１〜ＰＩＰ５ ＰＩＰビデオ信号
ＭＮＶＩＤ 主ビデオ信号
ＶＩＤ１〜ＶＩＤ３ ビデオ画像列入力元段階
ＤＷＮＣ１〜ＤＷＮＣ３ ダウンコンバータ
ＣＭＢ１〜ＣＭＢ３ コンバイナ
ＥＮＣ１〜ＥＮＣ３ ビデオ符号化器
ＤＭＳＴ ディスクマスターリングステージ
ＰＳＣＩ 位置と倍率の情報
ＳＴＭ 記憶媒体
ＤＥＣ ビデオ復号器
ＤＥＣＰＳＣ 位置と倍率の復号器
ＣＰＳＴＲ コンポジタ
ＦＲＢＵＦ フレームバッファ
ＳＣＬＲ１ 第１のスケーラ
ＳＣＬＲ２ 第２のスケーラ
ＰＩＰＢＵＦ ＰＩＰバッファ
ＳＩＭＰＲ スーパーインポーザ

Claims (10)

1. 主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化するための方法であって、
   前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号を配置するステップと、
   前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号を配置するステップと、
   単一の符号化ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化するステップと、
   前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成するステップと、
   記憶媒体のマスタとなることができる結合データストリームを提供するため、前記単一の符号化ビデオ信号のデータと、前記符号化された位置と倍率の情報のデータを結合するステップと、
   を含んでいることを特徴とする方法。
2. 主ビデオ信号と１つ又は複数の補助ビデオ信号を符号化するための装置であって、該装置は、
   前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号を配置し、前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号を配置することに適合した手段と、
   単一の符号化ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を一緒に符号化することに適合した手段と、
   前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を生成することに適合した手段と、
   記憶媒体のマスタとなることができる結合データストリームを提供するため、前記単一の符号化ビデオ信号のデータと、前記符号化された位置と倍率の情報のデータを結合することに適合した手段と、
   を含んでいることを特徴とする装置。
3. 主ビデオ信号と１つ又は複数の補助ビデオ信号を復号する、及び前記主ビデオ信号と０以上の前記補助ビデオ信号を表示するための方法であって、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初から配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記方法は、
   記憶媒体から、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号のデータを含んでいる結合データストリームを受け取るステップと、
   復号された主ビデオ信号と、１つ又は複数の復号された補助ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を単一の復号器で復号するステップと、
   前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を前記結合データストリームから獲得するステップと、
   前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号と、０以上の前記復号された補助ビデオ信号を構成するステップと、
   を含んでいることを特徴とする方法。
4. 主ビデオ信号と１つ又は複数の補助ビデオ信号を復号する、及び前記主ビデオ信号と０以上の前記補助ビデオ信号を表示するための装置であって、前記主ビデオ信号が所定の画像領域のメイン部分のみに関連するように、前記主ビデオ信号が最初から配置されており、さらに前記１つ又は複数の補助ビデオ信号が、前記所定の画像領域の残りの部分に関連するように、前記１つ又は複数の補助ビデオ信号が配置されており、前記装置は、
   記憶媒体から、前記主ビデオ信号及び前記１つ又は複数の補助ビデオ信号を含んでいる結合データストリームを受け取ること、及び、復号された主ビデオ信号と、１つ又は複数の復号された補助ビデオ信号を提供するため、前記主ビデオ信号と前記１つ又は複数の補助ビデオ信号を復号する単一の復号器を含むことに適合した手段と、
   前記１つ又は複数の補助ビデオ信号に関する位置と倍率の情報を前記結合データストリームから獲得することに適合した手段と、
   前記位置と倍率の情報のデータを使用して、前記復号された主ビデオ信号と０以上の前記復号された補助ビデオ信号を構成することに適合した手段と、
   を含んでいることを特徴とする装置。
5. 前記主ビデオ信号が前記表示のため倍率変更され、前記倍率変更は前記位置と倍率の情報データによって制御されることを特徴とする請求項３に記載の方法、又は請求項４に記載の装置。
6. 前記１つ又は複数の補助ビデオ信号が前記表示のため倍率変更され、前記倍率変更は前記位置と倍率の情報データによって制御されることを特徴とする請求項５に記載の方法又は装置。
7. 前記１つ又は複数の補助ビデオ信号のそれぞれの１つに対して、それが前記主ビデオ信号と一緒に表示されるか否かが制御されることを特徴とする請求項３、５、及び６のいずれか１項に記載の方法、又は、請求項４から６のいずれか１項に記載の装置。
8. 現在の補助信号は、前記現在の補助信号に対応する異なった主信号を前記記憶媒体から取り込み、復号し、表示するための、及び現在の主信号のかわりに前記異なった主信号を表示するためのユーザボタンとして使用されることを特徴とする請求項３及び５から７のいずれか１項に記載の方法、又は、請求項４から７のいずれか１項に記載の装置。
9. 前記位置と倍率の情報データは、前記記憶媒体から取り出され、又はユーザによって生成され、制御され、若しくは修正されることを特徴とする請求項３及び５から８のいずれか１項に記載の方法、又は、請求項４から８のいずれか１項に記載の装置。
10. 前記記憶媒体は、ＤＶＤ、ＨＤ−ＤＶＤまたはＢＤディスクであることを特徴とする請求項１、３及び５から９のいずれか１項に記載の方法、又は、請求項２及び４から９のいずれか１項に記載の装置。

Images