JP4154569B2 - 画像圧縮伸長装置 - Google Patents
画像圧縮伸長装置 Download PDFInfo
- Publication number
- JP4154569B2 JP4154569B2 JP2002201797A JP2002201797A JP4154569B2 JP 4154569 B2 JP4154569 B2 JP 4154569B2 JP 2002201797 A JP2002201797 A JP 2002201797A JP 2002201797 A JP2002201797 A JP 2002201797A JP 4154569 B2 JP4154569 B2 JP 4154569B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- eye image
- eye
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体画像、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度追加画像から構成される画像データをできるだけ効率よく圧縮または伝送し、受信または伸長するための、立体画像圧縮または伸長装置に関する。
【０００２】
【従来の技術】
従来の立体画像信号に対する圧縮方式としては、例えば特開平11-18111号公報に開示された「立体映像伝送方法及び装置」が特許化されている。
【０００３】
この発明に関して、図２０に構成例を示す。
【０００４】
立体画像２００１は、左目画像（○）２００２と右目画像（×）２００３から構成される。これらは、ディスプレイ上では２００１に示すように配置される。即ち、縦１列ごとに交互に左目画像と
右目画像が配置される。図２０の例では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ラインを示している。
【０００５】
立体画像２００１は、変換画像２００４のように変換される。即ち、352画素×288ラインの画面上において、左目画像176画素×288ラインが左半分に配置され、右目画像176画素×288ラインが右半分に配置される。
【０００６】
そして、２００４で示す変換画像に対して、MPEG圧縮２００５、送信・記録２００６、受信・再生２００７、MPEG伸長２００８といった処理が行われる。
【０００７】
MPEG伸長２００８の処理から出力した画像信号は、２００９に示すように、立体画像２００１の入力信号と同じ立体画像２００９が再現される。
【０００８】
【発明が解決しようとする課題】
しかしながら、前記従来例には以下のような欠点がある。
【０００９】
変換画像２００４の信号において、左半分に左目画像、右半分に右目画像を配置しているため、MPEG圧縮を行う場合、左目画像と右目画像の相関性を適用できない。即ち、立体画像では、近くの物体は左目画像と右目画像が離れたデータであり、遠くの物体は左目画像と右目画像が接近したデータであるため、特に遠くの物体を示すブロックにおいて、左目画像と右目画像の相関性を使うことにより、データ圧縮効率をアップさせることが可能となるが、従来例のような圧縮方式ではそれが実現不可能である。
【００１０】
また、立体画像を圧縮伝送して立体画像ディスプレイで表示する場合、同時に、同じ信号を高解像度平面画像用ディスプレイに表示することも考慮しなくてはならない。即ち、立体画像に加え、立体画像と高解像度平面追加画像から構成される画像データを効率よく圧縮伝送することも重要であるが、従来例では、それはまったく考慮されていない。
【００１１】
本発明の目的は、立体画像に加え、立体画像と高解像度平面画像から構成される画像データを効率よく圧縮伝送する立体画像圧縮または伸長装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は前記課題を解決したものであり、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる。
【００１３】
（作用）
本発明は、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる、
という作用を有する。
【００１４】
【発明の実施の形態】
図１〜図２を参照して、本発明の実施の形態を説明する。
【００１５】
本発明の構成に関して説明する。
【００１６】
図１に、本発明の立体画像圧縮伸長装置の参考例として、左目画像と同じ画素数、解像度の右目画像が入力する場合のブロック図を示す。
【００１７】
立体画像圧縮伸長装置には、１０１から左目画像信号、１０２から右目画像信号が入力する。これらは、それぞれフレーム構成のプログレッシブ画像とする。ここで、立体画像ディスプレイが352画素×288ラインを表示できるとき、左目画像信号１０１、右目画像信号１０２をそれぞれ176画素×288ラインの画像信号とし、右目、左目それぞれ176画素×288ラインを視聴できるものとする。
【００１８】
左目画像信号１０１、右目画像信号１０２は、それぞれ立体画像前処理部１０３の画像構成変換部１０４に入力する。画像構成変換部１０４では左目画像信号１０１と右目画像信号１０２が多重化され、１枚の画像が構成された上で、フレーム／フィールド変換部１０５において、仮想的にTop Field、Bottom Fieldから成るインターレース画像が構成される。立体画像前処理部１０３中の画像構成変換部１０４とフレーム／フィールド変換部１０５の動作に関しては、再度詳しく後述する。フレーム／フィールド変換部１０５から出力された画像信号は、MPEG（Moving Picture Expert Group）圧縮部１０６により、MEPG-2、MPEG-4などの画像圧縮フォーマットで圧縮され、送信・記録部１０７で、圧縮立体画像信号として、ストレージへの記録、外部への送信等が行われる。
【００１９】
また、外部から受信、ストレージから再生された圧縮立体画像信号は、受信・再生部１０８を経て、MPEG伸長部１０９でMPEG伸長され、Top Field、Bottom Fieldから成るインターレース画像が再現される。このインターレース画像信号は、立体画像後処理部１１０のフィールド／フレーム変換部１１１でフレーム構成のプログレッシブ画像に戻された上で、画素構成変換部１１２で左目画像信号、右目画像信号に再構成され、それぞれ１１３、１１４から出力される。
【００２０】
図２に、本発明を実現する立体画像圧縮伸長装置の一例として、左目画像と同じ画素数、解像度の右目画像、さらに通常の平面画像を２倍の解像度で表示するための、前記と同じ画素数、解像度の高解像度追加画像が入力する場合のブロック図を示す。
【００２１】
立体画像圧縮伸長装置には、２０１から左目画像信号、２０２から右目画像信号、２０３から高解像度追加画像信号が入力する。これらは、それぞれフレーム構成のプログレッシブ画像とする。ここで、立体画像ディスプレイが352画素×288ラインを表示でき、高解像度平面ディスプレイが352画素×288ラインを表示できるとき、左目画像信号２０１、右目画像信号２０２、高解像度追加画像信号２０３がそれぞれ例えば176画素×288ラインの画像信号とすると、立体画像ディスプレイでは左目画像信号２０１、右目画像信号２０２により右目、左目それぞれ176画素×288ラインを視聴でき、高解像度平面ディスプレイでは左目画像信号２０１、高解像度追加画像信号２０３により352画素×288ラインを視聴できるものとする。
【００２２】
左目画像信号２０１、右目画像信号２０２、高解像度追加画像信号２０３は、それぞれ立体画像前処理部２０４の画像構成変換部２０５に入力する。画像構成変換部２０５では左目画像信号２０１と右目画像信号２０２と高解像度追加画像信号２０３が多重化され、１枚の画像が構成された上で、フレーム／フィールド変換部２０６において、仮想的にTop Field、Bottom Fieldから成るインターレース画像が構成され、選択部２０７でフレーム画像、フィールド画像が選択される。立体画像前処理部２０４中の画像構成変換部２０５、フレーム／フィールド変換部２０６、選択部２０７の動作に関しては、再度詳しく後述する。選択部２０７から出力された画像信号は、MPEG（Moving Picture Expert Group）圧縮部２０８により、MEPG-2、MPEG-4などの画像圧縮フォーマットで圧縮され、送信・記録部２０９で、圧縮立体画像信号として、ストレージへの記録、外部への送信等が行われる。
【００２３】
また、外部から受信、ストレージから再生された圧縮立体画像信号は、受信・再生部２１０を経て、MPEG伸長部２１１でMPEG伸長され、プログレッシブ信号、またはTop Field、Bottom Fieldから成るインターレース画像が再現される。この画像信号は、立体画像後処理部２１２の分岐回路２１３を経て、フィールド／フレーム変換部２１４でフレーム構成のプログレッシブ画像に戻された上で、２１５画素構成変換部で左目画像信号、右目画像信号、高解像度追加画像信号に再構成され、それぞれ２１６、２１７、２１８から出力される。
【００２４】
【実施例】
図３〜図１９を参照して、本発明の実施例及び本発明の動作を説明する。
【００２５】
図３に、参考例を示す。
【００２６】
立体画像３０１は左目画像（○）３０２と右目画像（×）３０３から構成され、左目画像３０２、右目画像３０３はそれぞれ図１における左目画像信号入力１０１、右目画像信号入力１０２に相当する。これらは、ディスプレイ上では３０１に示すように配置される。即ち、縦１列ごとに交互に左目画像と右目画像が配置される。図３の例では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ラインを示している。
【００２７】
立体画像３０１は、画像構成変換部１０４により第１の変換画像３０４のように変換される。即ち、左目画像176画素×288ラインが平行移動したそのままの形で奇数ラインに配置され、右目画像176画素×288ラインが平行移動したそのままの形で偶数ラインに配置される。
【００２８】
第１の変換画像３０４は、フレーム／フィールド変換部１０５により第２の変換画像３０５、第３の変換画像３０６のように変換される。即ち、第２の変換画像３０５として176画素×288ラインのTop Field画像、第３の変換画像３０６として176画素×288ラインのBottom Field画像に変換される。
【００２９】
そして、第２の変換画像３０５、第３の変換画像３０６で示すフィールド画像に対してMPEG圧縮３０７、送信・記録３０８、受信・再生３０９、MPEG伸長３１０といった処理が行われる。これらは、それぞれ図１のMPEG圧縮部１０６、送信・記録部１０７、受信・再生部１０８、MPEG伸長部１０９に相当する。
【００３０】
MPEG圧縮３０７においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００３１】
立体画像前処理部１０３で、左目画像を奇数ラインかつ右目画像を偶数ライン、または、右目画像を奇数ラインかつ左目画像を偶数ラインに配置し、１個の画像をインターレース画像とする。立体画像前処理部１０３で処理された１個の画像を、MPEG圧縮部１０６では、奇数ラインと偶数ラインのデータから構成されるブロックと、奇数ラインのみまたは偶数ラインのみのデータから構成されるブロックのうち、最適なブロックを選択し、さらに、前後フレームからのフレーム予測、または前後フィールドからのフィールド予測のうち、最適な予測方法を選択するに際し、そこから予測されたブロックデータと当該ブロックデータとの誤差を直交変換、量子化、可変長符号化した結果、当該ブロックデータの符号量が最も小さくなるブロックおよび予測方法を選択することにより圧縮する。
【００３２】
MPEG伸長３１０から出力した画像信号は、フィールド／フレーム変換部１１１、画素構成変換部１１２を通して、出力立体画像３１１に示す、立体画像３０１と同じ立体画像が再現される。
【００３３】
図４に、図３のMPEG圧縮３０７におけるGOP（Group Of Pictures）構成例を示す。
【００３４】
GOPはピクチャー番号４０１に示すように15ピクチャーから構成され、ピクチャータイプ４０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。４０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容４０４に示すようにTop Fieldをすべて○で示す左目画像、ピクチャー内容４０５に示すようにBottom Fieldをすべて×で示す右目画像とすることにより、図３に示す圧縮が実現できる。なお、４０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００３５】
図５に、第１の実施例を示す。
【００３６】
立体画像５０１は左目画像（○）５０２と右目画像（×）５０３から構成され、高解像度平面画像５０４は左目画像（○）５０２と左目画像（○）５０２を高解像度とするための高解像度追加画像（●）５０５から構成される。立体画像５０１の左目画像（○）５０２と高解像度平面画像５０４の左目画像（○）５０２は同じ画素を示している。左目画像５０２、右目画像５０３、高解像度追加画像５０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像５０１、高解像度平面画像５０４に示すように配置される。即ち、立体画像５０１では縦１列ごとに交互に左目画像５０２と右目画像５０３が配置され、高解像度平面画像５０４では縦１列ごとに交互に左目画像５０２と高解像度追加画像５０５が配置される。図５の例では、立体画像５０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像５０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００３７】
立体画像５０１、高解像度平面画像５０４は、画像構成変換部２０５により、第１ピクチャーの左目画像５０６、第１ピクチャーの右目画像５０７、第１ピクチャーの高解像度追加画像５０８および第２ピクチャーの左目画像５０９、第２ピクチャーの右目画像５１０、第２ピクチャーの高解像度追加画像５１１のように変換される。即ち、第１映像では、左目画像５０６が画面上の左、右目画像５０７が画面上の中央、高解像度追加画像５０８が画面上の右に、それぞれ176画素×288ラインが平行移動したそのままの形で配置され、528画素×288ラインの第１ピクチャー５１２が構成される。第２映像でも第２ピクチャーの左目画像５０９、第２ピクチャーの右目画像５１０、第２ピクチャーの高解像度追加画像５１１に同様の配置が行われ、528画素×288ラインの第２ピクチャー５１３が構成される。
【００３８】
528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３は、フレーム／フィールド変換部２０６を経由せず、即ち選択部２０７により画素構成変換部２０５の出力がそのまま選択されて、プログレッシブで出力される。
【００３９】
そして、528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３で示すフレーム画像に対してMPEG圧縮５１４、送信・記録５１５、受信・再生５１６、MPEG伸長５１７といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００４０】
MPEG伸長５１７から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由せずに、直接、画素構成変換部２１５を通して、立体画像５０１、高解像度平面画像５０４と同じ出力立体画像５１８、および出力高解像度平面画像５１９が再現される。
【００４１】
図６に、図５のMPEG圧縮５１４におけるGOP（Group Of Pictures）構成例を示す。
【００４２】
GOPはピクチャー番号６０１に示すように15ピクチャーから構成され、ピクチャータイプ６０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。このとき、ピクチャー内容６０３に示すように、左目画像（○）を画面左、高解像度追加画像（●)面中央、右目画像（×）を画面右とすることにより、図５に示す圧縮が実現できる。なお、６０４は予測元ピクチャーと予
測先ピクチャーの関係を矢印で示したものである。
【００４３】
図７に、図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３に示す配置方法の別の例を示す。
【００４４】
左目画像（○）７０１を画面上、右目画像（×）７０２を画面中央、高解像度追加画像（●）７０３を画面下とする。図５の立体画像５０１、高解像度平面画像５０４の配置を行う場合、図７の画面は176画素×864ラインとなる。
【００４５】
図８に、図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３に示す配置方法の別の例を示す。
【００４６】
左目画像（○）＋高解像度追加画像（●）８０１を１列おき画面左から中央、右目画像（×）８０２を画面右とする。図５の立体画像５０１、高解像度平面画像５０４の配置を行う場合、図８の画面は528画素×288ラインとなる。
【００４７】
以上、複数の配置例を示したが、左目画像（○）、高解像度追加画像（●）、右目画像（×）はこの順序でなくてもいい。
【００４８】
例えば図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３では、右目画像（×）、左目画像（○）、高解像度追加画像（●）の順序でもよく、それ以外でもいい。
【００４９】
例えば図７では、右目画像（×）７０２、左目画像（○）７０１、高解像度追加画像（●）７０３の順序でもよく、それ以外でもいい。
【００５０】
例えば図８では、右目画像（×）８０２、左目画像＋高解像度追加画像（○、●）８０１の順序でもいい。
【００５１】
また、左目画像＋高解像度追加画像（○、●）８０１、右目画像（×）８０２を縦に並べてもいい。
【００５２】
図９に、第２の実施例を示す。
【００５３】
立体画像９０１は左目画像（○）９０２と右目画像（×）９０３から構成され、高解像度平面画像９０４は左目画像（○）９０２と左目画像（○）９０２を高解像度とするための高解像度追加画像（●）９０５から構成される。左目画像９０２、右目画像９０３、高解像度追加画像９０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像９０１、高解像度平面画像９０４に示すように配置される。即ち、立体画像９０１では縦１列ごとに交互に左目画像と右目画像が配置され、高解像度平面画像９０４では縦１列ごとに交互に左目画像と高解像度追加画像が配置される。図９の例では、立体画像９０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像９０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００５４】
立体画像９０１、高解像度平面画像９０４は、画像構成変換部２０５により、インターレース変換画像９０６のように変換される。即ち、高解像度平面画像９０４の352画素×288ラインが平行移動したそのままの形で奇数ラインに配置され、右目画像９０３の176画素×288ラインが偶数ラインに配置される。ただし、このままでは高解像度平面画像と右目画像のライン当たりの画素数が一致しないため、右目画像に関しては、インターレース変換画像９０６に示すように１画素ごとに"０"を挿入し、352画素×288ラインとした上で、平行移動させ、そのままの形で偶数ラインに配置される。この部分に関しては、さらに詳しく後述する。その結果、インターレース変換画像９０６には、352画素×576ラインのフレームデータが配置される。
【００５５】
インターレース変換画像９０６は、フレーム／フィールド変換部２０６により352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８に変換される。
【００５６】
従って、352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８は、フレーム／フィールド変換部２０６を経由して、即ち選択部２０７によりフレーム／フィールド変換部２０６の出力が選択されて、インターレースで出力される。
【００５７】
そして、352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８で示すフィールド画像に対してMPEG圧縮９０９、送信・記録９１０、受信・再生９１１、MPEG伸長９１２といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００５８】
MPEG圧縮９０９においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００５９】
MPEG伸長９１２から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由して、フレーム構成に再変換された後、画素構成変換部２１５を通して、立体画像９０１、高解像度平面画像９０４と同じ立体画像９１３、および高解像度平面画像９１４が再現される。
【００６０】
図１０に、右目画像９０３において１画素ごとに”０”を挿入する様子を、８画素×８ライン（DCTブロック）に渡って示す。１００１の下線部に示すように、１画素ごとに"０"が挿入され、その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に"０"が挿入される。これらは逆でもいい。挿入される値は"０"でなくてもいい。
【００６１】
図１１に、右目画像９０３において１画素ごとに前画素（左の画素）と同じ値を挿入する様子を、８画素×８ラインに渡って示す。１１０１の下線部に示すように、１画素ごとに前画素と同じデータが挿入され、その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素と同じデータが挿入される。これらは逆でもよく、後画素（右の画素）と同じデータでもいい。
【００６２】
図１２に、右目画像９０３において１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を、８画素×８ラインに渡って示す。１２０１の下線部に示すように、１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値が挿入されている。また画面の最右端に関しては、１２０２に示すように、”０”を入れてもいい。その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素（左の画素）と後画素（右の画素）の平均値、画面の最右端には”０”が挿入される。
【００６３】
図１３に、右目画像９０３において１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を、８画素×８ラインに渡って再度示す。１３０１の下線部に示すように、１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値が挿入されている。また画面の最右端に関しては、１３０２に示すように、その左の画素と同じデータを入れてもいい。
その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素（左の画素）と後画素（右の画素）の平均値、画面の最右端にはその左の画素と同じデータが挿入される。
【００６４】
図１４に、図９のMPEG圧縮９０９におけるGOP（Group Of Pictures）構成例を示す。
【００６５】
GOPはピクチャー番号１４０１に示すように15ピクチャーから構成され、ピクチャータイプ１４０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。１４０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１４０４に示すようにTop Fieldを左目画像（○）と高解像度追加画像（●）を合わせた高解像度平面画像（○●）、ピクチャー内容１４０５に示すようにBottom Fieldを右目画像（×）と挿入された"０"（０）を合わせたデータ（×０）することにより、図９に示す圧縮が実現できる。なお、１４０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００６６】
図１５に、第３の実施例を示す。
【００６７】
立体画像１５０１は左目画像（○）１５０２と右目画像（×）１５０３から構成され、高解像度平面画像１５０４は左目画像（○）１５０２と左目画像（○）１５０２を高解像度とするための高解像度追加画像（●）１５０５から構成される。左目画像１５０２、右目画像１５０３、高解像度追加画像１５０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像１５０１、高解像度平面画像１５０４に示すように配置される。即ち、立体画像１５０１では縦１列ごとに交互に左目画像と右目画像が配置され、高解像度平面画像１５０４では縦１列ごとに交互に左目画像と高解像度追加画像が配置される。図１５の例では、立体画像１５０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像１５０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００６８】
立体画像１５０１、高解像度平面画像１５０４は、画像構成変換部２０５により、第１フレームTop Field画像１５０６、第１フレームBottom Field画像１５０７、第２フレームTop Field画像１５０８、および第２フレームBottom Field画像１５０９、第３フレームTop Field画像１５１０、第３フレームBottom Field画像１５１１のように変換される。即ち、第１映像の左目画像１５０２と第１映像の右目画像１５０３が１５０６、１５０７の第１フレーム、第１映像の高解像度追加画像１５０５と図示していない第２映像の左目画像が１５０８、１５０９の第２フレーム、図示していない第２映像の右目画像と第２映像の高解像度追加画像が１５１０、１５１１の第３フレームとなる。即ち、２つの映像から３フレームが構成される。
【００６９】
１５０６〜１５１１は、フレーム／フィールド変換部２０６により１５１２〜１５１７のように変換される。即ち、１５１２として176画素×288ラインのTop Field画像、１５１３として176画素×288ラインのBottom Field画像、以下、１５１４、１５１５、１５１６、１５１７において、176画素×288ラインのTop Field画像、Bottom Field画像、またTop Field画像、Bottom Field画像に変換される。
【００７０】
従って、１５１２〜１５１７は、フレーム／フィールド変換部２０６を経由して、即ち選択部２０７によりフレーム／フィールド変換部２０６の出力が選択されて、インターレースで出力される。
【００７１】
そして、１５１２〜１５１７で示すフィールド画像に対してMPEG圧縮１５１８、送信・記録１５１９、受信・再生１５２０、MPEG伸長１５２１といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００７２】
MPEG圧縮１５１８においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００７３】
MPEG伸長１５２１から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由して、フレーム構成に再変換された後、画素構成変換部２１５を通して、立体画像１５０１、高解像度平面画像１５０４と同じ立体画像１５２２、および高解像度平面画像１５２３が再現される。
【００７４】
図１６に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成例を示す。
【００７５】
GOPはピクチャー番号１６０１に示すように15ピクチャーから構成され、ピクチャータイプ１６０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。１６０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１６０４、１６０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００７６】
さて、ここでは、立体映像と高解像度平面画像合わせて１画面を１．５フレームで示している。さらに、ある１画面を示す１．５フレームデータと次の１画面を示す１．５フレームデータは、フィールドが逆になるため、３フレームでフィールド構成が一巡する。例えば、図１６の第３フレームとその後最初にフィールド構成が一致するのは第６フレームである。図１６のようにGOPが15フレームから成るとき、15フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１６に示す次のGOPでも、第３フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１６に示すGOPと同じ構成になる。
【００７７】
このようにGOPごとにフレーム構成が同じものになると、例えば図１６では、常に、
・IピクチャーはTop Fieldが左目画像（○）、Bottom Fieldが右目画像（×）
と変わらないため、立体画像（左目画像、右目画像）の方が高解像度平面画像（高解像度追加画像）に比べて画質が良くなるという特徴がある。
【００７８】
なお、１６０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００７９】
ここで、図１６では、ずっと左目画像（○）、右目画像（×）、高解像度追加画像（●）の順で配置しているが、配置順を変えることも可能である。例えば、１６０１における第３フレーム奇数ラインに左目画像（○）、第３フレーム偶数ラインに右目画像（×）、第４フレーム奇数ラインに高解像度追加画像（●）、第４フレーム偶数ラインに高解像度追加画像（●）、第５フレーム奇数ラインに左目画像（○）、第５フレーム偶数ラインに右目画像（×）とし、以下３フレームごとにこれらを繰り返すなどである。これにより、左目画像は常に奇数ライン（Top Field）、右目画像は常に偶数ライン（Bottom Field）となり、予測効率、即ち圧縮効率を上げることができる。
【００８０】
図１７に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８１】
GOPはピクチャー番号１７０１に示すように12ピクチャーから構成され、ピクチャータイプ１７０２に示すように、順にＢＩＢＰＢＰＢＰＢＰＢＰピクチャーから成る。１７０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１７０４、１７０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００８２】
さて、図１７のようにGOPが12フレームから成るとき、12フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１７に示す次のGOPでも、第２フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１７に示すGOPと同じ構成になる。
【００８３】
なお、１７０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００８４】
図１８に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８５】
GOPはピクチャー番号１８０１に示すように12ピクチャーから構成され、ピクチャータイプ１８０２に示すように、順にＢＢＢＩＢＢＢＰＢＢＢＰピクチャーから成る。１８０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１８０４、１８０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００８６】
さて、図１８のようにGOPが12フレームから成るとき、12フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１８に示す次のGOPでも、第４フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１８に示すGOPと同じ構成になる。
【００８７】
なお、１８０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００８８】
図１９に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８９】
GOPはピクチャー番号１９０１に示すように16ピクチャーから構成され、ピクチャータイプ１９０２に示すように、順にＢＢＢＩＢＢＢＰＢＢＢＰＢＢＢＰピクチャーから成る。１９０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１９０４、１９０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００９０】
さて、図１９のようにGOPが16フレームから成るとき、16フレームは３フレームで割り切れないため、各GOPにおけるフレーム構成は異なったものとなる。即ち、図１９に示す次のGOPでは、第４フレームにおいて、Top Fieldが高解像追加画像（●）、Bottom Fieldが左目画像（○）と、図１９に示すGOPと異なった構成になる。
【００９１】
このようにGOPごとにフレーム構成が異なったものになると、
・第１のGOPでは、IピクチャーはTop Fieldが左目画像（○）、Bottom Fieldが右目画像（×）
・第２のGOPでは、IピクチャーはTop Fieldが高解像追加画像（●）、Bottom Fieldが左目画像（○）
・第３のGOPでは、IピクチャーはTop Fieldが右目画像（×）、Bottom Fieldが高解像追加画像（●）
と、Iピクチャーを構成する画像が変わるため、３画像とも平均した画質になるという特徴がある。
【００９２】
なお、１９０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００９３】
本発明の参考例を示す。
【００９４】
圧縮側では、圧縮された伝送ないし記録ストリーム中に、平面画像ないし立体画像ストリームであることを示すフラグを挿入する。
【００９５】
例えば、MPEGフォーマットでは、PES#packetにおいて128ビットのPES#private#dataが規定されており、前記フラグをここに配置してもいい。128ビット中の最初の8ビット（B0〜B7）を立体映像IDとして、"01011010" などの識別データを配置した後、次の2ビット（B8、B9）において、
平面立体フラグ
００： 通常の平面画像
０１： 立体画像
１０： 保留
１１： 保留
とすることなどが考えられる。
【００９６】
伸長側では、前記平面立体フラグを検出することにより、平面画像ないし立体画像ストリームであることを検出し、平面画像ないし立体画像として伸長、後処理する。
【００９７】
これを図１により示す。
【００９８】
圧縮側では、平面画像であれば立体画像前処理部１０３をバイパスして、立体画像（左目画像、右目画像）であれば立体画像前処理部１０３を経由した後、MPEG圧縮部１０６で圧縮を行うとともに、PES#private#dataの最初の２ビット（平面立体フラグ）に、前者であれば "00"、後者であれば "01" を書き込んで送信・記録部１０７に出力する。
【００９９】
伸長側では、受信再生部１０８から出力されたデータを、MPEG伸長部１０９で伸長するとともに、PES#private#dataの最初の２ビット（平面立体フラグ）を検出する。このとき、"00" であれば、立体画像後処理部１１０をバイパスして平面画像を出力し、"01" であれば、立体画像後処理部１１０を経由して立体画像（左目画像、右目画像）を出力する。
【０１００】
平面立体フラグは、PES#private#data以外の、ユーザーが自由に使用できるデータ部に配置してもいい。
【０１０１】
本発明の実施例の他の例として、
圧縮側では、圧縮された伝送ないし記録ストリーム中に、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度追加画像のうちどの画像の組み合わせから構成されるかを示すフラグを挿入する。
【０１０２】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID以降の４ビット（B8〜B11）において、
平面立体解像度フラグ
００００： 通常の平面画像
０００１： 立体画像のみ
００１０： 立体画像と通常の平面画像
００１１： 立体画像と高解像度平面画像
０１００： 立体画像と高解像度追加画像
０１０１〜１１１１： 保留
とすることなどが考えられる。
【０１０３】
伸長側では、前記平面立体解像度フラグを検出することにより、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度平面追加画像のうちどの画像から構成されるかを検出し、検出結果に従って伸長、後処理する。
【０１０４】
立体画像と高解像度平面追加画像の場合に関して、図２により示す。
【０１０５】
圧縮側では、平面画像であれば立体画像前処理部２０４をバイパスして、高解像度追加画像を含む立体画像（左目画像、右目画像、高解像度追加画像）であれば立体画像前処理部２０４を経由した後、MPEG圧縮部２０８で圧縮を行うとともに、PES#private#dataの最初の３ビット（平面立体解像度フラグ）に、規定のデータを書き込んで送信・記録部２０９に出力する。
【０１０６】
伸長側では、受信再生部２１０から出力されたデータを、MPEG伸長部２１１で伸長するとともに、PES#private#dataの最初の３ビット（平面立体解像度フラグ）を検出する。このとき、"000" であれば、立体画像後処理部２１２をバイパスして平面画像を出力し、"000" 以外であれば、立体画像後処理部２１２を経由して高解像度追加画像を含む立体画像（左目画像、右目画像、高解像度追加画像）を出力する。
【０１０７】
平面立体解像度フラグは、PES#private#data以外の、ユーザーが自由に使用できるデータ部に配置してもいい。
【０１０８】
さらに、他の例として、
圧縮側では、圧縮された伝送ないし記録ストリーム中に、立体画像の多重化方式を示すフラグを挿入する。
【０１０９】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID、平面立体解像度フラグ後の４ビット（B12〜B15）において、
立体多重化方式フラグ
００００： 保留
０００１： 左目画像を奇数ラインかつ右目画像を偶数ライン、または、右目画像を奇数ラインかつ左目画像を偶数ラインに配置し、１個の画像をインターレース画像とする方式
００１０： 左目画像、右目画像、高解像度追加画像のうち１つを１個の画像の一部に固めて配置し、他の１つを１個の画像の他の一部に固めて配置し、さらに他の１つを１個の画像の他の一部に固めて配置する方式
００１１： 左目画像と左目用高解像度追加画像を多重化して１個の第１の画像とし、右目画像とダミー画像を多重化して１個の第２の画像とし、または右目画像と右目用高解像度追加画像を多重化して１個の第１の画像とし、左目画像とダミー画像を多重化して１個の第２の画像とし、さらに、第１の画像と第２の画像を合わせて１個の第３のインターレース画像とする方式
０１００： 左目画像、右目画像、高解像度追加画像のうち１つを第３ｎ＋１フレーム奇数ラインと第３ｎ＋２フレーム偶数ラインに配置し（ｎは０以上の整数）、他の１つを第３ｎ＋１フレーム偶数ラインと第３ｎ＋３フレーム奇数ラインに配置し、さらに他の１つを第３ｎ＋２フレーム奇数ラインと第３ｎ＋３フレーム偶数ラインに配置し、同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした方式
０１０１〜１１１１： 保留
とすることなどが考えられる。
【０１１０】
伸長側では、前記立体圧縮方式フラグを検出することにより、そのストリームがどのような方式で多重化されたかを検出し、検出結果に従って伸長、後処理する。
【０１１１】
前述した立体多重化方式フラグには、高解像度平面画像または高解像度追加画像が左目画像と右目画像のどちらに対応しているか、インターレース画像とするとき奇数フィールド、偶数フィールドにどのようなデータを配置するか、連続データの配置方法、ダミーデータ構成方法、のデータを含めてもいい。
【０１１２】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID、平面立体解像度フラグ後の16ビット（B12〜B27）において、先頭4ビット（B12〜B15）を前述の立体画像の多重化方式を示すフラグとする。
【０１１３】
次の２ビット（B16、B17）を、高解像度追加画像左右フラグとする。
【０１１４】
高解像度追加画像左右フラグ
００： 高解像度追加画像は左目画像に対応
０１： 高解像度追加画像は右目画像に対応
１０： 高解像度追加画像は左目画像、右目画像の両方に対応
１１： 保留
次の２ビット（B18、B19）を、インターレース構造フラグとする。
【０１１５】
インターレース構造フラグ
００： 左目画像がTop Field、右目画像がBottom Field
高解像度追加画像が存在する方がTop Field、ダミー画像が存在する方がBottom Field
０１： 右目画像がTop Field、左目画像がBottom Field
ダミー画像が存在する方がTop Field、高解像度追加画像が存在する方がBottom Field
１０、１１： 保留
次の２ビット（B20〜B24）を、連続データ配置フラグとする。
【０１１６】
連続データ配置フラグ
０００００：左から右に向かって、左目画像、右目画像、
または、左目画像、右目画像、高解像度追加画像
００００１：左から右に向かって、右目画像、左目画像、
または、左目画像、高解像度追加画像、右目画像
０００１０：左から右に向かって、右目画像、左目画像、高解像度追加画像
０００１１：左から右に向かって、右目画像、高解像度追加画像、左目画像
００１００：左から右に向かって、高解像度追加画像、左目画像、右目画像
００１０１：左から右に向かって、高解像度追加画像、右目画像、左目画像
００１１０、００１１１：保留
０１０００：上から下に向かって、左目画像、右目画像、
または、左目画像、右目画像、高解像度追加画像
０１００１：上から下に向かって、右目画像、左目画像、
または、左目画像、高解像度追加画像、右目画像
０１０１０：上から下に向かって、右目画像、左目画像、高解像度追加画像
０１０１１：上から下に向かって、右目画像、高解像度追加画像、左目画像
０１１００：上から下に向かって、高解像度追加画像、左目画像、右目画像
０１１０１：上から下に向かって、高解像度追加画像、右目画像、左目画像
０１１１０、０１１１１：保留
１００００：左から右に向かって、左目画像と高解像度追加画像、右目画像
１０００１：左から右に向かって、右目画像、左目画像と高解像度追加画像
１００１０：左から右に向かって、右目画像と高解像度追加画像、左目画像
１００１１：左から右に向かって、左目画像、右目画像と高解像度追加画像
１０１００〜１１１１１：保留
次の３ビット（B25〜B27）を、ダミーデータ構成フラグとする。
【０１１７】
ダミーデータ構成フラグ
０００： 偶数列がダミーデータで、”０”挿入
００１： 奇数列がダミーデータで、”０”挿入
０１０： 偶数列がダミーデータで、左画素から補間
０１１： 奇数列がダミーデータで、右画素から補間
１００： 偶数列がダミーデータで左右画素から平均値補間、最右端の列は”０”挿入
１０１： 奇数列がダミーデータで左右画素から平均値補間、最左端の列は”０”挿入
１１０： 偶数列がダミーデータで左右画素から平均値補間、最右端の列は左画素から補間
１１１： 奇数列がダミーデータで左右画素から平均値補間、最左端の列は右画素から補間
以上、フラグの配置について示したが、ビット位置、ビット数とも、例示したとおりでなくてもいい。
【０１１８】
またフラグ配置順に関しても、例示したとおりでなくてもいい。
【０１１９】
【発明の効果】
本発明は、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる、
という効果を有する。
【図面の簡単な説明】
【図１】 本発明の立体画像圧縮伸長装置の参考例のブロック図である。
【図２】 本発明を実現する立体画像圧縮伸長装置のブロック図を示す図である。
【図３】 参考例を示す図である。
【図４】図３のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図５】 第１の実施例を示す図である。
【図６】図５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図７】図５の配置方法の別の例を示す図である。
【図８】図５の配置方法の別の例を示す図である。
【図９】 第２の実施例を示す図である。
【図１０】１画素ごとに”０”を挿入する様子を示す図である。
【図１１】１画素ごとに前画素（左の画素）と同じ値を挿入する様子を示す図である。
【図１２】１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を示す図である。
【図１３】１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を示す図である。
【図１４】図９のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１５】 第３の実施例を示す図である。
【図１６】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１７】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１８】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１９】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図２０】従来例を示す図である。
【符号の説明】
１０１ 左目画像信号入力
１０２ 右目画像信号入力
１０３ 立体画像前処理部
１０４ 画素構成変換部
１０５ フレーム／フィールド変換部
１０６ MPEG圧縮部
１０７ 送信・記録部
１０８ 受信・再生部
１０９ MPEG伸長部
１１０ 立体画像後処理部
１１１ フィールド／フレーム変換部
１１２ 画素構成変換部
１１３ 左目画像信号出力
１１４ 右目画像信号出力
２０１ 左目画像信号入力
２０２ 右目画像信号入力
２０３ 高解像度追加画像信号入力
２０４ 立体画像前処理部
２０５ 画素構成変換部
２０６ フレーム／フィールド変換部
２０７ 選択部
２０８ MPEG圧縮部
２０９ 送信・記録部
２１０ 受信・再生部
２１１ MPEG伸長部
２１２ 立体画像後処理部
２１３ 分岐部
２１４ フィールド／フレーム変換部
２１５ 画素構成変換部
２１６ 左目画像信号出力
２１７ 右目画像信号出力
２１８ 高解像度追加画像信号出力
３０１ 立体画像
３０２ 左目画像（○）
３０３ 右目画像（×）
３０４ 第１の変換画像
３０５ 第２の変換画像（Top Field）
３０６ 第２の変換画像（Bottom Field）
３０７ MPEG圧縮
３０８ 送信・記録
３０９ 受信・再生
３１０ MPEG伸長
３１１ 出力立体画像
４０１ ピクチャー番号
４０２ ピクチャータイプ
４０３ Top Field／Bottom Field表示
４０４ ピクチャー内容
４０５ ピクチャー内容
４０６ 予測元ピクチャーと予測先ピクチャーの関係
５０１ 立体画像
５０２ 左目画像（○）
５０３ 右目画像（×）
５０４ 高解像度平面画像
５０５ 高解像度追加画像（●）
５０６ 第１ピクチャーの左目画像（○）
５０７ 第１ピクチャーの右目画像（×）
５０８ 第１ピクチャーの高解像度追加画像（●）
５０９ 第２ピクチャーの左目画像（○）
５１０ 第２ピクチャーの右目画像（×）
５１１ 第２ピクチャーの高解像度追加画像（●）
５１２ 528画素×288ラインの第１ピクチャー
５１３ 528画素×288ラインの第２ピクチャー
５１４ MPEG圧縮
５１５ 送信・記録
５１６ 受信・再生
５１７ MPEG伸長
５１８ 出力立体画像
５１９ 出力高解像度平面画像
６０１ ピクチャー番号
６０２ ピクチャータイプ
６０３ 左目画像（○）、高解像度追加画像（●）、右目画像（×）の配置
６０４ 予測元ピクチャーと予測先ピクチャーの関係
７０１ 左目画像（○）
７０２ 右目画像（×）
７０３ 高解像度追加画像（●）
８０１ 左目画像（○）と高解像度追加画像（●）
８０２ 右目画像（×）
９０１ 立体画像
９０２ 左目画像（○）
９０３ 右目画像（×）
９０４ 高解像度平面画像
９０５ 高解像度追加画像（●）
９０６ インターレース変換画像
９０７ 352画素×288ラインのTop Field画像
９０８ 352画素×288ラインのBottom Field画像
９０９ MPEG圧縮
９１０ 送信・記録
９１１ 受信・再生
９１２ MPEG伸長
９１３ ９０１と同じ立体画像
９１４ ９０４と同じ高解像度平面画像
１００１ ”０”挿入
１１０１ 前画素と同じデータ挿入
１２０１ 前画素（左の画素）と後画素（右の画素）の平均値挿入
１２０２ ”０”挿入
１３０１ 前画素（左の画素）と後画素（右の画素）の平均値挿入
１３０２ 左画素と同じデータ挿入
１４０１ ピクチャー番号
１４０２ ピクチャータイプ
１４０３ Top Field／Bottom Field表示
１４０４ ピクチャー内容（Top Field）
１４０５ ピクチャー内容（Bottom Field）
１４０６ 予測元ピクチャーと予測先ピクチャーの関係
１５０１ 立体画像
１５０２ 左目画像（○）
１５０３ 右目画像（×）
１５０４ 高解像度平面画像
１５０５ 高解像度追加画像（●）
１５０６ 第１フレームTop Field画像
１５０７ 第１フレームBottom Field画像
１５０８ 第２フレームTop Field画像
１５０９ 第２フレームBottom Field画像
１５１０ 第３フレームTop Field画像
１５１１ 第３フレームBottom Field画像
１５１２ 176画素×288ラインのTop Field画像
１５１３ 176画素×288ラインのBottom Field画像
１５１４ 176画素×288ラインのTop Field画像
１５１５ 176画素×288ラインのBottom Field画像
１５１６ 176画素×288ラインのTop Field画像
１５１７ 176画素×288ラインのBottom Field画像
１５１８ MPEG圧縮
１５１９ 送信・記録
１５２０ 受信・再生
１５２１ MPEG伸長
１５２２ １５０１と同じ立体画像
１５２３ １５０４と同じ高解像度平面画像
１６０１ ピクチャー番号
１６０２ ピクチャータイプ
１６０３ Top Field／Bottom Field表示
１６０４ ピクチャー内容（Top Field）
１６０５ ピクチャー内容（Bottom Field）
１６０６ 予測元ピクチャーと予測先ピクチャーの関係
１７０１ ピクチャー番号
１７０２ ピクチャータイプ
１７０３ Top Field／Bottom Field表示
１７０４ ピクチャー内容（Top Field）
１７０５ ピクチャー内容（Bottom Field）
１７０６ 予測元ピクチャーと予測先ピクチャーの関係
１８０１ ピクチャー番号
１８０２ ピクチャータイプ
１８０３ Top Field／Bottom Field表示
１８０４ ピクチャー内容（Top Field）
１８０５ ピクチャー内容（Bottom Field）
１８０６ 予測元ピクチャーと予測先ピクチャーの関係
１９０１ ピクチャー番号
１９０２ ピクチャータイプ
１９０３ Top Field／Bottom Field表示
１９０４ ピクチャー内容（Top Field）
１９０５ ピクチャー内容（Bottom Field）
１９０６ 予測元ピクチャーと予測先ピクチャーの関係
２００１ 立体画像
２００２ 左目画像（○）
２００３ 右目画像（×）
２００４ 変換画像
２００５ MPEG圧縮
２００６ 送信・記録
２００７ 受信・再生
２００８ MPEG伸長
２００９ ２００１と同じ立体画像
【発明の属する技術分野】
本発明は、立体画像、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度追加画像から構成される画像データをできるだけ効率よく圧縮または伝送し、受信または伸長するための、立体画像圧縮または伸長装置に関する。
【０００２】
【従来の技術】
従来の立体画像信号に対する圧縮方式としては、例えば特開平11-18111号公報に開示された「立体映像伝送方法及び装置」が特許化されている。
【０００３】
この発明に関して、図２０に構成例を示す。
【０００４】
立体画像２００１は、左目画像（○）２００２と右目画像（×）２００３から構成される。これらは、ディスプレイ上では２００１に示すように配置される。即ち、縦１列ごとに交互に左目画像と
右目画像が配置される。図２０の例では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ラインを示している。
【０００５】
立体画像２００１は、変換画像２００４のように変換される。即ち、352画素×288ラインの画面上において、左目画像176画素×288ラインが左半分に配置され、右目画像176画素×288ラインが右半分に配置される。
【０００６】
そして、２００４で示す変換画像に対して、MPEG圧縮２００５、送信・記録２００６、受信・再生２００７、MPEG伸長２００８といった処理が行われる。
【０００７】
MPEG伸長２００８の処理から出力した画像信号は、２００９に示すように、立体画像２００１の入力信号と同じ立体画像２００９が再現される。
【０００８】
【発明が解決しようとする課題】
しかしながら、前記従来例には以下のような欠点がある。
【０００９】
変換画像２００４の信号において、左半分に左目画像、右半分に右目画像を配置しているため、MPEG圧縮を行う場合、左目画像と右目画像の相関性を適用できない。即ち、立体画像では、近くの物体は左目画像と右目画像が離れたデータであり、遠くの物体は左目画像と右目画像が接近したデータであるため、特に遠くの物体を示すブロックにおいて、左目画像と右目画像の相関性を使うことにより、データ圧縮効率をアップさせることが可能となるが、従来例のような圧縮方式ではそれが実現不可能である。
【００１０】
また、立体画像を圧縮伝送して立体画像ディスプレイで表示する場合、同時に、同じ信号を高解像度平面画像用ディスプレイに表示することも考慮しなくてはならない。即ち、立体画像に加え、立体画像と高解像度平面追加画像から構成される画像データを効率よく圧縮伝送することも重要であるが、従来例では、それはまったく考慮されていない。
【００１１】
本発明の目的は、立体画像に加え、立体画像と高解像度平面画像から構成される画像データを効率よく圧縮伝送する立体画像圧縮または伸長装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は前記課題を解決したものであり、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる。
【００１３】
（作用）
本発明は、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる、
という作用を有する。
【００１４】
【発明の実施の形態】
図１〜図２を参照して、本発明の実施の形態を説明する。
【００１５】
本発明の構成に関して説明する。
【００１６】
図１に、本発明の立体画像圧縮伸長装置の参考例として、左目画像と同じ画素数、解像度の右目画像が入力する場合のブロック図を示す。
【００１７】
立体画像圧縮伸長装置には、１０１から左目画像信号、１０２から右目画像信号が入力する。これらは、それぞれフレーム構成のプログレッシブ画像とする。ここで、立体画像ディスプレイが352画素×288ラインを表示できるとき、左目画像信号１０１、右目画像信号１０２をそれぞれ176画素×288ラインの画像信号とし、右目、左目それぞれ176画素×288ラインを視聴できるものとする。
【００１８】
左目画像信号１０１、右目画像信号１０２は、それぞれ立体画像前処理部１０３の画像構成変換部１０４に入力する。画像構成変換部１０４では左目画像信号１０１と右目画像信号１０２が多重化され、１枚の画像が構成された上で、フレーム／フィールド変換部１０５において、仮想的にTop Field、Bottom Fieldから成るインターレース画像が構成される。立体画像前処理部１０３中の画像構成変換部１０４とフレーム／フィールド変換部１０５の動作に関しては、再度詳しく後述する。フレーム／フィールド変換部１０５から出力された画像信号は、MPEG（Moving Picture Expert Group）圧縮部１０６により、MEPG-2、MPEG-4などの画像圧縮フォーマットで圧縮され、送信・記録部１０７で、圧縮立体画像信号として、ストレージへの記録、外部への送信等が行われる。
【００１９】
また、外部から受信、ストレージから再生された圧縮立体画像信号は、受信・再生部１０８を経て、MPEG伸長部１０９でMPEG伸長され、Top Field、Bottom Fieldから成るインターレース画像が再現される。このインターレース画像信号は、立体画像後処理部１１０のフィールド／フレーム変換部１１１でフレーム構成のプログレッシブ画像に戻された上で、画素構成変換部１１２で左目画像信号、右目画像信号に再構成され、それぞれ１１３、１１４から出力される。
【００２０】
図２に、本発明を実現する立体画像圧縮伸長装置の一例として、左目画像と同じ画素数、解像度の右目画像、さらに通常の平面画像を２倍の解像度で表示するための、前記と同じ画素数、解像度の高解像度追加画像が入力する場合のブロック図を示す。
【００２１】
立体画像圧縮伸長装置には、２０１から左目画像信号、２０２から右目画像信号、２０３から高解像度追加画像信号が入力する。これらは、それぞれフレーム構成のプログレッシブ画像とする。ここで、立体画像ディスプレイが352画素×288ラインを表示でき、高解像度平面ディスプレイが352画素×288ラインを表示できるとき、左目画像信号２０１、右目画像信号２０２、高解像度追加画像信号２０３がそれぞれ例えば176画素×288ラインの画像信号とすると、立体画像ディスプレイでは左目画像信号２０１、右目画像信号２０２により右目、左目それぞれ176画素×288ラインを視聴でき、高解像度平面ディスプレイでは左目画像信号２０１、高解像度追加画像信号２０３により352画素×288ラインを視聴できるものとする。
【００２２】
左目画像信号２０１、右目画像信号２０２、高解像度追加画像信号２０３は、それぞれ立体画像前処理部２０４の画像構成変換部２０５に入力する。画像構成変換部２０５では左目画像信号２０１と右目画像信号２０２と高解像度追加画像信号２０３が多重化され、１枚の画像が構成された上で、フレーム／フィールド変換部２０６において、仮想的にTop Field、Bottom Fieldから成るインターレース画像が構成され、選択部２０７でフレーム画像、フィールド画像が選択される。立体画像前処理部２０４中の画像構成変換部２０５、フレーム／フィールド変換部２０６、選択部２０７の動作に関しては、再度詳しく後述する。選択部２０７から出力された画像信号は、MPEG（Moving Picture Expert Group）圧縮部２０８により、MEPG-2、MPEG-4などの画像圧縮フォーマットで圧縮され、送信・記録部２０９で、圧縮立体画像信号として、ストレージへの記録、外部への送信等が行われる。
【００２３】
また、外部から受信、ストレージから再生された圧縮立体画像信号は、受信・再生部２１０を経て、MPEG伸長部２１１でMPEG伸長され、プログレッシブ信号、またはTop Field、Bottom Fieldから成るインターレース画像が再現される。この画像信号は、立体画像後処理部２１２の分岐回路２１３を経て、フィールド／フレーム変換部２１４でフレーム構成のプログレッシブ画像に戻された上で、２１５画素構成変換部で左目画像信号、右目画像信号、高解像度追加画像信号に再構成され、それぞれ２１６、２１７、２１８から出力される。
【００２４】
【実施例】
図３〜図１９を参照して、本発明の実施例及び本発明の動作を説明する。
【００２５】
図３に、参考例を示す。
【００２６】
立体画像３０１は左目画像（○）３０２と右目画像（×）３０３から構成され、左目画像３０２、右目画像３０３はそれぞれ図１における左目画像信号入力１０１、右目画像信号入力１０２に相当する。これらは、ディスプレイ上では３０１に示すように配置される。即ち、縦１列ごとに交互に左目画像と右目画像が配置される。図３の例では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ラインを示している。
【００２７】
立体画像３０１は、画像構成変換部１０４により第１の変換画像３０４のように変換される。即ち、左目画像176画素×288ラインが平行移動したそのままの形で奇数ラインに配置され、右目画像176画素×288ラインが平行移動したそのままの形で偶数ラインに配置される。
【００２８】
第１の変換画像３０４は、フレーム／フィールド変換部１０５により第２の変換画像３０５、第３の変換画像３０６のように変換される。即ち、第２の変換画像３０５として176画素×288ラインのTop Field画像、第３の変換画像３０６として176画素×288ラインのBottom Field画像に変換される。
【００２９】
そして、第２の変換画像３０５、第３の変換画像３０６で示すフィールド画像に対してMPEG圧縮３０７、送信・記録３０８、受信・再生３０９、MPEG伸長３１０といった処理が行われる。これらは、それぞれ図１のMPEG圧縮部１０６、送信・記録部１０７、受信・再生部１０８、MPEG伸長部１０９に相当する。
【００３０】
MPEG圧縮３０７においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００３１】
立体画像前処理部１０３で、左目画像を奇数ラインかつ右目画像を偶数ライン、または、右目画像を奇数ラインかつ左目画像を偶数ラインに配置し、１個の画像をインターレース画像とする。立体画像前処理部１０３で処理された１個の画像を、MPEG圧縮部１０６では、奇数ラインと偶数ラインのデータから構成されるブロックと、奇数ラインのみまたは偶数ラインのみのデータから構成されるブロックのうち、最適なブロックを選択し、さらに、前後フレームからのフレーム予測、または前後フィールドからのフィールド予測のうち、最適な予測方法を選択するに際し、そこから予測されたブロックデータと当該ブロックデータとの誤差を直交変換、量子化、可変長符号化した結果、当該ブロックデータの符号量が最も小さくなるブロックおよび予測方法を選択することにより圧縮する。
【００３２】
MPEG伸長３１０から出力した画像信号は、フィールド／フレーム変換部１１１、画素構成変換部１１２を通して、出力立体画像３１１に示す、立体画像３０１と同じ立体画像が再現される。
【００３３】
図４に、図３のMPEG圧縮３０７におけるGOP（Group Of Pictures）構成例を示す。
【００３４】
GOPはピクチャー番号４０１に示すように15ピクチャーから構成され、ピクチャータイプ４０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。４０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容４０４に示すようにTop Fieldをすべて○で示す左目画像、ピクチャー内容４０５に示すようにBottom Fieldをすべて×で示す右目画像とすることにより、図３に示す圧縮が実現できる。なお、４０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００３５】
図５に、第１の実施例を示す。
【００３６】
立体画像５０１は左目画像（○）５０２と右目画像（×）５０３から構成され、高解像度平面画像５０４は左目画像（○）５０２と左目画像（○）５０２を高解像度とするための高解像度追加画像（●）５０５から構成される。立体画像５０１の左目画像（○）５０２と高解像度平面画像５０４の左目画像（○）５０２は同じ画素を示している。左目画像５０２、右目画像５０３、高解像度追加画像５０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像５０１、高解像度平面画像５０４に示すように配置される。即ち、立体画像５０１では縦１列ごとに交互に左目画像５０２と右目画像５０３が配置され、高解像度平面画像５０４では縦１列ごとに交互に左目画像５０２と高解像度追加画像５０５が配置される。図５の例では、立体画像５０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像５０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００３７】
立体画像５０１、高解像度平面画像５０４は、画像構成変換部２０５により、第１ピクチャーの左目画像５０６、第１ピクチャーの右目画像５０７、第１ピクチャーの高解像度追加画像５０８および第２ピクチャーの左目画像５０９、第２ピクチャーの右目画像５１０、第２ピクチャーの高解像度追加画像５１１のように変換される。即ち、第１映像では、左目画像５０６が画面上の左、右目画像５０７が画面上の中央、高解像度追加画像５０８が画面上の右に、それぞれ176画素×288ラインが平行移動したそのままの形で配置され、528画素×288ラインの第１ピクチャー５１２が構成される。第２映像でも第２ピクチャーの左目画像５０９、第２ピクチャーの右目画像５１０、第２ピクチャーの高解像度追加画像５１１に同様の配置が行われ、528画素×288ラインの第２ピクチャー５１３が構成される。
【００３８】
528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３は、フレーム／フィールド変換部２０６を経由せず、即ち選択部２０７により画素構成変換部２０５の出力がそのまま選択されて、プログレッシブで出力される。
【００３９】
そして、528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３で示すフレーム画像に対してMPEG圧縮５１４、送信・記録５１５、受信・再生５１６、MPEG伸長５１７といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００４０】
MPEG伸長５１７から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由せずに、直接、画素構成変換部２１５を通して、立体画像５０１、高解像度平面画像５０４と同じ出力立体画像５１８、および出力高解像度平面画像５１９が再現される。
【００４１】
図６に、図５のMPEG圧縮５１４におけるGOP（Group Of Pictures）構成例を示す。
【００４２】
GOPはピクチャー番号６０１に示すように15ピクチャーから構成され、ピクチャータイプ６０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。このとき、ピクチャー内容６０３に示すように、左目画像（○）を画面左、高解像度追加画像（●)面中央、右目画像（×）を画面右とすることにより、図５に示す圧縮が実現できる。なお、６０４は予測元ピクチャーと予
測先ピクチャーの関係を矢印で示したものである。
【００４３】
図７に、図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３に示す配置方法の別の例を示す。
【００４４】
左目画像（○）７０１を画面上、右目画像（×）７０２を画面中央、高解像度追加画像（●）７０３を画面下とする。図５の立体画像５０１、高解像度平面画像５０４の配置を行う場合、図７の画面は176画素×864ラインとなる。
【００４５】
図８に、図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３に示す配置方法の別の例を示す。
【００４６】
左目画像（○）＋高解像度追加画像（●）８０１を１列おき画面左から中央、右目画像（×）８０２を画面右とする。図５の立体画像５０１、高解像度平面画像５０４の配置を行う場合、図８の画面は528画素×288ラインとなる。
【００４７】
以上、複数の配置例を示したが、左目画像（○）、高解像度追加画像（●）、右目画像（×）はこの順序でなくてもいい。
【００４８】
例えば図５の528画素×288ラインの第１ピクチャー５１２、528画素×288ラインの第２ピクチャー５１３では、右目画像（×）、左目画像（○）、高解像度追加画像（●）の順序でもよく、それ以外でもいい。
【００４９】
例えば図７では、右目画像（×）７０２、左目画像（○）７０１、高解像度追加画像（●）７０３の順序でもよく、それ以外でもいい。
【００５０】
例えば図８では、右目画像（×）８０２、左目画像＋高解像度追加画像（○、●）８０１の順序でもいい。
【００５１】
また、左目画像＋高解像度追加画像（○、●）８０１、右目画像（×）８０２を縦に並べてもいい。
【００５２】
図９に、第２の実施例を示す。
【００５３】
立体画像９０１は左目画像（○）９０２と右目画像（×）９０３から構成され、高解像度平面画像９０４は左目画像（○）９０２と左目画像（○）９０２を高解像度とするための高解像度追加画像（●）９０５から構成される。左目画像９０２、右目画像９０３、高解像度追加画像９０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像９０１、高解像度平面画像９０４に示すように配置される。即ち、立体画像９０１では縦１列ごとに交互に左目画像と右目画像が配置され、高解像度平面画像９０４では縦１列ごとに交互に左目画像と高解像度追加画像が配置される。図９の例では、立体画像９０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像９０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００５４】
立体画像９０１、高解像度平面画像９０４は、画像構成変換部２０５により、インターレース変換画像９０６のように変換される。即ち、高解像度平面画像９０４の352画素×288ラインが平行移動したそのままの形で奇数ラインに配置され、右目画像９０３の176画素×288ラインが偶数ラインに配置される。ただし、このままでは高解像度平面画像と右目画像のライン当たりの画素数が一致しないため、右目画像に関しては、インターレース変換画像９０６に示すように１画素ごとに"０"を挿入し、352画素×288ラインとした上で、平行移動させ、そのままの形で偶数ラインに配置される。この部分に関しては、さらに詳しく後述する。その結果、インターレース変換画像９０６には、352画素×576ラインのフレームデータが配置される。
【００５５】
インターレース変換画像９０６は、フレーム／フィールド変換部２０６により352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８に変換される。
【００５６】
従って、352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８は、フレーム／フィールド変換部２０６を経由して、即ち選択部２０７によりフレーム／フィールド変換部２０６の出力が選択されて、インターレースで出力される。
【００５７】
そして、352画素×288ラインのTop Field画像９０７、352画素×288ラインのBottom Field画像９０８で示すフィールド画像に対してMPEG圧縮９０９、送信・記録９１０、受信・再生９１１、MPEG伸長９１２といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００５８】
MPEG圧縮９０９においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００５９】
MPEG伸長９１２から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由して、フレーム構成に再変換された後、画素構成変換部２１５を通して、立体画像９０１、高解像度平面画像９０４と同じ立体画像９１３、および高解像度平面画像９１４が再現される。
【００６０】
図１０に、右目画像９０３において１画素ごとに”０”を挿入する様子を、８画素×８ライン（DCTブロック）に渡って示す。１００１の下線部に示すように、１画素ごとに"０"が挿入され、その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に"０"が挿入される。これらは逆でもいい。挿入される値は"０"でなくてもいい。
【００６１】
図１１に、右目画像９０３において１画素ごとに前画素（左の画素）と同じ値を挿入する様子を、８画素×８ラインに渡って示す。１１０１の下線部に示すように、１画素ごとに前画素と同じデータが挿入され、その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素と同じデータが挿入される。これらは逆でもよく、後画素（右の画素）と同じデータでもいい。
【００６２】
図１２に、右目画像９０３において１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を、８画素×８ラインに渡って示す。１２０１の下線部に示すように、１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値が挿入されている。また画面の最右端に関しては、１２０２に示すように、”０”を入れてもいい。その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素（左の画素）と後画素（右の画素）の平均値、画面の最右端には”０”が挿入される。
【００６３】
図１３に、右目画像９０３において１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を、８画素×８ラインに渡って再度示す。１３０１の下線部に示すように、１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値が挿入されている。また画面の最右端に関しては、１３０２に示すように、その左の画素と同じデータを入れてもいい。
その結果、第１、３、５、７の奇数列に右目画像、第２、４、６、８の偶数列に前画素（左の画素）と後画素（右の画素）の平均値、画面の最右端にはその左の画素と同じデータが挿入される。
【００６４】
図１４に、図９のMPEG圧縮９０９におけるGOP（Group Of Pictures）構成例を示す。
【００６５】
GOPはピクチャー番号１４０１に示すように15ピクチャーから構成され、ピクチャータイプ１４０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。１４０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１４０４に示すようにTop Fieldを左目画像（○）と高解像度追加画像（●）を合わせた高解像度平面画像（○●）、ピクチャー内容１４０５に示すようにBottom Fieldを右目画像（×）と挿入された"０"（０）を合わせたデータ（×０）することにより、図９に示す圧縮が実現できる。なお、１４０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００６６】
図１５に、第３の実施例を示す。
【００６７】
立体画像１５０１は左目画像（○）１５０２と右目画像（×）１５０３から構成され、高解像度平面画像１５０４は左目画像（○）１５０２と左目画像（○）１５０２を高解像度とするための高解像度追加画像（●）１５０５から構成される。左目画像１５０２、右目画像１５０３、高解像度追加画像１５０５は、それぞれ図２における左目画像信号入力２０１、右目画像信号入力２０２、高解像度追加画像信号入力２０３に相当する。これらは、ディスプレイ上では立体画像１５０１、高解像度平面画像１５０４に示すように配置される。即ち、立体画像１５０１では縦１列ごとに交互に左目画像と右目画像が配置され、高解像度平面画像１５０４では縦１列ごとに交互に左目画像と高解像度追加画像が配置される。図１５の例では、立体画像１５０１では、左目画像176画素×288ライン、右目画像176画素×288ライン、合計352画素×288ライン、また高解像度平面画像１５０４では、左目画像176画素×288ライン、高解像度追加画像176画素×288ライン、合計352画素×288ラインを示している。
【００６８】
立体画像１５０１、高解像度平面画像１５０４は、画像構成変換部２０５により、第１フレームTop Field画像１５０６、第１フレームBottom Field画像１５０７、第２フレームTop Field画像１５０８、および第２フレームBottom Field画像１５０９、第３フレームTop Field画像１５１０、第３フレームBottom Field画像１５１１のように変換される。即ち、第１映像の左目画像１５０２と第１映像の右目画像１５０３が１５０６、１５０７の第１フレーム、第１映像の高解像度追加画像１５０５と図示していない第２映像の左目画像が１５０８、１５０９の第２フレーム、図示していない第２映像の右目画像と第２映像の高解像度追加画像が１５１０、１５１１の第３フレームとなる。即ち、２つの映像から３フレームが構成される。
【００６９】
１５０６〜１５１１は、フレーム／フィールド変換部２０６により１５１２〜１５１７のように変換される。即ち、１５１２として176画素×288ラインのTop Field画像、１５１３として176画素×288ラインのBottom Field画像、以下、１５１４、１５１５、１５１６、１５１７において、176画素×288ラインのTop Field画像、Bottom Field画像、またTop Field画像、Bottom Field画像に変換される。
【００７０】
従って、１５１２〜１５１７は、フレーム／フィールド変換部２０６を経由して、即ち選択部２０７によりフレーム／フィールド変換部２０６の出力が選択されて、インターレースで出力される。
【００７１】
そして、１５１２〜１５１７で示すフィールド画像に対してMPEG圧縮１５１８、送信・記録１５１９、受信・再生１５２０、MPEG伸長１５２１といった処理が行われる。これらは、それぞれ図２のMPEG圧縮部２０８、送信・記録部２０９、受信・再生部２１０、MPEG伸長部２１１に相当する。
【００７２】
MPEG圧縮１５１８においては、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときTop FieldとBottom Fieldの相関が小さいとしてフィールドDCTを適用し、規定値より小さいときTop FieldとBottom Fieldの相関が大きいとしてフレームDCTを適用することにより、効率よく圧縮を行う。
【００７３】
MPEG伸長１５２１から出力した画像信号は、分岐回路２１３から、フィールド／フレーム変換部２１４を経由して、フレーム構成に再変換された後、画素構成変換部２１５を通して、立体画像１５０１、高解像度平面画像１５０４と同じ立体画像１５２２、および高解像度平面画像１５２３が再現される。
【００７４】
図１６に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成例を示す。
【００７５】
GOPはピクチャー番号１６０１に示すように15ピクチャーから構成され、ピクチャータイプ１６０２に示すように、順にＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰピクチャーから成る。１６０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１６０４、１６０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００７６】
さて、ここでは、立体映像と高解像度平面画像合わせて１画面を１．５フレームで示している。さらに、ある１画面を示す１．５フレームデータと次の１画面を示す１．５フレームデータは、フィールドが逆になるため、３フレームでフィールド構成が一巡する。例えば、図１６の第３フレームとその後最初にフィールド構成が一致するのは第６フレームである。図１６のようにGOPが15フレームから成るとき、15フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１６に示す次のGOPでも、第３フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１６に示すGOPと同じ構成になる。
【００７７】
このようにGOPごとにフレーム構成が同じものになると、例えば図１６では、常に、
・IピクチャーはTop Fieldが左目画像（○）、Bottom Fieldが右目画像（×）
と変わらないため、立体画像（左目画像、右目画像）の方が高解像度平面画像（高解像度追加画像）に比べて画質が良くなるという特徴がある。
【００７８】
なお、１６０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００７９】
ここで、図１６では、ずっと左目画像（○）、右目画像（×）、高解像度追加画像（●）の順で配置しているが、配置順を変えることも可能である。例えば、１６０１における第３フレーム奇数ラインに左目画像（○）、第３フレーム偶数ラインに右目画像（×）、第４フレーム奇数ラインに高解像度追加画像（●）、第４フレーム偶数ラインに高解像度追加画像（●）、第５フレーム奇数ラインに左目画像（○）、第５フレーム偶数ラインに右目画像（×）とし、以下３フレームごとにこれらを繰り返すなどである。これにより、左目画像は常に奇数ライン（Top Field）、右目画像は常に偶数ライン（Bottom Field）となり、予測効率、即ち圧縮効率を上げることができる。
【００８０】
図１７に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８１】
GOPはピクチャー番号１７０１に示すように12ピクチャーから構成され、ピクチャータイプ１７０２に示すように、順にＢＩＢＰＢＰＢＰＢＰＢＰピクチャーから成る。１７０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１７０４、１７０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００８２】
さて、図１７のようにGOPが12フレームから成るとき、12フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１７に示す次のGOPでも、第２フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１７に示すGOPと同じ構成になる。
【００８３】
なお、１７０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００８４】
図１８に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８５】
GOPはピクチャー番号１８０１に示すように12ピクチャーから構成され、ピクチャータイプ１８０２に示すように、順にＢＢＢＩＢＢＢＰＢＢＢＰピクチャーから成る。１８０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１８０４、１８０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００８６】
さて、図１８のようにGOPが12フレームから成るとき、12フレームは３フレームで割り切れるため、各GOPにおけるフレーム構成は同じとなる。即ち、図１８に示す次のGOPでも、第４フレームにおいて、Top Fieldが左目画像（○）、Bottom Fieldが右目画像（×）と、図１８に示すGOPと同じ構成になる。
【００８７】
なお、１８０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００８８】
図１９に、図１５のMPEG圧縮１５１８におけるGOP（Group Of Pictures）構成の他の例を示す。
【００８９】
GOPはピクチャー番号１９０１に示すように16ピクチャーから構成され、ピクチャータイプ１９０２に示すように、順にＢＢＢＩＢＢＢＰＢＢＢＰＢＢＢＰピクチャーから成る。１９０３にTop FieldをＴ、Bottom FieldをＢで示す。このとき、ピクチャー内容１９０４、１９０５に示すように、Top FieldとBottom Fieldの組み合わせを、左目画像（○）と右目画像（×）、高解像度追加画像（●）と左目画像（○）、右目画像（×）と高解像度追加画像（●）とすることにより、図１５に示す圧縮が実現できる。
【００９０】
さて、図１９のようにGOPが16フレームから成るとき、16フレームは３フレームで割り切れないため、各GOPにおけるフレーム構成は異なったものとなる。即ち、図１９に示す次のGOPでは、第４フレームにおいて、Top Fieldが高解像追加画像（●）、Bottom Fieldが左目画像（○）と、図１９に示すGOPと異なった構成になる。
【００９１】
このようにGOPごとにフレーム構成が異なったものになると、
・第１のGOPでは、IピクチャーはTop Fieldが左目画像（○）、Bottom Fieldが右目画像（×）
・第２のGOPでは、IピクチャーはTop Fieldが高解像追加画像（●）、Bottom Fieldが左目画像（○）
・第３のGOPでは、IピクチャーはTop Fieldが右目画像（×）、Bottom Fieldが高解像追加画像（●）
と、Iピクチャーを構成する画像が変わるため、３画像とも平均した画質になるという特徴がある。
【００９２】
なお、１９０６は予測元ピクチャーと予測先ピクチャーの関係を矢印で示したものである。
【００９３】
本発明の参考例を示す。
【００９４】
圧縮側では、圧縮された伝送ないし記録ストリーム中に、平面画像ないし立体画像ストリームであることを示すフラグを挿入する。
【００９５】
例えば、MPEGフォーマットでは、PES#packetにおいて128ビットのPES#private#dataが規定されており、前記フラグをここに配置してもいい。128ビット中の最初の8ビット（B0〜B7）を立体映像IDとして、"01011010" などの識別データを配置した後、次の2ビット（B8、B9）において、
平面立体フラグ
００： 通常の平面画像
０１： 立体画像
１０： 保留
１１： 保留
とすることなどが考えられる。
【００９６】
伸長側では、前記平面立体フラグを検出することにより、平面画像ないし立体画像ストリームであることを検出し、平面画像ないし立体画像として伸長、後処理する。
【００９７】
これを図１により示す。
【００９８】
圧縮側では、平面画像であれば立体画像前処理部１０３をバイパスして、立体画像（左目画像、右目画像）であれば立体画像前処理部１０３を経由した後、MPEG圧縮部１０６で圧縮を行うとともに、PES#private#dataの最初の２ビット（平面立体フラグ）に、前者であれば "00"、後者であれば "01" を書き込んで送信・記録部１０７に出力する。
【００９９】
伸長側では、受信再生部１０８から出力されたデータを、MPEG伸長部１０９で伸長するとともに、PES#private#dataの最初の２ビット（平面立体フラグ）を検出する。このとき、"00" であれば、立体画像後処理部１１０をバイパスして平面画像を出力し、"01" であれば、立体画像後処理部１１０を経由して立体画像（左目画像、右目画像）を出力する。
【０１００】
平面立体フラグは、PES#private#data以外の、ユーザーが自由に使用できるデータ部に配置してもいい。
【０１０１】
本発明の実施例の他の例として、
圧縮側では、圧縮された伝送ないし記録ストリーム中に、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度追加画像のうちどの画像の組み合わせから構成されるかを示すフラグを挿入する。
【０１０２】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID以降の４ビット（B8〜B11）において、
平面立体解像度フラグ
００００： 通常の平面画像
０００１： 立体画像のみ
００１０： 立体画像と通常の平面画像
００１１： 立体画像と高解像度平面画像
０１００： 立体画像と高解像度追加画像
０１０１〜１１１１： 保留
とすることなどが考えられる。
【０１０３】
伸長側では、前記平面立体解像度フラグを検出することにより、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度平面追加画像のうちどの画像から構成されるかを検出し、検出結果に従って伸長、後処理する。
【０１０４】
立体画像と高解像度平面追加画像の場合に関して、図２により示す。
【０１０５】
圧縮側では、平面画像であれば立体画像前処理部２０４をバイパスして、高解像度追加画像を含む立体画像（左目画像、右目画像、高解像度追加画像）であれば立体画像前処理部２０４を経由した後、MPEG圧縮部２０８で圧縮を行うとともに、PES#private#dataの最初の３ビット（平面立体解像度フラグ）に、規定のデータを書き込んで送信・記録部２０９に出力する。
【０１０６】
伸長側では、受信再生部２１０から出力されたデータを、MPEG伸長部２１１で伸長するとともに、PES#private#dataの最初の３ビット（平面立体解像度フラグ）を検出する。このとき、"000" であれば、立体画像後処理部２１２をバイパスして平面画像を出力し、"000" 以外であれば、立体画像後処理部２１２を経由して高解像度追加画像を含む立体画像（左目画像、右目画像、高解像度追加画像）を出力する。
【０１０７】
平面立体解像度フラグは、PES#private#data以外の、ユーザーが自由に使用できるデータ部に配置してもいい。
【０１０８】
さらに、他の例として、
圧縮側では、圧縮された伝送ないし記録ストリーム中に、立体画像の多重化方式を示すフラグを挿入する。
【０１０９】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID、平面立体解像度フラグ後の４ビット（B12〜B15）において、
立体多重化方式フラグ
００００： 保留
０００１： 左目画像を奇数ラインかつ右目画像を偶数ライン、または、右目画像を奇数ラインかつ左目画像を偶数ラインに配置し、１個の画像をインターレース画像とする方式
００１０： 左目画像、右目画像、高解像度追加画像のうち１つを１個の画像の一部に固めて配置し、他の１つを１個の画像の他の一部に固めて配置し、さらに他の１つを１個の画像の他の一部に固めて配置する方式
００１１： 左目画像と左目用高解像度追加画像を多重化して１個の第１の画像とし、右目画像とダミー画像を多重化して１個の第２の画像とし、または右目画像と右目用高解像度追加画像を多重化して１個の第１の画像とし、左目画像とダミー画像を多重化して１個の第２の画像とし、さらに、第１の画像と第２の画像を合わせて１個の第３のインターレース画像とする方式
０１００： 左目画像、右目画像、高解像度追加画像のうち１つを第３ｎ＋１フレーム奇数ラインと第３ｎ＋２フレーム偶数ラインに配置し（ｎは０以上の整数）、他の１つを第３ｎ＋１フレーム偶数ラインと第３ｎ＋３フレーム奇数ラインに配置し、さらに他の１つを第３ｎ＋２フレーム奇数ラインと第３ｎ＋３フレーム偶数ラインに配置し、同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした方式
０１０１〜１１１１： 保留
とすることなどが考えられる。
【０１１０】
伸長側では、前記立体圧縮方式フラグを検出することにより、そのストリームがどのような方式で多重化されたかを検出し、検出結果に従って伸長、後処理する。
【０１１１】
前述した立体多重化方式フラグには、高解像度平面画像または高解像度追加画像が左目画像と右目画像のどちらに対応しているか、インターレース画像とするとき奇数フィールド、偶数フィールドにどのようなデータを配置するか、連続データの配置方法、ダミーデータ構成方法、のデータを含めてもいい。
【０１１２】
例えば、PES#packetにおけるPES#private#dataに配置してもいい。128ビット中、立体映像ID、平面立体解像度フラグ後の16ビット（B12〜B27）において、先頭4ビット（B12〜B15）を前述の立体画像の多重化方式を示すフラグとする。
【０１１３】
次の２ビット（B16、B17）を、高解像度追加画像左右フラグとする。
【０１１４】
高解像度追加画像左右フラグ
００： 高解像度追加画像は左目画像に対応
０１： 高解像度追加画像は右目画像に対応
１０： 高解像度追加画像は左目画像、右目画像の両方に対応
１１： 保留
次の２ビット（B18、B19）を、インターレース構造フラグとする。
【０１１５】
インターレース構造フラグ
００： 左目画像がTop Field、右目画像がBottom Field
高解像度追加画像が存在する方がTop Field、ダミー画像が存在する方がBottom Field
０１： 右目画像がTop Field、左目画像がBottom Field
ダミー画像が存在する方がTop Field、高解像度追加画像が存在する方がBottom Field
１０、１１： 保留
次の２ビット（B20〜B24）を、連続データ配置フラグとする。
【０１１６】
連続データ配置フラグ
０００００：左から右に向かって、左目画像、右目画像、
または、左目画像、右目画像、高解像度追加画像
００００１：左から右に向かって、右目画像、左目画像、
または、左目画像、高解像度追加画像、右目画像
０００１０：左から右に向かって、右目画像、左目画像、高解像度追加画像
０００１１：左から右に向かって、右目画像、高解像度追加画像、左目画像
００１００：左から右に向かって、高解像度追加画像、左目画像、右目画像
００１０１：左から右に向かって、高解像度追加画像、右目画像、左目画像
００１１０、００１１１：保留
０１０００：上から下に向かって、左目画像、右目画像、
または、左目画像、右目画像、高解像度追加画像
０１００１：上から下に向かって、右目画像、左目画像、
または、左目画像、高解像度追加画像、右目画像
０１０１０：上から下に向かって、右目画像、左目画像、高解像度追加画像
０１０１１：上から下に向かって、右目画像、高解像度追加画像、左目画像
０１１００：上から下に向かって、高解像度追加画像、左目画像、右目画像
０１１０１：上から下に向かって、高解像度追加画像、右目画像、左目画像
０１１１０、０１１１１：保留
１００００：左から右に向かって、左目画像と高解像度追加画像、右目画像
１０００１：左から右に向かって、右目画像、左目画像と高解像度追加画像
１００１０：左から右に向かって、右目画像と高解像度追加画像、左目画像
１００１１：左から右に向かって、左目画像、右目画像と高解像度追加画像
１０１００〜１１１１１：保留
次の３ビット（B25〜B27）を、ダミーデータ構成フラグとする。
【０１１７】
ダミーデータ構成フラグ
０００： 偶数列がダミーデータで、”０”挿入
００１： 奇数列がダミーデータで、”０”挿入
０１０： 偶数列がダミーデータで、左画素から補間
０１１： 奇数列がダミーデータで、右画素から補間
１００： 偶数列がダミーデータで左右画素から平均値補間、最右端の列は”０”挿入
１０１： 奇数列がダミーデータで左右画素から平均値補間、最左端の列は”０”挿入
１１０： 偶数列がダミーデータで左右画素から平均値補間、最右端の列は左画素から補間
１１１： 奇数列がダミーデータで左右画素から平均値補間、最左端の列は右画素から補間
以上、フラグの配置について示したが、ビット位置、ビット数とも、例示したとおりでなくてもいい。
【０１１８】
またフラグ配置順に関しても、例示したとおりでなくてもいい。
【０１１９】
【発明の効果】
本発明は、
左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
または、左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像とした立体画像前処理部と、立体画像前処理部により処理された１個の画像を圧縮する画像圧縮部、
により、左目画像、右目画像、高解像度追加画像を、それぞれの相関を利用して効率よく圧縮することが可能となる、
という効果を有する。
【図面の簡単な説明】
【図１】 本発明の立体画像圧縮伸長装置の参考例のブロック図である。
【図２】 本発明を実現する立体画像圧縮伸長装置のブロック図を示す図である。
【図３】 参考例を示す図である。
【図４】図３のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図５】 第１の実施例を示す図である。
【図６】図５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図７】図５の配置方法の別の例を示す図である。
【図８】図５の配置方法の別の例を示す図である。
【図９】 第２の実施例を示す図である。
【図１０】１画素ごとに”０”を挿入する様子を示す図である。
【図１１】１画素ごとに前画素（左の画素）と同じ値を挿入する様子を示す図である。
【図１２】１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を示す図である。
【図１３】１画素ごとに前画素（左の画素）と後画素（右の画素）の平均値を挿入する様子を示す図である。
【図１４】図９のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１５】 第３の実施例を示す図である。
【図１６】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１７】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１８】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図１９】図１５のMPEG圧縮におけるGOP（Group Of Pictures）構成例を示す図である。
【図２０】従来例を示す図である。
【符号の説明】
１０１ 左目画像信号入力
１０２ 右目画像信号入力
１０３ 立体画像前処理部
１０４ 画素構成変換部
１０５ フレーム／フィールド変換部
１０６ MPEG圧縮部
１０７ 送信・記録部
１０８ 受信・再生部
１０９ MPEG伸長部
１１０ 立体画像後処理部
１１１ フィールド／フレーム変換部
１１２ 画素構成変換部
１１３ 左目画像信号出力
１１４ 右目画像信号出力
２０１ 左目画像信号入力
２０２ 右目画像信号入力
２０３ 高解像度追加画像信号入力
２０４ 立体画像前処理部
２０５ 画素構成変換部
２０６ フレーム／フィールド変換部
２０７ 選択部
２０８ MPEG圧縮部
２０９ 送信・記録部
２１０ 受信・再生部
２１１ MPEG伸長部
２１２ 立体画像後処理部
２１３ 分岐部
２１４ フィールド／フレーム変換部
２１５ 画素構成変換部
２１６ 左目画像信号出力
２１７ 右目画像信号出力
２１８ 高解像度追加画像信号出力
３０１ 立体画像
３０２ 左目画像（○）
３０３ 右目画像（×）
３０４ 第１の変換画像
３０５ 第２の変換画像（Top Field）
３０６ 第２の変換画像（Bottom Field）
３０７ MPEG圧縮
３０８ 送信・記録
３０９ 受信・再生
３１０ MPEG伸長
３１１ 出力立体画像
４０１ ピクチャー番号
４０２ ピクチャータイプ
４０３ Top Field／Bottom Field表示
４０４ ピクチャー内容
４０５ ピクチャー内容
４０６ 予測元ピクチャーと予測先ピクチャーの関係
５０１ 立体画像
５０２ 左目画像（○）
５０３ 右目画像（×）
５０４ 高解像度平面画像
５０５ 高解像度追加画像（●）
５０６ 第１ピクチャーの左目画像（○）
５０７ 第１ピクチャーの右目画像（×）
５０８ 第１ピクチャーの高解像度追加画像（●）
５０９ 第２ピクチャーの左目画像（○）
５１０ 第２ピクチャーの右目画像（×）
５１１ 第２ピクチャーの高解像度追加画像（●）
５１２ 528画素×288ラインの第１ピクチャー
５１３ 528画素×288ラインの第２ピクチャー
５１４ MPEG圧縮
５１５ 送信・記録
５１６ 受信・再生
５１７ MPEG伸長
５１８ 出力立体画像
５１９ 出力高解像度平面画像
６０１ ピクチャー番号
６０２ ピクチャータイプ
６０３ 左目画像（○）、高解像度追加画像（●）、右目画像（×）の配置
６０４ 予測元ピクチャーと予測先ピクチャーの関係
７０１ 左目画像（○）
７０２ 右目画像（×）
７０３ 高解像度追加画像（●）
８０１ 左目画像（○）と高解像度追加画像（●）
８０２ 右目画像（×）
９０１ 立体画像
９０２ 左目画像（○）
９０３ 右目画像（×）
９０４ 高解像度平面画像
９０５ 高解像度追加画像（●）
９０６ インターレース変換画像
９０７ 352画素×288ラインのTop Field画像
９０８ 352画素×288ラインのBottom Field画像
９０９ MPEG圧縮
９１０ 送信・記録
９１１ 受信・再生
９１２ MPEG伸長
９１３ ９０１と同じ立体画像
９１４ ９０４と同じ高解像度平面画像
１００１ ”０”挿入
１１０１ 前画素と同じデータ挿入
１２０１ 前画素（左の画素）と後画素（右の画素）の平均値挿入
１２０２ ”０”挿入
１３０１ 前画素（左の画素）と後画素（右の画素）の平均値挿入
１３０２ 左画素と同じデータ挿入
１４０１ ピクチャー番号
１４０２ ピクチャータイプ
１４０３ Top Field／Bottom Field表示
１４０４ ピクチャー内容（Top Field）
１４０５ ピクチャー内容（Bottom Field）
１４０６ 予測元ピクチャーと予測先ピクチャーの関係
１５０１ 立体画像
１５０２ 左目画像（○）
１５０３ 右目画像（×）
１５０４ 高解像度平面画像
１５０５ 高解像度追加画像（●）
１５０６ 第１フレームTop Field画像
１５０７ 第１フレームBottom Field画像
１５０８ 第２フレームTop Field画像
１５０９ 第２フレームBottom Field画像
１５１０ 第３フレームTop Field画像
１５１１ 第３フレームBottom Field画像
１５１２ 176画素×288ラインのTop Field画像
１５１３ 176画素×288ラインのBottom Field画像
１５１４ 176画素×288ラインのTop Field画像
１５１５ 176画素×288ラインのBottom Field画像
１５１６ 176画素×288ラインのTop Field画像
１５１７ 176画素×288ラインのBottom Field画像
１５１８ MPEG圧縮
１５１９ 送信・記録
１５２０ 受信・再生
１５２１ MPEG伸長
１５２２ １５０１と同じ立体画像
１５２３ １５０４と同じ高解像度平面画像
１６０１ ピクチャー番号
１６０２ ピクチャータイプ
１６０３ Top Field／Bottom Field表示
１６０４ ピクチャー内容（Top Field）
１６０５ ピクチャー内容（Bottom Field）
１６０６ 予測元ピクチャーと予測先ピクチャーの関係
１７０１ ピクチャー番号
１７０２ ピクチャータイプ
１７０３ Top Field／Bottom Field表示
１７０４ ピクチャー内容（Top Field）
１７０５ ピクチャー内容（Bottom Field）
１７０６ 予測元ピクチャーと予測先ピクチャーの関係
１８０１ ピクチャー番号
１８０２ ピクチャータイプ
１８０３ Top Field／Bottom Field表示
１８０４ ピクチャー内容（Top Field）
１８０５ ピクチャー内容（Bottom Field）
１８０６ 予測元ピクチャーと予測先ピクチャーの関係
１９０１ ピクチャー番号
１９０２ ピクチャータイプ
１９０３ Top Field／Bottom Field表示
１９０４ ピクチャー内容（Top Field）
１９０５ ピクチャー内容（Bottom Field）
１９０６ 予測元ピクチャーと予測先ピクチャーの関係
２００１ 立体画像
２００２ 左目画像（○）
２００３ 右目画像（×）
２００４ 変換画像
２００５ MPEG圧縮
２００６ 送信・記録
２００７ 受信・再生
２００８ MPEG伸長
２００９ ２００１と同じ立体画像
Claims (17)
- 左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを多重化して１個の画像とする立体画像前処理部と、
該立体画像前処理部により処理された前記１個の画像を圧縮する画像圧縮部と、
該画像圧縮部で圧縮された前記１個の画像を伸長する画像伸長部と、
該画像伸長部で伸長された前記１個の画像から左目画像と、右目画像と、左目画像または右目画像を高解像度とするための高解像度追加画像とを分離する立体画像後処理部とから成ることを特徴とする、画像圧縮伸長装置。 - 左目画像、右目画像、高解像度追加画像のうち１つを１個の画像の左１／３の領域に配置し、他の１つを前記１個の画像の中央部に配置し、さらに他の１つを前記１個の画像の右１／３の領域に配置することを特徴とする、請求項１に記載の画像圧縮伸長装置。
- 左目画像、右目画像、高解像度追加画像のうち１つを１個の画像の上部１／３の領域に配置し、他の１つを前記１個の画像の中央部に配置し、さらに他の１つを前記１個の画像の下部１／３の領域に配置することを特徴とする、請求項１に記載の画像圧縮伸長装置。
- 高解像度平面画像が左目画像のとき、左目画像と左目画像を高解像度とするための高解像度追加画像から構成された高解像度平面画像、または右目画像のうち１つを１個の画像の左２／３ないし１／３の領域に配置し、他の１つを前記１個の画像の右１／３ないし２／３の領域に配置し、
高解像度平面画像が右目画像のとき、右目画像と右目画像を高解像度とするための高解像度追加画像から構成された高解像度平面画像、または左目画像のうち１つを１個の画像の左２／３ないし１／３の領域に配置し、他の１つを前記１個の画像の右１／３ないし２／３の領域に配置することを特徴とする、請求項１に記載の画像圧縮伸長装置。 - 高解像度平面画像が左目画像のとき、左目画像と左目画像を高解像度とするための高解像度追加画像を多重化して１個の第１の画像とし、右目画像とダミー画像を多重化して１個の第２の画像とし、
高解像度平面画像が右目画像のとき、右目画像と右目画像を高解像度とするための高解像度追加画像を多重化して１個の第１の画像とし、左目画像とダミー画像を多重化して１個の第２の画像とし、
さらに、前記第１の画像と前記第２の画像を合わせて１個の第３の画像とする立体画像前処理部と、
該立体画像前処理部により処理された前記１個の第３の画像を圧縮する画像圧縮部と、
該画像圧縮部で圧縮された前記１個の第３の画像を伸長する画像伸長部と、
該画像伸長部で伸長された前記１個の第３の画像から、
高解像度画像が左目画像のとき、左目画像と高解像度追加画像から成る１個の第１の画像と、右目画像とダミー画像から成る１個の第２の画像を分離し、さらに、前記１個の第１の画像から左目画像と高解像度追加画像、前記１個の第２の画像から右目画像を分離する、
高解像度画像が右目画像のとき、右目画像と高解像度追加画像から成る１個の第１の画像と、左目画像とダミー画像から成る１個の第２の画像を分離し、さらに、前記１個の第１の画像から右目画像と高解像度追加画像、前記１個の第２の画像から左目画像を分離する
機能を有する立体画像後処理部とから成ることを特徴とする、画像圧縮伸長装置。 - 第１の画像を奇数ラインかつ第２の画像を偶数ライン、または、第２の画像を奇数ラインかつ第１の画像を偶数ラインに配置し、第３の画像をインターレース画像とし、
かつダミー画像を”０”データとしたことを特徴とする、請求項５に記載の画像圧縮伸長装置。 - 第１の画像を奇数ラインかつ第２の画像を偶数ライン、または、第２の画像を奇数ラインかつ第１の画像を偶数ラインに配置し、第３の画像をインターレース画像とし、
かつダミー画像を左側の画素データまたは右側の画素データと同じ値としたことを特徴とする、請求項５に記載の画像圧縮伸長装置。 - 第１の画像を奇数ラインかつ第２の画像を偶数ライン、または、第２の画像を奇数ラインかつ第１の画像を偶数ラインに配置し、第３の画像をインターレース画像とし、
かつダミー画像を左側の画素データと右側の画素データの平均値としたことを特徴とする、請求項５に記載の画像圧縮伸長装置。 - 画面上最左端１列または最右端１列のダミー画像を”０”データとしたことを特徴とする、請求項８に記載の画像圧縮伸長装置。
- 画面上最左端１列のダミー画像をその右側の画素データと同じ値とし、または、画面上最右端１列のダミー画像をその左側の画素データと同じ値としたことを特徴とする、請求項８に記載の画像圧縮伸長装置。
- 左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ライン（ｎは０以上の整数）、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうちの２個に配置し、
他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していない他の２個に配置し、
さらに他の１つを第３ｎ＋１フレーム奇数ライン、第３ｎ＋１フレーム偶数ライン、第３ｎ＋２フレーム奇数ライン、第３ｎ＋２フレーム偶数ライン、第３ｎ＋３フレーム奇数ライン、第３ｎ＋３フレーム偶数ラインのうち前記に配列していないさらに他の２個に配置し、
同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像としたことを特徴とする、請求項１に記載の画像圧縮伸長装置。 - 左目画像、右目画像、高解像度追加画像のうち、１つを第３ｎ＋１フレーム奇数ラインと第３ｎ＋２フレーム偶数ラインに配置し（ｎは０以上の整数）、他の１つを第３ｎ＋１フレーム偶数ラインと第３ｎ＋３フレーム奇数ラインに配置し、さらに他の１つを第３ｎ＋２フレーム奇数ラインと第３ｎ＋３フレーム偶数ラインに配置し、同じフレームの奇数ラインに配置された画像と偶数ラインに配置された画像をインターレース画像としたことを特徴とする、請求項１１に記載の画像圧縮伸長装置。
- 圧縮側では、圧縮された伝送ないし記録ストリーム中に、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度平面追加画像のうちどの画像から構成されるかを示すフラグを挿入し、伸長側では、前記フラグを検出することにより、そのストリームが平面画像のみ、立体画像のみ、立体画像と平面画像、立体画像と高解像度平面画像、立体画像と高解像度追加画像のうちどの画像から構成されるかを検出し、検出結果に従って伸長、後処理を行うことを特徴とする、請求項１〜１２のいずれか１項に記載の画像圧縮伸長装置。
- 圧縮側では、圧縮された伝送ないし記録ストリーム中に、そのストリームにおける平面画像、立体画像、高解像度平面画像、高解像度追加画像のすべておよび一部の多重化方式を示すフラグを挿入し、伸長側では、前記フラグを検出することにより、そのストリームにおける平面画像、立体画像、高解像度平面画像、高解像度追加画像のすべておよび一部の多重化方式を検出し、検出結果に従って伸長、後処理を行うことを特徴とする、請求項１〜１２のいずれか１項に記載の画像圧縮伸長装置。
- 多重化方式に、高解像度平面画像または高解像度追加画像が左目画像と右目画像のどちらかまたは両方に対応しているか、インターレース画像とするとき奇数フィールド、偶数フィールドにどのようなデータを配置するか、連続データの配置方法、ダミーデータ構成方法、のすべてまたは一部を含めることを特徴とする、請求項１〜１４のいずれか１項に記載の画像圧縮伸長装置。
- 圧縮方式をＭＰＥＧ（Moving Picture Expert Group）方式としたことを特徴とする、請求項１〜１５のいずれか１項に記載の画像圧縮伸長装置。
- 圧縮方式をＭＰＥＧ方式とし、マクロブロック単位で左目画像と右目画像の差異を検出し、規定値より大きいときフィールドDCTを適用し、規定値より小さいときフレームDCTを適用することを特徴とする、請求項１、５〜１５のいずれか１項に記載の画像圧縮伸長装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002201797A JP4154569B2 (ja) | 2002-07-10 | 2002-07-10 | 画像圧縮伸長装置 |
| US10/615,229 US7391811B2 (en) | 2002-07-10 | 2003-07-09 | Stereoscopic image encoding and decoding device multiplexing high resolution added images |
| US12/044,638 US20080152241A1 (en) | 2002-07-10 | 2008-03-07 | Stereoscopic image encoding and decoding device multiplexing high resolution added images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002201797A JP4154569B2 (ja) | 2002-07-10 | 2002-07-10 | 画像圧縮伸長装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004048293A JP2004048293A (ja) | 2004-02-12 |
| JP4154569B2 true JP4154569B2 (ja) | 2008-09-24 |
Family
ID=30112589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002201797A Expired - Fee Related JP4154569B2 (ja) | 2002-07-10 | 2002-07-10 | 画像圧縮伸長装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7391811B2 (ja) |
| JP (1) | JP4154569B2 (ja) |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7068729B2 (en) | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| US7804995B2 (en) * | 2002-07-02 | 2010-09-28 | Reald Inc. | Stereoscopic format converter |
| EP2348640B1 (en) | 2002-10-05 | 2020-07-15 | QUALCOMM Incorporated | Systematic encoding of chain reaction codes |
| KR100556826B1 (ko) * | 2003-04-17 | 2006-03-10 | 한국전자통신연구원 | Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 |
| CN1954501B (zh) | 2003-10-06 | 2010-06-16 | 数字方敦股份有限公司 | 通过通信信道接收从源发射的数据的方法 |
| EP2538676A3 (en) * | 2004-02-27 | 2014-01-08 | Tdvision Corporation S.A. DE C.V. | Method and system for digital coding 3D stereoscopic video images |
| CN1938727A (zh) * | 2004-02-27 | 2007-03-28 | Td视觉有限公司 | 用于数字解码3d立体视频图像的方法和*** |
| US7418651B2 (en) | 2004-05-07 | 2008-08-26 | Digital Fountain, Inc. | File download and streaming system |
| JP4421940B2 (ja) | 2004-05-13 | 2010-02-24 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
| GB2414882A (en) * | 2004-06-02 | 2005-12-07 | Sharp Kk | Interlacing/deinterlacing by mapping pixels according to a pattern |
| KR100782811B1 (ko) | 2005-02-04 | 2007-12-06 | 삼성전자주식회사 | 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치 |
| JP5550834B2 (ja) | 2006-02-13 | 2014-07-16 | デジタル ファウンテン， インコーポレイテッド | 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング |
| US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| WO2007134196A2 (en) | 2006-05-10 | 2007-11-22 | Digital Fountain, Inc. | Code generator and decoder using hybrid codes |
| US7868879B2 (en) * | 2006-05-12 | 2011-01-11 | Doremi Labs, Inc. | Method and apparatus for serving audiovisual content |
| US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| KR101319535B1 (ko) * | 2006-12-26 | 2013-10-21 | 삼성전자주식회사 | 영상신호 처리장치 및 그 제어방법 |
| FI3920538T3 (fi) | 2007-04-12 | 2023-04-05 | Dolby Int Ab | Limittäminen videon enkoodauksessa ja dekoodauksessa |
| KR101450670B1 (ko) | 2007-06-11 | 2014-10-15 | 삼성전자 주식회사 | 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치 |
| US8274551B2 (en) | 2007-06-11 | 2012-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for generating header information of stereoscopic image data |
| US8471893B2 (en) * | 2007-06-26 | 2013-06-25 | Samsung Electronics Co., Ltd. | Method and apparatus for generating stereoscopic image bitstream using block interleaved method |
| AU2008298602A1 (en) | 2007-09-12 | 2009-03-19 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
| CN102047656B (zh) * | 2008-06-18 | 2012-07-18 | 三菱电机株式会社 | 三维视频转换记录装置、三维视频转换记录方法、三维视频转换装置以及三维视频传输装置 |
| US20090315981A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| KR101539935B1 (ko) * | 2008-06-24 | 2015-07-28 | 삼성전자주식회사 | 3차원 비디오 영상 처리 방법 및 장치 |
| US20090317062A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| JP5338166B2 (ja) | 2008-07-16 | 2013-11-13 | ソニー株式会社 | 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法 |
| JP2010088092A (ja) * | 2008-09-02 | 2010-04-15 | Panasonic Corp | 立体映像伝送システム、映像表示装置および映像出力装置 |
| CN102160387B (zh) * | 2008-09-23 | 2016-03-02 | 杜比实验室特许公司 | 棋盘式多路复用图像数据的编码和解码架构 |
| US8400570B2 (en) * | 2008-10-09 | 2013-03-19 | Manufacturing Resources International, Inc. | System and method for displaying multiple images/videos on a single display |
| CN101884220B (zh) * | 2009-01-19 | 2013-04-03 | 松下电器产业株式会社 | 编码方法、解码方法、编码装置、解码装置、程序及集成电路 |
| US10742953B2 (en) | 2009-01-20 | 2020-08-11 | Koninklijke Philips N.V. | Transferring of three-dimensional image data |
| CN104702960B (zh) | 2009-01-26 | 2018-01-02 | 汤姆森特许公司 | 用于视频解码的装置 |
| CN105472369B (zh) * | 2009-01-29 | 2017-09-12 | 杜比实验室特许公司 | 视频装置 |
| JP5305094B2 (ja) * | 2009-03-19 | 2013-10-02 | ソニー株式会社 | 映像信号処理装置、立体映像表示装置、立体映像伝送表示システムおよび映像信号処理方法 |
| CN102450010A (zh) | 2009-04-20 | 2012-05-09 | 杜比实验室特许公司 | 定向内插和数据后处理 |
| WO2011005624A1 (en) * | 2009-07-04 | 2011-01-13 | Dolby Laboratories Licensing Corporation | Encoding and decoding architectures for format compatible 3d video delivery |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| JP5375490B2 (ja) | 2009-09-29 | 2013-12-25 | ソニー株式会社 | 送信装置、受信装置、通信システム及びプログラム |
| JP5521913B2 (ja) | 2009-10-28 | 2014-06-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US20110157260A1 (en) * | 2009-12-30 | 2011-06-30 | Jayoung Pyun | 3d image display device |
| EP2529557A1 (en) * | 2010-01-29 | 2012-12-05 | Thomson Licensing | Block-based interleaving |
| US9225961B2 (en) | 2010-05-13 | 2015-12-29 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
| US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| US8806050B2 (en) | 2010-08-10 | 2014-08-12 | Qualcomm Incorporated | Manifest file updates for network streaming of coded multimedia data |
| US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
| US8368690B1 (en) * | 2011-07-05 | 2013-02-05 | 3-D Virtual Lens Technologies, Inc. | Calibrator for autostereoscopic image display |
| US9521418B2 (en) | 2011-07-22 | 2016-12-13 | Qualcomm Incorporated | Slice header three-dimensional video extension for slice header prediction |
| US11496760B2 (en) | 2011-07-22 | 2022-11-08 | Qualcomm Incorporated | Slice header prediction for depth maps in three-dimensional video codecs |
| US9288505B2 (en) | 2011-08-11 | 2016-03-15 | Qualcomm Incorporated | Three-dimensional video with asymmetric spatial resolution |
| TWI456975B (zh) * | 2011-08-23 | 2014-10-11 | Acer Inc | 立體影像處理裝置與方法 |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| JP5442688B2 (ja) * | 2011-09-22 | 2014-03-12 | 株式会社Ｎｔｔドコモ | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
| US9485503B2 (en) | 2011-11-18 | 2016-11-01 | Qualcomm Incorporated | Inside view motion prediction among texture and depth view components |
| JP2013201557A (ja) * | 2012-03-23 | 2013-10-03 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
| US10319408B2 (en) | 2015-03-30 | 2019-06-11 | Manufacturing Resources International, Inc. | Monolithic display with separately controllable sections |
| US10922736B2 (en) | 2015-05-15 | 2021-02-16 | Manufacturing Resources International, Inc. | Smart electronic display for restaurants |
| US10269156B2 (en) | 2015-06-05 | 2019-04-23 | Manufacturing Resources International, Inc. | System and method for blending order confirmation over menu board background |
| JP6098678B2 (ja) * | 2015-07-31 | 2017-03-22 | ソニー株式会社 | 送信方法および送信装置 |
| US10291899B2 (en) * | 2015-11-30 | 2019-05-14 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image |
| US10319271B2 (en) | 2016-03-22 | 2019-06-11 | Manufacturing Resources International, Inc. | Cyclic redundancy check for electronic displays |
| JP2019526948A (ja) | 2016-05-31 | 2019-09-19 | マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド | 電子ディスプレイ遠隔画像確認システム及びその方法 |
| US10510304B2 (en) | 2016-08-10 | 2019-12-17 | Manufacturing Resources International, Inc. | Dynamic dimming LED backlight for LCD array |
| US11895362B2 (en) | 2021-10-29 | 2024-02-06 | Manufacturing Resources International, Inc. | Proof of play for images displayed at electronic displays |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123447A (ja) | 1993-10-22 | 1995-05-12 | Sony Corp | 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体 |
| US6055012A (en) * | 1995-12-29 | 2000-04-25 | Lucent Technologies Inc. | Digital multi-view video compression with complexity and compatibility constraints |
| JP3454675B2 (ja) | 1997-06-20 | 2003-10-06 | 三洋電機株式会社 | 立体映像伝送方法及び装置 |
-
2002
- 2002-07-10 JP JP2002201797A patent/JP4154569B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-09 US US10/615,229 patent/US7391811B2/en not_active Expired - Fee Related
-
2008
- 2008-03-07 US US12/044,638 patent/US20080152241A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US7391811B2 (en) | 2008-06-24 |
| JP2004048293A (ja) | 2004-02-12 |
| US20080152241A1 (en) | 2008-06-26 |
| US20040008893A1 (en) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4154569B2 (ja) | 画像圧縮伸長装置 | |
| US8471893B2 (en) | Method and apparatus for generating stereoscopic image bitstream using block interleaved method | |
| KR100782811B1 (ko) | 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치 | |
| JP3816516B2 (ja) | ノンインタレース走査ビデオ信号を圧縮する方法と装置 | |
| US8254458B2 (en) | Moving picture encoding apparatus and method, moving picture decoding apparatus and method | |
| JP2012523804A (ja) | 向上した解像度の立体ビデオのエンコード、デコード、および配信 | |
| JPH08130745A (ja) | 復号化システム、復号化装置および復号化回路 | |
| JP2012510737A (ja) | デジタル画像ストリームのフレームの符号化と復号化の方法およびシステム | |
| JP2015005978A (ja) | ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス | |
| EP1613097A1 (en) | Digital video signal compression and decompression method and apparatus | |
| WO2010075624A1 (en) | Image compression using checkerboard mosaic for luminance and chrominance color space images | |
| JP3540447B2 (ja) | 動画像符号化装置及び復号装置 | |
| JP5238528B2 (ja) | 符号化装置および方法、ならびに、復号装置および方法 | |
| EP0827347A2 (en) | Recording and reproducing apparatus for digital image information | |
| JP4406914B2 (ja) | 立体画像圧縮装置及び立体画像伸長装置 | |
| JPH10243419A (ja) | 立体視画像符号化・復号化方法及び装置 | |
| US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
| JP4355914B2 (ja) | 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム | |
| JP4243095B2 (ja) | 立体画像処理方法及びプログラム及び記録媒体 | |
| JP2001339722A (ja) | マルチチャネル画像符号化装置、復号化表示装置、符号化方法および復号化表示方法 | |
| JP2008244667A (ja) | 画像伝送装置 | |
| JP3946177B2 (ja) | 動画像符号化装置及び復号装置 | |
| You et al. | Design of HD 3DTV Video Multiplexer and Receiver | |
| JPH07111652A (ja) | 画像データの圧縮方法、伸長方法及び記録媒体 | |
| JP2004153421A (ja) | カメラ映像処理システム、カメラ映像処理方法及び撮像カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041220 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050615 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080611 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |