JP5336666B2 - 符号化方法、表示装置、復号方法 - Google Patents

符号化方法、表示装置、復号方法 Download PDF

Info

Publication number
JP5336666B2
JP5336666B2 JP2012540892A JP2012540892A JP5336666B2 JP 5336666 B2 JP5336666 B2 JP 5336666B2 JP 2012540892 A JP2012540892 A JP 2012540892A JP 2012540892 A JP2012540892 A JP 2012540892A JP 5336666 B2 JP5336666 B2 JP 5336666B2
Authority
JP
Japan
Prior art keywords
video
stream
video data
playback
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012540892A
Other languages
English (en)
Other versions
JPWO2012057164A1 (ja
Inventor
泰治 佐々木
孝啓 西
透 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP5336666B2 publication Critical patent/JP5336666B2/ja
Publication of JPWO2012057164A1 publication Critical patent/JPWO2012057164A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、符号化方法技術に関し、特に3D映像に関するトランスポートストリームの符号化方法技術に関する。
現在、3D番組の放送は、サイドバイサイド方式で3D再生を実現するビデオストリームを1TS（１本のトランスポートストリームのことである）に多重化して、放送局がかかる1TSを各世帯のテレビ表示装置に供給することでなされる。サイドバイサイド方式とは、立体視に必要な左目映像と、立体視に必要な右目映像とを横方向に並べて、1つのフレームの領域内にパッケージングすることで3D再生を実現する方式である（特許文献１参照）。
従来の3D表示装置は、入力されてくるビデオストリームが3D映像であるか否かの判定を行い、3D映像であると判定すると、ビデオストリームを構成する個々のフレームのピクチャデータは必ずサイドバイサイド方式の画像であり、右半分に右目画像、左半分に左目画像が格納されているとの前提で、右目画像、左目画像の復号を行う。
日本特許第３７８９７９４号公報
従来の3Dテレビ放送は、1TS-1VS方式（１本のトランスポートストリームで1本のビデオストリームを伝送する方式）であり、3Dモード−2Dモード間の切り替えは実現されていない。従ってユーザは、3Dテレビ放送を3D映像としか視聴することができず、ユーザに対して充分な配慮がなされているとはいえない。
一方、BD-ROM再生装置では、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをBD-ROMから読み出してデコーダに供することで、2Dモード、3Dモードの自由なモード切り替えを実現している。右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをまとめて読み出すため、これら2本のトランスポートストリーム(2TS)はインターリーブ形式のファイルに変換された上でBD-ROMに記録されている。しかしながらデジタルテレビ放送のTV番組では、１つのTV番組に使用できるトランスポートストリームは、1TSであるという前提があるので、上記右目用のビデオストリーム、左目用のビデオストリームを2本のTSを用いて伝送することはできない。また、デジタルテレビ放送において、テレビ番組はファイルという単位で伝送される訳ではないから、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをファイルによって対応付けることができず、かかるBD-ROMにおける対応付けを、デジタルテレビ放送にそのまま応用することは不可能である。
本発明の目的は、１つのTV番組に使用できるトランスポートストリームは、1TSであるという前提下で、2Dモード、3Dモード間の自由なモード切り替えを実現することができる符号化方式を提供することである。
上記目的を達成するため、本発明にかかる符号化方法は、画像を圧縮符号化してビデオストリームを生成するエンコードステップと、エンコードステップによって生成される複数のビデオストリームに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、前記複数のビデオストリームは、2D映像を構成する2Dビデオストリームを含むとともに、複数のビデオストリームを組み合わせることで3D映像を構成し、3D映像を構成するビデオストリームの組み合わせには、前記2Dビデオストリームと1つの他のビデオストリームの組み合わせと、2Dビデオストリーム以外の2以上の他のビデオストリームの組み合わせがあり、前記トランスポートストリームは、3D映像を構成するビデオストリームを特定する3D映像特定情報を含むことを特徴とする。
3D再生に必要な組合せが記載されている3D映像特定情報が、1本のトランスポートストリームに存在するから、表示装置が2D再生を実行していて、これを3D再生に切り替える場合、トランスポートストリーム内の関連付け情報を参照することで、3D再生に必要なビデオストリームがどれであるかを知得することができる。
請求項2によれば、3D映像特定情報がコンテンツテーブルに存在するので、かかるコンテンツテーブルがトランスポートストリームの先頭部に配置されたり、所定の時間置きに配置されている場合、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、3D映像特定情報を参照することにより、多重分離すべきビデオストリームを容易に特定することができ、3D映像を再生することができる。
請求項3によれば、2Dビデオストリームを特定する2D映像特定情報がトランスポートストリームに存在するから、2D再生に必要なビデオストリームがどれであるかを知得することができ、2D再生、3D再生の互換再生が可能となる。
請求項4によれば、2Dビデオストリーム、左目映像を構成する左目ビデオストリーム、右目映像を構成するビデオストリームに、それぞれ対応するストリーム識別子を示す情報がトランスポートストリームに存在するから、2D再生、または3D再生において、多重分離すべきビデオストリームを特定することができ、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができる。
請求項5によれば、2Dビデオストリームと、3D映像を構成する複数のビデオストリームのいずれかが一致するか否かを示すフラグがコンテンツテーブルに存在するから、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、このフラグを参照することにより、トランスポートストリームのストリーム構成を特定することができる。
請求項6によれば、フレームへの左目画像、右目画像のパッケージングに様々な格納方式を採用することができるので、サイドバイサイド、トップアンドボトム等、既存の撮影行為で取得可能な様々な3D素材をコンテンツ作成に利用することができる。
請求項7によれば、ストリームディスクリプタにおけるカメラアサインメントには、カメラのチャネル構成が示されているので、撮影時のカメラ環境を再生時に再現することができる。
請求項8によれば、2Dビデオストリーム、他のビデオストリームのうち、どちらのビデオストリームに存在するクローズドキャプションの字幕データを用いるかを示す情報がコンテンツテーブルに記述されているので、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。
請求項10によれば、3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述するので、ストリーム情報を参照することで、多重分離すべきビデオストリームを特定することができ、3D映像を再生することができる。
請求項11によれば、コンテンツテーブルにおける各ビデオストリームに対応するストリーム情報に、組合せの相手側となるビデオストリームのストリーム識別子を記述しているので、ストリーム情報を参照することで、3D再生において必要となるもう一方のビデオストリームを特定することができる。
Side-by-Side方式の映像を配信する場合の課題を説明する図である。 再生装置と2Dデジタルテレビの利用形態を示す図である。 立体視画像の表示の一例を示す図である。 Side-by-Side方式による映像の表示の例を示す図である。 立体視のためのフレームの構成の一例を示す図である。 トランスポートストリームの構成を説明する図である。 ビデオストリームの構造を説明する図である。 PESパケット列に、ビデオストリームどのように格納されるかを更に詳しく示した図である。 TSパケットの構造を説明する図である。 PMTのデータ構造を説明する図である。 ビデオのクロッピング領域情報、スケーリング情報を説明する図である。 ビデオのクロッピング領域情報の具体例を示す図である フレームパッキング情報とフレームパッキング情報ディスクリプタの格納方法を説明する図である。 フレームパッキング情報ディスクリプタとフレームパッキング情報の関係の例を示す図である。 本実施の形態に係る再生装置を説明する図である。 フレームパッキング情報ディスクリプタの「処理優先度」を説明する図である。 フレームパッキング情報ディスクリプタの「表示切替開始PTS」を説明する図である。 左目映像と右目映像を別々のビデオストリームとして、１本のトランスポートストリームに格納する構成を説明する図である。 ２本のビデオストリームで構成する場合の符号化ビットレートを確保する上で効率的なデータフォーマットを説明する図である。 3D再生情報ディスクリプタを説明する図である。 ２本のビデオストリームで構成する場合の特殊再生に好適な符号化方法を説明する図である。 ２本のビデオストリームで構成する場合の特殊再生、編集に好適な多重化方法を説明する図である。 本実施の形態に係るデータ作成装置を説明する図である。 2D映像とデプスマップから左目映像と右目映像の視差画像を生成する例を示す図である。 2D再生および3D再生時の左目用（Ｌ）映像として用いられるビデオに加え、右目用（Ｒ）映像のビデオを格納するトランスポートストリーム構成（2D/L + R）を示す図である。 2Dのビデオとは別に、左目用（Ｌ）のビデオ、および右目用（Ｒ）のビデオを２本格納するトランスポートストリームの構成（2D + L + R）を示す図である。 2D + L + Rのストリーム構成における、3D_system_info_descriptorの構造を示す図である。 3D_playback_typeに設定される値を示す図である 2D + L + Rのストリーム構成における、3D_service_info_descriptorの構造を示す図である。 2D + L + Rのストリーム構成における、3D_combi_info_descriptorの構造を示す図である。 2Dのビデオに加えて、Side-by-Side方式のビデオを格納するトランスストリーム構成（2D + Side-by-Side）を示す図である。 2D + Side-by-Side のストリーム構成における、3D_service_info_descriptorの構造を示す図である。 2D + Side-by-Side のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。 2D再生のみに用いられるビデオに加えて、MVCにより圧縮符号化された２本のビデオを格納するトランスポートストリーム構成（2D + MVC）を示す図である。 2D + MVC のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。 2D再生、および3D再生時のL映像として用いられるビデオに加え、複数視点のR映像のビデオを格納するトランスポートストリーム構成（2D + R1 + R2）を示す図である。 2D + R1 + R2のストリーム構成における、3D_system_info_descriptorの構造を示す図である。 2D + R1 + R2のストリーム構成における、3D_service_info_descriptorの構造を示す図である。 2D + R1 + R2のストリーム構成における、3D_combi_info_descriptorの構造を示す図である。 データ作成装置４０００の内部構成を示す図である。 データ作成装置４０００の符号化処理の流れを示すフローチャートである。 3Dデジタルテレビ４２００の内部構成を示す図である。 3Dデジタルテレビ４２００による番組の再生処理の流れの一例を示すフローチャートである。 2D + SBSのストリームの処理の流れを示すフローチャートである。 2D/SBSのストリームの処理の流れを示すフローチャートである。 2D/L + Rのストリームの処理の流れを示すフローチャートである。 2D/L + R1 + R2のストリームの処理の流れを示すフローチャートである。 MPEG2 + AVC + AVCのストリームの処理の流れを示すフローチャートである。 MPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の流れを示すフローチャートである。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態に係る映像フォーマットと、その映像フォーマットにおけるデータ作成方法、データ作成装置、再生方法、再生装置について説明する。
先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式とがある。
まず、１つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び１mmの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
次に、２つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
この方式のメリットは、高々右目用と左目用の２つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
また、視差画像を用いた立体視においては、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、2D映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、2D映像とデプスマップに基づいて左目映像と右目映像の視差画像をプレーヤやディスプレイで生成する方法がある。図２４は2D映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示している。デプスマップは2D映像内のそれぞれの画素に対応して奥行き値をもっており、図２４の例では、2D映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ（例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ）として格納しても良い。視差画像は、デプスマップの奥行き値から、2D映像の視差量を調整することによって作成することができる。図２４の例では、2D映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体の画素の視差量を小さくして、左目映像、右目映像を作成する。この左目映像と右目映像を、継時分離方式等を使って表示すれば立体視が可能となる。
以上が立体視の原理についての説明である。
次に、本実施の形態における再生装置の使用形態について説明する。
本実施の形態における再生装置は、2D映像もしくは3D映像を復号してディスプレイに映像を転送する装置である。ここでは、例としてデジタルテレビを挙げて説明する。
デジタルテレビには、図２に示すように3D映像が視聴可能な再生装置１００と、3D映像の再生をサポートしない2D映像のみを再生できる2Dデジタルテレビ３００がある。
図２（a）は、再生装置の、使用行為についての形態を示す図である。本図に示すように、デジタルテレビ１００と3D眼鏡２００とから構成され、ユーザによる使用が可能となる。
再生装置１００は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
本実施形態の再生装置１００は、3D眼鏡２００をユーザが着用することで立体視を実現するものである。3D眼鏡２００は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図２（b）は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡２００は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図（c）は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
また、別の方法の再生装置としては、先ほどの継時分離方式では左右のピクチャーを時間軸方向で交互に出力していたのに対して、一画面中の縦方向に左目用のピクチャーと右目用のピクチャーを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャーを構成する画素は左目だけに結像し、右目用のピクチャーを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャーを見せ、3Dとしてみることができる方式がある。なお、レンチキュラーレンズだけでなく、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。また左目用の画素には縦偏光のフィルター、右目用の画素には横偏光のフィルターを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルターを設置した偏光メガネを用いてディスプレイを見ることによって立体視が可能となる偏光方式がある。
視差画像を用いた立体視のための方法はこの他にも２色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式を例として用いて説明するが、視差画像を用いる限りこの方式に限定するものではない。
2Dデジタルテレビ３００は、図２の（d）に示すように、再生装置１００と異なり、立体視を実現できない。2Dデジタルテレビ３００は、2D映像のみを表示することができるものであり、受信した放送波に含まれるストリームを2D映像としてのみ再生できる。
以上が、再生装置の使用形態についての説明である。
次に、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。
デジタルテレビの放送波等での伝送では、MPEG-２トランスポートストリーム形式のデジタルストリームが使われている。MPEG-２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ISO/IEC１３８１８-１およびITU-T勧告H２２２.０において標準化されている。
図６は、MPEG-２トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、MPEG-２、MPEG-４ AVCなどの方式を使って符号化記録される。オーディオストリームは、ドルビーAC-３、MPEG-２ AAC、MPEG-４ AAC、HE-AACなどの方式で圧縮・符号化記録されている。
ビデオストリームの構成について説明する。MPEG-２、MPEG-４ AVC、SMPTE VC-１などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャとよび、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。
また、ビデオストリームは、図７に示すような階層構造を有している。ビデオストリームは、複数のGOP（Group of Pictures）から構成されており、これを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。GOPは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードなどから構成される。各データはMPEG-４ AVCの場合は、NALユニットと呼ばれる単位で格納される。
AU識別コードはアクセスユニットの先頭を示す開始符号である。シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダはピクチャ全体の符合化の方式などの情報を格納したヘッダである。補足データは圧縮データの復号に必須ではない付加情報であり、例えば、映像と同期してTVに表示するクローズドキャプションの文字情報やGOP構造情報などが格納される。圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。パディングデータは、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コードは、再生シーケンスの終端を示すデータである。ストリーム終端コードは、ビットストリームの終端を示すデータである。
AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードの中身の構成は、ビデオの符合化方式によって異なる。
例えば、MPEG-４ AVCの場合であれば、AU識別コードは、AUデリミタ（Access Unit Delimiter）、シーケンスヘッダはSPS（Sequence Paramter Set）に、ピクチャヘッダはPPS（Picture Parameter Set）に、圧縮ピクチャデータは複数個のスライス、補足データはSEI（Supplemental Enhancement Information）、パディングデータはFillerData、シーケンス終端コードはEnd of Sequence、ストリーム終端コードはEnd of Streamに対応する。
例えば、MPEG-２の場合であれば、シーケンスヘッダはsequence_Header、sequence_extension、group_of_picture_headerに、ピクチャヘッダはpicture_header、picture_coding_extension、圧縮ピクチャデータは複数個のスライス、補足データはuser_data、シーケンス終端コードはsequence_end_codeに対応する。AU識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
各データは常に必要ではなく、例えば、シーケンスヘッダはGOP先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい、としてもよい。また、符号化方式によっては、ピクチャヘッダは前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくても良い。
ここで、クロッピング領域情報とスケーリング情報について図１１を参照しながら説明する。ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。図１１のように、符号化されたフレーム領域の中から実際に表示する領域を、「クロッピング領域」として指定することが出来る。例えば、MPEG-４ AVCの場合には、SPSに格納されるframe_cropping情報を使って指定できる。frame_cropping情報は、図１２左のように、クロッピンング領域の上線/下線/左線/右線と、符号化されたフレーム領域の上線/下線/左線/右線との差分を、上下左右のクロップ量として指定する。より具体的には、クロッピング領域を指定する場合には、frame_cropping_flagを1に設定し、frame_crop_top_offset / frame_crop_bottom_offset / frame_crop_left_offset / frame_crop_right_offsetに上/下/左/右のクロップ量を指定する。MPEG-２の場合には、クロッピング領域の縦横のサイズ(sequence_display_extensionのdisplay_horizontal_size, display_vertical_size)と、符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報(picture_display_extensionのframe_centre_horizontal_offset, frame_centre_vertical_offset)を使ってクロッピング領域を指定できる。また、ビデオ符号化方式によっては、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えばアスペクト比として設定される。再生装置はそのアスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。例えば、MPEG-４ AVCの場合には、スケーリング情報として、SPSにアスペクト比の情報(aspect_ratio_idc)が格納される。MPEG-４ AVCの場合、１４４０x１０８０のクロッピング領域を、１９２０x１０８０に拡大して表示するためには、アスペクト比は４：３を指定する。この場合水平方向に4/3倍にアップコンバート（１４４０x４/３=１９２０）され、１９２０x１０８０に拡大されて表示される。MPEG-２の場合にも同様にsequence_headerにアスペクト比の情報(aspect_ratio_information)が格納されている。
トランスポートストリームに含まれる各ストリームはPIDと呼ばれるストリーム識別IDによって識別される。このPIDのパケットを抽出することで複合装置は、対象のストリームを抽出することが出来る。PIDとストリームの対応は以降で説明するPMTパケットのディスクリプタに格納される。
図６は、トランスポートストリームがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれPESパケット列５０２および５０５に変換し、TSパケット５０３および５０６に変換する。同じく字幕ストリーム５０７のデータをそれぞれPESパケット列５０８に変換し、更にTSパケット５０９に変換する。MPEG-２トランスポートストリーム５１３はこれらのTSパケットを１本のストリームに多重化することで構成される。
図８は、PESパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、PESパケット列を示す。本図の矢印yy１,yy２, yy３, yy４に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS（Presentation Time-Stamp）やピクチャの復号時刻であるDTS（Decoding Time-Stamp）が格納される。
図９は、トランスポートストリームを構成するTSパケットのデータ構造を示している。TSパケットは、４ByteのTSヘッダと、アダプテーションフィールドとTSペイロードから構成される１８８Byte固定長のパケットである。TSヘッダは、transport_priority、PID、adaptaion_field_controlなどから構成される。PIDは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのIDである。transport_priorityは、同一PIDのTSパケットの中のパケットの種別を識別するための情報である。adaptation_field_controlは、アダプテーションフィールドとTSペイロードの構成を制御するための情報である。アダプテーションフィールドとTSペイロードはどちらかだけが存在する場合と両方が存在する場合があり、adaptation_field_controlはその有無を示す。adaptation_field_controlが１の場合は、TSペイロードのみが存在し、adaptation_field_controlが２の場合は、アダプテーションフィールドのみが存在し、adaptation_field_controlが３の場合は、TSペイロードとアダプテーションフィールドの両方が存在することを示す。
アダプテーションフィールドは、PCRなどの情報の格納や、TSパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。TSペイロードにはPESパケットが分割されて格納される。
トランスポートストリームに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）などがある。これらのパケットはPSI（Program Specific Information）と呼ばれる。PATはトランスポートストリーム中に利用されるPMTのPIDが何であるかを示し、PAT自身のPIDは０で登録される。PMTは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはAVストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、TSパケットのデコーダへの到着時刻とPTS・DTSの時間軸であるSTC（System Time Clock）の同期を取るために、そのPCRパケットがデコーダに転送されるタイミングに対応するSTC時間の情報を持つ。
図１０はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、トランスポートストリームに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。
以上がデジタルテレビの放送波等で伝送される一般的なストリームの構造の説明である。
次に、立体視に使う視差画像を実現するための一般的な映像フォーマットについて説明する。
視差画像を使った立体視の方式では、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う。図３は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
視差画像のうち、左目に入る画像を左目画像(L画像)といい、右目に入る画像を右目画像(R画像)という。そして、各々のピクチャが、L画像になっている動画像をレフトビュービデオといい、各々のピクチャがR画像になっている動画像をライトビュービデオという。
レフトビュービデオとライトビュービデオを合成して圧縮符号化する3Dの映像方式には、フレーム互換方式とサービス互換方式がある。
まず１つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、図４に示すような、Side-by-Side方式がある。Side-by-Side方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に１/２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に２倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ（L画像）とライトビュービデオのピクチャ（R画像）を交互に表示することによって、図２に示すような立体視画像を得ることができる。フレーム互換方式にはSide-by-Side方式の他に、左右画像を上下に並べるTop and Bottom方式や、ピクチャ内の１ライン毎に左右画像を交互に配置するLine Alternative方式などがある。
このような立体視用の左右の映像の格納方式を識別する手段として、ビデオストリームには、フレームパッキング情報が用意されている。フレームパッキング情報は、例えばMPEG-４ AVCでは、Frame_packing_arrangement SEIである。図１は、フレームパッキング情報を説明する図である。図１下段は、ビデオフレーム列を示す。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図１の上段に示している。フレームパッキング情報には、フレーム格納タイプ、キャンセルフラグ、リピートフラグがある。フレーム格納タイプは、立体視用の左右の映像をフレーム内に格納する方式のタイプを示し、前述で説明した「Side-by-Side」「TopBottom」「チェッカーボード」「ラインバイライン」といった方式を識別する情報である。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_typeに対応する。リピートフラグは、フレームパッキング情報の有効期間を示し、０であればフレームパッキング情報は該当フレームのみに対して有効であることを示し、１であれば該当フレームパッキング情報は、次のビデオシーケンスが来るまでか、ディスプレイ順で該当フレームよりも遅いフレームパッキング情報を持ったフレームがくるまで有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_repetition_periodに対応する。キャンセルフラグは、前回のフレームパッキング情報の有効期間をキャンセルするフラグである。キャンセルフラグが１の場合には、以前に送出されたフレームパッキング情報がキャンセルされ、０の場合には該当のフレームパッキング情報が有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_cancel_flagに対応する。
Side-by-Side再生区間の先頭に格納されているフレームパッキング情報（A）のフレーム格納タイプはSide-by-Side、リピートフラグは１、キャンセルフラグは０となっている。Side-by-Side再生区間の先頭には、フレームパッキング情報は格納されておらず、また、リピートフラグは１であるため、この区間のフレーム列においては、Side-by-Side再生区間の先頭に格納されているフレームパッキング情報（A）が有効となる。2D再生区間の先頭に格納されているフレームパッキング情報（B）には、キャンセルフラグは１となっており、フレーム格納タイプやリピートフラグは格納されない。2D区間では、フレームパッキング情報は不要であるため、この先頭でキャンセルした後には、フレームパッキング情報は格納されていない。TopBottom再生区間には、フレームパッキング情報（C）が全てのフレームに格納されている。フレームパッキング情報（C）のフレーム格納タイプはTopBottom、リピートフラグは０、キャンセルフラグは０となっている。リピートフラグは０であるため、すべてのフレームがTopBottomであることを示すために、すべてのフレームにフレームパッキング情報を格納する必要がある。
このようにビデオストリームにフレームパッキング情報を格納することにより、再生装置はその情報を参照することで、方式に従った立体視の表示処理を実現できる。
次に、２つ目のサービス互換方式について説明する。サービス互換方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである、レフトビュービデオストリームとライトビュービデオストリームを用いる。
サービス互換方式において、レフトビュービデオ、ライトビュービデオを視点間の相関特性を利用したピクチャ間予測符号化技術により圧縮符号化したものを、特にマルチビュー符号化方式と呼ぶ。
図５は、マルチビュー符号化方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
本図の第２段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９というピクチャデータが含まれている。これらのピクチャデータは、Decode Time Stamp（DTS）に従いデコードされる。第１段目は、左目画像を示す。そうしてデコードされたピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９をPTSに従い、I１、Br３、Br４、P２、Br６、Br７、P５の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
第４段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、P１、P２、B３、B４、P５、B６、B７、P８というピクチャデータが含まれている。これらのピクチャデータは、DTSに従いデコードされる。第３段目は、右目画像を示す。そうしてデコードされたピクチャデータP１、P２、B３、B４、P５、B６、B７、P８をPTSに従い、P１、B３、B４、P２、B６、B７、P５の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目画像と右目画像とのペアうち一方の表示を、PTSの間隔の半分の時間（以下、「3D表示ディレイ」という）分だけ遅延して表示する。
第５段目は、3D眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
例えば、ライトビュービデオストリームの先頭Pピクチャは、レフトビュービデオストリームのIピクチャを参照し、ライトビュービデオストリームのBピクチャは、レフトビュービデオストリームのBrピクチャを参照し、ライトビュービデオストリームの二つ目のPピクチャは、レフトビュービデオストリームのPピクチャを参照している。
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを"ベースビュービデオストリーム"という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、"ディペンデントビューストリーム"という。なおベースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG２-TSなどの同一のストリームに多重化されてもよい。
このように視点間の相関を利用したマルチビュー符号化方式の圧縮方法としては、Multiview Video Coding（MVC）と呼ばれるMPEG-４ AVC/H.２６４の修正規格がある。ISO/IEC MPEGとITU-T VCEGの共同プロジェクトであるJoint Video Team（JVT）は、２００８年7月にMultiview Video Coding（MVC）と呼ばれるMPEG-４ AVC/H.２６４の修正規格の策定を完了した。MVCは、複数視点の映像をまとめて符号化する規格であり、映像の時間方向の類似性だけでなく視点間の類似性も予測符号化に利用することで、複数視点の独立した圧縮に比べて圧縮効率を向上している。
以上が立体視に使う視差画像を実現するための一般的な映像フォーマットについての説明である。（3D映像を格納するデータフォーマット）
次に、本実施の形態に係る3D映像を格納するデータフォーマットについて、図面を参照しながら説明を行う。
図１で示したように、フレームパッキング情報を格納する符号方法としては、フレームパッキング情報（A）、フレームパッキング情報（B）のように、再生区間の先頭のみに配置する方法や、フレームパッキング（C）のように各フレームすべてに格納する方法が混在するケースがある。このように、異なるフレームパッキング情報を格納する方法が混在すると、再生および編集装置において処理が非効率である。例えば、図１のSide-byーSide再生区間（A）の、先頭以外のビデオフレームから飛び込み再生を行う場合には、Side-By-Side先頭のフレームに格納されるフレームパッキング情報を解析して取得する必要がある。例えば、TopBottom再生区間（C）の再生を行う際には、全フレームにおいてフレームパッキング情報の解析が必要であり、処理負荷がかかる。そこで、本実施の形態では、フレームパッキング情報を格納する符号方法を、再生装置が前もって特定でき、再生処理の効率化ができるように、以下のような映像フォーマット構造をとる。
図１３を参照して映像フォーマットの構造を説明する。図１３の例はSide-By-Side方式のフレーム互換方式の3D映像を格納する場合の例である。トランスポートストリームに格納されるビデオストリームは、MPEG-４AVCやMPEG-２など映像符号化方式で圧縮されているビデオストリームである。
ビデオストリームの補足データには、フレームパッキング情報が格納されている。フレームパッキング情報は、図１を使って説明した情報である。フレームパッキング情報には、フレーム格納タイプ、リピートフラグ、キャンセルフラグが格納される。フレームパッキング情報は、図１を使って説明したように、全てのビデオアクセスユニットの補足データに格納せずに、リピートフラグを１に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。
PMTパケットには、フレームパッキング情報ディスクリプタが格納される。フレームパッキング情報ディスクリプタは、トランスポートストリームに格納されるビデオストリーム毎に用意され、該当のビデオストリームの補足データに含まれるフレームパッキング情報の属性情報を格納する。フレームパッキング情報ディスクリプタには、「フレーム格納タイプ」、「フレームパッキング情報格納タイプ」、「開始PTS」が格納される。
フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ意味を持ち、該当ビデオストリームの立体視映像のフレーム格納方式（Side-by-Side方式など）を示す。この情報は、該当ビデオストリームの補足データに含まれるフレームパッキング情報のフレーム格納タイプと一致する。再生装置は、フレーム格納タイプを参照することにより、ビデオストリームを解析せずとも立体映像のフレーム格納方式を判断することができる。これにより、例えば、再生装置は、3D表示方法を前もって判断できることにより、3D表示用のOSDの生成処理など3D表示に必要な処理を前もって、ビデオストリームのデコードの前に行うことが可能となる。
フレームパッキング情報格納タイプは、該当ビデオストリームに含まれるフレームパッキング情報の挿入方法を示している。図１を使って説明したように、フレームパッキング情報は、リピートフラグを１に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。また反対にリピートフラグを０に設定して、すべてのフレームに格納するようにすることも出来る。フレームパッキング情報格納タイプは、このフレームパッキング情報の格納方法を特定するための情報であり、つまり、フレームパッキング情報タイプが、「GOP単位」であればGOP先頭のビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示し、「アクセスユニット単位」であれば全ビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示す。再生装置は、フレームパッキング情報格納タイプを参照することにより、ビデオストリームを解析せずともフレームパッキング情報の格納方法を判別できため、再生および編集処理を効率化できる。例えば、GOP先頭以外のフレームにも飛び込み再生を行う再生装置の場合には、フレームパッキング情報格納タイプを参照することで、それが「GOP先頭」を示す場合には、常にGOP先頭のみから飛び込み再生を開始するように制御できる。
なお、フレームパッキング情報ディスクリプタには、GOP単位で属性が変化するかどうかを示す情報が格納されていても良い。このような構成にすることで、例えば、フレームパッキング情報格納タイプが「フレーム単位」で、GOP内で属性が変化しないことが示されれば、全フレームで同じフレームパッキング情報が格納されることが明示されるため、ビデオストリームに含まれるGOP先頭以外のフレームパッキング情報の解析をスキップすることができる。
開始PTSは、該当のフレームパッキング情報ディスクリプタが有効となる時刻を示す。PMTパケットの位置は、ビデオストリームの多重化位置と一般的に同期しないため、該当のフレームパッキング情報ディスクリプタが有効となる時間をビデオストリームの表示時刻上で知ることができない。そこで、この開始PTSを参照することで、フレームパッキング情報ディスクリプタが有効となる時刻を再生装置は知ることができる。開始PTSは、ビデオに付与されるPTSを示すように制限してもよく、そうすることで明確にビデオとの同期を再生装置に指示できる。なお、再生装置がビデオデコードよりも前にフレームパッキング情報ディスクリプタを参照できるように、開始PTSと同じPTSが付与されるビデオアクセスユニットよりも、該当開始PTSを含むフレームパッキング情報ディスクリプタが格納されるPMTパケットは、多重化（符号）順で、前方に配置されるとしてもよい。上記開始PTSを含むPMTパケットが複数存在する場合には、先頭のパケットのみが多重化（符号）順で、前方に配置されるとしてもよい。
図１４は、フレームパッキング情報ディスクリプタとフレームパッキング情報の関係の例を示す図である。図１４下段は、ビデオフレーム列を表示順に並べた図である。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図１４の中段に示している。これは図１で示した構成と同じである。ここで、図１４上段は、このデータ構成におけるフレームパッキング情報ディスクリプタの構成を示す。
フレームパッキング情報ディスクリプタ（A）は、Side-by-Side再生区間（A）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（A）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「Side-by-Side」、フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」、開始PTSは再生区間（A）における先頭の「ビデオPTSの値（例では１８００００）」が設定される。
フレームパッキング情報ディスクリプタ（B）は、2D再生区間（B）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（B）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じであり設定されない。もしくは、「2D」というフレーム格納タイプが定義されるのであれば、その値が設定される。フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」が設定される。開始PTSは再生区間（B）における先頭の「ビデオPTSの値（例では5580000）」が設定される。
フレームパッキング情報ディスクリプタ（C）は、TopBottom再生区間（C）におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ（C）の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「TopBottom」、フレームパッキング情報格納タイプはフレームパッキング情報が区間の全ビデオアクセスユニットに格納されているため「アクセスユニット単位」、開始PTSは再生区間（C）における先頭の「ビデオPTSの値（例では10980000）」が設定される。
以上が、本実施の形態に係る映像フォーマットの説明である。（3D映像の再生装置）
次に本実施の携帯に係る3D映像を再生する再生装置の構成について図１５を用いて説明する。
再生装置は、具体的には、3D映像の表示に対応するプラズマテレビや液晶テレビであり、ビデオストリームを送出するトランスポートストリームを受信する。ここでは継時分離方式でシャッタ眼鏡を利用する3D方式のテレビとする。再生装置は、IPネットワーク及び再生装置と接続され、これらから出力されたビデオストリームをも復号して表示する。
再生装置は、図１５に示すように、チューナ１５０１、NIC１５０２、多重分離部１５０３、映像デコード部１５０４、表示判定部１５０５、表示処理部１５０６、表示部１５０７、フレームバッファ（１）１５１０、フレームバッファ（２）１５１１、スイッチ１５１２から構成される。
チューナ１５０１は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
NIC１５０２は、IPネットワークと接続されており、外部から出力されたトランスポートストリームを受信する機能を有している。
多重化分離部１５０３は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリームなどに分離し、ビデオストリームを映像デコード部１５０４へ出力する。また多重分離部は、受信したトランスポートストリームからPSIなどのシステムパケットを抽出し、PMTパケットから、「フレームパッキング情報ディスクリプタ」を取得し、表示判定部や映像デコード部に通知する。多重化分離部１５０３は、チューナ１５０１やNIC１５０２からの入力に加えて、記録媒体からトランスポートストリームを読み出すこともできる。
映像デコード部１５０４は、ビデオストリームを多重化分離部１５０３から受け取ると、受け取ったストリームのデコードを行うとともに、ビデオストリーム中の「フレームパッキング情報」を取り出す機能を有している。この映像デコード部１５０４により、フレーム単位の映像が復号される。ここで、多重化分離部１５０３より通知されるフレームパッキング情報ディスクリプタの「フレームパッキング情報格納タイプ」がGOP単位であれば、「フレームパッキング情報」の取り出しをGOP先頭のビデオアクセスユニット以外はスキップできる。
映像デコード部１５０４は、復号されたフレームをフレームバッファ（１）１５０８へ書き込み、「フレームパッキング情報」を表示判定部１５０６に出力する。
フレームバッファ（１）１５０８は、映像デコード部１５０４でデコードされたフレームを格納するための領域を有する。
表示判定部１５０５は、「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」を元に表示方法を決定する。「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」に格納されるフレーム格納タイプにしたがって、3D映像の格納方式を判別して、「フレームパッキング情報ディスクリプタ」の「開始PTS」や、フレームパッキング情報が格納されるビデオのPTSのタイミングで、表示処理部に通知する。表示判定部１５０５は、このように表示方法を決定して、その内容を表示処理部１５０６に通知する。
表示処理部１５０６は、フレームバッファ(１）に格納された復号化されたフレームデータを、表示判定部１５０５からの指示に従って変形を行い、フレームバッファ（L）やフレームバッファ（R）に書き出す。Side-by-Side方式の場合は、表示処理部１５０６はフレームの左半分からHalfHDの左目画像をクロップしてフレームバッファ（L）に書き出し、表示処理部１５０６はフレームの右半分からHalfHDの右目画像をクロップしてフレームバッファ（R）に書き出す。TopBottom方式の場合は、表示処理部１５０６はフレームの上半分からHalfHDの左目画像をクロップしてフレームバッファ（L）に書き出し、表示処理部１５０６はフレームの下半分からHalfHDの右目画像をクロップしてフレームバッファ（R）に書き出す。2Dの場合は、フレームバッファ（１）の映像をフレームバッファ（L）とフレームバッファ（R）の両方に書き出す。
フレームバッファ（L）１５１０、フレームバッファ（R）１５１１は、表示処理部１５０６から出力されるフレームを格納するための領域を有する。
スイッチ１５１２は、フレームバッファ（L）１５１０、フレームバッファ（R）１５１１に書き出されたフレーム画像を選択して表示部に転送する。表示するフレームに応じてフレームバッファ（L）１５１０、フレームバッファ（R）１５１１を交互に選択して表示する。
表示部は１５０６は、スイッチ１５１２から転送されたフレームを表示する。表示部１５０６は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッタを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
以上が本実施の形態に係る再生装置の説明である。
なお、フレームパッキング情報ディスクリプタは、PMTパケット以外にも、番組情報などを含めた SI (Service Information) のディスクリプタ、TSパケットヘッダ、PESヘッダなどに格納しても良い。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプには、「GOP単位」と「アクセスユニット単位」があるとしたが、PESパケットに1つ存在することを示す「PESパケット単位」、Iピクチャに1つ存在することを示す「Iピクチャ単位」、フレームパッキング情報に含まれる値が切り替わる度に１つ存在することを示す「属性切り替わり単位」など他のタイプがあっても良い。
なお、フレームパッキング情報ディスクリプタには、前のPMTパケットに格納されるフレームパッキング情報ディスクリプタの値と変化があるかどうかが分かる識別子が存在しても良い。この識別子を参照することで、変化がない場合には、フレームパッキング情報ディスクリプタの解析処理や表示判定部への通知および表示判定部の処理をスキップすることが出来る。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプとして、リピートフラグが格納されていても良い。例えば、フレームパッキング情報ディスクリプタのリピートフラグが１であればGOP単位、フレームパッキング情報ディスクリプタのリピートフラグが０であればアクセスユニット単位と再生装置は判定できる。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレーム格納タイプ毎に設定できるようにしてもよい。例えば、Side-by-Side方式の場合は「GOP単位」、TopBottom方式の場合は「フレーム単位」というように設定できても良い。なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレームパッキング情報のID毎に設定できても良い。図１の説明では省略したが、フレームパッキング情報は、IDを持って複数設定することが可能である。このIDはMPEG-４ AVCのFrame_packing_arrangement SEIにおけるFrame_packing_arrangement_idに対応する。このID毎に、フレームパッキング情報格納タイプを設定できても良い。このようにすることで、PMTパケットのフレームパッキング情報ディスクリプタを毎回解析しなくても、一度、解析できれば、それを使い続けることが出来る。（3D映像を格納するデータフォーマットの変形例）
次に、本実施の形態に係る3D映像を格納するデータフォーマットの変形例について図面を参照しながら説明を行う。
再生装置において、3D映像から2D映像への切り替え、2D映像から3D映像への切り替えなどの表示切替処理には、処理時間を伴うケースがある。例えば、HDMIなどでテレビと接続をしている場合には、2D映像と3D映像間の切り替え時に、HDMIの再認証が発生するケースがある。この場合には、切り替え処理の間には、映像が正しく再生できないという問題が発生する。そこで、以下のケースではその課題をかんがみ、再生装置における切り替え時間を適切に制御することで、コンテンツ製作者の期待通りの再生を実現可能とする。
図１６上段は、TSパケット列と再生するビデオフレーム列との関係を示す図である。ビデオフレーム列は、PTS５５８００００まではSide-by-Sideの3D映像再生区間であり、PTS５５８００００からは2D映像再生区間となっている。この場合に、TSパケット内のPMTパケットに含まれるフレームパッキング情報ディスクリプタの構成が上部の(1)から(4)に記載されている。(1)はSide-by-Side区間を示すディスクリプタであり、(2)(3)(4)は2D区間を示すディスクリプタである。ここで、前述したように、多重化されたTSパケットがデコーダに到着する時刻と、ビデオの表示時刻には（A）で示すように時間のギャップが存在する。具体的には、（２）のディスクリプタが2Dであると通知する時刻では、まだビデオ表示時刻においては、Side-By-Sideを表示している区間となる。よって、再生装置が、PMTパケットが到着する時刻において、PMTパケット内のフレームパッキング情報ディスクリプタを参照して、表示処理を行ってしまうと、ギャップ（A）の時間で、表示切替処理が行われ、ギャップ（A）は正しく3D映像として再生できなくなる。
そこで、図１６下段のように、フレームパッキング情報ディスクリプタに「処理優先度」を格納する。この「処理優先度」は、PMTのフレームパッキング情報ディスクリプタを優先して処理することを示す「ディスクリプタ優先」と、ビデオストリームに格納されるフレームパッキング情報を優先して処理することを示す「ビデオ優先」の2種類が用意される。処理優先度が、「ディスクリプタ優先」である場合には、再生装置は、PMTに含まれるフレームパッキング情報ディスクリプタを優先して、表示の切り替え処理を行う。PMTパケットが到着して処理を行うことで、ギャップ（A）の中で表示切替処理を行う。この場合の再生遷移を図１６下段下部の再生遷移Xで示している。このようにすることで、Side-by-Sideの再生区間の終端は表示切替処理により正しく再生できないが、その代わりに、2D再生区間は先頭から正しく再生することが出来る。
処理優先度が、「ビデオ優先」である場合には、再生装置は、ビデオに含まれるフレームパッキング情報を優先して、表示の切り替え処理を行う。PMTパケットが到着しても表示切り替え処理を行わず、ビデオストリームの表示時刻のタイミングから表示切替処理を行う。この場合には、ギャップ（A）においては正しくデータの再生が行われ、PTS５５８００００の2D映像に遷移した時点から区間(B)を使って表示切り替え処理を行う。この場合の再生遷移を図１６下段下部の再生遷移Yで示している。このようにすることで、2D再生区間の先頭部分は表示切替処理により正しく再生できないが、Side-by-Side再生区間の終端部分は正しく再生できる。
このように処理優先度を設けることによって、再生装置に、コンテンツ製作者の意図を反映させて表示切り替え処理の時刻を制御できる。図１６の例においては、コンテンツ製作者の意図において、2D映像の再生を優先させる場合には、処理優先度を「ディスクリプタ優先」に設定し、Side-by-Sideの3D映像の再生を優先させる場合には、処理優先度を「ビデオ優先」に設定すればよい。なお、処理優先度によって表示切替処理が行われる区間には、黒映像など無意味な映像を格納するようにしてもよい。その区間は、図１６の例では、処理優先度が「ディスクリプタ優先」の場合のギャップ（A）であり、処理優先度が「ビデオ優先」の場合の（B）区間である。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
なお、フレームパッキング情報ディスクリプタには処理優先度ではなく、図１７に示すように表示切替開始時刻を設定するようにしてもよい。このように構成することで、より正確に表示処理の開始時間を制御することが出来る。
以上が、本実施の形態に係る3D映像を格納するデータフォーマットの変形例の説明である。（3D映像を２本のビデオストリームで構成する場合のデータフォーマット）
次に、本実施の形態に係る3D映像を２本のビデオストリームで構成する場合のデータフォーマットについて図面を参照しながら説明を行う。
フレーム互換方式の3D映像を例にとって説明したが、図１８に示すように左目映像と右目映像を別々のビデオストリームとして、１本のトランスポートストリームに格納するようにして、2D映像は左目、右目のどちらかの映像を再生し、3D映像は左目、右目の両方を再生する、という構成にしてもよい。
図１９は、図１８の構成における左目/右目映像のビデオストリームのフレームを表示順に並べた図である。図１９上段のように2D映像と3D映像の再生区間が存在するケースにおいて、左右の映像両方に、2D映像を格納すれば、3D映像と2D映像のシームレスな接続を実現できる。しかし、この場合には、片方のビデオフレーム列は冗長なデータとなる。できるだけ高画質な2D映像を実現するには、図１９下段のように片方のビデオフレーム列のみに2D映像を格納して、もう一方のビデオフレーム列には映像を格納しないことが好ましい。その方が、2D映像の符号化に多くのビットレートを確保することが出来る。
そこで、トランスポートストリームに多重化されるビデオストリームの2D再生区間と3D再生区間を判別できるように、図２０のように3D再生情報ディスクリプタを用意する。3D再生情報ディスクリプタは、PMTパケットに格納される。3D再生情報ディスクリプタには、再生方式と開始PTSが用意されている。再生方式は、2D再生か、3D再生かを示す識別子であり、開始PTSは、該当再生区間がどのフレームから始まるのかを示すための時刻情報である。3D再生情報ディスクリプタ（A）は、PTS１８００００から3D再生区間が始まることを示し、3D再生情報ディスクリプタ（B）は、PTS５５８００００から2D再生区間が始まることを示し、3D再生情報ディスクリプタ（C）は、PTS１０９８００００から3D再生区間が始まることを示す。3D再生装置は、この情報を参照することにより、どこが3D再生なのか、2D再生なのかを判別できるため、2D映像再生区間においては、左目ビデオフレーム列のみをデコードして表示を行うことができ、この間は右目ビデオフレーム列にデータを格納しなくても良くなり、左目ビデオフレーム列の符号化にビットレートを多く確保することが出来る。
なお、どちらのビデオストリームを2D映像として再生するかを示すために、3D再生情報ディスクリプタには、2D映像として再生を行うビデオのPIDを指定できるようにしても良い。ここで、2D映像として再生を行うビデオストリームをベースビデオストリーム、3D映像としてのみ再生を行うビデオストリームを拡張ビデオストリームと以降呼ぶことにする。PIDで指定するのではなく、ベースビデオは通常のストリームタイプを使い拡張ビデオは特殊なストリームタイプが設定されるとしても良い。
なお、3D再生情報ディスクリプタは、ベースビデオストリームの補足データや拡張領域に格納されていてもよい。再生装置による表示切替の準備を前もって行うために、該当の2D再生区間(B)のビデオストリームではなく、その前にある3D再生区間(A)に格納されていても良い。
なお、図２０において、拡張ビデオが存在しない2D再生区間（B）の最終ビデオフレームには、ビデオフレームがなくなる旨をシグナリングする情報が格納されていても良い。例えば、EndOfSequenceなどである。再生装置は、デコード時にこの信号を受け取れば、そこで、拡張ビデオがなくなることが分かり、2D映像再生に遷移することが可能となる。
なお、2D再生区間においては、ベースビデオストリームに2D映像を格納しておき、拡張ビデオストリームも用意しておくが、2D映像ではなく、例えば黒映像など低ビットレートで実現でき、また、ユーザに2D再生を促すメッセージを表示する映像を格納しておくようにしておき、3D再生情報ディスクリプタを拡張ビデオストリームの補足データや拡張領域に格納されているようにしても良い。この場合、再生装置は、拡張ビデオストリームに格納される3D再生情報ディスクリプタを参照して、2D再生であると判別できる場合には、ベースビデオストリームのみを使って2D映像の再生を行う。再生装置が3D再生情報ディスクリプタを処理できない場合には、ユーザに2D再生を促すメッセージが表示されるため、ユーザに2D映像再生処理を促すことが出来る。2D再生区間における拡張ビデオのビットレートは低くてすむため、その分、ベースビデオにビットレートを割り当てることが出来る。
なお、3D再生情報ディスクリプタがPMTパケットに格納される場合には、該当PMTパケットの再生装置への到着時刻とビデオストリームの表示時刻にギャップがあるため、このギャップにおいては、黒映像のような無意味な映像を格納しても良い。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
なお、3D再生情報ディスクリプタの再生方式が2Dの場合には、HDMIの再認証を避けるために、該当の2D再生区間においてはフレームを複製して3Dと同じフォーマット（フレームレートなど）になるように、2Dのフレームをダブリングして再生するようにしても良い。
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、PMTパケットのディスクリプタには、どのビデオストリームとペアで3D映像を構成するかを示す情報が格納されている。例えば、図１８の例では、左目映像はPIDが０x１０１１、右目映像はPIDが０x１０１５であり、この場合には、そのディスクリプタには、左目映像のPID=０x１０１１で、右目映像のPID=０x１０１５であるという情報が記載される。もしくは、該当ビデオストリームに対応するストリームディスクリプタに、反対側のビューのPIDが記載されてもよい。例えば、図１８の例では、左目映像のビデオストリームに対応するストリームディスクリプタに、右目映像ビデオストリームのPIDとして０x１０１５が格納され、右目映像のビデオストリームに対応するストリームディスクリプタに、左目映像ビデオストリームのPIDとして０x１０１１が格納される。なお、左右のペアを識別するディスクリプタとしては、それぞれのビデオストリームに付加されるディスクリプタに、ペアとなる相手側のPIDが格納されても良い。なお、左右のペアを識別するディスクリプタとしては、MPEG-２システム規格に定義されるヒエラルキーディスクリプタを使っても良い。この場合には、新しいヒエラルキータイプを用意しても良い。
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、3D再生での早送りなどの特殊再生の効率化のために、ピクチャタイプを図２１下段のように制約しても良い。ベースビデオストリームのビデオアクセスユニットがIピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもIピクチャで構成する。ベースビデオストリームのビデオアクセスユニットがPピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもPピクチャで構成する。図２１上段はその制約をしていない場合であるが、この場合には、IピクチャとPピクチャを選んで特殊再生を行う再生装置では、ベースビデオのビデオアクセスユニットがPピクチャ（P３）の場合に、同一時刻の拡張ビデオのビデオアクセスユニットはBピクチャ（B３）なので、この場合、拡張ビデオの方は、前に存在するPピクチャ（P２）までデコードしなければならず負荷が大きくなる。図２１下段のように制約することで、該当時刻のピクチャのみをデコードすればよいので処理負荷が図２１上段に比較して小さくすむ。
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、二つのストリームにおけるフレームレート、解像度、アスペクト比などの属性は同じにすると制約しても良い。このように構成することで、片方の属性情報のみを解析すればよいので処理が楽になる。
なお、図１８のような２つのビデオストリームで3D映像を伝送する方式の場合には、図２２のように多重化の制約を追加しても良い。この場合、図２２において、B#NStartはGOP#N先頭のベースビデオのTSパケットであり、E#NStartは、GOP#N先頭の拡張ビデオのTSパケットであり、B#N+１StartはGOP#N+１先頭のベースビデオのTSパケットであり、E#NEndは、GOP#N終端の拡張ビデオのTSパケットである。この場合、図２２上段のような構成の場合には、ベースビデオ単位で飛び込み再生を行うためにB#NStartから飛び込み再生をしようとしても、対応する拡張ビデオのパケットを読み込めない。また、ベースビデオのGOP単位で編集を行う場合にも、ベースビューのGOPの範囲に同一時刻の拡張ビデオが入らない。この場合、再生装置や編集装置は、ベースビデオだけでなく拡張ビデオのGOP構成もチェックする必要があり処理負荷が大きい。そこで、図２２下段のように、GOP#N先頭のベースビデオのTSパケットは、GOP#N先頭の拡張ビデオのTSパケットよりも前に来るように構成し、GOP#N+１先頭のベースビデオのTSパケットは、GOP#N終端の拡張ビデオのTSパケットよりも後ろに来るように構成する。このようにすることで、飛び込み再生や編集をベースビデオ単位で行うことが出来る。
なお、図１８の構成では、拡張ビデオは、左目もしくは右目映像を指すとしたが、2D映像の奥行きを映像化したデプスマップでもよい。デプスマップの場合は、3Dの再生方式をディスクリプタで指定できるとしてもよい。（データ作成装置）
次に本実施の形態に係るデータ作成装置およびデータ作成方法について図２３を参照しながら説明を行う。
データ作成装置は、ビデオエンコーダ２３０１、多重化処理部２３０２、データ格納方法決定部２３０３から構成されている。
データ格納方法決定部２３０３は、作成するトランスポートストリームのデータフォーマットを指定する。例えば、図１４の例に示す映像フォーマットの場合には、PTS１８００００から５５８００００まではSide-by-Side再生区間、PTS５５８００００から１０９８００００までは2D再生区間、PTS１０９８００００以降まではTopBottom再生区間と指定する。この再生方式の情報と、時刻情報およびフレームパッキング情報格納タイプをビデオエンコーダ２３０１に指定する。
ビデオエンコーダ２３０１は、左目映像の非圧縮のビットマップなどの画像イメージと、右目映像の非圧縮のビットマップなどの画像イメージからMPEG４-AVCやMPEG２などの圧縮方式に従い、データ格納方法決定部２３０３の指定に従って符合化を行う。データ格納方法決定部２３０３が、「Side-by-Side方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを左右に１フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。データ格納方法決定部２３０３が、「2D映像」と指定する場合には、フルHDの2D映像の画像イメージ圧縮符合化を行う。データ格納方法決定部２３０３が、「TopBottom方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを上下に１フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。そして、本実施の形態で説明した映像フォーマットに従って、各方式に従ったフレームパッキング情報を補足データに格納する。格納方法は、データ格納方法決定部２３０３から指定されるフレームパッキング情報格納タイプにしたがう。圧縮した映像ストリームはビデオストリームとして出力される。
多重化処理部１７０２は、ビデオエンコーダ２３０１から出力されたビデオストリームや、オーディオ、字幕などのストリームとともに、データ格納方法決定部２３０３の指示に従い多重化を行い、トランスポートストリームを作成して出力する。データ格納方法決定部１７０３が、「Side-by-Side方式の3D映像」と指定する場合には、トランスポートストリームへの多重化を行うとともに、本実施の形態で説明した映像フォーマットに従って、PMTパケットに「フレームパッキング情報ディスクリプタ」を格納して、トランスポートストリームを出力する。
以上が本実施の形態に係るデータ作成装置およびデータ作成方法である。
（実施の形態２）
実施の形態２として、上述のディスクリプタの具体的な形態について説明する。
3D番組の放送は、複数のビデオストリームを１本のトランスポートストリームに多重化して、放送局がかかるトランスポートストリームを各世帯のテレビ表示装置に供給することでなされる。この際、トランスポートストリームが格納するビデオストリームの組み合わせには、様々なパターンが存在する。本実施の形態にかかるディスクリプタは、かかる様々なストリーム構成において、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするものである。
図２５は、2D再生および3D再生時の左目用（Ｌ）映像として用いられるビデオに加え、右目用（Ｒ）映像のビデオを格納するトランスポートストリーム構成（2D/L + R）を示す図である。本図に示される例において、トランスポートストリームは、2D再生並びに3D再生時の左目用映像として用いられるビデオストリーム（ベースビデオストリーム）、および右目用のビデオストリーム（拡張ビデオストリーム♯１）を格納している。
ベースビデオストリーム、拡張ビデオストリームはそれぞれ、PMTに固有のストリームタイプが定義される。また、ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
2Dテレビ、または3Dテレビの2Dモードにおいては、2D/Lのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、2D/Lのビデオストリーム、およびRのビデオストリームを用いて、3D再生を行う。
上記の2D/L + Rのストリーム構成の他に、2Dのビデオとは別に、左目用（Ｌ）のビデオ、および右目用（Ｒ）のビデオを２本格納するトランスポートストリームの構成（2D + L + R）がある。
図２６は、2D + L + Rのトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、左目用のビデオストリーム（拡張ビデオストリーム♯１）、および右目用のビデオストリーム（拡張ビデオストリーム♯２）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、左目用のビデオストリーム、および右目用のビデオストリームを用いて、3D再生を行う。
このように、再生装置が受信するトランスポートストリームには、様々なストリーム構成が考えられる。このような状況下において、再生装置が、2D映像、3D映像を構成するビデオストリームを特定し、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするため、本実施の形態では、以下に示すディスクリプタをトランスポートストリームに格納する。
このディスクリプタには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorがある。
以下では、上記の３つのディスクリプタの具体的内容について説明する。まず、3D_system_info_descriptorについて説明する。
3D_system_info_descriptorは、PMTパケット内の番組情報長（program_info_length）フィールドに続く記述子フィールド（プログラムループ）に格納される。すなわち、図１０においてディスクリプタ♯１〜♯Ｎに格納される。
3D_system_info_descriptorは、トランスポートストリームが提供する3D方式を示す。具体的には、2D再生、フレーム互換方式による3D再生、またはサービス互換方式による3D再生のいずれかの再生方式を示す。また、3D_system_info_descriptorは、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す。
図２７は、3D_system_info_descriptorの構造を示す図である。
3D_playback_typeは、トランスポートストリームが提供する再生方式を示す識別子である。図２８は、3D_playback_typeに設定される値を示す図である。本図に示されるように、値が０の場合は、本トランスポートストリームにより2D再生が提供されることを示し、値が０１の場合は、フレーム互換方式による3D再生が提供されることを示し、値が１０の場合は、サービス互換方式による3D再生が提供されることを示す。2D + L + Rや2D/L + Rのストリーム構成の場合は、１０の値が設定される。
このように、再生装置は、3D_playback_typeを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
2D_independent_flagは、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す識別子である。値が０の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されていることを示す。値が１の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが独立して存在することを示す。2D/L + Rのストリーム構成の場合は、０の値が設定される。2D + L + Rのストリーム構成の場合は、１の値が設定される。
このように、再生装置は、2D_independent_flagを参照することで、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合（3D_playback_typeに設定される値が０１、または１０の場合）において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか識別することができる。
2D_view_flagは、3Dを構成するビデオストリームのうち、どちらを2D再生に用いるかを示す識別子である。3Dを構成するビデオストリームがフレーム互換方式である場合、2D_view_flagは、左目用画像、右目用画像のどちらを2D再生に用いるかを示す。3Dを構成するビデオストリームがサービス互換方式の場合、2D_view_flagは、ベースビデオストリーム、拡張ビデオストリームのどちらを2D再生に用いるかを示す。
以上が、3D_system_info_descriptorについての説明である。続いて、3D_service_info_descriptorについて説明する。
3D_service_info_descriptorは、PMTパケット内のＥＳ情報長（ES_info_length）フィールドに続く記述子フィールド（ＥＳループ）に格納される。すなわち、図１０においてストリームディスクリプタ♯１〜♯Ｎに格納される。
3D_service_info_descriptorは、3D再生を実現するための補足情報を示す。具体的には、ビデオストリームが左目用のビデオであるか右目用のビデオであるかを示す。ただし、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。3D再生に用いられないビデオストリームだからである。
図２９は、3D_service_info_descriptorの構造を示す図である。
is_base_videoは、ビデオストリームが、ベースビデオストリームであるか、拡張ビデオストリームであるかを示す識別子である。値が１の場合は、ビデオストリームがベースビデオストリームであることを示す。値が０の場合は、ビデオストリームが拡張ビデオストリームであることを示す。
leftview_flagは、ビデオストリームが左目映像であるか、右目映像であるかを示す識別子である。値が１の場合は、ビデオストリームが左目映像であることを示す。値が０の場合は、ビデオストリームが右目映像であることを示す。
再生装置は、このフラグを参照することで、３Ｄ映像として、テレビに表示する場合に、ビデオストリームを左目・右目どちらの視点映像として出力するかを識別することができる。なお、leftview_flagは、ビデオストリームがベースビデオストリームである場合、拡張ビデオストリームである場合の両方に設けられる。
以上が、3D_service_info_descriptorについての説明である。続いて、3D_combi_info_descriptorについて説明する。
3D_combi_info_descriptorは、PMTパケット内の番組情報長（program_info_length）フィールドに続く記述子フィールド（プログラムループ）に格納される。すなち、図１０においてディスクリプタ♯１〜♯Ｎに格納される。
3D_combi_info_descriptorは、2D再生、3D再生に用いるビデオストリームの対応関係を示す。具体的には、トランスポートストリームを構成するビデオストリームのPIDを示す。
図３０は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
Left_view_PID/tagは、左目用映像のビデオストリームのPIDを示す。
Right_view_PID/tagは、右目用映像のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。2Dモード／3Dモードのそれぞれで多重分離に使用すべきパケット識別子が１つのディスクリプタに記載されているから、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができ、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + L + Rや2D/L + Rのストリーム構成におけるディスクリプタの説明である。
続いて、2Dのビデオに加えて、Side-by-Side方式のビデオを格納するトランスストリーム構成（2D + Side-by-Side）におけるディスクリプタの内容について説明する。
図３１は、2D + Side-by-Sideのトランスポートストリームのストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、およびSide-by-Side方式のビデオストリーム（拡張ビデオストリーム♯１）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、Side-by-Side方式の拡張ビデオストリーム♯１を用いて、3D再生を行う。
3D_system_info_descriptorは、図２７に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。再生装置は、このディスクリプタを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
図３２は、3D_service_info_descriptorの構造を示す図である。図２９に示す2D + L + Rのストリーム構成におけるディスクリプタに加えて、frame_packing_arrangement_typeが設けられている。
frame_packing_arrangement_typeは、ビデオストリームが、Side-by-Side方式であるか否かを示す識別子である。値が１の場合は、ビデオストリームがSide-by-Side方式であることを示す。値が０の場合は、TopBottom方式であることを示す。
再生装置は、この識別子を参照することにより、拡張ビデオストリームが、Side-by-Side方式であるか否かを識別でき、格納方式に対応した3D再生を行うことができる。
なお、上記の説明では、Side-by-Side方式の場合と、TopBottom方式の場合におけるframe_packing_arrangement_typeの値を設定したが、他に左目用映像を奇数ラインに、右目用映像を偶数ラインにインターリーブして配置するラインバイライン方式、左右の映像を合成し１フレームの中に市松模様のように上下左右交互に映像を格納するチェッカーボード方式における値をframe_packing_arrangement_typeに設定してもよい。
なお、2D再生にのみに用いられるビデオストリームは、3D再生に用いられないため、3D_service_info_descriptorを格納しない。
図３３は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
Frame_compatible_3D_PID/tagは、フレーム互換方式のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるフレーム互換方式のビデオストリーム、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + Side-by-Sideのストリーム構成におけるディスクリプタの説明である。
続いて、2D再生のみに用いられるビデオに加えて、MVCにより圧縮符号化された２本のビデオ（ベースビュービデオストリーム、ディペンデントビューストリーム）を格納するトランスポートストリーム構成（2D + MVC）におけるディスクリプタの内容について説明する。
図３４は、2D + MVCのトランスポートストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム（ベースビデオストリーム）、MVCのベースビューストリーム（拡張ビデオ♯１）、およびMVCのディペンデントビューストリーム（拡張ビデオ♯２）を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯１、拡張ビデオストリーム♯２はMVCにより動画圧縮符号化されている。
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、MVCにより圧縮符号化された拡張ビデオストリーム♯１、拡張ビデオストリーム♯２を用いて、3D再生を行う。
3D_system_info_descriptor、3D_service_info_descriptorは、図２７、図２９に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。なお、2D + L + Rのストリーム構成の場合と同様に、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。
図３５は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
MVC_base_view_PID/tagは、MVCのベースビューストリームのPIDを示す。
MVC_dept_view_PID/tagは、MVCのディペンデントビューストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるMVCのビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + MVCのストリーム構成におけるディスクリプタの説明である。
続いて、2D再生、および3D再生時のL映像として用いられるビデオに加え、複数視点のR映像のビデオを格納するトランスポートストリーム構成（2D + R1 + R2）におけるディスクリプタの内容について説明する。
図３６は、2D + R1 + R2のトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2D再生、および3D再生時のL映像として用いられるビデオストリーム（ベースビデオストリーム）、第１のR映像のビデオストリーム（拡張ビデオストリーム♯１）、および第２のR映像のビデオストリームを格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯１、および拡張ビデオストリーム♯２は、AVCにより動画圧縮符号化されている。
上記トランスポートストリームには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、ベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、ベースビデオストリームと拡張ビデオストリーム♯１、またはベースビデオストリームと拡張ビデオストリーム♯２を用いて、3D再生を行う。
図３７は、3D_system_info_descriptorの構造を示す図である。図２９に示す2D + L + Rのストリーム構成におけるディスクリプタにおいて、2D_independent_flagの代わりに、camera_assingment_typeが設けされている。
camera_assingment_typeは、トランスポートストリームに格納されるビデオストリームに対するカメラの配置タイプを示す識別子である。値が１の場合は、トランスポートストリームがセンター（Ｃ）のカメラ視点のビデオストリームから構成されることを示す。値が２の場合は、トランスポートストリーム
が左視点（Ｌ）と右視点（Ｒ）のカメラ視点のビデオストリームから構成されることを示す。値が３の場合は、トランスポートストリームがセンター（Ｃ）、左視点（Ｌ）、および右視点（Ｒ）のカメラ視点のビデオストリームから構成されることを示す。値が４の場合は、トランスポートストリームが左視点（Ｌ）、第１右視点（Ｒ１）、および第２右視点（Ｒ２）のカメラ視点のビデオストリームから構成されることを示す。
再生装置は、この識別子を参照することで、トランスポートストリームを構成するビデオストリームのカメラの割り当てを識別することができる。
図３８は、3D_service_info_descriptorの構造を示す図である。図３１に示す2D + L + Rのストリーム構成におけるディスクリプタに
おいて、camera_assingmentが新たに設けられている。
camera_assingmentは、ビデオストリームの左目、センター、右目といったカメラの位置情報を示す識別子である。
再生装置は、この識別子を参照することで、ビデオストリームに対応するカメラ配置を識別することができる。
図３９は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生、および3D再生時のL映像として用いられるビデオストリームのPIDを示す。
Right1_view_PID/tagは、第１のR映像のビデオストリームのPIDを示す。
Right2_view_PID/tagは、第２のR映像のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、2D再生、および3D再生時のL映像として用いられるビデオストリーム、複数のR視点のビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能となる。
以上が、2D + R1 + R2のストリーム構成におけるディスクリプタの説明である。
以上、トランスポートストリームの構成のパターンを説明したが、上述のディスクリプタをトランスポートストリームに格納することにより、トランスポートストリームにおいて様々なストリーム構成が可能となる。再生装置は、ディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定し、2D再生、3D再生のシームレスな切り替え処理が可能となる。
なお、上述のトランスポートストリームの構成パターンにおいては、AVCにより圧縮符号化した拡張ビデオストリームを格納する場合を説明したが、これに限られない。AVC以外の動画圧縮符号化技術により圧縮符号化した拡張ビデオストリームを格納してもよい。例えば、次世代の動画圧縮符号化技術であるH.265により、拡張ビデオストリームを圧縮符号化してもよい。
また、上記では、3D_combi_info_descriptorに、3D映像を構成するビデオストリームを示す情報を格納したが、L及びRのビデオストリームに対応するストリームディスクリプタに、3D再生において組合せの相手側となる視点のビデオストリームのPIDを記載してもよい。
また、ベースストリームと拡張ストリームにクローズドキャプション（Closed Caption）の字幕データが含まれる場合、2D再生または3D再生でどちらデータを使うかを示す識別子をトランスポートストリームのPMTに格納してもよい。
再生装置は、この識別子を参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。
また、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorは、PMTパケット内に格納されるとしたが、格納位置はこれに限られない。トランスポートストリームのいずれかの領域に格納されていればよい。例えば、PMTパケット以外の、各ビデオストリームの補足データ等に格納されてもよい。
また、上記では、3D_combi_info_descriptorに、ビデオストリームのPIDを設定することにより、2D再生に用いられるビデオストリーム、3D再生に用いられるビデオストリームを特定したが、これに限定されない。3D_combi_info_descriptorには、多重化されるビデオストリームを特定できる情報が含まれていればよい。
例えば、MPEG-２システム規格に定義されるヒエラルキーディスクリプタを設定することにより、各ビデオストリームを特定してもよい。具体的には、hierarchy_descriptorに新しいhierarchy_typeを定義し、3D_combi_info_descriptorからは、hierarchy_layer_indexを使って、ビデオストリームを指定することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームの各ビデオストリームを特定する。
次に、本実施の形態にかかるトランスポートストリームのデータ作成装置について説明する。
図４０は、本実施の形態にかかるデータ作成装置４０００の内部構成を示す図である。本図に示すように、データ作成装置４０００は、ビデオエンコーダ４００１、多重化処理部４００２、データ格納方法決定部４００３、ユーザーインターフェイス部４００４を含んで構成される。
ユーザーインターフェイス部４００４は、データ作成者に対し、キーボード、マウス、その他のコントローラ等を用いたデータ入力を提供する。データ作成者は、ユーザーインターフェイス部４００４を用いて、作成するトランスポートストリームのストリーム構成パターンや圧縮符号化方式を指定する。
データ格納方法決定部４００３は、ユーザーインターフェイス部４００４によるユーザ指定に応じて、トランスポートストリームのストリーム構成やビデオストリームの圧縮符号化方式を決定する。
ビデオエンコーダ４００１は、3D映像原画を、MPEG-２、AVC、MVC、H.265などの圧縮符号化方式により、動画圧縮符号化することにより、データ格納方法決定部４００３に指定されたビデオストリームを作成する。
多重化処理部４００２は、データ格納方法決定部３９０３の指示に従い、作成するトランスポートストリームのストリーム構造に応じた、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptor、の各ディスクリプタを作成する。そして、ビデオエンコーダ４００１から出力されたビデオストリーム、オーディオ、字幕などのストリームとともに、各ディスクリプタを、データ格納方法決定部４００３の指示に従い多重化することにより、トランスポートストリームを作成する。
作成したトランスポートストリームは、外部の記録媒体に記録する。また、外部の送信部により、放送またはネットワークを経由してデータを送信する
以上がデータ作成装置の構成についての説明である。続いて、このデータ作成装置の動作について説明する。
図４１は、データ作成装置４０００の符号化処理の流れを示すフローチャートである。
まず、データ格納方法決定部４００３は、トランスポートストリームを構成するビデオストリームのパターンを決定する（ステップＳ４１０１）。具体的には、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式を決定する。ここでは、図２５、図２６、図３１、図３４、図３７に示したストリーム構成のパターンが考えられるが、Side-by-Sideのビデオストリームのみを格納するストリーム構成(2D/SBS)、その他のストリーム構成であってもよい。
次に、ビデオエンコーダ４００１は、3D原画を圧縮符号化し、ビデオストリームを作成する（ステップＳ４１０２）。この際、ビデオエンコーダ４００１は、データ格納方法決定部４００３による、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式の指定に基づき圧縮符号化方式を決定し、3D映像原画の圧縮符号化を行う。
次に、多重化処理部４００２は、データ格納方法決定部４００３が指定するトランスポートストリームのストリーム構成に基づき、ビデオストリームを各フレームに格納する（ステップＳ４１０３）。
次に、多重化処理部４００２は、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを作成し、トランスポートストリームのＰＭＴ内に格納する（ステップＳ４１０４）。この際、多重化処理部４００２は、データ格納方法決定部４００３の指定するトランスポートストリームのストリーム構成に基づき、各ディスクリプタを作成する。
以上が、データ作成装置４０００の動作について説明である。
次に、本実施の形態にかかるトランスポートストリームの再生装置である3Dデジタルテレビについて説明する。
図４２は、本実施の形態にかかる3Dデジタルテレビ４２００の内部構成を示す図である。本図に示されるように、3Dデジタルテレビ４２００は、チューナ４２０１、ＮＩＣ４２０２、ユーザーインターフェイス部４２０３、モード記憶部４２０４、多重分離部４２０５、表示判定部４２０６、映像デコード部４２０７、フレームバッファ（１）４２０８、表示処理部４２０９、フレームバッファ（Ｌ）４１１０、フレームバッファ（Ｒ）４１１２、スイッチ４１１１、表示部４１１３を含んで構成される。
チューナ４２０１は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
ネットワークインターフェイスカード（ＮＩＣ）４２０２は、ＩＰネットワークと接続されており、外部から入力されたトランスポートストリームを受信する機能を有している。
ユーザーインターフェイス部４２０３は、チャネル選択操作、2Dモード／3Dモードの選択操作などをユーザから受け付ける。
モード記憶部４２０４は、カレントの表示モードが、2Dモード、3Dモードの何れであるかを示すフラグを格納している。
多重分離部４２０５は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリーム、グラフィクスストリームなどに分離し、ビデオストリームを映像デコード部４２０７へ出力する機能を有する。
また、多重分離部４２０５は、受信したトランスポートストリームから、PSIなどのシステムパケットを抽出し、PMTパケットから、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを取得し、表示判定部４２０６に通知する。
ビデオストリームのデマックスにおいては、表示判定部４２０６からカレントの表示モードにおいてデマックスすべきTSパケットのPIDの指定を受け付ける。多重分離部４２０５は、指定されたPIDのTSパケットを分離することで、ビデオストリームを取得する。
なお、多重分離部４２０５は、チューナ４２０１やＮＩＣ４２０２からトランスポートストリームを読み出すことに加えて、記録媒体からトランスポートストリームを読み出すこともできる。
表示判定部４２０６は、多重分離部４２０５から通知される、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを参照して、トランスポートストリームのストリーム構成を把握する。そして、モード記憶部４２０４が示すカレントの表示モードにおいて、デマックスすべきTSパケットのPIDを多重分離部４２０５に通知する。
また、表示判定部４２０６は、３Ｄの再生方式がフレーム互換方式の場合において、3D_system_info_descriptorの2D_view_flagや、3D_service_info_descriptorのframe_packing_arrangement_typeを参照して、表示処理部４２０９に対して、左目用画像、右目用画像のどちらを2D再生に用いるか、ビデオストリームが、Side-by-Side方式であるか等を通知する。
映像デコード部４２０７は、ビデオストリームを多重分離部４２０５から受け取ると、受け取ったストリームのデコードを行う。映像デコード部４２０７は、復号化されたフレームをフレームバッファ（１）４２０８へ書き込む。
フレームバッファ（１）４１０８は、映像デコード部４２０７で復号化されたフレームを格納するための領域を有する。
表示処理部４２０９は、フレームバッファ（１）４２０８に格納されるビデオストリームがSide-by-Side形式の場合において、クロッピング情報に従ったクロッピング制御、スケーリング情報に従ったスケーリング制御を実行する。クロッピング処理により得られた左目用フレーム、右目用フレームは、フレームバッファ（Ｌ）、フレームバッファ（Ｒ）に格納する。
また、表示処理部４２０９は、フレームバッファ（１）４２０８に格納されるビデオストリームが、左目用のビデオストリーム、右目用のビデオストリームの場合においては、ビデオストリームをフレームバッファ（L）４２１０、フレームバッファ（R）４２１２に振り分ける。
フレームバッファ（L）４２１０、フレームバッファ（R）４２１２は、表示処理部４２０９から出力されるフレームを格納するための領域を有する。
スイッチ４２１１は、フレームバッファ（L）４２１０、フレームバッファ（R）４２１２に書き出されたフレーム画像を選択して表示部に転送する。
表示部４２１３は、スイッチ４２１１から転送されたフレームを表示する。表示部４２１３は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッターを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
以上が3Dデジタルテレビ４２００の構成についての説明である。
続いて、この3Dデジタルテレビ４２００の動作について説明する。図４３は、3Dデジタルテレビ４２００による番組の再生処理の流れの一例を示すフローチャートである。
本図に示されるように、多重分離部４２０５は、トランスポートストリームのＰＭＴを解析し、ディスクリプタを抽出する（ステップＳ４３０１）。
表示判定部４２０６は、多重分離部４２０５により抽出された3D_system_info_descriptorの3D_playback_typeを参照し、受信したトランスポートストリームの再生方式を判定する（ステップＳ４３０２）。
再生方式がサービス互換方式である場合（ステップＳ４３０２）、表示判定部４２０６は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する（ステップＳ４３０３）。
2D_independent_flagの値が０の場合（ステップＳ４３０３、ＮＯ）表示判定部４２０６は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する（ステップＳ４３０４）。
トランスポートストリームのストリーム構成が2D/L + R1 + R2である場合（ステップＳ４３０５、ＹＥＳ）、3Dデジタルテレビ４２００は、後述する2D/L + R1 + R2のストリームの処理を行う（ステップＳ４３０６）。
トランスポートストリームのストリーム構成が2D/L + Rである場合（ステップＳ４３０５、ＮＯ）、3Dデジタルテレビ４２００は、後述する2D/L + Rのストリームの処理を行う（ステップＳ４３０７）。
2D_independent_flagの値が１の場合（ステップＳ４３０３、ＹＥＳ）表示判定部４２０６は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する（ステップＳ４３０８）。
トランスポートストリームのストリーム構成がMPEG2 + MVC(Base) +MVC(Dependent)である場合（ステップＳ４３１０、ＹＥＳ）、3Dデジタルテレビ４２００は、後述するMPEG2 + MVC(Base) +MVC(Dependent)のストリームの処理を行う（ステップＳ４３１１）。
トランスポートストリームのストリーム構成がMPEG2 + AVC + AVCである場合（ステップＳ４３０９、ＹＥＳ）、3Dデジタルテレビ４２００は、後述するMPEG2 + AVC + AVCのストリームの処理を行う（ステップＳ４３１２）。
再生方式がフレーム互換方式である場合（ステップＳ４３０２）、表示判定部４２０６は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する（ステップＳ４３１３）。
2D_independent_flagの値が０の場合（ステップＳ４３１３、ＮＯ）、3Dデジタルテレビ４２００は、後述する2D/SBSのストリームの処理を行う（ステップＳ４３１４）。
2D_independent_flagの値が１の場合（ステップＳ４３１３、ＹＥＳ）、3Dデジタルテレビ４２００は、後述する2D + SBSのストリームの処理を行う（ステップＳ４３１５）。
次に、ステップＳ４２１５の2D + SBSのストリームの処理の詳細について説明する。図４４は、2D + SBSのストリームの処理の流れを示すフローチャートである。
本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４４０１）。
カレントモードが２Ｄモードである場合（ステップＳ４４０１）、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるＴＳパケットを分離し、2Dビデオストリームを抽出する（ステップＳ４４０２）。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４４０３）。
カレントモードが３Ｄモードである場合（ステップＳ４４０１）、表示判定部４２０６は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるＴＳパケットを分離し、ビデオストリームを抽出する（ステップＳ４４０４）。
表示判定部４２０６は、3D_service_info_descriptorのframe_packing_arrangement_typeを参照し、Side-by-Side形式で格納されているか判定する（ステップＳ４４０５）。
frame_packing_arrangement_typeがSide-by-Side形式である場合（ステップＳ４４０５、ＹＥＳ）、表示処理部４２０９は、左右に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う（ステップＳ４４０６）。
frame_packing_arrangement_typeがSide-by-Side形式でない場合（ステップＳ４３０５、ＮＯ）、TopBottom方式と特定し、表示処理部４２０９は、上下に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う（ステップＳ４４０７）。
以上が、ステップＳ４３１５の2D + SBSのストリームの処理の詳細についての説明である。続いて、ステップＳ４３１４の2D/SBSのストリームの処理の詳細について説明する。
図４５は、2D/SBSのストリームの処理の流れを示すフローチャートである。本図に示されるように、多重分離部４２０５は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるＴＳパケットを分離し、2D/SBSのビデオストリームを抽出する（ステップＳ４５０１）。
表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４５０２）。
カレントモードが２Ｄモードである場合（ステップＳ４５０２）、表示判定部４２０６は、3D_system_info_descriptor_の2D_view_flagを参照し、Side-by-Sideのフレームのうち、どちらを2D再生に用いるか判定する。
2D_view_flagが左目用画像を示す場合（ステップＳ４５０３、ＹＥＳ）、表示処理部４２０９は、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトすることで2D再生を行う（ステップＳ４５０５）。
2D_view_flagが右目用画像を示す場合（ステップＳ４５０３、ＮＯ）、表示処理部４２０９は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトすることで2D再生を行う（ステップＳ４５０４）。
カレントモードが３Ｄモードである場合（ステップＳ４５０２）、表示処理部４２０９は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトし（ステップＳ４５０６）、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトする（ステップＳ４５０７）。
3Dデジタルテレビ４２００は、クロップアウトした左目用画像、右目用画像を交互に表示部４２１３に出力することで3D再生を行う（ステップＳ４５０８）。
以上が、ステップＳ４３１４の2D/SBSのストリームの処理の詳細についての説明である。続いて、ステップ４３０７の2D/L + Rのストリームの処理の詳細について説明する。
図４６は、2D/L + Rのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４６０１）。
カレントモードが３Ｄモードである場合（ステップＳ４６０１）、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、およびRight_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリーム、Rのビデオストリームを抽出する（ステップＳ４６０２）。
そして、抽出した2D/Lビデオストリーム、Rのビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は3D再生を行う（ステップＳ４６０３）。
カレントモードが２Ｄモードである場合（ステップＳ４６０１）、多重分離部４２０５は、3D_combi_info_descriptorの2D_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリームを抽出する（ステップＳ４６０４）。
そして、抽出した2D/Lビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４６０５）。
以上が、ステップＳ４３０７の2D/L + Rのストリームの処理の詳細についての説明である。続いて、ステップ４３０６の2D/L + R1 + R2のストリームの処理の詳細について説明する。なお、図４６で示した2D/L + Rのストリームの処理における処理と同内容の処理については、同符号を付す。
図４７は、2D/L + R1 + R2のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４６０１）。
カレントモードが３Ｄモードである場合（ステップＳ４６０１）、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、Right1_view_PID/tagに示されるＴＳパケット、およびRight2_view_PID/tagに示されるＴＳパケットを分離し、2D/Lビデオストリーム、R1のビデオストリーム、R2のビデオストリームを抽出する（ステップＳ４７０１）。
そして、抽出した2D/Lビデオストリームと、R1のビデオストリームまたはR2のビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は3D再生を行う（ステップＳ４７０２）。
ステップＳ４６０４、４６０５については、図４６に示す2D/L + Rのストリームの処理における処理と同内容の処理であり、説明を略する。
以上が、ステップＳ４３０６の2D/L + R1 + R2のストリームの処理の詳細についての説明である。続いて、ステップ４３１２のMPEG2 + AVC + AVCのストリームの処理の詳細について説明する。
図４８は、MPEG2 + AVC + AVCのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４８０１）。
カレントモードが２Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する（ステップＳ４８０２）。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４８０３）。
カレントモードが３Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるＴＳパケット、およびRight_view_PID/tagに示されるＴＳパケットを分離し、左目用のビデオストリーム、右目用のビデオストリームを抽出する（ステップＳ４８０４）。
そして抽出した左目用のビデオストリーム、右目用のビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は３Ｄ再生を行う（ステップＳ４８０５）。
以上が、ステップＳ４３１２のMPEG2 + AVC + AVCのストリームの処理の詳細についての説明である。続いて、ステップ４３１１のMPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の詳細について説明する。
図４９は、MPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部４２０６は、モード記憶部４２０４のフラグを参照して、カレントモードが２Ｄモードであるか、３Ｄモードであるか判定する（ステップＳ４９０１）。
カレントモードが２Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する（ステップＳ４９０２）。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は2D再生を行う（ステップＳ４９０３）。
カレントモードが３Ｄモードの場合、表示判定部４２０６は、3D_combi_info_descriptorのMVC_base_view_PID/tagに示されるＴＳパケット、およびMVC_dept_view_PID/tagに示されるＴＳパケットを分離し、ベースビューストリーム、ディペンデントビューストリームを抽出する（ステップＳ４９０４）。
そして抽出したベースビューストリーム、ディペンデントビューストリームを映像デコード部４２０７でデコードし、ビデオ信号を表示部４２１３に出力することで、3Dデジタルテレビ４２００は３Ｄ再生を行う（ステップＳ４９０５）。
以上のように、本実施の形態によれば、トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができる。
（補足）
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
（ｂ）本発明は、上記各実施の形態に記載の画像処理装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
本発明にかかる符号化方法によれば、２Ｄ映像を構成するビデオストリーム、および３Ｄ映像を構成するビデオストリームを特定するディスクリプタをトランスポートストリームに格納することができる。トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができ、有益である。
１００ 再生装置
２００ 3D眼鏡
３００ 2Dデジタルテレビ
５０１ ビデオフレーム列
５０２ ビデオのPESパケット
５０３ ビデオのTSパケット
５０４ オーディオフレーム列
５０５ オーディオのPESパケット
５０６ オーディオのTSパケット
５０７ 字幕ストリーム
５０８ 字幕ストリームのPESパケット
５０９ 字幕ストリームのTSパケット
５１３ トランスポートストリーム
１５０１ 再生装置のチューナ
１５０２ 再生装置のNIC
１５０３ 再生装置の多重分離部
１５０４ 再生装置の映像デコード部
１５０５ 再生装置の表示判定部
１５０６ 再生装置の表示処理部
１５０７ 再生装置の表示部
１５０８ 再生装置のフレームバッファ（１）
１５１０ 再生装置のフレームバッファ（L）
１５１１ 再生装置のフレームバッファ（R）
１５１２ 再生装置のスイッチ
２３０１ ビデオエンコーダ
２３０２ 多重化処理部
２３０３ データ格納方法決定部
４０００ データ作成装置
４００１ ビデオエンコーダ
４００２ 多重化処理部
４００３ データ格納方法決定部
４００４ ユーザーインターフェイス部４００４
４２００ 3Dデジタルテレビ
４２０１ チューナ
４２０２ ＮＩＣ
４２０３ ユーザーインターフェイス部
４２０４ モード記憶部
４２０５ 多重分離部
４２０６ 表示判定部
４２０７ 映像デコード部
４２０８ フレームバッファ（１）
４２０９ 表示処理部４２０９、
４２１０ フレームバッファ（Ｌ）
４２１１ スイッチ
４２１２ フレームバッファ（Ｒ）
４２１３ 表示部

Claims (19)

  1. 符号化方法であって、
    画像を圧縮符号化してビデオデータを生成するエンコードステップと、
    前記エンコードステップによって生成される複数のビデオデータに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、
    前記複数のビデオデータは、2D映像を構成する2Dビデオデータを含むとともに、複数のビデオデータを組み合わせることで3D映像を構成し、
    3D映像を構成するビデオデータの組み合わせには、前記2Dビデオデータと1つの他のビデオデータの組み合わせと、2Dビデオデータ以外の2以上の他のビデオデータの組み合わせがあり、
    前記トランスポートストリームは、3D映像を構成するビデオデータを特定する3D映像特定情報を含む
    ことを特徴とする符号化方法。
  2. 前記符号化方法は、コンテンツテーブルを作成するコンテンツテーブル作成ステップを有し、
    前記多重化ステップによる多重化は、
    前記複数のビデオデータとコンテンツテーブルとを多重化することでなされ、
    前記コンテンツテーブルは、1つ以上のテーブルディスクリプタと、各ビデオデータに対応するストリーム情報とを含み、
    前記各ストリーム情報は、ストリームタイプと、ストリーム識別子と、ストリームディスクリプタとを含み、
    前記3D映像特定情報は、テーブルディスクリプタ及びストリームディスクリプタの何れかに存在する
    ことを特徴とする請求項１に記載の符号化方法。
  3. 前記3D映像特定情報は、2Dビデオデータを特定する2D映像特定情報を含むことを特徴とする請求項１に記載の符号化方法。
  4. 2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成するビデオデータに、それぞれ対応するデータ識別子を記載することでなされる
    ことを特徴とする請求項3に記載の符号化方法。
  5. 前記トランスポートストリームは2D/3D共用フラグを含み、
    前記2D/3D共用フラグは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示すことを特徴とする請求項1に記載の符号化方法。
  6. 前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
    前記ビデオデータは、LRパック映像を構成し、
    前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
    前記トランスポートストリームは、LRパック情報を含み、
    LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示す
    ことを特徴とする請求項1に記載の符号化方法。
  7. 前記トランスポートストリームは、カメラのチャネル構成を示すカメラアサインメントを含み、
    前記カメラのチャネル構成には、
    Ｃチャネル、Ｌチャネル＋Ｒチャネル、Ｃチャネル＋Ｌチャネル＋Ｒチャネル、Ｃチャネル＋R1チャネル＋R2チャネルがあり
    前記カメラアサインメントは、前記3D映像特定情報によって特定されるビデオストリームが、前記カメラのチャネル構成のうち何れに従って撮影されたかを示す
    ことを特徴とする請求項1に記載の符号化方法。
  8. 前記2Dビデオデータ、他のビデオデータのそれぞれには、文字表示制御情報が存在しており、
    前記トランスポートストリームは、
    2D再生モード、3D再生モードのそれぞれにおいて、2Dビデオデータ、他のビデオデータのうち、どちらのビデオデータに存在する文字表示制御情報を用いて文字表示を実現すべきかを示す情報を含む
    ことを特徴とする請求項1に記載の符号化方法。
  9. ストリーム情報のストリームディスクリプタは、ビデオデータが左目画像及び右目画像のうち、何れに該当するかを示すフラグを含むことを特徴とする請求項2に記載の符号化方法。
  10. 前記3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述する
    ことを特徴とする請求項2に記載の符号化方法。
  11. 前記作成ステップは、
    前記コンテンツテーブルにおける各ビデオデータに対応するストリーム情報に、組合せの相手側となるビデオデータのストリーム識別子を記述することで、組合せの対象となる2以上のビデオデータを示す
    ことを特徴とする請求項2に記載の符号化方法。
  12. 前記作成ステップは、
    ディスクリプタを作成して、作成されたディスクリプタをビデオデータの内部に組込む
    ことを特徴とする請求項2に記載の符号化方法。
  13. 表示装置であって、
    装置外部からのトランスポートストリームの入力を受け付ける受付手段と、
    2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶手段と、
    カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生手段とを備え、
    トランスポートストリームは3D映像特定情報を備え、
    3D映像特定情報は、3D映像を構成するビデオデータを特定し、
    カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
    3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
    ことを特徴とする表示装置。
  14. 前記トランスポートストリームは、複数のビデオデータと、コンテンツテーブルとをトランスポートストリームパケット列に変換することで得られ、
    前記表示装置は、
    トランスポートストリームから所定のトランスポートストリームパケットを分離する多重分離手段を備え、コンテンツテーブルを格納したトランスポートストリームパケットを分離することで、3D映像特定情報の取得を行う
    ことを特徴とする請求項１３に記載の表示装置。
  15. 前記3D映像特定情報には、2Dビデオデータを特定する2D映像特定情報を含み、
    カレントモードが2Dモードである場合、多重分離部は、2D映像特定情報に基づき、2D映像を構成するビデオデータをトランスポートストリームから分離し、
    カレントモードが3Dモードである場合、多重分離部は、3D映像特定情報に基づき、3D映像を構成するビデオデータを格納した複数のトランスポートストリームパケットをトランスポートストリームから分離する
    ことを特徴とする請求項１４に記載の表示装置。
  16. 2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成する右目ビデオデータに、それぞれ対応するストリーム識別子を記載することでなされる
    ことを特徴とする請求項１５に記載の表示装置。
  17. トランスポートストリームは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示す2D/3D共用フラグを含み、
    前記多重分離部は、2D映像を構成するビデオデータが複数のビデオデータの何れかと一致しない場合、2Dモード、3Dモードのそれぞれにおいて、多重分離の対象となるビデオデータを変更し、
    再生手段は、3D映像を構成するビデオデータが1つである場合、1つのビデオデータにおける個々のフレームから、左目画像及び右目画像を切り出して、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行い、
    3D映像を構成するビデオデータが2つ以上である場合、多重分離部によって分離された2以上のビデオデータをデコードすることで左目画像及び右目画像を得て、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行う
    ことを特徴とする請求項１６に記載の表示装置。
  18. 前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
    前記ビデオデータはLRパック映像を構成し、前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
    前記トランスポートストリームは、LRパック情報を含み、
    LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示し、
    再生手段は、LRパック情報に従って、フレームのうち、左目画像及び右目画像を切り出すべき領域を特定する
    ことを特徴とする請求項１７に記載の表示装置。
  19. 復号方法であって、
    トランスポートストリームの入力を受け付ける受付ステップと、
    2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶ステップと、
    カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生ステップとを含み、
    トランスポートストリームは3D映像特定情報を備え、
    3D映像特定情報は、3D映像を構成するビデオデータを特定し、
    カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
    3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
    ことを特徴とする復号方法。
JP2012540892A 2010-10-25 2011-10-25 符号化方法、表示装置、復号方法 Expired - Fee Related JP5336666B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40634710P 2010-10-25 2010-10-25
US61/406,347 2010-10-25
PCT/JP2011/074586 WO2012057164A1 (ja) 2010-10-25 2011-10-25 符号化方法、表示装置、復号方法

Publications (2)

Publication Number Publication Date
JP5336666B2 true JP5336666B2 (ja) 2013-11-06
JPWO2012057164A1 JPWO2012057164A1 (ja) 2014-05-12

Family

ID=45993870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012540892A Expired - Fee Related JP5336666B2 (ja) 2010-10-25 2011-10-25 符号化方法、表示装置、復号方法

Country Status (8)

Country Link
US (1) US20120106921A1 (ja)
EP (1) EP2635033A1 (ja)
JP (1) JP5336666B2 (ja)
KR (1) KR20130135244A (ja)
CN (1) CN103202023A (ja)
MX (1) MX2013004068A (ja)
TW (1) TW201234833A (ja)
WO (1) WO2012057164A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064853A2 (en) 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
US8670070B2 (en) * 2010-07-15 2014-03-11 Broadcom Corporation Method and system for achieving better picture quality in various zoom modes
JP2012100181A (ja) * 2010-11-05 2012-05-24 Hitachi Consumer Electronics Co Ltd 映像出力装置、映像出力方法、受信装置および受信方法
KR20120058700A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
JP5991596B2 (ja) * 2011-06-01 2016-09-14 パナソニックＩｐマネジメント株式会社 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路
JP2013090016A (ja) * 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP2597876A1 (en) * 2011-11-24 2013-05-29 Koninklijke Philips Electronics N.V. Interlaced 3D video
US9106894B1 (en) 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
US20130243079A1 (en) * 2012-03-19 2013-09-19 Nokia Siemens Networks Oy Storage and processing savings when adapting video bit rate to link speed
IN2014DN08053A (ja) * 2012-04-06 2015-05-01 Sony Corp
US9661387B2 (en) * 2012-05-10 2017-05-23 Sony Corporation Receiving apparatus, reception method, transmitting apparatus, transmission method, and program
WO2014042034A1 (ja) * 2012-09-12 2014-03-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN104081767A (zh) * 2012-09-27 2014-10-01 索尼公司 发送装置、发送方法、接收装置和接收方法
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
ITTO20120901A1 (it) 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
US20140165125A1 (en) * 2012-12-11 2014-06-12 Electronics And Telecommunications Research Institute Broadcasting system and broadcasting method of providing multi-picture
US10567804B2 (en) * 2014-01-08 2020-02-18 Qualcomm Incorporated Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems
JP6456980B2 (ja) * 2014-02-10 2019-01-23 エルジー エレクトロニクス インコーポレイティド ３ｄ放送サービスのための放送信号の送受信方法及び装置
KR20160123216A (ko) * 2014-02-21 2016-10-25 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
US9948952B2 (en) * 2014-02-21 2018-04-17 Lg Electronics Inc. Broadcast signal transmitting device and broadcast signal receiving device
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
US20200112710A1 (en) * 2017-03-17 2020-04-09 Lg Electronics Inc. Method and device for transmitting and receiving 360-degree video on basis of quality
FR3068557A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
JP7018752B2 (ja) * 2017-12-08 2022-02-14 日本放送協会 映像処理装置及びプログラム
US10594758B2 (en) * 2017-12-15 2020-03-17 Cisco Technology, Inc. Latency reduction by sending audio and metadata ahead of time
KR102007432B1 (ko) * 2018-05-03 2019-08-06 (주)블루어 3차원 콘텐츠 영상 생성 및 제공 시스템
US11743440B2 (en) 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218502A (ja) * 2001-01-22 2002-08-02 Nippon Television Network Corp 立体映像信号の伝送方法及び、そのシステム
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
WO2010067810A1 (ja) * 2008-12-09 2010-06-17 ソニー株式会社 画像処理装置および方法
JP2011234336A (ja) * 2010-04-06 2011-11-17 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
BRPI0904620A2 (pt) * 2008-09-30 2020-08-18 Panasonic Corporation meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d
CA2749064C (en) * 2009-01-08 2015-02-17 Lg Electronics Inc. 3d caption signal transmission method and 3d caption display method
WO2011049519A1 (en) * 2009-10-20 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for multi-view video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218502A (ja) * 2001-01-22 2002-08-02 Nippon Television Network Corp 立体映像信号の伝送方法及び、そのシステム
JP2010130690A (ja) * 2008-11-28 2010-06-10 Korea Electronics Telecommun 多視点映像送受信装置及びその方法
WO2010067810A1 (ja) * 2008-12-09 2010-06-17 ソニー株式会社 画像処理装置および方法
JP2011234336A (ja) * 2010-04-06 2011-11-17 Sony Corp 画像データ送信装置、画像データ送信方法および画像データ受信装置

Also Published As

Publication number Publication date
JPWO2012057164A1 (ja) 2014-05-12
EP2635033A1 (en) 2013-09-04
US20120106921A1 (en) 2012-05-03
KR20130135244A (ko) 2013-12-10
CN103202023A (zh) 2013-07-10
WO2012057164A1 (ja) 2012-05-03
TW201234833A (en) 2012-08-16
MX2013004068A (es) 2013-05-22

Similar Documents

Publication Publication Date Title
JP5336666B2 (ja) 符号化方法、表示装置、復号方法
JP6229962B2 (ja) 符号化装置及び符号化方法
JP5906462B2 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
WO2012017643A1 (ja) 符号化方法、表示装置、及び復号方法
WO2012111325A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US20120050476A1 (en) Video processing device
US20140089962A1 (en) Image playback device, image playback method, image playback program, image transmission device, image transmission method and image transmission program
WO2013099289A1 (ja) 再生装置、送信装置、再生方法及び送信方法
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
WO2012147354A1 (ja) 映像処理装置及び映像処理方法
JP6008292B2 (ja) ビデオストリームの映像のデータ作成装置及び再生装置
US8934757B2 (en) Content distribution system, playback device, distribution server, playback method, and distribution method
US20120188340A1 (en) Content distribution system, playback apparatus, distribution server, playback method, and distribution method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees