JP5336666B2 - 符号化方法、表示装置、復号方法 - Google Patents
符号化方法、表示装置、復号方法 Download PDFInfo
- Publication number
- JP5336666B2 JP5336666B2 JP2012540892A JP2012540892A JP5336666B2 JP 5336666 B2 JP5336666 B2 JP 5336666B2 JP 2012540892 A JP2012540892 A JP 2012540892A JP 2012540892 A JP2012540892 A JP 2012540892A JP 5336666 B2 JP5336666 B2 JP 5336666B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- stream
- video data
- playback
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2362—Generation or processing of Service Information [SI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、符号化方法技術に関し、特に3D映像に関するトランスポートストリームの符号化方法技術に関する。
現在、3D番組の放送は、サイドバイサイド方式で3D再生を実現するビデオストリームを1TS(1本のトランスポートストリームのことである)に多重化して、放送局がかかる1TSを各世帯のテレビ表示装置に供給することでなされる。サイドバイサイド方式とは、立体視に必要な左目映像と、立体視に必要な右目映像とを横方向に並べて、1つのフレームの領域内にパッケージングすることで3D再生を実現する方式である(特許文献1参照)。
従来の3D表示装置は、入力されてくるビデオストリームが3D映像であるか否かの判定を行い、3D映像であると判定すると、ビデオストリームを構成する個々のフレームのピクチャデータは必ずサイドバイサイド方式の画像であり、右半分に右目画像、左半分に左目画像が格納されているとの前提で、右目画像、左目画像の復号を行う。
従来の3Dテレビ放送は、1TS-1VS方式(1本のトランスポートストリームで1本のビデオストリームを伝送する方式)であり、3Dモード−2Dモード間の切り替えは実現されていない。従ってユーザは、3Dテレビ放送を3D映像としか視聴することができず、ユーザに対して充分な配慮がなされているとはいえない。
一方、BD-ROM再生装置では、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをBD-ROMから読み出してデコーダに供することで、2Dモード、3Dモードの自由なモード切り替えを実現している。右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをまとめて読み出すため、これら2本のトランスポートストリーム(2TS)はインターリーブ形式のファイルに変換された上でBD-ROMに記録されている。しかしながらデジタルテレビ放送のTV番組では、1つのTV番組に使用できるトランスポートストリームは、1TSであるという前提があるので、上記右目用のビデオストリーム、左目用のビデオストリームを2本のTSを用いて伝送することはできない。また、デジタルテレビ放送において、テレビ番組はファイルという単位で伝送される訳ではないから、右目用のビデオストリームを格納したトランスポートストリーム、左目用のビデオストリームを格納したトランスポートストリームをファイルによって対応付けることができず、かかるBD-ROMにおける対応付けを、デジタルテレビ放送にそのまま応用することは不可能である。
本発明の目的は、1つのTV番組に使用できるトランスポートストリームは、1TSであるという前提下で、2Dモード、3Dモード間の自由なモード切り替えを実現することができる符号化方式を提供することである。
上記目的を達成するため、本発明にかかる符号化方法は、画像を圧縮符号化してビデオストリームを生成するエンコードステップと、エンコードステップによって生成される複数のビデオストリームに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、前記複数のビデオストリームは、2D映像を構成する2Dビデオストリームを含むとともに、複数のビデオストリームを組み合わせることで3D映像を構成し、3D映像を構成するビデオストリームの組み合わせには、前記2Dビデオストリームと1つの他のビデオストリームの組み合わせと、2Dビデオストリーム以外の2以上の他のビデオストリームの組み合わせがあり、前記トランスポートストリームは、3D映像を構成するビデオストリームを特定する3D映像特定情報を含むことを特徴とする。
3D再生に必要な組合せが記載されている3D映像特定情報が、1本のトランスポートストリームに存在するから、表示装置が2D再生を実行していて、これを3D再生に切り替える場合、トランスポートストリーム内の関連付け情報を参照することで、3D再生に必要なビデオストリームがどれであるかを知得することができる。
請求項2によれば、3D映像特定情報がコンテンツテーブルに存在するので、かかるコンテンツテーブルがトランスポートストリームの先頭部に配置されたり、所定の時間置きに配置されている場合、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、3D映像特定情報を参照することにより、多重分離すべきビデオストリームを容易に特定することができ、3D映像を再生することができる。
請求項3によれば、2Dビデオストリームを特定する2D映像特定情報がトランスポートストリームに存在するから、2D再生に必要なビデオストリームがどれであるかを知得することができ、2D再生、3D再生の互換再生が可能となる。
請求項4によれば、2Dビデオストリーム、左目映像を構成する左目ビデオストリーム、右目映像を構成するビデオストリームに、それぞれ対応するストリーム識別子を示す情報がトランスポートストリームに存在するから、2D再生、または3D再生において、多重分離すべきビデオストリームを特定することができ、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができる。
請求項5によれば、2Dビデオストリームと、3D映像を構成する複数のビデオストリームのいずれかが一致するか否かを示すフラグがコンテンツテーブルに存在するから、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して、このフラグを参照することにより、トランスポートストリームのストリーム構成を特定することができる。
請求項6によれば、フレームへの左目画像、右目画像のパッケージングに様々な格納方式を採用することができるので、サイドバイサイド、トップアンドボトム等、既存の撮影行為で取得可能な様々な3D素材をコンテンツ作成に利用することができる。
請求項7によれば、ストリームディスクリプタにおけるカメラアサインメントには、カメラのチャネル構成が示されているので、撮影時のカメラ環境を再生時に再現することができる。
請求項8によれば、2Dビデオストリーム、他のビデオストリームのうち、どちらのビデオストリームに存在するクローズドキャプションの字幕データを用いるかを示す情報がコンテンツテーブルに記述されているので、このコンテンツテーブルを格納したパケットをトランスポートストリームから取り出して参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。
請求項10によれば、3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述するので、ストリーム情報を参照することで、多重分離すべきビデオストリームを特定することができ、3D映像を再生することができる。
請求項11によれば、コンテンツテーブルにおける各ビデオストリームに対応するストリーム情報に、組合せの相手側となるビデオストリームのストリーム識別子を記述しているので、ストリーム情報を参照することで、3D再生において必要となるもう一方のビデオストリームを特定することができる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本実施の形態に係る映像フォーマットと、その映像フォーマットにおけるデータ作成方法、データ作成装置、再生方法、再生装置について説明する。
本実施の形態に係る映像フォーマットと、その映像フォーマットにおけるデータ作成方法、データ作成装置、再生方法、再生装置について説明する。
先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式とがある。
まず、1つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び1mmの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
次に、2つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
この方式のメリットは、高々右目用と左目用の2つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
また、視差画像を用いた立体視においては、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、2D映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、2D映像とデプスマップに基づいて左目映像と右目映像の視差画像をプレーヤやディスプレイで生成する方法がある。図24は2D映像とデプスマップから左目映像と右目映像の視差画像を生成する例を模式的に示している。デプスマップは2D映像内のそれぞれの画素に対応して奥行き値をもっており、図24の例では、2D映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ(例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ)として格納しても良い。視差画像は、デプスマップの奥行き値から、2D映像の視差量を調整することによって作成することができる。図24の例では、2D映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体の画素の視差量を小さくして、左目映像、右目映像を作成する。この左目映像と右目映像を、継時分離方式等を使って表示すれば立体視が可能となる。
以上が立体視の原理についての説明である。
次に、本実施の形態における再生装置の使用形態について説明する。
本実施の形態における再生装置は、2D映像もしくは3D映像を復号してディスプレイに映像を転送する装置である。ここでは、例としてデジタルテレビを挙げて説明する。
デジタルテレビには、図2に示すように3D映像が視聴可能な再生装置100と、3D映像の再生をサポートしない2D映像のみを再生できる2Dデジタルテレビ300がある。
図2(a)は、再生装置の、使用行為についての形態を示す図である。本図に示すように、デジタルテレビ100と3D眼鏡200とから構成され、ユーザによる使用が可能となる。
再生装置100は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
本実施形態の再生装置100は、3D眼鏡200をユーザが着用することで立体視を実現するものである。3D眼鏡200は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図2(b)は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡200は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図(c)は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
また、別の方法の再生装置としては、先ほどの継時分離方式では左右のピクチャーを時間軸方向で交互に出力していたのに対して、一画面中の縦方向に左目用のピクチャーと右目用のピクチャーを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャーを構成する画素は左目だけに結像し、右目用のピクチャーを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャーを見せ、3Dとしてみることができる方式がある。なお、レンチキュラーレンズだけでなく、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。また左目用の画素には縦偏光のフィルター、右目用の画素には横偏光のフィルターを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルターを設置した偏光メガネを用いてディスプレイを見ることによって立体視が可能となる偏光方式がある。
視差画像を用いた立体視のための方法はこの他にも2色分離方式などさまざまな技術が提案されており、本実施の例においては、継時分離方式を例として用いて説明するが、視差画像を用いる限りこの方式に限定するものではない。
2Dデジタルテレビ300は、図2の(d)に示すように、再生装置100と異なり、立体視を実現できない。2Dデジタルテレビ300は、2D映像のみを表示することができるものであり、受信した放送波に含まれるストリームを2D映像としてのみ再生できる。
以上が、再生装置の使用形態についての説明である。
次に、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。
デジタルテレビの放送波等での伝送では、MPEG-2トランスポートストリーム形式のデジタルストリームが使われている。MPEG-2トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ISO/IEC13818-1およびITU-T勧告H222.0において標準化されている。
図6は、MPEG-2トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、MPEG-2、MPEG-4 AVCなどの方式を使って符号化記録される。オーディオストリームは、ドルビーAC-3、MPEG-2 AAC、MPEG-4 AAC、HE-AACなどの方式で圧縮・符号化記録されている。
ビデオストリームの構成について説明する。MPEG-2、MPEG-4 AVC、SMPTE VC-1などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位である。また、既に処理済の1枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャとよび、既に処理済みの2枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。
また、ビデオストリームは、図7に示すような階層構造を有している。ビデオストリームは、複数のGOP(Group of Pictures)から構成されており、これを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。GOPは1つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、フレーム構造の場合は1フレーム、フィールド構造の場合の1フィールドのデータが格納される。各ビデオアクセスユニットは、AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードなどから構成される。各データはMPEG-4 AVCの場合は、NALユニットと呼ばれる単位で格納される。
AU識別コードはアクセスユニットの先頭を示す開始符号である。シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダはピクチャ全体の符合化の方式などの情報を格納したヘッダである。補足データは圧縮データの復号に必須ではない付加情報であり、例えば、映像と同期してTVに表示するクローズドキャプションの文字情報やGOP構造情報などが格納される。圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。パディングデータは、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コードは、再生シーケンスの終端を示すデータである。ストリーム終端コードは、ビットストリームの終端を示すデータである。
AU識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードの中身の構成は、ビデオの符合化方式によって異なる。
例えば、MPEG-4 AVCの場合であれば、AU識別コードは、AUデリミタ(Access Unit Delimiter)、シーケンスヘッダはSPS(Sequence Paramter Set)に、ピクチャヘッダはPPS(Picture Parameter Set)に、圧縮ピクチャデータは複数個のスライス、補足データはSEI(Supplemental Enhancement Information)、パディングデータはFillerData、シーケンス終端コードはEnd of Sequence、ストリーム終端コードはEnd of Streamに対応する。
例えば、MPEG-2の場合であれば、シーケンスヘッダはsequence_Header、sequence_extension、group_of_picture_headerに、ピクチャヘッダはpicture_header、picture_coding_extension、圧縮ピクチャデータは複数個のスライス、補足データはuser_data、シーケンス終端コードはsequence_end_codeに対応する。AU識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
各データは常に必要ではなく、例えば、シーケンスヘッダはGOP先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい、としてもよい。また、符号化方式によっては、ピクチャヘッダは前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくても良い。
ここで、クロッピング領域情報とスケーリング情報について図11を参照しながら説明する。ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。図11のように、符号化されたフレーム領域の中から実際に表示する領域を、「クロッピング領域」として指定することが出来る。例えば、MPEG-4 AVCの場合には、SPSに格納されるframe_cropping情報を使って指定できる。frame_cropping情報は、図12左のように、クロッピンング領域の上線/下線/左線/右線と、符号化されたフレーム領域の上線/下線/左線/右線との差分を、上下左右のクロップ量として指定する。より具体的には、クロッピング領域を指定する場合には、frame_cropping_flagを1に設定し、frame_crop_top_offset / frame_crop_bottom_offset / frame_crop_left_offset / frame_crop_right_offsetに上/下/左/右のクロップ量を指定する。MPEG-2の場合には、クロッピング領域の縦横のサイズ(sequence_display_extensionのdisplay_horizontal_size, display_vertical_size)と、符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報(picture_display_extensionのframe_centre_horizontal_offset, frame_centre_vertical_offset)を使ってクロッピング領域を指定できる。また、ビデオ符号化方式によっては、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えばアスペクト比として設定される。再生装置はそのアスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。例えば、MPEG-4 AVCの場合には、スケーリング情報として、SPSにアスペクト比の情報(aspect_ratio_idc)が格納される。MPEG-4 AVCの場合、1440x1080のクロッピング領域を、1920x1080に拡大して表示するためには、アスペクト比は4:3を指定する。この場合水平方向に4/3倍にアップコンバート(1440x4/3=1920)され、1920x1080に拡大されて表示される。MPEG-2の場合にも同様にsequence_headerにアスペクト比の情報(aspect_ratio_information)が格納されている。
トランスポートストリームに含まれる各ストリームはPIDと呼ばれるストリーム識別IDによって識別される。このPIDのパケットを抽出することで複合装置は、対象のストリームを抽出することが出来る。PIDとストリームの対応は以降で説明するPMTパケットのディスクリプタに格納される。
図6は、トランスポートストリームがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリーム501、複数のオーディオフレームからなるオーディオストリーム504を、それぞれPESパケット列502および505に変換し、TSパケット503および506に変換する。同じく字幕ストリーム507のデータをそれぞれPESパケット列508に変換し、更にTSパケット509に変換する。MPEG-2トランスポートストリーム513はこれらのTSパケットを1本のストリームに多重化することで構成される。
図8は、PESパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第1段目はビデオストリームのビデオフレーム列を示す。第2段目は、PESパケット列を示す。本図の矢印yy1,yy2, yy3, yy4に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS(Presentation Time-Stamp)やピクチャの復号時刻であるDTS(Decoding Time-Stamp)が格納される。
図9は、トランスポートストリームを構成するTSパケットのデータ構造を示している。TSパケットは、4ByteのTSヘッダと、アダプテーションフィールドとTSペイロードから構成される188Byte固定長のパケットである。TSヘッダは、transport_priority、PID、adaptaion_field_controlなどから構成される。PIDは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのIDである。transport_priorityは、同一PIDのTSパケットの中のパケットの種別を識別するための情報である。adaptation_field_controlは、アダプテーションフィールドとTSペイロードの構成を制御するための情報である。アダプテーションフィールドとTSペイロードはどちらかだけが存在する場合と両方が存在する場合があり、adaptation_field_controlはその有無を示す。adaptation_field_controlが1の場合は、TSペイロードのみが存在し、adaptation_field_controlが2の場合は、アダプテーションフィールドのみが存在し、adaptation_field_controlが3の場合は、TSペイロードとアダプテーションフィールドの両方が存在することを示す。
アダプテーションフィールドは、PCRなどの情報の格納や、TSパケットを188バイト固定長にするためのスタッフィングするデータの格納領域である。TSペイロードにはPESパケットが分割されて格納される。
トランスポートストリームに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)などがある。これらのパケットはPSI(Program Specific Information)と呼ばれる。PATはトランスポートストリーム中に利用されるPMTのPIDが何であるかを示し、PAT自身のPIDは0で登録される。PMTは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはAVストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、TSパケットのデコーダへの到着時刻とPTS・DTSの時間軸であるSTC(System Time Clock)の同期を取るために、そのPCRパケットがデコーダに転送されるタイミングに対応するSTC時間の情報を持つ。
図10はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、トランスポートストリームに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報(フレームレート、アスペクト比など)が記載されたストリームディスクリプタから構成される。
以上がデジタルテレビの放送波等で伝送される一般的なストリームの構造の説明である。
次に、立体視に使う視差画像を実現するための一般的な映像フォーマットについて説明する。
視差画像を使った立体視の方式では、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う。図3は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
視差画像のうち、左目に入る画像を左目画像(L画像)といい、右目に入る画像を右目画像(R画像)という。そして、各々のピクチャが、L画像になっている動画像をレフトビュービデオといい、各々のピクチャがR画像になっている動画像をライトビュービデオという。
レフトビュービデオとライトビュービデオを合成して圧縮符号化する3Dの映像方式には、フレーム互換方式とサービス互換方式がある。
まず1つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、図4に示すような、Side-by-Side方式がある。Side-by-Side方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に1/2に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に2倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ(L画像)とライトビュービデオのピクチャ(R画像)を交互に表示することによって、図2に示すような立体視画像を得ることができる。フレーム互換方式にはSide-by-Side方式の他に、左右画像を上下に並べるTop and Bottom方式や、ピクチャ内の1ライン毎に左右画像を交互に配置するLine Alternative方式などがある。
このような立体視用の左右の映像の格納方式を識別する手段として、ビデオストリームには、フレームパッキング情報が用意されている。フレームパッキング情報は、例えばMPEG-4 AVCでは、Frame_packing_arrangement SEIである。図1は、フレームパッキング情報を説明する図である。図1下段は、ビデオフレーム列を示す。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図1の上段に示している。フレームパッキング情報には、フレーム格納タイプ、キャンセルフラグ、リピートフラグがある。フレーム格納タイプは、立体視用の左右の映像をフレーム内に格納する方式のタイプを示し、前述で説明した「Side-by-Side」「TopBottom」「チェッカーボード」「ラインバイライン」といった方式を識別する情報である。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_typeに対応する。リピートフラグは、フレームパッキング情報の有効期間を示し、0であればフレームパッキング情報は該当フレームのみに対して有効であることを示し、1であれば該当フレームパッキング情報は、次のビデオシーケンスが来るまでか、ディスプレイ順で該当フレームよりも遅いフレームパッキング情報を持ったフレームがくるまで有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_repetition_periodに対応する。キャンセルフラグは、前回のフレームパッキング情報の有効期間をキャンセルするフラグである。キャンセルフラグが1の場合には、以前に送出されたフレームパッキング情報がキャンセルされ、0の場合には該当のフレームパッキング情報が有効となる。MPEG-4 AVCのFrame_packing_arrangementでは、Frame_packing_arrangement_cancel_flagに対応する。
Side-by-Side再生区間の先頭に格納されているフレームパッキング情報(A)のフレーム格納タイプはSide-by-Side、リピートフラグは1、キャンセルフラグは0となっている。Side-by-Side再生区間の先頭には、フレームパッキング情報は格納されておらず、また、リピートフラグは1であるため、この区間のフレーム列においては、Side-by-Side再生区間の先頭に格納されているフレームパッキング情報(A)が有効となる。2D再生区間の先頭に格納されているフレームパッキング情報(B)には、キャンセルフラグは1となっており、フレーム格納タイプやリピートフラグは格納されない。2D区間では、フレームパッキング情報は不要であるため、この先頭でキャンセルした後には、フレームパッキング情報は格納されていない。TopBottom再生区間には、フレームパッキング情報(C)が全てのフレームに格納されている。フレームパッキング情報(C)のフレーム格納タイプはTopBottom、リピートフラグは0、キャンセルフラグは0となっている。リピートフラグは0であるため、すべてのフレームがTopBottomであることを示すために、すべてのフレームにフレームパッキング情報を格納する必要がある。
このようにビデオストリームにフレームパッキング情報を格納することにより、再生装置はその情報を参照することで、方式に従った立体視の表示処理を実現できる。
次に、2つ目のサービス互換方式について説明する。サービス互換方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである、レフトビュービデオストリームとライトビュービデオストリームを用いる。
サービス互換方式において、レフトビュービデオ、ライトビュービデオを視点間の相関特性を利用したピクチャ間予測符号化技術により圧縮符号化したものを、特にマルチビュー符号化方式と呼ぶ。
図5は、マルチビュー符号化方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
本図の第2段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9というピクチャデータが含まれている。これらのピクチャデータは、Decode Time Stamp(DTS)に従いデコードされる。第1段目は、左目画像を示す。そうしてデコードされたピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9をPTSに従い、I1、Br3、Br4、P2、Br6、Br7、P5の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位である。また、既に処理済の1枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの2枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
第4段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、P1、P2、B3、B4、P5、B6、B7、P8というピクチャデータが含まれている。これらのピクチャデータは、DTSに従いデコードされる。第3段目は、右目画像を示す。そうしてデコードされたピクチャデータP1、P2、B3、B4、P5、B6、B7、P8をPTSに従い、P1、B3、B4、P2、B6、B7、P5の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目画像と右目画像とのペアうち一方の表示を、PTSの間隔の半分の時間(以下、「3D表示ディレイ」という)分だけ遅延して表示する。
第5段目は、3D眼鏡200の状態をどのように変化させるかを示す。この第5段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
例えば、ライトビュービデオストリームの先頭Pピクチャは、レフトビュービデオストリームのIピクチャを参照し、ライトビュービデオストリームのBピクチャは、レフトビュービデオストリームのBrピクチャを参照し、ライトビュービデオストリームの二つ目のPピクチャは、レフトビュービデオストリームのPピクチャを参照している。
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを"ベースビュービデオストリーム"という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、"ディペンデントビューストリーム"という。なおベースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG2-TSなどの同一のストリームに多重化されてもよい。
このように視点間の相関を利用したマルチビュー符号化方式の圧縮方法としては、Multiview Video Coding(MVC)と呼ばれるMPEG-4 AVC/H.264の修正規格がある。ISO/IEC MPEGとITU-T VCEGの共同プロジェクトであるJoint Video Team(JVT)は、2008年7月にMultiview Video Coding(MVC)と呼ばれるMPEG-4 AVC/H.264の修正規格の策定を完了した。MVCは、複数視点の映像をまとめて符号化する規格であり、映像の時間方向の類似性だけでなく視点間の類似性も予測符号化に利用することで、複数視点の独立した圧縮に比べて圧縮効率を向上している。
以上が立体視に使う視差画像を実現するための一般的な映像フォーマットについての説明である。(3D映像を格納するデータフォーマット)
次に、本実施の形態に係る3D映像を格納するデータフォーマットについて、図面を参照しながら説明を行う。
次に、本実施の形態に係る3D映像を格納するデータフォーマットについて、図面を参照しながら説明を行う。
図1で示したように、フレームパッキング情報を格納する符号方法としては、フレームパッキング情報(A)、フレームパッキング情報(B)のように、再生区間の先頭のみに配置する方法や、フレームパッキング(C)のように各フレームすべてに格納する方法が混在するケースがある。このように、異なるフレームパッキング情報を格納する方法が混在すると、再生および編集装置において処理が非効率である。例えば、図1のSide-byーSide再生区間(A)の、先頭以外のビデオフレームから飛び込み再生を行う場合には、Side-By-Side先頭のフレームに格納されるフレームパッキング情報を解析して取得する必要がある。例えば、TopBottom再生区間(C)の再生を行う際には、全フレームにおいてフレームパッキング情報の解析が必要であり、処理負荷がかかる。そこで、本実施の形態では、フレームパッキング情報を格納する符号方法を、再生装置が前もって特定でき、再生処理の効率化ができるように、以下のような映像フォーマット構造をとる。
図13を参照して映像フォーマットの構造を説明する。図13の例はSide-By-Side方式のフレーム互換方式の3D映像を格納する場合の例である。トランスポートストリームに格納されるビデオストリームは、MPEG-4AVCやMPEG-2など映像符号化方式で圧縮されているビデオストリームである。
ビデオストリームの補足データには、フレームパッキング情報が格納されている。フレームパッキング情報は、図1を使って説明した情報である。フレームパッキング情報には、フレーム格納タイプ、リピートフラグ、キャンセルフラグが格納される。フレームパッキング情報は、図1を使って説明したように、全てのビデオアクセスユニットの補足データに格納せずに、リピートフラグを1に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。
PMTパケットには、フレームパッキング情報ディスクリプタが格納される。フレームパッキング情報ディスクリプタは、トランスポートストリームに格納されるビデオストリーム毎に用意され、該当のビデオストリームの補足データに含まれるフレームパッキング情報の属性情報を格納する。フレームパッキング情報ディスクリプタには、「フレーム格納タイプ」、「フレームパッキング情報格納タイプ」、「開始PTS」が格納される。
フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ意味を持ち、該当ビデオストリームの立体視映像のフレーム格納方式(Side-by-Side方式など)を示す。この情報は、該当ビデオストリームの補足データに含まれるフレームパッキング情報のフレーム格納タイプと一致する。再生装置は、フレーム格納タイプを参照することにより、ビデオストリームを解析せずとも立体映像のフレーム格納方式を判断することができる。これにより、例えば、再生装置は、3D表示方法を前もって判断できることにより、3D表示用のOSDの生成処理など3D表示に必要な処理を前もって、ビデオストリームのデコードの前に行うことが可能となる。
フレームパッキング情報格納タイプは、該当ビデオストリームに含まれるフレームパッキング情報の挿入方法を示している。図1を使って説明したように、フレームパッキング情報は、リピートフラグを1に設定して、GOP先頭のみに格納して、他のビデオアクセスユニットには格納しないようにすることも出来る。また反対にリピートフラグを0に設定して、すべてのフレームに格納するようにすることも出来る。フレームパッキング情報格納タイプは、このフレームパッキング情報の格納方法を特定するための情報であり、つまり、フレームパッキング情報タイプが、「GOP単位」であればGOP先頭のビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示し、「アクセスユニット単位」であれば全ビデオアクセスユニットの補足データのみにフレームパッキング情報が格納されることを示す。再生装置は、フレームパッキング情報格納タイプを参照することにより、ビデオストリームを解析せずともフレームパッキング情報の格納方法を判別できため、再生および編集処理を効率化できる。例えば、GOP先頭以外のフレームにも飛び込み再生を行う再生装置の場合には、フレームパッキング情報格納タイプを参照することで、それが「GOP先頭」を示す場合には、常にGOP先頭のみから飛び込み再生を開始するように制御できる。
なお、フレームパッキング情報ディスクリプタには、GOP単位で属性が変化するかどうかを示す情報が格納されていても良い。このような構成にすることで、例えば、フレームパッキング情報格納タイプが「フレーム単位」で、GOP内で属性が変化しないことが示されれば、全フレームで同じフレームパッキング情報が格納されることが明示されるため、ビデオストリームに含まれるGOP先頭以外のフレームパッキング情報の解析をスキップすることができる。
開始PTSは、該当のフレームパッキング情報ディスクリプタが有効となる時刻を示す。PMTパケットの位置は、ビデオストリームの多重化位置と一般的に同期しないため、該当のフレームパッキング情報ディスクリプタが有効となる時間をビデオストリームの表示時刻上で知ることができない。そこで、この開始PTSを参照することで、フレームパッキング情報ディスクリプタが有効となる時刻を再生装置は知ることができる。開始PTSは、ビデオに付与されるPTSを示すように制限してもよく、そうすることで明確にビデオとの同期を再生装置に指示できる。なお、再生装置がビデオデコードよりも前にフレームパッキング情報ディスクリプタを参照できるように、開始PTSと同じPTSが付与されるビデオアクセスユニットよりも、該当開始PTSを含むフレームパッキング情報ディスクリプタが格納されるPMTパケットは、多重化(符号)順で、前方に配置されるとしてもよい。上記開始PTSを含むPMTパケットが複数存在する場合には、先頭のパケットのみが多重化(符号)順で、前方に配置されるとしてもよい。
図14は、フレームパッキング情報ディスクリプタとフレームパッキング情報の関係の例を示す図である。図14下段は、ビデオフレーム列を表示順に並べた図である。区間(A)はSide-by-Sideの映像が再生される区間であり、区間(B)は2D映像が再生される区間であり、区間(C)はTopBottom映像が再生される区間である。このような再生区間におけるフレームパッキング情報の例を図14の中段に示している。これは図1で示した構成と同じである。ここで、図14上段は、このデータ構成におけるフレームパッキング情報ディスクリプタの構成を示す。
フレームパッキング情報ディスクリプタ(A)は、Side-by-Side再生区間(A)におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ(A)の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「Side-by-Side」、フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」、開始PTSは再生区間(A)における先頭の「ビデオPTSの値(例では180000)」が設定される。
フレームパッキング情報ディスクリプタ(B)は、2D再生区間(B)におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ(B)の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じであり設定されない。もしくは、「2D」というフレーム格納タイプが定義されるのであれば、その値が設定される。フレームパッキング情報格納タイプはフレームパッキング情報が区間先頭のみに格納されているため「GOP先頭」が設定される。開始PTSは再生区間(B)における先頭の「ビデオPTSの値(例では5580000)」が設定される。
フレームパッキング情報ディスクリプタ(C)は、TopBottom再生区間(C)におけるフレームパッキング情報に対応する情報を含む。フレームパッキング情報ディスクリプタ(C)の各値は次のように設定される。フレーム格納タイプは、フレームパッキング情報のフレーム格納タイプと同じ「TopBottom」、フレームパッキング情報格納タイプはフレームパッキング情報が区間の全ビデオアクセスユニットに格納されているため「アクセスユニット単位」、開始PTSは再生区間(C)における先頭の「ビデオPTSの値(例では10980000)」が設定される。
以上が、本実施の形態に係る映像フォーマットの説明である。(3D映像の再生装置)
次に本実施の携帯に係る3D映像を再生する再生装置の構成について図15を用いて説明する。
次に本実施の携帯に係る3D映像を再生する再生装置の構成について図15を用いて説明する。
再生装置は、具体的には、3D映像の表示に対応するプラズマテレビや液晶テレビであり、ビデオストリームを送出するトランスポートストリームを受信する。ここでは継時分離方式でシャッタ眼鏡を利用する3D方式のテレビとする。再生装置は、IPネットワーク及び再生装置と接続され、これらから出力されたビデオストリームをも復号して表示する。
再生装置は、図15に示すように、チューナ1501、NIC1502、多重分離部1503、映像デコード部1504、表示判定部1505、表示処理部1506、表示部1507、フレームバッファ(1)1510、フレームバッファ(2)1511、スイッチ1512から構成される。
チューナ1501は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
NIC1502は、IPネットワークと接続されており、外部から出力されたトランスポートストリームを受信する機能を有している。
多重化分離部1503は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリームなどに分離し、ビデオストリームを映像デコード部1504へ出力する。また多重分離部は、受信したトランスポートストリームからPSIなどのシステムパケットを抽出し、PMTパケットから、「フレームパッキング情報ディスクリプタ」を取得し、表示判定部や映像デコード部に通知する。多重化分離部1503は、チューナ1501やNIC1502からの入力に加えて、記録媒体からトランスポートストリームを読み出すこともできる。
映像デコード部1504は、ビデオストリームを多重化分離部1503から受け取ると、受け取ったストリームのデコードを行うとともに、ビデオストリーム中の「フレームパッキング情報」を取り出す機能を有している。この映像デコード部1504により、フレーム単位の映像が復号される。ここで、多重化分離部1503より通知されるフレームパッキング情報ディスクリプタの「フレームパッキング情報格納タイプ」がGOP単位であれば、「フレームパッキング情報」の取り出しをGOP先頭のビデオアクセスユニット以外はスキップできる。
映像デコード部1504は、復号されたフレームをフレームバッファ(1)1508へ書き込み、「フレームパッキング情報」を表示判定部1506に出力する。
フレームバッファ(1)1508は、映像デコード部1504でデコードされたフレームを格納するための領域を有する。
表示判定部1505は、「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」を元に表示方法を決定する。「フレームパッキング情報ディスクリプタ」や「フレームパッキング情報」に格納されるフレーム格納タイプにしたがって、3D映像の格納方式を判別して、「フレームパッキング情報ディスクリプタ」の「開始PTS」や、フレームパッキング情報が格納されるビデオのPTSのタイミングで、表示処理部に通知する。表示判定部1505は、このように表示方法を決定して、その内容を表示処理部1506に通知する。
表示処理部1506は、フレームバッファ(1)に格納された復号化されたフレームデータを、表示判定部1505からの指示に従って変形を行い、フレームバッファ(L)やフレームバッファ(R)に書き出す。Side-by-Side方式の場合は、表示処理部1506はフレームの左半分からHalfHDの左目画像をクロップしてフレームバッファ(L)に書き出し、表示処理部1506はフレームの右半分からHalfHDの右目画像をクロップしてフレームバッファ(R)に書き出す。TopBottom方式の場合は、表示処理部1506はフレームの上半分からHalfHDの左目画像をクロップしてフレームバッファ(L)に書き出し、表示処理部1506はフレームの下半分からHalfHDの右目画像をクロップしてフレームバッファ(R)に書き出す。2Dの場合は、フレームバッファ(1)の映像をフレームバッファ(L)とフレームバッファ(R)の両方に書き出す。
フレームバッファ(L)1510、フレームバッファ(R)1511は、表示処理部1506から出力されるフレームを格納するための領域を有する。
スイッチ1512は、フレームバッファ(L)1510、フレームバッファ(R)1511に書き出されたフレーム画像を選択して表示部に転送する。表示するフレームに応じてフレームバッファ(L)1510、フレームバッファ(R)1511を交互に選択して表示する。
表示部は1506は、スイッチ1512から転送されたフレームを表示する。表示部1506は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッタを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
以上が本実施の形態に係る再生装置の説明である。
なお、フレームパッキング情報ディスクリプタは、PMTパケット以外にも、番組情報などを含めた SI (Service Information) のディスクリプタ、TSパケットヘッダ、PESヘッダなどに格納しても良い。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプには、「GOP単位」と「アクセスユニット単位」があるとしたが、PESパケットに1つ存在することを示す「PESパケット単位」、Iピクチャに1つ存在することを示す「Iピクチャ単位」、フレームパッキング情報に含まれる値が切り替わる度に1つ存在することを示す「属性切り替わり単位」など他のタイプがあっても良い。
なお、フレームパッキング情報ディスクリプタには、前のPMTパケットに格納されるフレームパッキング情報ディスクリプタの値と変化があるかどうかが分かる識別子が存在しても良い。この識別子を参照することで、変化がない場合には、フレームパッキング情報ディスクリプタの解析処理や表示判定部への通知および表示判定部の処理をスキップすることが出来る。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプとして、リピートフラグが格納されていても良い。例えば、フレームパッキング情報ディスクリプタのリピートフラグが1であればGOP単位、フレームパッキング情報ディスクリプタのリピートフラグが0であればアクセスユニット単位と再生装置は判定できる。
なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレーム格納タイプ毎に設定できるようにしてもよい。例えば、Side-by-Side方式の場合は「GOP単位」、TopBottom方式の場合は「フレーム単位」というように設定できても良い。なお、フレームパッキング情報ディスクリプタのフレームパッキング情報格納タイプは、フレームパッキング情報のID毎に設定できても良い。図1の説明では省略したが、フレームパッキング情報は、IDを持って複数設定することが可能である。このIDはMPEG-4 AVCのFrame_packing_arrangement SEIにおけるFrame_packing_arrangement_idに対応する。このID毎に、フレームパッキング情報格納タイプを設定できても良い。このようにすることで、PMTパケットのフレームパッキング情報ディスクリプタを毎回解析しなくても、一度、解析できれば、それを使い続けることが出来る。(3D映像を格納するデータフォーマットの変形例)
次に、本実施の形態に係る3D映像を格納するデータフォーマットの変形例について図面を参照しながら説明を行う。
次に、本実施の形態に係る3D映像を格納するデータフォーマットの変形例について図面を参照しながら説明を行う。
再生装置において、3D映像から2D映像への切り替え、2D映像から3D映像への切り替えなどの表示切替処理には、処理時間を伴うケースがある。例えば、HDMIなどでテレビと接続をしている場合には、2D映像と3D映像間の切り替え時に、HDMIの再認証が発生するケースがある。この場合には、切り替え処理の間には、映像が正しく再生できないという問題が発生する。そこで、以下のケースではその課題をかんがみ、再生装置における切り替え時間を適切に制御することで、コンテンツ製作者の期待通りの再生を実現可能とする。
図16上段は、TSパケット列と再生するビデオフレーム列との関係を示す図である。ビデオフレーム列は、PTS5580000まではSide-by-Sideの3D映像再生区間であり、PTS5580000からは2D映像再生区間となっている。この場合に、TSパケット内のPMTパケットに含まれるフレームパッキング情報ディスクリプタの構成が上部の(1)から(4)に記載されている。(1)はSide-by-Side区間を示すディスクリプタであり、(2)(3)(4)は2D区間を示すディスクリプタである。ここで、前述したように、多重化されたTSパケットがデコーダに到着する時刻と、ビデオの表示時刻には(A)で示すように時間のギャップが存在する。具体的には、(2)のディスクリプタが2Dであると通知する時刻では、まだビデオ表示時刻においては、Side-By-Sideを表示している区間となる。よって、再生装置が、PMTパケットが到着する時刻において、PMTパケット内のフレームパッキング情報ディスクリプタを参照して、表示処理を行ってしまうと、ギャップ(A)の時間で、表示切替処理が行われ、ギャップ(A)は正しく3D映像として再生できなくなる。
そこで、図16下段のように、フレームパッキング情報ディスクリプタに「処理優先度」を格納する。この「処理優先度」は、PMTのフレームパッキング情報ディスクリプタを優先して処理することを示す「ディスクリプタ優先」と、ビデオストリームに格納されるフレームパッキング情報を優先して処理することを示す「ビデオ優先」の2種類が用意される。処理優先度が、「ディスクリプタ優先」である場合には、再生装置は、PMTに含まれるフレームパッキング情報ディスクリプタを優先して、表示の切り替え処理を行う。PMTパケットが到着して処理を行うことで、ギャップ(A)の中で表示切替処理を行う。この場合の再生遷移を図16下段下部の再生遷移Xで示している。このようにすることで、Side-by-Sideの再生区間の終端は表示切替処理により正しく再生できないが、その代わりに、2D再生区間は先頭から正しく再生することが出来る。
処理優先度が、「ビデオ優先」である場合には、再生装置は、ビデオに含まれるフレームパッキング情報を優先して、表示の切り替え処理を行う。PMTパケットが到着しても表示切り替え処理を行わず、ビデオストリームの表示時刻のタイミングから表示切替処理を行う。この場合には、ギャップ(A)においては正しくデータの再生が行われ、PTS5580000の2D映像に遷移した時点から区間(B)を使って表示切り替え処理を行う。この場合の再生遷移を図16下段下部の再生遷移Yで示している。このようにすることで、2D再生区間の先頭部分は表示切替処理により正しく再生できないが、Side-by-Side再生区間の終端部分は正しく再生できる。
このように処理優先度を設けることによって、再生装置に、コンテンツ製作者の意図を反映させて表示切り替え処理の時刻を制御できる。図16の例においては、コンテンツ製作者の意図において、2D映像の再生を優先させる場合には、処理優先度を「ディスクリプタ優先」に設定し、Side-by-Sideの3D映像の再生を優先させる場合には、処理優先度を「ビデオ優先」に設定すればよい。なお、処理優先度によって表示切替処理が行われる区間には、黒映像など無意味な映像を格納するようにしてもよい。その区間は、図16の例では、処理優先度が「ディスクリプタ優先」の場合のギャップ(A)であり、処理優先度が「ビデオ優先」の場合の(B)区間である。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
なお、フレームパッキング情報ディスクリプタには処理優先度ではなく、図17に示すように表示切替開始時刻を設定するようにしてもよい。このように構成することで、より正確に表示処理の開始時間を制御することが出来る。
以上が、本実施の形態に係る3D映像を格納するデータフォーマットの変形例の説明である。(3D映像を2本のビデオストリームで構成する場合のデータフォーマット)
次に、本実施の形態に係る3D映像を2本のビデオストリームで構成する場合のデータフォーマットについて図面を参照しながら説明を行う。
次に、本実施の形態に係る3D映像を2本のビデオストリームで構成する場合のデータフォーマットについて図面を参照しながら説明を行う。
フレーム互換方式の3D映像を例にとって説明したが、図18に示すように左目映像と右目映像を別々のビデオストリームとして、1本のトランスポートストリームに格納するようにして、2D映像は左目、右目のどちらかの映像を再生し、3D映像は左目、右目の両方を再生する、という構成にしてもよい。
図19は、図18の構成における左目/右目映像のビデオストリームのフレームを表示順に並べた図である。図19上段のように2D映像と3D映像の再生区間が存在するケースにおいて、左右の映像両方に、2D映像を格納すれば、3D映像と2D映像のシームレスな接続を実現できる。しかし、この場合には、片方のビデオフレーム列は冗長なデータとなる。できるだけ高画質な2D映像を実現するには、図19下段のように片方のビデオフレーム列のみに2D映像を格納して、もう一方のビデオフレーム列には映像を格納しないことが好ましい。その方が、2D映像の符号化に多くのビットレートを確保することが出来る。
そこで、トランスポートストリームに多重化されるビデオストリームの2D再生区間と3D再生区間を判別できるように、図20のように3D再生情報ディスクリプタを用意する。3D再生情報ディスクリプタは、PMTパケットに格納される。3D再生情報ディスクリプタには、再生方式と開始PTSが用意されている。再生方式は、2D再生か、3D再生かを示す識別子であり、開始PTSは、該当再生区間がどのフレームから始まるのかを示すための時刻情報である。3D再生情報ディスクリプタ(A)は、PTS180000から3D再生区間が始まることを示し、3D再生情報ディスクリプタ(B)は、PTS5580000から2D再生区間が始まることを示し、3D再生情報ディスクリプタ(C)は、PTS10980000から3D再生区間が始まることを示す。3D再生装置は、この情報を参照することにより、どこが3D再生なのか、2D再生なのかを判別できるため、2D映像再生区間においては、左目ビデオフレーム列のみをデコードして表示を行うことができ、この間は右目ビデオフレーム列にデータを格納しなくても良くなり、左目ビデオフレーム列の符号化にビットレートを多く確保することが出来る。
なお、どちらのビデオストリームを2D映像として再生するかを示すために、3D再生情報ディスクリプタには、2D映像として再生を行うビデオのPIDを指定できるようにしても良い。ここで、2D映像として再生を行うビデオストリームをベースビデオストリーム、3D映像としてのみ再生を行うビデオストリームを拡張ビデオストリームと以降呼ぶことにする。PIDで指定するのではなく、ベースビデオは通常のストリームタイプを使い拡張ビデオは特殊なストリームタイプが設定されるとしても良い。
なお、3D再生情報ディスクリプタは、ベースビデオストリームの補足データや拡張領域に格納されていてもよい。再生装置による表示切替の準備を前もって行うために、該当の2D再生区間(B)のビデオストリームではなく、その前にある3D再生区間(A)に格納されていても良い。
なお、図20において、拡張ビデオが存在しない2D再生区間(B)の最終ビデオフレームには、ビデオフレームがなくなる旨をシグナリングする情報が格納されていても良い。例えば、EndOfSequenceなどである。再生装置は、デコード時にこの信号を受け取れば、そこで、拡張ビデオがなくなることが分かり、2D映像再生に遷移することが可能となる。
なお、2D再生区間においては、ベースビデオストリームに2D映像を格納しておき、拡張ビデオストリームも用意しておくが、2D映像ではなく、例えば黒映像など低ビットレートで実現でき、また、ユーザに2D再生を促すメッセージを表示する映像を格納しておくようにしておき、3D再生情報ディスクリプタを拡張ビデオストリームの補足データや拡張領域に格納されているようにしても良い。この場合、再生装置は、拡張ビデオストリームに格納される3D再生情報ディスクリプタを参照して、2D再生であると判別できる場合には、ベースビデオストリームのみを使って2D映像の再生を行う。再生装置が3D再生情報ディスクリプタを処理できない場合には、ユーザに2D再生を促すメッセージが表示されるため、ユーザに2D映像再生処理を促すことが出来る。2D再生区間における拡張ビデオのビットレートは低くてすむため、その分、ベースビデオにビットレートを割り当てることが出来る。
なお、3D再生情報ディスクリプタがPMTパケットに格納される場合には、該当PMTパケットの再生装置への到着時刻とビデオストリームの表示時刻にギャップがあるため、このギャップにおいては、黒映像のような無意味な映像を格納しても良い。このようにすることで、ユーザがコンテンツを楽しめなくなる区間を発生させずにすむ。
なお、3D再生情報ディスクリプタの再生方式が2Dの場合には、HDMIの再認証を避けるために、該当の2D再生区間においてはフレームを複製して3Dと同じフォーマット(フレームレートなど)になるように、2Dのフレームをダブリングして再生するようにしても良い。
なお、図18のような2つのビデオストリームで3D映像を伝送する方式の場合には、PMTパケットのディスクリプタには、どのビデオストリームとペアで3D映像を構成するかを示す情報が格納されている。例えば、図18の例では、左目映像はPIDが0x1011、右目映像はPIDが0x1015であり、この場合には、そのディスクリプタには、左目映像のPID=0x1011で、右目映像のPID=0x1015であるという情報が記載される。もしくは、該当ビデオストリームに対応するストリームディスクリプタに、反対側のビューのPIDが記載されてもよい。例えば、図18の例では、左目映像のビデオストリームに対応するストリームディスクリプタに、右目映像ビデオストリームのPIDとして0x1015が格納され、右目映像のビデオストリームに対応するストリームディスクリプタに、左目映像ビデオストリームのPIDとして0x1011が格納される。なお、左右のペアを識別するディスクリプタとしては、それぞれのビデオストリームに付加されるディスクリプタに、ペアとなる相手側のPIDが格納されても良い。なお、左右のペアを識別するディスクリプタとしては、MPEG-2システム規格に定義されるヒエラルキーディスクリプタを使っても良い。この場合には、新しいヒエラルキータイプを用意しても良い。
なお、図18のような2つのビデオストリームで3D映像を伝送する方式の場合には、3D再生での早送りなどの特殊再生の効率化のために、ピクチャタイプを図21下段のように制約しても良い。ベースビデオストリームのビデオアクセスユニットがIピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもIピクチャで構成する。ベースビデオストリームのビデオアクセスユニットがPピクチャであれば、同一PTSを持つ拡張ビデオストリームのビデオアクセスユニットもPピクチャで構成する。図21上段はその制約をしていない場合であるが、この場合には、IピクチャとPピクチャを選んで特殊再生を行う再生装置では、ベースビデオのビデオアクセスユニットがPピクチャ(P3)の場合に、同一時刻の拡張ビデオのビデオアクセスユニットはBピクチャ(B3)なので、この場合、拡張ビデオの方は、前に存在するPピクチャ(P2)までデコードしなければならず負荷が大きくなる。図21下段のように制約することで、該当時刻のピクチャのみをデコードすればよいので処理負荷が図21上段に比較して小さくすむ。
なお、図18のような2つのビデオストリームで3D映像を伝送する方式の場合には、二つのストリームにおけるフレームレート、解像度、アスペクト比などの属性は同じにすると制約しても良い。このように構成することで、片方の属性情報のみを解析すればよいので処理が楽になる。
なお、図18のような2つのビデオストリームで3D映像を伝送する方式の場合には、図22のように多重化の制約を追加しても良い。この場合、図22において、B#NStartはGOP#N先頭のベースビデオのTSパケットであり、E#NStartは、GOP#N先頭の拡張ビデオのTSパケットであり、B#N+1StartはGOP#N+1先頭のベースビデオのTSパケットであり、E#NEndは、GOP#N終端の拡張ビデオのTSパケットである。この場合、図22上段のような構成の場合には、ベースビデオ単位で飛び込み再生を行うためにB#NStartから飛び込み再生をしようとしても、対応する拡張ビデオのパケットを読み込めない。また、ベースビデオのGOP単位で編集を行う場合にも、ベースビューのGOPの範囲に同一時刻の拡張ビデオが入らない。この場合、再生装置や編集装置は、ベースビデオだけでなく拡張ビデオのGOP構成もチェックする必要があり処理負荷が大きい。そこで、図22下段のように、GOP#N先頭のベースビデオのTSパケットは、GOP#N先頭の拡張ビデオのTSパケットよりも前に来るように構成し、GOP#N+1先頭のベースビデオのTSパケットは、GOP#N終端の拡張ビデオのTSパケットよりも後ろに来るように構成する。このようにすることで、飛び込み再生や編集をベースビデオ単位で行うことが出来る。
なお、図18の構成では、拡張ビデオは、左目もしくは右目映像を指すとしたが、2D映像の奥行きを映像化したデプスマップでもよい。デプスマップの場合は、3Dの再生方式をディスクリプタで指定できるとしてもよい。(データ作成装置)
次に本実施の形態に係るデータ作成装置およびデータ作成方法について図23を参照しながら説明を行う。
次に本実施の形態に係るデータ作成装置およびデータ作成方法について図23を参照しながら説明を行う。
データ作成装置は、ビデオエンコーダ2301、多重化処理部2302、データ格納方法決定部2303から構成されている。
データ格納方法決定部2303は、作成するトランスポートストリームのデータフォーマットを指定する。例えば、図14の例に示す映像フォーマットの場合には、PTS180000から5580000まではSide-by-Side再生区間、PTS5580000から10980000までは2D再生区間、PTS10980000以降まではTopBottom再生区間と指定する。この再生方式の情報と、時刻情報およびフレームパッキング情報格納タイプをビデオエンコーダ2301に指定する。
ビデオエンコーダ2301は、左目映像の非圧縮のビットマップなどの画像イメージと、右目映像の非圧縮のビットマップなどの画像イメージからMPEG4-AVCやMPEG2などの圧縮方式に従い、データ格納方法決定部2303の指定に従って符合化を行う。データ格納方法決定部2303が、「Side-by-Side方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを左右に1フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。データ格納方法決定部2303が、「2D映像」と指定する場合には、フルHDの2D映像の画像イメージ圧縮符合化を行う。データ格納方法決定部2303が、「TopBottom方式の3D映像」と指定する場合には、フルHDの左目映像の画像イメージとフルHDの右目映像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを上下に1フレームにSide-by-Side方式で格納した後、圧縮符合化を行う。そして、本実施の形態で説明した映像フォーマットに従って、各方式に従ったフレームパッキング情報を補足データに格納する。格納方法は、データ格納方法決定部2303から指定されるフレームパッキング情報格納タイプにしたがう。圧縮した映像ストリームはビデオストリームとして出力される。
多重化処理部1702は、ビデオエンコーダ2301から出力されたビデオストリームや、オーディオ、字幕などのストリームとともに、データ格納方法決定部2303の指示に従い多重化を行い、トランスポートストリームを作成して出力する。データ格納方法決定部1703が、「Side-by-Side方式の3D映像」と指定する場合には、トランスポートストリームへの多重化を行うとともに、本実施の形態で説明した映像フォーマットに従って、PMTパケットに「フレームパッキング情報ディスクリプタ」を格納して、トランスポートストリームを出力する。
以上が本実施の形態に係るデータ作成装置およびデータ作成方法である。
(実施の形態2)
実施の形態2として、上述のディスクリプタの具体的な形態について説明する。
実施の形態2として、上述のディスクリプタの具体的な形態について説明する。
3D番組の放送は、複数のビデオストリームを1本のトランスポートストリームに多重化して、放送局がかかるトランスポートストリームを各世帯のテレビ表示装置に供給することでなされる。この際、トランスポートストリームが格納するビデオストリームの組み合わせには、様々なパターンが存在する。本実施の形態にかかるディスクリプタは、かかる様々なストリーム構成において、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするものである。
図25は、2D再生および3D再生時の左目用(L)映像として用いられるビデオに加え、右目用(R)映像のビデオを格納するトランスポートストリーム構成(2D/L + R)を示す図である。本図に示される例において、トランスポートストリームは、2D再生並びに3D再生時の左目用映像として用いられるビデオストリーム(ベースビデオストリーム)、および右目用のビデオストリーム(拡張ビデオストリーム♯1)を格納している。
ベースビデオストリーム、拡張ビデオストリームはそれぞれ、PMTに固有のストリームタイプが定義される。また、ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
2Dテレビ、または3Dテレビの2Dモードにおいては、2D/Lのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、2D/Lのビデオストリーム、およびRのビデオストリームを用いて、3D再生を行う。
上記の2D/L + Rのストリーム構成の他に、2Dのビデオとは別に、左目用(L)のビデオ、および右目用(R)のビデオを2本格納するトランスポートストリームの構成(2D + L + R)がある。
図26は、2D + L + Rのトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム(ベースビデオストリーム)、左目用のビデオストリーム(拡張ビデオストリーム♯1)、および右目用のビデオストリーム(拡張ビデオストリーム♯2)を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、左目用のビデオストリーム、および右目用のビデオストリームを用いて、3D再生を行う。
このように、再生装置が受信するトランスポートストリームには、様々なストリーム構成が考えられる。このような状況下において、再生装置が、2D映像、3D映像を構成するビデオストリームを特定し、2D再生、3D再生の互換再生、およびシームレスな2D再生、3D再生の切り替えの実現を可能とするため、本実施の形態では、以下に示すディスクリプタをトランスポートストリームに格納する。
このディスクリプタには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorがある。
以下では、上記の3つのディスクリプタの具体的内容について説明する。まず、3D_system_info_descriptorについて説明する。
3D_system_info_descriptorは、PMTパケット内の番組情報長(program_info_length)フィールドに続く記述子フィールド(プログラムループ)に格納される。すなわち、図10においてディスクリプタ♯1〜♯Nに格納される。
3D_system_info_descriptorは、トランスポートストリームが提供する3D方式を示す。具体的には、2D再生、フレーム互換方式による3D再生、またはサービス互換方式による3D再生のいずれかの再生方式を示す。また、3D_system_info_descriptorは、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す。
図27は、3D_system_info_descriptorの構造を示す図である。
3D_playback_typeは、トランスポートストリームが提供する再生方式を示す識別子である。図28は、3D_playback_typeに設定される値を示す図である。本図に示されるように、値が0の場合は、本トランスポートストリームにより2D再生が提供されることを示し、値が01の場合は、フレーム互換方式による3D再生が提供されることを示し、値が10の場合は、サービス互換方式による3D再生が提供されることを示す。2D + L + Rや2D/L + Rのストリーム構成の場合は、10の値が設定される。
このように、再生装置は、3D_playback_typeを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
2D_independent_flagは、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを示す識別子である。値が0の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されていることを示す。値が1の場合は、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが独立して存在することを示す。2D/L + Rのストリーム構成の場合は、0の値が設定される。2D + L + Rのストリーム構成の場合は、1の値が設定される。
このように、再生装置は、2D_independent_flagを参照することで、フレーム互換方式による3D再生、またはサービス互換方式による3D再生の場合(3D_playback_typeに設定される値が01、または10の場合)において、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか識別することができる。
2D_view_flagは、3Dを構成するビデオストリームのうち、どちらを2D再生に用いるかを示す識別子である。3Dを構成するビデオストリームがフレーム互換方式である場合、2D_view_flagは、左目用画像、右目用画像のどちらを2D再生に用いるかを示す。3Dを構成するビデオストリームがサービス互換方式の場合、2D_view_flagは、ベースビデオストリーム、拡張ビデオストリームのどちらを2D再生に用いるかを示す。
以上が、3D_system_info_descriptorについての説明である。続いて、3D_service_info_descriptorについて説明する。
3D_service_info_descriptorは、PMTパケット内のES情報長(ES_info_length)フィールドに続く記述子フィールド(ESループ)に格納される。すなわち、図10においてストリームディスクリプタ♯1〜♯Nに格納される。
3D_service_info_descriptorは、3D再生を実現するための補足情報を示す。具体的には、ビデオストリームが左目用のビデオであるか右目用のビデオであるかを示す。ただし、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。3D再生に用いられないビデオストリームだからである。
図29は、3D_service_info_descriptorの構造を示す図である。
is_base_videoは、ビデオストリームが、ベースビデオストリームであるか、拡張ビデオストリームであるかを示す識別子である。値が1の場合は、ビデオストリームがベースビデオストリームであることを示す。値が0の場合は、ビデオストリームが拡張ビデオストリームであることを示す。
leftview_flagは、ビデオストリームが左目映像であるか、右目映像であるかを示す識別子である。値が1の場合は、ビデオストリームが左目映像であることを示す。値が0の場合は、ビデオストリームが右目映像であることを示す。
再生装置は、このフラグを参照することで、3D映像として、テレビに表示する場合に、ビデオストリームを左目・右目どちらの視点映像として出力するかを識別することができる。なお、leftview_flagは、ビデオストリームがベースビデオストリームである場合、拡張ビデオストリームである場合の両方に設けられる。
以上が、3D_service_info_descriptorについての説明である。続いて、3D_combi_info_descriptorについて説明する。
3D_combi_info_descriptorは、PMTパケット内の番組情報長(program_info_length)フィールドに続く記述子フィールド(プログラムループ)に格納される。すなち、図10においてディスクリプタ♯1〜♯Nに格納される。
3D_combi_info_descriptorは、2D再生、3D再生に用いるビデオストリームの対応関係を示す。具体的には、トランスポートストリームを構成するビデオストリームのPIDを示す。
図30は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
Left_view_PID/tagは、左目用映像のビデオストリームのPIDを示す。
Right_view_PID/tagは、右目用映像のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。2Dモード/3Dモードのそれぞれで多重分離に使用すべきパケット識別子が1つのディスクリプタに記載されているから、2Dモードと3Dモードとの間での多重分離対象の切り替えを高速にすることができ、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + L + Rや2D/L + Rのストリーム構成におけるディスクリプタの説明である。
続いて、2Dのビデオに加えて、Side-by-Side方式のビデオを格納するトランスストリーム構成(2D + Side-by-Side)におけるディスクリプタの内容について説明する。
図31は、2D + Side-by-Sideのトランスポートストリームのストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム(ベースビデオストリーム)、およびSide-by-Side方式のビデオストリーム(拡張ビデオストリーム♯1)を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリームは、AVCにより動画圧縮符号化されている。
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、Side-by-Side方式の拡張ビデオストリーム♯1を用いて、3D再生を行う。
3D_system_info_descriptorは、図27に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。再生装置は、このディスクリプタを参照することで、トランスポートストリームが提供する再生方式を識別することができる。
図32は、3D_service_info_descriptorの構造を示す図である。図29に示す2D + L + Rのストリーム構成におけるディスクリプタに加えて、frame_packing_arrangement_typeが設けられている。
frame_packing_arrangement_typeは、ビデオストリームが、Side-by-Side方式であるか否かを示す識別子である。値が1の場合は、ビデオストリームがSide-by-Side方式であることを示す。値が0の場合は、TopBottom方式であることを示す。
再生装置は、この識別子を参照することにより、拡張ビデオストリームが、Side-by-Side方式であるか否かを識別でき、格納方式に対応した3D再生を行うことができる。
なお、上記の説明では、Side-by-Side方式の場合と、TopBottom方式の場合におけるframe_packing_arrangement_typeの値を設定したが、他に左目用映像を奇数ラインに、右目用映像を偶数ラインにインターリーブして配置するラインバイライン方式、左右の映像を合成し1フレームの中に市松模様のように上下左右交互に映像を格納するチェッカーボード方式における値をframe_packing_arrangement_typeに設定してもよい。
なお、2D再生にのみに用いられるビデオストリームは、3D再生に用いられないため、3D_service_info_descriptorを格納しない。
図33は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
Frame_compatible_3D_PID/tagは、フレーム互換方式のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるフレーム互換方式のビデオストリーム、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + Side-by-Sideのストリーム構成におけるディスクリプタの説明である。
続いて、2D再生のみに用いられるビデオに加えて、MVCにより圧縮符号化された2本のビデオ(ベースビュービデオストリーム、ディペンデントビューストリーム)を格納するトランスポートストリーム構成(2D + MVC)におけるディスクリプタの内容について説明する。
図34は、2D + MVCのトランスポートストリームの構成を示す図である。本図に示される例において、トランスポートストリームは、2Dのビデオストリーム(ベースビデオストリーム)、MVCのベースビューストリーム(拡張ビデオ♯1)、およびMVCのディペンデントビューストリーム(拡張ビデオ♯2)を格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯1、拡張ビデオストリーム♯2はMVCにより動画圧縮符号化されている。
上記トランスポートストリームには、2D + L + Rのストリーム構成の場合と同様に、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、2Dのベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、MVCにより圧縮符号化された拡張ビデオストリーム♯1、拡張ビデオストリーム♯2を用いて、3D再生を行う。
3D_system_info_descriptor、3D_service_info_descriptorは、図27、図29に示す2D + L + Rのストリーム構成の場合と同様の構造であり説明を略する。なお、2D + L + Rのストリーム構成の場合と同様に、2D再生にのみ用いられるビデオストリームに対しては、3D_service_info_descriptorを格納しない。
図35は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生に用いられるビデオストリームのPIDを示す。
MVC_base_view_PID/tagは、MVCのベースビューストリームのPIDを示す。
MVC_dept_view_PID/tagは、MVCのディペンデントビューストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、3D再生に用いるMVCのビデオストリームのペア、および2D再生に用いられるビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能になる。
以上が、2D + MVCのストリーム構成におけるディスクリプタの説明である。
続いて、2D再生、および3D再生時のL映像として用いられるビデオに加え、複数視点のR映像のビデオを格納するトランスポートストリーム構成(2D + R1 + R2)におけるディスクリプタの内容について説明する。
図36は、2D + R1 + R2のトランスポートストリームのストリーム構成を示す図である。本図に示される例において、トランスポートストリームは、2D再生、および3D再生時のL映像として用いられるビデオストリーム(ベースビデオストリーム)、第1のR映像のビデオストリーム(拡張ビデオストリーム♯1)、および第2のR映像のビデオストリームを格納している。ベースビデオストリームは、MPEG-2により動画圧縮符号化され、拡張ビデオストリーム♯1、および拡張ビデオストリーム♯2は、AVCにより動画圧縮符号化されている。
上記トランスポートストリームには、3D方式を通知する3D_system_info_descriptor、3D再生を実現するための補足情報である3D_service_info_descriptor、2D再生、3D再生に用いるビデオストリームの対応関係を示す3D_combi_info_descriptorが格納されている。
テレビ等の再生装置は、これらのディスクリプタを参照し、2Dテレビ、または3Dテレビの2Dモードにおいては、ベースビデオストリームを用いて2D再生を行う。一方、3Dテレビの3Dモードにおいては、ベースビデオストリームと拡張ビデオストリーム♯1、またはベースビデオストリームと拡張ビデオストリーム♯2を用いて、3D再生を行う。
図37は、3D_system_info_descriptorの構造を示す図である。図29に示す2D + L + Rのストリーム構成におけるディスクリプタにおいて、2D_independent_flagの代わりに、camera_assingment_typeが設けされている。
camera_assingment_typeは、トランスポートストリームに格納されるビデオストリームに対するカメラの配置タイプを示す識別子である。値が1の場合は、トランスポートストリームがセンター(C)のカメラ視点のビデオストリームから構成されることを示す。値が2の場合は、トランスポートストリーム
が左視点(L)と右視点(R)のカメラ視点のビデオストリームから構成されることを示す。値が3の場合は、トランスポートストリームがセンター(C)、左視点(L)、および右視点(R)のカメラ視点のビデオストリームから構成されることを示す。値が4の場合は、トランスポートストリームが左視点(L)、第1右視点(R1)、および第2右視点(R2)のカメラ視点のビデオストリームから構成されることを示す。
が左視点(L)と右視点(R)のカメラ視点のビデオストリームから構成されることを示す。値が3の場合は、トランスポートストリームがセンター(C)、左視点(L)、および右視点(R)のカメラ視点のビデオストリームから構成されることを示す。値が4の場合は、トランスポートストリームが左視点(L)、第1右視点(R1)、および第2右視点(R2)のカメラ視点のビデオストリームから構成されることを示す。
再生装置は、この識別子を参照することで、トランスポートストリームを構成するビデオストリームのカメラの割り当てを識別することができる。
図38は、3D_service_info_descriptorの構造を示す図である。図31に示す2D + L + Rのストリーム構成におけるディスクリプタに
おいて、camera_assingmentが新たに設けられている。
おいて、camera_assingmentが新たに設けられている。
camera_assingmentは、ビデオストリームの左目、センター、右目といったカメラの位置情報を示す識別子である。
再生装置は、この識別子を参照することで、ビデオストリームに対応するカメラ配置を識別することができる。
図39は、3D_combi_info_descriptorの構造を示す図である。
2D_view_PID/tagは、2D再生、および3D再生時のL映像として用いられるビデオストリームのPIDを示す。
Right1_view_PID/tagは、第1のR映像のビデオストリームのPIDを示す。
Right2_view_PID/tagは、第2のR映像のビデオストリームのPIDを示す。
再生装置は、これらのディスクリプタを参照することにより、2D再生、および3D再生時のL映像として用いられるビデオストリーム、複数のR視点のビデオストリームを特定することができる。これにより、シームレスな2D、3D再生の切り替えが可能となる。
以上が、2D + R1 + R2のストリーム構成におけるディスクリプタの説明である。
以上、トランスポートストリームの構成のパターンを説明したが、上述のディスクリプタをトランスポートストリームに格納することにより、トランスポートストリームにおいて様々なストリーム構成が可能となる。再生装置は、ディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定し、2D再生、3D再生のシームレスな切り替え処理が可能となる。
なお、上述のトランスポートストリームの構成パターンにおいては、AVCにより圧縮符号化した拡張ビデオストリームを格納する場合を説明したが、これに限られない。AVC以外の動画圧縮符号化技術により圧縮符号化した拡張ビデオストリームを格納してもよい。例えば、次世代の動画圧縮符号化技術であるH.265により、拡張ビデオストリームを圧縮符号化してもよい。
また、上記では、3D_combi_info_descriptorに、3D映像を構成するビデオストリームを示す情報を格納したが、L及びRのビデオストリームに対応するストリームディスクリプタに、3D再生において組合せの相手側となる視点のビデオストリームのPIDを記載してもよい。
また、ベースストリームと拡張ストリームにクローズドキャプション(Closed Caption)の字幕データが含まれる場合、2D再生または3D再生でどちらデータを使うかを示す識別子をトランスポートストリームのPMTに格納してもよい。
再生装置は、この識別子を参照することにより、2D再生または3D再生で用いるべきクローズドキャプションのデータを識別することができる。
また、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorは、PMTパケット内に格納されるとしたが、格納位置はこれに限られない。トランスポートストリームのいずれかの領域に格納されていればよい。例えば、PMTパケット以外の、各ビデオストリームの補足データ等に格納されてもよい。
また、上記では、3D_combi_info_descriptorに、ビデオストリームのPIDを設定することにより、2D再生に用いられるビデオストリーム、3D再生に用いられるビデオストリームを特定したが、これに限定されない。3D_combi_info_descriptorには、多重化されるビデオストリームを特定できる情報が含まれていればよい。
例えば、MPEG-2システム規格に定義されるヒエラルキーディスクリプタを設定することにより、各ビデオストリームを特定してもよい。具体的には、hierarchy_descriptorに新しいhierarchy_typeを定義し、3D_combi_info_descriptorからは、hierarchy_layer_indexを使って、ビデオストリームを指定することにより、3D再生に用いるビデオストリームのペア、および2D再生に用いられるビデオストリームの各ビデオストリームを特定する。
次に、本実施の形態にかかるトランスポートストリームのデータ作成装置について説明する。
図40は、本実施の形態にかかるデータ作成装置4000の内部構成を示す図である。本図に示すように、データ作成装置4000は、ビデオエンコーダ4001、多重化処理部4002、データ格納方法決定部4003、ユーザーインターフェイス部4004を含んで構成される。
ユーザーインターフェイス部4004は、データ作成者に対し、キーボード、マウス、その他のコントローラ等を用いたデータ入力を提供する。データ作成者は、ユーザーインターフェイス部4004を用いて、作成するトランスポートストリームのストリーム構成パターンや圧縮符号化方式を指定する。
データ格納方法決定部4003は、ユーザーインターフェイス部4004によるユーザ指定に応じて、トランスポートストリームのストリーム構成やビデオストリームの圧縮符号化方式を決定する。
ビデオエンコーダ4001は、3D映像原画を、MPEG-2、AVC、MVC、H.265などの圧縮符号化方式により、動画圧縮符号化することにより、データ格納方法決定部4003に指定されたビデオストリームを作成する。
多重化処理部4002は、データ格納方法決定部3903の指示に従い、作成するトランスポートストリームのストリーム構造に応じた、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptor、の各ディスクリプタを作成する。そして、ビデオエンコーダ4001から出力されたビデオストリーム、オーディオ、字幕などのストリームとともに、各ディスクリプタを、データ格納方法決定部4003の指示に従い多重化することにより、トランスポートストリームを作成する。
作成したトランスポートストリームは、外部の記録媒体に記録する。また、外部の送信部により、放送またはネットワークを経由してデータを送信する
以上がデータ作成装置の構成についての説明である。続いて、このデータ作成装置の動作について説明する。
以上がデータ作成装置の構成についての説明である。続いて、このデータ作成装置の動作について説明する。
図41は、データ作成装置4000の符号化処理の流れを示すフローチャートである。
まず、データ格納方法決定部4003は、トランスポートストリームを構成するビデオストリームのパターンを決定する(ステップS4101)。具体的には、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式を決定する。ここでは、図25、図26、図31、図34、図37に示したストリーム構成のパターンが考えられるが、Side-by-Sideのビデオストリームのみを格納するストリーム構成(2D/SBS)、その他のストリーム構成であってもよい。
次に、ビデオエンコーダ4001は、3D原画を圧縮符号化し、ビデオストリームを作成する(ステップS4102)。この際、ビデオエンコーダ4001は、データ格納方法決定部4003による、トランスポートストリームのストリーム構成、およびトランスポートストリームに格納するビデオストリームの圧縮符号化方式の指定に基づき圧縮符号化方式を決定し、3D映像原画の圧縮符号化を行う。
次に、多重化処理部4002は、データ格納方法決定部4003が指定するトランスポートストリームのストリーム構成に基づき、ビデオストリームを各フレームに格納する(ステップS4103)。
次に、多重化処理部4002は、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを作成し、トランスポートストリームのPMT内に格納する(ステップS4104)。この際、多重化処理部4002は、データ格納方法決定部4003の指定するトランスポートストリームのストリーム構成に基づき、各ディスクリプタを作成する。
以上が、データ作成装置4000の動作について説明である。
次に、本実施の形態にかかるトランスポートストリームの再生装置である3Dデジタルテレビについて説明する。
図42は、本実施の形態にかかる3Dデジタルテレビ4200の内部構成を示す図である。本図に示されるように、3Dデジタルテレビ4200は、チューナ4201、NIC4202、ユーザーインターフェイス部4203、モード記憶部4204、多重分離部4205、表示判定部4206、映像デコード部4207、フレームバッファ(1)4208、表示処理部4209、フレームバッファ(L)4110、フレームバッファ(R)4112、スイッチ4111、表示部4113を含んで構成される。
チューナ4201は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
ネットワークインターフェイスカード(NIC)4202は、IPネットワークと接続されており、外部から入力されたトランスポートストリームを受信する機能を有している。
ユーザーインターフェイス部4203は、チャネル選択操作、2Dモード/3Dモードの選択操作などをユーザから受け付ける。
モード記憶部4204は、カレントの表示モードが、2Dモード、3Dモードの何れであるかを示すフラグを格納している。
多重分離部4205は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリーム、グラフィクスストリームなどに分離し、ビデオストリームを映像デコード部4207へ出力する機能を有する。
また、多重分離部4205は、受信したトランスポートストリームから、PSIなどのシステムパケットを抽出し、PMTパケットから、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを取得し、表示判定部4206に通知する。
ビデオストリームのデマックスにおいては、表示判定部4206からカレントの表示モードにおいてデマックスすべきTSパケットのPIDの指定を受け付ける。多重分離部4205は、指定されたPIDのTSパケットを分離することで、ビデオストリームを取得する。
なお、多重分離部4205は、チューナ4201やNIC4202からトランスポートストリームを読み出すことに加えて、記録媒体からトランスポートストリームを読み出すこともできる。
表示判定部4206は、多重分離部4205から通知される、3D_system_info_descriptor、3D_service_info_descriptor、3D_combi_info_descriptorの各ディスクリプタを参照して、トランスポートストリームのストリーム構成を把握する。そして、モード記憶部4204が示すカレントの表示モードにおいて、デマックスすべきTSパケットのPIDを多重分離部4205に通知する。
また、表示判定部4206は、3Dの再生方式がフレーム互換方式の場合において、3D_system_info_descriptorの2D_view_flagや、3D_service_info_descriptorのframe_packing_arrangement_typeを参照して、表示処理部4209に対して、左目用画像、右目用画像のどちらを2D再生に用いるか、ビデオストリームが、Side-by-Side方式であるか等を通知する。
映像デコード部4207は、ビデオストリームを多重分離部4205から受け取ると、受け取ったストリームのデコードを行う。映像デコード部4207は、復号化されたフレームをフレームバッファ(1)4208へ書き込む。
フレームバッファ(1)4108は、映像デコード部4207で復号化されたフレームを格納するための領域を有する。
表示処理部4209は、フレームバッファ(1)4208に格納されるビデオストリームがSide-by-Side形式の場合において、クロッピング情報に従ったクロッピング制御、スケーリング情報に従ったスケーリング制御を実行する。クロッピング処理により得られた左目用フレーム、右目用フレームは、フレームバッファ(L)、フレームバッファ(R)に格納する。
また、表示処理部4209は、フレームバッファ(1)4208に格納されるビデオストリームが、左目用のビデオストリーム、右目用のビデオストリームの場合においては、ビデオストリームをフレームバッファ(L)4210、フレームバッファ(R)4212に振り分ける。
フレームバッファ(L)4210、フレームバッファ(R)4212は、表示処理部4209から出力されるフレームを格納するための領域を有する。
スイッチ4211は、フレームバッファ(L)4210、フレームバッファ(R)4212に書き出されたフレーム画像を選択して表示部に転送する。
表示部4213は、スイッチ4211から転送されたフレームを表示する。表示部4213は3D眼鏡に通信を行い、左目画像が表示されるときは、3D眼鏡の左目側が開き、右目画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッターを制御する。なお、2D映像を表示する場合には、3D眼鏡の制御は行われない。
以上が3Dデジタルテレビ4200の構成についての説明である。
続いて、この3Dデジタルテレビ4200の動作について説明する。図43は、3Dデジタルテレビ4200による番組の再生処理の流れの一例を示すフローチャートである。
本図に示されるように、多重分離部4205は、トランスポートストリームのPMTを解析し、ディスクリプタを抽出する(ステップS4301)。
表示判定部4206は、多重分離部4205により抽出された3D_system_info_descriptorの3D_playback_typeを参照し、受信したトランスポートストリームの再生方式を判定する(ステップS4302)。
再生方式がサービス互換方式である場合(ステップS4302)、表示判定部4206は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する(ステップS4303)。
2D_independent_flagの値が0の場合(ステップS4303、NO)表示判定部4206は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する(ステップS4304)。
トランスポートストリームのストリーム構成が2D/L + R1 + R2である場合(ステップS4305、YES)、3Dデジタルテレビ4200は、後述する2D/L + R1 + R2のストリームの処理を行う(ステップS4306)。
トランスポートストリームのストリーム構成が2D/L + Rである場合(ステップS4305、NO)、3Dデジタルテレビ4200は、後述する2D/L + Rのストリームの処理を行う(ステップS4307)。
2D_independent_flagの値が1の場合(ステップS4303、YES)表示判定部4206は、3D_combi_info_descriptorを参照して、ストリーム構成を特定する(ステップS4308)。
トランスポートストリームのストリーム構成がMPEG2 + MVC(Base) +MVC(Dependent)である場合(ステップS4310、YES)、3Dデジタルテレビ4200は、後述するMPEG2 + MVC(Base) +MVC(Dependent)のストリームの処理を行う(ステップS4311)。
トランスポートストリームのストリーム構成がMPEG2 + AVC + AVCである場合(ステップS4309、YES)、3Dデジタルテレビ4200は、後述するMPEG2 + AVC + AVCのストリームの処理を行う(ステップS4312)。
再生方式がフレーム互換方式である場合(ステップS4302)、表示判定部4206は、3D_system_info_descriptorの2D_independent_flagを参照し、2D再生に用いられるビデオストリームと、3D再生に用いられるビデオストリームが共有されているか否かを判定する(ステップS4313)。
2D_independent_flagの値が0の場合(ステップS4313、NO)、3Dデジタルテレビ4200は、後述する2D/SBSのストリームの処理を行う(ステップS4314)。
2D_independent_flagの値が1の場合(ステップS4313、YES)、3Dデジタルテレビ4200は、後述する2D + SBSのストリームの処理を行う(ステップS4315)。
次に、ステップS4215の2D + SBSのストリームの処理の詳細について説明する。図44は、2D + SBSのストリームの処理の流れを示すフローチャートである。
本図に示されるように、表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4401)。
カレントモードが2Dモードである場合(ステップS4401)、表示判定部4206は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、2Dビデオストリームを抽出する(ステップS4402)。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は2D再生を行う(ステップS4403)。
カレントモードが3Dモードである場合(ステップS4401)、表示判定部4206は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるTSパケットを分離し、ビデオストリームを抽出する(ステップS4404)。
表示判定部4206は、3D_service_info_descriptorのframe_packing_arrangement_typeを参照し、Side-by-Side形式で格納されているか判定する(ステップS4405)。
frame_packing_arrangement_typeがSide-by-Side形式である場合(ステップS4405、YES)、表示処理部4209は、左右に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う(ステップS4406)。
frame_packing_arrangement_typeがSide-by-Side形式でない場合(ステップS4305、NO)、TopBottom方式と特定し、表示処理部4209は、上下に存在する左目用画像、右目用画像をクロップアウトすることで、3D再生を行う(ステップS4407)。
以上が、ステップS4315の2D + SBSのストリームの処理の詳細についての説明である。続いて、ステップS4314の2D/SBSのストリームの処理の詳細について説明する。
図45は、2D/SBSのストリームの処理の流れを示すフローチャートである。本図に示されるように、多重分離部4205は、3D_combi_info_descriptorのframe_compatible_3D_PID/tagに示されるTSパケットを分離し、2D/SBSのビデオストリームを抽出する(ステップS4501)。
表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4502)。
カレントモードが2Dモードである場合(ステップS4502)、表示判定部4206は、3D_system_info_descriptor_の2D_view_flagを参照し、Side-by-Sideのフレームのうち、どちらを2D再生に用いるか判定する。
2D_view_flagが左目用画像を示す場合(ステップS4503、YES)、表示処理部4209は、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトすることで2D再生を行う(ステップS4505)。
2D_view_flagが右目用画像を示す場合(ステップS4503、NO)、表示処理部4209は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトすることで2D再生を行う(ステップS4504)。
カレントモードが3Dモードである場合(ステップS4502)、表示処理部4209は、Side-by-Sideのフレームのうち、右目用画像の領域をクロップアウトし(ステップS4506)、Side-by-Sideのフレームのうち、左目用画像の領域をクロップアウトする(ステップS4507)。
3Dデジタルテレビ4200は、クロップアウトした左目用画像、右目用画像を交互に表示部4213に出力することで3D再生を行う(ステップS4508)。
以上が、ステップS4314の2D/SBSのストリームの処理の詳細についての説明である。続いて、ステップ4307の2D/L + Rのストリームの処理の詳細について説明する。
図46は、2D/L + Rのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4601)。
カレントモードが3Dモードである場合(ステップS4601)、表示判定部4206は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるTSパケット、およびRight_view_PID/tagに示されるTSパケットを分離し、2D/Lビデオストリーム、Rのビデオストリームを抽出する(ステップS4602)。
そして、抽出した2D/Lビデオストリーム、Rのビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は3D再生を行う(ステップS4603)。
カレントモードが2Dモードである場合(ステップS4601)、多重分離部4205は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、2D/Lビデオストリームを抽出する(ステップS4604)。
そして、抽出した2D/Lビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は2D再生を行う(ステップS4605)。
以上が、ステップS4307の2D/L + Rのストリームの処理の詳細についての説明である。続いて、ステップ4306の2D/L + R1 + R2のストリームの処理の詳細について説明する。なお、図46で示した2D/L + Rのストリームの処理における処理と同内容の処理については、同符号を付す。
図47は、2D/L + R1 + R2のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4601)。
カレントモードが3Dモードである場合(ステップS4601)、表示判定部4206は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるTSパケット、Right1_view_PID/tagに示されるTSパケット、およびRight2_view_PID/tagに示されるTSパケットを分離し、2D/Lビデオストリーム、R1のビデオストリーム、R2のビデオストリームを抽出する(ステップS4701)。
そして、抽出した2D/Lビデオストリームと、R1のビデオストリームまたはR2のビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は3D再生を行う(ステップS4702)。
ステップS4604、4605については、図46に示す2D/L + Rのストリームの処理における処理と同内容の処理であり、説明を略する。
以上が、ステップS4306の2D/L + R1 + R2のストリームの処理の詳細についての説明である。続いて、ステップ4312のMPEG2 + AVC + AVCのストリームの処理の詳細について説明する。
図48は、MPEG2 + AVC + AVCのストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4801)。
カレントモードが2Dモードの場合、表示判定部4206は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する(ステップS4802)。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は2D再生を行う(ステップS4803)。
カレントモードが3Dモードの場合、表示判定部4206は、3D_combi_info_descriptorのLeft_view_PID/tagに示されるTSパケット、およびRight_view_PID/tagに示されるTSパケットを分離し、左目用のビデオストリーム、右目用のビデオストリームを抽出する(ステップS4804)。
そして抽出した左目用のビデオストリーム、右目用のビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は3D再生を行う(ステップS4805)。
以上が、ステップS4312のMPEG2 + AVC + AVCのストリームの処理の詳細についての説明である。続いて、ステップ4311のMPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の詳細について説明する。
図49は、MPEG2 + MVC(Base) + MVC(Dependent)のストリームの処理の流れを示すフローチャートである。本図に示されるように、表示判定部4206は、モード記憶部4204のフラグを参照して、カレントモードが2Dモードであるか、3Dモードであるか判定する(ステップS4901)。
カレントモードが2Dモードの場合、表示判定部4206は、3D_combi_info_descriptorの2D_view_PID/tagに示されるTSパケットを分離し、MPEG2(2D)ビデオストリームを抽出する(ステップS4902)。
そして、抽出したMPEG2(2D)ビデオストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は2D再生を行う(ステップS4903)。
カレントモードが3Dモードの場合、表示判定部4206は、3D_combi_info_descriptorのMVC_base_view_PID/tagに示されるTSパケット、およびMVC_dept_view_PID/tagに示されるTSパケットを分離し、ベースビューストリーム、ディペンデントビューストリームを抽出する(ステップS4904)。
そして抽出したベースビューストリーム、ディペンデントビューストリームを映像デコード部4207でデコードし、ビデオ信号を表示部4213に出力することで、3Dデジタルテレビ4200は3D再生を行う(ステップS4905)。
以上のように、本実施の形態によれば、トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができる。
(補足)
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
(a)本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
(b)本発明は、上記各実施の形態に記載の画像処理装置を制御するLSIとしても実施可能である。このようなLSIは、各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に1チップ化されても良いし、一部または全てを含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
本発明にかかる符号化方法によれば、2D映像を構成するビデオストリーム、および3D映像を構成するビデオストリームを特定するディスクリプタをトランスポートストリームに格納することができる。トランスポートストリームに多重化されたディスクリプタを参照することにより、トランスポートストリームのストリーム構成を特定できるので、2D再生、3D再生の互換再生、および2D再生、3D再生のシームレスな切り替えを行うことができ、有益である。
100 再生装置
200 3D眼鏡
300 2Dデジタルテレビ
501 ビデオフレーム列
502 ビデオのPESパケット
503 ビデオのTSパケット
504 オーディオフレーム列
505 オーディオのPESパケット
506 オーディオのTSパケット
507 字幕ストリーム
508 字幕ストリームのPESパケット
509 字幕ストリームのTSパケット
513 トランスポートストリーム
1501 再生装置のチューナ
1502 再生装置のNIC
1503 再生装置の多重分離部
1504 再生装置の映像デコード部
1505 再生装置の表示判定部
1506 再生装置の表示処理部
1507 再生装置の表示部
1508 再生装置のフレームバッファ(1)
1510 再生装置のフレームバッファ(L)
1511 再生装置のフレームバッファ(R)
1512 再生装置のスイッチ
2301 ビデオエンコーダ
2302 多重化処理部
2303 データ格納方法決定部
4000 データ作成装置
4001 ビデオエンコーダ
4002 多重化処理部
4003 データ格納方法決定部
4004 ユーザーインターフェイス部4004
4200 3Dデジタルテレビ
4201 チューナ
4202 NIC
4203 ユーザーインターフェイス部
4204 モード記憶部
4205 多重分離部
4206 表示判定部
4207 映像デコード部
4208 フレームバッファ(1)
4209 表示処理部4209、
4210 フレームバッファ(L)
4211 スイッチ
4212 フレームバッファ(R)
4213 表示部
200 3D眼鏡
300 2Dデジタルテレビ
501 ビデオフレーム列
502 ビデオのPESパケット
503 ビデオのTSパケット
504 オーディオフレーム列
505 オーディオのPESパケット
506 オーディオのTSパケット
507 字幕ストリーム
508 字幕ストリームのPESパケット
509 字幕ストリームのTSパケット
513 トランスポートストリーム
1501 再生装置のチューナ
1502 再生装置のNIC
1503 再生装置の多重分離部
1504 再生装置の映像デコード部
1505 再生装置の表示判定部
1506 再生装置の表示処理部
1507 再生装置の表示部
1508 再生装置のフレームバッファ(1)
1510 再生装置のフレームバッファ(L)
1511 再生装置のフレームバッファ(R)
1512 再生装置のスイッチ
2301 ビデオエンコーダ
2302 多重化処理部
2303 データ格納方法決定部
4000 データ作成装置
4001 ビデオエンコーダ
4002 多重化処理部
4003 データ格納方法決定部
4004 ユーザーインターフェイス部4004
4200 3Dデジタルテレビ
4201 チューナ
4202 NIC
4203 ユーザーインターフェイス部
4204 モード記憶部
4205 多重分離部
4206 表示判定部
4207 映像デコード部
4208 フレームバッファ(1)
4209 表示処理部4209、
4210 フレームバッファ(L)
4211 スイッチ
4212 フレームバッファ(R)
4213 表示部
Claims (19)
- 符号化方法であって、
画像を圧縮符号化してビデオデータを生成するエンコードステップと、
前記エンコードステップによって生成される複数のビデオデータに対して多重化処理を施すことで、1つのトランスポートストリームを得る多重化ステップとを有し、
前記複数のビデオデータは、2D映像を構成する2Dビデオデータを含むとともに、複数のビデオデータを組み合わせることで3D映像を構成し、
3D映像を構成するビデオデータの組み合わせには、前記2Dビデオデータと1つの他のビデオデータの組み合わせと、2Dビデオデータ以外の2以上の他のビデオデータの組み合わせがあり、
前記トランスポートストリームは、3D映像を構成するビデオデータを特定する3D映像特定情報を含む
ことを特徴とする符号化方法。 - 前記符号化方法は、コンテンツテーブルを作成するコンテンツテーブル作成ステップを有し、
前記多重化ステップによる多重化は、
前記複数のビデオデータとコンテンツテーブルとを多重化することでなされ、
前記コンテンツテーブルは、1つ以上のテーブルディスクリプタと、各ビデオデータに対応するストリーム情報とを含み、
前記各ストリーム情報は、ストリームタイプと、ストリーム識別子と、ストリームディスクリプタとを含み、
前記3D映像特定情報は、テーブルディスクリプタ及びストリームディスクリプタの何れかに存在する
ことを特徴とする請求項1に記載の符号化方法。 - 前記3D映像特定情報は、2Dビデオデータを特定する2D映像特定情報を含むことを特徴とする請求項1に記載の符号化方法。
- 2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成するビデオデータに、それぞれ対応するデータ識別子を記載することでなされる
ことを特徴とする請求項3に記載の符号化方法。 - 前記トランスポートストリームは2D/3D共用フラグを含み、
前記2D/3D共用フラグは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示すことを特徴とする請求項1に記載の符号化方法。 - 前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータは、LRパック映像を構成し、
前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示す
ことを特徴とする請求項1に記載の符号化方法。 - 前記トランスポートストリームは、カメラのチャネル構成を示すカメラアサインメントを含み、
前記カメラのチャネル構成には、
Cチャネル、Lチャネル+Rチャネル、Cチャネル+Lチャネル+Rチャネル、Cチャネル+R1チャネル+R2チャネルがあり
前記カメラアサインメントは、前記3D映像特定情報によって特定されるビデオストリームが、前記カメラのチャネル構成のうち何れに従って撮影されたかを示す
ことを特徴とする請求項1に記載の符号化方法。 - 前記2Dビデオデータ、他のビデオデータのそれぞれには、文字表示制御情報が存在しており、
前記トランスポートストリームは、
2D再生モード、3D再生モードのそれぞれにおいて、2Dビデオデータ、他のビデオデータのうち、どちらのビデオデータに存在する文字表示制御情報を用いて文字表示を実現すべきかを示す情報を含む
ことを特徴とする請求項1に記載の符号化方法。 - ストリーム情報のストリームディスクリプタは、ビデオデータが左目画像及び右目画像のうち、何れに該当するかを示すフラグを含むことを特徴とする請求項2に記載の符号化方法。
- 前記3D映像特定情報を、コンテンツテーブルにおけるストリーム情報内のストリームディスクリプタ内に記述する
ことを特徴とする請求項2に記載の符号化方法。 - 前記作成ステップは、
前記コンテンツテーブルにおける各ビデオデータに対応するストリーム情報に、組合せの相手側となるビデオデータのストリーム識別子を記述することで、組合せの対象となる2以上のビデオデータを示す
ことを特徴とする請求項2に記載の符号化方法。 - 前記作成ステップは、
ディスクリプタを作成して、作成されたディスクリプタをビデオデータの内部に組込む
ことを特徴とする請求項2に記載の符号化方法。 - 表示装置であって、
装置外部からのトランスポートストリームの入力を受け付ける受付手段と、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶手段と、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生手段とを備え、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする表示装置。 - 前記トランスポートストリームは、複数のビデオデータと、コンテンツテーブルとをトランスポートストリームパケット列に変換することで得られ、
前記表示装置は、
トランスポートストリームから所定のトランスポートストリームパケットを分離する多重分離手段を備え、コンテンツテーブルを格納したトランスポートストリームパケットを分離することで、3D映像特定情報の取得を行う
ことを特徴とする請求項13に記載の表示装置。 - 前記3D映像特定情報には、2Dビデオデータを特定する2D映像特定情報を含み、
カレントモードが2Dモードである場合、多重分離部は、2D映像特定情報に基づき、2D映像を構成するビデオデータをトランスポートストリームから分離し、
カレントモードが3Dモードである場合、多重分離部は、3D映像特定情報に基づき、3D映像を構成するビデオデータを格納した複数のトランスポートストリームパケットをトランスポートストリームから分離する
ことを特徴とする請求項14に記載の表示装置。 - 2D映像特定情報及び3D映像特定情報によるビデオデータの特定は、2Dビデオデータ、左目映像を構成する左目ビデオデータ、右目映像を構成する右目ビデオデータに、それぞれ対応するストリーム識別子を記載することでなされる
ことを特徴とする請求項15に記載の表示装置。 - トランスポートストリームは、2Dビデオデータと、3D映像を構成する複数のビデオデータのいずれかが一致するか否かを示す2D/3D共用フラグを含み、
前記多重分離部は、2D映像を構成するビデオデータが複数のビデオデータの何れかと一致しない場合、2Dモード、3Dモードのそれぞれにおいて、多重分離の対象となるビデオデータを変更し、
再生手段は、3D映像を構成するビデオデータが1つである場合、1つのビデオデータにおける個々のフレームから、左目画像及び右目画像を切り出して、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行い、
3D映像を構成するビデオデータが2つ以上である場合、多重分離部によって分離された2以上のビデオデータをデコードすることで左目画像及び右目画像を得て、左目画像及び右目画像のそれぞれを表示に供することで3D画像の再生を行う
ことを特徴とする請求項16に記載の表示装置。 - 前記3D映像特定情報によって指定される3D映像を構成するビデオデータが1つの場合、
前記ビデオデータはLRパック映像を構成し、前記LRパック映像は、動画像を構成する個々のフレームに、左目画像と、右目画像とを格納した映像であり、
前記トランスポートストリームは、LRパック情報を含み、
LRパック情報は、左目画像及び右目画像が、どのようなパッキング方式でビデオデータの各フレームに格納されているかを示し、
再生手段は、LRパック情報に従って、フレームのうち、左目画像及び右目画像を切り出すべき領域を特定する
ことを特徴とする請求項17に記載の表示装置。 - 復号方法であって、
トランスポートストリームの入力を受け付ける受付ステップと、
2Dモード及び3Dモードの何れか1つをカレントモードとして記憶する記憶ステップと、
カレントモードが2Dモードである場合、トランスポートストリームに含まれる1つのビデオデータを用いて2D映像の再生を行う再生ステップとを含み、
トランスポートストリームは3D映像特定情報を備え、
3D映像特定情報は、3D映像を構成するビデオデータを特定し、
カレントモードが3Dモードである場合、トランスポートストリームに含まれる3D映像を構成するビデオデータを用いて3D映像の再生を行い、
3D映像を構成するビデオデータは、2D映像を構成する2Dビデオデータと1つの他のビデオデータとの組み合わせからなる場合と、前記2Dビデオデータ以外の他のビデオデータの2以上組み合わせからなる場合とがある
ことを特徴とする復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US40634710P | 2010-10-25 | 2010-10-25 | |
US61/406,347 | 2010-10-25 | ||
PCT/JP2011/074586 WO2012057164A1 (ja) | 2010-10-25 | 2011-10-25 | 符号化方法、表示装置、復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5336666B2 true JP5336666B2 (ja) | 2013-11-06 |
JPWO2012057164A1 JPWO2012057164A1 (ja) | 2014-05-12 |
Family
ID=45993870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012540892A Expired - Fee Related JP5336666B2 (ja) | 2010-10-25 | 2011-10-25 | 符号化方法、表示装置、復号方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20120106921A1 (ja) |
EP (1) | EP2635033A1 (ja) |
JP (1) | JP5336666B2 (ja) |
KR (1) | KR20130135244A (ja) |
CN (1) | CN103202023A (ja) |
MX (1) | MX2013004068A (ja) |
TW (1) | TW201234833A (ja) |
WO (1) | WO2012057164A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010064853A2 (en) | 2008-12-02 | 2010-06-10 | Lg Electronics Inc. | 3d caption display method and 3d display apparatus for implementing the same |
US8670070B2 (en) * | 2010-07-15 | 2014-03-11 | Broadcom Corporation | Method and system for achieving better picture quality in various zoom modes |
JP2012100181A (ja) * | 2010-11-05 | 2012-05-24 | Hitachi Consumer Electronics Co Ltd | 映像出力装置、映像出力方法、受信装置および受信方法 |
KR20120058700A (ko) * | 2010-11-27 | 2012-06-08 | 전자부품연구원 | 디지털 방송의 전송 모드 제공 및 인지 방법 |
KR20120058702A (ko) | 2010-11-27 | 2012-06-08 | 전자부품연구원 | 디지털 방송에서 서비스 호환 방식 전송 방법 |
JP5991596B2 (ja) * | 2011-06-01 | 2016-09-14 | パナソニックIpマネジメント株式会社 | 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路 |
JP2013090016A (ja) * | 2011-10-13 | 2013-05-13 | Sony Corp | 送信装置、送信方法、受信装置および受信方法 |
JP6192902B2 (ja) * | 2011-11-11 | 2017-09-06 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
EP2597876A1 (en) * | 2011-11-24 | 2013-05-29 | Koninklijke Philips Electronics N.V. | Interlaced 3D video |
US9106894B1 (en) | 2012-02-07 | 2015-08-11 | Google Inc. | Detection of 3-D videos |
US20130243079A1 (en) * | 2012-03-19 | 2013-09-19 | Nokia Siemens Networks Oy | Storage and processing savings when adapting video bit rate to link speed |
IN2014DN08053A (ja) * | 2012-04-06 | 2015-05-01 | Sony Corp | |
US9661387B2 (en) * | 2012-05-10 | 2017-05-23 | Sony Corporation | Receiving apparatus, reception method, transmitting apparatus, transmission method, and program |
WO2014042034A1 (ja) * | 2012-09-12 | 2014-03-20 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
CN104081767A (zh) * | 2012-09-27 | 2014-10-01 | 索尼公司 | 发送装置、发送方法、接收装置和接收方法 |
US9565452B2 (en) * | 2012-09-28 | 2017-02-07 | Qualcomm Incorporated | Error resilient decoding unit association |
ITTO20120901A1 (it) | 2012-10-15 | 2014-04-16 | Rai Radiotelevisione Italiana | Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica |
US20140165125A1 (en) * | 2012-12-11 | 2014-06-12 | Electronics And Telecommunications Research Institute | Broadcasting system and broadcasting method of providing multi-picture |
US10567804B2 (en) * | 2014-01-08 | 2020-02-18 | Qualcomm Incorporated | Carriage of HEVC extension bitstreams and buffer model with MPEG-2 systems |
JP6456980B2 (ja) * | 2014-02-10 | 2019-01-23 | エルジー エレクトロニクス インコーポレイティド | 3d放送サービスのための放送信号の送受信方法及び装置 |
KR20160123216A (ko) * | 2014-02-21 | 2016-10-25 | 엘지전자 주식회사 | 3d 방송 신호를 처리하는 방법 및 장치 |
US9948952B2 (en) * | 2014-02-21 | 2018-04-17 | Lg Electronics Inc. | Broadcast signal transmitting device and broadcast signal receiving device |
US20150253974A1 (en) | 2014-03-07 | 2015-09-10 | Sony Corporation | Control of large screen display using wireless portable computer interfacing with display controller |
US20200112710A1 (en) * | 2017-03-17 | 2020-04-09 | Lg Electronics Inc. | Method and device for transmitting and receiving 360-degree video on basis of quality |
FR3068557A1 (fr) | 2017-07-05 | 2019-01-04 | Orange | Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants |
JP7018752B2 (ja) * | 2017-12-08 | 2022-02-14 | 日本放送協会 | 映像処理装置及びプログラム |
US10594758B2 (en) * | 2017-12-15 | 2020-03-17 | Cisco Technology, Inc. | Latency reduction by sending audio and metadata ahead of time |
KR102007432B1 (ko) * | 2018-05-03 | 2019-08-06 | (주)블루어 | 3차원 콘텐츠 영상 생성 및 제공 시스템 |
US11743440B2 (en) | 2021-04-19 | 2023-08-29 | Apple Inc. | Transmission and consumption of multiple image subframes via superframe |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218502A (ja) * | 2001-01-22 | 2002-08-02 | Nippon Television Network Corp | 立体映像信号の伝送方法及び、そのシステム |
JP2010130690A (ja) * | 2008-11-28 | 2010-06-10 | Korea Electronics Telecommun | 多視点映像送受信装置及びその方法 |
WO2010067810A1 (ja) * | 2008-12-09 | 2010-06-17 | ソニー株式会社 | 画像処理装置および方法 |
JP2011234336A (ja) * | 2010-04-06 | 2011-11-17 | Sony Corp | 画像データ送信装置、画像データ送信方法および画像データ受信装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3789794B2 (ja) | 2001-09-26 | 2006-06-28 | 三洋電機株式会社 | 立体画像処理方法、装置、およびシステム |
KR101472332B1 (ko) * | 2008-04-15 | 2014-12-15 | 삼성전자주식회사 | 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치 |
BRPI0904620A2 (pt) * | 2008-09-30 | 2020-08-18 | Panasonic Corporation | meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d |
CA2749064C (en) * | 2009-01-08 | 2015-02-17 | Lg Electronics Inc. | 3d caption signal transmission method and 3d caption display method |
WO2011049519A1 (en) * | 2009-10-20 | 2011-04-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for multi-view video compression |
-
2011
- 2011-10-25 TW TW100138798A patent/TW201234833A/zh unknown
- 2011-10-25 MX MX2013004068A patent/MX2013004068A/es active IP Right Grant
- 2011-10-25 US US13/280,764 patent/US20120106921A1/en not_active Abandoned
- 2011-10-25 JP JP2012540892A patent/JP5336666B2/ja not_active Expired - Fee Related
- 2011-10-25 CN CN2011800512729A patent/CN103202023A/zh active Pending
- 2011-10-25 EP EP11836297.9A patent/EP2635033A1/en not_active Withdrawn
- 2011-10-25 KR KR1020137008616A patent/KR20130135244A/ko not_active Application Discontinuation
- 2011-10-25 WO PCT/JP2011/074586 patent/WO2012057164A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002218502A (ja) * | 2001-01-22 | 2002-08-02 | Nippon Television Network Corp | 立体映像信号の伝送方法及び、そのシステム |
JP2010130690A (ja) * | 2008-11-28 | 2010-06-10 | Korea Electronics Telecommun | 多視点映像送受信装置及びその方法 |
WO2010067810A1 (ja) * | 2008-12-09 | 2010-06-17 | ソニー株式会社 | 画像処理装置および方法 |
JP2011234336A (ja) * | 2010-04-06 | 2011-11-17 | Sony Corp | 画像データ送信装置、画像データ送信方法および画像データ受信装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012057164A1 (ja) | 2014-05-12 |
EP2635033A1 (en) | 2013-09-04 |
US20120106921A1 (en) | 2012-05-03 |
KR20130135244A (ko) | 2013-12-10 |
CN103202023A (zh) | 2013-07-10 |
WO2012057164A1 (ja) | 2012-05-03 |
TW201234833A (en) | 2012-08-16 |
MX2013004068A (es) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5336666B2 (ja) | 符号化方法、表示装置、復号方法 | |
JP6229962B2 (ja) | 符号化装置及び符号化方法 | |
JP5906462B2 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
WO2012017643A1 (ja) | 符号化方法、表示装置、及び復号方法 | |
WO2012111325A1 (ja) | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム | |
US20120050476A1 (en) | Video processing device | |
US20140089962A1 (en) | Image playback device, image playback method, image playback program, image transmission device, image transmission method and image transmission program | |
WO2013099289A1 (ja) | 再生装置、送信装置、再生方法及び送信方法 | |
WO2012169204A1 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
WO2012147354A1 (ja) | 映像処理装置及び映像処理方法 | |
JP6008292B2 (ja) | ビデオストリームの映像のデータ作成装置及び再生装置 | |
US8934757B2 (en) | Content distribution system, playback device, distribution server, playback method, and distribution method | |
US20120188340A1 (en) | Content distribution system, playback apparatus, distribution server, playback method, and distribution method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130801 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |