JP2016054546A - Transmitter, transmission method, receiver and reception method - Google Patents
Transmitter, transmission method, receiver and reception method Download PDFInfo
- Publication number
- JP2016054546A JP2016054546A JP2015232606A JP2015232606A JP2016054546A JP 2016054546 A JP2016054546 A JP 2016054546A JP 2015232606 A JP2015232606 A JP 2015232606A JP 2015232606 A JP2015232606 A JP 2015232606A JP 2016054546 A JP2016054546 A JP 2016054546A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- image data
- layer
- picture
- descriptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。 The present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly to a transmission device that hierarchically encodes and transmits image data of each picture constituting moving image data.
圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。 When a compressed moving image is serviced by broadcast, network, etc., the upper limit of the frame frequency that can be reproduced is limited by the decoding capability of the receiver. Therefore, it is necessary for the service side to restrict the service to a low frame frequency service or to provide a plurality of high and low frame frequency services at the same time in consideration of the reproduction capability of popular receivers.
受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。 The receiver is expensive to cope with a service with a high frame frequency, which is an obstacle to the spread. In the early stage, only low-priced receivers dedicated to low-frame frequency services are prevalent, and if the service side starts high-frame frequency services in the future, it will be impossible to view without new receivers. It becomes an obstacle.
例えば、HEVC(High Efficiency Video Coding)において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている(非特許文献1参照)。受信側では、NAL(Network Abstraction Layer)ユニットのヘッダに挿入されているテンポラルID(temporal_id)情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。 For example, in HEVC (High Efficiency Video Coding), temporal direction scalability has been proposed by hierarchically encoding image data of each picture constituting moving image data (see Non-Patent Document 1). On the receiving side, the hierarchy of each picture can be identified based on temporal ID (temporal_id) information inserted in the header of a NAL (Network Abstraction Layer) unit, and selective decoding up to a hierarchy corresponding to the decoding capability is possible. Become.
本技術の目的は、受信側において良好なデコード処理を可能とすることにある。 An object of the present technology is to enable a good decoding process on the receiving side.
本技術の概念は、
動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化部と、
上記多重化部で得られた多重化ストリームを送信する送信部を備える
送信装置にある。
The concept of this technology is
The image data of each picture constituting the moving image data is hierarchically encoded, and the first stream having the encoded image data of the lower layer picture and the second stream having the encoded image data of the higher layer picture An image encoding unit to be generated;
The first stream and the second stream generated by the image encoding unit are multiplexed to obtain a multiplexed stream, and the multiplexed stream is associated with the first stream. A first descriptor describing the level designation value of the stream is inserted, and the level designation value of the bit stream combining the first stream and the second stream is described corresponding to the second stream. A multiplexing unit for inserting a second descriptor;
The transmission device includes a transmission unit that transmits the multiplexed stream obtained by the multiplexing unit.
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信部と、
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理部を備える
受信装置にある。
Other concepts of this technology are
A first stream having encoded image data of a picture on the lower layer side and encoded image data of a picture on the higher layer side, generated by hierarchically encoding the image data of each picture constituting the moving image data A first descriptor including a second stream, a level specification value of the first stream corresponding to the first stream, and the first stream corresponding to the second stream. A receiving unit that receives a multiplexed stream including a second descriptor in which a level designation value of a bit stream that combines the stream and the second stream is described;
A receiving apparatus including a processing unit that performs a decoding process on the first stream included in the received multiplexed stream or both the first stream and the second stream according to a decoding capability. is there.
本技術によれば、受信側において良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 According to the present technology, a good decoding process can be performed on the receiving side. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The description will be given in the following order.
1.
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
<1. Embodiment>
[Transmission / reception system]
FIG. 1 shows a configuration example of a transmission /
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは複数の階層が上位階層側および下位階層側の2つの組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームが含まれる。
The
例えば、H.264/AVC、H.265/HEVCなどの符号化が施され、被参照ピクチャが自己階層および/または自己階層よりも低い階層に所属するように符号化される。そして、この場合、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。このような符号化が行われることで、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。 For example, H.M. H.264 / AVC, H.H. Encoding such as H.265 / HEVC is performed, and the referenced picture is encoded so as to belong to the self hierarchy and / or a hierarchy lower than the self hierarchy. In this case, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded. By performing such encoding, the receiving side can reduce the buffer size and the decoding delay when decoding the encoded image data of the pictures on the lower layer side and the higher layer side. It becomes.
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのNALユニット(nal_unit)のヘッダ部分に、階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。 Hierarchy identification information for identifying the belonging hierarchy is added to the encoded image data of the picture of each hierarchy for each picture. In this embodiment, hierarchical identification information (“nuh_temporal_id_plus1” meaning temporal_id) is arranged in the header portion of the NAL unit (nal_unit) of each picture. By adding the layer identification information in this way, the receiving side can selectively extract the encoded image data of the layer below the predetermined layer and perform the decoding process.
コンテナのレイヤに、各階層のレベル指定値の情報などを含む階層情報が挿入される。受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。例えば、この階層情報は、プログラムマップテーブル(PMT:Program Map Table)の配下、あるいはイベントインフォメーションテーブル(EIT:Event Information Table)の配下に挿入される。 Hierarchy information including information on level designation values of each hierarchy is inserted into the container layer. On the receiving side, by referring to the layer information, it is possible to easily extract the encoded image data of the picture of the layer corresponding to the capability of the decoder from the video stream. For example, this hierarchical information is inserted under a program map table (PMT) or an event information table (EIT).
また、例えば、この階層情報は、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるPESパケットのヘッダのPESエクステンションフィールド(PES extension field)に挿入される。これにより、受信側では、階層構成が変化する場合にも、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。 Further, for example, this hierarchical information is inserted into a PES extension field of the header of the PES packet that is a position synchronized with the encoded image data of each picture of the video stream. As a result, on the receiving side, even when the layer structure changes, it is possible to appropriately extract encoded image data of pictures in a layer corresponding to the capability of the decoder from the video stream.
このように階層情報がPESパケットのエクステンションフィールドに挿入されるとき、PESパケットのエクステンションフィールドに階層情報が挿入されていることを識別する識別情報が、プログラムマップテーブルの配下に挿入される。この場合、受信側においては、この識別情報に基づいて、PESパケットのエクステンションフィールドに階層情報が挿入されていることを識別可能となる。 Thus, when the hierarchy information is inserted into the extension field of the PES packet, identification information for identifying that the hierarchy information is inserted into the extension field of the PES packet is inserted under the program map table. In this case, the receiving side can identify that the hierarchy information is inserted in the extension field of the PES packet based on this identification information.
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。受信装置200は、このトランスポートストリームTSを処理する。この場合、コンテナのレイヤに含まれる階層情報に基づいて、ビデオストリームから、デコーダの能力に見合った所定階層以下の階層のピクチャの符号化画像データが選択的に取り出されて復号化(デコード)され、この所定階層以下の階層のピクチャの画像データが得られる。
The receiving
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、マルチプレクサ104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
"Configuration of Transmitter"
FIG. 2 shows a configuration example of the
エンコーダ102は、非圧縮の動画像データVDを入力して、階層符号化を行う。エンコーダ102は、この動画像データVDを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ102は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。
The
エンコーダ102は、例えば、H.264/AVC、H.265/HEVCなどの符号化を行う。この際、エンコーダ102は、参照するピクチャ(被参照ピクチャ)が、自己階層および/または自己階層よりも下位の階層に所属するように、符号化する。また、エンコーダ102は、複数の階層を低階層側と高階層側に二分し、それぞれの階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する。
The
図3は、エンコーダ102で行われる階層符号化の一例を示している。この例は、0から5までの6階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。
FIG. 3 shows an example of hierarchical encoding performed by the
縦軸は階層を示している。階層0から5のピクチャの符号化画像データを構成するNALユニット(nal_unit)のヘッダ部分に配置されるtemporal_id(階層識別情報)として、それぞれ、0から5が設定される。一方、横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。
The vertical axis represents the hierarchy. 0 to 5 are set as temporal_id (hierarchy identification information) arranged in the header portion of the NAL unit (nal_unit) constituting the encoded image data of the pictures of
図4(a)は、NALユニットヘッダの構造例(Syntax)を示し、図4(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「Nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、0を前提とする。「Nuh_temporal_id_plus1」の3ビットフィールドは、temporal_idを示し、1を加えた値(1〜6)をとる。 FIG. 4A shows a structure example (Syntax) of the NAL unit header, and FIG. 4B shows contents (Semantics) of main parameters in the structure example. In the 1-bit field of “Forbidden_zero_bit”, 0 is essential. The 6-bit field “Nal_unit_type” indicates the NAL unit type. The 6-bit field of “Nuh_layer_id” is assumed to be 0. A 3-bit field of “Nuh_temporal_id_plus1” indicates temporal_id and takes a value (1 to 6) obtained by adding 1.
図3に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順(受信側ではデコード順)を示している。例えば、「0」から「7」の8個のピクチャによりサブ・ピクチャグループ(Sub group of pictures)が構成されており、「0」はそのサブ・ピクチャグループの先頭のピクチャとなる。このサブ・ピクチャグループがいくつか集まってGOP(Group Of Pictures)となる。 Returning to FIG. 3, each of the rectangular frames indicates a picture, and the numbers indicate the order of the encoded pictures, that is, the encoding order (decoding order on the receiving side). For example, a sub picture group (Sub group of pictures) is composed of eight pictures from “0” to “7”, and “0” is the head picture of the sub picture group. Several of these sub-picture groups are gathered to form a GOP (Group Of Pictures).
この例では、階層0から2の3階層が低階層側で、階層3から5の3階層が高階層側となる。図示のように、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。例えば、最初に低階層側の「0」と高階層側の「1」とが1つの組にされて符号化され、次に低階層側の「2」と高階層側の「3」とが1つの組にされて符号化され、以下同様に符号化されていく。この場合、低階層は、ある一定階層より低い階層に限定される。これにより、低階層をデコードする際には、限定された階層のみをデコードすることで安定したデコード表示が可能になる。このことは、低階層、高階層に分けられていない場合であっても同様である。
In this example, the three
図3に戻って、実線、破線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「0」はIピクチャ(Intra picture)であり、他のピクチャを参照しない。「1」はPピクチャであり、「1」のピクチャを参照して符号化される。「2」はBピクチャであり、「0」のピクチャと、前のサブ・ピクチャグループのピクチャ(図示せず)を参照して符号化される。「3」はBピクチャであり、「0」、「2」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、「D」は、参照するピクチャと表示順でどのくらい離れているかを示している。「D」の表示がないところは、D=1である。 Returning to FIG. 3, the solid line and broken line arrows indicate the reference relationship of pictures in encoding. For example, “0” is an I picture (Intra picture) and does not refer to other pictures. “1” is a P picture, which is encoded with reference to the picture “1”. “2” is a B picture, which is encoded with reference to a picture of “0” and a picture (not shown) of the previous sub-picture group. “3” is a B picture and is encoded with reference to pictures “0” and “2”. Similarly, other pictures are encoded with reference to nearby pictures in display order. Note that “D” indicates how far away from the picture to be referred is in display order. Where there is no indication of “D”, D = 1.
図5は、エンコーダ102で行われる階層符号化の他の一例を示している。詳細説明は省略するが、この例は、図3の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より1ピクチャ分遅れているが、図5の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より1ピクチャ分進んでいる。この例の場合も、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。
FIG. 5 shows another example of hierarchical encoding performed by the
エンコーダ102は、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。例えば、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する。
The
図6は、各ピクチャの符号化画像データの構成例を示している。GOPの先頭ピクチャの符号化画像データは、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。一方、GOPの先頭ピクチャ以外のピクチャは、AUD、PPS、PSEI、SLICE、SSEI、EOSのNALユニットにより構成される。VPSはSPSと共に、シーケンス(GOP)に一度、PPSは毎ピクチャで伝送可能とされている。なお、EOSは存在しなくともよい。 FIG. 6 shows a configuration example of encoded image data of each picture. The coded image data of the first picture of the GOP is composed of NAL units of AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI, and EOS. On the other hand, pictures other than the first picture of the GOP are configured by NAL units of AUD, PPS, PSEI, SLICE, SSEI, and EOS. VPS and SPS can be transmitted once in a sequence (GOP), and PPS can be transmitted in each picture. Note that EOS may not exist.
SPS(Sequence Parameter Set)には、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“Sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」も挿入可能とされている。以上はSPSだけでなくVPSにおいても供給される。 In the SPS (Sequence Parameter Set), a “general_level_idc” that is a bitstream level specification value is inserted. Further, the SPS includes pictures belonging to each layer indicated by “temporal_id” as sublayers (sub_layer), and “Sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” can also be inserted. The above is supplied not only in SPS but also in VPS.
例えば、図3の階層符号化の例を考える。SPSに挿入される「general_level_idc」の値は、階層0から5の全てのピクチャを含むレベル値とされる。例えば、そのフレームレートが、120Pであるときは、 “Level5.2”とされる。また、SPSに挿入される「sublayer_level_idc[2]」の値は、階層0から2のピクチャのみを含むレベル値とされる。例えば、そのフレームレートが、60Pであるときは、 “Level5.1”とされる。
For example, consider the example of hierarchical encoding in FIG. The value of “general_level_idc” inserted into the SPS is a level value including all the pictures in the
図2に戻って、圧縮データバッファ(cpb)103は、エンコーダ102で生成された、各階層のピクチャの符号化画像データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ104は、圧縮データバッファ103に蓄積されているビデオストリームを読み出し、PESパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。このトランスポートストリームTSには、上述したように、単一あるいは複数のビデオストリームが含まれる。
Returning to FIG. 2, the compressed data buffer (cpb) 103 temporarily stores the video stream including the encoded image data of the pictures of each layer generated by the
マルチプレクサ104は、コンテナのレイヤに、階層情報を挿入する。送信部105は、マルチプレクサ104で得られたトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
The
[階層情報の挿入について]
マルチプレクサ104における階層情報の挿入についてさらに説明する。マルチプレクサ104は、例えば、以下の(A),(B),(C)のいずれかにより、コンテナのレイヤに階層情報を挿入する。
(A)プログラムマップテーブル(PMT:Program Map Table)の配下に、階層情報を挿入する。
(B)イベントインフォメーションテーブル(EIT:Event Information Table)の配下に、階層情報を挿入する。
(C)PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する。
[About inserting hierarchy information]
The insertion of hierarchical information in the
(A) Hierarchy information is inserted under a program map table (PMT).
(B) Hierarchy information is inserted under an event information table (EIT).
(C) The hierarchy information is inserted into the extension field (Extension field) of the header of the PES packet.
「(A)の説明」
トランスポートストリームTSには、PSI(Program Specific Information)として、PMTが含まれている。このPMTには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ(video ES1 loop)が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
"Description of (A)"
The transport stream TS includes PMT as PSI (Program Specific Information). In this PMT, there is a video elementary loop (video ES1 loop) having information related to each video stream. In the video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to each video stream, and a descriptor describing information related to the video stream is also arranged.
マルチプレクサ104は、このデスクリプタの一つとして新たに定義するレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)を挿入する。図7(a),(b)は、レイヤ・デコーディング・デスクリプタの構造例(Syntax)を示している。また、図8は、その構造例における主要な情報の内容(Semantics)を示している。
The
「Layer_decoding_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・デコーディング・デスクリプタであることを示す。「Layer_decoding_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降の「layer_information()」のバイト数を示す。 An 8-bit field of “Layer_decoding_descriptor_tag” indicates a descriptor type, and here indicates a layer decoding descriptor. The 8-bit field of “Layer_decoding_descriptor_length” indicates the length (size) of the descriptor, and indicates the number of bytes of “layer_information ()” thereafter as the descriptor length.
図7(b)は、「layer_information()」の構造例(Syntax)を示している。「layer_minimum LMI」の3ビットフィールドは、“temporal_id”の最小値で示される階層(layer)を示す。「layer_maximum LMX」の3ビットフィールドは、“temporal_id”の最大値で示される階層(layer)を示す。ここで、“temporal_id”を割り当てるレイヤ数は、(LMX−LMI+1)となる。「layer_level_idc[i]」の8ビットフィールドは、各階層のビットレートのレベル指定値である「level_idc」を示す。 FIG. 7B illustrates a structure example (Syntax) of “layer_information ()”. A 3-bit field of “layer_minimum LMI” indicates a layer (layer) indicated by the minimum value of “temporal_id”. A 3-bit field of “layer_maximum LMX” indicates a layer (layer) indicated by the maximum value of “temporal_id”. Here, the number of layers to which “temporal_id” is assigned is (LMX−LMI + 1). An 8-bit field of “layer_level_idc [i]” indicates “level_idc” that is a level designation value of the bit rate of each layer.
「(B)の説明」
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。マルチプレクサ104は、このEITの配下に、上述したレイヤ・デコーディング・デスクリプタ(図7参照)を配置する。この場合、マルチプレクサ104は、このEITの配下に、従来周知のコンポーネント・デスクリプタ(Component descriptor)をも配置し、PESストリームとのリンクをとる。
"Explanation of (B)"
In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. The
「(C)の説明」
PESパケットのヘッダに、PESエクステンションフィールド(Extension field)を設けることができる。マルチプレクサ104は、このエクステンションフィールドに、階層情報を持つPESエクステンション・フィールド・データを挿入する。マルチプレクサ104は、このようにPESパケットのヘッダにPESエクステンションフィールドを設けて、階層情報を持つPESエクステンション・フィールド・データを挿入することを、例えば、少なくともCVS(Coded Video Sequence)単位で行う。図9は、PESエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示している。
"Explanation of (C)"
A PES extension field can be provided in the header of the PES packet. The
なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の8ビットフィールドは、エクステンション・フィールド(extension field)の開始を表す符号値を示す。「extension_field_type」の8ビットフィールドは、エクステンションフィールドのタイプを示す。ここでは、階層情報を供給することを示す。「layer_information()」は、上述したように、「layer_minimum LMI」「layer_minimum LMX」、「layer_level_idc[i]」のフィールドを持つ(図7(b)参照)。 Note that “PES_extension field length” is given outside of this syntax structure. An 8-bit field of “start_sync_byte” indicates a code value indicating the start of an extension field. The 8-bit field “extension_field_type” indicates the type of the extension field. Here, it shows that hierarchical information is supplied. As described above, “layer_information ()” has fields of “layer_minimum LMI”, “layer_minimum LMX”, and “layer_level_idc [i]” (see FIG. 7B).
この場合、マルチプレクサ104は、ビデオエレメンタリ・ループに、デスクリプタの1つとして、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのペス・エクステンション・デスクリプタ(PES_extension_descriptor)を配置する。
In this case, the
図10(a)は、ペス・エクステンション・デスクリプタ(PES_extension_descriptor)の構造例(Syntax)を示している。また、図10(b)は、その構造例における主要な情報の内容(Semantics)を示している。「PES_extention_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ペス・エクステンション・デスクリプタであることを示す。「PES_extention_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。「PES_extension_existed」の1ビットフィールドは、該当するPESストリームのPESエクステンションフィールドに符号化がなされているかを示す。1”は、符号化がなされていることを示し、“0”は符号化がなされていないことを示す。 FIG. 10A shows a structural example (Syntax) of a pes extension descriptor (PES_extension_descriptor). FIG. 10B shows the contents (Semantics) of main information in the structural example. An 8-bit field of “PES_extention_descriptor_tag” indicates a descriptor type, and here indicates a pes extension descriptor. The 8-bit field of “PES_extention_descriptor_length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor. The 1-bit field of “PES_extension_existed” indicates whether or not the PES extension field of the corresponding PES stream is encoded. “1” indicates that encoding is performed, and “0” indicates that encoding is not performed.
[トランスポートストリームTSの構成]
図11は、単一ストリームによる配信を行う場合であって、プログラムマップテーブル(PMT:Program Map Table)の配下に階層情報を挿入する場合(上述の(A))におけるトランスポートストリームTSの構成例を示している。この構成例では、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。
[Configuration of transport stream TS]
FIG. 11 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream and hierarchical information is inserted under a program map table (PMT: Program Map Table (A)). Is shown. In this configuration example, there is a PES packet “video PES1” of a video stream having encoded image data by, for example, HEVC of pictures in a plurality of layers.
各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。上述したように、NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“Sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。 NAL units such as VPS, SPS, PPS, SLICE, and SEI exist in the encoded image data of each picture. As described above, the layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged in the header of the NAL unit. In the SPS, “general_level_idc” that is a level designation value of the bitstream is inserted. Further, the SPS includes pictures belonging to each layer indicated by “temporal_id” as sublayers (sub_layer), and “Sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” is inserted.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop).
ビデオエレメンタリ・ループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が挿入される。 In the video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor describing information related to the video stream is also arranged. The As one of the descriptors, the above-described layer decoding descriptor (Layer_decoding_descriptor) is inserted.
例えば、図3、図5の階層符号化例の場合、このデスクリプタに記述される内容は、以下とされる。すなわち、「layer_minimum LMI」=0、「layer_maximum LMX」=5、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2とされる。 For example, in the case of the hierarchical encoding examples of FIGS. 3 and 5, the contents described in this descriptor are as follows. That is, “layer_minimum LMI” = 0, “layer_maximum LMX” = 5, “layer_level_idc [0]” = Level5, “layer_level_idc [1]” = Level5, “layer_level_idc [2]” = Level5.1, “layer_level_idc [3] ] = Level5.2, “layer_level_idc [4]” = Level5.2, and “layer_level_idc [5]” = Level5.2.
図12は、2ストリームによる配信を行う場合であって、プログラムマップテーブル(PMT:Program Map Table)の配下に階層情報を挿入する場合(上述の(A))におけるトランスポートストリームTSの構成例を示している。この構成例では、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。 FIG. 12 shows an example of the configuration of the transport stream TS in the case where distribution is performed using two streams and hierarchical information is inserted under the program map table (PMT: Program Map Table (A)). Show. In this configuration example, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and PES packets “video PES1” of video streams each having image data encoded by, for example, HEVC of these two sets of pictures. "Video PES2" exists.
低階層側の各ピクチャの符号化画像データには、VPS、SPS、PPS、SLICE、SEIなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。SPSには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、SPSには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ(sub_layer)として括られ、“sublayer_level_presented_flag”が“1”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。 The encoded image data of each picture on the lower layer side includes NAL units such as VPS, SPS, PPS, SLICE, and SEI. In the header of the NAL unit, layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged. In the SPS, “general_level_idc” that is a level designation value of the bitstream is inserted. Also, in SPS, pictures belonging to each layer indicated by “temporal_id” are bundled as sublayers (sub_layer), and “sublayer_level_presented_flag” is set to “1”, which is a bit rate level designation value for each sublayer. “Sublayer_level_idc” is inserted.
一方、高階層側の各ピクチャの符号化画像データには、PPS、SLICEなどのNALユニットが存在する。NALユニットのヘッダには、そのピクチャの階層識別情報(temporal_idを意味する“nuh_temporal_id_plus1”)が配置されている。 On the other hand, NAL units such as PPS and SLICE exist in the encoded image data of each picture on the higher layer side. In the header of the NAL unit, layer identification information (“nuh_temporal_id_plus1” meaning temporal_id) of the picture is arranged.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).
各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が挿入される。 In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of the descriptors, the above-described layer decoding descriptor (Layer_decoding_descriptor) is inserted.
例えば、図3、図5の階層符号化例の場合、PESパケット「video PES1」、「video PES2」に対応したデスクリプタにそれぞれ記述される内容は、以下とされる。すなわち、PESパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」=0、「layer_maximum LMX」=2、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1とされる。また、PESパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」=3、「layer_maximum LMX」=5、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2とされる。 For example, in the case of the hierarchical coding examples of FIGS. 3 and 5, the contents described in the descriptors corresponding to the PES packets “video PES1” and “video PES2” are as follows. That is, in the descriptor corresponding to the PES packet “video PES1”, “layer_minimum LMI” = 0, “layer_maximum LMX” = 2, “layer_level_idc [0]” = Level5, “layer_level_idc [1]” = Level5, “layer_level_idc [2 ] ”= Level 5.1. In the descriptor corresponding to the PES packet “video PES1”, “layer_minimum LMI” = 3, “layer_maximum LMX” = 5, “layer_level_idc [3]” = Level5.2, “layer_level_idc [4]” = Level5.2, “Layer_level_idc [5]” = Level5.2.
図13は、単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブル(EIT:Event Information Table)の配下に階層情報を挿入する場合(上述の(B))におけるトランスポートストリームTSの構成例を示している。この構成例では、図11の構成例と同様に、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。 FIG. 13 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream and hierarchical information is inserted under the event information table (EIT) (above (B)). Is shown. In this configuration example, as in the configuration example of FIG. 11, there is a PES packet “video PES1” of a video stream having encoded image data based on, for example, HEVC of pictures in a plurality of layers.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。このビデオエレメンタリ・ループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop). In this video elementary loop, information such as stream type and packet identifier (PID) is arranged corresponding to the video stream (video PES1), and a descriptor describing information related to the video stream is also arranged. Is done.
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。このEITの配下に、上述したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図11の構成例と同様となる。なお、このEITの配下には、従来既知のコンポーネント・デスクリプタ(Component descriptor)が配置されており、PESパケット「video PES1」とのリンクが取られている。 In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. Under the EIT, the above-described layer decoding descriptor (Layer_decoding_descriptor) is arranged. Although detailed description is omitted, the contents described in this descriptor are the same as those in the configuration example of FIG. Note that a conventionally known component descriptor (Component descriptor) is arranged under this EIT, and is linked to the PES packet “video PES1”.
図14は、2ストリームによる配信を行う場合であって、イベントインフォメーションテーブル(EIT:Event Information Table)の配下に階層情報を挿入する場合(上述の(B))におけるトランスポートストリームTSの構成例を示している。この構成例では、図12の構成例と同様に、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。 FIG. 14 shows an example of the configuration of the transport stream TS in the case of performing delivery by two streams and inserting hierarchical information under the event information table (EIT: Event Information Table (above (B)). Show. In this configuration example, as in the configuration example of FIG. 12, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and each of the two sets of pictures has, for example, HEVC encoded image data. There are PES packets “video PES1” and “video PES2” of the video stream.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop). In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed.
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。このEITの配下に、PESパケット「video PES1」、「video PES2」のそれぞれに対応したレイヤ・デコーディング・デスクリプタ(Layer_decoding_descriptor)が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図12の構成例と同様となる。なお、このEITの配下には、従来既知のコンポーネント・デスクリプタ(Component descriptor)が配置されており、PESパケット「video PES1」、「video PES2」とのリンクが取られている。 In addition, the transport stream TS includes EIT as SI (Serviced Information) for managing event units. Under the EIT, layer decoding descriptors (Layer_decoding_descriptor) corresponding to the PES packets “video PES1” and “video PES2” are arranged. Although detailed description is omitted, the contents described in this descriptor are the same as those in the configuration example of FIG. Under this EIT, a conventionally known component descriptor (Component descriptor) is arranged, and links with PES packets “video PES1” and “video PES2” are taken.
図15は、単一ストリームによる配信を行う場合であって、PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する場合(上述の(C))におけるトランスポートストリームTSの構成例を示している。この構成例では、図11の構成例と同様に、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。 FIG. 15 shows a configuration example of the transport stream TS in the case where distribution is performed by a single stream, and hierarchical information is inserted into the extension field (Extension field) of the header of the PES packet (the above (C)). Show. In this configuration example, as in the configuration example of FIG. 11, there is a PES packet “video PES1” of a video stream having encoded image data based on, for example, HEVC of pictures in a plurality of layers.
PESパケットのヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図11の構成例におけるレイヤ・デコーディング・デスクリプタと同様となる。 A PES extension field (Extension field) is provided in the header of the PES packet, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although the detailed description is omitted, the description content of “layer_information ()” is the same as the layer decoding descriptor in the configuration example of FIG.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(video ES loop)が存在する。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there is a video elementary loop (video ES loop).
各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ(PES_extention_descriptor)が挿入される。このペス・エクステンション・デスクリプタは、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。 In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of these descriptors, a pes extension descriptor (PES_extention_descriptor) is inserted. This pes extension descriptor is a descriptor for clearly indicating that hierarchical information is inserted in the PES extension field.
図16は、2ストリームによる配信を行う場合であって、PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する場合(上述の(C))におけるトランスポートストリームTSの構成例を示している。この構成例では、図12の構成例と同様に、複数の階層が低階層側と高階層側の2つの組に分割され、この2つ組のピクチャの例えばHEVCによる符号化画像データをそれぞれ持つビデオストリームのPESパケット「video PES1」、「video PES2」が存在する。 FIG. 16 shows a configuration example of the transport stream TS in the case of performing distribution by two streams and inserting hierarchical information in the extension field (Extension field) of the header of the PES packet (the above (C)). ing. In this configuration example, as in the configuration example of FIG. 12, a plurality of hierarchies are divided into two sets of a low hierarchy side and a high hierarchy side, and each of the two sets of pictures has, for example, HEVC encoded image data. There are PES packets “video PES1” and “video PES2” of the video stream.
PESパケット「video PES1」のヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図12の構成例におけるPESパケット「video PES1」に対応したレイヤ・デコーディング・デスクリプタと同様となる。 A PES extension field (Extension field) is provided in the header of the PES packet “video PES1”, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although detailed description is omitted, the description content of “layer_information ()” is the same as that of the layer decoding descriptor corresponding to the PES packet “video PES1” in the configuration example of FIG.
また、PESパケット「video PES2」のヘッダに、PESエクステンションフィールド(Extension field)が設けられ、「layer_information()」を持つPESエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図12の構成例におけるPESパケット「video PES2」に対応したレイヤ・デコーディング・デスクリプタと同様となる。 Further, a PES extension field (Extension field) is provided in the header of the PES packet “video PES2”, and PES extension field data “pes_extension_field_data ()” having “layer_information ()” is inserted. Although detailed description is omitted, the description content of “layer_information ()” is the same as that of the layer decoding descriptor corresponding to the PES packet “video PES2” in the configuration example of FIG.
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。 In addition, the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream belongs.
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、2つのビデオエレメンタリ・ループ(video ES1 loop, video ES2 loop )が存在する。 In the PMT, there is a program loop that describes information related to the entire program. The PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are two video elementary loops (video ES1 loop, video ES2 loop).
各ビデオエレメンタリ・ループには、ビデオストリーム(video PES1, video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ(PES_extention_descriptor)が挿入される。このペス・エクステンション・デスクリプタは、PESエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。 In each video elementary loop, information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream (video PES1, video PES2), and information related to the video stream is described. A descriptor is also placed. As one of these descriptors, a pes extension descriptor (PES_extention_descriptor) is inserted. This pes extension descriptor is a descriptor for clearly indicating that hierarchical information is inserted in the PES extension field.
図2に示す送信装置100の動作を簡単に説明する。エンコーダ102には、非圧縮の動画像データVDが入力される。エンコーダ102では、この動画像データVDに対して、階層符号化が行われる。すなわち、エンコーダ102では、この動画像データVDを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。
The operation of the
この場合、参照するピクチャが、自己階層および/または自己階層よりも下位の階層に所属するように、符号化される。また、この場合、複数の階層が低階層側と高階層側に二分され、それぞれの階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。また、この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームが生成される。 In this case, the picture to be referenced is encoded so as to belong to the self hierarchy and / or a hierarchy lower than the self hierarchy. Also, in this case, a plurality of hierarchies are divided into a lower hierarchy side and a higher hierarchy side, the respective hierarchy configurations are made equal, and the corresponding pictures on the lower hierarchy side and the higher hierarchy side are made into one set and sequentially encoded. The In this case, a single video stream having encoded image data of pictures in each layer is generated, or two video streams each having encoded image data of pictures on the upper layer side and the lower layer side are generated. Generated.
エンコーダ102で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ(cpb)103に供給され、一時的に蓄積される。マルチプレクサ104では、圧縮データバッファ103に蓄積されているビデオストリームが読み出され、PESパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。このトランスポートストリームTSには、上述したように、単一あるいは複数のビデオストリームが含まれる。
The video stream generated by the
このようにマルチプレクサ104でトランスポートストリームTSが生成されるとき、コンテナのレイヤに、例えば、プログラムマップテーブル(PMT)の配下に、イベントインフォメーションテーブル(EIT)の配下に、あるいはPESパケットのヘッダのエクステンションフィールドに階層情報が挿入される。マルチプレクサ104で生成されたトランスポートストリームTSは、送信部105に送られる。送信部105では、このトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
When the transport stream TS is generated by the
「受信装置の構成」
図17は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
"Receiver configuration"
FIG. 17 illustrates a configuration example of the receiving
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。デマルチプレクサ203は、トランスポートストリームTSから、デコーダ205の能力に応じた階層のピクチャの符号化画像データを、選択的に取り出し、圧縮データバッファ(cpb:coded picture buffer)204に送る。この場合、各ピクチャのNALユニット(nal_unit)のヘッダ部分に配置されている、“temporal_id”を意味する「nuh_temporal_id_plus1」の値を参照する。
The
この場合、デマルチプレクサ203はコンテナのレイヤに挿入されている階層情報を抽出し、この階層情報から各階層の「layer_level_idc」を認識し、デコーダ205の能力ではどの階層までデコード可能かを検出する。例えば、図3、図5の階層符号化例で、「layer_level_idc[0]」=Level5、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1、「layer_level_idc[3]」=Level5.2、「layer_level_idc[4]」=Level5.2、「layer_level_idc[5]」=Level5.2であるとする。この場合、デコーダ205が60P、つまり“Level5.1”の能力があるときには、階層2までデコード可能であると検出される。また、この場合、デコーダ205が120P、つまり“Level5.2”の能力があるときには、階層5までデコード可能であると検出される。
In this case, the
圧縮データバッファ(cpb)204は、デマルチプレクサ203から送られてくる各階層のピクチャの符号化画像データを、一時的に蓄積する。デコーダ205は、圧縮データバッファ204に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのDTS(Decoding Time stamp)で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ(dpb)206に送る。
The compressed data buffer (cpb) 204 temporarily stores the encoded image data of the pictures of each layer sent from the
非圧縮データバッファ(dpb)206は、デコーダ205でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部207は、非圧縮データバッファ(dpb)206からPTS(Presentation Time stamp)で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
An uncompressed data buffer (dpb) 206 temporarily stores the image data of each picture decoded by the
例えば、デコード後の各ピクチャの画像データのフレームレートが60fpsであって、表示能力が120fpsであるとき、ポスト処理部207は、デコード後の各ピクチャの画像データに対して時間方向解像度が2倍となるように補間処理を施し、120fpsの画像データとして表示部208に送る。
For example, when the frame rate of the image data of each picture after decoding is 60 fps and the display capability is 120 fps, the
表示部208は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部208は、受信装置200に接続される外部機器であってもよい。
The
図17に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、コンテナのレイヤに挿入されている階層情報に基づいて、デコーダ205の能力に応じた階層のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ(cpb)204に送られ、一時的に蓄積される。
The operation of the receiving
デコーダ205では、圧縮データバッファ204に蓄積されている各階層のピクチャの符号化画像データが取り出される。そして、デコーダ205では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ(dpb)206に送られ、一時的に蓄積される。
The
そして、非圧縮データバッファ(dpb)206から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部207に送られる。ポスト処理部207では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部207で処理された各ピクチャの画像データは、表示部208に供給され、動画像の表示が行われる。
The image data of each picture sequentially read from the uncompressed data buffer (dpb) 206 at the display timing is sent to the
以上説明したように、図1に示す送受信システム10において、送信装置100では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、例えば、受信装置200では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、一括りのタイミングで進めることが可能となり、バッファサイズの減少とデコード遅延の減少が可能となる。
As described above, in the transmission /
また、図1に示す送受信システム10において、送信装置100では、階層符号化された各階層のピクチャの画像データを持つビデオストリームを含むトランスポートストリームを生成する際に、コンテナのレイヤに階層情報が挿入される。そのため、例えば、受信装置200では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。
Further, in the transmission /
また、図1に示す送受信システム10において、送信装置100では、階層情報は、例えば、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるPESパケットのヘッダのPESエクステンションフィールド(PES extension field)に、少なくともCVS(Coded Video Sequence)単位で挿入される。そのため、受信側では、階層構成に変化がある場合にも、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。
Also, in the transmission /
図18は、階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示している。この例は、階層0から2の3階層の符号化が行われている第1の50PCVS系から、階層0から3の4階層の符号化が行われている第2の50PCVS系に変化し、さらに、階層0から5の6階層の符号化が行われている100PCVS系に変化する。また、図示の例は、階層情報が、PMTの配下に挿入されている例を示しているが、上述したように、EITの配下、あるいはPESエクステンションフィールドに挿入される場合にあっても同様である。
FIG. 18 illustrates an example of the correspondence between “level_idc” signaling of encoded image data and layer information when the layer configuration changes. This example changes from the first 50 PCVS system in which the three-layer encoding of
第1の50PCVS系の期間では、単一のビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から2の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層1のビットレートのレベル指定値である「sublayer_level_idc[1]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4.1、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1」とされている。
In the period of the first 50 PCVS system, a single video stream is distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.1”, which is a level value including all the pictures in
第2の50PCVS系の期間では、単一のビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から3の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層2のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4、「layer_level_idc[1]」=Level4.1、「layer_level_idc[2]」=Level5」、「layer_level_idc[3]」=Level5.1」とされている。
In the second 50 PCVS system period, a single video stream is distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.1”, which is a level value including all the pictures in
100PCVS系の期間では、2つのビデオストリームで配信されている。符号化画像データのSPSに挿入される「general_level_idc」の値は、階層0から5の全てのピクチャを含むレベル値である“Level5.2”とされている。また、階層2のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5.1”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」=Level4.1、「layer_level_idc[1]」=Level5、「layer_level_idc[2]」=Level5.1」、「layer_level_idc[3]」=Level5.2」、「layer_level_idc[4]」=Level5.2」、「layer_level_idc[5]」=Level5.2」とされている。
In the 100 PCVS system period, two video streams are distributed. The value of “general_level_idc” inserted into the SPS of the encoded image data is “Level 5.2” that is a level value including all the pictures in the
図示のように階層構成が変化していく場合、受信装置200のデコーダ205が、例えば50Pに対応するとき、デマルチプレクサ203では、階層情報に基づいて、第1の50PCVS系の期間では階層0から2が取り出され、第2の50PCVS系の期間では階層0から3が取り出され、100PCVS系の期間では階層0から2が取り出され、圧縮データバッファ204に送られる。そして、デコーダ205では、各ピクチャの符号化画像データがそれぞれのデコードタイミングでデコードされ、50Pの画像データが得られる。
When the hierarchical structure changes as shown in the figure, when the
<2.変形例>
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
<2. Modification>
In the above-described embodiment, the transmission /
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。 Further, in the above-described embodiment, an example in which the container is a transport stream (MPEG-2 TS) is shown. However, the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet. In the Internet distribution, it is often distributed in a container of MP4 or other formats. In other words, containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
また、本技術は、以下のような構成を取ることもできる。
(1)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置。
(2)階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える
前記(1)に記載の送信装置。
(3)上記階層情報は、各階層のレベル指定値の情報を持つ
前記(2)記載の送信装置。
(4)上記階層情報挿入部は、
上記階層情報を、上記コンテナのレイヤの、上記ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する
前記(2)または(3)に記載の送信装置。
(5)上記階層情報挿入部は、
上記階層情報を、PESパケットのエクステンションフィールドに挿入する
前記(4)に記載の送信装置。
(6)上記階層情報挿入部は、
上記階層情報をPESパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う
前記(5)に記載の送信装置。
(7)プログラムマップテーブルの配下に、上記PESパケットのエクステンションフィールドに上記階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える
前記(5)または(6)に記載の送信装置。
(8)上記階層情報挿入部は、
上記階層情報を、プログラムマップテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(9)上記階層情報挿入部は、
上記階層情報を、イベントインフォメーションテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(10)上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記複数の階層を上記上位階層側および上記下位階層側の2つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する
前記(1)から(9)のいずれかに記載の送信装置。
(11)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信方法。
(12)動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置。
(13)コンテナのレイヤに階層情報が挿入されており、
上記処理部は、
上記階層情報に基づいて、上記ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、該所定階層以下の階層のピクチャの画像データを得る
前記(12)に記載の受信装置。
(14)受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部ステップを有し、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理ステップをさらに有する
受信方法。
Moreover, this technique can also take the following structures.
(1) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the encoded image data of each layer of pictures An image encoding unit for generating a video stream having;
A transmission unit for transmitting a container of a predetermined format including the generated video stream;
The image encoding unit is
A transmission apparatus that equalizes a hierarchical structure on a low layer side and a high layer side and sequentially encodes corresponding pictures on a low layer side and a high layer side as one set.
(2) The transmission device according to (1), further including a hierarchy information insertion unit that inserts hierarchy information into a container layer.
(3) The transmission device according to (2), wherein the hierarchy information includes information on a level designation value of each hierarchy.
(4) The hierarchical information insertion unit
The transmission device according to (2) or (3), wherein the hierarchical information is inserted into a position of the container layer synchronized with encoded image data of each picture of the video stream.
(5) The hierarchical information insertion unit
The transmission apparatus according to (4), wherein the hierarchy information is inserted into an extension field of a PES packet.
(6) The hierarchical information insertion unit
The transmission apparatus according to (5), wherein the layer information is inserted into an extension field of a PES packet at least in units of coded video sequences.
(7) The system according to (5) or (6), further including an information insertion unit that inserts information specifying whether or not the hierarchy information is inserted into an extension field of the PES packet under the program map table. Transmitter.
(8) The hierarchy information insertion unit
The transmission device according to (2) or (3), wherein the hierarchy information is inserted under a program map table.
(9) The hierarchical information insertion unit
The transmission device according to (2) or (3), wherein the hierarchy information is inserted under an event information table.
(10) The image encoding unit
Generate a single video stream having the encoded image data of the pictures of each layer, or divide the plurality of layers into two sets of the upper layer side and the lower layer side, and The transmission device according to any one of (1) to (9), wherein two video streams each having the encoded image data are generated.
(11) The image data of each picture constituting the moving image data is classified into a plurality of layers, the image data of the classified pictures of each layer is encoded, and the encoded image data of each layer of pictures An image encoding step for generating a video stream having:
A transmission step of transmitting a container of a predetermined format including the generated video stream by the transmission unit;
In the image encoding step,
A transmission method in which a lower layer side and a higher layer side have the same hierarchical structure, and corresponding pictures on the lower layer side and the higher layer side are sequentially encoded as one set.
(12) A container of a predetermined format including a video stream having encoded image data of pictures of each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers A receiving unit for receiving
In the above coding, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.
A receiving device further comprising a processing unit for processing the received container.
(13) Hierarchy information is inserted in the container layer,
The processing unit
Based on the layer information, the encoded image data of a picture of a layer below a predetermined layer is selectively extracted from the video stream and decoded to obtain image data of a picture of a layer below the predetermined layer. (12) The receiving device described.
(14) The receiver includes a video stream having encoded image data of pictures of each layer obtained by classifying and encoding image data of each picture constituting moving image data into a plurality of layers. A receiving unit step for receiving a container in a predetermined format;
In the above coding, the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are combined into one set and sequentially encoded.
A receiving method further comprising processing steps for processing the received container.
本技術の主な特徴は、低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化することで、受信側で低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少を可能としたことである(図3、図5参照)。また、本技術の主な特徴は、コンテナのレイヤに階層情報が挿入されることで、受信側でビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを容易に可能としたことである(図7、図11〜図16参照)。 The main feature of this technology is that the lower layer side and the higher layer side have the same hierarchical structure, and the corresponding pictures on the lower layer side and the higher layer side are sequentially encoded as one set, so that the reception side has a low level. This is to reduce the buffer size and the decoding delay when performing the decoding process on the encoded image data of the pictures on the hierarchy side and the higher hierarchy side (see FIGS. 3 and 5). In addition, the main feature of this technique is that layer information is inserted into the container layer, so that on the receiving side, the encoded image data of the picture from the video stream to the layer that matches the capability of the decoder can be selectively extracted. Is easily made possible (see FIGS. 7 and 11 to 16).
10・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104・・・マルチプレクサ
105・・・送信部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
DESCRIPTION OF
102: Encoder 103: Compressed data buffer (cpb)
104:
202: receiving
205: Decoder 206: Uncompressed data buffer (dpb)
207 ...
Claims (6)
上記画像符号化部で生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化部と、
上記多重化部で得られた多重化ストリームを送信する送信部を備える
送信装置。 The image data of each picture constituting the moving image data is hierarchically encoded, and the first stream having the encoded image data of the lower layer picture and the second stream having the encoded image data of the higher layer picture An image encoding unit to be generated;
The first stream and the second stream generated by the image encoding unit are multiplexed to obtain a multiplexed stream, and the multiplexed stream is associated with the first stream. A first descriptor describing the level designation value of the stream is inserted, and the level designation value of the bit stream combining the first stream and the second stream is described corresponding to the second stream. A multiplexing unit for inserting a second descriptor;
A transmission apparatus comprising: a transmission unit that transmits the multiplexed stream obtained by the multiplexing unit.
請求項1に記載の送信装置。 The first descriptor further describes maximum and minimum information of a hierarchy of pictures included in the first stream, and the second descriptor includes maximum and minimum information of a hierarchy of pictures included in the second stream. The transmission apparatus according to claim 1, wherein the minimum information is further described.
上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルの配下に挿入される
請求項1に記載の送信装置。 The multiplexed stream is a transport stream,
The transmission device according to claim 1, wherein the first descriptor and the second descriptor are inserted under a program map table.
多重化部が、上記画像符号化ステップで生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化ステップと、
送信部が、上記多重化ステップで得られた多重化ストリームを送信する送信ステップを有する
送信方法。 The image encoding unit hierarchically encodes the image data of each picture constituting the moving image data, and converts the first stream having the encoded image data of the lower layer picture and the encoded image data of the higher layer picture. An image encoding step for generating a second stream having:
A multiplexing unit multiplexes the first stream and the second stream generated in the image encoding step to obtain a multiplexed stream, and associates the multiplexed stream with the first stream. The first descriptor describing the level designation value of the first stream is inserted, and the bit stream level designation combining the first stream and the second stream in correspondence with the second stream A multiplexing step for inserting a second descriptor describing the value;
A transmission method, wherein the transmission unit includes a transmission step of transmitting the multiplexed stream obtained in the multiplexing step.
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理部を備える
受信装置。 A first stream having encoded image data of a picture on the lower layer side and encoded image data of a picture on the higher layer side, generated by hierarchically encoding the image data of each picture constituting the moving image data A first descriptor including a second stream, a level specification value of the first stream corresponding to the first stream, and the first stream corresponding to the second stream. A receiving unit that receives a multiplexed stream including a second descriptor in which a level designation value of a bit stream that combines the stream and the second stream is described;
A receiving apparatus, comprising: a processing unit that performs a decoding process on the first stream included in the received multiplexed stream or on both the first stream and the second stream according to a decoding capability.
処理部が、デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理ステップを有する
受信方法。 The receiving unit encodes the first stream having the encoded image data of the lower layer picture and the higher layer side picture generated by hierarchically encoding the image data of each picture constituting the moving image data A second stream having image data, a first descriptor describing a level designation value of the first stream corresponding to the first stream, and a second stream corresponding to the second stream A receiving step of receiving a multiplexed stream including a second descriptor in which a level designation value of a bit stream combining the first stream and the second stream is described;
A processing step in which a processing unit executes a decoding process on the first stream included in the received multiplexed stream or on both the first stream and the second stream according to a decoding capability. Receiving method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232606A JP5976188B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232606A JP5976188B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015152911A Division JP6052354B2 (en) | 2015-07-31 | 2015-07-31 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016054546A true JP2016054546A (en) | 2016-04-14 |
JP5976188B2 JP5976188B2 (en) | 2016-08-23 |
Family
ID=55744403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232606A Active JP5976188B2 (en) | 2015-11-30 | 2015-11-30 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976188B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5774652B2 (en) * | 2013-08-27 | 2015-09-09 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
JP5789004B2 (en) * | 2013-08-09 | 2015-10-07 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, receiving method, encoding apparatus, and encoding method |
-
2015
- 2015-11-30 JP JP2015232606A patent/JP5976188B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5789004B2 (en) * | 2013-08-09 | 2015-10-07 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, receiving method, encoding apparatus, and encoding method |
JP5774652B2 (en) * | 2013-08-27 | 2015-09-09 | ソニー株式会社 | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method |
Non-Patent Citations (3)
Title |
---|
INFORMATION TECHNOLOGY --GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION: SYSTEMS, JPN6015007366, 24 May 2012 (2012-05-24), pages 5, ISSN: 0003224684 * |
SAM NARASIMHAN ET AL., CONSIDERATION OF BUFFER MANAGEMENT ISSUES HEVC SCALABILITY, [ONLINE], JPN6015039088, ISSN: 0003224683 * |
青木ほか: "放送・通信連携のためのMMTの運用方法の検討", 情報処理学会 研究報告 オーディオビジュアル複合情報処理(AVM) 2014−AVM−084 [ON, vol. Vol.2014−AVM−84 No.2, JPN6014049849, 14 February 2014 (2014-02-14), JP, ISSN: 0003224685 * |
Also Published As
Publication number | Publication date |
---|---|
JP5976188B2 (en) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160134902A1 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
JP6344392B2 (en) | Encoding device, encoding method, transmitting device, decoding device, decoding method, and receiving device | |
US11758160B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US11800162B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2023010912A (en) | Transmission method and reception device | |
JP5961317B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP2017069978A (en) | Transmitter, transmission method, receiver and reception method | |
JP5976189B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6614281B2 (en) | Receiving apparatus and receiving method | |
JP6350638B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP5976188B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP6052354B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP5966075B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
JP2015204634A (en) | Transmission device, transmission method, reception device, and reception method | |
BR112016020162B1 (en) | DEVICES AND METHODS OF TRANSMISSION AND RECEPTION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5976188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |