JP2016076957A - 送信装置、送信方法、受信装置および受信方法 - Google Patents
送信装置、送信方法、受信装置および受信方法 Download PDFInfo
- Publication number
- JP2016076957A JP2016076957A JP2015232609A JP2015232609A JP2016076957A JP 2016076957 A JP2016076957 A JP 2016076957A JP 2015232609 A JP2015232609 A JP 2015232609A JP 2015232609 A JP2015232609 A JP 2015232609A JP 2016076957 A JP2016076957 A JP 2016076957A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- image data
- layer
- picture
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000005540 biological transmission Effects 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 101001073193 Homo sapiens Pescadillo homolog Proteins 0.000 description 77
- 102100035816 Pescadillo homolog Human genes 0.000 description 77
- 101100243456 Arabidopsis thaliana PES2 gene Proteins 0.000 description 12
- 239000000284 extract Substances 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化部を備え、
上記符号化画像データはNALユニット構造を有し、上記画像符号化部は、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値を挿入し、
上記画像符号化部で生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化部と、
上記多重化部で得られた多重化ストリームを送信する送信部をさらに備える
送信装置にある。
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信部を備え、
上記符号化画像データはNALユニット構造を有し、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値が挿入されており、
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理部をさらに備える
受信装置にある。
1.実施の形態
2.変形例
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、圧縮データバッファ(cpb:coded picture buffer)103と、マルチプレクサ104と、送信部105を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
マルチプレクサ104における階層情報の挿入についてさらに説明する。マルチプレクサ104は、例えば、以下の(A),(B),(C)のいずれかにより、コンテナのレイヤに階層情報を挿入する。
(A)プログラムマップテーブル(PMT:Program Map Table)の配下に、階層情報を挿入する。
(B)イベントインフォメーションテーブル(EIT:Event Information Table)の配下に、階層情報を挿入する。
(C)PESパケットのヘッダのエクステンションフィールド(Extension field)に階層情報を挿入する。
トランスポートストリームTSには、PSI(Program Specific Information)として、PMTが含まれている。このPMTには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ(video ES1 loop)が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEITが含まれている。マルチプレクサ104は、このEITの配下に、上述したレイヤ・デコーディング・デスクリプタ(図7参照)を配置する。この場合、マルチプレクサ104は、このEITの配下に、従来周知のコンポーネント・デスクリプタ(Component descriptor)をも配置し、PESストリームとのリンクをとる。
PESパケットのヘッダに、PESエクステンションフィールド(Extension field)を設けることができる。マルチプレクサ104は、このエクステンションフィールドに、階層情報を持つPESエクステンション・フィールド・データを挿入する。マルチプレクサ104は、このようにPESパケットのヘッダにPESエクステンションフィールドを設けて、階層情報を持つPESエクステンション・フィールド・データを挿入することを、例えば、少なくともCVS(Coded Video Sequence)単位で行う。図9は、PESエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示している。
図11は、単一ストリームによる配信を行う場合であって、プログラムマップテーブル(PMT:Program Map Table)の配下に階層情報を挿入する場合(上述の(A))におけるトランスポートストリームTSの構成例を示している。この構成例では、複数の階層のピクチャの例えばHEVCによる符号化画像データを持つビデオストリームのPESパケット「video PES1」が存在する。
図17は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、圧縮データバッファ(cpb:coded picture buffer)204を有している。また、この受信装置200は、デコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、ポスト処理部207と、表示部208を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
(1)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置。
(2)階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える
前記(1)に記載の送信装置。
(3)上記階層情報は、各階層のレベル指定値の情報を持つ
前記(2)記載の送信装置。
(4)上記階層情報挿入部は、
上記階層情報を、上記コンテナのレイヤの、上記ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する
前記(2)または(3)に記載の送信装置。
(5)上記階層情報挿入部は、
上記階層情報を、PESパケットのエクステンションフィールドに挿入する
前記(4)に記載の送信装置。
(6)上記階層情報挿入部は、
上記階層情報をPESパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う
前記(5)に記載の送信装置。
(7)プログラムマップテーブルの配下に、上記PESパケットのエクステンションフィールドに上記階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える
前記(5)または(6)に記載の送信装置。
(8)上記階層情報挿入部は、
上記階層情報を、プログラムマップテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(9)上記階層情報挿入部は、
上記階層情報を、イベントインフォメーションテーブルの配下に挿入する
前記(2)または(3)に記載の送信装置。
(10)上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記複数の階層を上記上位階層側および上記下位階層側の2つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ2つのビデオストリームを生成する
前記(1)から(9)のいずれかに記載の送信装置。
(11)動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信方法。
(12)動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置。
(13)コンテナのレイヤに階層情報が挿入されており、
上記処理部は、
上記階層情報に基づいて、上記ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、該所定階層以下の階層のピクチャの画像データを得る
前記(12)に記載の受信装置。
(14)受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部ステップを有し、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理ステップをさらに有する
受信方法。
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・圧縮データバッファ(cpb)
104・・・マルチプレクサ
105・・・送信部
200・・・受信装置
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・圧縮データバッファ(cpb)
205・・・デコーダ
206・・・非圧縮データバッファ(dpb)
207・・・ポスト処理部
208・・・表示部
Claims (6)
- 動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化部を備え、
上記符号化画像データはNALユニット構造を有し、上記画像符号化部は、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値を挿入し、
上記画像符号化部で生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化部と、
上記多重化部で得られた多重化ストリームを送信する送信部をさらに備える
送信装置。 - 上記SPSのNALユニットに上記第1のストリームのレベル指定値の挿入があることを示すフラグ情報がさらに挿入される
請求項1に記載の送信装置。 - 上記多重化ストリームはトランスポートストリームであり、
上記第1のデスクリプタおよび上記第2のデスクリプタは、プログラムマップテーブルの配下に挿入される
請求項1に記載の送信装置。 - 画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを生成する画像符号化ステップを有し、
上記符号化画像データはNALユニット構造を有し、上記画像符号化ステップでは、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値を挿入し、
多重化部が、上記画像符号化ステップで生成された上記第1のストリームおよび上記第2のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第1のストリームに対応させて、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを挿入し、上記第2のストリームに対応させて、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを挿入する多重化ステップと、
送信部が、上記多重化ステップで得られた多重化ストリームを送信する送信ステップをさらに有する
送信方法。 - 動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信部を備え、
上記符号化画像データはNALユニット構造を有し、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値が挿入されており、
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理部をさらに備える
受信装置。 - 受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第1のストリームと高階層側のピクチャの符号化画像データを持つ第2のストリームを含むと共に、上記第1のストリームに対応して、該第1のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、該第1のストリームのレベル指定値が記述された第1のデスクリプタを含み、上記第2のストリームに対応して、該第2のストリームに含まれる各ピクチャの符号化画像データに対応する階層の最大および最小の値を示す階層範囲情報が記述されると共に、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値が記述された第2のデスクリプタを含む多重化ストリームを受信する受信ステップを有し、
上記符号化画像データはNALユニット構造を有し、上記第1のストリームのSPSのNALユニットに、上記第1のストリームおよび上記第2のストリームを合わせたビットストリームのレベル指定値と共に上記第1のストリームのレベル指定値が挿入されており、
処理部が、デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第1のストリームに、あるいは上記第1のストリームおよび上記第2のストリームの双方にデコード処理を実行する処理ステップをさらに有する
受信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232609A JP5976189B2 (ja) | 2015-11-30 | 2015-11-30 | 送信装置、送信方法、受信装置および受信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015232609A JP5976189B2 (ja) | 2015-11-30 | 2015-11-30 | 送信装置、送信方法、受信装置および受信方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015152911A Division JP6052354B2 (ja) | 2015-07-31 | 2015-07-31 | 送信装置、送信方法、受信装置および受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076957A true JP2016076957A (ja) | 2016-05-12 |
JP5976189B2 JP5976189B2 (ja) | 2016-08-23 |
Family
ID=55951802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015232609A Expired - Fee Related JP5976189B2 (ja) | 2015-11-30 | 2015-11-30 | 送信装置、送信方法、受信装置および受信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976189B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190062408A (ko) | 2016-10-04 | 2019-06-05 | 소니 주식회사 | 수신 장치, 송신 장치, 및 데이터 처리 방법 |
-
2015
- 2015-11-30 JP JP2015232609A patent/JP5976189B2/ja not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
BENJAMIN BROSS ET AL., HIGH EFFICIENCY VIDEO CODING (HEVC) TEXT SPECIFICATION DRAFT 9, [ONLINE], JPN6015039089, ISSN: 0003224688 * |
INFORMATION TECHNOLOGY --GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION: SYSTEMS, JPN6015007366, 24 May 2012 (2012-05-24), pages 5, ISSN: 0003224689 * |
SAM NARASIMHAN ET AL., CONSIDERATION OF BUFFER MANAGEMENT ISSUES HEVC SCALABILITY, [ONLINE], JPN6015039088, ISSN: 0003224687 * |
青木ほか: "放送・通信連携のためのMMTの運用方法の検討", 情報処理学会 研究報告 オーディオビジュアル複合情報処理(AVM) 2014−AVM−084 [ON, vol. Vol.2014−AVM−84 No.2, JPN6014049849, 14 February 2014 (2014-02-14), JP, ISSN: 0003224690 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190062408A (ko) | 2016-10-04 | 2019-06-05 | 소니 주식회사 | 수신 장치, 송신 장치, 및 데이터 처리 방법 |
US10805028B2 (en) | 2016-10-04 | 2020-10-13 | Sony Corporation | Receiving device, transmitting device, and data processing method |
US11374670B2 (en) | 2016-10-04 | 2022-06-28 | Saturn Licensing Llc | Receiving device, transmitting device, and data processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5976189B2 (ja) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9819976B2 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
JP6344392B2 (ja) | 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置 | |
US11758160B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US11800162B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2023010912A (ja) | 送信方法および受信装置 | |
JP5961317B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP2017069978A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP5976189B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP6614281B2 (ja) | 受信装置および受信方法 | |
JP6350638B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP5976188B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP6052354B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP5966075B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP2015204634A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
BR112016020162B1 (pt) | Dispositivos e métodos de transmissão e de recepção |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5976189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |