JP2016100831A - 画像エンコード装置および画像エンコード方法 - Google Patents
画像エンコード装置および画像エンコード方法 Download PDFInfo
- Publication number
- JP2016100831A JP2016100831A JP2014237953A JP2014237953A JP2016100831A JP 2016100831 A JP2016100831 A JP 2016100831A JP 2014237953 A JP2014237953 A JP 2014237953A JP 2014237953 A JP2014237953 A JP 2014237953A JP 2016100831 A JP2016100831 A JP 2016100831A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- stream
- encoder
- shvc
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を用いるビデオエンコードにおいて、エンコードされた画像データをデコードして特殊再生する際に、その特殊再生をスムースに行えるようにする。【解決手段】実施形態に係る画像エンコードでは、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行っている。【選択図】図7
Description
この発明の実施形態は、4K以上の解像度を持つHD(High Definition)ビデオの画像をエンコードする装置および方法に関する。
現在、解像度2K(画素数が水平1440〜1920x垂直1080)のHDビデオコンテンツが、地上デジタル放送および衛星デジタル放送(BSおよびCS)で提供されている。デジタル処理される画像の高画質化/高解像度化のトレンドは止まることがなく、現行の2K放送の4倍の解像度を持つ4K放送(画素数が水平3840×垂直2160;フレームレートが60Hz)の実用化が間近に来ている。さらに、近い将来、現行2K放送の16倍の解像度を持つ8K放送(画素数が水平7680×垂直4320;フレームレートが120Hz)も実用化されようとしている。
しかし、現行放送体制を維持しながら4K放送/8K放送を導入しようとすると、広い放送帯域を新たに確保することが必要になる。また、現行放送事業者が4K/8K放送サービスを提供する場合、2Kと4K/8Kでは映像解像度およびエンコード方式が異なるため、番組制作コストおよびサービス運用コストの負担増が懸念される。
このような状況の中、SHVC(Scalable High efficiency Video Coding:スケーラブル高効率ビデオコーディング)を4K/8K放送に適用することが検討されている。SHVCは、HEVC(High Efficiency Video Coding)規格第2版の中で拡張規定されたものである。HEVC規格第2版(ISO/IEC23008-2)は、2014年7月にMPEGで標準化された最新の映像エンコード方式標準である。SHVCでは、MPEG−2ビデオのHD信号の映像エンコード方式(スキーム)をベースとして用いることができ、MPEG−2ビデオのデコード画像を参照ピクチャとして4K/8K信号のHEVCエンコードに拡張利用できるようになっている。
SHVCは階層エンコードの一種であり、基準となる圧縮映像(基準レイヤー:下位レイヤー)を利用して、解像度および/または色空間を拡張した圧縮映像(拡張レイヤー:上位レイヤー)を生成する。これにより、多くのストリームを作ることなく解像度変換などを行うことができる。
ところが、SHVCでは各レイヤーのエンコード構造に関しては規定されていないため、レイヤー間で、ランダムアクセスポイントとなるピクチャ(HEVCではIRAP:Intra Random Access Point)の位置が時間的にずれていても構わない。しかし、デコーダ側で早送りなどの特殊再生を行う場合には、上位レイヤーが必要とする参照ピクチャを生成するために、下位レイヤーでリオーダリングを伴うデコード処理が必要となる。すると、各レイヤー間でIRAPの位置が時間的に合っている場合と比べて、より多くのフレームバッファが必要となり、特殊再生の処理時間も長くなる。
(なお、SHVCでは、最下層となる基準レイヤーには任意のエンコード方式が許されている。基準レイヤーが例えばMPEG−2ビデオの場合はIピクチャがIRAPに対応し、MPEG−4 AVC(H.264)の場合はIDR(Instantaneous Decoding Refresh)がIRAPに対応する。)
高圧縮の映像データのランダムアクセスポイント(MPEG−2ではIピクチャ)と、低圧縮の映像データのランダムアクセスポイントを同期させることにより、帯域の異なる2つの圧縮データのタイミングを合わせる従来技術がある(特許文献1)。
高圧縮の映像データのランダムアクセスポイント(MPEG−2ではIピクチャ)と、低圧縮の映像データのランダムアクセスポイントを同期させることにより、帯域の異なる2つの圧縮データのタイミングを合わせる従来技術がある(特許文献1)。
特許文献1には、圧縮率の異なるデータ間のランダムアクセスポイントの同期(タイミング合わせ)が記載されている。しかし、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行うことは、記載されていない。そうすると、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を持つストリームをデコードして特殊再生(早送り再生または早戻し再生)する場合、処理時間が長引いてスムースな特殊再生が阻害される恐れがある等の課題は、想到できない。
この発明の課題の1つは、上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造を用いる画像エンコード(ビデオエンコード)において、エンコードされた画像データをデコードして特殊再生する際に、その特殊再生をスムースに行えるようにすることである。
この発明の一実施形態では、上位レイヤーのエンコード時に下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行っている。
以下、図面を参照して実施形態の説明をする。始めに、SHVCが適用されるエンコード/デコードシステムの一例を、簡単に説明しておく。
図1は、SHVCを用いて4K映像情報をエンコードして伝送(送信)し、伝送された(受信した)4K映像情報をデコードする、画像エンコード/デコードシステムの一例を示す。まず、高解像度カメラ、コンピュータグラフィックス、および/または高解像度フィルムスキャナなどを用いて製作された、高画質な基映像10を用意する。ここでは、4K@60pの映像(画素数が水平3840×垂直2160;フレームレートが60Hzのプログレッシブ映像)を基映像10としている。より上位の高解像度コンテンツ(例えば8K@120p)があるときは、8K@120p映像そのもの、あるいは8K@120p映像を4K@60pにダウンコンバートしたものを基映像10として用いてもよい。
4K@60pの基映像10は、ダウンコンバータ202により、2K以下のインターレース映像(例えば1440@60iのHD信号)にダウンコンバートされる。このHD信号は、放送用MPEG−2エンコーダ200により、所定のデジタル放送規格(日本ではARIB規格:Association of Radio Industries and Business STANDARD)に適合した圧縮データにエンコードされる。この圧縮データ(1440@60iのHD信号)は、既存の地上デジタルHD信号と互換性がある。
エンコードされた1440@60iのHD信号は、MPEG−2デコーダ204でリアルタイムデコードされる。そのデコード画像(1440@60i)は、アップコンバータ206により、4K@60pにアップコンバートされる。なお、SHVCで規定されているフィルタを用いたアップコンバートも可能である。1440→3840の変換に対応するフィルタはSHVCにないため、1440@60i→1920@60pの変換は、SHVCエンコーダおよびSHVCでコーダの外部で行う。
SHVCエンコーダ20は、アップコンバートされた4K@60pを参照しながら基映像(4K@60p)10をSHVCエンコードする。ここでSHVCエンコードされたデータは、基映像(4K@60p)10には存在するがロッシーなデータ処理プロセスで抜け落ちてしまった情報分(高精細情報分、色空間拡張分など)を、HEVCエンコードしたデータとなる。(このロッシーなデータ処理プロセスには、MPEG−2のエンコード/デコードプロセスおよびダウンコンバート/アップコンバートプロセスが含まれる。)
SHVCエンコーダ20でエンコードしたデータの情報量からは、MPEG−2エンコーダ200でエンコードした情報量の分が、削り取られている。そのため、SHVCエンコードしたデータの伝送に必要なビットレートは、小さくなる。図1の例では、MPEG−2エンコードした圧縮データ(1440@60i)伝送に14Mbps使い、そのMPEG−2圧縮データに対応するSHVCエンコードデータの伝送に10Mbps使っている。
SHVCエンコーダ20でエンコードしたデータの情報量からは、MPEG−2エンコーダ200でエンコードした情報量の分が、削り取られている。そのため、SHVCエンコードしたデータの伝送に必要なビットレートは、小さくなる。図1の例では、MPEG−2エンコードした圧縮データ(1440@60i)伝送に14Mbps使い、そのMPEG−2圧縮データに対応するSHVCエンコードデータの伝送に10Mbps使っている。
MPEG−2エンコードした圧縮データ(1440@60i)12は、放送電波(または通信回線)を介して受信側のMPEG−2デコーダ300に送り込まれる。MPEG−2デコーダ300でデコードしたHD信号は、1440@60iの地上デジタル映像16として表示できる。
また、SHVCエンコードされたデータ(高精細情報分、色空間拡張分など)14は、放送電波(または通信回線)を介して受信側のSHVCデコーダ30に送り込まれる。それと並行して、MPEG−2デコーダでデコードしたHD信号(1440@60i)は、アップコンバータ306により、4K@60pにアップコンバートされる。なお、SHVCで規定されているフィルタを用いたアップコンバートも可能である。1440→3840の変換に対応するフィルタはSHVCにないため、1440@60i→1920@60pの変換は、SHVCエンコーダおよびSHVCでコーダの外部で行う。
SHVCデコーダ30は、アップコンバートされた4K@60pを参照しながら、SHVCエンコードされたデータ(高精細情報分、色空間拡張分など)をSHVCデコードする。ここでSHVCデコードされたデータは、MPEG−2デコーダ300でデコードされたHD信号の情報分に、MPEG−2のエンコード/デコードプロセスで抜け落ちてしまった情報分(高精細情報分、色空間拡張分など)を付加したものとなる。これにより、基映像10と略同じ画質の映像(4K@60p)18が復元される。(ロスレスなエンコード/デコードシステムではないので100%正確には復元されないが、視覚上は、基映像10に非常に近い映像18が復元される。)
なお、図1の図解ではSHVCデータ14の伝送ラインが1本で示されている。しかし、そこで伝送する情報の内容によって、論理的または物理的に複数の、SHVCデータ伝送ラインを設けることができる。
なお、図1の図解ではSHVCデータ14の伝送ラインが1本で示されている。しかし、そこで伝送する情報の内容によって、論理的または物理的に複数の、SHVCデータ伝送ラインを設けることができる。
図1のシステム構成は、エンコードされたデータのビットレートが高くなる点を除き、基映像10が8K解像度の場合も同様である。あるいは、図1のシステム構成は、エンコードされたデータのビットレートの違いを除けば(1920@60iのHD信号伝送に20Mbpsのビットレートを用い、SHVCデータの信号伝送に10〜14Mpbsのビットレートを用いるなど)、基映像10が1920@60iの衛星デジタル放送システムにも適用できる。
なお、図1のMPEG−2エンコードデータとSHVCエンコードデータをマルチプレクスしたストリームをデジタルレコーダ(図示せず)でストリームレコーディングし、レコーディングしたストリームの再生ストリームをデマルチプレクスして図1のMPEG−2デコーダとSHVCデコーダに入力するような構成も、可能である。
また、MPEG−2のHD信号だけをデジタルレコーダで記録しておき、対応するSHVCエンコードデータは、例えば4K映像を再生したい時に通信回線経由で別途入手(購入)することも考えられる(入手したSHVCデータを一旦記録し、それを記録済みHD信号と同時並行的に読み出して再生デコードするなど)。
さらに、図1のMPEG−2エンコードデータを無料放送(スクランブルなし)し、SHVCエンコードデータを有料放送(スクランブルあり)とすることで、有料放送契約者だけ4K映像(または8K映像)を楽しめるようなシステムの構築も可能である。
また、図1のMPEG−2エンコードデータとSHVCエンコードデータを、MPEG−DASH(Dynamic Adaptive Streaming over HTTP:ISO/IEC DIS 23009-1)を利用してインターネット配信することも可能である。
図2は、SHVCエンコーダ20の具体例を説明する図である。ここでは、基映像10として8Kの超高精細映像を用い、この8K映像を基にして基準レイヤーストリーム(例えば2KのHD信号)と2つの拡張レイヤーストリーム(例えば4K信号および8K信号)を生成する場合を説明する(ここでは説明を簡素化するため、フレームレートは仮に60pで統一し、フレームレートの変換操作はないものとしておく)。図2の構成は、再生対象レイヤー(拡張レイヤーの1つ)のデコードに1以上の被参照レイヤー(他の拡張レイヤーおよび/または基準レイヤー)が必要な場合に対応できる構成を示している。
図2の例において、8Kの基映像10はダウンコンバータ202により2K信号にダウンコンバートされる。ダウンコンバートされた2K信号は、任意の符号化方式(例えば公知のHEVC、MPEG−4 AVC、またはMPEG−2ビデオ)でエンコードされ、下位の基準レイヤーストリームS1となる。
基準レイヤーのエンコード処理と同時並行して、8Kの基映像10はダウンコンバータ212により4K信号にダウンコンバートされ、エンコーダ200でエンコードされた2K信号はデコード後にアップコンバータ216で4K信号にアップコンバートされる。ダウンコンバータ212でダウンコンバートされた4K信号は、アップコンバータ216でアップコンバートされた4K信号のデコード画像を参照ピクチャとして、HEVCエンコーダ210でエンコードされる。こうしてエンコードされた4K信号のデータストリームが、中位の拡張レイヤーストリームS2となる。
中位拡張レイヤーのエンコード処理と同時並行して、エンコーダ210でエンコードされた4K信号はデコード後にアップコンバータ226で8K信号にアップコンバートされる。8Kの基映像10は、アップコンバータ226でアップコンバートされた8K信号のデコード画像を参照ピクチャとして、HEVCエンコーダ220でエンコードされる。こうしてエンコードされた8K信号のデータストリームが、上位の拡張レイヤーストリームS3となる。
なお、図2のSHVCエンコーダ20を図1の実施形態に適用する場合(再生対象レイヤーのデコードに必要な被参照レイヤーが1つの場合)は、HEVCエンコーダ220を省略できる(基映像10が4Kの場合はダウンコンバータ212も省略可)。
あるいは、SHVCエンコーダ220は、基準レイヤーのデコード画像をアップコンバートした画像を参照して基映像10をエンコードするように構成してもよい。
また、図2のように3つ以上のエンコーダユニットを備える構成では、エンコーダユニットの1つ(例えばHEVCエンコーダ210)を4Kの輝度成分エンコードに利用し、他のエンコーダユニット(例えばHEVCエンコーダ220)を4Kの色空間成分エンコードに利用する、といった応用も可能である。
図3は、SHVCエンコーダ20の要部の内部構成を例示する図である。この構成において、参照ピクチャバッファ(フレームメモリ)2012には、下位レイヤーからのデコード画像が、リアルタイムで更新書き込みされるようになっている。参照ピクチャバッファ2012に書き込まれる画像データは、変換部216により、解像度が符号化対象画像と同等になるような変換処理を受けたものである。
符号化対象画像(基映像またはその変換映像の画像)のデータは、減算部2002を介して直行変換/量子化部2004に送られる。直行変換され量子化された画像データは、逆直行変換/逆量子化部2006で変換/量子化前の状態に戻され、戻された画像データは、加算部2008とループフィルタ2010を介して参照ピクチャバッファ2012に書き加えられる。参照ピクチャバッファ2012から読み出した画像データを用いて、画面内予測部2014で画面内予測が行われ、動き補償予測部2016で動き補償予測が行われる。画面内予測のデータまたは動き補償予測のデータは、加算部2008で変換/量子化前の画像データに加算され、減算部2002で符号化対象画像のデータから減算される。この減算処理において、符号化対象画像の情報量は、通常のHEVCエンコードよりも、下位レイヤーからのデコード画像の情報量に対応する分、減らすことができる。
減算部2002で情報量が減らされた画像データは、直行変換/量子化部2004に送られる。ここで直行変換され量子化された画像データは、可変長符号化部2018でエントロピー符号化され、拡張レイヤーのストリームとして出力される。
エントロピー符号化されたストリームの画像は、適宜、デコーダ2020でデコードされ、外部出力される。この外部出力されるデコード画像は、より上位のレイヤーでSHVCエンコードする際の参照ピクチャ生成に、利用できる。
図3のSHVCエンコーダ210の内部構成は、下位レイヤーからのデコード画像を参照ピクチャバッファ2012(フレームメモリ)で用いる点と、可変長符号化部2018でエントロピー符号化した画像をデコーダ2020でデコードして外部出力する点を除き、公知のHEVCエンコーダの内部構成と同等である。
図4は、基準レイヤー(または被参照レイヤー)のストリーム構造を、HEVC(H.265)のビットストリームを例にとって説明する図である。ビットストリームは1以上のシーケンスCSV(Coded Video Sequence)の並びと、ビットストリームの境界を示すEoB(End of Bitstream sequence NAL unit)で構成される。各CSVは、1以上のピクチャ群GOP(Group Of Picture)の並びと、シーケンスの境界を示すEoS(End of Sequence NAL unit)で構成される。なお、HEVCではGOPという概念を導入していないが、ここでは、MPEG−2からのアナロジーで、仮にGOPという言葉を用いている。
各GOPは先頭にIRAP(Intra Random Access Point)のアクセスユニットIRAP_AUが配置され、その後に複数のLP(Leading Picture)アクセスユニットと複数のTP(Trailing Picture)アクセスユニットが並んでいる。IRAP_AUは、ランダムアクセスポイントとなるアクセスユニットである。LPアクセスユニット(LP_AU)は、直前のIRAP_AUよりも表示時刻が早いアクセスユニットである。LP_AUは、参照ピクチャとしてIRAP_AUよりも復号時刻が早いアクセスユニットを参照することが可能であり、この時、デコーダがIRAP_AUから復号を開始した場合に正常復号されない。他方、TPアクセスユニット(TP_AU)は表示時刻がIRAP_AUよりも遅いアクセスユニットである。HEVC規格では、IRAP_AUから復号を開始した場合にTP_AUの正常再生を保証する。逆に言うと、TP_AUの正常再生を保証しないIntraアクセスユニットはIRAP_AUとはならない。
図4の説明では、HEVC(H.265)のビットストリームを代表例にとって説明したが、実施形態にとって重要なIRAPに注目すると、MPEG−4 AVC(H.264)ならIRAPをIDR(Instantaneous Decoding Refresh)と読み替えればよいし、MPEG−2ビデオならならIRAPをIピクチャ(またはPピクチャ)と読み替えればよい。
図5は、SHVCにおける拡張レイヤー(参照レイヤー)のストリーム構造の一例を説明する図である。図5のビットストリームからアクセスユニット群までのストリーム構造は、GOP先頭がIRAPだけとなっている点を除き、図4と同じである。
各アクセスユニット(AU)は、先頭にAUD(Access Unit Delimiter)があり、MPEG−4 AVCと同様に、このAUDでAUの境界が示される。AUDの後にあるVPS(Video Parameter Set)はHEVCで新たに導入されたパラメータセットであり、階層符号化時に、各レイヤーの共通情報や関係情報を記述する。SPS(Sequence Parameter Set)は、AVCと同様に、シーケンスで共通なパラメータを記述する。PPS(Picture Parameter Set)は、AVCと同様に、ピクチャで共通なパラメータを記述する。
AVCとは異なり、SEI(Supplemental Enhancement Information)には2種類(P−SEIとS−SEI)ある。P−SEI(Prefix SEI)はアクセスユニット内で先頭のVCL_NALU(Video Coding Layer_Network Abstraction Layer Unit)の前に出現する。S−SEI(Suffix SEI)はVCL_NALUの後に出現する。SEIの内容を、SLICEのデコード前に参照するか、デコード後に参照するかで、P−SEIとS−SEIを区別する。
SEIには、VLCのデコードに必須ではないがあれば役に立つ付加情報(各ピクチャのタイミング情報、パンスキャン機能に関する情報、ランダムアクセスの便宜を図る情報、ユーザデータなど)を記述できる。
図6は、再生対象レイヤーのデコードに1つの被参照レイヤーのみが必要な場合のエンコード方法を説明する図である。再生対象レイヤーのストリーム(例えば図2のS2)に存在するIRAPは、被参照レイヤーのストリーム(例えば図2のS1)の同時刻のピクチャのみを参照してデコードされる。したがって、再生対象レイヤーのIRAPと同時刻の被参照レイヤーのピクチャを、IRAP、IDR、またはIピクチャ(早送り再生ならリオーダリングが不要なPピクチャでも可)としてエンコードする。
図7は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の一例を説明する図である。再生対象レイヤーのストリーム(例えば図2のS3)に存在するIRAPと同時刻の複数被参照レイヤーのストリーム(例えば図2のS2とS1)のピクチャを全てIRAPとしてエンコードする。ただし、再生対象レイヤーのデコードに必要な被参照レイヤーのうち最下層のレイヤーについては、IRAP、IDR、Iピクチャ、またはPピクチャとしてエンコードする。なお、被参照レイヤーがHEVC以外の規格でエンコードされるものであるなら、被参照レイヤーの参照ピクチャは、図6の場合と同様に、IRAPに準ずるピクチャとする。
図8は、再生対象レイヤーのデコードに複数の被参照レイヤーが必要な場合のエンコード方法の他例を説明する図である。再生対象レイヤーのストリーム(例えば図2のS3)に存在するIRAPと同時刻の複数被参照レイヤーのストリーム(例えば図2のS1とS2)のピクチャを全てIRAP、IDR、Iピクチャ、またはPピクチャとしてエンコードする。なお、被参照レイヤーがHEVC以外の規格でエンコードされるものであるなら、被参照レイヤーの参照ピクチャは、図6の場合と同様に、IRAPに準ずるピクチャとする。
図6〜図8の例示において、再生対象レイヤーが被参照レイヤーのどれ(IRAP、IDR、Iピクチャ、またはPピクチャ)を時間的位置あわせのために参照するのかは、適宜、図5のVPS(Video Parameter Set)またはSEI(Supplemental Enhancement Information)に記載しておくことができる。上記の時間的位置あわせは、例えば、再生対象レイヤー(上位レイヤー)のランダムアクセスポイントのデコード開始時間情報を、被参照レイヤー(下位レイヤー)のランダムアクセスポイントのデコード開始時間情報に対応させ、または一致させることで、行うことができる。
図9は、SHVCエンコーダの別例を説明する図である。例えば図7のストリームS1〜S3をデコードする場合、ストリームS1〜S3それぞれのランダムアクセスポイント(IRAP、IDR、Iピクチャ)またはPピクチャのアクセスユニットは、該当デコーダへ一斉に届くようにした方が、特殊再生の処理がよりスムースになる。そこで、図9の実施形態では、ストリームS1、S2、S3を、それぞれバッファ240、242、244で一旦バッファリングする。そして、特殊再生するときに用いる参照ピクチャのアクセスユニット(IRAP、IDR、Iピクチャ、またはPピクチャ)が全てバッファリングされた時点で、これら参照ピクチャのアクセスユニットが同じタイミングでバッファ240〜244から出力されるように、バッファ240〜244の読み出しタイミングをコントローラ230で制御する。
図10は、図1のデコーダ側に対応する構成を備えたSHVC受信機(デジタルTV)の一例を説明する図である。図10ではSHVCデコーダ1−28を1組示している。図6に示すように1つの拡張レイヤーストリームS2を用いてSHVCエンコードがなされている場合については、SHVCデコーダは1組でよい。しかし、図7に示すように2つの拡張レイヤーストリームS2/S3を用いたSHVCエンコードがなされている場合は、対応するSHVCデコーダは2組となる。(2組のSHVCデコーダのハードウエア構成は同じでよい。ストリームS3用のSHVCデコーダは、ストリームS2用のSHVCデコーダのデコード結果を参照してデコードするように構成される。)
なお、以下に説明する構成は、ハードウエアで実現できるが、マイクロコンピュータあるいはデジタルプロセッサを用いてソフトウェアあるいはファームウエアで実現されてもよい。
なお、以下に説明する構成は、ハードウエアで実現できるが、マイクロコンピュータあるいはデジタルプロセッサを用いてソフトウェアあるいはファームウエアで実現されてもよい。
また、以下の記載において、番組は、ストリームあるいはコンテンツもしくは情報と称する場合もある。なお、番組は、映像及び映像に付属する音声や音楽からなる。また、映像は、動画と静止画またはテキスト(コード化された符号列で示される文字や記号等で表される情報)の少なくとも1つを含む。
SHVC受信機で視聴する番組の取得は、番組供給元(放送局)が、例えば空間波(電波)を用いて送信する放送の受信により実現できる。番組の取得はまた、番組配信元(配信事業者)が、光ファイバ(ケーブル)やインターネットプロトコル(Internet Protocol)通信網等のネットワークを用いて配信するものの取得であってもよい。番組の取得はまた、ネットワーク上の番組提供元(コンテンツサーバ)が保持するストリーミング映像(ストリーム)の読み出し(ダウンロード)であってもよい。またさらに、番組の取得(再生)は、ネットワーク機能を使用する映像転送技術(他の装置が保持する番組のネットワークを経由した再生(取得)によっても、可能である。
図10が示すSHVC受信機は、第1チューナ1−1、第2チューナ1−2、第3のチューナ1−3、第1多重信号分離部1−4、番組(コンテンツ)記憶部(HDD)1−5、第2多重信号分離部1−6、STC(System Time Clock)再生部1−7、既存HDTV放送(MPEG−2ビデオ)の映像に対応する基準映像信号をバッファするレイヤ0バッファ1−8、PSI(Program Specific Information)/SI(Service Information)取得部1−9、MPEG−2デコーダ1−10、復調部1−10a、フレームバッファ(FB)1−10b、第1異常検出部1−11、トップフィールドメモリ1−12、ボトムフィールドメモリ1−13、IP(Interlaced−Progressive)変換部1−14、色変換/スケーリング部1−15、第1バッファA1−16、動き適応I−P変換/2K−4Kスケーリング/色域拡大部1−17、スケーリング部1−18、第2異常検出部1−19、スケーリング/色変換部1−20、セレクタ1−21、グラフィックス重畳部1−22、TCP(Transmission Control Protocol)/IPおよびUDP(User Datagram Protocol)/IP制御部1−23、録画再生/放送再生セレクタ1−26、例えば4K映像をSHVCエンコードした拡張映像信号(図6〜図8のストリームS2/S3)をバッファする拡張レイヤ1バッファ1−27、SHVCデコーダ1−28、復号部(SHVC)1−28a、DPB(Decoded Picture Buffer)メモリ1−28b、フィルタ1−28c、第2バッファBメモリ1−30、CPU(Central Processing Unit,主制御部)1−31、不揮発性メモリ1−32、多重化部1−33、制御入力受信部1−34、等を含む。
第1チューナ1−1は、SHVC標準に準拠する放送信号のうち、HDTV(水平方向の画素数が1920(または1440)、垂直方向の画素数が1080)放送に対応する信号(2K信号、以下基準映像信号と称する)の基準レイヤーストリームS1と、そこから分離された拡張レイヤーストリームS2/S3(拡張映像情報)を受信する。拡張映像情報は、例えば4Kに対応する映像信号を含む。また、SHVC標準に準拠した拡張映像情報は、例えば放送衛星(Broadcasting Satellite)を通じて放送されるBS放送または通信衛星(Communication Satellite)を経由して提供されるCS放送において伝送できる。なお、拡張映像情報は、TCP/IPおよびUDP/IP制御部1−23を経由する放送波以外の伝送方式によって提供されることも可能である。
第1チューナ1−1は、主としてBS放送/CS放送を受信する。第2チューナ1−2及び第3チューナ1−3は、基準映像信号(2K信号)を受信する。なお、第2チューナ1−2は、第1チューナ1−1と同様、主としてBS放送/CS放送を受信する。第2チューナ1−2にて基準映像信号を受信し、第3チューナ1−3にてSHVC標準に準拠する拡張映像信号を受信し、第2および第3チューナの受信信号をともに用いてSHVCデコードをすることで、SHVC標準に準拠する高解像度映像放送(4K放送)を視聴/再生できる。なお、個々のチューナ1−1,1−2,1−3は、復調部を含むものとする。
図2が示すSHVC受信機5においては、基準映像信号を第2チューナ1−2もしくは第3チューナ1−3で受信する。
<<レイヤ0のデコード>>
第2多重信号分離部(TSデマルチプレクサ)1−6は、第2チューナ1−2または第3チューナ1−3が受信し復調した基準映像信号のトランスポートストリーム(TS)から、映像信号、音声信号及び、さまざまな制御情報(システムクロックを含む)、EPG情報等を取り出す。
第2多重信号分離部(TSデマルチプレクサ)1−6は、第2チューナ1−2または第3チューナ1−3が受信し復調した基準映像信号のトランスポートストリーム(TS)から、映像信号、音声信号及び、さまざまな制御情報(システムクロックを含む)、EPG情報等を取り出す。
レイヤ0バッファ1−8は、第2多重信号分離部1−6にて取り出した映像信号及び音声の他、例えば色域情報を保持する。STC再生1−7は、第2多重信号分離部1−6で取り出した時間情報からシステムタイムクロック(STC)を再生する。PSI,SI取得部1−9は、第2多重信号分離部1−6にて分離された信号からPSI(Program Specific Information)および/またはSI(Service Information)を取り出す。
MPEG2デコーダ1−10は、復号部1−10aとFB(フレームバッファ)1−10bとを含み、復号部1−10aにおいてレイヤ0バッファ1−8が保持する映像信号を読み出して復号し、得られた画像をFB(フレームバッファ)1−10bに格納する。
フレームバッファ1−10bが保持する信号は、第1バッファA1−16に格納され、動き適応I−P変換/2K−4Kスケーリング/色域拡大(色域変換)部1−17にて、実質的に4K信号相当の高解像度映像に変換される。また、色域については、例えばBT709準拠からBT2020準拠に拡大された映像信号に変換される。
<<拡張映像情報(拡張ストリーム)のデコード>>
第1チューナ1−1は、上述したSHVC標準に準拠し、基準映像信号と分離された拡張映像信号を受信する。第1チューナ1−1は、現行のBS放送の変調方式に対応する8PSK復調機能を有するが、さらに高いビットレートでの伝送が可能な16APSKに対応する復調機能を有することが好ましい。なお、第2チューナ1−2についても16APSKの復調機能を持たせることは可能であるが、16APSK復調機能は、第1チューナ1−1のみであっても実用上は問題ない。なお、第1チューナ1−1に、16APSKだけでなく8PSKの両方の復調機能を持たせることで、第2チューナ1−2は、8PSKの復調機能があれば十分である。
第1チューナ1−1は、上述したSHVC標準に準拠し、基準映像信号と分離された拡張映像信号を受信する。第1チューナ1−1は、現行のBS放送の変調方式に対応する8PSK復調機能を有するが、さらに高いビットレートでの伝送が可能な16APSKに対応する復調機能を有することが好ましい。なお、第2チューナ1−2についても16APSKの復調機能を持たせることは可能であるが、16APSK復調機能は、第1チューナ1−1のみであっても実用上は問題ない。なお、第1チューナ1−1に、16APSKだけでなく8PSKの両方の復調機能を持たせることで、第2チューナ1−2は、8PSKの復調機能があれば十分である。
録画再生/放送再生セレクタ1−26は、第1多重信号分離部1−4が分離した拡張映像信号を、拡張レイヤ1バッファ1−27に格納する。
SHVCデコーダ1−28は、復号部(SHVC)1−28a、DPB(Decoded Picture Buffer)メモリ1−28b及びフィルタ1−28cを含み、レイヤ1バッファ1−27が保持する拡張映像信号(SHVCエンコーダがエンコードしたスケーラブル信号)を読み出し、参照に必要なフレームを基準映像信号のフレームバッファ1−10bに要求する。要求するフレームは、MPEG−2(基準映像信号)のストリームに付加されていたPTS(Presentation Time Stamp)を使用して指定できる。SHVCデコーダ1−28は、SHVCエンコードされたストリームから、例えば4Kの基画像に相当する高解像度映像をデコードする。
なお、SHVCデコーダ1−28がデコードする拡張映像情報は、送信機側のSHVCエンコーダにおいて、SHVC符号化方式によって入力信号を符号化処理したものである。ここで、SHVCエンコーダは、予測画像の生成に、インター予測(動き補償予測)、イントラ予測(画面内予測)、及びレイヤ間予測(画像間予測)のいずれかを実行する。SHVC符号化方式では、HEVC方式で用いられていた画面間予測と画面内予測に加え、現行のHDTV映像を構成する基準レイヤ(2Kの基準映像)から高画質映像を構成する拡張レイヤ(例えば4Kの拡張映像)を予測するレイヤ間予測が実行される。復号した基準レイヤを高画質にアップコンバートした映像を、予測の候補として利用することが可能であるため、高画質映像、例えば、4K映像を直接圧縮するよりも圧縮効率が良くなる可能性がある。
SHVCエンコーダから出力される拡張予測画像信号は、入力高画質映像信号及び第1の拡大復号映像信号の各々に含まれる同一の画像を同期させ、第1の拡大復号信号に含まれる画像(参照画像)を参照し、高画質画像(基準レイヤ)と参照画像(拡張レイヤ)とのレイヤ間予測を実行することによって、高画質画像と参照画像とのレイヤ間画像予測により生成される信号である。なお、SHVCエンコーダでは、メタデータを拡張画像信号に付加できる。SHVCエンコーダは、生成した拡張画像信号を所定の時間間隔、且つ時系列に配列して拡張映像信号を生成し、生成した拡張映像信号にスケーラブル符号化処理を実行して、SHVCエンコードされたストリームを出力する。
<<ARIB(放送規格)との関係について>>
ARIB規格書には、デジタルテレビジョンサービスにおける映像信号と映像エンコード方式に関し、実運用において推奨されるMPEG-2 Video 規格の技術的条件を示すことを目的として、「付属1 テレビジョンサービスにおけるMPEG-2 Video 規格の運用ガイドライン」が記載されている。
ARIB規格書には、デジタルテレビジョンサービスにおける映像信号と映像エンコード方式に関し、実運用において推奨されるMPEG-2 Video 規格の技術的条件を示すことを目的として、「付属1 テレビジョンサービスにおけるMPEG-2 Video 規格の運用ガイドライン」が記載されている。
この運用ガイドラインは、「標準テレビジョン放送等のうちデジタル放送に関する送信の標準方式」(省令)に準拠するテレビジョンサービスの映像信号のうちMPEG-2 Video 規格によるものについて適用される。
運用ガイドライン(その2)は、「付属5 テレビジョンサービスにおけるHEVC 規格の運用ガイドライン」として記載され、HEVC(High Efficiency Video Coding)規格第2版の中で拡張規定されたSHVCの規格によるものについて適用される。
例えば上記の「運用ガイドライン」および/または「運用ガイドライン(その2)」において、「上位レイヤーが下位レイヤーのデコード結果を参照するような階層レイヤー構造において、レイヤー間のランダムアクセスポイントの時間的な位置合わせを行なう」ことが示唆されることが望ましい。
<<実施形態の効果>>
デコーダ側で早送りなどの特殊再生を行う場合に、必要なフレームバッファの容量増加を避けつつ、特殊再生の処理時間を削減できる。
デコーダ側で早送りなどの特殊再生を行う場合に、必要なフレームバッファの容量増加を避けつつ、特殊再生の処理時間を削減できる。
この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許の請求の範囲に記載された発明とその均等の範囲に含まれるものである。
Claims (9)
- 基画像データを圧縮エンコードして、被参照レイヤーの第1ストリームを生成する第1エンコーダと、
前記第1エンコーダでエンコードされる第1画像データを参照することにより前記基画像データを圧縮エンコードして、参照レイヤーの第2ストリームを生成する第2エンコーダを備え、
前記第1エンコーダおよび前記第2エンコーダにおける圧縮エンコード処理において、前記参照レイヤーのランダムアクセスポイントと前記被参照レイヤーのランダムアクセスポイントまたはPピクチャの時間的な位置合わせを行うように構成したエンコード装置。 - 請求項1の装置において、前記第2エンコーダは、スケーラブル高効率ビデオコーディングに準拠したSHVCエンコーダであり、前記参照レイヤーを、SHVCデコーダ側での再生対象レイヤーとする。
- 請求項1または請求項2の装置において、前記被参照レイヤーの第1ストリームを第1の伝送帯域で伝送し、前記参照レイヤーの第2ストリームを第2の伝送帯域で伝送する。
- スケーラブル高効率ビデオコーディングに準拠したデータを生成する装置であって、
基画像データを圧縮エンコードして、基準レイヤーのストリームを生成する基準レイヤーエンコーダと、
前記基準レイヤーエンコーダでエンコードされる第1画像データを参照することにより前記基画像データをSHVCエンコードして、第1拡張レイヤーの第1拡張ストリームを生成する第1拡張レイヤーエンコーダと、
前記第1拡張レイヤーエンコーダでエンコードされる第2画像データを参照することにより前記基画像データをSHVCエンコードして、第2拡張レイヤーの第2拡張ストリームを生成する第2拡張レイヤーエンコーダを備え、
前記第1拡張レイヤーエンコーダおよび前記第2拡張レイヤーエンコーダにおける圧縮エンコード処理において、前記第2拡張レイヤーのランダムアクセスポイントと前記第1拡張レイヤーのランダムアクセスポイントまたはPピクチャの時間的な位置合わせを行うように構成したエンコード装置。 - 請求項4の装置は、前記基準レイヤーエンコーダ、前記第1拡張レイヤーエンコーダおよび前記第2拡張レイヤーエンコーダにおける圧縮エンコード処理において、前記第1拡張レイヤーおよび前記第2拡張レイヤーのランダムアクセスポイントと前記基準レイヤーのランダムアクセスポイントまたはPピクチャの時間的な位置合わせを行う。
- 請求項4または請求項5の装置において、前記第2拡張レイヤーを、SHVCデコーダ側での再生対象レイヤーとする。
- 請求項4または請求項5の装置において、前記基準レイヤーのストリームを第1の伝送帯域で伝送し、前記第1拡張レイヤーの第1拡張ストリームおよび/または前記第2拡張レイヤーの第2拡張ストリームを第2の伝送帯域で伝送する。
- 基画像データを圧縮エンコードして、被参照レイヤーの第1ストリームを生成し、
エンコードされる第1画像データを参照することにより前記基画像データを圧縮エンコードして、参照レイヤーの第2ストリームを生成する方法において、
前記第1ストリームおよび前記第2ストリームのエンコード処理において、前記参照レイヤーのランダムアクセスポイントと前記被参照レイヤーのランダムアクセスポイントまたはPピクチャの時間的な位置合わせを行うように構成したエンコード方法。 - 請求項8の方法において、前記第1ストリームは、デジタル放送で使用されるMPEG−2ビデオ規格に準じたストリームであり、前記第2ストリームは、スケーラブル高効率ビデオコーディングに準拠したストリームであり、前記参照レイヤーと前記被参照レイヤーとの間における前記ランダムアクセスポイントの時間的な位置合わせは、前記デジタル放送の運用基準に定められる。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014237953A JP2016100831A (ja) | 2014-11-25 | 2014-11-25 | 画像エンコード装置および画像エンコード方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014237953A JP2016100831A (ja) | 2014-11-25 | 2014-11-25 | 画像エンコード装置および画像エンコード方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016100831A true JP2016100831A (ja) | 2016-05-30 |
Family
ID=56078191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014237953A Pending JP2016100831A (ja) | 2014-11-25 | 2014-11-25 | 画像エンコード装置および画像エンコード方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016100831A (ja) |
-
2014
- 2014-11-25 JP JP2014237953A patent/JP2016100831A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9769485B2 (en) | Multi-layer encoding and decoding | |
US10701400B2 (en) | Signalling of summarizing video supplemental information | |
US10171842B2 (en) | HRD descriptor and buffer model of data streams for carriage of HEVC extensions | |
US10284867B2 (en) | Apparatus, a method and a computer program for video coding and decoding | |
JP2018143000A (ja) | データ処理方法およびビデオ送信方法 | |
KR102182166B1 (ko) | 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치 | |
US20160127728A1 (en) | Video compression apparatus, video playback apparatus and video delivery system | |
JP2018507591A (ja) | スケーラブルなビデオ符号化および復号化のための層間予測 | |
EP3038365B1 (en) | Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device | |
US10778995B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US9204156B2 (en) | Adding temporal scalability to a non-scalable bitstream | |
EP2664157B1 (en) | Fast channel switching | |
JP5734699B2 (ja) | 配信映像の超解像化装置 | |
JP6760290B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
WO2009136681A1 (en) | Method for encoding and decoding image, and apparatus for displaying image | |
Biatek et al. | Versatile video coding for 3.0 next generation digital TV in Brazil | |
JP2016100831A (ja) | 画像エンコード装置および画像エンコード方法 | |
JP6501503B2 (ja) | 電子機器及び信号処理方法 | |
Percheron et al. | HEVC, the key to delivering an enhanced television viewing experience “Beyond HD” | |
Jaksic et al. | Implementation of Video Compression Standards in Digital Television | |
WO2019167952A1 (ja) | 受信装置、受信方法、送信装置および送信方法 | |
CN116941246A (zh) | 用信号通知子画面id信息的媒体文件生成/接收方法和装置以及存储媒体文件的计算机可读记录介质 | |
CN117223290A (zh) | 用于基于eos样本组生成/接收媒体文件的方法和设备以及用于发送媒体文件的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20161019 |