JP6560230B2 - インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム - Google Patents

インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム Download PDF

Info

Publication number
JP6560230B2
JP6560230B2 JP2016544547A JP2016544547A JP6560230B2 JP 6560230 B2 JP6560230 B2 JP 6560230B2 JP 2016544547 A JP2016544547 A JP 2016544547A JP 2016544547 A JP2016544547 A JP 2016544547A JP 6560230 B2 JP6560230 B2 JP 6560230B2
Authority
JP
Japan
Prior art keywords
video
layer
picture
phase
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016544547A
Other languages
English (en)
Other versions
JP2017507548A (ja
JP2017507548A5 (ja
Inventor
イエ イエン
イエ イエン
ホー ヨン
ホー ヨン
ホー ユーウェン
ホー ユーウェン
ネフ ラルフ
ネフ ラルフ
Original Assignee
ヴィド スケール インコーポレイテッド
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド, ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2017507548A publication Critical patent/JP2017507548A/ja
Publication of JP2017507548A5 publication Critical patent/JP2017507548A5/ja
Application granted granted Critical
Publication of JP6560230B2 publication Critical patent/JP6560230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本出願は、ビデオコーディングに関し、より詳細には、インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのシステム、装置、および方法に関する。
過去20年にわたって、効率的なデジタルビデオ通信、配信、および消費を可能にするために、様々なデジタルビデオ圧縮技術が、開発され、規格化されてきた。H.261、MPEG−1、MPEG−2、H.263、MPEG−4パート2、およびH.264/MPEG−4パート10 AVCなど、商業的に広く展開されている規格のほとんどは、ISO/IECおよびITU−Tによって開発されている。最近、高効率ビデオコーディング(HEVC)またはH.265と呼ばれるビデオコーディング規格が、ITU−Tビデオコーディングエキスパーツグループ(VCEG)およびISO/IECムービングピクチャエキスパーツグループ(MPEG)によって共同で開発された。
米国特許出願公開第2014/0037015号明細書 米国特許出願公開第2014/0010294号明細書 米国特許出願公開第2014/0064374号明細書
ITU−T Rec. H.264およびISO/IEC14496−10(MPEG4−AVC)、「Advanced Video Coding for Generic Audiovisual Services」、v5、2010年3月 ITU−T Rec H.261、「Video Codec for Audiovisual services at px384kbit/s」、1988年11月 ISO/IEC 11172−2:1993、「Information technology−Coding of moving pictures and associated audio for digital storage media at up to about 1,5Mbit/s−part 2:Video」、1993年 ISO/IEC 13818−2、「Information technology−Generic coding of moving pictures and associated audio information:Video」、2000年12月 ITU−T Rec H.263、「Video coding for low bit rate communication」 ISO/IEC 14496−2、「Information technology−Coding of audio−visual objects−part 2:Visual」、2001年12月 ITU−T Rec H.264およびISO/IEC/MPEG4 part 10、「Advanced video coding for generic audiovisual services」、2007年11月 B.Bross、W−J.Han、J−R.Ohm、G.J.Sullivan、Y.K.Wang、T.Wiegand、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、Document no JCTVC−L1003、2013年1月 A.Luthra、「Joint Call for Proposals on the Scalable Video Coding Extensions of HEVC」、ISO/IEC JTC−1/SC29/WG11 N12957、2012年7月 A.Luthra、「Use cases for the scalable enhancement of HEVC」、ISO/IEC JTC−1/SC29/WG11 N12955、2012年7月 A.Luthra、「Requirements for the scalable enhancement of HEVC」、ISO/IEC JTC−1/SC29/WG11 N12956、2012年7月 Heiko Schwarz、Detlev Marpe、Thomas Wiegand、「Overview of the Scalable Video coding Extension of the H.264/AVC Standard」、IEEE Transactions on Circuits and Systems for Video Technology、Vol.17、No.9、2007年9月 A.Vetro、T.Wiegand、G.Sullivan、「Overview of the stereo and multiview video coding extensions of the H. 264/MPEG−4 AVC standard」、Proceedings of the IEEE.2011 InterDigital Communications、「Description of scalable video coding technology」、JCTVC document no JCTVC−K0034、2012年10月 J.Chen、J.Boyce、Y.Ye、M.M.Hunnuksela、「SHVC Test Model 4(SHM 4)」、JCTVC document no JCTVC−O1007、2013年10月 J.Chen、J.Boyce、Y.Ye、M.M.Hunnuksela、Y.K.Wang、「SHVC Draft 4」、JCTVC document no JCTVC−O1008、2013年10月 J−R.Ohm、G.J.Sullivan、「Meeting report of the 13th meeting of the Joint Collaborative Team on Video Coding(JCT−VC)」、Incheon、KR、2013年4月18〜26日 G.J.Sullivan、T.Wiegand、「Rate−distortion optimization for video compression」、IEEE Signal Processing Magazine、vol.15、issue 6、1998年11月 「SCE4:Summary Report of SHVC Core Experiment on inter−layer filtering」、JCTVC document no JCTVC−M0024、2013年4月 「MV−HEVC/SHVC HLS:On inter−layer sample and syntax prediction indications」、JCTVC document no JCTVC−M045、2013年4月 「AHG15:Interlaced to progressive scalability for SHVC hybrid codec use case」、JCTVC document no JCTVC−P0163、2014年1月 「Interlaced to progressive scalability in SHVC」、JCTVC document no JCTVC− P0165、2014年1月 「On field to frame scalability」、JCTVC document no JCTVC−P0175、2014年1月 「BoG report on phase adjustment in SHVC re−sampling process」、JCTVC document no JCTVC−P0312、2014年1月 J.Chen、J.Boyce、Y.Ye、M.M.Hunnuksela、G.J.Sullivan、Y.K.Wang、「SHVC Draft 5」、JCTVC document no JCTVC−P1008、2014年1月
最近、高効率ビデオコーディング(HEVC)またはH.265と呼ばれるビデオコーディング規格が、ITU−Tビデオコーディングエキスパーツグループ(VCEG)およびISO/IECムービングピクチャエキスパーツグループ(MPEG)によって共同で開発された。
一実施形態では、ビデオピクチャを再サンプリングする際に使用するための、位相パラメータの1または複数のセットを記憶するステップと、ベースレイヤビデオコンテンツおよびエンハンスメントレイヤビデオコンテンツを含む、ビデオコンテンツを受信するステップと、ベースレイヤ内のピクチャ、および記憶された位相パラメータのセットの1または複数に基づいて、エンハンスメントレイヤ内の少なくとも1つのピクチャを予測する際に使用するための、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含む、ビデオ信号をデコードするための方法が実施される。
前述の実施形態は、ILR参照ピクチャを使用して、エンハンスメントレイヤピクチャを予測するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの記憶された1または複数のセットの各々が、1もしくは複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、1もしくは複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、1もしくは複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/または1もしくは複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報を含むことをさらに含むことができる。
より詳細な理解は、添付の図面と併せて、例として与えられた、以下の発明を実施するための形態から得ることができる。そのような図面における図は、詳細な説明同様、例である。そのため、図および詳細な説明は、限定的なものと見なされるべきではなく、他の等しく効果的な例が、可能であり、可能性がある。さらに、図における同様の参照番号は、同様の要素を示す。
1または複数の実施形態を実行および/または実施することができる、例示的なビデオエンコーディングおよびデコーディングシステムを示すブロック図である。 図1Aのビデオエンコーディングおよび/またはデコーディングシステムとともに使用するための、例示的なビデオエンコーダユニットを示すブロック図である。 一般的なブロックベースのハイブリッドビデオエンコーディングシステムのブロック図である。 ブロックベースのビデオデコーダの概略ブロック図である。 ピクチャレベルのレイヤ間処理(ILP)を使用する2レイヤスケーラブルコーディングシステムを示すブロック図である。 ピクチャレベルのILPを用いる2レイヤスケーラブルデコーディングシステムを示す図である。 ハイブリッドコーデックスケーラビリティサポートを有するSHVCコーデックを使用する代表的なビデオ配信を示す図である。 代表的なプログレッシブフレームを示すとともに、インターレースビデオにおけるトップフィールドおよびボトムフィールド内のピクセルの空間的関係を、プログレッシブフレームと比較して示す図である。 代表的なインターレースビデオを示すとともに、インターレースビデオのトップ/ボトムフィールドの間の時間的関係の例を、そのプログレッシブ対応物におけるフレームと比較して示す図である。 プログレッシブスキャンビデオフレームについての、YUV4:2:0ビデオフォーマットにおける、クロマサンプルおよびルーマサンプルのデフォルトの相対位置を示す図である。 インターレーススキャンビデオのトップフィールドおよびボトムフィールドについての、YUV4:2:0ビデオフォーマットにおける、クロマサンプルとおよびルーマサンプルのデフォルトの相対位置を示す図である。 トップフィールドおよびボトムフィールドが組み合わされて1つのピクチャになった例を示すピクチャである。 リージョンベースの適応フレームフィールドアップサンプリングの例を示す図である。 フィールド組み合わせを使用するレイヤ間予測のための代表的な手順を示す図である。 3つ以上のフィールドを用いるフィールド組み合わせを使用するレイヤ間予測のための代表的な手順を示す図である。 リサンプル位相情報のセットを5つ(例えば、複数セット)用いる3レイヤ(例えば、マルチレイヤ)スケーラブルビットストリームの例を示す図である。 1または複数の開示される実施形態を実施することができる例示的な通信システムの図である。 図15Aに示された通信システム内で使用することができる例示的な無線送受信ユニット(WTRU)の図である。 図15Aに示された通信システム内で使用することができる例示的な無線アクセスネットワークおよび例示的なコアネットワークの図である。 図15Aに示された通信システム内で使用することができる例示的な無線アクセスネットワークおよび例示的なコアネットワークの図である。 図15Aに示された通信システム内で使用することができる例示的な無線アクセスネットワークおよび例示的なコアネットワークの図である。
図1Aは、1または複数の実施形態を実行および/または実施することができる、例示的なビデオエンコーディングおよびデコーディングシステム100を示すブロック図である。システム100は、エンコードされたビデオ情報を、通信チャネル116を介して、送信先デバイス114に送信することができる、送信元デバイス112を含むことができる。
送信元デバイス112および送信先デバイス114は、幅広いデバイスのいずれかとすることができる。いくつかの代表的な実施形態では、送信元デバイス112および/または送信先114は、通信チャネル116上でビデオ情報を通信することができる無線ハンドセットまたは任意の無線デバイスなどの、無線送信および/または受信ユニット(WTRU)を含むことができ、その場合、通信チャネル116は、無線リンクを含む。しかしながら、本明細書で説明され、開示され、または他の方法で明示的、暗黙的、および/もしくは本質的に提供される(一括して「提供される」)、方法、装置、およびシステムは、必ずしも無線応用例または環境に限定されない。例えば、これらの技法は、無線テレビ放送、ケーブルテレビ送信、衛星テレビ送信、インターネットビデオ送信、記憶媒体上にエンコードされたエンコードされたデジタルビデオ、および/または他のシナリオに適用することができる。通信チャネル116は、エンコードされたビデオデータの送信に適した、無線または有線媒体の任意の組み合わせを含むことができ、かつ/または任意の組み合わせであることができる。
送信元デバイス112は、ビデオエンコーダユニット118、送信および/または受信(Tx/Rx)ユニット120、および/またはTx/Rx要素122を含むことができる。示されるように、送信元デバイス112は、ビデオソース124を含むことができる。送信先デバイス114は、Tx/Rx要素126、Tx/Rxユニット128、および/またはビデオデコーダユニット130を含むことができる。示されるように、送信先デバイス114は、表示デバイス132を含むことができる。Tx/Rxユニット120、128の各々は、送信機、受信機、または送信機および受信機の組み合わせ(例えば、送受信機または送信機−受信機)であることができ、またはそれらを含むことができる。Tx/Rx要素122、126の各々は、例えば、アンテナであることができる。本開示によれば、送信元デバイス112のビデオエンコーダユニット118、および/または送信先デバイス114のビデオデコーダユニット130は、本明細書で提供されるコーディング技法を適用するように構成すること、および/または適合させる(一括して「適合させる」)ことができる。
送信元デバイス112および送信先デバイス114は、他の要素/構成要素または配置を含むことができる。例えば、送信元デバイス112は、ビデオデータを外部ビデオソースから受信するように適合させることができる。送信先デバイス114は、外部表示デバイス((図示されず)とインターフェースを取ることができ、かつ/または(例えば、統合された)表示デバイス132を含む、かつ/もしくは使用することができる。いくつかの実施形態では、ビデオエンコーダユニット118によって生成されたデータストリームは、データを搬送信号上に変調することなく、ダイレクトデジタル転送などによって、他のデバイスまで搬送ことができ、他のデバイスは、送信のためにデータを変調してもよく、またはしなくてもよい。
本明細書で提供される技法は、任意のデジタルエンコーディングおよび/またはデコーディングデバイスによって実行することができる。一般に、本明細書で提供される技法は、別々のビデオエンコーディングデバイスおよび/またはビデオデコーディングデバイスによって実行されるが、技法は、一般に「CODEC」と呼ばれる、組み合わされたビデオエンコーダ/デコーダによっても実行することができる。本明細書で提供される技法は、ビデオプロセッサなどによっても実行することができる。送信元デバイス112および送信先デバイス114は、そのようなコーディングデバイスの例にすぎず、送信元デバイス112は、送信先デバイス114に送信するためのエンコードされたビデオ情報を生成すること(および/またはビデオデータを受信してから、生成すること)ができる。いくつかの代表的な実施形態では、送信元デバイス112および送信先デバイス114は、デバイス112、114の各々が、ビデオエンコーディングおよびデコーディング構成要素および/または要素(一括して「要素」)の両方を含むことができるような、実質的に対称的な方法で動作することができる。したがって、システム100は、(例えば、とりわけ、ビデオストリーミング、ビデオ再生、ビデオ放送、ビデオ電話、および/またはビデオ会議のいずれかのための)送信元デバイス112と送信先デバイス114の間の一方向および双方向ビデオ送信のどちらもサポートすることができる。ある代表的な実施形態では、送信元デバイス112は、1または複数の送信先デバイスのためのエンコードされたビデオ情報を生成するように(および/またはビデオデータを受信してから、生成するように)適合された、例えば、ビデオストリーミングサーバであることができ、送信先デバイスは、有線および/または無線通信システム上で送信元デバイス112と通信することができる。
外部ビデオソースおよび/またはビデオソース124は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを格納するビデオアーカイブ、および/またはビデオコンテンツプロバイダからのビデオフィードであること、および/またはそれらを含むことができる。ある代表的な実施形態では、外部ビデオソースおよび/またはビデオソース124は、ソースビデオとしてコンピュータグラフィックスベースのデータを生成すること、またはライブビデオ、アーカイブされたビデオ、および/もしくはコンピュータ生成されたビデオの組み合わせを生成することができる。ある代表的な実施形態では、ビデオソース124がビデオカメラである場合、送信元デバイス112および送信先デバイス114は、カメラフォンまたはビデオフォンであることができ、またはそれらを具体化することができる。
キャプチャされた、事前キャプチャされた、コンピュータ生成されたビデオ、ビデオフィード、および/または他のタイプのビデオデータ(一括して「エンコードされていないビデオ」)は、エンコードされたビデオ情報を形成するために、ビデオエンコーダユニット118によってエンコードすることができる。Tx/Rxユニット120は、(エンコードされたビデオ情報を搬送する1または複数の変調された信号を形成するために、例えば、通信規格に従って)エンコードされたビデオ情報を変調することができる。Tx/Rxユニット120は、変調された信号を、送信のために、その送信機に渡すことができる。送信機は、変調された信号を、Tx/Rx要素122を介して、送信先デバイス114に送信することができる。
送信先デバイス114では、Tx/Rxユニット128は、変調された信号を、Tx/Rx要素126を介して、通信チャネル116上から受信することができる。Tx/Rxユニット128は、変調された信号を復調して、エンコードされたビデオ情報を獲得することができる。Tx/Rxユニット128は、エンコードされたビデオ情報をビデオデコーダユニット130に渡すことができる。
ビデオデコーダユニット130は、エンコードされたビデオ情報をデコードして、デコードされたビデオデータを獲得することができる。エンコードされたビデオ情報は、ビデオエンコーダユニット118によって定義されたシンタックス情報を含むことができる。このシンタックス情報は、1または複数の要素(「シンタックス要素」)を含むことができ、そのいくつかまたはすべては、エンコードされたビデオ情報をデコードするのに有用であることができる。シンタックス要素は、例えば、エンコードされたビデオ情報の特性を含むことができる。シンタックス要素は、エンコードされたビデオ情報を形成するために使用されたエンコードされていないビデオの特性を含むこと、および/またはエンコードされていないビデオの処理について説明することもできる。
ビデオデコーダユニット130は、後の記憶および/または外部ディスプレイ(図示されず)上での表示のために、デコードされたビデオデータを出力することができる。ある代表的な実施形態では、ビデオデコーダユニット130は、デコードされたビデオデータを表示デバイス132に出力することができる。表示デバイス132は、デコードされたビデオデータをユーザに対して表示するように適合された、様々な表示デバイスのいずれか1つ、複数、組み合わせであること、および/またはそれらを含むことができる。そのような表示デバイスの例は、とりわけ、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、および/またはブラウン管(CRT)を含む。
通信チャネル116は、無線周波数(RF)スペクトルもしくは1もしくは複数の物理的通信線などの任意の無線もしくは有線通信媒体であること、または無線および有線媒体の任意の組み合わせであることができる。通信チャネル116は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信チャネル116は、一般に、有線および/または無線媒体の任意の適切な組み合わせを含む、ビデオデータを送信元デバイス112から送信先デバイス114に送信するための任意の適切な通信媒体、または異なる通信媒体の集まりを表す。通信チャネル116は、ルータ、スイッチ、基地局、および/または送信元デバイス112から送信先デバイス114への通信を容易にするのに有用であることができる他の任意の機器を含むことができる。デバイス112とデバイス114の間のそのような通信を容易にすることができる、例示的な通信システムの詳細は、図15A〜図15Eを参照して、以下で提供される。送信元デバイス112および送信先デバイス114を代表することができるデバイスの詳細も、同様に、以下で提供される。
ビデオエンコーダユニット118およびビデオデコーダユニット130は、例えば、とりわけ、MPEG−2、H.261、H.263、H.264、H.264/AVC、および/またはSVC拡張に従って拡張されたH.264(「H.264/SVC」)など、1または複数の規格および/または仕様に従って動作することができる。本明細書で説明される方法、装置、および/またはシステムは、異なる規格に従って(および/または準拠して)実施される他のビデオエンコーダ、デコーダ、および/もしくはCODECに、または将来のビデオエンコーダ、デコーダ、および/もしくはCODECを含む、独自仕様のビデオエンコーダ、デコーダ、および/もしくはCODECに適用可能であることを当業者は理解する。本明細書で説明される技法は、いずれか特定のコーディング規格に限定されない。
上で言及されたH.264/AVCの関連部分は、参照により本明細書に組み込まれ、本明細書ではH.264規格、H.264仕様、H.264/AVC規格および/または仕様と呼ばれることがある、ITU−T勧告H.264として、より具体的には、非特許文献1として、国際電気通信連合から入手可能である。本明細書で提供される技法は、H.264規格に準拠した(例えば、ほぼ準拠した)デバイスに適用することができる。
図1Aには示されていないが、ビデオエンコーダユニット118およびビデオデコーダユニット130の各々は、(適切な場合は)オーディオエンコーダおよび/またはオーディオデコーダを含むこと、および/またはそれらと統合されることができる。ビデオエンコーダユニット118およびビデオデコーダユニット130は、適切なMUX−DEMUXユニット、または共通のデータストリームおよび/もしくは別個のデータストリーム内のオーディオおよびビデオ両方のエンコーディングを処理するための他のハードウェアおよび/もしくはソフトウェアを含むことができる。適用可能な場合、MUX−DEMUXユニットは、例えば、ITU−T勧告H.223マルチプレクサプロトコル、および/またはユーザデータグラムプロトコル(UDP)など他のプロトコルに準拠することができる。
1または複数のビデオエンコーダユニット118および/またはビデオデコーダユニット130は、1または複数のエンコーダおよび/またはデコーダ内に含まれることができ、そのいずれもが、CODECの一部として統合されることができ、かつとりわけ、それぞれのカメラ、コンピュータ、モバイルデバイス、加入者デバイス、放送デバイス、セットトップボックス、および/またはサーバと統合すること、および/または組み合わせることができる。ビデオエンコーダユニット118および/またはビデオデコーダユニット130は、それぞれ、1もしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなど、様々な適切なエンコーダおよび/またはデコーダ回路のいずれかとして実施することができる。ビデオエンコーダユニット118およびビデオデコーダユニット130の一方または両方は、実質的にソフトウェアで実施することができ、ビデオエンコーダユニット118および/またはビデオデコーダユニット130の要素の動作は、1または複数のプロセッサ(図示されず)によって実行される適切なソフトウェア命令によって実行することができる。そのような実施形態は、プロセッサに加えて、オフチップ構成要素、例えば、とりわけ、(例えば、不揮発性メモリの形態の)外部記憶、および/または入出力インターフェースを含むことができる。
ビデオエンコーダユニット118および/またはビデオデコーダユニット130の要素の動作を、1または複数のプロセッサによって実行されるソフトウェア命令によって実行することができる任意の実施形態では、ソフトウェア命令は、例えば、とりわけ、磁気ディスク、光ディスク、他の任意の揮発性媒体(例えば、ランダムアクセスメモリ(RAM))、不揮発性媒体(例えば、リードオンリーメモリ(「ROM」)、および/またはCPUによって可読な大容量記憶システムを含む、コンピュータ可読媒体上に維持することができる。コンピュータ可読媒体は、処理システム上に排他的に存在することができる、かつ/または処理システムから見てローカルもしくはリモートであることができる複数の相互接続された処理システム間に分散された、協力するまたは相互接続されたコンピュータ可読媒体を含むことができる。
図1Bは、システム100などのビデオエンコーディングおよび/またはデコーディングシステムとともに使用するための、例示的なビデオエンコーダユニット118を示すブロック図である。ビデオエンコーダユニット118は、ビデオエンコーダ133と、出力バッファ134と、システムコントローラ136とを含むことができる。ビデオエンコーダ133(またはそれの1もしくは複数の要素)は、例えば、とりわけ、H.261、H.263、H.264、H.264/AVC、H.264/AVCのSVC拡張(H.264/AVC付属書G)、HEVC、および/またはHEVCのスケーラブル拡張(SHVC)など、1または複数の規格および/または仕様に従って実施することができる。本明細書で提供される方法、装置、および/またはシステムは、異なる規格に従って実施される他のビデオエンコーダに、および/または将来のCODECを含む独自仕様のCODECに適用可能とすることができることを当業者は理解する。
ビデオエンコーダ133は、ビデオソース124および/または外部ビデオソースなどのビデオソースから提供されるビデオ信号を受信することができる。このビデオ信号は、エンコードされていないビデオを含むことができる。ビデオエンコーダ133は、エンコードされていないビデオをエンコードし、エンコードされた(すなわち、圧縮された)ビデオビットストリーム(BS)をその出力において提供することができる。
エンコードされたビデオビットストリームBSは、出力バッファ134に提供することができる。出力バッファ134は、エンコードされたビデオビットストリームBSをバッファリングすることができ、そのようなエンコードされたビデオビットストリームBSを、通信チャネル116を介する送信のために、バッファリングされたビットストリーム(BBS)として提供することができる。
出力バッファ134から出力されたバッファリングされたビットストリームBBSは、後の視聴または送信のために、記憶デバイス(図示されず)に送信することができる。ある代表的な実施形態では、ビデオエンコーダユニット118は、バッファリングされたビットストリームBBSを(例えば、遅延(例えば、非常に短いまたは最小限の遅延)を伴って)指定された一定および/または可変のビットレートで通信チャネル116を介して送信することができる、ビジュアル通信のために構成することができる。
エンコードされたビデオビットストリームBS、ひいては、バッファリングされたビットストリームBBSは、エンコードされたビデオ情報のビットを搬送することができる。バッファリングされたビットストリームBBSのビットは、エンコードされたビデオフレームのストリームとして並べることができる。エンコードされたビデオフレームは、イントラコーディングされたフレーム(例えば、Iフレーム)、またはインターコーディングされたフレーム(例えば、Bフレームおよび/またはPフレーム)であることができる。エンコードされたビデオフレームのストリームは、例えば、一連のグループオブピクチャ(GOP)として並べることができ、各GOPのエンコードされたビデオフレームは、指定された順序で並べられる。一般に、各GOPは、イントラコーディングされたフレーム(例えば、Iフレーム)で開始し、その後に、1または複数のインターコーディングされたフレーム(例えば、Pフレームおよび/またはBフレーム)が続くことができる。各GOPは、ただ1つのイントラコーディングされたフレームしか含まなくてよいが、GOPのいずれも、複数のそれを含んでもよい。例えば、双方向予測は、単方向予測(Pフレーム)と比較して余分なコーディング遅延を引き起こすことがあるので、Bフレームは、リアルタイム低遅延アプリケーションに対しては使用することができないことが企図されている。追加のおよび/または他のフレームタイプを、使用することができ、当業者によって理解されるように、エンコードされたビデオフレームの特定の順序は、変更することができる。
各GOPは、シンタックスデータ(「GOPシンタックスデータ」)を含むことができる。GOPシンタックスデータは、GOPのヘッダ内に、GOPの1もしくは複数のフレームのヘッダ内に、および/または他のどこかに配置することができる。GOPシンタックスデータは、順序、品質、もしくはタイプを示すこと、および/またはそれぞれのGOPのエンコードされたビデオフレームについて説明することができる。各エンコードされたビデオフレームは、シンタックスデータ(「エンコードされたフレームのシンタックスデータ」)を含むことができる。エンコードされたフレームのシンタックスデータは、それぞれのエンコードされたビデオフレームのためのエンコーディングモードを示すこと、および/または説明することができる。
システムコントローラ136は、チャネル116、ビデオエンコーダユニット118の計算能力、ユーザによる要求などと関連付けられた、様々なパラメータおよび/または制約をモニタリングすることができ、指定された制約および/またはチャネル116の状態に適した付随する体感品質(QoE)を提供するために、ターゲットパラメータを確定することができる。ターゲットパラメータの1または複数は、指定された制約および/またはチャネル状態に応じて、時々または定期的に調整することができる。例として、QoEは、例えば、エンコードされたビデオシーケンスの相対知覚品質と一般に呼ばれるメトリックを含む、ビデオ品質を評価するための1または複数のメトリックを使用して、定量的に評価することができる。例えば、ピーク信号対雑音比(「PSNR」)メトリックを使用して測定される、エンコードされたビデオシーケンスの相対知覚品質は、エンコードされたビットストリームBSのビットレート(BR)によって制御することができる。(例えば、量子化パラメータ(QP)を含む)ターゲットパラメータの1または複数は、エンコードされたビットストリームBSのビットレートと関連付けられた制約内で、ビデオの相対知覚品質を最大化するように調整することができる。
図2は、システム100などのビデオエンコーディングおよび/またはデコーディングシステムとともに使用するための、ブロックベースのハイブリッドビデオエンコーダ200のブロック図である。
図2を参照すると、ブロックベースのハイブリッドエンコーディングシステム200は、とりわけ、変換ユニット204、量子化ユニット206、エントロピコーディングユニット208、逆量子化ユニット210、逆変換ユニット212、第1の加算器216、第2の加算器226、空間予測ユニット260、動き予測ユニット262、参照ピクチャストア264、1もしくは複数のフィルタ266(例えば、ループフィルタ)、および/またはモード決定およびエンコーダコントローラユニット280を含むことができる。
ビデオエンコーダ200の詳細は、単に説明に役立つことを意図したものであり、現実世界の実施は、異なることがある。現実世界の実施は、例えば、より多い、より少ない、および/もしくは異なる要素を含むことができ、かつ/または図2に示される配置とは異なるように配置することができる。例えば、別々に示されているが、変換ユニット204および量子化ユニット206両方のいくつかまたはすべての機能は、例えば、H.264規格のコア変換を使用する実施など、現実世界の実施のいくつかでは、高度に統合することができる。同様に、逆量子化ユニット210および逆変換ユニット212は、現実世界の実施のいくつか(例えば、H.264またはHEVC規格に準拠した実施)では、高度に統合することができるが、同様に、概念的な目的で、別々に示されている。
上で説明されたように、ビデオエンコーダ200は、その入力202においてビデオ信号を受信することができる。ビデオエンコーダ200は、受信したエンコードされていないビデオから、エンコードされたビデオ情報を生成し、エンコードされたビデオ情報(例えば、イントラフレームまたはインターフレームのいずれか)を、エンコードされたビデオビットストリームBSの形式で、その出力220から出力することができる。ビデオエンコーダ200は、例えば、ハイブリッドビデオエンコーダとして動作し、エンコードされていないビデオをエンコードするためのブロックベースのコーディングプロセスを利用することができる。そのようなエンコーディングプロセスを実行する場合、ビデオエンコーダ200は、エンコードされていないビデオの個々のフレーム、ピクチャ、および/またはイメージ(一括して「エンコードされていないピクチャ」)に対して作用することができる。
ブロックベースのエンコーディングプロセスを容易にするために、ビデオエンコーダ200は、その入力202において受信した各エンコードされていないピクチャを、複数のエンコードされていないビデオブロックにするように、スライス化、パーティション化、分割、および/またはセグメント化(一括して「セグメント化」)することができる。例えば、ビデオエンコーダ200は、エンコードされていないピクチャを、複数のエンコードされていないビデオセグメント(例えば、スライス)になるように、セグメント化することができ、(例えば、その後)エンコードされていないビデオセグメントの各々を、エンコードされていないビデオブロックになるように、セグメント化することができる。ビデオエンコーダ200は、エンコードされていないビデオブロックを、空間的予測ユニット260、動き予測ユニット262、モード決定およびエンコーダコントローラユニット280、および/または第1の加算器216に渡すこと、供給すること、送信すること、または提供することができる。以下でより詳細に説明するように、エンコードされていないビデオブロックは、ブロック毎に提供することができる。
空間的予測ユニット260は、エンコードされていないビデオブロックを受信し、そのようなビデオブロックをイントラモードでエンコードすることができる。イントラモードは、空間ベースの圧縮のいくつかのモードのいずれかを指し、イントラモードでのエンコーディングは、エンコードされていないピクチャの空間ベースの圧縮を提供しようと努める。空間ベースの圧縮は、行われるとすれば、エンコードされていないピクチャ内におけるビデオ情報の空間的冗長性を削減または除去することからもたらされることができる。予測ブロックを形成する際、空間的予測ユニット260は、すでにエンコードされた(「エンコードされたビデオブロック」)および/または再構成された(「再構成されたビデオブロック」)、エンコードされていないピクチャの1または複数のビデオブロックに対する、各エンコードされていないビデオブロックの空間的予測(または「イントラ予測」)を実行することができる。エンコードおよび/または再構成されたビデオブロックは、エンコードされていないビデオブロックの近隣ブロックであること、それに隣接していること、または近接(例えば、非常に近接)していることができる。
動き予測ユニット262は、エンコードされていないビデオブロックを入力202から受信し、それらをインターモードでエンコードすることができる。インターモードは、時間ベースの圧縮のいくつかのモードのいずれかを指し、例えば、Pモード(一方向予測)および/またはBモード(双方向予測)を含む。インターモードでのエンコーディングは、エンコードされていないピクチャの時間ベースの圧縮を提供しようと努める。時間ベースの圧縮は、行われるとすれば、エンコードされていないピクチャと1または複数の参照(例えば、隣接)ピクチャとの間におけるビデオ情報の時間的冗長性を削減または除去することからもたらされることができる。動き/時間予測ユニット262は、参照ピクチャ(「参照ビデオブロック」)の1または複数のビデオブロックに対する、各エンコードされていないビデオブロックの時間的予測(または「インター予測」)を実行することができる。実施される時間的予測は、(例えば、Pモードのための)一方向予測、および/または(例えば、Bモードのための)双方向予測とすることができる。
一方向予測の場合、参照ビデオブロックは、先にエンコードおよび/または再構成されたピクチャに属することができる。1または複数のエンコードおよび/または再構成されたピクチャは、エンコードされていないピクチャの近隣ピクチャであること、それに隣接していること、および/または近接していることができる。
双方向予測の場合、参照ビデオブロックは、1または複数の先にエンコードおよび/または再構成されたピクチャに属することができる。エンコードおよび/または再構成されたピクチャは、エンコードされていないピクチャの近隣ピクチャであること、それに隣接していること、および/または近接していることができる。
(H.264/AVCおよび/またはHEVCなどの最近のビデオコーディング規格の場合に見られるように)各ビデオブロックに対して複数の参照ピクチャが使用される場合、その参照ピクチャインデックスを、後の出力および/または送信のために、エントロピコーディングユニット208に送信することができる。参照インデックスは、時間的予測が参照ピクチャストア264内のどの1または複数の参照ピクチャに由来するかを識別するために使用することができる。
一般には高度に統合されているが、動き推定および動き補償のための動き/時間的予測ユニット262の機能は、別々のエンティティまたはユニット(図示されず)によって実施することができる。動き推定は、参照ピクチャビデオブロックに対する、各エンコードされていないビデオブロックについての動きを推定するために実施することができ、エンコードされていないビデオブロックについての動きベクトルを生成することを含むことができる。動きベクトルは、コーディングされるエンコードされていないビデオブロックに対する、予測ブロックの変位を示すことができる。この予測ブロックは、例えば、コーディングされるエンコードされていないビデオブロックのピクセル差に関して、非常によく一致することが分かった、参照ピクチャビデオブロックである。一致は、絶対差の和(SAD)、平方差の和(SSD)、および/または他の差分メトリックによって決定することができる。動き補償は、動き推定によって決定された動きベクトルに基づいて、予測ブロックをフェッチおよび/または生成することを含むことができる。
動き予測ユニット262は、エンコードされていないビデオブロックを、参照ピクチャストア264内に記憶された参照ピクチャに属する参照ビデオブロックと比較することによって、エンコードされていないビデオブロックについての動きベクトルを計算することができる。動き予測ユニット262は、参照ピクチャストア264内に含まれる参照ピクチャの分数ピクセル位置についての値を計算することができる。いくつかの例では、加算器226、またはビデオエンコーダ200の別のユニットが、再構成されたビデオブロックについての分数ピクセル位置値を計算することができ、再構成されたビデオブロックを、分数ピクセル位置についての計算された値とともに、参照ピクチャストア264内に記憶することができる。動き予測ユニット262は、(例えば、Iフレーム、および/またはPフレーム、および/またはBフレームの)参照ピクチャの整数未満ピクセルを補間することができる。
動き予測ユニット262は、選択された動きプレディクタに対する、動きベクトルをエンコードするように構成することができる。動き/時間的予測ユニット262によって選択される動きプレディクタは、例えば、すでにエンコードされた近隣ブロックの動きベクトルの平均に等価なベクトルとすることができる。エンコードされていないビデオブロックについての動きベクトルをエンコードするために、動き/時間的予測ユニット262は、動きベクトルと動きプレディクタとの間の差を計算して、動きベクトル差分値を形成することができる。
H.264およびHEVCは、潜在的な参照フレームのセットを「リスト」と呼ぶ。参照ピクチャストア264内に記憶された参照ピクチャのセットは、参照フレームのそのようなリストに対応することができる。動き/時間的予測ユニット262は、参照ピクチャストア264に属する参照ピクチャの参照ビデオブロックを、(例えば、PフレームまたはBフレームの)エンコードされていないビデオブロックと比較することができる。参照ピクチャストア264内の参照ピクチャが、整数未満ピクセルについての値を含む場合、動き/時間的予測ユニット262によって計算される動きベクトルは、参照ピクチャの整数未満ピクセル位置を参照することができる。動き/時間的予測ユニット262は、計算された動きベクトルを、エントロピコーディングユニット208、および動き/時間的予測ユニット262の動き補償機能に送信することができる。動き予測ユニット262(またはそれの動き補償機能)は、コーディングされるエンコードされていないビデオブロックに対する、予測ブロックについての誤差値を計算することができる。動き予測ユニット262は、予測ブロックに基づいて、予測データを計算することができる。
モード決定およびエンコーダコントローラユニット280は、コーディングモード、イントラモード、またはインターモードのうちの1つを選択することができる。モード決定およびエンコーダコントローラユニット280は、例えば、レート歪み最適化方法、および/または各モードにおいて生成された誤差結果に基づいて、そうすることができる。
ビデオエンコーダ200は、動き予測ユニット262から提供された予測データを、コーディングされるエンコードされていないビデオブロックから減算することによって、残差のブロック(「残差ビデオブロック」)を形成することができる。加算器216は、この減法演算を実行することができる1または複数の要素を表す。
変換ユニット204は、残差ビデオブロックに変換を適用して、そのような残差ビデオブロックをピクセル値領域から、周波数領域などの変換領域に変換することができる。変換は、例えば、本明細書で提供される変換のいずれか、離散コサイン変換(DCT)、または概念的に類似の変換とすることができる。変換の他の例は、H.264および/またはHEVCにおいて定義された変換、ウェーブレット変換、整数変換、ならびに/またはサブバンド変換を含む。変換ユニット204による残差ビデオブロックへの変換の適用は、残差ビデオブロックの変換係数(「残差変換係数」)からなる対応するブロックを生成する。これらの残差変換係数は、残差ビデオブロックの周波数成分の大きさを表すことができる。変換ユニット204は、残差変換係数を量子化ユニット206に転送することができる。
量子化ユニット206は、残差変換係数を量子化して、エンコードされたビットレートをさらに低減することができる。量子化プロセスは、例えば、残差変換係数のいくつかまたはすべてと関連付けられたビット深度を低減することができる。ある例では、量子化ユニット206は、残差変換係数の値を、QPに対応する量子化レベルによって除算して、量子化された変換係数からなるブロックを形成することができる。量子化の程度は、QP値を調整することによって変更することができる。量子化ユニット206は、量子化を適用して、所望の数の量子化ステップを使用して、残差変換係数を表すことができる。使用されるステップの数(または対応して、量子化レベルの値)は、残差変換係数を表すために使用されるエンコードされたビデオビットの数を決定することができる。量子化ユニット206は、QP値をレートコントローラ(図示されず)から獲得することができる。量子化に続いて、量子化ユニット206は、量子化された変換係数を、エントロピコーディングユニット208、および逆量子化ユニット210に提供することができる。
エントロピコーディングユニット208は、エントロピコーディングを、量子化された変換係数に適用して、エントロピコーディングされた係数(すなわち、ビットストリーム)を形成することができる。エントロピコーディングユニット208は、コンテキスト適応可変長コーディング(CAVLC)、コンテキスト適応2値算術コーディング(CABAC)、および/または別のエントロピコーディング技法を使用して、エントロピコーディングされた係数を形成することができる。CABACは、当業者によって理解されるように、コンテキスト情報(「コンテキスト」)の入力を必要とすることがある。このコンテキストは、例えば、近隣ビデオブロックに基づくことができる。
エントロピコーディングユニット208は、エントロピコーディングされた係数を、動きベクトルおよび1または複数の参照ピクチャインデックスとともに、生のエンコードされたビデオビットストリームの形式で、内部ビットストリームフォーマット(図示されず)に提供することができる。このビットストリームフォーマットは、生のエンコードされたビデオビットストリームに、ヘッダを含む、および/または例えば、ビデオデコーダユニット300(図3)が、生のエンコードされたビデオビットストリームから、エンコードされたビデオブロックをデコードすることを可能にするための他の情報を含む、追加情報を追加することによって、出力バッファ134(図1B)に提供されるエンコードされたビデオビットストリームBSを形成することができる。エントロピコーディングに続いて、エントロピコーディングユニット208から提供されたエンコードされたビデオビットストリームBSは、例えば、出力バッファ134に出力することができ、例えば、通信チャネル116を介して送信先デバイス114に送信すること、または後の送信もしくは検索のためにアーカイブすることができる。
ある代表的な実施形態では、エントロピコーディングユニット208、またはビデオエンコーダ133、200の別のユニットは、エントロピコーディングに加えて、他のコーディング機能を実行するように構成することができる。例えば、エントロピコーディングユニット208は、ビデオブロックについてのコードブロックパターン(CBP)値を決定するように構成することができる。ある代表的な実施形態では、エントロピコーディングユニット208は、ビデオブロック内の量子化された変換係数のランレングスコーディングを実行することができる。例として、エントロピコーディングユニット208は、ジグザグスキャンまたは他のスキャンパターンを適用して、ビデオブロック内の量子化された変換係数を配置し、さらなる圧縮のために連続するゼロをエンコードすることができる。エントロピコーディングユニット208は、エンコードされたビデオビットストリームBSでの送信のために、適切なシンタックス要素を用いてヘッダ情報を構成することができる。
逆量子化ユニット210および逆変換ユニット212は、それぞれ、逆量子化および逆変換を適用して、例えば、(例えば、参照ピクチャリスト内の参照ピクチャの1つの中の)参照ビデオブロックの1つとして後で使用するために、ピクセル領域において残差ビデオブロックを再構成することができる。
モード決定およびエンコーダコントローラユニット280は、再構成された残差ビデオブロックを、参照ピクチャストア264内に記憶された参照ピクチャの1つの予測ブロックに加算することによって、参照ビデオブロックを計算することができる。モード決定およびエンコーダコントローラユニット280は、再構成された残差ビデオブロックに1または複数の補間フィルタを適用して、動き推定において使用するための(例えば、ハーフピクセル位置についての)整数未満ピクセル値を計算することができる。
加算器226は、再構成された残差ビデオブロックを、動き補償された予測ビデオブロックに加算して、参照ピクチャストア264内に記憶するための再構成されたビデオブロックを生成することができる。再構成された(ピクセル値領域)ビデオブロックは、後続のエンコードされていないビデオ内のエンコードされていないビデオブロックをインターコーディングするための参照ブロックの1つとして、動き予測ユニット262(またはそれの動き推定機能および/もしくは動き補償機能)によって使用することができる。
フィルタ266(例えば、ループフィルタ)は、デブロッキングフィルタを含むことができる。デブロッキングフィルタは、再構成されたマクロブロック内に存在することがある視覚的アーチファクトを除去するために動作することができる。これらのアーチファクトは、例えば、Iタイプ、Pタイプ、またはBタイプなど、異なるエンコーディングのモードを使用するせいで、エンコーディングプロセス内に導入されることがある。アーチファクトは、例えば、受信されたビデオブロックの境界および/または端に存在することがあり、デブロッキングフィルタは、ビデオブロックの境界および/または端を平滑化して、視覚的品質を改善するように動作することができる。デブロッキングフィルタは、加算器226の出力をフィルタリングすることができる。フィルタ266は、HEVC規格によってサポートされるサンプル適応オフセット(SAO)フィルタなど、他のインループフィルタを含むことができる。
図3は、図1Aのビデオデコーダユニット130などのビデオデコーダユニットとともに使用するための、ビデオデコーダ300の例を示すブロック図である。ビデオデコーダ300は、入力302と、エントロピデコーディングユニット308と、動き補償予測ユニット362と、空間的予測ユニット360と、逆量子化ユニット310と、逆変換ユニット312と、参照ピクチャストア364と、フィルタ366と、加算器326と、出力320とを含むことができる。ビデオデコーダ300は、ビデオエンコーダ133、200に関して提供されたエンコーディングプロセスと一般に相反する、デコーディングプロセスを実行することができる。このデコーディングプロセスは、以下で説明するように実施することができる。
動き補償予測ユニット362は、エントロピデコーディングユニット308から受信した動きベクトルに基づいて、予測データを生成することができる。動きベクトルは、エンコードされた動きベクトルに対応するビデオブロックについての動きプレディクタに対して、エンコードすることができる。動き補償予測ユニット362は、動きプレディクタを、例えば、デコードされるビデオブロックの近隣ブロックの動きベクトルの中央値として、決定することができる。動きプレディクタを決定した後、動き補償予測ユニット362は、エンコードされたビデオビットストリームBSから動きベクトル差分値を抽出し、動きベクトル差分値を動きプレディクタに加算することによって、エンコードされた動きベクトルをデコードすることができる。動き補償予測ユニット362は、動きプレディクタを、エンコードされた動きベクトルと同じ解像度に量子化することができる。ある代表的な実施形態では、動き補償予測ユニット362は、エンコードされた動きプレディクタのいくつかまたはすべてに対して同じ精度を使用することができる。別の例として、動き補償予測ユニット362は、上述の方法のどちらかを使用するように、またエンコードされたビデオビットストリームBSから獲得されたシーケンスパラメータセット、スライスパラメータセット、またはピクチャパラメータセット内に含まれるデータを分析することによって、どちらの方法を使用すべきかを決定するように構成することができる。
動きベクトルをデコードした後、動き補償予測ユニット362は、参照ピクチャストア364の参照ピクチャからの動きベクトルによって識別される、予測ビデオブロックを抽出することができる。動きベクトルが、ハーフピクセルなどの分数ピクセル位置を指し示す場合、動き補償予測ユニット362は、分数ピクセル位置のための値を補間することができる。動き補償予測ユニット362は、適応補間フィルタまたは固定補間フィルタを使用して、これらの値を補間することができる。動き補償予測ユニット362は、フィルタ366のどれを使用すべきかを示す印を、および様々な代表的な実施形態では、フィルタ366のための係数を、受信したエンコードされたビデオビットストリームBSから獲得することができる。
空間的予測ユニット360は、エンコードされたビデオビットストリームBSで受信したイントラ予測モードを使用して、空間的に隣接するブロックから予測ビデオブロックを形成することができる。逆量子化ユニット310は、逆量子化を行うこと(例えば、エンコードされたビデオビットストリームBSで提供され、エントロピデコーディングユニット308によってデコードされた、量子化されたブロック係数を脱量子化すること)ができる。逆量子化プロセスは、例えば、H.264によって定義されるような、従来のプロセスを含むことができる。逆量子化プロセスは、適用される量子化の程度および/または逆量子化の程度を決定するために、各ビデオブロックについてビデオエンコーダ133、200によって計算された量子化パラメータQPの使用を含むことができる。
逆変換ユニット312は、変換係数に逆変換(例えば、本明細書で提供される変換のいずれかの逆、逆DCT、逆整数変換、または概念的に類似の逆変換プロセス)を適用して、ピクセル領域において残差ビデオブロックを生成することができる。動き補償予測ユニット362は、動き補償ブロックを生成することができ、補間フィルタに基づいて、補間を実行することができる。サブピクセル精度を有する動き推定のために使用される補間フィルタのための識別子は、ビデオブロックのシンタックス要素内に含むことができる。動き補償予測ユニット362は、ビデオブロックのエンコーディング中にビデオエンコーダ133、200によって使用されるように、補間フィルタを使用して、参照ブロックの整数未満ピクセルについての補間された値を計算することができる。動き補償予測ユニット362は、受信したシンタックス情報に従って、ビデオエンコーダ133、200によって使用された補間フィルタを決定し、補間フィルタを使用して、予測ブロックを生成することができる。
動き補償予測ユニット362は、(1)エンコードされたビデオシーケンスの1もしくは複数のピクチャをエンコードするために使用されたビデオブロックのサイズを決定するためのシンタックス情報、(2)エンコードされたビデオシーケンスのフレームの各ビデオブロックがどのようにパーティション化されたかを記述するパーティション情報、(3)各パーティションがどのようにエンコードされたかを示すモード(もしくはモード情報)、(4)各インターエンコードされたビデオブロックのための1もしくは複数の参照ピクチャ、および/または(5)エンコードされたビデオシーケンスをデコードするための他の情報を使用することができる。
加算器326は、残差ブロックを、動き補償予測ユニット362または空間的予測ユニット360によって生成された対応する予測ブロックと合算して、デコードされたビデオブロックを形成することができる。ループフィルタ366(例えば、デブロッキングフィルタ、またはSAOフィルタ)は、デコードされたビデオブロックをフィルタリングして、濃淡むらアーチファクトを除去するために、および/または視覚的品質を改善するために、適用することができる。デコードされたビデオブロックは、参照ピクチャストア364内に記憶することができ、それは、後の動き補償のために、参照ビデオブロックを提供することができ、表示デバイス(図示されず)上に提示するために、デコードされたビデオを生成することができる。
各ビデオブロックは、エンコーディングおよび/またはデコーディングプロセスを経ているので、ビデオブロックと関連付けられたビデオ情報は、異なる方法で表すことができる。例えば、ビデオブロックは、(i)ピクセル領域におけるピクセルデータ、(ii)エンコードされていないビデオブロックと予測ブロックとの間のピクセル差を表す残差データ(「残差」)、(iii)(例えば、変換の適用後の)変換領域における変換係数、および(iv)量子化された変換領域における量子化された変換係数を含むことができる。
各ビデオブロックは、与えられた寸法を、または一括して「サイズ」を有することができる。ビデオブロックサイズは、コーディング規格に依存することがある。例として、H.264規格は、ルーマ成分については、16×16、8×8、または4×4、クロマ成分については、8×8など、様々なビデオブロックサイズでイントラ予測をサポートし、ルーマ成分については、16×16、16×8、8×16、8×8、8×4、4×8、および4×4、クロマ成分については、対応する大小様々なサイズなど、様々なビデオブロックサイズでインター予測をサポートする。H.264規格では、寸法が16ピクセル対16ピクセルのビデオブロックは、一般にマクロブロック(MB)と呼ばれ、16ピクセル対16ピクセルよりも小さいビデオブロックは、一般にMBのパーティション(「MBパーティション」)と呼ばれる。HEVCでは、高解像度(例えば、1080p以上)のビデオ信号をより効率的に圧縮するために、「コーディングユニット」または「CU」と呼ばれるビデオブロックを使用することができる。HEVCでは、CUサイズは、パラメータシーケンスセット内に設定され、64×64ピクセルを最大として、または4×4ピクセルを最小として設定することができる。CUは、予測ユニット(PU)にさらにパーティション化することができ、それに対して、別々の予測方法を適用することができる。各ビデオブロックは(とりわけ、MB、CU、および/またはPUはどれであろうと)、空間的予測ユニット360および/または動き/時間的予測ユニット362を使用することによって、処理することができる。
本明細書で使用される場合、「N×N」および「N対N」は、垂直および水平次元の両方における構成要素(例えば、とりわけ、ピクセル、残差、変換係数、および/または量子化された変換係数)を単位とするブロックのサイズに言及するために、交換可能に使用することができる。一般に、16×16のビデオブロックは、垂直方向に16個の要素(y=16)、水平方向に16個の要素(x=16)を有する。N×Nブロックは、一般に、垂直方向にN個の要素、水平方向にN個の要素を有し、ここで、Nは、非負の整数値を表す。ビデオブロック内の要素は、行および列に配置することができる。ビデオブロックは、垂直方向におけるのと同じまたは異なる数のピクセルを水平方向に有することができる。例えば、ビデオブロックは、N×Mのピクセルを含むことができ、ここで、Mは、Nに等しく、または等しくない。
HEVCは、H.264/AVCの2倍の圧縮を達成し、すなわち等価的に、同じビデオ品質で使用または必要とされるビットレートを半分にする。ビデオチャット、モバイルビデオレコーディングおよびシェアリング、ならびにビデオストリーミングなど、ますます多くの新しいビデオアプリケーションが、異種環境におけるビデオ送信を使用することができ、または必要とすることがある。様々な消費者デバイス(例えば、PC、スマートフォン、タブレット、TV)を考慮した、3スクリーンおよびNスクリーンとして知られるシナリオは、とりわけ、コンピューティング能力、メモリ/ストレージサイズ、ディスプレイ解像度、および/またはディスプレイフレームレートに関して、多様な能力を有するデバイス上におけるビデオ消費に対応することができる。ネットワークおよび送信チャネルは、とりわけ、パケットロスレート、利用可能なチャネル帯域幅、および/またはバースト誤り率に関して、多様な特性を有することができる。今日のビデオデータは、有線ネットワークおよび無線ネットワークの組み合わせの上で送信することができ、それが、基礎をなす送信チャネル特性を複雑にすることがある。スケーラブルビデオコーディングは、異種ネットワーク上の異なる能力を有するデバイス上で動作するビデオアプリケーションについての体感品質を改善することができる。スケーラブルビデオコーディングは、最高の表現(例えば、とりわけ、時間解像度、空間解像度、および/または品質)で信号を1回エンコードすることができ、条件(例えば、特定のクライアントデバイス上で動作するあるアプリケーションによって使用または必要とされる特定のレートおよび/または表現)に応じて、ビデオストリームのサブセットからデコードすることを可能にすることができる。ある代表的な実施形態では、スケーラブルビデオコーディング手順の使用は、非スケーラブルビデオコーディング手順と比較して、帯域幅および/または記憶の節約を可能にすることができる。国際ビデオ規格MPEG−2ビデオ、H.263、MPEG4ビジュアル、およびH.264は、スケーラビリティのいくつかのモードをサポートする、ツールおよび/またはプロファイルを有する。
スケーラブルビデオコーディング(SVC)は、部分ビットストリームの送信およびデコーディングを可能にして、より低い時間もしくは空間解像度、または低減された忠実度を有するビデオサービスを提供することができ、部分ビットストリームのレートを所与とした場合に、相対的に高い再構成品質を保持することができる、H.264の拡張である。SVCにおけるシングルループデコーディング(SLD)は、デコードされるレイヤにおいて1つの動き補償ループをセットアップする(例えば、セットアップしさえすればよい)SVCデコーダを指し、別の1または複数のレイヤにおいて1または複数の動き補償ループをセットアップする必要はなく、または必要ないことがある。例として、ビットストリームが、2つのレイヤ(例えば、ベースレイヤとしてレイヤ1、エンハンスメントレイヤとしてレイヤ2)を格納または含み、デコーダが、レイヤ2ビデオを再構成することを望む場合、デコード済ピクチャバッファおよび動き補償予測は、レイヤ2のために(例えば、レイヤ2のためだけに)、セットアップされることができ、またはセットアップされる必要があるが、レイヤ1(例えば、レイヤ2が依存するベースレイヤ)のためにはセットアップされなくてよい。SVCは、より下位のレイヤからの参照ピクチャを使用せず、またはそれが再構成される(例えば、完全に再構成される)ことを必要とせず、デコーダにおける計算の複雑さおよびメモリ要件を低減する。SLDは、制約されたレイヤ間テクスチャ予測によって達成され、対応するより下位のレイヤのブロックがイントラモードでコーディングされている場合に限って、与えられたレイヤにおける現時のブロックについて、より下位のレイヤからの空間的テクスチャ予測が許可される(制限されたイントラ予測と呼ばれる)。より下位のレイヤのブロックがイントラモードでコーディングされている場合、それは、動き補償演算およびデコード済ピクチャバッファを必要とせずに、再構成することができる。エンハンスメントレイヤの場合、SVCは、より下位のレイヤからの、とりわけ、動きベクトル予測、残差予測、およびモード予測など、追加のレイヤ間予測技法を使用する。SVCのSLDは、ある程度、デコーダにおける計算の複雑さおよびメモリ要件を低減するが、それは、ブロックレベルのレイヤ間予測に大きく依存して、満足できる性能を達成することによって、実施の複雑さを増加させる。SLD制約を課すことによって招かれる性能ペナルティを補償し、依然として、所望のスケーラブルコーディング性能を達成することができるためには、エンコーダ設計および計算の複雑さは、クロスレイヤジョイントレート歪み最適化の使用のせいで、実際には増加する。インターレースされたコンテンツのコーディングは、サポートされず(例えば、SVCによって良好にはサポートされず)、それが、放送業界によるそれの採用に影響している。SVCエンコーダおよびデコーダ設計ならびにシステム実施における複雑さは、市場における限定されたSVC採用の原因とすることができる。
ある代表的な実施形態では、スケーラブルコーディングの効率は、高度なレイヤ間処理を通して(例えば、主に通して)達成することができる。
規格スケーラビリティは、一般に、ベースレイヤは、H.264/AVCなどの、またはMPEG2のことさえある、より以前の規格を用いてエンコードされるが、1または複数のエンハンスメントレイヤは、HEVC規格など、より最近の規格を使用してエンコードされる、スケーラビリティのケースを指す。規格スケーラビリティは、以前の規格を使用してすでにエンコードされたレガシコンテンツのためのバックワード互換性、およびより良いコーディング効率を提供するHEVCなどの新しい規格を用いてエンコードされた1または複数のエンハンスメントレイヤを用いてレガシコンテンツの品質を高めることを可能にすることができる。規格スケーラビリティは、一般に、ハイブリッドコーデックスケーラビリティとも呼ばれる。これら2つの用語は、本開示では交換可能に使用される。HEVCのスケーラブルエンハンスメントの要件は、空間スケーラビリティ、時間スケーラビリティ、品質スケーラビリティ、および規格スケーラビリティなどを含む。以下の表1は、これらのスケーラビリティの例を列挙している。
図4は、効率的なスケーラブルコーディングを達成するための(例えば、ピクチャレベルのレイヤ間処理(ILP)を使用する、またはそれに依存する)2レイヤスケーラブルコーディングシステムを示すブロック図である。図4のBLエンコーダ(この例では、HEVCエンコーダ)は、空間的および時間的予測の組み合わせを使用して、BLビデオ入力をエンコードすることができる。BLビデオ入力は、H.264およびHEVCを含む、いくつかまたはすべてのビデオコーディング規格によってサポートされる。BLエンコーダ45は、時間的動き補償予測を実行するために使用または必要とされる参照ピクチャを記憶するための、ベースレイヤDPB(デコード済ピクチャバッファ)41を確立することができる。エンハンスメントレイヤでは、ELエンコーダ47は、BLエンコーダ45と同様に動作することができる。ELエンコーダによる入力ELビデオの予測のための参照ピクチャを提供することができるエンハンスメントレイヤDPB49は、現時のエンハンスメントレイヤからの参照ピクチャばかりでなく、それが従属するレイヤのDPB(例えば、図4ではBL DPB)からのいくつかの参照ピクチャも格納または含むことができる。図4では、レイヤ間処理ユニット43は、BL DPB41からのピクチャを処理するために使用することができ、その後、ピクチャは、ELビデオを予測するために使用することができる。BLおよびELビットストリームが生成された後、これらのビットストリームを組み合わせて、スケーラブルビットストリーム42にするために、マルチプレクサ44を使用することができる。レイヤ間処理ユニット43が、レイヤ間処理(ILP)パラメータを使用する場合、ILP情報も一緒に、スケーラブルビットストリーム内に多重化することができる。図5は、図4のスケーラブルコーディングシステムに対応することができる、ピクチャレベルのILPを用いる2レイヤスケーラブルデコーディングシステムを示す図である。図5では、スケーラブルビットストリームをアンパックして、BLビットストリーム、ELビットストリーム、および/またはILP情報にするために、デマルチプレクサ501が使用される。BLビットストリームは、ベースレイヤの再構成されたピクチャを生成し、それらをBL DPB503内に置く、BLデコーダ509によってデコードすることができる。ILP情報は、(例えば、BLの再構成されたピクチャを処理し、それらをEL DPB507内に記憶することによって)レイヤ間参照ピクチャを生成するために、レイヤ間処理ユニット505によって使用することができる。ELビットストリームは、(ELにおける時間的参照ピクチャ、および/またはBLからのレイヤ間参照ピクチャを格納または含むことができる)EL DPB内の参照ピクチャを使用して、ELデコーダ511によってデコードすることができる。
図4には、HEVC実施のためのBLエンコーダ45およびELエンコーダ47が、(例えば、HEVCエンコーダの一部として)示されているが、とりわけ、MPEG−2ビデオ、H.263、MPEG4ビジュアル、および/またはH.264などの他のビデオ規格に従ったものを含む、他の実施が可能であることが企図されている。
図5には、HEVC実施のためのBLデコーダ509およびELデコーダ511が、(例えば、HEVCデコーダの一部として)示されているが、とりわけ、MPEG−2ビデオ、H.263、MPEG4ビジュアル、および/またはH.264などの他のビデオ規格に従ったものを含む、他の実施が可能であることが企図されている。
図4および図5に示されたそのようなスケーラブルコーディングシステムは、スケーラブルコーディング(例えば、効率的なスケーラブルコーディング)のために、ピクチャレベルのレイヤ間予測に依存することができるので、そのようなスケーラブルシステムは、例えば、BLおよび/またはELコーディングにおける基礎をなすシングルレイヤコーデックとして、どのコーデックを使用することができるかに関わらず、高いコーディング効率を維持することができる。例えば、BLコーデックは、(例えば、スケーラブルコーディングシステムの全体的なアーキテクチャおよび効率に影響を与えることなく)H.264/AVCコーデックで置き換えることができる。
図2を再び参照すると、ブロックベースのハイブリッドビデオエンコーダ200は、例えば、図4のBLエンコーダおよびELエンコーダとして使用することができる、一般的なブロックベースのシングルレイヤビデオエンコーダを提供することができる。図2に示されるように、シングルレイヤエンコーダは、(イントラ予測とも呼ばれる)空間的予測、および(インター予測および/または動き補償予測とも呼ばれる)時間的予測など、広く知られた技法を利用して、入力ビデオ信号を予測し、例えば、効率的な圧縮を達成することができる。エンコーダは、例えば、通常は、何らかの基準、例えば、レートおよび/または歪み検討事項の一方または組み合わせに基づいて、予測の最も適切な形式を選択することができる、モード決定ロジックを有することができる。エンコーダは、予測残差(例えば、入力信号と予測信号との間の差分信号)を変換することができ、量子化することができる。量子化された残差は、モード情報(例えば、イントラまたはインター予測)および予測情報(とりわけ、動きベクトル、参照ピクチャインデックス、および/またはイントラ予測モード)と一緒に、エントロピコーダにおいて圧縮する(例えば、さらに圧縮する)ことができ、出力ビデオビットストリーム内にパックすることができる。図2に示されるように、エンコーダは、量子化された残差に逆量子化および逆変換を適用して、再構成された残差を獲得し、それを予測信号に加算し戻すことによって、再構成されたビデオ信号を生成することができる。再構成されたビデオ信号は、ループフィルタプロセス(例えば、デブロッキングフィルタ、サンプル適応オフセット、および/または適応ループフィルタ)を通過することができ、参照ピクチャストア(またはDPB)内に記憶して、さらなるビデオ信号を予測するために使用することができる。
図3を再び参照すると、ビデオデコーダ300は、図2のシングルレイヤエンコーダに対応する、一般的なブロックベースのシングルレイヤデコーダを提供することができる。図3のデコーダは、例えば、図5のBLおよびELデコーダとして使用することができる。図5のシングルレイヤデコーダは、図2のエンコーダによって生成されたビデオビットストリームを受信することができ、表示されるビデオ信号を再構成することができる。ビデオデコーダにおいて、ビットストリームは、エントロピデコーダによって解析することができる。残差係数は、再構成された残差を獲得するために、逆量子化および逆変換することができる。コーディングモードおよび予測情報は、空間的予測および/または時間的予測を使用して予測信号を獲得するために、使用することができる。予測信号および再構成された残差は、再構成されたビデオを取得するために、一緒に合算することができる。再構成されたビデオは、ループフィルタを通過した後、表示するために、および/またはさらなるビデオ信号をデコードするのに使用するために、DPB内に記憶することができる。SHVCについて上で説明された、表1の規格スケーラビリティ機能は、ビデオサービスプロバイダ(例えば、とりわけ、ケーブルネットワークオペレータおよび/または放送事業者)が、H.264/AVC能力を有する(例えば、それのみを有する)既存の受信デバイス(例えば、セットトップボックスまたはSTB)を有するレガシ顧客にサービスし続けることを可能にすることができる一方で、新しい/プレミアム顧客は、HEVCデコーディング能力を有するより新しい受信デバイス(例えば、STB)に乗り換え、例えば、プレミアムサービスに加入することによって、ビデオ信号のより高い品質の表現(例えば、とりわけ、より高い空間解像度、より高い時間解像度、および/またはより高いピクチャ品質)を享受することができる。
そのような配信システムの代表的な例が、図6に示されている。図6では、高品質ビデオ600が、(例えば、帯域幅要件を低減するために)前処理ステップ601において前処理される。例えば、前処理は、とりわけ、高品質ビデオの空間的ダウンサンプリング、高品質ビデオの時間的ダウンサンプリング(フレームレート低減)、および/またはプログレッシブからインターレースへの変換プロセスとすることができる。前処理の後、ベース品質ビデオ603を、レガシコーデック、例えば、H.264/AVCエンコーダ605を使用して、エンコードすることができる。H.264/AVCビットストリーム(ベースレイヤビットストリーム)606は、適切なトランスポートプロトコルを使用してパッケージすることができ(ステップ607)、チャネルA609を介して、基本サービスに加入している顧客に送信することができ、そこで、アンパッケージされ(615)、レガシデコーダ(例えば、H.264/AVCデコーダ617)によってデコードされる。元の高品質ビデオ600は、ハイブリッドコーデックスケーラビリティサポート、例えば、H.264/AVCからHEVCへのスケーラビリティサポートを有する、スケーラブルコーデックSHVC611を使用して、コーディングすることができる。エンハンスメントレイヤスケーラブルビットストリーム613は、適切なトランスポートプロトコルを使用してパッケージされ(614)、チャネルB619を介して、プレミアム顧客に配信され、そこで、アンパッケージされ(621)、プレミアムデコーダ(例えば、SHVCデコーダ623)によってデコードされる。受信端において、SHVCデコーダ623を有するプレミアム顧客は、高品質ビデオを受信し、消費することができる。図4および図5のアーキテクチャによれば、ハイブリッドコーデックスケーラビリティでは、再構成されたベースレイヤビデオは、レイヤ間予測として使用されるので、より高い品質のビデオをプレミアム顧客に配信し、より低い品質のビデオをレガシ顧客に配信するために使用または必要とされる帯域幅は、従来のより低い品質のビデオストリームおよび従来のより高い品質のビデオストリームの両方をサイマルキャストするのと比較して、低減することができる。
ある代表的な実施形態では、ハイブリッドコーデックスケーラビリティは、(例えば、ビデオ配信ネットワークに過剰な負荷を掛けることなく)インターレースフォーマットで記憶/送信されるビデオコンテンツをプログレッシブフォーマットに変換するために、利用することができる。インターネットビデオコンテンツの大多数(例えば、きわめて大多数)は、プログレッシブスキャンフォーマットでサービスされるが、放送事業者および/またはケーブルネットワークによって配信されるビデオのかなり多くは、インターレーススキャンフォーマットでサービスされる。プログレッシブスキャンフォーマットを使用する考えられる理由は、(1)歴史的にインターレースコンテンツを主に取り扱ってきた既存のビデオ配信機器およびインフラストラクチャをアップグレードすることに関連する相当なコスト、ならびに/または(2)インターレースコンテンツは、帯域幅要件を低減する助けとなることができ、(例えば、スポーツコンテンツ配信に有用とすることができる)高いフレームレートを依然として維持することができることを含むことができる。
ある代表的な実施形態では、ピクチャレベルのレイヤ間処理に依存して、(例えば、高いコーディング効率で)インターレースからプログレッシブへのスケーラビリティを達成する、スケーラブルコーディングシステムが実施される。
代表的な例として、図6に示されるハイブリッドコーデックシステムが使用されているが、本明細書で開示される手順、プロセス、および/または技法は、他のスケーラブルシステム、例えば、BLおよびELにおいて同じシングルレイヤコーデックを使用するスケーラブルシステムにも適用可能である。
例えば、ソースビデオコンテンツは、プログレッシブカメラを使用して、プログレッシブフォーマットでキャプチャし、配信前に、インターレーススキャンされたコンテンツに変換することができる。プログレッシブビデオフォーマットのピクチャは、一般に、「フレーム」と呼ばれ、一方、インターレースビデオのピクチャは、一般に、「フィールド」と呼ばれる。プログレッシブからインターレースへの変換中、プログレッシブスキャンされたビデオフレームは、2つのフィールド(例えば、トップフィールドとボトムフィールド)に分割することができる。図7は、代表的なプログレッシブフレームの図であり、インターレースビデオにおけるトップフィールドおよびボトムフィールド内のピクセルの空間的関係を、プログレッシブフレームと比較して、または関連させて示している。図7の淡いグレーの影付きピクセルは、トップフィールド701を表し、濃いグレーの影付きピクセルは、ボトムフィールド703を表す。トップフィールドおよびボトムフィールドは、元のプログレッシブフレームの空間的にダウンサンプリングされたバージョンとすることができるので、プログレッシブからインターレースへの変換中、(例えば、ダウンサンプリングされた信号内のエイリアスを低減するために)何らかのローパスフィルタリングを適用することができる。図8は、インターレースビデオ803のトップフィールド805とボトムフィールド807との間の時間的関係の例を、そのプログレッシブ対応物810におけるフレーム811と比較して示した、代表的なインターレースビデオ803の図である。示されるように、インターレースビデオは、そのプログレッシブ対応物と同じピクチャレートで動作することができ、(例えば、プログレッシブからインターレースへの変換中の空間的ダウンサンプリングプロセスのせいで)半分の数のピクセルを有することができる。図8は、例である。実際には、インターレースビデオは、トップフィールドの代わりに、ボトムフィールドから開始することができ、また他の時間的ピクチャレート変換がコンテンツ生成中に発生することがあるので、1つのトップフィールドの後に1つのボトムフィールドが続く(またはその反対の)規則的なパターンに従わないことがある。例えば、一般に3:2プルダウンと呼ばれる、映画からTV(例えば、NTSC)への変換が、コンテンツ生成中に適用されることがあり、連続する2つのボトムフィールドが1つのトップフィールドの後に続く原因となることがある。現時のフィールドピクチャがトップフィールドであるか、またはボトムフィールドであるかは、(例えば、通常は)ビデオビットストリーム内で伝えられる。
例えば、H.264/AVC規格では、インターレースビデオビットストリームのスライスヘッダは、「bottom_field_flag」と呼ばれるフラグを格納または含むことができ、それは、1に設定された場合、現時のスライスがボトムフィールドをコーディングしていることを示し、0に設定された場合、現時のスライスがトップフィールドをコーディングしていることを示す。図4および図5に示されるスケーラブルアーキテクチャによる効率的なレイヤ間予測のために、ベースレイヤにおいてコーディングされたインターレースコンテンツを使用するために、BLインターレースコンテンツを、(例えば、ELにおけるプログレッシブビデオの解像度に一致するように)空間的にアップサンプリングすることができる。SHVCドラフト規格は、2つのレイヤ間の任意の空間比をサポートする。SHVCドラフト規格は、図7に示されるような、トップ/ボトムフィールドとプログレッシブビデオとの間の特定のピクセルライン関係を考慮しない。広く展開されているYUV4:2:0ビデオフォーマットにおけるクロマサブサンプリングの使用は、トップ/ボトムフィールドとプログレッシブフレームとの間でクロマ位相を揃える場合に、他の検討事項を追加することがある。ある代表的な実施形態では、インターレースからプログレッシブへのスケーラビリティ(例えば、効率的なインターレースからプログレッシブへのスケーラビリティ)を可能にするために、プロセス、手順、および/または技法が実施される。例えば、インターレースからプログレッシブへのスケーラビリティが使用されることを示すために、ビデオパラメータセット(VPS)およびスライスヘッダ(SH)での高レベルのシンタックス伝達を提供することができる。別の例として、フィールドパリティに基づくことができる、変更されたルーマおよびクロマアップサンプリングプロセスを提供することができる。第3の例として、ベースレイヤビデオが、ブロックレベルの適応フレームフィールドコーディングを使用してコーディングされる場合、リージョンベースの適応フレーム/フィールドアップサンプリングを、(例えば、効率的なスケーラブルコーディングのために)提供することができる。
インターレースからプログレッシブへのスケーラビリティサポートのために変更されたVPSおよびSH伝達
以下の表2は、ベースレイヤにおいてインターレースビデオをサポートするための、変更されたVPS拡張シンタックスを示している。変更は、以下を含む。
(1)ベースレイヤコーディングされたビデオシーケンスがインターレースコンテンツを格納または含むことができるかどうかを示すために、フラグ(例えば、新しいフラグ)base_layer_frame_pic_only_flagを追加することができる。表2では、フラグは、avc_base_layer_flagが立っていることを条件として(ベースレイヤがH.264/AVCコーデックを使用してコーディングされていることを条件として)立てることができる。例えば、ベースレイヤがH.264/AVCコーデックを使用してコーディングされている場合、ベースレイヤにおいて、インターレースビデオが許可される(例えば、その場合にのみ許可される)。ある代表的な実施形態では、フラグは、他の条件に左右されずに、および/またはベースレイヤが他のコーデックを使用してコーディングされている場合でさえも、立てることができる。
(2)フラグcross_layer_phase_alignment_flagの伝達は、base_layer_field_pic_flagが立っていることを条件として立てることができる。フラグcross_layer_phase_alignment_flagは、2つのレイヤの間のダウンサンプリングフィルタ位相整列を示すために、使用することができ、ダウンサンプリングフィルタは、左上隅を揃えること、および/または中央を揃えることができる。このフラグは、プログレッシブからインターレースへの変換プロセスに適用されなくてよく、または適用されず、ベースレイヤがインターレースビデオであり、エンハンスメントレイヤがプログレッシブビデオである場合、伝達されなくてよく、または伝達されない。
一実施形態では、1に等しいbase_layer_frame_pic_only_flagは、ベースレイヤコーディングされたビデオシーケンスのコーディングされたピクチャが、コードフレーム(例えば、コーディングされたフレームのみ)を格納または含むことを指定する。0に等しいbase_layer_frame_pic_only_flagは、ベースレイヤコーディングされたビデオシーケンスのコーディングされたピクチャが、コーディングされたフィールドまたはコーディングされたフレームであることができることを指定する。base_layer_frame_pic_only_flagが存在しない場合、それは、1に等しいと推測することができる。
表3は、ベースレイヤにおいてインターレースビデオをサポートするための、変更されたスライスセグメントヘッダを示している。変更は、以下を含む。
(1)レイヤ間予測のために使用される配列されたベースレイヤコーディングされたビデオピクチャがフレームピクチャであるかどうかを示すために、新しいフラグbase_layer_frame_pic_flagを追加することができる。
(2)base_layer_frame_pic_flagの値を条件として、レイヤ間予測のために使用される配列されたベースレイヤコーディングされたビデオピクチャがボトムフィールドピクチャであるか、またはトップフィールドピクチャであるかを示すために、フラグ(例えば、新しいフラグ)base_layer_bottom_field_flagを追加することができる。
表3では、これら2つの新しいフラグの存在は、3つの条件のいずれかが真であること、または3つの条件が同時に真であることを条件とすることができる。(1)現時のレイヤが、エンハンスメントレイヤである、(2)現時のレイヤが、レイヤ間サンプル予測のために、ベースレイヤを使用する、ならびに/または(3)ベースレイヤコーディングされたビデオシーケンスが、コードフレームおよび少なくともいくつかのコーディングされたフィールドを(例えば、コーディングされたフレームばかりでなく、少なくともいくつかのコーディングされたフィールドも)格納もしくは含む。
1に等しいbase_layer_frame_pic_flagは、レイヤ間サンプル予測において使用されるベースレイヤピクチャが、フレームピクチャであることを指定することができる。0に等しいbase_layer_frame_pic_flagは、レイヤ間サンプル予測において使用されるベースレイヤピクチャが、トップまたはボトムフィールドピクチャであることを指定することができる。base_layer_frame_pic_flagが存在しない場合、それは、1に等しいと推測することができる。
1に等しいbase_layer_bottom_field_flagは、レイヤ間サンプル予測において使用されるベースレイヤピクチャが、ボトムフィールドピクチャであることを指定することができる。0に等しいbase_layer_bottom_field_flagは、レイヤ間サンプル予測において使用されるベースレイヤピクチャが、トップフィールドピクチャであることを指定することができる。base_layer_bottom_field_flagが存在しない場合、それは、0に等しいと推測することができる。
フィールドパリティに基づいたルーマサンプルのアップサンプリング
図7に示されるように、インターレーストップ/ボトムフィールドは、垂直方向において、プログレッシブフレームの半分の解像度を有することができ、水平方向において、同じ解像度を有することができる。したがって、ELにおけるプログレッシブフレームのコーディングのためのレイヤ間参照ピクチャを生成するためには、BLにおいて、再構成されたフィールドに垂直アップサンプリング(例えば、垂直アップサンプリングのみ)を適用すべきであり、または適用する必要があることがある。
以下の表5は、SHVCについてのルーマ成分のための16位相8タップアップサンプリングフィルタを示している。トップ/ボトムフィールドについてのアップサンプリングプロセスは、SHVCフィルタと同じアップサンプリングフィルタを使用することができることが企図されているが、説明されるプロセスは、SHVCフィルタの代わりに、他のアップサンプリングフィルタを使用することができることを企図している。
以下の疑似コードは、フィールドパリティに基づいた、ルーマサンプルのアップサンプリングプロセスを記述している。
疑似コード1:
フィールドパリティに基づいたクロマサンプルのアップサンプリング
クロマサンプルのフレームとトップ/ボトムフィールドとの間の空間的整列は、YUV4:2:0ビデオにおけるクロマサブサンプリングのせいで、例えば、ルーマサンプルよりも複雑であることがある。図9は、プログレッシブスキャンビデオフレームについての、YUV4:2:0ビデオフォーマット(例えば、一般に使用されるYUV4:2:0ビデオフォーマット)における、(図9において円で表される)クロマサンプルと(図9において四角で表される)ルーマサンプルのデフォルトの相対位置を示す図である。図9に示されるように、2×2のルーマサンプル毎に、クロマチャネル(すなわち、CbおよびCr)当たり1つのクロマサンプル(例えば、ただ1つのクロマサンプル)が、利用可能であることができる。図9に示されるデフォルトのクロマサンプル位置によれば、2×2のルーマ近隣サンプルに対して、クロマサンプルは、水平方向において、偶数ルーマ位置に揃えることができる。ある代表的な実施形態では、クロマサンプルは、垂直方向において、半ピクセルだけずらして、偶数ルーマ位置と奇数ルーマ位置との間に存在することができる。
図10は、インターレーススキャンビデオの(図10において無地ピクセルで表される)トップフィールドおよび(図10において影付きピクセルで表される)ボトムフィールドについての、YUV4:2:0ビデオフォーマットにおける、(図10において円で表される)クロマサンプルと(図10において四角で表される)ルーマサンプルのデフォルトの相対位置を示す図である。プログレッシブビデオ配置と同じ方法で、2×2のルーマサンプル毎に、クロマチャネル(すなわち、CbおよびCr)当たり1つのクロマサンプル(例えば、ただ1つのクロマサンプル)が、利用可能であることができる。インターレースフィールドのデフォルトのクロマサンプル位置では、2×2のルーマ近隣サンプルに対して、クロマサンプルは、水平方向において、偶数ルーマ位置に揃えることができる(これは、プログレッシブ配置と同じであることができる)。ある代表的な実施形態では、クロマサンプルは、垂直方向において、4分の1ピクセルだけずらして、偶数ルーマ位置と奇数ルーマ位置との間に存在することができる(これは、プログレッシブ配置と同じでなくてよい)。
(消費者ビデオアプリケーションを含むことができる)YUV4:2:0を使用するほとんどのビデオアプリケーションでは、デフォルトのクロマサンプル位置を使用することができる。例えば、クロマサンプルは、プログレッシブビデオの場合は、図9に示されるように、インターレースビデオの場合は、図10に示されるように、配置することができる。SHVCドラフト4において現在規定されているプログレッシブからプログレッシブへの空間スケーラビリティと比較して、インターレースからプログレッシブへの空間アップサンプリングの場合、クロマアップサンプリングを正確に実行するために、異なる位相フィルタを使用することができ、または必要とされることがある。上記の表6は、SHVCドラフト4において規定されている、4タップ16位相クロマアップサンプリングフィルタを示している。垂直方向において2倍比を用いるプログレッシブからプログレッシブへのスケーラビリティの場合、クロマをアップサンプリングするために、位相6フィルタおよび位相14フィルタを使用することができる。それと比較して、垂直方向において2倍比を用いるインターレースからプログレッシブの場合、位相0フィルタおよび位相8フィルタが、クロマアップサンプリングのために選択または選定すべき正しいフィルタであることができる。例えば、インターレースからプログレッシブへのスケーラビリティの場合、ルーマおよびクロマのためのアップサンプリングフィルタ位相は、同じであることができる。表6のSHVCクロマアップサンプリングフィルタが使用される場合、以下の疑似コードが、クロマアップサンプリングプロセスを記述することができる。本明細書で説明されるルーマアップサンプリングプロセスと同様に、他のクロマアップサンプリングフィルタについても、以下の疑似コードを使用することができることが企図されている。
疑似コード2:
疑似コード2におけるクロマアップサンプリングのためのプロセスは、BLにおけるインターレースビデオとELにおけるプログレッシブビデオの両方について、デフォルトのクロマサンプルが使用される場合に、指定される。(図9および図10に示されるものとは異なる)他の非デフォルトのクロマサンプル位置を、可能にすることができ、H.264/AVC規格および/またはバージョン1HEVC規格におけるビデオユーザビリティ情報(VUI)を使用して、ビデオビットストリームの一部として伝達することができる。例えば、「chroma_sample_loc_type」の値は、ルーマ近隣サンプルに関してクロマサンプルの位置を定義または設定するために、使用することができる。(インターレースビデオ、プログレッシブビデオ、または両方において)非デフォルトのクロマサンプル位置が使用される場合、インターレースおよび/またはプログレッシブビデオレイヤのクロマ位置を記述するために、明示的なクロマ位相伝達を使用すること、および/またはスケーラブルビットストリームに追加することができる。そのような明示的に伝達されるクロマ位相情報は、クロマアップサンプリングのための正しい位相フィルタを導出するために、使用することができる。
SHVCドラフト4では、参照ピクセル、および補間において使用される位相フィルタの選択は、以下を使用して(例えば、サブクローズH.6.2において)実行される。
変数phaseX、phaseY、addX、およびaddYは、以下のように導出される。
変数xRef16、およびyRef16は、以下のように導出される。
疑似コード1および疑似コード2において説明されたような、インターレースからプログレッシブへのスケーラビリティのためのフィールドパリティベースのルーマおよびクロマアップサンプリングを、SHVCドラフトのフレームワーク内において実施するための一実施形態では、式(H−6)に対して、以下のような調整を行うことができる。
リージョンベースの適応フレーム/フィールドアップサンプリング
H.264/AVCおよびHEVCは、ともに、インターレースビデオシーケンスのための適応フレームフィールドコーディングを可能にする。3つのタイプの適応フレームフィールド(AFF)コーディングを使用することができる。
(1)シーケンスAFF(SAFF)を使用することができる。例えば、フレームコーディングおよび/またはフィールドコーディングは、シーケンスレベルにおいて適応させることができる。フレームコーディングは、1つのビデオシーケンスにおけるピクチャ(例えば、すべてのピクチャ)のために使用することができ、フィールドコーディングは、別のビデオシーケンスにおけるピクチャ(例えば、すべてのピクチャ)のために使用することができる。この場合、ビデオシーケンスは、例えば、フルレングスのビデオ信号全体の代わりに、即時デコーディングリフレッシュ(IDR)ピクチャによって標識付けされる2つのランダムアクセスポイントの間のピクチャのセットとして定義することができる。
(2)ピクチャAFF(PAFF)を使用することができる。例えば、フレームコーディングおよび/またはフィールドコーディングは、ピクチャレベルにおいて適応させることができる。ビデオシーケンス内で、フレームコーディングは、1つのピクチャのために使用することができ、フィールドコーディングは、別のピクチャのために使用することができる。
(3)ブロックレベルAFF(MBAFF)を使用することができる。例えば、フレームコーディングおよび/またはフィールドコーディングは、ブロックレベルにおいて適応させることができる。例えば、H.264/AVCでは、基本的なブロックコーディング単位は、マクロブロックまたはMBと呼ばれ、(ルーマ成分に関して)16×16ピクセルの寸法を有する。MBAFFにおけるフレームおよび/またはフィールド伝達は、MBペア(16×32)に基づくことができる。伝達は、ピクチャ内の1つのマクロブロックペアが、フレームモードでコーディングされることを可能にすることができ、例えば、同じピクチャ内の別のマクロブロックペアは、フィールドモードでコーディングされることを可能にすることができる。フィールドモードが使用される場合、MBペアは、トップフィールドMBおよびボトムフィールドMBに分割され、別々にコーディングすることができる。
HEVCは、インターレースコンテンツのために、シーケンス適応フレームフィールドコーディング(SAFF)のみを可能にし、H.264/AVCは、3つのタイプすべてのAFF(例えば、SAFF、PAFF、およびMBAFF)を可能にする。SAFFおよびPAFFと比較して、MBAFFは、ビデオシーケンスのいくつかの部分が静止したままであり(例えば、静止した背景)、ビデオシーケンスの他の部分が動いている(例えば、動いている前景)場合に有用とすることができる。図11は、トップフィールドとボトムフィールドが組み合わされて1つのピクチャになった例を示すピクチャである。図11では、人物の手および腕は、動いている部分であり(ピクチャの対応するリージョンは、非常に顕著な「インターレースアーチファクト」または「コーミングアーチファクト」を有し)、一方、背景の壁および人物の頭部は、実質的には静止している(ピクチャの対応するリージョンは、通常のプログレッシブフレームのように見える)。図11のピクチャは、(例えば、トップフィールドおよびボトムフィールドを組み合わせて、プログレッシブフレームと同じ解像度を有する1つのフレームにすることができる)1つの合成フレームとして、MBAFFを使用して、コーディングすることができる(例えば、動く手をカバーするまたはそれに対応するマクロブロックは、フィールドマクロブロックとしてコーディング(例えば、より良くコーディング)することができ、静止した壁および頭部をカバーするまたはそれに対応するマクロブロックは、フレームマクロブロックとしてコーディング(例えば、より良くコーディング)することができる)。そのような配置は、H.264/AVC規格を使用して、BLインターレースビデオをコーディングするために、使用することができる。BLビデオが、MBAFFなど、ブロックレベルの適応フレームフィールドコーディングを使用してコーディングされる場合に、効率的なレイヤ間予測を達成するために、リージョンベースの適応フレームフィールドアップサンプリングプロセスを適用することができる。
図12は、リージョンベースの適応フレームフィールドアップサンプリングの例を示す図である。最初に、図12の最下行を見ると、コーディングされたBLフレームは、2つのフィールドを含むこと、またはそれらから成ることができる。BLフレーム1200の第1の部分1210は、示されるように、図12において影付きエリア1201およびクロスハッチングエリア1203によってそれぞれ表される、2つのフィールドMBを使用して、コーディングすることができる。MBがフィールドモードでコーディングされる、部分1210内のトップフィールド1201は、影付きで表され、MBがフィールドモードでコーディングされる、部分1210内のボトムフィールド1203は、クロスハッチングで表される。BLフレーム1200の他の部分1220は、無地の白色エリアによって表されるように、フレームMBを使用して、コーディングされる。タイムインスタンスTおよびT+1における、ELにおける2つのプログレッシブフレーム1230、1240は、それぞれ、BLにおけるトップフィールドおよびボトムフィールドに対応する。
以下のステップは、例えば、(BLにおけるトップフィールド1201に対応する)タイムインスタンスTにおけるELプログレッシブフレームを効率的に予測するために使用すべきである、レイヤ間参照ピクチャ1250を生成するために適用することができる。
(1)静止したリージョン1220内のピクセルが、コピーされる。
(2)BLピクチャ1200における動きのあるリージョン1210に属するトップフィールド1201のピクセル(例えば、トップフィールドピクセルのみ)が、コピーされる。
(3)時間Tのためのレイヤ間参照ピクチャ1250内の動きのあるリージョン1210内のインターリーブされたラインを満たすために、フィールドパリティベースの2倍アップサンプリングが、本明細書の開示に従って、垂直方向において実行される。
以下のステップは、(BLにおけるボトムフィールド1203に対応する)タイムインスタンスT+1におけるELプログレッシブフレーム1240を予測するために使用すべきである、または使用することができる、レイヤ間参照ピクチャ1260を生成するために適用することができる。
(1)静止したリージョン1220内のピクセルが、コピーされる。
(2)BLピクチャ1200における動きのあるリージョン1210に属するボトムフィールド1203のピクセル(例えば、ボトムフィールドピクセルのみ)が、コピーされる。
(3)時間T+1のためのレイヤ間参照ピクチャ1260内の動きのあるリージョン1210内のインターリーブされたラインを満たすために、フィールドパリティベースの2倍アップサンプリングが、本明細書の開示に従って、垂直方向において実行される。
リージョンベースの適応フレームフィールドアップサンプリング手順は、レイヤ間予測のために、ELにおける正しいタイムインスタンスに対応する、コーディングされたBLフレーム1200におけるそれらのピクセルを効果的に使用することができる。
ピクチャ内のどのリージョンがフィールドパリティベースのアップサンプリングを使用することができるか、または使用すべきであるかを指定するパラメータは、エンコーダによって決定することができ、ビットストリームの一部として、例えば、ELスライスヘッダに収めて伝達することができる。BLピクチャは、2つのフィールドの代わりに、合成フレームとしてコーディングすることができるので、表3のフラグbase_layer_frame_pic_flagは、1になるように設定することができる。図12は、BLにおけるMBがフィールドモードでコーディングされ、フィールドパリティベースのアップサンプリングを適用することができる、1つのリージョン1220(例えば、ただ1つのリージョン)を示しているが、2つ以上のリージョン(例えば、任意の数のそのようなリージョン)が、存在することができ、ビットストリームで伝達されることができる。1または複数のリージョンは、位置(例えば、角隅の座標、例えば、左上の座標を指定し)と寸法(例えば、幅および高さ)とを指定することによって、および/または第2の対角角隅の位置を指定することによって、伝達することができる。ある代表的な実施形態では、1または複数のリージョンは、BLにおけるどのマクロブロックがフィールドモードを使用してコーディングされるかを(例えば、ラスタスキャン順における開始MBインデックスおよび終了MBインデックスを)示すことによって、伝達することができる。
他の代表的な実施形態では、各リージョンのためのアップサンプリング(フレームおよび/またはフィールド)手順は、暗黙的に決めること、または決定することができる。エンコーダおよびデコーダは、各リージョンに適用される適切なアップサンプリング手順を、同じ方法で、例えば、そのリージョン内のトップフィールドとボトムフィールドの間の動きの量を検出することによって、決定することができる。トップフィールドとボトムフィールドとの間の動きの量を決定するために、トップフィールドとボトムフィールドとの間の絶対差の和(SAD)または平方誤差の和(SSE)などの差分メトリックを適用することができる。エンコーダは、SADまたはSSEの適切な閾値を決定することができ、閾値をデコーダに送信することができる。トップフィールドとボトムフィールドの間のSAD/SSEの値が、閾値よりも大きい場合、問題としているリージョンは、動きのあるリージョンと見なすことができ、フィールドパリティベースのアップサンプリングを適用することができる。そうではない場合(例えば、トップフィールドとボトムフィールドの間のSAD/SSEの値が、閾値よりも大きくない場合)、問題としているリージョンは、静止したリージョンと見なすことができ、代わりに、ピクセルコピーを適用することができる。
本明細書で説明されるリージョンベースの適応フレーム/フィールドアップサンプリングプロセスでは、ピクセルコピーは、(MBをフレームモードでコーディングすることができる)静止したリージョンに適用することができる。ピクセルコピーは、単なる例である。ノイズ除去フィルタまたはアーチファクト除去フィルタなど、より精緻なレイヤ間処理技術も、フレームモードMBに属するこれらのピクセルに適用することができる。さらに、ELコーディングのためのレイヤ間参照ピクチャを形成するための上で説明された方法は、代わりに、脱インターレース技法としても使用することができる。例えば、ディスプレイは、(例えば、どのブロックがフィールドブロックとしてMBAFFを使用してコーディングされるかについての情報をビットストリームから抽出することによって)速い動きのあるリージョンを検出することができ、時刻Tおよび時刻T+1におけるレイヤ間参照ピクチャを生成するための、図12に関連して上で説明されたのと同じステップを使用して、プログレッシブフレームを生成するために、脱インターレースを実行することができる。他の実施形態では、ディスプレイにおける脱インターレースを改善するために、特別なパラメータを、例えば、補助強化情報(SEI)メッセージの一部として、エンコーダによって送信することができる。そのような特別なパラメータは、速い動きのあるリージョンの寸法および位置を伝達すること、ならびに/またはディスプレイが速い動きのあるリージョンを決定するための所定の閾値の伝達および/もしくは使用など、上で説明されたものを含むことができる。
フィールド組み合わせに基づいた参照ピクチャ
(例えば、表示のために)インターレースビデオをプログレッシブフォーマットに変換する場合、フィールド組み合わせ技法および手順を使用することができる。変換プロセスは、「脱インターレース」と呼ばれることがある。例えば、放送事業者は、インターレースコンテンツの脱インターレースを実行し、その後、そのようなコンテンツをプログレッシブデジタルフォーマットで送信することができる。別の例として、現代のデジタルテレビジョンセットは、本質上プログレッシブであるディスプレイを有することができ、そのようなセットは、コンテンツをプログレッシブフォーマットで表示する前に、受信したインターレースコンテンツを脱インターレースする必要があることがある。そのような脱インターレース技法および手順は、(例えば、表示のためのプログレッシブフレームを生成するために)異なるフィールドからの情報を組み合わせることができる。ある代表的な実施形態では、フィールド組み合わせ技法をレイヤ間予測のタスクに適応させるための手順を実施することができる。
図13は、1つの代表的な手順を示している。ベースレイヤは、インターレースフィールドを使用してコーディングすることができる。これらは、図において、「フィールドA」1301および「フィールドB」1302として示されている。フィールド組み合わせ技法は、ベースレイヤフィールドを組み合わせて、エンハンスメントレイヤにおけるプログレッシブフレーム1320の予測のためのレイヤ間参照ピクチャとして使用することができる、参照ピクチャ1310を生成するために、使用することができる。ベースレイヤからのフィールドを組み合わせることによって、1つのフィールド(例えば、ただ1つのフィールド)から可能なことがあるよりも良好な参照ピクチャを構成することが可能なことがある。例えば、フィールド組み合わせは、参照ピクチャが、フル垂直解像度のディテールを維持することを可能にすることができ、そのようなディテールは、参照ピクチャが、代わりに、本明細書で説明されたように、垂直方向においてアップサンプリングされる1つのフィールドから形成された場合、失われることがある。
フィールド組み合わせ技法は、様々な形態を取ることができる。代表的な一実施形態では、第1のフィールド(例えば、「フィールドA」)からのコンテンツは、レイヤ間参照ピクチャの偶数ラインにコピーすることができ、第2のフィールド(例えば、「フィールドB」)からのコンテンツは、レイヤ間参照ピクチャの奇数ラインにコピーすることができる。このように、1つのフィールドからのラインは、別のフィールドからのラインと織り合わされて、参照ピクチャを生成することができる。
別の代表的な実施形態では、第1のフィールド(例えば、「フィールドA」)からのコンテンツは、第2のフィールド(例えば、「フィールドB」)からのコンテンツと平均されて、参照ピクチャのラインを生成することができる。そのような平均は、例えば、加重平均技法を使用して実行することができる。例えば、参照ピクチャの偶数ラインは、ベースレイヤのトップフィールドからのラインと、ベースレイヤからのボトムフィールドの対応するラインとを組み合わせる、加重平均によって生成することができる。トップフィールドラインのための重みは、ボトムフィールドラインのための重みと比較して大きく、等しく、または小さくすることができる(例えば、トップフィールドラインは、0.8の重みと組み合わせることができ、ボトムフィールドラインは、0.2の重みと組み合わせることができる)。このように、ベースレイヤフィールドは、一緒に混合することができ、結果の参照ピクチャにおいて、「コーミング」アーチファクトを低減することができる。
また別の代表的な実施形態では、第1のフィールド(例えば、「フィールドA」)からのコンテンツは、動き補償技法を使用して、第2のフィールド(例えば、「フィールドB」)からのコンテンツと組み合わせることができる。このように、ELプログレッシブフレームに対応する時刻とベースレイヤフィールドの各々に対応する時刻との間の時間差の間に生じた動きは、補償することができ、結果の参照ピクチャにおいて、「コーミング」アーチファクトを低減すること、または実質的に除去することができる。例えば、図13によれば、ベースレイヤのフィールドA1301が、予測されるプログレッシブエンハンスメントレイヤフレーム1320とともに配列される(例えば、同じ表示時刻を有する)場合、ベースレイヤのフィールドB1302は、フィールドA1301に対して、およびプログレッシブエンハンスメントレイヤフレーム1320に対して、異なる表示時刻を有することができる。例えば、フィールドBは、フィールドAよりも1/30秒後に存在することができる。この場合、参照ピクチャは、フィールドAのラインを参照ピクチャに(例えば、フィールドAがトップフィールドである場合は、参照ピクチャの偶数ラインに)コピーすることによって、またフィールドBのラインの動き補償されたバージョンを参照ピクチャに(例えば、フィールドBがボトムフィールドである場合は、参照ピクチャの奇数ラインに)コピーすることによって、構成することができる。参照ピクチャ1310を構成する場合に、フィールドBのピクチャデータをフィールドAのそれとより良く整列させるために、フィールドBの動き補償は、フィールドAに対して実行することができる。このように、参照ピクチャは、フル垂直解像度のディテールを維持することができ、「コーミング」アーチファクトを低減すること、または実質的に除去することができる。
動き補償は、1つのフィールド(例えば、「フィールドB」)上で、別のフィールド(例えば、「フィールドA」)に対して、実施することができ、両方のフィールドは、エンコーダ側およびデコーダ側の両方で利用可能である。例えば、エンコーダおよびデコーダは、各々、同一の動き推定および補償手順をフィールド間で実行することができ、そのため、(例えば、動き情報(例えば、動きモード情報)および/または動きベクトルを(例えば、ビットストリームに収めて)エンコーダからデコーダに送信する必要なしに、エンコーダ側およびデコーダ側の両方で、同じ参照ピクチャを構成することができる。(任意の動き補償プロセスおよび/または手順を含む)フィールド組み合わせ手順および/または技法の全体は、固定することができ、エンコーダ側とデコーダ側の間で、事前設定(例えば、あらかじめ合意)することができる。ある代表的な実施形態では、プロセス/手順の変形が可能であることができ、プロセスを定義(例えば、設定または確立)するために、適切な伝達が、エンコーダからデコーダに送信されることが企図されている。例として、エンコーダは、参照ピクチャ毎に、参照ピクチャを構成するために使用されるフィールド組み合わせが、フィールドコピーに基づくものか(例えば、フィールドは、本明細書で説明されたように、「織り合わされる」ことができる)、または1つのフィールドの別のフィールドに対する動き補償に基づくものかを伝達することができる。別の例として、参照ピクチャのいくつかのブロックは、1つのフィールド組み合わせ手順/技法を使用して構成することができ、参照ピクチャの他のブロックは、異なるフィールド組み合わせ手順/技法を使用して構成することができるように、エンコーダは、参照ピクチャの異なるリージョンを構成するために使用される異なるフィールド組み合わせ手順および/または技法を伝達することができる。
図13は、ベースレイヤのフィールドA1301を、予測されるELプログレッシブフレーム1320とともに配列されるものとして、またベースレイヤのフィールドBを、時間的に後のフィールドとして示しているが、他の構成も可能である。例えば、参照ピクチャは、予測されるELプログレッシブフレームとともに配列される第1のベースレイヤフィールドと、第1のベースレイヤフィールドよりも時間的に前の第2のベースレイヤフィールドとの組み合わせとして、構成することができる。別の例として、参照ピクチャは、2つのベースレイヤフィールドの組み合わせとして構成することができ、2つのベースレイヤフィールドのどちらも、予測されるELプログレッシブフレームとともに配列されない。
さらなる例として、参照ピクチャは、3つ以上のベースレイヤフィールドの組み合わせとして(例えば、予測されるELプログレッシブフレーム1420とともに配列される第1のベースレイヤフィールド(例えば、「フィールドA」)と、第1のベースレイヤフィールドよりも時間的に後の第2のベースレイヤフィールド(例えば、「フィールドB」)と、第1のベースレイヤフィールドよりも時間的に前の第3のベースレイヤフィールド(例えば、「フィールドC」)との組み合わせとして)、構成することができる。代表的な手順/プロセスが、図14Aに示されている。ある代表的な実施形態では、参照ピクチャ1410は、第1のベースレイヤフィールド1401、第2のベースレイヤフィールド1402、および/または第3のベースレイヤフィールド1403の加重された組み合わせとして、構成することができる。他の代表的な実施形態では、参照ピクチャ1410は、第2のベースレイヤフィールド1402および第3のベースレイヤフィールド1403の第1のベースレイヤフィールド1401に対する動き補償を使用して、構成することができ、参照ピクチャの各局所エリア(例えば、各ブロック)についての動き補償されたデータは、どの1または複数のデータが、第1のベースレイヤフィールド内のデータとのより良いマッチ(例えば、より良い整列)を提供するかに応じて、第2および/または第3のベースレイヤフィールドから選択することができる。例えば、動き情報(例えば、モード情報および/または動きベクトル)を送信して、レイヤ間参照ピクチャの構成のための動き補償プロセス/手順を説明する必要をなくすことができるように、同じプロセスを、エンコーダ側およびデコーダ側において同様に実行することができる。
図13および図14Aに示される各インターレースフィールドは、フィールドとしてコーディングされた完全なピクチャを表すことができ、またはピクチャのフィールドコーディングされたサブセット(例えば、MBAFFを使用してコーディングされた1または複数のマクロブロックフィールド)を表すことができる。
レイヤ適応およびピクチャ適応リサンプリング位相選択
ベースレイヤピクチャが、例えば、エンハンスメントレイヤピクチャを予測するためのリサンプリングのために使用される場合、コーディング効率を改善するために、リサンプリング(例えば、アップサンプリング)において、適切な位相フィルタを選択することができる。非限定的な一例では、最も適切な位相フィルタは、使用されるベースレイヤデータがトップインターレースフィールドであるか、またはボトムインターレースフィールドであるかに依存することができる。ある代表的な実施形態では、以下のうちの1または複数を実施することができる。
(1)1もしくは複数の参照レイヤについて、ピクチャレベルにおける垂直位相フィルタ調整を可能にすることができるか、もしくはできないかを示すために、SPS伝達vert_phase_position_present_flagを追加する。
(2)垂直位相フィルタ調整が可能にされるそれらの参照レイヤについて、垂直位相位置を示すために、スライスヘッダ伝達phase_position_flagを追加する。
(3)適切もしくは必要である場合、スライスヘッダ内のphase_position_flagの値に従って、リサンプリング中に垂直位相フィルタ選択を調整する。および/または
(4)スケーラブルビットストリーム内の少なくとも1つのピクチャのデコーディングのために、ピクチャベースの位相フィルタ調整が必要であるかどうかを示すために、VPS VUIインジケーションvps_vui_phase_adjustment_flagを追加する。このVPS VUIインジケーションフラグは、標準的なデコーディングプロセスに影響しないことができる。ピクチャベースの位相フィルタ調整が必要であるかどうかをデコーダに通知することによって、このフラグは、ピクチャベースの位相フィルタ調整が適切もしくは必要でない場合、いくつかのデコーダ実施が、ビデオシーケンスのデコードを開始する(例えば、まさに開始する)時に、一定の位相フィルタを事前ロードすることを可能にすることができる。
上述のスライスレベル伝達が、特定の参照レイヤについての1ビットフラグ(例えば、ただ1ビットのフラグ)である場合、それは、(例えば、垂直方向のみにおける)トップフィールドとボトムフィールドの間の切り換えを可能にするだけであり、ピクチャレベルにおいて垂直位相フィルタと水平位相フィルタとを交換することを可能にすることはできない。水平アップサンプリングおよび/または垂直アップサンプリングの両方のためのピクチャベースの位相フィルタ選択についてのさらなる柔軟性が、(例えば、以下の使用事例の場合に)適切であること、および/または実施されることがある。
(1)その内容が参照によって本明細書に組み込まれる文献(例えば、特許文献1を参照)において説明されているように、異なるレイヤにおいてビデオピクチャをダウンサンプリングおよび生成するために、(例えば、異なる位相特性を有する、および/または異なるサンプリンググリッド整列を用いる)異なるダウンサンプリングフィルタを使用することができる。
(2)例えば、4k×2kのプログレッシブビデオを1080iのインターレースビデオに直接的に変換するために、通常のダウンサンプリングフィルタを、プログレッシブからインターレースへの変換プロセスと組み合わせることができる。
(3)クロマサブサンプリングの場合、インターレースおよび/またはプログレッシブYUV420またはYUV422における非デフォルトのクロマサンプル位置(例えば、ルーマサンプルに対するクロマサンプル位相)を使用することができる。YUV420プログレッシブおよびインターレースビデオのためのデフォルトのクロマサンプル位置は、それぞれ、図9および図10に示された。しかしながら、HEVCおよびH.264/AVCなどのビデオ規格は、他のクロマサンプル位置を使用することを可能にすることができる。クロマ位相フィルタ選択は、ルーマ位相フィルタ選択から切り離すことができ、または切り離す必要があることがある。
ある代表的な実施形態では、サンプリンググリッドパラメータを伝達するための手順を実施することができ、それは、アップサンプリング位相フィルタを選択するために使用することができる。サンプリンググリッドが、シーケンスレベルで伝達される場合、代表的な手順は、ピクチャベースの位相フィルタ適応を可能にしないことがある。サンプリンググリッドが、1/16ピクセル精度で伝達される場合、代表的な手順は、表現のためよりも多くのビットを使用または必要とすることがある。
上記の文献(例えば、特許文献1を参照)において開示されるものなど、サンプリンググリッドパラメータを伝達するためのある代表的な手順は、一般的とすることができる位相情報の伝達のために実施することができ、より効率的な伝達を提供することができ、ピクチャレベルの位相フィルタ適応の能力を有することができる。
例えば、位相フィルタは、以下の変数に基づいて選択することができる。
phaseXおよびphaseXCは、それぞれ、ルーマ成分およびクロマ成分のリサンプリングのための水平位相フィルタを選択するために、使用することができることが企図されている。phaseYおよびphaseYCは、それぞれ、ルーマ成分およびクロマ成分のリサンプリングのための垂直位相フィルタを選択するために、使用することができる。
上で表5および表6に示されたように、アップサンプリングを実行するために、16位相フィルタを使用することができる。リサンプリングされたピクチャ内の各サンプル(例えば、各ルーマまたはクロマサンプル)位置(xP,yP)毎に、表5および/または表6に属する位相フィルタが選択される。例としてルーマ成分を使用すると、リサンプリングのために、16の位相フィルタ(ルーマまたはクロマ)から1つを選択するために、以下を使用することができる。
ここで、ScaleFactorXおよびScaleFactorYは、16ビット固定小数点精度で表されるスケーリング比であり、(xP,yP)は、リサンプリングされたピクチャのサンプル位置であり、offsetXおよびoffsetYは、リサンプリングされたピクチャの左上隅からのクロッピングオフセットである。
上述のプロセスは、代表的な一例として、ルーマフィルタ選択を使用し、プロセスは、クロマフィルタ選択にも等しく適用可能である。
phaseX、phaseY、phaseXC、およびphaseYCの値は、サンプリンググリッドの精度を引き下げた表現とすることができる。例えば、1/16ピクセル精度の代わりに、それらは、位相情報の1/4ピクセル精度近似に等価であることができる。表7は、本明細書で説明される少数の代表的な使用事例のためのphaseX、phaseY、phaseXC、およびphaseYCの値を列挙している。左の列は、代表的な使用事例と、シンタックス要素および変数(例えば、cross_layer_phase_alignment_flag、VertPhasePositionAdjustFlag、および/またはVertPhasePositionFlag)の代表的な(例えば、対応する)値とを示している。右の列は、伝達する位相パラメータの値を示している。表7の最終行は、現在の伝達手順(例えば、ある現在の伝達手順)を使用して表現することができない使用事例を与える。この使用事例では、クロマサンプル位置は、図9に示されるデフォルトのクロマサンプル位置ではない。クロマサンプル位置は、最先端の伝達手順を使用して導出することができない、phaseX、phaseY、phaseXC、および/またはphaseYCの値の新しいセットである必要があることがある。
phaseX、phaseY、phaseXC、および/またはphaseYCの可能な値のサブセット(例えば、限定されたサブセット)を導出するために、フラグのセット(cross_layer_phase_alignment_flag、VertPhasePositionAdjustFlag、および/またはVertPhasePositionFlag)を使用する代わりに、これらの変数の値を直接的に伝達して、可能な値の全範囲を伝達することを可能にすることができる。各位相パラメータセットは、phaseX、phaseY、phaseXC、および/またはphaseYCを含むこと、またはそれらから成ることができ、現在のフラグベースの伝達を置き換えることができる。ピクチャレベルの位相フィルタ適応を可能にするために、これらの位相パラメータ値の複数のセットを伝達することができる。各ピクチャは、現時のピクチャのデコーディングのためのリサンプリングを実行するために、位相パラメータ値のセットのうちのどの1つを使用すべきかを示すために、インデックスを使用することができる。これらの値は、より低い精度(例えば、1/16ピクセルの代わりに、1/4ピクセル)を有することができるので、値は、表現のためにより少数のビットを使用または必要とすればよく、値は、ピクチャレベルの適応リサンプリング位相選択を可能にするために使用するのに適した(例えば、より適した)ものであることができる。
表8は、phaseX、phaseY、phaseXC、および/またはphaseYCの値の複数のセットを送信するために使用することができる、例示的なシンタックステーブルを示している。このシンタックステーブルは、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、および/またはピクチャパラメータセット(PPS)の一部として含まれることができる。
1に等しいresample_phase_parameter_set_present_flagは、リサンプリング位相情報シンタックス要素num_resample_phase_parameter_set_minus1、resample_phase_x_luma[i]、resample_phase_y_luma[i]、resample_phase_x_chroma[i]、およびresample_phase_y_chroma[i]がビットストリーム内に存在することを示すために、使用することができる。0に等しいresample_phase_parameter_set_present_flagは、リサンプリング位相情報シンタックス要素num_resample_phase_parameter_set_minus1、resample_phase_x_luma[i]、resample_phase_y_luma[i]、resample_phase_x_chroma[i]、およびresample_phase_y_chroma[i]がビットストリーム内に存在しなくてよいこと、または存在しないことを示し、それらの値は推測することができる。resample_phase_parameter_set_present_flagが存在しない場合、それは、0に等しいと推測することができる。
num_resample_phase_parameter_set_minus1+1は、伝達されるリサンプル位相パラメータセットの数を指定するために使用することができ、セットは、4つのシンタックス要素resample_phase_x_luma[i]、resample_phase_y_luma[i]、resample_phase_x_chroma[i]、およびresample_phase_y_chroma[i]を含む。num_resample_phase_parameter_set_minus1が存在しない場合、それは、0に等しいと推測することができる。
resample_phase_x_luma[i]は、水平方向においてルーマリサンプリングフィルタを選択するために使用される第iの水平リサンプリング位相調整値を指定するために、使用することができる。resample_phase_x_luma[i]が存在しない場合、それは、0に等しいと推測することができる。
resample_phase_y_luma[i]は、垂直方向においてルーマリサンプリングフィルタを選択するために使用される第iの垂直リサンプリング位相調整値を指定するために、使用することができる。resample_phase_y_luma[i]が存在しない場合、それは、0に等しいと推測することができる。
resample_phase_x_chroma[i]は、水平方向においてクロマリサンプリングフィルタを選択するために使用される第iの水平リサンプリング位相調整値を指定するために、使用することができる。resample_phase_x_chroma[i]が存在しない場合、それは、0に等しいと推測することができる。
resample_phase_y_chroma[i]は、垂直方向においてクロマリサンプリングフィルタを選択するために使用される第iの垂直リサンプリング位相調整値を指定するために、使用することができる。resample_phase_y_chroma[i]が存在しない場合、それは、0に等しいと推測することができる。
変数NumResamplePhaseParamSets、ResamplePhaseXLuma、ResamplePhaseYLuma、ResamplePhaseXChroma、および/またはResamplePhaseYChromaは、以下のようにして導出することができる。
上で述べられたように、シンタックス要素resample_phase_parameter_set_present_flagは、リサンプリング位相調整値がビットストリームに収めて明示的に伝達されるかどうかを示すために、使用することができる。リサンプリング位相調整値が明示的に伝達されない場合、デフォルトのセットを使用することができる。ある使用事例(例えば、最も典型的な使用事例)、例えば、(例えば、図4のダウンサンプリングユニットにおいて)解像度がより低いビデオを生成するために使用されるダウンサンプリングフィルタが、(例えば、cross_layer_phase_alignment_flag=0である場合に)左上サンプルにおいて揃えられる、プログレッシブからプログレッシブへの空間スケーラビリティでは、resample_phase_parameter_set_present_flagの値は、0になるように設定することができ、ResamplePhaseXLuma[0]、ResamplePhaseYLuma[0]、ResamplePhaseXChroma[0]、および/またはResamplePhaseYChroma[0]を含む、リサンプリング位相パラメータの値は、(例えば、表7の最上行に列挙された値に従って)推測することができる。
表8の例では、シンタックス要素resample_phase_x_luma、resample_phase_y_luma、resample_phase_x_chroma、および/またはresample_phase_y_chromaは、(ue(v)またはExp−Golombコーディングなどの他のエントロピコーディング手順も使用することができるが)3ビット固定長コーディングを使用して伝達することができ、それらの値は、0以上7以下の範囲内に存在することができる。実際には、これらの値の範囲は、例えば、別の範囲(例えば、−3以上4以下の範囲)内に存在するように調整することができる。この場合、上記の疑似コードは、以下のように変更することができる。
NumResamplePhaseParamSetsの値が1よりも大きく、リサンプリング位相パラメータセットの2つ以上のセットが、シーケンスレベルで(例えば、VPS、SPS、および/またはPPSにおいて)伝達される場合、現時のピクチャのデコーディングのための1または複数の参照レイヤピクチャをリサンプリングするために、これらのセットのうちのどの1つを使用することができるかを示すために、追加のシンタックス要素を使用することができる。resample_phase_parameter_set_idxと呼ばれる、このスライスヘッダシンタックス要素の例が、表9に与えられている。表9の例に示されるように、(例えば、現在のスライスは、2つ以上の参照レイヤピクチャを有することができるが)1つのインデックス(例えば、ただ1つのインデックス)が、スライスセグメントヘッダ内に存在することができ、またはスライスセグメントヘッダに収めて送信される。例えば、(例えば、SHVCドラフト5において定義された)スケーラブルメインプロファイルおよびスケーラブルメイン10プロファイルは、ともに、準拠したスケーラブルビットストリームにおける任意のレイヤ内の任意のピクチャのデコーディングの場合、現時のピクチャをデコードするために使用される前に、(レイヤ間参照ピクチャとも呼ばれる)たかだか1つの参照レイヤピクチャしか、リサンプリングすることができないという制約を受けることがある。現時のピクチャが、2つ以上のレイヤ間参照ピクチャを使用する場合であっても、これらのレイヤ間参照ピクチャのうちの1つ(例えば、ただ1つ)しか、リサンプリングすることができず、他の(例えば、他のすべての)レイヤ間参照ピクチャは、同じピクチャサイズを有し(例えば、有することができ、または有さなければならず)、リサンプリングされない(例えば、リサンプリングされる必要がない)。この制約の目的は、準拠したデコーダの複雑さを抑制することである。(例えば、SHVCドラフト5において定義された)スケーラブルメインおよびスケーラブルメイン10プロファイルにおけるこの制約のため、(表9に示されるように)スライス当たり1つ(例えば、ただ1つ)のリサンプリング位相パラメータセットインデックスしか、送信することができない。プロファイルが、この制約を緩和した場合、resample_phase_parameter_set_idxは、スライス当たり2回以上送信されることができ、異なる参照レイヤピクチャは、異なるリサンプル位相パラメータを使用することができる。他の多くのシンタックス要素と同様に、ピクチャが2つ以上のスライスにおいてコーディングされる場合、resample_phase_parameter_set_idxの値は、同じピクチャ内のすべてのスライスについて同じであることができる。
resample_phase_parameter_set_idxは、現時のスライスのデコーディングのための参照レイヤピクチャをリサンプリングするために使用される、リサンプリング位相パラメータセットのインデックスを指定することができる。resample_phase_parameter_set_idxが存在しない場合、それは、0に等しいと推測することができる。resample_phase_parameter_set_idxの値は、0以上NumResamplePhaseParamSets−1以下の範囲内にあることができる。
リサンプリングプロセス中、変数phaseXおよびphaseYを導出するために、サブクローズH.6.2(例えば、リサンプリングにおいて使用される参照レイヤサンプル位置のための導出プロセス)に以下の変更を適用することができる。
表8および/または表9における伝達手順は、リサンプル位相パラメータセットインデックスを伝達するために、スライスヘッダにおいて必要であるよりも多くのビットを使用することができ、かつ/または必要とすることがある。位相パラメータセットインデックスを伝達するために使用されるビットの数は、リサンプリングプロセスに関与するレイヤのペアを知ること、および/または考慮することによって、さらに低減することができる。図14Bは、代表的な例として、3レイヤスケーラブルビットストリームを示しており、3レイヤスケーラブルビットストリームは、リサンプル位相パラメータのセットを合計で5つ使用することができ、または必要とすることがある。図14Bでは、レイヤ1ピクチャのデコーディングのためのレイヤ0ピクチャのリサンプリングは、リサンプル位相パラメータのセットを2つ使用することができ、かつ/または必要とすることがある(例えば、これら2つのレイヤ間で、ピクチャレベルの適応リサンプリング位相選択が使用され、または必要とされる)。レイヤ2ピクチャのデコーディングのためのレイヤ0ピクチャのリサンプリングは、リサンプル位相パラメータのセットを2つ使用することができ、または必要とすることがある(例えば、これら2つのレイヤ間で、ピクチャレベルの適応リサンプリング位相選択が使用され、かつ/または必要とされる)。レイヤ2ピクチャのデコーディングのためのレイヤ1ピクチャのリサンプリングは、リサンプル位相パラメータのセットを1つ使用することができ、または必要とすることがある(例えば、1つだけ使用することができ、または必要とすることがある)(例えば、ピクチャレベルの適応は、使用または必要とされなくてよく、レイヤ1ピクチャ(例えば、すべてのレイヤ1ピクチャ)は、レイヤ2ピクチャのデコーディングのために、リサンプリング位相の同じセットを使用することができる)。上述の伝達手順を使用すると、シーケンスレベルにおいて、NumResamplePhaseParameterSetsは、5に等しく、resample_phase_parameter_set_idxには固定長コーディングを適用することができるので、スライスセグメントヘッダ内の各シンタックス要素resample_phase_parameter_set_idxは、3ビット(例えば、ceil(log2(NumResamplePhaseParameterSets))を使用することができ、または必要とすることがある。
スライスレベルにおいて、リサンプリングの前に、リサンプリング位相を決定するために使用される2つのレイヤ(例えば、現時のレイヤおよび参照レイヤ)は、知られる(例えば、すでに知られている)ことができる。この知られた情報は、スライスヘッダにおける位相パラメータセット伝達コストを低減するために使用することができる。例えば、リサンプリング位相パラメータセットの総数から、直接的な従属性が存在する2つのレイヤ(例えば、サンプル予測が可能にされる2つのレイヤ)の各ペアの間で可能にされることができる位相パラメータセットを、シーケンスレベルにおいて指定する(例えば、追加的に指定する)ことができる。スライスレベルにおいて、リサンプル位相パラメータセットは、リサンプリング位相パラメータセットの全総数の代わりに、現時のレイヤとリサンプリングにおいて使用されるその参照レイヤとの間で可能にされるリサンプリング位相パラメータセットから選択することができる。図14Bの例では、レイヤ2ピクチャのデコーディングのために、レイヤ1ピクチャにリサンプリングが適用される場合、これら2つのレイヤの間では、第4の位相パラメータセット(例えば、第4の位相パラメータセットのみ)を使用することができるので、位相パラメータセットインデックスは、(例えば、それは、レイヤ2ピクチャを予測するためにリサンプリングされるレイヤ1ピクチャについてのものであるため、第4のパラメータセットであると推測することができるので)伝達される必要がなくてよい。図14Bによって示される別の例では、レイヤ2ピクチャのデコーディングのために、レイヤ0ピクチャにリサンプリングが適用される場合、この例では、第2または第3の位相パラメータセットが可能であるので、スライスレベルでは、(3ビットインデックスの伝達の代わりに)1ビットインデックスの伝達で十分とすることができる。(例えば、SHVCドラフト5において定義された)現在のスケーラブルメインおよびスケーラブルメイン10プロファイルは、現時のピクチャのデコーディングのために、1つの参照レイヤピクチャがリサンプリングされることを可能にする(例えば、たかだかただ1つの参照レイヤピクチャがリサンプリングされることしか可能にしない)。
このリサンプリングされる参照レイヤピクチャが1つであるという制約を有する手順が、本明細書では説明されたが、2つ以上の参照レイヤピクチャのリサンプリングをサポートするように、伝達を拡張することができる。
現時のピクチャについて、ResampleRefLayerIdで表される、リサンプリングにおいて使用される参照レイヤピクチャのlayer_idは、以下の疑似コードを使用して、獲得することができる。
ペア毎の位相パラメータセット伝達を確定する例示的なシンタックステーブルが、表10に示されており、スライスセグメントヘッダにおける対応する位相パラメータセットインデックス伝達が、表11に示されている。
num_resample_phase_param_set_layer_pair[i][j]は、第iのレイヤと第jのレイヤの間のリサンプル位相パラメータセットの数を指定することができる。num_resample_phase_param_set_layer_pair[i][j]が存在しない場合、それは、0に等しいと推測することができる。
resample_phase_param_set_idx_layer_pair[i][j][k]は、第iのレイヤピクチャと第jのレイヤピクチャの間でリサンプリングを行うために使用される、リサンプリング位相パラメータセットの第kのインデックスを指定することができる。resample_phase_param_set_idx_layer_pair[i][j][k]が存在しない場合、それは、0に等しいと推測することができる。resample_phase_param_set_idx_layer_pair[i][j][k]の値は、0以上NumResamplePhaseParamSets−1以下の範囲内にあることができる。
resample_phase_param_set_idxは、現時のスライスのデコーディングのための、ResampleRefLayerIdに等しいlayer_idを有する参照レイヤピクチャをリサンプリングするために使用される、リサンプリング位相パラメータセットのインデックスを指定することができる。resample_phase_param_set_idxが存在しない場合、それは、0に等しいと推測することができる。resample_phase_param_set_idxの値は、0以上num_resample_phase_param_set_layer_pair[LayerldxInVps[nuh_layer_id]][LayerldxInVps[ResampleRefLayerId]]−1以下の範囲内にあることができ、ここで、nuh_layer_idは、現時のスライスのlayer_idであり、ResampleRefLayerIdは、リサンプリングが適用される参照レイヤピクチャのlayer_idである。
表9と比較して、表11のresample_phase_parameter_set_idxの値は、縮小された動的範囲を有し、表現するためにより少数のビットしか使用または必要としなくてよい。リサンプリングプロセス中、変数phaseXおよびphaseYを導出するために、(例えば、H.6.2、リサンプリングにおいて使用される参照レイヤサンプル位置のための導出プロセスに)以下の変更を適用することができる。
実施形態
一実施形態では、ビデオピクチャを再サンプリングする際に使用するための、位相パラメータの1または複数のセットを記憶するステップと、ベースレイヤビデオコンテンツおよびエンハンスメントレイヤビデオコンテンツを含む、ビデオコンテンツを受信するステップと、ベースレイヤ内のピクチャ、および記憶された位相パラメータのセットの1または複数に基づいて、エンハンスメントレイヤ内の少なくとも1つのピクチャを予測する際に使用するための、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含む、ビデオ信号をデコードするための方法が実施される。
前述の実施形態は、ILR参照ピクチャを使用して、エンハンスメントレイヤピクチャを予測するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの記憶された1または複数のセットの各々が、1もしくは複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、1もしくは複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、1もしくは複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/または1もしくは複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報を含むことをさらに含むことができる。
前述の実施形態の1または複数は、送信された位相値のセットの数を示す数インジケータを受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのILRピクチャを組み立てる際に使用される、位相パラメータの記憶された1または複数のセットの中に属する位相パラメータの少なくとも1つのセットを示す、少なくとも1つのインデックスインジケータを受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが、スライスセグメントヘッダ内で受信されることをさらに含むことができる。
前述の実施形態の1または複数は、1または複数のILRピクチャを組み立てるステップが、受信された少なくとも1つのインデックスインジケータによって示される位相パラメータの少なくとも1つのセットに基づいて、ルーマ成分および/またはクロマ成分の少なくとも1つの再サンプリングのための位相フィルタを選択するステップを含むことをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが、ビデオコンテンツのスライスと関連付けられ、方法が、スライスと関連付けられたインデックスインジケータに従って、ILRピクチャを組み立てる際に使用するための、されたビデオコンテンツのベースレイヤ内のスライスのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを調整するステップをさらに含むことをさらに含むことができる。
前述の実施形態の1または複数は、記憶された位相パラメータの1または複数のセットを伝達を介して受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、記憶された位相パラメータの1または複数のセットが、ビデオパラメータセット(VPS)内で受信されることをさらに含むことができる。
前述の実施形態の1または複数は、記憶された位相パラメータの1または複数のセットが、ピクチャパラメータセット(PPS)内で受信されることをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが伝達されたかどうかを示すフラグインジケータを伝達を介して受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが伝達されるかどうかを示すフラグインジケータを受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが伝達されるかどうかを示すフラグインジケータの第1の状態は、位相パラメータの1または複数のセットが伝達されないことを示し、また位相パラメータの1または複数のセットが推測されるべきであることを示すことをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの推測される1または複数のセットが、以下を含むセットであること、すなわち、1または複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報が0であり、1または複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報が1である、セットであることをさらに含むことができる。
前述の実施形態の1または複数は、ベースレイヤピクチャが、インターレーススキャンされ、エンハンスメントレイヤピクチャが、プログレッシブスキャンされることをさらに含むことができる。
前述の実施形態の1または複数は、ベースレイヤピクチャが、インターレースフィールドを含み、エンハンスメントレイヤピクチャが、プログレッシブフレームを含むことをさらに含むことができる。
別の実施形態では、ビデオデコーディングシステムは、ビデオピクチャを再サンプリングする際に使用するための、位相パラメータの1または複数のセットを記憶することと、ベースレイヤビデオコンテンツおよびエンハンスメントレイヤビデオコンテンツを含む、ビデオコンテンツを受信することと、ベースレイヤ内のピクチャ、および記憶された位相パラメータのセットの1または複数に基づいて、エンハンスメントレイヤ内の少なくとも1つのピクチャを予測する際に使用するための、レイヤ間参照(ILR)ピクチャを組み立てることとを行うように構成されたプロセッサを備えることができる。
前述の実施形態は、プロセッサが、ILR参照ピクチャを使用して、エンハンスメントレイヤピクチャを予測するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの記憶された1または複数のセットの各々が、ILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、ILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、ILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/またはILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報を含むことをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、ILRピクチャを組み立てる際に使用される、位相パラメータの記憶された1または複数のセットの中に属する位相パラメータの少なくとも1つのセットを示す、少なくとも1つのインデックスインジケータを受信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが、スライスセグメントヘッダ内で受信されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、受信された少なくとも1つのインデックスインジケータによって示される位相パラメータの少なくとも1つのセットに基づいて、ルーマ成分および/またはクロマ成分の少なくとも1つの再サンプリングのための位相フィルタを選択することによって、1または複数のILRピクチャを組み立てるようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが、ビデオコンテンツのスライスと関連付けられ、プロセッサが、スライスと関連付けられたインデックスインジケータに従って、ILRピクチャを組み立てる際に使用するための、受信されたビデオコンテンツのベースレイヤ内のスライスのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを調整するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、記憶された位相パラメータの前記1または複数のセットを、伝達を介して受信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、記憶された位相パラメータの前記1または複数のセットが、ピクチャパラメータセット(PPS)内で受信されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、少なくとも1つのインデックスインジケータが伝達されたかどうかを示すフラグインジケータを、伝達を介して受信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが伝達されたか、または推測されるかを示すフラグインジケータを受信することをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの推測される1または複数のセットが、以下を含むセットであること、すなわち、1または複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報が0であり、1または複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報が1である、セットであることをさらに含むことができる。
前述の実施形態の1または複数は、ベースレイヤピクチャが、インターレーススキャンされ、エンハンスメントレイヤピクチャが、プログレッシブスキャンされることをさらに含むことができる。
別の実施形態では、ベースレイヤビデオコンテンツおよびエンハンスメントレイヤビデオコンテンツを含む、ビデオコンテンツを送信するステップと、ベースレイヤ内のビデオピクチャを再サンプリングする際に使用するための、位相パラメータの1または複数のセットを、ベースレイヤ内のピクチャ、および位相パラメータのセットの1または複数に基づいて、エンハンスメントレイヤ内の少なくとも1つのピクチャを予測するための、1または複数のレイヤ間参照(ILR)ピクチャを組み立てる際にビデオデコーダによって使用するために、送信するステップとを含む、ビデオエンコーディング方法が、ビデオエンコーダにおいて実施されることができる。
前述の実施形態は、位相パラメータの記憶された1または複数のセットの各々が、ILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、ILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、ILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/またはILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報を含むことをさらに含むことができる。
前述の実施形態の1または複数は、送信される位相値のセットの数を示す数インジケータを送信するステップをさらに含むことができる。
前述の実施形態の1または複数は、ILRピクチャを組み立てる際に使用される、位相パラメータの1または複数のセットの中に属する位相パラメータの少なくとも1つのセットを示す、少なくとも1つのインデックスインジケータを送信するステップをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータは、スライスセグメントヘッダ内で送信されることをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの複数のセットが、ピクチャパラメータセット(PPS)内で送信されることをさらに含むことができる。
前述の実施形態の1または複数は、少なくとも1つのインデックスインジケータが伝達されるかどうかを示すフラグインジケータを送信するステップをさらに含むことができる。
前述の実施形態の1または複数は、ベースレイヤピクチャが、インターレーススキャンされ、エンハンスメントレイヤピクチャが、プログレッシブスキャンされることをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが伝達されるか、または推測されるかを示すフラグインジケータを送信するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの推測される1または複数のセットが、以下を含むセットであること、すなわち、1または複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報が0であり、1または複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報が1である、セットであることをさらに含むことができる。
別の実施形態では、ビデオコーディングシステムは、ビデオデコーダにおいてビデオピクチャを再サンプリングする際に使用するための、位相パラメータの複数のセットを送信することと、ベースレイヤおよびエンハンスメントレイヤを含む、ビデオコンテンツを送信することであって、各レイヤは、複数のピクチャを含む、送信することと、ベースレイヤ内のピクチャ、および位相パラメータのセットの1または複数に基づいて、エンハンスメントレイヤ内の少なくとも1つのピクチャを予測するための、1または複数のレイヤ間参照(ILR)ピクチャを組み立てる際にビデオデコーダによって使用するためのデータを送信することとを行うように構成されたプロセッサを備えることができる。
前述の実施形態は、位相パラメータの1または複数のセットの各々が、ILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、ILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、ILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/またはILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報を含むことをさらに含むことができる。
前述の実施形態の1または複数は、送信される位相値のセットの数を示す数インジケータを送信することをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、ILRピクチャを組み立てる際に使用される、位相パラメータの1または複数のセットの中に属する位相パラメータの少なくとも1つのセットを示す、少なくとも1つのインデックスインジケータを送信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、少なくとも1つのインデックスインジケータを、スライスセグメントヘッダ内で送信するように構成されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、位相パラメータの複数のセットを、ピクチャパラメータセット(PPS)内で送信するように構成されることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、少なくとも1つのインデックスインジケータが送信されるかどうかを示すフラグインジケータを送信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、ベースレイヤピクチャが、インターレーススキャンされ、エンハンスメントレイヤピクチャが、プログレッシブスキャンされることをさらに含むことができる。
前述の実施形態の1または複数は、プロセッサが、位相パラメータの1または複数のセットが伝達されるか、または推測されるかを示すフラグインジケータを送信するようにさらに構成されることをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの推測される1または複数のセットが、以下を含むセットであること、すなわち、1または複数のILR参照ピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報が0であり、1または複数のILR参照ピクチャのルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報が0であり、1または複数のILR参照ピクチャのクロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報が1である、セットであることをさらに含むことができる。
別の実施形態では、ビデオデコーディング方法は、デコーダによって、複数のレイヤのうちの第1のレイヤ、第2のレイヤ、第3のレイヤ、および第4のレイヤを含む、ビデオコンテンツを受信するステップと、デコーダによって、複数の位相パラメータセットを受信するステップと、デコーダによって、第2のレイヤから第1のレイヤを予測するために使用される、複数の位相パラメータセットのうちの1または複数の許容可能な位相パラメータセットの第1のセットを示す、第1の位相パラメータ選択情報を受信するステップと、デコーダによって、第4のレイヤから第3のレイヤを予測するために使用される、複数の位相パラメータセットのうちの1または複数の許容可能な位相パラメータセットの第2のセットを示す、第2の位相パラメータ選択情報を受信するステップと、参照レイヤおよび現時のレイヤを識別するステップであって、デコーダは、参照レイヤからピクチャをリサンプリングする、ステップと、参照レイヤおよび現時のレイヤの識別に基づいて、許容可能な位相パラメータセットの示された第1のセットまたは示された第2のセットの一方から、許容可能な位相パラメータセットのセットを選択するステップと、デコーダによって、インデックスインジケータを受信するステップと、インデックスインジケータに基づいて、許容可能な位相パラメータセットの選択されたセットから位相パラメータセットを選択するステップと、選択された位相パラメータセットに基づいて、ルーマ成分および/またはクロマ成分のいずれかのリサンプリングのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを選択するステップと、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含むことができる。
前述の実施形態は、第1のレイヤ、第2のレイヤ、第3のレイヤ、および/または第4のレイヤのいずれかが、同じレイヤであること、または異なるレイヤであることをさらに含むことができる。
前述の方法の1または複数は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを備える、ビデオデコーダにおいて実施することができる。
別の実施形態では、ビデオデコーディング方法は、デコーダによって、ビデオコンテンツの第1のスライスおよび第2のスライスを受信するステップであって、ビデオコンテンツの第1のスライスは、少なくとも、ベースレイヤ(BL)、エンハンスメントレイヤ(EL)、および位相パラメータの複数のセットの中に属する位相パラメータの1または複数のセットからなる第1のグループを示す第1の位相情報を含み、ビデオコンテンツの第2のスライスは、少なくとも、ベースレイヤ(BL)、エンハンスメントレイヤ(EL)、および位相パラメータの複数のセットの中に属する位相パラメータの1または複数のセットからなる第2のグループを示す第2の位相情報を含む、ステップと、第1のスライスおよび第2のスライスの各それぞれのスライスについて、ビデオコンテンツのそれぞれのスライス、およびそれぞれのスライスと関連付けられた受信された位相情報に基づいて、BLからレイヤ間参照(ILR)ピクチャを組み立てるステップと、組み立てられたILRピクチャまたはそれぞれのスライスと関連付けられたEL参照ピクチャの一方または両方を選択するステップと、それぞれのスライスと関連付けられた受信された位相情報、および選択されたILRピクチャまたはそれぞれのスライスと関連付けられた選択されたEL参照ピクチャの1または複数を使用して、それぞれのスライスと関連付けられたELピクチャを予測するステップとを含むことができる。
前述の実施形態は、ELピクチャを予測するステップが、受信された位相情報によって示されるphaseX情報およびphaseXC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための水平位相フィルタを選択するステップと、受信された位相情報によって示されるphaseY情報およびphaseYC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための垂直位相フィルタを選択するステップとを含むことをさらに含むことができる。
前述の実施形態の1または複数は、ELピクチャを予測するステップが、(1)ビデオコンテンツの第1のスライスのための第1の位相情報によって示されるphaseX情報およびphaseXC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための水平位相フィルタの第1のセットを、また(2)ビデオコンテンツの第2のスライスのための第2の位相情報によって示されるphaseX情報およびphaseXC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための水平位相フィルタの第2の異なるセットを選択するステップと、(1)ビデオコンテンツの第1のスライスのための第1の位相情報によって示されるphaseY情報およびphaseYC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための垂直位相フィルタの第1のセットを、また(2)ビデオコンテンツの第2のスライスのための第2の位相情報によって示されるphaseY情報およびphaseYC情報に基づいて、ルーマ成分およびクロマ成分のリサンプリングのための垂直位相フィルタの第2の異なるセットを選択するステップとを含むことをさらに含むことができる。
前述の実施形態の1または複数は、位相情報が、(1)phaseX情報、(2)phaseXC情報、(3)phaseY情報、および/または(4)phaseYC情報のいずれかをセット毎に含む、位相パラメータのセットの1または複数を含むこと、または示すことをさらに含むことができる。
前述の実施形態の1または複数は、位相情報が、(1)許容されたphaseX情報、(2)許容されたphaseXC情報、(3)許容されたphaseY情報、および/または(4)許容されたphaseYC情報のいずれかを含むことをさらに含むことができる。
前述の実施形態の1または複数は、位相情報が、位相情報のインデックス付けされた複数のセットのうちの位相情報の特定のセットを各々が示す1または複数の値を含むように、位相パラメータの複数のセットにインデックス付けを施すステップをさらに含むことができる。
前述の実施形態の1または複数は、それぞれのスライスと関連付けられた位相情報に従って、ビデオコンテンツの各スライスのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを動的に調整するステップをさらに含むことができる。
前述の方法の1または複数は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを備える、ビデオデコーダにおいて実施することができる。
別の実施形態では、2つ以上のレイヤを使用するビデオデコーディング方法は、デコーダによって、ビデオコンテンツ、位相パラメータの1または複数のセットを示すインデックス情報、およびビットストリーム内に含まれる2つ以上のレイヤのうちの少なくとも2つのレイヤを示すレイヤ情報を受信するステップと、レイヤ情報およびインデックス情報を使用して、ビデオコンテンツに基づいて、少なくとも2つのレイヤの第1の方からレイヤ間参照(ILR)ピクチャを組み立てるステップと、レイヤ情報およびインデックス情報に基づいて、選択されたILRピクチャ、少なくとも2つのレイヤの第2の方、および選択された位相パラメータの1または複数のセットを使用して、現時のピクチャを予測するステップとを含むことができる。
前述の方法は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを備える、ビデオデコーダにおいて実施することができる。
別の実施形態では、ビデオデコーディング方法は、デコーダによって、ビデオコンテンツ、および現時のピクチャを予測するために使用される位相パラメータの1または複数の許容可能なセットを示す位相パラメータ選択情報を受信するステップと、位相パラメータの許容可能なセットに基づいて、1または複数の位相フィルタを選択するステップと、現時のピクチャを予測するために、選択された位相フィルタを使用して、受信されたビデオコンテンツをアップサンプリングするステップとを含むことができる。
前述の方法は、受信された情報が、位相パラメータの複数のセットのどれが、アップサンプリングのための水平位相フィルタおよび垂直位相フィルタを導出するために許容されるかを示す、ペアにされたレイヤ情報を含むことをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの許容可能なセットが、位相パラメータの複数のセットのサブセットであり、位相パラメータの許容可能なセットは、第1のインデックスによって表され、位相パラメータの複数のセットは、第2のインデックスによって表され、パラメータ選択情報は、第1のインデックスを介した検索のための値を含み、値は、第2のインデックスを介した検索のための別の値と関連付けられたビットセグメントよりも短い長さを有するビットセグメントであることをさらに含むことができる。
前述の実施形態の1または複数は、デコーダが、テーブルにアクセスするように構成され、テーブルは、少なくとも2つにインデックスを有し、テーブルの第1のインデックスは、位相パラメータの許容可能なセットと関連付けられ、テーブルの第2のインデックスは、アップサンプリングのために使用されるレイヤと関連付けられ、方法は、第1のインデックスおよび第2のインデックスに一致する、パラメータ選択情報から導出された値に従って、テーブル内に記憶された位相パラメータの1または複数のセットを、位相パラメータの許容されたセットとして選択するステップをさらに含み、1または複数の位相フィルタを選択するステップは、位相パラメータの許容されたセットに基づいて、受信されたビデオコンテンツのアップサンプリングのための水平位相フィルタおよび/または垂直位相フィルタのいずれかを選択するステップを含み、受信されたビデオコンテンツをアップサンプリングするステップは、選択された水平位相フィルタおよび/または垂直位相フィルタを使用して、水平方向および/または垂直方向のいずれかにおいて、受信されたビデオコンテンツをアップサンプリングするステップを含むことをさらに含むことができる。
前述の実施形態の1または複数は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、デコーダにおいて具体化することができる。
別の実施形態では、ビデオをデコードする方法は、デコーダによって、現時のレイヤ、現時のレイヤの1または複数の参照レイヤ、および位相パラメータの1または複数のセットを含む、ビデオコンテンツを受信するステップと、1または複数の参照レイヤに属するビデオコンテンツ、および受信された位相パラメータの1または複数のセットに基づいて、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含むことができる。
前述の実施形態は、ILRピクチャの1または複数を使用して、現時のレイヤのピクチャを予測するステップをさらに含むことができる。
前述の実施形態の1または複数は、デコーダによって、位相パラメータの1または複数のセットの中に属する位相パラメータの少なくとも1つのセットを示すインデックスインジケータを受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが、以下のうちの少なくとも1つ、すなわち、ルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、クロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、ルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、クロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報のうちの少なくとも1つを含むことをさらに含むことができる。
前述の実施形態の1または複数は、インデックスインジケータが、スライスセグメントヘッダ内で伝達されることをさらに含むことができる。
前述の実施形態の1または複数は、1または複数のILRピクチャを組み立てるステップが、受信されたインデックスインジケータによって示される位相パラメータの少なくとも1つのセットに基づいて、ルーマ成分およびクロマ成分の少なくとも1つのリサンプリングのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを選択するステップを含むことをさらに含むことができる。
前述の実施形態の1または複数は、受信されたビデオコンテンツ内の少なくとも1つのスライスのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを、それぞれのスライスと関連付けられたインデックスインジケータに従って調整するステップをさらに含むことができる。
前述の実施形態の1または複数は、位相パラメータの1または複数のセットが、明示的に伝達される代わりに推測されることを示すフラグインジケータをさらに含むことができる。
前述の実施形態の1または複数は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて具体化することができる。
また別の実施形態では、ビデオデコーディング方法は、デコーダによって、現時のレイヤ、および現時のレイヤの1または複数の参照レイヤを含む、ビデオコンテンツを受信するステップと、デコーダによって、複数の位相パラメータセットを受信するステップと、デコーダによって、現時のレイヤの1または複数の参照レイヤのうちの第1の参照レイヤから現時のレイヤを予測するために使用される、複数の位相パラメータセットのうちの1または複数の許容可能な位相パラメータセットを示す、位相パラメータ選択情報を受信するステップと、第1の参照レイヤ、および1または複数の許容可能な受信された位相パラメータセットに基づいて、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含むことができる。
前述の実施形態は、デコーダによって、第1の参照レイヤから現時のレイヤを予測するために使用される、1または複数の許容可能な位相パラメータセットの中に属する少なくとも1つの位相パラメータセットを示す、インデックスインジケータを受信するステップをさらに含むことができる。
前述の実施形態の1または複数は、インデックスインジケータが、現時のレイヤのスライスセグメントヘッダ内で伝達されることをさらに含むことができる。
前述の実施形態の1または複数は、参照レイヤから現時のレイヤを予測するために使用される位相パラメータの1または複数の許容可能なセットを示す位相パラメータ選択情報が、現時のレイヤと参照レイヤの間でリサンプリングが必要な場合に限って、受信されることをさらに含むことができる。
前述の実施形態の1または複数は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、デコーダにおいて具体化することができる。
またさらなる実施形態では、ビデオデコーディング方法は、デコーダによって、複数のレイヤを含む、ビデオコンテンツを受信するステップと、デコーダによって、複数の位相パラメータセットを受信するステップと、デコーダによって、第2のレイヤから第1のレイヤを予測するために使用される、複数の位相パラメータセットのうちの1または複数の許容可能な位相パラメータセットの第1のセットを示す、第1の位相パラメータ選択情報を受信するステップと、デコーダによって、第4のレイヤから第3のレイヤを予測するために使用される、複数の位相パラメータセットのうちの1または複数の許容可能な位相パラメータセットの第2のセットを示す、第2の位相パラメータ選択情報を受信するステップと、参照レイヤおよび現時のレイヤを識別するステップであって、デコーダは、参照レイヤからピクチャをリサンプリングする、ステップと、参照レイヤおよび現時のレイヤの識別に基づいて、許容可能な位相パラメータセットの第1のセットまたは第2のセットのどちらかから、許容可能な位相パラメータセットのセットを選択するステップと、デコーダによって、インデックスインジケータを受信するステップと、インデックスインジケータに基づいて、許容可能な位相パラメータセットのセットから位相パラメータセットを選択するステップと、選択された位相パラメータセットに基づいて、ルーマ成分およびクロマ成分のいずれかのリサンプリングのための水平位相フィルタおよび垂直位相フィルタの少なくとも1つを選択するステップと、1または複数のレイヤ間参照(ILR)ピクチャを組み立てるステップとを含むことができる。
前述の実施形態は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、デコーダにおいて具体化することができる。
またさらなる一実施形態では、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて実施することもできる、ビデオデコーディング方法は、デコーダによって、少なくとも、ベースレイヤ(BL)、エンハンスメントレイヤ(EL)、およびBLがインターレースフォーマットにあるかどうかを示すシーケンスインジケータと、BLとELの間の整列を示す整列インジケータとを含む、インジケータ情報を含む、ビデオコンテンツを受信するステップと、受信されたインジケータ情報に基づいて、BLからレイヤ間参照(ILR)ピクチャを組み立てるステップと、処理されたILRピクチャまたはEL参照ピクチャの一方または両方を選択するステップと、選択されたILRピクチャまたはEL参照ピクチャの1または複数を使用して、現時のELピクチャを予測するステップとを含むことができる。
前述の実施形態は、ILRピクチャを組み立てるステップが、(1)現時のレイヤがELであること、(2)ELがレイヤ間サンプル予測のためにBLを使用すること、および/または(3)BLが少なくとも1つのコーディングされたフィールドを含むことを条件とするインジケータ情報に基づくことをさらに含むことができる。
前述の実施形態は、メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、デコーダにおいて具体化することができる。
メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオコーダにおいて実施することもできる、別の実施形態では、ビデオコーディング方法は、ビデオ信号を受信するステップと、エンコーダによって、ビデオ信号から、ベースレイヤ(BL)およびエンハンスメントレイヤ(EL)を含む少なくとも2つのレイヤを生成するステップと、エンコーダによって、BLがインターレースフォーマットで生成されているかどうかを示すシーケンスインジケータ、およびBLとELの間の整列を示す整列インジケータを、インジケータ情報として設定するステップと、エンコーダによって、少なくとも2つのレイヤ、および設定されたインジケータ情報を含む、ビデオコンテンツを送信するステップと、を含むことができる。
前述の実施形態は、インジケータ情報を設定するステップ、および送信するステップが、(1)現時のレイヤがELであること、(2)ELがレイヤ間サンプル予測のためにBLを使用すること、および/または(3)BLが少なくとも1つのコーディングされたフィールドを含むことを条件とすることをさらに含むことができる。
前述の実施形態の1または複数は、シーケンスインジケータ情報は、ビデオパラメータセット内に含まれ、整列インジケータは、スライスセグメントヘッダ内に含まれることをさらに含むことができる。
メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて実施することもできる、別の実施形態では、ビデオデコーディング方法は、デコーダによって、少なくともインターレースベースレイヤ(IBL)、エンハンスメントレイヤ(EL)、および少なくともIBLのためのフィールドパリティインジケータを含む、ビデオコンテンツを受信するステップと、IBLのための受信されたフィールドパリティインジケータに基づいて、IBLをアップサンプリングするステップと、アップサンプリングされたIBLを使用して、レイヤ間参照(ILR)ピクチャを生成するステップと、生成されたILRピクチャを使用して、現時のプログレッシブELピクチャを予測するステップとを含むことができる。
前述の実施形態は、ルーマサンプルおよび/またはクロマサンプルについてのILRピクチャを生成するステップが、受信されたフィールドパリティが第1の値を示すという条件において、BL内のトップフィールドをアップサンプリングするステップと、受信されたフィールドパリティが第2の値を示すという条件において、BL内のボトムフィールドをアップサンプリングするステップとを含むことをさらに含むことができる。
前述の実施形態の1または複数は、BL内のトップフィールドをアップサンプリングするステップが、コピーによって、アップサンプリングされたIBLの偶数ラインまたは奇数ラインのどちらかの第1のセットを導出するステップと、垂直補間によって、アップサンプリングされたIBLの偶数ラインまたは奇数ラインの残りの第2のセットを導出するステップとを含むことをさらに含むことができる。
前述の実施形態の1または複数は、表5および表6内の値に従った位相8フィルタを使用して、垂直補間を実行するステップをさらに含むことができる。
前述の実施形態の1または複数は、BL内のボトムフィールドをアップサンプリングするステップが、コピーによって、アップサンプリングされたIBLの偶数ラインまたは奇数ラインのどちらかの第1のセットを導出するステップと、垂直補間によって、アップサンプリングされたIBLの偶数ラインまたは奇数ラインの残りの第2のセットを導出するステップとを含むことをさらに含むことができる。
前述の実施形態の1または複数は、表5および表6内の値に従った位相8フィルタを使用して、垂直補間を実行するステップをさらに含むことができる。
前述の実施形態の1または複数は、ビデオ信号を受信するステップが、クロマサンプルの位置を示すクロマ位置情報を受信するステップをさらに含み、方法が、クロマ位置情報に基づいて、クロマアップサンプリングのための位相フィルタを導出するステップさらに含むことをさらに含むことができる。
メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて実施することもできる、別の実施形態では、ビデオデコーディング方法は、デコーダによって、少なくともインターレースベースレイヤ(IBL)およびエンハンスメントレイヤ(EL)を含む、ビデオコンテンツを受信するステップであって、IBLは、BLフレームを含み、各BLフレームは、トップフィールドおよび対応するボトムフィールドのセットによって定義され、各BLフレームは、マクロブロック(MB)がフィールドMBとしてコーディングされているBLフレームの1つの部分と、MBがフレームMBとしてコーディングされているBLフレームの残りの部分とを含む、ステップと、フレームMBと関連付けられたBLフレームのピクセルをコピーして、第1のILRピクチャの第1の部分を生成すること、およびフィールドMBと関連付けられたBLフレームのトップフィールドのピクセルについて、垂直方向において2倍アップサンプリングを実行して、第1のILRピクチャの残りの部分を生成することによって、インターレースBLから第1のレイヤ間参照(ILR)ピクチャを組み立てるステップと、第1のILRピクチャを使用して、第1のELピクチャを予測するステップとを含むことができる。
前述の実施形態は、フレームMBと関連付けられたBLフレームのピクセルをコピーして、第2のILRピクチャの第1の部分を生成すること、およびフィールドMBと関連付けられたBLフレームのボトムフィールドのピクセルについて、垂直方向において2倍アップサンプリングを実行して、第2のILRピクチャの残りの部分を生成することによって、インターレースBLから一連のILRピクチャ内の第2の連続したILRピクチャをさらに組み立てるステップと、第2のILRピクチャを使用して、第2の連続したELピクチャを予測するステップとをさらに含むことができる。
メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて実施することもできる、別の実施形態では、ビデオデコーディング方法は、デコーダによって、少なくともインターレースベースレイヤ(IBL)およびエンハンスメントレイヤ(EL)を含む、ビデオコンテンツを受信するステップであって、IBLは、BLフレームを含み、各BLフレームは、トップフィールドおよび対応するボトムフィールドのセットによって定義され、各BLフレームは、動きに基づいてコーディングされた部分を含む、ステップと、動きなしと関連付けられたBLフレームのピクセルをコピーして、第1のILRピクチャの第1の部分を生成すること、および動きと関連付けられたBLフレームのトップフィールドのピクセルについて、垂直方向において2倍アップサンプリングを実行して、第1のILRピクチャの残りの部分を生成することによって、インターレースBLから第1のレイヤ間参照(ILR)ピクチャを組み立てるステップと、第1のILRピクチャを使用して、第1のELピクチャを予測するステップとを含むことができる。
前述の実施形態は、動きなしと関連付けられたBLフレームのピクセルをコピーして、第2のILRピクチャの第1の部分を生成すること、および動きと関連付けられたボトムフィールドのピクセルについて、垂直方向において2倍アップサンプリングを実行して、第2のILRピクチャの残りの部分を生成することによって、IBLから一連のILRピクチャ内の第2の連続したILRピクチャをさらに組み立てるステップと、第2のILRピクチャを使用して、第2のELピクチャを予測するステップとをさらに含むことができる。
前述の実施形態は、エンコーダから、動きと関連付けられたBLフレームのピクセルに関する情報を獲得するステップをさらに含むことができる。
前述の実施形態の1または複数は、事前決定された基準に基づいて、動きと関連付けられたBLフレームのピクセルに関する情報を決定するステップをさらに含むことができる。
前述の実施形態の1または複数は、動きと関連付けられたBLフレームのピクセルに関する情報を決定するステップが、複数のリージョン内のBLフレームのトップフィールドと対応するボトムフィールドとの間の運動の量を、BLフレームのトップフィールドと対応するボトムフィールドとの間の絶対差の和(SAD)および/または平方誤差の和(SSE)のいずれかの、閾値との比較を使用して、決定するステップを含むことをさらに含むことができる。
メモリ、および/または列挙されたアクションを実行するように構成されたプロセッサを有する、ビデオデコーダにおいて実施することもできる、別の実施形態では、ビデオデコーディング方法は、デコーダによって、少なくともインターレースベースレイヤ(IBL)およびエンハンスメントレイヤ(EL)を含む、ビデオコンテンツを受信するステップであって、IBLは、1または複数の連続したトップフィールド、および1または複数の連続したボトムフィールドを含む、ステップと、1または複数のトップフィールドと1または複数のボトムフィールドを組み合わせて、ILRピクチャを生成することによって、IBLからレイヤ間参照(ILR)ピクチャを組み立てるステップと、生成されたILRピクチャおよびエンハンスメントレイヤを使用して、現時のプログレッシブELピクチャを予測するステップとを含むことができる。
前述の実施形態は、1または複数のトップフィールドおよび1または複数のボトムフィールドを組み合わせて、ILRピクチャを生成することが、(1)第1のフィールドに属するコンテンツをILRピクチャの偶数ラインもしくは奇数ラインの一方にコピーし、第2のフィールドに属するコンテンツをILRピクチャの偶数ラインもしくは奇数ラインの残りの一方にコピーすること、(2)第1のフィールドに属するコンテンツを第2のフィールドに属するコンテンツと平均して、もしくは加重平均して、ILRピクチャのラインを生成すること、(3)動き補償を使用して、第1のフィールドに属するコンテンツを第2のフィールドに属するコンテンツと組み合わせること、(4)第1のフィールド、第2のおよび少なくとも1つのさらなるフィールドに属するコンテンツを加重し、組み合わせて、ILRピクチャのラインを生成すること、または(5)第1のフィールドに対する第2のフィールドおよび第3のフィールドの動き補償を使用して、ILRピクチャのラインを生成することであって、ILRピクチャの各エリアについての動き補償されたデータは、どの1つもしくは複数が第1のフィールド内のデータとのより良い整列を提供するかに応じて、第2のフィールドもしくは第3のフィールドから選択される、生成することのいずれかを含むことをさらに含むことができる。
代表的なネットワークおよびハードウェアインフラストラクチャ
本明細書で説明される代表的なシステムおよび方法は、有線および無線ネットワークを含む通信のすべてのタイプを含む、ビデオ通信によく適したものであることができる。無線デバイスおよびインフラストラクチャの様々なタイプの概要が、図15A〜図15Eに関して提供され、ネットワークの様々な要素が、本明細書で説明されたシステムおよび方法を利用することができる。簡潔にするために、無線ネットワークが説明されるが、当業者が理解するように、様々な実施形態は、とりわけ、有線ネットワーク、(例えば、有線と無線の)混合ネットワーク、および/またはアドホックネットワークにも同様に等しく適用される。より具体的には、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、無線ルータ、無線送受信ユニット(WTRU)を含むメディアアウェアネットワーク要素(MANE)などの基地局は、本明細書で説明された方法を利用して、コーディングされたビデオデータを1つのエンティティから別のエンティティに伝えることができる。
図15Aは、1または複数の開示される実施形態を実施することができる例示的な通信システム400の図である。通信システム400は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとすることができる。通信システム400は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム400は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)など、1または複数のチャネルアクセス方法を利用することができる。
図15Aに示されるように、通信システム400は、無線送受信ユニット(WTRU)402a、402b、402c、402d、無線アクセスネットワーク(RAN)404、コアネットワーク406、公衆交換電話網(PSTN)408、インターネット410、および他のネットワーク412を含むことができるが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU402a、402b、402c、402dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスとすることができる。例を挙げると、WTRU402a、402b、402c、402dは、無線信号を送信および/または受信するように構成することができ、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品、または圧縮されたビデオ通信を受信および処理することが可能な他の任意の端末を含むことができる。
通信システム400は、基地局414aおよび基地局414bも含むことができる。基地局414a、414bの各々は、コアネットワーク406、インターネット410、および/またはネットワーク412などの1または複数の通信ネットワークへのアクセスを容易にするために、WTRU402a、402b、402c、402dの少なくとも1つと無線でインターフェースを取るように構成された、任意のタイプのデバイスとすることができる。例を挙げると、基地局414a、414bは、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、無線ルータなどとすることができる。基地局414a、414bは各々、単一の要素として示されているが、基地局414a、414bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
基地局414aは、RAN404の部分とすることができ、RAN404は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局414aおよび/または基地局414bは、セル(図示されず)と呼ばれることがある特定の地理的領域内で、無線信号を送信および/または受信するように構成することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局414aに関連付けられたセルは、3つのセクタに分割することができる。したがって、一実施形態では、基地局414aは、送受信機を3つ、すなわち、セルのセクタ毎に1つずつ含むことができる。別の実施形態では、基地局414aは、多入力多出力(MIMO)技術を利用することができ、したがって、セルのセクタ毎に複数の送受信機を利用することができる。
基地局414a、414bは、エアインターフェース416上で、WTRU402a、402b、402c、402dの1または複数と通信することができ、エアインターフェース416は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)とすることができる。エアインターフェース416は、任意の適切な無線アクセス技術(RAT)を使用して確立することができる。
より具体的には、上で言及されたように、通信システム400は、多元接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなどの、1または複数のチャネルアクセス方式を利用することができる。例えば、RAN404内の基地局414a、およびWTRU402a、402b、402cは、広帯域CDMA(WCDMA(登録商標))を使用してエアインターフェース416を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
別の実施形態では、基地局414a、およびWTRU402a、402b、402cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用してエアインターフェース416を確立することができる、進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実施することができる。
他の実施形態では、基地局414a、およびWTRU402a、402b、402cは、IEEE802.16(すなわち、マイクロ波アクセス用の世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM(登録商標))、GSMエボリューション用の高速データレート(EDGE)、GSM EDGE(GERAN)などの無線技術を実施することができる。
図15Aの基地局414bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントとすることができ、職場、家庭、乗物、キャンパスなどの局所的エリアにおける無線接続性を容易にするために、任意の適切なRATを利用することができる。一実施形態では、基地局414b、およびWTRU402c、402dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。別の実施形態では、基地局414b、およびWTRU402c、402dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態では、基地局414b、およびWTRU402c、402dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図15Aに示されるように、基地局414bは、インターネット410への直接的な接続を有することがある。したがって、基地局414bは、コアネットワーク406を介して、インターネット410にアクセスする必要がないことがある。
RAN404は、コアネットワーク406と通信することができ、コアネットワーク406は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスをWTRU402a、402b、402c、402dの1または複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク406は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、かつ/またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。図15Aには示されていないが、RAN404および/またはコアネットワーク406は、RAN404と同じRATまたは異なるRATを利用する他のRANと直接的または間接的に通信することができることが理解されよう。例えば、E−UTRA無線技術を利用することができるRAN404に接続するのに加えて、コアネットワーク406は、GSM無線技術を利用する別のRAN(図示されず)とも通信することができる。
コアネットワーク406は、PSTN408、インターネット410、および/または他のネットワーク412にアクセスするための、WTRU402a、402b、402c、402dのためのゲートウェイとしての役割も果たすことができる。PSTN408は、基本電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット410は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことができる。ネットワーク412は、他のサービスプロバイダによって所有および/または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク412は、RAN404と同じRATまたは異なるRATを利用することができる1または複数のRANに接続された、別のコアネットワークを含むことができる。
通信システム400内のWTRU402a、402b、402c、402dのいくつかまたはすべては、マルチモード機能を含むことができ、すなわち、WTRU402a、402b、402c、402dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、図15Aに示されたWTRU402cは、セルラベースの無線技術を利用することができる基地局414aと通信するように、またIEEE802無線技術を利用することができる基地局414bと通信するように構成することができる。
図15Bは、例示的なWTRU402のシステム図である。図15Bに示されるように、WTRU402は、プロセッサ418と、送受信機420と、送信/受信要素422と、スピーカ/マイクロフォン424と、キーパッド426と、ディスプレイ/タッチパッド428と、着脱不能メモリ430と、着脱可能メモリ432と、電源434と、全地球測位システム(GPS)チップセット436と、他の周辺機器438とを含むことができる。WTRU402は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
プロセッサ418は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、複数のマイクロプロセッサ、DSPコアと連携する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、状態機械などとすることができる。プロセッサ418は、信号コーディング、データ処理、電力制御、入出力処理、および/またはWTRU402が無線環境で動作することを可能にする他の任意の機能を実行することができる。プロセッサ418は、送受信機420に結合することができ、送受信機420は、送信/受信要素422に結合することができる。図15Bは、プロセッサ418と送受信機420とを別々の構成要素として示しているが、プロセッサ418および送受信機420は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
送信/受信要素422は、エアインターフェース416上で、基地局(例えば、基地局414a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態では、送信/受信要素422は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。別の実施形態では、送信/受信要素422は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器とすることができる。また別の実施形態では、送信/受信要素422は、RF信号と光信号の両方を送信および受信するように構成することができる。送信/受信要素422は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが理解されよう。
加えて、図15Bでは、送信/受信要素422は単一の要素として示されているが、WTRU402は、任意の数の送信/受信要素422を含むことができる。より具体的には、WTRU402は、MIMO技術を利用することができる。したがって、一実施形態では、WTRU402は、エアインターフェース416上で無線信号を送信および受信するための2つ以上の送信/受信要素422(例えば、複数のアンテナ)を含むことができる。
送受信機420は、送信/受信要素422によって送信される信号を変調し、送信/受信要素422によって受信された信号を復調するように構成することができる。上で言及されたように、WTRU402は、マルチモード機能を有することができる。したがって、送受信機420は、WTRU402が、例えば、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
WTRU402のプロセッサ418は、スピーカ/マイクロフォン424、キーパッド426、および/またはディスプレイ/タッチパッド428(例えば、液晶表示(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ418は、スピーカ/マイクロフォン424、キーパッド426、および/またはディスプレイ/タッチパッド428にユーザデータを出力することもできる。加えて、プロセッサ418は、着脱不能メモリ430および/または着脱可能メモリ432など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。着脱不能メモリ430は、ランダムアクセスメモリ(RAM)、リードオンリーfメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。着脱可能メモリ432は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態では、プロセッサ418は、WTRU402上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ(図示されず)上などに配置されたメモリから情報を入手することができ、それらにデータを記憶することができる。
プロセッサ418は、電源434から電力を受け取ることができ、WTRU402内の他の構成要素への電力の分配および/または制御を行うように構成することができる。電源434は、WTRU402に給電するための任意の適切なデバイスとすることができる。例えば、電源434は、1または複数の乾電池(例えば、ニッケル−カドミウム(NiCd)、ニッケル−亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含むことができる。
プロセッサ418は、GPSチップセット436にも結合することができ、GPSチップセット436は、WTRU402の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成することができる。GPSチップセット436からの情報に加えて、またはその代わりに、WTRU402は、基地局(例えば、基地局414a、414b)からエアインターフェース416上で位置情報を受信することができ、かつ/または2つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定することができる。WTRU402は、実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得することができることが理解されよう。
プロセッサ418は、他の周辺機器438にさらに結合することができ、他の周辺機器438は、追加的な特徴、機能、および/または有線もしくは無線接続性を提供する、1または複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器438は、加速度計、eコンパス、衛星送受信機、(写真またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。
図15Cは、実施形態による、RAN404およびコアネットワーク406のシステム図である。上で言及されたように、RAN404は、UTRA無線技術を利用して、エアインターフェース416上でWTRU402a、402b、402cと通信することができる。RAN404は、コアネットワーク406とも通信することができる。図15Cに示されるように、RAN404は、ノードB440a、440b、440cを含むことができ、ノードB440a、440b、440cは各々、エアインターフェース416上でWTRU402a、402b、402cと通信するための1または複数の送受信機を含むことができる。ノードB440a、440b、440cは各々、RAN404内の特定のセル(図示されず)に関連付けることができる。RAN404は、RNC442a、442bも含むことができる。RAN404は、実施形態との整合性を保ちながら、任意の数のノードBおよびRNCを含むことができることが理解されよう。
図15Cに示されるように、ノードB440a、440bは、RNC442aと通信することができる。加えて、ノードB140cは、RNC442bと通信することができる。ノードB440a、440b、440cは、Iubインターフェースを介して、それぞれのRNC442a、442bと通信することができる。RNC442a、442bは、Iurインターフェースを介して、互いに通信することができる。RNC442a、442bの各々は、それが接続されたそれぞれのノードB440a、440b、440cを制御するように構成することができる。加えて、RNC442a、442bの各々は、アウタループ電力制御、負荷制御、アドミッションコントロール、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化など、他の機能を実施またはサポートするように構成することができる。
図15Cに示されるコアネットワーク406は、メディアゲートウェイ(MGW)444、モバイル交換センタ(MSC)446、サービングGPRSサポートノード(SGSN)448、および/またはゲートウェイGPRSサポートノード(GGSN)450を含むことができる。上記の要素の各々は、コアネットワーク406の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
RAN404内のRNC442aは、IuCSインターフェースを介して、コアネットワーク406内のMSC446に接続することができる。MSC446は、MGW444に接続することができる。MSC446およびMGW444は、PSTN408などの回線交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cと従来の陸線通信デバイスの間の通信を容易にすることができる。
RAN404内のRNC442aは、IuPSインターフェースを介して、コアネットワーク406内のSGSN448にも接続することができる。SGSN448は、GGSN450に接続することができる。SGSN448およびGGSN450は、インターネット410などのパケット交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cとIP対応デバイスの間の通信を容易にすることができる。
上で言及されたように、コアネットワーク406は、ネットワーク412にも接続することができ、ネットワーク412は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図15Dは、別の実施形態による、RAN404およびコアネットワーク406のシステム図である。上で言及されたように、RAN404は、エアインターフェース416上でWTRU402a、402b、402cと通信するために、E−UTRA無線技術を利用することができる。RAN404は、コアネットワーク406とも通信することができる。
RAN404は、eノードB460a、460b、460cを含むことができるが、RAN404は、実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB460a、460b、460cは、各々が、エアインターフェース416上でWTRU402a、402b、402cと通信するための1または複数の送受信機を含むことができる。一実施形態では、eノードB460a、460b、460cは、MIMO技術を実施することができる。したがって、eノードB460aは、例えば、複数のアンテナを使用して、WTRU402aに無線信号を送信し、かつWTRU402aから無線信号を受信することができる。
eノードB460a、460b、460cの各々は、特定のセル(図示されず)に関連付けることができ、無線リソース管理決定、ハンドオーバ決定、アップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成することができる。図15Dに示されるように、eノードB460a、460b、460cは、X2インターフェース上で互いに通信することができる。
図15Dに示されるコアネットワーク406は、モビリティ管理ゲートウェイ(MME)462、サービングゲートウェイ464、およびパケットデータネットワーク(PDN)ゲートウェイ466を含むことができる。上記の要素の各々は、コアネットワーク406の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
MME462は、S1インターフェースを介して、RAN404内のeノードB460a、460b、460cの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、MME462は、WTRU402a、402b、402cのユーザの認証、ベアラアクティブ化/非アクティブ化、WTRU402a、402b、402cの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。MME462は、RAN404とGSMまたはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能も提供することができる。
サービングゲートウェイ464は、S1インターフェースを介して、RAN404内のeノードB460a、460b、460cの各々に接続することができる。サービングゲートウェイ464は、一般に、ユーザデータパケットのWTRU402a、402b、402cへの/からの経路選択および転送を行うことができる。サービングゲートウェイ464は、eノードB間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがWTRU402a、402b、402cに利用可能な場合に行うページングのトリガ、WTRU402a、402b、402cのコンテキストの管理および記憶など、他の機能も実行することができる。
サービングゲートウェイ464は、PDNゲートウェイ466にも接続することができ、PDNゲートウェイ466は、インターネット410などのパケット交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cとIP対応デバイスの間の通信を容易にすることができる。
コアネットワーク406は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク406は、PSTN408などの回線交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cと従来の陸線通信デバイスの間の通信を容易にすることができる。例えば、コアネットワーク406は、コアネットワーク406とPSTN408の間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはIPゲートウェイと通信することができる。加えて、コアネットワーク406は、ネットワーク412へのアクセスをWTRU402a、402b、402cに提供することができ、ネットワーク412は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図15Eは、別の実施形態による、RAN404およびコアネットワーク406のシステム図である。RAN404は、IEEE802.16無線技術を利用して、エアインターフェース416上でWTRU402a、402b、402cと通信する、アクセスサービスネットワーク(ASN)とすることができる。以下でさらに説明されるように、WTRU402a、402b、402c、RAN404、およびコアネットワーク406の異なる機能エンティティ間の通信リンクは、参照点として定義することができる。
図15Eに示されるように、RAN404は、基地局470a、470b、470cと、ASNゲートウェイ472とを含むことができるが、RAN404は、実施形態との整合性を保ちながら、任意の数の基地局とASNゲートウェイとを含むことができることが理解されよう。基地局470a、470b、470cは、各々が、RAN404内の特定のセル(図示されず)に関連付けることができ、各々が、エアインターフェース416上でWTRU402a、402b、402cと通信するための1または複数の送受信機を含むことができる。一実施形態では、基地局470a、470b、470cは、MIMO技術を実施することができる。したがって、基地局470aは、例えば、複数のアンテナを使用して、WTRU402aに無線信号を送信し、WTRU402aから無線信号を受信することができる。基地局470a、470b、470cは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)方針実施などの、モビリティ管理機能も提供することができる。ASNゲートウェイ472は、トラフィック集約ポイントとしての役割を果たすことができ、ページング、加入者プロファイルのキャッシング、コアネットワーク406への経路選択などを担うことができる。
WTRU402a、402b、402cとRAN404の間のエアインターフェース416は、IEEE802.16仕様を実施する、R1参照点として定義することができる。加えて、WTRU402a、402b、402cの各々は、コアネットワーク406との論理インターフェース(図示されず)を確立することができる。WTRU402a、402b、402cとコアネットワーク406の間の論理インターフェースは、R2参照点として定義することができ、R2参照点は、認証、認可、IPホスト構成管理、および/またはモビリティ管理のために使用することができる。
基地局470a、470b、470cの各々の間の通信リンクは、WTRUハンドオーバおよび基地局間でのデータの転送を容易にするためのプロトコルを含む、R8参照点として定義することができる。基地局470a、470b、470cとASNゲートウェイ472の間の通信リンクは、R6参照点として定義することができる。R6参照点は、WTRU402a、402b、402cの各々に関連付けられたモビリティイベントに基づいたモビリティ管理を容易にするためのプロトコルを含むことができる。
図15Eに示されるように、RAN404は、コアネットワーク406に接続することができる。RAN404とコアネットワーク406の間の通信リンクは、例えば、データ転送およびモビリティ管理機能を容易にするためのプロトコルを含む、R3参照点として定義することができる。コアネットワーク406は、モバイルIPホームエージェント(MIP−HA)474と、認証認可課金(AAA)サーバ476と、ゲートウェイ478とを含むことができる。上記の要素の各々は、コアネットワーク406の部分として示されているが、これらの要素は、どの1つをとっても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
MIP−HA474は、IPアドレス管理を担うことができ、WTRU402a、402b、402cが、異なるASNの間で、および/または異なるコアネットワークの間でローミングを行うことを可能にすることができる。MIP−HA474は、インターネット410などのパケット交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cとIP対応デバイスの間の通信を容易にすることができる。AAAサーバ476は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ478は、他のネットワークとの網間接続を容易にすることができる。例えば、ゲートウェイ478は、PSTN408などの回線交換ネットワークへのアクセスをWTRU402a、402b、402cに提供して、WTRU402a、402b、402cと従来の陸線通信デバイスの間の通信を容易にすることができる。加えて、ゲートウェイ478は、ネットワーク412へのアクセスをWTRU402a、402b、402cに提供し、ネットワーク412は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
図15Eには示されていないが、RAN404は、他のASNに接続することができ、コアネットワーク406は、他のコアネットワークに接続することができることが理解されよう。RAN404と他のASNの間の通信リンクは、R4参照点として定義することができ、R4参照点は、RAN404と他のASNの間で、WTRU402a、402b、402cのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク406と他のコアネットワークの間の通信リンクは、R5参照点として定義することができ、R5参照は、ホームコアネットワークと在圏コアネットワークの間の網間接続を容易にするためのプロトコルを含むことができる。
その他もろもろ
上で説明された方法、装置、およびシステムの変形が、本発明の範囲から逸脱することなく可能である。適用することができる多種多様な実施形態に鑑みて、説明された実施形態は、例示的なものにすぎず、以下の特許請求の範囲を限定すると解釈されるべきではないことを理解すべきである。例えば、本明細書で説明された例示的な実施形態は、ハンドヘルドデバイスを含む。
本開示のどこにおいても、ある代表的な実施形態を、選択的に使用すること、または他の代表的な実施形態と組み合わせて使用することができることを、当業者は理解している。
適切なプロセッサは、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1もしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および/または状態機械を含む。
ソフトウェアと連携するプロセッサは、無線送受信ユニット(WTRU)、ユーザ機器(UE)、端末、基地局、モビリティ管理エンティティ(MME)もしくは進化型パケットコア(EPC)、または任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために、使用することができる。WTRUは、ハードウェア、および/またはソフトウェア無線(SDR)を含むソフトウェアで実施されるモジュール、ならびにカメラ、ビデオカメラモジュール、ビデオフォン、スピーカフォン、バイブレーションデバイス、スピーカ、マイクロフォン、テレビジョン送受信機、ハンズフリーヘッドセット、キーボード、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、近距離無線通信(NFC)モジュール、液晶表示(LCD)ディスプレイユニット、有機発光ダイオード(OLED)ディスプレイユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、および/または無線ローカルエリアネットワーク(WLAN)もしくは超広帯域(UWB)モジュールなど、他の構成要素と関連して使用することができる。本発明は、ビデオエンコーディングおよびデコーディング方法、装置、およびシステムに関して説明されたが、それらは、マイクロプロセッサ/汎用コンピュータ(図示されず)上においてソフトウェアで実施されることが企図されている。ある実施形態では、様々な構成要素の機能の1または複数は、汎用コンピュータを制御するソフトウェアで実施することができる。
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で、または他の特徴および要素との任意の組み合わせで使用することができることを、当業者は理解するであろう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによる実行のために、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、コンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定することなく、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにCD−ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと連携するプロセッサは、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために、使用することができる。
さらに、上で説明された実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを含む他のデバイスが、言及された。これらのデバイスは、少なくとも1つの中央処理装置(「CPU」)およびメモリを含むことができる。コンピュータプログラミング分野の当業者の慣例によれば、動作に対する言及、および操作または命令のシンボリック表現は、様々なCPUおよびメモリによって実行することができる。そのような動作、および操作または命令は、「実行される」、「コンピュータ実行される」、または「CPU実行される」と言われることがある。
動作、およびシンボリックに表現された操作または命令は、CPUによる電気信号の操作を含む。電気システムは、結果として生じる電気信号の変換または変形、およびメモリシステム内のメモリロケーションにおけるデータビットの維持を引き起こして、それによってCPUの動作を再構成または他の方法で変更することができる、ならびに信号の他の処理を引き起こすことができる、データビットを表す。データビットが維持されるメモリロケーションは、データビットに対応する、またはデータビットを表す、特定の電気的、磁気的、光学的、または有機的特性を有する、物理的ロケーションである。例示的な実施形態は、上で言及されたプラットフォームまたはCPUに限定されないこと、および他のプラットフォームおよびCPUも、説明された方法をサポートすることができることを理解されたい。
データビットは、磁気ディスク、光ディスク、およびCPUによって可読な他の任意の揮発性(例えば、ランダムアクセスメモリ(「RAM」))または不揮発性(例えば、リードオンリーメモリ(「ROM」))大容量記憶システムを含む、コンピュータ可読媒体上にも維持することができる。コンピュータ可読媒体は、処理システム上に排他的に存在する、または処理システムから見てローカルもしくはリモートであることができる複数の相互接続された処理システムの間に分散された、協力するまたは相互接続されたコンピュータ可読媒体を含むことができる。実施形態は、上で言及されたメモリに限定されないこと、および他のプラットフォームおよびメモリも、説明された方法をサポートすることができることを理解されたい。
本出願の説明において使用された要素、動作、または命令は、明示的にそうと説明されていない限り、本発明にとって不可欠または必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」の各々は、1または複数のアイテムを含むことが意図されている。ただ1つのアイテムが意図されている場合、「単一の」という表現または類似の言葉が使用される。さらに、本明細書で使用される場合、複数のアイテムおよび/またはアイテムの複数のカテゴリの列挙が後に続く「〜のいずれか」という表現は、アイテムおよび/またはアイテムのカテゴリ「のいずれか」、「の任意の組み合わせ」、「の任意の複数」、および/または「の複数の任意の組み合わせ」を、それだけで、または他のアイテムおよび/もしくはアイテムの他のカテゴリと関連して、含むことが意図されている。さらに、本明細書で使用される場合、「セット」という語は、ゼロを含む任意の数のアイテムを含むことが意図されている。さらに、本明細書で使用される場合、「数」という語は、ゼロを含む任意の数を含むことが意図されている。
さらに、特許請求の範囲は、そうした意図があると述べられていない限り、説明された順序または要素に限定されるものとして読まれるべきではない。加えて、いずれの請求項における「手段」という語の使用も、合衆国法典第35巻、第112条、第6段落を行使することを意図しており、「手段」という語を含まない請求項はいずれも、そのようなことを意図していない。
以下の参考文献の各々の内容は、参照により本明細書に組み込まれる。
(1)非特許文献2を参照。
(2)非特許文献3を参照。
(3)非特許文献4を参照。
(4)非特許文献5を参照。
(5)非特許文献6を参照。
(6)非特許文献7を参照。
(7)非特許文献8を参照。
(8)非特許文献9を参照。
(9)非特許文献10を参照。
(10)非特許文献11を参照。
(11)非特許文献12を参照。
(12)非特許文献13を参照。
(13)「Codec Architecture for Multiple Layer Video Coding」と題する、特許文献2を参照。
(14)「Method and Apparatus of Motion Vector Prediction for Scalable Video Coding」と題する、特許文献3を参照。
(15)非特許文献14を参照。
(16)非特許文献15を参照。
(17)非特許文献16を参照。
(18)非特許文献17を参照。
(19)非特許文献18を参照。
(20)非特許文献19を参照。
(21)非特許文献20を参照。
(22)非特許文献21を参照。
(23)非特許文献22を参照。
(24)非特許文献23を参照。
(25)非特許文献24を参照。
(26)非特許文献25を参照。
(27)2013年4月の「Upsampling based on sampling grid to align spatial layers in multi−layer video coding」と題する、特許文献1を参照。
加えて、本発明は、本明細書において、特定の実施形態を参照して図説または説明されたが、示された詳細に本発明が限定されることは、意図されていない。むしろ、特許請求の範囲の均等物の範囲および領域内で、本発明から逸脱することなく、詳細において様々な変更を行うことができる。

Claims (24)

  1. ビデオデコーダにおいて実施されるビデオデコーディング方法であって、
    トップフィールドピクチャおよびボトムフィールドピクチャを有するインターレースされたフィールドピクチャを含むベースレイヤビデオコンテンツと、プログレッシブフレームピクチャを含むエンハンスメントレイヤビデオコンテンツとを含む、ビデオ信号を受信するステップと、
    ビデオピクチャをリサンプリングするのに使用するクロスレイヤ位相整列パラメータの複数のセットをストアするステップと、
    ストアされたクロスレイヤ位相整列パラメータの前記複数のセットの第1のセットを使用して、トップフィールドピクチャをリサンプリングすること、および、ストアされたクロスレイヤ位相整列パラメータの前記複数のセットの第2のセットを使用して、ボトムフィールドピクチャをリサンプリングすることによって、前記ベースレイヤ内のフィールドピクチャに基づいて、前記エンハンスメントレイヤ内の少なくとも1つのプログレッシブフレームピクチャを予測する際に使用するための、1または複数のプログレッシブフレームレイヤ間参照(ILR)ピクチャを組み立てるステップと、
    前記ILRピクチャを使用して、エンハンスメントレイヤピクチャを予測するステップと
    を備えることを特徴とする方法。
  2. クロスレイヤ位相整列パラメータの前記ストアされたセットの各々は、
    前記1または複数のILRピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、
    前記1または複数のILRピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、
    前記1または複数のILRピクチャの前記ルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/または
    前記1または複数のILRピクチャの前記クロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報
    を含むことを特徴とする請求項1に記載の方法。
  3. 前記ビデオ信号の中で、送信されているクロスレイヤ位相整列パラメータのセットの数を示す数インジケータを受信するステップ
    をさらに備えることを特徴とする請求項1に記載の方法。
  4. 前記1または複数のILRピクチャを組み立てる際に使用される、クロスレイヤ位相整列パラメータの前記ストアされたセットの中からのクロスレイヤ位相整列パラメータの少なくとも1つのセットを規定する少なくとも1つのインジケータを、ベースレイヤフィールドピクチャに関連して、前記ビデオ信号の中で受信するステップ
    をさらに備えることを特徴とする請求項1に記載の方法。
  5. 前記少なくとも1つのインジケータは、スライスセグメントヘッダ内で受信されることを特徴とする請求項に記載の方法。
  6. 前記1または複数のILRピクチャを組み立てる前記ステップは、
    前記受信された少なくとも1つのインデックスインジケータによって示されたクロスレイヤ位相整列パラメータの前記少なくとも1つのセットに基づいて、前記1または複数のILRピクチャのルーマ成分および/またはクロマ成分の少なくとも1つの再サンプリングのための位相フィルタを選択するステップ
    を含むことを特徴とする請求項に記載の方法。
  7. 前記少なくとも1つのインジケータは、前記ビデオ信号のスライスと関連付けられ、前記方法は、前記スライスと関連付けられた前記少なくとも1つのインジケータに対応するクロスレイヤ位相整列パラメータの前記セットに従って前記1または複数のILRピクチャを組み立てる際に使用するための、前記ベースレイヤビデオコンテンツ内の前記関連付けられたスライスのための前記位相フィルタの少なくとも1つを調整するステップをさらに備えることを特徴とする請求項に記載の方法。
  8. ストアされることになるクロスレイヤ位相整列パラメータの前記セットを、前記ビデオ信号の中で、受信するステップをさらに備えることを特徴とする請求項1に記載の方法。
  9. ストアされることになるクロスレイヤ位相整列パラメータの前記セットは、少なくとも1つのビデオパラメータセット内で受信されることを特徴とする請求項に記載の方法。
  10. ストアされることになるクロスレイヤ位相整列パラメータの前記セットは、少なくとも1つのピクチャパラメータセット内で受信されることを特徴とする請求項に記載の方法。
  11. 前記少なくとも1つのインジケータが前記ビデオ信号の中に明示的に含まれるかどうかを示す第1のフラグを、シグナリングを介して受信するステップ
    をさらに備えることを特徴とする請求項に記載の方法。
  12. クロスレイヤ位相整列パラメータの前記セットが前記ビデオ信号の中にあるかどうかを示す第2のフラグを受信するステップ
    をさらに備えることを特徴とする請求項1に記載の方法。
  13. 前記第1のフラグが、前記少なくとも1つのインジケータが前記ビデオ信号の中に含まれないことを示しているとき、クロスレイヤ位相整列パラメータの少なくとも1つのセットが推測されることになることを特徴とする請求項11に記載の方法。
  14. クロスレイヤ位相整列パラメータの前記推測された少なくとも1つのセットは、ルーマ水平位相パラメータ、ルーマ垂直位相パラメータ、クロマ水平位相パラメータ、およびクロマ垂直位相パラメータを含むセットを含み、前記ルーマ水平位相パラメータ、前記ルーマ垂直位相パラメータ、および前記クロマ水平位相パラメータは、同じ値を有し、前記クロマ水平位相パラメータおよび前記クロマ垂直位相パラメータは、互いに異なる値を有することを特徴とする請求項13に記載の方法。
  15. クロスレイヤ位相整列パラメータの前記推測された少なくとも1つのセットは、以下を含むセットであること、すなわち、
    前記1または複数のILRピクチャのルーマ成分のための水平位相フィルタを選択するために使用される、0に設定されたphaseX情報、
    前記1または複数のILRピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用される、0に設定されたphaseXC情報、
    前記1または複数のILRピクチャの前記ルーマ成分のための垂直位相フィルタを選択するために使用される、0に設定されたphaseY情報、
    前記1または複数のILRピクチャの前記クロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用される、1に設定されたphaseYC情報
    セットであることを特徴とする請求項13に記載の方法。
  16. ビデオエンコーダにおいて実施されるビデオエンコーディング方法であって、
    トップフィールドピクチャおよびボトムフィールドピクチャを有するインターレースされたフィールドピクチャを含むベースレイヤビデオコンテンツと、プログレッシブフレームピクチャを含むエンハンスメントレイヤビデオコンテンツとを送信するステップと、
    前記ベースレイヤ内のビデオピクチャを再サンプリングする際に使用するための、クロスレイヤ位相整列パラメータの複数のセットを送信するステップであって、前記ビデオピクチャは、前記ベースレイヤ内のフィールドピクチャに基づいて、前記エンハンスメントレイヤ内の少なくとも1つのプログレッシブフレームピクチャを予測するためのプログレッシブフレームレイヤ間参照(ILR)ピクチャを組み立てる際にビデオデコーダによって使用するためのものである、送信するステップと、
    ベースレイヤのインターレースされたフィールドピクチャと関連して、前記関連付けられたベースレイヤのインターレースされたフィールドピクチャをリサンプリングして、前記ILRピクチャの少なくとも1つを組み立てるのに使用されることになる、クロスレイヤ位相整列パラメータの前記複数のセットの内のクロスレイヤ位相整列パラメータの特定のセットを規定する表示を送信するステップであって、前記表示は、前記関連付けられたベースレイヤのピクチャがトップフィールドピクチャの場合はクロスレイヤ位相整列パラメータの前記複数のセットの第1のセットを規定し、前記関連付けられたベースレイヤのピクチャがボトムフィールドピクチャの場合はクロスレイヤ位相整列パラメータの前記複数のセットの第2のセットを規定する、ステップと
    を備えることを特徴とする方法。
  17. クロスレイヤ位相整列パラメータの前記複数のセットの各々は、
    前記ILRピクチャのルーマ成分のための水平位相フィルタを選択するために使用されるphaseX情報、
    前記ILRピクチャのクロマ成分の少なくとも1つのための水平位相フィルタを選択するために使用されるphaseXC情報、
    前記ILRピクチャの前記ルーマ成分のための垂直位相フィルタを選択するために使用されるphaseY情報、および/または
    前記ILRピクチャの前記クロマ成分の少なくとも1つのための垂直位相フィルタを選択するために使用されるphaseYC情報
    を含むことを特徴とする請求項16に記載の方法。
  18. 送信されているクロスレイヤ位相整列パラメータのセットの数を示す数インジケータを送信するステップ
    をさらに含むことを特徴とする請求項16に記載の方法。
  19. 前記表示は、スライスセグメントヘッダ内で送信されることを特徴とする請求項16に記載の方法。
  20. クロスレイヤ位相整列パラメータの前記複数のセットは、ピクチャパラメータセット内で送信されることを特徴とする請求項18に記載の方法。
  21. 前記表示明示的に送信されているかどうかを規定する第1のフラグを送信するステップ
    をさらに備えることを特徴とする請求項20に記載の方法。
  22. 前記表示は、クロスレイヤ位相整列パラメータ前記複数のセットの特定の1つを規定しているインデックスであることを特徴とする請求項20に記載の方法。
  23. クロスレイヤ位相整列パラメータの前記複数のセットが送信されているかどうかを示す第2のフラグを送信するステップ
    をさらに備えることを特徴とする請求項16に記載の方法。
  24. 前記第1のフラグが、前記少なくとも1つの表示が送信されていないことを規定しているとき、クロスレイヤ位相整列パラメータの少なくとも1つセットが推測され、クロスレイヤ位相整列パラメータの少なくとも1つセットは、ルーマ水平位相パラメータ、ルーマ垂直位相パラメータ、クロマ水平位相パラメータ、およびクロマ垂直位相パラメータを含むセットを含み、前記ルーマ水平位相パラメータ、前記ルーマ垂直位相パラメータ、および前記クロマ水平位相パラメータは、同じ値を有し、前記クロマ水平位相パラメータおよび前記クロマ垂直位相パラメータは、互いに異なる値を有することを特徴とする請求項21に記載の方法。
JP2016544547A 2014-01-02 2014-12-23 インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム Active JP6560230B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461923110P 2014-01-02 2014-01-02
US61/923,110 2014-01-02
US201461939217P 2014-02-12 2014-02-12
US61/939,217 2014-02-12
PCT/US2014/072105 WO2015103032A1 (en) 2014-01-02 2014-12-23 Methods and systems for scalable video coding with mixed interlace and progressive content

Publications (3)

Publication Number Publication Date
JP2017507548A JP2017507548A (ja) 2017-03-16
JP2017507548A5 JP2017507548A5 (ja) 2018-02-15
JP6560230B2 true JP6560230B2 (ja) 2019-08-14

Family

ID=52355255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544547A Active JP6560230B2 (ja) 2014-01-02 2014-12-23 インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム

Country Status (9)

Country Link
US (2) US9819947B2 (ja)
EP (1) EP3090549A1 (ja)
JP (1) JP6560230B2 (ja)
KR (2) KR102521870B1 (ja)
CN (2) CN105874792B (ja)
IL (1) IL246542B (ja)
MY (1) MY178217A (ja)
TW (2) TWI660621B (ja)
WO (1) WO2015103032A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
WO2015103221A1 (en) 2014-01-03 2015-07-09 Arris Enterprises, Inc. Conditionally parsed extension syntax for hevc extension processing
US9338464B2 (en) * 2014-02-04 2016-05-10 Cable Television Laboratories, Inc. Adaptive field and frame identification
WO2015143090A1 (en) 2014-03-18 2015-09-24 Arris Enterprises, Inc. Scalable video coding using reference and scaled reference layer offsets
US9986251B2 (en) * 2014-05-01 2018-05-29 Arris Enterprises Llc Reference layer and scaled reference layer offsets for scalable video coding
WO2015184470A1 (en) 2014-05-30 2015-12-03 Arris Enterprises, Inc. Reference layer offset parameters for inter-layer prediction in scalable video coding
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
KR102433227B1 (ko) 2016-02-09 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10616583B2 (en) * 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
WO2018143268A1 (ja) * 2017-02-03 2018-08-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
MX2020001290A (es) * 2017-08-03 2020-03-12 Sharp Kk Sistemas y metodos para particionar bloques de video en un corte de interprediccion de datos de video.
TWI820196B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 用擴展四叉樹進行分割時的上下文編解碼
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
WO2020200236A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Using interpolation filters for history based motion vector prediction
US11109064B2 (en) * 2019-05-22 2021-08-31 Mediatek Inc. Signaling of motion vector difference derivation
KR20220024659A (ko) * 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 비디오 처리에서의 적응적 해상도 변경
CN113766247B (zh) * 2019-06-25 2023-07-25 北京大学 环路滤波的方法与装置
EP3997881A4 (en) * 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
US20220417552A1 (en) * 2019-09-30 2022-12-29 Hyundai Motor Company Method and apparatus for inter-prediction of pictures with different resolutions
US11539566B2 (en) * 2021-02-26 2022-12-27 Qualcomm Incorporated Generalization of encoding for uplink transmissions
WO2022183358A1 (zh) 2021-03-02 2022-09-09 京东方科技集团股份有限公司 视频图像去交错方法和视频图像去交错装置
CN114520914B (zh) * 2022-02-25 2023-02-07 重庆邮电大学 一种基于shvc质量可伸缩帧间视频编码方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN1926576A (zh) * 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和***
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
US8023569B2 (en) * 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
US20140003527A1 (en) * 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
EP2792146A4 (en) * 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
EP2801193B1 (en) * 2012-01-04 2016-10-26 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2810438A1 (en) * 2012-01-31 2014-12-10 VID SCALE, Inc. Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
TWI674792B (zh) * 2012-08-06 2019-10-11 美商Vid衡器股份有限公司 在多層視訊編碼中空間層取樣格網資訊
KR101955700B1 (ko) 2012-08-29 2019-03-07 브이아이디 스케일, 인크. 스케일러블 비디오 코딩을 위한 모션 벡터 예측 방법 및 장치
EP3748969B1 (en) * 2012-09-27 2024-01-03 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding standard scalability
EP2903282A4 (en) * 2012-09-28 2016-05-25 Samsung Electronics Co Ltd METHOD OF SAO COMPENSATION FOR CODING INTERMEDIATE LAYER FORESIGN ERRORS AND DEVICE THEREFOR
AU2014231403A1 (en) * 2013-03-12 2015-07-16 Hfi Innovation Inc. Inter-layer motion vector scaling for scalable video coding
US10225567B2 (en) * 2013-10-08 2019-03-05 Sharp Kabushiki Kaisha Image decoder, image encoder, and encoded data converter
US20160330459A1 (en) * 2014-01-03 2016-11-10 Samsung Electronics Co., Ltd. Method for encoding video and apparatus therefor, and method for decoding video and apparatus therefor using effective parameter delivery

Also Published As

Publication number Publication date
TW201924329A (zh) 2019-06-16
US9819947B2 (en) 2017-11-14
US20180020225A1 (en) 2018-01-18
CN105874792A (zh) 2016-08-17
KR20160105861A (ko) 2016-09-07
TWI660621B (zh) 2019-05-21
KR20220017517A (ko) 2022-02-11
JP2017507548A (ja) 2017-03-16
TWI720348B (zh) 2021-03-01
US10154269B2 (en) 2018-12-11
KR102521870B1 (ko) 2023-04-13
EP3090549A1 (en) 2016-11-09
MY178217A (en) 2020-10-07
TW201537953A (zh) 2015-10-01
CN111083493A (zh) 2020-04-28
US20150189298A1 (en) 2015-07-02
CN105874792B (zh) 2020-03-03
WO2015103032A1 (en) 2015-07-09
IL246542A0 (en) 2016-08-31
CN111083493B (zh) 2023-08-18
IL246542B (en) 2020-05-31

Similar Documents

Publication Publication Date Title
JP6560230B2 (ja) インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
US20220400254A1 (en) Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
JP6307650B2 (ja) スケーラブルビデオ符号化のための動き情報シグナリング
US9973751B2 (en) Slice base skip mode signaling for multiple layer video coding
EP2982117B1 (en) Inter-layer reference picture enhancement for multiple layer video coding
JP2017522803A (ja) ブロックベクトル導出を用いるイントラブロックコピー符号化のための方法およびシステム
KR20180088515A (ko) 3차원 기반 컬러 매핑에서의 모델 파라미터 최적화를 위한 시스템 및 방법
TW201507443A (zh) 基於單迴路解碼之多層視訊編碼
TW202042552A (zh) 用於照明補償之區塊大小限制
US20150264377A1 (en) Reference Picture Set Mapping for Standard Scalable Video Coding
JPWO2014103764A1 (ja) 画像処理装置および方法
WO2014141899A1 (ja) 画像処理装置および方法
WO2014141964A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190718

R150 Certificate of patent or registration of utility model

Ref document number: 6560230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250