JP7187572B2 - 並列符号化機能の強化概念 - Google Patents
並列符号化機能の強化概念 Download PDFInfo
- Publication number
- JP7187572B2 JP7187572B2 JP2020552744A JP2020552744A JP7187572B2 JP 7187572 B2 JP7187572 B2 JP 7187572B2 JP 2020552744 A JP2020552744 A JP 2020552744A JP 2020552744 A JP2020552744 A JP 2020552744A JP 7187572 B2 JP7187572 B2 JP 7187572B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- video
- quantization parameter
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013139 quantization Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 41
- 230000011664 signaling Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 description 144
- 239000000872 buffer Substances 0.000 description 99
- 230000003139 buffering effect Effects 0.000 description 53
- 230000001419 dependent effect Effects 0.000 description 20
- 230000006978 adaptation Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000009795 derivation Methods 0.000 description 10
- 238000011423 initialization method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 208000019698 Cutaneous collagenous vasculopathy Diseases 0.000 description 5
- 201000009911 cataract 8 multiple types Diseases 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- GXFZCDMWGMFGFL-KKXMJGKMSA-N (+)-Tubocurarine chloride hydrochloride Chemical compound [Cl-].[Cl-].C([C@H]1[N+](C)(C)CCC=2C=C(C(=C(OC3=CC=C(C=C3)C[C@H]3C=4C=C(C(=CC=4CC[NH+]3C)OC)O3)C=21)O)OC)C1=CC=C(O)C3=C1 GXFZCDMWGMFGFL-KKXMJGKMSA-N 0.000 description 1
- 239000008709 Curare Substances 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013073 enabling process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Communication Control (AREA)
- Time-Division Multiplex Systems (AREA)
Description
例えば、HEVCは、互いに独立して符号化されたタイルアレイへの画像の細分割をサポートする。
HEVCでサポートされているもう1つの概念はWPPに関連しており、WPPにより、何らかの最小CTUオフセットが連続CTUラインの処理で遵守されている場合、画像のCTU行又はCTUラインを左から右に並列に(つまりストライプで)処理することができる。
しかし、ビデオエンコーダ及び/又はビデオデコーダの並列処理機能を一層効率的にサポートするビデオコーデックを手近に用意しておくことが好ましい。
本出願の第1の態様によれば、ビデオコーデックは、画像ストライプ認識方法でコンテキストエントロピー確率管理を実行することによって、並列符号化/復号機能をサポートするという点でより効率化される。
すなわち、第1の態様の出発点は、画像がブロックベース符号化を用いて符号化データに符号化され、符号化データが、画像を分割し、CTUラインなどの相互に並列に画像を横断するストライプに沿ってコンテキスト適応エントロピー符号化を用いてデータストリームにエントロピー符号化され、例えば、画像の左側の境界などのストライプの始点でコンテキストエントロピー確率を初期化し、ストライプに沿ってコンテキストエントロピー確率を適応させる。
ビデオの画像の符号化データへの符号化、及び符号化データのデータストリームへのエントロピー符号化は、それらがエンコーダ及びデコーダでのWPP処理、すなわち符号化及び復号を可能にするように設計され得、空間イントラ画像符号化依存性は、特定の画像のストライプの現在処理されている部分の周りの範囲を定義するため、任意のストライプについて、それぞれのストライプの現在処理されている部分の空間イントラ画像符号化依存性範囲は、それぞれの画像の他のストライプの現在処理されている部分の波面の背後の既に処理済みの部分をカバーするだけである。
第1の態様によれば、並列性は、各ストライプについて、それぞれのストライプのバッファリング点まで始点で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率をバッファリングし、コンテキストエントロピー確率の初期化の際に、現在の画像の各ストライプについて、それぞれのストライプの同じ場所に配置されている前の画像のストライプに関してバッファリングされた状態をルックアップすることによって更に効率化される。
ルックアップは、ルックアップのインデックス(索引)又はインデックスの一部として情報を使用するなど、現在の画像内のそれぞれのストライプの位置に関する情報を用いて実行される。
つまり、ストライプを初期化するためのコンテキストエントロピー確率のバッファリングとルックアップは、ストライプを認識する方法で、又は別の言い方をすれば、ビデオの画像内の各ストリップ位置に対して個別に実行される。
この手段により、この他の画像の様々なストライプの別の画像のコンテキストエントロピー確率を初期化するためにある画像から別の画像に継承されるコンテキストエントロピー確率は、継承された確率の受信者に対して適応された画像コンテンツ、つまり現在の画像の同じ場所に配置されたストライプに基づき適応されている。
同じ場所に配置された画像コンテンツに基づいて適合されているため、これらの確率は、それぞれのストライプでの現在の画像の実際のエントロピー確率に厳密に適合させるべきである。
したがって、本出願の第1の態様によれば、並列処理は、ある画像のストライプから別の画像の同じ場所に配置されたストライプに、ストライプ認識方法でコンテキストエントロピー確率を継承させる、又は別の言い方をすれば、同じ場所に配置されたストライプに対して個別に継承を実行することによって更に効率化されるため、継承されたコンテキストエントロピー確率のより厳密な適応により符号化効率が向上する。
この符号化効率の向上の結果、ストライプ個別バッファリング、すなわち同じ場所に配置されたストライプに起因する古い確率を置き換えるFIFO方式と、コンテキストエントロピー確率の初期化、すなわち前の画像の同じ場所に配置されたストライプの確率の適用とに関連した、処理オーバーヘッドの増加が比較的低くなる。
具体的には、コンテキストエントロピー確率をバッファリングするためのバッファ量を増やす必要があり、ストライプインデックス形式などのストライプ位置の情報が、現在の画像の現在のストライプのみのコンテキストエントロピー確率を検索するためのインデックスのエントリとしてこの情報を用いる形式など、バッファリング及び/又はルックアップにおいて考慮に入れられるべきである。
本出願の第2の態様はまた、コンテキストエントロピー確率の初期化に関する。
しかしながら、第2の態様では、時間的相互依存性を考慮する。
第2の態様によれば、ビデオの画像は、画像が異なる時間レベルに分類されることに従って、画像間の階層的な時間符号化相互依存性を定義するように符号化データに符号化される。
各時間レベルについて、それぞれの時間レベルの画像は、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、各非ゼロ時間レベルについて、それぞれの非ゼロ時間レベルの画像は、相互に独立して符号化される。
例えば、閉鎖又は開放GOP構造を使用できる。
各画像のコンテキストエントロピー確率が新たに初期化されることを回避するために、符号化データは、各画像について、コンテキストエントロピー確率がそれぞれの画像内の少なくとも1つの始点で初期化されるようにデータストリームに符号化される。
コンテキストエントロピー確率は、少なくとも1つの始点から前方へそれぞれの画像を横断する符号化経路に沿って適応される。
本出願の第2の態様によれば、ある画像から別の画像にコンテキストエントロピー確率を継承するためのコンテキストエントロピー確率管理は、特定の時間レベルへのメンバーシップを認識するように行われる。
例えば、画像の少なくともサブセットのそれぞれについて、それぞれの画像の少なくとも1つのバッファリング点までの符号化経路に沿ったコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態がバッファリングされ、その後、コンテキストエントロピー確率の初期化の際に、現在の画像内の少なくとも1つの始点のそれぞれについて、現在の画像の時間レベルに関する情報を用いてインデックスが決定され、このインデックスを用いて、現在の画像の時間レベルよりも下位の時間レベルの、前に符号化/復号された画像についてバッファリングされた状態をルックアップする。
つまり、特定の画像についてのバッファリングされたコンテキストエントロピー確率のルックアップは、時間レベルのランク付けが遵守され、同じ時間レベルの画像間に時間的な相互依存性を導入しないように行われる。
この手段により、最上位時間レベルなどの特定の時間レベルの画像の符号化/復号をスケジュール化し、それにもかかわらず、前にバッファリングされた学習/適応されたコンテキストエントロピー確率を利用して並列処理することが可能であり、これにより、符号化効率を向上させると共に、並列処理機能に関する適合性を向上させることができる。
本出願の別の態様は、フィルタパラメータ化に関係する。
特に、本出願の第3の態様は、適応型ループフィルタなどのインループ又はポストフィルタについてのフィルタパラメータ化設定値が、処理、すなわち符号化及び復号中に、最後に適用されたフィルタパラメータ化設定値の一種のプール又はリザーバを形成するようにバッファリングされるビデオコーデックに関し、新たな設定値又は完全に新たな設定値を送信しなければならない代わりに、この現在の画像についてのインループ又はポストフィルタのフィルタ化パラメータ化設定値を導出するため、インデックスを、現在の画像についてデータストリーム内の信号を用いて伝えることができる。
第2の態様のように、ビデオの画像は、画像が異なる時間レベルに分類される、画像間の階層的な時間符号化相互依存性を定義するようにデータストリームに符号化されると想定され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
符号化は、前述のインループ又はポストフィルタを用いて行われる。
少なくともサブセットの画像のそれぞれについて、それぞれの画像に適用されるインループ又はポストフィルタのフィルタパラメータ化設定値がバッファリングされる。
例えば、バッファリングは、フィルタのパラメータ設定値が明示的に、つまりインデックス付けなしでデータストリーム内で通知される画像に対して行われる。
例えば、フィルタのパラメータ化設定値がデータストリームで明示的に信号伝達されていない現在の画像の場合、ループ内又はポストフィルタのフィルタパラメータ化設定値には、データストリーム内のインデックスの信号伝達が含まれる。
本出願の第3の態様では、このインデックスは、バッファ状態のサブセットのうちの1つにインデックスを付け、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされた状態を除外する。
すなわち、フィルタパラメータ化設定値に関連するサイド情報オーバーヘッドを低減するために使用されるフィルタパラメータ化設定値のインデックス付けは、画像間の階層的時間符号化相互依存性もフィルタパラメータ化設定値信号伝達に関して遵守されるように行われる。
フィルタパラメータ化設定値のバッファリングは、バッファリングされるフィルタパラメータ化設定値が生じる画像のそれぞれの時間レベル、及びフィルタパラメータ化設定値が決定される現在の画像の時間レベルを認識する方法で行われ、エンコーダは、下位の時間レベルの、前に処理された画像に由来する現在の画像についてバッファリングされたフィルタパラメータ化設定値に単にインデックスを付けるように、インデックス付けの制限に従う。
この手段により、最上位時間レベルの画像などの特定の非ゼロの時間レベルの画像の並列処理が、フィルタパラメータ化設定値サイド情報オーバーヘッドを低く維持するためのリザーバとしての使用に関して、バッファリングされたフィルタパラメータ化設定値の使用において比較的小さな制限で可能になる。
エンコーダ及びデコーダは、例えば、FIFO方式で、様々な時間レベルに関連する1つ以上の最新の設定値をバッファリングするために、前の画像の状態をバッファリングするときに、様々な時間レベルのメンバーシップを考慮に入れることができる。
本出願の別の態様は、それぞれの画像のブロックに関連付けられたブロック毎に変化する量子化パラメータを利用するビデオコーデックに関する。
おそらく、パラメータ化された非ブロック化フィルタなどのインループ又はポストフィルタが、量子化パラメータに従って設定値される符号化に関与する。
しかしながら、データストリーム内の符号化データの符号化は、現在の画像の所定ブロックについて、所定ブロックに関連する量子化パラメータが、空間予測を用いて、所定ブロックに直接隣接する画像の隣接ブロックをカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、データストリーム内で符号化される方法で実行される。
すなわち、本出願の第4の態様によれば、所定ブロックに関連する量子化パラメータが、例えば、現在の画像の前のストライプ内など、所定ブロックから更に離れたブロックの量子化パラメータに依存することが回避される。
したがって、エンコーダは、ストライプの符号化順序で連続するインターストライプの符号化オフセットに従うことにより、これらのストライプの符号化を並列に実行できる。
エンコーダは、例えば、レート制御を用いて、及び/又は何らかのレート/歪み最適化に応じてなどの特定の手法に従って、量子化パラメータを設定し、予測残差の量子化などのタスクだけでなく、量子化パラメータを用いて、この量子化パラメータが依存するフィルタパラメータ化設定値をインループ又はポストフィルタについて設定する追加のタスクについても瞬時に量子化パラメータを使用することができる。
前のストライプの処理の完了を待つ必要がない。
したがって、符号化待ち時間全体が短縮される。
現在の画像の所定ブロックの量子化パラメータの空間予測が依存するブロックが、例えば、所定ブロックが属する現在のスライスの外側、又は更には画像の外側にあるために利用できない場合、代わりに、スライス量子化パラメータ、すなわち現在のスライスに対して送信されるパラメータを用いることができる。
本出願の第5の態様は、空間符号化依存性範囲に関して適応可能であるビデオコーデックに関する。
すなわち、ビデオコーデックは、ビデオの画像をデータストリームに符号化する際に空間イントラ画像符号化依存性を使用するが、コーデックは、複数の符号化依存性範囲設定値のうちで選択された空間符号化依存性範囲をデータストリーム内の信号を用いて伝えることができる。
ビデオの現在の画像の現在のブロックに関する空間イントラ画像符号化依存性の空間範囲は、選択された空間符号化依存性範囲設定値に応じて設定される。
例えば、これは、イントラ予測ブロックなどの現在のブロックについて画像コンテンツを予測すること、現在のブロックについての符号化パラメータを予測すること、又は現在のブロックに関連する符号化パラメータを符号化するためのコンテキストエントロピー確率を導出すること、又はこれらの可能性の全てに適用される。
空間符号化依存性範囲に関してビデオコーデックを適応可能にすることで、一方ではインタースライス符号化オフセット又は符号化波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点での符号化効率に関して、ビデオの画像を符号化/復号する際の並列性の程度に関して、ビデオコーデックを適応可能にする。
すなわち、本出願の第5の態様は、低減された空間符号化依存性範囲による符号化圧縮効率のわずかな減少を犠牲にして、より高い並列性の間の重み付けを可能にする。
一実施形態によれば、信号伝達は、空間最小インターストライプ復号オフセットを用いて行われる。
本出願の第6の態様は、ビデオのイントラ予測部分と、ビデオの純粋なイントラ予測部分とが異なって設定された空間符号化依存性範囲を使用するビデオコーデックに関する。
空間符号化依存性範囲に関して利用可能な符号化モードにビデオコーデックを反応し易くすることで、一方ではインタースライス符号化オフセット又は波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点からの符号化効率に関して、ビデオの画像の符号化/復号の並列性に関してビデオコーデックを適応可能にする。
ここでは、第5の側面と比較して、並列処理を優先して符号化効率を向上させる価値が、インター予測符号化部分よりも、ビデオの純粋にイントラ符号化された部分に対して、相互依存性を符号化するためのソースに関する限り、後者はあまり制限されていないために増大することが考慮に入れられている。
画像10間のいくつかの依存性によって引き起こされる構造的遅延は、GOP12a、12b内、及びGOP12a、12b間の画像並列処理を可能にする。
この表示は、画像10間の構造的な階層的時間依存性と、それらの時間レベル(TId)との関連を目立たせるように選択されている。
階層に関しては、時間レベル0(TId0)の画像を除いて、12a、12bなどのGOP内の同じ時間層の画像10は、互いに依存しない。
より正確には、それぞれの矢印を介して接続されているように示されている画像は、必ずしも相互に依存しているわけではない。
それどころか、相互の依存が禁止されていない。そうすることが可能である。
更に、画像は概して、復号順序において現在の画像に先行する同じ時間レベルの画像に依存し得るが、図1を参照して説明される種の依存順序には、以下に説明する並列化アプローチの要件又は前提条件がある。
そのため、時間レベルによっては、いくつかの画像を並列処理できる。
例えば、GOP0内のPOC1、3、5、7の画像10は並列処理が可能である。
しかし、一部の符号化ツールでは、画像間に依存性が生じる場合がある。
これは、並列処理のための完全な技術的ソリューションの妨げとなる。
続いて提示する実施形態では、そのような問題を克服するための特別なメカニズムを提案する。
これには、時間的及び空間的フィルタリングを用いて再構築された信号からの予測、並びにシンボル予測が含まれて、ビットストリームで送信される信号オーバーヘッドを最小限に抑える。
シンボル予測は、現在のCTUの左側と上部にある2つの隣接CTUを用いて実行される。
それぞれに長所と短所がある。
最小のオーバーヘッドと、最良のローカル予測機能と、を備えた最も効果的な方法は、画像毎に1つのスライスのみを送信することである。
エラー堅牢性のために設計された別の変形は、画像を複数のスライスに分割することである。
デフォルトでは、スライスはシンボル符号化にも空間予測にもインタースライス予測を使用しないため、各スライスを任意の順序で個別に解析及び再構築することができる。
この適応型予測スキームは、エラーの伝播を防ぎ、エラー堅牢性とR-D性能間の柔軟なトレードオフを可能にする。
画像のシンボルを送信する別の変形は、依存スライスと呼ばれる。
このアプローチは、個々のCTUラインの並列処理、波面並列処理(WPP)に焦点を当てているが、エラーの堅牢性には焦点を当てていない。
予測データの可用性を保証するという制約により、依存スライスは、画像毎の単一スライスと同様のR-D性能を備えるが、個々のCTUラインに並列実行を適用する自由度がある。
追加要件が、違反してはならない連続CTUライン間の最小CTUオフセットを定義する。
このオフセットにより、所与のCTUについて、予測に必要な左、左上、右上、右上の参照CTUが既に再構築され、使用可能であることが保証される。
CCVは、特定のシンボル又はシンボルセットのエントロピーをモデル化するために、算術エントロピー符号化と組み合わせて使用される。
適応という文言は、モデルのローカル統計値に適応するように、最新の符号化状態に向けてモデルを永続的に更新することを示す。
更新ステップは、通常、算術符号化動作に組み込まれている。
最初に、CCVの現在の状態を用いて算術符号化プロセスをパラメータ化し、いったん復号されたシンボルが導出されると、それを用いて、所与のステップサイズで現在の復号確率に向けてCCVを更新する。
しかし、CCVは、符号化又は復号に使用する前に、所定の状態に初期化する必要がある。
デフォルトのCCV初期化は、新しいスライスの復号/符号化プロセスが開始されたときに実行される。
デフォルトのコンテキスト初期化は、初期化関数をCCVに適用することによって行われる。
この関数は、CCVCMM固有の定数値から計算され、スライスレベルQPによって変更されたインデックスパラメータを介して選択された初期CCVCMM状態を決定する。
この性能ギャップを克服するために、特別な初期化メカニズムが導入された。
波面並列処理では、CTUラインは個々のスレッドによって独立して処理することができる。
CTUラインの解析プロセスを分離するには、CABACエンジンをリセットし、各CTUラインの先頭で全てのCCVを初期化する必要がある。
デフォルトのCCV初期化プロセスは、必ずしもコンテンツ依存CCV状態を最適な方法でモデル化するわけではない。そこで、依存スライスと組み合わせた初期化の新しい方法が提案された。
上記ライン内の第2のCTUが処理された後、画像内の後続の全ラインが、上記CTUラインからCCV状態を継承する。
この初期化概念は、依存スライスに関してのみ使用可能であるため、必要最小限のCTUオフセットを活用できる。
基本的な考え方は、時間的類似性の活用である。
したがって、CCVセットの状態のスナップショットを格納できるバッファが確立される。
CCVセットの状態は、画像の中央にあるCTUが処理されたときに格納される。
実行された変形では、CCV状態は、現在のスライスレベルQPを用いてインデックスとしてバッファに格納される。
例えば、図2では、矢印で示された画像によるCCV状態の再利用が矢印で示されており、CCV状態はバッファに格納されていて、矢印の原点を成す画像から取得される。
使用可能なセットがある場合、CCVの状態は、バッファから、解析/符号化に使用される現在のCCVにコピーされる。
あるいは、有効なCMMセットが使用不能な場合、デフォルトの初期化機能を用いて現在のCCV設定値を設定する。
特に、このビデオエンコーダ及びビデオデコーダの例の提示は、後に説明する実施形態の理解を容易にするかもしれないが、後に説明する本出願の実施形態は、HEVC又はJEMの実装変形を形成することにも、図3~5を参照して説明するビデオエンコーダ及びビデオデコーダの実装変形を形成することにも限定されないと留意されたい。
この目的のため、ブロック単位の予測符号化が使用される。
更に、変換ベースの残差符号化が例示的に使用される。
装置又はエンコーダは、参照符号10で示す。
図4は、対応するデコーダ20、すなわち、データストリーム14からの画像ブロック内の画像12’から構成されるビデオ11’を予測的に復号するように構成された装置20を示し、ここでも例示的に、変換ベースの残差復号を使用する。
アポストロフィは、デコーダ20によって再構成された画像12’及びビデオ11’が、予測残差信号の量子化によって生じた符号化損失のため、装置10によって最初に符号化された画像12からそれぞれ逸脱していることを示す。
図3及び図4は、例示的に、変換ベースの予測残差符号化を用いているが、本出願の実施形態は、この種の予測残差符号化に限定されない。
これは、以下に概説するように、図3及び図2を参照して説明する他の詳細にも当てはまる。
同様に、デコーダ20は、データストリーム14からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル-空間変換するように構成される。
予測残差信号形成器22は、例えば、元の信号、すなわち現在の画像12から予測信号を減算する減算器であってもよい。
エンコーダ10は、予測残差信号24を空間-スペクトル変換して、スペクトル領域予測残差信号24’を取得する変換器28を更に含み、この信号は、同じくエンコーダ10によって構成される量子化器32により量子化される。
このように量子化された予測残差信号24’’は、ビットストリーム14に符号化される。
この目的のために、エンコーダ10は、データストリーム14に変換及び量子化された予測残差信号をエントロピー符号化するエントロピーコーダ34を任意選択で備えてもよい。
予測残差信号26は、データストリーム14に復号され、データストリーム14から復号可能な予測残差信号24’’に基づいて、エンコーダ10の予測段36によって生成される。
この目的のために、予測段36は、図3に示すように、量子化損失を除いて信号24’に対応するスペクトル領域予測残差信号24’’’を得るように予測残差信号24’’を非量子化する非量子化器38と、次いで、予測残差信号24’’’を逆変換、すなわちスペクトル-空間変換して、量子化損失を除いて元の予測残差信号24に対応する予測残差信号24’’’’を取得する逆変換器40と、を内部に含むことができる。
次に、予測段36の結合器42は、再構成された信号46、すなわち元の信号12の再構成を取得するように、例えば加算によって、予測信号26と予測残差信号24’’’’を再結合する。
再構成された信号46は、信号12’に対応し得る。
次に、予測段36の予測モジュール44は、例えば、空間予測、すなわち、イントラ予測、及び/又は時間予測、すなわち、インター予測を使用することによって、信号46に基づいて予測信号26を生成する。
エントロピーコーダ34は、予測残差信号24’’だけでなく、残差データに加えて、予測モード、予測パラメータ、量子化パラメータ、及び/又はフィルタパラメータなどの画像を記述する他の符号化データもデータストリームにエントロピー符号化する。符号化データは画像を表す。
データストリームに符号化された構文要素を表す場合もある。
エントロピーコーダ34は、この符号化データを無損失でデータストリーム12に符号化する。
エントロピー符号化は、コンテキスト適応型であってもよい。
すなわち、コンテキストが、時間的及び/又は空間的に隣接し、前に符号化された符号化データに基づいてエントロピー符号化される対象の現在の符号化データの一部に対して選択され、各コンテキストは、対応するコンテキストエントロピー確率、すなわち、シンボル確率の推定値に関連付けられている。
選択されるコンテキストの確率は、現在のエントロピー符号化データエンティティに使用され、それに基づいて更新される。
最初に、例えば、1つの画像に関連する符号化データのエントロピー符号化の開始時、コンテキストの確率が初期化される。
いくつかの実施形態では、この点に関する詳細を以下に記載するが、この詳細は他の実施形態に関しては任意選択である。
特に、デコーダ20のエントロピーデコーダ50は、データストリームからの量子化されたスペクトル領域予測残差信号24’’をエントロピー復号することができる。
コンテキストの導出は、エンコーダと同期するように行うことができる。
結果は、例えば、予測残差データを含む符号化データである。
次に、予測段36のモジュールに関して上記のように相互接続されて協働する逆量子化器52、逆変換器54、結合器56、及び予測モジュール58は、予測残差信号24’’に基づいて再構成された信号を復元し、図4に示すように、結合器56の出力は、再構成された信号、すなわち、ビデオ11’又は現在の画像12’をもたらす。
以下でより詳細に説明するように、エンコーダ10及びデコーダ20、並びにそれぞれのモジュール44、58は、イントラ符号化モード及びインター符号化モードなどの異なる予測モードをサポートする。
エンコーダとデコーダがこれらの予測モードを切り替える粒度は、画像12及び12’のブロックへの細分割に対応してもよい。
なお、これらのブロックのいくつかは、イントラ符号化されるだけのブロックであってもよく、いくつかのブロックは、インター符号化されるだけのブロックであってもよく、任意選択で、更に別のブロックは、イントラ符号化及びインター符号化の両方を用いて得られるブロックであってもよい。
イントラ符号化モードによれば、ブロックの予測信号は、それぞれのブロックの空間的に既に符号化/復号された隣接部に基づいて取得される。
いくつかのイントラ符号化サブモードが存在する可能性があり、その中の選択は、いわば、一種のイントラ予測パラメータを表す。
それぞれの方向性イントラ符号化サブモードに固有の特定の方向に沿って隣接のサンプル値をそれぞれのブロックに外挿することによって、それぞれのブロックの予測信号が満たされる方向性又は角度イントラ符号化サブモードがあり得る。
イントラ符号化サブモードは、例えば、DC符号化モードなどの1つ以上の更なるサブモードを含んでもよく、これにより、それぞれのブロックの予測信号が、それぞれのブロック内の全サンプルにDC値を割り当てる、及び/又は、平面イントラ符号化モードにより、それぞれのブロックの予測信号が、隣接サンプルに基づく2次元線形関数によって定義された傾斜及びオフセットでそれぞれのブロックのサンプル位置にわたる2次元線形関数により記述されるサンプル値の空間分布になるように近似又は決定される。
代替的又は追加的に、イントラ予測モードは、使用するパッチの明示的又は暗黙的な指示と共にイントラパターン検索(予測子と同じものを用いて現在の画像の既に処理された部分内にパッチを配置する)を使用し、イントラ予測では、ニューラルネットワークの使用などの直接変換ドメインで、及び/又は直接変換ドメインで隣接残差ブロックからの予測変換係数で、予測子が提供される。
比較して、インター予測モードによれば、ブロックの予測信号は、例えば、ブロック内部を時間的に予測することによって取得することができる。
インター予測モードのパラメータ化のために、運動ベクトルは、データストリーム内で信号化され得、運動ベクトルは、前に符号化/復号された画像が、それぞれのブロックの予測信号を取得するためにサンプリングされる、ビデオ11の、前に符号化された画像部分の空間変位を示す。
つまり、量子化されたスペクトル領域予測残差信号24’’を表すエントロピー符号化変換係数レベルなどのデータストリーム14に含まれる残差信号符号化に加えて、データストリーム14は、ブロック予測モードに割り当てるための予測関連パラメータ、イントラ予測モード用の運動パラメータなどの割り当てられた予測モードの予測パラメータ、及び任意選択で、割り当てられた予測モード及び予測パラメータを用いてブロックの最終予測信号の構成を制御する追加パラメータに符号化され得ることを意味する。
更に、データストリームは、画像12及び12’のブロックへの細分割をそれぞれ制御及び信号伝達するパラメータを含むことができる。
デコーダ20は、これらのパラメータを用いて、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モード及びパラメータをブロックに割り当て、同じ予測を実行して同じ予測信号をもたらす。
上述したように、組み合わせは加算であってもよい。
予測信号26は、画像領域を様々なサイズのブロック80に細分割したものとして図5に示されているが、これは単なる例である。
細分割は、ブロックの行及び列への画像領域の規則的細分割、又は四分木細分割のような様々なサイズのリーフブロックへの画像12のマルチツリー細分割などの任意の細分割であり得、それらの混合が図5に示されており、画像領域は、最初にツリールートブロックの行及び列に細分され、次に、再帰的マルチツリー細分割に従って更に細分割されて、最終的にブロック80になる。
これらのブロックは、符号化ブロック80と区別するために、変換ブロックと呼ばれることがある。
事実上、図5は、エンコーダ10及びデコーダ20がそれぞれ、画像12及び画像12’のブロックへの2つの異なる細分割、すなわち、符号化ブロック80への細分割と、ブロック84への再分割を使用できることを示している。
両方の細分割は同じである可能性があり、すなわち、各ブロック80は、同時に変換ブロック84を形成し得、逆もまた同様であるが、図5は、例えば、変換ブロック84への細分割がブロック80への細分割の拡張を形成する結果、2つのブロック80間の任意の境界が2つのブロック84間の境界に重なる、あるいは別の言い方をすれば、各ブロック80が、変換ブロック84の1つと一致する、又は変換ブロック84のクラスタと一致する場合を示す。
しかしながら、細分割はまた、変換ブロック84がブロック80間のブロック境界を交互に横切ることができるように、互いに独立して決定又は選択することもできる。
変換ブロック84への細分割に関する限り、ブロック80への細分割に関して提示されたものと同様の陳述が当てはまる。
すなわち、ブロック84は、行列で配置された画像領域のブロックへの規則的細分割の結果、画像領域の再帰的マルチツリー細分割の結果、又はそれらの組み合わせ、又はその他の種類の分割であってもよい。
なお、ブロック80及び84は、正方形、長方形、又はその他の形状に限定されない。
更に、現在の画像12を予測信号が形成されるブロック80に再分割すること、及び現在の画像12を予測残差が符号化されるブロック84に再分割することは、符号化/復号に使用される唯一の細分割でなくてもよい。
これらの再分割は、予測信号決定及び残差符号化が実行される粒度を形成するが、これらの再分割以外の粒度でも、エンコーダ及びデコーダは、予測パラメータなどの前述のパラメータのいくつかを含み得る特定の符号化パラメータを設定し得る。
しかしながら、例えば、別のDPBを有する別の予測ループで符号化/復号される他の図面又は他の符号化層から得られる予測信号など、代替の実施形態に従って、2つ以上の予測信号26を予測残差信号24’’’’と組み合わせて、画像12’をもたらすことができることに留意されたい。
変換器28及び逆変換器54は、これらの変換ブロック84単位で変換を実行する。
例えば、多くのコーデックは、全ての変換ブロック84に対して何らかの種類のDST又はDCTを使用する。
いくつかのコーデックは変換のスキップを可能にするので、いくつかの変換ブロック84に関して、予測残差信号は空間領域に直接符号化される。
しかしながら、後述の実施形態によれば、エンコーダ10及びデコーダ20は、いくつかの変換をサポートするように構成される。
例えば、エンコーダ10及びデコーダ20によってサポートされる変換は、
DCT-II(又はDCT-III)、ここで、DCTは離散コサイン変換の略であり、すなわち、DST-IV、DSTは離散サイン変換の略であり、DCT-IV、DST-VII、恒等変換(IT)を含むことができる。
これまでのところ、図3及び4のビデオエンコーダ及びデコーダはそれぞれ、本明細書で後述するビデオエンコーダ及びデコーダの可能な実装を表す。
ただし、これらは単なる代表例である。
ブロック80へのブロック細分割に関して、同じことが、図5を参照して概説された方法又はそれとは異なる方法で行われ得ることに留意されたい。
変換ブロックへの細分割が存在する場合は、図5を参照して説明したように、又は別の方法で行うこともできる。
特に、一方ではブロックへの細分割、他方では変換ブロックなどの他のブロックへの細分割は、画像12をこれらのブロックにそれぞれ別々に細分割することによって互いに独立して、又は依存的に行うことができる。
例えば、変換ブロックへの細分割などの一方の細分割が、上記のように他方の細分割の拡張を形成することができる、又は両方の細分割が、例えば、図5を参照して説明したような画像のツリールートブロック86への細分割など、共通の一次細分割の別々の拡張を形成することができる。
そして、そのような可能性は、特定の予測パラメータや予測モードなどの定義に関してなど、以下で説明する他のサブ画像の粒度にも当てはまる。
異なる細分割をこれらのエンティティの異なるエンティティに使用することができ、それらの細分割は、互いに独立して、部分的に独立して、又は互いからの拡張として定義することができる。
とはいえ、以下の説明は、図3~図5を参照してこれまで説明されていないこと、すなわち、以下に説明する各種実施形態に係るビデオエンコーダ及びビデオデコーダに実装される機能及び符号化ツールに焦点を当てている。
これらの符号化ツールは、各実施形態で同時に様々な態様に従ってビデオエンコーダ及びビデオデコーダに実装される必要がないため、符号化ツールとその細部は特定の実施形態に関して以下に説明する。
以下に説明する第1の態様に関して、本出願の実施形態によりビデオエンコーダ及びビデオデコーダによって使用されるフレームワーク又は概念を説明するために、図6を参照する。
図6は、符号化されるビデオ11の画像12を示し、図6に示すように、画像12は、ストライプ90a、90b、及び90cに分割される。ストライプの数は重要ではない。
ストライプ90a~90cは、図5で導入されたようなツリールートブロックの行によって形成することができる。すなわち、ストライプ90a~90cは、画像12を分割し、相互に平行に画像12を横切る。
ストライプ90a~90cの意義は次のとおりである。ブロックベース符号化を使用することにより、画像12は符号化データに符号化される。
符号化手順は、矢印92を用いて図6に示されている。
符号化データは、参照記号94を用いて図6に示され、画像12の画像領域に対応するように配置されるとして示されている。
符号化92はブロックベースであるため、符号化データ94は、符号化ブロック80及び/又は変換ブロック84などのロック96単位で画像12を記述する。
したがって、符号化データ94は、画像12に対してある種の空間的関連性を有する。
符号化データ94は、例えば、それぞれが特定のブロック又は部分に関連する画像12を記述する構文要素の集合であってもよい。
符号化データ94は、上記のように、変換係数、予測パラメータ、及び予測モードなどの残差サンプル値を含み得る。
しかし、このエントロピー符号化は一気には実行されない。
すなわち、符号化データ98は、ストライプ90a~90cに沿ったコンテキスト適応型エントロピー符号化を用いて、ビデオエンコーダによってデータストリーム14に符号化される。
すなわち、特定のストライプに関連する符号化データ94は、データストリームに別個に符号化されることによって、WPPサブストリームと呼ばれてもよく、ストライプ90a~90c毎のサブストリームを形成する。
この目的のために、各ストライプ90a~90cについて、コンテキストエントロピー確率、及び任意選択で、算術符号化を使用する場合の確率区間パラメータなどの内部状態が、ストライプ90a~90cの始点100a、100b、及び100cで初期化され、始点100iからその終点(図6では、図12の右側)までそれぞれのストライプを符号化する間に、実際の統計値に適合されて、主に符号化データの実際の値に従って更新される。
言い換えれば、ストライプ90aに関連する符号化データ94の部分は、始点100aからある終点102aまでエントロピー符号化され、始点100aではコンテキスト初期化、及び始点100aから終点102aでは連続的なコンテキスト更新又は適応が行われる。
同様に、ストライプ90bに関する符号化データ94は、始点100bから終点102bまでエントロピー符号化され98、始点100bではコンテキスト初期化及び終点102bに向かう符号化中は連続的なコンテキスト適応が行われ、同じことが他のストライプ、ここではストライプ90cにも当てはまる。
復号は、同じコンテキストが導出されて、同じ初期化が実行される際に、同じように実行される。
1つのオプションは、符号化順序、同じ画像12の先行するストライプ、又は前に符号化/復号された画像のコンテキスト更新/適応に関係なく、又はそれとは独立して、各ストライプ90a~90cに対してデフォルトの方法で新たにコンテキスト初期化を実行することであろう。
上述したように、これは、スライス量子化パラメータなどのそれぞれのストライプ90a~90cに関連付けられた量子化パラメータに応じて、デフォルトのコンテキストエントロピー確率を選択することによって行うことができる。
後で説明するように、この初期化方法は、ここで説明するモードに加えて、コンテキスト初期化のための1つのモードを更に形成する場合がある。
例えば、HEVCにおいて選択される別のオプションは、始点と終点の間のどこかの中間点までの同じ画像の直前ストライプに関して更新されたコンテキストエントロピー確率の状態に基づいて、例えば上から下への符号化順序で、任意の2番目又は以後のストライプのコンテキストエントロピー確率を初期化することである。
したがって、各画像のストライプの初期化は、他の画像のストライプのコンテキストエントロピー確率とは無関係に行われる。
後述するように、この初期化方法は、現在説明されているものに加えて、コンテキスト初期化のための1つのモードを依然として形成する場合もある。
隣接空間104は、現在のエントロピー符号化ブロック106に配置され、例えば符号化順序の先行している部分など、現在処理される、すなわち現在符号化/復号される同じ画像の他のストライプの部分が、隣接空間104よりもそれぞれの終点に近い限り、符号化順序において直前のものなどの隣接又は他のストライプに延在する空間テンプレートのようなものであり、ストライプの並列処理、すなわち、並列符号化/復号は、隣接空間104内の符号化データの可用性を侵害することなく実行可能であり、これに基づき、現在のストライプの現在のエントロピー符号化部分106のコンテキストが決定される。
隣接空間104の空間コンテキスト導出範囲の空間的制限は、また、図6の矢印108によって示されるエントロピー復号手順の並列実装を可能にする。
コンテキスト導出領域104と同様に、予測ソース領域112は、現在のストライプに対して1つ以上の隣接ストライプに拡張することができ、他のストライプの現在の処理部分が領域112よりも終点に近い限り、現在のストライプの現在の部分110の予測用ソースとして使用されるデータの可用性が満たされる。
空間予測は、サンプルの予測又は符号化パラメータの予測に関係する場合もある。
よって、領域104及び112の結合の拡張は、インタートライプ符号化オフセット/復号オフセットが上述の空間イントラ画像符号化依存性範囲に重複しない限り、符号化92及びエントロピー符号化98と、対応する復号手順108及び114との並列実施を可能にする空間イントラ予測符号化依存性範囲を定義する。
いずれの場合も、ビデオエンコーダとビデオデコーダは、図6を参照して説明した機能、つまり、WPP対応符号化/復号をサポートする。
言い換えると、ビデオ符号化は、ストライプに関してビデオ符号化とビデオ復号を並列に実行できるように行われる。
言い換えれば、ビデオ符号化は、ストライプ90a~90cの同時処理部分が何らかのインターストライプ符号化オフセットに従う限り、領域104及び112は別の領域の現在処理される部分を超えて拡張することや覆うことがないように行われる。
むしろ、後者の領域は、他のストライプの現在処理される部分の周りに広がる領域の前方を延びる。
しかしながら、代替の実施形態によれば、ビデオデータ94の符号化は、例えば、並列処理を可能にしない方法で行われることに留意されたい。
更に、領域104に関して図6で説明されるようなコンテキストの空間的導出は、必ずしも使用されない場合がある。
図6の実施形態がこの状況に関して完全に説明されているとしても、図7を参照して説明された実施形態に係るビデオエンコーダもビデオデコーダも実際に並列処理を実行する必要がないという事実に特に留意されたい。
ビデオエンコーダは、ストライプに関して逐次符号化を実行することによって、WPP処理だけでなくストライプの逐次処理を用いて復号可能なデータストリーム14を形成することができる。
バッファ状態122は、現在の処理画像12のストライプ90a~90cのコンテキストエントロピー確率を初期化するために使用される、最終の適用状態の一種のリザーバ又はプールを形成する。
特に、現在の処理画像12と、前に処理された、すなわち、前に符号化/復号された画像12’とを示す図7を参照されたい。
図6を参照して説明したように、画像12’のストライプ90a~90cのエントロピー符号化/復号は、共通の符号化方向に沿ってそれぞれの始点100a~100cから終点102a~102cまで、すなわち図7の例では左から右に行われる。
その間に、前述のバッファリング点124a~124cが存在する。
したがって、始点100a~100cで初期化されたコンテキストエントロピー確率の状態は、画像12’の実際の画像コンテキストに従って継続的に更新/適応され、バッファリング点124a~124cで生じる中間状態は、図7の実施形態に従ってバッファリングされた状態である。
したがって、これらはコンテキスト確率の一種のスナップショットを形成する。
以下の説明から明らかなように、バッファリング点124a~124cまでに現れるようなコンテキストエントロピー確率の中間状態は、ビデオ11の各画像のエンコーダ及びデコーダでバッファ120にバッファリングされる必要はない。
例えば、一部の画像、つまり特定の時間レベルの画像の場合、バッファリングがスキップされることがある。
しかしながら、これは、現在説明されている実施形態については役割を果たさない可能性があるため、詳細はさしあたり省略する。
画像12’の各スライス90a~90cをエントロピー符号化する際に現れる状態122は、様々なストライプ位置のストライプに由来する状態122間を区別するようにバッファ120にバッファリングすることができる。
図7に示すように、ビデオ11の画像12及び12’は同じようにストライプ90a~90cに分割されるため、ストライプは互いに同じ場所に配置され、画像12の各ストライプ90は、画像12’の同じストライプIDのストライプと同じ場所に配置される。
図7は、バッファリング状態120が、ストライプID毎に、言い換えればストライプ位置毎にバッファ120にバッファリングされるストライプID認識バッファリングを示す。
つまり、バッファ状態がテーブルでバッファリングされている。
バッファ120へのバッファリングは、バッファ120が、ストライプID毎に、最終バッファ状態120のみを格納するように行うことができる。
つまり、ストリップIDで、及び任意選択で後述する1つ以上の基準で、新しいバッファ状態に対応する古い状態が、新しいバッファ状態に置き換えられる。
別の基準に関して、図7は、バッファ状態120が、関連する量子化パラメータに従って更に区別され得ることを例示的に示している。
他の基準は、スライスタイプ、すなわち、それぞれのストライプ又は時間レベルに関連付けられた予測モードのタイプ(イントラモードのみ、又はイントラモード及びインターモード)に関係し得る。
より正確には、符号化データを符号化/復号するために使用され、次にバッファリング点124a~124cまでのコンテキスト更新/適応中にエントロピー符号化/復号されたQPが、属するストライプIDによる状態122の区別に加えて、エントロピー符号化から生じるバッファ状態120を区別するためにも使用される。
したがって、可能な量子化パラメータQP1、QP2...のうちの関連するストライプID及び量子化パラメータQPの特定ペアの状態122が、ストライプID及び量子化パラメータQPの同じペアの、前のバッファ状態122を置き換える又は更新する。
ストライプIDと1つ以上の基準の他の組み合わせも実行可能である。
QP認識は、破線を用いて図7に示されている。
したがって、前述のQPとして、スライスQPを使用することができる。
スライスQPは、画像の大部分、つまりストライプ全体などのスライスに割り当てられる。
しかしながら、レート制御、すなわち、ブロック内で局所的に変動するQPと組み合わせて、例えば、格納位置又はバッファリング点124a~124cでのqpは、代替的に、異なるQP間を区別するようにバッファ内のコンテキスト状態のバッファリングを格納するために使用することができる。
次に、始点100a~100cでのロード又はコンテキスト更新のために、それぞれのストライプの最初のブロックのスライスQP又はローカルQPを使用することができる。
特に、現在の画像12の各ストライプ90a~90cについて、ビデオエンコーダ及びビデオデコーダは、現在の画像12内のそれぞれのストライプの位置に関する情報を用いて、すなわち、それぞれのストライプのストライプIDを用いてインデックスを形成することができ、このインデックスを用いて、エンコーダ及びデコーダは、それぞれのストライプ90a~90cの始点100a~100cのコンテキストエントロピー確率を初期化するために、そのストライプIDの対応する状態122をルックアップする。
QP認識の場合、ルックアップは、現在の画像12のそれぞれのストライプ90a~90cに関連付けられた量子化パラメータに応じて更に行われる。
すなわち、例えば、ストライプ90aの場合、始点100aでのコンテキストエントロピー確率は、ストライプID番号1、すなわち、ストライプ90aに対応するストライプIDに関してバッファリングされたバッファ状態122に基づいて初期化される。
追加のQP依存性の場合、ルックアップは、それぞれのストライプ90aに割り当てられたストライプIDとQPのペアに基づいて、すなわち、このストライプIDと量子化パラメータQPのペアに対応するバッファ120の状態122をルックアップすることによって行われる。
バッファリング点124a~124cは、終点120a~120cの相当近くに配置することができる。
終点102a、102b、102cと一致することさえあり得るが、更なる可能性を以下説明し、予測用参照部分の欠落などのエッジ現象に関連する統計的変化によって、コンテキストエントロピー確率が影響を受ける、又は悪影響を及ぼされるのを回避するために好ましい場合がある。
ストライプID認識バッファリングのおかげで、ある画像12’から別の画像12に継承又は再利用された再利用又は継承コンテキストエントロピー確率は、同じ又は類似の画像コンテンツに関連し、したがって、現在の画像12のストライプ90a~90cのコンテキストエントロピー確率を初期化するために使用される状態122は、それぞれ、コンテキスト適応型エントロピー符号化手順98又は対応する復号手順108の対象となる実際のサンプル統計値をより厳密に表す。
したがって、図8では、図7を参照して説明した画像に対応するビデオ11の画像12及び12’は、破線を用いてこの状況を示すための単なるオプションとして、ストライプに細分割されるものとして示されている。
しかしながら、図8の例によれば、ビデオエンコーダ及びビデオデコーダは、いずれの場合も、以下のようにして、符号化データ94の符号化92/復号114、及び符号化データ94のエントロピー符号化98及びエントロピー復号108のタスクを実行する。
特に、符号化データ94は、図1に示すように、ビデオの画像間の階層的な時間的符号化相互依存性を定義する方法で画像12を表すか又は符号化する。
つまり、画像は異なる時間レベルTidに分類され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
このようにして、符号化データ94が定義される。
エントロピー符号化98及びエントロピー復号108に関する限り、インター画像依存性を伴わない方法で同じことを行うことができる。
すなわち、例えば、コンテキストは、隣接空間104のみを使用する方法で選択され得る。
あるいは、エントロピー符号化はまた、コンテキスト選択用に時間的ソースを活用することができるが、その場合、符号化データ94の形成に関して、すなわち符号化92及び復号114に関して今説明した階層的時間符号化相互依存性が、エントロピー符号化、すなわち98と108に関しても遵守される。
いずれの場合も、エントロピー符号化98及び復号108に何らかのコンテキスト適応型エントロピー符号化が使用され、その際に、ビデオ11の各画像について、コンテキストエントロピー確率が、それぞれの画像内の少なくとも1つの始点140で初期化される。
始点140は、例えば、図6を参照して説明したストライプ分割及びWPP有効化処理を使用する場合、ストライプ符号化順序の第1のストライプの始点108aであってもよい。
又は、図8を参照して以下説明する初期化とバッファリングは、ストライプ認識方法で実行されることによって、図7の概念と図8の概念の両方を使用する。
図8に更に示すように、あるバッファリング、すなわち、少なくとも1つの始点140からいずれかのバッファリング点142に適合/更新されたコンテキストエントロピー確率状態のバッファリングが行われる。
この場合も、各始点に1つなど、2つ以上のバッファリング点142を使用することができる。
ストライプを使用するとき、バッファリング点は図7を参照して説明したように配置することができる。
例えば、1つのバッファリング点142を使用し、ストライプ分割を使用しない場合、バッファリング点142はビデオ11の画像間の中間点であってもよい。
すなわち、状態122は、バッファリング点142が一部を成す画像12’の時間レベルに関連付けられる方法で格納することができる。
図8は、バッファリングが更に、エントロピー符号化及びそれぞれの状態122が取得されたバッファリング点142までのコンテキスト適応/更新が関連する符号化データの基礎となる関連量子化パラメータを認識するように実行できるという事実を示す。
ストライプ分割の場合、ストライプIDは、バッファ状態122毎にも記録することができる。
図8の例に従ってこのように満たされるバッファ120は、例えば、(a)対応する時間レベル、(b)時間レベルとストライプID又はスライスタイプの量子化パラメータとのペア、(c)時間レベル、ストライプIDの量子化パラメータ、スライスタイプの量子化パラメータの3つ、又はスライスタイプ、(d)これら全ての修飾子の4つ、に関して最終のバッファ状態122を格納することができる。
しかし、画像毎にバッファリングを行うことはできない。
例えば、バッファリングは単に、中括弧144及びバッファ120内の格納部分の破線マーキングによって示されるように、最上位時間レベル以外の時間レベルの画像12’のそれぞれのバッファリング点142に現れる状態122に関して行うことができる。
その理由は、最上位層のバッファ状態が、画像12のコンテキストエントロピー確率を初期化するために決して使用されないことを考慮すると明らかになる。
特に、画像12の始点140でコンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像12の時間レベルに関する情報を用いてバッファ120へのインデックスを判定し、このインデックスを用いて、現在の画像12のものよりも時間レベルが低位の画像12’などの、前に符号化/復号された画像に関してバッファ状態120を検索することができる。
特に、このようにコンテキストエントロピー確率の継承又は再利用を制限することにより、すなわち、低位時間レベルの画像に由来する状態に限定されたバッファ状態122のルックアップに制限することにより、前に符号化/復号された画像の、前に学習又は更新されたコンテキストエントロピー確率を用いて、例えば、図1を参照して前述したように、それにもかかわらず、最上位時間レベルの画像の並列符号化を可能にし得る。
例えば、上述したように、画像12の始点140でコンテキスト初期化のためにルックアップされたコンテキストエントロピー確率はこのように行われるため、初期化が、画像12のうちの1つよりも時間レベルが下位の画像12’から把握されたバッファ状態122に基づいて行われる。
しかしながら、時間レベルの同等性は、画像12がゼロレベル、すなわち、一種の基本時間レベルを形成する最下位レベルのメンバーである場合に認められ得る。
画像12’のバッファリング点142に現れる状態のバッファリングに関する限り、以下に留意されたい。
バッファリングは時間レベルを認識する。例えば、最上位時間レベルでの画像12’の状態122は、時間レベルの制限によりコンテキスト初期化の使用のために上記状態をルックアップすることができる画像がないために格納されない。
他の全ての画像の場合、対応するバッファリング点142で現れる状態は、バッファ120にバッファリングされ得る。
しかしながら、対応する時間レベルに対応するエントリ、またコンテキスト継承がQP、ストライプID、及び/又はスライスタイプである場合、QP、ストライプID及び/又はスライスタイプの対応エントリで、1回のみ表にバッファリングする代わりに、この画像12’の状態122を用いて、上位時間レベルの対応バッファ状態122を上書き又は置換することができる。
したがって、画像12’が時間レベルゼロのものである場合、その状態122は、時間レベルゼロだけでなくより上位の時間レベルに関してバッファ120に入力される。
画像12’が時間レベル1のものである場合、バッファリング点142での状態122が、時間レベル1及び上位の時間レベル、すなわち時間レベル2に関してバッファ120に入力される。
画像12の始点140でコンテキストエントロピー確率を初期化するとき、画像12の時間レベルから導出されたインデックスは、画像12の時間レベルより1つ下位の時間レベルのバッファ120内の対応する位置を指すことができる。
次に、これは、おそらく、より下位の時間レベルである画像12のQP及び/又はスライスID及び/又はスライスタイプに更に対応する最終バッファ状態122である。
しかしながら、状態122をバッファリングするための様々なアプローチも実行可能である。
時間レベル、及び任意選択で、ストライプID及び/又はQP及び/又はスライスタイプから構成されるベクトルによってアドレス可能な方法で状態122を格納する表形式でバッファ120内の状態122をバッファリングする代わりに、状態122は、一次元線形方式でバッファ120にバッファリングされる。
次に、インデックス付けに使用できるインデックスは、現在の画像12の始点140でのコンテキスト初期化に使用される対応状態122のランクを判定することができる。
ランクは、状態122がバッファリングされた順序に対応する可能性がある。
画像12に使用される状態を決定する際に、エンコーダ及びデコーダは、例えば、より低位時間レベルのものを決定するために、バッファ状態122を最終バッファ状態122から最も遠いバッファ状態に横断させることができ(任意選択で(オプションで)、画像12がレベル0である場合に同等性を認める)、及び任意選択で、ストライプID及び/又はQP及び/又はスライスタイプを、始点140に関連するストライプID及び/又はQP及び/又はスライステープに対応させることができ、最初に遭遇した状態、すなわち最終バッファ状態がコンテキストの初期化に使用される。
あるいは、検索基準を満たす、そのような状態のうちいくつかの最終の状態の平均などの組み合わせを、初期化に使用することができる。
例えば、図7の概念及び/又は図8の概念は、前に符号化/復号された画像からのCABACコンテキスト変数状態の継承の1つのモードとして提供することができ、そのモードは、例えば図9のSPSに示すように、cabac_temporal_init_modeのような特定変数によってSPS、PPS、又はスライスヘッダなどの何らかの高レベルで信号を用いて伝えることができる。
つまり、構文要素の1つのモードオプションは、上述したような現在JEMで使用されている、前に復号/符号化された画像からのCABACコンテキスト変数状態継承に対応することができ、1つのモードは図7の概念及び/又は図8の概念の構文要素の値に対応していてもよい。
したがって、これは次の適応ルールで表すことができる。
CCVSliceType,QP=CCVRefSlienceType,QP
CCVが現在の画像12のCABACコンテキスト変数バッファである場合、バッファは始点140で初期化される確率をバッファリングし、SliceTypeは画像の現在のスライスのタイプ、QPは量子化パラメータ値である。
CCVRefは、同じSliceType及びQPで前に復号された画像の参照コンテキスト変数バッファである。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVSliceType,QP,CTULineNum=CCVRefSliceType,QP,CTULineNum
CCVが現在の画像12のCABACコンテキスト変数バッファである場合、SliceTypeは画像の現在のスライスのタイプ、QPは量子化パラメータ値、CTULineNumはCTUライン番号である。
特定のSliceType、QP、及びCTULineNumのCCVRefが使用できない場合(つまり、最初の画像を復号する場合)、所定の表を使用する従来の初期化方法が、モード0で指定されたように使用される。
これは、次の適応ルールで表すことができる。
CCVTId=CCVRefTId
ここで、CCVは現在の画像のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdである。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVTId,CTULineNum=CCVRefTId,CTULineNum
ここで、CCVが現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdであり、CTULineNumはCTUライン番号である。
これは、次の適応ルールで表すことができる。
CCVTId=CCVRefTIdRef
ここで、CCVは現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdである。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVTId,CTULineNum=CCVRefTIdRef,CTULineNum
ここで、CCVが現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdであり、CTULineNumはCTUライン番号である。
ランダムアクセスポイントでの適切な動作を保証するために、CMMバッファ120全体をリセットすることができる。
1.境界CTUからモデルの更新を除外するための、CTUラインの3/4の固定位置。
2.画像内に完全に配置されている最後のCTUの位置
3.右上隅が画像の境界に含まれる最後のCTUの位置
利用可能なエントリがある場合、CCV状態はCCVラインバッファ120から現在のCTUラインコーダのCCVセットにコピーされる。
そうでなく、所与のバッファインデックスで現在のラインに利用可能なCCVがない場合、コーダは制限なくデフォルトのコンテキスト初期化概念を使用する。
更に、この方法は現在のWPP初期化プロセスよりも優れている。
バッファのインデックス作成には、2つの変数が利用できる。
第1の変数は、現在のスライスレベルQPをバッファインデックスとして使用する。
QPをバッファインデックスとして使用する意図は、様々な画像の同じQPに対して同様のCCV状態を想定し、同じ時間レベルからのCCVの使用を意味することにある。
CABAC時間初期化モード(cabac_temporal_init_mode 5 及び6)の制限により、ごくわずかな符号化効率損失で画像の並列化を可能にする。
並列化により画像の処理順序が異なるため、制限が必要である。
前の時間レベルからのコンテキスト変数適応には、画像から画像への変数の直接採用、及びそれらの選択的な加重組み合わせが含まれる場合がある。
これには、現在の画像の上のCTUラインからのローカル予測CCVと1つ以上の時間予測CCVの選択的な加重組み合わせも含まれる場合がある。
加重選択は、コンテキスト状態の平均化、時間距離を意識したコンテキスト状態の平均化、又は複数のバッファリングされたCCVからの特定のコンテキスト状態の選択によって実行できる。
CCVRefの取得に更に多くのフレームが使用される場合、伝播は図1に示されている信号フローに対応する可能性がある。
更に、図9に示す構文要素に関して提示される説明が明らかにするように、追加的又は代替的に、コンテキストエントロピー確率管理はスライスタイプを認識するように行うことができる。
例えば、IスライスとPスライスは互いに区別できる。つまり、スライスは単にインター予測モードを可能にし、スライスはイントラ予測とインター予測の両方を可能にする。
更に、ある始点100a~100c又は140でのコンテキスト初期化は、例えば、図7の概念によるストライプIDを含み、図8の概念の場合には現在の画像の時間レベル未満のストライプIDを含むそれぞれの検索基準を満たすために最新バッファ状態を使用する代わりに、バッファ状態122の組み合わせに基づいて行うことができる。
特に、本出願の次の態様は、ビデオの画像に適用されるインループ又はポストフィルタのパラメータ化についてである。
そのようなインループフィルタ250、252は、例えば、それぞれ、図3及び図4の予測モジュール44及び58の入力のすぐ上流に配置され得る、又はデコーダ20のみの出力に配置されたポストフィルタ254であり得る。
以下では、後続の実施形態及び態様が焦点を当てるパラメータ化がFIRフィルタなどの適応型ループフィルタであると仮定するが、これは、本明細書に記載の実施形態に限定的ではないことは明らかである。
フィルタパラメータ化設定値は、フィルタリングされた信号を改善するために選択された、インループ又はポストフィルタのフィルタカーネルのフィルタタップの設定値に関係し得る。
現在の実装は、JEM基準ソフトウェア[2]から入手可能である。
ALFは、各画像の処理後にフィルタパラメータが格納される特定のパラメータセットを利用する。
エンコーダとデコーダはこれを同期して実行する。
パラメータの時間的適応のために、エンコーダは、現在の画像に使用されるべき既に格納された全パラメータのセットから特定のパラメータを識別するために高レベルの情報を送信している。
したがって、これには、同じ時間レベルの、前に復号された画像からのパラメータの使用を含むこともできる。
このような依存性は、画像の並列処理には実用的ではない。
後者は、ALF継承を例示的に使用する場合、特定のALFモード又はフラグを介して実行することができる。
SPSで通知されるこのようなフラグの例を図11に示す。
0に等しいalf_temporal_init_restrictionは、時間モード制限が使用されないことを指定する。これにより、次の適応ルールが作成される。
ALFParamPicNum=ALFParamPicNumRef
ここで、PicNumは復号順における画像番号であり、PicNumRefは復号順におけるPicNumに先行する復号順における画像番号である。
PicNumRefはエンコーダによって選択され、従来のALF符号化プロセス内の各画像に対して明示的に信号を用いて伝えることができる。
したがって、PicNumRefの導出プロセスでは、現在の時間レベルの画像を使用するように制限されている。
ビデオエンコーダとビデオデコーダの両方は、図12の実施形態により、ビデオ11の画像12のデータストリーム14へのブロックベース符号化を使用する。
符号化又は符号化及び復号は、例えば、インループフィルタ又はポストフィルタを含み、そのパラメータ化は、エンコーダによって決定され、以下でより詳細に説明される方法でデコーダに信号を用いて送られる。
更に、符号化は、それぞれ図1及び図8を参照して説明した階層的時間符号化相互依存性を定義するように行われる。
以下でより詳細に説明するように、エンコーダ及びデコーダは、前に符号化/復号されたビデオ11の画像で使用されるインループ又はポストフィルタのフィルタパラメータ化設定値のプール又はリザーバをバッファ200内にバッファリングする。
バッファリングは、インループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ200にバッファリングされた任意のフィルタパラメータ化設定値とは異なるとエンコーダによって判定される場合にのみ、画像12に対して選択的に実行され得る。
例えば、エンコーダは、サブセットの画像12について、このサブセット内の画像のインループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ200にバッファリングされたフィルタパラメータ化設定値にインデックス付けすることなく、データストリーム14で通知されるべきであると判定することができ、このような画像12に関しては、フィルタパラメータ化設定値はバッファに格納される202。
他のサブセットの画像12について、フィルタパラメータ化設定値は、エンコーダによって、バッファ200にバッファリングされたバッファ付きフィルタパラメータ化設定値の1つに等しいと判定され、エンコーダは、それぞれの画像に関して、バッファ200内でそれぞれのフィルタパラメータ設定値を指すデータストリーム14内のインデックスを信号を用いて伝える204。
デコーダはそれに応じて動作する。
すなわち、現在の画像のフィルタパラメータ化設定値がデータストリーム14で明示的に通知される場合、デコーダは、この明示的な信号からフィルタパラメータ化設定値を導き出し、バッファ200にバッファリングする。
そうでない場合、デコーダは、データストリーム14からそれぞれの画像のインデックスを導出し、バッファ200からのインループ又はポストフィルタのフィルタパラメータ化設定値にインデックスを付ける。同じものは再度バッファリングされ得ない。
エンコーダ及びデコーダは、バッファ200の内容を同期させておき、例えば、バッファリングの順序において特定数の最近バッファリングされたフィルタパラメータ化設定値をバッファリングし、データストリーム14で伝達されるインデックスは、バッファリング順に従って、すなわち、バッファ200で想定されるランクに従ってフィルタパラメータ化設定値にインデックスを付けることができる。
しかし、他の可能性も存在する場合がある。
別の変形の可能性も存在する。例えば、各画像12について、バッファ付きフィルタパラメータ化設定値がバッファ200から完全に採用されるかどうか、又はそれぞれの画像のフィルタパラメータ化設定値がデータストリーム14における明示的な信号伝達によって完全に新たに符号化されるかどうかを決定する代わりに、フィルタパラメータ化設定値がバッファ200に格納されたフィルタパラメータ化設定値のいずれとも異なるように選択された画像が、バッファリングされたフィルタパラメータ化設定値の1つへの修正の形でデータストリーム14内において通知されることによって、そのような画像について、フィルタパラメータの修正に加えて、バッファ200へのインデックスを伝えることができる。
そのような修正されたフィルタパラメータ化設定値は、ビデオエンコーダ及びビデオデコーダによって、それぞれ、バッファ200にバッファリングされ得るが、バッファリングされた設定から完全に採用されたものは、バッファリングされなくてもよい。
更に、ビデオエンコーダ及びビデオデコーダの両方は、バッファリング202が時間レベル認識的に行われるという点で、時間レベル認識として動作することができる。
例えば、フィルタパラメータ化設定値が完全に再利用されていない画像のフィルタパラメータ化設定値は、それにもかかわらず、対応する画像が最上位時間レベルである場合、バッファリングされない202可能性があり、その結果、その後処理される画像のためにインデックス付けされない場合がある。
204でのインデックスの信号伝達でさえ、時間レベルに依存する場合がある。
例えば、必然的に最上位時間レベルの画像について、データストリーム14にインデックスが存在しない場合がある。
更に、インデックスの信号伝達は、より下位の時間レベルの画像のみに由来するフィルタパラメータ化設定値の縮小されたサブセットのサイズに適応させることができる。
更に、上記のように、インデックスは、特定のバッファリングされたフィルタパラメータ化設定値が由来し、それぞれのフィルタパラメータ化設定値に加えてバッファ200に格納される画像の画像カウントインデックスに従って、バッファリングされたフィルタパラメータ化設定値を指し得るが、データストリーム14で伝達されるインデックスは、その代わりに、バッファ200内のバッファランクに対応する線形ランクアドレスに従ってバッファリングされたフィルタパラメータ化設定値にインデックス付けすることができ、その結果、ビデオエンコーダとビデオデコーダとの間の同期を維持するために、ビデオエンコーダとビデオデコーダは、時間レベルを認識したフィルタパラメータ設定値のバッファリングを実行する必要がある。
これに関して、図8の場合と同様に、時間レベルの制限は、最下位の時間レベル、すなわちレベルゼロの画像について緩和され得ることに留意されたい。
これらの画像に関しては、同レベル、すなわちレベル0の画像に由来するパラメータ化設定値をフィルタリングするための指標が許可される場合がある。
2つの導出値は、隣接空間の可用性をチェックすることによって個別に取得される。
隣接部が予測に使用できる場合、導出値は隣接CUのQPを取得し、CUが予測に使用できない場合、導出値は変数prevCodedCUQPに設定される。
変数prevCodedCUQPは、スライスQPで初期化され、スライス内の符号化CU毎に更新される。
この理由は、変数prevCodedCUQPは、上記の任意のCTUラインで符号化されている可能性のある最終符号化QPに依存するので、特定のCTUの開始時に、ラインエンコーダには認識されないからである。
現在のCUの左、上、左上に隣り合う隣接符号化ユニット(CU)が評価される。
隣接CU’毎に、中間変数derivedQpXXXが導入される。
隣接CUが使用可能な場合、変数derivedQpXXXはその隣接CUのQPの値に設定され、それ以外の場合、変数は現在のスライスレベルQPの値に設定される。
if(derivedQpAbove<=derivedQpLeft)
predictQp =max( derivedQpAbove、min(derivedQpLeft、( derivedQpAbove+derivedQpLeft-derivedQpAboveLeft)))
else
predictQp =max( derivedQpLeft、min(derivedQpAbove、( derivedQpAbove+derivedQpLeft-derivedQpAboveLeft)))
図13は、ビデオ11の現在の符号化/復号画像12と、画像12のブロック300への細分割を示し、ビデオエンコーダはブロック単位で量子化パラメータを変化させ、このパラメータを用いて、画像12の予測残差信号がデータストリーム14に符号化される。
ビデオ11の画像12のデータストリーム14への符号化302は、図6を参照して上記で説明したように、復号側で並列復号を可能にすることは想定されていない。
ビデオエンコーダは、並列モードではなく順次モードであってもよい。
すなわち、ビデオエンコーダは、図6を参照して説明したように動作し得るが、図13は、順次モードを示す。
符号化手順302は、図6を参照して上記で説明された符号化の両方の段階、すなわち、画像12のビデオデータへの符号化、及びその後のビデオデータのデータストリーム14へのエントロピー符号化を含む。
復号手順は、矢印304を用いて図13に示されている。
様々なブロック300に使用される量子化パラメータを送信するために、空間予測概念が使用される。
図13は、QPが300aで送信される現在の処理ブロックを示す。
ブロック300’及び300’’の数が2つに制限されず、あるいは1つのみ又は3つ以上であってもよい場合、ブロック300aの特定の近傍が検査されて、ブロック300aに対して所定の相対位置に隣接するブロック300’及び300’’が配置される。
また、左側の隣接ブロック300’及び上側の隣接ブロック300’’の使用は例示であり、異なる隣接ブロック位置を選択することができる。
ブロック300aの左上に隣接する第3のブロック、すなわち、ブロック300aの左上隅に隣接するサンプルの範囲は、例えば、点線で図13に示されている。
これらのブロック300’及び300’’に割り当てられた量子化パラメータに基づいて、ブロック300aのQPが予測され、予測オフセット又はデルタQPがデータストリーム14でブロック300aに送信される。
ブロック300’、300’’及び300’’’に基づく予測の導出は、上記のように、すなわち、ブロック300’、300’’のQPの合計からブロック300’’’のQPを引いて、ブロック300’、300’’のQPの中間に来るようにクリップされて具体化することができる。
別の方法は、単に300’のQPをQP予測子として使用する、又はブロック300’、300’’のQPの中央値又は平均値を予測子として使用することである。
例えば、ブロック位置が現在のブロック300aが配置されるスライス306の外側にあるため、又はそれぞれのブロック300’又は300’’のそれぞれのブロック位置が現在の画像12の外側あるために利用できない各ブロック300’又は300’’については、そのQPは、ブロック300aが配置されるスライス306に関してデータストリームで送信されたスライスQPによって置換又は代用される。
交換は、参加している全てのQPが利用できない場合にのみ適用することもできる。
例えば、ブロック300’、300’’のQPの中央値又は平均値をQP予測子として使用する場合、スライスQPの使用は、両方のQO、すなわちブロック300’及び300’’のQPが使用できない場合にのみ予測子として使用できる。
ブロックの一方だけが欠落している又は使用できない場合、他方の利用可能なQPが予測子として使用される。
ブロック300’のQPをQP予測子として使用する場合、ブロック300’のQPが欠落していると、スライスQPの使用が適用される。
言い換えれば、ブロック300aの量子化パラメータ予測子は、所定ブロックに対して所定の相対位置関係を有する1つ以上のブロック位置における1つ以上のブロックで300’~300’’’の量子化パラメータから導出され、現在のタイル若しくはスライスの外側、又は更には画像領域の外側など、所定ブロックが配置されている現在の画像の所定領域の外側のブロック位置にある任意のブロックの量子化パラメータは、所定領域に関してデータストリームで通知される主要な量子化パラメータで置き換えられる。
言い換えれば、例えば、ブロックが、ブロック300aが属する特定の画像領域の外側にあるために量子化パラメータが利用できない特定のブロックが、スライスQPなどの所定の領域に関してデータストリーム内で通知された主要な量子化パラメータで置き換えられる。
あるいは、全てのブロックなど、ブロック300’~300’のうち1つ以上のQPが使用できない場合、主要な量子化パラメータがQP予測子として直接使用される。
例えば、図13は、破線で示される、画像12の2つのスライス306への細分割を示す。
ブロック300aのQPの予測子が、現在のブロック300aからより遠いブロック、すなわち、ブロック300aに直接隣接していないブロックのQPに依存することを回避することにより、画像12が分割されるストライプ90a、90b及び90cについて図6で並列に示される符号化データ94によって表される中間レベルへの画像12の符号化を少なくとも実行することが可能である。
特に、符号化順序によれば、ストライプ90a~90cは互いに続き、上記のようにJEMに従って利用できないブロックの置換概念を使用すると、1つのストライプの先行するストライプへの符号化の順次依存性につながる。
というのは、この概念は、符号化順序に沿った最新のQPの一種のバッファリングを使用するものであり、これはあるストライプから次のストライプへのQP値のドラッグを含むからである。
ブロック300aのQPを予測するための制限された空間予測範囲、又は言い換えれば、予測ソースの制限された範囲を用いて、エンコーダは、スライス306を分割するストライプ90a及び90bについて、先行するストライプ90aに関する符号化データへの符号化を終了するまで、符号化順序において後続のストライプ90bの符号化を待つ必要なく、符号化順序に沿って、ここでは例示的に左から右に並列に1つの共通スライス306内の画像コンテンツの符号化を開始することが可能である。
ブロック300aのQPに基づいて、エンコーダ及びデコーダは、予測残差信号の量子化のためのこの量子化パラメータの使用に加えて、図3及び4に示す250から254などのインループ又はポストフィルタのフィルタパラメータ化を設定することができる。
興味深いことに、ブロック300aのQP値は既に固定され、データストリーム14で送信する準備ができているため、エンコーダは、先行するストライプ90aに関する符号化データ形成が完了する前に、後続のストライプ90bに関して現在の処理ブロック300aの位置で局所的にフィルタリング又はフィルタリングの一部を実行することさえできる。
フィルタリングの空間的到達範囲のため、「フィルタリングの一部」という限定的な文言が使用されている。
例えば、非ブロック化フィルタの性質上、右側及び下側の隣接ブロックに境界を成す隣接ブロックのフィルタリングは、すぐに実行することができない。
隣接ブロックが処理されると、フィルタリングは処理が延期される。
局所的にフィルタリングされるブロックは、現在のブロックの左上にわずかにずれているブロックである。
図6を参照して説明したように、ストライプ間のWPP処理において従うべきインターストライプ符号化/復号オフセットは、空間イントラ画像符号化依存性範囲に依存する。
次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、データストリームを介して互いに通信することにより、この範囲をいくつかの状態の1つに設定することができて、空間冗長性の活用のわずかな低下を犠牲にして、より高い並列性と並列処理との間の重み付けが可能になる。
したがって、一方では符号化効率がわずかに低下し、他方では空間冗長性の活用がわずかに上昇するために符号化効率がわずかに向上して並列性が低下する。
以下の説明もまた、JEM又はHEVCの修正の形でのアイデアの提示から始まり、空間イントラ画像符号化依存性範囲を測定する可能性としてCTU依存性オフセット信号伝達を使用する。
以下、一般化した実施形態について説明する。
新たに出現する規格[3]では、新しいツールが組み込まれる可能性があり、2つのCTUのCTUオフセットではもはや十分でなく、新しいツールを危険にさらす可能性がある。
CTUXref、YrefへのCTU依存性オフセットは、イントラスライスと非イントラスライスに対して個別に信号を用いて送られる場合がある。
値0は、提案された制限スキームが無効になっていることを示す。
値が0でない場合、CTUXref、Yrefに対応するCU、PU、又はTUが参照に使用でき、CTUXref、Yrefが現在のCTUXcur、Ycurの予測に使用でき、参照が制限されておらず、例えば、異なるスライス、タイル内、又は画像の外側にあり、次の条件が当てはまる。
(Yref=Ycur AND Xref≦Xcur)又は
(Yref<Ycur AND Xref<((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur))、
-順次処理順序の場合:
(Yref=Ycur AND Xref≦Xcur)又は
(Yref<Ycur AND Xref<((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur+1))
ここで、Xref、Yref、Xcur、YcurはCTU位置座標である。
いずれの図も、同じ仮想符号化時間の後に取得されたスナップショットを示している。
一方では、A)での構造的遅延の増加が、最後のCTUラインがまだ開始されていない理由であるが、B)では、処理されるCTUがほとんど残っていない。
他方、Aにおいて上記のCTUラインから予測できるブロックは更に2つあり、複数のラインの空間依存性を利用するツールを使用すると、予測に利用可能な領域が大幅に拡大される。
隣接部からの再構成サンプルの空間予測が主にイントラスライス内で使用されるのに対し、非イントラスライスは通常、スライスタイプ依存CTU依存性オフセットを使用した時間予測を使用するため、構造的遅延とR-D性能間のトレードオフは、様々なニーズに簡単に適応させることができる。
この場合、WPPの場合であれば、構造的遅延は完全に排除される。
これは、低遅延シナリオで役立つ場合がある。
順次モードの空間範囲パラメータ、つまりWPPではないパラメータは、空間予測ツールを制限するため、複雑さ対品質のパラメータと見なすことができることに留意されたい。
その例を図15に示す。
符号化手順402は、図6の両方の符号化ステップ、すなわち92及び98を組み込んでおり、同じことが、図16に示す復号404、すなわち、ステップ108及び114にも当てはまる。
ここで、ビデオコーデックは、データストリーム14が、空間イントラ画像符号化依存性範囲設定値をいくつかの可能な設定のうちの1つに設定する信号406を伝送するように設計されている。
設定は、空間イントラ画像符号化の依存範囲の幅又は広さが異なる場合がある。
空間イントラ画像符号化依存性範囲は、図6の408に示されており、現在の処理部分410の領域を決定し、この領域に基づいて、予測及びコンテキスト導出又はその他の空間冗長性活用タスクが符号化ブロック410に対して実行され得る。
特に、空間イントラ画像符号化依存性範囲設定値は、ここでは例示的に左から右である各ストライプ内の符号化方向に沿ったストライプ符号化順序で先行する任意の先行ストライプ90aにおいて、範囲領域408が関係する現在の部分410から延びる408の量が異なり得る。
この量は、水平方向、すなわち各ストライプ90a~90c内の符号化順序方向に沿ってオフセットとして長さを測定する両方向矢印を用いて、図16の412で示されている。
上記のように、オフセット412は、現在の部分410が配置されている現在のストライプまでのストライプ距離に応じて、ストライプ内の範囲領域408の部分について増加し得る。
後者の制限は、信号406から独立していてもよく、又は依存していてもよい。
範囲設定値の変動は、図14を参照して説明したように、符号化及び復号402及び404が実行され得る並列性に影響を与えるが、低い並列性は、空間冗長性の活用可能性の向上による符号化効率の向上によって補償される、又はその逆も同じである。
図14を参照して上述したように、信号伝達406によって信号を用いて送られる様々な設定は、WPP処理、すなわち、ストライプ90a~90cの並列処理において従うべき最小インターストライプ符号化/復号オフセットを直接示すパラメータによって示すことができる。
図16を参照して説明される実施形態によれば、ビデオコーデックは、信号伝達406によって提供される信号伝達可能な空間イントラ画像符号化依存性範囲の1つ又はサブセットに従って単に動作するビデオエンコーダ又はビデオデコーダにも適用可能であり得ることに留意されたい。
例えば、エンコーダは、設定の1つに従って動作するように固定され得、そしてそれは、データストリーム14で、この設定を、信号を用いて伝える。
デコーダは、同様に、信号伝達406の信号設定がサポートされていない場合に、受信したデータストリーム14を復号できないことをユーザに通知することで、信号伝達406又はその1つ又はサブセットによって信号伝達可能な全ての設定を操作又はサポートすることができる。
図16は、現在の符号化ブロック410の符号化又は空間イントラ画像符号化依存性による現在の符号化ブロック410に関連する符号化パラメータが依存する現在の画像12内の空間範囲408が、ストライプ符号化順序において現在の画像の先行するストライプ、ここでは90aをオーバーレイし得ることを示しているが、この範囲は2つ以上の先行するストライプをオーバーレイする場合もあることに留意されたい。
更に、複数の空間イントラ画像符号化範囲設定値のそれぞれについて、空間範囲が符号化順方向に広がる距離は、インターストライプ距離の増加と共に増加し得る、すなわち、距離412が測定されるストライプに対するブロック410を含むストライプの距離の増加と共に単調に増加し得る。
2つの設定を比較すると、これらの距離412は、前の全てのストライプについて、2つの設定のうちの一方が他方よりも大きい、又はその逆である。
更に、上述したように、選択された空間イントラ画像符号化範囲設定値は、Iスライスなどのビデオの純粋なイントラ予測符号化部分と、P及びBスライスなどのインター予測符号化部分について、別々に信号を用いて伝えることができる。
上述したように、空間範囲は、予測依存性及び/又はコンテキスト導出依存性に関連していてもよい。
変動は、イントラ予測のためのパッチを検索する検索範囲などの予測子検索範囲、又は予測パラメータ値ドメインのサイズに影響を与える可能性があり、したがって、特定の予測パラメータのコードレート及びその解析が変動し得る。
特に、範囲408はIスライスの方が広く、それにより並列性機能が低下するが、インター予測はこれらのスライスには利用できず、これらのスライスは必然的にイントラ予測の使用に制限されるため、スライスの符号化効率は大幅に向上する。
しかし、ビデオ11の大部分は、PスライスやBスライスなどのインター予測モードも提供するスライスで構成されており、イントラ予測モードはこれらのスライスに対して重要な役割を果たさないため、後者についての並列性は、符号化効率にわずかな影響を与えるだけで増加する。
残りの詳細については、前の説明を参照されたい。
同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロック又はアイテム又は機能の説明も表す。
方法ステップの一部又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって(又は用いて)実行することができる。
いくつかの実施形態では、最も重要な方法ステップの1つ以上が、そのような装置によって実行され得る。
実装は、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、フラッシュメモリなどのデジタル記憶媒体を用いて実行でき、記憶媒体には、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する(又は協働することができる)。
したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
データキャリア、デジタルストレージメディア、又は記録媒体は、通常、有形及び/又は非一時的である。
データストリーム又は一連の信号は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。
装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の1つを実行するために、マイクロプロセッサと協働することができる。
概して、方法は、好ましくは、任意のハードウェア装置によって実行される。
本明細書に記載の構成及び詳細の修正及び変形は、当業者にとっては自明であろうと理解される。
したがって、本発明は特許請求の範囲によってのみ限定され、本明細書の実施形態の記載及び説明として提示された特定の詳細に限定されないことが意図される。
[1]ISO/IEC、ITU-T.High efficiency video coding.ITU-T Recommendation H.265 ISO/IEC23008 10(HEVC)、第1版、2013;第2版、2014。
[2]JEM基準ソフトウェア、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/.
[3]J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce.Algorithm description of Joint Exploration Test Model 7(JEM7)、JVET、doc.JVET-G1001、2017年8月
[4]”JVET group”[Online].Available:http://phenix.it-sudparis.eu/jvet/.
Claims (9)
- ビデオエンコーダであって、
ブロックベース符号化によって、ビデオの画像を符号化データに符号化し、前記符号化データが、前記画像の各ブロックの量子化パラメータに関連付けられる量子化情報を含み、
現在の画像(12)の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像(12)の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロック(300)の量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータをデータストリーム(14)に符号化することによって、前記符号化データを前記データストリームに符号化する、
ように構成され、
前記ビデオエンコーダは、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
ように更に構成された、
ビデオエンコーダ。 - ビデオデコーダであって、
データストリームから符号化データを復号し、前記符号化データがブロックベース符号化によって符号化されたビデオの画像を有し、前記画像のブロックのそれぞれについて、量子化パラメータを関連付ける量子化情報を含み、
現在の画像の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータを前記データストリームから復号する、 ように構成され、
前記ビデオデコーダは、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
ように更に構成された、
ビデオデコーダ。 - ブロックベース復号によって、インループ又はポストフィルタを用いて、前記ビデオの画像の前記符号化データからの復号を実行し、
前記現在の画像のブロックに関連付けられた前記量子化パラメータに応じて、現在の画像の前記インループ又はポストフィルタのフィルタパラメータ化設定値を設定値する、
ように構成された、請求項2に記載のビデオデコーダ。 - 前記ブロックベース復号によって、前記ビデオの画像を前記符号化データから復号する際、前記現在の画像を分割し、相互に並列に前記現在の画像を横断するストライプにおけるWPP処理を用いて、前記現在の画像の複合化を実行する
ように構成された、請求項3に記載のビデオデコーダ。 - 前記現在の画像の前記所定ブロックについて、前記所定ブロックに関連付けられた量子化パラメータを前記データストリームから復号する際、
前記所定ブロックが配置される現在の画像の所定領域の外側のブロック位置で前記量子化パラメータを置換する、又は1つ以上のブロックが前記所定領域の外側に位置する場合、量子化パラメータ予測子として、前記所定領域について前記データストリームで信号を用いて伝えられた主量子化パラメータを代替的に使用することで、前記所定ブロックに対して所定の相対位置関係を有する1つ以上のブロック位置にある1つ以上のブロックの量子化パラメータから量子化パラメータ予測子を導出する
ように構成された、請求項2から4のいずれか一項に記載のビデオデコーダ。 - 前記量子化パラメータを復号する代替モードをサポートし、前記代替モードが使用されるかどうかを前記データストリームにおける信号伝達から導出するように構成された、請求項2から5のいずれか一項に記載のビデオデコーダ。
- ビデオ符号化方法であって、
ブロックベース符号化によって、ビデオの画像を符号化データに符号化するステップであって、前記符号化データが、前記画像の各ブロックの量子化パラメータに関連付けられる量子化情報を含む、ステップと、
現在の画像(12)の所定ブロック(300a)について、所定ブロックに直接隣接する画像(12)の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロック(300)の量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータをデータストリーム(14)に符号化することによって、前記符号化データを前記データストリームに符号化するステップと、
を含み、
前記ビデオ符号化方法は、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
ビデオ符号化方法。 - ビデオ復号方法であって、
データストリームから符号化データを復号するステップであって、ブロックベース符号化によって符号化されたビデオの画像を有し、前記画像のブロックのそれぞれについて、量子化パラメータを関連付ける量子化情報を含む、ステップと、
現在の画像の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータを前記データストリームから復号するステップと、
を含み、
前記ビデオ復号方法は、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
ビデオ復号方法。 - 請求項7又は8に記載の方法を実行するためのコードが格納されているコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022191645A JP7393510B2 (ja) | 2018-03-29 | 2022-11-30 | 並列符号化機能の強化概念 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18165206 | 2018-03-29 | ||
EP18165206.6 | 2018-03-29 | ||
PCT/EP2019/057900 WO2019185821A1 (en) | 2018-03-29 | 2019-03-28 | Concept for enhancing parallel coding capabilities |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022191645A Division JP7393510B2 (ja) | 2018-03-29 | 2022-11-30 | 並列符号化機能の強化概念 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021518718A JP2021518718A (ja) | 2021-08-02 |
JP7187572B2 true JP7187572B2 (ja) | 2022-12-12 |
Family
ID=61868342
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552744A Active JP7187572B2 (ja) | 2018-03-29 | 2019-03-28 | 並列符号化機能の強化概念 |
JP2022191645A Active JP7393510B2 (ja) | 2018-03-29 | 2022-11-30 | 並列符号化機能の強化概念 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022191645A Active JP7393510B2 (ja) | 2018-03-29 | 2022-11-30 | 並列符号化機能の強化概念 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11805241B2 (ja) |
EP (1) | EP3777196A1 (ja) |
JP (2) | JP7187572B2 (ja) |
KR (2) | KR20230119739A (ja) |
CN (2) | CN112189343B (ja) |
TW (1) | TWI768196B (ja) |
WO (1) | WO2019185821A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117750026A (zh) | 2018-07-09 | 2024-03-22 | 弗劳恩霍夫应用研究促进协会 | 用于编码图片的通用空间划分的编码器和解码器、编码方法和解码方法 |
US11284075B2 (en) * | 2018-09-12 | 2022-03-22 | Qualcomm Incorporated | Prediction of adaptive loop filter parameters with reduced memory consumption for video coding |
JP6982253B2 (ja) * | 2018-10-31 | 2021-12-17 | 日本電信電話株式会社 | 復号装置、符号化装置、復号方法、符号化方法、及びプログラム |
WO2021055138A1 (en) * | 2019-09-20 | 2021-03-25 | Alibaba Group Holding Limited | Quantization parameter signaling in video processing |
AU2023229266A1 (en) * | 2022-03-03 | 2024-07-11 | Qualcomm Incorporated | Temporal initialization points for context-based arithmetic coding |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013123206A (ja) | 2011-11-07 | 2013-06-20 | Canon Inc | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
JP2015508627A (ja) | 2012-01-30 | 2015-03-19 | サムスン エレクトロニクス カンパニー リミテッド | 階層的データ単位の量子化パラメータ予測を含む、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9113169B2 (en) | 2009-05-07 | 2015-08-18 | Qualcomm Incorporated | Video encoding with temporally constrained spatial dependency for localized decoding |
US8660177B2 (en) * | 2010-03-24 | 2014-02-25 | Sony Computer Entertainment Inc. | Parallel entropy coding |
JP5592246B2 (ja) * | 2010-12-21 | 2014-09-17 | 日本電信電話株式会社 | コンテクスト適応エントロピー符号化方法,コンテクスト適応エントロピー復号方法,コンテクスト適応エントロピー符号化装置,コンテクスト適応エントロピー復号装置およびそれらのプログラム |
EP2716046A4 (en) * | 2011-05-27 | 2014-09-03 | Mediatek Inc | METHOD AND APPARATUS FOR CIRCUIT BREAKER REDUCTION FOR VIDEO PROCESSING |
AU2015249167B2 (en) * | 2011-06-16 | 2017-05-04 | Ge Video Compression, Llc | Context initialization in entropy coding |
ES2906869T3 (es) * | 2011-06-16 | 2022-04-20 | Ge Video Compression Llc | Inicialización de contexto en codificación entrópica |
MX2020003540A (es) * | 2011-07-15 | 2022-03-25 | Ge Video Compression Llc | Codificacion de matrices de muestras para bajo retardo. |
US9231616B2 (en) * | 2011-08-05 | 2016-01-05 | Broadcom Corporation | Unified binarization for CABAC/CAVLC entropy coding |
PL2940999T3 (pl) * | 2013-01-04 | 2019-09-30 | Samsung Electronics Co., Ltd. | Sposób dekodowania entropijnego segmentów wycinka |
GB2516824A (en) * | 2013-07-23 | 2015-02-11 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
US20150334425A1 (en) * | 2014-05-14 | 2015-11-19 | Blackberry Limited | Adaptive context initialization |
US10869031B2 (en) | 2014-07-07 | 2020-12-15 | Hfi Innovation Inc. | Method of intra block copy search and compensation range |
KR102276854B1 (ko) * | 2014-07-31 | 2021-07-13 | 삼성전자주식회사 | 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US10212445B2 (en) | 2014-10-09 | 2019-02-19 | Qualcomm Incorporated | Intra block copy prediction restrictions for parallel processing |
KR101676788B1 (ko) | 2014-10-17 | 2016-11-16 | 삼성전자주식회사 | 멀티코어 시스템 기반 비디오 병렬 복호화 방법 및 그 장치 |
WO2016137368A1 (en) | 2015-02-25 | 2016-09-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding and decoding of inter pictures in a video |
US11233998B2 (en) * | 2015-05-29 | 2022-01-25 | Qualcomm Incorporated | Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design |
ES2710234B1 (es) | 2015-09-11 | 2020-03-09 | Kt Corp | Procedimiento y dispositivo para procesar señales de vídeo |
US20180020222A1 (en) * | 2016-07-12 | 2018-01-18 | Mediatek Inc. | Apparatus and Method for Low Latency Video Encoding |
EP3328083A1 (en) * | 2016-11-23 | 2018-05-30 | Thomson Licensing | Method and apparatus for encoding a video applying adaptive quantisation |
-
2019
- 2019-03-28 EP EP19713055.2A patent/EP3777196A1/en active Pending
- 2019-03-28 JP JP2020552744A patent/JP7187572B2/ja active Active
- 2019-03-28 WO PCT/EP2019/057900 patent/WO2019185821A1/en active Application Filing
- 2019-03-28 KR KR1020237027078A patent/KR20230119739A/ko not_active Application Discontinuation
- 2019-03-28 CN CN201980034651.3A patent/CN112189343B/zh active Active
- 2019-03-28 KR KR1020207030845A patent/KR102566836B1/ko active IP Right Grant
- 2019-03-28 CN CN202311291850.7A patent/CN117294838A/zh active Pending
- 2019-03-29 TW TW108111366A patent/TWI768196B/zh active
-
2020
- 2020-09-28 US US17/035,061 patent/US11805241B2/en active Active
-
2022
- 2022-11-30 JP JP2022191645A patent/JP7393510B2/ja active Active
-
2023
- 2023-09-28 US US18/477,292 patent/US20240048688A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013123206A (ja) | 2011-11-07 | 2013-06-20 | Canon Inc | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
JP2015508627A (ja) | 2012-01-30 | 2015-03-19 | サムスン エレクトロニクス カンパニー リミテッド | 階層的データ単位の量子化パラメータ予測を含む、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
KR102566836B1 (ko) | 2023-08-16 |
KR20200132990A (ko) | 2020-11-25 |
WO2019185821A1 (en) | 2019-10-03 |
US11805241B2 (en) | 2023-10-31 |
TWI768196B (zh) | 2022-06-21 |
JP7393510B2 (ja) | 2023-12-06 |
EP3777196A1 (en) | 2021-02-17 |
JP2021518718A (ja) | 2021-08-02 |
US20210014480A1 (en) | 2021-01-14 |
CN117294838A (zh) | 2023-12-26 |
CN112189343B (zh) | 2023-10-20 |
KR20230119739A (ko) | 2023-08-16 |
CN112189343A (zh) | 2021-01-05 |
TW201946466A (zh) | 2019-12-01 |
JP2023025139A (ja) | 2023-02-21 |
US20240048688A1 (en) | 2024-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7187572B2 (ja) | 並列符号化機能の強化概念 | |
JP7071603B1 (ja) | ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること | |
CN109076218B (zh) | 基于多个滤波器混淆的视频编码/解码方法、装置 | |
JP2023022221A (ja) | パーティションベースのイントラ符号化概念 | |
JP2014525193A (ja) | ビデオコーディングのための非正方形ブロックのデブロッキング | |
JP2022529432A (ja) | イントラ符号化モードにおけるマトリクスの導出 | |
JP7312826B2 (ja) | タイル独立性制約を使用したインター予測概念 | |
Schwarz et al. | Block structures and parallelism features in HEVC | |
KR20220024912A (ko) | 루마 및 크로마 신호를 처리하기 위한 방법 및 시스템 | |
JP7513809B2 (ja) | エンコーダ、デコーダ、および、フレキシブルにサイズ化された画像パーティションのための複雑な処理を伴う符号化方法と復号化方法 | |
CN113906744A (zh) | 视频编解码中无损编解码的信令 | |
WO2020042758A1 (zh) | 一种帧间预测的方法及装置 | |
CN118120234A (zh) | 用于视频处理的方法、装置和介质 | |
JP2023524944A (ja) | 圧縮されたピクチャインピクチャシグナリング | |
JP2023015264A (ja) | パレットモードを用いたビデオコーディングの方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220315 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220408 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |