JP6555856B2 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents
画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDFInfo
- Publication number
- JP6555856B2 JP6555856B2 JP2014126300A JP2014126300A JP6555856B2 JP 6555856 B2 JP6555856 B2 JP 6555856B2 JP 2014126300 A JP2014126300 A JP 2014126300A JP 2014126300 A JP2014126300 A JP 2014126300A JP 6555856 B2 JP6555856 B2 JP 6555856B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block
- inter
- color component
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 559
- 230000008569 process Effects 0.000 claims description 424
- 238000012545 processing Methods 0.000 claims description 308
- 239000013598 vector Substances 0.000 claims description 125
- 238000013139 quantization Methods 0.000 description 179
- 238000006243 chemical reaction Methods 0.000 description 149
- 239000011159 matrix material Substances 0.000 description 84
- 230000003044 adaptive effect Effects 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 51
- 238000004364 calculation method Methods 0.000 description 37
- 238000001914 filtration Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 12
- 230000002441 reversible effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 240000005702 Galium aparine Species 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
また、その符号化ブロックをさらに細かい予測ブロック(予測処理単位のブロック)に分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測画像(予測誤差)を生成する。
また、その予測画像を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換ブロックの変換係数をエントロピー符号化することで高い圧縮率を達成している。
このイントラ予測には、予測ブロックに隣接している画素を参照画素として、一定の方向にコピーする方向性予測、予測ブロック内の画素の予測値を参照画素の平均値とする平均値(DC)予測や、参照画素から予測ブロック内を内挿する平面(Planar)予測がある。
画像信号は一般に空間的相関が高いため、隣接する画素を用いた様々なバリエーションの予測を適切に切り替えることで高い予測効率を実現することができる。
また、この発明は、上記のような画像符号化装置及び画像符号化方法により生成された符号化ビットストリームを正しく復号することができる画像復号装置及び画像復号方法を得ることを目的とする。
図1はこの発明の実施の形態1による画像符号化装置を示す構成図である。
この実施の形態1の画像符号化装置が処理対象とする映像信号は、輝度成分と2つの色差成分からなるYUV信号や、ディジタル撮像素子から出力されるRGB成分等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の階調は8ビットでもよいし、10ビット、12ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を1フレームのみで構成される映像信号と解釈できることから当然である。
この対応付けはインデックス情報として上位ヘッダで符号化して画像復号装置側で認識できるようにしてもよい。このようにすることで、画像復号装置によって復号した復号画像の色を復号された符号化データのみから認識することができ、正しく表示することができる。また、YUV4:4:4フォーマット信号やRGB4:4:4フォーマット信号の場合、各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム(YUV4:0:0)符号化してビットストリームを生成するようにしてもよい。
なお、上記では4:4:4フォーマット信号の各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム(YUV4:0:0)符号化する場合について説明したが、実際にモノクローム画像信号を対象としてモノクローム符号化することも当然可能である。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
また、符号化制御部1は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラブロックコピー符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、ブロック分割部3から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部3から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、色成分間予測処理を実施するか否かの選択単位を符号化ブロック単位として、色成分間予測処理を実施する符号化モードとして色成分間予測モードを定義するようにしてもよい。このようにすることで、予測ブロック単位に色成分間予測フラグを設定する場合より、色成分間予測の選択に関する情報の符号量を削減することができる。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
色差成分については、図20に示すように、入力信号フォーマットがYUV4:2:0信号である場合、輝度成分と同様に、符号化ブロックが1つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。
この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。
輝度成分の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部15に出力する。
即ち、ブロック分割部3はスライスを符号化制御部1により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
一方、色差成分については、色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じイントラ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
図24はYUV4:2:0フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示し、図25はYUV4:2:2フォーマットの信号において輝度成分と色差成分で同一の方向性予測を用いた場合を示している。
また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。
具体的には、図28に示すように、輝度成分の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差成分の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図29に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθL、色差成分の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、YUV4:2:2信号のフォーマットに応じた色差成分の適切な予測を実施することができる。
また、イントラブロックコピー予測部6は符号化ブロック内の予測ブロック毎に、同一のピクチャ内で既に符号化が行われて局所復号が済んでいる領域の中から、当該予測ブロックと最も近似しているブロックである参照ブロックを探索して、その参照ブロックを当該予測ブロックの予測画像に決定する処理を実施する。
イントラブロックコピー予測部6は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部1により当該予測ブロックの色成分間予測フラグがONに設定されている場合、イントラブロックコピー予測処理を実施せずに、予測ブロックの色成分間予測パラメータ及び符号化済みの色差成分を用いて、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラブロックコピー予測部6は予測画像生成手段を構成している。
動き補償予測部7は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、符号化制御部1により当該予測ブロックの色成分間予測フラグがONに設定されている場合、動き補償予測処理を実施せずに、予測ブロックの色成分間予測パラメータ及び符号化済みの色差成分を用いて、予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、動き補償予測部7は予測画像生成手段を構成している。
イントラ予測部5、イントラブロックコピー予測部6又は動き補償予測部7が色成分間予測処理を実施するか否かの判断は、例えば、符号化制御部1から出力される色成分間予測パラメータに含まれている色成分間予測フラグ(色成分間予測処理を実施するか否かを示す予測ブロック単位のON/OFF情報であり、ONであれば色成分間予測処理の実施を明示し、OFFであれば色成分間予測処理の非実施を明示している)を参照することで行う。
また、イントラブロックコピー予測部6は、色成分間予測パラメータに含まれている色成分間予測フラグがONであれば色成分間予測処理を実施し、そのフラグがOFFであればイントラブロックコピー予測処理を実施する。
また、動き補償予測部7は、色成分間予測パラメータに含まれている色成分間予測フラグがONであれば色成分間予測処理を実施し、そのフラグがOFFであれば動き補償予測処理を実施する。
色成分間予測パラメータは、符号化制御部1がイントラ予測パラメータ、イントラブロックコピー予測パラメータ又はインター予測パラメータを出力する際、これらの予測パラメータに含めるようにしてもよいし、これらの予測パラメータと別途に出力するようにしてもよい。
また、色差成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ及びインター予測パラメータについては、色成分間予測パラメータに含まれている色成分間予測フラグがOFFである場合に限り、可変長符号化して符号化データを生成する。あるいは、色差成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ及びインター予測パラメータは輝度成分と同じとしても良い。すなわち、上記色成分間予測フラグがOFFである場合、輝度成分のイントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータを用いて色差成分の予測処理を実施する。このようにすることで、色差成分の予測に必要なパラメータを別途符号化しないで済むため、符号量を削減することができる。特にイントラブロックコピー予測処理及び動き補償予測処理については、一般に画像の絵柄や動きは色成分間で高い相関を有することから、色差成分の予測パラメータと輝度成分の予測パラメータを共通化することで符号量を削減しつつ高い予測効率が実現できる。
また、色成分間予測フラグは、2つの色差成分(U、V成分)で共通でもよいし、U成分とV成分で独立にフラグを持つようにしてもよい。U成分とV成分で相関の高い色成分が同じ場合は共通とすることで、色成分間予測フラグの符号量を削減しながら、高精度な予測を実現することができる。一方、U成分とV成分で相関の高い色成分が異なる場合には、U成分とV成分で独立にフラグを持つようにすることで、より適応的に色成分間予測処理の切り替えが可能になり、予測精度を改善することができる。
変換・量子化部9は符号化制御部1により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部8から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部10及び可変長符号化部15に出力する処理を実施する。
ここで、図10は4×4DCTの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図10に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
したがって、変換・量子化部9は、各直交変換サイズに対して色成分や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグを符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。
加算部11は逆量子化・逆変換部10により算出された局所復号予測差分信号と、イントラ予測部5により生成されたイントラ予測画像、イントラブロックコピー予測部6により生成されたイントラブロックコピー予測画像、又は、動き補償予測部7により生成されたインター予測画像とを加算して、ブロック分割部3から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
ループフィルタ部13は加算部11により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図11の構成よりも処理負荷を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の画素値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部15に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部15に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図11に示すように、映像信号をループフィルタ部13で参照する必要があるため、映像信号がループフィルタ部13に入力されるように、図1の画像符号化装置を変更する必要がある。
また、可変長符号化部15は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する処理を実施する。なお、可変長符号化部15は可変長符号化手段を構成している。
また、色成分間予測フラグがONに設定されている場合、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示すフラグ(同一判定用フラグ)を可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長符号化するようにしてもよい。
あるいは、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するようにしてもよい。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度成分や色差成分の画素値のビット深度、シーケンス単位でのループフィルタ部13における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ、量子化マトリクスの有効フラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、対象ピクチャに対する有効フラグを含めた量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部13における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグなどのスライス単位のパラメータをまとめたものである。
例えば、イントラ予測部5で輝度成分のイントラ予測処理を行う場合のみ色成分間予測処理を有効とすることで、輝度成分について、その他の予測処理(イントラブロックコピー予測処理、動き補償予測処理)を行う場合には、色成分間予測処理に関する符号化パラメータを符号化せずに済み、符号量を削減することができると共に、イントラブロックコピー予測部6及び動き補償予測部7の構成を簡易化することができる。あるいは、上記の上位ヘッダ色成分間予測有効フラグをイントラ予測処理、イントラブロックコピー予測処理及び動き補償予測処理の共通の情報として、色成分間予測の予測効率が高いスライスのみ有効とすることで、色成分間予測の予測効率が低い領域でのブロック単位の色成分間予測パラメータの符号化による符号量増加を回避することができる。
さらに、上位ヘッダ色成分間予測有効フラグについては、ピクチャを分割するサブピクチャの単位に設けるようにしても良い。具体的には、非特許文献1記載のTileやWavefront Parallel Processingのサブピクチャの分割単位に上位ヘッダ色成分間予測有効フラグを設けることで、色成分間予測処理が効果的な領域のみ有効とすることが可能となり、符号量の増加を抑制しつつ高精度な予測を実現することができる。
画像符号化装置をコンピュータで構成する場合、イントラ用メモリ12及び動き補償予測フレームメモリ14をコンピュータのメモリ上に構成するとともに、符号化制御部1、スライス分割部2、ブロック分割部3、切換スイッチ4、イントラ予測部5、イントラブロックコピー予測部6、動き補償予測部7、減算部8、変換・量子化部9、逆量子化・逆変換部10、加算部11、ループフィルタ部13及び可変長符号化部15の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による画像符号化装置の処理内容(画像符号化方法)を示すフローチャートである。
図3において、可変長復号部31は図1の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報とピクチャデータを復号する処理を実施する。
ただし、ピクチャデータは1以上のスライスデータから構成されており、各スライスデータはスライスレベルヘッダと当該スライス内にある符号化データがまとめられているものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。このとき、YUV4:4:4フォーマット信号やRGB4:4:4フォーマット信号の各色成分をモノクローム画像信号とみなしてそれぞれ独立にモノクローム(YUV4:0:0)符号化していることを示す情報がヘッダ情報に含まれる場合、各色成分の符号化ビットストリームに対してそれぞれ独立に復号処理を実施することができる。
ただし、上記色成分間予測フラグがONを示す場合については、この実施の形態1の画像符号化装置の構成によっては画像復号装置が下記の構成となる。
この実施の形態1の画像符号化装置が、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示すフラグ(同一判定用フラグ)を可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号するとともに、その同一判定用フラグが当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なる旨を示していれば、当該予測ブロックの色成分間予測フラグ以外の色成分間予測パラメータを可変長復号する。
あるいは、この実施の形態1の画像符号化装置が、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化する。
ただし、図1の画像符号化装置が、色成分間予測処理の有効化に関する各フラグを、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダのうち、2つ以上のヘッダで符号化している場合、可変長復号部31によって復号されたフラグについて、スライスレベルヘッダ、ピクチャレベルヘッダ、シーケンスレベルヘッダの順に優先度を設定する。
即ち、スライスレベルヘッダとピクチャレベルヘッダ内に上位ヘッダ色成分間予測有効フラグが存在する場合はスライスレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先され、ピクチャレベルヘッダとシーケンスレベルヘッダ内に上位ヘッダ色成分間予測有効フラグが存在する場合はピクチャレベルヘッダ内の上位ヘッダ色成分間予測有効フラグが優先される。
また、上位ヘッダ色成分間予測有効フラグについては、図1の画像符号化装置がピクチャを分割するサブピクチャの単位に上位ヘッダ色成分間予測有効フラグを設けるように構成している場合、対応する画像復号装置はサブピクチャの単位に復号するように構成する。このようにすることで、サブピクチャ単位の色成分間予測の有効・無効制御を行っている画像符号化装置の符号化ビットストリームを正しく復号することができる。
ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、YUV4:2:0フォーマットの信号の場合、変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
色差成分については、図20に示すように、入力信号フォーマットがYUV4:2:0信号である場合、輝度成分と同様に、符号化ブロックが1つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。
入力信号フォーマットがYUV4:4:4信号である場合、図22に示すように、色差成分の変換ブロックは、常に輝度成分の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
一方、色差成分については、各予測ブロックに対して、当該予測ブロックの上記色成分間予測フラグがOFFである(色成分間予測処理の非実施を明示している)場合、イントラ予測処理を実施する。
このとき、色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
また、色差成分のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差成分に対する方向性予測を実施して、色差成分の予測画像を生成する。
具体的には、図28に示すように、輝度成分の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差成分の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図29に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθL、色差成分の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、YUV4:2:2信号のフォーマットに応じた色差成分の適切な予測を実施することができる。
また、イントラブロックコピー予測部35は符号化ブロック内の予測ブロック毎に、同一のピクチャ内で既に復号が済んでいる領域の中から、当該予測ブロックと最も近似しているブロックである参照ブロックを探索して、その参照ブロックを当該予測ブロックの予測画像に決定する処理を実施する。
イントラブロックコピー予測部35は、輝度成分の予測画像の生成については常にイントラブロックコピー予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがONである場合(色成分間予測処理の実施を明示している場合)、イントラブロックコピー予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色差成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、イントラブロックコピー予測部35は予測画像生成手段を構成している。
動き補償予測部36は、輝度成分の予測画像の生成については常に動き補償予測処理を実施するが、色差成分の予測画像の生成については、各予測ブロックに対して、当該予測ブロックの色成分間予測フラグがONである場合(色成分間予測処理の実施を明示している場合)、動き補償予測処理を実施せずに、当該予測ブロックの色成分間予測パラメータ及び復号済みの色差成分を用いて、当該予測ブロックにおける色差成分の予測画像を生成する色成分間予測処理を実施する。なお、動き補償予測部36は予測画像生成手段を構成している。
また、この実施の形態1では、色成分間予測パラメータに含まれている色成分間予測フラグを参照して、色成分間予測処理の実施の有無を選択しているが、図1の画像符号化装置が、符号化ブロック単位あるいは最大サイズの符号化ブロック単位でフラグを符号化している場合、対応する画像復号装置では、図1の画像符号化装置と同じ単位でフラグを復号することで、図1の画像符号化装置と同じ単位に、色成分間予測処理の実施の有無を識別する。このようにすることで、正しく符号化パラメータを復号することができる。
あるいは、図1の画像符号化装置が、変換ブロック単位に色成分間予測フラグを符号化するように構成している場合、対応する画像復号装置も変換ブロック単位の色成分間予測フラグを復号するように構成する。このとき、予測ブロックの中に複数の変換ブロックが存在する場合は上記色成分間予測フラグがONの変換ブロックのみ色成分間予測を実施し、上記色成分間予測フラグがOFFの変換ブロックでは色差成分に対するイントラ予測、イントラブロックコピー予測あるいは動き補償予測を行う。
また、色成分間予測フラグは、図1の画像符号化装置が2つの色差成分(U、V成分)で共通とするように構成する場合、画像復号装置では、可変長復号部31により2つの色差成分(U、V成分)で共通のフラグを復号する。
一方、図1の画像符号化装置がU成分とV成分で独立に色成分間予測フラグを持つように構成する場合、画像復号装置では、可変長復号部31によりU成分のフラグとV成分のフラグを別々に復号する。このようにすることで正しく符号化パラメータを復号することができる。
ループフィルタ部39は加算部37により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部39は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合において、例えば、画像符号化装置のループフィルタ部13が図11のように構成されていれば、図12に示すようにループフィルタ部39が構成される。当然、画像符号化装置のループフィルタ部13がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部39もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
なお、クラス分類手法の候補として、ループフィルタ部13の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の画素値にオフセットを加算する処理を行う。
動き補償予測フレームメモリ40はループフィルタ部39のフィルタ処理後の復号画像をインター予測処理(動き補償予測処理)で用いる参照画像として格納する記録媒体である。
画像復号装置をコンピュータで構成する場合、イントラ用メモリ38及び動き補償予測フレームメモリ40をコンピュータのメモリ上に構成するとともに、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、イントラブロックコピー予測部35、動き補償予測部36、加算部37及びループフィルタ部39の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図4はこの発明の実施の形態1による画像復号装置の処理内容(画像復号方法)を示すフローチャートである。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する画像符号化装置と、その画像符号化装置から出力される符号化ビットストリームを復号する画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
まず、符号化制御部1は、符号化対象となるピクチャ(カレントピクチャ)のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどで符号化する。その場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。
即ち、符号化制御部1は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のイントラブロックコピー符号化モード(総称して「ICOPY」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部1は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部1による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ、イントラブロックコピー予測パラメータ、インター予測パラメータ又は色成分間予測パラメータ)を選択する。
変換ブロックサイズは、図20に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
色差成分については、図20に示すように、入力信号フォーマットがYUV4:2:0信号である場合、輝度成分と同様に、符号化ブロックが1つ又は複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差成分の変換ブロックサイズは、対応する輝度成分の変換ブロックの縦横ともに半分のサイズとなる。
また、入力信号フォーマットがYUV4:4:4信号である場合、図22に示すように、色差成分の変換ブロックは、常に輝度成分の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
また、符号化制御部1は、符号化モードとして、イントラ予測モードを選択している場合、輝度成分については輝度成分のイントラ予測パラメータをイントラ予測部5に出力し、色差成分については、色成分間予測処理を実施するか否かを示す色成分間予測フラグを含む色成分間予測パラメータをイントラ予測部5に出力する。さらに、上記色成分間予測フラグがOFFである場合、色差成分のイントラ予測パラメータをイントラ予測部5に出力する。
ただし、常に輝度成分と色差成分で共通のイントラ予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のイントラ予測パラメータはイントラ予測部5に出力する必要はない。
ただし、常に輝度成分と色差成分で共通のイントラブロックコピー予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のイントラブロックコピー予測パラメータはイントラブロックコピー予測部6に出力する必要はない。
ただし、常に輝度成分と色差成分で共通のインター予測パラメータを用いるように画像符号化装置を構成する場合、色差成分のインター予測パラメータは動き補償予測部7に出力する必要はない。
ブロック分割部3は、スライス分割部2から各スライスを入力する毎に、そのスライスを符号化制御部1により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部1により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にはP0 0とP1 0の例を示している。
符号化ブロックBn内の予測ブロックの分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ、イントラブロックコピー予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部1から可変長符号化部15に出力されて、ビットストリームに多重化される。
したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合(予測ブロック内に複数の変換ブロックが存在する場合)には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
なお、画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部1から可変長符号化部15に出力されて、ビットストリームに多重化される。
イントラ予測部5におけるイントラ予測処理の詳細は後述する。
即ち、イントラブロックコピー予測部6は、イントラ用メモリ12に格納されている局所復号画像の中で、予測ブロックPi nと最も近似している領域のブロック(参照ブロック)を特定して、その参照ブロックを指し示すブロックシフトベクトルを探索する。
イントラブロックコピー予測部6は、参照ブロックを指し示すブロックシフトベクトルを探索すると、そのブロックシフトベクトルが指し示す参照ブロックを予測ブロックPi nの予測画像として、イントラブロックコピー予測画像PICOPYi nを生成する(ステップST5)。
そこで、この実施の形態1では、予測ブロックPinと最も近似している参照ブロックが未符号化領域の一部を含んでしまう場合でも、その参照ブロックを指し示すブロックシフトベクトルを探索することができるようにするために、図33に示すように、事前に、予測ブロックが属している符号化対象の最大符号化ブロック(当該最大符号化ブロック)の中で、未符号化領域内の各画素の画素値を所定の方法で仮定する処理を実施する(所定の手法で定まる画素値で未符号化領域内の画素を埋める処理を実施する)。
また、以下の手法は、各色成分(輝度成分(Y)、色差成分(U、V)あるいはその他の色成分(赤色成分(R)、緑色成分(G)、青色成分(B)等))それぞれで実施して未符号化領域内の各画素を埋める画素値を決定する。
図34の例では、“0”の画素値を有する画素と、“64”の画素値を有する画素とが、当該最大符号化ブロックの左に隣接しており、“64”の画素値を有する画素の数が、“0”の画素値を有する画素の数より多いので、“64”の画素値で未符号化領域内の画素を埋める。
一般的に、最も画素数の多い画素値は背景色となる可能性が高いため、画素埋めを行った未符号化領域と、符号化済み領域の背景との間に、不自然な輝度変化が発生せず、予測効率の低下を抑えることができる。
あるいは、図37に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、当該最大符号化ブロックの左に隣接している複数の画素を用いるか、上に隣接している複数の画素を用いるかを適応的に切り替えてもよい。
また、参照する隣接画素の一部の画素が存在しない場合、予め定めた手法によって参照する画素を生成する。例えば、予め定めた固定値で代替する方法や、存在する別の位置の隣接画素の画素値で代替する方法等がある。さらに、参照する隣接画素が一つも存在しない場合については、予め定めた固定値で未符号化領域の画素を埋めるようにする。なお、予め定める固定値としては、取り得る画素値の中間値等が挙げられる。
イントラブロックコピー予測処理は、一般的に、テキスト画像やCAD画像などのグラフィックス描画された文字や線分等に効果が高い予測処理であるが、例えば、テキスト画像は、一般的に白地の背景が多いため、例えば、白色の画素(画素値が0〜255を取り得る場合、“255”の画素値を有する画素)をテキスト画像の未符号化領域内に埋めると、イントラブロックコピー予測処理が効果的となり、多くの画像で性能改善効果を期待することができる。その他、取り得る画素値の中間値(画素値が0〜255を取り得る場合、“128”の画素値を有する画素)とする等、設定する画素値は上記以外でも良い。
予め設定された画素値(固定値)で未符号化領域内の画素を埋める手法は、コンテンツによっては予測精度が低下してしまう可能性があるが、処理負荷が非常に小さいメリットがある。
このとき、選択可能な画素値の候補としては、存在している全ての画素値でもよいし、選択可能な画素値の代表値を決めて、その代表値だけを選択できるようにしてもよい。
代表値を定める場合には、可変長符号化部15が代表値自体を符号化するのではなく、その代表値を示すインデックスを符号化するようにすれば、符号化ビットストリームの符号量を抑制することができる。
具体的には、代表値が、例えば、0、64、128、192、256である場合、その順番にインデックスを0、1、2、3、4と定義し、選択した代表値を示すインデックスを可変長符号化する。
このような代表値を定める例として、白(最大値)、グレー(中間値)、黒(最小値)等の固定的な値を代表値として定めて、これらの代表値の中から任意の代表値を選択する方法や、図35に示すようなMove−To−Front法を用いて、適応的に代表値を変える方法がある。
本例の場合、初期テーブルとして、画素値を例えば白(最大値)から黒(最小値)の順番に並べたのち、図35のように、例えば、“255”の画素値が選択されれば、“255”の画素値を示す“6”のインデックスを符号化する一方、“255”の画素値がテーブルの一番上にくるように並び替える(“255”の画素値を示すインデックスが“1”になるようにテーブルを並び替える)ものである。
各最大符号化ブロックにおいて、テーブル上位の1つ以上の画素値(例えば、上位8つ)を代表値として、これらの代表値から任意の代表値を選択するようにする。
具体的には、図36に示すような画素を参照するフィルタ処理を実施する(実線の円は参照画素を示し、点線の円はフィルタ処理対象画素を示している)。
S(x,y)を座標(x,y)における符号化済み画素の画素値(復号された画素値)又はフィルタ生成画素値(未符号化領域の場合)とすると、フィルタ処理対象画素の座標を(x,y)とした場合、下記の式でフィルタ処理が実行される。
水平方向フィルタ:
垂直方向フィルタ:
ここで、cn(n=0、1、・・・、2Nh+1),c’m(m=0、1、・・・、2Nv+1)はフィルタ係数、Nh,Nvはフィルタの参照画素数を決める定数である。
即ち、水平方向フィルタはフィルタ処理対象画素の左に位置する隣接画素群によるフィルタ処理を示し、垂直方向フィルタはフィルタ処理対象画素の上に位置する隣接画素群によるフィルタ処理を示している。
水平方向フィルタ:
Nh=1、c0=1/4、c1=1/2、c2=1/4、c3=0
(c3はオフセット値、本例ではオフセットなしとしている)
垂直方向フィルタ:
Nv=1、c’0=1/4、c’1=1/2、c’2=1/4、c’3=0
(c’3はオフセット値、本例ではオフセットなしとしている)
したがって、上記の例(Nh=1、c0=1/4、c1=1/2、c2=1/4、c3=0の例)の場合、
c0=1/4、c1=3/4、c2=0、c3=0
となる。なお、このような参照不可能な画素が生じるフィルタ処理については、別途フィルタ係数やNh,Nvを定義するようにしてもよい。例えば、上記の水平方向フィルタの例では、Nh=1のままとして、
c0=1/2、c1=1/2、c2=0、c3=0
としてもよい。この場合、フィルタ演算が2画素の単純平均となり、処理が簡易になるメリットがある。
水平方向フィルタ:
Nh=0、c0=1、c1=0
(c1はオフセット値、本例ではオフセットなしとしている)
垂直方向フィルタ:
Nv=0、c’0=1、c’1=0
(c’1はオフセット値、本例ではオフセットなしとしている)
も挙げられる。
この例の場合、水平方向フィルタは対象画素の左の画素の画素値、垂直方向フィルタは対象画素の上の画素の画素値をコピーすることとなる。即ち、水平方向フィルタは水平方向に、垂直方向フィルタは垂直方向に当該最大符号化ブロックに隣接する画素の画素値が一様にコピーされることと等価であり、フィルタ処理に要する演算量を削減できると共に、当該最大符号化ブロック内の画素全てを同時に生成することができる(当該最大符号化ブロック内の画素全てを並列に処理して生成することができる)。
あるいは、図37に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、水平方向フィルタと垂直方向フィルタのどちらを用いるかを適応的に切り替えてもよい。具体的には、垂直方向の未符号化部分が短くなるdh<dwのときは垂直方向フィルタを用い、その他(dh≧dw)のときは水平方向フィルタを用いるようにする。このようにすることで、常にフィルタ対象画素と符号化済み画素との距離(dh、dw)が短くなるフィルタを選択できるため、画像の空間的相関を精度良く利用することができる。
ここで、c”l(l=0、1、・・・、3)はフィルタ係数を示している。また、c”0+c”1+c”2=1となるとき、平滑化フィルタであることを示している。また、c”3はオフセット値を表している。上記フィルタの例としては下記が挙げられる。
c”0=1/4、c”1=3/8、c”2=3/8、c”3=0
(c”3はオフセット値、本例ではオフセットなしとしている)
本例ではフィルタ処理対象画素に近い画素程フィルタ係数が大きくなっており、これは一般にフィルタ処理対象画素に近い画素程、フィルタ処理対象画素との相関が高いためである。なお、フィルタ処理の手順としては、未符号化領域の左上の画素からフィルタ処理を実施し、隣接する未符号化領域の画素を順にフィルタ処理していくことで、常に参照画素S(x−1,y−1)、S(x,y−1)、S(x−1,y)が存在するようにフィルタ処理を行うことができる。
水平方向フィルタ:
Nh=1、c0=1/4、c1=1/2、c2=1/4、c3=0
垂直方向フィルタ:
Nv=1、c’0=1/4、c’1=1/2、c’2=1/4、c’3=0
図38のフィルタ:
c”0=1/4、c”1=3/8、c”2=3/8、c”3=0
これらのフィルタは、有意なフィルタ係数の分母が全て2のべき乗であるため、計算機による整数演算として実現する場合、下記の式に置き換えることができる。
水平方向フィルタ:
垂直方向フィルタ:
図38のフィルタ:
ここで、“>>”は右ビットシフト演算を示している。これらの計算式は全て整数精度のため、元の式と比べて小数精度の誤差は生じるものの、整数演算とビットシフトのみで実行できるため、高速な計算を実現することができる。
この場合も上記で説明したフィルタと同様に、フィルタ処理を各参照画素に対するフィルタ係数とオフセット値から定式化することができる。このようにフィルタの参照画素を増やすことで、演算量は増加するものの、未符号化領域画素の高精度な生成を実現することができる。
即ち、最大符号化ブロックの未符号化領域のうち、予測対象の符号化ブロック(当該符号化ブロック)内のみ、上記(1)〜(3)の手法で画素を埋めるようにする。具体的には、下記の通りとする。
(1)の手法の場合:
予測対象の符号化ブロック(当該符号化ブロック)の左に隣接している複数の画素の画素値の中で画素数の最も多い画素値で当該符号化ブロック内の未符号化領域の画素を埋めるようにする。
(2)の手法の場合:
予測対象の符号化ブロック(当該符号化ブロック)に対して、当該符号化ブロック内の未符号化領域を埋める代表値を決定する。代表値(あるいは代表値を示すインデックス)は符号化ブロック単位に符号化する。
(3)の手法の場合:
予測対象の符号化ブロック(当該符号化ブロック)に対して、当該符号化ブロック内の未符号化領域をフィルタ処理によって埋めるようにする。
したがって、図42に示す例のように、各符号化ブロックのイントラブロックコピー予測処理において、ブロックシフトベクトルが指し示す参照ブロックが含んでよい未符号化領域は、当該符号化ブロック内のみとなる。したがって、最大符号化ブロック単位で未符号化領域の画素を埋める処理を行う場合と比較して参照可能な領域は狭くなる。しかし、最大符号化ブロックより小さい符号化ブロックの単位で適応的に画素を埋める処理が行えるため、埋める画素の予測精度が向上し、イントラブロックコピー予測の予測効率の改善を期待することができる。
また、参照する隣接画素の一部の画素が存在しない場合、予め定めた手法によって参照する画素を生成する。例えば、予め定めた固定値で代替する方法や、存在する別の位置の隣接画素の画素値で代替する方法等がある。さらに、参照する隣接画素が一つも存在しない場合については、予め定めた固定値で未符号化領域の画素を埋めるようにする。なお、予め定める固定値としては、取り得る画素値の中間値等が挙げられる。
画素数を数える画素値を限定する手法の例を次に述べる。まず、画素値を量子化する例について説明する。本例では、画素値を予め定めた量子化器によって量子化し、その量子化後の代表値の数を数える。そして、最も多い画素数の代表値で未符号化領域の画素を埋めるようにする。ここで、取り得る画素値が0〜2bit_depth−1であり、取り得る画素値をNQ個の代表値に量子化するとする(bit_depthは0以上の整数、NQは1以上の整数)。この時の量子化処理の例として、整数精度の演算で行う例を下記に示している。
pow=bit_depth−base
(代表値)=(((画素値)+(1<<(pow−1)))>>pow)<<pow
画素数を数える画素値を限定する手法のその他の例として、画素数を数えている画素値の個数が所定の数に達したら、新しく出現する画素値を無効とする手法がある。
なお、画素数を数える画素値を限定する手法については、上記手法に限るものではなく、上記以外の手法でも良い。
そして、連続する画素数が最大となった画素値を未符号化領域の画素を埋める画素値に決定する。なお、未符号化領域内の画素を埋め込む単位は最大符号化ブロック、符号化ブロック、予測ブロックのいずれの単位であっても各々で設定された参照画素に対して本処理を実施するものとする。
本手法の場合、最大の連続画素数Lmaxと、それに対応する画素値Smax、現在連続している画素値Stmpと、その連続画素数Ltmpとを記憶し、所定の参照順に画素を参照していく際に、現在参照している画素の画素値ScurとStmpが同じ場合は連続画素数Ltmpを1増やし、異なる場合は、LtmpとLmaxを比較してLtmpが大きい場合にLmax=Ltmp、Smax=Stmpとした後で、Ltmpを初期化すると共にStmp=Scurとする。これを全ての参照画素に対して行った後のSmaxが連続する画素数が最大となる画素値となる。
ただし、図44は図43に記載のステップST105及びステップST106の「Lmax判定及びSmax更新」の処理手順例を示している。本例では、ステップST100でLmax及びSmaxを1(連続画素数1)に初期化すると共に、StmpとLtmpを最初に参照する隣接画素の画素値に設定する。そして、残りの参照する隣接画素に対して(ステップST101)、SmaxとLmaxを更新する処理を実施する(ステップST102〜ステップST106)。
まず、これから参照する画素の画素値をScurとし(ステップST102)、ScurとStmpが同じか比較する(ステップST103)。そして、ScurとStmpが同じ場合は連続画素数Ltmpの値を1増加し(ステップST104)、異なる場合は図44記載のLmax判定及びSmax更新処理を行う(ステップST105)。
ただし、ステップST106については、ステップST201の処理の内のLmax=Ltmpとする処理と、ステップST202の処理は不要のため、省略して良い。
なお、本手法の参照する隣接画素は(1)と同一とするため、(1)で説明した図37に示すブロックシフトベクトルが指す参照ブロック内の未符号化領域の形状によって、当該符号化ブロックの左に隣接している複数の画素を用いるか、上に隣接している複数の画素を用いるかを適応的に切り替えるようにしてもよい。切り替え手法も(1)と同一である。
イントラブロックコピー予測パラメータとしては、イントラブロックコピー予測部6により探索されたブロックシフトベクトルや、未符号化領域の画素値埋め処理で符号化すべきパラメータが存在する場合は対象のパラメータが挙げられる。また、ブロックシフトベクトルは直前の符号化済み予測ブロックのブロックシフトベクトル、あるいは当該予測ブロックの周囲の符号化済み予測ブロックのブロックシフトベクトルとの差分値をイントラブロックコピー予測パラメータの一部として符号化するようにしてもよい。
この差分ベクトルはU成分とV成分でそれぞれ独立に決定するようにしてもよい。このようにすることで一層自由度が高まるため、色差成分の予測精度を更に改善することができる。
また、上記の差分ベクトルは、±M画素以内(M:自然数)に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。
このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、±1画素以内の小数画素精度に限定するようにしてもよい。この場合も、探索する範囲を限定することで探索に要する演算量及び参照画像に要するメモリ量を削減することができる。
なお、画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部1から可変長符号化部15に出力されて、ビットストリームに多重化される。
また、動き補償予測部7により探索された動きベクトルも可変長符号化部15に出力されて、ビットストリームに多重化される。
この差分ベクトルはU成分とV成分でそれぞれ独立に決定するようにしてもよい。このようにすることで一層自由度が高まるため、色差成分の予測精度を更に改善することができる。
また、上記の差分ベクトルは、±M画素以内(M:自然数)に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。
このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、小数画素精度の画素のみに限定するようにしてもよい。例えば、±1画素以内の小数画素精度の画素に限定することで、小数画素精度の高精度な予測を実現しつつ、探索に要する演算量及び参照画像に要するメモリ量を削減することができる。
色成分間予測パラメータに含まれているフラグがONである場合、色差成分では、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理を行わず、図45に示すように、色成分間ベクトルが指し示す符号化済みの色差成分のブロックを参照して予測画像を生成する。
図46の灰色の画素で示す予測画像生成対象ブロック及び参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素(符号化済み画素)を用いて、参照する符号化済み色成分のブロックの画素値と、予測対象の色差成分の予測画像の画素値との相関を示す相関パラメータ(色成分間相関パラメータ)を算出し、その相関パラメータによって補正された対応する符号化済み色差成分のブロックの画素値を色差成分の予測画像の画素値とする。相関パラメータによる画素値の補正式は下記の通りである。
補正式: (予測画像の画素値)=α×(参照ブロックの画素値)+β
補正式において、α、βは相関パラメータを示し、α、βのうち、どちらか一方のみで補正するものとしても良い。具体的には、以下の通りである。
(予測画像の画素値)=α×(参照ブロックの画素値)
あるいは、
(予測画像の画素値)=(参照ブロックの画素値)+β
このようにすることで、相関パラメータの算出に要する演算量を削減することができる。
相関パラメータα、βは、図46の灰色の画素で示す予測画像生成対象ブロックと、参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素間の平均二乗誤差を最小とするように、下記の式から算出される。
ここで、PC は図46の灰色の画素で示す予測画像生成対象ブロックの上及び左に隣接している複数の画素、 PR は参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素であり、M(A)はAの平均値を示している。そして、R(A,B)は下記の式で求められる。
上記より、相関パラメータは予測画像生成対象ブロック及び参照する符号化済み色成分のブロックの上及び左に隣接している複数の画素(符号化済み画素)を参照することから復号側において同一の処理をすることで相関パラメータを算出可能である。したがって、付加情報として符号化が必要なパラメータなしに、復号側も予測画像生成対象ブロック及び参照する復号済み色成分のブロックの上及び左に隣接している複数の画素(復号済み画素)を参照して相関パラメータの算出を実施できる。
なお、イントラブロックコピー予測部6及び動き補償予測部7において、予測画像生成対象ブロックの単位を予測ブロック単位とする場合、当該符号化ブロック内の画素は符号化されていないため、各予測ブロックの相関パラメータは、各予測ブロックが属する符号化ブロックに隣接する画素を参照して算出する。図47は符号化ブロックを左右に2分割している予測ブロックの例を示している。このとき、灰色の画素で示す当該符号化ブロックに隣接する画素を用いて予測ブロックの相関パラメータを算出する。したがって、予測ブロックの分割状態に関わらず、符号化ブロック内の各予測ブロックの相関パラメータは同一となる。
あるいは、図47の灰色の画素の内、当該予測ブロック(予測画像生成対象ブロック)に隣接する画素のみを用いて相関パラメータを算出するようにしても良い。このようにすることで、当該予測ブロックに隣接した、当該予測ブロック内の画素との相関の高い画素のみから相関パラメータが算出されるため、パラメータ算出精度を高めることができる。さらに、パラメータ算出処理で参照する灰色の画素数を常に2のべき乗としてもよい。このようにすることで、相関パラメータの算出式を簡易化でき、演算量を削減することができる。なお、上述した相関パラメータの算出例は全て2のべき乗となる。
なお、入力信号フォーマットがYUV4:2:0フォーマットあるいはYUV4:2:2フォーマットの場合は、参照する符号化済み色成分を予測画像生成対象ブロックと同一のサイズとなるようにブロックサイズをスケーリングして参照する。
また、色成分間ベクトルは±M画素以内(M:自然数)に限定するようにしてもよい。このように探索する範囲を限定することで探索に要する演算量を削減することができる。
また、対応する画像復号装置においても用意する参照画像が限定されることで参照画像のメモリ量を削減することができる。このとき、小数画素精度を禁止するようにしてもよい。このようにすることで、さらに探索に要する演算量を削減しながら、参照画像に要するメモリ量を削減することができる。
あるいは、小数画素精度の画素のみに限定するようにしてもよい。例えば、±1画素以内の小数画素精度の画素に限定することで、小数画素精度の高精度な予測を実現しつつ、探索に要する演算量及び参照画像に要するメモリ量を削減することができる。
また、参照する符号化済み色成分について、Y(輝度)成分、U成分、V成分の順番で符号化する場合、U成分はY成分、V成分はY成分又はU成分を参照する。このとき、V成分については、Y成分とU成分のどちらを参照するかを画像符号化装置と画像復号装置共通で固定的に構成してもよいし(例えば、常にU成分を参照するように構成する)、どちらを参照するかを切り替え可能として、その切り替え単位毎に参照成分情報を符号化するようにしてもよい。
切り替えの単位は、シーケンス、ピクチャ、スライス単位としてもよいし、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程予測効率は高くなる。一方、切り替え単位を大まかにすることで符号化する参照成分情報を符号化する際に発生する符号量を抑えることができる。
上記の例では、上記の参照色成分情報について、Y成分とU成分のどちらを参照するかを決定する情報として説明したが、さらにY成分とU成分を共に参照して重み付き平均によって参照ブロックを生成する場合も含めるようにしてもよい。即ち、設定した切り替え単位毎に、Y成分のみを参照して予測画像を生成するか、U成分のみを参照して予測画像を生成するか、Y成分とU成分を共に参照して予測画像を生成するかを選択するようにする。このようにすることで、より高精度な予測を実現することができる。
同様に、イントラブロックコピー予測部6あるいは動き補償予測部7で色差成分用の差分ベクトルを符号化するように構成している場合、上記のフラグがOFFの予測ブロックのみの色差成分用の差分ベクトルを符号化する。ただし、輝度成分と色差成分でイントラブロックコピー予測パラメータあるいはインター予測パラメータを共通とするように画像符号化装置を構成する場合、上記ブロックシフトベクトルあるいは動きベクトルは常に輝度成分と色差成分で同一であるため、差分ベクトルは符号化しない。対応する画像復号装置は、輝度成分のイントラブロックコピー予測パラメータあるいはインター予測パラメータを色差成分でも用いるように構成する。もしくは、色差成分の差分ベクトルは常に0と解釈するように構成する。
また、イントラ予測部5の色差成分のイントラ予測パラメータと色成分間予測フラグを組み合わせて、図48に示すような色差成分のイントラ予測パラメータとして符号化するようにしてもよい。この場合、イントラ予測パラメータが色成分間予測処理を示す場合に色成分間予測処理を行うものとし、それ以外の場合は、イントラ予測パラメータに従ってイントラ予測を実施する。
さらに、上記参照色成分情報と上記色成分間予測フラグを一つの情報としてもよい。即ち、上記参照色成分情報に、色成分間予測処理を行わない(符号化済み色成分を参照しない)場合も含めるようにしてもよい。
また、変換・量子化部9は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部10及び可変長符号化部15に出力する(ステップST8)。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
したがって、変換・量子化部9は、各直交変換サイズに対して色成分や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグを符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部9は、設定した量子化マトリクスパラメータを可変長符号化部15に出力する。
変換・量子化部9が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部10は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部8から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部11に出力する(ステップST9)。
なお、加算部11は、その局所復号画像をループフィルタ部13に出力するとともに、その局所復号画像をイントラ用メモリ12に格納する。
この局所復号画像が、以降のイントラ予測処理及びイントラブロックコピー予測処理の際に用いられる符号化済みの画像信号になる。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の画素値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
これらの手法は、予め画像符号化装置及び画像復号装置で共通に用意されており、例えば図14に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部15に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
図15は16×16画素の変換ブロックにおける係数の符号化順(スキャン順)を示している。
このように、4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに、各CGはCG内の16個の係数を右下の係数から順に符号化する。
その際、有意(非零)係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図16に示す例のように、一般的に左上に近いほど有意(非零)係数が多く発生するために、図15に示すように、右下から順に符号化することで効率的に符号化することができる。
なお、上記では16×16画素の変換ブロックについて説明したが、8×8画素や32×32画素の変換ブロック等、16×16画素以外のブロックサイズにおいてもCG(符号化サブブロック)単位の符号化処理を実施するものとする。
また、イントラ予測が選択されている4×4画素と8×8画素の変換ブロックについては、イントラ予測モードのインデックスに応じて、図15のスキャン順ではなく図19に示すスキャン順で処理を行う。これはイントラ予測の方向によって予測差分信号の周波数成分の分布が異なる傾向があるためである。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部13における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグなどといったスライス単位のパラメータをまとめたものである。
具体的には、シーケンスパラメータセット(上記シーケンスレベルヘッダに相当)、ピクチャパラメータヘッダ(上記ピクチャレベルヘッダに相当)、スライスデータはそれぞれ固有のNALユニットタイプとして定義され、NALユニットタイプの識別情報(インデックス)と共に符号化される。
補足情報についても存在する場合には、固有のNALユニットとして定義される。また、上記ピクチャデータはアクセスユニットとして定義され、スライスデータを示すNALユニットや補足情報を示すNALユニット等の当該ピクチャに関わるNALユニットをまとめた、各のピクチャのデータアクセスの単位を示している。
イントラ予測部5は、上述したように、予測ブロックPi nのイントラ予測パラメータを参照して、その予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成するが、ここでは、輝度成分における予測ブロックPi nのイントラ予測画像を生成するイントラ処理について説明する。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。
ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部5は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックPi nのイントラ予測画像を生成する。
予測画像生成ブロックのサイズをli n×mi n画素とする。
図8はli n=mi n=4の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測画像生成ブロックの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測画像生成ブロックの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
さらに、予測画像生成ブロックの上端及び左端に位置する図17の領域A,B,Cに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式(1)にしたがって、図18のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。
・領域A(Pi nの左上の画素)
a0=1/2,a1=1/4,a2=1/4
・領域B(領域A以外のPi nの上端の画素)
a0=3/4,a2=1/4,(a1=0)
・領域C(領域A以外のPi nの左端の画素)
a0=3/4,a1=1/4,(a2=0)
一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測差分信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測差分信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。
したがって、例えば、32×32画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、32×32画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の画素値(復号された画素値)である。また、算出した予測値が画素値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の画素値(復号された画素値)である。また、算出した予測値が画素値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
一般にブロック端のみ予測方向の画素値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測差分信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測差分信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。
したがって、例えば、32×32画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式(2)及び式(3)の2行目の式を常に用いるようにし(予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする)、32×32画素より小さいブロックのみに、上記フィルタ処理を行う式(2)及び式(3)を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
図9に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負の実数である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部15に出力される。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で1つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
予測ブロックPi nの色差成分に対して、色差成分のイントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部15に出力する。
色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
具体的には、図28に示すように、輝度成分の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差成分の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図29に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθL、色差成分の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
図30は図7のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図30の変換テーブルは、予測方向の角度がθであるとき(図29を参照)、イントラ予測モードの方向性予測が図31に示すtanθとなる角度である場合、tanθC=2tanθLの関係に最も近い角度θCに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでYUV4:2:2信号のフォーマットに応じた色差成分の適切な予測を実施することができる。
可変長復号部31は、図1の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報(シーケンスレベルヘッダ)及びピクチャ単位のヘッダ情報(ピクチャレベルヘッダ)などの各ヘッダ情報とピクチャデータを復号する。ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある符号化データがまとめられているものである。ピクチャデータはスライスデータの他に補足情報を示すヘッダ情報を含む場合もある。
具体的には、各直交変換サイズの色成分や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、又は、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報(スライスレベルヘッダ)を復号し、各スライスの符号化データを復号する。
ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部31は、決定された最大符号化ブロック単位に、図6で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(ステップST23)。
その際、図1の画像符号化装置の可変長符号化部15での圧縮データの符号化処理と同様に、CG単位の係数の復号処理を実施する。
したがって、図15に示すように、4×4画素単位の16個のCGを右下のCGから順に復号処理し、さらに、各CGはCG内の16個の係数を右下の係数から順に復号していくことになる。
ただし、スキャン順については、イントラ予測が選択されている4×4画素と8×8画素の変換ブロックの場合、イントラ予測モードのインデックスに応じて、図15のスキャン順ではなく図19に示すスキャン順で処理を行う。
一方、色差成分については、色成分間予測フラグがOFFである場合(色成分間予測処理の非実施を示している場合)、色差成分のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差成分の予測画像を生成する。
色差成分のイントラ予測パラメータが、輝度成分に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度成分と同じフレーム内予測を実施して、色差成分の予測画像を生成する。
具体的には、図28に示すように、輝度成分の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差成分の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図29に示すように、予測方向の角度をθとした場合、輝度成分の予測方向の角度をθL、色差成分の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
図30は図7のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図30の変換テーブルは、予測方向の角度がθであるとき(図29を参照)、イントラ予測モードの方向性予測が図31に示すtanθとなる角度である場合、tanθC=2tanθLの関係に最も近い角度θCに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでYUV4:2:2信号のフォーマットに応じた色差成分の適切な予測を実施することができる。
このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
このとき、ブロックシフトベクトルが指すブロックが復号済み領域を超えるような参照を可能とするように、復号対象の最大符号化ブロック内の復号前の領域(未復号領域)の画素を図1の画像符号化装置におけるイントラブロックコピー予測部6と同一の手法で定まる画素値で埋める処理を行う。このとき、未復号領域を上記画素値で埋める処理に必要なパラメータがイントラブロックコピー予測パラメータの一部としてビットストリームに含まれる場合は、可変長復号部31により可変長復号された上記パラメータを用いて未復号領域を上記画素値で埋める処理を行う。
色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するように図1の画像符号化装置が構成されている場合、可変長復号部31は差分ベクトルを復号して色差成分のベクトルを算出する。
色差成分については、輝度成分と同一のベクトルによる予測を実施する。あるいは、輝度成分のベクトルを基準として探索し、輝度成分のベクトルの差分ベクトルを符号化するように図1の画像符号化装置が構成されている場合、可変長復号部31は差分ベクトルを復号して色差成分のベクトルを算出する。
色成分間予測パラメータに含まれている色成分間予測フラグがONである場合、色差成分では、イントラ予測処理、イントラブロックコピー予測処理、動き補償予測処理を行わず、図45に示すように、色成分間ベクトルが指し示す復号済み色成分のブロックを参照して予測画像を生成する。
このとき、図1の画像符号化装置と同一の手法で、参照する復号済み色成分のブロックの画素値と予測対象の色差成分の予測画像の画素値との相関を示す相関パラメータを算出し、その相関パラメータによって補正された対応する復号済み色成分のブロックの画素値を予測対象である色差成分の予測画像の画素値とする。予測画像生成対象ブロックの単位は画像符号化装置と同一の単位(符号化ブロック単位、予測ブロック単位、変換ブロック単位のいずれか)である。
なお、入力信号フォーマットがYUV4:2:0フォーマットあるいはYUV4:2:2フォーマットの場合は、図1の画像符号化装置と同様に、参照する復号済み色成分を予測画像生成対象ブロックと同一のサイズとなるようにブロックサイズをスケーリングして参照する。
色成分間予測処理がOFFのブロックは、輝度成分と同一の予測部(イントラ予測部34、イントラブロックコピー予測部35あるいは動き補償予測部36)で予測を実施する。したがって、イントラ予測部34の色差成分のイントラ予測パラメータのうち、色成分間予測を行わない予測ブロックのイントラ予測パラメータだけが復号され、そのイントラ予測パラメータにしたがってイントラ予測処理が実施される。
同様に、図1の画像符号化装置が色差成分用の差分ベクトルを符号化するように構成している場合、色成分間予測フラグがOFFである場合に限り、イントラブロックコピー予測部35あるいは動き補償予測部36が用いる色差成分用の差分ベクトルが復号される。
上記の例では、予測ブロック単位に色成分間予測処理の実施の有無を選択する場合について説明しているが、図1の画像符号化装置が符号化ブロック単位あるいは最大サイズの符号化ブロック単位に選択を実施するように構成されている場合、画像復号装置では、同一のブロック単位の色成分間予測フラグを復号するように構成する。このようにすることで正しく符号化パラメータを復号することができる。
さらに、可変長復号部31により可変長復号された色成分間予測パラメータとして、色成分間予測フラグがONの場合には、可変長復号部31は参照色成分のブロックの位置を示す色成分間ベクトルやどの色成分を参照するかを示す参照色成分情報を復号する。ただし、図1の画像符号化装置で上記色成分間ベクトルや上記参照色成分情報を用いないように構成している場合、画像復号装置でも、これらパラメータは復号せずに、画像符号化装置と同一の参照色成分の、同一の位置のブロックを参照して予測画像を生成する。
このとき、可変長復号部31により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
また、逆量子化・逆変換部32は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部10から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST29)。
この復号画像が、以降のイントラ予測処理及びイントラブロックコピー予測処理の際に用いられる復号済みの画像信号になる。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部39は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合に、例えば、画像符号化装置のループフィルタ部13が図11のように構成されている場合には、図12に示すようにループフィルタ部39が構成される。
なお、クラス分類手法の候補として、ループフィルタ部13の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
このループフィルタ部39によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
即ち、可変長符号化部15は、色成分間予測フラグがOFFに設定されている場合、その色成分間予測フラグを含む色成分間予測パラメータを可変長符号化するとともに、当該予測ブロックにおける色差成分のイントラ予測パラメータ、ブロックシフトベクトルを含むイントラブロックコピー予測パラメータ、あるいは、インター予測パラメータ及び動きベクトルを可変長符号化する。ただし、色差イントラ予測モードが輝度色差共通イントラ予測モード(DMモード)である場合、輝度成分のイントラ予測パラメータを可変長符号化する。また、輝度成分のイントラブロックコピー予測パラメータを基準としている場合、色差成分のイントラブロックコピー予測パラメータとして、輝度成分のイントラブロックコピー予測パラメータとの差分ベクトルを可変長符号化する。また、輝度成分のインター予測パラメータ及び動きベクトルを基準としている場合、色差成分のインター予測パラメータ及び動きベクトルとして、輝度成分のインター予測パラメータ及び動きベクトルとの差分ベクトルを可変長符号化する。
一方、その色成分間予測フラグがONに設定されている場合、その色成分間予測フラグを可変長符号化するとともに、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、さらに、当該予測ブロックの色成分間予測パラメータを可変長符号化する。
一方、その色成分間予測フラグがONに設定されている場合、その同一判定用フラグを可変長復号し、その同一判定用フラグが、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なる旨を示しているときだけ、当該予測ブロックの色成分間予測パラメータを可変長復号する。
このとき、本実施の形態の画像符号化装置は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化するように構成されている場合、復号側は、色成分間予測フラグより先に上記同一判定用フラグを符号化し、当該予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、当該予測ブロックの色成分間予測フラグを含めた色成分間予測パラメータを可変長符号化する。
つまり、当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータ(符号化済みの色成分間予測パラメータ)と同じであるか否かを示す同一判定用フラグを先に可変長符号化し、さらに、同じであれば、上隣り又は左隣りのブロックのうち、どちらのブロックと同じであるかを示すフラグを可変長符号化することで(当該予測ブロックが参照するブロックが、常に上隣りのブロックである場合、あるいは、常に左隣りのブロックである場合、当該フラグは可変長符号化する必要はない)、色成分間予測パラメータに空間的な相関がある場合(当該予測ブロックの色成分間予測パラメータが上隣り又は左隣りのブロックの色成分間予測パラメータと同一である場合)、当該予測ブロックの色成分間予測パラメータの符号化処理を省略する。
画像復号装置では、当該予測ブロックの色成分間予測パラメータが上隣り又は左隣りのブロックの色成分間予測パラメータと同一である場合、当該予測ブロックの色成分間予測パラメータの符号化データが送信されていなくても、同一判定用フラグと、上隣り又は左隣りのブロックのうち、どちらのブロックと同じであるかを示すフラグとを可変長復号すれば、当該予測ブロックの色成分間予測パラメータと同じ復号済みの色成分間予測パラメータ(当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータ)を特定することができるため、符号量を削減することができる。
これは一般に、上記ブロック数が多い程、当該予測ブロックの色成分間予測パラメータの前に符号化している色成分間予測パラメータと同じ、あるいは、当該予測ブロックの上隣り又は左隣りのブロックの色成分間予測パラメータと同じである確率が高くなるためである。
この実施の形態2では、予測差分信号の色成分間相関除去処理を実施する画像符号化装置及び画像復号装置について説明する。
即ち、上記実施の形態1の画像符号化装置における色差成分の予測差分信号に対して、符号化済み色成分の局所復号予測差分信号との差分値を変換・量子化部9に入力すると共に、逆量子化・逆変換部10で得られる色差成分の局所復号予測差分信号に対して上記符号化済み成分の予測差分信号を加算して最終的な局所復号予測差分信号を得る画像符号化装置を構成する。
また、上記実施の形態1の画像復号装置における逆量子化・逆変換部32で得られる色差成分の復号予測差分信号に対して、この実施の形態2の画像符号化装置と同一の符号化済み色成分の復号予測差分信号を加算して最終的な復号予測差分信号を得る画像復号装置を構成する。
このようにすることで色成分間の予測差分の相関を低減し、色差成分の予測差分信号の符号化に要する符号量を削減することができる。
さらに、変換ブロック単位に、上記予測差分信号の色成分間相関除去処理を行うか否かを示すON/OFF情報をフラグ情報として符号化するようにしてもよい。このようにすることで、変換ブロック単位に色成分間相関除去処理を行う場合と行わない場合の2つの中から符号化効率が高い方を選択することができるため、符号化効率を高めることができる。
なお、上記ON/OFF情報は、上記相関パラメータの一部として符号化するようにしてもよい。具体的には、相関パラメータが特定の値の場合(例えば、0)は、上記色成分間相関除去処理を行わないことを示すものとすればよい。
切り替えの単位は、シーケンス、ピクチャ、スライス単位としてもよいし、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程予測効率は高くなる。一方、切り替え単位を大まかにすることで符号化する参照色成分情報を符号化する際に発生する符号量を抑えることができる。
さらに、ブロック単位に参照色成分を切り替え可能とする場合、シーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダに上記ブロック単位の切り替え処理を有効とするか否かを示すフラグを持つようにしてもよい。このようにすることで、本切り替え処理が効果的な場合のみ有効とするようにして、本切り替え処理が効果的でない場合に上記ブロック単位の参照色成分情報を符号化せずに済み、符号化効率を高めることができる。
この場合、上記実施の形態1の色成分間予測処理のブロック単位のON/OFF情報と上記予測差分信号の色成分間相関除去処理のブロック単位のON/OFF情報を統合してもよい。具体的には、上記実施の形態1の色成分間予測処理を行う場合、上記予測差分信号の色成分間相関除去処理を行う場合、両処理共に実施しない場合をインデックス情報とする(例えば、順に、インデックス2、1、0とする)。このとき、両処理のON/OFF情報の切り替え単位は統一しなくてはならない。すなわち、この場合、ON/OFF処理は符号化ブロック、予測ブロック、変換ブロック単位のいずれかに統一する。あるいは独自のブロック単位としても良い。このようにすることで、両処理に最適なブロックサイズを設定することができる。
さらに、上記上位ヘッダ残差色成分間予測有効フラグについて、ピクチャを分割するサブピクチャの単位に設けるようにしても良い。具体的には、非特許文献1記載のTileやWavefront Parallel Processingのサブピクチャの分割単位に上記上位ヘッダ残差色成分間予測有効フラグを設けることで、色成分間予測が効果的な領域のみ有効とすることが可能となり符号量の増加を抑制しつつ高精度な予測が実現できる。
あるいは、DCTとDSTをブロックサイズ、符号化モード、イントラ予測パラメータ、イントラブロックコピー予測パラメータ、動き補償予測パラメータ等に応じて切り替えるようにしても良い。例えば、対象とする変換ブロックのサイズが特定のブロックサイズ(しきい値)より小さい場合、DSTを行うようにする、等が考えられる。このようにすることで、対象とする変換ブロックの特性に応じた変換が実現でき、符号化効率を高めることができる。他にも、DCTとDSTのうち符号化効率が高くなる方を選択し、その選択情報を符号化するようにしても良い。このようにすることで、変換ブロック毎にDCTとDSTから適切な方を用いて変換することができ、符号化効率を高めることができる。
上記以外の構成として、予測差分信号の色成分間相関除去処理を実施した変換ブロックの予測差分信号に適切なKL変換を予め設計する、または動的に学習して設計するようにしても良い。このようにすることで、予測差分信号の色成分間相関除去処理を実施した変換ブロックの予測差分信号に一層適した基底による変換が実現でき、符号化効率を高めることができる。
なお、上記で説明した事項以外、この実施の形態2は、上記実施の形態1と同じ構成で同じ処理を実施する。
上記実施の形態1,2では、色成分間相関パラメータである相関パラメータα,βを用いて、色成分間予測処理を実施するものを示したが、複数の相関パラメータα,βの候補の中から、適正な相関パラメータα,βを選択するようにしてもよい。このようにすることで、画像復号装置側では、上記実施の形態1で説明したパラメータの算出処理が不要になり、復号処理の演算量を削減することができる。
前者の固定値を用いる構成では、装置構成の簡易化を図ることができ、後者の色成分間予測パラメータの一部として符号化する構成では、符号化単位毎に最適な相関パラメータを選択することで、高い符号化効率を実現することができる。
一般に、切り替え単位が細かい程、予測効率は高くなる。一方、切り替え単位を大まかにすることで、相関パラメータの選択情報の符号化による発生符号量を抑えることができる。
また、常に相関パラメータの候補は1種類とし、その相関パラメータの候補をシーケンス単位、ピクチャ単位あるいはスライス単位で符号化して切り替えるようにすれば、上記ブロック単位の相関パラメータの選択情報が不要になり、符号量を抑えることができる。
二値化して可変長符号化する方法として、例えば、相関パラメータαの候補パラメータをインデックス化し、その候補パラメータを二進数に変換するUNARY符号やGOLOMB符号によって二値化する方法のほか、候補パラメータを固有の方法で二値化する方法がある。
図49の対応例が、生起確率の高い順番に候補パラメータをインデックス化したものであれば、相関パラメータαの候補パラメータをUNARY符号やGOLOMB符号のような可変長符号に二値化することで高い圧縮率を得ることができる。
図50は相関パラメータαの候補パラメータを二値化する固有の方法の例を示すフローチャートである。
図51は図50の方法を実行することで二値化された相関パラメータαの候補パラメータを示す説明図である。
まず、相関パラメータαの候補パラメータが正であるか否かを判定する(ステップST301)。
図49の例では、インデックスが2や4などの候補パラメータであれば、正であると判定されるが、インデックスが3や5などの候補パラメータであれば、負であると判定される。
上記判定の結果、候補パラメータが正である場合、二値符号の先頭の符号を“0”に設定し(ステップST302)、候補パラメータが負である場合、二値符号の先頭の符号を“1”に設定する(ステップST303)。
図49の場合、例えば、インデックスが2である候補パラメータ“1/2”は、正であるため、図51に示すように、二値符号の先頭の符号が“0”になる。
一方、インデックスが3である候補パラメータ“−1/2”は、負であるため、図51に示すように、二値符号の先頭の符号が“1”になる。
初期段階では、x=1であり、1/x=1であるため、インデックスが0,1の候補パラメータは、絶対値が1/xであると判定されるが、インデックスが0,1以外の候補パラメータは、絶対値が1/xでないと判定される。
上記判定の結果、絶対値が1/xである候補パラメータの場合、二値符号の2番目の符号を“0”に設定し(ステップST306)、二値化処理を終了する。一方、絶対値が1/xでない候補パラメータの場合、二値符号の2番目の符号を“1”に設定する(ステップST307)。
例えば、インデックスが0の候補パラメータは、絶対値が1/xであるため、二値符号の2番目の符号が“0”になり、インデックスが2の候補パラメータは、絶対値が1/xでないため、二値符号の2番目の符号が“1”になる。
初期段階では、x=1であるため、ステップST308によってx=2,4,8,16のように更新され、ステップST305〜ST308の処理は、最大で5回実施される。
このため、例えば、インデックスが5の候補パラメータは、ステップST305〜ST308の処理が3回実施されて、二値符号が“1110”になる。
また、インデックスが9の候補パラメータは、ステップST305〜ST308の処理が5回実施されて、二値符号が“111110”になる。
初期段階では、x=2であるため、インデックスが10,11の候補パラメータは、絶対値がxであると判定されるが、インデックスが10,11以外の候補パラメータは、絶対値がxでないと判定される。
図49の例では、インデックスが0〜9の候補パラメータは、最終的に、ステップST305で、絶対値が1/xであると判定されて、二値化処理を終了しているので、ステップST311で判定の対象となる候補パラメータは、インデックスが10〜15の候補パラメータである。
また、インデックスが10〜15の候補パラメータは、ステップST305〜ST308の処理が5回実施されて、全て絶対値が1/xでないと判定されているため、既に二値符号の先頭から6番目までの符号が確定している。
例えば、インデックスが10の候補パラメータは、絶対値がxであるため、二値符号の7番目の符号が“0”になり、インデックスが13の候補パラメータは、絶対値がxでないため、二値符号の7番目の符号が“1”になる。
初期段階では、x=2であるため、ステップST315によってx=4,8のように更新され、ステップST311〜ST314の処理は、最大で3回実施される。
このため、例えば、インデックスが12の候補パラメータは、ステップST311〜ST314の処理が2回実施されて、二値符号が“01111110”になる。
また、インデックスが15の候補パラメータは、ステップST311〜ST314の処理が3回実施されて、二値符号が“111111110”になる。
この場合、各候補パラメータの二値符号の符号長が生起確率に対応した符号長となるように予め設計しておくことで、高い符号化効率を実現することができる。なお、図51の例は、先に相関パラメータの符号を符号化した後に、図52に示す相関パラメータの絶対値をUNARY符号によって二値化した場合と同一である。
また、相関パラメータα,βを上記実施の形態2における予測差分信号の色成分間相関除去処理の相関パラメータと共通化してもよい。このようにすることで、相関パラメータα,βに関する符号量を削減することができる。
また、相関パラメータα,βは、上述したように、候補パラメータを用意してパラメータの選択単位で選択したパラメータを符号化する。
ただし、相関パラメータαのみ、候補パラメータを用意して選択したパラメータを符号化し、相関パラメータβは上記実施の形態1と同じように符号化側及び復号側で同一の算出処理によって求めるようにしてもよい。一方、相関パラメータβのみ、候補パラメータを用意して選択したパラメータを符号化し、相関パラメータαは上記実施の形態1と同じように符号化側及び復号側で同一の算出処理によって求めるようにしてもよい。
このようにすることで、候補パラメータを符号化することによる符号量の増加量を抑制することができる。あるいは、上記実施の形態1で説明したように相関パラメータαのみ又は相関パラメータβのみとしてもよい。このようにすることで、符号化処理や復号処理の演算量を削減することができる。
上記で説明した事項以外、この実施の形態3は、上記実施の形態1,2と同じ構成で同じ処理を実施する。
この実施の形態4では、予測差分信号に対して色信号フォーマットの変換処理(色変換処理)を実施する画像符号化装置及び画像復号装置について説明する。
即ち、上記実施の形態1,2あるいは3の画像符号化装置における予測差分信号に対して、所定の色変換処理を実施する。そして、色変換後の予測差分信号を上記実施の形態1,2あるいは3と同一の変換・量子化部9に入力する。したがって、色変換後の予測差分信号に対して変換・量子化処理を行う。そして、逆量子化・逆変換部10で得られる局所復号予測差分信号に対して所定の逆色変換処理を実施して最終的な局所復号予測差分信号を得る画像符号化装置を構成する。
ここで、色変換処理及び逆色変換処理の例を説明する。符号化対象の入力画像信号がRGBフォーマットである場合、色変換処理として下記に示すYCoCgフォーマットに変換する処理を実施する。
あるいは、変換・量子化部9にて量子化処理を実施しない無歪み符号化(ロスレス符号化)を行う場合は、色変換時の丸めによる誤差(歪み)が生じないように下記の式とする。
上記色変換処理に対応する逆色変換処理は下記のとおりである。
さらに、上記以外の色変換処理及び逆色変換処理の例としては、下記に示す非特許文献2や非特許文献3で定義されるYCbCrフォーマットに変換する処理を色変換処理、YCbCrフォーマットからRGBフォーマットに戻す処理を逆色変換処理にする方法がある。
このように色変換処理を導入することで、各色成分の予測差分信号の電力をY(輝度)成分に相当する予測差分信号に集中させ、符号化効率を改善することができる。
[非特許文献2] ITU-R BT.601
[非特許文献3] ITU-R BT.709
さらに、上記実施の形態1,2あるいは3の画像復号装置における逆量子化・逆変換部32で得られる復号予測差分信号に対して、輝度成分に相当する予測差分信号は上記画像符号化装置と同一の逆色変換処理を実施して最終的な復号予測差分信号を得る。一方、色差成分に相当する予測差分信号に対しては、復号済み色成分の復号予測差分信号を加算し、可算後の復号予測差分信号に対して所定の逆色変換処理を実施して最終的な復号予測差分信号を得る画像復号装置を構成する。
ここで、上記符号化済み色成分及び上記復号済み色成分(参照色成分)の選択方法は上記実施の形態2と同様である。
このように色変換処理を導入することで、符号化対象の各色成分の予測差分信号の電力を輝度成分に相当する色成分の予測差分信号に集中させた上で、さらに色差成分に相当する色成分の予測差分信号に対して残留する色成分間の相関を色成分間相関除去処理によって除去することで符号化効率を改善することができる。
具体的な切り替え単位は、シーケンス、ピクチャ、スライス単位としてもよいし、最大サイズの符号化ブロック、符号化ブロック、予測ブロック、変換ブロック等のブロック単位としてもよい。一般に、切り替え単位が細かい程、符号化効率は高くなる。一方、切り替え単位を大まかにすることで符号化する上記色変換フラグを符号化する際に発生する符号量を抑えることができる。
画像復号装置では上記色変換フラグを復号し、復号した色変換フラグが有効(“1”)である場合のみ色変換処理を実施することで正しく復号される。
あるいは、上述の予測差分信号に対する色変換処理について、上記実施の形態2に記載の予測差分信号の色成分間相関除去処理との組み合わせを制限しても良い。例えば、上記色成分間相関除去処理は色変換処理を実施しない領域のみ選択可能とする。このようにすることで、画像符号化装置では、色変換処理を実施する領域で上記色成分間相関除去処理に関わる符号化パラメータを符号化する必要がないため、符号量を削減することができる。画像復号装置では、色変換処理を実施する領域では上記色成分間相関除去処理を無効とし、上記色成分間相関除去処理に関わる符号化パラメータを復号しないようにすることで復号処理を簡易化することができる。
・第1色成分:Y成分、G成分
・第2色成分:Cg成分、U成分、Cb成分、B成分
・第3色成分:Co成分V成分Cr成分、R成分
上述した色変換処理及び逆色変換処理以外の例として、第1色成分、第2色成分、第3色成分の順番を入れ替えるようにしても良い。具体的には色変換処理として、第2色成分、第3色成分、第1色成分の順や、第3色成分、第1色成分、第2色成分の順等の順番を入れ替える処理とし、逆色変換処理は第1色成分、第2色成分、第3色成分の順番に戻す処理とする。
このようにすることで、第1色成分、第2色成分、第3色成分に割り当てる色成分を最適な符号化順序で符号化することができ、符号化効率を高めることができる。
Claims (10)
- 予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成手段と、
前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、前記予測ブロックの色成分間予測パラメータを可変長符号化する可変長符号化手段と
を備えた画像符号化装置。 - 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックのイントラ予測パラメータを用いるイントラ予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記イントラ予測パラメータを可変長符号化することを特徴とする請求項1記載の画像符号化装置。 - 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックのブロックシフトベクトルを用いるイントラブロックコピー予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記ブロックシフトベクトルを可変長符号化することを特徴とする請求項1記載の画像符号化装置。 - 前記予測画像生成手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記予測ブロックの動きベクトルを用いる動き補償予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成し、
前記可変長符号化手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記動きベクトルを可変長符号化することを特徴とする請求項1記載の画像符号化装置。 - 予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号し、前記同一判定用フラグが異なる旨を示していれば、前記予測ブロックの色成分間予測パラメータを可変長復号する可変長復号手段と、
前記可変長復号手段により可変長復号された前記同一判定用フラグが異なる旨を示していれば、前記可変長復号手段により可変長復号された色成分間予測パラメータ、前記同一判定用フラグが同じである旨を示していれば、前記符号化済みの色成分間予測パラメータに対応する復号済みの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成手段と
を備えた画像復号装置。 - 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックのイントラ予測パラメータを可変長復号し、
前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記イントラ予測パラメータを用いるイントラ予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項5記載の画像復号装置。 - 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックのブロックシフトベクトルを可変長復号し、
前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記ブロックシフトベクトルを用いるイントラブロックコピー予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項5記載の画像復号装置。 - 前記可変長復号手段は、前記色成分間予測パラメータに含まれる色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記色成分間予測フラグ及び前記予測ブロックの動きベクトルを可変長復号し、
前記予測画像生成手段は、前記色成分間予測フラグが前記色成分間予測処理の非実施を明示している場合、前記動きベクトルを用いる動き補償予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成することを特徴とする請求項5記載の画像復号装置。 - 予測画像生成手段が、予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成処理ステップと、
可変長符号化手段が、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長符号化し、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと異なるものであれば、前記予測ブロックの色成分間予測パラメータを可変長符号化する可変長符号化処理ステップと
を備えた画像符号化方法。 - 可変長復号手段が、予測ブロックにおける色差成分の予測画像を生成する際の色差成分間で予測する予測処理として、前記予測ブロックの色成分間予測パラメータが符号化済みの色成分間予測パラメータと同じであるか否かを示す同一判定用フラグを可変長復号し、前記同一判定用フラグが異なる旨を示していれば、前記予測ブロックの色成分間予測パラメータを可変長復号する可変長復号処理ステップと、
予測画像生成手段が、前記同一判定用フラグが異なる旨を示していれば、前記可変長復号処理ステップで可変長復号された色成分間予測パラメータ、前記同一判定用フラグが同じである旨を示していれば、前記符号化済みの色成分間予測パラメータに対応する復号済みの色成分間予測パラメータを用いる色成分間予測処理を実施することで、前記予測ブロックにおける色差成分の予測画像を生成する予測画像生成処理ステップと
を備えた画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014126300A JP6555856B2 (ja) | 2014-06-19 | 2014-06-19 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014126300A JP6555856B2 (ja) | 2014-06-19 | 2014-06-19 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016005235A JP2016005235A (ja) | 2016-01-12 |
JP6555856B2 true JP6555856B2 (ja) | 2019-08-07 |
Family
ID=55224196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014126300A Expired - Fee Related JP6555856B2 (ja) | 2014-06-19 | 2014-06-19 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6555856B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118042158A (zh) * | 2022-11-14 | 2024-05-14 | 杭州海康威视数字技术股份有限公司 | 一种图像编解码方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5289440B2 (ja) * | 2008-07-10 | 2013-09-11 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
JP5421757B2 (ja) * | 2009-12-11 | 2014-02-19 | 株式会社Kddi研究所 | 画像符号化装置 |
JP2012023609A (ja) * | 2010-07-15 | 2012-02-02 | Mitsubishi Electric Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
JP2013110502A (ja) * | 2011-11-18 | 2013-06-06 | Sony Corp | 画像処理装置及び画像処理方法 |
-
2014
- 2014-06-19 JP JP2014126300A patent/JP6555856B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016005235A (ja) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6573689B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP6820115B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体 | |
JP6147368B2 (ja) | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 | |
JP5551837B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
WO2014163200A1 (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JPWO2014049981A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP6362370B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6373008B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2015076781A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6555856B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2014204311A (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JP2014090326A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
WO2014049982A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2016046641A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6338408B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2018166329A (ja) | 画像符号化装置および画像復号装置 | |
JP6300660B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2016005210A (ja) | 端末装置及びデータ管理装置 | |
JP2015177295A (ja) | 端末装置及びデータ管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171017 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180510 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180522 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20180615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6555856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |