JP7379453B2

JP7379453B2 - 符号化装置、復号装置、及びプログラム

Info

Publication number: JP7379453B2
Application number: JP2021204602A
Authority: JP
Inventors: 敦郎市ヶ谷; 俊輔岩村; 慎平根本; 和久井口
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2018-10-22
Filing date: 2021-12-16
Publication date: 2023-11-14
Anticipated expiration: 2039-10-21
Also published as: JPWO2020085278A1; US11736728B2; US20220408112A1; JP2023160964A; WO2020085278A1; JP6997339B2; US11457241B2; JP2022058366A; US20210243474A1; US20230353784A1

Description

特許法第３０条第２項適用ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝４５１２市ヶ谷敦郎、岩村俊輔、根本慎平らが、平成３０年９月２５日付で、上記ＵＲＬにおいて、出願に係る発明の内容に関して公開。

本発明は、デブロッキングフィルタ処理を行う符号化装置、復号装置、及びプログラムに関する。

主流となっているＭＰＥＧに代表される映像符号化方式では、リアルタイム処理の実現のし易さから、フレーム（あるいはピクチャ）などと呼ばれる映像の単位をブロック状の小領域に分割し、ブロック単位で変換や予測などの技術を駆使して符号化(圧縮)を行っている。このような符号化方式では、隣接するブロック間の符号化制御の違いに起因して、ブロック境界において品質差がひずみとなって知覚される。Ｈ．２６４／ＡＶＣ（Advanced Video Coding）やＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる近年の符号化方式では、このような符号化ひずみを低減するために、デブロッキングフィルタと呼ばれる処理が採用されている。

ブロックひずみは、隣接する両ブロックの境界における信号が直交変換係数を量子化したことにより生じる信号劣化により、ブロック単位の処理であるがゆえに生じる処理の不連続性により、本来スムーズであるべき隣接領域において急峻な信号変動となって生じる。このひずみを軽減するためのデブロッキングフィルタは、一般的に信号の変動を緩やかにするローパスフィルタとして設計されている。量子化の粗さによって信号の劣化量が変動することから、量子化の粗さを規定する量子化パラメータによってフィルタの強度が制御されている（例えば、非特許文献１参照）。

一方、新たな映像メディアの特徴として、従来の映像信号で表現できない黒と白の表現範囲を拡大したＨＤＲ（high dynamic range）信号の標準化が行われた。このＨＤＲ信号では、従来のＳＤＲ（Standard Dynamic Range）信号に比べて、光の強度が低いところから高いところ（すなわち、暗いところから明るいところ）までを限られたビット深度の中に記録するため、従来よりも極端なγ補正と呼ばれる信号抑圧処理が加えられている。ＨＤＲの方式としては、現在、ＡＲＩＢＳＴＤ－Ｂ６７で規定されているＨＬＧ（Hybrid-Log Gamma）方式と、ＳＭＰＴＥＳＴ.２０８４で規定されているＰＱ（Perceptual Quantize）方式があり、これらはＩＴＵ－ＲＢＴ.２１００として標準化されている。なお、将来的にはこれら以外の方式が規定される可能性もある。

図１に、ＳＤＲ信号と、ＨＬＧ方式及びＰＱ方式のＨＤＲ信号について、画像の輝度信号レベルと、表示装置に表示される表示輝度レベルとの対応関係（逆γ補正）を示す。なお、ＨＬＧ方式は表示装置のピーク輝度を最大値とする相対的なシステムであるため、図中ではピーク輝度を２０００ｃｄ/ｍ²として示す。また同様に、従来のＳＤＲ信号も表示装置のピーク輝度を最大値とする相対的なシステムであるため、現在市販されているディスプレイを例としてピーク輝度を５００ｃｄ/ｍ²として示す。

ＨＤＲ信号では、輝度信号レベルの変動に対する、表示輝度レベル（明るさ）の変化が、従来のＳＤＲ信号に比べ大きくなっている。そのため、信号レベルの大きい領域では、量子化ひずみによるブロックノイズが従来の信号劣化に比べ誇張されて表現される。特に、最も信号の抑圧度合いが大きいＰＱ方式では、輝度信号レベルに対する表示輝度レベルの変動が顕著であり、ブロックひずみによる信号劣化の影響もまた顕著である。この現象を低減するために、信号レベルに応じて量子化パラメータを小さくするという対策を行うことが一般的になっている。

大久保榮監修、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

従来のデブロッキングフィルタでは、ブロック間のスムージングを実現するフィルタの強度を切り替えるための閾値がフレーム単位で量子化パラメータに応じて予め決められており、輝度信号レベルに応じた制御は行われていなかった。そのため、ＨＤＲ信号では、輝度信号レベルの差と表示輝度レベルの差の非線形性が強く、従来のデブロッキングフィルタではブロックひずみを十分に低減することが困難であった。また、従来のＳＤＲ信号でもガンマ補正による非線形性があるため、輝度レベルが高い領域においてデブロッキングフィルタの効果が低減するという課題があった。

また、量子化パラメータを必要以上に小さくすることにより、ブロックの平均的な誤差量を低減させることは可能であるが、量子化パラメータが小さくなることによりデブロッキングフィルタの作用も小さくなり、境界部において輝度信号レベルの差が顕著に表示されてしまうことを十分に改善することはできなかった。また、量子化パラメータを小さくすると情報量が増加するため、圧縮効果も低減してしまうという課題があった。

かかる事情に鑑みてなされた本発明の目的は、圧縮効果を損なうことなく、ブロックひずみを低減させることが可能な符号化装置、復号装置、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る符号化装置は、入力画像を符号化する符号化装置であって、入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出する変換部と、量子化パラメータに基づいて、前記直交変換係数を量子化して量子化係数を生成する量子化部と、前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、前記量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に前記予測画像を加算してフィルタ処理前画像を生成する画像復号部と、前記フィルタ処理前画像に対して、フィルタ処理を行うデブロッキングフィルタ部と、を備え、前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、前記輝度信号レベルの範囲に応じてフィルタの強度を制御することを特徴とする。

さらに、本発明に係る符号化装置において、前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする。

また、上記課題を解決するため、本発明に係る復号装置は、入力画像の符号化データを復号する復号装置であって、符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算してフィルタ処理前画像を生成する画像復号部と、前記フィルタ処理前画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、前記輝度信号レベルの範囲に応じてフィルタ強度を制御することを特徴とする。

さらに、本発明に係る復号装置において、前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。

本発明によれば、圧縮効果を損なうことなく、ブロックひずみを低減させることができるようになる。

信号レベルと輝度レベルとの対応関係を示す図である。本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。デブロッキングフィルタ処理を行うブロック境界を示す図である。本発明の一実施形態に係る復号装置の構成例を示すブロック図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

（符号化装置）
本発明の一実施形態に係る符号化装置について、以下に説明する。図２に、本発明の一実施形態に係る符号化装置の構成例を示す。図２に示す符号化装置１は、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、逆量子化部１５と、逆変換部１６と、加算部１７と、デブロッキングフィルタ部１８と、サンプルアダプティブオフセット部１９と、記憶部２０と、イントラ予測部２１と、動き補償予測部２２と、切替部２３と、エントロピー符号化部２４とを備える。なお、サンプルアダプティブオフセット部１９は必須の構成では無い。サンプルアダプティブオフセット部１９に代えて、あるいはサンプルアダプティブオフセット部１９に追加して、他のポストフィルタ処理を行う処理部を設けてもよい。

ブロック分割部１１は、入力画像である符号化対象フレームを複数のブロックに分割し、ブロック画像を減算部１２に出力する。ブロックのサイズは可変サイズであってもよく、例えば１２８×１２８画素、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、又は４×４画素とする。

減算部１２は、ブロック分割部１１から入力されたブロック画像の各画素値から、後述するイントラ予測部２１又は動き補償予測部２２から切替部２３を介して入力された、入力画像の予測画像の各画素値を減算して、ブロック画像と予測画像との差を示す残差画像を生成し、残差画像を変換部１３に出力する。

変換部１３は、減算部１２から入力された残差画像に対して直交変換処理を行って直交変換係数を算出し、ブロックごとの直交変換係数を量子化部１４に出力する。

量子化部１４は、量子化の粗さを規定する量子化パラメータ（Ｑｐ）に基づいて、変換部１３から入力されたブロックごとの直交変換係数を量子化して量子化係数を生成し、量子化パラメータをデブロッキングフィルタ部１８に出力するとともに、量子化パラメータ及び量子化係数を逆量子化部１５及びエントロピー符号化部２４に出力する。より詳細には、量子化部１４は、変換部１３から入力されたブロックごとの直交変換係数を、量子化パラメータから導出される量子化ステップで除することにより、量子化係数を生成する。例えば、ＨＥＶＣなどでは量子化パラメータの値は０から５１までであり、量子化パラメータが６増加すると量子化ステップが２倍となる（すなわち、量子化パラメータと量子化ステップの対数が比例する）ように対応付けられている。

逆量子化部１５は、量子化パラメータに基づいて、量子化部１４から入力された量子化係数から直交変換係数を復元し、復元した直交変換係数を逆変換部１６に出力する。より詳細には、逆量子化部１５は、量子化部１４から入力された量子化係数に対して、量子化パラメータから導出される量子化ステップを乗ずることにより、ブロックごとの直交変換係数を復元する。

逆変換部１６は、逆量子化部１５から入力された直交変換係数に対して逆直交変換を行って残差画像を生成し、生成した残差画像を加算部１７に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１６は逆離散コサイン変換を行う。

加算部１７は、逆変換部１６から入力された残差画像と、切替部２３から入力された予測画像の各画素値を加算してフィルタ処理前画像を生成し、生成したフィルタ処理前画像をデブロッキングフィルタ部１８に出力する。

デブロッキングフィルタ部１８は、加算部１７から入力されたフィルタ処理前画像に対して、フィルタ処理を行い、フィルタ処理後の画像をサンプルアダプティブオフセット部１９に出力する。デブロッキングフィルタ部１８は、フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、輝度信号レベルの範囲に応じてフィルタ強度を制御する。そして、デブロッキングフィルタ部１８はフィルタ処理に関する情報（フィルタ係数に加え、後述する輝度閾値及びシフト量ａ，ｂを示す情報など）をエントロピー符号化部２４に出力する。処理の詳細については後述する。

サンプルアダプティブオフセット部１９は、デブロッキングフィルタ部１８から入力された画像を画素単位で分類し、各画素値に分類に応じたオフセットを加算し、その結果を復号画像として記憶部２０に出力する。また、サンプルアダプティブオフセットの情報をエントロピー符号化部２４に出力する。

イントラ予測部２１は、記憶部２０に記憶された復号画像を参照して、イントラ予測を行ってイントラ予測画像を生成し、生成したイントラ予測画像を切替部２３に出力する。また、イントラ予測部２１は、選択したイントラ予測モードをエントロピー符号化部２４に出力する。

動き補償予測部２２は、記憶部２０に記憶された復号画像を参照して、ブロックマッチングなどの手法により動きベクトルを生成し、動き補償予測画像を切替部２３に出力する。また、動き補償予測部２２は、動きベクトルの情報をエントロピー符号化部２４に出力する。さらに、動き補償予測部２２は、動きベクトルに基づいて動き補償予測画像を生成し、生成した動き補償予測画像を切替部２３に出力する。

切替部２３は、イントラ予測部２１から入力されたイントラ予測画像と、動き補償予測部２２から入力された動き補償予測画像とを切替えて、復号画像の予測画像（イントラ予測画像又は動き補償予測画像）を減算部１２及び加算部１７に出力する。

逆量子化部１５と、逆変換部１６と、加算部１７と、イントラ予測部２１と、動き補償予測部２２と、切替部２３とにより、画像復号部１０を構成する。画像復号部１０は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算することによりフィルタ処理前画像を生成する。

エントロピー符号化部２４は、量子化部１４から入力された量子化パラメータ及び量子化係数、イントラ予測部２１から入力されたイントラ予測モード、動き補償予測部２２から入力された予測動きベクトルの情報、デブロッキングフィルタ部１８から入力されたフィルタ処理に関する情報、及びサンプルアダプティブオフセット部１９から入力されたサンプルアダプティブオフセットの情報などに対してエントロピー符号化を行い、データ圧縮を行って符号化データを生成し、生成した符号化データを符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号）など、任意のエントロピー符号化方式を用いることができる。

（デブロッキングフィルタ部）
次に、デブロッキングフィルタ部１８の詳細について説明する。本実施形態では、デブロッキングフィルタ部１８が処理を行うブロックサイズを例えば８×８画素とする。デブロッキングフィルタ部１８は、まずブロックごとに平滑化処理の強さを示す境界強度Ｂｓ（Boundary Strength）値を求める。Ｂｓ値は０，１，２のいずれかとする。

図３に、デブロッキングフィルタ処理を行うブロック境界を示す。図３を参照して、Ｈ．２６５／ＨＥＶＣ方式に準拠したデブロッキングフィルタ処理の一例について説明する。ブロックＰ又はＱがイントラ予測を行うブロックである場合には、Ｂｓ値を２とする。ブロックＰ及びＱがインター予測を行うブロックであり、且つ少なくとも以下の一つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
・ブロックＰ又はＱが有意な（非ゼロの）ＤＣＴ係数を含み、変換ユニットＴＵ（Transform Unit）の境界であること。
・ブロックＰ及びＱの動きベクトルの本数あるいは参照画像が異なること。
・ブロックＰ及びＱの動きベクトルの差の絶対値が４画素以上であること。

デブロッキングフィルタ部１８は、Ｂｓ値が０の場合にはフィルタ処理を行わない。以下、図３に示す垂直ブロック境界を例に説明する。デブロッキングフィルタ部１８は、Ｂｓ値が１又は２の場合には、次式（１）を満たす場合にのみ、フィルタリング処理を行う。

また、デブロッキングフィルタ部１８は、フィルタリング処理を行う際には、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。

閾値β及びｔ_Cの値は、隣接するブロックＰとブロックＱの量子化パラメータＱｐ_p及びＱｐ_Qの平均値Ｑ_av＝（Ｑｐ_p＋Ｑｐ_Q＋１）＞＞１に応じて変わる。ここで、＞＞１は１ビットの算術右シフト演算を意味する。デブロッキングフィルタ部１８は、Ｑ_avと閾値β及びｔ_Cとの対応関係を示す基準テーブルを有する。基準テーブルの一例を表１に示す。画像のビット深度が８ビットの場合の閾値β，ｔ_Cをそれぞれ閾値β’，ｔ_C’として表記している。なお、Ｑ_av，β’，ｔ_C’は、フレーム又はスライス単位でそれぞれオフセットを加えた値とすることも可能である。

ビット深度をＢとすると、閾値β及びｔ_Cは、それぞれ式（８）（９）で表される。ここで、＜＜１は１ビットの算術左シフト演算を意味する。

本発明では、輝度信号レベル（輝度成分の画素値）Ｌによって基準テーブルをシフトして閾値β及びｔ_Cを設定する。輝度信号レベルＬの値は、例えば（p0₀＋p0₃＋q0₀＋q0₃）/4や、（p0₀＋p0₁＋p0₂＋p0₃＋q0₀＋q0₁＋q0₂＋q0₃）/8とする。なお、輝度信号レベルＬの求め方は一例であり、これに限定されるものではない。

具体的には、デブロッキングフィルタ部１８は、輝度信号レベルＬの閾値（輝度閾値）を決定し、輝度信号レベルＬと輝度閾値との比較により、基準テーブルのシフト量を決定する。デブロッキングフィルタ部１８は、輝度閾値の決定をピクチャ単位で行うことができ、任意のピクチャで行ってもよいし、複数のピクチャ又は特定のピクチャ（例えば、シーケンスやＩピクチャなど）ごとに行ってもよい。

輝度閾値により輝度信号レベルを何段階に分けるか（何分割するか）、輝度信号レベルの範囲を均等にするか不均等にするかは、任意に決定することができる。例えば、ＥＯＴＦ（Electro-Optical Transfer Function）関数を用いて、この関数の傾きが所定の値（例えば、１／４，１／２，２，４，８）となる輝度信号レベルを輝度閾値と決定する。あるいは、輝度信号レベルとブロックひずみ度との対応関係を解析し、輝度閾値を決定してもよい。例えば、８ビット映像の輝度信号レベル（１－２５４）に対するブロックひずみ度の対応関係が略線形であり、輝度信号レベルを５段階に分割する場合には、輝度閾値を５０，１００，１５０，２００としてもよい。この場合、輝度信号レベルの範囲は、０－４９、５０－９９、１００－１４９、１５０－１９９、２００－２５４に分割される。また、特定の輝度信号レベルの範囲においてブロックひずみ度の変化率が大きい場合には、この輝度信号レベルの範囲を他の範囲よりも細かく分割してもよい。

デブロッキングフィルタ部１８は、具体的には、表１に示すβ’及びｔ_C’を、Ｑ_AVをインデックスとするβ’［Ｑ_AV］及びｔ_C’［Ｑ_AV］とし、輝度信号レベルＬに応じてインデックスＱ_AVを制御する。例えばシフト量ａを、式（１０）の基準によって決定し、シフト量ｂを、式（１１）の基準によって決定する。ここで、ｔｈ１～ｔｈ６は、輝度閾値である。また、アプリケーションごとの要求条件に応じてシフト量ａ，ｂを決定してもよく、簡単にはａ＝ｂとしてもよい。また、ａ＝０又はｂ＝０として、閾値β’，ｔ_C’の一方のみをシフトさせるようにしてもよい。なお、シフト量ａ，ｂは、フィルタ強度制御情報に相当する。

if (L < th1)
a=-1;
else if (L >= th1 && L < th2)
a=0;
else if (L >= th2 && L < th3)
a=1;
else if (L >= th3 && L < th4)
a=5;
else if (L >= th4 && L < th5)
a=10;
else if (L >= th5 && L < th6)
a=12;
else if (L >= th6)
a=15;
（１０）

if (L < th1)
ｂ=-1;
else if (L >= th1 && L < th3)
ｂ=0;
else if (L >= th3 && L < th4)
ｂ=1;
else if (L >= th4 && L < th6)
ｂ=5;
else if (L >= th6)
ｂ=7; （１１）

例えば、シフト量ａ＝ｂ＝qpOffsetのとき、Ｑ_AV＝（Ｑｐ_p＋Ｑｐ_Q＋１）＞＞１＋qpOffsetで求め、輝度レベルＬに応じたインデックスＱ_AVを用いる。例えばqpOffset＝５であれば、基準テーブルを参照し、＋５のオフセットが加えられたＱ_AVをインデックスとして閾値β’及びｔ_C’を求める。すなわち、基準テーブルの閾値β’及びｔ_C’をオフセットなしに対して右に５だけシフトする。なお、qpOffsetがマイナスであれば、左にシフトする。なお、閾値β’及びｔ_C’が０となった場合には、それ以降の閾値も下限０とし、また閾値β’及びｔ_C’が上限値６４及び２４に至った場合には、それ以降は上限値で補完する。ａ＝ｂの例を示したが、ａとｂが等しくない場合はＱ_AVをそれぞれ用意してβ’及びｔ_C’を算出する。

デブロッキングフィルタ部１８は、輝度信号レベルＬに応じて規定されたシフト量ａ，ｂに従って基準テーブルの閾値β’及びｔ_C’をシフトすることにより、Ｑ_avに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。基準テーブルの閾値β’及びｔ_C’を右にシフトする（正のオフセットが加えられたＱ_AVをインデックスとする）と、閾値β及びｔｃの値が大きくなるので、上記条件式（２）～（７）を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る符号化装置１においては、ブロックひずみ度の高い群に対してはシフト量ａ,ｂを増やして強度の強いフィルタが適用されやすくなるように制御し、ブロックひずみ度の低い群に対してはシフト量ａ,ｂをマイナスとして強度の強いフィルが適用されにくくなるように制御することによって、コンテンツに適したフィルタ強度の変更が可能となる。その結果、圧縮効果を損なうことなく従来よりもブロックひずみの発生を低減させることができ、高画質化を実現することができる。なお、シフト量ａ，ｂがマイナスとなる場合には、値がゼロ以上となるようにオフセットを加えてから伝送してもよい。これにより、正負を示す符号ビットを削減することができる。

デブロッキングフィルタ部１８が決定した輝度閾値、及び輝度信号レベルの範囲ごとに規定されるシフト量ａ，ｂを示す情報は、エントロピー符号化部２４により伝送される。例えばＨＥＶＣ方式の場合であれば、ＰＰＳ（Picture parameter set）と呼ばれるピクチャ単位のパラメータセットやＳＰＳ（Sequence parameter set）と呼ばれるシーケンスパラメータセットのひとつとしてエントロピー符号化部２４により伝送することができる。同時に、上述した基準テーブルのシフトを行うか否かを示すイネーブルフラグをエントロピー符号化部２４により伝送してもよい。

輝度閾値を示す情報は、輝度閾値そのものではなく、輝度閾値による輝度信号レベルの分割数、及び隣接する輝度閾値の差分値であってもよい。例えば、輝度信号レベルの輝度閾値ｔｈ１～ｔｈ４が、ｔｈ１＝４０，ｔｈ２＝９０，ｔｈ３＝１５０，ｔｈ４＝２００である場合、輝度信号レベルの分割数は５である。隣接する輝度閾値の差分値は、ｔｈ１－０＝４０，ｔｈ２－ｔｈ１＝５０，ｔｈ３－ｔｈ２＝６０，ｔｈ４－ｔｈ３＝５０である。なお、ｔｈ１については、隣接する輝度閾値を輝度信号レベルの最低値とし、ここでは最低値を０としている。輝度信号レベルの分割数は２以上となるため、伝送する際には実際の分割数から２をマイナスした値の「３」を伝送してもよい。また、輝度閾値の差分値は１以上となるため、伝送する際には実際の輝度閾値の差分値から１をマイナスした値の「３９，４９，５９，４９」を伝送してもよい。できるだけ小さい値を伝送することにより、符号量を低減させることができる。

なお、上述した符号化装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

（復号装置）
次に、本発明の一実施形態に係る復号装置について説明する。図４は、一実施形態に係る復号装置の構成例を示すブロック図である。図４に示す復号装置２は、エントロピー復号部３１と、逆量子化部３２と、逆変換部３３と、加算部３４と、デブロッキングフィルタ部３５と、サンプルアダプティブオフセット部３６と、記憶部３７と、イントラ予測部３８と、動き補償予測部３９と、切替部４０とを備える。復号装置２は、符号化装置１によって符号化された、入力画像の符号化データを復号する。

エントロピー復号部３１は、符号化装置１が出力する符号化データを復号し、量子化パラメータ、量子化係数、イントラ予測モード、動き予測情報、フィルタ処理に関する情報、及びサンプルアダプティブオフセットの情報などを取得する。そして、エントロピー復号部３１は、量子化パラメータ及び量子化係数を逆量子化部３２に出力し、イントラ予測モードをイントラ予測部３８に出力し、動き予測情報を動き補償予測部３９に出力し、量子化パラメータ及びフィルタ処理に関する情報をデブロッキングフィルタ部３５に出力し、サンプルアダプティブオフセットの情報をサンプルアダプティブオフセット部３６に出力する。

逆量子化部３２は、エントロピー復号部３１から量子化係数及び量子化パラメータを入力し、量子化係数に量子化パラメータから導出される量子化ステップを乗算してブロックごとの直交変換係数を復元し、復元した直交変換係数を逆変換部３３に出力する。

逆変換部３３は、逆量子化部３２から入力された直交変換係数に対して逆変換を行って残差画像を生成し、生成した残差画像を加算部３４に出力する。

加算部３４は、逆変換部３３から入力された残差画像と、切替部４０から入力された予測画像の各画素値を加算してフィルタ処理前画像を生成し、生成したフィルタ処理前画像をデブロッキングフィルタ部３５に出力する。

デブロッキングフィルタ部３５は、加算部３４から入力されたフィルタ処理前画像に対してフィルタ処理を行い、フィルタ処理後の画像をサンプルアダプティブオフセット部３６に出力する。デブロッキングフィルタ部３５は、フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、輝度信号レベルの範囲に応じてフィルタ強度を制御する。具体的には、デブロッキングフィルタ部３５は、ピクチャ又はシーケンス単位で、輝度閾値を取得し、ブロックひずみ度の高い群に対してフィルタの強度が強くなるように制御する。

サンプルアダプティブオフセット部３６は、エントロピー復号部３１から入力されたサンプルアダプティブオフセットの情報に従って、デブロッキングフィルタ部３５から入力された画像にオフセットを加算し、その結果を復号画像として記憶部３７に出力する。

記憶部３７は、１フレーム分の画像を記憶するとともに、１フレーム分の画像を復号装置２の外部に出力する。

イントラ予測部３８は、記憶部３７に記憶された復号画像を参照し、エントロピー復号部３１から入力されたイントラ予測モードに従って予測処理を行ってイントラ予測画像を生成し、生成したイントラ予測画像を切替部４０に出力する。

動き補償予測部３９は、記憶部３７に記憶された復号画像を参照し、エントロピー復号部３１から入力された動きベクトルの情報に従って予測処理を行って動き補償予測画像を生成し、生成した動き補償予測画像を切替部４０に出力する。

切替部４０は、イントラ予測部３８から入力されたイントラ予測画像と、動き補償予測部３９から入力された動き補償予測画像とを切替えて、予測画像（イントラ予測画像又は動き補償予測画像）を加算部３４に出力する。

逆量子化部３２と、逆変換部３３と、加算部３４と、イントラ予測部３８と、動き補償予測部３９と、切替部４０とにより、画像復号部３０を構成する。画像復号部３０は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に復号画像の予測画像を加算することによりフィルタ処理前画像を生成する。

デブロッキングフィルタ部３５は、デブロッキングフィルタ部１８と同様の処理を行う。すなわち、デブロッキングフィルタ部３５は、ブロックごとに境界強度Ｂｓ値を求め、Ｂｓ値が０の場合にはフィルタ処理を行わず、Ｂｓ値が１又は２の場合には、上記式（１）を満たす場合にのみ、フィルタリング処理を行う。フィルタリング処理を行う際には、上記条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。デブロッキングフィルタ部３５は、エントロピー復号部３１から輝度閾値及びシフト量ａ，ｂを取得する。エントロピー復号部３１から隣接する輝度閾値の差分値の情報を取得した場合には、該情報から輝度閾値を決定する。例えば、隣接する輝度閾値の差分値が４０，５０，６０，５０であった場合には、輝度閾値ｔｈ１～ｔｈ４は、輝度信号レベルの最低値を０とすると、ｔｈ１＝０＋４０＝４０，ｔｈ２＝ｔｈ１＋５０＝９０，ｔｈ３＝ｔｈ２＋６０＝１５０，ｔｈ４＝ｔｈ３＋５０＝２００と求まる。そして、デブロッキングフィルタ部３５は、デブロッキングフィルタ部１８と同様に、輝度信号レベルＬと輝度閾値との比較により、取得したシフト量ａ，ｂに従って基準テーブルの閾値β’及びｔ_C’をシフトする（オフセットが加えられたＱ_AVをインデックスとする）ことにより、Ｑａｖに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。

基準テーブルの閾値β’及びｔ_C’を右にシフトすると、閾値β及びｔｃの値が大きくなるので、上記条件式（２）～（７）を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る復号装置２においては、ブロックひずみ度の高い群に対してはシフト量ａ,ｂを増やして強度の強いフィルタが適用されやすくなるように制御し、ブロックひずみ度の低い群に対してはシフト量ａ,ｂをマイナスとして強度の強いフィルタが適用されにくくなるように制御することによって、コンテンツに適したフィルタ強度の変更が可能となる。その結果、圧縮効果を損なうことなく従来よりもブロックひずみの発生を低減させることができ、高画質化を実現することができる。

なお、上述した復号装置２として機能させるためにコンピュータを好適に用いることができる。そのようなコンピュータは、復号装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

本願は、日本国特許出願第２０１８－１９８７２８号（２０１８年１０月２２日出願）の優先権を主張し、その内容のすべてが本願明細書に組み込まれている。

Claims

符号化データに対する復号処理を行う復号装置であって、
残差画像と予測画像とを加算して生成されたフィルタ処理前画像の輝度信号レベルに応じたデブロッキングフィルタ制御を前記復号装置に実行させるための情報を含むシーケンスパラメータセットを取得する手段を備え、
前記シーケンスパラメータセット中の前記情報は、
前記デブロッキングフィルタ制御に関するイネーブルフラグと、
輝度閾値により輝度信号レベルを何分割するかに関する第１情報と、
隣接する輝度閾値の差分値を示す第２情報と、
デブロッキングフィルタ処理を制御するためのシフト量であるｑｐＯｆｆｓｅｔを、前記第１情報及び前記第２情報に基づいて定められる輝度信号レベル範囲ごとに示す第３情報と、を含む、復号装置。
符号化装置であって、
残差画像と予測画像とを加算して生成されたフィルタ処理前画像の輝度信号レベルに応じたデブロッキングフィルタ制御を復号装置に実行させるための情報を含むシーケンスパラメータセットを生成する手段を備え、
前記シーケンスパラメータセット中の前記情報は、
前記デブロッキングフィルタ制御に関するイネーブルフラグと、
輝度閾値により輝度信号レベルを何分割するかに関する第１情報と、
隣接する輝度閾値の差分値を示す第２情報と、
デブロッキングフィルタ処理を制御するためのシフト量であるｑｐＯｆｆｓｅｔを、前記第１情報及び前記第２情報に基づいて定められる輝度信号レベル範囲ごとに示す第３情報と、を含む、符号化装置。