JP7026065B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP7026065B2
JP7026065B2 JP2019044644A JP2019044644A JP7026065B2 JP 7026065 B2 JP7026065 B2 JP 7026065B2 JP 2019044644 A JP2019044644 A JP 2019044644A JP 2019044644 A JP2019044644 A JP 2019044644A JP 7026065 B2 JP7026065 B2 JP 7026065B2
Authority
JP
Japan
Prior art keywords
image
filter
unit
boundary strength
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044644A
Other languages
English (en)
Other versions
JP2020150358A (ja
Inventor
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019044644A priority Critical patent/JP7026065B2/ja
Priority to PCT/JP2020/008776 priority patent/WO2020184266A1/ja
Priority to CN202080019690.9A priority patent/CN113545071A/zh
Publication of JP2020150358A publication Critical patent/JP2020150358A/ja
Priority to US17/471,357 priority patent/US20210409744A1/en
Application granted granted Critical
Publication of JP7026065B2 publication Critical patent/JP7026065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。
従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている（例えば、非特許文献１参照）。
かかる画像符号化方式を採用する画像符号化装置は、以下のような処理を行う。
- 入力画像を複数のブロックに分割する。
- 分割したブロック単位（１つ又は複数の変換ユニット）で、入力画像からイントラ予測画像又はインター予測画像の差分である残差信号を、変換ユニットごとに変換及び量子化してレベル値を生成する。
- 生成したレベル値をサイド情報（画素値の再構成に必要な予測モードや動きベクトル等の関連情報）と共にエントロピー符号化して符号化データを生成する。
一方、かかる画像符号化方式に対応する画像復号方式を採用する画像復号装置は、上述の画像符号化装置で行われる手順と逆の手順により、符号化データから出力画像を得る。具体的には、画像復号装置は、以下のような処理を行う。
- 符号化データから得られたレベル値を逆量子化及び逆変換して残差信号を生成する。
- かかる残差信号をイントラ予測画像又はインター予測画像に加算してフィルタ前局所復号画像を生成する。
- かかるフィルタ前局所復号画像を用いて、イントラ予測を行うと同時に、インループフィルタ（例えば、デブロックフィルタ）を適用してフィルタ後局所復号画像を生成し、フレームバッファに蓄積する。
ここで、フレームバッファは、適宜、インター予測にフィルタ後局所復号画像を供給する。
なお、符号化データからサイド情報及びレベル値を得る処理は「パース処理」と呼ばれ、かかるサイド情報及びレベル値を用いて画素値を再構成することは「復号処理」と呼ばれる。
次に、非特許文献２に記載の畳込みニューラルネットワーク（以下、ＣＮＮ）に基づくインループフィルタ方式について述べる。
ここで、色形式として４：２：０を想定すると、輝度画像（Ｌｕｍａ）及び色差画像（Ｃｈｒｏｍａ）の画素数は４：１：１となる。そこで、輝度４画素及び色差２画素をパッキングして６チャネルとする。
さらに、幅ｗ、高さｈ、入力チャネル数ｃ、フィルタ数ｆとし、「ｗ×ｈ×ｃ×ｆ」で表記されるレイヤを定義する。具体的には、「Ｌ１＝３×３×６×８」、「Ｌ２＝３×３×８×８」及び「Ｌ３＝３×３×８×６」の３レイヤを導入する。
かかるインループフィルタ方式のフィルタ処理は、図６に示すように、以下の処理を行う。
- フィルタ前画像（輝度画像及び色差画像）をパッキングしてフィルタ前パッキング画像を得る。
- かかるフィルタ群Ｌ１～Ｌ３をフィルタ前パッキング画像に適用する。
- フィルタ後画像をアンパッキングして輝度画像及び色差画像に戻して差分フィルタ画像を得る。
- フィルタ前画像と差分フィルタ画像とを加算する。
なお、約１秒ごとに、実際に符号化された画像を用いて学習することによって、かかるフィルタＬ１～Ｌ３のフィルタ係数を決定する。
かかるフィルタ処理では、画像符号化装置が、符号化ブロックごとに、かかるフィルタ処理の適用の有無について判定し、フラグにより、画像復号装置に対してシグナリングする。また、学習により得られたフィルタ係数は、量子化してサイド情報として、画像符号化装置から画像復号装置にシグナリングされる。
ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＡＨＧ９：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌｏｏｐ ｆｉｌｔｅｒ、ＪＶＥＴ-Ｍ０１５９ｖ１
しかしながら、既存のＣＮＮに基づくインループフィルタ方式のフィルタ処理では、ビットストリームから得られる予測モード等のサイド情報を利用していないため、過度にフィルタ処理が適用されて符号化性能が低下するという問題点があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、画像復号装置であって、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、前記境界強度に基づいて、重み係数を決定する重み係数決定部と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する差分フィルタ加算部とを備えることを要旨とする。
本発明の第２の特徴は、画像復号方法であって、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する工程と、前記境界強度に基づいて、重み係数を決定する工程と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する工程とを有することを要旨とする。
本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、前記境界強度に基づいて、重み係数を決定する重み係数決定部と、入力された差分フィルタ画像とフィルタ前画像と前記重み係数とに基づいて、フィルタ後画像を生成する差分フィルタ加算部とを備えることを要旨とする。
本発明によれば、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のインループフィルタ部１０８及び画像復号装置２００のインループフィルタ部２０６の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のインループフィルタ部１０８及び画像復号装置２００のインループフィルタ部２０６の動作の一例を示すフローチャートである。 従来技術を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。
＜画像符号化装置１００＞
図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、減算部１０６と、加算部１０７と、インループフィルタ部１０８と、フレームバッファ１０９とを備える。
インター予測部１０１は、入力画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像（後述）を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部１０２は、入力画像及びフィルタ前局所復号画像（後述）を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行い、かかる量子化処理により得られる量子化されたレベル値を出力するように構成されている。
エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化されたレベル値及びサイド情報をエントロピー符号化して符号化データとして出力するように構成されている。
逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行い、かかる逆直交変換処理により得られる逆直交変換された残差信号を出力するように構成されている。
減算部１０６は、入力画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。
加算部１０７は、逆変換・逆量子化部１０５から入力される逆直交変換された残差信号とイントラ予測画像或いはインター予測画像とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。
インループフィルタ部１０８は、加算部１０７から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部１０１に供給する。
以下、図３を参照して、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８について説明する。図３は、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８の機能ブロックの一例を示す図である。
図３に示すように、本実施形態に係る画像符号化装置１００のインループフィルタ部１０８は、境界強度算出部１０８Ａと、境界強度算出部１０８Ｂと、垂直重み決定部１０８Ｃと、水平重み決定部１０８Ｄと、差分フィルタ加算部１０８Ｅとを備える。
また、インループフィルタ部１０８の入力の前段階或いはインループフィルタ部１０８の出力の後段階において、デブロッキングフィルタや適応ループフィルタやサンプル適応オフセットフィルタ等の任意のフィルタを用いたフィルタ処理が行われてもよい。
すなわち、インループフィルタ部１０８の入力であるフィルタ前画像は、他のフィルタ用いたフィルタ処理により得られたフィルタ後画像である。
また、インループフィルタ部１０８の入力である差分フィルタ画像は、ＣＮＮに基づく差分ネットワーク構成によるモデルをフィルタ前画像に適用して得られた画像である。なお、かかるモデルは、任意である。ただし、かかるモデルは、ブロック境界の主観画質を改善することを目的としたモデルである。
境界強度算出部１０８Ａ/１０８Ｂは、入力されたサイド情報に基づいて、境界強度を算出して出力するように構成されている。
ここで、境界強度算出部１０８Ａ/１０８Ｂは、既存のデブロッキングフィルタを用いたフィルタ処理における境界強度と同一となるように、かかる境界強度を算出するように構成されていてもよい。
なお、かかるサイド情報は、イントラ予測モードやインター予測モード等を識別する予測モード種別や、ブロック内に非ゼロ係数が存在するか否かについて表すフラグや、動きベクトルや、参照画像番号を含む。
また、境界強度は、符号化処理により主観的に目立つブロック境界（エッジ）が生じやすいかどうかについて表しており、「０」、「１」、「２」の３段階で表される。ここで、「０」は、ブロック境界が無いことを示し、「１」は、弱いブロック境界があることを示し、「２」は、強いブロック境界があることを示す。
例えば、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックにおいて少なくとも一方のブロックにイントラ予測モードが適用されていれば、境界強度を「２」に設定するように構成されていてもよい。
また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックにおいて少なくとも片方のブロック内に非ゼロ係数が存在するかについて表すフラグが有効であり、且つ、かかるブロック境界が変換ブロックの境界である場合、境界強度を「１」に設定するように構成されていてもよい。
また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動きベクトルの差の絶対値が１画素以上である場合、境界強度を「１」に設定するように構成されていてもよい。
また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動き補償の参照画像番号が異なる場合、境界強度を「１」に設定するように構成されていてもよい。
また、境界強度算出部１０８Ａ/１０８Ｂは、ブロック境界を挟む２つのブロックの動き補償の動きベクトルの数が異なる場合、境界強度を「１」に設定するように構成されていてもよい。
なお、境界強度算出部１０８Ａ/１０８Ｂは、上述の場合以外には、境界強度を「０」に設定するように構成されていてもよい。
ここで、境界強度算出部１０８Ａは、垂直方向に延びるブロック境界に係る境界強度を算出するように構成されており、境界強度算出部１０８Ｂは、水平方向に延びるブロック境界に係る境界強度を算出するように構成されている。
垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、それぞれ境界強度算出部１０８Ａ/１０８Ｂから入力された境界強度に基づいて、差分フィルタ画像とフィルタ前画像とを加算する際に用いられる重み係数を決定するように構成されている重み決定部の一例である。
例えば、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、境界強度が「２」である場合、ブロック境界から４画素ずつに、ブロック境界に近いところから４画素ずつに、「４/４」、「３/４」、「２/４」、「１/４」というように、重み係数を決定するように構成されていてもよい。
同様に、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、境界強度が「１」である場合、ブロック境界から４画素ずつに、ブロック境界に近いところから４画素ずつに、「４/８」、「３/８」、「２/８」、「１/８」というように、重み係数を決定するように構成されていてもよい。
なお、垂直エッジ重み決定部１０８Ｃは、垂直方向に延びるブロック境界に係る重み係数を決定するように構成されており、水平エッジ重み決定部１０８Ｄは、水平方向に延びるブロック境界に係る重み係数を決定するように構成されている。
差分フィルタ加算部１０８Ｅは、入力されたフィルタ前画像と差分フィルタ画像と重み係数とに基づいて、フィルタ後画像を生成して出力するように構成されている。
具体的には、差分フィルタ加算部１０８Ｅは、差分フィルタ画像に対して重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成するように構成されている。
なお、本実施形態では、境界強度算出部１０８Ａと境界強度算出部１０８Ｂとが別々に設けられ、垂直エッジ重み決定部１０８Ｃと水平エッジ重み決定部１０８Ｄとが別々に設けられているが、本発明は、かかるケースに限定されず、境界強度算出部１０８Ａ及び境界強度算出部１０８Ｂの代わりに境界強度算出部１０８ＡＢ（図示せず）が設けられ、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄの代わりに重み決定部１０８ＣＤ（図示せず）が設けられていてもよい。
かかる場合、境界強度算出部１０８ＡＢは、垂直方向及び水平方向に関わらずブロック境界の境界強度を算出するように構成されており、重み決定部１０８ＣＤは、垂直方向及び水平方向に関わらずブロック境界に係る重み係数を決定するように構成されている。
なお、本実施形態では、重み決定部１０８ＣＤと差分加算部１０８Ｅとが別々に設けられているが、本発明は、かかるケースに限定されず、境界強度算出部１０８ＡＢの代わりに境界検出部１０８Ｆ（図示せず）が設けられ、重み決定部１０８ＣＤ及び差分加算部１０８Ｅの代わりにフィルタ補正部１０８Ｇ（図示せず）が設けられていてもよい。
かかる場合、境界検出部１０８Ｆは、ブロック境界の境界強度に関わらずブロック境界領域（エッジ領域）を検出（決定）するように構成されており、フィルタ補正部１０８Ｇは、ブロック境界に係る重み係数に関わらずブロック境界領域に係る差分フィルタ画像によってフィルタ前画像を補正するように構成されている。
＜画像復号装置２００＞
図４は、本実施形態に係る画像復号装置２００のブロック図である。図３に示すように、本実施形態に係る画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ部２０６と、フレームバッファ２０７とを備える。
エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化されたレベル値や、サイド情報を出力するように構成されている。
逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化されたレベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。
インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。
イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。
加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。
ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた最も高い符号化性能の期待される予測方法により算出された予測画像のことである。
インループフィルタ部２０６は、加算部２０５から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。
フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。
図３に示すように、本実施形態に係る画像復号装置２００のインループフィルタ部２０６は、境界強度算出部１０８Ａと、境界強度算出部１０８Ｂと、垂直重み決定部１０８Ｃと、水平重み決定部１０８Ｄと、差分フィルタ加算部１０８Ｅとを備える。ここで、インループフィルタ部２０６の各機能は、上述のインループフィルタ部１０８の各機能と統一であるため、説明を省略する。
以下、図５を参照して、本実施形態に係るインループフィルタ部１０８/２０６の動作の一例について説明する。
図５に示すように、ステップＳ１０１において、インループフィルタ部１０８/２０６は、入力されたサイド情報に基づいて、上述の境界強度を算出する。
ステップＳ１０２において、インループフィルタ部１０８/２０６は、算出された境界強度及びフィルタ前画像に基づいて、上述の重み係数を決定する。
ステップＳ１０３において、インループフィルタ部１０８/２０６は、入力された差分フィルタ画像、フィルタ前画像及び重み係数に基づいて、フィルタ画像を生成する。
本実施形態に係る画像処理システム１によれば、ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像を適切に補正することができ、符号化性能を改善することができる。
（第２実施形態）
以下、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。
本実施形態において、インループフィルタ部１０８/２０６の垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、入力された境界強度及び予測モードに基づいて、上述の重み係数を出力するように構成されている。
例えば、垂直エッジ重み決定部１０８Ｃ及び水平エッジ重み決定部１０８Ｄは、かかる境界強度が「１」以上である場合に、イントラ予測が適用されているブロックに対しては、ブロック境界に近いところから順に、「４/４」、「３/４」、「２/４」、「１/４」と重み係数を決め、インター予測が適用されているブロックに対しては、ブロック境界に近いところから順に、「４/８」、「３/８」、「２/８」、「１/８」と重み係数を決めるように構成されていてもよい。
（第３実施形態）
以下、本発明の第３実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。
本実施形態において、インループフィルタ部１０８/２０６の差分フィルタ加算部１０８Ｅは、入力されたフィルタ前画像と差分フィルタ画像と重み係数と量子化パラメータとに基づいて、上述のフィルタ後画像を生成して出力するように構成されている。
具体的には、差分フィルタ加算部１０８Ｅは、学習に利用した量子化パラメータを基準として処理対象ブロックの量子化パラメータに応じた重み係数を決定し、入力された差分フィルタ画像に対して量子化パラメータにより決定した重み係数を乗算し、入力された重み係数を乗算し、フィルタ前画像に加算し、フィルタ後画像を生成するように構成されている。
例えば、差分フィルタ加算部１０８Ｅは、量子化パラメータＱＰ＝３２でモデルを学習した場合、処理対象ブロックにおいて、「ＱＰ＝２２」であれば「１２/６４」と重み係数を決定し、「ＱＰ＝３７」であれば「９０/６４」と量子化パラメータに比例した非負の重み係数を決定するように構成されていてもよい。
１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０７、２０５…加算部
１０８、２０６…インループフィルタ部
１０８Ａ、１０８Ｂ…境界強度算出部
１０８Ｃ…垂直重み決定部
１０８Ｄ…水平重み決定部
１０８Ｅ…差分フィルタ加算部
１０９、２０７…フレームバッファ
２００…画像復号装置
２０１…エントロピー復号部

Claims (5)

  1. 入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、
    前記境界強度に基づいて、重み係数を決定する重み係数決定部と、
    ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する差分フィルタ加算部とを備えることを特徴とする画像復号装置。
  2. 前記境界強度算出部は、前記境界強度として、垂直方向に延びるブロック境界の境界強度及び水平方向に延びる前記ブロック境界の境界強度のそれぞれを決定することを特徴とする請求項１に記載の画像復号装置。
  3. 前記重み係数決定部は、前記境界強度及び予測モードに基づいて、前記重み係数を決定することを特徴とする請求項１又は２に記載の画像復号装置。
  4. 入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する工程と、
    前記境界強度に基づいて、重み係数を決定する工程と、
    ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する工程とを有することを特徴とする画像復号方法。
  5. コンピュータを、画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    入力されたサイド情報に基づいて、ブロック境界の境界強度を算出する境界強度算出部と、
    前記境界強度に基づいて、重み係数を決定する重み係数決定部と、
    ＣＮＮに基づくインループフィルタ方式のフィルタ処理により得られた差分フィルタ画像に対して前記重み係数を乗算した後、フィルタ前画像に加算することによって、フィルタ後画像を生成する差分フィルタ加算部とを備えることを特徴とするプログラム。
JP2019044644A 2019-03-12 2019-03-12 画像復号装置、画像復号方法及びプログラム Active JP7026065B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019044644A JP7026065B2 (ja) 2019-03-12 2019-03-12 画像復号装置、画像復号方法及びプログラム
PCT/JP2020/008776 WO2020184266A1 (ja) 2019-03-12 2020-03-02 画像復号装置、画像復号方法及びプログラム
CN202080019690.9A CN113545071A (zh) 2019-03-12 2020-03-02 图像解码装置、图像解码方法和程序
US17/471,357 US20210409744A1 (en) 2019-03-12 2021-09-10 Image decoding device, image decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044644A JP7026065B2 (ja) 2019-03-12 2019-03-12 画像復号装置、画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020150358A JP2020150358A (ja) 2020-09-17
JP7026065B2 true JP7026065B2 (ja) 2022-02-25

Family

ID=72427382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044644A Active JP7026065B2 (ja) 2019-03-12 2019-03-12 画像復号装置、画像復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20210409744A1 (ja)
JP (1) JP7026065B2 (ja)
CN (1) CN113545071A (ja)
WO (1) WO2020184266A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056665A1 (ja) 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
WO2019031410A1 (ja) 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
WO2019046295A1 (en) 2017-08-28 2019-03-07 Interdigital Vc Holdings, Inc. APPARATUS AND METHOD FOR FILTERING WITH DEPTH LEARNING IN FUNCTION MODE

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827106B1 (ko) * 2006-10-20 2008-05-02 삼성전자주식회사 디블록킹 필터에서의 필터 조건 영역 판별을 위한 장치 및방법
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
WO2009044549A1 (ja) * 2007-10-03 2009-04-09 Panasonic Corporation ブロック歪みを減少させる方法および装置
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN106454359B (zh) * 2010-12-07 2020-05-19 索尼公司 图像处理设备和图像处理方法
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
JP5913929B2 (ja) * 2011-11-28 2016-05-11 キヤノン株式会社 動画像符号化装置及びその制御方法、コンピュータプログラム
KR20130081080A (ko) * 2012-01-06 2013-07-16 광주과학기술원 영상 경계 명확화 장치 및 방법
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056665A1 (ja) 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
WO2019031410A1 (ja) 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
WO2019046295A1 (en) 2017-08-28 2019-03-07 Interdigital Vc Holdings, Inc. APPARATUS AND METHOD FOR FILTERING WITH DEPTH LEARNING IN FUNCTION MODE

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hujun Yin et al.，AHG9: Adaptive convolutional neural network loop filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0566，13th Meeting: Marrakesh，2019年01月，pp.1-9
Kei Kawamura, Yoshitaka Kidani and Sei Naito，CE13-related: Adaptive CNN based in-loop filtering with boundary weights，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0712，14th Meeting: Geneva, CH，2019年03月，pp.1-2
Yuanying Dai et al.，AHG9: CNN-based In-Loop Filter proposed by USTC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0510-v2，2019年01月，pp.1-3
Yu-Ling Hsiao et al.，AHG9: Convolutional neural network loop filter，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0159-v1，13th Meeting: Marrakech, MA，2019年01月，pp.1-6

Also Published As

Publication number Publication date
CN113545071A (zh) 2021-10-22
US20210409744A1 (en) 2021-12-30
JP2020150358A (ja) 2020-09-17
WO2020184266A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
KR102165340B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
CN105409221B (zh) 用于样本自适应偏移滤波的编码器侧决策
EP3247117B1 (en) Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
KR102244315B1 (ko) 영상 부호화 방법 및 장치
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
WO2017056665A1 (ja) 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
US11871021B2 (en) Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values
JP2012142886A (ja) 画像符号化装置及び画像復号装置
JP2024024080A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP7026065B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2014131162A (ja) イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2005311512A (ja) エラーコンシールメント方法及び復号器
JP2018107692A (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
CN113196760A (zh) 图像编码设备和图像解码设备及其控制方法和程序
JP6839246B2 (ja) 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
JP7189854B2 (ja) 画像復号装置、画像復号方法及びプログラム
WO2021040036A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021045059A1 (ja) 符号化装置、復号装置、及びプログラム
JP2021022887A (ja) デブロッキングフィルタ制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7026065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150