JP7474772B2 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
JP7474772B2
JP7474772B2 JP2021543093A JP2021543093A JP7474772B2 JP 7474772 B2 JP7474772 B2 JP 7474772B2 JP 2021543093 A JP2021543093 A JP 2021543093A JP 2021543093 A JP2021543093 A JP 2021543093A JP 7474772 B2 JP7474772 B2 JP 7474772B2
Authority
JP
Japan
Prior art keywords
block
unit
prediction
synthesis
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021543093A
Other languages
English (en)
Other versions
JPWO2021040037A1 (ja
JPWO2021040037A5 (ja
Inventor
俊輔 岩村
敦郎 市ヶ谷
慎平 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JPWO2021040037A1 publication Critical patent/JPWO2021040037A1/ja
Publication of JPWO2021040037A5 publication Critical patent/JPWO2021040037A5/ja
Application granted granted Critical
Publication of JP7474772B2 publication Critical patent/JP7474772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化装置、復号装置、及びプログラムに関する。
ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及び次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、符号化ループ内フィルタとしてデブロッキングフィルタが採用されている（例えば、非特許文献１参照）。デブロッキングフィルタは、ブロック単位で符号化処理を行うときのブロックのブロック境界の歪みを抑制するためのループ内フィルタである。
デブロッキングフィルタを制御するフィルタ制御部は、隣り合う２つのブロックのうち少なくとも一方にイントラ予測が適用される場合、当該２つのブロックのブロック境界に対するデブロッキングフィルタを適用する。
一方、フィルタ制御部は、隣り合う２つのブロックいずれにもインター予測が適用される場合、当該２つのブロックのそれぞれの動きベクトルの値及び参照先（参照画像）の一致度等に応じて当該２つのブロックの連続性を判定し、当該２つのブロックのブロック境界にデブロッキングフィルタを適用するか否かを決定する。
一方、ＶＶＣでは、インター予測の一種として、三角形合成予測（ｔｒｉａｎｇｌｅ ｍｅｒｇｅ ｍｏｄｅ）が採用される予定である。三角形合成予測では、符号化装置は、符号化対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域を生成する。そして、生成した複数の三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。
符号化対象ブロックに用いた動きベクトルは隣接ブロックの符号化時に再利用される場合があるため、符号化装置は、三角形合成予測に用いた動きベクトルに関する情報、すなわち、参照方向を示す情報、参照先フレームを示す情報、動きベクトルの本数（単予測か双予測かを示す、及び動きベクトルの値を動きベクトルストレージに格納する。
具体的には、符号化装置は、符号化対象ブロックを４×４画素の領域（以下、「４×４ユニット」と呼ぶ）に分割し、重み付き平均により合成した合成領域に属する４×４ユニットについては、前記２つの動きベクトルの参照方向が異なる場合には双予測が適用されたとして、２つの動きベクトルに関する情報を動きベクトルストレージに格納する。一方、前記２つの動きベクトルの参照方向が等しい場合には、単予測が適用されたとして、前記２つの動きベクトルのうち、あらかじめ規定した一方の動きベクトルに関する情報を動きベクトルストレージに格納する。一方、合成領域以外の領域に属する４×４ユニットについては、単予測が適用されたとして、当該領域の予測画像生成に用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。
Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６），"Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ
従来のデブロッキングフィルタ制御における連続性判定においては、隣り合う２つのブロックいずれにもインター予測が適用されている場合、ブロック間の連続性を当該２つのブロックの動きベクトルに関する情報に基づいて判定している。
しかしながら、当該２つのブロックの少なくとも一方に三角形合成予測が適用されている場合、三角形合成予測による合成領域については、重み付き平均がされている。従来の連続性判定では、このような重み付き平均を考慮していないため、２つのブロックのブロック境界に不連続性が生じる場合にもデブロッキングフィルタが非適用となり、視覚的な劣化が生じてしまう問題がある。
そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供する。
第１の態様に係る符号化装置は、画像を分割して得たブロック単位で符号化を行う符号化装置であって、符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記符号化対象ブロックの予測ブロックを生成する合成予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、前記復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備える。
第２の態様に係る復号装置は、画像を分割して得たブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復号対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記復号対象ブロックの予測ブロックを生成する合成予測部と、前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、前記復元した復号対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備える。
第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。
第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。
本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。
実施形態に係る符号化装置の構成を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係るデブロッキングフィルタの動作例を示す図である。 実施形態に係るフィルタ制御部の動作の具体例を説明するための図である。 実施形態に係るデブロッキングフィルタ及びフィルタ制御部の動作の具体例を示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係るフィルタ制御部の動作フロー例を示す図である。
図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
＜符号化装置＞
まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。
図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。
ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。
ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。
減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。
変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。
量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。
エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。
逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。
デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロック（以下、「対象ブロック対」と呼ぶ）のブロック境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、対象ブロック対のブロック境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。
フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、対象ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１６０のフィルタ強度を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。
フィルタ制御部１６１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。フィルタ制御部１６１の動作の詳細については後述する。
メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。
予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。
インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
本実施形態において、インター予測部１８１は、三角形合成予測を行う合成予測部１８１ａを有する。合成予測部１８１ａは、符号化対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域（２つの領域予測画像）を生成し、生成した２つの三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。三角形合成予測の詳細については後述する。
イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。
このように、本実施形態に係る符号化装置１は、符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して符号化対象ブロックの予測ブロックを生成する合成予測部１８１ａと、符号化対象ブロックと予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１４０と、復元した予測残差と予測ブロックとを合成して符号化対象ブロックを復元する合成部１５０と、復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタ１６０とを有する。
次に、本実施形態に係る合成予測部１８１ａの動作について説明する。図２乃至図５は、本実施形態に係る合成予測部１８１ａの動作を示す図である。
図２に示すように、第１に、合成予測部１８１ａは、符号化対象ブロックを２つの三角形領域（Ｐａｒｔｉｔｉｏｎ １、Ｐａｒｔｉｔｉｏｎ ２）に分割する。分割方法には、図２（ａ）に示す方法と図２（ｂ）に示す方法との２種類がある。図２（ａ）に示す方法では、合成予測部１８１ａは、符号化対象ブロックの左上の頂天位置及び右下の頂天位置を通る分割線で分割する。図２（ｂ）に示す方法では、合成予測部１８１ａは、符号化対象ブロックの右上の頂天位置及び左下の頂天位置を通る分割線で分割する。
第２に、合成予測部１８１ａは、動きベクトルの参照元を候補として、各三角形領域について動きベクトルを設定する。合成予測部１８１ａは、図３の１～７に示す７種類の候補の中から規定の優先順位に並べ、上位５つの動きベクトルの中から三角形領域ごとに１種類の動きベクトルを選択する。
第３に、合成予測部１８１ａは、各三角形領域の動きベクトルを用いて三角形領域ごとの動き補償予測を行った後、三角形領域ごとの予測画像（以下、「領域予測画像」と呼ぶ）を合成することで、符号化対象ブロックの予測画像（予測ブロック）を生成する。この際、図４に示すように、２つの領域予測画像の境界については、重み付き平均（加重平均）により滑らかに合成することにより、２つの領域予測画像の境界の不連続性を抑制する。
具体的には、三角形合成予測における予測画像は、符号化対象ブロックにおけるＰａｒｔｉｔｉｏｎ １に適用する動きベクトルにより生成される予測画像１（図４の“Ｐ1”）と、Ｐａｒｔｉｔｉｏｎ ２に適用する動きベクトルにより生成される予測画像２（図４の“Ｐ2”）とを、符号化対象ブロックのブロックサイズやブロック形状に応じた重みマップ（Ｗｅｉｇｈｔ ｍａｐ）を用いて加重平均により合成する。なお、図４において、“１”乃至“７”のいずれかの重み係数が設定される画素からなる領域は、重み付き平均により合成される合成領域である。
なお、符号化対象ブロック内を４×４画素の領域（４×４ユニット）に分割し、４×４ユニットごとに合成領域か否か判定してもよい。各４×４ユニットが合成領域か否かは、当該４×４ユニット内の画素に設定する重み係数に少なくとも“１”乃至“７”のいずれかが含まれていた場合には合成領域と判定してもよいし、当該４×４ユニットの画素に設定する重み係数に“０”または“８”が含まれていない場合に合成領域と判定してもよい。
第４に、合成予測部１８１ａは、三角形合成予測に用いた動きベクトルを動きベクトルストレージに格納する。具体的には、符号化対象ブロックに用いた動きベクトルは、隣接ブロックの符号化時に再利用される場合があり、その動きベクトル再利用のために動きベクトルストレージへの格納を行う。動きベクトルストレージは、合成予測部１８１ａ又はメモリ１７０に設けられる。
具体的には、合成予測部１８１ａは、符号化対象ブロックを４×４画素の領域に分割し、４×４ユニットごとに動きベクトルストレージを準備する。合成予測部１８１ａは、動きベクトルストレージに対して、対応する動きベクトルに関する情報、すなわち、動きベクトルの参照方向、動きベクトルの参照先フレームを示す情報、動きベクトルの本数（単予測か双予測かを示す）、及び動きベクトルの値などを格納する。
図５に示すように、符号化対象ブロックのＰａｒｔｉｔｉｏｎ １（領域１）及びＰａｒｔｉｔｉｏｎ ２（領域２）の境界の領域、すなわち、符号化対象ブロックの対角線付近の領域は、重み付き平均により合成された合成領域である。合成予測部１８１ａは、このような合成領域に含まれる各４×４ユニットについては、Ｐａｒｔｉｔｉｏｎ １及びＰａｒｔｉｔｉｏｎ ２に適用した動きベクトルの参照方向が異なる場合には、双予測として、Ｐａｒｔｉｔｉｏｎ １で用いた動きベクトルとＰａｒｔｉｔｉｏｎ ２で用いた動きベクトルとの２つの動きベクトルに関する情報を動きベクトルストレージに格納する。一方、Ｐａｒｔｉｔｉｏｎ １及びＰａｒｔｉｔｉｏｎ ２に適用した動きベクトルの参照方向が等しい場合には、単予測として、Ｐａｒｔｉｔｉｏｎ ２で用いた動きベクトルに関する情報を動きベクトルストレージに格納する。
一方、合成予測部１８１ａは、Ｐａｒｔｉｔｉｏｎ １において重み付き平均が適用されていない領域に含まれる各４×４ユニットについて、単予測として、Ｐａｒｔｉｔｉｏｎ １で用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。また、合成予測部１８１ａは、Ｐａｒｔｉｔｉｏｎ ２において重み付き平均が適用されていない領域に含まれる各４×４ユニットについて、単予測として、Ｐａｒｔｉｔｉｏｎ ２で用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。
なお、図４及び図５においては、対角に領域を分割した場合について記載しており、逆対角に分割した場合には、左右に線対称に反転するように動きベクトルストレージに動きベクトル情報を格納する。
次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作について説明する。図６は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。
図６に示す例では、デブロッキングフィルタ１６０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１６０は、４行又は４列を単位としてフィルタ処理を行う。図６に示すブロックＰ及びＱは、デブロッキングフィルタ１６０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。
フィルタ制御部１６１は、例えば下記の表１に基づいて境界強度Ｂｓを求める。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。
Figure 0007474772000001
図６及び表１に示すように、フィルタ制御部１６１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。
一方、フィルタ制御部１６１は、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
（ａ）ブロックＰ及びＱの少なくとも一方のブロックが三角形合成予測の合成領域に属すること。（言い換えると、ブロックＰ及びＱの境界が三角形合成予測の合成領域に隣接すること。）
（ｂ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。
（ｃ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。
（ｄ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。
ただし、フィルタ制御部１６１は、表１に示した条件を適用する優先順位については、結果として判定されるＢｓ値が異ならない範囲で変更可能である。
フィルタ制御部１６１は、境界強度Ｂｓの値が０の場合にはフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。以下、図６に示す垂直ブロック境界を例に説明する。
フィルタ制御部１６１は、境界強度Ｂｓの値が１又は２の場合には、次式（１）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい。
Figure 0007474772000002
なお、フィルタ制御部１６１は、フィルタ処理を行う場合、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい。
Figure 0007474772000003
但し、閾値β及びｔCの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑavに応じて変わる。
このように、本実施形態に係るフィルタ制御部１６１は、上記（ａ）のように、合成予測部１８１ａが重み付き平均により合成した合成領域の位置に基づいてデブロッキングフィルタを制御する。具体的には、フィルタ制御部１６１は、ブロックＰ及びＱ（２つのサブブロック）のブロック境界が合成領域に隣接する場合、このブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタを制御する。
このように、三角形合成予測の合成領域の位置を考慮してブロック間の連続性判定を行うことにより、合成領域に起因するブロック境界の不連続性をデブロッキングフィルタ処理により抑制可能になり、視覚的な劣化を抑制できる。
次に、本実施形態に係るフィルタ制御部１６１の動作の具体例について説明する。図７は、本実施形態に係るフィルタ制御部１６１の動作の具体例を説明するための図である。
図７に示すように、ブロックＰ及びＱに適用した予測がどちらも双予測であるものとする。また、ブロックＰ及びＱのいずれも非ゼロ変換係数を含まないものとする。
ブロックＰが双予測に用いる２つの動きベクトルは、Ｐ０及びＰ１である。ブロックＱが双予測に用いる２つの動きベクトルは、Ｑ０及びＱ１である。Ｐ０及びＱ０の参照先が同一のフレームであって、かつＰ１及びＱ１の参照先が同一のフレームである。また、Ｐ０とＱ０の動きベクトルの値の差が閾値以下であり、且つＰ１とＱ１の動きベクトルの値の差が閾値以下である。
このような場合、上記の（ｂ）乃至（ｄ）のいずれの条件も満たされないことになる。しかしながら、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域である場合、ブロックＰ及びＱの境界に不連続性が生じる可能性が高い。
本実施形態においては、上記の（ａ）の条件を新たに導入している。このため、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域である場合、ブロックＰ及びＱの境界に対するフィルタ処理を行うよう制御できるため、ブロックＰ及びＱの境界の不連続性を抑制できる。
次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作の具体例について説明する。図８は、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作の具体例を示す図である。
図８に示すように、フィルタ制御部１６１は、符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとのブロック境界について、このブロック境界を跨ぐ２つのサブブロック（ブロックＰ及びＱ）を１単位としてフィルタ処理を行う。ここで、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接する場合、このサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。
具体的には、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のうち少なくとも一方に三角形合成予測が適用されている場合、動きベクトルストレージを参照し、サブブロックに対応する位置の４×４ユニットの動きベクトル情報を取得し、２つの動きベクトルが格納されている（すなわち、双予測）か否かを判定する。２つの動きベクトルが格納されている場合、このサブブロックは、三角形合成予測の合成領域に属することになる。このような場合、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。
一方、フィルタ制御部１６１は、取得した動きベクトル情報において、サブブロックに対応する位置の４×４ユニットの動きベクトル情報に１つの動きベクトルが格納されている（すなわち、単予測）場合、このサブブロックが合成領域に属しているか否かを、サブブロック内の各画素に設定した重み係数に基づいて判定する。
具体的には、当該サブブロックに含まれる画素に設定する重み係数に“０”または“８”が含まれていない場合に合成領域と判定し、“０”または“８”が含まれている場合には、合成領域でないと判定する。重み係数は符号化対象ブロックの大きさ及び形状、三角形領域の分割形状に基づいて一意に決定可能であるため、システムがあらかじめ符号化対象ブロックの大きさ及び形状、三角形領域の分割形状ごとの合成領域判定テーブルを用意しておき、これを参照することで判定を行ってもよい。
前述のように、前記取得した動きベクトル情報が単予測であった場合にも、サブブロックが合成領域に含まれると判定された場合には、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。一方、前記取得した動きベクトル情報が単予測であって、サブブロックが合成領域に含まれないと判定された場合には、フィルタ制御部１６１は当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
一方、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接しない場合、当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
＜復号装置の構成＞
次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図９は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。
図９に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。
エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。
また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。
逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。
デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなる対象ブロック対の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２４０に出力する。
フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば表１に示した方法で境界強度Ｂｓを選択し、選択した境界強度Ｂｓに応じてデブロッキングフィルタ２３０を制御する。
メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。
予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。
インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。
本実施形態において、インター予測部２５１は、三角形合成予測を行う合成予測部２５１ａを有する。合成予測部２５１ａは、復号対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域を生成し、生成した２つの三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。
合成予測部２５１ａの動作は、符号化装置１の合成予測部１８１ａの動作と同様である。但し、三角形合成予測が適用されることを示すフラグ、三角形合成予測の分割方法（図２（ａ）又は（ｂ））を示すフラグ等は、符号化ストリームにより符号化装置１から復号装置２にシグナリングされる。合成予測部２５１ａは、シグナリングされた情報に基づいて三角形合成予測を行う。
イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。
切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復号対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して復号対象ブロックの予測ブロックを生成する合成予測部２５１ａと、復元した予測残差と予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタ２３０とを有する。
また、デブロッキングフィルタ２３０は、ブロック境界を跨ぐ２つのサブブロック（ブロックＰ及びＱ）を１単位としてフィルタ処理を行う。フィルタ制御部２３１は、当該２つのサブブロックのサブブロック境界が三角形合成予測の合成領域に隣接する場合、サブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ２３０を制御する。
一方、フィルタ制御部２３１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接しない場合、当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
＜フィルタ制御部の動作例＞
次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図１０は、本実施形態に係るフィルタ制御部２３１の動作フロー例を示す図である。
図１０に示すように、ステップＳ１において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されているか否かを判定する。ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝２を選択する。
ブロックＰ及びＱのいずれもイントラ予測が適用されていない場合（ステップＳ１：ＮＯ）、すなわち、ブロックＰ及びＱの両方にインター予測が適用されている場合、ステップＳ３において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域に属するか否かを判定する。ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域に属する場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
ブロックＰ及びＱのいずれも三角形合成予測の合成領域に属しない場合（ステップＳ３：ＮＯ）、ステップＳ５において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方に非ゼロ変換係数が含まれているか否かを判定する。ブロックＰ及びＱの少なくとも一方に非ゼロ変換係数が含まれている場合（ステップＳ５：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
ブロックＰ及びＱのいずれにも非ゼロ変換係数が含まれていない場合（ステップＳ３：ＮＯ）、すなわち、予測ブロックをそのまま復元ブロックとする場合、ステップＳ６において、フィルタ制御部２３１は、ブロックＰ及びＱの動きベクトルの数及び参照画像（参照先フレーム）が異なるか否かを判定する。ブロックＰ及びＱの動きベクトルの数及び参照画像が異なる場合（ステップＳ６：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
ブロックＰ及びＱの動きベクトルの数及び参照画像が同じである場合（ステップＳ６：ＮＯ）、ステップＳ７において、フィルタ制御部２３１は、ブロックＰ及びＱの動きベクトルの差が閾値以上であるか否かを判定する。ブロックＰ及びＱの動きベクトルの差が閾値以上である場合（ステップＳ７：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
ブロックＰ及びＱの動きベクトルの差が閾値未満である場合（ステップＳ７：ＮＯ）、例えば、ブロックＰ及びＱの動きベクトルの値が同じである場合、ステップＳ８において、フィルタ制御部２３１は、フィルタ処理を行わないようにデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝０を選択する。
なお、図１０に示す各判定ステップの順序は一例に過ぎず、各判定ステップの順序を変更してもよい。例えば、ステップＳ３の判定をステップＳ７の判定の後に行ってもよい。
＜その他の実施形態＞
符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
なお、本願は日本国特許出願第２０１９－１５７４９３号（２０１９年８月２９日出願）の優先権を主張し、その内容のすべてが参照により本願明細書に組み込まれている。

Claims (8)

  1. 画像を分割して得たブロック単位で符号化を行う符号化装置であって、
    符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記符号化対象ブロックの予測ブロックを生成する合成予測部と、
    前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、
    前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、
    前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、
    前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、
    前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする符号化装置。
  2. 前記デブロッキングフィルタは、前記ブロック境界を跨ぐ２つのサブブロックを１単位として前記フィルタ処理を行い、
    前記フィルタ制御部は、前記２つのサブブロックのサブブロック境界が前記合成領域に隣接する場合、前記サブブロック境界に対する前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項１に記載の符号化装置。
  3. 前記フィルタ制御部は、前記サブブロック境界が前記合成領域に隣接しない場合、前記２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び前記２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、前記サブブロック境界に対する前記フィルタ処理を行うか否かを制御することを特徴とする請求項２に記載の符号化装置。
  4. 画像を分割して得たブロック単位で復号を行う復号装置であって、
    符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、
    前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
    前記復号対象ブロックを分割して得た複数の分割領域のそれぞれについて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記復号対象ブロックの予測ブロックを生成する合成予測部と、
    前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、
    前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、
    前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする復号装置。
  5. 前記デブロッキングフィルタは、前記ブロック境界を跨ぐ２つのサブブロックを１単位として前記フィルタ処理を行い、
    前記フィルタ制御部は、前記２つのサブブロックのサブブロック境界が前記合成領域に隣接する場合、前記サブブロック境界に対する前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項４に記載の復号装置。
  6. 前記フィルタ制御部は、前記サブブロック境界が前記合成領域に隣接しない場合、前記２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び前記２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、前記サブブロック境界に対する前記フィルタ処理を行うか否かを制御することを特徴とする請求項５に記載の復号装置。
  7. コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
  8. コンピュータを請求項４に記載の復号装置として機能させることを特徴とするプログラム。
JP2021543093A 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム Active JP7474772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019157493 2019-08-29
JP2019157493 2019-08-29
PCT/JP2020/032783 WO2021040037A1 (ja) 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021040037A1 JPWO2021040037A1 (ja) 2021-03-04
JPWO2021040037A5 JPWO2021040037A5 (ja) 2022-06-07
JP7474772B2 true JP7474772B2 (ja) 2024-04-25

Family

ID=74685106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021543093A Active JP7474772B2 (ja) 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム

Country Status (4)

Country Link
US (1) US12015789B2 (ja)
JP (1) JP7474772B2 (ja)
CN (1) CN114365487A (ja)
WO (1) WO2021040037A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123444A1 (ja) 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2019039322A1 (en) 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282558B (zh) * 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
CN108028926B (zh) * 2015-08-20 2021-08-24 日本放送协会 图像编码装置、图像解码装置
JP6556942B2 (ja) * 2015-09-25 2019-08-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ動き補償用の装置および方法
WO2018097299A1 (ja) * 2016-11-28 2018-05-31 日本放送協会 符号化装置、復号装置、符号化方法、及び復号方法
KR20210087450A (ko) * 2018-11-06 2021-07-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 기하학적 파티션을 이용한 인터 예측을 위한 사이드 정보 시그널링
EP3849184B1 (en) * 2018-11-08 2023-05-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method and apparatus therefor
EP3895422A1 (en) * 2018-12-11 2021-10-20 InterDigital VC Holdings, Inc. Method and apparatus for deblocking an image
WO2020162536A1 (ja) * 2019-02-08 2020-08-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123444A1 (ja) 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2019039322A1 (en) 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Shunsuke Iwamura, Shimpei Nemoto and Atsuro Ichigaya，[AHG18][non-CE5] Boundary strength derivation for CUs with TPM，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0602r1，16th Meeting: Geneva, CH，2019年10月，pp.1-4
Shunsuke Iwamura, Shimpei Nemoto and Atsuro Ichigaya，Non-CE5: Boundary strength derivation of deblocking filter for transform-skipped block，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0656，15th Meeting: Gothenburg, SE，2019年06月，pp.1-6
Xuewei Meng et al.，AHG18/Non-CE5: Deblocking for TPM and BCW，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0269-v2，16th Meeting: Geneva, CH，2019年10月，pp.1-7

Also Published As

Publication number Publication date
JPWO2021040037A1 (ja) 2021-03-04
US12015789B2 (en) 2024-06-18
WO2021040037A1 (ja) 2021-03-04
CN114365487A (zh) 2022-04-15
US20220182646A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
JP2024069638A (ja) 予測装置、符号化装置、復号装置、及びプログラム
US20230239514A1 (en) Encoding device, decoding device and program
JP7357721B2 (ja) デブロッキングフィルタ制御装置及びプログラム
JP7474772B2 (ja) 符号化装置、復号装置、及びプログラム
JP7483725B2 (ja) 符号化装置、復号装置、及びプログラム
CN114830642A (zh) 图像编码方法和图像解码方法
KR102511611B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
JP2020053725A (ja) 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7505869B2 (ja) 符号化装置、復号装置、及びプログラム
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2024087085A (ja) 符号化装置、復号装置、及びプログラム
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
CN114830650A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7474772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150