JP2023140151A

JP2023140151A - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Info

Publication number: JP2023140151A
Application number: JP2022046035A
Authority: JP
Inventors: 浩司大川; Koji Okawa; 真悟志摩; Shingo Shima
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-03-22
Filing date: 2022-03-22
Publication date: 2023-10-04
Also published as: WO2023181607A1

Abstract

【課題】イントラ・インター混在予測に対応したデブロッキングフィルタ処理を可能にするための技術を提供すること。
【解決手段】第１ブロックおよび第２ブロックの少なくとも一方が、符号化対象のブロックを含む画像内の画素を用いて該ブロックの予測画素を導出する予測モードを適用したブロックである場合、第１ブロックと第２ブロックとの境界に対して行うデブロッキングフィルタ処理の強度を第１強度と決定する。第１ブロックおよび第２ブロックの少なくとも一方が、符号化対象のブロックにおける一部の領域については該ブロックを含む画像内の画素を用いて予測画素を導出し、該ブロックにおける一部の領域と異なる他の領域については該ブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する予測モードを適用したブロックである場合、該強度を第１強度に基づく強度と決定する。
【選択図】図１３

Description

本発明は、画像符号化技術および画像復号技術に関する。

動画像の圧縮記録の符号化方式として、ＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ）符号化方式（以下、ＶＶＣと記す）が知られている。ＶＶＣでは符号化効率向上のため、最大１２８×１２８画素の基本ブロックを、従来の正方形だけでなく長方形の形状のサブブロックに分割する。

また、ＶＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをするためのマトリクスが用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１には、このような量子化マトリクスを符号化する技術が開示されている。

また、ＶＶＣにおいては、逆量子化・逆変換処理後の信号と予測画像とを加算した再構成画像のブロック境界に、適応的なデブロッキングフィルタ処理を行うことで人間の視覚的に目立ち易いブロック歪を抑えることができ、予測画像への画質劣化の伝搬を防ぐことができた。特許文献２には、このようなデブロッキングフィルタに関する技術が開示されている。

近年、ＶＶＣを標準化したＪＶＥＴ（ＪｏｉｎｔＶｉｄｅｏＥｘｐｅｒｔｓＴｅａｍ）では、ＶＶＣを上回る圧縮効率を実現するための技術検討が進められている。符号化効率向上のため、従来のイントラ予測、インター予測に加え、同一サブブロック内にイントラ予測画素とインター予測画素を混在させた新たな予測方法（以下、イントラ・インター混在予測と呼称する）が検討されている。

特開２０１３－３８７５８号公報特表２０１４－５０７８６３号公報

ＶＶＣにおけるデブロッキングフィルタは従来のイントラ予測やインター予測といった予測方法を前提としており、新しい予測方法であるイントラ・インター混在予測には対応できていない。そこで本発明では、イントラ・インター混在予測に対応したデブロッキングフィルタ処理を可能にするための技術を提供する。

本発明の一様態は、画像をブロック単位で予測処理を行って符号化する符号化手段と、前記画像における第１ブロックと、該画像における該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定する決定手段と、前記決定手段が決定した強度に応じたデブロッキングフィルタ処理を前記境界に対して行う処理手段とを備え、前記符号化手段は、前記予測処理として、符号化対象のブロックを含む画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第１予測モードと、符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第２予測モードと、符号化対象のブロックにおける一部の領域については該符号化対象のブロックを含む画像内の画素を用いて予測画素を導出し、該符号化対象のブロックにおける前記一部の領域と異なる他の領域については該符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モードと、のいずれかを用い、前記決定手段は、前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、前記強度を第１強度と決定し、前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度に基づく強度と決定することを特徴とする。

本発明によれば、イントラ・インター混在予測に対応したデブロッキングフィルタ処理を可能にするための技術を提供することができる。

画像符号化装置の機能構成例を示すブロック図。画像復号装置の機能構成例を示すブロック図。画像符号化装置による符号化処理のフローチャート。画像復号装置における復号処理のフローチャート。コンピュータ装置のハードウェア構成例を示すブロック図。ビットストリームの構成例を示す図。基本ブロック７００をサブブロックに分割する方法の一例を示す図。量子化マトリクスの一例を示す図。量子化マトリクスにおける各要素の値の参照順を示す図。一次元配列の一例を示す図。符号化テーブルの一例を示す図。イントラ・インター混在予測を説明するための図。画像符号化装置の機能構成例を示すブロック図。サブブロックＰとサブブロックＱとの境界における画素群を説明する図。画像符号化装置による符号化処理のフローチャート。画像復号装置の機能構成例を示すブロック図。画像復号装置における復号処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態に係る画像符号化装置は、画像に含まれる符号化対象のブロックにおける一部の領域についてはイントラ予測により得たイントラ予測画像を適用し、当該ブロックの当該一部の領域と異なる他の領域についてはインター予測により得たインター予測画像を適用した予測画像を取得する。そして画像符号化装置は、該ブロックと該予測画像との差分の直交変換係数を量子化マトリクスを用いて量子化することで得られる量子化係数を符号化する（第１符号化）。

先ず、本実施形態に係る画像符号化装置の機能構成例について、図１のブロック図を用いて説明する。制御部１５０は、画像符号化装置全体の動作制御を行う。分割部１０２は、入力画像を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロックを出力する。なお、入力画像は、動画像を構成する各フレームの画像（例えば３０フレーム／秒の動画像における各フレームの画像）であってもよいし、定期的若しくは不定期的に撮像される静止画像であってもよい。また、分割部１０２は入力画像をどのような装置から取得しても良く、たとえば、ビデオカメラなどの撮像装置から取得しても良いし、複数の画像を保持している装置から取得しても良いし、自装置がアクセス可能なメモリから取得しても良い。

保持部１０３は、複数の予測処理のそれぞれに対応する量子化マトリクスを保持している。本実施形態では、保持部１０３は、フレーム内予測であるイントラ予測に対応する量子化マトリクス、フレーム間予測であるインター予測に対応する量子化マトリクス、上記のイントラ・インター混在予測に対応する量子化マトリクスを保持しているものとする。なお、保持部１０３が保持するそれぞれの量子化マトリクスは、デフォルトの要素値を有する量子化マトリクスであっても良いし、ユーザ操作に応じて制御部１５０が生成した量子化マトリクスであっても良い。また、保持部１０３が保持するそれぞれの量子化マトリクスは、入力画像の特性（入力画像に含まれるエッジ量や周波数など）に応じて制御部１５０が生成した量子化マトリクスであっても良い。

予測部１０４は、基本ブロックごとに、該基本ブロックを複数のサブブロックに分割する。そして予測部１０４は、サブブロックごとに、イントラ予測、インター予測、イントラ・インター混在予測、のいずれかによる予測画像を取得し、該サブブロックと該予測画像との差分を予測誤差として求める。また予測部１０４は、基本ブロックの分割方法を示す情報、サブブロックの予測画像を得るための予測を示す予測モード、動きベクトル等の予測に必要な情報を予測情報として生成する。

変換・量子化部１０５は、予測部１０４が求めたそれぞれのサブブロックの予測誤差に対して直交変換（周波数変換）を行うことで該サブブロックの直交変換係数を生成し、予測部１０４が該サブブロックの予測画像を得るために行った予測（イントラ予測、インター予測、イントラ・インター混在予測）に対応する量子化マトリクスを保持部１０３から取得し、該取得した量子化マトリクスを用いて該直交変換係数を量子化することで該サブブロックの量子化係数（該直交変換係数の量子化結果）を生成する。

逆量子化・逆変換部１０６は、変換・量子化部１０５により生成されたそれぞれのサブブロックの量子化係数に対し、変換・量子化部１０５が該量子化係数の生成に用いた量子化マトリクスを用いて該量子化係数の逆量子化を行うことで直交変換係数を生成し、該直交変換係数を逆直交変換して予測誤差を生成（再生）する。

画像再生部１０７は、予測部１０４が生成した予測情報に基づいて、フレームメモリ１０８に格納されている画像から予測画像を生成し、該予測画像と、逆量子化・逆変換部１０６が生成した予測誤差と、から画像を再生する。そして画像再生部１０７は、該再生した画像をフレームメモリ１０８に格納する。フレームメモリ１０８に格納されている画像は、予測部１０４が現フレームあるいは次のフレームの画像について予測を行う際に参照される画像となる。

インループフィルタ部１０９は、フレームメモリ１０８に格納されている画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。

符号化部１１０は、変換・量子化部１０５により生成された量子化係数と、予測部１０４により生成された予測情報と、を符号化して符号化データ（符号データ）を生成する。

符号化部１１３は、保持部１０３に保持されている量子化マトリクス（少なくとも変換・量子化部１０５が量子化で用いる量子化マトリクスを含む）を符号化して符号化データ（符号データ）を生成する。

統合符号化部１１１は、符号化部１１３により生成された符号化データを用いてヘッダ符号データを生成し、符号化部１１０により生成された符号化データと、該ヘッダ符号データと、を含むビットストリームを生成して出力する。

なお、ビットストリームの出力先については特定の出力先に限らない。例えば、ビットストリームは、画像符号化装置が有するメモリに出力しても良いし、画像符号化装置が接続されているネットワークを介して外部の装置に対して出力しても良いし、放送用として外部に送信しても良い。

次に、本実施形態に係る画像符号化装置の動作について説明する。先ず、入力画像の符号化について説明する。分割部１０２は、入力画像を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロックを出力する。

予測部１０４は、基本ブロックごとに、該基本ブロックを複数のサブブロックに分割する。図７（ａ）～（ｆ）に、基本ブロック７００をサブブロックに分割する方法の一例を示す。

図７（ａ）は、サブブロックに分割されていない８画素ｘ８画素の基本ブロック７００（＝サブブロック）を示す。図７（ｂ）は、従来の正方形サブブロック分割の一例を表しており、８画素ｘ８画素の基本ブロック７００が４つの４画素×４画素のサブブロックに分割されている（四分木分割）。

図７（ｃ）～（ｆ）は、長方形サブブロック分割の種類の一例を表している。図７（ｃ）では、８画素ｘ８画素の基本ブロック７００は、２つの４画素（水平方向）×８画素（垂直方向）のサブブロックに分割されている（二分木分割）。また、図７（ｄ）では、８画素ｘ８画素の基本ブロック７００は、２つの８画素（水平方向）×４画素（垂直方向）のサブブロックに分割されている（二分木分割）。

図７（ｅ）では、８画素ｘ８画素の基本ブロック７００は、２画素（水平方向）×８画素（垂直方向）のサブブロック、４画素（水平方向）×８画素（垂直方向）のサブブロック、２画素（水平方向）×８画素（垂直方向）のサブブロック、の３つに分割されている。つまり、図７（ｅ）では、基本ブロック７００は、幅（水平方向の長さ）が１：２：１の比でサブブロックに分割される（三分木分割）。

図７（ｆ）では、８画素ｘ８画素の基本ブロック７００は、８画素（水平方向）×２画素（垂直方向）のサブブロック、８画素（水平方向）×４画素（垂直方向）のサブブロック、８画素（水平方向）×２画素（垂直方向）のサブブロック、の３つに分割されている。つまり、図７（ｆ）では、基本ブロック７００は、高さ（垂直方向の長さ）が１：２：１の比でサブブロックに分割される（三分木分割）。

このように、本実施形態では、正方形だけではなく、長方形のサブブロックを用いて符号化処理が行われる。そして、本実施形態では、このような基本ブロックの分割方法を示す情報を含む予測情報が生成される。なお、図７に示した分割方法は一例に過ぎず、基本ブロックをサブブロックに分割する方法は図７に示した分割方法に限らない。

そして予測部１０４は、それぞれのサブブロックに対して行う予測（予測モード）を決定する。そして予測部１０４は、サブブロックごとに、該サブブロックについて決定した予測モードおよび符号化済の画素に基づいて予測画像を生成し、該サブブロックと該予測画像との差分を予測誤差として求める。また、予測部１０４は、基本ブロックの分割方法を示す情報、サブブロックの予測モード、動きベクトル等の「予測に必要な情報」を予測情報として生成する。

ここで、本実施形態で用いられる予測について、改めて説明する。本実施形態では、イントラ予測、インター予測、イントラ・インター混在予測の３種類の予測（予測モード）が用いられる。

イントラ予測（第１予測モード）では、符号化対象ブロック（本実施形態ではサブブロック）の空間的に周辺に位置する符号化済画素を用いて該符号化対象ブロックの予測画素を生成する。言い換えれば、イントラ予測では、符号化対象ブロックを含むフレーム（画像）内の符号化済画素を用いて該符号化対象ブロックの予測画素（予測画像）を生成する。イントラ予測を行ったサブブロックについては、水平予測や垂直予測、ＤＣ予測などのイントラ予測方法を示す情報が「予測に必要な情報」として生成される。

インター予測（第２予測モード）では、符号化対象ブロック（本実施形態ではサブブロック）が属するフレーム（画像）とは（時間的に）異なる他のフレーム（他の画像）の符号化済画素を用いて該符号化対象ブロックの予測画素を生成する。インター予測を行ったサブブロックについては、参照するフレームや動きベクトルなどを示す動き情報が「予測に必要な情報」として生成される。

イントラ・インター混在予測（第３予測モード）では、まず符号化対象ブロック（本実施形態ではサブブロック）を斜め方向の線分で分割して該符号化対象ブロックを２つの分割領域に分割する。そして、一方の分割領域の予測画素として「該符号化対象ブロックに対するイントラ予測により該一方の分割領域について得られる予測画素」を取得する。また、他方の分割領域の予測画素として「該符号化対象ブロックに対するインター予測により該他方の分割領域について得られる予測画素」を取得する。つまり、符号化対象ブロックに対するイントラ・インター混在予測により得られる予測画像の一方の分割領域の予測画素は「該符号化対象ブロックに対するイントラ予測により該一方の分割領域について得られる予測画素」である。また、符号化対象ブロックに対するイントラ・インター混在予測により得られる予測画像の他方の分割領域の予測画素は「該符号化対象ブロックに対するインター予測により該他方の分割領域について得られる予測画素」である。イントラ・インター混在予測における符号化対象ブロックの分割例を図１２に示す。

図１２（ａ）に示す如く、符号化対象ブロック１２００を、該符号化対象ブロック１２００の左上隅の頂点および右下隅の頂点を通る線分で分割して該符号化対象ブロック１２００を分割領域１２００ａと分割領域１２００ｂとに分けたとする。この場合の予測部１０４による符号化対象ブロック１２００に対するイントラ・インター混在予測の処理について図１２（ａ）～（ｄ）を参照して説明する。このとき、予測部１０４は、符号化対象ブロック１２００に対するイントラ予測を行うことでイントラ予測画像１２０１（図１２（ｂ））を生成する。ここでイントラ予測画像１２０１は、分割領域１２００aと同じ位置にある領域１２０１ａと、分割領域１２００ｂと同じ位置にある領域１２０１ｂとを含む。そして、予測部１０４は、イントラ予測画像１２０１に含まれる画素（イントラ予測画素）のうち、分割領域１２００ａと同じ位置にある領域１２０１ａに属するイントラ予測画素を「分割領域１２００ａの予測画素」とする。また、符号化対象ブロック１２００に対するインター予測を行うことでインター予測画像１２０２（図１２（ｃ））を生成する。ここでインター予測画像１２０２は、分割領域１２００aと同じ位置にある領域１２０２ａと、分割領域１２００ｂと同じ位置にある領域１２０２ｂとを含む。そして、予測部１０４は、インター予測画像１２０２に含まれる画素（インター予測画素）のうち、分割領域１２００ｂと同じ位置にある領域１２０２ｂに属するインター予測画素を「分割領域１２００ｂの予測画素」とする。そして、予測部１０４は、「分割領域１２００ａの予測画素」である領域１２０１aに含まれるイントラ予測画素と、「分割領域１２００ｂの予測画素」である領域１２０２ｂに含まれるインター予測画素と、からなる予測画像１２０３（図１２（ｄ））を生成する。

以上のように予測部１０４は、符号化対象ブロック１２００に対するイントラ予測によりイントラ予測画像１２０１（図１２（ｂ））を生成し、更に、符号化対象ブロック１２００にインター予測によりインター予測画像１２０２（図１２（ｃ））を生成する。そして、予測部１０４は、該イントラ予測画像１２０１中のイントラ予測画素のうち、分割領域１２００ａに対応する領域１２０１aに含まれる座標（ｘ、ｙ）の位置のイントラ予測画素を、予測画像１２０３の同じ座標（ｘ、ｙ）に配置する。また、予測部１０４は、該インター予測画像１２０２中のインター予測画素のうち、分割領域１２００ｂに対応する領域１２０２ｂに含まれる座標（ｘ、ｙ）の位置のインター予測画素を、予測画像１２０３の同じ座標（ｘ、ｙ）に配置する。このようにすることで、図１２（ｄ）に示す予測画像１２０３が生成される。

またここで更に、図１２（ｅ）～（ｈ）を参照して、予測部１０４による符号化対象ブロック１２００に対するイントラ・インター混在予測の処理について説明する。この例では図１２（ｅ）に示す如く、符号化対象ブロック１２００を、該符号化対象ブロック１２００の左上隅の頂点と左下隅の頂点との中点および右上隅の頂点を通る線分で分割して該符号化対象ブロック１２００を、分割領域１２００ｃと分割領域１２００ｄとに分けた場合を想定する。このとき、予測部１０４は、符号化対象ブロック１２００に対するイントラ予測を行うことでイントラ予測画像１２０１（図１２（ｆ））を生成する。ここで該イントラ予測画像１２０１は、分割領域１２００ｃと同じ位置にある領域１２０１ｃと、分割領域１２００ｄと同じ位置にある領域１２０１ｄとを含む。そして、予測部１０４は、イントラ予測画像１２０１に含まれる画素（イントラ予測画素）のうち、分割領域１２００ｃと同じ位置にある領域１２０１ｃに属するイントラ予測画素を「分割領域１２００ｃの予測画素」とする。また、予測部１０４は、符号化対象ブロック１２００に対するインター予測を行うことでインター予測画像１２０２（図１２（ｇ））を生成する。ここで該インター予測画像１２０２は、分割領域１２００ｃと同じ位置にある領域１２０２ｃと、分割領域１２００ｄと同じ位置にある領域１２０２ｄとを含む。そして、予測部１０４は、インター予測画像１２０２に含まれる画素（インター予測画素）のうち、分割領域１２００ｄと同じ位置にある領域１２０２ｄに属するインター予測画素を「分割領域１２００ｄの予測画素」とする。そして、予測部１０４は、「分割領域１２００ｃの予測画素」である領域１２０１ｃに含まれるイントラ予測画素と、「分割領域１２００ｄの予測画素」である領域１２０２ｄに含まれるインター予測画素と、からなる予測画像１２０３（図１２（ｈ））を生成する。

以上のように予測部１０４は、符号化対象ブロック１２００に対するイントラ予測によりイントラ予測画像１２０１（図１２（ｆ））を生成し、更に、符号化対象ブロック１２００にインター予測によりインター予測画像１２０２（図１２（ｇ））を生成する。そして、予測部１０４は、該イントラ予測画像１２０１中のイントラ予測画素のうち、分割領域１２００ｃに対応する領域１２０１ｃに含まれる座標（ｘ、ｙ）に位置するイントラ予測画素を、予測画像１２０３の同じ座標（ｘ、ｙ）に配置する。また、予測部１０４は、該インター予測画像１２０２中のインター予測画素のうち、分割領域１２００ｄに対応する領域１２０２ｄに含まれる座標（ｘ、ｙ）に位置するインター予測画素を、予測画像１２０３の同じ座標（ｘ、ｙ）に配置する。以上のようにすることで、図１２（ｄ）に示す予測画像１２０３が生成される。

そして、イントラ・インター混在予測を行ったサブブロックについては、イントラ予測方法を示す情報、参照するフレームや動きベクトルなどを示す動き情報、分割領域を規定する情報（例えば上記の線分を規定する情報）、などが「予測に必要な情報」として生成される。

予測部１０４は、着目サブブロックの予測モードを次のような処理でもって決定する。予測部１０４は、着目サブブロックに対するイントラ予測で生成された予測画像と該着目サブブロックとの差分画像を生成する。また予測部１０４は、着目サブブロックに対するインター予測で生成された予測画像と該着目サブブロックとの差分画像を生成する。また予測部１０４は、着目サブブロックに対するイントラ・インター混在予測で生成された予測画像と該着目サブブロックとの差分画像を生成する。なお画像Ａと画像Ｂの差分画像Ｃ中の画素位置（ｘ、ｙ）における画素値は、該画像Ａ中の画素位置（ｘ、ｙ）における画素値ＡＡと該画像Ｂ中の画素位置（ｘ、ｙ）における画素値ＢＢとの差分（ＡＡとＢＢの差の絶対値や、ＡＡとＢＢとの差の二乗値など）である。そして予測部１０４は、差分画像中の全ての画素の画素値の合計値が最も小さい予測画像を特定し、該予測画像を得るために着目サブブロックに対して行った予測を「着目サブブロックの予測モード」として決定する。なお、着目サブブロックの予測モードを決定する方法は上記の方法に限らない。

そして予測部１０４は、サブブロックごとに、該サブブロックについて決定した予測モードで生成された予測画像を「該サブブロックの予測画像」とし、該サブブロックと該予測画像から予測誤差を生成する。また予測部１０４は、サブブロックごとに、該サブブロックについて決定した予測モードや、該サブブロックについて生成した「予測に必要な情報」、を含む予測情報を生成する。

変換・量子化部１０５は、サブブロックごとに、該サブブロックの予測誤差に対して、該予測誤差のサイズに対応した直交変換処理を施して、直交変換係数を生成する。そして変換・量子化部１０５は、サブブロックごとに、保持部１０３が保持する量子化マトリクスのうち該サブブロックの予測モードに対応する量子化マトリクスを取得し、該取得した量子化マトリクスを用いて該サブブロックの直交変換係数を量子化して量子化係数を生成する。

例えば保持部１０３が、８画素ｘ８画素のサブブロックに対してイントラ予測を行った場合に得られる予測誤差の直交変換係数の量子化に用いる量子化マトリクスとして、図８（ａ）に例示する８要素ｘ８要素（６４個の要素の値は何れも量子化ステップ値）の量子化マトリクスを保持しているものとする。また例えば、保持部１０３が８画素ｘ８画素のサブブロックに対してインター予測を行った場合に得られる予測誤差の直交変換係数の量子化に用いる量子化マトリクスとして、図８（ｂ）に例示する８要素ｘ８要素（６４個の要素の値は何れも量子化ステップ値）の量子化マトリクスを保持しているものとする。また例えば、保持部１０３が８画素ｘ８画素のサブブロックに対してイントラ・インター混在予測を行った場合に得られる予測誤差の直交変換係数の量子化に用いる量子化マトリクスとして、図８（ｃ）に例示する８要素ｘ８要素（６４個の要素の値は何れも量子化ステップ値）の量子化マトリクスを保持しているものとする。

この場合、変換・量子化部１０５は、「８画素ｘ８画素のサブブロックに対するイントラ予測で取得した予測誤差」の直交変換係数を、図８（ａ）のイントラ予測用の量子化マトリクスを用いて量子化する。

また変換・量子化部１０５は、「８画素ｘ８画素のサブブロックに対するインター予測で取得した予測誤差」の直交変換係数を、図８（ｂ）のインター予測用の量子化マトリクスを用いて量子化する。

また変換・量子化部１０５は、「８画素ｘ８画素のサブブロックに対するイントラ・インター混在予測で取得した予測誤差」の直交変換係数を、図８（ｃ）のイントラ・インター混在予測用の量子化マトリクスを用いて量子化する。

逆量子化・逆変換部１０６は、変換・量子化部１０５により生成されたそれぞれのサブブロックの量子化係数に対し、該サブブロックの量子化で変換・量子化部１０５が用いた量子化マトリクスを用いて逆量子化を行うことで直交変換係数を生成し、該直交変換係数を逆直交変換して予測誤差を生成（再生）する。

画像再生部１０７は、予測部１０４が生成した予測情報に基づいて、フレームメモリ１０８に格納されている画像から予測画像を生成し、該予測画像と、逆量子化・逆変換部１０６が生成（再生）した予測誤差と、を加算してサブブロックの画像を再生する。そして画像再生部１０７は、該再生した画像をフレームメモリ１０８に格納する。

インループフィルタ部１０９は、フレームメモリ１０８に格納されている画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、インループフィルタ処理済みの画像をフレームメモリ１０８に格納する。

符号化部１１０は、サブブロックごとに、変換・量子化部１０５により生成された該サブブロックの量子化係数と、予測部１０４により生成された該サブブロックの予測情報と、をエントロピー符号化して符号化データを生成する。なお、エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。

次に、量子化マトリクスの符号化について説明する。保持部１０３が保持する量子化マトリクスは、符号化を行うサブブロックのサイズや予測モードに応じて生成されたものである。例えば図７に示す如く、分割するサブブロックのサイズとして８画素ｘ８画素、４画素ｘ４画素、８画素ｘ４画素、４画素ｘ８画素、８画素ｘ２画素、２画素ｘ８画素などのサイズを採用する場合、該採用するサイズの量子化マトリクスを保持部１０３に登録する。また、量子化マトリクスは、イントラ予測、インター予測、イントラ・インター混在予測のそれぞれについて用意され、保持部１０３に登録する。

このような、サブブロックのサイズや予測モードに応じた量子化マトリクスの生成方法は上記の如く特定の生成方法に限らず、また、このような量子化マトリクスの保持部１０３における管理方法についても特定の管理方法に限らない。

本実施形態では、保持部１０３が保持する量子化マトリクスは図８に示す如く二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はこれに限定されない。また、サブブロックのサイズによって、あるいは符号化対象が輝度ブロックか色差ブロックかによって、同じ予測方法に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８に示すように量子化マトリクスの左上隅部分に相当する直流成分用の要素は小さく、右下部分に相当する交流成分の要素は大きくなっている。

符号化部１１３は、保持部１０３に保持されている量子化マトリクス（少なくとも変換・量子化部１０５が量子化で用いる量子化マトリクスを含む）を読み出し、該読み出した量子化マトリクスを符号化する。たとえば、符号化部１１３は、着目量子化マトリクスを次のような処理でもって符号化する。

符号化部１１３は、二次元配列である着目量子化マトリクスにおける各要素の値を規定の順序で参照し、現在参照している要素の値と直前に参照した要素の値との差分値を並べた一次元配列を生成する。たとえば、図８（ｃ）の量子化マトリクスが着目量子化マトリクスである場合、符号化部１１３は、図９に示す如く、該着目量子化マトリクスの左上隅の要素の値から右下隅の要素の値までの各要素の値を矢印で示す順序で参照する。

この場合、最初に参照する要素の値は「８」であり、直前に参照した要素の値は存在しないため、符号化部１１３は予め定められた値や何らかの方法で求めた値を出力値として出力する。たとえば、符号化部１１３は、現在参照している要素の値「８」を出力値として出力しても良いし、該要素の値「８」から規定値を引いた値を出力値として出力しても良いし、出力値は特定の方法で決定された値でなくても良い。

次に参照する要素の値は「１１」であり、直前に参照した要素の値は「８」であるため、符号化部１１３は、現在参照している要素の値「１１」から直前に参照した要素の値「８」を引いた差分値「＋３」を出力値として出力する。このようにして符号化部１１３は、量子化マトリクスにおける各要素の値を規定の順序で参照して出力値を求めて出力し、該出力値を出力順に並べた一次元配列を生成する。

このような処理によって図８（ａ）の量子化マトリクスから生成される一次元配列を図１０（ａ）に示す。また、このような処理によって図８（ｂ）の量子化マトリクスから生成される一次元配列を図１０（ｂ）に示す。また、このような処理によって図８（ｃ）の量子化マトリクスから生成される一次元配列を図１０（ｃ）に示す。図１０では、上記の規定値として「８」を設定しているものとする。

そして符号化部１１３は、着目量子化マトリクスについて生成した一次元配列を符号化する。たとえば、符号化部１１３は、図１１（ａ）に例示する符号化テーブルを参照して、一次元配列における各要素値を対応する二値符号に置き換えたビット列を符号化データとして生成する。なお符号化テーブルは図１１（ａ）に示した符号化テーブルに限らず、たとえば、図１１（ｂ）に例示する符号化テーブルを用いてもよい。

図１に戻って、統合符号化部１１１は、符号化部１１３により生成された符号化データに「画像の符号化に必要なヘッダ情報」を統合し、該ヘッダ情報を統合した符号化データを用いてヘッダ符号データを生成する。そして統合符号化部１１１は、符号化部１１０により生成された符号化データと、該ヘッダ符号データと、を多重化したビットストリームを生成して出力する。

図６（ａ）に、統合符号化部１１１により生成されるビットストリームの構成例を示す。シーケンスヘッダには量子化マトリクスの符号データが含まれ、各要素の符号化データを含む。ただし、符号化される位置はこれに限定されず、ピクチャヘッダやその他のヘッダに符号化される構成をとっても構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの予測モードを指定することでその一部を変更するようにすることも可能である。

以上説明した画像符号化装置による符号化処理について、図３のフローチャートに従って説明する。なお、図３のフローチャートに従った処理は１枚の入力画像に対する符号化処理である。よって、動画像における各フレームの画像や、定期的若しくは不定期的に撮像される複数の画像を符号化する場合には、それぞれの画像についてステップＳ３０４～ステップＳ３１１の処理を繰り返し行うことになる。

また図３のフローチャートに従った処理の開始前にはすでに、保持部１０３には、イントラ予測に対応する量子化マトリクス、インター予測に対応する量子化マトリクス、イントラ・インター混在予測に対応する量子化マトリクスが登録されているものとする。なお、上記の如く、保持部１０３が保持する量子化マトリクスは何れも、分割するサブブロックのサイズに応じた量子化マトリクスである。

ステップＳ３０２では、符号化部１１３は、保持部１０３に保持されている量子化マトリクス（少なくとも変換・量子化部１０５が量子化で用いる量子化マトリクスを含む）を読み出し、該読み出した量子化マトリクスを符号化して符号化データを生成する。

ステップＳ３０３では、統合符号化部１１１は、「画像の符号化に必要なヘッダ情報」を生成する。そして統合符号化部１１１は、ステップＳ３０２で符号化部１１３により生成された符号化データに「画像の符号化に必要なヘッダ情報」を統合し、該ヘッダ情報を統合した符号化データを用いてヘッダ符号データを生成する。

ステップＳ３０４では、分割部１０２は、入力画像を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロックを出力する。そして予測部１０４は、基本ブロックごとに、該基本ブロックを複数のサブブロックに分割する。

ステップＳ３０５では予測部１０４は、入力画像におけるサブブロックのうち未選択の１つを選択サブブロックとして選択し、該選択サブブロックの予測モードを決定する。そして予測部１０４は、該選択サブブロックに対して該決定した予測モードに応じた予測を行って、該選択サブブロックの予測画像、予測誤差、予測情報を取得する。

ステップＳ３０６では、変換・量子化部１０５は、ステップＳ３０５で取得した選択サブブロックの予測誤差に対して、該予測誤差のサイズに対応した直交変換処理を施して、直交変換係数を生成する。そして変換・量子化部１０５は、保持部１０３が保持する量子化マトリクスのうち、該選択サブブロックの予測モードに対応する量子化マトリクスを取得し、該取得した量子化マトリクスを用いて該サブブロックの直交変換係数を量子化して量子化係数を取得する。

ステップＳ３０７では逆量子化・逆変換部１０６は、ステップＳ３０６で取得した選択サブブロックの量子化係数に対し、該選択サブブロックについて変換・量子化部１０５が量子化で用いた量子化マトリクスを用いて逆量子化を行うことで直交変換係数を生成する。そして逆量子化・逆変換部１０６は、該生成した直交変換係数を逆直交変換して予測誤差を生成（再生）する。

ステップＳ３０８で画像再生部１０７は、ステップＳ３０５で取得した予測情報に基づいて、フレームメモリ１０８に格納されている画像から予測画像を生成し、該予測画像とステップＳ３０７で生成した予測誤差とを加算してサブブロックの画像を再生する。そして画像再生部１０７は、該再生した画像をフレームメモリ１０８に格納する。

ステップＳ３０９では、符号化部１１０は、ステップＳ３０６で取得した量子化係数と、ステップＳ３０５で取得した予測情報と、をエントロピー符号化して符号化データを生成する。

そして統合符号化部１１１は、ステップＳ３０３で生成されたヘッダ符号データと、ステップＳ３０９で符号化部１１０により生成された符号化データと、を多重化したビットストリームを生成して出力する。

ステップＳ３１０では、制御部１５０は、入力画像における全てのサブブロックを選択サブブロックとして選択したか否かを判断する。この判断の結果、入力画像における全てのサブブロックを選択サブブロックとして選択した場合には、処理はステップＳ３１１に進む。一方、入力画像におけるサブブロックのうち未だ選択サブブロックとして選択されていないサブブロックが１以上残っている場合には、処理はステップＳ３０５に進む。

ステップＳ３１１では、インループフィルタ部１０９は、フレームメモリ１０８に格納されている画像（ステップＳ３０８で再生された選択サブブロックの画像）に対してインループフィルタ処理を行う。そしてインループフィルタ部１０９は、インループフィルタ処理済みの画像をフレームメモリ１０８に格納する。

このような処理により、イントラ・インター混在予測を行ったサブブロックの直交変換係数を、イントラ・インター混在予測に対応する量子化マトリクスを用いて量子化することができるため、周波数成分ごとに量子化を制御し、画質を向上させることができる。

＜変形例＞
第１の実施形態では、イントラ予測、インター予測、イントラ・インター混在予測のそれぞれに対して個別に量子化マトリクスを用意し、それぞれの予測に対応する量子化マトリクスを符号化した。しかし、そのうちのいくつかを共通化しても構わない。

たとえば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化に、イントラ・インター混在予測に対応する量子化マトリクスではなく、イントラ予測に対応する量子化マトリクスを用いても良い。すなわち、例えば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数を量子化するために、図８（ｃ）のイントラ・インター混在予測用の量子化マトリクスではなく、図８（ａ）のイントラ予測用の量子化マトリクスを用いてもよい。この場合、イントラ・インター混在予測に対応する量子化マトリクスの符号化は省略することができる。これにより、ビットストリームに含める量子化マトリクスの符号化データの量を削減させることができると共に、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させることができる。

また、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化に、イントラ・インター混在予測に対応する量子化マトリクスではなく、インター予測に対応する量子化マトリクスを用いても良い。すなわち、例えば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数を量子化するために、図８（ｃ）のイントラ・インター混在予測用の量子化マトリクスではなく、図８（ｂ）のインター予測用の量子化マトリクスを用いてもよい。この場合、イントラ・インター混在予測に対応する量子化マトリクスの符号化は省略することができる。これにより、ビットストリームに含める量子化マトリクスの符号化データの量を削減させることができると共に、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させることもできる。

また、イントラ・インター混在予測を実行して得られたサブブロックの予測画像において、「イントラ予測により得られる予測画素」の領域、「インター予測により得られる予測画素」の領域、のそれぞれのサイズに応じて、該サブブロックに用いる量子化マトリクスを決定しても良い。

たとえば、図１２（ｅ）に示す如くサブブロック１２００を分割領域１２００ｃと分割領域１２００ｄとに分割したとする。そして、分割領域１２００ｃの予測画素として「イントラ予測による得られる予測画素」を求め、分割領域１２００ｄの予測画素として「インター予測による得られる予測画素」を求めたとする。また、分割領域１２００ｃのサイズ（面積（画素数））Ｓ１：分割領域１２００ｄのサイズ（面積（画素数））Ｓ２＝１：３であるとする。

このような場合、サブブロック１２００においてイントラ予測が適用された分割領域１２００ｃのサイズよりもインター予測が適用された分割領域１２００ｄのサイズが大きい。よって、変換・量子化部１０５は、このサブブロック１２００の直交変換係数の量子化には、インター予測に対応する量子化マトリクス（例えば図８（ｂ）の量子化マトリクス）を適用する。

なお、サブブロック１２００においてイントラ予測が適用された分割領域１２００ｃのサイズよりもインター予測が適用された分割領域１２００ｄのサイズが小さい場合には、変換・量子化部１０５は、サブブロック１２００の直交変換係数の量子化には、イントラ予測に対応する量子化マトリクス（例えば図８（ａ）の量子化マトリクス）を適用する。これにより、よりサイズが大きい分割領域の画質劣化を低減しつつ、イントラ・インター混在予測に対応する量子化マトリクスの符号化は省略することができる。よって、ビットストリームに含める量子化マトリクスの符号化データの量を削減させることができる。

また、「イントラ予測に対応する量子化マトリクス」と「インター予測に対応する量子化マトリクス」とをＳ１とＳ２との比に応じて合成した量子化マトリクスをイントラ・インター混在予測に対応する量子化マトリクスとして生成しても良い。例えば、変換・量子化部１０５は、次式（１）を用いてイントラ・インター混在予測に対応する量子化マトリクスを生成しても良い。

ＱＭ［ｘ］［ｙ］＝｛ｗ×ＱＭｉｎｔｅｒ［ｘ］［ｙ］＋（１－ｗ）×ＱＭｉｎｔｒａ［ｘ］［ｙ］｝）…（１）
ここで、ＱＭ［ｘ］［ｙ］は、イントラ・インター混在予測に対応する量子化マトリクスにおいて座標（ｘ，ｙ）における要素の値（量子化ステップ値）を示す。ＱＭｉｎｔｅｒ［ｘ］［ｙ］は、インター予測に対応する量子化マトリクスにおいて座標（ｘ，ｙ）における要素の値（量子化ステップ値）を示す。ＱＭｉｎｔｒａ［ｘ］［ｙ］は、イントラ予測に対応する量子化マトリクスにおいて座標（ｘ，ｙ）における要素の値（量子化ステップ値）を示す。また、ｗは０以上１以下の値を持つ、当該サブブロックの中でインター予測が用いられた領域の割合を示す値であり、ｗ＝Ｓ２／（Ｓ１＋Ｓ２）である。このように、イントラ・インター混在予測に対応する量子化マトリクスは必要に応じて生成することができ、予め作成しておく必要は無いので、該量子化マトリクスの符号化は省略することができる。よって、ビットストリームに含める量子化マトリクスの符号化データの量を削減させることができる。また、イントラ予測、インター予測のそれぞれが用いられた領域のサイズの比に応じた適切な量子化制御を行うことができ、画質を向上させることができる。

また、第１の実施形態では、イントラ・インター混在予測を適用したサブブロックに適用する量子化マトリクスは一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。

イントラ・インター混在予測を適用したサブブロックに適用する量子化マトリクスとして、イントラ予測に対応する量子化マトリクス、インター予測に対応する量子化マトリクス、イントラ・インター混在予測に対応する量子化マトリクス、から選択する方法には様々な方法がある。たとえば、ユーザ操作に応じて制御部１５０が選択しても良い。

そして、ビットストリームには、イントラ・インター混在予測を適用したサブブロックに適用する量子化マトリクスとして選択された量子化マトリクスを特定する為の識別子を格納する。

例えば図６（ｂ）は、上記の識別子として量子化マトリクス符号化方法情報符号を新たに導入することで、イントラ・インター混在予測を適用したサブブロックに適用する量子化マトリクスを選択的にしたものである。例えば、量子化マトリクス符号化方法情報符号が０を示している場合には、イントラ・インター混在予測を適用したサブブロックに対し、イントラ予測に対応する量子化マトリクスが適用されたことを示している。また、量子化マトリクス符号化方法情報符号が１を示している場合には、イントラ・インター混在予測を適用したサブブロックに対し、インター予測に対応する量子化マトリクスが適用されたことを示している。一方、量子化マトリクス符号化方法情報符号が２を示している場合には、イントラ・インター混在予測を適用したサブブロックに対し、イントラ・インター混在予測に対応する量子化マトリクスが適用されたことを示している。

これにより、ビットストリームに含める量子化マトリクスの符号化データの量の削減と、イントラ・インター混在予測を適用したサブブロックに対する独自の量子化制御と、を選択的に実現することが可能となる。

また、第１の実施形態では、サブブロックを分割した一方の分割領域に対する予測画素（第１予測画素）と、他方の分割領域に対する予測画素（第２予測画素）と、を含む予測画像を生成したが、予測画像の生成方法はこのような生成方法に限らない。たとえば、一方の分割領域と他方の分割領域との境界付近の領域（境界領域）の画質を向上させるため、境界領域に含まれる第１予測画素と第２予測画素との加重平均によって算出された第３予測画素を、該境界領域の予測画素としても良い。この場合、予測画像において上記の一方の分割領域に対応する対応領域の予測画素値は第１予測画素となり、予測画像において上記の他方の分割領域に対応する対応領域の予測画素値は第２予測画素となる。そして、予測画像において上記の境界領域に対応する対応領域の予測画素値は第３予測画素となる。これにより、異なる予測が用いられた分割領域の境界領域における画質の劣化を抑制し、画質を向上させることができる。

また、第１の実施形態では、イントラ予測、インター予測、イントラ・インター混在予測の３種類を例にとり説明したが、予測の種類や数は、この例に限らない。たとえば、ＶＶＣで採用されているイントラ・インター複合予測（ＣＩＩＰ）を用いても良い。イントラ・インター複合予測は、符号化対象ブロック全体の画素をイントラ予測による予測画素とインター予測による予測画素との加重平均で算出する予測である。この場合、イントラ・インター混在予測を用いたサブブロックに対して用いられる量子化マトリクスと、イントラ・インター複合予測を用いたサブブロックに対して用いられる量子化マトリクスと、を共通化することもできる。これにより、同一サブブロック内でイントラ予測による予測画素とインター予測による予測画素の両方を用いるという共通点を持った予測が用いられたサブブロックに対し、同一の量子化制御の性質を持った量子化マトリクスによる量子化を適用することができる。さらには、新たな予測方法に対応する量子化マトリクス分の符号量を削減することもできる。

また、第１の実施形態では、符号化対象を入力画像としたが、符号化対象は画像に限らない。例えば、物体認識などの機械学習に用いられる特徴量データである二次元のデータ配列を入力画像と同様にして符号化してビットストリームを生成して出力する構成としても良い。これにより、機械学習に用いられる特徴量データを効率よく符号化することが可能となる。

［第２の実施形態］
本実施形態に係る画像復号装置は、ビットストリームから、復号対象のブロックについての量子化係数を復号し、量子化マトリクスを用いて、該量子化係数から変換係数を導出し、該変換係数を逆周波数変換することで、該復号対象のブロックについての予測誤差を導出する。そして、画像復号装置は、復号対象のブロックにおける一部の領域についてはイントラ予測により得たイントラ予測画像を適用し、復号対象のブロックにおける該一部の領域と異なる他の領域についてはインター予測により得たインター予測画像を適用した予測画像を生成し、生成した予測画像と、該予測誤差とを用いて復号対象のブロックを復号する。

本実施形態では、第１の実施形態に係る画像符号化装置によって符号化されたビットストリームを復号する画像復号装置について説明する。先ず、本実施形態に係る画像復号装置の機能構成例について、図２のブロック図を用いて説明する。

制御部２５０は、画像復号装置全体の動作制御を行う。分離復号部２０２は、第１の実施形態に係る画像符号化装置によって符号化されたビットストリームを取得する。ビットストリームの取得形態については特定の取得形態に限らない。例えば、第１の実施形態に係る画像符号化装置から出力されたビットストリームをネットワークを介して取得しても良いし、該ビットストリームが一端保存されたメモリから取得しても良い。そして分離復号部２０２は、該取得したビットストリームから復号処理に関する情報や係数に関する符号化データに分離し、またビットストリームのヘッダ部に存在する符号化データを復号する。本実施形態では、分離復号部２０２は、ビットストリームから量子化マトリクスの符号化データを分離し、該符号化データを復号部２０９に供給する。また、分離復号部２０２は、ビットストリームから入力画像の符号化データを分離し、該符号化データを復号部２０３に供給する。つまり分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行う。

復号部２０９は、分離復号部２０２から供給された符号化データを復号して量子化マトリクスを再生する。復号部２０３は、分離復号部２０２から供給された符号化データを復号して、量子化係数および予測情報を再生する。

逆量子化・逆変換部２０４は、第１の実施形態に係る画像符号化装置が有する逆量子化・逆変換部１０６と同様の動作を行うものである。逆量子化・逆変換部２０４は、復号部２０９が復号した量子化マトリクスのうち、復号する量子化係数に対応する予測に対応する量子化マトリクスを選択し、該選択した量子化マトリクスを用いて該量子化係数を逆量子化して直交変換係数を再生する。そして逆量子化・逆変換部２０４は、該再生した直交変換係数に対して逆直交変換を行うことで予測誤差を再生する。

画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで予測画像を生成する。そして画像再生部２０５は、該生成された予測画像に、逆量子化・逆変換部２０４によって得られた予測誤差を加算することで再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

インループフィルタ部２０７は、フレームメモリ２０６に格納されている再生画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。フレームメモリ２０６に格納されている再生画像は、制御部２５０によって適宜出力される。再生画像の出力先は特定の出力先に限らず、例えば、ディスプレイなどの表示装置の表示画面に再生画像を表示しても良いし、プロジェクタなどの投影装置に対して該再生画像を出力しても良い。

次に、上記の構成を有する画像復号装置の動作（ビットストリームの復号処理）について説明する。分離復号部２０２は、画像符号化装置によって生成されたビットストリームを取得し、該ビットストリームから復号処理に関する情報や係数に関する符号化データを分離し、ビットストリームのヘッダに存在する符号化データを復号する。分離復号部２０２は、図６（ａ）のビットストリームのシーケンスヘッダから量子化マトリクスの符号化データを抽出し、該抽出した符号化データを復号部２０９に供給する。また分離復号部２０２は、ピクチャデータのサブブロック単位の符号化データを復号部２０３に供給する。

復号部２０９は、分離復号部２０２から供給された量子化マトリクスの符号化データを復号して一次元配列を再生する。より詳しくは、復号部２０９は、図１１（ａ）や図１１（ｂ）に例示する符号化テーブルを参照して、量子化マトリクスの符号化データにおける二値符号を差分値に復号して並べた一次元配列を生成する。たとえば、復号部２０９は、図８（ａ）～（ｃ）の量子化マトリクスの符号化データを復号すると、それぞれ、図１０（ａ）～（ｃ）の一次元配列が再生される。本実施形態では、第１の実施形態と同様、図１１（ａ）（又は図１１（ｂ））に示される符号化テーブルを用いて復号するものとするが、符号化テーブルはこれに限定されず、第１の実施形態と同じものを用いる限りは他の符号化テーブルを用いても良い。

さらに復号部２０９は、再生した一次元配列の各差分値から量子化マトリクスの各要素値を再生する。これは、符号化部１１３が量子化マトリクスから一次元配列を生成するために行った処理と逆の処理を行うことになる。つまり、一次元配列の先頭における要素の値は量子化マトリクスの左上隅の要素値となる。一次元配列の先頭から２番目の要素の値に一次元配列の先頭における要素の値を加えた値が、上記の「規定の順序」において２番目の要素値となる。一次元配列の先頭からｎ（２＜ｎ≦Ｎ：Ｎは一次元配列の要素数）番目の要素の値に一次元配列の先頭から（ｎ－１）番目の要素の値を加えた値が、上記の「規定の順序」においてｎ番目の要素値となる。たとえば復号部２０９は、図１０（ａ）～（ｃ）の一次元配列から、図９に示した順序を用いてそれぞれ、図８（ａ）～（ｃ）の量子化マトリクスを再生する。

復号部２０３は、分離復号部２０２から供給された入力画像の符号化データを復号することで、量子化係数および予測情報を復号する。

逆量子化・逆変換部２０４は、復号部２０３によって復号された予測情報に含まれている「復号する量子化係数に対応する予測モード」を特定し、復号部２０９が再生した量子化マトリクスのうち、該特定した予測モードに対応する量子化マトリクスを選択する。そして逆量子化・逆変換部２０４は、該選択した量子化マトリクスを用いて該量子化係数を逆量子化して直交変換係数を再生する。そして逆量子化・逆変換部２０４は、該再生した直交変換係数に対して逆直交変換を行うことで予測誤差を再生し、該再生した予測誤差を画像再生部２０５に供給する。

画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで予測画像を生成する。本実施形態では、第１の実施形態の予測部１０４と同様、イントラ予測、インター予測、イントラ・インター混在予測の３種類の予測が用いられる。具体的な予測の処理については、第１の実施形態で説明した予測部１０４と同様であるため、説明を省略する。そして画像再生部２０５は、該生成された予測画像に、逆量子化・逆変換部２０４によって得られた予測誤差を加算することで再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。フレームメモリ２０６に格納された再生画像は、他のサブブロックを復号する際に参照する予測参照候補となる。

インループフィルタ部２０７は、上記のインループフィルタ部１０９と同様に動作し、フレームメモリ２０６に格納されている再生画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。フレームメモリ２０６に格納されている再生画像は、制御部２５０によって適宜出力される。

本実施形態に係る画像復号装置における復号処理について、図４のフローチャートに従って説明する。ステップＳ４０１では、分離復号部２０２は、符号化されたビットストリームを取得する。そして分離復号部２０２は、該取得したビットストリームから量子化マトリクスの符号化データを分離し、該符号化データを復号部２０９に供給する。また、分離復号部２０２は、ビットストリームから入力画像の符号化データを分離し、該符号化データを復号部２０３に供給する。

ステップＳ４０２では、復号部２０９は、分離復号部２０２から供給された符号化データを復号して量子化マトリクスを再生する。ステップＳ４０３では、復号部２０３は、分離復号部２０２から供給された符号化データを復号して、復号対象のサブブロックの量子化係数および予測情報を再生する。

ステップＳ４０４では、逆量子化・逆変換部２０４は、復号部２０３によって復号された予測情報に含まれている「復号対象のサブブロックの量子化係数に対応する予測モード」を特定する。そして逆量子化・逆変換部２０４は、復号部２０９が再生した量子化マトリクスのうち、該特定した予測モードに対応する量子化マトリクスを選択する。例えば、復号対象のサブブロックについて特定された予測モードがイントラ予測であった場合、図８（ａ）～（ｃ）の量子化マトリクスのうち、図８（ａ）のイントラ予測用の量子化マトリクスが選択される。また、復号対象のサブブロックについて特定された予測モードがインター予測であった場合、図８（ｂ）のインター予測用の量子化マトリクスが選択される。また、復号対象のサブブロックについて特定された予測モードがイントラ・インター混在予測であった場合、図８（ｃ）のイントラ・インター混在予測用の量子化マトリクスが選択される。そして逆量子化・逆変換部２０４は、選択した量子化マトリクスを用いて復号対象のサブブロックの量子化係数を逆量子化して直交変換係数を再生する。そして逆量子化・逆変換部２０４は、該再生した直交変換係数に対して逆直交変換を行うことで、復号対象のサブブロックの予測誤差を再生し、該再生した予測誤差を画像再生部２０５に供給する。

ステップＳ４０５では、画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで、復号対象のサブブロックの予測画像を生成する。そして画像再生部２０５は、該生成された予測画像に、逆量子化・逆変換部２０４によって得られた復号対象のサブブロックの予測誤差を加算することで、復号対象のサブブロックの再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

ステップＳ４０６では、制御部２５０は、全てのサブブロックについてステップＳ４０３～Ｓ４０５の処理を行ったか否かを判断する。この判断の結果、全てのサブブロックについてステップＳ４０３～Ｓ４０５の処理を行った場合には、処理はステップＳ４０７に進む。一方、ステップＳ４０３～Ｓ４０５の処理を行っていないサブブロックが未だ残っている場合には、該サブブロックについてステップＳ４０３～Ｓ４０５の処理を行うべく、処理はステップＳ４０３に進む。

ステップＳ４０７においてインループフィルタ部２０７は、ステップＳ４０５で生成されてフレームメモリ２０６に格納された再生画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。

このような処理により、第１の実施形態で生成された、イントラ・インター混在予測を用いたサブブロックに対しても、周波数成分ごとに量子化を制御して画質が向上したビットストリームを復号することができる。

＜変形例＞
第２の実施形態では、イントラ予測、インター予測、イントラ・インター混在予測のそれぞれに対して個別に量子化マトリクスを用意し、それぞれの予測に対応する量子化マトリクスを復号した。しかし、そのうちのいくつかを共通化しても構わない。

たとえば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化係数を逆量子化するために、イントラ・インター混在予測に対応する量子化マトリクスではなく、イントラ予測に対応する量子化マトリクスを復号して用いても良い。すなわち、例えば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化係数を逆量子化するために、図８（ａ）のイントラ予測用の量子化マトリクスを用いてもよい。この場合、イントラ・インター混在予測に対応する量子化マトリクスの復号は省略することができる。つまり、ビットストリームに含める量子化マトリクスの符号化データの量を削減させたビットストリームの復号が可能であると共に、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させた復号画像を得ることができる。

また、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化係数を逆量子化するために、イントラ・インター混在予測に対応する量子化マトリクスではなく、インター予測に対応する量子化マトリクスを復号して用いても良い。すなわち、例えば、イントラ・インター混在予測に基づいて得られた予測誤差の直交変換係数の量子化係数を逆量子化するために、図８（ｂ）のインター予測用の量子化マトリクスを用いてもよい。この場合、イントラ・インター混在予測に対応する量子化マトリクスの復号は省略することができる。つまり、ビットストリームに含める量子化マトリクスの符号化データの量を削減させたビットストリームの復号が可能であると共に、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させた復号画像を得ることができる。

また、イントラ・インター混在予測が実行されたサブブロックの予測画像において「イントラ予測により得られる予測画素」の領域、「インター予測により得られる予測画素」の領域、のそれぞれのサイズに応じて、該サブブロックの逆量子化に用いる量子化マトリクスを決定しても良い。

このような場合、サブブロック１２００においてイントラ予測が適用された分割領域１２００ｃのサイズよりもインター予測が適用された分割領域１２００ｄのサイズが大きい。よって、逆量子化・逆変換部２０４は、このサブブロック１２００の量子化係数の逆量子化には、インター予測に対応する量子化マトリクスを適用する。

なお、サブブロック１２００においてイントラ予測が適用された分割領域１２００ｃのサイズよりもインター予測が適用された分割領域１２００ｄのサイズが小さい場合には、逆量子化・逆変換部２０４は、サブブロック１２００の量子化係数の逆量子化には、イントラ予測に対応する量子化マトリクスを適用する。

これにより、よりサイズが大きい分割領域の画質劣化を低減しつつ、イントラ・インター混在予測に対応する量子化マトリクスの復号は省略することができる。よって、ビットストリームに含める量子化マトリクスの符号化データの量を削減させたビットストリームの復号を可能にすることができる。

また、「イントラ予測に対応する量子化マトリクス」と「インター予測に対応する量子化マトリクス」とをＳ１とＳ２との比に応じて合成した量子化マトリクスをイントラ・インター混在予測に対応する量子化マトリクスとして生成しても良い。例えば、逆量子化・逆変換部２０４は、上記の式（１）を用いてイントラ・インター混在予測に対応する量子化マトリクスを生成しても良い。

このように、イントラ・インター混在予測に対応する量子化マトリクスは必要に応じて生成することができるので、該量子化マトリクスの符号化は省略することができる。よって、ビットストリームに含める量子化マトリクスの符号化データの量を削減させたビットストリームの復号を可能にする。また、イントラ予測、インター予測のそれぞれが用いられた領域のサイズの比に応じた適切な量子化制御を行って画質を向上させたビットストリームを復号することができる。

また、第２の実施形態では、イントラ・インター混在予測を適用したサブブロックに適用する量子化マトリクスは一意に決まる構成としたが、第１の実施形態と同様、識別子を導入することで選択可能とする構成としても構わない。これにより、ビットストリームに含める量子化マトリクスの符号化データの量の削減と、イントラ・インター混在予測を適用したサブブロックに対する独自の量子化制御と、を選択的に実現したビットストリームを復号することができる。

また、第２の実施形態では、サブブロックを分割した一方の分割領域に対する予測画素（第１予測画素）と、他方の分割領域に対する予測画素（第２予測画素）と、を含む予測画像を復号するものとしたが、復号する予測画像はこのような予測画像に限らない。たとえば、第１の実施形態の変形例と同様、一方の分割領域と他方の分割領域との境界付近の領域（境界領域）に含まれる第１予測画素と第２予測画素との加重平均によって算出された第３予測画素を該境界領域の予測画素とする予測画像であっても良い。この場合、復号する予測画像は第１の実施形態と同様、予測画像において上記の一方の分割領域に対応する対応領域の予測画素値は第１予測画素となり、予測画像において上記の他方の分割領域に対応する対応領域の予測画素値は第２予測画素となる。そして、予測画像において上記の境界領域に対応する対応領域の予測画素値は第３予測画素となる。これにより、異なる予測が用いられた分割領域の境界領域における画質の劣化を抑制し、画質を向上させたビットストリームの復号を可能にすることができる。

また、第２の実施形態では、イントラ予測、インター予測、イントラ・インター混在予測の３種類を例にとり説明したが、予測の種類や数は、この例に限らない。たとえば、ＶＶＣで採用されているイントラ・インター複合予測（ＣＩＩＰ）を用いても良い。この場合、イントラ・インター混在予測を用いたサブブロックに対して用いられる量子化マトリクスと、イントラ・インター複合予測を用いたサブブロックに対して用いられる量子化マトリクスと、を共通化することもできる。これにより、同一サブブロック内でイントラ予測による予測画素とインター予測による予測画素の両方を用いるという共通点を持った予測方法が用いられたサブブロックに対し、同一の量子化制御の性質を持った量子化マトリクスによる量子化を適用したビットストリームの復号を可能にすることができる。さらには、新たな予測方法に対応する量子化マトリクス分の符号量を削減したビットストリームの復号を可能にすることもできる。

また、第２の実施形態では、ビットストリームから符号化対象である入力画像を復号するものとして説明したが、復号対象は画像に限らない。例えば、物体認識などの機械学習に用いられる特徴量データである二次元のデータ配列を入力画像と同様にして符号化した符号化データを含むビットストリームから該二次元のデータ配列を復号する構成としても良い。これにより、機械学習に用いられる特徴量データを効率よく符号化したビットストリームの復号が可能となる。

［第３の実施形態］
本実施形態に係る画像符号化装置は、画像をブロック単位で予測処理を行って符号化する。画像符号化装置は、該画像における第１ブロックと、該画像における該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定し、該決定した強度に応じたデブロッキングフィルタ処理を該境界に対して行う。該予測処理として、符号化対象のブロックを含む画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第１予測モード（イントラ予測）と、符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第２予測モード（インター予測）と、符号化対象のブロックにおける一部の領域については該符号化対象のブロックを含む画像内の画素を用いて予測画素を導出し、該符号化対象のブロックにおける該一部の領域と異なる他の領域については該符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モード（イントラ・インター混在予測）と、のいずれかが用いられる。またデブロッキングフィルタの強度の決定において、画像符号化装置は、第１ブロックおよび第２ブロックの少なくとも一方が第１予測モードを適用したブロックである場合には、上記の強度を第１強度と決定する。また画像符号化装置は、第１ブロックおよび第２ブロックの少なくとも一方が、第３予測モードを適用したブロックである場合には、上記の強度を上記の第１強度に基づく強度と決定する。

本実施形態に係る画像符号化装置の機能構成例について、図１３のブロック図を用いて説明する。図１３において図１に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

なお、本実施形態に係る変換・量子化部１０５は直交変換係数の量子化を行う際には、予め定められた量子化マトリクスを用いるものとして説明するが、上記の実施形態のように、イントラ・インター混在予測に対応する量子化マトリクスを用いても良い。

インループフィルタ部１３０９は、フレームメモリ１０８に格納されている画像（サブブロック）に対して、決定部１３１３により決定されたフィルタ強度（ｂＳ値）に応じたデブロッキングフィルタなどのインループフィルタ処理を行う。そしてインループフィルタ部１３０９は、インループフィルタ処理済みの画像をフレームメモリ１０８に格納する。

決定部１３１３は、隣接する２つのサブブロックの間の境界に対して行うデブロッキングフィルタ処理のフィルタ強度（ｂＳ値）を決定する。より具体的には、決定部１３１３は、サブブロックＰと、該サブブロックＰと隣接するサブブロックＱと、の境界に対して行うデブロッキングフィルタ処理のフィルタ強度であるｂＳ値を、以下の（条件１）～（条件６）のうち満たされている条件に基づいて決定する。

（条件１）サブブロックＰとサブブロックＱの両方が、「水平方向もしくは垂直方向のイントラ予測を行った予測差分画像に対して変換処理を行うことなく隣接画素の差分値を直接符号化するＢＤＰＣＭモード」のサブブロックである場合には、ｂＳ値を０とする
（条件２）サブブロックＰおよびサブブロックＱのうち少なくとも一方がイントラ予測あるいはイントラ・インター混在予測を行ったサブブロックである場合には、ｂＳ値を２とする
（条件３）サブブロックＰとサブブロックＱとの境界が、変換の単位であるサブブロックの境界であり、かつ少なくとも一方のサブブロックの直交変換係数に非零の直交変換係数が含まれている場合は、ｂＳ値を１とする
（条件４）サブブロックＰとサブブロックＱとで動き補償の参照画像が異なるか、若しくは動きベクトルの数が異なる場合には、ｂＳ値を１とする
（条件５）サブブロックＰにおける動きベクトルとサブブロックＱにおける動きベクトルとの差の絶対値が０．５画素以上である場合は、ｂＳ値を１とする
（条件６）（条件１）～（条件５）以外の場合、ｂＳ値を０とする
ここで、ｂＳ値が０となるサブブロック境界（エッジ）に対してはデブロッキングフィルタ処理は行わず、ｂＳ値が１以上のサブブロック境界（エッジ）に対しては、サブブロック境界付近の勾配及びアクティビティに基づきデブロッキングフィルタを決定する。基本的には、ｂＳ値が大きい程、補正強度の強いデブロッキングフィルタ処理を施すものとする。

なお、本実施形態では、ｂＳ値が０となるサブブロック境界に対してはデブロッキングフィルタ処理は実施されず、ｂＳ値が１以上となるサブブロック境界に対してはデブロッキングフィルタ処理が実施されるが、これに限定されるものではない。例えば、デブロッキングフィルタ処理の強度の種類はもっと数が多くてもよいし少なくてもよい。

また、デブロッキングフィルタ処理の強度に応じた処理の内容も異なっていてもよい。例えば、Ｈ．２６４のデブロッキングフィルタ処理のように、ｂＳ値が０～４の五段階の値をとっても良い。

また、本実施形態では、イントラ・インター混在予測を使用したサブブロックの境界に対するデブロッキングフィルタ処理のｂＳ値は、イントラ予測を使用したサブブロックの境界に対するデブロッキングフィルタ処理のｂＳ値と同一の値となっている。このｂＳ値は２、即ち最大のフィルタ強度であることを示しているが、これに限定されるものではない。例えば、本実施形態におけるｂＳ値＝１（他のｂＳ値の一例）とｂＳ値＝２との間に中間的なｂＳ値を設け、サブブロックＰとサブブロックＱの少なくとも一方がイントラ・インター混在予測を行ったサブブロックである場合は、この中間的なｂＳ値を用いるとしても良い。その場合、輝度成分には通常のｂＳ値＝２の時と同様のデブロッキングフィルタ処理を実施し、色差成分にはｂＳ値＝２の時よりも補正強度の弱いデブロッキングフィルタ処理を実施することも可能である。これにより、イントラ・インター混在予測を用いたサブブロックの境界に対しては、中間的な補正強度のデブロッキングフィルタ処理を実施することができる。また、イントラ・インター混在予測を用いたサブブロック内の各画素が、イントラ予測およびインター予測のどちらの予測による予測画素であるのかに基づいて、境界の画素毎にｂＳ値を決定してもよい。その場合、イントラ予測による予測画素に対するｂＳ値は必ず２となり、インター予測による予測画素に対するｂＳ値は上記の（条件１）～（条件６）に基づいて決定することができる。

また、本実施形態では、フィルタ強度としてｂＳ値を用いているが、これに限定されるものではない。例えばｂＳ値ではなく他の変数をフィルタ強度として定義してもよいし、直接デブロッキングフィルタの係数やフィルタ長を変えてもよい。

次に、本実施形態のインループフィルタ部１３０９におけるデブロッキングフィルタ処理についてより詳細に説明する。デブロッキングフィルタ処理は、予測処理あるいは変換処理の単位となるサブブロックの境界に対して行われる。デブロッキングフィルタのフィルタ長は、サブブロックのサイズ（画素数）に依存し、サブブロックのサイズが３２画素以上の場合、最大で境界から７画素までかけられる。同様にサブブロックのサイズが４画素以下の場合、境界に隣接する１画素ラインの画素値のみが更新される。

本実施形態では、全てのサブブロックが８×８画素のサイズで予測及び変換処理が施されるものとするが、それに限定されるものではなく、予測を行うサブブロックのサイズと変換処理を行うサブブロックのサイズとは異なっていても良い。例えば、ＶＶＣにおけるＳｕｂｂｌｏｃｋＴｒａｎｓｆｏｒｍ（ＳＢＴ）のように、変換処理を適用するサブブロックが予測処理を行うサブブロックを更に分割したものであってもよい。あるいは、３２×３２画素のようにもっと大きくてもよいし、１６×８画素のように正方形でなくてもよい。

図１４のサブブロックＰとサブブロックＱは境界を挟んで隣接した８×８画素のサブブロックであり、直交変換の単位にもなっている。ｐ００～ｐ３３はサブブロックＰに属する画素（画素値）、ｑ００～ｑ３３はサブブロックＱに属する画素（画素値）を示しており、ｐ００～ｐ３３の画素群とｑ００～ｑ３３の画素群は境界を挟んで接している。まず、輝度に関してｂＳ値が１以上の場合、インループフィルタ部１３０９は、例えば、以下の式に従って、サブブロックＰとサブブロックＱとの境界に対してデブロッキングフィルタ処理を行うか否かを判定する。

｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｐ２３－２×ｐ１３＋ｐ０３｜＋｜ｑ２０－２×ｑ１０＋ｑ００｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜＜β
ここでβは、サブブロックＰにおける量子化ステップ値とサブブロックＱにおける量子化ステップ値の平均値に対応する値であり、例えば、テーブルに登録されている様々なβのうち、該平均値と関連付けて登録されているβを取得する。この式が満たされる場合のみ、インループフィルタ部１３０９は、サブブロックＰとサブブロックＱとの境界に対してデブロッキングフィルタ処理を行うと判定する。

デブロッキングフィルタ処理を行うと判定した場合、インループフィルタ部１３０９は、平滑化効果の異なるストロングフィルタとウィークフィルタの何れを使用するのかを判定する。例えば、インループフィルタ部１３０９は、以下の６つの式（（１）～（６））の全てが満たされている場合はストロングフィルタを使用するものと判定する。一方、インループフィルタ部１３０９は、以下の６つの式（（１）～（６））のうち１つでも満たされていない場合は、ウィークフィルタを使用するものと判定する。
（１）２×（｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｑ２０－２×ｑ１０＋ｑ００｜）＜（β＞＞２）
（２）２×（｜ｐ２３－２×ｐ１３＋ｐ０３｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜）＜（β＞＞２）
（３）｜ｐ３０－ｐ００｜＋｜ｑ００－ｑ３０｜＜（β＞＞３）
（４）｜ｐ３３－ｐ０３｜＋｜ｑ０３－ｑ３３｜＜（β＞＞３）
（５）｜ｐ００－ｑ００｜＜（（５×ｔｃ＋１）＞＞１）
（６）｜ｐ０３－ｑ０３｜＜（（５×ｔｃ＋１）＞＞１）
ここで、＞＞Ｎ（Ｎ＝１～３）はＮビット算術右シフト演算を意味し、ｔｃは画素値の補正の最大量を決定するパラメータである。ｔｃは、例えば次のような処理で得られる。つまり、サブブロックＰにおける量子化ステップ値と、サブブロックＱにおける量子化ステップ値と、ｂＳ値と、の平均値ｑＰを、以下の式
ｑＰ＝ｑＰ＋２ｘ（ｂＳ－１）
に従って補正し、テーブルに登録されている様々なｔｃのうち、該補正したｑＰ値と関連付けて登録されているｔｃを取得する。この式からｂＳ値が２の時は、補正後のｑＰ値が大きくなることがわかる。ｑＰ値が大きくなる程、ｔｃ値が大きくなるようにテーブルが設定されているため、ｂＳ値が大きい程、画素値が強く補正されるデブロッキングフィルタが適用されることになる。

輝度に関するストロングフィルタリング（ストロングフィルタを用いたフィルタリング処理）は、サブブロックＰにおけるデブロッキングフィルタ処理後の画素値をｐ’０ｋ、ｐ’１ｋ、ｐ’２ｋ、サブブロックＱにおけるデブロッキングフィルタ処理後の画素値をｑ’０ｋ、ｑ’１ｋ、ｑ’２ｋとすると、以下の式で表される（ｋ＝０～３）。

ｐ’０ｋ＝Ｃｌｉｐ３（ｐ０ｋ－３×ｔｃ，ｐ０ｋ＋３×ｔｃ，（ｐ２ｋ＋２×ｐ１ｋ＋２×ｐ０ｋ＋２×ｑ０ｋ＋ｑ１ｋ＋４）＞＞３）
ｐ’１ｋ＝Ｃｌｉｐ３（ｐ１ｋ－２×ｔｃ，ｐ１ｋ＋２×ｔｃ，（ｐ２ｋ＋ｐ１ｋ＋ｐ０ｋ＋ｑ０ｋ＋２）＞＞２）
ｐ’２ｋ＝Ｃｌｉｐ３（ｐ２ｋ－１×ｔｃ，ｐ２ｋ＋１×ｔｃ，（２×ｐ３ｋ＋３×ｐ２ｋ＋ｐ１ｋ＋ｐ０ｋ＋ｑ０ｋ＋４）＞＞３）
ｑ’０ｋ＝Ｃｌｉｐ３（ｑ０ｋ－３×ｔｃ，ｑ０ｋ＋３×ｔｃ，（ｑ２ｋ＋２×ｑ１ｋ＋２×ｑ０ｋ＋２×ｐ０ｋ＋ｐ１ｋ＋４）＞＞３）
ｑ’１ｋ＝Ｃｌｉｐ３（ｑ１ｋ－２×ｔｃ，ｑ１ｋ＋２×ｔｃ，（ｑ２ｋ＋ｑ１ｋ＋ｑ０ｋ＋ｐ０ｋ＋２）＞＞２）
ｑ’２ｋ＝Ｃｌｉｐ３（ｑ２ｋ－１×ｔｃ，ｑ２ｋ＋１×ｔｃ，（２×ｑ３ｋ＋３×ｑ２ｋ＋ｑ１ｋ＋ｑ０ｋ＋ｐ０ｋ＋４）＞＞３）
ここで、Ｃｌｉｐ３（ａ，ｂ，ｃ）は、ｃの範囲がａ≦ｃ≦ｂとなるようにクリップ処理する関数である。また、輝度に関するウィークフィルタリング（ウィークフィルタを用いたフィルタリング処理）は、以下の式で表される。

Δ＝（９×（ｑ０ｋ－ｐ０ｋ）－３×（ｑ１ｋ－ｐ１ｋ）＋８）＞＞４
｜Δ｜＜１０×ｔｃ
上記の条件を満たさない場合、デブロッキングフィルタ処理は実施されず、満たす場合はｐ０ｋ及びｑ０ｋに対して以下の式に従った処理を行う。

Δ＝Ｃｌｉｐ３（－ｔｃ，ｔｃ，Δ）
ｐ’０ｋ＝Ｃｌｉｐ１（ｐ０ｋ＋Δ）
ｑ’０ｋ＝Ｃｌｉｐ１（ｑ０ｋ－Δ）
ここで、Ｃｌｉｐ１（ａ）は、ａの範囲が０≦ａ≦（輝度又は色差の信号のビット深度で表現可能な最大値）となるようにクリップ処理を行う関数である。例えば、輝度が８ビットの場合（輝度のビット深度で表現可能な最大値）は２５５となり、輝度が１０ビットの場合（輝度のビット深度で表現可能な最大値）は１０２３となる。

さらに次の条件
｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｐ２３－２×ｐ１３＋ｐ０３｜＜（β＋（β＞＞１））＞＞３）
｜ｑ２０－２×ｑ１０＋ｑ００｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜＜（β＋（β＞＞１））＞＞３）
を満たすとき、ｐ１ｋおよびｑ１ｋに対して以下の式に従ったデブロッキングフィルタ処理が行われる。

Δｐ＝Ｃｌｉｐ３（－（ｔｃ＞＞１），ｔｃ＞＞１，（（（ｐ２ｋ＋ｐ０ｋ＋１）＞＞１－ｐ１ｋ＋Δ）＞＞１）
ｐ’１ｋ＝Ｃｌｉｐ１（ｐ１ｋ＋Δｐ）
Δｑ＝Ｃｌｉｐ３（－（ｔｃ＞＞１），ｔｃ＞＞１，（（（ｑ２ｋ＋ｑ０ｋ＋１）＞＞１－ｑ１ｋ＋Δ）＞＞１）
ｑ’１ｋ＝Ｃｌｉｐ１（ｑ１ｋ＋Δｑ）
色差に関するデブロッキングフィルタ処理では、フィルタ長が１の時は、ｂＳ値が２の時のみ以下の式に従ったデブロッキングフィルタ処理が行われる。

Δ＝Ｃｌｉｐ３（－ｔｃ，ｔｃ，（（（（ｑ０ｋ－ｐ０ｋ）＜＜２）＋ｐ１ｋ－ｑ１ｋ＋４）＞＞３））
ｐ’０ｋ＝Ｃｌｉｐ１（ｐ０ｋ＋Δ）
ｑ’０ｋ＝Ｃｌｉｐ１（ｑ０ｋ－Δ）
なお、本実施形態では、色差に関するデブロッキングフィルタ処理では、フィルタ長が１の時は、ｂＳ値が２の時のみデブロッキングフィルタ処理を実施しているが、これに限定されるものではない。例えばｂＳ値が０以外の時はデブロッキングフィルタ処理を実施してもよいし、フィルタ長が１より長い時のみデブロッキングフィルタ処理を実施してもよい。

また本実施形態では、ｂＳ値は、デブロッキングフィルタを適用するか否か及びデブロッキングフィルタによる画素値の補正の最大量の計算に用いられた。それとは別に平滑化効果の高いストロングフィルタ、平滑化効果の弱いウィークフィルタを画素値の条件に応じて使い分けた。しかしこれに限定されるものではない。例えばｂＳ値に応じてフィルタ長が決定されてもよいし、平滑化効果の強弱だけがｂＳ値によって決定されてもよい。

以上説明した画像符号化装置による符号化処理について、図１５のフローチャートに従って説明する。なお、図１５のフローチャートに従った処理は１枚の入力画像に対する符号化処理である。よって、動画像における各フレームの画像や、定期的若しくは不定期的に撮像される複数の画像を符号化する場合には、それぞれの画像について図１５のフローチャートに従った処理を繰り返し行うことになる。

ステップＳ１５０１では、統合符号化部１１１は、入力画像の符号化に必要な各種のヘッダ情報を符号化してヘッダ符号データを生成する。

ステップＳ１５０２では、分割部１０２は、入力画像を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロックを出力する。そして予測部１０４は、基本ブロックごとに、該基本ブロックを複数のサブブロックに分割する。

ステップＳ１５０３では予測部１０４は、入力画像におけるサブブロックのうち未選択の１つを選択サブブロックとして選択し、該選択サブブロックの予測モードを決定する。そして予測部１０４は、該選択サブブロックに対して該決定した予測モードに応じた予測を行って、該選択サブブロックの予測画像、予測誤差、予測情報を取得する。

ステップＳ１５０４では、変換・量子化部１０５は、ステップＳ１５０３で取得した選択サブブロックの予測誤差に対して直交変換処理を施して、直交変換係数を生成し、量子化マトリクスを用いて該直交変換係数を量子化して量子化係数を取得する。

ステップＳ１５０５では逆量子化・逆変換部１０６は、ステップＳ１５０４で取得した選択サブブロックの量子化係数に対して、上記の量子化マトリクスを用いて逆量子化を行うことで直交変換係数を生成する。そして逆量子化・逆変換部１０６は、該生成した直交変換係数を逆直交変換して予測誤差を生成（再生）する。

ステップＳ１５０６で画像再生部１０７は、ステップＳ１５０３で取得した予測情報に基づいて、フレームメモリ１０８に格納されている画像から予測画像を生成し、該予測画像とステップＳ１５０５で生成した予測誤差とを加算してサブブロックの画像を再生する。そして画像再生部１０７は、該再生した画像をフレームメモリ１０８に格納する。

ステップＳ１５０７では、符号化部１１０は、ステップＳ１５０４で取得した量子化係数と、ステップＳ１５０３で取得した予測情報と、をエントロピー符号化して符号化データを生成する。

そして統合符号化部１１１は、ステップＳ１５０１で生成されたヘッダ符号データと、ステップＳ１５０７で符号化部１１０により生成された符号化データと、を多重化したビットストリームを生成する。

ステップＳ１５０８では、制御部１５０は、入力画像における全てのサブブロックを選択サブブロックとして選択したか否かを判断する。この判断の結果、入力画像における全てのサブブロックを選択サブブロックとして選択した場合には、処理はステップＳ１５０９に進む。一方、入力画像におけるサブブロックのうち未だ選択サブブロックとして選択されていないサブブロックが１以上残っている場合には、処理はステップＳ１５０３に進む。

ステップＳ１５０９では、決定部１３１３は、隣接するサブブロック間の境界ごとにｂＳ値を決定する。そしてステップＳ１５１０では、インループフィルタ部１３０９は、フレームメモリ１０８に格納されている画像に対して、ステップＳ１５０９で決定されたｂＳ値に基づくフィルタ強度のデブロッキングフィルタなどのインループフィルタ処理を行う。より具体的には、インループフィルタ部１３０９は、フレームメモリ１０８に格納されている画像の直交変換の単位になっているサブブロックの境界に対し、該境界について決定部１３１３が決定したｂＳ値に基づくフィルタ強度のデブロッキングフィルタなどのインループフィルタ処理を行う。そしてインループフィルタ部１０９は、インループフィルタ処理済みの画像をフレームメモリ１０８に格納する。

このように、本実施形態によれば、イントラ・インター混在予測を使用したサブブロックの境界に対して歪み補正効果の高いデブロッキングフィルタを設定できるので、ブロック歪を抑制し、画質を向上させることができる。また、フィルタ強度の計算に新たな演算を必要としないため、実装の複雑度を高めることもない。

また、本実施形態では、フィルタ強度が、デブロッキングフィルタを適用するか否か及びデブロッキングフィルタによる画素値の補正の最大量の計算に用いられた。しかしこれに限定されるものではない。例えば、フィルタ強度がより大きい場合にはよりタップ長が長く補正効果の高いデブロッキングフィルタを用い、フィルタ強度がより小さい場合にはよりタップ長が短い補正効果の低いデブロッキングフィルタを用いることもできる。

さらに本実施形態では、イントラ予測、インター予測、イントラ・インター混在予測の３種類の予測のみが用いられているものとしたがこれに限定されず、例えばＶＶＣで採用されているイントラ・インター複合予測（ＣＩＩＰ）を用いても良い。この場合、イントラ・インター混在予測を用いたサブブロックに対して用いられるｂＳ値をイントラ・インター複合予測を用いた場合のｂＳ値と同じにすることもできる。これにより、同一サブブロック内でイントラ予測画素とインター予測画素の両方を用いるという共通点を持った予測が用いられたサブブロックに対し、同一の強度のデブロッキングフィルタを適用したビットストリームの符号化を行うことができる。

［第４の実施形態］
本実施形態に係る画像復号装置は、符号化された画像をブロックごとに復号する画像復号装置である。このような画像復号装置は、ブロックごとに予測処理を行って画像を復号する。また、第１ブロックと、該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定し、該決定した強度に応じたデブロッキングフィルタ処理を該境界に対して行う。また、画像復号装置は、上記の予測処理として、復号対象のブロックを含む画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第１予測モード（イントラ予測）と、復号対象のブロックを含む画像と異なる他の画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第２予測モード（インター予測）と、復号対象のブロックにおける一部の領域については該復号対象のブロックを含む画像内の画素を用いて予測画素を導出し、該復号対象のブロックにおける該一部の領域と異なる他の領域については該復号対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モード（イントラ・インター混在予測）と、のいずれかを用いる。ここで、デブロッキングフィルタ処理の強度の決定では、第１ブロックおよび第２ブロックの少なくとも一方が第１予測モードを適用したブロックである場合には、強度を第１強度と決定する。また、第１ブロックおよび第２ブロックの少なくとも一方が第３予測モードを適用したブロックである場合には、強度を第１強度に基づく強度と決定する。

本実施形態では、第３の実施形態に係る画像符号化装置によって符号化されたビットストリームを復号する画像復号装置について説明する。先ず、本実施形態に係る画像復号装置の機能構成例について、図１６のブロック図を用いて説明する。図１６において、図２に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

インループフィルタ部１６０７はフレームメモリ２０６に格納されている再生画像のサブブロック境界に対し、決定部１６０９が該サブブロック境界について決定したｂＳ値に応じたフィルタ強度のデブロッキングフィルタなどのインループフィルタ処理を行う。決定部１６０９は、決定部１３１３と同様にして、隣接する２つのサブブロックの間の境界に対して行うデブロッキングフィルタ処理のフィルタ強度（ｂＳ値）を決定する。

本実施形態では、第３の実施形態と同様に、ｂＳ値は、デブロッキングフィルタを適用するか否か及びデブロッキングフィルタによる画素値の補正の最大量の計算に用いられた。それとは別に平滑化効果の高いストロングフィルタ、平滑化効果の弱いウィークフィルタを画素値の条件に応じて使い分けた。しかしこれに限定されるものではない。例えばｂＳ値に応じてフィルタ長が決定されてもよいし、平滑化効果の強弱だけがｂＳ値によって決定されてもよい。

本実施形態に係る画像復号装置における復号処理について、図１７のフローチャートに従って説明する。ステップＳ１７０１では、分離復号部２０２は、ビットストリームを取得する。そして分離復号部２０２は、ビットストリームから入力画像の符号化データを分離し、該符号化データを復号部２０３に供給すると共に、ビットストリームにおけるヘッダ符号データを復号する。

ステップＳ１７０２では、復号部２０３は、分離復号部２０２から供給された符号化データを復号して、復号対象のサブブロックの量子化係数および予測情報を再生する。

ステップＳ１７０３では、逆量子化・逆変換部２０４は、量子化マトリクスを用いて、復号対象のサブブロックの量子化係数を逆量子化して直交変換係数を再生する。そして逆量子化・逆変換部２０４は、該再生した直交変換係数に対して逆直交変換を行うことで復号対象のサブブロックの予測誤差を再生し、該再生した予測誤差を画像再生部２０５に供給する。

ステップＳ１７０４では、画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで、復号対象のサブブロックの予測画像を生成する。そして画像再生部２０５は、該生成された予測画像に、逆量子化・逆変換部２０４によって得られた予測誤差を加算することで復号対象のサブブロックの再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

ステップＳ１７０５では、制御部２５０は、全てのサブブロックについてステップＳ１７０２～Ｓ１７０４の処理を行ったか否かを判断する。この判断の結果、全てのサブブロックについてステップＳ１７０２～Ｓ１７４の処理を行った場合には、処理はステップＳ１７０６に進む。一方、ステップＳ１７０２～Ｓ１７０４の処理を行っていないサブブロックが未だ残っている場合には、該サブブロックについてステップＳ１７０２～Ｓ１７０４の処理を行うべく、処理はステップＳ１７０２に進む。

ステップＳ１７０６では、決定部１６０９は、第３の実施形態で説明した決定部１３１３と同様にして、隣接する２つのサブブロックの間の境界に対して行うデブロッキングフィルタ処理のフィルタ強度を決定する。それぞれのサブブロックに適用された予測の種類（イントラ予測、インター予測、イントラ・インター混在予測）は予測情報に記録されているので、該予測情報を参照することでそれぞれのサブブロックに適用された予測を特定することができる。

ステップＳ１７０７では、インループフィルタ部１６０７は、フレームメモリ２０６に格納されている再生画像のサブブロック境界に対し、決定部１６０９が該サブブロック境界について決定したｂＳ値に応じたフィルタ強度のデブロッキングフィルタなどのインループフィルタ処理を行う。

このように、本実施形態によれば、第３の実施形態に係る画像符号化装置によって生成された、「イントラ・インター混在予測で符号化されたサブブロック」を含むビットストリームの復号において、適切なデブロッキングフィルタを適用することができる。

［第５の実施形態］
図１、２、１３、１６に示した各機能部はハードウェアで実装しても良いし、保持部１０３、フレームメモリ１０８、２０６を除く各機能部についてはソフトウェア（コンピュータプログラム）で実装しても良い。

前者の場合、このようなハードウェアは、撮像装置などの画像の符号化や復号を行う装置に組み込まれる回路であっても良いし、撮像装置やサーバ装置などの外部装置から供給される画像の符号化や復号を行う装置に組み込まれる回路であっても良い。

後者の場合、このようなコンピュータプログラムは、撮像装置などの画像の符号化や復号を行う装置のメモリや、撮像装置やサーバ装置などの外部装置から供給される画像の符号化や復号を行う装置がアクセス可能なメモリなどに格納されても良い。このようなコンピュータプログラムをメモリから読み出して実行可能な装置（コンピュータ装置）は、上記の画像符号化装置や上記の画像復号装置に適用可能である。このようなコンピュータ装置のハードウェア構成例について、図５のブロック図を用いて説明する。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ５０１は、コンピュータ装置全体の動作制御を行うと共に、上記の各実施形態や各変形例にて画像符号化装置や画像復号装置が行うものとして説明した各種の処理を実行もしくは制御する。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータを格納するためのエリア、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータを格納するためのエリア、を有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリア（フレームメモリなど）を有する。このように、ＲＡＭ５０２は各種のエリアを適宜提供することができる。

ＲＯＭ５０３には、コンピュータ装置の設定データ、コンピュータ装置の起動に係るコンピュータプログラムやデータ、コンピュータ装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

操作部５０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ５０１に対して入力することができる。

表示部５０５は、液晶画面やタッチパネル画面を有し、ＣＰＵ５０１による処理結果を画像や文字などでもって表示する。なお、表示部５０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置５０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）、画像符号化装置や画像復号装置が行うものとして説明した上記の各種の処理をＣＰＵ５０１に実行させるためのコンピュータプログラムやデータ、等が保存されている。また、外部記憶装置５０６には、上記の説明において既知の情報として取り扱った情報（符号化テーブル、テーブルなど）も保存されている。また外部記憶装置５０６には、符号化対象のデータ（入力画像や二次元のデータ配列など）を保存させておいても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１いよる制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。なお、上記の保持部１０３やフレームメモリ１０８、２０６はＲＡＭ５０２、ＲＯＭ５０３、外部記憶装置５０６などを用いて実装可能である。

Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータ装置は、Ｉ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。

ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、操作部５０４、表示部５０５、外部記憶装置５０６、Ｉ／Ｆ５０７、は何れも、システムバス５０８に接続されている。

上記構成において、本コンピュータ装置の電源がＯＮになると、ＣＰＵ５０１はＲＯＭ５０３に格納されているブートプログラムを実行して、外部記憶装置５０６に保存されているＯＳをＲＡＭ５０２にロードして該ＯＳを起動する。その結果、本コンピュータ装置は、Ｉ／Ｆ５０７を介した通信が可能となる。そして、ＯＳの制御下でＣＰＵ５０１は、符号化に係るアプリケーションを外部記憶装置５０６からＲＡＭ５０２にロードして実行することで、ＣＰＵ５０１は図１や図１３の各機能部（保持部１０３およびフレームメモリ１０８は除く）として機能することになる。つまり、本コンピュータ装置は、上記の画像符号化装置として機能することになる。一方、ＯＳの制御下でＣＰＵ５０１は、復号に係るアプリケーションを外部記憶装置５０６からＲＡＭ５０２にロードして実行することで、ＣＰＵ５０１は図２や図１６の各機能部（フレームメモリ２０６は除く）として機能することになる。つまり、本コンピュータ装置は、上記の画像復号装置として機能することになる。

なお、本実施形態では、図５に示した構成を有するコンピュータ装置が画像符号化装置や画像復号装置に適用可能であることを説明した。しかし、画像符号化装置や画像復号装置に適用可能なコンピュータ装置のハードウェア構成は図５に示したハードウェア構成に限らない。また画像符号化装置に適用するコンピュータ装置のハードウェア構成と画像復号装置に適用するコンピュータ装置のハードウェア構成とは同じであっても良いし、異なっていても良い。

また、上記の各実施形態や各変形例で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０２：分割部１０４：予測部１０５：変換・量子化部１０６：逆量子化・逆変換部１０７：画像再生部１０８：フレームメモリ１３０９：インループフィルタ部１１０：符号化部１１１：統合符号化部１３１３：決定部１５０：制御部

Claims

画像をブロック単位で予測処理を行って符号化する符号化手段と、
前記画像における第１ブロックと、該画像における該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定する決定手段と、
前記決定手段が決定した強度に応じたデブロッキングフィルタ処理を前記境界に対して行う処理手段と
を備え、
前記符号化手段は、前記予測処理として、
符号化対象のブロックを含む画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第１予測モードと、
符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第２予測モードと、
符号化対象のブロックにおける一部の領域については該符号化対象のブロックを含む画像内の画素を用いて予測画素を導出し、該符号化対象のブロックにおける前記一部の領域と異なる他の領域については該符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モードと、
のいずれかを用い、
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、前記強度を第１強度と決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度に基づく強度と決定する
ことを特徴とする画像符号化装置。
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度と決定することを特徴とする請求項１に記載の画像符号化装置。
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度と他の強度と間の中間的な強度に決定することを特徴とする請求項１に記載の画像符号化装置。
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記境界においてイントラ予測より得られる予測画素に対する前記強度を前記第１強度と決定し、前記境界においてインター予測により得られる予測画素に対する前記強度を第２強度と決定することを特徴とする請求項１に記載の画像符号化装置。
前記決定手段は、輝度成分に対する強度と、色差成分に対する強度と、を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像符号化装置。
前記強度はｂＳ値であることを特徴とする請求項１乃至５の何れか１項に記載の画像符号化装置。
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、第１強度の補正強度のデブロッキングフィルタの係数を決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記第１強度の補正強度のデブロッキングフィルタの係数を決定する
ことを特徴とする請求項１乃至５の何れか１項に記載の画像符号化装置。
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、第１強度の補正強度のデブロッキングフィルタのフィルタ長を決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記第１強度の補正強度のデブロッキングフィルタのフィルタ長を決定する
ことを特徴とする請求項１乃至５の何れか１項に記載の画像符号化装置。
符号化された画像をブロックごとに復号する画像復号装置であって、
前記ブロックごとに予測処理を行って前記画像を復号する復号手段と、
第１ブロックと、該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定する決定手段と、
前記決定手段が決定した強度に応じたデブロッキングフィルタ処理を前記境界に対して行う処理手段と
を備え、
前記復号手段は、前記予測処理として、
復号対象のブロックを含む画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第１予測モードと、
復号対象のブロックを含む画像と異なる他の画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第２予測モードと、
復号対象のブロックにおける一部の領域については該復号対象のブロックを含む画像内の画素を用いて予測画素を導出し、該復号対象のブロックにおける該一部の領域と異なる他の領域については該復号対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モードと、
のいずれかを用い、
前記決定手段は、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、前記強度を第１強度と決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度に基づく強度と決定する
ことを特徴とする画像復号装置。
画像をブロック単位で予測処理を行って符号化する符号化工程と、
画像における第１ブロックと、該画像における該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定する決定工程と、
前記決定工程で決定した強度に応じたデブロッキングフィルタ処理を前記境界に対して行う処理工程と
を備え、
前記符号化工程において、前記予測処理として、
符号化対象のブロックを含む画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第１予測モードと、
符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて、該符号化対象のブロックの予測画素を導出する第２予測モードと、
符号化対象のブロックにおける一部の領域については該符号化対象のブロックを含む画像内の画素を用いて予測画素を導出し、該符号化対象のブロックにおける前記一部の領域と異なる他の領域については該符号化対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モードと、
のいずれかを用い、
前記決定工程において、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、前記強度を第１強度と決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度に基づく強度と決定する
ことを特徴とする画像符号化方法。
符号化された画像をブロックごとに復号する画像復号方法であって、
前記ブロックごとに予測処理を行って前記画像を復号する復号工程と、
第１ブロックと、該第１ブロックと隣接する第２ブロックと、の境界に対して行うデブロッキングフィルタ処理の強度を決定する決定工程と、
前記決定工程で決定した強度に応じたデブロッキングフィルタ処理を前記境界に対して行う処理工程と
を備え、
前記復号工程において、前記予測処理として、
復号対象のブロックを含む画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第１予測モードと、
復号対象のブロックを含む画像と異なる他の画像内の画素を用いて、該復号対象のブロックの予測画素を導出する第２予測モードと、
復号対象のブロックにおける一部の領域については該復号対象のブロックを含む画像内の画素を用いて予測画素を導出し、該復号対象のブロックにおける該一部の領域と異なる他の領域については該復号対象のブロックを含む画像と異なる他の画像内の画素を用いて予測画素を導出する第３予測モードと、
のいずれかを用い、
前記決定工程では、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が前記第１予測モードを適用したブロックである場合には、前記強度を第１強度と決定し、
前記第１ブロックおよび前記第２ブロックの少なくとも一方が、前記第３予測モードを適用したブロックである場合には、前記強度を前記第１強度に基づく強度と決定する
ことを特徴とする画像復号方法。
コンピュータを、請求項１乃至８の何れか１項に記載の画像符号化装置の各手段として機能させるためのコンピュータプログラム。
コンピュータを、請求項９に記載の画像復号装置の各手段として機能させるためのコンピュータプログラム。