JP6917718B2 - 予測装置、符号化装置、復号装置、及びプログラム - Google Patents

Description

本発明は、予測装置、符号化装置、復号装置、及びプログラムに関し、特に、画像の符号化、復号における画面内予測手法に関する。

動画像の予測符号化方式であるＭＰＥＧ−２やＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣでは、動画像の各フレームを正方（矩形）ブロックに分割し、それぞれのブロックを基本処理単位として予測画像を生成する。そして、原画像と予測画像との差分を符号化する。
予測画像の生成には、イントラ（画面内）予測とインター（画面間）予測との２種類の生成手法がある。イントラ予測では、予測対象ブロックの周辺画素を参照画素として外挿予測する。インター予測では、予測対象フレームの前後フレームから内挿予測もしくは外挿予測する。

また、Ｈ．２６５／ＨＥＶＣでは、ＤＣ（Direct Current）予測、Ｐｌａｎａｒ予測、方向性予測の３種類のイントラ予測手法がある（例えば、非特許文献１）。このうち、ＤＣ予測は、参照画素の平均値を算出し、その平均値を予測値として、予測対象ブロックの予測画像を生成する手法である。例えば、図１１に示す予測対象ブロック（Ｐ_{（１，１）}〜Ｐ_{（Ｎ，Ｎ）}）の場合、ＤＣ予測の予測画像は全ての画素値が予測値Ｐ_ＤＣであるＮ×Ｎ画素の画像となる。ここで、予測値Ｐ_ＤＣは、参照画素（Ｒ_{（０，０）}〜Ｒ_{（０，Ｎ）}，Ｒ_{（１，０）}〜Ｒ_{（Ｎ，０）}）の平均値であり、以下の式（１）から計算する。

予測対象ブロックの大きさは、新たな予測符号化方式が標準化されるたびに拡張されてきた。例えば、予測対象ブロックの大きさは、ＭＰＥＧ−２では最大１６×１６画素であり、Ｈ．２６５／ＨＥＶＣでは最大６４×６４画素である。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５，（０４／２０１５），"Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

ところで、従来のＤＣ予測では、予測対象ブロック内の各画素の予測値を、一様に、参照画素の平均値とする。しかしながら、予測対象ブロック内の各画素の画素値が、参照画素の平均値に近い値であるとは限らない。また、予測対象ブロックが大きい場合には、予測対象ブロック内の各画素の画素値が一様になりにくく、一部の画素の画素値が予測値から大きく外れてしまう場合がある。従って、ＤＣ予測の符号化効率を向上させられない場合があった。

本発明のいくつかの態様は、ＤＣ予測の符号化効率を向上させることができる予測装置、符号化装置、復号装置、及びプログラムを提供することを目的の一つとする。

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする予測装置、符号化装置、復号装置、及びプログラムを提供することを目的の一つとする。

上述した課題を解決するために、本発明の一態様は、１つの画像ブロックに対して、参照画素の集合を複数特定する特定部と、前記特定部が特定した複数の前記参照画素の集合の各々から、ＤＣ予測により、予測ブロック候補を生成する生成部と、前記画像ブロックに対する予測ブロックを、前記生成部が生成した複数の前記予測ブロック候補の中から選択する選択部と、を備える予測装置である。

また、本発明の一態様は、上記の予測装置であって、前記特定部は、複数の参照画素のうち、隣接する参照画素により構成される集合を特定する。
また、本発明の一態様は、上記の予測装置であって、前記特定部は、所定数の集合を特定する。
また、本発明の一態様は、上記の予測装置であって、前記特定部は、クラスタリングにより前記参照画素の集合を特定する。
また、本発明の一態様は、上記の予測装置であって、前記選択部は、前記画像ブロックを複数に分割した分割ブロックの各々に対する予測ブロックを、前記予測ブロック候補の中から選択する。

また、本発明の一態様は、上記の予測装置により選択された予測ブロックを示すフラグ情報を符号化する符号化部を備える符号化装置である。
また、本発明の一態様は、上記の符号化装置が符号化したフラグ情報に基づいて、前記画像ブロックを復号する復号部を備える復号装置である。
また、本発明の一態様は、コンピュータを、上記の予測装置として動作させるためのプログラムである。

本発明の一態様によれば、ＤＣ予測の符号化効率を向上させることができる。

本発明の第１の実施形態に係るＤＣ予測の概要を示す図である。 同実施形態に係る画像符号化復号システムの構成を示すブロック図である。 同実施形態に係る符号化装置の構成を示すブロック図である。 同実施形態に係るイントラ予測部の構成を示すブロック図である。 同実施形態に係る復号装置の構成を示すブロック図である。 同実施形態に係るイントラ予測部の動作を示すフローチャートである。 本発明の第２の実施形態に係るＤＣ予測の概要を示す図である。 同実施形態に係るイントラ予測部の構成を示すブロック図である。 同実施形態に係るイントラ予測部の動作を示すフローチャートである。 同実施形態に係る画像符号化復号システムによる処理結果の一例を示す図である。 従来技術に係るＤＣ予測の概要を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。まず、本実施形態に係る画像符号化復号システム１の概要について説明する。画像符号化復号システム１は、ＤＣ予測等のイントラ予測、インター予測を行って、画像の符号化や復号を行う情報処理システムである。画像符号化復号システム１は、静止画像を処理対象としてもよいし、動画像（映像）を処理対象としてもよい。以下では、画像を水平方向と垂直方向とを有する２次元直交座標系により表現する。具体的には、画像の２次元直交座標系における座標を（ｘ，ｙ）のように２成分で表し、第１成分（ｘ成分）を水平座標、第２成分（ｙ成分）を垂直座標と定義する。また、座標（ｘ，ｙ）における画素値をＤ（ｘ，ｙ）という形式で表記する。

ここで、本実施形態に係るＤＣ予測の概要について説明する。
図１は、本実施形態に係るＤＣ予測の概要を示す図である。
図１に示す例において、ＤＣ予測を行う対象の画像ブロック（以下、予測対象ブロックと称する。）Ｐは、（Ｎ−１）×（Ｎ−１）画素の大きさを有する（Ｎは正の整数）。なお、予測対象ブロックＰの形状は、正方形、長方形等の矩形である。予測対象ブロックＰの左側と上側には、予測対象ブロックＰに対して、ＤＣ予測を行う際に参照される画素（以下、参照画素と称する。）Ｒが存在している。図１に示す例では、参照画素Ｒ（０，０）が、仮想的な原点に位置する画素である。非特許文献１に従来技術に係るＤＣ予測では、予測対象ブロックＰに隣接する座標（０，０）〜（０，Ｎ）、及び、座標（１，０）〜（Ｎ，０）の画素値Ｒ_{（０，０）}〜Ｒ_{（０，Ｎ）}、及び、Ｒ_{（１，０）}〜Ｒ_{（Ｎ，０）}を参照し、１つの予測値を生成していた。

これに対して、本実施形態に係るＤＣ予測では、複数の参照画素Ｒを、複数のグループに分類する。各グループには、１以上の画素が含まれる。図１に示す例では、複数の参照画素Ｒを、第１〜第４グループＤＣ_Ａ１、ＤＣ_Ａ２、ＤＣ_Ｌ１、ＤＣ_Ｌ２に４分割している。具体的には、第１グループＤＣ_Ａ１は、座標（１，０）〜（Ｋ，０）の画素を含む。第２グループＤＣ_Ａ２は、座標（Ｋ＋１，０）〜（Ｎ，０）の画素を含む。第３グループＤＣ_Ｌ１は、座標（０，１）〜（０，Ｌ）の画素を含む。第４グループＤＣ_Ｌ２は、座標（０，Ｌ＋１）〜（０，Ｎ）の画素を含む。このように、画像符号化復号システム１では、参照画素Ｒのグループを特定する。

次に、画像符号化復号システム１は、各グループに含まれる参照画素Ｒを参照して、ＤＣ予測を行う。つまり、グループごとにＤＣ予測の予測値が得られる。このグループごとの予測値は、符号化する予測値の候補であり、以下では、予測候補値と称する。画像符号化復号システム１は、複数の予測候補値の中から、いずれか１つを予測値として選択する。そして、画像符号化復号システム１は、選択結果（以下、選択予測値と称する。）を示すフラグ情報を符号化、復号する。

このように、画像符号化復号システム１は、１つの予測対象ブロックＰに対して、ＤＣ予測による複数の予測候補値を取得する。そして、符号化、復号には、複数の予測候補値のうち、１つの選択予測値を用いる。つまり、画像符号化復号システム１は、予測対象ブロックＰに近い候補を、選択予測値とすることができる。従って、画像符号化復号システム１は、１つの予測対象ブロックＰに対してＤＣ予測による予測値を１つしか取得しない場合に比して、符号化精度を向上させることができる。
以上が、画像符号化復号システム１の概要についての説明である。

次に、画像符号化復号システム１の構成について説明する。
図２は、画像符号化復号システム１の構成を示すブロック図である。
画像符号化復号システム１は、符号化装置１０と、復号装置３０と、伝送蓄積部５０と、を備える。符号化装置１０と、復号装置３０とは、例えば、コンピュータシステムを備える電子機器である。
符号化装置１０は、画像を符号化し、伝送蓄積部５０に出力する。つまり、符号化装置１０は、符号を出力する。
復号装置３０は、符号化装置１０が出力した符号を取得する。復号装置３０は、符号を復号し、画像を出力する。

伝送蓄積部５０は、符号を伝送又は蓄積する。伝送蓄積部５０は、必要に応じて送信端において伝送路符号化や信号の変調を行う。そして、伝送蓄積部５０は、無線や有線、又はこれらの組み合わせによる伝送路を通じて信号伝送を行う。伝送蓄積部５０の受信端では、必要に応じて復調や伝送路復号を行い、符号を出力する。伝送蓄積部５０は、暗号化を施したり、電子署名を付加したり、他の信号との多重化や逆多重化を行ったりしてもよい。また、伝送蓄積部５０は、伝送路の途中経路において分配、交換、再変調、遅延、増幅等を行ってもよい。

また、伝送蓄積部５０は、符号を蓄積する場合、取得した符号を記憶媒体に保存する。伝送蓄積部５０は、符号の保存と同時に符号を出力してもよいし、一旦保存された符号を読み出して出力してもよい。伝送蓄積部５０は、取得した符号を記憶媒体に保存する際に、誤り訂正符号等による符号化や暗号化、電子署名付加等を行ってもよい。この記憶媒体は、固体メモリであってもよいし、磁気や光による記録媒体であってもよい。

また、伝送蓄積部５０は、伝送と蓄積を複合した形態であってもよい。この場合、伝送蓄積部５０は、例えば、いわゆるクラウドのように、遠隔にある記憶媒体に符号を伝送し、当該遠隔にある記憶媒体にその符号を保存する。そして、伝送蓄積部５０は、符号の保存と同時に符号を復号装置３０に伝送したり、一旦保存された符号を読み出して復号装置３０に出力したりする。
なお、ここでは、伝送蓄積部５０は、伝送、蓄積の過程において、信号の誤りや信号劣化を生じないものとする。つまり、伝送蓄積部５０は、符号化装置１０から取得した符号を、そのまま復号装置３０に出力する。
以上が、画像符号化復号システム１の構成についての説明である。

次に、符号化装置１０の構成について説明する。
図３は、符号化装置１０の構成を示すブロック図である。
符号化装置１０は、画面分割部１０１と、減算部１０２と、変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆変換部１０７と、加算部１０８と、ループフィルタ１０９と、イントラ予測部２００と、動き補償予測部１１０と、切替部１１１と、を備える。これらの構成は、例えば、符号化装置１０が備えるＣＰＵ（Central Processing Unit、不図示）が、符号化装置１０が備える記憶部（不図示）に予め記憶されたプログラムを実行することにより実現される。ただし、これらの構成は、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアとして実現されてもよい。

画面分割部１０１は、符号化対象の画像信号を取得し、この画像信号を符号化処理の処理単位のブロックに分割する。画面分割部１０１は分割したブロックの信号を減算部１０２へ出力する。
減算部１０２は、画面分割部１０１から取得した信号から、切替部１１１から取得した信号を減算する。減算部１０２は、減算結果の信号を変換部１０３へ出力する。

変換部１０３は、減算部１０２から取得した信号に対して直交変換を行い、直交変換の結果の信号を量子化部１０４へ出力する。変換部１０３が行う直交変換は、ＤＣＴ（Discrete Cosine Transform）若しくはＤＳＴ（Discrete Sine Transform）のいずれか一方であってもよく、又は、ＤＣＴとＤＳＴの両方であってもよい。変換部１０３がＤＣＴとＤＳＴの両方を行う場合には、変換部１０３は、ＤＣＴの結果又はＤＳＴの結果のいずれか一方を選択して量子化部１０４へ出力する。変換部１０３がＤＣＴの結果又はＤＳＴの結果のいずれか一方を選択する場合、変換部１０３は、例えば符号化効率のよい方を選択する。ＤＣＴの結果として出力される信号はＤＣＴ係数である。ＤＳＴの結果として出力される信号はＤＳＴ係数である。

量子化部１０４は、変換部１０３から取得した信号に対して量子化を行い、量子化した信号をエントロピー符号化部１０５及び逆量子化部１０６へ出力する。
エントロピー符号化部１０５は、量子化部１０４から取得した信号に対してエントロピー符号化を行い、符号化信号を出力する。また、エントロピー符号化部１０５は、イントラ予測部２００から選択予測値を示すフラグ情報を取得する。そして、フラグ情報に対してエントロピー符号化を行い、符号化信号を出力する。

逆量子化部１０６は、量子化部１０４から取得した信号に対して逆量子化を行い、逆量子化した信号を逆変換部１０７へ出力する。
逆変換部１０７は、逆量子化部１０６から取得した信号に対して逆直交変換を行い、逆直交変換の結果の信号を加算部１０８へ出力する。逆変換部１０７が行う逆直交変換は、変換部１０３が行った直交変換の逆変換である。
加算部１０８は、逆変換部１０７から取得した信号と切替部１１１から取得した信号とを加算し、加算結果の信号をループフィルタ１０９へ出力する。
ループフィルタ１０９は、加算部１０８から取得した信号に対して平滑化等のフィルタリングを行い、フィルタリング結果の信号をイントラ予測部２００及び動き補償予測部１１０へ出力する。

イントラ予測部２００は、ループフィルタ１０９から取得した信号を参照してイントラ予測を行い、予測画像の信号を切替部１１１へ出力する。ここで、イントラ予測部２００の構成について説明する。
図４は、イントラ予測部２００の構成を示すブロック図である。
イントラ予測部２００は、Ｐｌａｎａｒ予測部２０１と、方向性予測部２０２と、ＤＣ予測部２０３と、を備える。
Ｐｌａｎａｒ予測部２０１は、Ｐｌａｎａｒ予測を行う。
方向性予測部２０２は、方向性予測を行う。
ＤＣ予測部２０３は、ＤＣ予測を行う。ＤＣ予測部２０３は、特定部２０４と、生成部２０５と、選択部２０６と、を備える。

特定部２０４は、各予測対象ブロックＰについて、参照画素のグループを複数特定する。つまり、特定部２０４は、各グループを構成する参照画素を特定する。各グループを構成する参照画素の特定方法は、予め定められており、符号化装置１０であっても、復号装置３０であっても、同じ予測対象ブロックに対しては、同様の参照画素のグループが特定される。グループの識別情報の割当て方法についても同様である。例えば、特定部２０４は、各グループから水平方向、垂直方向の座標値が最小の画素を代表値として特定し、代表値同士を比較する。そして、水平方向の座標値が小さい画素を含むグループに対して小さい識別番号を割当てる。また、水平方向の座標値が同じ場合には、垂直方向の座標値が小さい画素を含むグループに対して小さい識別番号を割当てる。各グループを構成する参照画素の特定方法、グループの識別情報の割当て方法は、任意の手法であってよい。
特定部２０４は、各グループを構成する参照画素に係るグループ情報を、生成部２０５に出力する。グループ情報には、例えば、グループの識別情報と、各グループを構成する参照画素の範囲を示す情報とが含まれる。

生成部２０５は、特定部２０４が特定した各グループの参照画素を参照し、ＤＣ予測を行う。具体的には、各グループを構成する参照画素の画素値の平均値を算出する。そして、生成部２０５は、各グループの参照画素から取得した予測候補値の情報を、選択部２０６に出力する。

選択部２０６は、生成部２０５からグループごとの予測候補値の情報を取得する。選択部２０６は、複数の予測候補値から選択予測値を１つ選択する。選択部２０６は、例えば予測対象ブロックの画像信号と、予測候補値による予測画像の画像信号との差分を算出し、差分が最小となる予測候補値を選択予測値とする。予測候補値により構成される予測画像の画像信号とは、予測対象ブロックと同じ大きさを有し、各画素の画素値が予測候補値である信号である。選択部２０６は、選択予測値により構成される予測画像の信号を減算部１０２と、加算部１０８とに出力する。選択予測値により構成される予測画像の信号とは、予測対象ブロックと同じ大きさを有し、各画素の画素値が選択予測値である信号である。また、選択部２０６は、選択予測値を示すフラグ情報をエントロピー符号化部１０５に出力する。フラグ情報とは、例えば参照画素のグループの識別情報である。

動き補償予測部１１０は、ループフィルタ１０９から取得した信号にを参照して動き補償予測を行い、予測画像の信号を切替部１１１へ出力する。
切替部１１１は、イントラ予測部２００から取得した信号又は動き補償予測部１１０から取得した信号のいずれを出力するかを切り替える。切替部１１１から出力された信号は、減算部１０２及び加算部１０８へ入力される。
以上が、符号化装置１０の構成についての説明である。

次に、復号装置３０の構成について説明する。
図５は、復号装置３０の構成を示すブロック図である。
復号装置３０は、符号化装置１０の符号化に対応する復号を行う。復号装置３０は、エントロピー復号部３０１と、逆量子化部３０２と、逆変換部３０３と、加算部３０４と、画面結合部３０５と、ループフィルタ３０６と、イントラ予測部２００と、動き予測部３０７と、切替部３０８を備える。これらの構成は、例えば、復号装置３０が備えるＣＰＵ（不図示）が、復号装置３０が備える記憶部（不図示）に予め記憶されたプログラムを実行することにより実現される。ただし、これらの構成は、ＡＳＩＣ等のハードウェアとして実現されてもよい。

エントロピー復号部３０１は、復号対象である符号化信号を取得し、取得した符号化信号に対してエントロピー復号を行う。エントロピー復号部３０１は、エントロピー復号結果の信号を逆量子化部３０２へ出力する。
逆量子化部３０２は、エントロピー復号部３０１から取得した信号に対して逆量子化を行い、逆量子化した信号を逆変換部３０３へ出力する。逆量子化部３０２は、符号化装置１０の逆量子化部１０６と同様の構成である。

逆変換部３０３は、逆量子化部３０２から取得した信号に対して逆直交変換を行い、逆直交変換の結果の信号を加算部３０４へ出力する。逆変換部３０３は、符号化装置１０の逆変換部１０７と同様の構成である。
加算部３０４は、逆変換部３０３から取得した信号と切替部３０８から取得した信号を加算し、加算結果の信号を画面結合部３０５及びループフィルタ３０６へ出力する。
画面結合部３０５は、加算部３０４から取得した信号から構成される復号処理の処理単位のブロックを結合して映像信号を生成する。画面結合部３０５は、生成した映像信号を復号信号として出力する。

ループフィルタ３０６は、加算部３０４から取得した信号に対して平滑化等のフィルタリングを行い、フィルタリング結果の信号をイントラ予測部２００及び動き予測部３０７へ出力する。ループフィルタ３０６は、符号化装置１０のループフィルタ１０９と同様の構成である。
イントラ予測部２００は、ループフィルタ３０６から取得した信号を参照してイントラ予測を行い、予測画像の信号を切替部３０８へ出力する。復号装置３０のイントラ予測部２００は、符号化装置１０のイントラ予測部２００と同様の構成である。ただし、復号装置３０のイントラ予測部２００は、エントロピー復号部３０１により復号されたフラグ情報を参照して、選択予測値を特定する。

動き予測部３０７は、ループフィルタ３０６から取得した信号を参照して動き予測を行い、予測画像の信号を切替部３０８へ出力する。動き予測部３０７は、動き補償予測部１１０と同様の構成である。
切替部３０８は、イントラ予測部２００から取得した信号又は動き予測部３０７から取得した信号のいずれを出力するかを切り替える。切替部３０８の切り替え制御は、加算部３０４の加算結果に基づいて行われる。切替部３０８から出力された信号は、加算部３０４へ入力される。切替部３０８は、切替部１１１と同様の構成である。
以上が、復号装置３０の構成についての説明である。

次に、ＤＣ予測部２０３によるＤＣ予測の処理の流れについて説明する。
図６は、ＤＣ予測部２０３の動作を示すフローチャートである。
ここでは、一例として、符号化装置１０におけるＤＣ予測部２０３の処理の流れについて説明する。
（ステップＳ１）ＤＣ予測部２０３は、参照画素のグループを特定する。次に、ＤＣ予測部２０３は、ステップＳ３に処理を進める。

ここで、グループの特定について、説明する。
例えば、ＤＣ予測部２０３は、予測対象ブロックＰの左側に位置する参照画素を、垂直方向の座標値に基づいて分割する。また、例えば、ＤＣ予測部２０３は、予測対象ブロックの上側に位置する参照画素を、水平方向の座標値に基づいて分割する。参照画素を、水平方向と垂直方向とにおいてそれぞれ２分割すると、図１に示すように４つのグループが特定される。

なお、グループの特定方法は、ここで説明した方法のみに限定されない。ＤＣ予測部２０３は、例えば、水平方向と、垂直方向とのいずれかのみにおいて、参照画素Ｒを分割してもよい。このように、グループの数は、２以上の任意の数であってよい。また、参照画素Ｒを座標値に基づいてグループ分けする以外にも、例えば画素値に基づいてクラスタリングしてもよい。クラスタリング手法としては、例えばｋ−ｍｅａｎｓ法を適用することができる。ｋ−ｍｅａｎｓ法を適用する場合、ノード数を参照画素Ｒの数とし、クラスタ数をグループの数とすればよい。また、ＤＣ予測部２０３は、参照画素Ｒの全てを、必ずしもいずれかのグループに含める必要もない。つまり、従来のＤＣ予測で参照される参照画素Ｒのうち、グループに含まれない画素が存在していてもよい。また、複数のグループに、１つの画素が重複して含まれてもよい。

また、グループは、１つの画素のみにより構成されてもよい。例えば、参照画素のうち、左下端の画素（例えば、図１の座標（０，Ｎ））、右上端の画素（例えば、図１の座標（Ｎ，０））、左上端の画素（例えば、図１の座標（０，０））を選択して、３つのグループとしてもよい。また、参照画素Ｒの中から、その画素値が最大である画素、最小である画素を選択して、それぞれ異なるグループとしてもよい。また、参照画素Ｒの全ての画素を含むグループを特定してもよい。この場合、従来技術に係るＤＣ予測の予測値が得られる。

（ステップＳ３）ＤＣ予測部２０３は、各グループを構成する参照画素の画素値を参照し、ＤＣ予測を行う。つまり、ＤＣ予測部２０３は、グループごとに予測候補値を生成する。具体的には、ＤＣ予測部２０３は、グループごとに、各グループを構成する画素の画素値について統計量を算出する。統計量としては、平均値、最大値、最小値、中央値等を適用してよい。例えば、座標値に基づく領域分割によりグループを特定し、統計量として平均値を適用した場合、グループごとに算出される平均値は、局所平均値に該当する。また、例えば、クラスタリングによりグループを特定し、統計量として平均値を適用した場合、グループごとに算出される平均値は、各クラスタの重心に該当する。次に、ＤＣ予測部２０３は、ステップＳ５に処理を進める。

（ステップＳ５）ＤＣ予測部２０３は、予測候補値の中から、符号化に適用する予測値（すなわち、選択予測値）を選択する。選択予測値の選択では、予測候補値の画像信号と、予測対象ブロックＰの画像信号との差分を、例えばＭＳＥ（Mean Squared Error）法により算出する。そして、ＤＣ予測部２０３は、差分が最小となる予測候補値を、選択予測値とする。ＤＣ予測部２０３は、選択予測値に基づいて予測画像を生成し、生成した予測画像の画像信号を、切替部１１１に出力する。また、ＤＣ予測部２０３は、選択予測値を示すフラグ情報を、エントロピー符号化部１０５に出力する。その後、ＤＣ予測部２０３は、図６に示す処理を終了する。

なお、ＤＣ予測部２０３が出力したフラグ情報は、エントロピー符号化部１０５により符号化される。例えば図１に示す４分割の場合、フラグ情報は、２［ｂｉｔ］で表される。具体的には、第１グループＤＣ_Ａ１に「００」を割当て、第２グループＤＣ_Ａ２に「０１」を割当て、第３グループＤＣ_Ｌ１に「１０」を割当て、第４グループＤＣ_Ｌ２に「１１」を割当てる等してよい。

なお、ここでは、一例として、符号化装置１０におけるＤＣ予測部２０３の処理の流れについて説明したが、復号装置３０におけるＤＣ予測部２０３の処理も同様である。ただし、復号装置３０では、ステップＳ５において、ＤＣ予測部２０３は、エントロピー復号部３０１が復号したフラグ情報を参照して、予測値を選択する。
以上が、ＤＣ予測部２０３の動作についての説明である。

以上説明したように、符号化装置１０と、復号装置３０とは、１つの画像ブロック（例えば、予測対象ブロック）に対して、参照画素の集合（例えば、グループ）を複数特定する特定部２０４と、特定部２０４が特定した複数の参照画素の集合の各々から、ＤＣ予測により、予測ブロック候補を生成する生成部２０５と、画像ブロックに対する予測ブロック（例えば、選択予測値の画素で構成される予測画像）を、生成部２０５が生成した複数の予測ブロック候補（例えば、予測候補値の画素で構成される予測画像）の中から選択する選択部２０６と、を備える。
これにより、符号化装置１０と、復号装置３０とは、１つの画像ブロックに対して、ＤＣ予測による複数の予測ブロックの候補を生成し、そのうちの１つを選択する。つまり、符号化装置１０と、復号装置３０とは、画像ブロックに応じて予測ブロックを変更することができる。従って、画像符号化復号システム１は、符号化効率を向上させることができる。

また、特定部２０４は、複数の参照画素のうち、隣接する参照画素により構成される集合を特定する。
これにより、符号化装置１０と、復号装置３０とは、局所平均値等の局所的な画像の性質に基づいて、ＤＣ予測を行うことができる。例えば、符号化装置１０と、復号装置３０とは、参照画素の画素値が一様でない場合であっても、局所的な画像の性質を損ねずに、ＤＣ予測を行うことができる。従って、画像符号化復号システム１は、符号化効率を向上させることができる。

また、特定部２０４は、所定数の集合を特定する。
これにより、符号化装置１０と、復号装置３０とにおいて、予測ブロック候補の数を整合させることができる。
また、特定部２０４は、クラスタリングにより参照画素の集合を特定する。
これにより、符号化装置１０と、復号装置３０とにおいて、参照画素の集合の大きさや各集合に含まれる参照画素の範囲を、画像ブロックに応じて変更することができる。従って、画像符号化復号システム１は、集合の大きさや各集合に含まれる参照画素の範囲を、固定した場合に比して、符号化効率を向上させることができる。

[第２の実施形態]
本発明の第２の実施形態について説明する。なお、ここでは、上述した第１の実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る画像符号化復号システム１Ａ（不図示）は、画像符号化復号システム１と同様に、画像を符号化、復号する情報処理システムである。ただし、画像符号化復号システム１Ａは、ＤＣ予測において、１つの予測対象ブロックＰを分割し、分割後の各ブロックのそれぞれについて、複数の予測候補値の中からいずれかを割当てる点で、画像符号化復号システム１とは異なる。

ここで、本実施形態に係るＤＣ予測の概要について説明する。
図７は、ＤＣ予測の概要を示す図である。
図７に示す例では、予測対象ブロックＰは、水平方向と垂直方向とにおいて、それぞれ均等に２分割され、４つの分割領域ＰＡ、ＰＢ、ＰＣ、ＰＤが設定されている。また、複数の参照画素Ｒは、第１の実施形態と同様に、第１〜第４グループＤＣ_Ａ１、ＤＣ_Ａ２、ＤＣ_Ｌ１、ＤＣ_Ｌ２に４分割されている。ここで、本実施形態に係るＤＣ予測では、各分割領域ＰＡ、ＰＢ、ＰＣ、ＰＤのそれぞれに対して、第１〜第４グループＤＣ_Ａ１、ＤＣ_Ａ２、ＤＣ_Ｌ１、ＤＣ_Ｌ２に基づく予測候補値の中から、いずれか１つを予測値として割当てる。これにより、予測対象ブロックＰの画素値が、一様ではないとしても、分割領域ごとに予測値を変更することができるため、予測精度を向上させることができる。
以上が、本実施形態に係るＤＣ予測の概要についての説明である。

次に、画像符号化復号システム１Ａの構成について説明する。
画像符号化復号システム１Ａは、画像符号化復号システム１が備える符号化装置１０、復号装置３０に代えて、符号化装置１０Ａ（不図示）、復号装置３０Ａ（不図示）を備える。
符号化装置１０Ａは、符号化装置１０が備えるイントラ予測部２００に代えて、イントラ予測部２００Ａを備える。同様に、復号装置３０Ａは、復号装置３０が備えるイントラ予測部２００に代えて、イントラ予測部２００Ａを備える。

図８は、イントラ予測部２００Ａの構成を示すブロック図である。
イントラ予測部２００Ａは、ＤＣ予測部２０３に代えて、ＤＣ予測部２０３Ａを備える。ＤＣ予測部２０３Ａは、選択部２０６に代えて選択部２０６Ａを備える。また、ＤＣ予測部２０３Ａは、ＤＣ予測部２０３が備える各構成に加えて、ブロック分割部２０７Ａを備える。

ブロック分割部２０７Ａは、予測対象ブロックを複数の分割領域に分割する。ブロック分割部２０７Ａによる予測対象ブロックの分割方法は、予め定められており、符号化装置１０であっても、復号装置３０であっても、同じ予測対象ブロックは、同様に分割される。分割領域の識別情報の割当て方法も同様である。ブロック分割部２０７Ａは、分割領域情報を、選択部２０６Ａに出力する。分割領域情報には、例えば、各分割領域の識別情報と、各分割領域の範囲を示す情報とが含まれる。

選択部２０６Ａは、選択部２０６と同様に、複数の予測候補値から選択予測値を１つ選択する。ただし、選択部２０６Ａは、ブロック分割部２０７Ａが分割した分割領域ごとに選択予測値を選択する点で、選択部２０６とは異なる。選択部２０６Ａによる選択予測値の選択方法は、選択部２０６と同様であるため、説明を援用する。符号化装置１０Ａの場合、選択部２０６Ａは、分割領域ごとの選択予測値を示すフラグ情報をエントロピー符号化部１０５に出力する。これにより、フラグ情報が符号化され、復号装置３０Ａに伝送される。また、復号装置３０Ａの場合、選択部２０６Ａは、エントロピー復号部３０１により復号されたフラグ情報を参照し、分割領域ごとの選択予測値を取得する。
以上が、画像符号化復号システム１Ａの構成についての説明である。

次に、画像符号化復号システム１Ａの動作について説明する。
図９は、ＤＣ予測部２０３Ａの動作を示すフローチャートである。
ここでは、一例として、符号化装置１０ＡにおけるＤＣ予測部２０３Ａの処理の流れについて説明する。
図９に示すステップＳ１、３の処理は、図６に示す処理と同様であるため、説明を援用する。
（ステップＳ１４）ステップＳ３の処理の後、ＤＣ予測部２０３Ａは、予測対象ブロックを複数の領域に分割する。その後、ＤＣ予測部２０３Ａは、ステップＳ１５に処理を進める。
ここで、ＤＣ予測部２０３Ａは、予測対象ブロックを水平方向と垂直方向とのいずれか、又は、両方において分割する。ＤＣ予測部２０３Ａは、２以上の任意の数に予測対象ブロックを分割してよい。ＤＣ予測部２０３Ａは、各方向において、均等に予測対象ブロックを分割してもよいし、不均等に予測対象ブロックを分割してもよい。ＤＣ予測部２０３Ａは、予測対象ブロックの形状、例えば各方向における長さに応じて、各方向の分割数を変更してもよい。例えば長さが長い方向において分割数を多くし、長さが短い方向において分割数を少なくしてよい。また、ＤＣ予測部２０３Ａは、参照画素のグループの特定方法に応じて、予測対象ブロックの分割方法を変更してもよい。

（ステップＳ１５）ＤＣ予測部２０３Ａは、予測対象ブロックの分割領域ごとに、予測候補値の中から選択予測値を選択する。例えば、ＤＣ予測部２０３Ａは、予測候補値ごとに、各分割領域の予測画像と原画像との差分を算出し、差分が最小となる予測候補値を選択予測値とする。その他の処理については、図６に示すステップＳ５と同様である。そして、ＤＣ予測部２０３Ａは、図９に示す処理を終了する。
以上が、ＤＣ予測部２０３Ａの動作についての説明である。

次に、画像符号化復号システム１Ａによる処理結果の例について説明する。
図１０は、画像符号化復号システム１Ａによる処理結果の一例を示す図である。
図１０（ａ）は、予測対象ブロックの原画像と、そのＤＣＴ信号を示す。図１０（ｂ）は、従来技術に係るＤＣ予測による予測画像と、予測残差と、予測残差のＤＣＴ信号とを示す。図１０（ｃ）は、Ｐｌａｎａｒ予測による予測画像と、予測残差と、予測残差のＤＣＴ信号とを示す。図１０（ｄ）は、ＤＣ予測部２０３Ａによる予測画像と、予測残差と、予測残差のＤＣＴ信号とを示す。図１０（ｄ）に示す例では、ＤＣ予測部２０３Ａは、参照画素を８つのグループに分類し、予測対象ブロックを１６分割している。

ここで、図１０（ｂ）〜（ｄ）の残差ＤＣＴ信号を比較すると、従来技術に係るＤＣ予測やＰｌａｎａｒ予測と比較して、ＤＣ予測部２０３Ａによる予測ではＤＣ成分が削減されていることがわかる。原画像との差分をＭＳＥにより算出すると、従来技術に係るＤＣ予測では「１．４９×１０^５」である。Ｐｌａｎａｒ予測では「１．３６×１０^５」である。ＤＣ予測部２０３Ａによる予測では「１．０１×１０^５」である。このように、ＤＣ予測部２０３Ａによる予測では、ＤＣ成分を削減することができた。
以上が、画像符号化復号システム１Ａによる処理結果の例についての説明である。

以上説明したように、符号化装置１０Ａと、復号装置３０Ａとにおいて、選択部２０６Ａは、画像ブロックを複数に分割した分割ブロックの各々に対する予測ブロックを、予測ブロック候補の中から選択する。
これにより、符号化装置１０Ａと、復号装置３０Ａとは、分割ブロックごとに予測値を定める。従って、符号化装置１０Ａと、復号装置３０Ａとは、例えば、画像ブロック内において、画素値が局所的に大きく変動している場合であっても、局所的な画素値の変動に合わせた予測ブロックを選択することができる。従って、画像符号化復号システム１Ａは、符号化効率を向上させることができる。

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜２の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。また、例えば、上述の第１〜２の実施形態において説明した各構成は、複数の装置に分離して備えることができる。

なお、上述した第２の実施形態では、分割領域ごとの選択予測値を、フラグ情報として伝送する場合について説明したが、これには限られない。例えば、一部の選択予測値が暗黙的に定められてもよい。

ここで、暗黙的な選択予測値の設定について説明する。
一般的な画像では、画素値が急激に変化する部分は少ない。従って、予測対象ブロック内においても、参照画素から距離が近い領域では、参照画素と同様の画素値を示すことが期待される。そこで、例えば、参照画素に隣接している分割領域については、当該参照画素を含むグループの予測候補値を、選択予測値として暗黙的に設定してもよい。つまり、予測対象ブロックのうち、参照画素側の端部に位置している分割領域に対しては、選択予測値として、隣接する参照画素のグループに基づく予測候補値を選択する。これにより、符号化装置１０Ａと、復号装置３０Ａとは、符号化と復号とに伴う画質の低下を防ぎつつ、データ量を低減することができる。つまり、符号化効率を向上させることができる。

また、符号化装置１０Ａと、復号装置３０Ａとは、参照画素に隣接していない分割領域に対しては、その分割領域から最も距離が近い参照画素における参照画素を含むグループの予測候補値を、選択予測値として暗黙的に設定してもよい。この場合、分割領域からの距離とは、例えば、分割領域の左上端の画素の座標を代表値として、代表値からの距離であるとしてよい。
また、例えば、水平方向、垂直方向のそれぞれにおいて、最も距離が近い参照画素を含むグループを特定し、各グループによる予測候補値を、各グループまでの距離比に応じて加重平均した値を、選択予測値として設定してもよい。
また、参照画素に隣接していない分割領域に対しては、例えば、非特許文献１等の従来技術に係るＤＣ予測において用いられる予測値を、選択候補値として設定してもよい。

また、上述の符号化装置１０、１０Ａ、復号装置３０、３０Ａの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより符号化装置１０、１０Ａ、復号装置３０、３０Ａとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１、１Ａ…画像符号化復号システム、１０、１０Ａ…符号化装置、３０、３０Ａ…復号装置、５０…伝送蓄積部、２００、２００Ａ…イントラ予測部、２０３、２０３Ａ…ＤＣ予測部、２０４…特定部、２０５…生成部、２０６、２０６Ａ…選択部、２０７Ａ…ブロック分割部、１０５…エントロピー符号化部、３０１…エントロピー復号部

Claims (9)

1. １つの画像ブロックに対して、参照画素の集合を複数特定する特定部と、
   前記特定部が特定した複数の前記参照画素の集合の各々から、イントラ予測により、予測ブロック候補を生成する生成部と、
   前記画像ブロックに対する予測ブロックを、前記生成部が生成した複数の前記予測ブロック候補の中から選択する選択部と、
   を備え、
   前記特定部は、前記参照画素のうち、画素値が最小である画素を選択して成る第一グループと、画素値が最大である画素を選択して成る第二グループと、を前記参照画素の集合として少なくとも特定する、
   予測装置。
2. １つの画像ブロックに対して、参照画素の集合を複数特定する特定部と、
   前記特定部が特定した複数の前記参照画素の集合の各々から、イントラ予測により、予測ブロック候補を生成する生成部と、
   前記画像ブロックに対する予測ブロックを、前記生成部が生成した複数の前記予測ブロック候補の中から選択する選択部と、
   を備え、
   前記選択部は、前記画像ブロックを複数に分割した分割ブロックの各々に対する予測ブロックを、前記予測ブロック候補の中から選択し、
   前記選択部が選択する前記予測ブロック候補は、前記分割ブロックの一部について暗黙的に定められている、
   予測装置。
3. 前記選択部が選択する前記予測ブロック候補は、前記参照画素に隣接している前記分割ブロックについては当該参照画素を含む集合の前記予測ブロック候補であると暗黙的に定められている、
   請求項２に記載の予測装置。
4. 前記選択部が選択する前記予測ブロック候補は、前記参照画素に隣接していない前記分割ブロックについては当該分割ブロックから最も距離が近い参照画素を含む集合の前記予測ブロック候補であると暗黙的に定められている、
   請求項２または３に記載の予測装置。
5. 前記特定部は、所定数の集合を特定する、
   請求項１から４までのいずれか一項に記載の予測装置。
6. 前記特定部は、クラスタリングにより前記参照画素の集合を特定する
   請求項１から５までのいずれか一項に記載の予測装置。
7. 請求項１から請求項６までのいずれか一項に記載の予測装置により選択された予測ブロックを示すフラグ情報を符号化する符号化部、
   を備える符号化装置。
8. 請求項７に記載の符号化装置が符号化したフラグ情報に基づいて、前記画像ブロックを復号する復号部、
   を備える復号装置。
9. コンピュータを、請求項１から請求項６までのいずれか一項に記載の予測装置として動作させるためのプログラム。

Images