JP2012175332A - 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム - Google Patents

Abstract

【課題】従来の画面内予測符号化よりも，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する。
【解決手段】分割画像生成部１１により，符号化対象の入力画像を同じサイズのブロックに分割し，各ブロック内の相対位置が同じ画素を集めてそれぞれ同じサイズの分割画像Ｐ０〜ＰＫを生成する。分割画像Ｐ０については，画面内予測符号化部１２により画面内予測符号化する。分割画像Ｐ１〜ＰＫについては，符号化済みの分割画像から，参照画像生成部１３１により符号化済み分割画像と符号化対象分割画像の原画像上における相対位置によって決まるフィルタを適用して参照画像を生成し，分割画像を単位とする画面間予測により符号化する。
【選択図】図１

Description

本発明は，画像符号化・復号技術に関し，特に従来の画面内予測符号化・復号よりも演算量を大幅に削減する画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラムに関するものである。

映像符号化国際標準であるＨ．２６４では，ブロック間の画素相関を利用して符号化での圧縮率を向上させるため，画面内予測符号化が行われている（非特許文献１参照）。この画面内予測は，いくつかの画素をまとめたブロック単位で行われ，輝度信号に対して，４×４，８×８，１６×１６の３種類のブロックサイズが利用可能になっている。また，各ブロックサイズでは，それぞれ複数の予測モードが選択可能になっている。

このＨ．２６４では，画面内予測の際に外挿予測による方法を用いているが，それによる予測効率が悪いという問題がある。これを解決するため，全画面に対しデブロッキングフィルタによりブロック歪みを抑えることが行われており，演算量が多くなっている。

また，画面内予測における符号化効率を向上させる手法として，非特許文献２に記載されている技術が知られている。この技術は，画面内予測において符号化対象ブロックに対し，符号化済み領域から誤差の小さいブロックを探索し，それに対する予測誤差を用いて符号化を行う手法である。

図２２は，従来技術による画面内予測符号化処理の例を示すフローチャートである。非特許文献２の画面内予測符号化では，まず，符号化対象の画像を同じサイズのＮ個のブロック１〜Ｎに分割する（ステップＳ３０１）。次に，最初のブロック１について画面内予測符号化を行う（ステップＳ３０２）。続いて，ブロック２以降の符号化では，符号化済みの領域から予測誤差の小さいブロックを参照画像として，画面間予測符号化を行い，その参照画像への動きベクトル情報と予測誤差を符号化する（ステップＳ３０３）。このステップＳ３０３の処理を最後のブロックＮまで繰り返す。

ITU-T Rec. H.264，"Advanced video coding for generic audiovisual services", March 2005. J. Yang, B. Yin, and N. Zhang,"A block-matching based intra frame prediction for H.264/AVC "，in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006．

非特許文献２の技術は符号化効率向上のための手法ではあるが，同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため，量子化誤差も小さくなりやすい。そのため，デブロッキングフィルタの処理量を減らすことができると考えられる。

しかし，上記の方法では，各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため，復号側でも参照ブロック情報の復号のための演算が発生することとなり，その結果，演算量が多いままになっているという問題がある。

本発明は，上記問題点の解決を図り，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することを目的とする。

本発明は，上記課題を解決するため，入力画像を圧縮符号化するにあたって，以下の処理を行う。
（１）入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
（２）分割画像の少なくとも一つ以上を画面内予測符号化する。ここでの画面内予測符号化は，分割画像を画面単位として行う画面内予測による符号化である。
（３）画面内予測符号化された分割画像以外の分割画像について，該分割画像と符号化済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを符号化済み分割画像に施した画像を参照画像として，画面間予測符号化を行う。ここでの画面間予測符号化は，各分割画像を画面単位として行う画面間予測による符号化である。

さらに，上記発明の一態様として，画面間予測符号化では，画面内予測符号化された分割画像以外の分割画像について，少なくとも一つ以上は符号化を行わず，それ以外の分割画像についての符号化だけを行うようにすることもできる。また，上記発明の別の一態様として，分割画像生成時には，少なくとも一つ以上の分割画像を生成せず，生成された分割画像についてのみ符号化を行うようにすることもできる。

また，本発明は，圧縮符号化された画像の符号化データを復号するにあって，以下の処理を行う。
（１）画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成して符号化した，符号化データを入力する。
（２）入力した符号化データから，分割画像の少なくとも一つ以上を画面内予測復号する。
（３）画面内予測復号された分割画像以外の分割画像について，該分割画像と復号済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを復号済み分割画像に施した画像を参照画像として，画面間予測復号を行う。
（４）画面内予測復号および画面間予測復号によって復号された分割画像から復号画像を構成する。

さらに，上記発明の一態様として，画面内予測復号された分割画像以外の分割画像の少なくとも一つ以上を，復号済みの分割画像の画素情報を用いて補間により生成するようにすることもできる。

本発明の作用を，従来技術と対比して説明する。

非特許文献２の技術においては，符号化対象画像が符号化済み画像を参照画像として用いるために，その相対位置を表すオフセットベクトルを符号化している。したがって，それを復号するための演算量が発生する。

これに対し，本発明では，非特許文献２の技術に対し，オフセットベクトルを送らず，代わりに画素または画素群の相対位置によるフィルタを符号化済み分割画像に施すことで参照画像を生成する。相対位置情報により予測効率の高い参照画像を作成するので，復号側では，ベクトル情報の復号の必要がなくなり，復号演算量を削減することができる。

すなわち，本発明では，符号化対象画像は，符号化済み画像と参照画像間のオフセットベクトルを必要としないため，その復号の演算量が発生しない。分割画像の生成方法により，符号化対象画像の画素（または画素群，以下同様）は，符号化済み画像の画素に対して空間方向に一定距離かつ一定方向にずれた隣接画素になるため，符号化済み画像を一意に定めてしまえば相対位置を表すオフセットベクトル情報を送る必要がなくなる。これにより，相対位置によって定まるフィルタを符号化済み画像に施すことで予測効率の高い参照画素を生成できる。したがって，本発明は，符号化効率を下げることなく演算量を削減することができる。

また，外挿予測を用いた非特許文献１の画面内符号化よりも内挿予測を用いた本発明の方が適切に予測を行える。より具体的には，非特許文献１の画面内符号化においては，画素値の予測に符号化済みの左方向または上方向の画素しか参照できないのに対し，本発明は，符号化済み分割画像を参照画像として予測誤差符号化を行う際，画素値予測に上下左右の画素を参照可能であるため，適切な画素を予測できる。この予測画素を求める際のフィルタは，ブロックの分割方法により定まるので，フィルタ情報をブロックごとに送る必要は発生しない。これにより，非特許文献１の画面内符号化に対し，画素予測が適切に行われ，予測効率が高くなる。このように，予測効率が高いことからデブロッキングフィルタも不要と考えられるため，その処理にかかる演算量も削減できる。

また，本発明の一態様では，分割画像のいくつかについては，復号処理において大部分を占める情報源復号・逆ＤＣＴ・デブロッキングフィルタなどの代わりに演算量が半分以下の補間演算を用いて復号するので，復号の演算量を削減することができる。

すなわち，本発明の一態様では，一部の分割画像については符号化を行わないため，復号の際に，その分割画像についての復号演算量が削減される。なお，その符号化されない分割画像の画素に対しては補間を行う必要があるが，例えば線形補間のような補間を行うことで，画素の相関が強い画像に対しては，すべての分割画像を符号化・復号する場合よりも演算量を抑えることができる。

また，本発明の別の一態様では，すべての分割画像を生成し，そのすべての分割画像を符号化する代わりに，少なくとも一つ以上の分割画像の生成を行わずに，生成された分割画像についてのみ符号化を行うため，分割画像生成，および符号化の際の演算量，および必要メモリを削減できる。なお，生成されず符号化されない分割画像の画素に対しては補間を行う必要があるが，それには前記の線形補間などを用いることができる。

本発明によれば，従来の画面内予測符号化に対し，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することができる。

画像符号化装置の構成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 参照画像生成部による参照画像の生成例を示す図である。 符号化対象画像の分割例を示す図である。 画像符号化処理の例１のフローチャートである。 分割画像生成処理のフローチャートである。 画面間予測符号化処理のフローチャートである。 補間フィルタの適用例を示す図である。 符号化対象画像の分割例と符号化対象の分割画像の例を示す図である。 画像符号化処理の例３のフローチャートである。 画面間予測符号化処理のフローチャートである。 画像符号化処理の例４のフローチャートである。 分割画像生成処理のフローチャートである。 画面間予測符号化処理のフローチャートである。 画像復号装置の構成例を示す図である。 画像復号処理の例１のフローチャートである。 画像復号処理の例２のフローチャートである。 画面間補間部による分割画像の補間の例を示す図である。 画面内補間の例を示す図である。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来技術による画面内予測符号化処理の例を示すフローチャートである。

以下，本発明の実施の形態について，図面を用いながら説明する。

〔画像符号化装置〕
図１は，画像符号化装置の構成例を示す図である。画像符号化装置１０は，分割画像生成部１１，画面内予測符号化部１２，画面間予測符号化部１３，情報源符号化部１４を備える。画面間予測符号化部１３は，参照画像生成部１３１，予測誤差算出部１３２，予測誤差符号化部１３３，画像復号部１３４を備える。なお，参照画像生成部１３１が画面内予測符号化部１２で符号化した分割画像だけを用いて参照画像を生成する場合には，画像復号部１３４は設けなくてもよい。

分割画像生成部１１は，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。

図２は，分割画像生成部１１による分割画像の生成例を示す図である。分割画像生成部１１は，例えば図２（Ａ）に示す原画像を入力画像として，この原画像を，図２（Ｂ）に示すように，それぞれがｎ×ｍ画素のブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する。次に，各ブロックＭｊを，図２（Ｃ）に示すように，ｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックＢｊｋ（ｋ＝０，１，…，Ｋ）に分割する。

次に，図２（Ｄ）に示すように，各ブロックＭｊから，ブロック内の相対位置が同じサブブロックＢｊｋを集めて，それぞれ同じサイズの分割画像Ｐｋ（ｋ＝０，１，…，Ｋ）を生成する。分割画像Ｐ０は，サブブロックＢ００，Ｂ１０，…，ＢＪ０を集めたもの，分割画像Ｐ１は，サブブロックＢ０１，Ｂ１１，…，ＢＪ１を集めたもの，…，分割画像ＰＫは，サブブロックＢ０Ｋ，Ｂ１Ｋ，…，ＢＪＫを集めたものになる。

画面内予測符号化部１２は，分割画像生成部１１によって生成された一番目の分割画像を画面内予測符号化する。ここでの画面内予測符号化は，現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり，他の分割画像を参照しないような符号化方法であれば，どのような符号化方法を用いてもよい。例えばＨ．２６４符号化方式におけるイントラ予測符号化などの方法を用いることができる。

画面間予測符号化部１３は，分割画像生成部１１によって生成された二番目以降の分割画像を画面間予測符号化する。ここでの画面間予測符号化は，現在の符号化対象となっている分割画像以外の符号化済み分割画像を参照画像として予測符号化する符号化方法である。

画面間予測符号化部１３における参照画像生成部１３１は，現在の符号化対象となっている分割画像と符号化済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを符号化済み分割画像に施すことにより参照画像を生成する。

図３は，参照画像生成部１３１による参照画像の生成例を示す図である。以下では，分割画像Ｐｉが符号化済みで，次に分割画像Ｐｋを画面間予測符号化する場合の参照画像の生成例を説明する。分割画像Ｐｉに所属するサブブロックをＢｉ，分割画像Ｐｋに所属するサブブロックをＢｋと表す。

分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｋのサブブロックＢｋの原画像における位置関係が，図３（Ａ）のとおりであったとすると，図３（Ｂ）に示すように，サブブロックＢｋの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｋに対して４個のサブブロックＢｉを抽出しているが，４個に限られない。次に，図３（Ｃ）に示すように，抽出した４個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｋ′の画素値を算出する。用いる補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｋとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いて参照画像を生成してもよい。

このようにして補間により生成されたサブブロックＢｋ′を集めたものを，分割画像Ｐｋの画面間予測符号化に用いる参照画像とする。

予測誤差算出部１３２は，現在の符号化対象となっている分割画像の各画素値から参照画像生成部１３１により生成した参照画像の各画素値を減算し，予測誤差を算出する。予測誤差符号化部１３３は，算出された予測誤差について直交変換や量子化処理を施し，予測誤差を符号化する。

情報源符号化部１４は，画面内予測符号化部１２および画面間予測符号化部１３で符号化された分割画像の符号化情報をエントロピ符号化し，符号化データを出力する。

画像復号部１３４は，画面間予測符号化部１３により符号化された分割画像を他の分割画像の符号化における参照画像の生成に利用する場合に，符号化された分割画像の予測に用いた参照画像に符号化結果の予測誤差を加算することにより分割画像を復号し，参照画像生成部１３１に送る。なお，予測誤差符号化部１３３で，予測誤差を直交変換，量子化している場合には，画像復号部１３４は，予測誤差符号化部１３３の出力に，逆量子化，逆直交変換を施した後に，参照画像の画素値を加算して分割画像を復号する。

〔画像符号化処理の例１〕
次に，画像符号化処理の流れを具体例に従って説明する。

図４に，符号化対象画像の分割例を示す。以下で説明する例では，分割画像生成部１１は，符号化対象である入力画像の１フレームを，図４に示すように，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割するものとする。さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割するものとする。このようにして分割した各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。

ここでは，２×２画素のブロックを１×１画素のサブブロック分割する例を説明するが，ブロックおよびサブブロックのサイズは，この例に限られるわけではなく，ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも，本発明を適用して同様に実施することができる。

図５は，画像符号化処理の例１のフローチャートである。まず，分割画像生成部１１は，入力画像を図４に示すように，同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＫを生成する（ステップＳ１０）。なお，図４の例では，Ｋ＝３である。詳細については，図６を用いて後述する。

次に，画面内予測符号化部１２は，最初の分割画像Ｐ０について，従来の画面内予測符号化方法などを用いて，画面内予測符号化を行う（ステップＳ１１）。

分割画像Ｐ１以降の分割画像については，画面間予測符号化部１３が，符号化済みの分割画像に，原画像上での相対位置によって決まる所定のフィルタを施した画像を参照画像として，分割画像を単位とした画面間予測符号化を行い，予測誤差のみを符号化する（ステップＳ１２）。詳細については，図７を用いて後述する。なお，分割画像Ｐ１以降の分割画像についても画面内予測符号化によって符号化を行ってもよい。

図６は，分割画像生成処理（図５のステップＳ１０）のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する（ステップＳ１０１）。次に，各ブロックＭｊを，ブロック内の相対位置が同じ同一サイズのサブブロックＢｋ（ｋ＝０，１，…，Ｋ）に分割する（ステップＳ１０２）。続いて，各ｋ＝０，１，…，Ｋに対し，ブロックＭ０〜ＭＪ内のサブブロックＢｋだけを抽出し，これをブロックＭ０〜ＭＪの順に配置し，分割画像Ｐｋを生成する（ステップＳ１０３）。以上の処理を最後の分割画像ＰＫの生成が終わるまで繰り返す（ステップＳ１０４）。

図７は，画面間予測符号化処理（図５のステップＳ１２）のフローチャートである。ｋ個の分割画像Ｐ０〜Ｐ（ｋ−１）が符号化済みであったとする。画面間予測符号化部１３は，符号化済みの分割画像Ｐ０〜Ｐ（ｋ−１）のうちＰｉ（０≦ｉ≦ｋ−１）に，原画像上の分割画像Ｐｋの画素位置の補間フィルタを適用し，画像Ｐｋ′を生成する（ステップＳ１２１）。

生成した画像Ｐｋ′を参照画像として，分割画像Ｐｋの予測誤差符号化を行う（ステップＳ１２２）。以上の処理を最後の分割画像ＰＫの画面間予測符号化が終わるまで繰り返す（ステップＳ１２３）。

図４に示す入力画像の符号化では，まず，図５のステップＳ１１で分割画像Ｐ０を画面内予測符号化した後，図７のステップＳ１２１で，参照画像生成部１３１により符号化済みの分割画像Ｐ０に対して，補間フィルタを適用して画像Ｐ１′を生成する。この補間フィルタとしては，例えばＨ．２６４の動き補償予測において１／２画素精度の予測信号の生成に用いる６タップＦＩＲフィルタを用いることができる。

図８は，補間フィルタの適用例を示す図である。図８において，○で示した画素は，分割画像Ｐ０の整数位置画素である。□，△，◇で示した画素は，分割画像のＰ０の１／２位置画素である。分割画像Ｐ１の参照画像Ｐ１′は，Ｐ０の符号化画像の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに対して，次式のような横方向半画素フィルタを適用し，図８に□で示したＰ０の１／２位置画素として算出する。

ａ₁ ＝１／３２｛Ａ−５Ｂ＋２０Ｃ＋２０Ｄ−５Ｅ＋Ｆ｝
図７のステップＳ１２２では，予測誤差算出部１３２が，分割画像Ｐ１の画素値と参照画像Ｐ１′の画素値との差分である予測誤差を算出し，予測誤差符号化部１３３が，その予測誤差を符号化する。

次の分割画像Ｐ２の符号化では，図７のステップＳ１２２において，参照画像生成部１３１が分割画像Ｐ２の参照画像Ｐ２′を生成する。参照画像Ｐ２′は，Ｐ０の符号化画像の画素Ａ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋに対して，次式のような縦方向半画素フィルタを適用し，図８に△で示したＰ０の１／２位置画素として算出する。

ｂ₁ ＝１／３２｛Ａ−５Ｇ＋２０Ｈ＋２０Ｉ−５Ｊ＋Ｋ｝
図７のステップＳ１２２では，分割画像Ｐ１の符号化と同様に，予測誤差算出部１３２および予測誤差符号化部１３３が，Ｐ２′を参照画像とする動きベクトル０の画面間予測により分割画像Ｐ２の予測誤差符号化を行う。

また，分割画像Ｐ３の参照画像Ｐ３′は，Ｐ１′およびＰ２′で算出したＰ０の１／２位置画素の結果に対して，図７のステップＳ１２２において，次式のような半画素フィルタを適用し，図８に示した◇のように，右下方向に半画素ずれた画素を算出する。

ｃ₁ ＝１／６４｛ａ₁ −５ａ₂ ＋２０ａ₃ ＋２０ａ₄ −５ａ₅ ＋ａ₆ ｝
＋１／６４｛ｂ₁ −５ｂ₂ ＋２０ｂ₃ ＋２０ｂ₄ −５ｂ₅ ＋ｂ₆ ｝
図７のステップＳ１２２では，分割画像Ｐ１，Ｐ２の符号化と同様に，予測誤差算出部１３２および予測誤差符号化部１３３が，Ｐ３′を参照画像とする動きベクトル０の画面間予測により分割画像Ｐ３の予測誤差符号化を行う。

〔画像符号化処理の例２〕
画像符号化処理の例２は，参照画像の生成に，画面内予測符号化済みの画像だけではなく，画面間予測符号化済みの画像を用いる例である。この場合，画像復号部１３４は，予測誤差符号化部１３３が符号化した分割画像を復号し，参照画像生成部１３１が持つメモリに格納する。

前に説明した画像符号化処理の例１では，図４に示す入力画像における分割画像Ｐ３の画面間予測符号化において，符号化済み分割画像Ｐ０から参照画像Ｐ３′を生成したが，例２では，分割画像Ｐ２について前述した方法により画面間予測符号化を行った結果のＰ２の符号化画像を用いて，次式のようなフィルタ（ｃ₁ ，ｂ₁ 〜ｂ₆ の位置は図８参照）を適用し，右方向に半画素ずれた画像Ｐ３′を生成する。

ｃ₁ ＝１／３２｛ｂ₁ −５ｂ₂ ＋２０ｂ₃ ＋２０ｂ₄ −５ｂ₅ ＋ｂ₆ ｝
〔画像符号化処理の例３〕
画像符号化処理の例３では，分割画像Ｐ０〜ＰＫのすべてを符号化するのではなく，前述した例１，２で符号化した画面間予測符号化対象の分割画像Ｐ１〜ＰＫのうち，一部の分割画像は符号化しない。復号側では，符号化されなかった分割画像については，復号済みの分割画像から補間により生成する。

図９に，符号化対象画像の分割例と符号化対象の分割画像の例を示す。分割画像生成部１１は，図４の例と同様に，符号化対象である入力画像の１フレームを，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割し，さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割する。

このようにして各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。

図４の例では，分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３のすべてを符号化していたのに対し，この例では，分割画像Ｐ０を画面内予測符号化し，分割画像Ｐ０の符号化画像に補間フィルタを適用して分割画像Ｐ３の予測に用いる参照画像を生成し，分割画像Ｐ３を画面間予測符号化する。分割画像Ｐ１，Ｐ２については符号化しない。

図１０は，画像符号化処理の例３のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＫを生成する（ステップＳ１０′）。なお，ここで符号化しない分割画像の生成は省略することができる。

次に，画面内予測符号化部１２は，最初の分割画像Ｐ０について，従来の画面内予測符号化方法などを用いて，画面内予測符号化を行う（ステップＳ１１′）。

次に，画面間予測符号化部１３は，分割画像Ｐ１〜ＰＫのうち１枚以上については符号化を行わず，それ以外の分割画像について符号化を行う（ステップＳ１２′）。図９の分割例の場合，画面間予測符号化部１３は，分割画像Ｐ１，Ｐ２の符号化は行わず，分割画像Ｐ３の符号化だけを行う。ステップＳ１２′の処理の詳細を以下に示す。

図１１は，画面間予測符号化処理（図１０のステップＳ１２′）のフローチャートである。分割画像Ｐ１〜ＰＫから符号化を行う分割画像をＵ枚選び，順にＰ１〜ＰＵと置く（ステップＳ１２１′）。ただし，Ｕは，１≦Ｕ≦Ｋ−１の範囲内の所定値である。図９の分割例では，分割画像Ｐ１〜Ｐ３から１枚の分割画像Ｐ３を選び，その番号をＰ１と表す。

次に，画面間予測符号化部１３は，符号化済みの分割画像Ｐ０〜Ｐ（ｋ−１）のうちＰｉ（０≦ｉ≦ｋ−１）に，原画像上の分割画像Ｐｋの画素位置の補間フィルタを適用し，画像Ｐｋ′を生成する（ステップＳ１２２′）。図９の分割例では，符号化済みの分割画像Ｐ０から原画像上の新たな分割画像Ｐ１（図９ではＰ３の位置）の画素位置の補間フィルタを適用し，画像Ｐ１′を生成することになる。この補間フィルタは，図８で説明した◇の画素値を求めるフィルタ，すなわちＰ０に対する１／２位置画素の画素値を算出する式を用いる。

生成した画像Ｐｋ′を参照画像として，分割画像Ｐｋの予測誤差符号化を行う（ステップＳ１２３′）。以上の処理を最後の分割画像ＰＵの画面間予測符号化が終わるまで繰り返す（ステップＳ１２４′）。

〔画像符号化処理の例４〕
画像符号化処理の例４では，分割画像Ｐ０〜ＰＫのすべてを生成するのではなく，０＜Ｌ＜Ｋのときに分割画像Ｐ０〜ＰＬまでを生成して符号化を行い，例１，例２で符号化した画面間予測符号化対象の分割画像Ｐ１〜ＰＫのうち，一部の分割画像は符号化しない。復号側では，符号化されなかった分割画像については，復号済みの分割画像から補間により生成する。

図９に，符号化対象画像の分割例と符号化対象の分割画像の例を示す。分割画像生成部１１は，図４の例と同様に，符号化対象である入力画像の１フレームを，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割し，さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割する。

このようにして各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。

例３では，分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３のすべてを生成することを可能としていたのに対し，この例４では，分割画像Ｐ０を画面内予測符号化し，分割画像Ｐ０の符号化画像に補間フィルタを適用して分割画像Ｐ３の予測に用いる参照画像を生成し，分割画像Ｐ３を画面間予測符号化する。分割画像Ｐ１，Ｐ２については生成も符号化もしない。

図１２は，画像符号化処理の例４のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＬを生成する（ステップＳ１０″）。図９の分割例では，分割画像Ｐ１〜Ｐ３の中の１枚の分割画像Ｐ３を生成し，これをＰ１と表す。

次に，画面内予測符号化部１２は，最初の分割画像Ｐ０について，従来の画面内予測符号化方法などを用いて，画面内予測符号化を行う（ステップＳ１１″）。

次に，画面間予測符号化部１３は，分割画像Ｐ１〜ＰＬについて符号化を行う（ステップＳ１２″）。図９の分割例の場合，画面間予測符号化部１３は，分割画像Ｐ１（図９ではＰ３の位置）の符号化だけを行う。

図１３は，分割画像生成処理（図１２のステップＳ１０″）のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する（ステップＳ１０１″）。次に，各ブロックＭｊを，ブロック内の相対位置が同じ同一サイズのサブブロックＢｋ（ｋ＝０，１，…，Ｋ）に分割する（ステップＳ１０２″）。続いて，各ｋ＝０，１，…，Ｋに対し，ブロックＭ０〜ＭＪ内のＬ個までのサブブロックＢ_l だけを抽出し，これをブロックＭ０〜ＭＪの順に配置し，分割画像Ｐ_l を生成する（ステップＳ１０３″）。以上の処理を最後の分割画像ＰＬの生成が終わるまで繰り返す（ステップＳ１０４″）。

次に，図１２におけるステップＳ１２″の処理の詳細を説明する。図１４は，画面間予測符号化処理（図１２のステップＳ１２″）のフローチャートである。

画面間予測符号化部１３は，符号化済みの分割画像Ｐ０〜Ｐ（ｋ−１）のうちＰｉ（０≦ｉ≦ｋ−１）に，原画像上の分割画像Ｐｋの画素位置の補間フィルタを適用し，画像Ｐｋ′を生成する（ステップＳ１２１″）。図９の分割例では，符号化済みの分割画像Ｐ０から原画像上の新たな分割画像Ｐ１（図９ではＰ３の位置）の画素位置の補間フィルタを適用し，画像Ｐ１′を生成することになる。この補間フィルタは，図８で説明した◇の画素値を求めるフィルタ，すなわちＰ０に対する１／２位置画素の画素値を算出する式を用いる。

生成した画像Ｐｋ′を参照画像として，分割画像Ｐｋの予測誤差符号化を行う（ステップＳ１２２″）。以上の処理を最後の分割画像ＰＬの画面間予測符号化が終わるまで繰り返す（ステップＳ１２３″）。

〔画像復号装置〕
図１５は，画像復号装置の構成例を示す図である。画像復号装置２０は，符号化データ入力部２１，情報源復号部２２，画面内予測復号部２３，画面間予測復号部２４，復号画像構成部２５を備える。画面間予測復号部２４は，予測誤差復号部２４１，参照画像生成部２４２，復号画像算出部２４３を備える。また，復号画像構成部２５は，符号化側で分割画像の一部を符号化しなかった場合に，その分割画像を復号済みの画像から補間によって生成する画面内補間部２５１を含むことがある。

画像復号装置２０は，図１に示す画像符号化装置１０により圧縮符号化された画像の符号化データを符号化データ入力部２１により入力し，画像を復号する。情報源復号部２２は，入力した符号化データをエントロピ復号する。

画面内予測復号部２３は，少なくとも一つ以上の分割画像の画面内予測により符号化された符号化データを画面内予測により復号する。画面間予測復号部２４は，画面内予測復号された分割画像以外の分割画像について，画面間予測復号を行う。そのため，画面間予測復号部２４の予測誤差復号部２４１は，必要に応じて逆量子化，逆直交変換などを行い，予測誤差を復号する。参照画像生成部２４２は，復号対象の分割画像と復号済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを復号済みの分割画像に施すことにより，参照画像を生成する。復号画像算出部２４３は，予測誤差復号部２４１の出力に，参照画像生成部２４２が生成した参照画像の画素値を加算することにより，復号画像の画素値を算出する。

復号画像構成部２５は，画面内予測復号部２３および画面間予測復号部２４により復号された分割画像の各サブブロックを，原画像上の元の位置に配置することにより，復号画像を生成する。

画面内補間部２５１は，符号化側で符号化されなかった分割画像がある場合に，その分割画像を復号済みの画像から補間によって生成する。

〔画像復号処理の例１〕
図１６は，画像復号処理の例１のフローチャートである。ここでは，符号化側で，入力画像を図２に示すように分割して符号化したデータを復号する場合の例を説明する。符号化側では，前述したように，入力サイズを同じサイズのブロックＭ０〜ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０〜ＰＫを生成し，分割画像Ｐ０については画面内予測符号化により符号化し，分割画像Ｐ１〜ＰＫについては分割画像を単位とした画面間予測符号化により符号化しているものとする。

画像復号装置２０では，符号化データ入力部２１で符号化データを入力すると，情報源復号部２２で符号化データをエントロピ復号した後，まず，画面内予測復号部２３が分割画像Ｐ０の符号化データを，従来の画面内予測復号方法などを用いて，画面内予測により復号する（ステップＳ２０）。

次に，分割画像Ｐ１以降の分割画像の符号化データについて，画面間予測復号部２４が，復号済みの分割画像に，原画像上での相対位置によって決まる所定のフィルタを施した画像を参照画像として，これに復号した予測誤差を加算することにより，分割画像を単位とした画面間予測復号を行う（ステップＳ２１）。参照画像生成部２４２における参照画像の生成方法については，前述した画像符号化装置１０における参照画像の生成方法とまったく同様である。復号画像構成部２５は，復号した分割画像Ｐ０〜ＰＫから全体の復号画像を生成する（ステップＳ２２）。

〔画像復号処理の例２〕
次に，画像符号化装置１０の画像符号化処理の例３で説明した処理により符号化した符号化データを復号する場合の例を説明する。この場合，分割画像Ｐ０については，画面内予測符号化により符号化されており，分割画像Ｐ１〜ＰＫについては，その一部の分割画像のみが画面間予測により符号化されている。

図１７は，画像復号処理の例２のフローチャートである。まず，画像復号装置２０は，分割画像のうち，復号された分割画像の情報のみの復号を行う（ステップＳ２１１）。分割画像Ｐ０については，前述した例と同様に，画面内予測復号部２３で復号し，分割画像Ｐ０〜ＰＫのうち，符号化された分割画像については，画面間予測復号部２４により復号する。

次に，画面内補間部２５１が，復号済みの分割画像から，符号化されていない分割画像の補間を行い，符号化されていない分割画像を生成する（ステップＳ２１２）。

図１８は，画面内補間部２５１による分割画像の補間の例を示す図である。以下では，分割画像Ｐｉが復号済みで，Ｂｉを復号された分割画像Ｐｉに所属するサブブロックとする。また，Ｂｘを符号化されていない分割画像Ｐｘのサブブロック，すなわち復号されないサブブロックとする。

分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｘのサブブロックＢｘの原画像における位置関係が，図１８（Ａ）のとおりであったとすると，図１８（Ｂ）に示すように，サブブロックＢｘの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｘに対して左右の２個のサブブロックＢｉを抽出している。次に，図１８（Ｃ）に示すように，抽出した左右２個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｘ′の画素値を算出する。用いる補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｘとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いてサブブロックＢｘ′の画素値を算出してもよい。このようにして補間により生成されたサブブロックＢｘ′を集めて，分割画像Ｐｘとする。

図１９は，画面内補間の例を示す図である。画像符号化装置１０が，図９で説明した分割画像の生成を行い，分割画像Ｐ０を画面内予測符号化し，分割画像Ｐ３を画面間予測符号化したものとする。図１９において，○で示した画素が画面内予測復号による復号画素，すなわち分割画像Ｐ０の復号画素であり，△で示した画素が画面間予測復号による復号画素，すなわち分割画像Ｐ３の復号画素である。□で示した画素が画面内補間対象画素，すなわち符号化されなかった分割画像Ｐ１，Ｐ２の画素である。

例えば，画面内補間対象画素の画素値ａは，次のように算出する。画面内補間対象画素の左右の画素の画素値をＡ，Ｂとし，上下の画素の画素値をＣ，Ｄとする。あらかじめ定められた閾値をｔとする。
（１）｜Ａ−Ｂ｜≦ｔ または ｜Ｃ−Ｄ｜≦ｔの場合
｜Ａ−Ｂ｜≦｜Ｃ−Ｄ｜ならば，ａ＝（Ａ＋Ｂ）／２とする。

｜Ａ−Ｂ｜＞｜Ｃ−Ｄ｜ならば，ａ＝（Ｃ＋Ｄ）／２とする。
（２）｜Ａ−Ｂ｜＞ｔ かつ ｜Ｃ−Ｄ｜＞ｔの場合
ａ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４とする。

この補間方法は，水平方向または垂直方向の画素値の変化が小さい場合に，画素値の変化が小さいほうの方向にある復号済みの２つの画素値の平均を，画面内補間対象画素の画素値とし，そうでない場合には，上下左右の復号済みの復号済みの４つの画素値の平均を，画面内補間対象画素の画素値とする方法である。このような画素値の補間によれば，画素値の変化が自然な補間画像を生成することができる。

以上説明した画像符号化方法および画像復号方法により，非特許文献１の技術を用いて画面内予測符号化したときよりも，符号化効率は約２０％低下したが，復号演算量は約５０％削減できることが確認できた。

図２０に，図１の画像符号化装置１０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ３０と，ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ３１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部３２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ３０に実行させるソフトウェアプログラムである画像符号化プログラム３４が格納されたプログラム記憶装置３３と，ＣＰＵ３０がメモリ３１にロードされた画像符号化プログラム３４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部３５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。

なお，プログラム記憶装置３３に格納される画像符号化プログラムは，本手法により入力画像を符号化するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像符号化プログラムなどを含んでいてもよい。

図２１に，図１５の画像復号装置２０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ４０と，ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１と，図１の画像符号化装置１０が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部４２（ネットワーク等を介した入力部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ４０に実行させるソフトウェアプログラムである画像復号プログラム４４が格納されたプログラム記憶装置４３と，ＣＰＵ４０がメモリ４１にロードされた画像復号プログラム４４を実行することにより，符号化データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部４５とが，バスで接続された構成になっている。

なお，プログラム記憶装置４３に格納される画像復号プログラムは，本手法により符号化データを復号するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像復号プログラムなどを含んでいてもよい。

以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。

１０ 画像符号化装置
１１ 分割画像生成部
１２ 画面内予測符号化部
１３ 画面間予測符号化部
１３１ 参照画像生成部
１３２ 予測誤差算出部
１３３ 予測誤差符号化部
１３４ 画像復号部
１４ 情報源符号化部
２０ 画像復号装置
２１ 符号化データ入力部
２２ 情報源復号部
２３ 画面内予測復号部
２４ 画面間予測復号部
２５ 復号画像構成部
２５１ 画面内補間部

Claims (12)

1. 入力画像を圧縮符号化する画像符号化装置において，
   前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成部と，
   前記分割画像の少なくとも一つ以上を画面内予測符号化する画面内予測符号化部と，
   前記画面内予測符号化された分割画像以外の分割画像について，該分割画像と符号化済みの分割画像との入力画像上での相対位置によって決まる所定のフィルタを符号化済みの分割画像に施した画像を参照画像として，画面間予測符号化を行う画面間予測符号化部とを備える
   ことを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置において，
   前記画面間予測符号化部は，前記画面内予測符号化された分割画像以外の分割画像について，少なくとも一つ以上は符号化を行わず，それ以外の分割画像についての符号化だけを行う
   ことを特徴とする画像符号化装置。
3. 請求項１記載の画像符号化装置において，
   前記分割画像生成部は，分割画像生成時に少なくとも一つ以上の分割画像については生成を行わず，生成された分割画像のみに対して，前記画面内予測符号化部および前記画面間予測符号化部を用いて符号化を行う
   ことを特徴とする画像符号化装置。
4. 圧縮符号化された画像の符号化データを復号する画像復号装置において，
   画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力する入力部と，
   入力した符号化データから，前記分割画像の少なくとも一つ以上を画面内予測復号する画面内予測復号部と，
   前記画面内予測復号された分割画像以外の分割画像について，該分割画像と復号済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを復号済みの分割画像に施した画像を参照画像として，画面間予測復号を行う画面間予測復号部と，
   前記画面内予測復号部および前記画面間予測復号部によって復号された分割画像から復号画像を構成する復号画像構成部とを備える
   ことを特徴とする画像復号装置。
5. 請求項４記載の画像復号装置において，
   前記画面内予測復号された分割画像以外の分割画像の少なくとも一つ以上を，復号済みの分割画像の画素情報を用いて補間により生成する画面内補間部を備える
   ことを特徴とする画像復号装置。
6. 入力画像を圧縮符号化する画像符号化方法において，
   前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する過程と，
   前記分割画像の少なくとも一つ以上を画面内予測符号化する過程と，
   前記画面内予測符号化された分割画像以外の分割画像について，該分割画像と符号化済みの分割画像との入力画像上での相対位置によって決まる所定のフィルタを符号化済みの分割画像に施した画像を参照画像として，画面間予測符号化を行う過程とを有する
   ことを特徴とする画像符号化方法。
7. 請求項６記載の画像符号化方法において，
   前記画面間予測符号化を行う過程では，前記画面内予測符号化された分割画像以外の分割画像について，少なくとも一つ以上は符号化を行わず，それ以外の分割画像についての符号化だけを行う
   ことを特徴とする画像符号化方法。
8. 請求項６記載の画像符号化方法において，
   前記分割画像を設定する過程における分割画像生成時に少なくとも一つ以上の分割画像については生成を行わず，生成された分割画像のみに対して，前記画面内予測符号化および前記画面間予測符号化により符号化を行う
   ことを特徴とする画像符号化方法。
9. 圧縮符号化された画像の符号化データを復号する画像復号方法において，
   画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ₁ ×ｍ₁ 画素（ただし，１≦ｎ₁ ＜ｎ，１≦ｍ₁ ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力する過程と，
   入力した符号化データから，前記分割画像の少なくとも一つ以上を画面内予測復号する過程と，
   前記画面内予測復号された分割画像以外の分割画像について，該分割画像と復号済みの分割画像との原画像上での相対位置によって決まる所定のフィルタを復号済みの分割画像に施した画像を参照画像として，画面間予測復号を行う過程と，
   前記画面内予測復号および前記画面間予測復号によって復号された分割画像から復号画像を構成する過程とを有する
   ことを特徴とする画像復号方法。
10. 請求項９記載の画像復号方法において，
    前記画面内予測復号された分割画像以外の分割画像の少なくとも一つ以上を，復号済みの分割画像の画素情報を用いて補間により生成する過程を有する
    ことを特徴とする画像復号方法。
11. 請求項６，請求項７または請求項８記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
12. 請求項９または請求項１０記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。

Images