JP2012023671A - 画像符号化装置 - Google Patents

Abstract

【課題】Ｈ．２６４／ＡＶＣ規格による画像符号化装置の画面内予測（イントラ予測）において、予測精度を向上させ、符号化効率を向上させる。。
【解決手段】符号化対象画素ブロックから、Ｎ（Ｎは２以上の自然数）枚の間引き画像を作成し、第１の間引き画像から第Ｎの間引き画像を順に処理し、第ｉ（ｉ＝２，…，Ｎ）の間引き画像の画素の画面内予測の予測画素の生成にあたって、第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として用いる。このとき、第ｉの間引き画像の画素の予測画素は、第１の間引き画像の画素から第ｉ−１の間引き画像の画素がその予測画素の周辺にあったときに、その予測画素の周辺にある第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として生成する。
【選択図】図１０

Description

本発明は、画像符号化装置に係り、画素相関を利用して映像データを圧縮する画像符号化技術に関して、特に、画面内における隣接画素間の相関を利用して予測画像の生成をおこなうイントラ予測をおこなうときに、符号化効率を向上させるのに好適な画像符号化装置に関する。

Ｈ．２６４／ＡＶＣ符号化技術では、ピクチャ内の近傍画素の相関を用いて圧縮をおこなうイントラ予測という手法がある。Ｈ．２６４／ＡＶＣ符号化に関しては、以下の非特許文献１に定められている。

画面内予測（イントラ予測）は、符号化対象ピクチャ内の符号化処理済み画像（参照画像）を用いて処理対象画像の予測画像を作成し、予測画像と処理対象画像の差分を伝送することで情報量を削減する予測方法である。このようにイントラ予測は、画像の空間的な相関性のみを利用した予測方法であるため、ストリームの伝送エラーなどによって乱れた映像を正常な映像に復帰させることができる。

イントラ予測を用いた符号化方式では、符号化対象となるブロックに対し、その対象ブロックの周辺画素から予測画像を生成し、対象ブロックと予測画像を比較した残差成分を圧縮符号化することで、従来よりも高い符号化効率を実現している。

Ｈ．２６４／ＡＶＣ符号化方式で規定されるイントラ予測は、予測処理をおこなうブロックサイズとして、４ｘ４、８ｘ８、１６ｘ１６画素の３種類のブロックサイズから選択して予測処理をおこなうことが可能となっている。

さらに、各ブロックサイズにおいても、複数用意された予測方法の中から最適な方法を選択することができる。４ｘ４，８ｘ８画素ブロックサイズのイントラ予測では、それぞれ９種類の予測方法、１６ｘ１６画素ブロックサイズのイントラ予測では４種類の予測方法が規定されている。

この複数規定された予測方法から最適な方法を選択する方法は、特に規定されていないが、一般には、最終的に最も符号量が少なくなる予測方法を用いるのが望ましいとされる。

以下、図３９ないし図４２を用いて４ｘ４画素ブロックサイズのイントラ予測を例に、従来のイントラ予測方法を詳細に説明する。
図３９は、対象となる４ｘ４ブロック１１と、当該ブロックの予測画像生成に用いる参照画素１２の位置関係を示す図である。
図４０は、４ｘ４ブロックの９種類の予測方法の概念図である。
図４１は、符号化において、ピクチャ内のマクロブロックを処理する順序を示す図である。
図４２は、符号化において、マクロブロック内の４ｘ４ブロックを処理する順序を示す図である。

なお、以下では、予測画像生成に用いる画素を「予測参照画素」あるいは、単に「参照画素」と呼ぶことにする。

４ｘ４ブロックのイントラ予測では、図４０に示されるように、前述した参照画素１２から、９種類の予測方法（以下、「予測モード」と呼ぶ）を用いて予測画像を生成することができる。

例えば、モード０では、上４画素を下方向にコピーすることで予測画像を生成する。モード１では、左４画素を右方向にコピーすることで予測画像を生成する。このようにイントラ予測では左、上、右上の参照画素から、ある決まった方向にしたがって予測画像を生成する。また、モード２では、近傍の８画素の平均値で予測画像を生成する。

Ｈ．２６４／ＡＶＣ符号化方式では、入力ピクチャを１６ｘ１６画素のマクロブロック（ＭＢ）呼ばれる単位に分割し、ＭＢ単位に符号化処理をおこなう。ピクチャ内のＭＢを処理する順序は、図４１のようになっており、ピクチャの左上からラスタスキャンの順序で処理をおこっていく。

さらにＭＢ内は、４ｘ４ブロックに分割して処理をおこない、その処理順序は、図４２のようになっている。

ここで予測画素生成に用いる参照画素は、すでに処理済みのブロックの画素である。例えば、図４２のブロック４は、すでに処理済みのブロック１，２，３の画素を使用することはできるが、まだ処理されていないブロック５，７，９，１０，１３は使用できない。

Joint VideoTeam (JVT) of ISO / IEC MPEG & ITU-T VCEG : Text of ISO / IEC 14496-10 Advanced Video Coding 3rd Edition (2004).

上記のように、従来のイントラ予測方式では、図４１および図４２に示したブロックの処理順序の制約により、右、下等の参照画素を用いることができないという問題点があった。

ＭＰＥＧ２符号化規格では、マクロブロックの処理順序はピクチャ上の左から右へ、上から下への順である。そのため、イントラ予測による予測画像作成処理に使用可能な参照画像は、符号化対象マクロブロックの上方向近接画素および左方向近接画素２方向のみに限定されてしまう。このような参照画像を用いて予測画像作成をおこなうため、従来のイントラ予測方式では、図４０のように符号化対象マクロブロックの右下画像ほど予測精度が減衰し、入力画像と予測画像の差分である予測誤差が大きくなるという問題点があった。

また、これに対し、最新の映像圧縮符号化標準であるＨ．２６４／ＡＶＣでは通常１６×１６画素のマクロブロックを、８×８画素または４×４画素のサブブロックに分割して符号化処理をおこなうことにより、予測精度向上による予測誤差低減を可能としたが、その反面、サブブロック分割に伴う情報量増大、すなわちマクロブロックヘッダーの情報量増大が発生する課題があった。

このように、もし右、下等の参照画素を用いることができれば、上下の参照画素等から双方向で予測画像を生成可能となり、より高精度な予測画像を生成可能となるが、従来のイントラ予測方式では処理順序の制約により実現できないという問題点があった。

本発明は、上記問題点を解決するためになさたもので、その目的は、Ｈ．２６４／ＡＶＣ規格による画像符号化装置のイントラ予測において、予測精度を向上させ、符号化効率を向上させることにある。

本発明の画像符号化装置は、画面内予測を用いて符号化対象画素ブロックを符号化するにあたり、符号化対象画素ブロックから、Ｎ（Ｎは２以上の自然数）枚の間引き画像を作成し、第１の間引き画像から第Ｎの間引き画像を順に処理する。そして、第ｉ（ｉ＝２，…，Ｎ）の間引き画像の画素の画面内予測の予測画素の生成にあたって、第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として用いる。

このとき、第ｉの間引き画像の画素の予測画素は、第１の間引き画像の画素から第ｉ−１の間引き画像の画素がその予測画素の周辺にあったときに、その予測画素の周辺にある第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として生成される。

例えば、符号化対象画素ブロックを、マクロブロックとして、Ｎ＝４とする。

本発明の画面内予測をおこなう画像符号化装置によれば、予測対象画素に対し、周辺の９つの参照画素を用意することが可能となり、好適な画面内予測画像が得られ、符号化効率を高くすることができる。

本発明によれば、Ｈ．２６４／ＡＶＣ規格による画像符号化装置のイントラ予測において、予測精度を向上させ、符号化効率を向上させることができる。

従来技術に係るイントラ予測方法による予測精度が高い画素と予測精度が低い画素とを比較して示した図である。 本発明の第一の実施形態に係るイントラ予測方法による予測精度が高い画素と予測精度が低い画素とを比較して示した図である。 間引き画像作成を説明する図である。 本発明の第一の実施形態に係るイントラ予測方法を用いた画像符号化処理を示すフローチャートである。 第１の間引き画像の再構成画像と、第２の間引き画像の予測画像を示す図である。 第１の間引き画像と、第２の間引き画像の参照関係を示す図である。 第１の間引き画像の再構成画像と、第３の間引き画像の予測画像を示す図である。 第１の間引き画像と、第３の間引き画像の参照関係を示す図である。 第１の間引き画像の再構成画像と、第２の間引き画像の再構成画像と、第４の間引き画像の予測画像を示す図である。 第２の間引き画像と、第３の間引き画像と、第４の間引き画像の参照関係を示す図である。 本発明の第一の実施形態に係る画像符号化装置の構成図である。 本発明の第一の実施形態に係るイントラ予測方法での画像符号化処理の出力として得られるビットストリームの構成図である。 本発明の第一の実施形態に係る画像復号化処理を示すフローチャートである。 間引き画像の復号画像から結合画像を作成する様子を説明する図である。 本発明の第一の実施形態に係る画像復号化装置の構成図である。 本発明の第二の実施形態に係る画像符号化装置の構成図である。 本発明の第二の実施形態に係る画像復号化装置の構成図である。 ＭＢの４ｘ４ブロックへの分割の仕方と、分割したブロックの処理順序を示す図である。 第１ブロックにおける予測対象ブロックと参照画素を示す図である。 図１９を書き直して第１ブロックと参照画素の関係を分かりやすく示した図である。 第２ブロックにおける予測対象ブロックと参照画素を示す図である。 第２ブロックにおける画素ｐ周辺の参照画素を示す図である。 周辺画素から参照画素を生成するときの各モードの概念図である。 第３ブロックにおける予測対象ブロックと参照画素を示す図である。 第３ブロックにおける画素ｏ周辺の参照画素を示す図である。 第３ブロックにおける画素ｐ周辺の参照画素を示す図である。 第４ブロックにおける予測対象ブロックと参照画素を示す図である。 第４ブロックにおける画素ｐ周辺の参照画素を示す図である。 スライス境界にあるＭＢの第２ブロックにおける予測対象ブロックと参照画素を示す図である。 第２ブロックにおける画素ａ周辺の参照画素を示す図である。 第２ブロックにおける画素ｂ周辺の参照画素を示す図である。 第２ブロックにおける画素ｅ周辺の参照画素を示す図である。 スライス境界にあるＭＢの第３ブロックにおける予測対象ブロックと参照画素を示す図である。 第３ブロックにおける画素ａ周辺の参照画素を示す図である。 第３ブロックにおける画素ｄ周辺の参照画素を示す図である。 スライス境界にあるＭＢの第４ブロックにおける予測対象ブロックと参照画素を示す図である。 第４ブロックにおける画素ａ周辺の参照画素を示す図である。 第４ブロックにおける画素ｄ周辺の参照画素を示す図である。 対象となる４ｘ４ブロック１１と、当該ブロックの予測画像生成に用いる参照画素１２の位置関係を示す図である。 ４ｘ４ブロックの９種類の予測方法の概念図である。 符号化において、ピクチャ内のマクロブロックを処理する順序を示す図である。 符号化において、マクロブロック内の４ｘ４ブロックを処理する順序を示す図である。

以下、本発明に係る各実施形態を、図１ないし図３８を用いて説明する。

〔実施形態１〕
以下、本発明に係る第一実施形態を、図１ないし図１５を用いて説明する。
（I）イントラ予測方法の概要
先ず、図１および図２を用いて本発明の第一の実施形態に係るイントラ予測方法の概要を従来技術と対比して説明する。
図１は、従来技術に係るイントラ予測方法による予測精度が高い画素と予測精度が低い画素とを比較して示した図である。
図２は、本発明の第一の実施形態に係るイントラ予測方法による予測精度が高い画素と予測精度が低い画素とを比較して示した図である。
図３は、間引き画像作成を説明する図である。

従来技術に係るイントラ予測方法では、左方向または上方向の参照画素のみを用いて符号化対象マクロブロック２０１の予測画像を作成していた。そのため、図１に示されるように、参照画素と距離的に近い画素の予測精度は、高いものの、参照画素と距離的に遠い画素の予測精度は、低くなっていた。

本実施形態に係るイントラ予測方法は、符号化対象画素ブロック３０１を分割して、いくつかの間引き画像の画素の予測をするために、周辺の画素を参照画素として予測するものである。図２に示されるように、参照画素と予測対象画素は、距離的に近いものになり、上下左右の方向の参照画像を用いて高い予測精度を実現可能である。また、従来イントラ予測方法に対し、マクロブロックヘッダー情報を大幅に削減できるため、符号化効率向上に寄与する。さらに、本実施形態に係るイントラ予測方法は、従来イントラ予測方法との併用が可能である。

本実施形態は、スライス単位入力画像として、符号化時に、符号化対象画素ブロック３０１とし、４分割して、間引き画像の作成をおこなうことにする。

ここで、スライスとは符号化処理および復号化処理の基本単位となる画像領域であり、同一ピクチャ上の各スライスは、他のスライスに依存関係なく符号化処理および復号化処理をおこなうことができる。

本実施形態では、図３に示されるように、スライス単位入力画像５０１を水平方向および垂直方向に１画素置きにサンプリングした例、すなわち入力画像を四つに分割し、第１間引き画像５１１、第２間引き画像５１２、第３間引き画像５１３、および、第４間引き画像５１４を作成した例について説明する。
（II）イントラ予測方法を用いた符号化処理の詳細
次に、図４および図１０を用いて本発明の第一の実施形態に係るイントラ予測方法を用いた画像符号化処理の詳細な処理について説明する。
図４は、本発明の第一の実施形態に係るイントラ予測方法を用いた画像符号化処理を示すフローチャートである。
図５は、第１の間引き画像の再構成画像と、第２の間引き画像の予測画像を示す図である。
図６は、第１の間引き画像と、第２の間引き画像の参照関係を示す図である。
図７は、第１の間引き画像の再構成画像と、第３の間引き画像の予測画像を示す図である。
図８は、第１の間引き画像と、第３の間引き画像の参照関係を示す図である。
図９は、第１の間引き画像の再構成画像と、第２の間引き画像の再構成画像と、
第４の間引き画像の予測画像を示す図である。
図１０は、第２の間引き画像と、第３の間引き画像と、第４の間引き画像の参照関係を示す図である。

先ず、スライス単位の入力画像を取得する（ステップ４０１）。これは、本実施形態に係るイントラ予測方法は、スライス単位での予測画像作成をおこなうためである。

次に、スライス単位入力画像取得のステップ４０１で得た画像を元に間引き画像の作成をおこなう（ステップ４０２）。間引き画像作成は、図３に示したように、間引き画像は、画素を等間隔にサンプリングして、第１間引き画像５１１、第２間引き画像５１２、第３間引き画像５１３、および、第４間引き画像５１４を作成する。

スライス単位入力画像５０１の水平画素数をＨ（Ｈは偶数）、垂直画素数をＶ（Ｖは偶数）、スライス単位入力画像５０１の座標（ｘ，ｙ）の画素をＰｉ（ｘ，ｙ）とおき、第１間引き画像５１１の座標（ｘ，ｙ）の画素をＰｉ１（ｘ，ｙ）、第２間引き画像５１２の座標（ｘ，ｙ）の画素をＰｉ２（ｘ，ｙ）、第３間引き画像５１３の座標（ｘ，ｙ）の画素をＰｉ３（ｘ，ｙ）、第４間引き画像５１４の座標（ｘ，ｙ）の画素をＰｉ４（ｘ，ｙ）とおくと、座標（ｉ，ｊ）におけるＰｉ１（ｉ，ｊ）、Ｐｉ２（ｉ，ｊ）、Ｐｉ３（ｉ，ｊ）、Ｐｉ４（ｉ，ｊ）は、次のように表せる。ただし、ｉは０≦ｉ＜（Ｈ／２−１）を満たす整数、ｊは０≦ｊ＜（Ｖ／２−１）を満たす整数である。

Ｐｉ１（ｉ，ｊ）＝Ｐ（２ｉ，２ｊ） …（式１）
Ｐｉ２（ｉ，ｊ）＝Ｐ（２ｉ＋１，２ｊ） …（式２）
Ｐｉ３（ｉ，ｊ）＝Ｐ（２ｉ，２ｊ＋１） …（式３）
Ｐｉ４（ｉ，ｊ）＝Ｐ（２ｉ＋１，２ｊ＋１） …（式４）
次に、第１間引き画像５１１を符号化処理するために、間引き画像作成処理４０２で作成した第１間引き画像５１１について従来イントラ予測方法による符号化処理をおこなう（ステップ４０３）。従来イントラ予測方法とは、Ｈ．２６４／ＡＶＣなどに規定されているイントラ予測手段を用い、第１間引き画像５１１におけるマクロブロック（１６×１６画素）ごとに左方向または上方向に隣接する画素を参照し、１６×１６画素単位、８×８画素単位または４×４画素単位の予測画像を適応的に作成する方法である。

また、符号化処理では、以下のような処理がおこなわれる。

イントラ予測方法などにおいて予測画像を作成する（ステップ４１１）。

次に、ステップ４１１で作成した予測画像と入力画像の差分（予測誤差）を算出する（ステップ４１２）。

次に、ステップ４１２で算出した予測誤差に直交変換処理をおこない、直交変換後データを得る（ステップ４１３）。

次に、ステップ４１３で得た直交変換後データに量子化処理をおこない、量子化後データを得る（ステップ４１４）。

次に、ステップ４１４で得た量子化後データについて、エントロピー符号化処理をおこなう（ステップ４１５）。

本実施形態に係るイントラ予測方法においては、第１間引き画像５１１の符号化処理は、特に高画質が要求されるため、量子化処理４１４における量子化ステップを小さく設定することが好適である。

次に、第１間引き画像５１１の符号化処理のステップ４０３に続いて、間引き画像作成処理４０２で作成した第２間引き画像５１２について予測画像を作成し、符号化処理をおこなう（ステップ４０４）。

第２間引き画像５１２の予測画像作成には、図５に示されるように、既に符号化処理済みである第１間引き画像の再構成画像６０１を参照画像として用いる。ここで、再構成画像は量子化処理４１４で得た量子化後データについて逆量子化処理、逆直交変換処理をおこない、さらに予測画像作成処理４１１で作成した予測画像を加算することで作成される画像であり、復号化処理により得られる画像と同一の画像である。

第２間引き画像５１２は、図６に示されるように、第１間引き画像５１１に対し、水平方向の補間画素として考えることができる。したがって、第２間引き画像５１２の予測画像には、第１間引き画像の再構成画像６０１に水平フィルタを適用して作成した補間画素による画像を適用することが効果的である。ここでは、水平２タップフィルタを用いた補間画素作成による第２間引き画像５１２の予測画像（以下、第２間引き画像の予測画像６１１）を作成するものとする。

第２間引き画像の予測画像６１１の座標（ｘ，ｙ）の画素をＰｐ２（ｘ，ｙ）とおき、第１間引き画像の再構成画像６０１の座標（ｘ，ｙ）の画素をＰｒ１（ｘ，ｙ）とおくと、第２間引き画像の予測画像６１１の座標（ｎ，ｍ）の画素Ｐｐ２（ｎ，ｍ）６１２は、以下の（式５）で表せる。すなわち、第２間引き画像の予測画像６１１の画素の左右両側の第１間引き画像の再構成画像６０１の平均をとる。ここで、分子で＋１をしているのは、末尾のビットを四捨五入するためである。

ただし、ｎは、０≦ｎ＜（Ｈ／２−１）を満たす整数、ｍは０≦ｍ＜（Ｖ／２−１）を満たす整数である。Ｈ、Ｖはそれぞれスライス単位入力画像５０１の水平画素数、垂直画素数であり、共に偶数である。（式５）において、ｎ＝（Ｈ／２−１）のとき、Ｐｒ１（Ｈ／２，ｙ）の画素、すなわち第１間引き画像の再構成画像６０１の画面外画素が必要となるが、これはｎ≧（Ｈ／２−１）のとき、Ｐｒ１（ｎ，ｙ）＝Ｐｒ１（Ｈ／２−１，ｙ）とする、すなわち、画面端画素をコピーして画面外画素とするなどをおこなえばよい。
Ｐｐ２（ｎ，ｍ）＝（Ｐｒ１（ｎ，ｍ）＋Ｐｒ１（ｎ＋１，ｍ）＋１）／２
…（式５）
簡単のため、水平２タップフィルタによる画素補間で説明をおこなったが、より高周波成分を表現できる複数タップフィルタ、または２次元フィルタによる画素補間で第２間引き画像の予測画像６１１を作成してもよい。

次に、第２間引き画像５１２の符号化処理のステップ４０４に続いて、間引き画像作成処理４０２で作成した第３間引き画像５１３について予測画像を作成し、符号化処理をおこなう（ステップ４０５）。

第３間引き画像５１３の予測画像作成では、図７に示されるように、既に符号化処理済みである第１間引き画像の再構成画像６０１を参照画像として用いる。

第３間引き画像５１３は図８に示されるように、、第１間引き画像５１１に対し、水平方向の補間画素として考えることができる。したがって、第３間引き画像５１３の予測画像には、第１間引き画像の再構成画像６０１に垂直フィルタを適用して作成した補間画素による画像を適用することが効果的である。ここでは、垂直２タップフィルタを用いた補間画素作成による第３間引き画像５１３の予測画像（以下、第３間引き画像の予測画像８１１）作成するものとする。すなわち、第３間引き画像の予測画像８１１の画素の上下両側の第１間引き画像の再構成画像６０１の平均をとる。

第３間引き画像の予測画像８１１の座標（ｘ，ｙ）の画素をＰｐ３（ｘ，ｙ）とおき、第１間引き画像の再構成画像６０１の座標（ｘ，ｙ）の画素をＰｒ１（ｘ，ｙ）とおくと、第３間引き画像の予測画像８１１の座標（ｎ，ｍ）の画素Ｐｐ３（ｎ，ｍ）８１２は、以下の（式６）で表せる。

ただし、ｎは０≦ｎ＜（Ｈ／２−１）を満たす整数、ｍは０≦ｍ＜（Ｖ／２−１）を満たす整数である。Ｈ、Ｖはそれぞれスライス単位入力画像５０１の水平画素数、垂直画素数であり、共に偶数である。式（６）において、ｍ＝（Ｖ／２−１）のとき、Ｐｒ１（ｘ，Ｖ／２）の画素、すなわち第１間引き画像の再構成画像６０１の画面外画素が必要となるが、これはｍ≧（Ｖ／２−１）のとき、Ｐｒ１（ｘ，ｍ）＝Ｐｒ１（ｘ，Ｖ／２−１）とする、すなわち画面端画素をコピーして画面外画素とするなどをおこなえばよい。
Ｐｐ３（ｎ，ｍ）＝（Ｐｒ１（ｎ，ｍ）＋Ｐｒ１（ｎ，ｍ＋１）＋１）／２
…（式６）
簡単のため、第１間引き画像の再構成画像６０１のみを参照画像として第３間引き画像の予測画像８１１の作成方法を示したが、第２間引き画像の再構成画像も参照画像として利用してもよい。また、垂直２タップフィルタによる画素補間で説明をおこなったが、より高周波成分を表現できる複数タップフィルタ、または２次元フィルタによる画素補間で第３間引き画像の予測画像８１１を作成してもよい。

次に、第３間引き画像５１３の符号化処理のステップ４０５に続いて、間引き画像作成処理４０２で作成した第４間引き画像５１４について予測画像を作成し、符号化処理をおこなう（ステップ４０６）。

第４間引き画像５１４の予測画像作成には、図９に示されるように、既に符号化処理済みである第２間引き画像の再構成画像１００１および第３間引き画像の再構成画像１００２を参照画像として用いる。

第４間引き画像５１４は、図１０に示されるように、第２間引き画像５１２に対し、垂直方向の補間画素として考えることができ、また第３間引き画像５１３に対し、水平方向の補間画素として考えることができる。したがって、第４間引き画像５１４の予測画像には第２間引き画像の再構成画像１００１および第３間引き画像の再構成画像１００２に２次元フィルタを適用して作成した補間画素による画像を適用することが効果的である。ここでは、水平垂直それぞれ２タップの２次元フィルタを用いた補間画素作成による第４間引き画像５１４の予測画像（以下、第２間引き画像の予測画像１０１１）作成するものとする。

第４間引き画像の予測画像１０１１の座標（ｘ，ｙ）の画素をＰｐ４（ｘ，ｙ）とおき、第２間引き画像の再構成画像１００１の座標（ｘ，ｙ）の画素をＰｒ２（ｘ，ｙ）、第３間引き画像の再構成画像１００２の座標（ｘ，ｙ）の画素をＰｒ３（ｘ，ｙ）とおくと、第４間引き画像の予測画像１０１１の座標（ｎ，ｍ）の画素Ｐｐ４（ｎ，ｍ）１０１２は、以下の（式７）で表せる。すなわち、すなわち、第４間引き画像の予測画像１０１１の画素の上下両側の第２間引き画像の再構成画像１０１１、および、左右両側の第３間引き画像の再構成画像１００２の平均をとる。ここで、分子で＋２をしているのは、末尾のビットを四捨五入するためである。

ただし、ｎは０≦ｎ＜（Ｈ／２−１）を満たす整数、ｍは０≦ｍ＜（Ｖ／２−１）を満たす整数である。Ｈ、Ｖはそれぞれスライス単位入力画像５０１の水平画素数、垂直画素数であり、共に偶数である。（式７）において、ｎ＝（Ｈ／２−１）のとき、またはｍ＝（Ｖ／２−１）のとき、Ｐｒ３（Ｈ／２，ｙ）の画素またはＰｒ２（ｘ，Ｖ／２）の画素が必要となる。すなわち第２間引き画像の再構成画像１００１と第３間引き画像の再構成画像１００２の画面外画素が必要となる場合があるが、これはｎ≧（Ｈ／２−１）のときＰｒ３（ｎ，ｙ）＝Ｐｒ３（Ｈ／２−１，ｙ）、ｍ≧（Ｖ／２−１）のときＰｒ２（ｘ，ｍ）＝Ｐｒ２（ｘ，Ｖ／２−１）とする、すなわち画面端画素をコピーして画面外画素とするなどをおこなえばよい。
Ｐｐ４（ｎ，ｍ）＝（Ｐｒ２（ｎ，ｍ）＋Ｐｒ２（ｎ，ｍ＋１）＋Ｐｒ３（ｎ，ｍ）＋Ｐｒ２（ｎ＋１，ｍ）＋２）／４
…（式７）
簡単のため、第２間引き画像の再構成画像１００１および第３間引き画像の再構成画像１００２のみを参照画像として第４間引き画像の予測画像１０１１の作成方法を示したが、第１間引き画像の再構成画像６０１も参照画像として利用してもよい。また、水平垂直それぞれ２タップの２次元フィルタによる画素補間で説明を行ったが、より高周波成分を表現できる複数タップフィルタ、または１次元フィルタによる画素補間で第４間引き画像の予測画像１０１１を作成してもよい。
（III）画像符号化装置の構成
次に、図１１を用いて本発明の第一の実施形態に係る画像符号化装置の構成について説明する。
図１１は、本発明の第一の実施形態に係る画像符号化装置の構成図である。

本実施形態の画像符号化装置１００は、図１１に示されるように、間引き画像作成部１０１、間引き画像バッファ１０２、第１のイントラ予測画像作成部１０３、予測誤差算出処理部１０４、直交変換処理部１０５、量子化処理部１０６、逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第２のイントラ予測画像作成部１１１、エントロピー符号化処理部１１２を備えている。

間引き画像作成部１０１は、間引き画像作成処理４０２をおこなう処理部であり、入力画像１５１を元にして、第１間引き画像５１１から第４間引き画像５１４までの四つの間引き画像を作成する。

間引き画像バッファ１０２は、第１間引き画像５１１、第２間引き画像５１２、第３間引き画像５１３、および、第４間引き画像５１４を一時的に格納し、各間引き画像の出力タイミングを調整するためのバッファであり、第１間引き画像５１１、第２間引き画像５１２、第３間引き画像５１３、第４間引き画像５１４の順で出力する。第１のイントラ予測処理部１０３は、第１間引き画像符号化処理のステップ４０３内の予測処理で述べたように、従来イントラ予測方法による予測画像作成をおこなう処理部である。予測誤差算出処理部１０４は、入力画像の間引き画像とその予測画像との差分（すなわち予測誤差）を算出する処理部であり、予測誤差算出処理４１２を実行する処理部である。直交変換処理部１０５は直交変換処理４１３を実行する処理部である。量子化処理部１０６は、量子化処理４１４を実行する処理部である。逆量子化処理部１０７は、量子化処理部１０６から出力された量子化後データに対し、逆量子化処理をおこなう処理部である。逆直交変換処理部１０８は、逆量子化処理部１０７から出力された逆量子化後データに対し、逆直交変換処理をおこなう処理部である。再構成画像作成部１０９は、逆直交変換処理部１０８から出力された逆直交変換後データと予測誤差算出処理部１０４へ入力した予測画像を加算し、再構成画像を作成する処理部である。再構成画像バッファ１１０は、再構成画像作成部１０９で作成された再構成画像を格納するバッファである。第２のイントラ予測処理部１１１は、再構成画像バッファ１１０から必要な間引き画像の再構成画像を取得し、第２間引き画像５１２、第３間引き画像５１３、および、第４間引き画像５１４の予測画像作成をおこなう。すなわち、第２のイントラ予測処理部１１１は、第２間引き画像符号化処理のステップ４０４、第３間引き画像符号化処理のステップ４０５、第４間引き画像符号化処理のステップ４０６に係る予測画像作成処理をおこなう処理部である。エントロピー符号化処理部１１２は、エントロピー符号化処理４１５をおこない、ビットストリーム１５２を出力する処理部である。

画像符号化装置１００において従来の画像符号化装置と大きく異なる点は、上述した間引き画像作成部１０１、間引き画像バッファ１０２、再構成画像バッファ１１０、第２のイントラ予測処理部１１１を備えることである。
（IV）ビットストリームの構成
次に、図１２を用いて本実施形態のイントラ予測方法での画像符号化処理の出力として得られるビットストリームの構成について説明する。
図１２は、本発明の第一の実施形態に係るイントラ予測方法での画像符号化処理の出力として得られるビットストリームの構成図である。

本実施形態係るイントラ予測方法は、スライス単位での符号化となるため、図１２では、スライスヘッダー以下の構成についてのみ示している。

画像符号化処理の出力として得られるビットストリームは、図１２に示されるように、スライスヘッダー情報１２０１、第１間引き画像に関する符号情報１２１１、第２間引き画像に関する符号情報１２１２、第３間引き画像に関する符号情報１２１３、第４間引き画像に関する符号情報１２１４から構成される。これらの情報は、スライスヘッダー情報１２０１、第１間引き画像に関する符号情報１２１１、第２間引き画像に関する符号情報１２１２、第３間引き画像に関する符号情報１２１３、第４間引き画像に関する符号情報１２１４の順に出力され、第４間引き画像に関する符号情報１２１４の後に次のスライスヘッダー情報１２０２が続く形となる。なお、第１間引き画像は、従来イントラ予測方法と同様の方法で符号化処理されるために、第１間引き画像に関する符号情報１２１１については、マクロブロックヘッダー情報を含んでいる。

本実施形態に係るイントラ予測方法は、スライス単位でのイントラ予測をおこなっているため、マクロブロック単位でのイントラ予測をおこなう従来イントラ予測方法との併用のためには、ビットストリーム中のスライスヘッダー情報にどちらの予測方法であるかを識別する１ビットデータを付加するだけでよく、符号量オーバーヘッドは極めて小さい。
（V）画像復号化処理の詳細
次に、図１３および図１４を用いて本発明の第一の実施形態に係るイントラ予測方法により符号化した画像の画像復号化処理の詳細な処理について説明する。
図１３は、本発明の第一の実施形態に係る画像復号化処理を示すフローチャートである。
図１４は、間引き画像の復号画像から結合画像を作成する様子を説明する図である。

先ず、第１間引き画像の復号化処理をおこなう（ステップ１３０１）。

復号化処理は、以下に示す手順でおこなわれる。

先ず、エントロピー復号化処理として、ビットストリームから量子化後データを作成する（ステップ１３１１）。

次に、逆量子化処理として、量子化後データから直交変換後データを作成する（ステップ１３１２）。

次に、逆直交変換処理として、直交変換後データから予測誤差を生成する（ステップ１３１３）。

次に、予測画像を作成する（ステップ１３１４）。

次に、予測誤差と予測画像を加算し、復号画像を作成する（ステップ１３１５）。

特に、第１間引き画像の復号化処理におけるステップ１３１４の予測画像作成処理では、従来イントラ予測方法による予測画像作成をおこなう。

次に、第１間引き画像の復号化処理に続いて、第２間引き画像の復号化処理をおこなう（ステップ１３０２）。

特に、第２間引き画像の復号化処理におけるステップ１３１４の予測画像作成処理では、図４に示したステップ４０４の第２間引き画像符号化処理におけるステップ４１１の予測画像作成処理と同一の予測画像作成処理をおこなう。

次に、第２間引き画像の復号化処理に続いて、第３間引き画像の復号化処理をおこなう（ステップ１３０３）。

特に、第３間引き画像の復号化処理におけるステップ１３１４の予測画像作成処理では、ステップ４０５の第３間引き画像符号化処理におけるステップ４１１の予測画像作成処理と同一の予測画像作成処理をおこなう。

次に、第３間引き画像の復号化処理に続いて、第４間引き画像の復号化処理をおこなう（ステップ１３０４）。

特に、第４間引き画像の復号化処理におけるステップ１３１４の予測画像作成処理では、ステップ４０６の第４間引き画像符号化処理におけるステップ４１１の予測画像作成処理と同一の予測画像作成処理をおこなう。

第１間引き画像の復号化処理ないし第４間引き画像の復号化処理が終わると、図１４に示すように、それぞれの復号化処理で復号化された第１間引き画像の復号画像１４０１、第２間引き画像の復号画像１４０２、第３間引き画像の復号画像１４０３、第４間引き画像の復号画像１４０４を結合し、結合画像１４１１を作成する(ステップ１３０５)。この処理は、間引き画像作成処理４０２に対し、逆の処理をおこなうことに等しい。なお、本発明に係るイントラ予測方法は、スライスを基本単位としたため、結合画像１４１１はスライス単位の画像となる。

ステップ１３０１の第１間引き画像復号化処理１３０１と、ステップ１３０２の第２間引き画像復号化処理から第４間引き画像復号化処理１３０４における違いは、復号化処理の予測画像作成方法および第１間引き画像復号化処理１３０１でのみマクロブロックヘッダー情報のエントロピー復号化処理が必要な点だけである。
（VI）画像復号化装置の構成
次に、図１５を用いて本発明の第一の実施形態に係る画像復号化装置の構成について説明する。
図１５は、本発明の第一の実施形態に係る画像復号化装置の構成図である。

画像復号化装置１５００は、図１５に示されるように、エントロピー復号化処理部１５０１、逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第１のイントラ予測処理部１０３、第２のイントラ予測処理部１１１、間引き画像バッファ１５０２、結合画像作成部１５０３を備える。

逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第１のイントラ予測処理部１０３は、図１１の画像符号化装置１００の説明と同様である。

エントロピー復号化処理部１５０１は、ビットストリームを復号化し、量子化後データなどを作成する処理部であり、ステップ１３１１のエントロピー復号化処理に該当する処理をおこなう。間引き画像バッファ１５０２は、間引き画像の復号画像を一時的に格納するバッファである。結合画像部１５０３は、ステップ１３０５の結合画像作成処理で示した結合画像作成をおこなう処理部である。

画像復号化装置１５００は、入力されたビットストリーム１５２について、先ず、図１２に示した第１間引き画像に関する符号情報１２１１をエントロピー復号化処理部１５０１にて量子化後データなどに変換し、逆量子化処理部１０７および逆直交変換処理部１０８にて逆量子化処理、逆直交変換処理をおこない、第１の予測画像作成処理部１０３で作成した予測画像を加えることにより、第１間引き画像の復号画像を取得し、間引き画像バッファ１５０２へ格納する。

次に、図１２に示した第２間引き画像に関する符号情報１２１２をエントロピー復号化処理部１５０１により量子化後データなどに変換し、逆量子化処理部１０７および逆直交変換処理部１０８において、それぞれ逆量子化処理、逆直交変換処理をおこない、第２の予測画像作成処理部１１１で作成した予測画像を加えることにより第２間引き画像の復号画像を取得し、間引き画像バッファ１５０２へ格納する。

その後、図１２に示した第３間引き画像に関する符号情報１２１３、第４間引き画像に関する符号情報１２１３についても、第２間引き画像に関する符号情報１２１２と同様の処理をおこない、取得した第３間引き画像の復号画像および第４間引き画像の復号画像を間引き画像バッファ１５０２へ格納する。

これらの処理後に、結合画像作成部１５０３は、間引き画像バッファ１５０２より全ての間引き画像の復号画像を読出し、結合画像を作成して復号画像１５５１として出力する。

画像復号化装置１５００において、従来の画像復号化装置と大きく異なる点は、上述した再構成画像バッファ１１０、第２のイントラ予測処理部１１１、間引き画像バッファ１５０２、結合画像作成部１５０３を備えることである。

〔実施形態２〕
以下、本発明に係る第二の実施形態を、図１６および図１７を用いて説明する。

第一の実施形態では、符号化対象画素ブロックを分割して、いくつかの間引き画像を作成し、それをイントラ予測で予測画像として用いる画像符号化処理を説明した。

本実施形態は、本発明に係るイントラ予測方法と従来イントラ予測方法との併用により、符号化効率向上可能な画像符号化装置および画像復号化装置を説明する。
図１６は、本発明の第二の実施形態に係る画像符号化装置の構成図である。
図１７は、本発明の第二の実施形態に係る画像復号化装置の構成図である。

画像符号化装置１６００は、図１６に示されるように、第１画像符号化装置１６０１、第２画像符号化装置１６０２、符号化効率統計処理部１６０６、ストリームバッファ１６０３、ストリームバッファ１６０４、出力選択回路１６０５を備える。

第一形態画像符号化装置１００は、図１１で説明した第一の実施形態に係るイントラ予測方法を用いた画像符号化装置である。第２画像符号化装置１６０２は、 Ｈ．２６４／ＡＶＣなどの従来イントラ予測方法を用いた画像符号化装置である。符号化効率統計処理部１６０６は、スライス単位の符号量や画質の指標となる統計データに基づき、第１画像符号化装置１６０１から得られるビットストリームと第２画像符号化装置から得られるビットストリームのうち、より符号化効率が向上するビットストリームを選択するための制御信号を出力する処理部である。ストリームバッファ１６０３は、第１画像符号化装置１６０１が出力するビットストリームを一時的に格納するバッファであり、ビットストリームデータをスライス単位ごとに管理し、出力する機能を有する。ストリームバッファ１６０４は、第２画像符号化装置１６０２が出力するビットストリームを一時的に格納するバッファであり、ビットストリームデータをスライス単位ごとに管理し、出力する機能を有する。出力選択処理部１６０５は、符号化効率統計処理部１６０６が出力する制御信号に従い、ストリームバッファ１６０３とストリームバッファ１６０４が出力するビットストリームのいずれか片方をスライス単位で切り替えて出力する。さらに、ビットストリームのスライスヘッダー情報として第一の実施形態に係るイントラ予測方法と従来イントラ予測方法とを識別するための符号１ビットを付与する機能を有する。

以下、画像符号化装置１６００の動作を説明する。画像符号化装置１６００は、入力画像１６５１を第１画像符号化装置１６０１と第２画像符号化装置１６０２とで画像符号化処理し、得られたビットストリームをそれぞれストリームバッファ１６０３、ストリームバッファ１６０４へ出力する。さらに、第１画像符号化装置１６０１は、スライス単位の発生符号量および画質の指標となる統計データ１６３１を符号化効率統計処理部１６０６へ出力する。また、第２画像符号化装置１６０２もスライス単位の発生符号量および画質の指標となる統計データ１６３２を符号化効率統計処理部１６０６へ出力する。符号化効率統計処理部１６０６は、入力された統計データをもとに、より符号化効率が向上するビットストリームを選択するための制御情報１６３３を出力選択処理１６０５へ出力し、出力選択処理１６０５は制御情報１６３３に基づいて、ストリームバッファ１６０３とストリームバッファ１６０４が出力するビットストリームのいずれか片方をスライス単位で切り替えてビットストリーム１６５２として出力する。その際、採用したビットストリームのスライスヘッダーへ第一のイントラ予測方法と従来イントラ予測方法とを識別するための符号１ビットを付与する。

次に、画像復号化装置１７００は、図１７に示されるように、エントロピー復号化処理部１７０１、逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第１のイントラ予測処理部１０３、第２のイントラ予測処理部１１１、間引き画像バッファ１５０２、結合画像作成部１５０３、出力選択処理部１７０２、遅延バッファ１７０３を備える。

逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第１のイントラ予測処理部１０３、第２のイントラ予測処理部１１１は、第一の実施形態の図１５で説明したものと同様であり、間引き画像バッファ１５０２、結合画像作成部１５０３は、図１６で説明したものと同様である。

エントロピー復号化処理部１７０１は、入力されたビットストリーム１６５２のスライスヘッダー情報から処理対象とするスライスヘッダー情報以下のビットストリームが第一の実施形態に係るイントラ予測方法であるか従来イントラ予測方法であるかを判定し、その判定結果を判定結果情報１７３１として出力選択処理部１７０２へ出力すると共に、当該ビットストリームを復号化して量子化後データなどを出力する機能を有する処理部である。

出力選択処理部１７０２は、判定結果情報１７３１に基づいて、遅延バッファ１７０３の出力と結合画像作成部１５０３の出力とを選択し、復号画像１７５１として出力する。

遅延バッファ１７０３は、第一の実施形態に係るイントラ予測方法のビットストリームより復号画像を得る時の処理遅延時間と従来イントラ予測方法のビットストリームより復号画像を得る時の処理遅延時間との時間差を吸収するためのバッファであり、およそ１スライス分の復号画像データを格納可能な容量を必要とする。

以下、画像復号化装置１７００の動作を説明する。画像復号化装置１７００のエントロピー復号化処理部１７０１において、第一の実施形態に係るイントラ予測方法のビットストリームと判定した場合、復号化して得られた量子化後データを逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、再構成画像バッファ１１０、第１のイントラ予測処理部１０３、第２のイントラ予測処理部１１１、間引き画像バッファ１５０２、結合画像作成部１５０３によって画像復号化装置１５００と同様に処理して第一の実施形態に係るイントラ予測方法の復号画像を得る。一方、エントロピー復号化処理部１７０１にて従来イントラ予測方法のビットストリームと判定した場合、復号化して得られた量子化後データを逆量子化処理部１０７、逆直交変換処理部１０８、再構成画像作成部１０９、第１のイントラ予測処理部１０３によって従来イントラ予測方法の復号画像を作成し、遅延バッファ１７０３へ格納する。出力選択処理部１７０２は、判定結果情報１７３１が第一の実施形態に係るイントラ予測方法と判定する結果であれば、結合画像作成部１５０３の復号画像を出力し、従来イントラ予測方法と判定する結果であれば、バッファ１７０３の復号画像を出力する。

〔実施形態３〕
以下、本発明の第三の実施形態を、図１８ないし図３８を用いて説明する。

第一の実施形態では、スライス単位で画像を入力し、それからいくつの間引き画像に分解し、ある間引き画像のイントラ予測をおこなうために、他の間引き画像から予測画像を作成する方法について説明した。

本実施形態では、第一の実施形態とは、別の仕方で、ＭＢを複数の基本ブロックに分割し、ある基本ブロックの画素のイントラ予測のために、他の基本ブロックの画素を参照して、予測画素を作成する方法について説明する。

先ず、図１８を用いてＭＢの基本ブロックの分割について説明する。
図１８は、ＭＢの４ｘ４ブロックへの分割の仕方と、分割したブロックの処理順序を示す図である。

本実施形態では、図１８に示されるように、入力した１６ｘ１６画素のＭＢを、８ｘ８画素ブロックに区切り、これを以下のように、相当する画素を抽出し、抽出した画素群を４ｘ４ブロックとして構成する。この各々のブロックは、第１ブロックから第４ブロックまでの予測をおこなうための基本ブロックとなる。
第１ブロック：ｐ（２ｘ，２ｙ） … ｘ，ｙ＝１，２，３，４
第２ブロック：ｐ（２ｘ−１，２ｙ−１） … ｘ，ｙ＝１，２，３，４
第３ブロック：ｐ（２ｘ，２ｙ−１） … ｘ，ｙ＝１，２，３，４
第４ブロック：ｐ（２ｘ−１，２ｙ） … ｘ，ｙ＝１，２，３，４
なお、ｐ（ｘ，ｙ）は８ｘ８ブロック内の画素位置を示し、ｘ方向に１〜８、ｙ方向に１〜８の位置を取りうるものとする。

８ｘ８ブロック内の処理順序は、第１ブロック、第２ブロック、第３ブロック、第４ブロックの順に処理をおこなう。

次に、図１９および図２０を用いて第１ブロックにおける予測画像生成方法について説明する。
図１９は、第１ブロックにおける予測対象ブロックと参照画素を示す図である。
図２０は、図１９を書き直して第１ブロックと参照画素の関係を分かりやすく示した図である。

第１ブロックにおける予測対象画素は、図１９中、ａ〜ｐ画素となる。また第１ブロックで参照画素として使用できるのは、Ａ〜Ｈ，Ｉ〜Ｌ，Ｍ，Ｎ〜Ｕ，Ｖ〜Ｙの画素となる。この時点で図１９中の白い部分の画素は参照画素として使用できない。参照画素として使用できるＡ〜Ｈ，Ｉ〜Ｌ，Ｍ，Ｎ〜Ｕ，Ｖ〜Ｙの画素の内で、図２０に示すように、一つおきに画素を取り、第一ブロックの参照画素とする。これは、予測対象画素とより距離の近い参照画素を用いるという発想に基づくものである。そして、従来方式のＨ．２６４／ＡＶＣ符号化方式で用いられている９モードによる４ｘ４画素ブロックでのイントラ予測をおこなう。

次に、図２１ないし図２３を用いて第２ブロックにおける予測画像生成方法について説明する。
図２１は、第２ブロックにおける予測対象ブロックと参照画素を示す図である。
図２２は、第２ブロックにおける画素ｐ周辺の参照画素を示す図である。
図２３は、周辺画素から参照画素を生成するときの各モードの概念図である。

第２ブロックの処理では、第１ブロックに相当する箇所の画素が参照画素として使用可能となる。

ここで、予測対象画素ｐ周辺を例に予測画素生成方法を図２２を用いて説明する。

予測対象画素ｐ周辺では、図２２のＡ，Ｃ，Ｆ，Ｈは、第１ブロックの画素であり、予測参照画素として使用可能になっている。

本実施形態によるイントラ予測方法では、画素ｐの予測をおこなう前に、まだ参照画素として使用できないＢ，Ｄ，Ｅ，Ｇ部分を、第１ブロックの画素であるＡ，Ｃ，Ｆ，Ｈから予測参照画素として生成する。

ここで、各予測参照画素は、周辺の参照画素の平均とし、以下の式で算出する。
Ｂ＝（Ａ＋Ｃ＋１）＞＞１
Ｄ＝（Ａ＋Ｆ＋１）＞＞１
Ｅ＝（Ｃ＋Ｈ＋１）＞＞１
Ｇ＝（Ｆ＋Ｈ＋１）＞＞１
ここで、各画素を表す文字Ａ，Ｂ，Ｃ…は、画素値も表すこととしている。“＋”は、画素値の加算、“＞＞”は、ビットの右シフトであり、“＞＞１”は、２で割ることを表している。また、かっこの中で、＋１をしているのは、四捨五入を意味している。

上記の式によって、予測参照画素Ｂ，Ｄ，Ｅ，Ｇを算出することにより、予測対象画素周辺の９画素全てを参照画素として使用可能となる。

本発明では、予測対象画素の周辺９個の参照画素を用いて、予測対象画素の予測をおこなう。

ａ〜ｏ周辺の予測参照画素についても、対象画素との相対位置に応じて同様に生成する。

次に、周辺９画素を用いた予測画素生成方法を説明する。

予測画素生成のモードは、９種類とし、図２３に示されるように、モード０〜モード９を以下の式で求める。
モード０：ｐ＝（Ｂ＋Ｇ＋１）＞＞１
モード１：ｐ＝（Ｄ＋Ｅ＋１）＞＞１
モード２：ｐ＝（Ａ＋Ｃ＋Ｆ＋Ｈ＋２）＞＞２
モード３：ｐ＝（Ｃ＋Ｆ＋１）＞＞１
モード４：ｐ＝（Ａ＋Ｈ＋１）＞＞１
モード５：ｐ＝（Ａ＋Ｂ＋Ｇ＋Ｈ＋２）＞＞２
モード６：ｐ＝（Ａ＋Ｄ＋Ｅ＋Ｈ＋２）＞＞２
モード７：ｐ＝（Ｂ＋Ｃ＋Ｆ＋Ｇ＋２）＞＞２
モード８：ｐ＝（Ｄ＋Ｆ＋Ｃ＋Ｅ＋２）＞＞２
“＞＞２”は、４で割ることを表している。また、かっこの中で、＋２をしているのは、四捨五入を意味している。

ここでは、ハードウェアでの実現性の容易さを考慮して、加算とビットシフトで演算可能とした。また、従来方式の拡張を考慮しモード数も９モードとした。

以降説明する第３、４ブロックにおいても、先ず、画素周辺の９個の参照画素を生成したのち、予測対象画素の生成をおこなうため、予測対象画素の生成方法は第３，４ブロックも、上記と同様となる。

次に、図２４ないし図２６を用いて第３ブロックにおける予測画像生成方法について説明する。
図２４は、第３ブロックにおける予測対象ブロックと参照画素を示す図である。
図２５は、第３ブロックにおける画素ｏ周辺の参照画素を示す図である。
図２６は、第３ブロックにおける画素ｐ周辺の参照画素を示す図である。

第３ブロックの処理では、第１、第２ブロックに相当する箇所の画素が参照画素として使用可能となる。

ここで予測対象画素ｏ，ｐ周辺を例に予測画素生成方法を図２５、図２６を用いて説明する。

予測対象画素ｏ周辺では、Ｋ，Ｂ，Ｌ，Ｍ，Ｇ，Ｈが第１ブロックの画素であり、Ｉ，Ｊ，Ｄ，Ｅが第２ブロックの画素である。

第２ブロックと同様、まだ参照画素として使えないＡ，Ｃ，Ｆ，Ｈ部分を予測参照画素として生成する。各予測参照画素は、周辺の参照画素の平均とする。
Ａ＝（Ｉ＋Ｋ＋Ｂ＋Ｄ＋２）＞＞２
Ｃ＝（Ｊ＋Ｂ＋Ｌ＋Ｅ＋２）＞＞２
Ｆ＝（２Ｄ＋Ｍ＋Ｇ＋２）＞＞２
Ｈ＝（２Ｅ＋Ｇ＋Ｎ＋２）＞＞２
ここで、Ｆに関する式は、対称性を利用して、Ｄを加えて４で割ることした。Ｈに関する式も同様である。

画素ｐ周辺に関しても同様に、参照画素として使用できない周辺画素Ｃ，Ｅ，Ｈを生成する（Ａ，Ｆは画素ｏ周辺の生成方法で示した）。
Ｃ＝（Ａ＋３Ｂ＋２）＞＞２
Ｈ＝（Ｆ＋３Ｇ＋２）＞＞２
Ｅ＝（Ｃ＋Ｈ＋１）＞＞１
Ｃの式では、より近いＢの方に３の重みをつけ、Ａの方の重みは１とし、より近い画素が反映されるようにしている。Ｈの式でも同様である。

各予測対象画素周辺の９個の参照画素生成されれば、周辺９個の参照画素を用いた予測画素の生成方法は、第２ブロックと同様となる。

次に、図２７および図２８を用いて第４ブロックにおける予測画像生成方法について説明する。
図２７は、第４ブロックにおける予測対象ブロックと参照画素を示す図である。
図２８は、第４ブロックにおける画素ｐ周辺の参照画素を示す図である。

第４ブロックの処理では、第１、第２、第３ブロックに相当する箇所の画素が参照画素として使用可能となる。

ここで予測対象画素ｐ周辺を例に予測画素生成方法を図２８を用いて説明する。

予測対象画素ｐの周辺では、Ｄ，Ｅが第１ブロックの画素であり、Ｂが第２ブロックの画素であり、Ａ，Ｃが第２ブロックの画素である。、
第４ブロックの画素ｐ周辺では、Ｆ，Ｇ，Ｈ相当位置の参照画素を生成する必要がある。これまでと同様の考え方により、以下の式で参照画素を生成する。
Ｆ＝（Ａ＋３Ｄ＋２）＞＞２
Ｈ＝（Ｃ＋３Ｅ＋２）＞＞２
Ｇ＝（Ｆ＋Ｈ＋１）＞＞１
画素ｍ，ｎ，ｏに対しても、相対位置がＦ，Ｇ，Ｈに相当する画素の参照画素をｐと同様に生成する。

以上では、ＭＢ境界の参照画素が使用可能な場合における第１ブロック〜第４ブロックのイントラ予測処理方法について説明した。

次に、例えば対象ブロックがピクチャ上端に位置するような場合は、上側のＭＢが存在しないため、上、右上、左上の参照画素を使用できない。また、対象ブロックがピクチャ左端に位置する場合は、左側のＭＢが存在しないため左、左上の参照画素を使用できない。

こうしたＭＢ境界の参照画素が使用できない場合の予測処理方法について説明する。

第１ブロックでは、Ｈ．２６４／ＡＶＣと同様の処理、使用可能なモードはモード２（ＤＣ）のみであり、ＤＣ予測値を中間値（入力画素のビット数が８ｂｉｔであれば１２８）として予測する。

次に、図２９ないし図３２を用いてスライス境界にあるＭＢの第２ブロックにおける予測画像生成方法について説明する。
図２９は、スライス境界にあるＭＢの第２ブロックにおける予測対象ブロックと参照画素を示す図である。
図３０は、第２ブロックにおける画素ａ周辺の参照画素を示す図である。
図３１は、第２ブロックにおける画素ｂ周辺の参照画素を示す図である。
図３２は、第２ブロックにおける画素ｅ周辺の参照画素を示す図である。

対象となるＭＢがスライス境界にある場合には、図２９中、太枠の外側の参照画素を使用できない。これらの参照画素を予測方法を、予測対象画素ａ，ｂ，ｅ周辺を例に図３０、図３１、図３２を用いて説明する。

予測対象画素ａ周辺の参照画素Ａ〜Ｇは、全てＨと同値とする。

予測対象画素ｂ周辺の参照画素Ａ，Ｂ，Ｃの予測方法は以下のようにおこなう。Ｄ，Ｅ，Ｇについては、前述したように両端の画素の平均を取ればよい。
Ａ＝Ｆ
Ｃ＝Ｈ
Ｂ＝（Ａ＋Ｃ＋１）＞＞１
ここで、Ａは、対称性を利用して、Ａの画素値をコピーしている。Ｃも同様である。

予測対象画素ｅ周辺の参照画素Ａ，Ｄ，Ｆの予測方法は以下のようにおこなう。Ｂ，Ｅ、Ｇについても、前述した両端の画素の平均を取ればよい。
Ａ＝Ｃ
Ｆ＝Ｈ
Ｄ＝（Ａ＋Ｆ＋１）＞＞１
次に、図３３ないし図３５を用いてスライス境界にあるＭＢの第３ブロックにおける予測画像生成方法について説明する。
図３３は、スライス境界にあるＭＢの第３ブロックにおける予測対象ブロックと参照画素を示す図である。
図３４は、第３ブロックにおける画素ａ周辺の参照画素を示す図である。
図３５は、第３ブロックにおける画素ｄ周辺の参照画素を示す図である。

対象となるＭＢがスライス境界にある場合には、図３３中、太枠の外側の参照画素を使用できない。これらの参照画素を予測方法を、予測対象画素ａ，ｄ周辺を例に、図３４、図３５を用いて説明する。

予測対象画素ａ周辺の参照画素Ａ，Ｂ，Ｃの予測方法は以下のようにおこなう。Ｆ，Ｈは、前述したように周辺画素の平均を取ればよい（例えば、Ｆ＝（Ｄ＋Ｇ＋１）＞＞１）。
Ａ＝Ｄ
Ｃ＝Ｅ
Ｂ＝（Ａ＋Ｃ＋１）＞＞１
予測対象画素ｄ周辺の参照画素Ａ，Ｂ，Ｃ，Ｅ，Ｈの予測方法は以下のようにおこなう。Ｆは、前述した周辺画素の平均を取ればよい。
Ａ＝Ｄ
Ｂ＝Ａ
Ｃ＝（Ａ＋３Ｂ＋２）＞＞２
Ｈ＝Ｇ
Ｅ＝Ｈ
次に、図３６ないし図３８を用いてスライス境界にあるＭＢの第４ブロックにおける予測画像生成方法について説明する。
図３６は、スライス境界にあるＭＢの第４ブロックにおける予測対象ブロックと参照画素を示す図である。
図３７は、第４ブロックにおける画素ａ周辺の参照画素を示す図である。
図３８は、第４ブロックにおける画素ｄ周辺の参照画素を示す図である。

スライス境界では、図３６中、太枠の外側の参照画素を使用できない。これらの参照画素を予測方法を、予測対象画素ａ，ｍ周辺を例に図３７、図３８を用いて説明する。

予測対象画素ａ周辺の参照画素Ａ，Ｄ，Ｆの予測方法は以下のようにおこなう。
Ａ＝（３Ｂ＋Ｃ＋２）＞＞２
Ｆ＝（３Ｇ＋Ｈ＋２）＞＞２
Ｄ＝（Ａ＋Ｆ＋１）＞＞１
予測対象画素ｍ周辺の参照画素Ａ，Ｄの予測方法は以下のようにおこなう。Ｆは、前述のように周辺画素の平均を取ればよい。
Ａ＝（３Ｂ＋Ｃ＋２）＞＞２
Ｄ＝Ａ
Ｈ＝（３Ｅ＋Ｃ＋２）＞＞２
Ｇ＝Ｈ

１１…４ｘ４ブロック
１２…参照画素
１００…映像符号化装置
１０１…間引き画像作成部
１０２…間引き画像バッファ
１０３…第１のイントラ予測処理部
１０４…予測誤差算出処理部
１０５…直交変換処理部
１０６…量子化処理部
１０７…逆量子化処理部
１０８…逆直交変換処理部
１０９…再構成画像作成部
１１０…再構成画像バッファ
１１１…第２のイントラ予測画像作成
１１２…エントロピー符号化処理部
１５１…入力画像
１５２…ビットストリーム
２０１…符号化対象マクロブロック
２１１…上方向近接画素
２１２…左方向近接画素
３０１…符号化対象画素ブロック
５０１…スライス単位入力画像
５１１…第１間引き画像
５１２…第２間引き画像
５１３…第３間引き画像
５１４…第４間引き画像
６０１…第１間引き画像の再構成画像
６１１…第２間引き画像の予測画像
６１２…画素Ｐｐ２（ｎ，ｍ）
８１１…第３間引き画像の予測画像
８１２…画素Ｐｐ３（ｎ，ｍ）
１００１…第２間引き画像の再構成画像
１００２…第３間引き画像の再構成画像
１０１１…第４間引き画像の予測画像
１０１２…画素Ｐｐ４（ｎ，ｍ）
１２０１…スライスヘッダー情報
１２０２…スライスヘッダー情報
１２１１…第１間引き画像に関する符号情報
１２１２…第２間引き画像に関する符号情報
１２１３…第３間引き画像に関する符号情報
１２１４…第４間引き画像に関する符号情報
１４０１…第１間引き画像の復号画像
１４０２…第２間引き画像の復号画像
１４０３…第３間引き画像の復号画像
１４０４…第４間引き画像の復号画像
１４１１…結合画像
１５００…画像復号化装置
１５０１…エントロピー復号化処理部
１５０２…間引き画像バッファ
１５０３…結合画像作成部
１５５１…復号画像
１６００…画像符号化処理
１６０１…第１画像符号化装置
１６０２…第２画像符号化装置
１６０３…ストリームバッファ
１６０４…ストリームバッファ
１６０５…出力選択回路
１６０６…符号化効率統計処理部
１６３１…スライス単位の発生符号量および画質の指標となる統計データ
１６３２…スライス単位の発生符号量および画質の指標となる統計データ
１６３３…制御情報
１６５１…入力画像
１６５２…ビットストリーム
１７００…画像復号化装置
１７０１…エントロピー復号化処理部
１７０２…出力選択処理部
１７０３…遅延バッファ
１７３１…判定結果情報
１７５１…復号画像。

Claims (3)

1. 画像を符号化するにあたり、画面内予測を用いて符号化対象画素ブロックを符号化する画像符号化装置において、
   前記符号化対象画素ブロックから、Ｎ（Ｎは２以上の自然数）枚の間引き画像を作成し、第１の間引き画像から第Ｎの間引き画像を順に処理し、
   第ｉ（ｉ＝２，…，Ｎ）の間引き画像の画素の画面内予測の予測画素の生成にあたって、第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として用いることを特徴とする画像符号化装置。
2. 第ｉ（ｉ＝２，…，Ｎ）の間引き画像の画素の予測画素は、第１の間引き画像の画素から第ｉ−１の間引き画像の画素がその予測画素の周辺にあったときに、その予測画素の周辺にある第１の間引き画像の画素から第ｉ−１の間引き画像の画素を参照画素として生成されることを特徴とする請求項１記載の画像符号化装置。
3. 前記符号化対象画素ブロックが、マクロブロックであることを特徴とする請求項１記載の画像符号化装置。

Images