JP5294037B2 - 画像復号化方法、画像復号化装置及び画像符号化方法 - Google Patents

Description

本発明は、画像を復号化する画像復号化方法及び画像復号化装置、並びに、画像を符号化する画像符号化方法に関する。

画像符号化では、予測技術を用いることで圧縮効率を高めている。代表的な予測技術として、同一画面内の画素を用いて符号化対象ブロックの予測画像を生成する画面内予測（イントラ予測）技術や、前後の画面の画素を用いて動き補償を実行することにより、符号化対象ブロックの予測画像を生成する画面間予測（インター予測）技術が知られている。これら予測技術によって生成された予測画像と、入力画像との差分（予測誤差）を計算し、直交変換及び量子化を経て画像を圧縮する。

ここで、画質を維持しつつ圧縮率を高めるには、上記の予測誤差を小さくする必要がある。こうした課題に対して、画面間予測の動き補償に用いる参照画像をフィルタリングすることによって、予測誤差を小さくする方式が提案されている（特許文献１参照）。また、静止画像の圧縮において、インターネットやハードディスク等に格納されている静止画像を予測画像と代替することによって、予測誤差を小さくする方式も提案されている（特許文献２参照）。

特開２００６−１３５３７６号公報 特開２００８−１９９５８７号公報

しかしながら、特許文献１に開示された技術では、参照画像のフィルタリングにおいて、フィルタ係数の差分信号及び係数に対するオフセットを符号化している。そのため、画像が急激に変化する場面（例えばシーンチェンジなど）で圧縮効果が小さくなる問題が生じる。

また、特許文献２に開示された技術では、多様な絵柄に対して有効な予測画像を生成するためには、膨大な記憶容量やネットワーク接続環境を持つ必要がある。そのため、探索に要する計算コストが高くなる問題が生じる。

本発明は、上記課題を鑑みてなされたものであり、その目的は、少ない記憶容量かつ低い計算コストで圧縮効率を向上させる画像復号化方法等を提供することである。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、入力された画像の符号化データと、画面内予測又は画面間予測によって生成される予測画像とに基づいて、復号画像を生成する画像復号化方法であって、前記画面内予測を実行することによって、前記復号画像を生成するための予測画像を生成する第１の手順と、前記画面間予測を実行することによって、前記復号画像を生成するための予測画像を生成する第２の手順と、前記第１の手順の実行前に、前記第１の手順の処理対象の画像に高周波成分を合成する第３の手順、及び、前記第２の手順の実行後に、前記第２の手順で生成された予測画像に高周波成分を合成する第４の手順の少なくとも一方と、前記第３の手順及び前記第１の手順によって生成される予測画像、並びに、前記第２の手順及び前記第４の手順によって生成される予測画像の少なくとも一方と、前記第１の手順によって生成される予測画像と、前記第２の手順によって生成される予測画像とから、符号化効率の高い予測画像を選択する第５の手順と、選択された前記予測画像を用いて、前記復号画像を生成する第６の手順と、を含むことを特徴とする。

本発明によれば、少ない記憶容量且つ低い計算コストで、予測誤差を小さくすることによって、圧縮効率を向上させることができる。

本発明の第１の実施形態の画像符号化装置の一例を示すブロック図である。 本発明の第１の実施形態の画像符号化装置の復元部の一例を示すブロック図である。 本発明の第１の実施形態の入力画像の一例を示す図である。 本発明の第１の実施形態のコードブックの一例を示す図である。 本発明の第１の実施形態の画像符号化装置の復元部の制御ロジックを示すフローチャートである。 本発明の第１の実施形態の画像符号化装置の予測モード選択部の制御ロジックを示すフローチャートである。 本発明の第１の実施形態の画像復号化装置の一例を示すブロック図である。 本発明の第１の実施形態の画像復号化装置の復元部の一例を示すブロック図である。 本発明の第１の実施形態の画像復号化装置の復元部の制御ロジックを示すフローチャートである。 図１に示される画像符号化装置から出力される符号化ストリームの一例を示す図である。 本発明の第２の実施形態の画像符号化装置の一例を示すブロック図である。 本発明の第２の実施形態の画像符号化装置の復元部の制御ロジックを示すフローチャートである。 本発明の第２の実施形態の画像復号化装置の一例を示すブロック図である。 本発明の第３の実施形態の画像符号化装置の一例を示すブロック図である。 本発明の第３の実施形態の画像復号化装置の一例を示すブロック図である。 本発明の第４の実施形態の画像復号化装置及び画像符号化装置の一例を示す図である。

以下、本発明の実施の形態について図面に基づいて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の画像符号化装置１の一例を示すブロック図である。この画像符号化装置１は、符号化対象の原画像をブロック単位で入力し、これを符号化することによって符号化ストリームを生成し、外部に出力する。

図１に示される画像符号化装置１は、減算器１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、加算器１０７、参照画像メモリ１０８、画面内予測部１０９、動き予測部１１０、動き補償部１１１、復元部１１２、予測モード選択部１１３を備える。なお、各部１０１〜１１３は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

減算器１０１は、入力された原画像と、予測モード選択部１１３から出力される予測画像とに基づいて、差分画像（予測誤差）を生成し、直交変換部１０２に出力する。

直交変換部１０２は、減算器１０１から出力された差分画像を、離散コサイン変換や離散サイン変換等の直交変換手法を用いて直交変換することによって、直交変換係数を生成し、量子化部１０３に出力する。

量子化部１０３は、直交変換部１０２から出力された直交変換係数を量子化することによって、量子化係数を生成し、エントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、量子化部１０３から出力された量子化係数と、動き予測部１１０から出力された動きベクトル情報と、予測モード選択部１１３から出力された予測情報とに基づいて、ハフマン符号や算術符号等を用いて符号化を実行することによって、符号化ストリームを生成し、外部に出力する。予測情報については後述する。

逆量子化部１０５は、量子化部１０３から出力された量子化係数を逆量子化することによって、逆量子化係数を生成し、逆直交変換部１０６に出力する。

逆直交変換部１０６は、逆量子化部１０５から出力された逆量子化係数を逆直交変換することによって、差分画像を生成し、加算器１０７に出力する。

加算器１０７は、逆直交変換部１０６から出力された差分画像と、予測モード選択部１１３から出力された予測画像とを加算することによって、局所復号画像を生成し、参照画像メモリ１０８及び画面内予測部１０９に出力する。

参照画像メモリ１０８は、加算器１０７から出力された局所復号画像を、参照画像として格納する。

画面内予測部１０９は、加算器１０７から出力された局所復号画像に基づき画面内予測（イントラ予測）を実行することによって、画面内予測画像を生成し、予測モード選択部１１３に出力する。画面内予測とは、符号化しようとする画面（ここでは局所復号画像）と同一画面内の隣接画素から補間によって予測画像を生成する処理である。

動き予測部１１０は、原画像と参照画像メモリ１０８に格納された参照画像とに基づいて動きベクトルを探索することによって、動きベクトル情報（動きベクトルに関する情報）を生成し、エントロピー符号化部１０４及び動き補償部１１１に出力する。動きベクトルとは、基準となる画面(ここでは原画像)から所定画面（ここでは参照画像）への画像の動き量をベクトルとして表現したものである。

動き補償部１１１は、参照画像メモリ１０８に格納された参照画像と、動き予測部１１０から出力された動きベクトル情報とに基づき、動き補償を実行することによって（インター予測）、画面間予測画像を生成し、復元部１１２及び予測モード選択部１１３に出力する。動き補償とは、符号化しようとする画面（ここでは所定の参照画像）の前後の画面の画素と、前述の動きベクトルとを用いて予測画像を生成する処理である。

復元部１１２は、動き補償部１１１から出力された画面間予測画像を復元することによって、画面間予測復元画像を生成し、予測モード選択部１１３に出力する。復元部１１２の詳細については、図２〜図４を用いて後述する。

予測モード選択部１１３は、画面内予測部１０９から出力された画面内予測画像、動き補償部１１１から出力された画面間予測画像、及び、復元部１１２から出力された画面間予測復元画像の中から、一つの予測画像を選択し、選択された予測画像を減算器１０１及び加算器１０７に出力する。また、この予測モード選択部１１３は、選択された予測画像の生成方法を示す予測モードの識別情報と、復元部１１２によって復元が実行されたか否かを示す復元の識別情報と、を含む予測情報、すなわち予測に関する情報を、エントロピー符号化部１０４に出力する。予測モードの識別情報としては、例えばブロックサイズ４ｘ４で生成された画面内予測画像、ブロックサイズ８ｘ１６で生成された画面間予測画像、などの情報を出力する。

図２は、本発明の第１の実施形態の画像符号化装置１の復元部１１２の一例を示すブロック図である。図２に示される復元部１１２は、画像判定部２０１、コードブック２０２、合成部２０３、スイッチ２０４を備える。

このような構成により復元部１１２は、ブロック単位の入力画像（動き補償部１１１から出力された画面間予測画像）の絵柄に応じて、可能な場合には復元する。

画像判定部２０１は、入力画像（ブロック画像）を解析し、ライン、エッジ、コーナー又はＴ字形状等のように定型化可能な特定パターンの画像であるか否かを判定する。入力画像が特定パターンの画像である場合、画像判定部２０１は、合成部２０３に入力画像を出力する。一方、入力画像が特定パターンの画像でない場合、画像判定部２０１は、スイッチ２０４に入力画像を出力する。すなわち、画像判定部２０１は、入力画像の絵柄に応じて復元するか否かを切り替える。

合成部２０３は、画像判定部２０１から出力された入力画像を、コードブック２０２を用いて復元することによって、画面間予測復元画像を生成し、スイッチ２０４に出力する。コードブック２０２については図３Ｂを用いて後述する。合成部２０３の詳細動作については図４のＳ４００４及びＳ４００５で説明する。

スイッチ２０４は、画像判定部２０１から直接出力された入力画像、合成部２０３から出力された画面間予測復元画像のいずれか一方を予測モード選択部１１３に出力するように、通導状態を切り替える。

図３Ａは、本発明の第１の実施形態の入力画像の一例を示す図である。図３Ａに示される入力画像３０１は、ブロック単位の画像（例えばブロック画像３０２）によって構成される。ブロック単位の画像が、復元部１１２に順次入力される。

図３Ｂは、本発明の第１の実施形態のコードブック２０２の一例を示す図である。図３Ｂに示されるコードブック２０２は、符号化済画像３０３と、符号化の過程で失われた高周波成分画像３０４とを、同一インデックスで関連付けて格納する。なお、コードブック２０２には、ライン、エッジ、コーナー又はＴ字形状等の特定パターンの画像に関する符号化済画像３０３及び高周波成分画像３０４が格納される。

コードブック２０２に格納される画像のブロックサイズは、例えば４×４、８×８等であることが好適である。また、復元部１１２に入力される画像のブロックサイズが１６×１６、３２×３２、６４×６４、又はそれ以上である場合、復元部１１２は、コードブック２０２に格納されたブロック画像を複数個集めて画面間予測復元画像を生成すればよい。すなわち、例えばコードブック２０２に格納された画像のブロックサイズが４×４である場合、１６×１６のブロックサイズの画面間予測復元画像を生成するためには、復元部１１２は、１６個のブロック画像から画面間予測復元画像を生成する。

なお、コードブック２０２に格納される画像を特定パターンの画像に限定しているのは、以下の理由による。すなわち、特定パターン以外のあらゆる絵柄の画像を対象にすることで、不自然な画面間予測復元画像が多く生成されるのを低減するためである。また、コードブック２０２に必要な記憶容量及びコードブック２０２から特定パターンの画像を探索するための演算量（計算コスト）を低減するためである。また、コードブック２０２内の画像の探索する際のマッチングエラーを低減するためである。

図４は、本発明の第１の実施形態の画像符号化装置１の復元部１１２の制御ロジックを示すフローチャートである。

まず、復元部１１２は、動き補償部１１１から画面間予測画像（ブロック画像）を入力する（Ｓ４００１）。次に、復元部１１２は、入力された画面間予測画像がライン、エッジ、コーナー又はＴ字形状等の特定パターンの画像であるか否かを判定する（Ｓ４００２）。ここでは、例えば画面間予測画像の分散Ｓ²（式（１））や平均偏差ｄ（式（２））が閾値ｔｈｄ以上である場合、特定パターンの画像であると判定する。

式（１）及び式（２）において、ｎはブロック内の画素数、Ｘｉｊは座標(ｉ、ｊ)の画素値、Ｘはブロック内の平均画素値である。

なお、ステップ４００２において復元部１１２は、例えばＣａｎｎｙフィルタやガボールフィルタ等の方向性フィルタを用いて、平均応答が閾値ｔｈｄ以上である場合、特定パターンの画像であると判定してもよい。

特定パターンの画像でない場合（Ｓ４００２でＮＯ）、復元部１１２は、入力された画面間予測画像をそのまま予測モード選択部１１３に出力する（Ｓ４００３）。

一方、特定パターンの画像である場合（Ｓ４００２でＹＥＳ）、復元部１１２は、入力された画面間予測画像に対応する高周波成分をコードブック２０２から探索する（Ｓ４００４）。具体的には、復元部１１２（合成部２０３）が、入力された画面間予測画像をキーとして、コードブック２０２から、キー画像との誤差が最も小さい符号化済画像３０３（図３Ｂ参照）のインデックスを探索する。誤差は、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）又はＳＳＤ（Sum of Square Difference：差分二乗和）等を用いて算出される。その後、探索されたインデックスに対応する高周波成分画像３０４を抽出する。

その後、復元部１１２は、入力された画面間予測画像とステップＳ４００４で抽出された高周波成分画像３０４とを合成することによって、画面間予測復元画像を生成する（Ｓ４００５）。このように高周波成分画像３０４を合成することにより、原画像に近い画像を生成することができる。

その後、復元部１１２は、ステップＳ４００５で生成された画面間予測復元画像を、予測モード選択部１１３に出力する（Ｓ４００６）。

図５は、本発明の第１の実施形態の画像符号化装置１の予測モード選択部１１３の制御ロジックを示すフローチャートである。

まず、予測モード選択部１１３は、画面内予測部１０９から出力された画面内予測画像、動き補償部１１１から出力された画面間予測画像、及び、復元部１１２から出力された画面間予測復元画像の中から、符号化効率の高い予測モード（予測画像）を選択する（Ｓ５００１）。ここでは、例えば、発生符号量と画質との関係から効率の高い予測モードを選択するレート歪み最適化モード選択方式によって、符号化効率の高い予測モードを選択する。なお、この例に限らず、他の方法によって予測モードを選択してもよい。

次に、予測モード選択部１１３は、ステップＳ５００１で選択された予測モードの識別情報をエントロピー符号化部１０４に出力する（Ｓ５００２）。予測モードの識別情報とは、選択された予測画像を生成するための識別情報である。

その後、予測モード選択部１１３は、復元が実行されたか否かを判定する（Ｓ５００３）。復元が実行された場合、予測モード選択部１１３は、復元の識別情報をエントロピー符号化部１０４に出力する（Ｓ５００４）。一方、復元が実行されなかった場合、予測モード選択部１１３は、非復元の識別情報をエントロピー符号化部１０４に出力する（Ｓ５００５）。復元（非復元）の識別情報とは、復元が実行されたか否かを識別するための情報である。例えば復元が実行された場合は論理値“０”、復元が実行されなかった場合は論理値“１”である。

なお、予測モードの識別情報と、復元の識別情報との組み合わせを、予め１ｂｉｔ以上の一意な識別子で定義しておき、予測モード選択部１１３は該当する一つの識別子を予測情報としてエントロピー符号化部１０４に出力してもよい。例えば、ブロックサイズ８ｘ８で生成された画面間予測画像、ブロックサイズ８ｘ１６で生成された画面間予測復元画像、などの識別子を定義しておいてもよい。

図９は、図１に示される画像符号化装置１から出力される符号化ストリームの一例を示す図である。符号化ストリーム９０１は、エントロピー符号化部１０４によってシリアル出力されるデジタル信号の概略を示す。

この符号化ストリーム９０１は、前述した予測情報（予測モードの識別情報及び復元の識別情報）９０２、９０４、９０６、９０８、及び、動きベクトルや直交変換係数等の符号化情報９０３、９０５、９０７、９０９を含む。

図６は、本発明の第１の実施形態の画像復号化装置２の一例を示すブロック図である。この画像復号化装置２は、図１の画像符号化装置１から出力された符号化ストリームを復号する装置である。

図６に示される画像復号化装置２は、エントロピー復号化部６０１、逆量子化部６０２、逆直交変換部６０３、加算器６０４、画面内予測部６０５、参照画像メモリ６０６、動き補償部６０７、復元部６０８及びスイッチ（予測モード選択部）６０９を備える。なお、各部６０１〜６０９は、画像符号化装置１と同様に、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

エントロピー復号化部６０１は、画像符号化装置１から出力された符号化ストリームを復号化することによって、量子化係数、動きベクトル情報、予測情報を生成する。量子化係数は、逆量子化部６０２に出力される。動きベクトル情報は、動き補償部６０７に出力される。予測情報は、復元部６０８及びスイッチ６０９に出力される。

逆量子化部６０２は、エントロピー復号化部６０１から出力された量子化係数を逆量子化することによって、逆量子化係数を生成し、逆直交変換部６０３に出力する。

逆直交変換部６０３は、逆量子化部６０２から出力された逆量子化係数を逆直交変換することによって、差分画像を生成し、加算器６０４に出力する。

加算器６０４は、逆直交変換部６０３から出力された差分画像と、スイッチ６０９から出力された予測画像とを加算することによって、復号画像を生成し、画面内予測部６０５、参照画像メモリ６０６及び外部に出力する。

画面内予測部６０５は、加算器６０４から出力された復号画像に基づき画面内予測を実行することによって、画面内予測画像を生成し、スイッチ６０９に出力する。図１の画面内予測部１０９と同様である。

参照画像メモリ６０６は、加算器６０４から出力された復号画像を、参照画像として格納する。

動き補償部６０７は、参照画像メモリ６０６に格納された参照画像と、エントロピー復号化部６０１から出力された動きベクトル情報とに基づき、動き補償を実行することによって、画面間予測画像を生成し、復元部６０８に出力する。図１の動き補償部１１１と同様である。

復元部６０８は、エントロピー復号化部６０１から出力された予測情報（復元の識別情報）の内容に応じて、動き補償部６０７から出力された画面間予測画像を復元するか否かを切り替える。復元する場合、画面間予測復元画像を生成し、スイッチ６０９に出力する。一方、復元しない場合、画面間予測画像をそのままスイッチ６０９に出力する。復元部６０８の詳細については、図７、図８を用いて後述する。

スイッチ６０９は、エントロピー復号化部６０１から出力された予測情報（予測モードの識別情報）に基づき、画面内予測部６０５から出力された画面内予測画像、復元部６０８から出力された画面間予測画像又は画面間予測復元画像の中から、一つの予測画像を選択し、加算器６０４に出力する。

図７は、本発明の第１の実施形態の画像復号化装置２の復元部６０８の一例を示すブロック図である。図７に示される復元部６０９は、スイッチ７０１、合成部７０２、コードブック７０３、スイッチ７０４を備える。

このような構成により、復元部６０８は、ブロック単位の入力画像（動き補償部６０７から出力された画面間予測画像）を、復元の識別情報を用いて復元する。

スイッチ７０１、７０４は、復元の識別情報に基づき、入力画像を復元するか否かを選択する。識別情報が復元の実行を示す場合、スイッチ７０１、７０４は、通導状態を合成部７０２側に切り替える。一方、識別情報が復元の非実行を示す場合、スイッチ７０１、７０４は、通導状態を合成部７０２と逆側に切り替える。

合成部７０２は、スイッチ７０１から出力された入力画像を、コードブック７０３を用いて復元することによって、画面間予測復元画像を生成し、スイッチ７０４に出力する。このコードブック７０３は、画像符号化装置１のコードブック２０２（図３Ｂ参照）と同一である。

図８は、本発明の第１の実施形態の画像復号化装置２の復元部６０８の制御ロジックを示すフローチャートである。以下、復元部６０８の制御ロジックを説明する。

まず、復元部６０８は、動き補償部６０７から画面間予測画像（ブロック画像）を入力する（Ｓ８００１）。次に、復元部６０８は、エントロピー復号化部６０１から出力される予測情報（復元の識別情報）に基づき、復元を実行するか否かを判定する（Ｓ８００２）。

復元を実行しない場合（Ｓ８００２でＮＯ）、復元部６０８は、入力された画面間予測画像をそのままスイッチ６０９に出力する（Ｓ８００３）。

一方、復元を実行する場合（Ｓ８００２でＹＥＳ）、復元部６０８は、入力された画面間予測画像に対応する高周波成分をコードブック７０３から探索する（Ｓ８００４）。具体的には、復元部６０８（合成部７０２）が、入力された画面間予測画像をキーとして、コードブック７０３から、キー画像との誤差が最も小さい復号化済画像３０３（図３Ｂ参照）のインデックスを探索する。その後、探索されたインデックスに対応する高周波成分画像３０４を抽出する。

その後、復元部６０８は、入力された画面間予測画像とステップ８００４で抽出された高周波成分画像３０４とを合成（加算）することによって、画面間予測復元画像を生成する（Ｓ８００５）。このように高周波成分画像３０４を合成することにより、原画像に近い画像を生成することができる。

その後、復元部６０８は、ステップ８００５で生成された画面間予測復元画像をスイッチ６０９に出力する（Ｓ８００６）。なお、加算器６０４は、このスイッチ６０９から出力された画面間予測復元画像と、逆直交変換部６０３から出力された差分画像とを加算することによって、画像を復号可能である。

以上説明した第１の実施形態によれば、画像符号化装置１では、復元部１１２によって復元された画面間予測復元画像を予測画像とすることができる。そのため、予測誤差を小さくし、圧縮率を高めることができる。また、予測モード選択部１１３が予測モードを選択する際にこの画面間予測復元画像を用いるか否かを判定している。これにより、画面内予測画像、画面間予測画像及び画面間予測復元画像の中から、符号化効率の高い予測画像を選択することができる。そのため、さらに圧縮率を高めることができる。また、復元部１１２は、画像が急激に変化している場面でも、好適に復元を実行することができる。そのため、圧縮率を高めることができる。

（第２の実施形態）
前述の第１の実施形態では、画面間予測画像のみにコードブックを用いた復元が実行された（図１参照）。ここでは、画面内予測画像にもコードブックを用いた復元が実行される形態を説明する。

図１０は、本発明の第２の実施形態の画像符号化装置１の一例を示すブロック図である。なお、以下では、前述の第１の実施形態（図１参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

復元部１００１は、加算器１０７から出力された局所復号画像を復元することによって、復元画像を生成し、画面内予測部１０９に出力する。この復元部１００１は、復元部１１２と同様に、コードブック２０２（図３Ｂ参照）を用いて処理対象近傍ブロックの局所復号画像に高周波成分を合成することによって、復元画像を生成する。

画面内予測部１０９は、復元部１００１から出力された復元画像に基づき画面内予測を実行することによって、画面内予測復元画像を生成し、予測モード選択部１１３に出力する。また、この画面内予測部１０９は、加算器１０７から出力された局所復号画像に基づき画面内予測を実行することによって、通常の画面内予測画像も生成し、予測モード選択部１１３に出力する。

予測モード選択部１１３は、画面内予測部１０９から出力された画面内予測画像、画面内予測復元画像、動き補償部１１１から出力された画面間予測画像、及び、復元部１１２から出力された画面間予測復元画像の中から、一つの予測画像を選択し、選択された予測画像を減算器１０１及び加算器１０７に出力する。また、この予測モード選択部１００３は、選択された予測画像の生成方法を示す予測モードの識別情報と、復元部１００１又は復元部１１２によって復元が実行されたか否かを示す復元の識別情報と、を含む予測情報を、エントロピー符号化部１０４に出力する。予測モードの識別情報としては、例えばブロックサイズ４ｘ４で生成された画面内予測画像、ブロックサイズ８ｘ１６で生成された画面間予測画像、などの情報を出力する。

図１１は、本発明の第２の実施形態の画像符号化装置１の復元部１００１の制御ロジックを示すフローチャートである。

まず、復元部１００１は、処理対象近傍ブロックの局所復号画像（ブロック画像）を入力する（Ｓ１１００１）。次に、復元部１００１は、入力された局所復号画像が特定パターンの画像であるか否かを判定する（Ｓ１１００２）。判定方法は、図４のステップＳ４００１と同様であるため、説明を省略する。

特定パターンの画像でない場合（Ｓ１１００１でＮＯ）、復元部１００１は、入力された局所復号画像をそのまま予測モード選択部１１３に出力する（Ｓ１１００３）。

一方、特定パターンの画像である場合（Ｓ１１００１でＹＥＳ）、復元部１００１は、入力された局所復号画像に対応する高周波成分をコードブック２０２から探索する（Ｓ１１００４）。検索方法は、図４のステップＳ４００４と同様であるため、説明を省略する。

その後、復元部１００１は、入力された局所復号画像とステップＳ１１００４で抽出された高周波成分画像３０４とを合成することによって、画面内予測復元画像を生成する（Ｓ１１００５）。

その後、復元部１００１は、生成された画面内予測復元画像を、予測モード選択部１１３に出力する（Ｓ１１００６）。これにより、予測モード選択部１１３は、画面内予測画像、画面内予測復元画像、画面間予測画像及び画面間予測復元画像の中から、符号化効率の高い予測画像を選択することができる。すなわち、前述の実施形態１に比べて、予測画像の選択幅が広がっている。そのため、さらに圧縮率を高めることができる。

図１２は、本発明の第２の実施形態の画像復号化装置２の一例を示すブロック図である。なお、以下では、前述の第１の実施形態（図６参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

復元部１２０１は、エントロピー符号化部６０１から出力された予測情報（復元の識別情報）の内容に応じて、加算器６０４から出力された局所復号画像を復元するか否かを切り替える。復元する場合、復元画像を生成し、画面内予測部６０５に出力する。一方、復元しない場合、局所復号画像をそのまま画面内予測部６０５に出力する。

画面内予測部６０５は、復元部１２０１から出力された復元画像又は局所復号画像に基づき、画面内予測を実行することによって、画面内予測復元画像又は画面内予測画像を生成し、スイッチ６０９に出力する。

スイッチ６０９は、エントロピー復号化部６０１から出力された予測情報（予測モードの識別情報）に基づき、画面内予測部６０９から出力された画面内予測画像又は画面内予測復元画像、並びに、復元部６０８から出力された画面間予測画像又は画面間予測復元画像の中から、一つの予測画像を選択し、加算器６０４に出力する。

以上説明した第２の実施形態によれば、画像符号化装置１では、前述の第１の実施形態に加え、復元部１００１によって復元された画面内予測復元画像を予測画像とすることができる。そのため、前述の第１の実施形態に比べて、予測誤差を小さくし、圧縮率を高めることができる。

（第３の実施形態）
前述の第２の実施形態では、画面間予測画像及び画面内予測画像にコードブックを用いた復元が実行された（図１０参照）。ここでは、画面内予測画像のみにコードブックを用いた復元が実行される形態を説明する。

図１３は、本発明の第３の実施形態の画像符号化装置１の一例を示すブロック図である。なお、以下では、前述の第２の実施形態（図１０参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

予測モード選択部１１３は、画面内予測部１０９から出力された画面内予測画像、画面内予測復元画像、動き補償部１１１から出力された画面間予測画像の中から、一つの予測画像を選択し、選択された予測画像を減算器１０１及び加算器１０７に出力する。また、この予測モード選択部１００３は、選択された予測画像の生成方法を示す予測モードの識別情報と、復元部１００１によって復元が実行されたか否かを示す復元の識別情報と、を含む予測情報を、エントロピー符号化部１０４に出力する。予測モードの識別情報としては、例えばブロックサイズ４ｘ４で生成された画面内予測画像、ブロックサイズ８ｘ１６で生成された画面間予測画像、などの情報を出力する。

図１４は、本発明の第３の実施形態の画像復号化装置２の一例を示すブロック図である。なお、以下では、前述の第２の実施形態（図１２参照）と同様の機能を果たす部分には同一の符号を付して重複する説明を適宜省略する。

スイッチ６０９は、エントロピー復号化部６０１から出力された予測情報（予測モードの識別情報）に基づき、画面内予測部６０９から出力された画面内予測画像又は画面内予測復元画像、並びに、動き補償部６０７から出力された画面間予測画像の中から、一つの予測画像を選択し、加算器６０４に出力する。

以上説明した第３の実施形態によれば、画像符号化装置１では、前述の第２の実施形態から復元部１１２を除いている。そのため、前述の第２の実施形態に比べて、復元部１１２の復元処理に要する時間を短縮することができる。

（第４の実施形態）
図１５は、本発明の第４の実施形態の画像符号化装置１（画像復号化装置２）の一例を示すブロック図である。ここでは、画像符号化装置１（画像復号化装置２）がハードウェアとソフトウェアを組み合わせて実現される形態を説明する。

図１５に示される画像符号化装置１（画像復号化装置２）は、それぞれバス３０で相互に接続されたメモリ装置２１、演算処理装置２２、インターフェース装置２３、補助記憶装置２４、入力装置２５、出力装置２６、ドライブ装置２７を備える。

メモリ装置２１は、画像符号化装置１（画像復号化装置２）の起動時に補助記憶装置２５に記憶された画像符号化プログラム（図１の各部の処理を実行するプログラム）、画像復号化プログラム（図６の各部の処理を実行するプログラム）等のプログラムを読み出して記憶するＲＡＭ（Random Access Memory）等の記憶装置である。このメモリ装置２１は、プログラムの実行に必要なファイル、データ等も記憶する。演算処理装置２２は、メモリ装置２１に格納されたプログラムを実行するＣＰＵ（Central Processing Unit）等の演算処理装置である。インターフェース装置２３は、外部ネットワーク等に接続するためのインターフェース装置である。入力装置２４は、ユーザインターフェイスを提供する入力装置（例えばキーボード、マウス）である。

補助記憶装置２５は、プログラムやファイル、データ等を記憶するＨＤＤ等の記憶装置である。ドライブ装置２６は、記録媒体２７に記録されたプログラムを読み出す装置である。ドライブ装置２６によって読み出されたプログラムは、補助記憶装置２５にインストールされる。記録媒体２７は、上記の画像符号化プログラム、画像復号化プログラム等を記録したＵＳＢ（Universal Serial Bus）メモリ、ＳＤメモリカード等の記録媒体である。

以上の構成により、画像符号化装置１（画像復号化装置２）では、演算処理装置２２が、画像符号化プログラム（画像復号化プログラム）を実行することによって、画像を符号化する（画像を復号化する）。

以上、本発明の各実施形態について説明したが、上記各実施形態は本発明の適用例の一つを示したものであり、本発明の技術的範囲を上記各実施形態の具体的構成に限定する趣旨ではない。本発明の要旨を逸脱しない範囲において種々変更可能である。

例えば、本発明は、Ｈ.２６４／ＡＶＣに類似する画像符号化・復号化技術に加え、その他の手法による符号化・復号技術にも広く適用することができる。

１０１ 減算器
１０２ 直交変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５、６０２ 逆量子化部
１０６、６０３ 逆直交変換部
１０７、６０４ 加算器
１０８、６０６ 参照画像メモリ
１０９、６０５ 画面内予測部
１１０ 動き予測部
１１１、６０７ 動き補償部
１１２、６０８、１００１、１２０１ 復元部
１１３ 予測モード選択部
２０１ 画像判定部
２０２、７０２ 合成部
２０３、７０３ コードブック
２０４、６０９、７０１、７０４ スイッチ
３０１ 画像
３０２ 画像ブロック
３０３ 符号化済画像ブロック
３０４ 高周波成分画像ブロック
６０１ エントロピー復号化部
９０１〜９０９ デジタル信号

Claims (16)

1. 入力された画像の符号化データと、画面内予測又は画面間予測によって生成される予測画像とに基づいて、復号画像を生成する画像復号化方法であって、
   前記画面内予測を実行することによって、前記復号画像を生成するための予測画像を生成する第１の手順と、
   前記画面間予測を実行することによって、前記復号画像を生成するための予測画像を生成する第２の手順と、
   前記第１の手順の実行前に、前記第１の手順の処理対象の画像に高周波成分を合成する第３の手順、及び、前記第２の手順の実行後に、前記第２の手順で生成された予測画像に高周波成分を合成する第４の手順の少なくとも一方と、
   前記第３の手順及び前記第１の手順によって生成される予測画像、並びに、前記第２の手順及び前記第４の手順によって生成される予測画像の少なくとも一方と、前記第１の手順によって生成される予測画像と、前記第２の手順によって生成される予測画像とから、符号化効率の高い予測画像を選択する第５の手順と、
   選択された前記予測画像を用いて、前記復号画像を生成する第６の手順と、
   を含むことを特徴とする画像復号化方法。
2. 前記第３の手順、及び、前記第４の手順では、符号化済画像と、前記符号化済画像の符号化の過程で失われた高周波成分画像と、を画像のパターン毎に関連付けて格納されたコードブックの中から、当該手順の処理対象の画像を探索し、探索された画像のパターンに関連付けられた高周波成分画像を、前記処理対象の画像に合成することを特徴とする請求項１に記載の画像復号化方法。
3. 前記符号化データは、当該符号化データが生成される際に用いられた予測画像の生成方法を示す予測画像の識別情報を含み、
   前記第５の手順では、前記予測画像の識別情報を用いて、符号化効率の高い予測画像を選択することを特徴とする請求項１に記載の画像復号化方法。
4. 前記符号化データは、当該符号化データが生成される際に用いられた動きベクトル情報を含み、
   前記第２の手順では、前記動きベクトル情報を用いて、前記画面間予測を実行することを特徴とする請求項１に記載の画像復号化方法。
5. 前記符号化データは、当該符号化データが生成される際に高周波成分の合成が実行されたか否かの識別情報を含み、
   前記第３の手順、及び、前記第４の手順では、前記識別情報に基づいて、当該手順を実行するか否かを判定することを特徴とする請求項１に記載の画像復号化方法。
6. 入力された画像の符号化データと、画面内予測又は画面間予測によって生成される予測画像とに基づいて、復号画像を生成する画像復号化装置であって、
   前記画面内予測を実行することによって、前記復号画像を生成するための予測画像を生成する画面内予測部と、
   前記画面間予測を実行することによって、前記復号画像を生成するための予測画像を生成する画面間予測部と、
   前記画面内予測部の処理対象の画像に高周波成分を合成する第１の復元部、及び、前記画面間予測部によって生成された予測画像に高周波成分を合成する第２の復元部の少なくとも一方と、
   前記第１の復元部及び前記画面内予測部によって生成される予測画像、並びに、前記画面間予測部及び前記第２の復元部によって生成される予測画像の少なくとも一方の予測画像と、前記画面内予測部によって生成される予測画像と、前記画面間予測部によって生成される予測画像とから、符号化効率の高い予測画像を選択する予測モード選択部と、
   選択された前記予測画像を用いて、前記復号画像を生成する加算部と、
   を備えることを特徴とする画像復号化装置。
7. 前記第１の復元部、及び、前記第２の復元部は、符号化済画像と、前記符号化済画像の符号化の過程で失われた高周波成分画像と、を画像のパターン毎に関連付けて格納されコードブックの中から、当該手順の処理対象の画像を探索し、探索された画像のパターンに関連付けられた高周波成分画像を、前記処理対象の画像に合成することを特徴とする請求項６に記載の画像復号化装置。
8. 前記符号化データは、当該符号化データが生成される際に用いられた予測画像の生成方法を示す予測画像の識別情報を含み、
   前記予測モード選択部は、前記予測画像の識別情報を用いて、符号化効率の高い予測画像を選択することを特徴とする請求項６に記載の画像復号化装置。
9. 前記符号化データは、当該符号化データが生成される際に用いられた動きベクトル情報を含み、
   前記画面間予測部は、前記動きベクトル情報を用いて、前記画面間予測を実行することを特徴とする請求項６に記載の画像復号化装置。
10. 前記符号化データは、当該符号化データが生成される際に高周波成分の合成が実行されたか否かの識別情報を含み、
    前記第１の復元部、及び、前記第２の復元部は、前記識別情報に基づいて、当該手順を実行するか否かを決定することを特徴とする請求項６に記載の画像復号化装置。
11. 前記符号化データを復号化するエントロピー復号化部と、
    前記エントロピー復号化部によって復号化されたデータを逆量子化する逆量子化部と、
    前記逆量子化部によって逆量子化されたデータを逆直交変換する逆直交変換部と、
    をさらに備え、
    前記加算部は、選択された前記予測画像に、前記逆直交変換部によって逆直交変換されたデータを加算することによって、前記復号画像を生成することを特徴する請求項６に記載の画像復号化装置。
12. 符号化対象の画像と、画面内予測又は画面間予測によって生成される予測画像とに基づいて、前記画像の符号化データを生成する画像符号化方法であって、
    前記画面内予測を実行することによって、前記符号化データを生成するための予測画像を生成する第１の手順と、
    前記画面間予測を実行することによって、前記符号化データを生成するための予測画像を生成する第２の手順と、
    前記第１の手順の実行前に、前記第１の手順の処理対象の画像に高周波成分を合成する第３の手順、及び、前記第２の手順の実行後に、前記第２の手順で生成された予測画像に高周波成分を合成する第４の手順の少なくとも一方と、
    前記第３の手順及び前記第１の手順によって生成される予測画像、並びに、前記第２の手順及び前記第４の手順によって生成される予測画像の少なくとも一方と、前記第１の手順によって生成される予測画像と、前記第２の手順によって生成される予測画像とから、符号化効率の高い予測画像を選択する第５の手順と、
    選択された前記予測画像を用いて、前記符号化データを生成する第６の手順と、
    を含むことを特徴とする画像符号化方法。
13. 前記第３の手順、及び、前記第４の手順では、符号化済画像と、前記符号化済画像の符号化の過程で失われた高周波成分画像と、を画像のパターン毎に関連付けて格納されコードブックの中から、当該手順の処理対象の画像を探索し、探索された画像のパターンに関連付けられた高周波成分画像を、前記処理対象の画像に合成することを特徴とする請求項１２に記載の画像符号化方法。
14. 前記第６の手順では、前記第５の手順で選択された予測画像の生成方法を示す予測画像の識別情報を、前記符号化データに含めることを特徴とする請求項１２に記載の画像符号化方法。
15. 前記第６の手順では、前記第２の手順で用いられた動きベクトル情報を、前記符号化データに含めることを特徴とする請求項１２に記載の画像符号化方法。
16. 前記第６の手順では、前記第３の手順、及び、前記第４の手順で高周波成分の合成が実行されたか否かの識別情報を、前記符号化データに含めることを特徴とする請求項１２に記載の画像符号化方法。

Images