JP4949010B2 - 画像復号化方法及び画像復号化装置 - Google Patents

Description

本発明は、エラーが含まれた符号化データを正しく復号する画像復号化方法に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をデジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をデジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をデジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合デジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を1.5Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約1.5Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を2〜15Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264の標準化活動が規格化された。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行った符号化データ中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけ参照ピクチャをシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される（例えば、特許文献１、特許文献２参照）。

図１６は従来の画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。

符号化データＳｔｒは可変長復号化部ＶＬＤで復号され、誤り情報ｅｒｒ、動き情報ｍｖ、符号化モードｍｏｄｅ、予測誤差ｃｏｅｆｆが出力される。誤り情報ｅｒｒは符号化データＳｔｒに含まれる各ブロックのエラーの有無を示す情報である。動き情報ｍｖは画面間動き補償に必要な情報であり、動き量や画面間動き補償で参照する画像（ピクチャ）を示す情報を含んでいる。符号化モードｍｏｄｅは、ブロックが画面内符号化されているか、画面間符号化されているかを示す情報である。予測誤差ｃｏｅｆｆは、画面内もしくは画面間における予測誤差を符号化したものであり、予測誤差の大きさを示す情報である。

逆量子化部ＩＱは予測誤差ｃｏｅｆｆを逆量子化して逆直交変換部ＩＴに出力し、逆直交変換部ＩＴはそれを逆直交変換して加算部Ａｄｄに出力する。

画面間符号化の場合には、動き補償部ＭＣがピクチャメモリＰＭから出力される参照画像の画素値を動き情報ｍｖで示す情報に基づいて動き補償し、スイッチＳｅｌ１に出力する。

画面内符号化の場合には、面内予測部ＩＰが加算部Ａｄｄの出力を画面内予測し、スイッチＳｅｌ１に出力する。

スイッチＳｅｌ１は、符号化モードｍｏｄｅが画面内符号化を示す場合は面内予測部ＩＰの出力を選択し、符号化モードｍｏｄｅが画面間符号化を示す場合は動き補償部ＭＣの出力を選択して出力する。

加算部Ａｄｄは逆直交変換部ＩＴの出力とスイッチＳｅｌ１の出力を加算する。加算部Ａｄｄの出力はデブロッキング・フィルタを適用する前の復号画素値であり、面内予測部ＩＰの画面内予測の参照画素値として使用される。

デブロッキング・フィルタＤＢＦは、動き情報ｍｖ、符号化モードｍｏｄｅ、予測誤差ｃｏｅｆｆを参照し、加算部Ａｄｄの出力にデブロッキング・フィルタを適用してブロック歪みを除去し、復号画像Ｖoutを生成する。

誤り情報ｅｒｒによって当該ブロックにエラーがないことが示される場合は復号画像ＶoutがそのままピクチャメモリＰＭに格納される。誤り情報ｅｒｒによって当該ブロックにエラーがあることが示された場合は、ピクチャメモリＰＭに格納された復号画像から誤り修整部ＥＣによって生成された誤り修整画素ブロックを、当該ブロックの復号画素値の代わりとしてピクチャメモリＰＭに格納する。

ピクチャメモリＰＭの出力は、次のピクチャの復号を行う際に、動き補償部ＭＣの参照画素値として使用される。

図１７はデブロッキング・フィルタを選択する方法の例である。フィルタの種類は、フィルタ０からフィルタ３までの４通りあり、フィルタ０が最も平滑度が高く、フィルタ１、フィルタ２、フィルタ３の順に平滑度が低くなる。

すなわち、画面内符号化の場合は画面間符号化の場合よりもブロック歪みが目立ちやすいため、ブロック境界部において少なくとも一方のブロックが画面内符号化されている場合は、平滑度が高いフィルタ０を適用する。次に、画面間予測誤差があるブロックは、画面間予測誤差がないブロックよりもブロック歪みが目立ちやすいため、少なくとも一方のブロックの画面間予測誤差がある（すなわち、符号化データに当該ブロックの係数が符号化されている）場合は、やや平滑度が高いフィルタ１を適用する。さらに、動き情報ｍｖ（動きベクトルなど）が隣接する２つのブロックで異なっていればブロック歪みが目立つためやや平滑度が低いフィルタ２を適用し、動き情報ｍｖが隣接する２つのブロックで同じであれば最も平滑度の低いフィルタ３を適用する。なお、フィルタ３には、デブロッキング・フィルタを適用しない場合も含むものとする。

以上のようにして、ブロック歪みの目立ちやすさに応じ、フィルタ０、フィルタ１、フィルタ２、フィルタ３を切り替えることができる。

図１８は従来の画像符号化方法で使用するデブロッキング・フィルタのフローチャートであり、図１７のデブロッキング・フィルタを選択する方法の例の実現方法を示す。

Ｓｔｅｐ１０では、連続する２つのブロックにつき、少なくとも一方のブロックが画面内符号化か否かを判断し（符号化モードｍｏｄｅの情報を利用）、少なくとも一方のブロックが画面内符号化であればＳｔｅｐ１５でフィルタ０を用いたデブロッキング・フィルタ処理を行って終了する。両方のブロックが画面間符号化であれば、Ｓｔｅｐ１１の判定を実施する。

Ｓｔｅｐ１１では、少なくとも一方のブロックの係数が符号化されているか否かを判断し（予測誤差ｃｏｅｆｆの情報を利用）、少なくとも一方のブロックの係数が符号化されていればＳｔｅｐ１６でフィルタ１を用いたデブロッキング・フィルタ処理を行って終了する。両方のブロックの係数が符号化されていなければ、Ｓｔｅｐ１２の判定を実施する。

Ｓｔｅｐ１２では、両ブロックの動き情報が異なるか否かを判断し（動き情報ｍｖの情報を利用）、動き情報が異なれば、Ｓｔｅｐ１７でフィルタ２を用いたデブロッキング・フィルタ処理を行って終了する。そうでなければ（動き情報が一致すれば）、Ｓｔｅｐ１８でフィルタ３を用いたデブロッキング・フィルタ処理を行って終了する。

図１９はエラーが検出されたブロックの画素値を修整するためのエラー修整の一例を示す説明図である。復号している対象画面で、エラーによって正しく復号できないブロック１７１の画素値は、画面間予測で参照する、参照画面の同じ空間位置のブロック１７２の画素値で置換する。このように、エラーが発生したブロックの画素値を、この例の置換などを用いて生成することをエラー修整と呼ぶ。

図２０は従来の画像復号化方法を用いる他の画像復号化装置の構成を示すブロック図である。図２０の従来の画像復号化装置のブロック図で、図１６の従来の画像復号化装置のブロック図と同じ動作をする処理部は、同じ番号を付し、説明を省略する。

図１６では、可変長復号化部ＶＬＤにて、符号化データＳｔｒから誤り情報ｅｒｒを検出した。しかしながら、アプリケーションの種類や機器の実装方法によっては、符号化データＳｔｒでなく、符号化データＳｔｒを受信する機器から誤り情報ｅｒｒを取得できる場合がある。この場合には、図２０に示すように、誤り情報ｅｒｒが外部から与えられる。
特開平５−１５３５７４号公報 特開平６−１８９２８４号公報

しかしながら、従来のデブロッキング・フィルタを用いた画像復号化方法では、エラーが検出されたブロックについて、どのようなデブロッキング・フィルタを使用すべきか開示がなされていない。エラーが発生したブロックについては、エラーによってブロック歪みの見え方が変わるはずであり、エラーの場合もデブロッキング・フィルタを適切に切り替えることでエラー発生時に劣化の少ない復号画像が復元できるはずである。

そこで、本発明は上記の事情に鑑みてなされたものであり、エラーが発生した場合であっても劣化の少ない復号画像を復元することができる画像復号化方法を提供することを目的とする。

上記目的を達成するため、本発明に係る画像復号化方法は、ブロック単位で画面間予測符号化され、動き量を示す付加情報が付加されている符号化データを復号化し、復号化されたブロック間の境界に生じるブロック歪みを、フィルタを用いて平滑化する画像復号化方法であって、前記符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出ステップと、前記エラー検出ステップでエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整ステップと、前記誤り修整ステップで画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加ステップと、ブロックごとに、当該ブロックの付加情報が動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定ステップとを含み、前記決定ステップでは、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定することを特徴とする。

これによって、エラーが発生した場合であっても劣化の少ない復号画像を復元することができる。

また、前記決定ステップでは、エラーが検出されたブロックと前記ブロックに隣接するブロックとについて、前記両ブロック間の境界に対し、前記複数のデブロッキング・フィルタの中で、最も平滑度の高いデブロッキング・フィルタを用いてフィルタリングすることを決定するとしてもよい。

また、前記画像復号化方法は、さらに、画像内のすべてのブロック境界について、前記決定ステップでの決定に従ったフィルタリングが適用された画像を参照画像として用い、前記符号化データ中の画面間予測符号化されたブロックを復号化する復号化ステップを含むとしてもよい。

なお、本発明は、このような画像復号化方法として実現することができるだけでなく、このような画像復号化方法が含む特徴的なステップを手段として備える画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の様に、本発明を用いることにより、エラーが発生した場合もデブロッキング・フィルタを適切に切り替えることでエラー発生時に劣化の少ない復号画像が復元でき、その実用的価値が高い。

以下、本発明の実施の形態について、図１から図１５を用いて説明する。

（実施の形態１）
図１は本発明の実施の形態１に係る画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。図１の本発明の画像復号化方法を用いる画像復号化装置のブロック図と、図１６の従来の画像復号化装置のブロック図との違いは、図１のデブロッキング・フィルタＤＢＦには、予測誤差ｃｏｅｆｆ、符号化モードｍｏｄｅ、動き情報ｍｖに加え、誤り情報ｅｒｒが入力されることである。

画像復号化装置は、符号化データＳｔｒに含まれる各ブロックのエラーを検出して、検出されたエラーの有無に応じて、ブロック間の境界歪みを平滑化するデブロッキング・フィルタＤＢＦの平滑度を切り替え、またはフィルタリングするかしないかを決定する画像復号化装置であって、図１に示すように可変長復号化部ＶＬＤ、逆量子化部ＩＱ、逆直交変換部ＩＴ、動き補償部ＭＣ、面内予測部ＩＰ、誤り修整部ＥＣ、加算部Ａｄｄ、デブロッキング・フィルタＤＢＦ、ピクチャメモリＰＭ、スイッチＳｅｌ１、およびスイッチＳｅｌ２を備えている。

符号化データＳｔｒは可変長復号化部ＶＬＤで復号され、誤り情報ｅｒｒ、動き情報ｍｖ、符号化モードｍｏｄｅ、予測誤差ｃｏｅｆｆが出力される。可変長復号化部ＶＬＤは、符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出ステップを実行する手段の一例であり、例えば、所定のシンタックスに適合するデータがこない場合に、符号化データＳｔｒにエラーが含まれていると判断し、誤り情報ｅｒｒを出力する。より具体的には、あらかじめ定められた順に所定数および所定の値の範囲のデータが得られない場合、または、符号化データＳｔｒ中の所定の位置またはタイミングで、あらかじめ定められた「０」「１」のパターンが得られない場合などに符号化データＳｔｒにエラーが含まれていると判断する。例えば、符号化データＳｔｒがＩＰパケットなどにより伝送される場合には、各ＩＰパケットにスライス単位もしくはスライスを複数に分割した符号化データが格納される。可変長復号化部ＶＬＤは、あるＩＰパケットが欠落するようなエラーが生じた場合、欠落したＩＰパケットのパケット番号に基づいて欠落したスライスを特定し、当該スライスの全てもしくは当該スライスの一部に含まれるブロックにエラーが含まれると判断する。誤り情報ｅｒｒは符号化データＳｔｒに含まれる各ブロックのエラーの有無を示す情報である。動き情報ｍｖは画面間動き補償に必要な情報であり、動き量や画面間動き補償で参照する画像（ピクチャ）を示す情報を含んでいる。符号化モードｍｏｄｅは、ブロックが画面内符号化されているか、画面間符号化されているかを示す情報である。予測誤差ｃｏｅｆｆは、画面内もしくは画面間における予測誤差を符号化したものであり、予測誤差の大きさを示す情報である。

逆量子化部ＩＱは予測誤差ｃｏｅｆｆを逆量子化して逆直交変換部ＩＴに出力し、逆直交変換部ＩＴはそれを逆直交変換して加算部Ａｄｄに出力する。

動き補償部ＭＣは、画像内のすべてのブロック境界について、前記決定ステップでの決定に従ったフィルタリングが適用された画像を参照画像として用い、前記符号化データ中の画面間予測符号化されたブロックを復号化する復号化ステップを実行する手段の一例である。画面間符号化の場合には、動き補償部ＭＣがピクチャメモリＰＭから出力される参照画像の画素値を動き情報ｍｖで示す情報に基づいて動き補償し、スイッチＳｅｌ１に出力する。このとき、ピクチャメモリＰＭから出力される参照画像には、デブロッキング・フィルタＤＢＦが適用されている。

画面内符号化の場合には、面内予測部ＩＰが加算部Ａｄｄの出力を画面内予測し、スイッチＳｅｌ１に出力する。

スイッチＳｅｌ１は、符号化モードｍｏｄｅが画面内符号化を示す場合は面内予測部ＩＰの出力を選択し、符号化モードｍｏｄｅが画面間符号化を示す場合は動き補償部ＭＣの出力を選択して出力する。

加算部Ａｄｄは、逆直交変換部ＩＴの出力とスイッチＳｅｌ１の出力を加算する。加算部Ａｄｄの出力はデブロッキング・フィルタを適用する前の復号画素値であり、面内予測部ＩＰの参照画素値として使用される。

誤り修整部ＥＣは、エラーが検出された前記ブロックを、動き量０で画面間符号化されたブロックとみなし、参照画像内で前記ブロックと同位置にあるブロックの各画素の画素値を用いて、エラーが検出された前記ブロック内で同位置にある各画素の画素値を置き換える誤り修整ステップを実行する手段の一例である。誤り修整部ＥＣは、誤り情報ｅｒｒによって当該ブロックにエラーがあることが示された場合は、図１９に示したように、ピクチャメモリＰＭに格納されている復号画像から生成された誤り修整画素ブロックを、当該ブロックの復号画素値の代わりとして出力する。

デブロッキング・フィルタＤＢＦは、動き情報ｍｖ、符号化モードｍｏｄｅ、予測誤差ｃｏｅｆｆを参照し、加算部Ａｄｄの出力にデブロッキング・フィルタを適用してブロック歪みを除去し、復号画像Ｖoutを生成する。生成された復号画像Ｖoutは、表示のため外部に出力されるとともに、参照画像として用いられるためスイッチＳｅｌ２を介してピクチャメモリＰＭに格納される。さらに詳細には、デブロッキング・フィルタＤＢＦは、各ブロックについてエラーが検出されたか否かに応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のデブロッキング・フィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定ステップを実行する手段の一例であり、誤り情報ｅｒｒを用いて、エラーが発生して誤り修整部ＥＣで修整されたブロックについても、適切な平滑度のデブロッキング・フィルタを選択してブロック歪みを除去する。なお、説明を簡単にするために、フィルタリングしない場合も、フィルタリングの１つとして説明する。具体的には、デブロッキング・フィルタＤＢＦの平滑度の高さは、フィルタのタップの数によって決まる。また、デブロッキング・フィルタＤＢＦがアダプタブルフィルタの場合は平滑度の高さはフィルタリングの閾値の大きさによって決まる。フィルタのタップ数が多いほどフィルタの平滑度は高くなり、また、フィルタリングの閾値が小さくなるほど平滑度が高くなる。

図２（ａ）は、デブロッキング・フィルタＤＢＦが適用されるブロック境界の一例を示す図である。同図において、斜線で示す部分はエラーが発生したために誤り修整部ＥＣで修整されたブロックである。同図では、ブロック２０１は２つのブロック境界（太線で示す部分）で、エラーが発生したブロックと接している。また、ブロック２０２では、１つのブロック境界（太線で示す部分）で、エラーが発生したブロックと接している。このような場合、ブロック２０１では、太線部の２つのブロック境界に対してエラー修整用のデブロッキング・フィルタＤＢＦが適用され、ブロック２０２では、太線部の１つのブロック境界に対してエラー修整用のデブロッキング・フィルタＤＢＦが適用される。

図２（ｂ）は、デブロッキング・フィルタＤＢＦがアダプタブルフィルタである場合の動作の一例を示す図である。同図において縦軸は画素値（例えば、輝度）の大きさを示し、横軸は画素間の位置を示す。また、画素Ａと画素Ｃの間にブロックの境界がある。

まず、境界の両側に位置する画素Ａと画素Ｃの画素値の差を閾値ＴＨ１と比較する。画素値の差がＴＨ１以上の場合には、本来の画像にエッジがあるものとしてデブロッキング・フィルタＤＢＦを適用しない。画素値の差がＴＨ１未満の場合には、符号化歪みによって発生した画素値の差であるとし、デブロッキング・フィルタＤＢＦを適用する。

次に、ブロック内の画素である画素Ａと画素Ｂ、および画素Ｃと画素Ｄの差を閾値ＴＨ２と比較する。ブロック内の画素値にはブロック歪みが含まれていないはずであるが、画素Ａと画素Ｃの間でデブロッキング・フィルタＤＢＦを適用すれば画素Ａと画素Ｃの画素値がデブロッキング・フィルタ処理で変化する。その影響によって、ブロック内の画素である画素Ａと画素Ｂ、および画素Ｃと画素Ｄの画素値の差も変化する。そこで、ブロック内の画素である画素Ａと画素Ｂ、および画素Ｃと画素Ｄの画素値の差が小さい場合にはブロック内にエッジが無いものと判断し、画素Ａと画素Ｃの間でデブロッキング・フィルタＤＢＦを適用する。逆に、画素Ａと画素Ｂ、および画素Ｃと画素Ｄの画素値の差が大きい場合には、画素Ａと画素Ｃの間でデブロッキング・フィルタＤＢＦを適用することで、ブロック内のエッジが除去される可能性があるため、画素Ａと画素Ｃの間でデブロッキング・フィルタＤＢＦを適用しないか、もしくは弱めのデブロッキング・フィルタＤＢＦを適用する。

例えば、同図では、画素Ａの画素値と画素Ｃの画素値との差が、閾値ＴＨ１を超えているので、画素Ａと画素Ｃとの間に本来の画像にエッジがあるものとしてデブロッキング・フィルタＤＢＦは適用されない。もし、画素Ａの画素値と画素Ｃの画素値との差が閾値ＴＨ１未満だとすると、画素Ａと画素Ｂ、および画素Ｃと画素Ｄの画素値の差が閾値ＴＨ２未満なのでブロック境界にデブロッキング・フィルタＤＢＦが適用される。

このように、アダプタブルフィルタでは、閾値によってデブロッキング・フィルタの適用・非適用を切替えることができるので、閾値を切替えることでデブロッキング・フィルタＤＢＦの強度（適用のされやすさ）を切替えることができる。

以下、誤り情報ｅｒｒを利用した具体的なデブロッキング・フィルタの選択方法の例を、選択方法１、選択方法２、選択方法３、および選択方法４で説明する。

（選択方法１）
図３は本発明の画像復号化方法において選択方法１の手順でデブロッキング・フィルタを行う場合のフローチャートである。図３に示した選択方法１でデブロッキング・フィルタを行う場合のフローチャートと、図１８に示した従来の画像符号化方法でデブロッキング・フィルタを行う場合のフローチャートとで同じ動作をするステップは同じステップ番号を付し、説明を省略する。

デブロッキング・フィルタＤＢＦは、エラーが検出されたブロックと前記ブロックに隣接するブロックとについて、前記両ブロック間の境界に対し、前記複数のデブロッキング・フィルタの中で、最も平滑度の高いデブロッキング・フィルタを用いてフィルタリングすることを決定する前記決定ステップを実行する手段の一例である。

Ｓｔｅｐ２０で、隣接する２つのブロックについて少なくとも一方のブロックにエラーがあって修整されたブロックであるか否かを判定する。エラーがあった場合（Ｓｔｅｐ２０で、はい）には、Ｓｔｅｐ２５にてフィルタ４を用いたデブロッキング・フィルタを行って終了する。フィルタ４はエラーのため修整されたブロック専用のデブロッキング・フィルタである。両方のブロックにエラーがなければ（Ｓｔｅｐ２０で、いいえ）、Ｓｔｅｐ１０に進み、以降の処理は図１８の従来の画像符号化方法で使用するデブロッキング・フィルタのフローチャートと同じである。

以上のようにして、エラーが発生し修整されたブロックは、修整されたブロックに適したデブロッキング・フィルタ処理が実施でき、エラーが発生したブロックのブロック歪みを効率よく除去することができる。

なお、フィルタ４を新たに設けるのではなく、平滑度が一番高いフィルタ０をフィルタ４の代わりに使用してもよい。

（選択方法２）
図４は本発明の画像復号化方法において選択方法２の手順でデブロッキング・フィルタを行う場合のフローチャートである。図４に示した選択方法２でデブロッキング・フィルタを行う場合のフローチャートと、図３に示した選択方法１でデブロッキング・フィルタを行う場合のフローチャートとで同じ動作をするステップには同じ記号を付し、説明を省略する。

デブロッキング・フィルタＤＢＦは、エラーが検出された前記ブロックに隣接する前記ブロックについてもエラーが検出された場合、前記両ブロック間の境界にはフィルタリングしないことを決定する前記決定ステップを実行する手段の一例である。すなわち、Ｓｔｅｐ３０では隣接する２つのブロックについて、両方のブロックにエラーがあって修整されたブロックであるか否かを判定する。両方にエラーがあった場合には、両ブロックが図１９のエラー修整の説明図に示すような方法で参照画像を用いた修整が行われている。両ブロックの境界については、参照画面を復号した際に既にデブロッキング・フィルタ処理が行われているため、再度デブロッキング・フィルタ処理を行う必要がない。そこで、両ブロックにエラーがあった場合（Ｓｔｅｐ３０で、はい）は、デブロッキング・フィルタ処理を行わずに終了する。それ以外の場合（Ｓｔｅｐ３０で、いいえ）には、Ｓｔｅｐ３１に進む。

Ｓｔｅｐ３１は、一方のブロックにエラーがあって修整されたブロックであるか否かを判定する。エラーがあった場合（Ｓｔｅｐ３１で、はい）には、Ｓｔｅｐ２５にてフィルタ４を用いたデブロッキング・フィルタを行って終了する。フィルタ４はエラーのため修整されたブロック専用のデブロッキング・フィルタである。両方のブロックのいずれにもエラーがなければ（Ｓｔｅｐ３１で、いいえ）、Ｓｔｅｐ１０に進み、以降の処理は図３に示した本発明の画像復号化方法でデブロッキング・フィルタを行う場合のフローチャートと同じである。

以上のようにして、両方のブロックにエラーがある場合はデブロッキング・フィルタ処理が行われないようにし、既に参照画像を復号化した時点でデブロッキング・フィルタ処理された画素値を、再度デブロッキング・フィルタ処理することで必要以上にブロック境界をぼかすことを防ぐことができる。

なお、フィルタ４を新たに設けるのではなく、平滑度が一番高いフィルタ０をフィルタ４の代わりに使用してもよい。

（選択方法３）
図５は本発明の画像復号化方法において選択方法３の手順でデブロッキング・フィルタを行う場合のフローチャートである。図５に示した選択方法３でデブロッキング・フィルタを行う場合のフローチャートと、図３に示した選択方法１でデブロッキング・フィルタを行う場合のフローチャートとで同じ動作をするステップは同じ記号を付し、説明を省略する。

Ｓｔｅｐ３１では、隣接する２つのブロックについて、一方のブロックにエラーがあって修整されたブロックであるか否かを判定する。エラーがあった場合（Ｓｔｅｐ３１で、はい）には、図１９のエラー修整の説明図に示すような方法で参照画像を用いた修整が行われている。エラー修整は、エラーのあったブロックの画素を、参照画像の同じ空間位置のブロックの画素値で置換するため、動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化のブロックの復号化と同じ復号処理とみなすことができる。デブロッキング・フィルタＤＢＦは、前記誤り修整ステップで画素値が置き換えられた前記ブロックにつき、動き量０で画面間符号化されたブロックとして処理できるような付加情報を付加もしくは付加情報を変更する情報付加ステップと、前記付加情報が付加されているブロックについては、エラーが検出されなかったブロックと同じ方法でフィルタリングするかしないか及び使用するデブロッキング・フィルタを決定する前記決定ステップとを実行する手段の一例である。したがって、エラーのあるブロックは、Ｓｔｅｐ４１にて、そのブロックが動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化であるとみなす処理、例えば、エラーのあるブロックに、動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化ブロックであることを示すフラグを付加するなどの処理を行い、Ｓｔｅｐ１０に進む。両方のブロックにエラーがなければ（Ｓｔｅｐ３１で、いいえ）、Ｓｔｅｐ１０に進む。Ｓｔｅｐ１０以降の処理では各ブロックについて、さらに、動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化ブロックであることを示すフラグを確認した上で分岐を判断し、デブロッキング処理を選択する点が異なる。それ以外は図３に示した本発明の画像復号化方法においてデブロッキング・フィルタを行う場合のフローチャートと同じである。

以上の処理により、エラーが発生した場合も、従来のエラーを考慮しないデブロッキング・フィルタ処理と殆ど同じ処理を用い、隣接するエラーのないブロックの情報を用いて適切なデブロッキング・フィルタ処理を行ってブロック歪みを効率よく除去することができる。

（選択方法４）
図６は本発明の画像復号化方法において選択方法４でデブロッキング・フィルタを行う場合のフローチャートである。図６に示した選択方法４でデブロッキング・フィルタを行う場合のフローチャートと、図５に示した選択方法３でデブロッキング・フィルタを行う場合のフローチャートとで同じ動作をするステップには同じ記号を付し、説明を省略する。

Ｓｔｅｐ５１では、隣接する２つのブロックについて、エラーがあって修整されたブロックであるか否かを判定する。エラーがあった場合（Ｓｔｅｐ５１で、はい）には、図１９のエラー修整の説明図に示すような方法で参照画像を用いた修整が行われている。エラー修整は、エラーのあったブロックの画素を、参照画像の同じ空間位置のブロックの画素値で置換するため、動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化のブロックの復号化と同じ復号処理とみなすことができる。したがって、エラーのあるブロックは、Ｓｔｅｐ４１にて、そのブロックが動きベクトル０で画素値の残差を表す係数が符号化されていない画面間符号化であるとみなす処理、例えば、エラーのあるブロックにフラグを付加するなどの処理を行い、Ｓｔｅｐ１０に進む。

Ｓｔｅｐ５１で両方のブロックにエラーがなければ（Ｓｔｅｐ５１で、いいえ）、Ｓｔｅｐ１０に進む。

両方のブロックにエラーがある場合は、両方のブロックが、動きベクトル０で係数が符号化されていない画面間符号化とみなされることになる。その結果、Ｓｔｅｐ１０以降では、Ｓｔｅｐ１１、Ｓｔｅｐ１２と進み、Ｓｔｅｐ１８で最も平滑度が低いフィルタ３でデブロッキング・フィルタ処理が行われる。

その他の処理は図５に示した本発明の画像復号化方法におけるデブロッキング・フィルタを行う場合のフローチャートと同じである。

以上の処理により、エラーが一方のブロックであるか、両方のブロックであるかに関わらず、エラーのブロックをＳｔｅｐ４１で処理した後はエラーがない場合と全く同じ構成にし、選択方法３とほぼ同じ効果をより簡単化した処理で実現することができる。

（実施の形態２）
図７は本発明の実施の形態２に係る画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。図７の本発明の画像復号化装置のブロック図と、図１の本発明の画像復号化装置のブロック図で同じ動作をする処理部には同じ記号を付し、説明を省略する。

実施の形態１において図１の画像復号化装置では、可変長復号化部ＶＬＤにて、符号化データＳｔｒから誤り情報ｅｒｒを検出した。しかしながら、アプリケーションの種類や機器の実装方法によっては、符号化データＳｔｒでなく、符号化データＳｔｒを受信する機器から誤り情報ｅｒｒを取得できる場合がある。この場合には、図７に示すように、誤り情報ｅｒｒが外部から与えられる。

図８は、インターネットなどの伝送路を介して符号化データを送受信する送信側装置と受信側装置との関係を示す図である。同図に示すように、送信側装置は内部に画像符号化装置であるＶＥｎｃ１３０１、Ａ／Ｖ多重部１３０２及び変調部１３０３を備えている。ＶＥｎｃ１３０１は動画像を符号化し、画像の符号化ストリームを次段のＡ／Ｖ多重部１３０２に出力する。Ａ／Ｖ多重部１３０２ではＶＥｎｃ１３０１から入力される画像符号化ストリームと、別途入力されるオーディオ符号化ストリームとを多重化する。さらに、Ａ／Ｖ多重部１３０２は、多重化された符号化ストリームに伝送メディアには依存しない誤り訂正符号ＦＥＣを必要に応じて付加して、変調部１３０３に出力する。変調部１３０３はＡ／Ｖ多重部１３０２から入力された多重化符号化ストリームを、アナログ伝送用に変調する。このとき、変調部１３０３では、それぞれの伝送路（例えば、放送またはインターネットなど）に適した誤り訂正符号ＦＥＣを必要に応じて付加し、アナログ伝送路に送出する。

このように伝送路に送出された多重化符号化ストリームを、受信側装置が受信する。なお、受信側装置は復調部１３０４、Ａ／Ｖ分離部１３０５及び最終段に本発明の画像復号化装置であるＶＤｅｃ１３０６を備えている。ここで、復調部１３０４及びＡ／Ｖ分離部１３０５は、伝送エラーが生じた前記ＩＰパケットの符号化データ中の位置を検出するエラー位置検出手段の一例である。伝送路を介して受信側装置で受信された多重化符号化ストリームは、まず、復調部１３０４で復調される。このとき、伝送路上で生じたエラーは、復調部１３０４で誤り訂正符号ＦＥＣに基づいて誤り訂正が行われる。誤り訂正でエラーが正しく訂正できる場合には、誤りが発生したストリーム位置を通知しない。一方、誤り訂正で訂正できない場合には、復調部１３０４では電界強度が所定の閾値よりも低くなったとき、伝送エラーが生じていると判断するなど等により、誤りが発生したストリーム位置が通知される。復調部１３０４で復調された多重化符号化ストリームはＡ／Ｖ分離部１３０５に入力され、Ａ／Ｖ分離部１３０５で画像符号化ストリームとオーディオ符号化ストリームとに分離される。さらに、Ａ／Ｖ分離部１３０５においても、分離されたそれぞれの符号化ストリームは、誤り訂正符号ＦＥＣに基づいて誤り訂正される。誤り訂正でエラーが正しく訂正できる場合には、誤りが発生したストリーム位置を通知しない。一方、誤り訂正で訂正できない場合には、Ａ／Ｖ分離部１３０５ではパケットと呼ばれる伝送単位のヘッダに含まれるパケットの通し番号の不連続を検出したとき、伝送エラーが生じていると判断するなど等により、誤りが発生したストリーム位置が通知される。分離されたオーディオ符号化ストリームは、図示しないオーディオ復号化装置に出力される。ＶＤｅｃ１３０６は、各ブロックが前記符号化データ中において前記エラー位置にあるか否かに応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のデブロッキング・フィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定手段を備える画像復号化装置の一例である。他方、分離された画像符号化ストリームは、符号化データＳｔｒとして画像復号化装置であるＶＤｅｃ１３０６に入力され、復号化される。この際に、復調部１３０４及びＡ／Ｖ分離部１３０５で誤り訂正符号ＦＥＣを用いても訂正できなかった符号化データＳｔｒ中の位置が、誤り情報ｅｒｒとしてＶＤｅｃ１３０６に通知される。

なお、この場合、誤り情報ｅｒｒで通知されるエラーの位置は符号化ストリーム中の位置で示されているので、どのブロックにエラーが含まれているかはＶＤｅｃ１３０６の内部で復号化が行われる過程で特定される。図７では誤り情報ｅｒｒが直接デブロッキング・フィルタＤＢＦに入力されている例を示しているが、可変長復号化部ＶＬＤに入力されるとしてもよい。後出の図１０についても同様である。

以上の構成により、誤り情報ｅｒｒが外部から与えられた場合も、図１の実施の形態１と同様に、エラーが発生して誤り修整部ＥＣで修整されたブロックについても、適切なデブロッキング・フィルタを選択してブロック歪みを除去することができる。

（実施の形態３）
図９は本発明の実施の形態３に係る画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。図９に示した本発明の画像復号化装置のブロック図と、図１に示した本発明の画像復号化装置のブロック図とで同じ動作をする処理部は同じ記号を付し、説明を省略する。

図１の実施の形態１、および図７の実施の形態２では、デブロッキング・フィルタＤＢＦで処理した結果をピクチャメモリＰＭに格納し、動き補償部ＭＣや誤り修整部ＥＣで参照画像として使用する画像復号装置について説明した。これは、デブロッキング・フィルタＤＢＦの結果が画面間予測に使われることから、ループ内フィルタとも呼ばれている。

しかしながら、デブロッキング・フィルタの切り替えに誤り情報ｅｒｒを用いるという本発明の特徴は、デブロッキング・フィルタＤＢＦで処理した結果を復号画像Ｖoutとするが、ピクチャメモリＰＭにはデブロッキング・フィルタＤＢＦ処理前の画像を格納する場合にも適用できる。これは、デブロッキング・フィルタＤＢＦの結果が画面間予測に使われないことから、ポスト・フィルタとも呼ばれている。

以上の構成により、デブロッキング・フィルタＤＢＦの結果が画面間予測に使われない画像復号化で、エラーが発生して誤り修整部ＥＣで修整されたブロックについても、適切なデブロッキング・フィルタを選択してブロック歪みを除去することができる。

（実施の形態４）
図１０は本発明の実施の形態４に係る画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。図１０に示した本発明の画像復号化装置のブロック図と、図９に示した本発明の画像復号化装置のブロック図とで同じ動作をする処理部は同じ記号を付し、説明を省略する。

図９に示した画像復号化装置では、可変長復号化部ＶＬＤにて、符号化データＳｔｒから誤り情報ｅｒｒを検出した。しかしながら、アプリケーションの種類や機器の実装方法によっては、符号化データＳｔｒから検出するのでなく、符号化データＳｔｒを受信する外部の機器または処理部（受信部など）から誤り情報ｅｒｒを取得できる場合がある。この場合には、図１０に示すように、誤り情報ｅｒｒが外部から与えられる。

以上の構成により、誤り情報ｅｒｒが外部から与えられた場合も、図９の実施の形態３と同様に、エラーが発生して誤り修整部ＥＣで修整されたブロックについても、適切なデブロッキング・フィルタを選択してブロック歪みを除去することができる。

なお、上記実施の形態では、インターネット及びデジタル放送などの伝送路における伝送エラーによって生じたエラーのあるブロックについて、当該ブロックと隣接するブロックとの境界に生じるブロック歪みを、デブロッキング・フィルタＤＢＦの平滑度の高さを切り替えてフィルタリングする場合について説明した。しかしながら、本発明はこれに限定されず、さらに、例えば、DVDディスクのキズなどによる読み取りエラーなどについても同様にしてブロック歪みの平滑化を適切に行うことができる。

（実施の形態５）
さらに、上記各実施の形態で示した画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１１は、上記各実施の形態の画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１１(ｂ) は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１(ａ) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１１(ｃ) は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像復号化方法を実現する上記画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態６）
さらにここで、上記実施の形態で示した画像復号化方法の応用例とそれを用いたシステムを説明する。

図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図１２のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の復号化には上記各実施の形態で示した画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。
図１３は、上記実施の形態で説明した画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーex２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図１４を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーex２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってデジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してデジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図１５に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex４２０がある。更にSDカードex４２２に記録することもできる。レコーダex４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex４２１やSDカードex４２２に記録した画像信号を再生し、モニタex４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図１４に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

なお、ブロック図（図１６、図２０、図１、図７、図９、図１０、図１１など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明を用いることにより、エラーが発生した場合もデブロッキング・フィルタを適切に切り替えることでエラー発生時に劣化の少ない復号画像が復元でき、その実用的価値が高い。

本発明の画像復号化方法を用いる画像復号化装置の構成を示すブロック図（実施の形態１）である。 （ａ）は、デブロッキング・フィルタＤＢＦが適用されるブロック境界の一例を示す図である。（ｂ）は、デブロッキング・フィルタＤＢＦがアダプタブルフィルタである場合の動作の一例を示す図である。 本発明の画像復号化方法で使用するデブロッキング・フィルタのフローチャート（選択方法１）である。 本発明の画像復号化方法で使用するデブロッキング・フィルタのフローチャート（選択方法２）である。 本発明の画像復号化方法で使用するデブロッキング・フィルタのフローチャート（選択方法３）である。 本発明の画像復号化方法で使用するデブロッキング・フィルタのフローチャート（選択方法４）である。 本発明の画像復号化方法を用いる画像復号化装置の構成を示すブロック図（実施の形態２）である。 インターネットなどの伝送路を介して符号化データを送受信する送信側装置と受信側装置との関係を示す図である。 本発明の画像復号化方法を用いる画像復号化装置の構成を示すブロック図（実施の形態３）である。 本発明の画像復号化方法を用いる画像復号化装置の構成を示すブロック図（実施の形態４）である。 上記各実施の形態の画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態５）である。 コンテンツ供給システムの全体構成を示すブロック図（実施の形態６）である。 画像復号化方法を用いた携帯電話の例（実施の形態６）である。 携帯電話のブロック図（実施の形態６）である。 デジタル放送用システムの例（実施の形態６）である。 従来の画像復号化方法を用いる画像復号化装置の構成を示すブロック図である。 デブロッキング・フィルタを選択する方法の例である。 従来の画像符号化方法で使用するデブロッキング・フィルタのフローチャートである。 エラー修整の説明図である。 従来の画像符号化方法を用いる画像復号化装置の構成を示すブロック図である。

符号の説明

Ｓｔｒ 符号化データ
ＶＬＤ 可変長復号化部
ＤＢＦ デブロッキング・フィルタ
ＰＭ ピクチャメモリ
ＥＣ 誤り修整部
ＭＣ 動き補償部
ＩＱ 逆量子化部
ＩＴ 逆直交変換部
Ａｄｄ 加算部
ＩＰ 面内予測部
Ｓｅｌ２ スイッチ
Ｓｅｌ１ スイッチ
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
１３０１ ＶＥｎｃ
１３０２ Ａ／Ｖ多重部
１３０３ 変調部
１３０４ 復調部
１３０５ Ａ／Ｖ分離部
１３０６ ＶＤｅｃ

Claims (6)

1. ブロック単位で画面間予測符号化され、動き量を示す付加情報が付加されている符号化データを復号化し、復号化されたブロック間の境界に生じるブロック歪みを、フィルタを用いて平滑化する画像復号化方法であって、
   前記符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出ステップと、
   前記エラー検出ステップでエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整ステップと、
   前記誤り修整ステップで画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加ステップと、
   ブロックごとに、当該ブロックの付加情報が示す動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定ステップとを含み、
   前記決定ステップでは、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定する
   ことを特徴とする画像復号化方法。
2. 前記画像復号化方法は、さらに、
   前記決定ステップでの決定に従ったフィルタリングが画像内のすべてのブロック境界に対して適用された画像を参照画像として用い、前記符号化データ中の画面間予測符号化されたブロックを復号化する復号化ステップを含む
   ことを特徴とする請求項１記載の画像復号化方法。
3. ブロック単位で画面間予測符号化され、動き量を示す付加情報が付加されている符号化データを復号化し、復号化されたブロック間の境界に生じるブロック歪みを、フィルタを用いて平滑化する画像復号化装置であって、
   前記符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出手段と、
   前記エラー検出手段でエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整手段と、
   前記誤り修整手段で画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加手段と、
   ブロックごとに、当該ブロックの付加情報が示す動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定手段とを備え、
   前記決定手段は、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定する
   ことを特徴とする画像復号化装置。
4. ブロック単位で画面間予測符号化され、動き量を示す付加情報が付加されている符号化データを復号化し、復号化されたブロック間の境界に生じるブロック歪みを、フィルタを用いて平滑化する画像復号化装置を実装する集積回路であって、
   前記符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出手段と、
   前記エラー検出手段でエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整手段と、
   前記誤り修整手段で画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加手段と、
   ブロックごとに、当該ブロックの付加情報が示す動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定手段とを備え、
   前記決定手段は、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定する
   ことを特徴とする集積回路。
5. 動画像が符号化され、動き量を示す付加情報が付加されている符号化データを、インターネットを介して、ＩＰパケットで受信するＩＰ受信装置であって、
   伝送エラーが生じた前記ＩＰパケットの符号化データ中の位置を検出するエラー位置検出手段と、
   前記エラー位置検出手段でエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整手段と、
   前記誤り修整手段で画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加手段と、
   ブロックごとに、当該ブロックの付加情報が示す動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定手段とを備え、
   前記決定手段は、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定する
   ことを特徴とするＩＰ受信装置。
6. ブロック単位で画面間予測符号化され、動き量を示す付加情報が付加されている符号化データを復号化し、復号化されたブロック間の境界に生じるブロック歪みを、フィルタを用いて平滑化する画像復号化装置のためのプログラムであって、コンピュータに、
   前記符号化データに含まれるエラーの有無をブロックごとに検出するエラー検出ステップと、前記エラー検出ステップでエラーが検出された場合に、エラーが検出されたブロックの各画素の画素値を、参照画像内で当該ブロックと同位置にあるブロックの各画素の画素値で置き換える誤り修整ステップと、前記誤り修整ステップで画素値が置き換えられたブロックの付加情報を、動き量が０であって画面間予測符号化されているブロックであることを示す情報に置き換える情報付加ステップと、ブロックごとに、当該ブロックの付加情報が示す動き量に応じて、当該ブロックと隣接するブロックとの境界に対し、平滑度の異なる複数のフィルタのいずれを用いてフィルタリングするか、およびフィルタリングするかしないかを決定する決定ステップとを実行させ、前記決定ステップでは、隣接する２つのブロックの動き量がともに０である場合、前記隣接する２つのブロック間の境界に対してはフィルタリングしないことを決定するプログラム。

Images