JP2004056264A - 画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法 - Google Patents

Abstract

【課題】復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる画像復号装置を提供する。
【解決手段】モード選択手段２０による選択に従って画質優先モードと速度優先モードとを切り替え、タイル境界平滑化手段２７またはタイル境界平滑化手段２８による復号後の各フレームにおけるタイル境界歪みの平滑化処理を実行する。これにより、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することができるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる。
【選択図】　　　　図１１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ　Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
【発明が解決しようとする課題】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「Ｊ．　Ｘ．　Ｗｅｉ，　Ｍ．　Ｒ．　Ｐｉｃｋｅｒｉｎｇ，　Ｍ．　Ｒ．　Ｆｒａｔｅｒ　ａｎｄ　Ｊ．　Ｆ．　Ａｒｎｏｌｄ，　”Ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｒｅｄｕｃｉｎｇ　Ｂｏｕｎｄａｒｙ　Ａｒｔｉｆａｃｔｓ　ｉｎ　Ｂｌｏｃｋ−Ｂａｓｅｄ　Ｗａｖｅｌｅｔ　Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ，”　ｉｎ　ＶＣＩＰ　２０００，　Ｋ．　Ｎ．　Ｎｇａｎ，　Ｔ．　Ｓｉｋｏｒａ，　Ｍ−Ｔ　Ｓｕｎ　Ｅｄｓ．，　Ｐｒｏｃ．　ｏｆ　ＳＰＩＥ　Ｖｏｌ．　４０６７，　ｐｐ．　１２９０−１２９５，　２０−２３　Ｊｕｎｅ　２０００，　Ｐｅｒｔｈ，　Ａｕｓｔｒａｌｉａ」にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸張後の画像においてタイルの境界が不連続となるという問題がある。
【０００８】
そこで、このような問題を解決すべく、タイル境界の近傍のみに均一なローパスフィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【０００９】
また、このような１フレームのＪＰＥＧ２０００画像は、所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にすることが可能である。
【００１０】
ところが、上述したようなローパスフィルタによる処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、動画像における再生処理の遅れは、音声とのずれや、コマ落ちなどの問題を生じることになる。
【００１１】
本発明の目的は、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１２】
【課題を解決するための手段】
請求項１記載の発明の画像復号装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する画像復号装置において、復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段と、このタイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択手段と、前記タイル境界平滑化手段による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択手段による選択に従って画質優先モードと速度優先モードとを切り替えるタイル境界平滑化切替手段と、を備える。
【００１３】
したがって、モード選択手段による選択に従って画質優先モードと速度優先モードとが切り替えられ、タイル境界平滑化手段による復号後の各フレームにおけるタイル境界歪みの平滑化処理が実行される。これにより、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することが可能になるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００１４】
請求項２記載の発明は、請求項１記載の画像復号装置において、前記モード選択手段は、フレームに応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替手段は、動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとする。
【００１５】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の開始フレームと最終フレームとにのみ画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００１６】
請求項３記載の発明は、請求項２記載の画像復号装置において、前記タイル境界平滑化切替手段は、動画像の再生の停止に係る停止フレームについても画質優先モードとする。
【００１７】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の再生の停止に係る停止フレームにも画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００１８】
請求項４記載の発明は、請求項１記載の画像復号装置において、前記モード選択手段は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替手段は、復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとする。
【００１９】
したがって、符号量の小さいフレームは圧縮率が大きいのでタイル境界歪みが目立つことから画質優先モードが選択され、符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立たないことから速度優先モードが選択される。これにより、全てのフレームについて最適なタイル境界歪みの平滑化処理が実行されるので、品質の良い再生画像を得ることが可能になる。
【００２０】
請求項５記載の発明は、請求項１記載の画像復号装置において、前記モード選択手段は、フレームレートに応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替手段は、フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとする。
【００２１】
したがって、動画はフレームレートが大きくなるほどタイル境界歪みが目立ちにくいことから、フレームレートが所定の閾値よりも大きい場合には速度優先モードが選択され、フレームレートが所定の閾値よりも小さい場合には画質優先モードが選択される。これにより、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００２２】
請求項６記載の発明は、請求項１ないし５の何れか一記載の画像復号装置において、前記タイル境界平滑化手段は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施す。
【００２３】
したがって、オーバーラップによるタイル境界歪みの平滑化処理に比して、より簡易な手法で、タイル境界の歪みを抑制することが可能になる。
【００２４】
請求項７記載の発明は、請求項６記載の画像復号装置において、速度優先モードの前記タイル境界平滑化手段は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、画質優先モードの前記タイル境界平滑化手段は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施す。
【００２５】
したがって、画質優先モードの場合にはローパスフィルタの強度を適応的に制御することから、画素に対して一様なローパスフィルタを施す速度優先モードに比べて、品質の良い画像を再生することが可能になる。
【００２６】
請求項８記載の発明は、請求項７記載の画像復号装置において、画質優先モードの前記タイル境界平滑化手段は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御する。
【００２７】
したがって、タイル境界歪みを抑制しつつ、タイル境界近傍でエッジが強い場合に生じる画質劣化を抑制することが可能になる。
【００２８】
請求項９記載の発明は、請求項１ないし８の何れか一記載の画像復号装置において、タイル境界を限定する補正タイル境界限定手段を備え、この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにした。
【００２９】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３０】
請求項１０記載の発明は、請求項９記載の画像復号装置において、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００３１】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３２】
請求項１１記載の発明の画像処理装置は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する請求項１ないし１０の何れか一記載の画像復号装置と、この画像復号装置により復号されたフレームに基づく画像を表示装置に表示させる画像表示装置と、を備える。
【００３３】
したがって、請求項１ないし１０の何れか一記載の発明と同様の作用を奏する画像処理装置を提供することが可能になる。
【００３４】
請求項１２記載の発明の動画像表示システムは、動画像を撮像する画像入力装置と、この画像入力装置により撮像した動画像についてフレームごとに複数のタイルに分割し当該タイルごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化する画像圧縮装置と、この画像圧縮装置により圧縮符号化された複数のフレームを連続して復号する請求項１ないし１０の何れか一記載の画像復号装置と、この画像復号装置により復号されたフレームに基づく画像を表示装置に表示させる画像表示装置と、を備える。
【００３５】
したがって、請求項１ないし１０の何れか一記載の発明と同様の作用を奏する動画像表示システムを提供することが可能になる。
【００３６】
請求項１３記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームの連続した復号をコンピュータに実行させるプログラムであって、復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能と、このタイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択機能と、前記タイル境界平滑化機能による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択機能による選択に従って画質優先モードと速度優先モードとを切り替えるタイル境界平滑化切替機能と、を前記コンピュータに実行させる。
【００３７】
したがって、モード選択機能による選択に従って画質優先モードと速度優先モードとが切り替えられ、タイル境界平滑化機能による復号後の各フレームにおけるタイル境界歪みの平滑化処理が実行される。これにより、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することが可能になるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００３８】
請求項１４記載の発明は、請求項１３記載のプログラムにおいて、前記モード選択機能は、フレームに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替機能は、動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとする。
【００３９】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の開始フレームと最終フレームとにのみ画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００４０】
請求項１５記載の発明は、請求項１４記載のプログラムにおいて、前記タイル境界平滑化切替機能は、動画像の再生の停止に係る停止フレームについても画質優先モードとする。
【００４１】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の再生の停止に係る停止フレームにも画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００４２】
請求項１６記載の発明は、請求項１３記載のプログラムにおいて、前記モード選択機能は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替機能は、復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとする。
【００４３】
したがって、符号量の小さいフレームは圧縮率が大きいのでタイル境界歪みが目立つことから画質優先モードが選択され、符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立たないことから速度優先モードが選択される。これにより、全てのフレームについて最適なタイル境界歪みの平滑化処理が実行されるので、品質の良い再生画像を得ることが可能になる。
【００４４】
請求項１７記載の発明は、請求項１３記載のプログラムにおいて、前記モード選択機能は、フレームレートに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、前記タイル境界平滑化切替機能は、フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとする。
【００４５】
したがって、動画はフレームレートが大きくなるほどタイル境界歪みが目立ちにくいことから、フレームレートが所定の閾値よりも大きい場合には速度優先モードが選択され、フレームレートが所定の閾値よりも小さい場合には画質優先モードが選択される。これにより、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００４６】
請求項１８記載の発明は、請求項１３ないし１７の何れか一記載のプログラムにおいて、前記タイル境界平滑化機能は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施す。
【００４７】
したがって、オーバーラップによるタイル境界歪みの平滑化処理に比して、より簡易な手法で、タイル境界の歪みを抑制することが可能になる。
【００４８】
請求項１９記載の発明は、請求項１８記載のプログラムにおいて、速度優先モードの前記タイル境界平滑化機能は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、画質優先モードの前記タイル境界平滑化機能は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施す。
【００４９】
したがって、画質優先モードの場合にはローパスフィルタの強度を適応的に制御することから、画素に対して一様なローパスフィルタを施す速度優先モードに比べて、品質の良い画像を再生することが可能になる。
【００５０】
請求項２０記載の発明は、請求項１９記載のプログラムにおいて、画質優先モードの前記タイル境界平滑化機能は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御する。
【００５１】
したがって、タイル境界歪みを抑制しつつ、タイル境界近傍でエッジが強い場合に生じる画質劣化を抑制することが可能になる。
【００５２】
請求項２１記載の発明は、請求項１３ないし２０の何れか一記載のプログラムにおいて、タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにした。
【００５３】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５４】
請求項２２記載の発明は、請求項２１記載のプログラムにおいて、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００５５】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５６】
請求項２３記載の発明の記憶媒体は、請求項１３ないし２２の何れか一記載のプログラムを記憶している。
【００５７】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１３ないし２２の何れか一記載の発明と同様の作用を得ることが可能になる。
【００５８】
請求項２４記載の発明の画像復号方法は、画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する画像復号方法であって、復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程と、このタイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択工程と、を含み、前記タイル境界平滑化工程による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択工程による選択に従って画質優先モードと速度優先モードとを切り替えるようにする。
【００５９】
したがって、モード選択工程による選択に従って画質優先モードと速度優先モードとが切り替えられ、タイル境界平滑化工程による復号後の各フレームにおけるタイル境界歪みの平滑化処理が実行される。これにより、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することが可能になるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００６０】
請求項２５記載の発明は、請求項２４記載の画像復号方法において、前記モード選択工程は、フレームに応じて前記タイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとする。
【００６１】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の開始フレームと最終フレームとにのみ画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００６２】
請求項２６記載の発明は、請求項２５記載の画像復号方法において、動画像の再生の停止に係る停止フレームについても画質優先モードとする。
【００６３】
したがって、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の再生の停止に係る停止フレームにも画質優先モードが選択される。これにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することが可能になる。
【００６４】
請求項２７記載の発明は、請求項２４記載の画像復号方法において、前記モード選択工程は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとする。
【００６５】
したがって、符号量の小さいフレームは圧縮率が大きいのでタイル境界歪みが目立つことから画質優先モードが選択され、符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立たないことから速度優先モードが選択される。これにより、全てのフレームについて最適なタイル境界歪みの平滑化処理が実行されるので、品質の良い再生画像を得ることが可能になる。
【００６６】
請求項２８記載の発明は、請求項２４記載の画像復号方法において、前記モード選択工程は、フレームレートに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとする。
【００６７】
したがって、動画はフレームレートが大きくなるほどタイル境界歪みが目立ちにくいことから、フレームレートが所定の閾値よりも大きい場合には速度優先モードが選択され、フレームレートが所定の閾値よりも小さい場合には画質優先モードが選択される。これにより、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することが可能になる。
【００６８】
請求項２９記載の発明は、請求項２４ないし２８の何れか一記載の画像復号方法において、前記タイル境界平滑化工程は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施す。
【００６９】
したがって、オーバーラップによるタイル境界歪みの平滑化処理に比して、より簡易な手法で、タイル境界の歪みを抑制することが可能になる。
【００７０】
請求項３０記載の発明は、請求項２９記載の画像復号方法において、速度優先モードの前記タイル境界平滑化工程は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、画質優先モードの前記タイル境界平滑化工程は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施す。
【００７１】
したがって、画質優先モードの場合にはローパスフィルタの強度を適応的に制御することから、画素に対して一様なローパスフィルタを施す速度優先モードに比べて、品質の良い画像を再生することが可能になる。
【００７２】
請求項３１記載の発明は、請求項３０記載の画像復号方法において、画質優先モードの前記タイル境界平滑化工程は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御する。
【００７３】
したがって、タイル境界歪みを抑制しつつ、タイル境界近傍でエッジが強い場合に生じる画質劣化を抑制することが可能になる。
【００７４】
請求項３２記載の発明は、請求項２４ないし３１の何れか一記載の画像復号方法において、タイル境界を限定する補正タイル境界限定工程を含み、この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにした。
【００７５】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００７６】
請求項３３記載の発明は、請求項３２記載の画像復号方法において、前記補正タイル境界限定工程により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内である。
【００７７】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００７８】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００７９】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００８０】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ　Ｗａｖｅｌｅｔ　Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００８１】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００８２】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００８３】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【００８４】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００８５】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００８６】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００８７】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００８８】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００８９】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００９０】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００９１】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００９２】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ　Ｓｉｇｎｉｆｉｃａｎｔ　Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００９３】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【００９４】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ　ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）、タイル境界位置情報やタイル境界方向情報等であるタイルパートヘッダ（ｔｉｌｅ　ｐａｒｔ　ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ　ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ　ｏｆ　ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【００９５】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００９６】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００」は、図７に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００９７】
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＭｏｔｉｏｎＪＰＥＧ２０００を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００９８】
図８は本発明が適用される監視カメラシステム１を示すシステム構成図、図９はその機能ブロック図である。図８に示すように、本発明の動画像表示システムが適用される監視カメラシステム１は、画像記録装置として機能する監視カメラ１ａと画像処理装置として機能するパーソナルコンピュータ（以下、ＰＣという）１ｂとをインターネットであるネットワーク１ｃを介して接続したものである。
【００９９】
図９に示すように、このような監視カメラシステム１の監視カメラ１ａは、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３とを備えている。一方、ＰＣ１ｂは、監視カメラ１ａの画像圧縮装置３で生成された符号列データを伸長（復号）して動画像の画像データとする画像復号装置である画像伸長装置６と、この伸長後の画像データによる画像を表示する画像表示装置７と、監視カメラ１ａの画像圧縮装置３で生成された符号列データを記憶する符号列記憶部９とを備えている。符号列記憶部９は、一般的なバッファとしての機能、あるいは、長期間に渡る動画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【０１００】
図１０は、監視カメラシステム１のハードウエア構成の一例を示すブロック図である。監視カメラシステム１を構成する監視カメラ１ａ及びＰＣ１ｂは、図１０に示すように、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１ａ，１１ｂをそれぞれ備えており、このＣＰＵ１１ａ，１１ｂには、各種のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）からなる記憶媒体であるメモリ１２ａ，１２ｂと、ネットワーク１ｃと通信を行う所定の通信インターフェイス１３ａ，１３ｂと、ユーザから各種の操作を受付ける操作パネル１８ａ，１８ｂとが、バス１４ａ，１４ｂを介して接続されている。
【０１０１】
監視カメラ１ａは、前述したように画像入力装置２と画像圧縮装置３とを備えており、これらの画像入力装置２、画像圧縮装置３も、バス１４ａを介してＣＰＵ１１ａに接続されている。
【０１０２】
ＰＣ１ｂは、画像表示装置７と、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示装置であるディスプレイ１９と、符号列記憶部９として機能する外部記憶装置であるＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１５と、配布されたプログラム（例えば、動画処理プログラム）であるコンピュータソフトウェアを記憶した記憶媒体１６からコンピュータソフトウェアを読み取るための機構であるドライブ１７と、を備えており、これらの画像表示装置７、ディスプレイ１９、ＨＤＤ１５、ドライブ１７も、バス１４ｂを介してＣＰＵ１１ｂに接続されている。
【０１０３】
このような構成のＰＣ１ｂのメモリ１２ｂ（のＲＯＭ）には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてＣＰＵ１１ｂが実行する処理により、画像伸長装置６の機能を実現する。
【０１０４】
なお、記憶媒体１６としては、ＣＤやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、ネットワーク１ｃからプログラムをダウンロードし、メモリ１２ｂにインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【０１０５】
ここで、監視カメラシステム１の各部の動作について簡単に説明する。まず、監視カメラ１ａの画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力する。画像圧縮装置３は、動画像のデジタル画素値信号を「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」に従って圧縮符号化する。この画像圧縮装置３における処理により、元の動画像のＲ，Ｇ，Ｂの各コンポーネントの動画像データは、フレームごとに１又は複数（通常は複数）のタイルに分割され、このタイルごとに階層的に圧縮符号化された符号化データとなる。このようにして「Ｍｏｔｉｏｎ　ＪＰＥＧ２０００アルゴリズム」に従って生成された符号列データ（Ｍｏｔｉｏｎ　ＪＰＥＧ２０００データ）はネットワーク１ｃを介してＰＣ１ｂに出力される。
【０１０６】
ネットワーク１ｃを介してＰＣ１ｂに出力された符号列データ（Ｍｏｔｉｏｎ　ＪＰＥＧ２０００データ）は、ＰＣ１ｂにおいて、符号列記憶部９に格納され、また、画像伸長装置６で伸長処理される。そして、画像伸長装置６で伸長処理されて生成された動画像の画像データは、画像表示装置７に出力され、この伸長後の画像データによる画像がディスプレイ１９に表示される。
【０１０７】
続いて、本発明の主要部分である画像伸長装置６について詳述する。ここで、図１１は画像伸長装置６の機能ブロック図である。図１１に示すように、ＣＰＵ１１ｂはコンピュータソフトウェアに基づいて動作することで、画像伸長装置６は、モード選択手段２０、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界平滑化切替手段２６、第一タイル境界平滑化手段２７、第二タイル境界平滑化手段２８の各機能を実現する。なお、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５で実現される機能については、図１で示した空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５で説明したので、ここでの説明は省略する。
【０１０８】
モード選択手段２０は、処理モードを指定する機能を発揮するものである。具体的には、モード選択手段２０は、図１２に示すようなモード指定画面Ｘをディスプレイ１９に表示する。モード指定画面Ｘには、速度優先モードと画質優先モードとの何れか一方を選択させるためのラジオボタンＢが設けられている。そして、操作者が、操作パネル１８ｂを操作して一のラジオボタンＢを指定した後、ＯＫボタンＡを操作することにより、処理モードが指定される。このようにして処理モードが指定されると、指定された処理モードを示す信号がタイル境界平滑化切替手段２６に出力される。
【０１０９】
タイル境界平滑化切替手段２６は、タイル境界の近傍の平滑化処理を第一タイル境界平滑化手段２７と第二タイル境界平滑化手段２８とのどちらで行うかを判定する機能を発揮するものであって、このタイル境界平滑化切替手段２６には、色空間逆変換手段２５によって得られたＲＧＢデータが入力されるとともに、モード選択手段２０から出力された処理モードを示す信号が入力される。
【０１１０】
そして、タイル境界平滑化切替手段２６は、速度優先モードが選択されたと判定した場合には、第一タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られたＲＧＢデータを出力し、画質優先モードが選択されたと判定した場合には、第二タイル境界平滑化手段２８に対して色空間逆変換手段２５によって得られたＲＧＢデータを出力する。
【０１１１】
第一タイル境界平滑化手段２７及び第二タイル境界平滑化手段２８は、色空間逆変換手段２５によって得られたＲＧＢデータに対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。図１３は第一タイル境界平滑化手段２７及び第二タイル境界平滑化手段２８における処理の一例を示す説明図である。図１３に示すように、第一タイル境界平滑化手段２７及び第二タイル境界平滑化手段２８は、タイル境界の近傍の画素（図１３中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【０１１２】
まず、第一タイル境界平滑化手段２７における処理の具体例を示す。ここで、図１４は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１４に示すように、縦方向タイル境界ａ（図１３参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１３】
図１５は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１５に示すように、横方向タイル境界ｂ（図１３参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１４】
図１６は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１６に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分をともに落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１５】
次に、第二タイル境界平滑化手段２８における処理の具体例を示す。ここで、図１７は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１６に示すように、縦方向タイル境界ａ（図１３参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ４をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１６】
図１８は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１８に示すように、横方向タイル境界ｂ（図１３参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ５をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１７】
図１９は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１９に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ６をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分をともに落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１８】
ところで、ローパスフィルタＦ４，Ｆ５，Ｆ６のフィルタ中心の重み付けの係数ｍはタイル境界からの画素間距離とタイル境界近傍の画素のエッジ量に応じて可変制御される。すなわち、第二タイル境界平滑化手段２８は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量に応じてローパスフィルタＦ４，Ｆ５，Ｆ６の強度を切り替えるような構成になっている。
【０１１９】
まず、タイル境界からの画素間距離の算出方法について説明する。図２０は、タイル境界からの画素間距離の算出方法の一例を示す説明図である。図２０に示すように、各画素において、上下左右からのタイル境界からの距離が算出される。それらの最小値を各画素におけるタイル境界からの距離として設定する。
【０１２０】
次に、タイル境界近傍の画素のエッジ量の算出方法について説明する。ここで、図２１はエッジ量算出フィルタの一例を示す説明図である。タイル境界近傍の画素のエッジ量は、タイル境界近傍の画素に対し、図２１に示したエッジ量算出フィルタを用いて算出する。このエッジ量算出フィルタは、斜め方向のエッジ量を算出している。これは、縦横方向のエッジ量を抽出しようとすると、タイル境界の境界部でエッジ量が大きく出てしまうため、タイル境界が目立ってしまうことを避けるためである。なお、タイル境界の方向は、符号化データに含まれる情報から取得する。
【０１２１】
すなわち、タイル境界からの画素間距離をｄとし、タイル境界近傍の画素のエッジ量をＥとすると、ローパスフィルタのフィルタ中心の重み付けの係数ｍは、下記の式（１）〜（３）の何れかに基づいて場合分けされて算出される。
【０１２２】
“ｄ＝０、かつ、ａｂｓ（Ｅ）≧２５５”の場合
ｍ＝４＋ａｂｓ（Ｅ）　　　　　　　　　　　　・・・（１）
“ｄ＝０、かつ、ａｂｓ（Ｅ）＜２５５”の場合
ｍ＝４　　　　　　　　　　　　　　　　　　・・・（２）
“ｄ＞０”の場合
ｍ＝ｍａｘ（４＋６４＊ｄ，４＋ａｂｓ（Ｅ））　　・・・（３）
これは、タイル境界からの画素間距離が大きいほど、また、タイル境界近傍の画素のエッジ量の絶対値が大きいほど、施すローパスフィルタの平滑化度を小さくするということを意味する。“ｄ＝０”の場合のみ独立に制御したのは、タイル境界の最近傍の画素に対してはある程度平滑化度の強いローパスフィルタを施さないと、タイル境界が目立ってしまうためである。
【０１２３】
これにより、画質優先モードの第二タイル境界平滑化手段２８の場合にはローパスフィルタの強度を適応的に制御することから、画素に対して一様なローパスフィルタを施す速度優先モードの第一タイル境界平滑化手段２７に比べて、品質の良い画像を再生することができる。
【０１２４】
また、画質優先モードの第二タイル境界平滑化手段２８は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御することから、タイル境界歪みを抑制しつつ、タイル境界近傍でエッジが強い場合に生じる画質劣化を抑制することができる。
【０１２５】
ここに、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することができるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる。
【０１２６】
なお、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、圧縮符号にタイル境界位置情報が含まれるような画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【０１２７】
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様）。
【０１２８】
図２２は本実施の形態の画像伸長装置６の機能ブロック図である。図２２に示すように、本実施の形態は、第一の実施の形態のモード選択手段２０に代えてモード選択手段３０を備えたものである。
【０１２９】
モード選択手段３０は、処理モードを指定する機能を発揮する点ではモード選択手段２０と同様である。具体的には、モード選択手段３０は、フレームの種類に応じて速度優先モードと画質優先モードとの何れか一方をフレーム毎に選択するものである。例えば、図２３に示すように、時刻ｔ０における「開始フレーム」と時刻ｔｎにおける「最終フレーム」と時刻ｔｋにおける「停止フレーム」の場合にのみ、画質優先モードを指定する。これは、動画再生中はタイル境界が目立ちにくいことから、タイル境界歪みが目立ちやすい「開始フレーム」「最終フレーム」「停止フレーム」のみに画質優先の平滑化処理を施すようにしたものである。このようにして処理モードが指定されると、指定された処理モードを示す信号がタイル境界平滑化切替手段２６に出力される。
【０１３０】
ここに、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の開始フレームと最終フレームと動画像の再生の停止に係る停止フレームとに画質優先モードを選択することにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することができる。
【０１３１】
次に、本発明の第三の実施の形態について説明する。図２４は本実施の形態の画像伸長装置６の機能ブロック図である。図２４に示すように、本実施の形態は、第一の実施の形態のモード選択手段２０に代えてモード選択手段４０を備えたものである。
【０１３２】
モード選択手段４０は、処理モードを指定する機能を発揮する点ではモード選択手段２０と同様である。具体的には、モード選択手段４０は、フレームレート（単位時間に再生するフレーム数）に応じて速度優先モードと画質優先モードとの何れか一方を選択するものである。すなわち、フレームレートが所定の閾値より大きい場合には、速度優先モードを選択し、それ以外は画質優先モードを選択するものである。例えば、
フレームレートが“５”より大きい　→　速度優先モード
フレームレートが“５”以下　　　　→　画質優先モード
のように制御する。これは、フレームレートが大きくなればなるほど再生速度が速くなり、タイル境界歪みが目立ちにくいためである。このようにして処理モードが指定されると、指定された処理モードを示す信号がタイル境界平滑化切替手段２６に出力される。
【０１３３】
ここに、動画はフレームレートが大きくなるほどタイル境界歪みが目立ちにくいことから、フレームレートが所定の閾値よりも大きい場合には速度優先モードを選択し、フレームレートが所定の閾値よりも小さい場合には画質優先モードを選択することにより、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる。
【０１３４】
次に、本発明の第四の実施の形態について説明する。図２５は本実施の形態の画像伸長装置６の機能ブロック図である。図２５に示すように、本実施の形態は、第一の実施の形態のモード選択手段２０に代えてモード選択手段５０を備えたものである。
【０１３５】
モード選択手段５０は、処理モードを指定する機能を発揮する点ではモード選択手段２０と同様である。具体的には、モード選択手段５０は、各フレームの復号化される符号量に応じて速度優先モードと画質優先モードとの何れか一方をフレーム毎に選択するものである。
【０１３６】
ＪＰＥＧ２０００では、動画の符号量（圧縮率）を所定の値にするために、フレーム毎に符号量が異なっている。例えば、情報量が密なフレームは符号量が大きく、シーンチェンジの後などの画質劣化が目立ちにくいフレームでは符号量は小さくなっている。また、ＪＰＥＧ２０００では、伸長時に全ての符号を復号するのではなく、符号の所定の部分を復号することが可能になっている。
【０１３７】
一般に復号化される符号量が小さければ、そのフレームにおける圧縮率は大きくなり、タイル境界歪みが目立ちやすい。逆に、復号化される符号量が大きければ、そのフレームにおける圧縮率は小さくなり、タイル境界歪みは目立ちにくい。
【０１３８】
そこで、図２６に示すように、復号化される符号量が所定の閾値より大きいときは速度優先モードを選択し、それ以外は画質優先モードを選択するものである。
【０１３９】
ここに、符号量の小さいフレームは圧縮率が大きいのでタイル境界歪みが目立つことから画質優先モードを選択し、符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立たないことから速度優先モードを選択することにより、全てのフレームについて最適なタイル境界歪みの平滑化処理を実行するので、品質の良い再生画像を得ることができる。
【０１４０】
次に、本発明の第五の実施の形態について説明する。本実施の形態は、第一の実施の形態とは、画像伸長装置６の機能が異なるものである。概略的には、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【０１４１】
図２７は本実施の形態の画像伸長装置６の機能ブロック図である。図２７に示すように、ＣＰＵ１１ｂはコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、画像伸長装置６は、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界平滑化切替手段２６、第一タイル境界平滑化手段２７、第二タイル境界平滑化手段２８、補正タイル境界限定手段２９の各機能を実現する。
【０１４２】
補正タイル境界限定手段２９は、第一タイル境界平滑化手段２７及び第二タイル境界平滑化手段２８においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものである。
【０１４３】
ここで、図２８及び図２９は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【０１４４】
図２８は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図２８（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図２８（ｂ）に点線で示す部分に設定する。図２８（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【０１４５】
図２９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図２９（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図２９（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【０１４６】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【０１４７】
これにより、補正タイル境界限定手段２９は、ローパスフィルタをかけるべきタイル境界画素を限定して、第一タイル境界平滑化手段２７及び第二タイル境界平滑化手段２８に対して色空間逆変換手段２５によって得られたＲＧＢデータを出力する。
【０１４８】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。特に、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１４９】
なお、各実施の形態においては、監視カメラシステム１を構成する動画像再生装置としてＰＣ１ｂを適用したが、これに限るものではない。例えば、携帯情報端末（ＰＤＡ）や携帯電話などを動画像再生装置として適用することもできる。
【０１５０】
また、各実施の形態においては、画像入力装置２及び画像圧縮装置３を備える監視カメラ１ａと、動画像処理装置である画像伸長装置６及び画像表示装置７を備えるＰＣ１ｂとをネットワーク１ｃを介して接続した監視カメラシステム１を動画像表示システムとして適用したが、これに限るものではない。例えば、画像入力装置２であるカメラ部と、画像圧縮装置３及び動画像処理装置である画像伸長装置６を備える制御部と、画像表示装置７であるディスプレイとを一体に備えるデジタルカメラ等を動画像表示システムとして適用しても何ら問題はない。
【０１５１】
【発明の効果】
請求項１，１３，２４記載の発明によれば、画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを適宜選択してタイル境界歪みの平滑化処理を実行することができるので、復号処理速度とタイル境界の歪みの平滑化による画質とのバランスを図ることで、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる。
【０１５２】
請求項２，１４，２５記載の発明によれば、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の開始フレームと最終フレームとにのみ画質優先モードを選択することにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することができる。
【０１５３】
請求項３，１５，２６記載の発明によれば、静止画は動画に比べてタイル境界歪みが目立つことから、動画像の再生の停止に係る停止フレームにも画質優先モードを選択することにより、高速に、しかも、精度良く、タイル境界の歪みを抑制することができる。
【０１５４】
請求項４，１６，２７記載の発明によれば、符号量の小さいフレームは圧縮率が大きいのでタイル境界歪みが目立つことから画質優先モードを選択し、符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立たないことから速度優先モードを選択することにより、全てのフレームについて最適なタイル境界歪みの平滑化処理を実行するので、品質の良い再生画像を得ることができる。
【０１５５】
請求項５，１７，２８記載の発明によれば、動画はフレームレートが大きくなるほどタイル境界歪みが目立ちにくいことから、フレームレートが所定の閾値よりも大きい場合には速度優先モードを選択し、フレームレートが所定の閾値よりも小さい場合には画質優先モードを選択することにより、復号処理が再生に追いつかずにコマ落ちする等の悪影響を排除しつつ、タイル境界の歪みを抑制することができる。
【０１５６】
請求項６，１８，２９記載の発明によれば、オーバーラップによるタイル境界歪みの平滑化処理に比して、より簡易な手法で、タイル境界の歪みを抑制することができる。
【０１５７】
請求項７，１９，３０記載の発明によれば、画質優先モードの場合にはローパスフィルタの強度を適応的に制御することから、画素に対して一様なローパスフィルタを施す速度優先モードに比べて、品質の良い画像を再生することができる。
【０１５８】
請求項８，２０，３１記載の発明によれば、タイル境界歪みを抑制しつつ、タイル境界近傍でエッジが強い場合に生じる画質劣化を抑制することができる。
【０１５９】
請求項９，２１，３２記載の発明によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１６０】
請求項１０，２２，３３記載の発明によれば、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１６１】
請求項１１記載の発明によれば、請求項１ないし１０の何れか一記載の発明と同様の作用効果を奏する画像処理装置を提供することができる。
【０１６２】
請求項１２記載の発明によれば、請求項１ないし１０の何れか一記載の発明と同様の作用効果を奏する動画像表示システムを提供することができる。
【０１６３】
請求項２３記載の発明によれば、記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１３ないし２２の何れか一記載の発明と同様の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】Ｍｏｔｉｏｎ　ＪＰＥＧ２０００の概念を示す説明図である。
【図８】本発明の第一の実施の形態の監視カメラシステムを示すシステム構成図である。
【図９】その機能ブロック図である。
【図１０】監視カメラシステムのハードウエア構成の一例を示すブロック図である。
【図１１】画像伸長装置の機能ブロック図である。
【図１２】モード指定画面を示す正面図である。
【図１３】第一タイル境界平滑化手段及び第二タイル境界平滑化手段における処理の一例を示す説明図である。
【図１４】第一タイル境界平滑化手段による縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１５】第一タイル境界平滑化手段による横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１６】第一タイル境界平滑化手段による縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１７】第二タイル境界平滑化手段による縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１８】第二タイル境界平滑化手段による横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１９】第二タイル境界平滑化手段による縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図２０】タイル境界からの画素間距離の算出方法の一例を示す説明図である。
【図２１】エッジ量算出フィルタの一例を示す説明図である。
【図２２】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図２３】「開始フレーム」「最終フレーム」「停止フレーム」を示す説明図である。
【図２４】本発明の第三の実施の形態の画像伸長装置の機能ブロック図である。
【図２５】本発明の第四の実施の形態の画像伸長装置の機能ブロック図である。
【図２６】復号化される符号量に応じたモード選択の一例を示す説明図である。
【図２７】本発明の第五の実施の形態の画像伸長装置の機能ブロック図である。
【図２８】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図２９】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
１　　　　動画像表示システム
１ｂ　　　画像処理装置
２　　　　画像入力装置
３　　　　画像圧縮装置
６　　　　画像復号装置
７　　　　画像表示装置
１６　　　記憶媒体
１９　　　表示装置
２０，３０，４０，５０　　　モード選択手段
２６　　　タイル境界平滑化切替手段
２７，２８　　　タイル境界平滑化手段
２９　　　補正タイル境界限定手段
Ｆ１〜Ｆ６　　　ローパスフィルタ

Claims (33)

1. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する画像復号装置において、
   復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段と、
   このタイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択手段と、
   前記タイル境界平滑化手段による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択手段による選択に従って画質優先モードと速度優先モードとを切り替えるタイル境界平滑化切替手段と、
   を備えることを特徴とする画像復号装置。
2. 前記モード選択手段は、フレームに応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
   前記タイル境界平滑化切替手段は、動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとすることを特徴とする請求項１記載の画像復号装置。
3. 前記タイル境界平滑化切替手段は、動画像の再生の停止に係る停止フレームについても画質優先モードとすることを特徴とする請求項２記載の画像復号装置。
4. 前記モード選択手段は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
   前記タイル境界平滑化切替手段は、復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとすることを特徴とする請求項１記載の画像復号装置。
5. 前記モード選択手段は、フレームレートに応じて前記タイル境界平滑化手段によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
   前記タイル境界平滑化切替手段は、フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとすることを特徴とする請求項１記載の画像復号装置。
6. 前記タイル境界平滑化手段は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施すことを特徴とする請求項１ないし５の何れか一記載の画像復号装置。
7. 速度優先モードの前記タイル境界平滑化手段は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、
   画質優先モードの前記タイル境界平滑化手段は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施すことを特徴とする請求項６記載の画像復号装置。
8. 画質優先モードの前記タイル境界平滑化手段は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御することを特徴とする請求項７記載の画像復号装置。
9. タイル境界を限定する補正タイル境界限定手段を備え、
   この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１ないし８の何れか一記載の画像復号装置。
10. 前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項９記載の画像復号装置。
11. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する請求項１ないし１０の何れか一記載の画像復号装置と、
    この画像復号装置により復号されたフレームに基づく画像を表示装置に表示させる画像表示装置と、
    を備えることを特徴とする画像処理装置。
12. 動画像を撮像する画像入力装置と、
    この画像入力装置により撮像した動画像についてフレームごとに複数のタイルに分割し当該タイルごとに画素値を離散ウェーブレット変換し階層的に圧縮符号化する画像圧縮装置と、
    この画像圧縮装置により圧縮符号化された複数のフレームを連続して復号する請求項１ないし１０の何れか一記載の画像復号装置と、
    この画像復号装置により復号されたフレームに基づく画像を表示装置に表示させる画像表示装置と、
    を備えることを特徴とする動画像表示システム。
13. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームの連続した復号をコンピュータに実行させるプログラムであって、
    復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能と、
    このタイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択機能と、
    前記タイル境界平滑化機能による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択機能による選択に従って画質優先モードと速度優先モードとを切り替えるタイル境界平滑化切替機能と、
    を前記コンピュータに実行させることを特徴とするプログラム。
14. 前記モード選択機能は、フレームに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    前記タイル境界平滑化切替機能は、動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとすることを特徴とする請求項１３記載のプログラム。
15. 前記タイル境界平滑化切替機能は、動画像の再生の停止に係る停止フレームについても画質優先モードとすることを特徴とする請求項１４記載のプログラム。
16. 前記モード選択機能は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    前記タイル境界平滑化切替機能は、復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとすることを特徴とする請求項１３記載のプログラム。
17. 前記モード選択機能は、フレームレートに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    前記タイル境界平滑化切替機能は、フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとすることを特徴とする請求項１３記載のプログラム。
18. 前記タイル境界平滑化機能は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施すことを特徴とする請求項１３ないし１７の何れか一記載のプログラム。
19. 速度優先モードの前記タイル境界平滑化機能は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、
    画質優先モードの前記タイル境界平滑化機能は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施すことを特徴とする請求項１８記載のプログラム。
20. 画質優先モードの前記タイル境界平滑化機能は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御することを特徴とする請求項１９記載のプログラム。
21. タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、
    この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１３ないし２０の何れか一記載のプログラム。
22. 前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項２１記載のプログラム。
23. 請求項１３ないし２２の何れか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
24. 画像を複数に分割したタイル毎に画素値を離散ウェーブレット変換し階層的に圧縮符号化した複数のフレームを連続して復号する画像復号方法であって、
    復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程と、
    このタイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とするモード選択工程と、
    を含み、
    前記タイル境界平滑化工程による復号後の各フレームにおけるタイル境界歪みの平滑化処理について、前記モード選択工程による選択に従って画質優先モードと速度優先モードとを切り替えるようにすることを特徴とする画像復号方法。
25. 前記モード選択工程は、フレームに応じて前記タイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    動画像の開始フレームと最終フレームとについては画質優先モードとし、それ以外のフレームについては速度優先モードとすることを特徴とする請求項２４記載の画像復号方法。
26. 動画像の再生の停止に係る停止フレームについても画質優先モードとすることを特徴とする請求項２５記載の画像復号方法。
27. 前記モード選択工程は、各フレームの復号対象となる符号量に応じて前記タイル境界平滑化工程によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    復号対象となる符号量が小さい場合には画質優先モードとし、復号対象となる符号量が大きい場合には速度優先モードとすることを特徴とする請求項２４記載の画像復号方法。
28. 前記モード選択工程は、フレームレートに応じて前記タイル境界平滑化機能によるタイル境界歪みの平滑化処理について画質を優先させる画質優先モードと処理速度を優先させる速度優先モードとを選択可能とし、
    フレームレートが所定の閾値よりも小さい場合には画質優先モードとし、フレームレートが所定の閾値よりも大きい場合には速度優先モードとすることを特徴とする請求項２４記載の画像復号方法。
29. 前記タイル境界平滑化工程は、復号後の各フレームにおけるタイル境界近傍の画素に対してローパスフィルタを施すことを特徴とする請求項２４ないし２８の何れか一記載の画像復号方法。
30. 速度優先モードの前記タイル境界平滑化工程は、復号後のフレームにおけるタイル境界近傍の画素に対して一様なローパスフィルタを施し、
    画質優先モードの前記タイル境界平滑化工程は、復号後のフレームにおけるタイル境界近傍の画素に対し、該画素に応じて強度を適応的に制御したローパスフィルタを施すことを特徴とする請求項２９記載の画像復号方法。
31. 画質優先モードの前記タイル境界平滑化工程は、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を適応的に制御することを特徴とする請求項３０記載の画像復号方法。
32. タイル境界を限定する補正タイル境界限定工程を含み、
    この補正タイル境界限定工程により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化工程によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項２４ないし３１の何れか一記載の画像復号方法。
33. 前記補正タイル境界限定工程により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ　Ｏｆ　Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項３２記載の画像復号方法。

Images