JP2005123732A - デブロックフィルタ処理装置およびデブロックフィルタ処理方法 - Google Patents

Abstract

【課題】 処理装置の電力を不必要に消費することなく高画質化を実現すること。
【解決手段】 ループフィルタ１７０において、まず、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックを取得する。そして、取得された動き推定ブロックに従って、デブロックフィルタ処理を、動き推定処理が施されたフレームに対して適用する。また、デブロックフィルタ処理の適用は、動き推定処理が施されたフレームにおけるある動き推定ブロックとこの動き推定ブロックに隣接する動き推定ブロックとの境界のみで、実行される。
【選択図】 図１

Description

本発明は、高度マルチメディアデータ符号化、特に、可変ブロックサイズベースでの動き予測を用いる映像符号化に適用されるデブロックフィルタ処理装置およびデブロックフィルタ処理方法に関する。

一般に映像圧縮技術において、画質や圧縮率を向上するために様々なフィルタが用いられる。低ビットレートの圧縮映像を復号して得られた画像には、量子化ノイズや動き補償によりブロックアーティファクトが生じることが多い。デブロックフィルタ処理装置（以下「デブロックフィルタ」または単に「フィルタ」と言う）の主な役割の１つは、復号画像におけるブロック境界を平滑化し、ブロックアーティファクトを低減または除去することである。また、デブロックフィルタには、例えばデコーダ側で映像を再生する際にノイズを除去し画質を安定化させることで高画質化を図るポストフィルタと、例えばエンコーダ側で映像を圧縮する際にノイズを除去し圧縮効率を向上させることで高画質化を図るループフィルタとがある。

従来、高画質化のためのデブロックフィルタとしては、特許文献１に記載されたものがある。この文献では、フィルタ強度を符号化モードに合わせて復号画像に適用するポストフィルタが開示されている。また、その他にも、復号画像の画質を向上させるために参照画像および非参照画像の両方に適用するループフィルタが提案されている。
特開２００１−２２４０３１号公報

しかしながら、上記従来のデブロックフィルタは、画像に対して固定ブロックサイズベースで適用されるものである。

例えば、映像符号化に関する規格ＩＳＯ／ＩＥＣ１４４９６パート１０においては、ＤＣＴ（離散コサイン変換）が４ｘ４サイズのブロック（以下、ＮｘＮサイズを有するブロックを「ＮｘＮブロック」と略記する）に対して施されるため、従来のデブロックフィルタは、４ｘ４ブロックの境界に対して適用されるよう設計される。また、例えば、規格ＩＳＯ／ＩＥＣ１４４９６パート２においては、ＤＣＴが８ｘ８サイズで実行されるため、従来のデブロックフィルタは、８ｘ８ブロックの境界に対して適用されるよう設計される。このようなフィルタ設計は、ＤＣＴを考慮に入れたものとしては良好である。なぜなら、低ビットレートでのブロックノイズの多くは、ＤＣＴにより発生しているからである。

ところが、次世代の映像符号化の規格となり得るものとして近年注目を集めているフレーム間ウェーブレット映像符号化方式には、上記のフィルタ設計が最適とは言えない。一般にこの方式では、時間方向においては、ブロックベースの動き推定／補償を伴うＭＣＴＦ（Motion Compensated Temporal Filtering）が用いられ、空間変換には、２Ｄ−ＤＷＴ（離散ウェーブレット変換）が用いられる。ＤＣＴと異なり、ＤＷＴは復号画像にブロックアーティファクトを生じないという特徴を持っている。したがって、この方式において、ブロックアーティファクトを生じさせる主因となる工程は動き推定／補償である。とりわけ低ビットレートのときやＧＯＰ（Group Of Picture）サイズが小さい低遅延モードのときに動き推定／補償を実行する場合、不正確な動き推定や量子化によってブロックアーティファクトが生じ得る。ＭＣＴＦの場合は時間分解レベルの各々でこれが実行されるため、全時間分解レベルにわたってブロックアーティファクトが蓄積されることもあり得る。

以下、動き推定を用いたウェーブレット符号化（ＭＣウェーブレット符号化）の一般例について図９を参照しながら説明する。ここでは、ＧＯＰサイズ＝８の場合を例として説明する。

図９に示すように、レベル０では８つの原フレームが存在する。動き推定および時間方向のウェーブレットフィルタ（この例ではＨａａｒフィルタが示されているがより長いフィルタも適用可能である）を用いた時間分解処理の後、レベル１では、低域のフレームＬ１、Ｌ２、Ｌ３、Ｌ４からなるグループと高域のフレームＨ１、Ｈ２、Ｈ３、Ｈ４からなるグループとが生成される。それから、低域のフレームＬ１、Ｌ２、Ｌ３、Ｌ４に対してさらに動き推定および時間フィルタ処理が施され、レベル２では、低域のフレームＬＬ１、ＬＬ２からなるグループと高域のフレームＬＨ１、ＬＨ２からなるグループとが生成される。そして、再び動き推定および時間フィルタ処理が施され、最終的に、レベル３では２つのフレームＬＬＬ１、ＬＬＨ１のみが存在している。

そして、レベル３でのフレームＬＬＬ１、ＬＬＨ１、レベル２でのＬＨ１、ＬＨ２およびレベル１でのＨ１、Ｈ２、Ｈ３、Ｈ４に対しては空間ウェーブレット分解が施され、続いて、スキャニングが行われ、空間スケーラビリティ、時間スケーラビリティおよび画質スケーラビリティ等を考慮したエントロピー符号化（可変長符号化）が行われ、スケーラブルなストリームが生成されることとなる。

一般に理解されているように、ＭＣウェーブレット符号化で用いられる動き推定は、ＩＳＯ／ＩＥＣ１３８１８パート２の１６ｘ１６やＩＳＯ／ＩＥＣ１４４９６パート２の最大１６ｘ１６のような固定ブロックサイズに常に基づいているわけではない。このサイズは、４ｘ４の小さいものから６４ｘ６４の大きなものまで、さらに映像の性質によってはさらに大きなものまで可変である。図１０は、参照フレームＡおよび現在フレームＢの間の動き推定／補償のためのブロックマッチングにおいて使用し得る可変ブロックサイズ（例えば、４ｘ４から６４ｘ６４まで）を例示したものである。

また、図１１は、従来の固定ブロックサイズベースのデブロックフィルタ処理の適用例を示した図である。ここでは、図１１において実線で示されたブロックを有するフレームに対して破線で示されたデブロックフィルタ処理を適用した例について説明する。ブロックＳ１、Ｓ２、Ｓ３は動き推定のために選択されたサイズをそれぞれ有し、ブロックＳ１は６４ｘ６４ブロックであり、ブロックＳ２は３２ｘ３２ブロックであり、ブロックＳ３は１６ｘ１６ブロックである。

動き推定のブロックサイズがブロックＳ１のように６４ｘ６４であるとすると、この６４ｘ６４ブロック内にブロックアーティファクトは存在していないはずである。このような場合に６４ｘ６４より小さいサイズの固定サイズのデブロックフィルタ処理を適用すると、処理装置（例えば、ＣＰＵ）の電力が不必要に消費されてしまう。また、それだけでなく、重要な情報がフィルタリングされ、その結果として画像の鮮鋭度が失われてぼやけてしまい、結局、高画質化を実現することができないという問題があった。

本発明は、かかる点に鑑みてなされたものであり、処理装置の電力を不必要に消費することなく高画質化を実現することができるデブロックフィルタ処理装置およびデブロックフィルタ処理方法を提供することを目的とする。

本発明のデブロックフィルタ処理装置は、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックを取得する取得手段と、取得された動き推定ブロックに従って前記フレームにデブロックフィルタ処理を適用する適用手段と、を有する構成を採る。

この構成によれば、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックに従って、デブロックフィルタ処理を当該フレームに適用するため、例えばデブロックフィルタ処理におけるブロックサイズを動き推定ブロックのサイズに合わせて適応的に変化させた場合に、デブロックフィルタ処理のブロックサイズと動き推定ブロックのサイズとを一致させることができ、デブロックフィルタ処理の量の増大を抑制することができるだけでなく画像の鮮鋭度が無駄に失われることを防止することができ、処理装置の電力を不必要に消費することなく高画質化を実現することができる。

本発明のデブロックフィルタ処理装置は、上記構成において、前記適用手段は、前記フレーム内の一の動き推定ブロックと当該動き推定ブロックに隣接する他の動き推定ブロックとの境界のみで、デブロックフィルタ処理の適用を行う構成を採る。

この構成によれば、デブロックフィルタ処理の適用位置を２つの動き推定ブロック間の境界のみに限定することができ、デブロックフィルタ処理のブロックサイズと動き推定ブロックのサイズとを一致させることができ、デブロックフィルタ処理の量の増大を抑制することができるだけでなく画像の鮮鋭度が無駄に失われることを防止することができ、処理装置の電力を不必要に消費することなく高画質化を実現することができる。

本発明のデブロックフィルタ処理装置は、上記構成において、前記適用手段は、前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理のタップ長を設定する構成を採る。

この構成によれば、動き推定処理が施されたフレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて当該フレームに対するデブロックフィルタ処理のタップ長の設定を行うため、デブロックフィルタ処理を適用する際のタップ長の設定を効率的に行うことができる。

本発明のデブロックフィルタ処理装置は、上記構成において、前記適用手段は、前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理の強度を設定する構成を採る。

この構成によれば、動き推定処理が施されたフレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて当該フレームに対するデブロックフィルタ処理の強度の設定を行うため、デブロックフィルタ処理を適用する際の強度の設定を効率的に行うことができる。

本発明のデブロックフィルタ処理装置は、上記構成において、前記適用手段は、前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理の適用画素数を設定する構成を採る。

この構成によれば、動き推定処理が施されたフレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて当該フレームに対するデブロックフィルタ処理の適用画素数の設定を行うため、デブロックフィルタ処理を適用する際の適用画素数を効率的に行うことができる。

本発明の映像符号化装置は、上記のデブロックフィルタ処理装置を有する構成を採る。

この構成によれば、上記のデブロックフィルタ処理装置と同様の作用効果を、映像符号化装置において実現することができる。

本発明の映像復号化装置は、上記のデブロックフィルタ処理装置を有する構成を採る。

この構成によれば、上記のデブロックフィルタ処理装置と同様の作用効果を、映像復号化装置において実現することができる。

本発明の映像復号化装置は、上記構成において、対応する映像符号化装置から送信される信号に従って、前記フレームにおいてデブロックフィルタ処理を適用すべき時間分解レベルを変更する構成を採る。

この構成によれば、対応する映像符号化装置から例えば所定の指示が送信された場合にデブロックフィルタ処理を適用すべき時間分解レベルやその数を変更することができ、映像復号化装置におけるデブロックフィルタ処理の効率を向上させたり負荷を低減したりすることができる。

本発明の映像復号化装置は、上記構成において、前記フレームが再構築されたときにデブロックフィルタ処理の適用を行う構成を採る。

この構成によれば、再構築されたフレームに対してデブロックフィルタ処理の適用を行うことができる。

本発明のデブロックフィルタ処理方法は、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックを取得する取得ステップと、取得された動き推定ブロックに従って前記フレームにデブロックフィルタ処理を適用する適用ステップと、を有するようにした。

この方法によれば、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックに従って、デブロックフィルタ処理を当該フレームに適用するため、例えばデブロックフィルタ処理におけるブロックサイズを動き推定ブロックのサイズに合わせて適応的に変化させた場合に、デブロックフィルタ処理のブロックサイズと動き推定ブロックのサイズとを一致させることができ、デブロックフィルタ処理の量の増大を抑制することができるだけでなく画像の鮮鋭度が無駄に失われることを防止することができ、処理装置の電力を不必要に消費することなく高画質化を実現することができる。

以上説明したように、本発明によれば、処理装置の電力を不必要に消費することなく高画質化を実現することができる。

本発明の骨子は、動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックに従って、デブロックフィルタ処理を当該フレームに適用することである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係るループフィルタを有する映像符号化装置の構成を示すブロック図である。

図１に示す映像符号化装置１００は、画像入力部１１０、動き推定部１２０、時間フィルタ１３０、空間ウェーブレット分解部１４０、スキャニング／エントロピー符号化部１５０、ローカル復号化部１６０、ループフィルタ１７０および参照フレームバッファ１８０を有する。

画像入力部１１０は、入力される映像のシーケンスにおける所定数（固定数または可変数）の隣接フレームを１ＧＯＰとしてグループ化した上で、フレームを動き推定部１２０に出力する。また、画像入力部１１０は、例えばランダムアクセスやエラーリカバリーの目的で他のフレームから独立した符号化フレームを得るために、フレームを空間ウェーブレット分解部１４０に直接出力しても良い。

動き推定部１２０は、参照フレームバッファ１８０に一時的に記憶された参照フレームを参照し、１ＧＯＰ内で、または複数のＧＯＰ間で、画像入力部１１０からのフレームに対して動き推定および動き補償を行う。

時間フィルタ１３０は、動き補償されたフレームに対して時間ウェーブレット分解を施し、複数の時間分解レベルでの低域および高域の時間フレームを生成する。

空間ウェーブレット分解部１４０は、時間フィルタ１３０からの時間フレームまたは画像入力部１１０からのフレームに対して空間ウェーブレット分解を施す。

スキャニング／エントロピー符号化部１５０は、空間ウェーブレット分解部１４０からのフレームに対してスキャニングおよびエントロピー符号化を施す。これらの処理が施されたフレームは、符号化されたスケーラブルなストリームとして出力される。

ローカル復号化部１６０は、空間ウェーブレット分解部１４０からのフレームをローカル復号化する。

本願発明の特徴部分であるループフィルタ１７０は、独立した符号化フレームを除いて、ローカル復号化されたフレームに対して後述のデブロックフィルタ処理を施す。デブロックフィルタ処理は、複数の時間分解レベルの各々に対応して実行される。デブロックフィルタ処理を実行する際、ループフィルタ１７０は、デブロックフィルタ処理を適応的に実行するために、符号化／送信情報を取得する。取得される符号化／送信情報としては、動き推定部１２０による動き推定に関する動き推定情報、時間フィルタ１３０による時間ウェーブレット分解に関する時間分解情報、その他には、量子化パラメータ、ビットレート関連情報、色成分、要求される空間解像度、要求される時間解像度等の情報が挙げられる。動き推定情報は、例えば、ＭＥ（動き推定）ブロックサイズ、動き予測モード（イントラ（フレーム内予測符号化）モード、順方向予測符号化モード、逆方向予測符号化モードまたは双方向予測符号化モード）、動きベクトル、シーン変更等の情報を含む。時間分解情報は、例えば、使用する分解フィルタ、処理対象の時間分解レベル、ＧＯＰサイズ等の情報を含む。

参照フレームバッファ１８０は、ループフィルタ１７０によってデブロックフィルタ処理が施されたフレームを、動き推定部１２０による動き推定で用いられる参照フレームとして一時的に記憶する。

次いで、上記構成を有する映像符号化装置１００のループフィルタ１７０にて実行されるデブロックフィルタ処理について説明する。図２は、ループフィルタにて実行されるデブロックフィルタ処理の動作を説明するためのフロー図であり、ここで説明するデブロックフィルタ処理は、処理対象のフレームに対して時間分解レベル毎に（例えば第１の時間分解レベルから最終時間分解レベルまでの順で）実行される。例えば、時間分解レベル毎の低域のフレームに対して実行される。

デブロックフィルタ処理は、ステップＳ１０００での、ＭＥブロックの取得から開始される。ここでは、１つの時間フレームを構成するＭＥブロックの中の１つを選択して取得する。

すなわち、このステップでは、動き推定／補償に用いられたＭＥブロックを１つずつ取得する。このようにすることで、デブロックフィルタ処理のためのフィルタサイズ（後述のタップ長）を、ＭＥブロックの可変ブロックサイズに適応させることができる。図３は、可変ブロックサイズベースのデブロックフィルタ処理の適用例を示した図である。図３において実線で示された可変ブロックサイズのＭＥブロックに、破線で示されたデブロックフィルタ処理のフィルタサイズが合わせられていることが分かる。

そして、ステップＳ１１００では、ＭＥブロックの上端および左端の少なくともいずれか一方に他のブロックが隣接しているか否か、すなわち、上端の水平境界および左端の垂直境界の少なくともいずれか一方があるか否かを判定する。この判定において、上記の境界がある場合（Ｓ１１００：ＹＥＳ）ステップＳ１２００に進み、上記の境界がない場合（Ｓ１１００：ＮＯ）ステップＳ２２００に進む。

ステップＳ１２００では、取得したＭＥブロックの境界の中の１つを選択して取得する。そして、ステップＳ１３００で、上記の符号化／送信情報を取得する。

そして、ステップＳ１４００で、ノイズ除去のためにＭＥブロックと隣接ブロックとの境界に適用するデブロックフィルタ処理のタップ長を設定する。タップ長は、隣り合う２つのブロックのサイズのうち小さい方を採用することにより決定される。また、水平境界に対して適用されるデブロックフィルタ処理（垂直フィルタ処理）の場合、そのタップ長はブロックの高さに依存して決定され、垂直境界に対して適用されるデブロックフィルタ処理（水平フィルタ処理）の場合、そのタップ長はブロックの幅に依存して決定される。

図４および図５は、デブロックフィルタ処理におけるタップ長の設定例をそれぞれ説明するための図である。

図４に示す例では、処理対象のブロックＰ、ブロックＰの上側に隣り合うブロックＲおよびブロックＰの左側に隣り合うブロックＱは、いずれも同じサイズを有している。この場合、ブロックＰに対して適用される水平フィルタ処理のタップ長は、ブロックＰ、Ｑの高さに基づいて決定され、ブロックＰに対して適用される垂直フィルタ処理のタップ長は、ブロックＰ、Ｒの幅に基づいて決定される。

一方、図５に示す例では、処理対象のブロックＰのサイズが、ブロックＰの左側に隣り合うブロックＱよりも小さく、ブロックＰの上側に隣り合うブロックＲ、Ｓ、Ｔの各々よりも大きい。この場合、ブロックＰに対して適用される水平フィルタ処理のタップ長は、ブロックＰの高さに基づいて決定される。また、ブロックＰに対して適用される垂直フィルタ処理のうちブロックＲとの境界に対応するもののタップ長は、ブロックＲの幅に基づいて決定される。また、ブロックＰに対して適用される垂直フィルタ処理のうちブロックＳとの境界に対応するもののタップ長は、ブロックＳの幅に基づいて決定され、ブロックＰに対して適用される垂直フィルタ処理のうちブロックＴとの境界に対応するもののタップ長は、ブロックＴの幅に基づいて決定される。

このようにして、ノイズが発生する領域が大きいほど、無駄なく大きなタップ長の設定が可能となる。

そして、ステップＳ１５００で、デブロックフィルタ処理を適用する際のフィルタ強度を設定する。ノイズの強度がより大きいブロックにより強いフィルタ強度のデブロックフィルタ処理が適用されるように、フィルタ強度は、隣り合う２つのブロックの動き予測モードに応じて設定される。例えば４段階のフィルタ強度が設定可能である場合、次のようにフィルタ強度の設定を行う。両ブロックまたはいずれかのブロックの動き予測モードがイントラのとき、フィルタ強度を最強に（Ｂｓ＝３）する。両ブロックが異なる参照フレームを参照したものであるとき、両ブロックが異なる数の参照フレームを参照したものであるとき、または、両ブロックが同一の参照フレームを参照したものでありながら動きベクトルが類似していないときは、２番目に大きなフィルタ強度（Ｂｓ＝２）を採用する。両ブロックが同一の参照フレームを参照したもので動きベクトルが類似しているときは、３番目に大きな（２番目に小さな）フィルタ強度（Ｂｓ＝１）を採用する。その他のときは、フィルタ強度の設定をオフ（Ｂｓ＝０）とし、対応する境界にフィルタリングを適用しないようにする。

そして、ステップＳ１６００で、デブロックフィルタ処理を適用する画素数を設定する。より具体的には、垂直境界に対して適用される水平フィルタ処理における適用画素数は、その垂直境界から左右それぞれ何画素まで水平フィルタ処理を適用するかを決定することで設定される。また、水平方向に対して適用される垂直フィルタ処理における適用画素数は、その水平境界から上下それぞれ何画素まで垂直フィルタ処理を適用するかを決定することで設定される。

なお、垂直境界の場合は境界の左側および右側の適用画素数を異なる値に設定したり、水平境界の場合は境界の上側および下側の適用画素数を異なる値に設定したりしても良い。ただし、処理効率や処理速度の向上の観点では、左右それぞれの適用画素数または上下それぞれの適用画素数を同じ値に設定すると、より効果的である。

どの画素に対してフィルタリングを適用するか、および、いくつの画素に対してフィルタリングを適用するかを決定するために、閾値が用いられる。この閾値は、符号化処理や送信処理の間にスケーラビリティのための階層化データ欠落により混入されるブロックノイズの補正に必要なフィルタ量に対応している。また、閾値は、使用した符号化方式によって経験的に設定しても良い。

また、閾値の設定は、量子化パラメータや、フィルタに掛けられる時間フレームの時間分解レベルに基づいて行われる。異なる量子化パラメータは異なる特性や大きさのブロックノイズを発生させる。量子化パラメータが使用した符号化方式に明示されていない場合は、要求されるビットレート、またはビットストリームから除去されたビットプレーン数から閾値を導出しても良い。例えば、低ビットレート、または除去されたビットプレーン数が多い場合、量子化パラメータは大きくなる。ＭＣＴＦ期間における画素の正規化のために、画素値のダイナミックレンジは時間分解レベル毎に変化するが、このダイナミックレンジによって閾値を決定しても良い。

そして、ステップＳ１７００、Ｓ１８００、Ｓ１９００では、設定したタップ長、フィルタ強度および適用画素数に基づいて、取得した境界での全ライン上の画素に対してフィルタリングを施す。より具体的には、まずステップＳ１７００で、１ライン分の画素をフィルタリングし、ステップＳ１８００で、最終ラインに対するフィルタリングが完了したか否か（取得した境界に残りのラインが存在するか否か）を判定する。この判定において、最終ラインに対するフィルタリングが完了していない場合（Ｓ１８００：ＮＯ）、ステップＳ１９００で次のラインに進み、ステップＳ１７００に戻る。一方、最終ラインに対するフィルタリングが完了した場合（Ｓ１８００：ＹＥＳ）、ステップＳ２０００に進む。

ステップＳ２０００では、取得されたＭＥブロックにおいて先に取得された境界の他にまだフィルタリングされていない境界があるか否かを判定する。この判定において、他の境界が残っている場合（Ｓ２０００：ＹＥＳ）、ステップＳ２１００で次の境界に進み、ステップＳ１２００に戻る。一方、他の境界が残っていない場合（Ｓ２０００：ＮＯ）、ステップＳ２２００に進む。このような判定を行うことで、動き推定／補償処理における全てのブロックに対してフィルタリングを掛けることができる。よって、このデブロックフィルタ処理は、各時間分解レベルでの時間フレームをはじめとする様々な再構築フレームに対して適用することができる。

ステップＳ２２００では、現在処理対象となっている時間フレームにおいて先に取得されたＭＥブロックの他にまだフィルタリングされていないＭＥブロックがあるか否か、換言すれば、全てのＭＥブロックがフィルタ済みであるか否かを判定する。この判定において、他のＭＥブロックが残っている場合（Ｓ２２００：ＮＯ）、ステップＳ２３００で次のＭＥブロックに進み、ステップＳ１０００に戻る。一方、他のＭＥブロックが残っていない場合（Ｓ２２００：ＹＥＳ）、現在の時間分解レベルにおけるデブロックフィルタ処理を終了する。

上述のデブロックフィルタ処理を行うことによって、よりきれいな参照フレームを用いて、後続のフレームや次の時間分解レベルにおける動き推定を行うことが可能となる。

なお、デブロックフィルタ処理において、上記の工程以外に、取得した色成分の情報に応じて、デブロックフィルタ処理実行のオンオフを自動的に切り替えても良い。

既に述べたとおり、ループフィルタ１７０にて実行されるデブロックフィルタ処理は、各時間分解レベルに対応している。つまり、図６に示すように、レベル０での８つの原フレームがレベル１からレベル３までの各時間フレームに時間分解される場合、レベル１、レベル２およびレベル３の各々で、上記のデブロックフィルタ処理が実行される。

このように、本実施の形態によれば、可変サイズの動き推定ブロックに従って、動き推定処理が施されたフレーム内のある動き推定ブロックとこの動き推定ブロックに隣接する他の動き推定ブロックとの境界のみで、デブロックフィルタ処理の適用を行うため、デブロックフィルタ処理のフィルタサイズと動き推定ブロックサイズとを一致させることができ、デブロックフィルタ処理の量の増大を抑制することができるだけでなく画像の鮮鋭度が無駄に失われることを防止することができ、処理装置の電力を不必要に消費することなく高画質化を実現することができる。

（実施の形態２）
図７は、本発明の実施の形態２に係るループフィルタを有する映像復号化装置の構成を示すブロック図である。

本実施の形態では、本発明に係るデブロックフィルタ処理を実行するフィルタをエンコーダ側およびデコーダ側の両方で用いられる一般的なケースについて説明する。なお、エンコーダ側のフィルタについては、実施の形態１で説明したループフィルタ１７０と同様のものであるため、その説明を省略する。

図７に示す映像復号化装置２００は、対応する映像符号化装置から入力されるストリームに対して逆スキャニングおよび逆エントロピー符号化を施しフレームを生成する逆スキャニング／逆エントロピー符号化部２１０と、生成されたフレームに対して空間ウェーブレット合成を施す空間ウェーブレット合成部２２０と、独立した符号化フレーム以外のフレームに対して時間フィルタ処理を施す時間フィルタ２３０と、時間フィルタ処理（時間ウェーブレット合成）されたフレームに対して動き補償を施す動き補償部２４０と、動き補償されたフレームを加算して再構築フレームを生成し、または独立した符号化フレームから再構築フレームを生成し、生成された再構築フレームを出力する画像加算部２５０と、実施の形態１で説明したループフィルタ１７０にて実行されるデブロックフィルタ処理と同様の処理を実行するループフィルタ２６０と、ループフィルタ２６０によってデブロックフィルタ処理が施されたフレームを、動き補償部２４０による動き補償で用いられる参照フレームとして一時的に記憶する参照フレームバッファ２７０とを有する。

なお、図７における破線の矢印Ｂは、複数の時間分解レベルに応じた処理が映像復号化装置２００内で行われることを示唆している。

ループフィルタ２６０は、デブロックフィルタ処理を適応的に実行するための符号化／送信情報をストリームから分離して取得することで、実施の形態１で詳述したデブロックフィルタ処理と同様の処理を実行することが可能となり、よって、よりきれいな参照フレームを時間フィルタ２３０による時間ウェーブレット合成および動き補償部２４０による動き補償に用いることができるようになる。

また、ループフィルタ２６０は、対応する映像符号化装置からのシグナリングをストリームから分離して受信することで、当該シグナリングに応じて、デブロックフィルタ処理を適用する時間分解レベルを単一の時間分解レベルから複数の時間分解レベルまで適応的に変更することができる。よって、対応する映像符号化装置から所定の指示が送信された場合に、デブロックフィルタ処理を適用する時間分解レベルやその数を削減することができ、映像復号化装置２００の処理効率を向上させたり処理負荷を低減したりすることができる。

このように、本実施の形態によれば、実施の形態１で説明した映像符号化装置におけるループフィルタと同様の作用効果を、映像復号化装置におけるループフィルタで実現することができる。また、対応する映像符号化装置からのストリームから符号化／送信情報を分離して取得するため、映像符号化装置および映像復号化装置の各々で実行されるデブロックフィルタ処理を同様のものとすることができ、各装置内のループフィルタを一対の組み合わせとして動作させることができる。

なお、本実施の形態では、符号化／送信情報が映像符号化装置からのストリームから取得されるものとして説明しているが、映像復号化装置２００が符号化／送信情報を自ら導出することが可能な場合はこの限りではない。

（実施の形態３）
図８は、本発明の実施の形態３に係るポストフィルタを有する映像復号化装置の構成を示すブロック図である。なお、本実施の形態の映像復号化装置は、実施の形態２で説明した映像復号化装置２００と同様の基本的構成を有しており、同一の構成要素には同一の参照符号を付し、その詳細な説明を省略する。

本実施の形態では、本発明に係るデブロックフィルタ処理を実行するフィルタがデコーダ側のみで用いられる一般的なケースについて説明する。

図８に示す映像復号化装置３００は、図７に示す映像復号化装置２００におけるループフィルタ２６０の代わりにポストフィルタ３１０を備えた構成を採っている。

ポストフィルタ３１０は、実施の形態１で詳述したデブロックフィルタ処理と同様の処理を、画像加算部２５０からの再構築フレームに対して適用し、デブロックフィルタ処理が施されたよりきれいなフレームを再構築フレームとして出力する。

また、ポストフィルタ３１０は、デブロックフィルタ処理を適応的に実行するための符号化／送信情報を入力されるストリームから分離して取得することで、実施の形態１で詳述したデブロックフィルタ処理と同様の処理を実行することが可能となる。ただし、映像復号化装置３００が符号化／送信情報を自ら導出することが可能な場合は、必ずしもストリームからの取得を行わなくても良い。

また、ポストフィルタ３１０にて実行されるデブロックフィルタ処理は、実施の形態２で説明したループフィルタ２６０にて実行されるデブロックフィルタ処理を、再構築フレームが生成されたときに最終レベルで実行することにより実現される。

このように、本実施の形態によれば、実施の形態１で説明した映像符号化装置におけるループフィルタと同様の作用効果を、映像復号化装置におけるポストフィルタで実現することができる。

本発明のデブロックフィルタ処理装置およびデブロックフィルタ処理方法は、処理装置の電力を不必要に消費することなく高画質化を実現する効果を有し、高度マルチメディアデータ符号化、特に、可変ブロックサイズベースでの動き推定を用いる映像符号化にて有用である。

本発明の実施の形態１に係るループフィルタを有する映像符号化装置の構成を示すブロック図 本発明の実施の形態１に係るループフィルタにて実行されるデブロックフィルタ処理の動作を説明するためのフロー図 本発明の実施の形態１に係る可変ブロックサイズベースのデブロックフィルタ処理の適用例を示した図 本発明の実施の形態１に係るデブロックフィルタ処理におけるタップ長設定の一例を説明するための図 本発明の実施の形態１に係るデブロックフィルタ処理におけるタップ長設定の他の例を説明するための図 本発明の実施の形態１に係るデブロックフィルタ処理と時間分解レベルとの関係を示す図 本発明の実施の形態２に係るループフィルタを有する映像復号化装置の構成を示すブロック図 本発明の実施の形態３に係るポストフィルタを有する映像復号化装置の構成を示すブロック図 従来のＭＣウェーブレット符号化の一般例を示す図 従来の動き推定／補償のための可変ブロックサイズを例示した図 従来の固定ブロックサイズベースのデブロックフィルタ処理の適用例を示した図

符号の説明

１００ 映像符号化装置
１１０ 画像入力部
１２０ 動き推定部
１３０、２３０ 時間フィルタ
１４０ 空間ウェーブレット分解部
１５０ スキャニング／エントロピー符号化部
１６０ ローカル復号化部
１７０、２６０ ループフィルタ
１８０、２７０ 参照フレームバッファ
２００、３００ 映像復号化装置
２１０ 逆スキャニング／逆エントロピー符号化部
２２０ 空間ウェーブレット合成部
２４０ 動き補償部
２５０ 画像加算部
３１０ ポストフィルタ

Claims (10)

1. 動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックを取得する取得手段と、
   取得された動き推定ブロックに従って前記フレームにデブロックフィルタ処理を適用する適用手段と、
   を有することを特徴とするデブロックフィルタ処理装置。
2. 前記適用手段は、
   前記フレーム内の一の動き推定ブロックと当該動き推定ブロックに隣接する他の動き推定ブロックとの境界のみで、デブロックフィルタ処理の適用を行うことを特徴とする請求項１記載のデブロックフィルタ処理装置。
3. 前記適用手段は、
   前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理のタップ長を設定することを特徴とする請求項２記載のデブロックフィルタ処理装置。
4. 前記適用手段は、
   前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理の強度を設定することを特徴とする請求項２記載のデブロックフィルタ処理装置。
5. 前記適用手段は、
   前記フレームに対応する符号化情報および送信情報の少なくともいずれか一方に基づいて、前記フレームに対するデブロックフィルタ処理の適用画素数を設定することを特徴とする請求項２記載のデブロックフィルタ処理装置。
6. 請求項２記載のデブロックフィルタ処理装置を有することを特徴とする映像符号化装置。
7. 請求項２記載のデブロックフィルタ処理装置を有することを特徴とする映像復号化装置。
8. 対応する映像符号化装置から送信される信号に従って、前記フレームにおいてデブロックフィルタ処理を適用すべき時間分解レベルを変更することを特徴とする請求項７記載の映像復号化装置。
9. 前記フレームが再構築されたときにデブロックフィルタ処理の適用を行うことを特徴とする請求項７記載の映像復号化装置。
10. 動き推定処理が施されたフレームにおける可変サイズの動き推定ブロックを取得する取得ステップと、
    取得された動き推定ブロックに従って前記フレームにデブロックフィルタ処理を適用する適用ステップと、
    を有することを特徴とするデブロックフィルタ処理方法。

Images