JP4410225B2 - 動画像復号化装置および方法 - Google Patents

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）等の動画像符号化を用いて圧縮されたデータを復号化して再生する動画像復号化装置及び方法に関する。

動画像処理技術の急速な発展により、動画像をデジタルデータとして扱うことが広く行われている。近年、デジタル放送受信ＴＶやＨＤＤ（Hard Disk Drive）／ＤＶＤ（Digital Versatile Disk）録再機では、主にＭＰＥＧ−２フォーマットで圧縮された動画像が再生される。ＭＰＥＧ−２に代表されるＭＰＥＧ圧縮は、動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いた符号化方式であり、低いビットレートで圧縮された場合には、ＤＣＴ係数が量子化されることにより、ブロック境界に発生する「ブロック歪」とエッジの周辺に発生する「リンギング歪」が知覚される場合がある。

ＭＰＥＧ圧縮による歪を、符号化情報を利用したポストフィルタ処理として適応的に除去する手段および装置が多数開示されている。特許文献１には、ブロックがＤＣＴ係数を有しない場合を考慮し、ＤＣＴ係数情報の状態に基づいて、デブロックフィルタおよびデリンギングフィルタのオン／オフを適応的に切り替えている。ここでＤＣＴ係数情報の状態とは、直流成分の有無や交流成分の有無を指す。ブロック歪除去フィルタ（デブロックフィルタ）は、例えば特許文献２に開示され、リンギング歪除去フィルタ（デリンギングフィルタ）は、例えば特許文献３に開示されている。
特開２００４−１４０８６４ 特許第３４６４９０８号 特開２０００−１０２０２０

例えばＭＰＥＧ−２においては、ＤＣＴ係数を有しないブロックでは、動き補償予測（ＭＣ）された画素値がそのまま復号画素値となる。ＭＰＥＧ−２において動き補償予測値は、図５に示されるように動きベクトルが指し示す画素位置によりローパスフィルタ処理（図５の例では、複数画素値の平均値化処理）される場合があるため、これを考慮せずに更にポストフィルタ処理にて平滑化処理を行うと、過剰なフィルタ処理が施されることになる。また、この影響を動画としてみるとＤＣＴ係数を有しないブロックとＤＣＴ係数を有するブロックとの間で、画質の時間変動となって知覚されてしまう。

特許文献１では、ＤＣＴ係数を有しないブロックでの過剰なフィルタ処理を端折る代わりに、第２のフレームメモリを必要とするポストフィルタ処理が開示されている。この技術は、ソフトウエア実装した場合のフィルタ処理における処理量を削減する効果があるが、ハードウエア化する場合には、フィルタ回路のオン／オフはハードウエア規模に影響を与えず、メモリ容量に影響を与える。

また、特許文献２や特許文献３では、スキップマクロブロック（スキップＭＢ）のようにブロックがＤＣＴ係数を有しない場合を考慮していないため、前記の理由により過剰なフィルタ処理が施される可能性がある。

本発明は、ＤＣＴ係数の交流成分を有しないブロックに対しては、動き補償予測時のフィルタの強度を算出し、この強度が大きい場合はポストフィルタがかかりにくくなるようにすることにより、ＭＰＥＧ特有の歪を効果的に除去することを可能とする動画像復号化装置及び方法を提供することを目的とする。

本発明の一形態は、動き補償予測と直交変換符号化とを用いて符号化された符号化データを復号化する動画像復号化装置において、前記符号化データから離散コサイン変換（ＤＣＴ）係数の交流成分を有さないブロックを検出する検出手段と、動きベクトルの１画素未満の値に基づいて、動き補償予測画像の生成処理による所定の高周波成分の減少の程度を推定する推定手段と、前記減少の程度が大きいほど、前記ＤＣＴ係数の交流成分を有しないブロックに対して適用する符号化歪を抑制するためのフィルタの強度を弱くするポストフィルタ処理部と、を具備する動画像復号化装置を提供する。

本発明の実施形態によれば、１画面ごとにＭＰＥＧ圧縮により発生する歪を除去する際に、低コストで画質の時間変動を抑制することが可能となる。

以下に添付図面を参照して、この発明にかかる動画像復号化方法および装置の実施の形態を詳細に説明する。

図１に示される動画像復号化装置によると、ビデオ復号化部１１０には、線１０１を介してＭＰＥＧ−２形式のビットストリームが供給される。このビデオ復号化部１１０は、線１０１に接続される可変長符号復号化部１１１と、この復号化部１１１の出力に接続される逆量子化部１１２と、この逆量子化部１１２の出力に接続される逆ＤＣＴ部１１３と、この逆ＤＣＴ部１１３の出力に接続される一方入力を有する加算器１１４と、復号化部１１１の出力に線Ｌ３を介して接続され、フレームメモリを含む動き補償予測部１１５とで構成される。動き補償予測部１１５の出力は加算器１１４の他方入力に接続される。可変長符号復号化部１１１の出力は線Ｌ１を介して符号化情報解析部１２０及びポストフィルタ部１３０に接続され、加算器１１４の出力は線Ｌ２を介してポストフィルタ部１３に接続される。復号化情報解析部１２０の出力は線Ｌ４を介してポストフィルタ部１３０に接続される。

上記構成において、可変長符号復号化部１１１に線１０１を介してＭＰＥＧ−２形式のビットストリームが供給されると、可変長符号復号化部１１１は符号化情報（マクロブロック（ＭＢ）のモード情報、量子化情報、動きベクトル情報等）を復号し、復号情報を逆量子化部１１２に供給すると共に線Ｌ１を介して符号化情報解析部１２０とポストフィルタ部１３０に、そして線Ｌ３を介して動き補償予測部１１５に供給する。

逆量子化部１１２は、可変長符号復号化部１１１から供給される復号情報のＤＣＴ係数情報を逆量子化し、ＤＣＴ係数を生成し、それを逆ＤＣＴ部１１３供給する。逆ＤＣＴ部１１３は、ＤＣＴ係数を逆変換することで、画像信号を復元する。逆ＤＣＴ部１１３で復元された画像信号が動き補償誤差である場合は、加算器１１４はこの画像信号を動き補償予測部１１５から供給される動き補償予測値と加算し、復号画像信号を再生する。

逆ＤＣＴ部１１３で復元された画像信号が動き補償誤差でない場合は、その復元画像信号は加算器１１４により動き補償予測部１１５から供給される予測信号と加算されずに、そのまま復号画像信号として再生される。復号画像信号は線Ｌ２に出力されると共に、動き補償予測部１１５内のフレームメモリに蓄積される。動き補償予測部１１５は、線Ｌ３を介して復号化部１１１から供給される動きベクトル情報に基づいて動き補償予測値を生成し、それを加算器１１４に供給する。加算器１１４は、逆ＤＣＴ部１１３の復元画像信号と動き補償予測部１１５の動き補償予測値とを加算し、復号画像信号を生成する。復号画像信号は線Ｌ２を介してポストフィルタ部１３０に供給される。

符号化情報解析部１２０は、線Ｌ１を介して供給された符号化情報から、ブロックのＤＣＴ係数の交流成分の有無を解析すると共に、動きベクトル情報から動き補償時のフィルタ強度を解析する。符号化情報解析部１２０は、これらの解析情報に基づいて、ブロックにおける動き補償時のフィルタ強度のパラメータを算出し、それを線Ｌ４を介してポストフィルタ部１３０に供給する。

ポストフィルタ部１３０では、線Ｌ１を介して供給される符号化情報と線Ｌ４を介して供給される動き補償時のフィルタ強度のパラメータに基づいて、線Ｌ２を介して供給される復号画像信号に対して適応的にポストフィルタを適用する。フィルタ処理された復号画像信号は、線１０２を介して出力される。

以下に、図面を参照して、この発明にかかる符号化情報解析部１２０の実施の形態を説明する。

＜符号化情報解析部＞
図２に示す符号化情報解析部１２０は、ＤＣＴ係数有無の判定を行うＤＣＴ係数有無判定部１２１とこの判定結果を用いて動き補償フィルタの強度を計算するＭＣフィルタ強度算出部１２２とにより構成される。

ＤＣＴ係数有無判定部１２１と動き補償（ＭＣ）フィルタ強度算出部１２２には線Ｌ１を介して符号化情報が供給される。ＤＣＴ係数有無判定部１２１は、供給された符号化情報に基づいて図３のフローに従ってブロックにＤＣＴ係数が存在するか否かを解析する。ここで解析されたＤＣＴ係数有無の情報は、線１２３を介してＭＣフィルタ強度算出部１２２に供給される。ＭＣフィルタ強度算出部１２２は、図４のフローに従ってブロックのＭＣに関するフィルタの強度を算出する。ここで算出されたフィルタ強度情報は、線Ｌ４を介してポストフィルタ部１３０に供給される。

図３のフローチャートを参照して、ＤＣＴ係数有無判定部１２１で実行される処理を具体的に説明する。ステップＳ１１では、線Ｌ１を介して供給された符号化情報から、マクロブロック（ＭＢ）のモード：（１）スキップマクロブロック（ＭＢ）、（２）イントラマクロブロック（ＭＢ）、（３）マクロブロック内の各ブロックがＤＣＴ係数を有するか否かを示す値であるcoded_block_pattern情報（ｃｂｐ）を取得する。ステップＳ１２では、ブロックが属するＭＢがスキップＭＢであるか否かを判定し、スキップＭＢと判定された場合には、処理はステップＳ１３に移行してブロックを“ＤＣＴ係数無し”に設定する。ステップＳ１２にて、スキップＭＢと判定されなかった場合は、処理はステップＳ１４に移行して、ブロックが属するＭＢがイントラＭＢであるか否かを判定される。イントラＭＢと判定された場合には、処理はステップＳ１５に移行してＤＣＴ係数に交流成分が有りかを判定する。この判定がＹＥＳであると、ステップＳ１６においてブロックを“ＤＣＴ係数有り”に設定する。判定がＮＯであると、処理はステップＳ１３に進みブロックを“ＤＣＴ係数無し”に設定する。

ステップＳ１４にて、イントラＭＢと判定されなかった場合は、処理はステップＳ１７に移行して、coded_block_pattern情報からブロックのフラグが“１”であるか否かを検出する。フラグが１である場合は、処理はステップＳ１５に移行してＤＣＴ係数に交流成分が有りかを判定する。この判定がＹＥＳであると、ステップＳ１６においてブロックを“ＤＣＴ係数有り”と設定する。一方、ブロックのフラグが“０”である場合及び交流成分を有さない場合は、処理はステップＳ１３に移行してブロックを“ＤＣＴ係数無し”に設定する。

上記のようにＤＣＴ係数の交流成分を有さないブロックを検出し、ＤＣＴ係数の交流成分を有しないブロックに対して“ＤＣＴ係数無し”を設定する。

図４のフローチャートを参照してＭＣフィルタ強度算出部１２２で実行される処理を具体的に説明する。ステップＳ２１では、線１２３を介してＤＣＴ係数有無判定部１２１から供給されたＤＣＴ係数有無判定情報が“ＤＣＴ係数有り”を示す場合は、処理はステップＳ２２に移行してブロックのフィルタ強度を“０”とする。ステップＳ２１にてＤＣＴ係数有無判定情報が“ＤＣＴ係数無し”を示す場合は、処理はステップＳ２３に移行して、線Ｌ１を介して供給される符号化情報から、ブロックを動き補償予測するための動きベクトル（ＭＶ）情報を取得する。

次に、処理はステップＳ２４に移行して動きベクトル情報が指し示す位置が、図５における整数画素位置（○印）である場合は、動き補償予測時にフィルタ処理が施されないため、処理はステップＳ２２に移行してブロックのフィルタ強度を“０”とする。ステップＳ２４にて動きベクトル情報が指し示す位置が、図５における△か×である場合は、動き補償予測時にフィルタ処理が施されるため、そのフィルタが強い（×印）か、弱い（△印）かを、判定するために処理はステップＳ２５に移行する。ステップＳ２５にて、動きベクトル情報が指し示す位置が、図５における△である場合は、処理はステップＳ２６に移行してブロックのフィルタ強度を“１”とする。ステップＳ２５にて、動きベクトル情報が指し示す位置が、図５における×である場合は、処理はステップＳ２７に移行してブロックのフィルタ強度を“２”とする。ここで、フィルタ強度の値が大きいほど強いフィルタが施されていることになる。

更に、ＭＰＥＧ−２の場合、動き補償予測には両方向予測やデュアルプライム予測があり、これらの予測では２つの動きベクトルで指し示された動き補償予測値をそれぞれ取得し、それらの平均値を生成して動き補償予測される。従って、これら２つの動きベクトルにて各々指し示された位置に応じた２つのフィルタ強度を算出し、この２つのフィルタ強度値の和で両方向予測やデュアルプライム予測でのフィルタ強度を算出しても良い。

また、動きベクトルが指し示す位置を検出する際に、１／２画素精度の動きベクトルを整数値で表現した場合、動きベクトルの水平方向と垂直方向それぞれの最下位ビットが１／２画素精度を表すため、最下位ビットを検出するだけで、動きベクトルが図５の○、△、×の位置の何れかを指し示しているかが判定できる。

以下に、図面を参照して、この発明の実施形態にかかるポストフィルタ部１３０の概要を説明する。

＜ポストフィルタ部＞
図６に示すポストフィルタ部１３０は、デリンギングフィルタ部１３１と、デブロックフィルタ部１３２と、符号化情報に基づいて復号画像の画質を推定するＱ値生成部１３３と、デリンギングフィルタのしきい値を生成するしきい値生成部１３４と、デブロックフィルタ部１３２に対応するフィルタのオン／オフや強度を適応制御するフィルタ適応制御部１３５とから構成される。

ビデオ復号化部１１０から線Ｌ２を介してデリンギングフィルタ部１３１に再生画像信号が供給されると、デリンギングフィルタ部１３１は再生画像信号からリンギング歪を除去し、デリンギング処理信号を線Ｌ３３を介してデブロックフィルタ部１３２に供給する。デブロックフィルタ部１３２は、線Ｌ３３を介して供給されるデリンギングフィルタ部１３１のデリンギング処理信号からブロック歪を除去する。これにより、デブロックフィルタ部１３２からは、リンギング歪及びブロック歪みが除去された再生画像信号が線１０２を介して出力される。

Ｑ値生成部１３３は、線Ｌ１を介して供給される符号化情報から例えば２つのＱ値を生成する。Ｑ値はブロックあるいは近傍のブロックの量子化幅の情報に基づいて算出される値であり、本実施の形態では量子化幅が大きいほど大きな値となるように設定される。ここでＱ値は、線Ｌ３１、Ｌ３２を介してそれぞれしきい値生成部１３４とフィルタ適応制御部１３５に供給される。この際、線Ｌ３１と線Ｌ３２を介して出力されるＱ値は同じ値でもよいし、ブロック内をフィルタの対象とするデリンギングフィルタと、主にブロックと隣接するブロックとの境界部をフィルタの対象とするデブロックフィルタとの違いを考慮して、それぞれ異なるＱ値でも良い。

しきい値生成部１３４は、線Ｌ３１を介して供給されるＱ値と、線Ｌ２を介して供給されるフィルタリング対象となる画素値とその近傍の画素値と、線Ｌ４を介して供給されるフィルタ強度情報を用いてデリンギングフィルタのしきい値を決定する。このしきい値は、線Ｌ３４を介してデリンギングフィルタ部１３１に供給される。

上記実施例によると、ブロック毎に符号化データにおけるＤＣＴ係数の有無を検出し、ＤＣＴ係数を有さないブロックについて動きベクトルの示す位置に応じて、動き補償予測画像の生成時に適用されるローパスフィルタの強度を決定し、決定されたローパスフィルタ強度に応じてＤＣＴ係数を有しないブロックに対してフィルタリング処理を行う。つまり、ＤＣＴ係数を有さないブロックに参照画像を動き補償して貼り付ける際に動きベクトルの示す位置に応じてフィルタ強度を決定し、決定されたフィルタ強度に応じてブロックをフィルタリング処理する。

以下に、図面を参照して、デリンギングフィルタ部１３１を具体的に説明する。

（デリンギングフィルタ部の第１具体例）
本実施形態のデリンギングフィルタ部１３１をεフィルタにより実現した具体例を図７と図８を用いて説明する。

εフィルタは図７に示されるように構成され、図８に示すように、フィルタの対象となる画素と上下左右および斜め方向に隣接する８画素とで構成される３×３のマスクを用いたデリンギングフィルタの例を説明する。

図７において、Ｌｉｎｅ２は画素を含むラインであり、Ｌｉｎｅ１はＬｉｎｅ２の上のライン、Ｌｉｎｅ３はＬｉｎｅ２の下のラインである。図７には図示していないが、線Ｌ２を介して供給されたＬｉｎｅ１、Ｌｉｎｅ２、Ｌｉｎｅ３の画素値が蓄積されているメモリが別途存在する。また、図７において、ブロック“Ｄ”（２０１）は１画素遅延を示し、記号“ＴＨ”は線Ｌ３４を介して供給されるしきい値を示す。また、図７において、記号“ＣＥ”は線２０４を介して出力される画素の値を示し、記号“ＣＥ´”は線Ｌ３３を介して出力されるデリンギングフィルタ処理後の画素の値を示す。

対象画素の周囲８画素は、それぞれ非線形演算部２０２において非線形処理される。非線形演算部２０２の動作を、図８を用いて説明する。まず、線Ｌ４１を介して供給される周囲８画素の何れか１画素の画素値“Ｘ”と、線２０４を介して入力される画素値“ＣＥ”の差分値“Ｘ−ＣＥ”が求められる。この差分値“Ｘ−ＣＥ”は、図８に示されるような、線Ｌ３４を介して供給される、しきい値（ＴＨ）の値により特性の変化する非線形関数により処理され、その出力が図７の線Ｌ４２を介して出力される。

図７における全ての非線形演算部２０２の出力は、それぞれ畳み込み演算部２０３に供給される。畳み込み演算部２０３では、非線形演算後の周囲８画素の画素値にフィルタ係数が畳み込まれる。畳み込み演算部２０３の出力は加算器２０５に供給され、線２０６を介して供給される対象画素の画素値ＣＥと加算される。そして、加算器２０５の出力が対象画素のフィルタ処理後の画素値となる。

（デリンギングフィルタ部の第２具体例）
本実施形態のデリンギングフィルタ部１３１をコアリング処理により実現した具体例を図９と図１０を用いて説明する。

図９に示されるコアリング処理回路系によると、線Ｌ２を介して供給される入力画素値の信号に対してローパスフィルタ処理及びハイパスフィルタ処理をそれぞれ行うローパスフィルタ（ＬＰＦ）３０１およびハイパスフィルタ（ＨＰＦ）３０２が設けられる。ＬＰＦ３０１は加算器３０４に直接接続され、ＨＰＦ３０２の出力はコアリング処理部３０３を介して加算器３０４接続される。

上記構成において、ＨＰＦ３０２は対象画素値の信号をハイパスフィルタ処理し、処理結果をコアリング処理部３０３に入力する。コアリング処理部３０３は対象画素値信号から微小振幅成分をカットした後、加算器３０４に供給する。加算器３０４は、コアリング処理部３０３の出力信号とＬＰＦ３０１にてローパスフィルタ処理された画素値信号とを加算し、デリンギングフィルタ処理された対象画素値信号を生成し、線Ｌ３３を介して出力する。

ＨＰＦ３０２より供給されるハイパスフィルタ処理された画素値信号から、図１０に示されるような、線Ｌ３４を介して供給されるしきい値（ＴＨ）により変化する非線形関数により微小振幅成分がカットされる。

デリンギングフィルタ部１３１では、両者の具体例（１）及び（２）においても、線Ｌ３４を介して供給されるしきい値ＴＨにより対象画素値信号から微小振幅の除去が行われる。また、両者の具体例において、線Ｌ３４を介して供給されるしきい値が大きくなるほど、より強いフィルタが施されることになるため、画質を損なわずにリンギング歪を除去するためには、適切なしきい値を適応的に生成する必要がある。

本実施形態では、ＤＣＴ係数を有しないブロックに対しては、動き補償予測（ＭＣ）時のフィルタの強度を算出し、この強度が大きい場合はデリンギングフィルタのしきい値を小さくし、フィルタがかかりにくくなるようにする。これにより、過剰なフィルタ処理が施されることが防止されることで、画質の時間変動を抑制することが可能となる。

以下に、図面を参照して、本発明の実施形態にかかるしきい値生成部１３４を説明する。

（しきい値生成部）
図１１に示すしきい値生成部１３４は、クラス分類部２１２及びしきい値変換部２１３により構成され、このしきい値生成部１３４には、線Ｌ２を介してデリンギングフィルタを施す対象画素が含まれた（ＤＣＴされる単位の）ブロックの画素値が供給される。線Ｌ２を介して供給されるブロックの画素値は、クラス分類部２１２へと供給される。クラス分類部２１２はブロックの画素値からブロック内のエッジの強度を求め、エッジ強度を線Ｌ５１に出力する。ブロック内のエッジ強度の求め方の具体例としては、最も簡単な方法として、ブロック内の最大値と最小値を検出し、その差分値であるダイナミックレンジ（ＤＲ）をエッジ強度とすることである。

しきい値変換部２１３には、線Ｌ３１を介するＱ値（Ｑ）、線Ｌ５１を介するダイナミックレンジ（ＤＲ）、線Ｌ４を介するＭＣのフィルタ強度（Ｓ）が供給される。これらパラメータはデリンギングフィルタのしきい値に変換された後、線Ｌ３４を介して出力される。これら３つのパラメータ（Ｑ、ＤＲ、Ｓ）からしきい値への変換は、関数“ＴＨ（Ｑ、ＤＲ、Ｓ）”により変換される。

ここで、リンギング歪と、２つのパラメータ（Ｑ、ＤＲ）との定性的な関係は、以下の通りである。

（１）量子化幅が大きい（Ｑ値が大きい）ほど、量子化によるリンギングの影響が大きくなる。

（２）ＤＣＴブロック内に強いエッジがある（ＤＲが大きい）ほど、同じ量子化幅におけるリンギングの影響が大きくなる。即ち、関数ＴＨ（Ｑ、ＤＲ、Ｓ）は、２つのパラメータ（Ｑ、ＤＲ）が大きいほど、増大する関数であれば良い。

一方、パラメータＳは、前記の通り値が大きいほど、関数ＴＨ（Ｑ、ＤＲ、Ｓ）が減少すればよい。

関数ＴＨ（Ｑ、ＤＲ、Ｓ）の例としては、以下のような関数式が考えられる。

ＴＨ（Ｑ、ＤＲ、Ｓ）＝Ｆ（Ｓ）×（（１−ｗ）×Ｑ ＋ ｗ×ＤＲ）
ここで、ｗは０〜１の値をとる重み係数である。また、関数Ｆは単調減少関数であり、Ｓの値が０の時に１となり、Ｓの値が最大値（図４の例では、値は２）の時に０となればよい。なお、スキップＭＢの場合は対象ＭＢの量子化幅の情報が無いため、動き補償予測に用いられる参照ピクチャの画素値が属するＭＢの量子化幅の情報を利用すればよい。その他、対象ピクチャにおける、最も近くに取得された量子化幅の情報を利用してもよいし、参照ピクチャの量子化幅の平均値を用いるなどしても良い。また、関数ＴＨ（Ｑ、ＤＲ、Ｓ）を、事前に設計されたテーブルとして用意し、テーブルルックアップにより、しきい値の変換を行っても良い。

（デブロックフィルタ部及びフィルタ適応制御部）
デブロックフィルタ部１３２とフィルタ適応制御部１３５に関しては、本発明の実施形態では特に限定されるものではなく、ＤＣＴのブロック境界部の画素値を補正することにより、量子化により発生するブロック境界部の不連続性を低減するものであれば良い。

デブロックフィルタ部１３２は、図１２に示すような特許文献２にて開示されているデブロックフィルタを使用することができる。このデブロックフィルタでは、垂直方向のブロック境界と水平方向のブロック境界とに、各々水平デブロックフィルタ処理と垂直デブロックフィルタ処理が施される。

図１２におけるＳ１の波形と、Ｓ２の波形との関係からブロック境界での不連続性を低減するようにブロック境界部に隣接する画素値を補正している。この際、ブロック境界部をまたぐ波形Ｓ０の変化の大きさが、量子化幅から得られるＱ値よりも大きな場合は、その画像が本来持っていたエッジであると判断し、画素値の補正を行わない。即ち、フィルタ適応制御部１３５では、線Ｌ３３を介して供給される波形Ｓ０、Ｓ１、Ｓ２と線Ｌ３２を介して供給されるＱ値から、画素の補正値と画素値の補正を行うか否かの情報が求められ、線Ｌ３５を介してデブロックフィルタ部１３２に供給される。デブロックフィルタ部１３２では、線Ｌ３３を介して画素値供給され、線Ｌ３５を介して供給される画素値の補正を行うか否かの情報により、画素値の補正が必要な場合は、線Ｌ３５を介して供給される画素の補正値を用いて、対象画素値を補正し、画素値の補正が不要な場合は、そのまま対象画素値を線１０２を介して出力する。

上記構成により、特許文献１に記載されているような第２のフレームメモリを必要とせずに、過剰なフィルタ処理による画質の変動を抑制することが可能となる。

本発明の実施の形態では、ＭＰＥＧ−２形式のビットストリームを対象として説明するが、実施段階ではその要旨を逸脱しない範囲で他のＭＣとＤＣＴを用いた符号化方式のビットストリームを対象とすることができる。

本発明の実施の形態に記載した図３及び図４に示される処理などを図１３に示されるコンピュータシステムにより実行させることのできるプログラムとして実施することができる。図１３のコンピュータシステムは、ビデオ復号化プログラム、DCT係数有無判定プログラム（図３）、MCフィルタ強度算出プログラム（図４）、ポストフィルタプログラムなどを格納したメモリ４００，このメモリ４００からプログラムを読み出し実行するＣＰＵ４０１，入力装置４０２及び出力装置４０３により構成できる。なお、コンピュータにより実行できるプログラムは、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

以上のように、本発明にかかる動画像復号化装置及び方法は、デジタル放送対応テレビや動画像録画再生装置などにおいて、ＭＰＥＧ−２等により圧縮されたデータを復号する際に発生する符号化歪を除去する際に有効である。

本発明の一実施の形態に従った動画像復号化装置のブロック図 動き補償予測画像生成時に適用されるローパスフィルタ処理を説明する図 符号化情報解析部１２０のブロック図 ＤＣＴ係数有無判定部１２１の処理フロー ＭＣフィルタ強度算出部１２２の処理フロー ポストフィルタ部１３０のブロック図 εフィルタの一例のブロック図 非線形演算部２０２の特性を説明する図 コアリング処理の一例のブロック図 コアリング処理部３０３の特性を説明する図 しきい値生成部１３４のブロック図 デブロックフィルタを説明する図 本発明の一実施の形態に従った動画像復号化方法を実施するコンピュータシステムを示す図

符号の説明

１１０…ビデオ復号化部、１１１…可変長符号復号化部、１１２…逆量子化部、１１３…逆ＤＣＴ部、１１４…加算器、１１５…動き補償予測部、１２０…符号化情報解析部、１２１…ＤＣＴ係数有無判定部、１２２…ＭＣフィルタ強度算出部、１３０…ポストフィルタ部、１３１…デリンギングフィルタ部、１３２…デブロックフィルタ部、１３３…Ｑ値生成部、１３４…しきい値生成部、１３５…フィルタ適応制御部、２０２…非線形演算部、２０３…畳み込み演算部、２１２…クラス分類部、２１３…しき値変換部、３０１…ローパスフィルタ、３０２…ハイパスフィルタ、３０３…コアリング処理部、３０４…加算器

Claims (12)

1. 動き補償予測と直交変換符号化とを用いて符号化された符号化データを復号化する動画像復号化装置において、
   前記符号化データから離散コサイン変換（ＤＣＴ）係数の交流成分を有さないブロックを検出する検出手段と、
   動きベクトルの１画素未満の値に基づいて、動き補償予測画像の生成処理による所定の高周波成分の減少の程度を推定する推定手段と、
   前記減少の程度が大きいほど、前記ＤＣＴ係数の交流成分を有しないブロックに対して適用する符号化歪を抑制するためのフィルタの強度を弱くするポストフィルタ処理部と、
   を具備する動画像復号化装置。
2. 前記検出手段は、前記符号化データからスキップマクロブロックを検出する手段を有することを特徴とする、請求項１記載の動画像復号化装置。
3. 前記検出手段は、coded_block_patternが０であるブロックを検出する手段を有することを特徴とする、請求項１記載の動画像復号化装置。
4. 前記推定手段は、動きベクトルが指し示す非整数画素位置から得られる内挿フィルタの強度を算出する内挿フィルタ強度算出手段を有することを特徴とする、請求項１記載の動画像復号化装置。
5. 前記動き補償予測画像が両方向予測またはデュアルプライム予測で生成される場合には、２つの動きベクトルのそれぞれが指し示す非整数画素位置から得られる内挿フィルタの強度の和を求めることを特徴とする、請求項１又は４記載の動画像復号化装置。
6. 前記内挿フィルタ強度算出手段は、動き補償予測値を算出する際に平均される画素の数が増えるほど前記内挿フィルタの強度が強くなるように前記内挿フィルタの強度を算出することを特徴とする、請求項４又は５記載の動画像復号化装置。
7. 前記ポストフィルタ処理部は、デリンギングフィルタ手段を有し、前記減少の程度が大きいほど、デリンギングフィルタのしきい値を小さく設定することを特徴とする、請求項１乃至請求項６記載のいずれか１項に記載の動画像復号化装置。
8. 前記ポストフィルタ処理部は、デリンギングフィルタ手段とデブロックフィルタ手段とを有し、
   前記デリンギングフィルタ手段と前記デブロックフィルタ手段とのうち、前記デリンギングフィルタ手段のみが前記減少の程度に応じて処理を行うことを特徴とする、請求項１乃至請求項７のいずれか１項に記載の動画像復号化装置。
9. 動き補償予測と直交変換符号化とを用いた符号化された符号化データを復号化する動画像復号化方法において、
   前記符号化データから離散コサイン変換（ＤＣＴ）係数の交流成分を有さないブロックを検出する検出ステップと、
   動きベクトルの１画素未満の値に基づいて、動き補償予測画像の生成処理による所定の高周波成分の減少の程度を推定する推定ステップと、
   前記減少の程度が大きいほど、前記ＤＣＴ係数の交流成分を有しないブロックに対して適用する符号化歪を抑制するためのフィルタの強度を弱くするステップと、
   を含む動画像復号化方法。
10. 動き補償予測と直交変換符号化とを用いて符号化された符号化データをコンピュータにより復号化する動画像復号化プログラムにおいて、
    前記符号化データから離散コサイン変換（ＤＣＴ）係数の交流成分を有さないブロックをコンピュータに検出させる命令と、
    動きベクトルの１画素未満の値に基づいて、動き補償予測画像の生成処理による所定の高周波成分の減少の程度をコンピュータに推定させる命令と、
    前記減少の程度が大きいほど、前記ＤＣＴ係数を有しないブロックに対して適用する符号化歪を抑制するためのフィルタの強度を弱くすることをコンピュータに実行させる命令と、
    を含む動画像復号化プログラム。
11. 前記減少の程度が大きいほど、デリンギングフィルタのしきい値を小さく設定する命令を含むことを特徴とする、請求項１０記載の動画像復号化プログラム。
12. 再生画像信号からリンギング歪を除去するデリンギング処理とブロック歪みを除去するデブロックフィルタリング処理をコンピュータに実行させる命令を含むことを特徴とする、請求項１０記載の動画像復号化プログラム。

Images