JP3819461B2 - 映像データ後処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号復号化システムで用いる後処理方法に関するものであって、特に、復号化された映像データを効果的に後処理して、復号化された映像データのブロックの境界で現れるブロッキング現象を除去することによって、映像の画質を向上させる後処理方法に関する。
【０００２】
【従来の技術】
高精細度テレビ(HDTV)及びテレビ電話システムのような多様な電子／電気的な用途おいては、映像信号をディジタル形態で伝送する必要がある。この映像信号がディジタル形態で表現される際、大量のディジタルデータが生じる。しかし、通常の伝送チャネルの利用可能な周波数帯域幅は制限されているため、大量のディジタルデータをその制限されたチャネルを通じて伝送するためには、伝送すべきデータの量を圧縮し得る映像符号化システムが要求される。多様な映像信号圧縮技法のうち、いわゆる、統計的符号化法と時間的、空間的圧縮法とを組み合わせたハイブリッド符号化技法が最も効果的なものとして知られている。
【０００３】
殆どのハイブリッド符号化技法は、インタ／イントラモード符号化(inter/intra mode coding) 、直交変換、変換係数の量子化、 RLC（ランレングス符号化）及び VLC（可変長符号化）を採用する。適応的インタ／イントラモード符号化は、現フレームの PCM（パルスコード変調）データまたは、例えば、PCM データの分散に基づいたDPCM（差分パルスコード変調）データから引き続く直交変換のためのビデオ信号を選択するプロセスである。予測方法として知られているインタモード符号化は、隣接フレーム間の冗長性を減らす概念に基づいたものであって、現フレームと１つまたは２つの隣接フレームとの間の物体の動きを求める共に、その物体の動く流れによって現フレームを予測し、現フレームとその予測値と間の差を表すエラー信号を生成するプロセスである。このような符号化法は、例えば、Staffan Ericssonの論文、“「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」、IEEE Transactions on Communications, COM-33, No.12,1291-1301 頁 (1985年12月）”と、Ninomiya及びOhtsuka の論文“「A Motion-Compensated Interframe Coding Scheme for Television Pictures 」、IEEE Transactions on Communications, COM-30, No.1, 201-210頁 (1982年１月）”に開示されており、本願においてこれらを参照することができる。
【０００４】
直交変換は、現フレームの PCMデータまたは動き補償されたDPCMデータのような映像データ間の空間的相関性を用いて、それらの間の空間的冗長性を減らすかまたは除去し、ディジタル映像データのブロックを１組の変換係数に変換する。このような技法は、例えば、Chen及びPratt の論文“「Scene Adaptive Coder」、IEEE Transactions on Communications, COM-32, No.3, 225-232頁 (1984年３月）”に開示されている。そのような変換係数のデータを量子化、ジグザグ走査、RLC及びＶＬＣを通じて処理することによって、伝送すべきデータの量を効果的に圧縮ことができる。
【０００５】
符号化された映像データは、通常の伝送チャネルを通じて受信機の映像信号復号化システム内の映像信号デコーダへ伝送される。この映像信号デコーダにおいては、符号化動作の逆過程を行うことによって、元の映像データを再構成する。再構成された映像データまたは復号化された映像データでは、受信端でブロックの境界線が現れるブロッキング現象のような目ざわりなアーティファクトが一般的に存在する。このようなブロッキング現象は１フレームをブロック単位で符号化されているため生じる。
【０００６】
ブロッキング現象を減らすことによって復号化された映像データの画質を改善するために、多様なタイプの後処理技法が提案されてきた。一般的に、これらの後処理技法は、後処理フィルタを用いて復号化された映像データを更に処理する。
【０００７】
後処理フィルタを用いる後処理技法においては、復号化された映像データが、予め定められた遮断周波数を有する低域通過フィルタを通じて画素単位でフィルタリングされる。後処理フィルタを採用した後処理技法は、本願発明と出願人を同じくする係属中の米国特許出願番号第08/431,880号明細書に、「IMPROVED POST-PROCESSING METHOD FOR USE IN AN IMAGE SIGNAL DECODING SYSTEM」という名称で開示されている。この技法は、フィルタリングされた各映像データを繰り返して後処理することによって、復号化された映像データのブロックの境界で現れるブロッキング現象を減らすことができる。しかしながら、このような後処理技法は、復号化された映像データをブロック内に含まれた各画素の位置を考慮せずにフィルタリングが行われるので、ブロックの境界においてブロッキング現象を充分に除去することができない。
【０００８】
他のタイプの後処理技法においては、最初、フィルタリングされるべき目標画素の各々に対する画素の位置情報を求める。この画素の位置情報は、各々の目標画素が復号化された映像データに含まれた各目標画素に対応するブロックの境界領域に属するか否かを表す。その後、異なる遮断周波数を有する２つのフィルタを用いて、目標画素は画素の位置情報に基づいて選択的にフィルタリングされる。より詳しくは、境界領域内に位置した目標画素は、より低い遮断周波数を有するフィルタによってフィルタリングされる一方、境界領域の外部に置かれた目標画素はより高い遮断周波数を有するフィルタによってフィルタリングされる。
【０００９】
上述したような後処理技法を用いてブロックの境界で現れるブロッキング現象を除去することができるとしても、復号化された映像データの画質を十分改善するためにはブロッキング現象を更に減らす必要がある。
【００１０】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像信号復号化システムで用いられ、選択的なフィルタリング方法と画素データ補正技法とを用いて、復号化された映像データにおいてブロックの境界で現れるブロック現象を十分に減らすかまたは除去できる後処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、映像信号復号化システムで用いられ、前記映像信号復号化システムに組み込まれた映像信号デコーダからブロック単位で供給される現フレームの復号化された映像データを、画素単位で後処理する映像データ後処理方法であって、
前記現フレームの復号化された映像データを格納する第１過程と、
前記格納された復号化された映像データに含まれた各画素値を、フィルタリングされるべき目標画素の値を表す目標の画素値として順番に割り当てると共に、前記目標画素の位置を表す位置情報を発生する第２過程と、
前記目標画素の位置情報を用いて、前記目標画素が、前記格納された復号化された映像データのブロックの境界に沿って置かれた画素を含む領域を表す境界領域に属するかどうかを表す選択信号を発生する第３過程と、
前記選択信号に応じて、前記目標画素値を選択的にフィルタリングすることによって、フィルタリングされた目標画素値を発生する第４過程と、
前記復号化された映像データに含まれたフィルタリングされない目標画素値を表す元の目標画素値と、前記フィルタリングされた目標画素値との間の差の絶対値を計算する第５過程と、
前記差の絶対値が予め定められた閾値より小さい場合、前記格納された目標画素値を前記フィルタリングされた目標画素値で更新する第６過程と、
前記差の絶対値が前記予め定められた閾値より小さい場合、前記第２過程乃至第６過程をＮ回繰り返し、同じであるかまたは大きい場合には、前記格納された目標画素値を補償された目標画素値で更新する過程であって、前記補償された目標画素値は、前記元の目標画素値が、前記フィルタリングされた目標画素値より小さければ、前記元の目標画素値と前記予め定められた閾値とを加算することによって求められ、同じであるかまたは大きい場合には、前記元の目標画素値から前記予め定められた閾値を減算することによって求められる、前記第７過程と、
前記現フレームの全画素が後処理されるまで、次の目標画素に対して前記第２過程乃至第７過程を繰り返す第８過程とを含む。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながらより詳しく説明する。 図１を参照すると、本発明の後処理方法を説明するための新規の映像信号復号化システム100 のブロック図が示されている。この映像信号復号化システム100は、映像信号デコーダ20及び後処理ユニット200 からなり、映像信号デコーダ20は可変長復号化器(VLD)22 、ランレングスデコーダ(RLD)24 、逆ジグザグスキャナ26、逆量子化器(IQ)28、逆変換器(IT)30、加算器32、第１フレームメモリ34及び動き補償器36から構成される。
【００１３】
映像信号デコーダ20においては、符号化された映像データ（即ち、１組の可変長符号化された変換係数及び動きベクトル）はブロック単位でVLD22に入力される。このVLD22は、１組の可変長符号化された変換係数と動きベクトルとを復号化した後、ランレングス符号化された変換係数はRLD24へ、そして動きベクトルは動き補償器36へ各々供給する。VLD22は概ねルックアップ表である。即ち、VLD22において、複数のコードセットが可変長コードとそれらのランレングスコードまたは動きベクトルとの間の各々の相関性を規定するために与えられる。その後、ランレングス符号化された変換係数は、ジグザグ走査された変換係数を発生するRLD24へ供給される。このRLD24もルックアップ表である。ジグザグ走査された変換係数は逆ジグザグスキャナ26へ供給される。
【００１４】
逆ジグザグスキャナ26においては、ジグザグ走査された変換係数は再構成されて、量子化された変換係数のブロックを供給する。その後、量子化された変換係数の各ブロックはIQ28にて１組の変換係数に変換される。しかるのち、その１組の変換係数はIT（例えば、離散的逆コサイン変換器）30へ入力され、ここで現フレームのブロックとそれに対応する前フレームのブロックとの間の１組の差分データに変換される。その後、その１組の差分データは加算器32へ送られる。
【００１５】
一方、動き補償器36は、VLD22 からの現フレームの各ブロックに対応する動きベクトルに基づいて、第１フレームメモリ34に格納された前フレームから１組の画素データを取り出すと共に、取り出された１組の画素データを加算器32へ供給する。動き補償器36から取り出された１組の画素データと、IT30からの１組の画素差分データとは加算器32にて加算されるこよによって、現フレームの所定のブロックの再構成された映像データを発生する。その後、ブロックの再構成された映像データまたは復号化された映像データは、第１フレームメモリ34へ供給され格納されると共に、後処理する後処理ユニット200 へ送られる。
【００１６】
本発明の後処理ユニット200 においては、加算器32からの復号化された映像データに対する後処理は、復号化された映像データを効果的にフィルタリングした後、後処理された映像データを表示装置（図示せず）へ供給する動きをする。
図２を参照すると、本発明の後処理方法を説明するための後処理ユニット200 の詳細なブロック図が示されている。
この後処理ユニット200 はフィルタリングユニット250 、画素データ評価ユニット260 及び画素データ補正ユニット280 を含み、復号化された映像データに含まれた各画素を画素単位でフィルタリングすることによって、後処理された映像データを供給する動きをする。
【００１７】
図２に示したように、図１に示した映像信号デコーダ20からの現フレームの復号化された映像データは、まず、第２フレームメモリ210 に入力されて格納される。コントローラ220 からの第１制御信号CS1 に応じて、第２フレームメモリ210から目標画素の画素値が取り出されると共に、コントローラ220 、画素領域決定器230及び画素データ補正ユニット280 内のバッファ286 へ供給されて、目標画素を隣接するＮ×Ｎ個の画素（例えば、３×３個の画素）の画素値は第１スイッチング回路240 へ供給される（Ｎは正の整数）。ここで、目標画素はＮ×Ｎ画素の中央に位置したフィルタリングされるべき画素を表す。その後、コントローラ220 から目標画素に対応する位置情報が発生されて、目標画素の領域を決定する画素領域決定器230 へ供給される。
【００１８】
画素領域決定器230 は、コントローラ220 からの目標の画素の位置情報を用いて、第２フレームメモリ210 からの目標の画素が格納された復号化された映像データ内に含まれた目標の画素に対応するブロックの境界領域に属するかどうかを示す第１選択信号S1を発生する。図３に図解したように、目標画素が８×８画素を有するブロック310 のうち、例えば破線350 より外側の境界領域330 内に属する場合、画素領域決定器230 はハイレベルの選択信号を発生し、また、目標画素がブロック310 の境界領域330 に属しない場合（即ち、目標画素がブロック310 のうちの破線350 より内側に存在する場合）、ローレベルの選択信号を発生する。その後、画素領域決定器230 にて発生された選択信号は第１スイッチング回路240 へ供給されて、その動作を制御する。
【００１９】
画素領域決定器230 からの選択信号に応じて、第１スイッチング回路240 は、第２フレームメモリ210 からの目標画素を有するＮ×Ｎ画素をフィルタリングユニット250 の第１フィルタ252 または第２フィルタ254 に選択的に切換する。即ち、ハイレベルの選択信号に応じて、Ｎ×Ｎ画素は第１フィルタ252 に、ローレベルの選択信号に応じて第２フィルタ254 に接続される。
【００２０】
本発明の好適な実施例において、第１フィルタ252 は目標画素を予め定められた第１遮断周波数CF1 でフィルタリングすることによって、相当量のフィルタリングされた目標の画素データを発生する。一方、第２フィルタ254 は目標画素を予め定められたの第２遮断周波数CF2 でフィルタリングすることによって、第１フィルタ252 からのフィルタリングされた目標の画素データより少なくフィルタリングされた目標の画素データを発生する動きをする。ここで、第１及び第２遮断周波数の関係は CF1＜CF2 である。第１及び第２フィルタの各々は、当業者によく知られているメディアンフィルタ及びラプラシアンフィルタのようなディジタルフィルタを用いて具現できる。
【００２１】
前述した第１及び第２フィルタの遮断周波数は、映像信号復号化システムで要求する映像の画質に基づいて決定されることに注意されない。フィルタリングユニット250 からのフィルタリングされた目標の画素データは、画素データ評価ユニット260 内の差分計算器262 及び第２スイッチング回路270 へ各々供給される。差分計算器262 は、バッファ286に格納されている元の目標の画素データと、フィルタリングユニット250 からのフィルタリングされた目標の画素データとの間の差値を計算すると共に、その差値を絶対値に変換する動きをする。差分計算器262 により求められた差の絶対値は、第１比較器264 へ供給される。
【００２２】
この第１比較器264 は、差分算器262 からの差の絶対値をメモリ（図示せず）に予め格納されている予め定められた閾値と比較することによって、第２選択信号S2を第２スイッチング回路270 、コントローラ220 と、画素データ補正ユニット280 内の第２比較器282 へ各々供給する。即ち、第１比較器264 は、差の絶対値が予め定められた閾値と同一であるかまたはその以上の場合、ハイレベルの選択信号を、そうでなければ、ローレベルの選択信号を発生する。
【００２３】
本発明の好適な実施例において、予め定められた閾値は、映像信号復号化システムで要求する映像の画質に基づいて決定されるが、好ましくは、４〜８の範囲を有するように設定される。
【００２４】
第１比較器264 からの制御信号S2に応じて、第２スイッチング回路270 は、フィルタリングユニット250 からのフィルタリングされた目標の画素データを画素データ補正ユニット280 または第２フレームメモリ210 へ選択的に切り換えて供給する。即ち、ハイレベルの選択信号に応じて、フィルタリングされた目標の画素データは画素データ補正ユニット280 に接続されて補正され、ローレベルの選択信号に応じて、第２フレームメモリ210 に接続されて格納された目標の画素データは更新される。
【００２５】
画素データ補正ユニット280はバッファ286、第2比較器284及び画素データ補正回路284を含み、補償された目標の画素データを発生すると共に、表示装置及び第２フレームメモリ210へ供給する、ここで、格納された目標の画素データは、補償された目標の画素データで更新される。即ち、ハイレベルの選択信号に応じて、第２比較器282は第２スイッチング回路270を通じてフィルタリングユニット250からのフィルタリングされた目標の画素データと、バッファ286からの元の目標の画素データ、すなわち、フィルタリングされない目標の画素データとを比較して補償信号を発生する。より詳しくは、第２比較器282は、フィルタリングされない、すなわち、元の目標の画素データがフィルタリングされた目標の画素データよりはるかに大きければ、ハイレベルの補償信号を、そうでなければ、ローレベルの補償信号を発生する。その後、第２比較器282から発生された補償信号は、画素データ補正回路284へ供給される。
【００２６】
画素データ補正回路284 は、補償信号に応じて、バッファ286 からのフィルタリングされない目標の画素データと、第１比較器264に予め格納された値と同一の予め定められた閾値とに基づいて、補償された目標の画素データを供給する。
【００２７】
本発明の好適な実施例において、画素データ補正回路284への入力がハイレベルの補償信号である場合、補償された目標の画素データはフィルタリングされない元の目標の画素データから予め定められた閾値を減算することによって求められ、入力がローレベルの補償信号である場合には、フィルタリングされない元の目標の画素データと予め定められた閾値とを加算することによって求められる。
【００２８】
コントローラ220 は、第１比較器264 からの制御信号S2に応じて、目標の画素のフィルタリング過程を制御する。即ち、コントローラ220 はハイレベルの選択信号に応じて、第２制御信号CS2 を第２フレームメモリ210 へ発生することによって、第２フレームメモリ210 内に格納された目標の画素データを、画素データ補正回路284 からの補償された目標の画素データで更新すると共に、第２フレームメモリ210 からの目標の画素に対する画素値をバッファ286 へ、次の目標の画素を取り囲むＮ×Ｎ個の画素データを第１スイッチング回路240 へ各々供給する。
【００２９】
一方、第１比較器264 がローレベルの選択信号を発生すると、コントローラ220は第３制御信号CS3 を第２フレームメモリ210へ発生して、格納された目標の画素データを第２スイッチング回路270 からのフィルタリングされた目標の画素データで更新する。このような目標画素に対するフィルタリング動作は、第２フレームメモリ210 からの更新された目標の画素値を有するＮ×Ｎ個の画素データを第１スイッチング回路240 へ供給することによって繰り返して行われる。目標の画素に対するフィルタリング動作が繰り返される間、バッファ286 に格納された元の目標の画素データはフィルタリングされた目標の画素データで更新されない。目標画素に対するフィルタリング動作は、第１比較器264 がハイレベルの選択信号を発生するか、または第１比較器264 によって発生されたローレベルの選択信号の発生回数が予め定められた回数に至るまで繰り返される。ローレベル選択信号の発生回数が予め定められた回数に至る場合、コントローラ220 は、第４制御信号CS4 を第２フレームメモリ210 へ発生することによって、格納された目標の画素データを第２スイッチング回路270 からのフィルタリングされた目標の画素データで更新すると共に、更新された目標の画素データを表示装置へ供給する。好ましくは、上記の予め定められた回数は２、３または４に設定される。映像信号復号化システムの映像信号の画質は予め定められた回数によって決定される。即ち、映像信号の画質は、処理時間は延びるとしても繰り返し回数を増加させると、良好となる。その次に、コントローラ220 は第５制御信号CS5 を第２フレームメモリ210 へ発生するこよによって、次の目標の画素データをバッファ286 へ供給して、次の目標の画素を取り囲む対応するＮ×Ｎ個の画素データを第１スイッチング回路240 へ供給する。
【００３０】
上記に於いて、本発明の好適な実施例について説明したが、本発明に記載した特許請求範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００３１】
【発明の効果】
従って、本発明によれば、選択的なフィルタリング及び画素データ補正技法を通じて、復号化された映像データのブロック境界で現れるブロッキング現象を大きく減らすかまたは除去することによって、映像信号の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の後処理ユニット200 を用いた映像信号復号化システムのブロック図である。
【図２】図１に示した後処理ユニット200 の詳細なブロック図である。
【図３】復号化された映像データに含まれた各目標画素に対する領域を規定するための方法を説明するための模式図である。
【符号の説明】
20 映像信号デコーダ
200 後処理ユニット
210 フレームメモリ
220 コントローラ
230 画素領域決定器
240, 270 第１及び第２スイッチング回路
250 フィルタリングユニット
252 第１フィルタ
254 第２フィルタ
260 画素データ評価ユニット
262 差分計算器
264 第１比較器
280 画素データ補正ユニット
282 第２比較器
284 画素データ補正回路

Claims (1)

1. 映像信号復号化システムで用いられ、前記映像信号復号化システムに組み込まれた映像信号デコーダからブロック単位で供給される現フレームの復号化された映像データを、画素単位で後処理する映像データ後処理方法であって、
   前記現フレームの復号化された映像データを格納する第１過程と、
   前記格納された復号化された映像データに含まれた各画素値を、フィルタリングされるべき目標画素の値を表す目標の画素値として順番に割り当てると共に、前記目標画素の位置を表す位置情報を発生する第２過程と、
   前記目標画素値に、ブロッキング現象を減らすためのフィルタリングをすることによって、フィルタリングされた目標画素値を発生する第３過程と、
   前記復号化された映像データに含まれたフィルタリングされない目標画素値を表す元の目標画素値と、前記フィルタリングされた目標画素値との間の差の絶対値を計算する第４過程と、
   前記差の絶対値が予め定められた閾値より小さい場合、前記格納された目標画素値を前記フィルタリングされた目標画素値で更新する第５過程と、
   前記差の絶対値が前記予め定められた閾値と同じであるかまたは前記予め定められた閾値より大きい場合、前記格納された目標画素値を補償された目標画素値で更新する過程であって、前記補償された目標画素値は、前記元の目標画素値が前記フィルタリングされた目標画素値より小さければ、前記元の目標画素値と前記予め定められた閾値とを加算することによって求められ、前記元の目標画素値が前記フィルタリングされた目標画素値と同じであるかまたは前記フィルタリングされた目標画素値より大きい場合には、前記元の目標画素値から前記予め定められた閾値を減算することによって求められる、前記第６過程と、
   前記差の絶対値が前記予め定められた閾値より小さい間、前記第３過程乃至第６過程を予め定められた回数まで繰り返す第７過程と、
   前記現フレームの全画素が後処理されるまで、次の目標画素に対して前記第２過程乃至第７過程を繰り返す第８過程とを含むことを特徴にする映像データ後処理方法。

Images