JP2007336075A - ブロック歪み低減装置 - Google Patents

Abstract

【課題】従来はブロック歪みの少ない画像での画像輪郭部などで、ブロックノイズと誤判断してしまい、不必要なフィルタリングを行ってしまうことがある。また、１フレームの画面内の局所的な箇所で発生するようなブロック歪みへの対応が不十分である。
【解決手段】ブロック歪み量検出部２１_１〜２１_ｍは、復号画像データの１画面のｍ分割された各領域のうち、割り当てられた領域内の全ブロック境界のうち、ある一定値以上の歪み強度があるブロック歪みが発生しているブロック境界の数を互いに独立して計測してブロック歪み量検出結果を得る。フィルタスイッチ２３は、画素単位のブロック歪み検出部２２からの画素単位で検出された検出レベルと、ブロック歪み量検出部２１_１〜２１_ｍからの領域毎に検出されたブロック歪み量検出結果とに基づいて、フィルタ２４_１〜２４_ｎの中から１個のフィルタを選択し、デコーダ１１で復号化された画像データを供給する。
【選択図】図１

Description

本発明はブロック歪み低減装置に係り、特に画像をブロック単位符号化方式により圧縮符号化を行って得られた符号化画像データを復号化したときに、その復号化画像データのブロック境界に生じるブロック歪み（ブロックノイズ）を低減するブロック歪み低減装置に関する。

ＭＰＥＧ（Moving Picture Experts Group）規格などの画像圧縮符号化では、水平及び垂直方向に隣接する、予め定めた複数の画素からなる一定サイズのブロック単位に画像データを分割し、その分割したブロック内での隣接画素の相関の高さを利用して、ブロック単位で離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等の処理を施して圧縮符号化を行う方式（ブロック単位符号化方式）が広く使用されている。

このブロック単位符号化方式で符号化された画像データの場合、情報量を小さく抑えるために圧縮率を高めた場合に、復号化した画像データに、量子化誤差によって隣接するブロックとブロックとの境界（ブロック境界）が歪み（階調差）となって見えるブロック歪み（ブロックノイズ）が発生し易い。そこで、このブロック歪みを低減するために、ブロック歪みが発生するブロック境界にノイズ低減フィルタを施すブロック歪み低減装置が従来提案されている（例えば、特許文献１、特許文献２参照）。

図９は上記の特許文献１記載の従来のブロック歪み低減装置の一例のブロック図を示す。同図において、入力映像信号である復号映像信号は孤立微分点抽出回路１に供給され、ここで微分処理されて微分信号とされた後、隣接画素の微分値を比較されて隣接画素に対し突出した微分値のみを孤立微分点として抽出される。孤立微分点抽出回路１から出力された孤立微分データは、ブロックノイズ検出回路２に供給され、ここで孤立微分点が水平及び垂直方向に高い相関を持つことを利用して、ブロックノイズ（ブロック歪み）が検出される一方、スイッチ４の切換端子に供給される。

スイッチ４はブロックノイズ検出回路２からブロックノイズが多いことを示すブロックノイズ検出信号が供給されるときには、孤立微分点抽出回路１から出力された孤立微分データをフィルタ５へ選択出力し、フレーム単位でブロックノイズが少なくブロックノイズ検出信号が入力されないときには、０レベルの信号をフィルタ５へ選択出力する。フィルタ５はブロックノイズが発生している矩形ブロックと隣接ブロックとの境界における信号レベル差を補正する補正信号を出力する。

一方、入力映像信号はフィルタ５の出力補正信号のタイミング合わせのための所定時間遅延回路３で遅延された後、加算器６に供給され、ここでフィルタ５の出力補正信号と加算される。これにより、加算器６からはブロックノイズが発生している場合は、隣接ブロック間でのブロック境界の階調差が滑らかにされ、ブロックノイズが目につき難い映像信号とされて出力端子７へ出力される。これにより、ブロックノイズ以外の位置にフィルタリングを行うことを避け、悪影響を抑えている。

ここで、ブロックノイズが多いフレームに対しては、スイッチ４から孤立微分データが選択出力され、ブロックノイズが少ないフレームに対しては、スイッチ４から０レベルの信号が出力されるため、ブロックノイズの多いフレームに対してはブロックノイズ低減処理が施され、ブロックノイズの少ないフレームに対してはブロックノイズ低減処理をオフして、ブロックノイズ低減処理に伴う画質劣化を抑えるようにしている。

図１０は上記の特許文献２記載の従来のブロック歪み低減装置の一例のブロック図を示す。同図において、入力端子１０より入力されたＭＰＥＧビットストリームはデコーダ１１で復号化された後、画素単位のブロック歪み検出部１２に供給されて、各ブロック境界について、ブロック境界及びその近隣の画素間の画素差分値を用いて画素単位でブロック歪みの有無の検出及び歪み強度が検出される。

デコーダ１１から出力された復号画像データはフィルタスイッチ１３に供給され、画素単位のブロック歪み検出部１２により検出された画素単位のブロック歪みの検出結果に応じて、フィルタスイッチ１３で選択されたエッジ保存型平滑化フィルタ１４_１〜１４_ｎのうちの一つのフィルタで平滑化された後、出力端子１５へ出力される。このように、この従来のブロック歪み低減装置では、ブロック歪みの有無及び強度に応じて複数のフィルタ１４_１〜１４_ｎを切り替えて適用することで、ブロック歪み部分及びブロック歪み部分に近接する部分に輪郭部が存在するような状況でも、輪郭部を残したままブロック歪み低減を的確に行うようにしている。

特開２００１−１１９６９５号公報 特開２００５−０７９６１７号公報

しかるに、上記の特許文献２記載の従来のブロック歪み低減装置は、ブロックノイズ（ブロック歪み）の少ない画像での画像輪郭部などで、ブロックノイズと誤判断してしまい、不必要なフィルタリングを行ってしまう、という課題がある。

一方、上記の特許文献１記載の従来のブロック歪み低減装置は、上記のブロックノイズの誤判断による不必要なフィルタリングを解決しようとしているが、ブロックノイズ低減処理のオン／オフのみを制御しているため、その切り替え時に視覚的な不自然さを与えてしまうという課題がある。更に、１フレーム全体でのブロック歪み量で判断しているため、図１１に示すように、１フレームの画面内の局所的な箇所５１で発生するようなブロックノイズ（ブロック歪み）への対応が不十分である。

本発明は以上の点に鑑みなされたもので、ブロック歪みが少ない画像での、誤判断を抑え、視覚的な不自然さを低減し得るブロック歪み低減装置を提供することを目的とする。

また、本発明の他の目的は、画面内の局所的な箇所に発生するブロック歪みに対しても、適切にブロック歪みを低減し得るブロック歪み低減装置を提供することにある。

上記の目的を達成するため、本発明は、予め定めた画素数のブロック単位で画像データを圧縮符号化して得られたブロック単位符号化画像データを復号化し、その復号化後の画像データを入力画像データとして受け、入力画像データの隣接するブロックの境界で発生するブロック歪みを低減するブロック歪み低減装置において、互いにそれぞれ異なる平滑化の強度特性を有する複数のフィルタをその平滑化の強度に応じて組み分けした複数のフィルタの組と、入力画像データのブロック境界を挟む２つの画素間の画素差分絶対値と、ブロック境界の近隣の二以上の画素で同じブロック内の隣接画素間の画素差分絶対値の平均値とを算出し、画素差分絶対値と隣接画素間の画素差分絶対値の平均値との差からブロック歪みのレベルを検出する画素単位のブロック歪み検出手段と、入力画像データの一画面をブロックよりも大きい複数の領域に分割したとき、その分割領域内に存在する全ブロック境界のうち、所定値以上の歪み強度があるブロック歪みが発生しているブロック境界の数に基づいて、ブロック歪み量をそれぞれ検出する領域毎のブロック歪み量検出手段と、領域毎のブロック歪み量検出手段で検出した分割領域毎のブロック歪み量に応じた平滑化の強度特性を持つ一のフィルタの組を複数のフィルタの組の中から選択した後、画素単位のブロック歪み検出手段で検出したブロック歪みの検出レベルに応じて選択した一のフィルタの組の中から一のフィルタを選択して、その一のフィルタに入力画像データを供給するスイッチ手段とを有することを特徴とする。

この発明では、領域毎のブロック歪み量検出手段で検出した分割領域毎のブロック歪み量に応じた平滑化の強度特性を持つ一のフィルタの組を複数のフィルタの組の中から選択した後、画素単位のブロック歪み検出手段で検出したブロック歪みの検出レベルに応じて選択したフィルタの組の中から一のフィルタを選択して、その一のフィルタに入力画像データを供給するようにしたため、１フレーム全体のブロック歪み量での判断ではなく、画面を複数個に分割した領域毎の歪み量で入力画像データの分割領域のブロック歪み量に応じた最適な平滑化の強度特性を持つフィルタを選択して入力画像データのブロック歪みを低減することができる。

また、この発明では、ブロック境界近辺の画素変化値を用いたブロック歪みの存在及び強度だけでフィルタ切り替えを行うのではなく、ブロック歪み量の情報をも判断材料に加えて、フィルタ切り替えを行うようにしたため、複数のフィルタから最適な平滑化の強度特性を持つフィルタを選択できる。

本発明によれば、１フレーム全体のブロック歪み量での判断ではなく、画面を複数個に分割した領域毎の歪み量で入力画像データの分割領域のブロック歪み量に応じた最適な平滑化の強度特性を持つフィルタを選択して入力画像データのブロック歪みを低減するようにしたため、ブロック歪みが多い画像での、歪み低減効果には影響を与えることなく、ブロック歪みが少ない画像において、誤判断を抑えて、かつ、視覚的な不自然さを低減し、また、局所的なブロック歪みに対する低減効果は維持する、という効果を得ることができる。

また、本発明によれば、ブロック境界近辺の画素変化値を用いたブロック歪みの存在及び強度だけでフィルタ切り替えを行うのではなく、ブロック歪み量の情報をも判断材料に加えて、フィルタ切り替えを行うことにより、複数のフィルタから最適な平滑化の強度特性を持つフィルタの選択適用を行って、復号された画像データに対して最適なブロック歪みの低減処理を行うことができる。

次に、本発明の各実施の形態について図面と共に説明する。

（第１の実施の形態）
図１は本発明になるブロック歪み低減装置の第１の実施の形態のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。図１において、デコーダ１１は入力端子１０を介して入力されたブロック単位符号化データ（例えば、ＭＰＥＧビットストリーム）を入力として受け、復号化して画像データを出力する。ｍ個（ｍは任意の２以上の自然数）のブロック歪み量検出部２１_１〜２１_ｍと、画素単位のブロック歪み検出部２２と、フィルタスイッチ２３とは、デコーダ１１により復号化された画像データが入力される。ｎ個（ｎは任意の２以上の自然数）のフィルタ２４_１〜２４_ｎは、フィルタスイッチ２３により選択された一のフィルタのみ復号画像データが入力される。

ここで、本実施の形態では、図２に示すように１フレームの画面をｍ分割したｍ個の領域と考え、その分割した領域１〜領域ｍのそれぞれの各領域単位でブロック歪みの量を、図１のブロック歪み量検出部２１_１〜２１_ｍで検出する。ブロック歪み量検出部２１_１〜２１_ｍによりそれぞれ各領域単位で検出されたブロック歪み量情報はフィルタスイッチ２３に供給される。

フィルタスイッチ２３は、ブロック歪み量検出部２１_１〜２１_ｍによりそれぞれ各領域単位で検出されたブロック歪み量情報と、画素単位のブロック歪み検出部２２により、画素単位で検出されたブロック歪み量情報とを選択制御信号として受け、後述する領域単位で検出されたブロック歪み量情報を優先した選択動作を行い、共通端子に入力された復号画像データを、ｎ個あるフィルタ２４_１〜２４_ｎのうち選択指定された一のフィルタへ選択出力する。

フィルタ２４_１〜２４_ｎとしてノイズ低減処理に一般的な低域フィルタ（ＬＰＦ）を用いると、誤検出したエッジを丸め、解像感を低下させてしまう問題が発生する。そこで、本実施の形態では、上記のフィルタ２４_１〜２４_ｎとしてエッジ保存型平滑化フィルタを用いることでこの問題を解決する。また、フィルタ２４_１〜２４_ｎは、それぞれブロック歪み周辺の画素の値の平滑化を行うためのエッジ保存型平滑化フィルタであるが、互いにその平滑化の強度特性が異なる。

例えば、フィルタ２４_１は平滑化の強度特性が最も強く、ブロック歪み位置の周辺の画素のうち、値が変更される画素数が最も多く、以下、フィルタ２４_２、２４_３、・・・の順で平滑化の強度特性が弱くなっていき、フィルタ２４_ｎが平滑化の強度特性が最も弱く、ブロック歪みの位置の周辺の左右１画素のみ値が変更される特性とされている。従って、平滑化の強度特性が強いフィルタほど、ブロック歪み位置の周辺の画素に対して、より滑らかになるように、広範囲の位置の画素の値を変更することになる。

フィルタ２４_１〜２４_ｎとして用いられるエッジ保存型平滑化フィルタにはεフィルタ、リップル修正フィルタ等があることが文献（吹抜敬彦、「ＤＣＴ量子化歪みのリップル修正フィルタによる抑圧」、２００２年、映像情報メディア学会冬季大会）により知られている。

次に、本実施の形態の動作について説明する。入力端子１０を介して入力されたブロック単位符号化データ（例えば、ＭＰＥＧビットストリーム）は、デコーダ１１に供給されて復号化され、画像データとして出力される。デコーダ１１から出力された復号画像データは、フィルタスイッチ２３の共通端子に供給される一方、画素単位のブロック歪み検出部２２及び各領域でのブロック歪み量検出部２１_１〜２１_ｍにそれぞれ供給される。

画素単位のブロック歪み検出部２２は、入力された復号画像データに対し、ブロック境界及びその近隣の画素間の差分値を用いてブロック歪み有無の検出及びブロック歪み強度検出を行い、その結果を出力する。この画素単位のブロック歪み検出部２２の動作について、図３及び図４と共に更に詳細に説明する。図３はブロック符号化における単位ブロック境界周辺について示した図であり、図４は画素単位のブロック歪み検出部２２の動作説明用フローチャートである。

ブロック歪み検出において、図３に示すブロック境界３１についてブロック歪み検出を行う場合、ブロック境界３１の隣接画素となるａ１，ａ２，ａ３，ｉ１，ｉ２，ｉ３を使用して検出を行う。ブロック境界３１を挟む画素（ａ１−ｉ１）間の画素差分絶対値をｂｏｕｎｄ０、ブロック境界３１の近隣画素の隣接画素間画素差分絶対値を、図３に示すようにｄｉｆｆ１、ｄｉｆｆ２、ｄｉｆｆ３、ｄｉｆｆ４等にて表す。これら差分絶対値が大きい場合、その画素間で画素値の変化が激しく起こっていることを示す。

そこで、画素単位のブロック歪み検出部２２は、図４のフローチャートに示すように、まず、図３に示したブロック境界３１を挟む画素（ａ１−ｉ１）間の画素差分絶対値である境界画素差分絶対値ｂｏｕｎｄ０を算出し（ステップＳ１）、続いて、近隣画素の画素差分絶対値ｄｉｆｆ１〜ｄｉｆｆ４を算出する（ステップＳ２）。このステップＳ２では、図３にも示したように、ブロック境界３１の左側のブロック内の画素ａ１と画素ａ２との差分絶対値ｄｉｆｆ１、画素ａ２と画素ａ３との差分絶対値ｄｉｆｆ２をそれぞれ算出すると共に、ブロック境界３１の右側のブロック内の画素ｉ１と画素ｉ２との差分絶対値ｄｉｆｆ３、画素ｉ２と画素ｉ３との差分絶対値ｄｉｆｆ４をそれぞれ算出する。

次に、ステップＳ２で算出した近隣画素の画素差分絶対値（ｄｉｆｆ１〜ｄｉｆｆ４）を用いて、次式によりブロック境界近辺の画素差分絶対値平均（ＡｖｅＤｉｆｆ＿ａ，ＡｖｅＤｉｆｆ＿ｉ）を算出する（ステップＳ３）。

ＡｖｅＤｉｆｆ＿ａ＝（ｄｉｆｆ１＋ｄｉｆｆ２＋１）／２ （１）
ＡｖｅＤｉｆｆ＿ｉ＝（ｄｉｆｆ３＋ｄｉｆｆ４＋１）／２ （２）
ブロック歪みの検出においては、偶然ブロック境界に現れたエッジを誤検出する可能性があるが、これにより、その誤検出の影響を最小限にすることができる。

最後に、ｂｏｕｎｄ０とＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉとの比較によりブロック歪み検出及び歪みレベル検出結果を得る（ステップＳ４）。すなわち、上記のブロック境界近辺の画素差分絶対値平均ＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉに対し、境界画素差分絶対値ｂｏｕｎｄ０が大きい場合は、ブロック境界３１がその近辺と比較して大きな変化を起こしていることを示す。ブロック歪みは、ブロック境界３１が隣接箇所と比較して大きく変化していることから目立つ歪みであるので、ブロック境界画素間の孤立的な画素値変化を検出することでブロック歪みの有無を検出することができる。

そこで、ステップＳ４では、まず、画素差分絶対値ｂｏｕｎｄ０が、ブロック境界近辺の画素差分絶対値平均の２倍であるＡｖｅＤｉｆｆ＿ａ×２又はＡｖｅＤｉｆｆ＿ｉ×２の少なくともいずれか一方より大きいかどうか判定する（ステップＳ４１）。大きいときは続いて、ブロック境界近辺の画素差分絶対値平均の３倍であるＡｖｅＤｉｆｆ＿ａ×３又はＡｖｅＤｉｆｆ＿ｉ×３の少なくともいずれか一方より大きいかどうか判定し（ステップＳ４３）、大きいときは、更にブロック境界近辺の画素差分絶対値平均の４倍であるＡｖｅＤｉｆｆ＿ａ×４又はＡｖｅＤｉｆｆ＿ｉ×４の少なくともいずれか一方より大きいかどうか判定する（ステップＳ４５）。

ステップＳ４１で画素差分絶対値ｂｏｕｎｄ０が、最も小さな値の第１の閾値（AveDiff＿a×2、AveDiff＿i×2）よりも大きくない、と判定したときは、ブロック境界が隣接箇所と比較して変化が小さいとみなし、ブロック歪みは存在しないと考えられ、検出レベルDistLevelを「１」とする（ステップＳ４２）。

また、ステップＳ４３で画素差分絶対値ｂｏｕｎｄ０が、値が２番目に小さい第２の閾値（AveDiff＿a×3、AveDiff＿i×3）より大きくない、と判定したときは、ブロック境界が隣接箇所と比較して変化がやや小さいとみなし、検出レベルDistLevelを「２」とする（ステップＳ４４）。

同様に、ステップＳ４５で画素差分絶対値ｂｏｕｎｄ０が、値が最も大きな第３の閾値（AveDiff＿a×4、AveDiff＿i×4）より大きくない、と判定したときは、ブロック境界が隣接箇所と比較して変化がやや大きいとみなし検出レベルDistLevelを「３」とし（ステップＳ４６）、ステップＳ４５で画素差分絶対値ｂｏｕｎｄ０が、値が最も大きな第３の閾値（AveDiff＿a×4、AveDiff＿i×4）よりも大きい、と判定したときは、ブロック境界が隣接箇所と比較して変化が大きいとみなし、検出レベルDistLevelを「４」とする（ステップＳ４７）。

このように、画素単位のブロック歪み検出部２２は、ステップＳ４においてｂｏｕｎｄ０とＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉから得た閾値との比較により４段階のレベル分けを行っており、ｂｏｕｎｄ０とＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉとの差が最も小さいDistLevel＝１では、ブロック境界が隣接箇所と比較して変化が小さいとみなし、ブロック歪みは存在しないと考えられ、ｂｏｕｎｄ０とＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉとの差が大きくなるに従いDistLevelの値も大きくなり、より大きなブロック歪みが発生していると推定する。このように、画素単位のブロック歪み検出部２２は、境界画素差分絶対値ｂｏｕｎｄ０の大きさ及び、隣接画素差分絶対値の平均ＡｖｅＤｉｆｆ＿ａ、ＡｖｅＤｉｆｆ＿ｉに関連した閾値との大小関係により、ブロック歪みレベル（強度）を決定する。

再び図１に戻って説明するに、各領域でのブロック歪み量検出部２１_１〜２１_ｍは、入力された復号画像データのｍ分割された各領域のうち、割り当てられた領域内の全ブロック境界のうち、前記ブロック歪み検出を行った結果について、ある一定値以上の歪み強度があるブロック歪みが発生しているブロック境界の数を互いに独立して計測し、その計測結果をブロック歪み量検出結果としてフィルタスイッチ２３にそれぞれ供給する。

フィルタスイッチ２３は、画素単位のブロック歪み検出部２２からの画素単位で検出された検出レベルDistLevel_a1i1と、各領域でのブロック歪み量検出部２１_１〜２１_ｍからの領域毎に検出されたブロック歪み量とを選択制御信号として受け、領域毎のブロック歪み量により、フィルタ２４_１〜２４_ｎのうちどのフィルタを選択するかの大まかなフィルタ選択範囲を決める。例えば、このフィルタ選択範囲としては、ｎ＝９の場合、フィルタ２４_１〜２４_３の組、フィルタ２４_４〜２４_６の組、フィルタ２４_７〜２４_９の組をそれぞれ大まかなフィルタ選択範囲として、領域毎のブロック歪み量に応じてこの中から一つのフィルタの組（フィルタ選択範囲）を選択（決定）する。

このとき、領域毎のブロック歪み量が大きい場合は、平滑化の強度特性が強いフィルタの組（フィルタ２４_１〜２４_３の組）を選択し、領域毎のブロック歪み量が小さい場合は、平滑化の強度特性が弱いフィルタの組（フィルタ２４_７〜２４_９の組）を選択し、領域毎のブロック歪み量が中程度の場合は、平滑化の強度特性が中程度のフィルタの組（フィルタ２４_４〜２４_６の組）を選択する。

続いて、フィルタスイッチ２３は画素単位のブロック歪み検出部２２からの画素単位で検出された検出レベルDistLevel_a1i1の値に応じて、先に選択（決定）された一つのフィルタの組を構成する複数のフィルタの中で、１個のフィルタを選択（決定）する。従って、フィルタスイッチ２３は、領域毎のブロック歪み量が小さい場合は、画素単位のブロック歪み量がどんなに大きく検出されたとしても、その領域では使用する平滑化の強度特性が弱いフィルタの組（フィルタ２４_７〜２４_９の組）の中から画素単位のブロック歪み量に応じた１個のフィルタを選択することになる。

このようにして、フィルタスイッチ２３は、フィルタ２４_１〜２４_ｎのうち、最終的に選択した１個のフィルタに対して、デコーダ１１で復号化された画像データを供給する。フィルタ２４_１〜２４_ｎのうち、フィルタスイッチ２３から復号化された画像データが供給される１個のフィルタは、エッジ保存型平滑化処理を行って、ブロック歪みの低減された画像データを出力端子２５へ出力する。

ここで、上記のフィルタ２４_１〜２４_ｎとして、例えば非線形フィルタである前記εフィルタを使用した場合のエッジ保存型平滑化処理について、図５のフローチャートと共に説明する。まず、処理対象の画素をＡ、その画素Ａの隣接画素をａ（ｘ）としてそれらの値を取り込み（ステップＳ１１）、それらの差分値ｄｉｆｆ（＝ａ（ｘ）−Ａ）を算出する（ステップＳ１２）。続いて、その差分値ｄｉｆｆが予め定めた第１の閾値ＴＨＲより大であるか否か比較し（ステップＳ１３）、ｄｉｆｆ＞ＴＨＲであるときには、差分値ｄｉｆｆを上限値である第１の閾値ＴＨＲに設定する（ステップＳ１４）。

他方、ステップＳ３でｄｉｆｆ≦ＴＨＲの比較結果が得られたときには、差分値ｄｉｆｆが第２の閾値−ＴＨＲより小であるか否か比較し（ステップＳ１５）、ｄｉｆｆ＜−ＴＨＲであるときには、差分値ｄｉｆｆを下限値である第２の閾値−ＴＨＲに設定する（ステップＳ１６）。また、ステップＳ１５でｄｉｆｆ≧−ＴＨＲの比較結果が得られたとき、すなわち、差分値ｄｉｆｆがＴＨＲとーＴＨＲとの間にある場合、あるいはステップＳ１４で上限値に設定した場合、あるいはステップＳ１６で下限値に設定した場合は、その時の差分値ｄｉｆｆを変数ｓｕｍ＿ｄｉｆｆに代入し（ステップＳ１７）、以下、対象隣接画素の全てについて、上記のステップＳ１１〜Ｓ１７の処理を繰り返す（ステップＳ１８）。

このようにして、対象隣接画素の全てについて得られた変数ｓｕｍ＿ｄｉｆｆを隣接画素数ｎで除算して得た平均値に、対象画素の値Ａを加算した値ａｆｔｅｒ＿ｆｉｌｔｅｒを算出し（ステップＳ９）、これをフィルタ出力として出力する。

これにより、例えば、図６に示す水平方向に並ぶ画素ａ１〜ａ５のうち、中心の画素ａ３を処理対象とした５タップのεフィルタは、以下の式により求められる。

上記のεフィルタは図７に示すように、入力Ｉｎに対し、出力Ｏｕｔが非線形となり、数１に示した画素差分絶対値ＡＢＳ（ａｉ−ａ３）が閾値ＴＨＲより小さい場合に、平滑化の対象となる。すなわち、閾値ＴＨＲによりフィルタ強度を制御できる。よって、各領域でのブロック歪み量検出部２１_１〜２１_ｍからの領域毎に検出されたブロック歪み量に応じて、ブロック歪み量が大きい場合にはエッジ保存型平滑化フィルタ強度を強く、適用範囲を広くするようにフィルタの切り替え制御を行うことで、切り替え時の不自然さの少ないブロック歪みの軽減を行うことができる。

これにより、本実施の形態によれば、特許文献１記載の従来のブロック歪み低減装置にあるような１つのフィルタのオンオフだけではなく、強度が数段階のフィルタ２４_１〜２４_ｎを切り替えることにより、視覚的な影響が抑えられたスムーズなフィルタリングが可能となる。そして、特許文献１にあるような１フレーム全体のブロック歪み量での判断ではなく、画面を複数個に分割した領域毎の歪み量で判断できるため、図２に示すように、例えば領域ｍだけに生じている局所的なブロック歪みに対しても、そこだけには強いフィルタを選択することが可能となり、ブロック歪みが発生していない領域に対して影響を与えることなく局所的なブロック歪みだけの低減ができる。

また、特許文献２記載の従来のブロック歪み低減装置にあるような、ブロック境界近辺の画素変化値を用いてブロック歪みの存在及び強度を検出するブロック歪み検出手段からの情報だけでフィルタ切り替えを行うのではなく、前記歪み量の情報をも判断材料に加えて、フィルタ切り替えを行うことにより、複数のフィルタから最適な選択適用を行うことができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図８は本発明になるブロック歪み低減装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図８に示す第２の実施の形態は、第１の実施の形態の構成に、値の保持部３１１〜３１ｋ、３２１〜３２ｋ、３３１〜３３ｋと、平均値算出部３４１〜３４ｍとを追加し、フィルタスイッチ３５を平均値算出部３４１〜３４ｍからの各領域毎のブロック歪み量平均値と、画素単位のブロック歪み検出部２２からのブロック歪み量とに応じて切り替え制御する点に特徴がある。

図８において、分割領域単位での各領域ブロック歪み量検出部２１_１、２１_２、・・・、２１_ｍからそれぞれ出力された歪み量検出信号（検出レベルDistLevel）は、入力端子３０を介して、毎フレームの切り替わり目毎に入力されるフレームパルスのタイミングで値の保持部３１_１、３２_１、・・・、３３_１に保持されると共に、それまで値の保持部３１_１、３２_１、３３_１に保持されていた値が、次段の値の保持部３１_２、３２_２、・・・、３３_２にシフトされて保持される。他の値の保持部も同様にして、前段の値の保持部に保持されている値がフレームパルス入力毎に次段にシフトされる。

これにより、フレームパルスのタイミングで、順次にｋ個の値の保持部３１_１〜３１ｋ、３２_１〜３２ｋ、・・・、３３_１〜３３ｋにｋフレーム分（ｋは任意の自然数）の領域毎ブロック歪み量をそれぞれ保持させ、保持部３１_１〜３１ｋ、３２_１〜３２ｋ、・・・、３３_１〜３３ｋからｋフレーム分のフレーム単位での領域毎ブロック歪み量を平均値算出部３４_１、３４_２、・・・、３４_ｍに並列に供給して平均値を算出させ、その平均値化された領域毎歪み量がフィルタスイッチ３５に供給される。

フィルタスイッチ３５は、平均値算出部３４_１、３４_２、・・・、３４_ｍで各々１フレーム目からｋフレーム目までのフレーム単位で検出された領域毎ブロック歪み量の平均値に基づいて、フィルタ２４_１〜２４_ｎのうちのフィルタの組を選択し、その組の中の複数のフィルタのうち、画素単位のブロック歪みの検出量に応じて１個のフィルタを選択して、そのフィルタにデコーダ１１からの（ｋ＋１）フレーム目の画像データを供給する。これにより、本実施の形態によれば、フレーム毎にブロック歪み量が大きく変化した場合にも、頻繁なフィルタ切り替えが避けられ、視覚的な不自然さが抑えられる。また、第１の実施の形態と同様に、局所的に発生したブロック歪みに対してのみ低減動作を行うことができる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、平均値算出部３４_１〜３４_ｍは、中間値を選択する中間値選択部に置き換えてもよい。また、以上の実施の形態ではブロック単位符号化された画像データを復号化した後の復号画像データに対して適用するように説明したが、本発明はブロック単位符号された画像データを復号化する段階でも適用可能である。また、上記実施の形態では、水平方向の画素列に対しての説明を行ったが、垂直方向の画素列に対しても同様の処理を行えば、垂直方向の隣接ブロック歪み低減にも適応できる。更に、本発明はコンピュータプログラムにより実現することも可能である。この場合、プログラムは、記録媒体あるいは通信回線などを介してコンピュータに取り込むことが可能である。

本発明の第１の実施の形態のブロック図である。 本発明における、１フレームの画面をｍ分割したｍ個の領域の一例を示す図である。 ブロック符号化における単位ブロック境界周辺について示す図である。 図１中の画素単位のブロック歪み検出部の動作説明用フローチャートである。 εフィルタによる処理の一例を説明するためのフローチャートである。 水平方向に並ぶ画素を示す図である。 εフィルタの入出力特性を示す図である。 本発明の第２の実施の形態のブロック図である。 特許文献１記載の従来のブロック歪み低減装置の一例のブロック図である。 特許文献２記載の従来のブロック歪み低減装置の一例のブロック図である。 特許文献１での課題となる、画面内にて局所的なブロックノイズが発生している図である。

符号の説明

１０ ブロック単位符号化により符号化された画像データの入力端子
１１ デコーダ
２１_１〜２１_ｍ 領域でのブロック歪み量検出部
２２ 画素単位のブロック歪み検出部
２３、３５ フィルタスイッチ
２４_１〜２４_ｎ フィルタ
２５ 出力端子
３０ フレームパルス入力端子
３１_１〜３１ｋ、３２_１〜３２ｋ、・・・、３３_１〜３３ｋ 値の保持部
３４_１〜３４_ｍ 平均値算出部

Claims (1)

1. 予め定めた画素数のブロック単位で画像データを圧縮符号化して得られたブロック単位符号化画像データを復号化し、その復号化後の画像データを入力画像データとして受け、該入力画像データの隣接する前記ブロックの境界で発生するブロック歪みを低減するブロック歪み低減装置において、
   互いにそれぞれ異なる平滑化の強度特性を有する複数のフィルタをその平滑化の強度に応じて組み分けした複数のフィルタの組と、
   前記入力画像データのブロック境界を挟む２つの画素間の画素差分絶対値と、前記ブロック境界の近隣の二以上の画素で同じブロック内の隣接画素間の画素差分絶対値の平均値とを算出し、前記画素差分絶対値と前記隣接画素間の画素差分絶対値の平均値との差から前記ブロック歪みのレベルを検出する画素単位のブロック歪み検出手段と、
   前記入力画像データの一画面を前記ブロックよりも大きい複数の領域に分割したとき、その分割領域内に存在する全ブロック境界のうち、所定値以上の歪み強度があるブロック歪みが発生しているブロック境界の数に基づいて、ブロック歪み量をそれぞれ検出する領域毎のブロック歪み量検出手段と、
   前記領域毎のブロック歪み量検出手段で検出した前記分割領域毎のブロック歪み量に応じた平滑化の強度特性を持つ一のフィルタの組を前記複数のフィルタの組の中から選択した後、前記画素単位のブロック歪み検出手段で検出した前記ブロック歪みの検出レベルに応じて選択した前記一のフィルタの組の中から一のフィルタを選択して、その一のフィルタに前記入力画像データを供給するスイッチ手段と
   を有することを特徴とするブロック歪み低減装置。
   
   
   
   
   
   
   

Images