JP4183993B2

JP4183993B2 - フィルタ装置

Info

Publication number: JP4183993B2
Application number: JP2002206915A
Authority: JP
Inventors: 実俊飯田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-07-16
Filing date: 2002-07-16
Publication date: 2008-11-19
Anticipated expiration: 2022-07-16
Also published as: JP2004056190A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル・ビデオ信号処理の分野に関し、特に、画像信号をブロック単位に直交変換し、その係数を量子化して符合化する符合化装置の復号化画像において、量子化雑音によって生じるブロック歪みを目立たなくするための後処理フィルタに関する。
【０００２】
【従来の技術】
図７は従来のビデオ映像信号の処理を行なう装置の構成を示すブロック図である。図７を参照して、ＤＶＤなどの記録媒体１０に記録された映像信号はシステム多重復号器２０をへて、ビデオ復号器３０で復号され、復号化された画像はフィルタ装置４０でフィルタ処理され、ＮＴＳＣ／ＰＡＬエンコーダ５０で符号化され、図示の無いモニタに出力される。
【０００３】
ビデオ映像は、一連の情報ビットを用いてディジタル信号によって表すことができる。携帯電話回線や公衆電話回線のような帯域が制限されている特定の回線では、低ビットレートの画像符合化が画像の転送や通信のために特に有益である。そのため、低ビットレート符合化によって生成されるビデオ映像の画質が切実な問題となっている。
【０００４】
一般に符合化画像の画質は使用される符合化技術の方式と目標ビットレートによって判定される。目標ビットレートを低くした場合、つまり画像を高能率に圧縮した場合、様々な圧縮符合化技術に特有の画質劣化が生じることが多い。例えば、ＤＣＴ（離散コサイン変換）等を用いてブロック単位で画像圧縮を行う符合化方式の場合、ブロックの境界が不連続となるブロック歪みを生じることがある。
【０００５】
ブロック歪みは、ブロック単位で処理を行う圧縮符合化技術においいて視覚的に最も目立つ画質劣化であり、画質を向上させるためにはこれを低減または除去する必要がある。そのために従来行われてきた方法は、ブロック歪みを含む復号画像に対して局所的または大域的にスムージングによるフィルタ処理を行うことであった。
【０００６】
図９および図１０は、図８に示したフィルタ装置４０によるスムージングによるブロック歪みのフィルタ処理を説明するための図である。図９は大域的なスムージングによるフィルタ処理が適した場合の例であり、図１０は局所的なスムージングによるフィルタ処理が適した場合の例を示す。図９（Ａ）および図１０（Ａ）はフィルタ処理前の復号画像の輝度値を示し、図９（Ｂ）および図１０（Ｂ）はフィルタ処理後の輝度値を示す。これらの図では、画像中のブロック境界に直交したラインが代表として示されており、黒丸で画素の輝度レベルを表している。
【０００７】
図９（Ａ）および図１０（Ａ）に示すように、ブロック境界の左右で輝度レベルの差分、すなわちブロック境界が不連続となるブロック歪みが生じている。このようなブロック歪みがあると、復号画像がその場所においてモザイク的に見えてしまい、視覚的に見づらいものとなってしまう。
【０００８】
そこで従来は、９（Ｂ）に示すように、ブロック境界における輝度レベルの差分を大域的なスムージングによるフィルタ処理によって鈍らせ、輝度値の直線的なエッジを無くすことによってブロック歪みを低減するか、あるいは図１０（Ｂ）に示すように、ブロック境界における輝度レベルの差分をブロック境界近辺の画素だけ局所的なスムージングによるフィルタ処理によって鈍らせてブロック歪みを低減していた。
【０００９】
そのような処理を行なう従来のフィルタ装置４０の構成を図８に示す。図８を参照して、従来のフィルタ装置４０は復号化画像信号を入力する復号器４１と、復号化画像を遅延させる遅延回路４２と、復号化画像および遅延回路４２で遅延された画像を入力するフィルタ４４と復号器４１からの制御信号に応じてフィルタ４４を制御する制御回路４３とを含む。
【００１０】
【発明が解決しようとする課題】
従来のフィルタ処理は上記のように行なわれていた。しかしながら、インターレースの復号画像に対して垂直方向に、前記２種類のスムージングによるフィルタ処理を行うと、輪郭のはっきりした物体が上下に移動するときに、輪郭が２重に見えることがあるなど、画質劣化が生じていた。また、ブロック境界全てに前記２種類のスムージングによるフィルタ処理を行うと、復号画像の高域成分が除去され、画像が全体的にぼやけてしまうという問題があった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、復号画像の高域成分を損なうこと無くブロック歪みが低減または除去でき、しかも、インターレースの復号画像に対しても画質劣化なくブロック歪みが低減または除去できるフィルタ装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この発明に係るフィルタ装置は、複数のブロックに分割され、ブロック単位で符号化された画像信号をブロック単位で順次復号化して得られるインターレースの復号化画像信号に対して復号化画像信号のラインに交わる第１の方向に沿った画素を第１の方向に沿ってそろえるような遅延を行なう遅延手段と、復号化画像信号の第１の方向のブロック歪みを判定する第１判定手段とを備え、第１判定手段は、ブロックの境界に交わるように第１の方向に沿って並ぶ所定の数の近傍画素について、隣接する近傍画素間の画素値の差分に基づき、低周波か否かを判定することで、第１の方向のブロック歪みを判定する第１副判定手段を含み、第１判定手段で得られた判定結果を基に遅延手段で遅延をした画像信号を第１の方向にフィルタ処理する第１フィルタ手段をさらに備え、第１フィルタ手段は、第１副判定手段が、近傍画素が低周波でないと判定した場合にはフィルタ処理を行なわず、第１フィルタ手段から出力された画像信号の第１の方向に交わる第２の方向のブロック歪みを判定する第２判定手段と、第２判定手段で得られた判定結果を基に、第１フィルタ手段から出力された画像信号を第２の方向にフィルタ処理する第２フィルタ手段とをさらに備える。
好ましくは、第１副判定手段は、隣接する近傍画素間の画素値の差分の絶対値のいずれもが所定のしきい値以下であるかどうかを判定し、第１フィルタ手段は、第２副判定手段が絶対値のいずれかが所定のしきい値より大きいと判定した場合には、近傍画素に対してフィルタ処理を行なわない。
【００１３】
この発明においては、第１の方向と第１の方向に交わる第２の方向別にそれぞれの方向で予め歪の有無の判定を行ない、その後それぞれの方向でフィルタ処理を行なっている。したがって、歪の多いときのみにフィルタ処理を行なうため復号画像の高域成分が全て除去されるということは無いとともに、インターレース画像で画質の劣化の生じる方向のみにおけるフィルタ処理が可能になる。
【００１４】
その結果、復号画像の高域成分を損なうこと無くブロック歪みが低減または除去でき、しかも、インターレースの復号画像に対しても画質劣化なくブロック歪みが低減または除去できるフィルタ装置を提供することができる。
【００１５】
さらに好ましくは、第２判定手段は、ブロックの境界に交わるように第２の方向に沿って並ぶ所定の数の第２方向近傍画素について、隣接する第２方向近傍画素間の画素値の差分に基づき、低周波か否かを判定することで、第２の方向のブロック歪みを判定する第２副判定手段を含み、第２フィルタ手段は、第２副判定手段が第２方向近傍画素が低周波であると判定した場合には、第２方向近傍画素に対してフィルタ処理を行ない、第２副判定手段が第２方向近傍画素が低周波でないと判定した場合には、第２方向近傍画素に含まれ、第２方向近傍画素の数より少ない画素に対してフィルタ処理を行なう。
【００１７】
なお、第１および第２判定手段は、それぞれブロック境界を挟んで隣接する２画素の画素値の差分の絶対値と所定のしきい値とを比較する手段と、２画素の画素値の差分の絶対値と隣接する近傍画素間の画素値の差分の絶対値のうち最大のものとを比較する手段とを含んでもよい。
【００１８】
さらに好ましくは、第１方向は垂直方向であり、第２方向は水平方向である。
【００１９】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
【００２０】
図１は、本発明にかかる、ブロック歪みを低減または除去するフィルタ装置の一実施形態を示す従来の図８に対応する図である。
【００２１】
図１を用いてフィルタ装置１００の構成および動作を説明する。図１を参照して、フィルタ装置１００はラインメモリ１０１と、垂直ブロック歪み判定部１０２と、垂直フィルタ１０３と、水平ブロック歪み判定部１０４と、水平フィルタ１０５とを含む。
【００２２】
次に動作について図２から図４を参照して説明する。ここでは、画像信号をブロック単位（例えば８ｘ８のブロック）に直交変換し、その係数を量子化して符合化する符合化装置により圧縮された画像の復号化画像が入力された場合の処理に関して説明する。
【００２３】
入力復号化画像があるフィールドでのインターレース画像の場合のブロック境界とその近傍の画素を図２に示す。ここでは、インターレース画像の場合フィールド毎に処理を行うので、図２で示した通り、入力復号化画像がインターレース画像のとき、垂直方向には４画素毎にブロック境界が存在し、水平方向には８画素毎にブロック境界が存在する。フレーム画像として表示した場合の垂直方向の画素を図３に示す。図３では、図２のｖ０、ｖ１、ｖ２、ｖ３がそれぞれｌｉｎｅ０、２、４、６の画素となり、次のフィールドではｖ０’、ｖ１’、ｖ２’、ｖ３’がそれぞれｌｉｎｅ１、３、５、７の画素となる。すなわち、ｖ０、ｖ１、ｖ２、ｖ３とｖ０’ 、ｖ１’、ｖ２’、ｖ３’とはそれぞれ同じ位置のデータである。
【００２４】
復号化画像は、ラインメモリ１０１に入力され、所定の遅延を行って、垂直ブロック歪み判定部１０２と垂直フィルタ１０３に送られる。
【００２５】
垂直ブロック歪み判定部１０２では、ラインメモリ１０１で所定の遅延を行った信号が入力され、図４に示すフローチャートに従って、ブロック歪みの有無を判定する。ここで、所定の遅延とは次の時間を言う。すなわち、垂直フィルタにおいてはフィルタする画素が同じ時間にあることが必要である。たとえば、図２のｖ０、ｖ１、ｖ２でフィルタする場合、ｖ０を２ライン分、ｖ１を１ライン分遅延させて、時間的に同じ位置にくるようにしている。
【００２６】
ここで、図４のフローチャートについて説明する。最初に、ブロック境界近傍の画素（図２のｖ０〜ｖ７）について、隣接する画素の差分の絶対値と所定のしきい値ｔｈｖ１を比較して低周波かどうかを判定する（ステップ１１、以下ステップを省略する）。例えば図２のｖ０〜ｖ７において隣接する画素の差分の絶対値は、以下のｄ０、ｄ１、ｄ２、ｄ４、ｄ５、ｄ６で表現できる。
【００２７】
ｄ０＝｜ｖ１−ｖ０｜
ｄ１＝｜ｖ２−ｖ１｜
ｄ２＝｜ｖ３−ｖ２｜
ｄ４＝｜ｖ５−ｖ４｜
ｄ５＝｜ｖ６−ｖ５｜
ｄ６＝｜ｖ７−ｖ６｜
この隣接する画素の差分の絶対値（ｄ０、ｄ１、ｄ２、ｄ４、ｄ５、ｄ６）全ての値が所定のしきい値ｔｈｖ１より小さい場合、ブロック境界近傍は平坦であるので、低周波であると判定する。
【００２８】
次にブロック境界に隣接する２画素（図２のｖ３、ｖ４）の差分の絶対値ｄ３＝｜ｖ４−ｖ３｜と所定のしきい値ｔｈｖ２とを比較し、さらに前記ブロック境界に隣接する２画素の差分の絶対値ｄ３とブロック境界近傍の隣接する２画素の差分の絶対値の最大値ｍａｘｖ１（ｄ０、ｄ１、ｄ２、ｄ４、ｄ５、ｄ６の最大値）とを比較して、ブロック歪みの有無を判定する（Ｓ１２）。
【００２９】
すなわち、ブロック境界に隣接する２画素の差分の絶対値ｄ３がしきい値ｔｈｖ２より大きい場合、画像に含まれるエッジと判定する。また、ブロック境界に隣接する２画素の差分の絶対値ｄ３がｍａｘｖ１より小さい場合も画像に含まれるエッジと判定する。前記２つの条件で画像に含まれるエッジでは無いと判定された場合に、ブロック歪みがあると判定する。
【００３０】
ここで、このしきい値ｔｈｖ２等の値はフィルタ装置１００に入力される実際の画像データを見て判断された経験値である。したがって、入力画像の解像度やビットレートによって異なる。
【００３１】
垂直フィルタ１０３では、ラインメモリ１０１で所定の遅延を行った信号が入力され、垂直ブロック歪み判定部１０２でブロック歪みがあると判定された場合、ブロック境界を中心とした４画素（図２のｖ２〜ｖ５）に対してフィルタ処理を行う（Ｓ１３）。
【００３２】
垂直フィルタ１０３で処理した信号は、水平ブロック歪み判定部１０４と水平フィルタ１０５に入力される。水平ブロック歪み判定部１０４では、入力信号に対して、図５に示すフローチャートに従って、ブロック歪みの有無を判定する。ここで、図５のフローチャートについて説明する。最初に、ブロック境界近傍の画素（図２のｈ０〜ｈ７）について、隣接する画素の差分の絶対値と所定のしきい値ｔｈｈ１とを比較して低周波かどうかを判定する（Ｓ２１）。例えば図２のｈ０〜ｈ７において隣接する画素の差分の絶対値は、以下のＤ０、Ｄ１、Ｄ２、Ｄ４、Ｄ５、Ｄ６で表現できる。
【００３３】
Ｄ０＝｜ｈ１−ｈ０｜
Ｄ１＝｜ｈ２−ｈ１｜
Ｄ２＝｜ｈ３−ｈ２｜
Ｄ４＝｜ｈ５−ｈ４｜
Ｄ５＝｜ｈ６−ｈ５｜
Ｄ６＝｜ｈ７−ｈ６｜
この隣接する画素の差分の絶対値（Ｄ０、Ｄ１、Ｄ２、Ｄ４、Ｄ５、Ｄ６）全ての値がｔｈｈ１より小さい場合、ブロック境界近傍は平坦であるので、低周波であると判定し、それ以外の場合は非低周波であると判定する。
【００３４】
低周波と判定された場合は（Ｓ２１でＹＥＳ）、ブロック境界に隣接する２画素（図２のｈ３、ｈ４）の差分の絶対値（Ｄ３＝｜ｈ４−ｈ３｜）と所定のしきい値ｔｈｈ２とを比較し、さらに前記ブロック境界に隣接する２画素の差分の絶対値Ｄ３とブロック境界近傍の隣接する２画素の差分の絶対値の最大値ｍａｘｈ１（Ｄ０、Ｄ１、Ｄ２、Ｄ４、Ｄ５、Ｄ６の最大値）とを比較して、ブロック歪みの有無を判定する（Ｓ２２）。
【００３５】
ブロック境界に隣接する２画素の差分の絶対値Ｄ３が所定のしきい値ｔｈｈ２より大きい場合、画像に含まれるエッジと判定する。また、ブロック境界に隣接する２画素の差分の絶対値Ｄ３がｍａｘｈ１より小さい場合も画像に含まれるエッジと判定する。よって、前記２つの条件で画像に含まれるエッジでは無いと判定された場合に（Ｓ２２でＹＥＳ）、ブロック歪みがあると判定する。
【００３６】
ブロック境界付近の画素列が非低周波であると判定された場合は（Ｓ２１でＮＯ）、ブロック境界に隣接する２画素（図２のｈ３、ｈ４）の差分の絶対値（Ｄ３）と所定のしきい値ｔｈｈ３とを比較し、さらにブロック境界に隣接する２画素の差分の絶対値Ｄ３とブロック境界近傍の隣接する２画素の差分の絶対値の最大値ｍａｘｈ１とを比較して、ブロック歪みの有無を判定する（Ｓ２４）。ブロック境界に隣接する２画素の差分の絶対値Ｄ３が所定のしきい値ｔｈｈ３より大きい場合、画像に含まれるエッジと判定する。また、ブロック境界に隣接する２画素の差分の絶対値Ｄ３がｍａｘｈ１より小さい場合も画像に含まれるエッジと判定する。よって、前記２つの条件で画像に含まれるエッジでは無いと判定された場合に（Ｓ２４でＹＥＳ）、ブロック歪みがあると判定する。
【００３７】
水平フィルタ１０５では、垂直フィルタ１０３での処理を行った信号が入力され、水平ブロック歪み判定部１０４で低周波でのブロック歪みがあると判定された場合、ブロック境界を中心とした８画素（図２のｈ０〜ｈ７）に対してフィルタ処理を行う。また、水平ブロック歪み判定部１０４で非低周波でのブロック歪みがあると判定された場合、高域成分が含まれていると考えられるのでブロック全体にフィルタ処理して画像がぼやけることを防ぐため、ブロック境界を中心とした２画素（図２のｈ３、ｈ４）に対してのみフィルタ処理を行う。
【００３８】
ここで、垂直フィルタ１０３に対しても非低周波の場合のフィルタ処理を行うことも考えられる。しかし、インターレース画像に対して非低周波の場合のフィルタ処理であるブロック境界を中心とした２画素に対するフィルタ処理を行うと、入力復号化画像が輪郭のはっきりした物体が上下に移動するような画像のときに、輪郭が２重に見えることがあるなど、画質劣化が生じるという問題がある。
【００３９】
このことについて、図６を用いて説明する。図６（Ａ）はフィルタ処理前のインターレース画像の例であり、第１フィールドの画素はＶ０〜Ｖ７で、第２フィールドの画素はＶ０’〜Ｖ７’である。図６（Ａ）の第１フィールドが、非低周波でブロック歪みがあると判定され、第２フィールドではブロック歪みが無いと判定された場合、図６の（Ａ）のＶ３、Ｖ４に対してフィルタ処理が行われる。図６（Ｂ）は、フィルタ処理後のインターレース画像を示している。図６（Ａ）のＶ０〜Ｖ３とＶ０’〜Ｖ２’が白を表し、Ｖ４〜Ｖ７とＶ３’〜Ｖ７’が黒を表すとすると、図６（Ａ）のＶ３、Ｖ４に対してフィルタ処理を行った結果、図６（Ｂ）のＶ３、Ｖ４はグレーになる。図６（Ｂ）をフレームで表示すると、Ｖ２’、Ｖ３、Ｖ３’、Ｖ４、Ｖ４’は白、グレー、黒、グレー、黒となって、輪郭が２重に見えることになる。よって、入力復号化画像がインターレースの場合は、垂直方向に非低周波のフィルタ処理を行わないことで、上記のようなグレーの画素の発生を防ぎ、高画質化することを可能としている。
【００４０】
このように、本発明によれば、入力復号化画像の高域成分を損なうこと無くブロック歪みが低減または除去でき、さらに入力復号化画像がインターレースの場合には、垂直方向に非低周波のフィルタ処理を行わないことで、高画質化することが可能となる。
【００４１】
なお、本実施形態では、ブロック単位が８ｘ８ブロックの場合について説明したが、その他のブロック単位でも構わない。また、図１では先に垂直方向のブロック歪みの低減または除去を行い、次に水平方向のブロック歪みの低減または除去を行うようにしたが、この順番は逆でも構わない。
【００４２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００４３】
【発明の効果】
以上のように、この発明によれば、第１の方向と第１の方向に交わる第２の方向別にそれぞれの方向で予め歪の有無の判定を行ない、その後それぞれの方向でフィルタ処理を行なっている。したがって、歪の多いときのみにフィルタ処理を行なうため復号画像の高域成分が全て除去されるということは無いとともに、インターレース画像で画質の劣化の生じる方向のみにおけるフィルタ処理が可能になる。その結果、復号画像の高域成分を損なうこと無くブロック歪みが低減または除去でき、しかも、インターレースの復号画像に対しても画質劣化なくブロック歪みが低減または除去できるフィルタ装置を提供することができる。
【図面の簡単な説明】
【図１】本発明によるフィルタ装置の実施の形態を示すブロック図である。
【図２】ブロック境界とその近傍の画素を説明するための図である。
【図３】フレーム画像の画素を説明するための図である。
【図４】垂直ブロック歪み判定部の処理を説明するためフローチャートである。
【図５】水平ブロック歪み判定部の処理を説明するためフローチャートである。
【図６】インターレース画像のフィルタ処理を説明するための図である。
【図７】ビデオ映像処理装置の全体構成を示すブロック図である。
【図８】フィルタ装置の構成を示すブロック図である。
【図９】スムージングによるブロック歪みのフィルタ処理を説明するための図である。
【図１０】スムージングによるブロック歪みのフィルタ処理を説明するための図である。
【符号の説明】
１００フィルタ装置、１０１ラインメモリ、１０２垂直ブロック歪み判定部、１０３垂直フィルタ、１０４水平ブロック歪み判定部、１０５水平フィルタ。

Claims

複数のブロックに分割され、前記ブロック単位で符号化された画像信号を前記ブロック単位で順次復号化して得られるインターレースの復号化画像信号に対して前記復号化画像信号のラインに交わる第１の方向に沿った画素を前記第１の方向に沿ってそろえるような遅延を行なう遅延手段と、
前記復号化画像信号の前記第１の方向のブロック歪みを判定する第１判定手段とを備え、
前記第１判定手段は、前記ブロックの境界に交わるように前記第１の方向に沿って並ぶ所定の数の近傍画素について、各前記ブロック中において隣接する前記近傍画素間の画素値の差分に基づき、低周波か否かを判定することで、前記第１の方向のブロック歪みを判定する第１副判定手段を含み、
前記第１判定手段で得られた判定結果を基に前記遅延手段で前記遅延をした画像信号を前記第１の方向にフィルタ処理する第１フィルタ手段をさらに備え、
前記第１フィルタ手段は、前記第１副判定手段が、前記近傍画素が低周波でないと判定した場合にはフィルタ処理を行なわず、
前記第１フィルタ手段から出力された画像信号の前記第１の方向に交わる第２の方向のブロック歪みを判定する第２判定手段とを備え、
前記第２判定手段は、前記ブロックの境界に交わるように前記第２の方向に沿って並ぶ所定の数の第２方向近傍画素について、各前記ブロック中において隣接する前記第２方向近傍画素間の画素値の差分に基づき、低周波か否かを判定することで、前記第２の方向のブロック歪みを判定する第２副判定手段を含み、
前記第２判定手段で得られた判定結果を基に、前記第１フィルタ手段から出力された画像信号を前記第２の方向にフィルタ処理する第２フィルタ手段とをさらに備え、
前記第２フィルタ手段は、前記第２副判定手段が前記第２方向近傍画素が低周波であると判定した場合には、前記第２方向近傍画素に対してフィルタ処理を行ない、前記第２副判定手段が前記第２方向近傍画素が低周波でないと判定した場合には、前記第２方向近傍画素に含まれ、前記第２方向近傍画素の数より少ない画素に対してフィルタ処理を行なう、フィルタ装置。
前記第１副判定手段は、前記隣接する近傍画素間の画素値の差分の絶対値のいずれもが所定のしきい値以下であるかどうかを判定し、
前記第１フィルタ手段は、前記第１副判定手段が前記絶対値のいずれかが前記所定のしきい値より大きいと判定した場合には、前記近傍画素に対してフィルタ処理を行なわない、請求項１に記載のフィルタ装置。
前記第１および第２判定手段は、それぞれ
ブロック境界を挟んで隣接する２画素の画素値の差分の絶対値と所定のしきい値とを比較する手段と、
前記２画素の画素値の差分の絶対値と前記隣接する近傍画素間の画素値の差分の絶対値のうち最大のものとを比較する手段とを含む、請求項１または２に記載のフィルタ装置。
前記第１の方向は垂直方向であり、第２の方向は水平方向である、請求項１から３のいずれか１項に記載のフィルタ装置。