JP3664626B2

JP3664626B2 - フィルタ装置

Info

Publication number: JP3664626B2
Application number: JP2000032847A
Authority: JP
Inventors: 浩行岡田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-02-10
Filing date: 2000-02-10
Publication date: 2005-06-29
Anticipated expiration: 2020-02-10
Also published as: JP2001224031A

Description

【０００１】
【発明の属する技術分野】
本発明は、ブロック分割して、直交変換・量子化・符号化された符号化データを復号し、逆量子化・逆直交変換して得られる復号画像に発生するブロックひずみとモスキート雑音を低減するフィルタ装置に関する。
【０００２】
【従来の技術】
近年、ISDN (Integrated Services Digital Network), GSTN (General Switched Telephone Network)を有効に活用するサービスとしてテレビ電話やテレビ会議などの画像通信サービスが有望視され、このような動画像の効率的な伝送を目的とした高能率符号化の研究が盛んに行われている。これらの研究は、画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。このような符号化方式として動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式がよく知られている。
【０００３】
また、復号側においては、復号画像に対して動き補償予測と離散コサイン変換を組み合わせたハイブリッド符号化方式に特有なブロックひずみとモスキート雑音を低減するポストフィルタを実施し、画質の改善を行っている。
【０００４】
以下、図7により動き補償予測と2次元直交変換を用いた場合の動画像復号装置の従来例について説明する。図7において、51は可変長復号部、52は逆量子化部、53は逆直交変換部、54は加算器、55はフレームメモリ部、56は動き補償予測部、57はスイッチ、58はポストフィルタ部を示している。
【０００５】
可変長復号部51に符号化情報である符号化ビットストリームが入力される。符号化ビットストリームは、動画像符号化装置により生成した画像の直交変換係数や符号化の状態を表す符号化モード、すなわち、符号化実施の有無や動きベクトルやフレーム間／フレーム内予測の情報などが可変長符号化され、多重化されたものである。
【０００６】
可変長復号部51では符号化ビットストリームを復号して量子化された直交変換係数や動きベクトル、フレーム間／フレーム内予測などの符号化モード情報を得る。逆量子化部52では、量子化された直交変換係数に逆量子化を実施して直交変換係数を得て、これを逆直交変換部53で2次元逆直交変換して差分画像を得る。
【０００７】
上記符号化モードがフレーム間予測であるときは、スイッチ57の出力が動き補償予測部56の出力となるようにして、差分画像を加算器54でフレームメモリ部55に蓄積された前フレームの復号画像に基づき、動き補償予測部56からの動き補償予測値と加算して、フレームメモリ部55に現フレームの復号画像を蓄積する。
【０００８】
また、ブロックがフレーム内予測である場合は、スイッチ57が動き補償予測部56と切断され、逆直交変換部53からの出力に加算されるものがないので結果的に逆直交変換部53の出力がそのままフレームメモリ部55に復号画像として蓄積されることになる。
【０００９】
ポストフィルタ部５８では、加算器５４からの出力である現フレームの復号画像に対してブロックひずみ及びモスキート雑音を低減するポストフィルタを施し、雑音を低減した復号画像を出力する。
【００１０】
【発明が解決しようとする課題】
上記した従来の方式では、復号画像には必ずポストフィルタが実施され、前フレームと変化のない静止画像部分などポストフィルタの処理が必要ない部分にもフィルタリングが行われてしまい、処理量の増加や処理時間の浪費といった欠点がある。これは、ハードウェア化を行った場合など消費電力の増加にもつながる。
【００１１】
また、ブロックの符号化属性を参照しないため、発生した雑音に適したフィルタリングを行うことができないので、処理量の増加のみならずフィルタリングによる画質の劣化も引き起こすという欠点もある。
【００１２】
このような問題点に鑑み、本発明は、現ブロックの符号化実施の有無、動きベクトル、フレーム間／フレーム内予測の情報、変換係数の状態に基づいて、ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのオン／オフ制御、さらに前フレームのポストフィルタが施された復号画像によるブロックの置き換えを適応的に行い、処理量を軽減しつつもポストフィルタによる雑音が低減された復号画像を得ることができ、画質の改善が可能なフィルタ装置を提供するものである。
【００１３】
【課題を解決するための手段】
本発明によれば、ブロック毎に符号化された画像を復号し、復号画像をフィルタリングするフィルタ手段と、前記フィルタリングの際のフィルタの強度を決定するフィルタ強度決定手段を備え、前記ブロックの予測符号化モードがフレーム内予測の場合はフレーム間予測よりも必ず強いフィルタ強度を設定し、前記フィルタ強度に従ってブロック境界をフィルタリングすることにより、上記課題を解決する。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の一実施例について説明する。図１は本発明の一実施例のブロック図であり、符号化ビットストリームを可変長復号する可変長復号部1と、該可変長復号部1に接続し量子化された直交変換係数を逆量子化する逆量子化部2と、該逆量子化部2に接続し直交変換係数を2次元逆直交変換して差分画像を求める逆直交変換部3と、該逆直交変換部3とスイッチ7に接続し該逆直交変換部3で得られた差分画像と動き補償予測値とを加算して復号画像を求める加算器4と、該加算器4に接続し該加算器4で得られた復号画像を蓄積する第1のフレームメモリ部5と、該可変長復号部1と該第1のフレームメモリ部5に接続し動き補償予測値を出力する動き補償予測部6と、該可変長復号部1と該動き補償予測部6に接続し動き補償予測値の出力を切換えるスイッチ7と、該可変長復号部1に接続しポストフィルタの動作を制御するポストフィルタ処理内容制御部8と、該加算器4と該ポストフィルタ処理内容制御部8に接続し復号画像にポストフィルタを実施するポストフィルタ部9と、該ポストフィルタ処理内容制御部8と出力信号選択部11とに接続しポストフィルタされた画像を蓄積する第2のフレームメモリ部10と、該ポストフィルタ部9と該第2のフレームメモリ部10と該ポストフィルタ処理内容制御部8に接続しポストフィルタされた画像の出力を切換え制御する出力信号選択部11を備えている。
【００１５】
上記構成による動画像復号装置の動作は、以下の通りである。
【００１６】
可変長復号部1は、動画像符号化装置により画像に対してDCTを実施して当該DCT係数を量子化した量子化されたDCT係数、符号化実施の有無の情報、フレーム内／フレーム間予測の情報である予測符号化モード、動きベクトル等を可変長符号化して多重化された符号化ビットストリームを生成したもの、例えばITU-T勧告H.263に従う符号化ビットストリームが入力される。
【００１７】
そして、ここで可変長復号を行うことで、ブロック毎に量子化された離散コサイン変換(DCT)係数、動きベクトル、フレーム間／フレーム内予測の情報（予測符号化モード）、符号化しないブロック（符号化実施の有無の情報）、量子化ステップサイズ等の符号化情報を得る。
【００１８】
逆量子化部2では、可変長復号部1で得られた量子化されたDCT係数を量子化ステップサイズに従い逆量子化して逆量子化されたDCT係数を得る。
【００１９】
逆直交変換部3は、逆量子化されたDCT係数に2次元逆DCTを実施して差分画像を得る。
【００２０】
加算器4では、ブロックがフレーム間予測であった場合は第1のフレームメモリ部5に蓄積された前フレームの復号画像からブロックの動きベクトルに基づき算出された動き補償予測値、あるいはそのブロックがフレーム内予測であった場合はスイッチ7により動き補償予測値をゼロとするような出力とを切り替え、逆直交変換部3で得られた差分画像を加算して復号画像を得る。
【００２１】
第1のフレームメモリ部5は、加算器4で得られた復号画像を蓄積する。
動き補償予測部6では、第1のフレームメモリ部5の前フレームの復号画像と可変長復号部1からの情報である動きベクトルから動き補償予測値を求める。
【００２２】
スイッチ7は、可変長復号部1で復号された予測符号化モードの情報に従い、加算器4への入力を切換える。
【００２３】
加算器4からの出力は第１のフレームメモリ部5に出力されるとともに、ポストフィルタ部9にも出力される。
【００２４】
ポストフィルタ処理内容制御部8は、ポストフィルタ部9、第2のフレームメモリ部10、出力信号選択部11の動作を制御して処理量を削減し最適な雑音低減処理が実施できるような制御を行う。これは、可変長復号部1からの出力される符号化情報である現ブロックの符号化モードとDCT係数の状態によって図2に示すように次のような処理が決定される。
【００２５】
符号化モードはビットストリーム中に存在する符号化モードを表すビットにより容易に判断することができる。DCT係数の状態（有無・内容）を判断する手段に関しては、ビットストリーム中にDCT係数の状態を示すビットフラグが存在する場合は、そのビットフラグに基づいて判断すればよい。もし、ビットストリーム中にそのようなビットフラグが存在しない場合は、可変長復号されたデータそのものに基づいて、各ブロックのDCT係数の状態を判断することになる。
【００２６】
(1) 符号化しないブロックであるとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第2のフレームメモリ部10の前フレームのポストフィルタが実施された復号画像の現ブロックの位置の画像を出力とする。
【００２７】
(2) フレーム間予測でブロック内にDCT係数が存在しないとき
ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施せず、第2のフレームメモリ部10の前フレームのポストフィルタリングが実施された復号画像に対して動きベクトルに従い動き補償を行った位置の画像を出力とする。
【００２８】
(3) フレーム間予測でブロック内にDCT係数の直流成分のみが存在するとき
加算器4からの出力に対して、ブロックひずみ低減フィルタのみを実施し、この画像を出力とする。
【００２９】
(4) フレーム間予測でブロック内にDCT係数の直流および交流成分が存在するとき
加算器4からの出力に対して、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する。
【００３０】
(5) フレーム内予測でブロック内にDCT係数の直流成分のみが存在するとき
加算器4からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタのみを実施し、この画像を出力とする。
【００３１】
(6) フレーム内予測でブロック内にDCT係数の直流および交流成分が存在するとき
加算器4からの出力に対して、フレーム間予測の場合と比較して強いフィルタ強度でブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施し、この画像を出力とする。
【００３２】
上記のように6種類の場合分けをした理由は以下の通りである。まず、現ブロックが符号化しないのブロックである場合は、第2のフレームメモリ部10にある前フレームにおける現ブロックと同位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。
【００３３】
また、現ブロックがフレーム間予測でブロック内にDCT係数が存在しない場合は、第2のフレームメモリ部10にある前フレームにおける現ブロックに対して動きベクトルにより動き補償された位置のポストフィルタされた復号画像と同様である。従って、現ブロックをこれに置き換えれば新たにポストフィルタを実施する必要がなく処理量の低減となる。
【００３４】
また、現ブロックがフレーム間予測でブロック内にDCT係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。
【００３５】
また、現ブロックがフレーム間予測でブロック内にDCT係数の直流および交流成分が両方存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。
【００３６】
また、現ブロックがフレーム内予測でブロック内にDCT係数の直流成分のみが存在する場合は、ブロックひずみのみしか発生しないので、ブロックひずみ低減フィルタだけを実施すれば良い。従って、モスキート雑音低減フィルタを行わない分、処理量の低減となる。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。
【００３７】
また、現ブロックがフレーム内予測でブロック内にDCT係数の直流および交流成分が存在する場合は、ブロックひずみ及びモスキート雑音の両方が発生している可能性があるので、ブロックひずみ低減フィルタおよびモスキート雑音低減フィルタの両方を実施する必要がある。しかし、フレーム内予測はフレーム間予測より高圧縮されるため画質が劣化するので、フレーム間予測のときよりも強いフィルタ強度でフィルタ処理を実施する。
【００３８】
上記の処理の一例を図3により説明する。本来、加算器4からはブロック単位で復号画像が出力されるが、図3(A)において加算器4の出力内容は説明のために復元する画像と同様にブロックを並べた形で示してある。また、図3(B)の第2のフレームメモリの内容は、前フレームのポストフィルタが実施された画像である。
【００３９】
図3においてブロック1は前フレームと全く同一であるため、符号化実施の有無の情報が符号化しないブロックとなっている。従って、このブロックは第2のフレームメモリに格納されている前フレームのポストフィルタが実施された画像のブロック2で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。
【００４０】
また、ブロック3は動きベクトルで示されたブロック4と同一でありるため、フレーム間予測で動きベクトルを持ちDCT係数が存在しない。従って、ブロック4で示すブロックを用いれば良いことになり、ブロックひずみ及びモスキート雑音低減処理を実施する必要がない。
【００４１】
また、ブロック5は前フレームおいて全く存在しない画像であるので、フレーム内予測でブロック内にDCT係数の直流および交流成分が存在する。従って、加算器4からの出力に対してブロックひずみ及びモスキート雑音低減処理を実施することになる。ポストフィルタ部9では、加算器4での復号画像に発生した雑音を低減する。
【００４２】
図4は、ポストフィルタ部9の構成を説明する図であり、該ポストフィルタ処理内容制御部8と接続し、ブロックひずみ低減フィルタ部22と切換器23とモスキート雑音低減フィルタ部24と切換器25の動作を制御するフィルタ切換制御部21と、該加算器4と該フィルタ切換制御部21に接続しブロックひずみを低減するフィルタを行うブロックひずみ低減フィルタ部22と、該加算器4と該フィルタ切換制御部21と該ブロックひずみ低減フィルタ部22に接続しブロックひずみ低減フィルタの出力か、加算器4の出力かを切換え出力する切換器23と、該フィルタ切換制御部21と該切換器23に接続しモスキート雑音を低減するフィルタを行うモスキート低減フィルタ部24と、該フィルタ切換制御部21と該切換器23と該モスキート雑音低減フィルタ部24に接続しモスキート雑音低減フィルタの出力か、切換器23の出力かを切換え出力する切換器25で構成する。
【００４３】
フィルタ切換制御部21は、ポストフィルタ処理内容制御部8で決定された処理に従い、ポストフィルタリングの動作を次のように制御する。
【００４４】
(1) ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのどちらも実施しないとき
ブロックひずみ低減フィルタ部22をオフにし、加算器4の出力がそのまま切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオフにし、切換器23の出力がそのまま切換器25の出力となるようにする。
【００４５】
(2) ブロックひずみ低減フィルタのみを実施するとき
ブロックひずみ低減フィルタ部22をオンにし、ブロックひずみ低減フィルタ部22の出力が切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオフにし、切換器23の出力がそのまま切換器25の出力となるようにする。
【００４６】
(3) ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタの両方を実施するとき
ブロックひずみ低減フィルタ部22をオンにし、ブロックひずみ低減フィルタ部22の出力が切換器23の出力となるようにする。さらに、モスキート雑音低減フィルタ部24をオンにし、モスキート雑音低減フィルタ部24の出力が切換器25の出力となるようにする。
【００４７】
ブロックひずみ低減フィルタ部22は、フィルタ切換制御部21の制御に従ってブロックひずみ低減フィルタを実施のときに次のような処理を行う。これは、ブロック境界の不連続を除去することが目的であるので、図5に示すように加算器4の出力である復号画像のブロック境界を挟んだx0、x1の2画素を滑らかに接続するようにする。その際、レベル差の大きい部分の過補償を防ぐために、式(1)のような非線型処理を行い、x0を出力画素値y0に置き換える。ここで、qはフィルタ強度を制御するパラメータである。
【００４８】
【数１】

【００４９】
また、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオフのときは上記の処理は行われない。
【００５０】
切換器23では、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオンのときは、ブロックひずみ低減フィルタ部22の出力、すなわちブロックひずみが低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部21の制御がブロックひずみ低減フィルタ部22をオフのときは、加算器4の出力、すなわちフィルタ処理されていない復号画像がそのまま出力されるように切換が行われる。
【００５１】
モスキート雑音低減フィルタ部24は、フィルタ切換制御部21の制御に従ってモスキート雑音低減フィルタを実施のときに次のような処理を行う。ここでは、図6に示すように注目画素xi,jを中心とした3×3画素のウィンドウにより式(2)に示すフィルタを用いて出力画素yi,jを得て、xi,jと置き換える。ここで、εはフィルタ強度を制御するパラメータである。
【００５２】
【数２】

【００５３】
また、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオフのときは上記の処理は行われない。
【００５４】
切換器25では、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオンのときは、モスキート雑音低減フィルタ部24の出力、すなわちモスキート雑音が低減された復号画像が出力されるように切換が行われる。また、フィルタ切換制御部21の制御がモスキート雑音低減フィルタ部24をオフのときは、切換器23の出力、すなわちフィルタ処理されていない復号画像、あるいはブロックひずみのみ低減処理された復号画像が出力されるように切換が行われる。
【００５５】
第2のフレームメモリ部10は、出力信号選択部11の出力が入力され雑音が低減された前フレームの復号画像として蓄積しておく。また、ポストフィルタ処理内容制御部8からの制御により、現ブロックが符号化しないブロックであるときはその位置に相当する前フレームの画像が出力信号選択部11にブロック単位で入力される。また、フレーム間予測でブロック内にDCT係数が存在しないときには、動きベクトルに従い動き補償を行った位置の画像を出力信号選択部11に入力されるようにする。
【００５６】
出力信号選択部11では、ポストフィルタ処理内容制御部8の制御に従ってポストフィルタ部9からの出力か、第2のフレームメモリ部10からの出力かどちらか一方が出力されるように切換が行われる。すなわち、現ブロックが符号化しないブロックであるとき、あるいはフレーム間予測でブロック内にDCT係数が存在しないときは、第2のフレームメモリ部10からの入力が出力されるように切換が行われる。また、フレーム間予測でブロック内にDCT係数の直流成分のみが存在するとき、あるいはフレーム間予測でブロック内にDCT係数の直流および交流成分が存在するとき、あるいはフレーム内予測でブロック内にDCT係数の直流成分のみが存在するとき、あるいはフレーム内予測でブロック内にDCT係数の直流および交流成分が存在するときには、ポストフィルタ部9からの入力が出力されるように切換が行われる。
【００５７】
以上のように符号化実施の有無と動きベクトルとフレーム間／フレーム内予測の情報によりポストフィルタとポストフィルタが実施された前フレームの画像が蓄積されている第2のフレームメモリを適応的に制御することで、処理量を軽減しながらも雑音が低減された復号画像を得ることができる。即ち、現ブロックの符号化実施の有無、動きベクトル、フレーム間／フレーム内予測の情報、変換係数の状態に基づいて、ブロックひずみ低減フィルタ及びモスキート雑音低減フィルタのオン／オフ制御、さらに前フレームのポストフィルタが施された復号画像によるブロックの置き換えを適応的に行うので、処理量を軽減しつつもポストフィルタによる雑音の低減された復号画像を得ることができる。また、本実施例をハードウェア化した場合においては、この処理量の軽減は消費電力の削減という効果もある。
【００５８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、ブロック間のフレーム間／フレーム内予測符号化モードに基づいてフィルタ強度を決定することで、フレーム間予測より高圧縮され画質が劣化するフレーム内予測のブロック境界に強いフィルタリングが実施されるので、効果的にブロックひずみが低減できる。
【図面の簡単な説明】
【図１】本発明における一実施形態の構成を示すブロック図である。
【図２】本発明におけるポストフィルタ処理内容制御部の処理を示す説明図である。
【図３】本発明におけるポストフィルタ処理の一例を説明する図である。
【図４】本発明におけるポストフィルタ部の構成の詳細を示す図である。
【図５】本発明におけるブロックひずみ低減フィルタの構成を説明する図である。
【図６】本発明におけるモスキート雑音低減フィルタの構成を説明する図である。
【図７】従来の動画像復号装置の構成を示すブロック図である。
【符号の説明】
１…可変長復号部、２…逆量子化部、３…逆直交変換部、４…加算器、５…第１のフレームメモリ部、６…動き補償予測部、７…スイッチ、８…ポストフィルタ処理内容制御部、９…ポストフィルタ部、１０…第２のフレームメモリ部、１１…出力信号選択部。

Claims

ブロック毎に符号化された画像を復号し、復号画像をフィルタリングするフィルタ手段と、前記フィルタリングの際のフィルタの強度を決定するフィルタ強度決定手段を備え、前記ブロックの予測符号化モードがフレーム内予測の場合はフレーム間予測よりも必ず強いフィルタ強度を設定し、前記フィルタ強度に従ってブロック境界をフィルタリングすることを特徴とするフィルタ装置。
前記フィルタ手段はブロック境界を滑らかに接続するために、ブロック境界を挟む画素値を変化させて、その値をフィルタ後の画素値とすることを特徴とする前記請求項１に記載のフィルタ装置。
前記フィルタ手段はブロック境界を挟む画素値の大きさに基づき、前記フィルタリングの出力画素値を求めることを特徴とする前記請求項１に記載のフィルタ装置。