JP2011193391A

JP2011193391A - 画像処理装置及び画像処理方法

Info

Publication number: JP2011193391A
Application number: JP2010059859A
Authority: JP
Inventors: Yuichi Honda; 雄一本田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-03-16
Filing date: 2010-03-16
Publication date: 2011-09-29

Abstract

【課題】ノイズ低減に優れた画像処理装置を提供すること。
【解決手段】画像処理装置は、復号化画像信号の量子化情報を検出する量子化情報検出手段と、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、を備える。
【選択図】図１

Description

本発明は、画像信号に含まれたノイズを低減する画像処理技術に関する。

近年、画像を高品質化するため、画像信号に含まれたノイズを低減する様々なノイズ低減技術が提案されている。画質の低下要因の一つとして復号化画像信号に含まれるインパルスノイズが知られており、このインパルスノイズを除去し画像を高品質化する技術が提案されている。例えば、画像信号に含まれる単独パルスを確実に検出して除去するノイズ削減回路が開示されている（特許文献１参照）。

特開２００９−１３５８３４号公報

上記したようなノイズ低減技術が開示されているが、例えば、ノイズ低減効果を一定にした場合、ノイズ低減効果が不足又は過剰になることがあり、いずれの場合も画像の高品質化に適当ではない。

本発明の目的は、ノイズ低減に優れた画像処理装置及び画像処理方法を提供することにある。

本発明の一実施形態に係る画像処理装置は、復号化画像信号の量子化情報を検出する量子化情報検出手段と、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、を備える。

本発明の一実施形態に係る画像処理方法は、復号化画像信号の量子化情報を検出し、前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御し、前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減する

本発明によれば、ノイズ低減に優れた画像処理装置及び画像処理方法を提供できる。

本発明の一実施形態に係る動画像符号化歪低減装置の一例を示すブロック図である。ノイズ低減処理モジュールの一例を示すブロック図である。暗部検出モジュールにより生成される輝度ヒストグラムの一例を示す図である。復号化動画像の特性（歪等の有無）に応じたノイズ低減処理の一例を説明するための図である。量子化ステップに基づくノイズ低減特性の制御の一例を示す図である。

以下、図面を参照し、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る動画像符号化歪低減装置（以下、画像処理装置）の一例を示すブロック図である。図１に示す画像処理装置は、例えば、デジタルＴＶ又はデジタルビデオレコーダ等に適用することができる。

画像処理装置は、動画像に含まれるノイズを低減し、画像を高画質化することができる。例えば、画像処理装置は、復号化モジュール１１０、符号化方式検出モジュール１２０、量子化情報検出モジュール１３０、暗部検出モジュール１４０、ノイズ低減処理制御モジュール１５０、及びノイズ低減処理モジュール１６０などを備えている。

復号化モジュール１１０は、ＭＰＥＧ（Moving Picture Experts Group）−２及びＭＰＥＧ−４ＡＶＣ（Advanced Video Coding）などの複数の符号化方式に対応し、これら複数の符号化方式のうちの何れかの符号化方式により符号化された符号化動画像信号を復号し、復号化動画像信号を出力する。

符号化方式検出モジュール１２０は、上記した符号化動画像信号の符号化方式を検出する。つまり、符号化方式検出モジュール１２０は、ＭＰＥＧ−２又はＭＰＥＧ−４ＡＶＣなどの符号化方式を検出し、検出した符号化方式をノイズ低減処理制御モジュール１５０へ通知する。

量子化情報検出モジュール１３０は、復号化動画像信号の量子化情報を検出する。例えば、量子化情報検出モジュール１３０は、復号化動画像信号により形成される画像のフィールドまたはフレームのピクチャタイプまたは量子化情報（例えば８×８画素のブロック（マクロブロック）の量子化スケールのフィールドまたはフレームの平均値）を検出し、検出したピクチャタイプ又は量子化情報をノイズ低減処理制御モジュール１５０へ通知する。例えば、ノイズ（ブロックノイズ等）を多く含む復号化動画像信号の量子化情報の情報量は、ノイズの少ない復号化動画像信号の量子化情報の情報量より多くなることが知られている。

暗部検出モジュール１４０は、復号化動画像信号から生成される画像の暗部を検出する。例えば、図３に示すように、暗部検出モジュール１４０は、復号化動画像信号から、１フレーム分の輝度ヒストグラムを生成し、閾値以下のヒストグラムの度数を総加算した値を暗部検出情報として出力する。例えば、ノイズ（ブロックノイズ等）を多く含む復号化動画像信号から検出される暗部は、ノイズの少ない復号化動画像信号から検出される暗部より大きくなることが知られている。

ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報などに基づき、ノイズ低減特性（例えばノイズ低減処理ゲインを制御するノイズ低減パラメータ）を制御する。例えば、ノイズ低減処理制御モジュール１５０は、第１の情報量の量子化情報（ノイズの少ない復号化動画像信号の量子化情報）に基づき第１のノイズ低減効果を得るための第１のノイズ低減パラメータを設定し、第１の情報量より大きい第２の情報量の量子化情報（ノイズの多い復号化動画像信号の量子化情報）に基づき第１のノイズ低減効果よりも高い第２のノイズ低減効果を得るための第２のノイズ低減パラメータを設定することができる。

また、ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報及び暗部検出モジュール１４０による暗部検出結果（暗部検出情報）に基づきノイズ低減特性を制御することもできる。さらに、ノイズ低減処理制御モジュール１５０は、復号化動画像信号の量子化情報及び符号化方式検出モジュール１２０により検出された符号化方式に基づきノイズ低減特性を制御することもできる。さらに、ノイズ低減処理制御モジュール１５０は、量子化情報、暗部検出情報、及び符号化方式に基づき、ノイズ低減特性を制御することもできる。詳細については後述する。

ノイズ低減処理モジュール１６０は、ノイズ低減処理制御モジュール１５０により制御されるノイズ低減特性に基づき、復号化動画像信号に含まれたノイズを低減する。例えば、ノイズ低減処理制御モジュール１５０により第１のノイズ低減パラメータが設定された場合、ノイズ低減処理モジュール１６０は、第１のノイズ低減パラメータに基づき復号化動画像信号に含まれたインパルス性ノイズを低減する。これにより、第１のノイズ低減効果が得られる。また、ノイズ低減処理制御モジュール１５０により第２のノイズ低減パラメータが設定された場合、ノイズ低減処理モジュール１６０は、第２のノイズ低減パラメータに基づき復号化動画像信号に含まれたインパルス性ノイズを低減する。これにより、第１のノイズ低減効果よりも高い第２のノイズ低減効果が得られる。

例えば、ノイズ低減処理モジュール１６０は、図２に示すように構成され、復号化動画像信号に含まれたインパルス性ノイズを低減する。つまり、ノイズ低減処理モジュール１６０は、フレームメモリ１６１、演算器１６２、単発パルス検出モジュール１６３、単発パルス検出モジュール１６４、演算器１６５、演算器１６６などを備える。

フレームメモリ１６１は、入力信号（復号化動画像信号）Ｓ１からフレーム遅延信号Ｓ２を出力する。演算器１６２は、入力信号Ｓ１からフレーム遅延信号Ｓ２を減算したフレーム差分信号Ｓ３を出力する。単発パルス検出モジュール１６３は、フレーム差分信号から単発パルスを検出し単発パルス信号Ｓ４を出力する。単発パルス検出モジュール１６４は、入力信号Ｓ１から単発パルスを検出し単発パルス信号Ｓ５を出力する。演算器１６５は、単発パルス信号Ｓ４と単発パルス信号Ｓ５に応じた係数との乗算結果Ｓ６を出力する。演算器１６６は、乗算結果Ｓ６に基づき、入力信号Ｓ１に含まれたノイズ（インパルス性ノイズ）を低減したノイズ低減信号Ｓ７を出力する。

ここで、図４を参照し、復号化動画像の特性（歪等の有無）に応じたノイズ低減処理の一例について説明する。図４に示すように、暗部検出モジュール１４０は、ノイズ低減処理制御モジュール１５０に対して暗部検出情報を提供する。ノイズ低減処理制御モジュール１５０の非線形処理モジュール１５１は、暗部検出情報に基づき、ノイズ低減効果（ノイズ低減パラメータ）を制御する。

例えば、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが比較的小さいことが示される場合、つまり暗部領域サイズが閾値Ｔｈ１より小さい場合には、比較的ノイズ低減効果の低いノイズ低減効果Ｅ１を得るためのパラメータＰ１を設定する。また、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが比較的大きいことが示される場合、つまり暗部領域サイズが閾値Ｔｈ２より大きい場合には、比較的ノイズ低減効果の高いノイズ低減効果Ｅ２を得るためのパラメータＰ２を設定する。また、非線形処理モジュール１５１は、暗部検出情報により暗部領域サイズが閾値Ｔｈ１から閾値Ｔｈ２の間に含まれことが示される場合には、暗部領域サイズに応じて、ノイズ低減効果Ｅ１−Ｅ２を得るためのパラメータＰ１−Ｐ２を設定する。このようにして、非線形処理モジュール１５１は、暗部検出情報に基づき非線形パラメータＰ１−Ｐ２を設定する。

さらに、ノイズ低減処理制御モジュール１５０は、量子化情報に基づき、非線形パラメータＰ１−Ｐ２（ノイズ低減効果Ｅ１−Ｅ２）を可変制御する。例えば、ノイズ低減処理制御モジュール１５０は、比較的情報量の少ない第１の情報量の量子化情報（ノイズの少ない復号化動画像信号の量子化情報）に基づき、ノイズ低減効果Ｅ１−Ｅ２より低いノイズ低減効果Ｅ１’−Ｅ２’を得るための非線形パラメータＰ１’−Ｐ２’を設定する。また、ノイズ低減処理制御モジュール１５０は、比較的情報量の多い第２の情報量の量子化情報（ノイズの多い復号化動画像信号の量子化情報）に基づき、ノイズ低減効果Ｅ１−Ｅ２より高いノイズ低減効果Ｅ１’’−Ｅ２’’を得るための非線形パラメータＰ１’’−Ｐ２’’を設定する。また、ノイズ低減処理制御モジュール１５０は、第１の情報量より多く第２の情報量より少ない第３の情報量の量子化情報に基づき、ノイズ低減効果Ｅ１−Ｅ２を得るための非線形パラメータＰ１−Ｐ２を設定する。

これにより、例えば、画像処理装置は、暗部が多いことを示す暗部検出情報に基づきノイズ低減効果を高めつつ、さらに、ブロックノイズ等が多いことを示す量子化情報（量子化情報が大きい場合）に基づき非線形特性（非線形パラメータＰ１−Ｐ２）をプラス側にオフセットさせてさらにノイズ低減効果を高めることができる。結果として、より鮮明な映像を表示させることが可能となる。

また、画像処理装置は、暗部が少ないことを示す暗部検出情報に基づきノイズ低減効果を下げつつ、さらに、ブロックノイズ等が少ないことを示す量子化情報（量子化情報が小さい場合）に基づき非線形特性（非線形パラメータＰ１−Ｐ２）をマイナス側にオフセットさせてさらにノイズ低減効果を下げることができる。結果として、より鮮明な映像を表示させることが可能となる。

例えば、復号化動画像の特性（歪等の有無等）に関係なく、一定のノイズ低減効果を得るための一定のノイズ低減パラメータで復号化画像に含まれるノイズを低減した場合には、符号化歪のある復号化動画像に対して適切なノイズ低減効果が得られないことがある。例えば、比較的高いノイズ低減効果を得るためのノイズ低減パラメータに基づき、ノイズが少ない復号化動画像に対してノイズ低減処理を適用した場合には、画質が低下してしまうことがある。また、比較的低いノイズ低減効果を得るためのノイズ低減パラメータに基づき、ノイズが多い復号化動画像に対してノイズ低減処理を適用した場合には、ノイズを十分に低減することができず、低品位な画質が得られてしまうことがある。

これに対して、本実施形態の画像処理装置は、復号化動画像の特性（歪等の有無等）に応じて、ノイズ低減特性（ノイズ低減パラメータ）を制御し、復号化動画像信号に含まれたノイズを低減する。つまり、本実施形態の画像処理装置は、復号化動画像の量子化情報及び暗部検出情報のうちの少なくとも一方に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減する。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となり、画質の向上を図ることができる。

さらに、本実施形態の画像処理装置は、復号化動画像信号の復号化前の符号化動画像信号の符号化方式も加えて、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減することもできる。例えば、復号化モジュール１１０が、ＭＰＥＧ−４ＡＶＣ方式の符号化動画像信号を復号化するＭＰＥＧ−４ＡＶＣ復号化部を備え、このＭＰＥＧ−４ＡＶＣ復号化部がブロックノイズ低減処理部を備えているとする。このようなケースでは、画像処理装置は、符号化方式がＭＰＥＧ−４ＡＶＣ方式である場合には、低いノイズ低減効果を得るためのノイズ低減パラメータを設定し、このノイズ低減パラメータに基づき復号化動画像信号に含まれたノイズを低減することができる。或いは、画像処理装置は、符号化方式がＭＰＥＧ−４ＡＶＣ方式である場合には、ノイズ低減効果を無効に設定するようにしてもよい。

例えば、画像処理装置は、量子化情報及び符号化方式に基づきノイズ低減特性を制御することができる。一例を挙げると、画像処理装置は、ブロックノイズ等が多いことを示す量子化情報（量子化情報が大きい場合）に基づき高いノイズ低減効果を得るためのノイズ低減パラメータを設定し、又はブロックノイズ等が少ないことを示す量子化情報（量子化情報が小さい場合）に基づき低いノイズ低減効果を得るためのノイズ低減パラメータを設定し、さらに所定の符号化方式の場合にこの設定したノイズ低減パラメータをさらに修正し（ノイズ低減効果を上げる又はノイズ低減効果を下げるようにノイズ低減パラメータを修正し）、修正されたノイズ低減パラメータに基づきノイズ低減特性を制御することができる。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となる。

即ち、本実施形態の画像処理装置は、量子化情報、暗部検出情報、及び符号化方式のうちの少なくとも一つの情報に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、このノイズ低減特性に基づいて復号化動画像信号に含まれたノイズを低減することができる。これにより、復号化動画像の特性に応じた適切なノイズ低減処理が可能となり、画質の向上を図ることができる。

次に、量子化ステップに基づきノイズ低減特性を制御するケースについて説明する。ノイズ低減処理制御モジュール１５０は、例えば、図５に示すようにノイズ低減特性を制御する。図５（Ａ）は、ノイズ低減処理制御モジュール１５０によるリンギング歪低減特性制御の一例を示し、図５（Ｂ）は、ノイズ低減処理制御モジュール１５０によるブロック歪低減特性制御の一例を示す図である。

量子化ステップが大きくなると、符号化歪は発生しやすい。例えば、復号化動画像に含まれるオブジェクトの動きが大きいときにブロック歪が発生しやすい。このため、図５（Ｂ）に示すように、ノイズ低減処理制御モジュール１５０は、量子化ステップが大きいときに、高いブロックノイズ低減効果を得るためのブロックノイズ低減パラメータを設定し、ブロックノイズ低減効果を高くすることができる。また、ノイズ低減処理制御モジュール１５０は、量子化ステップが大きく、且つ復号化動画像に含まれるオブジェクトの動き量が大きいときに、より高いブロックノイズ低減効果を得るためのブロックノイズ低減パラメータを設定することにより、より効果的に、ブロックノイズ低減効果を高くすることができる。

また、リンギング歪は、量子化ステップが大きくなると発生しやすい。このため、図５（Ａ）に示すように、量子化ステップが大きく、復号化動画像に含まれるオブジェクトの動き量が小さいときほど、ノイズ低減処理制御モジュール１５０は、高いリンギングノイズ低減効果を得るためのリンギングノイズ低減パラメータを設定し、リンギングノイズ低減効果を高くすることができる。

上記したように、本実施形態の画像処理装置は、ブロック歪とリンギング歪をそれぞれ適切に低減することができ、画像のぼかし過ぎを防止することができる。

次に、ピクチャタイプに基づきノイズ低減特性を制御するケースについて説明する。例えば、量子化情報検出モジュール１３０が、Ｉピクチャ（Intra picture）、Ｐピクチャ（Predictive picture）、Ｂピクチャ（Bi-directional predictive picture）等のピクチャタイプを検出し、検出したピクチャタイプをノイズ低減処理制御モジュール１５０へ通知する。ノイズ低減処理制御モジュール１５０は、ピクチャタイプに基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御する。Ｉピクチャ（Intra picture）、Ｐピクチャ（Predictive picture）、Ｂピクチャ（Bi-directional predictive picture）等のピクチャタイプにより、量子化ステップが異なるため、ピクチャタイプに基づくノイズ低減特性の制御により、復号化動画像の特性に応じた効果的なノイズ低減処理を実現することができる。

すなわち、本実施形態の画像処理装置は、量子化情報、暗部検出情報、符号化方式、量子化ステップ、オブジェクトの動き、及びピクチャタイプのうちの少なくとも一つの情報に基づき、ノイズ低減特性（ノイズ低減パラメータ）を制御し、これにより、効果的なノイズ低減処理を実行することができる。即ち、本実施形態の画像処理装置は、復号化動画像の特性（歪等の有無）に応じた効果的なノイズ低減処理を実行することができる。

なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１１０…復号化モジュール、１２０…符号化方式検出モジュール、１３０…量子化情報検出モジュール、１４０…暗部検出モジュール、１５０…ノイズ低減処理制御モジュール、１６０…ノイズ低減処理モジュール

Claims

復号化画像信号の量子化情報を検出する量子化情報検出手段と、
前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減するノイズ低減処理手段と、
を備えた画像処理装置。
前記ノイズ低減特性制御手段は、第１の情報量の前記量子化情報に基づき第１のノイズ低減効果を得るための第１のノイズ低減パラメータを設定し、前記第１の情報量より大きい第２の情報量の前記量子化情報に基づき前記第１のノイズ低減効果よりも高い第２のノイズ低減効果を得るための第２のノイズ低減パラメータを設定し、
前記ノイズ低減処理手段は、前記第１又は第２のノイズ低減パラメータに基づき前記復号化画像信号に含まれたインパルス性ノイズを低減する、
ことを特徴とする請求項１に記載の画像処理装置。
前記ノイズ低減特性制御手段は、前記復号化画像信号に含まれたフィールド又はフレームの量子化情報の平均値に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
前記復号化画像信号から生成される画像の暗部を検出する暗部検出手段を備え、
前記ノイズ低減特性制御手段は、前記復号化画像信号の前記量子化情報及び前記暗部検出手段による暗部検出結果に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
前記復号化画像信号の復号化前の符号化画像信号の符号化方式を検出する符号化方式検出手段を備え、
前記ノイズ低減特性制御手段は、前記復号化画像信号の前記量子化情報及び前記符号化方式検出手段により検出された前記符号化方式に基づき前記ノイズ低減特性を制御することを特徴とする請求項１に記載の画像処理装置。
復号化画像信号の量子化情報を検出する量子化情報検出手段と、
前記復号化画像信号から生成される画像の暗部を検出する暗部検出手段と、
前記復号化画像信号の前記量子化情報及び前記暗部検出手段により検出された暗部検出結果に基づきノイズ低減特性を制御するノイズ低減特性制御手段と、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたノイズを低減するノイズ低減処理手段と、
を備えた画像処理装置。
前記復号化画像信号の復号化前の符号化画像信号の符号化方式を検出する符号化方式検出手段を備え、
前記ノイズ低減特性制御手段は、さらに、前記符号化方式検出手段により検出された前記符号化方式に基づき前記ノイズ低減特性を制御することを特徴とする請求項６に記載の画像処理装置。
復号化画像信号の量子化情報を検出し、
前記復号化画像信号の前記量子化情報に基づきノイズ低減特性を制御し、
前記ノイズ低減特性に基づき前記復号化画像信号に含まれたインパルス性ノイズを低減することを特徴とする画像処理方法。