JP2008252911A - 画像ノイズ除去の方法及び装置 - Google Patents

Abstract

【課題】画像ノイズ除去法を提供する。
【解決手段】画像ノイズ除去システムとこのシステムを実施する方法。ノイズは、各チャンネルで周波数バンドに分解され、サブバンドノイズが伝播する。信号レベル依存、周波数依存、かつチャンネル間相関を有するノイズの正確な予測の後でノイズ除去をカメラパイプラインのあらゆるノードで行うことができる。平均画像レベル及びカメラノイズパラメータに基づいてセンサ出力で各色チャンネルの画像ノイズを推定する方法を含む。各色チャンネルに関するピーク白色画像レベルを検出し、代表色に関する画像レベル値を予測する手法を実施する。ノイズモデル及びカメラパラメータに基づいて、ノイズレベルが各色パッチの各色チャンネルについて予測され、ノイズレベルがノイズ除去ノードに伝播される。３次元ＬＵＴは、ノイズレベルに信号レベルを相関させる。ノイズ除去閾値は、次に、適応的に制御される。
【選択図】図１

Description

本発明は、信号処理の分野に関する。より詳細には、本発明は、画像ノイズ除去に関する。

殆どの画像ノイズ除去アルゴリズムは、２つの相対する目標：（ｉ）画像輪郭（空間的に相関した信号の高周波成分）を保存し、かつ（ｉｉ）ノイズ（空間的に無相関の信号の高周波成分）を取り除くことを同時に試みるという基本概念を使用する。多くの場合に、閾値化又はコアリングと呼ばれる処理段階を用いてこの目的を達成する。この操作は、信号とノイズとを弁別するボーダーラインと考えられるある一定の閾値よりもその振幅が小さい信号変動を取り除くものである。双方向フィルタリングのような他のノイズ除去アルゴリズムでは、ノイズ−信号境界は、ピクセルの近傍内の信号の変動を評価するためにガウス関数を使用してより甘く定義される。このようなアルゴリズムでは、ガウス関数の幅を判断するために適切な値を指定する必要があり、そのようなパラメータ設定は、他の閾値ベースのノイズ除去アルゴリズムにおける場合と同じくらい重要である。ノイズ除去システムの閾値（又は均等物）が不適切に設定された場合、ノイズ除去効果は十分でないと考えられ、又は過剰に弱められた輪郭で過度に不鮮明な画像をもたらす場合がある。

従って、適切な閾値（又は均等物）設定は、十分な画像品質を有するために不可欠である。また、ノイズ除去が行われる信号経路のノードでのノイズ量を正確に知ることも重要である。

画像ノイズ除去システム、及びこの画像ノイズ除去システムを実施する方法を本明細書に説明する。画像ノイズ除去システム及び方法は、ノイズを解析するために高速で正確な多チャンネルの周波数依存手法を利用する。ノイズは、各チャンネル内で周波数バンドに分解され、サブバンドノイズが伝播する。次に、信号レベル依存、周波数依存であり、かつチャンネル間相関を有するノイズの正確な予測の後に、ノイズ除去は、カメラパイプラインのあらゆるノードで行うことができる。平均画像レベル及びカメラノイズパラメータに基づいてセンサ出力で各色チャンネル内の画像ノイズを推定する方法が含まれる。各色チャンネルに関するピーク白色画像レベルを検出し、１組の代表的な色に関する画像レベル値を予測するための手法が実施される。ノイズモデル及びカメラパラメータに基づいて、ノイズレベルは、各色パッチのための各色チャンネルについて予測され、これらのノイズレベルが、ノイズ除去ノードに伝播される。３次元ＬＵＴは、ノイズレベルに信号レベルを相関させる。こうしてノイズ除去閾値は、適応的に制御される。

1つの態様において、画像をノイズ除去する方法は、ノイズを含む画像を取得する段階と、ノイズを複数のノイズのサブバンドに分割する段階と、各々のノイズのサブバンドについて閾値を判断する段階と、各々のノイズのサブバンドについて閾値を判断する段階と、ノイズの各サブバンドについて閾値よりも低いノイズをフィルタリング除去する段階とを含む。本方法は、１つ又はそれよりも多くのカメラパラメータを取得する段階を更に含む。本方法は、１つ又はそれよりも多くのカメラパラメータを組み込むことによって入力ノイズマトリックスを計算する段階を更に含む。本方法は、ノイズマトリックスからバンド関連ノイズを伝播させる段階を更に含む。本方法は、信号値とノイズ値とを相関させる信号対ノイズのルックアップテーブルを発生させる段階を更に含む。本方法は、信号対ノイズのルックアップテーブルを用いてピクセル毎のノイズ量を予測する段階を更に含む。この閾値は、ピクセル毎の閾値である。ノイズは、ピクセル毎の閾値によってフィルタリング除去される。１つ又はそれよりも多くのカメラパラメータは、増幅器利得、自動白色均衡利得、輪郭強調利得、及び色補正マトリックスパラメータのうちの少なくとも１つを含む。１つ又はそれよりも多くのカメラパラメータは、カメラ上で実施される時にプロセッサで利用可能である。１つ又はそれよりも多くのカメラパラメータは、コンピュータデバイス上で画像レンダリングソフトウエアと共に実施される時に画像内のヘッダ情報を通じて利用可能である。バンド関連ノイズを伝播させる段階は、入力ノイズマトリックスをＮ個のサブバンドの各々にバンド分割する段階を更に含む。画像を取得する段階、ノイズを分割する段階、及び閾値を判断する段階は、リアルタイムで行われる。ピクセル毎のノイズ量を予測する段階は、ルックアップテーブル内にピクセル値を入力する段階と、入力ピクセル値を予測ノイズ量に変換する段階と、ルックアップテーブルを用いて入力信号上の信号値をバンド関連ノイズマトリックスにマップする段階と、信号値に基づいてバンド関連ノイズマトリックスを内挿及び外挿する段階とを更に含む。本方法は、撮影条件が変化する時にルックアップテーブルを更新する段階を更に含む。

別の態様において、画像をノイズ除去する方法は、１つ又はそれよりも多くのカメラパラメータを取得する段階と、１つ又はそれよりも多くのカメラパラメータを組み込むことによって入力ノイズマトリックスを計算する段階と、入力ノイズマトリックスからバンド関連ノイズを伝播させる段階と、信号値とノイズ値を相関させる信号対ノイズのルックアップテーブルを発生させる段階と、信号対ノイズのルックアップテーブルを用いてピクセル毎のノイズ量を予測する段階と、ピクセル毎の閾値を制御する段階と、ピクセル毎の閾値を用いて画像内のノイズをフィルタリング除去する段階とを含む。１つ又はそれよりも多くのカメラパラメータは、増幅器利得、自動白色均衡利得、輪郭強調利得、及び色補正マトリックスパラメータのうちの少なくとも１つを含む。１つ又はそれよりも多くのカメラパラメータは、カメラ上で実施された時にプロセッサで利用可能である。１つ又はそれよりも多くのカメラパラメータは、コンピュータデバイス上で画像レンダリングソフトウエアと共に実施される時に画像内のヘッダ情報を通じて利用可能である。バンド関連ノイズを伝播させる段階は、入力ノイズマトリックスをＮ個のサブバンドにバンド分割する段階を更に含む。１つ又はそれよりも多くのカメラパラメータを取得する段階、入力ノイズマトリックスを計算する段階、バンド関連ノイズを伝播させる段階、及び信号対ノイズのルックアップテーブルを発生させる段階は、リアルタイムで行われる。ピクセル毎のノイズ量を予測する段階は、ルックアップテーブル内にピクセル値を入力する段階と、入力ピクセル値を予測ノイズ量に変換する段階と、ルックアップテーブルを用いて入力信号上の信号値をバンド関連ノイズマトリックスにマップする段階と、信号値に従ってバンド関連ノイズマトリックスを内挿及び外挿する段階とを更に含む。本方法は、撮影条件が変化する時にルックアップテーブルを更新する段階を更に含む。

更に別の態様において、画像をノイズ除去するためのシステムは、画像処理パイプラインと、画像処理パイプラインに連結されたノイズ低減制御ユニットとを含み、ノイズ低減制御ユニットは、ノイズを低減するための閾値を判断する。画像処理パイプラインは、画像を取得するための撮像装置と、画像を処理するために撮像装置に連結された１組の画像化構成要素と、画像内のノイズを低減するために画像化構成要素の組に連結されたノイズ低減ブロックと、ノイズ低減の後の画像を処理するためにノイズ低減ブロックに連結された１組の後処理構成要素とを更に含む。ノイズ低減ブロックは、ノイズをサブバンドに分割し、ノイズ低減制御ユニットから受け取った閾値を利用してノイズをフィルタリング除去する。ノイズ低減制御ユニットは、サブバンドに基づいて閾値を発生させる。ノイズ低減制御ユニットは、プロセッサ上で実施される。ノイズ低減制御ユニットは、撮像装置ノイズモデル、ノイズ伝播、及び予測バンド関連ノイズマトリックスを実施して閾値を判断する。

別の態様において、画像をノイズ除去するためのシステムは、画像処理パイプラインを含み、画像処理パイプラインは、画像を取得するための撮像装置と、画像を処理するために撮像装置に連結された１組の画像化構成要素と、画像内のノイズを低減するために画像化構成要素の組に連結されたノイズ低減ブロックと、ノイズ低減の後の画像を処理するためにノイズ低減ブロックに連結された１組の後処理構成要素と、画像処理パイプラインに連結されてノイズ低減制御ユニット機能を実施するプロセッサとを含み、プロセッサは、ノイズを低減するための閾値を判断する。ノイズ低減ブロックは、ノイズをサブバンドに分割し、ノイズ低減制御ユニットから受け取った閾値を利用してノイズをフィルタリング除去する。プロセッサは、サブバンドに基づいて閾値を発生させる。プロセッサは、撮像装置ノイズモデル、ノイズ伝播、及び予測バンド関連ノイズマトリックスを実施して閾値を判断する。

別の態様において、画像をノイズ除去する方法は、１組の色チャンネル内の各色チャンネルについてセンサでの平均画像レベルを検出する段階と、色チャンネルの組における各色チャンネルについて平均ノイズレベルを推定する段階と、ノイズ除去が行われるノードでのノイズを予測する段階と、ノイズ除去のために閾値を制御する段階とを含む。
別の態様において、画像をノイズ除去する方法は、１組の色チャンネル内の各色チャンネルについて画像センサでのピーク白色画像レベルを検出する段階と、１組の代表色に関する画像レベルを予測する段階と、各色パッチ及び各色チャンネルのノイズレベルを計算する段階と、ノイズ除去が行われるノードでのノイズを予測する段階と、信号レベルをノイズレベルに相関させる３次元ルックアップテーブルを発生させる段階と、ノイズ除去のための閾値設定を適応的に制御する段階とを含む。

殆どの実際的なノイズ除去システムの実施及び設計において、パラメータの調整は、設計者による主観的な評価に基づく試行錯誤手法に強く依存してきており、それは、時間を消費し、かつ設計者の個人的選択によって異なるものである。

一般的に、センサ出力でのノイズは、ガウス型白色ノイズで空間的に無相関であると見なすことができ、その標準偏差は、以下のように定義される。

式中、ｘは、ピクセル強度であり、ａ、ｂ、及びｃは、画像センサ、アナログ前処理、及びアナログデジタル変換回路に特定の定数である。定数ａは、ピクセル毎の絞り変動に対応し、定数ｂは、光学撮影ノイズに対応し、定数ｃは、熱ノイズ、暗撮影ノイズ、及びピクセル毎の暗電流変動を含むフロアノイズに対応する。定数ａ、ｂ、及びｃは、測定又は理論的導出のいずれかによって判断することができる。図示のように、画像センサ出力での画像内のノイズ量を予測することは比較的容易である。しかし、画像が最終出力に向って処理されるほど、ノイズ特性はより複雑になる（図１）。

図１は、カメラパイプライン１００のブロック図を示している。画像センサ１０２は、信号レベル依存性を持たないガウス型、白色、かつ無相関のノイズを発する。ノイズは、欠失ピクセル（モザイクにした）も有する。利得構成要素１０４は、低照度では高利得、及び高照度では低利得を生成する。それに応じて信号−ノイズの挙動が変化する。白色均衡構成要素１０６は、照度によってＲ、Ｇ、及びＢの利得を変化させる。更に、白色均衡構成要素１０６の後には、チャンネル依存性が存在する。完全ＲＧＢ平面をモザイク解除するためのモザイク解除構成要素１０８の使用後には、周波数依存のチャンネル間相関が存在する。具体的には、Ｇ−チャンネルの高周波ノイズは、Ｂ及びＲチャンネルにコピーされ、低周波数でのものよりも高いチャンネル間相関が維持される。マトリックス構成要素１１０の後では、チャンネル間相関は、より複雑になる。ガンマ構成要素１１２の後に、強いレベル依存性が付加され、ノイズは、もはやガウス型ではない。ＲＧＢ対ＹＣｂＣｒマトリックス１１４は、付加的なチャンネル間依存性を追加する。鮮鋭化／フィルタリング構成要素１１６は、Ｙ信号の高周波成分を増大させ、かつＣ信号をバンド制限し、付加的な周波数依存性をもたらす。最終のカメラ出力は、通常は、チャンネル関連（ＹＣｂＣｒ）、信号レベル関連、及びバンド関連ノイズを有する。

例えば、カメラ出力画像フォーマットに広く使用されているＹＣｂＣｒ色空間内のＣｂチャンネル内のノイズ量を予測することは容易な仕事ではない。通常は、Ｃｂは、黒色、白色、又は灰色パッチのいずれかでは約０に等しく、一方、ノイズ量は、各パッチ内で異なり、その理由は、ガンマ補正で画像信号に適用される色調曲線に従って画像強度が高まる時にノイズ量が一般的に減少するからである。これは、Ｃｂ値を単に測定することが、Ｃｂ信号内のノイズ量の正確な予測をもたらさないことになることを意味する。加えて、Ｃｂチャンネル内の信号及びノイズは、通常はバンド制限される。元のセンサノイズをＣｂノイズに関係させるために、計算方法は、画像センサとＹＣｂＣｒ出力との間に挿入された空間フィルタ操作を考慮すべきである。

上述の問題に対処するために、測定に基づくノイズ量識別が提案されて使用されている。しかし、この場合には、画像パイプラインは、ある一定のサイズの画像ウィンドウ内のノイズ量を測定するための余分な回路構成を有する必要があり、それは、システムに対してコスト及びサイズ的に影響する可能性があると考えられる。更に、より大きいウィンドウサイズは、より正確なノイズ予測に結び付くので、ハードウエアサイズと精度の間には、二律背反の関係がある。また、測定に基づくノイズ量識別は、ノイズを光景テクスチャから区別し難いので必ずしも完全と限らない。

一部の「ノイズ低減（ＮＲ）」理論（ウェーブレットＮＲのような）は、ノイズの既知の量を有する画像に関する最適閾値の統計学的／数学的導出を提供する。しかし、多くの場合には、これらの理論は、入力画像ノイズが白色であると仮定する（ノイズのパワースペクトル分布が周波数にわたって平坦であり、周波数依存性を持たない）。この仮定は、実際のカメラの処理パイプライン（図１）内を流れる画像内のノイズについては適用されない。

画像ノイズを推定する代替の方法として、高速ノイズ伝播方法が公知であり、画像信号処理パイプライン内の任意のノードでのノイズ量を予測するのに使用されている。しかし、この方法は、ノイズの周波数依存性に対処せず、ノイズ量予測において大幅な誤差を有する場合がある。より高い予測精度が要求される時は、統計学的に十分な数のピクセルでの画像シミュレーションが行われる。その後、関連のノードでのノイズ量は、得られる画像の測定によって知ることができる。しかし、これは、計算的に過度の負担になり、リアルタイム及び／又はカメラ上で行うことに現実性がない。ノイズの周波数依存性を考慮に入れることができる利用可能な高速ノイズ伝播方法はない。

その結果、システム自体がノイズ除去のための適切な閾値設定を自動的かつ系統的に判断する画像ノイズ除去システムは存在していない。しかし、本明細書は、改良された画像ノイズ除去システム及びこの画像ノイズ除去システムを実施する方法を説明する。

図２は、画像ノイズ除去システム２００のブロック図を示している。画像ノイズ除去システム２００は、「ノイズ低減（ＮＲ）」ブロック２１６を含む主画像処理パイプライン２１０、及び画像センサノイズモデルとノイズ伝播構成要素とを含むＮＲ制御ユニット２５０の２つの大きいブロックに分けられる。

主画像処理パイプライン２１０内では、撮像装置２１２は、例えば、画像を撮影する使用者によるカメラ入力から画像を取得する。撮影条件を変える利得、マトリックス、及びフィルタのような画像処理を行う画像化構成要素２１４が撮像装置２１２に連結される。ＮＲブロック２１６は、画像センサ構成要素２１４に連結される。ＮＲブロック２１６は、複数ノイズデータバンドを用いて画像を分割し、閾値を用いて各バンド内のノイズをフィルタリング除去し、ノイズのない又は少なくともノイズが低減された画像を再構成する。後処理構成要素２１８は、再構成された後の画像を処理し、最後に、最終画像が出力される。一部の実施形態では、上述の構成要素の一部は、プロセッサを使用するソフトウエアにおいて実施され、それらは、例えば、画像化構成要素２１４、ＮＲブロック２１６、及び後処理構成要素２１８である。一部の実施形態では、構成要素は、ハードウエアにおいて実施される。

ＮＲ制御ユニット２５０内では、撮像装置ノイズモデル、拡張「Ｂｕｒｎｓ ＆ Ｂｅｒｍｓ」（ＢＢ）ベースのノイズ伝播、予測バンド関連ノイズマトリックス、及び閾値変換が実施される。拡張ＢＢに関して、本明細書に引用によって組み込まれている「信号処理システムにおけるノイズ解析の方法及び装置」という名称の現在特許出願中の米国特許出願第＿＿＿＿＿号を参照されたい。好ましくは、ＮＲ制御ユニット２５０は、内蔵プロセッサ上で実施される。ＮＲ制御ユニット２５０は、バンド分割ベースのＮＲブロック２１６が適切にノイズをフィルタリング除去することができるように、バンド関連ノイズに関する閾値を最終的に判断する。

図３は、画像ノイズ除去システムを使用するノイズ除去のための手順の流れ図である。段階３００において、カメラパラメータが得られる。この段階は、ノイズ除去のノードでのノイズ量を計算するのに必要な情報を有するためのものである。実際のカメラにおいては、例えば、民生レベルのデジタルビデオカメラ又はデジタルカメラでは、一部の画像処理パラメータは、撮影条件に基づいて適応的に更新される。これらのパラメータは、例えば、光景輝度に基づいて変化する増幅器利得、照明の色度に基づいて変化する自動白色均衡利得、暗くてノイズのある環境の下で低減することができる輪郭強調利得、及び様々な照明にわたって色彩恒常を維持するように変えることができる色補正マトリックスのパラメータである。これらのパラメータの変化は、ノイズ除去のノードでのノイズ特性に顕著に影響を与えることができる。これらのパラメータは、全て考慮されることが好ましい。これらのパラメータは、カメラ搭載型マイクロプロセッサで通常利用可能であり、画像ノイズ除去システムがカメラ上で実施される時に使用することができる。あるいは、これらのパラメータはまた、記録画像内のヘッダ情報を通して利用可能にすることができ、画像ノイズ除去システムが、パーソナルコンピュータ上で実行される画像レンダリングソフトウエアの一部として実施される時に使用することができる。

段階３０２では、入力ノイズマトリックスが計算される。この段階では、画像パイプライン入力ノイズ（画像センサ出力ノイズ）が指定される。このノイズを計算するためには、ノイズモデル（式（１）及び定数ａ、ｂ、及びｃ）及び式（１）内の値ｘが必要である。

上述のように、定数ａ、ｂ、及びｃは、測定又は理論的導出のいずれかによって特定することができる。値ｘは、電子計数、電圧、又はデジタルコード値のようないずれかの単位とすることができ、一方、定数ａ、ｂ、及びｃは、それに応じて変化すべきである。これらの定数の一部又は全ては、プログラマブル増幅器利得の関数である。デジタルコード値でのｘの値は、画像パイプラインを流れるピクセル値をモニタすることによって容易に知ることができるが、この実施例では、１組の代表値を入手し、この値を信号対ノイズのマッピングデータとして格納する代替の方法を取る。最初に、任意単位での値ｘ（例えば、原色カメラシステムの場合、ベクトル（ｒ、ｇ、ｂ）内の各成分）が、それぞれ、照度及び代表色パッチスペクトル感度、放射及び反射率分布であるカメラの要素関連生成物を積分することによって計算される。照度の推定は、一般的な消費者向けカメラで実行されており、従って、計算のためにこの推定された照度を使用することができる。代表色パッチセットについては、「Ｍａｃｂｅｔｈ ＣｏｌｏｒＣｈｅｃｋｅｒ」が多くの場合に使用される。次に、これもカメラ上で実行される自動露出アルゴリズムから、画像センサでの入射光の絶対輝度（例えば、光電子の絶対数）に関連する情報を知ることができ、値ｘは、指定単位で既知である。入力ノイズマトリックスは、以下の通りである。

式中、対角要素は、式（１）によって計算される。殆どの画像センサにおいては、ピクセル間のノイズ相関は無視することができるほど小さいと考えられるので、入力では、ノイズマトリックスの非対角要素はゼロと仮定することができる。

段階３０４において、バンド関連ノイズが伝播される。本明細書に引用によって組み込まれている「信号処理システム内のノイズ解析の方法及び装置」という名称の現在特許出願中の米国特許出願第＿＿＿＿＿号に開示されているノイズ伝播方法は、カメラ信号処理パイプラインに多くの場合に使用される重要な信号操作、線形、非線形、及び空間的変形を考慮に入れることができ、パイプラインに沿って伝播するノイズを正確に予測することができる。式（２）は、Ｎ個のバンドにバンド分割される。その結果、式（２）は、そのサイズが３Ｎ×３Ｎであるノイズマトリックスのバンド関連式になる。次に、「信号処理システム内のノイズ解析の方法及び装置」という名称の米国特許出願第＿＿＿＿＿号に説明した演算を適用することによって、ノイズ除去アルゴリズムが適用される任意の信号処理ノード（例えば、ＹＣｂＣｒ）で、バンド関連ノイズマトリックスが可能である。ノイズ伝播は、パッチの数にわたって反復される。例えば、「Ｍａｃｂｅｔｈ ＣｏｌｏｒＣｈｅｃｋｅｒ」の場合、その数は、２４である。従って、２４のバンド関連ノイズマトリックスが存在し、ここで、Ｎはバンドの数である。同時に、次の段階で使用するために信号伝播も行われ、１組の２４×３の信号値が格納される。

段階３０６において、３次元信号対ノイズのルックアップテーブル（ＬＵＴ）が発生される。３次元ＬＵＴは、信号値とノイズ値とを相関させるために形成される。ランダムに散在した代表点から矩形ラスターセットを発生させるためのいずれかの公知の方法を使用することができる。

段階３０８において、ピクセル毎のノイズ量予測が行われる。好ましくは、この段階は、リアルタイムで行われる。ピクセル値（例えば、ＹＣｂＣｒ）がＬＵＴに入力され、入力されたピクセル値は、予測ノイズ量に変換される。ＬＵＴは、信号値をバンド関連ノイズマトリックスにマップする。バンド関連ノイズマトリックスは、入力信号値に従って内挿又は外挿される。ノイズ量予測の不必要な変動を回避するために、ローパスフィルタをＬＵＴ入力信号に適用することができる。

段階３１０において、ピクセル毎の閾値制御が行われる。入力ピクセルのノイズ量が正確に予測されるので、ノイズ除去処理は、適切な閾値制御を有することができる。例えば、この予測ノイズ量は、３の係数を乗じられ、次に、閾値として使用される。

段階３００から段階３０６までは、計算は、リアルタイムである必要はない（言い換えれば、ピクセルレートの計算速度は必要ではない）。ＬＵＴは、撮影条件（例えば、光景輝度、照度など）が変化する時のみ更新されるべきである。ＬＵＴを発生させるための計算量はかなり小さく、従って、撮影条件パラメータが容易に利用可能であるデジタルビデオカメラ又はデジタルカメラ内の内蔵マイクロプロセッサで、このアルゴリズムを実行することができる。

画像が画像センサ出力から最終カメラ出力に向って処理されるほど、ノイズ特性は複雑になる。画像パイプライン内のノイズ量を正確に予測するためには、ノイズの信号レベル依存性、周波数依存性、及びチャンネル間相関を考慮すべきである。上述の３つのノイズ因子を同時に考慮に入れることができる利用可能な高速ノイズ伝播技術はなかった。３次元ＬＵＴ概念と伝播技術との組合せは、妥当な規模の計算リソースでノイズを正確に予測することができる。ノイズ伝播方法が、ノイズ除去を用いる画像化システムに適用される時、ノイズ除去パラメータは、ノイズ除去のノードでの予測ノイズ値を参照することによって適正に設定することができる。それは、ノイズ除去アルゴリズムが顕著により良好に行われることを可能にし、デジタル撮像デバイスの改良された画像品質をもたらす。

図４は、付加的な段階を含む画像ノイズ除去システムを使用するノイズ除去の手順の流れ図を示している。段階４００において、原画像データは、使用者が写真を撮る時にカメラで得られるなどして入力される。ボックス４３０は、利得４３２、白色均衡４３４、色マトリックス４３６、ガンマ４３８、及びノイズ低減４４０のような標準カメラ画像パイプライン処理を包含する。並行して、カメラパラメータが、自動露出アルゴリズムが実行される段階４０２、及び白色均衡アルゴリズムが実行される段階４０４で得られる。白色均衡アルゴリズム内には、照度推定アルゴリズム及び白色均衡利得設定が存在する。自動露出アルゴリズムに基づいて、ノイズモデル定数が段階４０６で計算される。白色均衡アルゴリズムの後に、照明スペクトル、センサスペクトル、及びＭａｃｂｅｔｈスペクトルは、段階４０８における「Ｍａｃｂｅｔｈ Ｃｈｅｃｋｅｒ」のための画像値の計算に進む。それぞれ段階４０６及び段階４０８からのノイズモデル定数及び画像値は、段階４１０における「Ｍａｃｂｅｔｈ Ｃｈｅｃｋｅｒ」のためのノイズマトリックスの計算に使用される。段階４１２において、ノイズマトリックスは、上述のようにバンドに分割される。段階４１４でのバンド関連ノイズ伝播を行うために、色マトリックス値及びガンマ補正テーブルが、バンド分割ノイズマトリックスと共に使用される。色マトリックス値及びガンマ補正テーブルは、段階４１６での信号伝播のための「Ｍａｃｂｅｔｈ Ｃｈｅｃｋｅｒ」のための画像値と共にも使用される。バンド関連ノイズ伝播及び信号伝播を使用して、グリッドラスター３Ｄ（信号対ノイズ）ＬＵＴが発生される。信号対ノイズ３ＤＬＵＴを用いて、段階４２０でテーブル検索が行われ、段階４２２で内挿／外挿が行われ、かつ段階４２４でデータが閾値に変換され、３つの段階全ては、リアルタイムで行われる。次に、この閾値を用いて、段階４４２において画像パイプライン内でノイズが低減される。最後に、段階４４２で、ノイズが低減された画像が出力される。

画像ノイズ除去方法及びシステムを利用するために、使用者は、デジタルカメラを用いて写真を撮り、又はデジタルビデオカメラを用いて動画を撮る。画像又はビデオデータが得られた状態で、データは、本明細書に説明したノイズ除去処理に加え標準の画像化処理を行うハードウエア／ソフトウエア構成要素によって処理される。ノイズ除去処理は、ノイズを含むデータをバンドに分割する段階と、各バンドに使用される閾値によって各バンドをフィルタリングする段階と、次に、ノイズが最小にされたデータを再構成する段階とを含む。ノイズが最小化又は除去された後に後処理が更に行われ、並びにきれいなノイズ除去された画像又は映像が生成される。

作動中、カメラ又はビデオカメラのような撮像デバイスは、バンド関連ノイズ除去のための必要なハードウエア及び／又はソフトウエアを実施する。適正に構成された撮像デバイスは、ノイズのバンドへの分割、ノイズの予測及び伝播、及び最終的なノイズの最小化又は除去を自動的に処理する。その成果は、ノイズの非常に少ない画像又は映像である。

実施形態において、平均画像レベルは、１組の色チャンネル内の各色チャンネルについてセンサで検出される。次に、平均ノイズレベルが、各色チャンネルについて推定される。ノイズ除去が行われることになるノードで、ノイズが予測される。ノイズ除去方法の閾値は、こうして正確に制御することができる。別の実施形態において、ピーク白色画像レベルは、１組の色チャンネル内の各色チャンネルについてセンサで検出される。次に、１組の代表色に対して画像レベルが予測される。各色パッチ及び各色チャンネルのノイズレベルが計算される。次に、ノイズ除去が行われることになるノードでのノイズが予測される。信号レベルをノイズレベルに相関させるために、３−Ｄルックアップテーブル（ＬＵＴ）が発生される。閾値設定は、こうして適応的に制御することができる。

代替的な実施形態では、画像パイプラインと並行して機能するピクセル毎のノイズ伝播パイプラインが実施される。

本発明を本発明の構成及び作動の原理の理解を容易にするための詳細を組み込んだ特定的な実施形態に関して説明した。特定的な実施形態及びその詳細への本明細書でのそのような参照は、特許請求の範囲を限定することを意図しない。特許請求の範囲で規定する本発明の精神及び範囲から逸脱することなく他の様々な修正を説明のために選択された実施形態に行うことができることは、当業者には容易に明らかであろう。

カメラパイプラインのブロック図である。 画像ノイズ除去システムのブロック図である。 画像ノイズ除去システムを用いるノイズ除去のための手順の流れ図である。 付加的な段階を含む画像ノイズ除去システムを用いるノイズ除去のための手順の流れ図である。

符号の説明

１００ カメラパイプライン
１０２ 画像センサ
１０８ モザイク解除構成要素
１１０ マトリックス構成要素

Claims (35)

1. 画像をノイズ除去する方法であって、
   ａ．ノイズを含む画像を取得する段階と、
   ｂ．前記ノイズをノイズの複数のサブバンドに分割する段階と、
   ｃ．ノイズの各サブバンドに対して閾値を判断する段階と、
   ｄ．ノイズの各サブバンドに対する前記閾値よりも低いノイズをフィルタリング除去する段階と、
   を含むことを特徴とする方法。
2. １つ又はそれよりも多くのカメラパラメータを取得する段階を更に含むことを特徴とする請求項１に記載の方法。
3. 前記１つ又はそれよりも多くのカメラパラメータを組み込むことによって入力ノイズマトリックスを計算する段階を更に含むことを特徴とする請求項２に記載の方法。
4. 前記ノイズマトリックスからバンド関連ノイズを伝播させる段階を更に含むことを特徴とする請求項３に記載の方法。
5. 信号値とノイズ値を相関させる信号対ノイズルックアップテーブルを発生させる段階を更に含むことを特徴とする請求項４に記載の方法。
6. 前記信号対ノイズルックアップテーブルを使用してピクセル毎のノイズ量を予測する段階を更に含むことを特徴とする請求項５に記載の方法。
7. 前記閾値は、ピクセル毎の閾値であることを特徴とする請求項１に記載の方法。
8. 前記ノイズは、前記ピクセル毎の閾値によってフィルタリング除去されることを特徴とする請求項７に記載の方法。
9. 前記１つ又はそれよりも多くのカメラパラメータは、増幅器利得、自動白色均衡利得、輪郭強調利得、及び色補正マトリックスパラメータのうちの少なくとも１つを含むことを特徴とする請求項２に記載の方法。
10. 前記１つ又はそれよりも多くのパラメータは、カメラ上に実施された時のプロセッサで利用可能であることを特徴とする請求項２に記載の方法。
11. 前記１つ又はそれよりも多くのパラメータは、コンピュータデバイス上の画像レンダリングソフトウエアによって実施される時に画像のヘッダ情報を通じて利用可能であることを特徴とする請求項２に記載の方法。
12. バンド関連ノイズを伝播させる段階が、前記入力ノイズマトリックスをＮ個のサブバンドの各々にバンド分割する段階を更に含むことを特徴とする請求項４に記載の方法。
13. 前記段階ａ−ｃは、リアルタイムで行われることを特徴とする請求項１に記載の方法。
14. 前記ピクセル毎のノイズ量を予測する段階が、
    ａ．前記ルックアップテーブルにピクセル値を入力する段階と、
    ｂ．前記入力ピクセル値を予測ノイズ量に変換する段階と、
    ｃ．入力信号上の信号値を前記ルックアップテーブルを使用してバンド関連ノイズマトリックスにマップする段階と、
    ｄ．前記信号値に従ってバンド関連ノイズマトリックスを内挿及び外挿する段階と、
    を更に含む、
    ことを特徴とする請求項６に記載の方法。
15. 撮影条件が変化する時に前記ルックアップテーブルを更新する段階を更に含むことを特徴とする請求項５に記載の方法。
16. 画像をノイズ除去する方法であって、
    ａ．１つ又はそれよりも多くのカメラパラメータを取得する段階と、
    ｂ．前記１つ又はそれよりも多くのカメラパラメータを組み込むことによって入力ノイズマトリックスを計算する段階と、
    ｃ．前記入力ノイズマトリックスからバンド関連ノイズを伝播させる段階と、
    ｄ．信号値とノイズ値を相関させる信号対ノイズルックアップテーブルを発生させる段階と、
    ｅ．前記信号対ノイズルックアップテーブルを使用してピクセル毎のノイズ量
    を予測する段階と、
    ｆ．ピクセル毎の閾値を制御する段階と、
    ｇ．前記ピクセル毎の閾値を使用して前記画像内のノイズをフィルタリング除去する段階と、
    を含むことを特徴とする方法。
17. 前記１つ又はそれよりも多くのカメラパラメータは、増幅器利得、自動白色均衡利得、輪郭強調利得、及び色補正マトリックスパラメータのうちの少なくとも１つを含むことを特徴とする請求項１６に記載の方法。
18. 前記１つ又はそれよりも多くのパラメータは、カメラ上に実施された時のプロセッサで利用可能であることを特徴とする請求項１６に記載の方法。
19. 前記１つ又はそれよりも多くのパラメータは、コンピュータデバイス上の画像レンダリングソフトウエアによって実施される時に画像のヘッダ情報を通じて利用可能であることを特徴とする請求項１６に記載の方法。
20. バンド関連ノイズを伝播させる段階が、入力ノイズマトリックスをＮ個のサブバンドにバンド分割する段階を更に含むことを特徴とする請求項１６に記載の方法。
21. 前記段階ａ−ｄは、リアルタイムで行われることを特徴とする請求項１６に記載の方法。
22. 前記ピクセル毎のノイズ量を予測する段階が、
    ａ．前記ルックアップテーブルにピクセル値を入力する段階と、
    ｂ．前記入力ピクセル値を予測ノイズ量に変換する段階と、
    ｃ．入力信号上の信号値を前記ルックアップテーブルを使用してバンド関連ノイズマトリックスにマップする段階と、
    ｄ．前記信号値に従ってバンド関連ノイズマトリックスを内挿及び外挿する段階と、
    を更に含む、
    ことを特徴とする請求項１６に記載の方法。
23. 撮影条件が変化する時に前記ルックアップテーブルを更新する段階を更に含むことを特徴とする請求項１６に記載の方法。
24. 画像をノイズ除去するためのシステムであって、
    ａ．画像処理パイプラインと、
    ｂ．前記画像処理パイプラインに連結され、ノイズを低減するための閾値を判断するノイズ低減制御ユニットと、
    を含むことを特徴とするシステム。
25. 前記画像処理パイプラインは、
    ａ．前記画像を取得するための撮像装置と、
    ｂ．前記撮像装置に連結された、前記画像を処理するための１組の画像化構成要素と、
    ｃ．前記画像化構成要素の組に連結された、前記画像内の前記ノイズを低減するためのノイズ低減ブロックと、
    ｄ．前記ノイズ低減ブロックに連結された、ノイズ低減の後に前記画像を処理するための１組の後処理構成要素と、
    を更に含む、
    ことを特徴とする請求項２４に記載のシステム。
26. 前記ノイズ低減ブロックは、前記ノイズをサブバンドに分割し、かつ前記ノイズ低減制御ユニットから受け取った閾値を利用して該ノイズをフィルタリングすることを特徴とする請求項２５に記載のシステム。
27. 前記ノイズ低減制御ユニットは、前記サブバンドに基づいて閾値を発生させることを特徴とする請求項２６に記載のシステム。
28. 前記ノイズ低減制御ユニットは、プロセッサ上に実施されることを特徴とする請求項２４に記載のシステム。
29. 前記ノイズ低減制御ユニットは、撮像装置ノイズモデル、ノイズ伝播、及び予測バンド関連ノイズマトリックスを実施して前記閾値を判断することを特徴とする請求項２４に記載のシステム。
30. 画像をノイズ除去するためのシステムであって、
    ａ．ｉ．画像を取得するための撮像装置、
    ｉｉ．前記撮像装置に連結された、前記画像を処理するための１組の画像化構成要素、
    ｉｉｉ．前記画像化構成要素の組に連結された、前記画像内のノイズを低減するためのノイズ低減ブロック、及び
    ｉｖ．前記ノイズ低減ブロックに連結された、ノイズ低減の後に前記画像を処理するための１組の後処理構成要素、
    を含む画像処理パイプラインと、
    ｂ．前記画像処理パイプラインに連結されてノイズ低減制御ユニット機能を実施し、かつノイズを低減するための閾値を判断するプロセッサと、
    を含むことを特徴とするシステム。
31. 前記ノイズ低減ブロックは、前記ノイズをサブバンドに分割し、かつ前記ノイズ低減制御ユニットから受け取った閾値を利用して該ノイズをフィルタリングすることを特徴とする請求項３０に記載のシステム。
32. 前記プロセッサは、前記サブバンドに基づいて閾値を発生させることを特徴とする請求項３０に記載のシステム。
33. 前記プロセッサは、撮像装置ノイズモデル、ノイズ伝播、及び予測バンド関連ノイズマトリックスを実施して前記閾値を判断することを特徴とする請求項３０に記載のシステム。
34. 画像をノイズ除去する方法であって、
    ａ．１組の色チャンネルにおける各色チャンネルに対してセンサでの平均画像レベルを検出する段階と、
    ｂ．前記色チャンネルの組における各色チャンネルに対して平均ノイズレベルを推定する段階と、
    ｃ．ノイズ除去が行われるノードでのノイズを予測する段階と、
    ｄ．ノイズ除去のための閾値を制御する段階と、
    を含むことを特徴とする方法。
35. 画像をノイズ除去する方法であって、
    ａ．１組の色チャンネルにおける各色チャンネルに対して画像センサでのピーク白色画像レベルを検出する段階と、
    ｂ．１組の代表色に対して画像レベルを予測する段階と、
    ｃ．各色パッチ及び各色チャンネルのノイズレベルを計算する段階と、
    ｄ．ノイズ除去が行われるノードでのノイズを予測する段階と、
    ｅ．信号レベルをノイズレベルに相関させる３次元ルックアップテーブルを発生させる段階と、
    ｆ．ノイズ除去のための閾値設定を適応的に制御する段階と、
    を含むことを特徴とする方法。