JP2007143120A - ノイズ除去装置、ノイズ除去方法、ノイズ除去プログラム及び記録媒体 - Google Patents

Abstract

【課題】撮影した画像からノイズを検出し、検出したノイズの周りの画素を用いて画素補間を行うことによりノイズを除去すると共に、撮影条件に基づいて最適なノイズ除去パラメータを設定することにより、撮影条件に対応したノイズ除去が可能な撮像装置とノイズ除去方法を提供する。
【解決手段】本発明の一態様は、撮影された画像における孤立ノイズを除去するノイズ除去手段を備えたノイズ除去装置であって、ノイズ除去手段は、前記画像を走査しノイズ画素を検出するノイズ画素検出手段と、検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルのみに基づいて補正する画素補正手段とを備える。
【選択図】図４

Description

本発明は、画像処理装置及びノイズ除去方法に関し、さらに詳しくは、画像中に存在する孤立ノイズを除去する技術に関するものである。

デジタルカメラで暗時撮影するとき必然的に露光時間が長くなる。このとき暗電流、電気回路のノイズや温度などの影響で孤立したノイズ（以下、孤立ノイズ）が発生しやすくなるといった問題がある。特に６０秒以上に露光すると孤立ノイズが多く発生する。
そこで遮光差分法によるノイズ除去方法が良く使われるが、このノイズ除去方法では、飽和する画素に黒点が発生する問題点がある。しかも露光と同じ暗時露光が必要となり、１８０秒露光する場合、３６０秒間露光しなければならず現実的でない。またメディアンフィルタ処理方法も使われるが、６０秒以上露光する場合、ノイズが非常に多くなり、強いメディアンフィルタをかける必要が発生し、その副作用として、画像のエッジがぼけるといった課題が発生する。
そこで、従来からこの孤立ノイズを低減、或いは除去する技術が多数提案されている。

例えば、特許文献１には、ＣＣＤ上に発生するノイズの位置情報を予めメモリ領域に保存しておいて、得られた画像に関して、記録したノイズの位置情報を用いてノイズを除去する方法が開示されている。
また特許文献２には、デジタルカメラで撮影する際にシャッターを閉めて、撮影露光と同じ露光時間で露光し、暗電流データを記録しておいて、撮影した画像と暗電流画像を用いてノイズ除去する方法が開示されている。
また特許文献３には、シャッターを閉め、露光した画像を同じ露光条件で撮影した画像から引算するノイズ除去方法が開示されている。
更に特許文献４には、４つ連続する画素の線形性を利用してノイズを除去する方法であり、ノイズ情報を記録することなく画像からノイズを検出して補正を行う技術である。
特開２００４−０１５１９１公報 特開２００３−２９８９５２公報 特許第３６０５０８４号 特開平１１−０１８０１２号公報

しかしながら、特許文献１に開示されている従来技術は、ノイズの位置情報を記録しておいて撮影画像に位置情報を用いてノイズ除去を行う方法であるが、このノイズ除去方法ではノイズ位置情報を記録しておく必要があるため、ノイズを短時間に除去することができなかった。
また、記録条件が同じであれば、良好なノイズ除去結果が得られるが、露光時間、温度などの撮影条件が変化する場合、ノイズの状況も変化し、正確にノイズ除去が困難であるといった問題がある。

特許文献２、３に開示されている従来技術は、暗電流のデータを記録しておいて、撮影画像から暗電流に相当する画像を引算することでノイズ除去を行うものであるが、撮影条件が変わる場合は暗電流も変化するので、複数の画像データを記憶する必要がり、且つ大量なメモリ領域が必要である。また画像に飽和画素がある場合、引き算するとき黒点の欠陥画素が生じてしまい確実なノイズ除去が出来なかった。
また長い露光時間の場合２倍の露光時間が必要なので、ノイズを短時間に除去できず、ユーザには大きな負担になるといった種々の問題を抱えている。

特許文献４に開示されている従来技術は、撮影画像から４つの連続画素の線形性を利用してノイズ検出して補正するが、撮影の条件によってノイズが多くなる場合には、複数の画素をひとかたまりとした連続孤立ノイズが発生し完全にノイズが除去できない可能性がある。
またこの方法では処理速度が遅くなるため、専用のハードウエア装置が必要になるとともに、専用のハードウエア装置が無い場合にはノイズを短時間に除去できないといった問題がある。

本発明は、かかる課題に鑑み、撮影した画像からノイズを検出し、検出したノイズ画素の周囲に存在する画素のレベルを用いて該ノイズ画素のレベルを補正することにより、処理対象画像からノイズを迅速かつ確実に除去することが可能なノイズ除去装置等を提供することを目的とする。
また、処理対象である画像の撮影条件に対応したノイズ除去が可能なノイズ除去装置等を提供することも目的とする。

そこでかかる課題を解決するために、請求項１に記載された発明は、撮影された画像における孤立ノイズを除去するノイズ除去手段を備えたノイズ除去装置であって、前記ノイズ除去手段は、前記画像を走査しノイズ画素を検出するノイズ画素検出手段と、検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルのみに基づいて補正する画素補正手段と、を備えたことを特徴とする。
請求項２に記載された発明は、前記ノイズ画素検出手段は、注目画素のレベルと該注目画素から所定の範囲に存在する画素のレベルとの差分が予め設定した第１の閾値より大きく、かつ、前記注目画素の周辺に存在する画素同士のレベルの差分が予め設定した第２の閾値より小さい場合、前記注目画素をノイズ画素として検出することを特徴とする。

請求項３に記載された発明は、前記画素補正手段は、前記ノイズ画素から所定の範囲に存在する複数の画素のレベルの平均値により前記ノイズ画素のレベルを補正することを特徴とする。
請求項４に記載された発明は、前記ノイズ画素検出手段は、前記撮影の際の撮影条件に基づいて前記所定の範囲を定めることを特徴とする。
請求項５に記載された発明は、前記撮影条件には、撮影時の露光時間、温度、および撮影装置の感度のうち少なくとも一つを含むことを特徴とする。
請求項６に記載された発明は、撮影された画像における孤立ノイズを除去するノイズ除去方法であって、前記画像を走査しノイズ画素を検出するノイズ画素検出ステップと、検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルに基づいて補正する画素補正ステップと、を備えたことを特徴とする。

請求項７に記載された発明は、前記ノイズ画素検出ステップは、注目画素のレベルと該注目画素から所定の範囲に存在する画素のレベルとの差分が予め設定した第１の閾値より大きく、かつ、前記注目画素の周辺に存在する画素同士のレベルとの差分が予め設定した第２の閾値より小さい場合、前記注目画素をノイズ画素として検出することを特徴とする。
請求項８に記載された発明は、前記画素補正ステップは、前記ノイズ画素から所定の範囲に存在する複数の画素のレベルの平均値により前記ノイズ画素のレベルを補正することを特徴とする。
請求項９に記載された発明は、前記ノイズ画素検出ステップは、前記撮影の際の撮影条件に基づいて前記所定の範囲を定めることを特徴とする。

請求項１０に記載された発明は、前記撮影条件には、撮影時の露光時間、温度、および撮影装置の感度のうち少なくとも一つを含むことを特徴とする。
請求項１１に記載された発明は、請求項６乃至１０の何れか一項に記載のノイズ除去方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
請求項１２に記載された発明は、請求項１１に記載のノイズ除去プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。

本発明によれば、注目画素から所定の範囲に存在するノイズ画素検出手段と、検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルに基づいて補正する画素補正手段と、を備えたので、孤立ノイズを短時間で、かつ、確実に除去することができる。

以下に添付図面を参照して、この発明にかかるノイズ除去装置、ノイズ除去方法、その方法をコンピュータに実行させるプログラムの最良な実施の形態を詳細に説明する。
（１．実施の形態１）
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１は本発明における実施形態の一つであるデジタルカメラ（撮像装置）１００の構成を示すブロック図である。このデジタルカメラ１００は、複数のレンズから構成される撮影光学系１と、ＣＣＤ３への入射光を遮断するメカシャッタ２と、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力するＣＣＤ３と、ＣＣＤ３から出力された画像データに含まれるノイズ成分を除去するＣＤＳ回路４と、そのデータをデジタル値に変換するＡ／Ｄ変換器５と、撮影光学系１及びメカシャッタ２を駆動するモータドライバ６と、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５にクロックを供給するタイミング信号発生器７と、ＵＶ変換処理や画像処理手段として働き、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う画像処理回路８と、プログラムに従って各種演算処理を行うＣＰＵ９と、各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のＲＡＭ１０と、プログラムなどを格納した読み出し専用メモリであるＲＯＭ１１と、画像データを一時格納するＳＤＲＡＭ１２と、画像処理回路８から出力される画像データを圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像データを伸張して信号処理回路８に出力する圧縮伸張回路１３と、圧縮した画像データを記憶するメモリカード１４と、操作者がデジタルカメラを操作するための操作部１５と、信号処理や画像処理が施された画像データを表示させる液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）と、を備えて構成される。

図１に示すように被写体光は、まず撮影光学系１を通してＣＣＤ３に入射される。また、撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、上述した撮影光学系１及びメカシャッタ２は、モータドライバ６により駆動される。また上述したＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像データは、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
画像処理回路８は、画像データを一時格納するＳＤＲＡＭ１２を用いて、ＹＵＶ変換処理や画像処理手段として働き、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、上記ホワイトバランス処理は画像データの色の濃さを、コントラスト補正処理は画像データのコントラストを、エッジ強調処理は画像データのシャープネスを、色変換処理は画像データの色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像データをＬＣＤ１６に表示させる。

また、上記信号処理、画像処理が施された画像データは、圧縮伸張回路１３を介して、メモリカード１４に記録される。上記圧縮伸張回路１３は、画像処理回路８から出力される画像データを、圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像データを伸張して画像処理回路８に出力する回路である。
また、上述したＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換機５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ９によって、タイミングが制御されている。さらに、画像処理回路８、圧縮伸張回路１３、メモリカード１４もＣＰＵ９によって制御されている。
尚、ＣＰＵ９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ１０などを内蔵し、これらがバスライン１７によって相互接続されている。

デジタルカメラ１００でノイズ除去処理を行うとき、図示しないシステムコントローラによりノイズ除去プログラムをＲＡＭ１０にロードして実行する。ノイズ除去プログラムは、システムコントローラと通して撮影時の露光時間、ＣＣＤ感度、連写の有無の条件を表すパラメータを入力する。それらのパラメータに対応する最適なノイズ除去の設定条件をＲＯＭ１１から読み込み、ノイズ処理を行う。処理対象となる画像はＳＤＲＡＭ１２に一時的に保存しており、保存した画像に対してノイズ除去処理を行う。
以上、図１を用いて本発明の実施形態の一つであるデジタルカメラについての説明を行ったが、本発明はノイズ除去装置等であり、必ずしもＣＣＤ等の撮像手段等を備えている必要がないことは言うまでもない。撮像手段等を備えていない場合は、処理対象である画像の入力手段、以下に説明する撮影条件パラメータの入力手段等を備えていれば本発明は実行可能である。なお、図１に示すデジタルカメラから本発明に最低限必要な手段の取捨選択は、当業者であれば容易に実行可能であるため、詳細な説明は行わない。

次に図２、３、および図５を用いつつ、実施の形態１についてのフローチャートである図４に沿って、実施の形態１のノイズ除去処理について説明する。
まず処理対象である画像からノイズ画素の検出を行う。ノイズ画素の検出は、処理対象である画像を走査し、画像を構成する画素の輝度レベルの抽出を行う（Ｓ１０１）。
次に、前記画像中の連続した複数の画素から抽出した輝度レベルの相関関係に基づいてノイズ画素を検出する（Ｓ１０２）。ここで上記相関関係を以下のノイズモデルとして定義する。ここでいう相関関係とは、画像中に存在する１の画素（以下、注目画素Ｏという）と、注目画素Ｏの周囲に存在する特定の画素との関係を指す。

図２は連続した３つの画素から抽出された輝度レベルの相関関係を示した図である。なお、図２において注目画素Ｏは中央の画素としている。
図２を参照すると、注目画素Ｏにおける輝度レベルが両脇に存在する画素から抽出された輝度レベルに比べて高い値を有している。このような相関関係を『輝点モデル』とする。
図３も連続した３つの画素から抽出された輝度レベルの相関関係を示した図であるが、図２は逆に、注目画素Ｏにおける輝度レベルが両脇に存在する画素から抽出された輝度レベルに比べて低い値を有している。このような相関関係を『黒点モデル』とする。

図５は１画素検索範囲のノイズ検出を説明する図である。注目画素Ｏの輝度レベルをＩ_O、周辺画素Ａ、Ｂ、Ｃ、およびＤ画素の輝度レベルをそれぞれＩ_A、Ｉ_B、Ｉ_C、Ｉ_Dとする。
ここで注目画素Ｏの両脇である画素ＡおよびＢそれぞれが有する輝度レベルＩ_A、Ｉ_Bと注目画素Ｏが有する輝度レベルＩ_Oとに基づいて、Ｉ_OがＩ_A、Ｉ_Bに比べて大きく、その差が予め設定された閾値１以上である場合は該注目画素Ｏが上記輝点モデルのノイズであると判断する。逆に、Ｉ_OがＩ_A、Ｉ_Bに比べて小さく、その差が予め設定された閾値２以上である場合は該注目画素Ｏが上記黒点モデルのノイズであると判断する。
画像中の選択可能な全ての画素を注目画素として、上記ノイズ画素であるか否かの判断を行う（Ｓ１０３）。

上記処理によりノイズを検出した場合、ノイズとして検出された画素の輝度レベルを補正する。上記実施の形態１においては、補正後の輝度レベルI’_Oを、注目画素Ｏの両脇である画素Ａおよび画素Ｂそれぞれが有する輝度レベルＩ_A、Ｉ_Bに基づき、下記の式（１）を用いて求める（Ｓ１０４）。
Ｉ’_O＝（Ｉ_A＋Ｉ_B）／２・・・・（１）
そして、全てのノイズ画素に対して補正後の輝度レベルを算出し、算出した輝度レベルを用いてノイズ画素の補正を行うことで（Ｓ１０５）、処理対象画像のノイズ除去が完了する。

ここで、（１）のように、注目画素Ｏの修正後の輝度レベルを注目画素がもともと有していた輝度レベルによらず、周辺画素の輝度レベルのみにより決定する。このため、ノイズ画素として検出された注目画素Ｏが仮に画像のエッジに載っている場合でも、適切な補正を図ることができるとともに、ノイズを短時間で、かつ確実に除去することができる。
さらに、輝度レベルＩ_AとＩ_Bの差が、予め設定された閾値３より大きい場合には、前記注目画素Ｏはノイズとして検出しないこととする。これにより、前記注目画素が画像のエッジにのっている場合であってノイズではない場合に、誤ってノイズとして検出することをより確実に防止することこができ、ひいては確実なノイズ除去が可能となる。ここで閾値１乃至３は所定の値に制限されることなく、その都度状況に応じて変更可能であることは言うまでもない。

なお、上記実施の形態１では図５における横並びの画素（注目画素Ｏ、画素Ａ、および画素Ｂ）が有する輝度レベルだけを考慮して注目画素Ｏがノイズ画素であるか否かの判断を行った。しかし、横並びだけでなく、縦並びの画素（注目画素Ｏ、画素Ｃ、および画素Ｄ）が有する輝度レベルや、斜めの画素（画素Ｅと画素Ｆ、または画素Ｇと画素Ｈ）が有する輝度レベル、またはそれら組み合わせを考慮して注目画素Ｏがノイズ画素であるか否かの判断を行い、注目画素Ｏがノイズ画素と判断した場合には、注目画素Ｏの補正後の輝度レベルを求めてもよい。

また、上記の説明においては、注目画素Ｏの両側に注目画素Ｏを挟むように配置された２つの画素を用いて、ノイズ画素の判断及び補正後の輝度レベルを求めた。連続する画素の輝度レベルは連続して変化することが多いと考えられるため、注目画素Ｏの両側の画素の輝度レベルに基づいて注目画素Ｏがノイズ画素か否かの判断を行い若しくは補正後の輝度レベルを求めることにより、より好適に補正後の輝度レベルを求めることができる。しかし、これ以外でも、例えば図５に示す画素Ａ、画素Ｅの輝度レベルＩ_A、Ｉ_E若しくは画素Ａ、画素Ｄの輝度レベルＩ_A、Ｉ_D等のように、注目画素Ｏの両側に配置されていない画素を選択してもよい。例えば、画像のエッジが画素Ｄ、画素Ｏ及び画素Ｃと画素Ｇ、画素Ｂ及び画素Ｆとの間にある場合に、画素Ａと画素Ｅ若しくは画素Ａと画素Ｄを選択することによって、注目画素Ｏがノイズ画素であるか否かの判断を好適に行い、補正後の輝度レベルを好適に求めることができる。

この他、２つの画素ではなく、３つ以上の画素を選択して補正後の輝度レベルを求めても良い。選択する画素数をｎとし、選択されたｎ個の画素の輝度レベルをＩ_K（Ｋ＝１〜ｎ）で示すと、補正後の注目画素Ｏの輝度レベルＩ’_Oは、選択された画素の輝度レベルＩ_K全ての和から、下記の式（２）を用いて求めることができる。

このように、より多くの画素に基づいて補正後の輝度レベルを求めることにより、例えば、輝度レベルの変化の少ない範囲に配置された画素を補正する場合に、より好適に補正後の輝度レベルを求めることができる。

また、ＳＤＲＡＭ１２の画像データが図８に示すような単版ＣＣＤ、ＲＧＢのＲＡＷデータの場合、ノイズ除去処理は同じ色の画素同士の横方向、縦方向の画素間で行うとしてもよい。例えば、図９におけるＩ_R1のノイズを除去する場合、Ｒ画素同士の横方向Ｉ_R2、縦方向の画素Ｉ_R3間でノイズ除去処理を行うということである。ここで、図８のＲ、Ｇ及びＢは、各画素が有する色を表している。
なお、上記説明中、画素のレベルとして輝度レベルのみを記載しているが、その他画素が有する値であっても本発明は実施可能である。また、上記の説明においては、正方形の画素がマトリクス状に配列している場合を例として説明したが、この他、長方形やその他の多角形の画素を用いる場合においても、注目画素とそれに隣接する画素との画素レベルを用いることにより、実現可能である。
このことは、実施の形態１に限定されず、以下で説明を行う実施の形態２および３についても共通する。

（２．実施の形態２）
実施の形態２として、構成は実施の形態１と同じくするが、ノイズ画素の検出方法が異なる。
実施の形態１では、図２および図３のようにその検索範囲は、注目画素Ｏと４近傍（もしくは８近傍）の関係にある画素であった。
しかし、画像に生じるノイズは、画像を撮影した際の、温度、（露光）時間、撮影モード等の撮影条件によって異なってくる。
そこで実施の形態２では、画像を撮影した際の撮影条件によって検索範囲を拡大し、ノイズ画素の検出を行う。

図６は連続する５つの画素が有する輝度レベルからノイズ画素を検出する際の図である。
ノイズ画素の検出の際には連続する５つの画素が有する輝度レベルの平均値を求め、求めた輝度レベルの平均値と、５つの画素各々が有する輝度レベルとの比較を行う。比較の結果、比較対象の画素が有する輝度レベルが求めた平均値よりも大きい場合であって、その差が予め設定された閾値１以上である場合、比較の対象とした画素は輝度モデルのノイズとして検出する。一方、比較対象の画素が有する輝度レベルが、求めた平均値よりも小さい場合であって、その差が予め設定された閾値２以上である場合は、比較の対象とした画素は黒点モデルのノイズとして検出する。
ノイズとして検出された画素に対しては、上記実施の形態１におけるノイズ画素として検出された注目画素Ｏと同様の処理により、その輝度レベルの修正を行う。

一般に画像を撮影する際の温度が高い場合にはノイズの量が多くなり、輝度の小さいノイズから大きいノイズまでが存在することが経験則から知られている。このような場合、ノイズ検索範囲を拡大することにより、４近傍（もしくは８近傍）の画素が有する輝度レベルからではノイズとして検出することができない画素も、ノイズとして検出可能となり、より正確なノイズ除去が可能となる。
一方、ノイズ処理速度を向上させる必要がある場合には、検索範囲を縮小させることにより、処理速度の向上を図ることが可能となる。

以上、実施の形態２におけるノイズ検出方法及びノイズ処理方法について記載したが、実施の形態２におけるノイズ検出方法及びノイズ処理方法は上記方法に限定されるものではなく、例えば、実施の形態１における方法を用いてノイズを検出等することも可能である。
より詳細に説明すると、検索範囲を設定した後、検索範囲内に存在する画素のうち１の画素を注目画素Ｏとして設定を行う。
そして、注目画素Ｏが有する輝度レベルが、検索範囲に存在する他の画素各々が有する輝度レベルとを比べて予め設定した閾値１より大きい場合に注目画素Ｏを輝点モデルのノイズとして検出する。また、予め設定した閾値２より小さい場合には、注目画素Ｏを黒点モデルのノイズと判断する。

ここで、少なくとも１つの画素との間で上記関係が成立すればノイズとして検出しても良いし、検索範囲内に存在する他の全ての画素とで上記関係が成立した場合にノイズとして判断してもよい。
また、注目画素Ｏの輝度レベルと、注目画素Ｏの４近傍（もしくは８近傍）に存在する画素の輝度レベルを比較して注目画素Ｏがノイズ画素ではないと判断した場合には、前記４近傍（もしくは８近傍）の画素のうち一つを、注目画素から一画素分離れた画素に変更して、注目画素がノイズ画素であるか否かの判断を行ってもよい。

さらに図６を用いて説明する。まず、注目画素Ｏが有する輝度レベルと、画素Ｊおよび画素Ｋが有する輝度レベルを用いて、注目画素Ｏがノイズ画素であるかの判断を行う。ここで、注目画素Ｏがノイズ画素であると判断した場合、以後の処理は実施の形態１と同じくする。一方、注目画素Ｏがノイズ画素でないと判断した場合、注目画素Ｏがノイズ画素であるか否かの判断を、画素Ｊおよび画素Ｌが有する輝度レベルを用いて行う。さらに、画素Ｊおよび画素Ｌが有する輝度レベルを用いても注目画素Ｏがノイズ画素ではないと判断した場合には、画素Ｊおよび画素Ｍが有する輝度レベルを用いて注目画素Ｏがノイズ画素であるか否かの判断を行う。
つまり、実施の形態１においては注目画素Ｏから４近傍（もしくは８近傍）に存在する画素（図６においては画素Ａおよび画素Ｂ）が有する輝度レベルを用いて注目画素Ｏがノイズ画素であるか否かの判断を行ったが、注目画素Ｏがノイズ画素と判断されなかった場合に検索範囲を拡大していく。なお、検索範囲の上限を撮影条件により設定することで、ノイズ除去を迅速性が確保される。

以上のように、実施の形態２自体は当然であるが、実施の形態２に実施の形態１のノイズ検索方法を用いても実施可能である。尚、本実施形態においては、注目画素がノイズであるか否かの判断を、複数の画素における画素レベルの平均値との比較によって行う。従って、注目画素の画素レベルと求めた平均値との差の閾値を、例えば標準偏差によって求めることができる。これにより、画素レベルのばらつきを考慮した上でノイズか否かの判断することができる。
また、本実施形態のように複数の画素について判断することにより、最小二乗法によるフィッティングを用いて対象画素がノイズか否かの判断をすることができる。例えば、図６に示すような複数の画素の輝度レベルについて、最小二乗法によるフィッティングを行い、夫々の画素における輝度レベルとフィッティング曲線との差を用いて、対象画素がノイズか否かの判断を行っても良い。更にこの時、夫々の画素における輝度レベルとフィッティング曲線との差の平均値を求め、その値を閾値として用いることもできる。これにより、夫々の画素の画素レベルにおいて平均値との差を考える場合に比べ、例えばグラデーション等の画像においては、より好適にノイズの検出を行うことができる。

また、最小二乗法によるフィッティングを用いて、補正後の輝度レベルを求めることもできる。例えば、ノイズ画素が特製され後、特定されたノイズ画素を無視して最小二乗法によるフィッティングを行う。そして、ノイズ画素として特定された画素の位置におけるフィッティング曲線の値を補正保護の輝度レベルとして用いる。これにより、例えばグラデーション等の画像においては、より好適に補正後の輝度レベルを求めることができる。
更に、最小二乗法によるフィッティングを用いることにより、ノイズ画素を特定した後、それが本当にノイズ画素であるか否かの確認を行うこともできる。例えば、ノイズ画素を特定する前に、最小二乗法によるフィッティングを行い、夫々の画素における輝度レベルとフィッティング曲線との差の平均値（以下、特定前誤差平均値）を求めておく。そして、ノイズ画素を特定した後に、ノイズ画素特定前と同次元の関数を用いて、ノイズ画素を無視して最小二乗法によるフィッティングを行い、夫々の画素における輝度レベルとフィッティング曲線との差の平均値（以下、特定後誤差平均値）を求める。

ノイズ画素として特定された画素が真にノイズであれば、その画素を無視してフィッティングを実行することにより、生成されるフィッティング曲線は、より夫々の画素における輝度レベルに近づくことが予測される。従って、特定前誤差平均値と特定後誤差平均値とを比較し、特定後誤差平均値の方が小さければ、特定された画素はノイズである可能性がより高いと判断することができる。逆に、特定前誤差平均値の方が小さければ、特定された画素がノイズではない可能性があると判断することができる。

（３．実施の形態３）
実施の形態３として、構成は実施の形態１と同じくするが、撮影条件に応じて注目画素として同時に複数の画素を選択可能とする点で異なる。
実施の形態３は撮影条件に応じてノイズ画素の検出方法が異なる点で実施の形態２と同じくするが、実施の形態２においては撮影条件に応じて検索範囲を可変とする一方、実施の形態３においては撮影条件に応じて注目画素の数を可変とする。
一般に露光時間が短くもしくは温度が低い場合、孤立するノイズ画素がほとんどであるが、露光時間が長くなると、温度が高くなり複数の画素をひとかたまりとした孤立ノイズ（以下、連続孤立ノイズと言う。）が増加することが経験則により知られている。このような場合を考慮し、撮影条件に応じて注目画素として同時に複数の画素を選択可能とする。

まず、処理対象である画像からノイズ画素の検出を行う。ノイズ画素の検出は、処理対象である画像を走査し、画像を構成する画素の輝度レベルの抽出を行う。
次に、２連続孤立ノイズを除去する場合には、２つの連続する画素を１の注目画素としてノイズ画素であるか否かの判断を行う。
この場合、注目画素が有する輝度レベルとして、注目画素を構成する２つの画素が有する輝度レベルの平均値でもよいし、輝度レベルが高い方、もしくは低い方の値を注目画素が有する輝度レベルとしてもよい。例えば、輝点モデルであるか否かの判断をする時は、輝度レベルが高い方を用い、黒点モデルであるか否かの判断をする時は、輝度レベルが低い方を用いることができる。逆に、輝点モデルであるか否かの判断をする時は、輝度レベルが低い方を用い、黒点モデルであるか否かの判断をする時は、輝度レベルが高い方を用いても良い。これにより、ノイズであるか否かの判断基準を変化させることができる。
３連続孤立ノイズを除去する場合には、上記２連続孤立ノイズを除去する場合と同様に、３つの連続する画素を１の注目画素として、ノイズ画素であるか否かの判断を行う。
なお、２連続孤立ノイズを除去するか、もしくは３連続ノイズを除去するか、また、注目画素の輝度レベルの決定方法は、撮影条件によって可変とする。

次に、検出した連続孤立ノイズに対して、連続孤立ノイズを除去する方法を詳細に説明する。
図７の２連続孤立ノイズを除去する場合、２画素の間隔でノイズ判断する必要がある。まずノイズ画素Ｉ_O1の画素レベルを式（１）で補正し、次にノイズ画素Ｉ_O2の画素レベルを式（１）で補正していく。この時、補正対象の画素（Ｉ_O1、Ｉ_O2）及び補正に用いる画素方向（縦、横及び斜め）に合わせて、Ｉ_A1、Ｉ_A2、Ｉ_B1、Ｉ_B2、Ｉ_C、Ｉ_Dを使い分ける。
また図８は３連続孤立ノイズを除去する場合であり、まずノイズ画素Ｉ_O1の画素レベルを式（１）で補正し、次にノイズ画素Ｉ_O2の画素レベルを式（１）で補正し、最後にノイズ画素Ｉ_O3の画素レベルを式（１）で補正していく。このときも、２連続孤立ノイズを除去する場合と同様に、補正対象の画素（Ｉ_O1、Ｉ_O2及びＩ_O3）に合わせて、周辺の画素を使い分ける。

以上、実施の形態３について詳細な説明を行ったが、実施の形態２と同様、実施の形態３に実施の形態１又は２の内容を包含させても実施可能であることは言うまでもない。
なお、実施の形態２および３において、撮影条件によってノイズ除去の方法を可変とする実施の形態について説明を行ったが、撮影条件に応じて閾値１ないし３を設定してもよい。また、各撮影条件において最適なパラメータを予め保存しておいてもよい。
なお、ノイズ除去パラメータの最適値はＣＣＤの特性により設定しても良いし、実験的に最適なノイズ除去パラメータを測定してもよい。
そして、得られた最適パラメータをＲＯＭ１１に記録しておくことで、処理の迅速を図る構成を採用してもよい。

さらに、パラメータの設定に際しては、検索範囲が広くなると処理時間が長くなるため、撮影モードも考慮してパラメータを設定してもよい。
加えて、閾値１および２の値が小さければ小さいほどノイズ除去の強度が強くなり、閾値３の値が大きければ大きいほどエッジ付近のノイズを除去する特性も考慮してパラメータを設定してもよい。
また、これら設定した最適パラメータをＲＯＭ１１に記録しておくことで、処理の迅速を図る構成を採用してもよいことは言うまでもない。なお、ＲＯＭ１１を本発明のノイズ除去装置の外部に設け、外部に設けられたＲＯＭ１１から最適パラメータを入力しても構わない。

図１０は本発明の実施の形態の一つであるノイズ除去装置の構成図である。このノイズ除去装置２００は各部を集中的に制御するＣＰＵ１９を備えており、このＣＰＵ１９には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ２１と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ２０とがバス２７で接続されており、マイクロコンピュータを構成している。さらにバス２７には、制御プログラムが記憶されたＨＤＤ２５と、ＣＤ−ＲＯＭ１１０を読み取るＣＤ−ＲＯＭドライブ２２と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）２６とが接続されている。

図１０に示すＣＤ−ＲＯＭ１１０は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ１９は、ＣＤ−ＲＯＭ１１０に記憶されている制御プログラムをＣＤ−ＲＯＭドライバ２２で読み取り、ＨＤＤ２５にインストールする。これにより、後述するような各種の処理を行うことが可能となる。
なお、記憶媒体としては、ＣＤ−ＲＯＭのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピー（登録商標）ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ２５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

図１のデジタルカメラ１００により撮影した画像データをメモリカード２４によって図１０の画像補正処理装置２００に入力する。もしくはインタフェース２６を介して、ネットワークから入力する。画像データの中にはデジタルカメラ１００のメーカ、機番、撮影時の露光時間、撮影時の温度、撮影時連写状況などの撮影条件が記録されている。例えばＥｘｉｆの画像データである。画像補正プログラムをＲＡＭ２０にロードする。そして、画像補正処理装置２００は画像データから付属情報を読み込み、それによってＨＤＤ２５に記録されている撮影条件に対応するノイズ除去の最適なパラメータをＲＡＭ２０にロードする。そしてノイズ除去処理を行う。

以上の通り本発明によれば、ノイズ除去手段は、ノイズの特性に基づくノイズモデルを決定するノイズモデル決定手段と、ノイズモデル決定手段により決定されたノイズモデルに基づいて画素中からノイズを検出するノイズ検出手段と、検出されたノイズをこのノイズの周辺画素のレベルに基づいて補間する画素補間手段と、を備えたので、長時間露光により発生するノイズを短時間で、且つ確実に除去することができる。
また、ノイズモデルは、ノイズ画素のレベルがこのノイズ画素の周辺画素のレベルより大きい値を示す輝点モデルと、ノイズ画素のレベルがこのノイズ画素の周辺画素のレベルより小さい値を示す黒点モデルと、輝点モデル及び黒点モデルが共存する通常モデルと、を備えて構成されているので、ノイズの特性に適応した最適なノイズ除去を行うことができる。

また、ノイズ検出手段は、注目画素のレベルと周辺画素のレベルとの差分が全て予め設定した第１の閾値より大きく、且つ前記周辺画素間のレベルの差分が予め設定した第２の閾値より小さい場合、前記注目画素をノイズとして検出するので、輝点モデルと黒点モデルのノイズを周辺画素から正確に検出することができる。
画素補間手段は、注目画素のレベルをＩ_O、注目画素の周辺に存在する画素のレベルをＩ_A、Ｉ_Bとすると、Ｉ_O＝（Ｉ_A＋Ｉ_B）／２により求められる画素のレベルにより注目画素を画素補間するので、ノイズ画素のレベルと周辺画素のレベルとの間で大きな値の変化が生じなくなる。

また、ノイズ除去手段は、露光時間、撮影時の温度及び撮影モードにより変化する撮影条件に基づいて各パラメータを最適値に設定してノイズを除去するので、撮影条件の変化に対応して自動的にパラメータを設定することができる。
さらに、本発明のノイズ除去方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
そして、ノイズ除去プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。

本発明を採用したデジタルカメラ（撮像装置）１００の構成を示すブロック図である。 輝点モデルの一例を示す図である。 黒点モデルの一例を示す図である。 実施の形態１におけるフローチャートである。 実施の形態１のノイズ除去を説明する図である。 実施の形態２における一例を示す図である。 実施の形態３のノイズ除去を説明する図である。 実施の形態３のノイズ除去を説明する図である。 単版ＣＣＤの画素の配列を示す図である。 ノイズ除去装置の構成図である。

符号の説明

１ 撮影光学系、２ メカシャッタ、３ ＣＣＤ、４ＣＤＳ回路、５ Ａ／Ｄ変換器、６ モータドライバ、７ タイミング信号発生器、８ 画像処理回路と、９ ＣＰＵ、１０ ＲＡＭ、１１ ＲＯＭ、１２ ＳＤＲＡＭ、１３ 画像圧縮伸張回路、１４ メモリカード、１５ 操作部、１６ 液晶ディスプレイ、１７ バス、１００ デジタルカメラ

Claims (12)

1. 撮影された画像における孤立ノイズを除去するノイズ除去手段を備えたノイズ除去装置であって、
   前記ノイズ除去手段は、前記画像を走査しノイズ画素を検出するノイズ画素検出手段と、
   検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルのみに基づいて補正する画素補正手段と、
   を備えたことを特徴とするノイズ除去装置。
2. 前記ノイズ画素検出手段は、注目画素のレベルと該注目画素から所定の範囲に存在する画素のレベルとの差分が予め設定した第１の閾値より大きく、かつ、前記注目画素の周辺に存在する画素同士のレベルの差分が予め設定した第２の閾値より小さい場合、前記注目画素をノイズ画素として検出することを特徴とする請求項１に記載のノイズ除去装置。
3. 前記画素補正手段は、前記ノイズ画素から所定の範囲に存在する複数の画素のレベルの平均値により前記ノイズ画素のレベルを補正することを特徴とする請求項１又は２に記載のノイズ除去装置。
4. 前記ノイズ画素検出手段は、前記撮影の際の撮影条件に基づいて前記所定の範囲を定めることを特徴とする請求項１乃至３の何れか一項に記載のノイズ除去装置。
5. 前記撮影条件には、撮影時の露光時間、温度、および撮影装置の感度のうち少なくとも一つを含むことを特徴とする請求項４に記載のノイズ除去装置。
6. 撮影された画像における孤立ノイズを除去するノイズ除去方法であって、
   前記画像を走査しノイズ画素を検出するノイズ画素検出ステップと、
   検出されたノイズ画素のレベルを該ノイズ画素から所定の範囲に存在する画素のレベルのみに基づいて補正する画素補正ステップと、を備えたことを特徴とするノイズ除去方法。
7. 前記ノイズ画素検出ステップは、注目画素のレベルと該注目画素から所定の範囲に存在する画素のレベルとの差分が予め設定した第１の閾値より大きく、かつ、前記注目画素の周辺に存在する画素同士のレベルとの差分が予め設定した第２の閾値より小さい場合、前記注目画素をノイズ画素として検出することを特徴とする請求項６に記載のノイズ除去方法。
8. 前記画素補正ステップは、前記ノイズ画素から所定の範囲に存在する複数の画素のレベルの平均値により前記ノイズ画素のレベルを補正することを特徴とする請求項６又は７に記載のノイズ除去方法。
9. 前記ノイズ画素検出ステップは、前記撮影の際の撮影条件に基づいて前記所定の範囲を定めることを特徴とする請求項６乃至８の何れか一項に記載のノイズ除去方法。
10. 前記撮影条件には、撮影時の露光時間、温度、および撮影装置の感度のうち少なくとも一つを含むことを特徴とする請求項９に記載のノイズ除去方法。
11. 請求項６乃至１０の何れか一項に記載のノイズ除去方法をコンピュータが制御可能にプログラミングしたことを特徴とするノイズ除去プログラム。
12. 請求項１１に記載のノイズ除去プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。

Images