JP4337356B2 - 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 - Google Patents
画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 Download PDFInfo
- Publication number
- JP4337356B2 JP4337356B2 JP2003030577A JP2003030577A JP4337356B2 JP 4337356 B2 JP4337356 B2 JP 4337356B2 JP 2003030577 A JP2003030577 A JP 2003030577A JP 2003030577 A JP2003030577 A JP 2003030577A JP 4337356 B2 JP4337356 B2 JP 4337356B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- image data
- pixel
- predetermined
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 9
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 206010027146 Melanoderma Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号のノイズを低減する信号処理装置、信号処理プログラム、および信号処理方法に関する。
【０００２】
【従来の技術】
従来、画像データのノイズ除去方法として次の２種類の方法が知られている。
第１の方法は、メディアンフィルタにより特異点を平滑化する方法である。具体的には、局所領域中の濃度のメディアン値を出力濃度として与える方法である。例えば、３×３の領域を用いた場合、９個の濃度値を小さい順に並べ、メディアン値である小さい方から５番目の濃度値を求めればよい。このようなメディアンフィルタを画像データに施すことにより、輝点状や黒点状のノイズを特異点として画像データから除去可能となる。
【０００３】
第２の方法は、被写界画像から固定パターンノイズ画像を画素単位に減算する方法である。この被写界画像は、被写体を撮像素子で撮影して得られる画像データである。一方、固定パターンノイズ画像は、暗黒状態などの受光環境下において、撮影素子から出力されるノイズのみの画像データである。この減算処理により、被写体画像中の固定パターンノイズを同相除去し、固定パターンノイズの除去された画像データを得ることができる。
【０００４】
以下、この第２の方法を、数式で説明する。
Ｓ（ｍ） ：被写界画像の各画素の信号レベル
Ｓｏ（ｍ）：真の各画素の信号レベル
Ｎ（ｍ） ：各画素のノイズレベル
ｍ ：画素の番号
とすると、
Ｓ（ｍ）＝Ｓｏ（ｍ）＋Ｎ（ｍ）
と表すことができる。
【０００５】
また、ノイズレベルの内訳は、
Ｎ（ｍ）＝Ｎｒ（ｍ）＋Ｎｆ（ｍ）
Ｎｒ（ｍ）：ランダムノイズ
Ｎｆ（ｍ）：固定パターンノイズ
となる。
一般に、撮像素子の露光時間ｔが長くなるほど、固定パターンノイズは大きくなる。そのため、長時間露光では、Ｎｆ≫Ｎｒとなり、固定パターンノイズが支配的となる。このような場合、被写界画像から固体パターン画像を減算すると、
Ｓ0（ｍ）≒Ｓ（ｍ）−Ｎｆ（ｍ）
となる。すなわち、真の画素値に近い画像データを得ることができる。
【０００６】
従来、その他のノイズ除去技術として、下記の特許文献１が知られている。この特許文献１の従来装置は、固定パターンノイズ画像の画素値をレベル判定することによって、白キズ欠陥を検出する。一方、被写体画像の画素値をレベル判定することによって、飽和画素を検出する。この従来装置は、このような画素単位のノイズ状況判別に基づいて『白キズ』かつ『非飽和』の画素を選別し、選別した画素に限って上述した減算処理を実施する。
【０００７】
【特許文献１】
特開２００１−９４８８２（図１０のＳ５０，Ｓ５２）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した第１および第２の固定パターンノイズの除去方法では、固定パターンノイズをある程度除去することが可能であるが、次に挙げるような問題があった。
【０００９】
第１の方法では、膨大な画素数の一つ一つについて、局所領域内の複数の画素値を参照しつつ、メディアン値を求める必要がある。そのため、処理時間が膨大になる、或いは専用のハードウェアを用意しなければならないといった問題が生じる。
また、第１の方法では、全画素について、メディアン値との置換処理を実施するため、補間ミスが発生しやすく、偽色や偽パターンなどの弊害を生じやすい。
【００１０】
一方、第２の方法では、画素単位の単純な減算処理であるため、特別なハードウェアを用意することなく簡単に演算処理することができる。しかしながら、固定パターンノイズレベルが画像信号レベルと同程度になる場合には、固定パターンノイズを十分に取り除くことができないという問題があった。
【００１１】
さらに、特許文献１では、飽和画素に発生する白キズ欠陥に対して、ノイズ除去が有効に行われない。通常、白キズ欠陥の箇所は、白キズのノイズレベルが重畳するため、飽和画素となる可能性が高い。そのため、飽和画素のノイズ除去を単に禁止したのでは、白キズ欠陥が除去されずに多数残存ずるなどの支障を生じやすい。
本発明は、上述した問題に鑑みて、固定パターンノイズを的確に除去し、かつ新たなノイズを発生しにくいノイズ除去技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
以下、本発明について説明する。
【００１３】
本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１５】
また、本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１６】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求めるとともに、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１７】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求めるとともに、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１８】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された前記第１画像データと前記第２の記憶ステップにより記憶された前記第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１９】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された第１画像データと前記第２の記憶ステップにより記憶された第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が、前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が、前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、前そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
【００２８】
（第１の実施形態）
図１は、デジタルカメラに内蔵される信号処理装置１を示すブロック図である。
この信号処理装置１は、被写界からの光を受光して電気信号に変換する撮像素子であるＣＣＤ３と、撮影時を決定するレリーズ釦５とを有している。また、信号処理装置１は、信号処理装置１を制御するためのプログラムを記憶したＲＯＭ７を有している。
【００２９】
また、信号処理装置１は、被写界を撮影することにより得られた第１画像データである被写界画像データを記録する第１記憶部としてのＲＡＭ９と、被写界画像データとは異なる受光条件（例えば、シャッターを閉じた暗黒状態）で撮影して得られた第２画像データである暗黒画像データを記録する第２記憶部としてのＲＡＭ１１とを有している。
【００３０】
さらに、信号処理装置１は、ＣＰＵ１３を有している。ＣＰＵ１３は、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して演算処理する処理部であり、また、その他の信号処理装置１の制御をも統括している。
そして、信号処理装置１は、ＲＡＭ９とＲＡＭ１１とのデータを用いてＣＰＵ１３で演算した結果を記憶するＲＡＭ１５と、ＲＡＭ１５からの画像信号出力１７Ｓを記憶するためのＥＥＰＲＯＭ１９とを有している。
【００３１】
次に、信号処理装置１での演算処理の概略を説明する。
この信号処理装置１の特徴点は、被写界画像データから固定パターンノイズを除去するために暗黒画像データを引き算する際に、引き過ぎることなくノイズ成分を効果的に除去することができる点にある。
そして、そのために、暗黒画像データに基づいて画素毎に、被写界画像データの出力値を同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とを切り換える。
【００３２】
以下、数式を用いて具体的に説明する。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であり、同色画素は縦、横、斜め方向に１画素飛んだ位置に配置されている。そのため、ｍライン目の画像データは、次式のように配列されている。
すなわち、第１画像データである被写界画像データＳは、
...,B(n-3,m),G(n-2,m),B(n-1,m),G(n,m),B(n+1,m),G(n+2,m),B(n+3,m),...
・・・（１）
と表される。
【００３３】
また、第２画像データである暗黒画像データＮは、
...,B'(n-3,m),G'(n-2,m),B'(n-1,m),G'(n,m),B'(n+1,m),G'(n+2,m),B'(n+3,m),...
・・・（２）
と表される。
【００３４】
従って、固定パターンノイズＮｆを除去するために、Ｇ（ｎ，ｍ）に対してＧ'（ｎ，ｍ）を減算する際に、Ｇ'（ｎ，ｍ）がＣＣＤ３の飽和レベルに近い値の場合、真の信号レベルＳｏはクリップされている可能性が高く、そのまま減算すると差分が小さくなり、暗い点ノイズとなることが多い。
そこで、暗黒画像データの出力値が、所定の閾値Ｐを超える場合、すなわち、Ｇ'（ｎ，ｍ）＞Ｐになった場合には、当該画素を同じｍライン目の２つ前にある同色近接画素と置換する。一方、暗黒画像データの出力値が閾値Ｐ以下である場合、すなわち、Ｇ'（ｎ，ｍ）≦Ｐになった場合には、被写界画像データの出力値から暗黒画像データの出力値を減算する。
【００３５】
例えば、Ｂ'（ｎ−１，ｍ）＞Ｐ，Ｇ'（ｎ＋２，ｍ）＞Ｐであるとすると、（１）式から（２）式を減算した後のノイズ除去データＮＲは、
...NR(n-3,m),NR(n-2,m),B(n-3,m),NR(n,m),NR(n+1,m),G(n,m),NR(n+3,m),...
・・・（３）
となる。
【００３６】
なお、ＣＣＤ３からの電気信号２１Ｓが不図示のＡ／Ｄ変換器によりデジタル信号に変換される際に１２ｂｉｔのデータとなる場合は、階調表現性能が４０９６階調になるので、閾値Ｐの値としては、ＣＣＤ３の飽和レベルに近い値にすることが好ましい。例えば、Ｐ＝３８００程度にする。
図３は、信号処理装置１での演算処理の流れを示す説明図である。
【００３７】
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムの処理ルーチンは、次のような構成になっている。
【００３８】
先ず、ステップＳ１１において、ベイヤ配列の任意の列を示す記号ｉに０が代入される。
次いで、ステップＳ１２において、ｉに１が加算される。
次いで、ステップＳ１３において、ベイヤ配列の任意の行を示す記号ｊに０が代入される。
【００３９】
次いで、ステップＳ１４において、ｊに１が加算される。
次いで、ステップＳ１５において、ｊが２より大きいか否かが判断される。ｊが２より大きいときはステップＳ１６に進む。一方、ｊが１または２のときはステップＳ２０に進み、ステップＳ２０において、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。そして、ステップＳ１９に進む。
【００４０】
ステップＳ１６では、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きいか否かが判断される。Ｎｆ（ｉ，ｊ）が閾値Ｐより大きくない場合はステップＳ１７に進む。一方、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きい場合はステップＳ１８に進む。
ステップＳ１７では、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。すなわち、被写界画像データの出力値から暗黒画像データの出力値が引かれる。
【００４１】
ステップＳ１８では、Ｓ（ｉ−２，ｊ）がＳｏ（ｉ，ｊ）に代入される。すなわち、現在処理中の画素の出力値として、同じ行にある２つ前の画素の出力値が代入される。
ステップＳ１９では、ｊがｋより小さいか否かが判断される。ｊがｋより小さい場合は、ステップＳ１４に戻り、ｊに１が加算され、ｊがｋより小さくない場合は、ステップＳ２１に進む。
【００４２】
ステップＳ２１では、ｉがｐより小さいか否かが判断される。ｉがｐより小さい場合は、ステップＳ１２に戻り、ｉに１が加算され、ｉがｐより小さくない場合は、全ての画素の処理が終了したことになり、演算処理を終了する。
上述した実施形態では、被写界画像データの出力値を２つ前にある同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とに切り換える。このような切り換え動作により、固定パターンノイズが飽和レベル近くまで大きく、真の信号レベルを復元できないと推定される画素に対しては、置換処理が実施される。その結果、減算処理による弊害が生じず、的確に固定パターンノイズを除去することができる。ひいては、写真やモニターに映し出された画像において目立つノイズを、確実に低減できる。
【００４３】
また、上述した実施形態のデジタルカメラの信号処理装置および信号処理方法では、場合分けの条件を暗黒画像データの出力値が閾値Ｐを超えるか否か、すなわち、固定パターンノイズが真の信号レベルを復元できないほど大きいと推定されるか否かとしたので、適切な閾値Ｐを設定することで、容易かつ的確に固定パターンノイズを除去することができる。
【００４４】
なお、上述した実施形態では、閾値Ｐを超える場合に同じ行の２つ前にある画素の出力値と置換した例について説明したが、いずれか１つの近接画素の出力値と置換しても良い。このような構成にすることにより、画像中のノイズをより強く抑止することができる。
また、上述した実施形態では、閾値Ｐを超える場合に近接画素の出力値と置換した例について説明したが、近接画素が演算処理済みである場合は、演算処理後の当該近接画素の出力値と置換しても良い。この場合、ノイズ除去された画素によって置換されるため、画像中のノイズをより強く抑止することができる。
【００４５】
なお、上述した実施形態では、閾値Ｐを被写界画像データから暗黒画像データを減算する際の飽和レベルに近い値にした例について説明した。しかしながら、固定パターンノイズを除去することができる値であればよい。例えば、ガンマ処理の出力に対する飽和レベルに近い値にするようにしても良い。
次に、第２の実施形態について説明する。
【００４６】
（第２の実施形態）
第２の実施形態の信号処理装置は、第１の実施形態（図１）と同じため、ここでの重複説明を省略する。
第２の実施形態では、被写界画像データの出力値と暗黒画像データの出力値との差分をＣＰＵ１３で算出し、画素毎に同色近接画素の差分の最大値および最小値を算出し、この最大値および最小値を閾値として場合分けして演算処理を行う。
【００４７】
以下、数式を用いて具体的に説明する。
任意画素の被写界画像データの出力値をＳ（ｉ，ｊ）とすると、Ｓ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図４のように示される。
また、同様に、任意画素の暗黒画像データの出力値を固定パターンノイズの出力値Ｎｆ（ｉ，ｊ）とすると、Ｎｆ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図５のように示される。
【００４８】
被写界画像データから暗黒画像データを減算すると、
Ｓｏ（ｉ，ｊ）＝Ｓ（ｉ，ｊ）−Ｎｆ（ｉ，ｊ）
Ｓｏ（ｉ，ｊ）：真の各画素の信号レベル
となる。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であるため、同色画素は行方向、列方向ともに１画素飛びに配置されている。
【００４９】
そのため、Ｓ（ｉ，ｊ）がＲまたはＢ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）に対応する画素として、８個存在する。
一方、Ｓ（ｉ，ｊ）がＧ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）、Ｓ（ｉ−１，ｊ−１）、Ｓ（ｉ−１，ｊ＋１）、Ｓ（ｉ＋１，ｊ−１）、Ｓ（ｉ＋１，ｊ＋１）に対応する画素として、１２個存在する。
【００５０】
そして、この第２の実施形態では、被写界画像データから暗黒画像データを減算したときに、過剰に減算したり、過小に減算したりしてしまうのを防止するために、同色近接画素の真の信号レベル出力値（差分）の最大値Ｓｏｍａｘ（ｉ，ｊ）と最小値Ｓｏｍｉｎ（ｉ，ｊ）を求める。
そして、
Ｓｏ（ｉ，ｊ）＞（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（輝点ノイズ）となっている可能性が高いため、同色近接画素の最大値Ｓｏｍａｘ（ｉ，ｊ）と置換をする。
【００５１】
一方、
Ｓｏ（ｉ，ｊ）＜（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（黒点ノイズ）となっている可能性が高いため、同色近接画素の最小値Ｓｏｍｉｎ（ｉ，ｊ）と置換をする。
また、
（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）≦Ｓｏ（ｉ，ｊ）≦（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合は、正常であると判断し、Ｓｏ（ｉ，ｊ）＝Ｓｏ（ｉ，ｊ）とし、同じ出力値を使用する。
【００５２】
図６および図７は、信号処理装置での演算処理の流れを示す説明図である。
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムは、次のような構成になっている。
【００５３】
先ず、ステップＳ１１０において、ベイヤ配列の任意の行を示す記号ｉに０が代入される。
次いで、ステップ１２０において、ｉに１が加算される。
次いで、ステップＳ１３０において、ベイヤ配列の任意の列を示す記号ｊに０が代入される。
【００５４】
次いで、ステップＳ１４０において、ｊに１が加算される。
次いで、ステップＳ１５０において、被写界画像データの出力値Ｓ（ｉ，ｊ）から暗黒画像データの出力値Ｎｆ（ｉ，ｊ）が減算され、真の各画素の信号レベルＳｏ（ｉ，ｊ）に代入される。
次いで、ステップＳ１６０において、ｊがｐより小さいか否かが判断される。ｊがｐより小さいときはステップＳ１４０に戻る。一方、ｊがｐより小さくないときはステップＳ１７０に進む。
【００５５】
ステップＳ１７０では、ｉがｋより小さいか否かが判断される。ｉがｋより小さいときはステップＳ１２０に戻る。一方、ｉがｋより小さくないときはステップＳ１８０に進む。
ステップＳ１８０では、ｉに１が代入される。
次いで、ステップＳ１９０において、ｉに１が加算される。
【００５６】
次いで、ステップＳ２００において、ｊに１が代入される。
次いで、ステップＳ２１０において、ｊに１が加算される。
次いで、ステップＳ２２０において、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最大値を求めてＳｏｍａｘ（ｉ，ｊ）とする。同様に、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最小値を求めてＳｏｍｉｎ（ｉ，ｊ）とする。
【００５７】
次いで、ステップＳ２３０において、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいときはステップＳ２４０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きくないときはステップＳ２５０に進む。
ステップＳ２４０では、Ｓｏ（ｉ，ｊ）にＳｏｍａｘ（ｉ，ｊ）が代入され、ステップＳ２５０に進む。
【００５８】
ステップＳ２５０では、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいときはステップＳ２６０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さくないときはステップＳ２７０に進む。
ステップＳ２６０では、Ｓｏ（ｉ，ｊ）にＳｏｍｉｎ（ｉ，ｊ）が代入され、ステップＳ２７０に進む。
【００５９】
ステップＳ２７０では、ｊがｐ−２より大きいか否かが判断される。ｊがｐ−２より大きくないときはステップＳ２１０に戻る。一方、ｊがｐ−２より大きいときはステップＳ２８０に進む。
ステップＳ２８０では、ｉがｋ−２より大きいか否かが判断される。ｉがｋ−２より大きくないときはステップＳ１９０に戻る。一方、ｉがｋ−２より大きいときは、全ての画素の処理が終了したことになり、演算処理を終了する。
【００６０】
この第２の実施形態では、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して差分を算出し、画素毎に閾値を決めて、信号処理の場合分けを行う。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００６１】
また、上述した第２の実施形態では、同色近接画素の差分の最大値および最小値に基づいて閾値を決定するので、所定範囲からはみ出した出力値を的確に排除することができる。
さらに、上述した第２の実施形態では、固定パターンノイズが大き過ぎると推定される画素の出力値（輝点ノイズ）は、近接画素の差分の最大値と置換され、固定パターンノイズが小さ過ぎると推定される画素の出力値（黒点ノイズ）は、近接画素の差分の最小値と置換されるので、近接画素の出力値の範囲内で置換されることになり、近接画素の色に溶け込ませることが可能である。
【００６２】
（第３の実施形態）
この第３の実施形態は、最大差分Ｓｏｍａｘおよび最小差分Ｓｏｍｉｎに代えて、『二番目に大きな差分Ｓｏｍａｘ２』および『二番目に小さな差分Ｓｏｍｉｎ２』を使用する点のみが、第２の実施形態と異なる。
すなわち、ステップＳ２３０において、『二番目に大きな差分Ｓｏｍａｘ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて大き過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍａｘ２と置換する。
【００６３】
一方、ステップＳ２５０において、『二番目に小さな差分Ｓｏｍｉｎ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて小さ過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍｉｎ２と置換する。
そのため、第２の実施形態のように近接画素の出力値の最大値や最小値と置換する場合に比べ、近接画素に固定パターンノイズが発生していた場合の影響を受けにくいといった利点がある。その結果、固定パターンノイズＮｆ（ｉ，ｊ）の過小差し引きや過大差し引きを抑止することができる。
【００６４】
なお、上述した第２および第３の実施形態では、閾値を、同色近接画素の差分の最大値および最小値などに基づいて決定した例について説明したが、同色近接画素の差分の標準偏差に基づいて、Ｋの値などを決定しても良い。
また、上述した第２および第３の実施形態では、Ｇ画素における近接画素の出力値の最大値および最小値を求めるときに、１２個の近接画素の出力値を対象とした例について説明したが、Ｒ画素やＢ画素と同様に８個の近接画素の出力値を対象としても良い。
【００６５】
さらに、上述した第２および第３の実施形態では、同色近接画素の差分の最大値および最小値と置換する例や、２番目に大きい値および２番目に小さい値と置換する例について説明した。しかしながら、複数の近接画素における差分の平均値やメディアン値と置換しても良い。ここで、複数の近接画素の選択条件について、好ましい例を挙げる。
【００６６】
（１）同色近接画素の出力値の大きい方から３つの平均値と同色近接画素の出力値の小さい方から３つの平均値により行う。
【００６７】
（２）同色近接画素をいくつかのブロックに分けて平均値を求めて、出力値の変化の傾向を考慮した上で、いずれか１つのブロックの出力値を用いる。
【００６８】
（３）（２）において、ブロックの分け方を少しずつ変更しその都度平均値を求め、出力値の変化の傾向を十分に考慮した上で、いずれか１つのブロックの分け方におけるいずれか１つのブロックの出力値を用いる。
【００６９】
以上説明したように、第２および第３の実施形態では、被写界画像データ（第１画像データ）と暗黒画像データ（第２画素データ）とを読み出して処理部により差分を算出し、画素毎に閾値を決めて場合分けして信号処理をする。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理およびノイズ除去処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００７０】
なお、上述した実施形態では、本発明を電子カメラに適用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を単体の信号処理装置（ＩＣなど）として実現したり、コンピュータによって実行される信号処理プログラムとして実現してもよい。また、本発明の信号処理方法をインターネットなどを通じて画像処理サービスとして提供してもよい。
【００７１】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【００７２】
【発明の効果】
本発明では、撮像素子のノイズ状況を画素毎に判別し、そのノイズ状況に応じて減算処理／置換処理を画素単位に動的に切り換えることができる。したがって、同相除去により固定パターンノイズを除去できないノイズ状況に応じて、置換処理を選択的に実行することが可能になり、第１画像データ中のノイズをより確実に除去することが可能になる。特に、本発明のノイズ除去技術では、減算処理によって新たなノイズが重畳するといった事態を顕著に改善することが可能になる。
【図面の簡単な説明】
【図１】信号処理装置の一実施形態を示すブロック図である。
【図２】ＣＣＤに使用されるベイヤ配列を示す説明図である。
【図３】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図４】被写界画像データの出力値の配列を示す説明図である。
【図５】暗黒画像データの出力値の配列を示す説明図である。
【図６】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図７】図６のプログラムの続きを示す流れ図である。
【符号の説明】
１ 信号処理装置
３ ＣＣＤ
５ レリーズ釦
７ ＲＯＭ
９ ＲＡＭ
１１ ＲＡＭ
１３ ＣＰＵ
１５ ＲＡＭ
１９ ＥＥＰＲＯＭ
【発明の属する技術分野】
本発明は、画像信号のノイズを低減する信号処理装置、信号処理プログラム、および信号処理方法に関する。
【０００２】
【従来の技術】
従来、画像データのノイズ除去方法として次の２種類の方法が知られている。
第１の方法は、メディアンフィルタにより特異点を平滑化する方法である。具体的には、局所領域中の濃度のメディアン値を出力濃度として与える方法である。例えば、３×３の領域を用いた場合、９個の濃度値を小さい順に並べ、メディアン値である小さい方から５番目の濃度値を求めればよい。このようなメディアンフィルタを画像データに施すことにより、輝点状や黒点状のノイズを特異点として画像データから除去可能となる。
【０００３】
第２の方法は、被写界画像から固定パターンノイズ画像を画素単位に減算する方法である。この被写界画像は、被写体を撮像素子で撮影して得られる画像データである。一方、固定パターンノイズ画像は、暗黒状態などの受光環境下において、撮影素子から出力されるノイズのみの画像データである。この減算処理により、被写体画像中の固定パターンノイズを同相除去し、固定パターンノイズの除去された画像データを得ることができる。
【０００４】
以下、この第２の方法を、数式で説明する。
Ｓ（ｍ） ：被写界画像の各画素の信号レベル
Ｓｏ（ｍ）：真の各画素の信号レベル
Ｎ（ｍ） ：各画素のノイズレベル
ｍ ：画素の番号
とすると、
Ｓ（ｍ）＝Ｓｏ（ｍ）＋Ｎ（ｍ）
と表すことができる。
【０００５】
また、ノイズレベルの内訳は、
Ｎ（ｍ）＝Ｎｒ（ｍ）＋Ｎｆ（ｍ）
Ｎｒ（ｍ）：ランダムノイズ
Ｎｆ（ｍ）：固定パターンノイズ
となる。
一般に、撮像素子の露光時間ｔが長くなるほど、固定パターンノイズは大きくなる。そのため、長時間露光では、Ｎｆ≫Ｎｒとなり、固定パターンノイズが支配的となる。このような場合、被写界画像から固体パターン画像を減算すると、
Ｓ0（ｍ）≒Ｓ（ｍ）−Ｎｆ（ｍ）
となる。すなわち、真の画素値に近い画像データを得ることができる。
【０００６】
従来、その他のノイズ除去技術として、下記の特許文献１が知られている。この特許文献１の従来装置は、固定パターンノイズ画像の画素値をレベル判定することによって、白キズ欠陥を検出する。一方、被写体画像の画素値をレベル判定することによって、飽和画素を検出する。この従来装置は、このような画素単位のノイズ状況判別に基づいて『白キズ』かつ『非飽和』の画素を選別し、選別した画素に限って上述した減算処理を実施する。
【０００７】
【特許文献１】
特開２００１−９４８８２（図１０のＳ５０，Ｓ５２）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した第１および第２の固定パターンノイズの除去方法では、固定パターンノイズをある程度除去することが可能であるが、次に挙げるような問題があった。
【０００９】
第１の方法では、膨大な画素数の一つ一つについて、局所領域内の複数の画素値を参照しつつ、メディアン値を求める必要がある。そのため、処理時間が膨大になる、或いは専用のハードウェアを用意しなければならないといった問題が生じる。
また、第１の方法では、全画素について、メディアン値との置換処理を実施するため、補間ミスが発生しやすく、偽色や偽パターンなどの弊害を生じやすい。
【００１０】
一方、第２の方法では、画素単位の単純な減算処理であるため、特別なハードウェアを用意することなく簡単に演算処理することができる。しかしながら、固定パターンノイズレベルが画像信号レベルと同程度になる場合には、固定パターンノイズを十分に取り除くことができないという問題があった。
【００１１】
さらに、特許文献１では、飽和画素に発生する白キズ欠陥に対して、ノイズ除去が有効に行われない。通常、白キズ欠陥の箇所は、白キズのノイズレベルが重畳するため、飽和画素となる可能性が高い。そのため、飽和画素のノイズ除去を単に禁止したのでは、白キズ欠陥が除去されずに多数残存ずるなどの支障を生じやすい。
本発明は、上述した問題に鑑みて、固定パターンノイズを的確に除去し、かつ新たなノイズを発生しにくいノイズ除去技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
以下、本発明について説明する。
【００１３】
本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１５】
また、本発明の信号処理装置は、画像ノイズ除去用の信号処理装置であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、を備え、前記処理部は、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１６】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求めるとともに、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１７】
また、本発明の信号処理プログラムは、画像データのノイズを除去するための信号処理プログラムであって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求めるとともに、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるものである。
【００１８】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された前記第１画像データと前記第２の記憶ステップにより記憶された前記第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００１９】
また、本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、前記第１の記憶ステップにより記憶された第１画像データと前記第２の記憶ステップにより記憶された第２画像データとを読み出して演算処理するステップとを有し、前記演算処理するステップは、前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、前記所定の画素における差分が、前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が、前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、前そのどちらでもない場合には、前記所定の画素の差分をそのまま用いることを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
【００２８】
（第１の実施形態）
図１は、デジタルカメラに内蔵される信号処理装置１を示すブロック図である。
この信号処理装置１は、被写界からの光を受光して電気信号に変換する撮像素子であるＣＣＤ３と、撮影時を決定するレリーズ釦５とを有している。また、信号処理装置１は、信号処理装置１を制御するためのプログラムを記憶したＲＯＭ７を有している。
【００２９】
また、信号処理装置１は、被写界を撮影することにより得られた第１画像データである被写界画像データを記録する第１記憶部としてのＲＡＭ９と、被写界画像データとは異なる受光条件（例えば、シャッターを閉じた暗黒状態）で撮影して得られた第２画像データである暗黒画像データを記録する第２記憶部としてのＲＡＭ１１とを有している。
【００３０】
さらに、信号処理装置１は、ＣＰＵ１３を有している。ＣＰＵ１３は、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して演算処理する処理部であり、また、その他の信号処理装置１の制御をも統括している。
そして、信号処理装置１は、ＲＡＭ９とＲＡＭ１１とのデータを用いてＣＰＵ１３で演算した結果を記憶するＲＡＭ１５と、ＲＡＭ１５からの画像信号出力１７Ｓを記憶するためのＥＥＰＲＯＭ１９とを有している。
【００３１】
次に、信号処理装置１での演算処理の概略を説明する。
この信号処理装置１の特徴点は、被写界画像データから固定パターンノイズを除去するために暗黒画像データを引き算する際に、引き過ぎることなくノイズ成分を効果的に除去することができる点にある。
そして、そのために、暗黒画像データに基づいて画素毎に、被写界画像データの出力値を同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とを切り換える。
【００３２】
以下、数式を用いて具体的に説明する。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であり、同色画素は縦、横、斜め方向に１画素飛んだ位置に配置されている。そのため、ｍライン目の画像データは、次式のように配列されている。
すなわち、第１画像データである被写界画像データＳは、
...,B(n-3,m),G(n-2,m),B(n-1,m),G(n,m),B(n+1,m),G(n+2,m),B(n+3,m),...
・・・（１）
と表される。
【００３３】
また、第２画像データである暗黒画像データＮは、
...,B'(n-3,m),G'(n-2,m),B'(n-1,m),G'(n,m),B'(n+1,m),G'(n+2,m),B'(n+3,m),...
・・・（２）
と表される。
【００３４】
従って、固定パターンノイズＮｆを除去するために、Ｇ（ｎ，ｍ）に対してＧ'（ｎ，ｍ）を減算する際に、Ｇ'（ｎ，ｍ）がＣＣＤ３の飽和レベルに近い値の場合、真の信号レベルＳｏはクリップされている可能性が高く、そのまま減算すると差分が小さくなり、暗い点ノイズとなることが多い。
そこで、暗黒画像データの出力値が、所定の閾値Ｐを超える場合、すなわち、Ｇ'（ｎ，ｍ）＞Ｐになった場合には、当該画素を同じｍライン目の２つ前にある同色近接画素と置換する。一方、暗黒画像データの出力値が閾値Ｐ以下である場合、すなわち、Ｇ'（ｎ，ｍ）≦Ｐになった場合には、被写界画像データの出力値から暗黒画像データの出力値を減算する。
【００３５】
例えば、Ｂ'（ｎ−１，ｍ）＞Ｐ，Ｇ'（ｎ＋２，ｍ）＞Ｐであるとすると、（１）式から（２）式を減算した後のノイズ除去データＮＲは、
...NR(n-3,m),NR(n-2,m),B(n-3,m),NR(n,m),NR(n+1,m),G(n,m),NR(n+3,m),...
・・・（３）
となる。
【００３６】
なお、ＣＣＤ３からの電気信号２１Ｓが不図示のＡ／Ｄ変換器によりデジタル信号に変換される際に１２ｂｉｔのデータとなる場合は、階調表現性能が４０９６階調になるので、閾値Ｐの値としては、ＣＣＤ３の飽和レベルに近い値にすることが好ましい。例えば、Ｐ＝３８００程度にする。
図３は、信号処理装置１での演算処理の流れを示す説明図である。
【００３７】
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムの処理ルーチンは、次のような構成になっている。
【００３８】
先ず、ステップＳ１１において、ベイヤ配列の任意の列を示す記号ｉに０が代入される。
次いで、ステップＳ１２において、ｉに１が加算される。
次いで、ステップＳ１３において、ベイヤ配列の任意の行を示す記号ｊに０が代入される。
【００３９】
次いで、ステップＳ１４において、ｊに１が加算される。
次いで、ステップＳ１５において、ｊが２より大きいか否かが判断される。ｊが２より大きいときはステップＳ１６に進む。一方、ｊが１または２のときはステップＳ２０に進み、ステップＳ２０において、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。そして、ステップＳ１９に進む。
【００４０】
ステップＳ１６では、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きいか否かが判断される。Ｎｆ（ｉ，ｊ）が閾値Ｐより大きくない場合はステップＳ１７に進む。一方、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きい場合はステップＳ１８に進む。
ステップＳ１７では、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。すなわち、被写界画像データの出力値から暗黒画像データの出力値が引かれる。
【００４１】
ステップＳ１８では、Ｓ（ｉ−２，ｊ）がＳｏ（ｉ，ｊ）に代入される。すなわち、現在処理中の画素の出力値として、同じ行にある２つ前の画素の出力値が代入される。
ステップＳ１９では、ｊがｋより小さいか否かが判断される。ｊがｋより小さい場合は、ステップＳ１４に戻り、ｊに１が加算され、ｊがｋより小さくない場合は、ステップＳ２１に進む。
【００４２】
ステップＳ２１では、ｉがｐより小さいか否かが判断される。ｉがｐより小さい場合は、ステップＳ１２に戻り、ｉに１が加算され、ｉがｐより小さくない場合は、全ての画素の処理が終了したことになり、演算処理を終了する。
上述した実施形態では、被写界画像データの出力値を２つ前にある同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とに切り換える。このような切り換え動作により、固定パターンノイズが飽和レベル近くまで大きく、真の信号レベルを復元できないと推定される画素に対しては、置換処理が実施される。その結果、減算処理による弊害が生じず、的確に固定パターンノイズを除去することができる。ひいては、写真やモニターに映し出された画像において目立つノイズを、確実に低減できる。
【００４３】
また、上述した実施形態のデジタルカメラの信号処理装置および信号処理方法では、場合分けの条件を暗黒画像データの出力値が閾値Ｐを超えるか否か、すなわち、固定パターンノイズが真の信号レベルを復元できないほど大きいと推定されるか否かとしたので、適切な閾値Ｐを設定することで、容易かつ的確に固定パターンノイズを除去することができる。
【００４４】
なお、上述した実施形態では、閾値Ｐを超える場合に同じ行の２つ前にある画素の出力値と置換した例について説明したが、いずれか１つの近接画素の出力値と置換しても良い。このような構成にすることにより、画像中のノイズをより強く抑止することができる。
また、上述した実施形態では、閾値Ｐを超える場合に近接画素の出力値と置換した例について説明したが、近接画素が演算処理済みである場合は、演算処理後の当該近接画素の出力値と置換しても良い。この場合、ノイズ除去された画素によって置換されるため、画像中のノイズをより強く抑止することができる。
【００４５】
なお、上述した実施形態では、閾値Ｐを被写界画像データから暗黒画像データを減算する際の飽和レベルに近い値にした例について説明した。しかしながら、固定パターンノイズを除去することができる値であればよい。例えば、ガンマ処理の出力に対する飽和レベルに近い値にするようにしても良い。
次に、第２の実施形態について説明する。
【００４６】
（第２の実施形態）
第２の実施形態の信号処理装置は、第１の実施形態（図１）と同じため、ここでの重複説明を省略する。
第２の実施形態では、被写界画像データの出力値と暗黒画像データの出力値との差分をＣＰＵ１３で算出し、画素毎に同色近接画素の差分の最大値および最小値を算出し、この最大値および最小値を閾値として場合分けして演算処理を行う。
【００４７】
以下、数式を用いて具体的に説明する。
任意画素の被写界画像データの出力値をＳ（ｉ，ｊ）とすると、Ｓ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図４のように示される。
また、同様に、任意画素の暗黒画像データの出力値を固定パターンノイズの出力値Ｎｆ（ｉ，ｊ）とすると、Ｎｆ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図５のように示される。
【００４８】
被写界画像データから暗黒画像データを減算すると、
Ｓｏ（ｉ，ｊ）＝Ｓ（ｉ，ｊ）−Ｎｆ（ｉ，ｊ）
Ｓｏ（ｉ，ｊ）：真の各画素の信号レベル
となる。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であるため、同色画素は行方向、列方向ともに１画素飛びに配置されている。
【００４９】
そのため、Ｓ（ｉ，ｊ）がＲまたはＢ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）に対応する画素として、８個存在する。
一方、Ｓ（ｉ，ｊ）がＧ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）、Ｓ（ｉ−１，ｊ−１）、Ｓ（ｉ−１，ｊ＋１）、Ｓ（ｉ＋１，ｊ−１）、Ｓ（ｉ＋１，ｊ＋１）に対応する画素として、１２個存在する。
【００５０】
そして、この第２の実施形態では、被写界画像データから暗黒画像データを減算したときに、過剰に減算したり、過小に減算したりしてしまうのを防止するために、同色近接画素の真の信号レベル出力値（差分）の最大値Ｓｏｍａｘ（ｉ，ｊ）と最小値Ｓｏｍｉｎ（ｉ，ｊ）を求める。
そして、
Ｓｏ（ｉ，ｊ）＞（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（輝点ノイズ）となっている可能性が高いため、同色近接画素の最大値Ｓｏｍａｘ（ｉ，ｊ）と置換をする。
【００５１】
一方、
Ｓｏ（ｉ，ｊ）＜（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（黒点ノイズ）となっている可能性が高いため、同色近接画素の最小値Ｓｏｍｉｎ（ｉ，ｊ）と置換をする。
また、
（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）≦Ｓｏ（ｉ，ｊ）≦（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ） Ｋ：任意の定数
の場合は、正常であると判断し、Ｓｏ（ｉ，ｊ）＝Ｓｏ（ｉ，ｊ）とし、同じ出力値を使用する。
【００５２】
図６および図７は、信号処理装置での演算処理の流れを示す説明図である。
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムは、次のような構成になっている。
【００５３】
先ず、ステップＳ１１０において、ベイヤ配列の任意の行を示す記号ｉに０が代入される。
次いで、ステップ１２０において、ｉに１が加算される。
次いで、ステップＳ１３０において、ベイヤ配列の任意の列を示す記号ｊに０が代入される。
【００５４】
次いで、ステップＳ１４０において、ｊに１が加算される。
次いで、ステップＳ１５０において、被写界画像データの出力値Ｓ（ｉ，ｊ）から暗黒画像データの出力値Ｎｆ（ｉ，ｊ）が減算され、真の各画素の信号レベルＳｏ（ｉ，ｊ）に代入される。
次いで、ステップＳ１６０において、ｊがｐより小さいか否かが判断される。ｊがｐより小さいときはステップＳ１４０に戻る。一方、ｊがｐより小さくないときはステップＳ１７０に進む。
【００５５】
ステップＳ１７０では、ｉがｋより小さいか否かが判断される。ｉがｋより小さいときはステップＳ１２０に戻る。一方、ｉがｋより小さくないときはステップＳ１８０に進む。
ステップＳ１８０では、ｉに１が代入される。
次いで、ステップＳ１９０において、ｉに１が加算される。
【００５６】
次いで、ステップＳ２００において、ｊに１が代入される。
次いで、ステップＳ２１０において、ｊに１が加算される。
次いで、ステップＳ２２０において、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最大値を求めてＳｏｍａｘ（ｉ，ｊ）とする。同様に、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最小値を求めてＳｏｍｉｎ（ｉ，ｊ）とする。
【００５７】
次いで、ステップＳ２３０において、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいときはステップＳ２４０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きくないときはステップＳ２５０に進む。
ステップＳ２４０では、Ｓｏ（ｉ，ｊ）にＳｏｍａｘ（ｉ，ｊ）が代入され、ステップＳ２５０に進む。
【００５８】
ステップＳ２５０では、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいときはステップＳ２６０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さくないときはステップＳ２７０に進む。
ステップＳ２６０では、Ｓｏ（ｉ，ｊ）にＳｏｍｉｎ（ｉ，ｊ）が代入され、ステップＳ２７０に進む。
【００５９】
ステップＳ２７０では、ｊがｐ−２より大きいか否かが判断される。ｊがｐ−２より大きくないときはステップＳ２１０に戻る。一方、ｊがｐ−２より大きいときはステップＳ２８０に進む。
ステップＳ２８０では、ｉがｋ−２より大きいか否かが判断される。ｉがｋ−２より大きくないときはステップＳ１９０に戻る。一方、ｉがｋ−２より大きいときは、全ての画素の処理が終了したことになり、演算処理を終了する。
【００６０】
この第２の実施形態では、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して差分を算出し、画素毎に閾値を決めて、信号処理の場合分けを行う。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００６１】
また、上述した第２の実施形態では、同色近接画素の差分の最大値および最小値に基づいて閾値を決定するので、所定範囲からはみ出した出力値を的確に排除することができる。
さらに、上述した第２の実施形態では、固定パターンノイズが大き過ぎると推定される画素の出力値（輝点ノイズ）は、近接画素の差分の最大値と置換され、固定パターンノイズが小さ過ぎると推定される画素の出力値（黒点ノイズ）は、近接画素の差分の最小値と置換されるので、近接画素の出力値の範囲内で置換されることになり、近接画素の色に溶け込ませることが可能である。
【００６２】
（第３の実施形態）
この第３の実施形態は、最大差分Ｓｏｍａｘおよび最小差分Ｓｏｍｉｎに代えて、『二番目に大きな差分Ｓｏｍａｘ２』および『二番目に小さな差分Ｓｏｍｉｎ２』を使用する点のみが、第２の実施形態と異なる。
すなわち、ステップＳ２３０において、『二番目に大きな差分Ｓｏｍａｘ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて大き過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍａｘ２と置換する。
【００６３】
一方、ステップＳ２５０において、『二番目に小さな差分Ｓｏｍｉｎ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて小さ過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍｉｎ２と置換する。
そのため、第２の実施形態のように近接画素の出力値の最大値や最小値と置換する場合に比べ、近接画素に固定パターンノイズが発生していた場合の影響を受けにくいといった利点がある。その結果、固定パターンノイズＮｆ（ｉ，ｊ）の過小差し引きや過大差し引きを抑止することができる。
【００６４】
なお、上述した第２および第３の実施形態では、閾値を、同色近接画素の差分の最大値および最小値などに基づいて決定した例について説明したが、同色近接画素の差分の標準偏差に基づいて、Ｋの値などを決定しても良い。
また、上述した第２および第３の実施形態では、Ｇ画素における近接画素の出力値の最大値および最小値を求めるときに、１２個の近接画素の出力値を対象とした例について説明したが、Ｒ画素やＢ画素と同様に８個の近接画素の出力値を対象としても良い。
【００６５】
さらに、上述した第２および第３の実施形態では、同色近接画素の差分の最大値および最小値と置換する例や、２番目に大きい値および２番目に小さい値と置換する例について説明した。しかしながら、複数の近接画素における差分の平均値やメディアン値と置換しても良い。ここで、複数の近接画素の選択条件について、好ましい例を挙げる。
【００６６】
（１）同色近接画素の出力値の大きい方から３つの平均値と同色近接画素の出力値の小さい方から３つの平均値により行う。
【００６７】
（２）同色近接画素をいくつかのブロックに分けて平均値を求めて、出力値の変化の傾向を考慮した上で、いずれか１つのブロックの出力値を用いる。
【００６８】
（３）（２）において、ブロックの分け方を少しずつ変更しその都度平均値を求め、出力値の変化の傾向を十分に考慮した上で、いずれか１つのブロックの分け方におけるいずれか１つのブロックの出力値を用いる。
【００６９】
以上説明したように、第２および第３の実施形態では、被写界画像データ（第１画像データ）と暗黒画像データ（第２画素データ）とを読み出して処理部により差分を算出し、画素毎に閾値を決めて場合分けして信号処理をする。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理およびノイズ除去処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００７０】
なお、上述した実施形態では、本発明を電子カメラに適用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を単体の信号処理装置（ＩＣなど）として実現したり、コンピュータによって実行される信号処理プログラムとして実現してもよい。また、本発明の信号処理方法をインターネットなどを通じて画像処理サービスとして提供してもよい。
【００７１】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【００７２】
【発明の効果】
本発明では、撮像素子のノイズ状況を画素毎に判別し、そのノイズ状況に応じて減算処理／置換処理を画素単位に動的に切り換えることができる。したがって、同相除去により固定パターンノイズを除去できないノイズ状況に応じて、置換処理を選択的に実行することが可能になり、第１画像データ中のノイズをより確実に除去することが可能になる。特に、本発明のノイズ除去技術では、減算処理によって新たなノイズが重畳するといった事態を顕著に改善することが可能になる。
【図面の簡単な説明】
【図１】信号処理装置の一実施形態を示すブロック図である。
【図２】ＣＣＤに使用されるベイヤ配列を示す説明図である。
【図３】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図４】被写界画像データの出力値の配列を示す説明図である。
【図５】暗黒画像データの出力値の配列を示す説明図である。
【図６】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図７】図６のプログラムの続きを示す流れ図である。
【符号の説明】
１ 信号処理装置
３ ＣＣＤ
５ レリーズ釦
７ ＲＯＭ
９ ＲＡＭ
１１ ＲＡＭ
１３ ＣＰＵ
１５ ＲＡＭ
１９ ＥＥＰＲＯＭ
Claims (6)
- 画像ノイズ除去用の信号処理装置であって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、
前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、
を備え、
前記処理部は、
前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、
前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、
前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、
そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる
ことを特徴とする信号処理装置。 - 画像ノイズ除去用の信号処理装置であって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、
前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、
を備え、
前記処理部は、
前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、
前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、
前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、
そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる
ことを特徴とする信号処理装置。 - 画像データのノイズを除去するための信号処理プログラムであって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、
前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求めるとともに、前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるための信号処理プログラム。 - 画像データのノイズを除去するための信号処理プログラムであって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１記憶部と、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２記憶部と、
前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求めるとともに、前記所定の画素における差分が前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、前記所定の画素における差分が前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる処理部として、コンピュータを機能させるための信号処理プログラム。 - 画像データのノイズを除去する信号処理方法であって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、
前記第１の記憶ステップにより記憶された前記第１画像データと前記第２の記憶ステップにより記憶された前記第２画像データとを読み出して演算処理するステップとを有し、
前記演算処理するステップは、
前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分の最大値と最小値とを求め、
前記所定の画素における差分が前記同色近接画素における差分の最大値と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記同色近接画素における差分の最大値に置換し、
前記所定の画素における差分が前記同色近接画素における差分の最小値と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記同色近接画素における差分の最小値に置換し、
そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる
ことを特徴とする信号処理方法。 - 画像データのノイズを除去する信号処理方法であって、
被写界からの光を、単一色成分のカラーフィルタが各画素に対応して配列された撮像素子にて受光することで得られた第１画像データを記録する第１の記憶ステップと、
前記撮像素子で暗黒を撮影することで得られるノイズデータからなる第２画像データを記録する第２の記憶ステップと、
前記第１の記憶ステップにより記憶された第１画像データと前記第２の記憶ステップにより記憶された第２画像データとを読み出して演算処理するステップとを有し、
前記演算処理するステップは、
前記第１の記憶ステップにより記憶された前記第１画像データの出力値から前記第２の記憶ステップにより記憶された前記第２画像データの出力値を減算する減算処理を行うことで差分を算出した後、所定の画素の同色近接画素における差分のうち、二番目に大きな差分と二番目に小さな差分とを求め、
前記所定の画素における差分が、前記同色近接画素における前記二番目に大きな差分と予め定めた定数とを加算した値を超過する場合に、該所定の画素の差分を前記二番目に大きな差分に置換し、
前記所定の画素における差分が、前記同色近接画素における前記二番目に小さな差分と予め定めた定数とを加算した値未満となる場合に、該所定の画素の差分を前記二番目に小さな差分に置換し、
そのどちらでもない場合には、前記所定の画素の差分をそのまま用いる
ことを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003030577A JP4337356B2 (ja) | 2002-02-07 | 2003-02-07 | 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002030414 | 2002-02-07 | ||
| JP2002092052 | 2002-03-28 | ||
| JP2003030577A JP4337356B2 (ja) | 2002-02-07 | 2003-02-07 | 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004005424A JP2004005424A (ja) | 2004-01-08 |
| JP2004005424A5 JP2004005424A5 (ja) | 2006-03-23 |
| JP4337356B2 true JP4337356B2 (ja) | 2009-09-30 |
Family
ID=30449106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003030577A Expired - Fee Related JP4337356B2 (ja) | 2002-02-07 | 2003-02-07 | 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4337356B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4745680B2 (ja) * | 2005-02-15 | 2011-08-10 | キヤノン株式会社 | 撮像装置および撮像方法 |
| JP4765387B2 (ja) * | 2005-04-27 | 2011-09-07 | 株式会社ニコン | ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム |
| JP4378341B2 (ja) | 2005-12-26 | 2009-12-02 | キヤノン株式会社 | 撮像装置及び補正方法 |
| JP4752515B2 (ja) * | 2006-01-12 | 2011-08-17 | 日産自動車株式会社 | 撮像装置、および多素子検出器の感度補正方法 |
| JP5040369B2 (ja) * | 2006-05-22 | 2012-10-03 | 富士通セミコンダクター株式会社 | 画像処理装置、および画像処理方法 |
| JP4629629B2 (ja) * | 2006-07-31 | 2011-02-09 | 大日本印刷株式会社 | デジタルカメラの偽色評価方法、デジタルカメラの偽色評価装置及びデジタルカメラの偽色評価プログラム |
| US8194984B2 (en) | 2007-03-05 | 2012-06-05 | Fujitsu Limited | Image processing system that removes noise contained in image data |
-
2003
- 2003-02-07 JP JP2003030577A patent/JP4337356B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004005424A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7548689B2 (en) | Image processing method | |
| JP4640508B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び撮像装置 | |
| JP4706635B2 (ja) | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ | |
| KR100735561B1 (ko) | 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치 | |
| JP2003204486A (ja) | 撮像装置 | |
| JP5060535B2 (ja) | 画像処理装置 | |
| JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
| US7843501B2 (en) | Image sensing apparatus and defect correction method | |
| JP2010277267A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2010268426A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US7239758B2 (en) | Signal processing device for reducing noise of image signal, signal processing program, and signal processing method | |
| JP4337356B2 (ja) | 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 | |
| WO2010116400A1 (ja) | 被写体動き検出装置および方法 | |
| JPH1132236A (ja) | 画像処理装置 | |
| KR100690171B1 (ko) | 이미지 보정 회로 및 이미지 보정 방법 | |
| JP2010258620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6652290B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2011114473A (ja) | 画素欠陥補正装置 | |
| JP2005149266A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2004201207A (ja) | ノイズ低減装置、撮像装置、およびノイズ低減プログラム | |
| JP2004248006A (ja) | 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム | |
| JP4322258B2 (ja) | ノイズ処理装置および撮像装置 | |
| JP2006014163A (ja) | 固体撮像装置およびスミア補正方法 | |
| JP2007295260A (ja) | 画像処理方法およびデジタルカメラ | |
| JP2006148748A (ja) | 画素欠陥補正装置および画素欠陥補正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4337356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150710 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150710 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150710 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |