JP2005110176A - ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 - Google Patents
ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 Download PDFInfo
- Publication number
- JP2005110176A JP2005110176A JP2003344319A JP2003344319A JP2005110176A JP 2005110176 A JP2005110176 A JP 2005110176A JP 2003344319 A JP2003344319 A JP 2003344319A JP 2003344319 A JP2003344319 A JP 2003344319A JP 2005110176 A JP2005110176 A JP 2005110176A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- image
- pixel
- color information
- noise removal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims description 13
- 230000000052 comparative effect Effects 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】固定パターンノイズを効果的に除去するノイズ除去方法、ノイズ除去処理プログラムおよびノイズ除去装置を提供すること。
【解決手段】
撮像装置1において、固定パターンノイズを含んだ対象画像と、暗黒状態で撮影され固定パターンノイズの位置情報が記録されたノイズ画像の画像データを撮影する。色情報の値が設定したしきい値以上となる画素の位置をノイズ画像から抽出し、対象画像におけるその位置の画素の色情報を、5×5メディアンフィルタ処理によって周囲の画素の色情報の中間値と置き換えることにより、対象画像から固定パターンノイズを除去する。
【選択図】図1
【解決手段】
撮像装置1において、固定パターンノイズを含んだ対象画像と、暗黒状態で撮影され固定パターンノイズの位置情報が記録されたノイズ画像の画像データを撮影する。色情報の値が設定したしきい値以上となる画素の位置をノイズ画像から抽出し、対象画像におけるその位置の画素の色情報を、5×5メディアンフィルタ処理によって周囲の画素の色情報の中間値と置き換えることにより、対象画像から固定パターンノイズを除去する。
【選択図】図1
Description
本発明は、撮像装置により撮影された画像に存在する固定パターンノイズを除去するノイズ除去技術に関する。
デジタルカメラにおいて、CCDの暗電流によって固定パターンノイズが発生することが知られている。この固定パターンノイズを除去する撮像装置として、信号光のない状態でCCDを駆動させて暗黒画像を撮影し、その暗黒画像から固定パターンノイズの位置とレベルを検出するものがある。検出した固定パターンノイズの情報に基づいて、撮影画像から固定パターンノイズの成分を減算することにより、固定パターンノイズを除去する。(特許文献1)
しかし、固定パターンノイズのレベルは、CCDの駆動時間によって変化するため、撮影画像と暗黒画像の固定パターンノイズのレベルは、必ずしも同一ではない。両者の固定パターンノイズのレベルが同一でない場合、撮影画像から暗黒画像の固定パターンノイズ成分を減算すると、求められた色情報の値は、撮影した画像本来のものとはならない。また、固定パターンノイズを含んだ撮影画像において、撮影した画像本来の色情報の値と、重畳される固定パターンノイズの色情報の値との合計が、色情報の値を示すデータの最大値を越える条件下では、撮影画像の色情報の値は、データの最大値でクリップされる。この場合にも、撮影画像から暗黒画像の固定パターンノイズ成分を減算すると、求められた色情報の値は、撮影した画像本来のものとはならない。したがって、前述の撮像装置のように、撮影画像のデータから、暗黒画像より検出した固定パターンノイズの成分を減算する方法では、固定パターンノイズを正しく除去できず、除去した後の画像に新たなノイズが現れることがある。
請求項1の発明は、撮像装置で撮影した画像の固定パターンノイズを除去するノイズ除去方法において適用され、色情報を有する複数の画素より構成されて固定パターンノイズを含む対象画像を取得する対象画像取得ステップと、色情報を有する複数の画素より構成されて固定パターンノイズの位置情報が記録されたノイズ画像を取得するノイズ画像取得ステップと、ノイズ画像を構成する画素の色情報の値がしきい値以上となるか否かを判定し、しきい値以上となる場合はその画素の位置を抽出するノイズ位置抽出ステップと、対象画像を構成する画素のうち、ノイズ位置抽出ステップで抽出された位置にある画素(注目画素とする)の色情報を、その注目画素の周囲に位置する画素の色情報で置き換えることにより、対象画像より固定パターンノイズを除去するノイズ除去ステップとを有するものである。
請求項2の発明は、請求項1のノイズ除去方法において、ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつとするものである。
請求項3の発明は、請求項1または2に記載のノイズ除去方法において、ノイズ除去ステップは、注目画素の色情報の値を、注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によるとするものである。
請求項4の発明は、請求項1〜3のいずれかに記載のノイズ除去方法において、ノイズ画像は、撮像装置のシャッタを閉じた暗黒の状態において撮影された画像とするものである。
請求項5の発明は、撮像装置で撮影した画像の固定パターンノイズを除去するノイズ除去方法において適用され、色情報を有する複数の画素より構成されて固定パターンノイズを含まない条件下で撮影された比較画像を取得する比較画像取得ステップと、色情報を有する複数の画素より構成されて比較画像より少なくとも長い露光時間で撮影された、固定パターンノイズを含む対象画像を取得する対象画像取得ステップと、対象画像の明るさに合わせて比較画像を補正する比較画像補正ステップと、比較画像補正ステップで補正された画像を構成する画素の色情報の値と、対象画像を構成する画素の色情報の値との差分を、同じ座標の画素についてそれぞれ計算する差分計算ステップと、差分計算ステップで計算された差分の値がしきい値以上となるか否かを判定し、しきい値以上となる場合はその画素の位置を抽出するノイズ位置抽出ステップと、対象画像を構成する画素のうち、ノイズ位置抽出ステップで抽出された位置にある画素(注目画素とする)の色情報を、その注目画素の周囲に位置する画素の色情報で置き換えることにより、対象画像より固定パターンノイズを除去するノイズ除去ステップとを有するものである。
請求項6の発明は、請求項5のノイズ除去方法において、ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつとするものである。
請求項7の発明は、請求項5または6に記載のノイズ除去方法において、ノイズ除去ステップは、注目画素の色情報の値を、注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によるとするものである。
請求項8の発明は、請求項5〜7のいずれかに記載のノイズ除去方法において、比較画像補正ステップは、対象画像と比較画像の露光時間に基づいて、比較画像を構成する各画素の色情報の値を変更する階調処理によるとするものである。
請求項9の発明は、請求項5〜8のいずれかに記載のノイズ除去方法において、比較画像は、適正露出が得られるように決定される露光時間で、対象画像と同じ被写体を撮影した画像とするものである。
請求項10の発明は、請求項1〜9に記載のいずれかのノイズ除去方法を実行するノイズ除去処理プログラムである。
請求項11の発明は、請求項10のノイズ除去処理プログラムを搭載し、そのノイズ除去処理プログラムを実行してノイズを除去するノイズ除去装置である。
請求項2の発明は、請求項1のノイズ除去方法において、ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつとするものである。
請求項3の発明は、請求項1または2に記載のノイズ除去方法において、ノイズ除去ステップは、注目画素の色情報の値を、注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によるとするものである。
請求項4の発明は、請求項1〜3のいずれかに記載のノイズ除去方法において、ノイズ画像は、撮像装置のシャッタを閉じた暗黒の状態において撮影された画像とするものである。
請求項5の発明は、撮像装置で撮影した画像の固定パターンノイズを除去するノイズ除去方法において適用され、色情報を有する複数の画素より構成されて固定パターンノイズを含まない条件下で撮影された比較画像を取得する比較画像取得ステップと、色情報を有する複数の画素より構成されて比較画像より少なくとも長い露光時間で撮影された、固定パターンノイズを含む対象画像を取得する対象画像取得ステップと、対象画像の明るさに合わせて比較画像を補正する比較画像補正ステップと、比較画像補正ステップで補正された画像を構成する画素の色情報の値と、対象画像を構成する画素の色情報の値との差分を、同じ座標の画素についてそれぞれ計算する差分計算ステップと、差分計算ステップで計算された差分の値がしきい値以上となるか否かを判定し、しきい値以上となる場合はその画素の位置を抽出するノイズ位置抽出ステップと、対象画像を構成する画素のうち、ノイズ位置抽出ステップで抽出された位置にある画素(注目画素とする)の色情報を、その注目画素の周囲に位置する画素の色情報で置き換えることにより、対象画像より固定パターンノイズを除去するノイズ除去ステップとを有するものである。
請求項6の発明は、請求項5のノイズ除去方法において、ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつとするものである。
請求項7の発明は、請求項5または6に記載のノイズ除去方法において、ノイズ除去ステップは、注目画素の色情報の値を、注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によるとするものである。
請求項8の発明は、請求項5〜7のいずれかに記載のノイズ除去方法において、比較画像補正ステップは、対象画像と比較画像の露光時間に基づいて、比較画像を構成する各画素の色情報の値を変更する階調処理によるとするものである。
請求項9の発明は、請求項5〜8のいずれかに記載のノイズ除去方法において、比較画像は、適正露出が得られるように決定される露光時間で、対象画像と同じ被写体を撮影した画像とするものである。
請求項10の発明は、請求項1〜9に記載のいずれかのノイズ除去方法を実行するノイズ除去処理プログラムである。
請求項11の発明は、請求項10のノイズ除去処理プログラムを搭載し、そのノイズ除去処理プログラムを実行してノイズを除去するノイズ除去装置である。
本発明によれば、上記のように構成することで、固定パターンノイズを効果的に除去することができる。
――第1の実施の形態――
図1に、本発明によるノイズ除去方法を撮像装置に適用した第1の実施の形態を示す。この撮像装置は、信号光がない状態で撮影された暗黒画像より固定パターンノイズの位置を抽出し、対象とする撮影画像のその位置にある画素を周囲の画素によって補正することで、固定パターンノイズを除去するものである。撮像装置1は、レリーズボタン2、レンズ3、シャッタ4、CCD5、CPU11、ROM12、およびRAM13を有している。
図1に、本発明によるノイズ除去方法を撮像装置に適用した第1の実施の形態を示す。この撮像装置は、信号光がない状態で撮影された暗黒画像より固定パターンノイズの位置を抽出し、対象とする撮影画像のその位置にある画素を周囲の画素によって補正することで、固定パターンノイズを除去するものである。撮像装置1は、レリーズボタン2、レンズ3、シャッタ4、CCD5、CPU11、ROM12、およびRAM13を有している。
レリーズボタン2を押すことにより、CPU11はシャッタ4およびCCD5を制御して、固定パターンノイズの除去の対象とする画像(対象画像という)をレンズ3を介して撮影する。この対象画像には、CCD5において、固定パターンノイズが重畳される。また、本実施の形態では、このときに、シャッタ4を閉じた暗黒の状態において、対象画像と同じ露出時間だけCCD5を駆動させて得られる画像(ノイズ画像という)も合わせて撮影する。このノイズ画像にも、対象画像と同じ位置に固定パターンノイズが重畳される。そのため、ノイズ画像には固定パターンノイズのみが記録される。撮影されたこれらの画像は、画素ごとの色情報で構成されるデジタル信号に変換されてCCD5より出力され、RAM13に記憶される。この対象画像とノイズ画像により、CPU11は、RAM13を作業領域として、ROM12に記憶されたプログラムを実行する。
図2に、本実施の形態における固定パターンノイズを除去する処理のフローチャートを示す。このフローチャートは、ROM12に記憶されCPU11で実行されるプログラムに基づく処理フローである。ユーザがレリーズボタン2を押すことにより、CPU11はこの処理を開始する。
ステップS1において、前述した対象画像とノイズ画像とを撮影し、それらの画像データを取得して、RAM13に記憶する。これらの画像データは、その画像を構成する各画素が有するR(赤)G(緑)B(青)いずれかの色成分の色情報の値と、その画素の座標値とを組み合わせることにより、それぞれの画像を表現したものである。以下の説明におけるこれらの画像に対して行うさまざまな処理は、実際にはこのような画像データを用いて行われる。なお、撮影された画像データは、CCD5より出力されるときには各画素ごとにRGBいずれかの色成分の色情報しか有していないが、CPU11において各画素に対する色情報の補間処理を行うことで、各画素ごとにRGB全ての色情報を有するデータとなる。しかし、本実施の形態において用いる画像データは、この補間処理を行っておらず、各画素はRGBいずれか1つの色成分の色情報しか有していないものとする。
ステップS2において、固定パターンノイズの判定に用いるしきい値を設定する。このしきい値には、図示しない操作部材などによりユーザが選択している画質に応じて、3種類の値(高画質:αH、中画質:αM、低画質:αL)のうちのいずれかを設定する。このとき、高い画質ほど除去する固定パターンノイズが多くなるよう、画質が高くなるにつれて低い値を設定し、たとえばαH=128、αM=512、αL=1024とする。ここで、αH、αM、αLの各値は、色情報の値を10ビット(0〜1024)で表したときの値とする。このようにして、固定パターンノイズの判定に用いるしきい値を可変とし、ユーザが選択する画質に応じて除去する固定パターンノイズの数を変化させることで、処理時間を調節することができる。
ステップS3において、ステップS1で読み込んだノイズ画像を各画素ごとに順次スキャンし、各画素について色情報の値がステップS2で設定したしきい値以上であるかどうかを判定する。色情報の値がしきい値以上である場合は、その画素には固定パターンノイズが含まれるとして、次のステップS4において、その画素の位置(座標)を抽出する。このとき、画像全体における画素の横軸の座標をi、縦軸の座標をjとして、式(1)によって表されるA(i,j)の値を各画素ごとについて記憶する。このようにすることで、どの座標の画素に固定パターンノイズが含まれるのかを判断することができ、固定パターンノイズが含まれる画素の位置を抽出できる。
A(i,j)=1(しきい値以上であるとき)
=0(しきい値未満であるとき) (1)
A(i,j)=1(しきい値以上であるとき)
=0(しきい値未満であるとき) (1)
ステップS5において、ステップS1で読み込んだ対象画像を構成する画素のうち、ステップS4で抽出した位置と同じ位置にある画素の1つを特定する。これは、すなわち次のように言い換えることができる。ステップS4で記憶した各画素の座標におけるA(i,j)の値のうち、座標(i1,j1)において、A(i1,j1)=1であったとする。このとき、ステップS5では、対象画像において座標(i1,j1)の画素を特定する。なお、これ以外にも、たとえば座標(i2,j2)においてA(i2,j2)=1であった場合は、座標(i1,j1)または座標(i2,j2)の画素のいずれか1つを、ステップS5で特定する。ここで、一度ステップS5において特定した画素については、その後繰り返されるステップS5において再度特定することはない。
ステップS6において、ステップS5で特定した画素に対して、5×5メディアンフィルタ処理を行う。この処理について、図3を用いて以下に説明する。図3は、対象画像の一部分を各画素が確認できる程度まで拡大した図である。ここで、対象画像は単板式RGBベイヤ配列のCCD5を用いて撮影されているとする。図3における符号R、G、Bは、格子状に配列されたそれぞれの画素が、R(赤)、G(緑)、B(青)のどの色情報を有しているかを表している。
符号21に示す位置の画素が、ステップS5で特定された画素(注目画素)であるとする。このとき、注目画素21の色情報は、固定パターンノイズを含んだものであることになる。この注目画素21に対して5×5メディアンフィルタ処理を行うと、注目画素21の周囲5×5画素分の範囲(符号50に示す範囲)に位置する画素のうち、注目画素21と同じRGBの色成分の色情報を有する画素について、色情報の中間値が計算される。ここでは、注目画素21はG(緑)の色情報を有しているので、図中に網掛けで示す符号23〜34の画素について、色情報の中間値が計算される。なお、この色情報の中間値を計算するとき、注目画素21はその中に含まれない。
このようにして、注目画素21の周囲の画素について色情報の中間値が計算されると、次に、注目画素21の色情報の値を、計算された周囲画素の色情報の中間値で置き換える。周囲画素23〜34のうち、固定パターンノイズをその色情報に含むものが半数未満、すなわち12画素の周囲画素のうち、固定パターンノイズを含むものが5画素以下であれば、その中間値は固定パターンノイズの影響を受けない。そのため、このような周囲画素の色情報の中間値で置き換えられることで、注目画素21の色情報に含まれる固定パターンノイズは除去される。
固定パターンノイズは、露光時間が長く、また温度が高くなるにしたがって、数多く現れるようになる。しかし、撮像装置1が使用されるような露光時間や温度では、撮影される画像において、画質に影響を及ぼすような固定パターンノイズが現れる数は多くない。そのため、本発明においては、上述した置き換え処理に用いる周辺画素のうち、固定パターンノイズを含むものは半数未満であり、その画素の色情報より計算される中間値は、固定パターンノイズの影響を受けない。したがって、上述した置き換え処理によって、注目画素21の固定パターンノイズを除去できる。
以上の説明は、注目画素がG(緑)の色情報を有する場合について述べたものであり、このとき注目画素の周囲に位置する12画素分の色情報の中間値によって、注目画素の色情報を置き換える。しかし、注目画素がR(赤)またはB(青)の色情報を有する場合、画素の配列の違いによって、色情報の中間値を計算する周囲画素の数が上記の説明とは異なる。たとえば、注目画素が符号22に示すR(赤)の色情報を有する画素である場合、符号35〜42に示す周囲8画素分の色情報の中間値を計算する。この周囲の8画素分の中間値で、注目画素22の色情報が置き換えられる。また、注目画素がB(青)の色情報を有する画素である場合も、上述したR(赤)の場合と同様に、周囲の8画素分の中間値を計算する。
以上説明したようにして、ステップS6において5×5メディアンフィルタ処理を行うことで、ステップS5で特定した注目画素の色情報に含まれる固定パターンノイズを除去する。
ステップS7において、ステップS3でしきい値以上であると判定された画素の位置と同じ位置にある対象画像の画素のすべてを、ステップS5で特定したか否かを判定する。すべてを特定したと判定した場合は、処理を終了する。すべては特定していないと判定した場合は、ステップS5に戻って、前述の処理を繰り返す。
以上説明した処理を行うことで、撮影した対象画像より固定パターンノイズを除去する。
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)固定パターンノイズが含まれる注目画素について、その周囲に位置する画素の色情報を用いて注目画素の色情報を置き換え、固定パターンノイズを除去することとしたので、効果的に対象画像の固定パターンノイズを除去することができる。
(2)固定パターンノイズの判定に用いるしきい値を可変としたので、固定パターンノイズを除去する画素の数を変化することができ、処理時間を調節することができる。
(3)メディアンフィルタ処理を用いて注目画素の色情報を周囲の画素の色情報で置き換えることとしたので、固定パターンノイズを除去したときに視覚的に違和感のない色とすることができる。
(4)暗黒状態で撮影した画像を用いて固定パターンノイズが含まれる画素の位置を抽出することとしたので、1つの画像に対する処理で固定パターンノイズが含まれる画素の位置を全て抽出することができ、処理時間を短縮することができる。
(1)固定パターンノイズが含まれる注目画素について、その周囲に位置する画素の色情報を用いて注目画素の色情報を置き換え、固定パターンノイズを除去することとしたので、効果的に対象画像の固定パターンノイズを除去することができる。
(2)固定パターンノイズの判定に用いるしきい値を可変としたので、固定パターンノイズを除去する画素の数を変化することができ、処理時間を調節することができる。
(3)メディアンフィルタ処理を用いて注目画素の色情報を周囲の画素の色情報で置き換えることとしたので、固定パターンノイズを除去したときに視覚的に違和感のない色とすることができる。
(4)暗黒状態で撮影した画像を用いて固定パターンノイズが含まれる画素の位置を抽出することとしたので、1つの画像に対する処理で固定パターンノイズが含まれる画素の位置を全て抽出することができ、処理時間を短縮することができる。
――第2の実施の形態――
本発明によるノイズ除去方法を撮像装置に適用した第2の実施の形態を以下に説明する。この撮像装置は、第1の実施の形態におけるノイズ画像に代えて、短い露光時間で撮影された、固定パターンノイズが記録されていない画像(比較画像という)を用いるものである。本実施の形態では、この比較画像を補正して得られる画像と、対象画像との色情報の差分を計算することにより、固定パターンノイズの位置を抽出する。なお、本実施の形態における撮像装置の構成は、第1の実施の形態と同じであるため、図示を省略する。
本発明によるノイズ除去方法を撮像装置に適用した第2の実施の形態を以下に説明する。この撮像装置は、第1の実施の形態におけるノイズ画像に代えて、短い露光時間で撮影された、固定パターンノイズが記録されていない画像(比較画像という)を用いるものである。本実施の形態では、この比較画像を補正して得られる画像と、対象画像との色情報の差分を計算することにより、固定パターンノイズの位置を抽出する。なお、本実施の形態における撮像装置の構成は、第1の実施の形態と同じであるため、図示を省略する。
前述したように、固定パターンノイズは、露光時間が長くなるにしたがって、数多く現れるようになる。そのため、露光時間を所定値以下とし、CCD5の駆動時間を短くすることで、固定パターンノイズが含まれない比較画像を撮影することができる。すなわち、固定パターンノイズを含んだ対象画像と同一の被写体を所定値以下の露光時間で撮影し、撮影された比較画像と対象画像とを比較することで、対象画像の撮影条件により近い条件において、固定パターンノイズの位置情報を得ることができる。このとき、撮影される比較画像はそのままでは明るさが不足しているため、対象画像に合わせて明るさを補正することで、比較画像と対象画像とを比較できるようにする。なお、比較画像の撮影において、露光時間、すなわちCCD5の駆動時間を短くしすぎると、撮影される画像の明るさが足りず、対象画像に合わせて明るさを補正できなくなる。そのため、比較画像を撮影するときの露光時間は、対象画像の露光時間に基づいて、各種の実験などにより設定された関係から決定される。
図4に、本実施の形態における固定パターンノイズを除去する処理のフローチャートを示す。このフローチャートは、第1の実施の形態と同様に、ROM12に記憶されCPU11で実行されるプログラムに基づく処理フローであり、ユーザがレリーズボタン2を押すことにより実行される。
ステップS11において、第1の実施の形態と同様の対象画像と、前述した比較画像とを撮影し、それらの画像データを取得して、RAM13に記憶する。この比較画像は、前述したように、対象画像を撮影したときの露光時間により決定されるより短い露光時間において、対象画像と同一の被写体を撮影したものである。なお、比較画像の画像データも対象画像の画像データと同様に、その画像を構成する各画素が有するRGBいずれかの色成分の値と、その画素の座標値とを組み合わせることにより、その画像を表現したものであるとする。このとき、各画素はRGBいずれか1つの色成分の色情報しか有していないものとする。
ステップS2では、第1の実施の形態と同じ処理を行い、固定パターンノイズの判定に用いるしきい値を設定する。
ステップS12において、比較画像を、対象画像の明るさに合わせて補正する。この比較画像の補正は、ROM12に記憶された参照テーブルに基づいて、各画素の色情報の値を所定の値に変更する階調処理によって行う。このとき、異なる複数の参照テーブルがROM12に記憶されており、対象画像と比較画像の露光時間によって、使用する参照テーブルが決定される。なお、参照テーブルの値は、各種の実験などによって決められたものが設定される。
ステップS13において、ステップS11で撮影した対象画像の各画素の色情報の値と、ステップS12で補正した比較画像の各画素の色情報の値との差分を、同じ座標の画素について、それぞれ計算する。さらに、それぞれの画素について計算された差分の値が、ステップS2で設定したしきい値以上であるかどうかを、各画素の座標ごとに判定する。差分の値がしきい値以上である場合は、対象画像のその座標に位置する画素には固定パターンノイズが含まれるとして、次のステップS14において、その画素の位置(座標)を抽出する。このとき、第1の実施の形態と同様に、式(1)によって表されるA(i,j)の値を各画素ごとについて記憶し、これにより、各画素の色情報の値がしきい値以上であるか否かを判断する。
ステップS5以降の処理は、第1の実施の形態と同じ処理を行う。このとき、第1の実施の形態と同様に、図3の周辺画素23〜34のうち、固定パターンノイズを含むものは半数程度以下であり、その画素の色情報より計算される中間値には、固定パターンノイズが含まれないものとする。したがって、ステップS5において特定した画素に対して、ステップS6において5×5メディアンフィルタ処理を行い、ステップS5〜S7を繰り返すことで、ステップS13で固定パターンノイズが含まれると判定された対象画像の画素を補正する。
以上説明した処理を行うことで、撮影した対象画像より固定パターンノイズを除去する。
上述した第2の実施の形態による撮像装置によれば、第1の実施の形態における作用効果に加えて、対象画像の露光時間に基づいて決定されるより短い露光時間で対象画像と同一の被写体を撮影した、固定パターンノイズが含まれない比較画像を用いて、対象画像と比較画像の色情報の差によって、固定パターンノイズが含まれる画素の位置を抽出することとした。そのため、対象画像の撮影条件により近い条件で、固定パターンノイズを除去することができる。
上記の実施の形態では5×5のメディアンフィルタ処理に限定して説明したが、これに限定されず、注目画素の周囲にある任意の数の画素に対して、メディアンフィルタ処理を行うことができる。
上記の実施の形態においては、固定パターンノイズを判定するしきい値は、ユーザが選択している画質に応じて3種類の値のいずれかから設定することとしたが、この内容に限定する必要はない。しきい値の種類を任意とすることもできるし、また、ノイズ画像の色情報や、対象画像と比較画像より計算された色情報に基づいて、固定パターンノイズと判定される画素が一定数となるよう、自動的にしきい値を設定してもよい。
上記の実施の形態では、RGBベイヤ配列による画像データの例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データや、その他の配列による画像データであってもよい。また、1つの画素が複数の色成分の色情報を有することとしてもよい。
上記の実施の形態では、撮像装置1のCPU11で固定パターンノイズを除去する処理を行う例を説明したが、この内容に限定する必要はない。たとえば、そのような処理プログラムを搭載したノイズ除去装置を用いて、撮像装置から画像を取り込んで処理するようにしてもよいし、パソコンにそのような処理プログラムを搭載してもよい。すなわち、画像データを取り込んで処理するあらゆる装置に本発明を適用することができる。したがって、デジタルスチルカメラやデジタルビデオカメラにも本発明を適用できる。
以上の実施の形態において、図2のステップS1が対象画像とノイズ画像の取得ステップに、ステップS3〜S5がノイズ位置抽出ステップに、ステップS6がノイズ除去ステップにそれぞれ相当する。また、図4のステップS11が比較画像と対象画像の取得ステップに、ステップS12が比較画像補正ステップに、ステップS13が差分計算ステップに、ステップS14、S5がノイズ位置抽出ステップに、ステップS6がノイズ除去ステップにそれぞれ相当する。
1 ノイズ除去装置
2 レリーズボタン
3 レンズ
4 シャッタ
5 CCD
11 CPU
12 ROM
13 RAM
2 レリーズボタン
3 レンズ
4 シャッタ
5 CCD
11 CPU
12 ROM
13 RAM
Claims (11)
- 撮像装置で撮影した画像の固定パターンノイズを除去するノイズ除去方法において、
色情報を有する複数の画素より構成されて固定パターンノイズを含む対象画像を取得する対象画像取得ステップと、
色情報を有する複数の画素より構成されて固定パターンノイズの位置情報が記録されたノイズ画像を取得するノイズ画像取得ステップと、
前記ノイズ画像を構成する画素の色情報の値がしきい値以上となるか否かを判定し、しきい値以上となる場合はその画素の位置を抽出するノイズ位置抽出ステップと、
前記対象画像を構成する画素のうち、前記ノイズ位置抽出ステップで抽出された位置にある画素(注目画素とする)の色情報を、その注目画素の周囲に位置する画素の色情報で置き換えることにより、前記対象画像より固定パターンノイズを除去するノイズ除去ステップとを有することを特徴とするノイズ除去方法。 - 請求項1のノイズ除去方法において、
前記ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつであることを特徴とするノイズ除去方法。 - 請求項1または2に記載のノイズ除去方法において、
前記ノイズ除去ステップは、前記注目画素の色情報の値を、前記注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によることを特徴とするノイズ除去方法。 - 請求項1〜3のいずれかに記載のノイズ除去方法において、
前記ノイズ画像は、撮像装置のシャッタを閉じた暗黒の状態において撮影された画像であることを特徴とするノイズ除去方法。 - 撮像装置で撮影した画像の固定パターンノイズを除去するノイズ除去方法において、
色情報を有する複数の画素より構成されて固定パターンノイズを含まない条件下で撮影された比較画像を取得する比較画像取得ステップと、
色情報を有する複数の画素より構成されて前記比較画像より少なくとも長い露光時間で撮影された、固定パターンノイズを含む対象画像を取得する対象画像取得ステップと、
前記対象画像の明るさに合わせて前記比較画像を補正する比較画像補正ステップと、
前記比較画像補正ステップで補正された画像を構成する画素の色情報の値と、前記対象画像を構成する画素の色情報の値との差分を、同じ座標の画素についてそれぞれ計算する差分計算ステップと、
前記差分計算ステップで計算された差分の値がしきい値以上となるか否かを判定し、しきい値以上となる場合はその画素の位置を抽出するノイズ位置抽出ステップと、
前記対象画像を構成する画素のうち、前記ノイズ位置抽出ステップで抽出された位置にある画素(注目画素とする)の色情報を、その注目画素の周囲に位置する画素の色情報で置き換えることにより、前記対象画像より固定パターンノイズを除去するノイズ除去ステップとを有することを特徴とするノイズ除去方法。 - 請求項5のノイズ除去方法において、
前記ノイズ位置抽出ステップのしきい値は、複数の異なる値から選択されたいずれかひとつであることを特徴とするノイズ除去方法。 - 請求項5または6に記載のノイズ除去方法において、
前記ノイズ除去ステップは、前記注目画素の色情報の値を、前記注目画素の周囲に位置する同一色の画素の色情報の中間値で置き換えるメディアンフィルタ処理によることを特徴とするノイズ除去方法。 - 請求項5〜7のいずれかに記載のノイズ除去方法において、
前記比較画像補正ステップは、前記対象画像と前記比較画像の露光時間に基づいて、前記比較画像を構成する各画素の色情報の値を変更する階調処理によることを特徴とするノイズ除去方法。 - 請求項5〜8のいずれかに記載のノイズ除去方法において、
前記比較画像は、適正露出が得られるように決定される露光時間で、前記対象画像と同じ被写体を撮影した画像であることを特徴とするノイズ除去方法。 - 請求項1〜9に記載のいずれかのノイズ除去方法を実行するためのノイズ除去処理プログラム。
- 請求項10のノイズ除去処理プログラムを搭載し、そのノイズ除去処理プログラムを実行するノイズ除去装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003344319A JP2005110176A (ja) | 2003-10-02 | 2003-10-02 | ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 |
US10/953,411 US20050073596A1 (en) | 2003-10-02 | 2004-09-30 | Noise removal method, storage medium having stored therein noise removal processing program and noise removing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003344319A JP2005110176A (ja) | 2003-10-02 | 2003-10-02 | ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005110176A true JP2005110176A (ja) | 2005-04-21 |
Family
ID=34386306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003344319A Pending JP2005110176A (ja) | 2003-10-02 | 2003-10-02 | ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20050073596A1 (ja) |
JP (1) | JP2005110176A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007129671A (ja) * | 2005-11-01 | 2007-05-24 | Magnachip Semiconductor Ltd | イメージセンサの画質改善装置及びその方法 |
JP2010500125A (ja) * | 2006-08-07 | 2010-01-07 | エレクトロ−オプティカル サイエンシス インコーポレイテッド | デジタル画像のノイズを低減する方法 |
KR101170260B1 (ko) | 2010-02-02 | 2012-07-31 | 아즈빌주식회사 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 |
US20170000300A1 (en) * | 2015-06-30 | 2017-01-05 | Zhejiang Aike Appliances Co., Ltd. | Hand dryer |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8896725B2 (en) * | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
KR101119969B1 (ko) * | 2004-11-09 | 2012-02-22 | 삼성전자주식회사 | 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법 |
EP1934653A2 (en) * | 2005-09-08 | 2008-06-25 | X-Rite, Inc. | Devices and methods for targeting printing plates and measuring dot coverage thereon |
US8237138B2 (en) * | 2005-09-08 | 2012-08-07 | X-Rite, Inc. | Systems and method for optical scatter imaging of latent image plates |
JP4378341B2 (ja) * | 2005-12-26 | 2009-12-02 | キヤノン株式会社 | 撮像装置及び補正方法 |
JP4284628B2 (ja) * | 2006-12-15 | 2009-06-24 | ソニー株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
DE102006060001A1 (de) * | 2006-12-19 | 2008-07-03 | Siemens Ag | Bestimmen des Fixed Pattern Noise während des Kamerabetriebs |
KR20130003135A (ko) * | 2011-06-30 | 2013-01-09 | 삼성전자주식회사 | 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치 |
WO2016183744A1 (en) * | 2015-05-15 | 2016-11-24 | SZ DJI Technology Co., Ltd. | Color correction system and method |
US11144780B2 (en) | 2019-07-30 | 2021-10-12 | Snap-On Incorporated | Adaptive image processing |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5042078A (en) * | 1987-06-19 | 1991-08-20 | Fuji Photo Film Co., Ltd. | Method of effecting gradation and color correction of a composite image |
US7113210B2 (en) * | 2002-05-08 | 2006-09-26 | Hewlett-Packard Development Company, L.P. | Incorporating pixel replacement for negative values arising in dark frame subtraction |
US7280141B1 (en) * | 2003-09-23 | 2007-10-09 | Pixim Inc | Fixed pattern noise subtraction in a digital image sensor |
-
2003
- 2003-10-02 JP JP2003344319A patent/JP2005110176A/ja active Pending
-
2004
- 2004-09-30 US US10/953,411 patent/US20050073596A1/en not_active Abandoned
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007129671A (ja) * | 2005-11-01 | 2007-05-24 | Magnachip Semiconductor Ltd | イメージセンサの画質改善装置及びその方法 |
JP4654118B2 (ja) * | 2005-11-01 | 2011-03-16 | クロステック・キャピタル,リミテッド・ライアビリティ・カンパニー | イメージセンサの画質改善装置及びその方法 |
US8199216B2 (en) | 2005-11-01 | 2012-06-12 | Intellectual Ventures Ii Llc | Apparatus and method for improving image quality of image sensor |
JP2010500125A (ja) * | 2006-08-07 | 2010-01-07 | エレクトロ−オプティカル サイエンシス インコーポレイテッド | デジタル画像のノイズを低減する方法 |
KR101170260B1 (ko) | 2010-02-02 | 2012-07-31 | 아즈빌주식회사 | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 |
US20170000300A1 (en) * | 2015-06-30 | 2017-01-05 | Zhejiang Aike Appliances Co., Ltd. | Hand dryer |
US10194775B2 (en) * | 2015-06-30 | 2019-02-05 | Zhejiang Aike Appliances Co., Ltd. | Hand dryer |
Also Published As
Publication number | Publication date |
---|---|
US20050073596A1 (en) | 2005-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8872937B2 (en) | Image capture apparatus and image capturing method | |
JP2005130297A (ja) | 信号処理システム、信号処理方法、信号処理プログラム | |
US8982234B2 (en) | Information processing apparatus and method | |
JP2005110176A (ja) | ノイズ除去方法、ノイズ除去処理プログラム、およびノイズ除去装置 | |
US8310553B2 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
KR101309008B1 (ko) | 화상처리방법 및 화상처리장치 | |
US20120019678A1 (en) | Image processing apparatus and control method therefor | |
US20090324089A1 (en) | Imaging system, image processing method, and image processing program | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP2007228224A (ja) | 画像生成装置、画像抽出装置、画像生成装置の制御方法、画像抽出方法及び画像抽出プログラム、並びに画像抽出プログラムを記録した記録媒体 | |
JP7297406B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
US8345121B2 (en) | Image processing apparatus, method, and program | |
JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
JP2009284009A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4895107B2 (ja) | 電子機器、情報処理方法、およびプログラム | |
JP2006287814A (ja) | 撮像装置及び動きベクトル決定方法 | |
KR19990007233A (ko) | 화상처리장치 및 화상처리방법, 및 카메라장치 | |
JP2008071014A (ja) | 画像処理プログラム、画像処理装置および電子カメラ | |
JP4705146B2 (ja) | 撮像装置及び撮像方法 | |
JP2009055415A (ja) | カメラ | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP2010239493A (ja) | 撮像装置および映像信号の補正処理方法 | |
JP4819859B2 (ja) | 撮像装置及び画像処理方法 | |
JP5158167B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2004096444A (ja) | 画像処理装置およびその方法 |