JP2004248006A - 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム - Google Patents
電子カメラ、ノイズ除去装置、およびノイズ除去プログラム Download PDFInfo
- Publication number
- JP2004248006A JP2004248006A JP2003036331A JP2003036331A JP2004248006A JP 2004248006 A JP2004248006 A JP 2004248006A JP 2003036331 A JP2003036331 A JP 2003036331A JP 2003036331 A JP2003036331 A JP 2003036331A JP 2004248006 A JP2004248006 A JP 2004248006A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- image data
- threshold value
- unit
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】本発明は、中レベルの固定パターンノイズを良好に選別することを目的とする。
【解決手段】本発明は、画像データから固定パターンノイズを除去する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。撮像部は、被写体を撮像して複数の色成分から構成される画像データを生成する。ノイズ標本部は、遮光状態で撮像部からノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定し、閾値以上の画素について固定パターンノイズのノイズ除去を実施し、閾値未満の画素について固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、この閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
【選択図】 図2
【解決手段】本発明は、画像データから固定パターンノイズを除去する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。撮像部は、被写体を撮像して複数の色成分から構成される画像データを生成する。ノイズ標本部は、遮光状態で撮像部からノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定し、閾値以上の画素について固定パターンノイズのノイズ除去を実施し、閾値未満の画素について固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、この閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、固定パターンノイズの除去機能を有する電子カメラ、ノイズ除去装置、およびノイズ除去プログラムに関する。
【0002】
【従来の技術】
電子カメラにおいて長時間露光を行うと、撮像素子から発生する固定パターンノイズのレベルが大きくなり、画像信号に輝点状(白キズという)その他のノイズが顕著に発生する。
このような固定パターンノイズを除去する装置として、特許文献1の従来装置が知られている。この従来装置は、撮像素子を遮光状態において、ノイズ画像データを生成する。この従来装置では、このノイズ画像データを、閾値判定することにより、白キズの発生画素を検出する。このときの閾値は、白キズの選別に合わせた大レベルの値である。従来装置は、この『白キズ』の発生画素に限って、画像データからノイズ画像データを減算する。その結果、画像データに含まれる白キズを良好に除去することが可能になる。
【0003】
【特許文献1】
特開2001−94882(図10のS50〜S53)
【0004】
【発明が解決しようとする課題】
通常、画像データには、白キズのような大レベルの他に、中レベルの固定パターンノイズも含まれる。この中レベルの固定パターンノイズを除去するためには、白キズの発生画素に限らず、画像データ全域について、上述した減算処理を実施する必要がある。
【0005】
しかしながら、ノイズ画像データには、固定パターンノイズの他に、ランダム性のノイズも含まれる。この種のランダムノイズは、上述した減算処理による同相除去が不可能である。逆に、減算処理を行うことによって、ノイズ画像データ中のランダムノイズが画像データに逆相で重畳するため、画像データのS/Nを結果的に低下させてしまうという問題があった。
【0006】
さらに、中レベルの固定パターンノイズを除去するため、画像データ全域について減算処理を実施した場合、処理時間が長くかかるという問題点もあった。
そこで、本発明者は、中レベルの固定パターンノイズを良好に選別する方法を検討した。従来例のような白キズの選別であれば、固定パターンノイズが支配的であるため、閾値一定の状態で容易に選別できる。しかしながら、中レベルの固定パターンノイズについては、中途半端なノイズレベルにあるため、常に一律の閾値では、十分かつ適切な選別が困難になる。
そこで、本発明は、従来困難であった、中レベルの固定パターンノイズを良好に選別するための技術を提供することを目的とする。
【0007】
【課題を解決するための手段】
以下、本発明について説明する。
【0008】
《請求項1》
請求項1に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して複数の色成分から構成される画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
本来、固定パターンノイズは、入射光の色とは無関係に、撮像素子内で発生する。そのため、固定パターンノイズそれ自体に色はない。しかし、発生画素の担当する色成分に従って画素配列されることにより、固定パターンノイズには色の違いが現れる。特に、中レベルの固定パターンノイズは、白キズのようにノイズレベルが飽和していないため、はっきりとした色の違いが現れる。
この場合、発生時のノイズレベルが各色でたとえ同程度であっても、発生画素の色成分によって着色されるため、ノイズの目立ち方が異なる。
すなわち、輝度情報を多く含む色成分(原色表色系では、G、次にR)の画素からは、視覚感度が高いために明るく目立つ色ノイズが発生しやすい。
逆に、輝度情報の少ない色成分(原色表色系では、B)の画素からは、視覚感度が低いために暗く目立たない色ノイズが発生しやすい。
また、撮像面上の各色の分布密度によっても、固定パターンノイズの目立ち方が異なる。
すなわち、撮像面上で分布密度の高い色成分(ベイヤー配列では、G)の画素からは、その分布密度に比例した高い頻度でノイズが発生する。そのため、その色のノイズは目立ちやすい。
逆に、撮像面上で分布密度の低い色成分の画素からは、その分布密度に比例した低い頻度でノイズが発生する。そのため、その色のノイズは目立ちにくい。
そこで、本発明では、中レベルの固定パターンノイズが有する色が顕著に異なるという特徴に着目して、中レベルの固体パターンノイズを良好に選別することを考えた。すなわち、上記の構成では、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他色成分の閾値よりも低く切り換える。その結果、目立ちやすい色の固定パターンノイズを敏感に選別して、実用的なノイズ除去を実施することが可能になる。逆に、目立ちにくい色の固定パターンノイズについては選別を抑制し、実用的に効果の少ないノイズ除去を適切に省くことができる。
【0009】
《請求項2》
請求項2に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、ノイズ除去部は、画像データの電荷蓄積時間が長くなるほど、ノイズレベル判定用の閾値を低く変更する。
通常、固定パターンノイズは電荷蓄積時間に比例して増加する。一方、ランダムノイズは、電荷蓄積時間の平方根に比例して増加する。そのため、電荷蓄積時間が長くなるに従って、ノイズ全体に占める固定パターンノイズの割合は大きくなる。
特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、電荷蓄積時間によって両者の割合が簡単に逆転する。
そこで、上記の構成では、電荷蓄積時間が長いほど、閾値を低く変更する。その結果、電荷蓄積時間が長く固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、電荷蓄積時間が短いほど、閾値を高く変更する。その結果、電荷蓄積時間が短くてランダムノイズが支配的な状況では、固定パターンノイズの選別が抑制される。したがって、ノイズ除去(減算処理)によってランダムノイズが、画像データに重畳するといった不具合を改善することが可能になる。
【0010】
《請求項3》
請求項3に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、ノイズ除去部、および温度検出部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。温度検出部は電子カメラの温度を検出する。特に、このノイズ除去部は、温度検出部が検出する温度が高いほど、ノイズレベル判定用の閾値を低く変更する。
通常、電子カメラ(特に撮像素子)の温度上昇に従って、ノイズ全体に占める固定パターンノイズの割合が大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、温度によって両者の割合が簡単に逆転する。
そこで、上記の構成では、温度が高い場合、閾値を低く変更する。その結果、温度が高くなって固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、支配的な固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、温度が低い場合、閾値を高く変更する。その結果、温度が低くて固定パターンノイズが少ない状況において、固定パターンノイズの選別が抑制される。したがって、ノイズ除去(減算処理)によって、ランダムノイズが画像データに重畳するといった不具合を改善することが可能になる。
【0011】
《請求項4》
請求項4に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、撮像部の撮像感度を情報取得し、撮像感度が高いほど、閾値を低く変更する。
通常、撮像感度の高感度化に従って、固定パターンノイズのレベルが大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、両者の割合が簡単に逆転する。
そこで、上記の構成では、撮像感度が高い場合、閾値を低く変更する。その結果、撮像感度が高くなると、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、撮像感度が低い場合、閾値を高く変更する。その結果、撮像感度が低くてノイズの少ない状況において、固定パターンノイズの選別が抑制される。したがって、減算処理によってノイズ画像データ中のランダムノイズが、高S/Nの画像データに重畳するといった不具合を改善することが可能になる。
【0012】
《請求項5》
請求項5に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施するノイズ除去装置であって、入力部およびノイズ除去部を備える。この入力部は、被写体を撮像部により撮像して生成した画像データ、および被写体からの光を遮って撮像部を駆動して生成したノイズ画像データを取り込む。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、ノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
【0013】
《請求項6》
請求項6に記載のノイズ除去プログラムは、コンピュータを、請求項5に記載の入力部およびノイズ除去部として機能させることを特徴とする。
【0014】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【0015】
《本実施形態の構成説明》
図1は、本実施形態における電子カメラ11(ノイズ除去装置を含む)の構成を示す図である。
図1に示すように、電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の光路上には、シャッター12aおよび撮像素子13が順番に配置される。この撮像素子13の撮像面には、不図示のカラーフィルタアレイが配置される。また、この撮像素子13には、温度検出部13aが近接して配置される。
【0016】
この撮像素子13において生成された画像データは、利得可変アンプ14によって、撮像感度Sに対応した利得に増幅される。増幅された画像データは、A/D変換部15を介して12bit階調にデジタル化された後、信号処理部16に与えられる。信号処理部16は、この画像データに対して、黒レベル補正などの信号処理を施す。信号処理された画像データは、バッファメモリ17に一時記憶される。このバッファメモリ17は、バス18に接続される。このバス18には、画像処理部19、記録部20、マイクロプロセッサ22、および画像圧縮部23などが接続される。
また、電子カメラ11には、各種の情報入力やモード設定やレリーズ操作を行うためのスイッチ群22a等が設けられる。これらスイッチ群22aから信号は、マイクロプロセッサ22に入力される。
【0017】
[発明との対応関係]
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の撮像部は、シャッター12a、撮像素子13、利得可変アンプ14、A/D変換部15、信号処理部16、およびバッファメモリ17に対応する。
請求項記載のノイズ標本部は、シャッター12a、バッファメモリ17、およびマイクロプロセッサ22の『シャッター12aを閉じた状態で、撮像素子13を駆動してノイズ画像データを撮像する機能』に対応する。
請求項記載のノイズ除去部は、マイクロプロセッサ22の『画像データから固定パターンノイズを除去する機能』に対応する。
請求項記載の温度検出部は、温度検出部13aに対応する。
請求項記載の入力部は、バッファメモリ17、マイクロプロセッサ22の『画像データおよびノイズ画像データを取り込む機能』に対応する。
【0018】
《本実施形態の動作説明》
図2は、電子カメラ11による固定パターンノイズの除去処理を説明する流れ図である。図3〜図5は、ノイズレベル判定用の閾値の調整傾向を示す図である。図6(A)は、画像データの画素値パターンを示す図である。図6(B)は、ノイズ画像データの画素値パターンを示す図である。図6(C)は、ノイズ除去後の画素値パターンを示す図である。
以下、図2に示すステップ番号に従って、このノイズ除去処理について説明する。
【0019】
ステップS1: マイクロプロセッサ22は、シャッター12aを開いた状態で、撮像素子13を電子シャッタ制御し、所定の電荷蓄積時間Teにわたって被写界を撮像する。撮像素子13で生成された画像データは、利得可変アンプ14、A/D変換部15および信号処理部16を介して信号処理された後、バッファメモリ17に一時記憶される。
【0020】
ステップS2: マイクロプロセッサ22は、シャッター12aを閉じた遮光状態で撮像素子13を電子シャッタ制御し、所定の電荷蓄積時間Teにわたって蓄積されたノイズ画像データを生成する。このノイズ画像データは、利得可変アンプ14、A/D変換部15および信号処理部16を介して信号処理された後、バッファメモリ17に一時記憶される。
【0021】
ステップS3: マイクロプロセッサ22は、温度検出部13aの出力に基づいて、撮像素子13の温度Tpを検出する。
【0022】
ステップS4: マイクロプロセッサ22は、利得可変アンプ14の設定利得から現時点の撮像感度Sを情報取得する。マイクロプロセッサ22は、電荷蓄積時間Te、温度Tp、および撮像感度Sの各条件に応じて、内部メモリ上のテーブルデータを参照し、RGB色成分ごとに定めた閾値THr,THg,THbを決定する。
ここで決定する各閾値THr,THg,THbは、中レベルのノイズレベル判定用であり、例えば、12階調(0〜4095)の信号レベルに対して、およそ100以下の値に決定される。
なお、ここで閾値決定に使用するテーブルデータは、使用する撮像素子13のノイズ特性などによって大きく変化する。そのため、ここでは具体的なテーブルデータを示す代わりに、各条件に応じた各閾値THr,THg,THbの調整傾向を説明する。当業者は、使用する撮像素子13についてノイズ除去の主観評価テストを繰り返しながら、これら調整傾向に合わせてテーブルデータを作成することにより、適切なテーブルデータを作成できる。
図3は、電荷蓄積時間Teによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、電荷蓄積時間Teが長くなるに従って、各閾値THr,THg,THbを低くする。
図4は、温度Tpによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、温度Tpが高くなるに従って、各閾値THr,THg,THbを低くする。
図5は、撮像感度Sによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、撮像感度Sが高くなるに従って、各閾値THr,THg,THbを低くする。
マイクロプロセッサ22は、これら調整傾向ごとに定めた閾値THr,THg,THbについて、平均値、メディアン値、または最小値を算出する。この演算により、複数の調整傾向を総合した閾値THr,THg,THbが最終的に決定される。
【0023】
ステップS5: マイクロプロセッサ22は、画素位置(i,j)を初期化する。
【0024】
ステップS6: マイクロプロセッサ22は、バッファメモリ17から、画素位置(i,j)における『画像データの画素値X(i,j)』および『ノイズ画像データの画素値Y(i,j)』をそれぞれ読み出す。
【0025】
ステップS7: マイクロプロセッサ22は、撮像素子13のカラーフィルタアレイの色配列ルールに基づいて、画素位置(i,j)が担当する色成分を求める。
ここで、R色成分の場合、マイクロプロセッサ22はステップS8に動作を移行する。
G色成分の場合、マイクロプロセッサ22はステップS9に動作を移行する。
B色成分の場合、マイクロプロセッサ22はステップS10に動作を移行する。
【0026】
ステップS8: マイクロプロセッサ22は、閾値THに、ステップS4で決定したR色成分用の閾値THrを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0027】
ステップS9: マイクロプロセッサ22は、閾値THに、ステップS4で決定したG色成分用の閾値THgを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0028】
ステップS10: マイクロプロセッサ22は、閾値THに、ステップS4で決定したB色成分用の閾値THbを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0029】
ステップS11: マイクロプロセッサ22は、ノイズ画像データの画素値Y(i,j)が、閾値TH以上であるか否かを判定する。
ここで、画素値Y(i,j)が閾値TH以上の場合、マイクロプロセッサ22はステップS12に動作を移行する。
一方、画素値Y(i,j)が閾値TH未満の場合、マイクロプロセッサ22は固定パターンノイズの除去処理を省略して、ステップS15に動作を移行する。
図6(A)〜(C)に示す※印付きの画素は、画素値Y(i,j)がいずれも閾値TH未満を示す画素であり、ステップS11の判定処理に従ってノイズ除去処理が省略される画素である。
【0030】
ステップS12: マイクロプロセッサ22は、画像データの画素値X(i,j)をレベル判定し、画素値X(i,j)が飽和レベルに近いか否かを判定する。
一般に、画像データのハイライト箇所では、画素値X(i,j)が飽和レベルに近づいて、画素値X(i,j)に非線形なレベル圧縮が生じる。このようなレベル圧縮画素の箇所に対してノイズ画像データを単純に減算した場合、過剰に信号レベルが低下し、黒点ノイズが発生する。
そこで、画素値X(i,j)が飽和レベルに近いと判断すると、マイクロプロセッサ22は、ステップS14に動作を移行する。
一方、画素値X(i,j)が飽和レベルにかからない場合、マイクロプロセッサ22は、ステップS13に動作を移行する。
【0031】
ステップS13: マイクロプロセッサ22は、下式の減算処理を実施する。
X(i,j)=X(i,j)−Y(i,j)
図6(C)にクロスハッチで示す画素は、上式の減算処理により固定パターンノイズが除去される画素である。
このような減算処理の後、マイクロプロセッサ22は、ステップS15に動作を移行する。
【0032】
ステップS14: マイクロプロセッサ22は、画素位置(i,j)の局所領域内においてメディアン値を求め、画像データの画素値X(i,j)をこのメディアン値で置換する。
図6(C)に水平ハッチングで示す画素は、このような置換処理により固定パターンノイズが除去された画素である。
このような置換処理の後、マイクロプロセッサ22は、ステップS15に動作を移行する。
【0033】
ステップS15: マイクロプロセッサ22は、現在の画素位置(i,j)が走査完了位置か否かを判定する。走査完了位置に達した場合、マイクロプロセッサ22は、固定パターンノイズの除去処理を終了する。
一方、走査完了位置にまだ達していない場合、マイクロプロセッサ22は、ステップS16に動作を移行する。
【0034】
ステップS16: マイクロプロセッサ22は、現在の画素位置(i,j)を、画像の走査経路に沿って一つ進め、ステップS6に動作を戻す。
以上説明した一連の動作により、画像データに対する固定パターンノイズの除去処理が完了する。
【0035】
この除去処理を完了した画像データは、画像処理部19において色補間処理や輪郭強調などの画像処理が施される。この画像処理を終えた画像データは、画像圧縮部23によってデータ圧縮された後、記録部20によってメモリカードに記録保存される。
【0036】
《本実施形態の効果など》
以上説明したように、本実施形態では、輝度情報を多く含む色成分(G、次にR)のノイズレベル判定用の閾値THg,THrを、その他色成分Bの閾値THbよりも小さくする。さらに、本実施形態では、撮像面上の分布密度の高い色成分Gの閾値THgを、その他色成分R,Bの閾値THr,THbよりも小さくする。その結果、中レベルのノイズを、目立ちやすい色/目立ちにくい色といった尺度で適切に選別することが可能になる。その結果、目立ちやすい色の固定パターンノイズを敏感に選別し、中レベルに特有な目立ちやすい色の固定パターンノイズを適切に除去できる。逆に、目立ちにくい色の固定パターンノイズについては選別を適度に抑制するため、固定パターンノイズの除去処理が適切に省略され、電子カメラ11の処理高速化を図ることができる。
【0037】
さらに、本実施形態では、電荷蓄積時間Teが長いほど、ノイズレベル判定用の閾値を低くする。その結果、電荷蓄積時間Teが長く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、電荷蓄積時間Teが短くてランダムノイズの割合が大きい状況では、固定パターンノイズのノイズ除去を抑えるため、ランダムノイズが画像データに重畳するといった不具合を改善できる。特に、このような閾値切り換えでは、電荷蓄積時間Teが短いほど、ノイズ除去の処理が早く完了する。そのため、電子カメラ11の処理速度を体感的に高速化することが可能になる。
【0038】
また、本実施形態では、温度Tpが高いほど、ノイズレベル判定用の閾値を低くする。その結果、温度Tpが高く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、温度Tpが低くて固定パターンノイズが少ない状況ではノイズ除去処理を省略して、電子カメラ11の処理高速化を図ることができる。
【0039】
さらに、本実施形態では、撮像感度Sが高いほど、ノイズレベル判定用の閾値を低くする。その結果、撮像感度Sが高く固定パターンノイズが多い状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、撮像感度Sが低くて固定パターンノイズが少ない状況では、ノイズ除去処理を省略して、電子カメラ11の処理高速化を図ることができる。
【0040】
《実施形態の補足事項》
なお、上述した実施形態では、本発明を電子カメラに適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図2に示す動作の内から、ノイズ除去関連の動作をプログラムコード化することによって、ノイズ除去プログラムを作成してもよい。このノイズ除去プログラムをコンピュータ上で実行することにより、コンピュータ上において、画像データ(特にRAWデータ)のノイズ除去を実施することが可能になる。
【0041】
また、上述した実施形態では、カラーフィルタアレイが原色表色系のケースについて説明した。しかしながら、本発明はこれに限定されるものではない。補色表色系その他の一般的な色成分に対応して、閾値を切り換えてもよい。この場合は、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、それ以外の色成分の閾値よりも低くすればよい。
【0042】
【発明の効果】
以上説明したように、本発明では、色成分の種類、電荷蓄積時間の長短、温度の高低、または撮像感度の高低といった条件に従って、中レベルのノイズレベル判定用の閾値を切り換える。その結果、中レベルの固定パターンノイズを良好に選別することが可能になり、中レベルの固定パターンノイズを除去する処理の実行/非実行を、画素単位に適切に判断して切り換えることが可能になる。
【図面の簡単な説明】
【図1】本実施形態における電子カメラ11(ノイズ除去装置を含む)の構成を示す図である。
【図2】固定パターンノイズの除去処理を説明する流れ図である。
【図3】電荷蓄積時間Teによる閾値の調整傾向を示す図である。
【図4】温度Tpによる閾値の調整傾向を示す図である。
【図5】撮像感度Sによる閾値の調整傾向を示す図である。
【図6】固定パターンノイズの除去処理の様子を説明する図である。
【符号の説明】
11 電子カメラ
12 撮影レンズ
12a シャッター
13 撮像素子
13a 温度検出部
14 利得可変アンプ
15 A/D変換部
16 信号処理部
17 バッファメモリ
18 バス
19 画像処理部
20 記録部
22 マイクロプロセッサ
22a スイッチ群
23 画像圧縮部
【発明の属する技術分野】
本発明は、固定パターンノイズの除去機能を有する電子カメラ、ノイズ除去装置、およびノイズ除去プログラムに関する。
【0002】
【従来の技術】
電子カメラにおいて長時間露光を行うと、撮像素子から発生する固定パターンノイズのレベルが大きくなり、画像信号に輝点状(白キズという)その他のノイズが顕著に発生する。
このような固定パターンノイズを除去する装置として、特許文献1の従来装置が知られている。この従来装置は、撮像素子を遮光状態において、ノイズ画像データを生成する。この従来装置では、このノイズ画像データを、閾値判定することにより、白キズの発生画素を検出する。このときの閾値は、白キズの選別に合わせた大レベルの値である。従来装置は、この『白キズ』の発生画素に限って、画像データからノイズ画像データを減算する。その結果、画像データに含まれる白キズを良好に除去することが可能になる。
【0003】
【特許文献1】
特開2001−94882(図10のS50〜S53)
【0004】
【発明が解決しようとする課題】
通常、画像データには、白キズのような大レベルの他に、中レベルの固定パターンノイズも含まれる。この中レベルの固定パターンノイズを除去するためには、白キズの発生画素に限らず、画像データ全域について、上述した減算処理を実施する必要がある。
【0005】
しかしながら、ノイズ画像データには、固定パターンノイズの他に、ランダム性のノイズも含まれる。この種のランダムノイズは、上述した減算処理による同相除去が不可能である。逆に、減算処理を行うことによって、ノイズ画像データ中のランダムノイズが画像データに逆相で重畳するため、画像データのS/Nを結果的に低下させてしまうという問題があった。
【0006】
さらに、中レベルの固定パターンノイズを除去するため、画像データ全域について減算処理を実施した場合、処理時間が長くかかるという問題点もあった。
そこで、本発明者は、中レベルの固定パターンノイズを良好に選別する方法を検討した。従来例のような白キズの選別であれば、固定パターンノイズが支配的であるため、閾値一定の状態で容易に選別できる。しかしながら、中レベルの固定パターンノイズについては、中途半端なノイズレベルにあるため、常に一律の閾値では、十分かつ適切な選別が困難になる。
そこで、本発明は、従来困難であった、中レベルの固定パターンノイズを良好に選別するための技術を提供することを目的とする。
【0007】
【課題を解決するための手段】
以下、本発明について説明する。
【0008】
《請求項1》
請求項1に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して複数の色成分から構成される画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
本来、固定パターンノイズは、入射光の色とは無関係に、撮像素子内で発生する。そのため、固定パターンノイズそれ自体に色はない。しかし、発生画素の担当する色成分に従って画素配列されることにより、固定パターンノイズには色の違いが現れる。特に、中レベルの固定パターンノイズは、白キズのようにノイズレベルが飽和していないため、はっきりとした色の違いが現れる。
この場合、発生時のノイズレベルが各色でたとえ同程度であっても、発生画素の色成分によって着色されるため、ノイズの目立ち方が異なる。
すなわち、輝度情報を多く含む色成分(原色表色系では、G、次にR)の画素からは、視覚感度が高いために明るく目立つ色ノイズが発生しやすい。
逆に、輝度情報の少ない色成分(原色表色系では、B)の画素からは、視覚感度が低いために暗く目立たない色ノイズが発生しやすい。
また、撮像面上の各色の分布密度によっても、固定パターンノイズの目立ち方が異なる。
すなわち、撮像面上で分布密度の高い色成分(ベイヤー配列では、G)の画素からは、その分布密度に比例した高い頻度でノイズが発生する。そのため、その色のノイズは目立ちやすい。
逆に、撮像面上で分布密度の低い色成分の画素からは、その分布密度に比例した低い頻度でノイズが発生する。そのため、その色のノイズは目立ちにくい。
そこで、本発明では、中レベルの固定パターンノイズが有する色が顕著に異なるという特徴に着目して、中レベルの固体パターンノイズを良好に選別することを考えた。すなわち、上記の構成では、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他色成分の閾値よりも低く切り換える。その結果、目立ちやすい色の固定パターンノイズを敏感に選別して、実用的なノイズ除去を実施することが可能になる。逆に、目立ちにくい色の固定パターンノイズについては選別を抑制し、実用的に効果の少ないノイズ除去を適切に省くことができる。
【0009】
《請求項2》
請求項2に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、ノイズ除去部は、画像データの電荷蓄積時間が長くなるほど、ノイズレベル判定用の閾値を低く変更する。
通常、固定パターンノイズは電荷蓄積時間に比例して増加する。一方、ランダムノイズは、電荷蓄積時間の平方根に比例して増加する。そのため、電荷蓄積時間が長くなるに従って、ノイズ全体に占める固定パターンノイズの割合は大きくなる。
特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、電荷蓄積時間によって両者の割合が簡単に逆転する。
そこで、上記の構成では、電荷蓄積時間が長いほど、閾値を低く変更する。その結果、電荷蓄積時間が長く固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、電荷蓄積時間が短いほど、閾値を高く変更する。その結果、電荷蓄積時間が短くてランダムノイズが支配的な状況では、固定パターンノイズの選別が抑制される。したがって、ノイズ除去(減算処理)によってランダムノイズが、画像データに重畳するといった不具合を改善することが可能になる。
【0010】
《請求項3》
請求項3に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、ノイズ除去部、および温度検出部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。温度検出部は電子カメラの温度を検出する。特に、このノイズ除去部は、温度検出部が検出する温度が高いほど、ノイズレベル判定用の閾値を低く変更する。
通常、電子カメラ(特に撮像素子)の温度上昇に従って、ノイズ全体に占める固定パターンノイズの割合が大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、温度によって両者の割合が簡単に逆転する。
そこで、上記の構成では、温度が高い場合、閾値を低く変更する。その結果、温度が高くなって固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、支配的な固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、温度が低い場合、閾値を高く変更する。その結果、温度が低くて固定パターンノイズが少ない状況において、固定パターンノイズの選別が抑制される。したがって、ノイズ除去(減算処理)によって、ランダムノイズが画像データに重畳するといった不具合を改善することが可能になる。
【0011】
《請求項4》
請求項4に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、撮像部の撮像感度を情報取得し、撮像感度が高いほど、閾値を低く変更する。
通常、撮像感度の高感度化に従って、固定パターンノイズのレベルが大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、両者の割合が簡単に逆転する。
そこで、上記の構成では、撮像感度が高い場合、閾値を低く変更する。その結果、撮像感度が高くなると、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、撮像感度が低い場合、閾値を高く変更する。その結果、撮像感度が低くてノイズの少ない状況において、固定パターンノイズの選別が抑制される。したがって、減算処理によってノイズ画像データ中のランダムノイズが、高S/Nの画像データに重畳するといった不具合を改善することが可能になる。
【0012】
《請求項5》
請求項5に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施するノイズ除去装置であって、入力部およびノイズ除去部を備える。この入力部は、被写体を撮像部により撮像して生成した画像データ、および被写体からの光を遮って撮像部を駆動して生成したノイズ画像データを取り込む。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、ノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
【0013】
《請求項6》
請求項6に記載のノイズ除去プログラムは、コンピュータを、請求項5に記載の入力部およびノイズ除去部として機能させることを特徴とする。
【0014】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【0015】
《本実施形態の構成説明》
図1は、本実施形態における電子カメラ11(ノイズ除去装置を含む)の構成を示す図である。
図1に示すように、電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の光路上には、シャッター12aおよび撮像素子13が順番に配置される。この撮像素子13の撮像面には、不図示のカラーフィルタアレイが配置される。また、この撮像素子13には、温度検出部13aが近接して配置される。
【0016】
この撮像素子13において生成された画像データは、利得可変アンプ14によって、撮像感度Sに対応した利得に増幅される。増幅された画像データは、A/D変換部15を介して12bit階調にデジタル化された後、信号処理部16に与えられる。信号処理部16は、この画像データに対して、黒レベル補正などの信号処理を施す。信号処理された画像データは、バッファメモリ17に一時記憶される。このバッファメモリ17は、バス18に接続される。このバス18には、画像処理部19、記録部20、マイクロプロセッサ22、および画像圧縮部23などが接続される。
また、電子カメラ11には、各種の情報入力やモード設定やレリーズ操作を行うためのスイッチ群22a等が設けられる。これらスイッチ群22aから信号は、マイクロプロセッサ22に入力される。
【0017】
[発明との対応関係]
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の撮像部は、シャッター12a、撮像素子13、利得可変アンプ14、A/D変換部15、信号処理部16、およびバッファメモリ17に対応する。
請求項記載のノイズ標本部は、シャッター12a、バッファメモリ17、およびマイクロプロセッサ22の『シャッター12aを閉じた状態で、撮像素子13を駆動してノイズ画像データを撮像する機能』に対応する。
請求項記載のノイズ除去部は、マイクロプロセッサ22の『画像データから固定パターンノイズを除去する機能』に対応する。
請求項記載の温度検出部は、温度検出部13aに対応する。
請求項記載の入力部は、バッファメモリ17、マイクロプロセッサ22の『画像データおよびノイズ画像データを取り込む機能』に対応する。
【0018】
《本実施形態の動作説明》
図2は、電子カメラ11による固定パターンノイズの除去処理を説明する流れ図である。図3〜図5は、ノイズレベル判定用の閾値の調整傾向を示す図である。図6(A)は、画像データの画素値パターンを示す図である。図6(B)は、ノイズ画像データの画素値パターンを示す図である。図6(C)は、ノイズ除去後の画素値パターンを示す図である。
以下、図2に示すステップ番号に従って、このノイズ除去処理について説明する。
【0019】
ステップS1: マイクロプロセッサ22は、シャッター12aを開いた状態で、撮像素子13を電子シャッタ制御し、所定の電荷蓄積時間Teにわたって被写界を撮像する。撮像素子13で生成された画像データは、利得可変アンプ14、A/D変換部15および信号処理部16を介して信号処理された後、バッファメモリ17に一時記憶される。
【0020】
ステップS2: マイクロプロセッサ22は、シャッター12aを閉じた遮光状態で撮像素子13を電子シャッタ制御し、所定の電荷蓄積時間Teにわたって蓄積されたノイズ画像データを生成する。このノイズ画像データは、利得可変アンプ14、A/D変換部15および信号処理部16を介して信号処理された後、バッファメモリ17に一時記憶される。
【0021】
ステップS3: マイクロプロセッサ22は、温度検出部13aの出力に基づいて、撮像素子13の温度Tpを検出する。
【0022】
ステップS4: マイクロプロセッサ22は、利得可変アンプ14の設定利得から現時点の撮像感度Sを情報取得する。マイクロプロセッサ22は、電荷蓄積時間Te、温度Tp、および撮像感度Sの各条件に応じて、内部メモリ上のテーブルデータを参照し、RGB色成分ごとに定めた閾値THr,THg,THbを決定する。
ここで決定する各閾値THr,THg,THbは、中レベルのノイズレベル判定用であり、例えば、12階調(0〜4095)の信号レベルに対して、およそ100以下の値に決定される。
なお、ここで閾値決定に使用するテーブルデータは、使用する撮像素子13のノイズ特性などによって大きく変化する。そのため、ここでは具体的なテーブルデータを示す代わりに、各条件に応じた各閾値THr,THg,THbの調整傾向を説明する。当業者は、使用する撮像素子13についてノイズ除去の主観評価テストを繰り返しながら、これら調整傾向に合わせてテーブルデータを作成することにより、適切なテーブルデータを作成できる。
図3は、電荷蓄積時間Teによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、電荷蓄積時間Teが長くなるに従って、各閾値THr,THg,THbを低くする。
図4は、温度Tpによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、温度Tpが高くなるに従って、各閾値THr,THg,THbを低くする。
図5は、撮像感度Sによる各閾値THr,THg,THbの調整傾向を示す図である。ここでは、THb>THr>THgの関係を保ちながら、撮像感度Sが高くなるに従って、各閾値THr,THg,THbを低くする。
マイクロプロセッサ22は、これら調整傾向ごとに定めた閾値THr,THg,THbについて、平均値、メディアン値、または最小値を算出する。この演算により、複数の調整傾向を総合した閾値THr,THg,THbが最終的に決定される。
【0023】
ステップS5: マイクロプロセッサ22は、画素位置(i,j)を初期化する。
【0024】
ステップS6: マイクロプロセッサ22は、バッファメモリ17から、画素位置(i,j)における『画像データの画素値X(i,j)』および『ノイズ画像データの画素値Y(i,j)』をそれぞれ読み出す。
【0025】
ステップS7: マイクロプロセッサ22は、撮像素子13のカラーフィルタアレイの色配列ルールに基づいて、画素位置(i,j)が担当する色成分を求める。
ここで、R色成分の場合、マイクロプロセッサ22はステップS8に動作を移行する。
G色成分の場合、マイクロプロセッサ22はステップS9に動作を移行する。
B色成分の場合、マイクロプロセッサ22はステップS10に動作を移行する。
【0026】
ステップS8: マイクロプロセッサ22は、閾値THに、ステップS4で決定したR色成分用の閾値THrを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0027】
ステップS9: マイクロプロセッサ22は、閾値THに、ステップS4で決定したG色成分用の閾値THgを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0028】
ステップS10: マイクロプロセッサ22は、閾値THに、ステップS4で決定したB色成分用の閾値THbを代入する。この動作の後、マイクロプロセッサ22は、ステップS11に動作を移行する。
【0029】
ステップS11: マイクロプロセッサ22は、ノイズ画像データの画素値Y(i,j)が、閾値TH以上であるか否かを判定する。
ここで、画素値Y(i,j)が閾値TH以上の場合、マイクロプロセッサ22はステップS12に動作を移行する。
一方、画素値Y(i,j)が閾値TH未満の場合、マイクロプロセッサ22は固定パターンノイズの除去処理を省略して、ステップS15に動作を移行する。
図6(A)〜(C)に示す※印付きの画素は、画素値Y(i,j)がいずれも閾値TH未満を示す画素であり、ステップS11の判定処理に従ってノイズ除去処理が省略される画素である。
【0030】
ステップS12: マイクロプロセッサ22は、画像データの画素値X(i,j)をレベル判定し、画素値X(i,j)が飽和レベルに近いか否かを判定する。
一般に、画像データのハイライト箇所では、画素値X(i,j)が飽和レベルに近づいて、画素値X(i,j)に非線形なレベル圧縮が生じる。このようなレベル圧縮画素の箇所に対してノイズ画像データを単純に減算した場合、過剰に信号レベルが低下し、黒点ノイズが発生する。
そこで、画素値X(i,j)が飽和レベルに近いと判断すると、マイクロプロセッサ22は、ステップS14に動作を移行する。
一方、画素値X(i,j)が飽和レベルにかからない場合、マイクロプロセッサ22は、ステップS13に動作を移行する。
【0031】
ステップS13: マイクロプロセッサ22は、下式の減算処理を実施する。
X(i,j)=X(i,j)−Y(i,j)
図6(C)にクロスハッチで示す画素は、上式の減算処理により固定パターンノイズが除去される画素である。
このような減算処理の後、マイクロプロセッサ22は、ステップS15に動作を移行する。
【0032】
ステップS14: マイクロプロセッサ22は、画素位置(i,j)の局所領域内においてメディアン値を求め、画像データの画素値X(i,j)をこのメディアン値で置換する。
図6(C)に水平ハッチングで示す画素は、このような置換処理により固定パターンノイズが除去された画素である。
このような置換処理の後、マイクロプロセッサ22は、ステップS15に動作を移行する。
【0033】
ステップS15: マイクロプロセッサ22は、現在の画素位置(i,j)が走査完了位置か否かを判定する。走査完了位置に達した場合、マイクロプロセッサ22は、固定パターンノイズの除去処理を終了する。
一方、走査完了位置にまだ達していない場合、マイクロプロセッサ22は、ステップS16に動作を移行する。
【0034】
ステップS16: マイクロプロセッサ22は、現在の画素位置(i,j)を、画像の走査経路に沿って一つ進め、ステップS6に動作を戻す。
以上説明した一連の動作により、画像データに対する固定パターンノイズの除去処理が完了する。
【0035】
この除去処理を完了した画像データは、画像処理部19において色補間処理や輪郭強調などの画像処理が施される。この画像処理を終えた画像データは、画像圧縮部23によってデータ圧縮された後、記録部20によってメモリカードに記録保存される。
【0036】
《本実施形態の効果など》
以上説明したように、本実施形態では、輝度情報を多く含む色成分(G、次にR)のノイズレベル判定用の閾値THg,THrを、その他色成分Bの閾値THbよりも小さくする。さらに、本実施形態では、撮像面上の分布密度の高い色成分Gの閾値THgを、その他色成分R,Bの閾値THr,THbよりも小さくする。その結果、中レベルのノイズを、目立ちやすい色/目立ちにくい色といった尺度で適切に選別することが可能になる。その結果、目立ちやすい色の固定パターンノイズを敏感に選別し、中レベルに特有な目立ちやすい色の固定パターンノイズを適切に除去できる。逆に、目立ちにくい色の固定パターンノイズについては選別を適度に抑制するため、固定パターンノイズの除去処理が適切に省略され、電子カメラ11の処理高速化を図ることができる。
【0037】
さらに、本実施形態では、電荷蓄積時間Teが長いほど、ノイズレベル判定用の閾値を低くする。その結果、電荷蓄積時間Teが長く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、電荷蓄積時間Teが短くてランダムノイズの割合が大きい状況では、固定パターンノイズのノイズ除去を抑えるため、ランダムノイズが画像データに重畳するといった不具合を改善できる。特に、このような閾値切り換えでは、電荷蓄積時間Teが短いほど、ノイズ除去の処理が早く完了する。そのため、電子カメラ11の処理速度を体感的に高速化することが可能になる。
【0038】
また、本実施形態では、温度Tpが高いほど、ノイズレベル判定用の閾値を低くする。その結果、温度Tpが高く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、温度Tpが低くて固定パターンノイズが少ない状況ではノイズ除去処理を省略して、電子カメラ11の処理高速化を図ることができる。
【0039】
さらに、本実施形態では、撮像感度Sが高いほど、ノイズレベル判定用の閾値を低くする。その結果、撮像感度Sが高く固定パターンノイズが多い状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、撮像感度Sが低くて固定パターンノイズが少ない状況では、ノイズ除去処理を省略して、電子カメラ11の処理高速化を図ることができる。
【0040】
《実施形態の補足事項》
なお、上述した実施形態では、本発明を電子カメラに適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図2に示す動作の内から、ノイズ除去関連の動作をプログラムコード化することによって、ノイズ除去プログラムを作成してもよい。このノイズ除去プログラムをコンピュータ上で実行することにより、コンピュータ上において、画像データ(特にRAWデータ)のノイズ除去を実施することが可能になる。
【0041】
また、上述した実施形態では、カラーフィルタアレイが原色表色系のケースについて説明した。しかしながら、本発明はこれに限定されるものではない。補色表色系その他の一般的な色成分に対応して、閾値を切り換えてもよい。この場合は、『輝度情報を多く含む色成分』および/または『撮像面上の分布密度の高い色成分』の閾値を、それ以外の色成分の閾値よりも低くすればよい。
【0042】
【発明の効果】
以上説明したように、本発明では、色成分の種類、電荷蓄積時間の長短、温度の高低、または撮像感度の高低といった条件に従って、中レベルのノイズレベル判定用の閾値を切り換える。その結果、中レベルの固定パターンノイズを良好に選別することが可能になり、中レベルの固定パターンノイズを除去する処理の実行/非実行を、画素単位に適切に判断して切り換えることが可能になる。
【図面の簡単な説明】
【図1】本実施形態における電子カメラ11(ノイズ除去装置を含む)の構成を示す図である。
【図2】固定パターンノイズの除去処理を説明する流れ図である。
【図3】電荷蓄積時間Teによる閾値の調整傾向を示す図である。
【図4】温度Tpによる閾値の調整傾向を示す図である。
【図5】撮像感度Sによる閾値の調整傾向を示す図である。
【図6】固定パターンノイズの除去処理の様子を説明する図である。
【符号の説明】
11 電子カメラ
12 撮影レンズ
12a シャッター
13 撮像素子
13a 温度検出部
14 利得可変アンプ
15 A/D変換部
16 信号処理部
17 バッファメモリ
18 バス
19 画像処理部
20 記録部
22 マイクロプロセッサ
22a スイッチ群
23 画像圧縮部
Claims (6)
- 画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、
被写体を撮像して複数の色成分から構成される前記画像データを生成する撮像部と、
前記被写体からの光を遮って前記撮像部を駆動し、ノイズ画像データを生成するノイズ標本部と、
前記ノイズ画像データのノイズレベルを画素単位に閾値判定し、前記ノイズレベルが閾値以上の画素について前記ノイズ除去を実施し、前記ノイズレベルが前記閾値未満の画素について前記ノイズ除去を省略するノイズ除去部とを備え、
前記ノイズ除去部は、前記閾値を前記色成分の種類に従って切り換え、『輝度情報を多く含む前記色成分』および/または『撮像面上の分布密度の高い前記色成分』の閾値を、その他の前記色成分の閾値よりも低くする
ことを特徴とする電子カメラ。 - 画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、
被写体を撮像して前記画像データを生成する撮像部と、
前記被写体からの光を遮って前記撮像部を駆動し、ノイズ画像データを生成するノイズ標本部と、
前記ノイズ画像データのノイズレベルを画素単位に閾値判定し、前記ノイズレベルが閾値以上の画素について前記ノイズ除去を実施し、前記ノイズレベルが前記閾値未満の画素について前記ノイズ除去を省略するノイズ除去部とを備え、
前記ノイズ除去部は、前記画像データの電荷蓄積時間が長くなるほど、前記閾値を低く変更する
ことを特徴とする電子カメラ。 - 画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、
被写体を撮像して前記画像データを生成する撮像部と、
前記被写体からの光を遮って前記撮像部を駆動し、ノイズ画像データを生成するノイズ標本部と、
前記ノイズ画像データのノイズレベルを画素単位に閾値判定し、前記ノイズレベルが閾値以上の画素について前記ノイズ除去を実施し、前記ノイズレベルが前記閾値未満の画素について前記ノイズ除去を省略するノイズ除去部と、
前記電子カメラの温度を検出する温度検出部とを備え、
前記ノイズ除去部は、前記温度が高いほど、前記閾値を低く変更する
ことを特徴とする電子カメラ。 - 画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、
被写体を撮像して前記画像データを生成する撮像部と、
前記被写体からの光を遮って前記撮像部を駆動し、ノイズ画像データを生成するノイズ標本部と、
前記ノイズ画像データのノイズレベルを画素単位に閾値判定し、前記ノイズレベルが閾値以上の画素について前記ノイズ除去を実施し、前記ノイズレベルが前記閾値未満の画素について前記ノイズ除去を省略するノイズ除去部とを備え、
前記ノイズ除去部は、前記撮像部の撮像感度を情報取得し、前記撮像感度が高いほど、前記閾値を低く変更する
ことを特徴とする電子カメラ。 - 画像データに対して固定パターンノイズのノイズ除去を実施するノイズ除去装置であって、
被写体を撮像部により撮像して生成した画像データ、および前記被写体からの光を遮って前記撮像部を駆動して生成したノイズ画像データを取り込む入力部と、
前記ノイズ画像データのノイズレベルを画素単位に閾値判定し、前記ノイズレベルが閾値以上の画素について前記ノイズ除去を実施し、前記ノイズレベルが前記閾値未満の画素について前記ノイズ除去を省略するノイズ除去部とを備え、
前記ノイズ除去部は、前記閾値を前記色成分の種類に従って切り換え、『輝度情報を多く含む前記色成分』および/または『撮像面上の分布密度の高い前記色成分』の閾値を、その他の前記色成分の閾値よりも低くする
ことを特徴とするノイズ除去装置。 - コンピュータを、請求項5に記載の前記入力部および前記ノイズ除去部として機能させるためのノイズ除去プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036331A JP2004248006A (ja) | 2003-02-14 | 2003-02-14 | 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036331A JP2004248006A (ja) | 2003-02-14 | 2003-02-14 | 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004248006A true JP2004248006A (ja) | 2004-09-02 |
Family
ID=33021442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003036331A Pending JP2004248006A (ja) | 2003-02-14 | 2003-02-14 | 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004248006A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006054763A1 (ja) * | 2004-11-18 | 2006-05-26 | Sanyo Electric Co., Ltd. | 電子カメラ |
JP2006311086A (ja) * | 2005-04-27 | 2006-11-09 | Nikon Corp | 暗黒画像を用いて画像ノイズを抑制するノイズ抑制装置、電子カメラ、および画像処理プログラム |
JP2006324983A (ja) * | 2005-05-19 | 2006-11-30 | Nikon Corp | 暗黒画像を用いて画像ノイズを抑制する電子カメラ |
US7804532B2 (en) | 2005-04-27 | 2010-09-28 | Nikon Corporation | Noise reducing device, electronic camera, and image processing program for reducing image noise by using blackout image |
US7804533B2 (en) | 2005-12-26 | 2010-09-28 | Canon Kabushiki Kaisha | Image sensing apparatus and correction method |
KR101225060B1 (ko) * | 2006-03-08 | 2013-01-23 | 삼성전자주식회사 | 이미지 센서에서 노이즈 판단 기준을 추정하는 방법 및장치 |
US12020406B2 (en) | 2021-02-26 | 2024-06-25 | Samsung Electronics Co., Ltd. | Image signal processing method, image sensing device including an image signal processor |
-
2003
- 2003-02-14 JP JP2003036331A patent/JP2004248006A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006054763A1 (ja) * | 2004-11-18 | 2006-05-26 | Sanyo Electric Co., Ltd. | 電子カメラ |
JP2006311086A (ja) * | 2005-04-27 | 2006-11-09 | Nikon Corp | 暗黒画像を用いて画像ノイズを抑制するノイズ抑制装置、電子カメラ、および画像処理プログラム |
US7804532B2 (en) | 2005-04-27 | 2010-09-28 | Nikon Corporation | Noise reducing device, electronic camera, and image processing program for reducing image noise by using blackout image |
US7956909B2 (en) | 2005-04-27 | 2011-06-07 | Nikon Corporation | Noise reducing device, electronic camera, and image processing program for reducing image noise by using blackout image |
JP2006324983A (ja) * | 2005-05-19 | 2006-11-30 | Nikon Corp | 暗黒画像を用いて画像ノイズを抑制する電子カメラ |
US7804533B2 (en) | 2005-12-26 | 2010-09-28 | Canon Kabushiki Kaisha | Image sensing apparatus and correction method |
KR101225060B1 (ko) * | 2006-03-08 | 2013-01-23 | 삼성전자주식회사 | 이미지 센서에서 노이즈 판단 기준을 추정하는 방법 및장치 |
US12020406B2 (en) | 2021-02-26 | 2024-06-25 | Samsung Electronics Co., Ltd. | Image signal processing method, image sensing device including an image signal processor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4534715B2 (ja) | 撮像装置および画像処理プログラム | |
US9438831B2 (en) | Noise reduction device for reducing noise in image using blackout image, electronic camera, program, and method | |
JP3587433B2 (ja) | 固体撮像素子の画素欠陥検出装置 | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2006005912A (ja) | 撮像装置、ノイズ除去方法およびノイズ除去プログラム | |
JP2004248006A (ja) | 電子カメラ、ノイズ除去装置、およびノイズ除去プログラム | |
JPH11239298A (ja) | 電子カメラ、画素信号補正方法及び記録媒体 | |
JP4765387B2 (ja) | ノイズ抑制装置、電子カメラおよびノイズ抑制プログラム | |
JP5137738B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5074564B2 (ja) | 撮像装置、ノイズ除去方法およびノイズ除去プログラム | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4337356B2 (ja) | 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法 | |
JP4110044B2 (ja) | 画像撮像方法 | |
JP2017050646A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2006180270A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 | |
JP4525198B2 (ja) | ノイズ除去装置、電子カメラ、およびノイズ除去プログラム。 | |
JP2004064512A (ja) | 欠陥画素の検出方法および装置、並びに撮像装置 | |
JP2003169258A (ja) | 撮像装置 | |
JP4725052B2 (ja) | 撮像装置 | |
JP2004201207A (ja) | ノイズ低減装置、撮像装置、およびノイズ低減プログラム | |
JP4394470B2 (ja) | 撮像装置 | |
JP2006148748A (ja) | 画素欠陥補正装置および画素欠陥補正方法 | |
JP4262363B2 (ja) | 撮像装置 | |
JP4322258B2 (ja) | ノイズ処理装置および撮像装置 | |
JP5137737B2 (ja) | 撮像装置、その制御方法及びプログラム |