JP5293447B2

JP5293447B2 - 電子カメラ

Info

Publication number: JP5293447B2
Application number: JP2009149434A
Authority: JP
Inventors: 正和須原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-06-24
Filing date: 2009-06-24
Publication date: 2013-09-18
Anticipated expiration: 2029-06-24
Also published as: JP2011009897A

Description

本発明は、被写体光を受光することで画像を取得する電子カメラに関する。

近年、普及されるデジタルカメラなどの電子カメラにおいては、被写体光を受光した状態での本撮影と被写体光を遮光した状態での遮光撮影とを行い、これら撮影にて得られる画像の差分を求めることで、ノイズ成分を除去した画像を取得することが考案されている（特許文献１参照）。また、カメラ本体に組み込まれる撮像素子をリセットした直後の各画素の信号レベルと被写体光を受光したときの各画素の信号レベルとの差分を求めることで、各画素に生じるリセットノイズや各画素を構成するフォトダイオードなどの回路素子特有の固定パターンノイズ（ＦＰＮ：Fixed Pattern Noise）などを取り除くことも考案されている。

上述したノイズ成分を除去する方法としては、例えば撮像素子に行列状に配置される複数の画素のうち、同一の画素列となる画素の信号レベルを平均した平均信号レベルを算出し、算出された平均信号レベルを、本撮影時に得られる画素の信号レベルから減算することが挙げられる。

特許第４１４６９４５号公報

しかしながら、撮像素子に配置される複数の画素として、例えば他の画素の信号レベルよりも高い信号レベルとなる画素（所謂、白点画素）が含まれる場合、その画素列の平均信号レベルは他の画素列の平均信号レベルよりも高くなってしまう。このため、平均信号レベルを用いた減算処理を実行すると、実際のノイズ成分よりも大きい値を減算してしまうことになり、ノイズ除去された本画像においては縦筋と呼ばれる画素欠陥が生じてしまう。このように、撮像素子に配置される複数の画素に白点画素が含まれる場合には、上述したノイズ除去を高精度に施すことができない。

本発明は、撮像素子に配置される複数の画素として白点画素が含まれる場合であっても、撮影時に得られる画像に対して高精度なノイズ補正を行うことができるようにした電子カメラを提供することを目的とする。

上述した課題を解決するために、本発明の電子カメラは、入射光を光電変換する複数の画素が行列状に配置された撮像素子と、前記撮像素子に配置された前記複数の画素のそれぞれに蓄積される、前記撮像素子が遮光された状態で蓄積される電荷に基づく画素信号を第１画素信号として出力させるとともに、前記撮像素子に配置された前記複数の画素のそれぞれで受光した前記入射光を光電変換したときに得られる電荷に基づく画素信号を第２画素信号として出力させる制御部と、前記複数の画素から出力される第１画素信号のうち、その信号値が予め設定された第１閾値よりも大きい第２閾値を超過する第１画素信号が含まれる場合に、前記第２閾値を超過する前記第１画素信号を、該第１画素信号を出力した画素の周縁に配置された周縁画素から出力された第１画素信号に基づいて補正した後、少なくとも予め設定された第１閾値を超過する前記第１画素信号を除いた、各画素列に含まれる残りの第１画素信号を用いて画素列毎の補正値を算出し、算出した画素列ごとの補正値を用いて該画素列ごとに前記第２画素信号を前記画素列毎に補正する補正部と、を備えたことを特徴とする。

また、前記補正部は、前記第２閾値を超過する第１画素信号を、前記周縁画素のいずれかの画素から出力される第１画素信号に置換することを特徴とする。

また、前記補正部は、前記周縁画素から出力される第１画素信号を用いた補間処理を行うことで、前記第２閾値を超過した第１画素信号を補正することを特徴とする。

また、前記複数の画素は、前記入射光を光電変換する光電変換部と、前記光電変換部により光電変換された電荷を蓄積する電荷蓄積部と、前記光電変換部と前記電荷蓄積部とを遮断、又は接続するスイッチング素子と、を有し、前記制御部は、前記スイッチング素子により前記光電変換部と前記電荷蓄積部とを遮断した状態で出力された画素信号と、前記光電変換部と前記電荷蓄積部とが接続された状態で出力された画素信号との差分を求めることで、前記第１画素信号及び第２画素信号を出力することが好ましい。

また、前記撮像素子は、前記複数の画素の各画素からの画素信号を画素列方向に転送する転送部と、前記転送部により読み出された画素信号を画素列毎に増幅する増幅器とを、さらに備え、前記補正部は、前記増幅器により増幅された画素列毎の第１画素信号の信号値を平均することで前記補正値を算出することが好ましい。

本発明によれば、撮像素子に配置される複数の画素として白点画素が含まれる場合であっても、高精度なノイズ除去を行うことができる。

本発明のデジタルカメラの構成を示す図である。撮像素子の画素の構成を示す回路図である。各画素の画素信号を読み出す手順を示す図である。ノイズ補正の一例を示す説明図である。信号レベルが第２閾値よりも高い画素が生じる場合に、ノイズ補正に用いる補正値を求める場合を示す説明図である。撮影時におけるデジタルカメラの処理の流れを示すローチャートである。信号レベルが第２閾値よりも高い画素が含まれる行を除いて、ノイズ補正に用いる補正値を求める場合を示す説明図である。

図１は、本発明を用いたデジタルカメラの構成を示す。周知のように、デジタルカメラ１０は、撮像光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号（画素信号）から画像データを取得する。撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。なお、撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。この撮像素子１６は、ドライバ１７によって駆動される。

ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）回路２１は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。このＡＦＥ回路２１には、撮像処理により取得された画像信号が入力される。撮像処理としては、予め設定されたシャッタ速度に合わせた露光時間、撮像素子１６の各画素に被写体光を受光させる露光処理の他に、第１排出処理、第２排出処理からなる。

第１排出処理は、図示を省略したシャッタにより遮光された状態で実行される。なお、撮像素子１６の各画素には、遮光された状態でも不要な電荷が蓄積されることから、各画素に蓄積される不要な電荷を画素毎に排出することで、固定パターンノイズ（ＦＰＮ）を示す画像（以下、ＦＰＮ画像）を取得することが可能となる。この第１排出処理は、撮像素子１６に設けられた各画素の転送トランジスタ６５（図２参照）がオフの状態で、撮像素子１６に設けられたコンデンサ６４（図２参照）に蓄積される電荷を排出する処理と、撮像素子１６に設けられた転送トランジスタ６５がオンの状態で、フォトダイオード６３（図２参照）やコンデンサ６４に蓄積された電荷を排出する処理とから構成される。この第１排出処理を行うことで、ＦＰＮ画像を取得することが可能となる。

また、第２排出処理は、露光処理の後に、シャッタにより遮光された状態で実行される。この第２排出処理も第１排出処理と同様に、撮像素子１６に設けられた各画素の転送トランジスタ６５がオフの状態で、撮像素子１６に設けられたコンデンサ６４（図２参照）に蓄積される電荷を排出する処理と、撮像素子１６に設けられた転送トランジスタ６５がオンの状態で、フォトダイオード６３やコンデンサ６４に蓄積された電荷を排出する処理とから構成される。つまり、第１排出処理及び第２排出処理のそれぞれの排出処理においては、撮像素子１６から２つの画像信号が出力される。この第２排出処理を行うことで、本画像を取得することが可能となる。

ＡＦＥ回路２１は、第１排出処理により得られる２つの画像信号に対して相関二重サンプリング処理を行って、ＦＰＮ画像を示す画像信号（以下、ＦＰＮ画像信号）を生成する。また、同様にして、第２排出処理により得られる２つの画像信号に対して相関二重サンプリング処理を行って、本画像を示す画像信号（以下、本画像信号）を生成する。そして、生成されたＦＰＮ画素信号や本画像信号に対して、ゲインコントロールや雑音除去などのアナログ処理を施した後、アナログの信号をデジタルの信号に変換する。

ＤＦＥ（ＤｉｇｉｔａｌＦｒｏｎｔＥｎｄ）回路２２は、入力されたＦＰＮ画像信号や本画像信号に対して欠陥補正処理やノイズ補正処理を行う。このＤＦＥ回路２２は、欠陥補正部２３やノイズ補正部２４の機能を有している。

欠陥補正部２３は、ＦＰＮ画像や本画像に発生する白点となる画素（以下、白点画素）を欠陥画素として特定し、該欠陥画素に対する補正を行う。なお、白点画素とは、光が入射していなくとも比較的高い画素レベルとなる場合を示す。この欠陥補正部２３は、入力されるＦＰＮ画像信号や本画像信号における各画素の信号値（以下、画素値）が予め設定される欠陥検出用の閾値を超過するか否かを判定する。この判定で、欠陥検出用の閾値を超過する画素値となる画素に対しては白点画素であると判断し、白点画素を欠陥画素として特定する。

欠陥画素が特定されると、欠陥補正部２３は、欠陥画素の画素値を欠陥画素の周縁に配置された同一色の画素のいずれかの画素値に置換する処理、或いは、欠陥画素の周縁に配置された同一色の画素の画素値を用いた補間処理などを行って、欠陥画素に対する欠陥補正を行う。

ノイズ補正部２４は、ＦＰＮ画像に基づいて本画像に対するノイズ補正を行う。詳細には、ＦＰＮ画像の各画素から画素列毎の補正値を求め、求めた補正値を用いて、本画像の各画素の画素値を画素列毎に補正する。なお、画素列毎の補正値を求める方法については後述する。このノイズ補正が施された画像信号は、画像データとしてバッファメモリ３０に記録される。なお、符号２５はタイミングジェネレータ（ＴＧ）であり、このＴＧ２５は、ＡＦＥ回路２１、ＤＦＥ回路２２及びドライバ１７の駆動タイミングを制御するために設けられる。

画像処理回路３５は、バッファメモリ３０に記憶された画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理の後、画像処理回路３５は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の圧縮画像データが生成される。また、画像処理回路３５は、解像度変更処理を行うことによってサムネイル画像データを生成する。

メディアスロット３６は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体３７が着脱自在となっている。この記憶媒体３７には、静止画像や動画像などの画像ファイルを記録することが可能となる。例えば画像ファイルが静止画像に基づくものであれば、画像処理回路３５にて生成された圧縮画像データ、サムネイル画像データの他に、撮影時の撮影条件を示す情報やデジタルカメラ１０の情報が一つにまとめられたＥｘｉｆ形式の画像ファイルが記憶媒体３７に書き込まれる。

ＬＣＤ３８は、表示装置の一形態であって、スルー画像や、撮影時に得られた画像を表示する。また、この他に、ＬＣＤ３８は、デジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３９は、ＬＣＤ３８の駆動制御を行う表示制御回路である。

ＣＰＵ４１は、バス４２を介して、バッファメモリ３０、画像処理回路３５、メディアスロット３６、表示制御回路３９、内蔵メモリ４３などと電気的に接続される。このＣＰＵ４１には、レリーズボタン４４、設定操作部４５などが接続されており、ＣＰＵ４１は、これら操作部材における操作要求や内蔵メモリ４３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。

図２は、撮像素子１６の画素の構成を示す回路図である。上述したように、撮像素子１６としては、ＣＭＯＳイメージセンサが用いられる。この撮像素子１６は、上述した複数の画素Ａ_ij、垂直シフトレジスタ５１、サンプルホールド（ＳＨ）回路５２_j及び水平シフトレジスタ５３及び出力アンプ５４を備えている。複数の画素Ａ_ijのそれぞれは、垂直シフトレジスタ５１から水平方向に伸びる複数の信号線５５_i，５６_i，５７_i，５８_iによって電気的に接続される。なお、複数の信号線のうち、信号線５５_iは転送用の信号線、信号線５６_iはリセット用の信号線、信号線５７_iは選択用の信号線、信号線５８_iは電源用の信号線である。なお、複数の画素Ａ_ijのうち、同一列方向に配置された画素（図２においては、画素Ａ₁₁及び画素Ａ₂₁）から出力される画素信号は垂直信号線６１_jによりカラムアンプ６２_jを介してＳＨ回路５２_jに入力される。

複数の画素Ａ_ijは、従来のＣＭＯＳイメージセンサと同様に、光電変換によって電荷を生成するフォトダイオード６３、フォトダイオード６３により生成された電荷を蓄積するフローティングディフュージョン（ＦＤ）として機能するコンデンサ６４、フォトダイオード６３に蓄積された電荷をコンデンサ６４に転送する転送トランジスタ６５、ゲートがコンデンサ６４と接続されてコンデンサ６４の電位変動を電気信号に変換する増幅トランジスタ６６、信号を読み出す画素を行単位で選択するための選択トランジスタ６７、コンデンサの電位を電源電位（Ｖｄｄ）にリセットするためのリセットトランジスタ６８を有している。なお、選択トランジスタ６７は、画素列毎に配線された垂直信号線６１_jと接続されている。

ＳＨ回路５２_jは、信号を読み出す画素を列単位で選択するための選択トランジスタ７１，７２と、選択トランジスタ７１，７２のゲートが開放されたときに掃き出される信号を蓄積するコンデンサ７３，７４とから構成される。なお、選択トランジスタ７１とコンデンサ７３とは、上述した転送トランジスタ６５のゲートが遮断されている場合にコンデンサ６４に蓄積される電荷を掃き出す際に、選択トランジスタ７２とコンデンサ７４とは、上述した転送トランジスタ６５のゲートが開放された場合にコンデンサ６４に蓄積される電荷を掃き出す際にそれぞれ使用される。なお、このＳＨ回路５２_jは水平信号線７５に接続されており、ＳＨ回路５２_jから出力される画素信号は、ＳＨ回路５２_jに保持された画素信号は水平信号線７５、出力アンプ５４を介して出力される。なお、出力アンプ５４を介して出力される画素信号をまとめたものが画像信号（画像データ）となる。

次に、上述した撮像素子１６は下記の動作にて駆動される。垂直シフトレジスタ５１は、対象となる画素Ａ_ijにリセット信号を出力する。このリセット信号が出力されると、対象となる画素Ａ_ijのリセットトランジスタ６８はオンとなる。これにより、コンデンサ６４に蓄積された電荷に基づいた電圧が増幅トランジスタ６６のゲート電圧となる。この状態で、選択信号が出力されると選択トランジスタ６７がオンとなる。電源電圧線５８_iには、所定量の電圧が印可されているので、この選択トランジスタ６７がオンとなることを受けて、増幅トランジスタ６６のゲート電圧が垂直信号線６１_jに出力される。なお、垂直信号線６１_jに出力されたゲート電圧は、カラムアンプ６２_jを介してＳＨ回路５２_jに入力される。なお、水平シフトレジスタ５３では、選択トランジスタ７１に対するオン信号を出力している。これにより、選択トランジスタ７１がオンとなるので、カラムアンプ６２_jにより増幅された電圧が、コンデンサ７３に電荷として蓄積される。

その後、垂直シフトレジスタ５１は、転送信号とリセット信号とを出力する。これを受けて、転送トランジスタ６５及びリセットトランジスタ６８がそれぞれオンとなる。これにより、フォトダイオード６３及びコンデンサ６４に蓄積された電荷に基づいた電圧が増幅トランジスタ６６のゲート電圧となる。この状態で選択信号が出力されると、選択トランジスタ６７がオンとなる。これにより、増幅トランジスタ６６のゲート電圧が垂直信号線６１ _jに出力される。なお、垂直信号線６１_jに出力された電圧はカラムアンプ６２_jを介してＳＨ回路５２_jに入力される。なお、水平シフトレジスタ５３では、選択トランジスタ７２に対するオン信号を出力している。これにより、選択トランジスタ７２がオンとなるので、カラムアンプ６２_jにより増幅された電圧が電荷としてコンデンサ７４に蓄積される。なお、これらＳＨ回路５２_jのコンデンサ７３，７４にそれぞれ蓄積される電荷は、同時に水平信号線７５に出力され、出力アンプ５４を介して出力される。

図３に示すように、撮像素子１６の各画素は、Ｒ色、Ｇ色、Ｂ色のいずれかの色からなるベイヤー配列で配列されている。なお、図３においては、Ｒ色となる画素をＲ_n、Ｇ色となる画素をＧｒ_n、Ｇｂ_n、Ｂ色となる画素をＢ_nとして示している。この撮像素子１６における各画素の画素信号は、図３中水平方向を行、図３中垂直方向を列とした場合に、同一行毎に各画素の画素信号が読み出されていく。つまり、一行目に配置された画素Ｒ₀₀、Ｇｒ₀₀、Ｒ₀₁、Ｇｒ₀₁・・・の順で画素信号が読み出される。その後、二行目に配置された画素Ｇｂ₀₀、Ｂ₀₀、Ｇｂ₀₁、Ｂ₀₁・・・の順で画素信号が読み出されていく。

次に、ノイズ補正に用いられる補正値を算出する方法について説明する。上述したように、ノイズ補正に用いられる補正値はＦＰＮ画像信号に基づいて算出される。撮像素子１６から出力される画像信号は、垂直信号線６１_jに出力された各画素の画素信号が、水平信号線７５を介して出力される。また、撮像素子１６の各画素は、Ｒ色、Ｇ色（詳細にはＧｒ色及びＧｂ色）及びＢ色のいずれかの色の画素をベイヤー配列によって配置されている。これら理由を考慮すると、ノイズ補正に用いる補正値は、複数の画素から出力される画素信号のうち、同一の垂直信号線６１_jを介して出力される画素信号のうち、同一色成分となる画素の画素信号を用いて求めることが望ましい。図４に示すように、Ｒ色の画素であれば、画素Ｒ₀₀、Ｒ₀₇、Ｒ₁₄、Ｒ₂₁における画素値を平均することで、同一の画素列におけるＲ色の画素の補正値が求められる。また、同様にして、Ｇｒ色、Ｇｂ色及びＢ色となる画素の補正値も同様にして求められる。なお、この画素列毎の補正値は、同一の画素列に含まれる全ての画素の画素値を用いてもよいし、一部の画素を用いてもよい。

このようにして、ノイズ補正時には、同一の画素列における補正値が求められる。しかしながら、撮像素子１６から出力される各画素の画素信号においては、上述した欠陥補正部２３において、白点と判定される信号レベルとなる画素の他に、白点と判定されないが、他の画素の信号レベルよりも明らかに高い信号レベルとなる画素も含まれている。このような画素から出力される画素信号を用いた場合には、該画素が含まれる画素列の補正値が他の補正値よりも高い補正値となる。このため、このような補正値を用いると、本画像に対するノイズ補正が高精度に実行されなくなり、ノイズ補正後の本画像中に縦筋が発生してしまう。

これにより、ＦＰＮ画像を用いて画素列毎の補正値を求める際には、各画素の画素値が予め設定されたノイズ補正用の閾値を超過するか否かを判定する。なお、このノイズ補正用の閾値は、上述した欠陥検出用の閾値未満の値となる。この判定で各画素の画素値がノイズ補正用の閾値以下となる場合には、上述した方法で画素列毎の補正値を求める。一方、上述した判定で、ノイズ補正用の閾値を超過する画素値であると判定された場合には、ノイズ補正用の閾値を超過する画素値となる画素を含む画素列のうち、該ノイズ補正用の閾値を超過する画素値となる画素を除いた、残りの画素の画素値を用いて画素列毎の補正値を求める。

図５に示すように、画素Ｇｒ₀₇の画素値がノイズ補正用の閾値を超過していると判定された場合には、画素Ｇｒ₀₀、Ｇｒ₁₄、Ｇｒ₂₁の画素値を用いて補正値を算出する。このようにして求めた画素列毎の補正値を用いて、本画像に対するノイズ補正が画素列毎に実行される。

次に、撮影時のデジタルカメラ１０における処理の流れについて、図６のフローチャートに基づいて説明する。なお、このフローチャートは、レリーズボタン４４の操作が実行されない、所謂待機状態であることを契機にして実行される。

ステップＳ１０１は、レリーズボタン４４が操作されたか否かを判定する処理である。レリーズボタン４４が操作されると、その操作信号がＣＰＵ４１に入力される。ＣＰＵ４１は、レリーズボタン４４の操作信号が入力された場合に、レリーズボタン４４が操作されたと判定する。この場合、ステップＳ１０１の判定処理がＹｅｓとなり、ステップＳ１０２に進む。一方、ＣＰＵ４１にレリーズボタン４４の操作信号が入力されない場合には、ＣＰＵ４１は、レリーズボタン４４は操作されていないと判定する。この場合、ステップＳ１０１の判定処理がＮｏとなる。この場合は、ステップＳ１０１の判定処理がＹｅｓとなるまで、撮影待機状態が保持される。なお、このステップＳ１０１の判定処理が実行されると、図示を省略したＡＥ処理やＡＦ処理が実行された後、ステップＳ１０２の処理が実行される。なお、ステップＳ１０２及びステップＳ１０３の処理が撮像処理となる。

ステップＳ１０２は、ＦＰＮ画像を取得する処理である。このステップＳ１０２が実行されると、まず、第１排出処理が実行される。上述したように、第１排出処理は、図示を省略したシャッタにより撮像素子１６が遮光された状態で実行される。この第１排出処理は、撮像素子１６に設けられた各画素の転送トランジスタ６５がオフの状態でコンデンサ６４に蓄積される電荷を排出する処理が実行された後、撮像素子１６に設けられた転送トランジスタ６５がオンの状態で、フォトダイオード６３やコンデンサ６４に蓄積された電荷を排出する処理が実行される。これら処理を行うことで、２種類の画像信号がＡＦＥ回路２１に入力される。ＡＦＥ回路２１は、各画素に対応する２つの画素信号を用いた相関二重サンプリング処理を施す。この相関二重サンプリング処理が実行された後、ゲインコントロールや雑音除去などのアナログ処理を施す。最後に、アナログの画素信号をデジタルの画素信号に変換する。この処理が実行されたデジタルの画素信号をまとめたものがＦＰＮ画像信号として、バッファメモリ３０に記憶される。

ステップＳ１０３は、本画像を取得する処理である。ＣＰＵ４１は、ＡＥ処理により決定された、或いは、設定操作部４５により設定されたシャッタ速度に基づいて、シャッタを開放する。これにより、露光処理が実行され、撮像光学系１５を介して取り込まれた被写体光が、予め設定された露光時間、撮像素子１６の各画素に照射される。これを受けて、撮像素子１６の各画素を構成するフォトダイオード６３によって光電変換が行われ、信号電荷が蓄積される。この露光処理が実行された後、第２排出処理が実行される。なお、第２排出処理は、撮像素子１６に設けられた各画素の転送トランジスタ６５がオフの状態でコンデンサ６４に蓄積される電荷を排出する処理が実行された後、撮像素子１６に設けられた転送トランジスタ６５がオンの状態で、フォトダイオード６３やコンデンサ６４に蓄積された電荷を排出する処理が実行される。これら処理を行うことで、２種類の画像信号がＡＦＥ回路２１に入力される。ＡＦＥ回路２１は、各画素に対応する２つの画素信号を用いた相関二重サンプリング処理を施す。この相関二重サンプリング処理が実行された後、ゲインコントロールや雑音除去などのアナログ処理を施す。最後に、アナログの画素信号をデジタルの画素信号に変換する。この処理が実行されたデジタルの画素信号をまとめたものが本画像信号として、バッファメモリ３０に記憶される。

ステップＳ１０４は、欠陥補正を行う処理である。ＤＦＥ回路２２は、バッファメモリ３０に記録されたＦＰＮ画像信号を読み出し、読み出したＦＰＮ画像信号における信号値（画素値）が欠陥検出用の閾値を超過するか否かを判定する。この判定で、欠陥検出用の閾値を超過する画素値がある場合には、その画素値となる画素を欠陥画素と特定する。そして、この欠陥画素の周縁に位置する同一色の画素のいずれかの画素値を欠陥画素であると判定された画素の画素値に置換する、或いは、欠陥画素の周縁に位置する同一色の画素の画素値を用いた補間処理を行って、欠陥画素であると判定された画素の画素値を差し替える。なお、本画像信号についても同様の処理が実行される。

ステップＳ１０５は、画素列毎の補正値を算出する処理である。ＤＦＥ回路２２は、欠陥補正されたＦＰＮ画像信号を読み出し、ＦＰＮ画像信号における各画素の画素値がノイズ補正用の閾値を超過するか否かを判定する。なお、画素値がノイズ補正用の閾値を超過する場合には、その画素値を有する画素のアドレスを記憶しておく。ノイズ補正用の閾値との比較を全ての画素値に対して実行した後、ＤＦＥ回路２２は、ノイズ補正に用いる画素列毎の補正値を算出する。

図４に示すように、同一の画素列に含まれる画素が画素Ｒ₀₀、Ｒ₀₇、Ｒ₁₄、Ｒ₂₁となり、これら全画素の画素値がノイズ補正用の閾値以下となる場合には、ＤＦＥ回路２２は、これら画素の画素値を平均することで、画素列における補正値を算出する。一方、図５に示すように、同一の画素列に含まれる画素が、画素Ｇｒ₀₀、Ｇｒ₀₇、Ｇｒ₁₄、Ｇｒ₂₁となり、これら画素のうち、画素Ｇｒ₀₇の画素値がノイズ補正用の閾値を超過する場合には、画素Ｇｒ₀₇を除いた残りの画素（この場合、画素Ｇｒ₀₀、画素Ｇｒ₁₄、画素Ｇｒ₂₁）の各画素の画素値を平均することで、画素列における補正値を算出する。このようにして、画素列毎の画素値が求められていく。

ステップＳ１０６は、本画像に対するノイズ補正処理である。ＤＦＥ回路２２は、画素列毎の補正値を用いて、バッファメモリ３０に記憶された本画像信号に対するノイズ補正を実行する。なお、このノイズ補正は、所定の画素列に含まれる画素の画素値を、対応する画素列の補正値で減算する処理である。これにより、固定パターンノイズが除去された本画像信号が生成される。

ステップＳ１０７は、画像処理である。ステップＳ１０６によってノイズ補正が施されている。画像処理回路３５は、ノイズ補正が施された本画像信号を読み出す。そして、読み出した本画像信号に対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。これら処理の後、画像処理回路３５は、予め設定された圧縮率を用いた圧縮符号化処理を施す。この圧縮符号化処理が実行されることで、例えばＪＰＥＧ方式の圧縮画像データが生成される。また、画像処理回路３５は、解像度変更処理を行うことによってサムネイル画像データを生成する。

ステップＳ１０８は、画像を記録する処理である。ＣＰＵ４１は、ステップＳ１０７により生成された圧縮画像データやサムネイル画像データの他に、撮影条件を示す情報やカメラ機種などの情報を画像ファイルとしてまとめた上で、該画像ファイルを記憶媒体３７に書き込む。この処理が終了することで、１回の撮影が終了する。

デジタルカメラ１０を用いて撮影を実行したときには、被写体光を受光することで得られる本画像を取得する前に、被写体光を受光しない状態で各画素に蓄積される不要な電荷からなるＦＰＮ画像を取得している。このＦＰＮ画像からノイズ補正における補正値を画素列毎に算出する際に、画素値が高い画素値を有する画素を補正値を算出する際に用いる対象から外し、残りの画素を用いて補正値を算出している。これによれば、画素値（信号レベル）が他の画素の画素値よりも明らかに高い画素値を用いないで済むので、補正値を高精度に求めることが可能となる。これにより、固定パターンノイズが除去された本画像中に縦筋が発生することが抑止される。

また、ＦＰＮ画像信号を取得する際に、転送トランジスタ６５がオフの状態のときに得られる画素信号と、転送トランジスタ６５をオンにしたときに得られる画素信号との差分を算出することで、フォトダイオード６３によって蓄積された信号電荷を固定パターンノイズとして考えることができるので、より高精度なノイズ補正を本画像に施すことが可能となる。

本実施形態では、ノイズ補正用の閾値を超過する画素値を除いた上で、画素列毎の補正値を算出しているが、これに限定する必要はない。例えば、同一行に配置された画素のいずれかの画素が、ノイズ補正用の閾値を超過する画素値となる場合には、同一行に配置された画素の画素値が、ノイズ補正用の閾値を超過する画素値となる可能性が高い。これにより、ノイズ補正用の閾値を超過する画素値となる画素が特定された場合には、該画素が含まれる同一行の画素を全て除いた上で、画素列毎の補正値を求めることも可能である。つまり、図７に示すように、画素Ｒ₀₈がノイズ補正用の閾値を超過する画素値となる場合には、この画素Ｒ₀₈を含む同一行の画素（図中においては、画素Ｒ₀₇を、画素Ｇｒ₀₇、画素Ｒ₀₈、画素Ｇｒ₀₈、画素Ｒ₀₉、画素Ｇｒ₀₉）をノイズ補正時に用いる補正値を算出する際には、その対象から外し、他の行の画素を用いて画素列毎の補正値を算出する。

本実施形態では、ノイズ補正用の閾値よりも高い画素値となる画素のみを、補正値を算出する際に除いているが、ノイズ補正用の閾値よりも高い画素値となる画素の周縁に配置される同色の画素の画素値に置換する、又はノイズ補正用の閾値よりも高い画素値となる画素の周縁に配置される同色の画素を用いた補間処理により、ノイズ補正用の閾値よりも高い画素値となる画素の画素値を差し替えた上で、画素列毎の補正値を用いることも可能である。

本実施形態では、欠陥補正処理の後に、ノイズ補正処理を実行しているが、これに限定する必要はなく、ノイズ補正処理を実行した後に、欠陥補正処理を実行することも可能である。

本実施形態では、電子カメラを例に取り上げているが、これに限定されるものではなく、例えばカメラ機能を備えた携帯型電話機や携帯型ゲーム機などの携帯型端末器に用いることが可能である。

また、この他に、図１に示す欠陥補正部、ノイズ補正部の機能をコンピュータに実行させるためのプログラムであってもよい。この場合、電子カメラにおける撮影時には、ＦＰＮ画像と本画像とを関連付けて記憶媒体に記録しておき、欠陥補正処理やノイズ補正処理を実行することも可能である。なお、これら機能は、画像処理プログラムの機能の一つとしておき、画像処理を実行する前に、これら処理を実行させることも可能である。

１０…デジタルカメラ、１６…撮像素子、２２…ＤＦＥ回路、２３…欠陥補正部、２４…ノイズ補正部、３０…バッファメモリ、３５…画像処理回路、５１…垂直シフトレジスタ、５２…ＳＨ回路、５３…水平シフトレジスタ、６２…カラムアンプ、６３…フォトダイオード、６４…コンデンサ、６５…転送トランジスタ、６７…選択トランジスタ、６８…リセットトランジスタ

Claims

入射光を光電変換する複数の画素が行列状に配置された撮像素子と、
前記撮像素子に配置された前記複数の画素のそれぞれに蓄積される、前記撮像素子が遮光された状態で蓄積される電荷に基づく画素信号を第１画素信号として出力させるとともに、前記撮像素子に配置された前記複数の画素のそれぞれで受光した前記入射光を光電変換したときに得られる電荷に基づく画素信号を第２画素信号として出力させる制御部と、
前記複数の画素から出力される第１画素信号のうち、その信号値が予め設定された第１閾値よりも大きい第２閾値を超過する第１画素信号が含まれる場合に、前記第２閾値を超過する前記第１画素信号を、該第１画素信号を出力した画素の周縁に配置された周縁画素から出力された第１画素信号に基づいて補正した後、少なくとも予め設定された第１閾値を超過する前記第１画素信号を除いた、各画素列に含まれる残りの第１画素信号を用いて画素列毎の補正値を算出し、算出した画素列ごとの補正値を用いて該画素列ごとに前記第２画素信号を前記画素列毎に補正する補正部と、
を備えたことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記補正部は、前記第２閾値を超過する第１画素信号を、前記周縁画素のいずれかの画素から出力される第１画素信号に置換することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記補正部は、前記周縁画素から出力される第１画素信号を用いた補間処理を行うことで、前記第２閾値を超過した第１画素信号を補正することを特徴とする電子カメラ。
請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
前記複数の画素は、前記入射光を光電変換する光電変換部と、前記光電変換部により光電変換された電荷を蓄積する電荷蓄積部と、前記光電変換部と前記電荷蓄積部とを遮断、又は接続するスイッチング素子と、を有し、
前記制御部は、前記スイッチング素子により前記光電変換部と前記電荷蓄積部とを遮断した状態で出力された画素信号と、前記光電変換部と前記電荷蓄積部とが接続された状態で出力された画素信号との差分を求めることで、前記第１画素信号及び第２画素信号を出力することを特徴とする電子カメラ。
請求項１から請求項４のいずれか１項に記載の電子カメラにおいて、
前記撮像素子は、前記複数の画素の各画素からの画素信号を画素列方向に転送する転送部と、前記転送部により読み出された画素信号を画素列毎に増幅する増幅器とを、さらに備え、
前記補正部は、前記増幅器により増幅された画素列毎の第１画素信号の信号値を平均することで前記補正値を算出することを特徴とする電子カメラ。