JP2006140768A - 撮像装置、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】被写体像に輝度や色の急激な変化が含まれていても、補間処理における偽色の発生を抑える撮像装置を提供する。
【解決手段】照明装置１３の光源として、光の３原色であるＢ成分、Ｇ成分、およびＲ成分をそれぞれ含むように発光極大波長を分離した３波長光源であるＬＥＤモジュール１３１を備える。ＬＥＤモジュール１３１の発光極大波長と、撮像素子１２１の分光感度特性の透過極大波長とを合致させる。分光感度特性の「山」で示される透過域にＬＥＤモジュール１３１の発光極大波長を３つ含むようにし、撮像信号値が異なる色成分の光の受光信号の和によって表されるようにする。ＬＥＤモジュール１３１の各色成分の発光素子を時分割で点灯させ、各発光素子の点灯タイミングに合わせて撮像素子１２１でそれぞれ電荷蓄積を行わせる。分光感度特性の「山」に含まれる３つの発光極大波長における感度比と、実際に得られた信号値（注目画素位置に設けられている色フィルタと異なる色成分の撮像信号）とを用いて、注目画素位置において上記異なる色成分の情報を推定する。
【選択図】図２

Description

本発明は、画素ごとに異なる色のフィルタを通して撮影を行う撮像装置、この撮像装置で撮影された画像に対する画像処理装置に関する。

ベイヤー配列のような色配列を有する色フィルタを備える撮像素子から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の情報が出力され、Ｇ色フィルタに対応する画素からはＧ色の情報が出力され、Ｂ色フィルタに対応する画素からはＢ色の情報が出力される。Ｒ色フィルタに対応する画素情報を例にとれば、Ｒ成分の情報だけでＧ成分、Ｂ成分の情報がない。このため、画像を構成する全ての画素位置においてＲＧＢ全色分の情報を得るために各画素位置において不足する色成分の情報が補間処理によって算出される（特許文献１参照）。

特開２００３−２８７６７４号公報

特許文献１に記載の補間処理では、注目画素に近接する画素で得られる色成分の情報を参照して注目画素における色成分の情報を生成するので、被写体像の輝度や色が急激に変化する箇所では偽色が発生することがある。

請求項１に記載の発明による撮像装置は、第１の色成分を透過させる第１の色フィルタ、もしくは第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して被写体像を撮像する撮像素子と、被写体が第１の色成分の光で照明された状態で撮像素子に第１の撮像を行わせるとともに、被写体が第２の色成分の光で照明された状態で撮像素子に第２の撮像を行わせる撮像制御手段と、第１の色フィルタ、第２の色フィルタ、第１の色成分の光、および第２の色成分の光のそれぞれの分光特性と、第１の撮像で得られる画素信号および第２の撮像で得られる画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように第１の色成分もしくは第２の色成分の画素信号を生成する画素信号生成手段とを備えることを特徴とする。
上記撮像装置の画素信号生成手段は、（１）第１の色フィルタによる第１の色成分の透過率と第２の色フィルタによる第１の色成分の透過率との比、および第２の色フィルタが形成される画素から第１の撮像で得られる第１の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第１の画素信号推定手段と、（２）第１の色フィルタによる第２の色成分の透過率と第２の色フィルタによる第２の色成分の透過率との比、および第２の色フィルタが形成される画素から第２の撮像で得られる第２の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第２の画素信号推定手段と、（３）第２の色フィルタによる第１の色成分の透過率と第１の色フィルタによる第１の色成分の透過率との比、および第１の色フィルタが形成される画素から第１の撮像で得られる第１の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第３の画素信号推定手段と、（４）第２の色フィルタによる第２の色成分の透過率と第１の色フィルタによる第２の色成分の透過率との比、および第１の色フィルタが形成される画素から第２の撮像で得られる第２の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第４の画素信号推定手段とを含むことを特徴とする。
撮像装置はさらに、（１）第２の色フィルタが形成される画素について、第１の画素信号推定手段で推定された第１の色成分の画素信号と、第２の画素信号推定手段で推定された第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、（２）第１の色フィルタが形成される画素について、第３の画素信号推定手段で推定された第１の色成分の画素信号と、第４の画素信号推定手段で推定された第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成手段を備えてもよい。
上記第１の色フィルタおよび第２の色フィルタはそれぞれ第１の色成分および第２の色成分を透過し、第２の色フィルタは第１の色成分より第２の色成分の透過率が高く、第１の色フィルタは第２の色成分より第１の色成分の透過率が高くされることを特徴とする。
第１の色成分および第２の色成分は光の３原色を構成してもよい。
請求項６に記載の発明は、第１の色成分を透過させる第１の色フィルタ、もしくは第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が第１の色成分の光で照明された状態で撮像された第１の画像、および被写体が第２の色成分の光で照明された状態で撮像された第２の画像に対する画像処理を行う画像処理装置に適用される。そして、第１の色フィルタ、第２の色フィルタ、第１の色成分の光、および第２の色成分の光のそれぞれの分光特性と、第１の画像および第２の画像を構成する画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように第１の色成分もしくは第２の色成分の画素信号を生成する画素信号生成手段を備えることを特徴とする。
上記画像処理装置の画素信号生成手段は、（１）第１の色フィルタによる第１の色成分の透過率と第２の色フィルタによる第１の色成分の透過率との比、および第２の色フィルタが形成される画素に対応する第１の画像の第１の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第１の画素信号推定手段と、（２）第１の色フィルタによる第２の色成分の透過率と第２の色フィルタによる第２の色成分の透過率との比、および第２の色フィルタが形成される画素に対応する第２の画像の第２の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第２の画素信号推定手段と、（３）第２の色フィルタによる第１の色成分の透過率と第１の色フィルタによる第１の色成分の透過率との比、および第１の色フィルタが形成される画素に対応する第１の画像の第１の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第３の画素信号推定手段と、（４）第２の色フィルタによる第２の色成分の透過率と第１の色フィルタによる第２の色成分の透過率との比、および第１の色フィルタが形成される画素に対応する第２の画像の第２の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第４の画素信号推定手段とを含むことを特徴とする。
画像処理装置はさらに、（１）第２の色フィルタが形成される画素について、第１の画素信号推定手段で推定された第１の色成分の画素信号と、第２の画素信号推定手段で推定された第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、（２）第１の色フィルタが形成される画素について、第３の画素信号推定手段で推定された第１の色成分の画素信号と、第４の画素信号推定手段で推定された第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成手段を備えてもよい。
請求項９に記載の発明は、第１の色成分を透過させる第１の色フィルタ、もしくは第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が第１の色成分の光で照明された状態で撮像された第１の画像、および被写体が第２の色成分の光で照明された状態で撮像された第２の画像に対する画像処理をコンピュータ装置で実行する画像処理プログラムに適用される。そして、（１）第１の色フィルタによる第１の色成分の透過率と第２の色フィルタによる第１の色成分の透過率との比、および第２の色フィルタが形成される画素に対応する第１の画像の第１の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第１の画素信号推定処理と、（２）第１の色フィルタによる第２の色成分の透過率と第２の色フィルタによる第２の色成分の透過率との比、および第２の色フィルタが形成される画素に対応する第２の画像の第２の色成分の画素信号を用いて、当該画素に第１の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第２の画素信号推定処理と、（３）第２の色フィルタによる第１の色成分の透過率と第１の色フィルタによる第１の色成分の透過率との比、および第１の色フィルタが形成される画素に対応する第１の画像の第１の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第１の色成分の画素信号を推定する第３の画素信号推定処理と、（４）第２の色フィルタによる第２の色成分の透過率と第１の色フィルタによる第２の色成分の透過率との比、および第１の色フィルタが形成される画素に対応する第２の画像の第２の色成分の画素信号を用いて、当該画素に第２の色フィルタが形成される場合に得られる第２の色成分の画素信号を推定する第４の画素信号推定処理と、（５）第２の色フィルタが形成される画素について、第１の画素信号推定処理で推定した第１の色成分の画素信号と、第２の画素信号推定処理で推定した第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、第１の色フィルタが形成される画素について、第３の画素信号推定処理で推定した第１の色成分の画素信号と、第４の画素信号推定処理で推定した第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成処理とを含むことを特徴とする。

本発明によれば、色フィルタの第１の色成分および第２の色成分における透過率比と、色フィルタを介して得られる画素信号とを用いて他の色成分の画素信号を推定するようにしたので、近接画素の信号の影響を受けることがなく、画像における輝度や色の急激な変化に起因する偽色の発生を抑えることができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による一眼レフ電子カメラの外観図である。図１において、電子カメラ本体１０に交換可能な撮影レンズ２０が装着されている。電子カメラ本体１０の被写体側から見て左上部にレリーズボタン１１が設けられ、電子カメラ本体１０の中央上部にはポップアップ式の照明装置１３が配設される。図１は照明装置１３が使用位置にポップアップされた状態を示す。ポップアップされた照明装置１３は、発光体として備えられている複数のＬＥＤ（発光ダイオード）モジュール１３１が被写体方向に向くように構成されている。

図２は、図１の電子カメラ本体１０の要部構成を説明するブロック図である。図２において、ＣＰＵ１０１はＡＳＩＣなどによって構成される。ＣＰＵ１０１は、後述する各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。

撮影レンズ２０を通過してカメラ本体１０に入射した被写体光束は、撮像素子１２１へ導かれる。撮像素子１２１は、ＣＣＤイメージセンサなどによって構成される。撮像素子１２１は被写体光束による像を撮像し、撮像信号をＡ／Ｄ変換回路１２２へ出力する。Ａ／Ｄ変換回路１２２は、アナログ撮像信号をディジタル信号に変換する。

ＣＰＵ１０１は、ディジタル変換後の画像データにホワイトバランス処理などの画像処理を行う他、画像処理後の画像データを所定の形式で圧縮する圧縮処理、圧縮された画像データを伸長する伸長処理なども行う。記録媒体１２６は、電子カメラ本体１０に対して着脱可能なメモリカードなどによって構成される。記録媒体１２６には、画像処理後の画像データが記録される。

画像再生回路１２４は、非圧縮の画像データ（圧縮前の画像データもしくは伸長後の画像データ）を用いて再生表示用のデータを生成する。表示装置１２５は、たとえば、液晶表示モニタなどによって構成され、再生表示用のデータによる画像を表示する。

測距装置１０２は、撮影レンズ２０による焦点位置の調節状態を検出し、検出信号をＣＰＵ１０１へ出力する。ＣＰＵ１０１は、焦点検出信号に応じて撮影レンズ２０内のフォーカスレンズ（不図示）を光軸方向に進退駆動するようにフォーカスレンズ駆動機構（不図示）へ指令を送り、撮影レンズ２０による焦点位置を調節する。焦点調節情報は、主要被写体までの距離情報に対応する。

測光装置１０３は被写体光量を検出し、検出信号をＣＰＵ１０１へ出力する。ＣＰＵ１０１は、この検出信号を用いて露出演算を行うことにより、照明装置１３から発光すべき光量や制御露出値を演算する。

操作部材１０７は、レリーズボタン１１（図１）の操作に連動するレリーズスイッチなどを含み、各スイッチに対応する操作信号をＣＰＵ１０１へ送出する。

照明装置１３は複数個（図１の例では２５個）のＬＥＤモジュール１３１、およびＬＥＤモジュール１３１を発光させる発光回路１３２を有する。各ＬＥＤモジュール１３１は、赤色（Ｒ成分）光を発する発光素子と、緑色（Ｇ成分）光を発する発光素子と、青色（Ｂ成分）光を発する発光素子とを含む。発光回路１３２は、ＣＰＵ１０１からＬＥＤの発光開始や発光終了を指示するタイミング信号、発光強度（輝度）を指示する信号などを受信し、受信信号に応じて各色の発光素子を点灯制御する。なお、電子カメラ１０に照明装置１３の発光を禁止する設定が行われている場合（照明装置１３が使用位置にポップアップされていない状態を含む）には、ＣＰＵ１０１が発光を指示する信号を出力しないように構成されている。

図３は、発光回路１３２の構成例を示す図である。図３において、Ｒ成分を含む光を発する発光素子１３１ｒ、Ｇ成分を含む光を発する発光素子１３１ｇ、およびＢ成分を含む光を発する発光素子１３１ｂによって１つのＬＥＤモジュール１３１が構成される。発光回路１３２の電源端子＋および電源端子−間には、不図示の電源回路からＬＥＤモジュール１３１の駆動に必要な所定の直流電圧（たとえば、３Ｖ）が印加される。

Ｒ成分の発光素子１３１ｒは、ＣＰＵ１０１によって発光信号ｓｉｇｒが高レベルにされると発光する。すなわち、ベース抵抗器１３３を介してトランジスタ１３６にベース電流が供給され、トランジスタ１３６がベース電流に応じたコレクタ電流を発光素子１３１ｒに流すことにより、発光素子１３１ｒがＲ成分光を発する。

Ｇ成分の発光素子１３１ｇは、ＣＰＵ１０１によって発光信号ｓｉｇｇが高レベルにされると発光する。すなわち、ベース抵抗器１３４を介してトランジスタ１３７にベース電流が供給され、トランジスタ１３７がベース電流に応じたコレクタ電流を発光素子１３１ｇに流すことにより、発光素子１３１ｇがＧ成分光を発する。

Ｂ成分の発光素子１３１ｂは、ＣＰＵ１０１によって発光信号ｓｉｇｂが高レベルにされると発光する。すなわち、ベース抵抗器１３５を介してトランジスタ１３８にベース電流が供給され、トランジスタ１３８がベース電流に応じたコレクタ電流を発光素子１３１ｂに流すことにより、発光素子１３１ｂがＢ成分光を発する。

このように、Ｒ成分、Ｇ成分、Ｂ成分の光を発する発光素子が個別に選択発光可能に構成されることにより、各ＬＥＤモジュール１３１の発光／非発光、および発光色が独立して点灯制御される。発光素子１３１ｒ、発光素子１３１ｇ、および発光素子１３１ｂが同時に点灯される場合の混色光は白色光である。

上記構成の発光回路１３２は各ＬＥＤモジュール１３１ごとに設けられる。ＬＥＤモジュール１３１に対する発光信号ｓｉｇｒ、ｓｉｇｇおよびｓｉｇｂの信号レベルは、ＣＰＵ１０１が決定する。

周知のように、発光素子（ＬＥＤ）はその定格範囲において駆動電流および発光強度間に比例関係を有する電流制御型デバイスである。ＣＰＵ１０１は各トランジスタへ供給する発光信号（ベース電流）を制御することにより、ＬＥＤモジュール１３１から発せられる光量、色を個別に制御する。各発光素子１３１ｒ、１３１ｇおよび１３１ｂの発光強度と供給電流の関係は、あらかじめテーブル化してＣＰＵ１０１内の不揮発性メモリに格納されている。ＣＰＵ１０１は、発光強度を引数として上記テーブルを参照して必要な供給電流を決定し、この電流値を発光回路１３２へ指示する。発光回路１３２は、ＣＰＵ１０１から送出される指令にしたがって電流を各発光素子１３１ｒ、１３１ｇおよび１３１ｂへ供給する。

（照明光の分光放射強度特性）
図４は、ＬＥＤモジュール１３１による照明光の分光放射強度特性例を示す図である。図４において、横軸は発光（放射）波長（単位ｎｍ）を表し、縦軸は発光（放射）強度を表す。縦軸目盛は、発光強度の最大値を１とする相対値で記されている。

図４の３つの「山」に対応する波形のうち、左側に位置する波形がＢ成分光に対応し、波長λの関数Ｂｉ(λ)で表される。図４で中央の「山」に対応する波形がＧ成分光に対応し、波長λの関数Ｇｉ(λ)で表される。図４で右側の「山」に対応する波形がＲ成分光に対応し、波長λの関数Ｒｉ(λ)で表される。

図４の波形の３つの極大値は、わかりやすく説明するために同一である例を記載している。本実施の形態では、ＬＥＤモジュール１３１が３原色波長に対応する光を同一強度で発することよりも、それぞれの「山」の波長帯域が狭く（たとえば、スペクトル半値幅３０ｎｍ）、極大値および極小値の比が所定値（たとえば、１０：１）以上となるように構成されていることが重要である。

（撮像素子の分光感度特性）
撮像素子１２１（図２）の撮像面に構成されている画素領域上には、周知の分光フィルタ（色フィルタ）１２１ａが設けられている。色フィルタ１２１ａは、主としてＲ成分、主としてＧ成分、および主としてＢ成分のいずれかの光を通過させる原色フィルタが画素位置に対応して所定の配列（たとえば、ベイヤー配列）で構成された色分解フィルタである。撮像素子１２１は、このような色フィルタ１２１ａを通して被写体像を撮像することにより、光の３原色ごとの撮像信号を出力する。

上述したＬＥＤモジュール１３１の発光極大波長は、色フィルタ１２１ａの分光透過特性の透過極大波長と合致するように構成されている。図５は、撮像素子１２１の分光感度特性例を示す図である。この分光感度特性は、色フィルタ１２１ａの分光透過特性、撮像素子１２１の画素を構成するフォトダイオードの波長感度特性、および色フィルタ１２１ａと別に撮像素子１２１の撮像面に配設されている赤外光遮断フィルタ（不図示）の赤外光遮断特性を合成したものである。

図５において、横軸は受光波長（単位ｎｍ）を表し、縦軸は受光感度を表す。縦軸目盛は、受光感度の最大値を１とする相対値で記されている。図５の３つの「山」に対応する波形のうち、左側に位置する波形がＢ成分光の感度特性に対応し、波長λの関数Ｂｓ(λ)で表される。図５で中央の「山」に対応する波形がＧ成分光の感度特性に対応し、波長λの関数Ｇｓ(λ)で表される。図５で右側の「山」に対応する波形がＲ成分光の感度特性に対応し、波長λの関数Ｒｓ(λ)で表される。

本発明による電子カメラは、上記分光放射強度特性を有する照明装置１３を点灯させながら、上記分光感度特性を有する撮像素子１２１で撮像する。

撮影時、すなわち、撮像素子１２１の電荷蓄積時に照明装置１３を点灯させて主要被写体を照明すると、被写体光束の色成分はＬＥＤモジュール１３１の発光極大波長に対応する成分が強くなる。この場合のＲ、Ｇ、Ｂ各色成分の撮像信号値はそれぞれ次式（１）〜（３）で表される。

ただし、被写体の分光反射率を波長λの関数Ａ(λ)で表す。

上式（１）〜（３）による撮像信号値は、それぞれ対応する色成分の色フィルタが配設されている画素から出力される信号値である。Ｇ色成分を表す上式（２）は、展開すると次式（４）で表される。

上式（４）の第１項は、Ｇ成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｒのみが点灯した場合に得られる撮像信号値を表す。上式（４）の第２項は、Ｇ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｇのみが点灯した場合に得られる撮像信号値を表す。上式（４）の第３項は、Ｇ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｂのみが点灯した場合に得られる撮像信号値を表す。

式（４）の第１項をＧｒ、第２項をＧｇ、第３項をＧｂと表すと、Ｇ成分の色フィルタに対応する画素で得られる撮像信号値は次式（５）で表される。
Ｇ＝Ｇｒ＋Ｇｇ＋Ｇｂ （５）

同様に、Ｒ色成分を表す上式（１）は、展開すると次式（６）で表される。

上式（６）の第１項は、Ｒ成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｒのみが点灯した場合に得られる撮像信号値を表す。上式（６）の第２項は、Ｒ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｇのみが点灯した場合に得られる撮像信号値を表す。上式（６）の第３項は、Ｒ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｂのみが点灯した場合に得られる撮像信号値を表す。

式（６）の第１項をＲｒ、第２項をＲｇ、第３項をＲｂと表すと、Ｒ成分の色フィルタに対応する画素で得られる撮像信号値は次式（７）で表される。
Ｒ＝Ｒｒ＋Ｒｇ＋Ｒｂ （７）

さらに、Ｂ色成分を表す上式（３）は、展開すると次式（８）で表される。

上式（８）の第１項は、Ｂ成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｒのみが点灯した場合に得られる撮像信号値を表す。上式（８）の第２項は、Ｂ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｇのみが点灯した場合に得られる撮像信号値を表す。上式（８）の第３項は、Ｂ色成分の色フィルタが配設されている画素において、ＬＥＤモジュール１３１の発光素子１３１ｂのみが点灯した場合に得られる撮像信号値を表す。

式（８）の第１項をＢｒ、第２項をＢｇ、第３項をＢｂと表すと、Ｂ成分の色フィルタに対応する画素で得られる撮像信号値は次式（９）で表される。
Ｂ＝Ｂｒ＋Ｂｇ＋Ｂｂ （９）

上式（５）、（７）、（９）、図４および図５によれば、撮像信号値は異なる色成分の光の受光信号の和で表される。この理由は、発光素子１３１ｒ、１３１ｇ、１３１ｂの分光放射強度特性のスペクトル幅に比べて分光感度特性の「山」の波長帯域幅が広く、各「山」の透過域にＬＥＤモジュール１３１の発光極大波長がそれぞれ（３つ）含まれるからである。

各色成分に対応する撮像信号値は、照明装置１３からＲ成分光、Ｇ成分光、およびＢ成分光を時分割で発光させることにより得られる。すなわち、照明装置１３のＬＥＤモジュール１３１を点灯させるとき、ＣＰＵ１０１が発光素子１３１ｒ、発光素子１３１ｇ、および発光素子１３１ｂの順に点灯させる。撮像素子１２１は、各色成分の光が発光されているタイミングでそれぞれ電荷蓄積を行う。

撮像素子１２１からは、Ｒ成分光が発光されている状態で蓄積された電荷信号（撮像信号）と、Ｇ成分光が発光されている状態で蓄積された電荷信号（撮像信号）と、Ｂ成分光が発光されている状態で蓄積された電荷信号（撮像信号）とが順に読み出される。ＣＰＵ１０１は、Ｒ成分光に対応する撮像信号をディジタル変換した画像データＲｉ、Ｇ成分光発光時の撮像信号をディジタル変換した画像データＧｉ、Ｂ色光発光時の撮像信号をディジタル変換した画像データＢｉを、それぞれ不図示のバッファメモリに一時格納する。

画像データＲｉのうち、Ｒ成分の色フィルタに対応する画素で得られる信号がＲｒ、Ｇ成分の色フィルタに対応する画素で得られる信号がＧｒ、Ｂ成分の色フィルタに対応する画素で得られる信号がＢｒに対応する。

画像データＧｉのうち、Ｒ成分の色フィルタに対応する画素で得られる信号がＲｇ、Ｇ成分の色フィルタに対応する画素で得られる信号がＧｇ、Ｂ成分の色フィルタに対応する画素で得られる信号がＢｇに対応する。

画像データＢｉのうち、Ｒ成分の色フィルタに対応する画素で得られる信号がＲｂ、Ｇ成分の色フィルタに対応する画素で得られる信号がＧｂ、Ｂ成分の色フィルタに対応する画素で得られる信号がＢｂに対応する。

（補間処理）
Ｇ成分の色フィルタに対応する画素に注目すると、当該画素から出力される撮像信号はＧｒ、Ｇｇ、Ｇｂを示す情報だけで、Ｒｒ、Ｒｇ、ＲｂやＢｒ、Ｂｇ、Ｂｂを示す情報がない。このため、全ての画素位置でＧｒ、Ｇｇ、Ｇｂ、Ｒｒ、Ｒｇ、Ｒｂ、Ｂｒ、Ｂｇ、およびＢｂについて全情報を得るには、不足する情報を生成して補間する必要がある。

本実施の形態では不足する色成分の情報を推定により生成する。

１．Ｇ成分の色フィルタに対応する画素位置において信号Ｒｒを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｇｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（１０）が成立する。
Ｒｒ／Ｇｒ≒Ｒｓ(λｒ)／Ｇｓ(λｒ) （１０）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（１０）において、Ｇｒ、Ｒｓ(λ)、Ｇｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１０）へ代入して信号Ｒｒを得る。上式（１０）の意味は、既知のＲ成分波長λｒにおけるＲ成分光の感度特性Ｒｓ(λｒ)および波長λｒにおけるＧ成分光の感度特性Ｇｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｇｒとを用いてＲ成分の情報（信号Ｒｒ）を推定するものである。なお、分光放射強度特性Ｂｉ(λ)、Ｇｉ(λ)、Ｒｉ(λ)、分光感度特性Ｂｓ(λ)、Ｇｓ(λ)、およびＲｓ(λ)を示すデータは、あらかじめＣＰＵ１０１内の不揮発性メモリ（不図示）に格納されている。

２．Ｇ成分の色フィルタに対応する画素位置において信号Ｒｇを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｇｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（１１）が成立する。
Ｒｇ／Ｇｇ≒Ｒｓ(λｇ)／Ｇｓ(λｇ) （１１）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（１１）において、Ｇｇ、Ｒｓ(λ)、Ｇｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１１）へ代入して信号Ｒｇを得る。上式（１１）の意味は、既知のＧ成分波長λｇにおけるＲ成分光の感度特性Ｒｓ(λｇ)および波長λｇにおけるＧ成分光の感度特性Ｇｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｇｇとを用いてＧ成分の情報（信号Ｒｇ）を推定するものである。

３．Ｇ成分の色フィルタに対応する画素位置において信号Ｒｂを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｇｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（１２）が成立する。
Ｒｂ／Ｇｂ≒Ｒｓ(λｂ)／Ｇｓ(λｂ) （１２）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（１２）において、Ｇｂ、Ｒｓ(λ)、Ｇｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１２）へ代入して信号Ｒｂを得る。上式（１２）の意味は、既知のＢ成分波長λｂにおけるＲ成分光の感度特性Ｒｓ(λｂ)および波長λｂにおけるＧ成分光の感度特性Ｇｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｇｂとを用いてＢ成分の情報（信号Ｒｂ）を推定するものである。

４．Ｇ成分の色フィルタに対応する画素位置において信号Ｂｂを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｇｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（１３）が成立する。
Ｂｂ／Ｇｂ≒Ｂｓ(λｂ)／Ｇｓ(λｂ) （１３）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（１３）において、Ｇｂ、Ｂｓ(λ)、Ｇｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれらを式（１３）へ代入して信号Ｂｂを得る。上式（１３）の意味は、既知の波長λｂにおけるＢ成分光の感度特性Ｂｓ(λｂ)およびＢ成分波長λｂにおけるＧ成分光の感度特性Ｇｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｇｂとを用いてＢ成分の情報（信号Ｂｂ）を推定するものである。

５．Ｇ成分の色フィルタに対応する画素位置において信号Ｂｒを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｇｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（１４）が成立する。
Ｂｒ／Ｇｒ≒Ｂｓ(λｒ)／Ｇｓ(λｒ) （１４）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（１４）において、Ｇｒ、Ｂｓ(λ)、Ｇｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１４）へ代入して信号Ｂｒを得る。上式（１４）の意味は、既知の波長λｒにおけるＢ成分光の感度特性Ｂｓ(λｒ)および波長λｒにおけるＧ成分光の感度特性Ｇｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｇｒとを用いてＲ成分の情報（信号Ｂｒ）を推定するものである。

６．Ｇ成分の色フィルタに対応する画素位置において信号Ｂｇを推定する。
Ｇ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｇｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（１５）が成立する。
Ｂｇ／Ｇｇ≒Ｂｓ(λｇ)／Ｇｓ(λｇ) （１５）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（１５）において、Ｇｇ、Ｂｓ(λ)、Ｇｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１５）へ代入して信号Ｂｇを得る。上式（１５）の意味は、既知の波長λｇにおけるＢ成分光の感度特性Ｂｓ(λｇ)および波長λｇにおけるＧ成分光の感度特性Ｇｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｇｇとを用いてＧ成分の情報（信号Ｂｇ）を推定するものである。

７．Ｒ成分の色フィルタに対応する画素位置において信号Ｇｇを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｒｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（１６）が成立する。
Ｇｇ／Ｒｇ≒Ｇｓ(λｇ)／Ｒｓ(λｇ) （１６）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（１６）において、Ｒｇ、Ｇｓ(λ)、Ｒｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれらを式（１６）へ代入して信号Ｇｇを得る。上式（１６）の意味は、既知の波長λｇにおけるＧ成分光の感度特性Ｇｓ(λｇ)および波長λｇにおけるＲ成分光の感度特性Ｒｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｒｇとを用いてＧ成分の情報（信号Ｇｇ）を推定するものである。

８．Ｒ成分の色フィルタに対応する画素位置において信号Ｇｒを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｒｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（１７）が成立する。
Ｇｒ／Ｒｒ≒Ｇｓ(λｒ)／Ｒｓ(λｒ) （１７）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（１７）において、Ｒｒ、Ｇｓ(λ)、Ｒｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれら既知の値を式（１７）へ代入して信号Ｇｒを得る。上式（１７）の意味は、既知の波長λｒにおけるＧ成分光の感度特性Ｇｓ(λｒ)および波長λｒにおけるＲ成分光の感度特性Ｒｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｒｒとを用いてＲ成分の情報（信号Ｇｒ）を推定するものである。

９．Ｒ成分の色フィルタに対応する画素位置において信号Ｇｂを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｒｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（１８）が成立する。
Ｇｂ／Ｒｂ≒Ｇｓ(λｂ)／Ｒｓ(λｂ) （１８）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（１８）において、Ｒｂ、Ｇｓ(λ)、Ｒｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれらを式（１８）へ代入して信号Ｇｂを得る。上式（１８）の意味は、既知の波長λｂにおけるＧ成分光の感度特性Ｇｓ(λｂ)および波長λｂにおけるＲ成分光の感度特性Ｒｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｒｂとを用いてＢ成分の情報（信号Ｇｂ）を推定するものである。

１０．Ｒ成分の色フィルタに対応する画素位置において信号Ｂｂを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｒｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（１９）が成立する。
Ｂｂ／Ｒｂ≒Ｂｓ(λｂ)／Ｒｓ(λｂ) （１９）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（１９）において、Ｒｂ、Ｂｓ(λ)、Ｒｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれらを式（１９）へ代入して信号Ｂｂを得る。上式（１９）の意味は、既知の波長λｂにおけるＢ成分光の感度特性Ｂｓ(λｂ)および波長λｂにおけるＲ成分光の感度特性Ｒｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｒｂとを用いてＢ成分の情報（信号Ｂｂ）を推定するものである。

１１．Ｒ成分の色フィルタに対応する画素位置において信号Ｂｒを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｒｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（２０）が成立する。
Ｂｒ／Ｒｒ≒Ｂｓ(λｒ)／Ｒｓ(λｒ) （２０）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（２０）において、Ｒｒ、Ｂｓ(λ)、Ｒｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれらを式（２０）へ代入して信号Ｂｒを得る。上式（２０）の意味は、既知の波長λｒにおけるＢ成分光の感度特性Ｂｓ(λｒ)および波長λｒにおけるＲ成分光の感度特性Ｒｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｒｒとを用いてＲ成分の情報（信号Ｂｒ）を推定するものである。

１２．Ｒ成分の色フィルタに対応する画素位置において信号Ｂｇを推定する。
Ｒ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｒｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（２１）が成立する。
Ｂｇ／Ｒｇ≒Ｂｓ(λｇ)／Ｒｓ(λｇ) （２１）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（２１）において、Ｒｇ、Ｂｓ(λ)、Ｒｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれらを式（２１）へ代入して信号Ｂｇを得る。上式（２１）の意味は、既知の波長λｇにおけるＢ成分光の感度特性Ｂｓ(λｇ)および波長λｇにおけるＲ成分光の感度特性Ｒｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｒｇとを用いてＧ成分の情報（信号Ｂｇ）を推定するものである。

１３．Ｂ成分の色フィルタに対応する画素位置において信号Ｇｇを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｂｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（２２）が成立する。
Ｇｇ／Ｂｇ≒Ｇｓ(λｇ)／Ｂｓ(λｇ) （２２）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（２２）において、Ｂｇ、Ｇｓ(λ)、Ｂｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれらを式（２２）へ代入して信号Ｇｇを得る。上式（２２）の意味は、既知の波長λｇにおけるＧ成分光の感度特性Ｇｓ(λｇ)および波長λｇにおけるＢ成分光の感度特性Ｂｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｂｇとを用いてＧ成分の情報（信号Ｇｇ）を推定するものである。

１４．Ｂ成分の色フィルタに対応する画素位置において信号Ｇｒを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｂｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（２３）が成立する。
Ｇｒ／Ｂｒ≒Ｇｓ(λｒ)／Ｂｓ(λｒ) （２３）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（２３）において、Ｂｒ、Ｇｓ(λ)、Ｂｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれらを式（２３）へ代入して信号Ｇｒを得る。上式（２３）の意味は、既知の波長λｒにおけるＧ成分光の感度特性Ｇｓ(λｒ)および波長λｒにおけるＢ成分光の感度特性Ｂｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｂｒとを用いてＲ成分の情報（信号Ｇｒ）を推定するものである。

１５．Ｂ成分の色フィルタに対応する画素位置において信号Ｇｂを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｂｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（２４）が成立する。
Ｇｂ／Ｂｂ≒Ｇｓ(λｂ)／Ｂｓ(λｂ) （２４）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（２４）において、Ｂｂ、Ｇｓ(λ)、Ｂｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれらを式（２４）へ代入して信号Ｇｂを得る。上式（２４）の意味は、既知の波長λｂにおけるＧ成分光の感度特性Ｇｓ(λｂ)および波長λｂにおけるＢ成分光の感度特性Ｂｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｂｂとを用いてＢ成分の情報（信号Ｇｂ）を推定するものである。

１６．Ｂ成分の色フィルタに対応する画素位置において信号Ｒｒを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＲ成分の情報は信号Ｂｒである。図５の分光感度特性より、Ｒ成分光（Ｒｉ(λ)）の波長帯域が狭く単色光とすれば次式（２５）が成立する。
Ｒｒ／Ｂｒ≒Ｒｓ(λｒ)／Ｂｓ(λｒ) （２５）
ただし、λｒはＲｉ(λ)を最大にする波長である。式（２５）において、Ｂｒ、Ｒｓ(λ)、Ｂｓ(λ)およびλｒは既知であることから、ＣＰＵ１０１はこれらを式（２５）へ代入して信号Ｒｒを得る。上式（２５）の意味は、既知の波長λｒにおけるＲ成分光の感度特性Ｒｓ(λｒ)および波長λｒにおけるＢ成分光の感度特性Ｂｓ(λｒ)の比と、実際に得られたＲ成分の信号値Ｂｒとを用いてＲ成分の情報（信号Ｒｒ）を推定するものである。

１７．Ｂ成分の色フィルタに対応する画素位置において信号Ｒｇを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＧ成分の情報は信号Ｂｇである。図５の分光感度特性より、Ｇ成分光（Ｇｉ(λ)）の波長帯域が狭く単色光とすれば次式（２６）が成立する。
Ｒｇ／Ｂｇ≒Ｒｓ(λｇ)／Ｂｓ(λｇ) （２６）
ただし、λｇはＧｉ(λ)を最大にする波長である。式（２６）において、Ｂｇ、Ｒｓ(λ)、Ｂｓ(λ)およびλｇは既知であることから、ＣＰＵ１０１はこれらを式（２６）へ代入して信号Ｒｇを得る。上式（２６）の意味は、既知の波長λｇにおけるＲ成分光の感度特性Ｒｓ(λｇ)および波長λｇにおけるＢ成分光の感度特性Ｂｓ(λｇ)の比と、実際に得られたＧ成分の信号値Ｂｇとを用いてＧ成分の情報（信号Ｒｇ）を推定するものである。

１８．Ｂ成分の色フィルタに対応する画素位置において信号Ｒｂを推定する。
Ｂ成分の色フィルタに対応する画素位置で得られるＢ成分の情報は信号Ｂｂである。図５の分光感度特性より、Ｂ成分光（Ｂｉ(λ)）の波長帯域が狭く単色光とすれば次式（２７）が成立する。
Ｒｂ／Ｂｂ≒Ｒｓ(λｂ)／Ｂｓ(λｂ) （２７）
ただし、λｂはＢｉ(λ)を最大にする波長である。式（２７）において、Ｂｂ、Ｒｓ(λ)、Ｂｓ(λ)およびλｂは既知であることから、ＣＰＵ１０１はこれらを式（２７）へ代入して信号Ｒｂを得る。上式（２７）の意味は、既知の波長λｂにおけるＲ成分光の感度特性Ｒｓ(λｂ)および波長λｂにおけるＢ成分光の感度特性Ｂｓ(λｂ)の比と、実際に得られたＢ成分の信号値Ｂｂとを用いてＢ成分の情報（信号Ｒｂ）を推定するものである。

以上のように推定した色成分の情報を上式（５）、（７）および（９）に代入することにより撮像信号値が得られる。

なお、上式（１０）〜上式（２７）において分母が０に近い値をとる場合は演算結果が不正確になるおそれが生じる。この場合には、注目画素（推定対象とする画素）の周囲に位置する信号値を用いて平均値を算出する平均補間処理などの周知の補間処理を施すことにより、各画素位置において不足する色成分の情報を得ればよい。

以上説明した電子カメラ１０のＣＰＵ１０１で行われるカメラ処理の一例について、図６のフローチャートを参照して説明する。図６による処理は、カメラのメインスイッチ（不図示）がオンされると起動する。

図６のステップＳ１において、ＣＰＵ１０１は半押し操作されたか否かを判定する。ＣＰＵ１０１は、操作部材１０７を構成するレリーズ半押しスイッチから半押し操作信号が入力された場合にステップＳ１を肯定判定してステップＳ２へ進み、半押し操作信号が入力されない場合にはステップＳ１を否定判定し、当該判定処理を繰り返す。

ステップＳ２において、ＣＰＵ１０１は測光処理を行ってステップＳ３へ進む。ＣＰＵ１０１は測光結果を用いて制御露出値を算出する。ステップＳ３において、ＣＰＵ１０１は測距装置１０２へ指令を送り、測距処理を行わせてステップＳ４へ進む。

ステップＳ４において、ＣＰＵ１０１はフォーカスレンズ駆動機構（不図示）へ指令を送り、撮影レンズ２０内のフォーカスレンズ（不図示）を合焦位置へ駆動させてステップＳ５へ進む。

ステップＳ５において、ＣＰＵ１０１は全押し操作されたか否かを判定する。ＣＰＵ１０１は、操作部材１０７を構成するレリーズ全押しスイッチから全押し操作信号が入力された場合にステップＳ５を肯定判定してステップＳ６へ進み、全押し操作信号が入力されない場合にはステップＳ５を否定判定し、ステップＳ２０へ進む。

ステップＳ６において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、ＲＧＢ各色成分の発光素子のうちＲ成分の発光素子１３１ｒのみを点灯させてステップＳ７へ進む。ステップＳ７において、ＣＰＵ１０１は撮像素子１２１に電荷蓄積を行わせてステップＳ８へ進む。電荷蓄積時間は、制御露出値に対応する露光時間である。

ステップＳ８において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、Ｒ成分の発光素子１３１ｒを消灯させてステップＳ９へ進む。ステップＳ９において、ＣＰＵ１０１は撮像素子１２１から撮像信号を読み出してステップＳ１０へ進む。これにより、ディジタル変換された画像データＲｉが不図示のバッファメモリに格納される。

ステップＳ１０において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、Ｇ成分の発光素子１３１ｇのみを点灯させてステップＳ１１へ進む。ステップＳ１１において、ＣＰＵ１０１は撮像素子１２１に電荷蓄積を行わせてステップＳ１２へ進む。電荷蓄積時間は、制御露出値に対応する露光時間である。

ステップＳ１２において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、Ｇ成分の発光素子１３１ｇを消灯させてステップＳ１３へ進む。ステップＳ１３において、ＣＰＵ１０１は撮像素子１２１から撮像信号を読み出してステップＳ１４へ進む。これにより、ディジタル変換された画像データＧｉが不図示のバッファメモリに格納される。

ステップＳ１４において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、Ｂ成分の発光素子１３１ｂのみを点灯させてステップＳ１５へ進む。ステップＳ１５において、ＣＰＵ１０１は撮像素子１２１に電荷蓄積を行わせてステップＳ１６へ進む。電荷蓄積時間は、制御露出値に対応する露光時間である。

ステップＳ１６において、ＣＰＵ１０１は照明装置１３の各発光回路１３２へ指令を送り、Ｂ成分の発光素子１３１ｂを消灯させてステップＳ１７へ進む。ステップＳ１７において、ＣＰＵ１０１は撮像素子１２１から撮像信号を読み出してステップＳ１８へ進む。これにより、ディジタル変換された画像データＢｉが不図示のバッファメモリに格納される。

ステップＳ１８において、ＣＰＵ１０１は画像処理を行う。画像処理は、上述した色成分の情報を推定する処理（上記１〜１８）やホワイトバランス処理などを含む。ＣＰＵ１０１は所定の画像処理を行うとステップＳ１９へ進む。ステップＳ１９において、ＣＰＵ１０１は、記録媒体１２６に画像データを記録してステップＳ１へ戻る。これにより、一連の撮影処理を終了する。

上述したステップＳ５を否定判定して進むステップＳ２０において、ＣＰＵ１０１は半押し操作が継続されているか否かを判定する。ＣＰＵ１０１は、操作部材１０７を構成するレリーズ半押しスイッチから半押し操作信号が継続して入力されている場合にステップＳ１７を肯定判定してステップＳ５へ戻り、半押し操作信号が入力されない場合にはステップＳ２０を否定判定し、ステップＳ１へ戻る。

以上説明した実施形態についてまとめる。
（１）照明装置１３の光源として、光の３原色である青（Ｂ成分）、緑（Ｇ成分）、および赤（Ｒ成分）をそれぞれ含むように発光極大波長を分離した３色混合型（３波長）光源であるＬＥＤモジュール１３１を備える。分光放射強度特性例は図４のＢｉ(λ)、Ｇｉ(λ)、Ｒｉ(λ)である。

（２）ＬＥＤモジュール１３１の発光極大波長と、撮像素子１２１の撮像面に設けられる色フィルタ１２１ａの分光透過特性の透過極大波長とを合致させる。色フィルタ１２１ａの分光透過特性、撮像素子１２１の画素を構成するフォトダイオードの波長感度特性、および色フィルタ１２１ａと別に撮像素子１２１の撮像面に配設されている赤外光遮断フィルタ（不図示）の赤外光遮断特性を合成した分光感度特性例は図５のＢｓ(λ)、Ｇｓ(λ)、Ｒｓ(λ)である。発光極大波長および分光透過極大波長を合致させるようにしたので、光の３原色成分が撮像素子１２１で効率よく受光される。したがって、３原色成分の回収効率が高まることによって撮像信号の信号レベルが向上し、Ｓ／Ｎ比のよい画像が得られる。さらに、ＬＥＤモジュール１３１を必要以上の発光強度で発光させなくてよいので、消費電力を低減することもできる。

（３）分光感度特性の「山」で示される透過域にＬＥＤモジュール１３１の発光極大波長をそれぞれ（３つ）含むようにし、撮像信号値が異なる色成分の光の受光信号の和によって表されるようにする。

（４）ＬＥＤモジュール１３１の発光素子１３１ｒ、発光素子１３１ｇ、および発光素子１３１ｂを時分割で点灯させ、各発光素子の点灯タイミングに合わせて撮像素子１２１でそれぞれ電荷蓄積を行わせる。これにより、色成分ごとの撮像信号Ｒｉ、Ｇｉ、およびＢｉが得られる。

（５）分光放射強度特性Ｂｉ(λ)、Ｇｉ(λ)、Ｒｉ(λ)、分光感度特性Ｂｓ(λ)、Ｇｓ(λ)、およびＲｓ(λ)を示すデータをあらかじめＣＰＵ１０１内の不揮発性メモリ（不図示）に格納しておく。分光感度特性の「山」に含まれる３つの発光極大波長における感度比と、実際に得られた信号値（注目画素位置に設けられている色フィルタと異なる色成分の撮像信号）とを用いて、注目画素位置において上記異なる色成分の情報を推定する。これにより、注目画素の周囲の画素における画像データ（色成分の情報）を参照して注目画素における色成分の情報を生成する場合と異なり、被写体像の輝度や色が急激に変化する箇所でも偽色の発生を抑えることができる。

上述した説明では、ＬＥＤモジュール１３１を備える内蔵タイプの照明装置１３を例にあげて説明したが、照明装置を電子カメラ本体１０に外付けする構成にしてもよい。

ＬＥＤモジュール１３１を３原色の発光素子を有する白色ＬＥＤモジュールで構成する例を説明したが、赤色ＬＥＤ、緑色ＬＥＤ、および青色ＬＥＤをそれぞれ別個に設け、これらの別個のＬＥＤによる照明光で主要被写体を照明するようにしてもよい。

上述した説明では、ベイヤー配列の色フィルタを例に説明したが、デルタ配列をはじめとする他のフィルタ配列の場合にも適用できる。

撮像素子１２１はＣＭＯＳセンサで構成してもよい。

以上の説明では、電子カメラを例にあげて説明したが、上記１〜１８の色成分情報を推定する処理を含む画像復元プログラムを用意し、このプログラムをパーソナルコンピュータなどに取込んで画像復元装置として使用することができる。この場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像復元装置として使用する。プログラムのローディングは、プログラムを格納した記録媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークを経由する方法でパーソナルコンピュータなどにローディングしてもよい。

図７は、画像復元を行う画像処理プログラムの流れを説明するフローチャートである。図７のステップＳ５１において、コンピュータは画像データを読み込んでステップＳ５２へ進む。これにより、色成分ごとの撮像信号Ｒｉ、Ｇｉ、およびＢｉが読み込まれる。

ステップＳ５２において、コンピュータは透過率比を算出してステップＳ５３へ進む。これにより、上式（１０）〜式（２７）の右辺に相当する透過率比が得られる。ステップＳ５３において、コンピュータは第１の画素信号推定処理を行い、ステップＳ５４へ進む。第１の画素信号推定処理は、上式（１０）、式（１２）、式（１３）および式（１４）が対応する。

ステップＳ５４において、コンピュータは第２の画素信号推定処理を行い、ステップＳ５５へ進む。第２の画素信号推定処理は、上式（１１）および式（１５）が対応する。

ステップＳ５５において、コンピュータは第３の画素信号推定処理を行い、ステップＳ５６へ進む。第３の画素信号推定処理は、上式（１７）、式（１８）、式（２３）および式（２４）が対応する。

ステップＳ５６において、コンピュータは第４の画素信号推定処理を行い、ステップＳ５７へ進む。第４の画素信号推定処理は、上式（１６）、式（１９）、式（２０）、式（２１）、式（２２）、式（２５）、式（２６）および式（２７）が対応する。

ステップＳ５７において、コンピュータは合成処理を行って図７による処理を終了する。合成処理は、上式（５）、式（７）および式（９）が対応する。これにより、各画素位置において共通に各色成分（Ｒ、Ｇ、Ｂ）を有する画像が得られる。

上述した説明では、照明装置１３の光源の発光極大（中心）波長と、撮像素子１２１の撮像面に設けられる色フィルタ１２１ａの透過極大波長とがそれぞれＲ、Ｇ、Ｂ色で構成される例を示した。本発明は、これら３成分の波長の組み合わせによる画像復元に限らず、たとえば、Ｂ（青）色とＹ（黄）色などの２成分の波長の組み合わせによる画像復元にも適用できる。

特許請求の範囲における各構成要素と、発明を実施するための最良の形態における各構成要素との対応について説明する。分光手段は、たとえば、色フィルタ１２１ａによって構成される。撮像制御手段、画素信号生成手段、第１の画素信号推定手段、第２の画素信号推定手段、第３の画素信号推定手段、第４の画素信号推定手段、および画像合成手段は、たとえば、ＣＰＵ１０１によって構成される。第１の色はＲ色もしくはＢ色に、第２の色はＧ色に、それぞれ対応する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

本発明の一実施の形態による一眼レフ電子カメラの外観図である。 電子カメラ本体の要部構成を説明するブロック図である。 発光回路の構成例を示す図である。 ＬＥＤモジュールによる照明光の分光放射強度特性例を示す図である。 撮像素子の分光感度特性例を示す図である。 ＣＰＵで行われるカメラ処理の一例について説明するフローチャートである。 画像処理プログラムの流れについて説明するフローチャートである。

符号の説明

１０…電子カメラ本体
１３…照明装置
２０…撮影レンズ
１０１…ＣＰＵ
１０２…測距装置
１０３…測光装置
１０７…操作部材
１２１…撮像素子
１２１ａ…色フィルタ
１３１…ＬＥＤモジュール
１３１ｒ、１３１ｇ、１３１ｂ…発光素子
１３２…発光回路

Claims (9)

1. 第１の色成分を透過させる第１の色フィルタ、もしくは前記第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して被写体像を撮像する撮像素子と、
   被写体が前記第１の色成分の光で照明された状態で前記撮像素子に第１の撮像を行わせるとともに、前記被写体が前記第２の色成分の光で照明された状態で前記撮像素子に第２の撮像を行わせる撮像制御手段と、
   前記第１の色フィルタ、前記第２の色フィルタ、前記第１の色成分の光、および前記第２の色成分の光のそれぞれの分光特性と、前記第１の撮像で得られる画素信号および前記第２の撮像で得られる画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように前記第１の色成分もしくは前記第２の色成分の画素信号を生成する画素信号生成手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画素信号生成手段は、
   （１）前記第１の色フィルタによる前記第１の色成分の透過率と前記第２の色フィルタによる前記第１の色成分の透過率との比、および前記第２の色フィルタが形成される画素から前記第１の撮像で得られる前記第１の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第１の画素信号推定手段と、
   （２）前記第１の色フィルタによる前記第２の色成分の透過率と前記第２の色フィルタによる前記第２の色成分の透過率との比、および前記第２の色フィルタが形成される画素から前記第２の撮像で得られる前記第２の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第２の画素信号推定手段と、
   （３）前記第２の色フィルタによる前記第１の色成分の透過率と前記第１の色フィルタによる前記第１の色成分の透過率との比、および前記第１の色フィルタが形成される画素から前記第１の撮像で得られる前記第１の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第３の画素信号推定手段と、
   （４）前記第２の色フィルタによる前記第２の色成分の透過率と前記第１の色フィルタによる前記第２の色成分の透過率との比、および前記第１の色フィルタが形成される画素から前記第２の撮像で得られる前記第２の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第４の画素信号推定手段とを含むことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   （１）前記第２の色フィルタが形成される画素について、前記第１の画素信号推定手段で推定された前記第１の色成分の画素信号と、前記第２の画素信号推定手段で推定された前記第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、（２）前記第１の色フィルタが形成される画素について、前記第３の画素信号推定手段で推定された前記第１の色成分の画素信号と、前記第４の画素信号推定手段で推定された前記第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成手段をさらに備えることを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の画像処理装置において、
   前記第１の色フィルタおよび前記第２の色フィルタはそれぞれ前記第１の色成分および前記第２の色成分を透過し、前記第２の色フィルタは前記第１の色成分より前記第２の色成分の透過率が高く、前記第１の色フィルタは前記第２の色成分より前記第１の色成分の透過率が高くされることを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の画像処理装置において、
   前記第１の色成分および前記第２の色成分は光の３原色を構成することを特徴とする撮像装置。
6. 第１の色成分を透過させる第１の色フィルタ、もしくは前記第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が前記第１の色成分の光で照明された状態で撮像された第１の画像、および前記被写体が前記第２の色成分の光で照明された状態で撮像された第２の画像に対する画像処理を行う画像処理装置において、
   前記第１の色フィルタ、前記第２の色フィルタ、前記第１の色成分の光、および前記第２の色成分の光のそれぞれの分光特性と、前記第１の画像および前記第２の画像を構成する画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように前記第１の色成分もしくは前記第２の色成分の画素信号を生成する画素信号生成手段を備えることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記画素信号生成手段は、
   （１）前記第１の色フィルタによる前記第１の色成分の透過率と前記第２の色フィルタによる前記第１の色成分の透過率との比、および前記第２の色フィルタが形成される画素に対応する前記第１の画像の前記第１の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第１の画素信号推定手段と、
   （２）前記第１の色フィルタによる前記第２の色成分の透過率と前記第２の色フィルタによる前記第２の色成分の透過率との比、および前記第２の色フィルタが形成される画素に対応する前記第２の画像の前記第２の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第２の画素信号推定手段と、
   （３）前記第２の色フィルタによる前記第１の色成分の透過率と前記第１の色フィルタによる前記第１の色成分の透過率との比、および前記第１の色フィルタが形成される画素に対応する前記第１の画像の前記第１の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第３の画素信号推定手段と、
   （４）前記第２の色フィルタによる前記第２の色成分の透過率と前記第１の色フィルタによる前記第２の色成分の透過率との比、および前記第１の色フィルタが形成される画素に対応する前記第２の画像の前記第２の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第４の画素信号推定手段とを含むことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   （１）前記第２の色フィルタが形成される画素について、前記第１の画素信号推定手段で推定された前記第１の色成分の画素信号と、前記第２の画素信号推定手段で推定された前記第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、（２）前記第１の色フィルタが形成される画素について、前記第３の画素信号推定手段で推定された前記第１の色成分の画素信号と、前記第４の画素信号推定手段で推定された前記第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成手段をさらに備えることを特徴とする画像処理装置。
9. 第１の色成分を透過させる第１の色フィルタ、もしくは前記第１の色成分と異なる第２の色成分を透過させる第２の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が前記第１の色成分の光で照明された状態で撮像された第１の画像、および前記被写体が前記第２の色成分の光で照明された状態で撮像された第２の画像に対する画像処理をコンピュータ装置で実行する画像処理プログラムにおいて、
   （１）前記第１の色フィルタによる前記第１の色成分の透過率と前記第２の色フィルタによる前記第１の色成分の透過率との比、および前記第２の色フィルタが形成される画素に対応する前記第１の画像の前記第１の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第１の画素信号推定処理と、
   （２）前記第１の色フィルタによる前記第２の色成分の透過率と前記第２の色フィルタによる前記第２の色成分の透過率との比、および前記第２の色フィルタが形成される画素に対応する前記第２の画像の前記第２の色成分の画素信号を用いて、当該画素に前記第１の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第２の画素信号推定処理と、
   （３）前記第２の色フィルタによる前記第１の色成分の透過率と前記第１の色フィルタによる前記第１の色成分の透過率との比、および前記第１の色フィルタが形成される画素に対応する前記第１の画像の前記第１の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第１の色成分の画素信号を推定する第３の画素信号推定処理と、
   （４）前記第２の色フィルタによる前記第２の色成分の透過率と前記第１の色フィルタによる前記第２の色成分の透過率との比、および前記第１の色フィルタが形成される画素に対応する前記第２の画像の前記第２の色成分の画素信号を用いて、当該画素に前記第２の色フィルタが形成される場合に得られる前記第２の色成分の画素信号を推定する第４の画素信号推定処理と、
   （５）前記第２の色フィルタが形成される画素について、前記第１の画素信号推定処理で推定した前記第１の色成分の画素信号と、前記第２の画素信号推定処理で推定した前記第２の色成分の画素信号との和を合成後の第１の色成分の画素信号とし、前記第１の色フィルタが形成される画素について、前記第３の画素信号推定処理で推定した前記第１の色成分の画素信号と、前記第４の画素信号推定処理で推定した前記第２の色成分の画素信号との和を合成後の第２の色成分の画素信号とする画像合成処理とを含むことを特徴とする画像処理プログラム。

Images