JP6547796B2 - 画像データ生成装置、画像データ生成方法及びプログラム - Google Patents

Description

本発明は、複数の撮像素子を用いて撮影画像を得る技術に関するものである。

従来、例えば下記特許文献１には、撮像素子として単版ＲＧＢ撮像素子とモノクローム撮像素子とを備えた構成において、高ダイナミックレンジの撮像を可能とするため、単板ＲＧＢ撮像素子のＲＧＢ信号と、モノクローム撮像素子の輝度信号との双方に含まれる輝度情報を複数段階の信号処理を経て、最終的な撮影画像の色情報、及び輝度情報として反映させる技術が記載されている。

特開２０１１−２２３２２１

しかしながら、上記の技術によれば高ダイナミックレンジの撮像は可能となるが、２つの撮像素子により得られる異なる撮像信号を多様な撮影状況に即して処理することができず、撮影状況によっては必ずしも高品位な撮影画像が得られるとは限らないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、様々な撮影状況において高品位な撮影画像を得ることが可能な画像データ生成装置、画像データ生成方法及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明にあっては、ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、異なる色のカラーフィルタが適用可能な第２の撮像素子とにより得られた２つの撮像信号を用いて画像データを生成する画像生成手段と、前記第２の撮像素子に選択的に適用される互いに色が異なる複数のカラーフィルタを含むカラーフィルタ手段と、撮影状況を判断する判断手段と、前記カラーフィルタ手段における複数のカラーフィルタのうちで、前記判断手段により判断された撮影状況に応じて予め決められている所定の色のカラーフィルタを前記第２の撮像素子に適用させるフィルタ制御手段と、前記判断手段によって判断された撮影状況に応じて、前記２つの撮像信号を用いて画像データを生成するよう前記画像生成手段を制御する制御手段と、を備えたことを特徴とする。

本発明によれば、様々な撮影状況において高品位な撮影画像を得ることが可能となる。

本発明の撮像装置として例示するデジタルカメラのブロック図である。 第１の実施形態を示す図であって、（ａ）は撮像部を示すブロック図、（ｂ）は第１の撮像素子のカラーフィルタを示す図、（ｃ）は第２の撮像素子のカラーフィルタを示す図である。 第１の実施形態における撮像処理を示すフローチャートである。 第２の実施形態における第２の撮像素子のカラーフィルタを示す図である。 第２の実施形態における撮像処理を示すフローチャートである。 第３の実施形態を示す図であって、（ａ）はデジタルカメラ撮像部を示すブロック図、（ｂ）は回転フィルタ板を示す図である。 第３の実施形態における撮像処理を示すフローチャートである。

以下、本発明の実施形態について説明する。

（実施形態１）
図１は、本発明の撮像装置として例示するデジタルカメラ１の電気的構成の概略を示したブロック図である。

図１に示したように、デジタルカメラ１は、制御部２と、レンズ部３、撮像部４、画像記憶部５、プログラム記憶部６、表示部７、操作部８、電源部９の各部を備えている。

制御部２は、ＣＰＵ（Central Processing Unit）、及びその周辺回路等や、ＲＡＭ（Random Access Memory）等の作業用の内部メモリを含み、プログラム記憶部６に記憶されている制御プログラムに従い、デジタルカメラ１の各部を制御する。

プログラム記憶部６は、例えばフラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリにより構成される。プログラム記憶部６には、上記制御プログラムに加え、制御部２に、ＡＥ（Auto Exposure）制御、ＡＦ（Auto Focus）制御や、ＡＷＢ（Auto White Balance）制御等を行わせるためのプログラム、及びＡＥ制御に際して使用されるシャッター速度、ＩＳＯ感度、絞り値の組み合わせを示すプログラム線図を構成するデータ等の各種データも記憶されている。

レンズ部３は、フォーカス調整用、及びズーム用のレンズを含むレンズ群、及びレンズ群を駆動するモータと、絞り、及び絞りを開閉駆動して開度を調整するアクチュエータ等から構成される。

撮像部４は、レンズ部３のレンズ群を介して被写体を撮像し、被写体の画像データを生成し制御部２へ供給する。図２（ａ）は、撮像部４の構成を示すブロック図である。

撮像部４は、主としてレンズ部３からの入射光線を２経路に分割するハーフプリズム４１と、分割された一方の入射光線を受光する第１の撮像素子４２、及び他方の入射光線を受光する第２の撮像素子４３、第１及び第２の撮像素子４２，４３により得られる撮像信号を処理する画像処理エンジン４５から構成される。なお、図４（ａ）では省略するが、撮像部４には第１及び第２の撮像素子４２，４３の駆動回路も含まれる。

第１の撮像素子４２及び第２の撮像素子４３は、例えばＣＭＯＳ（Complementary Meta１ ０xide Semiconductor）型の撮像素子やＣＣＤ（Charge Coupled Device）である。

第１の撮像素子４２には、図２（ｂ）に示したＲＧＢの各色がベイヤ配列で配置されたカラーフィルタ４２ａが設けられており、第１の撮像素子４２から出力される撮像信号（以下、第１の撮像信号という。）はＲＧＢの各色成分を含むカラー撮像信号である。

第２の撮像素子４３には、図２（ｃ）に各画素の色を便宜的にＮで示した無色のカラーフィルタ４３ａが設けられており、第２の撮像素子４３から出力される撮像信号（以下、第２の撮像信号という。）は輝度成分のみのモノクロ撮像信号である。

なお、第１の撮像素子４２は、デジタルカメラ１に撮影用の記録モードが設定されている間に常時駆動されて被写体を撮像し、第２の撮像素子４３は基本的には撮影時のみに駆動されて被写体を撮像する。

また、第１の撮像素子４２に設けるカラーフィルタ４２ａには、単一の撮像素子を用いて撮像を行う通常の単板撮像方式に使用されるものであればベイヤ配列以外の色配列のものも使用することができる。また、ハーフプリズム４１はハーフミラーに代えることができる。

画像処理エンジン４５は、制御部２の命令に従い第１及び第２の撮像素子４２，４３によって得られる第１及び第２の撮像信号を処理する。画像処理エンジン４５は、主として第１の撮像信号、及び第２の撮像信号の増幅等の所定のアナログ処理、デジタル信号へ変換を個別に行う第１及び第２のＡＦＥ（Analog Front End）４６，４７と、ＤＳＰ（Digital Signal Processor）４８とから構成されている。

ＤＳＰ４８は、デジタル信号処理に特化した機能を備えたマイクロコンピュータ、及びプログラムが記憶されたＲＯＭ（Read Only Memory）、メモリ、演算回路等から構成される。ＤＳＰ４８は、デジタル信号へ変換された第１の撮像信号（カラー撮像信号）に対し、各画素のＲＧＢ値を周辺画素から補間し、ＲＧＢ信号を生成するデモザイク処理、及びＲＧＢ信号のＹＵＶ変換処理を行い、ＹＵＶ信号値からなる画像データを生成し制御部２へ供給する。

制御部２へ供給された画像データは、表示部７へ供給され、表示部７においてライブビュー画像として表示される。また、撮影時に制御部２へ供給された画像データは、制御部２において圧縮された後、種々の属性情報が付加され静止画ファイルとして画像記憶部５に記憶される。

画像記憶部５に静止画ファイルとして記録された静止画データは、再生モードにおいて、必要に応じて制御部２に読み出されて伸張された後、表示部７において静止画像として再生（表示）される。

画像記憶部５は、例えばデジタルカメラ１に内蔵されたフラッシュメモリや、デジタルカメラ１に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。

表示部７は、カラー液晶表示パネルと、制御部２から供給される画像データ等に応じてカラー液晶表示パネルを駆動する表示駆動回路とから構成される。表示部７は、記録モードにおいては、第１の撮像素子４２によって撮像された被写体画像をライブビュー表示し、再生モードにおいては静止画像を表示する。

操作部８は、電源ボタンや、シャッター、予め用意されている複数の撮影モードの切換スイッチ、ズームレバー、各種機能の選択や設定に使用されるコントロールボタン等の複数の操作スイッチから構成される。操作部８における操作スイッチの操作状態は制御部２において随時監視される。

電源部９は、充電池、およびＤＣ／ＤＣコンバータなどで構成され、デジタルカメラ１の各部へ、各々の動作に必要な電力を供給する。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作を図３に従い説明する。図３は、デジタルカメラ１の撮影時における撮像処理の内容の要部を示したフローチャートである。

図３に示したように、例えばユーザによりシャッターが押されたときの撮影時には、制御部２が第１の撮像素子４２及び第２の撮像素子４３を露光させ、第１及び第２の撮像素子４２，４３に蓄積された撮像信号（電荷信号）を画像処理エンジン４５へ転送する（ステップＳＡ１）。

ここで、第１の撮像素子４２及び第２の撮像素子４３の露光時間は、ＡＥ制御において適正露出が得られる露光時間である。さらに、この露光時間は、第１及び第２の撮像素子４２，４３への入射光線がハーフプリズム４１により分光されたものであるため、撮像素子が単一である場合の露光時間の２倍の時間に、分光に伴う光の減衰分に応じた時間を加えた時間である。

画像処理エンジン４５へ転送された撮像信号は、第１及び第２のＡＦＥ４６，４７において増幅、Ａ／Ｄ変換され、以後、ＤＳＰ４８によって以下の信号処理が行われる。

まず、ＤＳＰ４８は、第１撮像素子４２により得られたＡ／Ｄ変換後の第１の撮像信号に対してデモザイク処理を行い、各画素のＲＧＢ値を周辺画素から補間し、各画素の画素値Ｒ１，Ｇ１，Ｂ１からなる画素信号を生成する（ステップＳＡ２）。

次に、ＤＳＰ４８は、生成した画素信号値Ｒ１，Ｇ１，Ｂ１から、所定の変換式に基づくＹＵＶ変換を行い、各画素の輝度信号値Ｙ１、及び色差信号値Ｕ１，Ｖ１を取得する（ステップＳＡ３）。また、ＤＳＰ４８は、第２撮像素子４３により得られたＡ／Ｄ変換後の第２の撮像信号から、各画素の信号値を輝度信号値Ｙ２として取得する（ステップＳＡ４）。

次に、ＤＳＰ４８は、第２の撮像信号から得られた輝度信号値Ｙ２に基づいて、現在の撮影状況が昼間であるか、又は夜間であるかを判断する（ステップＳＡ７）。より具体的には、ＤＳＰ４８は、上記の輝度信号値Ｙ２が予め決められている値以上であれば撮影状況が昼間であると判断し、上記の輝度信号値Ｙ２が予め決められている値未満であれば撮影状況が夜間であると判断する。

そして、ＤＳＰ４８は撮影状況が昼間であると判断した場合（ステップＳＡ５：昼間）、第１の撮像信号から得られた各画素の輝度信号値Ｙ１、及び色差信号値Ｕ１，Ｖ１のうち、輝度信号のみを第２の撮像信号から得られた輝度信号値Ｙ２に置き換えた画像データ（ＹＵＶデータ）を生成する（ステップＳＡ６）。しかる後、ＤＳＰ４８は、生成した画像データを制御部２へ出力する（ステップＳＡ８）。

ここで、ステップＳＡ６の処理に際し、輝度信号値を上記のように置き換える理由は以下の通りある。

すなわち第１の撮像信号から得られた信号値Ｙ１，Ｕ１，Ｖ１においては、それがデモザイク処理において周辺画素の補間により生成された信号値を含む信号値Ｒ１，Ｇ１，Ｂ１に基づき生成されたことにより不可避的に解像感度が低下している。

一方、第２の撮像信号から得られた輝度信号値Ｙ２は、第２の撮像素子４３の実在する電変換素子によって得られた実画素の輝度信号値である。係ることから輝度信号値として第２の撮像信号から得られた輝度信号値Ｙ２を採用することにより、最終的な画像データに実画素の解像度を有する輝度成分を確保するためである。

したがって、ステップＳＡ６で生成される画像データ（Ｙ２，Ｕ１，Ｖ１）は、第１の撮像信号のみから得られる画像データ（Ｙ１，Ｕ１，Ｖ１）と比べ、色再現性、並びに解像感度の高い撮影画像のデータとなる。その結果、高品質の撮影画像を得ることができる。

また、上記とは異なり、ＤＳＰ４８は撮影状況が夜間であると判断した場合（ステップＳＡ５：夜間）、第１の撮像信号から得られた各画素の輝度信号値Ｙ１、及び色差信号値Ｕ１，Ｖ１のうち、輝度信号Ｙ１のみを第１の撮像信号から得られた輝度信号値Ｙ１と、第２の撮像信号から得られた輝度信号値Ｙ２とを平均した値（（Ｙ１＋Ｙ２）／２）に置き換えた画像データ（ＹＵＶデータ）を生成する（ステップＳＡ７）。しかる後、ＤＳＰ４８は、生成した画像データを制御部２へ出力する（ステップＳＡ８）。

ここで、ステップＳＡ７の処理に際し、輝度信号値を上記のように置き換える理由は以下の通りある。

すなわち夜間の撮影においても、前述した昼間の撮影の場合と同様の処理を行えば、最終的な画像データに実画素の解像度を有する輝度成分が確保できる。しかしながら、夜間の撮影時には当然のごとく被写体が暗い。さらに、撮影時には、先に述べたように撮像素子が単一である場合の約２倍の露光時間を確保する必要があるが、露光時間を長くすると手ぶれや被写体ぶれが生じる虞があり、確保できる露光時間には制限がある。そのため、撮影感度（第１及び第２のＡＦＥ４６，４７のゲイン）を上げることによって適正露出が確保される。

そのため、第２の撮像信号には、単板撮像方式で得られる撮像信号と比較し、撮影感度の増加分に応じた分のノイズが存在する。したがって、撮影状況が通常の場合と同様に単に輝度信号を置き換えると、解像感度を上げることができる反面、ノイズが目立った画像データしか得ることができない。

係ることから夜間の撮影においては、前述したように最終的な画像データの輝度信号値を、第１の撮像信号から得られた輝度信号値Ｙ１と、第２の撮像信号から得られた輝度信号値Ｙ２とを平均した値（（Ｙ１＋Ｙ２）／２）とする。これにより、ノイズが顕在化することを回避することができる。

すなわち第１の撮像信号と第２の撮像信号の双方には前述したノイズが共に含まれているが、撮影感度の増大に起因して生じするノイズは、Ａ／Ｄ変換時のサンプリング調整のばらつき等の影響によって生ずるランダムノイズである。

したがって、最終的な画像データにおいてノイズが生じている画素の数それ自体に変化はないが、ノイズの度合は、第２の撮像信号から得られた輝度信号値Ｙ２をそのまま採用する場合に比べ大幅に減少させることができる。その結果、通常の単板撮像方式で得られるものと比較し、遜色のない低ノイズの撮影画像を得ることができる。

以上のように本実施形態においては、２つの撮像素子を備えた構成において、撮影状況を昼間と判断した場合と、夜間と判断した場合においては、撮影時に異なる撮像処理を行うようにした。よって、被写体の明るさが大きく異なる場合であっても、係る撮影状況の違いに左右されることなく、より高品位の撮影画像を得ることができる。

しかも、撮像処理の内容の違いは、画像データの生成過程における各画素の成分信号値の取得に使用する画素信号値の違いである。すなわち画像データの輝度信号値（Ｙ）を、第２の撮像信号から得られた輝度信号値Ｙ２とするか、又は第１の撮像信号から得られた輝度信号値Ｙ１と、第２の撮像信号から得られた輝度信号値Ｙ２とを平均した値（（Ｙ１＋Ｙ２）／２）とするかの違いのみである。よって、高品位の撮影画像を極めて簡単な信号処理によって得ることができる。

なお、本実施形態においては、撮影状況が昼間であるか夜間であるかの別を、第２の撮像信号から得られた輝度信号値Ｙ２に基づき自動的に判断する構成について説明した。しかし、上記撮影状況の違いは以下のように判断してもよい。

例えば、デジタルカメラ１に、複数の撮影シーンに応じた撮影モードが設けられており、撮影モードとして夜景や花火等の夜間の撮影シーンで使用される撮影モードが存在する場合においては、撮影時にユーザに設定されている撮影モードから、撮影状況が昼間か夜間かの別を判断する構成としてもよい。その場合には、撮影状況を自動で判別する処理を省略することができる。

その場合には、例えば撮影時に設定されている撮影モードを示す情報を制御部２からＤＳＰ４８へ適宜供給させる構成としてもよいし、撮影状況が昼間か夜間かの判断を制御部２において判断し、判断結果を示す情報のみをＤＳＰ４８へ適宜供給させる構成としてもよい。

さらに、撮影モードが夜間の撮影シーンで使用される撮影モードだけに限らず、暗い被写体の撮影に特化された高感度撮影モードが設けられた構成であれば、高感度撮影モードが設定されているときの撮影時にも、便宜的に撮影状況が夜間であると判断させる構成としてもよい。

また、本実施形態では、画像処理エンジン４５内のＤＳＰ４８が、第１及び第２の撮像素子４２，４３によって得られる第１及び第２の撮像信号に基づいてＹＵＶ信号値からなる画像データを生成するものについて説明した。しかし、本発明はＤＳＰ４８に相当する信号処理回路を有していないデジタルカメラにも適用できる。その場合には、ＤＳＰ４８による処理は、前述した制御部２のようにデジタルカメラを制御する他のマイクロコンピュータ等に行わせる構成とすればよい。

（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施形態は、図１及び図２に示した構成のデジタルカメラ１において、第２の撮像素子４３に、無色のカラーフィルタ４３ａに代えて、図４に示した輝度信号に寄与する割合が大きいＧのみからなる単色のカラーフィルタ４３ｂが設けられたものである。また、本実施形態においても、撮影時にＤＳＰ４８は、撮影時には自動的に判断した撮影状況に応じた内容の後述する信号処理を行う。

以下、本実施形態のデジタルカメラの本発明に係る動作を、図３に対応する図５のフローチャートに従い説明する。

図５に示したように本実施形態においても、例えばユーザによりシャッターが押されたときの撮影時には、制御部２が第１の撮像素子４２及び第２の撮像素子４３を露光させ、第１及び第２の撮像素子４２，４３に蓄積された撮像信号（電荷信号）を画像処理エンジン４５へ転送する（ステップＳＢ１）。なお、第１の撮像素子４２及び第２の撮像素子４３の露光時間は既説した通りである。

画像処理エンジン４５へ転送された撮像信号は、第１及び第２のＡＦＥ４６，４７において増幅、Ａ／Ｄ変換され、以後、ＤＳＰ４８によって以下の信号処理が行われる。

まず、ＤＳＰ４８は、第１撮像素子４２により得られたＡ／Ｄ変換後の第１の撮像信号に対してデモザイク処理を行い、各画素のＲＧＢ値を周辺画素から補間し、各画素の画素値Ｒ１，Ｇ１，Ｂ１からなる画素信号を生成する（ステップＳＢ２）。

その後、本実施形態においてＤＳＰ４８は、第２撮像素子４３により得られたＡ／Ｄ変換後の第２の撮像信号から、各画素の信号値をＧ成分の信号値Ｇ２として取得する（ステップＳＢ３）。

次に、ＤＳＰ４８は、第２の撮像信号から得られた信号値Ｇ２に基づいて、現在の撮影状況が昼間であるか、又は夜間であるかを判断する（ステップＳＢ４）。

そして、ＤＳＰ４８は撮影状況が昼間であると判断した場合（ステップＳＢ４：昼間）、第１の撮像信号から得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１のうち、Ｇ成分の信号値のみを第２の撮像信号から得られた信号値Ｇ２に置き換え、その画素信号値（Ｒ１，Ｇ２，Ｂ１）に対してＹＵＶ変換を行う（ステップＳＢ５）。

これにより、ＤＳＰ４８は、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖからなる画像データ（ＹＵＶデータ）を生成する。そして、ＤＳＰ４８は生成した画像データを制御部２へ出力する（ステップＳＢ７）。

ここで、ステップＳＢ５の処理に際し、Ｇ成分の画素値を上記のように置き換える理由は以下の通りある。

すなわち第１の撮像信号から得られた画素信号値Ｒ１，Ｇ１，Ｂ１はデモザイク処理において周辺画素の補間により生成されたものであり、不可避的に解像感度が低下している。

一方、第２の撮像信号から得られた各画素のＧ成分の信号値Ｇ２は、第２の撮像素子４３の実在する電変換素子によって得られた実画素の信号値である。係ることからＧ成分の信号値として第２の撮像信号から得られた信号値Ｇ２を採用することにより、最終的な画像データに実画素の解像度を有する輝度成分、及びＧ成分を確保するためである。

したがって、ステップＳＢ５で生成される画像データ（ＹＵＶデータ）は、第１の撮像信号のみから得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１に基づき生成される画像データと比べ、色再現性、並びに解像感度の高い撮影画像のデータとなる。その結果、高品質の撮影画像を得ることができる。特に色再現性については、被写体に緑色の領域が存在する場合には、その領域の色再現性を確実に向上させることができる。

また、上記とは異なり、ＤＳＰ４８は撮影状況が夜間であると判断した場合（ステップＳＢ４：夜間）、第１の撮像信号から得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１のうち、Ｇ成分の信号値のみを、第１の撮像信号から得られた信号値Ｇ１と、第２の撮像信号から得られた信号値Ｇ２とを平均した値（（Ｇ１＋Ｇ２）／２）に置き換え、その画素信号値（Ｒ１，（（Ｇ１＋Ｇ２）／２），Ｂ１）に対してＹＵＶ変換を行う（ステップＳＢ６）。

これにより、ＤＳＰ４８は、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖからなる画像データ（ＹＵＶデータ）を生成する。そして、ＤＳＰ４８は生成した画像データを制御部２へ出力する（ステップＳＢ７）。

ここで、ステップＳＢ６の処理に際し、輝度信号値を上記のように置き換える理由は以下の通りある。

すなわち第１の実施形態で述べたように、第２の撮像信号には、通常の単板撮像方式で得られる撮像信号と比較し、撮影感度の増加分に応じた分のノイズが存在する。したがって、通常モードの場合と同様に単にＧ成分の信号値を第２の撮像信号から得られた信号値Ｇ２に置き換えると、解像感度を上げることができる反面、ノイズが目立った画像データしか得ることができない。

係ることから夜間の撮影においては、前述したようにＹＵＶ変換以前の段階のＧ成分の信号値を、第１の撮像信号から得られた信号値Ｇ１と、第２の撮像信号から得られた信号値Ｇ２とを平均した値（（Ｇ１＋Ｇ２）／２）とする。これにより、ノイズが顕在化することを回避することができる。

したがって、最終的な画像データにおいてノイズが生じている画素の数それ自体に変化はないが、ノイズの度合は、第２の撮像信号から得られたＧ成分の信号値Ｇ２をそのまま採用する場合に比べ大幅に減少させることができる。その結果、通常の単板撮像方式で得られるものと比較し、遜色のない低ノイズの撮影画像を得ることができる。

以上のように本実施形態においても、第１の実施形態と同様、２つの撮像素子を備えた構成において、撮影状況を昼間と判断した場合と、夜間と判断した場合においては、撮影時に異なる撮像処理を行うようにした。よって、被写体の明るさが大きく異なる場合であっても、係る撮影状況の違いに左右されることなく、より高品位の撮影画像を得ることができる。

しかも、本実施形態においても、撮像処理の内容の違いは、画像データの生成過程における各画素の成分信号値の取得に使用する画素信号値の違いである。すなわち画像データの輝度信号値Ｙ、色差信号値Ｕ，Ｖの取得に、第２の撮像信号から得られた信号値Ｇ２を使用するか、又は第１の撮像信号から得られた信号値Ｇ１と、第２の撮像信号から得られた信号値Ｇ２とを平均した値（（Ｇ１＋Ｇ２）／２）とするかの違いのみである。よって、本実施形態においても、高品位の撮影画像を極めて簡単な信号処理によって得ることができる。

なお、本実施形態についても、第１の実施形態と同様、撮影状況が昼間であるか夜間であるかの別は必ずしも自動で行う必要はなく、撮影時にユーザにより設定されている撮影モードから判断してもよく、具体的な判断手法等は任意である。また、本実施形態において説明したＤＳＰ４８による信号処理も制御部２に行わせることもできる。

（実施形態３）
次に、本発明の第３の実施形態について説明する。本実施形態は、図１に示した構成のデジタルカメラ１において、撮像部４が、第１の実施形態で図２（ａ）に示したものと異なり、図６（ａ）に示した構成を有するものである。

すなわち本実施形態においては、第２の撮像素子４３の感光面にカラーフィルタが設けられておらず、第２の撮像素子４３とハーフプリズム４１との間には、図６（ｂ）に示した回転フィルタ板５１が設けられている。

回転フィルタ板５１は、周方向に３分割された領域にＲＧＢの各色のカラーフィルタ５１ａ，５１ｂ，５１ｃが設けられるとともに、モータ５２によって適宜回転される。モータ５２の動作は制御部２によって制御されており、制御部２の指示に応じてモータ５２が回転フィルタ板５１の回転位置を変化させることにより、ＲＧＢのいずれか１色のカラーフィルタが第２の撮像素子４３に適用される。

なお、他の構成については、図２（ａ）に示したものと同一であるため、同一部分に同一の符号を付すことにより説明を省略する。

以下、本実施形態のデジタルカメラの本発明に係る動作を図７のフローチャートに従って説明する。図７は、本実施形態の撮影時における動作の要部を示したフローチャートである。

以下説明すると、本実施形態においては、例えばユーザによりシャッターが押された時の撮影時には、制御部２がまず撮影状況を判断する（ステップＳＣ１）。具体的に説明すると、制御部２は、撮影直前に第１の撮像素子４２により撮像され、表示部７においてライブビュー画像として表示していた撮影画像のＲＧＢの色成分情報から、撮影対象の色調に関する撮影状況が判断される。

すなわち制御部２は、撮影画像においてＢ成分の占める割合が規定以上であれば、撮影対象の色調が青みがかった青系の色調であると判断し、Ｇ成分の占める割合が規定以上であれば、撮影対象の色調が緑色がかった緑系の色調であると判断し、Ｒ成分の占める割合が規定以上であれば、撮影対象の色調が赤みがかった赤系の色調であると判断する。

そして、制御部２は、撮影対象の色調が上記のいずれにも該当しない場合には、（図７で「その他」）、直ちに第１の撮像素子４２のみを露光させ、第１の撮像素子４２に蓄積された撮像信号（電荷信号）を画像処理エンジン４５へ転送する（ステップＳＣ２）。

画像処理エンジン４５へ転送された撮像信号は、第１のＡＦＥ４６，４７において増幅、Ａ／Ｄ変換され、その後、ＤＳＰ４８により通常の信号処理が行われる。

すなわち、ＤＳＰ４８は、第１撮像素子４２により得られたＡ／Ｄ変換後の第１の撮像信号に対してデモザイク処理を行い、各画素のＲＧＢ値を周辺画素から補間し、各画素の画素値Ｒ１，Ｇ１，Ｂ１からなる画素信号を生成する（ステップＳＣ３）。

次に、ＤＳＰ４８は、生成した画素信号値Ｒ１，Ｇ１，Ｂ１から、所定の変換式に基づくＹＵＶ変換を行い、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖを取得する（ステップＳＣ４）。しかる後、ＤＳＰ４８は、生成した画像データを制御部２へ出力する（ステップＳＣ１７）。

したがって、制御部２において、撮影対象の色調が青系、緑系、赤系のいずれにも該当しないと判断された場合には、撮影画像として通常の単板撮像方式で得られるものと同様の品質の撮影画像が得られることとなる。

一方、上記とは異なり、制御部２は、例えば撮影対象が「青空」や「海」のときのように、その色調が青系であると判断した場合には、制御部２が回転フィルタ板５１を所定の位置に回転させて第２の撮像素子４３にＢのカラーフィルタを適用する（ステップＳＣ５）。

また、制御部２は、例えば撮影対象が「草原」のときのように、その色調が緑系であると判断した場合には、第２の撮像素子４３にＧのカラーフィルタを適用する（ステップＳＣ６）。

さらに、制御部２は、例えば撮影対象が「夕景」のときのように、その色調が赤系であると判断した場合には、第２の撮像素子４３にＢのカラーフィルタを適用する（ステップＳＣ７）。

なお、図７には省略したが制御部２は、前述したステップＳＣ５〜ＳＣ７の各々の処理においては、第２の撮像素子４３に適用したフィルタ色を示す情報をＤＳＰ４８へ供給する。

引き続き、制御部２は、第１の撮像素子４２、及びＲＧＢのいずれか１色のカラーフィルタが適用された状態の第２の撮像素子４３を露光させ、第１及び第２の撮像素子４２，４３に蓄積された撮像信号（電荷信号）を画像処理エンジン４５へ転送する（ステップＳＣ８）。なお、第１の撮像素子４２及び第２の撮像素子４３の露光時間は第１の実施形態で既説した通りである。

画像処理エンジン４５へ転送された撮像信号は、第１及び第２のＡＦＥ４６，４７において増幅、Ａ／Ｄ変換され、以後、ＤＳＰ４８によって以下の信号処理が行われる。

まず、ＤＳＰ４８は、第１撮像素子４２により得られたＡ／Ｄ変換後の第１の撮像信号に対してデモザイク処理を行い、各画素のＲＧＢ値を周辺画素から補間し、各画素の画素値Ｒ１，Ｇ１，Ｂ１からなる画素信号を生成する（ステップＳＣ９）。

次に、ＤＳＰ４８は、制御部２から事前に供給されているフィルタ色の情報から、第２の撮像素子４３に適用されているフィルタ色を確認する（ステップＳＣ１０）。

そして、ＤＳＰ４８は、フィルタ色がＢであったときには（ステップＳＣ１０：Ｂ）、第２撮像素子４３により得られたＡ／Ｄ変換後の第２の撮像信号から、各画素の信号値をＢ成分の信号値Ｂ２として取得する（ステップＳＣ１１）。

次に、第１の撮像信号から得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１のうち、Ｂ成分の信号値のみを第２の撮像信号から得られた信号値Ｂ２に置き換え、その画素信号値（Ｒ１，Ｇ１，Ｂ２）に対してＹＵＶ変換を行う（ステップＳＣ１２）。これにより、ＤＳＰ４８は、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖからなる画像データ（ＹＵＶデータ）を生成する。しかる後、ＤＳＰ４８は生成した画像データを制御部２へ出力する（ステップＳＣ１７）。

ここで、ステップＳＣ１６において生成される画像データにおいては、ＹＵＶ変換に使用したＢ成分の信号値が、第２の撮像素子４３の実在する電変換素子によって得られた実画素の信号値であるため、第１の撮像信号のみから得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１に基づき生成される画像データと比べ、色再現性の高い撮影画像のデータとなる。特に、青い部分により高い色再現性が確保された撮影画像のデータとなる。その結果、例えば撮影対象が「青空」や「海」であった場合には、青空部分や海部分の色がより忠実に再現された高品質の撮影画像を得ることができる。

また、ＤＳＰ４８は、上記とは異なりフィルタ色がＧであったときには（ステップＳＣ１０：Ｇ）、第２撮像素子４３により得られたＡ／Ｄ変換後の第２の撮像信号から、各画素の信号値をＧ成分の信号値Ｇ２として取得する（ステップＳＣ１３）。

次に、第１の撮像信号から得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１のうち、Ｇ成分の信号値のみを第２の撮像信号から得られた信号値Ｇ２に置き換え、その画素信号値（Ｒ１，Ｇ２，Ｂ１）に対してＹＵＶ変換を行う（ステップＳＣ１４）。これにより、ＤＳＰ４８は、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖからなる画像データ（ＹＵＶデータ）を生成する。しかる後、ＤＳＰ４８は生成した画像データを制御部２へ出力する（ステップＳＣ１７）。

ここで、ステップＳＣ１４において生成される画像データにおいては、ＹＵＶ変換に使用したＧ成分の信号値が、第２の撮像素子４３の実在する電変換素子によって得られた実画素の信号値であるため、第１の撮像信号のみから得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１に基づき生成される画像データと比べ、色再現性の高い撮影画像のデータとなる。特に、緑色の部分により高い色再現性が確保できる。しかも、Ｇ成分の画素信号値は、輝度信号に寄与する割合が大きいため、解像感度の高い撮影画像のデータとなる。その結果、
例えば撮影対象が「草原」であった場合には、草部分の色がより忠実に再現され、かつ解像感度の高い高品質の撮影画像を得ることができる。

さらに、ＤＳＰ４８は、上記とは異なりフィルタ色がＲであったときには（ステップＳＣ１０：Ｒ）、第２撮像素子４３により得られたＡ／Ｄ変換後の第２の撮像信号から、各画素の信号値をＲ成分の信号値Ｒ２として取得する（ステップＳＣ１５）。

次に、ＤＳＰ４８は、第１の撮像信号から得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１のうち、Ｒ成分の信号値のみを第２の撮像信号から得られた信号値Ｒ２に置き換え、その画素信号値（Ｒ２，Ｇ１，Ｂ１）に対してＹＵＶ変換を行う（ステップＳＣ１６）。これにより、ＤＳＰ４８は、各画素の輝度信号値Ｙ、及び色差信号値Ｕ，Ｖからなる画像データ（ＹＵＶデータ）を生成する。しかる後、ＤＳＰ４８は生成した画像データを制御部２へ出力する（ステップＳＣ１７）。

ここで、ステップＳＣ１６において生成される画像データにおいては、ＹＵＶ変換に使用したＲ成分の信号値が、第２の撮像素子４３の実在する電変換素子によって得られた実画素の信号値であるため、第１の撮像信号のみから得られた各画素の画素信号値Ｒ１，Ｇ１，Ｂ１に基づき生成される画像データと比べ、色再現性の高い撮影画像のデータとなる。特に、赤い部分により高い色再現性が確保された撮影画像のデータとなる。その結果、
例えば撮影対象が「夕景」であった場合には、赤みがかった空部分の色がより忠実に再現された高品質の撮影画像を得ることができる。

以上のように本実施形態においては、第２の撮像素子４３に複数色のカラーフィルタを適用可能とし、かつ適用するカラーフィルタのフィルタ色を、撮影対象の色調といった撮影状況の違いに応じて変更するとともに、撮影状況が異なる場合には、撮影時に異なる撮像処理を行うようにした。よって、撮影対象の色調が異なる場合であっても、係る撮影状況の違いに左右されることなく、より高品位の撮影画像を得ることができる。

また、本実施形態では、適用するフィルタ色をＲ，Ｇ，Ｂの各色としたことから、撮影対象が例えば「青空」や「海」、「草原」や「夕景」である場合の撮影時により高品位の撮影画像を得ることができる。

しかも、本実施形態においても、撮像処理の内容の違いは、画像データの生成過程における各画素の成分信号値の取得に使用する画素信号値の違いである。すなわち画像データの輝度信号値Ｙ、色差信号値Ｕ，Ｖの取得に際して、第２の撮像信号から得られる画素信号値を、ＲＧＢのいずれの色の画素信号値として使用するかの違いのみである。よって、本実施形態においても、高品位の撮影画像を極めて簡単な信号処理によって得ることができる。

なお、本実施形態においては、制御部２が、撮影状況として撮影対象の色調が青系、緑系、赤系のいずれかに該当するか否かを、第１の撮像素子４２によって撮像された画像から自動的に判断する構成について説明した。

しかし、撮影時における撮影状況の判断は、例えばデジタルカメラに、複数の撮影シーンの中からユーザに任意の撮影シーンを選択させ、選択された撮影シーンにそれぞれ応じた撮影条件での撮影を行うような撮影モードが設けられている構成であれば、ユーザにより選択された撮影シーンに基づいて撮影状況（撮影対象の色調）を判断するようにしてもよい。その場合には、撮影状況を自動で判別する処理を省略することができる。

また、その場合には、各々の撮影シーンに応じた撮影条件を示す撮影条件データとして、撮影時における第２の撮像素子４３の使用の有無、及び第２の撮像素子４３を使用する場合に適用すべきカラーフィルタの色の情報を予め設定しておけばよい。

また、本実施形態においても、前述したＤＳＰ４８による信号処理は、制御部２に行わせる構成とすることができる。

また、回転フィルタ板５１と第２の撮像素子の組み合わせに換えて、ＲＧＢの各色のカラーフィルタを備えた３の独立した撮像素子とし、撮影シーンに応じて３の独立した撮像素子からの画像信号を使用するようにしてもよい。

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
異なるカラーフィルタを備えた複数の撮像素子と、
撮影状況を判断する判断手段と、
前記複数の撮像素子により得られた異なる撮像信号に基づいて画像データを生成する画像生成手段と、
前記画像生成手段による前記画像データの生成時に、前記判断手段により判断された撮影状況に応じて予め決められている異なる内容の撮像信号処理を行わせる信号処理制御手段と
を備えたことを特徴とする撮像装置。
［請求項２］
前記撮像信号処理の内容の違いは、前記画像生成手段による画像データの生成過程における各画素の成分信号値の取得に使用する前記複数の撮像素子間の画素信号値の組み合わせの違いであることを特徴とする請求項１記載の撮像装置。
［請求項３］
前記撮像信号処理の内容は、前記画像データにおける各画素の輝度値の生成処理、又は各画素の輝度値及び色差成分値の生成処理のいずれか一方に関する処理内容であることを特徴とする請求項１又は２記載の撮像装置。
［請求項４］
前記複数の撮像素子は、ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、単色のカラーフィルタが設けられた第２の撮像素子であることを特徴とする請求項１又は２，３記載の撮像装置。
［請求項５］
前記第２の撮像素子に設けられたカラーフィルタの色は無色であることを特徴とする請求項４記載の撮像装置。
［請求項６］
前記信号処理制御手段は、前記判断手段により判断された撮影状況としての、被写体の明るさに応じて、前記画像生成手段による前記画像データの生成時に、前記判断手段により判断された撮影状況に応じて予め決められている異なる内容の撮像信号処理を行わせることを特徴とする請求項５記載の撮像装置。
［請求項７］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、被写体の明るさが所定の基準以上であると判断できる第１の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値の生成処理に際し、各画素の輝度値として前記第２の撮像素子により得られた撮像信号における輝度値を採用する内容の撮像信号処理を行わせることを特徴とする請求項６記載の撮像装置。
［請求項８］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、被写体の明るさが所定の基準未満であると判断できる第２の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値の生成処理に際し、各画素の輝度値として、前記第１の撮像素子により得られた撮像信号に基づく輝度値と前記第２の撮像素子から得られた撮像信号における輝度値とを平均した輝度値を採用する内容の撮像信号処理を行わせることを特徴とする請求項７記載の撮像装置。
［請求項９］
前記第２の撮像素子に設けられたカラーフィルタの色は前記ＲＧＢのうちのＧであることを特徴とする請求項４記載の撮像装置。
［請求項１０］
前記信号処理制御手段は、前記判断手段により判断された撮影状況としての、被写体の明るさに応じて、前記画像生成手段による前記画像データの生成時に、前記判断手段により判断された撮影状況に応じて予め決められている異なる内容の撮像信号処理を行わせることを特徴とする請求項９記載の撮像装置。
［請求項１１］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、被写体の明るさが所定の基準以上であると判断できる第１の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素のＲ成分及びＢ成分の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値を採用し、かつ各画素のＧ成分の画素値として前記第２の撮像素子により得られた撮像信号における画素値を採用する内容の撮像信号処理を行わせることを特徴とする請求項１０記載の撮像装置。
［請求項１２］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、被写体の明るさが所定の基準未満であると判断できる第２の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素のＲ成分及びＢ成分の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値を採用し、かつ各画素のＧ成分の画素値として、前記第１の撮像素子により得られた撮像信号における画素値と前記第２の撮像素子により得られた撮像信号に基づく画素値とを平均した輝度値を採用する内容の撮像信号処理を行わせることを特徴とする請求項１１記載の撮像装置。
［請求項１３］
前記複数の撮像素子は、ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、異なる色のカラーフィルタが適用可能な第２の撮像素子であり、
前記第２の撮像素子に選択的に適用される互いに色が異なる複数のカラーフィルタを含むカラーフィルタ手段と、
前記カラーフィルタ手段における複数のカラーフィルタのうちで、前記判断手段により判断された撮影状況に応じて予め決められている所定の色のカラーフィルタを前記第２の撮像素子に適用させるフィルタ制御手段と
を備えたことを特徴とする請求項２乃至１２のいずれか１項に記載の撮像装置。
［請求項１４］
前記カラーフィルタ手段における複数のカラーフィルタの各々の色はＲＧＢの各色のいずれかであることを特徴とする請求項１３記載の撮像装置。
［請求項１５］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、前記画像データを生成に前記第２の撮像素子により得られた撮像信号の使用が不要であると判断できる第１の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素のＲＧＢの各色の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値のみを採用する内容の撮像信号処理を行わせることを特徴とする請求項１４記載の撮像装置。
［請求項１６］
前記信号処理制御手段は、前記判断手段により判断された撮影状況が、前記画像データを生成に前記第２の撮像素子により得られた撮像信号の使用が有効であると判断できる第２の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素の前記所定の色以外の２色の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値を採用し、かつ各画素の前記所定の色の画素値として、前記第２の撮像素子により得られた撮像信号に基づく画素値を採用する内容の撮像信号処理を行わせることを特徴とする請求項１４又は１５記載の撮像装置。
［請求項１７］
前記判断手段は、撮影に際して使用者に設定されている撮影状況を示す任意の設定情報に基づいて撮影状況を判断することを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
［請求項１８］
撮影状況を判断する判断工程と、
異なるカラーフィルタを備えた複数の撮像素子により得られた異なる撮像信号に基づいて画像データを生成する画像生成工程と
を含み、
前記画像生成工程による前記画像データの生成時では、前記判断工程により判断された撮影状況に応じて予め決められている異なる内容の撮像信号処理を行う
ことを特徴とする撮像方法。
［請求項１９］
異なるカラーフィルタを備えた複数の撮像素子を有する撮像装置が有するコンピュータを、
撮影状況を判断する判断手段と、
前記複数の撮像素子により得られた異なる撮像信号に基づいて画像データを生成する画像生成手段と、
前記画像生成手段による前記画像データの生成時に、前記判断手段により判断された撮影状況に応じて予め決められている異なる内容の撮像信号処理を行わせる信号処理制御手段と
して機能させることを特徴とするプログラム。

１ デジタルカメラ
２ 制御部
３ レンズ部
４ 撮像部
５ 画像記憶部
６ プログラム記憶部
７ 表示部
８ 操作部
９ 電源部
４１ ハーフプリズム
４２ 第１の撮像素子
４２ａ カラーフィルタ
４３ 第２の撮像素子
４３ａ カラーフィルタ
４３ｂ カラーフィルタ
４５ 画像処理エンジン
４６ 第１のＡＦＥ
４７ 第２のＡＦＥ
４８ ＤＳＰ
５１ 回転フィルタ板
５１ａ カラーフィルタ
５１ｂ カラーフィルタ
５１ｃ カラーフィルタ
５２ モータ

Claims (7)

1. ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、異なる色のカラーフィルタが適用可能な第２の撮像素子とにより得られた２つの撮像信号を用いて画像データを生成する画像生成手段と、
   前記第２の撮像素子に選択的に適用される互いに色が異なる複数のカラーフィルタを含むカラーフィルタ手段と、
   撮影状況を判断する判断手段と、
   前記カラーフィルタ手段における複数のカラーフィルタのうちで、前記判断手段により判断された撮影状況に応じて予め決められている所定の色のカラーフィルタを前記第２の撮像素子に適用させるフィルタ制御手段と、
   前記判断手段によって判断された撮影状況に応じて、前記２つの撮像信号を用いて画像データを生成するよう前記画像生成手段を制御する制御手段と、
   を備えたことを特徴とする画像データ生成装置。
2. 前記カラーフィルタ手段における複数のカラーフィルタの各々の色はＲＧＢの各色のいずれかであることを特徴とする請求項１に記載の画像データ生成装置。
3. 前記制御手段は、前記判断手段により判断された撮影状況が、前記画像データを生成に前記第２の撮像素子により得られた撮像信号の使用が不要であると判断できる第１の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素のＲＧＢの各色の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値のみを採用する内容の撮像信号処理を行わせることを特徴とする請求項２記載の画像データ生成装置。
4. 前記制御手段は、前記判断手段により判断された撮影状況が、前記画像データを生成に前記第２の撮像素子により得られた撮像信号の使用が有効であると判断できる第２の撮影状況である場合、前記画像生成手段に、前記画像データにおける各画素の輝度値及び色差成分値の生成処理に際し、各画素の前記所定の色以外の２色の画素値として前記第１の撮像素子により得られた撮像信号に基づく画素値を採用し、かつ各画素の前記所定の色の画素値として、前記第２の撮像素子により得られた撮像信号に基づく画素値を採用する内容の撮像信号処理を行わせることを特徴とする請求項２又は３記載の画像データ生成装置。
5. 前記判断手段は、撮影に際して使用者によって設定されている撮影状況を示す任意の設定情報に基づいて撮影状況を判断することを特徴とする請求項１乃至４のいずれか１項に記載の画像データ生成装置。
6. ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、異なる色のカラーフィルタが適用可能な第２の撮像素子とにより得られた２つの撮像信号を用いて画像データを生成する画像生成ステップと、
   撮影状況を判断する判断ステップと、
   前記第２の撮像素子に選択的に適用される互いに色が異なる複数のカラーフィルタのうちで、前記判断ステップにて判断された撮影状況に応じて予め決められている所定の色のカラーフィルタを前記第２の撮像素子に適用させるフィルタ制御ステップと、
   前記判断ステップにて判断された撮影状況に応じて、前記画像生成ステップにて前記２つの撮像信号を用いて画像データを生成するよう制御する制御ステップと、
   を含むことを特徴とする画像データ生成方法。
7. ＲＧＢの各色が配置された単板式の撮像方式で使用されるカラーフィルタが設けられた第１の撮像素子と、異なる色のカラーフィルタが適用可能な第２の撮像素子とにより得られた２つの撮像信号を用いて画像データを生成する画像データ生成装置が有するコンピュータを、
   撮影状況を判断する判断手段、
   前記第２の撮像素子に選択的に適用される互いに色が異なる複数のカラーフィルタのうちで、前記判断手段によって判断された撮影状況に応じて予め決められている所定の色のカラーフィルタを前記第２の撮像素子に適用させるフィルタ制御手段、
   前記判断手段によって判断された撮影状況に応じて、前記２つの撮像信号を用いて画像データを生成するよう制御する制御手段、
   として機能させることを特徴とするプログラム。

Images