JP2006165975A - 撮像素子、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】 実効感度の高い撮像素子、撮像装置、画像処理方法を提供する。
【解決手段】 撮像素子１０を、分光特性の異なるＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが配設されたカラー画素と、該カラーフィルタが配設されていないモノクロ画素とを有し、モノクロ画素の画素数がカラー画素の総数に比して多くなるように、Ｒ（赤），Ｇ（緑），Ｂ（青）の各カラー画素を、複数のモノクロ画素の中に分散的に複数配置する構成とした。
【選択図】 図４

Description

本発明は、複数の画素がマトリックス状に配列されてなる撮像素子の技術分野に属し、特に、カラーフィルタが配設されたカラー画素と、前記カラーフィルタが配設されていないモノクロ画素とを有する撮像素子、この撮像素子を搭載する撮像装置、及び前記撮像素子から得られる画素信号を用いた画像処理方法に関する。

一般に、分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列の撮像素子は、各カラーフィルタが各画素の光電変換部に導かれる光を減衰させるため、カラーフィルタが配設されていない撮像素子に比して実効感度が低い。そして、近年では、撮像素子の小型化・高画素化に伴って１つの画素の大きさが縮小化され、１画素あたりの受光光量がさらに少なくなることにより、撮像素子の実効感度が一層低下するとともに、ダイナミックレンジが小さくなる傾向にある。

そのため、受光光量を確保すべくフラッシュを照射する必要が頻繁に生じ、その結果、消費電力が増大して撮影枚数が減少したり、所謂手ぶれ補正機能が搭載されている場合に、該手ぶれ補正を実行してもその補正効果が小さかったり、あるいは、各画素から得られる画素信号の増幅率を増大することによりＳ／Ｎ比が悪化（低下）するなど、様々な問題が生じている。

下記特許文献１には、撮像素子の実効感度を向上することを目的として、撮像素子において、半分の画素にはＲ（赤）又はＢ（青）のカラーフィルタを配置し、残りの半分の画素にはカラーフィルタを配置しないように構成する技術が開示されている。
特開平９−１１６９１３号公報

しかしながら、前記特許文献１の技術においては、カラーフィルタを有しない画素が撮像素子全体の画素の半分しか無いため、 実効感度の大幅な向上は望めない。

本発明は、上記事情に鑑みてなされたもので、実効感度の高い撮像素子、撮像装置、画像処理方法を提供することを目的とする。

請求項１に記載の発明は、複数の画素がマトリックス状に配列されてなり、少なくとも３種類のカラーフィルタが配設された画素を有する撮像素子において、前記カラーフィルタが配設されたカラー画素と前記カラーフィルタが配設されていないモノクロ画素とを有し、前記モノクロ画素の総和が前記カラー画素の総和に比して多く備えられており、前記カラー画素を前記カラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群を１組とするとき、前記各カラー画素又は前記各組の画素群が、前記モノクロ画素を介して分散的に配置されていることを特徴とするものである。

この発明によれば、カラーフィルタが配設されたカラー画素のみが配設された撮像素子や、モノクロ画素の総和が前記カラー画素の総和以下に設定された従来の撮像素子に比して、撮像素子の実効感度を向上することができる。

請求項２に記載の発明は、請求項１に記載の撮像素子において、前記各画素群において、異なるカラーフィルタが配設されたカラー画素が隣接して配列されていることを特徴とするものである。

この発明によれば、各画素群において、異なるカラーフィルタが配設されたカラー画素を隣接して配列したので、偽色（色モアレ）の発生を防止又は抑制することができる。

なお、前記カラー画素が隣接して配列されている形態としては、例えば、カラー画素が互いに隣接して配列されている形態や、カラー画素が一列に（連続的に）配列されている形態が想定される。

請求項３に記載の発明は、被写体の光像を結像する撮影光学系と、前記撮影光学系の結像面上に撮像面が配置された請求項１又は２に記載の撮像素子と、前記撮像素子に露光動作の開始及び終了の指示を入力するための入力操作部と、前記撮像素子の露光動作により得られた画素信号から画像を生成する画像生成部と、前記画像生成部により生成された画像を表示する画像表示部とを備えることを特徴とする撮像装置である。

この発明によれば、撮像素子の実効感度が向上されているので、撮影感度の高い撮像装置を構成することができる。

請求項４に記載の発明は、請求項３に記載の撮像装置において、前記画像生成部は、前記モノクロ画素から得られる画素信号に基づき、該モノクロ画素の位置における第１輝度データを生成するとともに、前記カラー画素の位置における第２輝度データを、前記第１輝度データを用いた補間処理により生成し、且つ、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第１色データを生成するとともに、前記モノクロ画素の位置における第２色データを、前記第１色データを用いた補間処理により生成することを特徴とするものである。

請求項８に記載の発明は、複数の画素がマトリックス状に配列されてなり、少なくとも３種類のカラーフィルタが配設された画素を有する撮像素子のうち、前記カラーフィルタが配設されたカラー画素と前記カラーフィルタが配設されていないモノクロ画素とを有するとともに、前記モノクロ画素の総和が前記カラー画素の総和に比して多く備えられており、前記カラー画素を前記カラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群を１組とするとき、前記各カラー画素又は前記各組の画素群が、前記モノクロ画素を介して分散的に配置されている撮像素子から得られる画素信号を用いて画像を生成する画像処理方法であって、前記画像生成部が、前記モノクロ画素から得られる画素信号に基づき、該モノクロ画素の位置における第１輝度データを生成するステップと、前記カラー画素の位置における第２輝度データを、前記第１輝度データを用いた補間処理により生成するステップと、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第１色データを生成するステップと、前記モノクロ画素の位置における第２色データを、前記第１色データを用いた補間処理により生成するステップとを有することを特徴とするものである。

これらの発明によれば、比較的高感度のモノクロ画素から得られる画素信号に基づき、該モノクロ画素の位置における第１輝度データを生成するとともに、カラー画素の位置における第２輝度データを、前記第１輝度データを用いた補間処理により生成するので、撮像素子の見かけ上の実効感度を向上することができる。また、カラー画素から得られる画素信号に基づき、該カラー画素の位置における第１色データを生成するとともに、前記モノクロ画素の位置における第２色データを、前記第１色データを用いた補間処理により生成するので、色データを持たないモノクロ画素が過半を占める画素構成であっても、カラーの画像を生成することができる。

請求項５に記載の発明は、請求項４に記載の撮像装置において、前記画像生成部は、更に、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第３輝度データを生成するとともに、前記モノクロ画素の位置における第４輝度データを、前記第３輝度データを用いた補間処理により生成し、輝度が所定の閾値を超えるモノクロ画素の画像を、前記第１輝度データ及び前記第４輝度データを合成して生成することを特徴とすることを特徴とするものである。

請求項９に記載の発明は、請求項８に記載の画像処理方法において、更に、前記画像生成部が、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第３輝度データを生成するステップと、前記モノクロ画素の位置における第４輝度データを、前記第３輝度データを用いた補間処理により生成するステップと、輝度が所定の閾値を超えるモノクロ画素の画像を、前記第１輝度データ及び前記第４輝度データを合成して生成するステップとを有することを特徴とするものである。

これらの発明によれば、モノクロ画素に対して感度域がシフトした（ずれた）前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第３輝度データを生成するとともに、前記モノクロ画素の位置における第４輝度データを、前記第３輝度データを用いた補間処理により生成し、輝度が所定の閾値を超えるモノクロ画素の画像を、前記第１輝度データ及び前記第４輝度データを合成して生成するようにしたので、輝度の階調を簡単に拡大することが可能となる。

請求項６に記載の発明は、請求項３ないし５のいずれかに記載の撮像装置において、前記撮像素子に所定の周期で複数回露光動作を実行させるモードを有し、前記画像生成部は、前記モードにおいては、一方向に複数の画素が並んでなる複数の画素列のうち、前記カラー画素及びモノクロ画素の両方が存在する画素列を選定し、この画素列に属する各画素の位置における輝度データ及び色データを用いて画像を生成することを特徴とするものである。

この発明によれば、撮像素子に所定の周期で複数回露光動作を実行させるモードにおいては、一方向に複数の画素が並んでなる複数の画素列のうち、前記カラー画素及びモノクロ画素の両方が存在する画素列を選定し、この画素列に属する各画素の位置における輝度データ及び色データを用いて画像を生成するようにしたので、その選定された画素列のみで色データを取得できる。

請求項７に記載の発明は、請求項３ないし６のいずれかに記載の撮像装置において、前記撮像素子の露光条件を決定する露光条件決定部を有し、前記露光条件決定部は、前記モノクロ画素の位置における輝度データのみを用いて前記露光条件を決定することを特徴とするものである。

この発明によれば、モノクロ画素の輝度データのみを用いて露光条件を決定するので、カラー画素の輝度データを用いて露光条件を決定する場合に比して、モノクロ画素の感度が高い分だけ暗い被写体でも露光制御を正確に行うことができる。

また、例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタがベイヤー配列された従来の撮像素子では、これらのカラー画素から得られる画素信号から、画素にカラーフィルタの無い状態での輝度データを生成し、この輝度データに基づいて露光制御を行うが、この輝度データの生成処理において、実際の被写体の輝度と誤差が生じる虞がある。

これに対して、本発明では、画素にカラーフィルタの無い状態での輝度データは、モノクロ画素から得られるため、前述のような輝度データの生成処理が不要となり、その結果、該生成処理により発生し得る前述の誤差が生じなくなる。この点からも、露光制御を正確に行うことができる。

請求項１に記載の発明によれば、撮像素子の実効感度が向上するため、高感度の撮影が可能となり、Ｓ／Ｎ比が良好で（大きい）綺麗な画像を得ることができる。

請求項２に記載の発明によれば、偽色の発生を防止又は抑制することができるため、綺麗な画像を得ることができる。

請求項３に記載の発明によれば、実行感度の高い撮像素子を搭載するため、高感度の撮影を行うことができ、明るく綺麗な画像を得ることができる。

請求項４，８に記載の発明によれば、撮像素子の見かけ上の実効感度を向上することができるため、明るく綺麗な画像を得ることができるとともに、モノクロ画素の位置における色データを、カラー画素の位置における色データを用いた補間処理により生成するため、色データを持たないモノクロ画素が過半を占める画素構成であっても、カラーの画像を生成することができ、人間の眼は色（色相や彩度）に対する感度（解像度）が低いことから、前記のように生成されたカラー画像であっても、高画質として認識される撮影画像を生成することができる。

請求項５，９に記載の発明によれば、輝度の階調を簡単に拡大することができるため、階調性の豊かな画像を得ることができる。

請求項６に記載の発明によれば、画素信号を間引いて（選定して）画像を生成する場合でも、その選定された画素列のみで色データを取得できるため、カラーの画像（動画）を生成することができる。なお、ここでいう動画とは、撮像素子に所定の周期で複数回露光動作を実行させることにより、各露光動作で得られる画素信号から画像をそれぞれ生成し、これらの画像を所定の周期で更新的に切り替え表示される一連の画像をいう。

請求項７に記載の発明によれば、露光制御を正確に行うことができる。

本発明の第１の実施形態について説明する。図１は、撮像装置１の正面図、図２は、撮像装置１の背面図である。

図１、図２に示すように、撮像装置１は、電源ボタン２と、光学系３と、ＬＣＤ（Liquid Crystal Display）４と、光学ファインダー５と、内蔵フラッシュ６と、モード設定スイッチ７と、４連スイッチ８と、シャッターボタン９とを備える。

電源ボタン２は、撮像装置１の電源のオンオフを切り替えるものである。光学系３は、ズームレンズや図略のメカニカルシャッター等を備えてなり、ＣＣＤ（Charge Coupled Device）等の撮像素子１０（図３参照）の撮像面に、被写体の光学像を結像するものである。

ＬＣＤ４は、ライブビュー画像及び後述する画像記憶部１７（図３参照）に記録する画像（記録画像）の表示や、画像記憶部に記録された画像の再生表示等を行うものである。なお、ＬＣＤ４に代えて、有機ＥＬやプラズマの表示装置であってもよい。

ライブビュー画像は、被写体の画像を記録するまでの期間において、一定の周期（１／３０秒）でＬＣＤ４に切換表示される一連の画像をいい、このライブビュー画像により、被写体の状態が略リアルタイムでＬＣＤ４に表示され、撮影者は被写体の状態をＬＣＤ４で確認することができる。

光学ファインダー５は、被写体が撮影される範囲を光学的に観察できるようにするものである。内蔵フラッシュ６は、撮像素子１０への露光量が不足している場合等に、図略の放電灯を放電させることにより被写体に照明光を照射するものである。

モード設定スイッチ７は、被写体像の静止画撮影を行なう「静止画撮影モード」と、被写体像の動画撮影を行なう「動画撮影モード」と、画像記憶部１７（図３参照）に記録された撮影画像をＬＣＤ４に再生表示する「再生モード」との間でモードの切換設定を行うためのスイッチである。モード設定スイッチ７は、上下方向にスライドする３接点のスライドスイッチからなり、下にセットすると撮像装置１が再生モードに設定され、中央にセットすると静止画撮影モードに設定され、上にセットすると動画撮影モードに設定される。

４連スイッチ８は、詳細には説明しないが、各種機能の設定を行うためのメニューモードの設定、ズームレンズの光軸方向への移動、露光補正、あるいはＬＣＤ４に再生する記録画像のコマ送り等を行うためのスイッチである。

シャッターボタン９は、２段階（半押し及び全押し）で押圧操作されるボタンであり、露光制御のタイミングを指示するためのものである。撮像装置１は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとを有し、静止画撮影モード及び動画撮影モードの設定時において、シャッターボタン９が操作されていない状態では、１／３０（秒）毎に被写体の光学像が取り込まれ、ＬＣＤ４へのライブビュー画像の表示が行われる。

また、静止画撮影モードにおいては、シャッターボタン４の半押し操作が行われることで、露出制御値（シャッタースピード及び絞り値）等の設定が行われる撮像待機状態に設定され、全押し操作が行われることで、画像記憶部１７（図３参照）に記録する被写体の画像を生成するための撮像素子１５による露光動作（記録用露光動作）が開始される。

動画撮影モードにおいては、シャッターボタン４の全押し操作が行われることで記録用露光動作が開始され、周期的に画素信号が取り出されて該画素信号により順次画像が生成され、再度全押し操作が行われることで、その記録用露光動作が停止する。

図３は、撮像装置１の電気的な構成を示すブロック構成図である。同図において、図１，図２に示した部材と同一部材には同一の番号を付している。

撮像装置１は、光学系３と、ＬＣＤ４と、撮像素子１０と、タイミングジェネレータ１１と、信号処理部１２、Ａ／Ｄ変換部１３と、画像メモリ１４と、ＶＲＡＭ（Video Random Access Memory）１５と、操作部１６と、画像記憶部１７と、制御部１８とを備えて構成されている。

光学系３は、図１に示す光学系３に相当するものであり、前述したようにメカニカルシャッターを備える。ＬＣＤ４は、図２に示すＬＣＤ４に相当するものである。

撮像素子１０は、例えばフォトダイオード等で構成される複数の光電変換素子（以下、画素という）がマトリックス状に２次元配列されたＣＣＤカラーエリアセンサである。

ここで、分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなる従来のベイヤー配列のカラーエリアセンサの場合には、各カラーフィルタが各画素のフォトダイオードに導かれる光を減衰させるため、撮像素子の実効感度が低いという問題がある。特に、小型化及び高画素化された撮像素子にあっては、各画素の大きさ（受光面積）が小さく各画素の受光光量が少ないことから、この実効感度の低下がより一層大きい。

そこで、本実施形態の撮像素子１０は、このような不具合を解消すべく、図４（ａ）に示すように、分光特性の異なるＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが受光面に配設された画素（以下、カラー画素という）と、該カラーフィルタが配設されていない画素（以下、モノクロ画素という 図４（ａ）では「Ｒ」，「Ｇ」，「Ｂ」の文字が表記されていない画素）とを備え、モノクロ画素の画素数をＷｓ、カラー画素の画素数をＣｓとしたとき、Ｗｓ＞Ｃｓを満たすように、Ｒ（赤），Ｇ（緑），Ｂ（青）の各カラー画素を１つずつ有してなる１組の画素群が、複数のモノクロ画素の中に分散的に複数配置された構成を有している。

すなわち、図４（ａ）に示す例では、撮像素子１０の受光面のうち一部の受光領域（縦９列×横１６列からなる領域）に注目し、横方向（水平方向）に左から順に番号を付し、また、縦方向（垂直方向）に上から順に番号を付したとき、Ｒ（赤）のカラー画素は、縦方向及び横方向ともに（６ｎ＋１）で表される位置と、縦方向及び横方向ともに（６ｎ＋４）で表される位置に配置されている。また、Ｇ（緑）のカラー画素は、Ｒ（赤）のカラー画素の右側に隣接する位置に、Ｂ（青）のカラー画素は、Ｇ（緑）のカラー画素の下側に隣接する位置にそれぞれ配置されており、それ以外の全ての画素がカラーフィルタを有さないモノクロ画素とされている。

モノクロ画素の感度は、Ｇ（緑）のカラー画素の例えば３倍、Ｒ（赤）、Ｂ（青）のカラー画素の例えば５倍の感度を有する。

撮像素子１１は、光学系３により結像された被写体の光像をアナログの電気信号に変換し、この電気信号を画素信号として出力する。カラー画素から出力される画素信号により、Ｒ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの色データ及び輝度データが得られ、モノクロ画素から出力される画素信号により輝度データが得られる。

撮像素子１０は、例えば、フォトダイオード等からなる受光部、垂直転送部、及び水平転送部等を備えてなるインターライン型の撮像素子であり、プログレッシブ転送方式により各画素の電荷が取り出される。すなわち、各受光部で蓄積された電荷は、垂直同期信号により垂直転送部に転送され、各垂直転送部に転送された電荷は、水平同期信号により水平転送路に近い画素から順に該水平転送路に転送されることにより画素信号として取り出される。このような撮像素子１０における各画素の出力信号の読出し（水平同期、垂直同期）等の撮像動作や、撮像素子１０による露光動作の開始及び終了のタイミングは、後述のタイミングジェネレータ１１等により制御される。

後述するように、本実施形態においては、ライブビュー画像を生成しＬＣＤ４に表示するとき（撮像準備期間）及び動画撮影モードが設定されているときと、静止画撮影モードが設定されているときとで画像の生成方法が異なる。

タイミングジェネレータ１１は、制御部１８から送信される基準クロックＣＬＫ０に基づいて、撮像素子１０の駆動制御信号、例えば積分開始／終了（露光開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号等）等のクロック信号を生成し、撮像素子１０に出力する。

信号処理部１２は、撮像素子１０から出力されるアナログの画素信号に所定のアナログ信号処理を施すものである。信号処理部１２は、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路とを有し、ＣＤＳ回路により画素信号のノイズの低減を行い、ＡＧＣ回路により画素信号のレベル調整を行う。

Ａ／Ｄ変換部１３は、信号処理部１２により出力されたアナログの画素信号を、複数のビットからなるデジタルの画素信号にそれぞれ変換するものである。

画像メモリ１４は、Ａ／Ｄ変換部１３から出力される画素信号を一時的に格納するとともに、この画像信号に対して制御部１８により後述の処理を行うための作業領域として用いられるメモリである。

ＶＲＡＭ１５は、ＬＣＤ４に再生表示される画像の画素信号のバッファメモリであり、ＬＣＤ４の画素数に対応した画素信号の記録容量を有する。操作部１６は、シャッターボタン９のレリーズ操作を検出するスイッチ、モード設定スイッチ７及び４連スイッチ８等を含むものである。

制御部１８は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる図略の記憶部が内蔵されたマイクロコンピュータからなり、上述した各部材の駆動を関連付けて制御するものである。

ところで、各カラー画素から出力される画素信号を用いることでも、各画素の位置における輝度データが得られる。しかし、カラー画素及びモノクロ画素の位置における輝度データを、そのカラー画素の画素信号を用いて得られた輝度データを用いて導出するよりも、モノクロ画素については、該モノクロ画素から出力される画素信号を用いて導出し、また、前述したように、モノクロ画素の感度がカラー画素の感度に比して多いことから、カラー画素については、当該カラー画素の周辺に位置するモノクロ画素の輝度データを用いた補間処理により導出する方が、Ｓ／Ｎ比の悪化を回避しながら明るく綺麗な画像を生成することができると考えられる。

そこで、本実施形態では、このように、各画素の位置における輝度データをモノクロ画素から得られる輝度データを用いて導出するようにしている。

また、モノクロ画素にはカラーフィルタが配設されていないため、該モノクロ画素からは、当該モノクロ画素の位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の色データは得られない。そこで、本実施形態では、モノクロ画素の位置における色データを、当該モノクロ画素の周辺に位置するカラー画素から得られる色データを用いた補間処理により導出するようにしている。

なお、前述の各補間処理は、ライブビュー画像及び動画撮影モードにおける動画像の生成時と静止画撮影モードにおける静止画の生成時とで異なるため、夫々の場合に分けて説明する。

このような機能を実現すべく、図３に示すように、制御部１８は、機能的に、ライブビュー画像／動画像生成部１９と静止画像生成部２４とを備えている。

ライブビュー画像／動画像生成部１９は、撮像準備期間及び動画設定モードに設定された場合に、撮像素子１０に一定の周期で露光動作を行わせて、ＬＣＤ４に表示するライブビュー画像や、画像記憶部１７に記憶される一連の画像（動画像）を生成するものであり、第１間引き処理部２０と、第１輝度データ補間部２１と、第１色データ補間部２２と、第２間引き処理部２３とを有する。

ライブビュー画像及び動画像は、撮像画像の画角等をＬＣＤ７で撮影者が確認できる程度の画像でよく、解像度はそれほど要求されないことから、第１間引き処理部２０は、撮像素子１０における複数の画素のうち、カラー画素及びモノクロ画素の両方を含む一部の水平画素列を選定し、さらにその水平画素列の中から一部の水平画素列を選定し、その選定した水平画素列に属する画素の輝度データ又は色データを抽出するものである。例えば、図４に示すように、輝度データ又は色データの抽出対象画素列として、垂直方向における１，２，７，８列目の水平画素列が選定される。

第１輝度データ補間部２１は、第１間引き処理部２０により選定された画素のうち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラーフィルタが配設されたカラー画素の位置における輝度データを、そのカラー画素の周辺に位置するモノクロ画素から得られる輝度データを用いた補間処理により導出するものである。

例えば図４及び図５において、矢印Ａで示すように、第１間引き処理部２０により選定された画素を、隣接するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素を含む、例えば縦２（個）×横４（個）の画素からなる大ブロックに区分する。このとき、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラー画素を含む縦２（個）×横２（個）の画素からなる小ブロックが前記大ブロックの中心に位置するように、前記大ブロックの画素を区分する。

そして、第１輝度データ補間部２１は、前記大ブロックに属する各カラー画素の位置における輝度データとして、この大ブロック中の当該カラー画素に隣接するモノクロ画素から得られる輝度データに設定する。

すなわち、図５に示すように、前記大ブロックに属する各画素に対して、Ｐ１〜Ｐ８までの番号を付したとき、Ｒ（赤）のカラー画素Ｐ２の位置における輝度データを、該Ｒ（赤）のカラー画素Ｐ２の左側に隣接するモノクロ画素Ｐ１の輝度データとする。また、第１輝度データ補間部２１は、Ｇ（緑）のカラー画素Ｐ３の位置における輝度データを、該Ｇ（緑）のカラー画素Ｐ３の右側に隣接するモノクロ画素Ｐ４の輝度データとし、Ｂ（青）のカラー画素Ｐ７の位置における輝度データを、該Ｂ（青）のカラー画素Ｐ７の右側に隣接するモノクロ画素Ｐ８の輝度データとする。

なお、図５中の矢印は、各カラー画素の位置における輝度データとして、水平方向に隣接するモノクロ画素の輝度データを代替として利用することを示している。

第１色データ補間部２２は、第１間引き処理部２０により選定された各画素の位置における色データを、その画素の周辺に位置するカラー画素から得られる色データを用いた補間処理により導出するものである。

例えば図４及び図６（ａ）において、矢印Ｂで示すように、第１色データ補間部２２は、第１間引き処理部２０により選定された画素を、隣接するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素を含む縦２（個）×横６（個）の画素からなる大ブロックに区分する。このとき、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラー画素を含む縦２（個）×横２（個）の画素からなる小ブロックが前記大ブロックの中心に位置するように、前記大ブロックの画素を区分する。

そして、第１色データ補間部２２は、それぞれの大ブロックにおいて、モノクロ画素の位置における各色の色データを、当該ブロックに含まれる各色のカラー画素から得られた色データを用いて補間する。

すなわち、図６（ｂ）に示すように、各大ブロックにおいて、各モノクロ画素の位置における赤色の色データとして、当該ブロックに含まれる赤色のカラー画素から得られた赤色データとする。また、第１色データ補間部２２は、各大ブロックにおいて、Ｇ（緑）のカラー画素及びＢ（青）のカラー画素の位置における赤色の色データとして、当該大ブロックに含まれる赤色のカラー画素から得られた赤色データとする。

さらに、図６（ｃ）に示すように、第１色データ補間部２２は、各大ブロックにおいて、前記各モノクロ画素の位置における緑色の色データとして、当該ブロックに含まれる緑色のカラー画素から得られた緑色データとし、Ｒ（赤）のカラー画素及びＢ（青）のカラー画素の位置における緑色の色データとして、当該大ブロックに含まれる緑色のカラー画素から得られた緑色データとする。

また、図６（ｄ）に示すように、第１色データ補間部２２は、各大ブロックにおいて、モノクロ画素の位置における青色の色データとして、当該大ブロックに含まれる青色のカラー画素から得られた青色データとし、Ｒ（赤）のカラー画素及びＧ（緑）のカラー画素の位置における青色の色データとして、当該大ブロックに含まれる青色のカラー画素から得られた青色データとする。

なお、図６（ｂ）〜（ｄ）中の矢印は、各モノクロ画素の位置における色データとして、ブロック内の各カラー画素の位置における色データを代替として利用することを示している。

第２間引き処理部２３は、第１間引き処理部２０と同じ間引き率だけ、水平方向の画素数を間引くものである。例えば、図４に示す例で説明すると、第１間引き処理部２０は、規則的に垂直方向に２／６に水平画素列を間引いているので、第２間引き処理部２３は、規則的に水平方向に２／６に垂直画素列を間引く。

静止画像生成部２４は、静止画撮影モードに設定された場合に、予め設定された露光時間（シャッタースピード）による露光動作を撮像素子１０に行わせ、高解像度の画像を生成するべく略全ての画素から得られる画素信号を用いて、画像（静止画像）を生成するものであり、第２輝度データ補間部２５と、第２色データ補間部２６とを有する。

第２輝度データ補間部２５は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラーフィルタが配設されたカラー画素の位置における輝度データを、その画素の周辺に位置するモノクロ画素の輝度データを用いて補間処理により導出するものである。以下、Ｒ（赤）のカラー画素の位置における輝度データを例に挙げ、この輝度データの算出方法について説明する。

例えば図４（ａ），（ｂ）において、矢印Ｃで示すように、隣接するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素を含む縦４（個）×横４（個）の画素に着目し、図４（ｃ）に示すように、これらの画素に対して、Ｐ１〜Ｐ１６までの番号を付したとき、Ｒ（赤）のカラー画素Ｐ６の位置における輝度データは、例えば図７（ａ）に示すように、該カラー画素Ｐ６を中心とする縦３（個）×横３（個）の画素からなるブロックに属するモノクロ画素の輝度データを用いて補間する。

すなわち、本実施形態では、このブロックにおいて、上下方向、左右方向及び斜め方向のいずれかにおいて、補間対象のカラー画素Ｐ６を挟む１対のモノクロ画素の組合せ（Ｐ２，Ｐ１０）と（Ｐ３，Ｐ９）を導出する。

次に、各組合せにおいて、２つのモノクロ画素の輝度値の差をそれぞれ算出し、この輝度差と閾値αとの大小をそれぞれ判定する。その結果、一方の輝度差が前記閾値αより大きく、他方の輝度差が前記閾値αより小さい場合（パターン１，２）には、補間対象のカラー画素Ｐ６の位置における輝度データは、輝度差が小さい方の組合せにおける両モノクロ画素の輝度データに近似すると考えられることから、閾値αより小さい輝度差の組合せにおける２つのモノクロ画素の輝度値の平均値を算出し、この平均値を当該カラー画素の位置における輝度値（輝度データ）とする。

例えば、画素Ｐ１〜Ｐ１６の輝度値をｗ１〜ｗ１６とすると、図７（ａ）に示すように、前記２つの組合せ（Ｐ２，Ｐ１０）と（Ｐ３，Ｐ９）とについて、｜ｗ２−ｗ１０｜≧α，｜ｗ３−ｗ９｜＜αのときには、カラー画素Ｐ６の輝度値ｗ６は、（ｗ３＋ｗ９）／２となり、｜ｗ２−ｗ１０｜＜α，｜ｗ３−ｗ９｜≧αのときには、（ｗ２＋ｗ１０）／２となる。

両方の組合せにおける各輝度差がいずれも前記閾値αより小さい場合（パターン３）には、輝度差が小さい方の組合せにおける２つのモノクロ画素の輝度値の平均値を算出し、この平均値を当該カラー画素の輝度値（輝度データ）とする。

両方の組合せにおける各輝度差がいずれも前記閾値αより大きい場合（パターン４）には、前記縦３（個）×横３（個）の画素からなるブロックにおける全てのモノクロ画素Ｐ１〜Ｐ３，Ｐ５，Ｐ９，Ｐ１０の輝度値の平均値を算出し、この平均値を補間対象のカラー画素Ｐ６の位置における輝度値（輝度データ）とする。

例えば前述の例で説明すると、｜ｗ２−ｗ１０｜＜α，｜ｗ３−ｗ９｜＜αの場合において、｜ｗ２−ｗ１０｜＜｜ｗ３−ｗ９｜のときには、カラー画素Ｐ６の輝度値ｗ６は、（ｗ２＋ｗ１０）／２となり、｜ｗ２−ｗ１０｜＞｜ｗ３−ｗ９｜のときには、（ｗ３＋ｗ９）／２となる。また、｜ｗ２−ｗ１０｜≧α，｜ｗ３−ｗ９｜≧αのときには、カラー画素Ｐ６の輝度値ｗ６は、（ｗ１＋ｗ２＋ｗ３＋ｗ５＋ｗ９＋ｗ１０）／６となる。

同様にして、図７（ｂ）に示すように、Ｇ（緑）のカラー画素の位置における輝度データは、上下方向、左右方向及び斜め方向のいずれかにおいて、補間対象のカラー画素Ｐ７を挟む１対のモノクロ画素の組合せ（Ｐ２，Ｐ１２）と（Ｐ４，Ｐ１０）とについて、また、図７（ｃ）に示すように、Ｂ（青）のカラー画素の位置における輝度データは、補間対象のカラー画素Ｐ１１を挟む１対のモノクロ画素の組合せ（Ｐ８，Ｐ１４）と（Ｐ１０，Ｐ１２）とについて、それぞれ２つのモノクロ画素の輝度差を算出し、この輝度差と所定の閾値との大小の判定結果に応じて導出することができる。

第２色データ補間部２６は、モノクロ画素の位置における色データを、その画素の周辺に位置するカラー画素の色データを用いた補間処理により導出するものである。以下、各モノクロ画素の位置におけるＲ（赤）の色データの算出方法を例に挙げて説明する。

図８に示すように、菱形状に並ぶ４つのＲ（赤）のカラー画素、及び、このカラー画素により形成される菱形の辺上又は菱形内に位置するモノクロ画素に着目する。これらのカラー画素及びモノクロ画素に対して、図８に示すようにＰ１〜Ｐ２５までの番号を付したとき、まず、前記菱形の中心に位置するモノクロ画素Ｐ１３の位置におけるＲ（赤）の色データを、菱形の頂点に位置する各カラー画素Ｐ１，Ｐ１０，Ｐ１６，Ｐ２５のＲ（赤）の色データを用いた補間処理により導出する。

本実施形態では、モノクロ画素Ｐ１３の位置におけるＲ（赤）の色データは、カラー画素Ｐ１，Ｐ１０，Ｐ１６，Ｐ２５の色データの平均値とする。すなわち、各画素Ｐ１〜Ｐ２５のＲ（赤）の色データが示す値をｒ１〜ｒ２５と表すものとすると、モノクロ画素Ｐ１３の位置におけるＲ（赤）の色データが示す値ｒ１３は、（ｒ１＋ｒ１０＋ｒ１６＋ｒ２５）／４となる。

次に、この菱形を対角線で４つの３角形状の領域に分割し、前記モノクロ画素Ｐ１３以外の他のモノクロ画素の位置におけるＲ（赤）の色データを、当該モノクロ画素が属する３角形の頂点に位置する画素（カラー画素Ｐ１，Ｐ１０，Ｐ１６，Ｐ２５及びモノクロ画素Ｐ１３のうちのいずれかの画素）の色データを用いた補間処理により導出する。以下、３角形の頂点に位置する画素を、頂点画素という。

その際、補間対象のモノクロ画素が、その３角形の辺上に位置するものであるときには、その辺上に存在する頂点画素を導出し、この導出した各頂点画素と補間対象のモノクロ画素との距離に応じた重み係数を算出する。そして、導出した頂点画素の色データをこの重み係数を用いて加重平均し、この平均値を補間対象のモノクロ画素の色データとする。

例えば、図８に示すように、モノクロ画素Ｐ２は、カラー画素Ｐ１とカラー画素Ｐ１０とを結ぶ辺上に位置するため、このカラー画素Ｐ１とカラー画素Ｐ１０とを前記頂点画素として導出し、モノクロ画素Ｐ２の位置におけるＲ（赤）の色データを、カラー画素Ｐ１及びカラー画素Ｐ１０のＲ（赤）の色データから導出する。

また、モノクロ画素Ｐ２とカラー画素Ｐ１との距離の逆数と、モノクロ画素Ｐ２とカラー画素Ｐ１０との距離の逆数とをそれぞれ算出し、各逆数の総和に対する各逆数の割合「２／３」と「１／３」とを重み係数とする。このようにしているのは、補間対象のモノクロ画素の位置における色データは、該モノクロ画素に近い頂点画素の色データに近似すると考えられるからであり、本実施形態では、距離の逆数に比例して近似するものと仮定して行っている。

そして、各距離に対応する頂点画素の色データｒ１，ｒ１０にそれぞれ対応する重み係数を乗じた値、すなわち、「（２／３）・ｒ１」と「（１／３）・ｒ１０」とを加算し、この加算値をモノクロ画素Ｐ２の位置における色データｒ１とする。

同様にして、菱形の辺上に位置する他のモノクロ画素Ｐ３〜Ｐ５，Ｐ７，Ｐ９，Ｐ１１〜Ｐ１５（Ｐ１３を除く），Ｐ１７，Ｐ１９，Ｐ２１〜Ｐ２４の位置におけるＲ（赤）の色データも算出することができる。

また、菱形の辺上に存在しないモノクロ画素Ｐ６，Ｐ８，Ｐ１８，Ｐ２０については、それらのモノクロ画素が属する３角形を構成する３つの頂点画素をそれぞれ導出し、この頂点画素の色データを用いた補間処理により導出する。

例えば、図８に示すように、モノクロ画素Ｐ６は、カラー画素Ｐ１，Ｐ１０とモノクロ画素Ｐ１３を頂点とする３角形内に存在するものであるから、モノクロ画素Ｐ６の位置における色データを、カラー画素Ｐ１，Ｐ１０及びモノクロ画素Ｐ１３の位置における各色データを用いた補間処理により導出する。

ここで、本実施形態では、モノクロ画素Ｐ６の位置における色データは、その３角形の中心に位置しているものとみなし、前記頂点画素Ｐ１，Ｐ１０，Ｐ１３の色データの平均値（ｒ１＋ｒ１０＋ｒ１３）／３とする。なお、カラー画素Ｐ１，Ｐ１０及びモノクロ画素Ｐ１３の各頂点画素とモノクロ画素Ｐ６との実際の距離に応じて、補間対象であるモノクロ画素Ｐ６の位置における色データを導出するようにしてもよい。同様にして、菱形の辺上に存在しない他のモノクロ画素Ｐ８，Ｐ１８，Ｐ２０の位置におけるＲ（赤）の色データも算出することができる。

さらに、モノクロ画素の位置におけるＧ（緑）、Ｂ（青）の色データも同様の導出方法により算出することができる。なお、ライブビュー画像／動画像生成部２１及び静止画像生成部２４は、特許請求の範囲における画像生成部に相当する。

画像処理部２７は、ライブビュー画像／動画像生成部１９及び静止画像生成部２４により生成された各画像に対し、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランスの調整、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のデジタル信号のγ特性を補正するγ補正を行うものである。

表示制御部２８は、ライブビュー画像／動画像生成部１９から出力される画像をＬＣＤ４に表示させるべく、その画像の画素データをＶＲＡＭ１５に転送するものである。これにより、本露光動作が開始されるまでの期間、ＬＣＤ４に被写体の状態をライブビュー画像としてリアルタイムで表示することができる。

画像圧縮部２９は、画像処理部２７により上記各種の処理が施された記録画像の画素データに、２次元ＤＣＴ(Discrete Cosine Transform)変換、ハフマン符号化等のＪＰＥＧ（Joint Picture Experts Group）方式による所定の圧縮処理を施して圧縮画像データを生成し、この圧縮画像データに、撮影画像に関する情報（圧縮率等の情報）を付加した画像ファイルを画像記憶部に記録するものである。

画像記憶部１７には、画像データが時系列的に配列して記録され、各コマ毎に、ＪＰＥＧ方式により圧縮された圧縮画像が、撮影画像に関するインデックス情報（コマ番号、露出値、シャッタースピード、圧縮率、撮影日、撮影時のフラッシュのオンオフのデータ、シーン情報等の情報）とともに記録される。

次に、本実施形態の撮像装置１による一連の撮像処理を、図９に示すフローチャートを用いて説明する。

図９に示すように、撮像装置１の使用者が撮影モードに設定すると、制御部１８は、自己の初期設定、撮像用各種回路への電源供給等の各種設定処理を実行するとともに、撮像素子１０に露光動作を開始させる（ステップ♯１）。そして、制御部１８は、その露光動作により得られる画像信号に基づき、露出制御値（シャッタースピード、絞り値）及び信号処理部におけるゲインの設定やホワイトバランスの補正演算等を行い（ステップ♯２）、ライブビュー画像の生成処理を行う（ステップ♯３）。

そして、シャッターボタン９の半押し操作が図略のスイッチＳ１により検出されたか否かを判定し（ステップ♯４）、前記半押し操作が行われていない場合には（ステップ♯４でＮＯ）、ステップ♯２の処理に戻って、ステップ♯２，♯３の処理を実行する一方、前記半押し操作が行われると（ステップ♯４でＹＥＳ）、焦点調節動作を実行する（ステップ♯５）。

そして、シャッターボタン９の全押し操作が図略のスイッチＳ２により検出されたか否かを判定し（ステップ♯６）、前記全押し操作が行われていない場合には（ステップ♯６でＮＯ）、ステップ♯２の処理に戻って、ステップ♯２〜♯５の処理を実行する一方、前記全押し操作が行われると（ステップ♯６でＹＥＳ）、例えばステップ♯２で設定された露出制御値等の変更など記録用露光動作のための各種設定を行った後（ステップ♯７）、記録用画素信号の生成・格納処理を実行する（ステップ♯８）。

図１０は、図９に示すフローチャートのステップ♯３のサブルーチンを示すフローチャートである。

図１０に示すように、制御部１８は、シャッターボタン９の半押し操作が行われるまでの撮像準備期間においては、ステップ♯３１〜♯３５の処理を繰り返し実行する。まず、制御部１８は、撮像素子１０に露光動作を行わせ、該露光動作により得られる画素データを取得する（ステップ♯３１）。次に、制御部１８は、カラー画素の位置における輝度データを、その周囲に位置するモノクロ画素の輝度データを用いて補間した後（ステップ♯３２）、モノクロ画素及びカラー画素の位置における輝度データに対してホワイトバランスの調整を行う（ステップ♯３３）。この補間処理方法としては、例えば図５に示した補間処理方法が採用される。

次に、制御部１８は、モノクロ画素の位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色データを、その周囲に位置するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素の色データを用いて補間する（ステップ♯３４）。この補間処理方法としては、例えば図６に示した補間処理方法が採用される。そして、制御部１８は、各画素の位置における補間後の輝度データ及び色データに基づき、ライブビュー画像を生成する（ステップ♯３５）。

図１１は、図９に示すフローチャートのステップ♯８のサブルーチンを示すフローチャートである。

図１１に示すように、制御部１８は、シャッターボタン９の全押し操作が行われると、制御部１８は、撮像素子１０に露光動作を行わせ、該露光動作により得られる画素データを取得する（ステップ♯８１）。次に、制御部１８は、カラー画素の位置における輝度データを、その周囲に位置するモノクロ画素の輝度データを用いて補間した後（ステップ♯８２）、モノクロ画素及びカラー画素の位置における輝度データに対してホワイトバランスの調整を行う（ステップ♯８３）。この補間処理方法として、静止画撮影モードの場合には、例えば図７に示した補間処理方法が採用され、動画撮影モードの場合には、例えば図５に示した補間処理方法が採用される。

次に、制御部１８は、モノクロ画素の位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色データを、その周囲に位置するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素の色データを用いて補間する（ステップ♯８４）。この補間処理方法として、静止画撮影モードの場合には、例えば図８に示した補間処理方法が採用され、動画撮影モードの場合には、例えば図６に示した補間処理方法が採用される。そして、制御部１８は、各画素の位置における補間後の輝度データ及び色データに基づき、記録用の画像（静止画像又は動画像）を生成する（ステップ♯８５）。

そして、制御部１８は、前記記録用の画像に対して前述の圧縮処理等を施した後（ステップ♯８６）、画像記憶部１７に該圧縮画像を格納する（ステップ♯８７）。そして、設定されている撮影モードが静止画撮影モードの場合には（ステップ♯８８でＹＥＳ）、図９に示すフローチャートのステップ♯２の処理に戻る。

一方、制御部１８は、動画撮影モードの場合には（ステップ♯８８でＮＯ）、シャッターボタン９の全押しが図略のスイッチＳ２により再度検出されたか否かを判定し（ステップ♯８９）、再度の全押しが行われていない場合には（ステップ♯８９でＮＯ）、ステップ♯８１の処理に戻ってステップ♯８１〜♯８８の処理を繰り返し行う一方、再度の全押しが行われた場合には（ステップ♯８９でＹＥＳ）、図９に示すフローチャートのステップ♯２の処理に戻る。

以上のように、撮像素子１０を、分光特性の異なるＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが配設されたカラー画素と、該カラーフィルタが配設されていないモノクロ画素とを有し、モノクロ画素の画素数がカラー画素の画素数より多くなるように、Ｒ（赤），Ｇ（緑），Ｂ（青）の各カラー画素を、複数のモノクロ画素の中に分散的に複数配置した構成としたので、撮像素子１０の実効感度を向上することができる。

なお、モノクロ画素の数に比してカラー画素の数が少ないが、人間の眼は色（色相や彩度）に対する感度が低いことから、モノクロ画素の位置における色データを、その周囲に位置するカラー画素の色データを補間して画像を生成するようにしても、高画質として認識される撮影画像を生成することができる。

さらに、ライブビュー画像及び動画像の生成時においては、モノクロ画素とカラー画素との両方が存在する水平方向の画素列に属する画素を、そのライブビュー画像及び動画像生成するための画素として選定したので、カラーのライブビュー画像及び動画像を生成することができる。

なお、本件は、上記実施形態に限らず、次の変形形態［１］〜［８］も採用可能である。

［１］カラー画素の位置における輝度データの補間処理は、前記実施形態のものに限らず、次のような形態も採用可能である。図１２は、カラー画素の位置における輝度データの補間処理の変形形態を示す図である。

図４、図１２に示すように、隣接するＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素を含む縦４（個）×横４（個）の画素に対して、Ｐ１〜Ｐ１６までの番号を付したとき、Ｒ（赤）のカラー画素Ｐ６の位置における輝度データは、該カラー画素Ｐ６を中心とする縦３（個）×横３（個）の画素からなるブロックに属する全てのモノクロ画素の輝度データを用いて補間するようにしてもよい。

例えば図１２（ａ）に示すように、Ｒ（赤）のカラー画素Ｐ６の位置における輝度データを導出する場合、このカラー画素Ｐ６を中心とする縦３（個）×横３（個）の画素からなるブロックにおいて、モノクロ画素Ｐ１〜Ｐ３，Ｐ５，Ｐ９，Ｐ１０の輝度データを抽出する。そして、これらのモノクロ画素Ｐ１〜Ｐ３，Ｐ５，Ｐ９，Ｐ１０の輝度データの平均値（ｗ１＋ｗ２＋ｗ３＋ｗ５＋ｗ９＋ｗ１０）／６を算出し、この平均値をＲ（赤）のカラー画素Ｐ６の位置における輝度データとする。

また、同様にして、Ｇ（緑）のカラー画素の位置における輝度データを導出する場合、図１２（ｂ）に示すように、このカラー画素Ｐ７を中心とする縦３（個）×横３（個）の画素からなるブロックにおけるモノクロ画素Ｐ２〜Ｐ４，Ｐ８，Ｐ１０，Ｐ１２の輝度データの平均値（ｗ２＋ｗ３＋ｗ４＋ｗ８＋ｗ１０＋ｗ１２）／６を算出し、この平均値をＧ（緑）のカラー画素Ｐ６の位置における輝度データとする。

Ｂ（青）のカラー画素の位置における輝度データを導出する場合、図１２（ｃ）に示すように、このカラー画素Ｐ１１を中心とする縦３（個）×横３（個）の画素からなるブロックにおけるモノクロ画素Ｐ８，Ｐ１０，Ｐ１２，Ｐ１４〜Ｐ１６の輝度データの平均値（ｗ８＋ｗ１０＋ｗ１２＋ｗ１４＋ｗ１５＋ｗ１６）／６を算出し、この平均値をＢ（青）のカラー画素Ｐ１１の位置における輝度データとする。

このように、補間対象のカラー画素の位置における輝度データを、当該カラー画素に隣接する全てのモノクロ画素の輝度データの平均としてもよい。

［２］モノクロ画素だけでなくカラー画素からも輝度データを得ることができることから、モノクロ画素とカラー画素との両方の画素から得られる各輝度データを用いると、輝度の階調を拡大することができる。図１３は、モノクロ画素及びカラー画素についての受光光量Ｐに対する出力値（輝度値）Ｓの特性を示すグラフである。

図１３に示すように、モノクロ画素（図１３では「Ｗの画素」と表記）は、受光光量Ｐが０＜Ｐ＜Ｐ２の範囲では、出力値が略一定の割合で増加し、受光光量ＰがＰ２となると出力が飽和する特性を有する。

一方、カラー画素は、受光光量Ｐが０＜Ｐ＜Ｐ３（Ｐ３＞Ｐ２）の範囲では、受光光量Ｐが０＜Ｐ＜Ｐ２の範囲におけるモノクロ画素の出力値の増加率よりも小さい一定の増加率で出力値が増加し、Ｐ３＜Ｐ＜Ｐ４の範囲では、その増加率が０＜Ｐ＜Ｐ３における増加率より小さくなり、受光光量ＰがＰ４（＞Ｐ３）となると出力が飽和する特性を有する。

このように、モノクロ画素では出力値が飽和する受光光量であってもカラー画素では出力値が飽和しない範囲があり、図１３では、カラー画素についての適度な出力Ｓ（輝度値）が得られる受光光量Ｐの範囲（感度域）はＰ１＜Ｐ＜Ｐ２である一方、モノクロ画素の感度域は０＜Ｐ＜Ｐ１であり、カラー画素の感度域は、モノクロ画素の感度域に対してずれている（シフトしている）。

そこで、例えば受光光量Ｐ１に相当するカラー画素の出力値Ｓ１又はモノクロ画素の出力値Ｓ２を境界として、各画素の位置における、モノクロ画素の輝度データ又はモノクロ画素からの補間により求めた輝度データが０＜Ｓ＜Ｓ２の範囲、又は、カラー画素のみから求めた輝度データ又はこの輝度データを用いた補間処理により求めた輝度データが０＜Ｓ＜Ｓ１の範囲にある画素については、モノクロ画素から得られた輝度データのみを用いて画像を生成する。

また、各画素の位置における、モノクロ画素の輝度データ又はモノクロ画素からの補間により求めた輝度データがＳ＞Ｓ２の範囲、又は、カラー画素のみから求めた輝度データ又はこの輝度データを用いた補間処理により求めた輝度データがＳ＞Ｓ１の範囲にある比較的輝度が高い画素については、モノクロ画素とカラー画素との両方の画素から得られる輝度データを合成、本実施形態では加算して画像を生成する。

これにより、モノクロ画素から得られる輝度データのみで画像を生成する場合に比して、ダイナミックレンジが０＜Ｐ＜Ｐ２の範囲から０＜Ｐ＜Ｐ３の範囲に拡大し、図１３の矢印Ａで示す範囲に相当する、受光光量ＰがＰ１＜Ｐ＜Ｐ３の範囲の分だけ輝度の高い被写体像（に相当）についても階調を表現することができる。その結果、輝度の階調を拡大することができる。また、前述のような簡単な合成処理で輝度の階調拡大を行うことができる。

なお、カラー画素から得られる画素信号を用いて輝度データを生成する方法としては、例えば次のような方法が採用される。

例えば図４に示すカラー画素及びモノクロ画素の配列形態において、図１４（ａ）に示すように、菱形状に並ぶ４つのＧ（緑）のカラー画素と、これらのカラー画素に隣接するＲ（赤），Ｂ（青）のカラー画素とに注目し、各Ｇ（緑）のカラー画素の位置に、該Ｇ（緑）のカラー画素に隣接するＲ（赤），Ｂ（青）のカラー画素が存在するものとみなし、このＲ（赤），Ｂ（青）の各カラー画素から得られる画素信号と、当該Ｇ（緑）のカラー画素から得られる画素信号とを用いて輝度データを導出する。

このようにして、各Ｇ（緑）のカラー画素の位置における輝度データが算出されると、図１４（ｂ）に示すように、これらの輝度データに基づき、前記菱形の中央に位置するモノクロ画素Ｐ１３の位置における輝度データを導出し、前記菱形内における他のモノクロ画素Ｐ２〜Ｐ９，Ｐ１１，Ｐ１２，Ｐ１４，Ｐ１５，Ｐ１７〜Ｐ２４の位置における輝度データを、前記５つの画素Ｐ１，Ｐ１０，Ｐ１３，Ｐ１６，Ｐ２５の位置における輝度データを用いた補間処理により導出する。なお、この輝度データの補間処理方法については、例えば図１１に示す方法と同様であるから、その説明は省略する。

なお、モノクロ画素とカラー画素とから得られる輝度データを合成するか否かを判定する前記境界の輝度値は、前記輝度値Ｓ１，Ｓ２に限らずモノクロ画素が飽和しない範囲で適宜設定可能である。

［３］カラー画素の配列形態は、前記実施形態のもの（図４参照）に限られず、次に説明する図１５〜図２９に示すようなカラー画素の配列形態も採用可能である。すなわち、カラー画素をカラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群を１組とするとき、各カラー画素又は前記各組の画素群が、モノクロ画素を介して分散的に配置されていればよい。

図１５、図１６に示すカラー画素の配列形態は、カラー画素がモノクロ画素を介して分散的に配置された例を示すものであり、カラー画素が縦横それぞれ所定個（図１５では３個、図１６では１個）のモノクロ画素を介して配列されているとともに、カラー画素のみに着目したときにそれらのカラー画素がベイヤー配列された形態である。

図１７に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラー画素をカラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群の各組が、モノクロ画素を介して分散的に配置された例を示すものであり、４つのカラー画素からなるカラー画素群が、縦横それぞれ所定個（図１７では４個）のモノクロ画素を介して配列されているとともに、各カラー画素群において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が１：２：１の比率でベイヤー配列された形態である。

この場合、カラー画素のみがベイヤー配列された従来の撮像素子（モノクロ画素を有しない撮像素子）の画素信号を処理する処理系を採用することが可能となる。

図１８に示すカラー画素の配列形態は、左上の画素から順に水平方向及び垂直方向に番号を付したとき、水平方向及び垂直方向の位置（座標）が（４ｍ＋１，４ｎ＋１）（ｍ，ｎは整数）で表される位置、又は、水平方向及び垂直方向の位置が（４ｍ＋３，４ｎ＋３）（ｍ，ｎは整数）で表される位置にカラー画素が配設されているとともに、水平方向には同色のカラー画素が並び、垂直方向にはＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が順番に繰り返し並ぶように配設された形態である。

図１９に示すカラー画素の配列形態は、カラー画素が縦横それぞれ所定個（図１９では２個）のモノクロ画素を介して配列されているとともに、カラー画素が配設されている水平方向及び垂直方向の画素列に着目したとき、いずれの方向にも、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が順番に繰り返し並ぶように配列された形態である。

この場合、水平方向に延びる１の画素列中に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が配設されているため、ライブビュー画像を生成するときには、このカラー画素が配設されている画素列のみを選定し、この画素列に属する画素から画素データを取り出してライブビュー画像を生成するようにすればよい。

図２０に示すカラー画素の配列形態は、左上の画素から順に水平方向及び垂直方向に番号を付したとき、水平方向及び垂直方向の位置が（４ｍ＋１，４ｎ＋１）（ｍ，ｎは整数）で表される位置又は、水平方向及び垂直方向の位置が（４ｍ＋３，４ｎ＋３）（ｍ，ｎは整数）で表される位置にカラー画素が配設されているとともに、垂直方向には同色のカラー画素が並び、水平方向にはＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が順番に繰り返し並ぶように配設された形態である。

図２１に示すカラー画素の配列形態は、カラー画素のみに着目したときベイヤー配列となるようにＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が角部に配設された縦ｎ（個）×横ｎ（個）の画素群（図２１ではｎは３）が、水平方向に所定の画素列（図２１では５列）を介して複数配設されているとともに、このように配設されてなる画素列が、垂直方向に所定数の画素列（図２１では３列）を介して複数配設され、且つ、上下に位置する前記縦ｎ（個）×横ｎ（個）の画素群に対して水平方向に所定の画素数（図２１では１個）だけずれた位置関係にある形態である。

図２２に示すカラー画素の配列形態は、同色のカラー画素が水平方向に所定個のモノクロ画素（図２２では２個）を介して配列されてなる画素列が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラー画素について設けられているとともに、このカラー画素を有する画素列が、垂直方向にｎ列おきに（図２２では1列おきに）配設され、且つ、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラー画素が水平方向に互いに異なる位置に位置するように配列された形態である。

図２３に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が１つずつ水平方向に並んでなる画素群が所定個（図２３では３個）のモノクロ画素を介して水平方向に配設してカラー画素列を構成し、このカラー画素列を垂直方向に所定数の画素列（図２３では２列）を介して配設され、且つ、カラー画素列のみに着目したとき、垂直方向に隣接する２つのカラー画素列において、前記画素群が水平方向に交互に配列された形態である。

この場合、１つの画素群におけるＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が隣接して（固まって）配置されているため、１つの画素群におけるＲ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が離間して配置されている場合に比して、輝度データや色データをより正確に補間することができ、偽色の発生が少なくなる。

すなわち、例えば同色のカラーフィルタが配設されたカラー画素（以下、第１、第２カラー画素という）が互いに離間して配列されている場合に、それらのカラー画素の画素信号を用いて、該カラー画素間に位置する異なる色のカラーフィルタが配設されたカラー画素の位置における画素信号（色信号）を補間するとき、色の境界がこの補間対象の画素に対して第１カラー画素側に存在する場合と第２カラー画素側に存在する場合とで、前記補間で導出される色信号が大きく異なる場合があり、その結果、補間対象のモノクロ画素の位置における色を正確に再現できないことがある。

これに対し、本発明では、異なるカラーフィルタが配設されたカラー画素を隣接して配列するため、カラー画素の位置における当該カラー画素と異なる色の色信号を、当該カラー画素と隣接するカラー画素で補間することができるため、このような不具合を回避又は抑制することができる。

図２４に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が、水平方向及び垂直方向のそれぞれの方向に所定数のモノクロ画素（図２４では水平方向には３個、垂直方向には１個）を介して順番に繰り返し配設されている形態である。

図２５に示すカラー画素の配列形態は、図２１に示すカラー画素の配列形態を説明する際に定義した縦ｎ（個）×横ｎ（個）の画素群において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素を角部に配設する代わりに、この画素群で構成される４角形の各辺の中心に位置する画素（菱形を形成するように並ぶ画素）をカラー画素とした形態である。なお、図２５では、各画素群において、前記菱形の左右に並ぶ２の頂点位置に位置する画素をＧ（緑）のカラー画素とし、その上側及び下側に位置する頂点位置に位置する画素をＲ（赤）及びＢ（青）のカラー画素としている。

図２６に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が１つずつ垂直方向に並んでなる画素群が所定個（図２３では３個）のモノクロ画素を介して垂直方向に配設してカラー画素列を構成し、このカラー画素列を水平方向に所定数の画素列（図２３では１列）を介して配設され、且つ、カラー画素列のみに着目したとき、水平方向に隣接する２つのカラー画素列において、前記画素群が垂直方向に交互に配列された形態である。

図２７に示すカラー画素の配列形態は、Ｇ（緑）のカラー画素と、該カラー画素に対して上側で隣接するＲ（赤）のカラー画素と、前記Ｇ（緑）のカラー画素に対して１個のモノクロ画素を介して右側に位置するＢ（青）のカラー画素とを有してなる第１画素群Ｘ１と、Ｇ（緑）のカラー画素と、該カラー画素に対して下側で隣接するＲ（赤）のカラー画素と、前記Ｇ（緑）のカラー画素に対して１個のモノクロ画素を介して右側に位置するＢ（青）のカラー画素とを有してなる第２画素群Ｘ２とが、垂直方向に並ぶ２列の画素列中において、水平方向に所定数のモノクロ画素列を介して（図２７では３列）交互に配列されているとともに、この第１、第２画素群Ｘ１，Ｘ２を有する２列の画素列が、垂直方向に複数設けられており、且つ、前記２列の画素列を１組の画素群として上下２組の画素群に着目したとき、下側に位置する画素群は、上側に位置する画素群に対して各画素の位置が所定数の画素列（図２７では２列）だけ水平方向に（図２７では左側に）ずれた関係にある形態である。

図２８に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が１つずつ水平方向に並んでなる画素群が所定個（図２８では１個）のモノクロ画素を介して水平方向に配設された画素列が設けられており、この画素列が垂直方向に所定数の画素列（図２８では１列）を介して配設され、且つ、このカラー画素が配設された画素列のうち隣り合う２つの画素列に着目したとき、各画素群の端部に位置する画素が、隣接する画素列における画素群の反対側の端部に位置する画素と、水平方向に同じ位置に位置するように配設された形態である。

図２９に示すカラー画素の配列形態は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラー画素が１つずつ垂直方向に並んでなる画素群が所定個（図２９では１個）のモノクロ画素を介して垂直方向に配設された画素列が設けられており、この画素列が水平方向に所定数の画素列（図２９では１列）を介して配設され、且つ、このカラー画素が配設された画素列のうち隣り合う２つの画素列に着目したとき、各画素群の端部に位置する画素が、隣接する画素列における画素群の反対側の端部に位置する画素と、垂直方向に同じ位置に位置するように配設された形態である。

［４］モノクロ画素の位置における色データの補間処理は、前述のものに限らず、例えば次のようなものも採用可能である。

図３０に示すように、図８と同様に、菱形状に並ぶ４つのＲ（赤）のカラー画素に注目し、このカラー画素により形成される菱形の辺上又は菱形内に位置するモノクロ画素を抽出する。これらのカラー画素及びモノクロ画素に対して、Ｐ１〜Ｐ２５までの番号を付したとき、まず、前記菱形の中心に位置するモノクロ画素Ｐ１３のＲ（赤）の色データを、菱形の頂点に位置する各カラー画素Ｐ１，Ｐ１０，Ｐ１６，Ｐ２５のＲ（赤）の色データを用いた補間処理により導出する。

その際、本実施形態では、モノクロ画素Ｐ１３の位置におけるＲ（赤）の色データは、当該モノクロ画素Ｐ１３を挟んで対向する、前記菱形の頂点に位置する１対のＲ（赤）のカラー画素の組合せ（Ｐ１，Ｐ２５）と（Ｐ１０，Ｐ１６）を導出する。

次に、各組合せ（Ｐ１，Ｐ２５）と（Ｐ１０，Ｐ１６）において、２つのカラー画素の色データの差を算出し、この色データと閾値βとの大小を判定する。その結果、一方の色データの差が前記閾値βより大きく、他方の色データの差が前記閾値βより小さい場合には、色データの差が小さい方の組合せにおける２つのカラー画素の色データの平均値を算出し、この平均値を当該モノクロ画素Ｐ１３の位置における色データとする。

これは、図３０（ａ），（ｂ）に示すように、閾値βより大きい方の組合せに属する２つのカラー画素間のいずれかの位置を色の境界線が通る可能性が高く、一方、閾値βより小さい方の組合せに属する２つのカラー画素間を色の境界線が通る可能性は低いと考えられるからである。

また、色データの差が両方とも前記閾値βより小さい場合にも、色データの差が小さい方の組合せに属する２つのカラー画素の色データの平均値を算出し、この平均値を当該モノクロ画素Ｐ１３の位置における色データとし、また、色データの差が両方とも前記閾値βより大きい場合には、全てのカラー画素Ｐ１，Ｐ１０，Ｐ１６，Ｐ２５の色データの平均値を算出し、この平均値を当該モノクロ画素Ｐ１３の位置における色データとする。

その他のモノクロ画素Ｐ２〜Ｐ９，Ｐ１１，Ｐ１２，Ｐ１４，Ｐ１５，Ｐ１７〜Ｐ２４の位置における色データは、図８で説明した補間方法と同様であるから、その説明は省略する。また、同様にして、モノクロ画素の位置におけるＧ（緑）、Ｂ（青）の色データも算出することができる。

なお、色の境界は、輝度（濃度）の変化に基いて予測することもできる。例えば前述の例では、各組合せ（Ｐ１，Ｐ２５）と（Ｐ１０，Ｐ１６）において、２つのカラー画素の位置における輝度データの差を算出したとき、この輝度データの差が大きい方の組合せに属する２つのカラー画素間のいずれかの位置を色の境界線が通る可能性が高く、一方、輝度データの差が小さい方の組合せに属する２つのカラー画素間を色の境界線が通る可能性は低いと考えることができる。

［５］モノクロ画素から得られる輝度データのみを用いて露光制御を行うようにすると、カラー画素から得られる輝度データに基づいて露光制御を行うようにする場合に比して、露光制御を正確に行う（シャッタースピード及び絞り値等の設定を正確に行う）ことができる。

すなわち、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラー画素のみで構成された従来の撮像素子では、これらのカラー画素により得られる画素データから輝度データを生成し、この輝度データに基づいて露光制御を行うが、この輝度データの生成処理により、実際の被写体の輝度と誤差が生じる虞がある。

また、本件のように、記録用画像を得るための画素の大半がモノクロ画素である場合においては、感度が大きく異なるモノクロ画素とカラー画素とからそれぞれ得られる各輝度データ間には大きな輝度差があるため、これらを混合して露光制御に利用することも前記誤差が生じる原因となる。

これに対し、本実施形態では、モノクロ画素のみから得られる輝度データを用いるため、前述のような輝度データの生成処理が不要となり、その生成処理により発生し得る前述の誤差が生じない。これにより、露光制御を正確に行うことができる。また、モノクロ画素を有することにより撮像素子１０の実効感度が高いため、暗い画像でも露光制御を正確に行うことができる。なお、この露光制御は、制御部１８内の露光条件決定部（特許請求の範囲における露光条件決定部に相当）により行われる。

［６］前述の撮像素子に代えて、複数の画素の中から任意の画素を指定して、この指定した画素に画素信号を出力させるタイプの撮像素子を用いると、例えば始めにモノクロ画素から画素信号を読み出した後、カラー画素から画素信号を読み出すというように、モノクロ画素からの画素信号を読み出しと、カラー画素からの画素信号を読み出しとを分離して行うことができ、モノクロ画素からの画素信号とカラー画素からの画素信号とが混在している場合に比して、画素信号の処理が簡単となり、処理時間の短縮化を図ることができるとともに、その信号処理系の構成を簡素化することができる。

［７］信号処理部１２、Ａ／Ｄ変換部１３及び画像メモリ１４を１組備える形態を本発明の第１の実施形態として説明したが、これに限らず、信号処理部１２、Ａ／Ｄ変換部１３及び画像メモリ１４を２組備えるようにしてもよい。

このようにすれば、例えば、カラー画素から得られる画素信号の処理と、モノクロ画素から得られる画素信号の処理とを並行して行うことができ、また、別の信号処理部１２において、モノクロ画素から得られる画素信号とカラー画素から得られる画素信号とで異なる増幅率での増幅処理を行うことで、Ｓ／Ｎ比の向上を図ることができる。

さらに、モノクロ画素からの画素信号とカラー画素からの画素信号とを分離して該画素信号の処理を行うことができるから、それらの画素信号が混在している場合に比して、画素信号の処理が簡単となり、処理時間の短縮化を図ることができるとともに、その信号処理系の構成を簡素化することができ、例えばカラー画素から得られる画素信号のみによるホワイトバランスの調整を簡単に行うことができる。

［８］前記実施形態では、カラー画素に配設されるカラーフィルタの色をＲ（赤）、Ｇ（緑）、Ｂ（青）としたが、これに限らず、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｇ（グリーン）としてもよい。この場合、例えば、カラー画素の配列は、図１５〜図１７、図２１、図２５のように、１個のＲ（赤）のカラー画素、２個のＧ（緑）のカラー画素、１個のＢ（青）のカラー画素からなる画素群に対し、これらカラー画素に代わりにＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｇ（グリーン）の各カラーフィルタが配設されたカラー画素を配置するとよい。

本発明に係る撮像装置の一実施形態の正面図である。 同じく撮像装置の背面図である。 同じく撮像装置の電気的な構成を示すブロック構成図である。 カラー画素及びモノクロ画素の配列形態の一例を示す図である。 ライブビュー画像及び動画像生成時において、カラー画素の位置における輝度データの補間方法の一例を説明するための図である。 ライブビュー画像及び動画像生成時において、モノクロ画素の位置における色データの補間方法の一例を説明するための図である。 静止画像生成時において、カラー画素の位置における輝度データの補間方法の一例を説明するための図である。 静止画像生成時において、モノクロ画素の位置における色データの補間方法の一例を説明するための図である。 撮像装置による一連の撮像処理を示すフローチャートである。 図９に示すフローチャートのステップ♯３のサブルーチンを示すフローチャートである。 図９に示すフローチャートのステップ♯８のサブルーチンを示すフローチャートである。 カラー画素の位置における輝度データの補間処理の変形形態を示す図である。 モノクロ画素及びカラー画素についての受光光量Ｐに対する出力値（輝度値）の特性を示すグラフである。 カラー画素から得られる画素信号を用いて輝度データを生成する方法を説明するための図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。 カラー画素の他の配列形態を示す図である。

符号の説明

１０ 撮像素子
１９ ライブビュー画像／動画像生成部
２４ 静止画像生成部

Claims (9)

1. 複数の画素がマトリックス状に配列されてなり、少なくとも３種類のカラーフィルタが配設された画素を有する撮像素子において、
   前記カラーフィルタが配設されたカラー画素と前記カラーフィルタが配設されていないモノクロ画素とを有し、前記モノクロ画素の総和が前記カラー画素の総和に比して多く備えられており、
   前記カラー画素を前記カラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群を１組とするとき、前記各カラー画素又は前記各組の画素群が、前記モノクロ画素を介して分散的に配置されていることを特徴とする撮像素子。
2. 前記各画素群において、異なるカラーフィルタが配設されたカラー画素が隣接して配列されていることを特徴とする請求項１に記載の撮像素子。
3. 被写体の光像を結像する撮影光学系と、
   前記撮影光学系の結像面上に撮像面が配置された請求項１又は２に記載の撮像素子と、
   前記撮像素子に露光動作の開始及び終了の指示を入力するための入力操作部と、
   前記撮像素子の露光動作により得られた画素信号から画像を生成する画像生成部と、
   前記画像生成部により生成された画像を表示する画像表示部とを備えることを特徴とする撮像装置。
4. 前記画像生成部は、前記モノクロ画素から得られる画素信号に基づき、該モノクロ画素の位置における第１輝度データを生成するとともに、前記カラー画素の位置における第２輝度データを、前記第１輝度データを用いた補間処理により生成し、且つ、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第１色データを生成するとともに、前記モノクロ画素の位置における第２色データを、前記第１色データを用いた補間処理により生成することを特徴とする請求項３に記載の撮像装置。
5. 前記画像生成部は、更に、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第３輝度データを生成するとともに、前記モノクロ画素の位置における第４輝度データを、前記第３輝度データを用いた補間処理により生成し、
   輝度が所定の閾値を超えるモノクロ画素の画像を、前記第１輝度データ及び前記第４輝度データを合成して生成することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子に所定の周期で複数回露光動作を実行させるモードを有し、前記画像生成部は、前記モードにおいては、一方向に複数の画素が並んでなる複数の画素列のうち、前記カラー画素及びモノクロ画素の両方が存在する画素列を選定し、この画素列に属する各画素の位置における輝度データ及び色データを用いて画像を生成することを特徴とする請求項３ないし５のいずれかに記載の撮像装置。
7. 前記撮像素子の露光条件を決定する露光条件決定部を有し、前記露光条件決定部は、前記モノクロ画素の位置における輝度データのみを用いて前記露光条件を決定することを特徴とする請求項３ないし６のいずれかに記載の撮像装置。
8. 複数の画素がマトリックス状に配列されてなり、少なくとも３種類のカラーフィルタが配設された画素を有する撮像素子のうち、前記カラーフィルタが配設されたカラー画素と前記カラーフィルタが配設されていないモノクロ画素とを有するとともに、前記モノクロ画素の総和が前記カラー画素の総和に比して多く備えられており、前記カラー画素を前記カラーフィルタの種類毎に予め定められた数だけそれぞれ有してなる画素群を１組とするとき、前記各カラー画素又は前記各組の画素群が、前記モノクロ画素を介して分散的に配置されている撮像素子から得られる画素信号を用いて画像を生成する画像処理方法であって、
   前記画像生成部が、前記モノクロ画素から得られる画素信号に基づき、該モノクロ画素の位置における第１輝度データを生成するステップと、前記カラー画素の位置における第２輝度データを、前記第１輝度データを用いた補間処理により生成するステップと、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第１色データを生成するステップと、前記モノクロ画素の位置における第２色データを、前記第１色データを用いた補間処理により生成するステップとを有することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、更に、前記画像生成部が、前記カラー画素から得られる画素信号に基づき、該カラー画素の位置における第３輝度データを生成するステップと、前記モノクロ画素の位置における第４輝度データを、前記第３輝度データを用いた補間処理により生成するステップと、輝度が所定の閾値を超えるモノクロ画素の画像を、前記第１輝度データ及び前記第４輝度データを合成して生成するステップとを有することを特徴とする画像処理方法。

Images