JP4887314B2 - 撮像装置及び画像信号処理方法 - Google Patents

Description

本発明は固体撮像素子を搭載した撮像装置及び画像信号処理方法に係り、特に、広ダイナミックレンジの被写体画像を撮像することができ、また、連続する２枚（例えば、フラッシュ画像とノンフラッシュ画像）を１回の撮像動作で撮像することも可能な撮像装置及び画像信号処理方法に関する。

近年のＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ等の固体撮像素子は、多画素化が進展して１チップ上に数百万画素以上を搭載するのが普通になってきている。このため、１画素１画素が微細化され、個々の画素が蓄積できる信号電荷量が微小となり、白飛びした画像や黒潰れした画像が撮影され易くなると共に、被写体画像のダイナミックレンジも狭くなってきている。

そこで、下記の特許文献１記載のデジタルカメラでは、画素を長時間露光するグループと短時間露光するグループとに分け、長時間露光で得られた被写体画像データと短時間露光で得られた被写体画像データとを合成することで、ダイナミックレンジの拡大を図っている。

また、下記の特許文献２記載のデジタルカメラでは、１回のレリーズ動作で、フラッシュ撮影とノンフラッシュ撮影の２回の撮像動作を連続して行い、失敗写真が撮影される確率を小さくしている。

特開２００１―２７５０４４号公報 特開２００７―２５６９０７号公報

上述した特許文献１記載の従来技術では、フラッシュを焚いて被写体画像を撮像するとき、長時間露光と短時間露光のどのタイミングでフラッシュを焚けば良いかについて考慮していない。

また、上述した特許文献２記載の従来技術では、両方の撮影間に時間差が存在するため、この間に主要被写体が動いてしまったり表情に変化が生じると、明るさは良いが表情が悪かったり、表情は良いが暗すぎるという失敗写真になるケースがあるという問題がある。

本発明の目的は、連続した２枚の写真（例えば、フラッシュ撮影画像とノンフラッシュ撮影画像）との間の時間差を無くすことができ、また、フラッシュを焚いて撮影したときの被写体画像のダイナミックレンジの拡大を図ることができる撮像装置及び画像信号処理方法を提供することにある。

本発明の撮像装置及び画像信号処理方法は、半導体基板の表面に二次元アレイ状に配列形成された複数の画素を有する固体撮像素子と、前記複数の画素のうち周期的位置にある画素群を第１画素群として第１露光期間に亘って露光させると共に残りの周期的位置にある画素群を第２画素群として前記第１露光期間中の部分的な第２露光期間に亘って露光させ前記第１画素群と前記第２画素群の夫々が撮像した画像データを別々に前記固体撮像素子から読み出す撮像素子駆動手段と、前記固体撮像素子から読み出された前記画像データを画像処理する信号処理手段とを備える撮像装置において、
前記第１画素群の前記画像データと前記第２画素群の前記画像データとを別々に画像処理して２枚の被写体画像データを生成する第１モードと、前記第１画素群の前記画像データに前記第２画素群の前記画像データを合成して１枚の被写体画像データを生成する第２モードのいずれかのモードで画像処理を行うとき、
前記第１モードで画像処理するときは前記第２露光期間が重ならない前記第１露光期間にフラッシュ発光させ、前記第２モードで画像処理するときは前記第１露光期間と前記第２露光期間とが重なる期間にフラッシュ発光させることを特徴とする。

本発明の撮像装置及び画像信号処理方法は、フラッシュ発光が行われた場合には、前記信号処理手段は、前記第２画素群の前記画像データに前記第１露光期間と前記第２露光期間の時間比率以上のゲイン補正を施すことを特徴とする。

本発明の撮像装置及び画像信号処理方法は、前記第１モードで前記２枚の被写体画像データが得られるとき該２枚の被写体画像データの差分画像を求めることを特徴とする。

本発明の撮像装置及び画像信号処理方法は、前記差分画像に基づいて該２枚の被写体画像データから１枚の被写体画像データを合成することを特徴とする。

本発明の撮像装置及び画像信号処理方法は、前記差分画像から画像の部分部分の被写体までの距離を求め、該距離に応じた混合比で前記２枚の被写体画像データを合成することを特徴とする。

本発明の撮像装置は、前記第１モードと前記第２モードとを選択するモード選択スイッチが設けられたことを特徴とする。

本発明の撮像装置は、前記第１露光期間と前記第２露光期間とを同時に終了させるメカニカルシャッタを備えることを特徴とする。

本発明によれば、失敗写真を撮る確率を小さくでき、また、フラッシュを発光させたときでも広ダイナミックレンジの画像を合成することが可能になる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の第１実施形態に係るデジタルカメラの機能ブロック構成図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ発光部２５とを備える。

撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、該光学レンズ系２１ａを通った光を絞る絞りやメカニカルシャッタ２１ｂと、光学レンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力するＣＣＤ型固体撮像素子１００とを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３（後述する２段シャッタレリーズボタン，モード選択スイッチを含む。）が接続されている。

図２は、図１に示す固体撮像素子１００の平面模式図である。図示する固体撮像素子１００は、半導体基板上に多数のフォトダイオード（光電変換素子）１０１が二次元アレイ状に配列形成され、奇数行のフォトダイオード１０１に対して偶数行のフォトダイオード１０１が１／２ピッチづつずらして配置（所謂、ハニカム画素配列）されている。

各フォトダイオード１０１上に図示した「Ｒ」「Ｇ」「Ｂ」は各フォトダイオード上に積層されたカラーフィルタの色（赤＝Ｒ，緑＝Ｇ，青＝Ｂ）を表しており、各フォトダイオード１０１は、３原色のうちの１色の受光量に応じた信号電荷を蓄積する。

半導体基板表面の水平方向には、各フォトダイオード１０１を避けるように蛇行して垂直転送電極が敷設されている。半導体基板には垂直方向に並ぶフォトダイオード列の側部に図示しない埋め込みチャネルが、フォトダイオード１０１を避けるように垂直方向に蛇行して形成されている。この埋め込みチャネルと、この上に設けられ垂直方向に蛇行して配置される垂直転送電極とで、垂直転送路（ＶＣＣＤ）１０２が形成される。

半導体基板の下辺部には、水平転送路（ＨＣＣＤ）１０３が設けられている。この水平転送路１０３も、埋め込みチャネルとその上に設けられた水平転送電極とで構成され、この水平転送路１０３は、駆動部２４から出力される転送パルスによって２相駆動される。水平転送路１０３の出力端部には、信号電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ１０４が設けられている。

また、「垂直」「水平」という用語を使用して説明しているが、これは、半導体基板表面に沿う「１方向」「この１方向に対して略直角の方向」という意味に過ぎない。

図示する例の固体撮像素子１００では、フォトダイオード（画素）１０１が所謂ハニカム画素配列されているが、これは、正方格子配列された第１グループの画素群〔Ｉ〕と、正方格子配列された第２グループの画素群〔II〕とが、重ね合わせて且つ水平方向，垂直方向共に１／２ピッチずらして配列された状態となっている。そして、第１グループの画素群にはＲＧＢのカラーフィルタがベイヤー配列され、第２グループの画素群にもＲＧＢのカラーフィルタがベイヤー配列されている。

従って、本実施形態の固体撮像素子１００では、第１グループの画素群から読み出されたカラー信号配列と、第２グループの画素群から読み出されたカラー信号配列とは１／２ピッチの位置ズレだけの同じ信号配列となる。

図３は、図２に示す固体撮像素子の駆動タイミングチャートである。本実施形態の固体撮像素子１００は、図１に示すＣＰＵ２９からの指示により、第１グループの画素群と、第２グループの画素群の各撮像画像信号が区別して読み出される。

即ち、メカニカルシャッタが「開」の状態で固体撮像素子１００の半導体基板へパルス（ＳＵＢパルス）が印加されて続けている状態では、各画素１０１に蓄積された電荷は半導体基板側に廃棄され、各画素への電荷蓄積は無い。

ＳＵＢパルスがタイミングｔ１でオフになると、各画素１０１への露光（以下のこのタイミングｔ１で開始される露光期間を「長時間露光期間」（第１露光期間）という。）が開始され、信号電荷の蓄積が開始される。

所定のタイミングｔ２で、図１に示す読出電極兼用の転送電極Ｖ２，Ｖ６に読出パルスａが印加されると、第１グループ〔Ｉ〕の画素群の蓄積電荷が、垂直電荷転送路１０２に読み出されると共に、第１グループ〔Ｉ〕の画素群には新たに信号電荷の蓄積が開始される。つまり、このタイミングｔ２が、第１グループの画素群〔Ｉ〕の露光（以下、このタイミングｔ２で開始される露光期間を「短時間露光期間」（第２露光期間）という。）の開始となる。

次のタイミングｔ３で、メカニカルシャッタが「閉」になると、長時間露光，短時間露光が共に同時にオフとなり、第１グループの画素群〔Ｉ〕が露光終了となり、第２グループの画素群〔II〕の露光終了となる。露光終了時にメカニカルシャッタを併用して遮光するため、スミアの影響を回避可能となる。

メカニカルシャッタ「閉」後のタイミングｔ４で高速掃出パルスｂによる垂直電荷転送路１０２が駆動されると、タイミングｔ２の読出パルスａで読出された信号電荷も含めて垂直電荷転送路１０２上の不要電荷が掃き出される。

次のタイミングｔ５では、読出電極兼用の転送電極Ｖ４，Ｖ８に読出パルスｃが印加される。これにより、第２グループの画素群〔II〕の信号電荷が垂直電荷転送路１０２に読み出され、これが転送パルスｄによって固体撮像素子１００から読み出される。

固体撮像素子１００から読み出された信号（撮像画像データ）は、図１のアナログ信号処理部２２，Ａ／Ｄ変換部２３を通ってデジタル信号処理部２６に取り込まれ、画像処理が施される。

第２グループの画素群〔II〕の撮像画像データが読み出された後のタイミングｔ６で、再び垂直電荷転送路１０２が高速掃出パルスｅで駆動され、タイミングｔ７で、読出電極兼用の転送電極Ｖ２，Ｖ６に読出パルスｆが印加されると、第１グループ〔Ｉ〕の画素群から信号電荷が垂直電荷転送路１０２に読み出され、転送パルスｇによって固体撮像素子１００から出力され、上記と同様に画像処理される。

この様に、本実施形態に係る固体撮像素子１００では、第１グループの画素群（以下、短時間露光画素群という。）と第２グループの画素群（以下、長時間露光画素群という。）の各撮像画像データを別々に読み出す。

本実施形態のデジタルカメラでは、以下に述べる様に、長時間露光画素群から読み出した長時間露光データから１枚の撮像画像データを生成すると共に短時間露光画素群から読み出した短時間露光データから１枚の撮像画像データを生成するモード（高感度２枚撮りモード）と、両者を合成して１枚の撮像画像データにするモード（広ダイナミックレンジ撮影モード）とが設けられており、ユーザが操作部３３から選択できるようにしている。

図４は、図１に示すＣＰＵ２９が配下の駆動部２４やデジタル信号処理部２６等を用いて実行する撮像処理手順を示すフローチャートである。先ず、操作部３３の１つである２段シャッタレリーズボタンのＳ１スイッチ（半押し）がオンとなっているか否かを判定し（ステップＳ１）、Ｓ１スイッチがオンのときは次のステップＳ２の自動露出制御（ＡＥ），ステップＳ３の自動焦点制御（ＡＦ）とを実行し、次に、２段シャッタボタンのＳ２スイッチ（全押し）がオンとなるか否かを判定する。ステップＳ１，ステップＳ２の判定結果が否定の場合にはステップＳ１に戻る。

ステップＳ４の判定結果が「全押し」になった場合には、次にステップＳ５に進み、ユーザが操作部３３から指示入力した撮影モードが「高感度２枚撮りモード」であるか「広ダイナミックレンジ撮影モード」であるかを判定する。

高感度２枚撮りモードである場合には、ステップＳ５からステップＳ６に進み、フラッシュを発光するか否かの判定を行う。フラッシュを発光する場合には次のステップＳ７に進み、図５に示す長時間露光側での同期発光ｘ１を行う。

即ち、タイミングｔ１に同期してフラッシュを焚く。このフラッシュ発光期間は、図示の例では、短時間露光の開始タイミングｔ２まで及ばないため、短時間露光画素群の蓄積電荷にはフラッシュ発光分は含まれないことになる。

このフラッシュ発光が行われた後は、次のステップＳ８に進み、後述する高感度２枚撮りモードの処理を行い、画像処理後の撮像画像データの記録処理を行って（ステップＳ９）、この図４の処理を終了する。ステップＳ６の判定の結果、フラッシュを焚かないと判定した場合にはステップＳ６からステップ８に進む。

ステップＳ５の判定の結果、広ダイナミックレンジ撮影モードの場合には、ステップＳ５からステップＳ１０に進み、フラッシュ発光を行うか否かを判定する。フラッシュ発光を行う場合には、ステップＳ１１に進み、図６に示す短時間露光側での同期発光ｘ２を行う。

即ち、タイミングｔ２に同期してフラッシュを焚く。このフラッシュ発光は、長時間露光期間と短時間露光期間とが重なるため、長時間露光画素群と短時間露光画素群の両方にフラッシュ発光分の信号電荷の蓄積が行われることになる。

このフラッシュ発光が行われた後は、次のステップＳ１２に進み、後述する広ダイナミックレンジ撮影モードの処理を行い、画像処理後の撮像画像データの記録処理を行って（ステップＳ９）、この図４の処理を終了する。ステップＳ１０の判定の結果、フラッシュを焚かないと判定した場合にはステップＳ１０からステップ１２に進む。

図７は、高感度２枚撮り撮影モードの処理を示す機能図である。ＣＰＵ２９は、配下のデジタル信号処理部２６による露光量演算結果を用い、タイミングジェネレータ２４を介して固体撮像素子１００を、図３に示すタイミングチャートに従って駆動すると共に、フラッシュ発光部２５の発光制御を行う。

固体撮像素子１００からは、長時間露光による撮像画像データと短時間露光による撮像画像データとが出力され、Ａ／Ｄ変換部２３によってデジタルデータに変換された短時間露光データ（図５に示す様に、フラッシュ発光が無い画像データ）に対して所要のゲイン５１を掛けてノンフラッシュ画像５２を生成する。また、長時間露光データ（図５に示す様に、フラッシュ発光がある画像データ）に対しても所要のゲイン５３（ゲイン５１とは異なる値）を掛けてフラッシュ画像５４を生成し、２枚の画像５３，５４を記録メディアに格納する。

長時間露光データは、フラッシュの閃光期間（発光期間）を含むため、長時間露光，短時間露光の時間比率以上に明るくなっている。このため、この比率以上のゲインを短時間露光データに施すことで、長時間露光データばかりでなく、短時間露光データも適切な露出に制御することが可能となる。また、本実施形態の高感度２枚撮りは、長時間露光期間と短時間露光期間とが重なるため、同時性が担保され、長時間露光データと短時間露光データとの間での時間ズレが解消し、失敗写真となる確率が小さくなる。

図８は、広ダイナミックレンジ撮影モードの処理を示す機能図である。図７の高感度２枚撮り撮影モードとの違いは、短時間露光データに所要ゲイン５１を掛け、長時間露光データに所要ゲイン５３を掛けた後、両者を加算手段５５により加算合成し、広ダイナミックレンジの１枚の画像データ５６を得ている。

図６に示す様に、広ダイナミックレンジ撮影モードでは短時間露光の開始タイミングｔ２に同期してフラッシュ発光が行われ、長時間露光データと短時間露光データの両方にフラッシュ発光分が含まれることになる。しかし、露光期間に較べてフラッシュ発光期間が占める割合は、短時間露光データの方が大きいため、長時間，短時間の比率以上に、短時間露光データは明るくなっている。

この比率以上のゲインを短時間露光データに施すことで、短時間露光データの適正な露出に制御でき、合成した後の画像データも適切な露出となる。また、短時間露光データ，長時間露光データ共に、同じフラッシュ発光分の同一光源によるデータが入るため、両データの夫々のホワイトバランスの調整が容易となり、合成後のホワイトバランスが良好となる。

以上述べた様に、上述した実施形態に係るデジタルカメラでは、フラッシュ発光を長時間露光の開始に同期させることで、フラッシュ発光を行った長時間露光データと、フラッシュ発光の無い短時間露光データとを得ることができ、これらのデータを別々に処理することで、高感度２枚撮りの被写体画像データを得ることが可能となる。

また、フラッシュ発光を短時間露光開始に同期させることで、長時間露光データと短時間露光データのフラッシュ発光条件を同一にすることができ、これらを合成することで、広ダイナミックレンジの被写体画像データを得ることが可能となる。合成処理の際に、短時間露光画面には長時間露光画面との露光時間比率よりも小さなゲインを掛けることで、フラッシュ発光の無い場合と同様の広ダイナミックレンジ処理を行うことができる。

更に、長時間露光データがフラッシュ発光期間を含み、短時間露光データがフラッシュ発光期間を含まず時間比率以上に長時間露光データが明るくなった場合でも、この比率以上のゲインを短時間露光データに施すことで、短時間露光データも適切な露出を得ることが可能となる。

同様に、短時間露光の開始に同期してフラッシュ発光を行った場合も、時間比率以上に短時間露光データの露光期間に占めるフラッシュ閃光期間が長時間露光期間に比較して長くなるが、これも適切なゲインを短時間露光データに施すことで、短時間露光データも適正な露出にすることができる。

尚、上述した実施形態では、長時間露光データに対してもゲインを掛けているが、短時間露光データに対するゲインと長時間露光データに対するゲインとのゲイン差やゲイン比を適切に制御することで、短時間露光データの露出を適正に制御することができる。

図９は、本発明の別実施形態に係るノンフラッシュ画像とフラッシュ画像との合成モード処理を示す機能図である。この実施形態では、Ａ／Ｄ変換部２３から出力される短時間露光データ（ノンフラッシュ画像データ）６１と、長時間露光データ（フラッシュ画像データ）６２との差を減算手段６３でとって差分画像６４を得る。

フラッシュ発光は、近距離物体からは反射が大きいが、遠距離物体からの反射は小さい。このため、同一面内の画像は、同色であれば、差分画像がデジタルカメラからの「距離」を表すことになる。

そこで、遠距離にある背景画像として、主として短時間露光データを用い、近距離の主要被写体画像として、主として長時間露光データを用い、１枚の画像データを合成する。これにより、場（背景画像）の雰囲気を残した上で、主要被写体のＳ／Ｎの向上を図ることが可能となる。

このため、ＣＰＵ２９の距離判定手段２９ａは、差分画像６４から画像各部の上記「距離」を推定し、距離の推定値に応じて、背景と主要被写体とを切り分ける。短時間露光データに所要ゲイン６６を掛け、長時間露光データに所要ゲイン６７（ゲイン６６とは異なる値）を掛け、両者の合成比率（混合比率）を距離の推定値に応じて調整しながら加算手段６８で加算し、１枚の合成画像６９を得る。

この実施形態によれば、ノンフラッシュ画像とフラッシュ画像とを、被写体までの距離に応じた混合比で合成するため、背景画像の雰囲気を残したまま主要被写体の高Ｓ／Ｎの画像を得ることが可能となる。

図２に示す固体撮像素子１００は、各画素１０１が所謂ハニカム画素配列であったが、高感度２枚撮り撮影モードや広ダイナミックレンジ撮影モード，図９に示す合成モードは、この画素配列の固体撮像素子に限るものではなく、各画素が正方格子配列された固体撮像素子にも適用可能である。

図１０は、本発明の第２実施形態に係る正方格子配列された固体撮像素子２００の表面模式図である。この固体撮像素子２００は、各画素２０１が正方格子配列されており、各画素列に沿って垂直電荷転送路２０２が形成され、各垂直電荷転送路２０２の転送方向端部に沿って水平電荷転送路２０３が形成され、水平電荷転送路２０３の出力端部に出力アンプ２０４が設けられている。

垂直電荷転送路を構成する転送電極は、各画素毎に２枚設けられており、読み出しゲート２０５は、偶数番目の転送電極Ｖ２，Ｖ４，Ｖ６，Ｖ８に設けられている。

カラーフィルタ配列は、図示の例では、２行のＢＧＲＧＢＧＲＧ…となる配列と、２行のＲＧＢＧＲＧＢＧ…となる配列が垂直方向に２行毎に交互に配列されている。そして、１行置きの画素群が上述した第１グループ（または第２グループ）の画素群となり、残りの１行置きの画素群が上述した第２グループ（または第１グループ）の画素群となる。

斯かる構成の固体撮像素子２００でも、第１実施形態と同様の駆動及び画像処理を行うことができる。

図１１は、本発明の第３実施形態に係る正方格子配列された固体撮像素子３００の表面模式図である。この固体撮像素子３００は、図１０に示す固体撮像素子２００とカラーフィルタ配列は同じである。

異なるのは、各画素３０１から信号電荷を垂直電荷転送路３０２に読み出す読み出しゲート３０５が、水平方向，垂直方向に隣接する画素間で，異なる転送電極（垂直方向に上，下の転送電極）に設けられている点である。これにより、正方格子配列された画素のうち、市松位置の画素が第１グループ（または第２グループ）の画素群を構成し、残りの市松位置の画素が第２グループ（または第１グループ）の画素群を構成することになる。

斯かる構成の固体撮像素子３００でも、第１実施形態と同様の駆動及び画像処理が可能となる。

尚、上述した実施形態では、ＣＣＤ型の固体撮像素子を例に説明したが、信号読み出し方法が電荷転送路でなく、ＭＯＳトランジスタを用いた構成の固体撮像素子でも、上記と同様に、高感度２枚撮り撮影モードと広ダイナミックレンジ撮影モード、図９で説明した合成モードの画像処理が可能となることはいうまでもない。

本発明に係る固体撮像素子の駆動方法や画像処理方法は、失敗写真を撮る確率が小さくなり、また、フラッシュ発光したときでも広ダイナミックレンジの被写体画像を得ることが可能となるため、デジタルカメラ等に適用すると有用である。

本発明の第１実施形態に係るデジタルカメラの機能ブロック図である。 図１に示す固体撮像素子の表面模式図である。 図２に示す固体撮像素子の駆動タイミングチャートである。 図１に示すデジタルカメラの撮像処理手順を示すフローチャートである。 図２に示す固体撮像素子で高感度２枚撮りを行うときのフラッシュ発光タイミングを示す図である。 図２に示す固体撮像素子で広ダイナミックレンジ撮影を行うときのフラッシュ発光タイミングを示す図である。 高感度２枚撮り撮影モードの処理を示す機能図である。 広ダイナミックレンジ撮影モードの処理を示す機能図である。 ノンフラッシュ画像とフラッシュ画像の合成処理を示す機能図である。 本発明の第２実施形態に係る固体撮像素子の表面模式図である。 本発明の第３実施形態に係る固体撮像素子の表面模式図である。

符号の説明

２１ 撮像部
２４ 撮像素子駆動部
２５ フラッシュ発光部
２６ デジタル信号処理部
２９ システム制御部（ＣＰＵ）
１００，２００，３００ 固体撮像素子
１０１，２０１，３０１ 画素（フォトダイオード）
Ｒ カラーフィルタ（赤）
Ｇ カラーフィルタ（緑）
Ｂ カラーフィルタ（青）

Claims (12)

1. 半導体基板の表面に二次元アレイ状に配列形成された複数の画素を有する固体撮像素子と、
   前記複数の画素のうち周期的位置にある画素群を第１画素群として第１露光期間に亘って露光させると共に残りの周期的位置にある画素群を第２画素群として前記第１露光期間中の部分的な第２露光期間に亘って露光させ前記第１画素群と前記第２画素群の夫々が撮像した画像データを別々に前記固体撮像素子から読み出す撮像素子駆動手段と、
   前記固体撮像素子から読み出された前記画像データを画像処理するとき、前記第１画素群の前記画像データと前記第２画素群の前記画像データとを別々に画像処理して２枚の被写体画像データを生成する第１撮影モードと、前記第１画素群の前記画像データに前記第２画素群の前記画像データを合成して１枚の被写体画像データを生成する第２撮影モードのいずれかのモードで画像処理を行う画像処理手段と、
   前記第１撮影モードでは前記第２露光期間が重ならない前記第１露光期間にフラッシュ発光させ、前記第２撮影モードでは前記第１露光期間と前記第２露光期間とが重なる期間にフラッシュ発光させるフラッシュ発光手段と
   を備える撮像装置。
2. フラッシュ発光が行われた場合には、前記信号処理手段は、前記第２画素群の前記画像データに前記第１露光期間と前記第２露光期間の時間比率以上のゲイン補正を施すことを特徴とする請求項１に記載の撮像装置。
3. 前記信号処理手段は、前記第１撮影モードで前記２枚の被写体画像データが得られるとき該２枚の被写体画像データの差分画像を求めることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記信号処理手段は、前記差分画像に基づいて該２枚の被写体画像データから１枚の被写体画像データを合成することを特徴とする請求項３に記載の撮像装置。
5. 前記信号処理手段は、前記差分画像から画像の部分部分の被写体までの距離を求め、該距離に応じた混合比で前記２枚の被写体画像データを合成することを特徴とする請求項４に記載の撮像装置。
6. 前記第１撮影モードと前記第２撮影モードとを選択するモード選択スイッチが設けられたことを特徴とする請求項１乃至請求項５のいずれかに記載の撮像装置。
7. 前記第１露光期間と前記第２露光期間とを同時に終了させるメカニカルシャッタを備えることを特徴とする請求項１乃至請求項６のいずれかに記載の撮像装置。
8. 半導体基板の表面に二次元アレイ状に配列形成された複数の画素を有する固体撮像素子と、前記複数の画素のうち周期的位置にある画素群を第１画素群として第１露光期間に亘って露光させると共に残りの周期的位置にある画素群を第２画素群として前記第１露光期間中の部分的な第２露光期間に亘って露光させ前記第１画素群と前記第２画素群の夫々が撮像した画像データを別々に前記固体撮像素子から読み出す撮像素子駆動手段と、前記固体撮像素子から読み出された前記画像データを画像処理する信号処理手段とを備える撮像装置の画像信号処理方法において、
   前記第１画素群の前記画像データと前記第２画素群の前記画像データとを別々に画像処理して２枚の被写体画像データを生成する第１モードと、前記第１画素群の前記画像データに前記第２画素群の前記画像データを合成して１枚の被写体画像データを生成する第２モードのいずれかのモードで画像処理を行うとき、
   前記第１モードで画像処理するときは前記第２露光期間が重ならない前記第１露光期間にフラッシュ発光させ、前記第２モードで画像処理するときは前記第１露光期間と前記第２露光期間とが重なる期間にフラッシュ発光させることを特徴とする撮像装置の画像信号処理方法。
9. フラッシュ発光が行われた場合には、前記第２画素群の前記画像データに前記第１露光期間と前記第２露光期間の時間比率以上のゲイン補正を施すことを特徴とする請求項８に記載の撮像装置の画像信号処理方法。
10. 前記第１モードで前記２枚の被写体画像データが得られるとき該２枚の被写体画像データの差分画像を求めることを特徴とする請求項８又は請求項９に記載の撮像装置の画像信号処理方法。
11. 前記差分画像に基づいて該２枚の被写体画像データから１枚の被写体画像データを合成することを特徴とする請求項１０に記載の撮像装置の画像信号処理方法。
12. 前記差分画像から画像の部分部分の被写体までの距離を求め、該距離に応じた混合比で前記２枚の被写体画像データを合成することを特徴とする請求項１１に記載の撮像装置の画像信号処理方法。

Images