JP6755780B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

近時、静止画像に適した画像群と動画像に適した画像群とを１台の撮像装置で同時に撮像することが提案されている。動画像に適した画像群は、動画像の鑑賞用に用いられる。静止画像に適した画像群のうちの任意の画像がユーザによって選択され、選択された画像が静止画像として用いられる。
一方、光電変換部により変換された電荷を蓄積部に複数回転送し、複数回転送された電荷を蓄積部にまとめて蓄積することによって、暗電流を低減することが特許文献１において開示されている。

特開２０１０−１５７８９３号公報

しかしながら、静止画像に適した画像群と動画像に適した画像群とでは、これらを得る際に適する露光時間が大きく異なっている。このため、静止画像に適した画像群と動画像に適した画像群とを共通の光電変換部を用いて取得することは必ずしも容易ではない。

本発明の目的は、静止画像に適した画像群と動画像に適した画像群とを共通の光電変換部を用いて取得し得る撮像装置及び撮像方法を提供することにある。

本発明の一観点によれば、光電変換を行う光電変換部と、前記光電変換部による第１の電荷蓄積によって得られる電荷を保持する第１の電荷保持部と、前記光電変換部による複数回の第２の電荷蓄積によって得られる電荷を保持する第２の電荷保持部とをそれぞれ有する複数の画素が２次元的に配列された画素アレイと、画像群の１フレームに対応する第１の期間内において行われる前記第１の電荷蓄積によって得られる前記電荷に応じた第１の信号によって第１の画像を生成し、前記第１の期間内において行われる前記複数回の第２の電荷蓄積によって得られる前記電荷に応じた第２の信号を少なくとも用いて第２の画像を生成する制御手段であって、前記第１の電荷蓄積の時間が所定時間未満である第１の場合には、前記第１の信号を用いることなく前記第２の信号によって前記第２の画像を生成し、前記第１の電荷蓄積の時間が前記所定時間以上である第２の場合には、前記第１の信号と前記第２の信号とを用いて前記第２の画像を生成する制御手段とを有することを特徴とする撮像装置が提供される。

本発明によれば、静止画像に適した画像群と動画像に適した画像群とを共通の光電変換部を用いて取得し得る撮像装置及び撮像方法を提供することができる。

一実施形態による撮像装置を示す外観図である。 一実施形態による撮像装置の概略構成を示すブロック図である。 撮像素子の一部を示す回路図である。 撮像素子の一部を示す回路図である。 撮影条件の設定画面を示す図である。 プログラムＡＥ線図の例を示す図である。 一実施形態による撮像装置の動作を示すタイミングチャートである。 ライブビュー表示の例を示す図である。 ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの両方を並べて表示した場合の例を示す図である。 ｐｉｃｔｕｒｅＡの画像群とｐｉｃｔｕｒｅＢの画像群の活用例を示す図である。

本発明の実施の形態を、添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。

［一実施形態］
一実施形態による撮像装置及び撮像方法について図面を用いて以下に説明する。図１は本実施形態による撮像装置を示す外観図である。図１（ａ）は正面図であり、図１（ｂ）は背面図である。ここでは、本実施形態による撮像装置１００がデジタルスチルモーションカメラである場合を例に説明する。デジタルスチルモーションカメラは、動画像（動画）の撮影と静止画像（静止画）の撮影の垣根をなくすというコンセプトで開発された撮像装置である。

図１に示すように、撮像装置１００は、ボディ（筐体、本体）１５１を有している。ボディ１５１の正面には、撮影光学系（レンズユニット）１５２が備えられている。ボディ１５１の上部には、スイッチ１５４と、プロペラ１６２とが備えられている。ボディ１５１の背面には、表示部１５３と、スイッチ１５５と、撮影モード選択レバー１５６と、メニューボタン１５７と、アップダウンスイッチ１５８，１５９と、ダイアル１６０と、再生ボタン１６１とが備えられている。

ボディ１５１は、撮像素子１８４（図２参照）等の種々の機能部品や、シャッター装置（図示せず）等を内部に収納している。撮影光学系１５２は、被写体の光学像を撮像素子１８４の受光部（受光面）に結像するためのものである。表示部１５３は、撮影情報や画像を表示するための表示素子によって構成されている。表示画面の向きを変えるための可動機構が表示部１５３に設けられていてもよい。表示部１５３は、輝度範囲を抑制することなくダイナミックレンジの広い画像を表示し得るように、十分な表示輝度範囲を備えていることが好ましい。

スイッチ１５４は、主として静止画像の撮影を行う際に用いられるシャッターボタンである。スイッチ１５５は、動画像の撮影の開始及び停止を行うためのボタンである。撮影モード選択レバー１５６は、撮影モードを選択するための切り替えスイッチである。メニューボタン１５７は、撮像装置１００の機能設定を行う機能設定モードへ移行するためのボタンである。アップダウンスイッチ１５８，１５９やダイアル１６０は、各種の設定値の変更等に用いられる。再生ボタン１６１は、撮像装置１００に収納されている記録媒体に記録されている画像を表示部１５３上で再生する再生モードに移行するためのボタンである。プロペラ１６２は、空中からの撮影を行うために撮像装置１００を空中に浮上させるためのものである。

図２は、本実施形態による撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、図２に示すように、絞り１８１と、絞り制御部１８２と、レンズ制御部１７０と、光学フィルタ１８３と、撮像素子１８４と、デジタル信号処理部１８７と、タイミング発生部１８９とを有している。また、撮像装置１００は、システム制御部１７８と、入力手段１７９と、画像メモリ（映像メモリ）１９０と、飛行制御装置２００とを有している。また、撮像装置１００は、表示インターフェース部１９１と、表示部１５３と、記録インターフェース部１９２と、プリントインターフェース部１９４と、外部インターフェース部１９６と、無線インターフェース部１９８とを有している。

撮像素子１８４は、撮影光学系１５２によって結像される被写体の光学像を電気的な信号、即ち、画像信号（映像信号）に変換するためのものである。撮像素子１８４は、特に限定されるものではないが、例えば、ＵＨＤＴＶ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）の規格を満たすのに十分な画素数、信号読み出し速度、色域、ダイナミックレンジ等を有している。撮影光学系１５２は、ボディ１５１から着脱可能であってもよいし、ボディ１５１から着脱不能であってもよい。絞り１８１は、撮影光学系１５２を通過する光の量を調節するためのものである。絞り制御部１８２は、絞り１８１を制御するためのものである。レンズ制御部１７０は、撮影光学系１５２に備えられたフォーカスレンズ（図示せず）を駆動して焦点調整を行うためのものである。光学フィルタ１８３は、撮像素子１８４に入射される光の波長や、撮像素子１８４に結像される光学像の空間周波数を制限するためのものである。撮影光学系１５２と、絞り１８１と、光学フィルタ１８３と、撮像素子１８４とは、撮影光学系１５２の光軸１８０上に配置されている。

デジタル信号処理部１８７は、撮像素子１８４から出力されるデジタルの画像信号、即ち、デジタルの画像データに対して各種の補正処理を行い、各種の補正処理が行われた画像データに対して圧縮処理を行う。タイミング発生部１８９は、撮像素子１８４やデジタル信号処理部１８７に対して各種のタイミング信号を出力する。システム制御部１７８は、各種の演算処理を実行し、撮像装置１００の全体の制御を司る。システム制御部１７８は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成されている。システム制御部１７８とタイミング発生部１８９とは、制御手段として機能し得る。システム制御部１７８は、後述するように、光電変換部５００（図３（ｂ）参照）から電荷保持部５０７Ａ（図３（ｂ）参照）に転送される電荷に応じた第１の信号によって第１の画像、即ち、静止画像に適した画像を生成する。また、システム制御部１７８は、後述するように、光電変換部５００から電荷保持部５０７Ｂ（図３（ｂ）参照）に複数回に亘って転送される電荷に応じた第２の信号を少なくとも用いて第２の画像、即ち、動画像に適した画像を生成する。システム制御部１７８は、後述するように、電荷保持部５０７Ａに転送される電荷を生じさせるために光電変換部５００において行われる第１の電荷蓄積の時間である第１の時間が所定時間未満である第１の場合には、以下のように動作する。即ち、かかる場合には、システム制御部１７８は、第１の信号を用いることなく第２の信号によって第２の画像を生成する。なお、所定時間は、電荷保持部５０７Ｂに転送される電荷を生じさせるために光電変換部５００において行われる複数回の第２の電荷蓄積の合間の時間に応じた時間である。システム制御部１７８は、後述するように、第１の時間が所定時間以上である第２の場合には、第１の信号と第２の信号とを用いて第２の画像を生成する。画像メモリ１９０は、画像データを一時的に記憶する。

表示インターフェース部１９１は、撮影された画像を表示部１５３に表示するためのインターフェースである。表示部１５３には、例えば、液晶ディスプレイ等が用いられる。記録媒体１９３は、画像データや付加データ等を記録するためのものであり、半導体メモリ等が用いられる。記録媒体１９３は、撮像装置１００から着脱不能であってもよいし、撮像装置１００から着脱可能であってもよい。記録インターフェース部１９２は、記録媒体１９３に対して画像データ等の書き込みや読み出しを行うためのインターフェースである。外部インターフェース部１９６は、外部コンピュータ１９７等の外部機器と通信するためのインターフェースである。プリントインターフェース部１９４は、撮影された画像を小型インクジェットプリンタ等のプリンタ１９５に出力し印刷するためのインターフェースである。無線インターフェース部１９８は、インターネット等のネットワーク１９９と通信するためのインターフェースである。入力手段１７９は、スイッチ１５４、１５５、撮影モード選択レバー１５６、再生ボタン１６１等の各種スイッチを含む。飛行制御装置２００は、空中からの撮影を行うためにプロペラ１６２を制御して撮像装置１００を飛行させるためのものである。なお、ボディ１５１と別個に設けられた機体に飛行制御装置２００やプロペラ１６２を設け、かかる機体に本実施形態による撮像装置１００を取り付けるようにしてもよい。また、空中からの撮影を行うことを要しない場合には、飛行制御装置２００やプロペラ１６２を備えることを要しない。

図３は、撮像素子１８４の一部を示す回路図である。図３（ａ）は、画素アレイと、画素アレイの周辺回路とを示している。図３（ａ）に示すように、撮像素子１８４は、画素アレイ３０２と、垂直走査回路３０１と、読み出し回路３０３とを含んでいる。画素アレイ３０２には、複数の画素３０６（図３（ｂ）参照）が行列状、即ち、２次元的に配列されている。垂直走査回路３０１は、画素アレイ３０２に対して行方向に隣接して配置されている。垂直走査回路３０１は、行方向に延在するように配された各種の制御線に対して所定の制御信号を印加し、画素アレイ３０２の各行に位置している複数の画素３０６を行単位で制御する。読み出し回路３０３には、ノイズを除去する相関二重サンプリング（ＣＤＳ）回路、信号ゲインを調節するアンプ、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器等が備えられている。従って、本実施形態による撮像素子１８４からはデジタルの信号が出力される。なお、撮像素子１８４と別個にアナログフロントエンドを設け、アナログフロントエンドの出力をデジタル信号処理部１８７に供給するようにすることも可能である。この場合、Ａ／Ｄ変換器等は、アナログフロントエンドに備えられる。

図３（ｂ）は、画素アレイ３０２に配された画素３０６を示す図である。図３（ｂ）においては、図面の簡略化のため、画素アレイ３０２に備えられた多数の画素３０６のうちの２つの画素３０６を抜き出して示している。第１行、第１列に位置する画素３０６、即ち、（１，１）の座標に位置する画素３０６と、第ｍ行、第１列に位置する画素３０６、即ち、（ｍ、１）の座標に位置する画素３０６とが、図３（ｂ）に示されている。なお、各々の画素３０６の構成はいずれも同等であるため、図３（ｂ）においては、同じ符号を適宜用いている。図３（ｂ）に示すように、各々の画素３０６は、光電変換部５００と、転送トランジスタ５０１Ａ、５０１Ｂと、電荷保持部（信号保持部）５０７Ａ、５０７Ｂと、転送トランジスタ５０２Ａ、５０２Ｂとを有している。光電変換部５００としては、例えばフォトダイオードが用いられている。本実施形態では、１つの光電変換部５００に対して、２つの電荷保持部５０７Ａ、５０７Ｂが備えられている。電荷保持部５０７Ａ、５０７Ｂは、例えばキャパシタによってそれぞれ構成されている。更に、各々の画素３０６は、リセットトランジスタ（転送トランジスタ）５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有している。

光電変換部５００のアノードは接地線に接続されており、光電変換部５００のカソードは、転送トランジスタ５０１Ａのソースと、転送トランジスタ５０１Ｂのソースと、リセットトランジスタ５０３のソースとに接続されている。転送トランジスタ５０１Ａのドレインは、電荷保持部５０７Ａの一端と、転送トランジスタ５０２Ａのソースとに接続されている。転送トランジスタ５０１Ｂのドレインは、電荷保持部５０７Ｂの一端と、転送トランジスタ５０２Ｂのソースとに接続されている。電荷保持部５０７Ａの他端及び電荷保持部５０７Ｂの他端は、接地線に接続されている。転送トランジスタ５０２Ａのドレイン、転送トランジスタ５０２Ｂのドレイン、リセットトランジスタ５０４のソース、及び、増幅トランジスタ５０５のゲートの接続ノードが、フローティングディフュージョン領域５０８に対応している。リセットトランジスタ５０４のドレインと増幅トランジスタ５０５のドレインは、電源線５２０に接続されている。増幅トランジスタ５０５のソースは、選択トランジスタ５０６のドレインに接続されている。選択トランジスタ５０６のソースは、出力信号線５２３に接続されている。増幅トランジスタ５０５のソースは、選択トランジスタ５０６と出力信号線５２３とを介して図示しない電流源に接続される。増幅トランジスタ５０５と電流源とによって、ソースフォロワ回路が構成される。選択トランジスタ５０６のゲートをオン状態にすると、増幅トランジスタ５０５のゲートの電位に応じた信号が出力信号線５２３を介して出力される。リセットトランジスタ５０３のドレインは、電源線５２１に接続されている。

各々の画素３０６は、垂直走査回路３０１から行方向に延在するように配されたリセット制御線３１９，３３０，転送制御線３２０Ａ，３２０Ｂ，３２９Ａ，３２９Ｂ、及び、選択制御線３３１に接続されている。リセット制御線３１９は、リセットトランジスタ５０４のゲートに接続されている。転送制御線３２０Ａ，３２０Ｂは、転送トランジスタ５０１Ａ，５０１Ｂのゲートにそれぞれ接続されている。転送制御線３２９Ａ，３２９Ｂは、転送トランジスタ５０２Ａ，５０２Ｂのゲートにそれぞれ接続されている。リセット制御線３３０は、リセットトランジスタ５０３のゲートに接続されている。選択制御線３３１は、選択トランジスタ５０６のゲートに接続されている。リセット制御線３１９は、リセットトランジスタ５０４のゲートに、垂直走査回路３０１から出力されるリセットパルスφＲＥＳを供給する。転送制御線３２０Ａ，３２０Ｂは、転送トランジスタ５０１Ａ，５０１Ｂのゲートに、垂直走査回路３０１から出力される転送パルスφＴＸ１Ａ，φＴＸ１Ｂをそれぞれ供給する。転送制御線３２９Ａ，３２９Ｂは、転送トランジスタ５０２Ａ，５０２Ｂのゲートに、垂直走査回路３０１から出力される転送パルスφＴＸ２Ａ，φＴＸ２Ｂをそれぞれ供給する。リセット制御線３３０は、リセットトランジスタ５０３のゲートに、垂直走査回路３０１から出力されるリセットパルスφＴＸ３を供給する。選択制御線３３１は、選択トランジスタ５０６のゲートに、垂直走査回路３０１から出力される選択パルスφＳＥＬを供給する。なお、図３（ｂ）において、符号φＲＥＳ、φＴＸ１Ａ，φＴＸ１Ｂ，φＴＸ２Ａ，φＴＸ２Ｂ、φＴＸ３、φＳＥＬの後の括弧内の文字は、行番号を示している。

光電変換部５００は、光電変換によって電荷を生成するとともに、生成した電荷を蓄積する。転送トランジスタ５０１Ａは、光電変換部５００によって生成される電荷を電荷保持部５０７Ａに転送するためのものである。電荷保持部５０７Ａは、光電変換部５００から転送トランジスタ５０１Ａを介して転送される電荷を保持する。転送トランジスタ５０１Ｂは、光電変換部５００によって生成される電荷を電荷保持部５０７Ｂに転送するためのものである。電荷保持部５０７Ｂは、光電変換部５００から転送トランジスタ５０１Ｂを介して転送される電荷を保持する。転送トランジスタ５０２Ａは、電荷保持部５０７Ａに保持された電荷をフローティングディフュージョン領域５０８に転送するためのものである。転送トランジスタ５０２Ｂは、電荷保持部５０７Ｂに保持された電荷をフローティングディフュージョン領域５０８に転送するためのものである。フローティングディフュージョン領域５０８は、電荷保持部５０７Ａから転送トランジスタ５０２Ａを介して転送される電荷を保持する。また、フローティングディフュージョン領域５０８は、電荷保持部５０７Ｂから転送トランジスタ５０２Ｂを介して転送される電荷を保持する。

本実施形態では、１つの光電変換部５００に対して２つの電荷保持部５０７Ａ、５０７Ｂが設けられているため、２種類の画像を取得することが可能である。電荷保持部５０７Ａに保持される電荷に応じた第１の信号は、第１の画像、即ち、静止画像に適した画像に用いられる。ここでは、第１の画像をｐｉｃｔｕｒｅＡとも称することとする。電荷保持部５０７Ｂに保持される電荷に応じた第２の信号は、第２の画像、即ち、動画像に適した画像に用いられる。ここでは、第２の画像をｐｉｃｔｕｒｅＢと称することとする。なお、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢは、厳密には所定の補正処理等が行われた後の画像であるが、説明の便宜上、補正前や補正途中の信号（画像）についても、ｐｉｃｔｕｒｅＡ、ｐｉｃｔｕｒｅＢと表記することがある。なお、後述するように、第１の信号は、第１の画像の生成にのみ用いられるわけではない。必要に応じて、第１の信号は、第２の画像の生成にも用いられる。

第１の信号に対応する電荷を得るための光電変換部５００における電荷蓄積、即ち、第１の電荷蓄積と、第２の信号に対応する電荷を得るための光電変換部５００における電荷蓄積、即ち、第２の電荷蓄積とは、排他的に行われる。即ち、第１の信号に対応する電荷を得るための第１の電荷蓄積が光電変換部５００において行われている際には、第２の信号に対応する電荷を得るための第２の電荷蓄積は光電変換部５００によって行われない。光電変換部５００から電荷保持部５０７Ａへの電荷の転送と、光電変換部５００から電荷保持部５０７Ｂへの電荷の転送も、排他的に行われる。

垂直走査回路３０１からハイレベルの転送パルスφＴＸ１Ａが出力されると、転送トランジスタ５０１Ａがオン状態となり、光電変換部５００と電荷保持部５０７Ａの一端とが電気的に接続される。垂直走査回路３０１からハイレベルの転送パルスφＴＸ１Ｂが出力されると、転送トランジスタ５０１Ｂがオン状態となり、光電変換部５００と電荷保持部５０７Ｂの一端とが電気的に接続される。垂直走査回路３０１からハイレベルの転送パルスφＴＸ２Ａが出力されると、転送トランジスタ５０２Ａがオン状態となり、電荷保持部５０７Ａの一端とフローティングディフュージョン領域５０８とが電気的に接続される。垂直走査回路３０１からハイレベルの転送パルスφＴＸ２Ｂが出力されると、転送トランジスタ５０２Ｂがオン状態となり、電荷保持部５０７Ｂの一端とフローティングディフュージョン領域５０８とが電気的に接続される。垂直走査回路３０１からハイレベルのリセットパルスφＲＥＳが出力されると、リセットトランジスタ５０４がオン状態となる。リセットパルスφＲＥＳがハイレベルであり、かつ、転送パルスφＴＸ２Ａ、ＴＸ２Ｂがハイレベルの際には、リセットトランジスタ５０４と転送トランジスタ５０２Ａ，５０２Ｂとがオン状態になる。この際には、電荷保持部５０７Ａ，５０７Ｂとフローティングディフュージョン領域５０８とがリセットされる。リセットパルスφＲＥＳがハイレベルであるが、転送パルスφＴＸ２Ａ、ＴＸ２Ｂがローレベルの際には、リセットトランジスタ５０４はオン状態であるが、転送トランジスタ５０２Ａ，５０２Ｂはオフ状態である。この際には、電荷保持部５０７Ａ，５０７Ｂがリセットされることなく、フローティングディフュージョン領域５０８がリセットされる。

垂直走査回路３０１からリセット制御線３３０に出力されるリセットパルスφＴＸ３がローレベルになると、リセットトランジスタ５０３がオフ状態となり、光電変換部５００は、光電変換により生成される信号電荷（電荷）の蓄積を開始する。垂直走査回路３０１から転送制御線３２０Ａにハイレベルの転送パルスφＴＸ１Ａが出力された場合には、転送トランジスタ５０１Ａがオン状態となり、光電変換部５００において生成された信号電荷が電荷保持部５０７Ａに転送される。この後、転送パルスφＴＸ１Ａがローレベルになると、転送トランジスタ５０１Ａがオフ状態となり、光電変換部５００から電荷保持部５０７Ａへの信号電荷の転送が終了する。この後、垂直走査回路３０１から転送制御線３２９Ａにハイレベルの転送パルスφＴＸ２Ａが出力されると、転送トランジスタ５０２Ａがオン状態となり、電荷保持部５０７Ａからフローティングディフュージョン領域５０８に信号電荷が転送される。

一方、垂直走査回路３０１から転送制御線３２０Ｂにハイレベルの転送パルスφＴＸ１Ｂが出力された場合には、転送トランジスタ５０１Ｂがオン状態となり、光電変換部５００において生成された信号電荷が電荷保持部５０７Ｂに転送される。この後、転送パルスφＴＸ１Ｂがローレベルになると、転送トランジスタ５０１Ｂがオフ状態となり、光電変換部５００から電荷保持部５０７Ｂへの信号電荷の転送が終了する。この後、垂直走査回路３０１から転送制御線３２９Ｂにハイレベルの転送パルスφＴＸ２Ｂが出力されると、転送トランジスタ５０２Ｂがオン状態となり、電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に信号電荷が転送される。なお、上述したように、電荷保持部５０７Ａに転送される電荷を得るための光電変換部５００における第１の電荷蓄積と、電荷保持部５０７Ｂに転送される電荷を得るための光電変換部５００における第２の電荷蓄積とは、排他的に行われる。また、上述したように、光電変換部５００から電荷保持部５０７Ａへの信号電荷の転送と、光電変換部５００から電荷保持部５０７Ｂへの信号電荷の転送とは、排他的に行われる。

垂直走査回路３０１から出力されるハイレベルの選択パルスφＳＥＬによって選択トランジスタ５０６がオン状態となると、増幅トランジスタ５０５のゲート電位に応じた信号が選択トランジスタ５０６と出力信号線５２３とを介して出力される。

図４は、撮影条件の設定画面を示す図である。図４は、第１の画像（ｐｉｃｔｕｒｅＡ）と第２の画像（ｐｉｃｔｕｒｅＢ）とを並行して取得し得る撮影モードであるデュアル映像モード（デュアル画像モード、デュアル撮像モード）の撮影条件の設定画面を示している。デュアル映像モードにおいては、システム制御部１７８は、第１の画像、即ち、ｐｉｃｔｕｒｅＡを所定のフレームレートで順次生成することによって複数の第１の画像を含む第１の画像群（第１のフレーム群）を生成する。また、デュアル映像モードにおいては、システム制御部１７８は、第２の画像、即ち、ｐｉｃｔｕｒｅＢを所定のフレームレートで順次生成することによって複数の第２の画像を含む第２の画像群（第２のフレーム群）を生成する。このように、デュアル映像モードにおいては、所定のフレームレートでｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとが並行して取得されるため、ｐｉｃｔｕｒｅＡの画像群とｐｉｃｔｕｒｅＢの画像群とが得られる。ｐｉｃｔｕｒｅＡの画像群を構成する複数のｐｉｃｔｕｒｅＡの各々は、静止画像として鑑賞するのに適した撮影条件で撮影される。ユーザは、ｐｉｃｔｕｒｅＡの画像群のうちから任意のｐｉｃｔｕｒｅＡを選択し、選択した当該ｐｉｃｔｕｒｅＡを静止画像として用い得る。一方、ｐｉｃｔｕｒｅＢの画像群は、動画像として鑑賞するのに適した撮影条件で撮影される。ユーザは、ｐｉｃｔｕｒｅＢの画像群を動画像として鑑賞し得る。なお、撮影モードの切り替えは、上述したように、撮影モード選択レバー１５６を回動させることによって行い得る。また、本実施形態による撮像装置１００は、デュアル映像モードの他、静止画像のみを取得する静止画撮影モード、動画像のみを取得する動画撮影モード等によっても動作し得る。

図４に示す「ｐｉｃｔｕｒｅ Ａ」はｐｉｃｔｕｒｅＡの撮影条件を示しており、図４に示す「ｐｉｃｔｕｒｅ Ｂ」はｐｉｃｔｕｒｅＢの撮影条件を示している。表示部１５３には、被写体の輝度に応じたＢｖ値３２１及びＦナンバー３２２が表示される。また、表示部１５３には、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのそれぞれのＩＳＯ感度３２３、３２４と、シャッタースピード３２５、３２６と、ピクチャーモード３２７、３２８とが表示される。ユーザは、アップダウンスイッチ１５８、１５９やダイアル１６０等を操作することにより、複数のピクチャーモードのうちのいずれかのピクチャーモードを撮影目的等に応じて適宜選択し得る。

図５は、プログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）線図の例を示す図である。横軸は、Ｔｖ値と、Ｔｖ値に対応するシャッタースピードとを示しており、縦軸は、Ａｖ値と、Ａｖ値に対応する絞り値とを示している。また、斜めの線は、等Ｂｖ線を示している。静止画像のプログラム線図３５８は、図５において太い実線で示されており、動画像のプログラム線図３５９は、図５において太い点線で示されている。図５において符号３５６で示した部分は、静止画像の取得におけるＢｖ値とＩＳＯ感度との関係を示している。図５において符号３５７で示した部分は、動画像の取得におけるＢｖ値とＩＳＯ感度との関係を示している。図５において符号３５８で示した部分、即ち、ドットが付された部分は、静止画像の取得と動画像の取得のいずれにも共通するＢｖ値とＩＳＯ感度との関係を示している。なお、ＩＳＯ感度の右側の括弧内に示された数字は、Ｓｖ値を示している。また、図５において各Ｂｖ値は、他のパラメータと区別するために、四角で囲んだ数値で示している。

高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかについて、図５を用いて説明する。図５から分かるように、Ｂｖ値が１４の際、静止画像の取得においては、ＩＳＯ感度は１００に設定される。Ｂｖ値が１４のときの静止画像の等Ｂｖ線は、静止画像のプログラム線図３５８と点３５１において交差する。点３５１に対応するシャッタースピードは１／４０００秒であり、点３５１に対応する絞り値はＦ１１である。従って、Ｂｖ値が１４の際には、静止画像の取得においては、ＩＳＯ感度は１００、シャッタースピードは１／４０００秒、絞り値はＦ１１に設定される。ところで、動画像のフレームレートは、例えば６０ｆｐｓである。フレームレートが６０ｆｐｓの動画像の１フレームに対応する時間は１／６０秒である。このため、動画像を取得する際のシャッタースピードは例えば１／６０秒とされ、ＩＳＯ感度と絞り値とを調整することによって動画像を取得する際の露出が調整される。図５から分かるように、Ｂｖ値が１４の場合、動画像の取得においては、ＩＳＯ感度は１に設定される。Ｂｖ値が１４のときの動画像の等Ｂｖ線は、動画像のプログラム線図３５９と点３５２において交差する。点３５２に対応するシャッタースピードは１／６０秒であり、点３５２に対応する絞り値はＦ１１である。このように、Ｂｖ値が１４の場合には、動画像の取得においては、ＩＳＯ感度は１、シャッタースピードは１／６０秒、絞り値はＦ１１に設定される。

図５から分かるように、Ｂｖ値が１２の際には、静止画像の取得においては、ＩＳＯ感度は１００に設定される。Ｂｖ値が１２のときの静止画像の等Ｂｖ線は、静止画像のプログラム線図３５８と点３５３において交差する。点３５３に対応するシャッタースピードは１／１０００秒であり、点３５３に対応する絞り値はＦ１１である。従って、Ｂｖ値が１２の場合には、静止画像の取得においては、ＩＳＯ感度は１００、シャッタースピードは１／１０００秒、絞り値はＦ１１に設定される。図５から分かるように、Ｂｖ値が１２の場合、動画像の取得においては、ＩＳＯ感度は６に設定される。Ｂｖ値が１２のときの動画像の等Ｂｖ線は、動画像のプログラム線図３５９と点３５２において交差する。上述したように、点３５２に対応するシャッタースピードは１／６０秒であり、点３５２に対応する絞り値はＦ１１である。このように、Ｂｖ値が１２の場合には、動画像の取得においては、ＩＳＯ感度は６、シャッタースピードは１／６０秒、絞り値はＦ１１に設定される。

Ｂｖ値が４の際には、静止画像の取得においても、動画像の取得においても、ＩＳＯ感度は１００に設定される。Ｂｖ値が４のときの等Ｂｖ線は、点３５５において、静止画像のプログラム線図３５８及び動画像のプログラム線図３５９と交差する。点３５５に対応するシャッタースピードは１／６０秒であり、点３５５に対応する絞り値はＦ２．８である。このように、Ｂｖ値が４の場合には、静止画像の取得においても、動画像の取得においても、ＩＳＯ感度は１００、シャッタースピードは１／６０秒、絞り値はＦ２．８に設定される。

Ｂｖ値が−３の際には、静止画像の取得においても、動画像の取得においても、ＩＳＯ感度は１２８００に設定される。Ｂｖ値が−３のときの等Ｂｖ線は、点３５５において、静止画像のプログラム線図３５８及び動画像のプログラム線図３５９と交差する。上述したように、点３５５に対応するシャッタースピードは１／６０秒であり、点３５５に対応する絞り値はＦ２．８である。このように、Ｂｖ値が−３の場合には、静止画像の取得においても、動画像の取得においても、ＩＳＯ感度は１２８００、シャッタースピードは１／６０秒、絞り値はＦ２．８に設定される。

ところで、本実施形態では、デュアル映像モードの際には、上述したように、ｐｉｃｔｕｒｅＡの画像群とｐｉｃｔｕｒｅＢの画像群とを並行して取得する。ｐｉｃｔｕｒｅＡは、上述したように、電荷保持部５０７Ａに蓄積される電荷に応じた信号を用いて生成され、ｐｉｃｔｕｒｅＢは、上述したように、電荷保持部５０７Ｂに蓄積される電荷に応じた信号を用いて生成される。また、上述したように、本実施形態では、２つの電荷保持部５０７Ａ、５０７Ｂに対して光電変換部５００が１つしか設けられていない。このため、光電変換部５００は、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積と、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積の両方を、毎フレームにおいて行わなければならない。しかも、ｐｉｃｔｕｒｅＡは、比較的速いシャッタースピードで撮影することが求められる一方、ｐｉｃｔｕｒｅＢは、滑らかな動画像を実現すべく比較的遅いシャッタースピードとすることが求められる。また、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを並行して取得するため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを異なる絞り値で撮影することはできない。そこで、本実施形態では、動画像の１フレームに対応する期間内において、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積を光電変換部５００において複数回に分けて行うようにしている。そして、ｐｉｃｔｕｒｅＢの生成のために光電変換部５００において順次蓄積される電荷を、複数回に亘って電荷保持部５０７Ｂに順次転送するようにしている。そして、電荷保持部５０７Ｂにまとめて蓄積された電荷に応じた信号によって、ｐｉｃｔｕｒｅＢを生成するようにしている。また、本実施形態では、複数回に分けて光電変換部５００において行われるｐｉｃｔｕｒｅＢのための電荷蓄積の合間に、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積を光電変換部５００において行うようにしている。そして、ｐｉｃｔｕｒｅＡの生成のために光電変換部５００において蓄積される電荷を、電荷保持部５０７Ａに転送し、電荷保持部５０７Ａに蓄積される電荷に応じた信号によってｐｉｃｔｕｒｅＡを生成するようにしている。例えば、シャッタースピードが１／１０００秒、絞り値がＦ１１のｐｉｃｔｕｒｅＡを取得する場合には、本実施形態による撮像装置１００は、以下のように動作する。即ち、動画像の１フレームに対応する１／６０秒の期間において、ｐｉｃｔｕｒｅＢのための１／８０００秒の電荷蓄積を８回に分けて光電変換部５００において行う。そして、光電変換部５００における電荷蓄積によって順次得られる電荷を電荷保持部５０７Ｂに順次転送し、電荷保持部５０７Ｂにおいて加算された電荷に応じた信号によってｐｉｃｔｕｒｅＢを生成する。複数回に分けて光電変換部５００において行われるｐｉｃｔｕｒｅＢのための電荷蓄積の合間に、ｐｉｃｔｕｒｅＡのための１／１０００秒の電荷蓄積を光電変換部５００において行う。そして、光電変換部５００における電荷蓄積によって順次得られる電荷を電荷保持部５０７Ａに順次転送し、電荷保持部５０７Ａに蓄積される電荷に応じた信号によってｐｉｃｔｕｒｅＡを生成する。１／８０００秒の電荷蓄積を光電変換部５００において８回行い、８回の電荷蓄積によって得られた電荷を加算すると、１／１０００秒の電荷蓄積に相当する電荷量となる。従って、このようにしてｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを取得すれば、露光量が同等のｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを得ることができる。ｐｉｃｔｕｒｅＡは、１／１０００秒の１回の電荷蓄積に基づいて生成されるため、ブレの少ない良好な静止画像を得ることができる。また、ｐｉｃｔｕｒｅＢは、異なるタイミングで順次行われた８回の１／８０００秒の電荷蓄積によって得られる電荷の総和に基づいて生成されるため、滑らかな動画像を実現することができる。

ところで、ｐｉｃｔｕｒｅＡの取得の際のシャッタースピードが遅くなると、即ち、ｐｉｃｔｕｒｅＡのための光電変換部５００における電荷蓄積の時間が長くなると、以下のようになる。即ち、ｐｉｃｔｕｒｅＡの生成のための光電変換部５００における電荷蓄積を、ｐｉｃｔｕｒｅＢの生成のための光電変換部５００における複数回の電荷蓄積の合間に行うことが困難となる。そこで、本実施形態では、ｐｉｃｔｕｒｅＡの生成のための光電変換部５００における電荷蓄積の時間が所定時間以上である場合には、以下のように動作するようにしている。即ち、本実施形態による撮像装置１００は、かかる場合には、電荷保持部５０７Ｂに蓄積される電荷に応じた信号のみならず、電荷保持部５０７Ａに蓄積される電荷に応じた信号をも用いて、ｐｉｃｔｕｒｅＢを生成するようにしている。

図６は、本実施形態による撮像装置の動作を示すタイムチャートである。図６には、第１行目に位置する画素３０６に対しての制御が例として示されている。画素アレイ３０２の各行に位置する画素３０６に対して、図６に示すような制御が順次行われる。図６（ａ）は、ｐｉｃｔｕｒｅＡの取得の際のシャッタースピード、即ち、ｐｉｃｔｕｒｅＡの生成のための光電変換部５００における電荷蓄積の時間が比較的速い場合を示している。ここでは、ｐｉｃｔｕｒｅＡの取得におけるシャッタースピードが１／１０００秒である場合を例として示す。図６（ａ）に示す例においては、動画像の１フレームに対応する１／６０秒の期間内に、１／８０００秒の電荷蓄積が８回に亘って光電変換部５００において行われる。そして、８回の電荷蓄積によって光電変換部５００において順次得られる電荷が電荷保持部５０７Ｂに順次転送され、電荷保持部５０７Ｂに累積的に蓄えられた電荷に応じた信号によってｐｉｃｔｕｒｅＢが得られる。図６に示すタイミングｔ１とタイミングｔ１４とは、垂直同期信号φＶの立ち上がりのタイミングに対応している。タイミングｔ１からタイミングｔ１４までの時間は、動画像の１フレームに相当する時間であり、例えば１／６０秒である。

図６（ａ）に示すように、タイミングｔ１においては、ハイレベルの垂直同期信号φＶとハイレベルの水平同期信号φＨとが、タイミング発生部１８９から垂直走査回路３０１等に出力される。ハイレベルの垂直同期信号φＶとハイレベルの水平同期信号φＨとが垂直走査回路３０１に供給されると、垂直走査回路３０１は、第１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）をローレベルにする。第１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）がローレベルになると、第１行目に位置するリセットトランジスタ５０４がオフ状態となり、第１行目に位置するフローティングディフュージョン領域５０８のリセット状態が解除される。また、タイミングｔ１においては、垂直走査回路３０１は、第１行目の選択制御線３３１に供給する選択パルスφＳＥＬ（１）をハイレベルにする。第１行目の選択パルスφＳＥＬ（１）がハイレベルになると、第１行目に位置する選択トランジスタ５０６がオン状態となり、第１行目に位置する画素３０６からの信号の読み出しが可能となる。

タイミングｔ２においては、垂直走査回路３０１は、第１行目の転送制御線３２９Ｂにハイレベルの転送パルスφＴＸ２Ｂ（１）を出力する。第１行目の転送制御線３２９Ｂに供給される転送パルスφＴＸ２Ｂ（１）がハイレベルになると、第１行目に位置する転送トランジスタ５０２Ｂがオン状態となる。第１行目に位置する転送トランジスタ５０２Ｂがオン状態になると、電荷保持部５０７Ｂに蓄積された電荷が、電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に転送される。この段階において電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に転送される電荷は、前のフレームに対応するものである。増幅トランジスタ５０５のゲートの電位、即ち、フローティングディフュージョン領域５０８の電位は、電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に転送された電荷に応じた電位となる。そして、フローティングディフュージョン領域５０８の電位に応じた増幅トランジスタ５０５の出力が、選択トランジスタ５０６と出力信号線５２３とを介して読み出し回路３０３によって読み出される。こうして読み出される信号は、ｐｉｃｔｕｒｅＢに用いられる。なお、垂直走査回路３０１は、第１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）を、タイミングｔ２とタイミングｔ３との間のタイミングにおいてハイレベルに変化させる。また、垂直走査回路３０１は、第１行目の選択制御線３３１に供給する選択パルスφＳＥＬ（１）を、タイミングｔ２とタイミングｔ３との間のタイミングにおいてローレベルに変化させる。

タイミングｔ３においては、垂直走査回路３０１は、第１行目の転送制御線３２９Ａ、３２９Ｂにハイレベルの転送パルスφＴＸ２Ａ（１）、φＴＸ２Ｂ（１）をそれぞれ出力する。第１行目の転送制御線３２９Ａ、３２９Ｂに供給される転送パルスφＴＸ２Ａ（１）、φＴＸ２Ｂ（１）がハイレベルになると、第１行目の転送トランジスタ５０２Ａ、５０２Ｂがそれぞれオン状態となる。タイミングｔ３においては、１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）が既にハイレベルとなっているため、第１行目に位置するリセットトランジスタ５０４はオン状態となっている。このため、タイミングｔ３においては、第１行目に位置するフローティングディフュージョン領域５０８と、第１行目に位置する電荷保持部５０７Ａと、第１行目に位置する電荷保持部５０７Ｂとがリセットされる。

タイミングｔ４においては、垂直走査回路３０１は、第１行目のリセット制御線３３０に供給するリセットパルスφＴＸ３（１）をローレベルにする。第１行目のリセット制御線３３０に供給されるリセットパルスφＴＸ３（１）がローレベルになると、第１行目に位置するリセットトランジスタ５０３がオフ状態となり、第１行目に位置する光電変換部５００のリセットが解除される。第１行目に位置する光電変換部５００のリセットが解除されると、第１行目に位置する光電変換部５００への信号電荷の蓄積が開始される。即ち、ｐｉｃｔｕｒｅＢの生成のために光電変換部５００において行われる８回の電荷蓄積６０２のうちの１回目の電荷蓄積６０２−１が開始される。なお、個々の電荷蓄積について説明する際には、符号６０２−１〜６０２−８を用い、電荷蓄積一般について説明する際には、符号６０２を用いることとする。

タイミングｔ５においては、垂直走査回路３０１は、第１行目の転送制御線３２０Ｂに供給する転送パルスφＴＸ１Ｂ（１）をハイレベルにする。第１行目の転送制御線３２０Ｂに供給される転送パルスφＴＸ１Ｂ（１）がハイレベルになると、第１行目に位置する転送トランジスタ５０１Ｂがオン状態となり、光電変換部５００に蓄積された信号電荷が電荷保持部５０７Ｂに転送される。

タイミングｔ６においては、垂直走査回路３０１は、第１行目の転送制御線３２０Ｂに供給する転送パルスφＴＸ１Ｂ（１）をローレベルにする。第１行目の転送制御線３２０Ｂに供給される転送パルスφＴＸ１Ｂ（１）がローレベルになると、第１行目に位置する転送トランジスタ５０１Ｂがオフ状態となり、光電変換部５００から電荷保持部５０７Ｂへの信号電荷の転送が終了する。即ち、ｐｉｃｔｕｒｅＢの生成のために光電変換部５００において行われる８回の電荷蓄積６０２のうちの第１回目の電荷蓄積６０２−１が終了する。垂直走査回路３０１は、第１行目のリセット制御線３３０に供給するリセットパルスφＴＸ３をハイレベルにする。第１行目のリセット制御線３３０に供給されるリセットパルスφＴＸ３（１）がハイレベルになると、第１行目に位置するリセットトランジスタ５０３がオン状態となり、第１行目に位置する光電変換部５００がリセット状態になる。こうして、ｐｉｃｔｕｒｅＢの生成のために光電変換部５００において行われる８回の電荷蓄積６０２のうちの第１回目の電荷蓄積６０２−１が行われる。かかる第１回目の電荷蓄積６０２−１は、タイミングｔ４からタイミングｔ６までの間に行われる。即ち、電荷蓄積６０２の時間である第２の時間は、タイミングｔ４からタイミングｔ６までの時間に相当する。タイミングｔ４は、上述したように、リセットトランジスタ５０３による光電変換部５００のリセットが解消されるタイミングである。タイミングｔ６は、上述したように、光電変換部５００から電荷保持部５０７Ｂへの転送トランジスタ５０１Ｂを介しての電荷の転送が終了するタイミングである。図６（ａ）においては、光電変換部５００において行われる電荷蓄積６０２の各々が、右上がりの斜線を付すことによって表されている。第２回目から第８回目の電荷蓄積６０２−２〜６０２−８についても、第１回目の電荷蓄積６０２−１と同様にして行われる。各々の電荷蓄積６０２の時間は、例えば１／８０００秒にそれぞれ設定される。各々の電荷蓄積６０２の合間の時間、即ち、電荷蓄積６０２のインターバルは、ほぼ同等に設定される。このように、本実施形態では、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積６０２が複数回に亘って離散的且つ均等に行われる。第１回目から第４回目までの電荷蓄積６０２−１〜６０２−４が、タイミングｔ７よりも前に行われる。

タイミングｔ７においては、垂直走査回路３０１は、第１行目のリセット制御線３３０に供給するリセットパルスφＴＸ３（１）をローレベルにする。第１行目のリセット制御線３３０に供給されるリセットパルスφＴＸ３（１）がローレベルになると、第１行目に位置するリセットトランジスタ５０３がオフ状態となり、第１行目に位置する光電変換部５００のリセットが解除される。第１行目に位置する光電変換部５００のリセットが解除されると、第１行目に位置する光電変換部５００への信号電荷の蓄積が開始される。即ち、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６０１が光電変換部５００において開始される。

タイミングｔ８においては、垂直走査回路３０１は、第１行目の転送制御線３２０Ａに供給する転送パルスφＴＸ１Ａ（１）をハイレベルにする。第１行目の転送制御線３２０Ａに供給される転送パルスφＴＸ１Ａ（１）がハイレベルになると、第１行目に位置する転送トランジスタ５０１Ａがオン状態となり、光電変換部５００に蓄積された信号電荷が電荷保持部５０７Ａに転送される。

タイミングｔ９においては、垂直走査回路３０１は、第１行目の転送制御線３２０Ａに供給する転送パルスφＴＸ１Ａ（１）をローレベルにする。第１行目の転送制御線３２０Ａに供給する転送パルスφＴＸ１Ａ（１）がローレベルになると、第１行目に位置する転送トランジスタ５０１Ａがオフ状態となり、光電変換部５００から電荷保持部５０７Ａへの信号電荷の転送が終了する。即ち、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６０１が光電変換部５００において終了する。垂直走査回路３０１は、第１行目のリセット制御線３３０に供給するリセットパルスφＴＸ３をハイレベルにする。第１行目のリセット制御線３３０に供給されるリセットパルスφＴＸ３（１）がハイレベルになると、第１行目に位置するリセットトランジスタ５０３がオン状態となり、第１行目に位置する光電変換部５００がリセット状態になる。こうして、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６０１が光電変換部５００において行われる。かかる電荷蓄積６０１は、タイミングｔ７からタイミングｔ９までの間に行われる。即ち、電荷蓄積６０１の時間である第１の時間は、タイミングｔ７からタイミングｔ９までの時間である。タイミングｔ７は、上述したように、リセットトランジスタ５０３による光電変換部５００のリセットが解消されるタイミングである。タイミングｔ９は、上述したように、光電変換部５００から電荷保持部５０７Ａへの転送トランジスタ５０１Ａを介しての電荷の転送が終了するタイミングである。図６（ａ）においては、光電変換部５００における電荷蓄積６０１が、右下がりの斜線を付すことによって表されている。光電変換部５００における電荷蓄積６０１の時間は、上述したように例えば１／１０００秒に設定される。１／８０００秒の電荷蓄積６０２を光電変換部５００において８回行うことによって得られる総電荷量は、１／１０００秒の電荷蓄積６０１によって得られる電荷量と同等である。従って、本実施形態によれば、ｐｉｃｔｕｒｅＡの露光量とｐｉｃｔｕｒｅＢの露光量とを同等にすることができる。

タイミングｔ１０においては、垂直走査回路３０１は、第１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）をローレベルにする。第１行目のリセット制御線３１９に供給されるリセットパルスφＲＥＳ（１）がローレベルになると、第１行目のリセットトランジスタ５０４がオフ状態となり、フローティングディフュージョン領域５０８のリセット状態が解除される。また、タイミングｔ１０においては、垂直走査回路３０１は、第１行目の選択制御線３３１に供給する選択パルスφＳＥＬ（１）をハイレベルにする。第１行目の選択パルスφＳＥＬ（１）がハイレベルになると、第１行目に位置する選択トランジスタ５０６がオン状態となり、第１行目に位置する画素３０６からの信号の読み出しが可能となる。

タイミングｔ１１においては、垂直走査回路３０１は、第１行目の転送制御線３２９Ａにハイレベルの転送パルスφＴＸ２Ａ（１）を供給する。第１行目の転送制御線３２９Ａにハイレベルの転送パルスφＴＸ２Ａ（１）を供給すると、第１行目の転送トランジスタ５０２Ａがオン状態となり、電荷保持部５０７Ａに蓄積された信号電荷がフローティングディフュージョン領域５０８に転送される。増幅トランジスタ５０５のゲートの電位、即ち、フローティングディフュージョン領域５０８の電位は、電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に転送された電荷に応じた電位となる。そして、フローティングディフュージョン領域５０８の電位に応じた増幅トランジスタ５０５の出力が、選択トランジスタ５０６と出力信号線５２３とを介して読み出し回路３０３によって読み出される。こうして読み出される信号、即ち、第１の信号は、ｐｉｃｔｕｒｅＡの生成に用いられる。

光電変換部５００において行われる第５回目から第８回目の電荷蓄積６０２−５〜６０２−８は、タイミングｔ１２以降において行われる。

タイミングｔ１４においては、タイミングｔ１と同様の動作が行われる。即ち、タイミングｔ１４においては、ハイレベルの垂直同期信号φＶとハイレベルの水平同期信号φＨとが、タイミング発生部１８９から出力され、次のフレームの画像を取得するための動作が開始される。第１行目のリセット制御線３１９に供給するリセットパルスφＲＥＳ（１）がローレベルにされ、第１行目に位置するリセットトランジスタ５０４がオフ状態となり、第１行目に位置するフローティングディフュージョン領域５０８のリセット状態が解除される。また、第１行目の選択制御線３３１に供給する選択パルスφＳＥＬ（１）がハイレベルにされ、これにより、第１行目に位置する選択トランジスタ５０６がオン状態となり、第１行目に位置する画素３０６からの信号の読み出しが可能となる。

タイミングｔ１５においては、タイミングｔ２と同様の動作が行われる。即ち、タイミングｔ１５においては、第１行目の転送制御線３２９Ｂにハイレベルの転送パルスφＴＸ２Ｂ（１）が出力され、第１行目に位置する転送トランジスタ５０２Ｂがオン状態となる。これにより、電荷保持部５０７Ｂに蓄積された電荷が、電荷保持部５０７Ｂからフローティングディフュージョン領域５０８に転送される。そして、フローティングディフュージョン領域５０８の電位に応じた増幅トランジスタ５０５の出力が、選択トランジスタ５０６と出力信号線５２３とを介して読み出し回路３０３によって読み出される。こうして読み出される信号、即ち、第２の信号は、ｐｉｃｔｕｒｅＢの生成に用いられる。

なお、上述したように、図６（ａ）は、第１行目に位置する画素３０６に対しての制御を示したものである。例えば、第２行目に位置する画素３０６に対しての制御は、タイミングｔ１においてタイミング発生部１８９から垂直走査回路３０１に供給される水平同期信号φＨの次の水平同期信号φＨに同期して行われる。また、第ｍ行目に位置する画素３０６に対しての制御は、タイミングｔ１３においてタイミング発生部１８９から垂直走査回路３０１に供給される水平同期信号φＨに同期して行われる。画素アレイ３０２に含まれている全ての行の画素３０６に対しての制御が、タイミングｔ１からタイミングｔ１４までの間に順次開始される。

このように、図６（ａ）に示す例においては、動画像の１フレームに対応する１／６０秒の期間内において、ｐｉｃｔｕｒｅＢの生成のための１／８０００秒の電荷蓄積６０２を光電変換部５００において８回に分けて行う。そして、電荷保持部５０７Ｂにおいて加算された電荷に応じた信号によってｐｉｃｔｕｒｅＢを生成する。複数回に分けて光電変換部５００において行われるｐｉｃｔｕｒｅＢの生成のための電荷蓄積６０２の合間に、ｐｉｃｔｕｒｅＡの生成のための１／１０００秒の電荷蓄積６０１が光電変換部５００において行われる。そして、電荷保持部５０７Ａに蓄積される電荷に応じた信号によってｐｉｃｔｕｒｅＡが生成される。１／８０００秒の電荷蓄積６０２を８回行い、８回の電荷蓄積６０２によって得られた電荷を加算すると、１／１０００秒の電荷蓄積６０１に相当する電荷量となる。従って、このようにしてｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを取得すれば、露光量が同等のｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを得ることができる。しかも、ｐｉｃｔｕｒｅＡは、１／１０００秒の１回の電荷蓄積６０１によって取得されるため、ブレの少ない良好な画像となる。また、ｐｉｃｔｕｒｅＢは、異なるタイミングで順次行われた８回の１／８０００秒の電荷蓄積６０２によって得られた電荷を加算することにより得られるため、滑らかな動画像を実現することができる。

図６（ｂ）は、ｐｉｃｔｕｒｅＡの取得の際のシャッタースピード、即ち、ｐｉｃｔｕｒｅＡの生成のために光電変換部５００において行われる電荷蓄積の時間が、図６（ａ）に示す場合よりも長い例を示している。ここでは、ｐｉｃｔｕｒｅＡの取得の際のシャッタースピードが１／５００秒である場合を例として示す。図６（ｂ）に示す例においては、動画像の１フレームに対応する１／６０秒の期間内に、１／４０００秒の電荷蓄積６１２が光電変換部５００において複数回に亘って行われる。なお、個々の電荷蓄積について説明する際には符号６１２−１〜６１２−７を用い、電荷蓄積一般について説明する際には符号６１２を用いることとする。そして、光電変換部５００において行われる複数回の電荷蓄積６１２によって順次得られる電荷が電荷保持部５０７Ｂに蓄積され、電荷保持部５０７Ｂに累積的に蓄えられた電荷に応じた信号がｐｉｃｔｕｒｅＢの生成に用いられる。図６（ｂ）に示す場合においても、基本的な制御は図６（ａ）に示す場合と同様である。

１／４０００秒の電荷蓄積６１２が８回行われれば、１／５００秒の電荷蓄積６１１に相当する電荷量となる。しかしながら、図６（ｂ）に示す場合においては、ｐｉｃｔｕｒｅＡの生成のための光電変換部５００における電荷蓄積６１１の時間が、ｐｉｃｔｕｒｅＢの生成のための光電変換部５００における電荷蓄積６１２の合間の時間よりも長い。このため、図６（ｂ）に示す場合においては、ｐｉｃｔｕｒｅＢの生成のための１／４０００秒の電荷蓄積６１２が、光電変換部５００において７回しか行われない。即ち、図６（ｂ）に示す場合においては、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２が１回分間引かれる。電荷蓄積６１２の間引きが生じているにもかかわらず、電荷保持部５０７Ｂに蓄積された電荷に応じた信号によってｐｉｃｔｕｒｅＢを単に生成した場合には、ｐｉｃｔｕｒｅＢの露光量がｐｉｃｔｕｒｅＡの露光量よりも小さくなってしまう。即ち、ｐｉｃｔｕｒｅＢの露出がアンダーとなってしまう。また、離散的且つ均等に行われる複数回の電荷蓄積６０２によって得られる電荷を加算することによってｐｉｃｔｕｒｅＢを生成すれば、滑らかな動画像を得ることは可能である。しかしながら、図６（ｂ）のような電荷蓄積６１２の間引きが生じた場合には、滑らかさの失われた不自然な動画像となってしまう虞がある。そこで、本実施形態では、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１の時間が所定時間より長い場合、即ち、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２に間引きが生じる場合には、以下のような処理を行う。即ち、本実施形態では、かかる場合には、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１によって得られた信号と、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２によって得られた信号とを用いて、ｐｉｃｔｕｒｅＢを生成するようにしている。

間引きが行われない場合、即ち、第１の場合における光電変換部５００から電荷保持部５０７Ｂへの１フレーム当たりの電荷の転送の回数をａとする。間引きが行われる場合、即ち、第２の場合における光電変換部５００から電荷保持部５０７Ｂへの１フレーム当たりの電荷の転送の回数をｂとする。ｐｉｃｔｕｒｅＡの座標（ｍ，ｎ）における信号をＩｓ（ｍ，ｎ）とし、ｐｉｃｔｕｒｅＢの座標（ｍ，ｎ）における信号をＩｍ（ｍ，ｎ）とする。ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１によって得られた信号とｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２によって得られた信号とを用いて生成されるｐｉｃｔｕｒｅＢの座標（ｍ，ｎ）における信号をＩｍ′（ｍ，ｎ）とする。そうすると、Ｉｍ′（ｍ，ｎ）は、以下のような式（１）によって表される。
Ｉｍ′（ｍ，ｎ）＝Ｉｍ（ｍ，ｎ）＋｛（ａ−ｂ）／ａ｝×Ｉｓ（ｍ，ｎ） ・・・（１）
このように、間引きが行われる場合には、ｐｉｃｔｕｒｅＡの生成のための第１の信号に（ａ−ｂ）／ａを乗算することにより得られる値と、ｐｉｃｔｕｒｅＢの生成のための第２の信号とに基づいて、ｐｉｃｔｕｒｅＢ、即ち、第２の画像が生成される。

図６（ｂ）のような場合に、このようにしてｐｉｃｔｕｒｅＢを生成すれば、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６０２の時間が比較的長い場合であっても、滑らかな動画像を得ることができる。なお、図６（ｂ）に示す例においては、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１を、ｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２−４とｐｉｃｔｕｒｅＢの生成のための電荷蓄積６１２−５とのほぼ中間に位置させている。換言すれば、第２の場合には、ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１のタイミング、即ち、電荷保持部５０７Ａに転送される電荷を生じさせるために光電変換部５００において行われる電荷蓄積６１１の期間の中心は、以下のように設定される。即ち、電荷蓄積６１２−４は、複数回の電荷蓄積６１２のうちの電荷蓄積６１１の直前の電荷蓄積である。電荷蓄積６１２−５は、複数回の電荷蓄積６１２のうちの電荷蓄積６１１の直後の電荷蓄積である。電荷蓄積６１１の期間の中心は、電荷蓄積６１２−４のタイミングから電荷蓄積６１２−５のタイミングまでの期間の中心と合致するように設定される。ｐｉｃｔｕｒｅＡの生成のための電荷蓄積６１１のタイミングをこのように設定すれば、より滑らかな動画像を得ることが可能となる。

図７は、ライブビュー表示の例を示す図である。表示部１５３には、撮影光学系１５２を用いて捉えられた人物１６３のスポーツシーンが表示されている。また、撮影モード選択レバー１５６が、図１（ｂ）に示す状態に対して時計方向に９０度回動した位置にあるため、撮影モードは、デュアル映像モードとなっている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのシャッタースピード４９１、４９２及びＦナンバー４９３が表示部１５３に表示されている。

図８は、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの両方を並べて表示した場合の例を示す図である。再生ボタン１６１がユーザによって操作された際には、図８に示すように、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの両方を並べて表示するようにすることが好ましい。ここでは、表示部１５３の表示画面のうちの上側の部分４９６にｐｉｃｔｕｒｅＡが表示され、表示部１５３の表示画面のうちの下側の部分４９７にｐｉｃｔｕｒｅＢが表示される場合を例に示している。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとをこのように並べて表示すれば、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを容易に比較することが可能となる。例えば、速いシャッタースピードでｐｉｃｔｕｒｅＡが取得されており、ｐｉｃｔｕｒｅＡがスポーツシーンの一瞬を大迫力で表現していることを確認することができる。なお、ここでは、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとを撮像装置１００の表示部１５３に表示する場合を例に説明したがこれに限定されるものではない。例えば、ｐｉｃｔｕｒｅＡの画像群のデータ及びｐｉｃｔｕｒｅＢの画像群のデータを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置の側において、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢの表示を行うようにしてもよい。

図９は、ｐｉｃｔｕｒｅＡの画像群とｐｉｃｔｕｒｅＢの画像群の活用例を示す図である。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのデータファイルは、記録媒体１９３に格納されていてもよいし、ネットワーク上のストレージ等に格納されていてもよい。フレーム群５８１は、例えばＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＡのフレーム群である。フレーム群５７１は、別のＭＰ４ファイルに格納されたｐｉｃｔｕｒｅＢのフレーム群である。これらのＭＰ４ファイルは、例えば、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定されて互いに関連付けがなされている。

まず、ｐｉｃｔｕｒｅＢのフレーム群５７１の再生、即ち、動画像の再生を開始すると、ｐｉｃｔｕｒｅＢのフレーム群５７１の先頭フレーム５７２から所定のフレームレートで順次再生が行われる。ｐｉｃｔｕｒｅＢのフレーム群は、上記のようにして取得されたフレーム群であるため、滑らかな動画像が再生される。

ｐｉｃｔｕｒｅＢのフレーム群５７１の再生がフレーム５７３まで進行した時点で、ユーザが一時停止の操作を行うと、フレーム５７３と同一のタイムコードのフレーム５８２が、ｐｉｃｔｕｒｅＡのデータファイルから検索される。そして、フレーム５８２のｐｉｃｔｕｒｅＡが表示部１５３に表示される。ｐｉｃｔｕｒｅＡは、例えば１／１０００秒という速いシャッタースピードで撮影された画像であるため、スポーツシーンの迫力ある一瞬を表現することができる。
ｐｉｃｔｕｒｅＡのシャッタースピードは、上述したように例えば１／１０００秒である。一方、ｐｉｃｔｕｒｅＢのシャッタースピードは、動画像の１フレームに応じた時間である例えば１／６０秒である。ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢとはシャッタースピードが著しく異なっているが、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢは、ゲインは大きく異なっているわけではなく、同程度の信号電荷に基づいて生成されている。このため、ｐｉｃｔｕｒｅＡとｐｉｃｔｕｒｅＢのいずれも、Ｓ／Ｎ比が高く、ノイズ感の少ない良好な画像である。

ユーザが入力手段１７９を操作することによって印刷の指示を行うと、フレーム５８２のｐｉｃｔｕｒｅＡの画像データがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。ｐｉｃｔｕｒｅＡが印刷されるため、スポーツシーンの迫力ある一瞬を表現した印刷物が得られる。ユーザが入力手段１７９を操作することによって一時停止の解除を指示すると、ｐｉｃｔｕｒｅＢのフレーム群５７１の再生が再開される。具体的には、フレーム５７４から再生が再開される。動画像の再生においては、上記のようにして取得したｐｉｃｔｕｒｅＢが用いられるため、滑らかな動画像を鑑賞することができる。

このように、本実施形態によれば、光電変換部５００から電荷保持部５０７Ａに転送される電荷に応じた第１の信号によって第１の画像、即ち、ｐｉｃｔｕｒｅＡが生成される。また、光電変換部５００から電荷保持部５０７Ｂに複数回に亘って転送される電荷に応じた第２の信号を少なくとも用いて第２の画像、即ち、ｐｉｃｔｕｒｅＢが生成される。第１の信号に対応する電荷を生じさせるための光電変換部５００における電荷蓄積の時間が所定時間未満である第１の場合には、第１の信号を用いることなく第２の信号によって第２の画像、即ち、ｐｉｃｔｕｒｅＢが生成される。一方、第１の信号に対応する電荷を生じさせるための光電変換部５００における電荷蓄積の時間が所定時間以上である第２の場合には、第１の信号と第２の信号とを用いて第２の画像、即ち、ｐｉｃｔｕｒｅＢが生成される。従って、本実施形態によれば、第１の場合においても、第２の場合においても、所望のシャッタースピードの高品位の静止画像を得ることができるとともに、滑らかな高品位の動画像を得ることができる。即ち、本実施形態では、ｐｉｃｔｕｒｅＡのための電荷蓄積とｐｉｃｔｕｒｅＢのための電荷蓄積とが共通の光電変換部５００を用いて排他的に行われるにもかかわらず、所望のシャッタースピードの静止画像と滑らかな高品位の動画像とを得ることができる。このように、本実施形態によれば、静止画像に適した画像群と動画像に適した画像群とを共通の光電変換部を用いて取得し得る撮像装置を提供することができる。

［変形実施形態］
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。
例えば、上記実施形態では、光電変換部５００から電荷保持部５０７Ｂへの１フレーム当たりの電荷の転送の回数ａを８回とする場合を例に説明したが、これに限定されるものではない。光電変換部５００から電荷保持部５０７Ｂへの１フレーム当たりの電荷の転送の回数ａが、例えば１６回や３２回であってよい。
また、上記実施形態では、電荷蓄積６１２の間引きの回数が１フレーム当たり１回である場合の例を、図６（ｂ）を用いて説明したが、これに限定されるものではない。１フレーム当たりの電荷蓄積６１２の間引きの回数が複数回であってもよい。
また、上記実施形態では、光電変換部５００から電荷保持部５０７Ａへの１フレーム当たりの電荷の転送の回数が１回である場合を例に説明したが、これに限定されるものではない。例えば、光電変換部５００から電荷保持部５０７Ａへの１フレーム当たりの電荷の転送の回数が、複数回であってもよい。即ち、ｐｉｃｔｕｒｅＡの生成のために光電変換部５００において行われる電荷蓄積６０１の１フレーム当たりの回数が複数回であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置
１７８…システム制御部
３０２…画素アレイ
３０６…画素
５００…光電変換部
５０７Ａ、５０７Ｂ…電荷保持部

Claims (11)

1. 光電変換を行う光電変換部と、前記光電変換部による第１の電荷蓄積によって得られる電荷を保持する第１の電荷保持部と、前記光電変換部による複数回の第２の電荷蓄積によって得られる電荷を保持する第２の電荷保持部とをそれぞれ有する複数の画素が２次元的に配列された画素アレイと、
   画像群の１フレームに対応する第１の期間内において行われる前記第１の電荷蓄積によって得られる前記電荷に応じた第１の信号によって第１の画像を生成し、前記第１の期間内において行われる前記複数回の第２の電荷蓄積によって得られる前記電荷に応じた第２の信号を少なくとも用いて第２の画像を生成する制御手段であって、前記第１の電荷蓄積の時間が所定時間未満である第１の場合には、前記第１の信号を用いることなく前記第２の信号によって前記第２の画像を生成し、前記第１の電荷蓄積の時間が前記所定時間以上である第２の場合には、前記第１の信号と前記第２の信号とを用いて前記第２の画像を生成する制御手段と
   を有することを特徴とする撮像装置。
2. 前記所定時間は、前記複数回の第２の電荷蓄積の合間の時間に応じた時間であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の場合における前記第２の電荷蓄積の回数をａとし、前記第２の場合における前記第２の電荷蓄積の回数をｂとすると、前記制御手段は、前記第１の信号に（ａ−ｂ）／ａを乗算することにより得られる値と、前記第２の信号とを用いて、前記第２の画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第２の場合には、前記第１の電荷蓄積の期間の中心は、前記複数回の第２の電荷蓄積のうちの前記第１の電荷蓄積の直前の前記第２の電荷蓄積のタイミングから、前記複数回の第２の電荷蓄積のうちの前記第１の電荷蓄積の直後の前記第２の電荷蓄積のタイミングまでの期間の中心と合致するように設定されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記第１の画像を所定のフレームレートで順次生成することによって複数の前記第１の画像を含む第１の画像群を生成し、前記第２の画像を前記所定のフレームレートで順次生成することによって複数の前記第２の画像を含む第２の画像群を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の画像は静止画像に用いられ、前記第２の画像は動画像に用いられることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の電荷蓄積と前記第２の電荷蓄積とは排他的に行われることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の場合における前記複数回の第２の電荷蓄積の時間の総和は、前記第１の場合における前記第１の電荷蓄積の時間と同等であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記光電変換部には、前記第１の電荷蓄積によって得られる前記電荷を前記第１の電荷保持部に転送する第１の転送トランジスタと、前記第２の電荷蓄積によって得られる前記電荷を前記第２の電荷保持部に転送する第２の転送トランジスタと、前記光電変換部をリセットするリセットトランジスタとが接続されており、
   前記第１の電荷蓄積の時間は、前記リセットトランジスタによる前記光電変換部のリセットが解消されるタイミングから、前記光電変換部から前記第１の電荷保持部への前記第１の転送トランジスタによる電荷の転送が終了するタイミングまでの時間であり、
   前記第２の電荷蓄積の時間は、前記リセットトランジスタによる前記光電変換部のリセットが解消されるタイミングから、前記光電変換部から前記第２の電荷保持部への前記第２の転送トランジスタによる電荷の転送が終了するタイミングまでの時間であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 画像群の１フレームに対応する第１の期間内において行われる光電変換部による第１の電荷蓄積によって得られる電荷に応じた第１の信号によって第１の画像を生成するステップと、
    前記第１の期間内において行われる前記光電変換部による複数回の第２の電荷蓄積によって得られる電荷に応じた第２の信号を少なくとも用いて第２の画像を生成するステップであって、前記第１の電荷蓄積の時間が所定時間未満である第１の場合には、前記第１の信号を用いることなく前記第２の信号によって前記第２の画像を生成し、前記第１の電荷蓄積の時間が前記所定時間以上である第２の場合には、前記第１の信号と前記第２の信号とを用いて前記第２の画像を生成するステップと
    を有することを特徴とする撮像方法。
11. コンピュータに、
    画像群の１フレームに対応する第１の期間内において行われる光電変換部による第１の電荷蓄積によって得られる電荷に応じた第１の信号によって第１の画像を生成するステップと、
    前記第１の期間内において行われる前記光電変換部による複数回の第２の電荷蓄積によって得られる電荷に応じた第２の信号を少なくとも用いて第２の画像を生成するステップであって、前記第１の電荷蓄積の時間が所定時間未満である第１の場合には、前記第１の信号を用いることなく前記第２の信号によって前記第２の画像を生成し、前記第１の電荷蓄積の時間が前記所定時間以上である第２の場合には、前記第１の信号と前記第２の信号とを用いて前記第２の画像を生成するステップと
    を実行させるためのプログラム。