JP2009206826A

JP2009206826A - 撮像システム及び撮像システムの制御方法

Info

Publication number: JP2009206826A
Application number: JP2008046897A
Authority: JP
Inventors: Toshiki Ishida; 俊樹石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-02-27
Filing date: 2008-02-27
Publication date: 2009-09-10
Anticipated expiration: 2028-02-27
Also published as: KR20090092700A; JP4587185B2; CN101521750A; KR101045892B1; US8525893B2; EP2096861A3; EP2096861B1; EP2096861A2; US20090213237A1; CN101521750B

Abstract

【課題】動画撮影と並行して静止画撮影を行う場合でも、高解像度の静止画を得るとともに、得られる動画におけるコマ落ちを防止する。
【解決手段】システム制御部は、第１のモードから第２のモードに切り替わる際に、第１のモードで動作しているフレーム期間内に第２の読み出し期間が始まるように、撮像装置駆動回路及び読み出し回路を制御する。具体的には、第１のモードから第２のモードに切り替わる際、第１の蓄積期間が第１の読み出し期間より短い場合、第１の読み出し期間及び第２の読み出し期間の合計が２フレーム期間に収まるように撮像装置駆動回路及び読み出し回路を制御し、第１の蓄積期間が第１の読み出し期間より長い場合、第１の蓄積期間及び第２の読み出し期間の合計が２フレーム期間に収まるように、撮像装置駆動回路及び読み出し回路を制御する。
【選択図】図２

Description

本発明は、撮像システム及び撮像システムの制御方法に関する。

デジタルカメラやデジタルビデオカメラなどの撮像システムには、動画撮影を行う機能と、静止画撮影を行う機能との両方を有するものがある。撮像システムにおいて、ＣＣＤやＣＭＯＳセンサーなどの撮像装置は、光電変換部を含む画素が行方向及び列方向に複数配列された画素配列と、画素配列から信号を読み出すための読み出し回路とを備える。

特許文献１に示された技術では、撮像システムが、読み出し回路の駆動方式を、動画撮影に適した第１の駆動方式から、静止画撮影に適した第２の駆動方式へ、連続したフレーム期間で切り替える。第１の駆動方式は、動画撮影に適した低い画素密度で画素配列から信号を読み出すように読み出し回路を駆動するための方式である。第２の駆動方式は、静止画撮影に適した高い画素密度で画素配列からで信号を読み出すように読み出し回路を駆動するための方式である。これにより、特許文献１によれば、動画撮影と静止画撮影との連続撮影を行うことができるとされている。
特開２００１−３５２４８３号公報

特許文献１の技術では、静止画撮影中に動画撮影を行わないことが前提とされている。

一方、撮像システムには、動画撮影のみを行うモード（以下、第１のモードとする）と、動画撮影と並行して静止画撮影を行うモード（以下、第２のモードとする）とを有するものがある。

撮像システムは、第１のモードにおいて、動画撮影に適した動作を行う。すなわち、撮像システムは、動画撮影に適したフレーム期間より短い読み出し期間で信号が読み出されるように、加算・間引き・切り出しなどを行って減少させた画素密度で画素配列から信号を読み出すように読み出し回路を駆動する。

撮像システムは、第２のモードにおいて、静止画撮影を優先させた動作を行う。すなわち、撮像システムは、静止画撮影に適した高い画素密度で画素配列からで信号が読み出されるように、動画撮影に適したフレーム期間より長い読み出し期間で信号を読み出すように読み出し回路を駆動する。また、撮像システムは、静止画撮影に適したシャッタースピードすなわち蓄積期間で画素配列の各画素が信号を蓄積するように、動画撮影に適した蓄積期間より短い蓄積期間で信号を蓄積するように画素配列の各画素を制御する。静止画撮影では、被写体の動きに伴う画像のブレを防ぐために、シャッタースピードすなわち蓄積期間を動画撮影に適した蓄積期間（第１のモードにおける蓄積期間）より短くする必要がある。

この撮像システムでは、そのモードが、連続したフレーム間で、第１のモードから第２のモードに切り替わることがある。この場合、撮像システムでは、動画撮影に適したフレームレートを維持すると、第２のモードにおける読み出し期間が１フレーム期間より長くなることにより、得られる動画像にコマ落ちが発生する可能性がある。

例えば、図５に示すように、撮像システムは、モードに関わらず、動画撮影に適したフレームレートを実現できるように、各フレーム期間ＦＴ１〜ＦＴ９の長さを一定にしている。撮像システムは、フレーム期間ＦＴ１，ＦＴ２間で、第１のモードから第２のモードに切り替わる。撮像システムは、フレーム期間ＦＴ２，ＦＴ３間で、第２のモードから第１のモードに切り替わる。撮像システムは、フレーム期間ＦＴ３，ＦＴ４間で、第１のモードから第２のモードに切り替わる。撮像システムは、フレーム期間ＦＴ４，ＦＴ５間で、第２のモードから第１のモードに切り替わる。

図５において、ＶＤは、フレーム同期信号（パルス）であり、ＮＴＳＣ標準信号であれば１／６０秒間隔で発生する。読み出し動作、動画生成動作、静止画生成動作は、それぞれ、フレーム同期信号ＶＤに同期して開始される。

Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉは動画のための信号を示し、Ｂ，Ｄは静止画のための信号を示している。第１のモードにおける光電変換部が蓄積動作を行う第１の蓄積期間（Ｔｓａ＿Ａ，Ｔｓａ＿Ｃ，Ｔｓａ＿Ｅ，Ｔｓａ＿Ｆ，Ｔｓａ＿Ｇ，Ｔｓａ＿Ｈ，Ｔｓａ＿Ｉ）は、１／６０秒固定である。第２のモードにおける光電変換部が蓄積動作を行う第２の蓄積期間（Ｔｓａ＿Ｂ，Ｔｓａ＿Ｄ）は、第１の蓄積期間より短いので１／６０秒以下である。

第１のモードにおける読み出し回路が読み出し動作を行う第１の読み出し期間（Ｔｓｒ＿Ａ，Ｔｓｒ＿Ｆ，Ｔｓｒ＿Ｇ，Ｔｓｒ＿Ｈ，Ｔｓｒ＿Ｉ）は、読み出しクロック速度、チャネル数によるが、１／６０秒以下である。第１の読み出し期間は、各フレーム期間ＦＴ１〜ＦＴ９より短い。第２のモードにおける読み出し回路が読み出し動作を行う第２の読み出し期間（Ｔｓｒ＿Ｂ，Ｔｓｒ＿Ｄ）は、各フレーム期間ＦＴ１〜ＦＴ９より長い。第２の読み出し期間Ｔｓｒ＿Ｂ，Ｔｓｒ＿Ｄがフレーム期間ＦＴ１〜ＦＴ９より長いので、読み出し回路は、信号Ｃ，Ｅの読み出し動作をフレーム同期信号ＶＤに同期して開始することができない。

動画生成動作では、信号Ａ，Ｂ，Ｄ，Ｆ，Ｇ，Ｈのそれぞれを用いて、１フレーム分の動画用の画像信号を生成する（Ｔｍｖ＿Ａ，Ｔｍｖ＿Ｂ，Ｔｍｖ＿Ｄ，Ｔｍｖ＿Ｆ，Ｔｍｖ＿Ｇ，Ｔｍｖ＿Ｈ）。上記のように、読み出し回路が信号Ｃ，Ｅの読み出し動作を行えないことにより、動画生成動作では、信号Ｃ，Ｅのそれぞれに対応した動画用の画像信号を生成できないので、信号Ｃ，Ｅのそれぞれに対応したフレームのコマ落ちが発生する。

一方、静止画生成動作では、信号Ｂ，Ｄのそれぞれを用いて、１フレーム分の静止画用の画像信号を生成する（Ｔｓｔ＿Ｂ，Ｔｓｔ＿Ｄ）。

本発明の目的は、動画撮影と並行して静止画撮影を行う場合でも、高解像度の静止画を得るとともに、得られる動画におけるコマ落ちを防止することにある。

本発明の第１側面に係る撮像システムは、光電変換手段を含む画素が行方向及び列方向に複数配列された画素配列と、第１のモードにおいて前記光電変換手段が第１の蓄積期間で信号を蓄積し、第２のモードにおいて前記光電変換手段が前記第１の蓄積期間より短い第２の蓄積期間で信号を蓄積するように、前記画素配列の各画素を駆動する駆動手段と、前記第１のモードにおいて、予め定めた１フレーム期間より短い第１の読み出し期間に前記画素配列から第１の画素密度で第１の画像信号を読み出し、前記第２のモードにおいて前記１フレーム期間より長い第２の読み出し期間に前記画素配列から前記第１の画素密度より高い第２の画素密度で第２の画像信号を読み出す読み出し手段と、前記第１のモードから前記第２のモードに切り替わる際には、前記第１のモードで動作しているフレーム期間内に前記第２の読み出し期間が始まるように、前記駆動手段及び前記読み出し手段を制御する制御手段と、前記第２のモードにおいて前記第２の読み出し期間に前記読み出し手段により読み出された１フレーム分の前記第２の画像信号を用いて、前記第２のモードで動作中における１フレーム分の前記第１の画像信号を生成する生成手段とを備えたことを特徴とする。

本発明の第２側面に係る撮像システムの制御方法は、光電変換手段を含む画素が行方向及び列方向に複数配列された画素配列を有する撮像システムの制御方法であって、第１のモードにおいて前記光電変換手段が第１の蓄積期間で信号を蓄積し、第２のモードにおいて前記光電変換手段が前記第１の蓄積期間より短い第２の蓄積期間で信号を蓄積するように、前記画素配列の各画素を駆動する駆動ステップと、前記第１のモードにおいて、予め定めた１フレーム期間より短い第１の読み出し期間に前記画素配列から第１の画素密度で第１の画像信号を読み出し、前記第２のモードにおいて前記１フレーム期間より長い第２の読み出し期間に前記画素配列から前記第１の画素密度より高い第２の画素密度で第２の画像信号を読み出す読み出しステップと、前記第１のモードから前記第２のモードに切り替わる際には、前記第１のモードで動作しているフレーム期間内に前記第２の読み出し期間が始まるように、前記駆動ステップ及び前記読み出しステップにおける動作を制御する制御ステップと、前記第２のモードにおいて前記第２の読み出し期間に前記読み出しステップで読み出された１フレーム分の前記第２の画像信号を用いて、前記第２のモードで動作中における１フレーム分の前記第１の画像信号を生成する生成ステップとを備えたことを特徴とする。

本発明によれば、動画撮影と並行して静止画撮影を行う場合でも、高解像度の静止画を得ることができるとともに、得られる動画におけるコマ落ちを防止することができる。

本発明は、撮像装置を備えた撮像システムにおいて、静止画と動画とを並行撮影する際における動作に関するものである。撮像システムは、例えば、デジタルカメラやデジタルビデオカメラである。撮像装置は、例えば、ＣＣＤやＣＭＯＳセンサーである。

本発明の第１実施形態に関する撮像システム１００を、図１を用いて説明する。図１は、本発明の第１実施形態に関する撮像システム１００の構成図である。

撮像システム１００は、第１のモードと第２のモードとを有する。ここで、第１のモードは、動画撮影のみを行うモードである。第２のモードは、動画撮影と並行して静止画撮影を行うモードである。

レンズ１０１は、撮像装置１０３の撮像面（画素配列１０３ａ）に被写体の光学像を形成する。この際、アイリス１０２は、レンズ１０１から撮像装置１０３へ導かれる光の量を調節する。

撮像装置１０３は、光学像を光電変換して画像信号を生成して、生成した画像信号をＡＤ変換器１０４へ出力する。撮像装置１０３は、画素配列１０３ａ、読み出し回路１０３ｂ、及び出力回路１０３ｃを含む。

画素配列１０３ａでは、光電変換部（図示せず）を含む画素（図示せず）が行方向及び列方向に複数配列されている。光電変換部は、所定の蓄積期間で信号を蓄積する蓄積動作を行う。光電変換部は、例えば、フォトダイオードである。第１のモードにおいて光電変換部は第１の蓄積期間で信号を蓄積する。第２のモードにおいて光電変換部は第１の蓄積期間より短い第２の蓄積期間で信号を蓄積する。

読み出し回路１０３ｂは、所定のモードにおいて所定の読み出し期間に画素配列から所定の画素密度で画像信号を読み出す読み出し動作を行う。例えば、読み出し回路１０３ｂは、第１のモードにおいて予め定めた１フレーム期間より短い第１の読み出し期間に画素配列から第１の画素密度で第１の画像信号を読み出す。例えば、読み出し回路１０３ｂは、第２のモードにおいて１フレーム期間より長い第２の読み出し期間に画素配列から第１の画素密度より高い第２の画素密度で第２の画像信号を読み出す。読み出し回路１０３ｂは、画像信号を出力回路へ供給する。

出力回路１０３ｃは、画像信号を増幅し、増幅した画像信号を後段（ＡＤ変換器１０４）へ出力する。

ＡＤ変換器１０４は、撮像装置１０３から受けた画像信号（アナログ信号）をＡＤ変換して画像信号（デジタル信号）を生成して、変換した画像信号（第１の画像信号、第２の画像信号）をタイミング調整部１０５へ出力する。タイミング調整部１０５は、画像信号をフレーム期間に同期したタイミングの信号に補正して、補正後の画像信号（第１の画像信号、第２の画像信号）を信号処理部１０６へ出力する。

信号処理部（生成手段）１０６は、第１の画像信号に対して動画用の信号処理を行って動画用の画像信号（第１の画像信号）を生成する動画生成動作を行う。信号処理部１０６は、第２の画像信号に対して静止画用の信号処理を行って静止画用の画像信号（第２の画像信号）を生成する静止画生成動作を行う。信号処理部１０６は、モードに応じて、動画生成動作及び静止画生成動作の少なくとも一方を行う。

例えば、信号処理部１０６は、第１のモードにおいて第１の読み出し期間に読み出し回路により読み出された１フレーム分の第１の画像信号を増幅する。信号処理部１０６は、その増幅した第１の画像信号を用いて、第１のモードで動作中における１フレーム分の第１の画像信号を生成する。信号処理部１０６は、第２のモードにおいて第２の読み出し期間に読み出し回路により読み出された１フレーム分の第２の画像信号を用いて、第２のモードで動作中における１フレーム分の第１の画像信号を生成する。このように、信号処理部１０６は、第１の画像信号又は第２の画像信号に対して動画用の信号処理を行って動画用の画像信号（第１の画像信号）を生成する動画生成動作を行う。

信号処理部１０６は、生成した動画用の画像信号及び／又は静止画用の画像信号を記録・表示用の画像データ（動画像データ、静止画像データ）として出力する。動画用の信号処理は、動画用の画像信号を所定のゲインで増幅する処理を含む。静止画用の信号処理は、静止画用の画像信号を所定のゲインで増幅する処理を含む。

アイリスモータ１１０は、アイリス１０２を駆動する。アイリス駆動回路１０８は、アイリスモータ１１０を駆動する。

システム制御部（制御手段）１０７は、入力部（図示せず）を介して利用者からモードを指定するための指示を受け付ける。システム制御部１０７は、指定されたモードに応じて、各部を制御する。例えば、システム制御部１０７は、静止画／動画並行撮影指示を受け付けた場合、第２のモードが指定されたと判断して、第１のモードから第２のモードへそのモードを切り替える。

システム制御部１０７は、モードに応じて、適正な画像の露出値が得られるように、アイリス１０２の開度と、信号処理部１０６が動画用の画像信号を増幅する際のゲインとを決定する。システム制御部１０７は、決定した開度に応じた制御信号を生成してアイリス駆動回路１０８へ供給する。また、システム制御部１０７は、決定したゲインに応じた制御信号を生成して信号処理部１０６へ供給する。

例えば、システム制御部１０７は、第１のモードから第２のモードに切り替わり第１のモードに戻る際に、戻った第１のモードで光電変換部が信号を蓄積する期間を第３の蓄積期間に決定する。システム制御部１０７は、第１の蓄積期間より短くかつ１フレーム期間より短くなるように、第３の蓄積期間を決定する。システム制御部１０７は、決定した第３の蓄積期間に応じた制御信号を生成して撮像装置駆動回路１０９へ供給することにより、撮像装置駆動回路１０９を制御する。また、システム制御部１０７は、決定した第３の蓄積期間に応じて、適正な画像の露出値が得られるように、信号処理部１０６が第１の画像信号を増幅する際のゲイン（増幅率）を決定する。システム制御部１０７は、決定したゲインに応じた制御信号を生成して信号処理部１０６へ供給することにより、信号処理部１０６を制御する。

システム制御部１０７は、モードに応じて、光電変換部が蓄積動作を行う蓄積期間、読み出し回路１０３ｂが読み出し動作を行う読み出し期間を決定する。システム制御部１０７は、決定した蓄積期間及び読み出し期間に応じた制御信号を生成して撮像装置駆動回路１０９へ供給する。

例えば、システム制御部１０７は、第１のモードから第２のモードに切り替わる際に、第１のモードで動作しているフレーム期間内に第２の読み出し期間が始まるように、撮像装置駆動回路１０９及び読み出し回路を制御する。

具体的には、システム制御部１０７は、第１のモードから第２のモードに切り替わる際に、次のような制御を行う。システム制御部１０７は、第１の蓄積期間が第１の読み出し期間より短い場合、第１の読み出し期間及び第２の読み出し期間の合計が、２フレーム期間に収まるように、撮像装置駆動回路１０９及び読み出し回路を制御する。システム制御部１０７は、第１の蓄積期間が第１の読み出し期間より長い場合、第１の蓄積期間及び第２の読み出し期間の合計が、２フレーム期間に収まるように、撮像装置駆動回路１０９及び読み出し回路を制御する。

あるいは、システム制御部１０７は、第１のモードから第２のモードに切り替わり第１のモードに戻る際に、次のような制御を行う。システム制御部１０７は、第１の蓄積期間が第１の読み出し期間より短い場合、第１の読み出し期間、第２の読み出し期間、及び別の第１の読み出し期間の合計が、３フレーム期間に収まるように、撮像装置駆動回路１０９及び読み出し回路を制御する。システム制御部１０７は、第１の蓄積期間が第１の読み出し期間より長い場合、第１の蓄積期間、第２の読み出し期間、及び別の第１の読み出し期間の合計が、３フレーム期間に収まるように、撮像装置駆動回路１０９及び読み出し回路を制御する。

撮像装置駆動回路１０９は、供給された制御信号に応じて、光電変換部の蓄積動作と読み出し回路１０３ｂの読み出し動作とを制御する。

例えば、撮像装置駆動回路１０９は、第１のモードにおいて光電変換部が第１の蓄積期間で信号を蓄積し、第２のモードにおいて光電変換部が第１の蓄積期間より短い第２の蓄積期間で信号を蓄積するように、画素配列１０３ａの各画素を駆動する。すなわち、撮像装置駆動回路１０９は、そのように、光電変換部の蓄積動作を制御する。また、撮像装置駆動回路１０９は、第１のモードにおいて１フレーム期間より短い第１の読み出し期間に画素配列から第１の画素密度で第１の画像信号を読み出すように、読み出し回路を制御する。撮像装置駆動回路１０９は、第２のモードにおいて１フレーム期間より長い第２の読み出し期間に画素配列から第１の画素密度より高い第２の画素密度で第２の画像信号を読み出すように、読み出し回路を制御する。

次に、撮像システム１００の動作を、図２を用いて説明する。図２は、撮像システム１００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図である。

図２に示すように、撮像システム１００は、モードに関わらず、動画撮影に適したフレームレートを実現できるように、各フレーム期間ＦＴ１〜ＦＴ９の長さを一定にしている。撮像システム１００は、フレーム期間ＦＴ１，ＦＴ１０２間で、第１のモードから第２のモードに切り替わる。ここで、第１のモードは、動画撮影のみを行うモードである。第２のモードは、動画撮影と並行して静止画撮影を行うモードである。撮像システム１００は、フレーム期間ＦＴ１０２，ＦＴ１０３間で、第２のモードから第１のモードに切り替わる。すなわち、撮像システム１００は、フレーム期間ＦＴ１〜ＦＴ１０３で、第１のモードから第２のモードに切り替わり第１のモードに戻る。撮像システム１００は、フレーム期間ＦＴ１０３，ＦＴ１０４間で、第１のモードから第２のモードに切り替わる。撮像システム１００は、フレーム期間ＦＴ１０４，ＦＴ１０５間で、第２のモードから第１のモードに切り替わる。すなわち、撮像システム１００は、フレーム期間ＦＴ１０３〜ＦＴ１０５で、第１のモードから第２のモードに切り替わり第１のモードに戻る。

図２において、ＶＤは、フレーム同期信号（パルス）であり、ＮＴＳＣ標準信号であれば１／６０秒（Ｔｖｃｙｃ）間隔で発生する。読み出し動作、動画生成動作、静止画生成動作は、それぞれ、フレーム同期信号ＶＤに同期して開始される。

Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉは動画用の画像信号（第１の画像信号）を示し、Ｂ，Ｄは静止画用の画像信号（第２の画像信号）を示している。

「蓄積動作（１行）」では、各行の画素の光電変換部の蓄積動作を代表して第１行目の画素の光電変換部が蓄積動作を行う蓄積期間を示している。他の行の画素の光電変換部の蓄積動作は、第１行目の画素の光電変換部の蓄積動作の開始タイミングに遅れて開始され、第１行目の画素の光電変換部の蓄積動作と並行して第１行目と同じ蓄積期間で行われる（図４参照）。

「読み出し動作（全行）」では、最初の行（第１行目）の画素の信号を読み出し始めてから最後の行（第Ｎ行目）の画素の信号を読み終わるまでの読み出し期間を示している。すなわち、読み出し回路が読み出し動作を行う読み出し期間を示している。

「動画生成動作」では、第１の画像信号（又は第２の画像信号）に対して動画用の信号処理を行って動画用の画像信号を生成する動画生成動作を信号処理部１０６が行う期間を示している。

「静止画生成動作」では、第２の画像信号に対して静止画用の信号処理を行って静止画用の画像信号を生成する静止画生成動作を信号処理部１０６が行う期間を示している。

信号（第１の画像信号）Ａは、各行の画素の光電変換部により、１／６０秒間の第１の蓄積期間（Ｔｓａ＿Ａ）で蓄積される。信号Ａは、第１の読み出し期間Ｔｓｒ＿Ａで画素配列から読み出された後、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ａ）で動画像データとして出力される。

信号（第２の画像信号）Ｂは、静止画／動画並行撮影フレームの信号である。信号Ｂは、各行の光電変換部により、１／６０秒以下の第２の蓄積期間（Ｔｓａ＿Ｂ）で蓄積される。信号Ｂの第２の蓄積期間は、信号Ａの第１の蓄積期間が終了した直後に開始する。蓄積期間は撮影モードに依存して変わるが、本実施形態における第２の蓄積期間（Ｔｓａ＿Ｂ）は、動画より高速なシャッタースピードに対応した１／６０秒以下の長さを有する。信号Ｂの第２の蓄積期間が終了し、かつ、信号Ａの第１の読み出し期間が終了した直後に、信号Ｂの第２の読み出し期間が開始する。信号Ｂの第２の読み出し期間（Ｔｓｒ＿Ｂ）は、画素配列の全画素から信号を読み出すために、画素数が大きければそれだけ長くなる。信号Ｂは、第２の読み出し期間（Ｔｓｒ＿Ｂ）で読み出された後、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｂ）で動画像データとして出力され、期間（Ｔｓｔ＿Ｂ）で静止画像データとして出力される。

信号（第１の画像信号）Ｃは、信号Ａと同様に、各行の画素の光電変換部により、第１の蓄積期間（Ｔｓａ＿Ｃ）で蓄積される。信号Ｃは、第１の読み出し期間Ｔｓｒ＿Ｃで画素配列から読み出された後、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｃ）で動画像データとして出力される。

信号（第２の画像信号）Ｄは、信号Ｂと同様に、静止画／動画並行撮影フレームの信号である。信号Ｄは、各行の光電変換部により、第２の蓄積期間（Ｔｓａ＿Ｄ）で蓄積される。信号Ｄの第２の蓄積期間は、信号Ｃの第１の蓄積期間が終了した直後に開始する。信号Ｄは、第２の読み出し期間Ｔｓｒ＿Ｄで読み出された後、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｄ）で動画像データとして出力される。

ここで、信号Ｃの第１の読み出し期間Ｔｓｒ＿Ｃ及び信号Ｄの第２の読み出し期間Ｔｓｒ＿Ｄの合計と、信号Ｄの第１の蓄積期間（Ｔｓａ＿Ｄ）及び信号Ｄの第２の読み出し期間Ｔｓｒ＿Ｄの合計との少なくとも一方が２フレーム期間より長くなっている。これにより、信号Ｄの第２の読み出し期間Ｔｓｒ＿Ｄが終了するタイミングは、信号（第１の画像信号）Ｅの読み出し動作を行うべきフレーム期間ＦＴ１０６内になる。このため、信号Ｅの第１の読み出し期間Ｔｓｒ＿Ｅは、フレーム期間ＦＴ１０６の開始タイミングより遅れたタイミングから開始する。それに合わせて、信号Ｅの第１の蓄積期間（Ｔｓａ＿Ｅ）が終了するタイミングもフレーム期間ＦＴ１０６の開始タイミングより遅れたタイミングになる。

信号（第１の画像信号）Ｆの第１の読み出し期間Ｔｓｒ＿Ｆの開始タイミングは、フレーム期間ＦＴ１０７の開始タイミングに戻される。信号Ｆの第１の読み出し期間の開始タイミングを遅れたままにしておくと、その後に静止画／動画並行撮影フレームの信号が挿入されたときに、信号Ｂ，Ｄのように第２の読み出し期間の開始タイミングをフレーム期間の開始タイミングより前にずらせなくなる。また、信号の読み出し期間の開始タイミングが遅れた直後の信号Ｆの読み出し期間の開始タイミングをフレーム期間の開始タイミングに戻すことにより、画素数の高い静止画／動画並行撮影フレームの読み出し期間が直後に始まってもコマ落ちを防止することができる。

信号Ｆの第３の蓄積期間（Ｔｓａ＿Ｆ）は、信号Ｅの第１の蓄積期間（Ｔｓａ＿Ｅ）が終了した後に開始し、フレーム期間ＦＴ１０６の終了タイミングの前に終了するため、１／６０秒以下の長さになる。この場合、信号処理部１０６は、信号Ｆの蓄積期間が第１の蓄積期間に比べて短くかつ１フレーム期間Ｔｖｃｙｃより短い第３の蓄積期間であることに応じて、信号Ｆを増幅する際のゲインを高くする（ゲイン補正する）。信号Ｆは、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｆ）で動画像データとして出力される。

静止画／動画並行撮影フレームが挿入されて所定の複数フレーム期間（Ｔｃｙｃ＿ｍｓ１，Ｔｃｙｃ＿ｍｓ２）では、フレーム期間と非同期で駆動することになるが、その期間終了後には同期駆動に戻る。

以上のように、本実施形態によれば、動画撮影と並行して静止画撮影を行う場合でも、高解像度の静止画を得ることができるとともに、得られる動画におけるコマ落ちを防止することができる。すなわち、静止画と動画とを並行撮影する際の静止画の高精細化及び動画のフレームレート保持を両立させることができる。

次に、本発明の第２実施形態に係る撮像システム２００を、図３を用いて説明する。図３は、撮像システム２００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図である。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

撮像システム２００では、図３に示すように、第１のモードにおいて、信号Ｆ，Ｇ，Ｈの第４の蓄積期間（Ｔｓａ＿Ｆ，Ｔｓａ＿Ｇ，Ｔｓａ＿Ｈ）の終了タイミングを、フレーム期間の開始タイミングより遅れたタイミングから徐々に近づけていく。第４の蓄積期間（Ｔｓａ＿Ｆ，Ｔｓａ＿Ｇ，Ｔｓａ＿Ｈ）は、１／６０秒より短い。

これに応じて、信号Ｆ，Ｇの第１の読み出し期間（Ｔｓｒ＿Ｆ，Ｔｓｒ＿Ｇ）の開始タイミングも、フレーム期間の開始タイミングより遅れたタイミングから徐々に近づけていく。信号Ｈの第１の読み出し期間Ｔｓｒ＿Ｈの開始タイミングは、フレーム期間の開始タイミングになる。

ここで、信号Ｈの第１の読み出し期間の開始タイミングを遅れたままにしておくと、その後に静止画／動画並行撮影フレームの信号が挿入されたときに、信号Ｂのように第２の読み出し期間の開始タイミングをフレーム期間の開始タイミングより前にずらせなくなる。また、複数フレーム（Ｆ，Ｇ，Ｈ）かけて戻すのは、他のフレームとの間で蓄積期間の差異を削減して画像の違和感を解消するためである。

この場合、信号処理部１０６は、信号Ｆ，Ｇ，Ｈの蓄積期間が第１の蓄積期間に比べて短い第４の蓄積期間であることに応じて、信号Ｆ，Ｇ，Ｈを増幅する際のゲインを高くする（ゲイン補正する）。信号Ｆ，Ｇ，Ｈは、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｆ，Ｔｍｖ＿Ｇ，Ｔｍｖ＿Ｈ）で動画像データとして出力される。

次に、本発明の第３実施形態に係る撮像システム３００を、図４を用いて説明する。図４は、撮像システム３００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図である。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

図４において、「蓄積動作（全行）」では、各行の画素の光電変換部が蓄積動作を行う蓄積期間を、各行の画素の垂直方向の位置に対応付けて示している。第１行目〜第Ｎ行目の蓄積期間は、順次に開始し、順次に終了する。また、複数の行の蓄積動作は、時間的に並行して行われる。

図４において、ＲＡ，ＲＢ，ＲＣ，ＲＤ，ＲＥ，ＲＦ，ＲＧ，ＲＨ，ＲＩは、各行の画素がリセット動作を完了するタイミングを示している。ＹＡ，ＹＢ，ＹＣ，ＹＤ，ＹＥ，ＹＦ，ＹＧ，ＹＨ，ＹＩは、各行の画素から信号が読み出される読み出し動作が行われるタイミングを示している。すなわち、各行の画素の蓄積動作は、リセット動作が完了したタイミングで開始し、読み出し動作が行われるタイミングで終了する。

信号Ｃの第３の蓄積期間（Ｔｓａ＿Ｃ）の開始タイミングは、フレーム期間の開始タイミングより後ろにずれる。信号Ｃの第３の蓄積期間がフレーム期間の開始タイミングで開始すると、所定のタイミングにおいて、信号Ｃの蓄積動作を開始する行が、信号Ｂの読み出し動作が行われる行を追い越してしまう。

信号Ｄの第３の蓄積期間の開始タイミングは、信号Ａと同様に、フレーム期間の開始タイミングに戻る。これにより、次に静止画／動画並行撮影フレームが指示されたときのコマ落ちを防止することが可能となる。

この場合、信号処理部１０６は、信号Ｃの蓄積期間が第１の蓄積期間に比べて短い第３の蓄積期間であることに応じて、信号Ｃを増幅する際のゲインを高くする（ゲイン補正する）。信号Ｃは、フレーム期間に同期したタイミングから始まる期間（Ｔｍｖ＿Ｃ）で動画像データとして出力される。

静止画／動画並行撮影フレームが挿入されて所定の複数フレーム期間（Ｔｃｙｃ＿ｍｓ１）では、フレーム期間と非同期で駆動することになるが、その期間終了後には同期駆動に戻る。

本発明の第１実施形態に関する撮像システム１００の構成図。撮像システム１００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図。本発明の第２実施形態に係る撮像システム２００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図。本発明の第３実施形態に係る撮像システム３００における蓄積動作、読み出し動作、動画生成動作、及び静止画生成動作のタイミングを示す図。本発明の課題を説明するための図。

符号の説明

１００、２００、３００撮像システム
１０３撮像装置

Claims

光電変換手段を含む画素が行方向及び列方向に複数配列された画素配列と、
第１のモードにおいて前記光電変換手段が第１の蓄積期間で信号を蓄積し、第２のモードにおいて前記光電変換手段が前記第１の蓄積期間より短い第２の蓄積期間で信号を蓄積するように、前記画素配列の各画素を駆動する駆動手段と、
前記第１のモードにおいて、予め定めた１フレーム期間より短い第１の読み出し期間に前記画素配列から第１の画素密度で第１の画像信号を読み出し、前記第２のモードにおいて前記１フレーム期間より長い第２の読み出し期間に前記画素配列から前記第１の画素密度より高い第２の画素密度で第２の画像信号を読み出す読み出し手段と、
前記第１のモードから前記第２のモードに切り替わる際には、前記第１のモードで動作しているフレーム期間内に前記第２の読み出し期間が始まるように、前記駆動手段および前記読み出し手段を制御する制御手段と、
前記第２のモードにおいて前記第２の読み出し期間に前記読み出し手段により読み出された１フレーム分の前記第２の画像信号を用いて、前記第２のモードで動作中における１フレーム分の前記第１の画像信号を生成する生成手段と、
を備えたことを特徴とする撮像システム。
前記制御手段は、前記第１のモードから前記第２のモードに切り替わる際に、前記第１の蓄積期間が前記第１の読み出し期間より短い場合、前記第１の読み出し期間及び前記第２の読み出し期間の合計が、２フレーム期間に収まるように、前記駆動手段および前記読み出し手段を制御し、前記第１の蓄積期間が前記第１の読み出し期間より長い場合、前記第１の蓄積期間及び前記第２の読み出し期間の合計が、２フレーム期間に収まるように、前記駆動手段および前記読み出し手段を制御する
ことを特徴とする請求項１に記載の撮像システム。
前記制御手段は、前記第１のモードから前記第２のモードに切り替わり前記第１のモードに戻る際に、前記第１の蓄積期間が前記第１の読み出し期間より短い場合、前記第１の読み出し期間、前記第２の読み出し期間、及び別の前記第１の読み出し期間の合計が、３フレーム期間に収まるように、前記駆動手段および前記読み出し手段を制御し、前記第１の蓄積期間が前記第１の読み出し期間より長い場合、前記第１の蓄積期間、前記第２の読み出し期間、及び別の前記第１の読み出し期間の合計が、３フレーム期間に収まるように、前記駆動手段および前記読み出し手段を制御する
ことを特徴とする請求項１に記載の撮像システム。
前記生成手段は、前記第１のモードにおいて前記第１の読み出し期間に前記読み出し手段により読み出された１フレーム分の前記第１の画像信号を増幅し、増幅した前記第１の画像信号を用いて、前記第１のモードで動作中における１フレーム分の前記第１の画像信号を生成し、
前記制御手段は、前記第１のモードから前記第２のモードに切り替わり前記第１のモードに戻る際に、戻った前記第１のモードで前記光電変換手段が信号を蓄積する期間を前記第１の蓄積期間より短くかつ前記１フレーム期間より短い第３の蓄積期間に決定することにより、前記駆動手段を制御するとともに、決定した前記第３の蓄積期間に応じて、適正な画像の露出値が得られるように、前記生成手段が前記第１の画像信号を増幅する際の増幅率を決定することにより、前記生成手段を制御する
ことを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
光電変換手段を含む画素が行方向及び列方向に複数配列された画素配列を有する撮像システムの制御方法であって、
第１のモードにおいて前記光電変換手段が第１の蓄積期間で信号を蓄積し、第２のモードにおいて前記光電変換手段が前記第１の蓄積期間より短い第２の蓄積期間で信号を蓄積するように、前記画素配列の各画素を駆動する駆動ステップと、
前記第１のモードにおいて、予め定めた１フレーム期間より短い第１の読み出し期間に前記画素配列から第１の画素密度で第１の画像信号を読み出し、前記第２のモードにおいて前記１フレーム期間より長い第２の読み出し期間に前記画素配列から前記第１の画素密度より高い第２の画素密度で第２の画像信号を読み出す読み出しステップと、
前記第１のモードから前記第２のモードに切り替わる際には、前記第１のモードで動作しているフレーム期間内に前記第２の読み出し期間が始まるように、前記駆動ステップおよび前記読み出しステップにおける動作を制御する制御ステップと、
前記第２のモードにおいて前記第２の読み出し期間に前記読み出しステップで読み出された１フレーム分の前記第２の画像信号を用いて、前記第２のモードで動作中における１フレーム分の前記第１の画像信号を生成する生成ステップと、
を備えたことを特徴とする撮像システムの制御方法。