JP2020184699A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法の提供。【解決手段】撮像装置は、撮像素子を用いた動画撮影中に静止画の撮影指示が入力された場合、撮影指示の入力から予め定められた時間が経過すると、撮像素子を用いて１枚目の静止画撮影を実行する。また、撮像装置は、撮影指示が継続して入力されている場合、２枚目以降の静止画撮影を動画撮影のブランキング期間に実行するように撮像素子を制御する。【選択図】 図３

Description

本発明は撮像装置およびその制御方法に関し、特に動画撮影中の静止画撮影が可能な撮像装置およびその制御方法に関する。

デジタルカメラや、カメラ機能を備えた電子機器（以下、まとめて撮像装置と呼ぶ）には、ライブビュー（ＬＶ）機能を有するものがある。ＬＶ機能は、動画撮影と、その撮影で得られた動画の表示とを並行して実行することにより、動画を表示する表示装置をファインダーとして機能させる。ユーザは、ＬＶ機能により表示される動画像により、記録を行う静止画や動画の撮影範囲を調整することができる。

通常、静止画データと動画データとは解像度などが異なるため、撮像センサの動作も静止画撮影時と動画撮影時とで異なる。動画撮影と静止画撮影とに同じ撮像センサを用いる場合には、撮影する画像の種類に応じて撮像センサの動作を切り替える必要がある。静止画撮影のタイミングによっては、動画撮影を中断する必要があり、その場合にはライブビュー表示が中断したり、表示画像の更新頻度が低下したりする。

特許文献１には、フル解像度のフレームと、より低い解像度のフレームとを規則的な順序で撮像素子から読み出して動画を取得しつつ、静止画撮影の指示があった場合には、直近のフル解像度のフレームを静止画として出力する方法が開示されている。

特開２０１８−０３８０８８号公報

特許文献１に開示されているように、撮影中の動画の１フレームを静止画として抽出することで、動画撮影が静止画撮影によって中断したり、動画の更新頻度が低下したりすることを抑制できる。しかし、フル解像度のフレームが直近に撮影されたタイミングと静止画撮影の指示の入力タイミングとの差により、ユーザの意図した静止画が得られない場合がある。また、動画撮影時には解像度の異なる２種類の読み出しを例えば１フレームごとに切り替えながら実施する必要がある。そのため、撮像素子の読出制御や、表示用画像データの生成処理が複雑になるという問題もある。

本発明は、このような従来技術の課題に鑑みてなされたもので、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像素子と、撮像素子の動作を制御する制御手段と、を有し、制御手段は、撮像素子を用いた動画撮影中に静止画の撮影指示が入力された場合、撮影指示の入力から予め定められた時間が経過すると、撮像素子を用いて１枚目の静止画撮影を実行し、撮影指示が継続して入力されている場合、２枚目以降の静止画撮影を動画撮影のブランキング期間に実行するように撮像素子を制御する、ことを特徴とする撮像装置によって達成される。

本発明によれば、ユーザの意図に合ったタイミングでの静止画撮影と、静止画撮影時の安定した動画表示とを両立させることが可能な撮像装置およびその制御方法を提供できる。

実施形態に係る撮像装置の機能構成例を示すブロック図 実施形態における撮像素子の構成例を示す図 第１実施形態における動画撮影中の静止画撮影時の動作に関するフローチャート 第１実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート 第１実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート 第１実施形態の変形例に関するフローチャート 第２実施形態に関するフローチャート 第２実施形態における動画撮影中の静止画撮影時の動作に関するタイミングチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の実施形態では本発明をデジタルカメラのような撮像装置に適用した例について説明する。しかし、本発明は１つの撮像センサを用いて動画撮影中に静止画撮影可能な撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

●（第１実施形態）
（デジタルカメラの構成）
図１は、本発明の第１実施形態に係る撮像装置の一例としてのデジタルカメラ１の機能構成例を示すブロック図である。撮影光学系１０４は被写体の光学像を撮像素子１０７の撮像面に形成する。撮影光学系１０４は、第１レンズ１００、絞り１０１、第２レンズ１０２、および第３レンズ１０３を有している。第１レンズ１００は撮影光学系１０４の先端に配置されている。絞り１０１は絞りアクチュエータ１１９によって駆動され、開口径が調節可能である。第２レンズ１０２および第３レンズ１０３は撮影光学系１０４が合焦する距離を調節するフォーカスレンズを構成する。第２レンズ１０２および第３レンズ１０３は光軸に沿って前後方向に移動可能であり、フォーカスアクチュエータ１１７に駆動される。

フォーカルプレーンシャッタ１０５（以下、シャッタ）はシャッタ駆動回路１１５によって駆動され、静止画撮影時における撮像素子１０７の露光時間を調節する。光学ローパスフィルタ１０６は撮像素子１０７によって得られる画像に現れる偽色やモアレを低減する。撮像素子１０７は例えば複数の光電変換領域が２次元配置されたＣＭＯＳイメージセンサである。撮像素子１０７は、撮影光学系１０４が形成する被写体の光学像を複数の光電変換領域により電気信号群（アナログ画像信号）に変換する。

ＤＳＰ（デジタル信号プロセッサ）１０８は撮像素子１０７から読み出された画像信号や、ＲＡＭ１０９から読み出された画像データに対して予め定められた画像処理を適用し、表示用または記録用の、静止画データまたは動画データを生成する。ＤＳＰ１０８が適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理などが含まれる。前処理には、Ａ／Ｄ変換、ノイズ低減、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮像レンズ１２０の光学系の収差を補正する処理、色を補正する処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。なお、これらはＤＳＰ１０８が実施可能な画像処理の例示であり、ＤＳＰ１０８が実施する画像処理を限定するものではない。ＤＳＰ１０８は、生成した静止画データをＲＡＭ１０９に書き込む。

なお、ＤＳＰ１０８は、生成した画像データに対して検出処理や評価値算出処理を適用してもよい。検出処理は、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などである。また、評価値算出処理は、位相差ＡＦ（自動焦点検出）用の１対の像信号、コントラストＡＦ用の評価値、自動露出制御（ＡＥ）に用いる評価値など、制御部１１０が用いる評価値を算出する処理である。

ＲＡＭ１０９は、ＤＳＰ１０８で処理された画像データや、制御部１１０が実行するプログラムを記憶したり、制御部１１０がプログラムを実行するために必要な情報を記憶したりするために用いられる。ＲＡＭ１０９の一部が表示部１１２のためのビデオメモリとして用いられてもよい。なお、アクセス速度が十分に速く、読み書き可能な任意の記憶装置をＲＡＭ１０９の代わりに、あるいはＲＡＭ１０９に追加して用いることができる。

また、本実施形態においては、ＲＡＭ１０９がＤＳＰ１０８および制御部１１０の外部に配置された構成としている。しかし、ＲＡＭ１０９の少なくとも一部がＤＳＰ１０８や制御部１１０に内蔵された構成であってもよい。

制御部１１０は例えばＣＰＵを有し、ＲＯＭ１１４に記憶されたプログラムをＲＡＭ１０９に読み込んで実行することにより、後述する処理を始めとしたデジタルカメラ１の機能を実現する。なお、ＣＰＵの代わりにプログラマブルプロセッサであるＦＰＧＡ（field-programmable gate array）を用いてもよい。制御部１１０はまた、撮像素子１０７の動作モードを設定したり、動作のタイミングを制御するための各種の信号を生成して撮像素子１０７に供給したりする。また、制御部１１０は、ＤＳＰ１０８が算出した評価値を用いて、撮影光学系１０４の合焦位置を調節するＡＦ処理や、絞り１０１の開口径を調節するＡＥ処理を実行する。

操作部１１１は、ユーザがデジタルカメラ１に指示を与えるために設けられた複数の入力デバイスの総称である。操作部１１１に含まれる代表的な入力デバイスには、ボタン、スイッチ、レバー、ダイヤル、ジョイスティック、タッチパッドなどがあるが、これらに限定されない。視線入力や音声入力のような、物理的な操作を必要としない入力を実現するための構成も操作部１１１に含まれる。個々の入力デバイスには機能が静的または動的に割り当てられており、入力デバイスが操作されると、その入力デバイスに割り当てられた機能が実現される。レリーズボタン、メニューボタン、方向キーなどは、機能が割り当てられた入力デバイスの呼称の例である。

本実施形態において、制御部１１０は、例えば操作部１１１を通じて静止画の撮影指示（例えばレリーズボタンの押下）を検出すると、一定時間（レリーズタイムラグ）後に静止画の撮影動作を開始する。その後、静止画の撮影指示が連続して入力されていれば、制御部１１０は予め定められた周期または間隔ごとに静止画の撮影動作を実行する（連写）。

表示部１１２は、例えばＬＣＤ(Liquid Crystal Display)やＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの表示装置である。表示部１１２は、ＤＳＰ１０８が生成する表示用の静止画データや動画データを表示する。ライブビュー画像データ（動画データを）表示する表示デバイス１０３は、電子ビューファインダー（ＥＶＦ）として機能する。表示部１１２はまた、メニュー画面などのＧＵＩや、デジタルカメラ１の情報を表す画像（例えば、現在設定されている撮影パラメータの値を表す画像）を表示する。

記録媒体１１３は、例えば不揮発性メモリであり、メモリカードのような着脱可能な形態を有してもよい。記録媒体１１３にはＤＳＰ１０８が生成する、記録用の静止画データや動画データが所定の形式のデータファイルとして記録される。

ＲＯＭ１１４は、制御部１１０のＣＰＵが実行可能なプログラム、各種の設定値や初期値、ＧＵＩデータなどを格納する。ＲＯＭ１１４は書き換え可能であってよい。

シャッタ駆動回路１１５は、シャッタ１０５を駆動するモータやコイルなどを有する。シャッタ駆動回路１１５は、制御部１１０の制御に従い、シャッタ１０５の開閉動作を制御する。

フォーカス駆動回路１１６は、フォーカスレンズ（第２レンズ１０２、第３レンズ１０３）を光軸に沿って駆動するアクチュエータや、フォーカスレンズの位置を検出するセンサなどを有する。フォーカス駆動回路１１６は、制御部１１０の制御に従ってフォーカスレンズの位置を制御し、撮影光学系１０４の合焦位置を調節する。

絞り駆動回路１１８は、制御部１１０の制御に従って、絞り１０１を駆動するアクチュエータ１１９の動作を制御し、絞り１０１の開口量を調整する。

（撮像素子の構成）
次に、図２を参照して、撮像素子１０７の構成例について説明する。本実施形態において、撮像素子１０７は電荷蓄積および読み出しを行単位で実行するものとする。撮像素子１０７は例えばＣＭＯＳイメージセンサであってよい。

図２（ａ）は、撮像素子１０７に複数設けられる単位画素２０６の回路構成例を示す図である。単位画素は１つのマイクロレンズと、光電変換部として機能するフォトダイオード（ＰＤ）２００とを有する。フォトダイオード２００は単位画素あたり複数設けられてもよい。転送スイッチ２０１は、信号φｐｔｘの値がＨｉｇｈ（Ｈ）レベルのときオンする。転送スイッチ２０１がオンのとき、ＰＤ２００に蓄積された光電荷がフローティングディフュージョン（ＦＤ）２０２に転送される。

リセットスイッチ２０３は、信号φｐｒｅｓがＨレベルのときオンする。信号φｐｔｘとφｐｒｅｓを両方ともＨレベルにして、ＰＤ２００とＦＤ２０２を電源電圧（ＶＤＤ）にすることで、ＦＤ２０２がリセットされる。

増幅トランジスタ２０４は、一端を電源電圧ＶＤＤに、別の一端をセレクトスイッチ２０５に接続される。セレクトスイッチ２０５は一端を増幅トランジスタ２０４に、別の一端を単位画素２０６外部の垂直信号線２０８（図２（ｂ）参照）に接続される。セレクトスイッチ２０５は、信号φｐｓｅｌの値がＨレベルになるとオンし、増幅トランジスタ２０４と垂直信号線２０８とを接続する。これにより、ＦＤ２０２に転送されている電荷量が増幅トランジスタ２０４によって電圧値に変換され、画素信号として垂直信号線２０８に出力される。

図２（ｂ）は、撮像素子１０７の回路構成例を示すブロック図である。画素アレイ２０７には、複数の単位画素２０６が水平方向（紙面左右方向）に（ｍ＋１）個、垂直方向（紙面上下方向）に（ｎ＋１）個、行列状に配置されている。なお、ｍ，ｎともに自然数である。

駆動パルス生成回路２１０は、制御部１１０の制御にしたがって、単位画素２０６のリセット動作や読み出し動作を行うためのパルスを生成する。生成されたパルスは、画素駆動回路２１２に供給される。行選択回路２１１は画素行を選択し、画素駆動回路２１２に選択した行を設定する。画素駆動回路２１２は、行選択回路２１１によって設定された画素行に、駆動パルス生成回路２１０によって生成されたパルスを供給する。したがって、同一画素行に配置された複数の単位画素２０６は、共通したパルスによって駆動される。

単位画素２０６の画素信号は、画素駆動回路２１２から選択パルスが供給される画素行単位で垂直信号線２０８に読み出される。定電流源２０９は、単位画素２０６内の増幅トランジスタ２０４とソースフォロワ回路を形成する。ＡＤ変換回路（ＡＤＣ）２１３は、垂直信号線２０８のそれぞれに読み出された画素信号（アナログ電圧）を、電圧値に応じたデジタル値に変換する。ＡＤＣ２１３によってデジタル値に変換された複数の画素信号は、水平走査回路２１４によって順に選択されて、出力部２１５に転送される。

行選択回路２１１による画素行の選択方法を変えることにより、画素信号の読み出し方を異ならせることができる。例えば本実施形態では、静止画モードでは、画素アレイ２０７の最上行から最下行まで１行ずつ読み出すものとする。一方、動画モードでは、画素アレイ２０７の最上行を読み出した後、２行飛ばして４行目を読み出し、その後も同様に（３ｐ−２）行目（ｐは自然数）を最下行まで読み出すものとする。動画モードでは静止画モードよりも画像の垂直解像度が低下するが、高速な読み出しが可能である。なお、ここで説明した読み出しモードは単なる例示であり、他の読み出しモードがあってもよい。また、静止画モードや動画モードの読み出し方法が他の読み出し方法であってもよい。

行選択回路２１１以外の回路についても、撮像素子１０７に設定される読み出しモードによって動作が異なるように構成されてもよい。なお、本実施形態では、画素駆動回路２１２やＡＤＣ２１３が撮像素子１０７に設けられているものとしたが、撮像素子１０７の外部に設けられてもよい。

（動画撮影中の静止画撮影動作）
次に、本実施形態のデジタルカメラ１における動画撮影中の静止画撮影動作に関して図３に示すフローチャートを用いて説明する。デジタルカメラ１の制御部１１０は、動画撮影中に静止画の撮影指示が検出された際に図３のフローチャートに示す動作を実行する。静止画の撮影指示は例えば操作部１１１に含まれるレリーズボタンの押下であってよい。

ここで、動画は例えばライブビュー表示用に撮影されているものとする。また、動画は予め定められたフレームレートに応じた間隔で撮影される。ここでは、撮影フレームレートと表示部１１２における表示フレームレートが等しいものとするが、異なっていてもよい。記録用の動画の撮影フレームレートは、例えば記録フレームレート以上とする。例えば表示フレームレートおよび撮影フレームレートが６０ｆｐｓの場合、動画の撮影は約１６．６ｍｓ間隔で行われる。フレームレートが１２０ｆｐｓであれば約８．３ｍｓ間隔で動画撮影が行われる。

静止画の撮影指示を検出すると制御部１１０は、Ｓ３０１で静止画の蓄積開始タイミングと読み出し開始タイミングを計算する。ここで、静止画の撮影指示から静止画の撮影が開始されるまでの時間差（レリーズタイムラグ）は予め定められているものとする。また、静止画撮影時の蓄積期間の長さは、ユーザ設定により、あるいは撮影された動画の輝度情報などに基づく自動露出制御（ＡＥ）により、予め決定された露出時間（シャッタスピード）とする。

Ｓ３０２で制御部１１０は、タイミングの計算結果に基づいて、静止画撮影の蓄積期間に重複する動画の読み出し期間が存在するか否かを判定する。本実施形態において制御部１１０は、以下の２条件の両方を満たすときには判定をＮＯとし、１つ以上の条件が満たされない場合には判定をＹＥＳとする。
条件１：直近に出力された動画撮影用の垂直同期信号のタイミングから、静止画の撮影指示が検出されたタイミングまでの時間Ｔ１と、レリーズタイムラグＴ２との和を、動画の撮影間隔で割った余りが、動画の読み出し時間Ｔ３よりも大きい。すなわち、（Ｔ１＋Ｔ２） ｍｏｄ 動画の撮影間隔＞Ｔ３を満たす。ここで、ｍｏｄは剰余演算子であり、ａ ｍｏｄ ｂはａをｂで割ったときの剰余である。
条件２：条件１で求めた剰余、静止画の蓄積時間Ｔ４、および静止画の読み出し時間Ｔ５の合計が、動画の撮影間隔より短い。すなわち、（（Ｔ１＋Ｔ２） ｍｏｄ 動画の撮影間隔）＋Ｔ４＋Ｔ５＜動画の撮影間隔を満たす。
なお、Ｓ３０２における判定は、他の方法で行ってもよい。

制御部１１０は、Ｓ３０２での判定がＹＥＳであれば処理をＳ３０３に進め、静止画の蓄積期間と読み出し期間が重複する動画フレームの読み出しを行わないことを決定する。一方、制御部１１０は、Ｓ３０２の判定がＮＯであれば、処理をＳ３０４に進め、動画の読み出しを予定通り行うことを決定する。

その後、Ｓ３０５で制御部１１０は、撮像素子１０７の読み出しモードとして静止画モードを設定する。Ｓ３０６で制御部１１０は、レリーズタイムラグの経過を待機する。
レリーズタイムラグが経過すると、Ｓ３０７で制御部１１０は、静止画の撮影動作を実行する。具体的には制御部１１０は、撮像素子１０７を露光し、撮像素子１０７に静止画の読み出し開始を指示する。撮像素子１０７は、制御部１１０からの指示に応答して静止画の読み出し処理を開始する。なお、静止画撮影および読み出しに係る期間が、動画撮影期間との少なくとも一部が重畳する場合は、静止画撮影によって動画撮影のための露光が一時的に停止され、制御部１１０は例えば１つ前の動画フレームを繰り返し表示して、動画の表示を継続する。

Ｓ３０８で制御部１１０は、撮像素子１０７を動画モードに設定した後、動画撮影のための露光を再開する。ここでは、予め定められた静止画連写時の撮影周期に基づく所定のフレーム数だけ動画撮影を連続して実行する。その後、Ｓ３０９で制御部１１０は、静止画の撮影指示が継続して入力されているか否かを判定する。制御部１１０は、静止画の撮影指示が継続して入力されていると判定されればＳ３１０に処理を進め、静止画の撮影指示が継続して入力されていると判定されなければ、静止画撮影が終了したものと判定して処理を終了し、通常の動画撮影に復帰する。

Ｓ３１０で制御部１１０は、Ｓ３０５と同様にして撮像素子１０７を静止画モードに設定する。
その後Ｓ３１１で制御部１１０は、あるフレームの動画撮影および読み出しが終了し、次のフレーム動画撮影が開始されるまえの期間（ブランキング期間）に静止画の撮影を実行し、処理をＳ３０８に戻す。

図４に示したタイミングチャートを用いて、図３を用いて説明した動作についてさらに説明する。
図４（ａ）は静止画の撮影指示が入力されていない状態における、動画撮影のタイミングの例を示す。動画撮影は垂直同期信号が入力されるごとに実行される。
ｔ４００に垂直同期信号が入力されると、撮像素子１０７は動画モードでの読み出し走査４００（実線）を開始する。動画読み出し４００がｔ４０１に完了すると、撮像素子１０７はその後ｔ４０２から動画リセット走査４０１（破線）を開始する。そして、ｔ４０３で次の垂直同期信号が入力されると、次のフレームの動画読み出し４００が開始される。

読み出し開始時刻ｔ４００から読み出し完了時刻ｔ４０１までが動画読み出し期間４０２である。また、読み出し完了時刻ｔ４０１から次の読み出し開始時刻ｔ４０３までが動画ブランキング期間４０３である。また、ｔ４０２からｔ４０３までの時間差が、動画蓄積時間４０４である。また、ｔ４０１からｔ４０３までが動画フレーム間隔４０５である。なお、動画蓄積の開始から読み出しの終了まで（ｔ４０２からｔ４０４まで）を動画駆動期間とも呼ぶ。

図４（ｂ）は、ｔ４１０に静止画の撮影指示が入力された場合の動作を示している。ｔ４１０で静止画の撮影指示が入力されると、制御部１１０が図３に示した動作を実行する。図４（ｂ）の例では、４１０が、直近に出力された動画撮影用の垂直同期信号のタイミングから、静止画の撮影指示が検出されたタイミングまでの時間Ｔ１に相当する。また、４０９がレリーズタイムラグＴ２に相当する。したがって、条件１における剰余は４１１で示される長さの時間である。動画の読み出し時間Ｔ３は、ｔ４１２とｔ４１５との差に相当するので、剰余４１１は動画の読み出し時間Ｔ３より大きく、条件１を満たしている。

次に、剰余４１１、静止画撮影の蓄積期間４０８、および静止画読み出し期間４１２の合計はｔ４１２からｔ４１６までの時間に相当し、動画フレーム間隔４０５よりも短い。したがって、条件２も満たしている。

したがって、制御部１１０は、図４（ｂ）に示す例について、静止画撮影の蓄積期間４０８に重複する動画の読み出し期間がないと判定する（Ｓ３０２で判定ＮＯ）。そして、制御部１１０は、Ｓ３０４において次の動画フレームの読み出しを行うことを決定する。したがって、撮像素子１０７はｔ４１１から動画リセット走査４０１を実行し、ｔ４１２で垂直同期信号が入力されると次の動画フレームの読み出し走査４００を実行する。

動画フレームの読み出しが完了すると制御部１１０は、撮像素子１０７を静止画モードに設定する（Ｓ３０８）。時刻ｔ４１０からレリーズタイムラグが経過すると、ｔ４１３に撮像素子１０７に垂直同期信号が入力され、撮像素子１０７は静止画撮影処理を実行する。具体的には、まず静止画リセット走査４０６（一点鎖線）を実行する。そして、シャッタ１０５による露光が行われたのち、撮像素子１０７は、ｔ４１４から静止画読み出し走査４０７（二点鎖線）を実行する。静止画リセット走査４０６が開始された時刻ｔ４１３から、静止画読み出し走査４０７が開始される時刻ｔ４１４までの時間は、静止画撮影の蓄積期間４０８に相当する。なお、静止画蓄積の開始から読み出しの終了まで（ｔ４１３からｔ４１６まで）を静止画駆動期間とも呼ぶ。

このように、動画撮影中に静止画の撮影指示が入力された場合、レリーズタイムラグ経過後に開始される静止画撮影および読み出しに係る期間が、動画撮影期間と重複しない場合、静止画撮影は動画撮影のブランキング期間に実施され、動画撮影に影響を与えない。

図４（ｃ）は、図４（ｂ）とは異なるタイミングｔ４２０に静止画の撮影指示が入力された場合の動作を示している。この場合、４１０と４０９の合計が動画フレーム間隔４０５より短いため、剰余４１１は４１０と４０９の合計となる。したがって、剰余４１１は動画の読み出し期間４０２よりも大きく、条件１を満たしている。

一方、剰余４１１、静止画撮影の蓄積期間４０８、および静止画読み出し期間４１２の合計は動画フレーム間隔４０５よりも長い。したがって、条件２を満たさない。したがって、制御部１１０は、図４（ｃ）に示す例について、静止画撮影の蓄積期間４０８に重複する動画の読み出し期間があると判定する（Ｓ３０２で判定ＹＥＳ）。そして、制御部１１０は、Ｓ３０３において次の動画フレームの読み出しを行わない（キャンセルする）ことを決定する。これにより、図４（ｃ）の例では図４（ｂ）の例ではｔ４１１から開始される動画撮影が行われない。

制御部１１０は、撮像素子１０７を静止画モードに設定する（Ｓ３０８）。時刻ｔ４２０からレリーズタイムラグが経過すると、ｔ４２１に撮像素子１０７に垂直同期信号が入力され、撮像素子１０７は静止画撮影処理を実行する。なお、レリーズタイムラグ４０９は、Ｓ３０２の判定結果によらず一定である。これにより、ユーザがレリーズボタンを押下してから１枚目の静止画が撮影されるまでの時間を一定に保つことができる。

次に、図５に示すタイミングチャートを用いて、静止画が連写される場合の動作について説明する。
図５（ａ）は静止画の撮影指示が入力され始めてから、連写撮影が継続して実行されるまでの動作を示している。ｔ５００で静止画の撮影指示が入力され、１枚目の静止画の撮影が完了するｔ５０１までは、図４（ｂ）または図４（ｃ）に示した動作を行う。その後、所定のフレーム数だけ動画撮影を実行する（Ｓ３０８）。ここで撮影するフレーム数は、ユーザが操作部１１１を通じて設定してもよいし、カメラの動作状態に応じて変更してもよい。本実施形態では所定のフレーム数を２とする。図５（ａ）の例では、ｔ５０２とｔ５０３から動画像の撮影（蓄積および読み出し）を行う。

ｔ５０４で制御部１１０は、静止画の撮影指示が継続して入力されているか確認する（Ｓ３０９）。ここでは静止画の撮影指示が継続して入力されているため、図３におけるＳ３１０以降の処理が実行される。制御部１１０は、ｔ５０４の直後に静止画リセット走査４０６の設定を行う。そして、制御部１１０は、ｔ５０５で動画読み出し走査４００を開始してから静止画リセット走査４０６を開始するように撮像素子１０７の動作を制御する。図では静止画リセット走査４０６が動画読み出し走査４００と同時に開始されているように見えるが、実際には静止画リセット走査４０６は動画読み出し走査４００から若干遅れて開始している。また、制御部１１０は、静止画リセット走査４０６の間に、静止画読み出し走査４０７の設定を行う。ｔ５０６で撮像素子１０７は、静止画読み出し走査４０７を開始する。このようにして、動画撮影のブランキング期間における静止画撮影（Ｓ３１１）を実行する。静止画撮影が連写の場合、２枚目以降の静止画撮影については、動画撮影のブランキング期間に実行するように静止画撮影の開始タイミングを決定する。これにより、動画撮影が安定して実行され、例えばライブビュー表示の更新頻度が保たれる。

その後、再び所定フレーム数の動画撮影を実行した後、制御部１１０はｔ５０７で再度静止画の撮影指示の入力が継続しているか否かを判定する。図５（ａ）の例では依然として入力が継続しているため、制御部１１０はｔ５０４からｔ５０７と同様の動作を実行する。

図５（ｂ）は、静止画の連写撮影終了時の動作を示している。図５（ａ）のｔ５００で入力が開始された静止画の撮影指示が、ｔ５１０においても継続されているものとする。そのため、ｔ５１０からｔ５１３まではｔ５０４からｔ５０７と同様の動作が行われる。ｔ５１２で静止画の撮影指示が入力されなくなり、それがｔ５１３で検出されると、制御部１１０は静止画撮影処理を終了する（Ｓ３０９、ＮＯ）。その後も制御部１１０は、動画撮影を継続して実行する。

以上説明したように、本実施形態によれば、ライブビュー画像のような動画像の撮影中に静止画を撮影する場合に、静止画撮影が単写もしくは連写の１枚目についてはレリーズタイムラグを一定とすることができる。そのため、ユーザの意図したタイミングでの静止画撮影が可能になる。一方、静止画撮影が連写の場合、２枚目以降は動画像のブランキング期間に静止画撮影を行うようにした。そのため、動画像の表示が中断したり、動画像の更新頻度が低下したりすることがなく、静止画撮影中も安定した動画像の表示が可能になる。連写の２枚目以降の撮影タイミングをずらすことにより、例えば動画の撮影周期と静止画の連写周期とが倍数の関係にある場合であっても、動画の撮影が常に静止画の撮影によって中止されることを防止できる。

本発明は上述した構成に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、図３のフローチャートを図６のフローチャートに変更することが可能である。なお、図６において図３と同じ動作をするステップには同じ符号を付し、重複する説明を省略する。

図６のフローチャートでは、静止画の撮影指示が入力されると、Ｓ６００で制御部１１０は、その時点において動画読み出し走査４００を実行中か否かを判定し、読み出し走査を実行中と判定されればＳ６０１へ、判定されなければＳ６０２に処理を進める。Ｓ６０１で制御部１１０は、実行中の読み出し走査が終了するまで待機し、処理をＳ６０２に進める。

Ｓ６０２で制御部１１０は、静止画の撮影が完了するまで動画の撮影を中断するように撮像素子１０７の動作を制御する。以降はＳ３０１およびＳ３０５以降の処理を図３と同様に実行する。図３に示した動作では、次の動画フレームを読み出すか否かを決定するためのＳ３０２〜Ｓ３０４の処理において、計算を行う必要があった。そのため、短時間に判断する必要がある場合には制御部１１０に高い処理能力が必要になる。

一方で図６に示した動作では、動画の撮影枚数が減少する可能性があるものの、次の動画フレームの読み出しを行うか否かを容易に判定できる。そのため、制御部１１０の処理能力が高くない場合であっても、次の動画フレームの読み出しを行うか否かを短時間に判定することができるという利点がある。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では主に読み出し走査の期間に着目して撮影のタイミングを制御した。しかし、適切な撮影のためには適切なリセット走査が必要である。そこで本実施形態では、動画と静止画の蓄積時間の設定方法について説明する。

図７は制御部１１０が撮像素子１０７に対して、静止画リセット走査４０６に関する設定と、静止画読み出し走査４０７に関する設定と、静止画の直後の動画リセット走査４０１に関する設定をする動作に関するフローチャートである。この動作は、例えば図３のＳ３０５において実施することができる。

Ｓ７００で制御部１１０は、ユーザ設定や、自動露出制御などに基づいて静止画撮影時の蓄積時間（露出時間）を決定する。そしてＳ７０１で制御部１１０は、決定した蓄積時間で静止画を撮影した場合に、静止画撮影期間が所定周期に収まるか否かを判定する。この所定周期は例えば動画撮影周期であってよい。あるいは、静止画の露出時間が所定時間内に収まるか否かを判定してもよい。この場合、所定時間とは、例えば動画撮影周期から静止画の読み出し時間を減算した時間であってよい。いずれの場合も、静止画撮影期間／露出時間が所定周期／所定時間を超えると、動画の撮影フレームレートが維持できない。

制御部１１０は、Ｓ７０１で静止画の撮影が所定時間内に収まらないと判定された場合、処理をＳ７０３に進める。Ｓ７０３で制御部１１０は、次の動画フレームの読み出し開始時刻を、所定周期の整数倍だけ変更して（遅らせて）処理をＳ７０４に進める。ここで所定周期とは、例えば動画の撮影周期である。Ｓ７０３で制御部１１０は、動画ブランキング期間４０３内に静止画の撮影が完了できるよう、動画の撮影開始時刻を変更する。一方、Ｓ７０１で静止画の撮影が所定時間内に収まると判定された場合、制御部１１０は処理をＳ７０２に進める。Ｓ７０２で制御部１１０は、次の動画フレームの読み出し開始時刻を変更せずに、処理をＳ７０４に進める。

Ｓ７０４で制御部１１０は、撮像素子１０７に対して静止画リセット走査４０６に関する設定と、静止画読み出し走査４０７に関する設定を行う。この時点で、制御部１１０は、静止画読み出し走査４０７の完了時刻を知ることができる。そこで、Ｓ７０５で制御部１１０は、静止画読み出し走査４０７の完了時刻と、静止画撮影の直後に行われる動画撮影の動画読み出し走査４００の完了時刻との時間差を計算する。また、Ｓ７０６で制御部１１０は、静止画撮影の直後に行われる動画撮影における適切な蓄積時間を、種々の撮影条件に基づいて決定する。蓄積時間は、例えばＩＳＯ感度、絞り１０１の開口量、前フレームの画像から計算された被写体の輝度などを用いて決定することができる。

Ｓ７０７で制御部１１０は、Ｓ７０５で計算した時間差とＳ７０６で決定した蓄積時間とを比較する。制御部１１０は、時間差が蓄積時間以上の場合はＳ７０８に、時間差が蓄積時間未満の場合はＳ７０９に処理を進める。

Ｓ７０８で制御部１１０は、静止画撮影の直後に行われる動画撮影の蓄積時間が、Ｓ７０６で決定した蓄積時間になるように動画リセット走査４０１に関する設定（例えば開始時刻の設定）を行う。
Ｓ７０９で制御部１１０は、静止画撮影の直後に行われる動画撮影の蓄積時間が、Ｓ７０５で算出した時間差と等しくなるように動画リセット走査４０１に関する設定（例えば開始時刻の設定）を行う。
動画リセット走査４０１に関する設定が終わると、撮影設定を終了する。

図８のタイミングチャートを用いて、本実施形態におけるリセット走査と読み出し走査の制御について説明する。
図８（ａ）のタイミングチャートは、図７のＳ７０１で静止画撮影が所定周期内に収まると判定され、かつＳ７０７で時間差が動画の蓄積時間以上と判定される場合の動作を示している。

撮像素子１０７は、ｔ８００に動画読み出し走査４００を開始すると、すぐに静止画リセット走査４０６を開始する。静止画撮影における露光時間が経過すると、撮像素子１０７はｔ８０１で静止画読み出し走査４０７を開始し、ｔ８０２で静止画読み出し走査４０７が完了する。静止画リセット走査４０６を開始してから、静止画読み出し走査が完了するまでが静止画撮影期間である。静止画撮影期間が所定周期８０１（ここでは動画の撮影周期）よりも短いため、制御部１１０はＳ７０１でＹＥＳと判定し、次フレームの動画読み出し走査４００の開始時刻ｔ８０４を変更しない。

動画読み出し走査４００の開始時刻を変更しないと決定した時点で、静止画読み出し走査４０７の完了時刻ｔ８０２と動画読み出し走査４００の完了時刻ｔ８０５の時間差８０２が算出可能になる。また、この時点で、動画撮影における適切な蓄積時間も確定している。ここでは、動画の適切な蓄積時間が時間差８０２よりも短い（Ｓ７０７、ＹＥＳ）。そのため、次フレームの動画蓄積時間４０４が動画の適切な蓄積時間と等しくなるよう、制御部１１０は動画リセット走査４０１の開始時刻ｔ８０３を設定する（Ｓ７０８）。

図８（ｂ）のタイミングチャートは、図７のＳ７０１で静止画撮影が所定周期内に収まると判定され、Ｓ７０７では時間差が動画の蓄積時間以上と判定されなかった場合の動作を示している。

撮像素子１０７は、ｔ８１０に動画読み出し走査４００を開始すると、すぐに静止画リセット走査４０６を開始する。静止画撮影における露光時間が経過すると、撮像素子１０７はｔ８１１で静止画読み出し走査４０７を開始し、ｔ８１３で静止画読み出し走査４０７が完了する。静止画撮影期間が所定周期８０１（ここでは動画の撮影周期）よりも短いため、制御部１１０はＳ７０１でＹＥＳと判定し、次フレームの動画読み出し走査４００の開始時刻ｔ８１４を変更しない。

動画読み出し走査４００の開始時刻を変更しないと決定した時点で、静止画読み出し走査４０７の完了時刻ｔ８１３と動画読み出し走査４００の完了時刻ｔ８１５の時間差８０２が算出可能になる。また、この時点で、動画撮影における適切な蓄積時間も確定している。ここでは、動画の適切な蓄積時間が時間差８０２よりも長い（Ｓ７０７、ＮＯ）。そのため、次フレームの動画蓄積時間４０４が時間差８０２と等しくなるよう、制御部１１０は動画リセット走査４０１の開始時刻ｔ８１２を設定する（Ｓ７０８）。

図８（ｂ）の例では動画蓄積時間４０４を適切な露光時間に設定することができない。したがって、静止画撮影の次に実行される動画撮影で得られるフレームは露出不足となる。このように、静止画撮影の露出時間が長いことによって適切な蓄積時間を確保できない動画撮影について制御部１１０は、得られた動画フレームにゲインを適用し、画素値を増幅することにより露出不足を補うように例えばＤＳＰ１０８を制御することができる。ゲイン量は例えば適切な蓄積時間と時間差８０２との差から求めることができる。

図８（ｃ）のタイミングチャートは、図７のＳ７０１で静止画撮影が所定周期内に収まると判定されず、Ｓ７０７では時間差が動画の蓄積時間以上と判定された場合の動作を示している。

撮像素子１０７は、ｔ８２０に動画読み出し走査４００を開始すると、すぐに静止画リセット走査４０６を開始する。静止画撮影における露光時間が経過すると、撮像素子１０７はｔ８２２で静止画読み出し走査４０７を開始し、ｔ８２３で静止画読み出し走査４０７が完了する。静止画撮影期間が所定周期８０１（ここでは動画の撮影周期）よりも長いため、制御部１１０はＳ７０１でＮＯと判定し、次フレームの動画読み出し走査４００の開始時刻を変更する。具体的には、制御部１１０は、本来はｔ８２０から所定周期８０１経過後の時刻ｔ８２１に開始する次フレームの動画読み出し走査４００の開始時刻を、ｔ８２０から所定周期８０１の２倍の時間が経過したｔ８２５に変更する。

変更後の動画読み出し走査４００の開始時刻が決定された時点で、静止画読み出し走査４０７の完了時刻ｔ８２３と動画読み出し走査４００の完了時刻ｔ８２６の時間差８０２が算出可能になる。また、この時点で、動画撮影における適切な蓄積時間も確定している。ここでは、動画の適切な蓄積時間が時間差８０２よりも短い（Ｓ７０７、ＹＥＳ）。そのため、次フレームの動画蓄積時間４０４が動画の適切な蓄積時間と等しくなるよう、制御部１１０は動画リセット走査４０１の開始時刻ｔ８２４を設定する（Ｓ７０８）。

以上説明したように、本実施形態によれば、動画撮影時の蓄積時間が適切な時間になるようにリセット走査の開始タイミングを設定するため、動画撮影を適正露出で実行することができる。さらに、静止画撮影の露出時間が長く、動画撮影の蓄積時間が適切な蓄積時間よりも短くなる場合には、動画撮影後にゲインを適用して露出を補正するようにした。そのため、動画撮影をできるだけ行いつつ、露出変動を抑制することができる。また、動画のブランキング期間より長い露出時間で静止画を撮影することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１…デジタルカメラ、１０７…撮像素子、１０８…ＤＳＰ、１１０…制御部、１１１…操作部

Claims (10)

1. 撮像素子と、
   前記撮像素子の動作を制御する制御手段と、を有し、
   前記制御手段は、前記撮像素子を用いた動画撮影中に静止画の撮影指示が入力された場合、前記撮影指示の入力から予め定められた時間が経過すると、前記撮像素子を用いて１枚目の静止画撮影を実行し、前記撮影指示が継続して入力されている場合、２枚目以降の静止画撮影を前記動画撮影のブランキング期間に実行するように前記撮像素子を制御する、ことを特徴とする撮像装置。
2. 前記制御手段は、前記１枚目の静止画撮影の期間が動画撮影の期間と重複する場合、重複する動画撮影を行わないように前記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮影指示の入力があった場合、前記１枚目の静止画撮影が完了するまで動画撮影を中断するように前記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記１枚目の静止画撮影が予め定められた周期内に収まらない場合には、次の動画撮影の開始時刻を前記予め定められた周期の整数倍だけ遅らせることを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記静止画撮影の露出時間が長いことによって適切な蓄積時間を確保できない動画撮影については、得られた動画フレームの明るさを補正するように画像処理手段を制御することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、静止画の読み出し完了のタイミングと次の動画撮影の読み出し完了のタイミングとの時間差が前記適切な蓄積時間以上である場合、前記次の動画撮影の蓄積時間が前記適切な蓄積時間となるように、前記次の動画撮影のリセット走査の開始タイミングを前記撮像装置に設定する、ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、静止画の読み出し完了のタイミングと次の動画撮影の読み出し完了のタイミングとの時間差が前記適切な蓄積時間以上でない場合、前記次の動画撮影の蓄積時間が前記時間差に等しくなるように、前記次の動画撮影のリセット走査の開始タイミングを前記撮像装置に設定する、ことを特徴とする請求項５または６に記載の撮像装置。
8. 静止画の読み出し時間が動画の読み出し時間より長いことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 撮像素子を有する撮像装置の制御方法であって、
   制御手段が、前記撮像素子を用いた動画撮影中に静止画の撮影指示が入力された場合、前記撮影指示の入力から予め定められた時間が経過すると、前記撮像素子を用いて１枚目の静止画撮影を実行し、前記撮影指示が継続して入力されている場合、２枚目以降の静止画撮影を前記動画撮影のブランキング期間に実行するように前記撮像素子を制御する制御工程を有することを特徴とする撮像装置の制御方法。
10. 撮像素子を有する撮像装置のコンピュータを、請求項１から８のいずれか１項に記載の撮像装置が有する制御手段として機能させるためのプログラム。

Images