JP2013123172A - 撮像装置およびプログラム - Google Patents

Abstract

【課題】撮像モードを連続撮像中に可変にすること。
【解決手段】撮像装置は、撮像画素数、またはフレームレートが異なる複数の撮像モードを有する撮像部と、撮像モードを変更する変更要求を取得する要求取得部と、撮像部による連続撮影中に、変更要求に従って撮像モードを第１撮像モードから第２撮像モードへ切り替える制御部とを備え、制御部は、第１撮像モードから第２撮像モードの切り替えが撮像画素数の変更であった場合、第２撮像モードのフレームレートを変更された撮像画素数に対応するフレームレートに変更し、撮像モードの切り替えがフレームレートの変更であった場合、第２撮像モードの撮像画素数を変更されたフレームレートに対応する撮像画素数に変更する。
【選択図】図２

Description

本発明は、撮像装置およびプログラムに関する。

撮像映像信号に対する圧縮処理の圧縮レート、フレーム処理のフレームレートの両方又は一方を変化させることで、映像データの品質やデータ量を変換させる技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−２７４３６０号公報

連続撮影においては、例えば撮影することができるフレームレートの上限が、設定した読み出し画素数によって定まってしまうという課題があった。

本発明の第１の態様においては、撮像装置は、撮像画素数、またはフレームレートが異なる複数の撮像モードを有する撮像部と、撮像モードを変更する変更要求を取得する要求取得部と、撮像部による連続撮影中に、変更要求に従って撮像モードを第１撮像モードから第２撮像モードへ切り替える制御部とを備え、制御部は、第１撮像モードから第２撮像モードの切り替えが撮像画素数の変更であった場合、第２撮像モードのフレームレートを変更された撮像画素数に対応するフレームレートに変更し、撮像モードの切り替えがフレームレートの変更であった場合、第２撮像モードの撮像画素数を変更されたフレームレートに対応する撮像画素数に変更する。

本発明の第２の態様においては、プログラムは、撮像画素数が異なる複数の撮像モードで画像信号を読み出すことができる撮像部からの撮像画素数を変更する変更要求を取得する要求取得ステップと、撮像部による連続撮影中に、変更要求に従って撮像部の撮像モードを第１撮像モードから第２撮像モードへ切り替える制御ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１００のシステム構成図を示す。 撮像素子１３２、カメラＭＰＵ１３３、ＡＳＩＣ１３５におけるブロック構成の一例を示す。 撮像素子１３２が動作する撮像モードの一例を示す。 撮像素子１３２における制御シーケンスの一例を示す。 カメラＭＰＵ１３３における処理フローを示す。 撮像モードの変更例を時系列で示す。 画像処理部２９０におけるサイズ変換処理の一例を示す。 画像処理部２９０におけるフレームレート変換処理の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズ側マウント接続部１２１を有するレンズ側マウントを備え、カメラ本体１３０は、カメラ側マウント接続部１３１を有するカメラ側マウントを備える。レンズ側マウントとカメラ側マウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズ側マウント接続部１２１とカメラ側マウント接続部１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。

被写体光は、光軸に沿って撮像光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータ（図示しない）を制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。

レンズＭＰＵ１２３は、レンズ側マウント接続部１２１およびカメラ側マウント接続部１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。撮像部１５０は被写体光を撮像データとして出力する。撮像部１５０は、被写体光を光電変換して画像信号として出力する撮像素子１３２を有する。撮像素子１３２としては、例えばＣＭＯＳセンサを適用できる。また撮像部１５０は、撮像素子１３２から出力された画像信号を読み出し、撮像データに変換して出力する。また撮像部１５０は、異なる画素数、またはフレームレートで撮像できる複数の撮像モードを有する。撮像モードは、複数の撮像画素数と複数のフレームレートとの組み合わせを有する。換言すれば、撮像部１５０は異なる画素数、またはフレームレートで撮像素子１３２から出力される画像信号を読み出すことができる複数の撮像モードを有する。カメラＭＰＵ１３３は、撮像部１５０が異なる画素数、またはフレームレートで被写体を撮像できるよう、各撮像モードにおける、撮像画素数、撮像素子１３２の読み出し画素、撮像素子１３２から出力される画像信号の読み出しレート、露光時間、撮像素子１３２の電荷リセットおよび画像信号の読み出しタイミング、読み出しゲイン等を示す制御信号を撮像部１５０に出力する。本実施形態における撮像モードは、複数の撮像画素数と複数のフレームレートの組み合わせとから決定される。撮像モードの詳細については後述する。尚、各撮像モードの撮像画素数は、撮像素子１３２が有する最大画素数の範囲内でユーザが任意で設定できるようにしてもよい。

撮像部１５０から出力された撮像データは、画像データとして順次処理される。ＡＳＩＣ１３５は、撮像データを撮像部１５０から取り込む。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、撮像部１５０から、撮像画素数およびフレームレートを示す情報を取得する。ＳＤＲＡＭ１３６は、ＡＳＩＣ１３５における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。

ＡＳＩＣ１３５は、画像データを規格化された画像フォーマットのデータに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、撮像部１５０が連続撮像して得た時系列に連続する画像データとしての複数のフレームから、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０は、例えばフラッシュメモリ等により構成される。

ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示部１３８に表示される。表示部１３８は、例えば液晶ディスプレイにより構成される。また、表示部１３８は撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示することができる。

撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。

操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮像ボタン、撮像モード変更ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。撮像モード変更ボタンを操作することにより、撮像部１５０の撮像画素数、およびフレームレートの少なくとも一方を変更することができる。そしてカメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各要素を制御する。カメラＭＰＵ１３３は、動画撮像ボタンが操作された場合に、連続撮像の一例としての動画撮像を実行するよう撮像装置１００の各要素を制御する。また、カメラＭＰＵ１３３は、タッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各要素を制御する。

カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０は、カメラ本体１３０に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用ＡＣ電源等により構成される。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各要素への電力供給を制御する。二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。

図２は、撮像部１５０、カメラＭＰＵ１３３、ＡＳＩＣ１３５におけるブロック構成の一例を示す。カメラＭＰＵ１３３は、撮像モード情報取得部２１０と、撮像モード選択部２００とを、機能ブロックとして有する。撮像部１５０は、撮像モード設定部２２０と、レジスタ設定部２３０と、内部レジスタ２４０と、信号生成部２５０と、撮像素子１３２とを、機能ブロックとして有する。ＡＳＩＣ１３５は、処理パラメータ設定部２６０と、レジスタ設定部２７０と、内部レジスタ２８０と、画像処理部２９０と、動画生成部２９２とを、機能ブロックとして有する。カメラＭＰＵ１３３の一部およびＡＳＩＣ１３５の一部は、画像処理エンジンとして機能する。

撮像モード情報取得部２１０は、撮像部１５０における撮像モードを変更する変更要求を取得する。撮像モード情報取得部２１０は、フレームレート、または撮像画素数を示す情報を取得する。例えば、撮像モード情報取得部２１０は、フレームレートおよび撮像画素数を設定するユーザ操作を、フレームレート等を示す情報として操作入力部１４１から取得してもよい。また、後述するように、撮像モード情報取得部２１０は、画像からの人物の検出結果、画像からの被写体の動きの検出結果等を、フレームレート等を示す情報としてＡＳＩＣ１３５から取得してもよい。

撮像モード選択部２００は、撮像モード情報取得部２１０が取得したフレームレートに適合する撮像画素数を有する撮像モードを、複数の撮像モードの中から選択する。撮像モード選択部２００は、撮像画素数が異なる撮像モードを選択することができる。撮像モード選択部２００は、選択した撮像モードを指定する情報を、撮像部１５０に出力する。また、撮像モード選択部２００は、撮像モード情報取得部２１０が取得した撮像画素数に適合するフレームレートを有する撮像モードを、複数の撮像モードの中から選択する。なお、撮像モード情報取得部２１０および撮像モード選択部２００は、撮像モードを変更する要求を取得する要求取得部として機能する。なお、撮像モードとフレームレートの関係は、図３を用いて説明する。

なお、撮像モード選択部２００は、撮像モード情報取得部２１０が取得したフレームレートに適合する撮像画素数を有する撮像モードが複数存在する場合に、第１撮像モードが定める撮像画素数に最も近い撮像画素数を定める第２撮像モードを選択してよい。このように、現在の撮像モード（第１撮像モード）の撮像画素数が近い撮像画素数を有する撮像モードを選択することで、画素数が急激に変化することを未然に防ぐことができる。また、撮像モード情報取得部２１０が取得したフレームレートが現在のフレームレートとは大きく異なる場合、撮像モード選択部２００は、フレームレートを段階的に選択してもよい。例えば、撮像モード選択部２００は、撮像モード情報取得部２１０が取得したフレームレートが向けて漸減または漸増するフレームレートを選択してもよい。

撮像部１５０の各部は、内部レジスタ２４０に設定された値に従って動作する。撮像素子１３２は、画像信号を生成する光電変換素子を有し、内部レジスタ２４０に従って、撮像素子１３２の撮像動作が制御される。例えば、内部レジスタ２４０に従って、撮像画素が選択される。これにより、撮像画素数が異なる複数の撮像モードで、撮像部１５０から撮像データが出力される。撮像部１５０が出力した撮像データは、画像処理部２９０に出力される。

撮像モード設定部２２０は、撮像モード選択部２００から取得した撮像モード情報に基づいて、撮像モード毎に用意されたレジスタ値を、レジスタ設定部２３０に設定する。信号生成部２５０は、レジスタ設定部２３０に設定された値に従って、撮像素子１３２を駆動する垂直同期信号および水平同期信号を生成する。信号生成部２５０が生成した垂直同期信号は、撮像素子１３２およびレジスタ設定部２３０に供給される。レジスタ設定部２３０は、信号生成部２５０で生成された垂直同期信号に同期して、撮像モード設定部２２０で設定された撮像モードを示すレジスタ値を、内部レジスタ２４０に設定する。このため、垂直同期信号に同期して撮像モードを切り替えることができる。

したがって、連続撮像中（例えば動画撮像中）に、撮像部１５０が第１撮像モードで撮像しているときに、撮像モード選択部２００によって第２撮像モードが選択された場合には、撮像部１５０の撮像モードが第１撮像モードから第２撮像モードへ切り替えられる。すなわち、撮像モード設定部２２０およびレジスタ設定部２３０は、撮像素子１３２による連続撮像中に、撮像モードの変更要求に従って、撮像部１５０の撮像モードを第１撮像モードから第２撮像モードへ切り替える制御部として機能する。撮像モード設定部２２０は、第１撮像モードから第２撮像モードの切り替えが撮像画素数の変更であった場合、第２撮像モードのフレームレートを変更された撮像画素数に対応するフレームレートに変更し、撮像モードの切り替えがフレームレートの変更であった場合、第２撮像モードの撮像画素数を変更されたフレームレートに対応する撮像画素数に変更するよう、レジスタ設定部２３０を制御する。撮像モード選択部２００およびレジスタ設定部２３０の制御により、撮像部１５０の撮像モードは、撮像モード選択部２００の選択に基づいて第１撮像モードから第２撮像モードへ切り替えられる。

ＡＳＩＣ１３５において、画像処理部２９０は、撮像部１５０から取得した画像に画像処理を施す。画像処理としては、感度補正、色補間処理、ガンマ補正、ホワイトバランス補正、平滑化、輪郭補償、鮮鋭化、２次元フィルタリング、斜め線検出等の処理を例示することができる。また、画像処理部２９０は、画像からの人物検出、被写体の動き量検出などを行う。人物検出の結果、被写体の動き量等の結果は、撮像モード情報取得部２１０に出力されて、フレームレート等を示す情報の一部として入力される。

また、画像処理部２９０は、第１撮像モードおよび第２撮像モードのそれぞれの撮像画素数に基づいて、連続撮像により得られた複数の画像を同一の画素数の画像に変換する。例えば、画像処理部２９０は、第１撮像モードおよび第２撮像モードのそれぞれの撮像画素数に基づいて、拡大または縮小することにより、連続撮像により得られた複数の画像を同一のサイズの画像に変換する。

ここで、ＡＳＩＣ１３５の各部は、内部レジスタ２８０に設定された値に従って動作する。例えば、画像処理部２９０の画像処理は、内部レジスタ２８０に設定された値に従って制御される。例えば、内部レジスタ２８０に従って、画像処理部２９０における拡大処理または縮小処理において目標となるサイズが制御される。また、画像処理部２９０において用いられる感度補正値が制御される。

具体的には、処理パラメータ設定部２６０は、撮像モード選択部２００から取得した情報に基づいて、撮像モード毎に用意されたレジスタ値を、レジスタ設定部２７０に設定する。レジスタ設定部２７０は、信号生成部２５０で生成された垂直同期信号に同期して、撮像モード設定部２２０で設定された撮像モードを示すレジスタ値で、内部レジスタ２８０を設定する。このため、垂直同期信号に同期して画像処理パラメータを切り替えることができる。したがって、撮像素子１３２における撮像モードの切り替えに応じて、ＡＳＩＣ１３５における画像処理を切り替えることができる。

動画生成部２９２は、第１撮像モードおよび第２撮像モードで連続撮像して得られた複数の画像を含む動画を生成する。例えば、動画生成部２９２は、ＭＰＥＧファイル等、１つの動画データを生成する。生成した動画データは、外部メモリ１６０に記録される。また、画像処理部２９０が生成した画像は、表示部１３８への表示用の画像に適用できる。表示部１３８は、画像処理部２９０により同一サイズに変換された複数の画像を連続して表示してよい。

なお、以上の説明における連続撮像としては、動画撮像を例示することができる。この場合、フレームレートは、フィールドレートであってもよい。しかし、動画は連続撮像の一例であって、連続撮像とは、動画撮像に限らず、時間的に連続して画像を撮像することを含む概念である。したがって、フレームレートは、単位時間あたりに撮像する画像のコマ数、または撮像素子１３２から出力される画像信号の読み出しレートに対応するということができる。

図３は、撮像部１５０の撮像モードの一例を示す。撮像部１５０は、撮像モードとして、フルＨＤモード、ＨＤモード、ＳＤモードのいずれかで駆動することができる。これらの撮像モードは、撮像画素数が互いに異なる。フルＨＤモードおよびＨＤモードは、フレームレートが異なるサブモードを持つ。例えば、フルＨＤモードには、２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓのフレームレートでそれぞれ定められる３つのサブモードを持つ。ＨＤモードは、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓのフレームレートでそれぞれが定められる３つのサブモードを持つ。

フルＨＤモードにおいて、フレームレートが６０ｆｐｓのサブモードにおいては、１秒あたりおよそ１２４メガピクセル分の撮像データが撮像部１５０から出力される。また、ＨＤモードにおいて、フレームレートが１２０ｆｐｓのサブモードにおいては、１秒あたりおよそ１１１メガピクセル分の撮像データが撮像部１５０から出力される。また、ＳＤモードにおいては、１秒あたりおよそ１２７メガピクセル分の撮像データが撮像部１５０から出力される。このため、連続撮像時におけるＡＳＩＣ１３５等の画像処理能力は、ＳＤモードで出力される画像を処理できるよう設計されてよい。

撮像モードには、それぞれ内部レジスタ２４０に設定するべきレジスタとして異なる値が割り当てられる。また、サブモードにも、内部レジスタ２４０に設定するべきレジスタとして異なる値が割り当てられる。

ユーザは、操作入力部１４１を操作する等して、撮像モードを動画撮像前に設定することができる。例えば、ユーザは、設定メニューを通じて動画の撮像画質を設定する。そして、カメラＭＰＵ１３３は、選択された撮像画質に対応する撮像モードで、動画撮像を開始させる。なお、ユーザ用の設定メニューからユーザに選択させる場合、例えば、フルＨＤモードにおけるフレームレート３０ｆｐｓのサブモード、ＨＤモードにおけるフレームレート１２０ｆｐｓのサブモード、およびＳＤモードの中から１つを選択させる。

内部レジスタ２４０には、ユーザにより選択された撮像モードに対応する値が設定される。なお、複数のサブモードを持つ撮像モードについては、内部レジスタ２４０にサブモードに対応する値が設定される。なお、撮像画素数およびフレームレートの組み合わせを、駆動モードと呼ぶ場合がある。すなわち、内部レジスタ２４０には、駆動モードに対応する値が設定される。なお、撮像素子１３２において間引き読み出しされることによって撮像画素数が異なる撮像モードを実現できる。また、画素加算によっても画素数が異なる撮像モードを実現できる。

図４は、撮像部１５０における制御シーケンスの一例を示す。本例では、撮像部１５０の撮像モードを第１駆動モードから第２駆動モードに切り替える例を説明する。ここでは、駆動モードの切り替えに応じて、フレームレートも切り替わるとする。

信号生成部２５０は、現在設定されている第１駆動モードに従って、垂直同期信号を生成する。ここでは、第１駆動モードにおける読み出し周期（画像信号の読み出し周期）を、第１読み出し周期と呼ぶ。信号生成部２５０は、本図の時刻ｔ１０、ｔ１１、ｔ１３において、第１読み出し周期で垂直同期信号を生成する。

ここで、時刻ｔ１１の後の時刻ｔ１２において、撮像モード設定部２２０がカメラＭＰＵ１３３から駆動モードを変更するコマンド信号を取得すると、撮像モード設定部２２０は、コマンド信号で指定された駆動モードに対応する値を、レジスタ設定部２３０に供給する。ここで、指定された駆動モードで定められる読み出し周期を、第２読み出し周期と呼ぶ。レジスタ設定部２３０は、時刻ｔ１３における垂直同期信号が供給されると、予め定められた遅延時間が経過した時刻ｔ１４で、撮像モード設定部２２０から供給された値を内部レジスタ２４０に設定する（時刻ｔ１４）。ここで、遅延時間は、最大のフレームレートに対応する読み出し周期よりも短い時間とする。本例では、遅延時間は、１／４８０よりも短い時間とする。

このため、信号生成部２５０は、時刻ｔ１３の次の垂直駆動信号を、時刻ｔ１３から第２読み出し周期だけ後の時刻に生成する。本例のように、第２駆動モードのフレームレートが高い場合、時刻ｔ１３から第１読み出し周期だけ後の時刻よりも早いタイミング（時刻ｔ１６）で垂直同期信号が生成される。そして、信号生成部２５０は、時刻ｔ１６から、第２読み出し周期が経過する毎に、垂直同期信号を生成する。

本例において時刻ｔ１３までは、第１駆動モードが設定され、時刻ｔ１６からは第２駆動モードが設定される。具体的には、連続する垂直同期信号の間で、駆動モードを設定する撮像素子１３２の内部レジスタ２４０の値を、第１駆動モードを示す値から第２駆動モードを示す値に変更する。これにより、連続する垂直同期信号の間で、第１駆動モードから第２駆動モードへ駆動モードを切り替えることができる。なお、垂直駆動信号は、連続撮像において撮像される画像に同期する信号の一例である。駆動モードを切り替える契機とする信号は、垂直同期信号に限られない。連続撮像における撮像素子１３２からの読み出しタイミングを定める信号に同期して、第１駆動モードから第２駆動モードへ撮像モードを切り替えることができれば、どのような信号を用いてもよい。

なお、ＡＳＩＣ１３５において内部レジスタ２８０の値を設定する処理も、内部レジスタ２４０を設定する処理と同様であるので、詳細については説明を省略する。

図５は、カメラＭＰＵ１３３における処理フローを示す。本フローは、動画撮像ボタンが押し込まれた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって実行する。例えば、動画撮像を制御するタスクによって実行される。

ステップＳ５０２において、動画撮像を開始するコマンド信号を、撮像素子１３２に出力する。撮像部１５０は、当該コマンド信号に従って、撮像部の各部を初期化し、動画撮像を開始する。

ステップＳ５０４において、撮像モード情報取得部２１０は、フレームレート変更に関するイベントを待つ。例えば、画像処理部２９０において画像から人物が検出される等、フレームレートを変更するべき予め定められた条件が満たされた場合に、本イベントが生じる。また、被写体の動きが検出された場合に、本イベントが生じる。被写体の動きは、例えば、動きベクトルの検出等に基づいて、画像処理部２９０において検出される。また、予め定められた値よりも大きい音声が検出された場合に、本イベントが生じてもよい。また、ユーザが、フレームレート変更スイッチを操作してフレームレートを変更する指示をした場合に、本イベントが生じるようにしてもよい。

フレームレート変更に関するイベントが生じると、撮像モード選択部２００は、現在のフレームレートを、新たなフレームレートに変更する必要があるか否かを判断する（ステップＳ５０６）。例えば、撮像モード選択部２００は、現在設定されているフレームレートと、新たなフレームレートが異なる場合、フレームレートを変更する必要があると判断する。新たなフレームレートは、例えば、予め定められた条件の種類に対応して決定されてよい。例えば、人物が検出された場合のフレームレート、動きが検出された場合のフレームレート、音声が検出された場合のフレームレート等が、予め定められていてよい。また、新たなフレームレートは、被写体の動き量、音声の音量等に応じて定められてよい。例えば、新たなフレームレートは、動き量が大きいほど高く設定されてよい。また、新たなフレームレートは、画像において人物が占める面積が大きいほど高く設定されてよい。

フレームレートを変更する必要がある場合、撮像モード選択部２００は、現在設定されている撮像モード内に、新たなフレームレートを定めたサブモードがあるか否かを判断する（ステップＳ５０８）。

適合するフレームレートのサブモードが存在しない場合、撮像モード選択部２００は、他のサブモードまたは撮像モードの中に、新たなフレームレートを定めたモードが存在するか否かを判断する（ステップＳ５１０）。新たなフレームレートを定めたモードが存在する場合、撮像モード選択部２００は、撮像部１５０の撮像モードを変更するために、当該撮像モードを示すコマンド信号を、撮像部１５０に出力する（ステップＳ５１２）。

続いて、ステップＳ５１４において、画像処理パラメータを設定するコマンド信号を、撮像部１５０に出力する。変更する画像処理パラメータとしては、画像サイズの変更、感度補正値の変更、フィルタサイズの変更等を例示することができる。

続いて、動画撮像を終了するか否かを判断する。例えば、動画撮像ボタンが押し込まれた場合に、動画撮像を終了すると判断する。動画撮像を終了すると判断された場合、動画撮像を終了するコマンド信号を、撮像素子１３２に出力し、本フローを終了する。このように、撮像装置１００によれば、動画撮像ボタンが押し込まれてから再度押し込まれるまでの動画撮像中に、撮像モードを変更することができる。

ステップＳ５０６において、新たな撮像レートに変更する必要がない場合は、ステップＳ５１６に処理を進める。また、ステップＳ５１０において、新たなフレームレートを定めたモードが存在しない場合も、ステップＳ５１６に処理を進める。また、ステップＳ５０８において、新たなフレームレートを持つサブモードがあると判断された場合、撮像モード選択部２００は、フレームレートを変更するコマンド信号を撮像部１５０に出力する（ステップＳ５２２）。具体的には、新たなフレームレートを定めるサブモードに対応するコマンド信号を、撮像部１５０に出力する。ステップＳ５２２の処理が完了すると、ステップＳ５１６に処理を進める。

図６は、撮像モードの変更例を時系列で示す。本例において横軸は時間であり、縦軸は撮像部１５０から出力される撮像データの画像サイズ（撮像画素数）を示す。

本例において、時刻ｔ１において、フルＨＤモードにおける３０ｆｐｓのサブモードから、ＨＤモードにおける６０ｆｐｓのサブモードでの動画撮像に切り替えられる。そして、時刻ｔ２において、ＨＤモードにおける６０ｆｐｓのサブモードからＳＤモードでの動画撮像に切り替えが生じる。また、時刻ｔ３においては、ＳＤモードからＨＤモードにおける６０ｆｐｓのサブモードでの動画撮像に切り替えが生じる。そして、時刻ｔ４においては、ＨＤモードにおける６０ｆｐｓのサブモードから、フルＨＤモードにおける３０ｆｐｓのサブモードでの動画撮像に切り替えられる。

図７は、画像処理部２９０におけるサイズ変換処理の一例を示す。ここでは、図６で示した例を用いて説明する。

画像処理部２９０は、時刻ｔ１から始まるＨＤモードで撮像された画像に対して、１９２０×１０８０にサイズを拡大する画像処理を施す。また、画像処理部２９０は、時刻ｔ２から始まるＳＤモードで撮像された画像に対しても、１９２０×１０８０にサイズを拡大する画像処理を施す。また、画像処理部２９０は、時刻ｔ３から始まるＨＤモードで撮像された画像に対して、１９２０×１０８０にサイズを拡大する画像処理を施す。これにより、時間的に一定のサイズの画像データを生成することができる。

なお、本例では、サイズを拡大するとして説明したが、画像サイズを縮小させてもよい。例えば、画像処理部２９０は、予め定められたサイズの画像になるよう、動画に含まれる少なくとも一部の画像に対してサイズを縮小する処理を施してもよい。予め定められたサイズとは、動画撮像を開始したときに設定された撮像画素数に対応するサイズであってよい。例えば、動画撮像開始時の撮像モードがＨＤモードである場合、画像処理部２９０は、フルＨＤモードで撮像された画像をＨＤモードと同じサイズに縮小し、ＳＤモードで撮像された画像をＨＤモードと同じサイズに拡大してよい。これにより、動画撮像を開始した時に指定したサイズの動画を提供することができる。なお、サイズの拡大処理および縮小処理の少なくとも一方の画像処理として、画素の補間処理を適用することができる。

図８は、画像処理部２９０におけるフレームレート変換処理の一例を示す。ここでも、図６で示した例を用いて説明する。画像処理部２９０は、時刻ｔ１から始まるＨＤモードで撮像された動画に対して、３０ｆｐｓにフレームレートを低下する画像処理を施す。例えば、画像処理部２９０は、２フレーム毎に１フレームを選択して変換後の動画フレームに適用する。また、画像処理部２９０は、時刻ｔ２から始まるＳＤモードで撮像された動画に対しても、３０ｆｐｓにフレームレートを低下する画像処理を施す。例えば、画像処理部２９０は、１６フレーム毎に１フレームを選択して変換後の動画フレームに適用する。また、画像処理部２９０は、時刻ｔ３から始まるＨＤモードで撮像された動画に対して、３０ｆｐｓにフレームレートを低下する画像処理を施す。これにより、一定のフレームレートの動画を生成することができる。本例においては、動画に対するフレームの間引き処理により、フレームレートを変換することができる。

なお、本例では、フレームレートを低下するとして説明したが、フレームレートを増加させてもよい。例えば、画像処理部２９０は、予め定められたフレームレートの動画にすべく、動画に含まれる少なくとも一部の部分動画に対してフレームレートを高める画像処理を適用してもよい。予め定められたフレームレートは、動画撮像を開始したときに設定したフレームレートであってよい。例えば、動画撮像開始時の撮像モードがＨＤモードの６０ｆｐｓである場合、画像処理部２９０は、３０ｆｐｓの動画を６０ｆｐｓのフレームレートに変換し、１２０ｆｐｓの動画を６０ｆｐｓの動画に変換してよい。これにより、動画撮像を開始した時に指定したフレームレートの動画を提供することができる。なお、フレームレートを増加させる処理として、前または後のフレームをコピーしてフレーム間のフレームとして適用する処理を例示することができる。また、前後のフレームを平均化したフレームを、フレーム間のフレームとして適用してもよい。

なお、本例において、撮像レートを可変させて撮像された動画に対して、再生のフレームレートを一定にする画像処理を施すとした。すなわち、画像処理部２９０は、第１撮像モードのフレームレートが第２撮像モードのフレームレートと異なる場合に、第１撮像モードおよび第２撮像モードのそれぞれのフレームレートに基づいて、連続撮像により得られた複数の画像を、一定の時間間隔の画像に変換する。表示部１３８が、画像処理部２９０により変換された複数の画像を連続して表示することで、撮像の時間スケールと同じ時間スケールで動画を再生することができる。なお、フレームレートを一定にせずに、そのまま表示部１３８に予め定められたフレームレートで表示させてもよい。この場合、高いフレームレートで撮像された部分がゆっくりと再生される。例えば、予め定められた速度よりも速く移動する被写体が検出された場合に、高いフレームレートの駆動モードで撮像し、再生時にはスローモーションで再生するような撮像および再生方式に適用することができる。

以上に説明した撮像装置１００によれば、撮像部１５０の撮像モードを連続撮像中に切り替えることで、連続撮像において撮像部１５０のフレームレートを幅広く制御することが可能になる。

本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。

本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有する機器を適用の対象とすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置、１２０ 交換レンズ、１２１ レンズ側マウント接続部、１３０ カメラ本体、１３１ カメラ側マウント接続部、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４１ 操作入力部、１４５ 接続インタフェース、１５０ 撮像部、１７０ 電源、１６０ 外部メモリ、２００ 撮像モード選択部、２１０ 撮像モード情報取得部、２２０ 撮像モード設定部、２３０ レジスタ設定部、２４０ 内部レジスタ、２５０ 信号生成部、２６０ 処理パラメータ設定部、２７０ レジスタ設定部、２８０ 内部レジスタ、２９０ 画像処理部、２９２ 動画生成部

Claims (12)

1. 撮像画素数、またはフレームレートが異なる複数の撮像モードを有する撮像部と、
   撮像モードを変更する変更要求を取得する要求取得部と、
   前記撮像部による連続撮影中に、前記変更要求に従って前記撮像モードを第１撮像モードから第２撮像モードへ切り替える制御部と
   を備え、
   前記制御部は、前記第１撮像モードから前記第２撮像モードの切り替えが撮像画素数の変更であった場合、前記第２撮像モードのフレームレートを変更された撮像画素数に対応するフレームレートに変更し、前記撮像モードの切り替えがフレームレートの変更であった場合、前記第２撮像モードの撮像画素数を変更されたフレームレートに対応する撮像画素数に変更する
   撮像装置。
2. 前記要求取得部は、
   フレームレートを示す情報を取得するフレームレート情報取得部と、
   前記情報取得部で取得したフレームレートを示す情報に基づいて、前記フレームレートに適合する撮像画素数を有する撮像モードを、前記複数の撮像モードの中から選択する撮像モード選択部と
   を有し、
   前記制御部は、前記撮像モード選択部の選択に基づいて、前記撮像部の撮像モードを前記第１撮像モードから前記第２撮像モードへ切り替える
   請求項１に記載の撮像装置。
3. 前記要求取得部は、
   撮像画素数を示す情報を取得する撮像画素数情報取得部と、
   前記情報取得部で取得した撮像画素数を示す情報に基づいて、前記撮像画素数に適合するフレームレートを有する撮像モードを、前記複数の撮像モードの中から選択する撮像モード選択部と
   をさら有し、
   前記制御部は、前記撮像モード選択部の選択に基づいて、前記撮像部の撮像モードを前記第１撮像モードから前記第２撮像モードへ切り替える
   請求項１または２に記載の撮像装置。
4. 前記撮像モードは、複数の撮像画素数と複数のフレームレートとの組み合わせを有する
   請求項１から３のいずれか一項に記載の撮像装置。
5. 前記制御部は、前記連続撮影における前記撮像部からの読み出しタイミングを定める信号に同期して、前記第１撮像モードから前記第２撮像モードへ前記撮像モードを切り替える
   請求項１から４のいずれか一項に記載の撮像装置。
6. 前記制御部は、連続する垂直同期信号の間で、前記撮像モードを、前記第１撮像モードから前記第２撮像モードへ切り替える
   請求項５に記載の撮像装置。
7. 前記垂直同期信号を生成する信号生成部
   をさらに備え、
   前記制御部は、前記連続する垂直同期信号の間で、前記撮像モードを設定する前記撮像部の内部レジスタの値を、前記第１撮像モードを示す値から前記第２撮像モードを示す値に変更する
   請求項６に記載の撮像装置。
8. 前記第１撮像モードおよび前記第２撮像モードで連続撮像して得られた複数の画像を含む動画を生成する動画生成部
   をさらに備える請求項１から７のいずれか一項に記載の撮像装置。
9. 前記第１撮像モードおよび前記第２撮像モードのそれぞれの撮像画素数に基づいて、前記連続撮影により得られた複数の画像を同一の画素数の画像に変換する画像変換部と
   前記画像変換部により変換された前記複数の画像を連続して表示する表示部と
   をさらに備える請求項１から８のいずれか一項に記載の撮像装置。
10. 前記第１撮像モードのフレームレートが前記第２撮像モードのフレームレートと異なる場合に、前記第１撮像モードおよび前記第２撮像モードのそれぞれのフレームレートに基づいて、前記連続撮影により得られた複数の画像を、一定の時間間隔の画像に変換する画像変換部と、
    前記画像変換部により変換された前記複数の画像を連続して表示する表示部と
    をさらに備える請求項１から８のいずれか一項に記載の撮像装置。
11. 前記モード選択部は、前記情報取得部が取得したフレームレートに適合するフレームレートが定められた撮像モードが複数存在する場合に、前記第１撮像モードが定める撮像画素数に最も近い撮像画素数を定める撮像モードを選択する
    請求項２に記載の撮像装置。
12. 撮像画素数が異なる複数の撮像モードで画像信号を読み出すことができる撮像部からの撮像画素数を変更する変更要求を取得する要求取得ステップと、
    前記撮像部による連続撮影中に、前記変更要求に従って前記撮像部の撮像モードを第１撮像モードから第２撮像モードへ切り替える制御ステップと
    をコンピュータに実行させるプログラム。

Images