JP2019022139A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上することを目的とする。【解決手段】撮像装置は、第１の画像と、蓄積開始から終了までの時間が第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段１８４と、複数の第１の画像から動きベクトルを算出する演算手段６０１と、動きベクトルを用いて、第２の画像から生成される動画像の画像処理を行う画像処理手段６０３と、を有する。【選択図】図１１

Description

本発明は、撮像装置およびその制御方法に関し、特に、撮像素子からの同期した蓄積期間の異なる複数の映像を出力する撮像装置に関する。

動画と静止画の同時撮影を一台のカメラで行うことができると、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画としても楽しむことができ、撮影された映像の価値を大きく高めることが可能になる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影することができると、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむこともでき、視聴者に対して動感を豊かに伝えることが可能になる。ここで、一般に、再生された動画に一種のコマ送り的なパラパラ感があると品位が大きく失われてしまう。パラパラ感が出ないようにするためには、一連の撮影において１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒とか１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においてはこの設定が重要である。

一方、静止画においては、一瞬を写し止めた鮮鋭さが求められるので、ストップモーション効果を得るために、例えば、１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では１フレーム期間が短いので、例えば、フレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。ここで、特許文献１の撮像装置は、撮像素子の各画素に非対称な一対のフォトダイオードを備える技術を開示したものである。特許文献１において、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。従って、特許文献１では、蓄積期間の異なる二つの映像を同時に撮影することができることを示唆している。一方、動画撮影において、撮影者の手振れによって生じる撮影画像のブレを低減するために、過去フレームと現フレームを比較演算して算出した動きベクトルを用いて、振れ補正を行うことがある。また、算出された動きベクトルは、動画像の圧縮や被写体追尾に用いることも可能である。

特開２０１４−４８４５９号公報

しかしながら、前述のように、動画の品位を確保するために、動画の蓄積時間は比較的長い。そのため、蓄積時間中の被写体や撮像装置の動きのため、各フレーム画像にブレが生じて先鋭度が低くなる。したがって、フレーム間比較によって算出される動きベクトルの精度が低下し、ひいては、振れ補正、動画像の圧縮、被写体追尾などの性能が劣化する。

本発明は、上記課題を鑑みて、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することを目的とする。

上記の課題を解決するために、本発明の撮像装置は、第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段と、複数の前記第１の画像から動きベクトルを算出する演算手段と、前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理手段と、を有することを特徴とする。

本発明によれば、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することができる。

デジタルスチルモーションカメラの外観図である。 撮像装置の概略構成を示すブロック図である。 画素の構成例を示す回路図である。 静止画と動画の撮影条件の設定画面を説明するための図である。 デュアル映像モードにおけるプログラムＡＥ線図である。 静止画と動画のシャッタースピードの差異を撮像シーケンス上で示す図である。 撮像素子の駆動シーケンスを示すタイミングチャートである。 撮像装置に電源を投入した後のライブビュー表示中の表示部を表す図である。 イッチＳＴ、ＭＶを操作して取得された映像内の１フレームを示す図である。 静止画と動画の活用例を説明するための図である。 振れ補正処理部の構成を示す図である。 ブロックマッチング法を説明する図である。 撮像素子の蓄積と読み出し、振れ補正処理のタイミングを示す図である。 切り出し処理部の切り出し処理を説明するための図である。 第２実施形態における撮像装置を示すブロック図である。 第２実施形態における振れ補正処理部の構成を示す図である。 第３実施形態における振れ補正処理部の構成を示す図である。 第３実施形態における振れ補正処理部の動作を示すフローチャートである。 第４実施形態における振れ補正処理部の構成を示す図である。 第４実施形態における振れ補正処理部の動作を示すフローチャートである。

以下、本発明を実施するための最良の形態について図面などを参照して説明する。

（第１実施形態）
映像処理装置に撮像のための撮影光学系等を加えた撮像装置を本発明の好適な実施の形態として以下に説明する。図１は、本実施形態に係る撮像装置としてのデジタルスチルモーションカメラの外観図であり、図１（Ａ）は、撮像装置の正面図、図１（Ｂ）は、撮像装置の背面図である。図１を参照して、本実施形態に係る撮像装置は、内部に撮像素子やシャッター装置を収納した撮像装置本体１５１と、内部に絞りを有した撮影光学系１５２と、撮影情報や映像を表示するための可動式表示部１５３とを備える。また、主に静止画の撮影を行うために使用するスイッチＳＴ１５４と、動画撮影を開始および停止するための釦であるスイッチＭＶ１５５とを備える。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、撮影モードを選択するための撮影モード選択レバー１５６と、撮像装置の機能設定を行う機能設定モードへ移行するためのメニュー釦１５７と、各種の設定値を変更するためのアップダウンスイッチ１５８および１５９とを備える。また、各種の設定値を変更するためのダイアル１６０と、撮像装置本体内に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するための再生ボタン１６１を備える。また、空中からの撮影を行うために撮像装置を空中に浮上させるためのプロペラ１６２とを備える。

図２は、本実施形態に係る撮像装置１５１の概略構成を示すブロック図である。なお、本実施形態に係る撮像装置１５１の範囲を点線で示す。同図において、撮像素子（撮像手段）１８４は、撮影光学系（光学系）１５２を介して結像された被写体の光学像を電気的な映像信号に変換する。撮影光学系１５２は、被写体の光学像を撮像素子１８４に結像させる。光軸１８０は、撮影光学系１５２の光軸である。絞り１８１は、撮影光学系１５２を通る光の量を調節するための絞りであり、絞り制御部１８２により制御される。光学フィルター１８３は、撮像素子１８４に入射する光の波長および撮像素子１８４に伝達する空間周波数を制限する。撮像素子１８４は、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。

デジタル信号処理部１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部（制御手段）１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力する。システム制御ＣＰＵ（制御手段）１７８は、各種演算とデジタルスチルモーションカメラ全体を制御する。

映像メモリ１９０は、映像データを一時的に記憶し、表示インターフェース部１９１は、撮影された映像を表示する。表示部１５３は、液晶ディスプレイ等の表示装置である。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の着脱可能な記録媒体である。記録インターフェース部１９２は、記録媒体１９３に記録または読み出しを行うためのインターフェースであり、外部インターフェース部１９６は、外部コンピュータ１９７等と通信するためのインターフェースである。プリンタ１９５は、小型インクジェットプリンタ等のプリンタであり、プリントインターフェース部１９４は、撮影された映像をプリンタ１９５に出力し印刷するためのインターフェース部である。コンピュータネットワーク１９９は、インターネットなどのコンピュータネットワークであり、無線インターフェース部１９８は、ネットワーク１９９と通信するためのインターフェース部である。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うための飛行制御装置である。

図３は、撮像素子１８４の一部回路図である。同図において、撮像素子１８４の多数の画層要素のうち、１行１列目（１，１）の画素要素と最終行であるｍ行１列目（ｍ，１）の画素要素を示している。１行１列目（１，１）の画素要素とｍ行１列目（ｍ，１）の画素要素の同じ構成要素は同じ番号で付番している。本実施形態に係る撮像素子１８４の１つの画素要素は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有している。信号保持部を有する撮像素子１８４の基本構造は、本出願人により特開２０１３−１７２２１０号公報にて開示されているのでその説明は省略する。

図３の回路図において、１つの画素要素は、フォトダイオード５００と、第１の転送トランジスタ５０１Ａと、第１の信号保持部５０７Ａとを備える。また、第２の転送トランジスタ５０２Ａと、第３の転送トランジスタ５０１Ｂと、第２の信号保持部５０７Ｂと、第４の転送トランジスタ５０２Ｂとを有する。さらに１つの画素要素は、第５の転送トランジスタ５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有している。

また、第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａにて制御され、第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａにて制御される。また、第３の転送トランジスタ５０１Ｂは、転送パルスφＴＸ１Ｂにて制御され、第４の転送トランジスタ５０２Ｂは、転送パルスφＴＸ２Ｂにて制御される。また、リセットトランジスタ５０４は、リセットパルスφＲＥＳで制御され、選択トランジスタ５０６は、選択パルスφＳＥＬで制御される。さらに、第５の転送トランジスタ５０３は、転送パルスφＴＸ３にて制御される。ここで、各制御パルスは、不図示の垂直走査回路から送出される。

さらに、図３には、電源線５２０と、電源線５２１と、信号出力線５２３が含まれる。本実施形態に係る撮像装置を構成する撮像素子１８４は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有しているため、第１の画像である静止画と第２の画像である動画とを同時に撮影することが可能となっている。そのため、Ｓ／Ｎの低下を伴わずに蓄積期間の異なる二つの画像を読み出すことが可能となっている。

図４は、撮像装置本体１５１における静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の撮影条件の設定画面を説明するための図である。撮影モード選択レバー１５６を時計方向に回転させることによって２つの映像を同時に撮影することができるデュアル映像モードに入る。表示部１５３には、その時の被写体の輝度に応じたＢｖ値３２１、Ｆナンバー３２２、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）それぞれのＩＳＯ感度３２３、３２４、シャッタースピード３２５、３２６が表示される。また、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のそれぞれについて現在設定されているピクチャーモード３２７、３２８が表示される。ピクチャーモードはアップダウンスイッチ１５８、１５９、およびダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。

図５は、本実施形態に係るデュアル映像モードにおけるプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）線図である。横軸がＴｖ値とそれに対応するシャッタースピード、縦軸はＡｖ値とそれに対応する絞り値、斜め方向が等Ｂｖ線となっている。ゲイン表記領域３５６は、静止画（ｐｉｃｔｕｒｅ Ａ）のＢｖ値とＩＳＯ感度の関係を表しゲイン表記領域３５７は、動画（ｐｉｃｔｕｒｅ Ｂ）のＢｖ値とＩＳＯ感度の関係を表す。高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかを説明する。本実施形態に係る撮影装置は、第１の画像である静止画と第２の画像である動画とを同時に撮影するため、プログラムＡＥ線図は、同じ被写体輝度に対して同じ絞り値になるように設定されている。

まず、輝度Ｂｖ１４のときは、静止画ではＩＳＯ感度はＩＳＯ１００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５１で交差し、点３５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、動画ではＩＳＯ感度はＩＳＯ１に設定される。動画（ｐｉｃｔｕｒｅ Ｂの等Ｂｖ線は、動画のプログラム線図の線３５９と点３５２で交差し、点３５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

輝度Ｂｖ１１のときは、静止画ではＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。静止画の等Ｂｖ線は静止画のプログラム線図の線３５８と点３５３で交差し、点３５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、動画ではＩＳＯ感度はＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５２で交差し、点３５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。

輝度Ｂｖ７のときは、静止画ではＩＳＯ感度は、ＩＳＯ２００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５４で交差し、点３５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画ではＩＳＯ感度は、ＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５５で交差し、点３５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。

輝度Ｂｖ６のときは、静止画ではＩＳＯ感度は、１段分上昇してＩＳＯ４００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５４で交差し、点３５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画ではＩＳＯ感度はＩＳＯ２５に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５５で交差し、点３５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。以降、輝度が下がるにつれて静止画、動画ともにシャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。

このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において静止画は１／１０００秒以上のシャッタースピードを保ち、動画は全輝度範囲で１／６０秒のシャッタースピードを保っている。そのため、静止画ではストップモーション効果を得つつ、動画ではコマ送り的なパラパラ感の無い高品位な動画を得ることができる。

ところで、同じ絞り値で同時に撮影される静止画と動画は、ＩＳＯが異なるように制御されるが、静止画が適正露出になるように露出制御を行うと、動画は飽和してしまいＩＳＯ制御をすることができない。そこで、本実施形態に係る撮像装置では、動画のフレームレートに相当するシャッタースピード１／６０秒の間で均等の時間間隔で短い蓄積をＮｐ（Ｎｐ＞１）回加算して動画を生成することにより、実質的にＩＳＯが小さくなるようにしている。

本実施形態では、動画のシャッタースピード１／６０秒を蓄積期間、静止画のシャッタースピード１／１０００秒を蓄積時間と称し、動画の蓄積時間は静止画の蓄積時間と同じになるように制御される。すなわち、短い蓄積を撮像素子１８４の信号保持部５０７にてＮｐ（Ｎｐ＞１）回加算して生成された動画の全蓄積時間は静止画の蓄積時間と同じで、同じ撮影周期に撮影された静止画と同じＩＳＯで制御するようにしている。例えば、輝度Ｂｖ７のとき、シャッタースピード１／６０秒の周期中に１６回に分けて蓄積加算することにより動画を生成する場合、静止画のＩＳＯ２００と同様のＩＳＯ制御をするために、動画を生成するための１回の蓄積時間は１／１６０００秒に設定される。

図６は、本実施形態に係る撮像装置において、第１の画像である静止画と第２の画像である動画と同時に撮影するための、撮像素子１８４における蓄積、読み出しタイミングを説明するための図である。ここで、蓄積とは、フォトダイオード５００で発生した電荷を信号保持部５０７に転送することにより実行される。また、読み出しとは、信号保持部５０７に保持された電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部に出力することを指している。

図６において、本実施形態に係る撮像装置は、垂直同期信号５５０の１周期中に静止画と動画を読み出せるようになっている。また、図６では便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は、数千行を有し、本実施形態では、最終行をｍ行としている。さらに、第１の画像である静止画は、垂直同期信号５５０の１周期（時間Ｔｆ）中に全行同時に１回の蓄積（５６１）で生成され、第２の画像である動画は、全行Ｎｐ（Ｎｐ＞１）回に分割された蓄積（５６３）を信号保持部に加算して生成される。本実施形態では、第２の画像である動画の１周期中に行われる蓄積の回数は１６回で、１周期中に均等の時間間隔で蓄積加算が行われる。垂直同期信号５５０の間隔Ｔｆは、動画のフレームレートに相当し、本実施形態では、１／６０秒である。

その結果、動画と静止画を同時に撮影することが可能で、かつ静止画は、撮影者の意図する蓄積時間の短いブレのない画像を取得可能で、一方、動画は、パラパラ感のない滑らかな画像を取得可能となっている。図６の蓄積、読み出しタイミングの説明図の撮影周期１において、静止画の蓄積時間（５６１）は、撮影者によって設定されたシャッタースピードＴ１に設定されている。本実施形態では、Ｔ１＝１／２０００秒である。静止画の蓄積終了時間は、全行固定（垂直同期信号５５０からＴaの時間）で、第１行目の静止画の読み出し（５６５）開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は、全行固定のため、静止画のシャッタースピードＴ１に応じて、垂直同期信号５５０に対する静止画の蓄積開始時間が設定されるようになっている。ここで、静止画の蓄積終了時間Ｔaは、垂直同期信号５５０の間隔Ｔｆの半分以下に設定される。

一方、動画の蓄積は１周期中に均等の時間間隔で行われ、各行の動画の読み出し（５６６）開始直前までに、本実施形態では、１６回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号５５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。図６では、動画の蓄積の時間間隔は、便宜的に水平同期信号間隔Ｔｈの２倍になるように図示されている。通常は、動画の蓄積の時間間隔は、撮像素子１８４の行数をｍ、１周期中の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号５５１の間隔Ｔｈを掛けた値に設定される。また、動画の１回の蓄積時間はＴ１／１６（＝１／３２０００秒）に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号５５０に対して固定で、撮影者によって設定された静止画のシャッタースピードＴ１に応じて、動画の１回の蓄積終了時間が垂直同期信号５５０に対して設定されるようになっている。

一方、被写体輝度が低いときに撮影者が静止画のシャッタースピードＴ２を長めに設定（例えば、Ｔ２＝１／５００秒）した例を示したのが、図６の蓄積、読み出しタイミングの説明図の撮影周期２の部分である。上記撮影周期１で説明したように、静止画の蓄積終了時間は、全行固定（垂直同期信号５５０からＴaの時間）で、第１行目の静止画の読み出し（５６５）開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は全行固定のため、静止画のシャッタースピードＴ１に応じて、垂直同期信号５５０に対する静止画の蓄積開始時間が設定されるようになっている。

撮影周期１と同様に、動画の蓄積は、１周期中に均等の時間間隔で行われ、各行の動画の読み出し（５６６）開始直前までに１６回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号５５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。また、動画の１回の蓄積時間はＴ２／１６（＝１／８０００秒）に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号５５０に対して固定で、撮影者によって設定された静止画のシャッタースピードＴ２に応じて、動画の１回の蓄積終了時間が垂直同期信号５５０に対して設定されるようになっている。図６の蓄積、読み出しタイミングの説明図の撮影周期２では、静止画の蓄積時間Ｔ２が長いため、１周期中の動画の蓄積回数Ｎｐは、１４回になっている。そのため、撮影周期２で生成された動画は、撮影周期２で生成された静止画を用いて補正を行っている。

次に、図７のタイミングチャートを用いて、図６の蓄積、読み出しタイミングの説明図の撮影周期２における第１の画像である静止画と第２の画像である動画を撮影可能な撮像素子１８４の制御方法を説明する。図７のタイミングチャートにおいて、垂直同期信号φＶの立ち上がり時刻ｔ１は、図６の蓄積、読み出しタイミングの説明図の撮影周期２が始まる垂直同期信号５５０の時刻１と同じである。

本実施形態に係る撮像素子１８４は、垂直方向にｍ行の画素列があり、図７では第１行と最終行の第ｍ行のタイミングを示している。まず、時刻ｔ１において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになる。垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。

時刻ｔ３において、第１行の転送パルスφＴＸ２Ｂ（１）がハイレベルとなると第１行の第４の転送トランジスタ５０２Ｂがオンとなる。そして、直前の撮影周期（図６における撮影周期１）中に信号保持部５０７Ｂの加算蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出さる。そして、不図示の読み出し回路に供給されて第１行の動画信号として外部に出力される（図６では動画読み出し（５６６）で図示）。

時刻ｔ４において、第１行の転送パルスφＴＸ２Ｂ（１）、及び全行の転送パルスφＴＸ２Ａ（図７においては、φＴＸ２Ａ（１）、φＴＸ２Ａ（ｍ））がハイレベルとなる。すると、第１行の第４の転送トランジスタ５０２Ｂ、全行の第２の転送トランジスタ５０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ５０４がオン状態になっている。そのため、全行のフローティングディフュージョン領域５０８、全行の静止画の信号保持部５０７Ａ、第１行の動画の信号保持部５０７Ｂがリセットされる。また、時刻ｔ４には、第１行の選択パルスφＳＥＬ（１）は、ローレベルになっている。

時刻ｔ５において、全行の転送パルスφＴＸ３がローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなる。そして、全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での動画の信号電荷の蓄積が開始される（図６では蓄積（５６３）で図示）。ここで、垂直同期信号φＶのハイレベルとなる時刻ｔ１と全行のフォトダイオード５００での動画の信号電荷の蓄積開始時刻ｔ５との時間間隔Ｔｂは固定である。

ところで、図７のタイミングチャートの時刻ｔ５での第１行の動画の蓄積開始は、図６に示す撮影周期２中の動画の蓄積開始を表し、時刻ｔ５での第ｍ行の動画の蓄積開始は、図６の撮影周期１中の動画の蓄積開始を表している。本実施形態の図６において、撮影周期１と撮影周期２の静止画及び動画の蓄積時間は異なり、撮影周期１の蓄積時間は撮影周期２の蓄積時間より短いため、撮影周期１中の第ｍ行の動画蓄積が先に終了する。

時刻ｔ６の直前に、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がハイレベルとなると、第ｍ行の第３の転送トランジスタ５０１Ｂがオンとなる。そして、第ｍ行のフォトダイオード５００に蓄積された信号電荷は、第ｍ行の動画の電荷を保持する信号保持部５０７Ｂに転送される（図６では動画転送（５６４）で図示）。さらに、時刻ｔ６において、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がローレベルとなると、第ｍ行の第３の転送トランジスタ５０１Ｂがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ｂへの転送が終了する。

ここで、時刻ｔ５から時刻ｔ６が、図６の撮影周期１における動画の１回の蓄積時間（＝Ｔ１／１６）に相当する。また、時刻ｔ６において、第ｍ行の転送パルスφＴＸ３（ｍ）がハイレベルとなり、第ｍ行の第５の転送トランジスタ５０３がオンとなって、第ｍ行のフォトダイオード５００がリセット状態になる。

時刻ｔ７の直前に、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルとなると、第１行の第３の転送トランジスタ５０１Ｂがオンとなる。そして、第１行のフォトダイオード５００に蓄積された信号電荷は、第１行の動画の電荷を保持する信号保持部５０７Ｂに転送される。さらに、時刻ｔ７において、第１行の転送パルスφＴＸ１Ｂ（１）がローレベルとなると、第１行の第３の転送トランジスタ５０１Ｂがオフとなり、第１行のフォトダイオード５００に蓄積された信号電荷の第１行の信号保持部５０７Ｂへの転送が終了する。ここで、時刻ｔ５から時刻ｔ７が、図６の撮影周期２における動画の１回の蓄積時間（＝Ｔ２／１６）に相当する。また、時刻ｔ７において、第１行の転送パルスφＴＸ３（１）がハイレベルとなり、第１行の第５の転送トランジスタ５０３がオンとなって、第１行のフォトダイオード５００がリセット状態になる。

時刻ｔ１から始まる撮影周期における第１回目の動画の蓄積開始時刻ｔ５から、水平同期信号間隔Ｔｈの２倍の時間がたった時刻ｔ８に第２回目の動画の蓄積が開始される。時刻ｔ８から始まり時刻ｔ１０に終了する第２回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。

ここで、第１回目、第２回目の動画の蓄積動作において、２回の蓄積期間の動画の信号電荷が信号保持部５０７Ｂに加算して保持される。さらに、時刻ｔ１１から第６回目の動画の蓄積が開始される。そして、第６回目の動画の蓄積開始時刻ｔ１１は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝６×２×Ｔｈ＋Ｔｂの時間に設定されている。ここで、Ｔｈは、水平同期信号φＨの時間間隔、Ｔｂは、垂直同期信号φＶのハイレベルとなる時刻ｔ１とフォトダイオード５００での第１回目の動画の信号電荷の蓄積開始時刻ｔ５との時間間隔である。時刻ｔ１１から始まり時刻ｔ１３に終了する第６回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。

次に、時刻ｔ１４から第１の画像である静止画の蓄積が実行される。本実施形態では、１撮影周期中の静止画の蓄積回数は１回である。垂直同期信号φＶに対する静止画の読み出し（図６では静止画読み出し（５６５）で図示）の開始時間は固定のため、垂直同期信号φＶに対する静止画の蓄積終了時間（図６の時間Ｔa）は固定で、静止画の蓄積は、時刻ｔ１９に終了するように設定されている。撮影者によって静止画のシャッタースピードＴ２が設定されると、本実施形態に係る撮像装置では、静止画の蓄積開始時間が制御される。

静止画の蓄積終了時刻ｔ１９より時間Ｔ２さかのぼった時刻ｔ１４において、全行の転送パルスφＴＸ３がローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなる。そして、全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での静止画の信号電荷の蓄積が開始される（図６では静止画蓄積（５６１）で図示）。

また、静止画の信号電荷の蓄積中に、撮影周期１の第ｍ行の動画の読み出しが終了する。まず、時刻ｔ１５において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がローレベルとなると第ｍ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がハイレベルとなると第ｍ行の選択トランジスタ５０６がオンとなって、第ｍ行の画像信号の読み出しが可能となる。

時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がハイレベルとなると第ｍ行の第４の転送トランジスタ５０２Ｂがオンとなる。そして、直前の撮影周期（図６における撮影周期１）中に信号保持部５０７Ｂの加算蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第ｍ行の動画信号として外部に出力される（図６では動画読み出し（５６６）で図示）。このとき、撮影周期１の第２の画像である動画の読み出しが完了し、次に撮影周期２の第１の画像である静止画の読み出しが行われる（図６では動画読み出し（５６６）で図示）。

時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がハイレベルとなると、第ｍ行の第４の転送トランジスタ５０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルになりリセットトランジスタ５０４がオン状態になっているため、第ｍ行のフローティングディフュージョン領域５０８、第ｍ行の動画の信号保持部５０７Ｂがリセットされる。また時刻ｔ１７には、第ｍ行の選択パルスφＳＥＬ（ｍ）は、ローレベルになっている。

時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。

時刻ｔ１９の直前に、全行の転送パルスφＴＸ１Ａがハイレベルとなると、全行の第１の転送トランジスタ５０１Ａがオンとなる。そして、全行のフォトダイオード５００に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部５０７Ａに転送される（図６では静止画転送（５６２）で図示）。さらに、時刻ｔ１９において、全行の転送パルスφＴＸ１Ａがローレベルとなると、全行の第１の転送トランジスタ５０１Ａがオフとなり、全行のフォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。ここで、時刻ｔ１４から時刻ｔ１９が、図６の撮影周期２における静止画の蓄積時間Ｔ２に相当する。

時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると第１行の第２の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が第１行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第１行の静止画信号として外部に出力される（図６では静止画読み出し（５６５）で図示）。

さらに、時刻ｔ２１から第７回目の動画の蓄積が開始される。ここで、第７回目の動画の蓄積開始時刻ｔ２１は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝（７＋２）×２×Ｔｈ＋Ｔｂの時間に設定されている。本実施形態では、２回の動画の蓄積期間が静止画の蓄積期間（図６では静止画蓄積（５６１）で図示）と重なっているため、第７回目の動画の蓄積開始時刻ｔ２１は、撮影周期１の第９回目の蓄積開始時間と同等になっている。

時刻ｔ２１から始まり時刻ｔ２３に終了する第７回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。さらに、時刻ｔ２４から撮影周期２の最後の第１４回目の動画の蓄積が開始される。ここで、第１４回目の動画の蓄積開始時刻ｔ２４は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝（１４＋２）×２×Ｔｈ＋Ｔｂの時間に設定されている。時刻ｔ２４から始まり時刻ｔ２６に終了する第１４回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。

時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がローレベルとなると第ｍ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がハイレベルとなると第ｍ行の選択トランジスタ５０６がオンとなって、第ｍ行の画像信号の読み出しが可能となる。

時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がハイレベルとなると第ｍ行の第２の転送トランジスタ５０２Ａがオンとなり、第ｍ行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が第ｍ行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第ｍ行の静止画信号として外部に出力される（図６では静止画読み出し（５６５）で図示）。

時刻ｔ２９において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになり、撮影周期３が開始される。以上のように、本実施形態に係る撮像装置では、静止画の蓄積終了時間を垂直同期信号に対して固定とし、１撮影周期中に複数回行われる動画の蓄積の蓄積開始時間は、垂直同期信号に対して固定にする。これにより、同一撮影周期内に動画と静止画を読み出せるようにしている。

また、本実施形態に係る撮像装置は、第１の画像であるところの静止画と、蓄積開始から終了までの時間が第１の画像より長い第２の画像であるところの動画と、を連続的に取得可能である。ここで、蓄積開始から終了までの時間とは、複数の第１の画像であるところの複数の静止画においては蓄積時間、第２の画像であるところの動画においては蓄積期間を表す。その結果、撮影者によって静止画のシャッタースピードの変更があっても、１撮影周期中に蓄積時間の短いブレのない静止画とパラパラ感のない動画を同時に撮影することができる。すなわち、静止画と動画を高品位で同時撮影することができる。

ここで、本実施形態に係る振れ補正処理について説明する。図１１は、本実施形態に係る振れ補正処理部６００の構成を示す図である。振れ補正処理部６００は、デジタル信号処理部１８７に設けられ、撮像素子１８４の静止画の出力をもとに動画の振れ補正処理を行い、振れ補正済みの動画を出力する。

動きベクトル算出部（演算手段）６０１は、撮像素子１８４の出力のうち、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。過去フレームは、図６の撮影周期１における静止画の読み出し（５６５）で得られた画像であり、現フレームは、図６の撮影周期２における静止画の読み出し（５６５）で得られた画像である。すなわち、本実施形態では、第１の画像であるところの静止画から動きベクトルを算出する。動きベクトル補正部（演算手段）６０２は、静止画から算出された動きベクトルに対し、動画に適応するために以下の補正（（１）解像度、（２）フレーム間隔、（３）蓄積タイミング）を行い、補正動きベクトルとして出力する。
（１）解像度
動画は４Ｋなど規定のフォーマットに合わせるため、撮像素子１８４の出力を間引くなどして解像度の調整を行うことがある。動きベクトル補正部６０２は、静止画の解像度と動画の解像度が異なる場合、解像度の比率に合わせて動きベクトルを拡大縮小する。
（２）フレーム間隔
動画のフレーム間隔はＴｆで一定である。一方、静止画において、過去フレームの露光時間の中心と現フレームの露光時間の中心との間をフレーム間隔とすると、フレーム間隔は一定ではない。

切り出し処理部（画像処理手段）６０３は、算出された補正動きベクトルを用いて、撮像素子１８４の動画の出力に対して切り出し処理を行う。切り出し処理とは、撮像素子１８４の全画素から、指定された、ある領域の画素のみを出力する処理である。

動きベクトルの算出手法としては、ブロックマッチング法を用いる。ここで、図１２は、ブロックマッチング法を説明する図である。図１２（Ａ）に示すように、現フレーム７０１にＮ×Ｎ画素の基準ブロック７０２を複数配置する。任意の基準ブロック７０３（不図示）に対して、図１２（Ｂ）に示す過去フレーム７０５内に対応するブロック７０４を設定するとともに、ブロック７０４の周辺に（Ｎ＋２Ｍ）×（Ｎ＋２Ｍ）画素の探索範囲７０５を設定する。本実施形態では、ＭはＮより大きい。基準ブロック７０３と探索範囲７０５に存在するＮ×Ｎブロック内の画素について相関演算を行い、最も相関の高いブロック７０６の位置を動きベクトル７０７とする。

図１３は、図６と同様の、撮像素子１８４における蓄積と読み出し、振れ補正処理部６００の振れ補正処理のタイミングを説明するための図である。領域８０１は、静止画蓄積を示し、領域８０２は、動画蓄積を示す。例えば、撮影周期１と撮影周期２の間の静止画のフレーム間隔Ｔｆｓ２は以下のように表せる。
Ｔｆｓ２ ＝ Ｔｆ − （Ｔ２−Ｔ１）／２

従って、過去フレームと現フレームで静止画のシャッタースピードが異なる場合、静止画と動画のフレーム間隔が異なる。動きベクトルは、フレーム間の画像の移動量を示すものであるため、フレーム間隔が異なれば補正が必要になる。動きベクトル補正部６０２は、静止画のフレーム間隔と動画のフレーム間隔が異なる場合、その比率に合わせて動きベクトルを補正する。撮影周期２で得られた静止画から算出された動きベクトルをＡｓ２としたとき、フレーム間隔を補正した動きベクトルＡＳ２´は以下のように算出される。
ＡＳ２´＝ Ａｓ２ ＊ Ｔｆ ／ Ｔｆｓ２
Ｔｓ２ ＝ Ｔｆ − （Ｔ２−Ｔ１）／２

また、動きベクトル補正部６０２は、（３）蓄積タイミングの補正を行い、補正動きベクトルとして出力する。
（３）蓄積タイミング
本実施形態では、動画と静止画で蓄積シーケンスが異なるため、画像の中心が蓄積されるタイミングが異なる。ある撮影周期において、動画の蓄積開始から、画像の中心である（ｍ＋１）／２行目の蓄積期間の中心までの時間を蓄積タイミングＴｍとする。撮影周期１における静止画の蓄積タイミングＴｍｓ１、動画の蓄積タイミングＴｍｍ１は、図１３のように示すことができ、以下の式で表される。
Ｔｍｓ１ ＝ Ｔａ − Ｔ１／２
Ｔｍｍ１ ＝ Ｔｈ ＊ （ｍ＋１）／２ ＋ Ｔｆ／２

また、撮影周期１における静止画と動画の蓄積タイミングのずれｄＴｍ１は、以下の式で表される。
ｄＴｍ１ ＝ Ｔｍｍ１ − Ｔｍｓ１
同様に、撮影周期２における静止画の蓄積タイミングＴｍｓ２、動画の蓄積タイミングＴｍｍ２、静止画と動画の蓄積タイミングのずれｄＴｍ２は、以下の式で表される。
Ｔｍｓ２ ＝ Ｔａ − Ｔ２／２
Ｔｍｍ２ ＝ Ｔｍｍ１
ｄＴｍ２ ＝ Ｔｍｍ２ − Ｔｍｓ２

動きベクトルを算出した静止画の蓄積タイミングと、補正対象である動画の蓄積タイミングが異なるため、動きベクトルの補正が必要になる。動きベクトル補正部６０２は、静止画と動画の蓄積タイミングが異なる場合、そのずれ量に合わせて動きベクトルを補正する。撮影周期１、撮影周期２で得られた静止画から算出された動きベクトルをそれぞれＡＳ１、ＡＳ２としたとき、蓄積タイミングを補正した動きベクトルＡＳ２´´は、線形補間を利用して以下のように算出される。
ＡＳ２´´＝ （Ａｓ２−Ａｓ１） ／ Ｔｆｓ２ ＊ ｄＴｍ２

図１４は、切り出し処理部６０３の切り出し処理を説明するための図である。撮像素子１８４で取得された全画素からなる画像９０１に対して、過去フレームでは領域９０２の画素のみを出力する。現フレームでは、領域９０２を補正動きベクトル９０３だけシフトさせた領域９０４の画素を出力する。補正動きベクトル９０３は、動きベクトル算出部６０１から出力された動きベクトルに対して、動きベクトル補正部６０２によって動画に適応するための補正を行ったものである。

また、動画で適応するための補正として、前述の解像度、フレーム間隔、蓄積タイミングの３つの補正のうち、少なくとも一つの補正を行うことで、動きベクトルの算出精度が向上できる。また、上記３つの補正をすべて行うことが望ましく、その場合は動画により適応するように動きベクトルが補正でき、動きベクトルの算出精度が向上できる。切り出し処理により、動きベクトルとして算出された振れに応じて動画の切り出し位置をシフトさせることができ、撮影者の手振れなどによって生じる撮影画像のブレを低減することができる。

以上説明したように、本実施形態に係る撮像装置は、第１の画像である静止画と、蓄積開始から終了までの時間が第１の画像より長い第２の画像である動画と、を取得可能である。また、振れ補正処理部６００は、複数の第１の画像であるところの複数の静止画から算出した動きベクトルを用いて、第２の画像であるところの動画から生成される動画像の画像処理であるところの振れ補正処理を行う。

前述のように、本発明の撮像装置では、蓄積開始から終了までの時間は動画に対して静止画の方が短い。そのため、静止画の方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。したがって、動画に対してフレーム間の相関演算を行った場合に対して、静止画に対してフレーム間の相関演算を行った場合の方が演算の精度が高くできて、動きベクトルの算出精度が向上する。

図１３に示すように、撮影周期１において、動画読み出しが終了する前に、静止画読み出しが終了する。また、動画読み出しが終了する前に、動きベクトル算出部６０１によって動きベクトルの算出が開始される。これは、他の撮影周期においても同様である。すなわち、本実施形態の撮像装置では、撮像素子１８４が第２の画像であるところの動画の読み出しを終了する前に、第１の画像であるところの静止画の読み出しを終了して、演算手段であるところの動きベクトル算出部６０１が動きベクトルの算出を開始する。

従来は、動画読み出しが終了してから動きベクトルの算出が開始されていたのに対して、本実施形態では、動きベクトルの開始タイミングが早くなり、処理の高速化が可能である。動画に対して静止画の画素数が大きい場合や、基準ブロックや探索範囲が大きい場合には、動きベクトルの算出時間が増大する傾向にあるため、この効果がより顕著となる。

図８は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示部１５３上に表示されている。それとともに、撮影モード選択レバー１５６が時計方向に回動した位置にあるので、デュアル映像モードでの静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のシャッタースピード４９１、４９２とＦナンバー４９３が表示されている。

デジタルスチルモーションカメラの表示部１５３上では、図９に示すように、再生ボタン１６１が操作されたときに、静止画（ｐｉｃｔｕｒｅ Ａ）4９６と動画（ｐｉｃｔｕｒｅ Ｂ）４９７の両方を並べて表示できるようにする。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。

図１０は、タブレット端末、パーソナルコンピュータ、テレビモニタなどでの、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の活用例を示す図である。静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のデータファイルは、ネットワーク上のストレージ等に格納されている。図１０において、フレーム群５８１は、ＭＰ４ファイルに格納された静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群である。これらのＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。

まず、動画の再生をスタートすると、動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。動画（ｐｉｃｔｕｒｅ Ｂ）は、シャッタースピードが過度に速くならないような設定（本実施形態では、１／６０秒）で撮影されているため、再生された映像はコマ送りのようなパラパラ感の無い高品位なものである。

フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）に対応する静止画（ｐｉｃｔｕｒｅ Ａ）のデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。静止画（ｐｉｃｔｕｒｅ Ａ）は、ストップモーション効果が得られやすい高速シャッタースピード（本実施形態では、１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。静止画（ｐｉｃｔｕｒｅ Ａ）と動画（pｉｃｔｕｒｅ Ｂ）の２つの映像が異なる蓄積期間（シャッタースピード）の設定で撮影されながらも、静止画（ｐｉｃｔｕｒｅ Ａ）についてゲインアップするのではなく、撮像素子で同程度の信号電荷を得ている。そのため、どちらもＳＮの良好なノイズ感の無い映像となっている。

ここで、印刷の指示を行うと、静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。従って、印刷物もストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなパラパラ感の無い高品位なものである。

以上説明したように、本実施形態に係る撮像装置では、静止画と動画を高品位で同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上することができる。また、本実施形態の構成は、上記に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、算出された動きベクトルを振れ補正以外の画像処理、例えば、動画像の圧縮や、被写体の追尾などに利用してもよい。本実施形態と同様に動きベクトルの算出精度が向上でき、性能の向上が可能である。

（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同じ部分については同じ番号を付すことで説明を省略する。第１実施形態に対する主な相違点は、光学系の一部を動かして振れ補正を行うことである。

図１５は、本実施形態に係る撮像装置１５１を示すブロック図である。なお、撮像装置１５１の範囲を点線で示す。。補正レンズ１００１は、撮影光学系１５２の一部であり、不図示の保持機構によって光軸１８０に直交する面内で移動可能に保持されている。補正レンズ１００１が移動することで、撮像素子１８４上の被写体像の位置を光軸１８０に直交する面内で移動させることが可能である。振れ補正制御部（光学系制御手段）１００２は、デジタル信号処理部の出力に応じて、補正レンズを光軸１８０に直交する面内で移動するように駆動制御する。

図１６は、本実施形態に係る振れ補正処理部１００３の構成を示す図である。動きベクトル算出部１００４は、第１実施形態における動きベクトル算出部６０１と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。第１実施形態とは異なり、動きベクトル算出部１００４で算出された動きベクトルは、振れ補正制御部１００２に出力される。振れ補正制御部１００２は、算出された動きベクトルを撮像装置の振れ量とみなし、撮像装置の振れをキャンセルするのに必要な補正レンズ１００１の移動量を算出する。さらに、算出された移動量だけ補正レンズ１００１が移動するように駆動制御する。

以上により、動きベクトルとして算出された振れに応じて補正レンズ１００１が光軸１８０に直交する面内で移動し、撮像素子１８４上の被写体像の振れが補正される。すなわち、本実施形態では、光学系制御手段であるところの振れ補正制御部１００２が、第１の画像であるところの静止画から算出した動きベクトルを用いて、光学系の制御を行う。また、本実施形態に係る振れ補正は、撮影周期毎に更新され、動画撮影時の振れを補正することができる。従って、第１実施形態と同様に、動画撮影に適応する動きベクトルの算出精度を向上することができる。
なお、本実施形態では、撮影光学系１５２の一部を移動させることにより光学的な振れ補正を行ったが、撮影光学系１５２の全体を移動させたり、撮像素子１８４を移動させたりして光学的な振れ補正を行ってもよい。

（第３実施形態）
次に、第３実施形態について説明する。第１実施形態と同じ部分については同じ番号を付すことで説明を省略する。第１実施形態に対する主な相違点は、静止画の蓄積時間によって適応する動きベクトルを変更することである。

図１７は、本実施形態に係る振れ補正処理部１１００の構成を示す図である。動きベクトル選択部（選択手段）１１０１は、静止画の撮影条件に応じて、動きベクトル算出部１１０２と動画動きベクトル算出部１１０４のどちらで動きベクトルを算出するかを選択する。動きベクトル算出部１１０２は、第１実施形態における動きベクトル算出部６０１と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。

動きベクトル補正部１１０３は、第１実施形態における動きベクトル補正部６０２と同様に、静止画から算出された動きベクトルに対し、動画に適応するために補正を行い、補正動きベクトルとして出力する。動画動きベクトル算出部（第２演算手段）１１０４は、第２の画像であるところの動画を用いて、動画動きベクトルを算出する。動きベクトル算出部１１０４は、動きベクトル算出部１１０２と同様に、動画に対し過去フレームと現フレームの相関演算を行い、動画動きベクトルを出力するが、動きベクトル補正部１１０３に相当するような動画に適応するための補正は行わない。切り出し処理部１１０５は、動きベクトル選択部１１０１の選択に基づき、補正動きベクトルもしくは動画動きベクトルを用いて、撮像素子１８４の動画の出力に対して切り出し処理を行う。

図１８は、本実施形態に係る振れ補正処理部１１００の動作を示すフローチャートである。まず、ステップＳ１２０１で、振れ補正処理が開始されると、ステップＳ１２０２で静止画の蓄積時間と動画の蓄積期間を比較する。前述のように、静止画の蓄積時間は、撮影者によって設定されたシャッタースピードに相当するＴであり、図６中のＴ１、Ｔ２で示すように変更可能である。すなわち、第１の画像であるところの静止画の蓄積開始から終了までの時間が変更可能である。また、動画の蓄積期間はフレームレートに相当するＴｆであり、１／６０秒で固定されている。

次に、ステップＳ１２０２で、静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆ以下であるか否かを判定する。静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆ以下である場合（Ｙｅｓ）、ステップＳ１２０３に進み、動きベクトル算出部１１０２で動きベクトルが算出される。その後、ステップＳ１２０４に進み、動きベクトル補正部１１０３で補正動きベクトルが算出されてステップＳ１２０６に進む。一方、ステップＳ１２０２で静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆより長い場合（Ｎｏ）、ステップＳ１２０５に進み、動画動きベクトル算出部１１０４で動画動きベクトルが算出されてステップＳ１２０６に進む。次に、ステップＳ１２０６で、ステップＳ１２０４から入力された補正動きベクトルまたはステップＳ１２０５から入力された動画動きベクトルを基に、切り出し処理部１１０５で切り出し処理が行われた後、ステップＳ１２０７に進んで振れ補正処理が終了する。蓄積開始から終了までの時間が短い方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。

本実施例では、第１の画像である静止画の蓄積開始から終了までの時間が、第２の画像である動画の蓄積開始から終了までの時間より長いときは、第２の画像である動画から算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画のうち、蓄積開始から終了までの時間が短いほうの画像、すなわち先鋭度が高い画像から動きベクトルを算出でき、動画撮影に適応する動きベクトルの算出精度が向上する。

（第４実施形態）
次に、第４実施形態について説明する。第３実施形態と同じ部分については同じ番号を付すことで説明を省略する。第３実施形態に対する主な相違点は、動きベクトルの信頼度によって適応する動きベクトルを変更することである。

動きベクトルを算出すると同時に、算出した動きベクトルの信頼度を算出する方法が公知である（例えば、特開２０１５−１１１７６４中の動きベクトル検出部１０３に相当する）。後述する本実施形態に係る動きベクトル算出部１３０２と動画動きベクトル算出部１３０４は、探索範囲上の基準ブロックの位置と相関値の関係から信頼度を算出することが可能である。信頼度は、別に設けられたジャイロセンサの出力との乖離の大小などから算出してもよい。

図１９は、本実施例の振れ補正処理部１３００の構成を示す図である。動きベクトル算出部１３０２は、動きベクトルと、動きベクトルの信頼度（以下、信頼度Ｒｓと定義する）を出力する。動画動きベクトル算出部１３０４は、動画動きベクトルと、動画動きベクトルの信頼度（以下、信頼度Ｒｍと定義する）を算出する。動きベクトル選択部１３０１は、動きベクトルの信頼度と動画動きベクトルの信頼度を比較して、動きベクトルと動画動きベクトルのどちらかを選択して出力する。

図２０は、本実施形態に係る振れ補正処理部１３００の動作を示すフローチャートである。まず、ステップＳ１４０１で、振れ補正処理が開始されると、ステップＳ１４０２において、動きベクトル算出部１３０２で動きベクトルおよび信頼度が算出される。これとほぼ同時に、ステップＳ１４０３において動きベクトル補正部１３０３で補正動きベクトルが算出される。次に、ステップＳ１４０４で、動画動きベクトル算出部１３０４において動画動きベクトルおよび信頼度が算出される。次に、ステップＳ１４０５で、動きベクトルの信頼度Ｒｓと動画動きベクトルの信頼度Ｒｍを比較する。そして、ステップＳ１４０５で動きベクトルの信頼度Ｒｓが動画動きベクトルの信頼度Ｒｍ以上である場合（Ｙｅｓ）、ステップＳ１４０６で、動きベクトル選択部１３０１から補正動きベクトルが出力される。一方、ステップＳ１４０５で動きベクトルの信頼度Ｒｓが動画動きベクトルの信頼度Ｒｍより小さい場合（Ｎｏ）、ステップＳ１４０７で、動きベクトル選択部１３０１から動画動きベクトルが出力される。その後、ステップＳ１４０８で、切り出し処理が行われた後、ステップＳ１４０９に進んで振れ補正処理が終了する。

本実施形態では、第１演算手段であるところの動きベクトル算出部６０１と動きベクトル補正部６０２は、複数の第１の画像である複数の静止画から算出した動きベクトルの信頼度Ｒｍを算出可能である。また、第２演算手段であるところの動画動きベクトル算出部１３０４は、複数の第２の画像である複数の動画から算出した動きベクトルの信頼度Ｒｍを算出可能である。さらに、画像処理手段であるところの振れ補正処理部１３００は、信頼度Ｒｓが信頼度Ｒｍより小さいときは、第２演算手段であるところの動画動きベクトル算出部１３０４が算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画から算出された動きベクトルのうち、信頼度が高い方の動きベクトルを選択でき、動画撮影に適応する動きベクトルの算出精度が向上する。

本発明の構成は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、撮像素子１８４上の領域を分割し、ある領域では静止画を撮像し、他の領域では動画を撮像する構成であってもよい。また、複数の撮像素子を備えており、ある撮像素子で静止画を撮像し、他の撮像素子で動画を撮像する構成であってもよい。その際、途中で光路を分割して異なる撮像面上に複数の撮像素子を配置してもよく、同一撮像面上に複数の撮像素子を配置してもよい。上記の構成であれば、静止画と動画の蓄積を同時に行うことができ、撮像シーケンスの自由度が高くできる。

また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１８４ 撮像素子
６０１ 動きベクトル算出部
６０３ 切り出し処理部

Claims (8)

1. 第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段と、
   複数の前記第１の画像から動きベクトルを算出する演算手段と、
   前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理手段と、
   を有する
   ことを特徴とする撮像装置。
2. 第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段と、
   被写体の光学像を前記撮像手段に結像させる光学系と、
   複数の前記第１の画像から動きベクトルを算出する演算手段と、
   前記動きベクトルを用いて、前記光学系の制御を行う光学系制御手段と、
   を有する
   ことを特徴とする撮像装置。
3. 前記撮像手段が前記第２の画像の読み出しを終了する前に、前記撮像手段が前記第１の画像の読み出しを終了して、前記演算手段が動きベクトルの算出を開始する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記演算手段は、前記第２の画像の動きベクトルと、前記第１の画像と前記第２の画像のそれぞれの動きベクトルの信頼度をさらに算出し、
   前記画像処理手段または前記光学系制御手段は、前記算出した第１の画像の動きベクトルの信頼度が、前記算出した第２の画像の動きベクトルの信頼度より小さい場合、前記第２の画像の動きベクトルを用いる
   ことを特徴とする請求項３に記載の撮像装置。
5. 第１の画像と、前記第１の画像と蓄積時間の異なる第２の画像とを連続的に取得可能な撮像手段と、
   複数の前記第１の画像から動きベクトルを算出する第１演算手段と、
   複数の前記第２の画像から動きベクトルを算出する第２演算手段と、
   前記第１演算手段が算出した動きベクトルと前記第２演算手段が算出した動きベクトルを選択する選択手段と
   を有し、
   前記選択手段は、前記第１の画像の蓄積開始から終了までの時間が、前記第２の画像の蓄積開始から終了までの時間より長い場合、前記第２の画像から算出した動きベクトルを選択する
   ことを特徴とする撮像装置。
6. 第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段を備える撮像装置の制御方法であって、
   複数の前記第１の画像から動きベクトルを算出する演算工程と、
   前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理工程と、
   を有する
   ことを特徴とする撮像装置の制御方法。
7. 第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段と被写体の光学像を前記撮像手段に結像させる光学系を備える撮像装置の制御方法であって、
   複数の前記第１の画像から動きベクトルを算出する演算工程と、
   前記動きベクトルを用いて、前記光学系の制御を行う光学系制御工程と、
   を有する
   ことを特徴とする撮像装置の制御方法。
8. 第１の画像と、前記第１の画像と蓄積時間の異なる第２の画像とを連続的に取得可能な撮像手段を備える撮像装置の制御方法であって、
   複数の前記第１の画像から動きベクトルを算出する第１演算工程と、
   複数の前記第２の画像から動きベクトルを算出する第２演算工程と、
   前記第１の画像から算出した動きベクトルと前記第２の画像から算出した動きベクトルを選択する選択工程と
   を有し、
   前記選択工程では、前記第１の画像の蓄積開始から終了までの時間が、前記第２の画像の蓄積開始から終了までの時間より長い場合、前記第２の画像から算出した動きベクトルを選択する
   ことを特徴とする撮像装置の制御方法。