JP7358653B2 - 撮像装置、駆動方法、及び撮像プログラム - Google Patents

Description

本開示の技術は、撮像装置、駆動方法、及び撮像プログラムに関する。

特許文献１に記載の撮像装置では、撮像素子は画像取得時のフレームレートを変更可能に構成され、手ぶれセンサは、物理的な振動を検知することにより、そのぶれ量を検出するように構成される。撮像装置は、手ぶれセンサからのぶれ量が所定値を超えた場合に、撮像素子において画像取得を行う際のフレームレートを、通常フレームレートよりも高い値に設定し、高速フレームレートで画像取得が行われるように制御する。そして、撮像装置は、そのようして得られる複数フレームの画像を合成する。

特許文献２に記載の画像処理装置では、動きベクトル演算部は、第１フレームレートの画像信号を構成する画像フレームの部分領域である画像ブロックを、画像中の動きに基づいて複数の画像フレーム間で関連付ける動きベクトルを算出する。合成部は、複数の画像フレーム間で動きベクトルによって関連付けられた画像ブロックを加算することによって、複数の画像フレームを合成して１枚の画像フレームを生成し、第１フレームレートよりも低い第２フレームレートの画像信号として出力する。

特許文献３に記載の画像取得装置は、絞りに対応する絞り値と、被写体の輝度とに基づいて、撮像手段の露光時間を算出する露光時間算出部と、レンズの焦点距離と、所定係数とに基づいて、所定時間を算出する所定時間算出部と、露光時間が、所定時間以上である場合、複数の被写体画像を取得し、該複数の被写体画像を合成することによって、被写体の合成画像を取得する多重露光撮影を行うことを決定する撮影方法決定部と、多重露光撮影において、複数の被写体画像間の動きを検出する動き検出部と、検出された動き量に基づいて、所定係数を更新する所定係数算出部と、を具備することを特徴とする。

特開２００６－３３１２３号公報 特開２００６－３１９７８４号公報 特開２００７－１０４０２９号公報

本開示の技術に係る一つの実施形態は、動きの速い被写体を撮像した場合に、手ブレを抑えつつ、被写体の動きが不連続になることを抑制することを可能とする撮像装置、駆動方法、及び撮像プログラムを提供する。

上記目的を達成するために、本開示の撮像装置は、撮像センサと、少なくとも１つのプロセッサと、を備える撮像装置であって、プロセッサは、撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像処理と、複数の第１フレームに、撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正処理と、複数の第１フレームを合成することにより、第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成処理と、を実行するように構成され、プロセッサは、第１露光モードにおいて、ｍを正の整数とし、第２フレームを構成する第ｍ番目の第１フレームにおける露光時間を、第ｍ＋１番目の第１フレームにおける露光時間よりも短くする。

プロセッサは、シャッタ速度に対応した単位時間をＰ、第２フレームレートをＶ、第１フレームレートを第２フレームレートで割った値をＮ、ｎを正の整数とし、Ｐ＜１／Ｖ－（ｎ－１）／（Ｖ×Ｎ）を満たす最大のｎをｍとした場合に、第１露光モードにおいて、第１番目から第Ｎ番目の第１フレームのうち、第ｍ番目から第Ｎ番目の第１フレームを合成することにより第２フレームを生成し、かつ、第ｍ番目の第１フレームにおける露光時間を、第ｍ＋１番目の第１フレームの露光時間よりも短くすることが好ましい。

第ｍ番目から第Ｎ番目の第１フレームの各々における露光時間の合計は、単位時間と等しいことが好ましい。

第ｍ番目の第１フレームにおける露光時間は、第１フレームのフレーム期間よりも短く、かつ第ｍ＋１番目から第Ｎ番目の第１フレームの各々における露光時間は、第１フレームのフレーム期間と等しいことが好ましい。

第ｍ番目から第Ｎ番目の第１フレームの各々における露光時間は、時間的に連続していることが好ましい。

プロセッサは、ｍ≧２である場合に、動画データの生成に用いない第１番目から第ｍ－１番目の第１フレームのうちの少なくとも１つを取得することが好ましい。

プロセッサは、取得した複数の第１フレームをブレ補正に用いることが好ましい。

撮像センサは位相差画素を有しており、プロセッサは、取得した第１フレームに含まれる位相差画素の信号に基づいて焦点調節を行うことが好ましい。

プロセッサは、第ｍ番目から第Ｎ番目の第１フレームの各々に露光時間を分散させて露光を行う第２露光モードを実行可能とすることが好ましい。

プロセッサは、第１露光モードと第２露光モードとを選択的に実行可能とすることが好ましい。

プロセッサは、被写体の移動速度を検出し、移動速度が一定値以上である場合には、第１露光モードを選択し、移動速度が一定値未満である場合には、第２露光モードを選択することが好ましい。

プロセッサは、ブレ量が一定値未満である場合には、第１露光モードを選択し、ブレ量が一定値以上である場合には、第２露光モードを選択することが好ましい。

ロール方向の回転ブレと、ロール方向の回転軸に交差する交差方向への並進ブレとを検出するブレ検出センサを有し、プロセッサは、複数の第１フレームに対して並進ブレ補正を行い、第２フレームに対して回転ブレ補正を行うことが好ましい。

プロセッサは、Ｍを正の整数、ＮをＭの倍数、Ｍ＜Ｎとした場合に、ブレ量のうち、１／（Ｖ×Ｎ）秒でブレ補正が終了する第１ブレ量に基づいて複数の第１フレームに対してブレ補正を行い、ブレ量のうち、１／（Ｖ×Ｍ）秒でブレ補正が終了する第２ブレ量に基づいて、第１フレームをＭ枚合成した合成フレームに対してブレ補正を行い、合成フレームをＮ／Ｍ枚合成することにより、第２フレームを生成することが好ましい。

プロセッサは、ブレ量のうち、ロール方向の回転ブレは、第２フレームに対してブレ補正を行い、ブレ量のうち、ロール方向の回転軸に交差する交差方向への並進ブレは、複数の第１フレームに対してブレ補正を行うことが好ましい。

本開示の撮像装置の駆動方法は、撮像センサを備える撮像装置の駆動方法であって、撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像工程と、複数の第１フレームに、撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正工程と、複数の第１フレームを合成することにより、第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成工程と、を含み、第１露光モードにおいて、ｍを正の整数とし、第２フレームを構成する第ｍ番目の第１フレームにおける露光時間を、第ｍ＋１番目の第１フレームにおける露光時間よりも短くする。

本開示の撮像プログラムは、撮像センサを備える撮像装置を作動させる撮像プログラムであって、撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像処理と、複数の第１フレームに、撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正処理と、複数の第１フレームを合成することにより、第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成処理と、を実行するように構成され、第１露光モードにおいて、ｍを正の整数とし、第２フレームを構成する第ｍ番目の第１フレームにおける露光時間を、第ｍ＋１番目の第１フレームにおける露光時間よりも短くする。

撮像装置の前面側の一例を示す概略斜視図である。 撮像装置の背面側の一例を示す概略斜視図である。 撮像装置の内部構成の一例を示す図である。 プロセッサ及び画像処理部の機能構成の一例を示すブロック図である。 補正量算出部の構成の一例を示すブロック図である。 信号処理部の構成の一例を示す図である。 信号処理部の構成の一例を示す図である。 ブレ補正処理の一例を説明する図である。 フレーム合成処理の一例を説明する図である。 撮像センサの構成の一例を示す図である。 撮像センサの撮像動作の一例を示す図である。 ｍ＝１の場合における撮像動作の一例を示す。 ｍ＝２の場合における撮像動作の一例を示す。 第２実施形態に係る第２露光モードの一例を示す図である。 露光モードの選択処理の一例を示すフローチャートである。 露光モードの選択処理の一例を示すフローチャートである。 第３実施形態に係る撮像動作の一例を示す図である。 第４実施形態に係る画像処理部の構成の一例を示す図である。 第４実施形態に係るブレ補正を説明する図である。 第５実施形態に係る画像処理部の構成の一例を示す図である。 第５実施形態に係るブレ補正を説明する図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

以下の説明において、「ＩＣ」は、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＣＰＵ」は、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称である。「ＲＯＭ」は、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」は、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称である。「ＣＭＯＳ」は、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。

「ＦＰＧＡ」は、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称である。「ＰＬＤ」は、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称である。「ＡＳＩＣ」は、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称である。「ＯＶＦ」は、“Ｏｐｔｉｃａｌ Ｖｉｅｗ Ｆｉｎｄｅｒ”の略称である。「ＥＶＦ」は、“Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ”の略称である。「ＪＰＥＧ」は、“Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ”の略称である。「ＤＳＰ」は、“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ”の略称である。

本開示において、「等しい」とは、完全に等しいことの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に等しいことを含む。また、本開示において、「直交」とは、９０°の角度で直交することの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に直交することを含む。

［第１実施形態］
撮像装置の第１実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。

（撮像装置の構成）
図１は、撮像装置１０の前面側の一例を示す。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａ（図３参照）を介して本体１１の前面１１Ｃ側に取り付けられる。撮像レンズ１２は、本開示の技術に係るレンズの一例である。

本体１１の上面には、ダイヤル１３及びレリーズボタン１４が設けられている。ダイヤル１３は、動作モード等の設定の際に操作される。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。レリーズボタン１４は、静止画撮像、又は動画撮像の実行を開始する際にユーザにより操作される。

図１に示すＺ軸Ａ_Ｚは、撮像レンズ１２の光軸に対応する。Ｘ軸Ａ_Ｘ及びＹ軸Ａ_Ｙは、互いに直交し、かつＺ軸Ａ_Ｚに直交している。Ｘ軸Ａ_Ｘ及びＹ軸Ａ_Ｙは、本開示の技術に係るピッチ軸及びヨー軸に対応する。以下の説明では、Ｚ軸Ａ_Ｚ回りの回転方向をロール方向という。また、Ｘ軸Ａ_Ｘ回りの回転方向をピッチ方向という。また、Ｙ軸Ａ_Ｙ回りの回転方向をヨー方向という。また、Ｘ軸Ａ_Ｘ方向をＸ方向といい、Ｙ軸Ａ_Ｙ方向をＹ方向という。なお、Ｚ軸Ａ_Ｚは、本開示の技術に係る「回転軸」の一例である。また、Ｘ方向及びＹ方向は、本開示の技術に係る「回転軸に交差する交差方向」の一例である。

図２は、撮像装置１０の背面側の一例を示す。図２に示すように、本体１１の背面１１Ｄには、ディスプレイ１５、指示キー１６、及び、図示しないファインダのファインダ接眼部１８が設けられている。ファインダは、光学ビューファインダ又は電子ビューファインダが採用可能である。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。指示キー１６は、各種の指示を受け付ける。

図３は、撮像装置１０の内部構成の一例を示す。本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。

撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸（すなわちＺ軸Ａ_Ｚ）に沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図３に示す例に限定されない。

また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。

レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の焦点調節を行うために、プロセッサ４０から送信される焦点調節用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、例えば、位相差方式の頂点調節を行う。

本体１１には、撮像センサ２０、プロセッサ４０、画像処理部４１、操作部４２、ブレ検出センサ４４、メモリ４５、及びディスプレイ１５が設けられている。撮像センサ２０、プロセッサ４０の一部としての画像処理部４１、操作部４２、ブレ検出センサ４４、メモリ４５、及びディスプレイ１５は、プロセッサ４０により動作が制御される。プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４５に格納された撮像プログラム４５Ａに基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。また、撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。

ブレ検出センサ４４は、撮像装置１０に加わるブレ量を検出する。ブレ検出センサ４４は、例えば、ロール方向、ヨー方向、ピッチ方向、Ｘ方向、及びＹ方向のブレをそれぞれ検出する５軸のブレ検出センサである。以下、ロール方向のブレを回転ブレという。ヨー方向及びピッチ方向のブレを角度ブレという。Ｘ方向及びＹ方向のブレを並進ブレという。

ブレ検出センサ４４は、例えば、ジャイロセンサ４４Ａと加速度センサ４４Ｂとで構成される（図４参照）。ジャイロセンサ４４Ａは、回転ブレ及び角度ブレを検出する。加速度センサ４４Ｂは、並進ブレを検出する。ブレ検出センサ４４は、検出したブレの検出信号をプロセッサ４０に出力する。ブレ検出センサ４４は、本開示の技術に係るブレ検出部の一例である。なお、ブレ検出センサ４４は、撮像レンズ１２内に設けられていてもよい。この場合、プロセッサ４０は、電気接点１２Ｂ及び電気接点１１Ｂを介して、撮像レンズ１２内のブレ検出センサ４４からブレ量の検出値を取得すればよい。

画像処理部４１は、例えば、ＤＳＰにより構成されている。画像処理部４１は、画像信号に対して種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。また、画像処理部４１は、動画撮像時には、後述する電子式のブレ補正処理、及びフレーム合成処理を実行する。

ディスプレイ１５は、画像処理部４１が生成した画像データに基づき、画像を表示する。画像には、静止画、動画、及びライブビュー画像が含まれる。ライブビュー画像は、画像処理部４１で生成された画像データを、ディスプレイ１５に順次出力することにより、ディスプレイ１５にリアルタイム表示される画像である。

画像処理部４１が生成した画像データは、本体１１に内蔵された内部メモリ（図示せず）、又は本体１１に着脱可能な記憶媒体（例えば、メモリカード）に保存することが可能である。

操作部４２は、前述のダイヤル１３、レリーズボタン１４、及び指示キー１６（図１及び図２参照）を含む。プロセッサ４０は、操作部４２の操作に応じて、本体１１内の各部と、撮像レンズ１２内のレンズ駆動制御部３４とを制御する。

（プロセッサの構成）
図４は、プロセッサ４０及びプロセッサ４０の一部の画像処理部４１の機能構成の一例を示す。プロセッサ４０は、メモリ４５に記憶された撮像プログラム４５Ａにしたがって処理を実行することにより、各種機能部を実現する。図４に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、露光制御部５２、及び補正量算出部５３が実現される。

主制御部５０は、操作部４２から入力される指示信号に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。

ユーザは、操作部４２により、静止画撮像モードと動画撮像モードとの選択を行うことができる。また、ユーザは、操作部４２を操作することにより、シャッタ速度及び絞り値を含む露出値の設定を行うことができる。主制御部５０は、操作部４２を用いて設定されたシャッタ速度（単位：秒）に対応した単位時間Ｐを、露光制御部５２に供給する。例えば、単位時間Ｐは、シャッタ速度と等しい。主制御部５０は、操作部４２を用いて設定された絞り値Ａを、レンズ駆動制御部３４に入力する。

また、ユーザは、操作部４２を操作することにより、自動露出モードを選択することが可能である。自動露出モードが選択された場合には、主制御部５０は、撮像センサ２０により得られる画像信号の輝度とプログラム線図とを用いた演算により、シャッタ速度及び絞り値の最適値を求める。

露光制御部５２は、主制御部５０から供給された単位時間Ｐに基づいて、撮像センサ２０の露光開始タイミングを決定し、決定した露光開始タイミングを撮像制御部５１に供給する。レンズ駆動制御部３４は、主制御部５０から供給された絞り値Ａに基づいて、絞り３３（図３参照）の開口径を調整する。

補正量算出部５３は、ブレ検出センサ４４に含まれるジャイロセンサ４４Ａ及び加速度センサ４４Ｂの各々から出力されるブレの検出信号に基づき、撮像センサ２０から出力される画像信号に対してブレ補正を行うための、補正量を算出する。補正量算出部５３は、算出した補正量を、画像処理部４１に供給する。

ジャイロセンサ４４Ａは、回転ブレ及び角度ブレを検出する角速度センサであり、検出値として角速度信号を出力する。ジャイロセンサ４４Ａは、回転ブレを表す角速度信号Ｂ_Ｒと、角度ブレを表す角速度信号Ｂ_Ｙ，Ｂ_Ｐを出力する。角速度信号Ｂ_Ｙは、ヨー方向の角度ブレを表す。角速度信号Ｂ_Ｐは、ピッチ方向の角度ブレを表す。

加速度センサ４４Ｂは、並進ブレの検出値として加速度信号を出力する。加速度センサ４４Ｂは、Ｘ方向の並進ブレを表す加速度信号Ｂ_ＳＸと、Ｙ方向の並進ブレを表す加速度信号Ｂ_ＳＹとを出力する。

本実施形態では、ブレの検出軸が、ロール方向、ヨー方向、ピッチ方向、Ｘ方向、及びＹ方向の５軸であるのに対して、ブレの補正軸は、ロール方向、Ｘ方向、及びＹ方向の３軸である。このため、ヨー方向及びピッチ方向については、角度ブレを表す角速度信号Ｂ_Ｙ，Ｂ_Ｐに基づいて角度ブレを直接補正することはできない。本実施形態では、ヨー方向の角度ブレをＸ方向の並進ブレに含めて補正し、かつ、ピッチ方向の角度ブレをＹ方向の並進ブレに含めて補正する。

補正量算出部５３は、角速度信号Ｂ_Ｒに基づき、回転ブレを補正するための回転量Ｃｒを算出する。また、補正量算出部５３は、加速度信号Ｂ_ＳＸ，Ｂ_ＳＹ、及び角速度信号Ｂ_Ｙ，Ｂ_Ｐに基づき、並進ブレを補正するためのシフト量Ｃｓを算出する。

画像処理部４１には、動画撮像時に電子的なブレ補正処理を行うブレ補正部４６と、ブレが補正された複数のフレームを合成するフレーム合成部４７とが構成されている。なお、フレームとは、１フレーム期間に撮像センサ２０から出力される画像信号により表される画像をいう。ブレ補正処理は、本開示の技術に係る補正処理の一例である。

ブレ補正部４６は、撮像センサ２０の撮像領域から画像を部分的に切り出す切り出し領域をフレーム間で変更することにより、並進ブレ及び回転ブレを補正する。切り出し領域の変更には、切り出し領域のシフト及び回転が含まれる。このため、ブレ補正部４６は、切り出し領域に含まれる信号に対して、射影変換又はアフィン変換等の演算処理を行う必要がある。

フレーム合成部４７は、ブレ補正部４６によりブレが補正された複数のフレームを合成することにより、撮像センサ２０の駆動周波数に対応する第１フレームレートとよりも低い第２フレームレートの動画データを生成するフレーム合成処理を行う。フレーム合成処理は、本開示の技術に係る生成処理の一例である。

（補正量算出部の構成）
図５～図７は、補正量算出部５３の構成の一例を説明する。図５に示すように、補正量算出部５３は、信号処理部６１～６５、加算器６６，６７、回転量算出部６８、及びシフト量算出部６９により構成されている。

信号処理部６１は、回転ブレを表す角速度信号Ｂ_Ｒを、角度情報を表す補正量Ｖ_Ｒに変換し、かつ回転量算出部６８に出力する。図６に示すように、信号処理部６１は、例えば、減算器６１Ａ、ハイパスフィルタ（以下、ＨＰＦという。）６１Ｂ、乗算器６１Ｃ、及び積分器６１Ｄを有する。

減算器６１Ａは、角速度信号Ｂ_Ｒからゼロ点補正値Ｚ_Ｒの減算することによるオフセット補正を行う。ゼロ点補正値Ｚ_Ｒは、ジャイロセンサ４４Ａが静止している場合におけるジャイロセンサ４４Ａからの出力値である。ＨＰＦ６１Ｂは、減算器６１Ａを用いたオフセット補正で除去しきれず、残存した直流成分を除去する。

乗算器６１Ｃは、ＨＰＦ６１Ｂからの出力信号にゲイン値Ｇ_Ｒを乗算することによるゲイン補正を行う。ゲイン値Ｇ_Ｒは、撮像レンズ１２の焦点距離、及び／又はジャイロセンサ４４Ａの感度によって決定される値である。なお、回転ブレの場合には、ゲイン値Ｇ_Ｒは、撮像レンズ１２の焦点距離には依存しない。積分器６１Ｄは、乗算器６１Ｃからの出力信号を積分することにより、角度情報を表す補正量Ｖ_Ｒを生成し、かつ回転量算出部６８に出力する。

回転量算出部６８は、信号処理部６１から入力される補正量Ｖ_Ｒに基づいて回転量Ｃｒを算出し、算出した回転量Ｃｒをブレ補正部４６（図４参照）に入力する。ブレ補正部４６は、入力された回転量Ｃｒに応じた角度だけ切り出し領域を回転させる。

信号処理部６２は、Ｘ方向の並進ブレを表す加速度信号Ｂ_ＳＸを、位置情報を表す補正量Ｖ_ＳＸに変換し、かつ出力する。信号処理部６３は、ヨー方向の角度ブレを表す角速度信号Ｂ_Ｙを、角度情報を表す補正量Ｖ_Ｙに変換し、かつ出力する。加算器６６は、信号処理部６２から出力された補正量Ｖ_ＳＸと、信号処理部６３から出力された補正量Ｖ_Ｙとを加算し、加算値を合算補正量Ｖ_Ｓ１としてシフト量算出部６９に出力する。

信号処理部６４は、Ｙ方向の並進ブレを表す加速度信号Ｂ_ＳＹを、位置情報を表す補正量Ｖ_ＳＹに変換し、かつ出力する。信号処理部６５は、ピッチ方向の角度ブレを表す角速度信号Ｂ_Ｐを、角度情報を表す補正量Ｖ_Ｐに変換し、かつ出力する。加算器６７は、信号処理部６４から出力された補正量Ｖ_ＳＹと、信号処理部６５から出力された補正量Ｖ_Ｐとを加算し、加算値を合算補正量Ｖ_Ｓ２としてシフト量算出部６９に出力する。

図７に示すように、信号処理部６２は、例えば、減算器６２Ａ、ＨＰＦ６２Ｂ、乗算器６２Ｃ、第１積分器６２Ｄ、及び第２積分器６２Ｅを有する。信号処理部６２は、位置情報の二階微分値である加速度信号Ｂ_ＳＸを位置情報に変換するために、第１積分器６２Ｄ及び第２積分器６２Ｅの２つの積分器を有している。

図６に示す信号処理部６１と同様に、減算器６２Ａは、加速度信号Ｂ_ＳＸからゼロ点補正値Ｚ_ＳＸの減算することによるオフセット補正を行う。ゼロ点補正値Ｚ_ＳＸは、加速度センサ４４Ｂが静止している場合における加速度センサ４４Ｂからの出力値である。ＨＰＦ６２Ｂは、減算器６２Ａによるオフセット補正で残存した直流成分を除去する。乗算器６２Ｃは、ＨＰＦ６２Ｂからの出力信号にゲイン値Ｇ_ＳＸを乗算することによるゲイン補正を行う。ゲイン値Ｇ_ＳＸは、撮像レンズ１２の焦点距離、及び／又は加速度センサ４４Ｂの感度によって決定される値である。

第１積分器６２Ｄは、乗算器６２Ｃからの出力信号を積分した積分値を出力する。第２積分器６２Ｅは、第１積分器６２Ｄから出力された積分値を積分することにより、位置情報を表す補正量Ｖ_ＳＸを生成し、かつ出力する。

信号処理部６３は、例えば、減算器６３Ａ、ＨＰＦ６３Ｂ、乗算器６３Ｃ、及び積分器６３Ｄを有する。信号処理部６３の構成は、図６に示す信号処理部６１の構成と同様である。

信号処理部６４は、例えば、減算器６４Ａ、ＨＰＦ６４Ｂ、乗算器６４Ｃ、第１積分器６４Ｄ、及び第２積分器６４Ｅを有する。信号処理部６４の構成は、信号処理部６２の構成と同様である。

信号処理部６５は、例えば、減算器６５Ａ、ＨＰＦ６５Ｂ、乗算器６５Ｃ、及び積分器６５Ｄを有する。信号処理部６５の構成は、図６に示す信号処理部６１の構成と同様である。

シフト量算出部６９は、加算器６６から入力される合算補正量Ｖ_Ｓ１と、加算器６７から入力される合算補正量Ｖ_Ｓ２とに基づいて、Ｘ方向及びＹ方向へのシフト量を表すシフト量を算出し、算出したシフト量Ｃｓをブレ補正部４６（図４参照）に入力する。ブレ補正部４６は、入力されたシフト量Ｃｓに応じた距離及び方向に切り出し領域を移動させる。

（ブレ補正処理）
図８は、ブレ補正部４６によるブレ補正処理の一例を説明する。図８において、符号２１は、撮像センサ２０の受光面２０Ａにおける撮像領域を示している。撮像領域２１は、例えば、有効画素領域である。また、符号ＣＡは、撮像領域２１に対応する全体画像から画像を部分的に切り出す領域を表す切り出し領域である。切り出し領域ＣＡは、撮像領域２１よりも小さい。

なお、画像の切り出しは、例えば、撮像領域２１に対応する全体画像データをメモリに格納した後、メモリに格納された全体画像データから切り出し領域ＣＡに対応するデータを読み出すことにより行われる。

ブレ補正部４６は、撮像領域２１内において、切り出し領域ＣＡをシフト及び／又は回転させる。具体的には、ブレ補正部４６は、シフト量算出部６９から入力されるシフト量Ｃｓに応じて切り出し領域ＣＡをＸ方向及びＹ方向にシフトさせるとともに、回転量算出部６８から入力される回転量Ｃｒに応じて切り出し領域ＣＡをロール方向に回転させる。図８中の２点鎖線は、シフト及び回転後の切り出し領域ＣＡの一例を示している。

ブレ補正部４６は、撮像センサ２０から１フレーム分の画像信号が出力されるたびに、切り出し領域ＣＡを変更する。すなわち、ブレ補正部４６は、フレーム間で切り出し領域ＣＡを変更することにより、並進ブレ及び回転ブレを補正する。

（フレーム合成処理）
図９は、フレーム合成部４７によるフレーム合成処理の一例を説明する。撮像センサ２０は、第１フレームレートで画像信号を出力する。ブレ補正部４６は、１フレームごとに切り出し領域ＣＡを変化させながら、切り出し領域ＣＡから画像を切り出す。以下、第１フレームレートで取得されたフレームは、第１フレームという。

図９は、４つの第１フレームを合成することにより、１つの第２フレームを合成する例を示している。第１フレームＦ１（１）～Ｆ１（４）は、ブレ補正部４６により切り出された（すなわち、ブレ補正が行われた）連続する４フレーム分の画像である。フレーム合成部４７は、フレームＦ１（１）～Ｆ１（４）を、対応する画素ごとに加算処理することにより、１つの第２フレームＦ２を生成する。

本例では、第２フレームＦ２は、４つの第１フレームＦ１（１）～Ｆ１（４）を合成することにより生成されるので、第２フレームＦ２のフレームレート（以下、第２フレームレートという。）は、第１フレームレートの１／４倍である。複数の第２フレームＦ２により、第２フレームレートの動画データが生成される。例えば、第１フレームレートは２４０ｆｐｓ（frames per second）であり、第２フレームレートは６０ｆｐｓである。

動画データを構成する第２フレームＦ２は、ブレ補正が行われた複数の第１フレームＦ１（１）～Ｆ１（４）を合成することにより生成されるので、ブレの影響が抑制され、かつ明るい画像となる。

電子的なブレ補正の場合、各フレームの映像の露光時間中に生じたブレを補正することは困難という技術的な課題がある。しかし、２４０ｆｐｓのような高速の第１フレームレートで撮像された動画データの場合、各フレームにおける露光時間は非常に短くなるため露光時間中に生じるブレ量を極小化することが可能となる。よって、フレーム間で大幅なブレが生じづらいため、動画データ全体として電子手ぶれ補正の精度は向上する。合成によって生成された６０ｆｐｓの第２フレームレートの動画データは、合成せずに６０ｆｐｓで撮像された動画データよりも、ブレの影響が抑制された映像となる。

なお、動画データを構成する第２フレームＦ２の明るさの調整を、画像処理部４１内でゲイン調整により行ってもよい。

（撮像センサの構成）
図１０は、撮像センサ２０の構成の一例を示す。図１０に示す撮像センサ２０は、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５を有する。

撮像領域２１には、複数の画素２６が、Ｘ方向及びＹ方向に沿って二次元マトリクス状に配列されている。また、撮像領域２１には、Ｘ方向に沿って複数の行選択線Ｌ１及び複数の行リセット線Ｌ２が配線されており、かつ、Ｙ方向に沿って複数の列信号線Ｌ３が配線されている。画素２６は、行選択線Ｌ１、行リセット線Ｌ２、及び列信号線Ｌ３に接続されている。以下、Ｘ方向に並ぶ複数の画素２６を単に「行」と称することもある。なお、数の画素２６のうちの一部は、焦点調節を行うための位相差画素であってもよい。

画素２６は、フォトダイオードＤ１、アンプトランジスタＭ１、画素選択トランジスタＭ２、及びリセットトランジスタＭ３を有する。フォトダイオードＤ１は、入射光を光電変換することにより、入射光量に応じた信号電荷を生成し、生成した信号電荷を蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷の電荷量に応じた電圧（以下、画素信号Ｓという。）を生成する。

画素選択トランジスタＭ２は、行選択線Ｌ１を介して垂直走査回路２２により制御され、アンプトランジスタＭ１により生成された画素信号Ｓを列信号線Ｌ３に出力する。リセットトランジスタＭ３は、行リセット線Ｌ２を介して垂直走査回路２２により制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄する。以下、フォトダイオードＤ１から信号電荷を破棄することは、画素２６をリセットするという。

なお、ＣＭＯＳ型イメージセンサでは、画素２６からの画素信号Ｓの読み出しは、画素２６に蓄積された信号電荷は影響を与えない非破壊読み出しであるため、画素信号Ｓの読み出し後に、画素２６をリセットする必要がある。

垂直走査回路２２は、撮像制御部５１から入力されるタイミング信号に基づいて、行選択信号ＳＥＬ及びリセット信号ＲＳＴを発生する。垂直走査回路２２は、信号読み出し動作時に、行選択線Ｌ１に行選択信号ＳＥＬを与えることにより、当該行選択線Ｌ１に接続された画素２６から画素信号Ｓを列信号線Ｌ３に出力させる。

また、垂直走査回路２２は、リセット動作時に、行リセット線Ｌ２にリセット信号ＲＳＴを与えることにより、当該行リセット線Ｌ２に接続された画素２６をリセットする。例えば、第ｎ行の行リセット線Ｌ２に接続された画素２６のリセットは、第ｎ＋１行の行選択線Ｌ１に接続された画素２６から画素信号Ｓが読み出されている間に行われる。

ラインメモリ２３は、一行分の画素２６から出力された画素信号Ｓを記憶する。ラインメモリ２３は、キャパシタ等により構成されている。ラインメモリ２３は、スイッチとしてのトランジスタ２９を介して水平出力線２４Ａに接続されている。出力アンプ２５は、水平出力線２４Ａの端部に接続されている。水平走査回路２４は、トランジスタ２９を順に選択する水平走査を行うことにより、ラインメモリ２３に記憶された一行分の画素信号Ｓを順に水平出力線２４Ａに出力させる。水平出力線２４Ａに出力された画素信号Ｓは、出力アンプ２５を介して、画像信号として外部の画像処理部４１へ出力される。

垂直走査回路２２、ラインメモリ２３、及び水平走査回路２４の動作は、撮像制御部５１（図４参照）により制御される。撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行選択線Ｌ１を選択しながら画素信号Ｓを出力させる。また、撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行リセット線Ｌ２を選択しながら画素２６をリセットさせる。このように、撮像制御部５１は、「順次読み出し方式」及び「順次リセット方式」により、撮像センサ２０からの画像信号の読み出し及びリセットの制御を行う。

動画撮像モードでは、撮像制御部５１は、主制御部５０から供給される第１フレームレートで撮像センサ２０を駆動する。撮像制御部５１は、第１フレームレートに対応する周期で、撮像センサ２０に、画像信号の読み出し及びリセットの動作を繰り返し実行させる。

なお、撮像センサ２０の構成は、図１０に示す構成に限られない。例えば、撮像センサ２０にＡ／Ｄ変換器が設けられていてもよい。

（撮像動作）
図１１は、動画撮像モードにおける撮像センサ２０の撮像動作の一例を示す。図１１において、Ｔ１は、第１フレームレートの逆数で表される第１フレーム周期である。Ｔ２は、第２フレームレートの逆数で表される第２フレーム周期である。例えば、第１フレームレートが２４０ｆｐｓである場合には、Ｔ１＝１／２４０秒である。第２フレームレートが６０ｆｐｓである場合には、Ｔ２＝１／６０秒である。

第１フレーム周期Ｔ１は、同一の行選択線Ｌ１において、垂直走査回路２２から行選択信号ＳＥＬが入力される周期により規定される。すなわち、第１フレーム周期Ｔ１ごとに、撮像センサ２０から画像信号が出力される。

本実施形態では、第２フレーム周期Ｔ２に４つの第１フレームＦ１（１）～Ｆ１（４）が含まれる。Ｆ１（ｎ）は、第２フレーム周期Ｔ２において、第２フレーム周期Ｔ２が開始してから第ｎ番目の第１フレームであることを表す。ここで、ｎは、正の整数である。

符号Ｅ１～Ｅ４は、第１フレームＦ１（１）～Ｆ１（４）の各々における露光時間を示している。露光時間Ｅ１～Ｅ４は、それぞれ、各行において、リセット信号ＲＳＴが入力されてから行選択信号ＳＥＬが入力されるまでの時間（すなわち電荷蓄積時間）である。
本実施形態では、露光期間は、行ごとにずれる。すなわち、撮像センサ２０は、フォーカルプレーン方式の電子シャッタで露光を行う。

図１１では、露光時間Ｅ１～Ｅ４は、すべて同一であって、第１フレーム周期Ｔ１と等しい。すなわち、図１１に示す露光時間Ｅ１～Ｅ４は、電子シャッタを全開とした最長の露光時間である。

第１フレームＦ１（１）～Ｆ１（４）は、ブレ補正部４６によりブレ補正が行われた後、フレーム合成部４７により合成されることにより、第２フレームＦ２となる。

第２フレームＦ２は、第２フレーム周期Ｔ２ごとに生成される。第２フレームＦ２は、同一の露光時間で撮像された４つの第１フレームＦ１（１）～Ｆ１（４）が合成された画像であるので、明るさは、４倍の露光時間で撮像された画像に相当する。

図１１に示す撮像動作は、前述のシャッタ速度に対応した単位時間Ｐが設定可能な最大である場合に実行される。この場合、単位時間Ｐは、第２フレーム周期Ｔ２と等しい。

（露光制御）
次に、露光制御部５２による露光時間の制御について説明する。露光制御部５２は、主制御部５０から供給される単位時間Ｐに基づき、露光開始タイミングを決定する。具体的には、露光制御部５２は、第１フレームの各々における露光時間の合計が単位時間Ｐと等しくなるように露光開始タイミングを決定する。露光制御部５２は、決定した露光開始タイミングに基づき、撮像制御部５１を介して撮像センサ２０のリセットタイミングを制御する。

さらに具体的には、露光制御部５２は、下式（１）を満たす最大のｎをｍとした場合に、第ｍ番目の第１フレームＦ１（ｍ）における露光時間を、第ｍ＋１番目における露光時間よりも短くするように露光開始タイミング（すなわち、リセットタイミング）を決定する。
Ｐ＜１／Ｖ－（ｎ－１）／（Ｖ×Ｎ） ・・・（１）
ここで、Ｖは、第２フレームレートである。Ｎは、第１フレームレートを第２フレームレートで割った値である。すなわち、Ｎは、第２フレーム周期Ｔ２における第１フレームのフレーム数を表す。ｎは、正の整数である。

露光制御部５２は、第ｍ番目の第１フレームＦ１（ｍ）から第Ｎ番目の第１フレームＦ１（Ｎ）の各々における露光時間の合計を、単位時間Ｐと等しくする。また、露光制御部５２は、第ｍ番目の第１フレームＦ１（ｍ）における露光時間を、第ｍ＋１番目から第Ｎ番目の第１フレームＦ１（ｍ）～Ｆ１（Ｎ）の各々における露光時間よりも短くすることが好ましい。具体的には、第ｍ番目の第１フレームＦ１（ｍ）における露光時間を第１フレーム周期Ｔ１より短くし、かつ、第ｍ＋１番目の第１フレームＦ１（ｍ＋１）から第Ｎ番目の第１フレームＦ１（Ｎ）の各々における露光時間を第１フレーム周期Ｔ１と等しくすることが好ましい。本実施形態では、第ｍ番目の第１フレームＦ１（ｍ）から第Ｎ番目の第１フレームＦ１（Ｎ）の各々における露光時間は、時間的に連続している。

第１番目から第Ｎ番目の第１フレームＦ１（１）～Ｆ１（Ｎ）のうち、第ｍ番目から第Ｎ番目の第１フレームＦ１（ｍ）～Ｆ１（Ｎ）の画像は、ブレ補正部４６によりブレ補正が行われた後、フレーム合成部４７により合成されることにより、動画データを構成する第２フレームＦ２となる。すなわち、ｍ≧２の場合には、第１番目の第１フレームＦ１（１）から第ｍ－１番目の第１フレームＦ１（ｍ－１）までは、動画データの生成には用いられない。

例えば、第１フレームレートが２４０ｆｐｓであり、かつ第２フレームレートが６０ｆｐｓである場合には、Ｖ＝２４０ｆｐｓ、Ｎ＝４である。この場合、例えば、Ｐ＝１／７０秒とすると、ｍ＝１となる。また、Ｐ＝１／１００秒とすると、ｍ＝２となる。

図１２は、ｍ＝１の場合における撮像動作の一例を示す。ｍ＝１の場合には、露光制御部５２は、第１番目の第１フレームＦ１（１）において、垂直走査回路２２がリセット信号ＲＳＴを発生するタイミング（すなわちリセットタイミング）を遅らせることにより、第１フレームＦ１（１）における露光時間Ｅ１を、第１フレーム周期Ｔ１よりも短くする。

第１番目の第１フレームＦ１（１）において画素２６（図１０参照）に蓄積された信号電荷は、リセットにより破棄される。画素２６は、リセットにより信号電荷が破棄された後、新たに信号電荷の蓄積を開始する。すなわち、第１番目の第１フレームＦ１（１）におけるリセットタイミングが、露光開始タイミングに対応する。本例では、第１番目の第１フレームＦ１（１）のフレーム期間の開始からリセットまでの期間（図１２で斜線のハッチングで示した期間）が、遮光期間となる。なお、遮光期間中に、繰り返し画素２６のリセットを行ってもよい。

このように、ｍ＝１の場合には、４つの第１フレームＦ１（１）～Ｆ１（４）に基づいて、第２フレームＦ２が生成される。本例では、露光時間Ｅ１～Ｅ４は、時間的に連続している。

図１３は、ｍ＝２の場合における撮像動作の一例を示す。ｍ＝２の場合には、露光制御部５２は、第２番目の第１フレームＦ１（２）において、垂直走査回路２２がリセットタイミングを遅らせることにより、第２フレームＦ１（２）における露光時間Ｅ２を、第１フレーム周期Ｔ１よりも短くする。

本例では、第１番目の第１フレームＦ１（１）は、撮像センサ２０からの読み出し後に破棄するか、もしくは、撮像センサ２０内で破棄する。すなわち、第１番目の第１フレームＦ１（１）は、動画データの生成には用いられない。本例では、第１番目の第１フレームＦ１（１）のフレーム期間、及び第２番目の第１フレームＦ１（２）のフレーム期間の開始からリセットまでの期間（図１３で斜線のハッチングで示した期間）が、遮光期間となる。なお、遮光期間中に、繰り返し画素２６のリセットを行ってもよい。

このように、ｍ＝２の場合には、３つの第１フレームＦ１（２）～Ｆ１（４）に基づいて、第２フレームＦ２が生成される。本例では、露光時間Ｅ２～Ｅ４は、時間的に連続している。

ｍ＝３の場合、及びｍ＝４の場合についても同様である。ｍ＝３の場合には、露光制御部５２は、第３番目の第１フレームＦ１（３）における露光時間Ｅ３を、第１フレーム周期Ｔ１よりも短くする。ｍ＝４の場合には、第４番目の第１フレームＦ１（４）における露光時間Ｅ４を、第１フレーム周期Ｔ１よりも短くする。

以上のように、本実施形態に係る露光モードでは、単位時間Ｐの長さによらず、複数の第１フレームの各々における露光時間が時間的連続している（図１１～図１３参照）。これに対して、複数の第１フレームの各々に露光時間を分散させることが考えられる。この場合、第１フレームの各々の露光時間は、連続せず、離散的となるので、動きの速い被写体を撮像した場合に、被写体の動きが不連続になる可能性がある。本実施形態に係る露光モードでは、複数の第１フレームの各々における露光時間が時間的に連続しているので、ブレによる影響を抑えつつ、被写体の動きが不連続になることを抑制することができる。

［第２実施形態］
次に、第２実施形態について説明する。第２実施形態では、上記第１実施形態に係る露光モードを第１露光モードの他に、複数の第１フレームの各々に露光時間を分散させる第２露光モードを実行可能とする。

第２露光モードでは、露光制御部５２は、単位時間Ｐを、第２フレーム周期Ｔ２における第１フレームのフレーム数Ｎで割った値を、複数の第１フレームの各々における露光時間とする。本実施形態では図１４に示すように、第２露光モードでは、露光時間Ｅ１～Ｅ４はすべて等しい。但し、各露光時間に差異があってもよい。

第２露光モードでは、露光時間Ｅ１～Ｅ４が離散的であるので、上述のように、動きの速い被写体を撮像した場合に、被写体の動きが不連続になる可能性がある。しかし、第２露光モードでは、単位時間Ｐが短くなるとともに露光時間Ｅ１～Ｅ４のそれぞれが短くなり、かつ、動画データを生成する第１フレームの数は常に一定であるので、高いブレの抑制効果が得られる。

例えば、露光制御部５２は、第１露光モードと第２露光モードとを、操作部４２を用いてユーザにより設定され、かつ主制御部５０から供給される設定情報に基づいて、切り替えることが好ましい。

また、露光制御部５２は、被写体の移動速度の検出値、又はブレ量に基づいて、第１露光モード及び第２露光モードから適切な露光モードを選択してもよい。

図１５は、被写体の移動速度の検出値に基づいて露光モードを選択する選択処理の一例である。図１５に示すように、露光制御部５２は、まず、撮像センサ２０により動画撮像が開始されたか否かを判定する（ステップＳ１０）。このとき、初期の露光モードとして、例えば、第２露光モードを用いて動画撮像が行われる。

露光制御部５２は、動画撮像が開始されたと判定すると（ステップＳ１０：ＹＥＳ）、被写体の移動速度を検出する（ステップＳ１１）。例えば、露光制御部５２は、第１フレーム間における被写体の移動ベクトルを求めることにより、被写体の移動速度を検出する。なお、露光制御部５２は、第２フレーム間における被写体の移動ベクトルを求めることにより、被写体の移動速度を検出してもよい。

次に、露光制御部５２は、検出した被写体の移動速度が一定値以上であるか否かを判定する（ステップＳ１２）。露光制御部５２は、被写体の移動速度が一定値以上であると判定した場合には（ステップＳ１２：ＹＥＳ）、第１露光モードを選択する（ステップＳ１３）。一方、露光制御部５２は、被写体の移動速度が一定値未満であると判定した場合には（ステップＳ１２：ＮＯ）、第２露光モードを選択する（ステップＳ１４）。撮像センサ２０は、露光制御部５２により選択された露光モードで露光が行われる。

ステップＳ１３又はステップＳ１４の後、露光制御部５２は、動画撮像が終了したか否かを判定する（ステップＳ１５）。露光制御部５２は、動画撮像が終了していないと判定した場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１１に戻し、再度ステップＳ１１を実行する。一方、露光制御部５２は、動画撮像が終了したと判定した場合には（ステップＳ１５：ＹＥＳ）、処理を終了する。

以上のように、被写体の移動速度が速い場合には、動きの速い被写体の撮像に適した第１露光モードが選択される。例えば、歩いている人が被写体である場合、又は撮像装置１０を保持したユーザが歩いている場合には、第２露光モードが選択される。

図１６は、ブレ量に基づいて露光モードを選択する選択処理の一例である。図１６に示すように、露光制御部５２は、まず、撮像センサ２０により動画撮像が開始されたか否かを判定する（ステップＳ２０）。このとき、初期の露光モードとして、例えば、第２露光モードを用いて動画撮像が行われる。

露光制御部５２は、動画撮像が開始されたと判定すると（ステップＳ２０：ＹＥＳ）、ブレ量を取得する（ステップＳ２１）。例えば、露光制御部５２は、ブレ検出センサ４４からブレ量の検出値を取得する。なお、露光制御部５２は、補正量算出部５３から、回転量算出部６８により算出される回転量、及び／又はシフト量算出部６９により算出されるシフト量を、ブレ量として取得してもよい。

次に、露光制御部５２は、取得したブレ量が一定値以上であるか否かを判定する（ステップＳ２２）。露光制御部５２は、ブレ量として、回転量及びシフト量を取得する場合には、回転量とシフト量との両方又は一方が一定値以上であるか否かを判定する。露光制御部５２は、ブレ量が一定値以上であると判定した場合には（ステップＳ２２：ＹＥＳ）、第２露光モードを選択する（ステップＳ２３）。一方、露光制御部５２は、ブレ量が一定値未満であると判定した場合には（ステップＳ２２：ＮＯ）、第１露光モードを選択する（ステップＳ２４）。撮像センサ２０は、露光制御部５２により選択された露光モードで露光が行われる。

ステップＳ２３又はステップＳ２４の後、露光制御部５２は、動画撮像が終了したか否かを判定する（ステップＳ２５）。露光制御部５２は、動画撮像が終了していないと判定した場合には（ステップＳ２５：ＮＯ）、処理をステップＳ２１に戻し、再度ステップＳ２１を実行する。一方、露光制御部５２は、動画撮像が終了したと判定した場合には（ステップＳ２５：ＹＥＳ）、処理を終了する。

以上のように、撮像装置１０に加わるブレ量が大きい場合には、ブレの抑制に適した第２露光モードが選択される。

［第３実施形態］
次に、第３実施形態について説明する。第１実施形態では、ｍ≧２の場合には、第１番目の第１フレームＦ１（１）から第ｍ－１番目の第１フレームＦ１（ｍ－１）までは、動画データの生成には用いられず、破棄される。これに対して、第３実施形態では、ｍ≧２の場合に、第１番目の第１フレームＦ１（１）から第ｍ－１番目の第１フレームＦ１（ｍ－１）のうち少なくとも１つを取得し、取得した第１フレームをブレ補正及び／又は焦点調節に用いる。なお、ブレ補正及び焦点調整は例に過ぎず、取得した第１フレームを撮影のシーン認識や被写体認識等の他の機能に用いても良い。第１番目の第１フレームＦ１（１）から第ｍ－１番目の第１フレームＦ１（ｍ－１）までのフレームが、動画データの生成に用いられない点については、上述の実施形態と同一である。

図１７は、ｍ＝２の場合における撮像動作の一例を示す。ｍ＝２の場合には、第１番目の第１フレームＦ１（１）が、ブレ補正、又は焦点調節に用いられる。第１番目の第１フレームＦ１（１）をブレ補正に用いる場合には、ブレ補正部４６は、フレーム間の差分により得られる移動ベクトルに基づいてブレ補正を行う。

また、第１フレームＦ１（１）をブレ補正に用いる場合には、主制御部５０は、第１フレームＦ１（１）に含まれる位相差画素の信号に基づいて、レンズ駆動制御部３４を制御することにより、位相差方式の焦点調節を行う。

ｍ≧３の場合についても同様である。例えば、ｍ＝３の場合には、第１番目の第１フレームＦ１（１）及び第２番目の第１フレームＦ１（２）を用いて、ブレ補正及び／又は焦点調節が行われる。

以上のように、本実施形態では、動画データの生成に用いられない第１フレームが有効活用される。

［第４実施形態］
次に、第４実施形態について説明する。第１実施形態では、フレーム合成部４７により合成される前の第１フレームに対して、並進ブレ及び回転ブレの補正が行われている。これに対して、第４実施形態では、第１フレームに対して並進ブレを補正し、フレーム合成部４７により合成された第２フレームに対して回転ブレを補正する。

図１８は、第４実施形態に係る画像処理部４１の構成を示す。図１８に示すように、本実施形態では、画像処理部４１は、第１ブレ補正部４６Ａ、第２ブレ補正部４６Ｂ、及びフレーム合成部４７を有する。第１ブレ補正部４６Ａは、フレーム合成部４７の前段に配置されている。第２ブレ補正部４６Ｂは、フレーム合成部４７の後段に配置されている。第１ブレ補正部４６Ａには、シフト量算出部６９からシフト量Ｃｓが入力される。第２ブレ補正部４６Ｂには、回転量算出部６８から回転量Ｃｒが入力される。

図１９は、第４実施形態に係るブレ補正を説明する。図１９に示すように、第１ブレ補正部４６Ａは、シフト量算出部６９から入力されるシフト量Ｃｓに基づいて、第１フレームに対して並進ブレ補正を行う。フレーム合成部４７は、並進ブレ補正が行われた複数の第１フレームを合成することにより、第２フレームを生成する。第２ブレ補正部４６Ｂは、回転量算出部６８から入力される回転量Ｃｒに基づいて、第２フレームに対して回転ブレ補正を行う。

並進ブレ補正及び回転ブレ補正には、射影変換又はアフィン変換等の演算処理が要される。特に、回転ブレ補正は、並進ブレ補正と比較して、演算処理に長い時間が要されるので、第１フレーム期間の間に処理が終了しない可能性がある。本実施形態のように、回転ブレ補正をフレーム期間の長い第２フレームに対して行うことで、回転ブレ補正を確実に行うことができる。

なお、第１ブレ補正部４６Ａと第２ブレ補正部４６Ｂとがそれぞれ特定の周波数帯域のブレ成分を補正するように構成してもよい。また、第１ブレ補正部４６Ａが補正する並進ブレの周波数帯域と、第２ブレ補正部４６Ｂが補正する回転ブレの周波数帯域とを異ならせてもよい。また、ブレ検出センサ４４が検出する並進ブレの検出周波数帯域と、ブレ検出センサ４４が検出する回転ブレの検出周波数帯域とを異ならせてもよい。

［第５実施形態］
次に、第５実施形態について説明する。第４実施形態では、画像処理部４１は、１つのフレーム合成部を有する。これに対して、第５実施形態では、画像処理部４１は、複数のフレーム合成部を有する。

図２０は、第５実施形態に係る画像処理部４１の構成を示す。図２０に示すように、本実施形態では、画像処理部４１は、第１ブレ補正部４６Ａ、第２ブレ補正部４６Ｂ、第１フレーム合成部４７Ａ、及び第２フレーム合成部４７Ｂを有する。第１ブレ補正部４６Ａは、第１フレーム合成部４７Ａの前段に配置されている。第２ブレ補正部４６Ｂは、第１フレーム合成部４７Ａの後段に配置されている。第２フレーム合成部４７Ｂは、第２ブレ補正部４６Ｂの後段に配置されている。第１ブレ補正部４６Ａには、シフト量算出部６９からシフト量Ｃｓが入力される。第２ブレ補正部４６Ｂには、回転量算出部６８から回転量Ｃｒが入力される。

第１フレーム合成部４７Ａは、Ｍ＜Ｎ（ここで、Ｍは正の整数であって、ＮはＭの倍数である。）とした場合に、第１フレームをＭ枚合成することにより合成フレームを生成する。第１実施形態と同様に、Ｎは、第１フレームレートを第２フレームレートで割った値である。第２フレーム合成部４７Ｂは、合成フレームをＮ／Ｍ枚合成することにより、第２フレームを生成する。例えば、Ｎ＝４、Ｍ＝２の場合には、第１フレーム合成部４７Ａは、第１フレームを２枚合成することにより合成フレームを生成し、第２フレーム合成部４７Ｂは、合成フレームを２枚合成することにより第２フレームを生成する。

図２１は、第５実施形態に係るブレ補正を説明する。図２１に示すように、第１ブレ補正部４６Ａは、シフト量算出部６９から入力されるシフト量Ｃｓに基づいて、第１フレームに対して並進ブレ補正を行う。第１フレーム合成部４７Ａは、並進ブレ補正が行われた複数の第１フレームを合成することにより、合成フレームを生成する。第２ブレ補正部４６Ｂは、回転量算出部６８から入力される回転量Ｃｒに基づいて、合成フレームに対して回転ブレ補正を行う。第２フレーム合成部４７Ｂは、回転ブレ補正が行われた複数の合成フレームを合成することにより、第２フレームを生成する。

なお、第１ブレ補正部４６Ａは、撮像装置１０に加わるブレ量のうち、第１フレーム周期（すなわち、１／（Ｖ×Ｎ）秒）でブレ補正が終了する第１ブレ量に基づき、第１フレームに対してブレ補正を行えばよい。また、第２ブレ補正部４６Ｂは、撮像装置１０に加わるブレ量のうち、第１フレーム周期のＮ／Ｍ倍（すなわち、１／（Ｖ×Ｍ）秒）でブレ補正が終了する第２ブレ量に基づき、合成フレームに対してブレ補正を行えばよい。本実施形態では、第１ブレ量は並進ブレのブレ量であり、かつ第２ブレ量は回転ブレのブレ量である。

本実施形態は、例えば、第１フレームレートを２４０ｆｐｓとし、かつ第２フレームレートを３０ｆｐｓとする場合に好適である。この場合、Ｖ＝３０、Ｎ＝８であり、例えば、Ｍ＝２とすればよい。

［変形例］
上記各実施形態では、撮像装置１０に加わるブレ量を加速度センサ４４Ｂにより検出しているが、フレーム間の差分により得られる移動ベクトルに基づいてブレ量を検出してもよい。また、１つのフレームについて空間数周波数等を画像解析で求めることによってブレ量を検出してもよい。

また、上記各実施形態では、画像処理部４１はプロセッサ４０の一部であるが、画像処理部４１は、プロセッサ４０とは別に設けられていてもよい。プロセッサ４０及び画像処理部４１は、本開示の技術に係るプロセッサの一例である。

また、上記各実施形態は、矛盾が生じない限り、互いに組み合わせることが可能である。

上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。

複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ 撮像装置
１１ 本体
１１Ａ カメラ側マウント
１１Ｂ 電気接点
１１Ｃ 前面
１１Ｄ 背面
１２ 撮像レンズ
１２Ａ レンズ側マウント
１２Ｂ 電気接点
１３ ダイヤル
１４ レリーズボタン
１５ ディスプレイ
１６ 指示キー
１８ ファインダ接眼部
２０ 撮像センサ
２０Ａ 受光面
２１ 撮像領域
２２ 垂直走査回路
２３ ラインメモリ
２４ 水平走査回路
２４Ａ 水平出力線
２５ 出力アンプ
２６ 画素
２９ トランジスタ
３０ 対物レンズ
３１ フォーカスレンズ
３２ 後端レンズ
３４ レンズ駆動制御部
４０ プロセッサ
４１ 画像処理部
４２ 操作部
４４ ブレ検出センサ
４４Ａ ジャイロセンサ
４４Ｂ 加速度センサ
４５ メモリ
４５Ａ 撮像プログラム
４６ ブレ補正部
４６Ａ 第１ブレ補正部
４６Ｂ 第２ブレ補正部
４７ フレーム合成部
４７Ａ 第１フレーム合成部
４７Ｂ 第２フレーム合成部
５０ 主制御部
５１ 撮像制御部
５２ 露光制御部
５３ 補正量算出部
６１，６２，６３，６４，６５ 信号処理部
６１Ａ，６２Ａ，６３Ａ，６４Ａ，６５Ａ 減算器
６１Ｂ，６２Ｂ，６３Ｂ，６４Ｂ，６５Ｂ ＨＰＦ
６１Ｃ，６２Ｃ，６３Ｃ，６４Ｃ，６５Ｃ 乗算器
６１Ｄ，６３Ｄ，６５Ｄ，積分器
６２Ｄ，６４Ｄ 第１積分器
６２Ｅ，６４Ｅ 第２積分器
６６，６７ 加算器
６８ 回転量算出部
６９ シフト量算出部
Ｄ１ フォトダイオード
Ｅ１～Ｅ４ 露光時間
Ｆ１（１）～Ｆ１（４） 第１フレーム
Ｆ２ 第２フレーム
Ｌ１ 行選択線
Ｌ２ 行リセット線
Ｌ３ 列信号線
Ｍ１ アンプトランジスタ
Ｍ２ 画素選択トランジスタ
Ｍ３ リセットトランジスタ
Ｐ 単位時間
ＲＳＴ リセット信号
Ｓ 画素信号
ＳＥＬ 行選択信号
Ｔ１ 第１フレーム周期
Ｔ２ 第２フレーム周期

Claims (17)

1. 撮像センサと、少なくとも１つのプロセッサと、を備える撮像装置であって、
   前記プロセッサは、
   前記撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像処理と、
   前記複数の第１フレームに、前記撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正処理と、
   前記複数の第１フレームを合成することにより、前記第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成処理と、を実行するように構成され、
   前記プロセッサは、前記第１露光モードにおいて、ｍを正の整数とし、前記第２フレームを構成する第ｍ番目の前記第１フレームにおける露光時間を、第ｍ＋１番目の前記第１フレームにおける露光時間よりも短くする、
   撮像装置。
2. 前記プロセッサは、
   シャッタ速度に対応した単位時間をＰ、前記第２フレームレートをＶ、前記第１フレームレートを前記第２フレームレートで割った値をＮ、ｎを正の整数とし、
   Ｐ＜１／Ｖ－（ｎ－１）／（Ｖ×Ｎ）
   を満たす最大のｎをｍとした場合に、
   前記第１露光モードにおいて、第１番目から第Ｎ番目の前記第１フレームのうち、第ｍ番目から第Ｎ番目の前記第１フレームを合成することにより前記第２フレームを生成し、かつ、第ｍ番目の前記第１フレームにおける露光時間を、第ｍ＋１番目の前記第１フレームの露光時間よりも短くする、
   請求項１に記載の撮像装置。
3. 第ｍ番目から第Ｎ番目の前記第１フレームの各々における露光時間の合計は、前記単位時間と等しい、
   請求項２に記載の撮像装置。
4. 第ｍ番目の前記第１フレームにおける露光時間は、前記第１フレームのフレーム期間よりも短く、かつ第ｍ＋１番目から第Ｎ番目の前記第１フレームの各々における露光時間は、前記第１フレームのフレーム期間と等しい、
   請求項３に記載の撮像装置。
5. 第ｍ番目から第Ｎ番目の前記第１フレームの各々における露光時間は、時間的に連続している、
   請求項４に記載の撮像装置。
6. 前記プロセッサは、
   ｍ≧２である場合に、前記動画データの生成に用いない第１番目から第ｍ－１番目の前記第１フレームのうちの少なくとも１つを取得する、
   請求項２から請求項５のうちいずれか１項に記載の撮像装置。
7. 前記プロセッサは、
   取得した前記複数の第１フレームを前記ブレ補正に用いる、
   請求項６に記載の撮像装置。
8. 前記撮像センサは位相差画素を有しており、
   前記プロセッサは、
   取得した前記第１フレームに含まれる前記位相差画素の信号に基づいて焦点調節を行う、
   請求項６に記載の撮像装置。
9. 前記プロセッサは、
   第ｍ番目から第Ｎ番目の前記第１フレームの各々に露光時間を分散させて露光を行う第２露光モードを実行可能とする、
   請求項２から請求項８のうちいずれか１項に記載の撮像装置。
10. 前記プロセッサは、
    前記第１露光モードと前記第２露光モードとを選択的に実行可能とする、
    請求項９に記載の撮像装置。
11. 前記プロセッサは、
    被写体の移動速度を検出し、前記移動速度が一定値以上である場合には、前記第１露光モードを選択し、前記移動速度が一定値未満である場合には、前記第２露光モードを選択する、
    請求項１０に記載の撮像装置。
12. 前記プロセッサは、
    前記ブレ量が一定値未満である場合には、前記第１露光モードを選択し、前記ブレ量が一定値以上である場合には、前記第２露光モードを選択する、
    請求項１０に記載の撮像装置。
13. ロール方向の回転ブレと、前記ロール方向の回転軸に交差する交差方向への並進ブレとを検出するブレ検出センサを有し、
    前記プロセッサは、
    前記複数の第１フレームに対して並進ブレ補正を行い、前記第２フレームに対して回転ブレ補正を行う、
    請求項１から請求項１２のうちいずれか１項に記載の撮像装置。
14. 前記プロセッサは、
    Ｍを正の整数、ＮをＭの倍数、Ｍ＜Ｎとした場合に、
    前記ブレ量のうち、１／（Ｖ×Ｎ）秒でブレ補正が終了する第１ブレ量に基づいて前記複数の第１フレームに対してブレ補正を行い、
    前記ブレ量のうち、１／（Ｖ×Ｍ）秒でブレ補正が終了する第２ブレ量に基づいて、前記第１フレームをＭ枚合成した合成フレームに対してブレ補正を行い、
    前記合成フレームをＮ／Ｍ枚合成することにより、前記第２フレームを生成する、
    請求項２から請求項１２のうちいずれか１項に記載の撮像装置。
15. 前記プロセッサは、
    前記ブレ量のうち、ロール方向の回転ブレは、前記第２フレームに対してブレ補正を行い、
    前記ブレ量のうち、前記ロール方向の回転軸に交差する交差方向への並進ブレは、前記複数の第１フレームに対してブレ補正を行う、
    請求項１から請求項１１のうちいずれか１項に記載の撮像装置。
16. 撮像センサを備える撮像装置の駆動方法であって、
    前記撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像工程と、
    前記複数の第１フレームに、前記撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正工程と、
    前記複数の第１フレームを合成することにより、前記第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成工程と、を含み、
    前記第１露光モードにおいて、ｍを正の整数とし、前記第２フレームを構成する第ｍ番目の前記第１フレームにおける露光時間を、第ｍ＋１番目の前記第１フレームにおける露光時間よりも短くする、
    撮像装置の駆動方法。
17. 撮像センサを備える撮像装置を作動させる撮像プログラムであって、
    前記撮像センサにより、第１露光モードで第１フレームレートによって撮像された、複数の第１フレームを取得する撮像処理と、
    前記複数の第１フレームに、前記撮像装置に加わるブレ量に基づいて電子的なブレ補正を行う補正処理と、
    前記複数の第１フレームを合成することにより、前記第１フレームレートよりも低い第２フレームレートの第２フレームを有する動画データを生成する生成処理と、を実行するように構成され、
    前記第１露光モードにおいて、ｍを正の整数とし、前記第２フレームを構成する第ｍ番目の前記第１フレームにおける露光時間を、第ｍ＋１番目の前記第１フレームにおける露光時間よりも短くする、
    撮像プログラム。