JP2019216398A - 撮像装置、撮像装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】 撮像前に設定したシャッタスピードで撮像を行ったとしても、主被写体がぶれて撮像されてしまうことがある。【解決手段】 第一の撮像手段による画像データと第二の撮像手段による画像データの少なくともいずれかから主被写体の領域を特定し、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データのうちの主被写体の領域の動き量を算出し、その結果に基づいて、第一の撮像手段による第一のフレームの画像データのための露光を停止する撮像装置を提供する。【選択図】 図１

Description

本発明は、ぶれを抑制した画像を撮像するための技術に関するものである。

近年、スマートフォンに搭載されたカメラやデジタルカメラなどの撮像装置において、シャッタスピードを優先する撮影モードを搭載するものが知られている。この撮影モードは、撮像者が所望のシャッタスピードを設定し、絞り値やＩＳＯ感度といったシャッタスピード以外の露出設定値を撮像装置が自動で設定する撮影モードである。撮像者は、この撮影モードを用いることにより、好みのシャッタスピードで撮像することができる。例えば、露光時間の短いシャッタスピードを設定することで、滝の水しぶきやレーシングカーといった動きの速い主被写体に対しても、主被写体ぶれが少ない画像を撮像することができる。特許文献１には、静止画の撮像前に撮像した画像から主被写体の動き量を検出し、その検出結果に基づいて、シャッタスピードを決定する撮像装置が開示されている。

特開２００６−１９７１９２号公報

主被写体ぶれが少ない画像を撮像するためには、露光時間の短い高速のシャッタスピードにて撮像する必要がある。しかしながら、撮像前に高速なシャッタスピードを設定して撮像したとしても、主被写体がぶれた画像が撮像されてしまうことがある。

例えば、撮像者あるいは撮像装置は、撮像前に移動体の動く速さを予測し、主被写体のぶれが少なくなると予想されるシャッタスピードを設定して撮像する。ところが、記録用の画像の撮像時に、予想外に主被写体の動きが速くなってしまうと、撮像前に設定したシャッタスピードで撮像を行ったとしても、主被写体がぶれて撮像されてしまうことがある。

本発明は、上記の問題点を鑑みてなされたものであり、ぶれの少ない画像を撮像する技術を提供することを目的とする。

上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段と、第二の撮像手段と、第一の撮像手段による画像データ、および、第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定する特定手段と、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける主被写体の領域の動き量を算出する算出手段と、算出手段が算出した結果に基づいて、第一の撮像手段による第一のフレームの画像データのための露光を停止する制御手段を、有することを特徴とするものである。

同様に、上記課題を解決するため、本願発明の撮像装置は、第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、第二の撮像手段と、第一の撮像手段による画像データ、および、第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定する特定手段と、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける主被写体の領域の動き量を算出する算出手段と、算出手段が算出した結果に基づいて、第一の撮像手段による第一のフレームの画像データのための露光を停止するための信号を出力する制御手段を、有することを特徴とするものである。

本発明によれば、ぶれの少ない画像を撮像することができる。

本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第一の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 撮像装置と主被写体の位置関係を説明するための図である。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第一の実施形態の動きベクトル算出回路による動きベクトルおよび動きベクトルの信頼度の算出処理のフローチャートである。 動きベクトルの算出方法を説明するための図である。 ブロックマッチング法による動きベクトルの算出方法を説明するための図である。 ３点内挿の計算方法を説明するための図である。 複数のフレーム間の動きベクトルを示す図である。 本発明の第一の実施形態における第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の第二の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第三の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第三の実施形態の主被写体の領域を特定する方法を説明するための図である。

以下、本発明の実施形態について、添付図面を用いて詳細に説明する。ここでは、本発明の実施形態に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮像機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されてもよい。

（第一の実施形態）
本発明の第一の実施形態では、露光中の期間における動きベクトルを用いた動き解析結果に基づき、露光終了のタイミングを決めることにより、ぶれの少ない画像を撮像する撮像装置の説明を行う。以下、本発明の第一の実施形態について説明する。

図１は、本発明第一の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、第一の撮像システム１１０、第二の撮像システム１２０、および、操作部材１３０より構成される。

まず、第一の撮像システム１１０について説明する。第一の制御回路１１１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第一の制御回路１１１は、第一の撮像システム１１０が備える各ブロックの動作プログラムを後述の第一のＲＯＭ１１２より読み出し、後述の第一のＲＡＭ１１３に展開して実行することにより第一の撮像システム１１０が備える各ブロックの動作を制御する。また、第一の制御回路１１１は、第一の撮像システム１１０および第二の撮像システム１２０の全体の動作を統括し、制御する。第一のＲＯＭ１１２は、電気的に消去および記録が可能な不揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第一のＲＡＭ１１３は、書き換え可能な揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第一の光学系１１４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第一の撮像素子１１５に結像する。第一の撮像素子１１５は、例えば複数色のカラーフィルタを備えたＣＣＤやＣＭＯＳセンサ等で構成されている。第一の撮像素子１１５は、第一の光学系１１４により第一の撮像素子１１５に結像された光学像を光電変換し、得られたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。また、第一の撮像素子１１５は、操作部材１３０に含まれるシャッタボタンが全押しされたタイミングに基づき露光を開始し、後述の露光終了のタイミング生成回路２００より出力された露光終了のタイミングを指示する信号に基づき露光を終了する。第一のＡ／Ｄ変換回路１１６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データを第一のＲＡＭ１１３に出力する。

第一の画像処理回路１１７は、第一のＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ノイズ補正、ガンマ処理、輝度／色差信号への変換、および、収差補正など、様々な画像処理を適用する。画像出力回路１１８は、第一の画像処理回路１１７で処理された画像データを、第一のＲＡＭ１１３を介して受け取り、外部装置に出力するための回路である。具体的には、撮像装置１００に着脱可能な記録メディアに対して画像データの読み出しや書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどと画像の送受信を行ったりする。表示装置１１９は、ＬＣＤや有機ＥＬディスプレイ等の表示デバイスであり、第一のＲＡＭ１１３に記録した画像を表示する。

次に、第二の撮像システム１２０について説明する。第二の制御回路１２１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第二の制御回路１２１は、第二の撮像システム１２０が備える各ブロックの動作プログラムを後述の第二のＲＯＭ１２２より読み出し、後述の第二のＲＡＭ１２３に展開して実行することにより第二の撮像システム１２０が備える各ブロックの動作を制御する。第二のＲＯＭ１２２は、電気的に消去および記録が可能な不揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第二のＲＡＭ１２３は、書き換え可能な揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

第二の光学系１２４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第二の撮像素子１２５に結像する。第二の撮像素子１２５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、第二の光学系１２４により第二の撮像素子１２５に結像された光学像を光電変換し、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力する。第二の撮像素子１２５は、動きやぶれを検出するために用いる素子であるため、必ずしも複数色のカラーフィルタを備えている必要はなく、単色（ホワイト）のフィルタや赤外フィルタを備えた構成としてもよい。第二のＡ／Ｄ変換回路１２６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データを第二のＲＡＭ１２３に出力する。

第二の画像処理回路１２７は、第二のＲＡＭ１２３に記憶されている画像データに対して、簡易的なノイズ補正やガンマ処理など、様々な画像処理を適用する。第二の撮像素子１２５が複数色のカラーフィルタを備えているのであれば、色補間、あるいは輝度信号への変換処理も行う。また、第二の画像処理回路１２７は、タイミング生成回路２００を具備しており、第二のＲＡＭ１２３に記憶されている画像データを用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを指示する信号を生成する。なお、露光終了のタイミングを指示する信号は、第二の制御回路１２１を介して第一の撮像システム１１０に出力される。第一の撮像システム１１０ではこの信号を受け取ると、第一の制御回路１１１が第一の撮像素子１１５の露光を終了させるよう制御する。

操作部材１３０は、ユーザからの指示を受け付ける操作部材であり、シャッタボタンやダイヤルキーを含む。また、表示装置１１９がタッチパネル機能を備えるようにしてもよい。ユーザがこれらの操作部材を操作することで生成される信号は、第一の撮像システム１１０と第二の撮像システム１２０の駆動制御に反映される。

なお、ここでは第一の撮像システム１１０と第二の撮像システム１２０が、撮像装置１００として一体的に構成されている例を上げて説明を行ったが、これに限られるものではない。例えば、第一の撮像システム１１０と操作部材１３０がカメラ本体であり、第二の撮像システム１２０は、カメラ本体と着脱可能な撮像装置としてもよい。つまり、第二の撮像システム１２０は、外部の撮像装置に着脱可能な撮像装置であってもよい。また、第一の撮像システム１１０が一眼レフカメラであるとするならば、第一の光学系１１４を含む交換レンズ装置は、第一の撮像素子１１５乃至表示装置１１９、および、操作部材１３０を含むカメラ本体に対して着脱可能な構成となる。

また、第二の制御回路１２１の機能を第一の制御回路１１１が兼用するようにすれば、第二の制御回路１２１を省くことも可能である。また、第二の撮像システム１２０は第二の光学系１２４、第二の撮像素子１２５、第二のＡ／Ｄ変換回路１２６、および、第二のＲＡＭ１２３のみを有し、他の構成要素を第一の撮像システム１１０が兼用するようにしてもよい。こうすることで、第二の撮像システム１２０を別のカメラ装置とした場合に、その構成を簡素化することが可能となる。

ここで、第一の撮像素子１１５が記録用の画像を生成することを目的とするのに対して、第二の撮像素子１２５は素早く移動する被写体の動きを検出することを目的としており、必要とされるフレームレートが互いに異なる。図１２に、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。本実施形態では、第一の撮像素子１１５のフレームレートが２０ｆｐｓ（フレーム／秒）であるのに対し、第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。

そのため、第二の撮像素子１２５は、第一の撮像素子１１５よりも、より短い露光時間となるシャッタスピードを設定することができる。そして、このシャッタスピードを実現可能とするため、第二の撮像素子１２５は第一の撮像素子１１５よりも感度を高くする必要がある。そこで、第二の撮像素子１２５は、第一の撮像素子１１５に対して、画素数を減らす代わりに、画素ピッチが大きくなるように構成されている。具体的には、図１２に示すように、撮像部の水平サイズは第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は４ｍｍである。水平画素数は第一の撮像素子１１５が６４００画素であるのに対して、第二の撮像素子１２５は６４０画素である。画素ピッチは第一の撮像素子１１５が５．６２μｍであるのに対して、第二の撮像素子１２５は６．２５μｍである。

次に、第二の撮像システム１２０の第二の画像処理回路１２７が具備する、タイミング生成回路２００の構成について図２を用いて説明する。このタイミング生成回路２００は、第二の撮像素子１２５が高速のフレームレートで撮像して第二のＲＡＭ１２３に記憶した画像データの動きベクトルを検出することで、動きの解析を行う。この画像データは、第二の撮像素子１２５が複数色のカラーフィルタを備えた構成であるならば、色補間や輝度信号への変換処理が先に行われており、各画素が同じ成分の信号を備えているものとする。そして、この動きの解析結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを決定し、第一の撮像素子１１５の露光を終了させるための信号を、第一の撮像システム１１０に出力する。

図２は、第一の実施形態に係るタイミング生成回路２００の構成例を示すブロック図である。図２において、タイミング生成回路２００は、動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４を有する。

次に、本発明の第一の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図３および図４のフローチャートを用いて説明する。図３および図４は、第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。図３のフローチャートは撮像装置１００の電源がオンになると開始される。

ステップＳ３０１において、第一の制御回路１１１は撮影モードが設定されているかを判定し、設定されていなければステップＳ３０２に進み、設定されていればステップＳ３０５に進む。

ステップＳ３０２において、第一の制御回路１１１はぶれレベルの設定メニューが選択されているかを判定し、他の処理が選択されていればステップＳ３０３に進み、ステップＳ３０３において他の処理を行う。第一の制御回路１１１はぶれレベルの設定メニューが選択されていれば、ステップＳ３０４に進む。

ステップＳ３０４において、第一の制御回路１１１は表示装置１１９にぶれレベル設定のための画面の表示し、ユーザによる操作部材１３０の操作結果に応じて、ぶれのレベルを設定する。例えば、第一の表示装置１１９にぶれレベルが「標準」から「低」に向けて段階的なレベルが表示され、ユーザが選択できるようになっている。ユーザが「低」に近い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが小さくなるように、後述する閾値が設定される。本実施形態では、ユーザが最もぶれが小さくなるぶれレベル「低」を選択したものとして説明を行う。

ぶれレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０におけるぶれ許容値を決定し、第二の制御回路１２１は、このぶれ許容値に基づいて後述のステップＳ３２３で用いる閾値を設定する。ぶれレベル「低」の場合、ぶれ許容値は許容錯乱円径に設定されるものとする。ここで許容錯乱円径とは、明視距離２５０ｍｍで写真を観察するときに、視力１．０の観察者が解像可能な限界値を表し、３６×２４ｍｍの撮像素子上では約２０μｍになる。本発明の第一の実施形態では第一の撮像素子１１５の４画素分のピッチ２２．４８μｍ（５．６２×４）を許容錯乱円径とする。ぶれレベルおよび閾値の設定を終えると、ステップＳ３０１に戻る。

ステップＳ３０５において、第一の制御回路１１１は第一の撮像素子１１５を起動する。

ステップＳ３０６において、第一の制御回路１１１は撮影モードとして高速撮影モードが選択されているかを判定し、選択されていなければステップＳ３０７に進み、ステップＳ３０７においてその他の撮影モードの処理を行う。第一の制御回路１１１は、高速撮影モードが選択されていればステップＳ３０８に進む。

ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られるコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。

ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。

ステップＳ３１０において、第一の制御回路１１１は第一の撮像素子１１５から得られる画像データにおいて、主被写体の領域を特定する。例えば、ユーザが表示装置１１９に備えられたタッチパネル機能を用いて主被写体を指定できるようにしてもよいし、第一の制御回路１１１が画像データ中の顔領域を検出し、この顔領域を主被写体としてもよい。あるいは、画像データにおいて、輝度、彩度、および、色相のいずれか１つ以上の値に基づいて、周囲の領域との差異が大きな特徴的な領域を抽出し、この特徴的な領域を主被写体としてもよい。ステップＳ３１０で主被写体を選択した後は、ステップＳ３０８の自動フォーカス制御とＳ３０９の自動露出制御は、主被写体が適正な状態となるように行われる。

ステップＳ３１１において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８およびＳ３０９を繰り返す。

ステップＳ３１１においてＳＷ１がオンになると、ステップＳ３１２において、第二の制御回路１２１は第二の撮像素子１２５を起動する。

ステップＳ３１３において、第一の制御回路１１１は、主被写体に対して、第一の光学系１１４を用いたＡＦを行う。

ステップＳ３１４において、第一の制御回路１１１は、主被写体に対して第一の撮像素子１１５のためのＡＥを行う。

ステップＳ３１５において、第二の制御回路１２１は、第一の制御回路１１１から第一の光学系１１４のズーム情報を受信し、第二の光学系１２４のズーム状態を制御する。この第二の光学系１２４のズーム状態を制御について、図５を用いて説明する。

図５は、ＳＷ１がオンされたときの撮像装置１００と被写体５００の位置関係を説明するための図である。図５において、撮像装置１００の第一の光学系１１４は焦点距離３００ｍｍであり、４０ｍ先を０．３ｍ／ｓｅｃ（３００ｍｍ／ｓｅｃ）で移動する被写体５００を主被写体として撮像しようとしている。なお、被写体５００は第一の光学系１１４の光軸近傍を移動しているものとする。以降の説明において、４０ｍ先を物面と呼ぶ。また、被写体５００の移動速度は、被写体５００までの距離情報と、フレーミング中に得られる画像から後述の動きベクトルを算出することで計測することができる。

また、本実施形態における第一の光学系１１４の結像倍率は、被写体までの距離÷焦点距離で求められるため、４０×１０００÷３００＝１３３．３となる。

第一の撮像素子１１５の全体が捉えている物面での被写体の画角は、１３３．３×５．６２×６４００／１０００＝４７９５．７ｍｍである。

ここで、ＳＷ１がオンになる前は、第一の撮像システム１１０と第二の撮像システム１２０で得られる画像の画角が同じであるとする。このとき、第二の光学系１２４の結像倍率は４７９５．７×１０００÷６．２５÷６４０＝１１９８．９であり、焦点距離は４０×１０００÷１１９８．９＝３３．３ｍｍである。また、このとき第二の撮像素子１２５における単位画素あたりの物面での被写体サイズは、１１９８．９×６．２５÷１０００＝７．５ｍｍである。この値に後述する動きベクトルの算出の分解能を掛け合わせた値が第二の撮像素子１２５で捉えることができる動きの分解能となる。動きベクトルの算出の分解能を０．５画素とすると、動きの分解能は７．５×０．５＝３．７５ｍｍとなる。

一方、第一の撮像素子１１５における単位画素あたりの物面での被写体サイズは、１３３．３×５．６２÷１０００＝０．７５ｍｍとなり、ぶれ許容値は４画素分なので０．７５×４＝３．０ｍｍとなる。そのため、このままでは第二の撮像素子１２５の動きの分解能よりもぶれ許容値のほうが小さいので、第二の撮像素子１２５を用いたとしても、第一の撮像素子１１５のぶれが許容値以下であるかを判定することができない。

そこで、第二の制御回路１２１は第二の光学系１２４の焦点距離を望遠側に移動してズームを行い、第二の撮像素子１２５における動き検知の分解能を高くする。

３００ｍｍ／ｓｅｃで移動する被写体４００がぶれ許容値３．０ｍｍに達する時間は３．０÷３００×１０００＝１０．０ｍｓｅｃである。

そのため、第二の撮像システム１２０における単位フレーム（１ｍｓｅｃ）あたりに求められる動きの分解能は３．０÷１０．０÷０．５＝０．６ｍｍとなる。

そこで、第二の制御回路１２１は、第二の光学系１２４の結像倍率を０．６×１０００÷６．２５＝９６．０、焦点距離を４０×１０００÷９６．０＝４１６．６ｍｍに移動すれば、動きの分解能がぶれ許容値よりも細かくなる。こうすることで、第二の撮像素子１２５で得られた画像データを用いて動き検知結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを制御し、被写体４００を許容錯乱円径以下のぶれで撮像することが可能となる。

なお、第二の光学系１２４を望遠側にズームしているので、第二の撮像素子１２５の画角は第一の撮像素子１１５と異なっており、第二の撮像素子１２５の画角は、９６．０×６．２５×６４０／１０００＝３８４．０ｍｍである。このように焦点距離を大きくし、ズーム位置を望遠側に移動すると画角が狭くなるため、光軸近傍以外に主被写体が存在する場合には、主被写体が視野外になってしまう可能性がある。その場合、公知の光軸や撮像素子の位置を移動する技術を用いて、光軸から外れた領域に視野を移動することができる構成とするのがよい。

図３に戻り、ステップＳ３１６において、第二の制御回路１２１は、主被写体の情報に基づいて第二の光学系１２４を用いたＡＦを行う。

ステップＳ３１７において、第二の制御回路１２１は、主被写体の情報に基づいて第二の撮像素子１１５のためのＡＥを行う。

ステップＳ３１８において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ３１３乃至Ｓ３１７を繰り返す。

ステップＳ３１８においてＳＷ２がオンになると、図４のステップＳ３１９において、第一の制御回路１１１は、ステップＳ３１４にて行ったＡＥの結果に基づいて露光期間を設定し、第一の撮像素子の露光を開始する。

ステップＳ３２０において、第二の制御回路１２１は、１０００ｆｐｓ、あるいは、第一の撮像素子１１５に対して設定されたフレームレートの所定倍（例えば、５０倍）となるフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。すなわち、第一の撮像素子１１５の１回の露光期間の間に、それよりも早いフレームレートで、第二の撮像素子１２５の露光が繰り返し行われる。

ここで、図６は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図６の時刻Ｔ０において、ユーザによりシャッタボタンが全押しされてＳＷ２がオンになると、すぐさま第一の撮像システム１１０における第一の撮像素子１１５は露光を開始する。さらに、第二の撮像システム１２０における第二の撮像素子１２５は高速フレームレートで画像の撮像を開始する。第二の撮像素子１２５は、ＳＷ２がオンになった時刻Ｔ０の後は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・において短い露光時間で連続して撮像を行う。

ステップＳ３２１において、タイミング生成回路２００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における主被写体の領域の動きベクトルおよび動きベクトルの信頼度を算出する。動きベクトルとは、フレーム間における主被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７乃至図９を用いて詳しく説明する。

図７は、動きベクトル算出回路２０１による動きベクトルおよび動きベクトルの信頼度の算出処理を示すフローチャートである。図８は動きベクトルの算出方法を説明するための図であり、図８（ａ）はＭ番目フレームの画像データを示す図であり、図８（ｂ）はＭ＋１番目フレームの画像データを示す図である。また、図８（ｃ）は、Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。図８（ｃ）の動きベクトルは、簡略化のため、代表的な動きベクトルのみを記載している。なお、Ｍは正の整数である。図９は、ブロックマッチング法による動きベクトルの算出方法を説明するための図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。

図７のステップ７０１において、動きベクトル算出回路２０１には、時間的に隣接する２つのフレームの画像データが入力される。そして、動きベクトル算出回路２０１は、Ｍ番目フレームを基準フレームに設定し、Ｍ＋１番目フレームを参照フレームに設定する。

図７のステップ７０２において、動きベクトル算出回路２０１は、図９のように、基準フレーム９０１において、主被写体が存在する領域において、Ｎ×Ｎ画素の基準ブロック９０２を配置する。ここでは説明をわかりやすくするために、基準ブロック９０２をＮ×Ｎ画素として説明をしているが、この基準ブロック９０２のサイズおよび形状は、主被写体のサイズおよび形状に合わせて、適宜変更することが望ましい。

図７のステップ７０３において、動きベクトル算出回路２０１は、図９のように、参照フレーム９０３に対し、基準フレーム９０１の基準ブロック９０２の中心座標と同座標９０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲９０５として設定する。

図７のステップ７０４において、動きベクトル算出回路２０１は、基準フレーム９０１の基準ブロック９０２と、参照フレーム９０３の探索範囲９０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック９０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック９０２および参照ブロック９０６の画素に対するフレーム間の差分絶対値の和に基づき算出する。つまり、フレーム間の差分絶対値の和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間の差分絶対値の和を求める方法に限定されず、例えばフレーム間の差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図９の例では、参照ブロック９０６が最も相関が高いことを示しているとする。なお、公知の技術を用いて動きベクトルをサブピクセル単位で算出することができる。具体的には、図１０に示す連続した相関値データＣ（ｋ）において、下記（１）〜（４）式による３点内挿の手法を用いる。
ｘ＝ｋ＋Ｄ÷ＳＬＯＰ・・・（１）
Ｃ（ｘ）＝Ｃ（ｋ）−｜Ｄ｜・・・（２）
Ｄ＝｛Ｃ（ｋ−１）−Ｃ（ｋ＋１）｝÷２・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ＋１）−Ｃ（ｋ）、Ｃ（ｋ−１）−Ｃ（ｋ）｝・・・（４）

ただし、図１０ではｋ＝２である。

なお、本発明第一の実施形態ではサブピクセル単位の分解能を０．５画素とする。また、（１）はｘ成分に関する式だが、同様にしてｙ成分も算出できる。

図７のステップ７０５において、動きベクトル算出回路２０１は、ステップ７０４で求めた最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出し、その動きベクトルの相関値を動きベクトルの信頼度とする。図９の例の場合、参照フレーム９０３の探索範囲９０５の中で、基準フレーム９０１の基準ブロック９０２の中心座標に対応した同座標９０４と、参照ブロック９０６の中心座標に基づき動きベクトルが求められる。つまり、同座標９０４から参照ブロック９０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック９０６との相関演算結果である相関値が動きベクトルの信頼度として求められる。なお、動きベクトルの信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。

図７のステップ７０６において、動きベクトル算出回路２０１は、基準フレーム７０１のうち、主被写体の領域に含まれる全画素について動きベクトルを算出したか否か判定する。動きベクトル算出回路２０１は、ステップ７０６において主被写体の領域に含まれる全画素の動きベクトルを算出していないと判定した場合には、ステップ７０２に処理を戻す。そして、ステップ７０２では、主被写体の領域に含まれる画素のうち、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１に基準ブロック９０２が配置され、以下前述同様に、ステップ７０３からステップ７０５の処理が行われる。すなわち、動きベクトル算出回路２０１は、図９の基準ブロック９０２を移動させながら、ステップ７０２からステップ７０５までの処理を繰り返して、基準フレーム９０１の主被写体の領域に含まれる全画素の動きベクトルを算出する。この動きベクトルの例を図８（ｃ）に示す。図８の例では、図８（ａ）のＭ番目のフレームと図８（ｂ）のＭ＋１番目のフレームの間で、主被写体である人が左から右に移動している例を示している。このように主被写体が移動している場合の動きベクトルの代表例を図８（ｃ）に示している。図８（ｃ）に示す動きベクトルは、Ｍ番目のフレームに存在している主被写***置を動きベクトルの始点とし、それに対応するＭ＋１番目のフレームの主被写***置を動きベクトルの終点としている。なお、動きベクトル算出回路２０１は、主被写体の領域に含まれる全画素の動きベクトルを算出するのではなく、全画素よりも少ない所定画素において動きベクトルを算出してもよい。

以上のような処理により、時間的に隣接する２枚の高速撮像フレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

なお、主被写体の移動速度が変化する場合もある。そのため、時間的に隣接する２つのフレーム間における動きベクトルの大きさから物面における移動速度に換算し、前述の計算方法で、第一の撮像素子１１５の露光中に第二の光学系の焦点距離、結像倍率、画角を適宜変更する構成とするのがよい。

次に、動きベクトル算出回路２０１が、第二の撮像素子１２５から得られた画像データに対して動きベクトルおよび動きベクトルの信頼度を算出する時系列動作について、図６を参照して説明する。

動きベクトル算出回路２０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を前述の図７のフローチャートの処理に基づき算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。

以上が、図４のステップＳ３２１における動きベクトルの算出方法についての説明である。

図４に戻り、ステップＳ３２２において、累積量算出回路２０２は、ステップ３２１において算出した主被写体の動きベクトルを複数フレームにおいて追跡し、動きベクトルの累積量を算出する。そして、代表累積量算出回路２０３は、算出した動きベクトルの累積量に基づき、フレーム全体を代表する代表累積量を決定する。

まず動きベクトルの累積量の算出方法について、図１１を用いて説明する。図１１は、ステップＳ３２１において算出した複数のフレーム間の動きベクトルを示す図である。なお、説明の簡略化のため、時刻Ｔ０から時刻Ｔ３までの期間における動きベクトルの累積量の算出方法について説明するが、それ以降の期間に関しても同様の方法で動きベクトルの累積量を算出するものとする。

図１１において、動きベクトル１１０１は、図６の時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０２は、図６の時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０３は、図６の時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された動きベクトルを示す。

累積量算出回路２０２は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の終点座標Ｑを始点座標とする動きベクトルを、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０２を、動きベクトル１１０１と連結する。また、累積量算出回路２０２は、時刻１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の終点座標Ｒを始点座標とする動きベクトルを、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０３を、動きベクトル１１０２と連結する。これ以降の期間においても同様の処理により、動きベクトルを連結していく。

このような複数フレームにおける動きベクトルの連結処理を時刻Ｔ０で算出した全ての動きベクトルに対して行うことにより、主被写体の領域に含まれる全画素の追跡動きベクトルを算出する。なお、算出した追跡動きベクトルにより、時刻Ｔ０において座標Ｐに存在した主被写体が、時刻Ｔ１では座標Ｑに移動し、時刻Ｔ２では座標Ｒに移動し、時刻Ｔ３では座標Ｓに移動したことが分かる。

次に、累積量算出回路２０２が、追跡動きベクトルに基づき、動きベクトルの累積量を算出する方法について説明する。

累積量算出回路２０２は、式（５）のように追跡動きベクトルの長さを動きベクトルの累積量（ＶｅｃＬｅｎ）として算出する。
ＶｅｃＬｅｎ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋ＶｅｃＬｅｎ３・・・（５）

ＶｅｃＬｅｎ１は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の動きベクトルの長さを示す。ＶｅｃＬｅｎ２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の動きベクトルの長さを示す。ＶｅｃＬｅｎ３は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトル１１０３の動きベクトルの長さを示す。累積量算出回路２０２は、式（５）に基づき、追跡動きベクトルを構成する動きベクトルの長さの総和を動きベクトルの累積量として算出する。以上のような動きベクトルの累積量の算出処理を主被写体の領域に含まれる全画素の追跡動きベクトルに対して行い、全画素の動きベクトルの累積量を算出する。

なお、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外してもよい。また、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルおよび時間的にそれ以降の動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外してもよい。これにより、動きベクトルの信頼度が高い動きベクトルのみを用いた動きベクトルの累積量を算出することができる。また、それぞれの動きベクトルをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向毎に動きベクトルの長さの総和を求めるようにしてもよい。

次に、代表累積量の算出方法について説明する。代表累積量算出回路２０３は、フレーム内の主被写体の領域に含まれる全画素から得られた動きベクトルの累積量のうちの最大値を選択し、選択した最大の動きベクトルの累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図６に示すように、フレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路２０３による代表累積量は、フレーム内の主被写体の領域に含まれる全画素の動きベクトルの累積量のうちの最大値に基づくものに限られるものではなく、累積量の平均値や中央値でもよい。また、動きベクトルの累積量をＸ方向の成分とＹ方向の成分に分離した場合には、それぞれの方向における代表累積量を決定するようにしてもよい。

図４に戻り、ステップＳ３２３において、タイミング決定回路２０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２４に進む。

ステップＳ３２４において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ３１４で行ったＡＥに基づいて設定された露光時間に達したかを判定し、達していなければステップＳ３２３に戻る。第一の撮像素子の露光時間がステップＳ３１４で行ったＡＥに基づいて設定された露光時間に達していれば、ステップＳ３２６に進む。

ステップＳ３２６において、第一の制御回路１１１は第一の撮像素子１１５の露光を停止する。

ステップＳ３２３において、タイミング決定回路２０４は代表累積量が閾値以上なっていればステップＳ３２５に進む。

ステップＳ３２５において、タイミング決定回路２０４は、第一の撮像システム１１０に露光終了を指示するための信号を出力する。この処理は、代表累積量が閾値以上になったことが判定されるとすぐに行われる。図６に示す例では、時刻Ｔ８までの各フレーム間で算出した動きベクトルに基づく代表累積量が閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が閾値以上となった場合に、露光終了を指示するための信号を出力する。

つまり、代表累積量が閾値以上になったことが判定されるとすぐにステップＳ３２６に進み、第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。そして、Ａ／Ｄ変換回路１１６で生成されたデジタル画像データは第一の画像処理回路１１７で所定の処理が施され、記録用の画像データとして画像出力回路１１８に出力される。画像出力回路１１８は、撮像装置１００に着脱可能な記録メディアに対して記録用の画像データの書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどの外部装置に記録用の画像データを送信したりする。

図６に示す例では、第一の制御回路１１１は、時刻Ｔ８よりわずかに後のタイミングで第一の撮像素子１１５の露光を停止することになる。実際には、第二の撮像素子１２５において時刻Ｔ８のフレーム画像が生成されてから代表累積量が得られるまでの算出時間や、タイミング決定回路２０４から出力された信号が第一の制御回路１１１に到達するまでの時間がタイムラグとして生じる。しかしながら、これらのタイムラグを考慮して閾値を設定するようにすれば、タイムラグによる影響を抑えることができる。

ステップＳ３２７おいて、第二の撮像システム１２０の第二の制御回路１２１は、第二の撮像素子１２５の露光を停止する。

ステップＳ３２８において、第一の撮像システム１１０の第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。

以上説明したように、第一の実施形態においては、第一の撮像素子１１５の露光期間中の主被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。

なお、ステップＳ３２３において代表累積量と比較される閾値を調整することによって、ぶれの大きさを調整することができる。例えば、この閾値をぶれの無い移動量相当の値に設定することにより、ぶれが発生する前に第一の撮像素子１１５の露光を終了させることができる。

また、図３のステップ３０２において、ユーザがぶれレベル「標準」を選択した場合の閾値を、例えば許容錯乱円径の３倍に相当する値に設定すれば、それに応じたぶれの含まれる画像を撮像することが可能である。その場合、ステップ３１５において、焦点距離を望遠側に移動する量も少なくなり、第二の撮像システム１２０はより広い画角の画像を参照し、動きベクトルの算出を行うことになる。

また、第一の実施形態では、タイミング決定回路２０４は、代表累積量が閾値以上になったタイミングで露光終了を指示する例について説明を行ったが、これに限られるものではない。例えば、タイミング決定回路２０４は、得られた最新の代表累積量が閾値以上になっていない場合だとしても、次フレームで代表累積量が閾値を大きく超えることが予想される場合は、現フレームに基づき露光終了を指示してもよい。次フレームにおいて代表累積量が閾値を大きく超える場合は、次フレームのタイミングで露光終了を指示したとしても、ぶれが発生してしまう。そのため、次フレームにおいて代表累積量が閾値を大きく超えることが予想される場合は、現フレームにおいて露光終了を指示する。なお、閾値を大きく超えるか否かの判定としては、上述した閾値より十分に値の大きな第二の閾値を設定し、次フレームにおける代表累積量の予測値がこの第二の閾値以上となるか否かを判定すればよい。

次フレームにおける代表累積量の予測値（ＶｅｃＬｅｎ＿ＰＲＥＤ）は、例えば、式（６）のように最新の動きベクトル長を２倍した動きベクトルの累積量に基づき算出すればよい。
ＶｅｃＬｅｎ＿ＰＲＥＤ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋２×ＶｅｃＬｅｎ３・・・（６）

式（６）では、最新の動きベクトル長は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出したＶｅｃＬｅｎ３としている。このように次に得られる動きベクトルの累積量の予測値を主被写体の領域の全画素に対して算出し、そのフレームの最大値を代表累積量とする。

また、第一の実施形態では、タイミング決定回路２０４から出力された信号に基づいて、撮像素子１１５のフレーム全体の露光を終了する例について説明したが、これに限られるものではない。例えば第一の撮像素子１１５が、ライン、領域、あるいは、画素毎に露光時間を制御できる構成であれば、タイミング決定回路２０４は、第一の撮像素子１１５のこれらの部分毎の累積量に基づいて露光終了の信号を出力するようにしてもよい。すなわち、主被写体の領域とそれ以外の領域とで、露光終了のタイミングを異ならせることもできる。

また、第一の実施形態によれば、第二の撮像システム１２０の焦点距離、結像倍率、および、画角を変更して得た画像を用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを決めている。そのため、第一の撮像素子１１５と第二の撮像素子１２５で解像度が異なる仕様であっても、ぶれの少ない画像を撮像することができる。

また、第一の実施形態によれば、シャッタスイッチ内のＳＷ２がオンになったことを判定してから、第二の撮像素子１２５を用いて第一の撮像素子１１５の露光終了のタイミングを制御する処理を行ったが、これに限られるものではない。第一の撮像素子１１５で得られたライブビューのための画像データから主被写体の動きを解析し、主被写体の動きが閾値より小さいと判断された場合に、自動的に第二の撮像素子１２５を用いて第一の撮像素子１１５の露光終了のタイミングを制御するようにしてもよい。これは、主被写体の動きが大きい場合に、第二の撮像素子１２５を用いて第一の撮像素子１１５の露光終了のタイミングを制御しようとすると、露光時間が短くなりすぎてしまい、極端に暗い画像データしか得られなくなるためである。また、初めから第二の撮像素子１２５を起動させておき、第一の撮像素子１１５の代わりに、第二の撮像素子１２５を用いて主被写体の動きを解析するようにしてもよい。第二の撮像素子１２５を用いて主被写体の動きを解析することで、主被写体の動きの大きさをより細かい分解能で判断することが可能になる。

また、このとき、自動フォーカス制御において得られた主被写体までの距離情報が、所定範囲に収まる場合にのみ、自動的に第二の撮像素子１２５を用いて第一の撮像素子１１５の露光終了のタイミングを制御することを許可するようにしてもよい。

なお、第一の実施形態では、第二の光学系１２４の焦点距離を望遠側に移動することで動きの分解能を上げたが、一般的なレンズにおいて焦点距離を望遠側に移動するとＦ値が大きくなり、画像が暗くなる。その分、明るくするために感度を上げるとノイズが多くなり、動きベクトルの算出精度が悪化してしまう。そこで、第二の撮像素子１２５で得られる画像のノイズ成分の大きさに応じて、焦点距離の最大移動量に制限を設ける構成としてもよい。

（第二の実施形態）
次に、本発明の第二の実施形態について説明を行う。第二の実施形態は、動きベクトルではなく、フレーム間の差分絶対値を用いた動き解析結果に基づいて露光終了のタイミングを決める点が、第一の実施形態とは異なる。

具体的には、第二の実施形態では、第二の撮像システム１２０の第二の画像処理回路１２７が、図２におけるタイミング生成回路２００の代わりに、タイミング生成回路１５００を有している。

まず、第二の画像処理回路１２７が具備するタイミング生成回路１５００の構成について、図１３を用いて説明する。

図１３は、第二の実施形態に係るタイミング生成回路１５００の構成例を示すブロック図である。図１３において、タイミング生成回路１５００は、差分絶対値算出回路１３０１、累積量算出回路１３０２、代表累積量算出回路１３０３およびタイミング決定回路１３０４より構成する。

次に、本発明の第二の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１４のフローチャートを用いて説明する。図１４は、第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。

第一の実施形態では図３および図４を用いて高速撮影モードにおける撮像処理を説明したが、第二の実施形態では図４に替えて図１４に示すフローチャートを用いる。図３に示す処理は第一の実施形態と共通であるため、説明を省略する。また、図１４のうち、第一の実施形態の図４のフローチャートと同じ処理を行うステップについては、図４と同じステップ番号を付与している。ここでは、第一の実施形態と異なる処理について説明を行う。

図１４のステップ１４２１において、タイミング生成回路１５００内の差分絶対値算出回路１３０１が、第二の撮像素子１２５で得られた画像データのうち、主被写体の領域におけるフレーム間の差分絶対値を算出する。フレーム間の差分絶対値とは、第二の撮像素子１２５から得られたフレーム間で同一座標における画素の値の差分絶対値を、画素ごとに求めた値である。

この差分絶対値算出回路１３０１が、第二の撮像素子１２５から得られた画像データの主被写体の領域に対して差分絶対値を算出する時系列動作について、図１５を参照して説明する。図１５は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路１５００による動作を説明するための図である。

差分絶対値算出回路１３０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の差分絶対値を画素ごとに算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データの主被写体の領域のフレーム間の差分絶対値を画素ごとに算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データの主被写体の領域のフレーム間における画素ごとの差分絶対値を算出する。

ステップＳ１４２２において、累積量算出回路１３０２は、式（７）のようにステップ１４２１において算出した画素ごとの差分絶対値を複数フレームに渡って累積し、差分絶対値累積量（ＡＤ）として算出する。
ＡＤ＝ＡＤ１＋ＡＤ２＋ＡＤ３・・・（７）

ＡＤ１は、時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された１つの画素の差分絶対値を示す。ＡＤ２は、時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。ＡＤ３は、時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。

以上のようなフレーム間の差分絶対値累積量の算出処理を主被写体の領域に含まれる全画素に対して行い、フレーム内の主被写体の領域に含まれる全画素のフレーム間差分絶対値累積量を算出する。

さらに代表累積量算出回路１３０３が、画素毎に算出したフレーム間差分絶対値累積量に基づき、そのフレーム全体を代表する累積量を算出する。具体的には、代表累積量算出回路１３０３は、主被写体の領域に含まれる全画素の差分絶対値累積量の最大値を選択し、選択した最大の差分絶対値累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図１１のようにフレーム毎に１つの代表累積量を算出する。

なお、代表累積量算出回路１３０３による代表累積量は、フレーム内の主被写体の領域に含まれる全画素の差分絶対値累積量のうちの最大値に基づくものに限られるものではなく、平均値や中央値でもよい。

ステップＳ１４２３において、タイミング決定回路１３０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２４に進み、閾値以上になっていればステップＳ３２５に進む。ステップＳ３２５以降の処理は、図３のステップＳ３２５以降の処理と同様である。

つまり、代表累積量が閾値以上になったことが判定されると、タイミング決定回路１３０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも、第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。

このように、第二の実施形態においても、第一の撮像素子１１５の露光期間中の主被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。動きベクトルの代わりに差分絶対値を用いて主被写体の動き量を判定することで、動きベクトルを用いた場合よりも演算量を減らすことができ、演算負荷の軽減や演算処理の時間短縮といった効果を見込むことができる。

（第三の実施形態）
次に、本発明の第三の実施形態について説明を行う。第三の実施形態では、動きベクトル算出回路２０１で算出された動きベクトルに基づいて、主被写体の領域を特定する。また、第三の実施形態では、第一の実施形態のタイミング生成回路２００の代わりに、タイミング生成回路１６００が用いられる。

図１６は、第三の実施形態に係るタイミング生成回路１６００の構成例を示すブロック図である。図１６において、タイミング生成回路１６００は、動きベクトル算出回路２０１、撮影状況判定回路１６０１、主被写体特定回路１６０２、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４を有する。動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４は、図２に示すものと同じである。

図１７は、第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。本実施形態では、図３および図１７に示す処理を行う。ただし、本実施形態では、図３のステップＳ３１０の主被写体を明示的に特定する処理は行われないものとし、ステップＳ３１３乃至Ｓ３１７の各処理は、主被写体としての可能性が高い領域に対して行われるものとする。図３に示すそれ以外の処理については、第一の実施形態と同様である。

図３のステップＳ３１８においてＳＷ２がオンになると、図１７のステップＳ３１９において、第一の制御回路１１１は、図３のステップＳ３１４にて行ったＡＥの結果に基づいて露光期間を設定し、第一の撮像素子の露光を開始する。

ステップＳ３２０において、第二の制御回路１２１は第一の実施形態と同様の方法でフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。

ステップＳ３２１において、タイミング生成回路１６００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。ここで、第一の実施形態では、動きベクトル算出回路２０１は主被写体が存在する領域の動きベクトルを算出していたが、本実施形態では画像データ全体の領域において動きベクトルを算出する。

ステップＳ１７０１において、撮影状況判定回路１６０１が、動きベクトル算出回路２０１で算出された動きベクトルのうち、方向と大きさの差が所定範囲内に収まる類似した動きベクトルが、閾値以上の数だけ存在するかを判定する。撮影状況判定回路１６０１は、この条件を満たすと判定した場合には、流し撮り撮影が行われている可能性が高いと判定し、流し撮り撮影であることを示すフラグを主被写体特定回路１６０２に出力する。なお、ここでは、画像データ全体の領域において算出された動きベクトルに基づいて、流し撮りを判定する構成を例にあげて説明を行ったが、これに限られるものではない。撮像装置１００に備えられたジャイロや加速度センサの出力値を用いて、流し撮りが行われているか否かを判定する構成としてもよい。

ステップＳ１７０３において、主被写体特定回路１６０２は、撮影状況判定回路１６０１から流し撮りを示すフラグを受け取ったか否かに応じて、後段で動きベクトルの累積量を算出する対象とすべき主被写体の領域を特定する。

流し撮りでは主被写体の動きは小さくなるため、主被写体特定回路１６０２は、フラグを受け取った場合には、画像データ内で最も小さい動きベクトルが得られた画素の位置における被写体を主被写体として特定する。あるいは、主被写体特定回路１６０２は、動きベクトルの大きさいが閾値以下となる画素のうち隣接するものをグループ化し、最も大きなグループを主被写体として特定してもよい。

図１８は、主被写体の領域を特定する方法を説明するための図である。図１８（ａ）、（ｂ）の左側は、画像データ全体から算出された動きベクトルを示すイメージ図である。図１８（ａ）、（ｂ）の右側は、画像データの中央部の画素ごとの動きベクトルの大きさを示すイメージ図である。説明を簡単にするために、車に相当する画素を３×３画素で示している。

図１８（ａ）では、画像データの中央部に位置する車を対象として流し撮りが行われているため、車の動きベクトルが小さくなるのに対して、背景の動きベクトルは大きく、かつ、その大きさと方向が一律である。そのため、動きベクトルの大きさの閾値を１０とすると、主被写体特定回路１６０２は、フラグを受け取った場合には、動きベクトルの大きさが１０未満である中央の３×３の画素を含む領域を主被写体の領域として特定する。

図１８（ｂ）では、流し撮りが行われていないため、背景に動きはなく、動体の被写体の動きベクトルが背景に比べて相対的に大きくなる。高速撮影モードは、動く被写体を撮影する場合に効果がある撮影モードであるため、流し撮りをしていないのであれば、動きの大きな被写体が主被写体である可能性が高い。そのため、主被写体特定回路１６０２は、撮影状況判定回路１６０１からフラグを受け取っていない場合には、相対的に動きベクトルが大きい中央の３×３の画素を含む領域を主被写体の領域として特定する。

そして、主被写体特定回路１６０２は、主被写体の領域の位置およびサイズを示す情報を累積量算出回路２０２に出力する。累積量算出回路２０２は、主被写体の領域のみを対象として動きベクトルの累積量を算出する。以降の処理は、第一の実施形態と同様である。

なお、ここでは、タイミング生成回路１６００が第二の撮像素子１２５から出力された画像データを用いて流し撮りが行われているか否かを判定しているが、これに限られるものではない。例えば、第一の画像処理回路１１７が、第一の撮像素子１１５で得られたライブビューのための画像データから動きベクトルを算出し、流し撮りが行われているか否かを判定するようにしても構わない。

このように、第三の実施形態においても、第一の撮像素子１１５の露光期間中の主被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。流し撮りの有無という撮影状況を判定し、動きの累積量を算出する対象とする領域を自動で選択するため、ユーザの手間を削減し、ユーザビリティを向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 第一の撮像システム
１１１ 第一の制御回路
１１２ 第一のＲＯＭ
１１３ 第一のＲＡＭ
１１４ 第一の光学系
１１５ 第一の撮像素子
１１６ 第一のＡ／Ｄ変換回路
１１７ 第一の画像処理回路
１１８ 第一のメモリ
１１９ 第一の表示装置
１２０ 第二の撮像システム
１２１ 第二の制御回路
１２２ 第二のＲＯＭ
１２３ 第二のＲＡＭ
１２４ 第二の光学系
１２５ 第二の撮像素子
１２６ 第二のＡ／Ｄ変換回路
１２７ 第二の画像処理回路
１３０ 操作部材
２００、１３００、１６００ タイミング生成回路

Claims (18)

1. 第一の撮像手段と、
   第二の撮像手段と、
   前記第一の撮像手段による画像データ、および、前記第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定する特定手段と、
   前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける前記主被写体の領域の動き量を算出する算出手段と、
   前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する制御手段を、
   有することを特徴とする撮像装置。
2. 前記算出手段は、複数の画像データのフレーム間における前記主被写体の領域の動き量の累積量を算出する累積量算出手段を有し、
   前記制御手段は、前記累積量と閾値を比較した結果に応じて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項１に記載の撮像装置。
3. 前記累積量算出手段は、前記第二の撮像手段にて新たなフレームの画像データが撮像されると、それまで撮像された複数の画像データのフレーム間における前記主被写体の領域の動き量の累積量を新たに算出し、
   前記制御手段は、前記累積量が前記閾値以上となった場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記累積量が前記閾値以上でなくとも、前記第二の撮像手段で撮像される次のフレームにおいて予測される累積量が前記閾値より大きな値の第二の閾値以上である場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項３に記載の撮像装置。
5. 前記算出手段は、前記主被写体の領域の動き量として、動きベクトルを算出することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記累積量算出手段は、前記複数の画像データにおいて算出された複数の動きベクトルを追跡し、追跡した動きベクトルの長さの総和に基づいて、前記累積量を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記算出手段は、前記主被写体の領域の動き量として、画像データのフレーム間における画素の値の差分絶対値を算出することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
8. 前記累積量算出手段は、前記複数の画像データのフレーム間において算出された画素の値の差分絶対値の和を、前記累積量として算出することを特徴とする請求項７に記載の撮像装置。
9. 前記第一の撮像手段による画像データを用いて、前記主被写体の領域の動き量を算出する第二の算出手段を有し、
   前記制御手段は、前記第二の算出手段によって算出された動き量が第三の閾値より小さいと判断された場合には、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する処理を行い、前記第二の算出手段によって算出された動き量が前記第三の閾値より小さくないと判断された場合には、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する処理を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記算出手段によって予め算出された前記主被写体の領域の動き量が第三の閾値より小さくないと判断された場合には、前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止する処理を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記特定手段は、前記第一の撮像手段による画像データ、および、前記第二の撮像手段による画像データの少なくともいずれかの画像データ全体における動きベクトルの情報を受け取り、受け取った前記動きベクトルの情報が所定の条件を満たす場合に、大きさが第四の閾値以下である動きベクトルが算出された画素あるいは領域を、前記主被写体の領域として特定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 前記特定手段は、受け取った前記動きベクトルの情報が所定の条件を満たさない場合に、相対的に大きな動きベクトルが算出された画素あるいは領域を、前記主被写体の領域として特定することを特徴とする請求項１１に記載の撮像装置。
13. 前記所定の条件は、類似する動きベクトルが第五の閾値以上の数だけ存在することであることを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記類似する動きベクトルとは、方向および大きさが所定範囲内に収まる動きベクトルであることを特徴とする請求項１３に記載の撮像装置。
15. 前記特定手段は、前記算出手段から前記動きベクトルの情報を受け取ることを特徴とする請求項１１乃至１４のいずれか１項に記載の撮像装置。
16. 第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、
    第二の撮像手段と、
    前記第一の撮像手段による画像データ、および、前記第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定する特定手段と、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける前記主被写体の領域の動き量を算出する算出手段と、
    前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するための信号を出力する制御手段を、
    有することを特徴とする撮像装置。
17. 撮像装置の制御方法であって、
    第一の撮像手段による画像データ、および、第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定し、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける前記主被写体の領域の動き量を算出し、
    前記主被写体の動き量に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止させるための信号を出力する、
    ことを特徴とする撮像装置の制御方法。
18. 撮像装置で用いられるプログラムであって、前記撮像装置に備えられたコンピュータに、
    第一の撮像手段による画像データ、および、第二の撮像手段による画像データの少なくともいずれかから、主被写体の領域を特定するステップと、
    前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける前記主被写体の領域の動き量を算出するステップと
    前記主被写体の動き量に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止させるための信号を出力するステップを、
    実行させることを特徴とするプログラム。

Images