JP6833607B2 - 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、流し撮りを行うことが可能な撮像装置に関する。

被写体（動体）のスピード感を表現する撮影技術として流し撮りがある。この撮影技術は、撮影者が被写体の動きに合わせてカメラを動かすことにより、移動している被写体像を静止させて背景像を流すことを目的とする。流し撮りにおいて撮影者が被写体の動きに合わせてカメラを動かす際、カメラを動かす速度が適切でない場合、被写体の移動速度とカメラを動かす速度との間に差が生じ、被写体がぶれた画像になることが多い。

特許文献１には、シフトレンズの移動により被写体の移動速度とカメラを動かす速度との差を吸収する方法が開示されている。しかし、例えば流し撮りの露光中に被写体の移動速度が変化する場合でも、被写体がぶれた画像になる可能性がある。

特許文献２には、流し撮りした撮影画像における被写体のコントラスト値に応じて、流し撮りの成否を判定して記録方式を変更する撮像装置が開示されている。特許文献２に開示されている撮像装置によれば、流し撮りの成否を判定することにより、以降の処理にその成否に関する情報を活用することができる。

特開２００６−３１７８４８号公報 特開２０１４−１５０３７０号公報

しかしながら、特許文献２に開示されている撮像装置は、撮影画像から被写体を検出するが、流し撮りが失敗した場合には被写体の検出が困難である。これに関し、図４を参照して説明する。図４は、流し撮りの説明図である。図４に示されるように、流し撮りの本撮影の前後において、撮影前フレーム（ａ−１）、（ａ−２）、および、撮影後フレーム（ａ−３）、（ａ−４）を取得する。これらのフレームは、例えば撮影者が撮影画角を確認するための画像（スルー映像）として取得される。

ここで、流し撮りが成功した場合、図４中の記録画像（ｂ）のように被写体が静止して背景だけが流れたような画像を取得することができる。一方、流し撮りが失敗した場合、図４中の記録画像（ｃ）のように被写体がぶれた画像となる。このため、流し撮りが失敗した画像から被写体を検出しようとすると、ぶれている領域が背景だからぶれているのか、被写体がぶれているのかを区別することが難しい。

撮影前フレーム（ａ−１）、（ａ−２）から検出された被写体情報を用いたとしても、流し撮りは背景が流れる程度の長秒で撮影されるため、撮影前後のフレームの撮影条件と、本撮影による記録画像の撮影条件とは互いに異なっている場合が多い。図４の例では、絞り値、露光時間、および、感度がそれぞれ異なっている。このため、撮影前フレーム（ａ−１）、および、記録画像（ｂ）、（ｃ）のそれぞれにおける被写体領域は、（ｄ）、（ｅ）、（ｆ）のように互いに異なる。その結果、ぶれているか否かの基準を決定することが難しい。

そこで本発明は、流し撮りの際に、撮影画像の成否を判定するための流し撮り成功割合を算出することが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての制御装置は、撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得し、前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得する取得手段と、前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出する算出手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記制御装置とを有する。

本発明の他の側面としての制御方法は、撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得するステップと、前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得するステップと、前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出するステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、流し撮りの際に、撮影画像の成否を判定するための流し撮り成功割合を算出することが可能な制御装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施形態における撮像装置のブロック図である。 第１の実施形態における流し撮り成功割合の算出処理を示すフローチャートである。 第２の実施形態における流し撮り成功割合の算出処理を示すフローチャートである。 各実施形態における流し撮りの説明図である。 第１の実施形態における露光前情報および露光後情報の説明図である。 第３の実施形態における露光前情報および露光後情報の説明図である。 第４の実施形態における露光前情報および露光後情報の説明図である。 第５の実施形態における露光前情報および露光後情報の説明図である。 第６の実施形態における露光前情報および露光後情報の説明図である。 第７の実施形態における流し撮り成功割合の利用例を示す図である。 第８の実施形態における流し撮り成功割合の利用例を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置１００のブロック図である。撮像装置１００は、デジタルカメラやデジタルビデオカメラなどのカメラだけでなく、カメラ機能付き携帯電話やカメラ付きコンピュータなど、カメラ機能を備える電子機器であってもよい。光学系１０１は、レンズ群、シャッタ、および、絞りなどを備える結像光学系（撮像光学系）である。レンズ群は、手振れなどによる像ブレ補正を行う補正レンズやフォーカスレンズなどを含む。

光学系１０１は、ＣＰＵ（中央演算処理装置、制御装置）１０３の制御信号に従って、被写体からの光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を介して形成された光学像（被写体像）を光電変換して画像信号を出力する。なお本実施形態において、光学系１０１は撮像素子１０２を備えた撮像装置本体と一体的に構成されているが、これに限定されるものではない。本実施形態は、撮像装置本体と、撮像装置本体に対して着脱可能な光学系（交換レンズ）とを備えた撮像装置にも適用可能である。角速度センサ１０５は、例えばジャイロセンサであり、撮像装置１００の移動量を表す角速度を検出し、電気信号としての角速度検出信号をＣＰＵ１０３へ出力する。

ＣＰＵ（制御装置）１０３は、二次記憶装置１０８などのメモリ（記憶手段）に予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。本実施形態において、ＣＰＵ１０３は、取得手段１０３ａ、算出手段１０３ｂ、駆動手段１０３ｃ、および、記録制御手段１０３ｄを有する。一次記憶装置１０４は、例えばＲＡＭ（ランダム・アクセス・メモリ）などの揮発性メモリであり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶装置１０４に記憶されているデータは、画像処理装置１０６により用いられ、また記録媒体１０７に記録される場合もある。二次記憶装置１０８は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリである。二次記憶装置１０８は、撮像装置１００を制御するためのプログラム（ファームウエア）や各種の設定情報を記憶している。二次記憶装置１０８に記憶されているプログラムや各種情報はＣＰＵ１０３により利用される。

記録媒体（記録手段）１０７は、記録制御手段１０３ｄによる制御に基づいて、一次記憶装置１０４に記憶されている撮影画像データなどを記録する。記録媒体１０７は、例えば半導体メモリカードのように、撮像装置１００から取り外し可能である。記録媒体１０７に記録されたデータは、パーソナルコンピュータなどの外部機器に装着して読み出すことが可能である。このように撮像装置１００は、記録媒体１０７の着脱機構および読み書き機能を有する。表示部１０９は、撮影の際におけるビューファインダ画像、撮影画像、または、対話的な操作のためのＧＵＩ（グラフィカル・ユーザ・インターフェース）画像などを表示する。操作部１１０は、撮影者の操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、ボタン、レバー、および、タッチパネルなどを備える。操作部１１０は、音声や視線などを用いて操作可能な入力機器を含むこともできる。

本実施形態の撮像装置１００は、画像処理装置１０６が撮影画像に適用する画像処理パターンを複数有し、画像処理パターンを撮像モードとして操作部１１０により設定可能である。画像処理装置１０６は、いわゆる現像処理と呼ばれる画像処理に加えて、撮影モードに応じた色調の調整などの各種の画像処理を行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３によるソフトウエア処理で実現してもよい。

次に、図２を参照して、本実施形態における流し撮り成功割合の算出処理について説明する。図２（ａ）は、流し撮り成功割合の算出処理を示すフローチャートである。図２（ｂ）は、図２（ａ）のステップＳ２０７の詳細を示すフローチャートである。図２（ａ）、（ｂ）の各ステップは、主に、ＣＰＵ１０３の各部により実行される。

まず、ステップＳ２０１において、ＣＰＵ１０３はフレーム（フレーム画像）を取得する。ＣＰＵ１０３は、例えば、図４の撮影前フレーム（ａ−１）として示されるように、流し撮りの本撮影の前のフレーム画像を取得する。なおステップＳ２０１は、後述のように複数回実行されるため、図４の撮影前フレーム（ａ−１）よりも前に、複数のフレームが存在する。続いてステップＳ２０２において、ＣＰＵ１０３は、ステップＳ２０１にて取得したフレーム画像から被写体（被写体情報）を検出する。なお、被写体の検出に関しては、例えば特許文献１に開示されているような、フレーム画像から得られた動きベクトルを用いて被写体エリアを抽出する手法など種々の方法が知られているため、ここでの説明は省略する。

続いてステップＳ２０３において、ＣＰＵ１０３は、流し撮りの本撮影の露光動作を行うか否かを判定する。本実施形態において、ＣＰＵ１０３は、操作部１１０に含まれるシャッターボタンの全押し（以降、Ｓ２と表記）がなされたか否かを判定する。全押しＳ２が行われていない場合、ＣＰＵ１０３はステップＳ２０１、Ｓ２０２の動作を繰り返し行い、図４の撮影前フレーム（ａ−１）、（ａ−２）のような画像を順次取得する。一方、ステップＳ２０３にて全押しＳ２がなされた場合、ステップＳ２０４へ進む。

ステップＳ２０４において、ＣＰＵ１０３（取得手段１０３ａ）は、露光前情報２１１を取得する。図５は、本実施形態における露光前後の情報の説明図である。本実施形態において、ＣＰＵ１０３は、図５中のフレーム（ａ）として示されるように、画面を等間隔に分割して複数のブロック（被写体ブロック、背景ブロック）を設定する。ＣＰＵ１０３は、最後に実施したステップＳ２０２にて得られた被写体情報に基づいて、複数のブロックのうち被写体が属するブロック（被写体ブロック）の位置を露光前情報２１１として記憶する。露光前情報２１１は、例えば一次記憶装置１０４に記憶される。

続いてステップＳ２０５において、ＣＰＵ１０３は、流し撮りの露光動作を開始する。ＣＰＵ１０３は、例えば、光学系１０１に含まれるシャッタを制御する。続いてステップＳ２０６において、ＣＰＵ１０３は、露光時間として予め定められた露光時間が経過したか否かを判定する。露光時間が経過していない場合、露光時間が経過するまでステップＳ２０６を繰り返す。一方、露光時間が経過した場合、ステップＳ２０７へ進む。ステップＳ２０７において、ＣＰＵ１０３は、流し撮りの露光動作を終了する。続いてステップＳ２０８において、ＣＰＵ１０３（取得手段１０３ａ）は、ステップＳ２０４と同様に、露光後情報２１２を取得する。

ここで、図２（ｂ）を参照して、露光後情報２１２の取得方法（ステップＳ２０８）について詳述する。図２（ｂ）は、露光後情報２１２の取得方法（ステップＳ２０８）のフローチャートである。

まず、ステップＳ２０８１において、ＣＰＵ１０３は、フレームを取得する。ＣＰＵ１０３は、例えば図４中の撮影後フレーム（ａ−３）、（ａ−４）として示されるような画像を取得する。なお、ここで取得した画像に関しては、必ずしも撮影者に見えるように表示する必要はない。続いてステップＳ２０８２において、ＣＰＵ１０３は、被写体（被写体情報）を検出する。ＣＰＵ１０３は、例えばステップＳ２０２と同様に、ステップＳ２０８１にて取得された撮影後フレーム（ａ−３）、（ａ−４）から被写体エリアを抽出することにより被写体を検出する。続いてステップＳ２０８３において、ＣＰＵ１０３は、ステップＳ２０８２にて取得した被写体情報に基づいて、露光後情報２１２を取得する。本実施形態において、ＣＰＵ１０３は、ステップＳ２０４と同様に露光後情報２１２を取得する。例えばＣＰＵ１０３は、図５中のフレーム（ｂ）として示されるように、ステップＳ２０８２にて得られた被写体情報に基づいて、画面を等間隔に分割して得られた複数のブロックのうち被写体が属するブロックの位置を露光後情報２１２として記憶する。露光後情報２１２は、例えば一次記憶装置１０４に記憶される。

続いて、図２（ａ）のステップＳ２０９において、ＣＰＵ１０３（算出手段１０３ｂ）は、流し撮り成功割合を算出する。ここで、図５を参照して、本実施形態における流し撮り成功割合の算出処理を説明する。流し撮りの際には、前述のように適切な速度で撮像装置１００（カメラ）を動かすことにより、撮像装置１００が被写体を追うことができている状態である必要がある。被写体を追うことができている場合、撮像装置１００の撮像面上（撮像素子１０２の面上）における被写***置は、常に一定の位置にあることになる。例えば、露光前の被写体が図５中のフレーム（ａ）に示される位置にある場合、露光後の被写体はフレーム（ｂ）のように、画面に対する被写***置がフレーム（ａ）と同等の位置となっている必要がある。一方、流し撮りが失敗している場合、撮像装置１００が被写体を適切に追うことができていないため、露光後の被写体はフレーム（ｃ）のように、被写***置がフレーム（ａ）とは異なる位置になっている可能性が高い。そこで本実施形態では、露光前後の被写***置を比較することにより、流し撮りの成功割合を算出する。なお、被写***置の検出方法としては、前述のように、特許文献１のようにフレーム画像から得られた動きベクトルを用いて被写体エリアを抽出する手法など、種々の方法が知られているため、ここでの説明は省略する。

本実施形態では、例えば露光前後でどの程度被写体領域が重なっているかを判定することにより、流し撮りの成功割合を算出することが可能である。まず、図５中のフレーム（ａ）においては、画面を等間隔に分割して得られた複数のブロックのうち、実線で示される被写体ブロックが４ブロック存在している。一方、図５のフレーム（ｂ）においては、図５のフレーム（ａ）の被写体ブロックと重複した位置にある被写体ブロックの数は４である。このときの流し撮り成功割合Ｒ_ｂは、例えば以下の式（１）のように算出される。

一方、例えば図５のフレーム（ｃ）においては、フレーム（ａ）の被写体ブロックと重複した位置にある被写体ブロックの数は２である。このときの流し撮り成功割合Ｒ_ｃは、例えば以下の式（２）のように算出される。

このように本実施形態において、制御装置（ＣＰＵ１０３）は、取得手段１０３ａおよび算出手段１０３ｂを有する。取得手段１０３ａは、撮像装置の流し撮り撮影の開始前の第１の画像（本撮影前の画像）から第１の情報（露光前情報２１１）を取得し、撮像装置の流し撮り撮影の終了後の第２の画像（本撮影後の画像）から第２の情報（露光後情報２１２）を取得する。算出手段は、第１の情報と第２の情報とに基づいて、流し撮りが成功したか否かに関するデータを算出する。

好ましくは、算出手段１０３ｂは、流し撮りが成功したか否かに関するデータとして、流し撮り成功割合（成功度合い）を算出する。また好ましくは、取得手段１０３ａは、第１の情報として、第１の画像から被写体領域（主被写体を含む領域）に関する情報を取得し、第２の情報として、第２の画像から被写体領域に関する情報を取得する。より好ましくは、取得手段１０３ａは、被写体領域に関する情報として、移動体（移動被写体）を含む領域に関する情報を取得する。また好ましくは、取得手段１０３ａは、被写体領域に関する情報として、被写体領域の位置（被写体ブロック）に関する情報を取得する。

本実施形態によれば、露光前の被写体情報（露光前情報２１１）および露光後の被写体情報（露光後情報２１２）に基づいて、流し撮り成功割合の算出を行うことができる。また、流し撮りの前後の被写体情報を利用することにより、被写体の検出が流し撮りの成功または失敗の影響を受けず、かつ、流し撮り成功割合の算出処理において同等の条件で撮影した画像に基づいて判定を行うことが可能である。

（第２の実施形態）
次に、図３を参照して、本発明の第２の実施形態について説明する。本実施形態において、光学系１０１は、光軸と直交する方向に移動することが可能なシフトレンズを含む。本実施形態の撮像装置１００は、シフトレンズを移動させることにより、被写体の移動速度と撮像装置１００の移動速度との差を吸収して撮影者の流し撮りを補助する機能を有する。

図３は、本実施形態における流し撮り成功割合の算出処理を示すフローチャートである。図３の各ステップは、主に、ＣＰＵ１０３の指令に基づいて実行される。図３において、シフトレンズ駆動（ステップＳ３０６）およびシフトレンズセンタリング（ステップＳ３１１）が追加されている点で、図２を参照して説明した第１の実施形態とは異なる。なお、図３の他のステップＳ３０１〜Ｓ３０５、Ｓ３０７〜Ｓ３１０は、図２のステップＳ２０１〜Ｓ２０９とそれぞれ同様であるため、それらの説明については省略する。

ステップＳ３０６において、ＣＰＵ１０３は、シフトレンズを駆動する。シフトレンズの駆動により、被写体の移動速度と撮像装置１００の移動速度との差を吸収して撮影者の流し撮りを補助することができる。なお、流し撮りの補助に関しても、例えば特許文献１に開示されているような、被写体の動きベクトルをシフトレンズの移動量に換算してシフトレンズを駆動する手法などの種々の方法が知られているため、ここでの説明は省略する。

このようにして撮影者の流し撮りの補助が行われるが、撮影が完了した際には、次の撮影のためにシフトレンズの位置を初期位置に戻す必要がある。このため、ステップＳ３１１において、ＣＰＵ１０３はシフトレンズのセンタリングを行う。シフトレンズセンタリング動作を行った場合、撮像される画像の撮像面上の位置も同様に動いてしまう。このとき、撮像面上の被写体の位置も変化するため、前述したような流し撮り成功割合の算出を行うことが難しい。このため、ステップＳ３０９における露光後情報２１２の取得よりも後にシフトレンズのセンタリングを行うことにより、流し撮り成功割合を容易かつ正確に算出することができる。

このように本実施形態において、駆動手段１０３ｃは、流し撮りを補助するように、撮像光学系の光軸と直交する方向にシフトレンズを駆動する。好ましくは、駆動手段１０３ｃは、取得手段１０３ａが第２の情報（露光後情報２１２）を取得した後に、シフトレンズを初期位置に駆動する（センタリングを行う）。このため本実施形態によれば、シフトレンズの移動による撮影者の流し撮りを補助しながら、流し撮り成功割合の算出処理を行うことが可能である。

（第３の実施形態）
次に、図６を参照して、本発明の第３の実施形態について説明する。第１の実施形態では、露光前情報および露光後情報として被写体が属する画面内のブロック（被写体ブロック）の情報を利用する方法を説明したが、本実施形態では、露光前情報および露光後情報として被写体領域内の輝度情報を利用する方法を説明する。図６は、本実施形態における露光前情報および露光後情報の説明図である。

本実施形態では、ステップＳ２０３における露光前情報２１１として、画面を等間隔に分割して得られた複数のブロックのうち被写体が属するブロック（被写体ブロック）の輝度ヒストグラムを記憶する。このとき、例えば図６中の画像データ（ａ−２）から、輝度と度数との関係を示すヒストグラム（ａ−３）が取得される。露光後情報２１２も同様に、画像データ（ｂ−２）または（ｃ−２）から、ヒストグラム（ｂ−３）、（ｃ−３）がそれぞれ取得される。

ここで、例えば、ヒストグラム（ａ−３）、（ｂ−３）、（ｃ−３）をそれぞれＨ_ａ、Ｈ_ｂ、Ｈ_ｃとすると、流し撮り成功割合Ｒ_ｂ、Ｒ_ｃは例えば以下の式（３）、（４）のようにそれぞれ算出される。

式（３）、（４）において、Ｍｉｎ（ａ，ｂ）は、ａ、ｂのうち小さいほうの値を選択することを意味する。なお本実施形態において、ヒストグラムＨ_ａ、Ｈ_ｂ、Ｈ_ｃのそれぞれを画素値０〜２５５の度数で表しており、ある画素値ｘの度数をＨ_ａ［ｘ］として表している。

このようにして、露光前の被写体情報（露光前情報２１１）および露光後の被写体情報（露光後情報２１２）に基づいて、流し撮り成功割合を算出することができる。なお本実施形態において、被写***置は露光前に取得してあり、露光後の再取得を行わない。このため、露光後に取得するフレームは最低１フレームで済むという利点がある。

本実施形態の取得手段１０３ａは、被写体領域に関する情報として、被写体領域の輝度情報（被写体領域の画素値）を取得する。そして算出手段１０３ｂは、流し撮り成功割合の算出を行うため、被写体領域に限定して画素値の差分を算出する。流し撮りにおいて、被写体は常に撮像面の同じ位置に撮像されていることが理想であるが、背景は流れているため、背景が撮像される位置は変化する。本実施形態によれば、被写体領域に限定して露光前後の被写体情報を比較することにより、流し撮り成功割合を算出することが可能となる。

（第４の実施形態）
次に、図７を参照して、本発明の第４の実施形態について説明する。本実施形態では、露光前情報および露光後情報として被写体領域のベクトル情報を利用する方法を説明する。図７は、本実施形態における露光前情報および露光後情報の説明図である。

例えば、図２のステップＳ２０１の被写体検出において、特許文献１に開示されている方法などにより、ＣＰＵ１０３は、図７中のフレーム（ａ−１）のように、各ブロック内の動きベクトルを算出する。そしてＣＰＵ１０３は、算出された動きベクトルの中から被写体領域における動きベクトルを抽出する。続いて、ＣＰＵ１０３は、移動量ごとにヒストグラムを取ることにより、ヒストグラム（ａ−２）を得ることができる。露光後情報も同様に、図７のヒストグラム（ｂ−２）、（ｃ−２）が得られる。例えば、ヒストグラム(ａ−２)、（ｂ−２）、（ｃ−２）の度数をそれぞれＨ_ａ、Ｈ_ｂ、Ｈ_ｃとすると、流し撮り成功割合Ｒ_ｂ、Ｒ_ｃは例えば以下の式（５）、（６）のようにそれぞれ算出される。

なお本実施形態では、ヒストグラムＨ_ａにおける、あるベクトル量ｘの度数をＨ_ａ［ｘ］として表しており、これを全移動量に対して積分する。

このように本実施形態において、取得手段１０３ａは、被写体領域に関する情報として、被写体領域の移動量に関する情報（動きベクトル、ベクトル情報）を取得する。好ましくは、取得手段１０３ａは、被写体領域の移動量に関する情報として、第１の画像に関する第１の移動量（第１のベクトル情報）と第２の画像に関する第２の移動量（第２のベクトル情報）とを取得する。そして算出手段１０３ｂは、第１の移動量と第２の移動量とを比較して（第１の移動量と第２の移動量との類似度に基づいて）、流し撮り成功割合を算出する。

このようにして、露光前の被写体情報（露光前情報２１１）と露光後の被写体情報（露光後情報２１２）とに基づいて、流し撮り成功割合の算出を行うことができる。なお本実施形態の方法によれば、第１の実施形態や第２の実施形態よりも、被写体のサイズや被写体のコントラストの影響を受けにくい。

（第５の実施形態）
次に、図８を参照して、本発明の第５の実施形態について説明する。本実施形態では、露光前情報および露光後情報として露光前および露光後の動きベクトルを利用する方法を説明する。第４の実施形態では、図４の撮影前フレーム（ａ−１）、（ａ−２）間で算出された動きベクトル、および、撮影後フレーム（ａ−３）、（ａ−４）間で算出された動きベクトルの類似度を判定した。一方、本実施形態では、撮影前フレーム（ａ−２）と撮影後フレーム（ａ−３）との間で動きベクトルを算出する。

図８は、本実施形態における露光前情報および露光後情報の説明図である。例えば、図２のステップＳ２０４にて取得される露光前情報２１１として、動きベクトルを算出するために必要な情報を保持する。ステップＳ２０８の露光後情報２１２に関しても同様に、動きベクトルを算出するために必要な情報を保持する。ステップＳ２０９の成功割合の算出の際に、ＣＰＵ１０３は、露光前情報２１１および露光後情報２１２を利用して、被写体領域における動きベクトルを算出する。ここで、流し撮りの際に、被写体に関しては移動速度に合わせて撮像装置１００を追従させているため、理想的には動きベクトルは小さくなる。

そこで、図８中のヒストグラム（ｂ−２）または（ｃ−２）のように動きベクトルの度数をそれぞれＨ_ｂ、Ｈ_ｃとすると、流し撮り成功割合Ｒ_ｂ、Ｒ_ｃは例えば以下の式（７）、（８）ようにそれぞれ算出される。

（｜ｘ｜はｘの絶対値）
式（７）、（８）において、｜ｘ｜はｘの絶対値を示す。また式（７）、（８）において、Ｎは任意の定数であり、Ｒ_ｂ、Ｒ_ｃはそれぞれ０以上１以下の値を取る。また、ヒストグラムＨ_ｂにおける、あるベクトル量ｘの度数をＨ_ｂ［ｘ］として表わしており、これを全ベクトル量に対して積分する。

このように本実施形態において、取得手段１０３ａは、第１の画像（本撮影前の画像）と第２の画像（本撮影後の画像）とを比較して被写体領域の移動量に関する情報（ベクトル情報）を取得する。このため本実施形態によれば、露光前の被写体情報（露光前情報２１１）および露光後の被写体情報（露光後情報２１２）に基づいて、流し撮り成功割合の算出を行うことができる。なお、本実施形態では、第３の実施形態と同様に、被写体のサイズや被写体のコントラストの影響を受けにくい。また、第２の実施形態と同様に、露光後に取得するフレームは最低１フレームで済むという利点がある。

（第６の実施形態）
次に、図９を参照して、本発明の第６の実施形態について説明する。第１から第５の実施形態では、被写体が静止した状態で流し撮り画像を撮影することができたか否かに着目したが、本実施形態のように背景の流し量に対する評価値を算出することも可能である。図９は、本実施形態における露光前情報および露光後情報の説明図である。第５の実施形態では被写体領域の動きベクトルを算出していたが、本実施形態では背景領域の動きベクトルを算出する。これにより、図９のヒストグラム（ｂ−２）、（ｃ−２）のような、背景の動きベクトルのヒストグラムを取得することができる。

このようにして得られた背景領域の移動量から、例えば図９のヒストグラム（ｂ−２）、（ｃ−２）として示される動きベクトルの度数をそれぞれＨ_ｂ、Ｈ_ｃとする。このとき、以下の式（９）、（１０）で表されるように、流し撮り成功割合Ｒ_ｂ、Ｒ_ｃと掛け合わせてＲ_ｂ’、Ｒ_ｃ’を算出することができる。

式（９）、（１０）において、Ｎは任意の定数である。

このように本実施形態において、取得手段１０３ａは、第１の情報として、第１の画像から背景領域（背景を含む領域）の移動量に関する情報を取得し、第２の情報として、第２の画像から背景領域の移動量に関する情報（ベクトル情報）を取得する。このため本実施形態によれば、背景の流し量に対する評価値（背景領域の移動量に関する情報）を算出することにより、被写体が静止しており、かつ背景の流し量が多いほど高い成功割合として算出することができる。なお、第１から第６の実施形態において、種々の流し撮り成功割合の算出方法を説明したが、各算出方法において例えば被写体のサイズや撮影モードに応じて特定の方法を選択し、または複数の算出方法を組み合わせることも可能である。

（第７の実施形態）
次に、図１０を参照して、本発明の第７の実施形態について説明する。第１から第６の実施形態では、流し撮り成功割合の算出方法を説明したが、本実施形態では、算出された流し撮り成功割合の利用方法を説明する。図１０は、本実施形態における流し撮り成功割合の利用方法の説明図である。

例えば流し撮り成功割合として、図１０中のフレーム（ａ）、（ｂ）、（ｃ）、（ｄ）に示されるように、０．９８、０．６０、０．５０、０．９０という値がそれぞれ得られたとする（数値が高いほうがより流し撮り成功割合が高い）。画像を記録する際に、撮影画像とともに流し撮り成功割合を合わせて保存させることにより、画像の閲覧ツールなどにおいて、保存した成功割合を参照することができる。例えば、撮影者が流し撮り画像を選択する際に、ソート順を「流し撮り成功割合順」とした場合、図１０中のフレーム（ｅ）、（ｆ）、（ｇ）、（ｈ）のように、流し撮り成功割合の高い順にソートする。これにより、撮影者が簡易に適した流し撮り画像を選択することができる。

本実施形態において、記録制御手段１０３ｄは、流し撮りによる画像データと流し撮り成功割合とを関連付けて記録媒体１０７に記録する。すなわち、撮影の際に算出した流し撮り成功割合を画像に記録する（付帯させる）ことにより、後から撮影者が画像を選択する際の手間を軽減させることが可能となる。

（第８の実施形態）
次に、図１１を参照して、本発明の第８の実施形態について説明する。本実施形態では、第７の実施形態と同様に、流し撮り成功割合の他の利用方法を説明する。図１１は、本実施形態における流し撮り成功割合の利用方法の説明図である。

本実施形態では、流し撮りの連写において、図１１中のフレーム（ａ−１）、（ａ−２）から検出された被写体の移動速度に基づいて、シフトレンズを光軸と直交する方向に移動させて光学補正を行い、撮影者の流し撮りを補助する場合を考える。まず、検出された被写体の移動速度を更新せずに連写し続ける場合を考えると、連写中に被写体の移動速度が変化した際に、以降の撮影で図１１中の撮影画像（ｄ）のような失敗画像を量産してしまう可能性がある。一方、毎回被写体を検出して移動速度を更新する場合、処理が増加するため、連写速度が低下する可能性がある。

そこで、例えば流し撮りごとに図１１中のフレーム（ａ−３）、（ａ−４）、（ａ−５）を取得し、各フレームに関して流し撮り成功割合を算出すると、図１１中の撮影画像（ｄ）の撮影においては、流し撮り成功割合が低くなる。ここで、例えば流し撮り成功割合が一定の閾値よりも低くなった場合、一度連写を中断してから再検出を行うことにより、連写速度を維持しつつ流し撮り成功画像を取得しやすくすることができる。

このように本実施形態において、算出手段１０３ｂは連写撮影ごとに流し撮り成功割合を算出し、駆動手段１０３ｃは流し撮り成功割合に応じて動作を変更する。このため本実施形態によれば、連写速度を維持しながら、失敗画像が発生する頻度を軽減することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、流し撮りの際に、撮影画像の成否を判定するための流し撮り成功割合を算出することが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ ＣＰＵ（制御装置）
１０３ａ 取得手段
１０３ｂ 算出手段

Claims (18)

1. 撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得し、前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得する取得手段と、
   前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出する算出手段と、を有することを特徴とする制御装置。
2. 前記算出手段は、前記流し撮り撮影が成功したか否かに関するデータとして、流し撮り成功割合を算出することを特徴とする請求項１に記載の制御装置。
3. 前記取得手段は、
   前記第１の情報として、前記第１の画像から被写体領域に関する情報を取得し、
   前記第２の情報として、前記第２の画像から前記被写体領域に関する情報を取得することを特徴とする請求項１または２に記載の制御装置。
4. 前記取得手段は、前記被写体領域に関する情報として、移動体を含む領域に関する情報を取得することを特徴とする請求項３に記載の制御装置。
5. 前記取得手段は、前記被写体領域に関する情報として、該被写体領域の位置に関する情報を取得することを特徴とする請求項３または４に記載の制御装置。
6. 前記取得手段は、前記被写体領域に関する情報として、該被写体領域の輝度情報を取得することを特徴とする請求項３または４に記載の制御装置。
7. 前記取得手段は、前記被写体領域に関する情報として、該被写体領域の移動量に関する情報を取得することを特徴とする請求項３または４に記載の制御装置。
8. 前記取得手段は、前記被写体領域の前記移動量に関する情報として、前記第１の画像に関する第１の移動量と前記第２の画像に関する第２の移動量とを取得し、
   前記算出手段は、前記第１の移動量と前記第２の移動量とを比較して、前記流し撮り撮影が成功したか否かに関するデータを算出することを特徴とする請求項７に記載の制御装置。
9. 前記取得手段は、前記第１の画像と前記第２の画像とを比較して前記被写体領域の前記移動量に関する情報を取得することを特徴とする請求項７に記載の制御装置。
10. 前記取得手段は、
    前記第１の情報として、前記第１の画像から背景領域の移動量に関する情報を取得し、
    前記第２の情報として、前記第２の画像から前記背景領域の移動量に関する情報を取得することを特徴とする請求項１または２に記載の制御装置。
11. 撮像光学系の光軸と直交する方向にシフトレンズを駆動する駆動手段を更に有し、
    前記駆動手段は、前記流し撮り撮影を補助するように前記シフトレンズを駆動することを特徴とする請求項１乃至１０のいずれか１項に記載の制御装置。
12. 前記駆動手段は、前記取得手段が前記第２の情報を取得した後に、前記シフトレンズを初期位置に駆動することを特徴とする請求項１１に記載の制御装置。
13. 前記駆動手段は、前記流し撮り撮影が成功したか否かに関するデータに応じて動作を変更することを特徴とする請求項１１または１２に記載の制御装置。
14. 前記流し撮り撮影による画像データと該流し撮り撮影が成功したか否かに関するデータとを関連付けて記録手段に記録する記録制御手段を更に有することを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
15. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得し、前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得する取得手段と、
    前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出する算出手段と、を有することを特徴とする撮像装置。
16. 撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得するステップと、
    前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得するステップと、
    前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出するステップと、を有することを特徴とする制御方法。
17. 撮像装置の流し撮り撮影の開始前の第１の画像から第１の情報を取得するステップと、
    前記撮像装置の流し撮り撮影の終了後の第２の画像から第２の情報を取得するステップと、
    前記第１の情報と前記第２の情報とに基づいて、前記流し撮り撮影が成功したか否かに関するデータを算出するステップと、をコンピュータに実行させることを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。