JP7357596B2 - 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置に係り、特に撮像装置で撮像された動画像を処理する画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置に関する。

動画像におけるフレーム間の動きベクトルに基づいて、画面内の主要被写体を推定する技術が知られている（たとえば、特許文献１－４等）。

特開2012-160780号公報 特開2020-95673号公報 特開2009-65573号公報 特開2010-272953号公報

本開示の技術に係る１つの実施形態は、追尾対象を短時間で推定できる画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置を提供する。

（１）撮像装置で撮像された動画像を処理する画像処理装置であって、プロセッサを備え、プロセッサは、特定期間内で動画像から動きベクトルを時系列順に算出する処理と、動きベクトルの変化量を時系列順に算出する処理と、動きベクトルの変化量に基づいて、追尾対象を推定する処理と、を行う、画像処理装置。

（２）プロセッサは、動きベクトルの変化量の変化傾向に基づいて、追尾対象を推定する、（１）の画像処理装置。

（３）プロセッサは、動きベクトルの変化量が減少傾向にある被写体を追尾対象と推定する、（２）の画像処理装置。

（４）プロセッサは、動きベクトルの変化量が複数フレームに亘り減少している被写体を追尾対象と推定する、（３）の画像処理装置。

（５）プロセッサは、撮像装置の動き量に基づいて、特定期間を開始する、（１）から（４）のいずれか一の画像処理装置。

（６）プロセッサは、特定期間内における動きベクトルの変化量の平均値を算出する処理を更に行い、プロセッサは、動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定する、（１）から（５）のいずれか一の画像処理装置。

（７）プロセッサは、動画像を撮像した際の撮像装置の動き量に基づいて、閾値を設定する処理を更に行う、（６）の画像処理装置。

（８）プロセッサは、撮像装置の動き量が大きくなるほど閾値をマイナス方向に大きく設定する、（７）の画像処理装置。

（９）プロセッサは、撮像装置の動き量が基準値を超える場合、閾値を第１閾値に設定し、撮像装置の動き量が基準値以下の場合、閾値を第１閾値よりもマイナス方向において小さい第２閾値に設定する、（８）の画像処理装置。

（１０）プロセッサは、動画像を撮像した際の撮像装置の動き量に基づいて、特定期間を設定する処理を更に行う、（１）から（９）のいずれか一の画像処理装置。

（１１）プロセッサは、撮像装置の動き量が大きくなるほど特定期間を長く設定する、（１０）の画像処理装置。

（１２）プロセッサは、撮像装置の動き量が基準値を超える場合、特定期間を第１特定期間に設定し、撮像装置の動き量が基準値以下の場合、特定期間を第１特定期間よりも短い第２特定期間に設定する、（１１）の画像処理装置。

（１３）プロセッサは、動画像に基づいて、撮像装置の動き量を算出する処理を更に行う、（１）から（１２）のいずれか一の画像処理装置。

（１４）撮像装置は、本体の動き量を検出するセンサを備え、プロセッサは、センサから撮像装置の動き量の情報を取得する処理を更に行う、（１）から（１２）のいずれか一の画像処理装置。

（１５）（１）から（１４）のいずれか一の画像処理装置と、推定した追尾対象に焦点を合わせるようにフォーカスレンズを移動させて焦点調節を行う焦点調節部と、を備えた撮像装置。

（１６）撮像装置で撮像された動画像を処理する画像処理方法であって、特定期間内で動画像から動きベクトルを時系列順に算出するステップと、動きベクトルの変化量を時系列順に算出するステップと、動きベクトルの変化量に基づいて、追尾対象を推定するステップと、を含む、画像処理方法。

（１７）撮像装置で撮像された動画像を処理する画像処理プログラムであって、特定期間内で動画像から動きベクトルを時系列順に算出する機能と、動きベクトルの変化量を時系列順に算出する機能と、動きベクトルの変化量に基づいて、追尾対象を推定する機能と、をコンピュータに実現させる画像処理プログラム。

撮像装置のハードウェア構成の一例を示すブロック図 追尾ＡＦを行う際にＣＰＵが実現する機能の一例を示すブロック 追尾対象設定部が有する機能のブロック図 撮像により得られる時系列の画像の一例を示す図 図４に示した時系列順の２つの画像を重畳して表示した画像 図４に示した時系列順の２つの画像から得られる動きベクトルの分布の一例を示す図 追尾対象の動きベクトルの変化量の推移の一例を示すグラフ 背景の動きベクトルの変化量の推移の一例を示すグラフ 追尾対象の設定処理の手順を示すフローチャート 追尾対象の動きベクトルの変化量の推移の他の一例を示すグラフ 追尾対象設定部が有する機能のブロック図 ブレ検出センサが備えられている場合に追尾対象設定部が有する機能のブロック図 追尾対象の推定処理を自動で開始する場合に追尾対象設定部が有する機能のブロック図 撮像装置の動き量に基づいて追尾対象の設定処理を開始する場合の処理の手順を示すフローチャート

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

ここでは、追尾ＡＦ（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）の機能を備えた撮像装置において、追尾対象を自動設定する場合を例に説明する。

追尾ＡＦとは、撮像装置のＡＦ機能の一つであり、動く被写体を追いかけて焦点を合わせ続ける機能である。追尾ＡＦでは、最初に追尾対象とする被写体を設定する必要がある。しかし、追尾対象とする被写体が最初から動いている場合、この設定をユーザが手動（ボタン操作等）で行うことは難しい。したがって、このような場合は、装置側で追尾対象とする被写体を自動で設定できることが望ましい。

本実施の形態では、追尾ＡＦを備えた撮像装置において、追尾対象を自動設定できる撮像装置について説明する。

［撮像装置のハードウェア構成］
図１は、撮像装置のハードウェア構成の一例を示すブロック図である。

本実施の形態の撮像装置１０は、撮像光学系１２、撮像光学系駆動部１４、撮像部１６、表示部１８、記憶部２０、接続部２２、操作部２４、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２８、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０等を備える。

撮像光学系１２は、被写体像を撮像部１６の撮像素子に結像させる複数のレンズ群、及び、光量を調節する絞り１２Ｂ等を備える。撮像光学系１２は、一部のレンズ群又は全体を光軸に沿って前後移動させることにより、焦点調節される。焦点調節用のレンズ群は、撮像光学系１２におけるフォーカスレンズ１２Ａを構成する。

撮像光学系駆動部１４は、フォーカスレンズ１２Ａを駆動するフォーカスレンズ駆動部１４Ａ、及び、絞り１２Ｂを駆動する絞り駆動部１４Ｂを有する。フォーカスレンズ駆動部１４Ａは、フォーカスレンズ１２Ａを駆動するアクチュエータ及びその駆動回路を有する。絞り駆動部１４Ｂは、絞り１２Ｂを駆動するアクチュエータ及びその駆動回路を有する。

撮像部１６は、光学像を電気信号に変換する撮像素子１６Ａを備える。撮像素子１６Ａには、たとえば、所定の配列（たとえば、ベイヤ配列等）のカラーフィルタを有するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサ、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサが用いられる。なお、カラーフィルタについては、必ずしも備えている必要はない。この他、撮像素子１６Ａには、有機薄膜撮像素子等を用いることもできる。

本実施の形態の撮像装置１０では、撮像素子１６Ａとして、駆動部、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）及び信号処理部等を備えたＣＭＯＳ型のカラーイメージセンサが用いられる。この場合、撮像素子１６Ａは、内蔵する駆動部に駆動されて動作する。また、各画素の信号は、内蔵するＡＤＣによってデジタル信号に変換される。更に、各画素の信号には、内蔵する信号処理部によって、相関二重サンプリング処理、ゲイン処理、補正処理等の処理が必要に応じて施される。これらの信号処理は、各画素の信号をデジタル信号に変換する前に行う構成としてもよいし、また、デジタル信号に変換した後に行う構成としてもよい。

また、本実施の形態の撮像装置１０では、撮像素子１６Ａとして、位相差画素が組み込まれた撮像素子が用いられる。位相差画素が組み込まれた撮像素子を用いることで、画面内の被写体の位相差の情報を取得できる。また、取得した位相差の情報から画面内の被写体の焦点のズレの方向及び焦点のズレ量（デフォーカス量）を検出できる。位相差画素が組み込まれた撮像素子、及び、その撮像素子を用いた位相差の検出方法は公知である。したがって、その詳細についての説明は省略する。

表示部１８は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ，ＯＬＥＤ ｄｉｓｐｌａｙ）などのディスプレイで構成される。また、表示部１８を構成するディスプレイには、タッチパネルを備えたタッチパネルディスプレイを用いることもできる。表示部１８には、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）の形態のものも含まれる。ただし、表示部１８がＥＶＦで構成される場合、表示部１８にタッチパネルが備えられることはない。

記憶部２０は、撮像された画像データの記憶に使用される他、各種データの記憶に使用される。記憶部２０は、たとえば、Ｆｌａｓｈ Ｍｅｍｏｒｙを含むＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の不揮発性を有する半導体メモリで構成される。記憶部２０は、装置本体に一体的に備えられた構成（いわゆる内蔵メモリの形態）であってもよいし、着脱可能な構成（いわゆるメモリカードの形態）であってもよい。

接続部２２は、外部機器（たとえば、外部表示装置、外部記録装置等）を接続する端子を備える。通信規格としては、たとえば、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等を採用できる（ＨＤＭＩは登録商標）。

操作部２４は、撮像装置１０を操作するための各種操作デバイスを備える。操作デバイスには、電源ボタン、シャッターボタン、録画ボタン等の各種操作ボタン類が含まれる。また、表示部１８を構成するディスプレイがタッチパネルディスプレイで構成される場合には、タッチパネルも操作デバイスに含まれる。本実施の形態の撮像装置１０には、操作デバイスとして、追尾ＡＦのオン、オフを切り替える追尾ＡＦスイッチが備えられる。なお、追尾ＡＦのオン、オフは、この他、設定画面で行う構成とすることもできる。

ＣＰＵ２６は、プロセッサの一例である。ＣＰＵ２６は、所定のプログラムを実行することにより、撮像装置１０の制御部及び画像処理部等として機能する。ＣＰＵ２６は、制御部として、ＡＥ制御（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、ＡＦ制御等の撮像制御、表示部１８への表示制御、記憶部２０への記録制御等の処理を行う。また、ＣＰＵ２６は、画像処理部として、表示用の画像データの生成、記録用の画像データの生成等の処理を行う。表示用の画像データ及び記録用の画像データは、ＲＡＷデータ（撮像部１６から出力された未加工の動画像データ）に対し所定の画像処理（いわゆる現像処理）を施して生成する。ここでの画像処理には、オフセット処理、ガンマ補正処理、デモザイク処理、ＲＧＢ／ＹＣｒＣｂ変換処理、ホワイトバランス処理等が含まれる。これらは公知の処理であるので、その詳細についての説明は省略する。また、ＣＰＵ２６は、画像処理部として、追尾ＡＦを行う際に、追尾対象の設定処理を行う。この点については、後述する。

ＣＰＵ２６が行う上記の各処理については、その一部又は全部をＣＰＵ２６の内部に設けたハードウェアで行う構成とすることもできる。

ＲＯＭ２８には、ＣＰＵ２６が実行するプログラム、及び、制御等に必要な各種データが格納される。なお、ＲＯＭ２８を構成するメモリには、Ｆｌａｓｈ Ｍｅｍｏｒｙを含むＥＥＰＲＯＭが含まれる。

ＲＡＭ３０は、ＣＰＵ２６が各種処理を行う際の作業領域として使用される。

［追尾ＡＦの機能］
図２は、追尾ＡＦを行う際にＣＰＵが実現する機能の一例を示すブロックである。

同図に示すように、ＣＰＵ２６は、追尾ＡＦを行う際、追尾対象設定部１００、追尾対象検出部１１０、フォーカスエリア設定部１１２、位相差検出部１１４及びフォーカスレンズ駆動制御部１１６等としての機能を実現する。

追尾対象設定部１００は、追尾対象を設定する。本実施の形態の撮像装置１０では、撮像部１６から逐次出力される画像データ（動画像における各フレームの画像データ）に基づいて、主要被写体を推定し、追尾対象に設定する。追尾対象設定部１００の詳細については後述する。

追尾対象検出部１１０は、撮像部１６から逐次出力される画像データ（動画像における各フレームの画像データ）から追尾対象を逐次検出する。検出は、追尾対象設定部１００で設定された被写体を対象に行われる。検出には、テンプレートマッチング等の公知の手法が採用される。

フォーカスエリア設定部１１２は、追尾対象検出部１１０の検出結果に基づいて、フォーカスエリアを設定する。具体的には、追尾対象検出部１１０で検出された追尾対象を含む矩形の領域をフォーカスエリアに設定する。

位相差検出部１１４は、フォーカスエリア設定部１１２で設定されたフォーカスエリア内の被写体の位相差を検出する。位相差検出部１１４は、撮像部１６から得られる画像データに基づいて、フォーカスエリア内の被写体の位相差を検出する。より具体的には、画像データから得られる位相差画素の信号に基づいて、フォーカスエリア内の被写体の位相差を検出する。

フォーカスレンズ駆動制御部１１６は、位相差検出部１１４による位相差の検出結果に基づいて、フォーカスレンズ駆動部１４Ａの駆動を制御する。具体的には、位相差の検出結果に基づいて、フォーカスエリア内の被写体に焦点を合わせるのに必要なフォーカスレンズ１２Ａの駆動量を算出し、算出した駆動量でフォーカスレンズ駆動部１４Ａを駆動する。

本実施の形態の撮像装置１０において、追尾対象検出部１１０、フォーカスエリア設定部１１２、位相差検出部１１４及びフォーカスレンズ駆動制御部１１６は、推定した追尾対象に焦点を合わせるようにフォーカスレンズを移動させて焦点調節を行う焦点調節部として機能する。

［追尾対象設定部］
上記のように、追尾対象設定部１００は、撮像部１６から逐次出力される画像データ（動画像における各フレームの画像データ）から主要被写体を推定し、追尾対象に設定する。本実施の形態の撮像装置１０において、追尾対象設定部１００は、画像処理装置の一例である。

図３は、追尾対象設定部が有する機能のブロック図である。

同図に示すように、追尾対象設定部１００は、動きベクトル算出部１００Ａ、追尾対象候補抽出部１００Ｂ、変化量算出部１００Ｃ及び追尾対象推定部１００Ｄの機能を有する。追尾対象推定部１００Ｄで推定された被写体が追尾対象に設定される。ＣＰＵ２４は、所定のプログラム（画像処理プログラム）を実行することにより、各機能を実現する。

動きベクトル算出部１００Ａは、撮像部１６から逐次出力される画像データ（動画像における各フレームの画像データ）を逐次処理し、画像内の動きベクトルを算出する。撮像部１６から逐次出力される画像データを逐次処理することで、動きベクトルは時系列順に算出される。本実施の形態の撮像装置１０では、画面をＭ×Ｎ（Ｍ、Ｎは２以上の整数）のブロックに分割し、ブロックごとに動きベクトルを算出する。以下、動きベクトルの算出方法について概説する。

図４は、撮像により得られる時系列の画像の一例を示す図である。同図において、（Ａ）は、ｎ－１フレーム目の画像、（Ｂ）は、ｎフレーム目の画像を表している。

同図は、画面右方向に向かって進む人物Ｏ１を追って撮像した場合の例を示している。画面内には、人物Ｏ１の他に人物Ｏ２及び木Ｏ３が存在し、人物Ｏ２は、画面左方向に向かって進んでいる。木Ｏ３は、静止物としての背景を便宜的に表したものである。

図５は、図４に示した時系列順の２つの画像を重畳して表示した画像である。同図では、ｎ－１フレーム目の画像を破線で表し、ｎフレーム目の画像を実線で表している。

２つの画像は、ブロック単位でブロックマッチングされ、各ブロックの相関関係から各ブロックの動きベクトルが算出される。すなわち、ｎ－１フレーム目の画像の各ブロックが、ｎフレーム目の画像のどのブロックに移動したかを求めることで、各ブロックの動きベクトルが算出される。

図６は、図４に示した時系列順の２つの画像から得られる動きベクトルの分布の一例を示す図である。同図は、各ブロックの動きベクトルを規格化して表している。

同図において、斜線で示す領域は、ｎフレーム目の画像において、動体である人物Ｏ１及び人物Ｏ２が存在する領域である。動体である人物Ｏ１及び人物Ｏ２が存在する領域のブロックは、背景のブロックと異なる動きベクトルを示す。また、動体である人物Ｏ１及び人物Ｏ２も、その動きが異なることから、異なる動きベクトルを示す。

追尾対象候補抽出部１００Ｂは、動きベクトルの算出結果に基づいて、追尾対象候補を抽出する。図６に示すように、同じ被写体が属するブロックは、ほぼ同じ動きベクトルが算出される。したがって、ほぼ同じ動きベクトルのブロックを一塊として抽出することで、追尾対象候補を抽出できる。追尾対象候補抽出部１００Ｂは、たとえば、隣接するブロック間で動きベクトルの差分が閾値以下のブロックを組み合わせて、追尾対象候補を抽出する。あるいは、クラスタリング処理を行って、追尾対象候補を抽出する。図６に示す例の場合、人物Ｏ１と、人物Ｏ２と、木Ｏ３を含む背景と、が追尾対象候補として抽出される。

変化量算出部１００Ｃは、各追尾対象候補の動きベクトルの変化量を算出する。変化量は、前後の動きベクトルの差分として算出される。すなわち、ｎフレーム目の動きベクトルをＶｎ、ｎ－１フレーム目の動きベクトルをＶｎ－１とすると、変化量ΔＶは、ΔＶ＝［Ｖｎ］－［Ｖｎ－１］で算出される。動きベクトルは、順次算出されるので、変化量も順次算出される。なお、各追尾対象候補の動きベクトルは、たとえば、追尾対象候補として抽出されたブロックの動きベクトルの平均として算出される。

追尾対象推定部１００Ｄは、変化量算出部１００Ｃで算出された各追尾対象候補の動きベクトルの変化量に基づいて、追尾対象候補の中から追尾対象を推定する。具体的には、動きベクトルの変化量の変化傾向に基づいて、追尾対象を推定する。より具体的には、動きベクトルの変化量が減少傾向にある追尾対象候補を追尾対象と推定する。特に、動きベクトルの変化量が、複数フレームに亘り減少している追尾対象候補を追尾対象と推定する。

ここで、動きベクトルの変化量が減少傾向にある被写体を追尾対象とする理由について説明する。

最初から動いている被写体を追尾して撮像する場合を考える。この場合、まず、ユーザは、追尾対象を画面内に捉える動作を行う。そして、追尾対象を画面内に捉えた後は、追尾対象の動きに合わせて撮像装置を動かす動作を行う。このような動作を行った場合、撮像される画像において、追尾対象の動きベクトルは漸次収束する。すなわち、追尾対象を捉えた後は、追尾対象の動きに追従して撮像装置を動かすので、相対的な動きは、ほぼなくなる。したがって、追尾対象の動きベクトルは漸次収束する。動きベクトルが漸次収束することから、追尾対象の動きベクトルの変化量は漸次減少する。したがって、動きベクトルの変化量が減少傾向にある被写体を抽出することで、追尾対象を推定できる。

図７は、追尾対象の動きベクトルの変化量の推移の一例を示すグラフである。同図において、縦軸は動きベクトルの変化量、横軸は時間である。

同図は、比較的動きの速い被写体を追尾対象とした場合の撮り初めからの動きベクトルの変化量の推移を示している。同図に示すように、追尾対象の動きベクトルの変化量は、撮り初めから漸次減少する傾向にある。特に、追いかけて撮像することから、変化量は凡そマイナスの値で推移して収束する。

図８は、背景の動きベクトルの変化量の推移の一例を示すグラフである。同図において、縦軸は動きベクトルの変化量、横軸は時間である。

同図に示すように、背景も、その動きベクトルの変化量は漸次収束する。しかし、背景は静止物であるため、追尾対象を追って撮像した場合、その動きベクトルの変化量は、プラスの値で推移して収束する。

このように、追尾対象と、それ以外とでは、動きベクトルの変化量の変動パターンが異なる。したがって、動きベクトルの変化量の変動パターンから追尾対象を推定できる。

上記のように、追尾対象は、動きベクトルの変化量が、凡そマイナスの値で推移して収束する。この場合、複数フレーム間での平均を取ると、その値はマイナスの値を示す。本実施の形態の撮像装置１０では、各追尾対象候補について、特定期間における動きベクトルの変化量の平均を算出し、算出した平均値に基づいて、追尾対象を推定する。具体的には、算出した平均値と閾値とを比較し、マイナス方向において閾値を超える被写体を追尾対象と推定する。なお、マイナス方向において閾値を超える被写体を追尾対象と推定するので、閾値はマイナスの値に設定される。特定期間は、あらかじめ定められた期間である。特定期間は、たとえば、あらかじめ定められたフレーム数分の撮像期間として設定される。

したがって、追尾対象推定部１００Ｄは、変化量算出部１００Ｃで算出された各追尾対象候補の動きベクトルの変化量の平均値を算出する処理、及び、算出した平均値に基づいて追尾対象を推定する処理を行う。平均値を算出する処理では、特定期間における平均値を算出する。算出した平均値に基づいて追尾対象を推定する処理では、閾値と比較する処理を行い、マイナス方向において閾値を超える追尾対象候補を抽出する処理を行う。抽出された追尾対象候補が追尾対象と推定される。最初の特定期間における平均値の算出結果から追尾対象を抽出できなかった場合、再度、平均値の算出処理が行われ、その算出結果に基づいて、追尾対象の抽出処理が行われる。すなわち、追尾対象が抽出されるまで、繰り返し処理が行われる。

図９は、追尾対象の設定処理の手順を示すフローチャートである。

まず、動きベクトルを算出する（ステップＳ１）。動きベクトルは、撮像部１６から逐次出力される画像データを逐次処理して算出する。したがって、動きベクトルは時系列順に算出される。

次に、算出された動きベクトルに基づいて、追尾対象候補の被写体を抽出する（ステップＳ２）。そして、算出した各追尾対象候補の動きベクトルの変化量を算出する（ステップＳ３）。上記のように、動きベクトルの変化量は、前後の動きベクトルの差分として算出される。

次に、算出した動きベクトルの変化量に関して、特定期間での平均値を算出する（ステップＳ４）。そして、算出した平均値に基づいて、追尾対象を抽出する（ステップＳ５）。具体的には、各追尾対象候補の動きベクトルの変化量の平均値と閾値とを比較し、マイナス方向において閾値を超える追尾対象候補を抽出し、追尾対象とする。この処理の結果、追尾対象を抽出できたか否かを判定する（ステップＳ６）。追尾対象が抽出できた場合は、抽出した被写体を追尾対象に設定する（ステップＳ７）。一方、追尾対象を抽出できなかった場合は、ステップＳ１に戻り、次の特定期間で、再度、追尾対象の抽出を行う。

なお、マイナス方向において閾値を超える追尾対象候補が複数抽出された場合は、追尾対象を抽出できなかったと判定される。すなわち、追尾対象を１つに絞れなかった場合は、追尾対象を抽出できなかったと判定される。したがって、この場合、次の特定期間で、再度、追尾対象の抽出が行われる。すなわち、最終的に１つに絞られるまで繰り返し追尾対象の推定処理が行われる。なお、この場合は、先の特定期間で追尾対象として抽出された追尾対象候補に限定して、追尾対象の推定処理を行う構成としてもよい。

このように、本実施の形態の撮像装置１０では、追尾対象を設定する際、追尾対象候補の動きベクトルの変化量に基づいて、追尾対象を推定する。これにより、最初から動いている被写体を追尾対象とする場合であっても、撮り初めから短時間で追尾対象を推定できる。すなわち、従来手法では、主要被写体（追尾対象）を推定するために、動きベクトルが一定の値に収束するのを待つ必要があるが、本実施の形態の撮像装置１０によれば、動きベクトルの収束を待たずに主要被写体（追尾対象）を推定できる。

［変形例］
［被写体の特性に応じた閾値又は特定期間の設定］
動きベクトルの変化量の平均値を算出するための期間としての特定期間、及び、追尾対象を推定するための閾値については、追尾対象とする被写体の特性に応じて最適化することで、より精度よく追尾対象を推定できる。以下、この点について説明する。

図１０は、追尾対象の動きベクトルの変化量の推移の他の一例を示すグラフである。同図において、縦軸は動きベクトルの変化量、横軸は時間である。

同図は、比較的動きの遅い被写体を追尾対象とした場合の撮り初めからの動きベクトルの変化量の推移を示している。追尾対象の動きが遅い場合、容易に追尾対象を捉えることができる。よって、この場合、同図に示すように、比較的早期に変化量が収束する。ただし、この場合も変化量は凡そマイナスの値で推移して収束する。

したがって、追尾対象とする被写体の動きの速さによって特定期間及び閾値を設定することで、より高精度に追尾対象を推定できる。具体的には、追尾対象とする被写体の動きが速くなるほど特定期間を長い期間に設定する。あるいは、閾値をよりマイナス方向に大きな値に設定する。

追尾対象とする被写体の動きの速さは、撮り初めの撮像装置の動きから推定できる。すなわち、動きの速い被写体は、その動きに合わせて短時間で撮像装置を大きく動かすので、撮り初めの撮像装置の動き量は大きくなる。したがって、撮像装置の動き量から追尾対象とする被写体の動きの速さを推定できる。

撮像装置の動き量から追尾対象とする被写体の動きの速さを推定できるので、撮像装置の動き量から閾値又は特定期間を最適化できる。具体的には、撮像装置の動き量が大きくなるほど、閾値をマイナス方向に大きな値に設定する。あるいは、撮像装置の動き量が大きくなるほど、特定期間を長く設定する。すなわち、平均値を算出するための期間を長くする。

たとえば、閾値については、閾値を２段階に設定し、撮像装置の動き量に応じて、使用する閾値を切り替える。具体的には、閾値として、第１閾値及び第２閾値を定める。第２閾値は、第１閾値よりもマイナス方向において小さな値に設定する。すなわち、よりゼロに近い値に設定する。撮像装置の動き量が基準値を超える場合、閾値を第１閾値に設定する。撮像装置の動き量が基準値を超える場合とは、撮像装置の動き量が比較的大きい場合である。そして、撮像装置の動き量が比較的大きい場合とは、追尾対象とする被写体の動きが比較的速い場合である。したがって、この場合は、より大きな閾値である第１閾値に設定する。一方、撮像装置の動き量が基準値以下の場合、閾値を第２閾値に設定する。撮像装置の動き量が基準値以下の場合とは、撮像装置の動き量が比較的小さい場合である。そして、撮像装置の動き量が比較的小さい場合とは、追尾対象とする被写体の動きが比較的遅い場合である。したがって、この場合は、より小さな閾値である第２閾値に設定する。これにより、追尾対象の特性（動きの速さ）に応じて、閾値を最適化できる。

特定期間についても、たとえば、特定期間の値を２段階に設定し、撮像装置の動き量に応じて、使用する特定期間を切り替える。具体的には、特定期間として、第１特定期間及び第２特定期間を定める。第２特定期間は、第１期間よりも短い期間に設定する。撮像装置の動き量が基準値を超える場合、特定期間を第１特定期間に設定する。上記のように、撮像装置の動き量が基準値を超える場合とは、撮像装置の動き量が比較的大きい場合であり、追尾対象とする被写体の動きが比較的速い場合である。したがって、この場合は、より長い期間である第１特定期間に設定する。一方、撮像装置の動き量が基準値以下の場合、特定期間を第２特定期間に設定する。上記のように、撮像装置の動き量が基準値以下の場合とは、撮像装置の動き量が比較的小さい場合であり、追尾対象とする被写体の動きが比較的遅い場合である。したがって、この場合は、より短い期間である第２特定期間に設定する。これにより、追尾対象の特性（動きの速さ）に応じて、特定期間を最適化できる。

［撮像装置の動き量の検出］
撮像装置の動き量に基づいて、使用する閾値又は特定期間を切り替える場合、撮像装置の動き量の情報を取得する必要がある。

撮像装置の動き量は、たとえば、撮像により得られた画像データから求めることができる。また、たとえば、本体の動き量を検出するセンサが備えられている場合には、そのセンサから出力される情報を利用することもできる。たとえば、撮像装置に手ブレ補正機能が備えられている場合には、ブレ検出センサから出力される情報を利用することができる。

［画像データからの検出］
ここでは、撮像により得られた画像データ（動画像における各フレームの画像データ）から撮像装置の動き量を求める場合について説明する。撮像により得られた画像データから撮像装置の動き量を求める場合、画像データから求めた動きベクトルの情報を利用できる。

図１１は、追尾対象設定部が有する機能のブロック図である。

同図は、動きベクトルを利用して撮像装置１０の動き量を求め、求めた動き量に応じて閾値を最適化する場合の一例を示している。

図１１に示すように、本例の追尾対象設定部１００は、動き量算出部１００Ｅ及び閾値設定部１００Ｆの機能を更に有する。

動き量算出部１００Ｅは、動きベクトル算出部１００Ａで算出された動きベクトルに基づいて、撮像装置１０の動き量を算出する。本例では、撮り初めから複数フレーム分の画面全体の動きベクトルの平均を算出し、その大きさを撮像装置の動き量とする。たとえば、撮り初めから３フレーム分の画面全体の動きベクトルの平均を算出し、算出した動きベクトルの大きさを撮像装置の動き量とする。画面全体の動きベクトルは、全ブロックの動きベクトルの平均として算出される。たとえば、１フレームの画面全体の動きベクトルＶ１の値が（ｘ１，ｙ１）、２フレームの画面全体の動きベクトルＶ２の値が（ｘ２，ｙ２）、３フレームの画面全体の動きベクトルＶ３の値が（ｘ３，ｙ３）であったとする。なお、ｘ１、ｘ２、ｘ３は、それぞれ動きベクトルＶ１、Ｖ２、Ｖ３のｘ方向成分であり、ｙ１、ｙ２、ｙ３は、それぞれ動きベクトルＶ１、Ｖ２、Ｖ３のｙ方向成分である。ｘ方向は、画面の横方向であり、ｙ方向は、画面の縦方向である。この場合、画面全体の動きベクトルの大きさの平均は、［（ｘ１＋ｘ２＋ｘ３）^２＋（ｙ１＋ｙ２＋ｙ３）^２］^１／２／３で算出される。たとえば、１フレームの画面全体の動きベクトルＶ１の値が（０，０）、２フレームの画面全体の動きベクトルＶ２の値が（１０，０）、３フレームの画面全体の動きベクトルＶ３の値が（１５，０）の場合、［（０＋１０＋１５）^２＋（０＋０＋０）^２］^１／２／３＝［（２５）^２＋（０）^２］^１／２／３≒８．３で算出される。

閾値設定部１００Ｆは、動き量算出部１００Ｅで算出された撮像装置１０の動き量の値に基づいて、閾値を設定する。本例では、動き量が基準値を超える場合、閾値を第１閾値に設定する。一方、動き量が基準値以下の場合、閾値を第２閾値に設定する。第２閾値は、第１閾値よりもマイナス方向において小さな値（よりゼロに近い値）に設定される。

このように、撮像により得られる画像データから撮像装置の動き量を求め、求めた動き量に応じて閾値を最適化できる。

なお、本例では、閾値を最適化する例で説明したが、特定期間についても同様の手法で最適化できる。

［センサを利用する方法］
上記のように、本体の動き量を検出するセンサが撮像装置に備えられている場合には、そのセンサを利用して、撮像装置の動き量の情報を取得することもできる。

図１２は、ブレ検出センサが備えられている場合に追尾対象設定部が有する機能のブロック図である。

撮像装置に手ブレ補正機能が備えられている場合、手ブレを検出するために、ブレ検出センサが備えられる。そして、このブレ検出センサが撮像装置に備えられている場合、ブレ検出センサの出力を利用して、撮像装置の動き量（ブレ量）を検出できる。

図１２に示すように、本例の追尾対象設定部１００には、ブレ検出センサ２００から出力される信号に基づいてブレ量を算出するブレ量算出部１００Ｇ、及び、ブレ量算出部１００Ｇで算出されたブレ量に基づいて閾値を設定する閾値設定部１００Ｆが更に備えられる。

ブレ検出センサ２００は、本来の用途として、手ブレの検出に使用するものであるが、本例では、これを追尾対象の設定にも使用する。ブレ検出センサ２００は、たとえば、ジャイロセンサで構成される。

ブレ量算出部１００Ｇは、ブレ検出センサ２００から出力される信号に基づいて、ブレ量を算出する。たとえば、ブレ検出センサ２００がジャイロセンサで構成される場合、センサから出力される角速度信号を積分し、ブレ量（角度信号）を算出する。算出したブレ量が、撮像装置の動き量とされる。

閾値設定部１００Ｆは、撮り初めに算出されたブレ量（動き量）に基づいて、閾値を設定する。本例では、動き量が基準値を超える場合、閾値を第１閾値に設定する。一方、動き量が基準値以下の場合、閾値を第２閾値に設定する。第２閾値は、第１閾値よりもマイナス方向において小さな値（よりゼロに近い値）に設定される。

このように、本体の動き量を検出するセンサが撮像装置に備えられている場合には、そのセンサを利用して、撮像装置の動き量の情報を取得し、閾値を最適化できる。

なお、本例では、閾値を最適化する例で説明したが、特定期間についても同様の手法で最適化できる。

また、本例では、ブレ検出センサを利用する場合を例に説明したが、本体の動き量を検出するセンサは、これに限定されるものではない。この他、たとえば、加速度センサを使用することもできる。

また、本例では、手ブレ補正用のブレ検出センサを流用する構成としているが、専用のセンサを設けてもよい。

［追尾対象の推定処理の開始タイミング］
上記のように、最初から動いている被写体を追尾して撮像する場合、ユーザは、まず、追尾対象を画面内に捉える動作を行う。この動作を行った際、撮像装置は大きく動かされる。すなわち、目的とする被写体を画面内に捉えるため、短時間で比較的大きく動かされる。したがって、撮像装置の動きをモニタすることで、追尾対象の推定処理を開始するタイミングを最適化できる。すなわち、適切なタイミングで追尾対象の推定処理を開始できる。具体的には、撮像装置の動き量をモニタし、規定値以上の動き量が検出された場合に、追尾対象の推定処理を開始する。

図１３は、追尾対象の推定処理を自動で開始する場合に追尾対象設定部が有する機能のブロック図である。

同図に示すように、開始判定部１００Ｈの機能が更に備えられる。開始判定部１００Ｈは、動き量算出部１００Ｅで算出された撮像装置１０の動き量の値に基づいて、追尾対象の推定処理を開始するタイミングを判定する。本例では、動き量が規定値を超えた場合に、追尾対象の推定処理を開始するタイミングであると判定する。なお、本例において、撮像装置１０の動き量は、画像データから検出される。

追尾対象推定部１００Ｄは、開始判定部１００Ｈが、追尾対象の推定処理を開始するタイミングと判定した場合に、推定処理を開始する。すなわち、特定期間を開始し、各追尾対象候補の動きベクトルの変化量の平均値を算出して、追尾対象を推定する。

図１４は、撮像装置の動き量に基づいて追尾対象の設定処理を開始する場合の処理の手順を示すフローチャートである。

まず、追尾ＡＦの機能がオンされているかが判定される（ステップＳ１１）。追尾ＡＦの機能がオンされている場合（ステップＳ１１が「Ｙｅｓ」の場合）、撮像装置１０の動き量の検出が開始される（ステップＳ１２）。そして、検出された動き量が規定値以上か否かが判定される（ステップＳ１３）。動き量が規定値以上の場合、追尾対象の推定処理が開始される（ステップＳ１４）。すなわち、追尾対象を捕捉する動作がユーザによって開始されたと判断されて、追尾対象の推定処理が開始される。一方、動き量が規定値未満の場合、追尾ＡＦの機能がオフされたか否かが判定される（ステップＳ１５）。追尾ＡＦの機能がオフされていない場合は、ステップＳ１２に戻り、再び撮像装置１０の動き量が検出される（ステップＳ１２）。一方、追尾ＡＦの機能がオフされた場合は処理を終了する。

このように、撮像装置１０の動き量を検出し、規定値以上の動き量が検出された場合に、追尾対象の推定処理を開始する。これにより、処理負荷を低減できる。また、誤認識も防止できる。

なお、本例は、撮像により得られた画像データに基づいて撮像装置１０の動き量を検出する場合を例に説明したが、装置本体の動き量を検出するセンサが備えられている場合には、当該センサを利用して、撮像装置１０の動き量を検出する構成としてもよい。

［手動による推定処理の開始指示及びキャンセル指示］
追尾対象の推定処理は、ユーザからの指示に応じて開始する構成とすることもできる。たとえば、ボタン操作によって、追尾対象の推定処理の開始を指示する構成にできる。この場合、たとえば、追尾対象の推定処理の開始を指示するボタンを装置本体に設ける。ユーザが、このボタンを押下すると、追尾対象の推定処理が開示される。

また、開始した追尾対象の推定処理は、ユーザからの指示に応じて強制的にキャンセルできる構成としてもよい。たとえば、ボタン操作によって、追尾対象の推定処理のキャンセルを指示する構成にできる。この場合、たとえば、追尾対象の推定処理のキャンセルを指示するボタンを装置本体に設ける。追尾対象の推定処理が開始された場合において、ユーザが、このボタンを押下すると、追尾対象の推定処理がキャンセルされる。

［画面表示］
表示部１８にライブビューを表示する場合において、追尾ＡＦを行う場合、追尾対象に設定された被写体を枠で囲って表示する構成とすることが好ましい。

また、追尾対象の推定処理を行う場合は、その処理過程で抽出された追尾対象候補の被写体を枠で囲って表示する構成とすることができる。この場合、最終的に追尾対象として設定された被写体を囲う枠と、追尾対象候補の被写体を囲う枠とを、異なる形態（色、明るさ、線種等）で表示することが好ましい。たとえば、追尾対象候補は白色の枠で囲い、追尾対象が確定した後は黄色の枠で囲う構成とすることができる。

［追尾対象候補の抽出］
上記実施の形態では、動きベクトルの検出結果に基づいて、追尾対象候補を抽出する構成としているが、追尾対象候補を抽出する構成は、これに限定されるものではない。公知の画像認識技術を利用して、追尾対象候補を抽出する構成とすることができる。たとえば、画像認識により動体を抽出する技術を利用し、抽出した動体を追尾対象候補とすることができる。また、たとえば、画像認識により、人物を抽出する技術（顔のみを抽出する場合を含む）を利用し、抽出した人物を追尾対象候補とすることができる。画像認識には、学習済みモデルを使用することができる。

［動きベクトルの算出］
上記実施の形態では、１画面を複数のブロックに分割し、ブロック単位で動きベクトルを算出する構成としているが、動きベクトルを算出する方法は、これに限定されるものではない。たとえば、上記のように、画像認識等を利用して追尾対象候補を抽出する場合、抽出した追尾対象候補の動きベクトルを直接算出する構成とすることもできる。

［焦点検出］
上記実施の形態では、位相差画素が組み込まれた撮像素子を用いて焦点検出（測距）する構成としているが、焦点検出の手段は、これに限定されるものではない。たとえば、専用の位相差ＡＦセンサを用いて焦点検出する構成としてもよい。この他、いわゆるアクティブ方式のＡＦセンサ（赤外線センサ、超音波センサなど）を用いて焦点検出する構成としてもよい。また、コントラスト方式により焦点検出する構成としてもよい。

［撮像装置］
本発明の撮像装置には、いわゆるデジタルカメラ、ビデオカメラ等の他、撮像以外の機能を有する装置に一体的に組み込まれた撮像装置も含まれる。たとえば、スマートフォン、パーソナルコンピュータ等に組み込まれた撮像装置も含まれる。

［プロセッサ］
画像処理装置（上記実施の形態では、追尾対象設定部が画像処理装置に相当）の各機能を実現するプロセッサには、汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

画像処理装置の各機能は、これら各種のプロセッサのうちの１つで実現されていてもよいし、同種又は異種の２つ以上のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で実現されてもよい。

また、画像処理装置の各機能を１つのプロセッサで実現してもよい。信号処理装置の各機能を１つのプロセッサで実現する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが、信号処理装置の各機能を実現する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳｏＣ）などに代表されるように、信号処理装置全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。

このように、画像処理装置の各機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

１０ 撮像装置
１２ 撮像光学系
１２Ａ フォーカスレンズ
１２Ｂ 絞り
１４ 撮像光学系駆動部
１４Ａ フォーカスレンズ駆動部
１４Ｂ 絞り駆動部
１６ 撮像部
１６Ａ 撮像素子
１８ 表示部
２０ 記憶部
２２ 接続部
２４ 操作部
２６ ＣＰＵ
２８ ＲＯＭ
３０ ＲＡＭ
１００ 追尾対象設定部
１００Ａ 動きベクトル算出部
１００Ｂ 追尾対象候補抽出部
１００Ｃ 変化量算出部
１００Ｄ 追尾対象推定部
１００Ｅ 動き量算出部
１００Ｆ 閾値設定部
１００Ｇ ブレ量算出部
１００Ｈ 開始判定部
１１０ 追尾対象検出部
１１２ フォーカスエリア設定部
１１４ 位相差検出部
１１６ フォーカスレンズ駆動制御部
２００ ブレ検出センサ
Ｏ１ 人物
Ｏ２ 人物
Ｏ３ 木
Ｓ１～Ｓ７ 追尾対象の設定処理の手順
Ｓ１１～Ｓ１５ 撮像装置の動き量に基づいて追尾対象の設定処理を開始する場合の処理の手順

Claims (14)

1. 撮像装置で撮像された動画像を処理する画像処理装置であって、
   プロセッサを備え、
   前記プロセッサは、
   特定期間内で前記動画像から動きベクトルを時系列順に算出する処理と、
   前記動きベクトルの変化量を時系列順に算出する処理と、
   前記特定期間内における前記動きベクトルの変化量の平均値を算出する処理と、
   前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定する処理と、
   を行う、
   画像処理装置。
2. 前記プロセッサは、前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記閾値を設定する処理を更に行う、
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記撮像装置の動き量が大きくなるほど前記閾値をマイナス方向に大きく設定する、
   請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記撮像装置の動き量が基準値を超える場合、前記閾値を第１閾値に設定し、前記撮像装置の動き量が前記基準値以下の場合、前記閾値を前記第１閾値よりもマイナス方向において小さい第２閾値に設定する、
   請求項３に記載の画像処理装置。
5. 前記プロセッサは、前記撮像装置の動き量に基づいて、前記特定期間を開始する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 撮像装置で撮像された動画像を処理する画像処理装置であって、
   プロセッサを備え、
   前記プロセッサは、
   特定期間内で前記動画像から動きベクトルを時系列順に算出する処理と、
   前記動きベクトルの変化量を時系列順に算出する処理と、
   前記動きベクトルの変化量に基づいて、追尾対象を推定する処理と、
   前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定する処理であって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定する処理と、
   を行う、
   画像処理装置。
7. 前記プロセッサは、前記撮像装置の動き量が基準値を超える場合、前記特定期間を第１特定期間に設定し、前記撮像装置の動き量が前記基準値以下の場合、前記特定期間を前記第１特定期間よりも短い第２特定期間に設定する、
   請求項６に記載の画像処理装置。
8. 前記プロセッサは、前記動画像に基づいて、前記撮像装置の動き量を算出する処理を更に行う、
   請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記撮像装置は、本体の動き量を検出するセンサを備え、
   前記プロセッサは、前記センサから前記撮像装置の動き量の情報を取得する処理を更に行う、
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 請求項１から９のいずれか１項に記載の画像処理装置と、
    推定した追尾対象に焦点を合わせるようにフォーカスレンズを移動させて焦点調節を行う焦点調節部と、
    を備えた撮像装置。
11. 撮像装置で撮像された動画像を処理する画像処理方法であって、
    特定期間内で前記動画像から動きベクトルを時系列順に算出するステップと、
    前記動きベクトルの変化量を時系列順に算出するステップと、
    前記特定期間内における前記動きベクトルの変化量の平均値を算出するステップと、
    前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定するステップと、
    を含む、
    画像処理方法。
12. 撮像装置で撮像された動画像を処理する画像処理方法であって、
    特定期間内で前記動画像から動きベクトルを時系列順に算出するステップと、
    前記動きベクトルの変化量を時系列順に算出するステップと、
    前記動きベクトルの変化量に基づいて、追尾対象を推定するステップと、
    前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定するステップであって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定するステップと、
    を含む、
    画像処理方法。
13. 撮像装置で撮像された動画像を処理する画像処理プログラムであって、
    特定期間内で前記動画像から動きベクトルを時系列順に算出する機能と、
    前記動きベクトルの変化量を時系列順に算出する機能と、
    前記特定期間内における前記動きベクトルの変化量の平均値を算出する機能と、
    前記動きベクトルの変化量の平均値が、マイナス方向において閾値を超える被写体を追尾対象と推定する機能と、
    をコンピュータに実現させる画像処理プログラム。
14. 撮像装置で撮像された動画像を処理する画像処理プログラムであって、
    特定期間内で前記動画像から動きベクトルを時系列順に算出する機能と、
    前記動きベクトルの変化量を時系列順に算出する機能と、
    前記動きベクトルの変化量に基づいて、追尾対象を推定する機能と、
    前記動画像を撮像した際の前記撮像装置の動き量に基づいて、前記特定期間を設定する機能であって、前記撮像装置の動き量が大きくなるほど前記特定期間を長く設定する機能と、
    をコンピュータに実現させる画像処理プログラム。

Images