JP2013126199A - 動き検出装置 - Google Patents

Abstract

【構成】前処理回路２０は、イメージセンサ１６から出力された生画像データを繰り返し取り込む。動き検出回路２８およびＣＰＵ３０は、取り込まれた生画像データのうち撮像面に割り当てられた複数の微小エリアの各々に属する部分画像データに基づいて、撮像面で捉えられたシーンの動きつまり手振れを表す全体動きベクトルを繰り返し検出する。ＣＰＵ３０は、検出された全体動きベクトルに基づいて将来の手振れを予測し、予測された動きが増大するほどエリアサイズが増大しかつエリア数が減少するように微小ブロックの割り当て態様を調整する。
【効果】動き検出性能が向上する。
【選択図】図２

Description

この発明は、動き検出装置に関し、特にビデオカメラに適用され、撮像装置から出力された電子画像を参照して撮像面で捉えられたシーンの動きを検出する、動き検出装置に関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、映像のブレを表す動きベクトル情報に基づいて検出エリアの位置が補正される。これによって、ＡＦ制御なとの各種機能を正常に動作させることができる。

特開２００２−１０１３０号公報

しかし、背景技術では、動きベクトル情報に基づいて補正されるのは検出エリアの位置に留まるため、動き検出性能に限界がある。

それゆえに、この発明の主たる目的は、動き検出性能を高めることができる、動き検出装置を提供することである。

この発明に従う動き検出装置(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段(20)、取り込み手段によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリア(SBK, SBK, …)の各々に属する部分画像に基づいてシーンの動きを繰り返し検出する検出手段(28, S23~S27)、検出手段によって検出された動きに基づいてシーンの動きを予測する予測手段(S33)、および予測手段によって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する調整手段(S35~S39)を備える。

好ましくは、調整手段はエリアサイズの増大に応じてエリア数が減少するように割り当て態様を調整する。

好ましくは、複数のエリアによって覆われる領域のサイズが調整手段の処理に関係なく共通するように複数のエリアを撮像面に割り当てる割り当て手段(RGST2)がさらに備えられる。

好ましくは、複数のエリアの各々は代表点を有し、検出手段は代表点に対応する画素と周辺画素との間の明るさの相違を複数のエリアにそれぞれ対応する複数の画像の各々から検出する相違検出手段(74~80)を含む。

さらに好ましくは、検出手段は複数のエリアにそれぞれ対応する複数の画像の各々を代表点を基点として複数の部分画像に分割する分割手段(64)をさらに含み、相違検出手段は分割手段によって分割された複数の部分画像にそれぞれ対応する複数の相違検出処理を並列的に実行する。

好ましくは、取り込み手段によって取り込まれた電子画像のうち抽出エリア(EX)に属する一部の電子画像を抽出する抽出手段(36)、および検出手段によって検出された動きが補償されるように抽出エリアの位置を調整する調整手段(S31)がさらに備えられる。

この発明に従う動き検出プログラムは、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段(20)を備える動き検出装置(10)のプロセッサ(30)に、取り込み手段によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリア(SBK, SBK, …)の各々に属する部分画像に基づいてシーンの動きを繰り返し検出する検出ステップ(S23~S27)、検出ステップによって検出された動きに基づいてシーンの動きを予測する予測ステップ(S33)、および予測ステップによって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する調整ステップ(S35~S39)を実行させるための、動き検出プログラムである。

この発明に従う動き検出方法は、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段(20)を備える動き検出装置(10)によって実行される動き検出方法であって、取り込み手段によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリア(SBK, SBK, …)の各々に属する部分画像に基づいてシーンの動きを繰り返し検出する検出ステップ(S23~S27)、検出ステップによって検出された動きに基づいてシーンの動きを予測する予測ステップ(S33)、および予測ステップによって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する調整ステップ(S35~S39)を備える。

この発明に従う外部制御プログラムは、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段(20)、およびメモリ(48)に保存された内部制御プログラムに従う処理を実行するプロセッサ(30)を備える動き検出装置(10)に供給される外部制御プログラムであって、取り込み手段によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリア(SBK, SBK, …)の各々に属する部分画像に基づいてシーンの動きを繰り返し検出する検出ステップ(S23~S27)、検出ステップによって検出された動きに基づいてシーンの動きを予測する予測ステップ(S33)、および予測ステップによって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する調整ステップ(S35~S39)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う動き検出装置(10)は、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段(20)、外部制御プログラムを取得する取得手段(86)、および取得手段によって取得された外部制御プログラムとメモリ(48)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(30)を備える動き検出装置であって、取り込み手段によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリア(SBK, SBK, …)の各々に属する部分画像に基づいてシーンの動きを繰り返し検出する検出ステップ(S23~S27)、検出ステップによって検出された動きに基づいてシーンの動きを予測する予測ステップ(S33)、および予測ステップによって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する調整ステップ(S35~S39)を内部制御プログラムと協働して実行するプログラムに相当する。

この発明によれば、予測された動きが増大するほどエリアサイズを増大させることで、動き量の増大に起因して動き検出が不能となる事態が回避される。また、予測された動きが減少するほどエリアサイズを減少させることで、微小な動きに対する検出精度が向上する。こうして、動き検出性能の向上が図られる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 複数の動き検出ブロックおよび単一の抽出エリアを撮像面に割り当てた状態の一例を示す図解図である。 手振れ補正動作の一例を示す図解図である。 図１実施例に適用される動き検出回路の構成の一例を示すブロック図である。 （Ａ）は動き検出ブロックの構成の一例を示す図解図であり、（Ｂ）は微小ブロックの構成の一例を示す図解図である。 （Ａ）は動き検出ブロックの構成の他の一例を示す図解図であり、（Ｂ）は微小ブロックの構成の他の一例を示す図解図である。 図５実施例に適用される動き情報作成回路の構成の一例を示すブロック図である。 図８実施例に適用される分配器の動作の一例を示す図解図である。 図８実施例の動作の一部を示す図解図である。 図８実施例の動作の他の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の動き検出装置は、基本的に次のように構成される。取り込み手段１は、撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む。検出手段２は、取り込み手段１によって取り込まれた電子画像のうち撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいてシーンの動きを繰り返し検出する。予測手段３は、検出手段２によって検出された動きに基づいてシーンの動きを予測する。調整手段４は、予測手段３によって予測された動きが増大するほどエリアサイズが増大するように複数のエリアの割り当て態様を調整する。

予測された将来の動きが増大するほどエリアサイズを増大させることで、動き量の増大に起因して動き検出が不能となる事態が回避される。また、予測された将来の動きが減少するほどエリアサイズを減少させることで、微小な動きに対する検出精度が向上する。こうして、動き検出性能の向上が図られる。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ２０ａおよび２０ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。シーンを表す光学像は、これらの部材を通してイメージセンサ１６の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。したがって、各画素では、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する電荷が光電変換によって生成される。

電源が投入されると、ＣＰＵ３０は、動画取り込み処理を実行するべくドライバ１８ｃを起動する。ドライバ１８ｃは、１／６０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、シーンを表す生画像データが６０ｆｐｓのフレームレートで出力される。

前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施し、処理後の生画像データをメモリ制御回路３２を通してＳＤＲＡＭ３４の生画像エリア３４ａに書き込む。前処理回路２０から出力された生画像データに対応するシーンが図３に示す広がりを有するとき、抽出エリアＥＸは同じ図３に示す要領でこのシーンに割り当てられる。レジスタＲＧＳＴ１には、このような抽出エリアＥＸの属性（属性：サイズおよび位置、以下同じ）が記述される。

後処理回路３６は、レジスタＲＧＳＴ１を参照して抽出エリアＥＸの属性を検出し、生画像エリア３４ａに格納された生画像データのうち抽出エリアＥＸに属する一部の生画像データをメモリ制御回路３２を通して１／６０秒毎に読み出し、そして読み出された生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施す。この結果、ＹＵＶ形式に対応する画像データが１／６０秒毎に作成される。作成された画像データは、メモリ制御回路３２を通してＳＤＲＡＭ３４のＹＵＶ画像エリア３４ｂに書き込まれる。

ＬＣＤドライバ３８は、ＹＵＶ画像エリア３４ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４０を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

簡易Ｙ生成回路２２は、前処理回路２０から出力された生画像データを簡易的にＹデータに変換する。変換されたＹデータは、ＡＦ評価回路２４，ＡＥ評価回路２６および動き検出回路２８に与えられる。

ＡＦ評価回路２４は、簡易Ｙ生成回路２２から出力されたＹデータのうち評価エリア（図示せず）に属する一部のＹデータの高周波成分を１／６０秒毎に積分し、積分値つまりフォーカス評価値をＣＰＵ３０に与える。ＣＰＵ３０は、与えられたフォーカス評価値に基づいていわゆるコンティニュアスＡＦ処理を実行し、フォーカスレンズ１２を合焦点に配置する。この結果、ＬＣＤモニタ４０から出力される動画像の鮮鋭度が継続的に向上する。

ＡＥ評価回路２６は、簡易Ｙ生成回路２２から出力されたＹデータのうち評価エリアに属する一部のＹデータを１／６０秒毎に積分し、積分値つまり輝度評価値を出力する。ＣＰＵ３０は、ＡＥ評価回路２６から出力された輝度評価値に基づいて適正露光量が得られるＥＶ値を算出し、算出されたＥＶ値を定義する絞り量および露光時間をドライバ１８ｂおよび１８ｃにそれぞれ設定する。この結果、ＬＣＤモニタ４０から出力される動画像の明るさが適度に調整される。

キー入力装置４６に向けて記録開始操作が行われると、ＣＰＵ３０は、記録処理を開始するべく、撮像タスクの下でメモリＩ／Ｆ４２を起動する。メモリＩ／Ｆ４２は、ＹＵＶ画像エリア３４ｂに格納された画像データを１／６０秒毎に読み出し、読み出された画像データを記録媒体４４内の動画ファイルに圧縮状態で書き込む。メモリＩ／Ｆ４２は、キー入力装置４６に向けて記録終了操作が行われたときにＣＰＵ３０によって停止される。この結果、画像データの記録処理が終了される。

上述のように、前処理回路２０から出力された生画像データに対応するシーンは図３に示す広がりを有し、９つの動き検出ブロックＭＤ＿１〜ＭＤ＿９がシーンに追加的に割り当てられる。レジスタＲＧＳＴ２には、このような動き検出ブロックＭＤ＿１〜ＭＤ＿９の属性が記述される。

図３によれば、動き検出ブロックＭＤ＿１〜ＭＤ＿３はシーンの上段に水平方向に並ぶように配置され、動き検出ブロックＭＤ＿４〜ＭＤ＿６はシーンの中段に配置され、そして動き検出ブロックＭＤ＿７およびＭＤ＿９はシーンの下段に水平方向に並ぶように配置される。

動き検出回路２８は、動き検出ブロックＭＤ＿１〜ＭＤ＿９の各々におけるシーンの動き情報を簡易Ｙ生成回路２２から出力されたＹデータに基づいて１／６０秒毎に検出し、検出された動き情報をＣＰＵ３０に与える。ＣＰＵ３０は、手振れ補正タスクの下で、次のような処理を実行する。

つまり、ＣＰＵ３０は、与えられた動き情報に基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを作成された全体動きベクトルに基づいて判別する。撮像面の動きが手振れに起因する場合、ＣＰＵ３０は、全体動きベクトルが補償される位置に抽出エリアＥＸが割り当てられるように、レジスタＲＳＧＴ１の記述を更新する。したがって、撮像面に手振れが生じたとき、抽出エリアＥＸは図４に示す要領で撮像面上を移動する。この結果、ＬＣＤモニタ４０から出力される動画像の手振れが抑制される。

動き検出回路２８は、図５に示すように構成される。生画像データはラスタ走査態様でイメージセンサ１６から出力されるため、Ｙデータもまたラスタ走査態様で動き検出回路２８に入力される。入力されたＹデータは、フィルタ５０によるノイズ除去処理を経て、Ｙ＿Ｌデータとして分配器５２に与えられる。

分配器５２は、レジスタＲＧＳＴ２を参照して動き検出ブロックＭＤ＿１〜ＭＤ＿９の属性を検出し、Ｙ＿Ｌデータを動き情報作成回路５４〜５８に分配する。動き検出ブロックＭＤ＿１，ＭＤ＿４およびＭＤ＿７に属するＹ＿Ｌデータは動き情報作成回路５４に与えられ、動き検出ブロックＭＤ＿２，ＭＤ＿５およびＭＤ＿８に属するＹ＿Ｌデータは動き情報作成回路５６に与えられ、そして動き検出ブロックＭＤ＿３，ＭＤ＿６およびＭＤ＿９に属するＹ＿Ｌデータは動き情報作成回路５８に与えられる。

動き情報作成回路５４は、動き検出ブロックＭＤ＿１で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿１（後述）を動き検出ブロックＭＤ＿１の動き情報として出力し、動き検出ブロックＭＤ＿４で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿４（後述）を動き検出ブロックＭＤ＿４の動き情報として出力し、そして動き検出ブロックＭＤ＿７で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿７（後述）を動き検出ブロックＭＤ＿７の動き情報として出力する。

動き情報作成回路５６は、動き検出ブロックＭＤ＿２で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿２（後述）を動き検出ブロックＭＤ＿２の動き情報として出力し、動き検出ブロックＭＤ＿５で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿５（後述）を動き検出ブロックＭＤ＿５の動き情報として出力し、そして動き検出ブロックＭＤ＿８で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿８（後述）を動き検出ブロックＭＤ＿８の動き情報として出力する。

動き情報作成回路５８は、動き検出ブロックＭＤ＿３で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿３（後述）を動き検出ブロックＭＤ＿３の動き情報として出力し、動き検出ブロックＭＤ＿６で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿６（後述）を動き検出ブロックＭＤ＿６の動き情報として出力し、そして動き検出ブロックＭＤ＿９で捉えられたシーンの動きに注目して最小相関値ＭＩＮ＿９（後述）を動き検出ブロックＭＤ＿９の動き情報として出力する。

図６（Ａ）および図７（Ａ）を参照して、動き検出ブロックＭＤ＿１〜ＭＤ＿９の各々は、４８個（＝水平８個×垂直６個）または１２個（＝水平４個×垂直３個）の微小ブロックＳＢＫ，ＳＢＫ，…によって形成される。微小ブロックＳＢＫは水平辺および垂直辺を有する矩形ブロックに相当し、かつシーンを表す画像の水平方向および垂直方向に沿って配列される。また、図６（Ｂ）および図７（Ｂ）を参照して、各々の微小ブロックＳＢＫは４０９６画素（＝水平６４画素×垂直６４画素）または１６３８４画素（＝水平１２８画素×垂直１２８画素）によって形成される。また、各微小ブロックＳＢＫの中央には単一の代表画素（＝代表点）が設けられる。

ＣＰＵ３０は、過去に作成された全体動きベクトルに基づいて将来の撮像面の動きつまり将来の手振れを予測する。図６（Ａ）〜図６（Ｂ）に示すブロック配置は、予測された動き量が基準値ＲＥＦ未満のときにレジスタＲＧＳＴ２に設定される。また、図６（Ａ）〜図６（Ｂ）に示すブロック配置は、予測された動き量が基準値ＲＥＦ以上のときにレジスタＲＧＳＴ２に設定される。なお、微小ブロックＳＢＫ，ＳＢＫ，…の広がりは図６（Ａ）〜図６（Ｂ）および図７（Ａ）〜図７（Ｂ）の間で共通し、動き検出ブロックＭＤ＿１〜ＭＤ＿９の属性は固定的である。

動き情報作成回路５４〜５８の各々は、図８に示すように構成される。Ｙ＿Ｌデータは、画素抽出回路６０および分配器６４に与えられる。

画素抽出回路６０は、レジスタＲＧＳＴ２を参照して図６（Ａ）に示す４８個の代表画素または図７（Ａ）に示す１２個の代表画素を特定し、特定された代表画素のＹ＿Ｌデータを微小ブロックＳＢＫ，ＳＢＫ，…から抽出する。抽出されたＹ＿Ｌデータは、代表画素メモリ６２に書き込まれる。

一方、分配器６４は、レジスタＲＧＳＴ２を参照して特定した微小ブロックＳＢＫ，ＳＢＫ，ＳＢＫ，…の各々に代表画素を原点とする水平軸および垂直軸を定義し、第１象限〜第４象限に属するＹデータをメモリ６６〜７２に分配する。図９に示すように、第１象限のＹ＿Ｌデータはメモリ６６に書き込まれ、第２象限のＹ＿Ｌデータはメモリ６８に書き込まれ、第３象限のＹ＿Ｌデータはメモリ７０に書き込まれ、そして第４象限のＹ＿Ｌデータはメモリ７２に書き込まれる。つまり、各々の微小ブロックＳＢＫに対応する画像は、代表画素を基点として４つの部分画像に分割される。

差分絶対値算出回路７４〜８０は、微小ブロックＳＢＫ，ＳＢＫ，…の各々に対応して、メモリ６６〜７２に記憶された現フレームの各画素のＹ＿Ｌデータ値と代表画素メモリ６２に記憶された前フレームの代表画素のＹ＿Ｌデータ値との差分絶対値を算出する。

差分絶対値算出回路７４からは第１象限に属する各画素のＹ＿Ｌデータ値と代表画素のＹ＿Ｌデータ値との差分絶対値が出力され、差分絶対値算出回路７６からは第２象限に属する各画素のＹ＿Ｌデータ値と代表画素のＹ＿Ｌデータ値との差分絶対値が出力される。同様に、差分絶対値算出回路７８からは第３象限に属する各画素のＹ＿Ｌデータ値と代表画素のＹ＿Ｌデータ値との差分絶対値が出力され、差分絶対値算出回路８０からは第４象限に属する各画素のＹ＿Ｌデータ値と代表画素のＹ＿Ｌデータ値との差分絶対値が出力される。

動き検出ブロックＭＤ＿１〜ＭＤ＿９の各々が４８個の微小ブロックＳＢＫ，ＳＢＫ，…によって構成されるとき、各々の微小ブロックＳＢＫは水平６４画素×垂直６４画素によって構成される（図６（Ａ）〜図６（Ｂ）参照）。この場合、座標（１，１）〜（６４，６４）の各々の画素に対応して、４８個の差分絶対値が取得される。

また、動き検出ブロックＭＤ＿１〜ＭＤ＿９の各々が１２個の微小ブロックＳＢＫ，ＳＢＫ，…によって構成されるとき、各々の微小ブロックＳＢＫは水平１２８画素×垂直１２８画素によって構成される（図７（Ａ）〜図７（Ｂ）参照）。この場合、座標（１，１）〜（１２８，１２８）の各々の画素に対応して、１２個の差分絶対値が取得される。

図８に示す相関値算出回路８２は、図１０に示すブロック配置に対応して、座標（１，１）に配置された画素に対応する４８個の差分絶対値の総和を相関値ＣＲ（１，１）として算出し、座標（１，２）に配置された画素に対応する４８個の差分絶対値の総和を相関値ＣＲ（１，２）として算出する。同様にして、相関値算出回路８２は、座標（６４，６４）に配置された画素に対応する４８個の差分絶対値の総和を相関値ＣＲ（６４，６４）として算出する。

相関値算出回路８２はまた、図１１に示すブロック配置に対応して、座標（１，１）に配置された画素に対応する１２個の差分絶対値の総和を相関値ＣＲ（１，１）として算出し、座標（１，２）に配置された画素に対応する１２個の差分絶対値の総和を相関値ＣＲ（１，２）として算出する。同様にして、相関値算出回路８２は、座標（１２８，１２８）に配置された画素に対応する１２個の差分絶対値の総和を相関値ＣＲ（１２８，１２８）として算出する。

最小相関値抽出回路８４は、こうして算出された相関値ＣＲ（１，１）〜ＣＲ（６４，６４）または相関値ＣＲ（１，１）〜ＣＲ（１２８，１２８）の中から最小値を示す相関値を抽出し、抽出された相関値を最小相関値ＭＩＮ＿Ｎ（Ｎ：１〜９のいずれか）として出力する。

ＣＰＵ３０は、図１２に示す動画撮像タスク，図１３〜図１４に示す手振れ補正タスクを含む複数のタスクをマルチタスクＯＳの下で並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４８に記憶される。

図１２を参照して、ステップＳ１では動画取り込み処理を実行し、ステップＳ３ではコンティニュアスＡＦタスクを起動する。ステップＳ１の処理によってスルー画像がＬＣＤモニタ４２から出力され、ステップＳ３の処理によってフォーカスが連続的に調整される。ステップＳ５では記録開始操作が行われたか否かを判別し、ＮＯである限りステップＳ７のＡＥ処理を繰り返す。これによって、露光量が適度に調整される。記録開始操作が行わるとステップＳ９に進み、記録処理を開始するべくメモリＩ／Ｆ４２を起動する。ステップＳ１１では記録終了操作が行われたか否かを判別し、ＮＯである限りステップＳ１３のＡＥ処理を繰り返す。記録終了操作が行われるとステップＳ１５に進み、記録処理を終了するべくメモリＩ／Ｆ４２を停止する。ステップＳ１５の処理が完了すると、ステップＳ５に戻る。

図１３を参照して、ステップＳ２１では図６（Ａ）〜図６（Ｂ）に示すブロック配置をレジスタＲＧＳＴ２に設定する。この結果、相関値ＣＲ（１，１）〜ＣＲ（６４，６４）が図１０に示す要領で相関値算出回路８２から出力される。

ステップＳ２３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。ＹＥＳであれば、ステップＳ２５で動き検出回路２６から最小相関値ＭＩＮ＿１〜ＭＩＮ＿９を取り込む。ステップＳ２７では、取り込まれた最小相関値ＭＩＮ＿１〜ＭＩＮ＿９に基づいて全体動きベクトルを作成する。続くステップＳ２９では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ２３に戻り、ＮＯであればステップＳ３１に進む。ステップＳ３１では、ステップＳ２７で作成された全体動きベクトルが補償される位置に抽出エリアＥＸが配置されるように、レジスタＲＧＳＴ１の記述を更新する。

ステップＳ３３では、ステップＳ２７で作成された全体動きベクトルの履歴に基づいて将来の動きベクトルを予測する。ステップＳ３５では、予測された動きベクトルの量が基準値ＲＥＦ未満であるか否かを判別し、判別結果がＹＥＳであればステップＳ３７に進む一方、判別結果がＮＯであればステップＳ３９に進む。

ステップＳ３７では図６（Ａ）〜図６（Ｂ）に示すブロック配置をレジスタＲＧＳＴ２に設定し、ステップＳ３９では図７（Ａ）〜図７（Ｂ）に示すブロック配置をレジスタＲＧＳＴ２に設定する。ステップＳ３７の処理が実行されたときは、相関値ＣＲ（１，１）〜ＣＲ（６４，６４）が図１０に示す要領で相関値算出回路８２から出力される。また、ステップＳ３９の処理が実行されたときは、相関値ＣＲ（１，１）〜ＣＲ（１２８，１２８）が図１１に示す要領で相関値算出回路８２から出力される。ステップＳ３７またはＳ３９の処理が完了すると、ステップＳ２３に戻る。

以上の説明から分かるように、前処理回路２０は、イメージセンサ１６から出力された生画像データを繰り返し取り込む。動き検出回路２８およびＣＰＵ３０は、取り込まれた生画像データのうち撮像面に割り当てられた微小エリアＳＢＫ，ＳＢＫ，…の各々に属する部分画像データに基づいて、撮像面で捉えられたシーンの動きつまり手振れを表す全体動きベクトルを繰り返し検出する(S23~S27)。ＣＰＵ３０は、検出された全体動きベクトルに基づいて将来の手振れを予測し(S33)、予測された動きが増大するほどエリアサイズが増大しかつエリア数が減少するように微小ブロックＳＢＫ，ＳＢＫ，…の割り当て態様を調整する(S35~S39)。

予測された将来の動きが増大するほどエリアサイズを増大させることで、動き量の増大に起因して動き検出が不能となる事態が回避される。また、予測された将来の動きが減少するほどエリアサイズを減少させることで、微小な動きに対する検出精度が向上する。また、エリアサイズの増大に応じてエリア数を減少させることで、動き検出に掛かる負荷の変動が抑制される。こうして、動き検出性能の向上が図られる。

なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４８に予め記憶される。しかし、図１５に示すように通信Ｉ／Ｆ８６をディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４８に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ３０によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２０ …前処理回路
２８ …動き検出回路
３０ …ＣＰＵ
５４，５６，５８ …動き情報作成回路
６４ …分配器
７４，７６，７８，８０ …差分絶対値算出回路
８２ …相関値算出回路
８４ …最小相関値抽出回路

Claims (10)

1. 撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段、
   前記取り込み手段によって取り込まれた電子画像のうち前記撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいて前記シーンの動きを繰り返し検出する検出手段、
   前記検出手段によって検出された動きに基づいて前記シーンの動きを予測する予測手段、および
   前記予測手段によって予測された動きが増大するほどエリアサイズが増大するように前記複数のエリアの割り当て態様を調整する調整手段を備える、動き検出装置。
2. 前記調整手段は前記エリアサイズの増大に応じてエリア数が減少するように前記割り当て態様を調整する、請求項１記載の動き検出装置。
3. 前記複数のエリアによって覆われる領域のサイズが前記調整手段の処理に関係なく共通するように前記複数のエリアを前記撮像面に割り当てる割り当て手段をさらに備える、請求項１または２記載の動き検出装置。
4. 前記複数のエリアの各々は代表点を有し、
   前記検出手段は前記代表点に対応する画素と周辺画素との間の明るさの相違を前記複数のエリアにそれぞれ対応する複数の画像の各々から検出する相違検出手段を含む、請求項１ないし３のいずれかに記載の動き検出装置。
5. 前記検出手段は前記複数のエリアにそれぞれ対応する複数の画像の各々を前記代表点を基点として複数の部分画像に分割する分割手段をさらに含み、
   前記相違検出手段は前記分割手段によって分割された複数の部分画像にそれぞれ対応する複数の相違検出処理を並列的に実行する、請求項４記載の動き検出装置。
6. 前記取り込み手段によって取り込まれた電子画像のうち抽出エリアに属する一部の電子画像を抽出する抽出手段、および
   前記検出手段によって検出された動きが補償されるように前記抽出エリアの位置を調整する調整手段をさらに備える、請求項１ないし５のいずれかに記載の動き検出装置。
7. 撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段を備える動き検出装置のプロセッサに、
   前記取り込み手段によって取り込まれた電子画像のうち前記撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいて前記シーンの動きを繰り返し検出する検出ステップ、
   前記検出ステップによって検出された動きに基づいて前記シーンの動きを予測する予測ステップ、および
   前記予測ステップによって予測された動きが増大するほどエリアサイズが増大するように前記複数のエリアの割り当て態様を調整する調整ステップを実行させるための、動き検出プログラム。
8. 撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段を備える動き検出装置によって実行される動き検出方法であって、
   前記取り込み手段によって取り込まれた電子画像のうち前記撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいて前記シーンの動きを繰り返し検出する検出ステップ、
   前記検出ステップによって検出された動きに基づいて前記シーンの動きを予測する予測ステップ、および
   前記予測ステップによって予測された動きが増大するほどエリアサイズが増大するように前記複数のエリアの割り当て態様を調整する調整ステップを備える、動き検出方法。
9. 撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える動き検出装置に供給される外部制御プログラムであって、
   前記取り込み手段によって取り込まれた電子画像のうち前記撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいて前記シーンの動きを繰り返し検出する検出ステップ、
   前記検出ステップによって検出された動きに基づいて前記シーンの動きを予測する予測ステップ、および
   前記予測ステップによって予測された動きが増大するほどエリアサイズが増大するように前記複数のエリアの割り当て態様を調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. 撮像面で捉えられたシーンを表す電子画像を繰り返し取り込む取り込み手段、
    外部制御プログラムを取得する取得手段、および
    前記取得手段によって取得された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える動き検出装置であって、
    前記取り込み手段によって取り込まれた電子画像のうち前記撮像面に割り当てられた複数のエリアの各々に属する部分画像に基づいて前記シーンの動きを繰り返し検出する検出ステップ、
    前記検出ステップによって検出された動きに基づいて前記シーンの動きを予測する予測ステップ、および
    前記予測ステップによって予測された動きが増大するほどエリアサイズが増大するように前記複数のエリアの割り当て態様を調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、動き検出装置。

Images