JP2010288003A - 動き検出装置 - Google Patents

動き検出装置 Download PDF

Info

Publication number
JP2010288003A
JP2010288003A JP2009139250A JP2009139250A JP2010288003A JP 2010288003 A JP2010288003 A JP 2010288003A JP 2009139250 A JP2009139250 A JP 2009139250A JP 2009139250 A JP2009139250 A JP 2009139250A JP 2010288003 A JP2010288003 A JP 2010288003A
Authority
JP
Japan
Prior art keywords
motion
motion detection
object scene
scene image
representative point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009139250A
Other languages
English (en)
Inventor
Toru Yamamoto
徹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009139250A priority Critical patent/JP2010288003A/ja
Priority to US12/797,981 priority patent/US8270673B2/en
Publication of JP2010288003A publication Critical patent/JP2010288003A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【構成】指定解像度を有する被写界像は、分配器64によって繰り返し取り込まれる。レジスタRGST2は、代表点を各々が有する複数の微小ブロックを、指定解像度の大きさに応じて異なる重複量を有する態様で被写界像に割り当てる。分配器64は、複数の微小ブロックにそれぞれ対応する複数の画像の各々を、代表点を基点として複数の部分画像に分割する。差分絶対値算出回路74〜80は、代表点に対応する画素と周辺画素との間の明るさの相違を表す差分絶対値を、分割された複数の部分画像から算出する。最小相関値抽出回路84は、被写界像の動き情報に相当する最小相関値MIN_Nを、算出された差分絶対値に基づいて作成する。
【効果】被写界像の解像度の変動に起因する動き検出性能の低下が抑制される。
【選択図】図6

Description

この発明は、動き検出装置に関し、特にビデオカメラに適用され、繰り返し取り込まれる被写界像を参照して被写界の動きを検出する、動き検出装置に関する。
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、被写体の動きを検出するために、代表点を各々が有する4つの検出ブロックが撮像面に割り当てられる。各々の検出ブロックでは、現フィールドを形成する複数の画素の相関値が、前フィールドの代表画素を参照して算出される。被写体の動きを表す動きベクトルは、こうして算出された相関値に基づいて作成される。ここで、4つの検出ブロックは、互いに重複する態様で撮像面に割り当てられる。これによって、被写体のサイズが小さい場合でも被写体追尾のような動き補正処理を高精度で実行することができる。
特開平7−322126号公報
しかし、背景技術は、画像データの解像度の変動を想定しておらず、画像データの解像度が変動したときに動き検出性能が低下するおそれがある。
それゆえに、この発明の主たる目的は、解像度の変動に起因する動き検出性能の低下を抑制することができる、動き検出装置を提供することである。
この発明に従う動き検出装置(10:実施例で相当する参照符号。以下同じ)は、指定解像度を有する被写界像を繰り返し取り込む取り込み手段(24)、代表点を各々が有する複数のエリア(SBK, SBK,…)を指定解像度の大きさに応じて異なる重複量を有する態様で被写界像に割り当てる割り当て手段(RGST2, S45)、割り当て手段によって割り当てられた複数のエリアにそれぞれ対応する複数の画像の各々を代表点を基点として複数の部分画像に分割する分割手段(64)、代表点に対応する画素と周辺画素との間の明るさの相違を分割手段によって分割された複数の部分画像の各々から検出する検出手段(74~80)、および取り込み手段によって取り込まれた被写界像の動きを示す動き情報を検出手段の検出結果に基づいて作成する作成手段(82, 84)を備える。
好ましくは、割り当て手段は指定解像度の低減に応じて重複量が増大するように複数のエリアの割り当て態様を調整する調整手段(S45)を含む。
ある局面では、指定解像度の大きさをズーム操作に応答して変更する変更手段(S41)がさらに備えられる。
他の局面では、複数のエリアの各々は水平辺および垂直辺を有する矩形ブロックに相当し、複数のエリアは被写界像の水平方向および/または垂直方向に沿って配列され、調整手段は配列方向におけるエリアサイズの半分を配列方向における重複量の上限として調整処理を実行する。
好ましくは、検出手段は複数の部分画像にそれぞれ対応する複数の相違検出手段(74~80)を含む。
好ましくは、作成手段によって作成された動き情報に基づいて動き補正処理を実行する処理手段(S23~S29)がさらに備えられる。
さらに好ましくは、被写界像のうち抽出エリア(EX)に属する一部の被写界像を抽出する抽出手段(38)がさらに備えられ、動き補正処理は作成手段によって作成された動き情報が示す動きが補償されるように抽出エリアの位置を変更する処理を含む。
この発明によれば、複数のエリアにそれぞれ対応する複数の画像の各々が代表点を基点として複数の部分画像に分割され、代表点に対応する画素と周辺画素との間の明るさの相違が各々の部分画像から検出される。これによって、明るさの相違の検出に掛かる負荷が複数のエリアの重複量の増大に起因して増大する事態が回避され、解像度の変動に起因する動き検出性能の低下を抑制することができる。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 複数の動き検出ブロックおよび単一の抽出エリアを撮像面に割り当てた状態の一例を示す図解図である。 手振れ補正動作の一例を示す図解図である。 図1実施例に適用される動き検出回路の構成の一例を示すブロック図である。 図5実施例に適用される動き情報作成回路の構成の一例を示すブロック図である。 (A)は動き検出ブロックの構成の一例を示す図解図であり、(B)は微小ブロックの構成の一例を示す図解図である。 図6実施例に適用される分配器の動作の一例を示す図解図である。 図6実施例の動作の一部を示す図解図である。 (A)は電子ズーム倍率が“1.0”に設定されたときの複数の動き検出ブロックおよび単一の抽出エリアの割り当て状態を示す図解図であり、(B)は電子ズーム倍率が“1.25”に設定されたときの複数の動き検出ブロックおよび単一の抽出エリアの割り当て状態を示す図解図であり、(C)は電子ズーム倍率が“1.5”に設定されたときの複数の動き検出ブロックおよび単一の抽出エリアの割り当て状態を示す図解図である。 (A)は電子ズーム倍率が“1.0”に設定されたときの微小ブロックの割り当て状態を示す図解図であり、(B)は電子ズーム倍率が“1.25”に設定されたときの微小ブロックの割り当て状態を示す図解図であり、(C)は電子ズーム倍率が“1.5”に設定されたときの微小ブロックの割り当て状態を示す図解図である。 図2実施例に適用されるCPUの動作の一部を示すフロー図である。 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。 他の実施例の構成を示すブロック図である。
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
図1を参照して、この発明の動き検出装置は、基本的に次のように構成される。取り込み手段1は、指定解像度を有する被写界像を繰り返し取り込む。割り当て手段2は、代表点を各々が有する複数のエリアを、指定解像度の大きさに応じて異なる重複量を有する態様で被写界像に割り当てる。分割手段3は、割り当て手段2によって割り当てられた複数のエリアにそれぞれ対応する複数の画像の各々を、代表点を基点として複数の部分画像に分割する。検出手段4は、代表点に対応する画素と周辺画素との間の明るさの相違を、分割手段3によって分割された複数の部分画像の各々から検出する。作成手段5は、取り込み手段1によって取り込まれた被写界像の動きを示す動き情報を、検出手段4の検出結果に基づいて作成する。
複数のエリアにそれぞれ対応する複数の画像の各々を代表点を基点として複数の部分画像に分割し、代表点に対応する画素と周辺画素との間の明るさの相違を各々の部分画像から検出することで、明るさの相違の検出に掛かる負荷が複数のエリアの重複量の増大に起因して増大する事態が回避される。これによって、解像度の変動に起因する動き検出性能の低下を抑制することができる。
[実施例]
図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ20a,20bおよび20cによってそれぞれ駆動されるズームレンズ12,フォーカスレンズ14および絞りユニット16を含む。被写界の光学像は、これらの部材を通してイメージセンサ18の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ(図示せず)によって覆われる。したがって、各画素では、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報を有する電荷が光電変換によって生成される。
電源が投入されると、CPU32は、動画取り込み処理を実行するべくドライバ20dを起動する。ドライバ20dは、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。
前処理回路22は、イメージセンサ18からの生画像データにディジタルクランプ,画素欠陥補正,電子ズーム,ゲイン制御などの処理を施し、電子ズーム倍率に対応する解像度を有する生画像データを出力する。ここで、電子ズーム処理は、特にズーム回路22zによって実行される。前処理回路22から出力された生画像データは、メモリ制御回路34を通してSDRAM36の生画像エリア36aに書き込まれる。
前処理回路22から出力された生画像データに対応する被写界像が図3に示す広がりを有するとき、抽出エリアEXは同じ図3に示す要領でこの被写界像に割り当てられる。レジスタRGST1には、このような抽出エリアEXの属性(属性:サイズおよび位置、以下同じ)が記述される。
後処理回路38は、レジスタRGST1を参照して抽出エリアEXの属性を検出し、生画像エリア36aに格納された生画像データのうち抽出エリアEXに属する一部の生画像データをメモリ制御回路34を通して1/60秒毎に読み出し、そして読み出された生画像データに色分離,白バランス調整,YUV変換などの処理を施す。この結果、YUV形式に対応する画像データが1/60秒毎に作成される。作成された画像データは、メモリ制御回路34を通してSDRAM36のYUV画像エリア36bに書き込まれる。
LCDドライバ40は、YUV画像エリア36bに格納された画像データを繰り返し読み出し、読み出された画像データの解像度とLCDモニタ42の解像度との相違を考慮した電子ズーム処理を実行し、そして電子ズーム処理を施された画像データに基づいてLCDモニタ42を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
簡易Y生成回路24は、前処理回路22から出力された生画像データを簡易的にYデータに変換する。変換されたYデータは、AF評価回路26,AE評価回路28および動き検出回路30に与えられる。
AF評価回路26は、簡易Y生成回路24から出力されたYデータのうち評価エリア(図示せず)に属する一部のYデータの高周波成分を1/60秒毎に積分し、積分値つまりフォーカス評価値をCPU32に与える。CPU32は、与えられたフォーカス評価値に基づいていわゆるコンティニュアスAF処理を実行し、フォーカスレンズ14を合焦点に配置する。この結果、LCDモニタ42から出力される動画像の鮮鋭度が継続的に向上する。
AE評価回路28は、簡易Y生成回路24から出力されたYデータのうち評価エリアに属する一部のYデータを1/60秒毎に積分し、積分値つまり輝度評価値を出力する。CPU32は、AE評価回路28から出力された輝度評価値に基づいて適正露光量が得られるEV値を算出し、算出されたEV値を定義する絞り量および露光時間をドライバ20cおよび20dにそれぞれ設定する。この結果、LCDモニタ42から出力される動画像の明るさが適度に調整される。
キー入力装置48に向けてズーム操作が行われると、CPU32は、ズーム制御タスクの下で目標ズーム倍率を算出する。目標ズーム倍率は、現時点のズーム倍率とズーム操作の態様とを参照して算出される。
CPU32は、算出された目標ズーム倍率が設定不可能な倍率であるときズーム操作を無効とする一方、算出された目標ズーム倍率が設定可能な倍率であるときズームレンズ12またはズーム回路22zによってズーム倍率を調整する。
光学ズーム処理によるズーム倍率の調整が可能な場合は、ズームレンズ12の位置が目標ズーム倍率に適合するように調整される。光学ズーム処理によるズーム倍率の調整が不可能な場合は、ズーム回路22zに設定された電子ズーム倍率が目標ズーム倍率に調整される。これによって、LCDモニタ42から出力される動画像の倍率が変化する。なお、電子ズーム倍率の上限値は“1.5”である。
キー入力装置48に向けて記録開始操作が行われると、CPU32は、記録処理を開始するべく、撮像タスクの下でI/F44を起動する。I/F44は、YUV画像エリア36bに格納された画像データを1/60秒毎に読み出し、読み出された画像データを記録媒体46内の動画ファイルに圧縮状態で書き込む。I/F44は、キー入力装置32に向けて記録終了操作が行われたときにCPU32によって停止される。この結果、画像データの記録処理が終了される。
上述のように、前処理回路22から出力された生画像データに対応する被写界像は図3に示す広がりを有し、5つの動き検出ブロックMD_1〜MD_5がこの被写界像に追加的に割り当てられる。レジスタRGST2には、このような動き検出ブロックMD_1〜MD_5の属性が記述される。
図3によれば、動き検出ブロックMD_1およびMD_2は被写界像の上段に水平方向に並ぶように配置され、動き検出ブロックMD_3は被写界像の中央に配置され、そして動き検出ブロックMD_4およびMD_5は被写界像の下段に水平方向に並ぶように配置される。
動き検出回路30は、動き検出ブロックMD_1〜MD_5の各々における被写界の動き情報を簡易Y生成回路24から出力されたYデータに基づいて1/60秒毎に検出し、検出された動き情報をCPU32に与える。CPU32は、手振れ補正タスクの下で、次のような処理を実行する。
つまり、CPU32は、与えられた動き情報に基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン/チルト動作のいずれに起因するかを作成された全体動きベクトルに基づいて判別する。撮像面の動きが手振れに起因する場合、CPU32は、全体動きベクトルが補償される位置に抽出エリアEXが割り当てられるように、レジスタRSGT1の記述を更新する。したがって、撮像面に手振れが生じたとき、抽出エリアEXは図4に示す要領で撮像面上を移動する。この結果、LCDモニタ42から出力される動画像の手振れが抑制される。
動き検出回路30は、図5に示すように構成される。生画像データはラスタ走査態様でイメージセンサ18から出力されるため、Yデータもまたラスタ走査態様で動き検出回路30に入力される。入力されたYデータは、LPF50によるノイズ除去処理を経て、Y_Lデータとして分配器52に与えられる。
分配器52は、レジスタRGST2を参照して動き検出ブロックMD_1およびMD_5の属性を検出し、Y_Lデータを動き情報作成回路54〜58に分配する。動き検出ブロックMD_1およびMD_4に属するY_Lデータは動き情報作成回路54に与えられ、動き検出ブロックMD_3に属するY_Lデータは動き情報作成回路56に与えられ、そして動き検出ブロックMD_2およびMD_5に属するY_Lデータは動き情報作成回路58に与えられる。
動き情報作成回路54は、動き検出ブロックMD_1およびMD_4の各々で捉えられた被写界の動きに注目し、最小相関値MIN_1(後述)を動き検出ブロックMD_1の動き情報として出力するとともに、最小相関値MIN_4(後述)を動き検出ブロックMD_4の動き情報として出力する。
動き情報作成回路56は、動き検出ブロックMD_3で捉えられた被写界の動きに注目し、最小相関値MIN_3(後述)を動き検出ブロックMD_3の動き情報として出力する
動き情報作成回路58は、動き検出ブロックMD_2およびMD_5の各々で捉えられた被写界の動きに注目し、最小相関値MIN_2(後述)を動き検出ブロックMD_2の動き情報として出力するとともに、最小相関値MIN_5(後述)を動き検出ブロックMD_5の動き情報として出力する。
動き情報作成回路54〜58の各々は、図6に示すように構成される。Y_Lデータは、画素抽出回路60および分配器64に与えられる。図7(A)を参照して、動き検出ブロックMD_1〜MD_5の各々は、48個(=水平8個×垂直6個)の微小ブロックSBK,SBK,…によって形成される。微小ブロックSBKは水平辺および垂直辺を有する矩形ブロックに相当し、かつ被写界像の水平方向および垂直方向に沿って配列される。
また、図7(B)を参照して、各々の微小ブロックSBKは4096画素(=水平64画素×垂直64画素)によって形成される。また、各微小ブロックSBKの中央には単一の代表画素(=代表点)が設けられる。このような微小ブロックSBK,SBK,…の割り当て態様は、レジスタRGST2に記述される。
図6に戻って、画素抽出回路60は、レジスタRGST2を参照して48個の代表画素を特定し、特定された代表画素のY_Lデータを微小ブロックSBK,SBK,…から抽出する。抽出されたY_Lデータは、代表画素メモリ62に書き込まれる。
一方、分配器64は、レジスタRGST2を参照して特定した微小ブロックSBK,SBK,SBK,…の各々に代表画素を原点とする水平軸および垂直軸を定義し、第1象限〜第4象限に属するYデータをメモリ66〜72に分配する。図8に示すように、第1象限のY_Lデータはメモリ66に書き込まれ、第2象限のY_Lデータはメモリ68に書き込まれ、第3象限のY_Lデータはメモリ70に書き込まれ、そして第4象限のY_Lデータはメモリ72に書き込まれる。つまり、各々の微小ブロックSBKに対応する画像は、代表画素を基点として4つの部分画像に分割される。
差分絶対値算出回路74〜80は、微小ブロックSBK,SBK,…の各々に対応して、メモリ66〜72に記憶された現フレームの各画素のY_Lデータ値と代表画素メモリ62に記憶された前フレームの代表画素のY_Lデータ値との差分絶対値を算出する。
差分絶対値算出回路74からは第1象限に属する各画素のY_Lデータ値と代表画素のY_Lデータ値との差分絶対値が出力され、差分絶対値算出回路76からは第2象限に属する各画素のY_Lデータ値と代表画素のY_Lデータ値との差分絶対値が出力される。同様に、差分絶対値算出回路78からは第3象限に属する各画素のY_Lデータ値と代表画素のY_Lデータ値との差分絶対値が出力され、差分絶対値算出回路80からは第4象限に属する各画素のY_Lデータ値と代表画素のY_Lデータ値との差分絶対値が出力される。
図9を参照して、動き検出ブロックMD_1〜MD_5の各々は48個の微小ブロックSBK,SBK,…によって構成され、各々の微小ブロックSBKは水平64画素×垂直64画素によって構成される。このため、座標(1,1)〜(64,64)の各々の画素に対応して、48個の差分絶対値が取得される。
図6に示す相関値算出回路82は、座標(1,1)に配置された画素に対応する48個の差分絶対値の総和を相関値CR(1,1)として算出し、座標(1,2)に配置された画素に対応する48個の差分絶対値の総和を相関値CR(1,2)として算出する。同様にして、相関値算出回路82は、座標(64,64)に配置された画素に対応する48個の差分絶対値の総和を相関値CR(64,64)として算出する。
最小相関値抽出回路84は、こうして算出された相関値CR(1,1)〜CR(64,64)の中から最小値を示す相関値を抽出し、抽出された相関値を最小相関値MIN_N(N:1〜5のいずれか)として出力する。
CPU30は、電子ズーム倍率が変更されたとき、レジスタRGST1およびRGST2の記述をズーム制御タスクの下で更新する。
レジスタRGST1に記述された抽出エリアEXのサイズは、“1.0”の電子ズーム倍率に対応して図10(A)に示すサイズに調整され、“1.25”の電子ズーム倍率に対応して図10(B)に示すサイズに調整され、“1.5”の電子ズーム倍率に対応して図10(C)に示すサイズに調整される。
また、レジスタRGST2の記述された動き検出エリアMD_1〜MD_5のサイズは、“1.0”の電子ズーム倍率に対応して図10(A)に示すサイズに調整され、“1.25”の電子ズーム倍率に対応して図10(B)に示すサイズに調整され、“1.5”の電子ズーム倍率に対応して図10(C)に示すサイズに調整される。
さらに、レジスタRGST2の記述された微小ブロックSBKの割り当て態様は、“1.0”の電子ズーム倍率に対応して図11(A)に示す態様に調整され、“1.25”の電子ズーム倍率に対応して図11(B)に示す態様に調整され、“1.5”の電子ズーム倍率に対応して図11(C)に示す態様に調整される。
水平方向および垂直方向の各々で隣り合う微小ブロックSBK,SBK,…は、電子ズーム倍率が“1.0”のとき互いに重複することなく配置され、電子ズーム倍率が“1.25”のとき水平方向および垂直方向の各々において1/4の重複量を有する態様で配置され、そして電子ズーム倍率が“1.5”のとき水平方向および垂直方向の各々において1/2の重複量を有する態様で配置される。このように、隣り合う2つの微小ブロックSBK,SBKの重複量は、電子ズーム倍率の増大に伴って(換言すれば、被写界像の解像度の低減に伴って)増大する。
CPU30は、図12に示す動画撮像タスク,図13に示す手振れ補正タスクおよび図14に示すズーム制御タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、図示しないフラッシュメモリに記憶される。
図12を参照して、ステップS1では動画取り込み処理を実行し、ステップS3ではコンティニュアスAFタスクを起動する。ステップS1の処理によってスルー画像がLCDモニタ42から出力され、ステップS3の処理によってフォーカスが連続的に調整される。ステップS5では記録開始操作が行われたか否かを判別し、NOである限りステップS7のAE処理を繰り返す。これによって、露光量が適度に調整される。記録開始操作が行わるとステップS9に進み、記録処理を開始するべくI/F42を起動する。ステップS11では記録終了操作が行われたか否かを判別し、NOである限りステップS13のAE処理を繰り返す。記録終了操作が行われるとステップS15に進み、記録処理を終了するべくI/F42を停止する。ステップS15の処理が完了すると、ステップS5に戻る。
図13を参照して、ステップS21では垂直同期信号Vsyncが発生したか否かを判別する。YESであれば、ステップS23で動き検出回路26から最小相関値MIN_1〜MIN_5を取り込む。ステップS25では、取り込まれた最小相関値MIN_1〜MIN_5に基づいて全体動きベクトルを作成する。続くステップS27では現時点の撮像面の動きがパン/チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでYESであればそのままステップS21に戻り、NOであればステップS29に進む。ステップS29では、ステップS25で作成された全体動きベクトルが補償される位置に抽出エリアEXが配置されるように、レジスタRGST1の記述を更新する。ステップS29の処理が完了すると、ステップS21に戻る。
図14を参照して、ステップS31ではズーム操作が行われたか否かを判別し、判別結果がNOからYESに更新されるとステップS33で目標ズーム倍率を算出する。目標ズーム倍率は、現時点のズーム倍率とズーム操作の態様とを参照して算出される。ステップS35では、算出された目標ズーム倍率が設定可能な倍率であるか否かを判別する。判別結果がNOであればステップS31に戻り、判別結果がYESであればステップS37に進む。ステップS37では、算出された目標ズーム倍率の設定に適合する処理が光学ズーム処理および電子ズーム処理のいずれであるかを判別する。
適合する処理が光学ズーム処理であればステップS39に進み、ズームレンズ12を目標ズーム倍率に対応する位置に移動させる。ステップS39の処理が完了すると、ステップS31に戻る。適合する処理が電子ズーム処理であればステップS41に進み、ズーム回路22zに設定された電子ズーム倍率を目標ズーム倍率に調整する。ステップS43では、調整された電子ズーム倍率に適合するように、レジスタRGST1の記述(抽出エリアEXのサイズ)を更新する。ステップS45では、調整された電子ズーム倍率に適合するように、レジスタRGST2の記述(動き検出エリアMD_1〜MD_5のサイズ,微小ブロックSBKの割り当て態様)を更新する。ステップS45の更新処理が完了すると、ステップS31に戻る。
以上の説明から分かるように、簡易Y生成回路24は、指定解像度を有する被写界像を繰り返し取り込む。レジスタRGST2は、代表点を各々が有する複数の微小ブロックSBK,SBK,…を、指定解像度の大きさに応じて異なる重複量を有する態様で被写界像に割り当てる。分配器64は、複数の微小ブロックSBK,SBK,…にそれぞれ対応する複数の画像の各々を、代表点を基点として複数の部分画像に分割する。差分絶対値算出回路74〜80は、代表点に対応する画素と周辺画素との間の明るさの相違を表す差分絶対値を、分割された複数の部分画像から算出する。最小相関値抽出回路84は、被写界像の動き情報に相当する最小相関値MIN_Nを、算出された差分絶対値に基づいて作成する。
複数の微小ブロックSBK,SBK,…にそれぞれ対応する複数の画像の各々を代表点を基点として複数の部分画像に分割し、代表点に対応する画素と周辺画素との間の明るさの相違を表す差分絶対値を各々の部分画像から算出することで、差分絶対値の算出に掛かる負荷が複数の微小ブロックSBK,SBK,…の重複量の増大に起因して増大する事態が回避される。これによって、解像度の変動に起因する動き検出性能の低下を抑制することができる。
なお、この実施例では、動き検出回路30は、撮像モードにおいて起動される。しかし、記録媒体46に記録された動画像を再生する再生モードにおいて動き検出回路30を追加的に起動するようにしてもよい。ただし、再生モードにおける抽出エリアEXのサイズは、撮像モードにおける抽出エリアEXのサイズよりも小さくする必要がある。また、図15に示すように動き検出回路30の前段にセレクタ86を設け、カメラモードにおいて再生画像データをセレクタ86に選択させる必要がある。
10 …ディジタルビデオカメラ
18 …イメージセンサ
22 …前処理回路
30 …動き検出回路
32 …CPU
54,56,58 …動き情報作成回路
64 …分配器
74,76,78,80 …差分絶対値算出回路
82 …相関値算出回路
84 …最小相関値抽出回路

Claims (7)

  1. 指定解像度を有する被写界像を繰り返し取り込む取り込み手段、
    代表点を各々が有する複数のエリアを前記指定解像度の大きさに応じて異なる重複量を有する態様で前記被写界像に割り当てる割り当て手段、
    前記割り当て手段によって割り当てられた複数のエリアにそれぞれ対応する複数の画像の各々を前記代表点を基点として複数の部分画像に分割する分割手段、
    前記代表点に対応する画素と周辺画素との間の明るさの相違を前記分割手段によって分割された複数の部分画像の各々から検出する検出手段、および
    前記取り込み手段によって取り込まれた被写界像の動きを示す動き情報を前記検出手段の検出結果に基づいて作成する作成手段を備える、動き検出装置。
  2. 前記割り当て手段は前記指定解像度の低減に応じて前記重複量が増大するように前記複数のエリアの割り当て態様を調整する調整手段を含む、請求項1記載の動き検出装置。
  3. 前記指定解像度の大きさをズーム操作に応答して変更する変更手段をさらに備える、請求項2記載の動き検出装置。
  4. 前記複数のエリアの各々は水平辺および垂直辺を有する矩形ブロックに相当し、
    前記複数のエリアは前記被写界像の水平方向および/または垂直方向に沿って配列され、
    前記調整手段は配列方向におけるエリアサイズの半分を前記配列方向における前記重複量の上限として調整処理を実行する、請求項2または3記載の動き検出装置。
  5. 前記検出手段は前記複数の部分画像にそれぞれ対応する複数の相違検出手段を含む、請求項1ないし4のいずれかに記載の動き検出装置。
  6. 前記作成手段によって作成された動き情報に基づいて動き補正処理を実行する処理手段をさらに備える、請求項1ないし5のいずれかに記載の動き検出装置。
  7. 前記被写界像のうち抽出エリアに属する一部の被写界像を抽出する抽出手段をさらに備え、
    前記動き補正処理は前記作成手段によって作成された動き情報が示す動きが補償されるように前記抽出エリアの位置を変更する処理を含む、請求項6記載の動き検出装置。
JP2009139250A 2009-06-10 2009-06-10 動き検出装置 Pending JP2010288003A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009139250A JP2010288003A (ja) 2009-06-10 2009-06-10 動き検出装置
US12/797,981 US8270673B2 (en) 2009-06-10 2010-06-10 Motion detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009139250A JP2010288003A (ja) 2009-06-10 2009-06-10 動き検出装置

Publications (1)

Publication Number Publication Date
JP2010288003A true JP2010288003A (ja) 2010-12-24

Family

ID=43543401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009139250A Pending JP2010288003A (ja) 2009-06-10 2009-06-10 動き検出装置

Country Status (2)

Country Link
US (1) US8270673B2 (ja)
JP (1) JP2010288003A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018077638A1 (en) 2016-10-24 2018-05-03 Philips Lighting Holding B.V. Presence detection system and method.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077714A (ja) * 2000-09-05 2002-03-15 Toshiba Corp 映像監視システムの揺れ補正カメラ装置
JP2003078808A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2007259105A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 手振れ補正方法及びその装置並びに撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728406B2 (ja) 1985-03-04 1995-03-29 株式会社東芝 動きベクトル検出装置
JPS61269475A (ja) * 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置
FR2670923A1 (fr) * 1990-12-21 1992-06-26 Philips Lab Electronique Dispositif de correlation.
JPH05130484A (ja) * 1991-11-05 1993-05-25 Sanyo Electric Co Ltd 手ブレ補正機能付きビデオカメラの画角補正回路
JP2547687B2 (ja) 1992-03-18 1996-10-23 三洋電機株式会社 動きベクトル検出回路
JP3192872B2 (ja) 1994-05-30 2001-07-30 三洋電機株式会社 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置
JP3143369B2 (ja) 1995-08-28 2001-03-07 三洋電機株式会社 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077714A (ja) * 2000-09-05 2002-03-15 Toshiba Corp 映像監視システムの揺れ補正カメラ装置
JP2003078808A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
JP2007259105A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 手振れ補正方法及びその装置並びに撮像装置

Also Published As

Publication number Publication date
US20110103645A1 (en) 2011-05-05
US8270673B2 (en) 2012-09-18

Similar Documents

Publication Publication Date Title
US8253812B2 (en) Video camera which adopts a focal-plane electronic shutter system
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
US8836821B2 (en) Electronic camera
JP2015012481A (ja) 画像処理装置
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP4952574B2 (ja) 画像合成装置及びプログラム
JP5413625B2 (ja) 画像合成装置及びプログラム
US8120668B2 (en) Electronic camera for adjusting a parameter for regulating an image quality based on the image data outputted from an image sensor
JP5300413B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
US20100182460A1 (en) Image processing apparatus
JP5197064B2 (ja) ビデオカメラ
JP2005079731A (ja) 撮影画像投影装置、撮影画像投影装置の画像処理方法及びプログラム
JP2010288003A (ja) 動き検出装置
JP5910613B2 (ja) 画像合成装置及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP4964062B2 (ja) 電子カメラ
JP5127731B2 (ja) ビデオカメラ
JP2010245582A (ja) 電子カメラ
JP2013126199A (ja) 動き検出装置
JP4735649B2 (ja) 撮影画像投影装置
JP5121505B2 (ja) ビデオカメラ
JP4989524B2 (ja) 電子カメラ
JP2014145974A (ja) 撮像機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120529

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131009