JP2007336235A - 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 - Google Patents

動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 Download PDF

Info

Publication number
JP2007336235A
JP2007336235A JP2006165569A JP2006165569A JP2007336235A JP 2007336235 A JP2007336235 A JP 2007336235A JP 2006165569 A JP2006165569 A JP 2006165569A JP 2006165569 A JP2006165569 A JP 2006165569A JP 2007336235 A JP2007336235 A JP 2007336235A
Authority
JP
Japan
Prior art keywords
motion
histogram
feature point
motion vector
specific part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006165569A
Other languages
English (en)
Other versions
JP2007336235A5 (ja
JP4961850B2 (ja
Inventor
Jean-Aymeric Altherr
ジャン エメリック アルテール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006165569A priority Critical patent/JP4961850B2/ja
Priority to US11/762,329 priority patent/US7925053B2/en
Publication of JP2007336235A publication Critical patent/JP2007336235A/ja
Publication of JP2007336235A5 publication Critical patent/JP2007336235A5/ja
Application granted granted Critical
Publication of JP4961850B2 publication Critical patent/JP4961850B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置に関し、例えば動きベクトルを用いた手振れ補正処理に適用して、画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、高い精度でカメラの動き等を検出する。
【解決手段】本発明は、入力画像の各部に設定した特徴点で検出される動きベクトルをヒストグラム化して分類し、特定個所から得られた動きベクトルを検出して特定個所の動きを検出する場合に、過去の分類結果を示す分類情報を各特徴点に設定し、この分類情報を参考にして動きベクトルを分類する。
【選択図】 図1

Description

本発明は、動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置に関し、例えば動きベクトルを用いた手振れ補正処理に適用することができる。本発明は、入力画像の各部に設定した特徴点で検出される動きベクトルをヒストグラム化して分類し、特定個所から得られた動きベクトルを検出して特定個所の動きを検出する場合に、過去の分類結果を示す分類情報を設定し、この分類情報を参考にして動きベクトルを分類することにより、画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、高い精度でカメラの動き等を検出する。
従来、動きベクトルを用いて種々に画像処理する方法が提案されており、例えば特開2004−229084号公報には、動きベクトルを用いて手振れ補正する工夫が提案されている。このような動きベクトルを用いて手振れ補正する従来方法では、画面の各部で検出される動きベクトルから背景の動きベクトルを検出してカメラの動きを検出し、このカメラの動きから手振れによるカメラの動きを検出して動き補正している。
ところで動きベクトルを用いた手振れ補正では、カメラの動きに対して背景の各部が同一の動きを呈するとの第1の仮定の元で、画面内では背景が占める面積が最も大きいとの第2の仮定に基づいて、画面の各部で検出される動きベクトルから背景の動きベクトルを検出することが考えられる。
すなわちこの方法では、動きベクトルの水平方向成分及び垂直方向成分をそれぞれX軸及びY軸に設定して、画面の各部で検出される動きベクトルで2次元のヒストグラムを作成する。またこのヒストグラム上で最も大きなピーク値を示す度数の集中を検出し、この度数が集中したグループを背景から検出された動きベクトルのグループとする。なお以下において、この度数の集中は、ヒストグラム上で山のように見て取られることから、以下、適宜、山と呼ぶ。この方法では、この背景のグループに属する動きベクトルを平均値化し、平均値の極性を反転させてカメラの動きを検出する。
具体的に図35(A)及び(B)に示すように、前フレームに2人の人物が写っていたとする。また現フレームで、この2人の人物が水平方向に異なる速度で移動し、またこの人物の移動する方向に、人物の移動速度とは異なる速度でカメラがパンしたとする。この場合、この図35(B)において矢印で示すように、画面の各部で動きベクトルが検出されることになる。なおこの図35(B)では、2人の人物からそれぞれ8点及び12点の動きベクトルが検出され、背景から20点の動きベクトルが検出された例を示すものである。
この動きベクトルをヒストグラム化すると、図36に示すように、この2人の人物からそれぞれ検出された動きベクトルによる度数の集中した山と、背景から検出された動きベクトルによる度数の集中した山とが現れることになる。なお説明の簡略化のために、以下においては、適宜、ヒストグラムは動きベクトルの水平方向成分についてのみを示す。
このヒストグラムに表される動きベクトルが、各フレームで偏りなく検出されている場合、背景、これら2人の人物から検出される動きベクトルは、前フレーム及び現フレームで、背景、これら2人の人物が占める面積に比例することなる。また背景にあっては、いわゆる硬いものであることから、背景から検出される動きベクトルは、ばらつきが小さい。従って画面内では背景が占める面積が最も大きいとの仮定に立てば、これらの山のうちで、最も高さの高い山が背景から検出された動きベクトルによるものであると判定することができる。なおこの図36の例では、2人の人物から得られたそれぞれ8点及び12点の動きベクトルから、各人物の山が作成され、背景から得られた20点の動きベクトルから背景の山が作成されていることになる。
しかしながらこの方法によっては、正しくカメラの動きを検出できない場合がある。すなわち図37に示すように、撮影の状況によっては、背景の面積が一時的に極端に小さくなる場合もあり、この場合は第2の仮定が成り立たなくなる。なおここでこの図37は、前フレーム、現フレームにおける画像と、ヒストグラムとの関係を示す図である。この図37の例は、前フレームでは被写体に比して背景が大きな面積で撮影されていたものが(図37(A1))、現フレームでは被写体が移動して被写体に比して背景が小さな面積で撮影されるようになった場合である(図37(B1))。この場合、前フレームでは、ヒストグラム上で高さの大きい側の山が背景となるのに対し(図37(A2))、現フレームでは、高さの小さい山が背景となる(図37(B2))。従ってこの場合、高さの高い側の山を背景側として選択していたのでは、背景の動きを誤って検出することになり、正しくカメラの動きを検出できなくなる。なおこの図37(A1)及び(B1)では、各部で検出される動きベクトルを矢印で示す。
また図38に示すように、背景と被写体との動きが似通って撮影される場合もあり、この場合には、ヒストグラム上で、被写体による山と、背景による山とが部分的に重なり合う。この場合には、これらの山を正確に分離することが困難になり、背景の動きを正しく検出できなくなる。なおここで図38は、被写体が動きを停止しかけている場合であり、背景と被写体とで僅かながら動きに違いがある場合である。この場合、ヒストグラム上では、背景による山と、被写体による山とが僅かにずれて重なり合い、結局、背景の動きベクトルと被写体の動きとを識別することが困難になる(図38(B1)及び(B2))。
その結果、符号MVTにより示す本来の動きを、符号MVDにより示すように、誤って検出することになる(図38(B3))。なおこのような誤検出は、数ピクセル程度ではあるものの、数フレームに亘って似たような現象が起こると累積誤差が数十ピクセルとになり、著しく誤差が増大することになる。
特開2004−229084号公報
本発明は以上の点を考慮してなされたもので、画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、高い精度でカメラの動き等を検出することができる動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置を提案しようとするものである。
上記の課題を解決するため請求項1の発明は、連続する入力画像から特定の部位の動きを検出する動き検出方法に適用して、前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、前記動き検出ステップは、前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類のステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、前記ヒストグラム処理ステップは、特徴点に設定済の前記分類情報を基準にして前記特定の部位から得られた山を検出する。
また請求項25の発明は、演算処理手段の実行により、連続する入力画像から特定の部位の動きを検出する動き検出方法のプログラムに適用して、前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、前記動き検出ステップは、前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類のステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、前記ヒストグラム処理ステップは、特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する。
また請求項26の発明は、演算処理手段の実行により、連続する入力画像から特定の部位の動きを検出する動き検出方法のプログラムを記録した記録媒体に適用して、前記動き検出方法のプログラムは、前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、前記動き検出ステップは、前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を、設定する特徴点分類のステップと、前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、前記ヒストグラム処理ステップは、特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する。
また請求項27の発明は、連続する入力画像から特定の部位の動きを検出する動き検出装置に適用して、前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出部と、前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出部とを有し、前記動き検出部は、前記動きベクトルのヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理部と、前記ヒストグラム処理部で検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類部と、前記ヒストグラム処理部で検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算部とを有し、前記ヒストグラム処理部は、特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する。
請求項1、請求項25、請求項26又は請求項27の構成によれば、分類情報を基づいて、過去の分類結果を参考にして、特定の部位から得られた山を検出することができる。従ってこの特定の部位が背景である場合に、それまで大きく撮影されている背景が小さな面積で撮影されるようになった場合でも、この面積の変化する背景を追跡して、この背景による山を検出することができる。従って画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、従来に比して一段と高い精度でカメラの動き等を検出することができる。
本発明によれば、画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、従来に比して一段と高い精度でカメラの動き等を検出することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図2は、本発明の実施例1の画像処理装置である手振れ補正装置を示すブロック図である。この手振れ補正装置1は、テレビジョンカメラ2で撮影したビデオ信号SVをダウンロードしてハードディスク装置(HDD)3に記録する。またこのハードディスク装置3に記録したビデオ信号SVを手振れ補正して外部機器に出力する。
ここでこの手振れ補正装置1において、中央処理ユニット(CPU)4は、リードオンリメモリ(ROM)5の記録に従ってランダムアクセスメモリ(RAM)6にワークエリアを確保してハードディスク装置3に記録された所定の処理プログラムを実行し、ビデオ信号SVの手振れ補正処理を実行する。またこの一連の処理において、モニタ9にグラフカルユーザーインターフェースを表示してユーザーの操作を受け付け、さらには手振れ補正結果を表示する。インターフェース(I/F)10は、このビデオ信号SVの入出力に係る入出力回路である。なおこの中央処理ユニット4が実行するプログラムは、この手振れ補正装置1に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
図3は、この中央処理ユニット4の処理手順を示すフローチャートである。中央処理ユニット4は、オペレータの操作に従ってこの処理手順を開始し、ステップSP1からステップSP2に移る。このステップSP2で、中央処理ユニット4は、ユーザーの指示したビデオ信号SVのファイルをテレビジョンカメラ2からダウンロードしてハードディスク装置3に格納する。
また中央処理ユニット4は、続くステップSP3のフレーム間カメラ動き算出処理により、ハードディスク装置3にダウンロードしたビデオ信号SVを処理し、テレビジョンカメラ2の動きをビデオ信号SVの画像上で示すカメラ動きベクトルMVCTを検出する。すなわち中央処理ユニット4は、ハードディスク装置3にダウンロードしたビデオ信号SVをIP変換して順次フレーム単位で読み出しながら、フレーム間で動きベクトルを検出する。なおここでIP変換は、インターレーススキャンからプログレッシブスキャンへの変換であり、ハードディスク装置3へのダウンロード時に実行してもよい。
さらに中央処理ユニット4は、検出した動きベクトルを処理して、図4に示すように、ビデオ信号SVによる入力画像21上でカメラの動きを示すカメラ動きベクトルMVCを検出する。なお図4は、入力画像21、処理結果である出力画像24におけるカメラの動きを水平方向のみについて示す図である。このカメラ動きベクトルMVCは、手振れとカメラワークとによるテレビジョンカメラの動きをビデオ信号SVの画像上で示すことになる。
さらに中央処理ユニット4は、続くステップSP4において、この検出したカメラ動きベクトルMVCを処理して、カメラ動きベクトルMVCから手振れ成分を除いたカメラワークのみによるカメラ動きベクトルMVCTを計算する。具体的に、中央処理ユニット4は、連続するカメラ動きベクトルMVCをローパスフィルターで平滑化し、カメラ動きベクトルMVCTを計算する。中央処理ユニット4は、手振れとカメラワークとによるカメラ動きベクトルMVCと、カメラワークのみによるカメラ動きベクトルMVCTとをカメラ動き情報としてメモリに記録して保持する。中央処理ユニット4は、ビデオ信号SVの全フレームでカメラ動きベクトルMVC、MVCTを検出すると、続いてカメラ動きベクトルMVC、MVCTを用いて、手振れ補正用の補正ベクトルΔMVを順次計算する。また図5に示すように、ハードディスク装置3に記録したビデオ信号SVを順次読み出して補正ベクトルΔMVで動き補正し、出力画像24を生成する。なお中央処理ユニット4は、この動き補正処理によって入力画像21を割り当てることが困難となった部位(図5でハッチングで示す領域)については、黒レベルに設定し、違和感を防止する。なおこの場合、入力画像21を割り当てることが困難となった部位を切り捨て、出力画像24のサイズに合うようにスケーリングしてもよい。
中央処理ユニット4は、このステップSP4の処理により手振れ補正したビデオ信号を生成し、続くステップSP5で、このビデオ信号をモニタ装置等の外部機器に出力した後、ステップSP6に移ってこの処理手順を終了する。
この図2に示す処理手順の実行により、中央処理ユニット4は、図6に示す機能ブロックを構成する。なおここでフレーム間カメラ動き情報検出部22は、ステップSP3の処理に対応する機能ブロックであり、ビデオ信号SVによる入力画像21から手振れ及びカメラワークによるカメラ動きベクトルMVCを検出し、カメラ動きベクトルMVCをカメラ動き情報としてメモリ23に格納する。また手振れ補正補間部25は、ステップSP4の処理に対応する機能ブロックであり、メモリ23に格納したカメラ動き情報MVCを用いて補正ベクトルΔMVを計算して入力画像21を手振れ補正する。なお図6との対比により図7に示すように、ビデオ信号SVによる入力画像21の全フレームからカメラ動きベクトルMVCを検出した後、改めて入力画像21の手振れを補正する代わりに、カメラ動きベクトルMVCを検出した入力画像21をフレームメモリ26に保持して手振れ補正するようにして、所定フレーム数単位で、カメラ動きベクトルMVCを検出しながら入力画像21を手振れ補正してもよい。
図8は、図3のステップSP3の処理手順を詳細に示すフローチャートである。中央処理ユニット4は、この処理手順を開始すると、ステップSP11からステップSP12に移り、動きベクトル算出処理を実行する。中央処理ユニット4は、この動きベクトル算出処理により、IP変換しながら入力画像21を入力し、KLT法を利用した特徴点の追跡により入力画像21の各部で動きベクトルを検出する。
また続くステップSP13における動きベクトル解析処理により、中央処理ユニット4は、ステップSP12で検出した動きベクトルを解析する。中央処理ユニット4は、この動きベクトルの解析において、ステップSP12で検出した1フレームの動きベクトルを集計して2次元のヒストグラムを求める。
また中央処理ユニット4は、このヒストグラムから、背景に相当する動きベクトルのグループを検出する。具体的に、中央処理ユニット4は、このヒストグラムから度数分布のピーク値の個所を検出することにより、最もサンプル数が多く集中している動きベクトルのグループを検出し、このグループを背景のグループとする。中央処理ユニット4は、続くステップSP14のカメラ動き計算処理で、この背景のグループに属する動きベクトルを平均値化し、手振れ及びカメラワークによるカメラ動きベクトルMVCを計算する。従ってこの実施例では、入力画像中で背景が最も大きな面積を占めるとの仮定に基づいて背景を検出し、この背景の動きからカメラ動きベクトルMVCを検出する。
続いて中央処理ユニット4は、ステップSP15に移り、全てのフレームの処理を完了したか否か判断する。ここで否定結果が得られると、中央処理ユニット4は、ステップSP16に移り、動きベクトルの検出対象を次フレームに設定した後、ステップSP12に戻り、動きベクトル検出処理を実行する。これに対してステップSP15で肯定結果が得られると、ステップSP15からステップSP17に移ってこの処理手順を終了する。
この図8の処理手順の実行により、中央処理ユニット4は、図9に示す機能ブロックを構成する。ここで動きベクトル算出部31は、ステップSP12の処理に対応する機能ブロックであり、入力画像21の各部で動きベクトルを検出する。また動きベクトル解析部32は、ステップSP13に対応する機能ブロックであり、動きベクトル算出部31で算出した動きベクトルを解析してヒストグラムを計算し、背景の動きベクトルを検出する。カメラ動き算出部33は、ステップSP14に対応する機能ブロックであり、手振れ及びカメラワークによるカメラ動きベクトルMVCを計算する。
(1−1)動きベクトル算出処理
図10は、図8におけるステップSP12の動きベクトル算出処理を詳細に示すフローチャートである。中央処理ユニット4は、この処理手順を開始すると、ステップSP21からステップSP22に移る。ここで中央処理ユニット4は、ハードディスク装置3から1フレーム分のビデオ信号SVを入力して現フレームに設定する。
また続くステップSP23において、中央処理ユニット4は、ブロックリストを作成する。ここで図12(A)に示す入力画像21との対比により図12(B)に示すように、中央処理ユニット4は、この動きベクトル算出処理において、入力画像を水平方向及び垂直方向に複数のブロックに分割し、各ブロックに設定した特徴点の追跡により動きベクトルを検出する。より具体的に、中央処理ユニット4は、1つのブロックにNfp個の特徴点を設定し、1フレームでNtot個の特徴点を設定する。入力画像21がVGA(Video Graphics Array)サイズの場合、各ブロックの特徴点数Nfp及び1フレームの特徴点数Ntotは、それぞれ20個及び300個に設定される。従って中央処理ユニット4は、入力画像21がVGAサイズの場合、この入力画像を水平方向及び垂直方向にそれぞれ5分割及び3分割して15(=300/20)個のブロックを設定する。なお図面上では、水平方向及び垂直方向に6個及び4個に分割して示す。
ブロックリストは、このようにして設定した各ブロックに関する情報を記録したリストであり、この実施例では各ブロックの位置情報、大きさの情報、特徴点の数等が含まれる。なおここで各ブロックの位置情報は、例えば各ブロックのラスタ操作開始端の座標Ci(x、y)であり、大きさの情報は、水平方向及び垂直方向の画素数Si(x、y)である。なおここで(x、y)は、ラスタ走査の開始端のブロックを基準にして水平方位及び垂直方向のブロックの位置を示す変数である。
従ってビデオ信号SVの先頭1フレームを処理する場合、ブロックリストには、分割した各ブロックに何ら特徴点が設定されていないことが記録される。これに対して先頭1フレーム以外では、現フレームで各ブロックに含まれている特徴点の数がそれぞれ各ブロックに記録されてブロックリストが作成される。
なお中央処理ユニット4は、先頭1フレーム以外のフレームでは、前フレームのブロックリストのコピーを取り、このブロックリストの内容を更新してブロックリストを作成する。
続いて中央処理ユニット4は、ステップSP24に移り、現フレームが初期フレームか否か、すなわち現フレームが先頭1フレームか否か判断する。
ここで肯定結果が得られると、中央処理ユニット4は、ステップSP24からステップSP25に移り、特徴点選択処理を実行する。ここで特徴点選択処理は、全体の特徴点数が1フレームの特徴点数Ntotを越えない範囲で、特徴点数の少ないブロックから順次特徴点を設定する処理である。従って初期フレームでは、何れのブロックにも特徴点が設定されておらず、また全体の特徴点数も0個であることから、中央処理ユニット4は、各ブロックにそれぞれNfp個の特徴点を設定する。従って初期フレームの場合、特徴点選択処理は、各ブロックに一定数Nfpの特徴点を設定する特徴点初期設定処理を構成する。
これに対して先頭1フレーム以外のフレームでは、既に特徴点が存在することから、中央処理ユニット4は、このステップSP25において、このように全体の特徴点数が1フレームの特徴点数Ntotを越えない範囲で、特徴点数の少ないブロックから順次特徴点を設定することにより、ブロック間における特徴点の分布の偏りを補正する。すなわち例えば図13に示すように、矢印Aにより示すように画面左側から右側に移動する人物を追跡するように、矢印Bにより示すようにカメラ全体をパンさせたとする。この場合、図13との対比により図14に示すように、画面左隅の符号PAで示す特徴点は、カメラのパンにより現フレームで検出できなくなる。またこの画面左隅では、それまで人物に隠れていた背景が現れることなる。従ってこの画面左隅のブロックでは、続くフレームで特徴点を追跡できなくなり、続くフレームを現フレームとして処理する際に特徴点の数が減少することになる。
また符号PBで示す画面中央の特徴点は、人物の移動により人物によって隠れるようになり、これらの特徴点も現フレームでは検出できなくなる。またこの場合、人物の移動によりこの人物で隠される部分のブロックでは、人物の移動に伴って前フレームの特徴点が含まれるようになる。その一方で、カメラのパンにより背景側の特徴点が、この人物で隠された部分のブロックに含まれるようになり、この部分のブロックでは前フレームより特徴点が増大することになる。また画面右隅のブロックも、それまで前フレームでは画面の外側に位置していた背景が現フレームで撮影されることになることから、特徴点の数が減少することになる。これにより特徴点の空間的な分布に偏りが生じ、動きベクトルの検出に偏りが発生する。
そこで中央処理ユニット4は、追跡困難となった特徴点を削除し、またKLT法による特徴点の追跡により隣接する特徴点との間の距離が短くなった特徴点を削除する。またこれらの削除により1フレームの特徴点数Ntotに不足する特徴点を追加設定するようにして、この特徴点の追加設定において、特徴点の分布の偏りを補正する。具体的に、図14との対比により図15に示すように、例えば各ブロックの特徴点数Nfpが値2の場合に、特徴点数が1以下のブロックについて、中央処理ユニット4は、図16に示すように、特徴点を追加設定する。これにより各ブロックは、特徴点数が元の数2に近づくように特徴点が追加設定され、特徴点の分布の偏りが補正される。なおこの図16では、特徴点を追加設定するブロックをハッチングにより示す。なおKLT法による隣接する特徴点との間の距離が短くなった特徴点の削除は、事前に、ステップSP28の特徴点追跡、動きベクトル計算処理により実行する。この特徴点の削減手法は、現フレームに一定距離以上近接した特徴点が複数存在する場合、特徴度の低い側の特徴点を削除する処理である。特徴度については、特徴点抽出処理で詳述する。
中央処理ユニット4は、処理対象画像をブロックに分割して各ブロックに特徴点を設定して動きベクトルを検出するようにして、この特徴点選択処理により各ブロックで変化する特徴点数を補正し、特徴点の分布の偏りを補正する。中央処理ユニット4は、このステップSP25の処理を実行すると、ステップSP26に移り、現フレームを前フレームに設定した後、ステップSP27に移ってこの処理手順を終了する。
これに対して先頭1フレーム以外では、ステップSP24で否定結果が得られることにより、中央処理ユニット4は、ステップSP24からステップSP28に移る。
このステップSP28で、中央処理ユニット4は、前フレームの各ブロックに設定されている特徴点を追跡して現フレーム上で対応する特徴点を検出する。また図14に示すように、この対応する特徴点と前フレームの特徴点との間の差分値を検出することにより、各特徴点の動きベクトルMVを計算し、この動きベクトルMVをメモリ23に記録して保持する。このとき特徴点の追跡により、現フレームに一定距離以上近接した特徴点が存在する場合、特徴度の低い側の特徴点を削除する。なお特徴度に代えて、特徴点としての信頼性を示す信頼度を基準にして削除してもよく、ランダムに削除してもよい。また追跡困難な特徴点についても、削除する。
続いて中央処理ユニット4は、ステップSP25に移り、各ブロックにおける特徴点の分布の偏りを補正した後、ステップSP26の処理手順を実行し、ステップSP27に移ってこの処理手順を終了する。
この図10に示す処理手順の実行により、中央処理ユニット4は、図11に示す機能ブロックを構成する。ここでフレーム読み込みモジュール41は、図10のステップSP22に対応する機能ブロックであり、新たに取得した処理対象のフレームを現フレームに設定する。ブロック分割モジュール42は、ステップSP23に対応する機能ブロックであり、現フレームの画像を複数のブロックに分割し、ブロックリストを作成する。特徴点総合モジュール44は、ステップSP25及びSP28に対応する機能ブロックであり、特徴点抽出手段43は、特徴度に基づいて特徴点を選択する機能ブロックである。反復準備モジュール45は、ステップSP26に対応する機能ブロックである。なおここで特徴点情報は、各特徴点の現フレームにおける座標、動きベクトル等の情報である。
また特徴点総合モジュール44は、図17に示すように、ステップSP28における特徴点追跡処理と動きベクトル計算処理とにそれぞれ対応する特徴点追跡手段46及び特徴点動きベクトル算出手段47の機能ブロックと、ステップSP25の処理に対応する特徴点選択手段48の機能ブロックとを構成する。この実施例ではこの特徴点総合モジュール44における処理に、KLT法が利用される。
図18及び図19は、図10のステップSP25で説明した特徴点選択処理を詳細に示すフローチャートである。中央処理ユニット4は、この処理手順を開始すると、ステップSP31からステップSP32に移る。ここで中央処理ユニット4は、現フレームの特徴点数が1フレームの特徴点数Ntot未満か否か判断する。ここで中央処理ユニット4は、特徴点追跡、動きベクトル計算処理で特徴点が削除されている場合、このステップSP32で肯定結果を得ることができる。
これにより中央処理ユニット4は、このステップSP32で否定結果が得られると、ステップSP32からステップSP33に移ってこの処理手順を終了する。
これに対してステップSP32で肯定結果が得られると、中央処理ユニット4は、ステップSP32からステップSP34に移る。ここで中央処理ユニット4は、ブロックリストから所定の項目をコピーして、特徴点選択処理の作業用リストを作成する。ここでこの作業用リストは、各ブロックを特定する情報、各ブロックの特徴点数、全体の特徴点数を記録して作成される。中央処理ユニット4は、メモリ23に記録して保持した特徴点の座標値を判定してこの作業用リストを作成する。
中央処理ユニット4は、作業用リストを作成すると、ステップSP35に移り、特徴点の数が当初の設定数であるNfp個以上のブロックを、この作業用リストから削除し、このブロックを処理対象から除外する。これにより図20(A)に示すように、例えばブロックb1〜b9の特徴点数がそれぞれ10、0、8、1、5、4、3、5、1個の場合であって、当初の設定数Nfpが6個の場合、図20(B)に示すように、ブロックb1、b3の記録を作業用リストから削除する。なおこの例では、総合の個数Ntotを60個とする。従って現在、23個の特徴点が全体として不足していることになる。なお当然のことながら先頭1フレームでは、各ブロックの特徴点数は、0個であり、この場合、全体として特徴点が60個不足していることになる。
続いて中央処理ユニット4は、ステップSP36に移り、この作業用リストに記録されたブロックを、特徴点数でグループ化し、ソート処理により特徴点数が少ないグループの順に配列を変更する。中央処理ユニット4は、この特徴点数が少ないグループの順に配列を変更することにより、処理の優先順位を設定する。すなわち図20(B)の例によれば、図20(C)に示すように、特徴点数が0個のブロックb2による第1のグループG1、特徴点数が1個のブロックb4、b9による第2のグループG2、特徴点数が3個のブロックb7による第3のグループG3、特徴点数が4個のブロックb6による第4のグループG4、特徴点数が5個のブロックb5、b8による第5のグループG5にグループ化する。
続いて中央処理ユニット4は、ステップSP37に移り、各グループ内の配列をランダマイズする。続いて中央処理ユニット4は、ステップSP38に移り、現在の特徴点数が総合の個数Ntot以上か否か判断する。ここで肯定結果が得られると、中央処理ユニット4は、ステップSP38からステップSP33に移ってこの処理手順を終了する。
これに対してステップSP38で否定結果が得られると、ステップSP38からステップSP39に移る。
このステップSP39で、中央処理ユニット4は、作業用リストの先頭に記録されているブロックを特徴点の設定対象に設定する。また続くステップSP40において、この設定対象のブロックに特徴点を1つ設定する。なおこの特徴点の設定は、特徴点抽出処理により1つの特徴点を抽出して実行される。
続いて中央処理ユニット4は、ステップSP41に移り、当該ブロックの特徴点数が当初の設定数Nfpとなったか否か判断する。ここで特徴点を1個追加したにも係わらず、特徴点数が当初の設定数Nfpより小さい場合、中央処理ユニット4は、ステップSP41で否定結果が得られ、ステップSP41からステップSP42に移る。
このステップSP42で、中央処理ユニット4は、特徴点の追加設定に対応するように当該ブロックの特徴点数を更新し、作業用リストにおけるグループ分けを更新する。従って当該ブロックは、特徴点の追加設定により、特徴点数が次のグループに属するように作業用リストの記録が更新される。中央処理ユニット4は、この特徴点数が次のグループに属するように、当該グループの記録を作業用リスト上で更新する際に、当該ブロックについては、次のグループの末尾に配置する。従って図20(C)の例では、図20(D)に示すように、それまで特徴点が0個の第1のグループG1に属していたブロックb2に特徴点を追加設定し、このブロックb2の記録を、続く特徴点数が1個の第2のグループG2の末尾に記録する。
このようにして1つのブロックに特徴点を1個追加設定すると、中央処理ユニット4は、ステップSP38に戻る。これに対してステップSP41で肯定結果が得られると、この場合、当該ブロックの記録を作業用リストから削除した後、ステップSP38に戻る。これにより中央処理ユニット4は、全体の特徴点数が総合の個数Ntotとなるまで、特徴点数が少ないグループからランダムに、順次ブロックを選択して特徴点を追加設定する。
従って図20(D)の例では、続く第2のグループG2の先頭ブロックb4に特徴点を追加設定し、このブロックb4の記録を続く第3のグループG4のブロックb7の次に配置する。
なお中央処理ユニット4は、ステップSP40の処理により特徴点抽出処理で特徴点を抽出できなかった場合、ステップSP41からステップSP43に移り、当該ブロックを作業用リストから削除してステップSP38に戻る。
この図18及び図19の処理により、中央処理ユニット4は、図21に示す機能ブロックを構成する。ここでランダムシャッフル49は、作業リストにおける各グループの配列をランダマイズさせる機能ブロックである。
図22は、特徴点抽出処理を示すフローチャートである。なお中央処理ユニット4は、この特徴点抽出処理を実行するために、別途、各フレームで特徴点リスト、特徴点マップを作成する。ここで特徴点リストは、特徴点の候補のリストであり、特徴点の候補の特徴度と座標値のリストで形成される。ここで特徴度は、特徴点らしさを示す変数である。中央処理ユニット4は、KLT法により入力画像の各画素で特徴度を検出し、所定値以上の特徴度を有する画素の座標値を検出して特徴点の候補を選択する。さらにこの座標値を特徴度の大きい順にソートして特徴点リストを作成する。
具体的に、中央処理ユニット4は、次式の演算処理により得られる固有値α1、α2から値の小さい固有値を選択して特徴度とする。なおここでIxは、画素値の水平方向の微分値であり、Iyは、画素値の垂直方向の微分値である。また(1)式における演算範囲は、処理対象の画素を中心にした垂直方向、水平方向に所定範囲であり、この所定範囲は、例えば7×7画素の範囲である。この(1)式の処理により、中央処理ユニット4は、特徴点近辺における画素値の勾配のばらつきを計算し、このばらつきの激しさを示す変数を特徴度に設定する。従って例えば輝度変化の無い平坦な部分では、特徴点リストに特徴度が記録されないことになる。なおここでこの(1)式における(x、y)は、画素の座標である。
Figure 2007336235
これに対して特徴度マップは、入力画像の画素の配列に対応するように特徴度を配列したマップである。特徴度マップは、特徴点リストに登録されていない、一定値以上、特徴度が小さい画素については、特徴度が値0に丸めて記録される。特徴点リストは、特徴点に適した画素を優先的に選択するために使用され、特徴度マップは、特徴点リストで選択した候補を特徴点と設定する際の、周囲の状況を判定するために使用される。
中央処理ユニット4は、特徴点選択処理(図19、ステップSP40)からの要求によりこの処理手順を開始してステップSP51からステップSP52に移り、特徴点リストが空か否か判断する。ここで肯定結果が得られると、中央処理ユニット4は、ステップSP52からステップSP53に移り、特徴点の抽出不成功を特徴点選択処理に通知した後、ステップSP54に移ってこの処理手順を終了する。
これに対して特徴点リストに特徴点の候補が残っている場合、中央処理ユニット4は、ステップSP52で否定結果が得られ、ステップSP55に移る。ここで中央処理ユニット4は、特徴点リストの先頭に記録された特徴点の候補を選択する。また続くステップSP56において、ブロックリストを参照し、当該特徴点の候補が、特徴点を設定するブロックに存在するか否か判断する。ここで否定結果が得られると、中央処理ユニット4は、ステップSP56からステップSP57に移り、さらに特徴点の候補が特徴点リストに存在するか否か判断する。ここで否定結果が得られると、中央処理ユニット4は、ステップSP53に移って特徴点の抽出不成功を特徴点選択処理に通知した後、ステップSP54に移ってこの処理手順を終了する。
これに対してさらに特徴点の候補が特徴点リストに残っている場合、中央処理ユニット4は、ステップSP57で肯定結果が得られ、ステップSP57からステップSP58に移る。ここで中央処理ユニット4は、特徴点リストに記録された次の候補を選択し直し、ステップSP56に戻る。これにより中央処理ユニット4は、特徴点リストの記録を特徴度の高い順に順次スキャンして、特徴点を設定するブロックに属する特徴点の候補を検出する。
またこのような特徴点の候補が検出されると、中央処理ユニット4は、ステップSP56で肯定結果が得られ、ステップSP56からステップSP59に移る。ここで中央処理ユニット4は、特徴点追跡、動きベクトル計算処理で追跡に成功して、現フレームに既に存在する特徴点が、この候補を中心にした周囲、一定距離Δfpの範囲に存在するか否か判断する。ここで肯定結果が得られると、この場合、既存の特徴点の近傍に、特徴点を設定してしまうことになる。従ってこのステップSP59で肯定結果が得られると、中央処理ユニット4は、ステップSP57に移り、さらに特徴点の候補が特徴点リストに残っているか否か判断する。
これに対して特徴点の候補の周囲、一定の範囲に既存の特徴点が存在しない場合、中央処理ユニット4は、ステップSP59で否定結果が得られ、ステップSP60に移る。ここで中央処理ユニット4は、この特徴点候補の選択に対応するように特徴点リスト、特徴度マップの記録を更新する。具体的に、中央処理ユニット4は、当該特徴点の候補を中心にした、一定距離Δfpの範囲で、特徴度マップにおける特徴度を無効に設定する。なおこの無効に設定する処理は、特徴度マップ上でこの範囲の特徴度を負の値に設定して実行される。またこの無効の設定に対応するように、この一定範囲に含まれている特徴点の候補を特徴点リストから除外する。これにより中央処理ユニット4は、選択した特徴点の候補の周囲、一定の距離Δfpの範囲では、さらなる特徴点を選択できないように設定する。
続いて中央処理ユニット4は、ステップSP61に移り、ここで当該特徴点の候補を特徴点選択処理に通知し、ステップSP54に移ってこの処理手順を終了する。なお中央処理ユニット4は、この図22のステップSP61で通知された特徴点の候補を、図19のステップSP40で特徴点に設定する。
この図22の処理により、中央処理ユニット4は、図23に示すように、特徴点リスト52、特徴度マップ53を用いて特徴点を検出する特徴点抽出手段43を構成する。
なおステップSP59の処理において、周囲に特徴点が存在するか否かを判定するためには、この図22の処理手順を実行する毎に、既存の特徴点の記録を検索することになる。従ってこの図22の処理を繰り返す場合に、中央処理ユニット4は、処理の負担が大きくなる。従ってこの既存の特徴点の情報を特徴度マップ、特徴点リストの記録に反映させるようにして、処理の負担を軽減するようにしてもよい。具体的には、ステップSP60における特徴点リスト、特徴度マップの更新処理と同一の処理を、既存の特徴点に適用することが考えられ、このようにすれば処理を高速度化することができる。
(1−2)動きベクトル解析処理
図24は、上述の動きベクトル算出処理で検出されて、動きベクトル解析処理に渡される特徴点情報を示す図表である。この特徴点情報は、特徴点毎に、特徴点の座標P(x,y)、特徴度、有効無効フラグ、動きベクトル、分類情報等の属性情報が割り当てられて形成される。
ここで特徴点の座標P(x,y)は、特徴点の位置を示す位置情報であり、最初に特徴点が設定された時点で初期値が設定され、動きベクトル算出処理で特徴点の追跡が成功する毎に、最新の値に更新される。なお特徴点の座標P(x,y)は、画素値以下の少数点精度で割り当てられる。特徴度は、最初に特徴点が設定された時点で検出された値が適用される。有効無効フラグは、特徴点の座標P(x,y)等が有効か無効かを示すフラグであり、特徴点が最初に抽出された時点で有効にセットされる。動きベクトルは、対応する特徴点の動きベクトルが記録され、追跡が成功する毎に最新の値に更新される。上述の動きベクトル算出処理は、遮蔽などの影響で特徴点を追跡できなかった場合、有効無効フラグを無効にセットし、特徴点の座標P(x,y)等の他の属性情報をゼロにセットする。また特徴点を追加設定した場合、有効無効フラグが無効にセットされた特徴点の情報を検出し、この検出した特徴点の情報に追加登録した特徴点の情報をセットする。なお有効無効フラグが無効にセットされた特徴点の情報を検出できない場合には、特徴点の情報を追加する。
分類情報は、動きベクトル解析処理によって特徴点の所属を示す情報が設定される。分類情報は、特徴点が背景から検出されて背景に属するものであることを示す「背景特徴点」、特徴点が被写体から検出されて背景以外に属するものであることを示す「非背景特徴点」、これら「背景特徴点」、「非背景特徴点」の分類前であることを示す「分類前」の何れかに設定され、最初に特徴点が設定された時点では、「分類前」に設定される。
図25は、この特徴点情報を用いた動きベクトル解析処理を詳細に示すフローチャートである。なおこの図25に示す処理手順は、特徴点分類更新処理ステップSP65を除いて、有効無効フラグが有効に設定された特徴点情報のみを用いて実行される。中央処理ユニット4は、この処理手順を開始すると、ステップSP61からステップSP62に移り、動きベクトル算出処理から通知される特徴点情報に基づいて、動きベクトルの分布を示す2次元のヒストグラムを作成する。ここでこのヒストグラムは、動きベクトルの水平方向成分及び垂直方向成分をそれぞれx座標及びy座標に割り当て、度数をz軸方向に設定して作成される。なお中央処理ユニット4は、ヒストグラムの解像度rezで動きベクトルの水平方向成分及び垂直方向成分をそれぞれ割り算して四捨五入することにより、浮動小数点で得られる動きベクトルを量子化してヒストグラムを作成する。
なおこここで分類情報の確からしさを示す信頼度に応じて、各動きベクトルの度数を重み付けしてヒストグラムを作成するようにしてもよい。なおこのような信頼度は、連続して追跡に成功した回数を適用することができる。また近傍の特徴点との間の距離の変化度合を信頼度に適用することができる。従って背景として連続して追跡した回数が多い程、また近傍の特徴点との間の距離の変化度合が小さい場合程、大きな重みを設定して、背景である確率が高い山程、高さが高くなるように、ヒストグラムを作成して、背景の検出精度を向上することができる。なおこの重み付けの処理は、重み付け対象がヒストグラム化する際の度数である点を除いて、後述するピーク度合の重み付け処理と同一に実行することができる。但し、このように重み付けした場合、以降の処理における特徴点数等は、このヒストグラム上で現されている数となる。
続いて中央処理ユニット4は、ステップSP63において、画像領域分割法を適用して、ステップSP62で作成したヒストグラムにおける山を区分する。なおここでこの実施例では、watershed法が適用される。すなわち中央処理ユニット4は、図26(A)に示すように、ヒストグラム算出処理(ステップSP62)で作成されたヒストグラムから度数の最大値maxHistを検出する。また続いて図26(B)に示すように、この検出したこの度数の最大値maxHistから度数が立ち下がるように、ヒストグラムを反転させて反転ヒストグラムを作成する。
中央処理ユニット4は、続いて図26(C)に示すように、この反転ヒストグラムから局所最小値を順次検出する。なおこの図26(C)では、検出した局所最小値を白丸により示す。中央処理ユニット4は、このようにして各山のピーク値を検出する。またこの検出した各山による局所最小値をwatershedのシーズに設定し、図26(D)に示すように、watershedにより各山の境界を設定する。なおここで図26(D)では、破線により各山の境界を示し、ハッチングにより示す領域は、度数が分布していない領域である。
中央処理ユニット4は、図26(E)により示すように、このようにして検出した各山の境界でヒストグラムを構成する動きベクトルを分類し、ヒストグラムから各山を分離する。この実施例は、この画像領域分割法により境界を設定して山を分離することにより、背景の動きと被写体の動きとが似通っている場合でも、確実に背景の山と被写体の山とを分離して、カメラ動きベクトルの検出精度を確保する。
続いて中央処理ユニット4は、ステップSP64に移り、このようにして分離した山から背景による山を検出する。中央処理ユニット4は、この背景による山の検出を、特徴点情報に設定した分類情報に基づいて実行する。
図1は、このステップSP64の背景ピーク検出処理を詳細に示すブロック図である。この処理手順を開始すると、中央処理ユニット4は、ステップSP71からステップSP72に移る。ここで中央処理ユニット4は、現在のフレームが、動きベクトルを検出した先頭フレームか否か判断する。ここで肯定結果が得られると、中央処理ユニット4は、ステップSP72からステップSP73に移る。ここでこの場合、動きベクトルを検出した先頭フレームであって、全ての動きベクトルの分類情報が「分類前」に設定されていることにより、中央処理ユニット4は、最も高さの高い山を背景による山に設定した後、ステップSP74に移ってこの処理手順を終了する。なおこのようにして背景に設定された山に属する動きベクトルの特徴点は、後述する特徴点分類更新処理により分類情報が「背景特徴点」に設定され、それ以外は「非背景特徴点」に設定される。
これに対してステップSP72で否定結果が得られると、中央処理ユニット4は、ステップSP72からステップSP75に移る。中央処理ユニット4は、このステップSP75において、特徴点情報に設定された分類情報に基づいて、各ピークで、背景ピーク度合を計算する。ここで背景ピーク度合は、背景である確からしさを示す変数である。
ここでこの場合、入力画像に設定されている特徴点は、動きベクトル算出処理における特徴点の追跡、追加設定により、図27(A)に示すように、分類情報が「背景特徴点」、「非背景特徴点」、「分類前」に設定されたものが混在することになる。なお以下において、分類情報が「背景特徴点」、「非背景特徴点」、「分類前」に設定されている特徴点を、それぞれ四角の印、白抜きの丸印、黒丸により示す。
ここで図27(B)に示すように、カメラがパンし、このカメラのパンとは大きく異なって「非背景特徴点」に設定された特徴点を有する被写体が移動しているとする。この場合、図28に示すように、ヒストグラム上で、背景による山と被写体による山とは明確に分離されて検出されることから、ステップSP73と同一の処理により最も高さの高い山を検出して背景の山を検出するようにしても、正しく背景の山を検出することができる。
しかしながら被写体が移動して、画面上における被写体の面積が背景に比して大きくなる場合もあり、この場合には、最も高さの高い山を検出したのでは、背景を誤って検出することになる。従ってカメラ動きベクトルを誤検出することになる。
これに対して他の山に比して高さが低い場合でも、分類情報が「背景特徴点」に設定された特徴点による動きベクトルが支配的な山にあっては、「背景特徴点」に設定された特徴点が支配的であればある程、背景の山である可能性が高い。またこれとは逆に、「非背景特徴点」に設定された特徴点による動きベクトルが支配的な山にあっては、「非背景特徴点」に設定された特徴点が支配的であればある程、高さが高い場合でも、背景の山である可能性が低いと言える。すなわち各ピークにおいて、分類情報が「背景特徴点」に設定された特徴点による動きベクトルの割合が多くなればなる程、背景の山である可能性が高いと言える。
従って各山における「背景特徴点」に設定された特徴点の割合を計算し、最も割合の多い山を検出すれば、被写体が移動して、画面上における被写体の面積が背景に比して大きくなった場合でも、背景の山を検出することができる。
しかしながら図27との対比により図29に示すように、静止していた他の被写体2が移動を開始する場合もある。この場合、この被写体2から検出される特徴点は、図30(A)に示すように、それまで静止して背景として検出されていることにより、分類情報は「背景特徴点」に設定されていることになる。従って図30(B)に示すように、ヒストグラム上では、分類情報が「背景特徴点」に設定された2つの山が検出されることになる。従って単に、「背景特徴点」に設定された特徴点の割合により背景の山を検出していたのでは、何れの山が正しい背景の山なのかを検出できなくなる。
しかしながらこの場合に、このようにそれまで静止していて背景と判断されていた特徴点にあっては、本来の背景に比して面積が小さいと言え、山を構成する特徴点数が少ないと言える。これにより中央処理ユニット4は、背景特徴点の相対的な多さと、特徴点数の絶対的な多さとから、背景の山である確かしさを示す背景ピーク度合RPを計算し、この背景ピーク度合RPを判定して背景の山を検出する。具体的に、中央処理ユニット4は、山毎に、RP=RH×Kの演算処理を実行し、各山の背景ピーク度合RPを計算する。なおここでRHは、背景ピーク度合RPを計算する山全体の動きベクトル数に対する背景特徴点の動きベクトル数の割合である。またKは、係数であり、背景ピーク度合RPを計算する山の動きベクトル数が所定のしきい値thfp以上の場合、値1が適用され、背景ピーク度合RPを計算する山の動きベクトル数が所定のしきい値thfpより少ない場合、値0が適用される。なおKは、3値以上の値を適用するようにしてもよい。なおこのように背景ピーク度合RPを計算して背景を求めることは、画像領域分割法により境界を設定して山を分離したことによる、本来、背景以外から検出した動きベクトルが背景側の山に分類されることによる不都合を回避する意味もある。
なおこの背景ピーク度合RPを検出する際に、ヒストグラムを作成する際に上述したと同様に、分類情報の確からしさを示す信頼度に応じて、背景ピーク度合RPを重み付けして作成するようにしてもよい。なおこのような信頼度は、背景として連続して追跡に成功した回数、背景以外として連続して追跡に成功した回数を適用することができる。また背景として連続して追跡に成功した回数を適用する場合には、例えば連続した追跡成功回数を例えば5回程度の一定回数で制限するようにして、1回から一定回数までの中間値である追跡成功回数3回で重み係数を値1に設定し、これより追跡回数が増加、減少する程に、重み係数が値1から増大及び減少するように設定する。また処理対象を構成する山の動きベクトルのうちで属性情報により背景と分類されている動きベクトルで、この重み係数の平均値を計算し、この平均値を最終的な重み係数として上述した背景ピーク度合RPに乗算する。また背景以外として連続して追跡に成功した回数を適用する場合には、同様に追跡回数を制限するようにして、背景の場合とは逆に、追跡回数が増加、減少する程に、重み係数が値1から減少及び増大するように設定し、同様の処理を実行する。
またこのような信頼度として、近傍の特徴点との間の距離の変化度合いを信頼度に適用することもできる。この場合、近傍の特徴点との間の距離の変化度合いが大きい場合には、背景である場合の確からしさが低いと言える。これによりこの変化度合いに応じて、例えば背景以外として連続して追跡に成功した回数を適用する場合と同様に重み係数を計算して背景ピーク度合RPを重み付けすることができる。
中央処理ユニット4は、背景ピーク度合RPの値が最も大きな山を背景の山に設定し、それ以外を非背景の山に設定する。
続いて中央処理ユニット4は、ステップSP65(図25)に移り、図29の対比により図31に示すように、特徴点分類処理により、背景の山に分類された特徴点の分類情報を「背景特徴点」に設定し、背景の山に分類されなかった特徴点の属性情報を「非背景特徴点」に設定する。
続いて中央処理ユニット4は、ステップSP66において、背景部動きベクトル算出処理により、背景の山に分類された動きベクトルから背景の動きを計算した後、ステップSP67に移ってこの処理手順を終了する。中央処理ユニット4は、この図25の処理手順の実行により、図32に示す機能ブロックを構成する。なおここでヒストグラム算出部51、ピーク抽出部52、背景ピーク検出部53、特徴点分類更新部54、背景動きベクトル算出部55は、それぞれステップSP62、SP63、SP63、SP63、SP63の処理手順に対応する機能ブロックである。
図33は、ステップSP66の背景動きベクトル算出処理の処理手順を示すフローチャートである。中央処理ユニット4は、この処理手順を開始すると、ステップSP81からステップSP82に移り、特徴点分類更新処理ステップSP65で分類情報を「背景特徴点」に設定した特徴点で検出された動きベクトルから、信頼性の低い動きベクトルを除外し、処理対象を整理する。
すなわち中央処理ユニット4は、分類情報を「背景特徴点」に設定した特徴点で検出された動きベクトルの分布を統計学的に解析する。またこの分布の解析から分布中心を検出し、この分布中心からの各動きベクトルの距離が所定の判定基準値より大きいものを、処理対象から除外する。
より具体的に、中央処理ユニット4は、分類情報を「背景特徴点」に設定した特徴点で検出された動きベクトルを平均値化して平均ベクトルを計算する。またこれらの動きベクトルからこの標準偏差行列を生成する。なおここでこの標準偏差行列は、動きベクトルの水平方向成分、垂直方向成分の標準偏差による対角行列であり、以下、適宜、標準偏差ベクトルとも呼ぶ。
中央処理ユニット4は、この標準偏差ベクトルの水平方向成分Sx及び垂直方向成分Syにそれぞれ所定のしきい値thを乗算して水平方向成分の判定基準Sx×th及び垂直方向成分の判定基準Sy×thを計算する。また検査対象の動きベクトルVの水平方向成分Vxから平均ベクトルの水平方向成分Mxを減算した減算値Vx−Mxの絶対値を、水平方向成分の判定基準Sx×thで判定し、分布中心からの動きベクトルの水平方向の距離が判定基準値Sy×thより大きいものを、処理対象から除外する。
また残った各動きベクトルの垂直方向成分Vyから平均ベクトルの垂直方向成分Myを減算した減算値Vy−Myの絶対値を、垂直方向成分の判定基準Sy×thで判定し、分布中心からの動きベクトルの垂直方向の距離が判定基準値Sy×thより大きいものを、処理対象から除外する。
なおこの判定基準値は、時間方向の動きベクトルの分布の変化を反映させるようにしてもよい。具体的には、標準偏差の時間変動を検出し、この時間変動に応じて判定基準値の生成に使用したしきい値thの大きさを変化させる等である。
このようにして中央処理ユニット4は、処理対象の動きベクトルを整理すると、続くステップSP83において、残った動きベクトルを用いて平均値を計算し、背景の動きベクトルを計算する。中央処理ユニット4は、この背景の動きベクトルの符号を反転させて、カメラ動きベクトルMVCを計算する。
この図33の処理により、中央処理ユニット4は、図34に示す機能ブロックを構成する。なおここで動きベクトル整理部71、背景部の平均ベクトル算出部72は、それぞれ図33のステップSP82、ステップSP83の処理手順に対応する機能ブロックである。
(2)実施例の動作
以上の構成において、この手振れ補正装置1では(図2)、テレビジョンカメラ2で撮影したビデオ信号SVがハードディスク装置3にダウンロードされた後、ハードディスク装置3に格納された処理プログラムに従った中央処理ユニット4の処理により、手振れ補正処理されて外部機器に出力される(図3〜図7)。
この手振れ補正処理において、ビデオ信号SVは、IP変換処理されてフレーム単位で処理され、連続するフレームの各部で動きベクトルが検出される。またこの動きベクトルの解析により、手振れとカメラワークとによるカメラの動きを入力画像上で表すカメラ動きベクトルMVCが検出され、またさらにこのカメラ動きベクトルMVCの解析により、カメラワークのみによるカメラの動きを入力画像上で表すカメラ動きベクトルMVCTが検出される。ビデオ信号SVは、これらのカメラ動きベクトルMVC、MVCTに基づいて、手振れ補正用の補正ベクトルΔMVが順次計算され、この補正ベクトルΔMVで各フレームの動きが補正されて手振れ補正処理される(図8、図9)。
この手振れとカメラワークとによるカメラ動きベクトルMVCの検出では、入力画像中で背景が最も大きな面積を占めるとの仮定に基づいて、初めに、入力画像の各部で検出した動きベクトルでヒストグラムが作成され、このヒストグラム上で、最もサンプル数の集中する動きベクトルのグループが背景のグループとして検出される。またこの背景のグループに属する動きベクトルが平均値化されて、カメラ動きベクトルMVCTが検出される。
従ってこの実施例では、入力画像における各部の面積に比例するように、入力画像の各部から動きベクトルが均等に検出されないと、正しく背景を検出できなくなり、正しくカメラワークのみによるカメラ動きベクトルMVCTを検出できなくなる。そこで入力画像中で偏りなく、万遍に、動きベクトルを検出することが必要になる。
そこでこの手振れ補正装置1では、KLT法の特徴点抽出、追跡法を利用して入力画像の各部で動きベクトルを検出するようにして、ビデオ信号SVによる入力画像の各フレームが複数ブロックに分割される(図10、ステップSP23)。また先頭フレームでは各ブロックにそれぞれ一定数Nfpの特徴点が設定される(図10、ステップSP25)。また先頭フレームに続く連続するフレームの入力画像において、この特徴点の追跡により動きベクトルが検出される(図10、ステップSP28)。またこの続く連続するフレームの入力画像において、追跡困難な特徴点、隣接する特徴点に一定距離以上接近した特徴点が削除される。また各ブロックの特徴点の数が初めに設定した一定数Nfpとなるように、各ブロックに特徴点が追加設定され(図10、ステップSP25)、特徴点の分布の偏りが補正される。
この一連の処理により、この手振れ補正装置1では、背景が前景により遮蔽された場合、背景の一部がフレームアウトした場合等にあっても、概ね初めに設定した特徴点の数Nfpだけ各ブロックから動きベクトルを検出することができ、これにより偏り無く動きベクトルを検出することができる(図10〜図17)。またKLT法の特徴点抽出、追跡法を利用して動きベクトルを検出することから、ブロックマッチング法による場合に比して高い精度で動きベクトルを検出することができる。これにより画面全体から偏りなく高い精度で動きベクトルを検出することができる。
すなわちビデオ信号SVによる入力画像は、KLTの追跡法により、連続するフレームで各特徴点が追跡され、2つの特徴点が一定距離以上、近づくと、特徴点らしさを示す特徴度の低い側の特徴点が削除され、これにより特徴点の集中が防止されて特徴点の偏りが防止される(図10、ステップSP28)。またこのとき追跡困難な特徴点も削除される。
またビデオ信号SVによる入力画像は、各フレームで、特徴点らしさを示す特徴度の高い順に、各画素の座標値が対応する特徴度と共に順次リスト化され、特徴点の候補を特徴度の高い順に示す特徴点リストが作成される(図23)。また入力画像の画素の配列に対応するように特徴度を配列した特徴点マップが作成される(図23)。
ビデオ信号SVによる入力画像は、先頭フレーム以外の連続するフレームにおいて、特徴点の削除により当初の設定数に対して不足する特徴点が発生すると、初めに設定した特徴点の数Nfpに特徴点数が満たないブロックに、特徴度が高い順に特徴点が追加設定される(図22、ステップSP55−SP56−SP57−SP55)。またこのとき、既存の特徴点に対して一定距離以上離れていることが確認される(図22、ステップSP59)。
これにより特徴点の密度の低下が防止されて特徴点の偏りが防止される。このとき既存の特徴点から一定の距離だけ離れている個所で、特徴度が大きな順に特徴点を追加することにより、追加して設定した特徴点についても、KLTの追跡法により追跡して、十分に高い精度の動きベクトルを検出することができる。
より具体的に、手振れ補正装置1では、分割したブロックの情報を記録したブロックリストから、ブロック毎の特徴点数を示す作業用リストが作成され(図18、ステップSP34)、初めに設定した特徴点の数Nfpを特徴点数が満たすブロックがこの作業用リストから除外され(図18、ステップSP35)、これにより一定数Nfpに特徴点が不足するブロックが検出される。
またこの作業用リストに記録されたブロックが、不足する特徴点数毎にグループ化され、不足する特徴点数が順次少なくなるように、ソート処理により各グループ内の配列が変更される(図18、ステップSP36)。これによりこの手触れ補正装置1では、グループ単位で、特徴点を追加する処理順序が作業用リストに設定される。手触れ補正装置1では、作業用リストに記録された処理順序に従って、順次、不足する特徴点が対応するブロックに追加設定される。
これによりこの手振れ補正装置1では、種々の条件で、この追加設定の処理を制限して処理の高速化を図るようにしても、真に特徴点が不足するブロックに優先的に特徴点を設定して、動きベクトルの偏りを防止することができる。またこのように特徴点の不足するブロックをリスト化して、ソートすることにより、簡易な処理で処理順序を設定することができる。
具体的に、この手振れ補正装置1では、この処理を制限する条件が、1フレームの総合の特徴点数が、当初の設定値Ntotを越えない範囲で、特徴点を追加するとの条件であり、これにより実用上十分に、動きベクトルの偏りを防止して、特徴点の追加設定処理を必要最小限度に止めることができ、その結果、処理を簡略化して動きベクトルの偏りを防止することができる。
またこのとき作業用リストの各グループでは、ブロックの処理順序がランダマイズされ、これにより1フレームの総合の特徴点数が、当初の設定値Ntotを越えない範囲で、特徴点を追加するようにして、例えば画面左側等の、特定の個所への偏った特徴点の追加を防止することができ、これによっても動きベクトルの偏りを防止することができる。
またこの特徴点の追加は、1個、特徴点を追加する毎に、作業用リストが更新され、これによっても1フレームの総合の特徴点数が、当初の設定値Ntotを越えない範囲で、特徴点を追加するようにして、特徴点の偏りを防止して、動きベクトルの偏りを防止することができる。またランダマイズした配列の末尾に、特徴点を追加設定したブロックの記録を変更することによっても、特徴点の偏りを防止して、動きベクトルの偏りを防止することができる。
しかしながら入力画像では、被写体の動きにより背景の面積が被写体以上に小さくなる場合もある。また背景の動きを被写体の動きとが似通っている場合もある。このような場合、入力画像上で偏りなく動きベクトルを検出しても、ヒストグラム上で、最もサンプル数の集中する動きベクトルのグループを背景のグループとして検出してカメラ動きベクトルを検出していたのでは、背景の動きを正しく検出できなくなる。すなわちこの場合、背景の動き検出精度が劣化し、カメラの動きを正しく検出できなくなる。
このためこの手振れ補正装置1では、先頭1フレームで背景を検出する場合に限って、ヒストグラム上で動きベクトルの分布が集中して形成される山において、最も高さの高い山が検出され(図1、ステップSP73)、背景から検出した動きベクトルによるものと判定される。またこの背景の山に属する動きベクトルから平均値が求められてカメラ動きベクトルMVCが検出される。
またこのようにして背景から検出した動きベクトルによるものと判定された山に属する特徴点については、背景に属することが分類情報に記録され、また他の特徴点の分類情報には、背景に属しないことが記録される(図24、図25、ステップSP65)。
また以降のフレームでは、このようにして選定された分類情報を基準にして、背景から検出した動きベクトルによる山が検出される。またこの山の検出により属性情報が設定し直され、途中で追加設定された特徴については分類情報が設定される(図1、ステップSP75、SP76)。
これによりこの手振れ補正装置1では、過去に背景と判定されて、その後、背景の面積が小さくなって、背景から検出される動きベクトルの数が低下した場合でも、正しくヒストグラム上における背景の山を追跡して背景による山を検出することができる。従って、背景の面積が小さくなった場合にあっても、背景の誤検出を有効に回避して正しくカメラ動きベクトルを検出することができる。
また手振れ補正装置1では、ヒストグラムから背景による山を検出する際に、ヒストグラム上に現れた複数の山が、画像領域分割法により区切られ、複数の山に分割される(図25、ステップSP63及び図26)。またこのようにして分割した複数の山から背景の山が検出される(図25、ステップSP64)。従ってこの手振れ補正装置1では、背景の動きに被写体の動きが似通っていて、ヒストグラム上で背景の山と被写体の山とが部分的に重なり合っている場合でも、これらの山を区別して処理することができ、これによって背景の動きに被写体の動きが似通っている場合の、背景の動き検出精度の劣化が防止される。
より具体的に、この手振れ補正装置1では、入力画像の各部で検出された動きベクトルの大きさが、ヒストグラムの解像度rezで正規化されてヒストグラムが生成され、これにより所望する分解能でカメラ動きベクトルを簡易に検出することができるように設定される。
またこの山の分離に、watershed法が適用され(図26)、ヒストグラムが反転されて反転ヒストグラムが作成された後、この反転ヒストグラムにおける局所最小値がwatershedのシーズに設定されて各山が区分される。その結果、この手振れ補正装置1では、被写体の動きが種々に変化する場合にあっても、確実に山を分離して各部の動きを正確に検出することが可能になる。
またこのようにして分離した複数の山から背景の山を検出する場合には、初めの1フレームは山の高さにより背景の山が検出された後、以降のフレームでは、分類情報に基づいて背景の山である確かしさを示す背景ピーク度合RPを各山で計算し(図1、ステップSP75)、この背景ピーク度合RPの値が最も大きな山が背景による山と判定される(図1、ステップSP75)。
すなわち手振れ補正装置1では、背景の山における背景に分類された動きベクトル数の割合に、所定の係数Kを乗算して背景ピーク度合RPが計算される。これにより分類情報に基づいて、背景特徴点の相対的な多さにより背景ピーク度合RPが計算され、過去に背景と判定された可能性の高い特徴点が支配的な山が背景の山として検出され、種々に被写体の動きが変化した場合にあっても、背景の動きを正しく検出することが可能となる。
またこのとき山全体の動きベクトルの数が所定のしきい値thfp以上の場合、係数Kが値1に設定され、山全体の動きベクトルの数が所定のしきい値thfpより少ない場合、係数Kが値0に設定され、これにより山の高さを所定のしきい値thfpで量子化した係数Kにより背景の山検出に特徴点数が反映され、例えば静止していた被写体が動き出した場合(図31)等に、この動き出した被写体の動きを背景の動きとして誤検出することが防止される(図29、図30)。
なおこのように背景特徴点の相対的な多さと、特徴点数の絶対的な多さとから背景ピーク度合RPを計算し、この背景ピーク度合RPを判定して背景の山を検出していることから、動きベクトルのヒストグラムを作成する際に、動きベクトルの検出基準である特徴点の特質を利用して、背景の特徴点である確からしさを示す信頼度を計算し、この信頼度で背景ピーク度合RPが変化するように各動きベクトルのヒストグラム上における度数を重み付けしてヒストグラムを作成すれば、一段と確実に背景の山を検出することができる。
具体的に、背景として分類されて連続して追跡に成功した回数の多い特徴点は、追跡に成功した回数が多ければ多い程、背景に存在する可能性が高い。またこれとは逆に、背景で無いと分類されて連続して追跡に成功した回数の多い特徴点は、追跡に成功した回数が多ければ多い程、背景に存在する可能性が低い。従って対応する特徴点の追跡を連続して成功した回数を信頼度に設定して重み付け処理することにより、一段と確実に背景の山を検出することができる。
また背景は、背景の他の部位に対して異なる動きを呈する部位が少ない、一般に硬いものである。従って背景に存在する特徴点は、背景に分類された周辺特徴点との距離が、各フレームで変化しない可能性が高い。従って対応する特徴点の周辺特徴点との距離の変化度合を信頼度に設定し、重み付け処理することにより、一段と確実に背景の山を検出することができる。なおこのようにヒストグラムに信頼度を反映させた場合、ヒストグラムから背景の山を検出する等の一連の処理においては、このヒストグラム上における動きベクトルの分布を一連の計算の処理に適用することになる。
なおこのような信頼度による重み付け処理は、ヒストグラムを作成する際に、各動きベクトルの度数を重み付けしてもよく、またこれに代えて背景の山を検出する検出基準である各山の背景ピーク度合を重み付けするようにしてもよい。
この手振れ補正装置1では、このようにして検出した背景の山から、この山を構成する動きベクトルを平均化して、背景の動きベクトルが検出され、この背景の動きベクトルの符号が反転されて、カメラ及び手振れによるカメラの動きを入力画像上で表すカメラ動きベクトルMVCが計算される。
この平均化の際に、手振れ補正装置1では、統計的手法を適用して、背景の山に分類された動きベクトルから、誤って分類された可能性の高い動きベクトルを除外して平均値を計算し、これによってもカメラ動きベクトルの検出精度を向上する。
具体的に、手振れ補正装置1では、背景とされた山に属する動きベクトルの平均値が計算されて、この山の中心が計算される。またこの山の中心からの距離が所定の判定基準値で判定され、この距離が大きな動きベクトルが処理対象から除外され、これにより背景の動き検出精度が増大し、カメラ動きベクトルの検出精度が向上する。
このときこの距離の判定基準にあっては、背景とされた山に属する動きベクトルの標準偏差が計算され、この標準偏差に応じて設定される。これにより例えば風に木々が揺らめくような背景にあっては、判定基準値が大きな値に設定されるのに対し、建築物の壁のように硬い背景にあっては、判定基準値が小さな値に設定されて、処理対象が除外される。これによりこの手振れ補正装置1では、背景に応じて判定基準を可変して誤って分類された可能性の高い動きベクトルが処理対象から除外され、一段と高い精度で背景の動きを検出することができる。
なおこの判定基準値に、時間方向の動きベクトルの分布の変化を反映させるようにすれば、一段と検出精度を向上することができる。すなわち風に木々が揺らめく背景では、風の強さの時間変化によって揺らめきの大きさが変化し、この場合、背景から検出される動きベクトルの基準偏差が時間軸方向で変化することになる。従ってこの場合、この時間軸方向の分布の変化に対応するように、判定基準値を変化させて、検出精度を向上することができる。また連続した追跡回数、周辺画素との距離の変化度合による信頼度で判定基準値を補正するようにしても、連続した特徴点の追跡結果を平均値化の処理に反映させて検出精度を向上することができる。
(3)実施例の効果
以上の構成によれば、入力画像の各部に設定した特徴点で検出される動きベクトルをヒストグラム化して分類し、特定個所から得られた動きベクトルを検出して特定個所の動きを検出する場合に、過去の分類結果を示す分類情報を設定し、この分類情報を参考にして動きベクトルを分類することにより、画面の各部から得られる動きベクトルを用いてカメラの動きを検出する場合等に、高い精度でカメラの動き等を検出する。
またこのとき、ヒストグラムの複数の山を画像領域分割法によって区分して、背景等の特定の部位から得られた山を検出することにより、この特定の部位と動きが似通っている被写体等が存在する場合にあっても、特定の部位の山を確実に検出して正しく動きを検出することができる。
また分類情報の確からしさを示す信頼度を計算してヒストグラムの作成に反映させることにより、さらに一段と確実に背景等の特定部位による山を検出して検出精度を向上することができる。
具体的に、対応する特徴点の追跡を連続して成功した回数、対応する特徴点の周辺特徴点との距離の変化度合を信頼度に適用して、特徴点の追跡結果を山の検出に反映させて検出精度を向上することができる。
具体的に、先頭の1フレームでは、ヒストグラムにおける山の高さを判定して特定の部位から得られた山を検出し、以降のフレームでは、分類情報を基準にして特定の部位から得られた山を検出することにより、過去の検出結果を有効に利用して、この特定の部位の検出精度を向上することができる。
すなわち分類情報に基づいて、特定の部位から得られた山である確からしさを示すピーク度合を各山で算出し、最も値の大きなピーク度合による山を選択して特定の部位から得られた山を検出することにより、過去の検出結果を有効に利用して、この特定の部位の検出精度を向上することができる。
またこのとき特定の部位から得られた山に属するとされた特徴点を含む割合によりピーク度合を設定し、またさらには特定の部位から得られた山に属するとされた特徴点を含む割合に、山の高さを量子化した数値を乗算した値によりピーク度合を設定することにより、過去の検出結果を有効に利用して、この特定の部位の検出精度を向上することができる。
また分類情報の信頼度を計算してこのピーク度合を重み付けすることにより、より具体的には、対応する特徴点の追跡を連続して成功した回数、対応する特徴点の周辺特徴点との距離の変化度合を信頼度に適用することにより、特徴点の追跡結果を山の検出に反映させて検出精度を向上することができる。
またこの特定の部位の山に属する動きベクトルを平均値化する際に、山の中心から距離を所定の判定基準値で判定し、距離の遠いものを処理対象から除外することにより、誤って分類された可能性の高い動きベクトルを計算対象から除外して検出精度を向上することができる。
またこの判定基準値を、山に属する動きベクトルの標準偏差に応じて設定することにより、背景に応じて判定基準値を設定して、誤って分類された可能性の高い動きベクトルを計算対象から除外して検出精度を向上することができる。
またこの判定基準値を、山における分布の変化に応じて可変することによっても、背景に応じて判定基準値を設定して、誤って分類された可能性の高い動きベクトルを計算対象から除外して検出精度を向上することができる。
またこの場合も、分類情報の信頼度を計算してこの判定基準を重み付けすることにより、より具体的には、対応する特徴点の追跡を連続して成功した回数、対応する特徴点の周辺特徴点との距離の変化度合を信頼度に適用することにより、特徴点の追跡結果を平均値化の処理に反映させて検出精度を向上することができる。
またさらに処理対象画像を複数ブロックに分割し、特徴点の分布を補正しながら特徴点を追跡して動きベクトルを検出することにより、画面全体から偏りなく高い精度で動きベクトルを検出することができ、これによっても特定部位の動き検出精度を向上することができる。
なお上述の実施例においては、1種類のヒストグラムを処理して背景の山を検出し、背景の動きを検出する場合について述べたが、本発明はこれに限らず、分解能の異なる複数種類のヒストグラムを作成して一連の処理を簡略化するようにしてもよい。なおこの場合、低分解能のヒストグラムから、特定の部位から得られた低分解能の山を検出し、この低分解能の山に対応する山を分解能の小さな高分解能のヒストグラムから検出して背景の動きを検出することが考えられる。このようにすればヒストグラムの処理に要する時間を短くすることができる。
また上述の実施例においては、先頭の1フレームで、最も多くの特徴点が設定された山を背景とする場合について述べたが、本発明はこれに限らず、入力画像の周辺部に設定された特徴点から得られる山を選択して背景の山としてもよい。なおこの場合に、事前に、入力画像の周辺部に設定された特徴点の分類情報を背景特徴点に設定しておき、先頭1フレームでも分類情報を基準にして背景の山を検出するようにしてもよい。
また上述の実施例においては、当初設定した総合の特徴点数を1フレームの特徴点数が越えない範囲で、特徴点を追加設定する場合について述べたが、本発明はこれに限らず、当初設定した総合の特徴点数とは異なる一定数を越えない範囲としてもよく、またさらには十分な処理速度を確保することができる場合には、このような1フレームの特徴点数による処理の制限を取り除くようにしてもよい。なおこのように1フレームの特徴点数による処理の制限を取り除いた場合には、特徴点が不足するブロックの全てに、不足する数の特徴点を設定することになる。従ってこの場合は、特徴点の不足するブロックにおける処理順序の設定、グループ内のランダマイズ処理等は、省略することができる。
また上述の実施例においては、KLTの特徴点追跡法によって特徴点を削除して特徴点の集中を防止する場合について述べたが、本発明はこれに限らず、別途、特徴点数を判定して特徴点を削除し、特徴点の集中を防止するようにしてもよい。
また上述の実施例においては、KLT法により特徴点を追跡して動きベクトルを検出する場合について述べたが、本発明はこれに限らず、KLT法以外の特徴点の追跡法、特徴点を用いた動きベクトル検出手法を広く適用することができる。
また上述の実施例においては、動きベクトルを用いて手振れ補正する場合について述べたが、本発明はこれに限らず、例えば侵入者を監視する場合等、動きベクトルを用いた種々の画像処理に広くに適用することができる。
本発明は、動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置に関し、例えば動きベクトルを用いた手振れ補正処理に適用することができる。
本発明の実施例1の手触れ補正装置における背景ピーク検出処理を示すフローチャートである。 本発明の実施例1の手触れ補正装置を示すブロック図である。 図2の手振れ補正装置における中央処理ユニットの処理手順を示すフローチャートである。 図3の処理手順による手振れ補正の説明に供する特性曲線図である。 補正ベクトルによる補正を示す略線図である。 図3の処理手順による機能ブロック図である。 図6とは異なる例による機能ブロック図である。 図3の処理手順におけるフレーム間カメラ動き算出処理を詳細に示すフローチャートである。 図8の処理手順による機能ブロック図である。 図8の処理手順における動きベクトル算出処理を詳細に示すフローチャートである。 図10の処理手順による機能ブロック図である。 図10の処理手順の説明に供する略線図である。 特徴点の設定の説明に供する略線図である。 特徴点の追跡による動きベクトル検出の説明に供する略線図である。 特徴点の増減の説明に供する略線図である。 特徴点の追加の説明に供する略線図である。 図10の処理手順による機能ブロック図である。 図10の処理手順における特徴点選択を詳細に示すフローチャートである。 図18の続きを示すフローチャートである。 図18の処理手順の説明に供する図表である。 図18及び図19の処理手順による機能ブロック図である。 図19の処理手順における特徴点抽出処理を詳細に示すフローチャートである。 図22の処理手順による機能ブロック図である。 特徴点情報を示す図表である。 動きベクトル解析処理を詳細に示すフローチャートである。 図25の動きベクトル解析処理におけるピーク抽出処理の説明に供する特性曲線図である。 図26のピーク抽出処理の説明に供する略線図である。 図27の例によるヒストグラムを示す特性曲線図である。 背景の面積が低下する場合の説明に供する略線図である。 図20の例によるヒストグラムを示す特性曲線図である。 図25の動きベクトル解析処理における特徴点分類更新処理の説明に供する略線図である。 図25の処理手順による機能ブロック図である。 図25の動きベクトル解析処理における背景部動きベクトル算出処理の説明に供するフローチャートである。 図33の処理手順による機能ブロック図である。 被写体と背景との関係の説明に供する略線図である。 図35の例によるヒストグラムを示す特性曲線図である。 背景の面積が低下する場合の説明に供する略線図である。 背景の動きと被写体の動きとが似通った場合の説明に供する略線図である。
符号の説明
1……手振れ補正装置、2……テレビジョンカメラ、4……中央処理ユニット、22……フレーム間カメラ動き算出部、25……手振れ補正補間部、31……動きベクトル算出部、32……動きベクトル解析部、33……カメラ動き算出部、43……特徴点抽出手段、44……特徴点統合モジュール、46……特徴点追跡手段、47……特徴点動きベクトル算出手段、51……ヒストグラム算出部、52……ピーク抽出部、53……背景ピーク検出部、54……特徴点分類更新部、55……背景部動きベクトル検出部、71……動きベクトル整理部、72……背景部の平均ベクトル計算部


Claims (27)

  1. 連続する入力画像から特定の部位の動きを検出する動き検出方法において、
    前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、
    前記動き検出ステップは、
    前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、
    前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類のステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、
    前記ヒストグラム処理ステップは、
    特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する
    ことを特徴とする動き検出方法。
  2. 前記ヒストグラム処理ステップは、
    前記ヒストグラムの複数の山を画像領域分割法によって区分して、前記特定の部位から得られた山を検出する
    ことを特徴とする請求項1に記載の動き検出方法。
  3. 前記ヒストグラム作成ステップは、
    分解能の小さな高分解能のヒストグラムと、分解能の大きな低分解能のヒストグラムとを作成し、
    前記ヒストグラム処理ステップは、
    前記低分解能のヒストグラムから、前記特定の部位から得られた低分解能の山を検出し、該低分解能の山に対応する山を前記高分解能のヒストグラムから検出して、前記特定の部位から得られた山を検出する
    ことを特徴とする請求項1に記載の動き検出方法。
  4. 前記ヒストグラム作成ステップは、
    前記分類情報の確からしさを示す信頼度を計算し、
    前記信頼度で重み付けして前記ヒストグラムを作成する
    ことを特徴とする請求項1に記載の動き検出方法。
  5. 前記信頼度が、
    対応する前記特徴点の追跡を連続して成功した回数である
    ことを特徴とする請求項4に記載の動き検出方法。
  6. 前記信頼度が、
    対応する前記特徴点の周辺特徴点との距離の変化度合である
    ことを特徴とする請求項4に記載の動き検出方法。
  7. 前記ヒストグラム処理ステップは、
    先頭の1フレームでは、前記ヒストグラムにおける山の高さを判定して、前記特定の部位から得られた山を検出し、
    前記先頭の1フレーム以降のフレームでは、
    前記分類情報を基準にして前記ヒストグラムの複数の山を判定して、前記特定の部位から得られた山を検出する
    ことを特徴とする請求項1に記載の動き検出方法。
  8. 前記特定の部位が背景であり、
    前記ヒストグラム処理ステップは、
    先頭の1フレームでは、前記ヒストグラムにおける山から最も高さの高い山を選択して、前記特定の部位から得られた山に設定する
    ことを特徴とする請求項1に記載の動き検出方法。
  9. 前記特定の部位が背景であり、
    前記ヒストグラム処理ステップは、
    先頭の1フレームでは、前記入力画像の周辺部に設定された前記特徴点から得られる山を選択して、前記特定の部位から得られた山に設定する
    ことを特徴とする請求項1に記載の動き検出方法。
  10. 前記ヒストグラム処理ステップは、
    前記分類情報に基づいて、前記特定の部位から得られた山である確からしさを示すピーク度合を各山で算出し、
    最も値の大きな前記ピーク度合による前記山を選択して、前記特定の部位から得られた山を検出する
    ことを特徴とする請求項1に記載の動き検出方法。
  11. 前記ピーク度合が、
    前記分類情報により、前記特定の部位から得られた山に属するとされた前記特徴点を含む割合を示す値である
    ことを特徴とする請求項10に記載の動き検出方法。
  12. 前記ピーク度合が、
    前記分類情報により、前記特定の部位から得られた山に属するとされた前記特徴点を含む割合を示す値に、該山の高さを量子化した数値を乗算した値である
    ことを特徴とする請求項10に記載の動き検出方法。
  13. 前記ヒストグラム処理ステップは、
    前記分類情報の確からしさを示す信頼度を計算し、
    前記信頼度で前記ピーク度合を重み付けして処理する
    ことを特徴とする請求項10に記載の動き検出方法。
  14. 前記信頼度が、
    対応する前記特徴点の追跡を連続して成功した回数である
    ことを特徴とする請求項13に記載の動き検出方法。
  15. 前記信頼度が、
    対応する前記特徴点の周辺特徴点との距離の変化度合である
    ことを特徴とする請求項13に記載の動き検出方法。
  16. 前記動き計算ステップは、
    前記ヒストグラム処理ステップで検出した山における中心から距離を所定の判定基準値で判定し、前記中心からの距離の遠いものを処理対象から除外する処理対象の整理ステップと、
    前記処理対象の整理ステップで処理して残った前記山に属する前記動きベクトルの平均値を計算して前記特定の部位の動きを検出する平均値計算のステップとを有する
    ことを特徴とする請求項1に記載の動き検出方法。
  17. 前記平均値計算のステップは、
    前記処理対象の整理ステップで処理して残った前記山に属する前記動きベクトルから、前記分類情報を基準にして、前記特定の部位から得られた前記動きベクトルを選択して前記平均値を検出する
    ことを特徴とする請求項16に記載の動き検出方法。
  18. 前記判定基準値を、前記ヒストグラム処理ステップで検出した山に属する動きベクトルの標準偏差に応じて設定する
    ことを特徴とする請求項16に記載の動き検出方法。
  19. 前記判定基準値を、前記ヒストグラム処理ステップで検出した山における分布の変化に応じて可変する
    ことを特徴とする請求項16に記載の動き検出方法。
  20. 前記動き計算ステップは、
    前記分類情報の確からしさを示す信頼度を計算し、
    前記信頼度で重み付けして、前記判定基準値を作成する
    ことを特徴とする請求項19に記載の動き検出方法。
  21. 前記信頼度が、
    対応する前記特徴点の追跡を連続して成功した回数である
    ことを特徴とする請求項20に記載の動き検出方法。
  22. 前記信頼度が、
    対応する前記特徴点の周辺特徴点との距離の変化度合である
    ことを特徴とする請求項20に記載の動き検出方法。
  23. 前記入力画像を複数のブロックに分割するブロック分割のステップと、
    先頭フレームの前記入力画像において、前記ブロックにそれぞれ一定数の前記特徴点を設定する特徴点初期設定のステップと、
    前記先頭フレームに続く連続するフレームの前記入力画像において、前記特徴点を追跡して前記動きベクトルを検出する特徴点追跡ステップと、
    前記連続するフレームの前記入力画像において、前記特徴点の分布の偏りを補正する特徴点の補正ステップとを有する
    ことを特徴とする請求項1に記載の動き検出方法。
  24. 前記特定の部位が背景であり、
    前記動きベクトルに基づいて、前記入力画像の手振れを補正する手振れ補正のステップを有する
    ことを特徴とする請求項1に記載の動き検出方法。
  25. 演算処理手段の実行により、連続する入力画像から特定の部位の動きを検出する動き検出方法のプログラムにおいて、
    前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、
    前記動き検出ステップは、
    前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、
    前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類のステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、
    前記ヒストグラム処理ステップは、
    特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する
    ことを特徴とする動き検出方法のプログラム。
  26. 演算処理手段の実行により、連続する入力画像から特定の部位の動きを検出する動き検出方法のプログラムを記録した記録媒体において、
    前記動き検出方法のプログラムは、
    前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出ステップとを有し、
    前記動き検出ステップは、
    前記動きベクトルのヒストグラムを作成するヒストグラム作成ステップと、
    前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理ステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類のステップと、
    前記ヒストグラム処理ステップで検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算ステップとを有し、
    前記ヒストグラム処理ステップは、
    特徴点に設定済の前記分類情報を基準にして前記特定の部位から得られた山を検出する ことを特徴とする動き検出方法のプログラムを記録した記録媒体。
  27. 連続する入力画像から特定の部位の動きを検出する動き検出装置において、
    前記連続する入力画像に設定した特徴点の追跡により、前記入力画像の各部の動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトルの処理により前記特定の部位の動きを検出する動き検出部とを有し、
    前記動き検出部は、
    前記動きベクトルのヒストグラムを作成するヒストグラム作成部と、
    前記ヒストグラムにおける度数分布が集中した山を分類して、前記特定の部位から得られた前記山を検出するヒストグラム処理部と、
    前記ヒストグラム処理部で検出した前記山に属する前記特徴点と、他の特徴点と分類する分類情報を設定する特徴点分類部と、
    前記ヒストグラム処理部で検出した前記山に属する前記動きベクトルの解析により、前記特定の部位の動きを検出する動き計算部とを有し、
    前記ヒストグラム処理部は、
    特徴点に設定済の前記分類情報を基準にして、前記特定の部位から得られた山を検出する
    ことを特徴とする動き検出装置。

JP2006165569A 2006-06-15 2006-06-15 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 Expired - Fee Related JP4961850B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006165569A JP4961850B2 (ja) 2006-06-15 2006-06-15 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US11/762,329 US7925053B2 (en) 2006-06-15 2007-06-13 Motion detection method, motion detection program, storage medium in which motion detection program is stored, and motion detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006165569A JP4961850B2 (ja) 2006-06-15 2006-06-15 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置

Publications (3)

Publication Number Publication Date
JP2007336235A true JP2007336235A (ja) 2007-12-27
JP2007336235A5 JP2007336235A5 (ja) 2009-07-23
JP4961850B2 JP4961850B2 (ja) 2012-06-27

Family

ID=38935284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006165569A Expired - Fee Related JP4961850B2 (ja) 2006-06-15 2006-06-15 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置

Country Status (2)

Country Link
US (1) US7925053B2 (ja)
JP (1) JP4961850B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200760A (ja) * 2008-02-21 2009-09-03 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2009206628A (ja) * 2008-02-26 2009-09-10 Olympus Corp 撮像装置及び撮像プログラム
JP2010079655A (ja) * 2008-09-26 2010-04-08 Canon Inc 画像処理装置及び画像処理方法及び撮像装置及びプログラム
JP2010109461A (ja) * 2008-10-28 2010-05-13 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2010118862A (ja) * 2008-11-12 2010-05-27 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2012065128A (ja) * 2010-09-16 2012-03-29 Nikon Corp 画像評価装置及び画像評価プログラム
JP2012128745A (ja) * 2010-12-16 2012-07-05 Canon Inc 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム
JP2016528772A (ja) * 2013-07-08 2016-09-15 ▲華▼▲為▼▲終▼端有限公司 画像処理方法および画像処理装置、ならびに端末
JP2017011397A (ja) * 2015-06-18 2017-01-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US10212347B2 (en) 2016-02-02 2019-02-19 Canon Kabushiki Kaisha Image stabilizing apparatus and its control method, image pickup apparatus, and storage medium
JP2019200787A (ja) * 2018-05-09 2019-11-21 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP2019207523A (ja) * 2018-05-29 2019-12-05 大井電気株式会社 目標物認識装置
US10991105B2 (en) 2018-09-25 2021-04-27 Toyota Jidosha Kabushiki Kaisha Image processing device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003201136A1 (en) * 2002-02-06 2003-09-02 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
TW200926011A (en) * 2007-09-04 2009-06-16 Objectvideo Inc Background modeling with feature blocks
WO2010013236A1 (en) * 2008-07-29 2010-02-04 Superfish Ltd Increasing interest point coverage in an image
JP5106335B2 (ja) * 2008-09-24 2012-12-26 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US20100091859A1 (en) * 2008-10-09 2010-04-15 Shao-Yi Chien Motion compensation apparatus and a motion compensation method
JP4760918B2 (ja) * 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
JP5226600B2 (ja) * 2009-04-28 2013-07-03 富士フイルム株式会社 画像変形装置およびその動作制御方法
JP5740844B2 (ja) * 2009-11-24 2015-07-01 株式会社リコー 撮像装置、画像処理方法、及び、コンピュータプログラム
WO2011093013A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 情報処理装置及び情報処理方法
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
WO2012064106A2 (en) 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
KR101737087B1 (ko) * 2010-11-12 2017-05-17 삼성전자주식회사 카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치
US9036031B2 (en) 2010-12-23 2015-05-19 Samsung Electronics Co., Ltd. Digital image stabilization method with adaptive filtering
US9070042B2 (en) * 2011-01-13 2015-06-30 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, and program thereof
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9292934B2 (en) * 2012-10-29 2016-03-22 Hitachi Kokusai Electric Inc. Image processing device
US20140253702A1 (en) 2013-03-10 2014-09-11 OrCam Technologies, Ltd. Apparatus and method for executing system commands based on captured image data
US10339406B2 (en) 2013-03-15 2019-07-02 Orcam Technologies Ltd. Apparatus and method for using background change to determine context
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
KR102116791B1 (ko) * 2013-06-04 2020-06-09 삼성전자주식회사 깊이 정보를 사용한 움직인 물체 검출 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
JP6602141B2 (ja) * 2015-10-05 2019-11-06 キヤノン株式会社 画像処理装置および方法
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
JP6736414B2 (ja) * 2016-08-10 2020-08-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE112018002561B3 (de) 2017-04-21 2022-01-05 Zenimax Media Inc. Systeme und Verfahren zur Spielereingabe-Bewegungskompensation in einem Client-Server-Videospiel
US10614576B2 (en) * 2018-02-05 2020-04-07 Colossio, Inc. Method and device for partition-based image tracking
US10812823B2 (en) 2018-07-11 2020-10-20 Apple Inc. Global motion vector video encoding systems and methods
US11330296B2 (en) 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3149840B2 (ja) * 1998-01-20 2001-03-26 日本電気株式会社 動きベクトル検出装置及び方法
EP1107609A1 (en) * 1999-12-02 2001-06-13 STMicroelectronics S.r.l. Method of processing motion vectors histograms to detect interleaved or progressive picture structures
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
US7194110B2 (en) * 2002-12-18 2007-03-20 Intel Corporation Method and apparatus for tracking features in a video sequence
JP2004229084A (ja) 2003-01-24 2004-08-12 Sony Corp 手振れ補正装置、手振れ補正方法及び撮像装置
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279930B2 (en) 2008-02-21 2012-10-02 Sony Corporation Image processing apparatus and method, program, and recording medium
JP2009200760A (ja) * 2008-02-21 2009-09-03 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2009206628A (ja) * 2008-02-26 2009-09-10 Olympus Corp 撮像装置及び撮像プログラム
US8164685B2 (en) 2008-02-26 2012-04-24 Olympus Corporation Image pickup apparatus which performs aperture value control for a multiple exposure image, and recording medium
JP2010079655A (ja) * 2008-09-26 2010-04-08 Canon Inc 画像処理装置及び画像処理方法及び撮像装置及びプログラム
US8509481B2 (en) 2008-09-26 2013-08-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, imaging apparatus
JP2010109461A (ja) * 2008-10-28 2010-05-13 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム
JP2010118862A (ja) * 2008-11-12 2010-05-27 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2012065128A (ja) * 2010-09-16 2012-03-29 Nikon Corp 画像評価装置及び画像評価プログラム
JP2012128745A (ja) * 2010-12-16 2012-07-05 Canon Inc 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム
JP2016528772A (ja) * 2013-07-08 2016-09-15 ▲華▼▲為▼▲終▼端有限公司 画像処理方法および画像処理装置、ならびに端末
JP2017011397A (ja) * 2015-06-18 2017-01-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10212347B2 (en) 2016-02-02 2019-02-19 Canon Kabushiki Kaisha Image stabilizing apparatus and its control method, image pickup apparatus, and storage medium
JP2018151689A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2019200787A (ja) * 2018-05-09 2019-11-21 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP7341712B2 (ja) 2018-05-09 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP2019207523A (ja) * 2018-05-29 2019-12-05 大井電気株式会社 目標物認識装置
US10991105B2 (en) 2018-09-25 2021-04-27 Toyota Jidosha Kabushiki Kaisha Image processing device

Also Published As

Publication number Publication date
US7925053B2 (en) 2011-04-12
US20080107307A1 (en) 2008-05-08
JP4961850B2 (ja) 2012-06-27

Similar Documents

Publication Publication Date Title
JP4961850B2 (ja) 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
JP4793120B2 (ja) 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置
JP2007334625A (ja) 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP6509275B2 (ja) 画像の背景差分に用いられる背景モデルを更新する方法及び装置
US7187783B2 (en) Method and apparatus for color-based object tracking in video sequences
KR101891225B1 (ko) 배경 모델을 업데이트하기 위한 방법 및 장치
JP2020061066A (ja) 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
CN112911281B (zh) 一种视频质量评价方法及装置
CN109478329B (zh) 图像处理方法和装置
US20200250803A1 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
US10762372B2 (en) Image processing apparatus and control method therefor
KR20170038144A (ko) 어텐션 검출 장치 및 어텐션 검출 방법
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN115205655B (zh) 动态背景下的红外暗弱点目标检测***及其检测方法
CN112580447A (zh) 一种基于边缘二阶统计与融合的电力线检测方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2009182624A (ja) 目標追尾装置
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7407738B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6698058B2 (ja) 画像処理装置
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
JP2008003766A (ja) 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees