JP4245695B2 - 画像動きベクトル検出方法およびその装置 - Google Patents
画像動きベクトル検出方法およびその装置 Download PDFInfo
- Publication number
- JP4245695B2 JP4245695B2 JP26940598A JP26940598A JP4245695B2 JP 4245695 B2 JP4245695 B2 JP 4245695B2 JP 26940598 A JP26940598 A JP 26940598A JP 26940598 A JP26940598 A JP 26940598A JP 4245695 B2 JP4245695 B2 JP 4245695B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- local
- motion vector
- calculating
- complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、時間的に連続した複数枚の画像の画像全体の動きを検出する方法およびその装置に関する。さらに詳しくは、携帯情報端末やPC(personal computer)等のカメラアプリケーション(シームレス合成等)、またはビデオカメラの手ブレ補正機能等を実現する際に用いられる方法およびその装置である。
【0002】
【従来の技術】
画像全体の動きを検出するには時間的に連続した複数の画像中の複数箇所において局所的動きベクトルの検出を行い、その結果から全体の動きを算出する方法が使われている。局所的動きベクトルの検出方法に関しては、代表点マッチング、ブロックマッチング等さまざまな方法が知られている。
【0003】
以下、ブロックマッチングを用いた場合を一例として、従来の画像動きベクトルの検出方法について説明する。
【0004】
まず、図4に示す2枚の画像のうち、図4(a)に示す画像を基準側画像111とし、図4(b)に示す画像を比較対象側画像112とする。この基準側画像111の任意の箇所を注目点113とし、その周辺から予め定められた大きさおよび形状の微小画像を取り出す。通常、この微小画像の大きさは数ピクセルから十数ピクセルであり、形状は長方形もしくは正方形である。このような微小画像をブロック114という。また、比較対象側画像112の任意の位置を注目点とし、基準側画像111と同様にブロック116を切り出し、両ブロック間の相関を示す値を算出する。次式(1)は、この相関を示す値を算出する際に用いられる式であり、左辺のCSSD は相関を示す値であり、右辺では、それぞれのブロック113,116内の対応する位置にあるピクセルの画素値の差の自乗の合計を算出している。なお、式(1)において、f(i,j)は、基準側画像111に含まれるブロック113内のあるピクセルの画素値を示し、g(i,j)は、比較対象側画像112に含まれるブロック116内のあるピクセルの画素値を示す。
【0005】
【数1】
【0006】
つまり、基準側画像111および比較対象側画像112のブロック同士が近似している程、相関を示す値CSSD は小さくなる。この相関を示す値CSSD を最小にする、すなわち、比較対象側画像上の複数のブロック116から、基準側画像111から切り出したあるブロック114に最も近似しているブロック116を探索し、前記基準側画像111のあるブロック114の注目点113と、探索したブロック116の注目点115との相対的な位置ベクトルを、基準側画像111の注目点における局所的動きベクトルとする。
【0007】
また、前記ブロックマッチング等による局所的動きベクトル検出を複数箇所で行い、検出された複数箇所の局所的動きベクトルから画像全体の動きを算出する方法には、一般に、多数決方式といわれる方法が用いられる。すなわち、複数箇所の局所的動きベクトルの中で最も多い局所的動きベクトルを画像全体の動きであるとする方法である。この多数決方式を実施することは、局所的動きベクトルのヒストグラムを生成し、その最大値を検出することと等価である。
【0008】
【発明が解決しようとする課題】
従来の画像動きベクトル検出方法においては、局所的動きベクトル検出の計算量が大きくなるので、性能を損なわない範囲で可能な限り少ない箇所での局所的動きベクトルの検出のみから画像動きベクトルを算出することが必要とされる。
【0009】
しかしながら、単純な多数決方式は、原理的に充分に多くの箇所での局所的動きベクトルの検出を行わないと、安定した画像動きベクトル検出結果を得ることができない。すなわち、局所的動きベクトルの検出数が充分でない場合、さまざまな要因から発生する画像全体の動きとは異なる局所的動きベクトルを誤って画像動きベクトルとして検出してしまう可能性がある。
【0010】
例えば、背景が平坦な箇所では局所的動きベクトルの検出は不安定になり、誤検出を起こす割合が増加する。このような領域が画像上で大きな面積を占めている場合、局所的動きベクトルの誤検出が増大するため、これに基づき生成したヒストグラムはノイズが多くなると同時に求める画像全体の動きベクトルにあたる箇所のピークが低くなり、単純な多数決論理による方法、すなわち単純にヒストグラム上の最大値をとるベクトルを画像動きベクトルとする方法では画像動きベクトルの検出を安定して行うことができなくなる。
【0011】
また、物体の移動などによって画像中の対応する箇所が影に隠れてしまった場合等のように局所的動きベクトルの検出が不可能な場合に局所的動きベクトルが無意味な値をとることがある。これも、誤検出の一種である。このような形で誤検出された局所的動きベクトルもヒストグラム上では同様にノイズとなるため、画像動きベクトルの検出の安定性を損なう要因となる。
【0012】
本発明はこのような問題を解決すべく創案されたもので、より少ない箇所での局所的動きベクトルの検出結果から安定した画像全体の動きベクトルの算出ができる画像動きベクトル検出方法およびその装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明の画像動きベクトル検出方法は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出方法であって、複数枚の入力画像を画像記憶部に記憶する手順と、複数枚の入力画像のうちの1枚の画像から第1の局所的な画像を複数箇所切り出す手順と、残りの入力画像上から第2の局所的な画像を切り出し、この第2の局所的な画像と第1の局所的な画像との間の近似度を計算する処理を、第2の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、第1の局所的な画像との間の近似度が一番高い第2の局所的な画像を探索する手順と、第1の局所的な画像の複雑さを示す重み係数として第1の局所的な画像の画素値の分散の値を計算する手順と、第1の局所的な画像および第2の局所的な画像間の相関の度合から重み係数を計算する手順と、複雑さを示す重み係数と相関の度合から計算された重み係数とを用いて最終的な重みを計
算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する手順と、探索手順で求めた局所的動きベクトルと前記決定手順で決定した各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成する手順と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定する手順と、を含むものである。
【0014】
また、前記第1の局所的な画像の複雑さを示す重み係数を計算する手順では、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。
【0015】
また、前記第1の局所的な画像の複雑さを示す重み係数を計算する手順では、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【0016】
また、本発明の画像動きベクトル検出装置は、動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出装置であって、前記複数枚の入力画像を記憶する画像記憶部と、前記複数枚の入力画像のうちの1枚の画像から第1の局所的な画像を複数箇所切り出す切り出し部と、残りの入力画像上から第2の局所的な画像を切り出し、この第2の局所的な画像と前記第1の局所的な画像との間の近似度を計算する処理を、第2の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、前記第1の局所的な画像との間の近似度が一番高い第2の局所的な画像を探索する第2の局所的画像探索部と、前記第1の局所的な画像の複雑さを示す重み係数として第1の局所的な画像の画素値の分散の値を計算する複雑さ計算部と、第1の局所的な画像および第2の局所的な画像間の相関の度合から重み係数を計算する相関値計算部と、前記複雑さ計算部で計算された複雑さを示す重み係数と前記相関値計算部で計算された相関の度合から求められた重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する重み決定部と、前記第2の局所的画像探索部で探索された局所的動きベクトルと前記重み決定部で決定された各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定するピーク検出部と、を備えたものである。
【0017】
また、前記複雑さ計算部は、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくする。さらに、前記複雑さ計算部は、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくする。
【0018】
【発明の実施の形態】
本発明の画像動きベクトル検出方法およびその装置の実施の形態について図面を参照しつつ説明する。
【0019】
図1は、本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートであり、図2は、本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。なお、図2に示す検出装置を構成する各要素の内、カメラ1以外の回路要素は汎用の計算機上でソフトウエアのみによって実現する事も容易である。また、このカメラ1は写真機のような静止画像を撮影するものに限定されず、例えば、ビデオカメラのような動画像を撮影し得るものをカメラ1として用いてもよい。
【0020】
第1の手順として局所的動きベクトルの検出を行うために、まず、カメラ1によって2枚の画像を入力する。本実施の形態においても図4に示す2枚の画像を入力された2枚の画像の一例とする。通常、この2枚の画像としては、動画像中の時間的に近接または隣接する2枚の画像が用いられる。この入力された2枚の画像のうち、一方(図4(a)に示す画像)を基準側画像111として基準側画像メモリ2に格納し、他方(図4(b)に示す画像)を比較対象側画像112として比較対象側画像メモリ3に格納する。次いで、基準側画像111上で予め定められた複数の(本実施の形態では16個)注目点113全てに関し、局所的動きベクトルの検出を行う(S1)。
【0021】
具体的には、まず、基準側画像111上で予め定められた複数の注目点113から一つの注目点113を選択し、この注目点113周辺の部分画像を第1ブロック切り出し部4において取り出す。この切り出された部分画像は第1の局所的な画像であり、本実施の形態においてはブロック114という。
【0022】
次いで、比較対象側画像112上で、切り出された前記ブロック114に最も似ている箇所を検索する。この検索は、比較対象側画像112上から第2の局所的な画像を切り出すことと、この第2の局所的な画像と第1の局所的な画像(ブロック114)との間の近似度を計算することとを切り出し位置を変えながら繰り返して行い、第1の局所的な画像(ブロック114)との間の近似度が一番高い第2の局所的な画像を第2の局所的画像探索部によって探索することによって行われる。この第2の局所的画像探索部は、第2ブロック切り出し部5と第2相関値計算部6と局所動きベクトル探索部7とから構成されている。この第2ブロック切り出し部5は、比較対象側画像112上から第2の局所的な画像を切り出すために設けられている。なお、本実施の形態においては、第2の局所的な画像をブロック116という。また、第2相関値計算部6は、基準側画像111から切り出されたブロック114と比較対象側画像112から切り出されたブロック116との相関の度合を計算するために設けられ、局所動きベクトル探索部7は、ブロック114,116同士の相関の度合が最も高くなるブロック116を探索するために設けられる。
【0023】
この相関の度合の計算方法としてはさまざまな方法が知られている。前記式1や、次に示す式2および式3はよく知られた相関の計算方法である。式1は画素値の差の自乗の合計を算出する式であり、その解は一般にCSSD と呼ばれる。式2は画素値の差の絶対値の合計を算出する式であり、その解は一般にCSAD と呼ばれる。
【0024】
【数2】
【0025】
式3は、複数ある正規化相互関数を算出するための式の1つであり、その解はCRCC と呼ばれる。
【0026】
【数3】
【0027】
本発明においては、いずれの相関の度合を算出する式も容易に適用可能であるが、本実施の形態では式1を用いている。式1においては計算された値CSSD がより小さいほど相関の度合が高い。
【0028】
前記基準側画像111上の注目点113の位置と、相関の度合が最も高くなるブロック116を切り出したときの比較対象側画像112上の注目点115の位置との間の相対位置ベクトルが、基準側画像111の注目点113における局所的動きベクトルである。
【0029】
同様にして、前述の局所的動きベクトルの検出を基準側画像111の全ての注目点113に関して繰り返し行い、全ての注目点113における局所的動きベクトルを得る。なお、本実施の形態においては、1つの画像を複数のブロックに区切って行う、いわゆるブロックマッチングによる局所的動きベクトル検出手順を使用しているが、本発明は他の局所的動きベクトル検出手順も容易に適用可能である。
【0030】
さらに、第2の手順として、前述の手順によって求められたそれぞれの注目点113における局所的動きベクトルに対し重み付けを行う(S2)。
【0031】
具体的には、まず、注目点113付近の画像の複雑さを示す重み付け係数Wcomplexを複雑さ計算部8において決定する。例えば、前記重み付け係数Wcomplexを次に示す式4〜式6の解であるS2 、SまたはDと定義した場合、複雑さ計算部8において式4〜式6の解を計算し重み付け係数Wcomplexを決定する。
【0032】
式4は、分散S2 を求める計算式の一例である。右辺の1/mnは1/(mn−1)とする場合もあるが、本実施の形態においては、除算を高速に処理するために1/(mn−1)の代わりに近似的に1/mnを採用している。また、式5に示すように標準偏差Sを式4で求めた分散S2 から容易に求めることができる。なお、m×nはブロック114中の画素数を示し、mは縦方向、nは横方向のブロックの大きさを示す。
【0033】
【数4】
【0034】
【数5】
【0035】
また、式6は、画素値の絶対値の合計を算出する計算式の一例である。画素値の微分による計算式としては本実施の形態で例示したものの他にもさまざまな計算式がある。
【0036】
【数6】
【0037】
前述の式4および式6はいずれも本発明に容易に適用できるが、本実施の形態においては式4を適用、すなわち前記ブロックマッチングにおいて基準側画像111から切り出したブロックの画素値の分散の値を重み付け係数Wcomplexとして使用する。また、本実施の形態では、画像の複雑さの計算に使用する画素値としてブロックマッチングで使用したブロックの画素値を使用しているが、必ずしも両者が同一である必要はない。なお、画像が複雑である程、この画像に関わる局所的動きベクトルを信用できるので、重みを大きくする。
【0038】
例えば、図4(a)において、右から1番目、上から1番目の注目点113aと、右から1番目、上から3番目の注目点113bとを比較した場合、注目点113aを含むブロック114aには背景しか含まれておらず、注目点113bを含むブロック114bには背景と車の一部が含まれている。そのため、注目点113bを含むブロック114bは、注目点113aを含むブロック114aよりも複雑な画像であると判断される。従って、注目点113bに関する局所的動きベクトルの重み付け係数Wcomplexは、注目点113aに関する局所的動きベクトルの重み付け係数Wcomplexよりも大きくなる。
【0039】
次いで、前記ブロックマッチングにおける基準側画像111から切り出したブロックと、それとの相関が最も高かった比較対象側画像112から切り出したブロックとの相関の度合から重み付け係数Wcorrelativeを第1相関値計算部9において計算する。
【0040】
先に、ブロックマッチングの説明のところでも述べたように、相関の度合の計算式としてはさまざまな式があり、本発明にそれらを適用することは容易である。本実施の形態においては、ブロックマッチングと同様に式1の解であるCSSD を重み付け係数Wcorrelativeと定義する。ただし、ブロックマッチングを行う場合や重み付け係数を計算する場合において、相関の度合の計算式や、使用するブロックのサイズや形状は必ずしも同一である必要はない。なお、相関の度合いが高い程、局所的動きベクトルを信用できるので、重みを大きくする。
【0041】
例えば、図4(a)において、右から1番目、上から3番目の注目点113bと、右から1番目、上から4番目の注目点113cとを比較した場合、注目点113bは、図4(b)中の右から1番目、上から3番目の注目点115aと対応しており、注目点113cは、図4(b)中の右から1番目、上から4番目の注目点115bと対応している。図4から明らかなように、図4(b)中の注目点115aを含むブロック116aは、図4(a)中の注目点113bを含むブロック114bとほぼ一致しており相関の度合が高く、図4(b)中の注目点115bを含むブロック116bは、図4(a)中の注目点113cを含むブロック114cと比べて、右にシフトしており相関の度合が低い。従って、注目点113bに関する局所的動きベクトルの重み付け係数Wcorrelativeは、注目点113cに関する局所的動きベクトルの重み付け係数Wcorrelativeよりも大きくなる。
【0042】
最後に、前述の手順によって求めた各重みを統合し、一つの局所的動きベクトル検出結果に対する最終的な重みを重み決定部10において決定する。本実施の形態においては、式7に示すように、最終的な重みWtotalを計算するために1つの注目点113ごとに重み付け係数Wcomplexと重み付け係数Wcorrelativeとの積を算出している。なお、最終的な重みWtotalを計算する際には、重み付け係数Wcomplexと重み付け係数Wcorrelativeとの積の他に、例えば重み付け係数Wcomplexと重み付け係数Wcorrelativeとの和を計算する等、さまざまな算出手順があり、本発明に対してこれらを適用することは容易である。
【0043】
【数7】
【0044】
前記最終的な重みWTOTAL を全ての注目点113に関して計算し、全ての注目点113における局所的動きベクトルの重みを決定する。
【0045】
さらに、第3の手順として、局所的動きベクトル探索部7において求めた局所的動きベクトルと、重み決定部10において求めた各局所的動きベクトルの重み付け係数とから、重み付けを行った後の局所的動きベクトルのヒストグラムをヒストグラム作成部11において作成する(S3)。
【0046】
図3は、作成されたヒストグラムの一例を示すグラフである。なお、図3は1次元のヒストグラムとなっているが、これは説明を簡便にするためであり、本実施の形態におけるヒストグラムは動きベクトルの水平成分および垂直成分を軸とする2次元のヒストグラムが作成される。
【0047】
さらに、第4の手順として、前述の手順で作成されたヒストグラムに対し、ピーク検出部12においてピーク検出を行う(S4)。本実施の形態においては、予め設定しておいた大きさのウィンドウWを使用し、ウィンドウW内のヒストグラム値の合計の最大になる箇所をピークPとしている。すなわち、次式8を満足する(x,y)を求めてこれをピークとする。なお、(x,y)は、ヒストグラム上のある座標を示し、h(x+i,y+j)は、ヒストグラム上のある座標における最終的な重みWtotalの合計を示す。
【0048】
【数8】
【0049】
ピーク検出手順は、前述のもの以外に、単純に最大値を検索する方法や、クラスタリングによる方法等、さまざまな方法が有り、これらさまざまなピーク検出方法は本発明に容易に適用できる。
【0050】
前記ピーク検出によって得られたピークPに関わる局所的動きベクトル、すなわち式8を満足する(x,y)に関わる局所的動きベクトルが、基準側画像111と比較対象側画像112との間の画像動きベクトルである。
【0051】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない局所的動きベクトル検出結果から画像全体の動きベクトルを安定して検出することができる。従って、回路によって実現する場合には回路規模の縮小ができ、汎用の計算機上でソフトウエアによって実現する場合にはより計算能力の小さい計算機を用いて実施することができる。また、それによりコストダウンや消費電力の軽減が可能となる。
【図面の簡単な説明】
【図1】本発明の画像動きベクトル検出方法の一実施の形態を示すフローチャートである。
【図2】本発明の画像動きベクトル検出方法を実施する際に使用される画像動きベクトル検出装置を示すブロック図である。
【図3】作成されたヒストグラムの一例を示すグラフである。
【図4】カメラから入力された2枚の画像の一例を示す説明図である。
【符号の説明】
1 カメラ
2 基準側画像メモリ
3 比較対象側画像メモリ
4 第1ブロック切り出し部
5 第2ブロック切り出し部
6 第2相関値計算部
7 局所動きベクトル探索部
8 複雑さ計算部
9 第1相関値計算部
10 重み決定部
11 ヒストグラム作成部
12 ピーク検出部
Claims (6)
- 動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出方法であって、
複数枚の入力画像を画像記憶部に記憶する手順と、
複数枚の入力画像のうちの1枚の画像から第1の局所的な画像を複数箇所切り出す手順と、
残りの入力画像上から第2の局所的な画像を切り出し、この第2の局所的な画像と第1の局所的な画像との間の近似度を計算する処理を、第2の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、第1の局所的な画像との間の近似度が一番高い第2の局所的な画像を探索する手順と、
第1の局所的な画像の複雑さを示す重み係数として第1の局所的な画像の画素値の分散の値を計算する手順と、
第1の局所的な画像および第2の局所的な画像間の相関の度合から重み係数を計算する手順と、
複雑さを示す重み係数と相関の度合から計算された重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する手順と、
探索手順で求めた局所的動きベクトルと前記決定手順で決定した各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成する手順と、
作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定する手順と、を含むことを特徴とする画像動きベクトル検出方法。 - 前記第1の局所的な画像の複雑さを示す重み係数を計算する手順では、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくすることを特徴とする請求項1記載の画像動きベクトル検出方法。
- 前記第1の局所的な画像の複雑さを示す重み係数を計算する手順では、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくすることを特徴とする請求項1記載の画像動きベクトル検出方法。
- 動画像中の時間的に近接または隣接する複数枚の入力画像の複数の検出箇所において各画像間の局所的動きベクトルをそれぞれ検出し、局所的動きベクトル検出結果から画像全体の動きベクトルを算出する画像動きベクトル検出装置であって、
前記複数枚の入力画像を記憶する画像記憶部と、
前記複数枚の入力画像のうちの1枚の画像から第1の局所的な画像を複数箇所切り出す切り出し部と、
残りの入力画像上から第2の局所的な画像を切り出し、この第2の局所的な画像と前記第1の局所的な画像との間の近似度を計算する処理を、第2の局所的な画像の切り出し位置を変えながら繰り返し行うことによって、前記第1の局所的な画像との間の近似度が一番高い第2の局所的な画像を探索する第2の局所的画像探索部と、
前記第1の局所的な画像の複雑さを示す重み係数として第1の局所的な画像の画素値の分散の値を計算する複雑さ計算部と、
第1の局所的な画像および第2の局所的な画像間の相関の度合から重み係数を計算する相関値計算部と、
前記複雑さ計算部で計算された複雑さを示す重み係数と前記相関値計算部で計算された相関の度合から求められた重み係数とを用いて最終的な重みを計算する処理を、全ての検出箇所に関して行うことによって、全ての検出箇所における局所的動きベクトルの重み係数を決定する重み決定部と、
前記第2の局所的画像探索部で探索された局所的動きベクトルと前記重み決定部で決定された各局所的動きベクトルの重み係数とに基づいて、重み付け後の局所的動きベクトルのヒストグラムを作成するヒストグラム作成部と、
作成されたヒストグラムのピーク検出によって得られたピークに関わる局所的動きベクトルを入力画像間の画像動きベクトルとして決定するピーク検出部と、を備えたことを特徴とする画像動きベクトル検出装置。 - 前記複雑さ計算部は、局所的動きベクトルを検出した箇所を含む周辺部の画像の複雑さを計算する際に、その計算結果に基づき画像が複雑であるほど重み係数を大きくすることを特徴とする請求項4記載の画像動きベクトル検出装置。
- 前記複雑さ計算部は、前記複数枚の入力画像における局所的動きベクトルを検出した箇所間の相関の度合を計算する際に、その計算結果に基づき相関の度合が高いほど重みを大きくすることを特徴とする請求項4記載の画像動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26940598A JP4245695B2 (ja) | 1998-09-24 | 1998-09-24 | 画像動きベクトル検出方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26940598A JP4245695B2 (ja) | 1998-09-24 | 1998-09-24 | 画像動きベクトル検出方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000099744A JP2000099744A (ja) | 2000-04-07 |
JP4245695B2 true JP4245695B2 (ja) | 2009-03-25 |
Family
ID=17471965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26940598A Expired - Fee Related JP4245695B2 (ja) | 1998-09-24 | 1998-09-24 | 画像動きベクトル検出方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4245695B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7880769B2 (en) * | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
JP4079375B2 (ja) * | 2004-10-28 | 2008-04-23 | シャープ株式会社 | 手ぶれ補正装置 |
JP4665737B2 (ja) * | 2005-11-30 | 2011-04-06 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
US7840085B2 (en) * | 2006-04-06 | 2010-11-23 | Qualcomm Incorporated | Electronic video image stabilization |
KR20100130620A (ko) * | 2008-03-10 | 2010-12-13 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치 |
JP5300413B2 (ja) * | 2008-10-28 | 2013-09-25 | キヤノン株式会社 | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム |
US8368771B2 (en) * | 2009-12-21 | 2013-02-05 | Olympus Imaging Corp. | Generating a synthesized image from a plurality of images |
-
1998
- 1998-09-24 JP JP26940598A patent/JP4245695B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000099744A (ja) | 2000-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8379986B2 (en) | Device, method, and computer-readable storage medium for recognizing an object in an image | |
US8369574B2 (en) | Person tracking method, person tracking apparatus, and person tracking program storage medium | |
US20080199044A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
JP3481430B2 (ja) | 移動体追跡装置 | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
US20060098846A1 (en) | Movement analysis apparatus | |
CN111242973A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
JP2003288160A (ja) | 指の動きの検出方法および検出装置 | |
US20090245575A1 (en) | Method, apparatus, and program storage medium for detecting object | |
EP3410353A1 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
JP2006245677A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4245695B2 (ja) | 画像動きベクトル検出方法およびその装置 | |
US7602943B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6305856B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2020098575A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2004140693A (ja) | 画像処理装置 | |
US11373382B2 (en) | Augmented reality implementation method | |
CN115063443A (zh) | 一种实时多目标跟踪方法及*** | |
WO2023152971A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11741756B2 (en) | Real time kinematic analyses of body motion | |
WO2022153481A1 (en) | Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium | |
WO2023089690A1 (ja) | 検索装置、検索方法、およびプログラム | |
US20240126806A1 (en) | Image processing apparatus, and image processing method | |
JP3437087B2 (ja) | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 | |
WO2023152973A1 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070704 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070808 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |