JP2506500B2

JP2506500B2 - 画像の動き検出装置

Info

Publication number: JP2506500B2
Application number: JP30948090A
Authority: JP
Inventors: 功川原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1990-11-14
Filing date: 1990-11-14
Publication date: 1996-06-12
Anticipated expiration: 2011-06-12
Also published as: JPH04180371A

Description

【発明の詳細な説明】産業上の利用分野本発明は、カメラのゆれ、回転などにより発生する画
面の搖れを検出する画像の動き検出装置に関する。

従来の技術従来、このような分野の技術としては、例えば特願昭
61−269475号公報に示されているものが知られている。
第６図は、この従来の画像の動き検出装置の構成図を示
すものである。第６図において、22〜29は画面を４分割
した各領域のそれぞれについていわゆるブロックマッチ
ング法によって、前画像フレームの信号と現画像フレー
ムの信号との相関演算を行い、それによって得られた相
関値の中で最も相関の大きい相関値を探索するととも
に、その相関値を与える候補ベクトルを検出する。有効
・無効判定回路30は候補ベクトルの有効・無効を相関値
の値を用いて判定し、ベクトル判定回路31へ判定信号Ｄ
を出力する。ベクトル判定回路31は有効と判定された候
補ベクトルより画像全体の平行移動量を示す動きベクト
ルを算出する。このような構成により、絵柄に変化の乏
しい部分の候補ベクトルは信頼性が低いとして無効と
し、動きベクトルの計算から除外することにより、動き
ベクトル検出の精度を向上させようとするものである。

また回転、ズームを含む動きをもった物体の動きを求
める方法として、例えば「大きさ・向きを変える物体の
動きベクトル検出方法」（電子情報通信学会春季全国大
会（1989年）Ｄ−109、p7−91）に示されるものがあ
る。

発明が解決しようとする課題しかしながら、前者の第６図のような構成では、各候
補ベクトルの有効・無効の判定を各候補ベクトルの対応
する各分割画面について得られた相関値によってのみ行
っており、画像全体の動きと異なる候補ベクトルに対す
る考慮が不十分であった。例えば、変化に富む絵柄をも
った画面の一部の領域が全体と異なる動きをする場合で
あっても、この動きに対する候補ベクトルは前述の相関
値による判定では有効と判定され、画像全体の動きの判
定に大きな誤差を与えることがあった。

また従来例では、例えばカメラのズーミング状態を検
出するためにはカメラの光学系の中心点と信号処理上の
中心点とが一致している必要があり、しかも回転、平行
移動が組み合わされた場合にはこれを検出することがで
きなかった。

また後者の電子情報通信学会春季全国大会（1989年）
Ｄ−109、p7−91に示されたような方法では、画像全体
の動きと大きく異なる動きをもった領域が存在する場合
でも、これを排除せず画像全体の動きの算出に用いてい
るため、通常の画像では局所的な動きの影響を受け、必
ずしも高い精度を得ることができなかった。

本発明は、このような従来の課題を解決するもので、
画面の一部が全体と異なった動きをした場合や、カメラ
のゆれや回転、カメラのズーミング操作等が発生した場
合においても、画像の動きを精度よく検出できる画像の
動き検出装置を提供することを目的としている。

課題を解決するための手段本発明は、画像の複数の領域の動き量を検出する手段
と、これら検出した動き量のうちの複数を用いて画像の
動きを表す変換係数を算出する手段と、この変換係数を
用いて画面上の複数の領域における予測動き量を算出す
る手段と、この予測動き量と検出した複数の領域の動き
量との誤差が所定の値以下となる領域を抽出する動き領
域抽出手段と、抽出された動き量を用いて画像全体の動
きを決定する手段とを備えてなるものである。

作用本発明によれば、上記した構成により、画像の複数の
領域の動き量を検出し、これら検出した複数の領域の動
き量のうち複数個を選んで、平行移動のほか回転、拡
大、縮小の組合せによって生じた画像全体の動きを表す
変換係数を算出する。従って、回転、拡大、縮小などの
動きのように、画面の位置によって得られる動きベクト
ルの向きや大きさが異なる場合でも、同一の動きに対し
ては同一の変換係数が得られ、同一の動きに属する領域
を識別することが可能になる。また算出された変換係数
をもとに、画像の他の位置における動き量を予測し、予
測した動き量と検出した動き量の差が所定の閾値より小
さい領域を抽出しているので、類似した動きをもつ部分
のみを同一の領域として得ることができ、平行移動のほ
か回転、拡大、縮小を含む画像全体の動き、および全体
の動きと異なる一部の領域の動きを高い精度で検出する
ことができる。

実施例以下、本発明の実施例について、以下図面を参照しな
がら説明する。

第１図は、本発明の一実施例における画像の動き検出
装置の構成図を示すものである。第１図において、１は
画像入力端子、２は動きベクトル検出回路で、画面をｎ
個に分割した領域の動き量を動きベクトルV_l〜V_nとして
検出する手段である。３は動きベクトル選択回路であっ
て、その得られた動きベクトルV_l〜V_nのうち、任意の２
つの動きベクトルV_i、V_j（ｉ≠ｊ）を選択する動きベク
トル選択回路であり、４はその２つの動きベクトルV_i、
V_j（ｉ≠ｊ）に基づき、変換係数を算出する変換係数算
出回路である。５は動き量予測回路であり、変換係数算
出回路４で得た変換係数を用いて画面上の他の位置にお
ける動き量を予測する手段である。６はその動きベクト
ル検出回路２で検出した動き量と、動き量予測回路５で
予測した動き量との誤差を求める誤差検出回路、７はそ
の誤差と閾値を比較する閾値回路、８はその結果から動
き領域を抽出する動き領域抽出回路、９は画像全体の動
きを決定する動き決定回路、10はその結果を出力する動
き量出力端子である。

以上のように構成された本実施例の画像の動き検出装
置について、以下その動作を説明する。

動きベクトル検出回路２では、いわゆるパターンマッ
チング法によって、画面をｎ分割した場合の各領域にお
ける動き量を動きベクトルV_l〜V_nとして検出する。動き
ベクトル選択回路３はV_l〜V_nの中から２つの動きベクト
ルを選択し、これを用いて変換係数算出回路４は画像の
動きを変換係数として、以下のようにして算出する。

平行移動、拡大・縮小、回転などの動きによって画像
中の（x,y）の点が（X,Y）に移動したとすると、X,Yは
移動前のx,yと係数ａ、ｂ、ｃ、ｄを用いてＸ＝ ax＋by＋ｃＹ＝−bx＋ay＋ｄと表すことができる。変換係数ａ〜ｄは、２つの位置に
おける動きベクトルを用いて以下のようにして求めるこ
とができる。

点（x,y）における動きベクトルのＸ成分とＹ成分を
それぞれV_x、V_yとすると V_x＝Ｘ−ｘ V_y＝Ｙ−ｙであるから、変換係数と点（x,y）における動きベクト
ルV_x、V_yの関係は（ａ−１）ｘ＋by＋ｃ＝V_x −bx＋（ａ−１）ｙ＋ｃ＝V_y と表すことができる。係数ａ、ｂ、ｃ、ｄは２点（x₁，
y₁）、（x₂，y₂）のそれぞれの位置における動きベクト
ルのＸ成分Vx₁、Vx₂、Ｙ成分Vy₁、Vy₂、を用いて次のよ
うに表すことができる。

（ａ−１）x₁＋by₁＋ｃ＝Vx₁ （ａ−１）x₂＋by₂＋ｃ＝Vx₂ bx₁＋（ａ−１）y₁＋ｄ＝Vy₁ bx₂＋（ａ−１）y₂＋ｄ＝Vy₂ したがって係数ａ、ｂ、ｃ、ｄはこの連立方程式を解
くことによって求めることができる。

以上のような方法により、変換係数算出回路３はｎ個
の動きベクトルV_l〜V_nのうち、２つを用いて変換係数を
算出する。このように、画像の動きを変換係数を用いて
表すことにより、回転、拡大、縮小などの動きのよう
に、画面の位置によって得られる動きベクトルの向きや
大きさが異なる場合でも、同一の動きに対しては同一の
変換係数が得られる。

次に、動き量予測回路５は、算出した変換係数をもと
に、画像の他の位置における動きベクトルを予測する。
誤差検出回路６は、その予測した動きベクトルと、動き
ベクトル検出回路２で検出した動きベクトルとの誤差を
算出する。なお、変換係数を算出するのに用いた２つの
領域の動きと類似した動きをもつ領域では、予測した動
きベクトルと検出した動きベクトルの誤差が所定の閾値
より小さくなる。そこで、このような領域を閾値回路７
で検出し、動き領域抽出回路８によって、同一の動きを
もつ領域として抽出する。

以上のように、本実施例によれば、画像の動きを変換
係数を用いて表しているので、回転、拡大、縮小などの
動きのように、画面の位置によって得られる動きベクト
ルの向きや大きさが異なる場合でも、同一の動きに対し
ては同一の変換係数が得られ、同一の動きに属する領域
を識別することが可能になる。また、予測した動き量と
検出した動き量の差が所定の閾値より小さい領域を抽出
しているので、類似した動きをもつ部分の抽出が可能に
なり、画像全体の動きを検出することおよび画面全体の
動きと異なる部分を検出することが可能となる。

従って、画像の動きを精度よく検出できる。

第２図は本発明の第２の実施例における画像の動き検
出装置の構成図である。第１図の実施例と同じ手段に
は、同じ符号を付し、その説明を省略する。第１図と異
なるところは係数評価回路41、係数選択回路42、候補領
域係数回路81、最大領域選択回路82を設けたことであ
る。

以上のように構成された第２の実施例の画像の動き検
出装置について、以下その動作を第１図のものと異なる
点について説明する。

動きベクトル選択回路３は検出した動きベクトルV_l〜
V_nの中から任意の３つの動きベクトルV_i、V_j、V_k（ｉ≠
ｊ、ｉ≠ｋ、ｊ≠ｋ）を選ぶ。そして、変換係数算出回
路４は、それらの動きベクトルから画像全体の動きを与
える変換係数を算出する。すなわち、変換係数ａ〜ｆ
は、３つの位置における動きベクトルV_i、V_j、V_kを用い
て以下のようにして求めることができる。

平行移動、拡大・縮小、回転などの動きによって画像
中の（x,y）の点が（X,Y）に移動したとすると、X,Yは
移動前のx,yと係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを用いてＸ＝ax＋by＋ｃＹ＝dx＋ey＋ｆと表すことができる。係数ａ、ｂ、ｃは３点（x₁，
y₁）、（x₂，y₂）（x₃，y₃）のそれぞれの位置における
動きベクトルのＸ成分Vx₁、Vx₂、Vx₃を用いて次のよう
に表すことができる。

（ａ−１）x₁＋by₁＋ｃ＝Vx₁ （ａ−１）x₂＋by₂＋ｃ＝Vx₂ （ａ−１）x₃＋by₃＋ｃ＝Vx₃ したがって係数ａ、ｂ、ｃはこの連立方程式を解くこと
によって求めることができる。また係数ｄ、ｅ、ｆは３
点（x₁，y₁）、（x₂，y₂）（x₃、y₃）のそれぞれの位置
における動きベクトルのＹ成分Vy₁、Vy₂、Vy₃を用いて
次のように表すことができる。

dx₁＋（ｅ−１）y₁＋ｆ＝Vy₁ dx₂＋（ｅ−１）y₂＋ｆ＝Vy₂ dx₃＋（ｅ−１）y₃＋ｆ＝Vy₃ したがって係数ｄ、ｅ、ｆはこの連立方程式を解くこと
によって求めることができる。

以上のような方法により、変換係数算出回路４はｎ個
の動きベクトルV_l〜V_nのうち、３つを用いて変換係数を
算出することができる。

ここで画像全体の動きが平行移動、回転、拡大、縮小
の組合せであり、形状のひずみがない場合には、変換係
数ａ〜ｄについては特別の関係、すなわちａ＝ｅ＝S_x・cosθ ……（１）ａ＝−ｄ＝−S_x・sinθ ……（２）の関係が成立するはずである。ただしS_xはＸ軸方向の拡
大率、S_yはＹ軸方向の拡大率、θは画像の回転角度であ
る。通常のカメラ操作では、被写体が静止している場
合、画像全体の動きは平行移動、回転、拡大、縮小の組
合せと考えられる。したがって３つの動きベクトルV_i、
V_j、V_kより変換係数を求めたのち、係数評価回路41によ
ってこの変換係数を評価し、前述の関係を満たしている
ものを係数選択回路42によって選択して動き量の予測に
用いることにより、３つの動きベクトルV_i、V_j、V_kから
求めた画像の動きが平行移動、回転、拡大・縮小といっ
た通常のカメラ操作で起こり得る動きか否かを判定する
ことができる。例えば画面の一部の領域が全体とは異な
る動きをしたり、画面内に異物体が進入して、画像がＸ
軸方向には拡大する動きを、Ｙ軸方向には縮小する動き
を示したとすると、このような領域の動きベクトルから
求めた変換係数は上述の（１）式および（２）式の関係
を満たさず、画像全体の動きの検出に用いることは不適
当であることがわかる。前述の（１）式および（２）式
の関係を満たす変換係数のみを動き量予測に用いること
により、画像全体の動きと異なる領域の動きを排除し
て、精度よく画像全体の動きを検出することができる。

第３図は、３つの動きベクトルから得られた係数を評
価して画像の動きを判定する方法を示すためのものであ
る。第３図（ａ）のように画像の４つの領域の動きベク
トルが得られているものとする。これは例えばカメラが
画面中央を中心として左に回転している際に、画面右上
の領域の物体が大きく左に移動したような場合に相当す
る。４つの動きベクトルこれらのうち３つを選んで、変
換係数を求めると、第３図（ｂ）、（ｃ）および（ｄ）
は前述の（１）式および（２）式の関係を満たさず、同
図（ｄ）の組合せのみ有効と判定することができる。し
たがって全体と異なる動きをもつ画面右上の領域の動き
ベクトルを排除することにより、精度よく画像全体の動
きを検出することができる。

変換係数は検出動きベクトルの組合せの数、本実施例
の場合はｎ個の動きベクトルから３個を選ぶ組合せの数
だけ得られるが、画像全体の動きはこれらの変換係数が
類似した集まりどうし分類することに帰着される。通常
このような分類は次元の数が多いとパラメータの決定、
演算数の点で困難であるが、本実施例のように、変換係
数から動きベクトルを予測し、予測した動きベクトルと
検出した動きベクトルの誤差が所定の値より小さくなる
領域の数が最大となる領域を求め、この領域に属する検
出動きベクトルのみを用いることで代表的な動きに属す
る領域を容易に分類することができる。

第４図は本実施例における動き領域抽出回路（候補領
域係数回路81及び、最大領域選択回路82）の動作を説明
するための図である。第４図（ａ）は画面を16の領域に
分割し、検出された16個の動きベクトルの概略を示す図
であり、画像の大部分は左から右に平行移動している。
領域９、13、14および16はこれとは異なった動きをして
いる。このような場合、例えば領域１、２、５の動きベ
クトルより予測した各位置における誤差が所定の値より
小さくなる領域（候補領域とする）を図示すると、例え
ば第４図（ｂ）のようになる。このとき候補領域数は13
となり、領域１、２、５の動きは画像の大部分の動きを
代表していることがわかる。一方領域９、13、14の動き
ベクトルより予測した場合の候補領域は第４図（ｃ）の
ようになり、候補領域の数は３となり、領域９、13、14
の動きは全体の動きとは孤立した動きであることがわか
る。そこで、画像全体の代表的な動きは、孤立した領域
９、13、14の動きベクトルを排除してその他の領域の動
きベクトルを用いることにより、より精度よく求めるこ
とができる。

以下本実施例の全体的動作を第５図を参照しながら説
明する。

（ステップS1）動きベクトル検出回路２によって、まず
各領域の動きベクトルｎ個を求める。

（ステップS2）最大候補領域数を０とする。

（ステップS3）動きベクトル選択回路３によって、動き
ベクトルｎ個のうち、３個の組合せを選ぶ。

（ステップS4）候補領域数を０とする。

（ステップS5）変換係数算出回路４によって、変換係数
ａ〜ｆを求める。

（ステップS6）係数評価回路41によって、変換係数の有
効性を画像の動きが平行移動、回転、拡大、縮小かを評
価して判断する。

（ステップS7）係数選択回路42によって、評価すべき領
域をひとつ選ぶ。

（ステップS8）動き量予測回路５によって、有効な動き
ベクトルのみを用いて動きベクトルを予測する。

（ステップS9）誤差検出回路６によって、検出動きベク
トルと予測した動きベクトルの誤差を検出する。

（ステップS10）閾値回路７によって、誤差は所定の閾
値以下かを判定する。

（ステップS11）候補領域計数回路81により、誤差が閾
値以下の場合、候補領域数を１増加する。

（ステップS12）評価すべき領域はすべて終了かを判断
する。

（ステップS13）評価すべき領域が残っていれば次の領
域を選び、（ステップS7）へ戻る。

（ステップS14）候補領域の数は最大候補領域数より大
きいかどうか判断する。

（ステップS15）候補領域の数が最大候補領域数より大
であれば最大候補領域数を更新する。

（ステップS16）すべての動きベクトルの組合せを終了
したかを判定する。

（ステップS17）組合せがまだ残っていれば組合せを更
新して（ステップS4）へ戻る。

（ステップS18）すべての組合せのうち、最大領域選択
回路82により候補領域が最大となった領域の動きベクト
ルのみを選択し、これらの動きベクトルを用いて動き量
決定回路９によって画像全体の動きを決定し、動き量出
力端子10へ出力する。

このように、３つの動きベクトルを用いて画像の動き
を表す変換係数を算出し、この変換係数の係数値より、
画像の動きが平行移動、回転、縮小、拡大の組合せか否
かを判定することにより、画像全体の動きと異なる領域
の動きを排除して、精度よく画像全体の動きを検出する
ことができる。また、予測した動きベクトルと検出した
動きベクトルの誤差が所定の値より小さくなる領域の数
が最大となる領域を求めるという方法により、予測した
動きと大きく異なる領域の動きの影響を排除して画像全
体の代表的な動き精度よくを検出することが容易に実現
できる。

なお、本発明は上記実施例に限定されるものでなく、
本発明の趣旨に基づいて種々の変形が可能である。たと
えば、４以上の動き量から画像全体の動きを算出しても
よい。

発明の効果以上説明したように、本発明によれば次のような効果
を奏することができる。

（１）画像全体の動きを、検出した２つ以上の動き量か
ら変換係数として算出しているので、回転、拡大、縮小
などのように、画面の位置によって得られる動きベクト
ルの向きや大きさが異なる動きの場合でも、同一の動き
に対しては同一の変換係数が得られ、同一の動きに属す
る領域を識別することが可能になる。

（２）算出された変換係数をもとに、画像の他の位置に
おける動き量を予測し、予測した動き量と検出した動き
量の差が所定の閾値より小さい領域を抽出しているの
で、類似した動きをもつ部分が同一の領域として得ら
れ、平行移動のほか回転、拡大、縮小を含む画像全体の
動きを、全体の動きと異なる一部の領域の動きに影響さ
れずに検出することができる。

【図面の簡単な説明】

第１図は本発明の第１の実施例における画像動き検出装
置のブロック図、第２図は本発明の第２の実施例におけ
る画像動き検出装置のブロック図、第３図は本発明の第
２の実施例における係数評価を説明するためのベクトル
構成図、第４図は本発明の第２の実施例における動き領
域抽出の動作を説明するためのベクトル構成図、第５図
は本発明の第２の実施例における動作のフローチャー
ト、第６図は従来の画像動き検出装置のブロック図であ
る。１……画像入力端子、２……動きベクトル検出回路、３
……動きベクトル選択回路、４……変換係数算出回路、
５……動き量予測回路、６……誤差検出回路、７……閾
値回路、８……動き領域抽出回路、９……動き量決定回
路、10……動き量出力端子、41……係数評価回路、42…
…係数選択回路、81……候補領域係数回路、82……最大
領域選択回路。

Claims

(57)【特許請求の範囲】

【請求項１】画面上の複数の領域の動き量を検出する動
きベクトル検出手段と、前記検出した動き量のうちの複
数を用いて画像の動きを表す変換係数を算出する変換係
数算出手段と、前記変換係数を用いて前記画面上の複数
の領域における予測動き量を算出する動き量予測手段
と、前記予測動き量と前記検出した複数の領域の動き量
との誤差が所定の値以下となる領域を抽出する動き領域
抽出手段と、前記抽出された領域の動き量を用いて画像
全体の動きを決定する動き量決定手段とを備えたことを
特徴とする画像の動き検出装置。
【請求項２】動き領域抽出手段は、前記算出した予測動
き量の各々について、この予測動き量と画面上の複数の
領域で検出した動き量との誤差が所定の閾値以下となる
領域の数を求め、この領域の数の最大を与える領域の動
き量を選択することを特徴とする請求項１記載の画像の
動き検出装置。
【請求項３】変換係数算出手段は、画面上の３つ以上の
領域の動き量を用いて変換係数を算出し、前記動き量予
測手段は、この変換係数の有効性を画像の動きが平行移
動、回転、拡大、縮小のいずれかまたはこれらの組合せ
であることを評価することにより判定するとともに、無
効とされた変換係数を排除して残りの変換係数を用いて
前記画面上の複数の領域における予測動き量を算出する
ことを特徴とする請求項１記載の画像の動き検出装置。