JPH0813146B2 - 動きベクトル検出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置に関するものである。

従来の技術 従来の画像の動きベクトル検出装置の例として、例え
ば特開昭61−269475号公報に示される様なものがある。

第７図はその概略図を示したものであり、１は第１ラ
ッチ回路、２は代表点保存メモリ、３は第２ラッチ回
路、４は相関器、５はアドレスコントローラ、６はアド
レス切替回路、７は累積加算器、８は相関性検索回路
で、これらは動きベクトル検出部11を構成する。９は相
関性有効無効判定回路、10は判定回路で、これらは動き
ベクトル判定部12を構成する。

以上のように構成された従来の相関演算装置を用いた
画像の動きベクトル検出装置について説明する。

まず、画像の動きベクトルを第６図（ａ）〜（ｃ）を
参照しながら説明する。同図（ａ）は、ある時刻におけ
る画像を示している。そして同図（ｂ）は１フィールド
もしくは１フレーム後の画像を示している。このよう
に、撮像装置などの動きによって画像が平行移動すると
き、同図（ｃ）に矢印で示したように画像が平行移動し
た量をベクトルで示したものを動きベクトルと呼ぶ。第
８図はこのような画像の動きベクトルを検出する方法の
最も一般的な方法である代表点マッチング法における代
表点とそのまわりの画素の様子を示したものである。動
きベクトル検出は、あるフィールドにおける代表点の位
置の画像データが次のフィールドでまわりの画素のうち
どこに移動したかを検出することによって行われる。

次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第７図、第８図を用いて説明する。

画面上の各代表点における画像データは第１ラッチ回
路１に取り込まれ、タイミングをとって代表点保存メモ
リ２のそれぞれの代表点に対応するアドレスに書込まれ
る。そして、次のフィールド（もしくは次のフレーム）
において、各代表点の位置のまわりの動きベクトル検出
領域における画像データと代表点保存メモリ２に保存さ
れた前フィールド（フレーム）の代表点との相関をと
り、累積加算器７に入力する。累積加算器７は代表点を
基準としたときの座標の位置が同じ場所において相関を
とったデータを、それぞれ累積加算する。そしてすべて
の代表点まわりの累積加算が終了したとき、相関性検索
回路８により累積加算器７に保持された累積加算値のな
かで最も相関の高い値を有する場所を判定する。つま
り、代表点の位置を基準としたときの、この最も相関の
高い値を有する位置（アドレス）が動きベクトルとな
る。さらに、代表点まわりの相関値の分布（平均値、最
小値、最大値、勾配など）をもとにして、相関性有効無
効判定回路９はその相関演算により得られた動きベクト
ルが有効か無効か判定する。以上の動作は、画面を複数
個に分割したときの各領域について行なわれる。

そして、画面の各領域から得られた動きベクトルとそ
の有効性判定情報により画面全体の動きベクトルを判定
回路10により判定する。

ここまでの動作は毎フィールド（フレーム）行うた
め、相関演算を行いながら次のフィールド（フレーム）
の相関演算のための代表点における画像データを保存す
るために第１ラッチ回路１がある。また、第２ラッチ回
路３は、ある代表点の画像データと、その周辺の画像デ
ータとの相関をとるときに代表点の画像データを保持す
る。

動きベクトル検出部11は以上のような相関演算により
動きベクトルを検出し、動きベクトル検出部11により得
られた画面の各領域の動きベクトルとその相関情報から
ベクトル判定部12が画面全体の動きベクトルを求める。

発明が解決しようとする課題 しかしながら、被写体が静止しており撮像装置のみが
動く場合のように、各領域における動きベクトルがすべ
て同じであればよいが（第９図（ａ））、画面中の被写
体の一部が静止しておらず、画面全体の動きと異なる動
きをしている場合（第９図（ｂ））は、各領域における
動きベクトルはすべて同じにならない。

従って上記従来例のように、各領域の動きベクトルの
平均等をとって画面全体の動きベクトルを決定すると、
画面全体の動きと異なる動きをしている領域の動きベク
トルが原因となり検出誤りを起こすという問題点を有し
ていた。

本発明はかかる点に鑑み、被写体の一部が静止してい
ない場合においても画面全体の動きベクトルの検出誤り
を起こさず、画像の背景の動きを途切れること無く抽出
することの出来る動きベクトル検出装置を提供すること
を目的とする。

課題を解決するための手段 本発明は画面を複数の領域に分け、各領域における画
像の動きベクトルを検出する動きベクトル検出部と、動
きベクトル検出部の出力を用いて各領域の動きベクトル
の分散具合を示す発散度を得る発散計算部と、動きベク
トルの発散度が大きいとき、過去の画面全体の積分動き
ベクトルとの差が大きい領域の動きベクトルを無効と判
定するベクトル無効判定部と、無効と判定された以外の
領域の動きベクトルにより画面全体の動きベクトルを決
定し、また、動きベクトルの発散度が小さい時は各領域
の動きベクトルから画面全体の動きベクトルを決定する
ことにより誤動作発生時に画面全体の動きベクトルの出
力が出来るだけ停止しないように動作する画面全体ベク
トル判定部とを備えたことを特徴とする。

なお、上記構成において、各領域の積分動きベクトル
を得る積分器を設け、前記発散計算部がこの積分器の出
力を用いて動きベクトルの発散度を得る構成とすること
もできる。

作用 本発明は上記構成により、画面の各領域の動きベクト
ルの発散度を計算し、この発散度が大きいときには、過
去の画面全体の動きベクトルとの差が大きい領域の動き
ベクトルは無効とし、その他の動きベクトルを用いて正
しい値を検出していると思われる動きベクトル検出領域
が一つでも残っていたらこれらを用いて画面全体の動き
ベクトルを得る。また、発散度が小さいときには、前述
の動作は行わず、各領域から検出された動きベクトルを
そのまま用いて画面全体の動きベクトルを得ることによ
り、検出装置が誤動作を起こした場合においても、なる
べく出力が停止しないような動作を実現する。

なお、積分処理を施した積分動きベクトルを用いて発
散度を計算した場合は、画面の一部分の被写体の移動速
度が小さいときでもこれを検出できるので、画面全体の
動きベクトルの検出誤りを少なくすることができる。

実 施 例 第１図は、本発明の第１の実施例における動きベクト
ル検出装置の構成図であり、11は動きベクトル検出部、
13は動きベクトル信頼性判定部、15は発散計算部、16は
発散判定部、18はベクトル無効判定部、19は画面全体ベ
クトル判定部、21は低域ろ波器（LPF）である。

以上のように構成された動きベクトル検出装置の動作
について以下説明する。

まず、第１図において、従来例と同様にして動きベク
トル検出部11において入力画像信号のフィールドまたは
フレーム間の動きベクトルを画面の領域別に検出する。
次に、動きベクトル信頼性判定部13で、その領域での代
表点まわりの相関値の分布（平均値、最小値、最大値、
勾配など）をもとに、その領域における動きベクトルが
信頼できるかどうかを判断し、動きベクトル判定情報
（各領域での動きベクトルが正しく検出されたかどうか
を示す信号）を出力する。これは従来例の相関性有効無
効判定回路９（第７図参照）と同じ動作である。

次に動きベクトル判定情報が有効である領域の動きベ
クトルを用いて、発散計算部15は動きベクトルの発散度
を計算する。計算の方法を次式に示す。

発散度（DIV1）＝〔Σ｜（各領域の動きベクトルの平均
値）−（各領域の動きベクトル）｜〕÷（動きベクトル
判定情報がOKである領域数） 但し、Σは動きベクトル判定情報が有効である領域に
ついての総和を計算することを、｜ ｜は絶対値をとる
ことをそれぞれ示す。また、ベクトルは２次元なので、
発散度は各成分について求めた値の平均値もしくは自乗
平均値もしくは加算値を実際の発散度として用いる。

この計算により得られる発散度DIV1は、その値が大き
いほど、各領域から検出された各々の動きベクトルが異
なる方向を向いている度合が大きい、即ち被写体の一部
分が動いている可能性が大きいことを示す。また発散度
ゼロであれば各々の動きベクトルは全て完全に同方向を
向いており、被写体は静止物と判断できる。

次に発散判定部16は、以上の計算で求められた発散度
DIV1の大きさと、ある所定の閾値とを比較して、発散度
DIV1が閾値を越えた場合、発散条件フラグを発散有りの
状態にセットする。ここで発散度が大きいということ
は、被写体の一部が動いており、その領域における動き
ベクトルは画面全体の動きベクトルを決定する際の候補
から外すべき状態にある、ということを示している。

ベクトル無効判定部18は、発散判定部16の出力が発散
有りの状態の場合であり、かつ、動きベクトル判定情報
が有効である各領域の動きベクトルと低域ろ波器21の出
力である画面全体の動きベクトルの遅れ成分の差が、あ
る所定の誤差範囲内にない場合、その領域における被写
体が動いたとしてその領域で検出された動きベクトルを
無効とする無効情報を出力する。

ここで、低域ろ波器21により積分動きベクトル情報に
遅れ要素を付加する理由を説明する。被写体が静止して
いる状態から画面の一部が動き始めた場合、発散度DIV1
が、ある閾値以上になって画面の一部分に動きがあった
と判定するまでには時間的な遅れが存在する。このた
め、判定後では画面全体の動きベクトルはもはや画面の
一部分が動いた後の値になっている。これを補償し、画
面の一部が動き始めた時の画面全体の動きベクトルに近
い値を用いるために、低域ろ波処理を行なう。

ここで、ベクトル無効判定部18において判定を行う際
には、現フィールド（フレーム）における画面全体の動
きベクトルはまだ決定されていないので、遅れ成分とし
ては低域ろ波処理以外に、１フィールド（フレーム）分
の遅れが存在する。

以上のようにして得られた無効情報と、各領域の動き
ベクトルと、動きベクトル判定情報とを用いて画面全体
ベクトル判定部19は、画面全体の動きベクトルを判定す
る。判定の方法としては、動きベクトル判定情報により
動きベクトルに信頼性がないと判定された領域と、無効
情報により被写体が動いたと判定された領域とを除いた
領域において検出された動きベクトルを用いて画面全体
の動きベクトルを決定する。決定方法は、有効と判定さ
れた領域の動きベクトルのメディアン（中央値）かまた
は平均値をとる。

以上のように、本実施例によれば、被写体の一部が静
止していない場合においても画面全体の動きベクトルの
検出誤りを起こさない動きベクトル検出装置を提供する
ことができる。

第２図は、本発明の第２の実施例における動きベクト
ル検出装置の構成図である。

同図において、11は動きベクトル検出部、13は動きベ
クトル信頼性判定部、14は第１積分器、15は発散計算
部、16は発散判定部、17はタイマー、18はベクトル無効
判定部、19は画面全体ベクトル判定部、20は第２積分
器、21は低域ろ波器（LPF）である。第１の実施例（第
１図）と異なる点は、タイマー17、第１積分器14、第２
積分器20が加わったことである。

以上のように構成された動きベクトル検出装置の動作
について以下説明する。

まず、第２図において、第１の実施例と同様にして動
きベクトル検出部11において入力画像信号のフィールド
またはフレーム間の動きベクトルを画面の領域別に検出
する。次に、動きベクトル信頼性判定部13で、その領域
での代表点まわりの相関値の分布（平均値、最小値、最
大値、勾配など）をもとに、その領域における動きベク
トルが信頼できるかどうかを判断し、動きベクトル判定
情報（各領域での動きベクトルが正しく検出されたかど
うかを示す信号）を出力する。ここまでは第１の実施例
と同じ動作である。

次に、第１積分器14により、各領域の動きベクトルを
積分する。積分後の値の発散を防ぐため積分は完全積分
ではなく、積分もれのある積分を行う。このとき、動き
ベクトル判定情報によりその領域の動きベクトルが正し
くないと判定されて無効であれば積分動作は行わず、積
分もれの動作のみを行う。この様子を第３図に示す。即
ち、Ａの期間は積分が進み、積分動きベクトルが大きく
なるが、Ｂの期間では動きベクトル判定情報が無効とな
り、その領域の動きベクトルは信頼性がないとして積分
動作は行なわれず、積分動きベクトルは積分もれにより
減衰している。そして、Ｃの期間では再び動きベクトル
判定情報が有効となり、積分動作が再開される。

積分の動作を式で表わすと、次式のようになる。

（１）動きベクトル判定情報が有効の場合 s_vect（ｎ）＝s_vect（ｎ−１）×ｍ＋vect（ｎ） （２）動きベクトル判定情報が無効の場合 s_vect（ｎ）＝s_vect（ｎ−１）×ｍ 但し、s_vect（ｎ）：現フィールド（フレーム）の積分
動きベクトル s_vect（ｎ−１）：前フィールド（フレーム）の積分動
きベクトル vect（ｎ）：現フィールド（フレーム）の（差分）動き
ベクトル m:積分減衰係数（≦１） である。

ここでｍの値が１であれば完全積分である。１未満で
は不完全積分であり、小さくなるにつれて積分誤差が増
大する。また、ベクトルは２次元なので水平方向・垂直
方向の２つの独立軸の成分についてそれぞれ積分を行う
必要がある。

また、タイマー17は各領域について、動きベクトル判
定情報によりその領域の動きベクトルが無効と判定さ
れ、その後有効と判定されてからある所定の時間が経過
するまでFLGB情報をOKとしない動作をする。これについ
て第４図を用いて説明する。最初動きベクトル判定情報
が有効だとする（Ａ期間）。これで積分動きベクトルが
増加するが、Ｂの期間は動きベクトル判定情報が無効と
なり、本来ならば破線のグラフとなるはずの積分動きベ
クトルの値が減衰する。そして、Ｃの期間で再び動きベ
クトル判定情報が有効となり、積分動作が再開される。

ここで、動きベクトル判定情報が無効になり、再び動
きベクトルが正しいと判定されてからある所定の時間が
経過し、第１積分器14の出力がもとに近く戻るまで（破
線の特性の値に近くなるまで）はFLG情報を無効とす
る。これにより発散計算部15、ベクトル無効判定部18に
おいてその積分動きベクトルが元の値近くまで復帰する
まではその領域の動きベクトルの情報を用いない動作を
実現する。動きベクトル判定情報が有効となってからFL
G情報が有効になるまでの期間は積分演算の時定数を目
安にして十分積分値が復帰することのできる期間をと
る。

次にFLG情報が有効であり、かつ動きベクトル判定情
報が有効である領域に対応する積分動きベクトルを用い
て、発散計算部は動きベクトルの発散度を計算する。計
算の方法を次式に示す。

発散度（DIV2）＝〔Σ｜（各領域の積分動きベクトルの
平均値）−（各領域の積分動きベクトル）｜〕÷（FLG
情報・動きベクトル判定情報が共に有効である領域数） 但し、ΣはFLG情報が有効であり、かつ動きベクトル
判定情報が有効である領域についての総和を計算するこ
とを示し、｜ ｜は絶対値をとることを示す。また、ベ
クトルは２次元なので、発散度は各成分について求めた
値の平均値もしくは自乗平均値もしくは加算値を実際の
発散度として用いる。

この計算により得られる発散度DIV2は、その値が大き
いほど、各領域から検出された各々の動きベクトルが異
なる方向を向いている度合が大きい、即ち被写体の一部
分が動いている可能性が大きいことを示す。また発散度
ゼロであれば各々の動きベクトルは全て完全に同方向を
向いており、被写体は静止物と判断できる。

第１の実施例と異なる点は、第１の実施例がフィール
ド（フレーム）毎の動きベクトルを用いて発散度を計算
しているのに対し、本実施例では積分処理を施した積分
動きベクトルを用いている点である。

発散判定部16は、以上の計算で求められた発散度DIV2
の大きさとある所定の値とを比較して、発散度DIV2の方
が大きい場合、発散条件フラグを発散有りの状態にセッ
トする。ここで発散度が大きいということは、被写体の
一部が動いており、その領域における動きベクトルは画
面全体の動きベクトルを決定する際の候補から外すべき
状態にある、ということを示している。その画面全体の
動きベクトルの候補から外すべき領域がどこかを捜すの
がベクトル無効判定部18である。

ベクトル無効判定部18は、発散判定部16の出力が発散
有りの状態の場合であり、かつ、FLG情報が有効であ
り、動きベクトル判定情報が有効である各領域の積分動
きベクトルと低域ろ波器21の出力である画面全体の動き
ベクトルの積分値の遅れ成分との差が、ある所定の誤差
範囲内にない場合、その領域における被写体が動いたと
してその領域で検出された動きベクトルを無効とする無
効情報を出力する。

ここで、ベクトル無効判定部18で用いる低域ろ波器21
の出力信号について説明する。画面全体ベクトル判定部
19により得られた画面全体の動きベクトルは、第２積分
器20により積分される。このとき、積分特性は第１積分
器14と同じであり、動きベクトル検出不能の状態以外の
時には不完全積分を行い、動きベクトル検出不能の状態
の場合には積分もれの動作のみを行う。次に低域ろ波器
21により積分動きベクトル情報に遅れ要素を付加する。
この信号が画面全体の動きベクトルの積分値の遅れ成分
となる。ここで、ベクトル無効判定部18において判定を
行う際には、現フィールド（フレーム）における画面全
体の動きベクトルはまだ決定されていないので、遅れ成
分としては積分処理と低域ろ波処理以外に、１フィール
ド（フレーム）分の遅れが存在する。

このように動きベクトルの積分値に、さらに遅れ要素
を加え理由を次に説明する。第５図に示すように、被写
体が静止している状態から画面の一部が動き始めた場合
（グラフの原点）、積分した動きベクトルを用いて発散
度DIV2を計算すると、時間がたつにつれて発散度DIV2は
徐々に増加するが、被写体の一部が動いたという判断
は、発散度DIV2がある閾値以上にならなければならず、
被写体の一部分が動き始めてから動きがあったと判定す
るまでに時間的な遅れが発生する。このため、判定があ
ったときには画面全体の動きベクトルの積分値は変化し
ており、画面の一部分に動きがあった時点における画面
全体の動きベクトルは過去のものとなっている。そこ
で、その時間差を補償するために低域ろ波器21で時間遅
延を設け、実際に被写体の一部分が動いた時の画面全体
の動きベクトルに近い値を用いるようにしている。

以上のようにして得られた無効情報と、各領域の動き
ベクトルと、動きベクトル判定情報とを用いて画面全体
ベクトル判定部19は、画面全体の動きベクトルを判定す
る。判定の方法としては、動きベクトル判定情報により
動きベクトルに信頼性がないと判定された領域と、無効
情報により被写体が動いたと判定された領域とを除いた
領域において検出された動きベクトルを用いて画面全体
の動きベクトルを決定する。決定方法は、有効と判定さ
れた領域の動きベクトルのメディアン（中央値）かまた
は平均値をとる。

以上のように、本実施例によれば、動きベクトルの積
分結果を用いて発散度を評価しているので、画面の一部
分の被写体の移動速度が小さいときでもこれを検出で
き、画面全体の動きベクトルの検出誤りを起こさない動
きベクトル検出装置を提供することができる。

なお、上記実施例において、発散計算部15の計算で各
領域の動きベクトルの平均値を用いたが、メディアンを
用いてもよい。また、発散計算部15の計算で分子の項の
計算は、各領域の積分動きベクトルの平均値と各領域の
積分動きベクトルとの比をとってもよい。また、発散計
算部15の計算でFLG情報または動きベクトル判定情報が
有効である領域数で割り算を行ったが、これを行わなく
てもよい。また、LPF21は省略してもよい。

また、第１〜第２の実施例において、信号処理がディ
ジタル化されており、動きベクトル検出部11の出力（動
きベクトル・代表点の回りの相関値の分布（平均値、最
小値、最大値、勾配など））をマイクロンコンピュータ
に入力し、動きベクトル検出部11以外の部分、即ち動き
ベクトル信頼性判定部13、タイマー17、第１、第２積分
器14、20、発散計算部15、発散判定部16、ベクトル無効
判定部18、画面全体ベクトル判定部19、低域ろ波器21の
動作を全てマイクロコンピュータのソフトウェアで実現
してもよい。

発明の効果 画面の背景の動きをなるべく誤動作無く連続して抽出
するために、検出領域により動きベクトルが異なり、動
きベクトルが乱れてきたら、これまで正しいと判定され
た動きベクトルを基に、これに近い動きベクトルは有効
に利用する、という動作を実現します。また、万が一誤
動作を起こしても、なるべく早く正しい動きベクトルを
採用して出力でき、その実用的効果は大きい。

【図面の簡単な説明】

第１図は本発明の第１の実施例における動きベクトル検
出装置の構成図、第２図は本発明の第２の実施例におけ
る動きベクトル検出装置の構成図、第３図は同実施例の
積分動きベクトルの動きベクトル判定情報による時間的
変化を示した図、第４図は同実施例の積分動きベクトル
とFLG情報と動きベクトル判定情報との関係図、第５図
は同実施例の発散度の時間的変化図、第６図（ａ）〜
（ｃ）は画像の動きベクトルの説明図、第７図は従来の
動きベクトル検出装置の構成図、第８図は代表点マッチ
ング法における代表点とその周囲の画素の状態の説明
図、第９図（ａ）（ｂ）は各領域の検出動きベクトルの
様子を示した図である。 11……動きベクトル検出部、14……第１積分器、15……
発散計算部、18……ベクトル無効判定部、19……画面全
体ベクトル判定部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】画面を複数の領域に分け、各領域における
   画像の動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトル検出部の出力を用いて各領域の動きベ
   クトルの分散具合を示す発散度を計算する発散計算部
   と、動きベクトルの発散度が大きい時に過去の画面全体
   の動きベクトルとの差が大きい領域の動きベクトルを無
   効と判定するベクトル無効判定部と、正しいと推定され
   る領域の動きベクトルが存在する限りこれを用いるよう
   に、無効と判定された以外の領域の動きベクトルにより
   画面全体の動きベクトルを決定し、また、動きベクトル
   の発散度が小さい時は各領域の動きベクトルから画面全
   体の動きベクトルを決定することにより誤動作発生時に
   画面全体の動きベクトルの出力が出来るだけ停止しない
   ように動作する画面全体ベクトル判定部とを備えたこと
   を特徴とする動きベクトル検出装置。
2. 【請求項２】画面を複数の領域に分け、各領域における
   画像の動きベクトルを検出する動きベクトル検出部と、
   各領域の積分動きベクトルを得る積分器と、前記積分器
   の出力を用いて各領域の動きベクトルの分散具合を示す
   発散度を計算する発散計算部と、動きベクトルの発散度
   が大きい時に過去の画面全体の積分動きベクトルとの差
   が大きい領域の動きベクトルを無効と判定するベクトル
   無効判定部と、正しいと推定される領域の動きベクトル
   が存在する限りこれを用いるように、無効と判定された
   以外の領域の動きベクトルにより画面全体の動きベクト
   ルを決定し、また、動きベクトルの発散度が小さい時は
   各領域の動きベクトルから画面全体の動きベクトルを決
   定することにより誤動作発生時に画面全体の動きベクト
   ルの出力が出来るだけ停止しないように動作する画面全
   体ベクトル判定部を備えたことを特徴とする動きベクト
   ル検出装置。