JPH0973540A - 動きベクトル算出装置 - Google Patents

Abstract

(57)【要約】 【課題】 局所相関法を用いた動きベクトル算出装置に
おいて、輝度変化が乏しい部分の動きベクトルを推定し
て補間することにより、物体の運動を適切に表現した動
きベクトルを算出することができる動きベクトル算出装
置を提供することを課題とする。 【解決手段】 局所相関法を用いて画像上の各画像点の
動きベクトルを求め、信頼度の高い動きベクトルから補
間処理して得られた補間ベクトルにより信頼度の低い動
きベクトルを置換することによって、輝度変化の乏しい
物体の運動を適切に表現した動きベクトル（オプティカ
ルフロー）を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、局所相関法を用い
た動きベクトル算出装置に関し、特に輝度変化の少ない
部分の動きベクトルを推定して補間する動きベクトル算
出装置に関する。

【０００２】

【従来の技術】従来、画像認識等の画像処理の分野にお
いて、ＴＶカメラなどの視覚センサから入力する移動物
体の追跡処理を行う方法として、移動物体上の各点の動
きベクトルの分布（オプティカルフロー）を求める方法
がとられている。この動きベクトルを求める手法とし
て、Berthold K.P.Hornらが、『Determining Optical F
low』(ARTIFICAL INTELIGENCE,Vol-17,pp185-203,1981)
において提案した勾配法が知られている。この手法は、
移動物体上の各画像点の画像濃度は時間的に変化しない
とした仮定に基づいて（１）式を求め、さらに、動きベ
クトルＶ（ｕ，ｖ）は空間的に急激な変化をしないとい
う制約条件を付加して、（１）式から動きベクトルＶ
（ｕ，ｖ）を求めるものである。

【０００３】 Ｉ_xｕ＋Ｉ_yｖ＋Ｉ_t＝０ ・・・・・（１） ただし、Ｉ_x：空間ｘ方向の濃度勾配 Ｉ_y：空間ｙ方向の濃度勾配 ｕ ：動きベクトルＶのｘ方向成分 ｖ ：動きベクトルＶのｙ方向成分

【０００４】この方法によれば、動きベクトルＶ（ｕ，
ｖ）が空間的に急激な変化をしないという制約条件に起
因して、静止した背景の前を物体が移動する場合のよう
に、動いていない部分と動いている部分が明確な場合
に、背景と移動物体の境界部がぼやけるという問題があ
る。

【０００５】上述した勾配法に対し、他の動きベクトル
を求める方法として、立川らが『高速相関演算機能をも
つビジョンシステム』（第９回日本ロボット学会講演会
予稿集，pp841-844，平成３年１１月２７日〜２９日）
において提案した局所相関法が知られている。以下、局
所相関法の原理について説明する。図６は、局所相関法
を用いて動きベクトルを求める手法を説明するための線
図である。先ず、時刻ｔ₁における画像Ｆの中の移動物
体画像（図示なし）上のある画像点Ｐ₁に着目する。こ
の画像点Ｐ₁を中心とする近傍領域の画像を参照画像Ｒ₁
とする。次に、時刻ｔ₁から微小時間Δｔが経過した時
刻ｔ₂において、画像点Ｐ₁を中心として参照画像Ｒ₁の
領域よりも広い領域Ｓ₁を探索領域として、参照画像Ｒ₁
と最も対応（類似）する画像領域ｒ₁を探索する。この
ようにして探索された画像領域ｒ₁の中心点Ｐ_1dtが点Ｐ
₁の微小時間Δｔ後の位置として認識され、画像点Ｐ_1dt
を終点とし画像点Ｐ₁を始点とするベクトルが点Ｐ₁の動
きベクトルＶ₁として求まる。同様にして、他の画像点
Ｐ_n（ｎは正の整数）についても動きベクトルＶ_nを求め
て、この分布からオプティカルフローを得ることができ
る。

【０００６】このように局所相関法では、参照画像Ｒ_n
と最も対応（類似）する画像領域ｒ_nを領域Ｓ_nについて
探索することにより画像点Ｐ_nの移動先を認識して、こ
の画像点Ｐ_nの動きベクトルを算出するものとなってお
り、この対応（類似）の程度を相関値という評価量を導
入することにより定量的に把握するものである。

【０００７】ところで、領域Ｓ_nの中から参照画像Ｒ_nと
最もよく対応する画像領域ｒ_nを探索する処理は、画像
の濃淡値による相関値を領域Ｓ_nの内部の各画像領域ｒ_n
について演算し、この相関値から『最も高い相関度（類
似度）』を示す画像領域ｒ_nを見つけ出すことにより実
現されている。ここで、相関度自体が仮に高いとして
も、探索領域Ｓ全体にわたって一様な場合には『最も高
い相関度』を示す画像領域ｒ_nを特定することが困難と
なることに注意する必要がある。このような場合、画像
点Ｐ_nの動きベクトルＶ_nは、必ずしも物体の運動を適切
に表現したものとはならない。したがって、上述した局
所相関法においては、算出された画像点Ｐ_nの動きベク
トルＶ_nが物体の運動をどの程度適切に表現したもので
あるかを評価する必要が生じる。

【０００８】以下に、局所相関法を用いて算出された動
きベクトルの評価方法について説明する。局所相関法で
は、参照画像Ｒ_nに対する領域Ｓ_nの内部の各画像領域ｒ
_nの相関値を算出することから、画像点Ｐ_nに対する相対
的位置（相対座標）を定義域とし相関値を値域とする分
布が定まる。この分布を局所相関分布と呼ぶこととす
る。図７（ａ）〜（ｃ）は、参照画像Ｒ_nに対する領域
Ｓ_nの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。本来、画像Ｆは二次元的な広
がりを有しているので、相関値の分布は三次元的に表現
されるものとなるが、ここでは、説明の便宜のため二次
元的に表現された局所相関値分布図を用いて説明するこ
ととする。

【０００９】図７において、相関値が小さいほど相関度
は高いことを示している。同図（ａ）に示すように、相
関値の高い部分と低い部分が明瞭な局所相関値分布を有
する領域Ｓ_nにおいては、『最も高い相関度』を示す画
像領域ｒ_nを容易に特定することができる。したがっ
て、このような局所相関値分布を有する領域Ｓ_nを探索
して求めた動きベクトルＶ_nは、画像点Ｐ_nの運動を適切
に表現しているものと考えることができ、得られた動き
ベクトルＶ_nの信頼度が高いと言える。また逆に、同図
（ｃ）に示した例のように、相関度が一様な場合には、
『最も高い相関度』を示す画像領域ｒ_nを特定すること
が困難となり、このような局所相関値分布を有する領域
Ｓ_nを探索して求めた動きベクトルＶ_nは、画像点Ｐ_nの
運動を適切に表現しているものと言えず、得られた動き
ベクトルＶ_nの信頼度は低いと言える。また、同図
（ｂ）に示した例の場合には、これらの中間の信頼度を
示すものとなる。

【００１０】以上、説明したように、画像点Ｐ_nの動き
ベクトルＶ_nが物体の運動をどの程度適切に表現してい
るかは領域Ｓ_nにおける局所相関値分布の形状により評
価することができ、『最も高い相関度』を示す画像領域
の相関値が平均値より突出している度合いを動きベクト
ルの評価の尺度として用いることができる。そこで、画
像点Ｐ_nの動きベクトルの信頼度を定量的に評価するた
めに、以下の関数ｒｅｌを定義して、これを信頼度評価
関数を呼ぶこととする。

【００１１】 rel = (C_mean-C_min)/C_mean ・・・・・（２） ただし、C_mean：局所相関値分布の平均値 C_min ：局所相関値分布の最小値

【００１２】この信頼性評価関数ｒｅｌを用いることに
より、相関度が高い領域の相関値C_{m in}が局所相関値分布
の平均値C_meanからどの程度突出しているかを定量的に
把握することができ、この信頼度評価関数ｒｅｌから求
められる値が大きい程（１に近い程）、算出された動き
ベクトルＶ_nは物体の運動を適切に表現しているものと
評価することができる。

【００１３】

【発明が解決しようとする課題】ところで、上述した局
所相関法を用いた動きベクトル算出装置によれば、領域
Ｓ_nの内部画像の輝度が一様な（変化が少ない）場合に
は、参照画像Ｒ_nに対して『最も高い相関度』を示す画
像領域ｒ_nの探索が困難となり、点Ｐ_nの微小時間Δｔ後
の位置である点Ｐ_ndtを特定することが困難となる。こ
の結果、算出された画像点Ｐ_nの動きベクトルＶ_nの信頼
度が低く、この動きベクトルＶ_nは、画像点Ｐ_nの運動を
適切に表現したものとはならないという問題がある。

【００１４】以下、この問題について、輝度変化が少な
い領域を有する画像Ｆから各画像点Ｐ_nの動きベクトル
Ｖ_nを求めた例を用いて説明する。図８は物体１０の運
動の様子を表示している画像を表した線図であり、同図
（ａ）及び（ｂ）はそれぞれ時刻ｔ₁及び時刻ｔ₂におけ
る物体１０の状態を表していいる。ここで、時刻ｔ₂は
時刻ｔ₁から微小時間Δｔが経過した時刻である。この
物体１０の内部領域は一様に黒く、微小時間Δｔの経過
前後において、物体１０の内部領域では輝度の変化がほ
とんどない。また、背景は白く、このため物体１０の輪
郭部分では大きな輝度の変化が存在する。この物体１０
は、右下の角を中心として右回りの回転運動をしたもの
である。

【００１５】このような物体１０について動きベクトル
を算出する。図９は、局所相関法を用いて図８に示され
た２枚の画像から求めた動きベクトルを表した線図であ
る。図９に示されているように、輝度変化が顕著な物体
１０の輪郭部分においては、輪郭部の画像点の移動先の
探索に成功しており、この物体１０の回転運動に沿った
動きベクトルが適切に生成されている。これに対して、
輝度変化がほとんどない物体１０の内部では、物体内部
の各画像点の移動先の探索に失敗しており、このため、
物体１０の内部の動きベクトルは乱れ、物体１０の内部
領域の運動を適切に表現したものとなっていない。

【００１６】以上、説明したように、局所相関法によれ
ば、物体の輪郭部のように輝度変化が顕著な領域の動き
ベクトルを高信頼度で求めることができ、この領域（輝
度変化が顕著な領域）の画像の運動を明瞭に表現するこ
とができるという利点を有する一方、物体の内部のよう
に輝度変化の少ない領域の動きベクトルの信頼性は低下
し、この領域（輝度変化の少ない領域）の物体の運動を
適切に表現した動きベクトルを得ることができないとい
う問題がある。

【００１７】本発明は、かかる問題点に鑑みてなされた
ものであり、局所相関法を用いた動きベクトル算出装置
において、輝度変化が乏しい部分の動きベクトルを推定
して補間することにより、物体の運動を適切に表現した
動きベクトルを算出することができる動きベクトル算出
装置を提供することを課題とする。

【００１８】

【課題を解決するための手段】前記課題を解決するた
め、本発明は次の構成を有する。請求項１記載の発明に
かかる動きベクトル算出装置は、各時刻に対応した画像
データを格納する記憶部と、中央演算処理部と、前記中
央演算処理部に制御されて第１の時刻に対応する前記画
像データと第２の時刻に対応する前記画像データとの間
の相関値を演算する相関値演算部とを備え、前記中央演
算処理部は、（ａ）前記相関値に基づいて画像の各画像
点の動きベクトルと前記動きベクトルの信頼度とを算出
し、（ｂ）前記画像を１または２以上の画像領域に分割
し、（ｃ）前記画像領域毎に信頼度が所定値を満たさな
い第１の画像点の動きベクトルを補間ベクトルで置換す
る機能を有し、前記補間ベクトルは、信頼度が前記所定
値を満たす１または２以上の第２の画像点の動きベクト
ルを前記第１の画像点と前記第２の画像点との距離に依
存した重み付けをして合成したベクトルであり、前記第
２の画像点は前記第１の画像点が属する画像領域に属す
るものであるように構成されている。

【００１９】請求項２記載の発明にかかる動きベクトル
算出装置は、請求項１記載の発明にかかる動きベクトル
算出装置が、第１の表色系のカラー画像データを第２の
表色系の画像データに変換する表色系変換手段を備え、
変換された前記第２の表色系の画像データを使用して動
きベクトルを算出するように構成されている。

【００２０】請求項１記載の発明にかかる動きベクトル
算出装置によれば、中央演算処理部は、記憶部より第１
の時刻に対応する画像データと第２の時刻に対応する画
像データとを読み取り、これらの画像データを相関値演
算部に渡す。相関値演算部はこれら画像データ間の相関
値を演算する。中央演算処理部は相関値演算部から相関
値の演算結果を受け取り、この演算結果に基づいて各画
像点の動きベクトルとその信頼度を算出する。そして、
中央演算処理部は画像を１または２以上の画像領域に分
割して、各画像領域毎に各画像点の動きベクトルの信頼
度が所定値を満たしているか否かを評価し、信頼度が所
定値を満たしていない第１の画像点の動きベクトルを補
間ベクトルで置換する。この補間ベクトルは、置換しよ
うとする第１の画像点の動きベクトルが属する画像領域
に属し、且つ信頼度が所定値を満たした１または２以上
の第２の画像点の動きベクトルを第１の画像点と第２の
画像点との距離に応じた重みづけをして合成したベクト
ルである。

【００２１】請求項２記載の発明にかかる動きベクトル
算出装置によれば、表色系変換手段により、第１の表色
系のカラー画像データを第２の表色系の画像データに変
換する。そして、変換された第２の表色系の画像データ
を用いて請求項１記載の発明にかかる動きベクトル算出
装置と同様に作用する。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は、本発明の一実施の形態に
かかる動きベクトル算出装置の構成を表すブロック図で
ある。本実施の形態にかかる動きベクトル算出装置は、
この装置の全体の動作を制御する中央演算処理装置１
と、中央演算処理装置１のプログラムデータ等を格納す
るメモリ２と、ＴＶカメラなどの視覚センサからの画像
データを格納するフレームメモリ３と、メモリ２又はフ
レームメモリ３に格納されたデータから局所相関値分布
を生成して動きベクトルを算出する相関値演算部４とか
ら構成されており、メモリ２とフレームメモリ３とから
記憶部（符号なし）が構成されている。

【００２３】このように構成された本発明の一実施の形
態にかかる動きベクトル算出装置の動作を説明する。こ
の動きベクトル算出装置は、局所相関法を用いて画像上
の各画像点の動きベクトルを求め、信頼度の低い動きベ
クトルを補間ベクトルで置換することによって、物体の
運動を適切に表現した動きベクトル（オプティカルフロ
ー）を算出するものである。

【００２４】以下、図２に示す中央演算処理部１の動作
を説明するためのフローチャートを参照しながら動作を
詳述する。先ず、ＴＶカメラなどの視覚センサから得ら
れた画像データは時系列的にフレームメモリ３に蓄えら
れる。中央演算処理部１は各時刻における画像データの
それぞれを複数の画像領域Ａ_i（ｉは正の整数）に分割
する（ステップＳ１）。図３は、図８（ａ）に示された
画像Ｆを背景画像領域Ａ₁と物体１０が占有する領域Ａ₂
とに分割した領域を表わす線図である。図３に示すよう
に、画像Ｆは画像のイメージに基づいて、複数の画像領
域Ａ_iに分割される。

【００２５】次に、中央演算処理装置１は、局所相関法
を用いて画像Ｆ全体にわたり各画像点Ｐ_nの動きベクト
ルＶ_nを算出する（ステップＳ２）。すなわち、中央演
算処理装置１は、時刻ｔ₁に対応する画像データＤ_R1を
フレームメモリ３から読み取ってメモリ２に格納する。
ここで、画像データＤ_R1は、画像上の画像点Ｐ₁を中心
とする近傍領域の参照画像Ｒ₁に対応した画像データで
ある。次に、中央演算処理装置１は、時刻ｔ₁から微小
時間Δｔが経過した時刻ｔ₂の画像上の領域Ｓ₁に対応す
る画像データＤ_S2をフレームメモリ３から、また画像デ
ータＤ_R1をメモリ２から読み取り、これら画像データＤ
_R1及びＤ_S2を相関値演算部４に与える。相関値演算部４
は、これらデータＤ_R1とデータＤ_S2との相関値を演算し
て、領域Ｓ ₁の内部について参照画像Ｒ₁と最も相関度が
高い（相関値が小さい）画像領域ｒ₁を探索し、この画
像領域ｒ₁の中心座標値を算出する。そして、中央演算
処理部１は、相関値演算部４により算出された画像領域
ｒ₁の中心座標値を入力して、この画像領域ｒ₁の中心座
標値と画像点Ｐ₁の座標値とから、画像点Ｐ₁の動きベク
トルＶ₁を算出する。

【００２６】次に、フレームメモリ３に蓄えられた時刻
ｔ₁における画像Ｆ上の画像点Ｐ₂に着目して同様の処理
が実行され、画像点Ｐ₂における動きベクトルＶ₂を同様
に生成する。さらに、同様にして画像Ｆ全体にわたって
他の画像点Ｐ_n（ｎは正の整数）について動きベクトル
を生成し（ステップＳ２）、オプティカルフローを得
る。このようにして得られたオプティカルフローは従来
例で説明したように、信頼度の低い動きベクトルを含む
ものとなっている。

【００２７】次に、上述した動作により得られたオプテ
ィカルフローから各画像点Ｐ_nの動きベクトルＶ_nの信頼
度を計算する（ステップＳ３）。そして、計算して得ら
れた動きベクトルＶ_nの信頼度を信頼度評価値ａと比較
し、この値ａより小さい場合は（ステップＳ４，ＹＥ
Ｓ）、信頼度が低いとみなして、この動きベクトルＶ_n
の補間処理を実行する（ステップＳ６〜Ｓ１２）。ま
た、動きベクトルＶ_nの信頼度が値ａに等しいか大きい
場合（ステップＳ４，ＮＯ）には補間処理を実行するこ
となく、他の画像点における動きベクトルの信頼度の検
定を実行する（ステップＳ５，ＮＯ〜ステップＳ４）。
このようにして、全ての画像点Ｐ_nの動きベクトルＶ_nに
ついて信頼度を評価し、信頼度が値ａに満たない全ての
動きベクトルＶ_nの補間処理を実行する。

【００２８】ここで、補間処理（ステップＳ６〜Ｓ１
２）の内容について説明する。中央演算処理部１は、画
像点Ｐ_nにおける動きベクトルＶ_nの信頼度が値ａを満た
していない場合には（ステップＳ４，ＹＥＳ）、分割領
域Ａ_iの中から、その点Ｐ_nが所属する分割領域Ａ_nを探
索して特定し（ステップＳ６）、この特定された分割領
域Ａ_nについて補間処理を実行する。先ず、ベクトル変
数ｖに初期値としてゼロを設定して初期化する（ステッ
プＳ７）。次に、特定された分割領域Ａ_nに含まれる画
像点Ｑ_j（Ｑ_j∈Ａ_n）（ｊは正の整数）に着目し（ステ
ップＳ８）、この画像点Ｑ_jの動きベクトルＶ_qjの信頼
度を信頼度評価値ｂと比較する（ステップＳ９）。この
比較の結果、信頼度が値ｂに満たない動きベクトルＶ_qj
は無視されて（ステップＳ９，ＮＯ）、他の動きベクト
ルＶ_qjについて同様に信頼度の評価が実行される（ステ
ップＳ１１〜ステップＳ８〜ステップＳ９）。

【００２９】この動きベクトルＶ_qjの信頼度の評価の結
果、信頼度が値域ｂに等しいか大きい場合には（ステッ
プＳ９，ＹＥＳ）、この動きベクトルＶ_qjを画像点Ｐ_n
と画像点Ｑ_jとの距離ｄ_njで除算演算し、この除算演算
結果にベクトル変数ｖを加算して、ベクトル合成演算処
理を実行し、この処理の結果を再度ベクトル変数ｖに格
納する（ステップＳ１０）。そして、他の画像点Ｑ_jの
動きベクトルＶ_qjについて信頼度の検定を実行し、信頼
度が値ｂを満たす動きベクトルＶ_qjについて上述したベ
クトル合成演算処理を繰り返し実行してこの演算結果を
ベクトル変数ｖに累積的に格納し、特定された分割領域
Ａ_nのすべての画像点Ｑ_jについて同様の処理を実行した
かを判断する（ステップＳ１１，ＹＥＳ／ＮＯ）。信頼
度が値ｂを満たす全ての画像点Ｑ_jの動きベクトルＶ_qj
についてベクトル合成演算を実行して演算結果をベクト
ル変数ｖに累積格納すると（ステップＳ１１，ＹＥ
Ｓ）、ベクトル変数ｖに格納された合成ベクトルＶ_Hが
画像点Ｐ_nにおける動きベクトルＶ_nとして定義される
（ステップＳ１２）。以上の動作により、信頼度が値ａ
に満たない画像点Ｐ_nの動きベクトルＶ_nが、特定された
分割領域Ａ_nの値ｂを満たす全ての動きベクトルＶ_qjを
用いて合成演算処理して得られたベクトルＶ_Hにより補
間（置換）されることとなり、動きベクトル補間処理が
終了する。

【００３０】ここで、上述したベクトル合成演算処理
（ステップＳ１０）について説明する。図４は、ベクト
ル合成演算処理を説明するための線図である。同図にお
いて、ベクトルＶ_q1，Ｖ_q2の信頼度は、値ｂを満たした
ものであると仮定し、これらベクトルＶ_q1，Ｖ_q2を用い
て、点Ｐ₁の動きベクトルＶ₁を補間するベクトルを求め
る場合について説明する。先ず、点Ｐ₁と点Ｑ₁との距離
ｄ₁でベクトルＶ_q1を除算したベクトルＶ_q11を求める。
次に、点Ｐ₁と点Ｑ₂との距離ｄ₂でベクトルＶ_q2を除算
したベクトルＶ_q21を求める。そして、これらベクトル
Ｖ_q11とＶ_q21とを合成してベクトルＶ_H1を求める。ベク
トルＶ_H1は、距離ｄ₁，ｄ₂に重み付けされた大きさを有
する合成ベクトルとなり、このベクトルＶ_H1が点Ｐ₁の
動きベクトルＶ₁を補間（置換）するベクトルとなる。

【００３１】図５は、補間ベクトルＶ_Hにより補間され
て生成されたオプティカルフローを表す線図である。同
図に示されるように、物体１０の内部についても、この
物体の運動を適切に表現した運動ベクトルが生成されて
いる。図２のフローチャートのステップＳ１０の処理
を、上述したベクトルＶ_q11とベクトルＶ_q21を用いて補
足説明する。先ず上述したベクトルＶ_q11を求めて、ベ
クトル変数ｖに格納しておき、次に上述したベクトルＶ
_q21を求めてベクトル変数ｖと加算することによって、
ベクトルＶ_q11とＶ_q21とのベクトル合成を行い、このベ
クトル合成によって得られた合成ベクトルを再度ベクト
ル変数ｖに格納するものとなっている。したがって、特
定された分割領域Ａ_nの内部に信頼度が値ｂを満たすベ
クトルが多数存在する場合には、これらのベクトルを重
み付けして得られるベクトルをベクトル変数ｖと加算し
て再度ベクトル変数ｖに格納する処理を繰り返すことに
より、信頼度が値ｂを満たす全てのベクトルを用いて合
成されたベクトルが変数ｖに生成される。そして、この
変数ｖの内容が画像点Ｐ₁の補間ベクトルＶ_H1として定
義され、画像点Ｐ₁の動きベクトルＶ₁が補間ベクトルＶ
_H1で置換される。このような補間処理を行うことによっ
て、図８に示すような、輝度変化がほとんどない物体１
０の内部領域についても、運動を適切に表現した動きベ
クトルの分布を有するオプティカルフローを得ることが
できる。

【００３２】以上、説明した本発明の一実施の形態にか
かる動きベクトル算出装置は、画像の濃淡から相関値を
算出して処理するものとなっているが、カラー画像デー
タに表色系の変換処理を施して、例えば色相から相関値
を算出して処理するように構成することも可能であリ、
本発明の本質は相関値の算出方法により限定されるもの
ではない。例えば、図１に示した動きベクトル算出装置
に表色系変換部５を付加して、図１０に示すように装置
を構成し、表色系変換部５でＲＧＢカラー画像データを
マンセルＨＶＣ（Ｈ：色相、Ｖ：輝度、Ｃ：彩度）表色
系に変換するようにする。相関演算においては色相Ｈに
基づいた演算を行えば、人の動きのオプティカルフロー
を求めることが可能となり、例えば人が首を縦に振った
か横に振ったかが容易に認識可能になるといった効果が
ある。

【００３３】

【発明の効果】本発明にかかる動きベクトル算出装置に
よれば、輝度変化が少ない領域で生成された信頼度の低
い動きベクトルについて補間処理を行うようにしたの
で、輝度変化が少なくても物体の運動を適切に表した動
きベクトルを得ることができる。また、局所相関法を用
いて動きベクトルを算出するので、輝度の変化が顕著な
物体の輪郭部がぼやけない動きベクトルを得ることがで
きる。さらに、表色系を変換する手段を備えることによ
り、輝度変化がなくても例えば色相などにより動きベク
トルを算出することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態にかかる動きベクトル算
出装置の構成を表すブロック図である。

【図２】中央演算処理部１の動作を説明するためのフロ
ーチャートである。

【図３】背景画像領域Ａ₁と物体１０が占有する領域Ａ₂
との分割領域を表わす線図である。

【図４】ベクトル合成演算処理を説明するための線図で
ある。

【図５】補間ベクトルＶ_Hにより補間されて生成された
オプティカルフローを表す線図である。

【図６】局所相関法を用いて動きベクトルを求める手法
を説明するための線図である。

【図７】（ａ）〜（ｃ）は、参照画像Ｒ_nに対する領域
Ｓ_nの内部の相関値の分布の一例を二次元的に表わした
局所相関値分布図である。

【図８】（ａ）及び（ｂ）はそれぞれ時刻ｔ₁及び時刻
ｔ₂における物体の状態を表わす線図である。

【図９】局所相関法を用いて求めたオプティカルフロー
を表した線図である。

【図１０】表色系変換部を備えた本発明の一実施の形態
にかかる動きベクトル算出装置の構成を表すブロック図
である。

【符号の説明】

１ 中央演算処理部 ２ メモリ ３ フレームメモリ ４ 相関値演算部 ５ 表色系変換部 １０ 物体

Claims (2)

【特許請求の範囲】
1. 【請求項１】 各時刻に対応した画像データを格納する
   記憶部と、中央演算処理部と、前記中央演算処理部に制
   御されて第１の時刻に対応する前記画像データと第２の
   時刻に対応する前記画像データとの間の相関値を演算す
   る相関値演算部とを備え、 前記中央演算処理部は、（ａ）前記相関値に基づいて画
   像の各画像点の動きベクトルと前記動きベクトルの信頼
   度とを算出し、（ｂ）前記画像を１または２以上の画像
   領域に分割し、（ｃ）前記画像領域毎に信頼度が所定値
   を満たさない第１の画像点の動きベクトルを補間ベクト
   ルで置換する機能を有し、 前記補間ベクトルは、信頼度が前記所定値を満たす１ま
   たは２以上の第２の画像点の動きベクトルを前記第１の
   画像点と前記第２の画像点との距離に依存した重み付け
   をして合成したベクトルであり、前記第２の画像点は前
   記第１の画像点が属する画像領域に属するものであるこ
   とを特徴とする動きベクトル算出装置。
2. 【請求項２】 第１の表色系のカラー画像データを第２
   の表色系の画像データに変換する表色系変換手段を備
   え、変換された前記第２の表色系の画像データを使用し
   て動きベクトルを算出することを特徴とする請求項１記
   載の動きベクトル算出装置。