JPH10134193A - 移動ベクトル算出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 確からしさが評価された移動ベクトルを得
る。 【解決手段】 一方の画像において設定したブロック領
域を他方の画像上を走査させながらその各位置における
一致の良さを表す一致度を算出する。この一致度が高い
上位側の複数の値に基づいて、移動ベクトルの確からし
さの評価値を形成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像における移動
ベクトルを算出する移動ベクトル算出方法及び装置に関
するものである。

【０００２】

【従来の技術】種々の画像処理装置においては、その処
理過程の一部に、移動ベクトルを算出する処理を含むも
のがある。例えば、画像情報により移動物体を検知、抽
出する移動物体検知装置においては、異なる時刻に撮影
された画像から移動ベクトルを求め、これを解析して移
動物体を抽出している。また、例えば、画像圧縮装置に
おいては、異なる時刻に撮影された画像から移動ベクト
ルを求め、この移動ベクトルを利用して圧縮効率を高め
るようにしている。

【０００３】移動ベクトルを求める方法としては、ブロ
ックマッチング法や勾配法等の種々の方法があるが、ブ
ロックマッチング法を利用している画像処理装置も多
い。

【０００４】文献１『安居院猛、長尾智晴著、「画像の
処理と認識」、昭晃堂、１９９２年、pp.164-167』 例えば、上記文献１には、連続フレーム間で対応点を決
定して移動ベクトルを求める方法について開示されてい
る。この方法では、一方の画像において対応点を求める
点を中心とするブロックを考え、この対象ブロックを他
方の画像上に走査させながら最も一致する位置を探索
し、その位置の中心を対応点として求めるものである。
このような方法は一般にブロックマッチング法と呼ばれ
ている。

【０００５】ブロック同士の一致の良さを表す量（一致
度）としては、上記文献１に各種例示されており、例え
ば、(1) 式に示す輝度差分の絶対値和ＲPQを用いること
ができる。なお、(1) 式における総和ΣΣは、ｘが−Ｌ
からＬについて、ｙが−ＬからＬについてである。

【０００６】 ＲPQ＝ΣΣ｜Ｆj （Ｘq ＋ｘ，Ｙq ＋ｙ） −Ｆi （Ｘp ＋ｘ，Ｙp ＋ｙ）｜ …(1) この一致度ＲPQは、図２に示すように、一方の画像Ｆi
上の点Ｐ（Ｘp ，Ｙp）と、他方の画像Ｆj 上の点Ｑ
（Ｘq ，Ｙq ）のそれぞれを中心とするブロックの一致
度を示すものであり、ＲPQの値が０に近いほど良く一致
していることを表している。ここで、ブロックの大きさ
を一辺２Ｌ＋１画素の正方形としている。

【０００７】

【発明が解決しようとする課題】当然に、ブロックマッ
チング法により移動ベクトルを求める場合には、一方の
画像上のブロックに最も良く一致する位置が他方の画像
上において一意に決定されなければならない。

【０００８】しかし、例えば、道路画像における路面部
や屋内画像における壁や床の部分等、明るさの変化が少
ない部分については、その内部の各位置において一致度
がほぼ同じ値となるため、対応点を一意に決定すること
ができない。また、例えば、橋の欄干部や横断歩道ある
いはタイル張りの床等ど、繰り返しのパターンをもつ部
分についても、同一のパターンを持つ画像領域が複数存
在するため、やはり最良の一致を与える位置を一意に決
定することは困難である。

【０００９】このような部分については、例えば、ブロ
ックマッチングの範囲を元の位置の近傍に制限するなど
の処置によって誤った対応付けを防ぐことがある程度可
能である。しかし、全く模様がないような場合や細かい
繰り返しパターンなどにより正しい移動ベクトルを得る
ことが困難な部分については、不確かな移動ベクトルが
算出されないように工夫する必要がある。

【００１０】そのため、ブロックマッチング法により移
動ベクトルを算出する際に、算出された移動ベクトルの
確かさを評価できる移動ベクトルの算出方法及び装置が
求められている。

【００１１】

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、異なる時刻に撮影された２枚の画
像から移動ベクトルを算出する移動ベクトル算出方法に
おいて、(1) 一方の画像において設定したブロック領域
を他方の画像上を走査させながらその各位置における一
致の良さを表す一致度を算出する処理と、(2) この一致
度が高い上位側の複数の値に基づいて、移動ベクトルの
確からしさの評価値を形成する処理とを含むことを特徴
とする。

【００１２】また、第２の本発明は、異なる時刻に撮影
された２枚の画像から移動ベクトルを算出する移動ベク
トル算出方法において、(1) 入力された２枚の画像のそ
れぞれについて多重解像度画像を作成する処理と、(2)
一方の画像において設定したブロック領域を他方の画像
上を走査させながらその各位置における一致の良さを表
す一致度を算出する処理と、(3) この一致度が高い上位
側の複数の値に基づいて、移動ベクトルの確からしさの
評価値を形成する処理と、(4) 算出した移動ベクトルの
確からしさの評価値が確からしいことを示している場合
には、上記一致度の最良値を与えた位置によって移動ベ
クトルを得ると共に、上記確からしさの評価値が確から
しいこと示していない場合に、上記多重解像度画像のう
ち低解像度の画像について、当該ブロック領域を含むブ
ロック領域について、撮像画像に対すると同じ処理によ
り移動ベクトルを求めて、又は、撮像画像に対すると同
じ処理により予め求められた低解像度の画像についての
移動ベクトルを、当該ブロック領域の移動ベクトルとす
る処理とを含むことを特徴とする。

【００１３】さらに、第３の本発明は、異なる時刻に撮
影された２枚の画像から移動ベクトルを算出する移動ベ
クトル算出装置において、(1) 一方の画像において設定
したブロック領域を他方の画像上を走査させながらその
各位置における一致の良さを表す一致度を算出する一致
度算出手段と、(2) この一致度が高い上位側の複数の値
に基づいて、移動ベクトルの確からしさの評価値を形成
する移動ベクトル評価値算出手段とを有することを特徴
とする。

【００１４】さらにまた、第４の本発明は、異なる時刻
に撮影された２枚の画像から移動ベクトルを算出する移
動ベクトル算出装置において、入力された２枚の画像の
それぞれについて多重解像度画像を作成する多重解像度
画像生成手段と、(1) 一方の画像において設定したブロ
ック領域を他方の画像上を走査させながらその各位置に
おける一致の良さを表す一致度を算出する一致度算出手
段と、(2) この一致度が高い上位側の複数の値に基づい
て、移動ベクトルの確からしさの評価値を形成する移動
ベクトル評価値算出手段と、(3) 算出した移動ベクトル
の確からしさの評価値が確からしいことを示している場
合には、上記一致度の最良値を与えた位置によって移動
ベクトルを得ると共に、上記確からしさの評価値が確か
らしいこと示していない場合に、上記多重解像度画像の
うち低解像度の画像について、当該ブロック領域を含む
ブロック領域について、撮像画像に対すると同じ処理に
より移動ベクトルを求めて、又は、撮像画像に対すると
同じ処理により予め求められた低解像度の画像について
の移動ベクトルを、当該ブロック領域の移動ベクトルと
する移動ベクトル決定手段とを有することを特徴とす
る。

【００１５】第１及び第３の本発明により、ブロックマ
ッチングでの複数の一致度に基づいて、確からしさが評
価された移動ベクトルを得ることができる。

【００１６】また、第２及び第４の本発明により、ブロ
ックマッチングでの複数の一致度に基づいて、確からし
さが評価された移動ベクトルを得ることができると共
に、原画像については移動ベクトルが得られないブロッ
ク領域に対しては低解像度の画像について求めた移動ベ
クトルを出力するようにしたので、移動ベクトルが有効
な値をとるブロック領域を多くすることができる。

【００１７】

【発明の実施の形態】

（Ａ）第１の実施形態 以下、本発明による移動ベクトル算出方法及び装置の第
１の実施形態を図面を参照しながら詳述する。

【００１８】この第１の実施形態は、一方の画像上のブ
ロックを他方の画像上に走査させながらその各位置で一
致度を算出し、その最良値がその他の一致度の値よりも
十分良いものであるかを判定することにより、確かな移
動ベクトルだけを算出することを特徴とするものであ
る。

【００１９】ここで、図３が、第１の実施形態の移動ベ
クトル算出方法及び装置を適用したシステムの構成を示
すブロック図である。

【００２０】図３において、ビデオカメラ１０により得
られた画像信号（アナログ信号）はアナログ／デジタル
変換器（Ａ／Ｄ変換器）ｌｌにより逐次デジタル画像信
号に変換され、切替スイッチ１２を介してフレームバッ
ファ１３ａ又は１３ｂに交互に供給されて格納される。
フレームバッファ１３ａ及び１３ｂにはそれぞれ異なる
時刻に撮影された画像信号（以下、場合によっては単に
画像と呼ぶ）が格納されるが、これは切替スイッチ１２
を適当な時間間隔で切替えることにより行なわれる。移
動ベクトル算出部１４は、２個のフレームバッファ１３
ａ及び１３ｂに格納された時刻が異なる画像信号から移
動ベクトルを算出する。

【００２１】図１は、図３における移動ベクトル算出部
１４の処理内容を示すフローチャートである。

【００２２】まず、フレームバッファ１３ａに格納され
た画像に対し、ブロックマッチングを行なうためのブロ
ック領域を設定する（ステップＳＰ２１）。

【００２３】次に、当該ブロック領域の画像に基づいて
ブロックマッチングを行ない、マッチング範囲の各位置
における一致度及び結果に対する評価値を算出する（ス
テップＳＰ２２）。設定されたブロック領域の中心と、
一致度が最も高いブロックの中心とを結ぶベクトルが求
める移動ベクトルである。評価値は、求められた移動ベ
クトルの確からしさを表しているものである。

【００２４】そして、求められた評価値を予め設定した
閾値Ｔと比較し、得られた移動ベクトルが信頼できるも
のであるかどうかの判定を行なう（ステップＳＰ２
３）。すなわち、例えば、フレームバッファ１３ｂに格
納された他方の画像が輝度変化に乏しいような場合や、
同一パターンの繰り返しを含むような場合で、ブロック
マッチングの結果が不確かな場合には、ステップＳＰ２
２で求める評価値は小さい評価となり、従って、この評
価値を適当な閾値と比較することにより、得られた移動
ベクトルが確かなものであるかどうかを判定する。

【００２５】評価値と閾値との比較の結果、ブロックマ
ッチングの結果が確かなものであるという判定を得た場
合には、得られた移動ベクトルを記録する（ステップＳ
Ｐ２４）。これに対して、評価値と閾値との比較の結
果、ブロックマッチングの結果が不確かなものであると
いう判定を得た場合には、得られた移動ベクトルを記録
しない。

【００２６】以上のようなステップＳＰ２１〜ステップ
ＳＰ２４でなる処理ループを、移動ベクトルを求める各
点について繰返し行なう（ステップＳＰ２５）。

【００２７】以下、ステップＳＰ２２の処理について詳
細に説明する。ステップＳＰ２２の処理は、大きくは、
ブロックマッチング処理と、評価値算出処理とに分かれ
ており、以下、この順に詳述する。

【００２８】まず、上述した図２のブロックマッチング
の説明図を用いて、ステップＳＰ２２におけるブロック
マッチングの処理内容（後述する図４のステップＳＰ４
１参照）について説明する。

【００２９】図２に示すように、ステップＳＰ２１にお
いて設定されたブロック領域Ｂp は、画像Ｆi 上におい
て中心を点Ｐ（Ｘp ，Ｙp ）におく一辺２Ｌ＋１画素の
正方形とする。また、他方の画像Ｆj 上において、点Ｐ
に対応する点を探す範囲をサーチウインドウＷと呼び、
このサーチウインドウＷを、ブロックの中心位置の移動
量がＰから各軸方向に±ｗ画素以下となる範囲とする。
ブロックマッチングはサーチウインドウＷ内で、処理対
象ブロック領域Ｂp との一致度が最良となるブロックＢ
q を求めることである。

【００３０】点Ｐから（ｄｘ，ｄｙ）だけ離れた点を中
心とするブロックと、処理対象ブロック領域Ｂp との一
致度をＲ（ｄｘ，ｄｙ）とすると、上述した(1) 式を一
致度の算出に用いる場合には、この一致度Ｒ（ｄｘ，ｄ
ｙ）は、(2) 式で表される。なお、(2) 式における総和
ΣΣは、ｘが−ＬからＬについて、ｙが−ＬからＬにつ
いてである。また、この一致度Ｒ（ｄｘ，ｄｙ）は、−
ｗ≦ｄｘ≦ｗ、−ｗ≦ｄｙ≦ｗの範囲内における各位置
について順次求めてゆく（後述する図４のステップＳＰ
４８参照）。

【００３１】 Ｒ（ｄｘ，ｄｙ）＝ΣΣ｜Ｆj （Ｘp ＋ｄｘ＋ｘ，Ｙp ＋ｄｙ＋ｙ） −Ｆi （Ｘp ＋ｘ，Ｙp ＋ｙ）｜ …(2) 次に、ステップＳＰ２２における評価値算出の処理につ
いて説明する。図４が、評価値算出の処理内容を詳細に
示したステップＳＰ２２の処理を示すフローチャートで
ある。

【００３２】ここで、評価値とは、一致度Ｒ（ｄｘ，ｄ
ｙ）のサーチウインドウＷ内での最良値が、他のものに
比べてどの程度良いかを示すものである。以下の説明で
は、(2) 式により一致度（値が小さいほど良い一致を示
す）Ｒ（ｄｘ，ｄｙ）を求めるものとし、一致度の最小
値と第２最小値との差を評価値として算出する。

【００３３】まず処理を行なうに当たり、一致度の最小
値を表す変数Ｒ１、第２最小値を表す変数Ｒ２の初期化
を行なう。これら変数Ｒ１、Ｒ２の初期値は、一致度の
値としてとり得る最悪の値としておく。また、以下の手
順では移動量を格納する変数Ｄ、最小一致度を与える点
の座標までの偏差（ｄｘｍ，ｄｙｍ）も用いる。

【００３４】次に、サーチウインドウＷ内のある点（Ｘ
p ＋ｄｘ，Ｙp ＋ｄｙ）を中心とするブロックと、処理
対象ブロック領域Ｂp との一致度Ｒ（ｄｘ，ｄｙ）を求
める（ステップＳＰ４１）。図４ではＲと示している。

【００３５】その後、求められた一致度Ｒを、第２最小
値変数Ｒ２と比較する（ステップＳＰ４２）。求められ
た一致度Ｒが、その時点での第２最小値変数Ｒ２以上の
場合には、移動ベクトルの候補ともならず、評価値算出
にも利用できないので、サーチウインドウＷ内の他の点
を中心とするブロックについての一致度算出に移行する
（ステップＳＰ４８、ＳＰ４１）。これに対して、求め
られた一致度Ｒが、その時点での第２最小値変数Ｒ２よ
り小さい場合には、求められた一致度Ｒを最小値変数Ｒ
１と比較する（ステップＳＰ４３）。

【００３６】求められた一致度Ｒが最小値変数Ｒ１より
小さい場合には、今回求められた一致度Ｒがいままでの
一致度の中で最も小さいので、今までの最小値変数Ｒ１
を第２最小値変数Ｒ２に代入し（新たな第２最小値とす
る）、今回求められた一致度Ｒを最小値変数Ｒ１に代入
し（新たな一致度最小値とする）、点Ｐから点（Ｘp＋
ｄｘ，Ｙp ＋ｄｙ）までの移動量√（ｄｘ² ＋ｄｙ² ）
を移動量変数Ｄに代入する（平方根をとることは必ずし
も必要ではない）。また、処理対象ブロック領域Ｂp の
中心Ｐと、一致度を求めたブロックの中心との座標偏差
（ｄｘ，ｄｙ）を移動ベクトル変数（ｄｘｍ，ｄｙｍ）
に代入する（ステップＳＰ４４）。

【００３７】これに対して、ステップＳＰ４３による比
較結果が、求められた一致度Ｒが最小値変数Ｒ１以上の
場合には、また、ステップＳＰ４３における条件Ｒ１＞
Ｒが成立しない場合には、求められた一致度Ｒが最小値
変数Ｒ１と一致するかを確認する（ステップＳＰ４
５）。

【００３８】一致しない場合には、今回求められた一致
度Ｒがいままでの一致度の中で２番目に小さいので、今
回求められた一致度Ｒを第２最小値変数Ｒ２に代入した
後（ステップＳＰ４７）、サーチウインドウＷ内の他の
点を中心とするブロックについての一致度算出に移行す
る（ステップＳＰ４８、ＳＰ４１）。

【００３９】一方、求められた一致度Ｒが最小値変数Ｒ
１と一致する場合には、移動量√（ｄｘ² ＋ｄｙ² ）を
それまでの移動量変数Ｄと比較する（ステップＳＰ４
６）。そして、移動量が移動量変数Ｄより小さい場合に
は、今回求められた一致度Ｒが今までの一致度の中で最
も小さいものとして上述したステップＳＰ４４に移行
し、移動量が移動量変数Ｄ以上の場合には、今回求めら
れた一致度Ｒが今までの一致度の中で２番目に小さいも
のとして上述したステップＳＰ４７に移行する。

【００４０】以上の処理をサーチウインドウＷ内の全て
の点について繰り返し行なうことにより（ステップＳＰ
４８）、サーチウインドウＷ内における一致度最小値Ｒ
１及び第２最小値Ｒ２を得ることができる。そして、繰
返し処理の終了時に、移動ベクトル変数（ｄｘｍ，ｄｙ
ｍ）を点Ｐにおけるブロックマッチングの結果として、
また、一致度最小値Ｒ１と第２最小値Ｒ２との差Ｒ２−
Ｒ１をブロックマッチングの結果に対する評価値Ｃｐと
してそれぞれ得る（ステップＳＰ４９）。

【００４１】例えば、サーチウインドウＷ内の画像が輝
度変化に乏しいような場合や、同一パターンの繰り返し
を含むような場合で、ブロックマッチングの結果が不確
かな場合には、サーチウインドウＷ内における一致度最
小値と第２最小値との差が小さくなるため、求めた評価
値Ｃｐは小さい値となる。従って、この評価値Ｃｐを適
当な閾値と比較することにより、得られた移動ベクトル
が確かなものであるかどうかを判定することができる。
なお、複数の位置において最小一致度が得られる場合に
は、上記手順に従って得られる評価値Ｃｐは０となる。

【００４２】上述したように、ステップＳＰ２３におい
て、求められた評価値Ｃｐを予め設定した閾値Ｔと比較
し、得られた移動ベクトルが信頼できるものであるかど
うかの判定を行ない、得られた移動ベクトルが信頼でき
るものであるとき、ステップＳＰ２４において、移動ベ
クトル変数（ｄｘｍ，ｄｙｍ）を点Ｐにおける移動ベク
トルとして記録する。

【００４３】以上説明したように、第１の実施形態によ
れば、ブロックマッチングの結果得られた一致度の最小
値と第２最小値との差として評価値Ｃｐを算出し、これ
を閾値と比較するようにしたので、算出された移動ベク
トルの確かさを評価でき、不確かな移動ベクトルの出力
を防止することができる。

【００４４】その結果、移動ベクトルを利用した処理の
処理結果の精度も向上させることができる。例えば、画
像情報により移動物体を検知、抽出する移動物体検知装
置であれば、移動物体の抽出精度を向上させることがで
きる。

【００４５】（Ｂ）第２の実施形態 次に、本発明による移動ベクトル算出方法及び装置の第
２の実施形態を図面を参照しながら詳述する。

【００４６】第２の実施形態は、上述した第１の実施形
態を改良したものである。第１の実施形態では、ブロッ
クマッチングによって得られる一致度を順次比較しなが
ら、一致度の最小値及び第２最小値を得て、最終的に得
られた一致度の最小値及び第２最小値から評価値を算出
するものであるが、実際上、最も良い一致を与えた位置
の近傍における一致度は最良値に近い値を示すことが多
い。このような場合、得られた移動ベクトルが良好なも
のであっても、評価値が低くなることがある。そのた
め、一度最も良い一致を与える位置を求めた後、その近
傍に対しては評価値の算出に用いない等の工夫をするこ
とが実際的である。

【００４７】そこで、第２の実施形態は、サーチウイン
ドウＷ内において算出した一致度を一旦一致度記憶装置
に格納し、最も良い一致を与えた位置の近傍を除く部分
において最も良い一致度と、全体での最良一致度との差
を評価値として算出することとした。言い換えると、第
１の実施形態における第２最小値を求める領域に制限を
加えたものである。

【００４８】図５は、この第２の実施形態に係るシステ
ムの構成を示すブロック図であり、上述した図３との同
一、対応部分には同一符号を付して示している。図５及
び図３の比較から明らかなように、第１の実施形態のシ
ステム構成に、さらに一致度記憶部５５を付加したもの
である。

【００４９】この一致度記憶部５５には、図７に示すよ
うに、点Ｐからの座標偏差値（ｄｘ，ｄｙ）に対応した
一致度の値が、点Ｐからの座標偏差値（ｄｘ，ｄｙ）に
応じた２次元配列として記憶される。

【００５０】図６は、第２の実施形態の移動ベクトル算
出部１４における処理の内容を示すフローチャートであ
る。

【００５１】図１及び図６の比較から明らかなように、
第２の実施形態は、ブロックマッチング処理（ステップ
ＳＰ６０）及び評価値算出処理（ステップＳＰ６１）が
明確に分かれており、その処理内容が、第１の実施形態
と異なっている。その他の処理は、第１の実施形態と同
様である。そこで、以下では、第２の実施形態のブロッ
クマッチング処理及び評価値算出処理の内容について説
明する。

【００５２】第２の実施形態のブロックマッチング処理
（ステップＳＰ６０）では、ステップＳＰ２１で決定さ
れた処理対象ブロック領域について、ブロックマッチン
グを行ない、サーチウィンドウＷ内の各点について得ら
れた一致度を、図７に示すように、２次元配列として、
一致度記憶部５５に記憶させる処理を行なう。

【００５３】第２の実施形態の評価値算出処理（ステッ
プＳＰ６１）では、フローチャートの図示は省略する
が、まず、一致度記憶部５５に記憶された一致度から、
最も良い一致を示す（一致度の最小値の）位置を探索
し、次に、その近傍を除く部分において最も良い一致を
示す位置を探索する。そして、両者の一致度の差を評価
値として算出する。

【００５４】以下、この手順を図８を用いて説明する。
なお、以下の説明においては、第１の実施形態における
説明と同様、(2) 式の一致度を用いているものとする。

【００５５】図８において、（ｄｘｍ，ｄｙｍ）は記憶
された一致度のうち最小のものを与えた位置（正確には
点Ｐからの座標偏差値）である。この位置の探索は、一
致度記憶部５５内の一致度を適当な手順で順次走査する
ことにより行なう。次に、位置（ｄｘｍ，ｄｙｍ）から
一定値以上離れた範囲（図８の斜線で示した部分）にお
ける一致度Ｒ（ｄｘ，ｄｙ）の最小値（第１の実施形態
の第２最小値に該当する）を求める。そして、この値Ｒ
（ｄｘ，ｄｙ）と、全体の最小値Ｒ（ｄｘｍ，ｄｙｍ）
との差を評価値Ｃｐとする。この場合、評価値Ｃｐは
(3) 式で求められる。なお、(3) 式における最小値の探
索範囲Ｗ’（図８の斜線部分）は、(4) 式で与えられる
範囲であり、ｄｘあるいはｄｙがそれぞれ、ｄｘｍある
いはｄｙｍから一定値ｎ画素よりも遠く離れている範囲
である。

【００５６】 Ｃｐ＝ｍｉｎ｛Ｒ（ｄｘ，ｄｙ）−Ｒ（ｄｘｍ，ｄｙｍ）｝ …(3) Ｗ’＝｛（ｄｘ，ｄｙ）｜｜ｄｘ−ｄｘｍ｜＞ｎ かつ｜ｄｘ−ｄｘｍ｜＞ｎ｝ …(4) この第２の実施形態によっても、ブロックマッチングの
結果得られた一致度の最小値と第２最小値との差として
評価値Ｃｐを算出し、これを閾値と比較するようにした
ので、算出された移動ベクトルの確かさを評価でき、不
確かな移動ベクトルの出力を防止することができる。

【００５７】ここで、この第２の実施形態によれば、一
致度の第２最小値を、全体の最小値の位置近傍を除外し
た領域から探索するようにしたので、算出された移動ベ
クトルの確かさをより適切に評価できる。例えば、一致
度の最小値を与えた位置の近傍においてほぼ同じような
一致度が得られ、確かな移動ベクトルが得られているに
も拘らず、評価値が閾値以下となるために移動ベクトル
が記録されないような事態を回避することができる。

【００５８】（Ｃ）第３の実施形態 次に、本発明による移動ベクトル算出方法及び装置の第
３の実施形態を図面を参照しながら詳述する。

【００５９】第３の実施形態も、上述した第１の実施形
態を改良したものである。上述したように、ブロックマ
ッチングにおいては、一方の画像上のブロックに最も良
く一致する位置が他方の画像上において一意に決定され
なければならない。しかし、明るさの変化が少ない部分
については、その内部の各位置において一致度がほぼ同
じ値となるため、対応点を一意に決定することができな
い。そのため、第ｌの実施形態においては、ブロックマ
ッチングによる結果に対する評価値を算出し、これを閾
値と比較することにより不確かな移動ベクトルを排除し
た。しかし、この評価値は、実際にブロックマッチング
を行なった結果を利用して求めるため、不必要な移動ベ
クトルに対しても同じ処理が必要である。この第３の実
施形態は、事前にブロックマッチングを行なうかどうか
を判定する機能を設けたことにより、全体としての処理
量の削減をはかったものである。

【００６０】この第３の実施形態に係るシステムの構成
は、上述した図３と同様であり、その移動ベクトル算出
部１４の処理が第１の実施形態と異なっている。

【００６１】そこで、以下では、第３の実施形態の移動
ベクトル算出部１４の処理内容を、図９に示すフローチ
ャートを参照しながら説明する。

【００６２】図９及び図１との比較から明らかなよう
に、ステップＳＰ９０の処理対象ブロック領域の決定処
理が第１の実施形態と異なっており、また、ステップＳ
Ｐ９１の特徴量と閾値Ｆとの比較処理が新たに追加され
ており、その他の処理（ステップＳＰ２２〜ＳＰ２５）
は、第１の実施形態と同様である。そこで、以下では、
ステップＳＰ９０の処理対象ブロック領域の決定処理
と、ステップＳＰ９１の特徴量と閾値Ｆとの比較処理と
について説明する。

【００６３】この第３の実施形態における処理対象ブロ
ック領域の決定処理（ステップＳＰ９０）では、処理対
象ブロック領域Ｂp を決定するだけでなく、そのブロッ
ク領域Ｂp の画像内容の特徴を表す特徴量を計算する。

【００６４】ここで、特徴量は、移動ベクトルの算出
（ブロックマッチング）に向いた、十分な複雑さをもっ
た画像内容か否かを決定できるものである。言い換える
と、ブロック領域Ｂp 内の輝度変化が乏しく移動ベクト
ルの算出に不向きなものか、輝度変化がある程度以上あ
って移動ベクトルの算出に向いているものかを決定でき
るものである。この特徴量としては、例えば、(5) 式で
表される、ブロック内パターンの輝度変化分の総和Ｆ
（Ｂp ）を適用することができる。なお、(5) 式におけ
る総和ΣΣは、ｘが−ＬからＬ−１について、ｙが−Ｌ
からＬ−１についてである。

【００６５】 Ｆ（Ｂp ）＝ΣΣ｛｜Ｆi （Ｘp ＋ｘ＋１，Ｙp ＋ｙ） −Ｆi （Ｘp ＋ｘ，Ｙp ＋ｙ）｜ ＋｜Ｆi （Ｘp ＋ｘ，Ｙp ＋ｙ＋１） −Ｆi （Ｘp ＋ｘ，Ｙp ＋ｙ）｜｝ …(5) 次に、ステップＳＰ９１においては、得られた複雑さを
表す特徴量Ｆ（Ｂp ）を事前に設定した閾値Ｆと比較
し、ブロックマッチングを行なうか否かを判定する。そ
して、特徴量Ｆ（Ｂp ）が閾値Ｆ以上であった場合に
は、当該ブロック領域Ｂp について、ブロックマッチン
グ処理以降の処理を行ない、移動べクトルを求める。一
方、特徴量Ｆ（Ｂp ）が閾値Ｆより小さい場合には、ブ
ロックマッチングを行なうことなく、次の処理対象ブロ
ック領域の設定処理に移行する。

【００６６】この第３の実施形態によっても、ブロック
マッチングの結果得られた一致度の最小値と第２最小値
との差として評価値Ｃｐを算出し、これを閾値と比較す
るようにしたので、算出された移動ベクトルの確かさを
評価でき、不確かな移動ベクトルの出力を防止すること
ができる。

【００６７】これに加えて、第３の実施形態によれば、
ブロックマッチングを行なう前に、処理対象ブロック領
域について、その領域に含まれる画像内容の複雑さを表
す特徴領域を算出し、これを閾値と比較してブロックマ
ッチングを行なうか否かを判定するようにしたので、例
えば、道路画像の路面部や室内画像の壁面部等、画像内
容（パターン）の変化が乏しいため確かな移動ベクトル
がブロックマッチングによって得られそうでないような
領域については、事前の判定によりブロックマッチング
を行なわないようにすることができ、全体としての計算
量を削減することができる。

【００６８】（Ｄ）第４の実施形態 次に、本発明による移動ベクトル算出方法及び装置の第
４の実施形態を図面を参照しながら詳述する。

【００６９】この第４の実施形態は、多重解像度画像が
生成し、多重解像度画像を参照して移動ベクトルを算出
しようとしたものである。

【００７０】図１０は、この第４の実施形態に係るシス
テムの構成を示すブロック図であり、上述した図３との
同一、対応部分には同一符号を付して示している。図１
０及び図３の比較から明らかなように、第１の実施形態
のシステム構成に、さらに多重解像度画像生成部１６ａ
及び１６ｂを付加したものである。

【００７１】各多重解像度画像生成部１６ａ、１６ｂ
は、対応するフレームバッファ１３ａ、１３ｂに格納さ
れた画像について、それぞれの多重解像度画像を生成す
るものである。そのため、第４の実施形態の移動ベクト
ル算出部１４は、後述するように、多重解像度画像を参
照して、移動ベクトルを算出する。

【００７２】ここで、多重解像度画像とは、図１１に示
すように、原画像の大きさを様々な縮尺で縮小した一連
の画像群のことをいう。例えば、縮尺を１／２に設定
し、原画像の縦横方向に隣り合う４画素の輝度平均値を
縮小画像の１画素の輝度とすることによって、一段小さ
い画像を生成し、この形成された画像を原画像として同
様な処理を行ない、かかる処理を繰り返すことで多重解
像度画像を生成する。この他、多重解像度画像の作成
は、文献２『P.J.Burt、「Smart Sensing within aPyra
mid Vision Machine 」、Proceeding IEEE 、Vol.76、N
o.8、 pp.1006-1015 、1988』に記載の装置を使っても
可能である。

【００７３】ここで、原画像と縮尺画像とについて、縦
横同じ大きさのブロックを考えた場合、縮尺画像のブロ
ックは、原画像における縮尺の２乗の逆数の大きさに対
応しているので、通常、画像内容の変化（複雑さ）は大
きくなる。

【００７４】図１２は、第４の実施形態の移動ベクトル
算出部１４の処理手順を示すフローチャートである。

【００７５】移動ベクトル算出部１４は、低解像度画像
からより高い高解像度画像への順に図１２に示す処理を
繰り返す（ステップＳＰ１２１）。なお、最初の低解像
度画像の処理は、図１２に示すものと若干異なり、上述
した図１に示す処理内容と同様である。すなわち、評価
値Ｃｐが閾値Ｔ以下の場合には、移動ベクトルの記録動
作は実行されない。

【００７６】各解像度画像の処理において、評価値Ｃｐ
と閾値Ｔとを比較するまでの処理は、第１の実施形態と
同様である。ここで、評価値Ｃｐが閾値Ｔより大きい場
合には、今回のステップＳＰ２２の処理で得られた移動
ベクトルを記録し、これに対して、評価値Ｃｐが閾値Ｔ
以下となった場合には、より低解像度画像でのブロック
マッチングにより事前に求めた移動ベクトルのうち、当
該処理ブロックを含むブロックに関するものを呼び出し
（ステップＳＰ１２０）、これを当該処理ブロックにお
ける移動ベクトルとして記録する。

【００７７】この第４の実施形態によっても、ブロック
マッチングの結果得られた一致度の最小値と第２最小値
との差として評価値Ｃｐを算出し、これを閾値と比較す
るようにしたので、算出された移動ベクトルの確かさを
評価でき、不確かな移動ベクトルの出力を防止すること
ができる。

【００７８】これに加えて、第４の実施形態によれば、
多重解像度画像を作成し、その各解像度における移動ベ
クトルを順次求めてゆくようにしたので、移動ベクトル
が得られる画素をより多くすることができる。すなわ
ち、第４の実施形態においては、低解像度画像における
移動べクトルの算出も行なっており、低解像度画像にお
ける１つのブロックは原画像のブロックよりも広い範囲
を含むことから、低解像度画像のブロックが別のパター
ンを含めばパターン変化や周期性のないパターンをブロ
ックに含むことなどによって、より確かな移動ベクトル
を算出することができる。従って、低解像度画像で得ら
れた移動ベクトルによって現在の解像度の画像では算出
できなかった移動ベクトルを補うことができ、より多く
の移動ベクトルを得ることができる。

【００７９】（Ｅ）他の実施形態 以上説明したように、本発明による移動ベクトル算出方
法及び装置を用いれば、従来のブロックマッチングによ
る移動ベクトルよりも精度の高いものをより多く得るこ
とができる。このような方法及び装置は、例えば交通流
や気流の観測や移動物体追尾など移動ベクトルを利用す
る様々な装置に適用可能であり、それらの性能を向上さ
せることができる。

【００８０】なお、各実施形態の説明では、処理対象ブ
ロック領域の大きさを一辺が２Ｌ＋１画素の正方形と仮
定して説明したが、この形状は任意で良い。その際、ブ
ロック内の適当な場所に代表点を設定しておき、マッチ
ング前後の代表点の移動分として移動ベクトルを出力す
るようにすれば良い。

【００８１】また、上記第３の実施形態は、第１の実施
形態の処理を前提とし、その処理の中に、特徴量の算
出、特徴量に基づいたブロックマッチングの実行有無の
判断を盛り込んだものであったが、第２の実施形態の処
理を前提とし、その処理の中に、特徴量の算出、特徴量
に基づいたブロックマッチングの実行有無の判断を盛り
込むようにしても良い。

【００８２】さらに、上記第４の実施形態は、第１の実
施形態の処理を前提とし、多重解像度画像を参照とした
移動ベクトルの算出を行なうものであったが、第２の実
施形態や第３の実施形態の処理を前提とし、多重解像度
画像を参照とした移動ベクトルの算出を行なうようにし
ても良い。

【００８３】さらにまた、上記各実施形態においては、
撮像時刻が古い画像から新しい画像への移動ベクトルを
算出するものを示したが、逆に、撮像時刻が新しい画像
から古い画像への移動ベクトルを算出するのに本発明を
適用することができる。

【００８４】また、上記第４の実施形態においては、低
解像度の画像から高解像度の画像の順に処理して移動ベ
クトルを得るものを示したが、逆に、当初から撮像画像
についての移動ベクトルの算出を行ない、算出できない
ブロック領域について、低解像度の画像についての移動
ベクトルの算出を行なうようにしても良い。

【００８５】さらに、上記各実施形態においては、ブロ
ックマッチングの評価値Ｃｐが、一致度の最小値と第２
最小値との差であるものを示したが、他の評価値であっ
ても良い。例えば、一致度の最小値と第２最小値との比
であっても良く、第２最小値及び第３最小値の平均と、
最小値との差であっても良い。

【００８６】さらにまた、上記各実施形態においては、
評価値Ｃｐが低い移動ベクトルを記録（出力）しないも
のを示したが、評価値Ｃｐが低い移動ベクトルも評価値
Ｃｐと共に記録し、評価が低い移動ベクトルの利用の有
無を後段の装置に委ねるようにしても良い。

【００８７】

【発明の効果】以上のように、第１の本発明による移動
ベクトル算出方法及び第３の本発明による移動ベクトル
算出装置によれば、一方の画像において設定したブロッ
ク領域を他方の画像上を走査させながらその各位置にお
ける一致の良さを表す一致度を算出し、この一致度が高
い上位側の複数の値に基づいて、移動ベクトルの確から
しさの評価値を形成するようにしたので、確からしさが
評価された移動ベクトルを得ることができる。

【００８８】また、第２の本発明による移動ベクトル算
出方法及び第４の本発明による移動ベクトル算出装置に
よれば、入力された２枚の画像のそれぞれについて多重
解像度画像を作成し、一方の画像において設定したブロ
ック領域を他方の画像上を走査させながらその各位置に
おける一致の良さを表す一致度を算出し、この一致度が
高い上位側の複数の値に基づいて、移動ベクトルの確か
らしさの評価値を形成し、算出した移動ベクトルの確か
らしさの評価値が確からしいことを示している場合に
は、一致度の最良値を与えた位置によって移動ベクトル
を得ると共に、確からしさの評価値が確からしいこと示
していない場合に、多重解像度画像のうち低解像度の画
像について、当該ブロック領域を含むブロック領域につ
いて、撮像画像に対すると同じ処理により移動ベクトル
を求めて、又は、撮像画像に対すると同じ処理により予
め求められた低解像度の画像についての移動ベクトル
を、当該ブロック領域の移動ベクトルとするようにした
ので、確からしさが評価された移動ベクトルを得ること
ができると共に、原画像については移動ベクトルが得ら
れないブロック領域に対しては低解像度の画像について
求めた移動ベクトルを出力するようにしたので、移動ベ
クトルが有効な値をとるブロック領域を多くすることが
できる。

【図面の簡単な説明】

【図１】第１の実施形態の移動ブロック算出部の処理フ
ローチャートである。

【図２】ブロックマッチングの説明図である。

【図３】第１の実施形態に係るシステム構成を示すブロ
ック図である。

【図４】第１の実施形態の評価値算出処理を示すフロー
チャートである。

【図５】第２の実施形態に係るシステム構成を示すブロ
ック図である。

【図６】第２の実施形態の移動ブロック算出部の処理フ
ローチャートである。

【図７】第２の実施形態の一致度記憶部の記憶内容を示
す説明図である。

【図８】第２の実施形態の評価値算出方法の説明図であ
る。

【図９】第３の実施形態の移動ブロック算出部の処理フ
ローチャートである。

【図１０】第４の実施形態に係るシステム構成を示すブ
ロック図である。

【図１１】多重解像度画像の説明図である。

【図１２】第４の実施形態の移動ブロック算出部の処理
フローチャートである。

【符号の説明】

１０…ビデオカメラ、１１…Ａ／Ｄ変換器、１２…切替
スイッチ、１３ａ、１３ｂ…フレームバッファ、１４…
移動ベクトル算出部、１６ａ、１６ｂ…多重解像度画像
生成部、５５…一致度記憶部。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 異なる時刻に撮影された２枚の画像から
   移動ベクトルを算出する移動ベクトル算出方法におい
   て、 一方の画像において設定したブロック領域を他方の画像
   上を走査させながらその各位置における一致の良さを表
   す一致度を算出する第１の処理と、 この一致度が高い上位側の複数の値に基づいて、移動ベ
   クトルの確からしさの評価値を形成する第２の処理とを
   含むことを特徴とする移動ベクトル算出方法。
2. 【請求項２】 一方の画像において設定したブロック領
   域内において画像の複雑さを表す特徴量を算出して、閾
   値と比較する第３の処理を含み、 この第３の処理による比較結果が、設定したブロック領
   域内における画像の複雑さが小さいことを示している場
   合に、このブロック領域に対する移動ベクトルの算出を
   実行させないことを特徴とする請求項１に記載の移動ベ
   クトル算出方法。
3. 【請求項３】 異なる時刻に撮影された２枚の画像から
   移動ベクトルを算出する移動ベクトル算出方法におい
   て、 入力された２枚の画像のそれぞれについて多重解像度画
   像を作成する第４の処理と、 一方の画像において設定したブロック領域を他方の画像
   上を走査させながらその各位置における一致の良さを表
   す一致度を算出する第１の処理と、 この一致度が高い上位側の複数の値に基づいて、移動ベ
   クトルの確からしさの評価値を形成する第２の処理と、 算出した移動ベクトルの確からしさの評価値が確からし
   いことを示している場合には、上記一致度の最良値を与
   えた位置によって移動ベクトルを得ると共に、上記確か
   らしさの評価値が確からしいこと示していない場合に、
   上記多重解像度画像のうち低解像度の画像について、当
   該ブロック領域を含むブロック領域について、撮像画像
   に対すると同じ処理により移動ベクトルを求めて、又
   は、撮像画像に対すると同じ処理により予め求められた
   低解像度の画像についての移動ベクトルを、当該ブロッ
   ク領域の移動ベクトルとする第５の処理とを含むことを
   特徴とする移動ベクトル算出方法。
4. 【請求項４】 一方の画像において設定したブロック領
   域内において画像の複雑さを表す特徴量を算出して、閾
   値と比較する第３の処理を含み、 この第３の処理による比較結果が、設定したブロック領
   域内における画像の複雑さが小さいことを示している場
   合に、このブロック領域に対する上記第１の処理を実行
   させず、上記多重解像度画像のうち低解像度の画像につ
   いて、当該ブロック領域を含むブロック領域について、
   撮像画像に対すると同じ処理により移動ベクトルを求め
   て、又は、撮像画像に対すると同じ処理により予め求め
   られた低解像度の画像についての移動ベクトルを、当該
   ブロック領域の移動ベクトルとすることを特徴とする請
   求項３に記載の移動ベクトル算出方法。
5. 【請求項５】 上記第２の処理が、一致度が高い上位２
   つの値の差を移動ベクトルの確からしさの評価値として
   形成するものであることを特徴とする請求項１〜４のい
   ずれかに記載の移動ベクトル算出方法。
6. 【請求項６】 上記第２の処理における一致度が２番目
   に高い値は、一致度が１番目に高い位置の周囲の所定領
   域外から検出することを特徴とする請求項５に記載の移
   動ベクトル算出方法。
7. 【請求項７】 異なる時刻に撮影された２枚の画像から
   移動ベクトルを算出する移動ベクトル算出装置におい
   て、 一方の画像において設定したブロック領域を他方の画像
   上を走査させながらその各位置における一致の良さを表
   す一致度を算出する一致度算出手段と、 この一致度が高い上位側の複数の値に基づいて、移動ベ
   クトルの確からしさの評価値を形成する移動ベクトル評
   価値算出手段とを有することを特徴とする移動ベクトル
   算出装置。
8. 【請求項８】 一方の画像において設定したブロック領
   域内において画像の複雑さを表す特徴量を算出して、閾
   値と比較する画像特徴量算出手段をさらに有し、 この画像特徴量算出手段による比較結果が、設定したブ
   ロック領域内における画像の複雑さが小さいことを示し
   ている場合に、このブロック領域に対する移動ベクトル
   の算出を実行させないことを特徴とする請求項７に記載
   の移動ベクトル算出装置。
9. 【請求項９】 異なる時刻に撮影された２枚の画像から
   移動ベクトルを算出する移動ベクトル算出装置におい
   て、 入力された２枚の画像のそれぞれについて多重解像度画
   像を作成する多重解像度画像生成手段と、 一方の画像において設定したブロック領域を他方の画像
   上を走査させながらその各位置における一致の良さを表
   す一致度を算出する一致度算出手段と、 この一致度が高い上位側の複数の値に基づいて、移動ベ
   クトルの確からしさの評価値を形成する移動ベクトル評
   価値算出手段と、 算出した移動ベクトルの確からしさの評価値が確からし
   いことを示している場合には、上記一致度の最良値を与
   えた位置によって移動ベクトルを得ると共に、上記確か
   らしさの評価値が確からしいこと示していない場合に、
   上記多重解像度画像のうち低解像度の画像について、当
   該ブロック領域を含むブロック領域について、撮像画像
   に対すると同じ処理により移動ベクトルを求めて、又
   は、撮像画像に対すると同じ処理により予め求められた
   低解像度の画像についての移動ベクトルを、当該ブロッ
   ク領域の移動ベクトルとする移動ベクトル決定手段とを
   有することを特徴とする移動ベクトル算出装置。
10. 【請求項１０】 一方の画像において設定したブロック
    領域内において画像の複雑さを表す特徴量を算出して、
    閾値と比較する画像特徴量算出手段をさらに有し、 この画像特徴量算出手段による比較結果が、設定したブ
    ロック領域内における画像の複雑さが小さいことを示し
    ている場合に、上記移動ベクトル決定手段が、このブロ
    ック領域に対する移動ベクトルの算出を実行させず、上
    記多重解像度画像のうち低解像度の画像について、当該
    ブロック領域を含むブロック領域について、撮像画像に
    対すると同じ処理により移動ベクトルを求めて、又は、
    撮像画像に対すると同じ処理により予め求められた低解
    像度の画像についての移動ベクトルを、当該ブロック領
    域の移動ベクトルとすることを特徴とする請求項９に記
    載の移動ベクトル算出装置。
11. 【請求項１１】 上記移動ベクトル評価値算出手段は、
    一致度が高い上位２つの値の差を移動ベクトルの確から
    しさの評価値として形成することを特徴とする請求項７
    〜１０のいずれかに記載の移動ベクトル算出装置。
12. 【請求項１２】 上記移動ベクトル評価値算出手段は、
    一致度が２番目に高い値を、一致度が１番目に高い位置
    の周囲の所定領域外から検出することを特徴とする請求
    項１１に記載の移動ベクトル算出装置。