JP4356140B2 - 画像の動きベクトル計測方法及び装置 - Google Patents
画像の動きベクトル計測方法及び装置 Download PDFInfo
- Publication number
- JP4356140B2 JP4356140B2 JP14057899A JP14057899A JP4356140B2 JP 4356140 B2 JP4356140 B2 JP 4356140B2 JP 14057899 A JP14057899 A JP 14057899A JP 14057899 A JP14057899 A JP 14057899A JP 4356140 B2 JP4356140 B2 JP 4356140B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- value
- correlation
- correlation value
- minimum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像内の物体の動きを表す動きベクトルを計測する方法に関し、
特に、パターンのない一様な画像や、明確な直線パターンを含む画像でも信頼性の高い動きベクトルを計測する、動きベクトル計測方法に関する。
【０００２】
動きベクトル計測は、セキュリティ維持のため、特定エリア内に侵入する人や車両等の移動物体を、ビデオカメラで自動検知する侵入監視システム等に用いられる。
【０００３】
【従来の技術】
従来、画像内の移動物体を検知する方法としては、図４に示す相関演算を用いた動きベクトル計測法が用いられている。
【０００４】
ある時刻における画像フレームｆ上の局所画像（参照ブロックＲ）と、次の時刻における画像フレームｇ上の同じ大きさの局所画像（候補ブロックＣ）との間の相関演算を、探索ブロックＳの範囲で、候補ブロックＣの位置を変えながら繰り返すもので、相関値が最大となる候補ブロックＣの位置から、参照ブロックＲに含まれる物体の動きを示す動きベクトルを求めることができる。
【０００５】
ここで、参照ブロックＲを取り出す画像を参照画像と呼び、候補ブロックＣを取り出す画像を探索画像と呼ぶ。
【０００６】
局所相関演算は、具体的には以下の式で示される。
【０００７】
【数１】
これは２つの局所画像の差の絶対値和を計算する演算であり、和が小さい程、相関値が大きい、すなわち、探索ブロック上の画像が、参照ブロック上の画像と類似しているとみなすことができる。
【０００８】
ここで、D は相関値、S, Rはそれぞれ、探索ブロック、参照ブロック内の画素の強度、h, vはそれぞれ、水平方向、垂直方向の座標をあらわす。
【０００９】
図９は従来の動きベクトル計測方法の処理の流れを示し、相関演算で得た相関値配列D(h, v) の最小値D0(h0, v0)に対応する(h0, v0)を動きベクトルとする。
【００１０】
図５は相関演算で得られた相関値配列D(h, v) を示し、D が最小値D0となる、(h0, v0)が動きベクトルとなる。
【００１１】
図６は通常の画像の動きに対応する相関値配列を３次元的に表現した様子である。この場合、１箇所において、下向きのピーク、すなわち最小相関値D0があり、このピークから得た動きベクトル(h0, v0)は、実際の物体の移動に対応する正しい動きベクトルである。
【００１２】
図７はパターンのない一様な画像の動きに対応する相関値配列を表す。パターンのない一様な画像では、候補ブロックＣをどこに持ってきても相関値がほとんど変化しないから、相関値配列は一様平坦となる。実際にはノイズが含まれるため、最小相関値D0とそれを与える座標(h0, v0)が出力されるが、それは不定な動きベクトルで、実際の物体の動きに対応したものではない。
【００１３】
図８は明確な直線パターンを含む画像に対応する相関値配列である。直線パターンをその直線に沿って移動させても画像が変化しないことから、相関値配列も直線的な尾根を形成する。この尾根上のどこに動きベクトルが決まるかは図７の場合と同様ノイズに依存し、得られた最小相関値D0とそれを与える座標(h0, v0)は、やはり不定な動きベクトルで、実際の動きに対応したものではない。
【００１４】
【発明が解決しようとする課題】
以上のように、相関演算を用いた動きベクトル計測法には、パターンのない一様な画像や、明確な直線パターンを含む画像に対しては、ノイズに依存した不定な動きベクトルを出力するという問題点がある。
【００１５】
画像パターンを予め解析して、そのような箇所を除く対策も考えられるが、処理量が増すという新たな問題が生じる。
【００１６】
本発明は、従来の相関演算を用いた動きベクトル計測法における、ノイズに依存した不定な動きベクトルを除外し、信頼性の高い動きベクトル計測方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するため、本発明では、参照画像及び、探索画像間の相関演算で得た相関値配列D(h, v) を解析し、動きベクトルの信頼性を判定することで、ノイズに依存した不定な動きベクトルを除外し、信頼性の高い動きベクトルのみを動きベクトルとして採用することを特徴とする。
【００１８】
【発明の実施の形態】
図１に本発明の実施例を示し、図２に本発明による動きベクトル計測方法の処理の流れを示す。
【００１９】
本実施例は、セキュリティ維持のため設置されたビデオカメラで、特定エリア内に侵入する、人や車両等の移動物体を自動検知する侵入監視システムに用いられた例を示す。
【００２０】
ビデオカメラから順次入力する画像は、ある時刻における入力画像は画像メモリＡに蓄えられ、次の時刻における入力画像は画像メモリＢにと、交互に蓄えられる。
【００２１】
相関演算手段３では、ある時刻における画像を参照画像とし、次の時刻における画像を探索画像として、画像メモリＡと画像メモリＢを参照し、両画像間での相関演算を実施し、相関値配列を出力する。
【００２２】
最小相関値算出手段４では、相関値配列全体から最小相関値D0と、それを与える座標(h0, v0)を算出する。
【００２３】
部分最小値算出手段５では、最小相関値算出手段４から得た座標(h0, v0)から所定の距離以内を除いた範囲での相関値の最小値、すなわち部分最小値D1を算出する。
【００２４】
図２の例では、相関値の部分最小値D1(h1, v1)の探索範囲として、(h0, v0)の周囲±w を除いた範囲、すなわち｜h - h0｜≦w 、および｜v - v0｜≦w をのぞく範囲とした場合を示す。図３は、 w=1とした場合の相関値の部分最小値を求める範囲の例であり、ハッチングの部分が相関値の部分最小値の探索範囲である。
【００２５】
信頼性判定手段６では、所定の値 TをもってD1 - D0>T であるかを調べ、真の場合は(h0, v0)を信頼性の高い動きベクトルとして出力する。
【００２６】
信頼性の判定結果の出力として、D1 - D0 の値、あるいはD1 - D0>T の判定結果を表すフラグを付加した上で、(h0, v0)を動きベクトルとして出力するようにしてもよい。
【００２７】
図６の場合、下向きのピーク頂点がD0となり、他のどこかがD1となるが、D0が明確なピーク頂点であることから、D1 - D0 は所定の値 Tより大きくなり、信頼性の高い動きベクトルと判定される。
【００２８】
これに対して、図７の場合は、相関値が平坦であるから、D1 - D0 は所定の値 Tより小さく、信頼性の低い動きベクトルと判定される。
【００２９】
図８の場合は、D1, D0共に尾根上のどこかとなるが、両者はほぼ同じ値であるから、やはりD1 - D0 は所定の値 Tより小さく、信頼性の低い動きベクトルと判定される。
【００３０】
T の所定値は、例えば図６、図７、図８のごときサンプルを用い、信頼性の高い動きベクトルのD1 - D0 と、信頼性の低い動きベクトルのD1 - D0 との中間の値に定めてもよい。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、相関値解析を行い、動きベクトルの信頼性を判定することで、パターンのない一様な画像や明確な直線パターンを含む画像についても、ノイズによる不定な動きベクトルを除外し、信頼性の高い動きベクトルのみを出力することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施例
【図２】 本発明による動きベクトル計測方法
【図３】 相関値の部分最小値を求める範囲の例
【図４】 従来技術の説明（相関演算による動きベクトル計測）
【図５】 従来技術の説明（相関値配列）
【図６】 通常の画像の動きに対応する相関値配列
【図７】 パターンのない一様な画像の動きに対応する相関値配列
【図８】 明確な直線パターンを含む画像に対応する相関値配列
【図９】 従来の動きベクトル計測方法
【符号の説明】
Ｒ 参照ブロック
Ｃ 候補ブロック
Ｓ 探索ブロック
(h, v) 動きベクトル
１ 画像メモリＡ
２ 画像メモリＢ
３ 相関演算手段
４ 最小相関値算出手段
５ 部分最小値算出手段
６ 信頼性判定手段
【発明の属する技術分野】
本発明は、画像内の物体の動きを表す動きベクトルを計測する方法に関し、
特に、パターンのない一様な画像や、明確な直線パターンを含む画像でも信頼性の高い動きベクトルを計測する、動きベクトル計測方法に関する。
【０００２】
動きベクトル計測は、セキュリティ維持のため、特定エリア内に侵入する人や車両等の移動物体を、ビデオカメラで自動検知する侵入監視システム等に用いられる。
【０００３】
【従来の技術】
従来、画像内の移動物体を検知する方法としては、図４に示す相関演算を用いた動きベクトル計測法が用いられている。
【０００４】
ある時刻における画像フレームｆ上の局所画像（参照ブロックＲ）と、次の時刻における画像フレームｇ上の同じ大きさの局所画像（候補ブロックＣ）との間の相関演算を、探索ブロックＳの範囲で、候補ブロックＣの位置を変えながら繰り返すもので、相関値が最大となる候補ブロックＣの位置から、参照ブロックＲに含まれる物体の動きを示す動きベクトルを求めることができる。
【０００５】
ここで、参照ブロックＲを取り出す画像を参照画像と呼び、候補ブロックＣを取り出す画像を探索画像と呼ぶ。
【０００６】
局所相関演算は、具体的には以下の式で示される。
【０００７】
【数１】
【０００８】
ここで、D は相関値、S, Rはそれぞれ、探索ブロック、参照ブロック内の画素の強度、h, vはそれぞれ、水平方向、垂直方向の座標をあらわす。
【０００９】
図９は従来の動きベクトル計測方法の処理の流れを示し、相関演算で得た相関値配列D(h, v) の最小値D0(h0, v0)に対応する(h0, v0)を動きベクトルとする。
【００１０】
図５は相関演算で得られた相関値配列D(h, v) を示し、D が最小値D0となる、(h0, v0)が動きベクトルとなる。
【００１１】
図６は通常の画像の動きに対応する相関値配列を３次元的に表現した様子である。この場合、１箇所において、下向きのピーク、すなわち最小相関値D0があり、このピークから得た動きベクトル(h0, v0)は、実際の物体の移動に対応する正しい動きベクトルである。
【００１２】
図７はパターンのない一様な画像の動きに対応する相関値配列を表す。パターンのない一様な画像では、候補ブロックＣをどこに持ってきても相関値がほとんど変化しないから、相関値配列は一様平坦となる。実際にはノイズが含まれるため、最小相関値D0とそれを与える座標(h0, v0)が出力されるが、それは不定な動きベクトルで、実際の物体の動きに対応したものではない。
【００１３】
図８は明確な直線パターンを含む画像に対応する相関値配列である。直線パターンをその直線に沿って移動させても画像が変化しないことから、相関値配列も直線的な尾根を形成する。この尾根上のどこに動きベクトルが決まるかは図７の場合と同様ノイズに依存し、得られた最小相関値D0とそれを与える座標(h0, v0)は、やはり不定な動きベクトルで、実際の動きに対応したものではない。
【００１４】
【発明が解決しようとする課題】
以上のように、相関演算を用いた動きベクトル計測法には、パターンのない一様な画像や、明確な直線パターンを含む画像に対しては、ノイズに依存した不定な動きベクトルを出力するという問題点がある。
【００１５】
画像パターンを予め解析して、そのような箇所を除く対策も考えられるが、処理量が増すという新たな問題が生じる。
【００１６】
本発明は、従来の相関演算を用いた動きベクトル計測法における、ノイズに依存した不定な動きベクトルを除外し、信頼性の高い動きベクトル計測方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するため、本発明では、参照画像及び、探索画像間の相関演算で得た相関値配列D(h, v) を解析し、動きベクトルの信頼性を判定することで、ノイズに依存した不定な動きベクトルを除外し、信頼性の高い動きベクトルのみを動きベクトルとして採用することを特徴とする。
【００１８】
【発明の実施の形態】
図１に本発明の実施例を示し、図２に本発明による動きベクトル計測方法の処理の流れを示す。
【００１９】
本実施例は、セキュリティ維持のため設置されたビデオカメラで、特定エリア内に侵入する、人や車両等の移動物体を自動検知する侵入監視システムに用いられた例を示す。
【００２０】
ビデオカメラから順次入力する画像は、ある時刻における入力画像は画像メモリＡに蓄えられ、次の時刻における入力画像は画像メモリＢにと、交互に蓄えられる。
【００２１】
相関演算手段３では、ある時刻における画像を参照画像とし、次の時刻における画像を探索画像として、画像メモリＡと画像メモリＢを参照し、両画像間での相関演算を実施し、相関値配列を出力する。
【００２２】
最小相関値算出手段４では、相関値配列全体から最小相関値D0と、それを与える座標(h0, v0)を算出する。
【００２３】
部分最小値算出手段５では、最小相関値算出手段４から得た座標(h0, v0)から所定の距離以内を除いた範囲での相関値の最小値、すなわち部分最小値D1を算出する。
【００２４】
図２の例では、相関値の部分最小値D1(h1, v1)の探索範囲として、(h0, v0)の周囲±w を除いた範囲、すなわち｜h - h0｜≦w 、および｜v - v0｜≦w をのぞく範囲とした場合を示す。図３は、 w=1とした場合の相関値の部分最小値を求める範囲の例であり、ハッチングの部分が相関値の部分最小値の探索範囲である。
【００２５】
信頼性判定手段６では、所定の値 TをもってD1 - D0>T であるかを調べ、真の場合は(h0, v0)を信頼性の高い動きベクトルとして出力する。
【００２６】
信頼性の判定結果の出力として、D1 - D0 の値、あるいはD1 - D0>T の判定結果を表すフラグを付加した上で、(h0, v0)を動きベクトルとして出力するようにしてもよい。
【００２７】
図６の場合、下向きのピーク頂点がD0となり、他のどこかがD1となるが、D0が明確なピーク頂点であることから、D1 - D0 は所定の値 Tより大きくなり、信頼性の高い動きベクトルと判定される。
【００２８】
これに対して、図７の場合は、相関値が平坦であるから、D1 - D0 は所定の値 Tより小さく、信頼性の低い動きベクトルと判定される。
【００２９】
図８の場合は、D1, D0共に尾根上のどこかとなるが、両者はほぼ同じ値であるから、やはりD1 - D0 は所定の値 Tより小さく、信頼性の低い動きベクトルと判定される。
【００３０】
T の所定値は、例えば図６、図７、図８のごときサンプルを用い、信頼性の高い動きベクトルのD1 - D0 と、信頼性の低い動きベクトルのD1 - D0 との中間の値に定めてもよい。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、相関値解析を行い、動きベクトルの信頼性を判定することで、パターンのない一様な画像や明確な直線パターンを含む画像についても、ノイズによる不定な動きベクトルを除外し、信頼性の高い動きベクトルのみを出力することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施例
【図２】 本発明による動きベクトル計測方法
【図３】 相関値の部分最小値を求める範囲の例
【図４】 従来技術の説明（相関演算による動きベクトル計測）
【図５】 従来技術の説明（相関値配列）
【図６】 通常の画像の動きに対応する相関値配列
【図７】 パターンのない一様な画像の動きに対応する相関値配列
【図８】 明確な直線パターンを含む画像に対応する相関値配列
【図９】 従来の動きベクトル計測方法
【符号の説明】
Ｒ 参照ブロック
Ｃ 候補ブロック
Ｓ 探索ブロック
(h, v) 動きベクトル
１ 画像メモリＡ
２ 画像メモリＢ
３ 相関演算手段
４ 最小相関値算出手段
５ 部分最小値算出手段
６ 信頼性判定手段
Claims (3)
- 相関演算を用いた動きベクトル計測方法であって、
相関演算で得られた相関値配列D(h, v) の最小値D0(h0, v0)と、
座標(h0, v0)から所定の距離以内を除いた範囲での相関値の部分最小値
D1(h1, v1)を求め、
D1 - D0 が所定の値より大きければ、(h0, v0)を動きベクトルとして採用することを特徴とする動きベクトル計測方法。 - 入力画像を蓄える画像メモリＡ及び画像メモリＢと、
画像メモリＡ及び画像メモリＢを参照し、両画像間での相関演算を実施し相関値配列を出力する相関演算手段と、
相関値配列全体から最小相関値D0とそれを与える座標(h0, v0)を算出する最小相関値算出手段と、
最小相関値算出手段から得た座標(h0, v0)及び、座標(h0, v0)から所定の距離以内を除いた範囲での相関値の部分最小値D1を算出する部分最小値算出手段と、
相関値の部分最小値D1と最小相関値D0との差が所定の値より大きい場合は、
(h0, v0)を動きベクトルとして出力する信頼性判定手段とを有することを特徴とする動きベクトル計測装置。 - 請求項２の動きベクトル計測装置であって、相関値の部分最小値D1と最小相関値D0との差を信頼性判定結果として出力することを特徴とする動きベクトル計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14057899A JP4356140B2 (ja) | 1999-05-20 | 1999-05-20 | 画像の動きベクトル計測方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14057899A JP4356140B2 (ja) | 1999-05-20 | 1999-05-20 | 画像の動きベクトル計測方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000331169A JP2000331169A (ja) | 2000-11-30 |
| JP4356140B2 true JP4356140B2 (ja) | 2009-11-04 |
Family
ID=15271960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14057899A Expired - Fee Related JP4356140B2 (ja) | 1999-05-20 | 1999-05-20 | 画像の動きベクトル計測方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4356140B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3867011B2 (ja) * | 2002-05-09 | 2007-01-10 | 株式会社中田測量 | トンネル現況展開図及びその作成方法 |
| KR100573696B1 (ko) | 2003-07-31 | 2006-04-26 | 삼성전자주식회사 | 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법 |
| JP4560434B2 (ja) * | 2005-04-11 | 2010-10-13 | 日本電信電話株式会社 | 変化領域抽出方法およびこの方法のプログラム |
| JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5347874B2 (ja) * | 2009-09-28 | 2013-11-20 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5643147B2 (ja) * | 2011-04-07 | 2014-12-17 | 日本電信電話株式会社 | 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム |
| JP6074198B2 (ja) * | 2012-09-12 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5968379B2 (ja) * | 2013-10-29 | 2016-08-10 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
-
1999
- 1999-05-20 JP JP14057899A patent/JP4356140B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000331169A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
| US20100166259A1 (en) | Object enumerating apparatus and object enumerating method | |
| JP5105972B2 (ja) | 座標変換方法及びパラメータ調整方法及び監視システム | |
| EP1345175B1 (en) | Method and apparatus for tracking moving objects in pictures | |
| US10643338B2 (en) | Object detection device and object detection method | |
| JP4356140B2 (ja) | 画像の動きベクトル計測方法及び装置 | |
| US6519358B1 (en) | Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media | |
| JP2001126065A (ja) | 距離分布検知装置 | |
| JP2536986B2 (ja) | 車間距離検出装置 | |
| US20090167958A1 (en) | System and method of motion vector estimation using content associativity | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| US20130142388A1 (en) | Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus | |
| JP4462533B2 (ja) | 路面走行レーン検出装置 | |
| CN108573497B (zh) | 客流统计装置和方法 | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| JP2004013615A (ja) | 移動物体監視装置 | |
| JPH07249127A (ja) | 移動物体検出装置 | |
| JP4710562B2 (ja) | 画像処理装置、および画像処理方法 | |
| KR100748174B1 (ko) | 동영상의 손떨림 검출 및 보정 장치 | |
| JP2007018269A (ja) | 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム | |
| JP2002311038A (ja) | 車両速度算出システム及び車両速度算出方法 | |
| JP4039423B2 (ja) | エッジ位置算出装置、障害物検出システム | |
| JP2001209804A (ja) | 動画像処理装置及びその方法 | |
| JPH09190533A (ja) | 車両検知装置 | |
| JP2009080623A (ja) | 画像処理装置およびそれを搭載した撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060510 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090727 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |