JP4712741B2

JP4712741B2 - 静止時間識別用画像生成方法及び装置

Info

Publication number: JP4712741B2
Application number: JP2007042548A
Authority: JP
Inventors: 尚之谷本
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2006-07-21
Filing date: 2007-02-22
Publication date: 2011-06-29
Anticipated expiration: 2027-02-22
Also published as: JP2008047090A

Description

本発明は、静止物体を検出する方法及び装置に係り、特に、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を、テレビカメラなどから得られる画像信号から生成する静止時間識別用画像生成方法及び装置に関する。

これまでに、静止物体を検出する技術として、静止物体の像を抽出する技術と、一定時間静止している物体を検出する技術とが提案されている。

静止物体の像を抽出する技術は、背景画像生成方法又は背景画像更新方法と呼ばれている。代表的な背景画像生成方法は、指数平滑法である。指数平滑法は、時間をｔとし、入力画像をｆ（ｔ）とし、背景画像をｇ（ｔ）とすると、

で表される。なお、αは、０以上１以下の定数である。［数１］からわかるように、指数平滑法は、入力画像を積算し、背景画像を生成する。そのため、背景画像の中には、動きのない物体の像すなわち静止物体の像だけが取り込まれる。

一方、一定時間静止している物体を検出する技術の多くは、物体の静止時間を計測し、静止時間が所定のしきい値に達した静止物体だけを検出する（例えば、特許文献１）。このような技術は、検出した静止物体の静止時間をある程度保証する。
特開平５−２０５１７５号公報

静止物体の像を抽出する技術として代表的な指数平滑法は、［数１］からわかるようにＩＩＲ（ＩｎｆｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）のローパスフィルタである。そのため、抽出された静止物体の像は、理論的には静止時間が保証されない。すなわち、指数平滑法は、静止物体を検出することはできるが、静止物体の静止時間を計測することはできない。

一定時間静止している物体を検出する技術の多くは、複数の静止物体を二つの静止時間の群に分類して検出すること、すなわち静止時間がある一つのしきい値以上か否かを判別して検出することはできるが、複数の静止物体を三つ以上の静止時間の群に分類して検出することはできない。

本発明の目的は、複数の静止物体を静止時間別に分類して検出することができる静止時間識別用画像生成方法及び装置を提供することである。

本発明による静止時間識別用画像生成方法は、
画像を所定の時間間隔で取得する画像取得ステップと、
前記画像を前記時間間隔ごとに保存する画像保存ステップと、
前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得ステップと、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする。

本発明による静止時間識別用画像生成装置は、
画像を所定の時間間隔で取得する画像取得手段と、
前記画像を前記時間間隔ごとに保存する画像保存手段と、
前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得手段と、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする。

本発明によれば、現在取得した画像と、保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果を統合し、静止時間に関する情報が記入された２次元配列である静止時間マップを取得し、静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する。前記静止時間識別用画像を取得することによって、複数の静止物体を静止時間別に分類して検出することができる。

前記それぞれの比較結果を統合するときに、それぞれの比較結果に基づいて、前記静止時間マップを１回以上更新することによって、前記保存された複数の過去の画像の中に含まれている過去の動物体の像に起因するその像の形跡が、前記静止時間マップの中から排除される。また、前記静止時間識別用画像の信頼性を向上させるために、前記比較を行うときに、画素単位のマッチング又は領域ベースマッチングを行うとともに、前記比較を行う前に、前記現在取得した画像と、前記保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記保存された複数の過去の画像それぞれを幾何補正することが好適である。さらに、前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることによって、注目すべき静止物体の像又は領域の識別が容易になる。

本発明による静止時間識別用画像生成方法及び装置の実施の形態を、図面を参照して詳細に説明する。
図１は、本発明による静止時間識別用画像生成装置の実施の形態を示す図である。本実施の形態の静止時間識別用画像生成装置は、駐車違反の取り締まりにおける駐車車両の監視に使用され、画像取得部１と、画像保存部２と、画像幾何補正部３と、静止時間マップ取得部４と、静止時間識別用画像取得部５とを具える。

画像取得部１は、所定の時間間隔Δｔでテレビカメラなどから現在の入力画像を取得する。所定の時間間隔Δｔを任意の正の値に設定することができ、例えば、駐車違反の取り締まりにおける駐車車両の監視の場合には１分程度に設定する。

画像保存部２は、ハードディスクや半導体メモリのような記憶媒体によって実現され、現在の入力画像のコピーを所定の時間間隔Δｔごとに保存する。

画像幾何補正部３は、画像保存部２から過去の入力画像を所定の枚数（例えば、４枚）だけ読み出し、現在の入力画像と過去の入力画像それぞれとを比較し、それぞれの比較結果に基づいて、過去の入力画像それぞれを幾何補正する。

静止時間マップ取得部４は、現在の入力画像と幾何補正後の過去の入力画像それぞれとの間で領域ベースマッチングを行い、画素ごと又は小領域ごとに類似度を求め、類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを生成する。

静止時間識別用画像取得部５は、静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を生成する。

本実施の形態において、ｆ（ｘ，ｙ，ｔ）は、入力画像を表し、ｆ’（ｘ，ｙ，ｔ）は、幾何補正後の入力画像を表し、ｇ（ｘ，ｙ，ｔ）は、静止時間識別用画像を表し、ｈ（x，ｙ，ｔ）は、静止時間マップを表し、xは、画像及び静止時間マップの水平方向の座標を表し、ｙは、画像及び静止時間マップの垂直方向の座標を表し、ｔは、時間を表す。全ての画像及び静止時間マップｈ（ｘ，ｙ，ｔ）の幅及び高さは、ｘ_ｗ（＞０）及びｙ_ｈ（＞０）とし、時間ｔと所定の時間間隔Δｔとの関係は、ｔ＝ｍ・Δｔ（ｍは整数）とする。

本実施の形態において、ｔ_０は、現在を表し、ｔ_０−ｔ_iは、過去を表す（ｔ_ｉは、後で説明する静止時間のしきい値であり、ｉは、後で説明するループカウンタである）。

本実施の形態において、入力画像ｆ（ｘ，ｙ，ｔ）及び幾何補正後の入力画像ｆ’（ｘ，ｙ，ｔ）はＹＣｒＣｂ形式とし、ｆ＝（ｆ_Ｙ，ｆ_ｃｒ，ｆ_ｃｂ）、ｆ’＝（ｆ_Ｙ’,ｆ_ｃｒ’，ｆ_ｃｂ’）とする。

本実施の形態の動作を説明する。
図２は、本発明による静止時間識別用画像生成方法のフローチャートである。このフローチャートは、コンピュータによって実行されるプログラムにおいて実現される。このフローチャートは、現在の入力画像ｆ（x，ｙ，ｔ_０）を取得するステップＳｌから現在静止時間識別用画像ｇ（x，ｙ，ｔ_０）を出力するステップＳｌ０までの一連の処理を示している。１枚の静止時間識別用画像が欲しい場合には、その一連の処理を１回実行すればよいので、時系列の静止時間識別用画像が欲しい場合には、ｔ_０を変えながらその一連の処理を繰り返し実行すればよい。

次に、各ステップを説明する。
ステップＳｌにおいて、画像取得部１は、所定の時間間隔Δｔでテレビカメラなどから現在の入力画像ｆ（ｘ，ｙ，ｔ_０）を取得する。ステップＳ２において、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）に前処理を施す。ステップＳ２では、例えば、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）がガンマ補正されている場合にガンマ補正を解除する、というような処理を行う。

ステップＳ３において、画像保存部２は、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）のコピーを保存する。

ステップＳ４において、静止時間マップ取得部４は、静止時間マップｈ（ｘ，ｙ，ｔ_０）や各種のパラメータなどを初期化する。ステップＳ４では、例えば、静止時間マップｈ（ｘ，ｙ，ｔ_０）の全要素値を０にする、ループカウンタｉ（＞０）を１にする、ループカウンタの上限値ｎ（＞ｉ）を設定する、静止時間のしきい値ｔ_ｌ，ｔ_２，_・・・，ｔ_ｎ（０＜ｔ_ｌ＜ｔ_２・・・＜ｔ_ｎ）を設定する、類似度のしきい値ｓ_ｔｈを設定する、というような処理を行う。ループカウンタの上限値ｎは、図４の例では４である。類似度のしきい値ｓ_ｔｈは、その適切な値が、後述する類似度ｓの種類や、入力画像ｆ（ｘ，ｙ，ｔ）の性質に依存するので、ここではその具体的な値を示さない。

ステップＳ５において、画像幾何補正部３は、画像保存部２から過去の入力画像ｆ（x，ｙ，ｔ_０−ｔ_i）を読み出す。ステップＳ６において、過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_i）を幾何補正する。ステップＳ６では、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）の像全体に対する過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_i）の像全体の位置ずれを、過去の入力画像ｆ（x，ｙ，ｔ_０−ｔ_i）の像全体を水平方向及び垂直方向にシフトさせて補正する。像全体をシフトさせるときに、新たな値が充填されない画像端部の画素には、例外的な値（例えば、（ｆ_Ｙ’，ｆ_ｃｒ’_,ｆ_ｃｂ’）＝（０，０，０））を充填する。像全体の位置ずれ（Δｘ，Δｙ）は、

と、

とを用いて求められる。水平方向の位置ずれΔｘは、Ｄ_ｘの最小値を与えるｕとし、垂直方向の位置ずれΔｙは、Ｄ_ｙの最小値を与えるｖとする。ここで、（ｘ_ｃ，ｙ_ｃ）は、画像内の座標であり、０＜ｘ_ｍｉｎ＜ｘ_ｍａｘ＜ｘ_ｗ及び０＜ｙ_ｍｉｎ＜ｙ_ｍａｘ＜ｙ_ｈである。像全体の位置ずれ（Δｘ，Δｙ）を求めるときに、［数２］及び［数３］の代わりに、

を用いてもよい。ここで、

であり、

である。［数４］を用いる場合には、像全体の位置ずれ（Δｘ，Δｙ）は、Ｒの最大値を与える（ｕ，ｖ）とする。像全体の位置ずれ（Δｘ，Δｙ）を求めるときには、［数２］及び［数３］と［数４］のうちのいずれか一方を用いればよいが、それ以外の相違度又は類似度を用いてもよい。

ステップＳ７において、静止時間マップ取得部４は、静止時間マップｈ（ｘ，ｙ，ｔ_０）を更新する。ステップＳ７では、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）と幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_i）との間で領域ベースマッチングを行い、画素ごと又は小領域ごとに類似度ｓを求め、類似度ｓが類似度のしきい値ｓ_ｔｈ以上になる領域に限り、静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値を現在のループカウンタの値ｉに変更する。座標（ｘ_１，ｙ_１）の類似度ｓ又は座標（ｘ_１,ｙ_ｌ）を中心とする小領域内の類似度ｓは、座標（x_１，ｙ_ｌ）を中心とする幅ｄ_ｘ（０＜ｄ_ｘ＜ｘ_ｗ）及び高さｄ_ｙ（０＜ｄ_ｙ＜ｙ_ｈ）を有する領域ベースマッチング用の窓の間の類似度ｓとする。図３は、領域ベースマッチング用の窓に関する説明図である。なお、小領域ごとに類似度ｓを求める場合には、小領域の大きさや小領域の総数を、使用するハードウェアの性能などを考慮して決定することができる。画素ごとに類似度ｓを求める場合には、類似度ｓ（x，ｙ）は、

を用いて求められる。ここで、

であり、

である。ここで、ｗ_Ｙ（＞０）、ｗ_ｃｒ（＞０）及びｗ_ｃｂ（＞０）は、ＹＣｒＣｂの各成分に対する重みである。

類似度ｓ（ｘ，ｙ）を求めるときに、［数１０］の代わりに、

を用いてもよい。ここで、

であり、

である。

［数１０］及び［数２０］に示した類似度ｓ（ｘ，ｙ）は、画像を取得する時の照明の明るさ及びカメラのアイリス又はカメラのゲインに強く依存しないという特徴を有する。類似度ｓ（ｘ，ｙ）を求めるときには、［数１０］と［数２０］のうちのいずれか一方を用いればよいが、それ以外の類似度を用いてもよい。小領域ごとに類似度ｓを求める場合には、小領域の中央の座標（ｘ_ｄ，ｙ_ｄ）ごとに類似度ｓ（ｘ_ｄ，ｙ_ｄ）を求め、それらをそれぞれの小領域の類似度ｓとすればよい。

ステップＳ８において、静止時間マップ取得部４は，ループカウンタｉとループカウンタの上限値ｎとを比較し、この比較結果に基づいて、次のステップを選択する。すなわち、ループカウンタｉがループカウンタの上限値ｎ未満の場合には、ループカウンタｉを１だけ増加させてステップＳ５に戻り、ループカウンタｉがループカウンタの上限値ｎ以上の場合には、ステップＳ９に進む。

ステップＳ９において、静止時間識別用画像取得部５は、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成する。ステップＳ９では、例えば、ループカウンタの上限値ｎが４の場合には、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）を次のように加工し、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成する。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が０の領域を、緑色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が１の領域を、黄色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が２の領域を、赤色の濃淡にする。
・静止時間マップｈ（ｘ，ｙ，ｔ_０）の要素値が３及び４の領域を、灰色の濃淡にする。

ステップＳ１０において、静止時間識別用画像取得部５は、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）をテレビモニタなどに出力する。
以上が各ステップの説明である。

図４は、静止時間マップ及び静止時間識別用画像の生成過程に関する説明図である。本実施の形態によれば、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中に含まれている動物体及び静止物体の像は、静止時間別に次のように色分けされる。
・静止時間がｔ_ｌ未満の動物体の像は，緑色の濃淡
・静止時間がｔ_ｌ以上ｔ_２未満の静止物体の像は、黄色の濃淡
・静止時間がｔ_２以上ｔ_３未満の静止物体の像は、赤色の濃淡
・静止時間がｔ_３以上の静止物体の像は、灰色の濃淡
そのため、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を見れば、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）の中に存在する静止物体とその静止時間とが一目でわかる。

通常、幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｉ）の中には、静止物体の像だけでなく、過去の動物体の像が含まれている。そのため、静止時間マップの生成方法として単純な方法を用いた場合には、過去の動物体の像に起因するその像の形跡が、静止時間マップの中に残ってしまう。しかし、本実施の形態の方法を用いた場合には、最も遠い過去（ｔ_０−ｔ_ｎ）の動物体の像に起因するその像の形跡を除き、過去の動物体の像に起因するその像の形跡が、最後の更新を終えた静止時間マップｈ（ｘ，ｙ，ｔ_０）の中から排除される。例えば、図４に示す例では、幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｌ）及びｆ’（ｘ，ｙ，ｔ_０−ｔ_３）の中には、過去の動物体の像であるトラック及び乗用車の像が含まれているが、そのトラック及び乗用車の像に起因するその像の形跡は、最後の更新を終えた静止時間マップｈ（ｘ，ｙ，ｔ_０）の中から排除されている。そのため、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中にも、そのトラック及び乗用車の像に起因するその像の形跡が現れていない。

本実施の形態によれば、過去の入力画像ｆ（ｘ，ｙ，ｔ_０−ｔ_ｉ）及び幾何補正後の過去の入力画像ｆ’（ｘ，ｙ，ｔ_０−ｔ_ｉ）の中に、過去の動物体の像が含まれていたとしても、過去の動物体の像に起因するその像の形跡を排除して、現在の入力画像ｆ（ｘ，ｙ，ｔ_０）に対応する現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）を生成することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
上記実施の形態おいて、駐車違反の取り締まりにおける駐車車両の監視の場合について説明したが、本発明を、例えば、不審物の検出、不法投棄の摘発、駐車場又は駐輪場の管理、商品陳列棚の変化の可視化などの他の用途に適用することができる。

上記実施の形態において、入力画像ｆ（ｘ，ｙ，ｔ）及び幾何補正後の入力画像ｆ’（ｘ，ｙ，ｔ）をＹＣｒＣｂ形式としたが、これらをＹＣｒＣｂ形式以外のカラー画像や、明度のみの濃淡画像とすることができる。濃淡画像の場合には、重みｗ_Ｙを１とするとともに、重みｗ_ｃｒ及び重みｗ_ｃｂを０とする。

上記実施の形態において、ステップＳ４でループカウンタｉを１にして、ステップＳ８でループカウンタｉを１だけ増加させるようにしているが、逆に、ステップＳ４でループカウンタｉをループカウンタの上限値ｎにして、ステップＳ８でループカウンタｉを１だけ減少させるようにしてもよい。この場合、その変更に合わせるように、ステップＳ４、ステップＳ７及びステップＳ８の処理内容を変更する必要がある（詳細については割愛する）。

上記実施の形態おいて、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）の中に含まれている動物体及び静止物体の像を、静止時間別に、緑色、黄色、赤色及び灰色に色分けしているが、現在の静止時間識別用画像ｇ（ｘ，ｙ，ｔ_０）は、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像であれば、どのような形式の画像であってもよい。

さらに、静止時間が所定のしきい値（例えば、駐車違反の取り締まりにおける駐車車両の監視の場合は３０分）に達した静止物体を検出した場合には、特別な表示（例えば、アラーム）を出すようにすれば、本発明は、監視の省力化にさらに寄与することができる。

本発明は、駐車違反の取り締まりにおける駐車車両の監視、不審物の検出、不法投棄の摘発、駐車場及び駐輪場の管理、商品陳列棚の変化の可視化など、複数の静止物体を静止時間別に分類して検出する全てのアプリケーションに適用することができる。

本発明による静止時間識別用画像生成装置の実施の形態を示す図である。本発明による静止時間識別用画像生成方法のフローチャートである。領域ベースマッチング用の窓に関する説明図である。静止時間マップ及び静止時間識別用画像の生成過程に関する説明図である。

符号の説明

１画像取得部
２画像保存部
３画像幾何補正部
４静止時間マップ取得部
５静止時間識別用画像取得部

Claims

画像を所定の時間間隔で取得する画像取得ステップと、
前記画像を前記時間間隔ごとに保存する画像保存ステップと、
前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得ステップと、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得ステップとを具えることを特徴とする静止時間識別用画像生成方法。
前記比較を行うときに、画素単位のマッチング又は領域ベースマッチングを行うことを特徴とする請求項１記載の静止時間識別用画像生成方法。
前記比較を行う前に、前記画像取得ステップで現在取得した画像と、前記画像保存ステップで保存された複数の過去の画像それぞれとを比較し、それぞれの比較結果に基づいて、前記画像保存ステップで保存された複数の過去の画像それぞれを幾何補正することを特徴とする請求項１又は２記載の静止時間識別用画像生成方法。
前記静止時間識別用画像の中に記入された複数の静止物体の像又は領域を、静止時間別に色分けする又は明度で分けることを特徴とする請求項１から３のうちのいずれか１項に記載の静止時間識別用画像生成方法。
画像を所定の時間間隔で取得する画像取得手段と、
前記画像を前記時間間隔ごとに保存する画像保存手段と、
前記画像取得手段で現在取得した画像と、前記画像保存手段で保存された複数の過去の画像それぞれとを比較し、画素ごと又は小領域ごとに類似度を求め、当該類似度に基づいて、静止時間に関する情報が記入された２次元配列である静止時間マップを更新したものを取得する静止時間マップ取得手段と、
前記静止時間マップに基づいて、複数の静止物体の像又は領域とともに静止物体それぞれの静止時間に関する情報が記入された画像である静止時間識別用画像を取得する静止時間識別用画像取得手段とを具えることを特徴とする静止時間識別用画像生成装置。