JP2010271876A - 移動体追跡装置、移動体追跡方法及びプログラム - Google Patents
移動体追跡装置、移動体追跡方法及びプログラム Download PDFInfo
- Publication number
- JP2010271876A JP2010271876A JP2009122555A JP2009122555A JP2010271876A JP 2010271876 A JP2010271876 A JP 2010271876A JP 2009122555 A JP2009122555 A JP 2009122555A JP 2009122555 A JP2009122555 A JP 2009122555A JP 2010271876 A JP2010271876 A JP 2010271876A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- region
- area
- image
- uncertain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】画面上を移動する移動体を連続的に精度よく追跡する。
【解決手段】移動体によって形成された撮像装置20の死角に移動体が進入した場合に、画像上に消失した移動体に対応する不可視領域を含んで構成される移動体領域を設定する。そして、この移動体領域に基づいて移動体の検出を行う。したがって、移動体が撮像装置20の死角から出現することで、移動体の画像が画像上に現れた場合には、新たに画面上に現れた移動体と認識することなく、継続して移動体の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体を、同一性を喪失することなく継続的に検出し、追跡することができる。
【選択図】図1
【解決手段】移動体によって形成された撮像装置20の死角に移動体が進入した場合に、画像上に消失した移動体に対応する不可視領域を含んで構成される移動体領域を設定する。そして、この移動体領域に基づいて移動体の検出を行う。したがって、移動体が撮像装置20の死角から出現することで、移動体の画像が画像上に現れた場合には、新たに画面上に現れた移動体と認識することなく、継続して移動体の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体を、同一性を喪失することなく継続的に検出し、追跡することができる。
【選択図】図1
Description
本発明は、移動体追跡装置、移動体追跡方法及びプログラムに関し、更に詳しくは、撮像手段の視野内を移動する移動体を追跡する移動体追跡装置、撮像手段の視野内を移動する移動体を追跡するための移動体追跡方法及びプログラムに関する。
駐車場の監視システムなどでは、自動車などの移動体を撮影した画像に含まれる移動体の画像を特定し、特定した移動体の画像を追跡することで、実際の移動体の位置及び移動速度などを検出する。この移動体の追跡は、例えば、移動体を連続して撮像することにより得られる複数枚の画像それぞれにおける移動体の位置を、時系列的に検出することにより行う。
この種の監視システムでは、移動体が監視カメラの死角などに移動することによって、移動体の画像が画面上から消失してしまうと、移動体の追跡が困難となる。そこで、移動体の追跡を継続して安定的に行うための技術が種々提案されている(例えば特許文献1及び2参照)。
特許文献1に記載の技術は、移動する移動体の画像上に特徴点を設定し、この特徴点が画像上に存在する可能性を考慮しつつ、画像上に現れる特徴点の位置を時系列的に検出することで、移動体の追跡を行う技術である。また、特許文献2に記載の技術は、移動する移動体の動作を移動体の尤度モデルを用いて予測しながら、移動体の追跡を行う技術である。
しかしながら、特許文献1及び特許文献2の技術を用いた追跡では、追跡する移動体がカメラの死角に進入することで画像上から一旦消失した後に、移動体が死角から出現して画像上に再び現れた場合には、消失した移動体と出現した移動体の同一性が失われる。
このため、画面上から移動体が消失し再び現れるまでに長時間を要し、移動体の周囲環境が、例えば昼から夜に変わるなど変化してしまった場合には、画面上に再度現れた移動体を認識することができなくなるか、又は別の移動体を追跡すべき移動体として誤認識してしまうおそれがある。
本発明は、上述の事情の下になされたもので、画面上を移動する移動体を連続的に精度よく追跡することをその目的とする。
上記目的を達成するため、本発明の移動体追跡装置は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、を備える。
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
また、前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
上記目的を達成するため、本発明の移動体追跡方法は、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、を含む。
また、前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定することとしてもよい。
上記目的を達成するため、本発明のプログラムは、コンピュータに、撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、を実行させる。
本発明によれば、画面上を移動する移動体を連続的に精度よく追跡することができる。
《第1の実施形態》
以下、本発明の第1の実施形態を、図1〜図10を参照しつつ説明する。図1は本実施形態にかかる移動体追跡装置10の概略的な構成を示すブロック図である。移動体追跡装置10は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置10は、図1に示されるように、撮像装置20、撮像装置20の視野内を移動する移動体の位置を検出し出力する検出装置30を有している。
以下、本発明の第1の実施形態を、図1〜図10を参照しつつ説明する。図1は本実施形態にかかる移動体追跡装置10の概略的な構成を示すブロック図である。移動体追跡装置10は、例えば撮像装置によって順次撮像される画像に含まれる移動体の位置を検出し、検出した移動体の位置を外部装置などに出力する装置である。この移動体追跡装置10は、図1に示されるように、撮像装置20、撮像装置20の視野内を移動する移動体の位置を検出し出力する検出装置30を有している。
撮像装置20は、被写体を撮像することにより取得した画像を電気信号に変換して出力するCCDカメラを含んで構成されている。この撮像装置20は、例えば駐車場などに設置され、視野内を移動する車両などの移動体を含む画像を順次撮像し出力する。
図2は、一例として撮像装置20によって撮像された画像Pを示す図である。図2の画像Pを参照するとわかるように、撮像装置20は、視野内に駐車場へのゲート60を含むように配置されている。そして、所定のレートで視野内の移動体を含む画像を撮像し順次出力する。
図1に戻り、検出装置30は、記憶部31、移動体領域設定部32、不確定領域設定部33、移動体領域特定部34、不可視領域設定部35、及び移動体領域検出部36を含んで構成されている。
記憶部31は、撮像装置20から順次出力される画像に関する情報を時系列的に記憶する。
移動体領域設定部32は、撮像装置20によって撮像された画像に写り込んだ移動体を含む移動体領域を設定する。具体的には、移動体領域設定部32は、ゲート60を通過した移動体の画像を検出し、検出した移動体の画像が占める領域の大きさに基づいて、ゲート60を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート60を通過した移動体が車両であると判断した場合に、当該車両を含む領域を移動体領域として画像上に設定する。また、移動体領域設定部32は、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置20から順次出力される画像に含まれる移動体の画像を検出する。そして、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
例えば図3に示される画像P1については、移動体領域設定部32は、ゲート60を通過してゲート60の近傍を走行する移動体51の画像を検出し、移動体51の画像よりもやや大きい長方形状の移動体領域A1を設定する。
また、例えば図4に示される画像P2については、移動体領域設定部32は、ゲート60を通過してゲート60の近傍を走行する移動体52の画像を検出し、移動体52の画像よりもやや大きい長方形状の移動体領域A2を設定する。次に、移動体領域設定部32は、画像P1に設定された移動体領域A1に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像P2に含まれる移動体51を検出する。そして、この移動体51を含む移動体領域A1を画像P2に設定する。
移動体領域設定部32は、撮像装置20から順次出力される画像について、上述した処理を画像ごとに順次実行し、撮像装置20からの画像について、移動体ごとに移動体領域Amを設定する。なお、mは1以上の整数である。
また、移動体領域設定部32は、ある移動体によって形成される撮像装置20の死角に別の移動体の大部分が進入した場合には、撮像装置20からの画像に含まれる移動体をマッチング処理によって検出することができない。このため、移動体領域設定部32は、異なる移動体領域が重なり、重複した領域が移動体領域の大きさに比べてある程度大きくなった場合には、異なる移動体領域の重複が生じたことを、不確定領域設定部33に通知する。
例えば、図5に示される画像P3については、移動体52の大部分が移動体51によって形成された死角に進入し、移動体領域A1と移動体領域A2とは相互に重複している。このような場合に、移動体領域設定部32は、移動体領域A1と移動体領A2とが重複したことを不確定領域設定部33に通知する。
不確定領域設定部33は、異なる移動体領域が重複した場合に、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図4に示される画像P2を参照するとわかるように、移動体52が停止している移動体51に向かって走行し、移動体51の紙面奥側(+Y側)を走行する場合には、図5に示される画像P3を参照するとわかるように、移動体領域A1と移動体領域A2とが画面上で重複する。不確定領域設定部33は、図5に示されるように、移動体領域A1と移動体領域A2とが重なって重複した場合には、重複した領域を不確定領域RAとする。そして、不確定領域RAを設定したことを、移動体領域特定部34に通知する。
移動体領域特定部34は、不確定領域RAが属する移動体領域を特定し、その特定結果を不可視領域設定部35に通知する。例えば、図5に示される画像P3では、不確定領域RAを含む移動体領域A1、及び不確定領域RAを含む移動体領域A2について、例えば画像P1に設定された移動体領域A1に含まれる画像及び移動体領域A2に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域A1及び移動体領域A2のうちマッチング度合いが高かった方の移動体領域に不確定領域RAが属するものと判断する。この判断は、移動体51の背後に移動体52が存在するとの判断と等価である。
例えば、画像P3は、移動体51の背後に移動体52が進入したときに撮像された画像であるため、不確定領域RAに含まれる画像は、移動体領域A1に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域A1についてのマッチング度合いの方が、移動体領域A2についてのマッチング度合いよりも高いものとなる。この場合には、移動体領域特定部34は、不確定領域RAが属する移動体領域を移動体領域A1と特定する。そして、この結果を不可視領域設定部35に通知する。
不可視領域設定部35は、ある移動体によって形成される撮像装置20の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。
例えば、不可視領域設定部35は、不確定領域RAが設定された後に、図6を参照するとわかるように、移動体領域A2に、不確定領域RAと重複する不可視領域a1と、それ以外の可視領域a2とを設定する。
また、不可視領域設定部35は、図7を参照するとわかるように、移動体52が完全に移動体51の奥側(+Y側)に移動した場合には、例えば画像P2に設定された移動体領域A2の形状及び大きさを参照して、図7に示される画像P4に移動体領域A1に重複する不可視領域a1からなる移動体領域A2を設定する。
この状態となった後は、移動体52が、撮像装置20の死角から出現するまで、撮像装置20から出力される画像に基づいて移動体52を検出するのは不可能となる。そこで、不可視領域設定部35は、移動体52が死角から出現するまでに撮像装置20によって撮像され順次出力される画像に対して、例えば図7の画像P4に示される位置に、不可視領域a1からなる移動体領域A2を設定する。この場合に、移動体52が移動体51の背後で移動すると、例えば図8の画像P5を参照するとわかるように、不可視領域a1からなる移動体領域A2の位置と、実際に移動体52が存在する画像P5上の位置とがずれることとなる。
また、不可視領域設定部35は、移動体51によって形成される死角から、移動体52が出現した際には、移動体領域設定部32によって設定された移動体領域A2の形状及び大きさを参照して、図9に示される画像P6に移動体領域A1に重複する不可視領域a1と、それ以外の可視領域a2とによって規定される移動体領域A2を設定する。
移動体領域検出部36は、撮像装置20から順次出力され、移動体領域設定部32による処理が施されることにより画像上に設定された移動体領域の位置座標を検出し出力する。また、不可視領域設定部35による処理が施されることにより画像上に設定された不可視領域と可視領域とからなる移動体領域の位置座標を検出し出力する。
例えば、図3に示される画像P1については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心の、画像P1上における位置座標を出力する。また、図4に示される画像P2については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心、及び移動体領域A2の中心それぞれの、画像P2上における位置座標を出力する。
また、図6に示される画像P3については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心の、画像P3上における位置座標を出力する。次に、移動体領域検出部36は、不可視領域設定部35によって設定された不可視領域a1と可視領域a2とからなる移動体領域A2の中心の、画像P3における位置座標を出力する。
また、図7に示される画像P4、図8に示される画像P5については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心の、画像P4或いは画像P5における位置座標を出力する。次に、移動体領域検出部36は、不可視領域設定部35によって設定された不可視領域a1からなる移動体領域A2の中心の、画像P4或いは画像P5における位置座標を出力する。
また、図9に示される画像P6については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心の、画像P6における位置座標を出力する。次に、移動体領域検出部36は、不可視領域設定部35によって設定された不可視領域a1と可視領域a2とからなる移動体領域A2の中心の、画像P6における位置座標を出力する。
また、図10に示される画像P7については、移動体領域検出部36は、移動体領域設定部32によって設定された移動体領域A1の中心、及び移動体領域A2の中心それぞれの、画像P7における位置座標を出力する。
以上説明したように、本第1の実施形態では、移動体51によって形成された撮像装置20の死角に移動体52が進入し、撮像装置20によって撮像された画像から追跡対象となる移動体52が消失したとしても、画像上には消失した移動体52に対応する不可視領域a1を含んで構成される移動体領域A2が設定され、この移動体領域A2に基づいて移動体52の検出が行われる。したがって、移動体52が撮像装置20の死角から出現することで、移動体52が画像上に再び現れた場合に、新たに画像上に現れた移動体52を認識する処理を実行することなく、継続して移動体52の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
なお、本実施形態においては、移動体領域A1と移動体領域A2とが重複した場合に、移動体領域A2の可視領域a2の減少割合に応じて、移動体52の移動速度を検出し、
また、移動体領域A2の可視領域a2の減少方向に応じて、移動体52の移動方向を検出し、検出結果に基づいて、移動体領域A1から出現する移動体領域A2の位置、及び出現するまでの時間を予測することとしてもよい。これにより、例えば移動体領域A2から複数の領域が出現した場合に、出現した領域が移動体領域A2に属する領域か否かの判断を容易に行うことができる。
また、移動体領域A2の可視領域a2の減少方向に応じて、移動体52の移動方向を検出し、検出結果に基づいて、移動体領域A1から出現する移動体領域A2の位置、及び出現するまでの時間を予測することとしてもよい。これにより、例えば移動体領域A2から複数の領域が出現した場合に、出現した領域が移動体領域A2に属する領域か否かの判断を容易に行うことができる。
また、マッチング処理は、不確定領域RAの面積が小さい段階でマッチング処理を行うと、不確定領域RAがどちらの移動体領域に属するのかに関する判断を間違う可能性がある。このため、移動体領域と不確定領域RAとを比較して、移動体領域に対する不確定領域RAの割合が所定の比率を超えたところで、不可視領域の設定等を実行するのがよい。
マッチング処理を行うのに適した不確定領域RAの面積は、そのときに対象となっている移動体の属性、例えば、移動体の色、輝度、テクスチャなどにより異なる。
例えば、移動体相互間で完全に色が異なる場合には、不確定領域RAの面積が小さい段階でマッチング処理を行っても、正しい結果を得られることが期待できる。一方、移動体相互間で色が近ければ、不確定領域RAの面積が大きくなってからマッチング処理を行わないと、正しい結果が得られない可能性がある。
従って、本実施形態において、移動体領域A1と移動体領域A2との間に不確定領域RAが設定された場合には、対象となる移動体の属性に従った所定の比率に従い、不確定領域RAと移動体領域A1と移動体領域A2の面積がそれぞれを比較される。そして、その割合が所定の比率を超えたところでマッチング処理が実行される。
《第2の実施形態》
次に、本発明の第2の実施形態を、図11〜図13を参照しつつ説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
次に、本発明の第2の実施形態を、図11〜図13を参照しつつ説明する。なお、第1の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
本実施形態にかかる移動体追跡装置10は、検出装置30が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第1の実施形態にかかる移動体追跡装置10と相違している。
図11は、移動体追跡装置10の物理的な構成を示すブロック図である。図11に示されるように、移動体追跡装置10は、撮像装置20、コンピュータからなる検出装置30から構成されている。
検出装置30は、CPU(Central Processing Unit)30a、主記憶部30b、補助記憶部30c、表示部30d、入力部30e、インターフェイス部30f、及び上記各部を相互に接続するシステムバス30gを含んで構成されている。
CPU30aは、補助記憶部30cに記憶されているプログラムに従って、撮像装置20によって撮像された画像に対して、後述する画像処理を実行する。
主記憶部30bは、RAM(Random Access Memory)等を含んで構成され、CPU30aの作業領域として用いられる。
補助記憶部30cは、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部30cは、CPU30aが実行するプログラム、及び各種パラメータなどを記憶している。また、撮像装置20から出力される画像情報、及びCPU30aによる処理結果などを含む情報を順次記憶する。図12は、補助記憶部30cの記憶領域を概念的に示す図である。本実施形態では、補助記憶部30cの記憶領域は少なくとも記憶領域M1〜M3に区分され、後述するように、記憶領域M1には差分画像が保存され、記憶領域M2には背景画像が保存され、記憶領域M3には撮像装置20から出力された画像が保存される。
表示部30dは、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などを含んで構成され、CPU30aの処理結果を表示する。本実施形態では、撮像装置20によって撮像された画像に対する処理が実行されるごとに、その処理結果としての画像などが表示される。
入力部30eは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部30eを介して入力され、システムバス30gを経由してCPU30aに通知される。
インターフェイス部30fは、シリアルインターフェイスまたはLAN(Local Area Network)インターフェイス等を含んで構成されている。撮像装置20は、インターフェイス部30fを介してシステムバス30gに接続される。
図13のフローチャートは、検出装置30のCPU30aによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図13を参照しつつ、検出装置30における画像処理について説明する。なお、この画像処理は、ユーザからの開始指令が入力された後に、CPU30aが、補助記憶部30cから読み出したプログラムに従って、主記憶部30b、補助記憶部30c、表示部30d、インターフェイス部30fを統括的に制御することにより実現される。また、前提として、画像処理が開始された時点では、撮像装置20の視野内に移動体が存在していないものとする。
まず、最初のステップS101では、CPU30aは、撮像装置20から順次出力されるm枚の画像について、画像を構成する画素それぞれの輝度の平均値を算出し、この平均値からなる輝度の画素から構成される画像を生成する。そして、この背景画像を補助記憶部30cの記憶領域M2へ保存する。また、CPU30aは、m枚の画像それぞれを補助記憶部30cの記憶領域M3へ画像1〜画像mとして保存する。
次のステップS102では、CPU30aは、補助記憶部30cの記憶領域M3に、既存の画像1〜画像nを、それぞれ画像2〜n+1として保存するとともに、撮像装置20から新たに出力された画像を画像1として保存する。この場合、画像n+1についてはクリアすることとしてもよい。
次のステップS103では、CPU30aは、撮像装置20から出力された画像と、補助記憶部30cの記憶領域M2へ保存された背景画像とについて差分処理を施すことにより差分画像を生成する。そして、補助記憶部30cの記憶領域M1に既存の差分画像1と差分画像2が保存されている場合には、既存の差分画像2をクリアするとともに、既存の差分画像1を差分画像2として新たに補助記憶部30cの記憶領域M1へ保存する。そして、生成した差分画像を差分画像1として記憶領域M1へ保存する。
次のステップS104では、CPU30aは、補助記憶部30cの記憶領域M3に保存された画像1〜画像mに基づいて、ステップS101での処理と同様に背景画像を生成する。そして、この背景画像を補助記憶部30cの記憶領域M2へ保存する。
次のステップS105では、CPU30aは、差分画像1に移動体を構成する画像が存在するか否かを確認する。そして、ここでの判断が否定された場合には、ステップS102へ戻り、以降ステップS105での判断が肯定されるまで、ステップS101〜ステップS105までの処理を繰り返し実行する。一方、ステップS105での判断が肯定された場合には、CPU30aは、ステップS106へ移行する。
ステップS106では、CPU30aは、撮像装置20の視野内に移動体が進入することで、記録領域M3に保存された画像1に新たに写り込んだ移動体を含む移動体領域を設定する。
本実施形態では、図2を参照するとわかるように、移動体がゲート60を通過することにより撮像装置20の視野内へ進入するように、撮像装置20の位置が設定されている。CPU30aは、記憶領域M3に保存された画像1からゲート60を通過した移動体の画像を検出し、検出した移動体の画像が占める画像1上の領域の大きさに基づいて、ゲート60を通過した移動体が車両であるか、又は歩行者であるかを判断する。そして、ゲート60を通過した移動体が車両であると判断した場合には、当該車両を含む領域を移動体領域として画像1上に設定する。また、CPU30aは、ある移動体について移動体領域を設定した後は、設定した移動体領域に含まれる画像をテンプレートとして用いて、撮像装置20から順次出力される画像に含まれる移動体の画像を検出し、検出した移動体の画像を含む移動体領域を画像ごとに設定する。
例えば記録領域M3に保存された画像1が図3に示される画像P1である場合には、CPU30aは、ゲート60を通過し、ゲート60の近傍を走行する移動体51の画像を検出し、移動体51の画像よりもやや大きい長方形状の移動体領域A1を設定する。
また、例えば記録領域M3に保存された画像1が図4に示される画像P2である場合には、CPU30aは、ゲート60を通過し、ゲート60の近傍を走行する移動体52の画像を検出し、移動体52の画像よりもやや大きい長方形状の移動体領域A2を設定する。次に、画像P1に設定された移動体領域A1に含まれる画像をテンプレートとして用いるマッチング処理を実行することにより、画像P2に含まれる移動体51を検出し、この移動体51を含む移動体領域A1を画像P2に設定する。
また、CPU30aは、異なる移動体領域が重複した場合には、それぞれの移動体領域が重複する領域を不確定領域と設定する。例えば、図4に示される画像P2を参照するとわかるように、移動体52が停止している移動体51に向かって走行し、移動体51の紙面奥側(+Y側)を走行する場合には、図5に示される画像P3を参照するとわかるように、移動体領域A1と移動体領域A2とが画面上で重複する。CPU30aは、図5に示されるように、移動体領域A1と移動体領域A2とが重なって重複した場合には、画像1としての画像P3に、移動体領域A1と移動体領域A2とが重複する不確定領域RAを設定する。
そして、CPU30aは、不確定領域RAが属する移動体領域を特定する。例えば、図5に示される画像P3では、不確定領域RAを含む移動体領域A1、及び不確定領域RAを含む移動体領域A2について、例えば画像P1に設定された移動体領域A1に含まれる画像及び移動体領域A2に含まれる画像をそれぞれテンプレートとして用いたマッチング処理を行う。そして、移動体領域A1及び移動体領域A2のうちマッチング度合いが高かった方の移動体領域に不確定領域RAが属するものと判断する。この判断は、移動体51の背後に移動体52が存在するとの判断と等価である。
例えば、画像P3は、移動体51の背後に移動体52が進入したときに撮像された画像であるため、不確定領域RAに含まれる画像は、移動体領域A1に含まれる画像が支配的となる。したがって、上述のマッチング処理の結果は、移動体領域A1についてのマッチング度合いの方が、移動体領域A2についてのマッチング度合いよりも高いものとなる。この場合には、CPU30aは、不確定領域RAが属する移動体領域を移動体領域A1と特定する。
なお、マッチング処理は、実施例1と同様に不確定領域RAと移動体領域A1と移動体領域A2それぞれの面積の比率に基いて実行される。
次に、CPU030aは、ある移動体によって形成される撮像装置20の死角に別の移動体が進入した際に、死角に進入した移動体の移動体領域に、死角を形成する移動体の移動体領域と重複する不可視領域を設定する。例えば、CPU30aは、不確定領域RAが設定された後に、図6を参照するとわかるように、移動体領域A2に、不確定領域RAと重複する不可視領域a1と、それ以外の可視領域a2とを設定する。
また、CPU30aは、図7を参照するとわかるように、移動体52が完全に移動体51の奥側(+Y側)に移動した場合には、例えば画像P2に設定された移動体領域A2の形状及び大きさを参照して、図7に示される画像1としての画像P4に移動体領域A1に重複する不可視領域a1からなる移動体領域A2を設定する。
この状態となった後は、移動体52が、撮像装置20の死角から出現するまで、撮像装置20から出力される画像に基づいて移動体52を検出するのは不可能となる。そこで、CPU30aは、移動体52が死角から出現するまでは、画像1に対して、例えば図7に示される位置に、不可視領域a1からなる移動体領域A2を設定する。この場合に、移動体52が移動体51の背後で移動すると、例えば図8に示されるように、不可視領域a1からなる移動体領域A2の位置と、実際に移動体52が存在する画像P5上の位置とがずれることとなる。
また、CPU30aは、移動体51の死角から移動体52が出現した際には、移動体領域A2の形状及び大きさを参照して、図9に示される画像P6に移動体領域A1に重複する不可視領域a1と、それ以外の可視領域a2とによって規定される移動体領域A2を設定する。
なお、この場合には、記憶領域M1に保存された差分画像1及び差分画像2に基づいて、可視領域のデータについてフロー法などで移動体の移動方向及び移動量を算出し、この算出結果に基づいて、移動体領域A1から出現した移動体領域が移動体領域A2であると判断してもよい。
次のステップ107では、CPU30aは、画像1に設定された移動体領域の位置座標を検出し出力する。
例えば、記録領域M3に保存された画像1が図3に示される画像P1である場合には、CPU30aは、移動体領域A1の中心の、画像P1上における位置座標を出力する。また、CPU30aは、記録領域M3に保存された画像1が図4に示される画像P2である場合には、移動体領域A1の中心、及び移動体領域A2の中心それぞれの、画像P2上における位置座標を出力する。
また、記録領域M3に保存された画像1が図5に示される画像P3である場合には、CPU30aは、移動体領域A1の中心の、画像P3上における位置座標を出力するとともに、不可視領域a1と可視領域a2とからなる移動体領域A2の中心の、画像P3における位置座標を出力する。
また、記録領域M3に保存された画像1が図7に示される画像P4、或いは図8に示される画像P5である場合には、CPU30aは、移動体領域A1の中心の、画像P4或いは画像P5における位置座標を出力するとともに、不可視領域a1からなる移動体領域A2の中心の、画像P4或いは画像P5における位置座標を出力する。
また、記録領域M3に保存された画像1が図9に示される画像P6である場合には、CPU30aは、移動体領域A1の中心の、画像P6における位置座標を出力するとともに、不可視領域a1と可視領域a2とからなる移動体領域A2の中心の、画像P6における位置座標を出力する。
また、記録領域M3に保存された画像1が図10に示される画像P7である場合には、CPU30aは、移動体領域A1の中心、及び移動体領域A2の中心それぞれの、画像P7における位置座標を出力する。
以降、CPU30aは、ステップS102〜ステップS107までの処理を繰り返し実行する。
以上説明したように、本第2の実施形態では、移動体51によって形成された撮像装置20の死角に移動体52が進入し、撮像装置20によって撮像された画像から追跡対象となる移動体52が消失したとしても、画像上には消失した移動体52に対応する不可視領域a1を含んで構成される移動体領域A2が設定され、この移動体領域A2に基づいて移動体52の検出が行われる。したがって、移動体52が撮像装置20の死角から出現することで、移動体52が画像上に再び現れた場合に、新たに画像上に現れた移動体52を認識する処理を実行することなく、継続して移動体52の位置検出を行うことができる。つまり、移動体が死角に進入して画像上から消失したとしても、再度画像上に現れた移動体の同一性を喪失することなく、その移動体を継続的に検出し、追跡することができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
例えば、上記各実施形態では、不確定領域が属する移動体を特定する際に、テンプレートマッチング処理を行ったが、これに限らず、不確定領域に含まれる画像の輝度情報、又は色彩情報と、移動体領域に含まれる画像の輝度情報、又は色彩情報との共通性に基づいて、不確定領域が属する移動体を特定してもよい。
また、上記各実施形態では、撮像装置20の視野内に2つの移動体が存在する場合について説明したが、これに限らず、撮像装置20の視野内には、3つ以上の移動体が存在していてもよい。撮像装置20の視野内に複数の移動体が存在するときには、ある移動体によって形成された撮像装置20の死角に、複数の移動体が進入することが考えられる。この場合には、各移動体の移動体領域について、移動体領域に含まれる画像を構成する画素の輝度情報や色彩情報などを移動体領域ごとに予め認識し、ある移動体領域から出現した領域がどの移動体領域の一部であるかの判別を、予め認識した輝度情報や色彩情報などを用いて行ってもよい。
また、上記各実施形態では、移動体追跡装置10が1台の撮像装置20を備えている場合について説明したが、複数台の撮像装置20を備えていてもよい。この場合には、例えば図14に示されるように、駐車場など移動体の追跡が必要なエリアを複数の撮像装置20を用いて監視し、特定の移動体を監視する場合には、特定の移動体を視認できる撮像装置20を用いて追跡処理を実行することができる。
また、上記各実施形態では1台の移動体追跡装置10を用いて移動体を追跡する場合について説明したが、これに限らず、一例として図15に示されるように、例えば監視対象となる駐車場を別々の角度から監視する撮像装置20を有する複数の移動体追跡装置10でネットワークを構築してもよい。この場合には、追跡対象となる移動体を視認できる撮像装置20を用いて追跡処理を実行することができ、さらに、ホストコンピュータ11の指示に基づいて、情報の共有化を図ることができる。
具体的には、ある撮像装置20によって追跡されていた移動体が、この撮像装置20の死角に入った後に、別の撮像装置20の視野内に出現することが予測される場合には、ホストコンピュータ11は、追跡対象となる移動体が視野内に出現すると予想される撮像装置20を有する移動体追跡装置10に、追跡対象となる移動体の追跡を指示する。これにより、追跡対象となる移動体を同一性を喪失することなく追跡することができる。
なお、上記各実施形態に係る検出装置30の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
また、第2の実施形態において検出装置30の補助記憶部30cに記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明の移動体追跡装置、移動体追跡方法及びプログラムは、移動体を追跡するのに適している。
10 移動体追跡装置
20 撮像装置
30 検出装置
30a CPU
30b 主記憶部
30c 補助記憶部
30d 表示部
30e 入力部
30f インターフェイス部
30g システムバス
31 記憶部
32 移動体領域設定部
33 不確定領域設定部
34 移動体領域特定部
35 不可視領域設定部
36 移動体領域検出部
51,52 移動体
60 ゲート
A1,A2 移動体領域
a1 不可視領域
a2 可視領域
M1〜M3 記憶領域
P,P1〜P7 画像
20 撮像装置
30 検出装置
30a CPU
30b 主記憶部
30c 補助記憶部
30d 表示部
30e 入力部
30f インターフェイス部
30g システムバス
31 記憶部
32 移動体領域設定部
33 不確定領域設定部
34 移動体領域特定部
35 不可視領域設定部
36 移動体領域検出部
51,52 移動体
60 ゲート
A1,A2 移動体領域
a1 不可視領域
a2 可視領域
M1〜M3 記憶領域
P,P1〜P7 画像
Claims (7)
- 撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する移動体領域設定手段と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する不確定領域設定手段と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する移動体領域特定手段と、
前記移動体領域特定手段によって特定された結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する不可視領域設定手段と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する移動体領域検出手段と、
を備える移動体追跡装置。 - 前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項1に記載の移動体追跡装置。
- 前記移動体領域特定手段は、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項1又は2に記載の移動体追跡装置。
- 撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する工程と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する工程と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する工程と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する工程と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する工程と、
を含む移動体追跡方法。 - 前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の色彩情報により、前記不確定領域が属する前記移動体領域を特定する請求項4に記載の移動体追跡方法。
- 前記移動体領域を特定する工程では、前記不確定領域内の画像、及び前記不確定領域以外の前記移動体領域の画像の輝度情報により、前記不確定領域が属する前記移動体領域を特定する請求項4又は5に記載の移動体追跡方法。
- コンピュータに、
撮像手段によって順次撮像される画像それぞれに、移動体を含む移動体領域を、前記移動体ごとに設定する手順と、
前記画像上で、異なる前記移動体それぞれに設定された前記移動体領域が重複する場合に、重複した前記移動体領域のうち前記画像上で視認可能な領域を不確定領域に設定する手順と、
前記移動体領域のうちから、前記不確定領域が属する前記移動体領域を特定する手順と、
前記移動体領域を特定した結果に基づいて、前記不確定領域が属さない前記移動体領域に、前記不確定領域と重複する不可視領域を設定する手順と、
前記不確定領域が属さない前記移動体領域を、前記不可視領域と、該不可視領域以外の可視領域とを合わせた領域として検出する手順と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122555A JP2010271876A (ja) | 2009-05-20 | 2009-05-20 | 移動体追跡装置、移動体追跡方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009122555A JP2010271876A (ja) | 2009-05-20 | 2009-05-20 | 移動体追跡装置、移動体追跡方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010271876A true JP2010271876A (ja) | 2010-12-02 |
Family
ID=43419859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009122555A Pending JP2010271876A (ja) | 2009-05-20 | 2009-05-20 | 移動体追跡装置、移動体追跡方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010271876A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228835A (zh) * | 2016-07-18 | 2016-12-14 | 北京精英智通科技股份有限公司 | 一种车位停车事件判断方法及*** |
WO2018073848A1 (ja) * | 2016-10-19 | 2018-04-26 | 日本電気株式会社 | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 |
JP2021117816A (ja) * | 2020-01-28 | 2021-08-10 | アマノ株式会社 | 駐車場管制システム、駐車場管制方法、及びプログラム |
WO2021223418A1 (zh) * | 2020-04-26 | 2021-11-11 | 智慧互通科技有限公司 | 基于视觉差的停车检测方法及装置 |
-
2009
- 2009-05-20 JP JP2009122555A patent/JP2010271876A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228835A (zh) * | 2016-07-18 | 2016-12-14 | 北京精英智通科技股份有限公司 | 一种车位停车事件判断方法及*** |
WO2018073848A1 (ja) * | 2016-10-19 | 2018-04-26 | 日本電気株式会社 | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 |
JPWO2018073848A1 (ja) * | 2016-10-19 | 2019-06-27 | 日本電気株式会社 | 画像処理装置、滞留物体追跡システム、画像処理方法および記録媒体 |
US10885641B2 (en) | 2016-10-19 | 2021-01-05 | Nec Corporation | Image processing device, stationary object tracking system, image processing method, and recording medium |
US11049260B2 (en) | 2016-10-19 | 2021-06-29 | Nec Corporation | Image processing device, stationary object tracking system, image processing method, and recording medium |
US11288817B2 (en) | 2016-10-19 | 2022-03-29 | Nec Corporation | Image processing device, stationary object tracking system, image processing method, and recording medium |
JP2021117816A (ja) * | 2020-01-28 | 2021-08-10 | アマノ株式会社 | 駐車場管制システム、駐車場管制方法、及びプログラム |
JP7445441B2 (ja) | 2020-01-28 | 2024-03-07 | アマノ株式会社 | 駐車場管制システム、駐車場管制方法、及びプログラム |
WO2021223418A1 (zh) * | 2020-04-26 | 2021-11-11 | 智慧互通科技有限公司 | 基于视觉差的停车检测方法及装置 |
US11398092B2 (en) | 2020-04-26 | 2022-07-26 | Intelligent Inter Connection Technology Co., Ltd. | Parking detection method and device based on visual difference |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5685837B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法およびプログラム | |
JP5885398B2 (ja) | 画像処理装置、画像処理方法 | |
JP6412661B2 (ja) | 水体におけるオブジェクトを識別し、追跡し、かつ/あるいは、標的にするために一連の画像を処理する方法およびシステム | |
US11908293B2 (en) | Information processing system, method and computer readable medium for determining whether moving bodies appearing in first and second videos are the same or not using histogram | |
JP6347211B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2009199363A (ja) | パーティクルフィルタを使用する追跡システム | |
US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
JP2016085487A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
KR20150067680A (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP2011076255A (ja) | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム | |
JP2008009849A (ja) | 人物追跡装置 | |
CN110297545B (zh) | 手势控制方法、手势控制装置和***、以及存储介质 | |
JP6795224B2 (ja) | 移動体検知装置、移動体検知方法、及びプログラム | |
JP2015170343A (ja) | 画像表示装置および画像表示方法 | |
CN113194253A (zh) | 去除图像反光的拍摄方法、装置和电子设备 | |
JP2010271876A (ja) | 移動体追跡装置、移動体追跡方法及びプログラム | |
JP2013200778A (ja) | 画像処理装置、画像処理方法 | |
JP2018025988A (ja) | 画像処理プログラム、画像処理方法および画像処理装置 | |
US9304598B2 (en) | Mobile terminal and method for generating control command using marker attached to finger | |
WO2014033885A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10489921B2 (en) | Behavior analysis apparatus and behavior analysis method | |
KR101566964B1 (ko) | 이동 물체를 추적할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체 | |
JP2012169826A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
JP4555987B2 (ja) | 画像における移動物体追跡方法及び装置 | |
CN114339050B (zh) | 显示方法、装置及电子设备 |