JP3545079B2 - Traffic flow monitoring system for moving objects - Google Patents
Traffic flow monitoring system for moving objects Download PDFInfo
- Publication number
- JP3545079B2 JP3545079B2 JP02545095A JP2545095A JP3545079B2 JP 3545079 B2 JP3545079 B2 JP 3545079B2 JP 02545095 A JP02545095 A JP 02545095A JP 2545095 A JP2545095 A JP 2545095A JP 3545079 B2 JP3545079 B2 JP 3545079B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- frame
- vehicle
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、車両などの移動物体が道路のような制限された経路を移動する様子を監視する移動物体の交通流監視システムに関するものである。
例えば、道路上の車両の移動を監視する交通流監視システムでは、道路を移動する移動物体の種類や数量および平均速度など様々な情報を検出し、道路状況の表示や渋滞の予測，またトンネル内での換気装置の制御など、様々な用途に役立てている。
【０００２】
従来は、上述した移動物体の種類や数量，平均速度などの情報は、所定の箇所に設置された専用のセンサによって得られていたが、これらのセンサは、それぞれ役割が固定されており、新たに別の情報が必要となった場合には、別のセンサを設置しなければならない。
このような点を考慮して、これらの専用のセンサに代えて、インターチェンジの付近やトンネルの出入口付近およびトンネルの内部などのサンプル位置にそれぞれ監視用のカメラを設置し、これらのカメラによって捉えた映像から上述した様々な情報を抽出するシステムが提案されており、その拡張性の高さに大きな期待がかけられている。
【０００３】
【従来の技術】
図７に、従来の移動物体の交通流監視システムの構成例を示す。
図７において、サンプル位置に設置されたビデオカメラ３０１によって捉えられた映像は、アナログ−デジタル変換処理部（Ａ／Ｄ）３０２を介して差分処理部３０３に入力され、静止画保持部３０４に保持された背景画像との差分が求められる。
【０００４】
この差分処理部３０３で得られた各画素についての差分の入力に応じて、二値化処理部３０５は、所定の閾値に基づいて、背景画像との差異がある画素とない画素とを判別し、この判別結果を示す二値化画像を作成して、検出処理部３０６に送出する構成となっている。
この検出処理部３０６は、入力された各フレームの二値化画像から所定の特徴を持った画像を車両を表す画像として検出し、その位置を同定処理部３０７の処理に供する構成となっている。
【０００５】
このとき、検出処理部３０６は、特に、車両の映像が二値化画像に進入している側に地階一部分を新たな車両を検出する検出領域とし、この検出領域に車両を表す画像が現れたときに新しい車両として検出して、計数処理部３０８に送出する構成となっている。
図７において、計数処理部３０８は、上述した検出処理部３０６による検出結果に基づいて、所定の時間に上述したカメラ３０１の視野を通過した車両の数を計数し、この計数結果をセンタ３１０に通知する構成となっている。
【０００６】
また、同定処理部３０７は、各フレームについて検出処理部３０６で得られた検出結果に基づいて、現フレームにおいて検出された車両とその前のフレームで検出された車両との対応付けを行い、対応付けられた車両の現フレームおよび前フレームにおける位置の組み合わせを同定処理結果として、速度算出部３０９の処理に供する構成となっている。
【０００７】
この同定処理部３０７は、例えば、前フレームにおける車両の位置よりも車両の進行方向側の所定の範囲の中で、最も近接している車両を現フレームについての検出結果から判別し、この車両の位置と前記フレームにおける車両の位置との組み合わせを該当する車両の同定処理結果として送出すればよい。
この同定処理結果の入力に応じて、速度算出部３０９は、まず、各車両について、該当する車両の画面上の位置の差とフレーム間の時間とから、各フレームに対応する時刻における該当する車両の道路上での速度を算出する。次に、速度算出部３０９は、各車両について得られたこれらのフレームに対応する道路上での速度の平均値を求め、この平均値をカメラ３０１の視野に対応する区間における該当する車両の速度として、センタ３１０に通知する構成となっている。
【０００８】
ここで、通常の交通流監視システムにおいては、広い範囲を１台のカメラ３０１で監視可能とするために、カメラ３０１の光軸が道路に対して斜めとなるように設置されている。
このため、速度算出部３０９において、二値化画像における長さをカメラ３０１の視野に対応する道路上の区間の長さに変換する必要があるが、この際に、二値画像における１画素に対応する道路上の区間の長さが分かっていれば便利である。
【０００９】
本出願人は、このような変換処理を簡易化するための技法として、特願平６−４７４５２号「位置対応付け方法，位置対応付け装置，車両速度算出方法および車両速度算出装置」を既に出願している。
この技法は、道路上の白線などのように既知の大きさおよび間隔を持つマーカを表す画像の大きさおよび間隔に基づいて、画面上の各画素に対応する道路上の区間など実際の長さを求めておき、移動物体の位置の特定や速度の算出に供するものである。
【００１０】
この技法を利用すれば、図８（ａ） に示した道路上の白線を示す画像に基づいて、図８（ｂ） に示すように、二値化画像上の各画素の位置（図８において符号ｙ１〜ｙ６で示す）と道路上の位置との対応関係を得ることができ、この対応関係を示す関数を利用して、車両の速度を簡単に求めることができる。
また、センタ３１０は、道路の各所に設けられた交通流監視システムによって得られた車両の数量および速度に関する情報を収集し、これらの情報に基づいて交通流の解析処理を行うことにより、渋滞などの道路状況の把握や渋滞発生，解消の予測、更には事故の発見などが可能となる。これにより、利用者に正確な情報を提供し、利用者へのサービスの向上が図られている。
【００１１】
また、個々の車両について得られた速度の計測値に基づいて、スピード違反の車両に対して、注意を喚起するメッセージを表示するといった応用サービスも提供されている。
【００１２】
【発明が解決しようとする課題】
ところで、カメラ３０１で捉えられた全てのフレームに対して、上述した処理を行うためには、膨大な計算量が必要となる。このため、従来の交通流監視システムにおいては、所定の時間間隔でサンプルフレームを抽出し、抽出したサンプルフレームを用いて移動物体の計数や速度の算出を行うことにより、計算量の削減を図っていた。
【００１３】
この際には、サンプルフレームの抽出間隔や車両の速度を考慮して、新たな車両を検出するための検出領域や車両の同定に用いる進行方向側の範囲の大きさを決定する必要がある。
しかしながら、従来の交通流監視システムにおいては、この検出領域や車両の同定に用いる範囲の大きさは、利用者の主観的な判断に任されており、検出領域や同定に用いる範囲を大きく設定しすぎたり、逆に狭く設定しすぎたりしてしまう場合が少なくなかった。
【００１４】
例えば、検出領域を大きく設定しすぎてしまった場合は、新たにカメラ３０１の視野に入ってきた車両を漏れなく捉えることができる反面、既に検出された車両を再び新規の車両として認識してしまう可能性もあるため、検出処理に要する計算量が膨大となってしまう。
一方、検出領域の設定が狭すぎる場合には、計算量を少なく抑えることができるが、新たに視野に入ってきた車両の検出に失敗してしまう可能性がある。
【００１５】
また、従来の交通流監視システムにおいては、上述したように、車両の同定処理の際に、車両の速さや進行方向が大きく変化しないことを前提として、単純に進行方向前方の所定の領域に捉えられている車両の中から、前フレームにおける車両の位置に最も近い位置にあるものを選択して同定している。
しかし、実際に車両が道路を走行する場合には、車線変更や追越しなどに伴って、急激な加速や減速また方向転換が頻繁に起こっており、上述した方法では必ずしも正確な同定結果を得ることができるとは言えない。
【００１６】
例えば、車両ａの後ろに連続して車両ｂが走行している際に、隣の車線を走行していた車両ｃが、車両ａと車両ｂとの間に割り込んできた場合などには、前のサンプルフレームと現在のサンプルフレームとの間に発生した車両ｂと車両ｃとの急激な速度変化のために、現フレームにおいては、車両ｃが車両ｂと誤って同定される場合が考えられる。そして、このような誤認が発生すると、以降の速度算出処理を正確に行うことができなくなってしまう。
【００１７】
また、従来の交通流算出システムにおいては、上述したように、車両の平均速度の算出処理では、各サンプルフレームとその前のサンプルフレームとの車両の位置の差から求めた各サンプルフレームにおける速度を単純に平均している。
一方、図８（ｂ） に実線で示した曲線から分かるように、カメラ３０１から遠い部分に対応する二値化画像の上側部分においては、下側の部分に比べて曲線の傾きが大きくなっており、１画素に対応する道路上の距離が大きくなっている。すなわち、二値化画像の各位置における解像度は、図８（ｂ） に示すように、画面上での位置が下側から上側に近づくにつれて、下に凸の曲線を描いて単調に減少することが分かる。
【００１８】
したがって、上述したように道路に対して斜めに配置されたカメラ３０１を用いて交通流を監視する場合には、車両がカメラ３０１から遠ざかり、その画像が画面の上側へ近づくほど位置検出精度が低くなることが分かる。
しかしながら、従来の方法においては、このように精度の異なる位置検出結果を同等に扱っており、このために、全体としての車両速度の測定精度が低下してしまっていた。
【００１９】
上述したように、画像情報を利用した従来の交通流監視システムには様々な課題があるが、膨大な情報量を含んだ各フレームの画像が連続的に得られ、様々な情報を抽出することができるので拡張性に優れている。
例えば、連続する複数のサンプルフレームに渡って静止している物体を抽出すれば、落下物など車両の走行を妨げる物体の有無に関する情報を得ることができ、また、車両の速度にかかわらず、それぞれの車両について車間距離など様々な情報を得ることができる。
【００２０】
このため、画像情報を利用して交通流監視システムの特徴を活用し、よりきめ細かく正確な情報を利用者に提供するために、画像情報から自動的に正確な情報を得る方法が必要とされている。
本発明は、画像情報の特徴を利用して、より精密に移動物体の数量や速度を算出することを可能とする交通流監視システムを提供することを目的とする。
【００２１】
【課題を解決するための手段】
図１は、本発明の移動物体の交通流監視システムの原理ブロック図である。
請求項１の発明は、移動物体が移動する様子を所定のサンプル間隔ごとに撮影して得られる連続する複数フレームの画像の入力に応じて、検出手段１０１が移動物体に対応する像を検出し、各フレームの検出結果を計数手段１０２による移動物体の数量の計数処理に供するとともに、各フレームとその前のフレームの検出結果に含まれる移動物体の像を同定手段１０３によって同定し、この同定結果を速度算出手段１０４による移動物体の速度算出処理に供する移動物体の交通流監視システムにおいて、検出手段１０１は、サンプル間隔と移動物体の移動速度として予想される最高速度とに基づいて、新たに現れる移動物体を検出するために注目すべき検出領域の大きさを決定する領域決定手段１１１と、複数フレームの画像のそれぞれについて、領域決定手段１１１で得られた大きさの検出領域を各フレームの画像において移動物体の進入する側の端に設定し、この検出領域に含まれている移動物体を表す画像を新たに現れた移動物体として検出して、同定手段１０３による同定処理に供する新規検出手段１１２とを備えた構成であることを特徴とする。
【００２２】
請求項２の発明は、移動物体が移動する様子を所定のサンプル間隔ごとに撮影して得られる連続する複数フレームの画像の入力に応じて、検出手段１０１が移動物体に対応する像を検出し、各フレームの検出結果を計数手段１０２による移動物体の数量の計数処理に供するとともに、各フレームとその前のフレームの検出結果に含まれる移動物体の像を同定手段１０３によって同定し、この同定結果を速度算出手段１０４による移動物体の速度算出処理に供する移動物体の交通流監視システムにおいて、検出手段１０１によって検出された移動物体の像の特徴をそれぞれ抽出する特徴抽出手段１２１と、同定手段１０３は、検出手段１０１で検出された移動物体の像の位置および特徴抽出手段１２１で得られた特徴を示す情報を、移動物体の移動方向に応じてフレームを区切って形成される複数の領域に分けて保持する保持手段１２２と、各フレームの画像から検出された移動物体を表す像それぞれの位置および特徴を、フレームを区切って形成される各領域と像との相対位置に基づいて決定される優先順位に従って、保持手段１２２に保持されたその前のフレームにおける移動物体の像の位置および特徴と照合する照合手段１２３と、照合手段１２３による照合結果に基づいて、連続する２つのフレームの画像において同一の移動物体に対応する像の組み合わせを検出し、同定結果として速度算出手段１０４に送出する組検出手段１２４とを備えた構成であることを特徴とする。
【００２３】
請求項３の発明は、請求項２に記載の移動物体の交通流監視システムにおいて、速度算出手段１０４は、同定された移動物体の連続する２つのフレーム間での移動量に基づいて、各フレームに対応する時刻における該当する移動物体のサンプル速度を算出するサンプル速度算出手段１２５を備えた構成であり、同定手段１０３は、各フレームについての同定処理に先立って、前のフレームに対応する時刻における移動物体それぞれのサンプル速度に基づいて、各フレームに対応する時刻において各移動物体が占めると予想される位置を算出する位置予測手段１２６を備えた構成であり、照合手段１２３は、位置予測手段１２６で得られた各移動物体の予想位置を受け取り、検出手段１０１で得られた各移動物体の像の位置と該当する予想位置とを照合する構成であることを特徴とする。
【００２４】
請求項４の発明は、移動物体が移動する様子を所定のサンプル間隔ごとに撮影して得られる連続する複数フレームの画像の入力に応じて、検出手段１０１が移動物体に対応する像を検出し、各フレームの検出結果を計数手段１０２による移動物体の数量の計数処理に供するとともに、各フレームとその前のフレームの検出結果に含まれる移動物体の像を同定手段１０３によって同定し、この同定結果を速度算出手段１０４による移動物体の速度算出処理に供する移動物体の交通流監視システムにおいて、検出手段１０１は、サンプル間隔と移動物体の移動速度として予想される最高速度とに基づいて、新たに現れる移動物体を検出するために注目すべき検出領域の大きさを決定する領域決定手段１１１と、複数フレームの画像のそれぞれについて、領域決定手段１１１で得られた大きさの検出領域を各フレームの画像において移動物体の進入する側の端に設定し、この検出領域に含まれている移動物体を表す画像を新たに現れた移動物体として検出して、計数手段１０２による計数処理に供する新規検出手段１１２とを備えた構成であることを特徴とする。
【００２５】
【作用】
請求項１の発明では、領域決定手段１１１により、サンプル間隔と移動物体の最高速度とを考慮して検出領域の大きさが決定されるから、新規検出手段１１２は、各フレームの画像において移動物体が進入してくる側の端に設けた検出領域に注目することにより、撮影範囲に新たに現れる移動物体の画像を前のフレームにおいて既に検出されている移動物体とは別に漏れなく検出して、同定手段１０３の処理に供することができる。これにより、同定手段１０３は、新規に撮影範囲内に進入してきた移動物体と前のフレームから撮影範囲に存在した移動物体とを分けて同定することができるので、高い精度で移動物体の同定を行うことができ、正確な同定結果を速度算出手段１０４に渡すことができる。
【００２６】
請求項２の発明は、検出手段１０１と特徴抽出手段１２１との出力に応じて、同定手段１０３に備えられた保持手段１２２に、抽出された車両などの移動物体の特徴をその位置が例えば複数の車線のいずれに対応する領域に含まれているかに応じて保持し、照合手段１２３は、例えば、まず、移動物体を検出した位置が属する車線に対応する領域について、前のフレームで検出された移動物体に関する情報との照合を優先的に行い、次いで、他の領域、つまり、隣接する車線に対応する領域について保持された情報との照合を行う。このようにして得られた照合結果に基づいて、組検出手段１２４が適切な組み合わせを検出することにより、移動物体を表す像の各フレームにおける個々の位置だけでなく、その特徴および移動物体の移動に関して蓄積された知識を考慮して、連続する２つのフレームにおける移動物体を同定し、サンプル速度算出手段１２５の処理に供することができる。
【００２７】
これにより、前のフレームにおける位置のみを手掛かりとしては特定できない場合でも、移動物体の特徴を照合したり、別の車線からの割り込みなどを考慮に入れたりすることにより、画像情報の特徴を大いに活かして、連続する２つのフレームにおいて同一の移動物体を確実に同定することができ、個々の移動物体の速度の測定精度を向上することが期待できる。
更に、請求項３の発明は、各移動物体について得られた前のフレームにおけるサンプル速度に基づいて、位置予測手段１２６で得られた予想位置の入力に応じて、照合手段１２３が動作することにより、現フレームにおける各移動物体の位置を予想位置との照合結果に基づいて、移動物体の同定を行うことができる。
【００２８】
ここで、移動物体の速度がほぼ一定である場合は、位置予測手段１２５で得られた予想位置と実際の位置とはほぼ一致するから、同定手段１０３により、一層確実な同定結果を得ることができる。
また、請求項４の発明では、領域決定手段１１１により、サンプル間隔と移動物体の最高速度とを考慮して検出領域の大きさが決定されており、新規検出手段１１２は、各フレームの画像において移動物体が進入してくる側の端に設けた検出領域に注目することにより、撮影範囲に新たに現れる移動物体の画像を漏れなく検出する。したがって、計数手段１０２は、例えば、新規検出手段１１２によって検出された移動物体の数を一定の期間にわたって数えることにより、撮影範囲をその期間に通過した移動物体の数を容易に求めることができる。これにより、２次元的な情報である画像の特徴を活かして、単位時間当たりに通行する移動物体の数量を精密に計数することが可能となり、交通量の監視に供することができる。
【００２９】
【実施例】
以下、図面に基づいて本発明の実施例について詳細に説明する。
図２に、本発明の交通流監視システムの実施例構成図を示す。
図２において、交通流監視システムは、図７に示した交通流監視システムと同様に、カメラ３０１で捉えられた映像の入力に応じて、アナログ−デジタル変換処理部（Ａ／Ｄ）３０２，差分処理部３０３および二値化処理部３０５が動作し、得られた二値化画像を検出処理部２１０および同定処理部２２０による処理に供する構成となっている。また、この検出処理部２１０および同定処理部２２０による処理結果は、計数処理部３０８および速度算出部２３０の処理に供されている。
【００３０】
また、図２に示した解像度算出部２４０において、テーブル作成部２４１は、特開平６−４７４５２の技法を利用して、静止画メモリ３０４に保持された背景画像に基づいて、二値化画像上の各画素の位置と道路上の位置との対応関係を示す対応テーブル２４２を作成し、更に、この対応テーブル２４２に基づいて、算出処理部２４３が、二値化画像の各位置における解像度を示す解像度テーブル２４４を作成して、それぞれ速度算出部２３０の処理に供する構成となっている。
【００３１】
図２において、検出処理部２１０は検出手段１０１に相当するものであり、検出領域設定部２１１と投影処理部２１２と車両検出部２１３とを備えて構成されている。
この検出処理部２１０において、検出領域設定部２１１は、利用者からの指示に応じて適切な検出領域を設定し、また、投影処理部２１２は後述する投影処理を行って、それぞれ車両検出部２１３の処理に供する構成となっている。
【００３２】
図２に示した検出領域設定部２１１において、移動距離算出部２１４は、利用者からサンプルフレームの間隔ｔと予想される車両の最高速度ｖとを受け取り、これらの情報に基づいて、車両が連続する２つのサンプルフレーム間で予想される最大の移動距離ｄを算出し、対応付け部２１５に送出する構成となっている。 これに応じて対応付け部２１５は、上述した対応テーブル２４２を参照して、上述した移動距離ｄに対応する長さを持ち、画面の下側から始まる二値化画像の範囲を求め、この範囲を新しい車両を検出するための検出領域とすればよい。
【００３３】
このように、利用者からの指示に応じて、移動距離算出部２１４と対応付け部２１５とが動作することにより、請求項１で述べた領域決定手段１１１の機能を実現し、二値化画像のサンプリング間隔と予想される最高速度とから、適切な検出領域を自動的に設定することが可能となる。
ここで、検出領域設定部２１１で用いるサンプリング間隔ｔと最高速度ｖとは、利用者の主観によらない客観的なパラメータであるから、利用者の知識や経験に頼る必要はないから、利用者の負担を軽減するとともに、交通流監視システムに割り当てられた処理能力を有効に活用して、車両などの移動物体を精密に検出することが可能となり、交通流監視システムによる監視精度の向上を図ることができる。
【００３４】
また、図２において、投影処理部２１２は、図３（ａ） に示すように、白線で区切られた１車線に対応する領域（図３（ａ） において網かけを付して示す）毎に、各ラインに含まれている差分が検出された画素（図３（ｂ） において該当する画素に画素値１を付して示した）を計数し、各ラインの計数結果を車両検出部２１３に送出する構成となっている。
【００３５】
ここで、このようにして得られた各ラインの計数結果は、上述した各車線に対応する領域の二値化画像を副走査線方向に投影結果を示しており、この投影結果から、元の二値化画像で表された車両の形状を推定することが可能である。
例えば、図３（ｃ） に示すように、所定の閾値Ｔｈ１ 以上の計数結果が分布している範囲の長さは、二値化画像において車両を表す画像の長さに相当しており、個々の車両を識別するために有効な特徴を示している。
【００３６】
したがって、車両検出部２１３は、各車線に対応する領域についての投影結果の入力に応じて、例えば、所定の長さ以上に渡って閾値Ｔｈ１ 以上の計数結果が分布している範囲をそれぞれ車両の投影結果として検出すればよい。
この場合は、投影処理部２１２と車両検出部２１３とにより、特徴抽出手段１２１および検出手段１０１の機能が果たされており、現サンプルフレーム内の車両の位置とその特徴とを検出することができる。
【００３７】
また、このとき、車両検出部２１３は、上述した検出領域で示される範囲から車両の投影結果を検出した場合に、新規検出手段１１２として動作し、その数を新しくカメラ３０１の視野に進入してきた車両の数として計数処理部３０８に送出し、これに応じて、計数処理部３０８は、従来と同様にして、一定時間にカメラ３０１の視野を通過した車両の数を計数すればよい。
【００３８】
また、この車両検出部２１３は、各車線に対応する領域から検出した車両に対応する投影結果のそれぞれの位置および長さを該当する車両の特徴として、同定手段１０３に相当する同定処理部２２０に送出すればよい。
図２に示した同定処理部２２０において、車両テーブル２２１は例えば、上述した各車線に対応する領域毎に、前のサンプルフレームの画像から検出された車両のそれぞれに対応する車両情報として、各車両の特徴を表す情報を保持する構成となっている。
【００３９】
また、同定処理部２２０の照合処理部２２２は、新しいサンプルフレームについて検出処理部２１０で得られた検出結果のそれぞれと、上述した車両テーブル２２１に保持された車両情報とを後述する条件に基づいて照合し、この条件を満たす組み合わせを同一の車両であると同定する構成となっている。
このとき、照合処理部２２２は、検出処理部２１０の検出結果として得られる車両の位置に最も近く、かつ、車両の長さが等しいことを条件として、照合処理を行い、照合結果を速度算出部２３０に送出すればよい。
【００４０】
図４に、同定処理を説明する図を示す。
例えば、まず、検出結果で示される車両の位置よりも後ろ側にあり、かつ、距離が所定の閾値Ｔｈ２ 以下であるものを車両テーブル２２１から候補車両（図４（ａ） において符号▲１▼，▲２▼で示す）として抽出し、候補車両が複数ある場合に、検出結果と候補車両の車両の長さを照合することにより、ただ一つの候補車両（図４（ａ） においては符号▲１▼で示す）を選択すればよい。
【００４１】
また、上述した照合処理部２２２は、車両の検出結果の入力に応じて、この検出結果で示された車両と同一の車線に対応して車両テーブル２２１に保持された車両の特徴の中に適切なものを発見できなかった場合には、隣接する車線に対応する車両情報との間で同様の照合処理を行えばよい。
例えば、図４（ａ） に符号▲３▼で示した車両が、次のサンプルフレームまでのあいだに、図４（ｂ） に示すように、隣接する車線を走行していた２台の車両（図４において符号▲１▼，▲２▼で示した）の間に割り込んだ場合には、この符号▲３▼で示した車両は、網かけを施した車線に対応する車両情報としては車両テーブル２２１に保持されていない。この場合に、隣接する車線に対応する車両テーブル２２１を検索することにより、符号▲３▼に対応する車両情報を得ることができ、この車両情報で示された車両と図４（ｂ） の符号▲３▼の車両とを同定することができる。
【００４２】
このように、同定処理部２２０の照合処理部２２２が、検出結果の入力に応じて動作することにより、請求項２で述べた照合手段１２３と組検出手段１２４との機能を実現し、車両の位置だけを考慮した従来の方法では同定できない場合にも、個々の車両の特徴を考慮して、車両の同定を行うことができる。
これにより、隣接する車線からの割込などに伴う、走行順序や急激な速度変化にも柔軟に対応し、車両の同定を正確に行うことが可能となり、速度算出の精度の向上に寄与することができる。
【００４３】
また、上述したようにして、それぞれの検出結果についての同定処理を終了するごとに、書換え処理部２２３は、車両テーブル２２１の該当する車両情報に含まれている車両の位置を現サンプルフレームにおける車両の位置に書き換える構成となっている。
このとき、書換え処理部２２３は、上述した検出領域から検出された新しい車両については、カメラ３０１の視野に新たに進入してきた車両に関する車両情報として、車両検出部２１３から得られた検出結果をそのまま新規の車両情報として車両テーブル２２１に追加すればよい。
【００４４】
また、書換え処理部２２３は、上述した照合処理部２２２により、現サンプルフレームについての検出結果と同定されなかった場合は、車両情報を車両テーブル２２１から検出し、カメラ３０１の視野から外れた車両に関する車両情報として、該当する車両情報を削除すればよい。
このようにして、照合処理部２２２による照合結果に応じて、書換え処理部２２３が車両テーブル２２１の書換えを行うことにより、請求項２で述べた保持手段１２２の機能を実現し、現サンプルフレームにおいてカメラ３０１の視野に捉えられた車両のみに関する情報を車両テーブル２２１に保持し、次のサンプルフレームの処理に供することができる。
【００４５】
このようにして得られた同定結果は、速度算出部２３０に送出され、この速度算出部２３０により、上述した解像度算出部２４０で得られた対応テーブル２４２および解像度テーブル２４４に基づいて、それぞれの車両の速度が求められる。
図２に示した速度算出部２３０において、サンプル速度算出部２３１は、従来と同様に、各車両についての同定結果に基づいて、現サンプルフレームにおける位置でのサンプル速度を算出し、速度保持部２３２を介して区間速度算出部２３４に送出する構成となっている。
【００４６】
ここで、上述した対応テーブル２４２は、各画素の位置に対応して道路上の位置を保持しており、サンプル速度算出部２３１は、この対応テーブル２４２を参照しながらサンプル速度を算出し、速度保持部２３２に送出する構成となっている。
これに応じて、速度保持部２３２は、各サンプルフレームについて算出されたサンプル速度を車両ごとに分類して、各サンプルフレームにおける車両の位置とともに保持すればよい。
【００４７】
また、図２において、重み算出部２３３は、上述した解像度テーブル２４３の内容に基づいて、画面上の各画素における解像度に比例する重みを算出し、区間速度算出部２３３の処理に供する構成となっている。
図２において、区間速度算出部２３４は、速度保持部２３２に保持された各車両に対応するサンプル速度のそれぞれに、重み算出部２３３で得られた重みを付けて加重平均を求める構成となっている。
【００４８】
このように、区間速度算出部２３４と速度保持部２３２とが、重み算出部２３４からの重みの入力に応じて動作して得られた結果を該当する車両の区間速度としてセンタ３１０に通知する構成となっている。
このとき、重み算出部２３３は、上述した速度保持部２３２から該当する車両の各サンプルフレームにおける位置を読み出して、これらの位置に基づいて、解像度テーブル２４４を参照し、各位置における解像度の値に基づいて適切な重みを算出して、区間速度算出部２３４に送出すればよい。
【００４９】
例えば、単純に、各サンプルフレームにおける位置に対応する解像度とその前のサンプルフレームにおける位置に対応する解像度との平均値を求め、これに所定の定数αを乗じて、区間速度算出部２３４に重みとして送出すればよい。また、図８（ｂ） に示した解像度の変化を示す曲線を各サンプルフレームにおける車両位置で区切られた区間ごとに積分し、この積分結果に基づいて、該当する区間における重みとしてもよい。
【００５０】
このように、重み算出部２３３が解像度算出部２４０で得られた解像度テーブル２４４を利用して重みを算出することにより、カメラ３０１で捉えられた画像における位置に対応する解像度に応じた重みを平均速度の算出処理に供することができる。
この場合は、解像度の高い画面の下側の画像を用いて算出されたサンプル速度には大きな重みが付けられ、逆に、解像度の低い領域の画像を用いて得られたサンプル速度に付加される重みは小さくなっている。
【００５１】
したがって、サンプル速度を算出する際の解像度を平均速度に反映させることが可能となり、画像情報の特徴を活用して、平均速度の算出精度を向上することができる。
これにより、各車両について、より精密な平均速度をセンタ３１０に通知することができ、これらの情報をセンタ３１０において解析することにより、利用者に的確な情報を提供し、サービス性の向上を図ることができる。
【００５２】
また、上述したようにして求めたサンプル速度を利用して、同定処理を行うこともできる。
図５に、本発明にかかわる交通流監視システムの第２の実施例構成図を示す。
図５において、同定処理部２２０は、図２に示した同定処理部２２０に、位置予想部２２４を付加した構成となっており、この位置予想部２２４が、現サンプルフレームについての車両の同定処理に先立って、上述した速度算出部２３０から受け取った各車両のサンプル速度に基づいて各車両の二値化画像における位置を予想し、この予想結果を車両テーブル２２１を介して、照合処理部２２２の処理に供する構成となっている。
【００５３】
上述した位置予想部２２４は、速度保持部２３２から前のサンプルフレームについての各車両のサンプル速度を受け取り、このサンプル速度とサンプル間隔ｔとの乗算結果に基づいて、現サンプルフレームにおける車両の道路上における予想位置を算出し、更に、上述した対応テーブル２４２から該当する画面上の位置を求めればよい。
【００５４】
このように、位置予想部２２４が速度保持部２３２および対応テーブル２４２に基づいて動作することにより、位置予測手段１２６の機能を実現し、前のサンプルフレームにおける車両の位置に基づいて、現サンプルフレームにおける車両の画面上の位置を求め、照合処理に供することができる。
このとき、位置予想部２２４は、得られた予想位置を車両テーブル２２１に送出し、車両テーブル２２１は、これに応じて、該当する車両に対応する車両情報の一部として入力された予想位置を格納し、照合処理部２２２は、前のサンプルフレームにおける位置の代わりに、この予想位置を用いて同定処理を行えばよい。
【００５５】
このように、位置予想部２２４によって得られた予想位置の入力に応じて、車両テーブル２２１および照合処理部２２２が動作することにより、請求項３で述べた照合手段１２３の機能を実現し、前のサンプルフレームにおける位置での車両の速度に関する情報を現サンプルフレームにおける同定処理に利用することができる。
【００５６】
ここで、道路を走行している車両が急激に速度を変更することは稀であるから、通常は、上述したようにして得られた予想位置の近傍で現サンプルフレームにおける車両の画像を検出することが可能である。
したがって、この場合は、照合処理部２２２は、候補車両を検出する際に、予想位置から上述した閾値Ｔｈ２ よりも大幅に小さい所定の閾値Ｔｈ３ を用いて、候補車両を絞り込むことができる。
【００５７】
これにより、次に車両の特徴（長さ）を照合することにより、確実にただ一つの車両を選択することが可能となり、画像情報の特徴を利用して、より確実に車両を同定することができるから、個々の車両の速度算出精度の向上に寄与することができる。
更に、各車両について複数の特徴を抽出すれば、個々の車両の同定精度を一層向上することが可能である。
【００５８】
図６に、本発明にかかわる交通流監視システムの第３の実施例構成図を示す。
図６において、検出処理部２１０は、図２に示した検出処理部２１０にエッジ検出部２１６を付加して構成し、このエッジ検出部２１６が、二値化処理部３０５から二値化画像を受け取って、車両の後ろ側の端に相当するエッジ状の画像を検出し、検出したエッジの長さを車両の特徴の一つとして、車両検出部２１３による検出結果とともに同定処理部２２０に送出する構成となっている。
【００５９】
ここで、車両の後ろ側にはテールランプが配置されており、このテールランプに対応する画像は、昼夜にかかわらず容易に検出することが可能であるから、エッジ検出部２１６は、このテールランプの画像に注目して、エッジ状の画像の検出処理を行えばよい。また、このとき、エッジ検出部２１６は、例えば、テールランプに対応する画像が水平方向に所定の長さ以上の間隔で並んでいる部分をエッジ状の画像として検出し、このエッジ状の画像の長さを車両の幅を示す情報として同定処理部２２０に送出すればよい。
【００６０】
これに応じて、同定処理部２２０の車両テーブル２２１は、上述したエッジ検出部２１６で得られた車両の幅と車両検出部２１３による検出結果とを対応付けて保持すればよい。
また、この場合は、同定処理部２２０の照合処理部２２２は、前のサンプルフレームにおける位置に基づいて、車両テーブル２２１から候補車両の検索を行ったのちに、車両の長さと幅とを照合し、両方の特徴が一致する車両の組み合わせを同一の車両とすればよい。
【００６１】
これにより、車両の位置と長さだけでは特定できない場合にも、車両の幅を照合することにより、ただ一つの候補車両を選択することができ、画像情報の特徴を十分に活用して、より確実にここの車両を同定することができる。
【００６２】
【発明の効果】
以上説明したように請求項１の発明は、サンプル間隔と移動物体の最高速度とを考慮して検出領域の大きさを決定することにより、画像情報の特徴を利用して、新規に進入した移動物体を漏れなく検出することが可能となり、移動物体の数量を正確に計数し、正確な情報を利用者に提供することができる。
【００６３】
また、この場合は、交通流監視システムの操作者の経験や知識に頼ることなく、適切な検出領域を自動的に設定することができるから、操作者の負担を軽減する効果も期待できる。
また、請求項２および請求項３の発明は、連続する２つのフレームにおける移動物体を同定する際に、前のフレームにおける移動物体の位置とともに、移動物体を表す像の特徴や移動物体の速度を考慮することにより、移動物体の速度の急激な変化などにかかわらず、移動物体を正確に同定することが可能となり、移動物体の速度算出精度の向上に寄与することができるから、利用者により正確な情報を提供することができる。
【００６４】
更に、画面上の各位置における解像度に対応した重みを付けてサンプル速度を加重平均することにより、画面上の各位置における解像度を監視区域における平均速度に反映し、平均速度の精度を向上することができるから、利用者により正確な情報を提供することができる。
【図面の簡単な説明】
【図１】本発明にかかわる移動物体の交通流監視システムの原理ブロック図である。
【図２】本発明にかかわる移動物体の交通流監視システムの第１の実施例構成図である。
【図３】投影処理を説明する図である。
【図４】同定処理を説明する図である。
【図５】本発明にかかわる交通流監視システムの第２の実施例構成図である。
【図６】本発明にかかわる交通流監視システムの第３の実施例構成図である。
【図７】従来の交通流監視システムの構成例を示す図である。
【図８】画像上の各画素の位置と道路上の位置との対応関係を示す図である。
【符号の説明】
１０１ 検出手段
１０２ 計数手段
１０３ 同定手段
１０４ 速度算出手段
１１１ 領域決定手段
１１２ 新規検出手段
１２１ 特徴抽出手段
１２２ 保持手段
１２３ 照合手段
１２４ 組検出手段
１２５ サンプル速度算出手段
１２６ 位置予測手段
２１０，３０６ 検出処理部
２１１ 領域設定部
２１２ 投影処理部
２１３ 車両検出部
２１４ 距離算出部
２１５ 対応付け部
２２０，３０７ 同定処理部
２２１ 車両テーブル
２２２ 照合処理部
２２３ 書換え処理部
２２４ 位置予想部
２３０，３０９ 速度算出部
２３１ サンプル速度算出部
２３２ 速度保持部
２３３ 重み算出部
２３４ 区間速度算出部
２４１ テーブル作成部
２４２ 対応テーブル
２４３ 算出処理部
２４４ 解像度テーブル
３０１ カメラ
３０２ アナログ−デジタル変換処理部（Ａ／Ｄ）
３０３ 差分処理部
３０４ 静止画メモリ
３０５ 二値化処理部
３０８ 計数処理部
３１０ センタ[0001]
[Industrial applications]
The present invention relates to a traffic flow monitoring system for a moving object that monitors a moving object such as a vehicle traveling on a restricted route such as a road.
For example, a traffic flow monitoring system that monitors the movement of vehicles on a road detects various types of information such as the type, quantity, and average speed of moving objects that move on the road, and displays road conditions, predicts congestion, and predicts traffic in tunnels. It is useful for various applications, such as control of ventilation equipment in a building.
[0002]
Conventionally, information such as the type, quantity, and average speed of the above-mentioned moving objects has been obtained by dedicated sensors installed at predetermined locations. However, these sensors have fixed roles, and new functions are provided. If additional information is needed for another, another sensor must be installed.
In consideration of this point, instead of these dedicated sensors, monitoring cameras were installed at sample positions such as near the interchange, near the entrance of the tunnel, and inside the tunnel, and captured by these cameras A system for extracting the above-described various information from a video has been proposed, and great expectations are placed on its scalability.
[0003]
[Prior art]
FIG. 7 shows a configuration example of a conventional traffic flow monitoring system for a moving object.
In FIG. 7, a video captured by a
[0004]
In response to the input of the difference for each pixel obtained by the
The detection processing unit 306 is configured to detect an image having predetermined characteristics from the input binary image of each frame as an image representing a vehicle, and to provide the position to the processing of the identification processing unit 307. .
[0005]
At this time, the detection processing unit 306 sets a part of the basement as a detection area for detecting a new vehicle, particularly on the side where the image of the vehicle enters the binarized image, and an image representing the vehicle appears in this detection area. Sometimes, it is detected as a new vehicle and sent to the count processing unit 308.
In FIG. 7, a counting processing unit 308 counts the number of vehicles that have passed through the field of view of the
[0006]
Further, the identification processing unit 307 associates the vehicle detected in the current frame with the vehicle detected in the previous frame based on the detection result obtained by the detection processing unit 306 for each frame. The combination of the position of the attached vehicle in the current frame and the previous frame is used as a result of the identification processing for the processing of the speed calculation unit 309.
[0007]
The identification processing unit 307 determines, for example, the closest vehicle from the detection result of the current frame in a predetermined range on the traveling direction side of the vehicle with respect to the position of the vehicle in the previous frame, and What is necessary is just to send the combination of the position and the position of the vehicle in the frame as a result of the process of identifying the corresponding vehicle.
In response to the input of the identification processing result, the speed calculation unit 309 first determines, for each vehicle, the corresponding vehicle at the time corresponding to each frame from the difference between the position of the relevant vehicle on the screen and the time between frames. Calculate the speed on the road. Next, the speed calculation unit 309 obtains an average value of the speed on the road corresponding to these frames obtained for each vehicle, and calculates the average value of the speed of the corresponding vehicle in the section corresponding to the field of view of the
[0008]
Here, in a normal traffic flow monitoring system, the optical axis of the
For this reason, the speed calculation unit 309 needs to convert the length in the binarized image into the length of the section on the road corresponding to the field of view of the
[0009]
The present applicant has already filed a Japanese Patent Application No. 6-47452 entitled "Position Correlation Method, Position Correlation Device, Vehicle Speed Calculation Method and Vehicle Speed Calculation Device" as a technique for simplifying such conversion processing. are doing.
This technique is based on the size and spacing of an image representing a marker of known size and spacing, such as a white line on a road, based on the actual length of a section on the road corresponding to each pixel on the screen. Is obtained in advance and used for specifying the position of the moving object and calculating the speed.
[0010]
Using this technique, based on the image showing the white line on the road shown in FIG. 8A, as shown in FIG. 8B, the position of each pixel on the binarized image (in FIG. It is possible to obtain the correspondence between the positions on the road and the corresponding positions on the road, and it is possible to easily obtain the speed of the vehicle by using a function indicating the correspondence.
The
[0011]
Further, there is also provided an applied service of displaying a message calling attention to a vehicle violating the speed based on a measured value of the speed obtained for each vehicle.
[0012]
[Problems to be solved by the invention]
Incidentally, an enormous amount of calculation is required to perform the above-described processing on all the frames captured by the
[0013]
In this case, it is necessary to determine the size of the detection area for detecting a new vehicle and the size of the range on the traveling direction used for vehicle identification in consideration of the sampling frame extraction interval and the vehicle speed.
However, in the conventional traffic flow monitoring system, the size of the detection area and the range used for vehicle identification is left to the subjective judgment of the user, and the detection area and the range used for identification are set to be large. In many cases, the setting was too narrow or too narrow.
[0014]
For example, if the detection area is set too large, a vehicle newly entering the field of view of the
On the other hand, if the setting of the detection area is too narrow, the amount of calculation can be reduced, but the detection of a vehicle newly entering the field of view may fail.
[0015]
Further, in the conventional traffic flow monitoring system, as described above, on the assumption that the speed and traveling direction of the vehicle do not greatly change during the vehicle identification process, the traffic flow monitoring system is simply captured in a predetermined area in front of the traveling direction. The vehicle closest to the position of the vehicle in the previous frame is selected and identified from the vehicles that have been set.
However, when the vehicle actually travels on the road, rapid acceleration, deceleration, and direction changes frequently occur due to lane changes, overtaking, etc., and the above method does not always provide accurate identification results. I can't say I can.
[0016]
For example, when the vehicle c is running in the adjacent lane while the vehicle b is running continuously behind the vehicle a, the vehicle c may be interrupted between the vehicle a and the vehicle b. In the current frame, the vehicle c may be erroneously identified as the vehicle b due to a sudden change in the speed between the vehicle b and the vehicle c occurring between the sample frame of the current frame and the current sample frame. If such an erroneous recognition occurs, the subsequent speed calculation processing cannot be performed accurately.
[0017]
Further, in the conventional traffic flow calculation system, as described above, in the process of calculating the average speed of the vehicle, the speed in each sample frame obtained from the difference between the position of the vehicle and each sample frame and the preceding sample frame is calculated. Simply average.
On the other hand, as can be seen from the curve shown by the solid line in FIG. 8B, the slope of the curve is larger in the upper part of the binarized image corresponding to the part far from the
[0018]
Therefore, as described above, when monitoring the traffic flow using the
However, in the conventional method, such position detection results having different precisions are treated equally, and as a result, the measurement accuracy of the vehicle speed as a whole is reduced.
[0019]
As described above, the conventional traffic flow monitoring system using image information has various problems, but it is necessary to continuously obtain images of each frame including a huge amount of information and extract various information. It is excellent in extensibility because it can be.
For example, if a stationary object is extracted over a plurality of continuous sample frames, it is possible to obtain information on the presence or absence of an object such as a falling object that hinders the traveling of the vehicle. Various information such as the inter-vehicle distance can be obtained for the vehicle.
[0020]
Therefore, there is a need for a method of automatically obtaining accurate information from image information in order to utilize the features of a traffic flow monitoring system using image information and to provide users with more detailed and accurate information. I have.
An object of the present invention is to provide a traffic flow monitoring system capable of calculating the quantity and speed of a moving object more precisely by utilizing the characteristics of image information.
[0021]
[Means for Solving the Problems]
FIG. 1 is a principle block diagram of a traffic flow monitoring system for a moving object according to the present invention.
According to the first aspect of the present invention, the detecting means 101 detects an image corresponding to a moving object in response to input of images of a plurality of continuous frames obtained by photographing a moving object at a predetermined sample interval. The detection result of each frame is subjected to the counting processing of the number of moving objects by the counting means 102, and the image of the moving object included in the detection result of each frame and the preceding frame is identified by the identification means 103. In the traffic flow monitoring system for a moving object, which is used for calculating the speed of the moving object by the speed calculating means 104, the detecting means 101 newly appears based on the sample interval and the maximum speed expected as the moving speed of the moving object. Area determining means 111 for determining the size of a detection area to be noticed for detecting a moving object; Te, size obtained by the region determining unit 111 of the detection areaIs set to the end on the side where the moving object enters in the image of each frame,The image representing the moving object included in this detection area is detected as a newly appearing moving object,Provide for identification processing by identification means 103It is characterized by comprising a new detection means 112.
[0022]
According to the invention of
[0023]
According to a third aspect of the present invention, in the traffic flow monitoring system for a moving object according to the second aspect, the speed calculation means 104 determines each frame based on a moving amount of the identified moving object between two consecutive frames. And a sample
[0024]
According to a fourth aspect of the present invention, the detecting means 101 detects an image corresponding to the moving object in response to input of a plurality of continuous frames of images obtained by photographing the moving object at predetermined sample intervals. The detection result of each frame is subjected to the counting processing of the number of moving objects by the counting means 102, and the image of the moving object included in the detection result of each frame and the preceding frame is identified by the identification means 103. In the traffic flow monitoring system for a moving object, which is used for the speed calculation process of the moving object by the speed calculating means 104,Detecting means 101, based on a sample interval and a maximum speed expected as a moving speed of the moving object, an area determining means 111 for determining a size of a detection area to be noticed in order to detect a newly appearing moving object; For each of the images of a plurality of frames, the detection area having the size obtained by the area determination means 111 is set at the end of the image of each frame on the side where the moving object enters, and the moving object included in this detection area is set. Is detected as a newly appearing moving object, and a new detecting
[0025]
[Action]
The invention of claim 1ThenSince the size of the detection area is determined by the area determining means 111 in consideration of the sample interval and the maximum speed of the moving object, the new detecting means 112Focuses on the detection area provided at the end on the side where the moving object enters in the image of each frame,Images of newly appearing moving objectsApart from the moving objects already detected in the previous frameDetect without omission,Identification means 103Can be provided. This allowsSince the identification unit 103 can separately identify the moving object newly entering the imaging range and the moving object existing in the imaging range from the previous frame, the identification unit 103 can identify the moving object with high accuracy. It is possible to pass an accurate identification result to the speed calculating means 104.
[0026]
According to the second aspect of the present invention, the identification means 103 is provided in accordance with the output of the detection means 101 and the feature extraction means 121.Holding the extracted features of the moving object such as a vehicle according to whether the position is included in an area corresponding to any of a plurality of lanes,Collation means 123For example, first, for an area corresponding to the lane to which the position at which the moving object is detected belongs, priority is given to collation with information on the moving object detected in the previous frame, and then other areas, that is, adjacent areas The information is collated with the information held for the area corresponding to the lane to be changed. Based on the collation result obtained in this way,The pair detecting means 124Find the right combinationRepresents a moving object byOnly individual positions in each frame of the imageNot its featuresAnd the knowledge accumulated about the movement of the moving object,The moving object in two consecutive frames can be identified and provided to the processing of the sample speed calculation means 125.
[0027]
As a result, even if the position in the previous frame cannot be specified as a clue, the feature of the moving object can be compared.Or take into account interruptions from another lane, etc.This makes it possible to reliably identify the same moving object in two consecutive frames by making full use of the features of the image information, and it can be expected to improve the accuracy of measuring the speed of each moving object.
Furthermore, the invention according to
[0028]
Here, when the speed of the moving object is substantially constant, the predicted position obtained by the position predicting means 125 and the actual position substantially coincide with each other, so that the identifying means 103 can obtain a more reliable identification result. it can.
The invention of claim 4In the example, the size of the detection area is determined by the area determination unit 111 in consideration of the sample interval and the maximum speed of the moving object, and the
[0029]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 2 shows an embodiment of the traffic flow monitoring system according to the present invention.
2, the traffic flow monitoring system includes an analog-to-digital conversion processing unit (A / D) 302 and a differential signal in accordance with an input of a video captured by a
[0030]
Further, in the
[0031]
2, the
In the
[0032]
In the detection area setting unit 211 shown in FIG. 2, the moving distance calculation unit 214 receives the sample frame interval t and the estimated maximum speed v of the vehicle from the user, and based on these information, determines whether or not the vehicle is continuous. The maximum movement distance d expected between the two sample frames to be calculated is calculated and transmitted to the
[0033]
As described above, the function of the area determining means 111 described in
Here, the sampling interval t and the maximum speed v used in the detection area setting unit 211 are objective parameters that do not depend on the user's subjectivity. Therefore, it is not necessary to rely on the knowledge and experience of the user. Of the traffic flow monitoring system, and the effective use of the processing capacity allocated to the traffic flow monitoring system enables accurate detection of moving objects such as vehicles, thereby improving the monitoring accuracy of the traffic flow monitoring system. be able to.
[0034]
Further, in FIG. 2, the projection processing unit 212, as shown in FIG. 3 (a), performs a process for each region (shown by hatching in FIG. 3 (a)) corresponding to one lane separated by a white line. Then, the number of pixels (in FIG. 3 (b), corresponding pixels are indicated by adding a pixel value of 1) for which a difference contained in each line is detected, and the counting result of each line is sent to the
[0035]
Here, the counting result of each line obtained in this manner indicates a projection result of the above-described binarized image of the area corresponding to each lane in the sub-scanning line direction. It is possible to estimate the shape of the vehicle represented by the binarized image.
For example, as shown in FIG. 3C, the length of the range in which the count result equal to or larger than the predetermined threshold Th1 is distributed corresponds to the length of the image representing the vehicle in the binarized image. The figure shows a feature that is effective for identifying the vehicle.
[0036]
Therefore, in response to the input of the projection result for the area corresponding to each lane, the
In this case, the functions of the
[0037]
Further, at this time, when the
[0038]
In addition, the
In the identification processing unit 220 illustrated in FIG. 2, the vehicle table 221 stores, for example, vehicle information corresponding to each of the vehicles detected from the image of the previous sample frame for each region corresponding to each lane described above. Is stored.
[0039]
In addition, the matching processing unit 222 of the identification processing unit 220 compares each of the detection results obtained by the
At this time, the matching processing unit 222 performs a matching process on the condition that the position of the vehicle is closest to the position of the vehicle obtained as a detection result of the
[0040]
FIG. 4 is a diagram illustrating the identification processing.
For example, first, a candidate vehicle (indicated by symbols {1}, (1) in FIG. 4 (a)) that is behind the position of the vehicle indicated by the detection result and whose distance is equal to or less than a predetermined threshold Th2 is In the case where there are a plurality of candidate vehicles, by comparing the detection result with the length of the candidate vehicle, only one candidate vehicle (in FIG. 4 (a), reference numeral {circle around (1)}) is extracted. ▼).
[0041]
In addition, in response to the input of the detection result of the vehicle, the above-described matching processing unit 222 appropriately determines the characteristics of the vehicle held in the vehicle table 221 corresponding to the same lane as the vehicle indicated by the detection result. If no such information is found, a similar matching process may be performed with vehicle information corresponding to an adjacent lane.
For example, as shown in FIG. 4 (b), two vehicles (in FIG. 4 (a)) traveling in the adjacent lane until the next sample frame, When the vehicle is interrupted between (1) and (2) in FIG. 4), the vehicle indicated by (3) is a vehicle table corresponding to the shaded lane. 221 is not held. In this case, by searching the vehicle table 221 corresponding to the adjacent lane, vehicle information corresponding to the symbol (3) can be obtained, and the vehicle indicated by the vehicle information and the symbol in FIG. (3) The vehicle can be identified.
[0042]
As described above, the collation processing unit 222 of the identification processing unit 220 operates in accordance with the input of the detection result, thereby realizing the functions of the
As a result, it is possible to flexibly cope with traveling orders and sudden changes in speed due to interruptions from the adjacent lane, etc., making it possible to accurately identify vehicles and contribute to improving the accuracy of speed calculation. Can be.
[0043]
As described above, each time the identification process for each detection result is completed, the rewriting
At this time, for the new vehicle detected from the detection area described above, the rewriting
[0044]
In addition, when the matching processing unit 222 does not identify the detection result of the current sample frame as the detection result, the rewriting
In this way, the rewriting
[0045]
The identification result obtained in this manner is sent to the speed calculation unit 230, and the speed calculation unit 230 obtains the identification result obtained by the above-described resolution calculation unit 240.Correspondence table 242andResolution table 244Is used to determine the speed of each vehicle.
In the speed calculation unit 230 shown in FIG. 2, the sample
[0046]
WhereCorrespondence table 242Holds the position on the road corresponding to the position of each pixel, and the sample speed calculation unit 231Correspondence table 242, A sample speed is calculated and sent to the
In response to this, the
[0047]
In FIG. 2, the
In FIG. 2, the section speed calculation unit 234 obtains a weighted average by assigning the weight obtained by the
[0048]
As described above, the section speed calculation unit 234 and the
At this time, the
[0049]
For example, simply, an average value of the resolution corresponding to the position in each sample frame and the resolution corresponding to the position in the previous sample frame is obtained, and the average value is multiplied by a predetermined constant α to give the section speed calculation unit 234 a weight. And send it out. Further, the curve indicating the change in resolution shown in FIG. 8B may be integrated for each section of each sample frame divided by the vehicle position, and the weight of the corresponding section may be determined based on the integration result.
[0050]
As described above, the
In this case, the sample speed calculated using the lower image of the high-resolution screen is weighted heavily, and conversely, added to the sample speed obtained using the image of the low-resolution region. The weight is smaller.
[0051]
Therefore, it is possible to reflect the resolution at the time of calculating the sample speed on the average speed, and to improve the calculation accuracy of the average speed by utilizing the features of the image information.
This allows the
[0052]
Further, the identification processing can be performed using the sample speed obtained as described above.
In FIG.According to the present inventionTraffic flow monitoring systemSecondFIG.
5, the identification processing unit 220 has a configuration in which a position prediction unit 224 is added to the identification processing unit 220 shown in FIG. 2, and the position prediction unit 224 performs a vehicle identification process for the current sample frame. Prior to the above, the position of each vehicle in the binarized image is predicted based on the sample speed of each vehicle received from the above-described speed calculation unit 230, and the prediction result is compared by the comparison processing unit 222 via the vehicle table 221. It is configured to be used for processing.
[0053]
The above-described position estimating unit 224 receives the sample speed of each vehicle for the previous sample frame from the
[0054]
Thus, the position estimating unit 224 includes the
At this time, the position predicting unit 224 sends the obtained predicted position to the vehicle table 221. The vehicle table 221 responds accordingly to the predicted position input as a part of the vehicle information corresponding to the corresponding vehicle. The matching processing unit 222 may perform the identification processing using the predicted position instead of the position in the previous sample frame.
[0055]
In this way, by operating the vehicle table 221 and the collation processing unit 222 in response to the input of the predicted position obtained by the position prediction unit 224, the function of the
[0056]
Here, since it is rare for a vehicle running on a road to suddenly change the speed, an image of the vehicle in the current sample frame is normally detected near the expected position obtained as described above. It is possible.
Therefore, in this case, when detecting the candidate vehicles, the matching processing unit 222 can narrow down the candidate vehicles from the predicted position using the predetermined threshold Th3 which is significantly smaller than the above-described threshold Th2.
[0057]
This makes it possible to reliably select only one vehicle by comparing the characteristics (length) of the vehicle next, and to more reliably identify the vehicle using the characteristics of the image information. Therefore, it is possible to contribute to improvement of the speed calculation accuracy of each vehicle.
Further, if a plurality of features are extracted for each vehicle, the identification accuracy of each vehicle can be further improved.
[0058]
In FIG.According to the present inventionTraffic flow monitoring systemThirdFIG.
6, the
[0059]
Here, a tail lamp is arranged on the rear side of the vehicle, and an image corresponding to the tail lamp can be easily detected regardless of day or night. Attention should be paid to the detection processing of the edge-shaped image. At this time, the edge detection unit 216 detects, for example, a portion where the images corresponding to the tail lamps are arranged in the horizontal direction at an interval of a predetermined length or more as an edge-shaped image, and detects the length of the edge-shaped image. What is necessary is just to send the height to the identification processing unit 220 as information indicating the width of the vehicle.
[0060]
In response, the vehicle table 221 of the identification processing unit 220 may hold the width of the vehicle obtained by the edge detection unit 216 and the detection result by the
In this case, the matching processing unit 222 of the identification processing unit 220 searches for a candidate vehicle from the vehicle table 221 based on the position in the previous sample frame, and then checks the length and width of the vehicle. A combination of vehicles having both characteristics may be the same vehicle.
[0061]
As a result, even when it is not possible to specify only the position and length of the vehicle, it is possible to select only one candidate vehicle by collating the width of the vehicle, and to make full use of the features of the image information. The vehicle here can be reliably identified.
[0062]
【The invention's effect】
As described above, according to the first aspect of the present invention, the size of the detection area is determined in consideration of the sample interval and the maximum speed of the moving object. Objects can be detected without omission, the number of moving objects can be accurately counted, and accurate information can be provided to the user.
[0063]
In this case, an appropriate detection area can be automatically set without relying on the experience and knowledge of the operator of the traffic flow monitoring system, so that an effect of reducing the burden on the operator can be expected.
According to the second and third aspects of the present invention, when identifying a moving object in two consecutive frames, the position of the moving object in the previous frame and the characteristics of the image representing the moving object and the speed of the moving object are determined. By taking this into account, it is possible to accurately identify the moving object regardless of sudden changes in the speed of the moving object, etc., which can contribute to improving the accuracy of calculating the speed of the moving object. Information can be provided.
[0064]
Further, by weighting and averaging the sample speed with a weight corresponding to the resolution at each position on the screen, the resolution at each position on the screen is reflected on the average speed in the monitoring area, and the accuracy of the average speed is improved. Therefore, accurate information can be provided to the user.
[Brief description of the drawings]
FIG. 1 shows the present invention.Get involvedIt is a principle block diagram of the traffic flow monitoring system of a moving object.
FIG. 2According to the present inventionTraffic flow monitoring system for moving objectsFirstFIG. 4 is a configuration diagram of an example.
FIG. 3 is a diagram illustrating a projection process.
FIG. 4 is a diagram illustrating an identification process.
FIG. 5According to the present inventionTraffic flow monitoring systemSecondFIG. 4 is a configuration diagram of an example.
FIG. 6According to the present inventionTraffic flow monitoring systemThirdFIG. 4 is a configuration diagram of an example.
FIG. 7 is a diagram showing a configuration example of a conventional traffic flow monitoring system.
FIG. 8 is a diagram illustrating a correspondence relationship between a position of each pixel on an image and a position on a road.
[Explanation of symbols]
101 Detection means
102 counting means
103 Identification means
104 Speed calculation means
111 area determination means
112 New detection means
121 feature extraction means
122 holding means
123 collation means
124 sets detecting means
125 Sample speed calculation means
126 position prediction means
210, 306 detection processing unit
211 Area setting section
212 Projection processing unit
213 Vehicle detection unit
214 Distance calculator
215 Correlation unit
220,307 Identification processing unit
221 Vehicle table
222 collation processing unit
223 Rewriting processing unit
224 Position estimation part
230,309 Speed calculator
231 Sample speed calculator
232 Speed holding unit
233 Weight calculation unit
234 Section speed calculation unit
241 table creation unit
242 correspondence table
243 Calculation processing unit
244 resolution table
301 camera
302 Analog-digital conversion processing unit (A / D)
303 Difference processing unit
304 Still picture memory
305 Binarization processing unit
308 Count processing unit
310 center
Claims (4)
前記検出手段は、
前記サンプル間隔と前記移動物体の移動速度として予想される最高速度とに基づいて、前記新たに現れる移動物体を検出するために注目すべき検出領域の大きさを決定する領域決定手段と、
前記複数フレームの画像のそれぞれについて、前記領域決定手段で得られた大きさの検出領域を各フレームの画像において移動物体の進入する側の端に設定し、この検出領域に含まれている移動物体を表す画像を新たに現れた移動物体として検出して、前記同定手段による同定処理に供する新規検出手段とを備えた構成である
ことを特徴とする移動物体の交通流監視システム。In response to input of images of a plurality of continuous frames obtained by photographing a moving object at predetermined sample intervals, a detecting unit detects an image corresponding to the moving object, and detects a detection result of each frame. Along with providing the counting processing of the number of the moving objects by the counting means, an image of the moving object included in the detection result of each frame and the previous frame is identified by the identification means, and the identification result is obtained by the speed calculation means. In a traffic flow monitoring system for a moving object used for speed calculation processing,
The detecting means,
Area determining means for determining the size of a detection area to be noted for detecting the newly appearing moving object, based on the sample interval and the maximum speed expected as the moving speed of the moving object,
For each of the images of the plurality of frames, a detection area of the size obtained by the area determination means is set at the end of the image of each frame on the side where the moving object enters, and the moving object included in the detection area is set. A traffic flow monitoring system for a moving object, comprising: a new detecting means for detecting an image representing a moving object as a newly appearing moving object and providing the same to the identification processing by the identifying means.
前記検出手段によって検出された前記移動物体の像の特徴をそれぞれ抽出する特徴抽出手段と、
前記同定手段は、
前記検出手段で検出された前記移動物体の像の位置および前記特徴抽出手段で得られた特徴を示す情報を、前記移動物体の移動方向に応じて前記フレームを区切って形成される複数の領域に分けて保持する保持手段と、
各フレームの画像から検出された前記移動物体を表す像それぞれの位置および特徴を、前記フレームを区切って形成される各領域と前記像との相対位置に基づいて決定される優先順位に従って、前記保持手段に保持されたその前のフレームにおける前記移動物体の像の位置および特徴と照合する照合手段と、
前記照合手段による照合結果に基づいて、連続する２つのフレームの画像において同一の移動物体に対応する像の組み合わせを検出し、同定結果として速度算出手段に送出する組検出手段とを備えた構成である
ことを特徴とする移動物体の交通流監視システム。In response to input of images of a plurality of continuous frames obtained by photographing a moving object at predetermined sample intervals, a detecting unit detects an image corresponding to the moving object, and detects a detection result of each frame. Along with providing the counting processing of the number of the moving objects by the counting means, an image of the moving object included in the detection result of each frame and the previous frame is identified by the identification means, and the identification result is obtained by the speed calculation means. In a traffic flow monitoring system for a moving object used for speed calculation processing,
Feature extraction means for respectively extracting the features of the image of the moving object detected by the detection means,
The identification means,
Information indicating the position of the image of the moving object detected by the detecting means and the characteristics obtained by the feature extracting means is divided into a plurality of areas formed by dividing the frame according to the moving direction of the moving object. Holding means for holding separately
The position and feature of each image representing the moving object detected from the image of each frame are stored in accordance with the priority determined based on the relative position between each area formed by dividing the frame and the image. Collating means for collating with the position and characteristics of the image of the moving object in the previous frame held by the means,
A pair detecting means for detecting a combination of images corresponding to the same moving object in images of two consecutive frames based on the result of the matching by the matching means, and sending the combination to the speed calculating means as an identification result. A traffic flow monitoring system for a moving object.
速度算出手段は、同定された移動物体の連続する２つのフレーム間での移動量に基づいて、各フレームに対応する時刻における該当する移動物体のサンプル速度を算出するサンプル速度算出手段を備えた構成であり、
同定手段は、各フレームについての同定処理に先立って、前のフレームに対応する時刻における移動物体それぞれのサンプル速度に基づいて、各フレームに対応する時刻において前記各移動物体が占めると予想される位置を算出する位置予測手段を備えた構成であり、
照合手段は、前記位置予測手段で得られた前記各移動物体の予想位置を受け取り、検出手段で得られた前記各移動物体の像の位置と該当する予想位置とを照合する構成である
ことを特徴とする移動物体の交通流監視システム。The traffic flow monitoring system for a moving object according to claim 2,
The speed calculating means includes a sample speed calculating means for calculating a sample speed of a corresponding moving object at a time corresponding to each frame based on a moving amount of the identified moving object between two consecutive frames. And
Prior to the identification process for each frame, the identification unit is configured to estimate the position occupied by each moving object at the time corresponding to each frame based on the sample speed of each moving object at the time corresponding to the previous frame. And a position prediction means for calculating
Matching means receives the expected position of each of the moving objects obtained by the position prediction means, and compares the position of the image of each of the moving objects obtained by the detection means with the corresponding expected position. A traffic flow monitoring system for moving objects.
前記検出手段は、
前記サンプル間隔と前記移動物体の移動速度として予想される最高速度とに基づいて、前記新たに現れる移動物体を検出するために注目すべき検出領域の大きさを決定する領域決定手段と、
前記複数フレームの画像のそれぞれについて、前記領域決定手段で得られた大きさの検出領域を各フレームの画像において移動物体の進入する側の端に設定し、この検出領域に含まれている移動物体を表す画像を新たに現れた移動物体として検出して、前記計数手段による計数処理に供する新規検出手段とを備えた構成である
ことを特徴とする移動物体の交通流監視システム。In response to input of images of a plurality of continuous frames obtained by photographing a moving object at predetermined sample intervals, a detecting unit detects an image corresponding to the moving object, and detects a detection result of each frame. Along with providing the counting processing of the number of the moving objects by the counting means, an image of the moving object included in the detection result of each frame and the previous frame is identified by the identification means, and the identification result is obtained by the speed calculation means. In a traffic flow monitoring system for a moving object used for speed calculation processing,
The detecting means,
Area determining means for determining the size of a detection area to be noted for detecting the newly appearing moving object, based on the sample interval and the maximum speed expected as the moving speed of the moving object,
For each of the images of the plurality of frames, a detection area of the size obtained by the area determination means is set at the end of the image of each frame on the side where the moving object enters, and the moving object included in the detection area is set. A traffic flow monitoring system for a moving object, characterized by comprising: a new detecting means for detecting an image representing the image as a newly appearing moving object and providing the counting means for performing a counting process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02545095A JP3545079B2 (en) | 1995-02-14 | 1995-02-14 | Traffic flow monitoring system for moving objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02545095A JP3545079B2 (en) | 1995-02-14 | 1995-02-14 | Traffic flow monitoring system for moving objects |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003278767A Division JP3742410B2 (en) | 2003-07-24 | 2003-07-24 | Traffic flow monitoring system for moving objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08221686A JPH08221686A (en) | 1996-08-30 |
| JP3545079B2 true JP3545079B2 (en) | 2004-07-21 |
Family
ID=12166363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02545095A Expired - Fee Related JP3545079B2 (en) | 1995-02-14 | 1995-02-14 | Traffic flow monitoring system for moving objects |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3545079B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080312871A1 (en) * | 2004-11-02 | 2008-12-18 | Sensormatic Electronics Corporation | Line Monitoring System and Method |
| JP2010039825A (en) * | 2008-08-06 | 2010-02-18 | Fujitsu Ltd | Parking monitoring method and monitoring device thereof |
-
1995
- 1995-02-14 JP JP02545095A patent/JP3545079B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08221686A (en) | 1996-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6198987B1 (en) | Method and a multi-functional apparatus for determining the class of a vehicle | |
| EP0567059B1 (en) | Object recognition system using image processing | |
| US11361556B2 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| WO2001033503A1 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
| US20080144961A1 (en) | Method and Image Evaluation Unit for Scene Analysis | |
| JP5702544B2 (en) | Vehicle traffic monitoring device and program | |
| JPH1139589A (en) | Traffic monitoring device and method | |
| KR20090030666A (en) | High-speed weight in motion | |
| JPH11282999A (en) | Instrument for measuring mobile object | |
| JP2007026300A (en) | Traffic flow abnormality detector and traffic flow abnormality detection method | |
| KR100814028B1 (en) | System for measuring weight a traveling car automatically | |
| JP3742410B2 (en) | Traffic flow monitoring system for moving objects | |
| KR20190087276A (en) | System and method for traffic measurement of image based | |
| JP3545079B2 (en) | Traffic flow monitoring system for moving objects | |
| Zheng et al. | Detecting cycle failures at signalized intersections using video image processing | |
| JP2002367077A (en) | Device and method for deciding traffic congestion | |
| JP2002288786A (en) | Wide area congestion determination method, wide area congestion determination system, and determining device | |
| JPH1091893A (en) | Road monitoring device | |
| JP3771729B2 (en) | Traffic flow measurement system | |
| CN114882709A (en) | Vehicle congestion detection method and device and computer storage medium | |
| JP4697761B2 (en) | Queue detection method and queue detection apparatus | |
| JP7417440B2 (en) | Wide area monitoring equipment, wide area monitoring systems and programs | |
| JP3605892B2 (en) | Vehicle sensor and vehicle sensing method | |
| CN109558829B (en) | Lane change detection method and device, computer device and readable storage medium | |
| JP4005409B2 (en) | Background image estimation method and background image estimation apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120416 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |