JP4028299B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP4028299B2 JP4028299B2 JP2002160282A JP2002160282A JP4028299B2 JP 4028299 B2 JP4028299 B2 JP 4028299B2 JP 2002160282 A JP2002160282 A JP 2002160282A JP 2002160282 A JP2002160282 A JP 2002160282A JP 4028299 B2 JP4028299 B2 JP 4028299B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- image
- processing
- binarized
- binarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、道路監視システムにおいて、監視エリアを撮像して得た画像データを用いて監視エリアにおける渋滞の有無を的確に判定することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視システムにおいては、監視エリアをカメラにより撮像して得られた画像データを画像処理して事象解析を行うようにしている。この場合には、差分処理が用いられるのが通例であり、フレーム間差分処理と背景差分処理を行い、これらの結果を組み合わせている（例えば、特開２０００−１７５１７４号公報、特開平７−３３４６８３号公報）。
【０００３】
【発明が解決しようとする課題】
上記のシステムにおいて渋滞を検出する場合には、車両が存在する領域検出を行って画像内において何台の車両が存在しているかを求める手法が基本的である。しかしながら、激しい渋滞においては車両同士が重なり合い、１台１台を峻別することが不可能である場合が多いことから適切に渋滞を検出することが難しいものであった。これに対し、渋滞時に車両が重なって生じるエッジの段々部分の数に基づき車両台数を求める手法が試みられているが、必ずしも適切な結果を伴わないことが多い。
【０００４】
本発明は上記のような従来の画像処理における現状に鑑みてなされたもので、その目的は道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能な画像処理装置、画像処理方法、画像処理プログラムを提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理手段と、前記画像データについて背景差分処理を行う第２の差分処理手段と、前記第１の差分処理手段によるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理手段による背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化手段と、前記２値化手段により得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出手段と、前記算出手段により算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置では、前記判定手段は、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００７】
本発明に係る画像処理方法は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを具備することを特徴とする。
【０００８】
本発明に係る画像処理方法では、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを実行させることを特徴とする。
【００１０】
本発明に係る画像処理プログラムでは、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【００１１】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理装置、画像処理方法、画像処理プログラムを説明する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１２】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１３】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００１４】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１５】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段１１、第１の差分処理手段１２、第２の差分処理手段１３、２値化手段１４、算出手段１５、判定手段１６を具備している。画像取得手段１１は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、第１の差分処理手段１２及び第２の差分処理手段１３へ出力するためにコンピュータ処理可能な画像データに変換している。
【００１６】
第１の差分処理手段１２は、画像取得手段１１により取り込まれた画像データについて背景差分を行うものであり、第２の差分処理手段１３は、画像取得手段１１により取り込まれた画像データについてフレーム間差分を行うものである。２値化手段１４は、第１の２値化手段１４Ａと第２の２値化手段１４Ｂとを有し、第１の２値化手段１４Ａは、第１の差分処理手段１２により得られた差分データについて所定の閾値情報に基づき２値化を行うものであり、第２の２値化手段１４Ｂは、第２の差分処理手段１３により得られた差分データについて所定の閾値情報に基づき２値化を行うものである。
【００１７】
算出手段１５は、第１の算出手段１５Ａと第２の算出手段１５Ｂとを具備しており、第１の算出手段１５Ａは、第１の２値化手段１４Ａにより得られた２値化データについて画像内の白画素占有率を算出するものであり、第２の算出手段１５Ｂは、第２の２値化手段１４Ｂにより得られた２値化データについて画像内の白画素占有率を算出するものである。
【００１８】
更に、判定手段１６は、算出手段１５により算出された白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定するものである。
【００１９】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２０】
そして、図１に示した各手段は、ＣＰＵ５１が図４と図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。このフローチャートに示すように、まず、動作が開始され、カメラ６−１〜６−ｍから１フレームの画像データの取り込みを行う（Ｓ１：画像取得手段１１）。
【００２１】
次に、上記１フレームの画像データについて背景差分処理とフレーム間差分処理とを行い（Ｓ２）、各差分結果について２値化の処理を行う（Ｓ４）。こお２値化に用いる閾値は、背景差分処理による結果に対するものとフレーム間差分処理による結果に対するものとで、必要に応じ異ならせる。
【００２２】
上記ステップＳ３において得られた２種の２値化画像データについて、それぞれにおける白画素占有率を算出する（Ｓ４）。ここで、画像中の画素の総数をＮとし、フレーム間差分の２値化画像中の白画素数をＮＦ、背景差分の２値化画像中の白画素数をＮＢとする。なお、白画素は２値化された画素の「１」に対応し、輝度変化が生じた画素に相当する。
【００２３】
そして、フレーム間差分における白画素の占有率をWPRatio*F とし、一方、背景差分における白画素の占有率をWPRatio*BG とする。WPRatio*F ＝ＮＦ／Ｎとなり、WPRatio*BG ＝ＮＢ／Ｎとなる。
【００２４】
ステップＳ４に次いで、フレーム間差分における白画素の占有率であるWPRatio*F が予め定められた閾値Ｔｈ１よりも大きいか判定する（Ｓ５）。このステップＳ５においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。また、ステップＳ５においてＹＥＳとなると、背景差分における白画素の占有率であるWPRatio*BG が予め定められた閾値Ｔｈ２よりも大きいか判定する（Ｓ６）。
【００２５】
このステップＳ６においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。一方、ステップＳ６においてＹＥＳとなると、渋滞ありと判定結果を出力する（Ｓ８）。このように本実施の形態では、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することにより、フレーム差分処理と背景差分処理によるそれぞれでは、誤った結果となる確率を下げて適切に渋滞の検出を可能としている。
【００２６】
次に、あるトンネル内における自由流の画像と、渋滞における画像とについて本実施の形態を適用すると好適に渋滞検出が行えることを証明する。図５は同トンネル内における渋滞の際の画像例を示し、図６はトンネル内における自由流の画像例を示す。
【００２７】
上記の図６に示す自由流における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図７に示されるような２値化画像が得られ、同じく図６に示す自由流における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図８に示されるような２値化画像が得られるものである。
【００２８】
一方、図５に示す渋滞の際における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図９に示されるような２値化画像が得られ、同じく図５に示す渋滞の際における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図１０に示されるような２値化画像が得られるものである。
【００２９】
図７と図８に示される自由流における画像の画像データについての２値化画像と、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像とを比較すると明らかなように、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像における白画素の占有率が高くなっていることが分かる。
【００３０】
そこで、渋滞の定義に合わせて閾値Ｔｈ１と閾値Ｔｈ２を設定することにより適切な渋滞検出が可能となるものである。
【００３１】
次に、トンネル内の渋滞及び自由流映像（各々約３０分の映像）を用い、フレーム間差分及び背景差分処理の２値化画像データを用いた渋滞検出実験を行った結果を示す。具体的には、フレーム間差分及び背景差分処理の各々の２値化画像データにおける、画面全体に占める白画素の割合である白画素占有率を算出し、自由流時と渋滞時でWPRatio*F*M 及びWPRatio*BG*Mの値にどのような差が生じるかを検証した。
【００３２】
ここで、渋滞の定義として次のようなものを挙げることができる。
▲１▼車両の平均速度４０km/h（標準値）以下で５分間交通量が２５台（標準値）以上の場合
▲２▼交通密度が４０台/km/車線以上の場合
▲３▼車群速度が４０km/h（標準値）以下の場合
車群速度とは、一塊になって走行する複数台の車両の代表的な速度を意味する。上記▲１▼〜▲３▼のいずれかを満たす時、渋滞と判定する。
【００３３】
実験結果
渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）は、それぞれ図１１に示されるようになった。図１１において、平均値とは、WPRatio*F*M 、WPRatio*BG*Mの全計測値の平均を意味する。
【００３４】
結論
渋滞時は自由流時と比較してWPRatio*F*M 、WPRatio*BG*M共に大きな値を取ることがわかる。１つの画像処理手法のみでは、渋滞判定を誤る可能性があるが、２つの手法を用いること及び、ある一定時間（例：５分）内の値に基づいて判定を行うことで、渋滞検出精度を高めることができる。渋滞と判定した場合には上位装置（事象判定部）に渋滞情報を送信するようにすればよい。
【００３５】
本手法を用いると、個別車両の追跡や通過台数を正確にカウントできなくても短時間（１分程度）で精度良く渋滞を検出できることがわかった。つまり、図４に示すような１フレームに対応するフローチャートの処理を適宜回数繰り返すことにより、適切に渋滞判定が行えるものである。
【００３６】
【発明の効果】
以上説明したように本発明によれば、フレーム差分処理と背景差分処理によるそれぞれの結果を２値化して、２値化データについての白画素占有率が閾値以上である場合に渋滞ありと判定するので、道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】トンネル内における渋滞の際の画像例を示す図。
【図６】トンネル内における自由流の画像例を示す図。
【図７】図６に示す自由流における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図８】図６に示す自由流における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図９】図５に示す渋滞の際における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１０】図５に示す渋滞の際における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１１】ある実測における渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）の値を示す図。
【符号の説明】
１ ネットワーク
２ 画像処理部計算機
３ 統合処理部計算機
４ 事象判定部計算機
５−１〜５−ｎ 報知盤
６−１〜６−ｍ カメラ
１１ 画像取得手段
１２ 第１の差分処理手段
１３ 第２の差分処理手段
１４ ２値化手段
１４Ａ 第１の２値化手段
１４Ｂ 第２の２値化手段
１５ 算出手段
１５Ａ 第１の算出手段
１５Ｂ 第２の算出手段
１６ 判定手段
【発明の属する技術分野】
この発明は、道路監視システムにおいて、監視エリアを撮像して得た画像データを用いて監視エリアにおける渋滞の有無を的確に判定することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視システムにおいては、監視エリアをカメラにより撮像して得られた画像データを画像処理して事象解析を行うようにしている。この場合には、差分処理が用いられるのが通例であり、フレーム間差分処理と背景差分処理を行い、これらの結果を組み合わせている（例えば、特開２０００−１７５１７４号公報、特開平７−３３４６８３号公報）。
【０００３】
【発明が解決しようとする課題】
上記のシステムにおいて渋滞を検出する場合には、車両が存在する領域検出を行って画像内において何台の車両が存在しているかを求める手法が基本的である。しかしながら、激しい渋滞においては車両同士が重なり合い、１台１台を峻別することが不可能である場合が多いことから適切に渋滞を検出することが難しいものであった。これに対し、渋滞時に車両が重なって生じるエッジの段々部分の数に基づき車両台数を求める手法が試みられているが、必ずしも適切な結果を伴わないことが多い。
【０００４】
本発明は上記のような従来の画像処理における現状に鑑みてなされたもので、その目的は道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能な画像処理装置、画像処理方法、画像処理プログラムを提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理手段と、前記画像データについて背景差分処理を行う第２の差分処理手段と、前記第１の差分処理手段によるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理手段による背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化手段と、前記２値化手段により得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出手段と、前記算出手段により算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置では、前記判定手段は、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００７】
本発明に係る画像処理方法は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを具備することを特徴とする。
【０００８】
本発明に係る画像処理方法では、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを実行させることを特徴とする。
【００１０】
本発明に係る画像処理プログラムでは、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【００１１】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理装置、画像処理方法、画像処理プログラムを説明する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１２】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１３】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００１４】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１５】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段１１、第１の差分処理手段１２、第２の差分処理手段１３、２値化手段１４、算出手段１５、判定手段１６を具備している。画像取得手段１１は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、第１の差分処理手段１２及び第２の差分処理手段１３へ出力するためにコンピュータ処理可能な画像データに変換している。
【００１６】
第１の差分処理手段１２は、画像取得手段１１により取り込まれた画像データについて背景差分を行うものであり、第２の差分処理手段１３は、画像取得手段１１により取り込まれた画像データについてフレーム間差分を行うものである。２値化手段１４は、第１の２値化手段１４Ａと第２の２値化手段１４Ｂとを有し、第１の２値化手段１４Ａは、第１の差分処理手段１２により得られた差分データについて所定の閾値情報に基づき２値化を行うものであり、第２の２値化手段１４Ｂは、第２の差分処理手段１３により得られた差分データについて所定の閾値情報に基づき２値化を行うものである。
【００１７】
算出手段１５は、第１の算出手段１５Ａと第２の算出手段１５Ｂとを具備しており、第１の算出手段１５Ａは、第１の２値化手段１４Ａにより得られた２値化データについて画像内の白画素占有率を算出するものであり、第２の算出手段１５Ｂは、第２の２値化手段１４Ｂにより得られた２値化データについて画像内の白画素占有率を算出するものである。
【００１８】
更に、判定手段１６は、算出手段１５により算出された白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定するものである。
【００１９】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２０】
そして、図１に示した各手段は、ＣＰＵ５１が図４と図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。このフローチャートに示すように、まず、動作が開始され、カメラ６−１〜６−ｍから１フレームの画像データの取り込みを行う（Ｓ１：画像取得手段１１）。
【００２１】
次に、上記１フレームの画像データについて背景差分処理とフレーム間差分処理とを行い（Ｓ２）、各差分結果について２値化の処理を行う（Ｓ４）。こお２値化に用いる閾値は、背景差分処理による結果に対するものとフレーム間差分処理による結果に対するものとで、必要に応じ異ならせる。
【００２２】
上記ステップＳ３において得られた２種の２値化画像データについて、それぞれにおける白画素占有率を算出する（Ｓ４）。ここで、画像中の画素の総数をＮとし、フレーム間差分の２値化画像中の白画素数をＮＦ、背景差分の２値化画像中の白画素数をＮＢとする。なお、白画素は２値化された画素の「１」に対応し、輝度変化が生じた画素に相当する。
【００２３】
そして、フレーム間差分における白画素の占有率をWPRatio*F とし、一方、背景差分における白画素の占有率をWPRatio*BG とする。WPRatio*F ＝ＮＦ／Ｎとなり、WPRatio*BG ＝ＮＢ／Ｎとなる。
【００２４】
ステップＳ４に次いで、フレーム間差分における白画素の占有率であるWPRatio*F が予め定められた閾値Ｔｈ１よりも大きいか判定する（Ｓ５）。このステップＳ５においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。また、ステップＳ５においてＹＥＳとなると、背景差分における白画素の占有率であるWPRatio*BG が予め定められた閾値Ｔｈ２よりも大きいか判定する（Ｓ６）。
【００２５】
このステップＳ６においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。一方、ステップＳ６においてＹＥＳとなると、渋滞ありと判定結果を出力する（Ｓ８）。このように本実施の形態では、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することにより、フレーム差分処理と背景差分処理によるそれぞれでは、誤った結果となる確率を下げて適切に渋滞の検出を可能としている。
【００２６】
次に、あるトンネル内における自由流の画像と、渋滞における画像とについて本実施の形態を適用すると好適に渋滞検出が行えることを証明する。図５は同トンネル内における渋滞の際の画像例を示し、図６はトンネル内における自由流の画像例を示す。
【００２７】
上記の図６に示す自由流における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図７に示されるような２値化画像が得られ、同じく図６に示す自由流における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図８に示されるような２値化画像が得られるものである。
【００２８】
一方、図５に示す渋滞の際における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図９に示されるような２値化画像が得られ、同じく図５に示す渋滞の際における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図１０に示されるような２値化画像が得られるものである。
【００２９】
図７と図８に示される自由流における画像の画像データについての２値化画像と、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像とを比較すると明らかなように、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像における白画素の占有率が高くなっていることが分かる。
【００３０】
そこで、渋滞の定義に合わせて閾値Ｔｈ１と閾値Ｔｈ２を設定することにより適切な渋滞検出が可能となるものである。
【００３１】
次に、トンネル内の渋滞及び自由流映像（各々約３０分の映像）を用い、フレーム間差分及び背景差分処理の２値化画像データを用いた渋滞検出実験を行った結果を示す。具体的には、フレーム間差分及び背景差分処理の各々の２値化画像データにおける、画面全体に占める白画素の割合である白画素占有率を算出し、自由流時と渋滞時でWPRatio*F*M 及びWPRatio*BG*Mの値にどのような差が生じるかを検証した。
【００３２】
ここで、渋滞の定義として次のようなものを挙げることができる。
▲１▼車両の平均速度４０km/h（標準値）以下で５分間交通量が２５台（標準値）以上の場合
▲２▼交通密度が４０台/km/車線以上の場合
▲３▼車群速度が４０km/h（標準値）以下の場合
車群速度とは、一塊になって走行する複数台の車両の代表的な速度を意味する。上記▲１▼〜▲３▼のいずれかを満たす時、渋滞と判定する。
【００３３】
実験結果
渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）は、それぞれ図１１に示されるようになった。図１１において、平均値とは、WPRatio*F*M 、WPRatio*BG*Mの全計測値の平均を意味する。
【００３４】
結論
渋滞時は自由流時と比較してWPRatio*F*M 、WPRatio*BG*M共に大きな値を取ることがわかる。１つの画像処理手法のみでは、渋滞判定を誤る可能性があるが、２つの手法を用いること及び、ある一定時間（例：５分）内の値に基づいて判定を行うことで、渋滞検出精度を高めることができる。渋滞と判定した場合には上位装置（事象判定部）に渋滞情報を送信するようにすればよい。
【００３５】
本手法を用いると、個別車両の追跡や通過台数を正確にカウントできなくても短時間（１分程度）で精度良く渋滞を検出できることがわかった。つまり、図４に示すような１フレームに対応するフローチャートの処理を適宜回数繰り返すことにより、適切に渋滞判定が行えるものである。
【００３６】
【発明の効果】
以上説明したように本発明によれば、フレーム差分処理と背景差分処理によるそれぞれの結果を２値化して、２値化データについての白画素占有率が閾値以上である場合に渋滞ありと判定するので、道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】トンネル内における渋滞の際の画像例を示す図。
【図６】トンネル内における自由流の画像例を示す図。
【図７】図６に示す自由流における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図８】図６に示す自由流における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図９】図５に示す渋滞の際における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１０】図５に示す渋滞の際における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１１】ある実測における渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）の値を示す図。
【符号の説明】
１ ネットワーク
２ 画像処理部計算機
３ 統合処理部計算機
４ 事象判定部計算機
５−１〜５−ｎ 報知盤
６−１〜６−ｍ カメラ
１１ 画像取得手段
１２ 第１の差分処理手段
１３ 第２の差分処理手段
１４ ２値化手段
１４Ａ 第１の２値化手段
１４Ｂ 第２の２値化手段
１５ 算出手段
１５Ａ 第１の算出手段
１５Ｂ 第２の算出手段
１６ 判定手段
Claims (6)
- カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理手段と、
前記画像データについて背景差分処理を行う第２の差分処理手段と、
前記第１の差分処理手段によるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理手段による背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化手段と、
前記２値化手段により得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出手段と、
前記算出手段により算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定手段と
を具備することを特徴とする画像処理装置。 - 前記判定手段は、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする請求項１に記載の画像処理装置。
- カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、
前記画像データについて背景差分処理を行う第２の差分処理ステップと、
前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、
前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、
前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップと
を具備することを特徴とする画像処理方法。 - 前記判定ステップでは、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする請求項３に記載の画像処理方法。
- 主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、
前記中央処理装置に対し、
カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、
前記画像データについて背景差分処理を行う第２の差分処理ステップと、
前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、
前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分 に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、
前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップと
を実行させることを特徴とする画像処理プログラム。 - 前記判定ステップでは、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする請求項５に記載の画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160282A JP4028299B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160282A JP4028299B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005234A JP2004005234A (ja) | 2004-01-08 |
| JP4028299B2 true JP4028299B2 (ja) | 2007-12-26 |
Family
ID=30429751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160282A Expired - Fee Related JP4028299B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理装置、画像処理方法、画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4028299B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826260A (zh) * | 2010-05-04 | 2010-09-08 | 清华大学 | 一种交通违法行为自动抓拍的方法和*** |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4600929B2 (ja) * | 2005-07-20 | 2010-12-22 | パナソニック株式会社 | 停止低速車両検出装置 |
| JP6653719B2 (ja) * | 2018-01-30 | 2020-02-26 | 三菱電機インフォメーションシステムズ株式会社 | 状態判定装置及び状態判定プログラム |
-
2002
- 2002-05-31 JP JP2002160282A patent/JP4028299B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101826260A (zh) * | 2010-05-04 | 2010-09-08 | 清华大学 | 一种交通违法行为自动抓拍的方法和*** |
| CN101826260B (zh) * | 2010-05-04 | 2012-01-11 | 清华大学 | 一种交通违法行为自动抓拍的方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004005234A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8902053B2 (en) | Method and system for lane departure warning | |
| JP4600929B2 (ja) | 停止低速車両検出装置 | |
| TWI640964B (zh) | 以影像為基礎之車輛計數與分類系統 | |
| JP2007026300A (ja) | 交通流異常検出装置及び交通流異常検出方法 | |
| TW200829469A (en) | Methods and systems for identifying events for a vehicle | |
| CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| JP4537794B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP4028299B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| CN111425256B (zh) | 煤矿巷道监控方法、装置及计算机存储介质 | |
| CN113615166B (zh) | 事故检测装置及事故检测方法 | |
| JP3961344B2 (ja) | 画像処理システム、画像処理方法、画像処理プログラム | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| CN112185103A (zh) | 交通监控方法、装置及电子设备 | |
| WO2022267266A1 (zh) | 一种基于视觉识别的列车控制方法及设备 | |
| JPH10269492A (ja) | 車両監視装置 | |
| JPH0652485A (ja) | 危険交通事象検出方法 | |
| CN113674311A (zh) | 异常行为检测方法、装置、电子设备、存储介质 | |
| JPH0268698A (ja) | 車両検知方法および車両検知装置 | |
| JPH0721488A (ja) | 交通流異常監視支援装置 | |
| TWI627613B (zh) | Time-making method and device for generating traffic sign by using travel time | |
| JP2004007174A (ja) | 画像処理システム、画像処理方法、画像処理プログラム | |
| JPH0251800A (ja) | 交通渋滞状況検出方式 | |
| JP4301711B2 (ja) | 道路監視装置および道路監視方法 | |
| JP2001283374A (ja) | 交通流計測システム | |
| JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |