JP2001351107A - 交通監視装置および交通監視方法 - Google Patents

交通監視装置および交通監視方法

Info

Publication number
JP2001351107A
JP2001351107A JP2000168025A JP2000168025A JP2001351107A JP 2001351107 A JP2001351107 A JP 2001351107A JP 2000168025 A JP2000168025 A JP 2000168025A JP 2000168025 A JP2000168025 A JP 2000168025A JP 2001351107 A JP2001351107 A JP 2001351107A
Authority
JP
Japan
Prior art keywords
area
shadow
region
moving object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000168025A
Other languages
English (en)
Inventor
Hideo Kawamura
秀男 川村
Hiroyasu Miyahara
景泰 宮原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000168025A priority Critical patent/JP2001351107A/ja
Publication of JP2001351107A publication Critical patent/JP2001351107A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 複数の車両が影を介して接触している(1つ
の連結領域となる)ような場合に正しく個々の車両を抽
出することが困難であるなどの課題があった。 【解決手段】 背景画像生成手段2は入力画像から背景
画像を生成し、背景差分画像生成手段3は背景画像と入
力画像との差分画像を生成する。動体検出手段4は背景
差分画像より動体領域を検出し、影領域分離手段5は2
値化した画素値に基づいて動体領域から分割対象領域を
検出し、動体領域における各画素の値と近傍の画素の値
から各画素のエッジ情報を計算し、動体追跡手段6はそ
のエッジ情報に基づいて各分割対象領域を物体領域また
は影領域とし、検出した物体領域に基づいて動体を追跡
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、道路上を撮影し
た入力画像を画像処理して道路上の車両や障害物などを
検出し、車両の通過台数、速度などの情報の取得、車両
の運転者への警告などを実行する交通監視装置に関する
ものである。
【0002】
【従来の技術】車両検出を行う従来の技術としては、例
えば「A Shadow Handler in a Video-based Real-time
Traffic Monitoring System」(M.Kilger, IEEE Workshop
on Application of Computer Vision, Palm Springs,
1992, pp.11-18)に記載のものがある。図11は上記文
献に記載された従来の交通監視方法について説明するフ
ローチャートであり、図12は従来の交通監視方法にお
ける画像処理を説明する図である。
【0003】従来の交通監視方法においては、まずステ
ップST101において、カメラにより道路上を撮影
し、その画像を入力画像として保存する。次にステップ
ST102において、予め保持している背景画像とその
入力画像との差分を計算して背景差分画像を作成し、ス
テップST103において、その背景差分画像を2値化
する。
【0004】そしてステップST104において、2値
化した背景差分画像から、複数の物体や影の連結する領
域を抽出し、その連結領域のうちその大きさが所定範囲
のものを動体領域として検出する。その後、ステップS
T105において、入力画像と背景画像との加重平均に
より背景画像を更新する。
【0005】次にステップST106において、検出し
た動体領域から影の領域を除外し、物体の領域(車体領
域)だけを抽出し、その物体の領域の位置情報を保持し
ておく。
【0006】このとき、例えば図12(a)に示すよう
に動体領域が外接矩形101として検出された場合、ま
ず、ソーベルフィルタを用いて動体領域における入力画
像の垂直方向投影値と背景画像の垂直方向投影値との差
分値を図12(a)に示すようにエッジ垂直方向投影と
して計算する。物体の領域では画素値の変動が比較的大
きいためエッジが大きくなり、影の領域では画素値の変
動が小さいためエッジが小さくなる。したがって、この
エッジ垂直方向投影から物体の領域が抽出される。この
とき、影には、車体の影以外に道路周辺の建物などの影
(静止している影)も含まれているが、入力画像の垂直
方向投影値から背景画像の垂直方向投影値を引いてエッ
ジ垂直方向投影としているため、この静止している影の
影響が抑制される。そしてエッジ垂直方向投影を左また
は右からサーチしていき、エッジの値が所定の閾値以上
である位置を車体の左右端として車体領域を抽出する。
例えば図12(a)に示すエッジ垂直方向投影において
エッジの値を右からサーチした結果、位置x0において
所定の閾値以上となるので、この位置x0が車体右端と
判定される。この結果、図12(b)に示すように車体
領域が抽出される。
【0007】そして、ステップST107において、今
回抽出された車体領域の位置情報と、前回の入力画像か
ら抽出し保持しておいた車体領域の位置情報とに基づい
て、車体領域の追跡を行う。
【0008】
【発明が解決しようとする課題】従来の交通監視方法は
以上のように構成されているので、複数の車両が影を介
して接触している(1つの連結領域となる)ような場合
に、正しく個々の車両を抽出することが困難であるなど
の課題があった。
【0009】また、天候の急変などに起因して道路上に
建物などの影が急に発生した場合に、その影を誤って車
両と判定してしまうという課題があった。
【0010】この発明は上記のような課題を解決するた
めになされたもので、入力画像から背景画像を生成し、
背景画像と入力画像との差分画像を生成し、背景差分画
像より動体領域を検出し、2値化した場合の画素の値に
基づいて動体領域から分割対象領域を検出し、動体領域
における各画素の値と近傍の画素の値から各画素のエッ
ジ情報を計算し、そのエッジ情報に基づいて各分割対象
領域を物体領域または影領域とし、検出した物体領域に
基づいて動体を追跡するようにして、影の影響を抑制し
て複数の車両のそれぞれを正確に検出し追跡することが
できる交通監視装置および交通監視方法を得ることを目
的とする。
【0011】また、この発明は、影領域のみで構成され
る動体領域を除外するようにして、天候の急変などに起
因して道路上に建物などの影が急に発生した場合に、そ
の影を誤って車両と判定してしまうことを抑制すること
ができる交通監視装置および交通監視方法を得ることを
目的とする。
【0012】
【課題を解決するための手段】この発明に係る交通監視
装置は、入力画像から背景画像を生成する背景画像生成
手段と、背景画像と入力画像との差分画像を生成する背
景差分画像生成手段と、背景差分画像より動体領域を検
出する動体検出手段と、2値化した場合の画素の値に基
づいて動体領域から分割対象領域を検出し、動体領域に
おける各画素の値と近傍の画素の値から各画素のエッジ
情報を計算し、そのエッジ情報に基づいて各分割対象領
域を物体領域または影領域とする影領域分離手段と、影
領域分離手段により検出された物体領域に基づいて動体
を追跡する動体追跡手段とを備えるものである。
【0013】この発明に係る交通監視装置は、動体追跡
手段による動体追跡結果に基づいて物体の属性を判定す
る物体判定手段を備えるものである。
【0014】この発明に係る交通監視装置は、2値化し
た場合に画素値がゼロである分割対象領域であって、輪
郭部のエッジ情報と輪郭部を除いた領域内部のエッジ情
報とが所定の関係である分割対象領域を影領域とするよ
うにしたものである。
【0015】この発明に係る交通監視装置は、一様な輝
度分布である分割対象領域を影領域とするようにしたも
のである。
【0016】この発明に係る交通監視装置は、動体の進
行方向、位置および速度に基づいて、動体領域を複数の
分割対象領域に分割する際の分割位置を限定するように
したものである。
【0017】この発明に係る交通監視装置は、前回の入
力画像から検出した影領域の位置から現入力画像におけ
る影領域の位置を推定し、その位置に対応する領域にお
いてのみ影領域の分離を実行するようにしたものであ
る。
【0018】この発明に係る交通監視装置は、分割対象
領域が道路端と接触する場合、その分割対象領域を物体
領域としないようにしたものである。
【0019】この発明に係る交通監視装置は、影領域の
みで構成される動体領域を除外するようにしたものであ
る。
【0020】この発明に係る交通監視方法は、入力画像
から背景画像を生成するステップと、背景画像と入力画
像との差分画像を生成するステップと、背景差分画像よ
り動体領域を検出するステップと、2値化した場合の画
素の値に基づいて動体領域から分割対象領域を検出し、
動体領域における各画素の値と近傍の画素の値から各画
素のエッジ情報を計算し、そのエッジ情報に基づいて各
分割対象領域を物体領域または影領域とするステップ
と、検出した物体領域に基づいて動体を追跡するステッ
プとを備えるものである。
【0021】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態1.図1はこの発明の実施の形態1による交
通監視装置の構成を示すブロック図である。図1におい
て、1は図示せぬカメラなどにより撮影した道路の画像
(例えば0〜255のいずれかの輝度値をとる多階調の
画像)を取得する画像入力手段であり、2は入力画像か
ら背景画像を生成する背景画像生成手段であり、3は背
景画像と入力画像との差分画像を生成する背景差分画像
生成手段であり、4は背景差分画像より動体領域を検出
する動体検出手段であり、5は2値化した場合の画素の
値に基づいて動体領域から物体領域および影領域を推定
し、動体領域における各画素の値と近傍の画素の値から
各画素のエッジ情報を計算し、推定した影領域をそのエ
ッジ情報に基づいて物体領域または真の影領域とする影
領域分離手段であり、6は影領域分離手段5により検出
された物体領域に基づいて動体を追跡する動体追跡手段
であり、7は動体追跡手段6による動体追跡結果に基づ
いて物体の属性を判定する物体判定手段である。
【0022】次に動作について説明する。図2はこの発
明の実施の形態1による交通監視装置の動作を説明する
フローチャートであり、図3は影領域分離手段5の動作
を説明するフローチャートである。図4は入力画像の例
を示す図であり、図5は動体領域、その動体領域におけ
るエッジ強度を垂直方向に加算したヒストグラム、およ
びそのヒストグラムを2値化したものの一例を示す図で
ある。
【0023】まず、ステップST1において、図示せぬ
カメラにより時刻tで撮影された道路上の画像が画像入
力手段1に入力される。この入力画像は、例えば各画素
の値が0〜255のいずれかの輝度値をとるデジタル画
像である。なお、入力画像は、例えば図4に示すよう
に、所定の時間間隔Tで繰り返し取得され、その際、画
像内の物体(車両)10,11はその速度に応じて移動
する。背景画像生成手段2はその入力画像から背景画像
を生成する。なお、図4では、時刻t−Tにおいては2
台の車両がそれぞれ動体領域として検出され、時刻tに
おいては影により2台の車両が1つの動体領域として検
出される例である。また、便宜上、図4の入力画像は2
値画像として示している。
【0024】次にステップST2において、背景差分画
像生成手段3は、各画素について次式に従って輝度値を
計算して、入力画像と背景画像から背景差分画像を計算
する。 H(x,y)=|B(x,y)|−|I(x,y)| ・・・(1) ここで、H(x,y)は背景差分画像の画素(x,y)
における輝度値であり、B(x,y)は背景画像の画素
(x,y)における輝度値であり、I(x,y)は入力
画像の画素(x,y)における輝度値である。なお、こ
のように背景差分画像を事前に計算する方法は、例えば
「画像の処理と認識」(安居院 猛,長尾智晴共著、昭晃
堂発行、第161頁〜第162頁)に記載の背景差分法
と呼ばれるものである。
【0025】そしてステップST3において、動体検出
手段4は、背景差分画像生成手段3により計算された背
景差分画像から動体領域を抽出する。例えば動体検出手
段4は、図4(b)に示す入力画像から図5(a)に示
す動体領域を抽出する。動体領域は、例えば背景差分画
像を所定の閾値に基づいて2値化した背景差分2値画像
からラベリング法に基づいて検出される。なお、ラベリ
ング法は、例えば「コンピュータ画像処理入門」(田村
秀行監修、総研出版発行、第75頁〜第76頁)に記載
のものであり、背景差分2値画像から連結した画素を1
つの領域として抽出するものである。
【0026】次にステップST4において、影領域分離
手段5は、動体検出手段4により検出された動体領域か
ら影領域を分離する。このときの影領域分離手段5の動
作を図3のフローチャートに沿って説明する。
【0027】まず、ステップST11において、影領域
分離手段5は、動体領域の幅が所定の幅Wthより大き
いか否かを判定し、動体領域の幅が所定の幅Wthより
大きい場合にはその動体領域に影領域が含まれると判定
し、ステップST12に進む。一方、動体領域の幅が所
定の幅Wth以下である場合にはその動体領域に影領域
が含まれないと判定し、影領域の分離を実行しない。
【0028】次にステップST12において、影領域分
離手段5はその動体領域の背景差分画像の垂直方向のエ
ッジ投影値を計算する。各画素のエッジ強度は、例えば
水平方向(走査線の方向)に隣接する画素値の差分絶対
値として計算される。例えば図5(a)に示す背景差分
画像の動体領域から図5(b)に示す垂直方向のエッジ
投影値が計算される。
【0029】そしてステップST13において、影領域
分離手段5はエッジ投影値から領域分離点を検出する。
例えばエッジ投影値を所定の閾値に基づいて2値化し、
その閾値より大きい場合は値1とし、それ以下の場合は
値0とする。そして2値化したエッジ投影値が1である
領域を物体領域と推定し、0である領域を影領域と推定
し、推定された物体領域と影領域(分割対象領域)との
境界点を領域分離点として検出する。例えば図5(b)
に示す垂直方向のエッジ投影値を図5(c)に示すよう
に2値化すると、領域分離点x0,x1が検出される。
【0030】なお、領域分離点が検出されない場合、す
なわち2値化したエッジ投影値がすべて値0である場合
には、影領域分離手段5は、この動体領域がすべて影領
域であると判断し、動体領域から削除する。
【0031】そしてステップST14において、影領域
分離手段5は、推定した影領域の輪郭部とその輪郭部を
除く領域内部とのエッジ強度比に基づいて、その影領域
が真の影領域であるか否かを判定する。なお、輪郭部と
領域内部の画素は、例えば「画像の処理と認識」(安居
院 猛、長尾 智晴共著、昭晃堂発行、第64頁)に記載
されているように、隣接する8近傍画素の値を調べるこ
とにより区別される。真の影領域の境界部においては、
その外部は日光などの反射により輝度が高く、その内部
では日光などが物体により遮蔽されているため輝度が低
くなるため、輪郭部の輝度変化が大きくなり、逆に、領
域内部の輝度変化は小さくなる。
【0032】そこで、式(2)の判定式を満足する場
合、影領域分離手段5は、推定した影領域が真の影領域
ではないと判定し、この領域については分離を実行しな
い。
【数1】 ここで、Riは輪郭部の各画素iでのエッジ強度であ
り、Ijは領域内部の各画素jでのエッジ強度であり、
Dthは所定の閾値であり、Xは輪郭部における画素の
数であり、Yは領域内部における画素の数である。
【0033】そしてステップST15において、影領域
分離手段5は、検出した物体領域を動体領域として動体
領域情報を更新する。例えば図5に示す場合では、2つ
の動体領域が検出される。
【0034】このようにして動体領域から影領域が分離
され、検出された物体領域が動体領域とされる。
【0035】次に図2に戻り、ステップST5におい
て、動体追跡手段6は、今回(時刻t)の入力画像につ
いての影領域分離手段5により影領域の除かれた動体領
域と前回(時刻t−T)の入力画像についての動体領域
から物体を追跡する。
【0036】なお、このときの追跡方法としては、時刻
t−Tにおいて検出された動体領域の代表点と時刻tに
おいて検出された動体領域の代表点との間を対応づけて
追跡を実行する。なお、代表点としては例えば領域の重
心などが使用され、代表点の対応づけでは、例えば時刻
tの代表点に最も距離が近くかつ距離が所定の範囲内で
ある時刻t−Tの動体領域の代表点を探索し、そのよう
な関係の代表点を有する対応した動体領域を同一動体に
ついての動体領域とする。
【0037】さらに、動体追跡手段6は、対応づけた代
表点の位置から代表点間の距離を計算し、その距離ベク
トルおよび撮影間隔Tから物体の速度Vおよび移動方向
θを例えば式(3)および式(4)に従って計算する。 V=D(O,Ot−T)/T ・・・(3) θ=tan−1(|Ot.x−Ot−T.x| /|Ot.y−Ot−T.y|) ・・・(4) ただし、Oは時刻tにおける物***置であり、Tは時
刻tと時刻t−Tの時間間隔であり、D(a,b)は2
点a,b間のユークリッド距離であり、Ot. は時刻
tにおける物***置のX座標値であり、Ot.yは時刻
tにおける物***置のY座標値である。
【0038】そしてステップST6において、物体判定
手段7は、動体領域情報(動体領域の幅や高さ)および
動体追跡手段6により計算された物体の速度V、移動方
向θなどに基づいて、動体領域の物体が車両、障害物、
人などのいずれかであるかを判定する。具体的には、速
度が所定の閾値以下の場合はその物体は障害物であると
判断し、動体領域の幅および高さが所定の値以上であり
かつ速度が所定の値以上である場合はその物体は車両で
あると判断し、それ以外の場合、その物体は人であると
判定する。
【0039】その後、ステップST7において、背景画
像生成手段2は、入力画像に基づいて背景画像を更新す
る。このとき、背景画像生成手段2は、例えば式(5)
に従って背景画像の各画素の輝度値を更新する。 B(x,y)=B(x,y)+α×{I(x,y)−B(x,y)} ・・・(5) ここでB(x,y)は背景画像の画素(x,y)におけ
る輝度値であり、I(x,y)は入力画像の画素(x,
y)における輝度値であり、αは所定の定数である。
【0040】以上のようにある時点の入力画像に対して
画像処理を実行する。そして、上記動作を一定間隔毎に
実行して物体の追跡などを実行する。例えばビデオレー
ト(30ms毎)に上記処理を実行する。
【0041】なお、上記実施の形態では、速度および移
動方向を入力画像の2次元座標系において計算している
が、例えば透視投影法を用いて2次元座標系から3次元
座標系へ変換して3次元座標系で計算するようにしても
よい。
【0042】また、上記式(2)では、輪郭部と領域内
部とのエッジ強度の比に基づいて真の影領域であるか否
かを判定しているが、エッジ強度を所定の閾値に基づい
て2値化し、輪郭部における値1の画素の数と領域内部
における値1の画素の数との比に真の影領域であるか否
かを判定するようにしてもよい。
【0043】以上のように、この実施の形態1によれ
ば、入力画像から背景画像を生成し、背景画像と入力画
像との差分画像を生成し、背景差分画像より動体領域を
検出し、動体領域から影領域を推定し、動体領域におけ
る各画素の値と近傍の画素の値から各画素のエッジ情報
を検出し、推定した影領域をそのエッジ情報に基づいて
物体領域または真の影領域とし、検出した物体領域に基
づいて動体を追跡するようにしたので、影の影響を抑制
して複数の車両のそれぞれを正確に検出し追跡すること
ができるという効果が得られる。すなわち、移動する車
両の影により複数の車両を誤って1台の車両と判断され
て交通量を誤って計測することを抑制することができ
る。
【0044】実施の形態2.この発明の実施の形態2に
よる交通監視装置は、背景差分画像において推定した影
領域が真の影領域であるか否かを、推定した影領域が一
様な輝度分布を有するか否かに基づいて判定するように
したものである。なお、影領域分離手段5以外の構成要
素については実施の形態1によるものと同様であるの
で、その説明を省略する。
【0045】次に動作について説明する。図6はこの実
施の形態2による交通監視装置における影領域分離手段
5の動作について説明するフローチャートである。
【0046】ステップST21〜ステップST23にお
いては、実施の形態1におけるステップST11〜ステ
ップST13における動作と同様に影領域分離手段5が
動作する。そしてステップST24において、影領域分
離手段5は、推定した物体領域および影領域に基づいて
動体領域を一旦更新する。
【0047】次に、影領域分離手段5は、ステップST
25において、推定した影領域の背景差分画像の平均輝
度A1および分散δを計算し、ステップST26におい
て、推定した影領域の入力画像の平均輝度A2を計算す
る。
【0048】そしてステップST27において、影領域
分離手段5は、計算したA1,A2,δについて式
(6)を満足するか否かを判断する。 δ>δth、かつ、(A2−A1)>Ath ・・・(6) ここでδthは分散δについての所定の閾値であり、A
thは平均輝度についての所定の閾値である。
【0049】式(6)を満足すると判断した場合、影領
域分離手段5は、推定した影領域が一様な輝度分布を有
すると判断し、ステップST28において、その影領域
を、一旦更新した動体領域から削除する。すなわち、真
の影領域では入力画像と背景画像との差分は一様な輝度
分布となり、実際の背景(影のない路面等)に対して輝
度が小さくなるため、そのような真の影領域を一旦更新
した動体領域から削除する。一方、式(6)を満足しな
いと判断した場合、影領域分離手段5は影領域の分離を
終了する。
【0050】なお、その他の動作についての実施の形態
1によるものと同様であるので、その説明を省略する。
【0051】以上のように、この実施の形態2によれ
ば、背景差分画像において推定した影領域が真の影領域
であるか否かを、推定した影領域が一様な輝度分布を有
するか否かに基づいて判定するようにしたので、例えば
風などにより木が揺らされ木漏れ日が物体領域として大
量に検出される場合でも一様な輝度分布となるので、そ
のような領域を動体領域から削除することができ、車両
などの移動体のみを正確に検出することができるという
効果が得られる。また、そのような木漏れ日のような静
止物の影が大量に発生した場合でも、処理量を抑制する
ことができ、装置を低コストで実現することができると
いう効果が得られる。
【0052】実施の形態3.実施の形態1では影領域分
離手段5が影領域の分離位置を動体領域全体について探
索したが、この発明の実施の形態3による交通監視装置
は、車両の進行方向や位置に基づいて影領域の分離位置
を限定するようにしたものである。なお、影領域分離手
段5以外の構成要素については実施の形態1によるもの
と同様であるので、その説明を省略する。
【0053】次に動作について説明する。図7はこの実
施の形態3による交通監視装置における影領域分離手段
5の動作について説明するフローチャートである。
【0054】ステップST31およびステップST32
においては、実施の形態1におけるステップST11お
よびステップST12における動作と同様に影領域分離
手段5が動作する。
【0055】そしてステップST33において、影領域
分離手段5は、各物体の時刻t−Tでの動体速度、進行
方向および位置に基づいて各物体の時刻tの位置を推定
して影領域分離範囲を限定する。このとき、影領域分離
手段5は、例えば時刻tでの物体の重心位置のX座標を
時刻t−Tでの物体の重心位置のX座標とX方向の速度
から計算し、時刻tでの物体の推定重心位置のX座標と
物体の幅から物体が存在すると予測される範囲を計算し
て、その範囲以外の領域においてのみエッジ投影値を計
算する。すなわちその範囲以外の領域に分離位置が限定
される。
【0056】次に、影領域分離手段5は、ステップST
34において、限定した領域におけるエッジ投影値から
領域分離点を検出し、ステップST35において、その
領域分離点に基づいて動体領域情報を更新する。なお、
ステップST31〜ステップST35の処理は、すべて
の動体領域に対して実行される。
【0057】なお、その他の動作については実施の形態
1によるものと同様であるので、その説明を省略する。
【0058】以上のように、この実施の形態3によれ
ば、動体の進行方向、位置および速度に基づいて、動体
領域を複数の分割対象領域に分割する際の分割位置を限
定するようにしたので、より精度よく影領域を分離する
ことができるとともに、処理時間を短縮することがで
き、装置を低コストで実現することができるという効果
が得られる。
【0059】実施の形態4.この発明の実施の形態4に
よる交通監視装置は、推定した影領域が道路端と接触す
る場合、その推定した影領域を物体領域としないように
したものである。なお、影領域分離手段5以外の構成要
素については実施の形態1によるものと同様であるの
で、その説明を省略する。
【0060】次に動作について説明する。図8はこの実
施の形態4による交通監視装置における影領域分離手段
5の動作について説明するフローチャートである。
【0061】ステップST41において、影領域分離手
段5は、前回(時刻t−T)の入力画像について影領域
と推定された領域が道路端と接触する場合、その領域を
真の影領域として、動体検出手段4の処理対象外とす
る。具体的には、前回推定した影領域が予め設定した道
路端に重複する場合、背景差分画像のこの領域における
すべての画素の輝度値を0としてマスクすることによ
り、その領域については背景差分画像生成手段3により
背景差分が計算されないようにする。
【0062】なお、前回(時刻t−T)の入力画像に対
する判定結果に基づいて、道路端に接触する影領域を動
体領域から除外するようにしているが、この領域が一定
時間連続して影領域と判定された場合に動体領域から除
外するようにしてもよい。
【0063】なお、その他の動作については実施の形態
1によるものと同様であるので、その説明を省略する。
【0064】以上のように、この実施の形態4によれ
ば、推定した影領域が道路端と接触する場合、その推定
した影領域を物体領域としないようにしたので、例えば
歩道上などに停止した人物の影を誤って障害物として検
出することを抑制することができるという効果が得られ
る。
【0065】実施の形態5.実施の形態3では影領域分
離手段5が前回の入力画像において検出した動体領域か
ら今回の入力画像における動体領域の位置を推定してエ
ッジ投影範囲を限定するようにしているが、この発明の
実施の形態5による交通監視装置は、前回の入力画像に
おいて検出した影領域の位置から今回の入力画像におけ
る影領域の位置を推定してエッジ投影範囲を限定するよ
うにしたものである。なお、影領域分離手段5以外の構
成要素については実施の形態1によるものと同様である
ので、その説明を省略する。
【0066】次に動作について説明する。図9はこの実
施の形態5による交通監視装置における影領域分離手段
5の動作について説明するフローチャートである。
【0067】ステップST51およびステップST52
においては、実施の形態1におけるステップST11お
よびステップST12における動作と同様に影領域分離
手段5が動作する。
【0068】そしてステップST53において、影領域
分離手段5は、各影領域の時刻t−Tでの速度、進行方
向および位置に基づいて各影領域の時刻tの位置を推定
して影領域分離範囲を限定する。このとき、影領域分離
手段5は、例えば時刻tでの影領域の重心位置のX座標
を時刻t−Tでの影領域の重心位置のX座標とX方向の
速度から計算し、時刻tでの物体の推定重心位置のX座
標と影領域の幅から影領域が存在すると予測される範囲
を計算して、その範囲においてのみエッジ投影値を計算
する。すなわちその範囲に分離位置が限定される。
【0069】次に、影領域分離手段5は、ステップST
54において、限定した領域におけるエッジ投影値から
領域分離点を検出し、ステップST55において、その
領域分離点に基づいて動体領域情報を更新する。なお、
ステップST51〜ステップST55の処理は、すべて
の動体領域に対して実行される。
【0070】なお、その他の動作についての実施の形態
1によるものと同様であるので、その説明を省略する。
【0071】以上のように、この実施の形態5によれ
ば、影領域の進行方向、位置および速度に基づいて、動
体領域を複数の分割対象領域に分割する際の分割位置を
限定するようにしたので、より精度よく影領域を分離す
ることができるとともに、処理時間を短縮することがで
き、装置を低コストで実現することができるという効果
が得られる。また、動体(車両)の進行方向が大きく変
化して動体の幅が変化した場合でも誤って1つの物体を
複数の動体領域に分離することを抑制することができる
という効果が得られる。
【0072】実施の形態6.この発明の実施の形態6に
よる交通監視装置は、動体領域が影領域のみで構成され
るか否かを判定し、影領域だけで構成される動体領域を
削除し、影領域の分離処理を実行しないようにしたもの
である。なお、影領域分離手段5以外の構成要素につい
ては実施の形態1によるものと同様であるので、その説
明を省略する。
【0073】次に動作について説明する。図10はこの
実施の形態6による交通監視装置における影領域分離手
段5の動作について説明するフローチャートである。
【0074】ステップST61では、影領域分離手段5
は、動体検出手段4により検出されたすべての動体領域
に対してステップST62〜ステップST65の処理を
実行したか否かを判断し、すべての動体領域に対してス
テップST62〜ステップST65の処理を実行するま
で、各動体領域に対してステップST62〜ステップS
T65の処理を実行する。
【0075】そして、影領域分離手段5は、ステップS
T62において、各動体領域における入力画像のエッジ
投影値を計算し、ステップST63において、各動体領
域に対応する背景画像のエッジ投影値を計算する。
【0076】次に、影領域分離手段5は、ステップST
64において、式(7)に基づいて各動体領域が影領域
であるか否かを判定する。すなわち、各動体領域におけ
る入力画像のエッジ投影値と背景画像のエッジ投影値と
の間の相違が所定の閾値Kthより小さい場合、その動
体領域が影領域であると判定する。
【数2】 ここで、wは動体領域の幅であり、bjは背景画像の画
素jにおけるエッジ投影値であり、kjは入力画像の画
素jにおけるエッジ投影値であり、kthは所定の閾値
である。
【0077】そして、影領域分離手段5は、動体領域が
影領域であると判定した場合、ステップST65におい
て、その動体領域を削除する。一方、動体領域が影領域
ではないと判定した場合、ステップST61に戻り、す
べての動体領域に対する処理が終了していないときには
次の動体領域に対する処理を実行する。
【0078】なお、その他の動作については実施の形態
1によるものと同様であるので、その説明を省略する。
【0079】以上のように、この実施の形態6によれ
ば、影領域のみで構成される動体領域を除外するように
したので、天候の急変などに起因して道路上に建物など
の影が急に発生した場合に、その影を誤って車両と判定
してしまうことを抑制することができるという効果が得
られる。
【0080】また、木々の影を誤って障害物とみなして
しまう誤警報を抑制できるとともに、木漏れ日のような
静止物の影が大量に発生した場合でも、処理量を抑制す
ることができ、装置を低コストで実現することができる
という効果が得られる。
【0081】
【発明の効果】以上のように、この発明によれば、入力
画像から背景画像を生成し、その背景画像と入力画像と
の差分画像を生成し、背景差分画像より動体領域を検出
し、2値化した場合の画素の値に基づいて動体領域から
分割対象領域を検出し、動体領域における各画素の値と
近傍の画素の値から各画素のエッジ情報を計算し、その
エッジ情報に基づいて各分割対象領域を物体領域または
影領域とし、検出した物体領域に基づいて動体を追跡す
るようにしたので、影の影響を抑制して複数の車両など
の動体のそれぞれを正確に検出し追跡することができる
という効果がある。
【0082】この発明によれば、動体追跡手段による動
体追跡結果に基づいて物体の属性を判定するようにした
ので、動体を追跡するとともに、その種類も識別でき、
その種類に応じた警報の発生などを実行することができ
るという効果がある。
【0083】この発明によれば、2値化した場合に画素
値がゼロである分割対象領域であって、輪郭部のエッジ
情報と領域内部のエッジ情報とが所定の関係である分割
対象領域を影領域とするようにしたので、正確に影領域
を検出することができ、動体を正確に追跡することがで
きるという効果がある。
【0084】この発明によれば、一様な輝度分布である
分割対象領域を影領域とするようにしたので、例えば風
などにより木が揺らされ木漏れ日が物体領域として大量
に検出される場合でも一様な輝度分布となるので、その
ような領域を動体領域から削除することができ、車両な
どの移動体のみを正確に検出することができるという効
果がある。また、そのような木漏れ日のような静止物の
影が大量に発生した場合でも、処理量を抑制することが
でき、装置を低コストで実現することができるという効
果がある。
【0085】この発明によれば、動体の進行方向、位置
および速度に基づいて、動体領域を複数の分割対象領域
に分割する際の分割位置を限定するようにしたので、よ
り精度よく影領域を分離することができるとともに、処
理時間を短縮することができ、装置を低コストで実現す
ることができるという効果がある。
【0086】この発明によれば、前回の入力画像から検
出した影領域の位置から現入力画像における影領域の位
置を推定し、その位置に対応する領域においてのみ影領
域の分離を実行するようにしたので、より精度よく影領
域を分離することができるとともに、処理時間を短縮す
ることができ、装置を低コストで実現することができる
という効果がある。また、動体(車両)の進行方向が大
きく変化して動体の幅が変化した場合でも誤って1つの
物体を複数の動体領域に分離することを抑制することが
できるという効果がある。
【0087】この発明によれば、分割対象領域が道路端
と接触する場合、その分割対象領域を物体領域としない
ようにしたので、例えば歩道上などに停止した人物の影
を誤って障害物として検出することを抑制することがで
きるという効果がある。
【0088】この発明によれば、影領域のみで構成され
る動体領域を除外するようにしたので、天候の急変など
に起因して道路上に急に建物などの影が発生した場合
に、その影を誤って車両と判定してしまうことを抑制す
ることができるという効果がある。また、木々の影を誤
って障害物とみなしてしまう誤警報を抑制できるととも
に、木漏れ日のような静止物の影が大量に発生した場合
でも、処理量を抑制することができ、装置を低コストで
実現することができるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による交通監視装置
の構成を示すブロック図である。
【図2】 この発明の実施の形態1による交通監視装置
の動作を説明するフローチャートである。
【図3】 影領域分離手段の動作を説明するフローチャ
ートである。
【図4】 入力画像の例を示す図である。
【図5】 動体領域、その動体領域におけるエッジ強度
を垂直方向に加算したヒストグラム、およびそのヒスト
グラムを2値化したものの一例を示す図である。
【図6】 この実施の形態2による交通監視装置におけ
る影領域分離手段の動作について説明するフローチャー
トである。
【図7】 この実施の形態3による交通監視装置におけ
る影領域分離手段の動作について説明するフローチャー
トである。
【図8】 この実施の形態4による交通監視装置におけ
る影領域分離手段の動作について説明するフローチャー
トである。
【図9】 この実施の形態5による交通監視装置におけ
る影領域分離手段の動作について説明するフローチャー
トである。
【図10】 この実施の形態6による交通監視装置にお
ける影領域分離手段の動作について説明するフローチャ
ートである。
【図11】 従来の交通監視方法について説明するフロ
ーチャートである。
【図12】 従来の交通監視方法における画像処理を説
明する図である。
【符号の説明】
2 背景画像生成手段、3 背景差分画像生成手段、4
動体検出手段、5影領域分離手段、6 動体追跡手
段、7 物体判定手段。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA16 DA12 DB08 DB09 DC16 DC23 DC32 5C054 FC01 FC05 FC12 FC13 FC14 FC15 GB12 HA18 HA26 5H180 AA01 CC04 5L096 AA06 AA07 BA02 CA02 EA43 FA06 FA37 FA46 GA07 GA08 HA03 HA13

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 入力画像から背景画像を生成する背景画
    像生成手段と、 前記背景画像と前記入力画像との差分画像を生成する背
    景差分画像生成手段と、 前記背景差分画像より動体領域を検出する動体検出手段
    と、 2値化した場合の画素の値に基づいて前記動体領域から
    物体領域または影領域の候補である分割対象領域を検出
    し、前記動体領域における各画素の値と近傍の画素の値
    から各画素のエッジ情報を計算し、そのエッジ情報に基
    づいて各分割対象領域を物体領域または影領域とする影
    領域分離手段と、 前記影領域分離手段により検出された物体領域に基づい
    て動体を追跡する動体追跡手段とを備えた交通監視装
    置。
  2. 【請求項2】 動体追跡手段による動体追跡結果に基づ
    いて物体の属性を判定する物体判定手段を備えることを
    特徴とする請求項1記載の交通監視装置。
  3. 【請求項3】 影領域分離手段は、2値化した場合に画
    素値がゼロである分割対象領域であって、輪郭部のエッ
    ジ情報と前記輪郭部を除いた領域内部のエッジ情報とが
    所定の関係である分割対象領域を影領域とすることを特
    徴とする請求項1記載の交通監視装置。
  4. 【請求項4】 影領域分離手段は、一様な輝度分布であ
    る分割対象領域を影領域とすることを特徴とする請求項
    1記載の交通監視装置。
  5. 【請求項5】 影領域分離手段は、動体の進行方向、位
    置および速度に基づいて、動体領域を複数の分割対象領
    域に分割する際の分割位置を限定することを特徴とする
    請求項1から請求項4のうちのいずれか1項記載の交通
    監視装置。
  6. 【請求項6】 影領域分離手段は、前回の入力画像から
    検出した影領域の位置から現入力画像における影領域の
    位置を推定し、その位置に対応する領域においてのみ影
    領域の分離を実行することを特徴とする請求項1から請
    求項4のうちのいずれか1項記載の交通監視装置。
  7. 【請求項7】 影領域分離手段は、分割対象領域が道路
    端と接触する場合、その分割対象領域を物体領域としな
    いことを特徴とする請求項1から請求項6のうちのいず
    れか1項記載の交通監視装置。
  8. 【請求項8】 影領域分離手段は、影領域のみで構成さ
    れる動体領域を除外することを特徴とする請求項1から
    請求項7のうちのいずれか1項記載の交通監視装置。
  9. 【請求項9】 入力画像から背景画像を生成するステッ
    プと、 前記背景画像と前記入力画像との差分画像を生成するス
    テップと、 前記背景差分画像より動体領域を検出するステップと、 2値化した場合の画素の値に基づいて前記動体領域から
    物体領域または影領域の候補である分割対象領域を検出
    し、前記動体領域における各画素の値と近傍の画素の値
    から各画素のエッジ情報を計算し、そのエッジ情報に基
    づいて各分割対象領域を物体領域または影領域とするス
    テップと、 検出した物体領域に基づいて動体を追跡するステップと
    を備えた交通監視方法。
JP2000168025A 2000-06-05 2000-06-05 交通監視装置および交通監視方法 Pending JP2001351107A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000168025A JP2001351107A (ja) 2000-06-05 2000-06-05 交通監視装置および交通監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000168025A JP2001351107A (ja) 2000-06-05 2000-06-05 交通監視装置および交通監視方法

Publications (1)

Publication Number Publication Date
JP2001351107A true JP2001351107A (ja) 2001-12-21

Family

ID=18671094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000168025A Pending JP2001351107A (ja) 2000-06-05 2000-06-05 交通監視装置および交通監視方法

Country Status (1)

Country Link
JP (1) JP2001351107A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362265A (ja) * 2003-06-04 2004-12-24 Honda Motor Co Ltd 赤外線画像認識装置
JP2007094919A (ja) * 2005-09-30 2007-04-12 Mitsubishi Electric Corp 交通流計測装置
KR100751467B1 (ko) * 2003-03-03 2007-08-23 마츠시다 덴코 가부시키가이샤 움직이는 타겟의 윤곽을 검지하는 화상 처리 장치 및 그방법
JP2008245063A (ja) * 2007-03-28 2008-10-09 Saxa Inc 画像処理装置
JP2008299591A (ja) * 2007-05-31 2008-12-11 Secom Co Ltd 画像処理装置
JP2011175663A (ja) * 2011-04-22 2011-09-08 Casio Computer Co Ltd 撮像装置、画像処理方法及びプログラム
CN101399968B (zh) * 2007-09-29 2012-07-18 三星电子株式会社 单色监视相机中阴影和高光检测方法
US8755634B2 (en) 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
JP2014149776A (ja) * 2013-02-04 2014-08-21 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
JP2015090679A (ja) * 2013-11-07 2015-05-11 国立大学法人京都大学 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
KR100751467B1 (ko) * 2003-03-03 2007-08-23 마츠시다 덴코 가부시키가이샤 움직이는 타겟의 윤곽을 검지하는 화상 처리 장치 및 그방법
JP2004362265A (ja) * 2003-06-04 2004-12-24 Honda Motor Co Ltd 赤外線画像認識装置
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
JP4668754B2 (ja) * 2005-09-30 2011-04-13 三菱電機株式会社 交通流計測装置
JP2007094919A (ja) * 2005-09-30 2007-04-12 Mitsubishi Electric Corp 交通流計測装置
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
JP2008245063A (ja) * 2007-03-28 2008-10-09 Saxa Inc 画像処理装置
JP2008299591A (ja) * 2007-05-31 2008-12-11 Secom Co Ltd 画像処理装置
CN101399968B (zh) * 2007-09-29 2012-07-18 三星电子株式会社 单色监视相机中阴影和高光检测方法
US8755634B2 (en) 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
JP2011175663A (ja) * 2011-04-22 2011-09-08 Casio Computer Co Ltd 撮像装置、画像処理方法及びプログラム
JP2014149776A (ja) * 2013-02-04 2014-08-21 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
JP2015090679A (ja) * 2013-11-07 2015-05-11 国立大学法人京都大学 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム

Similar Documents

Publication Publication Date Title
Gilroy et al. Overcoming occlusion in the automotive environment—A review
CN108052880B (zh) 交通监控场景虚实车道线检测方法
Alvarez et al. Combining priors, appearance, and context for road detection
Yenikaya et al. Keeping the vehicle on the road: A survey on on-road lane detection systems
JP2001351107A (ja) 交通監視装置および交通監視方法
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
Haque et al. A computer vision based lane detection approach
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
EP2951783B1 (en) Method and system for detecting moving objects
JP2010244194A (ja) 物体識別装置
Santoro et al. Crowd analysis by using optical flow and density based clustering
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
Xia et al. Vehicles overtaking detection using RGB-D data
Chen et al. Multi-lane detection and tracking using temporal-spatial model and particle filtering
Kim Vehicle detection and speed estimation for automated traffic surveillance systems at nighttime
Ghahremannezhad et al. Automatic road detection in traffic videos
JPH10255057A (ja) 移動物体抽出装置
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
Yoon et al. Thermal-infrared based drivable region detection
KR20200087296A (ko) 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템
Lee et al. A cumulative distribution function of edge direction for road-lane detection
KR101478072B1 (ko) 차량 검출 방법
CN109740558B (zh) 一种基于改进光流法的移动目标检测方法
Xia et al. An automobile detection algorithm development for automated emergency braking system