JP3853574B2 - 移動体検出システム - Google Patents
移動体検出システム Download PDFInfo
- Publication number
- JP3853574B2 JP3853574B2 JP2000182085A JP2000182085A JP3853574B2 JP 3853574 B2 JP3853574 B2 JP 3853574B2 JP 2000182085 A JP2000182085 A JP 2000182085A JP 2000182085 A JP2000182085 A JP 2000182085A JP 3853574 B2 JP3853574 B2 JP 3853574B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- vehicle
- background image
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
この発明は撮像手段で捉えた画像に基づいて移動体を検出する移動体検出システムに係り、特に夜間やトンネル内であったとしても好適に移動体を検出することができる移動体検出システムに関するものである。
【0002】
【従来の技術】
図18は特開平9−81888号公報に開示された従来の移動体検出システムの構成を示すシステム構成図である。図において、38は撮像カメラ、39は画像を記憶する画像入力手段、40は画像処理手段である。
【0003】
図19は当該撮像カメラ38で撮像した画像の一例である。図において、41は撮像画像、42は道路左側端部、43は道路右側端部、44はセンターライン、45は車両、46は移動体検出領域、47は検出領域、48は計測領域、49は移動体移動速度判別領域である。そして、当該車両45は道路のセンターライン44に沿って移動する。
【0004】
次に動作について説明する。
撮像カメラ38が撮像した画像が画像入力手段39に記憶されると、画像処理手段40はこの撮像画像に対して車両45の検出処理を行う。まず、移動体検出領域46における輝度変化を判定し、図19に示すように輝度が変化した検出領域47が生じたら車両検出と判断する。更にこの検出領域47の移動体検出領域46に対する割合に基づいて車両45のサイズ、例えば大型車や小型車などの判定を行う。また、小型車と判定している状態において計測領域48においても同時に輝度変化が生じた場合には、小型車が連続して走行していると判断する。更に、連続する複数の撮像画像の移動体移動速度判別領域49の画像を解析し、それぞれの撮像画像において各車両45の後方路面に生じる陰を検出し、これら複数の影の位置変化に基づいて各車両の移動速度を検出する。
【0005】
【発明が解決しようとする課題】
従来の移動体検出システムは以上のように構成されているので、画像の輝度そのものを比較に用いており、車両45のヘッドライトの光などによって撮像画像に輝度変化が生じると、これを誤って車両45などの移動体による輝度変化として捉えてしまうなどの課題があった。
【0006】
特に、当該従来の移動体検出システムでは、輝度が変化した領域の大きさに基づいて車両45の大きさを判定したり、車両45の後方に生じる影の画像上の位置の変化に基づいて車両45の移動速度を検出したりしているので、上記ヘッドライトの光による輝度変化、太陽や雲の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けやすいなどの課題もある。
【0007】
この発明は上記のような課題を解決するためになされたもので、車両のヘッドライトの光などによる撮像画像の輝度変化があったとしても、この輝度変化に影響されることなく移動体を好適に検出することができる移動体検出システムを得ることを目的とする。
【0008】
【課題を解決するための手段】
この発明に係る移動体検出システムは、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるものである。
【0009】
この発明に係る移動体検出システムは、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたものである。
【0010】
この発明に係る移動体検出システムは、移動体の移動方向に沿った方向に対して0度あるいは90度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたものである。
【0011】
この発明に係る移動体検出システムは、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたものである。
【0012】
この発明に係る移動体検出システムは、移動体の1乃至複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたものである。
【0013】
この発明に係る移動体検出システムは、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものである。
【0014】
この発明に係る移動体検出システムは、撮像手段から出力された撮像画像を2つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するものである。
【0015】
この発明に係る移動体検出システムは、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの1つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するものである。
【0016】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1はこの発明の実施の形態1による移動体検出システムの構成を示すシステム構成図である。この移動体検出システムは道路上を走行する自動車の交通量や移動速度を検出するために用いられるものである。図において、1は所定の監視空間を一定の周期にて撮像してデジタル方式の撮像画像を出力する監視用ITV(産業用テレビジョン)カメラ(撮像手段)、2はこの撮像画像が入力され、この撮像画像に基づいて各種の処理を行う画像処理ユニット、3はこの画像処理ユニット2の処理結果や撮像画像などが入力される車両監視センタである。
【0017】
画像処理ユニット2において、4は監視用ITVカメラ1から入力された撮像画像を記憶する撮像画像記憶手段、5は監視用ITVカメラ1が過去に撮像した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段、6は撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力する車両検出手段(画像差演算手段、判定手段)である。
【0018】
図2はこの発明の実施の形態1による監視用ITVカメラ1の撮像画像の一例を示す説明図である。図において、7は撮像画像、8は道路左側端部、9は道路右側端部、10はセンターライン、11は車両、12は移動体検出領域、13は検出領域である。そして、当該車両11は道路のセンターライン10に沿ってその左側を矢印の方向に移動するものとし、監視用ITVカメラ1は道路を斜め上方から(車両11の移動方向が水平方向である場合には0度よりも大きく且つ90度よりも小さい俯角にて)撮像していることになる。なお、上記移動体検出領域12は撮像画像7の車両11が撮像空間に進入する側に設定されている。
【0019】
次に動作について説明する。
監視用ITVカメラ1から撮像画像が出力されると、この撮像画像は撮像画像記憶手段4に一旦記憶される。また、背景画像記憶手段5には図2に示す監視空間に車両11が存在しない状況の背景画像が予め格納されている。この背景画像としては、実際に車両11が存在しない状況の撮像画像をそのまま用いても、車両11が存在する状況の撮像画像から当該車両11を削除するように加工したものを用いてもよい。
【0020】
このように撮像画像記憶手段4に撮像画像が記憶されると、車両検出手段6は図3に示すフローチャートに従って車両11の検出判定を行い、その判定結果と撮像画像とを車両監視センタ3に送信する。図において、ST1は撮像画像および背景画像のそれぞれについて画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれの移動体検出領域12全体に渡って加算し、更にその加算値の差を画像差信号として演算する未検出時演算ステップ、ST2はこの画像差信号の値が所定の閾値A1よりも大きいか否か判定する検出判定ステップ、ST3はこの車両11の検出結果を出力する検出判定出力ステップ、ST4は未検出時演算ステップST1と同様の処理により画像差信号を演算する検出時演算ステップ、ST5はこの画像差信号の値が所定の閾値A2よりも小さいか否か判定する未検出判定ステップ、ST6はこの車両11の検出結果を出力する未検出判定出力ステップである。従って、車両11が撮像されている場合にはその期間において車両検出を意味する処理結果が出力され続けることになる。
【0021】
図4はこの発明の実施の形態1による相対輝度差演算処理を説明するための説明図である。図において、(a)は横方向エッジ検出フィルタ、(b)は縦方向エッジ検出フィルタ、(c)は画像例である。これらの図において、各枡は各画素に相当し、(a),(b)において各枡の中に記載された数値は重み付け係数であり、また、その中央に相当する画素が注目画素となる。(c)において各枡の中に記載された値は各画素の輝度(値が大きいほど白くなる0から255までの数値)である。ちなみに、(c)に示す画像はその右半分が白っぽく、左半分が黒っぽい画像であり、それらの領域の境界となる画像のエッジが縦に存在している。なお、同図に示す横方向エッジ検出フィルタおよび縦方向エッジ検出フィルタは一例であり、同等のエッジ検出機能をもつ手段であれば他の手段(他のフィルタ)を用いてもよい。
【0022】
このような(c)の画素群14に対して例えば(a)の横方向エッジ検出フィルタを適用した場合、その演算式は下記式1となり注目画素の横方向エッジ強度として「248」という値が得られる。同様に、(c)の画素群14に対して(b)の縦方向エッジ検出フィルタを適用した場合、その演算式は下記式2となり注目画素の縦方向エッジ強度として「590」という値が得られる。また、当該注目画素の相対輝度差は下記式3により求められ「838」という値になる。
【0023】
同様に画素群15については、下記式4に基づいて注目画素の横方向エッジ強度は「26」、下記式5に基づいて注目画素の縦方向エッジ強度は「8」、下記式6に基づいて相対輝度差は「34」となる。この2つの注目画素と画像全体の輝度値のバランスとを比較すれば明らかなように、この相対輝度差は車両11や車両11と道路との境などの画像のエッジ部分で値が大きくなり、道路面などの模様が無いのっぺりした部分においては値が小さくなる傾向にある。
【0024】
そして、上記車両検出手段6は、この画素毎の相対輝度差をそれぞれの移動体検出領域12全体に渡って加算し、その加算値の差が所定の閾値よりも大きい場合には車両検出と判定して出力する。従って、例えば車両11が進入してその結果幾つかの画素においてこの相対輝度差が大きくなり、その累積値が所定の閾値を超えればこれを検出することができる。
【0025】
逆に、逆方向から向かってくる車両11のヘッドライトの光などにより撮像画像の一部が明るくなってしまったような場合には、その画像部分および周辺がなだらかに明るくなるので、各画素の相対輝度差は比較的小さな値となり、それを上記移動体検出領域12全体に渡って累積したとしても閾値を超えてしまうことはなく、車両11のヘッドライトの光などを誤って車両11として判定してしまうことはない。
【0026】
【0027】
以上のように、この実施の形態1によれば、撮像画像と背景画像とを比較して車両11を検出するに当たって車両検出手段6は、撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力するので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになり、車両11のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく車両11を好適に検出することができる効果がある。
【0028】
実施の形態2.
図5はこの発明の実施の形態2による移動体検出システムの構成を示すシステム構成図である。図において、16は車両検出手段6が車両非検出と判定したタイミングの撮像画像を用いて車両11の画像を特徴点として抽出するとともにその特徴点の路面からの高さを判定する車両判定手段(特徴点抽出手段、サイズ判定手段)である。なお、この特徴点としては例えば、2つのテールランプ、昼間屋外のナンバープレートなどが挙げられる。
【0029】
図6はこの発明の実施の形態2による監視用ITVカメラ1の撮像画像の一例を示す説明図である。図において、(a)は時刻t(0)での撮像画像、(b)は時刻t(1)(=t(0)+Δt:但しΔtは監視用ITVカメラ1の撮像周期1周期分)での撮像画像、17は移動体検出領域12の上(車両11の進行方向下流側)に隣接する位置に設定された移動体判定領域、18は移動体検出領域12の車両移動方向下流側端辺、19はそれぞれ車両11のテールランプである。これ以外の構成は実施の形態1と同様であり説明を省略する。
【0030】
次に動作について説明する。
図6(a)に示す撮像画像では車両検出手段6から車両検出を意味する処理結果が出力され、これが同図(b)に示す撮像画像に変化すると、車両検出手段6から出力される処理結果は車両検出から車両非検出に変化する。車両判定手段16は、この車両検出手段6の出力の処理結果が車両非検出に変化したタイミングの撮像画像(図6(b))の移動体判定領域17を用いて、車両11の特徴点を抽出するとともにその特徴点の路面からの高さを判定する。
【0031】
図7はこの発明の実施の形態2による車両判定手段16の処理を示すフローチャートである。図において、ST7は撮像画像を構成する各画素がマトリックス状に配列されていることを前提として、移動体判定領域17内の各画素の相対輝度差および背景画像のものとの輝度変化値(=判定に用いる撮像画像における輝度−背景画像における輝度)を各列毎に累積加算する列別累積加算ステップ、ST8は各列の累積加算値が周囲の列よりも特に大きい列のまとまり(1乃至複数)を抽出する列抽出ステップ、ST9は当該各組の列のまとまりそれぞれについてそれぞれの範囲内において現画像に戻って相対輝度差が他の部分よりも高い画素のまとまり(以下小領域と呼ぶ)をテンプレートとして切出す切出ステップ、ST10は当該小領域と移動体検出領域12との撮像画像上の距離に基づいて当該特徴点の路面からの高さを特定する高さ判定ステップである。
【0032】
そして、このような処理では、累積加算値が大きくなる列において、更にその他の画素よりも相対輝度差が大きい画素の集まりが小領域として抽出されることになり、この実施の形態2のように車両11をその後方から撮像した場合、最も撮像輝度が明るくなる例えばテールランプなどについてその輪郭に沿った形状の小領域を抽出することができる。
【0033】
図8はこの発明の実施の形態2による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。同図(a)は図6(b)と同じ画像、同図(b)はそのときの輝度変化値の列毎の累積加算値グラフである。同図(b)において横軸は画像上の列、縦軸は累積加算値である。そして、同図に示すように、車両を後方から撮像した場合に移動体判定領域17の各列毎の累積加算値は画像の2つのテールランプを含む列の輝度が他の列の輝度よりも相対的に高くなっており、図7においはこの性質を利用して車両の特徴点を抽出している。また、同図に示すように、輝度変化値の累積加算値が生じる(0よりも大きい値をとる)列の範囲は車両の車幅とほぼ一致する。従って、この累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【0034】
また、図9はこの小領域と移動体検出領域12との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。撮像画像としては図6(b)の撮像画像が相当する。図において、20は車両11が走行する路面、21は撮像画像においては車両移動方向下流側端辺18となる視野方向、22は特徴点(テールランプ19)の視野方向、23は移動体検出領域12に相当する路面位置である。
【0035】
そして、同図に示すように図6(b)の撮像タイミングは車両11の後端が路面位置23を通過しきったタイミングに相当し、このタイミングにおいては車両移動方向下流側端辺18の真上に特徴点(テールランプ19)が位置すると考えることができる。従って、撮像画像上における車両移動方向下流側端辺18と特徴点(テールランプ19)との距離を角度θに変換し、そのθに基づいて特徴点の路面20からの高さhを求めることができる。これ以外の動作は実施の形態1と同様であり説明を省略する。
【0036】
以上のように、この実施の形態2によれば、一方向に沿って移動する車両11を監視用ITVカメラ1にて撮像し、車両判定手段16が移動体検出領域12を車両11が通過したタイミングの撮像画像を用いて車両11の後方の最も輝度が高くなる小領域、すなわちテールランプ19などを特徴点として抽出しているので、移動体判定領域17に確実に車両11が存在する状態で特徴点抽出処理を行うことができ、確実に車両11の特徴点を抽出することができる効果がある。
【0037】
この実施の形態2によれば、車両11の移動方向に沿った方向に対して、0度あるいは90度以外の角度にて撮像するように監視用ITVカメラ1を設置するとともに、車両判定手段16が抽出した特徴点と移動体検出領域12の車両移動方向下流側端辺18との画像上の距離に基づいて特徴点の路面20からの高さを判定するので、車両11の特徴点(テールランプ19)の高さに基づいて車両11のサイズを判定することができる。また、累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【0038】
実施の形態3.
図10はこの発明の実施の形態3による移動体検出システムの構成を示すシステム構成図である。図において、24は撮像画像記憶手段4が記憶する撮像画像が入力され、これに基づいて背景画像を生成して背景画像記憶手段5へ出力する背景画像生成部である。
【0039】
図11はこの発明の実施の形態3による背景画像生成部24の構成を示すシステム構成図である。図において、25は上記撮像画像記憶手段4からの撮像画像を最新画像として記憶する最新画像バッファ(撮像画像記憶手段)、26はこの最新画像バッファ25が1つ前に出力した画像(1フレーム前の画像)を直前画像として記憶する直前画像バッファ(撮像画像記憶手段)、27はこの最新画像と直前画像とが入力され、各画素毎にこれら2つの画像の輝度差が所定の閾値よりも低いか否かを判定し、当該閾値よりも輝度差が小さくなっている期間を示す輝度安定性情報を出力する安定度判定手段、28は背景画像記憶手段5に記憶されている背景画像のコピーを記憶するコピー記憶手段、29は上記輝度安定性情報に示される期間が所定の期間以上となると、各画素毎の輝度安定性情報をリセットするとともに当該画素の背景画像における輝度値を最新画像の輝度値に置き換える背景画像生成手段である。これ以外の構成は実施の形態2と同様であり説明を省略する。
【0040】
次に動作について説明する。
撮像画像記憶手段4に監視用ITVカメラ1から出力された最新の撮像画像が記憶されると、最新画像バッファ25にも同一の画像が記憶され、直前画像バッファ26には当該最新画像バッファ25が直前に記憶していた直前画像が記憶される。なお、この実施の形態3では、これらバッファの画像の記憶周期は監視用ITVカメラ1から出力される撮像画像の出力周期と同一として説明するが、撮像画像を適当に間引くような記憶周期であってもよい。また、背景画像記憶手段5およびコピー記憶手段28には同一の背景画像が記憶されているものとする。
【0041】
図12はこのように最新画像バッファ25および直前画像バッファ26に撮像時間が相前後する2つの撮像画像が記憶された状態で実施される背景画像更新処理を示すフローチャートである。図において、ST11は安定度判定手段27が撮像画像において或る座標(画素)について最新画像における輝度と直前画像における輝度との輝度差が所定の判定値よりも小さいか否かを判定する輝度差判定ステップ、ST12は安定度判定手段27が輝度安定性情報に含まれる期間に「1」加える期間加算ステップ、ST13は安定度判定手段27が輝度安定性情報に含まれる期間を「0」にリセットする期間リセットステップ、ST14は背景画像生成手段29がこの期間が所定の安定度判定期間よりも長いか否かを判定する安定期間判断ステップ、ST15は背景画像生成手段29が背景画像の上記座標(画素)の輝度を最新画像の輝度に変更する輝度更新ステップ、ST16は背景画像生成手段29が背景画像の上記座標(画素)の輝度をそのままとする輝度未更新ステップ、ST17は背景画像の全ての座標(画素)に対して当該処理を繰り返し実行させる繰返制御ステップである。
【0042】
そして、全ての画素について当該処理が完了したら、背景画像記憶手段5には新たな背景画像が記憶されることになり、コピー記憶手段28にはこの新たな背景画像がコピー記憶されることになる。これ以外の動作は実施の形態3と同様であり説明を省略する。
【0043】
以上のように、この実施の形態3によれば、最新画像バッファ25および直前画像バッファ26に時間的に相前後する2つの撮像画像を記憶すると共に、安定度判定手段27が各画素毎に輝度変化量に基づいて安定度を判定し、更に、この安定と判定される期間が所定の期間以上であれば背景画像生成手段29が新たな背景画像を生成するので、背景画像を更新することができる。しかも、所定の期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、車両11などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれを画像から削除することができるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて24時間365日の監視を行うことができる。
【0044】
この実施の形態3によれば、背景画像記憶手段5の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段28を設け、背景画像生成手段29は、安定度判定情報に基づいて各画素毎に最新画像の輝度と背景画像の輝度とのうちから一方を選択し、これを組み合わせることで新たな背景画像を生成するので、撮像画像や現在の背景画像自体に車両11などが含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合や従来の背景画像更新処理に比べても背景画像に含まれる車両11などを誤って検出してしまうことを抑制することができる効果がある。
【0045】
実施の形態4.
図13はこの発明の実施の形態4による移動体検出システムの構成を示すシステム構成図である。図において、30は車両判定手段16と同様の処理をして車両11の特徴点およびその路面20からの高さを求めた後に更に、それ以降の撮像画像に対して当該特徴点に基づく車両追跡処理を行う車両追跡手段(特徴点抽出手段、サイズ判定手段、追跡手段)である。これ以外の構成は実施の形態3と同様であり説明を省略する。
【0046】
次に動作について説明する。
図14はこの発明の実施の形態4による車両追跡手段30の処理を示すフローチャートである。図において、ST18はそれ以降の撮像画像に対しても列別累積加算ステップST7から切出ステップST9までの処理を行うと共にその結果得られた各小領域とテンプレートとを比較して例えば相似形状であると推定されるなどのマッチング判定により車両11の移動先判定を行う移動先判定ステップ、ST19は相前後する撮像画像において同一のテンプレートにマッチングすると判定された小領域の画像上の位置変化に基づいて当該画像間における車両11の移動速度を判定する移動速度判定ステップである。そして、この移動速度情報は特徴点の路面20からの高さ情報などと共に車両監視センタ3へ出力される。
【0047】
また、移動速度は例えば以下の手順にて求めることができる。まず、各画像における小領域の撮像位置と車両11の高さ情報とを用いて当該車両11の後部のそれぞれの撮像タイミングにおける路面20上の位置を特定する。次に当該2つの撮像画像における車両後部の位置同士の差を移動距離として求め、更に当該2つの画像の撮像時間間隔(これは監視用ITVカメラ1の撮像周期に基づいて予め特定できる)で除算することで移動速度を求めることができる。これ以外の動作は実施の形態3と同様であり説明を省略する。
【0048】
そして、このように車両11の移動を特徴点の移動として捕捉するとともに、その特徴点の路面20からの高さを予め特定しておくことで、速度演算に用いる2つの画像における当該車両11の路面20上の位置を精度良く特定することができるので、車両11の移動速度を精度良く求めることができる。
【0049】
また、このように特徴点を抽出しているので、従来のように影の発生状態変化などの影響を受けてしまうことなく確実に車両11の移動を捕捉することができ、しかも、車両11が横方向に移動したとしてもその移動距離を確実に捕捉することができる。
【0050】
更に、車両11を後方から捕らえると共に輝度が高い部分を特徴点として抽出しているので、車両11の後部に必ず2つ設けられているテールランプ19,19を特徴点として抽出することができる。このように少なくとも2つの特徴点を抽出することができるので、そのうちの一つの特徴点が例え支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいてパターンマッチング判定を行い、車両11を継続して追跡することができる効果がある。
【0051】
従って、この特徴点の画像上の位置変化に基づく車両11の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、車両11の移動距離や移動速度を精度良く得ることができる効果がある。
【0052】
実施の形態5.
図15はこの発明の実施の形態5による移動体検出システムの構成を示すシステム構成図である。図において、31は実施の形態4の車両追跡手段30と同様の処理を行った後更に、テンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する車両追跡手段(特徴点抽出手段、サイズ判定手段、追跡手段、推定手段)である。これ以外の構成は実施の形態4と同様であり説明を省略する。
【0053】
次に動作について説明する。
図16はこの発明の実施の形態5による車両追跡手段31の処理を示すフローチャートである。図において、ST20はテンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する推定ステップである。そして、この推定した小領域の推定位置情報は他のマッチングが得られた小領域の情報とともに車両監視センタ3へ出力される。
【0054】
また、小領域の位置推定は例えば以下の手順にて求めることができる。マッチすると判定された他の特徴点がある場合には、例えば他の特徴点に基づいて得られた車両11の後部位置情報に基づいて当該位置における撮像画像上の特徴点同士の位置関係(間隔)を演算し、次にその位置関係(間隔)、車両後部の位置情報、特徴点の高さ情報などを用いて当該特徴点の位置を推定すれば良い。また、マッチすると判定された特徴点が1つも無いような場合においては、それ以前の撮像画像における特徴点の位置変化、それに基づいて得られた車両11の移動速度などの情報を用いて例えば車両11はこれらの画像間においては直線的に移動しているなどの推定条件の下で今回の撮像画像における車両11の路面上の位置を推定し、その位置における各特徴点の位置を更に推定すれば良い。これ以外の動作は実施の形態4と同様であり説明を省略する。
【0055】
以上のように、この実施の形態5によれば、テンプレートマッチング判定においてマッチすると判定されなかった特徴点について、車両追跡手段31がそのテンプレートに一致するであろう小領域の位置を推定するので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、その後の撮像画像に対しても継続して追跡することができる効果がある。
【0056】
なお、以上の実施の形態では、背景画像を生成するに当たり各画素毎に当該画素の撮像画像における輝度安定性を判定し、所定の期間以上にわたって安定状態にある輝度を用いて更新しているが、他にも、図17に示すようなやり方で背景画像を生成しても良い。同図において、32は最新の撮像画像、33は背景画像、34はそれぞれ瞬時的な変化が生じている部分、35は差分画像、36は反転二値化画像、37は新しい背景画像である。そして、同図においては、まず、最新の撮像画像32と背景画像33との差分画像35を生成し、この差分画像35を所定の閾値に基づいて二値化し更に反転して反転二値化画像36を生成し、更に、最新の撮像画像32や背景画像33とともにこの反転二値化画像36を用いて新しい背景画像37を生成するものである。
【0057】
但し、この背景画像の生成方法では同図に示すように、車両11などの移動体や車両11のヘッドライトの光などによって瞬時的な輝度変化が生じている部分が背景画像に残ってしまうので、以上の実施の形態に示すように輝度が安定していると判断された輝度のみを順次各画素に適用する更新方法の方が、この瞬時的な輝度変化を取り除いたより適した背景画像を生成することができる効果がある。
【0058】
【発明の効果】
以上のように、この発明によれば、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになる。従って、車両のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく移動体を好適に検出することができる効果がある。
【0059】
この発明によれば、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたので、上記移動体判定領域に移動体が存在する状態で特徴点抽出処理を行うことができ、確実に移動体の特徴点を抽出することができる効果がある。
【0060】
この発明によれば、移動体の移動方向に沿った方向に対して0度あるいは90度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたので、移動体のサイズに基づいて移動体の種類などを判別することができる効果がある。
【0061】
この発明によれば、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたので、1つの特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいて移動体を継続して追跡することができる効果がある。
【0062】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【0063】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【0064】
この発明によれば、移動体の1乃至複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、継続して追跡することができる効果がある。
【0065】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【0066】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【0067】
そして、例えば、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものであればよい。
【0068】
この発明によれば、撮像手段から出力された撮像画像を2つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するので、背景画像を逐次更新することができる。
【0069】
しかも、所定の回数に相当する期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、移動体などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれが更新されるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて24時間365日の監視を行うことができる。
【0070】
この発明によれば、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの1つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するので、撮像画像や現在の背景画像に移動体が含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合に比べて背景画像に含まれる移動体を誤って検出してしまうことを抑制することができる効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による移動体検出システムの構成を示すシステム構成図である。
【図2】 この発明の実施の形態1による監視用ITVカメラの撮像画像の一例を示す説明図である。
【図3】 この発明の実施の形態1による両検出フローを示すフローチャートである。
【図4】 この発明の実施の形態1による相対輝度差演算処理を説明するための説明図である。
【図5】 この発明の実施の形態2による移動体検出システムの構成を示すシステム構成図である。
【図6】 この発明の実施の形態2による監視用ITVカメラの撮像画像の一例を示す説明図である。
【図7】 この発明の実施の形態2による車両判定手段の処理を示すフローチャートである。
【図8】 この発明の実施の形態2による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。
【図9】 小領域と車両検出領域との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。
【図10】 この発明の実施の形態3による移動体検出システムの構成を示すシステム構成図である。
【図11】 この発明の実施の形態3による背景画像生成部の構成を示すシステム構成図である。
【図12】 この発明の実施の形態3による背景画像更新処理を示すフローチャートである。
【図13】 この発明の実施の形態4による移動体検出システムの構成を示すシステム構成図である。
【図14】 この発明の実施の形態4による車両追跡手段の処理を示すフローチャートである。
【図15】 この発明の実施の形態5による移動体検出システムの構成を示すシステム構成図である。
【図16】 この発明の実施の形態5による車両追跡手段の処理を示すフローチャートである。
【図17】 他の背景画像生成処理を示す図である。
【図18】 従来の移動体検出システムの構成を示すシステム構成図である。
【図19】 従来の移動体検出システムにおいて撮像カメラで撮像した画像の一例である。
【符号の説明】
1 監視用ITVカメラ(撮像手段)、2 画像処理ユニット、3 車両監視センタ、4 撮像画像記憶手段、5 背景画像記憶手段、6 車両検出手段(画像差演算手段、判定手段)、7 撮像画像、8 道路左側端部、9 道路右側端部、10 センターライン、11 車両、12 移動体検出領域、13 検出領域、14,15 画素群、16 車両判定手段(特徴点抽出手段、サイズ判定手段)、17 移動体判定領域、18 車両移動方向下流側端辺、19 テールランプ、20 路面、21 視野方向、22 特徴点の視野方向、23 移動体検出領域に相当する路面位置、24 背景画像生成部、25 最新画像バッファ(撮像画像記憶手段)、26 直前画像バッファ(撮像画像記憶手段)、27 安定度判定手段、28 コピー記憶手段、29 背景画像生成手段、30 車両追跡手段(特徴点抽出手段、サイズ判定手段、追跡手段)、31 車両追跡手段(特徴点抽出手段、サイズ判定手段、追跡手段、推定手段)、32 最新の撮像画像、33 背景画像、34 瞬時的な変化が生じている部分、35 差分画像、36 反転二値化画像、37 新しい背景画像。
Claims (8)
- 所定の空間を撮像し撮像画像を出力する撮像手段と、
当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、
上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、
上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備える移動体検出システム。 - 判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたことを特徴とする請求項1記載の移動体検出システム。
- 移動体の移動方向に沿った方向に対して0度あるいは90度以外の撮像角度となるように撮像手段を設置するとともに、
特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたことを特徴とする請求項2記載の移動体検出システム。 - 移動体の複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたことを特徴とする請求項1記載の移動体検出システム。 - 移動体の1乃至複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも1つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、
上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたことを特徴とする請求項1記載の移動体検出システム。 - 移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出する請求項2から請求項5のうちのいずれか1項記載の移動体検出システム。
- 撮像手段から出力された撮像画像を2つ以上記憶する撮像画像記憶手段と、
この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、
安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、
背景画像記憶手段は当該背景画像を記憶することを特徴とする請求項1記載の移動体検出システム。 - 背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、
背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの1つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成することを特徴とする請求項7記載の移動体検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000182085A JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000182085A JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002008017A JP2002008017A (ja) | 2002-01-11 |
JP3853574B2 true JP3853574B2 (ja) | 2006-12-06 |
Family
ID=18682921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000182085A Expired - Lifetime JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3853574B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150104409A (ko) * | 2014-03-05 | 2015-09-15 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
KR20200140769A (ko) * | 2014-03-05 | 2020-12-16 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006113645A (ja) * | 2004-10-12 | 2006-04-27 | Kajima Corp | 移動軌跡解析方法 |
JP4668754B2 (ja) * | 2005-09-30 | 2011-04-13 | 三菱電機株式会社 | 交通流計測装置 |
JP2007164566A (ja) * | 2005-12-15 | 2007-06-28 | Sumitomo Electric Ind Ltd | 感応制御用車両感知システムおよび装置 |
JP4702426B2 (ja) | 2008-10-10 | 2011-06-15 | 株式会社デンソー | 車両検出装置、車両検出プログラム、およびライト制御装置 |
JP5134608B2 (ja) * | 2009-09-30 | 2013-01-30 | 株式会社デンソーアイティーラボラトリ | 車両周辺表示装置、車両周辺表示方法およびプログラム |
WO2013030912A1 (ja) * | 2011-08-29 | 2013-03-07 | 株式会社タカラトミー | 移動体判定装置、移動体判定方法、及びプログラム |
KR101834838B1 (ko) * | 2016-02-16 | 2018-03-06 | 충북대학교 산학협력단 | 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법 |
JP7334541B2 (ja) * | 2019-08-29 | 2023-08-29 | 沖電気工業株式会社 | 路面情報計測装置、路面情報計測方法およびプログラム |
CN112634247B (zh) * | 2020-12-29 | 2022-04-12 | 浙江德源智能科技股份有限公司 | 基于图像分离的搬运对象识别方法及装置 |
-
2000
- 2000-06-16 JP JP2000182085A patent/JP3853574B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150104409A (ko) * | 2014-03-05 | 2015-09-15 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
KR20200140769A (ko) * | 2014-03-05 | 2020-12-16 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
KR102192252B1 (ko) * | 2014-03-05 | 2020-12-17 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
KR102203276B1 (ko) * | 2014-03-05 | 2021-01-14 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2002008017A (ja) | 2002-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4878644B2 (ja) | 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム | |
JP3279479B2 (ja) | 映像監視方法及び装置 | |
O'malley et al. | Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions | |
WO2019026785A1 (ja) | 付着物検出装置、および、それを備えた車両システム | |
JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
US20080013789A1 (en) | Apparatus and System for Recognizing Environment Surrounding Vehicle | |
US20070291987A1 (en) | Vehicle surroundings monitoring apparatus | |
US20130215270A1 (en) | Object detection apparatus | |
JPH10512694A (ja) | 連続画像内での物体の移動を検知する方法及び装置 | |
US20120300074A1 (en) | Detection apparatus and detection method | |
JP2002074368A (ja) | 移動物体認識追跡装置 | |
JP2003346278A (ja) | 車両待機行列の長さ測定装置及びその方法 | |
KR20010000107A (ko) | 다중 이동물체 추적/감시 시스템 | |
JP3853574B2 (ja) | 移動体検出システム | |
JP2010244194A (ja) | 物体識別装置 | |
JP2000030197A (ja) | 温体検出装置 | |
JPH11195127A (ja) | 白線認識方法および装置 | |
JPH06247246A (ja) | 接近車監視装置 | |
JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
JP2004312402A (ja) | 道路監視システム,道路監視装置 | |
JP3995671B2 (ja) | 画像処理装置 | |
JP2004110521A (ja) | 変位データ抽出方法及び物体検出装置 | |
JP2003248895A (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
JP2001357396A (ja) | 画像処理装置および画像認識装置 | |
JP4130601B2 (ja) | 対象物認識装置および対象物認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3853574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |