JPH1049662A - 車輌判別装置 - Google Patents

車輌判別装置

Info

Publication number
JPH1049662A
JPH1049662A JP8219342A JP21934296A JPH1049662A JP H1049662 A JPH1049662 A JP H1049662A JP 8219342 A JP8219342 A JP 8219342A JP 21934296 A JP21934296 A JP 21934296A JP H1049662 A JPH1049662 A JP H1049662A
Authority
JP
Japan
Prior art keywords
image
vehicle
feature
perspective
transformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8219342A
Other languages
English (en)
Other versions
JP3605955B2 (ja
Inventor
Masatoshi Kurumi
雅俊 來海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP21934296A priority Critical patent/JP3605955B2/ja
Publication of JPH1049662A publication Critical patent/JPH1049662A/ja
Application granted granted Critical
Publication of JP3605955B2 publication Critical patent/JP3605955B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 車輌を正確に判別する。 【解決手段】 道路上の所定の観測位置を上方より撮像
して得られた画像を用いて車輌判別を行う装置である。
透視変換処理部2は、入力画像を道路面を含む仮想水平
面上に透視変換するためのもので、パラメータ記憶部3
に記憶されたパラメータを用いた演算により、入力画像
の各画素の透視変換先の座標を算出する。特徴抽出部4
は、生成された透視変換画像を背景画像の透視変換結果
から差し引くことにより、特徴抽出を行うもので、モデ
ル記憶部6には車輌のモデルが記憶されている。判定部
5は、抽出された特徴毎に、その特徴が抽出された位置
に車輌モデルを透視変換して得られる特徴の大きさを算
出し、この算出値を実際の特徴の大きさと比較し、両者
に有意な差が認められなかったとき、その特徴が車輌を
表す特徴であるか否かを判定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、道路上などに位置す
る車輌を観測するのに用いられる車輌観測装置に関連す
る。
【0002】
【従来の技術】近年、道路の上方にカメラを設置して道
路上の所定位置を撮像し、得られた画像から車輌を示す
特徴を抽出し、その抽出結果の時間的な推移から道路上
における車輌の流れを計測する交通流計測装置が開発さ
れている。
【0003】前記した車輌の特徴を抽出する代表的な方
法としては、入力画像の背景差分をとる方法があげられ
る。この方法は、あらかじめ背景画像として道路上に対
象物が存在しない画像を記憶しておき、カメラからの画
像とこの背景画像との差分を車輌の画像部分として抽出
するものである(以下この方法を「背景差分法」とい
う)。
【0004】上記の背景差分法のほかには、1フレーム
前の入力画像を記憶しておき、現フレームの入力画像か
らこの直前の入力画像を差し引いて道路上の車輌の位置
の変化を抽出する方法(以下「フレーム差分法」とい
う)や、入力画像に空間微分を施して車輌の輪郭を示す
エッジ成分を抽出する方法(以下「空間差分法」とい
う)などがある。
【0005】
【発明が解決しようとする課題】背景差分法は、あらか
じめ記憶された背景画像と異なる部分が抽出されること
になるので、実際の車輌の画像部分のみならず、車輌の
影の画像を誤抽出してしまうという問題が生じる。この
問題を解決するために、差分値が負値をとる特徴は車輌
として認識しないように設定することが提案されている
が、この方法を用いると、色彩の濃い車輌を検出するこ
とができなくなる。
【0006】フレーム差分法や空間差分法を用いた場合
も、上記と同様、車輌の影が誤抽出されるという問題が
生じるため、道路上の車輌の台数や車種を正確に判別す
ることなど、到底不可能である。
【0007】この発明は上記問題に着目してなされたも
ので、観測位置を撮像して得られた2次元画像を、道路
面などの車輌の支持面を含む仮想水平面上に透視変換
し、この透視変換された画像上の特徴を用いて車輌を正
確に判別することを技術課題とする。
【0008】
【課題を解決するための手段】所定の観測位置を撮像し
て得られた画像を、車輌の支持面を含む仮想水平面上に
透視変換すると、高さのある対象物の画像部分は、この
対象物の実際の位置に対応する点から離れた場所に投影
される。この投影点の位置ずれ量は、z座標が大きくな
るほど、また空間座標点が視点から離れるほど、大きく
なるので、車輌など高さデータを有する対象物を透視変
換すると、実際の対象物より歪んだ形状の特徴が得られ
る。一方、影など車輌の支持面上にある2次元対象物
は、その対象物の実際の位置に投影されるため、透視変
換後も、実際の対象物を真上から観察した場合と同様の
形状,大きさの特徴が得られる。
【0009】各請求項にかかる発明は、上記の原理を用
いてなされたもので、請求項1にかかる車輌判別装置
は、前記観測位置を撮像して得られた2次元画像を入力
する画像入力手段と、入力された2次元画像を車輌の支
持面を含む仮想水平面上に透視変換する画像変換手段
と、前記画像変換手段により透視変換された画像につい
て特徴抽出を行う特徴抽出手段と、前記特徴抽出手段に
よる抽出結果を用いて前記観測位置における車輌を判別
する判別手段とを備えている。
【0010】請求項2の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、前
記観測位置における背景画像の透視変換画像との差分処
理により特徴抽出を行うように構成される。
【0011】請求項3の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像からエ
ッジ成分を抽出し、抽出された各エッジ成分のうち、所
定の距離範囲内にあるエッジ成分を統合した結果を透視
変換画像上の特徴とするように構成される。
【0012】請求項4の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、1
段階前に透視変換された入力画像との差分により画像上
の変動部分を求めた後、これら変動部分のうち所定の距
離範囲内にある変動部分を統合した結果を透視変換画像
上の特徴とするように構成される。
【0013】請求項5の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像につい
て、2種類以上の方法を用いて画像上の特徴を抽出した
後、各方法による抽出結果を統合するように構成され
る。
【0014】請求項6の発明では、前記判別手段は、前
記特徴抽出手段により抽出された各特徴を、前記仮想水
平面上に所定の車輌モデルを透視変換して得られる特徴
と比較し、その比較結果に基づき前記観測位置における
車輌を判定する。
【0015】請求項7の発明にかかる車輌判別装置は、
前記と同様の画像入力手段および画像変換手段と、画像
変換手段により透視変換された入力画像について車頭部
分の画像候補となる特徴を抽出する特徴抽出手段と、前
記特徴抽出手段により抽出された各特徴間の距離を、前
記仮想水平面上に所定の車輌モデルを透視変換して得ら
れる特徴の大きさと比較して、各特徴が車頭部分の画像
であるか否かを判別する判別手段とを備えている。
【0016】請求項8の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、前
記観測位置における背景画像の透視変換画像との差分画
像より、前記特徴を抽出するように構成される。
【0017】請求項9の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像上で、
車輌の幅方向におけるエッジ成分を、前記特徴として抽
出するように構成される。
【0018】請求項10の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、1
段階前に透視変換された入力画像との差分処理により透
視変換画像上の変動部分を、前記特徴として抽出する。
【0019】請求項11の発明は、道路上を走行する車
輌を判別するための装置であって、道路上の観測位置を
撮像して得られた2次元画像を入力する画像入力手段
と、入力された2次元画像を道路面を含む仮想水平面上
に透視変換する画像変換手段と、前記画像変換手段によ
り透視変換された画像について特徴抽出を行う特徴抽出
手段と、前記特徴抽出手段により抽出された各特徴を用
いて道路上に車輌が存在するか否かを仮判別する仮判別
手段と、過去複数回の入力画像についての仮判別結果を
記憶する記憶手段と、前記記憶手段に記憶された各入力
画像毎の仮判別結果を追跡して、道路上に車輌が存在す
るか否かを最終的に判別する最終判別手段とを備えてい
る。
【0020】
【作用】請求項1の発明では、観測位置における2次元
画像を車輌の支持面を含む仮想水平面上に透視変換した
後、この透視変換画像についての特徴抽出結果により観
測位置における車輌を判別するようにしたので、観測位
置における車輌の高さを反映した特徴を用いて、車輌と
影などの2次元対象物とを明確に区別して認識すること
が可能となる。
【0021】請求項2の発明では、入力画像を透視変換
して得られる画像と、観測位置における背景画像の透視
変換画像との差分をとることにより、背景になかった画
像部分が特徴として抽出される。
【0022】請求項3の発明では、入力画像を透視変換
して得られる画像上で、所定の距離範囲内にあるエッジ
成分を統合した結果が、特徴として抽出される。また請
求項4の発明では、透視変換画像上における1段階前の
透視変換画像に対する変動部分のうち、所定の距離範囲
内にある変動部分を統合した結果が特徴として抽出され
る。
【0023】請求項5の発明では、2種類以上の方法に
より透視変換画像上の特徴を抽出した後、各抽出結果を
統合することにより、特徴の抽出精度の向上がはかられ
る。
【0024】請求項6の発明では、透視変換画像上で抽
出された特徴を、仮想水平面上に所定の車輌モデルを透
視変換して得られる特徴と比較した結果により、観測位
置における車輌の判別が行われる。
【0025】請求項7の発明では、観測位置における入
力画像を透視変換した後、この透視変換画像から車頭部
分の画像候補となる特徴を抽出し、各特徴間の距離を前
記と同様の車輌モデルの透視変換結果と比較して、各特
徴が車頭部分に対応するものか否かを判別するので、夕
暮れ時など車輌全体を1つの特徴として抽出できなくな
った場合にも、車輌1台,1台を正確に判別することが
できる。
【0026】請求項8の発明では、前記透視変換画像と
背景画像の透視変換画像との差分処理により、車頭候補
となる特徴が抽出される。また請求項9の発明では、透
視変換画像上の車輌の幅方向におけるエッジ成分が、請
求項10の発明では、1段階前の透視変換画像に対する
変動部分が、それぞれ車頭候補となる特徴として抽出さ
れる。
【0027】請求項11の発明は、道路上の所定位置を
撮像し、各段階における入力画像について、それぞれ請
求項1と同様の方法を用いて、道路上に車輌が存在する
か否かが仮判別される。この仮判別結果は記憶手段に順
次記憶され、最終的に各入力画像毎の判別結果を追跡す
ることにより最終的な判定が行われる。これにより車輌
が撮像位置に近づくにつれ、車輌と影との透視変換結果
に差異が認められなくなるという問題が解消される。
【0028】
【発明の実施の形態】図1に、この発明にかかる車輌判
別装置が組み込まれた交通流計測装置の設置例を示すと
共に、この車輌判別処理の原理を図2〜図9および数式
(1)〜(44)を用いて説明する。さらに図10,1
1,15,18,19,21,22,25により、上記
各請求項にかかる車輌判別装置の好適な実施例を説明す
る。
【0029】
【実施例】図1は、交通流計測装置の一設置例を示す。
この交通流計測装置は、道路30の近傍に支柱31を配
備し、この支柱31の上部位置にカメラ32を、下部位
置に制御ボックス33を、それぞれ取り付けて構成され
るもので、制御ボックス33の内部には、この発明にか
かる車輌判別装置や計測装置が組み込まれている。
【0030】この実施例の車輌判別装置は、カメラ32
より入力された2次元画像をフレーム単位で道路30上
の仮想水平面上に透視変換し、この透視変換画像につい
て後記する特徴抽出処理や車輌の判別処理を実行し、さ
らにこの判別結果を、道路上の車輌の位置データに編集
して計測装置へと出力する。計測装置は、各フレーム毎
に入力されるデータの時間的な推移により、道路上の車
輌の流れを示すデータを作成し、図示しないセンター装
置などに伝送する。
【0031】前記透視変換処理は、あらかじめ所定の位
置(例えば前記支柱の設置位置)を原点とする空間座標
系(以下単に「空間座標系」という)を定めておき、こ
の空間座標系に対するカメラ座標系の回転角度により決
定されるパラメータを用いて、入力画像上の各画素を前
記仮想水平面上の所定位置へと変換するものである。前
記パラメータは、計測処理に先立ち、空間座標が既知の
点を用いたキャリブレーションによりカメラ座標系の回
転角度を算出した後、さらにこの算出結果を後記する
(28)〜(35)式にあてはめることにより算出され
る。
【0032】つぎに図2を用いて、前記車輌判別装置に
よる透視変換処理および前記パラメータの算出処理の原
理を、順を追って説明する。図2中、Xw ,Yw ,Zw
の各軸で示される座標系は前記した空間座標系を、
c ,Yc ,Zc の各軸で示される座標系は前記カメラ
座標系を、それぞれ示す。またOはカメラの撮像位置
を、Aは空間中の任意の1点を、それぞれ示す。
【0033】いま前記中心点Oがカメラ座標系の原点O
c (0,0,0)に対応しており、空間座標系のXw
w ,Zw 各軸に対しカメラ座標系のXc ,Yc ,Zc
軸がそれぞれ角度α,β,γだけ回転していると想定す
ると、点Oの空間座標を(x0 ,y0 ,z0 ),点Aの
空間座標を(xA ,yA ,zA )としたときの点Aのカ
メラ座標(x1 ,y1 ,z1 )は、これら回転角度α,
β,γにより決定されるパラメータs1 ,s2 ,s3
1 ,t2 ,t3 ,u1 ,u2 ,u3 に基づき、つぎの
(1)〜(3)で表される。なお上記各パラメータは、
それぞれ(4)〜(12)式で表される。また前記
1 ,y1 は、点Aの入力画像上の対応点A´のx,y
座標に、z1 はカメラの焦点距離Fに、それぞれ相当す
る。
【0034】
【数1】
【0035】
【数2】
【0036】
【数3】
【0037】
【数4】
【0038】
【数5】
【0039】
【数6】
【0040】
【数7】
【0041】
【数8】
【0042】
【数9】
【0043】
【数10】
【0044】
【数11】
【0045】
【数12】
【0046】一方、直線OA,および道路30を含む仮
想水平面は、それぞれつぎの(13)(14)式により
表される。
【0047】
【数13】
【0048】
【数14】
【0049】いま前記点A´を含む画像を前記仮想水平
面上に透視変換するものとすると、点A´は前記直線O
Aと仮想水平面との交点B(xB ,yB ,0)の位置に
投影される。したがって前記(13)(14)式より、
B ,yB は、つぎの(15)(16)式で表される
【0050】
【数15】
【0051】
【数16】
【0052】さらにx´=xA −x0 /zA −z0 ,
´=yA −y0 /zA −z0 ,z´=1/zA −z0
おくと、前記(1)〜(3)式および(15)(16)
式は、それぞれ(17)〜(21)式に変形される。
【0053】
【数17】
【0054】
【数18】
【0055】
【数19】
【0056】
【数20】
【0057】
【数21】
【0058】上記(17)〜(19)式よりz´を消去
することにより、x´,y´は、それぞれつぎの(2
2)(23)式により表される。さらにこの(22)
(23)式を用いて前記(20)(21)式を変形する
ことにより、(24)(25)式が得られる。
【0059】
【数22】
【0060】
【数23】
【0061】
【数24】
【0062】
【数25】
【0063】よって、前記xB ,yB は、(28)〜
(35)式により定義されるパラメータa,b,c,
d,e,f,g,hを用いた(26)(27)式により
算出される。
【0064】
【数26】
【0065】
【数27】
【0066】
【数28】
【0067】
【数29】
【0068】
【数30】
【0069】
【数31】
【0070】
【数32】
【0071】
【数33】
【0072】
【数34】
【0073】
【数35】
【0074】したがって、前記カメラ32の中心点Oの
空間座標(x0 ,y0 ,z0 ),キャリブレーションに
より算出されたカメラ座標系の回転角度α,β,γ,お
よびカメラ32の焦点距離Fを、前記(28)〜(3
5)式に代入して各パラメータa〜hを求めておき、カ
メラ32からの入力画像の各画素毎に、そのx,y座標
を前記(26)(27)式にあてはめることにより、各
画素の投影点の座標を算出することができる。
【0075】前記したように、空間中の点Aに対応する
入力画像上の点A´を仮想水平面上に透視変換すると、
この点Aにおける画像データは、カメラ中心点Oと点A
とを結ぶ直線と仮想水平面との交点に投影される。した
がってこの直線OAの傾きが緩慢であるほど、仮想水平
面上の投影点は、点Aを真上方向から透視した際の投影
点(すなわち点Aのx,y座標により特定される点)か
ら離れた場所に位置することになる。言い換えれば、点
Aが高い位置にあるほど、もしくは点Aがカメラから離
れた位置にあるほど、その投影点は、本来の点Aのある
べき位置から離れた場所に位置するので、高さ成分を有
する対象物を透視変換したとき、実際の対象物を真上位
置より見た場合とは異なる大きさ,形状を有する特徴が
得られることになる。
【0076】一方、空間座標におけるz座標が0となる
点の画像データは、実際と同じ位置に投影されるため、
影など2次元対象物は、透視変換後も、実際の対象物を
真上位置より見た場合と同様の大きさ,形状の特徴を有
する。
【0077】図3は、カメラ32からの入力画像の一例
であって、道路の車線を示す画像部分34のほかに、車
輌やその影の画像35,36などが含まれている。図4
は、前記図3の入力画像を前記水平面上に透視変換した
結果を示すもので、透視変換画像中、前記画像35の変
換画像35´の形状には、その高さ成分を反映した歪み
が現れている。これに対し、画像36の変換画像36´
の形状は、実際の影を真上位置から観察した結果と同様
になる。
【0078】図5は、観測位置における背景画像を仮想
水平面上に透視変換して得られた画像(以下この画像を
「背景変換画像」という)を示すもので、車線の画像部
分34の変換画像34´が現れている。また図6は、前
記図4の透視変換画像とこの背景変換画像との差分をと
った後、2値化処理した結果を示すもので、前記変換画
像35´,36´の形状を示す特徴37A,37Bが抽
出されている。
【0079】この車輌判別装置では、各特徴37A,3
7Bにそれぞれ外接長方形38A,38Bを設定し、各
長方形38A,38B毎に、各辺の長さAwx,Awy,B
wx,Bwyを、それぞれ車輌の代表的な特徴を示すデータ
(以下これを「特徴モデルデータ」という)と比較し、
その比較結果からその特徴が車輌を意味するものである
か否かを判別するようにしている。
【0080】つぎに上記特徴モデルデータの算出原理に
ついて説明する。カメラの中心点Oの空間座標を(0,
0,k),空間中の任意の1点Pの空間座標を(xw
w ,zw ),この点Pを透視変換して得られる投影点
P´の座標を(xr ,yr ,0)とすると、図7から明
らかなように、点P´のx,y座標xr ,yr は、つぎ
の(36)(37)式により算出される。
【0081】
【数36】
【0082】
【数37】
【0083】ここで説明を簡単にするために、車輌のモ
デルとして、図8に示すような、幅Vx ,奥行きVy
高さVz の直方体を想定し、この直方体モデルの各頂点
のうち、前面の左端頂点Rが座標(xR0,yR0,0)の
位置にあるものとすると、直方体モデル上でこの点Rに
最も遠い頂点Sの座標(xSW,ySW,zSW)は、つぎの
(38)〜(40)式により求められる。
【0084】
【数38】
【0085】
【数39】
【0086】
【数40】
【0087】したがって、前記(38)〜(40)式を
(36)(37)式に当てはめることにより、頂点Sを
仮想水平面上に透視変換した場合の投影点S´のx,y
座標xSR,ySRを算出するための式として、(41)
(42)式が得られる。
【0088】
【数41】
【0089】
【数42】
【0090】一方、前記道路面上に位置する点Rの投影
点R´は、透視変換前と同じ位置に変換されるので、図
9に示すように、前記立方体モデルの透視変換画像40
に外接する長方形41を設定すると、この外接長方形4
1の各辺Wx ,Wy はつぎの(43)(44)式により
算出される。
【0091】
【数43】
【0092】
【数44】
【0093】よって前記図6に示した各特徴37A,3
7B毎に、その外接長方形38A,38Bの左端点39
A,39Bが前記立方体モデルの頂点Rに対応するもの
と想定し、この左端点39A,39Bのx,y座標を上
記(41)〜(44)式の(xR0,yR0)にあてはめる
ことにより、前記Wx ,Wy を算出し、これを前記特徴
モデルデータとして設定する。
【0094】したがって、透視変換画像上の各特徴部分
毎に、上記の方法を用いて特徴モデルデータWx ,Wy
を算出するとともに、その特徴部分に外接長方形を設定
し、この外接長方形の各辺の長さ(図6に示したAwx
wy,Bwx,Bwy)と特徴モデルデータWx ,Wy の算
出値とを比較する。この比較により有意な差が認められ
なければ、その特徴は車輌に相当するものであると判定
される。
【0095】なお外接長方形の各辺を比較する代わり
に、前記立方体モデルを透視変換画像上の特徴抽出位置
に仮想的に透視変換し、この透視変換結果と実際の特徴
とのマッチング処理を行うようにすれば、さらに精度の
高い判別結果を得ることが可能となる。
【0096】図10は、上記原理が導入された車輌判別
装置の一構成例であって、画像入力部1,透視変換処理
部2,パラメータ記憶部3,特徴抽出部4,モデル記憶
部6,判定部5,出力部7などから構成される。
【0097】前記画像入力部1は、前記カメラ32から
のアナログ量の画像データをディジタル変換するA/D
変換回路や変換処理後の画像データを格納する画像メモ
リなどから構成される。パラメータ記憶部3には、前記
(28)〜(35)式により算出されたパラメータa,
b,c,d,e,f,g,hが記憶されている。透視変
換処理部2は、これらパラメータと入力画像中の各画素
のx,y座標とを前記(26),(27)式に代入する
ことにより、各画素の透視変換点の座標を算出し、この
算出結果に基づき、入力画像の透視変換処理を実行す
る。
【0098】なお、前記パラメータ記憶部3の代わり
に、入力画像の各画素についての透視変換先の座標が記
憶されたルックアップテーブルを設け、画像入力時に、
各画素を、このルックアップテーブル中の対応する設定
値に基づく位置に変換するようにすれば、変換処理の高
速化を実現できる。
【0099】前記特徴抽出部4は、背景差分処理部8,
2値化処理部9,背景画像記憶部10などにより構成さ
れる。背景画像記憶部10には、前記図5に示したよう
な背景変換画像が記憶されており、背景差分処理部8
は、透視変換処理部2により生成された透視変換画像の
各画素データとこの背景変換画像の対応する画素データ
との差分を求める。2値化処理部9は、この差分処理に
より生成された差分画像を所定のしきい値により2値化
処理するもので、これにより前記図6に示したように、
車輌や影の画像を透視変換した結果を示す特徴の抽出が
行われる。
【0100】前記モデル記憶部6には、前記図8に示し
た車輌の立方体モデルが記憶されている。判定部5は、
前記2値化処理部9により抽出された各特徴について、
前記した外接長方形を設定するとともに、各外接長方形
毎に、その左端点(図6中の39A,39B)と立方体
モデルの前記頂点Rとを対応づけて、前記(41)〜
(44)式を実行し、それぞれの特徴に応じた特徴モデ
ルデータWx ,Wy を算出する。さらに判定部5は、各
外接長方形毎に、その各辺の長さを算出されたWx ,W
y と比較し、その比較結果から特徴が車輌を示すもので
あるか否かを判定する。
【0101】外接長方形の各辺と特徴モデルデータ
x ,Wy との間に有意な差が認められないとき、判定
部5は、この特徴を車輌に相当するものと判定する。出
力部7は、この判定結果に基づき、特徴抽出位置から道
路上の車輌の位置などを認識し、その認識結果を後段の
交通流計測装置へと出力する。
【0102】図11は、判別処理装置の他の構成例を示
す。この実施例も、基本的に前記図10と同様の構成を
とるが、特徴抽出部4として、エッジ抽出部11とエッ
ジ統合部12とを含んでいる。
【0103】エッジ抽出部11は、前記透視変換画像に
微分処理などを行って、水平方向(x軸方向)のエッジ
成分を抽出するためのもので、エッジ統合部12は、抽
出された各エッジ成分のうち、車の進行方向(この実施
例ではy軸方向)において所定の距離範囲内にあるエッ
ジ成分を統合し、その統合結果を特徴として出力する。
【0104】図12は、前記図4の透視変換画像に対す
るエッジ画像を、図13はこのエッジ画像中のエッジ成
分を統合した画像を、それぞれ示す。図示例から明らか
なように、透視変換画像上の影に対応する部分では、抽
出されるエッジ成分が少なくなるため、統合処理対象と
ならず、ノイズとして除去される。一方、車輌に対応す
る画像部分については、統合処理により複数個の特徴
(図中、42a,42b,42cと示す)が抽出され
る。
【0105】判定部5は、抽出された各特徴42a,4
2b,42cが含まれる矩形領域43を設定するととも
に、前記図10と同様の方法により、この矩形領域43
の左端点44を前記立方体モデルの点Rと対応づけて特
徴モデルデータWx ,Wy を算出し、この算出結果を前
記矩形領域43の各辺の長さCwx,Cwyと比較する。
【0106】上記の比較処理により、各辺の長さCwx
wyと前記特徴モデルデータWx ,Wy との間に有意な
差が認められなかった場合、判定部5は、図14に示す
ように、前記各特徴42a,42b,42cを包括する
ような画像領域45を設定し、この画像領域45を車輌
に対応するものとして判定する。
【0107】なお透視変換画像から抽出する特徴は、エ
ッジ成分に限らず、例えばフレーム差分処理により、車
輌の移動部分に対応する特徴を抽出するようにしても良
い。図15は、特徴抽出をフレーム差分処理により行う
場合の判定処理装置の構成例を示すもので、特徴抽出部
4は、フレーム差分処理部13,2値化処理部14,抽
出結果統合部15などから構成される。
【0108】フレーム差分処理部13は、1段階前の入
力画像についての透視変換画像を記憶するメモリを具備
しており、透視変換処理部2から入力された最新の透視
変換画像の各画素について、前記メモリ内の透視変換画
像の対応画素との差分演算を実行する。2値化処理部1
4は、各画素毎の差分値を所定のしきい値で2値化処理
するもので、その結果、図16に示すような複数個の特
徴46が抽出され、抽出結果統合部15へと出力され
る。
【0109】抽出結果統合部15は、抽出された各特徴
46について、y軸方向において所定の距離範囲内にあ
る特徴を統合するもので、統合対象とならなかったされ
た特徴は、ノイズとして除去される。図17は、図16
の抽出結果を統合した結果を示すもので、判定部5は、
この統合結果について、前記図10の実施例と同様、矩
形領域47を設定するとともに特徴モデルデータWx
y を算出し、その算出結果と矩形領域47の各辺
x ,Dy と比較する。この結果、両者の間に有意差が
認められなかったとき、判定部5は、前記と同様、各特
徴部分を包括する画像領域を、車輌に対応するものとし
て判定する。
【0110】なお特徴抽出は、1つの方法に限らず、複
数種の方法により抽出された特徴部分を統合するように
しても良い。図18は、2種類の特徴抽出方法を導入し
た場合の判定処理装置の構成例であって、特徴抽出部4
は、エッジ抽出部11,フレーム差分処理部13,2値
化処理部14,処理結果統合部16により構成される。
【0111】エッジ抽出部11,フレーム差分処理部1
3,2値化処理部14は、前記図11,15と同様の構
成のもので、処理結果統合部16は、各処理により抽出
された特徴部分を合成した後、前記各実施例と同様、y
軸方向において所定距離範囲内にある特徴を統合し、そ
の統合結果を判定部5に出力する。
【0112】ところで前記した各抽出結果は、昼間など
十分な明度のある環境下で撮像が行われた場合に得られ
るもので、夕暮れ時など背景色と車輌の色とのコントラ
ストが明確でない条件下においては、フロントガラスな
ど明度の低い部分の画像が抽出されないことがある。こ
の結果、抽出される特徴部分は、複数の特徴部分に分断
されたものとなり正確に車輌を判別することは不可能と
なる。
【0113】図19は、上記問題を解決するための判定
処理装置の構成例であって、特徴抽出部4には、前記図
10の構成に加えて、抽出された特徴から車頭部分の候
補となる特徴を抽出するための車頭候補抽出部17が配
備されている。
【0114】いま背景差分処理部8および2値化処理部
9により、図20に示すような複数個の特徴48a,4
8bが抽出されたとき、車頭候補抽出部17は、これら
各特徴部分の中から、前方部(図20中、破線で囲んだ
部分)が平坦形状であって、かつその幅長さが車輌幅に
近似する特徴を、車頭部分の候補として抽出する。この
結果は判定部5へと出力され、各車頭候補の位置関係か
ら車輌の判定が行われる。
【0115】すなわち2個以上の車頭候補が車輌の進行
方向であるy軸方向に並んでいる場合、判定部5は、こ
れら車頭候補の距離(図20中、Hで示す)を算出する
とともに、前記立方体モデルが前方の車頭候補に位置す
る場合の特徴モデルデータWy を算出し、この算出結果
と前記距離Hとを比較する。これにより距離がモデルデ
ータWy よりも小さい場合には、後方の車頭候補が候補
から除去され、残された車頭候補の抽出位置に車輌が存
在するものと判定される。
【0116】なお車頭候補間の距離HがモデルデータW
y を上回る場合、または抽出された車頭候補に後続の候
補が存在しない場合には、これら車頭候補はノイズとし
て除去される。また抽出された特徴が単独でモデルデー
タWx ,Wy の条件を満たす場合には、この特徴は車輌
全体を表すものと判定される。
【0117】図21は上記と同様の処理をエッジ抽出に
より行う場合の構成例を、図22は同様の処理をフレー
ム差分法により行う場合の構成例を、それぞれ示す。い
ずれの実施例も、透視変換画像から特徴部分を抽出する
ための構成以外は、図19と同様であり、ここでは詳細
な説明を省略する。
【0118】なお上記した車輌判別処理の原理は、車輌
の画像部分を透視変換した結果に生ずる歪みを利用して
いるが、この場合、車輌が撮像位置に近づいて車輌に対
するカメラの俯角が大きくなると、透視変換画像におけ
る車輌部分の歪みが小さくなり、車輌と影との区別が困
難になるという問題が生じる。
【0119】図23(1)は車輌が撮像位置に近づいた
時点で得られる入力画像を、図23(2)はこの入力画
像の透視変換画像を、それぞれ示す。図23(2)の前
記透視変換画像に対し、前記した背景差分法による特徴
抽出を行うと、図24に示す如く、車輌、影それぞれに
対応する特徴50a,50bに有意な差が現れなくな
り、前記した特徴モデルデータと比較する方法により両
者を区別して判別することは、困難となる。
【0120】図25は、上記問題を解決するための判定
処理装置の構成例であって、図10と同様の構成に、判
定結果処理部18,追跡処理部19,最終判定部20な
どが付加されている。
【0121】透視変換処理部2から判定部5までの構成
により、各段階での画像入力に対し、前記と同様の透視
変換処理,特徴抽出処理,判定処理が実行される。判定
結果記憶部18は過去数フレーム毎に、抽出された特徴
部分の位置やその判定結果などのデータを記憶、蓄積す
る。追跡処理部19は、これら蓄積されたデータから同
一対象にかかる特徴部分を対応付けし、各対象物につい
ての判定結果の推移を追跡する。
【0122】図26は、前記追跡処理部19による追跡
方法を示す。図中a0 ,b0 は、ある時点における特徴
部分の抽出位置であって、追跡処理部19は、各特徴部
分について、それぞれその特徴抽出位置に対応する車線
に沿う方向(すなわちy軸方向)における追跡処理を行
って、つぎの段階におけるその特徴部分の抽出位置
1 ,b1 を検出する。最終判定部20は、追跡処理部
19による追跡処理結果に基づき、抽出された特徴部分
が車輌に対応するものであるか否かについての最終的な
判定を実施する。なおこの最終判定は、各対象物毎にそ
の追跡処理が終了した時点、すなわちその対象物に相当
する特徴部分が抽出されなくなった時点で、実施され
る。
【0123】図27は、前記追跡処理部19による追跡
結果と最終判定部20の判定結果とを対応づけて示す。
なおここでは説明を簡単にするために、2個の対象物
A,Bについての特徴が複数段階にわたって抽出されて
いるものと想定し、追跡処理結果として、各特徴部分の
抽出位置と判定結果との推移を示してある。
【0124】最終判定部20は、追跡処理部19による
最終追跡結果を受けて、その特徴部分における過去の判
定結果をまとめて最終判定を実行する。これにより対象
物Bに示すように、最終段階で「車輌」であると判定さ
れた場合でも、それ以前の複数段階における判定結果が
「影」である場合には、この特徴部分は影を反映したも
のであると判定される。
【0125】上記の処理によれば、車輌が観測位置を通
過した時点で最終的な判定が行われることになり、最終
判定により特徴部分が車輌を反映していると決定された
とき、後段の計測装置にその判定結果が出力される。こ
れにより計測装置は、観測地点における車両の通過台数
を正確に計測することができ、高精度の交通流計測を実
施することが可能となる。
【0126】
【発明の効果】請求項1の発明では、観測位置における
2次元画像を車輌の支持面を含む仮想水平面上に透視変
換した後、この透視変換画像についての特徴抽出結果に
より観測位置における車輌を判別するようにしたので、
観測位置における車輌の高さを反映した特徴を用いて車
輌を正確に判別することができる。
【0127】請求項2の発明では、入力画像を透視変換
して得られる画像と、観測位置における背景画像の透視
変換画像との差分をとることにより、背景になかった画
像部分を特徴として抽出するので、車輌などの移動する
対象物を表す特徴を抽出することができる。
【0128】請求項3の発明では、入力画像を透視変換
して得られる画像上で、所定の距離範囲内にあるエッジ
成分を統合した結果を特徴として抽出し、また請求項4
の発明では、透視変換画像上における1段階前の透視変
換画像に対する変動部分のうち、所定の距離範囲内にあ
る変動部分を統合した結果を特徴として抽出するので、
一台の車輌にかかる特徴を認識して正確な判別処理を行
うことが出来る。
【0129】請求項5の発明では、2種類以上の方法に
より透視変換画像上の特徴を抽出した後、各抽出結果を
統合することにより、特徴の抽出精度を向上することが
できる。
【0130】請求項6の発明では、透視変換画像上で抽
出された特徴を、仮想水平面上に所定の車輌モデルを透
視変換して得られる特徴と比較した結果を用いることに
より、観測位置に車輌が存在するか否かを判別すること
ができる。
【0131】請求項7の発明では、観測位置における入
力画像を透視変換した後、この透視変換画像から車頭部
分の画像候補となる特徴を抽出し、各特徴間の距離を前
記と同様の車輌モデルの透視変換結果と比較して、各特
徴が車頭部分に対応するものか否かを判別するので、夕
暮れ時など車輌全体を1つの特徴として抽出できなくな
った場合にも、車輌1台,1台を正確に判別でき、信頼
性の高いデータを得ることができる。
【0132】請求項8の発明では、前記透視変換画像と
背景画像の透視変換画像との差分処理により、車頭候補
となる特徴の抽出が可能となる。また請求項9の発明で
は、透視変換画像上の車輌の幅方向におけるエッジ成分
を、請求項10の発明では、1段階前の透視変換画像に
対する変動部分を、それぞれ抽出することにより、車頭
候補となる特徴の抽出が可能となる。
【0133】請求項11の発明は、道路上の所定位置を
撮像し、各段階における入力画像について、それぞれ道
路上に車輌が存在するか否かを仮判別し、複数回の入力
画像毎の判別結果を追跡することにより最終的な判定を
行うようにしたので、車輌が撮像位置に近づくにつれ、
車輌と影との透視変換結果に差異が認められなくなると
いう問題が解消され、精度の高い車輌判別を行うことが
できる。
【図面の簡単な説明】
【図1】この発明にかかる車輌判別装置が組み込まれた
交通流計測装置の設置例を示す説明図である。
【図2】透視変換処理の原理を示す説明図である。
【図3】カメラからの入力画像を示す説明図である。
【図4】図3の入力画像を透視変換した結果を示す説明
図である。
【図5】背景変換画像を示す説明図である。
【図6】図4の透視変換画像と図5の背景変換画像との
差分処理により抽出された特徴を示す説明図である。
【図7】任意の点Pの空間座標からこの点Pの透視変換
先の座標を算出する原理を示す説明図である。
【図8】車輌のモデルの一例を示す説明図である。
【図9】図8のモデルを透視変換した結果を示す説明図
である。
【図10】車輌判別装置の構成例を示すブロック図であ
る。
【図11】車輌判別装置の他の構成例を示すブロック図
である。
【図12】入力画像上のエッジ成分を抽出した結果を示
す説明図である。
【図13】図12のエッジ成分を統合処理した結果を示
す説明図である。
【図14】車輌に対応するものとして認識された画像領
域を示す説明図である。
【図15】車輌判別装置の他の構成例を示すブロック図
である。
【図16】フレーム差分処理により抽出された特徴を示
す説明図である。
【図17】図16の各特徴を統合処理した結果を示す説
明図である。
【図18】車輌判別装置の他の構成例を示すブロック図
である。
【図19】車輌判別装置の他の構成例を示すブロック図
である。
【図20】車頭候補として抽出された特徴を示すブロッ
ク図である。
【図21】車輌判別装置の他の構成例を示すブロック図
である。
【図22】車輌判別装置の他の構成例を示すブロック図
である。
【図23】車輌が撮像位置に接近した状態で得られた入
力画像、およびその透視変換画像を示す説明図である。
【図24】図23(2)の透視変換画像から抽出された
特徴を示す説明図である。
【図25】車輌判別装置の他の構成例を示すブロック図
である。
【図26】図25の追跡処理部による追跡方法を示す説
明図である。
【図27】追跡処理結果と最終判定結果とを対応づけて
示す説明図である。
【符号の説明】
2 透視変換処理部 4 特徴抽出部 5 判定部 8 背景差分処理部 11 エッジ抽出部 12 エッジ統合部 13 フレーム差分処理部 15 抽出結果統合部 16 処理結果統合部 17 車頭候補抽出部 18 判定結果記憶部 19 追跡処理部 20 最終判定部

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 所定の観測位置における車輌を判別する
    ための装置であって、 前記観測位置を撮像して得られた2次元画像を入力する
    画像入力手段と、 入力された2次元画像を車輌の支持面を含む仮想水平面
    上に透視変換する画像変換手段と、 前記画像変換手段により透視変換された画像について特
    徴抽出を行う特徴抽出手段と、 前記特徴抽出手段による抽出結果を用いて前記観測位置
    における車輌を判別する判別手段とを備えて成る車輌判
    別装置。
  2. 【請求項2】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像と、前記観測位置における背
    景画像の透視変換画像との差分処理により特徴抽出を行
    う請求項1に記載された車輌判別装置。
  3. 【請求項3】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像からエッジ成分を抽出し、抽
    出された各エッジ成分のうち、所定の距離範囲内にある
    エッジ成分を統合した結果を透視変換画像上の特徴とす
    る請求項1に記載された車輌判別装置。
  4. 【請求項4】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像と、1段階前に透視変換され
    た入力画像との差分により画像上の変動部分を求めた
    後、これら変動部分のうち所定の距離範囲内にある変動
    部分を統合した結果を透視変換画像上の特徴とする請求
    項1に記載された車輌判別装置。
  5. 【請求項5】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像について、2種類以上の方法
    を用いて画像上の特徴を抽出した後、各方法による抽出
    結果を統合する請求項1に記載された車輌判別装置。
  6. 【請求項6】 前記判別手段は、前記特徴抽出手段によ
    り抽出された各特徴を、前記仮想水平面上に所定の車輌
    モデルを透視変換して得られる特徴と比較し、その比較
    結果に基づき前記観測位置における車輌を判定する請求
    項1〜5のいずれかに記載された車輌判別装置。
  7. 【請求項7】 所定の観測位置における車輌を判別する
    ための装置であって、 前記観測位置を撮像して得られた2次元画像を入力する
    画像入力手段と、 入力された2次元画像を車輌の支持面を含む仮想水平面
    上に透視変換する画像変換手段と、 前記画像変換手段により透視変換された入力画像につい
    て車頭部分の画像候補となる特徴を抽出する特徴抽出手
    段と、 前記特徴抽出手段により抽出された各特徴間の距離を、
    前記仮想水平面上に所定の車輌モデルを透視変換して得
    られる特徴の大きさと比較して、各特徴が車頭部分の画
    像であるか否かを判別する判別手段とを備えて成る車輌
    判別装置。
  8. 【請求項8】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像と、前記観測位置における背
    景画像の透視変換画像との差分画像より、前記特徴を抽
    出する請求項7に記載された車輌判別装置。
  9. 【請求項9】 前記特徴抽出手段は、前記画像変換手段
    により透視変換された画像上で、車輌の幅方向における
    エッジ成分を、前記特徴として抽出する請求項7に記載
    された車輌判別装置。
  10. 【請求項10】 前記特徴抽出手段は、前記画像変換手
    段により透視変換された画像と、1段階前に透視変換さ
    れた入力画像との差分処理により透視変換画像上の変動
    部分を、前記特徴として抽出する請求項7に記載された
    車輌判別装置。
  11. 【請求項11】 道路上を走行する車輌を判別するため
    の装置であって、 前記道路上の観測位置を撮像して得られた2次元画像を
    入力する画像入力手段と、 入力された2次元画像を道路面を含む仮想水平面上に透
    視変換する画像変換手段と、 前記画像変換手段により透視変換された画像について特
    徴抽出を行う特徴抽出手段と、 前記特徴抽出手段により抽出された各特徴を用いて道路
    上に車輌が存在するか否かを仮判別する仮判別手段と、 過去複数回の入力画像についての仮判別結果を記憶する
    記憶手段と、 前記記憶手段に記憶された各入力画像毎の仮判別結果を
    追跡して、道路上に車輌が存在するか否かを最終的に判
    別する最終判別手段とを備えて成る車輌判別装置。
JP21934296A 1996-07-31 1996-07-31 車輌判別装置 Expired - Fee Related JP3605955B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21934296A JP3605955B2 (ja) 1996-07-31 1996-07-31 車輌判別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21934296A JP3605955B2 (ja) 1996-07-31 1996-07-31 車輌判別装置

Publications (2)

Publication Number Publication Date
JPH1049662A true JPH1049662A (ja) 1998-02-20
JP3605955B2 JP3605955B2 (ja) 2004-12-22

Family

ID=16733959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21934296A Expired - Fee Related JP3605955B2 (ja) 1996-07-31 1996-07-31 車輌判別装置

Country Status (1)

Country Link
JP (1) JP3605955B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059165A (ja) * 2004-08-20 2006-03-02 Riyuukoku Univ 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体
JP2011008505A (ja) * 2009-06-25 2011-01-13 Mitsubishi Electric Corp 車両検知装置、交通情報提供システム、車両検知方法および車両検知プログラム
JP2014010765A (ja) * 2012-07-02 2014-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、画像式感知器及びコンピュータプログラム
WO2014054328A1 (ja) * 2012-10-02 2014-04-10 株式会社 東芝 車両検知装置
JP2015022658A (ja) * 2013-07-22 2015-02-02 株式会社東芝 車両監視装置、および車両監視方法
US9262683B2 (en) 2012-12-04 2016-02-16 Sony Corporation Image processing device, image processing method, and program
JP2017084417A (ja) * 2017-02-02 2017-05-18 株式会社東芝 車両監視装置、および車両監視方法
CN113863180A (zh) * 2021-09-16 2021-12-31 泰州市雷信农机电制造有限公司 基于大数据存储的托底防控***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059165A (ja) * 2004-08-20 2006-03-02 Riyuukoku Univ 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体
JP2011008505A (ja) * 2009-06-25 2011-01-13 Mitsubishi Electric Corp 車両検知装置、交通情報提供システム、車両検知方法および車両検知プログラム
JP2014010765A (ja) * 2012-07-02 2014-01-20 Sumitomo Electric Ind Ltd 移動体検出装置、画像式感知器及びコンピュータプログラム
WO2014054328A1 (ja) * 2012-10-02 2014-04-10 株式会社 東芝 車両検知装置
JP2014074939A (ja) * 2012-10-02 2014-04-24 Toshiba Corp 車両検知装置
US9262683B2 (en) 2012-12-04 2016-02-16 Sony Corporation Image processing device, image processing method, and program
JP2015022658A (ja) * 2013-07-22 2015-02-02 株式会社東芝 車両監視装置、および車両監視方法
US9875413B2 (en) 2013-07-22 2018-01-23 Kabushiki Kaisha Toshiba Vehicle monitoring apparatus and vehicle monitoring method
JP2017084417A (ja) * 2017-02-02 2017-05-18 株式会社東芝 車両監視装置、および車両監視方法
CN113863180A (zh) * 2021-09-16 2021-12-31 泰州市雷信农机电制造有限公司 基于大数据存储的托底防控***

Also Published As

Publication number Publication date
JP3605955B2 (ja) 2004-12-22

Similar Documents

Publication Publication Date Title
JP4822766B2 (ja) 路面標示認識装置及びシステム
US7899211B2 (en) Object detecting system and object detecting method
US20020134151A1 (en) Apparatus and method for measuring distances
EP1383100A2 (en) Local positioning apparatus and method therefor
JP2000357233A (ja) 物体認識装置
CN108197523B (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及***
JP4872769B2 (ja) 路面判別装置および路面判別方法
EP3115933B1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
JP6226368B2 (ja) 車両監視装置、および車両監視方法
JP5834933B2 (ja) 車両位置算出装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
CN107346547B (zh) 基于单目平台的实时前景提取方法及装置
JP2002228423A (ja) タイヤ検出方法および装置
JPH1173514A (ja) 車両用認識装置
JPH11195127A (ja) 白線認識方法および装置
JP4123138B2 (ja) 車両検知方法及び車両検知装置
JPH07334800A (ja) 車両認識装置
JPH1049662A (ja) 車輌判別装置
JP3516118B2 (ja) 物体認識方法および物体認識装置
CN112766046B (zh) 一种目标检测方法及相关装置
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP3465531B2 (ja) 物体認識方法およびその装置
JPH1055446A (ja) 物体認識装置
JP5903901B2 (ja) 車両位置算出装置
JP3475700B2 (ja) 物体認識方法、物体認識装置、および車輌認識装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees