JP4052299B2 - カメラ式車両感知器における露光制御方法及び装置 - Google Patents

カメラ式車両感知器における露光制御方法及び装置 Download PDF

Info

Publication number
JP4052299B2
JP4052299B2 JP2004294119A JP2004294119A JP4052299B2 JP 4052299 B2 JP4052299 B2 JP 4052299B2 JP 2004294119 A JP2004294119 A JP 2004294119A JP 2004294119 A JP2004294119 A JP 2004294119A JP 4052299 B2 JP4052299 B2 JP 4052299B2
Authority
JP
Japan
Prior art keywords
vehicle
brightness
contrast
vehicles
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004294119A
Other languages
English (en)
Other versions
JP2006109165A (ja
Inventor
理 服部
弘 下浦
健二 天目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2004294119A priority Critical patent/JP4052299B2/ja
Publication of JP2006109165A publication Critical patent/JP2006109165A/ja
Application granted granted Critical
Publication of JP4052299B2 publication Critical patent/JP4052299B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、カメラにて道路を撮影して画像処理することにより、道路上の車両を検知することができるカメラ式車両感知器に関し、特にカメラ式車両感知器によって得られる露光制御方法及び装置に関するものである。
道路上の車両を感知する車両感知器として、超音波式のものがよく知られている。この超音波式は道路の上から下に向けて超音波を発射し、その反射波の到達時間を検出することにより車両の計測を行うものであるが、一台ごとの車両の特徴を検出することまではできない。
そこで、カメラにて道路を撮影して画像処理することにより、車両の特徴を検出し、車両のナンバープレートなどの特定もできるカメラ式車両感知器が知られている。
特開2001-021958号公報
このカメラ式車両感知器で行われる、カメラのEE (Electric Eye camera) 制御(被写体に当たる光の強弱に応じて自動的に露出を調節する制御)では、撮影対象とする道路の範囲(撮影対象範囲という)の輝度の平均値を算出し、その平均値が、目標とする輝度になるように、露光時間や絞り量を調整していた。
ところが、撮影対象範囲に日向と日陰が混在する場合、前記制御を行うと、日向の車両は、太陽光の反射で明るく写って、明るい道路とのコントラストがとれず、車両識別が困難になり、ナンバープレートの読取りなど車両の特徴を検出するための後処理に支障を与えるおそれがある。日陰の車両についても、太陽光の陰のため暗く写って、暗い道路とのコントラストがとれず、車両識別が困難になるという同じ問題が発生する。
これは、日向と日陰の道路の輝度の平均値を求めて、それが目標輝度に近づくようにどちらの露光制御を行っているから、日向、日陰のいずれの車両も検出がしにくくなるのである。
そこで、本発明は、日向と日陰が混在する画面でも、できるだけ多くの車両の識別が容易にできるカメラ式車両感知器における露光制御方法及び装置を提供することを目的とする。
本発明のカメラ式車両感知器における露光制御方法は、カメラ式車両感知器で撮影した画像を入力し、撮影対象範囲の中から車両の存在部分を切り取り、入力された画像の輝度のデータに基づいて、撮影対象範囲を日向又は日陰のいずれかに区分し、日向に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出し、日陰に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出し、日向においてコントラストが閾値以下となる車両台数Aと、日陰においてコントラストが閾値以下となる車両台数Bとを算出し、車両台数A>車両台数Bであれば、露光量を減らすよう露光条件を変更し、車両台数A<車両台数Bであれば、露光量を増やすよう露光条件を変更する方法である(請求項1)。
この露光制御方法によれば、日向に含まれる車両とその周囲の道路とのコントラストを算出し、日陰に含まれる車両とその周囲の道路とのコントラストを算出し、コントラストの低い車両台数の多いほうの区分にあわせて、露光条件の補正を行う。
したがって、画面が日向及び日陰を含む場合、日向に含まれる車両でコントラストの悪いものが多ければ、それらを適正な露出で検出できる方向に露光条件を変えることができ、日陰に含まれる車両でコントラストの悪いものが多ければ、それらを適正な露出で検出できる方向に露光条件を変えることができる。
このようにして、画面に写ったできるだけ多くの車両が検出できるようになる。
前記露光制御方法において、日向に含まれる車両の存在範囲の輝度の最大値を用いて、その周囲の輝度とのコントラストを算出することとすれば(請求項2)、コントラストは低めに算出される。これは、日向では周囲の道路の輝度は高いので、車両の明るい部分(例えば、車体の光る部分、白い車なら車体の屋根など)とその周囲の道路との輝度差は少なくなるからである。したがってコントラストは低めに算出されるようになり、日向においてコントラストが閾値以下となる車両台数Aは多くなり、これらの車両を検出しやすくなるよう露光条件を変更することができる。
前記露光制御方法において、日陰に含まれる車両の存在範囲の輝度の最小値を用いて、その周囲の輝度とのコントラストを算出することとすれば(請求項3)、コントラストは低めに算出される。これは、日陰は周囲の道路の輝度は低いので、車両の暗い部分(例えば、車体の下の部分、フロント窓、タイヤなど)とその周囲の道路との輝度差は少なくなるからである。したがってコントラストは低めに算出されるようになり、日陰においてコントラストが閾値以下となる車両台数Bは多くなり、これらの車両を検出しやすくなるよう露光条件を変更することができる。
また、本発明のカメラ式車両感知器の露光制御装置は、請求項1記載の露光制御方法と同一の発明に係る装置である(請求項4)。
以上のように本発明によれば、画面が日向及び日陰を含む場合、日向に含まれる車両でコントラストの低いものが多ければ、それらを検出できる方向に露光条件を変えることができ、日陰に含まれる車両でコントラストの低いものが多ければ、それらを検出できる方向に露光条件を変えることができる。このようにして、日向と日陰が混在する画面でも、できるだけ多くの車両の識別が容易にできるようになる。
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の露光制御装置を適用したカメラ式車両感知システムの概略構成図である。
道路の近傍に設置されたポール2の上部にカメラ式車両感知器1が取り付けられている。このカメラ式車両感知器1から、道路の交通状態を収集する交通情報センター3のコンピュータ4まで、通信回線5が接続されている。通信回線5は、有線/無線のいずれか又はこれらの結合でもよく、専用回線、公衆通信回線を問わない。
図2は、カメラ式車両感知器1の内部構成を示すブロック図である。カメラ式車両感知器1は、カメラ11と、カメラ11の動作を制御するカメラDSP(Digital Signal Processor)12と、画像処理装置13と、通信インターフェイス14とを有する。
カメラ11は、レンズ系15とイメージセンサ16とを含んでいる。レンズ系15における開口絞り量は、カメラDSP12からの絞り制御信号に基づいて調整される。カメラ11の視野は、道路(図示せず)に向けられており、カメラ11は道路状態を撮影しその撮影画像をイメージセンサ16に形成する。イメージセンサ16上に形成された画像のデータは、カメラDSP12へ出力される。イメージセンサ16の露光時間(シャッタ速度に相当)は、カメラDSP12からの露光時間制御信号に基づいて調整される。
画像処理装置13は、路面領域の画像データを生成する。この画像を「基準画像」という。基準画像データは、通信インターフェイス14、通信回線5を通して交通情報センター3まで伝送される。コンピュータ4は、基準画像データに基づき、車両の検出、ナンバープレート読取り、車両の速度検出、渋滞長検出などを行い、交通流を把握するための各種の情報を得る。
また画像処理装置13は、基準画像データに基づき、カメラ11の露光制御を実行する。露光制御の結果は、カメラDSP12を通してイメージセンサ16の露光時間制御やレンズ系15の絞り制御に用いられる。
図3は、画像処理装置13の行う露光制御の概要を説明するためのグラフである。横軸に時刻、縦軸に輝度と露光時間をとっている。露光制御は、夜間、朝、昼間、夕方別に実行される。夜間はヘッドライトの撮影が目的であり、図3に示すように露光時間固定の制御が行われる。昼間は車体やナンバープレートの撮影が目的であり、基準画像の輝度を基準となる輝度にあわせるための制御が行われる。この基準となる輝度を「目標輝度」という。なお、図3では、目標輝度は昼間固定されているが、これは目標輝度が固定される場合もあるということで、目標輝度は常に昼間固定されるものとはかぎらない。その日の時間帯ごとに目標輝度を変えてもよく、その日の天候の変化に応じて目標輝度を変えてもよい。
朝は、夜間制御から昼間制御につなぐため露光時間を長くしていく制御を行う。露光時間を長くしていくのは、夜間はヘッドライトの撮影が目的なので露光時間が比較的短くてよいが、朝は、車体等の撮影のためにイメージセンサ16の露光量を増大させる必要があり、このために露光時間を徐々に長くしていく必要があるからである。夕方は、昼間制御から夜間制御につなぐため露光時間を短くしていく制御を行う。
以下、昼間における、目標輝度を自動調整し、基準画像の輝度を目標輝度に維持するための露光制御内容を、図4を用いて説明する。図4は、カメラ式車両感知器1の露光時間制御内容を説明するための全体フローチャートである。
画像処理装置13は、基準画像データを入力し(ステップS1)、基準画像データに対して、基準画像データの画面全体にわたる輝度の平均値を算出する。なおこのとき、過去に一定回数取り込んだ基準画像データも考慮した移動平均をとってもよい。そして、この輝度平均値と、目標輝度との差を算出して(ステップS2,3)、この差が少なくなるように露光時間や絞りの増減を行う(ステップS4)。
図5は、本発明の、コントラストの低い車両台数に応じて、露光量を増減する露光補正方法を説明するためのフローチャートである。図6は、基準画像の例を示す図である。画面には片側3車線の道路が写っていて、画面左に高架道路の橋桁がある。この高架道路の陰が日陰の部分であり、それ以外が日向の部分である。
図5において、まず基準画像を複数の区画に分割する(ステップT1)。これは、日向部分と日陰部分とを区画単位で区別するために行う。分割された区画の例を図7に示す。同図では基準画像を3×4に分割している。
次に、分割した区画ごとに日向、日陰を判定する(ステップT2)。判定方法は、区画の輝度平均値が閾値より高いか低いかに基づいて行う。
次に、各区画内の車両の存在部分を切り取る。車両の存在部分を切り取る方法は、公知であり、例えば特開昭63-174199号公報に記載されている。図6に写っている4台の車両に対応して、切り取られた車両の存在部分をa1,a2,b1,c1で表わしている。そして車両が属する区画を決定する。車両存在部分a2は、右上の区画に属するが、車両存在部分a1,b1,c1は複数の区画にまたがっている。このようなときは、車両存在部分の一番大きな面積の部分が属する区画を、その車両が属する区画として決定する。これにより、車両ごとに日向、日陰の区別ができる。さらに車両存在部分の近くに、路面の輝度を求めるための部分を特定する。例えば区画r1〜r8が特定された路面部分である。
次に、次式で規定される各車両の輝度差コントラストを求める(ステップT3)。
輝度差コントラスト=(車両輝度−路面輝度)の絶対値/(路面輝度)
ここで、車両輝度は、日向の車両の場合、車両存在部分の輝度の最大値とし、日陰の車両の場合、車両存在部分の輝度の最小値とする。路面輝度は、当該車両の近くの路面部分の輝度であり、これも日向の車両の場合、路面部分の輝度の最大値とし、日陰の車両の場合、路面部分の輝度の最小値とする。
日向において輝度差コントラストがコントラスト閾値以下のものの車両台数Aを算出し(ステップT4)、日陰において輝度差コントラストがコントラスト閾値以下のものの車両台数Bを算出する(ステップT5)。このコントラスト閾値は、コンピュータ4が、基準画像データに基づき、車両の検出、ナンバープレート読取り、車両の速度検出、渋滞長検出などの後処理を行うことが容易にできるか、困難であるかに基づいて決定するとよい。
次に、車両台数A,Bを比較し(ステップT6)、A>Bすなわち日向においてコントラストの低い車両が多い場合は、画面全体の露光時間を短くするように制御する(ステップT7)。これにより、日向において輝度差コントラストの増大を図ることができ、コントラスト閾値以下のものの車両台数Aを減らすことができる。なお、この処理により、日陰において輝度差コントラストがコントラスト閾値以下の車両台数Bが若干増えることもあり得るが、車両台数Bの増大よりも、車両台数Aの減少のほうが著しいので、画面全体として、車両の輝度差コントラストを増加の方向に調整することができる。
A<Bすなわち日陰においてコントラストの低い車両が多い場合は(ステップT8)、画面全体の露光時間を長くするように制御する(ステップT7)。これにより、日陰において輝度差コントラストの増大を図ることができ、コントラスト閾値以下のものの車両台数Bを減らすことができる。なお、この処理により、日向において輝度差コントラストがコントラスト閾値以下の車両台数Aが若干増えることもあり得るが、車両台数Aの増大よりも、車両台数Bの減少のほうが著しいので、画面全体として、車両の輝度差コントラストを増加の方向に調整することができる。
A=Bであれば、露光時間の変更は行わない(ステップT10)。
なお、ステップT7,T9において、露光時間を変更する処理以外に、絞り量を変更してもよい。この場合、露光時間を長くすることは絞り量を大きくすることに対応し、露光時間を短くすることは絞り量を小さくすることに対応する。それ以外に、目標輝度を変更してもよい。露光時間を長くすることは目標輝度を上げることに対応し、露光時間を短くすることは目標輝度を下げることに対応する。
このようにして、日向又は日陰において輝度差コントラストの低い車両台数を減らすことができ、画面全体としても、輝度差コントラストの低い車両台数を減らすことができる。
したがって、車両の検出、ナンバープレート読取り、車両の速度検出、渋滞長検出など後処理をする場合に、処理の確実性を向上させることができる。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、前記のカメラ式車両感知システムでは、画像処理装置13はカメラ式車両感知器1に設けられていたが、これに限定されるものではなく、カメラ式車両感知器1と通信回線5でつながったパーソナルコンピュータ4の中に設けてもよい。その他、本発明の範囲内で種々の変更を施すことが可能である。
(1)図6の撮影対象範囲を選び、晴天において、絞りを開き気味にして画面を明るく撮影した。画像データの画素数は640×480とし、輝度を0〜255階調で表わした。実際、この画面は明るすぎて日向の車両のコントラストが取れず、日向の車両の後処理ができない例である。
図7の車両部分a1と、その周囲の路面部分r3の輝度を測定した。
路面部分r3の平均輝度は250、最大値は252、最小値は246であった。車両部分a1の平均輝度は214、最大値は255、最小値は26となった。車両部分a1の平均輝度と路面部分r3の平均輝度を用いて、車両部分a1の輝度差コントラスト(平均輝度)を算出し、車両部分a1の最大値と路面部分r3の最大値を用いて、車両部分a1の輝度差コントラスト(最大値)を算出し、車両部分a1の最小値と路面部分r3の最小値を用いて、車両部分a1の輝度差コントラスト(最小値)を算出した。その結果、
輝度差コントラスト(平均輝度)=0.144
輝度差コントラスト(最大値)=0.012
輝度差コントラスト(最小値)=0.894
となり、輝度差コントラスト(最大値)が最も低い値になっている。この輝度差コントラスト(最大値)が、当該車両のコントラストを最も適切に表わしているといえる。したがって、この輝度差コントラスト(最大値)を用いて、日向においてコントラストの低い車両であるかどうかの判定を行うことが好ましい。これによって、画面全体の露光条件を、日向の車両のコントラストがハッキリする方向に変更することができる。なお、日陰の車両のコントラストはすこし悪くなるが、悪くなっても後処理に支障を与えるほどでない。
(2)つぎに、同じ時間において、絞りを閉じ気味にして画面を暗く撮影した。画像データの画素数は640×480とし、輝度を0〜255階調で表わした。実際、この画面は暗すぎて日陰の車両のコントラストが取れず、日陰の車両の後処理ができない例である。
図7の路面部分r8の平均輝度は43.4、最大値は50、最小値は38であった。車両部分c1の平均輝度は57.2、最大値は201、最小値は28となった。車両部分c1の平均輝度と路面部分r8の平均輝度を用いて、車両部分c1の輝度差コントラスト(平均輝度)を算出し、車両部分c1の最大値と路面部分r8の最大値を用いて、車両部分c1の輝度差コントラスト(最大値)を算出し、車両部分c1の最小値と路面部分r8の最小値を用いて、車両部分c1の輝度差コントラスト(最小値)を算出した。その結果、
輝度差コントラスト(平均輝度)=0.318
輝度差コントラスト(最大値)=3.02
輝度差コントラスト(最小値)=0.263
となり、輝度差コントラスト(最小値)が最も低い値になっている。したがって、この輝度差コントラスト(最小値)が、当該車両のコントラストを最も適切に表わしているといえる。したがって、この輝度差コントラスト(最小値)を用いて、日陰においてコントラストの低い車両であるかどうかの判定を行うことが好ましい。これによって、画面全体の露光条件を、日陰の車両のコントラストがハッキリする方向に変更することができる。なお、日向の車両のコントラストはすこし悪くなるが、悪くなっても後処理には支障がない。
本発明の露光制御装置を適用したカメラ式車両感知システムの概略構成図である。 カメラ式車両感知器1の内部構成を示すブロック図である。 露光制御の概要を説明するためのグラフである。 カメラ式車両感知器1の露光時間制御内容を説明するための全体フローチャートである。 本発明の、コントラストの低い車両台数に応じて、露光量を増減する露光補正方法を説明するためのフローチャートである。 撮影した画面の例を示す図である。 画面を分割した例を示す図である。
符号の説明
1 カメラ式車両感知器
2 ポール
3 交通情報センター
4 コンピュータ
5 通信回線
11 カメラ
12 カメラDSP
13 画像処理装置
14 通信インターフェイス
15 レンズ系
16 イメージセンサ

Claims (4)

  1. カメラ式車両感知器で撮影した画像を入力し、
    撮影対象範囲の中から車両の存在部分を切り取り、
    入力された画像の輝度のデータに基づいて、撮影対象範囲を日向又は日陰のいずれかに区分し、
    日向に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出し、
    日陰に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出し、
    日向においてコントラストが閾値以下となる車両台数Aと、日陰においてコントラストが閾値以下となる車両台数Bとを算出し、
    車両台数A>車両台数Bであれば、露光量を減らすよう露光条件を変更し、車両台数A<車両台数Bであれば、露光量を増やすよう露光条件を変更することを特徴とするカメラ式車両感知器における露光制御方法。
  2. 前記日向に含まれる車両の存在範囲の輝度と、その周囲の輝度とのコントラストを算出する場合に、
    前記日向に含まれる車両の存在範囲の輝度の最大値を用いて、その周囲の輝度とのコントラストを算出することを特徴とする請求項1記載のカメラ式車両感知器における露光制御方法。
  3. 前記日陰に含まれる車両の存在範囲の輝度と、その周囲の輝度とのコントラストを算出する場合に、
    前記日陰に含まれる車両の存在範囲の輝度の最小値を用いて、その周囲の輝度とのコントラストを算出することを特徴とする請求項1記載のカメラ式車両感知器における露光制御方法。
  4. カメラ式車両感知器のカメラで撮影した画像のデータを入力する画像データ入力手段と、
    撮影対象範囲の中から車両の存在部分を切り取る車両存在部分特定手段と、
    入力された画像の輝度のデータに基づいて、撮影対象範囲を日向又は日陰のいずれかに区分し、日向の区画に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出し、日陰の区画に含まれる車両の存在部分の輝度と、その周囲の輝度とのコントラストを算出するコントラスト算出手段と、
    日向においてコントラストが閾値以下となる車両台数Aと、日陰においてコントラストが閾値以下となる車両台数Bとを算出し比較する台数比較手段と、
    台数比較手段により車両台数A>車両台数Bと判定されれば、露光量を減らすよう露光条件を変更し、車両台数A<車両台数Bであれば、露光量を増やすよう露光条件補正手段とを備えることを特徴とするカメラ式車両感知器における画面の輝度調整装置。
JP2004294119A 2004-10-06 2004-10-06 カメラ式車両感知器における露光制御方法及び装置 Expired - Fee Related JP4052299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004294119A JP4052299B2 (ja) 2004-10-06 2004-10-06 カメラ式車両感知器における露光制御方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004294119A JP4052299B2 (ja) 2004-10-06 2004-10-06 カメラ式車両感知器における露光制御方法及び装置

Publications (2)

Publication Number Publication Date
JP2006109165A JP2006109165A (ja) 2006-04-20
JP4052299B2 true JP4052299B2 (ja) 2008-02-27

Family

ID=36378353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004294119A Expired - Fee Related JP4052299B2 (ja) 2004-10-06 2004-10-06 カメラ式車両感知器における露光制御方法及び装置

Country Status (1)

Country Link
JP (1) JP4052299B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776920B1 (ko) 2007-07-26 2007-11-20 주식회사에이멕스 곡물 선별용 카메라의 이득 자동 조정방법
JP5915478B2 (ja) * 2012-09-21 2016-05-11 富士通株式会社 画像処理装置、方法及びプログラム
JP2015049616A (ja) * 2013-08-30 2015-03-16 株式会社東芝 車両番号撮像装置、および車両番号撮像方法

Also Published As

Publication number Publication date
JP2006109165A (ja) 2006-04-20

Similar Documents

Publication Publication Date Title
US7634107B2 (en) Roadway type judgment method and apparatus
JP4248558B2 (ja) 道路区画線検出装置
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP5147369B2 (ja) 昼夜画像識別方法及び装置
JP5071198B2 (ja) 信号機認識装置,信号機認識方法および信号機認識プログラム
JPH08166221A (ja) 夜間用車両認識装置
JP2003346278A (ja) 車両待機行列の長さ測定装置及びその方法
KR20140034825A (ko) 차량 및 차량용 카메라 장치를 작동시키는 방법
JPH08240833A (ja) 車両用カメラの露光制御装置
JP2016196233A (ja) 車両用道路標識認識装置
JP2007028279A (ja) 車両及び路面標示認識装置
CN104008518B (zh) 对象检测设备
JP2005148308A (ja) 白線検出用カメラの露出制御装置
JPH09282452A (ja) 監視装置
JP2006080752A (ja) カメラ用露光制御装置および制御方法
JP6267493B2 (ja) 矢印信号灯検出装置
JP3952989B2 (ja) カメラ式車両感知器の露光制御方法及び装置
WO2010082277A1 (ja) 撮像装置及び撮像方法
JP4052299B2 (ja) カメラ式車両感知器における露光制御方法及び装置
JP2005073296A (ja) 車両用カメラの露光制御装置
JP4304610B2 (ja) カメラ式車両感知器における画面の輝度調整方法及び装置
JP3742152B2 (ja) 車両用撮像装置
JP4818027B2 (ja) 車載画像処理装置
JP5151814B2 (ja) 走行区分帯検出装置及び走行区分帯検出装置用プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees