JP4570055B2 - 車線逸脱報知装置 - Google Patents

車線逸脱報知装置 Download PDF

Info

Publication number
JP4570055B2
JP4570055B2 JP2009504982A JP2009504982A JP4570055B2 JP 4570055 B2 JP4570055 B2 JP 4570055B2 JP 2009504982 A JP2009504982 A JP 2009504982A JP 2009504982 A JP2009504982 A JP 2009504982A JP 4570055 B2 JP4570055 B2 JP 4570055B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
notification
lane departure
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009504982A
Other languages
English (en)
Other versions
JPWO2008114382A1 (ja
Inventor
博人 井上
光男 安士
雅俊 柳平
直彦 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2008114382A1 publication Critical patent/JPWO2008114382A1/ja
Application granted granted Critical
Publication of JP4570055B2 publication Critical patent/JP4570055B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Description

【技術分野】
【0001】
本発明は、車両が走行車線を逸脱しそうな場合に運転者に対して報知を行う車線逸脱報知装置に関する。
【背景技術】
【0002】
近年、走行車線の車線端(白線)をCCDカメラ等の撮像手段を用いて認識し、この車線端情報に基づいて車線端と車両との位置関係を求め、これを用いて車両が車線を逸脱する可能性を予測し、逸脱の可能性がある場合に運転者に対して報知を行う車線逸脱報知装置が知られている。
【0003】
このような車線逸脱報知装置においては、車線端と車両の位置関係に基づいて車両の車線逸脱を判定する。したがって、例えば走行車線を変更する場合等、運転者が意図的に車両を車線端に接近させた場合であっても報知が行われてしまい、運転者が違和感を覚えるという問題があった。
【0004】
このような不都合に対処する車線逸脱報知装置が従来より知られている。例えば、特許文献1には、運転者が車線変更の意思をもって意図的に車両を車線端に接近させた場合には、報知を中止させる車線逸脱報知装置(車線逸脱警報装置)が開示されている。この従来技術では、運転者の車線変更の意思を方向指示スイッチ(ウィンカー)のON・OFF操作によって検出している。これにより、運転者がウィンカーをONにして車線変更を行う場合には、報知を中止させることができる。
【0005】
【特許文献1】
特許第3196639号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記従来技術では、運転者の車線変更の意思をウィンカーのON・OFF操作によって検出し、ウィンカーをONにして車線変更を行う場合には運転者に車線変更の意思があるとみなして報知を中止させる。しかしながら、例えば交差点手前の右折又は左折レーン等においては、運転者がウィンカーを出さずに車線変更をする場合も少なくない。このような場合、上記従来技術ではいちいち不要な報知が行われることとなり、快適な運転の妨げとなる。また一方で、例えば対面通行の道路において、運転者が複数の車線と勘違いし、ウィンカーを出して車線変更のつもりで対向車線に侵入しようとする場合が考えられる。このような場合、運転者に車線変更の意思があるとはいえ、安全確保の観点から本来であれば報知をすべきである。しかしながら、上記従来技術ではウィンカーをONとしているために報知が行われない。このように、上記従来技術では、車両の走行場面に応じた適切な報知を行うことができなかった。
[0007]
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
課題を解決するための手段
[0008]
上記課題を解決するために、本発明は、車両が走行する走行車線を区画する区画線を含む前記車両の周囲を撮像する撮像手段より取得した画像データに基づき、前記車両の前記走行車線からの逸脱傾向の有無を判定する車線逸脱判定手段と、前記車両の現在地情報に基づき、前記車両の現在地周辺の道路情報を取得する道路情報取得手段と、前記車線逸脱判定手段の判定結果と前記道路情報とに応じ、少なくとも運転者に対し所定の報知を行う報知手段を制御する報知制御手段と、前記撮像手段より取得した画像データに基づき、前記区画線の線種を認識する線種認識手段とを有し、前記報知制御手段は、前記道路情報がセンターラインのない1車線道路に対応する情報であり、且つ、前記車両の両側の区画線が共に白の実線である場合に、前記車両の進行方向左側への車線逸脱に対し報知を行わないように前記報知手段を制御する。
発明を実施するための最良の形態
[0009]
以下、本発明の一実施の形態を図面を参照しつつ説明する。
<第1実施形態>
図1は、第1実施形態の車線逸脱報知装置100を搭載する車両1の構成例及び搭載されるカメラ10の撮像領域の一例を示す概念図である。
車両1は、例えば自動車であり、カメラ10、GPS(Global Positioning System)アンテナ20、地図データベース30、及びスピーカ40と電子制御ユニット(以下、「ECU」と記載する)50とから構成される車線逸脱報知装置100を搭載している。
[0010]
カメラ10(撮像手段)は、例えばCCD(Charge Coupled Device)を用いたいわゆるデジタルカメラである。図1の撮像領域Pに示すように、このカメラ10は、車両1が走行する走行車線TLを区画する左右の区画線L,Lを含む車両1の周囲(本例では前方)を撮像し、この車両1の前方の画像に基づく画像データDcをECU50に出力する機能を有する。なお、このカメラ10は、車両1の前方をより広角に撮像するため、例えば広角レンズを用いて撮影している。
【0011】
GPSアンテナ20は、GPS衛星からの測位用情報を受信するためのアンテナであり、ECU50(詳細には後述する現在地情報取得部54)は、このGPSアンテナ20で受信した測位用情報(測位用電波)Dw用いて車両1の現在位置を測位し、現在地情報Dpを取得する。また、地図情報データベース30は、地図情報を読み出し可能に格納するデータベースであり、例えばCD−ROMドライブ等が用いられる。
【0012】
スピーカ40は、ECU50(詳細には後述する報知制御部56)から出力される制御信号Dsに応じ、少なくとも車両1を運転する運転者に対し、音声による報知を行う。なお、報知手段としては、スピーカ以外にもブザー等を用いてもよい。また、このような音声による報知手段に限られず、液晶表示装置や警告ランプ等の視覚的に報知する手段を用いてもよい。また、これら音声報知手段と視覚的報知手段を併せて用いるようにしてもよい。
【0013】
ECU50は、特に図示して説明はしないが、中央演算処理装置であるCPU、ROM及びRAM等のメモリ、及び入出力インターフェース等を有するコンピュータとして機能するものであり、RAMの一時記憶機能を利用しつつROMに予め記憶された車線逸脱報知処理プログラム(例えば後述の図3〜図6に示す制御手順を実行するプログラム)に従って信号処理を行うようになっている。この車線逸脱処理プログラムを実行することによって、カメラ10から出力される画像データDcに対し所定の画像処理を行い、車両1の車線TLからの逸脱傾向の有無を判定するとともに、車両1の現在地情報Dpに基づき地図情報データベース30から車両1の現在地周辺の道路情報Drを読み出し、これら逸脱傾向の判定結果情報Dj及び道路情報Drに応じ、制御信号Dsをスピーカ40に出力し、スピーカ40による報知を制御する機能を有する(詳細は後述)。
【0014】
図2は、ECU50の機能構成の一例を示すブロック図である。
この図2に示すように、ECU50は、画像取得部51、距離算出部52(距離算出手段)、車線逸脱判定部53(車線逸脱判定手段)、現在地情報取得部54、道路情報取得部55(道路情報取得手段)、及び報知制御部56(報知制御手段)を備えている。
【0015】
ECU50には、上述したカメラ10によって撮像された車両1の前方画像に基づく画像データDcが入力される。この入力された画像データDcは、画像取得部51によって取得され、距離算出部52によって所定の画像処理が行われる。この画像処理によって、車両1と区画線LL,LRとの間の距離Dd(詳細には、図1に示すように、カメラ10と区画線LL,LRとの間の距離DL,DR)がそれぞれ算出される。
【0016】
車線逸脱判定部53は、この算出された距離Ddに基づき、車両1の走行車線TLからの逸脱傾向の有無を判定する。詳細には、カメラ10と左側の区画線LL(又は右側の区画線LR)との間の距離DL(又は距離DR)が所定のしきい値(例えば20cm)より小さいか否かを判定すると共に、それら距離DL,DRを微分処理することにより算出した車両1の左方向速度dDL及び右方向速度dDRにより、車両1が上記しきい値より小さくなった側に向かっているか否かにより、車両1の区画線LL方向又は区画線LR方向への走行車線TLからの逸脱傾向の有無を判定する。なお、上記微分処理については、上記距離算出部52で行うようにしてもよい。
【0017】
一方、現在地情報取得部54は、GPSアンテナ20で受信した測位用情報Dwを用いて車両1の現在位置を測位し、現在地情報Dpを取得する。道路情報取得部55は、この現在地情報Dpに基づき、地図情報データベース30から車両1の現在地周辺の道路情報Drを読み出し取得する。この道路情報Drには、車両1が走行中の道路の種類(高速道路、幹線道路、一般道路等)、場所(交差点付近、分岐・合流地点付近、登坂車線付近等)、車線数、車線の幅等の情報が含まれる。
【0018】
報知制御部56は、車線逸脱判定部53の判定結果情報Djと道路情報取得部55で取得した道路情報Drとに応じ、スピーカ40の報知動作を制御する。
【0019】
図3は、ECU50によって実行される制御手順を表すフローチャートである。
ステップS10では、車両1が走行中である車線TLの両側の区画線LL,LRの検出を行う。具体的には、画像取得部51でカメラ10より入力される車両1の前方の画像データDcを取得し、距離算出部52でこの画像データDcの画像処理を行って、車両1と区画線LL,LRとの間の距離Dd(カメラ10と区画線LL,LRとの間の距離DL,DR)をそれぞれ算出する。
【0020】
ステップS20では、車両1が区画線LL又は区画線LRに接近したか否かの判定を行う。具体的には、車線逸脱判定部53で、上記ステップS10で算出された距離Ddに基づき、カメラ10と左側の区画線LL(又は右側の区画線LR)との間の距離DL(又は距離DR)が所定のしきい値(例えば20cm)より小さいか否かを判定すると共に、それら距離DL,DRを微分処理することにより算出した車両1の左方向速度dDL及び右方向速度dDRにより、車両1が上記しきい値より小さくなった側に向かっているか否かにより、車両1の区画線LL方向又は区画線LR方向への走行車線TLからの逸脱傾向の有無を判定する。左右どちら側の区画線LL,LRにも接近していない場合には、判定が満たされずに上記ステップS10に戻る。一方、区画線LL,LRのどちらか一方に接近している場合には、判定が満たされて次のステップS30に移る。
【0021】
ステップS30では、道路情報を参照する。すなわち、現在地情報取得部54で、GPSアンテナ20で受信した測位用情報Dwに基づき現在地情報Dpを取得し、道路情報取得部55で、この現在地情報Dpに基づき地図情報データベース30から車両1の現在地周辺の道路情報Drを読み出す。
【0022】
ステップS40では、上記ステップS30において読み出した道路情報Drに基づき、車両1が特定の場所を走行中であるか否かの判定を行う。この特定の場所とは、運転者が意図するものであるにも拘わらず、ウィンカーを出さずに車線変更が行われやすい傾向がある場所を指すものであり、その場所の例としては例えば交差点付近(例えば交差点手前の右折又は左折レーン)や、分岐・合流地点付近、登坂車線付近等が挙げられる。道路情報Drに上記特定の場所を表す情報が含まれる(車両1が上記特定の場所を走行中である)場合には、判定が満たされて先のステップS10に戻る。すなわち、この場合には報知制御部56でスピーカ40に対して制御信号Dsの出力を行わず、スピーカ40による報知を行わない。一方、道路情報Drに上記特定の場所を表す情報が含まれない(車両1が上記特定の場所以外の場所を走行中である)場合には、判定が満たされずに次のステップS50に移り、報知制御部56でスピーカ40に対して制御信号Dsを出力し、スピーカ40による報知を行う。そして、先のステップS10に戻り、同様の手順を繰り返す。
【0023】
以上のように、交差点付近等の特定の場所において報知を行わないように制御することにより、一般道路中でも特に区画線が混在しているため誤動作が多くなりやすい交差点付近での動作を停止できるので、誤動作を少なくすることができる。また、従来の車線逸脱報知装置では、高速道路や幹線道路以外の一般道路における誤動作を防止するため、速度規制を設けて低速での動作を停止させる場合もあるが、本実施形態の車線逸脱報知装置によれば、誤作動が起きやすい場所を特定の場所として設定しておくことにより、上述のようにその場所において報知を行わないようにすることができるので、速度規制を設ける必要が無い。その結果、低速走行中でも区画線を検出することが可能である。さらに、前述した従来技術のように、運転者の車線変更の意思をウィンカーのON・OFF操作によって検出し、ウィンカーをONにして車線変更を行う場合には運転者に車線変更の意思があるとみなして報知を中止させるようにする場合には、車両に車線逸脱装置を搭載する際にウィンカー信号を取り込む必要があるが、本実施形態の車線逸脱報知装置100ではそのような必要がないため、車両への取り付けが容易である。
【0024】
上記実施形態における車線逸脱報知装置100においては、車両1が走行する走行車線TLを区画する区画線LL,LRを含む車両1の周囲を撮像する撮像手段10(カメラ)より取得した画像データDcに基づき、車両1の走行車線TLからの逸脱傾向の有無を判定する車線逸脱判定手段53(車両逸脱判定部)と、車両1の現在地情報Dpに基づき、車両1の現在地周辺の道路情報Drを取得する道路情報取得手段55(道路情報取得部)と、車線逸脱判定手段53の判定結果Djと道路情報Drとに応じ、少なくとも運転者に対し所定の報知を行う報知手段40(スピーカ)を制御する報知制御手段56(報知制御部)とを有する。
【0025】
このような構成である車線逸脱報知装置100においては、車両1が走行する走行車線TLを区画する区画線LL,LRを含む車両1の周囲を撮像する撮像手段10より取得した画像データDcに基づき、車線逸脱判定手段53で車両1の走行車線TLからの逸脱傾向の有無を判定する。一方、道路情報取得手段55により、車両1の現在地情報Dpに基づき現在地周辺の道路情報Drを取得する。そして、車線逸脱判定手段53による判定結果Djと道路情報Drとに応じ、報知制御手段56で報知手段40を制御する。
【0026】
これにより、取得した道路情報Drが特定の場所を表す情報である場合には、報知制御手段56により、車線逸脱判定手段53の判定結果Djに拘わらず報知を行わないように報知手段40を制御することができる。この特定の場所の例としては、上述したように例えば交差点付近(交差点手前の右折又は左折レーン)や、分岐・合流地点付近、登坂車線付近等が挙げられる。このような場所では、運転者が意図するものであるにも拘わらず、ウィンカーを出さずに車線変更が行われることも少なくない。本実施形態では、上述したようにこのような特定の場所において運転者がウィンカーを出さずに車線変更をしようとする場合であっても、報知を行わないようにすることができる。その結果、不要な報知が行われることによる煩わしさを回避でき、快適な運転を維持することができる。
【0027】
また、取得した道路情報Drが上記特定の場所以外を表す情報である場合には、報知制御手段56により、車線逸脱判定手段53で車線逸脱傾向が有ると判定した場合に報知を行うように報知手段40を制御することができる。これにより、上記特定の場所以外では、運転者がウィンカーを出す出さないに拘わらず、車両1が車線TLから逸脱しようとした場合に報知を行うことができる。その結果、例えば片側一車線の対面通行である道路において、運転者が複数の車線を有する一方通行の道路であると勘違いし、ウィンカーを出して車線変更のつもりで対向車線に侵入しようとするような場合であっても、確実に報知を行うことができる。これにより、車両1の安全を確保することができる。
【0028】
以上のようにして、車線逸脱報知装置100によれば、車両1の走行場面に応じた適切な報知を行うことができる。
【0029】
また本実施形態における車線逸脱報知装置100においては、報知制御手段56は、道路情報取得手段55で取得した道路情報Drが特定の場所を表す情報である場合に、車線逸脱判定手段53の判定結果に拘わらず、報知を行わないように報知手段40を制御する。
【0030】
これにより、特定の場所、例えば交差点手前の右折又は左折レーンや、分岐・合流地点付近、登坂車線付近等の、運転者が意図するものであるにも拘わらずウィンカーを出さずに車線変更が行われやすい場所において、運転者がウィンカーを出さずに車線変更をしようとする場合であっても、報知を行わないようにすることができる。その結果、快適な運転を維持できる。
【0031】
また本実施形態における車線逸脱報知装置100においては、報知制御手段56は、道路情報取得手段55で取得した道路情報Drが特定の場所以外を表す情報である場合には、車線逸脱判定手段53で車両1の車線逸脱傾向が有ると判定した場合に報知を行うように報知手段40を制御する。
【0032】
これにより、特定の場所以外では、運転者がウィンカーを出す出さないに拘わらず、車両1が車線TLから逸脱しようとした場合に報知を行うことができる。その結果、例えば片側一車線の対面通行である道路において、運転者が複数の車線を有する一方通行の道路であると勘違いし、ウィンカーを出して車線変更のつもりで対向車線に侵入しようとするような場合であっても、確実に報知を行うことができる。したがって、車両1の安全を確保することができる。
【0033】
また本実施形態における車線逸脱報知装置100においては、撮像手段10より取得した画像データDcに基づき、車両1と区画線LL,LRとの間の距離を算出する距離算出手段52(距離算出部)をさらに有し、車線逸脱判定手段53は、距離算出手段52の算出結果に基づき、車両1の走行車線TLからの逸脱傾向を判定する。
【0034】
これにより、算出した距離Ddを所定のしきい値と比較すると共に、算出した距離Ddを微分して速度を算出することにより、車両1が区画線LL又は区画線LRに向かって接近していることを検出することができる。その結果、車両1の車線TLからの逸脱傾向の有無及び逸脱方向を確実に判定することができる。
【0035】
<第2実施形態>
図4は、第2実施形態の車線逸脱報知装置100Aが有するECU50Aの機能構成の一例を示すブロック図である。
【0036】
本実施形態のECU50Aは、前述の第1実施形態のECU50と同様に、画像取得部51、距離算出部52、車線逸脱判定部53、現在地情報取得部54、道路情報取得部55、及び報知制御部56を有しており、これに加え、さらに線種認識部57(線種認識手段)を有するものである。
【0037】
線種認識部57は、カメラ10より入力され画像取得部51によって取得された画像データDcに基づき、画像データDc中の区画線LL,LRの線種を認識する。区画線LL,LRの線種の例としては、例えば白の実線、白の点線、黄色の実線等が挙げられる。そして、報知制御部56は、車線逸脱判定部53の判定結果情報Djと道路情報取得部55で取得した道路情報Dr、及び線種認識部57で認識した区画線LL,LRの線種情報Dkとに応じ、スピーカ40の報知動作を制御する。ECU50Aのその他の構成は前述の第1実施形態のECU50と同様であるので説明を省略する。
【0038】
図5は、ECU50Aによって実行される制御手順を表すフローチャートである。
ステップS10及びステップS20は、前述の第1実施形態(図3)のステップS10及びステップS20と同様であり、画像取得部51及び距離算出部52で車両1が走行中である車線TLの両側の区画線LL,LRの検出を行い、車線逸脱判定部53で車両1が区画線LL又は区画線LRに接近したか否かの判定を行う。
【0039】
次のステップS25では、線種認識部57により、画像取得部51で取得された画像データDcに基づき、画像データDc中の区画線LL,LRの線種を認識する。そして、この線種認識結果Dkに基づき、車線逸脱判定部53で逸脱傾向が有ると判定された側の区画線LL(又は区画線LR)が白の点線であるか否かの判定を行う。区画線が白の点線である場合には、判定が満たされてステップS10に戻る。これにより、車両1が接近する区画線が白の点線である場合には、一般に白色の点線である区画線は必要に応じてはみだしても良いものであることから、この区画線を越える車線逸脱は許容範囲とみなし、報知を行わないようにすることができる。一方、区画線が白の点線ではない場合、すなわち区画線が白の実線、又は黄色の実線等である場合には、判定が満たされずに次のステップS30に移る。
【0040】
ステップS30〜ステップS50は、前述の第1実施形態(図3)のステップS30〜ステップS50と同様である。すなわち、道路情報取得部55で現在地情報Dpに基づき地図情報データベース30から車両1の現在地周辺の道路情報Drを読み出し、この読み出した道路情報Drに基づき、車両1が特定の場所を走行中であるか否かの判定を行う。車両1が特定の場所を走行中である場合には、判定が満たされて先のステップS10に戻る。すなわち、スピーカ40による報知を行わない。一方、車両1が特定の場所以外の場所を走行中である場合には、判定が満たされずに次のステップS50に移り、スピーカ40による報知を行う。そして、先のステップS10に戻り、同様の手順を繰り返す。
【0041】
上記実施形態における車線逸脱報知装置100Aにおいては、線種認識手段57(線種認識部)で車両1が走行する走行車線TLの区画線LL,LRの線種を認識し、この認識した区画線LL,LRの線種Dk、車線逸脱判定手段53の判定結果Dj、及び道路情報Drに応じて、報知制御手段56により報知手段40を制御する。
【0042】
ここで、一般に白色の点線である区画線は必要に応じてはみ出しでも良いものであることから、この区画線を越える車線逸脱は、運転者が必要に応じて意図的に行った可能性が高い。したがってこのような場合にいちいち報知を行うと、快適な運転を妨げることになる。これに対し本実施形態においては、上述したように区画線が白色の点線である場合には、車線逸脱判定手段53の判定結果Dj及び道路情報Drに拘わらず常に報知を行わないように報知手段40を制御することができる。その結果、車両1が白色点線の区画線を越えて車線変更をしようとする場合に、報知を行わないようにすることができる。その結果、不要な報知が行われることによる煩わしさを回避でき、快適な運転を維持することができる。
【0043】
<第3実施形態>
図6は、第3実施形態の車線逸脱報知装置100Bが有するECU50Bの機能構成の一例を示すブロック図である。
【0044】
本実施形態のECU50Bは、前述の第2実施形態のECU50Aと同様に、画像取得部51、距離算出部52、車線逸脱判定部53、現在地情報取得部54、道路情報取得部55、報知制御部56、及び線種認識部57を有しており、基本的な機能構成はECU50Aと同様であるが、本実施形態の報知制御部56は、スピーカ40の報知態様を変更することが可能である。
【0045】
すなわち、報知制御部56は、車線逸脱判定部53の判定結果情報Djと道路情報取得部55で取得した道路情報Dr、及び線種認識部57で認識した区画線LL,LRの線種情報Dkのうち少なくとも1つに応じ、報知態様を変更して報知を行うようにスピーカ40の報知動作を制御する。本実施形態では、報知制御部56からスピーカ40に対し制御信号Ds−Bを出力することにより大きな音量で報知(すなわち警告)し、制御信号Ds−Sを出力することにより小さな音量で報知することが可能である。なお、ここでは音量を変更するようにしたが、報知態様としてはこれに限られず、例えば音色を変更したり音声メッセージを変更する等でもよい。また、前述したように、報知手段として液晶表示装置や警告ランプ等の視覚的報知手段を用いる場合には、表示画面の色や表示メッセージ、ランプ色を変更する等でもよい。
【0046】
図7は、ECU50Bによって実行される制御手順を表すフローチャートである。なお、以下では、車両1が片側2車線以上を有する大きな道路(高速道路や幹線道路等)を走行する場合を例にとって説明する。
【0047】
ステップS110は、前述の第2実施形態(図5)のステップS30と同様であり、道路情報取得部55で現在地情報Dpに基づき地図情報データベース30から車両1の現在地周辺の道路情報Drを読み出す。
【0048】
ステップS120では、上記ステップS110で読み出した道路情報Dr及び現在地情報Dpに基づき、車両1が複数車線のうちどの位置の走行車線TLを走行中であるのかを検出する。なお、この走行車線TLの位置検出は、カメラ10より入力される車両1の前方の画像データDcに基づいて画像処理により検出するようにしてもよい。
【0049】
ステップS130〜ステップS150は、前述の第2実施形態(図5)のステップS10〜ステップS25と同様であり、画像取得部51及び距離算出部52で車両1が走行中である車線TLの両側の区画線LL,LRの検出を行い、車線逸脱判定部53で車両1が区画線LL又は区画線LRに接近したか否かの判定を行う。そして、線種認識部57の線種認識結果Dkに基づき、車線逸脱判定部53で逸脱傾向が有ると判定された側の区画線LL(又は区画線LR)が白の点線であるか否かの判定を行う。区画線が白の点線である場合には、判定が満たされてステップS10に戻る。一方、区画線が白の点線ではない場合、すなわち区画線が白の実線、又は黄色の実線等である場合には、判定が満たされずに次のステップS160に移る。
【0050】
ステップS160では、上記ステップS120で検出した走行車線位置情報及び上記ステップS140で逸脱傾向が有ると判定された区画線の方向に基づき、車両1が道路の路側帯側又は対向車線側に逸脱しようとしているか否かを判定する。路側帯側又は対向車線側に逸脱しようとしている場合には、判定が満たされて次のステップS170に移り、報知制御部56からスピーカ40に対して制御信号Ds−Bを出力する。これにより、スピーカ40によって大きな音量で報知(すなわち警告)が行われる。一方、路側帯側又は対向車線側に逸脱しようとしていない場合、すなわち隣の走行車線(追い越し車線等)に向かって逸脱しようとしている場合には、判定が満たされずに次のステップS180に移り、報知制御部56からスピーカ40に対して制御信号Ds−Sを出力する。これにより、スピーカ40によって小さな音量で報知が行われる。
【0051】
なお、上記では車両1が道路の路側帯側又は対向車線側に逸脱しようとしているか否かの判定を、道路情報(詳細には、道路情報に基づく走行車線TLの位置情報及び逸脱傾向が有ると判定された区画線の方向)に基づき行うようにしたが、これに限られず、カメラ10より入力される車両1の前方の画像データDcに基づいて画像処理により判定するようにしてもよい。
【0052】
上記実施形態における車線逸脱報知装置100Bにおいては、報知制御手段56は、車線逸脱判定手段53の判定結果Dj、道路情報Dr、及び区画線の線種Dkのうち少なくとも1つに応じ、報知態様(音量)を変更して報知を行うように前記報知手段を制御する。
【0053】
これにより、上記実施形態のように片側二車線以上の大きな道路を走行する場合において、車線逸脱判定手段53で車線逸脱傾向が有ると判定した逸脱方向が路側帯側若しくは対向車線側である場合には、大きく報知(警告)を行って運転者に注意を促し、それ以外、すなわち逸脱方向が隣の走行車線側である場合には、小さく報知を行うことによって単なる報知にとどめる等、車両の走行場面に応じてきめ細かな報知制御を行うことができる。
【0054】
<第4実施形態>
図8は、第4実施形態の車線逸脱報知装置100Cが有するECU50Cの機能構成の一例を示すブロック図である。
【0055】
本実施形態のECU50Cは、前述の第1実施形態のECU50と同様に、画像取得部51、距離算出部52、車線逸脱判定部53、現在地情報取得部54、道路情報取得部55、及び報知制御部56を有しており、これに加え、さらに障害物認識部58(障害物認識手段)及び回避可否判定部59(回避可否判定手段)を有するものである。
【0056】
障害物認識部58は、カメラ10より入力され画像取得部51によって取得された画像データDcに基づき、車両1が走行する走行車線TL内に存在する障害物を認識する。この障害物の例としては、例えば走行車線TL内にはみ出してきた対向車、交差点付近における右左折車、路上駐車された車両、自転車、歩行者等が挙げられる。また、回避可否判定部59は、道路情報Drに含まれる走行車線TLの幅情報及び障害物認識部58の認識結果Doに基づき、走行車線TLから逸脱せずに安全な間隔を持って障害物を回避可能か否かを判定する。
【0057】
なお、ここでは回避可否判定部59による判定が、道路情報Drに含まれる走行車線TLの幅情報を用いて行わえるようにしたが、これに限られず、カメラ10より入力される画像データDcに基づき画像処理により検出した走行車線TLの幅を用いるようにしてもよい。
【0058】
そして、報知制御部56は、車線逸脱判定部53の判定結果情報Djと道路情報取得部55で取得した道路情報Dr、及び回避可否判定部59の判定結果情報Deの少なくとも1つに応じ、スピーカ40の報知動作を制御する。なお、ECU50Cのその他の構成は前述の第1実施形態のECU50と同様であるので説明を省略する。
【0059】
図9は、ECU50Cによって実行される制御手順を表すフローチャートである。
ステップS210及びステップS220は、前述の第1実施形態(図3)のステップS10及びステップS20と同様であり、画像取得部51及び距離算出部52で車両1が走行中である車線TLの両側の区画線LL,LRの検出を行い、車線逸脱判定部53で車両1が区画線LL又は区画線LRに接近したか否かの判定を行う。
【0060】
次のステップS230では、画像取得部51で取得された車両1の前方の画像データDcに基づき、障害物認識部58で車両1が走行する走行車線TL内に存在する障害物を検出する。
【0061】
次のステップS240では、上記ステップS230で障害物認識部58により障害物が認識されたか否かの判定を行う。障害物が認識されなかった場合には、判定が満たされずにステップS260に移り、報知制御部56でスピーカ40に対して制御信号Dsを出力し、スピーカ40による報知を行う。そして、先のステップS210に戻り、同様の手順を繰り返す。一方、障害物が認識された場合には、判定が満たされて次のステップS250に移る。
【0062】
ステップS250では、回避可否判定部59により、道路情報Drに含まれる走行車線TLの幅情報及び障害物認識部58の認識結果Doに基づき、走行車線TLから逸脱せずに安全な間隔を持って上記ステップS230で検出した障害物を回避可能か否かを判定する。走行車線TLを逸脱しなければ障害物を回避できない場合には、判定が満たされずにステップS210に戻る。すなわち、この場合には運転者が障害物を回避するために意図的に走行車線TLを逸脱したと見なせるため、報知を行わないようにすることができる。一方、走行車線TLを逸脱しなくとも障害物を回避可能である場合には、判定が満たされて次のステップS260に移り、報知制御部56でスピーカ40に対して制御信号Dsを出力してスピーカ40による報知を行う。すなわち、この場合には走行車線TLを逸脱せずとも障害物を回避可能であるのに拘わらず車線TLを逸脱しようとしているため、運転者の意図する車線逸脱ではないと見なし報知を行う。そして、先のステップS210に戻り、同様の手順を繰り返す。
【0063】
上記実施形態における車線逸脱報知装置100Cにおいては、撮像手段10より取得した画像データDcに基づき、車両1が走行する走行車線TL内に存在する障害物を障害物認識手段58(障害物認識部)で認識し、この認識した障害物を走行車線TLから逸脱せずに回避可能か否かを回避可否判定手段59(回避可否判定部59)で判定する。そして、この判定結果Deに応じて報知制御手段56で報知手段40を制御する。
【0064】
これにより、回避可否判定手段59で回避不可であると判定した場合には、報知制御手段56により、車線逸脱判定手段53の判定結果等に拘わらず報知を行わないように報知手段40を制御することができる。その結果、走行車線TLを逸脱しなければ回避できない比較的大きな障害物を回避するために走行車線TLを逸脱しようとする場合に、いちいち報知を行わないようにすることができる。
【0065】
また、回避可否判定手段59で回避可能であると判定した場合には、報知制御手段56により、車線逸脱判定手段53で車線逸脱傾向が有ると判定した場合に報知を行うように報知手段40を制御することができる。その結果、走行車線TLを逸脱しなくとも回避可能である比較的小さい障害物であるにも拘わらず、走行車線TLを逸脱しようとする場合に、確実に報知を行うことができる。
【0066】
また本実施形態における車線逸脱報知装置100Cにおいては、回避可否判定手段59で回避不可であると判定した場合には、報知制御手段56により、車線逸脱判定手段53の判定結果Dj等に拘わらず報知手段40が報知を行わないように制御する。
【0067】
これにより、走行車線TLを逸脱しなければ回避できない比較的大きな障害物を回避するために走行車線TLを逸脱しようとする場合に、いちいち報知を行わないようにすることができる。その結果、快適な運転を維持できる。
【0068】
なお、以上説明した実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
【0069】
以上の実施形態では、車両1の前方を撮像して走行車線TLの区画線LL,LRを含む画像データDcを取得するようにしたが、これに限られず、車両1の後方を撮像して区画線を含む画像データを取得するようにしてもよいし、また車両1の幅方向両側にカメラを設け、車両1の側方(左右両側)を撮像して区画線を含む画像データを取得するようにしてもよい。
【0070】
また以上の実施形態では、地図情報データベース30から読み出した道路情報を用いて報知制御を行うようにしたが、道路情報をデータベースから読み出すのではなく、カメラ10より入力された画像データDcに基づき画像処理により取得するようにしてもよい。この場合、地図情報データベース30としてのCD−ROMドライブ等が不要となる。
【0071】
また以上の実施形態では、車両1が特定の場所(例えば交差点手前の右折又は左折レーンや、分岐・合流地点付近、登坂車線付近等)を走行中である場合には、スピーカ40による報知を行わないようにしたが、さらに、例えば車両1がカーナビゲーションシステムを搭載しており、これにより走行予定ルートが示されているような場合には、上記特定の場所がその走行予定ルート上にある場合のみスピーカ40による報知を行わないようにしてもよい。また、示された走行予定ルート中に右左折がある場合に、報知を行わないようにしてもよい。
【0072】
また以上の実施形態では特に記載しなかったが、例えば車両1がセンターラインがないが両端に白線がある道路(すなわち1車線しかない道路)を走行する場合には、頻繁に左側の白線に寄ることが考えられるため、左側の白線については接近しても報知を行わないようにしてもよい。
【0073】
また上述した第2実施形態では、線種を用いた報知制御の一例として、区画線LL,LRが白の点線である場合に報知を行わない場合を例にとって説明したが、これに限るものではない。すなわち、例えば黄色の実線ははみ出し禁止且つ車線変更禁止を表す線であることから、区画線LL,LRの線種が黄色の実線である場合には、道路情報に拘わらず区画線が接近したら必ず報知するようにする等、他にも種々の報知制御を行うことが可能である。
【0074】
また上述した第3実施形態では、スピーカ40の報知態様を変更させる報知制御の一例として、車両1の逸脱方向側が路側帯側又は対向車線側であるか否かによって音量を変更する場合を例にとって説明したが、これに限るものではない。すなわち、例えば接近する区画線が白い点線である場合には音量の小さい報知音、白い実線(又は黄色の実線)である場合には音量の大きい警告音を出すといったように、区画線の線種によって報知態様を変更する等、他にも種々の報知制御を行うことが可能である。
【0075】
また上述した第4実施形態では特に記載しなかったが、一般に障害物が例えば対向車や対向車線からの右折車等である場合には、障害物が走行車線TL内の右側に位置する場合が多く、また路駐車両や自転車、歩行者等である場合には、障害物が走行車線TL内の左側に位置する場合が多いと考えられる。したがって、画像データDcから障害物の種類を認識し、障害物が上記対向車線や右折車等である場合には車両1の左方向への逸脱に関してのみ報知を停止し、障害物が上記路駐車両や自転車、歩行者等である場合には車両1の右方向への逸脱に関してのみ報知を停止するようにしてもよい。
【0076】
また以上の実施形態では特に記載しなかったが、画像データDcに基づき区画線が2本確実に検出できない場合には、報知を行わないようにしてもよい。また、上記実施形態では速度規制を行わなかったが、走行速度が非常に遅い場合(例えば10km/h以下)や、停車する場合には報知を行わないようにしてもよい。
【0077】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【図面の簡単な説明】
【0078】
【図1】第1実施形態の車線逸脱報知装置を搭載する車両の構成例及び搭載されるカメラの撮像領域の一例を示す概念図である。
【図2】ECUの機能構成の一例を示すブロック図である。
【図3】ECUによって実行される制御手順を表すフローチャートである。
【図4】第2実施形態の車線逸脱報知装置が有するECUの機能構成の一例を示すブロック図である。
【図5】ECUによって実行される制御手順を表すフローチャートである。
【図6】第3実施形態の車線逸脱報知装置が有するECUの機能構成の一例を示すブロック図である。
【図7】ECUによって実行される制御手順を表すフローチャートである。
【図8】第4実施形態の車線逸脱報知装置が有するECUの機能構成の一例を示すブロック図である。
【図9】ECUによって実行される制御手順を表すフローチャートである。
【符号の説明】
【0079】
1 車両
10 カメラ(撮像手段)
40 スピーカ(報知手段)
52 距離算出部(距離算出手段)
53 車線逸脱判定部(車線逸脱判定手段)
55 道路情報取得部(道路情報取得手段)
56 報知制御部(報知制御手段)
57 線種認識部(線種認識手段)
58 障害物認識部(障害物認識手段)
59 回避可否判定部(回避可否判定手段)
100 車線逸脱報知装置
100A 車線逸脱報知装置
Dc 画像データ
Dj 判定結果
Dp 現在地情報
Dr 道路情報
L,LR 区画線
TL 走行車線

Claims (9)

  1. 車両が走行する走行車線を区画する区画線を含む前記車両の周囲を撮像する撮像手段より取得した画像データに基づき、前記車両の前記走行車線からの逸脱傾向の有無を判定する車線逸脱判定手段と、
    前記車両の現在地情報に基づき、前記車両の現在地周辺の道路情報を取得する道路情報取得手段と、
    前記車線逸脱判定手段の判定結果と前記道路情報とに応じ、少なくとも運転者に対し所定の報知を行う報知手段を制御する報知制御手段と、
    前記撮像手段より取得した画像データに基づき、前記区画線の線種を認識する線種認識手段とを有し、
    前記報知制御手段は、前記道路情報がセンターラインのない1車線道路に対応する情報であり、且つ、前記車両の両側の区画線が共に白の実線である場合に、前記車両の進行方向左側への車線逸脱に対し報知を行わないように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  2. 請求項1記載の車線逸脱報知装置において、
    前記報知制御手段は、前記道路情報取得手段で取得した前記道路情報が特定の場所を表す情報である場合に、前記車線逸脱判定手段の判定結果に拘わらず、報知を行わないように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  3. 請求項1又は2記載の車線逸脱報知装置において、
    前記報知制御手段は、前記道路情報取得手段で取得した前記道路情報が特定の場所以外を表す情報である場合には、前記車線逸脱判定手段で車両の車線逸脱傾向が有ると判定した場合に報知を行うように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  4. 請求項1乃至請求項のいずれか1項記載の車線逸脱報知装置において、
    前記撮像手段より取得した画像データに基づき、前記車両が走行する前記走行車線内に存在する障害物を認識する障害物認識手段と、
    前記道路情報に基づき、前記走行車線から逸脱せずに前記障害物を回避可能か否かを判定する回避可否判定手段とをさらに有し、
    前記報知制御手段は、前記車線逸脱判定手段の判定結果、前記道路情報、前記区画線の線種、及び前記回避可否判定手段の判定結果のうち少なくとも1つに応じて前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  5. 請求項記載の車線逸脱報知装置において、
    前記報知制御手段は、前記回避可否判定手段で回避不可であると判定した場合に、前記車線逸脱判定手段の判定結果、前記道路情報、及び前記区画線の線種に拘わらず、報知を行わないように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  6. 請求項1乃至請求項のいずれか1項記載の車線逸脱報知装置において、
    前記報知制御手段は、前記車線逸脱判定手段の判定結果、前記道路情報、前記区画線の線種、及び前記回避可否判定手段の判定結果のうち少なくとも1つに応じ、報知態様を変更して報知を行うように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  7. 請求項1乃至請求項のいずれか1項記載の車線逸脱報知装置において、
    前記撮像手段より取得した画像データに基づき、前記車両と前記区画線との間の距離を算出する距離算出手段をさらに有し、
    前記車線逸脱判定手段は、前記距離算出手段の算出結果に基づき、前記車両の前記走行車線からの逸脱傾向を判定する
    ことを特徴とする車線逸脱報知装置。
  8. 請求項1記載の車線逸脱報知装置において、
    前記報知制御手段は、前記車両の進行方向左側への車線逸脱に対し報知を行わないように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
  9. 請求項1乃至請求項のいずれか1項記載の車線逸脱報知装置において、
    前記報知制御手段は、前記線種認識手段により、前記車両の両側の区画線の少なくともいずれかの線種が認識できない場合には、報知を行わないように前記報知手段を制御する
    ことを特徴とする車線逸脱報知装置。
JP2009504982A 2007-03-19 2007-03-19 車線逸脱報知装置 Expired - Fee Related JP4570055B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/055525 WO2008114382A1 (ja) 2007-03-19 2007-03-19 車線逸脱報知装置

Publications (2)

Publication Number Publication Date
JPWO2008114382A1 JPWO2008114382A1 (ja) 2010-07-01
JP4570055B2 true JP4570055B2 (ja) 2010-10-27

Family

ID=39765504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009504982A Expired - Fee Related JP4570055B2 (ja) 2007-03-19 2007-03-19 車線逸脱報知装置

Country Status (2)

Country Link
JP (1) JP4570055B2 (ja)
WO (1) WO2008114382A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6046327B2 (ja) * 2010-04-15 2016-12-14 矢崎エナジーシステム株式会社 車両用蛇行運転検出装置
JP2012069053A (ja) * 2010-09-27 2012-04-05 Ud Trucks Corp 車線逸脱警報装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06171392A (ja) * 1992-10-05 1994-06-21 Toyota Motor Corp 走行車線逸脱防止装置
JPH1125397A (ja) * 1997-07-09 1999-01-29 Toyota Motor Corp 車両用走行状態判定装置
JPH1166494A (ja) * 1997-08-11 1999-03-09 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2000020897A (ja) * 1998-06-30 2000-01-21 Aqueous Reserch:Kk 通行区分逸脱警報装置、通行区分逸脱警報方法及びそのプログラムを記録した記録媒体
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP3196639B2 (ja) * 1996-05-02 2001-08-06 三菱自動車工業株式会社 車線逸脱警報装置
JP2002092797A (ja) * 2000-09-18 2002-03-29 Nippon Signal Co Ltd:The 交通情報提供システム
JP2003281698A (ja) * 2002-03-22 2003-10-03 Nissan Motor Co Ltd 車線逸脱警報装置
JP2004326355A (ja) * 2003-04-23 2004-11-18 Nissan Motor Co Ltd 車線逸脱防止装置
JP2005018211A (ja) * 2003-06-24 2005-01-20 Nissan Motor Co Ltd 車線逸脱防止装置
JP2005182407A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 車線逸脱防止装置
JP2006331304A (ja) * 2005-05-30 2006-12-07 Toyota Motor Corp 車線逸脱警報装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06171392A (ja) * 1992-10-05 1994-06-21 Toyota Motor Corp 走行車線逸脱防止装置
JP3196639B2 (ja) * 1996-05-02 2001-08-06 三菱自動車工業株式会社 車線逸脱警報装置
JPH1125397A (ja) * 1997-07-09 1999-01-29 Toyota Motor Corp 車両用走行状態判定装置
JPH1166494A (ja) * 1997-08-11 1999-03-09 Fuji Heavy Ind Ltd 車両用運転支援装置
JP2000020897A (ja) * 1998-06-30 2000-01-21 Aqueous Reserch:Kk 通行区分逸脱警報装置、通行区分逸脱警報方法及びそのプログラムを記録した記録媒体
JP2001175999A (ja) * 1999-12-17 2001-06-29 Mitsubishi Motors Corp 車線逸脱抑制装置
JP2002092797A (ja) * 2000-09-18 2002-03-29 Nippon Signal Co Ltd:The 交通情報提供システム
JP2003281698A (ja) * 2002-03-22 2003-10-03 Nissan Motor Co Ltd 車線逸脱警報装置
JP2004326355A (ja) * 2003-04-23 2004-11-18 Nissan Motor Co Ltd 車線逸脱防止装置
JP2005018211A (ja) * 2003-06-24 2005-01-20 Nissan Motor Co Ltd 車線逸脱防止装置
JP2005182407A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 車線逸脱防止装置
JP2006331304A (ja) * 2005-05-30 2006-12-07 Toyota Motor Corp 車線逸脱警報装置

Also Published As

Publication number Publication date
JPWO2008114382A1 (ja) 2010-07-01
WO2008114382A1 (ja) 2008-09-25

Similar Documents

Publication Publication Date Title
JP3966170B2 (ja) 運転支援装置
US6360170B1 (en) Rear monitoring system
US20100030474A1 (en) Driving support apparatus for vehicle
US8730260B2 (en) Obstacle information notification apparatus for vehicle
JP4883243B2 (ja) 運転支援装置
US20170154527A1 (en) Apparatus and method for driving assistance
JP2006163637A (ja) 運転支援装置
JP4223320B2 (ja) 車両用運転支援装置
JP2011118482A (ja) 車載装置および認知支援システム
JP2007233864A (ja) 死角支援情報報知装置及びプログラム
JP5751423B2 (ja) 運転支援装置
JPH09178505A (ja) 運転支援装置
US11749105B2 (en) Vehicular communication system with turn signal identification
JPH1125397A (ja) 車両用走行状態判定装置
JP2009122825A (ja) 走行状況判定装置
JP2002109694A (ja) 運転支援システム
US11975731B2 (en) Driving assistance system, driving assistance method, and program
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP2018081363A (ja) 運転支援装置
JP2010170255A (ja) レーン境界線検出装置、境界線検出プログラム、および逸脱警報装置
JP2017129980A (ja) 車両認識装置および車両認識方法
JP4570055B2 (ja) 車線逸脱報知装置
JP4900120B2 (ja) 駐停車判定装置
JP4961311B2 (ja) 運転支援装置及び運転支援方法
JP5139816B2 (ja) 車外監視装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees