JP4028092B2 - 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体 - Google Patents

通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体 Download PDF

Info

Publication number
JP4028092B2
JP4028092B2 JP18494698A JP18494698A JP4028092B2 JP 4028092 B2 JP4028092 B2 JP 4028092B2 JP 18494698 A JP18494698 A JP 18494698A JP 18494698 A JP18494698 A JP 18494698A JP 4028092 B2 JP4028092 B2 JP 4028092B2
Authority
JP
Japan
Prior art keywords
vehicle
traffic
division
determined
satisfied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18494698A
Other languages
English (en)
Other versions
JP2000020897A (ja
Inventor
圭一 木村
正夫 川合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Equos Research Co Ltd
Original Assignee
Aisin AW Co Ltd
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Equos Research Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP18494698A priority Critical patent/JP4028092B2/ja
Publication of JP2000020897A publication Critical patent/JP2000020897A/ja
Application granted granted Critical
Publication of JP4028092B2 publication Critical patent/JP4028092B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Controls For Constant Speed Travelling (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体に関するものである。
【0002】
【従来の技術】
従来、道路上には、走行車線、追越車線、登坂車線等の通行区分(車両が走行する通行帯)が形成されていて、そのために、道路上に白線、黄線等の区分線(線分自体)が塗布され、運転者は通行区分内の走行領域において区分線に沿って車両を走行させるようになっている。
【0003】
ところで、車両に搭載されたカメラによって車両の前方を撮像し、該撮像によって得られた画像に基づいて道路上の区分線を認識することにより、車両の位置を認識するようにした自車位置認識装置が提供されている。
そして、ウインカが点灯しているかどうかを判断し、点灯していないにもかかわらず、車両が実線の区分線を横切ることが予測されると警報を出す警報装置が提供されている(特開平8−320997号公報参照)。
【0004】
【発明が解決しようとする課題】
しかしながら、前記従来の警報装置においては、運転者が、ウインカを点灯させることを忘れるか、又はウインカを点灯させることなく意図的に、車両を路肩に移動させると、車両が通行区分を逸脱する恐れがないにもかかわらず、警報が出されてしまう。
【0005】
本発明は、前記従来の警報装置の問題点を解決して、車両が通行区分を逸脱する恐れがある場合にだけ警報を出すことができる通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】
そのために、本発明の通行区分逸脱警報装置においては、撮像手段によって得られた画像に基づいて車両の位置を認識する自車位置認識手段と、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されたときに、通行区分を逸脱する恐れがあると判断する通行区分逸脱判断手段と、車両が通行区分を逸脱する恐れがある場合に警報を出す警報手段とを有する。
【0007】
そして、前記通行区分逸脱判断手段は、ナビゲーション装置からの、道路情報又は車両の走行軌跡の情報に基づいて単調な走行状態が続くことを表す条件が成立するかどうかを判断する。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図2は本発明の第1の実施の形態における通行区分逸脱警報装置の制御回路図である。
図において、11は車両の前方を撮像する撮像手段としてのCCD等のカメラ、12は該カメラ11によって得られた画像に対してエッジ処理を行い、画像の境界が強調されたエッジ画像を作成するとともに、該エッジ画像に基づいて白線、黄線等の区分線、及び車両の通行区分を認識する自車位置認識プロセッサ、13はエッジ画像等を記録するための記憶手段としてのメモリ、14は前記自車位置認識プロセッサ12によって認識された通行区分に基づいて、車両が通行区分を逸脱する恐れがあるかどうかを判断する通行区分逸脱判断プロセッサ、15は前記自車位置認識プロセッサ12及び通行区分逸脱判断プロセッサ14を動作させるプログラムを記録するプログラム用メモリ、Buはバスである。なお、前記メモリ13及びプログラム用メモリ15によって記録媒体が構成され、該記録媒体として、磁気テープ、磁気ディスク、フロッピーディスク、磁気ドラム、CD、MD、DVD、光ディスク、ICカード、光カード等を使用することができる。
【0013】
本実施の形態において、前記プログラム用メモリ15には各種のプログラムが記録され、前記メモリ13にはエッジ画像が記録されるようになっているが、各種のプログラム及びエッジ画像を外部の記録媒体に記録することもできる。この場合、例えば、前記バスBuに図示されないフラッシュメモリを接続し、外部の記録媒体から前記各種のプログラム及びエッジ画像を読み出してフラッシュメモリに書き込むこともできる。したがって、外部の記録媒体を交換することによって前記各種のプログラム及びエッジ画像を更新することができる。
【0014】
また、61は運転席に配設された図示されないスイッチパネルのスイッチ、ランプ等の制御を行うスイッチパネル制御装置、62は図示されないエンジンの制御を行うエンジン制御装置、63は図示されない自動変速機の制御を行う自動変速機制御装置、64は図示されないナビゲーション装置の制御を行うナビゲーション制御装置である。なお、前記自車位置認識プロセッサ12、通行区分逸脱判断プロセッサ14、スイッチパネル制御装置61、エンジン制御装置62、自動変速機制御装置63及びナビゲーション制御装置64は互いに通信が可能なように接続される。
【0015】
図1は本発明の第1の実施の形態における通行区分逸脱警報装置のブロック図である。
図において、11はカメラ、66は自車位置認識プロセッサ12(図2)内に配設され、車両の位置を認識する自車位置認識手段、67は自動変速機制御装置63に接続され、車速を検出する車速検出手段としての車速センサ、68はエンジン制御装置62に接続され、図示されないアクセルペダルの踏込量、すなわち、アクセル開度を検出するアクセル開度検出手段としてのアクセル開度センサ、69は前記スイッチパネル制御装置61内に配設され、オートクルーズが設定されていることを検出するオートクルーズ状態検出手段としてのオートクルーズスイッチ、71は前記スイッチパネル制御装置61に接続され、図示されないウインカが点灯させられたことを検出するウインカ状態検出手段としてのウインカスイッチ、72は前記スイッチパネル制御装置61に接続され、図示されないハザードランプが点灯させられたことを検出するハザードランプ状態検出手段としてのハザードランプスイッチ、73はナビゲーション制御装置64内に配設され、現在の時刻を基準にして設定された過去の所定の時間以内における車両の走行路又は車両の走行軌跡がほぼ直線路であること、又は車両の前方の走行路がほぼ直線路であることを検出する走行路検出手段、74は図示されないブレーキペダルが踏み込まれていることを検出するブレーキ状態検出手段としてのブレーキセンサ、75は現在の時刻を検出する現在時刻検出手段、77は通行区分逸脱判断プロセッサ14内に配設され、単調な走行状態が続き、運転者による脇(わき)見、居眠り等によって車両が通行区分を逸脱する恐れがあるかどうかを判断する通行区分逸脱判断手段、78は該通行区分逸脱判断手段77に接続され、車両が通行区分を逸脱する恐れがある場合に警報を出す警報手段としての警報ランプである。
【0016】
前記自車位置認識手段66は、カメラ11によって得られた画像に対してエッジ処理を行い、画像の境界が強調されたエッジ画像を作成し、車両が走行している通行区分を区画する両側の各区分線の左縁及び右縁に対応させて、前記画像の下部の所定の範囲に少なくとも4個の探索領域を設定し、該探索領域内の前記エッジ画像に基づいてエッジ直線を抽出し、該エッジ直線間の距離が所定の範囲内に収まる場合に区分線を検出し、車両が走行している通行区分を区画する両側の区分線が実線であるか破線であるかの判断に基づいて通行区分を判定する。
【0017】
すなわち、前記自車位置認識手段66は、車両の右側の区分線が実線であり、かつ、左側の区分線が破線である場合、車両は中央分離帯寄りの通行区分を走行していると認識し、車両の右側の区分線が破線であり、かつ、車両の左側の区分線が実線である場合、車両は路肩寄りの通行区分を走行していると認識し、また、車両の左右の区分線が共に破線である場合、車両は三つ以上の通行区分から成る道路において路肩寄り及び中央分離帯寄り以外の通行区分を走行していると認識し、さらに、車両の左右の区分線が共に実線である場合、車両は一つの通行区分から成る道路を走行していると認識する。
【0018】
さらに、前記自車位置認識手段66内の図示されない接近判断手段は、車両と区分線との間の距離を算出し、算出された距離に基づいて、車両が、路肩又は中央分離帯に接近しているかどうか、すなわち、前記路肩又は中央分離帯を区画する実線の区分線に接近しているかどうかを判断する。
また、前記通行区分逸脱判断手段77は、車両が通行区分を逸脱する恐れがあるかどうかを判断するために、各種の条件が成立するかどうかを判断する。
【0019】
すなわち、通行区分逸脱判断手段77内の逸脱条件成立判断手段80は、車速センサ67によって検出された車速が、例えば、50〔km/h〕以上で100〔km/h〕以下の設定範囲に収まっていて、単調な走行状態が続く場合、運転者が脇見、居眠り等を起こしやすいと想定し、第1の条件が成立すると判断する。これに対して、例えば、車速が50〔km/h〕未満の低速である場合、運転者は周囲に気を遣いながら車両を走行させていると想定し、車速が150〔km/h〕以上の高速である場合、運転者は前方に注意を払って車両を走行させていると想定し、いずれの場合も第1の条件が成立しないと判断する。
【0020】
また、前記逸脱条件成立判断手段80は、アクセル開度センサ68によって検出されたアクセル開度が長時間変化せず、単調な走行状態が続く場合、運転者が脇見、居眠り等を起こしやすいと想定し、第2の条件が成立すると判断する。これに対して、アクセル開度が短時間で変化する場合、運転者は意図的に車速を調整していると想定し、第2の条件が成立しないと判断する。
【0021】
また、前記逸脱条件成立判断手段80は、アクセル開度センサ68によって検出されたアクセル開度が設定範囲に収まる場合、例えば、アクセル開度が0でなく、かつ、現在の車速を維持するのに必要な設定値以下であり、単調な走行状態が続く場合、運転者が脇見、居眠り等を起こしやすいと想定し、第3の条件が成立すると判断する。これに対して、アクセル開度が設定値より大きい場合、運転者は意図的に車両を走行させていると想定し、第3の条件が成立しないと判断する。なお、現在の車速を維持するのに必要な前記設定値は、エンジン及び自動変速機の特性に基づいて算出される。
【0022】
また、前記逸脱条件成立判断手段80は、オートクルーズスイッチ69によってオートクルーズが設定されていることが検出された場合、アクセルペダルが踏み込まれず、単調な走行状態が続くことになるので、運転者が脇見、居眠り等を起こしやすいと想定し、第4の条件が成立すると判断する。これに対して、オートクルーズが設定されていない場合、第4の条件が成立しないと判断する。
【0023】
また、前記逸脱条件成立判断手段80は、ウインカスイッチ71によってウインカが点灯させられていることが検出された場合、運転者は意図的に通行区分を変更し、車両を路肩又は中央分離帯に寄せるか、周囲に気を遣いながら車両を右左折させると想定し、第5の条件が成立すると判断する。これに対して、ウインカが点灯させられていない場合、車両は直進させられることになるので、運転者が脇見、居眠り等を起こしやすいと想定し、第5の条件が成立しないと判断する。
【0024】
また、前記逸脱条件成立判断手段80は、ハザードランプスイッチ72によってハザードランプが点灯させられていることが検出された場合、運転者は意図的に車両の危険状態を回避しようとして通行区分を変更し、車両を路肩又は中央分離帯に寄せると想定し、第6の条件が成立すると判断する。これに対して、ハザードランプが点灯させられていない場合、車両の危険状態を回避する必要がなく、運転者が脇見、居眠り等を起こしやすいと想定し、第6の条件が成立しないと判断する。
【0025】
また、前記逸脱条件成立判断手段80は、走行路検出手段73によって、ナビゲーション制御装置64から送られた道路情報又は車両の走行軌跡の情報に基づいて、過去の所定の時間以内における車両の走行路がほぼ直線路であること、又は車両の前方の走行路がほぼ直線路であることが検出された場合、ステアリングホイール等の操作がほとんど必要なく、単調な走行状態が続くことになるので、運転者が脇見、居眠り等を起こしやすいと想定し、第7の条件が成立すると判断する。これに対して、過去の所定の時間以内における車両の走行路がほぼ直線路でなく、又は車両の前方の走行路がほぼ直線路でない場合、ステアリングホイール等の操作が必要であると想定し、第7の条件が成立しないと判断する。なお、過去の所定の時間以内における車両の走行路がほぼ直線路でない場合、車両はコーナを走行してきたことになるが、コーナを走行していた間、運転者は緊張状態にあったと推測することができるので、運転者が脇見、居眠り等を起こしにくいと想定することができる。また、車両の前方の走行路がほぼ直線路でない場合、車両がコーナを走行すると予測されるので、運転者は、コーナを走行するのに備えて緊張状態にあると推測することができる。一般に、単調な走行状態が5〜10〔分〕程度続くと、運転者が脇見、居眠り等を起こしやすいことから、前記所定の時間は5〜10〔分〕程度とする。本実施の形態においては、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路である場合に第7の条件が成立すると判断されるが、過去の所定の時間以内における車両の走行路に交差点又は分岐点が無いことを第7の条件に加えることもできる。
【0026】
また、前記逸脱条件成立判断手段80は、過去の所定の時間以内において、ブレーキセンサ74によって、ブレーキペダルが踏み込まれていないことが検出され、単調な走行状態が続く場合、運転者が脇見、居眠り等を起こしやすいと想定し、第8の条件が成立すると判断する。これに対して、過去の所定の時間以内において、ブレーキセンサ74によってブレーキペダルが踏み込まれていることが検出された場合、運転者は周囲に気を遣いながら車両を走行させていると想定し、第8の条件が成立しないと判断する。
【0027】
また、前記逸脱条件成立判断手段80は、ナビゲーション制御装置64からの情報に基づいて、現在、車両がコーナを走行していないか、又は車両の所定距離前方にコーナが無いと判断された場合、単調な走行状態が続くことになるので、運転者が脇見、居眠り等を起こしやすいと想定し、第9の条件が成立すると判断する。これに対して、現在、車両がコーナを走行しているか、又は車両の所定距離前方にコーナが有ると判断された場合、運転者は前方に注意を払って車両を走行させていると想定し、第9の条件が成立しないと判断する。
【0028】
なお、前記第1〜第4、第7〜第9の条件は単調な走行状態が続くことを表し、第5、第6の条件は運転者が意図的に通行区分を変更しようとすることを表す。また、前記第1〜第3、第8の条件が成立するかどうかは、運転者による運転操作に基づいて判断される。
続いて、前記構成の通行区分逸脱警報装置の動作について説明する。
【0029】
図3は本発明の第1の実施の形態における通行区分逸脱警報装置の動作を示す第1のフローチャート、図4は本発明の第1の実施の形態における通行区分逸脱警報装置の動作を示す第2のフローチャートである。
この場合、通行区分逸脱判断手段77(図1)は、第1〜第9の条件のうちの所定の条件を組み合わせて、車両が通行区分を逸脱する恐れがあるかどうかを判断する。
【0030】
例えば、本実施の形態においては、オートクルーズが設定されているとき(第4の条件が成立しているとき)にだけ、現在、車両がコーナを走行していないか、又は車両の所定距離前方にコーナが無いかどうか(第9の条件が成立しているかどうか)が判断されるようになっている。
この場合、エンジンが始動されると、前記通行区分逸脱判断手段77は、通行区分逸脱判断処理を開始し、まず、単調な走行状態がどの程度続くかを計測するために、現在の時刻を初期値としてメモリ13(図2)に記録する。続いて、通行区分逸脱判断手段77は、オートクルーズが設定されているかどうかを判断し、オートクルーズが設定されている場合、前記車両がコーナを走行していないか、又は車両の所定距離前方にコーナが無いかどうかを判断する。
【0031】
一方、前記通行区分逸脱判断手段77は、オートクルーズが設定されていない場合、過去の所定の時間以内において図示されないブレーキペダルが踏み込まれていないかどうか(第8の条件が成立しているかどうか)、車速が設定範囲に収まっているかどうか(第1の条件が成立しているかどうか)、アクセル開度が設定範囲に収まっているかどうか(第3の条件が成立しているかどうか)、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路であるかどうか(第7の条件が成立しているかどうか)を判断する。
【0032】
そして、過去の所定の時間以内においてブレーキペダルが踏み込まれておらず、車速が設定範囲に収まっていて、アクセル開度が設定範囲に収まり、しかも、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路である場合(第1、第3、第7、第8の条件がいずれも成立している場合)、通行区分逸脱判断手段77は、現在時刻検出手段75によって検出された現在の時刻に基づいて、通行区分逸脱判断処理が開始されてから設定時間が経過したと判断すると、車両が実線の区分線に接近しているかどうかを判断する。なお、設定時間は5〜10〔分〕程度とする。
【0033】
また、前記通行区分逸脱判断手段77は、オートクルーズが設定されている場合、運転者が脇見、居眠り等を極めて起こしやすいので、無条件で(第1、第3、第7、第8の条件が成立しているかどうかを判断することなく)、現在、車両がコーナを走行していないか、又は車両の前方にコーナが無いかどうか(第9の条件が成立しているかどうか)を判断する。
【0034】
そして、通行区分逸脱判断手段77は、車両が実線の区分線に接近していると判断した場合、ウインカが点灯させられていないかどうか(第5の条件が成立していないかどうか)、及びハザードランプが点灯させられていないかどうか(第6の条件が成立していないかどうか)を判断し、ウインカ及びハザードランプのいずれも点灯させられていないと、第5、第6の条件が成立していないと判断し、警報ランプ78に信号を送り、警報ランプ78を点灯することによって、車両が通行区分を逸脱する恐れがある旨の警報を運転者に対して出す。
【0035】
このように、単調な走行状態が続き、運転者が脇見、居眠り等を起こしやすい状態において、運転者が意図的に通行区分を変更しようとしていないにもかかわらず車両が実線の区分線に接近すると、警報が出される。したがって、車両が通行区分を逸脱する恐れがある場合にだけ警報を出すことができる。なお、該警報は、光、光の連続、光の断続、音、音の連続、音の断続、音声、ナビゲーション装置の画面における表示等によって行うことができる。
【0036】
また、車速センサ67を自動変速機制御装置63に接続し、アクセル開度センサ68及びブレーキセンサ74をエンジン制御装置62に接続し、ウインカスイッチ71及びハザードランプスイッチ72をスイッチパネル制御装置61に接続することができるだけでなく、走行路検出手段73をナビゲーション制御装置64内に配設することができるので、スイッチパネル制御装置61、エンジン制御装置62、自動変速機制御装置63及びナビゲーション制御装置64の既存のマイクロチップをそのまま利用することができる。したがって、通行区分逸脱警報装置のコストを低くすることができる。
【0037】
なお、通行区分逸脱判断手段77をナビゲーション制御装置64内に配設したり、自車位置認識手段66及び通行区分逸脱判断手段77をナビゲーション制御装置64内に配設することもできる。この場合、自車位置認識手段66及び通行区分逸脱判断手段77のマイクロチップは不要になるので、通行区分逸脱警報装置のコストを一層低くすることができる。
【0038】
本実施の形態においては、警報ランプ78が点灯させられることによって前記警報を出すようにしているが、ハザードランプが点灯させられることによって前記警報を出すこともできる。この場合、自車の周囲で車両を走行させている他の運転者に、前記車両が通行区分を逸脱する恐れがあることを知らせることができる。
【0039】
しかも、ハザードランプが点灯させられることによって、運転者にハザードランプを消灯させる動作を促すことができるので、眠気を解消させることもできる。
また、警報ランプ78及びハザードランプ等に代えて、例えば、ナビゲーション制御装置64によって、ブザー音、音声等を発生させたり、図示されないモニタ装置に表示を行ったりすることができる。さらに、コーナを走行する際に車両が傾斜しないようにするためのアクティブサスペンションを適宜作動させることによって運転者に対して警報を出すこともできる。
【0040】
次に、フローチャートについて説明する。
ステップS1 現在の時刻を初期値としてメモリ13に記録する。
ステップS2 オートクルーズが設定されているかどうかを判断する。オートクルーズが設定されている場合はステップS3に、設定されていない場合はステップS4に進む。
ステップS3 車両がコーナを走行していないか、又は車両の所定距離前方にコーナが無いかどうかを判断する。車両がコーナを走行していないか、又は車両の所定距離前方にコーナが無い場合はステップS9に進み、車両がコーナを走行しているか、又は車両の所定距離前方にコーナが有る場合はステップS1に戻る。ステップS4 ブレーキペダルが踏み込まれていないかどうかを判断する。ブレーキペダルが踏み込まれていない場合はステップS5に進み、踏み込まれている場合はステップS1に戻る。
ステップS5 車速が設定範囲に収まっているかどうかを判断する。車速が設定範囲に収まっている場合はステップS6に進み、収まっていない場合はステップS1に戻る。
ステップS6 アクセル開度が設定範囲に収まっているかどうかを判断する。アクセル開度が設定範囲に収まっている場合はステップS7に進み、収まっていない場合はステップS1に戻る。
ステップS7 過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路であるかどうかを判断する。過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路である場合はステップS8に進み、過去の所定の時間以内における車両の走行路がほぼ直線路でないか、又は車両の前方の走行路がほぼ直線路でない場合はステップS1に戻る。
ステップS8 通行区分逸脱判断処理が開始されてから設定時間が経過したかどうかを判断する。設定時間が経過した場合はステップS9に進み、経過していない場合はステップS2に戻る。
ステップS9 車両が実線の区分線に接近しているかどうかを判断する。実線の区分線に接近している場合はステップS10に進み、接近していない場合はステップS2に戻る。
ステップS10 ウインカ及びハザードランプが点灯させられていないかどうかを判断する。ウインカ及びハザードランプが点灯させられていない場合はステップS11に進み、点灯させられている場合はステップS1に戻る。
ステップS11 警報を出す。
【0041】
次に、前記自車位置認識手段66の動作について説明する。
図5は本発明の第1の実施の形態における自車位置認識手段のブロック図、図6は本発明の第1の実施の形態における車両の前方を撮像することによって得られた画像の例を示す図である。
図5に示されるように、カメラ11によって車両の前方が撮像され、前記カメラ11によって得られた画像は、自車位置認識プロセッサ12(図2)に送られる。この場合、図6に示されるように、画像の左上が原点とされ、原点から右に向かってX軸が、下に向かってY軸が設定される。なお、図6において、22は車両の左側の区分線、22Lは該区分線22の左縁、22Rは前記区分線22の右縁、23は車両の右側の区分線、23Lは該区分線23の左縁、23Rは前記区分線23の右縁である。
【0042】
そして、自車位置認識手段66(図1)は、探索領域設定手段21によって前記画像内に矩(く)形の探索領域24〜27を設定し、エッジ強調手段17によって探索領域24〜27内の画像に対してエッジ強調を行い、前記画像をエッジ画像に変換することによってエッジ画像を作成する。なお、前記エッジ強調は、ソベル変換、ラプラシアン変換等の手法を用いて行われ、画像において輝度が変化する境界が強調される。
【0043】
この場合、探索領域24は、区分線22の左縁22Lに対応するエッジ点を検出するために、探索領域25は、区分線22の右縁22Rに対応するエッジ点を検出するために、探索領域26は、区分線23の左縁23Lに対応するエッジ点を検出するために、探索領域27は、区分線23の右縁23Rに対応するエッジ点を検出するために設定される。なお、説明の便宜上、図6においては、前記探索領域24と探索領域25とが、また、探索領域26と探索領域27とが上下にずらして示されているが、各探索領域24〜27のY座標は同じにされる。
【0044】
次に、前記区分線22の左縁22L及び右縁22R、並びに前記区分線23の左縁23L及び右縁23Rに対応する各エッジ点を検出する方法について説明する。
まず、前記左縁22L、23Lに対応するエッジ点を検出するための探索領域24、26においては、該探索領域24、26内に複数の走査線が設定され、通行区分逸脱判断プロセッサ14の直線抽出手段18は、直線抽出処理において、各走査線に沿って、左端から順に前記画像を構成する各画素についてエッジ強度を検査し、該各エッジ強度が所定の閾(しきい)値以上であるかどうかを判断する。また、前記直線抽出手段18は、エッジ強度が前記閾値以上である画素(以下「エッジ画素」という。)を検出し、該エッジ画素のX座標及びY座標をメモリ13に記録する。そして、検出されたエッジ画素が3個になると、その走査線についてのエッジ強度の検査を終了して次の走査線についてのエッジ強度の検査を開始する。このようにして、各走査線ごとに画像の左端から3個のエッジ画素が検出される。なお、1本の走査線について3個のエッジ画素が検出されないまま、探索領域24、26の右端に達した場合は、次の走査線についてのエッジ強度の検査を開始する。
【0045】
ところで、前記ソベル変換、ラプラシアン変換等の手法を用いてエッジ強調を行うと、1本の走査線上における輝度の境界線付近において少なくとも2個のエッジ画素のエッジ強度が大きくなる。そこで、各走査線ごとにエッジ画素を3個だけ検出するようにしている。
また、前記右縁22R、23Rに対応するエッジ点を検出するための探索領域25、27においては、該探索領域25、27内に複数の走査線が設定され、前記通行区分逸脱判断プロセッサ14の直線抽出手段18は、直線抽出処理において、各走査線に沿って、右端から順に前記各画素についてエッジ強度を検査し、該各エッジ強度が所定の閾値以上であるかどうかを判断する。前記直線抽出手段18は、エッジ画素を検出し、該エッジ画素のX座標及びY座標をメモリ13に記録する。そして、検出されたエッジ画素が3個になると、その走査線についてのエッジ強度の検査を終了して次の走査線についてのエッジ強度の検査を開始する。このようにして、各走査線ごとに画像の右端から3個のエッジ画素が検出される。なお、1本の走査線について3個のエッジ画素が検出されないまま、探索領域25、27の左端に達した場合は、次の走査線についてのエッジ強度の検査を開始する。
【0046】
次に、前記直線抽出手段18は、探索領域24〜27内において検出されたエッジ点に基づいてエッジ直線を抽出する。
なお、該エッジ直線は、前記エッジ点の列に基づいて抽出され、例えば、ハフ変換、最小自乗法等によって算出され、近似させられた直線の方程式によって表される。
【0047】
この場合、区分線22の左縁22L及び右縁22Rに対応するエッジ点を検出するために探索領域24、25が、区分線23の左縁23L及び右縁23Rに対応するエッジ点を検出するために探索領域26、27がそれぞれ設定されるので、各エッジ直線を独立に抽出することができる。
前述されたように、本発明においては、各走査線ごとにすべてのエッジ点を検出する必要はなく、3個のエッジ点を検出するだけでよいので、エッジ直線を抽出するための対象になるエッジ点の数を極めて少なくすることができる。したがって、直線抽出処理の速度を高くすることができる。
【0048】
また、前記左縁22L、23Lに対応するエッジ点を検出するために、探索領域24、26の左端から3個のエッジ画素を検出し、右縁22R、23Rに対応するエッジ点を検出するために、探索領域25、27の右端から3個のエッジ画素を検出するようになっている。このように、わずかなエッジ画素を検出するだけで、任意の区分線の左縁又は右縁の近傍のエッジ点を高い確率で検出することができる。
【0049】
次に、前記通行区分逸脱判断プロセッサ14の区分線検出手段19は、区分線検出処理において、1本の区分線の右縁を表していると推定されるエッジ直線(以下「右エッジ直線」という。)と左縁を表していると推定されるエッジ直線(以下「左エッジ直線」という。)との間のエッジ直線間の距離δを算出して、該距離δが所定の範囲内に収まるかどうかを判断する。
【0050】
そして、前記距離δが所定の範囲内に収まる場合、前記エッジ直線は区分線によるものであると判定し、区分線を検出するとともに、車両と区分線との距離を算出する。したがって、前記距離δを算出し、該距離δが所定の範囲内に収まるかどうかを判断するだけでよいので、区分線を検出するための処理に必要な時間を短くすることができるだけでなく、高速処理を行うことが可能な演算回路を使用する必要がなくなる。この場合、1本の区分線を2本のエッジ直線によって検出しているので、例えば、ガードレール、縁石等が路肩に存在していても、それらを区分線と誤って検出してしまうことがなくなる。
【0051】
また、通行区分逸脱判断プロセッサ14の通行区分判定手段20の図示されない実線・破線判定手段は、実線・破線判定処理において、区分線検出手段19が継続して区分線を検出しているか、定期的に区分線を検出しているかを判断し、継続して区分線を検出している場合、該区分線は実線であると判定し、定期的に区分線を検出している場合、該区分線は破線であると判定する。
【0052】
次に、前記通行区分判定手段20は通行区分を判定する。すなわち、通行区分判定手段20は、車両の右側の区分線が実線であり、かつ、左側の区分線が破線である場合、車両は中央分離帯寄りの通行区分を走行していると認識し、車両の右側の区分線が破線であり、かつ、車両の左側の区分線が実線である場合、車両は路肩寄りの通行区分を走行していると認識し、また、車両の左右の区分線が共に破線である場合、車両は三つ以上の通行区分から成る道路において路肩寄り及び中央分離帯寄り以外の通行区分を走行していると認識し、さらに、車両の左右の区分線が共に実線である場合、車両は一つの通行区分から成る道路を走行していると認識する。
【0053】
続いて、前記接近判断手段は、画像における探索領域24〜27の位置に基づいて、車両と区分線との間の距離を算出し、算出結果によって車両が路肩又は中央分離帯に接近しているかどうかを判断する。例えば、前記通行区分判定手段20によって、車両が路肩寄りの通行区分を走行していると認識された場合、接近判断手段は、探索領域24、25が画像内の中央付近に位置していると、車両が路肩に接近していると判断し、探索領域24、25が画像内の左端に位置していると、車両が路肩から所定距離離れていると判断する。
【0054】
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
図7は本発明の第2の実施の形態における通行区分逸脱警報装置のブロック図、図8は本発明の第2の実施の形態における通行区分逸脱警報装置の動作を示すフローチャートである。
【0055】
この場合、通行区分逸脱判断手段177は、時刻更新手段181及び逸脱条件成立判断手段180を備え、該逸脱条件成立判断手段180によって、過去の所定の時間以内において図示されないブレーキペダルが踏み込まれていないかどうか(第8の条件が成立しているかどうか)、車速が設定範囲に収まっているかどうか(第1の条件が成立しているかどうか)、アクセル開度が設定範囲に収まっているかどうか(第3の条件が成立しているかどうか)、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路であるかどうか(第7の条件が成立しているかどうか)、ウインカが点灯させられていないかどうか(第5の条件が成立していないかどうか)、及びハザードランプが点灯させられていないかどうか(第6の条件が成立していないかどうか)を判断する。
【0056】
そして、前記時刻更新手段181は、過去の所定の時間以内においてブレーキペダルが踏み込まれていない場合、車速が設定範囲に収まっている場合、アクセル開度が設定範囲に収まっている場合、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路である場合、ウインカが点灯させられていない場合、及びハザードランプが点灯させられていない場合は、車両が通行区分を逸脱する恐れがあるので、更新処理を行う。該更新処理において、メモリ13(図2)に記録された現在の時刻は現在時刻検出手段75によって更新され、新たに検出された現在の時刻がメモリ13に初期値として記録される。
【0057】
一方、前記時刻更新手段181は、過去の所定の時間以内においてブレーキペダルが踏み込まれている場合、車速が設定範囲に収まっていない場合、アクセル開度が設定範囲に収まっていない場合、過去の所定の時間以内における車両の走行路がほぼ直線路でないか、又は車両の前方の走行路がほぼ直線路でない場合、ウインカが点灯させられている場合、及びハザードランプが点灯させられている場合は、車両が通行区分を逸脱する恐れがないので、メモリ13に記録された現在の時刻は、更新されず、そのまま保持される。
【0058】
このように、運転者によって何らかの運転操作が行われるか、過去にコーナを走行してきたか、車両の前方の走行路にコーナが有る場合、現在の時刻が初期値として更新されるので、現在時刻検出手段75によって検出された現在の時刻と、メモリ13に記録された現在の時刻との差を監視するだけで、すなわち、現在の時刻が更新されてから設定時間が経過したかどうかを判断するだけで、車両が通行区分を逸脱する恐れがあるかどうかを判断することができる。
【0059】
したがって、通行区分逸脱判断手段177による通行区分逸脱判断処理を簡素化することができる。
次に、フローチャートについて説明する。
ステップS21 現在の時刻を初期値としてメモリ13に記録する。
ステップS22 更新処理を行う。
ステップS23 現在の時刻が更新されてから設定時間が経過したかどうかを判断する。現在の時刻が更新されてから設定時間が経過した場合はステップS24に進み、経過していない場合は待機する。
ステップS24 車両が実線の区分線に接近しているかどうかを判断する。車両が実線の区分線に接近している場合はステップS25に進み、接近していない場合はステップS23に戻る。
ステップS25 警報を出す。
【0060】
ところで、最近の車両においては、オートクルーズが設定されると車速を一定の値に維持することができるだけでなく、図示されないレーザセンサ等によって先行する車両との間の車間距離を自動的に調節することができるようにしたものが提供されている。
したがって、先行する車両の車速に対応させて車間距離が一定に保たれるように車速が自動的に調整されるので、運転者はアクセルペダルを操作をする必要がないだけでなく、先行する車両の存在を常時気にする必要もなくなるので、極めて快適に運転することができるが、運転者はその分気を緩めがちになる。その結果、運転者は、ナビゲーション装置を操作したり、携帯電話を使用したり、脇見、居眠り等を起こしたりする可能性が高くなる。
【0061】
そこで、オートクルーズが設定されているときに、運転者が脇見、居眠り等を起こすことがないようにした、本発明の第3の実施の形態について説明する。なお、第1の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。
図9は本発明の第3の実施の形態における通行区分逸脱警報装置のブロック図、図10は本発明の第3の実施の形態における通行区分逸脱警報装置の動作を示すフローチャートである。
【0062】
この場合、通行区分逸脱判断手段277は、逸脱条件成立判断手段280を備え、運転が開始されると、前記逸脱条件成立判断手段280によって、オートクルーズが設定されているかどうか(第4の条件が成立しているかどうか)、現在、車両がコーナを走行していないか、又は車両の前方にコーナが無いかどうか(第9の条件が成立しているかどうか)、ウインカが点灯させられていないかどうか(第5の条件が成立していないかどうか)、及びハザードランプが点灯させられていないかどうか(第6の条件が成立していないかどうか)を判断する。
【0063】
そして、オートクルーズが設定されていて、現在、車両がコーナを走行していないか、又は車両の前方にコーナが無く、ウインカ及びハザードランプが点灯させられていない場合、前記通行区分逸脱判断手段277は、車両が実線の区分線に接近しているかどうかを判断し、車両が実線の区分線に接近していると、車両が通行区分を逸脱する恐れがあると判断し、警報手段としての警報ランプ78に信号を送り、警報ランプ78を点灯させることによって、車両が通行区分を逸脱する恐れがある旨の警報を出す。
【0064】
したがって、オートクルーズが設定されているときに、運転者が脇見、居眠り等を起こすことがなくなる。
次に、フローチャートについて説明する。
ステップS31 オートクルーズが設定されているかどうかを判断する。オートクルーズが設定されている場合はステップS32に進み、設定されていない場合は待機する。
ステップS32 車両がコーナを走行していないか、又は車両の前方にコーナが無いかどうかを判断する。車両がコーナを走行していないか、又は車両の前方にコーナが無い場合はステップS33に進み、車両がコーナを走行しているか、又は車両の前方にコーナが有る場合はステップS31に戻る。
ステップS33 ウインカ及びハザードランプが点灯させられていないかどうかを判断する。ウインカ及びハザードランプが点灯させられていない場合はステップS34に進み、点灯させられている場合はステップS31に戻る。
ステップS34 車両が実線の区分線に接近しているかどうかを判断する。車両が実線の区分線に接近している場合はステップS35に進み、接近していない場合はステップS31に戻る。
ステップS35 警報を出す。
【0065】
【発明の効果】
以上詳細に説明したように、本発明によれば、通行区分逸脱警報装置においては、撮像手段によって得られた画像に基づいて車両の位置を認識する自車位置認識手段と、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されたときに、通行区分を逸脱する恐れがあると判断する通行区分逸脱判断手段と、車両が通行区分を逸脱する恐れがある場合に警報を出す警報手段とを有する。
【0066】
そして、前記通行区分逸脱判断手段は、ナビゲーション装置からの、道路情報又は車両の走行軌跡の情報に基づいて単調な走行状態が続くことを表す条件が成立するかどうかを判断する。
この場合、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されると、通行区分逸脱判断手段は車両が通行区分を逸脱する恐れがあると判断する。そして、警報手段によって警報が出される。
【0067】
したがって、単調な走行状態が続き、運転者が脇見、居眠り等を起こしやすい状態において、運転者が意図的に通行区分を変更しようとしていないにもかかわらず車両が実線の区分線に接近すると警報が出されるので、車両が通行区分を逸脱する恐れがある場合にだけ警報を出すことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における通行区分逸脱警報装置のブロック図である。
【図2】本発明の第1の実施の形態における通行区分逸脱警報装置の制御回路図である。
【図3】本発明の第1の実施の形態における通行区分逸脱警報装置の動作を示す第1のフローチャートである。
【図4】本発明の第1の実施の形態における通行区分逸脱警報装置の動作を示す第2のフローチャートである。
【図5】本発明の第1の実施の形態における自車位置認識手段のブロック図である。
【図6】本発明の第1の実施の形態における車両の前方を撮像することによって得られた画像の例を示す図である。
【図7】本発明の第2の実施の形態における通行区分逸脱警報装置のブロック図である。
【図8】本発明の第2の実施の形態における通行区分逸脱警報装置の動作を示すフローチャートである。
【図9】本発明の第3の実施の形態における通行区分逸脱警報装置のブロック図である。
【図10】本発明の第3の実施の形態における通行区分逸脱警報装置の動作を示すフローチャートである。
【符号の説明】
11 カメラ
13 メモリ
15 プログラム用メモリ
22、23 区分線
66 自車位置認識手段
77、177、277 通行区分逸脱判断手段
78 警報ランプ

Claims (8)

  1. 像手段によって得られた画像に基づいて車両の位置を認識する自車位置認識手段と、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されたときに、通行区分を逸脱する恐れがあると判断する通行区分逸脱判断手段と、車両が通行区分を逸脱する恐れがある場合に警報を出す警報手段とを有するとともに、前記通行区分逸脱判断手段は、ナビゲーション装置からの、道路情報又は車両の走行軌跡の情報に基づいて単調な走行状態が続くことを表す条件が成立するかどうかを判断することを特徴とする通行区分逸脱警報装置
  2. 記単調な走行状態が続くことを表す条件が成立するかどうかは、さらに、オートクルーズが設定されているかどうかに基づいて判断される請求項1に記載の通行区分逸脱警報装置。
  3. 前記運転者が意図的に通行区分を変更しようとすることを表す条件が成立するかどうかは、ウインカ及びハザードランプが点灯しているかどうかに基づいて判断される請求項1に記載の通行区分逸脱警報装置。
  4. 前記警報手段はハザードランプを点灯させる請求項1に記載の通行区分逸脱警報装置。
  5. 前記道路情報又は車両の走行軌跡の情報は、過去の所定の時間以内における車両の走行路、又は車両の前方の走行路であり、前記通行区分逸判断手段は、過去の所定の時間以内における車両の走行路がほぼ直線路であるか、又は車両の前方の走行路がほぼ直線路である場合に、前記単調な走行状態が続くことを表す条件が成立すると判断する請求項1に記載の通行区分逸脱警報装置。
  6. 前記道路情報又は車両の走行軌跡の情報に基づいて、過去の車両の走行路が判断される請求項1に記載の通行区分逸脱警報装置。
  7. 撮像手段によって得られた画像に基づいて車両の位置を認識し、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されたときに、通行区分を逸脱する恐れがあると判断し、車両が通行区分を逸脱する恐れがある場合に警報を出すとともに、単調な走行状態が続くことを表す条件が成立するかどうかは、ナビゲーション装置からの、道路情報又は車両の走行軌跡の情報に基づいて判断されることを特徴とする通行区分逸脱警報方法。
  8. 制御装置を、撮像手段によって得られた画像に基づいて車両の位置を認識する自車位置認識手段、単調な走行状態が続くことを表す条件が成立し、運転者が意図的に通行区分を変更しようとすることを表す条件が成立せず、かつ、車両が実線の区分線に接近していると判断されたときに、通行区分を逸脱する恐れがあると判断する通行区分逸脱判断手段、及び車両が通行区分を逸脱する恐れがある場合に警報を出す警報手段として機能させるとともに、前記通行区分逸脱判断手段は、ナビゲーション装置からの、道路情報又は車両の走行軌跡の情報に基づいて単調な走行状態が続くことを表す条件が成立するかどうかを判断することを特徴とするプログラムを記録した制御装置による読取りが可能な記録媒体。
JP18494698A 1998-06-30 1998-06-30 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体 Expired - Fee Related JP4028092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18494698A JP4028092B2 (ja) 1998-06-30 1998-06-30 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18494698A JP4028092B2 (ja) 1998-06-30 1998-06-30 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2000020897A JP2000020897A (ja) 2000-01-21
JP4028092B2 true JP4028092B2 (ja) 2007-12-26

Family

ID=16162129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18494698A Expired - Fee Related JP4028092B2 (ja) 1998-06-30 1998-06-30 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体

Country Status (1)

Country Link
JP (1) JP4028092B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879135B (zh) * 2003-11-30 2010-07-14 沃尔沃技术公司 用于识别驾驶员机能障碍的方法和***
JP4586443B2 (ja) * 2004-07-16 2010-11-24 トヨタ自動車株式会社 情報提供装置
JP4570055B2 (ja) * 2007-03-19 2010-10-27 パイオニア株式会社 車線逸脱報知装置
JP5803679B2 (ja) * 2012-01-05 2015-11-04 株式会社デンソー 運転状態判定装置
JP5817923B2 (ja) * 2012-04-02 2015-11-18 トヨタ自動車株式会社 運転支援装置
JP5922553B2 (ja) * 2012-10-26 2016-05-24 株式会社デンソーアイティーラボラトリ 運転単調性判定装置及び運転単調性判定方法
CN113380046B (zh) * 2021-08-13 2021-11-16 深圳市有为信息技术发展有限公司 基于固定线路识别车辆行驶状态的方法、装置及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06171392A (ja) * 1992-10-05 1994-06-21 Toyota Motor Corp 走行車線逸脱防止装置
JPH079886A (ja) * 1993-06-29 1995-01-13 Hitachi Ltd 車両の運転情報装置
JP2809338B2 (ja) * 1994-08-23 1998-10-08 住友電気工業株式会社 ナビゲーション装置
JP3638980B2 (ja) * 1995-01-27 2005-04-13 富士重工業株式会社 車両の警報装置
JP3239727B2 (ja) * 1995-12-05 2001-12-17 トヨタ自動車株式会社 車両の自動運転制御装置
JP3196639B2 (ja) * 1996-05-02 2001-08-06 三菱自動車工業株式会社 車線逸脱警報装置
JP3340920B2 (ja) * 1996-10-09 2002-11-05 日産ディーゼル工業株式会社 居眠り運転防止システム

Also Published As

Publication number Publication date
JP2000020897A (ja) 2000-01-21

Similar Documents

Publication Publication Date Title
US7548634B2 (en) Pedestrian detection system and vehicle driving assist system with a pedestrian detection system
JP4329088B2 (ja) 車両制御装置
JP2008213823A (ja) 車両用制御装置
JP2020064402A (ja) 表示装置
JP2000259998A (ja) 車両用後側方監視装置
JP4541609B2 (ja) 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP5751423B2 (ja) 運転支援装置
JPH09178505A (ja) 運転支援装置
JP2007296978A (ja) 合流運転支援装置
CN111278702A (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
CN113306565B (zh) 行驶辅助装置
JP2003205805A (ja) 車両用運転支援装置
JP2001273588A (ja) 隊列走行制御装置
JP5355209B2 (ja) ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP4028092B2 (ja) 通行区分逸脱警報装置、通行区分逸脱警報方法及び記録媒体
JP5310276B2 (ja) 運転支援装置
CN114194186A (zh) 车辆行驶控制装置
JP2004051006A (ja) 交差点事故防止装置及びプログラム
JP2004171153A (ja) 車両用情報提供装置
JPH08197977A (ja) 車両の警報装置
JP6972960B2 (ja) 運転支援装置
JP2008257635A (ja) 車両用警告装置
JP2007266975A (ja) 周辺状況認識装置及び方法
JPH09263200A (ja) 車両の警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees