JP2007213164A - 脇見運転防止装置 - Google Patents

脇見運転防止装置 Download PDF

Info

Publication number
JP2007213164A
JP2007213164A JP2006030167A JP2006030167A JP2007213164A JP 2007213164 A JP2007213164 A JP 2007213164A JP 2006030167 A JP2006030167 A JP 2006030167A JP 2006030167 A JP2006030167 A JP 2006030167A JP 2007213164 A JP2007213164 A JP 2007213164A
Authority
JP
Japan
Prior art keywords
vehicle
driver
period
vehicle speed
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006030167A
Other languages
English (en)
Other versions
JP4821347B2 (ja
Inventor
Shigeyasu Uozumi
重康 魚住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006030167A priority Critical patent/JP4821347B2/ja
Publication of JP2007213164A publication Critical patent/JP2007213164A/ja
Application granted granted Critical
Publication of JP4821347B2 publication Critical patent/JP4821347B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Regulating Braking Force (AREA)
  • Image Processing (AREA)

Abstract

【課題】後退時に適切に脇見運転を判定して運転者への警報を行うことができる脇見運転防止装置を提供すること。
【解決手段】本発明に係る脇見運転防止装置1は、運転者の顔又は視線の方向が所定の範囲内に第一の期間あれば脇見運転であると判定する脇見運転防止装置であって、
前記所定の範囲を車両の前進時と後退時とで異ならせる範囲変更手段3を有することを特徴とする。
【選択図】図1

Description

本発明は、運転者の顔又は視線の方向を検出して脇見運転かどうかを判定し運転者への警報を行う脇見運転防止装置に関する。
運転者の顔又は視線の方向を検出して脇見運転かどうかを判定し運転者への警報を行う脇見運転防止装置としては従来、特許文献1に記載されたようなものがある。この脇見運転防止装置では、例えばCCDカメラなどの検出手段により検出した顔あるいは視線の方向が、所定の範囲外にあれば、脇見運転であると判定することが行われ、かつ、運転者個々の特性や、車速や操舵角等の走行状態により、判定に用いる所定の範囲を変更することが行われている。
特開平8−207617号公報
しかしながら、このような脇見運転防止装置においては、後退時において前進時と同じ所定の範囲を用いているため、例えば、バックガイドモニタ(BGM:後方の映像と車両の採るべき軌跡を表示する装置)やバックモニタ(BM:後方の映像を表示する装置)あるいはインテリジェントパーキングアシスト(IPA:後方の映像の表示とともに自動的に操舵する装置)が搭載されている車両においてこれらを注視しながら後退しているにも関わらず、脇見運転と判定されて警報が発せられて運転者が煩わしさを感じるという問題があった。また、運転者が漫然と前方を見て後退している場合でも、運転者の顔あるいは視線の方向が前述した所定の範囲内に入っていれば、脇見運転と判定されず警報が発せられないという問題もあった。
本発明は、上記問題に鑑み、後退時に適切に脇見運転を判定して運転者への警報を行うことができる脇見運転防止装置を提供することを目的とする。
上記の問題を解決するため、本発明に係る脇見運転防止装置は、
第一の期間運転者の顔又は視線の方向が所定の範囲内にあれば脇見運転であると判定して運転者への警報を行う脇見運転防止装置であって、
前記所定の範囲を車両の前進時と後退時とで異ならせる範囲変更手段を有することを特徴とする。
ここで、脇見運転の判定に用いる第一の期間つまりは運転者への警報を行うタイミングを車速に応じたものとするために、車速を検知する車速検知手段と、前記第一の期間を前記車速検知手段が検知した車速に基づいて変更する期間変更手段とを有することが好ましい。例えば、車速が高いほど第一の期間を短くして、脇見運転を判定して運転者への警報を行うタイミングを早くする。
また、警報が行われても運転者がそれを無視してあるいはそれに気づかずにブレーキを操作しなかった場合に備えて、車両のブレーキを動作させる制御手段を有し、前記警報が行われた後、さらに運転者が車両を第二の期間後退させた場合に、前記制御手段が車両のブレーキを動作させることが好ましい。
ここでも、運転者の警報に対する無視あるいは不感知を検出するために用いる第二の期間つまりはブレーキを動作させるタイミングを車速に応じたものとするために、前記期間変更手段は前記第二の期間を前記車速検知手段が検知した車速に基づいて変更することが好ましい。
さらに、車両後方の障害物との距離を検出してそれに応じた制御を行うために、車両後方に位置する障害物と車両との距離を検出する距離検出手段を有し、当該距離検出手段が検出した距離が所定値以下となった場合に、前記制御手段が車両のブレーキを動作させることが好ましい。
ここでも、脇見運転を判定して運転者への警報を行うタイミングを障害物と車両との距離に応じたものとするために、前記距離検出手段が検出した距離が所定値以下となった場合に、前記期間変更手段が前記第一の期間を短くすることが好ましい。
本発明によれば、後退時の脇見運転の判定に用いる所定の範囲を後退時に適したものとすることができるので、後退時に適切に脇見運転を判定して運転者への警報を行うことができる。
以下、本発明を実施するための最良の形態について、添付図面を参照しながら説明する。図1は、本発明による脇見運転防止装置の一実施例を示すブロック図である。
本実施例の脇見運転防止装置1は、運転者の顔又は視線の方向を検出するための画像データを撮像する顔向きカメラ2と、顔向きカメラ2が撮像した画像データに基づき運転者の顔又は視線の方向を検出する方向検出手段として機能するとともに、当該方向が所定の範囲内に所定の期間あれば脇見運転であると判定する判定手段として機能する顔向きECU3と、顔向きECU3が脇見運転であると判定する場合に、警報を発するスピーカ4とを備え、前記顔向きECU3は、所定の範囲を車両の前進時と後退時とで異ならせる範囲変更手段としても機能する。
さらに車速検知手段として、車輪速センサ5およびブレーキECU6を備え、判定手段である顔向きECU3とは車間制御ECU7およびCANを介して接続される。また、車両後方の障害物との距離を検出してそれに応じた制御を行うために、車両後方に位置する障害物と車両との距離を検出する距離検出手段としてのクリアランスソナー8を備える。クリアランスソナー8は車間制御ECU7に接続される。
加えて、CANには上述した構成のほか、トランスミッションECU9、ゲートウェイECU10、ヨーレートセンサ11、ステアリングセンサ12が接続され、ゲートウェイECU10には、AVC−LANを介して、ナビゲーションECU13、バックガイドモニタ(BGM)ECU14およびBGMカメラ15が接続されている。トランスミッションECU9は後述するようにシフトレバー位置が検出され、検出されたシフトレバー位置は顔向きECU3に、CANを介して伝送される。
ここで、前述した所定の範囲を前進時と後退時とで異ならせるにあたり、例えば、後退時の所定の範囲を−5≦α≦5(deg)とし、前進時の所定の範囲を、α<−15、+15<α(deg)とする。ここでαとは、図2に示すように、上方から見て運転者の顔又は視線の方向φが車両前後方向βとなす角度を示し、αが+(プラス)の値であるときは、顔又は視線の方向φが車両前後方向βに対して左側に位置し、αが−(マイナス)の値であるときは、顔又は視線の方向φが車両前後方向βに対して右側に位置することを示す。
顔向きカメラ2は例えば図3に示すように、運転席のフロントパネルに設けられ、顔向きカメラ2で撮像された画像データは、顔向きECU3において、例えばエッジ検出やパターンマッチング等の所定の画像処理が施され、運転者の顔又は視線の方向が検出される。これらの処理方法は周知のものであるため詳細な説明は割愛する。
このように検出された運転者の顔又は視線の方向が第一の期間所定の範囲にあれば、顔向きECU3が脇見運転であると判定し、スピーカ4から警報音を発して運転者に注意喚起する。なお、スピーカ4は運転者に振動を付与して注意喚起する振動付与装置としてもよい。
以上述べたように、所定の範囲を車両の前進時と後退時とで異ならせることにより、後退時の脇見運転の判定に用いる所定の範囲を前進時の所定の範囲ではなく後退時に適したものとすることができるので、後退時に適切に脇見運転を判定して運転者への警報を行うことができる。
例えば図1に示したように、バックガイドモニタ(BGM)が搭載されている車両において、BGMに対する運転者の顔又は視線の方向が図4に示すように+15≦α≦+20である場合に、これを注視しながら後退している場合には、前述したように脇見運転の判定に用いる所定の範囲が−5≦α≦5であるので、脇見運転と判定されて警報が発せられることはなく、運転者が煩わしさを感じることも防止できる。また、運転者が漫然と前方を見て後退している場合においては、所定の範囲−5≦α≦+5に運転者の顔又は視線の方向が入るため、脇見運転と判定されて警報が発せられるため安全性が阻害されることを防止することができる。
ここで、車速を検知する車速検知手段(車輪速センサ5とブレーキECU6)を備えるとともに、第一の期間を前記車速検知手段が検知した車速に基づいて期間変更手段としての顔向きECU3が変更することにより、脇見運転の判定に用いる所定の期間つまりは警報を発するタイミングを車速に応じたものとする、例えば、車速が高いほど第一の期間を短くして、脇見運転を判定して警報を発するタイミングを早くすることができるため、これにより、より後方への衝突の危険性が高い車速の高い領域において、より早く警報を発して、後方への衝突をより効果的に防止することができる。
また、車両のブレーキを動作させる制御手段としてのブレーキ6を備えて、警報手段としてのスピーカ4が警報を発した後、さらに運転者が車両を第二の期間後退させた場合に、ブレーキECU6がブレーキを動作させるように顔向きECU3がブレーキECU6に指令を出力することにより、警報を発しても運転者がそれを無視してあるいはそれに気づかずにブレーキを操作しなかった場合でも後方への衝突を防止することができる。
さらに、期間変更手段としての顔向きECU3は第二の期間を車速検知手段としてのブレーキECU6が検知した車速に基づいて変更する、例えば車速が高いほど第二の期間を短くして、ブレーキを動作させるタイミングを速くすることにより、より後方への衝突の危険性が高い車速の高い領域において、より早くブレーキを動作させて、後方への衝突をより効果的に防止することができる。つまり、運転者の警報に対する無視あるいは不感知を検出するために用いる第二の期間つまりはブレーキを動作させるタイミングを車速に応じたものとすることができる。
さらに、車両後方に位置する障害物と車両との距離を検出する距離検出手段としてのクリアランスソナー8を備え、これとともに、距離検出手段としてのクリアランスソナー8が検出した距離が所定値以下となった場合に、制御手段としてのブレーキECU6が車両のブレーキを動作させるように顔向きECU3がブレーキECU6に指令を出すことにより、車両後方の障害物と車両との距離を検出して、その距離が小さくなった場合に自動的に車両のブレーキを動作させて、後方への衝突をより効果的に防止することができ、車両後方の障害物との距離を検出してそれに応じた制御を行うことができる。
なお、距離検出手段としては、クリアランスソナー8(隙間超音波探知機)に換えて、ミリ波レーダ、レーザレーダ、ステレオカメラ等の後方監視用センサを使用することも可能である。
さらに、距離検出手段としてのクリアランスソナー8が検出した距離が所定値以下となった場合に、期間変更手段としての顔向きECU3が第一の期間を短くすることにより、車両方向の障害物との距離を検出して、車両のブレーキを自動的に動作させる前段階として、運転者に警報を発するタイミングを早めることができるので、後方への衝突をより効果的に防止することができる。つまり、脇見運転を判定して警報を発するタイミングを障害物と車両との距離に応じたものとすることができる。
図5は、本発明の一実施例となる脇見運転防止装置の制御内容を示す模式図である。
まず、S1において、前述した方向検出手段としての顔向きカメラ2が運転者の顔又は視線の方向を検出し、S2において、顔向きECU3がトランスミッションECU9からのシフトレバー位置を検出して、シフトレバー位置がR(後退)であれば、S3に進み、後退時の所定の範囲を選択する。
S4において、車輪速センサ5およびブレーキECUからの車速を顔向きECU3が検出して、S5において当該車速において脇見運転の判定に用いる第一の期間を決定し、S6において、第一の期間運転者の顔又は視線の方向が、所定の範囲内にあるかどうかが判定されて、その判定がYESであれば、S8にすすみ警報手段であるスピーカor振動付与装置により運転者に警報を発し、NOであれば、S7にすすんで後退を継続する。S8で運転者に警報を発した後、さらに、運転者がそれを無視しあるいは気づかずに後退を第二の期間内継続した場合は、それをS9において車速を検知することにより検知してS10により、ブレーキECU6が車両のブレーキを動作させるように、顔向きECU3がブレーキECU6に対して指令を出力する。
S2において、シフトレバー位置がR(後退)でないと検出された場合は、S11にすすみ、前進時の所定の範囲を選択し、S12において前進時の脇見運転の判定を行う。第一の期間運転者の顔又は視線の方向が前進時の所定の範囲内にあれば、脇見運転と判定され、S14に進んで、運転者に対して警報を発し、運転者がその警報を無視しあるいは気づかずにさらに前進を続けた場合は、それを車速検知により検知して、S16において、前進用各アプリケーションを実施する。前進用各アプリケーションとは、例えば、自動的にブレーキをかけるように顔向きECU3がブレーキECU6に指令を出力する、あるいはシフトダウンを行うように顔向きECU3がトランスミッションECU9に指令を出力して車速を低減するように制御することを言う。S12において、第一の期間運転者の顔又は視線の方向が所定の範囲内にないと判定され、脇見運転でないと判定される場合は、前進を継続する。
以上本発明の好ましい実施例について詳細に説明したが、本発明は上述した実施例に制限されることなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形および置換を加えることができる。
本発明による脇見運転防止装置の一実施例を示すブロック図である。 本発明による脇見運転防止装置の脇見運転の判定に用いる所定の範囲を示す模式図である。 本発明による脇見運転防止装置の方向検出手段を示す模式図である。 本発明による脇見運転防止装置の脇見判定に用いる所定の範囲を示す模式図である。 本発明による脇見運転防止装置の一実施例の制御内容を示すフローチャートである。
符号の説明
1 脇見運転防止装置
2 顔向きカメラ
3 顔向きECU
4 スピーカ
5 車輪速センサ
6 ブレーキECU
7 車間制御ECU
8 クリアランスソナー
9 トランスミッションECU
10 ゲートウェイECU
11 ヨーレートセンサ
12 ステアリングセンサ
13 ナビゲーションECU
14 バックガイドモニタECU
15 BGMカメラ

Claims (6)

  1. 第一の期間運転者の顔又は視線の方向が所定の範囲内にあれば脇見運転であると判定して運転者への警報を行う脇見運転防止装置であって、
    前記所定の範囲を車両の前進時と後退時とで異ならせる範囲変更手段を有することを特徴とする脇見運転防止装置。
  2. 車速を検知する車速検知手段と、前記第一の期間を前記車速検知手段が検知した車速に基づいて変更する期間変更手段とを有することを特徴とする請求項1に記載の脇見運転防止装置。
  3. 車両のブレーキを動作させる制御手段を有し、前記警報が行われた後、さらに運転者が車両を第二の期間後退させた場合に、前記制御手段が車両のブレーキを動作させることを特徴とする請求項2に記載の脇見運転防止装置。
  4. 前記期間変更手段は前記第二の期間を前記車速検知手段が検知した車速に基づいて変更することを特徴とする請求項1に記載の脇見運転防止装置。
  5. 車両後方に位置する障害物と車両との距離を検出する距離検出手段を有し、当該距離検出手段が検出した距離が所定値以下となった場合に、前記制御手段が車両のブレーキを動作させることを特徴とする請求項3に記載の脇見運転防止装置。
  6. 前記距離検出手段が検出した距離が所定値以下となった場合に、前記期間変更手段が前記第一の期間を短くすることを特徴とする請求項5に記載の脇見運転防止装置。
JP2006030167A 2006-02-07 2006-02-07 脇見運転防止装置 Expired - Fee Related JP4821347B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006030167A JP4821347B2 (ja) 2006-02-07 2006-02-07 脇見運転防止装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006030167A JP4821347B2 (ja) 2006-02-07 2006-02-07 脇見運転防止装置

Publications (2)

Publication Number Publication Date
JP2007213164A true JP2007213164A (ja) 2007-08-23
JP4821347B2 JP4821347B2 (ja) 2011-11-24

Family

ID=38491563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006030167A Expired - Fee Related JP4821347B2 (ja) 2006-02-07 2006-02-07 脇見運転防止装置

Country Status (1)

Country Link
JP (1) JP4821347B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044491A (ja) * 2012-08-24 2014-03-13 Panasonic Corp 警報装置、端末装置、警報システム、警報出力方法、通知方法
WO2014068844A1 (ja) * 2012-10-30 2014-05-08 株式会社デンソー 運転支援装置および運転支援方法
WO2014073174A1 (ja) * 2012-11-08 2014-05-15 株式会社デンソー 車載機および車両安全制御システム
US10417512B2 (en) 2015-07-06 2019-09-17 Denso Corporation Driver abnormality detection device and driver abnormality detection method
JP2019158496A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 車載機、後退判定方法、及び後退判定プログラム
WO2020213022A1 (ja) * 2019-04-15 2020-10-22 三菱電機株式会社 視線監視装置および視線監視方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59159081A (ja) * 1983-02-28 1984-09-08 Nec Home Electronics Ltd 自動車用後方監視装置
JPS61207226A (ja) * 1985-03-13 1986-09-13 Tadashi Ienaga 車両の追突防止装置
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JPH092152A (ja) * 1995-06-16 1997-01-07 Fuji Heavy Ind Ltd 警報装置
JP2000142282A (ja) * 1998-11-11 2000-05-23 Nissan Motor Co Ltd 自動車用の安全促進装置
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
JP2003141697A (ja) * 2001-11-02 2003-05-16 Toyota Central Res & Dev Lab Inc 車両制動警報装置及び車両制動制御装置
JP2004347464A (ja) * 2003-05-22 2004-12-09 Nissan Motor Co Ltd 脇見検出装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59159081A (ja) * 1983-02-28 1984-09-08 Nec Home Electronics Ltd 自動車用後方監視装置
JPS61207226A (ja) * 1985-03-13 1986-09-13 Tadashi Ienaga 車両の追突防止装置
JPH07167668A (ja) * 1993-12-14 1995-07-04 Nissan Motor Co Ltd 走行情報提供装置
JPH092152A (ja) * 1995-06-16 1997-01-07 Fuji Heavy Ind Ltd 警報装置
JP2000142282A (ja) * 1998-11-11 2000-05-23 Nissan Motor Co Ltd 自動車用の安全促進装置
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
JP2003141697A (ja) * 2001-11-02 2003-05-16 Toyota Central Res & Dev Lab Inc 車両制動警報装置及び車両制動制御装置
JP2004347464A (ja) * 2003-05-22 2004-12-09 Nissan Motor Co Ltd 脇見検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044491A (ja) * 2012-08-24 2014-03-13 Panasonic Corp 警報装置、端末装置、警報システム、警報出力方法、通知方法
WO2014068844A1 (ja) * 2012-10-30 2014-05-08 株式会社デンソー 運転支援装置および運転支援方法
WO2014073174A1 (ja) * 2012-11-08 2014-05-15 株式会社デンソー 車載機および車両安全制御システム
JP2014095987A (ja) * 2012-11-08 2014-05-22 Denso Corp 車載機および車両安全制御システム
US10417512B2 (en) 2015-07-06 2019-09-17 Denso Corporation Driver abnormality detection device and driver abnormality detection method
JP2019158496A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 車載機、後退判定方法、及び後退判定プログラム
JP7130994B2 (ja) 2018-03-12 2022-09-06 オムロン株式会社 車載機、後退判定方法、及び後退判定プログラム
WO2020213022A1 (ja) * 2019-04-15 2020-10-22 三菱電機株式会社 視線監視装置および視線監視方法
JPWO2020213022A1 (ja) * 2019-04-15 2021-10-14 三菱電機株式会社 視線監視装置および視線監視方法

Also Published As

Publication number Publication date
JP4821347B2 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
JP4021344B2 (ja) 車両用運転支援装置
JP6604317B2 (ja) 駐車支援装置
US10583843B2 (en) Travel control apparatus and travel control method
JP4161938B2 (ja) 走行制御装置
JP6530705B2 (ja) 運転支援装置及び運転支援方法
JP4706654B2 (ja) 衝突回避装置
EP2011701B1 (en) Parking assistance device and parking assistance method
US7272477B2 (en) Vehicle parking assisting system and method
JP4852941B2 (ja) 車載警報装置
JP6763327B2 (ja) 衝突回避装置
WO2007142345A1 (ja) 走行支援装置
JP4821347B2 (ja) 脇見運転防止装置
JP2011022990A (ja) 車両運転支援装置及び車両運転支援方法
JP2011148479A (ja) 車両運転支援装置
JP2007221200A (ja) 車両周辺監視装置
JP2015003565A (ja) 駐車支援装置
JP2006331323A (ja) 車両逸脱警報装置
JP2001109999A (ja) 車両用運転支援装置
JP2010137778A (ja) 操舵支援装置
JP2007034988A (ja) 車両の障害物回避報知装置
JP2011126337A (ja) 運転支援装置
JP2008006932A (ja) 運転支援装置およびプログラム
JP2007124097A (ja) 車両周辺視認装置
JP3738709B2 (ja) 車線逸脱警報装置
JP2013141839A (ja) センサ検知範囲変更装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

R151 Written notification of patent or utility model registration

Ref document number: 4821347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees