JP5056067B2 - 居眠り警報装置 - Google Patents

居眠り警報装置 Download PDF

Info

Publication number
JP5056067B2
JP5056067B2 JP2007045910A JP2007045910A JP5056067B2 JP 5056067 B2 JP5056067 B2 JP 5056067B2 JP 2007045910 A JP2007045910 A JP 2007045910A JP 2007045910 A JP2007045910 A JP 2007045910A JP 5056067 B2 JP5056067 B2 JP 5056067B2
Authority
JP
Japan
Prior art keywords
stimulus
alarm
human
reaction
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007045910A
Other languages
English (en)
Other versions
JP2008206688A (ja
Inventor
拓寛 大見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007045910A priority Critical patent/JP5056067B2/ja
Priority to US12/068,764 priority patent/US8009051B2/en
Priority to DE102008010515.5A priority patent/DE102008010515B4/de
Priority to CN2008100813266A priority patent/CN101256706B/zh
Publication of JP2008206688A publication Critical patent/JP2008206688A/ja
Application granted granted Critical
Publication of JP5056067B2 publication Critical patent/JP5056067B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、居眠り警報装置に関するものである。
従来、例えば、特許文献1〜3に記載のように、ドライバの居眠り運転を防止する居眠り運転警報装置が提案されている。このうち、特許文献1に記載の居眠り運転警報装置は、単調運転を検出した場合に予備警報を発生し、この予備警報に対して、ドライバがリセットスイッチを押す応答操作を行う場合には警報を発生せず、その応答操作を行わない場合には警報を発生する。
特開昭56−2227号公報 特開平6−197888号公報 特開平11−189066号公報
ドライバの眠気は、個人差、体調や心理状態などが影響して、その推定結果は必ずしもドライバの主観と合致しないことがある。そのため、推定した結果に基づいて警報を発生する場合、あるドライバにとってはかなり眠気が進行した状態で発せられるために警報のタイミングが遅すぎる場合もあれば、覚醒した状態で発せられるために警報を煩わしく感じる場合もある。従って、上記特許文献1のように、警報を発生する前に予備警報を発生して、ドライバからの応答操作が行われた場合には警報を発生しないようにすることで、不要な警報の発生が低減される。
しかしながら、予備警報についても、警報と同様に、ドライバが覚醒した状態で発せられる場合があるため、ドライバにとって煩わしくないものが求められる。また、上記特許文献1では、単調運転を検出する度に応答操作を行う必要があるため、ドライバはその応答操作を煩わしく感じる。
本発明は、上記の問題を鑑みてなされたもので、煩わしい警報を低減することのできる居眠り警報装置を提供することを目的とする。
請求項1に記載の居眠り警報装置は、人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激をスピーカから発生する刺激発生手段と、刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応として前記人間の表情の変化、および、前記人間の顔あるいは視線方向が前記スピーカに向けられたことのいずれかを検出する反応検出手段と、反応検出手段が刺激に対する人間の反応を検出したかどうかによって、人間に対して警報すべきか否かを判定する警報発生判定手段と、警報発生判定手段によって警報すべきと判定された場合に、人間に対して警報を発生する警報発生手段と、を備えることを特徴とする。
請求項2に記載の居眠り警報装置は、人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激を発生する刺激発生手段と、前記刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応を検出する反応検出手段と、前記反応検出手段が前記刺激に対する人間の反応として前記人間の表情の変化を検出したかどうかによって、前記人間に対して警報すべきか否かを判定する警報発生判定手段と、前記警報発生判定手段によって警報すべきと判定された場合に、前記人間に対して警報を発生する警報発生手段と、を備えることを特徴とする。
請求項3に記載の居眠り警報装置は、人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激を発生する刺激発生手段と、前記刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応を検出する反応検出手段と、前記反応検出手段が前記刺激に対する人間の反応を検出したかどうかによって、前記人間に対して警報すべきか否かを判定する警報発生判定手段と、前記警報発生判定手段によって警報すべきと判定された場合に、前記人間に対して警報を発生する警報発生手段と、を備え、前記刺激発生手段は、前記人間の反応を得るための刺激として、ホワイトノイズを発生させることを特徴とする。
このように本発明は、人間の反応を得るための刺激を予備警報として与え、その刺激に対する人間の反応を検出することで、人間の覚醒状態をフィードバックする。これにより、予備警報に対する応答操作が不要となり、また、人間の反応を得るための刺激を予備警報として与えることから、ドライバの煩わしさを低減することができる。そして、刺激に対する人間の反応を検出した場合には、警報すべきでないと判断して、警報の発生を見送ることになるから、煩わしい警報が低減される。
なお、ホワイトノイズは、人間の可聴周波数帯域(20〜20000[Hz]程度)において略均一な周波数特性を有する(言い換えれば、特定周波数のピークをもたない)。そのため、請求項3のようにホワイトノイズを人間に与えると、ホワイトノイズが人間の周囲の環境音に重畳しても、人間の外界に対する知覚能力は大きく低下しない。
また、請求項に記載のように、刺激発生手段の発生する刺激と、警報発生手段から発生する警報とは、その各々が、人間の異なる感覚器官に受容されるものであってもよい。人間の感覚器官は、視覚には光線、聴覚には音波、臭覚には香りというように、それぞれ感覚器官に対応した物理的・化学的刺激にのみ反応することが知られている。従って、人間の異なる感覚器官に働きかけることができる。
請求項の記載によれば、刺激発生手段は、人間の反応を得るための刺激の発生場所が時間経過に従って変更されるように発生することが好ましい。覚醒時の人間であれば、刺激の発生場所の変化に敏感に反応することができるからである。
請求項に記載のように、人間が周囲の環境から受ける刺激を取得する周囲刺激取得手段を備え、刺激発生手段は、人間の反応を得るための刺激として、周囲刺激取得手段が取得した人間が周囲の環境から受ける刺激の強さを基準に、その強さが増加、若しくは減少するように発生させてもよい。覚醒時の人間は、周囲からの環境音が大きくなったり小さくなったりする変化など、周囲の環境から受ける刺激の変化(微分)に敏感に反応することができるからである。
従って、請求項に記載のように、刺激発生手段は、人間の反応を得るための刺激の強さが断続的に増加、若しくは減少するように発生させたり、請求項に記載のように、刺激発生手段は、人間の反応を得るための刺激の強さが時間経過に従って徐々に増加、若しくは減少するように発生させたりすることで、さらなる効果が期待できるのである。
請求項の記載によれば、人間の眠気の強弱に応じて変化する眠気レベルを判定する眠気レベル判定手段を備え、刺激発生手段は、眠気レベル判定手段の判定した眠気レベルが予め設定された警報閾値を超えたタイミングで刺激を発生することを特徴とする。これにより、人間が眠気をもよおしているものと推定される場合に、人間の反応を得るための刺激を発生させることができる。
以下、本発明の居眠り警報装置の実施形態について図面を用いて説明する。図1に、車両に搭載された居眠り警報装置100の全体構成を示し、図2に、居眠り警報装置100のブロック図を示す。図1及び図2に示すように、居眠り警報装置100は、マイク1、カメラ2、近赤外LED(LED)3、画像処理・撮像制御回路(画像ECU)4、制御装置5、音声生成装置6、及びスピーカ7によって構成される。
スピーカ7は、車両の車室内の適宜の位置に配置され、音源生成装置6からの制御信号を受信して音波を出力する。カメラ2は、車両のメータパネル付近に配置され、車両を運転する人間(以下、ドライバ)の胸部から上方を撮像範囲に含む。カメラ2は、近赤外光を発するLED3によって照射されたドライバの上記撮像範囲の画像を繰り返し撮像する(フレームレートは30〜60[fps]程度。)。
画像ECU4は、カメラ2の撮像制御やLED3の照明制御を実行するほか、カメラ2で撮像した画像データを入力して、不図示のメモリに一時的に記憶する。画像処理ECU4は、カメラ2より撮像された画像データを読み込んで、順次所定の画像認識処理を施すことにより、ドライバの動作や外観を判断するための処理データを生成し、他のメモリに記憶する。
制御装置5は、眠気レベル判定部51、ドライバ反応判定部52から構成される。眠気レベル判定部51は、画像処理ECU4から取得した処理結果に基づき、ドライバの眠気の強弱に応じて変化する眠気レベル(眠気が弱いほど低く、眠気が強いほど高いレベルを示す6段階程度の眠気レベル)を判定(推定)する。具体的には、ドライバの瞼の開き度合いの変化や、瞬きパターンの変化から推定する。
眠気レベル判定部51では、図3に示すように、この眠気レベルに対して、ドライバの反応を得るための刺激(予備警報)の発生タイミングを規定する警報閾値が設定されている。制御装置5では、ドライバの眠気レベルが警報閾値を超えたタイミングで予備警報を発生させる。これにより、ドライバが眠気をもよおしているものと推定される場合に、ドライバの反応を得るための予備警報を発生させることができる。
ドライバ反応判定部52は、スピーカ7から予備警報を発生した場合、画像処理ECU4から処理データを取得して、その処理データから、予備警報に対するドライバの反応の検出を試みる。ドライバ反応判定部52では、ドライバの動作や外観からドライバの反応を検出する。本実施形態では、ドライバの表情の変化があった場合、あるいは、ドライバの顔や視線方向がスピーカ7に向けられた場合に、予備警報に対するドライバの反応を検出したものと判定する。
この他、例えば、予め設定したドライバのジェスチャー(例えば、瞬目を2回繰り返す、首を左右に振る、口を開ける等)があった場合に、ドライバの反応を検出したものと判定してもよい。これにより、予備警報に対する応答操作をドライバに課すことなく、ドライバの動作や外観から予備警報に対するドライバの反応を検出することができる。なお、予備警報に対するドライバの反応は、生体信号(心拍数、脈拍、筋電位等の変化)から検出するようにしてもよい。また、ドライバ反応判定部52は、予備警報に対するドライバの反応を検出していないと判定した場合、ドライバに対して警報すべきであると判定して、その旨の信号を音声生成装置6へ出力する。
音声生成装置6は、ドライバの眠気レベルが警報閾値を超えたタイミングで、スピーカ7から予備警報を発生させる。音声生成装置6では、図5に示すように、人間の可聴周波数帯域(20〜20000[Hz]程度)において略均一な周波数特性を有する(言い換えれば、特定周波数のピークをもたない)ホワイトノイズを生成してスピーカ7から発生させる。
発明者による実験では、70[dB]程度の音圧レベルのホワイトノイズをドライバに与えたところ、覚醒時にはホワイトノイズの発生に敏感に反応し、かつ、そのホワイトノイズが耳障りでないとの主観評価を得ている。また、ホワイトノイズは、上記の周波数特性を有するので、ホワイトノイズをドライバの周囲の環境音に重畳してドライバに与えても、ドライバの外界に対する知覚能力は大きく低下しない。従って、本実施形態ではホワイトノイズを生成する。
音声生成装置6にて生成するホワイトノイズは、環境音の音圧レベルを基準にその音圧レベル(強さ)を調整する。すなわち、覚醒時のドライバは、環境音が大きくなったり小さくなったりする変化など、周囲の環境から受ける環境音の変化(微分)に敏感に反応することができる。そこで、マイク1からドライバが周囲の環境から受ける刺激(環境音)を取得し、その環境音にホワイトノイズを重畳する際、その重畳するホワイトノイズの音圧レベルが一定のレベルとなるように、環境音の音圧レベルを基準に、重畳するホワイトノイズの音圧レベルを調整する。
また、上述したように、覚醒時のドライバは、周囲の環境から受ける環境音の変化(微分)に敏感に反応することができるので、図4に示すように、ホワイトノイズの音圧レベルが環境音の音圧レベルを基準として、断続的に増加・減少を繰り返すように発生させたり、図7に示すように、ホワイトノイズの音圧レベルが環境音の音圧レベルを基準として、時間経過に従って徐々に増加するように発生させたりすると、より効果的である。
音源生成装置6は、図4に示すように、予備警報が環境音に重畳するように発生した後、猶予期間内にドライバの反応が検出されなかった場合、ドライバ反応判定部52から警報すべきである旨の信号を受信し、その信号を受けて、スピーカ7から本警報を発生させる。この本警報は、図6に示すように、特定の周波数でピークをもつ周波数特性を有する。
次に、居眠り警報装置100の動作について、図8及び図9のフローチャートを用いて説明する。なお、ドライバが眠りに至る経緯は、ドライバが徐々に眠くなっていくパターン(平均眠気と呼ぶ)が一般的であるが、ドライバは突然眠くなるパターン(瞬時眠気と呼ぶ)もある。そこで、居眠り警報装置100では、瞬時眠気に対応した処理と平均眠気に対応した処理を同時に繰り返し行うことで、何れのパターンにも対応可能としている。
図8は、画像認識処理のフローチャートであり、繰り返し実行する。図8に示すステップS11では、画像データを取得し、ステップS12では、画像認識処理を実行する。ステップS13では、処理データをメモリに記憶する。
図9は、居眠り警報処理のフローチャートである。図9のステップS21ではメモリに記憶された処理データを取得し、ステップS22にて眠気レベルを判定(推定)する。眠気レベル判定は過去30秒から60秒間の蓄積データを用いてその時間内における平均的(潜在的)な眠気レベルを移動平均を取りながら常にリフレッシュして判定するものである。
ステップS23では、瞬時眠気が有るかどうかを判断する。瞬時眠気は、急速に眠気レベルが高くなるように変化するので、その変化の度合いから判断する。このステップS23にて肯定判断した場合にはステップS29にて本警報を発生させる。一方、否定判断した場合には、ステップS24へ処理を進める。ステップS24では眠気レベルが警報閾値を超えているかどうかを判断する。このステップS24にて肯定判断した場合にはステップS25に進み、否定判断した場合にはステップS21へ処理を移行し、同様の処理を繰り返す。
ステップS25では予備警報としてのホワイトノイズを発生させ、ステップS26では制御装置5の備える不図示のタイマーのカウントをスタートさせる。ステップS27では、予備警報に対するドライバの反応を検出したかどうかを判定し、ドライバの反応を検出していないと判定した場合にはステップS28に処理を進め、ドライバの反応を検出したと判定した場合には、ステップS30にて予備警報を停止して、ステップS31に処理を移行する。
ステップS28では、タイマーのカウントが図4に示した猶予期間TH以上かどうかを判定する。ここで、肯定判定される場合には、ホワイとノイズ発生後、猶予期間が経過してもドライバの反応を検出していない(反応が無かったもの)として、ステップS29にて本警報を発生させる。一方、否定判定される場合にはステップS25へ処理を移行し、上述した処理を繰り返す。ステップS31では、タイマーのカウントをリセットした後、再びタイマーをスタートさせ、上述した処理を繰り返す。
このように、本実施形態の居眠り警報装置100は、本警報を発生する前に、覚醒時のドライバであれば反応可能であるホワイトノイズをドライバに与え、このホワイトノイズに対するドライバの反応を猶予期間内に検出した場合には、本警報の発生を見送るようにした。これにより、ホワイトノイズに対する応答操作が不要となり、また、ドライバの反応を得るためのホワイトノイズをドライバ与えることから、ドライバの煩わしさを低減することができる。そして、ホワイトノイズに対するドライバの反応を検出した場合には、警報すべきでないと判断して、警報の発生を見送ることになるから、煩わしい警報が低減される。
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。
(変形例1)
本実施形態では、車室内に1つ配置されるスピーカ7からホワイトノイズを発生させているが、例えば、ドライバに対し左右にスピーカを配置し、ホワイトノイズを左右のスピーカから交互に発生させてもよい。このようにしても、覚醒時のドライバであれば、ホワイトノイズの発生場所の変化に敏感に反応することができる。
(変形例2)
本実施形態では、ドライバの周囲の環境音にホワイトノイズを重畳するものであるが、マイク1で取得した環境音から、環境音の周波数特性を分析し、その分析した周波数特性に対し逆位相のホワイトノイズを音源生成装置6にて生成して、スピーカ7から発生させることで、環境音の音圧レベルを減少させる変化を発生させるようにしてもよい。
上述したように、覚醒時のドライバは、周囲から受ける刺激の変化(微分)に敏感に反応することができる。従って、上記のように、ドライバが周囲から受ける環境音の音圧レベルが減少するようにしても、ドライバの反応が検出可能となる。
(変形例3)
また、本実施形態の音源生成装置6において、マイク1で環境音を取得し、その環境音の周波数特性を分析して、その周波数特性に上乗せしたホワイトノイズを生成するようにしてもよい。しかしながら、ドライバの個人差によって、聴こえ方は異なることが想定される。従って、音源生成装置6にて生成する予備警報の周波数特性は、任意に調整できるようにしても良い。さらに、ドライバを特定する手段として個人認証手段を備え、各ドライバが知覚できる音圧レベルを予めキャリブレーションして記憶しておき、ドライバ毎に予備警報時の音圧レベルをカスタマイズするようにしても良い。
(変形例4)
本実施形態では、環境音を取得するためのマイク1を車室内にのみ配置しているが、車室外にも配置して、車室内外の環境音を取得し、さらに、それらの周波数特性を分析して、その間の周波数特性を有するホワイトノイズを予備警報として発生するようにしてもよい。これによっても、予備警報の煩わしさを低減することができる。
(変形例5)
また、本実施形態のホワイトノイズは、環境音の音圧レベルや周波数特性と無関係に重畳しても良いが、実際に環境音の対象となる連続スペクトル音の「音の大きさ(loudness)」を簡単に測定できない場合が多い。そこで、環境音の大きさとの対応がよく、簡単に測定可能なものとして用いられるA特性音圧レベル(周波数による音の大きさの違いをシミュレートし、各周波数成分の聴感上での加算をエネルギー加算に置き換えたもの)を周波数補正した音圧レベルを増幅して、ホワイトノイズを生成するようにしても良い。
(変形例6)
例えば、GPS(Global Positioning System、全地球測位システム)等を用いて車両の現在位置(ドライバの現在位置)を取得し、この現在位置における地域の属性(海岸地帯、市街地、山岳地帯、住宅地、幹線道路等)を地図データを用いて特定し、その地域の属性に対応する環境音の音響データを予め記憶させたメモリから選択して、その環境音を予備警報として再生(発生)するようにしてもよい。
これにより、ドライバの反応を得るための予備警報として、車両の存在する地域の属性に応じた環境音が出力されるようになるため、警報を発生する前の予備警報を煩わしいと感じさせないようにすることができる。ここで、地域の属性に応じた環境音としては、例えば、海辺であれば波の音であったり、市街地であれば自動車の走行音や音響装置付信号機(交通信号機において歩行者用灯器が青であることを視覚障害者に知らせるため、誘導音を外部に接続したスピーカから鳴動させる視覚障害者用交通信号付加装置)からの誘導音であったりすればよい。
(変形例7)
また、本実施形態では、スピーカ7からドライバの聴覚を刺激する予備警報や本警報を発生するものであるが、予備警報として発生する刺激と、本警報として発生する刺激とが、ドライバの異なる感覚器官によって受容されるものであってもよい。
すなわち、人間の感覚器官は、視覚には光線、聴覚には音波、臭覚には香りというように、それぞれ感覚器官に対応した物理的・化学的刺激にのみ反応する(このような刺激は適当刺激と呼ばれる。)ことが知られている。従って、上記のようにすることで、人間の異なる感覚器官に働きかけることができる。
具体的には、視覚に働きかける予備警報としては、車両のメータのイルミネーションランプの点灯/消灯、ランプ色の変更、ランプ照度の変更とし、視覚に働きかける本警報としては、メータ内に警告ランプを点滅させる等とするとよい。
また、触覚に働きかける予備警報としては、空調装置からの送風のON/OFF、最小風量での送風とし、触覚に働きかける本警報としては、最大風量での送風等とするとよい。また、臭覚に働きかける予備警報としては、柑橘系の香りを発生させるとし、臭覚に働きかける本警報としては、ミント系の香りを発生する等するとよい。そして、これらの予備警報と本警報を人間の異なる感覚器官に働きかけるように組み合わせるとよい。
(変形例8)
また、例えば、本実施形態の居眠り警報装置100は、車両のドライバに対して警報を発生するものであるが、携帯電話やパーソナルコンピュータに同様の構成を備えて、ビジネスシーンにおいて活用することも可能である。その場合には、ドライバの眠気レベルを心拍数や脈拍等の生体信号を検出して推定すればよい。
車両に搭載された居眠り警報装置100の全体構成を示す図である。 居眠り警報装置100のブロック図である。 眠気レベルと警報閾値を説明するための図である。 予備警報と本警報を説明するための図である。 予備警報としてのホワイトノイズの周波数特性を示す図である。 本警報の周波数特性を示す図である。 予備警報の音圧レベルを段階的に増加させた例を示した図である。 画像認識処理のフローチャートである。 居眠り警報処理のフローチャートである。
符号の説明
1 マイク
2 カメラ
3 近赤外LED(LED)
4 画像処理・撮像制御回路(画像ECU)
5 制御装置
51 眠気レベル判定部
52 ドライバ反応判定部
6 音源生成装置
7 スピーカ
100 居眠り警報装置

Claims (9)

  1. 人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激をスピーカから発生する刺激発生手段と、
    前記刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応を検出する反応検出手段と、
    前記反応検出手段が前記刺激に対する人間の反応として前記人間の表情の変化、および、前記人間の顔あるいは視線方向が前記スピーカに向けられたことのいずれかを検出したかどうかによって、前記人間に対して警報すべきか否かを判定する警報発生判定手段と、
    前記警報発生判定手段によって警報すべきと判定された場合に、前記人間に対して警報を発生する警報発生手段と、を備えることを特徴とする居眠り警報装置。
  2. 人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激を発生する刺激発生手段と、
    前記刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応を検出する反応検出手段と、
    前記反応検出手段が前記刺激に対する人間の反応として前記人間の表情の変化を検出したかどうかによって、前記人間に対して警報すべきか否かを判定する警報発生判定手段と、
    前記警報発生判定手段によって警報すべきと判定された場合に、前記人間に対して警報を発生する警報発生手段と、を備えることを特徴とする居眠り警報装置。
  3. 人間に対して警報を発生する前に、当該人間の反応を得るための刺激であって、覚醒時の人間が反応可能である一方、非覚醒時の人間は反応しない程度の刺激を発生する刺激発生手段と、
    前記刺激発生手段の発生した刺激を人間に与えた場合に、その刺激に対する人間の反応を検出する反応検出手段と、
    前記反応検出手段が前記刺激に対する人間の反応を検出したかどうかによって、前記人間に対して警報すべきか否かを判定する警報発生判定手段と、
    前記警報発生判定手段によって警報すべきと判定された場合に、前記人間に対して警報を発生する警報発生手段と、を備え
    前記刺激発生手段は、前記人間の反応を得るための刺激として、ホワイトノイズを発生させることを特徴とする居眠り警報装置。
  4. 前記刺激発生手段の発生する刺激と、前記警報発生手段から発生する警報とは、その各々が、人間の異なる感覚器官に受容されるものであることを特徴とする請求項1〜3のいずれか1項に記載の居眠り警報装置。
  5. 前記刺激発生手段は、前記人間の反応を得るための刺激の発生場所が時間経過に従って変更されるように発生することを特徴とする請求項1〜4のいずれか1項に記載の居眠り警報装置。
  6. 人間が周囲の環境から受ける刺激を取得する周囲刺激取得手段を備え、
    前記刺激発生手段は、前記人間の反応を得るための刺激として、前記周囲刺激取得手段が取得した人間が周囲の環境から受ける刺激の強さを基準に、その強さが増加、若しくは減少するように発生することを特徴とする請求項1〜のいずれか1項に記載の居眠り警報装置。
  7. 前記刺激発生手段は、前記人間の反応を得るための刺激の強さが断続的に増加、若しくは減少するように発生することを特徴とする請求項記載の居眠り警報装置。
  8. 前記刺激発生手段は、前記人間の反応を得るための刺激の強さが時間経過に従って徐々に増加、若しくは減少するように発生することを特徴とする請求項記載の居眠り警報装置。
  9. 人間の眠気の強弱に応じて変化する眠気レベルを判定する眠気レベル判定手段を備え、
    前記刺激発生手段は、前記眠気レベル判定手段の判定した眠気レベルが予め設定された警報閾値を超えたタイミングで刺激を発生することを特徴とする請求項1〜のいずれか1項に記載の居眠り警報装置。
JP2007045910A 2007-02-26 2007-02-26 居眠り警報装置 Expired - Fee Related JP5056067B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007045910A JP5056067B2 (ja) 2007-02-26 2007-02-26 居眠り警報装置
US12/068,764 US8009051B2 (en) 2007-02-26 2008-02-12 Sleep warning apparatus
DE102008010515.5A DE102008010515B4 (de) 2007-02-26 2008-02-22 Schlafwarnvorrichtung
CN2008100813266A CN101256706B (zh) 2007-02-26 2008-02-25 睡眠告警装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007045910A JP5056067B2 (ja) 2007-02-26 2007-02-26 居眠り警報装置

Publications (2)

Publication Number Publication Date
JP2008206688A JP2008206688A (ja) 2008-09-11
JP5056067B2 true JP5056067B2 (ja) 2012-10-24

Family

ID=39646299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007045910A Expired - Fee Related JP5056067B2 (ja) 2007-02-26 2007-02-26 居眠り警報装置

Country Status (4)

Country Link
US (1) US8009051B2 (ja)
JP (1) JP5056067B2 (ja)
CN (1) CN101256706B (ja)
DE (1) DE102008010515B4 (ja)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5056067B2 (ja) * 2007-02-26 2012-10-24 株式会社デンソー 居眠り警報装置
JP4873255B2 (ja) * 2007-09-25 2012-02-08 株式会社デンソー 車両用報知システム
JP2010250577A (ja) * 2009-04-16 2010-11-04 Nec Corp 情報処理装置およびプログラムおよび携帯型無線通信機器および居眠り防止システムおよび居眠り検知方法
EP3660813A1 (en) 2009-10-07 2020-06-03 iOnRoad Technologies Ltd. Automatic content analysis method and system
JP5195859B2 (ja) * 2010-09-27 2013-05-15 トヨタ自動車株式会社 睡眠装置
JP5803169B2 (ja) * 2011-03-14 2015-11-04 オムロンヘルスケア株式会社 睡眠評価装置および睡眠評価方法
US20120269358A1 (en) * 2011-04-21 2012-10-25 Continental Automotive Systems, Inc. Active sound control
WO2012150591A2 (en) 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
JP5760669B2 (ja) * 2011-05-12 2015-08-12 富士通株式会社 状態判定装置、及び状態判定方法
US20120286957A1 (en) * 2011-05-13 2012-11-15 Stephen Frechette Mobile Sleep Detection Method and System
JP5858396B2 (ja) * 2011-05-16 2016-02-10 学校法人 中央大学 覚醒状態維持装置および覚醒状態維持方法
KR101336332B1 (ko) * 2011-12-28 2013-12-06 자동차부품연구원 졸음운전 방지 시스템 및 그 제어방법
TWI478691B (zh) * 2012-01-06 2015-04-01 Wistron Corp 睡意偵測方法及其裝置
TW201330827A (zh) * 2012-01-19 2013-08-01 Utechzone Co Ltd 依據駕駛反射動作之注意力偵測裝置及其方法
TWI459333B (zh) * 2012-02-17 2014-11-01 Utechzone Co Ltd An Attractive Force Detection Device and Its Method for Interactive Voice
EP2831783A2 (en) * 2012-03-29 2015-02-04 Koninklijke Philips N.V. Device and method for priming a person
US20130257620A1 (en) * 2012-03-30 2013-10-03 Utechzone Co., Ltd. Device and method for detecting driver's attention through interactive voice questioning
CN103419716B (zh) * 2012-05-14 2016-06-22 博世汽车部件(苏州)有限公司 车辆及其驾驶员昏沉状态警示***和方法
JP6024231B2 (ja) * 2012-06-18 2016-11-09 アイシン精機株式会社 状態判定装置、運転支援システム、状態判定方法及びプログラム
EP2708793B1 (de) * 2012-09-15 2016-02-03 ABB Technology AG Sicherheitseinrichtung für eine technische Anlage oder einen technischen Prozess
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
US8981942B2 (en) 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US8930269B2 (en) 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US8876535B2 (en) * 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
CN103280072B (zh) * 2013-05-30 2016-08-10 苏州福丰科技有限公司 一种防疲劳驾驶装置
US9103688B2 (en) * 2013-08-21 2015-08-11 Continental Automotive Systems, Inc. Adapting vehicle personality using analyzed driver performance metrics
CN103505225A (zh) * 2013-09-17 2014-01-15 江苏安嘉尔智能科技有限公司 一种报警灵敏度可自动调节的适驾度刺激***
DE102013221917A1 (de) 2013-10-29 2015-04-30 Volkswagen Aktiengesellschaft Verfahren zur Bekämpfung von Müdigkeit beim Fahrer eines Kraftfahrzeugs
JP6314435B2 (ja) 2013-11-13 2018-04-25 株式会社デンソー ドライバ監視装置
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9715711B1 (en) 2014-05-20 2017-07-25 State Farm Mutual Automobile Insurance Company Autonomous vehicle insurance pricing and offering based upon accident risk
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
FR3021912B1 (fr) * 2014-06-10 2017-11-24 Renault Sas Systeme de detection pour vehicule automobile pour signaler a l'aide d'une scene sonore un defaut de vigilance du conducteur
FR3021913B1 (fr) * 2014-06-10 2016-05-27 Renault Sa Systeme de detection pour vehicule automobile pour signaler a l'aide d'une scene sonore un defaut de vigilance du conducteur en presence d'un danger immediat
CN105216687B (zh) * 2014-06-30 2018-06-26 惠州市德赛西威汽车电子股份有限公司 一种保障夜间行车安全的方法
US10475127B1 (en) 2014-07-21 2019-11-12 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and insurance incentives
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US10831204B1 (en) 2014-11-13 2020-11-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle automatic parking
FR3033303B1 (fr) 2015-03-03 2017-02-24 Renault Sas Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile.
JP2016170589A (ja) * 2015-03-12 2016-09-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20210258486A1 (en) 2015-08-28 2021-08-19 State Farm Mutual Automobile Insurance Company Electric vehicle battery conservation
US9744809B2 (en) * 2015-11-05 2017-08-29 Continental Automotive Systems, Inc. Enhanced sound generation for quiet vehicles
DE102015224889A1 (de) * 2015-12-10 2017-06-14 Robert Bosch Gmbh Verfahren zur Müdigkeitsermittlung
JP6819038B2 (ja) * 2015-12-10 2021-01-27 いすゞ自動車株式会社 安全装置
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10503168B1 (en) 2016-01-22 2019-12-10 State Farm Mutual Automotive Insurance Company Autonomous vehicle retrieval
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10227003B1 (en) 2016-06-13 2019-03-12 State Farm Mutual Automobile Insurance Company Systems and methods for notifying individuals who are unfit to operate vehicles
US10909476B1 (en) 2016-06-13 2021-02-02 State Farm Mutual Automobile Insurance Company Systems and methods for managing instances in which individuals are unfit to operate vehicles
WO2018079646A1 (ja) * 2016-10-27 2018-05-03 パイオニア株式会社 制御装置、制御システム、制御方法、及びプログラム
DE102016225136A1 (de) * 2016-12-15 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Durchführung von Maßnahmen bei Fahrermüdigkeit
GB2557675B (en) * 2016-12-15 2019-08-14 Ford Global Tech Llc A vehicle assembly
JP6528787B2 (ja) * 2017-01-17 2019-06-12 トヨタ自動車株式会社 車両の制御装置
JP2018151752A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 覚醒支援装置、方法およびプログラム
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
CN109649166B (zh) * 2017-10-10 2020-10-09 孙鸿 车辆驾驶监控管理方法、装置以及***
JP6965727B2 (ja) 2017-12-21 2021-11-10 株式会社デンソー 居眠り警報装置
JP6922827B2 (ja) * 2018-04-25 2021-08-18 株式会社デンソー ドライバ異常検出装置
DE102018008629A1 (de) * 2018-10-31 2020-04-30 Daimler Ag Verfahren und Vorrichtung zur Verringerung von kinetosebedingten Störungen eines Insassen und Fahrzeug
DE102019209352A1 (de) * 2019-06-27 2020-12-31 Audi Ag Verfahren zum Betrieb eines Fahrzeugs
JP2021033506A (ja) * 2019-08-21 2021-03-01 株式会社東海理化電機製作所 移動支援装置、制御装置、およびコンピュータプログラム
US11189165B2 (en) * 2019-08-28 2021-11-30 Helen M Dowdell Wheelchair traffic signal system
US11707971B2 (en) * 2019-12-20 2023-07-25 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and program for delivering a scent alert
CN113066263A (zh) * 2020-01-02 2021-07-02 中车株洲电力机车研究所有限公司 一种预防疲劳驾驶的方法及装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS562227A (en) 1979-06-13 1981-01-10 Nissan Motor Co Ltd Dozing drive alarming device
JPS57151435A (en) * 1981-03-13 1982-09-18 Mitsubishi Electric Corp Alarm for operation
JPS5865135U (ja) * 1981-10-28 1983-05-02 トヨタ自動車株式会社 居眠運転防止装置
JPH0396649U (ja) * 1990-01-24 1991-10-03
JP2803418B2 (ja) 1991-01-14 1998-09-24 松下電器産業株式会社 揺らぎ刺激生成装置とこれを用いた就寝装置
JPH053921A (ja) 1991-06-28 1993-01-14 Nissan Motor Co Ltd 居眠り運転防止装置
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
JPH06197888A (ja) 1993-01-06 1994-07-19 Mitsubishi Motors Corp 車両用居眠り警報装置
JPH06233306A (ja) 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用表示装置
US5595488A (en) * 1994-08-04 1997-01-21 Vigilant Ltd. Apparatus and method for monitoring and improving the alertness of a subject
CN2222516Y (zh) 1994-12-28 1996-03-20 关力 驾驶员精神状态检测仪
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
JPH0935163A (ja) * 1995-07-21 1997-02-07 Nec Eng Ltd 警報音自動設定装置
JP3686465B2 (ja) * 1995-11-06 2005-08-24 本田技研工業株式会社 車両用運転状況監視装置
SE9602244L (sv) 1996-06-06 1997-12-06 Hoek Instr Ab System för kontroll av fordonsförares uppmärksamhet
US6265978B1 (en) * 1996-07-14 2001-07-24 Atlas Researches, Ltd. Method and apparatus for monitoring states of consciousness, drowsiness, distress, and performance
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
JP3670095B2 (ja) 1996-11-26 2005-07-13 カルソニックカンセイ株式会社 衝突防止装置
US6070098A (en) * 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
DE19734307C2 (de) 1997-08-08 1999-06-10 Bosch Gmbh Robert Verfahren und Vorrichtung zur Überwachung und/oder Beeinflussung des Fahrzeugverhaltens eines fahrergesteuerten Kraftfahrzeugs
JPH11122197A (ja) 1997-10-17 1999-04-30 Sony Corp アラーム通知装置
JPH11189066A (ja) 1997-12-25 1999-07-13 Nippon Soken Inc 車両用警報装置
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
JP2001018717A (ja) 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2001194161A (ja) 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
DE60109750D1 (de) * 2000-02-15 2005-05-04 Cesium Ab Katrineholm Verfahren und gerät zur überwachung der aufmerksamkeit des fahrers
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
JP2002230669A (ja) * 2001-02-05 2002-08-16 Nippon Hoso Kyokai <Nhk> 報知音呈示装置
DE10155083A1 (de) * 2001-02-19 2002-09-12 Bosch Gmbh Robert Verfahren, Computerprogramm, Steuer- und/oder Regelgerät und Vorrichtung zur Erfassung der Berührung eines Bedienelements sowie Bedienelement
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
DE10223210A1 (de) 2002-05-24 2003-12-04 Stotz Feinmesstechnik Gmbh Verfahren und Vorrichtung zum Alarmieren eines Fahrzeugführers
US7202792B2 (en) * 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
JP4247055B2 (ja) * 2003-05-21 2009-04-02 株式会社デルタツーリング 運転席用座席システム
DE10338945A1 (de) 2003-08-25 2005-03-24 Robert Bosch Gmbh Vorrichtung zur Überwachung des Zustandes eines Fahrzeugführers
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP2006065270A (ja) * 2004-07-26 2006-03-09 Denso Corp ノイズ発生装置
JP4773080B2 (ja) * 2004-12-17 2011-09-14 株式会社デンソー 視認力向上支援装置
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
JP5056067B2 (ja) * 2007-02-26 2012-10-24 株式会社デンソー 居眠り警報装置

Also Published As

Publication number Publication date
DE102008010515B4 (de) 2017-08-10
US20080204256A1 (en) 2008-08-28
JP2008206688A (ja) 2008-09-11
US8009051B2 (en) 2011-08-30
CN101256706A (zh) 2008-09-03
DE102008010515A1 (de) 2008-08-28
CN101256706B (zh) 2011-01-12

Similar Documents

Publication Publication Date Title
JP5056067B2 (ja) 居眠り警報装置
JP4491462B2 (ja) 可聴のメッセージを生成可能なモニタシステム
JP4727688B2 (ja) 覚醒度推定装置
JP5228970B2 (ja) 居眠り防止装置
JP4518083B2 (ja) 覚醒維持装置
JP4967559B2 (ja) 居眠り運転防止装置及びプログラム
US12023147B2 (en) Alertness determination for non-alert detection using ear-worn electronic devices
JPH10315799A (ja) 居眠り運転防止装置
JP6928825B2 (ja) 居眠り防止装置、居眠り防止方法、およびプログラム
WO2020066757A1 (ja) 危険運転防止装置
US11856367B2 (en) Hearing system, hearing device and method for providing an alert for a user
JP7127500B2 (ja) 居眠防止制御装置、居眠防止システム、居眠防止制御方法およびプログラム
JP2009028239A (ja) 居眠り運転検出装置
JP2009137336A (ja) 車載警報装置
JP2009284998A (ja) 睡眠制御装置及び携帯端末装置
JP2019008427A (ja) 覚醒維持装置
US11647925B2 (en) Alertness mode initiation for non-alert detection using ear-worn electronic devices
KR20200104447A (ko) 운전자 위험상황 예방 시스템
CN110933560A (zh) 音箱的控制方法、音箱以及计算机可读存储介质
KR102507038B1 (ko) 안전을 위한 운전자 감시 시스템
KR102647273B1 (ko) 운전자 졸음 상태 감지 시스템
JP2023031072A (ja) 眠気覚醒制御装置および眠気覚醒制御方法
WO2018163532A1 (ja) 覚醒支援装置、方法およびプログラム
JP2023096862A (ja) 覚醒支援装置、及び、覚醒支援方法
JP2021111006A (ja) 車両用監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120605

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5056067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees