JP3815842B2 - 居眠り警報装置 - Google Patents
居眠り警報装置 Download PDFInfo
- Publication number
- JP3815842B2 JP3815842B2 JP8153497A JP8153497A JP3815842B2 JP 3815842 B2 JP3815842 B2 JP 3815842B2 JP 8153497 A JP8153497 A JP 8153497A JP 8153497 A JP8153497 A JP 8153497A JP 3815842 B2 JP3815842 B2 JP 3815842B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- coordinate position
- eye
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
【発明の属する技術分野】
この発明は、運転者の居眠りを検出して警報する装置の改良に関する。
【0002】
【従来の技術】
運転者の居眠りによる事故を未然に防止する目的から、運転者の顔を撮影する手段(CCDカメラやTVカメラなど)をインストルパネルに配置し、その画像から得られる目情報をもとに運転者の覚醒度を推定し、覚醒度が閾値以下になると警報などを作動させるようにしたものが知られている(特開平7ー32907号公報,特開平7ー156682号公報,三菱電機技報 Vol.70 No.9 1996『居眠り検出技術』)。
【0003】
【発明が解決しようとする課題】
このような従来装置において、運転者の覚醒度を適確に推定するのに最も重要なことは、いかに運転者の目情報を精密に捕らえるかに係っている。従来の方法では、運転者がシートポジション(運転席の前後方向や上下方向の位置)を変更したり、運転者が交替したりすると、カメラの捕らえる画像(視野)から運転者の顔が外れてしまうような可能性があり、その対策としてカメラの撮影範囲を広角度に設定することが要求される。しかし、そのようにカメラの視野を広角度に設定すると、カメラの画像中に占める運転者の顔部分が小さくなり、そこから得られる目情報も減少してしまう。つまり、覚醒度の高い推定精度を確保するのが難しいという不具合があった。
【0004】
この発明は、このような問題点の有効な対策手段の提供を目的とする。
【0005】
【課題を解決するための手段】
第1の発明では、図5のように運転者の顔をズームレンズを通して撮影する手段aと、その画像を特殊な画像フイルタを用いてその出力を2値化する画像処理から目を抽出する手段bと、画像処理で抽出される目をもとに一定時間あたりの閉じ目時間を計測する手段cと、所定の閉じ時間を覚醒度の閾値として設定する手段dと、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段eと、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段fと、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段mと、画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段kと、同じく抽出される目の画像上の座標位置を計測する手段hと、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段iと、目の計測座標位置と基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段jと、を備える。
【0006】
第2の発明では、図6のように運転者の顔に向けて赤外光を照射する手段nと、運転者の顔をズームレンズを通して撮影する手段aと、その画像処理を行う手段bと、網膜反射像をもとに一定時間あたりの閉じ目時間を計測する手段eと、所定の閉じ時間を覚醒度の閾値として設定する手段dと、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段eと、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段fと、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段mと、2点の網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段kと、網膜反射光の画像上の座標位置を計測する手段hと、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段iと、網膜反射光の計測座標位置と目の基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段jと、を備える。
【0007】
第3の発明では、図5または図6において、覚醒度の低下判定時に車両を停止させるよう制御する手段gを設ける。
【0008】
【発明の効果】
第1の発明では、運転者の顔はズームレンズを通して撮影され、画像処理により目が抽出される。その目をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。覚醒度は一定時間あたりの閉じ目時間から、これが閾値を越えると、意識レベルの低下として判定される。運転者の着座開始時はズームレンズがワイド側にセットされ、その撮影位置は画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に左右の目の中心がくるよう運転者の顔を適確に捕らえられる。そして、両目の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、目の計測位置と基準位置との偏差が許容値内に納まるようズームレンズの焦点距離が調整される。これにより、運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【0009】
第2の発明では、運転者の顔に赤外光が照射され、目の網膜反射光がズームレンズを通して撮影される。その画像上の網膜反射光をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。覚醒度は一定時間あたりの閉じ目時間から、これが閾値を越えると、意識レベルの低下として判定される。運転者の着座開始時はズームレンズがワイド側にセットされ、その撮影位置は画像上の左右の網膜反射光を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に左右の網膜反射光の中心がくるよう運転者の顔を適確に捕らえられる。そして、網膜反射光の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、網膜反射光の計測位置と基準位置との偏差が許容値内に納まるようズームレンズの焦点距離が調整される。これにより、運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【0010】
第3の発明では、覚醒度の低下時は車両が停止するよう制御される。そのため、警報の作動に運転者が反応しない場合においても、車両は停止状態(停車)へと至るから、運転者の居眠りに対する安全性の向上が得られる。
【0011】
【発明の実施の形態】
図1において、運転室のインストルメントパネル1に運転者の顔を撮影するCCDカメラ2と、運転者の覚醒度低下時に作動する警報器3が設置される。CCDカメラ2は図2のようにズームレンズ4が取り付けられ、その回りに近赤外LED5が配設される。また、CCDカメラ2はインストルパネル2に図示しない支持機構を介して運転者に対向する撮影位置(この例では支持角度)が調整可能に取り付けられる。
【0012】
コントローラ10は、近赤外LED5の照射を制御する光源制御部11と、CCDカメラ2の支持角度およびズームレンズ4の焦点距離を制御するカメラ制御部12と、CCDカメラ2の画像処理部13と、運転者の覚醒度を推定する居眠り検出部14と、警報器3の作動を制御する警報部15と、から構成される。光源制御部11は夜間など暗い状態のときにのみ、運転者の顔へ向けて低照度の近赤外LED5を作動させるよう制御する。
【0013】
画像処理部12に特殊な画像フィルタを備える。画像フィルタは昼間など明るい状態において、CCDカメラ2の画像から目を精度よく抽出するために採用したものであり、カメラで撮影された画像と顔の縦方向の長さが短い黒領域(目など)を除去した画像との差を出力する。その出力画像は2値化され、目などを抽出する2値画像になる。
【0014】
居眠り検出部13は2値画像をもとに目尻の傾きの変化から瞬きを検出する。そして、一定時間あたりの閉じ目(目尻の傾きが開き目の傾きよりも緩やか)時間を計測し、その計測時間を覚醒度の閾値と比較して閾値を越えるときに覚醒度の低下を判定する。
【0015】
夜間など暗い状態では、近赤外LED5の作動により、CCDカメラ2に目の網膜反射像が撮影される。居眠り検出部14は画像処理部13を介してその画像上に明るく光っている網膜反射の有無を検出する。そして、一定時間あたりの閉じ目(網膜反射のない)時間を計測し、その計測時間を覚醒度の閾値と比較して閾値を越えるときに覚醒度の低下を判定する。
【0016】
警報部15は居眠り検出部14において、覚醒度の低下が判定されると、運転室の警報器3を作動させる。なお、居眠り運転を有効に回避するため、運転者の覚醒度低下時に車両の停止を制御するようにすると良い。その停車制御の起動に警報器3への作動信号が利用できる。
【0017】
カメラ制御部12は運転者の着座開始時にCCDカメラ2のズームレンズをワイド側にセットする。運転者の顔はそのときCCDカメラ2のワイドな画像の中で小さく捕らえられる。そして、画像処理部13の出力データに基づいて、昼間など明るい状態のときは、2値画像の両目を結ぶ中心が画像の中心にくるよう、CCDカメラ2の支持角度を調整する。
【0018】
カメラ制御部12のメモリに所定のズーム画像上における目の基準座標位置および偏差の許容値などが設定される。そして、2値画像上の両目の座標位置を計測し、その計測座標位置と基準座標位置との偏差が許容値内に納まるよう、ズームレンズ4の焦点距離を調整する。
【0019】
夜間など暗い状態のときは、網膜反射像に基づいて、同じく両目の中心が画像の中心にくるよう、CCDカメラ2の支持角度を調整する一方、網膜反射像上の両目の座標位置を計測し、基準座標位置との偏差が許容値内に納まるよう、ズームレンズ4の焦点距離を調整する。
【0020】
このような構成により、運転者の顔はCCDカメラ2で撮影される。2値画像または網膜反射像の目をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。運転者の着座開始時はズームレンズ4がワイド側にセットされ、CCDカメラ2の支持角度は2値画像または網膜反射像上の両目を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に両目の中心がくるよう運転者の顔を適確に捕らえられる。
【0021】
また、両目の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、目の計測位置と基準位置との偏差が許容値内に納まるようズームレンズ4の焦点距離が調整される。運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【0022】
図3は明るい状態での制御内容を説明するフローチャートであり、ステップ1では、運転者の着座時にCCDカメラ2の焦点距離をワイド側(短め)にセットする。ステップ2では、運転者の顔をCCDカメラ2で撮影する。ステップ3では、CCDカメラ2の画像G0(原画)から、縦方向の長さが短い黒領域を除去する画像G1を得る。ステップ4では、原画G0と黒領域を除去した画像G1との差G2を得る。ステップ5では、この画像差G2から原画G0を引き去る画像G3を得る。ステップ6では画像G3を2値化することにより目を抽出する。
【0023】
ステップ7,ステップ8において、この2値画像上の両目を結ぶ中心がが画像の中心にくるよう、CCDカメラ2の支持角度を調整する。ステップ9では、画像上の両目の座標位置を計測し、基準座標位置との偏差を求める。ステップ10,ステップ11において、この偏差が許容値内に納まるよう、CCDカメラ2の焦点距離をズーム側(長め)に調整する。なお、左右の偏差はel,erの絶対値は、(elx2+ely2)1/2,(erx2+ery2)1/2で与えられる。
【0024】
ステップ12では、目尻の傾きαを計測する。ステップ13では、αが閾値(閉じ目を判定するための基準値であり、メモリに予め設定される)未満かどうかを判定する。yesのときは、ステップ14で閉じ目フラグf1を1にする。noのときは、ステップ15で閉じ目フラグf1を0にする。ステップ16では、閉じ目フラグf1=1かどうかを判定し、yesのときはステップ17に進み、noのときはステップ18へ飛ぶ。
【0025】
ステップ17では、閉じ目の持続時間を計測し、その時間の累計を行う。ステップ18,ステップ19において、一定時間が経過すると、閉じ目の累計時間S-f1が覚醒度の閾値を越えるかどうかを判定する。yesのときは、ステップ20で覚醒度低下フラグf2を1にする。noのときは、ステップ21で覚醒度低下フラグf2を0にする。
【0026】
ステップ22では、閉じ目の累計時間S-f1を0にすると同時に一定時間のカウントを開始する。そして、ステップ23,ステップ24において、覚醒度低下フラグf2=1のときは警報器3(および車両の停車制御)を作動させる。ステップ2〜ステップ24は所定の制御周期で繰り返し実行される。
【0027】
図4は暗い状態での制御内容を説明するフローチャトであり、ステップ1では、運転者の着座時にCCDカメラ2の焦点距離をワイド側(短め)にセットする。ステップ2では、近赤外LED5を作動させる。ステップ3では運転者の顔をCCDカメラ2で撮影する。ステップ4では、CCDカメラ2の網膜反射像G0(原画)から、明るく光っている点を目として抽出する。
【0028】
ステップ5,ステップ6において、この網膜反射像上の両目を結ぶ中心がが画像の中心にくるよう、CCDカメラ2の支持角度を調整する。ステップ7では、画像上の両目の座標位置を計測し、基準座標位置との偏差を求める。ステップ8,ステップ9において、この偏差が許容値内に納まるよう、CCDカメラ2の焦点距離をズーム側(長め)に調整する。なお、左右の偏差はel,erの絶対値は、(elx2+ely2)1/2,(erx2+ery2)1/2で与えられる。
【0029】
ステップ10では、網膜反射の有かどうかを判定する。yesのときは、ステップ11で閉じ目フラグf1を1にする。noのときは、ステップ12で閉じ目フラグf1を0にする。ステップ13では、閉じ目フラグf1=1かどうかを判定し、yesのときはステップ14に進み、noのときはステップ15へ飛ぶ。
【0030】
ステップ14では、閉じ目の持続時間を計測し、その時間の累計を行う。ステップ15,ステップ16において、一定時間が経過すると、閉じ目の累計時間S-f1が覚醒度の閾値を越えるかどうかを判定する。yesのときは、ステップ17で覚醒度低下フラグf2を1にする。noのときは、ステップ18で覚醒度低下フラグf2を0にする。
【0031】
ステップ19では、閉じ目の累計時間S-f1を0にすると同時に一定時間のカウントを開始する。そして、ステップ20,ステップ21において、覚醒度低下フラグf2=1のときは、警報器3(および車両の停車制御)を作動させる。ステップ2〜ステップ21は所定の制御周期で繰り返し実行される。
【図面の簡単な説明】
【図1】この発明の実施形態を説明する概要図である。
【図2】同じくCCDカメラの構成図である。
【図3】同じく制御内容を説明するフローチャートである。
【図4】同じく制御内容を説明するフローチャートである。
【図5】この発明のクレーム対応図である。
【図6】この発明のクレーム対応図である。
【符号の説明】
2 CCDカメラ
3 警報器
4 ズームレンズ
5 近赤外LED
10 コントローラ
11 光源制御部
12 カメラ制御部
13 画像処理部
14 居眠り検出部
15 警報部
Claims (3)
- 運転者の顔をズームレンズを通して撮影する手段と、その画像を特殊な画像フイルタを用いてその出力を2値化する画像処理から目を抽出する手段と、画像処理で抽出される目をもとに一定時間あたりの閉じ目時間を計測する手段と、所定の閉じ時間を覚醒度の閾値として設定する手段と、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段と、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段と、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段と、画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段と、同じく抽出される目の画像上の座標位置を計測する手段と、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段と、目の計測座標位置と基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段と、を備えたことを特徴とする居眠り警報装置。
- 運転者の顔に向けて赤外光を照射する手段と、運転者の顔をズームレンズを通して撮影する手段と、その画像処理を行う手段と、網膜反射像をもとに一定時間あたりの閉じ目時間を計測する手段と、所定の閉じ時間を覚醒度の閾値として設定する手段と、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段と、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段と、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段と、2点の網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段と、網膜反射光の画像上の座標位置を計測する手段と、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段と、網膜反射光の計測座標位置と目の基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段と、を備えたことを特徴とする居眠り警報装置。
- 覚醒度の低下判定時に車両を停止させるよう制御する手段を設けたことを特徴とする請求項1または請求項2に記載の居眠り警報装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8153497A JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8153497A JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10272961A JPH10272961A (ja) | 1998-10-13 |
JP3815842B2 true JP3815842B2 (ja) | 2006-08-30 |
Family
ID=13748985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8153497A Expired - Fee Related JP3815842B2 (ja) | 1997-03-31 | 1997-03-31 | 居眠り警報装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3815842B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3751467B2 (ja) * | 1999-03-30 | 2006-03-01 | 株式会社東芝 | 車載機器制御装置および方法 |
JP4180262B2 (ja) * | 2001-10-05 | 2008-11-12 | アルパイン株式会社 | 車載カメラ装置 |
JP4677940B2 (ja) * | 2006-03-27 | 2011-04-27 | トヨタ自動車株式会社 | 眠気検出装置 |
JP4840146B2 (ja) * | 2007-01-09 | 2011-12-21 | 株式会社デンソー | 眠気検知装置 |
JP5354514B2 (ja) | 2008-03-31 | 2013-11-27 | 現代自動車株式会社 | 脇見運転検出警報システム |
CN105516759B (zh) * | 2015-12-08 | 2018-11-16 | 北海爱飞数码科技有限公司 | 基于眼部视频采集的车载电视 |
WO2019097677A1 (ja) * | 2017-11-17 | 2019-05-23 | 三菱電機株式会社 | 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
JP3109230B2 (ja) * | 1992-03-17 | 2000-11-13 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
JP2936943B2 (ja) * | 1993-02-03 | 1999-08-23 | 日産自動車株式会社 | 運転者の状態検出装置 |
JPH06348980A (ja) * | 1993-06-14 | 1994-12-22 | Aisin Seiki Co Ltd | 車両上ドライバの眼を監視する装置 |
JPH0776235A (ja) * | 1993-07-16 | 1995-03-20 | Toyota Motor Corp | 車両用灯火制御装置 |
JP3465336B2 (ja) * | 1994-02-04 | 2003-11-10 | 三菱電機株式会社 | 顔画像撮影装置 |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
JPH1035320A (ja) * | 1996-07-24 | 1998-02-10 | Hitachi Ltd | 車両状況認識方法、車載用画像処理装置および記憶媒体 |
-
1997
- 1997-03-31 JP JP8153497A patent/JP3815842B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10272961A (ja) | 1998-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101386823B1 (ko) | 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 | |
US7202792B2 (en) | Drowsiness detection system and method | |
US8063786B2 (en) | Method of detecting drowsiness of a vehicle operator | |
JP4899059B2 (ja) | 眠気検知装置 | |
US7830266B2 (en) | Drowsy state determination device and method | |
JP4788624B2 (ja) | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム | |
JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP5177011B2 (ja) | 開眼度特定装置 | |
JP2002352229A (ja) | 顔部位検出装置 | |
JP2005301742A (ja) | 運転者の外観認識システム | |
JP2009223752A (ja) | 居眠り運転危険判定装置 | |
JP2001010368A (ja) | 居眠り運転警報システムの居眠り運転判断方法 | |
JP4742921B2 (ja) | 覚醒度推定装置 | |
JPH11339200A (ja) | 居眠り運転検出装置 | |
JP2002254956A (ja) | 覚醒状態低下検知装置 | |
JP3815842B2 (ja) | 居眠り警報装置 | |
JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
JP2006096316A (ja) | 監視装置 | |
RU2413632C2 (ru) | Способ предупреждения засыпания водителя транспортного средства | |
JPH08290726A (ja) | 居眠り警報装置 | |
JP2010100088A (ja) | 運転支援システム | |
JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
JPH0596971A (ja) | 居眠り運転防止装置 | |
JP4888382B2 (ja) | 異常検出装置および方法、並びに、プログラム | |
JPH11304428A (ja) | 運転者監視装置及び自動車運転支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060606 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150616 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |