JP4826234B2 - 顔認証装置、セキュリティ強度変更方法およびプログラム - Google Patents
顔認証装置、セキュリティ強度変更方法およびプログラム Download PDFInfo
- Publication number
- JP4826234B2 JP4826234B2 JP2005345190A JP2005345190A JP4826234B2 JP 4826234 B2 JP4826234 B2 JP 4826234B2 JP 2005345190 A JP2005345190 A JP 2005345190A JP 2005345190 A JP2005345190 A JP 2005345190A JP 4826234 B2 JP4826234 B2 JP 4826234B2
- Authority
- JP
- Japan
- Prior art keywords
- authentication
- security strength
- face
- registrant
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000006870 function Effects 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 23
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 208000008918 voyeurism Diseases 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
できる顔認証技術を提供することにある。
された画像の撮影条件に応じて変化させる機能の有効/無効を切り替えることが好ましい。具体的には、制御手段は、セキュリティ強度が高く設定されている場合にはこの機能を無効にし、セキュリティ強度が低く設定されている場合にはこの機能を有効にすることが好ましい。顔認証処理では、撮影条件が悪い画像が入力された場合には、撮影条件の良い画像が入力された場合に比べて類似度が低く算出される傾向にある。これを補正するために、撮影条件が悪い画像が入力された場合には、類似度や閾値を補正することで、本人拒否率を低くすることができ快適性を向上させることができる。一方で、このような補正を行うと、他人受入率が高くなることもあり、安全性が低下してしまう可能性がある。したがって、セキュリティ強度が低く設定されている場合にはこの機能を有効にし、セキュリティ強度が高く設定されている場合にはこの機能を無効にすることで、設定されたセキュリティ強度に応じた顔認証処理を行うことができる。
図1は、顔認証装置1が搭載される携帯電話機10の斜視図である。携帯電話機10は、表示部11、入力部12及びカメラ13を含む。
る人物が撮像された画像(照合画像)から顔の特徴量(例えば輝度分布や色ヒストグラム等)を取得し、あらかじめ登録されている人物(登録者)の特徴量と比較することによって、照合画像の人物が登録者と一致するか否か判断する。顔認証装置1は、本実施形態においては、携帯電話機10に搭載されており、携帯電話機10の補助記憶装置に記憶された各種のプログラム(OS、アプリケーション等)が主記憶装置にロードされCPUにより実行されることによって、画像記憶部3、顔検出部4、特徴量取得部5、登録者情報記憶部6、顔照合部7、セキュリティ強度設定部8及び制御部9等を含む装置として機能する。顔検出部4、特徴量取得部5、顔照合部7、セキュリティ強度設定部8及び制御部9は、プログラムがCPUによって実行されることによりその機能が実現される。また、顔検出部4、特徴量取得部5、顔照合部7、セキュリティ強度設定部8及び制御部9は、専用のチップとして構成されても良い。
撮像部2は、デジタルカメラ等の撮像装置であって、撮像レンズ、撮像素子、フレームメモリ等から構成される。撮像素子としては、CCD(Charge Coupled Device)やCM
OS(Complementary Metal Oxide Semiconductor)などの光電変換素子が用いられる。
撮像部2では、撮像レンズを通して結像された画像が、撮像素子により電気信号に変換され、デジタル画像としてフレームメモリに格納される。
画像記憶部3は、記憶装置を用いて構成される。画像記憶部3に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。
顔検出部4は、画像記憶部3から照合画像のデータを読み出し、照合画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する。顔検出部4は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部4は、顔の器官(目、鼻、耳など)に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部4は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部4は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。又、顔検出部4による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
特徴量取得部5は、顔検出部4によって検出された顔について複数の特徴点を検出し、特徴点付近における特徴量を検出する。特徴量取得部5には、既存のどのような特徴点検出技術が適用されても良い。例えば、特徴量取得部5は、顔特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出するように構成されても良い。また、特徴量取得部5は、検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出するように構成されても良い。特徴量取得部5は、例えば、顔の特徴量として特徴点の位置関係や特徴点付近での濃淡値の周期性・方向性などを用いる。
登録者情報記憶部6は、記憶装置を用いて構成される。登録者情報記憶部6は、認証の対象となる者(登録者)の顔の特徴量が格納された登録情報テーブルを記憶する。登録者情報記憶部6は、撮像部2によって撮像された画像から、顔検出部4及び特徴量取得部5によって取得された顔の特徴量が格納される。
顔照合部7は、照合画像から取得した特徴量と、登録者情報記憶部6に記憶されている特徴量に基づいて照合処理を行う。顔照合部7は、両特徴量を比較して類似度(スコア)を算出し、算出した類似度が所定の閾値以上である場合には、照合画像の人物が登録者と一致すると判断する。
なりすましとは、認証を受けることができる者(登録者)の写真等をあらかじめ用意して、照合画像が撮像される際にその写真等を用いて認証を受けようとする行為である。なりすまし検知機能は、このようななりすましを検知して不正使用を防止する。
登録者でない者が、登録者が寝ているときにその寝顔を撮影したり、登録者を遠くから撮影したりした照合画像を用いることによって不正に認証を受けることが可能である。このような不正使用を防止するために、盗撮検知機能は、検出された顔が目を閉じた顔である場合(図4c)や、小さい画像である場合には、このような不正使用が行われていると判断して認証を失敗させる。
照合画像の撮影条件が悪い場合(図4d)には、検出された顔の特徴量と登録者の顔の特徴量を比較して算出した類似度(スコア)は低く算出される傾向にある。このような撮影条件による精度の低下を軽減するために、閾値補正機能は、類似度の比較に用いる閾値や算出した類似度に対して補正を加える。これにより、照合精度を向上させることができる。
照合画像から検出された顔の向きの角度が大きい場合には、照合精度が低下するおそれがあり、本人拒否率が上がるだけでなく、他人受入率も上がってしまうおそれがある。したがって、精度の良い顔認証が行えるように、顔向き判断機能は、検出された顔の向きが所定の角度以上である場合には、認証を失敗させる。
セキュリティ強度設定部8は、利用者から、使用目的毎にセキュリティ強度の設定を受け入れる。例えば、機能(実行するアプリケーション)毎にそれぞれセキュリティ強度の設定が入力される。携帯電話機10の表示部11に図3のような設定メニューが表示され、利用者は入力部12を用いて各機能毎にセキュリティ強度を設定する。本実施形態では、図3に示すように各アプリケーション毎に「強」「中」「弱」の3段階のセキュリティ強度が設定可能となっている。後述するように、各セキュリティレベル毎に、顔認証処理における制御内容があらかじめ決められている。
制御部9は、セキュリティ強度設定部8に設定されたセキュリティ強度に基づいて、顔認証装置1が行う認証処理の処理内容を変更する。具体的には、顔照合部7が有する機能であるなりすまし検知部、盗撮検知部、閾値補正部及び顔向き判断部の各部の機能の有効無効を切り替える。また、登録者情報記憶部6が有する機能である撮影条件が悪い画像の登録は拒否する機能の有効無効も切り替える。
図3に示すように、「プリペイドカード」のセキュリティ強度を「弱」、「キーロック機能」「シークレット機能」のセキュリティ強度を「強」に設定した場合の、登録者情報を登録する際の処理及び認証処理の動作例を以下に説明する。
図6のフローチャートを用いて、登録者情報を登録する際の処理について説明する。まず、図3のようにセキュリティ強度を設定する(S10)。次に、カメラ13によって登録者の顔の撮像を行う(S11)。撮像された画像から顔を検出し(S12)、特徴点を検出する(S13)。顔が検出されない場合(S12−NO)や、特徴点が検出されない場合(S13−NO)は、顔の撮像をやり直す。
図7のフローチャートを用いて、認証処理について説明する。まず、利用するアプリケーションの選択を行う(S20)。ここでは、「シークレット機能」が選択されたとする。そして、カメラ13によって利用者の顔を撮像し(S21)、撮像された画像から顔を検出し(S22)、特徴点を検出する(S23)。顔が検出されない場合(S22−NO)や特徴点が検出されない場合(S23−NO)は、顔の撮像をやり直す。
このように構成された顔認証装置においては、使用目的毎に必要とされるセキュリティ強度に応じて、利用者が顔認証の処理を簡単にカスタマイズすることが可能である。そして、利用者が望む場合には、写真を用いたなりすましや、盗撮などによる不正使用を防止することができる。また、いずれのセキュリティ強度であっても、顔認証という1つの認
証方法のみを用いており、利用者は自らの顔を撮影するだけで認証が行える。このため、複数の認証方法(パスワード、指紋、静脈等)を切り替えて使う必要が無く、利用者に対して煩雑な操作を強いることがない。
顔認証の安全性と快適性を調整するためには、顔認証のアルゴリズムを変えればよい。上記で説明したなりすまし検知や盗撮検知などの機能のオン/オフは、アルゴリズム変更の例示であって、本発明はこれに限定されるものではない。例えば、セキュリティ強度に応じて、顔の特徴点を抽出するアルゴリズム(どこを特徴点とするか、またその特徴点をどのように抽出するか)や、特徴量の取得アルゴリズムなどを変化させても良い。
2 撮像部
3 画像記憶部
4 顔検出部
5 特徴量取得部
6 登録者情報記憶部
7 顔照合部
8 セキュリティ強度設定部
9 制御部
10 携帯電話機
11 表示部
12 入力部
13 カメラ
Claims (8)
- 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
使用目的毎にセキュリティ強度を利用者に設定させるセキュリティ設定手段と、
前記セキュリティ強度に基づいて、登録者の顔画像が所定の撮影条件を満たさない場合には、前記記憶手段への記憶を制限し、前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更する制御手段と、
を有する顔認証装置。 - 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
使用目的毎にセキュリティ強度を利用者に設定させるセキュリティ設定手段と、
前記セキュリティ強度に基づいて、なりすまし検出機能の有効/無効を切り替え、前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更する制御手段と、
を有する顔認証装置。 - 前記認証手段は、
入力された画像の顔の特徴量と、前記登録者記憶手段に記憶された顔の特徴量との類似度を示すスコアを算出し、該スコアと閾値との比較によって認証を行い、
前記制御手段は、前記セキュリティ強度に基づいて、
前記スコア及び/又は前記閾値を入力された画像の撮影条件に応じて変化させる機能の有効/無効を切り替える
ことを特徴とする請求項1または2に記載の顔認証装置。 - 前記制御手段は、前記セキュリティ強度に基づいて、
入力された画像の顔が所定の角度以上の向きである場合には認証を行わない機能の有効
/無効を切り替える
ことを特徴とする請求項1または2に記載の顔認証装置。 - 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
を有する情報処理装置が行うセキュリティ強度変更方法であって、
使用目的毎にセキュリティ強度を利用者に設定させるステップと、
入力されたセキュリティ強度に基づいて、登録者の顔画像が所定の撮影条件を満たさない場合には、前記記憶手段への記憶を制限するステップと、
前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更するステップと、
を含むセキュリティ強度変更方法。 - 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
を有する情報処理装置に対して、
使用目的毎にセキュリティ強度を利用者に設定させるステップと、
入力されたセキュリティ強度に基づいて、登録者の顔画像が所定の撮影条件を満たさない場合には、前記記憶手段への記憶を制限するステップと、
前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更するステップと、
を実行させるためのプログラム。 - 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
を有する情報処理装置が行うセキュリティ強度変更方法であって、
使用目的毎にセキュリティ強度を利用者に設定させるステップと、
入力されたセキュリティ強度に基づいて、なりすまし検出機能の有効/無効を切り替えるステップと、
前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更するステップと、
を含むセキュリティ強度変更方法。 - 登録者の顔画像から特徴量を取得して記憶する記憶手段と、
入力された画像から顔の特徴量を取得して、前記記憶手段に記憶された登録者と一致するかの認証を行う認証手段と、
を有する情報処理装置に対して、
使用目的毎にセキュリティ強度を利用者に設定させるステップと、
入力されたセキュリティ強度に基づいて、なりすまし検出機能の有効/無効を切り替えるステップと、
前記セキュリティ強度に基づいて、前記記憶手段及び前記認証手段が行う認証処理の内容を変更するステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345190A JP4826234B2 (ja) | 2005-11-30 | 2005-11-30 | 顔認証装置、セキュリティ強度変更方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005345190A JP4826234B2 (ja) | 2005-11-30 | 2005-11-30 | 顔認証装置、セキュリティ強度変更方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007148968A JP2007148968A (ja) | 2007-06-14 |
JP4826234B2 true JP4826234B2 (ja) | 2011-11-30 |
Family
ID=38210290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005345190A Expired - Fee Related JP4826234B2 (ja) | 2005-11-30 | 2005-11-30 | 顔認証装置、セキュリティ強度変更方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4826234B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8488129B2 (en) * | 2007-10-05 | 2013-07-16 | Artec Group, Inc. | Combined object capturing system and display device and associated method |
JP2009223651A (ja) * | 2008-03-17 | 2009-10-01 | Nec Saitama Ltd | 顔認証装置、方法、プログラム及び携帯端末装置 |
JP5338178B2 (ja) * | 2008-08-01 | 2013-11-13 | オムロン株式会社 | 監視装置および方法、並びにプログラム |
JP5704905B2 (ja) | 2010-12-01 | 2015-04-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
KR101241625B1 (ko) * | 2012-02-28 | 2013-03-11 | 인텔 코오퍼레이션 | 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
SG11201501691VA (en) * | 2012-09-05 | 2015-04-29 | Element Inc | Biometric authentication in connection with camera-equipped devices |
JP5652886B2 (ja) | 2012-11-28 | 2015-01-14 | Necカシオモバイルコミュニケーションズ株式会社 | 顔認証装置、認証方法とそのプログラム、情報機器 |
JP6202983B2 (ja) * | 2013-10-22 | 2017-09-27 | 株式会社東芝 | 本人認証システム |
JP6025690B2 (ja) * | 2013-11-01 | 2016-11-16 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US11256792B2 (en) | 2014-08-28 | 2022-02-22 | Facetec, Inc. | Method and apparatus for creation and use of digital identification |
US10614204B2 (en) | 2014-08-28 | 2020-04-07 | Facetec, Inc. | Facial recognition authentication system including path parameters |
CA3186147A1 (en) * | 2014-08-28 | 2016-02-28 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
US10803160B2 (en) | 2014-08-28 | 2020-10-13 | Facetec, Inc. | Method to verify and identify blockchain with user question data |
US10698995B2 (en) | 2014-08-28 | 2020-06-30 | Facetec, Inc. | Method to verify identity using a previously collected biometric image/data |
WO2017004464A1 (en) * | 2015-06-30 | 2017-01-05 | Nec Corporation Of America | Facial recognition system |
USD987653S1 (en) | 2016-04-26 | 2023-05-30 | Facetec, Inc. | Display screen or portion thereof with graphical user interface |
JP7131118B2 (ja) * | 2018-06-22 | 2022-09-06 | 富士通株式会社 | 認証装置、認証プログラム、認証方法 |
JP7303654B2 (ja) * | 2019-03-29 | 2023-07-05 | グローリー株式会社 | 認証システム及び認証方法 |
KR102053581B1 (ko) * | 2019-05-27 | 2019-12-09 | 주식회사 시큐브 | 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치 |
US20240078704A1 (en) | 2021-04-28 | 2024-03-07 | Nec Corporation | Information processing system, information processing method, and recording medium |
WO2024100891A1 (ja) * | 2022-11-11 | 2024-05-16 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003091509A (ja) * | 2001-09-17 | 2003-03-28 | Nec Corp | 携帯通信機器の個人認証方法およびそれを記述したプログラム |
JP4320775B2 (ja) * | 2003-03-13 | 2009-08-26 | オムロン株式会社 | 顔認証装置 |
-
2005
- 2005-11-30 JP JP2005345190A patent/JP4826234B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007148968A (ja) | 2007-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4826234B2 (ja) | 顔認証装置、セキュリティ強度変更方法およびプログラム | |
JP5045128B2 (ja) | 顔認証装置 | |
JP4699139B2 (ja) | セキュリティシステム | |
US9652602B2 (en) | Method, system and computer program for comparing images | |
JP4924603B2 (ja) | 顔認証装置、顔認証方法およびプログラム | |
JP4553138B2 (ja) | 顔画像認証装置 | |
US20140380446A1 (en) | Method and apparatus for protecting browser private information | |
US8493178B2 (en) | Forged face detecting method and apparatus thereof | |
US8422746B2 (en) | Face authentication system and authentication method thereof | |
US20070113099A1 (en) | Authentication apparatus and portable terminal | |
US20140056491A1 (en) | Method and device for authenticating a user | |
US8379936B2 (en) | Authentication apparatus and authentication system | |
US20150016733A1 (en) | Method and Device for Notification of Facial Recognition Environment, and Computer-Readable Recording Medium for Executing Method | |
JP4760049B2 (ja) | 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体 | |
CN107944247B (zh) | 解锁控制方法、装置及电子设备 | |
JP2009163555A (ja) | 顔照合装置 | |
JP2007140823A (ja) | 顔照合装置、顔照合方法及びプログラム | |
KR101724971B1 (ko) | 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법 | |
WO2016110061A1 (zh) | 一种基于眼纹识别的终端解锁方法和装置 | |
JP2017010322A (ja) | 認証処理装置及び認証処理方法 | |
JP4899552B2 (ja) | 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 | |
US20080080751A1 (en) | Method of capturing fingerprint image | |
JP2009015518A (ja) | 眼画像撮影装置及び認証装置 | |
JP2015176555A (ja) | 通信端末及び通信端末の認証方法 | |
JP2003233816A (ja) | アクセスコントロールシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4826234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |