JPH11316836A - 本人特定装置 - Google Patents
本人特定装置Info
- Publication number
- JPH11316836A JPH11316836A JP10123231A JP12323198A JPH11316836A JP H11316836 A JPH11316836 A JP H11316836A JP 10123231 A JP10123231 A JP 10123231A JP 12323198 A JP12323198 A JP 12323198A JP H11316836 A JPH11316836 A JP H11316836A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image acquisition
- person
- acquired
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】この発明は、本人の特定に伴って再識別処理す
るとき、この再識別処理に適した画像取得条件に設定変
更して特定者を確実に識別できるようにした本人特定装
置の提供を目的とする。 【解決手段】この発明は、人の身体的特徴量を画像取得
手段より取得し、この取得した身体的特徴量と記憶手段
が記憶する予め特定した特定者の身体的特徴量との類似
度から本人を特定する本人特定装置であって、上記画像
取得手段の再画像取得時に、身体的特徴量の再画像取得
結果を前回と異ならせるための再画像取得条件変更手段
を備えたことを特徴とする。
るとき、この再識別処理に適した画像取得条件に設定変
更して特定者を確実に識別できるようにした本人特定装
置の提供を目的とする。 【解決手段】この発明は、人の身体的特徴量を画像取得
手段より取得し、この取得した身体的特徴量と記憶手段
が記憶する予め特定した特定者の身体的特徴量との類似
度から本人を特定する本人特定装置であって、上記画像
取得手段の再画像取得時に、身体的特徴量の再画像取得
結果を前回と異ならせるための再画像取得条件変更手段
を備えたことを特徴とする。
Description
【０００１】
【発明の属する技術分野】この発明は、人の身体的特徴
量を照合要素に用いて識別する本人特定装置に関し、さ
らに詳しくは１回で正しく本人を識別できない特定不能
時に繰返し実行する再特定処理時の特定成功率を高めた
本人特定装置に関する。
量を照合要素に用いて識別する本人特定装置に関し、さ
らに詳しくは１回で正しく本人を識別できない特定不能
時に繰返し実行する再特定処理時の特定成功率を高めた
本人特定装置に関する。
【０００２】
【従来の技術】一般に、この種の本人特定装置は歩いて
来る人の顔を撮像カメラで撮影し、これをリアルタイム
で識別したり、機器の前に立止まっている人を撮影して
識別する識別機能が備えられている。この識別に際して
は、顔画像から特徴量を抽出し、この抽出した特徴量と
登録データとを比較して類似度を求めることにより本人
か否かを識別している。
来る人の顔を撮像カメラで撮影し、これをリアルタイム
で識別したり、機器の前に立止まっている人を撮影して
識別する識別機能が備えられている。この識別に際して
は、顔画像から特徴量を抽出し、この抽出した特徴量と
登録データとを比較して類似度を求めることにより本人
か否かを識別している。
【０００３】このとき、正しく本人を識別できない場合
は、識別手順を繰返して再識別処理を実行している。こ
の場合、１回の識別処理で本人を正しく識別する確率
は、例えば９０％の識別成功率を有していれば、 １−（１−０．９）N となり、例えば再識別処理回数Ｎ＝３としても、識別成
功率は９９．９９％となる。このように、１回あたりの
識別成功率が低くても計算上では再識別処理回数を増や
せば、識別成功率は大幅に向上することになる。
は、識別手順を繰返して再識別処理を実行している。こ
の場合、１回の識別処理で本人を正しく識別する確率
は、例えば９０％の識別成功率を有していれば、 １−（１−０．９）N となり、例えば再識別処理回数Ｎ＝３としても、識別成
功率は９９．９９％となる。このように、１回あたりの
識別成功率が低くても計算上では再識別処理回数を増や
せば、識別成功率は大幅に向上することになる。
【０００４】しかし、実際は再識別処理の識別処理画像
が全く同じ画像であり、それが１回目にエラーになった
ものであれば、何度繰返しても成功することはなく、同
様に再識別する識別処理画像が例え時間的に数フレーム
異なっていたとしても、顔像に視覚的に大きな違いはな
く、繰返し再識別処理しても成功しないことが多い。特
に、入力画像の明るさが適切でなかったり、顔画像の陰
影が過剰になっていたり、顔の向きが識別に不向きな場
合は、何度再識別しても良い結果は得られず、識別エラ
ーとなってしまうことが多い。
が全く同じ画像であり、それが１回目にエラーになった
ものであれば、何度繰返しても成功することはなく、同
様に再識別する識別処理画像が例え時間的に数フレーム
異なっていたとしても、顔像に視覚的に大きな違いはな
く、繰返し再識別処理しても成功しないことが多い。特
に、入力画像の明るさが適切でなかったり、顔画像の陰
影が過剰になっていたり、顔の向きが識別に不向きな場
合は、何度再識別しても良い結果は得られず、識別エラ
ーとなってしまうことが多い。
【０００５】
【発明が解決しようとする課題】そこでこの発明は、本
人の特定に伴って再識別処理するとき、この再識別処理
に適した画像取得条件に設定変更して特定者を確実に識
別できるようにした本人特定装置の提供を目的とする。
人の特定に伴って再識別処理するとき、この再識別処理
に適した画像取得条件に設定変更して特定者を確実に識
別できるようにした本人特定装置の提供を目的とする。
【０００６】
【課題を解決するための手段】請求項１記載の発明は、
人の身体的特徴量を画像取得手段より取得し、この取得
した身体的特徴量と記憶手段が記憶する予め特定した特
定者の身体的特徴量との類似度から本人を特定する本人
特定装置であって、上記画像取得手段の再画像取得時
に、身体的特徴量の再画像取得結果を前回と異ならせる
ための再画像取得条件変更手段を備えたことを特徴とす
る。
人の身体的特徴量を画像取得手段より取得し、この取得
した身体的特徴量と記憶手段が記憶する予め特定した特
定者の身体的特徴量との類似度から本人を特定する本人
特定装置であって、上記画像取得手段の再画像取得時
に、身体的特徴量の再画像取得結果を前回と異ならせる
ための再画像取得条件変更手段を備えたことを特徴とす
る。
【０００７】請求項２記載の発明は、人の顔画像を画像
取得手段より取得し、この取得した顔画像と記憶手段が
記憶する予め特定した特定者の顔画像との類似度から本
人を特定する本人特定装置であって、上記画像取得手段
の再画像取得時に、顔画像の再画像取得結果を前回と異
ならせるための再画像取得条件変更手段を備えたことを
特徴とする。
取得手段より取得し、この取得した顔画像と記憶手段が
記憶する予め特定した特定者の顔画像との類似度から本
人を特定する本人特定装置であって、上記画像取得手段
の再画像取得時に、顔画像の再画像取得結果を前回と異
ならせるための再画像取得条件変更手段を備えたことを
特徴とする。
【０００８】請求項３記載の発明は、光量を変更制御す
る照明制御手段を備えた再画像取得条件変更手段である
ことを特徴とする。
る照明制御手段を備えた再画像取得条件変更手段である
ことを特徴とする。
【０００９】請求項４記載の発明は、画像取得手段の露
光時間を変更制御する露光時間制御手段を備えた再画像
取得条件変更手段であることを特徴とする。
光時間を変更制御する露光時間制御手段を備えた再画像
取得条件変更手段であることを特徴とする。
【００１０】請求項５記載の発明は、照明制御手段、画
像取得手段の少なくとも一つを移動調整する移動調整制
御手段を備えた再画像取得条件変更手段であることを特
徴とする。
像取得手段の少なくとも一つを移動調整する移動調整制
御手段を備えた再画像取得条件変更手段であることを特
徴とする。
【００１１】請求項６記載の発明は、顔の表情や人の向
きを変えさせる所作行為案内手段を備えた再画像取得条
件変更手段であることを特徴とする。
きを変えさせる所作行為案内手段を備えた再画像取得条
件変更手段であることを特徴とする。
【００１２】請求項７記載の発明は、本人を特定できな
い特定不明原因となった画像取得条件の中から最も有効
に変更要素が得られる画像取得条件を推定する推定手段
と、この推定手段で推定した画像取得条件に変更制御す
る変更制御手段とを備えた再画像取得条件変更手段であ
ることを特徴とする。
い特定不明原因となった画像取得条件の中から最も有効
に変更要素が得られる画像取得条件を推定する推定手段
と、この推定手段で推定した画像取得条件に変更制御す
る変更制御手段とを備えた再画像取得条件変更手段であ
ることを特徴とする。
【００１３】
【発明の作用及び効果】この発明によれば、人の身体的
特徴量を画像取得手段より取得したとき、この取得した
身体的特徴量と記憶手段が記憶する予め特定した特定者
の身体的特徴量との類似度から本人を特定する。この
際、本人を特定できないときは、再画像取得条件変更手
段により再度、画像取得手段より画像を取得し、この再
画像の取得時に身体的特徴量の取得結果を前回と異なら
せて取得する。
特徴量を画像取得手段より取得したとき、この取得した
身体的特徴量と記憶手段が記憶する予め特定した特定者
の身体的特徴量との類似度から本人を特定する。この
際、本人を特定できないときは、再画像取得条件変更手
段により再度、画像取得手段より画像を取得し、この再
画像の取得時に身体的特徴量の取得結果を前回と異なら
せて取得する。
【００１４】このため、再識別処理時の識別処理画像は
前回と今回とで大きく異なり、前回の識別要素が不足し
ていた画像取得条件そのものが変化するため、取得した
身体的特徴量を明確に取得でき、再識別に適した画像取
得条件下に設定変更して再識別処理ができる。この結
果、再識別時の識別成功率が向上し、また無駄な再識別
の繰返しが解消されて識別処理時間の短縮が図れる。
前回と今回とで大きく異なり、前回の識別要素が不足し
ていた画像取得条件そのものが変化するため、取得した
身体的特徴量を明確に取得でき、再識別に適した画像取
得条件下に設定変更して再識別処理ができる。この結
果、再識別時の識別成功率が向上し、また無駄な再識別
の繰返しが解消されて識別処理時間の短縮が図れる。
【００１５】また、身体付きなど身体的特徴量を識別要
素にしてもよく、識別に適した個人毎に明瞭に異なる顔
画像を識別要素にすることもできる。さらに、再画像を
取得するときの画像取得条件の変更に際して、照明制御
手段により被写体に対する光量を変更制御すれば、照明
される本人の取得画像を最適な明るさに設定変更するこ
とができる。
素にしてもよく、識別に適した個人毎に明瞭に異なる顔
画像を識別要素にすることもできる。さらに、再画像を
取得するときの画像取得条件の変更に際して、照明制御
手段により被写体に対する光量を変更制御すれば、照明
される本人の取得画像を最適な明るさに設定変更するこ
とができる。
【００１６】同じく、再画像を取得するときの画像取得
条件の変更に際して、露光時間制御手段により撮像カメ
ラ等の画像取得手段の露光時間を変更制御すれば、画像
取得に適した最適な明るさに設定変更することができ
る。
条件の変更に際して、露光時間制御手段により撮像カメ
ラ等の画像取得手段の露光時間を変更制御すれば、画像
取得に適した最適な明るさに設定変更することができ
る。
【００１７】同じく、再画像を取得するときの画像取得
条件の変更に際して、移動調整制御手段により照明制御
手段、画像取得手段の少なくとも一つを上下、左右、回
転等に移動調整して画像取得条件を設定変更すれば、画
像取得角度が大きく異なり、異方向からの画像を取得す
ることができる。
条件の変更に際して、移動調整制御手段により照明制御
手段、画像取得手段の少なくとも一つを上下、左右、回
転等に移動調整して画像取得条件を設定変更すれば、画
像取得角度が大きく異なり、異方向からの画像を取得す
ることができる。
【００１８】同じく、再画像を取得するときの画像取得
条件の変更に際して、所作行為案内手段により顔の表情
や人の向きを変えさせれば、人特有の個人毎に明確に異
なる身体的特徴量の画像が容易に得られる。
条件の変更に際して、所作行為案内手段により顔の表情
や人の向きを変えさせれば、人特有の個人毎に明確に異
なる身体的特徴量の画像が容易に得られる。
【００１９】同じく、再画像を取得するときの画像取得
条件の変更に際して、本人を特定できない特定不明原因
となった前回の画像取得条件の中から最も有効に変更要
素が得られる画像取得条件を推定手段により推定し、こ
の推定手段で推定した画像取得条件になるように変更制
御手段を変更制御すれば、再識別に最も適した画像取得
条件に設定変更することができる。
条件の変更に際して、本人を特定できない特定不明原因
となった前回の画像取得条件の中から最も有効に変更要
素が得られる画像取得条件を推定手段により推定し、こ
の推定手段で推定した画像取得条件になるように変更制
御手段を変更制御すれば、再識別に最も適した画像取得
条件に設定変更することができる。
【００２０】
【実施例】この発明の一実施例を以下図面に基づいて詳
述する。図１は室の扉を開閉管理する入退室の管理に適
用した本人特定装置１１を示し、この本人特定装置１１
は撮像カメラ１２と、テンキー１３と、カードリーダ１
４とを一体に備えた照合ユニット１５を扉近傍の顔高さ
壁面位置に設置し、またその壁面上部には撮像条件を変
えるための照明ライト１６とスピーカ１７を設置して構
成している。
述する。図１は室の扉を開閉管理する入退室の管理に適
用した本人特定装置１１を示し、この本人特定装置１１
は撮像カメラ１２と、テンキー１３と、カードリーダ１
４とを一体に備えた照合ユニット１５を扉近傍の顔高さ
壁面位置に設置し、またその壁面上部には撮像条件を変
えるための照明ライト１６とスピーカ１７を設置して構
成している。
【００２１】上述の撮像カメラ１２は、扉に近付いた人
の顔を撮像する向きに設定して顔画像データを取得し、
この顔画像データを撮像カメラ１２で取得する際、目、
鼻、口…等の各部分および顔全体の形状や大きさ、髪
型、眼鏡の有無、色、皺、化粧度合い等の本人固有の顔
情報を取得する。
の顔を撮像する向きに設定して顔画像データを取得し、
この顔画像データを撮像カメラ１２で取得する際、目、
鼻、口…等の各部分および顔全体の形状や大きさ、髪
型、眼鏡の有無、色、皺、化粧度合い等の本人固有の顔
情報を取得する。
【００２２】そして、この取得した顔情報を特定者１８
の照合要素に用い、扉の前に人が近付いたとき、撮像カ
メラ１２が人の顔情報を撮像し、これを特定者１８の予
め登録した登録データと照合して登録確認したとき解錠
するように設定している。
の照合要素に用い、扉の前に人が近付いたとき、撮像カ
メラ１２が人の顔情報を撮像し、これを特定者１８の予
め登録した登録データと照合して登録確認したとき解錠
するように設定している。
【００２３】また、撮像カメラ１２の電源をＯＦＦに設
定しているときは、画像による解錠データ以外に、特定
者１８が照合ユニット１５のテンキー１３に暗証番号
（ＰＩＮ）を入力操作すれば解錠することができ、また
カードリーダ１４に特定者１８のＩＤカードを読取りチ
ェックさせれば解錠利用することができる。
定しているときは、画像による解錠データ以外に、特定
者１８が照合ユニット１５のテンキー１３に暗証番号
（ＰＩＮ）を入力操作すれば解錠することができ、また
カードリーダ１４に特定者１８のＩＤカードを読取りチ
ェックさせれば解錠利用することができる。
【００２４】図２は本人特定装置１１の制御回路ブロッ
ク図を示し、コントローラ２１は設定されたプログラム
に沿って各回路装置を制御し、その制御データを読出し
可能に記憶する。
ク図を示し、コントローラ２１は設定されたプログラム
に沿って各回路装置を制御し、その制御データを読出し
可能に記憶する。
【００２５】先ず、撮像カメラ１２から画像を取得する
と、この取得した画像を画像入力部２２に取込んだ後、
識別処理部２３に導いて、この識別処理部２３で取得し
た画像の特徴量と、データベース２４で記憶管理してい
る特定者の本人固有の特徴量とを比較させて照合確認す
る。
と、この取得した画像を画像入力部２２に取込んだ後、
識別処理部２３に導いて、この識別処理部２３で取得し
た画像の特徴量と、データベース２４で記憶管理してい
る特定者の本人固有の特徴量とを比較させて照合確認す
る。
【００２６】このとき、取得した画像から正しく本人の
識別ができないと判定した場合は、このコントローラ２
１が繰返し画像を取得するように出力制御する。この場
合、コントローラ２１は再識別に適した画像を取得する
ため、画像取得条件を変更させる画像取得条件変更機能
を有している。
識別ができないと判定した場合は、このコントローラ２
１が繰返し画像を取得するように出力制御する。この場
合、コントローラ２１は再識別に適した画像を取得する
ため、画像取得条件を変更させる画像取得条件変更機能
を有している。
【００２７】この画像取得条件変更機能は、コントロー
ラ２１から遠隔制御可能にカメラ制御部２５、照明制御
部２６、音声出力部２７をそれぞれ接続し、このコント
ローラ２１から少なくとも１つを制御することにより身
体的特徴量の取得条件が大きく異なり、これにより画像
取得データを前回と異ならせて取得する。
ラ２１から遠隔制御可能にカメラ制御部２５、照明制御
部２６、音声出力部２７をそれぞれ接続し、このコント
ローラ２１から少なくとも１つを制御することにより身
体的特徴量の取得条件が大きく異なり、これにより画像
取得データを前回と異ならせて取得する。
【００２８】例えば、カメラ制御部２５を制御する場
合、撮像カメラ１２の露光時間を変えて被写体の明るさ
を変更する。このときは、身体的特徴量の画像取得に適
した最適な明るさに設定変更することができる。
合、撮像カメラ１２の露光時間を変えて被写体の明るさ
を変更する。このときは、身体的特徴量の画像取得に適
した最適な明るさに設定変更することができる。
【００２９】また、撮像カメラ１２を上下、左右、回転
など移動調整して撮像位置や画像取得角度を変えて異方
向から画像を取得する。このときは、取得した画像が前
回と今回とで確実に異なり、識別要素が不足していた前
回の画像取得条件そのものが改善されて特定者１８の身
体的特徴量を明確に取得できる。
など移動調整して撮像位置や画像取得角度を変えて異方
向から画像を取得する。このときは、取得した画像が前
回と今回とで確実に異なり、識別要素が不足していた前
回の画像取得条件そのものが改善されて特定者１８の身
体的特徴量を明確に取得できる。
【００３０】照明制御部２６を制御する場合は、照明ラ
イト１６の光量を変更する。このときは、周辺全体の明
るさを変えて被写体の画像取得に適した明るさに設定変
更することができる。
イト１６の光量を変更する。このときは、周辺全体の明
るさを変えて被写体の画像取得に適した明るさに設定変
更することができる。
【００３１】また、照明ライト１６を上下、左右など移
動調整して照明位置や照明角度を変えて画像を取得す
る。この場合は、画像取得条件そのものが前回に比べて
大きく変化し、この結果、特定者１８の身体的特徴量を
明確に取得できる。
動調整して照明位置や照明角度を変えて画像を取得す
る。この場合は、画像取得条件そのものが前回に比べて
大きく変化し、この結果、特定者１８の身体的特徴量を
明確に取得できる。
【００３２】音声出力部２７を制御する場合は、顔の表
情や人の向きを変えるなど人の所作行為を変えさせるよ
うにスピーカ１７より音声案内する。この場合は、個人
毎に異なる本人特有の識別要素が得られ、この結果、特
定者１８の身体的特徴量を明確にした画像が得られる。
情や人の向きを変えるなど人の所作行為を変えさせるよ
うにスピーカ１７より音声案内する。この場合は、個人
毎に異なる本人特有の識別要素が得られ、この結果、特
定者１８の身体的特徴量を明確にした画像が得られる。
【００３３】この他、画像取得条件変更機能としてコン
トローラ２１は、特定不明原因となった前回の画像取得
条件の中から最も有効に変更要素が得られる画像取得条
件を推定し、この推定した画像取得条件になるようにカ
メラ制御部２５、照明制御部２６、音声出力部２７の一
つ、あるいはその複数を変更制御する。
トローラ２１は、特定不明原因となった前回の画像取得
条件の中から最も有効に変更要素が得られる画像取得条
件を推定し、この推定した画像取得条件になるようにカ
メラ制御部２５、照明制御部２６、音声出力部２７の一
つ、あるいはその複数を変更制御する。
【００３４】例えば、画像データから特徴量を抽出する
ときに、取得画像の濃度差、顔の向き、傾き度合い等の
様々な識別要素に基づいて、撮像カメラ１２を修正方向
に一定量移動させたり、照明ライト１６を修正方向に一
定量移動調整したり、スピーカ１７より顔の表情や人の
向きを変えさせるように所作行為を音声案内させればよ
い。これにより、再識別に最も適した画像取得条件に設
定変更して再画像を取得することができる。
ときに、取得画像の濃度差、顔の向き、傾き度合い等の
様々な識別要素に基づいて、撮像カメラ１２を修正方向
に一定量移動させたり、照明ライト１６を修正方向に一
定量移動調整したり、スピーカ１７より顔の表情や人の
向きを変えさせるように所作行為を音声案内させればよ
い。これにより、再識別に最も適した画像取得条件に設
定変更して再画像を取得することができる。
【００３５】このような画像取得条件変更機能を働かせ
ることにより、再識別時の識別に適した身体的特徴量の
画像を確実に取得することができるため識別成功率が向
上し、また再識別時に近似する画像を繰返し取得するこ
とによる無駄な再識別の繰返しが解消されて識別処理時
間の短縮を図ることができる。
ることにより、再識別時の識別に適した身体的特徴量の
画像を確実に取得することができるため識別成功率が向
上し、また再識別時に近似する画像を繰返し取得するこ
とによる無駄な再識別の繰返しが解消されて識別処理時
間の短縮を図ることができる。
【００３６】ところで、データベース２４には予め特定
した特定者固有の顔の特徴量を登録しておき、これを照
合確認データに用い、撮像カメラ１２で顔情報を取得す
る毎に、その顔の特徴量を比較照合して本人か否かを判
定する。
した特定者固有の顔の特徴量を登録しておき、これを照
合確認データに用い、撮像カメラ１２で顔情報を取得す
る毎に、その顔の特徴量を比較照合して本人か否かを判
定する。
【００３７】図３は本人特定装置の類似度判定処理動作
を示し、撮像カメラ１２から顔情報を取得した生画像を
一旦画像メモリ３１に蓄積する。この蓄積した生画像か
ら顔検出部３２で顔領域の検索を行って、撮像した顔領
域を検出する。ここでは、顔とその周辺の概略を検出
し、この顔領域の検出手法に際しては、 １．背景画像と取得画像の差を抽出する背景差分手法 ２．カラーを用いた肌色検出手法 ３．オプチカルフローやフレーム差分を用いた動き検出
手法 ４．顔らしさをニューラルネットワークやパターンマッ
チングによって求める手法 のいずれかを用いて顔領域を検出する。
を示し、撮像カメラ１２から顔情報を取得した生画像を
一旦画像メモリ３１に蓄積する。この蓄積した生画像か
ら顔検出部３２で顔領域の検索を行って、撮像した顔領
域を検出する。ここでは、顔とその周辺の概略を検出
し、この顔領域の検出手法に際しては、 １．背景画像と取得画像の差を抽出する背景差分手法 ２．カラーを用いた肌色検出手法 ３．オプチカルフローやフレーム差分を用いた動き検出
手法 ４．顔らしさをニューラルネットワークやパターンマッ
チングによって求める手法 のいずれかを用いて顔領域を検出する。
【００３８】この顔領域を検出した後、顔位置検出部３
３で目、鼻、口…等の特徴モデルを元にマッチングによ
って顔の位置を正確に検出する。顔の位置を正確に検出
して位置決めすると、顔特徴抽出部３４で顔画像から切
出された顔特徴量を抽出する。この顔特徴量は平均顔と
の差を主成分分析等の統計的手法を用いて抽出するか、
あるいは目、鼻、口…等の濃淡画像からテンプレートマ
ッチングにより抽出する。この抽出された顔特徴量と、
データベース２４に予め登録された特徴メモリとを類似
度判定部３５で比較照合して顔情報の類似度を判定す
る。
３で目、鼻、口…等の特徴モデルを元にマッチングによ
って顔の位置を正確に検出する。顔の位置を正確に検出
して位置決めすると、顔特徴抽出部３４で顔画像から切
出された顔特徴量を抽出する。この顔特徴量は平均顔と
の差を主成分分析等の統計的手法を用いて抽出するか、
あるいは目、鼻、口…等の濃淡画像からテンプレートマ
ッチングにより抽出する。この抽出された顔特徴量と、
データベース２４に予め登録された特徴メモリとを類似
度判定部３５で比較照合して顔情報の類似度を判定す
る。
【００３９】この場合、コントローラ２１は本人を特定
するための判断基準となるスレッショルダレベルを設定
しており、入力された画像データから求めた顔の特徴量
と登録データの特徴量とを照合したときの類似度値を算
出し、この値がスレッショルダレベルより高ければ本人
と特定し、低ければ他人あるいは未登録者と判定する。
するための判断基準となるスレッショルダレベルを設定
しており、入力された画像データから求めた顔の特徴量
と登録データの特徴量とを照合したときの類似度値を算
出し、この値がスレッショルダレベルより高ければ本人
と特定し、低ければ他人あるいは未登録者と判定する。
【００４０】このように構成された本人特定装置１１の
識別処理動作を図４に示すフローチャートを参照して説
明する。 今、撮像カメラ１２から顔の画像データを
取得すると、その画像データから顔領域の検索を行っ
て、撮像した顔領域を検出し（ステップｎ1 〜ｎ2 ）、
この顔領域を検出した後、目、鼻、口…等の特徴から顔
の位置を正確に検出して位置決めすると、この顔画像か
ら顔特徴量を抽出する（ステップｎ3 〜ｎ4 ）。
識別処理動作を図４に示すフローチャートを参照して説
明する。 今、撮像カメラ１２から顔の画像データを
取得すると、その画像データから顔領域の検索を行っ
て、撮像した顔領域を検出し（ステップｎ1 〜ｎ2 ）、
この顔領域を検出した後、目、鼻、口…等の特徴から顔
の位置を正確に検出して位置決めすると、この顔画像か
ら顔特徴量を抽出する（ステップｎ3 〜ｎ4 ）。
【００４１】この抽出された顔特徴量と、予め登録され
た特徴量とを比較照合して類似度を求め（ステップｎ5
〜ｎ6 ）、類似度がスレッショルダレベル以上のときは
特定者と認めて、識別処理が終了する（ステップｎ7
）。
た特徴量とを比較照合して類似度を求め（ステップｎ5
〜ｎ6 ）、類似度がスレッショルダレベル以上のときは
特定者と認めて、識別処理が終了する（ステップｎ7
）。
【００４２】ところで、顔画像から顔特徴量を抽出した
とき、撮像カメラ１２で撮像したときの画像取得条件、
照明ライト１６で照明したときの照明条件、スピーカ１
７で所作行為を音声案内した場合はその音声案内条件
を、識別条件のパラメータとして取込み（ステップｎ8
）、識別エラーと判定されたときに、コントローラ２
１が再識別に適したパラメータを選択し、この選択した
パラメータの条件をコントローラ２１が設定変更して再
識別する（ステップｎ9 〜ｎ10）。
とき、撮像カメラ１２で撮像したときの画像取得条件、
照明ライト１６で照明したときの照明条件、スピーカ１
７で所作行為を音声案内した場合はその音声案内条件
を、識別条件のパラメータとして取込み（ステップｎ8
）、識別エラーと判定されたときに、コントローラ２
１が再識別に適したパラメータを選択し、この選択した
パラメータの条件をコントローラ２１が設定変更して再
識別する（ステップｎ9 〜ｎ10）。
【００４３】例えば、図５に示すように、１回目の画像
取得時に、傾いた顔の入力画像のために識別不能なエラ
ーが発生した場合は、正規の正面顔の画像が得られるよ
うに撮像カメラ１２を移動調整することが、再識別する
ときに最も有効な画像取得条件となるパラメータと判定
し、これに基づいてコントローラ２１は撮像カメラ１２
の向きを修正して正面顔を得られるように再識別処理を
実行する。これにより、２回目の画像取得時には正面顔
に近い入力画像を取得することができ、この正面顔の画
像を取得することによって識別確率が高まり、特定者を
明確に区別して識別することができる。
取得時に、傾いた顔の入力画像のために識別不能なエラ
ーが発生した場合は、正規の正面顔の画像が得られるよ
うに撮像カメラ１２を移動調整することが、再識別する
ときに最も有効な画像取得条件となるパラメータと判定
し、これに基づいてコントローラ２１は撮像カメラ１２
の向きを修正して正面顔を得られるように再識別処理を
実行する。これにより、２回目の画像取得時には正面顔
に近い入力画像を取得することができ、この正面顔の画
像を取得することによって識別確率が高まり、特定者を
明確に区別して識別することができる。
【００４４】また、図６に示すように、１回目の画像取
得時に、顔の左半分が暗くなった入力画像のために識別
不能なエラーが発生した場合は、正規の均一な照明が得
られるように照明ライト１６を移動調整することが、再
識別するときに最も有効な画像取得条件となるパラメー
タと判定し、これに基づいてコントローラ２１は照明ラ
イト１６の向きを修正して均一な照明が得られるように
再識別処理を実行する。これにより、２回目の画像取得
時には識別の判定に適した均一な明るさの入力画像を取
得することができ、この適切な明るさの画像を取得する
ことによって識別確率が高まる。従って、数回の識別処
理動作で特定者を確実に識別することができる。
得時に、顔の左半分が暗くなった入力画像のために識別
不能なエラーが発生した場合は、正規の均一な照明が得
られるように照明ライト１６を移動調整することが、再
識別するときに最も有効な画像取得条件となるパラメー
タと判定し、これに基づいてコントローラ２１は照明ラ
イト１６の向きを修正して均一な照明が得られるように
再識別処理を実行する。これにより、２回目の画像取得
時には識別の判定に適した均一な明るさの入力画像を取
得することができ、この適切な明るさの画像を取得する
ことによって識別確率が高まる。従って、数回の識別処
理動作で特定者を確実に識別することができる。
【００４５】上述のように、再画像取得時には身体的特
徴量の画像取得データが前回と異なるように再画像取得
条件を変更して取得するため、再識別処理時の識別処理
画像は前回と今回とで大きく異なり、前回の識別要素が
不足していた画像取得条件そのものが改善されて身体的
特徴量を明確にして取得できる。この結果、再識別時の
識別成功率が向上し、また無駄な再識別の繰返しが解消
されて識別処理時間の短縮が図れる。また、識別に適し
た個人毎に明瞭に異なる顔画像を識別要素にする他、身
体付きなど身体的特徴量を識別要素にすることもでき
る。
徴量の画像取得データが前回と異なるように再画像取得
条件を変更して取得するため、再識別処理時の識別処理
画像は前回と今回とで大きく異なり、前回の識別要素が
不足していた画像取得条件そのものが改善されて身体的
特徴量を明確にして取得できる。この結果、再識別時の
識別成功率が向上し、また無駄な再識別の繰返しが解消
されて識別処理時間の短縮が図れる。また、識別に適し
た個人毎に明瞭に異なる顔画像を識別要素にする他、身
体付きなど身体的特徴量を識別要素にすることもでき
る。
【００４６】この発明と、上述の一実施例の構成との対
応において、この発明の画像取得手段は、実施例の撮像
カメラ１２に対応し、以下同様に、記憶手段は、データ
ベース２４に対応し、画像取得条件変更手段、推定手段
及び変更制御手段は、コントローラ２１に対応し、照明
制御手段は、照明ライト１６及び照明制御部２６に対応
し、露光時間制御手段は、撮像カメラ１２及びカメラ制
御部２５に対応し、所作行為案内手段は、スピーカ１７
及び音声出力部２７に対応するも、この発明は、請求項
に示される技術思想に基づいて応用することができ、上
述の一実施例の構成のみに限定されるものではない。
応において、この発明の画像取得手段は、実施例の撮像
カメラ１２に対応し、以下同様に、記憶手段は、データ
ベース２４に対応し、画像取得条件変更手段、推定手段
及び変更制御手段は、コントローラ２１に対応し、照明
制御手段は、照明ライト１６及び照明制御部２６に対応
し、露光時間制御手段は、撮像カメラ１２及びカメラ制
御部２５に対応し、所作行為案内手段は、スピーカ１７
及び音声出力部２７に対応するも、この発明は、請求項
に示される技術思想に基づいて応用することができ、上
述の一実施例の構成のみに限定されるものではない。
【図１】 この発明の本人特定装置の使用状態を示す概
略側面図。
略側面図。
【図２】 この発明の本人特定装置の制御回路ブロック
図。
図。
【図３】 この発明の本人特定装置の顔情報の類似度判
定処理動作を示す説明図。
定処理動作を示す説明図。
【図４】 この発明の本人特定装置の識別処理動作を示
すフローチャート。
すフローチャート。
【図５】 この発明の撮像カメラの向きを修正した画像
取得条件変更動作を示す説明図。
取得条件変更動作を示す説明図。
【図６】 この発明の照明ライトの向きを修正した画像
取得条件変更動作を示す説明図。
取得条件変更動作を示す説明図。
１１…本人特定装置 １２…撮像カメラ １６…照明ライト １７…スピーカ １８…特定者 ２１…コントローラ ２２…画像入力部 ２３…識別処理部 ２４…データベース ２５…カメラ制御部 ２６…照明制御部 ２７…音声出力部
Claims (7)
- 【請求項１】人の身体的特徴量を画像取得手段より取得
し、この取得した身体的特徴量と記憶手段が記憶する予
め特定した特定者の身体的特徴量との類似度から本人を
特定する本人特定装置であって、上記画像取得手段の再
画像取得時に、身体的特徴量の再画像取得結果を前回と
異ならせるための再画像取得条件変更手段を備えた本人
特定装置。 - 【請求項２】人の顔画像を画像取得手段より取得し、こ
の取得した顔画像と記憶手段が記憶する予め特定した特
定者の顔画像との類似度から本人を特定する本人特定装
置であって、上記画像取得手段の再画像取得時に、顔画
像の再画像取得結果を前回と異ならせるための再画像取
得条件変更手段を備えた本人特定装置。 - 【請求項３】再画像取得条件変更手段は、光量を変更制
御する照明制御手段であることを特徴とする請求項１ま
たは２記載の本人特定装置。 - 【請求項４】再画像取得条件変更手段は、画像取得手段
の露光時間を変更制御する露光時間制御手段であること
を特徴とする請求項１または２記載の本人特定装置。 - 【請求項５】再画像取得条件変更手段は、照明制御手
段、画像取得手段の少なくとも一つを移動調整する移動
調整制御手段であることを特徴とする請求項１、２また
は３記載の本人特定装置。 - 【請求項６】再画像取得条件変更手段は、顔の表情や人
の向きを変えさせる所作行為案内手段を備えたことを特
徴とする請求項１または２記載の本人特定装置。 - 【請求項７】 再画像取得条件変更手段は、本人を特定
できない特定不明原因となった画像取得条件の中から最
も有効に変更要素が得られる画像取得条件を推定する推
定手段と、上記推定手段で推定した画像取得条件に変更
制御する変更制御手段とを備えた請求項１または２記載
の本人特定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12323198A JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12323198A JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316836A true JPH11316836A (ja) | 1999-11-16 |
| JP3580129B2 JP3580129B2 (ja) | 2004-10-20 |
Family
ID=14855454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12323198A Expired - Fee Related JP3580129B2 (ja) | 1998-05-06 | 1998-05-06 | 本人識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3580129B2 (ja) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001243466A (ja) * | 2000-03-02 | 2001-09-07 | Honda Motor Co Ltd | 顔認識装置およびその方法 |
| US6516247B2 (en) | 2001-01-30 | 2003-02-04 | Nec Corporation | Robot, identifying environment determining method, and program thereof |
| JP2003223640A (ja) * | 2002-01-29 | 2003-08-08 | Yokogawa Electric Corp | 物体認識装置 |
| JP2004118627A (ja) * | 2002-09-27 | 2004-04-15 | Toshiba Corp | 人物認証装置および人物認証方法 |
| US6882741B2 (en) | 2000-03-22 | 2005-04-19 | Kabushiki Kaisha Toshiba | Facial image recognition apparatus |
| JP2005347873A (ja) * | 2004-05-31 | 2005-12-15 | Matsushita Electric Works Ltd | 撮像装置 |
| WO2006030687A1 (ja) * | 2004-09-14 | 2006-03-23 | Nec Corporation | データ照合システム、データ照合装置、及びデータ照合方法 |
| US7050608B2 (en) | 2001-03-09 | 2006-05-23 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
| US7120278B2 (en) | 2001-08-24 | 2006-10-10 | Kabushiki Kaisha Toshiba | Person recognition apparatus |
| JP2006319534A (ja) * | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 撮影装置および方法並びにプログラム |
| JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| US7158657B2 (en) | 2001-05-25 | 2007-01-02 | Kabushiki Kaisha Toshiba | Face image recording system |
| JP2007026213A (ja) * | 2005-07-19 | 2007-02-01 | Nikon Corp | 撮像装置 |
| JP2007094535A (ja) * | 2005-09-27 | 2007-04-12 | Konica Minolta Photo Imaging Inc | 認証システム及び認証方法 |
| US7239725B2 (en) | 2001-07-27 | 2007-07-03 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
| JP2007228458A (ja) * | 2006-02-27 | 2007-09-06 | Fujifilm Corp | 撮影条件設定方法およびこれを用いた撮影装置 |
| JP2008017227A (ja) * | 2006-07-06 | 2008-01-24 | Denso Corp | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム |
| JP2008243217A (ja) * | 2001-01-30 | 2008-10-09 | Nec Corp | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| JP2010004543A (ja) * | 2009-07-13 | 2010-01-07 | Panasonic Electric Works Co Ltd | 撮像装置 |
| JP2011076457A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 顔画像補正装置、顔画像補正方法及びプログラム |
| JP2012231436A (ja) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | 電子機器、及び映像処理方法 |
| WO2021144910A1 (ja) * | 2020-01-16 | 2021-07-22 | 日本電気株式会社 | 顔認証装置、その制御方法、及びプログラム、並びに、顔認証ゲート装置、その制御方法、及びプログラム |
| WO2023176375A1 (ja) * | 2022-03-16 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6116662U (ja) * | 1984-06-29 | 1986-01-30 | 三菱電機株式会社 | 画像照合判定装置 |
| JPH06266497A (ja) * | 1993-03-11 | 1994-09-22 | Toshiba Corp | マンマシンインタフェース装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH1040380A (ja) * | 1996-07-22 | 1998-02-13 | Sony Corp | マーク検査方法及び装置 |
-
1998
- 1998-05-06 JP JP12323198A patent/JP3580129B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6116662U (ja) * | 1984-06-29 | 1986-01-30 | 三菱電機株式会社 | 画像照合判定装置 |
| JPH06266497A (ja) * | 1993-03-11 | 1994-09-22 | Toshiba Corp | マンマシンインタフェース装置 |
| JPH0921611A (ja) * | 1995-07-06 | 1997-01-21 | Mitsubishi Electric Corp | 顔画像撮像装置 |
| JPH1040380A (ja) * | 1996-07-22 | 1998-02-13 | Sony Corp | マーク検査方法及び装置 |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001243466A (ja) * | 2000-03-02 | 2001-09-07 | Honda Motor Co Ltd | 顔認識装置およびその方法 |
| JP4526639B2 (ja) * | 2000-03-02 | 2010-08-18 | 本田技研工業株式会社 | 顔認識装置およびその方法 |
| US6882741B2 (en) | 2000-03-22 | 2005-04-19 | Kabushiki Kaisha Toshiba | Facial image recognition apparatus |
| US6516247B2 (en) | 2001-01-30 | 2003-02-04 | Nec Corporation | Robot, identifying environment determining method, and program thereof |
| JP2008243217A (ja) * | 2001-01-30 | 2008-10-09 | Nec Corp | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
| US6732016B2 (en) | 2001-01-30 | 2004-05-04 | Nec Corporation | Robot, identifying environment determining method, and program thereof |
| US6819978B2 (en) | 2001-01-30 | 2004-11-16 | Nec Corporation | Robot, identifying environment determining method, and program thereof |
| US7050608B2 (en) | 2001-03-09 | 2006-05-23 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
| US7158657B2 (en) | 2001-05-25 | 2007-01-02 | Kabushiki Kaisha Toshiba | Face image recording system |
| US7239725B2 (en) | 2001-07-27 | 2007-07-03 | Kabushiki Kaisha Toshiba | Face image recognition apparatus |
| US7120278B2 (en) | 2001-08-24 | 2006-10-10 | Kabushiki Kaisha Toshiba | Person recognition apparatus |
| US7454041B2 (en) | 2001-08-24 | 2008-11-18 | Kabushiki Kaisha Toshiba | Person recognition apparatus |
| JP2003223640A (ja) * | 2002-01-29 | 2003-08-08 | Yokogawa Electric Corp | 物体認識装置 |
| JP2004118627A (ja) * | 2002-09-27 | 2004-04-15 | Toshiba Corp | 人物認証装置および人物認証方法 |
| JP4572583B2 (ja) * | 2004-05-31 | 2010-11-04 | パナソニック電工株式会社 | 撮像装置 |
| US7948524B2 (en) | 2004-05-31 | 2011-05-24 | Panasonic Electric Works Co., Ltd. | Image processor and face detector using the same |
| JP2005347873A (ja) * | 2004-05-31 | 2005-12-15 | Matsushita Electric Works Ltd | 撮像装置 |
| WO2006030687A1 (ja) * | 2004-09-14 | 2006-03-23 | Nec Corporation | データ照合システム、データ照合装置、及びデータ照合方法 |
| JP2006319534A (ja) * | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 撮影装置および方法並びにプログラム |
| JP4519708B2 (ja) * | 2005-05-11 | 2010-08-04 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| JP4645301B2 (ja) * | 2005-05-20 | 2011-03-09 | 富士通株式会社 | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| JP2007026213A (ja) * | 2005-07-19 | 2007-02-01 | Nikon Corp | 撮像装置 |
| JP4670521B2 (ja) * | 2005-07-19 | 2011-04-13 | 株式会社ニコン | 撮像装置 |
| JP2007094535A (ja) * | 2005-09-27 | 2007-04-12 | Konica Minolta Photo Imaging Inc | 認証システム及び認証方法 |
| JP2007228458A (ja) * | 2006-02-27 | 2007-09-06 | Fujifilm Corp | 撮影条件設定方法およびこれを用いた撮影装置 |
| JP4579169B2 (ja) * | 2006-02-27 | 2010-11-10 | 富士フイルム株式会社 | 撮影条件設定方法およびこれを用いた撮影装置 |
| JP2008017227A (ja) * | 2006-07-06 | 2008-01-24 | Denso Corp | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム |
| JP4577446B2 (ja) * | 2009-07-13 | 2010-11-10 | パナソニック電工株式会社 | 撮像装置 |
| JP2010004543A (ja) * | 2009-07-13 | 2010-01-07 | Panasonic Electric Works Co Ltd | 撮像装置 |
| JP2011076457A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 顔画像補正装置、顔画像補正方法及びプログラム |
| JP2012231436A (ja) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | 電子機器、及び映像処理方法 |
| WO2021144910A1 (ja) * | 2020-01-16 | 2021-07-22 | 日本電気株式会社 | 顔認証装置、その制御方法、及びプログラム、並びに、顔認証ゲート装置、その制御方法、及びプログラム |
| JPWO2021144910A1 (ja) * | 2020-01-16 | 2021-07-22 | ||
| WO2023176375A1 (ja) * | 2022-03-16 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3580129B2 (ja) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3580129B2 (ja) | 本人識別装置 | |
| JP3564984B2 (ja) | 本人特定装置及び本人特定方法 | |
| KR100481116B1 (ko) | 안면화상 인식장치 | |
| JP4314016B2 (ja) | 人物認識装置および通行制御装置 | |
| US8422746B2 (en) | Face authentication system and authentication method thereof | |
| JP2000259814A (ja) | 画像処理装置及びその方法 | |
| JP2003141541A (ja) | 人物認識装置および通行制御装置 | |
| JP4177629B2 (ja) | 個人認証装置、個人認証方法、入退出管理装置及び入退出管理方法 | |
| JP5955031B2 (ja) | 顔画像認証装置 | |
| JP2000237167A (ja) | アイリス認識装置 | |
| JP2007004321A (ja) | 画像処理装置及び入退室管理システム | |
| JP5766096B2 (ja) | 顔画像認証装置 | |
| KR20200080533A (ko) | 특징점 변동을 이용한 위조 얼굴 판별장치 및 그 방법 | |
| JP2008139973A (ja) | 顔画像認証システム、および撮像装置 | |
| JP2003233816A (ja) | アクセスコントロールシステム | |
| JP2005084824A (ja) | 顔画像照合装置、顔画像照合方法及び通行制御装置 | |
| JP2005202731A (ja) | 顔認識装置、顔認識方法および通行制御装置 | |
| JP2010086403A (ja) | 顔認識装置、顔認識方法、及び通行制御装置 | |
| JP4320775B2 (ja) | 顔認証装置 | |
| JP2011236730A (ja) | 入室者認証装置 | |
| KR20110119214A (ko) | 얼굴 변화에 강인한 얼굴 인식 방법 | |
| KR20110092848A (ko) | 얼굴 인증 및 등록방법 | |
| JP2003308524A (ja) | アクセスコントロールシステム | |
| Lee et al. | Improvements in video-based automated system for iris recognition (vasir) | |
| JP2002334335A (ja) | 顔画像認識装置および通行制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040712 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |