JP2004118627A - 人物認証装置および人物認証方法 - Google Patents
人物認証装置および人物認証方法 Download PDFInfo
- Publication number
- JP2004118627A JP2004118627A JP2002282443A JP2002282443A JP2004118627A JP 2004118627 A JP2004118627 A JP 2004118627A JP 2002282443 A JP2002282443 A JP 2002282443A JP 2002282443 A JP2002282443 A JP 2002282443A JP 2004118627 A JP2004118627 A JP 2004118627A
- Authority
- JP
- Japan
- Prior art keywords
- person
- face
- authentication
- image
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 7
- 230000001939 inductive effect Effects 0.000 claims description 2
- 230000002040 relaxant effect Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 26
- 230000008921 facial expression Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 206010029216 Nervousness Diseases 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 206010019133 Hangover Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000021332 multicellular organism growth Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
【解決手段】人物の顔領域の画像を抽出する顔領域抽出手段2と、顔領域抽出手段によって抽出された顔領域の画像から顔の特徴量を抽出する特徴量抽出手段3と、特徴量抽出手段が抽出した特徴量を当該人物の特徴量として登録するための辞書登録手段5と、特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度をに応じて当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段7を具備し、誘導手段により誘導された状況の下で、人物の顔の特徴量を抽出することを特徴とする。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、再現性の高い登録と認証方法を実現する人物認証装置及び人物認証方法に関する。
【0002】
【従来の技術】
近年、セキュリティへ技術に関する関心、需要が高まっている。セキュリティを確保するための個人認証方式としてはいくつか方法がある。クレジットカードなどの磁気カードや、ICチップを埋め込んだ接触型ICカードを利用した個人認証方式においては、これらのカードを読み取り装置に通さねばならず、荷物で手がふさがっているような場合には、カードを読み取り装置に通過させる作業が繁雑で、非常に不便であるのが問題である。また、無線を利用した定期券・改札システムなどに代表される非接触型ICカードを利用した個人認証方式においては、接触式ICカードを利用した場合と比較して、人手で読み取り装置を通す必要がないが、接触式と同様に、紛失した場合に、不正に利用される恐れがある。また利用者が常にICカードを携帯携帯していないといけないという不便さがある。
【0003】
これに対抗して、指紋や虹彩、声、顔など、人間の生体情報(バイオメトリクス)を使った個人認証方式がある。利用者の虹彩の模様を認証装置に予め登録し、認証時に照合を行うもので、指紋の10倍の認証精度があるとされる高精度な認証方式である。しかし認証制度を確保するため補助光を目に照射することが必要であり、認証装置に利用者の顔を接触させるという方式であるため、利用者に所定の認証作業を強いる、利用者の衛生を確保できない等の問題がある。このため、非常にセキュリティ度の高い、ごく限定されたユーザに対する認証方式として使われている。最近は接触式の認証方式ではなく、カメラで利用者の目の画像を撮像することで、利用者の認証を行なうシステムも存在するが、非接触だと、カメラによる利用者の撮像条件が安定しないため、認証精度が十分ではないという問題がある。
【0004】
利用者の指紋情報を利用する方式では、読み取り装置に利用者の指を接触させ、指紋を撮像し、特徴点のマッチングで認証を行うことができる。虹彩と同様に、身体の成長や経時変化に強いというメリットがあるものの、利用者の皮膚を検出装置に接触させるための、接触面が人間の手から出る脂肪や汗で汚れ、使っているうちに、精度が落ちるという問題がある。また、利用者の指を検出面に直接接触させるため、衛生面で忌避感を与えるという問題がある。また被認証者の手が乾燥していると、指がうまく接触しないため、きちんと指紋を読み取れないという問題もある。
【0005】
ユーザの声・発話情報を使った人物認証方式では、利用者の健康状態により認証制度が左右され、風邪や二日酔いなどで声がしゃがれるなど、同一人物でも、声の再現性が低くなる恐れがある。このため、話者認識は認証精度が問題になり、まだ実用レベルに達していない。
【0006】
これらに比較すると、利用者の顔情報を用いた人物認証方式では、利用者の身体を認証装置に直接接触させる必要がなく、カメラで利用者の顔を撮像し得られた顔画像を解析し、個人を認証すればよいので、他の方式に比較し、ユーザへの負担が少なく、ゲートの開閉などに比較的に簡単に使えるというメリットがある。
(特許文献1、2参照)
ここで顔画像を利用した認証方式の認証精度を向上させるには、ある程度まとまった情報量の顔画像を撮像することが必要であり、ある一定値以上の画素数が必要である。しかし撮影用のカメラの位置と比較して相対的に利用者が身長が高い場合であるとか、利用者の立ち位置がカメラから離れていたりすると、撮像される顔画像が小さく、顔画像の画素数も少なく、一定量の画像情報量を確保できないため、認識精度が劣化するという問題がある。また利用者の立ち位置が変わったり、撮影場所の照明条件が異なったりすると、事前登録時と認証時で撮像条件が大きく変化するため、得られる画像情報に変動が生じ、結果として人物認識が失敗するという問題がある。
【0007】
さらに顔画像の撮像時に利用者の表情が変われば、得られる顔のパターンは変化する。よって人物認証の精度を向上させるためには、本人の辞書登録時に種々の表情を登録する必要がある。また、せっかく多種の表情を登録時に行ったとしても、登録時に利用者が緊張していたりすると、表情が固まってしまい、期待する多種の表情が登録できず、登録時と認証時との顔の表情が大きく異なってしまい、結果として認識精度が向上しないという問題がある。逆に、辞書登録時に多種の表情を撮影するように利用者の協力を求めると、利用者の反応がオーバーアクションになり、過剰反応を示した際の表情と認証時の表情とが大きく異なってしまうという問題がある。
【0008】
【特許文献1】
特開平11−175718号
【0009】
【特許文献2】
特開平9−251534号
【0010】
【発明が解決しようとする課題】
人物の顔画像を利用した認証方式では、登録時と認証時に、立ち位置や照明条件などの撮像条件を同様にしないと、登録時の画像パターンと認証時の画像パターンとが大きく異なり、本人を本人として認証することができない場合が生ずる。また辞書登録時に利用者が緊張したり、逆にオーバーアクションになったりすると、登録時の表情と認証時の表情とが大きく異なったりするため、これも本人認証に失敗するという問題がある。
【0011】
本発明においては、利用者の負担を軽減して、認証精度を向上させた人物認証装置及び人物認証方法を提供する。
【0012】
【課題を解決するための手段】
本発明においては、撮像入力手段から得られた人物の顔領域の画像を抽出する顔領域抽出手段と、前記顔領域抽出手段によって抽出された上記顔領域の画像から顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した特徴量を、当該人物の特徴量として登録するための辞書登録手段と、前記特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度をに応じて、当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段を具備し、当該誘導手段により誘導された状況の下で、当該人物の顔の特徴量を抽出することを特徴とする。
【0013】
また本発明においては、前記顔領域抽出手段により抽出される顔領域の大きさまたは輝度の撮像条件を抽出するための撮像条件抽出手段を具備し、前記誘導手段は、前記撮像条件抽出手段が抽出した撮像条件が所定値内に収まるように、当該人物の動きを誘導することを特徴とする。
【0014】
また本発明においては、前記誘導手段は、登録時あるいは認証時に当該人物をリラックスさせるためのキャラクタを呈示し、当該人物の動きを誘導することを特徴とする。
【0015】
また本発明においては、撮像入力手段から得られた人物の顔領域を抽出し、抽出された上記顔領域から顔の特徴量を抽出し、抽出された特徴量と予め登録された当該人物の特徴量との類似度に応じて、当該人物を認証する人物認証方法において、当該人物の動きを誘導することにより、誘導された状況の下で、当該人物の顔の特徴量を抽出することを特徴とする。
【0016】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は第1の実施例の概略構成を示す図である。
【0017】
撮像入力手段1は、登録時、認証時に利用者(被認証者)の顔画像を入力するものであり、動画像、静止画像等を取得するためのCCDカメラや、利用者の撮影空間を明るくするための照明具などから構成される。CCDカメラあるいはCMOSカメラで撮像されたアナログの画像信号は、画像入力ボードなどのアナログ/デジタル変換手段によりデジタル信号化され、画像メモリに蓄えられる。画像メモリは画像入力ボード上にあってもよいし、情報管理手段9に相当するコンピュータの内部メモリ、外部記憶装置であってもよい。
【0018】
顔領域抽出手段2は、前記画像メモリに貯えられた被認証者の画像中から、顔画像の領域、あるいは頭部の画像領域を検出するものである。顔領域抽出方法には、いくつかの方法がある。たとえば、撮像した画像がカラー画像である場合には、色情報を用いるものがある。具体的には、撮像されたカラー画像について、Red(赤)、Green(緑)、Blue(青)の3つの要素からなるRGBカラー空間から、Hue(色合い、色相)、Saturation(彩度)、Value(明度)の3つの要素からなるHSVカラー空間に変換し、色相、彩度などの色情報を用いて、顔画像の領域や頭髪部を、領域分割によって分割する。分割された部分領域を領域併合法などを用いて、顔領域を検出するものである。
【0019】
顔領域を求める別の方法としては、あらかじめ用意した顔検出のためのテンプレートを、画像中で移動させ、それぞれの位置における相関値を求める。相関値がもっとも高い領域をテンプレートとの一致度が高い領域として判断して、画像中の顔領域として検出するものである。相関値の代わりに、Eigenface法や部分空間法を用いて、距離や類似度を求め、距離が最小あるいは類似度の最大の部分を抽出する方法もある。あるいは、CCDカメラとは別に、近赤外光を投射し、その反射光より、対象の顔にあたる領域を切り出す方法もある。本発明では、上記に説明した方法、あるいは他の方法のいずれを適用することも可能である。
【0020】
顔部品検出手段3は、顔領域の画像から目、鼻、口などの顔部品を検出する。たとえば、顔領域抽出手段2により抽出された顔領域の画像より、目の位置を検出する。検出方法は顔検出と同様にパターンマッチングによるものや、文献(福井和広、山口修「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」、電子情報通信学会論文誌、Vol.J80−D−II、 No.8、pp.2170−2177(1997))などの方法を用いることができる。本実施例では、上記に説明した方法、あるいは、他の方法のいずれを用いるかは問わない。
【0021】
特徴量抽出手段4は、人物認証のために必要な画像の特徴量を入力画像より抽出するものである。顔領域抽出手段2により抽出された顔領域と顔部品検出手段3により検出された顔部品に基づいて、検出された顔部品の位置と顔領域の位置をもとに、領域を一定の大きさと形状に切り出す。この切り出された画像の濃淡情報を特徴とする。顔部品検出手段3により検出された顔部品のうち少なくとも2つの部品を選択する。この2つの部品を結ぶ線分が、一定の割合で、予め抽出された顔領域の範囲内におさまっていれば、これをm(画素)xn(画素)の領域(m、nは1以上の整数)に変換し、正規化パターンとする。
【0022】
図2は、人物認証装置の顔領域の抽出方法において、顔部品として両目が選択された場合の抽出例を示している。図2(a)は撮像入力手段1により撮像された被認証者の顔画像の上に、顔領域抽出手段2により抽出された顔領域の位置を黒い矩形で重ねて表示し、顔部品検出手段3により検出された顔部品(目、鼻孔、口端)の位置を黒い十字線で重ねて示したものである。図2(b)は顔領域の画像を模式的に表わしたものである。このような顔領域の画像について、図2(c)のように、右目と左目を結び、右目から左目までの距離の大きさを有する右目から左目方向のベクトルをV1、そのベクトルの中点をC、Cから二つの鼻孔の中点に向かうベクトルをV2と定義する。ベクトルV1の中点Cからの各部品の距離が一定の割合(例えば、V1とV2の大きさの比が所定の範囲に含まれる等)であれば、その領域を両目、鼻孔を含む顔領域であると判定し、その顔画像から濃淡画素情報を生成し、図2(d)のような、m画素×n画素の濃淡画素行列情報を得る。以降、図2(d)のような濃淡画素行列情報パターンを正規化パターンと呼ぶ。
【0023】
この正規化パターンは、図3の左図に示すように、m画素×n画素の行列の各要素(画素)の濃淡値が並んでいる。これをベクトル表現に変換すると、図3の右図に示すような(m×n)次元のベクトルで表現される。この特徴ベクトルNk(kは同一人物に対して得られた何枚目の正規化パターンであるかを示す)を以後の処理に用いる。
【0024】
個人認識に使う特徴量は、この特徴ベクトルNkの相関行列を求め、KL展開をすることで得られる正規直交ベクトルのデータ次元数を下げた部分空間である。なお相関行列Cは次式であらわされる。
【0025】
【数1】
【0026】
ここで、rは同一人物に対して取得した正規化パターンの枚数である。このCを対角化することで、主成分(固有ベクトル)が得られる。固有ベクトルのうち、固有値の大きいものからM個を部分空間として用いる。この部分空間を個人認証用の辞書として用いる。
【0027】
辞書登録手段5は、特徴量抽出手段4が抽出した特徴量を、当該人物のID番号、部分空間(固有地、固有ベクトル、次元数、サンプルデータ数)などのインデクス情報とともに、登録するものである。
【0028】
認証手段6は、この辞書に登録されている特徴量と撮像した顔画像から抽出した特徴量とを比較し、これらの類似関係を照合するものである。図4にその処理の流れを示す。本発明の人物認証装置の前に被認証者が現われると認証手続きが開始され(ステップS1)、被認証者の画像が撮影され、画像が認証装置に入力される(ステップS2)。前述した方法により入力された画像から顔領域を抽出し(ステップS3)、その顔領域について人物認証のために必要な画像の特徴量を入力画像より抽出する(ステップS4)。こうして認証用に適した所定数(n枚)の正規化パターンが得られるまで、認証データ取得処理が繰り返される(ステップS5、S6)。被認証者の所定数(n枚)の正規化パターンが得られると、予め登録された当該被認証者の辞書顔画像と相互部分空間法によりパターンが照合され(ステップS7)、所定の類似度が得られた場合には「本人」であると識別され、所定の類似度が得られない場合には本人ではないと識別される。
【0029】
ここで類似度は、図5に示すように、特徴量から構成されるM次元の部分空間における、距離やベクトルのなす角度により定義される。例えば、図5において「パターン1」として表現される特徴量を有する個人Aと「パターン2」として表現される特徴量を有する個人Bの両者のデータがN×N次元空間に登録されていたとする。ここで認証すべき被験者のデータ(図5における黒い太線のベクトル)が入力されると、被験者のデータを表わすベクトルとパターン1、2でそれぞれ表わされるベクトルとの差の大きさ(距離)や、被験者のデータを表わすベクトルとパターン1、2のそれぞれのベクトルのなす角を求める。被験者のデータを表わすベクトルとパターン1で表わされるベクトルとの距離をlen1、パターン2で表わされるベクトルとの距離をlen2とし、被験者のデータを表わすベクトルとパターン1で表わされるベクトルとのなす角をθ1、被験者のデータを表わすベクトルとパターン2で表わされるベクトルとのなす角をθ2とする。図5においては、len1はlen2よりも小さく、θ1はθ2よりも小さいことから、被験者と個人Aと類似度は、被験者と個人Bとの類似度よりも大きいことが分かる。このように被験者の特徴量と個人A、Bの特徴量とを比較して、被験者の特徴ベクトルと既登録者(個人A、B)の特徴ベクトルとの距離やなす角度の小さいほうが、個人に対する類似度が高く、その個人と同一人物であるとして、照合結果が出力される。
【0030】
ところで、被認証者の顔画像を予め辞書登録するときには、その被認証者が自己のID番号を入力したりする場合が多く、被認証者は撮像入力手段1に比較的近い位置、場所で、顔を撮像し、撮影された画像を登録したりする。これに対し、個人の認証時には、ID番号の入力が不要であったりすると、被認証者は人物認証装置にそれほど近寄らない位置、場所でも認証処理が可能となる。このように、画像登録時と認証時とで被認証者の撮像条件が大きく異なると、同一人物であっても、認証手段6とで用いる顔の特徴量と、辞書登録手段5で用いる顔の特徴量が大きく異なってしまい、本人として認識されないという事態が発生する恐れがある。
【0031】
すなわち登録時と認証時とで被認証者の立ち位置が大きく変わると、撮像される人物の画像の大きさ、画像に含まれる人物の顔領域の大きさが異なる。具体的には、登録時に撮像手段の近くで撮像された画像は顔領域が大きく撮像されるのに対し、認証時に撮像手段から離れて撮像された画像では顔領域が比較的小さく撮像される。これを防ぐには、抽出した顔領域の大きさがある一定の範囲に収まるようにすればよい。
【0032】
また、窓から差し込む外光も、一日を通じて時間帯(例えば、朝、昼、夕など)が異なると、その照射状況は大きく異なる。季節によっても外光の差し込み方は大きく変化する。外光があまり差し込み過ぎると、そこで撮像された顔画像はハレーションを起こし、撮像された画像は白っぽくなってしまい、顔領域を切り出すことができない。これを防ぐには、抽出した顔画像の輝度の平均値がある一定の範囲に収まるようにすればよい。
【0033】
以上のような問題を防ぐためには、撮像条件抽出手段8と誘導手段7を設けることが有用である。撮像条件抽出手段8は、登録時と認証時で、立ち位置などの撮像条件を抽出するものであって、顔領域抽出手段2が抽出した顔領域の大きさや輝度の平均値が一定値に収まっているかどうかを判定する機能を有する。また誘導手段7はこの撮像条件抽出手段8の、抽出した撮像条件に応じて、辞書登録時と認証時に、同様の撮像条件になるように、被認証者を誘導をするものである。
【0034】
図6は、被認証者が正面に設置された人物認証装置に接近する態様で人物認証を行う場合の、被認証者の顔画像の辞書登録時のインタフェースの一例である。撮像条件抽出手段8は、図6(a)に示すように、被認証者が人物認証装置に接近すると、モニターに被認証者の画像が表示され、画像入力手段から入力された人物画像から抽出される顔領域の大きさや顔領域に含まれる各画素の輝度を計算する。抽出された顔領域の大きさが所定の大きさよりも大きくなった場合や、各画素の輝度値の値が所定のしきい値よりも大きくなった場合には、被認証者が撮像可能領域に入ったとして、図6(b)に示すように、顔領域の周辺に楕円記号を重ねて表示すると同時に、例えば「ピッ」というような発信音で登録が始まったことを被認証者に通知する。この際、この人物を登録するためのID番号などは、テンキーなどの番号入力手段等を用いて、登録に先立って入力される。ここで被認証者に対する「登録開始」などのメッセージは、被認証者が顔を上げて、前髪がおでこにかからないような姿勢で顔画像を撮影することができるように画面の上方部分に提示される(図6(b)(c)参照)。
【0035】
辞書登録に必要な所定枚の画像が取得されると、「ピピッ」という登録完了を知らせる発信音と共に、図6(c)に示すように、登録が終了を知らせるメッセージが表示される。この時点で、所定枚数の入力画像から正規化パターンが抽出され、N次元の特徴ベクトルが生成され、部分空間が算出されて、辞書登録手段5が辞書に登録する。
【0036】
また人物認証時には、図7に示すように、撮像条件抽出手段8が被認証者の顔画像取得状況を監視しながら、認証手続きを進める。図7(a)に示すように、被認証者が人物認証装置に接近すると、登録時と同様の動作で、被認証者の顔画像の取得状況を監視(顔領域の大きさ、各画素の輝度値をチェックする等)して、被認証者の位置、姿勢等の条件が撮像に適合したか否かを判定する。被認証者が顔画像撮像可能位置に近づくまで、人物認証手続は開始されない。被認証者が認証用画像の撮像可能位置まで近づくと、「ピッ」という発信音と「認証を開始しました」というメッセージ表示と共に、モニター画面の被認証者の顔画像にだ円記号を重ねて表示して、認証手続きを開始する。所定数の認証用画像を取得すると「ピピッ」という発信音で認証手続き完了を通知すると共に、モニター画面に認証結果のメッセージを表示する。
【0037】
以上の辞書登録、人物認証手続きのフローチャートを図13に示す。入力された被認証者の人物画像は(ステップS11)、色情報、テンプレート等を利用して顔領域を抽出する(ステップS12)。登録時には、所定の大きさ以上の画像サイズの顔領域の画像が抽出され(ステップS13)、その顔領域の画像の平均輝度値が所定の値以上である場合には(ステップS14)、所定数の正規化パターンを収集できるまで被認証者の正規化パターンを抽出する(ステップS15〜S18)。また認証時にも同様の手続により所定の正規化パターンを取得する。その後収集された正規化パターンと登録済みの正規化パターンとの類似度を判定することにより人物認証手続が完了する(ステップS20)。
【0038】
なお以上の登録、認証手続きにおいては、一旦、登録、認証手続きを開始した後に、被認証者が撮像装置から離れたり、被認証者の体勢が崩れたりして、被認証者の撮像可能領域から外れる場合には、画像取得を中止する。この場合には、登録、認証用の正規化パターンは計算されない。その後、再度被認証者の顔画像の取得条件が満たされて、顔領域の画像を取得可能となった場合には、所定数の正規化パターンを生成できるまで、登録、認証処理が繰り返される。
【0039】
また以上の実施形態においては、被認証者の顔が取得画像のほぼ中央に位置するように撮像手段を設置することにより、被認証者が人物認証装置の正面に位置し、これに接近する場合を想定している。しかし、人物認証装置の撮像手段が出入り口の横の壁に設置されるときなどは、被認証者が撮像手段を斜めの位置から覗き込み形で顔画像が取得されるので、被認証者の立ち位置が撮像装置の前後方向だけでなく、左右方向に大きくずれる可能性がある。このような環境で被認証者の撮像条件を一致させるために、取得画像の中央位置に顔画像が位置するときだけ正規化パターンを抽出できるようにしたのが、図8と図9はである。
【0040】
図8(a)ではモニター画面に被認証者の顔画像を捉えると、「ピッ」という発信音で登録手続き開始を通知し、登録開始を知らせるメッセージをモニターに表示するする共に、撮像手段により撮像された被認証者の顔画像をモニターに表示し、顔画像が画面中央にくるように、被認証者の位置、姿勢を誘導するメッセージ、格子記号を表示する。被認証者の顔画像が画面中央に捉えられると、顔画像の取得、特徴量の抽出、認証用画像の登録を開始する。所定数のデータを取得すると、発信音と共に登録完了を通知するメッセージを表示する(図8(b)参照)。
【0041】
人物認証時も登録時と同様に、被認証者が人物認証装置に接近すると、被認証者の顔画像が撮像された画像の中央に来るように被認証者の位置、姿勢を誘導する(図9(a)参照)。被認証者の顔画像を画像中央に捉えられると、認証用画像が取得され、認証手続きが開始される。登録データとの類似度が判定されると、音声による通知、認証結果の表示と共に認証手続きを終了する(図9(b)参照)。
【0042】
次に、本発明の第2実施形態について説明する。
【0043】
第1の実施形態では、辞書登録時または人物認証時に撮像される被認証者の顔画像をモニターに表示し、その表示内容を元に被認証者を誘導していた。しかし、実際には撮像された自分の顔がモニターに表示されると、緊張してしまうユーザが多い。特に辞書登録時には緊張することが多いため、人物認証時と顔の表情が辞書登録時の顔の表情が違ってしまうことにより、認証に失敗することがある。また顔の表情が大きく変わると、見かけ上の口や目の位置が変化するために特徴ベクトルが変化し、同様に認証に失敗するケースがある。一方、被認証者のヘアスタイルや照明の影響で顔に影ができる場合があり、照明や影の影響で得られる画像の画素値が大きく変わるため、認証精度が劣化する原因となっていた。
【0044】
このような問題に対応するため、登録時、認証時に被認証者の顔を動かしながら登録あるいは認証することで、認証精度を大きく向上させることができる。第2の実施形態はこのような問題に対処するための発明である。具体的には、誘導手段7は被認証者の顔画像をモニターに表示するではなく、キャラクタを表示し、被認証者を誘導する。
【0045】
図10は、辞書登録時の誘導手段7の誘導手順を説明するための図である。(a)では、「ピッ」という発信音と共に辞書登録手続が開始すると、登録を開始するメッセージ共に、被認証者の顔の動きを誘導するためのメッセージ、キャラクタをモニターに表示させる。具体的にはモニターの表示領域の周囲を時計回りに一周するようにキャラクタを移動させながら表示させる。被認証者はキャラクタの動きを追うように顔を移動させる((b)〜(d))。この間、人物認証装置は上下左右に顔向きの異なる被認証者の顔画像を撮像し、特徴量を抽出し、正規化パターンを生成する。辞書登録用の所定数の正規化パターンの生成が完了すると「登録完了」のメッセージ、キャラクタ表示と共に、登録手続を終了する。
【0046】
この実施形態においても、撮像条件抽出手段8が顔領域の大きさや輝度平均により撮像可能領域を算出することは第1の実施形態と同様である。すなわち撮像可能領域に被認証者が接近すると、撮像可能領域を算出し、顔画像の撮像が可能であると判断されると、人物の顔画像や楕円形状がモニターに表示される代わりに、CG:コンピュータグラフィクスなどで作られたキャラクタが表示される。ここでキャラクタは、画面周辺を一周するように表示させるだけではなく、r枚の正規化パターンが取得できるまで、画面の中を動きまわるように表示させてもよい。この場合に、キャラクタの動きを目だけでなく、顔全体で追うようにしてもらうことで、照明変動に対して、万遍ない向きでの顔画像を取得できる。さらに登録手続完了時にキャラクタがお辞儀をするように表示することにより、被認証者の緊張感を和らげ、比較的リラックスした状態で被認証者の顔画像データを取得できるようにする。
【0047】
図11は、人物認証時の誘導手段の誘導手順を説明するための図である。基本手順は辞書登録時の動作と同様であり、(a)人物認証手続が開始すると、キャラクタがモニターの周囲を一回りするように移動しながら、被認証者の顔の動きを誘導する((b)〜(d))。所定数の正規化パターンを取得し、認証が完了すると「認証完了」のメッセージ、キャラクタを表示する((e))。
【0048】
人物認証時には、認証が終了した時点で、被認証者がそのドアを一日何回通過したかの回数を提示することにより、被認証者の興味を持たせる情報を提示することができる。被認証者の関心を引く情報を提示することにより、被認証者の顔を認証装置に接近させ、更に認証精度を高めることができる。あるいは図12(a)〜(e)に示すように、モニターに表示させるキャラクタを複数用意しておき、日替わり、あるいはランダムに用いることで、被認証者の興味をひくことができる。また図12(e)に示したように、認証時の類似度を用いた占い(類似度が高いほど良い占い結果が得られる等)を表示するなどして、被認証者の関心を引きつけるように構成することも可能である。このように構成することで、被認証者は認証装置に接近した位置に立ち、モニター画面を覗き込むように顔を近づけるようになるので、登録時、認証時の撮像条件が安定し、所定枚の正規化パターンの取得が容易になり、認証精度を向上することができる。
【0049】
【発明の効果】
本発明によれば、ユーザに負担をかけることなく、登録時と認証時に撮像条件を安定化できるので、認識精度を簡単に向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態の概略構成図
【図2】同実施形態における顔領域抽出の説明図
【図3】同実施形態における正規化パターンと特徴ベクトルの説明図
【図4】同実施形態における認識の流れ図
【図5】同実施形態における類似度の説明図
【図6】同実施形態における登録時のインタフェース例
【図7】同実施形態における認証時のインタフェース例
【図8】同実施形態における別の登録時のインタフェース例
【図9】同実施形態における別の認証時のインタフェース例
【図10】第2の実施形態における登録時のインタフェース例
【図11】同実施形態における認証時のインタフェース例
【図12】同実施形態における別の認証時のインタフェース例
【図13】第1および第2の実施形態における撮像条件抽出手段と誘導手段の処理の流れ図
【符号の説明】
1…撮像入力手段
2…顔領域抽出手段
3…顔部品検出手段
4…特徴量抽出手段
5…辞書登録手段
6…認証手段
7…誘導手段
8…撮像条件抽出手段
9…情報管理手段
Claims (4)
- 撮像入力手段から得られた人物の顔領域の画像を抽出する顔領域抽出手段と、前記顔領域抽出手段によって抽出された上記顔領域の画像から顔の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した特徴量を当該人物の特徴量として登録するための辞書登録手段と、前記特徴量抽出手段が抽出した特徴量と前記辞書登録手段により登録された特徴量との類似度に応じて当該人物を認証する人物認証装置において、当該人物の動きを誘導する誘導手段を具備し、当該誘導手段により誘導された状況の下で当該人物の顔の特徴量を抽出することを特徴とする人物認証装置。
- 前記顔領域抽出手段により抽出される顔領域の大きさまたは輝度の撮像条件を抽出するための撮像条件抽出手段を具備し、前記誘導手段は、前記撮像条件抽出手段が抽出した撮像条件が所定値内に収まるように、当該人物の動きを誘導することを特徴とする請求項1記載の人物認証装置。
- 前記誘導手段は、登録時あるいは認証時に当該人物をリラックスさせるためのキャラクタを呈示し、当該人物の動きを誘導することを特徴とする請求項1記載の人物認証装置。
- 撮像入力手段から得られた人物の顔領域を抽出し、抽出された上記顔領域から顔の特徴量を抽出し、抽出された特徴量と予め登録された当該人物の特徴量との類似度をに応じて、当該人物を認証する人物認証方法において、当該人物の動きを誘導することにより、誘導された状況の下で当該人物の顔の特徴量を抽出することを特徴とする人物認証方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002282443A JP2004118627A (ja) | 2002-09-27 | 2002-09-27 | 人物認証装置および人物認証方法 |
US10/462,620 US7412081B2 (en) | 2002-09-27 | 2003-06-17 | Personal authentication apparatus and personal authentication method |
US12/172,003 US20080298645A1 (en) | 2002-09-27 | 2008-07-11 | Personal authentication apparatus and personal authentication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002282443A JP2004118627A (ja) | 2002-09-27 | 2002-09-27 | 人物認証装置および人物認証方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004118627A true JP2004118627A (ja) | 2004-04-15 |
Family
ID=32025240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002282443A Pending JP2004118627A (ja) | 2002-09-27 | 2002-09-27 | 人物認証装置および人物認証方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7412081B2 (ja) |
JP (1) | JP2004118627A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006042880A (ja) * | 2004-07-30 | 2006-02-16 | Fujitsu Ltd | 生体認証装置の誘導画面制御方法、生体認証装置及びそのプログラム |
JP2006155078A (ja) * | 2004-11-26 | 2006-06-15 | Glory Ltd | 顔認証装置、顔認証方法および顔認証プログラム。 |
JP2007122237A (ja) * | 2005-10-26 | 2007-05-17 | Mitsubishi Electric Corp | 偽造判定用撮像装置及び個人識別装置 |
WO2007108225A1 (ja) * | 2006-03-23 | 2007-09-27 | Oki Electric Industry Co., Ltd. | 顔認識システム |
JP2007249587A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 |
WO2008012905A1 (fr) * | 2006-07-27 | 2008-01-31 | Panasonic Corporation | Dispositif d'authentification et procédé d'affichage d'une image à authentifier |
JP2008217307A (ja) * | 2007-03-02 | 2008-09-18 | Kddi Corp | 掌紋認証装置、携帯電話端末、プログラム、および掌紋認証方法 |
JP2008287478A (ja) * | 2007-05-17 | 2008-11-27 | National Institute Of Advanced Industrial & Technology | 異常検出装置および異常検出方法 |
JP2012133477A (ja) * | 2010-12-20 | 2012-07-12 | Nec Corp | 認証カード、認証システム、ガイダンス方法及びプログラム |
KR101241625B1 (ko) * | 2012-02-28 | 2013-03-11 | 인텔 코오퍼레이션 | 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
KR101381455B1 (ko) * | 2012-03-19 | 2014-04-04 | 가부시끼가이샤 도시바 | 생체 정보 처리 장치 |
WO2014068968A1 (ja) * | 2012-11-01 | 2014-05-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
KR101443021B1 (ko) * | 2013-03-08 | 2014-09-22 | 주식회사 슈프리마 | 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치 |
US9036875B2 (en) | 2013-02-06 | 2015-05-19 | Kabushiki Kaisha Toshiba | Traffic control apparatus, method thereof, and program therefor |
CN104899489A (zh) * | 2014-03-06 | 2015-09-09 | 索尼公司 | 信息处理装置、信息处理方法、眼镜终端和认证*** |
JP2017098878A (ja) * | 2015-11-27 | 2017-06-01 | Kddi株式会社 | 情報端末装置及びプログラム |
JP2019525358A (ja) * | 2016-08-24 | 2019-09-05 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ユーザ本人確認の方法、装置及びシステム |
Families Citing this family (152)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7953671B2 (en) | 1999-08-31 | 2011-05-31 | American Express Travel Related Services Company, Inc. | Methods and apparatus for conducting electronic transactions |
US7343351B1 (en) | 1999-08-31 | 2008-03-11 | American Express Travel Related Services Company, Inc. | Methods and apparatus for conducting electronic transactions |
US7889052B2 (en) | 2001-07-10 | 2011-02-15 | Xatra Fund Mx, Llc | Authorizing payment subsequent to RF transactions |
US7725427B2 (en) | 2001-05-25 | 2010-05-25 | Fred Bishop | Recurrent billing maintenance with radio frequency payment devices |
US9024719B1 (en) | 2001-07-10 | 2015-05-05 | Xatra Fund Mx, Llc | RF transaction system and method for storing user personal data |
US7668750B2 (en) | 2001-07-10 | 2010-02-23 | David S Bonalle | Securing RF transactions using a transactions counter |
US7735725B1 (en) | 2001-07-10 | 2010-06-15 | Fred Bishop | Processing an RF transaction using a routing number |
US8001054B1 (en) | 2001-07-10 | 2011-08-16 | American Express Travel Related Services Company, Inc. | System and method for generating an unpredictable number using a seeded algorithm |
US9454752B2 (en) | 2001-07-10 | 2016-09-27 | Chartoleaux Kg Limited Liability Company | Reload protocol at a transaction processing entity |
US7360689B2 (en) | 2001-07-10 | 2008-04-22 | American Express Travel Related Services Company, Inc. | Method and system for proffering multiple biometrics for use with a FOB |
US7249112B2 (en) | 2002-07-09 | 2007-07-24 | American Express Travel Related Services Company, Inc. | System and method for assigning a funding source for a radio frequency identification device |
US7705732B2 (en) | 2001-07-10 | 2010-04-27 | Fred Bishop | Authenticating an RF transaction using a transaction counter |
US7303120B2 (en) | 2001-07-10 | 2007-12-04 | American Express Travel Related Services Company, Inc. | System for biometric security using a FOB |
US8284025B2 (en) | 2001-07-10 | 2012-10-09 | Xatra Fund Mx, Llc | Method and system for auditory recognition biometrics on a FOB |
US8294552B2 (en) | 2001-07-10 | 2012-10-23 | Xatra Fund Mx, Llc | Facial scan biometrics on a payment device |
US9031880B2 (en) | 2001-07-10 | 2015-05-12 | Iii Holdings 1, Llc | Systems and methods for non-traditional payment using biometric data |
US8548927B2 (en) | 2001-07-10 | 2013-10-01 | Xatra Fund Mx, Llc | Biometric registration for facilitating an RF transaction |
US20040236699A1 (en) | 2001-07-10 | 2004-11-25 | American Express Travel Related Services Company, Inc. | Method and system for hand geometry recognition biometrics on a fob |
US6805287B2 (en) | 2002-09-12 | 2004-10-19 | American Express Travel Related Services Company, Inc. | System and method for converting a stored value card to a credit card |
US7580551B1 (en) * | 2003-06-30 | 2009-08-25 | The Research Foundation Of State University Of Ny | Method and apparatus for analyzing and/or comparing handwritten and/or biometric samples |
US7756322B2 (en) * | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
JP4531501B2 (ja) * | 2003-09-29 | 2010-08-25 | 富士フイルム株式会社 | 照合システム及びそのプログラム |
JP4606779B2 (ja) * | 2004-06-07 | 2011-01-05 | グローリー株式会社 | 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム |
EP1612716B1 (en) * | 2004-06-28 | 2008-08-13 | Fujitsu Limited | User interface for image input in a biometric authentication device; corresponding biometric authentication device, method and program |
US7318550B2 (en) | 2004-07-01 | 2008-01-15 | American Express Travel Related Services Company, Inc. | Biometric safeguard method for use with a smartcard |
US20060016876A1 (en) * | 2004-07-01 | 2006-01-26 | American Express Travel Related Services Company, Inc. | Method for registering a biometric for use with a smartcard-reader system |
US7314165B2 (en) * | 2004-07-01 | 2008-01-01 | American Express Travel Related Services Company, Inc. | Method and system for smellprint recognition biometrics on a smartcard |
US7363504B2 (en) * | 2004-07-01 | 2008-04-22 | American Express Travel Related Services Company, Inc. | Method and system for keystroke scan recognition biometrics on a smartcard |
US20110102553A1 (en) * | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
US8370639B2 (en) * | 2005-06-16 | 2013-02-05 | Sensible Vision, Inc. | System and method for providing secure access to an electronic device using continuous facial biometrics |
JP4849460B2 (ja) * | 2005-10-14 | 2012-01-11 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 画像中の顔を認識する方法 |
JP4924603B2 (ja) * | 2006-03-01 | 2012-04-25 | 日本電気株式会社 | 顔認証装置、顔認証方法およびプログラム |
US20080040278A1 (en) * | 2006-08-11 | 2008-02-14 | Dewitt Timothy R | Image recognition authentication and advertising system |
US20080040277A1 (en) * | 2006-08-11 | 2008-02-14 | Dewitt Timothy R | Image Recognition Authentication and Advertising Method |
DE602008001607D1 (de) | 2007-02-28 | 2010-08-05 | Fotonation Vision Ltd | Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen |
JP4708491B2 (ja) * | 2007-03-29 | 2011-06-22 | 富士通株式会社 | 撮影制御装置、そのプログラム及び方法、撮影装置 |
JP4775306B2 (ja) * | 2007-04-23 | 2011-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム |
KR101477182B1 (ko) * | 2007-06-01 | 2014-12-29 | 삼성전자주식회사 | 단말 및 그의 이미지 촬영 방법 |
TW200910136A (en) * | 2007-08-24 | 2009-03-01 | Inventec Corp | Operation system logon method and electronic device using the same |
JP4813517B2 (ja) * | 2008-05-29 | 2011-11-09 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
JP5459312B2 (ja) * | 2009-03-27 | 2014-04-02 | 日本電気株式会社 | パターン照合装置、パターン照合方法及びパターン照合プログラム |
JP2010286937A (ja) * | 2009-06-10 | 2010-12-24 | Hitachi Ltd | 生体認証方法、及び、生体認証に用いるクライアント端末、認証サーバ |
US8384514B2 (en) | 2009-08-07 | 2013-02-26 | At&T Intellectual Property I, L.P. | Enhanced biometric authentication |
JP5476955B2 (ja) * | 2009-12-04 | 2014-04-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2011128990A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 画像処理装置とその方法 |
US20110206244A1 (en) * | 2010-02-25 | 2011-08-25 | Carlos Munoz-Bustamante | Systems and methods for enhanced biometric security |
JP5747916B2 (ja) * | 2010-07-29 | 2015-07-15 | 富士通株式会社 | 生体認証装置および生体認証プログラム |
US10474815B2 (en) | 2010-11-29 | 2019-11-12 | Biocatch Ltd. | System, device, and method of detecting malicious automatic script and code injection |
US10069852B2 (en) | 2010-11-29 | 2018-09-04 | Biocatch Ltd. | Detection of computerized bots and automated cyber-attack modules |
US10476873B2 (en) | 2010-11-29 | 2019-11-12 | Biocatch Ltd. | Device, system, and method of password-less user authentication and password-less detection of user identity |
US10685355B2 (en) | 2016-12-04 | 2020-06-16 | Biocatch Ltd. | Method, device, and system of detecting mule accounts and accounts used for money laundering |
US10728761B2 (en) | 2010-11-29 | 2020-07-28 | Biocatch Ltd. | Method, device, and system of detecting a lie of a user who inputs data |
US10970394B2 (en) | 2017-11-21 | 2021-04-06 | Biocatch Ltd. | System, device, and method of detecting vishing attacks |
US10834590B2 (en) | 2010-11-29 | 2020-11-10 | Biocatch Ltd. | Method, device, and system of differentiating between a cyber-attacker and a legitimate user |
US10395018B2 (en) | 2010-11-29 | 2019-08-27 | Biocatch Ltd. | System, method, and device of detecting identity of a user and authenticating a user |
US10897482B2 (en) | 2010-11-29 | 2021-01-19 | Biocatch Ltd. | Method, device, and system of back-coloring, forward-coloring, and fraud detection |
US10404729B2 (en) | 2010-11-29 | 2019-09-03 | Biocatch Ltd. | Device, method, and system of generating fraud-alerts for cyber-attacks |
US10747305B2 (en) | 2010-11-29 | 2020-08-18 | Biocatch Ltd. | Method, system, and device of authenticating identity of a user of an electronic device |
US11269977B2 (en) | 2010-11-29 | 2022-03-08 | Biocatch Ltd. | System, apparatus, and method of collecting and processing data in electronic devices |
US11210674B2 (en) | 2010-11-29 | 2021-12-28 | Biocatch Ltd. | Method, device, and system of detecting mule accounts and accounts used for money laundering |
US10949757B2 (en) | 2010-11-29 | 2021-03-16 | Biocatch Ltd. | System, device, and method of detecting user identity based on motor-control loop model |
US10298614B2 (en) * | 2010-11-29 | 2019-05-21 | Biocatch Ltd. | System, device, and method of generating and managing behavioral biometric cookies |
US9747436B2 (en) * | 2010-11-29 | 2017-08-29 | Biocatch Ltd. | Method, system, and device of differentiating among users based on responses to interferences |
US10621585B2 (en) | 2010-11-29 | 2020-04-14 | Biocatch Ltd. | Contextual mapping of web-pages, and generation of fraud-relatedness score-values |
US10949514B2 (en) | 2010-11-29 | 2021-03-16 | Biocatch Ltd. | Device, system, and method of differentiating among users based on detection of hardware components |
US10069837B2 (en) | 2015-07-09 | 2018-09-04 | Biocatch Ltd. | Detection of proxy server |
US10083439B2 (en) | 2010-11-29 | 2018-09-25 | Biocatch Ltd. | Device, system, and method of differentiating over multiple accounts between legitimate user and cyber-attacker |
US11223619B2 (en) | 2010-11-29 | 2022-01-11 | Biocatch Ltd. | Device, system, and method of user authentication based on user-specific characteristics of task performance |
US10055560B2 (en) | 2010-11-29 | 2018-08-21 | Biocatch Ltd. | Device, method, and system of detecting multiple users accessing the same account |
US9483292B2 (en) | 2010-11-29 | 2016-11-01 | Biocatch Ltd. | Method, device, and system of differentiating between virtual machine and non-virtualized device |
US10262324B2 (en) | 2010-11-29 | 2019-04-16 | Biocatch Ltd. | System, device, and method of differentiating among users based on user-specific page navigation sequence |
US10037421B2 (en) | 2010-11-29 | 2018-07-31 | Biocatch Ltd. | Device, system, and method of three-dimensional spatial user authentication |
US10917431B2 (en) | 2010-11-29 | 2021-02-09 | Biocatch Ltd. | System, method, and device of authenticating a user based on selfie image or selfie video |
US10776476B2 (en) | 2010-11-29 | 2020-09-15 | Biocatch Ltd. | System, device, and method of visual login |
US20190158535A1 (en) * | 2017-11-21 | 2019-05-23 | Biocatch Ltd. | Device, System, and Method of Detecting Vishing Attacks |
US20240080339A1 (en) * | 2010-11-29 | 2024-03-07 | Biocatch Ltd. | Device, System, and Method of Detecting Vishing Attacks |
US10032010B2 (en) | 2010-11-29 | 2018-07-24 | Biocatch Ltd. | System, device, and method of visual login and stochastic cryptography |
US10586036B2 (en) | 2010-11-29 | 2020-03-10 | Biocatch Ltd. | System, device, and method of recovery and resetting of user authentication factor |
US9531701B2 (en) * | 2010-11-29 | 2016-12-27 | Biocatch Ltd. | Method, device, and system of differentiating among users based on responses to interferences |
US10164985B2 (en) | 2010-11-29 | 2018-12-25 | Biocatch Ltd. | Device, system, and method of recovery and resetting of user authentication factor |
US8660951B2 (en) | 2011-03-08 | 2014-02-25 | Bank Of America Corporation | Presenting offers on a mobile communication device |
US8582850B2 (en) | 2011-03-08 | 2013-11-12 | Bank Of America Corporation | Providing information regarding medical conditions |
US8929591B2 (en) | 2011-03-08 | 2015-01-06 | Bank Of America Corporation | Providing information associated with an identified representation of an object |
US20120231840A1 (en) * | 2011-03-08 | 2012-09-13 | Bank Of America Corporation | Providing information regarding sports movements |
US8922657B2 (en) | 2011-03-08 | 2014-12-30 | Bank Of America Corporation | Real-time video image analysis for providing security |
US8438110B2 (en) | 2011-03-08 | 2013-05-07 | Bank Of America Corporation | Conducting financial transactions based on identification of individuals in an augmented reality environment |
US8688559B2 (en) | 2011-03-08 | 2014-04-01 | Bank Of America Corporation | Presenting investment-related information on a mobile communication device |
US8611601B2 (en) | 2011-03-08 | 2013-12-17 | Bank Of America Corporation | Dynamically indentifying individuals from a captured image |
US8718612B2 (en) | 2011-03-08 | 2014-05-06 | Bank Of American Corporation | Real-time analysis involving real estate listings |
US8873807B2 (en) | 2011-03-08 | 2014-10-28 | Bank Of America Corporation | Vehicle recognition |
US9317860B2 (en) | 2011-03-08 | 2016-04-19 | Bank Of America Corporation | Collective network of augmented reality users |
US8721337B2 (en) | 2011-03-08 | 2014-05-13 | Bank Of America Corporation | Real-time video image analysis for providing virtual landscaping |
US9317835B2 (en) | 2011-03-08 | 2016-04-19 | Bank Of America Corporation | Populating budgets and/or wish lists using real-time video image analysis |
US9773285B2 (en) | 2011-03-08 | 2017-09-26 | Bank Of America Corporation | Providing data associated with relationships between individuals and images |
US9224166B2 (en) | 2011-03-08 | 2015-12-29 | Bank Of America Corporation | Retrieving product information from embedded sensors via mobile device video analysis |
US8811711B2 (en) | 2011-03-08 | 2014-08-19 | Bank Of America Corporation | Recognizing financial document images |
US8668498B2 (en) | 2011-03-08 | 2014-03-11 | Bank Of America Corporation | Real-time video image analysis for providing virtual interior design |
US9406031B2 (en) | 2011-03-08 | 2016-08-02 | Bank Of America Corporation | Providing social impact information associated with identified products or businesses |
US8571888B2 (en) | 2011-03-08 | 2013-10-29 | Bank Of America Corporation | Real-time image analysis for medical savings plans |
KR101242432B1 (ko) * | 2011-04-28 | 2013-03-11 | 경상대학교산학협력단 | 항공기 계기표시 시스템 및 그 방법 |
JP5822545B2 (ja) * | 2011-06-09 | 2015-11-24 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
KR20120139100A (ko) * | 2011-06-16 | 2012-12-27 | 삼성전자주식회사 | 얼굴 인증을 이용한 보안 장치 및 방법 |
TWI447608B (zh) * | 2011-09-13 | 2014-08-01 | Hon Hai Prec Ind Co Ltd | 電子裝置及其開機解鎖的識別方法 |
KR101899978B1 (ko) * | 2012-07-11 | 2018-09-19 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
US9807299B2 (en) * | 2012-08-30 | 2017-10-31 | Htc Corporation | Image capture methods and systems with positioning and angling assistance |
US8902043B1 (en) * | 2012-09-28 | 2014-12-02 | Emc Corporation | Mitigating conformational bias in authentication systems |
US10091556B1 (en) * | 2012-12-12 | 2018-10-02 | Imdb.Com, Inc. | Relating items to objects detected in media |
CN103019387B (zh) * | 2012-12-25 | 2016-06-29 | 齐贸屋贸易(深圳)有限公司 | 移动终端及其解锁方法 |
KR102214503B1 (ko) * | 2013-03-26 | 2021-02-09 | 삼성전자주식회사 | 지문 인식 방법 및 그 전자 장치 |
KR101440274B1 (ko) * | 2013-04-25 | 2014-09-17 | 주식회사 슈프리마 | 얼굴 인식 서비스 제공 장치 및 방법 |
US20140341444A1 (en) * | 2013-05-14 | 2014-11-20 | Tencent Technology (Shenzhen) Company Limited | Systems and Methods for User Login |
JP6123893B2 (ja) * | 2013-06-25 | 2017-05-10 | 富士通株式会社 | 情報処理装置、端末装置、情報処理プログラム及び情報処理方法 |
JP6132719B2 (ja) * | 2013-09-18 | 2017-05-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
JP6000929B2 (ja) * | 2013-11-07 | 2016-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
CN103699893A (zh) * | 2013-12-10 | 2014-04-02 | 柳州译海网络科技有限公司 | 一种人脸特征信息采集装置 |
WO2015194135A1 (ja) * | 2014-06-19 | 2015-12-23 | 日本電気株式会社 | 認証装置、認証システム、認証方法およびプログラム記憶媒体 |
US9684776B2 (en) | 2014-07-29 | 2017-06-20 | Google Inc. | Allowing access to applications based on user authentication |
US9639680B2 (en) | 2014-07-29 | 2017-05-02 | Google Inc. | Allowing access to applications based on user handling measurements |
RU2613852C2 (ru) * | 2014-10-03 | 2017-03-21 | Юрий Николаевич Хомяков | Способ идентификации личности человека по цифровому изображению лица |
US10824315B2 (en) * | 2015-05-29 | 2020-11-03 | Canon Medical Systems Corporation | Medical image processing apparatus, magnetic resonance imaging apparatus and medical image processing method |
GB2539705B (en) | 2015-06-25 | 2017-10-25 | Aimbrain Solutions Ltd | Conditional behavioural biometrics |
US20180300467A1 (en) * | 2015-06-29 | 2018-10-18 | Intel Corporation | Pairing a user with a wearable computing device |
US11329980B2 (en) | 2015-08-21 | 2022-05-10 | Veridium Ip Limited | System and method for biometric protocol standards |
US10311219B2 (en) * | 2016-06-07 | 2019-06-04 | Vocalzoom Systems Ltd. | Device, system, and method of user authentication utilizing an optical microphone |
US10581988B2 (en) | 2016-06-08 | 2020-03-03 | Bank Of America Corporation | System for predictive use of resources |
US10129126B2 (en) | 2016-06-08 | 2018-11-13 | Bank Of America Corporation | System for predictive usage of resources |
US10433196B2 (en) | 2016-06-08 | 2019-10-01 | Bank Of America Corporation | System for tracking resource allocation/usage |
US10178101B2 (en) | 2016-06-08 | 2019-01-08 | Bank Of America Corporation | System for creation of alternative path to resource acquisition |
US10291487B2 (en) | 2016-06-08 | 2019-05-14 | Bank Of America Corporation | System for predictive acquisition and use of resources |
GB2552032B (en) | 2016-07-08 | 2019-05-22 | Aimbrain Solutions Ltd | Step-up authentication |
US10198122B2 (en) | 2016-09-30 | 2019-02-05 | Biocatch Ltd. | System, device, and method of estimating force applied to a touch surface |
US10635894B1 (en) * | 2016-10-13 | 2020-04-28 | T Stamp Inc. | Systems and methods for passive-subject liveness verification in digital media |
US10579784B2 (en) | 2016-11-02 | 2020-03-03 | Biocatch Ltd. | System, device, and method of secure utilization of fingerprints for user authentication |
US10977624B2 (en) | 2017-04-12 | 2021-04-13 | Bank Of America Corporation | System for generating paper and digital resource distribution documents with multi-level secure authorization requirements |
US10122889B1 (en) | 2017-05-08 | 2018-11-06 | Bank Of America Corporation | Device for generating a resource distribution document with physical authentication markers |
US10621363B2 (en) | 2017-06-13 | 2020-04-14 | Bank Of America Corporation | Layering system for resource distribution document authentication |
US10511692B2 (en) | 2017-06-22 | 2019-12-17 | Bank Of America Corporation | Data transmission to a networked resource based on contextual information |
US10313480B2 (en) | 2017-06-22 | 2019-06-04 | Bank Of America Corporation | Data transmission between networked resources |
US10524165B2 (en) | 2017-06-22 | 2019-12-31 | Bank Of America Corporation | Dynamic utilization of alternative resources based on token association |
US10397262B2 (en) | 2017-07-20 | 2019-08-27 | Biocatch Ltd. | Device, system, and method of detecting overlay malware |
CN111742191B (zh) * | 2018-02-26 | 2022-01-14 | 三菱电机株式会社 | 三维位置推定装置及三维位置推定方法 |
US11087121B2 (en) | 2018-04-05 | 2021-08-10 | West Virginia University | High accuracy and volume facial recognition on mobile platforms |
US11093771B1 (en) | 2018-05-04 | 2021-08-17 | T Stamp Inc. | Systems and methods for liveness-verified, biometric-based encryption |
US11496315B1 (en) | 2018-05-08 | 2022-11-08 | T Stamp Inc. | Systems and methods for enhanced hash transforms |
CN108875646B (zh) * | 2018-06-22 | 2022-09-27 | 青岛民航凯亚***集成有限公司 | 一种真实面部图像与身份证登记双重比对认证方法和*** |
US11301586B1 (en) | 2019-04-05 | 2022-04-12 | T Stamp Inc. | Systems and processes for lossy biometric representations |
US10721443B1 (en) * | 2019-05-30 | 2020-07-21 | Joie Aganze Assani | Interactive door assembly system and method |
US11967173B1 (en) | 2020-05-19 | 2024-04-23 | T Stamp Inc. | Face cover-compatible biometrics and processes for generating and using same |
US20220070236A1 (en) * | 2020-08-28 | 2022-03-03 | Tmrw Foundation Ip S. À R.L. | Graphical representation-based user authentication system and method |
US11653052B2 (en) * | 2020-10-26 | 2023-05-16 | Genetec Inc. | Systems and methods for producing a privacy-protected video clip |
US11606353B2 (en) | 2021-07-22 | 2023-03-14 | Biocatch Ltd. | System, device, and method of generating and utilizing one-time passwords |
US11729445B2 (en) * | 2021-12-28 | 2023-08-15 | The Adt Security Corporation | Video rights management for an in-cabin monitoring system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04264985A (ja) * | 1991-02-20 | 1992-09-21 | Hamamatsu Photonics Kk | 画像認識システム |
JPH07312711A (ja) * | 1994-05-16 | 1995-11-28 | Hooutec Kk | 顔画像データ取り込み方法および装置並びにシステム |
JPH11316836A (ja) * | 1998-05-06 | 1999-11-16 | Omron Corp | 本人特定装置 |
JP2000148985A (ja) * | 1998-11-17 | 2000-05-30 | Hitachi Ltd | 個人認証システム |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP2001338296A (ja) * | 2000-03-22 | 2001-12-07 | Toshiba Corp | 顔画像認識装置および通行制御装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9001993D0 (en) * | 1990-01-29 | 1990-03-28 | Toy Of The Year Toy Dreams Lim | Photobooth |
JP3279913B2 (ja) | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
US6188777B1 (en) * | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
JP3621245B2 (ja) | 1997-12-12 | 2005-02-16 | 株式会社東芝 | 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体 |
AU2342000A (en) * | 1998-09-11 | 2000-04-17 | Loquitor Technologies Llc | Generation and detection of induced current using acoustic energy |
TWI299471B (en) * | 2001-08-24 | 2008-08-01 | Toshiba Kk | Person recognition apparatus |
-
2002
- 2002-09-27 JP JP2002282443A patent/JP2004118627A/ja active Pending
-
2003
- 2003-06-17 US US10/462,620 patent/US7412081B2/en not_active Expired - Fee Related
-
2008
- 2008-07-11 US US12/172,003 patent/US20080298645A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04264985A (ja) * | 1991-02-20 | 1992-09-21 | Hamamatsu Photonics Kk | 画像認識システム |
JPH07312711A (ja) * | 1994-05-16 | 1995-11-28 | Hooutec Kk | 顔画像データ取り込み方法および装置並びにシステム |
JPH11316836A (ja) * | 1998-05-06 | 1999-11-16 | Omron Corp | 本人特定装置 |
JP2000148985A (ja) * | 1998-11-17 | 2000-05-30 | Hitachi Ltd | 個人認証システム |
JP2000306095A (ja) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP2001338296A (ja) * | 2000-03-22 | 2001-12-07 | Toshiba Corp | 顔画像認識装置および通行制御装置 |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4515850B2 (ja) * | 2004-07-30 | 2010-08-04 | 富士通株式会社 | 生体認証装置の誘導画面制御方法、生体認証装置及びそのプログラム |
JP2006042880A (ja) * | 2004-07-30 | 2006-02-16 | Fujitsu Ltd | 生体認証装置の誘導画面制御方法、生体認証装置及びそのプログラム |
JP2006155078A (ja) * | 2004-11-26 | 2006-06-15 | Glory Ltd | 顔認証装置、顔認証方法および顔認証プログラム。 |
JP2007122237A (ja) * | 2005-10-26 | 2007-05-17 | Mitsubishi Electric Corp | 偽造判定用撮像装置及び個人識別装置 |
JP2007249587A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体 |
WO2007108225A1 (ja) * | 2006-03-23 | 2007-09-27 | Oki Electric Industry Co., Ltd. | 顔認識システム |
US8340366B2 (en) | 2006-03-23 | 2012-12-25 | Oki Electric Industry Co., Ltd. | Face recognition system |
JPWO2008012905A1 (ja) * | 2006-07-27 | 2009-12-17 | パナソニック株式会社 | 認証装置および認証用画像表示方法 |
WO2008012905A1 (fr) * | 2006-07-27 | 2008-01-31 | Panasonic Corporation | Dispositif d'authentification et procédé d'affichage d'une image à authentifier |
JP2008217307A (ja) * | 2007-03-02 | 2008-09-18 | Kddi Corp | 掌紋認証装置、携帯電話端末、プログラム、および掌紋認証方法 |
JP2008287478A (ja) * | 2007-05-17 | 2008-11-27 | National Institute Of Advanced Industrial & Technology | 異常検出装置および異常検出方法 |
JP2012133477A (ja) * | 2010-12-20 | 2012-07-12 | Nec Corp | 認証カード、認証システム、ガイダンス方法及びプログラム |
US9213886B2 (en) | 2012-02-28 | 2015-12-15 | Intel Corporation | Method and device for notification of facial recognition environment, and computer-readable recording medium for executing method |
KR101241625B1 (ko) * | 2012-02-28 | 2013-03-11 | 인텔 코오퍼레이션 | 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
WO2013129825A1 (ko) * | 2012-02-28 | 2013-09-06 | 인텔 코오퍼레이션 | 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 |
US9864756B2 (en) | 2012-02-28 | 2018-01-09 | Intel Corporation | Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method |
KR101381455B1 (ko) * | 2012-03-19 | 2014-04-04 | 가부시끼가이샤 도시바 | 생체 정보 처리 장치 |
US9684850B2 (en) | 2012-03-19 | 2017-06-20 | Kabushiki Kaisha Toshiba | Biological information processor |
JP2014092847A (ja) * | 2012-11-01 | 2014-05-19 | Sony Computer Entertainment Inc | 情報処理装置 |
WO2014068968A1 (ja) * | 2012-11-01 | 2014-05-08 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
CN104756124A (zh) * | 2012-11-01 | 2015-07-01 | 索尼电脑娱乐公司 | 信息处理装置 |
US10031999B2 (en) | 2012-11-01 | 2018-07-24 | Sony Interactive Entertainment Inc. | Information processing apparatus for determining registered users in a system |
KR20150063480A (ko) * | 2012-11-01 | 2015-06-09 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 정보처리장치 |
KR101645578B1 (ko) * | 2012-11-01 | 2016-08-04 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 정보처리장치 |
US9405966B2 (en) | 2013-02-06 | 2016-08-02 | Kabushiki Kaisha Toshiba | Traffic control apparatus, method thereof, and program therefor |
US9036875B2 (en) | 2013-02-06 | 2015-05-19 | Kabushiki Kaisha Toshiba | Traffic control apparatus, method thereof, and program therefor |
KR101443021B1 (ko) * | 2013-03-08 | 2014-09-22 | 주식회사 슈프리마 | 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치 |
JP2015170099A (ja) * | 2014-03-06 | 2015-09-28 | ソニー株式会社 | 情報処理装置、情報処理方法、アイウェア端末および認証システム |
CN104899489A (zh) * | 2014-03-06 | 2015-09-09 | 索尼公司 | 信息处理装置、信息处理方法、眼镜终端和认证*** |
US10460164B2 (en) | 2014-03-06 | 2019-10-29 | Sony Corporation | Information processing apparatus, information processing method, eyewear terminal, and authentication system |
JP2017098878A (ja) * | 2015-11-27 | 2017-06-01 | Kddi株式会社 | 情報端末装置及びプログラム |
JP2019525358A (ja) * | 2016-08-24 | 2019-09-05 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | ユーザ本人確認の方法、装置及びシステム |
US10997443B2 (en) | 2016-08-24 | 2021-05-04 | Advanced New Technologies Co., Ltd. | User identity verification method, apparatus and system |
Also Published As
Publication number | Publication date |
---|---|
US20080298645A1 (en) | 2008-12-04 |
US7412081B2 (en) | 2008-08-12 |
US20040062423A1 (en) | 2004-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004118627A (ja) | 人物認証装置および人物認証方法 | |
Labati et al. | Biometric recognition in automated border control: a survey | |
US9785823B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
JP4610614B2 (ja) | 単一画像に基づくマルチ生体認証システムおよび方法 | |
Chadha et al. | Face recognition using discrete cosine transform for global and local features | |
JP5955133B2 (ja) | 顔画像認証装置 | |
JP4351982B2 (ja) | 個人認証方法、装置及びプログラム | |
JP7269711B2 (ja) | 生体認証システム、生体認証方法およびプログラム | |
JP2000259814A (ja) | 画像処理装置及びその方法 | |
Lee | Palm vein recognition based on a modified | |
KR101640014B1 (ko) | 허위 안면 이미지 분류가 가능한 홍채 인식 장치 | |
US11756338B2 (en) | Authentication device, authentication method, and recording medium | |
KR20160148863A (ko) | 사용자 인증 장치 | |
Korkmaz et al. | Face recognition by using back propagation artificial neural network and windowing method | |
EP4343689A1 (en) | Body part authentication system and authentication method | |
Boodoo et al. | Robust multi biometric recognition using face and ear images | |
Singh et al. | A review on biometrics and ear recognition techniques | |
JP5796523B2 (ja) | 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム | |
JP7002348B2 (ja) | 生体認証装置 | |
JP6798285B2 (ja) | 生体認証装置、生体認証方法及びプログラム | |
Ravinaik et al. | Face Recognition using Modified Power Law Transform and Double Density Dual Tree DWT | |
Jain et al. | Face recognition | |
JP2005141678A (ja) | 顔画像照合システム及びicカード | |
Al-Rashid | Biometrics Authentication: Issues and Solutions | |
Kharakwal et al. | A Review on Skin Pigment and Vein Pattern Detection Techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080422 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080509 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080530 |