JP2018055231A - Biometric authentication device - Google Patents
Biometric authentication device Download PDFInfo
- Publication number
- JP2018055231A JP2018055231A JP2016187990A JP2016187990A JP2018055231A JP 2018055231 A JP2018055231 A JP 2018055231A JP 2016187990 A JP2016187990 A JP 2016187990A JP 2016187990 A JP2016187990 A JP 2016187990A JP 2018055231 A JP2018055231 A JP 2018055231A
- Authority
- JP
- Japan
- Prior art keywords
- living body
- biometric
- finger
- feature
- authentication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、生体情報を用いて個人を認証する認証システムに関し、特に生体情報の偽造耐性と秘匿性とに優れ、高速で高精度な認証技術に関する。 The present invention relates to an authentication system that authenticates an individual using biometric information, and more particularly to a high-speed and high-precision authentication technique that is excellent in forgery resistance and confidentiality of biometric information.
様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。 Among various biometric authentication techniques, finger vein authentication is known as a technique that can realize highly accurate authentication. Since finger vein authentication uses a blood vessel pattern inside the finger, it achieves excellent authentication accuracy, and it is difficult to forge and falsify compared to fingerprint authentication, so that high security can be realized.
近年では、携帯電話機、ノート型PC(Personal Computer)、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどがあるが、近年では決済やイベント会場での本人確認などにも生体認証システムが導入されてきている。将来的には、たとえば自宅でイベントのチケット購入を行う際に生体認証を実施し、インターネットを介して登録データをサーバに転送し、会場で手ぶらのまま本人確認を行う場面も想定される。 In recent years, there have been an increasing number of cases in which biometric authentication devices are installed in devices such as mobile phones, notebook PCs (Personal Computers), mobile terminals such as smartphones and tablet terminals, lockers, safes, and printers to ensure the security of each device. ing. The fields to which biometric authentication is applied include entrance / exit management, attendance management, login to a computer, etc. In recent years, biometric authentication systems have also been introduced for payments and identity verification at event venues. In the future, for example, there may be a case where biometric authentication is performed when an event ticket is purchased at home, registration data is transferred to a server via the Internet, and identity verification is performed at the venue.
このように、生体認証装置の利用シーンが多様化すると、認証システムの信頼性を高く維持すること、特に登録データの安全な管理や正しいデータの登録を保証することが従来以上に重要になると考えられる。たとえば個人のスマートデバイスを利用して本人確認を行う場面においては、一般的なオフィス向けの入退室管理システムとは異なり、生体の登録作業を認証システムの管理者が実施することはできず、代わりに利用者自身で登録作業を行う必要がある。このとき、利用者が異物あるいは偽造された生体を不正に登録したり、部外者が不正に登録データを傍受・改ざんしたりすることを防止する必要がある。そのため、提示された生体が真の生体であることを判定する技術、そして秘匿性・耐改ざん性の高い生体情報の登録管理を実現する技術が望まれている。また、登録端末と認証端末とがネットを介して連携したり、異なる認証システム同士が連携したりする場合は、多数の認証端末が認証サーバ内の登録データにアクセスすることになる。そのため、登録データを安全に公開可能な情報に変換するデータ保護技術の適用が必須となる。 In this way, as the usage scenes of biometric authentication devices diversify, it is considered more important than ever to maintain the reliability of the authentication system, and in particular to ensure the safe management of registered data and the registration of correct data. It is done. For example, in a situation where personal identification is performed using a personal smart device, unlike an ordinary office entry / exit management system, the biometric registration work cannot be performed by the administrator of the authentication system. It is necessary to perform registration work by the user himself. At this time, it is necessary to prevent a user from illegally registering a foreign object or a forged biological body, or an outsider from illegally intercepting or falsifying registered data. Therefore, a technique for determining that the presented living body is a true living body and a technique for realizing registration management of biological information with high confidentiality and tamper resistance are desired. In addition, when the registration terminal and the authentication terminal cooperate with each other via the network, or when different authentication systems cooperate with each other, many authentication terminals access the registration data in the authentication server. Therefore, it is essential to apply a data protection technique that converts registered data into information that can be safely disclosed.
生体認証システムに対する攻撃回避およびデータ保護の先行技術には、提示された顔画像が偽造であるか否かを判定する技術として非特許文献1が、また登録した生体情報を安全に公開する技術として特許文献2がある。
入力される生体情報の信頼性を高め、かつ生体情報の秘匿性を維持しながら実用性の高い認証処理を実施するためには、提示された被写体が真の生体であることを判定する技術と、暗号化された生体情報を高速かつ高精度に照合する技術とが必要となる。 In order to enhance the reliability of the input biometric information and to carry out highly practical authentication processing while maintaining the secrecy of the biometric information, a technique for determining that the presented subject is a true living body, and Therefore, a technique for collating encrypted biometric information with high speed and high accuracy is required.
非特許文献1に記載の生体認証技術では、カメラで撮影された顔が実物の顔であるか印刷された顔であるかを判別するために、顔画像の局所テクスチャ特徴であるLBP (Local Binary Pattern) 特徴量を抽出し、このヒストグラムをSVM (Support Vector Machine) で学習することで、実物の顔か印刷された顔画像かを判別している。しかしながら、攻撃対象を紙への印刷に限定しており、それ以外の脅威への対応が可能かどうかの示唆はなされていない。また、指先を用いた生体認証の偽造検知に特化した技術開示はなされていない。
In the biometric authentication technique described in
特許文献2に記載の生体認証技術では、誤り訂正符号に基づいたプライバシーを保護する生体認証に関する技術の記載があるが、秘匿された生体の特徴量を高速かつ高精度に照合するための技術開示はない。
In the biometric authentication technique described in
そこで本発明では、様々な場面で利用できる信頼性の高い認証システムと、高速かつ高精度な生体認証を実現するべく、提示された被写体が真の生体であることを高精度に判別すると共に、生体情報を秘匿しながらも高速かつ高精度に照合することが可能な生体認証装置を実現することを目的とする。 Therefore, in the present invention, in order to realize a highly reliable authentication system that can be used in various situations and high-speed and high-precision biometric authentication, it is determined with high accuracy that the presented subject is a true living body, An object of the present invention is to realize a biometric authentication device that can collate biometric information with high speed and high accuracy.
上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証装置を提供する。 In order to achieve the above object, in the present invention, an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and authenticates the living body are provided. A living body that acquires a temporal change in the brightness value of a living body that is reflected, extracts a texture feature of the living body captured in the image, and determines that the living body is a true living body based on the temporal change in the brightness value and the texture feature A biometric authentication apparatus having a determination unit is provided.
また、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較する構成の生体認証装置を提供する。 In order to achieve the above object, in the present invention, an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication, the authentication processing unit includes: A plurality of biological determination units with different determination criteria, a feature extraction unit that extracts biological features of a biological from an image, and a matching unit that compares the similarities of biological features And when the plurality of biometric determination units determine that the biometric is a real biometric, the feature extraction unit extracts the biometric feature of the biometric and the collation unit extracts the biometric feature extracted and the registration data A biometric authentication apparatus configured to compare similarities is provided.
更に、上記の目的を達成するため、本発明においては、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える構成の生体認証装置を提供する。 Furthermore, in order to achieve the above object, the present invention includes an imaging unit that images a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication. A feature extraction unit that extracts a biometric feature of a living body from an image, and the extracted biometric feature is divided into a position correction feature amount and a collation feature amount composed of mutually independent biometric feature amounts. Provided is a biometric authentication device configured to include a collation unit that obtains a deviation amount and compares the similarity between a biometric feature and registered data using a collation feature amount using the positional deviation amount.
本発明によれば、生体認証装置に入力される生体が実際の生体であることを検知できる。 ADVANTAGE OF THE INVENTION According to this invention, it can detect that the biological body input into a biometrics authentication apparatus is an actual biological body.
本発明を実施するための形態である各種の実施例を図面に従い説明する。なお、本明細書において、生体特徴とは、指静脈や指紋、関節模様、更には皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などの解剖学的に異なる生体の特徴を意味する。 Various embodiments which are modes for carrying out the present invention will be described with reference to the drawings. In this specification, the biometric features are anatomically different biometric features such as finger veins, fingerprints, joint patterns, skin patterns, finger outlines, fat prints, finger length ratios, finger widths, etc. Means.
実施例1は、指の血管を用いた生体認証システムの実施例である。すなわち、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を含み、認証処理部は、画像に映る生体の輝度値の時間的変化を獲得し、画像に撮影された生体のテクスチャ特徴を抽出し、輝度値の時間的変化およびテクスチャ特徴に基づき、生体が真の生体であることを判定する生体判定部を有する構成の生体認証システムの実施例である。 Example 1 is an example of a biometric authentication system using a finger blood vessel. That is, the image processing apparatus includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication, and the authentication processing unit obtains a temporal change in the luminance value of the living body that appears in the image. Implementation of a biometric authentication system having a biometric determination unit that extracts a texture feature of a living body photographed in an image and determines that the living body is a true living body based on a temporal change in luminance value and a texture feature It is an example.
図1は、本実施例の指の血管を用いた生体認証システムの全体の構成の一例を示す図である。尚、本実施例の構成はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成としてもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、血管画像の取得に特化した血管画像取得装置、血管画像抽出装置としてもよい。また、本構成はスマートフォンやタブレットに搭載の汎用カラーカメラを用いた血管画像取得装置とみなしてもよい。また、後述のように端末としての実施形態であってもよい。少なくとも、生体を撮影する撮像部と、撮影された画像を処理し、生体の認証を行う認証処理部を備える構成を生体認証装置と呼ぶ。 FIG. 1 is a diagram illustrating an example of the overall configuration of a biometric authentication system using a finger blood vessel according to the present embodiment. Needless to say, the configuration of the present embodiment may be configured not as a system but as a device in which all or a part of the configuration is mounted on a housing. The apparatus may be a personal authentication apparatus including an authentication process, or the authentication process may be performed outside the apparatus, and may be a blood vessel image acquisition apparatus or a blood vessel image extraction apparatus specialized for acquiring a blood vessel image. Further, this configuration may be regarded as a blood vessel image acquisition device using a general-purpose color camera mounted on a smartphone or tablet. Moreover, the embodiment as a terminal may be used as described later. A configuration including at least an imaging unit that captures a biometric image and an authentication processing unit that processes the captured image and performs biometric authentication is referred to as a biometric authentication device.
図1に示す本実施例の生体認証システムは、撮像部である入力装置2、認証処理部10、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18を含む。入力装置2は、その筐体に設置された光源3及び筐体内部に設置された撮像装置9を含む。認証処理部10は画像処理機能を備える。
The biometric authentication system of the present embodiment illustrated in FIG. 1 includes an
光源3は、例えば、LED(Light Emitting Diode)などの発光素子であり、入力装置2の上部に提示された指1に光を照射する。光源3は実施形態によって様々な波長が照射できるものであっても良く、また指1の上部に設置し、生体の透過光を照射できるものであっても良い。また、光源3が搭載されていない構成としても良い。撮像装置9は、入力装置2に提示された指1の画像を撮影する。撮像装置9はカラーカメラであってもよく、赤外カメラであってもよい。また被写体の距離が計測できる距離カメラを別途搭載してもよい。さらに、指1は複数本であっても良い。
画像入力部18は、入力装置2の撮像装置9で撮影された画像を取得し、取得した画像を認証処理部10へ入力する。
The
The
認証処理部10は、中央処理部(CPU:Central Processing Unit)11、メモリ12及び種々のインターフェイス(IF)13を含む。CPU11は、メモリ12に記憶されているプログラムを実行することによって入力された画像に対する画像処理、生体が真の生体であることを判定する生体判定、登録処理や認証処理の際に生体特徴を抽出する特徴抽出、生体特徴の類似度を比較する照合等の各種処理を行う。これらの各種処理については後で詳述する。機能メモリ12は、CPU11によって実行されるプログラムを記憶する。また、メモリ12は、画像入力部18から入力された画像などを一時的に記憶する。
The
インターフェイス13は、認証処理部10と外部の装置とを接続する。具体的には、インターフェイス13は、入力装置2、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18などと接続する。
The
記憶装置14は、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、指静脈パターンなどの画像データである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンとして撮像した画像である。
The
表示部15は、例えば、液晶ディスプレイであり、認証処理部10から受信した情報を表示する出力装置である。入力部16は、例えば、キーボードであり、利用者から入力された情報を認証処理部10に送信する。スピーカ17は、認証処理部10から受信した情報を、例えば音声などの音響信号で発信する出力装置である。
The
図2は、本実施例で説明する指の血管を用いた生体認証技術の登録処理と認証処理の概略フローの一例を示す図である。この登録処理と認証処理は、例えば上述した認証処理部10のCPU11が実行するプログラムによって実現される。
FIG. 2 is a diagram showing an example of a schematic flow of biometric authentication registration processing and authentication processing using a finger blood vessel described in the present embodiment. The registration process and the authentication process are realized by a program executed by the
初めに図2上段の登録処理の流れについて説明する。まず、認証処理部10は利用者に指の提示を促すガイドを表示部15に表示し、これに従って利用者が指をかざす(S201)。スマートデバイスを認証装置として利用する場合であれば利用者は空中に手指をかざし、指置き台が具備される装置であれば指置き台にかざすことになる。
First, the flow of registration processing in the upper part of FIG. 2 will be described. First, the
次に、認証処理部10は、生体判定部で生体が真の生体であることを判定する生体判定処理を実行する。まず、かざされた生体である手指に対して脈拍検出を行う(S202)。手指の内部を流れる血液は、心拍に合せてその流量が変動する。血液中の組織であるヘモグロビンは光を吸収する特性があり、血流量が変動すると指全体の光の反射率および吸収率が変化する。そのため、生体である指を撮影すると脈拍と同期して赤外画像の輝度値あるいはカラー画像の各色における輝度値が変化し、その変化の大きさは各色によって異なる。一方、異物もしくは偽造指をかざした場合は脈拍に伴う輝度値の変化は見られない。すなわち、生体の輝度値の時間変化を獲得し、この時間的変化に基づき脈拍が検出できるかどうかによって、提示された被写体が本物の指であるか異物であるかを判別することができる。
Next, the
次に、生体判定部は、生体判定処理の続きとして、被写体のテクスチャ特徴を用いた本物の指(実指)、異物、偽造指の判定を行う(S203)。実指などの本物の生体と、生体ではない異物、偽造された生体、動画で撮影された生体などとは、撮影された画像の特性、特に細かいテクスチャの特徴が異なる。そこで実指や異物、偽造された生体や動画で撮影された指を予め大量に撮影しておき、画像のテクスチャ特徴にどのような差異があるかを機械学習によって学習させ、その情報に基づいて実物の生体か否かを判定する。すなわち、撮影された生体のテクスチャ特徴を抽出し、このテクスチャ特徴に基づき生体が真の生体であることを判定する。 Next, as a continuation of the biometric determination process, the biometric determination unit determines a real finger (real finger), a foreign object, and a forged finger using the texture characteristics of the subject (S203). A real living body such as a real finger and a non-living foreign body, a forged living body, a living body photographed with a moving image, and the like have different characteristics of captured images, particularly fine texture features. Therefore, a large number of fingers taken with real fingers, foreign objects, forged living bodies and videos are pre-photographed, and machine learning is used to learn what kind of differences are in the texture characteristics of the images. It is determined whether or not it is a real living body. That is, the texture feature of the photographed living body is extracted, and it is determined based on this texture feature that the living body is a true living body.
生体判定処理の最後に、上記の脈拍検出とテクスチャ特徴による異物判定とを総合した判定処理を行う(S204)。ここでは脈拍検出とテクスチャ特徴による異物判定の結果が共に本物の生体であると判定された場合に、入力された被写体が本物の生体であると判定する。入力された生体が真の生体であると判定された場合、認証処理部10は、撮影された生体の画像に対して生体特徴を抽出する特徴抽出処理を行い(S205)、獲得した生体特徴を登録データとしてデータベースに登録する(S206)。そうでない場合は、登録に失敗して終了する(S207)。
At the end of the biometric determination process, a determination process that combines the above pulse detection and foreign object determination based on texture features is performed (S204). Here, when it is determined that both the pulse detection and the result of the foreign matter determination based on the texture feature are real living bodies, the input subject is determined to be a real living body. When it is determined that the input biological body is a true biological body, the
続いて図2下段の認証処理の流れについて説明する。まず、認証処理部10は、表示部15に利用者に指の提示を促すガイドを表示し、これに従って利用者が指をかざす(S211)。次に、生体が真の生体であることを判定する生体判定処理として、画像のテクスチャ特徴に基づく実指と異物・偽造指の判定を行う(S212)。そして、この結果から実指か否かを判定し(S213)、本物であると判定された場合は生体特徴を抽出する特徴抽出処理を実施し(S214)、類似度を比較する照合処理として、登録データとの照合処理を行い(S215)、最後に認証結果の判定を行う(S216)。もし実指判定で失敗した場合は、認証失敗(S217)として認証処理を終了する。
Next, the flow of authentication processing in the lower part of FIG. 2 will be described. First, the
上述の通り認証処理では、登録処理とは異なり脈拍検出は実施しない。これは、後述の通り脈拍検出は、輝度値変化を例えば5秒程度の一定時間計測する必要があり、一般的に計算時間が長く掛かるためである。そのため、本実施例の生体認証システムの認証処理では、生体が真の生体であることを判定する生体判定として、被写体のテクスチャ特徴による異物判定のみを実施することで、偽造耐性を低下させることなく認証処理時間を短縮する効果が得られる。 As described above, in the authentication process, unlike the registration process, pulse detection is not performed. This is because, as will be described later, in pulse detection, it is necessary to measure a change in luminance value for a certain period of time, for example, about 5 seconds, and in general, it takes a long calculation time. Therefore, in the authentication process of the biometric authentication system of the present embodiment, forgery resistance is not reduced by performing only the foreign object determination based on the texture characteristic of the subject as the biometric determination for determining that the living body is a true living body. An effect of shortening the authentication processing time can be obtained.
本実施例の生体認証システムによると、登録の際には、指の提示を促すガイド表示と、脈拍検出と、テクスチャ特徴による異物検出とが実施されるため、利用者自身で登録作業が実施できると共に、不正な登録を棄却することができる。これにより登録者がオペレータとして登録作業を監督およびサポートすることなく登録処理が実施できるため、認証システムの運用性が高められる。 According to the biometric authentication system of the present embodiment, at the time of registration, guide display for prompting a finger, pulse detection, and foreign object detection based on texture features are performed, so that the user can perform registration work himself / herself. At the same time, unauthorized registration can be rejected. As a result, the registrant can perform the registration process without supervising and supporting the registration work as an operator, thereby improving the operability of the authentication system.
図3は、図2の登録処理時の脈拍検出(S202)において、かざされた生体の脈拍を検出する処理フローの一実施例である。上述の通り、本実施例の登録処理では脈拍が正しく検出できることが、真の生体であるかどうかを判定するための必要条件のひとつとなる。図3に従って脈拍を検出する処理手順を説明する。 FIG. 3 is an example of a processing flow for detecting a pulse of a living body held over in the pulse detection (S202) during the registration process of FIG. As described above, one of the necessary conditions for determining whether or not the subject is a true living body is that the pulse can be detected correctly in the registration process of the present embodiment. A processing procedure for detecting a pulse will be described with reference to FIG.
まず、かざされた手指に対する手指領域を検出する(S301)。手指領域の検出方法は様々あるが、本実施例では、後で説明する方法で、画像中の各画素に注目し、その周辺画素との輝度差を色ごとに計算して獲得した特徴量に基づいて、画像中の各画素が手指領域か背景かを決定する。また、手指と背景の境界を手指領域の輪郭線として獲得しておく。 First, a finger area for a held finger is detected (S301). Although there are various methods for detecting a finger region, in this embodiment, in a method that will be described later, attention is paid to each pixel in the image, and a luminance difference from the surrounding pixels is calculated for each color to obtain a feature amount. Based on this, it is determined whether each pixel in the image is a finger region or a background. In addition, the boundary between the finger and the background is acquired as the contour line of the finger region.
次に、検出した指領域における指先領域部分を見つける指先領域の検出を行う(S302)。脈拍による輝度変化は、特に物理的に末端である指先部分で大きく観測され、S/Nの高い信号を獲得できる。そこで本実施例では、入力された手指画像から指先領域を検出し、その輝度変化を観測することで提示された指の脈拍をより高精度に検出する。 Next, the fingertip region for finding the fingertip region portion in the detected finger region is detected (S302). The change in luminance due to the pulse is particularly observed at the fingertip portion that is physically at the end, and a signal with a high S / N can be obtained. Therefore, in this embodiment, a fingertip region is detected from the input finger image, and the pulse of the presented finger is detected with higher accuracy by observing the luminance change.
ここで、S302における指先領域の検出方法の一実施例について述べる。まず、図4の(a)に示す通り、手指輪郭線60の指先位置を検出する。指先61は指の輪郭線60が大きく曲がる部分であるため、曲線の屈曲している方向側の領域が手指内部領域62であり、かつ輪郭線60の曲率が一定値を超えており、かつ最も曲率が大きい位置、すなわち最も屈曲している位置を指先61と判定する。
Here, an embodiment of the fingertip region detection method in S302 will be described. First, as shown to (a) of FIG. 4, the fingertip position of the
続いて、同図の(b)の指先61の拡大図に示される通り、指先付近の輪郭線に対して直交する直線63を複数本検出し、その直線が指内部領域62を通る数の最も多い位置を検出して指先領域の中心の初期位置64を獲得する。輪郭線に直交する多数の直線63の交点を用いることで、曲率の高い指輪郭付近のおおよその中心位置を安定して検出できる。
Subsequently, as shown in the enlarged view of the
その後、同図の(c)に示す通り、指先領域の中心の初期位置64よりも指先61に近い指輪郭線60を構成する各画素と、指先領域の中心の初期位置64との距離を複数算出し、各点からの距離の分散を算出し、最も分散が小さくなる指先領域の中心65を検出する。その方法は、中心の初期位置64の左右上下方向に微小に移動したときの分散の変化量に基づき、最急降下法によって反復的に探索するなどで実施できる。これにより、指先領域の中心65を、指輪郭付近の輪郭線から概ね均等な位置に設定することができる。続いて、獲得した指先領域の中心65を中心点とし、指領域からはみ出さない最大半径の円を求め、これを指先領域66と定義する。以上の処理により、指先領域を得ることができる。
Thereafter, as shown in FIG. 6C, a plurality of distances between each pixel constituting the
なお、指先領域の他の決定方法として、上述の手法で指先を検出した後、指先を通るように指の中心軸を獲得し、指先から指の中心軸上の一定距離までの間にある指領域を指先領域として獲得しても良く、また指関節模様を検出し、指先から指関節模様に囲まれる領域を指先領域と定義しても良い。本手法によると、輪郭線が最も屈曲している位置を指先として検出した際の結果には複数の候補が出やすいため安定検出が難しい。 As another determination method of the fingertip region, after the fingertip is detected by the above-described method, the center axis of the finger is acquired so as to pass through the fingertip, and the finger located between the fingertip and a certain distance on the finger central axis is obtained. An area may be acquired as a fingertip area, or a finger joint pattern may be detected, and an area surrounded by the finger joint pattern from the fingertip may be defined as a fingertip area. According to this method, since a plurality of candidates are likely to appear in the result when the position where the contour line is most bent is detected as a fingertip, stable detection is difficult.
それに対し、上述した本実施例の指先領域の中心を求める方法は、指先位置の検出結果だけでなく、多数の直交する線の情報を手掛かりに指先領域が決定されるため、輪郭線の1点を求める指先検出に比べて安定性の高い検出が可能となる利点がある。また、上記の円領域の定義によって、指の拡大率に時間的な変動が生じても常に同じ位置、同じ面積の領域を検出できる。 On the other hand, the method for obtaining the center of the fingertip area of the above-described embodiment determines one point of the contour line because the fingertip area is determined based on not only the fingertip position detection result but also information on a number of orthogonal lines. There is an advantage that detection with high stability is possible as compared with fingertip detection for obtaining. In addition, by defining the above circular region, a region having the same position and the same area can always be detected even if a temporal variation occurs in the magnification rate of the finger.
次に、図3のフローにおいて、検出した指先領域内部の輝度値により、指先領域の脈動信号を検出する(S303)。ここで、本実施例の脈動信号の検出方法について述べる。ここでは、撮像装置9がカラーカメラである場合の実施例について説明する。まず、赤(R)/緑(G)/青(B)の3色の輝度値について、それぞれ上記で求めた指先領域内部の平均値を求める。次に、それぞれの平均値と、各色の平均値の差分として、R−BとR−Gの値を獲得する。最後に、Rの平均輝度と、R−BおよびR−Gの差分信号を合計した結果を獲得する。この手法は、血流量が変動する際の輝度値の変化量は色によって異なること、そして外乱光などによる画像ノイズ成分は各色で同時に影響を受ける傾向にあるという事実を利用している。
Next, in the flow of FIG. 3, a pulsation signal of the fingertip region is detected based on the detected luminance value inside the fingertip region (S303). Here, the method for detecting the pulsation signal of this embodiment will be described. Here, an embodiment in the case where the
すなわち、差分信号を算出すると脈動成分が残されるが、ノイズ成分は差分によって除去されるため、脈動成分のみが獲得できる。たとえば、血液量の変動に伴う赤(R)の輝度の変化量は青(B)の変化量よりも大きいため、R−Bの差分信号にも脈動が見られる。このとき、たとえば外光の影響によって赤(R)と青(B)に同時に類似するノイズが乗ると、差分計算によりノイズ成分のみがキャンセルされる。このように、差分信号を利用することでノイズに強い脈動信号を獲得することが可能となる。 That is, when the difference signal is calculated, a pulsation component is left, but since the noise component is removed by the difference, only the pulsation component can be acquired. For example, since the amount of change in luminance of red (R) accompanying the change in blood volume is larger than the amount of change in blue (B), pulsation is also seen in the difference signal of RB. At this time, for example, if noise similar to red (R) and blue (B) is applied simultaneously due to the influence of external light, only the noise component is canceled by the difference calculation. In this way, it is possible to acquire a pulsation signal resistant to noise by using the differential signal.
なお、指が移動している場合は上述の脈動信号の検出が不安定になるため、指を静止するようにガイダンスしたり、指の移動中は脈拍検出そのものをスキップするなどの対応を行ってもよい。すなわち、認識処理部10は、カラーカメラなどの撮像装置9の出力信号を用いて指の移動の検出を行い、指の移動中は、脈拍検出を開始しない、或いは脈拍検出を中断するよう制御することができる。
Note that when the finger is moving, the detection of the pulsation signal described above becomes unstable. Therefore, guidance is provided to stop the finger, or pulse detection itself is skipped while the finger is moving. Also good. That is, the
また、指が完全に静止していることを前提にできる場合、脈動信号は次のように獲得しても良い。まず、指先領域の各画素について、時間的に連続する2つのフレームでの同一位置にある画素の輝度値の差分を算出する。次に、各画素の輝度差分が正か負かを求める。次に、正と判定された画素数と負と判定された画素数との差を、正負に変動した画素数の合計で除算し、これを脈動信号として獲得する。この手法によると、明から暗、もしくは暗から明へと同時に変化した画素数を信号として取り出しているため、血流量の変化がない状態では画像ノイズの影響を受けて正および負への変化を生じる画素数はほぼ同数となるため、当該脈動信号はゼロ付近を推移するが、血液が瞬時的に流れたときに多くの画素の輝度差分は正の値へ変化する。これにより、脈動信号のS/Nを高める効果がある。 Further, when it can be assumed that the finger is completely stationary, the pulsation signal may be acquired as follows. First, for each pixel in the fingertip region, a difference in luminance value between pixels at the same position in two temporally continuous frames is calculated. Next, it is determined whether the luminance difference of each pixel is positive or negative. Next, the difference between the number of pixels determined to be positive and the number of pixels determined to be negative is divided by the total number of pixels that have changed positively and negatively, and this is obtained as a pulsation signal. According to this method, the number of pixels that have changed from light to dark or simultaneously from dark to light is extracted as a signal, so when there is no change in blood flow, the change to positive and negative is affected by image noise. Since the number of generated pixels is almost the same, the pulsation signal changes near zero, but when blood flows instantaneously, the luminance difference of many pixels changes to a positive value. This has the effect of increasing the S / N of the pulsation signal.
次に、図3のフローにおいて、検出した脈動信号の周期性を判定する(S304)。図5に示すように、実際の指を提示すると脈拍信号強度を示す脈動信号50には周期的にピークが出現する。これを検出するために、まず、脈動信号50に対して時間微分51を算出する。血液量が増大したときに脈動信号が正の方向に大きくなると定義した場合、血流量の流入が生じる部分では時間微分の値が正の方向に大きくなり、血流の流出の状態では負の方向に変化し、また血流の変化がない部分ではゼロとなる。ここで、時間微分51の値がある閾値を超えたことを判定して脈動とする。閾値を超えていない場合はノイズとみなして周期のカウントを実施しない。
Next, in the flow of FIG. 3, the periodicity of the detected pulsation signal is determined (S304). As shown in FIG. 5, when an actual finger is presented, a peak appears periodically in the
図5の例示においては、脈動#5と#6との間にも僅かな脈動信号が見られるが、時間微分51が閾値を超えていないため脈動としてカウントされていない。最後に、これを時系列に実施し、前回周期的なピークを検出した時間と今回のピーク検出との時間間隔を獲得し、これを現時点での脈動信号の周期とする。
In the example of FIG. 5, a slight pulsation signal is also seen between
最後に、脈動信号の脈拍らしさの判定を行う(S305)。まず、脈動信号の周期の妥当性を判定する。ここでは、現在検出されている脈動信号の周期が、予め設定した時間の範囲内にあるかを判定し、範囲内であれば脈動回数のカウント値を一つ増やし、範囲内でない場合は生体に起因する脈動ではないものと判断し、脈動回数のカウント値を一つ減らす。ただしこのカウント値の初期値はゼロであるとする。図5の最下段にカウント値を示した。なお、上述した脈動信号の周期に関する予め設定した時間の範囲は、一般的な人間の脈拍の正常範囲、たとえば脈拍が1分間で40回から120回の範囲が正常と定義した時、その時間範囲は0.5秒から1.5秒の間、と決定することができる。 Finally, it is determined whether the pulsation signal is like a pulse (S305). First, the validity of the period of the pulsation signal is determined. Here, it is determined whether the period of the currently detected pulsation signal is within a preset time range, and if it is within the range, the count value of the number of pulsations is incremented by one. It is determined that the pulsation is not caused and the count value of the number of pulsations is reduced by one. However, the initial value of this count value is assumed to be zero. The count value is shown at the bottom of FIG. In addition, the range of the preset time regarding the period of the pulsation signal described above is a normal range of a normal human pulse, for example, when a range of 40 to 120 times per minute is defined as normal, the time range. Can be determined to be between 0.5 seconds and 1.5 seconds.
次に、脈動回数を連続して計測し、脈拍であるかどうかを判定する。連続的に脈動回数のカウントを行い、その値がたとえば5回となったとき、この脈動信号が生体に起因する信頼性の高い脈拍であるとみなせる。図5の例では、途中で周期が上記の正常範囲から外れるため、該当箇所でカウント値が減らされている。続いて、脈動のカウント値が一定の閾値を超えたかどうか、すなわち脈拍らしさが高いかを判定し(S306)、そうであれば脈拍検出成功とする(S307)。一方、一定時間以内に脈拍検出が成功しない、すなわちあらかじめ設定したタイムアウト時間を過ぎた場合、脈拍検出失敗となる(S308)。なお、脈動信号のピーク値の周期性の検出は、FFT (First Fourier Transform) やMUSIC法 (Multiple Signal Classification) などの周波数解析に基づいて実施しても良い。 Next, the number of pulsations is continuously measured to determine whether the pulse is present. When the number of pulsations is continuously counted and the value becomes, for example, 5 times, this pulsation signal can be regarded as a highly reliable pulsation due to the living body. In the example of FIG. 5, the cycle deviates from the normal range on the way, so the count value is decreased at the corresponding location. Subsequently, it is determined whether or not the count value of the pulsation exceeds a certain threshold value, that is, whether or not the pulse rate is high (S306). If so, it is determined that the pulse detection is successful (S307). On the other hand, if the pulse detection is not successful within a certain time, that is, if a preset time-out time has passed, the pulse detection fails (S308). The periodicity of the peak value of the pulsation signal may be detected based on frequency analysis such as FFT (First Fourier Transform) or MUSIC method (Multiple Signal Classification).
また、外光などの瞬きが脈拍と誤って判定されないよう、たとえばR/G/Bのカラー画像を3枚の画像とみなし、独立成分分析(Independent Component Analysis, ICA) などの手法によって独立的に変動した信号成分から脈動信号を獲得することも可能である。 Also, in order to prevent blinks such as outside light from being mistakenly determined as pulses, for example, an R / G / B color image is regarded as three images, and independently by a method such as Independent Component Analysis (ICA). It is also possible to acquire a pulsation signal from the changed signal component.
図6は、図2のS203、S212で説明した画像のテクスチャ特徴に基づく実指、異物、偽造指判定の処理フローの一例を示す。上述の手法の登録処理で脈拍が観測できた場合であっても、必ずしも撮影されているものが本物の生体であるという訳ではない。そこで、本実施例の構成の登録処理においては、異物検出の精度をより高めるため、画像のテクスチャ特徴により実指、異物、偽造指かどうかを判定する処理を併用する。 FIG. 6 shows an example of a processing flow for determining a real finger, a foreign object, and a forged finger based on the texture feature of the image described in S203 and S212 of FIG. Even if the pulse can be observed by the registration process of the above-described method, the photographed image is not necessarily a real living body. Therefore, in the registration process of the configuration of the present embodiment, in order to further improve the accuracy of foreign object detection, a process for determining whether the finger is a real finger, a foreign object, or a fake finger is used together with the texture characteristics of the image.
はじめに、画像のテクスチャ特徴として、上述の手法で獲得した手指内部領域におけるLBP特徴量を獲得する(S601)。なお、LBP特徴量を抽出する領域は、手指内部領域全体であってもよく、処理の高速化および安定化のため、認証用の特徴量を抽出する領域に限定してもよい。本実施例では、テクスチャ特徴として一般的に知られているLBP (Local Binary Pattern) に基づくテクスチャ特徴量を用いる。LBPとは、注目している画素とその近傍の画素の輝度値の大小をコード化した情報である。 First, as a texture feature of an image, an LBP feature amount in a finger inner region obtained by the above-described method is obtained (S601). The region from which the LBP feature value is extracted may be the entire finger inner region, or may be limited to the region from which the authentication feature value is extracted in order to speed up and stabilize the processing. In this embodiment, a texture feature quantity based on LBP (Local Binary Pattern) generally known as a texture feature is used. The LBP is information obtained by coding the magnitude of the luminance value of the pixel of interest and the neighboring pixels.
最も基本的なLBPの獲得方法は、図7の(a)に示す通り、注目画素とその8近傍画素120との輝度値の大小をコード化するものであり、具体的には以下の方法で獲得する。まず、注目画素とその左上の近傍画素の輝度値を比較し、注目画素の輝度値の方が大きい場合は0、同じか小さい場合は1を与える。次に注目画素とその真上の近傍画素とを比較して同様に0または1を与える。次に注目画素とその右上の近傍画素とを比較して同様に0または1を与える。このように、左上の近傍画素から開始して時計回りに注目画素との比較を行うと、8個の0または1の値が得られる。0または1のコードを得られた順に上位ビットから下位ビットへ並べると、1つの注目画素に対して8ビットの数値が得られる。これが注目画素に対する基本的なLBPコード121である。
As shown in FIG. 7A, the most basic LBP acquisition method is to encode the magnitude of the luminance value of the pixel of interest and its eight neighboring
図7の(a)の例では、2進数表示で(01010011)2、10進数では83という値が得られている。LBPの値を獲得すると、注目画素の近傍がどのようなテクスチャであるかを大まかに推定できる。たとえばLBPが0、すなわち2進数表示で(00000000)2となる場合、注目画素はその8近傍すべての画素よりも輝度値が高いことを表しており、すなわち注目画素の位置に明るい輝点が観測されていることを意味する。同様に、左から右に向かって輝度値が低下する場合や斜め右上から斜め左下に向かって輝度値が低下する場合など、最大で256パターンのテクスチャ情報を表現することができる。 In the example of FIG. 7A, a value of (01010011) 2 in binary notation and 83 in decimal notation are obtained. When the LBP value is acquired, it is possible to roughly estimate what kind of texture is in the vicinity of the target pixel. For example, if LBP is 0, i.e., consisting of binary representation and (00000000) 2, the pixel of interest represents the higher luminance value than its 8 neighboring all pixels, i.e. bright bright spot to the position of the pixel of interest is observed Means that Similarly, a maximum of 256 patterns of texture information can be expressed when the luminance value decreases from left to right or when the luminance value decreases from diagonally upper right to diagonally lower left.
上述の基本的なLBPは、左上の画素から時計回りにコード化したものであるため、画像が回転した場合は異なる結果となる。これを解決するため、上述のLBPを拡張し、回転不変LBPを獲得することもできる。回転不変LBPは、8近傍すべての画素から時計回りに8通りのコード化を行い、これが最小値となるLBPコードを獲得したものである。図7の(b)に例示した上段と下段の画素値120は、下段の画像が上段に対して右回りに90度回転したものである。基本的なLBPは左上の位置から順にコード化するため、回転した画像に対する結果は上下段で異なるが、一方でコード化した結果が最小となる位置からコード化を行うと、回転した画像に対して同じコードが得られる。これが回転不変LBP122である。
Since the basic LBP described above is coded clockwise from the upper left pixel, different results are obtained when the image is rotated. In order to solve this, the above-described LBP can be expanded to obtain a rotation invariant LBP. The rotation-invariant LBP is obtained by performing 8 types of clockwise coding from all the pixels in the vicinity of 8 and obtaining an LBP code that has the minimum value. The upper and lower pixel values 120 illustrated in FIG. 7B are obtained by rotating the lower image 90 degrees clockwise with respect to the upper image. Since the basic LBP is coded in order from the upper left position, the result for the rotated image is different in the upper and lower stages, but on the other hand, if coding is performed from the position where the coded result is the smallest, The same code. This is the rotation
しかしながら、回転不変LBPであっても被写体の拡大率が異なるとコード化の結果も異なる。そこで図7の(c)に示す通り、注目画素に対する8近傍画素(距離1、図中P1と記載の画素)との比較だけではなく、距離2だけ離れた位置の円周上の8点(図中P2)、および距離4だけ離れた位置の円周上の8点(図示省略)についても比較を行い、8ビットのコードを3通り獲得する。このように得たLBPをここでは拡大回転不変LBPと呼ぶ。本実施例では、この拡大回転不変LBPを獲得し、異物判定に利用するものとする。なお、上述の距離の値と獲得するコード数は、上記では利用しなかった距離3だけ離れた位置の円周上の8点(図中P3)を使ったり、判別精度が最大になるように設定したり、処理速度が高速になるように設定したりするなど、任意に設定することができる。
However, even if the rotation invariant LBP is used, the encoding result differs if the magnification of the subject is different. Therefore, as shown in FIG. 7 (c), not only the comparison with eight neighboring pixels (
次に、図6のフローにおいて、LBPヒストグラムを獲得する(S602)。上述の通り抽出した拡大回転不変LBPは、注目したある1画素に対して計算されるが、画像に映る指領域部分は多数の画素で構成されるため、1枚の指画像から多数のLBPを抽出することができる。複数のLBPを判定に用いることで信頼性の高い特徴量を獲得できるが、その1手法として本実施例ではLBPの正規化ヒストグラムを作成する。正規化ヒストグラムとは、獲得したLBPの値が算出した画素数のうち何回発生したかを保持する頻度分布であり、また指内部領域の面積によってLBPを算出する画素数が異なることから、全画素数を1に正規化したとき、各LBPの値が全体のどれだけの比率で出現したかという値に換算したものである。 Next, in the flow of FIG. 6, an LBP histogram is acquired (S602). The enlarged rotation invariant LBP extracted as described above is calculated for one pixel of interest, but since the finger region portion shown in the image is composed of a large number of pixels, a large number of LBPs are obtained from one finger image. Can be extracted. A highly reliable feature quantity can be obtained by using a plurality of LBPs for determination. In this embodiment, a normalized histogram of LBP is created as one technique. Normalized histogram is a frequency distribution that holds how many times the number of pixels calculated for the acquired LBP value is calculated, and since the number of pixels for calculating LBP differs depending on the area of the finger inner region, When the number of pixels is normalized to 1, it is converted into a value indicating how much ratio of each LBP appears in the whole.
本実施例における拡大回転不変LBPは3つの8ビットコードで構成されるため、各コードの取り得る値は0から255の256通りであり、図8に示す通り、各コードの値に対するヒストグラムは256次元となる。ここでは、注目画素からの3通りの距離についてLBP1、LBP2、LBP4を求めているため、3つそれぞれに対して256次元のヒストグラムが獲得できる。ここでは距離iから獲得した拡大回転不変LBPのヒストグラムを、HLBPiと表している。本実施例では、HLBP1とHLBP2とHLBP4をそれぞれヒストグラム化したものを順番に並べて768次元のヒストグラムとする。図8ではこのLBPヒストグラムをHLBP1,2,4と示している。 Since the expanded rotation invariant LBP in the present embodiment is composed of three 8-bit codes, there are 256 possible values for each code, from 0 to 255. As shown in FIG. 8, the histogram for the value of each code is 256. It becomes a dimension. Here, since LBP 1 , LBP 2 , and LBP 4 are obtained for three distances from the target pixel, a 256-dimensional histogram can be obtained for each of the three distances. Here, the histogram of the enlarged rotation invariant LBP acquired from the distance i is represented as HLBP i . In this embodiment, the histograms of HLBP 1 , HLBP 2, and HLBP 4 are arranged in order to form a 768-dimensional histogram. In FIG. 8, this LBP histogram is shown as HLBP 1,2,4 .
図6のフローの最後に、上述のヒストグラムより実指・異物・偽造指判定を行う(S603)。獲得したヒストグラムの分布には、細かいごま塩ノイズや滑らかな輝度変化の有無などに応じて、特定の次元の頻度が高いなどの特徴が見られる。すなわち、ヒストグラムによって異物か実際の指であるかを判定することができる。ヒストグラム特徴より本物の指か異物・偽造指であるかの判定方法の一例としては、多数の本物の指画像と異物・偽造指画像とを集め、ヒストグラム特徴量から本物の指か否かを高精度に判定するため、機械学習によって判別用のパラメータを獲得し、得られた判定用パラメータを用いて判定する方法がある。本実施例では、機械学習の一つであるランダムフォレストに基づく手法を例示して説明する。 At the end of the flow of FIG. 6, real finger / foreign / fake finger determination is performed from the above-described histogram (S603). In the distribution of the acquired histogram, characteristics such as a high frequency of a specific dimension can be seen according to the presence or absence of fine sesame salt noise or smooth luminance change. That is, it is possible to determine whether the object is a foreign object or an actual finger from the histogram. An example of a method for determining whether a finger is a real finger or a foreign object / fake finger from a histogram feature is to collect a large number of real finger images and a foreign object / fake finger image, and use the histogram feature value to determine whether the finger is a real finger. In order to make a precise determination, there is a method of obtaining a determination parameter by machine learning and using the obtained determination parameter. In the present embodiment, a method based on a random forest that is one of machine learning will be described as an example.
図9は、拡大回転不変LBPとランダムフォレストに基づくパラメータ学習を行う学習処理フローと、判定処理フローの一実施例である。初めに図9上段に示す学習処理フローについて説明する。まず、様々な異物を撮影した画像データベースと、多数の実物の指を撮影した画像データベースとを用意する(S901)。このとき、すべての画像に対してその被写体が異物であるか実物の指であるかを識別するためのラベルを付与しておく。 FIG. 9 is an example of a learning process flow for performing parameter learning based on an enlarged rotation-invariant LBP and a random forest, and a determination process flow. First, the learning process flow shown in the upper part of FIG. 9 will be described. First, an image database in which various foreign objects are photographed and an image database in which many real fingers are photographed are prepared (S901). At this time, a label for identifying whether the subject is a foreign object or a real finger is attached to all images.
次に、用意された全画像データより、指領域を検出し、指領域内の上述したテクスチャ特徴であるヒストグラム特徴量を抽出する(S902)。すなわち、指の領域であると判定された画素に対し、上述の通り拡大回転不変LBPを抽出し、全画素の情報を768次元のヒストグラムに変換する。 Next, a finger region is detected from all the prepared image data, and a histogram feature amount that is the above-described texture feature in the finger region is extracted (S902). In other words, as described above, the enlarged rotation invariant LBP is extracted for the pixel determined to be the finger region, and the information of all the pixels is converted into a 768-dimensional histogram.
次に、画像より抽出したテクスチャのヒストグラム特徴量を学習データとしてランダムフォレストに入力して学習する(S903)。ランダムフォレストは、複数の決定木によって入力を特定のクラスに分類するための分類器であり、各決定木で得られた分類結果に対する多数決あるいは重み付け評価値によって最終的な分類結果を獲得する。各決定木においては、画像から抽出された特徴量のうち特定の次元の値の大きさにより入力データを2分木の左右のノードどちらかに振り分けてその子ノードに移動し、同様にまた別の特定の次元の値の大きさに応じて左右に振り分けていき、最終的に葉ノードに到達した時の分類結果をその入力の分類結果とみなす。このとき、木の各ノードに対しては、どの次元を選択するか、そしてその次元の値に応じて左右に振り分ける閾値をどの値にするか、について、最も分類結果の正解率が高くなるように決定する必要がある。ランダムフォレストの学習フェーズではこれらのパラメータが乱数によって決定されるが、一般的な手法であるため詳細は割愛する。 Next, the texture histogram feature amount extracted from the image is input to the random forest as learning data for learning (S903). The random forest is a classifier for classifying an input into a specific class by a plurality of decision trees, and obtains a final classification result by a majority vote or a weighted evaluation value for the classification result obtained by each decision tree. In each decision tree, the input data is distributed to either the left or right node of the binary tree according to the magnitude of the value of a specific dimension among the feature values extracted from the image and moved to its child nodes. Depending on the size of the value of a specific dimension, it is divided into left and right, and the classification result when it finally reaches the leaf node is regarded as the classification result of that input. At this time, for each node of the tree, the correctness rate of the classification result is the highest for which dimension is selected and which threshold value is assigned to the left and right according to the value of that dimension. Need to be determined. In the random forest learning phase, these parameters are determined by random numbers, but this is a general technique and will not be described in detail.
その後、学習結果を十分に収束させるため反復して学習を行わせるが、その回数が所定回数を満たしているかを判定する(S904)。所定回数だけ学習を反復させ終えた場合は、学習結果として得られたパラメータを判定処理向けのランダムフォレストの最終結果として確定し(S905)、学習処理を終了する。 Thereafter, in order to sufficiently converge the learning result, learning is repeatedly performed, and it is determined whether the number of times satisfies a predetermined number (S904). When the learning has been repeated a predetermined number of times, the parameter obtained as the learning result is determined as the final result of the random forest for the determination process (S905), and the learning process is terminated.
次に、図9下段に示す判定処理フローについて説明する。まず、入力された未知の画像より指の領域を検出し、指領域内のテクスチャのヒストグラム特徴量である拡大回転不変LBPヒストグラムを抽出する(S911)。続いて判定用ランダムフォレストの各決定木に、上述の未知の入力画像のテクスチャのヒストグラム特徴量を入力し(S912)、その判定結果を獲得する(S913)。テクスチャ特徴が実物の指に類似する場合は実物の指であると判定され、異物に類似する場合は異物と判定される。以上の判定処理フローの通り、テクスチャ特徴に基づいて本物の指かどうかを判定できる。 Next, the determination process flow shown in the lower part of FIG. 9 will be described. First, a finger region is detected from the input unknown image, and an enlarged rotation-invariant LBP histogram, which is a histogram feature amount of the texture in the finger region, is extracted (S911). Subsequently, the histogram feature quantity of the texture of the unknown input image is input to each decision tree of the determination random forest (S912), and the determination result is obtained (S913). If the texture feature is similar to a real finger, it is determined to be a real finger, and if it is similar to a foreign object, it is determined to be a foreign object. As described above, it is possible to determine whether the finger is a real finger based on the texture feature.
また、本実施例のランダムフォレストを使った実指判定において、ランダムフォレストを多段に構成して異物判定を実施することで、さらに高精度な実指判定が実現できる。すなわち、本実施例の生体認証システムを、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像に映る生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、画像から生体の生体特徴を抽出する特徴抽出部と、生体特徴の類似度を比較する照合部と、を有し、複数の生体判定部が、生体が真の生体であることを判定した場合、特徴抽出部は生体の生体特徴を抽出し、照合部が抽出された生体特徴と登録データの類似度を比較して認証する構成とする。 Further, in the real finger determination using the random forest of the present embodiment, it is possible to realize a more accurate real finger determination by configuring the random forest in multiple stages and performing the foreign object determination. That is, the biometric authentication system according to the present embodiment includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication. A plurality of biological determination units having different determination criteria, a feature extraction unit that extracts biological features of the biological from the image, and a matching unit that compares the similarities of the biological features. When the plurality of biological determination units determine that the biological body is a true biological body, the feature extraction unit extracts the biological feature of the biological body, and compares the similarity between the extracted biological feature and the registered data. And authenticate.
図2を用いて説明したように、本実施例における認証処理では脈拍検出を実施せず、テクスチャ特徴による異物・偽造検知だけを実施している。そのため、脈拍検出があれば正しく棄却できたはずの異物や偽造指が誤って入力されてしまう頻度が高まる可能性がある。そこで、認証処理における実指判定において、テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行う生体判定部は、機械学習に多段に接続したランダムフォレストを用い、その1つを脈拍検出であれば正しく棄却できる異物や偽造指を含むデータセットに特化して学習させる。 As described with reference to FIG. 2, in the authentication process according to the present embodiment, pulse detection is not performed, and only foreign object / counterfeit detection based on texture features is performed. For this reason, there is a possibility that the frequency of erroneously inputting a foreign object or a fake finger that should have been correctly discarded if there is pulse detection may be increased. Therefore, in the real finger determination in the authentication process, a biometric determination unit that performs determination by acquiring a determination parameter by machine learning from a histogram feature amount of a texture feature uses a random forest connected in multiple stages to machine learning. If a pulse is detected, learning is performed specifically for a data set including foreign objects and forged fingers that can be correctly discarded.
これにより、そのランダムフォレストが脈拍検出に近い判定結果を出力する、すなわち、多段構成の生体判定部であるランダムフォレストの1段が脈拍検出の代替として機能することになる。従って、脈拍検出を実施しない認証処理においても、異物の受理エラーを低減することができる。さらには、脈拍検出で正しく棄却できない異物を棄却することに特化したランダムフォレストを構築することで、脈拍検出で棄却できなかった異物等がこのランダムフォレストで正しく棄却できるようになり、登録の際の全体的な異物検知精度を更に向上することも可能となる。以下、生体判定部であるランダムフォレストを例えば3段などの多段にする構成の一具体例について説明する。 As a result, the random forest outputs a determination result close to pulse detection, that is, one stage of the random forest, which is a multi-stage biometric determination unit, functions as an alternative to pulse detection. Accordingly, foreign object acceptance errors can be reduced even in the authentication process in which pulse detection is not performed. Furthermore, by constructing a random forest that specializes in rejecting foreign objects that cannot be rejected correctly by pulse detection, foreign objects that could not be rejected by pulse detection can be correctly rejected in this random forest. It is also possible to further improve the overall foreign matter detection accuracy. Hereinafter, a specific example of a configuration in which the random forest that is the biometric determination unit is configured in multiple stages such as three stages will be described.
まず、脈拍検出で実物の指と判定されてしまう傾向のある多数の異物の画像データベースと、多数の実物の指の画像データベースを用いて、1段目のランダムフォレストを学習しておく。本明細書では、これを脈動異物チェック用ランダムフォレストと呼ぶ。この脈動異物チェック用ランダムフォレストは、脈拍検出で実物の指と誤判定される傾向のある異物と、実物の指とを高精度に判別することができるため、脈拍検出のエラーを補完できる。次に、一般的な多数の異物の画像データベースと多数の実物の指の画像データベースとを用いて、2段目のランダムフォレストを学習する。本明細書では、これを通常異物チェック用ランダムフォレストと呼ぶ。この通常異物チェック用ランダムフォレストは、広く一般的な異物と実物の指とを平均的な精度で判別することができる。 First, a first-stage random forest is learned using an image database of many foreign objects that tend to be determined as real fingers by pulse detection and an image database of many real fingers. In the present specification, this is called a pulsating foreign object check random forest. Since this random forest for checking pulsating foreign matter can discriminate between a foreign matter that tends to be erroneously determined to be a real finger in pulse detection and a real finger with high accuracy, it is possible to complement a pulse detection error. Next, a second-stage random forest is learned using a general many foreign object image databases and many real finger image databases. In the present specification, this is usually called a random forest for foreign matter check. This normal foreign matter checking random forest can discriminate widely general foreign matter and real fingers with average accuracy.
最後に、動画で撮影された多数の指の画像データベースと多数の実物の指の画像データベースとを用いて、3段目のランダムフォレストを学習する。ここでは、これを動画指チェック用ランダムフォレストと呼ぶ。この動画指チェック用ランダムフォレストでは、動画で撮影された指の映像が提示されるという攻撃に対して高精度に棄却することができる。このように3段のランダムフォレストを作成しておく。 Finally, a third-stage random forest is learned using a large number of finger image databases and a large number of real finger image databases photographed as moving images. Here, this is called a moving image finger check random forest. This moving finger check random forest can be rejected with high accuracy against an attack in which an image of a finger taken with a moving image is presented. In this way, a three-stage random forest is created.
判定処理においては、まず入力された被写体の手指領域内のLBPヒストグラムを獲得し、まず1段目の脈動異物チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、次に2段目の通常異物チェック用ランダムフォレストによって異物かどうかを判定する。同様に、ここでも実物の指と判定されると、最後に3段目の動画指チェック用ランダムフォレストによって異物かどうかを判定する。ここで実物の指と判定されると、多段ランダムフォレストのすべての判定で実物の指と判定されることになり、真に実物の指とみなす。いずれかのランダムフォレストで異物と判定された場合はその入力が異物であるとみなされ、認証処理が失敗する。 In the determination process, first, an LBP histogram in the finger region of the input subject is acquired, and it is first determined whether or not the object is a foreign object by the first pulsating foreign object check random forest. If it is determined that the finger is a real finger, it is next determined whether or not it is a foreign object by the second-stage normal foreign object check random forest. Similarly, when it is determined that the finger is a real finger, it is finally determined whether or not it is a foreign object by the third-stage moving image finger checking random forest. Here, if it is determined as a real finger, it is determined as a real finger in all the determinations of the multistage random forest, and it is truly regarded as a real finger. If any random forest is determined to be a foreign object, the input is regarded as a foreign object, and the authentication process fails.
以上の通り、元々の異物や偽造の特徴が把握できる場合は、複数の学習データによって複数のランダムフォレストを構築することで、異物の特徴に特化した、統合的に高精度な異物判定が実現できる。 As described above, when the original foreign matter and counterfeit features can be grasped, multiple random forests are constructed from multiple learning data to achieve integrated and highly accurate foreign matter determination specialized for foreign matter features. it can.
なお、上述の実施例では人為的にランダムフォレストを多段構成したが、機械学習の手法として知られているAdaBoostを代表するブースティング手法とランダムフォレストとを組み合わせて、自動的に多段学習をさせても良い。具体的には、多数の実指および異物の画像データの分類精度が高まるように、1段目のランダムフォレストで学習を行う。その結果、エラーとなった実指および異物が正しく分類できるよう、次段のランダムフォレストではそれらを重点的に学習する。これを多段に繰り返し、最終的にはすべてのランダムフォレストの結果を重み付けして判定を行う。これにより、多数のランダムフォレストが相補的に機能し、全体的なエラー率を低減できるようになる。 In the above-described embodiment, the random forest is artificially formed in multiple stages. However, the boosting technique represented by AdaBoost, which is known as a machine learning technique, is combined with a random forest to automatically perform multistage learning. Also good. Specifically, learning is performed in the first-stage random forest so that the classification accuracy of a large number of real fingers and foreign object image data is improved. As a result, in order to correctly classify the actual fingers and foreign objects in error, the next random forest learns them mainly. This is repeated in multiple stages, and finally the determination is made by weighting the results of all random forests. As a result, a large number of random forests function in a complementary manner, and the overall error rate can be reduced.
また、上述の実施例では、LBPを画像の特徴量として選択したが、特徴量の抽出および異物の判定を機械学習によって実施しても良い。たとえば、深層学習として一般的に知られている畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)によって異物を判定することができる。この場合においても、上述の通り指の領域の内側に対して複数のフィルタを畳み込みながら、正解率が高まるようにフィルタの値とニューラルネットの結合係数とを反復的に学習させていく。これにより、異物と実物の指とを高精度に判別できる。 In the above-described embodiment, LBP is selected as an image feature amount. However, feature amount extraction and foreign matter determination may be performed by machine learning. For example, a foreign object can be determined by a convolutional neural network (CNN) generally known as deep learning. Even in this case, as described above, while convolving a plurality of filters with respect to the inside of the finger region, the filter value and the neural network coupling coefficient are repeatedly learned so as to increase the accuracy rate. Thereby, a foreign object and a real finger can be distinguished with high accuracy.
また、テクスチャ特徴に基づく実指、異物、偽造指判定において、かざした生体が紙への印刷もしくは動画像の映像であるかどうかの判定は、以下の方法で実施できる。まず、手指領域を任意の方法で検出し、次に認証処理部10は、生体認証装置に付属している反射光源を点滅させるよう制御する。このとき、実際の生体を提示したものであれば、手指領域内だけが点滅し、背景領域は点滅しない。しかしながら、紙への印刷もしくは動画を提示した場合は紙もしくはスクリーンが平坦であることから、手指領域と背景領域とが同時に点滅する。このテクスチャ特徴を利用し光源を点滅することで、動画像の提示であることは判別可能となる。なお、認証装置がスマートデバイスであれば、反射光源の代わりに付属のフラッシュライト、もしくは液晶ディスプレイの点滅でもよい。
Further, in the determination of the real finger, the foreign object, and the fake finger based on the texture feature, it is possible to determine whether or not the living body is a print on paper or a video image by the following method. First, a finger region is detected by an arbitrary method, and then the
また、光源の照射方向が制御できるのであれば、複数の方向から順次被写体を照射し、そのときの影の変化をテクスチャ特徴として検出することでも実施可能である。影の変化が見られない場合は異物であるとみなす。また、光源の色が制御できるのであれば、色ごとの反射率が指特有のものであるかどうかを判定して実指かどうかを判定しても良い。また、認証処理部10は、スピーカ17などを使用して、登録および認証の操作の前に特定の指の曲げ伸ばしや指のジェスチャーを要求し、実施できない場合は異物と判定しても良い。
Further, if the irradiation direction of the light source can be controlled, it is also possible to irradiate the subject sequentially from a plurality of directions and detect a change in shadow at that time as a texture feature. If there is no change in shadow, it is considered a foreign object. Further, if the color of the light source can be controlled, it may be determined whether or not the finger is unique by determining whether or not the reflectance for each color is unique to the finger. Further, the
なお、上述の脈拍検出処理およびテクスチャ特徴による異物検知処理では、手指の内部領域と外部領域とを正確に分離することが必要となる。さらには、この手指領域の検出は、認証処理を高精度に実施するためにも重要な処理である。特に、スマートデバイスの汎用カラーカメラで撮影した生体は、その背景に様々な被写体が映り込むため、高精度な背景分離技術が必要となる。ここではその実施例として、各画素とその周辺画素との輝度差を色ごとに計算して獲得した特徴量と、ランダムフォレストとを用いた手指領域の検出手法について説明する。 In the above-described pulse detection process and foreign object detection process using texture features, it is necessary to accurately separate the internal area and the external area of the finger. Furthermore, the detection of the finger region is an important process for performing the authentication process with high accuracy. In particular, a living body photographed with a general-purpose color camera of a smart device needs a highly accurate background separation technique because various subjects are reflected in the background. Here, as an example, a method for detecting a finger region using a feature amount obtained by calculating a luminance difference between each pixel and its surrounding pixels for each color and a random forest will be described.
まず、ある注目画素から距離D画素の8近傍について、赤プレーンの注目画素180、プレーンの注目画素182、青プレーンの注目画素184の3色に対し、赤プレーンの近傍画素181、緑プレーンの近傍画素183、青プレーンの近傍画素185の3色の組み合わせで差分を求める。これにより、9×8=72次元の特徴が得られる。図10に示すP0r、P0g、P0b、はそれぞれR、G、Bの3色の注目画素であり、同様に、PDr、PDg、PDbはそれぞれR、G、Bの3色の距離Dの近傍画素である。色差分の例としては、たとえば赤プレーンの注目画素180と緑プレーンの近傍画素183との差はP0r-PDgであり、またPDgは8通りあるため、8通りのP0r-PDgが得られ、合計で72の値が得られることになる。
First, with respect to 8 neighborhoods of a distance D pixel from a certain pixel of interest, a red
さらに距離DをN通りに変えることで、72N次元の特徴となる。かつ注目画素のR/G/Bの3色の輝度値そのものを3次元の特徴として含めると、1画素につき72N+3次元の特徴が得られる。これを上述のランダムフォレストでテクスチャ特徴の解析を行った手法と同様に、手指領域と背景領域との正解がラベリングされた多数の手指画像を用意し、背景画素と手指領域ない画素とを正しく正解できるようにランダムフォレストのパラメータを学習する。これにより、任意の手指画像が入力された際に、各画素で上述の色特徴を獲得し、画素ごとに背景か手指領域かを判定すると、手指領域の部分のみを取り出すことができる。なお、判定エラーによって不自然な手指領域部分が現れることがあるが、これはモルフォロジーにおける膨張収縮処理などで滑らかな領域に加工しても良い。また、元画像を小さく縮小した状態で手指領域の学習と判定を行い、最終結果を元のサイズに拡大することで処理を高速化することができる。 Furthermore, by changing the distance D to N ways, it becomes a 72N-dimensional feature. If the luminance values of the three colors R / G / B of the target pixel are included as a three-dimensional feature, 72N + three-dimensional features are obtained for each pixel. Similar to the method of analyzing texture features in the random forest described above, prepare many finger images labeled with correct answers between the finger area and the background area, and correctly correct the background pixels and the pixels without the finger area. Learn random forest parameters so that you can. As a result, when an arbitrary finger image is input, the above-described color feature is obtained for each pixel, and if it is determined for each pixel whether it is the background or the finger region, only the portion of the finger region can be extracted. Although an unnatural finger region portion may appear due to a determination error, it may be processed into a smooth region by expansion / contraction processing in morphology. Further, it is possible to speed up the processing by performing learning and determination of the finger region in a state where the original image is reduced to a small size and enlarging the final result to the original size.
また、学習データのラベリングとして、人差指や中指などの指の種類や、基節、中節、末節などの関節部位ごとにラベルを付与しておき、それぞれを詳細に判定してもよい。さらには、じゃんけんのグーやチョキやパーなどの様々な手指のポーズごとに学習データを用意し、その結果、指の姿勢を学習することもできる。これにより、指のジェスチャー判定が実現でき、たとえば異物・偽造検知に利用したり、あるいは認証情報として活用し、認証精度を向上させたり、大量の登録データの中から利用者のデータを絞り込むために活用することで照合処理を高速化することも可能となる。 Further, as labeling of the learning data, a label may be assigned to each kind of finger such as the index finger and the middle finger, and joint parts such as the base clause, the middle clause, and the last clause, and each may be determined in detail. Furthermore, learning data is prepared for each pose of various fingers such as Janken Goo, Choki, and Par, and as a result, the posture of the finger can be learned. In this way, finger gesture determination can be realized, for example, to detect foreign objects or counterfeiting, or to use as authentication information to improve authentication accuracy, or to narrow down user data from a large amount of registration data By utilizing it, it is possible to speed up the matching process.
上述した指のジェスチャー判定を利用した認証システムの実施例を以下に示す。たとえばスマートフォンを用いてインターネットバンキングの各種サービスを利用する場合、従来では口座番号や契約者番号などの個人IDに加え、暗証番号あるいはワンタイムパスワード等を用いてログインした後、「残高照会」や「振込み」などの各種サービスを示すボタンを押下するなど、目的のサービスを利用するまでの操作が煩雑であった。一方、指のジェスチャー判定と指に基づく生体認証とを組み合わせた場合、たとえば「残高照会」を実施する場合には、指によるじゃんけんのチョキのポーズを、「振込み」の場合はパーのポーズをスマホのカメラにかざすことを予め決めておき、もし観測されたジェスチャーがチョキであれば、ジェスチャーの形状とその指の生体特徴とを利用することで、ログインおよび「残高照会」へのモード遷移とを同時かつ自動的に実施する。同様に、利用者がパーを提示した場合は、ログインおよび「振込み」へのモード遷移を実施する。 An embodiment of an authentication system using the above-described finger gesture determination will be described below. For example, when using various Internet banking services using a smartphone, in the past, after logging in using a personal identification number or one-time password in addition to a personal ID such as an account number or contractor number, you can use `` Balance inquiry '' or `` Operations such as pressing buttons indicating various services such as “transfer” are complicated until the target service is used. On the other hand, when finger gesture determination and finger-based biometric authentication are combined, for example, when “Balance Inquiry” is performed, the “Janken” pose with a finger is used. If the observed gesture is choki, use the shape of the gesture and the biometric features of the finger to log in and change mode to “Balance inquiry”. Perform simultaneously and automatically. Similarly, when the user presents a par, login and mode transition to “transfer” are performed.
このように、本実施例の構成によって、様々な業務システムの各種機能の切り替えと本人確認を同時に実施することができるため、従来のような煩雑な操作を行うことなく、かつ確実に本人確認が行われた上で各種サービスを利用することが可能となる。なお、指を伸ばしてかざす本数が多いほど生体特徴がより多く観察できることから、より強固なセキュリティが必要となるサービスに対しては指を伸ばしてかざす本数の多いジェスチャーを割り当てることで、セキュリティ強度を高めることが可能となる。 As described above, since the configuration of the present embodiment enables the switching of various functions of various business systems and the identity verification at the same time, the identity verification can be surely performed without performing complicated operations as in the past. It is possible to use various services after being performed. Note that as the number of fingers held up increases, more biological features can be observed.For services that require stronger security, assigning more gestures to hold up the fingers to increase the security strength. It becomes possible to raise.
また、認証システムがランダムに指のジェスチャーを決定し、その指示通りに指をかざすことを利用者に要求することで、かざされた指の異物・偽造チェックを行うことができる。一般的な異物・偽造生体としては、たとえば日用品をかざしたり紙に印刷された生体をかざしたりするものが知られているが、このような異物や偽造指をかざす場合、その場で指定された指のジェスチャーを模倣することは容易ではない。そのため、指定されたジェスチャーを行うという行為そのものが生体の手指をかざしている証拠となり、異物や偽造を排除する可能性を高められる。さらには複数のジェスチャーを提示させたり、あるいはそのときのジェスチャーの時間的変化を動画的に確認したりしてもよい。これにより、特に静止している被写体をかざした場合の攻撃に対して異物・偽造の判定精度を高められる。 In addition, the authentication system randomly determines a finger gesture, and requests the user to hold the finger according to the instruction, thereby performing foreign object / counterfeit check of the held finger. For example, a general foreign object / counterfeit organism is known to hold daily items or a living body printed on paper, but when such a foreign object or counterfeit finger is held over, it is specified on the spot. It is not easy to imitate finger gestures. Therefore, the act of performing the designated gesture itself becomes evidence that the hand of the living body is held up, and the possibility of eliminating foreign objects and forgery can be increased. Furthermore, a plurality of gestures may be presented, or the temporal change of the gestures at that time may be confirmed in a moving image. As a result, it is possible to improve the accuracy of foreign object / counterfeiting determination against an attack particularly when a stationary subject is held over.
また、多数の利用者の生体情報が登録されているサーバ認証装置において、個人IDを入力せずに生体情報だけで認証を行ういわゆる1:N認証を実施する場合、指のジェスチャーを利用することで多数の生体データベースの中からそのジェスチャーを行って登録されたデータに限定することが可能となる。そのため、認証処理が高速化されると共に、照合対象数の低減によって他人受入率も改善できる。また、複数のジェスチャーを連続的に示すことで登録データを更に限定してもよい。この場合、生体情報が複数回提示されるため登録データとの一致率が高まると共に、提示するジェスチャーの形状と順序そのものがパスワードとして機能することになるため、パスワードと生体の多要素認証が手指の動作だけで実現できる。よって利便性も高まり、かつ認証精度を飛躍的に向上させることができる。 Also, in a server authentication apparatus in which a large number of users' biometric information is registered, when performing so-called 1: N authentication in which only biometric information is authenticated without inputting personal IDs, a finger gesture is used. Thus, it is possible to limit the registered data by performing the gesture from a large number of biological databases. Therefore, the authentication process is speeded up and the acceptance rate of others can be improved by reducing the number of verification targets. Moreover, you may further limit registration data by showing a some gesture continuously. In this case, since the biometric information is presented multiple times, the matching rate with the registered data is increased, and the shape and order of the gestures to be presented themselves function as a password. It can be realized only by operation. Therefore, convenience is enhanced and authentication accuracy can be dramatically improved.
本実施例によれば、入力される生体が実際の生体であることを検知でき、また利用者自身で登録作業ができる運用性の高い、高精度の認証システムを提供することができる。 According to the present embodiment, it is possible to provide an authentication system with high operability and high accuracy that can detect that an input living body is an actual living body and can perform registration work by the user himself / herself.
実施例2は、安全に公開することのできる生体情報を用いた認証システムの実施例である。図11は、実施例2の認証システムの一構成例を示し、利用者200の所有するスマートフォン201によってチケットの購入および生体情報の撮影と登録を実施すると、スマートフォンから認証サーバ202に購入済みのキーと共に暗号化された生体の登録データ204がネット回線205を介して転送される。このとき登録データ204はサーバ内のデータベース206に蓄積される。
Example 2 is an example of an authentication system using biometric information that can be disclosed safely. FIG. 11 shows a configuration example of the authentication system according to the second embodiment. When a
イベント会場での認証の際は、会場に設置された認証端末207に利用者が指1をかざすと、提示された生体情報から生成された暗号化された入力データ208が生成され、認証サーバ202に転送される。そして認証サーバ202では、暗号化された登録データ204が公開されており、これと暗号化された入力データ208との照合が行われ本人認証が実施される。認証が成功したと判定された場合は、イベント会場の認証端末207に認証成功の信号が届き、これに応じてたとえばゲートの扉が開くことで、利用者は会場内に入ることができる。なお、認証端末207は認証サーバ202から予め登録データをダウンロードしておき、認証端末207で照合による認証処理を実施しても良い。
At the time of authentication at the event venue, when the user holds the
以上のように本実施例の構成ではネットワークを介して登録データを通信する必要があるが、データの漏えいを防止するためにはデータの保護が必須となる。このとき、テンプレートを公開しても安全であることを保証することで、データの漏えいや改ざんなどの脅威を無効化することが有効であり、たとえばPBI (Public Biometric Infrastructure) 技術によって安全にテンプレートを公開する。一般的なPBI技術では、暗号化したまま照合処理を実施するが、暗号化した状態での照合処理は通常の非暗号状態での照合処理に比べて処理時間が掛かる。特に、照合処理を位置不変ではない特徴量に基づくテンプレートマッチングによって実施する場合、比較するパターン同士の位置ずれを補正しながらパターンを比較するため、大きな位置ずれが想定される場合は位置の探索範囲が大きくなり、多くの比較回数が必要となる。 As described above, in the configuration of the present embodiment, registration data needs to be communicated via a network, but data protection is essential in order to prevent data leakage. At this time, it is effective to invalidate threats such as data leakage and tampering by ensuring that it is safe to publish the template. For example, PBI (Public Biometric Infrastructure) technology can be used to secure the template safely. Publish. In general PBI technology, verification processing is performed with encryption, but verification processing in an encrypted state takes more processing time than verification processing in a normal non-encrypted state. In particular, when the matching process is performed by template matching based on a feature quantity that is not position-invariant, the patterns are compared while correcting the positional deviation between the patterns to be compared. Becomes larger and requires a large number of comparisons.
そこで、本実施例の好適な構成の照合処理では、登録データを生体の位置補正情報と照合情報とに分け、位置補正情報から照合情報が推測されない情報を選択した上で、位置補正情報を非暗号状態で照合し、その結果から得られる位置ずれ量を利用し、照合情報を暗号化状態で高速に照合することにより、安全かつ高速な照合を実現する。すなわち、本実施例の生体認証システムでは、生体を撮影する撮像部と、撮像部によって撮影された画像を処理し、生体の認証を行う認証処理部を備え、認証処理部は、画像から生体の生体特徴を抽出する特徴抽出部と、抽出した生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、位置補正特徴量によって生体の位置ずれ量を得、位置ずれ量を用いて照合特徴量によって生体特徴と登録データとの類似度を比較する照合部とを備える。 Therefore, in the collation processing with a preferred configuration of the present embodiment, the registration data is divided into biological position correction information and collation information, and information for which no collation information is estimated is selected from the position correction information. Collation is performed in an encrypted state, and the amount of misalignment obtained from the result is used, and collation information is collated at high speed in an encrypted state, thereby realizing safe and high-speed collation. That is, the biometric authentication system according to the present embodiment includes an imaging unit that captures a living body and an authentication processing unit that processes an image captured by the imaging unit and performs biometric authentication. A feature extraction unit that extracts biometric features and the extracted biometric features are divided into position correction feature amounts and collation feature amounts that are composed of biometric features that are independent of each other. And a collation unit that compares the similarity between the biometric feature and the registered data by using the collation feature amount by using the positional deviation amount.
図12は、PBIに対応する登録テンプレートを高速かつ高精度に照合する実施例2の認証処理フローの一例を示す図である。まず、生体の提示を促すガイダンスの表示を行い(S1201)、利用者がスマートフォンに複数の手指をかざすと、上述の実施例で詳述した異物検知を実施する(S1202)。なお、ここで上述した脈拍検出は実施すると良いが、認証する状況に応じて処理時間短縮のために脈拍検出は実施しない構成としても良い。 FIG. 12 is a diagram illustrating an example of an authentication processing flow according to the second embodiment in which a registration template corresponding to PBI is collated at high speed and with high accuracy. First, guidance for prompting the presentation of a living body is displayed (S1201), and when the user holds a plurality of fingers over the smartphone, the foreign object detection detailed in the above-described embodiment is performed (S1202). In addition, although the pulse detection mentioned above is good to implement here, it is good also as a structure which does not implement a pulse detection for shortening processing time according to the condition to authenticate.
異物検知処理でかざされた手指が真の生体かどうか判定し(S1203)、真の生体でない場合は手指をかざすよう促すガイダンスを改めて表示するが、真の生体と判定された場合は生体の特徴抽出を行う(S1204)。本実施例では、複数の手指から指静脈や指紋、関節模様などの生体特徴を抽出し、すべての指のすべての生体特徴を2値化あるいは多値化された特徴量に変換して特徴量レベルでパターンを融合し、テンプレートマッチングによって照合される情報として抽出する。ただし、PBIを実現する生体情報であれば、任意の特徴抽出手法およびデータ形式においても同様に実施可能である。 It is determined whether or not the finger held up by the foreign object detection process is a true living body (S1203). If the finger is not a true living body, guidance for prompting the user to hold the finger is displayed again. Extraction is performed (S1204). In this embodiment, biometric features such as finger veins, fingerprints, and joint patterns are extracted from a plurality of fingers, and all the biometric features of all fingers are converted into binarized or multivalued feature values. The patterns are merged at the level and extracted as information to be collated by template matching. However, any biometric information that realizes PBI can be similarly applied to any feature extraction method and data format.
次に、抽出した特徴量を事前に決定した基底特徴量の線形和に分解する(S1205)。ここで事前に決定した基底特徴量とは、各基底同士が独立した特徴量であり、本実施例では以下の方法により決定する。まず、事前に用意した多数の手指画像から生体の特徴量を抽出しておき、これらのデータに対して主成分分析 (Principle Component Analysis, PCA) を施してPCA基底特徴量(PCA基底)を抽出する。このとき、寄与率の高い上位M位の基底をM個獲得する。 Next, the extracted feature amount is decomposed into a linear sum of base feature amounts determined in advance (S1205). Here, the basis feature amount determined in advance is a feature amount in which each basis is independent, and is determined by the following method in this embodiment. First, feature values of a living body are extracted from a large number of hand images prepared in advance, and PCA basis features (PCA basis) are extracted by performing principal component analysis (Principle Component Analysis (PCA)) on these data. To do. At this time, M bases with higher M contribution ratios are acquired.
元の生体特徴量をf、PCA基底をxi、i番目のPCA基底に対する重みをaiとすると、PCA変換前の特徴量fは以下の式1の通りに線形和で表現される。なお、xiはPCAを行った際に得られる寄与率の高い順にiの昇順に並べられおり、特にx0は事前に用意した多数の生体特徴量の平均値となる。
Assuming that the original biometric feature quantity is f, the PCA base is x i , and the weight for the i-th PCA base is a i , the feature quantity f before PCA conversion is expressed as a linear sum as shown in
f = a0x0 + a1x1 + a2x2 + … + aKxK + aK+1xK+1 + … + aMxM (式1)
続いて、M個のPCA基底xiに対し、独立成分分析 (Independent component analysis, ICA) によってM個のICA基底sjと混合行列Aとを獲得する。ここでM個のICA基底siを並べた行列をs、混合行列Aの第i行の行ベクトルをAiとすると、生体特徴量は次のように変換される。
f = a 0 x 0 + a 1 x 1 + a 2 x 2 +… + a K x K + a K + 1 x K + 1 +… + a M x M (Formula 1)
Subsequently, for the M PCA bases x i , M ICA bases s j and a mixing matrix A are obtained by independent component analysis (ICA). Here, assuming that a matrix in which M ICA bases s i are arranged is s, and a row vector of the i-th row of the mixing matrix A is A i, the biometric feature is converted as follows.
f = a0(A0s) + a1(A1s) + a2(A2s) + … + aM(AMs) (式2)
定数項をbiとし、ICA基底siを用いて特徴量fを纏めると以下の通りとなる。なお式中のiはICA基底番号である。
f = a 0 (A 0 s) + a 1 (A 1 s) + a 2 (A 2 s) +… + a M (A M s) (Formula 2)
When the constant term is b i and the feature quantity f is summarized using the ICA base s i , the result is as follows. Note that i in the formula is an ICA base number.
f = b0s0 + b1s1 + b2s2 + … + bisi + … + bMsM (式3)
ICA基底siは多数の生体特徴量から選ばれた独立性の高い成分であるため、i番目のICA基底の係数biから他のICA基底の係数bj(j≠i)を推測することは困難となる。
f = b 0 s 0 + b 1 s 1 + b 2 s 2 +… + b i s i +… + b M s M (Equation 3)
Since the ICA basis s i is a highly independent component selected from a large number of biometric features, the coefficient b j (j ≠ i) of the other ICA basis is estimated from the coefficient b i of the i-th ICA basis. Will be difficult.
次に、特徴量fを位置補正特徴量と照合特徴量とに分離する(S1206)。本実施例においては、M個の基底のうち任意のK個の基底を組み合わせて照合特徴量を構成し、残りの(M-K)個の基底によって位置補正特徴量を生成する。このとき、Kの値は1からM-1までを取る。すなわち、基底個数M、照合特徴量の基底個数K、そしてM個の基底からK個の基底を取り出す組み合わせ、が調整パラメータとなる。 Next, the feature quantity f is separated into a position correction feature quantity and a collation feature quantity (S1206). In the present embodiment, an arbitrary K bases among the M bases are combined to form a matching feature amount, and a position correction feature amount is generated by the remaining (M−K) bases. At this time, the value of K ranges from 1 to M-1. That is, the number of bases M, the base number K of collation feature values, and the combination of extracting K bases from the M bases are adjustment parameters.
その後、多数の被験者から撮影した手指画像(同一被験者の画像も多数含む)を事前に用意し、これらの画像から特徴抽出を行い、上述の位置補正特徴と照合特徴とに分割し、後述する照合処理を全画像の総当たりで実施し、その結果で最も認証精度が高まるM、K、そしてM個からK個の基底を取り出す組み合わせ、を探す。そして、その結果から得られるICA基底の組み合わせで照合特徴量と位置特徴量とを構成する。定式化すると、次の式4および式5に示されるように元の特徴量fを位置補正特徴量fpと照合特徴量fmとに分割する。なお、添え字のpiとmiとはそれぞれ位置補正特徴量と照合特徴量におけるICA基底番号である。
After that, hand images taken from a large number of subjects (including many images of the same subject) are prepared in advance, feature extraction is performed from these images, and the image is divided into the above-described position correction features and matching features. The process is performed for all the images, and the search results are searched for M, K, and a combination for extracting K bases from M, which result in the highest authentication accuracy. Then, a matching feature value and a position feature value are configured by a combination of ICA bases obtained from the result. When formulated, divided into the original feature f, as shown in the following
fp = bp0sp0 + bp1sp1 + … + bp(M-K)sp(M-K) (式4)
fm = bm0sm0 + bm1sm1 + … + bmKsmK (式5)
上述のように、位置補正特徴量fpと照合特徴量fmとはそれぞれ独立な基底から構成されているため、仮に位置補正特徴量fpを公開しても照合特徴量fmを推測することはできない。そのため、入力された特徴量と登録された特徴量の位置補正特徴量fpを、非暗号状態で高速に照合してパターンの位置ずれ量を獲得し、その結果を用いて同様に照合特徴量同士を暗号化した状態で照合すれば、安全かつ高速な照合が可能となる。また、仮に位置補正特徴量が悪用される場合があったとしても、上述のICA基底の組み合わせそのものを別の組み合わせに変更することでデータを無効化することもできる。これは、ICA基底の組み合わせそのものがデータ保護の鍵として利用できることを意味する。ただし、照合用特徴量fmは暗号化する必要があるため、任意の暗号方式によって暗号化し、公開しても安全な状態にしておく。
f p = b p0 s p0 + b p1 s p1 +… + b p (MK) s p (MK) (Formula 4)
f m = bm 0 s m0 + b m1 s m1 +… + b mK s mK (Formula 5)
As described above, since the position correction feature quantity f p and the matching feature quantity f m are composed of independent bases, the matching feature quantity f m is estimated even if the position correction feature quantity f p is disclosed. It is not possible. Therefore, the position correction feature value f p of the input feature value and the registered feature value is collated at high speed in the non-encrypted state to obtain the pattern displacement amount, and the matching feature value is similarly obtained using the result. If collation is performed in an encrypted state, safe and high-speed collation is possible. Even if the position correction feature value is misused, the data can be invalidated by changing the combination of the ICA bases described above to another combination. This means that the ICA base combination itself can be used as a key for data protection. However, since the matching feature value f m needs to be encrypted, it is encrypted by an arbitrary encryption method and kept safe even if it is disclosed.
以上説明した手順により、予めICA基底を基底特徴量として獲得しておけば、基底特徴量を定義することが可能となる。 If the ICA base is acquired as a base feature amount in advance by the procedure described above, the base feature amount can be defined.
ここで、元の特徴量fを上述の通り算出したICA基底の線形和で表すための、重みbiの獲得方法について述べる。まず、上述の式1について、PCA基底xiは直交しているため、元の特徴量fとxiとの内積を取ることで変数aiが獲得できる。これをM個のiに対して実施すると、すべての変数aiが得られる。また、xi、sj、混合行列Aも事前に得られているため、aiとAよりbiを獲得することができる。よって、任意の生体情報fをfpおよびfmに変換すること、すなわち、任意の生体情報fに対する係数bpiおよびbmiを獲得することができる。
Here, a method for obtaining the weight bi for expressing the original feature amount f by the linear sum of the ICA bases calculated as described above will be described. First, with respect to
次に、位置補正特徴および照合用特徴を照合可能な形式に変換する(S1207)。たとえば、元の生体情報fが3値の静脈テンプレート画像である場合、上記の通りに位置補正特徴量fpと照合特徴量fmとに変換すると、量子誤差によってこれらは多値画像に変換される。その場合は改めて閾値処理によって3値化パターンへの再変換を実施し、3値テンプレート画像になるよう補正する。他の形式であった場合でも、元の形式となるよう変換しておく。 Next, the position correction feature and the matching feature are converted into a collable format (S1207). For example, if the original biometric information f is vein template image ternary, it is converted into as described above and the position correction feature value f p and matching feature amount f m, they are converted to multi-value image by the quantum error The In that case, re-transformation into a ternary pattern is performed again by threshold processing, and correction is performed so that a ternary template image is obtained. Even if it is in another format, convert it to the original format.
次に、登録と入力の位置補正特徴量を照合する(S1208)。位置補正特徴量同士のテンプレートを従来手法によって照合し、最も類似性が高くなる位置を探して位置ずれ量を得る。 Next, registration and input position correction feature values are collated (S1208). Templates of position correction feature amounts are collated by a conventional method, and a position shift amount is obtained by searching for a position having the highest similarity.
続いて、この位置ずれ量を利用して暗号化された照合用特徴量同士の照合を実施し、両特徴量の類似度を算出する(S1209)。基本的には復号することなく両特徴量の類似度を算出するが、明らかに安全である場合には復号して照合することもできる。最後に、両特徴量の類似度が認証閾値を超えて類似しているかどうかに基づき認証の可否を判定する(S1210)。閾値を超えて類似している場合は認証成功、それ以外で認証失敗と判定し、認証処理を終える。 Subsequently, the matching feature amounts encrypted using the positional deviation amount are collated, and the similarity between both feature amounts is calculated (S1209). Basically, the similarity between both feature quantities is calculated without decoding, but if it is clearly safe, it can be decoded and verified. Finally, whether or not authentication is possible is determined based on whether or not the similarity between both feature quantities exceeds the authentication threshold (S1210). If they are similar beyond the threshold, it is determined that the authentication has succeeded, and otherwise, the authentication has failed, and the authentication process ends.
なお、データ保護の観点から位置補正特徴量同士の類似性を認証の判定に使うことは望ましくないが、実用上問題ないと判断できる場合は、位置補正特徴量同士の類似性も認証判定に利用することで、認証精度を向上することができる。 Although it is not desirable to use the similarity between position correction features for authentication judgment from the viewpoint of data protection, if it can be determined that there is no practical problem, the similarity between position correction features is also used for authentication judgment. By doing so, the authentication accuracy can be improved.
以上説明した本実施例の手法により、PCAおよびICAを用いて獲得した基底の個数Mおよび位置補正特徴に利用する基底の個数Kを調整することで、位置補正特徴および照合特徴に使用する情報量をきめ細かく調整することができる。たとえば利用する生体特徴が元々位置ずれの生じにくいものであれば、Kを大きな値に調整して照合特徴に配分する情報量を大きくするなど、生体特徴の特性に合わせたバランス調整が可能となる。 By adjusting the number M of bases acquired using PCA and ICA and the number K of bases used for position correction features by the method of the present embodiment described above, the amount of information used for position correction features and matching features Can be finely adjusted. For example, if the biometric feature to be used is not likely to be displaced, it is possible to adjust the balance according to the characteristics of the biometric feature, such as adjusting K to a large value and increasing the amount of information distributed to the matching feature. .
一般的には、静脈や指紋、関節模様など、解剖学的に異なる複数の生体特徴を画像から抽出し、生体特徴ごとに位置補正特徴と照合特徴とに分ける方法が最も簡単であると考えられる。しかしながらこの方式の課題は、通常抽出できる生体特徴のバリエーションは高々数個であり、位置補正特徴に用いる生体特徴の選択肢が少ないため十分な位置補正ができない可能性が生じる問題や、生体特徴の単位で位置補正用および照合用特徴に分ける必要があるため、どの生体特徴も位置補正だけに活用するにはオーバースペックとなる場合は余剰の情報量を照合情報として活用することができないなどの問題がある。さらには、各生体特徴が必ずしも独立な情報であるという保証がなく、位置補正特徴から照合特徴が推測される可能性もある。 In general, the simplest method is to extract multiple anatomically different biological features such as veins, fingerprints, and joint patterns from an image and divide them into position correction features and matching features for each biological feature. . However, the problem with this method is that there are at most several variations of biometric features that can be extracted, and there are few biometric feature options used for position correction features. Because it is necessary to divide it into features for position correction and features for collation, there is a problem that if any biological feature is over-spec to be used only for position correction, excess information cannot be used as collation information. is there. Furthermore, there is no guarantee that each biometric feature is necessarily independent information, and a collation feature may be inferred from the position correction feature.
これらの課題に対し、本実施例の構成によれば、複数の生体特徴の全情報から、ICAに基づいて独立成分を獲得することにより、互いに独立した生体特徴で構成された位置補正特徴および照合特徴を柔軟に抽出してバランスを調整できる点、さらには数学的に独立な情報であることを前提としているため非暗号の位置補正特徴から照合用特徴を推測することが困難である点、があることにより前述の課題を解決でき、従来よりも安全で高精度な認証が実現できる。 In response to these problems, according to the configuration of the present embodiment, by acquiring independent components from all the information of a plurality of biometric features based on ICA, position correction features and collations made up of biometric features independent of each other It is possible to adjust the balance by extracting features flexibly, and it is difficult to infer the matching feature from the non-encrypted position correction feature because it is assumed that the information is mathematically independent. As a result, the above-mentioned problems can be solved, and safer and more accurate authentication than before can be realized.
なお、上述した複数の生体特徴を更に増やし、静脈、指関節模様、指紋および皮膚模様、指輪郭、脂肪紋、指の長さの比率、指幅などを取り出し、これらの生体特徴の中から独立性の高い生体特徴を分類し、そのうちの一部を位置合わせに、残りを照合特徴として利用することができれば、生体特徴ごとに位置補正特徴と照合特徴に分ける方法を適用しても安全性および精度を向上することが可能となる。また、RGBの3枚のカラー画像に対してICAを施し、それぞれ独立な画像特徴を抽出しても良い。この場合、解剖学的に意味のある生体特徴が獲得できるとは限らないが、仮に解剖学的な複数の生体特徴の間に独立性が保障できないとしても、ICAに基づいて独立成分を獲得することにより数学的に独立性が保障されるため、より安全な生体特徴の分離が実現できる。 The above-mentioned multiple biometric features are further increased, and veins, finger joint patterns, fingerprints and skin patterns, finger outlines, fat prints, finger length ratios, finger widths, etc. are extracted and independent from these biometric features. If biometric features with high characteristics can be classified and some of them can be used for registration and the rest can be used as matching features, safety and The accuracy can be improved. Alternatively, ICA may be applied to the three RGB color images to extract independent image features. In this case, anatomically meaningful biological features may not be acquired, but independent components are acquired based on ICA even if independence cannot be guaranteed between multiple anatomical biological features. As a result, independence is ensured mathematically, and safer biometric feature separation can be realized.
本実施例によれば、入力される生体が実際の生体であることを検知でき、また生体情報を秘匿しながらも高速かつ高精度に照合することができ、データ秘匿性が高く、高速で高精度な生体認証システムを提供することができる。 According to the present embodiment, it is possible to detect that an input living body is an actual living body, and it is possible to perform high-speed and high-accuracy collation while keeping biological information confidential, and high data confidentiality and high speed can be achieved. An accurate biometric authentication system can be provided.
実施例3は、指の血管を用いた生体認証システムの他の構成の実施例である。図13は、実施例3のシステムの全体の構成を示す図である。利用者は指1を入力装置2に具備された指置き台240に指の位置を合わせて提示する。天井部242に設置された光源3は赤外光源であり、指1に向けて赤外光を照射する。指1を透過した赤外光は開口部241を介して撮像装置9に到達する。撮像装置9は赤外カメラであり、指1の赤外透過光を撮影する。この映像には指静脈パターンが撮影されており、認証処理部や認証端末によって、この撮影された指静脈パターンに基づく生体認証が実施される。天井部242は外部の環境光が撮像装置9に入らないように遮光することができる。
Example 3 is an example of another configuration of a biometric authentication system using a finger blood vessel. FIG. 13 is a diagram illustrating an overall configuration of a system according to the third embodiment. The user presents the
本装置構成において、実施例1および実施例2で説明した脈拍検出、異物検知を適用することにより、入力される生体情報の信頼性を高めることができる。その処理手順は図2および図3に示した方法が適用できる。 In this apparatus configuration, by applying the pulse detection and foreign object detection described in the first and second embodiments, the reliability of the input biological information can be improved. As the processing procedure, the method shown in FIGS. 2 and 3 can be applied.
本実施例の生体認証システムの構成においては、入力装置2の上部には天井部242が設置されているため、外光の影響が少なくでき、また指静脈パターンの撮影は赤外透過光に基づく方式であるため鮮明な映像を撮影できるため、特に脈拍検出における検出精度を高めることができる。
In the configuration of the biometric authentication system of the present embodiment, since the
脈拍検出を実施する際は、指1が移動しないよう、画像中の指の移動量を測定し、移動が検出された場合は指を動かさないように利用者にガイダンスを表示する。指1が静止されている間、光源3の光量は、上述の指先領域の画像の輝度値が白飛び(飽和)しない程度の明るさに調整したまま固定値で照射し続ける。これにより、血流量の変動に起因する画像の輝度変化をよりロバストに観測することが可能となる。
When performing pulse detection, the amount of movement of the finger in the image is measured so that the
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for better understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
更に、上述した各構成、機能、認証処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、認証処理部の全部または一部の機能は、プログラムに代え、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路などにより実現してもよい。 Further, the above-described configuration, function, authentication processing unit, and the like have been described as an example of creating a program that realizes a part or all of them. Needless to say, it may be realized by hardware. That is, all or part of the functions of the authentication processing unit may be realized by an integrated circuit such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) instead of the program.
本発明は、利用者自身が登録作業を実施することのできる運用性の高い認証システムと、高速で高精度な生体認証装置とを提供することができ、個人認証装置として有用である。 INDUSTRIAL APPLICABILITY The present invention can provide an authentication system with high operability that allows the user himself to perform registration work and a high-speed and high-accuracy biometric authentication device, and is useful as a personal authentication device.
1 指
2 入力装置
3 光源
9 カメラ
10 認証処理部
11 中央処理部
12 メモリ
13 インターフェイス
14 記憶装置
15 表示部
16 入力部
17 スピーカ
18 画像入力部
50 脈動信号
51 時間微分
60 手指輪郭線
61 指先
62 指内部領域
63 指輪郭線に直交する直線
64 指先領域の中心の初期位置
65 指先領域の中心
66 指先領域
120 注目画素とその8近傍画素
121 基本的なLBPコード
180 赤プレーンの注目画素
181 赤プレーンの近傍画素
182 緑プレーンの注目画素
183 緑プレーンの近傍画素
184 青プレーンの注目画素
185 青プレーンの近傍画素
200 利用者
201 スマートフォン
202 認証サーバ
204 暗号化された生体の登録データ
205 ネット回線
206 認証サーバのデータベース
207 会場の認証端末
208 暗号化された入力データ
240 指置き台
241 開口部
242 天井部
1
Claims (15)
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像に映る前記生体の輝度値の時間的変化を獲得し、前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記輝度値の時間的変化および前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定する生体判定部を有する、
ことを特徴とする生体認証装置。 An imaging unit for imaging a living body;
An image processing unit that processes an image captured by the imaging unit and includes an authentication processing unit that performs authentication of the living body,
The authentication processing unit
Obtaining a temporal change in the brightness value of the living body reflected in the image, extracting a texture feature of the living body photographed in the image, and determining whether the living body is true based on the temporal change in the brightness value and the texture feature. A living body determination unit for determining that the living body is
A biometric authentication device.
前記生体の輝度値の時間的変化は、前記生体の指先領域の輝度値の変化である、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 1,
The temporal change in the brightness value of the living body is a change in the brightness value of the fingertip region of the living body.
A biometric authentication device.
前記認証処理部は、
前記生体の指先の輪郭線に対して直交する複数の直線が通る数に基づき、前記生体の指先領域の中心を検出する、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 2,
The authentication processing unit
Detecting the center of the fingertip region of the living body based on the number of passages of a plurality of straight lines orthogonal to the outline of the fingertip of the living body;
A biometric authentication device.
前記認証処理部は、
前記生体の指先領域の輝度値の変化により脈動信号を検出し、前記脈動信号を時間微分して、前記生体の脈拍検出を行う、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 2,
The authentication processing unit
A pulsation signal is detected by a change in luminance value of the fingertip region of the living body, and the pulsation signal is time-differentiated to detect a pulse of the living body.
A biometric authentication device.
前記認証処理部は、
前記生体の指先が移動している場合は、前記生体の脈拍検出を行わない、
ことを特徴とする生体認識装置。 The biometric authentication device according to claim 4,
The authentication processing unit
When the fingertip of the living body is moving, the pulse detection of the living body is not performed.
A biological recognition apparatus characterized by the above.
前記生体に光を照射する光源を備え、
前記認証処理部は、
前記テクスチャ特徴を抽出する際に、前記光源を点滅させるよう制御する、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 1,
A light source for irradiating the living body with light;
The authentication processing unit
Controlling the light source to blink when extracting the texture features;
A biometric authentication device.
前記認証処理部は、
前記テクスチャ特徴を抽出する際に、前記生体の指のジェスチャーを検出する、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 1,
The authentication processing unit
Detecting the finger gesture of the living body when extracting the texture feature;
A biometric authentication device.
前記生体判定部は、
前記テクスチャ特徴のヒストグラム特徴量から機械学習により判定用パラメータを獲得して判定を行う、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 1,
The biological determination unit is
The determination is performed by acquiring a determination parameter by machine learning from the histogram feature amount of the texture feature.
A biometric authentication device.
前記生体判定部は、
前記機械学習に多段に接続したランダムフォレストを用いる、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 8,
The biological determination unit is
Using a random forest connected in multiple stages to the machine learning,
A biometric authentication device.
前記多段に接続したランダムフォレストは、脈動異物チェック用ランダムフォレストと、通常異物チェック用ランダムフォレストを含む、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 9,
The random forest connected in multiple stages includes a random forest for pulsating foreign matter check and a random forest for normal foreign matter check,
A biometric authentication device.
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像に映る前記生体が真の生体であることを判定する、判定基準の異なる複数の生体判定部と、
前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
前記生体特徴の類似度を比較する照合部と、を有し、
前記複数の生体判定部が、前記生体が真の生体であることを判定した場合、前記特徴抽出部は前記生体の生体特徴を抽出し、前記照合部が抽出された前記生体特徴と登録データの類似度を比較する、
ことを特徴とする生体認証装置。 An imaging unit for imaging a living body;
An image processing unit that processes an image captured by the imaging unit and includes an authentication processing unit that performs authentication of the living body,
The authentication processing unit
A plurality of living body determination units having different determination criteria for determining that the living body reflected in the image is a true living body;
A feature extraction unit for extracting the biological features of the living body from the image;
A matching unit for comparing the similarity of the biometric features,
When the plurality of biological determination units determine that the biological is a true biological, the feature extraction unit extracts the biological features of the biological, and the biometric features extracted from the collation unit and the registered data Compare similarities,
A biometric authentication device.
前記複数の生体判定部は、
前記画像に撮影された前記生体のテクスチャ特徴を抽出し、前記テクスチャ特徴に基づき、前記生体が真の生体であることを判定する、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 11,
The plurality of biological determination units are
Extracting the texture feature of the living body photographed in the image, and determining that the living organism is a true living body based on the texture feature;
A biometric authentication device.
前記複数の生体判定部は、
前記テクスチャ特徴のヒストグラム特徴量からランダムフォレストにより判定用パラメータを獲得して判定を行い、
前記ランダムフォレストは、多段に接続された脈動異物チェック用ランダムフォレストと通常異物チェック用ランダムフォレストを含む、
ことを特徴とする生体認証装置。 The biometric authentication device according to claim 12,
The plurality of biological determination units are
Obtain a determination parameter by random forest from the histogram feature amount of the texture feature and perform determination,
The random forest includes a random forest for checking pulsating foreign matter and a normal forest for checking foreign matter connected in multiple stages,
A biometric authentication device.
前記撮像部によって撮影された画像を処理し、前記生体の認証を行う認証処理部を備え、
前記認証処理部は、
前記画像から前記生体の生体特徴を抽出する特徴抽出部と、
抽出した前記生体特徴を、互いに独立な生体特徴量で構成された位置補正特徴量と照合特徴量に分割し、前記位置補正特徴量によって前記生体の位置ずれ量を得、前記位置ずれ量を用いて前記照合特徴量によって前記生体特徴と登録データの類似度を比較する照合部と、を備える、
ことを特徴とする生体認証装置。 An imaging unit for imaging a living body;
An image processing unit that processes an image captured by the imaging unit and includes an authentication processing unit that performs authentication of the living body,
The authentication processing unit
A feature extraction unit for extracting the biological features of the living body from the image;
The extracted biometric feature is divided into a position correction feature amount and a collation feature amount constituted by mutually independent biometric feature amounts, and a positional deviation amount of the living body is obtained by the position correction feature amount, and the positional deviation amount is used. A matching unit that compares the biometric feature and the similarity of registered data by the matching feature amount,
A biometric authentication device.
前記認証処理部は、
前記生体が真の生体であることを判定する生体判定部を有し、前記生体判定部で前記生体が真の生体であることを判定した場合、前記照合部で前記生体特徴と前記登録データの類似度を比較する、
ことを特徴とする生体認識装置。 The biometric authentication device according to claim 14,
The authentication processing unit
When the living body determination unit determines that the living body is a true living body, and the living body determination unit determines that the living body is a true living body, the matching unit stores the biological feature and the registration data. Compare similarities,
A biological recognition apparatus characterized by the above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187990A JP6792986B2 (en) | 2016-09-27 | 2016-09-27 | Biometric device |
PCT/JP2017/033177 WO2018061786A1 (en) | 2016-09-27 | 2017-09-14 | Living body authentication device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187990A JP6792986B2 (en) | 2016-09-27 | 2016-09-27 | Biometric device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055231A true JP2018055231A (en) | 2018-04-05 |
JP6792986B2 JP6792986B2 (en) | 2020-12-02 |
Family
ID=61759583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016187990A Active JP6792986B2 (en) | 2016-09-27 | 2016-09-27 | Biometric device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6792986B2 (en) |
WO (1) | WO2018061786A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020064541A (en) * | 2018-10-19 | 2020-04-23 | 富士通株式会社 | Identity verification program, identity verification method and information processing apparatus |
JP2021036645A (en) * | 2019-08-30 | 2021-03-04 | 日本電気株式会社 | Communication node, multi-hop network, method and program for checking validity of device |
WO2023090429A1 (en) * | 2021-11-19 | 2023-05-25 | 国立大学法人電気通信大学 | Biological detection system, biological detection method, and program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183156B (en) * | 2019-07-02 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | Living body detection method and equipment |
CN113420582B (en) * | 2020-11-04 | 2023-09-05 | ***股份有限公司 | Anti-fake detection method and system for palm vein recognition |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002042117A (en) * | 2000-07-25 | 2002-02-08 | Nec Corp | Fingerprint authenticating device |
JP2002074345A (en) * | 2000-09-01 | 2002-03-15 | Glory Ltd | Device/method for detecting illegality and computer- readable recording medium with program for making computer perform the method recorded thereon |
JP2003051012A (en) * | 2001-08-03 | 2003-02-21 | Nec Corp | Method and device for authenticating user |
JP2003144420A (en) * | 2001-11-09 | 2003-05-20 | Nec Corp | Fingerprint image input device and electronic equipment using the same |
JP2004070949A (en) * | 1998-04-07 | 2004-03-04 | Omron Corp | Image processor and method, medium storing program for image processing and inspection equipment |
JP2009545822A (en) * | 2006-07-31 | 2009-12-24 | ルミダイム インコーポレイテッド | Spatial-spectral fingerprint spoof detection |
JP2010108365A (en) * | 2008-10-31 | 2010-05-13 | Hitachi Ltd | Biometric authentication method and system |
JP2011013710A (en) * | 2009-06-30 | 2011-01-20 | Nec Corp | Biological pattern imaging device |
US20160070967A1 (en) * | 2014-09-05 | 2016-03-10 | Qualcomm Incorporated | Multi-Stage Liveness Determination |
JP2016106661A (en) * | 2014-12-02 | 2016-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Biological identification system and electronic apparatus |
-
2016
- 2016-09-27 JP JP2016187990A patent/JP6792986B2/en active Active
-
2017
- 2017-09-14 WO PCT/JP2017/033177 patent/WO2018061786A1/en active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070949A (en) * | 1998-04-07 | 2004-03-04 | Omron Corp | Image processor and method, medium storing program for image processing and inspection equipment |
JP2002042117A (en) * | 2000-07-25 | 2002-02-08 | Nec Corp | Fingerprint authenticating device |
JP2002074345A (en) * | 2000-09-01 | 2002-03-15 | Glory Ltd | Device/method for detecting illegality and computer- readable recording medium with program for making computer perform the method recorded thereon |
JP2003051012A (en) * | 2001-08-03 | 2003-02-21 | Nec Corp | Method and device for authenticating user |
JP2003144420A (en) * | 2001-11-09 | 2003-05-20 | Nec Corp | Fingerprint image input device and electronic equipment using the same |
JP2009545822A (en) * | 2006-07-31 | 2009-12-24 | ルミダイム インコーポレイテッド | Spatial-spectral fingerprint spoof detection |
JP2010108365A (en) * | 2008-10-31 | 2010-05-13 | Hitachi Ltd | Biometric authentication method and system |
JP2011013710A (en) * | 2009-06-30 | 2011-01-20 | Nec Corp | Biological pattern imaging device |
US20160070967A1 (en) * | 2014-09-05 | 2016-03-10 | Qualcomm Incorporated | Multi-Stage Liveness Determination |
JP2016106661A (en) * | 2014-12-02 | 2016-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Biological identification system and electronic apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020064541A (en) * | 2018-10-19 | 2020-04-23 | 富士通株式会社 | Identity verification program, identity verification method and information processing apparatus |
JP2021036645A (en) * | 2019-08-30 | 2021-03-04 | 日本電気株式会社 | Communication node, multi-hop network, method and program for checking validity of device |
JP7347019B2 (en) | 2019-08-30 | 2023-09-20 | 日本電気株式会社 | Communication nodes, multi-hop networks, equipment validation methods and programs |
WO2023090429A1 (en) * | 2021-11-19 | 2023-05-25 | 国立大学法人電気通信大学 | Biological detection system, biological detection method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6792986B2 (en) | 2020-12-02 |
WO2018061786A1 (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220165087A1 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US9361507B1 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US9064145B2 (en) | Identity recognition based on multiple feature fusion for an eye image | |
WO2018061786A1 (en) | Living body authentication device | |
Zhang et al. | 3D Biometrics | |
Zhang et al. | Advanced biometrics | |
Yadav et al. | Fingerprint recognition based on minutiae information | |
Shawkat et al. | The new hand geometry system and automatic identification | |
KR102375593B1 (en) | Apparatus and method for authenticating user based on a palm composite image | |
Chan et al. | A study of distinctiveness of skin texture for forensic applications through comparison with blood vessels | |
Gururaj et al. | Threats, consequences and issues of various attacks on online social networks | |
Dewangan | Human authentication using biometric recognition | |
Tee et al. | Facial recognition using enhanced facial features k-nearest neighbor (k-NN) for attendance system | |
Chowdhury et al. | Biometric authentication using facial recognition | |
Agarwal et al. | Human identification and verification based on signature, fingerprint and iris integration | |
Das et al. | An introduction to biometric authentication systems | |
Boonkrong et al. | Biometric Authentication | |
Trabelsi et al. | A bi-modal palmvein palmprint biometric human identification based on fusing new CDSDP features | |
El-Bakry et al. | Personal identification through biometric technology | |
Purohit et al. | Contemporary biometric system design | |
Kumar et al. | A brief review of image quality enhancement techniques based multi-modal biometric fusion systems | |
Al-Rashid | Biometrics Authentication: Issues and Solutions | |
Kolda et al. | Contactless identification system based on visual analysis of examined element | |
FARES Mohamed et al. | Multimodal Biometric System using FKP recognition pattern | |
Chaivong et al. | Information Fusion for Enhancing Presentation Attack Detection in Iris Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6792986 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |