JP2022068055A - 生体認証装置および生体認証方法 - Google Patents

生体認証装置および生体認証方法 Download PDF

Info

Publication number
JP2022068055A
JP2022068055A JP2020176985A JP2020176985A JP2022068055A JP 2022068055 A JP2022068055 A JP 2022068055A JP 2020176985 A JP2020176985 A JP 2020176985A JP 2020176985 A JP2020176985 A JP 2020176985A JP 2022068055 A JP2022068055 A JP 2022068055A
Authority
JP
Japan
Prior art keywords
light
wavelength
image
living body
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020176985A
Other languages
English (en)
Other versions
JP7519871B2 (ja
Inventor
直人 三浦
Naoto Miura
友輔 松田
Yusuke Matsuda
晃朗 長坂
Akio Nagasaka
洋 野々村
Hiroshi Nonomura
渓一郎 中崎
Keiichiro NAKAZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020176985A priority Critical patent/JP7519871B2/ja
Priority to CN202111147558.9A priority patent/CN114387629A/zh
Priority to EP21200460.0A priority patent/EP3989182A3/en
Priority to KR1020210132217A priority patent/KR102679397B1/ko
Priority to US17/497,802 priority patent/US11837029B2/en
Priority to TR2021/016140A priority patent/TR2021016140A2/tr
Publication of JP2022068055A publication Critical patent/JP2022068055A/ja
Application granted granted Critical
Publication of JP7519871B2 publication Critical patent/JP7519871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1324—Sensors therefor by using geometrical optics, e.g. using prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Vascular Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】生体撮像時の外光環境にばらつきが生じる場合でも、高精度な認証を実現する。【解決手段】生体を撮影した画像を撮像する撮像部と、生体を撮影するための光源と、波長に応じて選択的に光を通過および遮断する光学フィルタと、同時に撮影された複数の波長をそれぞれ分離する分光処理部と、撮像された前記画像における前記生体の所定部位の形状および姿勢を算出する算出部と、生体の映像が撮影される分光画像と不要な外光が撮影される分光画像とを用いて生体の映像から背景を除去する背景除去部と、前記所定部位の画像を用いて生体認証を行う認証部と、を有する。【選択図】 図１Ａ

Description

本発明は、生体情報を用いて個人を認証する生体認証装置および生体認証方法に関する。
様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の複雑な血管パターンを使用するため優れた認証精度を実現し、かつ指紋認証に比べて偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。
近年、コンビニエンスストアなどの小売店や飲食店などでは、個人のスマートフォンと連携したＱＲ決済をはじめとするキャッシュレス決済が普及しつつある。このような決済手段は現金の支払いが不要で利便性が高く、また様々なポイントサービスとの連携により顧客の購買意欲を高められるため、店舗側の導入メリットも大きい。その反面、スマートフォンの持ち忘れや、故障、紛失などで決済ができなかったり、またスマートフォンの盗難により他人に利用されたりするリスクがある。これに対し、利用者本人の生体を利用して決済を行う生体認証による決済が広く検討され始めており、徐々に実用化されつつある。
生体認証による決済では、指、手、顔など利用者自身の生体を生体認証端末にかざすことで事前に登録した生体情報との照合が行われ、登録者本人であると認証された場合に決済が完了する。特に指を用いた生体認証では端末に具備された指置き台に指を置く場合が多いが、装置と指とのサイズが合わなかったり、また端末に触れたくないと感じたりする利用者もいるため、非接触でも認証できることが望ましい。この場合、装置上部を開放的に設計することになるが、生体をカメラで撮影する場合は端末が設置されている照明環境の影響を受け、特に不要な外光が存在すると生体を正しくスキャンできない場合がある。また、非接触の場合はどこにどのように生体をかざせば良いかを明確に示すことも重要となる。
従って、非接触型の生体認証装置を実現するためには、端末の設置環境の影響を受けにくい技術を提供すると共に、直観的に分かりやすい生体の提示誘導手段の提供や、生体をかざすときの位置や姿勢がずれてしまった場合でも正しく認証が実施できる技術を提供することが課題となる。
外光の影響を低減する方法に関する先行技術に関し、掌静脈で認証を行う際に装置光源の光と外光とを正しく判別する技術として特許文献１が、指静脈および指の表皮で認証を行う際に背景分離処理を行う技術として特許文献２がある。
特開２０１９－０４０４７２号公報 特開２０２０－１２３０６８号公報
指の生体特徴を利用した非接触型の指認証においては、外光の影響を受けずに生体をセ
ンシングする技術と指のかざし方を誘導する技術とが必要となる。特に、装置の周辺環境に太陽光などの不要な外光が差し込む場合、部屋の天井や壁などに強い光が反射して指の背景に不要な被写体が映り込むため、指の撮影位置や姿勢の検出処理が正しく実施できなくなり、認証精度が劣化する課題があった。
特許文献１では、掌静脈を用いた生体認証を行うにあたり、静脈撮影用の照明を適切に調整する必要があるが、撮影した画像に高輝度な領域があった場合に、外光によって輝度が高まっているのか装置の照明が強すぎるために輝度が高まっているのかを判定する技術が開示されている。しかしながら特許文献１では外光によって生体の背景に不要な被写体が映り込むことで生体の検出に失敗するという課題を解決する技術について言及はない。
特許文献２では、指静脈および指の表皮を用いた生体認証を行うにあたり、手指の領域と背景の領域とを分離するために、ＲＧＢの色ごとに分離した画像の輝度差が小さい部分を背景と判定する技術が開示されている。しかしながら特許文献２で開示する背景分離は、外光が特定の波長や強度である場合にのみ正しく動作するため、多様な環境下で実現可能な背景分離技術に関する言及はない。
上述した問題点は、指に限らず、利用者の掌、手の甲、顔などの様々な生体についても同様のことが言える。このように従来技術では、複数指をはじめ様々な生体を用いた生体認証において、多様な外光環境下で生体の位置や姿勢を正しく検出できず、認証精度の低下を招く課題があった。
本発明は、生体撮像時の外光環境にばらつきが生じる場合でも、高精度な認証を実現することが可能な生体認証装置および生体認証方法を提供することを目的とする。
本発明の生体認証装置の好ましい例では、生体に照射する第１の波長を含む帯域の光と、生体に照射する第１の波長とは異なる第２の波長を含む帯域の光と、並びに外部環境に起因する第１および第２の波長とは異なる第３の波長を含む帯域の光を透過させ、それ以外の帯域の波長を遮断する光学フィルタを介して、生体を撮影した画像を撮像する撮像部と、得られた前記生体を撮影した画像より、第１の波長の光強度の画像と、第２の波長の光強度の画像と、及び第３の波長の光強度の画像を分離して獲得する分光処理部と、前記第３の波長の光強度の画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去する背景除去部と、前記背景領域を除去した第１および第２の波長の光強度の画像より、生体の各種特徴を抽出し、予め登録されている各個人別の生体特徴と照合して、生体特徴ごとの類似度を算出して、各種生体特徴の類似度に基づき個人を特定する生体認証を行う認証処理部とを備えて構成する。
また、本発明の他の特徴として、前記生体認証装置において、前記背景除去部は、予め学習処理において、多数回の生体の提示によって、生体を撮影した画像より第１、第２、および第３の波長の光強度の画像を分離し、撮像部に並設した距離センサにより計測した正解の距離画像を教師データとして多数用意して学習させたニューラルネットワークを備え、分光処理部によって分離された被写体の第１、第２、および第３の波長の光強度の画像をニューラルネットワークへ入力して、提示された生体の距離画像を推定し、距離画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去する。
また、本発明の生体認証方法の好ましい例では、利用者がかざした生体を、生体に照射する第１の波長を含む帯域の光と、生体に照射する第１の波長とは異なる第２の波長を含む帯域の光と、並びに外部環境に起因する第１および第２の波長とは異なる第３の波長を含む帯域の光を透過させ、それ以外の帯域の波長を遮断する光学フィルタを介して、撮像部が撮影して画像を取得し、分光処理部が、得られた前記生体を撮影した画像より、第１の波長の光強度の画像と、第２の波長の光強度の画像と、及び第３の波長の光強度の画像を分離して獲得し、背景除去部が、前記第３の波長の光強度の画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去し、認証処理部が、前記背景領域を除去した第１および第２の波長の光強度の画像より、生体の各種特徴を抽出し、予め登録されている各個人別の生体特徴と照合して、生体特徴ごとの類似度を算出して、各種生体特徴の類似度に基づき個人を特定する生体認証を行う、ことを特徴とする。
本発明によれば、生体撮像時に不要な被写体が映り込む場合でも、高精度な認証を実現することが可能となる。
実施例１に係る、生体認証システムの全体の構成を示す図である。 実施例１に係る、メモリに格納されているプログラムの機能構成の一例を示す図である。 実施例１に係る、入力装置の断面図(ａ)および上面図(ｂ)である。 実施例１に係る、バンドパスフィルタの分光透過率特性の説明図である。 実施例１に係る、生体認証システムの登録処理部の処理フローの一例を示す図である。 実施例１に係る、生体認証システムの認証処理部の処理フローの一例を示す図である。 実施例１に係る、カメラの分光感度特性を示した模式図である。 実施例１に係る、外光が撮影された場合の背景除去の説明図である。 実施例１に係る、バンドパスフィルタの分光透過率特性の別の構成の説明図である。 実施例２に係る、被写体の距離測定の原理説明図である。 実施例２に係る、被写体の距離を学習および推論するニューラルネットワークの一例を示す構成図である。 実施例３に係る、指先の位置を誘導する認証装置の一実施例である。 実施例３に係る、指の距離を推定する一実施例の説明図である。 実施例３に係る、指先を誘導する装置構造の一例の説明図である。 実施例３に係る、装置の設置方法の一例を示す説明図である。
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。
なお、本明細書において、生体特徴とは、指静脈、指紋、関節模様、皮膚模様、指輪郭形状、脂肪小葉紋、各指の長さの比率、指幅、指面積、メラニン模様、掌静脈、掌紋、手の甲静脈、顔静脈、耳静脈、あるいは顔、耳、虹彩、などの解剖学的に異なる生体の特徴を意味する。
図１Ａは、本実施例において手の指の生体特徴を用いた生体認証システム１０００の全体の構成の一例を示す図である。尚、本実施例の構成はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成としてもよいことは言うまでも無い。装置は、認証処理を含めた個人認証装置としても良いし、認証処理は装置外部で行い、指の画像の取得に特化した指画像取得装置、指の特徴画像抽出装置としてもよい。また、端末としての実施形態であってもよい。少なくとも、生体を撮影する撮像部と、撮影された画像を処理し、生体の認証を行う認証処理部を備える構成を生体認証装置と呼ぶ。
図１Ａに示す本実施例の生体認証システム１０００は、撮像部である入力装置２、認証処理装置１０、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８を含む。入力装置２は、筐体内部に設置された撮像装置９を含み、その筐体に設置された光源３が含まれていても良い。認証処理装置１０は画像処理機能を備える。
光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上方に提示された指１に光を照射する。光源３は実施形態によって様々な波長が照射できるものであっても良く、また生体の透過光を照射できるものであっても良く、また生体の反射光を照射できるものであっても良い。
撮像装置９は、入力装置２に提示された指１の画像を撮影する。なお、同時に顔、虹彩、手の甲、掌などの生体を撮影しても良い。撮像装置９は複数の波長の光を撮影できる光学センサであり、カラーカメラであってもよく、可視光に加えて紫外光あるいは赤外光が同時に撮影できるマルチスペクトルカメラであってもよい。また被写体の距離が計測できる距離カメラでもよく、また同じカメラを複数組み合わせたステレオカメラの構成でも良い。入力装置２にはこのような複数の撮像装置を含んでいても良い。さらに、指１は複数本であっても良く、両手の複数指を同時に含んでも良い。
画像入力部１８は、入力装置２内の撮像装置９で撮影された画像を取得し、取得した画像を認証処理装置１０へ出力する。画像入力部１８としては、例えば、画像を読み取るための各種リーダ装置(例えば、ビデオキャプチャボード)を用いることができる。
認証処理装置１０は、例えば、中央処理部（ＣＰＵ）１１、メモリ１２、種々のインターフェイス（ＩＦ）１３、及び通信部１９を含むコンピュータから構成される。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって認証処理などの各機能部を実現する。
図１Ｂは、認証処理装置１０の各機能を実現するために、メモリ１２に格納されているプログラムの機能構成の一例を示す図である。図１Ｂに示すように、認証処理装置１０は、個人の生体特徴を個人ＩＤと紐づけて予め登録する登録処理部２０、現在撮像して抽出した生体特徴を登録されている生体情報に基づいて認証して認証結果を出力する認証処理部２１、入力された画像に対してノイズ除去や生体の位置検出などを行う画像処理部２２、撮影された複数の波長の映像をそれぞれの波長の映像に分離する分光処理部２３、生体の背景に映り込む不要な被写体を除去する背景除去部２４、生体が認証に適した姿勢となるよう利用者を誘導すると共に生体の姿勢変動を補正する姿勢補正部２５、登録処理や認証処理の際に生体特徴を抽出する特徴抽出部２６、生体特徴の類似度を比較する照合部２７、及び入力装置の各光源の照射光の強度を適切に調整する光量調整部２８の各種処理ブロックから構成されている。これらの各種処理については後で詳述する。メモリ１２は、ＣＰＵ１１によって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像などを一時的に記憶する。
インターフェイス１３は、認証処理装置１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７、及び画像入力部１８などと接続するためのポート等を有した機器である。
通信部１９は、認証処理装置１０が通信ネットワーク３０経由で外部の装置と通信を行うためのものである。通信部１９は、通信ネットワーク３０が有線ＬＡＮであればＩＥＥＥ８０２．３規格に則った通信を行う装置であり、通信ネットワーク３０が無線ＬＡＮであればＩＥＥＥ８０２．１１規格に則った通信を行う装置である。
記憶装置１４は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）から構成され、利用者の登録データなどを記憶する。登録データは、登録処理時に得られる利用者を照合するための情報であり、例えば、登録者ＩＤに紐づけられた指静脈パターンなどの画像データや生体特徴データである。指静脈パターンの画像は、指の皮下に分布する血管である指静脈を暗い影のパターンもしくはやや青み掛かったパターンとして撮影した画像である。また指静脈パターンの特徴データは、静脈部分の画像を２値ないし８ビット画像に変換したデータ、あるいは静脈の屈曲部、分岐、端点などの特徴点の座標もしくは特徴点周辺の輝度情報から生成した特徴量からなるデータである。
表示部１５は、例えば液晶ディスプレイであり、認証処理装置１０から受信した情報および前記生体の姿勢誘導情報および姿勢判定結果を表示する出力装置である。入力部１６は、例えば、キーボードやタッチパネルであり、利用者から入力された情報を認証処理装置１０に送信する。なお、表示部１５はタッチパネルなどの入力機能を有していても良い。スピーカ１７は、認証処理装置１０から受信した情報を、例えば音声などの音響信号で発信する出力装置である。
図２(ａ),(ｂ)は、本実施例で詳述する入力装置２の断面図(図２(ａ))、および上面図(図２(ｂ))である。生体を撮影するための光源３に対応するものとして、可視光源４１および赤外光源４２が筐体の上部に具備されており、それぞれの光源から指１に向けて可視光および赤外光を照射する。可視光と赤外光は例えばそれぞれの中心波長が５３０ｎｍと８５０ｎｍの光である。これらの２波長の光は指１の表面および表面下で反射、吸収、散乱したのちに入力装置２に反射光として到達する。
可視光は主に皮膚表面の細かいしわ、指紋、指関節のしわ、脂肪小葉やメラニン模様などに起因する斑点状の特徴を撮影し、また赤外光は主に皮下の血管特徴を撮影するものである。そのため、本実施例に記載した中心波長や波長の種類数に限定することなく、利用したい生体特徴を撮影するためにふさわしい複数の波長の組合せの範囲で任意に設定できる。本実施例のように２波長を照射する装置構成であれば、撮影できる生体特徴のバリエーションは１波長の場合に比べて増加でき、また装置構成は大きく複雑化しないため、比較的シンプルな構成で認証精度を飛躍的に向上することができる。
指１で反射した光は装置上面カバー４３を通過すると共に、バンドパスフィルタ４４を通過してカメラ９に到達する。装置上面カバー４３は可視光および赤外光に対して透明の部材で形成され、外部から装置内に埃などが入らないように装置を保護する。バンドパスフィルタ４４は少なくとも前記可視光源４１および赤外光源４２の照射光を通過させ、かつ前記光源からは発光しない特定の一部の波長帯域を通過させ、それ以外の波長を遮断する性質を有する。この特性については後述する。なお、装置上面カバー４３にバンドパスフィルタ４４の光学的な特性を持たせても良い。その場合、装置上面カバー４３は装置の内部構造を視覚的に覆い隠す効果が得られる。また、本実施例におけるカメラ９はＲＧＢの３波長のＣＭＯＳセンサアレイを有し、かつそれらのセンサは高い赤外感度を有するカラーカメラであるとするが、これに限定されるものではない。
可視光源４１および赤外光源４２の周囲には遮光部４５が設けられている。光源からの光が装置内部を直接照射してしまうと、装置内部の構造物がカメラに映り込んだり、スミアノイズやゴーストが発生したりする場合があり、画像上に不要なノイズが映り込んでしまう。そこで遮光部４５を設けることによって不要な光の侵入を防ぎ、画質を向上することができる。
可視光源４１および赤外光源４２は、入力装置上部に提示される複数の指を均一に照射するため、本実施例の構成では装置の四隅に配置されており、それぞれが独立して発光強度を調整することができる。これにより、被写体である指に全体的にむらなく最適な明るさで照射でき、生体の高画質撮影が可能となる。なお、光源の配置は四隅に限定するものではなく、例えばカメラ９を中心とした同心円状に配置しても良く、あるいは面光源として全体的に配置しても良い。
図３は、バンドパスフィルタ４４の分光透過率特性の一例と、可視光源４１および赤外光源４２の発光強度特性の一例を示した模式図である。本実施例におけるバンドパスフィルタは２つの帯域の波長を通過させ、それ以外の帯域の波長を遮断する、２バンドパスフィルタの構成である。通過する帯域の一つは赤外光透過帯域６１であり、赤外光源の発光強度特性６４に示される特性を持つ赤外光源４２の中心波長である８５０ｎｍを含む、概ね８００ｎｍから９００ｎｍの波長帯域の光を通過させる。もう一つの通過帯域は可視光源の発光強度特性６５に示される特性を持つ可視光源４１の中心波長である５３０ｎｍを含む、概ね４３０ｎｍから６００ｎｍの可視光透過帯域６２であり、この帯域は概ね青から緑の光を透過させる。そしてそれ以外の波長の光は遮断される。それ以外の波長の光を遮断することで、生体の撮影に不要な光成分が除去されるため、画質が向上する効果を有する。
さらに、図３に示す前記可視光透過帯域６２と可視光源の発光強度特性６５とを比較すると、可視光源４１が発光し得ない波長である、概ね４２０ｎｍから５００ｎｍの波長帯域も併せて透過するように設計されている。すなわち、バンドパスフィルタ４４は、装置光源が発光する２波長に加えて、それ以外の波長帯域の一部を通過させる帯域である外光透過帯域６３を有する。特に、外光透過帯域６３を透過する光は、装置に具備されている光源から発光されたものではない光、つまり主に装置が設置されている環境に起因する光源から発せられた光であり、すなわち外光が撮影される。外光の検出方法については後述する。
図４、および図５は、それぞれ本実施例で説明する指の個人特徴を用いた生体認証技術の登録処理と認証処理の概略フローの一例を示す図である。この登録処理と認証処理は、例えば上述した認証処理装置１０のＣＰＵ１１が実行するプログラムによって実現される。なお、本実施例では３本の指を撮影することを前提として説明するが、１本の指あるいはそれ以外の任意の指の本数であってもよい。
初めに図４の登録処理の流れについて説明する。利用者による登録処理の指示により登録処理部２０が起動され、まず、システムは利用者に指の提示を促すガイドを表示部１５に表示し、これに従って利用者が入力装置２に指１をかざす（Ｓ４０１）。表示部１５に表示するガイドの一例としては、指を３本かざす理想的なかざし方を図示すると共に、「３本指をかざしてください」などの文章を表示することができる。これを受けて利用者はガイドに従って入力装置２の上部に手指をかざす。なお本実施例では指を装置からやや浮かせてかざすことを想定するが、指の載置部を設けて物理的に接触させても良い。また、ガイドの表示は表示部１５だけではなく、別途ガイド用の光源を搭載し、指１に照射してその色や点滅パターンで誘導しても良い。そのとき、例えば適切な距離や位置にかざされていない場合は赤色、適切にかざされた場合は青色などで表現することができる。あるいは、音声によって適切な位置にかざされたかどうかを表現しても良い。
次に、指が入力装置の上部にかざされたことを確認するための指検知処理を行う（Ｓ４０２）。その一実施例として、可視光源４１あるいは赤外光源４２を所定の強度で点灯させながら撮影を行い、予め設定した画像の中央付近の部分領域の平均輝度が一定値を超えた場合に指が存在すると判定できる。このとき、外光の影響を緩和するために当該光源を点滅させて明暗２枚の画像の差分画像から指の存在を判定しても良い。
次に、光量調整部２８を起動して、可視光源４１と赤外光源４２の照射光の強度を適切に調整する光量調整処理を実施する（Ｓ４０３）。本実施例ではカメラ９はカラーカメラであり、可視光源４１と赤外光源４２の両方の波長を同時に撮影できる。そこで、前記予め設定した画像の中央付近の部分領域において、両波長を同時に照射したときに当該領域の画素値に白飛びや黒潰れが生じないように、かつ両波長の光強度のバランスが同程度となるように、それぞれの場所および波長の光源の光強度を制御する。これにより、後段の分光処理で得られる２波長の映像が共に適切な明るさで撮影できる。なお、光量調整処理は後段の指姿勢検知（Ｓ４０６）を実施した後に行っても良い。その場合、指の位置が検出された状態であるため、指全体が均一に照明されるように光源を個別制御することが可能となる。また同様に、光量調整処理に指姿勢検知処理を含めても良く、その場合はより簡素化した指姿勢検知処理で高速に実施しても良い。
次に、分光処理部２３を起動して、同時に撮影した複数の波長の光を波長ごとに分離する分光処理を行い（Ｓ４０４）、その結果に基づいて撮影した映像の中から指の部分だけを取り出す背景除去処理を、背景除去部２４を起動して実施する（Ｓ４０５）。これらの処理の詳細は後述する。
そして、指だけの映像の中から複数の指の指先、指根元、指幅の情報を取り出す指姿勢検知処理を行う（Ｓ４０６）。複数の指先および指根元の位置を獲得する一実施例としては、まず背景除去された指領域の輪郭を獲得し、輪郭線上を追跡して指領域内側の曲率を求め、指領域が凸であってかつその輪郭線の最も曲率の高い部分を指先と決定する。同様に、指領域が凹であってかつその輪郭線の最も曲率の高い部分を指股と決定する。また指幅の決定方法の一実施例としては、指の両側面にある２つの指股の点を結ぶ線の中点を指根元とし、当該指の指先と指根元とを結ぶ線分を当該指の中心軸と定義し、前記中心軸の中点を通り前記中心軸と直交する線が、当該指の指輪郭線と交わる２点の間の距離を、指の幅と定義することができる。
次に、指が適切にかざされていることを判定する指姿勢判定を行う（Ｓ４０７）。指姿勢判定では、前記指姿勢検知の結果に基づき、指の位置が適切な位置に存在することや、指が一定時間静止していることを判定する。指静止検知の一実施例として、前記指先の位置などの指姿勢情報が時間的に変化しないことを確認すればよい。なお、指を完全に静止することは困難であるため、ある一定の移動量の範囲に収まっている場合は指静止されていると判定しても良い。それでもなお、指が静止していない場合や指の見え方が遠すぎる場合(カメラから指が離れていて、手が小さく見える場合)など、適切な姿勢ではない場合はその旨をガイド表示し、図示は省略するが、改めて指の提示を促す処理（Ｓ４０１）に戻る。
次に、姿勢補正部２５を起動して、検出されたすべての指の太さと向きとを正規化する姿勢補正処理を実施する（Ｓ４０８）。本実施例では、検出されたすべての指を指ごとに１枚の画像として切り出す、ＲＯＩ（Region of Interest）画像を獲得することを想定する。ＲＯＩ画像の生成方法としては、各指の指先の点および両側面の指股の２点を内部に含み、かつ指の中心軸が画像の横軸と平行となるように回転し、かつ各指の指幅が一定値となるように拡大縮小した画像を生成するものとする。これにより、すべての指のＲＯＩ画像に映る画像上の指の向きと太さとが統一化される。このような方法に基づき指の姿勢を補正することができる。なお、各指のＲＯＩ画像は可視光画像および赤外光画像の２種類獲得できるが、基本的に両波長の画像は同時に撮影されたものであるため、どちらか一方の波長の画像でＲＯＩ画像を生成するための切り出し位置、回転量、拡大量を決定すれば、もう一方の波長の画像はその結果をそのまま利用することができる。
続いて、特徴抽出部２６を起動して、可視光画像から皮膚のしわ模様、脂肪やメラニンの模様などを含む表皮特徴を抽出し、かつ赤外画像から静脈特徴を抽出する、特徴抽出処理を行う（Ｓ４０９）。これらの生体特徴の獲得方法としては、一般的なエッジ強調フィルタ、ガボールフィルタ、マッチドフィルタなどのフィルタリング処理により、表皮や血管の線パターン特徴や、脂肪小葉の斑点特徴などの生体特徴を強調し、その結果を２値化あるいは３値化するなどで生体特徴を獲得することができる。あるいはＳＩＦＴ（Scale-Invariant Feature Transform）特徴量などのキーポイントから輝度勾配特徴を抽出する手法で獲得しても良い。いずれにしても、画像から生体特徴を抽出し、それらの互いの類似度を算出できるいかなる特徴量であっても良い。
その後、抽出されたパターンが適切なものであることと、撮影された指が異物や偽造物ではないことを検出するデータ適正判定を実施する（Ｓ４１０）。もしこの判定結果が不適正である場合は改めて指の提示を促す処理に戻る(図示は省略する)が、判定結果が適正であれば抽出した特徴データを登録候補として蓄積する（Ｓ４１１）。データ適正判定処理の一実施例としては、血管パターンのような線特徴でありながらも連続性の高いパターンが抽出できなかったり、あるいは本物の指では観測されることのない強いエッジが原画像から観測されたりした場合は、パターンの抽出に失敗したか、あるいは偽造物が入力されたとして棄却することができる。あるいは、指の血流の変化に伴う画像輝度の脈動を動画像から検知し、脈動が検出できない場合は棄却する方法であっても良い。
そして、これら(Ｓ４０１～Ｓ４１１)を繰り返して登録候補が３回分蓄積されたかどうかを判定し（Ｓ４１２）、３回蓄積された場合は登録選択処理を行う（Ｓ４１３）。登録選択処理の一実施例としては、３回分の登録候補の特徴データを総当たりで照合して各候補間の類似度を算出し、他の候補との２件の類似度の合計が最も高い登録候補を、登録データとして選択する手法がある。この手法によると３回撮影したなかで最も再現されやすい安定した特徴データが登録されるため、認証精度が向上する。
ただし、このとき選択された登録データと他の候補との２件の類似度が両方とも同一パターンと認められない値だった場合は、３回分の登録候補がいずれも不安定な生体特徴であったものとみなし、登録データが決定しなかったものとする。そして登録に適したとされる１つの特徴データが決定したかどうかを判定し（Ｓ４１４）、決定した場合はその特徴データを、登録処理の開始時に登録者により入力された登録者ＩＤに紐づけて登録データとして記憶装置１４に保存し（Ｓ４１５）、決定しなかった場合は登録に失敗した状況を報告する（Ｓ４１６）。なお、登録に失敗した場合は何度か登録処理を繰り返しても良い。
続いて図５の認証処理の流れについて説明する。認証処理は、既に登録処理によって個人の生体情報を登録している利用者が、生体認証システム１０００に登録本人であることを認証させる処理である。認証処理は、利用者が提示した生体を撮像して、生体の特徴量を抽出して、登録データの各特徴データと照合して、本人と判定できる登録データが在る場合は認証成功結果と登録者ＩＤを出力し、本人と判定できる登録データが無い場合は認証失敗通知を出力する。
利用者による認証処理の指示により認証処理部２１が起動され、指の提示を促すガイドの表示（Ｓ５０１）からデータ適正判定（Ｓ５１０）までは図４の登録処理と同様であるため説明を割愛する。
続いて、照合部２７を起動して、可視光画像および赤外光画像から特徴抽出を行って（Ｓ５０９）獲得した認証データと、予め記憶装置１４に登録されている１件以上の登録データ(通常、複数の登録者が登録されていることを想定する)とを順次照合する（Ｓ５１１）。
照合処理では、抽出された表皮特徴および静脈特徴についてそれぞれ登録データ(１件の登録データの表皮特徴および静脈特徴)との類似度を算出する。ここでは前記類似度の算出の一実施例について説明する。まず、本実施例では登録データおよび認証データはどちらも３指分の生体特徴データを持つとしているが、ここでは検出された指の位置に基づいてそれぞれ対応する指のペアを決定し、ペア同士の指で前記類似度を算出する。なお、類似度は同じ生体部位同士の生体特徴を比較する。このとき、３指のペアに対して表皮特徴と静脈特徴の２通りの類似度がそれぞれ算出されるため、１件の登録データに対して合計で６件の類似度が獲得される。
本実施例では、この６件の類似度を６次元のスコアとみなすと共に、６次元空間上に、予め同一人物から得られた複数の認証データ同士を照合させて得た６件の類似度から成るプロット点と、異なる人物から得られた複数の認証データ同士を照合させて得た６件の類似度から成るプロット点とを大量に獲得して記録したデータベースを構成する。そして、データベース上の本人同士の照合結果のプロット点の集合と他人同士の照合結果のプロット点の集合とを５次元の超平面で分離できる場合に、例えばパーセプトロンにより、その両集合の比率に基づき、６次元のスコアに対する本人領域と他人領域の境界超平面（認証閾値）を算出しておく。
そして、認証データの照合処理で得られた６次元のスコアが本人領域に含まれるかどうかを、前記境界超平面（認証閾値）との位置関係によって判定して、本人領域に含まれるなら登録データと類似していると判定する（Ｓ５１２）。６次元のスコアが本人領域に含まれる場合は該当登録データと類似していると判断できるため認証成功結果と該当登録データに紐づけられていた登録者ＩＤを出力し（Ｓ５１３）、そうでない場合は全ての登録データとの認証に失敗した旨の通知(登録者本人とは認証できなかった旨の通知)を出力する（Ｓ５１４）。
上記で例示した６次元のスコアに基づいて類似度を判定する方法は、ある１指の類似度が低くなってしまった場合でも、残りの２指の類似度が高い場合は本人であると判定することができ、また表皮特徴の類似度が下がってしまった場合でも静脈特徴の類似度が高い場合は本人であると判定することができる。このような判定方法によると、例えば指の置き方の影響や指を怪我した影響などで偶発的に一部の指の特徴が類似性を失った場合でも、それ以外の指や特徴量が全体の類似性を補うため、登録者本人であれば正しく認証することができる利点がある。さらに、予め大量に獲得したデータによって判定基準を決める方法は、基準そのものを自動的に、かつ正確に決めることができる利点を有する。
照合処理では、照合する対象の登録データが複数ある場合は、順次１件ごとの登録データと認証データとを照合して６つの類似度を算出し、全ての登録データとの照合を行った後、６つの類似度の合計値、または平均値が最も高い登録データを選択する（Ｓ５１１）。そして、選択された登録データの６次元のスコアが前記本人領域に含まれるかどうかにより登録データと類似しているかを判定する（Ｓ５１２）。
なお、認証データと登録データとが類似しているかを判定するために、照合によって得られた６次元のスコアが前記境界超平面（認証閾値）との関係より本人領域に含まれるか否かを判定する方法以外でも、６つの類似度の平均値によって判定したり、各指の２つの類似度を平均した値のうち最も値の高い２指の平均値で判定したりしても良い。
また、図５の認証処理のフローチャートのＳ５１１～Ｓ５１４の処理の別方法として、照合処理で、照合する対象の登録データが複数ある場合に、順次１件の登録データと認証データとを照合して６つの類似度を算出し、６次元のスコアが前記境界超平面（認証閾値）との関係より本人領域に含まれるかを判定して、本人領域に含まれるならば該当登録データで認証を成功した出力(登録者ＩＤ)をして処理を終了する。本人領域に含まれなければ、次の登録データを選択して照合処理を繰り返し、全ての登録データにて認証が成功しなければ認証失敗通知を出力する方法でもよい。
ここで、上述の図４および図５の処理フローに含まれる分光処理の一実施例を説明する。 図６はカメラ９の分光感度特性と撮影する光源の中心波長を示した模式図である。グラフの横軸は波長であり、縦軸はカメラ９に具備される青、緑、赤それぞれの受光素子の分光感度特性（１２１、１２２、１２３）の一例である。また、可視光源４１および赤外光源４２の発光中心波長も併せて示した。
バンドパスフィルタ４４を透過する光は、入力装置に搭載されている赤外光源および可視光源の２波長に加えて周囲環境に起因する外光の波長の、合計３波長の成分が含まれる。これらの波長の光は混合された状態で青、緑、赤の受光素子によって同時に検知される。このときの青、緑、赤の各受光素子が受光する受光量は、前記３波長の光強度に受光素子の受光感度を乗じた値の総和であるため、各受光素子の受光量と各波長の光強度との関係は以下に示す数式(１)によって記述できる。ただし、カラーカメラの青、緑、赤の各センサの受光量をそれぞれPＢ、PＧ、PＲとし、各波長の光強度をI850、I530、I470とし、波長λ(ただしλ＝{470, 530, 850}[nm])の光を受光したときの受光素子E(ただしE={B,G,R})が反応する感度をWEλとする。
Figure 2022068055000002
ここで数式(１)をベクトル表記すると以下の通りとなる。なお、Tは転置を表す。
Figure 2022068055000003
Figure 2022068055000004
分光処理とは、各波長の光強度Iλを個別に取り出すことである。すなわち、この連立方程式からI470、I530、I850 をそれぞれ求めればよい。Wの逆行列をW-1とすると、各波長の光強度は以下の通りとなる。
Figure 2022068055000005
この数式(４)から各波長の光強度Iλを求めるためには、この式に含まれる、PB、PG、PRを撮影されたカラー画像の画素値から読み取り、またWの値は図６から読み取ることで、未知数であるI470、I530、I850が得られる。
この解析により、装置の赤外光源に起因する光強度I850および装置の可視光源に起因する光強度I530に加えて、周囲環境の光源が発光する外光の光強度I470をそれぞれ獲得できる。
図７は生体の撮影時に不要な外光が撮影された場合の背景除去の説明図である。一般的に、直射日光や西日などの太陽光、蛍光灯や白熱灯、ＬＥＤなどの照明機器の光が外光として撮影されることが多い。太陽光の光スペクトルは幅広く様々な波長を全体的に含み、また白熱灯も太陽光に近いスペクトル特性を有する。蛍光灯やＬＥＤのスペクトルは機器によって異なるが、多くの照明は白色が多く、また白色ＬＥＤは青色のスペクトルを含めて発光する。すなわち、外光の多くは幅広い波長帯域を有するため、前記外光透過帯域を透過した波長である４７０ｎｍ付近の青色の成分を含むことが多い。
図７(ａ）は天井１４１に外光１４２が反射した場合にカメラ９に撮影される光の模式図である。外光はたとえば太陽光が周囲環境に反射して撮影されるが、ここでは外光が天井に反射したものとする。外光１４２は天井１４１で反射し、指１の隙間を通って装置上面カバー４３を透過し、さらにバンドパスフィルタ４４を透過してカメラ９に到達する。このとき、外光１４２はバンドパスフィルタ４４の特性によって、可視光透過帯域、赤外光透過帯域、および外光透過帯域の波長成分だけがカメラ９によって撮影される。また、可視光源４１および赤外光源４２は指１によって反射され、天井１４１には届かない(距離が離れているので、反射して戻る量は無視できる)。このとき、カメラ９によって撮影された外光環境時の指画像１４３には、図７(ｂ）に示されるように指１の部分と天井１４１の部分とが共に明るく観測され、指の輪郭線と天井部分とが判別しにくい状態となる。
図７(ｃ）は、外光透過帯域を持たないバンドパスフィルタを具備した場合の可視光画像および赤外画像の一例である。外光透過帯域を持たない場合、可視光源および赤外光源の帯域のみ撮影されるため、同図の通り２波長分の分光画像が得られる。前述の通り外光は幅広いスペクトルを有するため、天井部分を照らした光は可視光および赤外の帯域の光成分も有する。そのため、外光が照明されると可視光源および赤外光源とは区別できない形で外光が撮影される。よって前述の通り分光処理を行って可視光画像１４４と赤外光画像１４５とを獲得すると、いずれの画像も手の形に重なって天井１４１の映像が映り込み、手の映像と外光の映像とが区別できなくなっている。
一方、図７(ｄ）に示す通り、本実施例で示した外光透過帯域を有するバンドパスフィルタを具備した場合、分光処理によって可視光画像１４４、赤外光画像１４５、および外光画像１４６の３波長分の画像を獲得できる。このとき、可視光画像１４４および赤外光画像１４５には図７(ｃ）で示したものと同様に天井１４１が映り込み、手の輪郭線が曖昧で観測しにくい。しかしながら、外光を検知するための波長の外光画像１４６には外光の映像のみが映り込んでいる。そのため、可視光画像１４４や赤外光画像１４５から外光画像１４６を差し引くと、背景除去された可視光画像１４７や背景除去された赤外画像１４８が獲得できる。このように、可視光画像や赤外画像から外光成分を正確に除去することができ、周囲の環境光の影響を受けない認証処理が実現できる。
背景除去の具体的な処理の実施例としては、まず外光画像の輝度値を予め定めた値に定数倍し、可視光画像と赤外画像のそれぞれから引き算することで、外光部分を消しても良い。また別の実施例としては、まず外光画像を一定の閾値で２値化処理し、値を持っている画素を背景領域と定義する。そして可視光画像や赤外画像に映る前記背景領域を黒画素に置き換える。そして残りの明るい領域を所定の閾値あるいは判別分析によって２値化処理し、値を持つ部分を指領域と決定する方式でも良い。なお、２値化処理を行う場合は、細かいノイズ成分を除去するためにモルフォロジ演算を施しても良い。
これにより、外光環境下であっても撮影された生体の姿勢が正しく観測でき、照明環境の変動に頑健な認証を実現することが可能となる。
なお、本実施例では外光検知を行うための透過帯域を４７０ｎｍ近辺に設定し、装置の可視光源の透過帯域と共通化して２バンドのバンドパスフィルタ構成としたが、生体観測用に具備された複数の光源の波長と、それらの波長帯域を含まない一部の外光撮影用の波長帯域とが含まれていれば良く、その波長の種類数は任意に設定できる。そのため、例えば図８(ａ）に示すように外光の通過帯域６３の部分を独立に透過させる３バンドのバンドパスフィルタとしても良い。このようにすることで可視光波長と外光波長とが混ざりにくくなるため分光画像の画質の向上が期待できる。ただし一般的にはバンドパスフィルタの透過バンド数を増やすことでコストが増加するため、図３で示した通りバンドを共通化することで低コスト化できる利点がある。
また、本実施例では外光の透過帯域を青色近辺の４７０ｎｍに設定したが、別の波長帯域に設定しても良い。例えば、図８(ｂ）に示す通り、６００ｎｍから６５０ｎｍの橙色から赤色近辺に外光の透過帯域６３を設定することも可能であり、また複数の外光撮影用帯域を設定しても良い。この波長設定は、生体を撮影するための光源の波長、カメラの受光感度特性、検知したい外光の波長、などを考慮して決定する。本実施例では、一般的なカラーカメラは青、緑、赤の３色の受光感度が高く設定されていることに基づき、生体の撮影用に緑および赤外(赤)｛赤外光に感度が無いカメラを使用する場合は、赤外の代わりに赤を使用する｝を、外光用に青を用いている。他の組合せとして、例えば、生体の撮影用に青および赤外(赤)を、外光用に緑を用いることができることは言うまでもない。また、ＲＧＢカメラではなく赤外感度の特化した素子を独立に持つＲＧＢＩｒカメラを利用する場合、例えば生体の撮影用に緑と赤外を、外光用に青と赤を利用することができ、その組み合わせも任意に設定できる。
実施例２は、実施例１で示した撮像装置と複数の波長からなる被写体の映像とを用いて、カメラと被写体との距離をピクセルごとに推定し、これを生体の変形補正やガイドに用いることで生体認証を高精度化する技術に関する実施例である。
図９は可視画像および赤外画像を用いた被写体の距離測定の原理図である。本発明では異なる波長の光源によって生体を撮影するが、一般的にはカメラレンズの屈折率などの光学特性は波長ごとに僅かな差異が生じる。そのため波長ごとに結像する位置や焦点が異なることがある。そのため波長ごとに分けて映像を確認すると、一方の波長の画像では焦点が合っていながらも、もう一方の波長の画像では焦点がずれて画像がぼけていたり、また正しく焦点が合っていたとしてもそれぞれの波長の画像上の位置が僅かにずれていたりする。このような焦点や結像位置のずれは色収差と呼ばれる。図９（ａ）および（ｂ）は色収差のうちそれぞれ軸上色収差と倍率色収差の説明図である。
軸上色収差では、例えば緑の光で焦点が合っていても赤外光ではボケていたり、両波長で共にボケていてもそのボケの程度が異なっていたりする。そして一般的に、両波長の映像のボケの度合いはカメラと被写体との距離に応じて変化する。また倍率色収差では、緑光と赤外光とで結像する位置が異なることがあり、一般的にそのズレの度合いはカメラと被写体との距離に応じて変化する。すなわち、色収差によるボケやズレの程度を測定することで被写体の距離が推定できる。また、同一波長の画像内であってもその位置に応じて焦点が僅かにずれるなどでボケや歪みが生じる単色収差も存在する。これらを総じてレンズ収差という。
レンズ収差は被写体とカメラとの距離によってその程度が変化するだけではなく、使用するレンズの特性や撮影に用いる光源波長、画像上の座標位置などによっても変化する。そのため、カメラレンズを予め決定し、光の波長や被写体の距離を逐一変えながら画像上の座標位置ごとに収差の程度を計測してデータ化しておけば、これらを逆算して、波長を変えながら座標位置ごとに収差の程度を計測すれば被写体とカメラとの距離を推定することが可能となる。
波長ごとに異なるレンズ収差の程度の差を計測する方法としては、２波長分の分光画像の対応する点およびその位置ずれ量をSIFTなどのキーポイント特徴量を用いて推定すると共に、対応する点同士の点広がり関数を推定し、その位置ずれとぼけの程度から距離を推定する方法がある。そして、被写体の距離と位置ずれ量やぼけ量の相関関係を調べれば、位置ずれ量やぼけ量から被写体の距離が推定できる。しかしながら対応点のずれ量や像のぼけを示す点広がり関数は、使用する光源波長やレンズ特性、画像上の位置や被写体の距離などによって複雑に変化することが想定され、その関連性を導き出すことは容易ではない。そのためこのような複雑な物理現象の解析によって行う距離推定は、任意の関数を柔軟に近似することが可能な深層ニューラルネットワークをはじめとする機械学習を用いることで効率よく実施できる。
図１０は、本実施例の装置構成において被写体の距離を学習および推論するニューラルネットワークの構成図の一例である。まず、入力画像として各波長の光が混合している原画像２０１に対し、上述の分光画像処理によって３波長の画像（可視光画像１４４、赤外光画像１４５、外光画像１４６）をそれぞれ抽出する。次に、これらの画像を入力とした深層ニューラルネットワーク２０２に入力すると、画像の色や座標に応じたエッジのぼけの程度やエッジのずれ量などの特徴が抽出され、最終層では画素ごとに推定した被写体の距離値が出力される。その結果、推論された距離画像２０３が獲得される。ここで利用する深層ニューラルネットワーク２０２は例えば深層畳み込みニューラルネットワークを用いることができる。
また、ニューラルネットワークの学習時においては、推論結果と正解との誤差が生じるため、その誤差をより小さくするためにネットワーク内のパラメータの更新を行う。すなわち、推論結果と正解との誤差を損失関数として定義し、誤差逆伝搬法などを用いてその損失関数が最小化するようにパラメータ更新を行う。損失関数としては、例えば赤外線を用いた距離センサなど別の方法で距離を計測した正解の距離画像２０４を用意し、推論された距離画像２０３と正解の距離画像２０４との画素ごとの差分の２乗和を求めてこれを最小化するようにニューラルネットワーク内のパラメータの学習を進める方法がある。
このように、入力画像と正解画像とを大量に用意して学習を行うことで、最終的には入力画像を与えるだけで正確な距離画像を推論することができる。特に深層畳み込みニューラルネットワークでは、画像のエッジの位置ずれやぼけの程度、映像の歪み具合など、物理モデルでは定式化が困難な現象を効率的に学習することができ、すなわちレンズ収差に起因する各波長の画像内よび画像間の相違や変化の特徴から被写体の距離を自動的に獲得できるようになる。
なお、ニューラルネットワークの学習において、入力画像と正解画像とを大量に取得するために、実施例１に示した入力装置と近接させて設置した前記距離センサとにより同一の生体を撮影する。両者のカメラの視野のずれは、予めキャリブレーション処理を行い、入力画像と正解画像とのずれ量は補正をかけることができる。
特に本方式は固定された３つの波長帯域に限定して光を撮影するため、色収差の条件として予め固定できる部分が多い。そのため、バンドパスフィルタを具備しない一般的なシステムで同様の技術を適用する場合に比べて距離推定の精度が高められる利点がある。
このように獲得した距離情報を用いた生体認証の登録および認証処理の一実施例として、図４および図５に示した処理が利用できる。具体的には、背景除去処理（Ｓ４０５、Ｓ５０５）の前処理において上述の距離推定を実施する。そして、距離情報を使用した背景除去処理を行う。本実施例では、背景除去部２４が前記ニューラルネットワークを備え、距離情報の推定処理を含めた、新たな背景除去処理を構成する。これにより、例えば実施例１で示した背景除去に比べて、距離情報を活用した方が手や指の画像から背景をより正確に切り抜くことが可能となる。また指先だけがカメラに近すぎるなどの３次元空間的な姿勢情報を獲得するために活用できる。これにより、利用者のかざした手指の姿勢をより適切に誘導したり、あるいは画像処理で自動的に幾何学補正したりすることが可能となり、その結果、非接触認証における利便性と認証精度とが向上できる。
実施例３では、実施例１あるいは実施例２にて例示した技術を基本とし、非接触でありながら生体の提示位置を直観的に誘導し、かつ環境照明の変動にロバストな認証装置を実現する一実施例について説明する。
図１１(ａ),(ｂ)は、指先の位置を誘導して非接触認証を行う生体認証装置の一実施例である。入力装置２の内部にはカメラ９が具備され、その周囲には可視光源４１および赤外光源４２が円周上に配置されている。可視光源４１および赤外光源４２は上方にかざされる指１に対して均一に光を照射することができ、実施例１で示したものと同様に各光源の強度をそれぞれ独立に制御できる。なお、図１１(ａ),(ｂ)では指は１本のみ示しているが、前述の実施例１と同様に複数指であっても良く、たとえば人差し指の１本だけでも良い。
また可視光源４１および赤外光源４２の並ぶ円周上には２つの指先ガイド光源が設置されている。指先ガイド可視光源２２１および指先ガイド赤外光源２２２は入力装置２の上方に向けて、それぞれ可視および赤外の波長の光を高い指向性で照射できる。指先ガイド可視光源２２１の照射光は例えば前述の可視光源４１と同じ緑色の光であり、利用者が視認できる。また指先ガイド赤外光源２２２の照射光は例えば前述の赤外光源４２と同じ波長の光であり、利用者は視認できない。ただし、赤外光に加えて視認できる波長の光を同時に照射できる光源を用いて、この照射光を視認できるようにしても良い。
またカメラ９の上部には装置上面カバー４３が具備されており、装置上面カバー４３は例えば図３で示した２バンドパスフィルタの特性を兼ね備え、可視光源、赤外光源、および外光の合計３波長の光だけを透過する。前記指先ガイド光の波長はバンドパスフィルタを透過するため、カメラ９で撮影することができる。
また、カメラ９は、入力装置２に対して僅かに傾斜して設置されている。本実施例ではカメラ９は図面右側に傾斜しており、このとき指１は図面右側から左向きにかざされることを想定する。この傾斜により、装置の真上に指先がかざされた場合であっても、カメラ９は指先および指根元を含む指全体を撮影することが可能となり、多くの生体特徴が撮影できるため認証精度を高めることができる。
この装置による登録および認証の処理フローはそれぞれ実施例１の図４および図５に示したものと基本的に同等である。実施例１に対する実施例３の大きな差異としては、指の提示を促すガイドの表示（Ｓ４０１）において指先ガイド光源を利用する点である。以下、指先ガイド光源を用いた指のガイドの一実施例について説明する。
まず利用者は指１の指先部分を入力装置２の真上にかざす。入力装置２は標準的な指先と同程度の大きさで、かつ円形状であり、指先で押下する押しボタンを想起させるものであるため、利用者の指先は自然に入力装置２の上部に誘導される。このとき、指先ガイド光源２２１および２２２から入力装置２の直上に照射される光が指先に照らされる。利用者はこのガイド光のうち視認できる緑の光によって指先がうっすらと明るくなるように指先の位置を微調整する。このように指先が緑に照らされている状態を確認することで、利用者は非接触で指をかざした場合でも正しい位置を視認することができる。
なお、本実施例では複数の指、たとえば人差し指、中指、薬指の３本を撮影することを想定しているが、指先ガイド光は装置の直上に向けて照射されているため、この光を中指に当てるように操作すると３本の指がカメラの中央に位置するため撮影上の都合は良い。ただし、一般的には人差し指の指先をかざす方が自然に操作しやすいことが多いことから、カメラの画角はやや広角なものを利用して、複数の指が中央からずれても指がはみ出さずに撮影できるように設計されているものとする。
図１２は指先ガイド光源から照射される光によって指の位置と距離とを自動推定する一実施例の説明図である。指１が装置に対して近すぎたり、逆に離れすぎたりしてしまうと、カメラのフォーカスが指に定まらなかったり、遠すぎて十分な空間解像度の映像が撮影できなくなったりするなどで、画質の劣化が生じる可能性がある。そこで、認証システムはこのような状態を自動検知して利用者に指を適切な距離になるように誘導する必要がある。図１２（ａ）あるいは（ｃ）に示されるように、指先ガイド光源２２１および２２２からは２つのスポット光が指先に向けて照射されており、指先に２つの輝点を投影する。このとき両ガイド光源は僅かに入力装置２の中心方向に傾いて設置されており、両光源の光は平行光ではなく互いに交差するように照射される。なお、両ガイド光源の傾きはカメラの焦点が合う適切な距離で交差するように調整されているものとする。
図１２（ａ）は指が適切な距離で装置にかざされた状態における指先ガイド光の輝点の様子を示している。指先ガイド可視光源２２１から照射される可視光は指１の指先部分に照射され、指先ガイド光の可視光輝点２４１を生じる。また同様に指先ガイド赤外光源２２２から照射された光は指先ガイド光の赤外光輝点２４２を生じる。このとき、両輝点の位置としては図面の左に可視光が、右に赤外光が照射される。このとき、同図（ｂ）に示す通り、カメラ９によって撮影された映像は前述の通り分光処理によって可視光と赤外光とに分けられるが、そのときに獲得される可視光と赤外光の分光画像２４３にはそれぞれ対応する波長の輝点が映し出される。ここでは、分光画像内の上側に指先ガイド光の赤外光輝点２４２が、下側に指先ガイド光の可視光輝点２４１が映るものとする。この２つの輝点はどちらの波長で照射されたものかは分光処理によって把握できるため、画像上の輝点の位置関係としてどちらの波長の輝点が上にあるかという情報や、両輝点の中心位置の間の距離を測定することができる。そしてこれらの情報に基づき、指先が適切な距離に存在しているかどうかを判定できる。
仮に図１２（ａ）の例よりも指１が入力装置２に近づいた場合、画像上の両輝点の位置関係は変わらないものの輝点間の距離が離れていくため、その場合は指が近づき過ぎていることが判断できる。よって、両輝点の距離が一定よりも遠い場合は「指を遠ざけてください」などのガイドを出すなどして利用者を適切に誘導することができる。また、指先に輝点がない場合や１つしかない場合は指先の位置がずれていることになるため、たとえば「指先を装置の真上にかざしてください」などのガイダンスを行うことで、指先の位置を誘導しても良い。
また、図１２（ｃ）は指１が入力装置２から離れすぎてしまった場合の様子を示している。この場合、図１２（ａ）とは逆に指先ガイド光の可視光輝点２４１が指先ガイド光の赤外光輝点２４２の右に位置することになる。よって同図（ｄ）に示される可視光と赤外光の分光画像２４３の輝点の位置関係は、同図（ｂ）とは上下が逆転し、指先ガイド光の可視光輝点２４１の方が上に位置する。よってこのような状態を画像から検出した場合は、「もう少し近づけてください」といったガイダンスを提示することができる。
指１が適切な距離に提示されたことが判定できたら、両方の指先ガイド光源を消灯すると共に可視光源４１および赤外光源４２を指１に照射して画像を撮影する。そして、上述の実施例１で示した通り、指の可視光画像、赤外画像、および外光画像を獲得して認証を行う。なお、指先ガイド光２２１および２２２を照射しながら可視光源４１および赤外光源４２を照射してもよい。指先ガイド光は指先にのみ強いスポット光を照射するだけであり、指全体には光を当てることはできない。よって、指先をガイドしている最中に並行して可視光源４１および赤外光源４２を適切な光量に調整することができ、撮影時間が短縮できる。
なお、指先ガイド可視光源２２１の波長はバンドパスフィルタで通過できる可視光波長であればいずれの波長でも良い。例えば、バンドパスフィルタの特性として図３もしくは図８（ａ）のものを用いるのであれば５３０ｎｍあるいは４７０ｎｍが利用でき、図８（ｂ）を用いるのであれば６２０ｎｍなどを利用することもできる。いずれも、利用者が視認でき、かつカメラで撮影できる光であり、さらに分光処理によってその波長成分が獲得できればいずれの波長を用いても良い。
なお、図１１に示す装置構成はカメラ９の傾きの方向に依存して指先の向きが図面左を差す方向に固定されている。この場合、装置構造が全体的に円形であると指先をかざす向きが直観的に理解できない場合がある。これに対し、図１３（ａ）に示すように、装置全体の形状を指先の形状を模倣した筐体としてもよい。これにより、装置筐体の半円の向きが指を提示する向きであると直観的に理解しやすくなる。
また同様に、装置に接触しても良い利用場面であれば、図１３（ｂ）に示すように指先の指置き台２６１を具備し、指を物理的に固定しても良い。これにより、指先をかざす向きおよび位置が分かりやすくなり、さらには指の位置が安定して姿勢変動が低減し認証精度が向上する。さらには空中に浮かせて指を静止する操作が困難な利用者にとっては操作性の向上にも寄与する。
あるいは、図１３（ｃ）に示すようにカメラ９の軸は傾けず、その代わりにカメラを広角カメラあるいは全方位カメラに置き換えることで、装置の見た目は円形のまま、カメラの軸を傾けずに指全体の映像が撮影できる構成としても良い。そうすることにより、指１の向きはどちらから提示しても良くなるため、利用者の利便性が大幅に向上する。なお、この場合は可視光源４１および赤外光源４２は広く反射光を照射できるように指向性の広い光源を用いる。これにより指１がどちらからかざされた場合でも適切に２波長の光源を指に照明することができる。
また、図１４に示す通り、本実施例の入力装置２を下向きに設置して下方を撮影するようにし、利用者は指１が天井を向くようにかざすこともできる。このとき、利用者は指１の腹側を容易に目視できるようになるが、特に指先ガイド光の可視光輝点２４１が指先を正しく照らしているかどうかを直接確認できるため、位置合わせが容易に実施できる利点がある。このとき、指先ガイド光の可視光輝点２４１は点状のスポット光とする代わりに、例えば指の中心軸に沿った細長いスポット光であっても良く、その場合は指をかざす向きについてもガイドできるため、より正確に利用者を誘導することができる。
このような小型かつ非接触で環境の変化に強く高精度な認証装置は、例えば個人宅のドアロックであったり、自動車のキーレスエントリーであったり、店舗での決済システムであったり、オフィスでのＰＣセキュリティであったり、大規模施設や大規模イベントのゲート管理システムであったりなど、様々な分野に適用が可能である。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１ 指
２ 入力装置
３ 光源
９ 撮像装置
１０ 認証処理装置
１１ 中央処理部（ＣＰＵ）
１２ メモリ
１３ インターフェイス
１４ 記憶装置
１５ 表示部
１６ 入力部
１７ スピーカ
１８ 画像入力部
１９ 通信部
２０ 登録処理部
２１ 認証処理部
２２ 画像処理部
２３ 分光処理部
２４ 背景除去部
２５ 姿勢補正部
２６ 特徴抽出部
２７ 照合部
２８ 光量調整部
３０ 通信ネットワーク
４１ 可視光源
４２ 赤外光源
４３ 装置上面カバー
４４ バンドパスフィルタ
４５ 遮光部
６１ 赤外光透過帯域
６２ 可視光透過帯域
６３ 外光透過帯域
６４ 赤外光源の発光強度特性
６５ 可視光源の発光強度特性
１２１ 青色受光素子の分光感度特性
１２２ 緑色受光素子の分光感度特性
１２３ 赤色受光素子の分光感度特性
１４１ 天井
１４２ 外光
１４３ 外光環境時の指画像
１４４ 可視光画像
１４５ 赤外光画像
１４６ 外光画像
１４７ 背景除去された可視光画像
１４８ 背景除去された赤外光画像
２０１ 原画像
２０２ 深層ニューラルネットワーク
２０３ 推論された距離画像
２０４ 正解の距離画像
２２１ 指先ガイド可視光源
２２２ 指先ガイド赤外光源
２４１ 指先ガイド光の可視光輝点
２４２ 指先ガイド光の赤外光輝点
２４３ 可視光と赤外光の分光画像
２６１ 指先の指置き台
１０００ 生体認証システム

Claims (15)

  1. 生体に照射する第１の波長を含む帯域の光と、生体に照射する第１の波長とは異なる第２の波長を含む帯域の光と、並びに外部環境に起因する第１および第２の波長とは異なる第３の波長を含む帯域の光を透過させ、それ以外の帯域の波長を遮断する光学フィルタを介して、生体を撮影した画像を撮像する撮像部と、
    得られた前記生体を撮影した画像より、第１の波長の光強度の画像と、第２の波長の光強度の画像と、及び第３の波長の光強度の画像を分離して獲得する分光処理部と、
    前記第３の波長の光強度の画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去する背景除去部と、
    前記背景領域を除去した第１および第２の波長の光強度の画像より、生体の各種特徴を抽出し、予め登録されている各個人別の生体特徴と照合して、生体特徴ごとの類似度を算出して、各種生体特徴の類似度に基づき個人を特定する生体認証を行う認証処理部と、
    を備えることを特徴とする生体認証装置。
  2. 前記第１の波長の光は緑色であり、前記第２の波長の光は赤外光、または赤色であり、前記第３の波長の光は青色であることを特徴とする請求項１に記載の生体認証装置。
  3. 前記第１の波長の光は青色であり、前記第２の波長の光は赤外光、または赤色であり、前記第３の波長の光は緑色であることを特徴とする請求項１に記載の生体認証装置。
  4. 前記第１の波長の光は緑色であり、前記第２の波長の光は赤外光であり、前記第３の波長の光は青色および赤色であることを特徴とする請求項１に記載の生体認証装置。
  5. 前記光学フィルタは、前記第１の波長を含む帯域と前記第３の波長を含む帯域とが連続する１つの透過帯域となっており、前記第２の波長を含む帯域とともに２つの透過帯域を有する２バンドパスフィルタの構成であり、または、前記第１、第２、および第３の波長を含む帯域がいずれも分離された３つの透過帯域となる３バンドパスフィルタの構成であることを特徴とする請求項１に記載の生体認証装置。
  6. 前記背景除去部は、予め学習処理において、多数回の生体の提示によって、生体を撮影した画像より第１、第２、および第３の波長の光強度の画像を分離し、撮像部に並設した距離センサにより計測した正解の距離画像を教師データとして多数用意して学習させたニューラルネットワークを備え、
    分光処理部によって分離された被写体の第１、第２、および第３の波長の光強度の画像をニューラルネットワークへ入力して、提示された生体の距離画像を推定し、距離画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去することを特徴とする請求項１に記載の生体認証装置。
  7. 前記背景除去部が備えるニューラルネットワークは、深層畳み込みニューラルネットワークによって構成されることを特徴とする請求項６に記載の生体認証装置。
  8. 前記撮像部は、生体を撮像させるために利用者によって非接触に生体がかざされる入力装置の筐体の中央部に設置され、
    前記第１の波長の光を発光する複数個の第１の光源が、入力装置の筐体の上部に、前記撮像部を中心とする円周上に等間隔に配置され、同様に前記第２の波長の光を発光する複数個の第２の光源が、入力装置の筐体の上部に、前記撮像部を中心とする円周上に等間隔に配置され、
    各光源は、入力装置の上部に提示される生体を照射し、生体からの反射光を前記撮像部が撮像し、生体全体が均一に照明されるように各光源の光強度が個別に制御されることを特徴とする請求項１に記載の生体認証装置。
  9. 入力装置の上部には、前記第１の波長の光を発光するガイド光源と、前記第２の波長の光を発光するガイド光源が一対設置され、両ガイド光源は、指向性の高いスポット光を互いに交差するように、前記撮像部の光軸とは傾けて照射して、かざされた生体上に輝点を生じ、
    ガイド部は、各輝点の位置、両輝点間の距離、配置を認識して、入力装置とかざされた生体との距離を推定して、利用者を適切に誘導するガイドを出力することを特徴とする請求項８に記載の生体認証装置。
  10. 入力装置の筐体の上部に提示される生体の全体を撮影するために、前記撮像部の光軸を、入力装置の筐体の垂直上方向から傾けて設置することを特徴とする請求項９に記載の生体認証装置。
  11. 入力装置の筐体を、利用者がかざす方向の生体の形状を模倣した形状としたことを特徴とする請求項９に記載の生体認証装置。
  12. 入力装置の筐体に、生体をかざす姿勢を物理的に固定する置台を具備したことを特徴とする請求項８に記載の生体認証装置。
  13. 前記撮像部は、広角カメラ、または全方位カメラであることを特徴とする請求項８に記載の生体認証装置。
  14. 利用者がかざした生体を、生体に照射する第１の波長を含む帯域の光と、生体に照射する第１の波長とは異なる第２の波長を含む帯域の光と、並びに外部環境に起因する第１および第２の波長とは異なる第３の波長を含む帯域の光を透過させ、それ以外の帯域の波長を遮断する光学フィルタを介して、撮像部が撮影して画像を取得し、
    分光処理部が、得られた前記生体を撮影した画像より、第１の波長の光強度の画像と、第２の波長の光強度の画像と、及び第３の波長の光強度の画像を分離して獲得し、
    背景除去部が、前記第３の波長の光強度の画像より背景領域を抽出して、前記第１および第２の波長の光強度の画像からそれぞれ前記背景領域を除去し、
    認証処理部が、前記背景領域を除去した第１および第２の波長の光強度の画像より、生体の各種特徴を抽出し、予め登録されている各個人別の生体特徴と照合して、生体特徴ごとの類似度を算出して、各種生体特徴の類似度に基づき個人を特定する生体認証を行う、
    ことを特徴とする生体認証方法。
  15. 利用者がかざした生体を撮像するために適切な位置や姿勢にガイドするために、第１の波長のガイド光と、および第２の波長のガイド光を、指向性の高いスポット光として互いに交差するように、前記撮像部の光軸とは傾けて照射して、かざされた生体上に輝点を生じ、
    ガイド部が、各輝点の位置、両輝点間の距離、配置を認識して、入力装置とかざされた生体との距離を推定して、利用者を適切に誘導するガイドを出力する、
    ことを特徴とする請求項１４に記載の生体認証方法。
JP2020176985A 2020-10-21 2020-10-21 生体認証装置および生体認証方法 Active JP7519871B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020176985A JP7519871B2 (ja) 2020-10-21 2020-10-21 生体認証装置および生体認証方法
CN202111147558.9A CN114387629A (zh) 2020-10-21 2021-09-29 生物体认证装置及生物体认证方法
EP21200460.0A EP3989182A3 (en) 2020-10-21 2021-10-01 Biometric authentication device and biometric authentication method
KR1020210132217A KR102679397B1 (ko) 2020-10-21 2021-10-06 생체 인증 장치 및 생체 인증 방법
US17/497,802 US11837029B2 (en) 2020-10-21 2021-10-08 Biometric authentication device and biometric authentication method
TR2021/016140A TR2021016140A2 (tr) 2020-10-21 2021-10-15 Biyometrik kimlik doğrulama cihazı ve biyometrik kimlik doğrulama yöntemi.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020176985A JP7519871B2 (ja) 2020-10-21 2020-10-21 生体認証装置および生体認証方法

Publications (2)

Publication Number Publication Date
JP2022068055A true JP2022068055A (ja) 2022-05-09
JP7519871B2 JP7519871B2 (ja) 2024-07-22

Family

ID=78293900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020176985A Active JP7519871B2 (ja) 2020-10-21 2020-10-21 生体認証装置および生体認証方法

Country Status (6)

Country Link
US (1) US11837029B2 (ja)
EP (1) EP3989182A3 (ja)
JP (1) JP7519871B2 (ja)
KR (1) KR102679397B1 (ja)
CN (1) CN114387629A (ja)
TR (1) TR2021016140A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024147555A1 (ko) * 2023-01-04 2024-07-11 삼성전자 주식회사 카메라를 통해 생체 정보를 획득하는 방법 및 그 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM617394U (zh) * 2021-05-19 2021-09-21 大陸商廣州印芯半導體技術有限公司 光學式指紋辨識結構
CN117253296B (zh) * 2023-11-17 2024-02-27 深圳市安思疆科技有限公司 一种用于身份认证的3d成像***

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720264B2 (en) 2004-05-10 2010-05-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for pupil detection for security applications
CN102034095B (zh) * 2004-06-01 2014-04-16 光谱辨识公司 对个体进行生物识别测量的方法及多光谱传感器
JP4556111B2 (ja) * 2004-09-02 2010-10-06 ソニー株式会社 情報処理装置
JP4745084B2 (ja) * 2006-03-03 2011-08-10 富士通株式会社 撮像装置
JP2007334659A (ja) 2006-06-15 2007-12-27 Oki Electric Ind Co Ltd 個人認証システム
US8355545B2 (en) * 2007-04-10 2013-01-15 Lumidigm, Inc. Biometric detection using spatial, temporal, and/or spectral techniques
JP4640295B2 (ja) * 2006-09-07 2011-03-02 株式会社日立製作所 個人認証装置及び方法
US20080107309A1 (en) * 2006-11-03 2008-05-08 Cerni Consulting, Llc Method and apparatus for biometric identification
JP2009164950A (ja) 2008-01-08 2009-07-23 Fujifilm Corp 撮像システム
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US9098073B2 (en) * 2010-09-28 2015-08-04 Nec Corporation Biometric authentication apparatus and biometric authentication method
US8509495B2 (en) * 2011-04-15 2013-08-13 Xerox Corporation Subcutaneous vein pattern detection via multi-spectral IR imaging in an identity verification system
JP6111921B2 (ja) 2013-07-25 2017-04-12 富士通株式会社 撮像装置および撮像方法
JP6165540B2 (ja) * 2013-07-26 2017-07-19 株式会社日立製作所 血管画像撮影装置及び端末
US9659205B2 (en) * 2014-06-09 2017-05-23 Lawrence Livermore National Security, Llc Multimodal imaging system and method for non-contact identification of multiple biometric traits
JP6071967B2 (ja) 2014-09-25 2017-02-01 株式会社 日立産業制御ソリューションズ 血管画像撮影装置
JP6210962B2 (ja) * 2014-09-30 2017-10-11 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6523925B2 (ja) 2015-11-10 2019-06-05 株式会社日立製作所 生体情報を用いた認証装置及び認証方法
JP7080594B2 (ja) * 2017-07-06 2022-06-06 株式会社東芝 計測装置および方法
JP7052256B2 (ja) 2017-08-25 2022-04-12 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3474328B1 (en) * 2017-10-20 2021-09-29 Samsung Electronics Co., Ltd. Combination sensors and electronic devices
CN109977727A (zh) * 2017-12-27 2019-07-05 广东欧珀移动通信有限公司 视力保护方法、装置、存储介质及移动终端
CN108108708A (zh) * 2017-12-29 2018-06-01 徐鹤菲 支持多光谱生物特征的复合成像***及移动终端
JP2020046381A (ja) 2018-09-21 2020-03-26 日本電産コパル株式会社 測定装置、レーザマーキング装置及び測定方法
JP2020123068A (ja) 2019-01-29 2020-08-13 株式会社 日立産業制御ソリューションズ 生体認証装置、生体認証方法およびコンピュータプログラム
JP7079742B2 (ja) 2019-02-08 2022-06-02 株式会社日立製作所 計算機システム
US10956755B2 (en) * 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024147555A1 (ko) * 2023-01-04 2024-07-11 삼성전자 주식회사 카메라를 통해 생체 정보를 획득하는 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR20220052828A (ko) 2022-04-28
KR102679397B1 (ko) 2024-07-01
EP3989182A3 (en) 2022-08-03
US20220121869A1 (en) 2022-04-21
CN114387629A (zh) 2022-04-22
JP7519871B2 (ja) 2024-07-22
US11837029B2 (en) 2023-12-05
TR2021016140A2 (tr) 2022-05-23
EP3989182A2 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US20220165087A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN107949863B (zh) 使用生物体信息的认证装置以及认证方法
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
JP6165540B2 (ja) 血管画像撮影装置及び端末
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP6005750B2 (ja) 認証装置、及び認証方法
KR102679397B1 (ko) 생체 인증 장치 및 생체 인증 방법
KR20110063679A (ko) 정맥 패턴 인식 기반 생체인증 시스템 및 그 방법
US20220300593A1 (en) System and method of biometric identification of a subject
EP2410486A1 (en) Organism information acquisition device and organism authentication device
KR20090106792A (ko) 광각 카메라를 사용한 타인 인증용 홍채 인식 장치 및 방법
JP7002348B2 (ja) 生体認証装置
JP6759142B2 (ja) 生体認証装置、及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240709