JP6467852B2 - 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム - Google Patents

生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム Download PDF

Info

Publication number
JP6467852B2
JP6467852B2 JP2014208998A JP2014208998A JP6467852B2 JP 6467852 B2 JP6467852 B2 JP 6467852B2 JP 2014208998 A JP2014208998 A JP 2014208998A JP 2014208998 A JP2014208998 A JP 2014208998A JP 6467852 B2 JP6467852 B2 JP 6467852B2
Authority
JP
Japan
Prior art keywords
image
unit
palmprint
line
vein
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014208998A
Other languages
English (en)
Other versions
JP2016081116A (ja
Inventor
智明 松濤
智明 松濤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014208998A priority Critical patent/JP6467852B2/ja
Priority to KR1020150135289A priority patent/KR102137055B1/ko
Priority to EP15186876.7A priority patent/EP3007100B1/en
Priority to US14/866,181 priority patent/US10019618B2/en
Priority to CN201510632750.5A priority patent/CN105512530B/zh
Publication of JP2016081116A publication Critical patent/JP2016081116A/ja
Application granted granted Critical
Publication of JP6467852B2 publication Critical patent/JP6467852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • G06V40/145Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)

Description

本発明は、画像上に表された生体情報を補正する生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラムに関する。
近年、指紋または静脈パターンなどの生体情報を利用して、個人を認証するか否か判定する生体認証技術が開発されている。生体認証技術は、入退室の可否判定、コンピュータの使用可否の判断、またはオンライン取引における利用者確認など、様々なサービスへのアクセス可否判定において広く利用されている。
例えば、生体情報として手の静脈パターンが利用される場合、生体認証装置は、センサにより、静脈パターンを表す生体画像を入力生体画像として取得する。そして生体認証装置は、入力生体画像に表された利用者の静脈パターンである入力生体情報を、予め登録された登録利用者の生体画像に表された静脈パターンである登録生体情報と照合する。生体認証装置は、照合処理の結果に基づいて、入力生体情報と登録生体情報が一致すると判定した場合、その利用者を正当な権限を有する登録利用者として認証する。そして生体認証装置は、認証された利用者が生体認証装置が組み込まれた装置または生体認証装置と接続された他の装置を使用することを許可する。
生体情報の登録時と照合時とで、センサに対する生体情報を含む部位の姿勢が異なることがある。このような場合、照合時と登録時とで、得られた生体画像に表された生体情報の向き、位置またはスケールが異なってしまう。登録時と照合時とで、生体画像上での生体情報の向き、位置またはスケールが異なると、生体画像上での生体情報の特徴点の位置も異なるので、いわゆる本人拒否率が高くなる原因となるので好ましくない。そこで、生体画像上での生体情報の位置ずれなどを低減する技術が提案されている(例えば、特許文献1〜3を参照)。
例えば、特許文献1に開示された認証装置は、生体画像及び登録画像それぞれを取得した際の撮像装置に対する生体の相対位置の差を算出し、その差の減少を促す誘導情報を出力する。
また、特許文献2に開示された静脈認証装置は、指の腹側の関節皺画像を撮影し、その関節皺画像から指の置き方の位置ずれおよびずれの距離値を算出して静脈画像の位置を補正する。
さらに、特許文献3に開示された掌位置検出装置は、画像内の掌の左右方向を検出して、その左右方向に基づいて画像を回転させた上で、掌の上下左右端の座標を検出する。
国際公開第2010/086993号 特開2008−134862号公報 特開2010−26658号公報
しかしながら、特許文献1に開示された技術では、利用者が誘導情報に従って生体の位置を適切に修正しない限り、生体画像上の生体の位置と登録画像上の生体の位置の差は小さくならない。また、特許文献2に開示された技術は、登録時における関節の位置と照合時における関節の位置が同じでも、指の向きが異なる場合には、関節の皺の位置が同一であるため、静脈の位置ずれを適切に補正することはできない。さらに、特許文献3に開示された技術では、照合に利用する生体情報と、向き及び位置のずれの補正に利用する掌の上下左右端とが一つの画像に表されていないことがある。そのため、向き及び位置のずれを適切に補正するには、生体情報と掌の上下左右端の両方が含まれる画像が得られるまで、生体情報の撮影が繰り返されることになる。
一つの側面では、本発明は、画像上に表された静脈パターンの向きのずれによる影響を軽減できる生体情報補正装置を提供することを目的とする。
一つの実施形態によれば、生体情報補正装置が提供される。この生体情報補正装置は、利用者の手の掌紋が撮影されて得られた、掌紋が表された第1の画像から、掌紋の二つの特徴点を抽出する掌紋特徴点抽出部と、その二つの特徴点を結ぶ線の向きに応じて利用者のその手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の静脈パターンまたは第2の画像から抽出される静脈パターンの特徴部分を回転させる補正部とを有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
画像上に表された静脈パターンの向きのずれによる影響を軽減できる。
生体情報補正装置の第1の実施形態である生体認証装置の概略構成図である。 第1の実施形態による生体認証装置の処理部の機能ブロック図である。 掌紋画像の一例を示す図である。 (a)は、静脈パターンの位置補正後の静脈画像の一例を示す図である。(b)は、静脈パターンの回転補正後の静脈画像の一例を示す図である。(c)は、静脈パターンのスケール補正後の静脈画像の一例を示す図である。 生体認証処理の動作フローチャートを示す図である。 生体情報補正装置の第2の実施形態による生体認証装置の概略構成図である。 第2の実施形態による生体認証装置の処理部の機能ブロック図である。 (a)及び(b)は、それぞれ、変形例において抽出される掌紋の特徴点を示す図である。 各実施形態またはその変形例による生体認証装置が実装された、コンピュータシステムの一例の概略構成図である。
以下、図を参照しつつ、生体情報補正装置について説明する。
この生体情報補正装置は、照合に利用される、手の静脈パターンが表された静脈画像について、登録時と照合時とにおける、静脈画像上での静脈パターンの向き、位置及びスケールのずれを補正する。そのために、この生体情報補正装置は、静脈画像が得られたときに、静脈パターンを含む手の掌紋を撮影することで得られた、その掌紋が表された掌紋画像から、掌紋の二つの特徴点を検出する。そしてこの生体情報補正装置は、その二つの特徴点に対応する静脈画像上の2点を結ぶ線が所定の方向を向くように、静脈画像上の静脈パターンを回転させる。
本明細書において、「照合処理」という用語は、利用者の生体情報と登録利用者の生体情報の相違度合いまたは類似度合いを表す指標を算出する処理を示すために使用される。また、「生体認証処理」という用語は、照合処理だけでなく、照合処理により求められた指標を用いて、利用者を認証するか否かを決定する処理を含む、認証処理全体を示すために使用される。
図1は、生体情報補正装置の第1の実施形態による生体認証装置の概略構成図である。図1に示されるように、生体認証装置1は、表示部2と、入力部3と、生体情報取得部4と、ストレージ装置5と、メモリ6と、処理部7とを有する。表示部2、入力部3及び生体情報取得部4は、ストレージ装置5、メモリ6及び処理部7が収容された筐体とは別個に設けられてもよい。あるいは、表示部2、入力部3、生体情報取得部4、ストレージ装置5、メモリ6及び処理部7は、一つの筐体に収容されてもよい。また生体認証装置1は、半導体メモリカード及び光記憶媒体といった記憶媒体にアクセスする記憶媒体アクセス装置(図示せず)をさらに有してもよい。そして生体認証装置1は、例えば、記憶媒体アクセス装置を介して、記憶媒体に記憶された、処理部7上で実行される生体認証処理用のコンピュータプログラムを読み込み、そのコンピュータプログラムに従って生体認証処理を実行してもよい。
生体認証装置1は、生体情報取得部4により生成された利用者の手の静脈パターンを表す静脈画像に基づいて、その静脈パターンを登録利用者の静脈パターンと照合することにより、生体認証処理を実行する。そして生体認証装置1は、生体認証処理の結果、利用者を登録利用者の何れかとして認証した場合、生体認証装置1が実装された装置をその利用者が使用することを許可する。あるいは、生体認証装置1は、図示しない他の装置へ、利用者が認証された旨を表す信号を送信して、その利用者が他の装置を使用することを許可する。
表示部2は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部2は、例えば、手を置く位置を示すガイダンスメッセージなどを利用者に対して表示する。また表示部2は、処理部7により実行された生体認証処理の結果を表すメッセージ、あるいは実行中のアプリケーションに関連する各種情報などを表示する。
入力部3は、例えば、キーボード、マウス、またはタッチパッドなどのユーザインターフェースを有する。そして入力部3を介して利用者により入力された利用者のユーザ名またはユーザ番号といったユーザ識別情報、あるいはコマンド若しくはデータは、処理部7へ渡される。ただし、利用者が生体情報以外の情報を生体認証装置1に対して入力する必要がない場合、入力部3は省略されてもよい。
生体情報取得部4は、利用者の何れかの手の静脈パターンを、例えば、手のひら側から撮影して、その静脈パターンを表す静脈画像を生成する。さらに、生体情報取得部4は、照合に利用する静脈パターンを含む手を手のひら側から撮影して、その手のひらの掌紋を表す掌紋画像を生成する。
例えば、生体情報取得部4は、近赤外光を発する第1の照明光源と、可視光を発する第2の照明光源と、近赤外光及び可視光に感度を持つ固体撮像素子の2次元アレイにより形成されるエリアセンサを有する。また生体情報取得部4は、エリアセンサ上に静脈パターンまたは掌紋の像を結像する結像光学系を有する。さらに生体情報取得部4は、手のひらを上方へ向けて手を載置するための台を有する。そしてエリアセンサと第1及び第2の照明光源は、台の上方に、手を挟んで台と対向するように下方を向けて配置される。なお、第1の照明光源は、例えば、赤外発光ダイオードとすることができる。また、第2の照明光源は、例えば、白色発光ダイオードとすることができる。
生体情報取得部4は、静脈パターンを撮影する際、例えば、処理部7からの制御信号に応じて、第1の照明光源を点灯し、第2の照明光源を消灯して静脈パターンを撮影する。そして生体情報取得部4は、その撮影により得られた静脈画像を処理部7へ出力する。また、生体情報取得部4は、掌紋を撮影する際、例えば、処理部7からの制御信号に応じて、第1の照明光源を消灯し、第2の照明光源を点灯して掌紋を撮影する。そして生体情報取得部4は、その撮影により得られた掌紋画像を処理部7へ出力する。
ストレージ装置5は、記憶部の一例であり、例えば、磁気記録ディスク及びそのアクセス装置を有する。そしてストレージ装置5は、生体認証装置1で使用されるアプリケーションプログラム、少なくとも一人の登録利用者のユーザ名、ユーザ識別番号及び個人設定情報、各種のデータ等を記憶する。またストレージ装置5は、生体認証処理を実行するためのプログラムを記憶する。さらにストレージ装置5は、登録利用者それぞれについて、登録利用者の生体情報である何れかの手の静脈パターンの特徴を表す照合用特徴情報を、その登録利用者のユーザ名、ユーザ識別番号といった登録利用者のユーザ識別情報とともに記憶する。
本実施形態では、照合用特徴情報は、静脈画像上に表された静脈パターンに含まれる各静脈を複数の線分で近似的に表した場合の各線分の位置、長さ及び傾きを表す情報を含む。各線分の位置は、例えば、静脈画像上での線分の中点の座標で表される。また各線分の長さは、例えば、線分の両端点の座標または線分の両端点間の距離で表される。そして各線分の傾きは、例えば、静脈画像上での水平方向の線とその線分とがなす角度で表される。
なお、登録利用者の照合用特徴情報は、後述する登録処理によって求められ、ストレージ装置5に記憶される。
メモリ6は、記憶部の他の一例であり、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そしてメモリ6は、処理部7上で実行中のプログラムで使用される各種のデータを一時的に記憶する。
処理部7は、1個または複数個のプロセッサ及びその周辺回路を有する。そして処理部7は、生体認証装置1の各部を制御する。例えば、処理部7は、生体情報取得部4を制御して、生体情報取得部4に、利用者の何れかの手の静脈パターンと、その手のひらの掌紋とを撮影させる。その際、処理部7は、利用者が手を静止させていることができる程度の時間内、例えば、数100msec以内に、静脈パターンと掌紋とを撮影させることが好ましい。そして処理部7は、生体情報取得部4から、静脈パターンが表された静脈画像と、掌紋が表された掌紋画像とを得る。処理部7は、掌紋画像に基づいて静脈画像に表された静脈パターンの向き、位置及びスケールを補正する。処理部7は、静脈パターンの向き、位置及びスケールが補正された静脈画像から照合用特徴情報を抽出する。そして処理部7は、その照合用特徴情報を登録し、あるいは、その照合用特徴情報を利用して、利用者を認証するか否かを判定する。
図2は、処理部7の機能ブロック図である。図2に示されるように、処理部7は、掌紋特徴点抽出部11と、補正部12と、特徴抽出部13と、照合部14と、認証判定部15と、登録部16とを有する。処理部7が有するこれらの各部は、処理部7が有するプロセッサ上で実行されるコンピュータプログラムによって実装される機能モジュールである。あるいは、処理部7が有するこれらの各部は、ファームウェアとして生体認証装置1に実装されてもよい。
掌紋特徴点抽出部11、補正部12及び特徴抽出部13は、生体認証処理及び登録処理の両方で使用される。また、照合部14及び認証判定部15は、生体認証処理において使用される。一方、登録部16は、登録処理において使用される。以下では、先ず、生体認証処理に関連する各部について説明する。
掌紋特徴点抽出部11は、掌紋画像から、静脈画像の位置補正の基準点となる、互いに異なる位置にある掌紋の二つの特徴点を抽出する。
図3は、掌紋画像の一例を示す図である。掌紋画像300には、手のひらの掌紋が表されている。その掌紋のうち、特に、感情線、頭脳線、あるいは生命線といった主線は太い皺なので、他の皺と比較して相対的に明確である。そのため、主線は掌紋画像から正確に検出できる可能性が高い。そこで、本実施形態では、掌紋特徴点抽出部11は、主線の端点のうち、最も左側にある端点と、最も右側にある端点とを、掌紋の特徴点として抽出する。図3に示された例では、掌紋画像300には、右手の掌紋が写っているので、生命線301の親指側の端点Sと感情線302の小指側の端点Kとが特徴点として抽出される。これにより、生体認証装置1は、比較的離れた位置にある、正確に検出できる二つの基準点に基づいて静脈画像上の静脈パターンの向きなどを補正することが可能となる。そのため、特徴点の検出誤差などにより生じる基準点の位置のずれによる、静脈パターンの向きなどの補正への影響が軽減される。
本実施形態では、掌紋特徴点抽出部11は、掌紋の特徴点を抽出するために、先ず、掌紋画像上で手のひらが写っている被写体領域と、手のひらが写っていない背景領域とを区別する。本実施形態では、生体情報取得部4が有する第2の照明光源とエリアセンサが手の同じ側と対向するように配置されているので、手のひらが写っている画素の輝度値は、手のひらが写っていない画素の輝度値よりも高い。そこで掌紋特徴点抽出部11は、例えば、被写体判定閾値以上の輝度値を持つ画素の集合を被写体領域として抽出する。被写体判定閾値は、例えば、予め設定された固定値(例えば、10)、あるいは掌紋画像内の各画素の輝度値の平均値に設定される。
次に、掌紋特徴点抽出部11は、被写体領域を、掌紋判定閾値で2値化することで、手のひらの表面の皺が写っている可能性がある画素の集合と、それ以外の画素の集合とに2値化した2値化掌紋画像を作成する。例えば、手のひらの表面の皺が写っている画素の輝度値は、その周囲の画素の輝度値よりも低い。そこで、掌紋特徴点抽出部11は、掌紋判定閾値以下の輝度値を持つ画素を、手のひらの表面の皺が写っている画素とし、掌紋判定閾値よりも高い輝度値を持つ画素を、手のひらの表面の皺が写っていない画素とする。掌紋判定閾値は、例えば、被写体領域内の各画素の輝度値の平均値に設定される。あるいは、掌紋判定閾値は、被写体領域内の各画素の輝度値の分布に対して大津の2値化法を適用することによって決定されてもよい。なお、以下では、説明の便宜上、手のひらの表面の皺が写っている画素を、皺画素と呼ぶ。
また、掌紋特徴点抽出部11は、被写体領域内の各画素に対して、Sobelフィルタまたはラプラシアンフィルタといったエッジ検出フィルタを適用することで検出された画素を皺画素としてもよい。
掌紋特徴点抽出部11は、2値化掌紋画像について、皺画素の集合に対して細線化処理を行うことにより、皺画素が連結した線を、例えば1画素幅を持つ線に細線化する。掌紋特徴点抽出部11は、その細線化された2値化掌紋画像に対してラベリング処理を行って、皺画素が連結した線ごとに異なるラベルを付す。これにより、皺画素が連結した線のそれぞれが区別される。掌紋の主線は比較的長いので、掌紋特徴点抽出部11は、皺画素が連結した線のうち、長い方から順に所定個数(例えば、主線の数である4)の線を主線として選択する。そして掌紋特徴点抽出部11は、何れかの主線と被写体領域の右端との交点、及び、何れかの主線と被写体領域の左端との交点を、それぞれ、掌紋の特徴点とする。掌紋画像に写っている利用者の点が右手である場合、掌紋特徴点抽出部11は、何れかの主線と被写体領域の右端とが交差する点を、生命線の親指側の端点Sとし、何れかの主線と被写体領域の左端とが交差する点を、感情線の小指側の端点Kとする。
また、主線の何れもが、被写体領域の右端と交差しない場合、掌紋特徴点抽出部11は、主線の端点のうち、最も右側に位置する端点を生命線の親指側の端点Sとしてもよい。同様に、主線の何れもが、被写体領域の左端と交差しない場合、掌紋特徴点抽出部11は、主線の端点のうち、最も左側に位置する端点を感情線の小指側の端点Kとしてもよい。
なお、掌紋画像に写っている利用者の点が左手である場合、上記の実施例とは逆に、選択した線と被写体領域の左端とが交差する点が生命線の親指側の端点Sとなり、選択した線と被写体領域の右端とが交差する点が感情線の小指側の端点Kとなる。
掌紋特徴点抽出部11は、端点Kの座標と端点Sの座標を補正部12へ通知する。
補正部12は、掌紋の二つの特徴点である端点Kと端点Sとを結ぶ線の向きに応じて、静脈画像上の静脈パターンの向きを補正する。本実施形態では、補正部12は、さらに、端点Kと端点Sに基づいて、静脈画像上の静脈パターンの位置及びスケールを補正する。なお、以下では、説明の便宜上、掌紋の二つの特徴点に対応する、向き、位置などの補正の基準として利用される、静脈画像上の二つの点を基準点と呼ぶ。
本実施形態では、掌紋画像と静脈画像とは、どちらも生体情報取得部4が生成しているので、掌紋画像上の感情線の端点Kと同じ位置にある、静脈画像の画素K’が感情線の端点Kの位置と想定される。同様に、掌紋画像上の生命線の端点Sと同じ位置にある、静脈画像の画素S’が生命線の端点Sの位置と想定される。そこで補正部12は、画素K’と画素S’とを基準点とする。
補正部12は、静脈画像上で静脈パターンが所定の位置となるように、静脈画像の各画素を平行移動させる。そのために、補正部12は、基準点K’とS’の中点Cを求める。そして補正部12は、中点Cと静脈画像の中心とのずれ量を平行移動量として求め、中心Cが静脈画像の中心となるように、静脈画像の各画素をその平行移動量だけ平行移動させる。
図4(a)は、静脈パターンの位置補正後の静脈画像の一例を示す図である。静脈画像400では、基準点K’とS’との中心Cが、静脈画像400の中心に位置するように、各画素が平行移動されている。
次に、補正部12は、静脈パターンの向きが所定の方向を向くように、静脈画像の各画素を回転させる。本実施形態では、補正部12は、基準点K’とS’を結ぶ線が静脈画像上で水平方向を向くように、水平方向に対するその線の角度θを、その線の向きとして求める。そして補正部12は、平行移動後の静脈画像における、基準点K’とS’との中心Cを回転中心として、静脈画像の各画素を角度(−θ)だけ回転させる。
図4(b)は、静脈パターンの向き補正後の静脈画像の一例を示す図である。静脈画像410では、基準点K’とS’とを結ぶ線411が水平方向を向くように、各画素が回転移動されている。
静脈パターンの向き補正後、補正部12は、基準点K’とS’間の距離が所定距離となるように、静脈パターンのスケールを補正する。本実施形態では、補正部12は、基準点K’とS’間の距離に対する静脈画像の水平方向のサイズの比をスケール調整量として求める。補正部12は、基準点K’とS’間の距離と静脈画像の水平方向のサイズが等しくなるように、静脈画像の各画素について、中心Cとその画素間の距離にスケール調整量を乗じて得られる補正距離を求める。そして補正部12は、静脈画像の各画素について、中心Cからその画素へ向かう方向に沿って補正距離の位置へ移動させる。これにより、静脈画像上の静脈パターンの向き、位置及びスケールが補正された静脈画像が得られる。
図4(c)は、静脈パターンのスケール補正後の静脈画像の一例を示す図である。静脈画像420では、基準点K’とS’とが静脈画像420の画像端に位置するように、静脈パターンのスケールが調整されている。
なお、補正部12は、基準点K’とS’に基づいて、静脈画像の各画素の位置を実際に移動させる前に、平行移動量、回転移動量及びスケール調整量を求めてもよい。そして補正部12は、平行移動量、回転移動量及びスケール調整量から求められるアフィン変換係数を用いて、静脈画像の各画素にアフィン変換を適用することで、補正された静脈画像をもとめてもよい。
補正部12は、補正された静脈画像を特徴抽出部13へ渡す。
特徴抽出部13は、補正された静脈画像から、照合に利用するための特徴情報である照合用特徴情報を抽出する。本実施形態では、特徴抽出部13は、補正された静脈画像上に写っている各静脈を近似的に表す複数の線分を、照合用特徴情報として抽出する。
特徴抽出部13は、掌紋特徴点抽出部11が掌紋画像から被写体領域を特定するのと同様の処理を静脈画像に適用することで、静脈画像上で手が写っている被写体領域と、手が写っていない背景領域とを区別する。
次に、特徴抽出部13は、被写体領域または被写体領域の内接矩形領域を、静脈判定閾値で2値化することで、静脈が写っている可能性がある画素の集合と、それ以外の画素の集合とに2値化した2値化静脈画像を作成する。例えば、静脈が写っている画素の輝度値は、その周囲の画素の輝度値よりも低い。そこで、特徴抽出部13は、静脈判定閾値以下の輝度値を持つ画素を、静脈が写っている画素とし、静脈判定閾値よりも高い輝度値を持つ画素を、静脈が写っていない画素とする。静脈判定閾値は、例えば、被写体領域内の各画素の輝度値の平均値に設定される。あるいは、静脈判定閾値は、被写体領域内の各画素の輝度値の分布に対して大津の2値化法を適用することによって決定されてもよい。なお、以下では、説明の便宜上、静脈が写っている画素を、静脈画素と呼ぶ。
特徴抽出部13は、2値化静脈画像について、静脈画素の集合に対して細線化処理を行うことにより、静脈画素が連結した線を、例えば1画素幅を持つ線に細線化する。細線化された個々の線は、一つの静脈を表す。静脈は、一般的に直線ではないので、特徴抽出部13は、細線化された個々の線を複数の線分に分割することで、各静脈を複数の線分で近似的に表す。
特徴抽出部13は、例えば、細線化された個々の線について、以下の処理を実行することで、その線を複数の線分に分割する。なお、以下では、処理対象となる細線化された線を、便宜上、着目線と呼ぶ。
特徴抽出部13は、着目線の両端を結ぶ直線を算出し、着目線上の各画素と、その直線との距離を求める。そして特徴抽出部13は、距離の最大値が所定の閾値(例えば、5)以上である場合、着目線を、その距離の最大値に対応する画素で分割する。
特徴抽出部13は、着目線を分割することにより得られた個々の線をそれぞれ次の着目線として、上記の処理を実行する。特徴抽出部13は、距離の最大値が所定の閾値未満になるまで、上記の処理を繰り返し実行する。そして特徴抽出部13は、距離の最大値が所定の閾値未満である場合、その着目線を一本の線分とする。
特徴抽出部13は、得られた線分ごとに、その線分の中点の座標を、その線分の位置として算出する。さらに、特徴抽出部13は、線分ごとに、その線分の属性として、その線分の長さ及び傾きを算出する。そして生体認証処理が行われる場合、特徴抽出部13は、線分ごとの中点の座標、長さ及び傾きを含む照合用特徴情報を、照合部14へ出力する。
なお、特徴抽出部13は、補正された静脈画像そのもの、あるいは、補正された静脈画像から得られた2値化静脈画像を、照合用特徴情報としてもよい。
一方、登録処理が行われる場合、特徴抽出部13は、照合用特徴情報を登録部16へ出力する。
照合部14は、利用者の照合用特徴情報と、登録利用者の照合用特徴情報とを用いて、利用者の静脈パターンと登録利用者の静脈パターンとを照合する。そして照合部14は、照合処理の結果として、利用者の静脈パターンが登録利用者の静脈パターンに類似している度合いを表す照合スコアを求める。
照合部14は、例えば、利用者の照合用特徴情報に含まれる各線分について、それぞれ、登録利用者の照合用特徴情報に含まれる線分のうちの最も近いものとの距離を算出する。なお、照合部14は、例えば、着目する二つの線分のそれぞれの中点間の距離を、その二つの線分間の距離とすることができる。あるいは、照合部14は、着目する二つの線分に含まれる各画素のうち、一致しない画素の個数の合計、すなわち、ハミング距離を算出してもよい。そして照合部14は、ハミング距離を着目する二つの線分のうちの一方の長さで除した値、あるいは、ハミング距離そのものを、その二つの線分間の距離としてもよい。
照合部14は、利用者の照合用特徴情報に含まれる各線分について算出した距離の平均値の逆数を照合スコアとして算出する。ただし、距離の平均値が所定値(例えば、0.1〜1)未満であれば、照合部14は、照合スコアを取り得る最大値(例えば、1)としてもよい。
また照合部14は、利用者の照合用特徴情報に含まれる線分のうち、登録利用者の照合用特徴情報に含まれる線分のうちの最も近いものまでの距離が所定値以下となる線分の数を、利用者の照合用特徴情報に含まれる線分の総数で除した数を照合スコアとしてもよい。
また、照合用特徴情報が補正された静脈画像そのものである場合、照合部14は、利用者の補正された静脈画像と登録利用者の補正された静脈画像間の正規化相互相関値を、照合スコアとして算出してもよい。同様に、照合用特徴情報が補正された静脈画像から得られた2値化静脈画像である場合も、照合部14は、利用者の2値化静脈画像と登録利用者の2値化静脈画像間の正規化相互相関値を、照合スコアとして算出してもよい。
照合部14は、照合スコア及び登録利用者の識別情報を認証判定部15へ渡す。
認証判定部15は、照合スコアが認証判定閾値以上となる場合、利用者の静脈パターンと、登録利用者の静脈パターンは一致すると判定する。そして認証判定部15は、利用者を、その登録利用者として認証する。認証判定部15は、利用者を認証すると、その認証結果を処理部7へ通知する。
一方、認証判定部15は、照合スコアが認証判定閾値未満となる場合、利用者の静脈パターンと登録利用者の静脈パターンは一致しないと判定する。この場合には、認証判定部15は、利用者を認証しない。認証判定部15は、利用者の認証に失敗したことを示す認証結果を処理部7へ通知する。そして処理部7は、表示部2に、認証結果を表すメッセージを表示させてもよい。
認証判定閾値は、何れかの登録利用者本人が利用者である場合にのみ、認証判定部15が認証に成功するような値に設定されることが好ましい。そして認証判定閾値は、登録利用者とは異なる他人が利用者である場合には、認証判定部15が認証に失敗するような値に設定されることが好ましい。例えば、認証判定閾値は、照合スコアの取りうる最大値と最小値の差に0.7を乗じた値を、類似度の最小値に加えた値とすることができる。
図5は、処理部7により実行される生体認証処理の動作フローチャートである。
処理部7は、入力部3を介して、認証対象となる登録利用者を特定するためのユーザ識別情報を取得する(ステップS101)。また処理部7は、生体情報取得部4から認証を受けようとする利用者の何れかの手の静脈パターンが写った静脈画像と、その手のひらの掌紋が写った掌紋画像とを受け取る(ステップS102)。
掌紋特徴点抽出部11は、掌紋画像から、互いに異なる位置にある、掌紋の二つの特徴点を抽出する(ステップS103)。
補正部12は、二つの掌紋の特徴点に対応する静脈画像上の基準点を特定する(ステップS104)。そして補正部12は、その二つの基準点の中点が静脈画像の中心に位置するように、静脈画像の各画素を平行移動させる(ステップS105)。また、補正部12は、平行移動後の静脈画像において、二つの基準点を結ぶ線が水平方向を向くように、静脈画像の各画素を回転移動させる(ステップS106)。さらに、補正部12は、回転移動後の静脈画像において、二つの基準点間の距離が静脈画像の水平方向のサイズと等しくなるように、静脈パターンのスケールを調整する(ステップS107)。これにより得られた補正された静脈画像を、補正部12は、特徴抽出部13へわたす。
特徴抽出部13は、補正された静脈画像から、静脈パターンを近似的に表す複数の線分を含む、照合用特徴情報を抽出する(ステップS108)。そして特徴抽出部13は、照合用特徴情報を照合部14へ渡す。
照合部14は、利用者の照合用特徴情報と、入力部3を介して得られたユーザ識別情報により特定される登録利用者の照合用特徴情報を照合することにより、利用者の静脈パターンと登録利用者の静脈パターン間の照合スコアを算出する(ステップS109)。
認証判定部15は、照合スコアが認証判定閾値以上となるか否か判定する(ステップS110)。照合スコアが認証判定閾値以上である場合(ステップS110−Yes)、認証判定部15は、利用者の静脈パターンと登録利用者の静脈パターンは一致すると判定する。そして認証判定部15は、利用者を、登録利用者として認証する(ステップS111)。認証判定部15は、利用者を認証すると、その認証結果を処理部7へ通知する。そして処理部7は、認証された利用者が生体認証装置1が実装された装置あるいは生体認証装置1が接続された装置を利用することを許可する。
一方、照合スコアが認証判定閾値未満である場合(ステップS110−No)、利用者の静脈パターンは登録利用者の静脈パターンと一致しないと判定する。そのため、認証判定部15は利用者を認証しない(ステップS112)。そして認証判定部15は、利用者を認証しないことを処理部7へ通知する。この場合、処理部7は、認証されなかった利用者が生体認証装置1が実装された装置あるいは生体認証装置1が接続された装置を使用することを拒否する。また処理部7は、表示部2に、認証に失敗したことを示すメッセージを表示させてもよい。
ステップS111またはS112の後、処理部7は、生体認証処理を終了する。
また、いわゆる1:N認証方式が採用されている場合、すなわち、登録利用者のユーザ識別情報が入力されない場合、照合部14は、全ての登録利用者について照合スコアを算出する。そして照合部14は、照合スコアが最大となる登録利用者を選択する。照合部14は、照合スコアの最大値及びその最大値に対応する登録利用者のユーザ識別情報を認証判定部15へ渡す。認証判定部15は、照合スコアの最大値が認証判定閾値以上であれば、利用者を、その照合スコアの最大値に対応する登録利用者として認証する。
次に、登録処理に関連する登録部16について説明する。
登録処理でも、処理部7は、生体情報取得部4から登録対象の利用者の何れかの手の静脈画像と掌紋画像を受け取る。そして処理部7の掌紋特徴点抽出部11は、その掌紋画像から掌紋の二つの特徴点を抽出する。また補正部12は、掌紋の二つの特徴点に対応する、静脈画像上の二つの基準点に基づいて、静脈画像上の静脈パターンの向き、位置及びスケールを補正する。特徴抽出部13は、補正された静脈画像から照合用特徴情報を抽出し、照合用特徴情報を登録部16へ出力する。
登録部16は、入力部3から、登録対象の利用者のユーザ名を取得する。そして登録部16は、その利用者に対して一意に設定されるユーザ識別番号を設定する。そして登録部16は、利用者のユーザ名及びユーザ識別番号を、特徴抽出部13から受け取った照合用特徴情報とともにストレージ装置5に記憶する。これにより、利用者は、生体認証装置1が実装された装置の使用が許可される登録利用者として登録される。
以上に説明してきたように、生体情報補正装置の一例である生体認証装置は、静脈パターンを含む手の掌紋の特徴点を、静脈画像上の静脈パターンの向き、位置及びスケールの補正に利用する。掌紋の特徴点と静脈パターンとは、比較的近い位置にあり、かつ、掌紋の特徴点は比較的正確に検出できるので、この生体認証装置は、静脈画像上に表された静脈パターンを、所定の位置に移動させ、所定の向きとし、かつ、所定のスケールとすることができる。そのため、この生体認証装置は、照合時と登録時とにおける、静脈パターンの向き、位置またはスケールのずれによる、照合結果への影響を軽減できる。
次に、第2の実施形態による生体認証装置について説明する。第2の実施形態による生体認証装置は、生体情報取得部とは別個に設けられた掌紋取得部により生成された掌紋画像を利用して、静脈画像上の静脈パターンの向きまたは位置などを補正する。
図6は、生体情報補正装置の第2の実施形態による生体認証装置の概略構成図を示す。図6に示されるように、生体認証装置10は、表示部2と、入力部3と、生体情報取得部4と、ストレージ装置5と、メモリ6と、処理部7と、掌紋取得部8とを有する。
第2の実施形態による生体認証装置10は、第1の実施形態による生体認証装置1と比較して、掌紋画像を生成する掌紋取得部8を、静脈画像を生成する生体情報取得部4とは別個に有する点で異なる。そこで以下では、掌紋取得部8及びその関連部分について説明する。
掌紋取得部8は、照合に利用される静脈パターンを有する利用者の手の掌紋を手のひら側から撮影して、その掌紋を表す掌紋画像を生成する。そのために、例えば、掌紋取得部8は、可視光を発する照明光源と、可視光に感度を持つ固体撮像素子の2次元アレイにより形成されるエリアセンサと、エリアセンサ上に掌紋の像を結像する結像光学系を有する。なお、本実施形態では、生体情報取得部4が有する結像光学系の画角と掌紋取得部8が有する結像光学系の画角は等しいものとする。さらに、生体情報取得部4が有するエリアセンサと掌紋取得部8が有するエリアセンサとは、それらのセンサ面が互いに平行となり、かつ、それらのセンサ面が同じ平面に位置するように配置されるものとする。さらに、それらのエリアセンサの画素数は同一であるとする。さらに掌紋取得部8は、生体情報取得部4が手の静脈パターンを撮影する際の手の位置から利用者がその手を動かすことなく掌紋を撮影できるように、例えば、生体情報取得部4と並べて配置される。そして掌紋取得部8は、生成した掌紋画像を処理部7へ出力する。
図7は、第2の実施形態による処理部7の機能ブロック図である。図7に示されるように、処理部7は、掌紋特徴点抽出部11と、補正部12と、特徴抽出部13と、照合部14と、認証判定部15と、登録部16と、対応付け部17とを有する。第2の実施形態による処理部7は、第1の実施形態による処理部7と比較して、対応付け部17を有する点で異なる。そこで以下では、対応付け部17について説明する。
対応付け部17は、生体情報取得部4と掌紋取得部8の位置関係に応じて、掌紋画像から抽出された掌紋の二つの特徴点K、Sに対応する静脈画像上の基準点を特定する。本実施形態では、生体情報取得部4と掌紋取得部8とは異なる位置に配置されている。そのため、掌紋の特徴点K、Sに対応する掌紋画像上の位置と静脈画像上の位置とは、生体情報取得部4と掌紋取得部8間の位置関係に応じてずれる。
本実施形態では、生体情報取得部4のエリアセンサと掌紋取得部8のエリアセンサとは、画素数が同一であり、それらのセンサ面が同一平面上に位置するように配置されている。さらに、生体情報取得部4の結像光学系の画角と掌紋取得部8の結像光学系の画角は同一である。ここで、生体情報取得部4の撮影範囲の中心が、掌紋取得部8の撮影範囲の中心に対して、静脈画像及び掌紋画像の水平かつ右向きに対応する方向に沿ってhインチ離れ、かつ、静脈画像及び掌紋画像の垂直かつ下向きに対応する方向に沿ってvインチ離れているとする。そして、静脈画像及び掌紋画像の解像度がn dot per inch(dpi)であるとする。この場合、掌紋の特徴点K、Sに対応する掌紋画像上の位置と静脈画像上の位置とは、水平方向に(h×n)画素、垂直方向に(v×n)画素ずれる。そこで対応付け部17は、掌紋画像上の掌紋の特徴点K、Sに対応する画素の座標から、それぞれ、水平方向に(h×n)画素を減じ、かつ、垂直方向に(v×n)画素を減じた位置を、基準点K’、S’とする。
なお、生体情報取得部4の結像光学系の画角と、掌紋取得部8の結像光学系の画角とは異なっていてもよい。また、生体情報取得部4のエリアセンサの画素数と掌紋取得部8のエリアセンサの画素数とは互いに異なっていてもよい。さらに、生体情報取得部4のエリアセンサのセンサ面と、掌紋取得部8のエリアセンサのセンサ面とは、互いに異なる平面に位置するように、それらのエリアセンサは配置されてもよい。このような場合には、掌紋画像上の画素の位置によって、静脈画像上の対応する画素までの位置ずれ量が異なる。そこで、例えば、掌紋画像上の画素ごとに、その画素の座標と、対応する静脈画像上の画素の座標との対応関係を表す参照テーブルが予めストレージ装置5に記憶される。そして対応付け部17は、その参照テーブルを参照することで、掌紋画像上の掌紋の特徴点K、Sに対応する、静脈画像上の基準点K’、S’の座標を特定すればよい。
対応付け部17は、静脈画像上の基準点K’、S’の座標を補正部12へ渡す。そして補正部12は、第1の実施形態と同様に、基準点K’、S’に基づいて、静脈画像上の静脈パターンの位置、向き及びスケールを補正する。
第2の実施形態によれば、生体認証装置は、静脈パターンを撮影する生体情報取得部と掌紋を撮影する掌紋取得部とを同じ装置とすることができなくても、掌紋の特徴点に基づいて、静脈画像上の静脈パターンの位置、向き及びスケールを補正できる。
なお、上記の各実施形態の変形例によれば、掌紋特徴点抽出部11は、掌紋の主線のうちの二つを曲線近似して得られた二つの近似曲線について、互いになす角度が最小となる接線の組を求めてもよい。そして掌紋特徴点抽出部11は、その接線の組に含まれる各接線と対応する近似曲線の接点を、掌紋の特徴点としてもよい。以下では、掌紋特徴点抽出部11が感情線と生命線を曲線近似する場合について説明する。
この場合、掌紋特徴点抽出部11は、上記の実施形態と同様に、選択された皺画素が連結した線のうち、一方の端点が最も親指側の被写体領域の境界に近い線を生命線とする。また、掌紋特徴点抽出部11は、選択された皺画素が連結した線のうち、一方の端点が最も子指側の被写体領域の境界に近い線を感情線とする。
掌紋特徴点抽出部11は、感情線及び生命線を、例えば、最小二乗法を用いて、円、楕円、あるいは双曲線などの2次曲線で近似する。あるいは、掌紋特徴点抽出部11は、感情線及び生命線に対してスプライン補間を適用することで、3次以上の曲線で近似してもよい。
例えば、感情線及び生命線が、それぞれ、次式のように楕円を表す曲線で近似されたとする。
Figure 0006467852
ここで、(1)式は、感情線を表す近似曲線であり、(2)式は、生命線を表す近似曲線である。そしてak,bk,ck,dk,as,bs,cs,dsは、それぞれ、定数である。また、x、yは、それぞれ、掌紋画像上の水平方向の座標及び垂直方向の座標を表す。感情線の接線及び生命線の接線を、その近似曲線に対する接線で表すとする。この場合、感情線の近似曲線上の座標(ik,jk)における、感情線の接線の傾きgk、及び、生命線の近似曲線上の座標(is,js)における、生命線の接線の傾きgsは次式で表される。
Figure 0006467852
掌紋特徴点抽出部11は、(ik,jk)と(is,js)の組を変えつつ、gkとgsを算出する。掌紋特徴点抽出部11は、gk=gsとなる、(ik,jk)と(is,js)の組が検出された場合、(ik,jk)を掌紋の特徴点Kとし、(is,js)を特徴点Sとする。なお、gk=gsとなる、(ik,jk)と(is,js)の組が複数検出された場合、掌紋特徴点抽出部11は、距離が最大となる(ik,jk)と(is,js)の組における(ik,jk)を掌紋の特徴点Kとし、(is,js)を特徴点Sとする。
図8(a)は、この変形例において抽出される掌紋の特徴点を示す図である。図8(a)に示される掌紋画像800において、生命線の近似曲線801の点Sにおける接線802と、感情線の近似曲線803の点Kにおける接線804とは、互いに平行となっている。この場合、接線802と接線804とがなす角は0°、すなわち、近似曲線801の接線と近似曲線803の接線の組のうちで、接線802と接線804の組は、互いになす角が最小となる。そのため、点Sと点Kとが、掌紋の特徴点として抽出される。
一方、gk=gsとなる(ik,jk)と(is,js)の組が無い場合、掌紋特徴点抽出部11は、(ik,jk)と(is,js)の組ごとに、(ik,jk)と(is,js)とを結ぶ線分ksと(ik,jk)における感情線の接線とがなす角θkと、線分ksと(is,js)における生命線の接線とがなす角θsとを求める。そして掌紋特徴点抽出部11は、(tanθk+tanθs)が最小となるときの(ik,jk)を特徴点Kとし、(is,js)を特徴点Sとする。
図8(b)は、この変形例において抽出される掌紋の特徴点を示す図である。図8(b)に示される掌紋画像810において、生命線の近似曲線811の点Sにおける接線812と、点Sと点Kとを結ぶ線815とのなす角がθsで表される。また、感情線の近似曲線813の点Kにおける接線814と線815のなす角がθkで表される。そして、点Sと点Kとについて、(tanθk+tanθs)が最小となる場合、点Sと点Kとが掌紋の特徴点として抽出される。
この変形例によれば、掌紋の主線と被写体領域の端部とが交差しない場合でも、掌紋特徴点抽出部11は、掌紋画像上で検出が比較的容易な主線に基づいて、掌紋の特徴点を抽出することができる。
また、掌紋特徴点抽出部11は、被写体領域の端部と主線とが交差するか否かに応じて、静脈パターンの位置、向きなどの補正に利用する特徴点を切り替えてもよい。例えば、掌紋特徴点抽出部11は、生命線をその親指側の端点から生命線に沿って延伸した線と被写体領域の親指側の端部とが交差し、かつ、感情線をその小指側の端点から感情線に沿って延伸した線と被写体領域の子指側の端部とが交差するか否か判定する。なお、生命線、感情線から延伸する線は、例えば、スプライン補間により求めることができる。生命線を延伸した線と感情線を延伸した線の両方が被写体領域の端部と交差する場合、掌紋特徴点抽出部11は、生命線の親指側の端点を掌紋の特徴点Sとし、感情線の小指側の端点を特徴点Kとする。一方、生命線を延伸した線と感情線を延伸した線の少なくとも何れかが被写体領域の端部と交差しない場合、掌紋特徴点抽出部11は、上記の変形例のように、感情線と生命線の近似曲線の接線に基づいて、掌紋の特徴点K、Sを求めてもよい。このように、被写体領域の端部と主線とが交差するか否かに応じて、抽出する掌紋の特徴点を切り替えることで、掌紋特徴点抽出部11は、より抽出し易い方の特徴点を利用することができる。
また、他の変形例によれば、生体認証処理の実行時において取得された静脈画像について、補正部12は、登録時において取得された静脈画像上の静脈パターンの位置、向きなどに一致させるように、静脈画像上の静脈パターンを補正してもよい。この場合には、登録処理の実行時において、補正部12は、静脈画像上の静脈パターンの向き、位置などを補正しなくてもよい。その代り、補正部12は、静脈画像上での基準点K’とS’の中点Cの座標、K’とS’とを結ぶ線の水平方向に対する角度、K’とS’間の距離を求め、それらを登録部16へ渡す。登録部16は、照合用特徴情報とともに、中点Cの座標、K’とS’とを結ぶ線の水平方向に対する角度、K’とS’間の距離を、ストレージ装置5に記憶する。
生体認証処理の実行時において、補正部12は、ストレージ装置5から、中点Cの座標、K’とS’とを結ぶ線の水平方向に対する角度、K’とS’間の距離を読み込む。そして補正部12は、生体認証処理時に取得された静脈画像における中点Cと読み込んだ中点Cが一致するようにその静脈画像の各画素を平行移動させる。また補正部12は、生体認証処理時に取得された静脈画像における、K’とS’とを結ぶ線の向きと、読み込んだ傾きとが一致するように、中点Cを回転中心として、その静脈画像の各画素を回転移動させる。さらに補正部12は、生体認証処理時に取得された静脈画像における、K’とS’間の距離と、読み込んだ距離とが一致するように、回転補正された静脈画像のスケールを補正する。
さらに他の変形例によれば、補正部12は、静脈画像上の静脈パターンの代わりに、特徴抽出部13により照合用特徴情報として抽出された、静脈パターンの特徴部分である各線分の位置、長さ及び傾きを補正してもよい。この場合には、補正部12は、基準点K’とS’に基づいて求められた平行移動量、回転移動量及びスケール調整量から求められるアフィン変換係数を用いて各線分の両端点をアフィン変換することで、補正された各線分の位置、長さ及び傾きを求めることができる。
この変形例によれば、補正対象となる点の数が静脈画像上の静脈パターンそのものを補正するよりも少なくて済むので、補正部12の演算量が削減される。
さらに他の変形例によれば、生体情報取得部4が利用者の手の静脈パターンを撮影して得られた静脈画像に、その手の掌紋が写ることもある。この場合には、掌紋特徴点抽出部11は、静脈画像から掌紋の二つの特徴点を抽出してもよい。この場合、上記の実施形態と同様の処理を静脈画像に対して実行して得られる、被写体領域内の細線化された線には、静脈パターンだけでなく、掌紋の主線も含まれる。しかし、掌紋の主線は比較的長く、かつ、被写体領域の端部近傍まで伸びている。そこで、掌紋特徴点抽出部11は、一端が被写体の領域の端部から所定距離(例えば、5画素)以内にある細線化された線のうち、長い方から順に所定個数の線を、主線とすればよい。
図9は、上記の各実施形態またはその変形例による生体認証処理または登録処理を実行する、コンピュータシステムの一例の概略構成図である。
例えば、コンピュータシステム100は、少なくとも1台の端末110とサーバ120とを有する。そして端末110とサーバ120は、有線または無線の通信ネットワーク130を介して接続される。なお、図9において、コンピュータシステム100が有する構成要素のうち、図1に示した生体認証装置1が有する構成要素の何れかと対応する構成要素には、生体認証装置1が有する構成要素の参照番号と同じ参照番号を付した。
このシステムでは、端末110は、例えば、固定的に設置される端末であり、表示部2、入力部3及び生体情報取得部4を有する。さらに、端末110は、記憶部21と、画像取得制御部22と、インターフェース部23とを有する。
記憶部21は、例えば、半導体メモリ回路を有し、生体情報取得部4により生成された静脈画像を一時的に記憶する。また画像取得制御部22は、一つまたは複数のプロセッサとその周辺回路とを有し、端末110の各部を制御し、かつ、端末110で動作する各種のプログラムを実行する。そして画像取得制御部22は、生体情報取得部4により生成された静脈画像及び掌紋画像を、端末110を通信ネットワーク130と接続するためのインターフェース回路を有するインターフェース部23を介してサーバ120へ送信する。さらに画像取得制御部22は、入力部3を介して入力されたユーザ識別情報もサーバ120へ送信してもよい。
サーバ120は、ストレージ装置5と、メモリ6と、処理部7と、サーバ120を通信ネットワーク130と接続するためのインターフェース回路を有するインターフェース部24とを有する。サーバ120の処理部7は、インターフェース部24を介して受信した静脈画像及び掌紋画像を用いて、上記の各実施形態の何れかまたはその変形例による処理部が有する各部の機能を実現することにより、生体認証処理または登録処理を実行する。そしてサーバ120は、生体認証処理を実行する場合、認証に成功したか否かの判定結果をインターフェース部24を介して端末110へ返信する。
あるいは、端末110の画像取得制御部22が、上記の各実施形態による処理部の機能のうち、掌紋特徴点抽出部11、対応付け部17、補正部12及び特徴抽出部13の処理を実行してもよい。この場合、端末110からサーバ120へ、利用者の静脈画像から抽出された照合用特徴情報と利用者の識別情報がサーバ120へ送信されてもよい。一方、サーバ120の処理部7は、上記の各実施形態による処理部の機能のうち、掌紋特徴点抽出部11、対応付け部17、補正部12及び特徴抽出部13以外の処理を実行する。これにより、サーバ120の負荷が軽減されるので、同時に多数の生体認証処理が実行されても、コンピュータシステム100は、利用者に対する待ち時間を抑制できる。
また、上記の各実施形態による処理部の機能をコンピュータに実現させる命令を有するコンピュータプログラムは、磁気記録媒体、光記録媒体あるいは不揮発性の半導体メモリといった、記録媒体に記録された形で提供されてもよい。なお、コンピュータ読取可能な記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出する掌紋特徴点抽出部と、
前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる補正部と、
を有する生体情報補正装置。
(付記2)
前記補正部は、前記線が所定の方向を向くように前記第2の画像上の前記静脈パターンまたは前記静脈パターンの前記特徴部分を回転させる、付記1に記載の生体情報補正装置。
(付記3)
登録利用者の手の静脈パターンが表された第3の画像上での前記登録利用者の前記手の掌紋の二つの特徴点に対応する二つの点を結ぶ線の第2の向きを記憶する記憶部をさらに有し、
前記補正部は、前記向きが前記第2の向きと一致するように前記第2の画像上の前記静脈パターンまたは前記静脈パターンの前記特徴部分を回転させる、付記1に記載の生体情報補正装置。
(付記4)
前記掌紋特徴点抽出部は、前記掌紋の第1の主線上の点と前記掌紋の第2の主線上の点とを、前記二つの特徴点として抽出する、
付記1〜3の何れかに記載の生体情報補正装置。
(付記5)
前記掌紋特徴点抽出部は、前記第1の画像上で前記掌紋が写っている領域を検出し、前記第1の主線の前記領域の第1の端部に近い方の第1の端点を前記二つの特徴点のうちの一つとして抽出し、前記第2の主線の前記領域の前記第1の端部と反対側の第2の端部に近い方の第2の端点を前記二つの特徴点のうちの他の一つとして抽出する、付記4に記載の生体情報補正装置。
(付記6)
前記掌紋特徴点抽出部は、前記第1の主線を曲線近似して得られる第1の曲線の接線と前記第2の主線を曲線近似して得られる第2の曲線の接線の組のうち、互いになす角が最小となる接線の組に含まれる第1の接線と前記第1の曲線の接点を前記二つの特徴点のうちの一つとして抽出し、互いになす角が最小となる前記接線の組に含まれる第2の接線と前記第2の曲線の接点を前記二つの特徴点のうちの他の一つとして抽出する、付記4に記載の生体情報補正装置。
(付記7)
前記掌紋特徴点抽出部は、前記第1の端点から前記第1の主線に沿って前記第1の端部側へ延伸した第1の線が前記第1の端部と交差し、かつ、前記第2の端点から前記第2の主線に沿って前記第2の端部側へ延伸した第2の線が前記第2の端部と交差する場合、前記第1の端点及び前記第2の端点を前記二つの特徴点として抽出し、一方、前記第1の線と前記第1の端部が交差しないか、前記第2の線と前記第2の端部が交差しない場合、前記第1の主線を曲線近似して得られる第1の曲線の接線と前記第2の主線を曲線近似して得られる第2の曲線の接線の組のうち、互いになす角が最小となる接線の組に含まれる第1の接線と前記第1の曲線の接点を前記二つの特徴点のうちの一つとして抽出し、互いになす角が最小となる前記接線の組に含まれる第2の接線と前記第2の曲線の接点を前記二つの特徴点のうちの他の一つとして抽出する、付記5に記載の生体情報補正装置。
(付記8)
前記利用者の手の掌紋を撮影して前記第1の画像を生成する掌紋取得部と前記生体情報取得部との位置関係に応じて、前記第1の画像上の前記掌紋の二つの特徴点に対応する、前記第2の画像上の二つの点を特定する対応付け部をさらに有し、
前記補正部は、前記第2の画像上の前記二つの点を結ぶ線の向きを、前記二つの特徴点を結ぶ線の向きとする、
付記1〜7の何れかに記載の生体情報補正装置。
(付記9)
前記第2の画像から前記静脈パターンの前記特徴部分を抽出する特徴抽出部をさらに有し、
前記補正部は、前記静脈パターンの前記特徴部分を回転させる、付記1〜8の何れかに記載の生体情報補正装置。
(付記10)
利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出し、
前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる、
ことを含む生体情報補正方法。
(付記11)
利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出し、
前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる、
ことをコンピュータに実行させるための生体情報補正用コンピュータプログラム。
(付記12)
利用者の手が生体情報取得部により撮影されて得られた、前記手の静脈パターンと掌紋とが表された画像から、前記掌紋の二つの特徴点を抽出する掌紋特徴点抽出部と、
前記二つの特徴点を結ぶ線の向きに応じて前記画像上の前記静脈パターンまたは前記画像から抽出される前記静脈パターンの特徴部分を回転させる補正部と、
を有する生体情報補正装置。
1、10 生体認証装置(生体情報補正装置)
2 表示部
3 入力部
4 生体情報取得部
5 ストレージ装置
6 メモリ
7 処理部
8 掌紋取得部
11 掌紋特徴点抽出部
12 補正部
13 特徴抽出部
14 照合部
15 認証判定部
16 登録部
17 対応付け部
100 コンピュータシステム
110 端末
120 サーバ
130 通信ネットワーク
21 記憶部
22 画像取得制御部
23、24 インターフェース部

Claims (7)

  1. 利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出する掌紋特徴点抽出部と、
    前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる補正部と、
    を有する生体情報補正装置。
  2. 前記掌紋特徴点抽出部は、前記掌紋の第1の主線上の点と前記掌紋の第2の主線上の点とを、前記二つの特徴点として抽出する、
    請求項1に記載の生体情報補正装置。
  3. 前記掌紋特徴点抽出部は、前記第1の画像上で前記掌紋が写っている領域を検出し、前記第1の主線の前記領域の第1の端部に近い方の第1の端点を前記二つの特徴点のうちの一つとして抽出し、前記第2の主線の前記領域の前記第1の端部と反対側の第2の端部に近い方の第2の端点を前記二つの特徴点のうちの他の一つとして抽出する、請求項2に記載の生体情報補正装置。
  4. 前記掌紋特徴点抽出部は、前記第1の主線を曲線近似して得られる第1の曲線の接線と前記第2の主線を曲線近似して得られる第2の曲線の接線の組のうち、互いになす角が最小となる接線の組に含まれる第1の接線と前記第1の曲線の接点を前記二つの特徴点のうちの一つとして抽出し、互いになす角が最小となる前記接線の組に含まれる第2の接線と前記第2の曲線の接点を前記二つの特徴点のうちの他の一つとして抽出する、請求項2に記載の生体情報補正装置。
  5. 前記利用者の手の掌紋を撮影して前記第1の画像を生成する掌紋取得部と前記生体情報取得部との位置関係に応じて、前記第1の画像上の前記掌紋の二つの特徴点に対応する、前記第2の画像上の前記二つの点を特定する対応付け部をさらに有する、
    請求項1〜4の何れか一項に記載の生体情報補正装置。
  6. 利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出し、
    前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる、
    ことを含む生体情報補正方法。
  7. 利用者の手の掌紋が撮影されて得られた、前記掌紋が表された第1の画像から、前記掌紋の二つの特徴点を抽出し、
    前記二つの特徴点を結ぶ線の向きに応じて前記手の静脈パターンが生体情報取得部で撮影されて得られた第2の画像上の前記静脈パターンまたは前記第2の画像から抽出される前記静脈パターンの特徴部分を回転させる、
    ことをコンピュータに実行させるための生体情報補正用コンピュータプログラム。
JP2014208998A 2014-10-10 2014-10-10 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム Active JP6467852B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014208998A JP6467852B2 (ja) 2014-10-10 2014-10-10 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム
KR1020150135289A KR102137055B1 (ko) 2014-10-10 2015-09-24 생체 정보 보정 장치, 생체 정보 보정 방법 및 생체 정보 보정용 컴퓨터 프로그램
EP15186876.7A EP3007100B1 (en) 2014-10-10 2015-09-25 Biometric information correcting apparatus and biometric information correcting method
US14/866,181 US10019618B2 (en) 2014-10-10 2015-09-25 Biometric information correcting apparatus and biometric information correcting method
CN201510632750.5A CN105512530B (zh) 2014-10-10 2015-09-29 生物信息校正装置和生物信息校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014208998A JP6467852B2 (ja) 2014-10-10 2014-10-10 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2016081116A JP2016081116A (ja) 2016-05-16
JP6467852B2 true JP6467852B2 (ja) 2019-02-13

Family

ID=54251319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014208998A Active JP6467852B2 (ja) 2014-10-10 2014-10-10 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム

Country Status (5)

Country Link
US (1) US10019618B2 (ja)
EP (1) EP3007100B1 (ja)
JP (1) JP6467852B2 (ja)
KR (1) KR102137055B1 (ja)
CN (1) CN105512530B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131093B2 (en) 2011-12-19 2015-09-08 Sharp Kabushiki Kaisha Image output system, information processing device, and authentication device
JP6242726B2 (ja) * 2014-03-25 2017-12-06 富士通フロンテック株式会社 生体情報登録方法、生体認証方法、生体情報登録装置、生体認証装置及びプログラム
JP6648639B2 (ja) * 2016-05-27 2020-02-14 富士通株式会社 生体情報処理装置、生体情報処理方法および生体情報処理プログラム
EP3372163A4 (en) 2016-12-23 2019-07-10 Obschestvo S Ogranichennoi Otvetstvennostyu "Nauchnoissledovatelsky Tsentr "Prosoftsistemy" IMAGE CAPTURE DEVICE FOR THE VEINS OF PALM
JP6790995B2 (ja) * 2017-04-27 2020-11-25 富士通株式会社 照合装置、照合方法および照合プログラム
WO2019207649A1 (ja) * 2018-04-24 2019-10-31 三菱電機株式会社 認証装置
CN112217938B (zh) * 2019-07-09 2022-08-05 深圳心慧科技有限公司 名片分享方法及相关产品
EP3805834B1 (en) * 2019-10-10 2023-12-06 Leica Instruments (Singapore) Pte. Ltd. Optical imaging system and corresponding apparatus, method and computer program
JP2022075193A (ja) * 2020-11-06 2022-05-18 パナソニックIpマネジメント株式会社 生体情報取得装置
CN115527079B (zh) * 2022-02-28 2023-07-14 腾讯科技(深圳)有限公司 掌纹样本的生成方法、装置、设备、介质及程序产品
WO2024095462A1 (ja) * 2022-11-04 2024-05-10 富士通株式会社 照合スコア算出方法、照合スコア算出装置、照合スコア算出システム、及び照合スコア算出プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288642A (ja) * 2001-03-27 2002-10-04 Nec Corp 掌紋部位分割装置とその掌紋部位分割方法、及び掌紋部位分割プログラム
JP2003263640A (ja) * 2002-03-08 2003-09-19 Toyota Motor Corp 生体情報を用いた個人識別装置
US7496214B2 (en) * 2002-09-25 2009-02-24 The Hong Kong Polytechnic University Method of palm print identification
JP2004295383A (ja) * 2003-03-26 2004-10-21 Nec Software Chubu Ltd 画像サイズ調整方法と装置
WO2004111919A1 (en) 2003-06-12 2004-12-23 The Hong Kong Polytechnic University Method of palm print identification
JP2006280835A (ja) * 2005-04-05 2006-10-19 Aruze Corp 個人認証装置及び同個人認証装置を備える遊技機
JP2008134862A (ja) 2006-11-29 2008-06-12 Hitachi Omron Terminal Solutions Corp 静脈認証装置
WO2008120317A1 (ja) * 2007-03-28 2008-10-09 Fujitsu Limited 照合装置、認証装置、照合方法、認証方法、照合プログラム及び認証プログラム
JP5393072B2 (ja) 2008-07-16 2014-01-22 Kddi株式会社 掌位置検出装置、掌紋認証装置、携帯電話端末、プログラム、および掌位置検出方法
US8229178B2 (en) * 2008-08-19 2012-07-24 The Hong Kong Polytechnic University Method and apparatus for personal identification using palmprint and palm vein
WO2010086993A1 (ja) 2009-01-30 2010-08-05 富士通フロンテック株式会社 認証装置、撮像装置、認証方法および認証プログラム
CN101833647B (zh) * 2009-03-11 2014-03-26 中国科学院自动化研究所 掌纹图像的获取设备及掌纹图像处理方法
JP4997305B2 (ja) 2010-03-12 2012-08-08 株式会社日立製作所 指静脈認証装置
JP5747642B2 (ja) * 2011-05-06 2015-07-15 富士通株式会社 生体認証装置、生体認証システム、生体認証サーバ、生体認証クライアント及び生体認証装置制御方法
WO2013136553A1 (ja) * 2012-03-16 2013-09-19 ユニバーサルロボット株式会社 個人認証方法及び個人認証装置
CN104756153A (zh) * 2012-11-22 2015-07-01 富士通株式会社 信息处理装置、活体部位判定程序和活体部位判定方法

Also Published As

Publication number Publication date
EP3007100A1 (en) 2016-04-13
CN105512530B (zh) 2020-06-19
US10019618B2 (en) 2018-07-10
KR20160042763A (ko) 2016-04-20
KR102137055B1 (ko) 2020-07-23
US20160104030A1 (en) 2016-04-14
JP2016081116A (ja) 2016-05-16
CN105512530A (zh) 2016-04-20
EP3007100B1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
JP6467852B2 (ja) 生体情報補正装置、生体情報補正方法及び生体情報補正用コンピュータプログラム
US11188734B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP5831018B2 (ja) 生体認証装置及び生体認証装置における利用者の手の位置の調整方法
US9361507B1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
JP6369078B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
KR101603469B1 (ko) 생체 인증 장치, 생체 인증 방법 및 생체 인증용 컴퓨터 프로그램
JP5799586B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
US20190362130A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
JP5812109B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP5799960B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
JP2013210902A (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
JP6056398B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
JP6349817B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP6187262B2 (ja) 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R150 Certificate of patent or registration of utility model

Ref document number: 6467852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150