JP7165909B2 - 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法 - Google Patents

画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法 Download PDF

Info

Publication number
JP7165909B2
JP7165909B2 JP2019000774A JP2019000774A JP7165909B2 JP 7165909 B2 JP7165909 B2 JP 7165909B2 JP 2019000774 A JP2019000774 A JP 2019000774A JP 2019000774 A JP2019000774 A JP 2019000774A JP 7165909 B2 JP7165909 B2 JP 7165909B2
Authority
JP
Japan
Prior art keywords
image
polarization direction
polarized light
authentication
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019000774A
Other languages
English (en)
Other versions
JP2019153284A (ja
Inventor
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2019153284A publication Critical patent/JP2019153284A/ja
Application granted granted Critical
Publication of JP7165909B2 publication Critical patent/JP7165909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0102Constructional details, not otherwise provided for in this subclass
    • G02F1/0105Illuminating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法に関する。
近年、カメラで撮像された人物の顔から本人認証する認証技術が飛躍的に進歩している。このような認証技術の1つとして、虹彩認証技術がある。虹彩認証技術は、他人を本人と誤認識する率(他人受容率FAR)が極めて低い方法である。例えば、特許文献1は、人物の顔の画像の虹彩を抽出し、虹彩のコードと基準の虹彩のコードとの類似性から、虹彩の同一性を判定する技術を開示している。特許文献2は、虹彩への外光の映り込みによる認証制度の低下を抑制する虹彩認証技術を開示している。具体的には、外光の映り込み位置が異なる複数の虹彩画像と、登録虹彩データとを用いて、登録虹彩データに対する虹彩画像の認証が行われる。
特許第3307936号公報 特許第3586456号公報
市橋裕一、川畑州一、石川和夫、畑田豊彦著、「眼球結像系における偏光特性とその解析」、日本眼科光学学会誌、 1989年、第10巻、第1号、p.87-92
特許文献1の技術は、虹彩への外光の映り込みを考慮していない。特許文献2の技術では、虹彩画像を撮影する際の人の顔の向きが指定される。これらの技術はいずれも、制限された虹彩画像を対象としており、高い虹彩認証精度を有しているとはいえない。
そこで、本開示は、虹彩認証精度を向上する画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法を提供する。
本開示の一態様に係る画像合成装置は、第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向は、及び前記第4の偏光方向はそれぞれ異なり、前記カメラは、前記第1の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得する。
本開示の一態様に係る画像合成装置は、第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向及び前記第2の偏光方向は異なり、前記第3の偏光方向及び前記第4の偏光方向は異なり、前記カメラは、前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得する。
本開示の一態様に係る画像合成装置は、右回りの円偏光と、左回りの円偏光とを出力する照明装置と、複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する。
本開示の一態様に係る画像合成装置は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力する照明装置と、複数の画素を有する前記第1の偏光方向の第5の画像、複数の画素を有する前記第2の偏光方向の第6の画像、複数の画素を有する前記第3の偏光方向の第7の画像、及び複数の画素を有する前記第4の偏光方向の第8の画像を撮像するカメラと、前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ45度づつ異なり、前記カメラは、前記第1の直線偏光、前記第2の直線偏光、前記第3の直線偏光、及び前記第4の直線偏光を用いて、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像それぞれを取得する。
本開示の一態様に係る虹彩認証システムは、上記画像合成装置と、虹彩認証回路とを備えた虹彩認証システムであって、前記虹彩認証回路は、複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と虹彩認証情報とを参照して、ユーザIDを特定する。
本開示の一態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを順次出力し、前記1の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第3の偏光方向の第3の画像を取得し、前記2の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第4の偏光方向の第4の画像を取得し、前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向は、及び前記第4の偏光方向はそれぞれ異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。
本開示の一態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを一緒に出力し、前記1の直線偏光及び前記第2の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第3の偏光方向の第3の画像と、複数の画素を有する第4の偏光方向の第4の画像とを取得し、前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向及び前記第2の偏光方向は異なり、前記第3の偏光方向及び前記第4の偏光方向は異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。
本開示の一態様に係る画像合成方法は、右回りの円偏光と左回りの円偏光とを一緒に出力し、前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。
本開示の一態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力し、前記第1の直線偏光、前記第2の直線偏光、前記第3の直線偏光、及び前記第4の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する前記第1の偏光方向の第5の画像と、複数の画素を有する前記第2の偏光方向の第6の画像と、複数の画素を有する前記第3の偏光方向の第7の画像と、複数の画素を有する前記第4の偏光方向の第8の画像とを取得し、前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び第4の偏光方向はそれぞれ45度づつ異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。
本開示の一態様に係る虹彩認証方法は、上記画像合成方法で生成された前記認証画像を取得し、複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と前記虹彩認証情報とを参照して、ユーザIDを特定し、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。
本開示の画像合成装置等によると、虹彩認証精度を向上することが可能になる。
図1は、実施の形態1に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。 図2は、実施の形態1に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。 図3は、実施の形態1に係る照明装置の模式的な正面図である。 図4Aは、実施の形態1に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。 図4Bは、図4Aのモザイク偏光フィルタにおける偏光フィルタのグループの1単位を示す平面図である。 図5Aは、環境光及び照明光が角膜又は眼鏡で鏡面反射する状況を示す概略図である。 図5Bは、図5Aにおける眼鏡の正面図である。 図5Cは、図5Aにおける角膜の正面図である。 図6は、バンドパスフィルタにおける環境光の鏡面反射の除去特性を示す図である。 図7Aは、カメラに正対する角膜における照明光の鏡面反射の発生状態を示す図である。 図7Bは、カメラに正対する眼鏡及び角膜における照明光の鏡面反射の発生状態を示す図である。 図7Cは、カメラに対して斜めを向いた角膜における照明光の鏡面反射の発生状態を示す図である。 図8Aは、角膜における複屈折現象を説明する図であり、直線偏光照明が角膜に入射及び反射する状況を示す概略図である。 図8Bは、角膜における複屈折現象を説明する図であり、角膜に入射する直線偏光照明を示す模式的な正面図である。 図8Cは、角膜における複屈折現象を説明する図であり、角膜で反射した直線偏光照明を示す模式的な正面図である。 図9は、角膜における黒十字パターンの発生状態の一例を模式的に示す図である。 図10Aは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。 図10Bは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。 図11Aは、黒十字パターンを除去する偏光画像合成部の処理の一例を示す概略図である。 図11Bは、偏光画像合成部の処理による黒十字パターン除去の原理を示す周期関数の一例を示す図である。 図12は、実施の形態1に係る虹彩認証システムの動作の一例を示すフローチャートである。 図13は、実施の形態2に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。 図14は、実施の形態2に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。 図15Aは、実施の形態2に係る照明装置の模式的な正面図である。 図15Bは、図15Aの照明装置の模式的な分解図である。 図16Aは、実施の形態2に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。 図16Bは、図16Aのモザイク偏光フィルタにおける偏光フィルタのグループの1単位を示す平面図である。 図17は、角膜での鏡面反射領域の輝点における反射光の偏光状態を示す概略図である。 図18は、虹彩での拡散反射領域における反射光の偏光状態を示す概略図である。 図19は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。 図20Aは、円偏光を用いて虹彩認証する従来技術の虹彩認証装置の一例を図2と同様に示す図である。 図20Bは、図20Aの光学系の詳細を模式的に示す図である。 図21は、実施の形態3に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。 図22は、実施の形態3に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。 図23Aは、実施の形態3に係る照明装置の模式的な正面図である。 図23Bは、図23Aの照明装置320の模式的な分解図である。 図24Aは、実施の形態3に係るカメラの偏光撮像素子の構成を模式的に示す平面図である。 図24Bは、図24Aのモザイク偏光フィルタにおける偏光フィルタのグループの1単位を示す平面図である。 図25は、実施の形態3に係る偏光撮像素子の変形例の構成を模式的に示す図である。 図26は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。 図27は、実施の形態4に係る虹彩認証システムの機能的な構成の一例を示すブロック図である。 図28は、実施の形態4に係る虹彩認証システムの各構成要素による処理の流れの一例を示す概略図である。 図29は、実施の形態4に係る照明装置の模式的な正面図である。 図30Aは、実施の形態4に係るカメラの撮像センサの構成を模式的に示す平面図である。 図30Bは、図30Aのモザイク偏光フィルタにおける偏光フィルタのグループの1単位を示す平面図である。 図31は、鏡面反射の輝点を除去する偏光画像合成部の処理の一例を示す概略図である。
[発明者の知見]
まず、本発明者の知見を説明する。背景技術の欄でも記載したように、近年、カメラで撮像された人物の顔から本人認証する顔認証技術が注目され、飛躍的に進歩している。人物を認証する手法としては、指紋認証、静脈認証及び網膜認証等の各種のバイオメトリクスを使った技術が存在する。しかしながら、近年、顔認証の中でも、カジュアル認証技術の要求が高くなっている。カジュアル認証は、認証装置に対して所定の位置、向き及び姿勢等をとらない無意識状態の被認証者を認証することである。顔のカジュアル認証において、カメラに対して無意識な被認証者に対して、数メートルの距離から非接触でカメラ撮像することによって認証する技術のニーズが高くなっている。しかしながら、顔認証では、マスク等による顔の隠蔽又は極端な表情による顔の変動による誤認識が生じ得る。さらに、顔認証では、双子の顔のように極めて似た顔の区別が困難である場合がある。つまり、顔認証には、他人を本人と誤認識しやすいという本質的な問題がある。
そこで、本発明者は、他人を本人と誤認識する率である他人受容率FARが極めて低い方法として従来より利用されている虹彩認証技術に着目し、虹彩認証技術と顔認証とを組み合わせることによる高精度なカジュアル認証を検討した。例えば、虹彩認証パターンは、カメラで撮像された虹彩画像に対して特殊な周波数強調処理を実施することにより得られる。このような虹彩認証パターンは、極めてランダム性の高い画像情報である。この虹彩認証パターンは、虹彩認証技術の分野では、地球上の全人口内でもFARが1/10000とも言われている。このため、虹彩認証パターンを用いた虹彩認証技術では、双子の眼の場合も本人と間違えることは全くありえない。また、虹彩認証パターンは、個人においての経年変化又はケガ等による変動も少なく、認証機能を維持できる。
特許文献1は、従来の虹彩認証技術のうちの基本的な技術を開示する。当該技術では、最初に眼球画像から瞳孔中心及び虹彩中心が検出され、瞳孔及び虹彩は、異なる中心及び半径を有する円としてモデル化される。次に、ドーナツ型である虹彩画像は、瞳孔中心に設定された極座標軸を使って矩形の画像に展開され、ガボールフィルタ等を使って2値の虹彩認証パターンに変換される。認証処理は、虹彩認証パターン同士の間の信号のハミング距離で判定される。
従来の虹彩認証技術においては、IR(赤外)照明を用いたIR(赤外)撮像が前提である。そして、撮像時に眼球又は眼鏡に照明光の反射光が映り込むことは、度々発生していた。例えば、特許文献2は、被認証者自身の認証時の協力が得られる場合の虹彩認証技術を開示している。特許文献2の虹彩認証技術では、被認証者が積極的に協力することによって、虹彩認証パターンに意図しない照明の反射光が映り込まないように、被認証者に対する撮像の角度及び距離が調整される。しかしながら、本発明者が着目するカジュアル虹彩認証技術では、IR照明及びIRカメラに対して被認証者が無意識のうちに、IR照明及びIRカメラを使用して遠距離から、当該被認証者の顔画像が撮像され、当該顔画像を用いて虹彩認証が行われる。この場合、IR照明光が角膜又はメガネのレンズ上で反射し、眼球の瞳孔又は虹彩を隠蔽したとしても、それを回避するための協力は被認証者から得られない。そこで、本発明者は、照明装置側で照明光を工夫することを検討し、偏光子を用いた直線偏光にて被験者を照射することを検討した。さらに、本発明者は、撮像側での工夫を検討し、カメラに偏光板である検光子を設置することを検討した。そして、本発明者は、直線偏光の偏光方向と、偏光板の偏光方向とを直交させることで、画像から照明の反射光を除去することに着目した。しかしながら、非特許文献1に記載されているように、上記のような直交偏光技術を用いた眼球撮影では、虹彩表面を覆う本来透明な角膜の複屈折特性によって、明暗縞状の複屈折パターン(「黒十字パターン(Polarization Cross)」とも呼ばれる)が発生し、本来の虹彩パターン上に重畳してしまう。このため、虹彩認証が失敗するという問題がある。
つまり、認証時に被認証者の協力が得られないカジュアル虹彩認証において、直交偏光を用いて角膜及び眼鏡からの照明光の反射を除去しようという試みに対して、角膜の複屈折特性に起因するアーティファクトのパターンが現れ、その影響のため、従来の虹彩認証技術が認証できないという問題がある。本発明者は、上述の様々な問題を解決することにより、高精度な虹彩認証を可能にするために、以下の技術を創案した。
本開示の第1の態様に係る画像合成装置は、第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向は、及び前記第4の偏光方向はそれぞれ異なり、前記カメラは、前記第1の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得する。
上記態様によると、第3の偏光方向と異なる第1の偏光方向の直線偏光を用いて取得された第3の偏光方向の画像は、眼球の角膜における正反射に起因する鏡面反射の像を低減することができる。第4の偏光方向と異なる第2の偏光方向の直線偏光を用いて取得された第4の偏光方向の画像は、眼球の角膜における鏡面反射の像を低減することができる。偏光方向が異なる第3の偏光方向の画像及び第4の偏光方向の画像では、角膜の複屈折に起因する像が現れる場合でも異なる位置に現れ得る。よって、第3の偏光方向の画像及び第4の偏光方向の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第1の偏光方向を90度とし、第2の偏光方向を135度とすることができる。また、画像の第3の偏光方向を0度とし、第4の偏光方向を45度とすることができる。
本開示の第1の態様に係る画像合成装置において、前記第1の偏光方向は、前記第2の偏光方向に対して、45度異なり、前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向であってもよい。
上記態様によると、第1の偏光方向と第3の偏光方向との差異が90度であることによって、第3の偏光方向の画像における角膜の鏡面反射の像の除去率が向上する。第2の偏光方向と第4の偏光方向との差異が90度であることによって、第4の偏光方向の画像における角膜の鏡面反射の像の除去率が向上する。さらに、第1の偏光方向はと第2の偏光方向との差異が45度であることによって、第3の偏光方向の画像及び第4の偏光方向の画像の間で、角膜の複屈折に起因する像が重複する領域が少なくなる。よって、認証画像の虹彩領域において、角膜の複屈折に起因する像の除去率が向上する。
本開示の第1の態様に係る画像合成装置において、前記照明装置は、少なくとも1つの第1の光源と、少なくとも1つの第2の光源と、前記第1の光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、前記第2の光源の前方に位置する前記第2の偏光方向を有する第2の偏光板とを有し、前記第1の光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、前記第2の光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力してもよい。
上記態様によると、第1の光源を点灯することによって、第1の偏光方向を有する直線偏光が照射され、第2の光源を点灯することによって、第2の偏光方向を有する直線偏光が照射される。第1の偏光方向を有する直線偏光及び第2の偏光方向を有する直線偏光の照射の制御が容易になる。
本開示の第1の態様に係る画像合成装置において、前記カメラは、前記照明装置が前記第1の偏光方向の直線偏光を出力したとき、前記第3の偏光方向の画像を撮像し、且つ前記照明装置が前記第2の偏光方向の直線偏光を出力したとき、前記第4の偏光方向の画像を撮像してもよい。
上記態様によると、第3の偏光方向の画像及び第4の偏光方向の画像それぞれにおいて、不要な直線偏光の像が含まれることを抑えることができる。
本開示の第1の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様において、第3の偏光方向の画像及び第4の偏光方向の画像それぞれでは、角膜の複屈折に起因する像の画素値が小さくなる。第3の偏光方向の画像と第4の偏光方向の画像との間で、対応する画素同士の画素値のうちのより大きい画素値は、角膜の複屈折に起因する像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の複屈折に起因する像が効果的に除去され得る。
本開示の第1の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、第3の偏光方向の画像と第4の偏光方向の画像との間で、対応する画素同士の画素値の平均値は、角膜の複屈折に起因する像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の複屈折に起因する像が効果的に除去され得る。
本開示の第2の態様に係る画像合成装置は、第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向及び前記第2の偏光方向は異なり、前記第3の偏光方向及び前記第4の偏光方向は異なり、前記カメラは、前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得する。
上記態様によると、第3の偏光方向の画像及び第4の偏光方向の画像はそれぞれ、偏光方向が異なる2つの直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、偏光方向が異なる第3の偏光方向の画像及び第4の偏光方向の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第3の偏光方向の画像及び第4の偏光方向の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第1の偏光方向を0度とし、第2の偏光方向を90度とすることができる。また、画像の第3の偏光方向を0度とし、第4の偏光方向を90度とすることができる。
本開示の第2の態様に係る画像合成装置において、前記第1の偏光方向は、前記第2の偏光方向に対して、90度異なり、前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向であってもよい。
上記態様によると、第3の偏光方向の画像における角膜の鏡面反射の像が現れ得る領域と、第4の偏光方向の画像における角膜の鏡面反射の像が現れ得る領域との重複を低減することができる。よって、認証画像において、角膜の鏡面反射の像の除去率が向上する。
本開示の第2の態様に係る画像合成装置において、前記照明装置は、少なくとも1つの光源と、前記光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、前記光源の前方に位置する前記第2の偏光方向を有する第2の偏光板とを有し、前記光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、前記光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力してもよい。
上記態様によると、光源を点灯することによって、第1の偏光方向を有する直線偏光及び第2の偏光方向を有する直線偏光が一緒に照射される。第1の偏光方向を有する直線偏光及び第2の偏光方向を有する直線偏光の照射の制御が容易になる。
本開示の第2の態様に係る画像合成装置は、拡散板をさらに備え、前記拡散板は、前記照明装置、前記拡散板及び前記第1の偏光板の順、及び、前記照明装置、前記拡散板及び前記第2の偏光板の順で配置され、前記照明装置の光軸方向で見たとき、前記第1の偏光板及び前記第2の偏光板は、前記拡散板以上の大きさであり、前記拡散板は、前記照明装置以上の大きさであってもよい。
上記態様によると、拡散板によって拡散された後に第1の偏光板又は第2の偏光板を透過した直線偏光は、眼鏡又は角膜上での鏡面反射の像の輝度を低下させることができる。さらに、偏光板の消光比が低い場合においても、直線偏光の鏡面反射の像の除去の実現が可能である。また、第1の偏光板及び第2の偏光板が拡散板よりも大きいため、拡散板によって拡散された照明光の全体が、第1の偏光板又は第2の偏光板に入射し得る。よって、拡散板によって拡散された照明光が、第1の偏光板及び第2の偏光板のいずれによる偏光も受けずに、被写体を照射することが抑制される。
本開示の第2の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、第3の偏光方向の画像及び第4の偏光方向の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。第3の偏光方向の画像と第4の偏光方向の画像との間で、対応する画素同士の画素値のうちのより小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第2の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、第3の偏光方向の画像と第4の偏光方向の画像との間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第3の態様に係る画像合成装置は、右回りの円偏光と、左回りの円偏光とを出力する照明装置と、複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する。
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像はそれぞれ、右回りの円偏光及び左回りの円偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、右回りの円偏の画像及び左回りの円偏光の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、右回りの円偏の画像及び左回りの円偏光の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。従って、認証画像の虹彩領域は、認証に適した画像となり得る。
本開示の第3の態様に係る画像合成装置において、前記照明装置は、少なくとも1つの光源と、前記光源の前方に位置する前記右回りの偏光方向を有する右回り偏光板と、前記光源の前方に位置する前記左回りの偏光方向を有する左回り偏光板とを有し、前記光源は、前記右回り偏光板を介して、前記右回りの円偏光を出力し、前記光源は、前記左回り偏光板を介して、前記左回りの円偏光を出力してもよい。
上記態様によると、光源を点灯することによって、右回りの円偏光及び左回りの円偏光が一緒に照射される。右回りの円偏光及び左回りの円偏光の照射の制御が容易になる。
本開示の第3の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。右回りの円偏光の画像及び左回りの円偏光の画像の間で、対応する画素同士の画素値のうちのより小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第3の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、右回りの円偏光の画像及び左回りの円偏光の画像の間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第4の態様に係る画像合成装置は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力する照明装置と、複数の画素を有する前記第1の偏光方向の第5の画像、複数の画素を有する前記第2の偏光方向の第6の画像、複数の画素を有する前記第3の偏光方向の第7の画像、及び複数の画素を有する前記第4の偏光方向の第8の画像を撮像するカメラと、前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ45度づつ異なり、前記カメラは、前記第1の直線偏光、前記第2の直線偏光、前記第3の直線偏光、及び前記第4の直線偏光を用いて、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像それぞれを取得する。
上記態様によると、第5~第8の画像はそれぞれ、第1~第4の偏光方向を有する直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、第5~第8の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第5~第8の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。特に、合成する画像の数量が多くなると、全ての画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第1の偏光方向、第2の偏光方向、第3の偏光方向及び第4の偏光方向をそれぞれ、0度、45度、90度及び135度とすることができる。また、画像の第1の偏光方向、第2の偏光方向、第3の偏光方向及び第4の偏光方向をそれぞれ、0度、45度、90度及び135度とすることができる。
本開示の第4の態様に係る画像合成装置において、前記照明装置は、少なくとも1つの光源と、前記光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、前記光源の前方に位置する前記第2の偏光方向を有する第2の偏光板と、前記光源の前方に位置する前記第3の偏光方向を有する第3の偏光板と、前記光源の前方に位置する前記第4の偏光方向を有する第4の偏光板とを有し、前記光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、前記光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力し、前記光源は、前記第3の偏光板を介して、前記第3の偏光方向を有する直線偏光を出力し、前記光源は、前記第4の偏光板を介して、前記第4の偏光方向を有する直線偏光を出力してもよい。
上記態様によると、光源を点灯することによって、第1~第4の偏光方向を有する直線偏光が一緒に照射される。第1~第4の偏光方向を有する直線偏光の照射の制御が容易になる。
本開示の第4の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、第5の画像、第6の画像、第7の画像及び第8の画像それぞれでは、角膜の鏡面反射の像の画素値が大きくなる。第5の画像、第6の画像、第7の画像及び第8の画像の間で、対応する画素同士の画素値のうちの最も小さい画素値は、角膜の鏡面反射の像でない可能性が高い。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第4の態様に係る画像合成装置において、前記制御回路は、前記認証画像の合成において、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
上記態様によると、第5の画像、第6の画像、第7の画像及び第8の画像の間で、対応する画素同士の画素値の平均値は、角膜の鏡面反射の像の影響を低減した値となり得る。このような画素値を認証画像の各画素の画素値に決定することによって、認証画像では、角膜の鏡面反射の像が効果的に除去され得る。
本開示の第5の態様に係る画像合成装置は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光とを出力する照明装置と、複数の画素を有する第4の偏光方向の第4の画像、複数の画素を有する第5の偏光方向の第5の画像、及び複数の画素を有する第6の偏光方向の第6の画像を撮像するカメラと、前記複数の画素毎に、前記第4の画像、前記第5の画像、及び前記第6の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、前記第1の偏光方向、前記第2の偏光方向及び前記第3の偏光方向はそれぞれ異なり、前記第4の偏光方向、前記第5の偏光方向及び前記第6の偏光方向はそれぞれ異なり、前記カメラは、前記第1の直線偏光、前記第2の直線偏光及び前記第3の偏光方向の直線偏光を用いて、前記第4の画像、前記第5の画像及び前記第6の画像それぞれを取得する。
上記態様によると、第4~第6の画像はそれぞれ、第1~第3の偏光方向を有する直線偏光を用いて取得された画像であるため、角膜の複屈折に起因する像の発生が抑えられる。さらに、第4~第6の画像では、角膜の鏡面反射の像が現れる場合でも異なる位置に現れ得る。よって、第4~第6の画像を合成した認証画像では、角膜の鏡面反射の像及び角膜の複屈折に起因する像が低減される。特に、合成する画像の数量が多くなると、全ての画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。従って、認証画像の虹彩領域は、認証に適した画像となり得る。なお、例えば、直線偏光の第1の偏光方向、第2の偏光方向及び第3の偏光方向をそれぞれ、0度、45度、90度及び135度のうちのいずれかとすることができる。また、画像の第4の偏光方向、第5の偏光方向及び第6の偏光方向をそれぞれ、0度、45度、90度及び135度のうちのいずれかとすることができる。
本開示の一態様に係る虹彩認証システムは、上記画像合成装置と、虹彩認証回路とを備えた虹彩認証システムであって、前記虹彩認証回路は、複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と虹彩認証情報とを参照して、ユーザIDを特定する。上記態様によると、上記の画像合成装置と同様の効果が得られる。さらに、上記の画像合成装置の認証画像を用いることによって、精度の高いユーザの特定が可能になる。
本開示の第1の態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを順次出力し、前記1の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第3の偏光方向の第3の画像を取得し、前記2の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第4の偏光方向の第4の画像を取得し、前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向は、及び前記第4の偏光方向はそれぞれ異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、本開示の第1の態様に係る画像合成装置と同様の効果が得られる。
本開示の第1の態様に係る画像合成方法において、前記第1の偏光方向は、前記第2の偏光方向に対して、45度異なり、前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向であってもよい。
本開示の第1の態様に係る画像合成方法では、前記認証画像の合成において、前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第1の態様に係る画像合成方法では、前記認証画像の合成において、前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第2の態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを一緒に出力し、前記1の直線偏光及び前記第2の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第3の偏光方向の第3の画像と、複数の画素を有する第4の偏光方向の第4の画像とを取得し、前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向及び前記第2の偏光方向は異なり、前記第3の偏光方向及び前記第4の偏光方向は異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、本開示の第2の態様に係る画像合成装置と同様の効果が得られる。
本開示の第2の態様に係る画像合成方法において、前記第1の偏光方向は、前記第2の偏光方向に対して、90度異なり、前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向であってもよい。
本開示の第2の態様に係る画像合成方法では、前記認証画像の合成において、前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第2の態様に係る画像合成方法では、前記認証画像の合成において、前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第3の態様に係る画像合成方法は、右回りの円偏光と左回りの円偏光とを一緒に出力し、前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、本開示の第3の態様に係る画像合成装置と同様の効果が得られる。
本開示の第3の態様に係る画像合成方法では、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第3の態様に係る画像合成方法では、前記認証画像の合成において、前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第4の態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力し、前記第1の直線偏光、前記第2の直線偏光、前記第3の直線偏光、及び前記第4の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する前記第1の偏光方向の第5の画像と、複数の画素を有する前記第2の偏光方向の第6の画像と、複数の画素を有する前記第3の偏光方向の第7の画像と、複数の画素を有する前記第4の偏光方向の第8の画像とを取得し、前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び第4の偏光方向はそれぞれ45度づつ異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、本開示の第4の態様に係る画像合成装置と同様の効果が得られる。
本開示の第4の態様に係る画像合成方法では、前記認証画像の合成において、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第4の態様に係る画像合成方法では、前記認証画像の合成において、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定してもよい。
本開示の第5の態様に係る画像合成方法は、第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光とを一緒に出力し、前記第1の直線偏光、前記第2の直線偏光、及び前記第3の直線偏光を出力したとき、画像を撮像し、前記画像から、複数の画素を有する第4の偏光方向の第4の画像と、複数の画素を有する第5の偏光方向の第5の画像と、複数の画素を有する第6の偏光方向の第6の画像とを取得し、前記複数の画素毎に、前記第4の画像、前記第5の画像、及び前記第6の画像を用いて、虹彩認証用の認証画像を合成し、前記第1の偏光方向、前記第2の偏光方向及び前記第3の偏光方向はそれぞれ異なり、前記第4の偏光方向、前記第5の偏光方向及び前記第6の偏光方向はそれぞれ異なり、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、本開示の第5の態様に係る画像合成装置と同様の効果が得られる。
本開示の一態様に係る虹彩認証方法は、上記画像合成方法で生成された前記認証画像を取得し、複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、前記認証画像と前記虹彩認証情報とを参照して、ユーザIDを特定し、上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される。上記態様によると、上記の画像合成方法と同様の効果が得られる。さらに、上記の画像合成方法で生成された認証画像を用いることによって、精度の高いユーザの特定が可能になる。
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM等の不揮発性の記録媒体を含む。また、装置は、1つ以上の装置で構成されてもよい。装置が2つ以上の装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されてもよく、分離した2つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
以下、本開示に係る画像合成装置等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ(工程)、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
(実施の形態1)
実施の形態1に係る画像合成装置100及び画像合成装置100を備える虹彩認証システム1を説明する。以下の実施の形態において、画像合成装置100は、異なる偏光方向の偏光が照射された眼球の撮像画像を合成することにより、虹彩認証用の合成画像を生成する。虹彩認証システム1は、虹彩認証用の合成画像を、データベースの虹彩画像と照合することにより、当該合成画像の虹彩を認証する。
[1-1.虹彩認証システム1の構成]
実施の形態1に係る虹彩認証システム1の構成を説明する。図1は、実施の形態1に係る虹彩認証システム1の機能的な構成の一例を示すブロック図である。図2は、実施の形態1に係る虹彩認証システム1の各構成要素による処理の流れの一例を示す概略図である。図1に示すように、虹彩認証システム1は、画像合成装置100と、虹彩認証部110と、虹彩認証パターンデータベース(以下、「虹彩認証パターンDB」とも表記する)120と、出力部130とを備える。画像合成装置100は、処理部10と、照明装置20と、カメラ30とを備える。処理部10は、同期部11と、記憶部12と、画素選択部13と、偏光画像合成部14とを含む。
[画像合成装置100]
(照明装置20)
図1及び図2に示すように、画像合成装置100の照明装置20は、カメラ30の被写体に対して偏光を照射する。本実施の形態では、被写体は、人の眼球Eである。照明装置20は、2つの異なる偏光方向の光を照射する。照明装置20は、照明部20aと、偏光部20bとを含む。照明部20aは、光を出射し、偏光部20bは、照明部20aの出射光を直線偏光にする。照明部20aの照射光の例は、赤外光及び可視光である。照明部20aの例は、照明器具、照明回路、LED(発光ダイオード:Light Emitting Diode)素子等の発光素子、赤外球等の電球、レーザー光出射装置である。
図3は、実施の形態1に係る照明装置20の模式的な正面図である。図3及び他の図において、照明装置の正面図及び平面図は、照明光の照射方向に対向して照明装置を見た図であり、カメラの被写体から照明装置を見た図である。また、照明装置の正面図及び平面図において、後述する偏光透過軸の方向である偏光方向を示す直線矢印及び円状の矢印が記載されているが、これらの矢印の向きは、カメラから被写体を見たとき、つまり、照明装置から被写体を見たときの向きを示す。
図2及び図3に示すように、照明部20aは、開口部20cの周りに円環状に配置された複数の第一光源20aa及び第二光源20abを含む。本実施の形態では、第一光源20aa及び第二光源20abは、円周に沿って交互に配置されている。第一光源20aa及び第二光源20abの例は、LED素子等の発光素子、赤外球等の電球、又はレーザー光源である。照明部20aは、複数の第一光源20aaを同時に発光させるように構成され、それにより、リング状の照明光を出射する。また、照明部20aは、複数の第二光源20abを同時に発光させるように構成され、それにより、リング状の照明光を出射する。第一光源20aa及び第二光源20abは、互いから独立して点灯するように構成される。このような照明部20aは、2チャンネル構成のリング照明である。
偏光部20bは、照明部20aと被写体との間に配置された偏光フィルタであり、偏光部20bの例は、偏光板又は偏光フィルムである。偏光部20bは、開口部20cの周りに円環状に配置された複数の第一偏光フィルタ20ba及び第二偏光フィルタ20bbを含む。第一偏光フィルタ20ba及び第二偏光フィルタ20bbの例は、偏光板又は偏光フィルムである。本実施の形態では、第一偏光フィルタ20ba及び第二偏光フィルタ20bbは、円周に沿って交互に配置されている。
第一偏光フィルタ20baは、カメラ30のカメラ座標系における画像面内の角度、つまり方位角で90°(90度)の方向に偏光透過軸を有する。第一偏光フィルタ20baは、第一光源20aaと被写体との間に配置され、第一光源20aaの出射光を、方位角90°の直線偏光に変える。なお、カメラ座標系における画像面内において、上記方位角は、時計回り、つまり右回りの方向に増加し、水平方向の方位角は0°であり、鉛直方向の方位角は90°である。上記方位角は、カメラから被写体に向かって見たときの向きを示す。これは、後述する右回り及び左回りの円偏光の偏光透過軸の方向も同様であり、右回りの偏光透過軸の方向は、カメラ座標系の画像面内における時計回りの方向であり、左回りの偏光透過軸の方向は、反時計回りの方向である。そして、照明装置20からカメラ30に向かって見たとき、図3に示す矢印の左右の向きが逆になり、右回り及び左回りの回転方向も逆になる。なお、本明細書及び特許請求の範囲において、偏光透過軸の方位角のことを、単に「偏光方向」とも表現する。
第二偏光フィルタ20bbは、カメラ30のカメラ座標系における画像面内の方位角で135°の方向に偏光透過軸を有する。第一偏光フィルタ20ba及び第二偏光フィルタ20bbの偏光透過軸の方位角は、互いに対して45°異なる。第二偏光フィルタ20bbは、第二光源20abと被写体との間に配置され、第二光源20abの出射光を、方位角135°の直線偏光に変える。第一偏光フィルタ20ba及び第二偏光フィルタ20bbはそれぞれ、第一光源20aa及び第二光源20abに対応して配置されている。
照明装置20は、第一光源20aa及び第二光源20abを時間的に順次発光させることによって、互いに45°異なる90°及び135°の偏光方向の直線偏光であるリング形状の照明光Lを時間的に順次、認証対象者の眼球Eに照射する。眼球Eの角膜及び虹彩部分で反射した戻り光は、ドーナツ型の照明装置20の中心の開口部20cを通過し、カメラ30に入射する。なお、本実施の形態では、照明装置20とカメラ30との間に、バンドパスフィルタ40が配置されているが、必須ではない。バンドパスフィルタ40が配置されることによって、眼球Eからの戻り光は、バンドパスフィルタ40を通過した後、カメラ30に入射する。なお、認証対象者は、カメラ30の視野内に存在する特定の人であってもよく、任意の人であってもよい。
(カメラ30)
図1及び図2に示すように、画像合成装置100のカメラ30は、デジタル画像を撮像する。カメラ30は、静止画及び動画のいずれを撮像してもよい。カメラ30は、偏光撮像素子30aと、対物レンズ30bとを備える。対物レンズ30bは、眼球Eで反射した戻り光を受光し、偏光撮像素子30aへ集光する。偏光撮像素子30aは、対物レンズ30bが偏光撮像素子30a上で結像する像を画像化する。
図4Aは、実施の形態1に係るカメラ30の偏光撮像素子30aの構成を模式的に示す平面図である。図4Bは、図4Aのモザイク偏光フィルタ30abにおける偏光フィルタのグループの1単位を示す平面図である。図4A及図4B並びに他の図において、偏光撮像素子及び偏光フィルタのグループの平面図は、カメラから被写体を見たときの図である。これらの平面図において、後述する偏光透過軸の方向である偏光方向を示す直線矢印及び円状の矢印が記載されているが、これらの矢印の向きは、カメラから被写体を見たときの向きを示す。
図4Aに示すように、偏光撮像素子30aは、受光素子を有する撮像素子30aaと、撮像素子30aa上に配置されるモザイク偏光フィルタ30abとを備える。モザイク偏光フィルタ30abの例は、モザイク偏光板又は偏光フィルムである。撮像素子30aaは、画像化する画像の画素それぞれに対応する複数の受光素子を有している。1つの受光素子は、1つの画素の画素値を生成する。受光素子は、受光した光の輝度等の光の特性を示す信号を処理部10の記憶部12に出力する。なお、画素値の例は、輝度である。
撮像素子30aaの例は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ及びCCD(Charge-Coupled Device)イメージセンサ等のイメージセンサである。モザイク偏光フィルタ30abは、対物レンズ30bと撮像素子30aaとの間に配置され、偏光撮像素子30aに入射する光を偏光し、撮像素子30aaに出力する。モザイク偏光フィルタ30abは、撮像素子30aa全体を覆って配置される。モザイク偏光フィルタ30abの例は、ワイヤグリッドである。対物レンズ30bから偏光撮像素子30aに集められた光は、モザイク偏光フィルタ30abを通過した後、撮像素子30aaに入射する。
図4A及び図4Bに示すように、モザイク偏光フィルタ30abは、平面的に配置された複数の偏光フィルタで構成されている。偏光フィルタの例は、偏光板又は偏光フィルムである。撮像素子30aaの受光素子それぞれに対して、1つの偏光フィルタが配置されている。このような複数の偏光フィルタは、受光素子と同様に格子状に配列されている。複数の偏光フィルタは、複数の第一直線偏光フィルタ30acaと複数の第二直線偏光フィルタ30acbとで構成されている。カメラ30のカメラ座標系における画像面内において、第一直線偏光フィルタ30acaの偏光透過軸の角度である方位角は0°であり、第二直線偏光フィルタ30acbの偏光透過軸の方位角は45°である。方位角0°の軸は、カメラ30及び撮像素子30aaの水平方向の基準軸である。複数の第一直線偏光フィルタ30aca及び複数の第二直線偏光フィルタ30acb、並びに、撮像素子30aaの複数の受光素子は、方位角0°の方向及び方位角90°の方向に、格子状に並ぶ。なお、第一直線偏光フィルタ30acaの偏光透過軸の方位角0°は、照明装置20の第一偏光フィルタ20baの偏光透過軸の方位角90°と垂直である。第二直線偏光フィルタ30acbの偏光透過軸の方位角45°は、照明装置20の第二偏光フィルタ20bbの偏光透過軸の方位角135°と垂直である。つまり、第一直線偏光フィルタ30aca及び第二直線偏光フィルタ30acbの偏光透過軸の方位角は、照明装置20の第一偏光フィルタ20ba及び第二偏光フィルタ20bbの偏光透過軸の方位角と垂直であるように構成される。
1つの点Pを中心として、2つの第一直線偏光フィルタ30aca及び2つの第二直線偏光フィルタ30acbが隣接して配置されている。第一直線偏光フィルタ30aca及び第二直線偏光フィルタ30acbは、点Pを中心とする回転方向で交互に配置されている。このような2つの第一直線偏光フィルタ30aca及び2つの第二直線偏光フィルタ30acbは、1つの偏光フィルタグループ30acを形成する。1つの偏光フィルタグループ30acにおいて、2つの第一直線偏光フィルタ30aca及び2つの第二直線偏光フィルタ30acbは、縦2つ及び横2つからなる2×2の配列で正方形状に配置されている、つまり、格子状に配置されている。
モザイク偏光フィルタ30abにおいて、複数の偏光フィルタグループ30acは、格子状に、つまりモザイク状に配列されている。そして、複数の第一直線偏光フィルタ30aca及び第二直線偏光フィルタ30acbは、格子状に、つまりモザイク状に配列されている。第一直線偏光フィルタ30aca及び撮像素子30aaの受光素子は、入射光を0°の方向に偏光して受光するマイクロ偏光画素を形成し、第二直線偏光フィルタ30acb及び撮像素子30aaの受光素子は、入射光を45°の方向に偏光して受光するマイクロ偏光画素を形成する。このような偏光撮像素子30aによって取得される1つの画像は、0°及び45°の方向に偏光された画素である偏光画素を含む。なお、モザイク偏光フィルタ30abは、照明装置20の第一偏光フィルタ20ba及び第二偏光フィルタ20bbの偏光透過軸の方位角と垂直である2種類の偏光透過軸の偏光フィルタを含めばよい。このため、モザイク偏光フィルタは、より一般的な0°、45°、90°及び135°の偏光透過軸からなる4種類の偏光フィルタで構成されてもよい。この場合、偏光撮像素子では、該当する偏光透過軸を有する偏光画素が選択されて用いられてもよい。
上述のようなカメラ30では、眼球Eで反射した光は、対物レンズ30bによって、モザイク偏光フィルタ30ab上に結像し、さらに、モザイク偏光フィルタ30abによって偏光を受けた後、撮像素子30aaによって受光される。撮像素子30aaは、各受光素子で検出した光の特性を示す信号等の情報を処理部10の記憶部12に出力する。このとき、撮像素子30aaは、処理部10の同期部11の信号に基づいて、照明装置20が第一光源20aa及び第二光源20abを交互に点灯する期間それぞれにおいて、画像を露光して撮像する。カメラ30は、各点灯期間において、0°及び45°の異なる偏光透過軸方向の偏光フィルタを介した2種類の偏光画素からなる偏光画像をほぼ同一視点から同時に取得することができる。このような偏光画像を用いることによって、これらの偏光画像相互の画素を一致させた画像処理は容易に可能である。
(処理部10)
図1及び図2を参照しつつ、画像合成装置100の処理部10の各構成要素を説明する。処理部10の同期部11、画素選択部13及び偏光画像合成部14からなる各構成要素は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサ、並びに、RAM(Random Access Memory)及びROM(Read-Only Memory)等のメモリなどからなるコンピュータシステム(図示せず)により構成されてもよい。各構成要素の一部又は全部の機能は、CPU又はDSPがRAMを作業用のメモリとして用いてROMに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。各構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。ここで、処理部10は、制御回路の一例である。
また、記憶部12は、種々の情報の格納及び取り出しを可能にする。例えば、記憶部12は、カメラ30によって取得された撮像画像を格納する。記憶部12は、処理部10及び/又はカメラ30を動作させるためのプログラムを格納してもよい。これらのプログラムは、処理部10及びカメラ30が有する図示しないメモリに格納されてもよい。記憶部12は、例えば、ROM、RAM、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又はSSD(Solid State Drive)等の記憶装置によって実現される。
同期部11は、照明装置20の2種類の照明のタイミングと、カメラ30の撮像のタイミングとを同期させるように、照明装置20及びカメラ30の動作を制御する。具体的には、同期部11は、照明装置20の第一光源20aa及び第二光源20abそれぞれの点灯及び消灯を制御し、第一光源20aa及び第二光源20abを時間的に順次点灯させる。さらに、同期部11は、第一光源20aaの点灯中に、カメラ30に少なくとも1回撮像させ、少なくとも1つの画像を取得させる。同期部11は、第二光源20abの点灯中に、カメラ30に少なくとも1回撮像させ、少なくとも1つの画像を取得させる。さらに、同期部11は、第一光源20aaの点灯中でのカメラ30の撮像タイミングと、第二光源20abの点灯中でのカメラ30の撮像タイミングとを、偏光画像合成部14に出力する。
画素選択部13は、カメラ30の偏光撮像素子30aで取得された画像において、第一直線偏光フィルタ30acaを介して取得された画素と、第二直線偏光フィルタ30acbを介して取得された画素とを再集積処理することによって、2種類の偏光画像を生成する。2種類の偏光画像のうちの第一偏光画像は、第一直線偏光フィルタ30acaを介して取得される画素である偏光画素C0からなる画像である。第二偏光画像は、第二直線偏光フィルタ30acbを介して取得される画素である偏光画素C45からなる画像である。以下において、偏光透過軸の方向がα°である直線偏光フィルタを介して取得される偏光画素を、「偏光画素Cα」とも表現する。画素選択部13は、記憶部12からカメラ30の撮像画像を取得し、当該撮像画像から、偏光画素C0からなる偏光画像及び偏光画素C45からなる偏光画像を生成し、偏光画像合成部14に出力する。なお、偏光画像はいずれも、偏光撮像素子30aの撮像画像の縦横サイズをそれぞれH及びWとすると、縦H/2及び横W/2のサイズの縮小画像である。偏光画像間での各画素の位置は、ほぼ位置ズレの無い同一のサンプリング位置とみなすことができる。
偏光画像合成部14は、同期部11から取得される第一光源20aa及び第二光源20abの点灯中でのカメラ30の撮像タイミングと、画素選択部13から取得される偏光画素C0及び偏光画素C45それぞれからなる偏光画像とを対応付ける。例えば、カメラ30の撮像画像は、撮像時刻の情報を含み、当該撮像画像から生成された偏光画像も同じ撮像時刻の情報を含む。偏光画像合成部14は、偏光画像の撮像時刻と、各点灯での撮像タイミングとを対応付けることによって、偏光画像の撮像時に点灯していた光源を特定する。偏光画像合成部14は、第一光源20aa及び第二光源20abの隣り合う2つの点灯期間中に撮像された2つの撮像画像の偏光画像を用いて、画像合成する。具体的には、偏光画像合成部14は、第一光源20aaの点灯期間中、つまり、90°の直線偏光の照明(これを「直線偏光照明L90」又は「直線偏光L90」とも表現する)期間中に撮像された撮像画像の偏光画素C0からなる偏光画像L90C0と、第二光源20abの点灯期間中、つまり、135°の直線偏光の照明(これを「直線偏光照明L135」又は「直線偏光L135」とも表現する)期間中に撮像された撮像画像の偏光画素C45からなる偏光画像L135C45とを合成する。偏光画像合成部14は、上述のように画像を合成することによって、眼球Eの保有者を認証するための認証用合成画像を生成する。偏光画像合成部14は、認証用合成画像を虹彩認証部110に出力する。なお、2つの撮像画像に対応する2つの点灯期間は、隣り合ってなくてもよい。
[虹彩認証部110]
虹彩認証部110は、虹彩認証パターンDB120に格納された複数の参照画像の情報と、認証用合成画像とを照合することによって、当該認証用合成画像に対応するユーザIDつまり識別情報を特定する。複数の参照画像はそれぞれ、人の眼球の像を含む画像であり、当該眼球の保有者のユーザIDと対応付けられている。参照画像及びユーザIDは、互いに対応付けられ、虹彩認証情報として、虹彩認証パターンDB120に格納されている。例えば、虹彩認証部110は、複数の参照画像のうちから、認証用合成画像との所定以上の類似度を有する参照画像を決定し、決定された参照画像に対応付けられているユーザIDを特定する。複数の参照画像とは、典型的には、特許文献1で開示される2値画像パターンである。例えば、複数の参照画像のそれぞれと、認証用合成画像との類似度は、信号間距離として求められる。この処理の詳細については特許文献1に参照される。虹彩認証部110は、ユーザIDの特定結果を出力部130に出力する。
虹彩認証部110は、画像合成装置100の処理部10の各構成要素について例示されたいずれかの構成を有してもよい。虹彩認証部110は、画像合成装置100を搭載する機器内に配置されてもよく、当該機器とは他の機器に配置されてもよい。他の機器に配置された虹彩認証部110は、有線通信又は無線通信を介して、画像合成装置100と情報を授受してもよい。有線通信及び無線通信はそれぞれ、いかなる通信であってもよい。
[虹彩認証パターンDB120]
虹彩認証パターンDB120は、参照画像及びユーザIDを含む虹彩認証情報を格納する。虹彩認証パターンDB120は、記憶部12に関して例示されたいずれかの構成を有してもよい。虹彩認証パターンDB120には、1つのユーザIDに対して、1つの参照画像が格納されてもよく、複数の参照画像が格納されてもよい。参照画像は、ユーザIDに対応する人の眼球、つまり、虹彩の像を含む画像である。虹彩認証パターンDB120は、画像合成装置100を搭載する機器内に配置されてもよく、当該機器の外に配置されてもよい。上記機器の外に配置された虹彩認証パターンDB120は、無線通信を介して、画像合成装置100と情報を授受してもよい。この場合、虹彩認証パターンDB120は、クラウドサーバに配置され、インターネット等の通信網を介して、画像合成装置100と無線通信を行ってもよく、他のいかなる無線通信を行ってもよい。
[出力部130]
出力部130は、虹彩認証部110による認証結果を、虹彩認証システム1の外部の機器等に出力する。出力部130は、ディスプレイ及びスピーカ等の表示装置に、視覚的及び/又は聴覚的に認証結果を出力してもよい。出力部130は、無線通信を介して、外部の機器に認証結果を出力してもよい。出力部130は、虹彩認証部110によって、認証用合成画像に対応するユーザIDが特定された場合、当該ユーザの情報を出力し、特定されなかった場合、認証不可能であることを示す情報を出力してもよい。出力部130は、処理部10の各構成要素について例示されたいずれかの構成を有してもよい。出力部130は、外部の装置等と接続するためのインターフェースであってもよい。出力部130は、画像合成装置100を搭載する機器内に配置されてもよく、虹彩認証部110と同様に、当該機器とは他の機器に配置されてもよい。
本実施の形態では、カメラ30の偏光撮像素子30aの図示しない制御部、処理部10、及び虹彩認証部110は、互いに別の処理部を構成しているが、全てが同じ処理部を構成してもよく、いずれか2つが同じ処理部を構成してもよい。
[1-2.画像合成装置100の処理の詳細]
画像合成装置100の処理の詳細を説明する。まず、人の眼での光の反射を説明する。図5Aは、環境光及び照明光が角膜又は眼鏡で鏡面反射する状況を示す概略図である。図5Bは、図5Aにおける眼鏡の正面図である。図5Cは、図5Aにおける角膜の正面図である。以下において、照明装置20は、赤外光を出射するIR照明装置であるとして説明する。
図5Aに示すように、屋内外において照明装置20を用いて人の顔面を撮影する場合、照明装置20の直線偏光の照明光Lと、太陽光等の周囲環境からの外光である環境光ELとが同時に、上記人の眼球Eに直接に入射する、又は、上記人が眼鏡140をかけている場合、眼鏡140に直接入射する。照明光Lは、IR波長域を有する。照明光L及び環境光ELは、眼球Eの角膜表面、及び眼鏡140のガラス表面で反射し、角膜表面及びガラス表面上において、強い鏡面反射による高輝度反射スポットを発生する。図5Bは、上記人が眼鏡140をかけている場合の眼鏡及び眼球の領域の撮影画像の例を示し、眼鏡140のガラス表面での典型的な鏡面反射状態を示す。図5Bの撮像画像では、環境光ELによる鏡面反射部分RELと、照明光Lによる鏡面反射部分RLとの両方が観察される。図5Cは、画像合成装置100が、照明光LのIR波長域以外の波長領域をカットするバンドパスフィルタ40を備えるケースでの眼球の領域の撮影画像の例を示す。このようなバンドパスフィルタ40を用いることで、環境光ELによる鏡面反射部分RELが除去され得る。
バンドパスフィルタ40の機能を説明する。図6は、バンドパスフィルタ40における環境光ELの鏡面反射の除去特性を示す図である。例えば、照明光Lの波長を典型的に940nmとした場合、最適なバンドパスフィルタ40として、940nm近傍の透過域を有する狭帯域フィルタが用いられる。これによって、940nmの照明光L以外の光による反射光は、除去できることが明らかである。しかしながら、この方法では照明光Lによる鏡面反射部分RLは除去できない。
例えば、図7Aは、カメラ30に正対する角膜における照明光の鏡面反射の発生状態を示す図である。図7Bは、カメラ30に正対する眼鏡及び角膜における照明光の鏡面反射の発生状態を示す図である。図7Cは、カメラ30に対して斜めを向いた角膜における照明光の鏡面反射の発生状態を示す図である。図7Aに示すように、カメラ30に正対した裸眼では、リング状の照明光の反射像は、黒い瞳孔のほぼ中心内部に位置する。このような照明光の反射像の位置は、リング照明である照明装置20の位置がカメラ30の撮像視線とほぼ同軸に近いことと、角膜の凸曲面によってリング状の照明光の虚像が縮小される効果とに起因する。虹彩認証においては、瞳孔部分の画像は用いられず、虹彩部分の画像が用いられるため、照明光の反射像がこのような状態であれば、虹彩認証において何ら問題はない。
しかしながら、図7Bに示すように、眼鏡をかけた状態の眼球では、眼鏡のガラス表面におけるリング状の照明光の反射像は、眼鏡のガラス表面がほぼフラットであるため、非常に大きくなる。このため、照明光の反射像の輝度の飽和領域は、瞳孔及び虹彩を隠蔽してしまう。また、眼鏡のガラス表面と角膜表面との間で多重反射が発生するため、多数の反射像が出現して虹彩、つまり虹彩パターンを隠蔽する。
また、図7Cに示すように、眼鏡が無くても、視線がカメラの撮像視線からずれている斜め裸眼のケースでは、リング状の照明光の反射像は、虹彩領域に位置するため、認証に重要な虹彩、つまり虹彩パターンの画像の一部が欠落してしまう。
この種の鏡面反射の除去には偏光撮像が有効であることは、従来より既知である。そのために、IR照明光の直線偏光と、カメラに設置される偏光フィルタとを用いて、両者の間で偏光方向が直交する直交偏光状態を作る偏光撮像方法がある。しかしながら、このような直交偏光状態で眼球を撮像すると、撮像画像に角膜の複屈折に起因する像である複屈折パターンが発生し、それが虹彩に重畳し正確な虹彩認証ができないという大きな課題がある。
図8A~図8Cを参照しつつ、角膜に発生する複屈折パターンを説明する。なお、図8Aは、角膜における複屈折現象を説明する図であり、直線偏光照明が角膜に入射及び反射する状況を示す概略図である。図8Bは、角膜における複屈折現象を説明する図であり、角膜に入射する直線偏光照明を示す模式的な正面図である。図8Cは、角膜における複屈折現象を説明する図であり、角膜で反射した直線偏光照明を示す模式的な正面図である。
非特許文献1によれば、眼球の角膜は、正面から見た場合の極座標系におけるr方向及びθ方向でそれぞれ、異なる屈折率を有する。なお、r方向は、角膜の中心からの半径方向であり、θ方向は、角膜の中心の周りの回転方向である。このような角膜の構成物質は、複屈折物質と呼ばれる。複屈折物質に直線偏光が入射すると、直線偏光は、2つの振動方向で振動しつつ透過する。透過の過程における2つの振動方向での光の速度が異なるため、2つの振動方向での振動の位相にズレが生じ、直線偏光が楕円偏光又は円偏光に変化する場合がある。なお、本明細書及び特許請求の範囲において、円偏光及び楕円偏光をまとめて、「円偏光」と表記する場合もあれば、「楕円偏光」と表記する場合もある。よって、「円偏光」及び「楕円偏光」はいずれも、円偏光及び楕円偏光を含み得る。
図8Aに示すように、直線偏光L0は、眼球Eの角膜Eaの直上つまり正面から角膜Eaに入射すると、直線偏光L0の一部は、空気と角膜Eaとの境界反射光となり、直線偏光L0の残りの光は、透明な角膜Eaと房水Ebとを透過し、不透明な虹彩Ecに到達して反射する。当該反射光は再度、房水Eb及び角膜Eaを透過し空気中に出射されカメラ30に到達する。直線偏光が角膜を2回透過する過程で、直線偏光の2つの振動方向の光の位相が、r方向及びθ方向で互いにずれて楕円偏光に変化してカメラ30に到達する。なお、直線偏光L0は、紙面に垂直であり且つ破線を含む水平面に沿う0°の方向の振動面を有する直線偏光である。
図8Bは、正面から角膜Eaを見たときの複屈折のF(Fast)軸及びS(Slow)軸の分布を示す。Fast軸は、進相軸とも呼ばれ、光の進む速度が速い、つまり位相が進む方位の軸である。Slow軸は、遅相軸とも呼ばれ、光の進む速度が遅い、つまり位相が遅れる方位の軸である。Fast軸及びSlow軸は直交する。図8Bでは、r方向の軸がFast軸となり、θ方向の軸がSlow軸となる設定が仮定されている。図8BをX軸及びY軸の直交座標系で考えると、θ=0°及び180°に対応するX軸の方向、並びに、θ=90°及び270°に対応するY軸の方向のみが、特別な向きとなる。このとき、F軸及びS軸の一方は、Y軸及びX軸の一方に一致し、F軸及びS軸の他方は、Y軸及びX軸の他方に一致する。
図8Cは、複屈折の効果を考慮した、角膜Eaの正面でのカメラ30に到達する偏光状態の分布を示す。図8Cは、角膜Eaに入射する偏光方向0°の直線偏光L0は、上記F軸及びS軸の分布により、どのような偏光への影響を受けるかを示している。F軸及びS軸の方向がX軸及びY軸の方向である場合では、2つの振動方向の光で位相ずれが発生しても、直線偏光L0には位相ずれが発生するだけで、入射した直線偏光L0は、同じ偏光状態のまま反射し戻ってくる。F軸及びS軸の方向がX軸及びY軸以外の角度の方向である場合では、直線偏光L0をX軸方向及びY軸方向の振動方向に分解した光の間で位相差が発生するため、これらの光の合成結果は楕円偏光を形成する。図8Cは、特にF軸及びS軸の方向がX軸及びY軸と45度をなす場合の直線偏光L0が楕円偏光に変化する様子を示し、この場合、2つの振動方向の光の位相ずれが最大である。
図9は、上述した角膜の複屈折の効果によってカメラの撮像画像に写し出される複屈折パターンの典型例を示す。具体的には、図9は、角膜における黒十字パターンの発生状態の一例を模式的に示す。偏光状態を観測できる偏光カメラであるカメラ30によって、光量=1の照明光の直線偏光が眼球で反射しそのまま直線偏光として戻ってくる像を撮像する場合、照明光及びカメラ30の偏光フィルタの偏光方向が直交する直交偏光状態では、理想的には、当該偏光フィルタに対応する偏光画素の輝度=0となる。また、照明光及び偏光フィルタの偏光方向が平行である平行偏光状態では、理想的には、当該偏光フィルタに対応する偏光画素の輝度=1となる。しかしながら、光量=1の直線偏光が円偏光として戻ってくる場合、照明光及び偏光フィルタの偏光方向が平行及び直交状態のいずれでも、偏光画素の輝度は1/2となる。このため、角膜を正面から見た2次元平面上で偏光状態の分布が異なる場合、撮像画像では、偏光状態の分布が明暗の輝度パターンとなって現れる。
具体的には、照明光の偏光方向が0°であり且つカメラ30の偏光フィルタの偏光方向が90°である直交偏光状態(以下、「直交偏光状態L0C90」とも表現する)の場合、X軸及びY軸上の画素は、そのまま戻ってきた直線偏光の像を示すため、理想的には、当該画素は、その輝度=0となり暗くなる。しかしながら、X軸及びY軸に対して斜め方向の軸上の画素は、円偏光の像を示すため、輝度=1/2の灰色となる。これにより、図9の画像L0C90及び画像L0C90イメージに示されるように、いわゆる「黒十字パターン」が現れる。
図10A及び図10Bを参照しつつ、凸レンズを用いた模擬的な角膜を反射板上に配置して観測される黒十字パターンの挙動を説明する。なお、図10A及び図10Bは、偏光方向に応じて変化する、凸レンズを使った黒十字の発生パターンの一例を示す図である。図10Aは、偏光方向90°である直線偏光L90を凸レンズ上方つまり前方から照射したときの、偏光方向0°の偏光画素を有するカメラの撮像画像L90C0を示す。直交偏光画像を観測するケースである撮像画像L90C0では、黒十字パターンの黒い領域は上下左右の位置に現れる。図10Bは、偏光方向135°である直線偏光L135を凸レンズ前方から照明したときの、偏光方向45°の偏光画素を有するカメラの撮像画像L135C45を示す。撮像画像L135C45も、直交偏光画像を観測するケースに該当し、この場合、黒十字パターンは、図10Aに対して45°回転することがわかる。撮像画像L90C0は、偏光画像合成部14が合成に用いる偏光画像L90C0に対応し、撮像画像L135C45は、偏光画像合成部14が合成に用いる偏光画像L135C45に対応する。
図11A及び図11Bは、図10A及び図10Bに示される黒十字パターンの挙動の原理を用いて、黒十字パターンを解消する偏光画像合成部14の処理を説明する図である。なお、図11Aは、黒十字パターンを除去する偏光画像合成部14の処理の一例を示す概略図である。図11Bは、偏光画像合成部14の処理による黒十字パターン除去の原理を示す周期関数の一例を示す図である。図11Aに示すように、偏光画像合成部14は、偏光画像L90C0と偏光画像L135C45とを取得する。偏光画像L90C0は、直線偏光L90の照明時に撮像された画像のうちの直交偏光状態の偏光画素から生成された画像である。偏光画像L135C45は、直線偏光L135の照明時に撮像された画像のうちの直交偏光状態の偏光画素から生成された画像である。
偏光画像合成部14は、画像処理により、偏光画像L90C0と偏光画像L135C45との間で、画像上における略同じ画素位置、つまり、対応する画素同士の画素値を比較し、画素値がより大きい(明るい)画素を選択する。偏光画像合成部14は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の1つの画像1001を合成する、つまり生成する。言い換えれば、偏光画像合成部14は、対応する画素同士の画素値のうち、より大きい画素値を、合成画像1001の各画素の画素値に決定する。ここで、合成画像1001は、認証画像の一例である。
このような合成画像1001では、黒十字パターンを解消した虹彩画像を得ることができる。偏光画像L90C0及び偏光画像L135C45は、1つの撮像画像からの画像であり、偏光画像L90C0の各画素の位置と、偏光画像L135C45の各画素の位置とは、上記撮像画像内において異なる。このため、偏光画像L90C0と偏光画像L135C45との間での比較対象の2つの画素は、同じ位置に位置する場合もあれば、互いの位置の近傍に位置する場合もある。例えば、比較対象の2つの画素は、同じ偏光フィルタグループ30ac内の画素から選ばれてもよい。
言い換えれば、合成画像1001を合成画像Imageとして表現すると、合成画像Imageは、下記の式1のような処理を画素ごとに実施することにより生成できる。なお、下記の式における「max」は、2つの数値の大きいほうを選択する処理を示し、「L90C0」及び「L135C45」はそれぞれ、偏光画像L90C0及びL135C45の対応画素の画素値を示す。
Image=max(L90C0,L135C45) (式1)
もちろん合成画像Imageの合成方法はこれに限らない。例えば、下記の式2のように、偏光画像L90C0及びL135C45の間の対応する画素の画素値に重み係数Wをつけて加算することによって、画素値を合成し、合成画像1001の各画素の画素値に合成値を適用してもよい。
Image=W×(L90C0)+(1-W)×(L135C45) (式2)
また、下記の式3のように、特にW=1/2として、偏光画像L90C0及びL135C45の間の対応する画素同士の画素値の平均値を計算し、合成画像1001の各画素の画素値に平均値を適用してもよい。
Image=(L90C0+L135C45)/2 (式3)
なお、図11Bのように、振幅A且つ輝度のオフセット値Cを有する周期90°(π/2)の2つの周期関数の位相が、互いに45°(π/4)ずれている場合、両者の平均値がちょうど周期関数のオフセット値Cに相当するという性質から、式3から得られる輝度は、本来の虹彩輝度の推定値として適切であると考えられる。
2つの周期関数のうち、L90C0で示される周期関数は、偏光画像L90C0に関する周期関数を示す。この周期関数は、照明光の直線偏光L90の偏光方向及び偏光画素C0の偏光方向を、これらの間の90°の差異を維持しつつ変化させたときの固定点での輝度の変化を示す。L135C45で示される周期関数は、偏光画像L135C45に関する周期関数を示す。この周期関数は、照明光の直線偏光L135の偏光方向及び偏光画素C45の偏光方向を、これらの間の90°の差異を維持しつつ変化させたときの固定点での輝度の変化を示す。よって、偏光画像L90C0の周期関数と偏光画像L135C45の周期関数との位相の差異は、45°(π/4)である。
合成画像1001として得られる虹彩画像は、通常の非偏光で撮像された虹彩画像とほぼ同等である。このため、合成画像1001と従来の虹彩認証処理とを用いて、虹彩を保有する個人を認証することが可能である。
[1-3.虹彩認証システム1の動作]
図12を参照しつつ、虹彩認証システム1の動作を説明する。なお、図12は、実施の形態1に係る虹彩認証システム1の動作の一例を示すフローチャートある。まず、ステップS1において、処理部10の同期部11は、照明のタイミングと撮像のタイミングとを同期させつつ、照明装置20に前方の認証対象者を照明させ、カメラ30に前方の当該対象者を撮像させる。認証対象者は、照明装置20及びカメラ30に正対していてもよく、照明装置20及びカメラ30を横切るような正対していなくてもよい。撮像画像は、認証対象者の眼を外側から写した像を含む眼球画像である。同期部11は、照明装置20に、直線偏光L90と直線偏光L135とを順次照射させ、直線偏光L90の照射期間中及び直線偏光L135の照射期間中それぞれにおいて、カメラ30に撮像させる。カメラ30は、2種類の撮像画像を記憶部12に格納する。各撮像画像には、撮像時刻の情報が含まれている。
次いで、ステップS2において、処理部10の画素選択部13は、記憶部12から、各撮像画像を取得し、各撮像画像において、画素を選択する。具体的には、画素選択部13は、各撮像画像において、カメラ30の偏光撮像素子30aにおける偏光透過軸の方位角0°の第一直線偏光フィルタ30acaに対応する受光素子で取得された画素である偏光画素C0を抽出し、抽出された偏光画素C0を再集積することによって、新しい画像である偏光画像を生成する。また、画素選択部13は、偏光透過軸の方位角45°の第二直線偏光フィルタ30acbに対応する受光素子で取得された画素である偏光画素C45を抽出し、抽出された偏光画素C45を再集積することによって新しい偏光画像を生成する。直線偏光L90の撮像画像から抽出された偏光画素C0の偏光画像L90C0と、直線偏光L90の撮像画像から抽出された偏光画素C45の偏光画像L90C45と、直線偏光L135の撮像画像から抽出された偏光画素C0の偏光画像L135C0と、直線偏光L135の撮像画像から抽出された偏光画素C45の偏光画像L135C45とが、生成される。各偏光画像には、当該偏光画像を構成する偏光画素の情報が含まれる。
次いで、ステップS3において、処理部10の偏光画像合成部14は、同期部11から取得される直線偏光L90及びL135の照明中での撮像画像の撮像時刻と、画素選択部13で生成された偏光画像の撮像時刻とを対応付け、各偏光画像の撮像時に照射された直線偏光を特定する。これにより、偏光画像合成部14は、偏光画像L90C0、L90C45、L135C0及びL135C45を特定する。偏光画像合成部14は、4種類の偏光画像のうちから、2つの偏光画像のペアを抽出する。2つの偏光画像のペアでは、各偏光画像における照明の直線偏光の偏光方向と受光素子の偏光方向とが直交し、且つ、2つの偏光画像の間で照明の直線偏光の偏光方向が異なる。このとき、2つの偏光画像の間で受光素子の偏光方向も異なることになる。よって、偏光画像合成部14は、偏光画像L90C0及びL135C45のペアを抽出対象に決定する。さらに、偏光画像合成部14は、互いの撮像時刻が最も近い偏光画像L90C0及びL135C45のペアを抽出する。このような偏光画像L90C0及びL135C45は、連続する直線偏光L90及びL135の照明の際に取得された画像である。
そして、偏光画像合成部14は、抽出された偏光画像L90C0及びL135C45を合成する。このとき、偏光画像合成部14は、偏光画像L90C0及びL135C45の間で、ほぼ同じ画素位置の画素同士のうち、より画素値が大きい画素を抽出する。偏光画像合成部14は、各画素位置において、より画素値が大きい画素を抽出し、抽出された画素を集積することによって、新しい合成画像1001を生成する。偏光画像合成部14は、合成画像1001を虹彩認証部110に出力する。
次いで、ステップS4において、虹彩認証部110は、虹彩認証パターンDB120に格納された複数の参照画像の情報と、合成画像1001とを照合することによって、合成画像1001に対応するユーザIDを特定する。例えば、虹彩認証部110は、複数の参照画像のうちから、既存の画像照合技術を用いることによって、合成画像1001との所定以上の類似度を有する参照画像を決定し、決定された参照画像に対応付けられているユーザIDを特定する。虹彩認証部110は、特定されたユーザIDを出力部130に出力し、ユーザIDが特定されなかった場合、ユーザ認証不可を示す情報を出力部130に出力する。
次いで、ステップS5において、出力部130は、取得されたユーザIDに対応するユーザに関する情報を、表示装置等の外部機器に出力する。ユーザIDが特定されなかった場合、出力部130は、ユーザ認証不可を示す情報を外部機器に出力する。出力部130は、図示しない他のデータベースにアクセスすることによって、ユーザIDに対応するユーザに関する情報を取得してもよい。
[1-4.効果]
以上のように、実施の形態1に係る画像合成装置100は、2種類の異なる偏光方向の直線偏光を順次、認証対象者の眼球に照射し且つ照射に同期して撮像し、2つの撮像画像を取得する。さらに、画像合成装置100は、2つの撮像画像から複数の偏光画像を取得する。画像合成装置100は、複数の偏光画像から、眼鏡及び角膜に発生する正反射に起因する照明光源の鏡面反射の像を除去しつつ、角膜上の複屈折に起因する黒十字パターンも同時に除去し、虹彩認証可能な虹彩画像を生成する。そして、画像合成装置100によれば、認証対象者が意識することなく虹彩認証が実施される、いわゆるカジュアル虹彩認証においても、画像処理の障害となっていた眼鏡及び角膜上の照明光源の鏡面反射の像と、角膜上に発生する複屈折によるアーティファクトとを同時に除去できる。
(実施の形態2)
実施の形態2に係る画像合成装置2100を説明する。実施の形態2に係る画像合成装置2100は、照明装置220及びカメラ230の構成で、実施の形態1と異なる。このため、処理部210は、同期部を備えない。以下において、実施の形態1と異なる点を中心に説明し、実施の形態1と同様の点の説明を省略する。
図13は、実施の形態2に係る虹彩認証システム2の機能的な構成の一例を示すブロック図である。図14は、実施の形態2に係る虹彩認証システム2の各構成要素による処理の流れの一例を示す概略図である。図13及び図14に示すように、虹彩認証システム2は、画像合成装置2100と、実施の形態1と同様の虹彩認証部110、虹彩認証パターンDB120及び出力部130とを備える。画像合成装置2100は、処理部210と、照明装置220と、カメラ230とを備える。処理部210は、記憶部12と、画素選択部213と、偏光画像合成部214とを含む。画像合成装置2100は、照明装置220とカメラ230との間に、バンドパスフィルタ40を備えるが、必須ではない。
図14、図15A及び図15Bに示すように、照明装置220は、照明部220aと、偏光部220bとを含む。なお、図15Aは、実施の形態2に係る照明装置220の模式的な正面図である。図15Bは、図15Aの照明装置220の模式的な分解図である。照明部220aは、複数の光源220acが表面全体に配置された円環板状の発光部220abと、発光部220abと偏光部220bとの間に配置される円環板状の拡散板220aaとを含む。光源220acの構成は、実施の形態1の第一光源20aa及び第二光源20abと同様であってもよい。発光部220abは、複数の光源220acを同時に発光させるように構成され、それにより、リング状の照明光を拡散板220aaに向かって出射する。照明部220aは、1チャンネルのリング照明を構成する。
拡散板220aaは、発光部220abの複数の光源220ac全体を覆うように配置されている。拡散板220aa及び発光部220abは、開口部220cの周りを囲む。拡散板220aaは、複数の光源220acの出射光を拡散しつつ透過させ、偏光部220bに向かって放出する。拡散板220aaは、光を拡散しつつ透過させる構成を有すれば、いかなる構成であってもよい。拡散板220aaは、LED等の点光源からの出射光を面光源からの出射光のように変換する。拡散板220aaによって拡散された後に偏光部220bから出射される直線偏光は、眼鏡又は角膜上の鏡面反射の輝点の輝度を低下させることができる。さらに、上記直線偏光は、偏光部220bの偏光フィルタの消光比が低い場合においても、偏光の鏡面反射の輝点の除去をより効果的に実現できるという効果を奏することが、本発明者の実験によって確認されている。なお、拡散板220aaは、必須でない。
偏光部220bは、開口部220cの周りに円環状に配置された複数の第一偏光フィルタ220ba及び第二偏光フィルタ220bbを含む。本実施の形態では、2つの第一偏光フィルタ220ba及び2つの第二偏光フィルタ220bbは、円周に沿って交互に且つ隣接して配置されている。第一偏光フィルタ220baは、方位角0°の偏光透過軸を有する偏光フィルタであり、第二偏光フィルタ220bbは、方位角90°の偏光透過軸を有する偏光フィルタである。第一偏光フィルタ220ba及び第二偏光フィルタ220bbの数量は、1つ以上のいかなる数量であってもよく、第一偏光フィルタ220ba及び第二偏光フィルタ220bbの配置もいかなる配置であってもよい。
照明光の出射方向に沿って、発光部220ab、拡散板220aa、及び第1の偏光フィルタとしての第一偏光フィルタ220baは、この順に位置している。さらに、照明光の出射方向に沿って、発光部220ab、拡散板220aa、及び第2の偏光フィルタとしての第二偏光フィルタ220bbは、この順に位置している。また、円環板状の発光部220abにおける光源220acが配置される表面に垂直な方向、つまり、発光部220abの出射光の光軸方向で照明装置220を見たとき、発光部220ab、拡散板220aa、及び偏光部220bのそれぞれの大きさは、発光部220abのサイズ≦拡散板220aaのサイズ≦偏光部220bのサイズの条件を満たす。言い換えると、発光部220abの出射光の光軸方向で照明装置220を見たとき、第一偏光フィルタ220ba及び第二偏光フィルタ220bbは、拡散板220aaの全てを覆うように配置され、同時に、拡散板220aaは、円環板状の発光部220abにおける光源220acの全てを覆うように配置されている。
上述のような照明装置220は、0°及び90°の偏光方向の直線偏光が混合した照明光Lを、認証対象者の眼球Eに照射する。つまり、照明装置220は、偏光方向が直交する2種類の直線偏光L0及びL90を、眼球Eに向かっては同時に出射する。眼球Eの角膜及び虹彩部分で反射した戻り光は、照明装置220の中心の開口部220cを通過し、カメラ230に入射する。バンドパスフィルタ40が配置されることによって、眼球Eからの戻り光は、バンドパスフィルタ40を通過した後、カメラ230に入射する。
図14に示すように、カメラ230は、偏光撮像素子230aを備える。さらに、図16A及び図16Bに示すように、偏光撮像素子230aは、実施の形態1と同様に、撮像素子30aaと、モザイク偏光フィルタ230abとを備える。モザイク偏光フィルタ230abでは、複数の偏光フィルタグループ230acが、格子状に配列されている。なお、図16Aは、実施の形態2に係るカメラ230の偏光撮像素子230aの構成を模式的に示す平面図である。図16Bは、図16Aのモザイク偏光フィルタ230abにおける偏光フィルタのグループ230acの1単位を示す平面図である。各偏光フィルタグループ230acは、2つの第一直線偏光フィルタ230acaと、2つの第二直線偏光フィルタ230acbとを含む。第一直線偏光フィルタ230aca及び第二直線偏光フィルタ230acbは、点Pを中心とする回転方向で交互に配置されている。第一直線偏光フィルタ230acaは、方位角0°の偏光透過軸を有し、第二直線偏光フィルタ230acbは、方位角90°の偏光透過軸を有する。
このような偏光撮像素子230aの受光素子は、方位角0°の偏光透過軸を有するマイクロ偏光画素と、方位角90°の偏光透過軸を有するマイクロ偏光画素とを形成する。カメラ230は、1回の撮像によって、0°及び90°の2つの直交する偏光方向の偏光画素を含む1つの撮像画像を取得することができる。つまり、カメラ230は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することができる。
処理部210の画素選択部213は、撮像画像において、第一直線偏光フィルタ230acaに対応する受光素子で取得された偏光画素C0を再集積することによって、偏光画素C0からなる偏光画像を生成する。画素選択部213は、撮像画像において、第二直線偏光フィルタ230acbに対応する受光素子で取得された偏光画素C90を再集積することによって、偏光画素C90からなる偏光画像を生成する。
処理部210の偏光画像合成部214は、偏光画素C0からなる偏光画像と偏光画素C90からなる偏光画像とを合成して、新たな合成画像を生成する。
ここで、図17及び図18を参照しつつ、眼球Eにおける照明光の反射を説明する。なお、図17は、角膜Eaでの鏡面反射領域の輝点における反射光の偏光状態を示す概略図である。図18は、虹彩Ecでの拡散反射領域における反射光の偏光状態を示す概略図である。図17及び図18では、説明を簡略化するために、本来、同軸上に近い位置に配置されているカメラ230及び照明装置220が、異なる軸上に配置されて描かれている。
まず、図17を参照しつつ、照明装置220から出射される直線偏光L0及びL90が、角膜Ea及び眼鏡表面で鏡面反射する場合を、角膜Eaを例にとって説明する。認証対象者の眼球Eの表面の角膜Eaは、透明でなめらかな表面を有している。このため、例えば、第一偏光フィルタ220baから出射される直線偏光L0は、角膜Ea上の反射輝点BS1で反射し、このとき、反射の法則に従って、反射輝点BS1での法線ベクトルVn1に対して、入射角と略同じ反射角で反射してカメラ230に入射し、反射光は、直線偏光L0の偏光状態を維持する。また、第二偏光フィルタ220bbから出射される直線偏光L90は、角膜Ea上の反射輝点BS1と異なる反射輝点BS2で反射し、このとき、反射輝点BS2での法線ベクトルVn2に対して、入射角と略同じ反射角で反射してカメラ230に入射し、反射光は、直線偏光L90の偏光状態を維持する。従って、照明装置220が2種類の直線偏光L0及びL90を出射するように構成されている場合、直線偏光L0及びL90が同時に照射されても、それぞれの反射輝点は、撮像画像上では異なる画素位置にあり、各画素位置において異なる偏光状態を維持する特徴がある。
次に、図18を参照しつつ、照明装置220から出射される直線偏光L0及びL90が、虹彩Ecで反射する場合を説明する。虹彩領域は、反射光を拡散させる拡散反射領域を構成する。虹彩領域における反射では、虹彩表面の粗さ及び表層における光の多重散乱による影響が生じる。このため、直線偏光L0及びL90が有していた偏光状態は、虹彩領域での反射の際に解消され、反射光である反射戻り光Lrは非偏光状態となる。よって、虹彩領域の画像は、非偏光照明で照射されたのと同じ状態であるため、虹彩領域の画像には、複屈折による黒十字パターンは発生しない。
さらに、偏光画像合成部214の処理の詳細を説明する。図19は、鏡面反射の輝点を除去する偏光画像合成部214の処理の一例を示す概略図である。図19に示すように、画素選択部213によって生成された偏光画像C0では、眼球Eの角膜Ea上に、リング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ230の特性から、偏光部220bにおける偏光方向0°の第一偏光フィルタ220baから出射された直線偏光L0に対応するリング部分のみの輝点BSが観測される。そして、偏光方向90°の第二偏光フィルタ220bbから出射された直線偏光L90に対応するリング部分の輝点は観測されない。
同様に、画素選択部213によって生成された偏光画像C90では、眼球Eの角膜Ea上に、第二偏光フィルタ220bbから出射された直線偏光L90に対応するリング部分のみの輝点BSが観測される。そして、第一偏光フィルタ220baから出射された直線偏光L0に対応するリング部分の輝点は観測されない。
さらに、角膜Eaの背後にあたる虹彩Ecの領域では、複屈折による黒十字パターンは存在しない。
このため、偏光画像合成部214は、同一の撮像画像から生成された2つの偏光画像C0及びC90を取得すると、画像処理により、偏光画像C0及びC90間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値がより小さい(暗い)画素を選択する。さらに、偏光画像合成部214は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の1つの画像2001を合成する。このような合成画像2001によって、鏡面反射による輝点が解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明で撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
以上のように、実施の形態2に係る画像合成装置2100は、2種類の直線偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置2100は、1つの撮像画像から複数の偏光画像を取得する。画像合成装置2100は、複数の偏光画像から、眼鏡及び角膜に発生する正反射に起因する鏡面反射の像を除去しつつ、角膜上の複屈折に起因するパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。具体的には、実施の形態2に係る画像合成装置2100は、空間的に直交する直線偏光照明を混合して照射するため、撮像画像に角膜における複屈折に起因するパターンが発生しない。一方、眼鏡及び角膜からの照明の正反射に起因する鏡面反射の像は、偏光を維持した状態で撮像されるが、画像合成装置2100によって除去され得る。このように、ワンショットの撮像により、眼鏡及び眼球の角膜からの照明の正反射の像を除去しつつ従来の虹彩パターン認証を実施できるという効果が奏される。
本実施形態では、偏光照明装置を工夫して直交する2種の分割偏光照明を一度に眼球に投射している。この光は眼球に到達すると角膜では鏡面反射するため異なる偏光分割照明の複数の反射像となり、これらは偏光の性質を維持するため直交する偏光フィルタで反射を除去でき照明の鏡面反射を除去できる第一の利点がある。さらに従来、このように偏光照明と偏光フィルタを直交させると、角膜の複屈折により虹彩上に黒十字アーティファクトが発生し虹彩認証が困難になるという課題があったが、本実施形態では角膜を透過する光は異なる偏光が光路上、角膜上で散乱して混合し非偏光になるため黒十字アーティファクトも発生しないという第二の利点がある。
さらに本実施形態におけるワンショット撮像の利点につき説明する。無意識な認証を目的とするカジュアル虹彩認証においては、被験者の顔や眼球は常に動いている可能性がある。この状態では、実施の形態1のように2回の照明と撮像を実施し2枚の画像を画素ズレなく取得して画像処理するためには、眼球トラッキングなどを実施して画素の位置合わせが必要となり処理負担が大きくなってしまう。ワンショット撮像により画素ズレの問題もなくなり、装置構成においても照明と撮像の同期装置が不要となる大きな利点がある。
また、実施の形態2に係る画像合成装置2100では、偏光画像合成部214は、2つの偏光画像上における略同じ画素位置の2つの画素のうちの画素値がより小さい(暗い)画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部214は、実施の形態1で説明したように、2つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、2つの画素の画素値の平均値を画素値に決定してもよい。
(実施の形態3)
実施の形態3に係る画像合成装置3100を説明する。実施の形態3に係る画像合成装置3100は、照明装置320が円偏光を照射する点で、実施の形態1及び2と異なる。以下において、実施の形態1及び2と異なる点を中心に説明し、実施の形態1又は2と同様の点の説明を省略する。
ここで、図20A及び図20Bを参照しつつ、円偏光を眼球に照射する技術を説明する。なお、図20Aは、円偏光を用いて虹彩認証する従来技術の虹彩認証装置の一例を図2と同様に示す図である。図20Bは、図20Aの光学系の詳細を模式的に示す図である。図20Aの従来技術の虹彩認証装置は、カメラ30Aと、非偏光の照明装置320aと、円偏光板350とを備える。
図20Aは、虹彩認証装置の光学系の重なり状態を示す。認証対象者の眼Eから見て、眼Eに近い層に円偏光板350が配置され、より遠い層にリング状の照明装置320aが配置されている。カメラ30Aは、通常のカメラであり、照明装置320aの開口部の内側に配置されている。照明装置320aは、実施の形態2の照明装置220の発光部220abと同様の構成であり、非偏光の照明光を出射する。円偏光板350は、ドーナツ型ではなく、照明装置320a全体を覆う。このため、照明装置320aから眼球Eへの入射光と、眼球Eから照明装置320aへの戻り光との両方が、円偏光板350を透過する。つまり、照明装置320aからカメラ30Aに至る光は、円偏光板350を計2回透過する。
照明装置320aからの非偏光の照明光は、円偏光板350によって、1方向、つまり図20Aでは左回りに回転する左回り円偏光に変換され、この左回り円偏光は、認証対象者の眼Eに照射され、角膜又は眼鏡等で鏡面反射する。そして、この鏡面反射の戻り光は、右回りに回転する右回り円偏光となる。一方、円偏光は、虹彩領域では拡散して反射し、拡散反射光を形成する。このため、拡散反射により円偏光は解消され、非偏光の戻り光が形成される。右回り円偏光及び非偏光の戻り光は、再度円偏光板350に入射するが、入射光と逆回転の右回り円偏光は、円偏光板350によって遮断される。このため、虹彩の拡散反射像のみが、カメラ30Aで撮像される。このように、角膜の複屈折パターンは、円偏光を眼Eに照射する場合には発生しない。また、拡散反射光によって得られる虹彩の拡散反射像は、通常の非偏光の照明で撮像された虹彩画像と同等である。このため、虹彩の拡散反射像の画像と従来の虹彩認証処理とを用いて、撮像画像に対応する個人認証することができる。
しかしながら、上述のような従来技術では、照明装置320aの照明光として右回り円偏光及び左回り円偏光のいずれかを一方を選択する必要がある。このため、左回り及び右回りの円偏光の間で光学特性が変わる性質、いわゆる円2色性を有する生体媒質では、新たな不具合が発生する可能性がある。そこで、本発明者は、左回り及び右回りの円偏光を均等に用いる構成を検討した。左回り及び右回りの円偏光を同時に照明する照明装置を使う実施の形態3に係る画像合成装置3100を考案した。
図21は、実施の形態3の虹彩認証システム3の機能的な構成の一例を示すブロック図である。図22は、実施の形態3に係る虹彩認証システム3の各構成要素による処理の流れの一例を示す概略図である。図21及び図22に示すように、虹彩認証システム3は、画像合成装置3100と、実施の形態1と同様の虹彩認証部110、虹彩認証パターンDB120及び出力部130とを備える。画像合成装置3100は、処理部310と、照明装置320と、カメラ330とを備える。処理部310は、記憶部12と、画素選択部313と、偏光画像合成部314とを含む。画像合成装置3100は、照明装置320とカメラ330との間に、バンドパスフィルタ40を備えるが、必須ではない。
図22、図23A及び図23Bに示すように、照明装置320は、照明部320aと、偏光部320bとを含む。なお、図23Aは、実施の形態3に係る照明装置320の模式的な正面図である。図23Bは、図23Aの照明装置320の模式的な分解図である。照明部320aは、実施の形態2の発光部220abと同様の構成である。偏光部320bは、実施の形態2の偏光部220bと同様の直線偏光フィルタ320b1と、4分の1波長板320b2(「λ/4板320b2」とも呼ぶ)とを含む。λ/4板320b2は、入射光における直交する2つの偏光成分にλ/4、つまり90°の位相差をつけて、入射偏光の状態を変える素子である。直線偏光フィルタ320b1は、方位角0°の偏光透過軸を有する2つの第一直線偏光フィルタ320b1aと、方位角90°の偏光透過軸を有する2つの第二直線偏光フィルタ320b1bとで構成される。照明光の出射方向に沿って、照明部320a、直線偏光フィルタ320b1及びλ/4板320b2の順で配置されている。
第一直線偏光フィルタ320b1a及びλ/4板320b2は、照明部320aからの照明光を右回りの円偏光RCに変換する。第二直線偏光フィルタ320b1b及びλ/4板320b2は、照明部320aからの照明光を左回りの円偏光LCに変換する。このため、図23Aに示すように、偏光部320bは、2つの第一直線偏光フィルタ320b1aに対応する位置に、右回りの回転方向の偏光透過軸を有し且つ右回り円偏光RCを形成するフィルタである2つの第一偏光フィルタ320baを有する。偏光部320bは、2つの第二直線偏光フィルタ320b1bに対応する位置に、左回りの回転方向の偏光透過軸を有し且つ左回り円偏光LCを形成するフィルタである2つの第二偏光フィルタ320bbを有する。第一偏光フィルタ320ba及び第二偏光フィルタ320bbは、円環状の偏光部320bの周方向に交互に配置されている。なお、第一偏光フィルタ320ba及び第二偏光フィルタ320bbの数量は、1つ以上のいかなる数量であってもよく、第一偏光フィルタ320ba及び第二偏光フィルタ320bbの配置もいかなる配置であってもよい。
上述のような照明装置320は、実施の形態2の照明装置220に対して、照明装置220と被写体である認証対象者との間に、λ/4板320b2を配置することによっても実現することができる。
照明装置320は、実施の形態2の照明装置220と同様に、1チャンネルのリング照明を構成する。このような照明装置320は、互いに逆向きの左回り円偏光LC及び右回り円偏光RCを同時に出射し、左回り円偏光LC及び右回り円偏光RCが混合した照明光Lを、認証対象者の眼球Eに照射する。眼球Eの角膜及び虹彩部分で反射した戻り光は、照明装置320の中心の開口部320cを通過し、さらに、バンドパスフィルタ40を透過し、カメラ330に入射する。
図22に示すように、カメラ330は、偏光撮像素子330aを備える。さらに、図24A及び図24Bに示すように、偏光撮像素子330aは、実施の形態1と同様に、撮像素子30aaと、モザイク偏光フィルタ330abとを備える。モザイク偏光フィルタ330abでは、複数の偏光フィルタグループ330acが、格子状に配列されている。なお、図24Aは、実施の形態3に係るカメラ330の偏光撮像素子330aの構成を模式的に示す平面図である。図24Bは、図24Aのモザイク偏光フィルタ330abにおける偏光フィルタのグループ330acの1単位を示す平面図である。
各偏光フィルタグループ330acは、2つの右回り円偏光フィルタ330acaと、2つの左回り円偏光フィルタ330acbとを含む。右回り円偏光フィルタ330aca及び左回り円偏光フィルタ330acbの例は、円偏光板又は円偏光フィルムである。右回り円偏光フィルタ330aca及び左回り円偏光フィルタ330acbは、点Pを中心とする回転方向で交互に配置されている。右回り円偏光フィルタ330acaは、右回りの回転方向の偏光透過軸を有し、例えば、方位角0°の偏光透過軸を有する直線偏光フィルタとλ/4板とが積層されることによって形成される。左回り円偏光フィルタ330acbは、左回りの回転方向の偏光透過軸を有し、例えば、方位角90°の偏光透過軸を有する直線偏光フィルタとλ/4板とが積層されることによって形成される。
このような偏光撮像素子330aの受光素子は、右回り円偏光の回転方向に偏光透過軸を有するマイクロ偏光画素と、左回り円偏光の回転方向に偏光透過軸を有するマイクロ偏光画素とを形成する。カメラ330は、1回の撮像によって、右回り及び左回りの偏光方向の偏光画素を含む1つの撮像画像を取得することができる。つまり、カメラ330は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することできる。
上述のようなカメラ330は、実施の形態2のカメラ230に対して、カメラ230と照明装置220との間において、カメラ230の対物レンズ230bを覆うようにλ/4板を配置することによっても実現することができる。例えば、図25に示すように、偏光撮像素子330aの偏光フィルタグループ330acに対応する、右回り及び左回りの円偏光の受光素子からなるモザイクパターンは、実施の形態2の偏光撮像素子230aに改良を加える必要はなく、実現可能である。なお、図25は、実施の形態3に係る偏光撮像素子の変形例の構成を模式的に示す図である。具体的には、0°及び90°の直線偏光を含む偏光撮像素子230aの偏光フィルタグループ230acの受光素子に対して、偏光撮像素子230aと被写体との間に、λ/4板360を配置することによって、偏光フィルタグループ330acに対応するモザイクパターンは実現可能である。このとき、λ/4板360は、そのF軸(Fast軸)及びS軸(Slow)が、偏光フィルタグループ230acの0°の偏光透過軸に対して45°の角度をなすように、配置される。
処理部310の画素選択部313は、撮像画像において、右回り円偏光フィルタ330acaに対応する受光素子で取得された偏光画素CRを再集積することによって、偏光画素CRからなる偏光画像を生成する。画素選択部313は、撮像画像において、左回り円偏光フィルタ330acbに対応する受光素子で取得された偏光画素CLを再集積することによって、偏光画素CLからなる偏光画像を生成する。つまり、1つの撮像画像から、偏光方向が同一の回転方向である偏光画素どうしが集積処理され、2つの偏光画像が生成される。
処理部310の偏光画像合成部314は、偏光画素CRからなる偏光画像と偏光画素CLからなる偏光画像とを合成して、新たな合成画像を生成する。図26に示すように、偏光画像合成部314は、合成処理することによって、角膜又は眼鏡における鏡面反射の像を画像から除去する。なお、図26は、鏡面反射の輝点を除去する偏光画像合成部314の処理の一例を示す概略図である。画素選択部313によって生成された偏光画像CRでは、眼球の角膜上にリング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ330の特性から、偏光部320bの第一偏光フィルタ320baから出射された右回り円偏光RCに対応するリング部分のみの輝点BSが観測される、そして、第二偏光フィルタ320bbから出射された左回り円偏光LCに対応するリング部分の輝点は観測されない。
同様に、画素選択部313によって生成された偏光画像CLでは、眼球の角膜上に、第二偏光フィルタ320bbから出射された左回り円偏光LCに対応するリング部分のみの輝点BSが観測される。そして、第一偏光フィルタ320baから出射された右回り円偏光RCに対応するリング部分の輝点は観測されない。
さらに、角膜の背後にある虹彩の領域では、照明装置320から出射された右回り円偏光及び左回り円偏光は、互いに加算されることによって非偏光となり、眼球に入射する。このため、虹彩領域では、複屈折による黒十字パターンは存在しない。
そこで、偏光画像合成部314は、同一の撮像画像から生成された2つの偏光画像CR及びCLを取得すると、画像処理により、偏光画像CR及びCLの間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値がより小さい(暗い)画素を選択する。さらに、偏光画像合成部314は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の1つの画像3001を合成する。このような合成画像3001によって、鏡面反射による輝点が解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明を用いて撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
以上のように、実施の形態3に係る画像合成装置3100は、2種類の円偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置3100は、1つの撮像画像から複数の偏光画像を取得する。画像合成装置3100は、複数の偏光画像から、眼鏡及び角膜に発生する鏡面反射の像を除去しつつ、角膜上の複屈折によるパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。具体的には、実施の形態3に係る画像合成装置3100は、円偏光照明を照射して撮像するため、撮像画像において、角膜における複屈折に起因するパターンが発生しない。一方、眼鏡及び角膜からの照明の正反射の像は、円偏光を維持した状態で撮像されるため、画像合成装置3100によって除去され得る。このように、ワンショットの撮像により、眼鏡及び眼球の角膜からの照明の正反射の像を除去しつつ従来の虹彩パターン認証を実施できるという効果が奏される。
また、実施の形態3に係る画像合成装置3100では、偏光画像合成部314は、2つの偏光画像上における略同じ画素位置の2つの画素のうちの画素値がより小さい(暗い)画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部314は、実施の形態1で説明したように、2つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、2つの画素の画素値の平均値を画素値に決定してもよい。
(実施の形態4)
実施の形態4に係る画像合成装置4100を説明する。実施の形態1及び2では、照明装置は、異なる2つの偏光方向の直線偏光を照射するが、実施の形態4に係る画像合成装置4100では、照明装置420が異なる4つの偏光方向の直線偏光を照射する。以下において、実施の形態1~3と異なる点を中心に説明し、実施の形態1~3と同様の点の説明を省略する。
図27は、実施の形態4に係る虹彩認証システム4の機能的な構成の一例を示すブロック図である。図28は、実施の形態4に係る虹彩認証システム4の各構成要素による処理の流れの一例を示す概略図である。図27及び図28に示すように、虹彩認証システム4は、画像合成装置4100と、実施の形態1と同様の虹彩認証部110、虹彩認証パターンDB120及び出力部130とを備える。画像合成装置4100は、処理部410と、照明装置420と、カメラ430とを備える。処理部410は、記憶部12と、画素選択部413と、偏光画像合成部414とを含む。画像合成装置4100は、実施の形態1と同様にバンドパスフィルタ40を備えるが、必須ではない。
図28及び図29に示すように、照明装置420は、照明部420aと、偏光部420bとを含む。なお、図29は、実施の形態4に係る照明装置420の模式的な正面図である。照明部420aは、実施の形態2の照明装置220の発光部220abと同様の構成である。照明部420aは、1チャンネルのリング照明を構成する。
偏光部420bは、開口部420cの周りに円環状に配置された第一偏光フィルタ420ba、第二偏光フィルタ420bb、第三偏光フィルタ420bc及び第四偏光フィルタ420bdを含む。本実施の形態では、第一偏光フィルタ420ba、第二偏光フィルタ420bb、第三偏光フィルタ420bc及び第四偏光フィルタ420bdは、円周に沿ってこの順に並ぶ。第一偏光フィルタ420baは、方位角0°の偏光透過軸を有する。第二偏光フィルタ420bbは、方位角45°の偏光透過軸を有する。第三偏光フィルタ420bcは、方位角90°の偏光透過軸を有する。第四偏光フィルタ420bdは、方位角135°の偏光透過軸を有する。なお、各偏光部の数量は、1つ以上のいかなる数量であってもよく、各偏光部の配置もいかなる配置であってもよい。なお、方位角は、カメラを基準にしたカメラ座標系で定義されているため、照明装置420を正面から見る場合、方位角45°及び135°の矢印の左右の向きが逆になる。
上述のような照明装置420は、偏光方向0°、45°、90°及び135°の直線偏光を同時に出射し、これらの直線偏光が混合した照明光Lを、認証対象者の眼球Eに照射する。眼球Eの角膜及び虹彩部分で反射した戻り光は、照明装置420の中心の開口部420cを通過し、さらに、バンドパスフィルタ40を透過し、カメラ430に入射する。
図28に示すように、カメラ430は、偏光撮像素子430aを備える。さらに、図30A及び図30Bに示すように、偏光撮像素子430aは、実施の形態1と同様に、撮像素子30aaと、モザイク偏光フィルタ430abとを備える。モザイク偏光フィルタ430abでは、複数の偏光フィルタグループ430acが、格子状に配列されている。なお、図30Aは、実施の形態4に係るカメラ430の偏光撮像素子430aの構成を模式的に示す平面図である。図30Bは、図30Aのモザイク偏光フィルタ430abにおける偏光フィルタのグループ430acの1単位を示す平面図である。
各偏光フィルタグループ430acは、第一直線偏光フィルタ430acaと、第二直線偏光フィルタ430acbと、第三直線偏光フィルタ430accと、第四直線偏光フィルタ430acdとを含む。第一直線偏光フィルタ430aca、第二直線偏光フィルタ430acb、第三直線偏光フィルタ430acc及び第四直線偏光フィルタ430acdは、点Pを中心とする右回りの回転方向でこの順で配置されている。第一直線偏光フィルタ430acaは、方位角0°の偏光透過軸を有する。第二直線偏光フィルタ430acbは、方位角45°の偏光透過軸を有する。第三直線偏光フィルタ430accは、方位角90°の偏光透過軸を有する。第四直線偏光フィルタ430acdは、方位角135°の偏光透過軸を有する。
このような偏光撮像素子430aの受光素子は、方位角0°、45°、90°及び135°それぞれの偏光透過軸を有するマイクロ偏光画素を形成する。カメラ430は、1回の撮像によって、0°、45°、90°及び135°の45°毎異なる4つの偏光方向の偏光画素C0、C45、C90及びC135を含む1つの撮像画像を取得することができる。つまり、カメラ430は、異なる偏光方向の偏光画像をほぼ同一視点から同時に取得することできる。
処理部410の画素選択部413は、撮像画像において、第一直線偏光フィルタ430acaに対応する受光素子で取得された偏光画素C0を再集積することによって、偏光画素C0からなる偏光画像を生成する。画素選択部413は、撮像画像において、第二直線偏光フィルタ430acbに対応する受光素子で取得された偏光画素C45を再集積することによって、偏光画素C45からなる偏光画像を生成する。画素選択部413は、撮像画像において、第三直線偏光フィルタ430accに対応する受光素子で取得された偏光画素C90を再集積することによって、偏光画素C90からなる偏光画像を生成する。画素選択部413は、撮像画像において、第四直線偏光フィルタ430acdに対応する受光素子で取得された偏光画素C135を再集積することによって、偏光画素C135からなる偏光画像を生成する。
処理部410の偏光画像合成部414は、偏光画素C0からなる偏光画像と、偏光画素C45からなる偏光画像と、偏光画素C90からなる偏光画像と、偏光画素C135からなる偏光画像とを合成して、新たな合成画像を生成する。図31に示すように、偏光画像合成部414は、合成処理することによって、角膜又は眼鏡における鏡面反射の像を画像から除去する。なお、図31は、鏡面反射の輝点を除去する偏光画像合成部414の処理の一例を示す概略図である。
画素選択部213によって生成された偏光画像C0では、眼球Eの角膜上に、リング状の照明光の鏡面反射像が映り込む。しかしながら、カメラ430の特性から、偏光部420bにおける偏光方向0°の第一偏光フィルタ420baから出射された直線偏光L0に対応するリング部分は、非常に強い輝点BSsとして観測される。第二直線偏光フィルタ430acb及び第四直線偏光フィルタ430acdそれぞれから出射された直線偏光L45及びL135に対応するリング部分は、弱い輝点BSwとして観測される。第三直線偏光フィルタ430accから出射された直線偏光L90に対応するリング部分は観測されない。
同様に、偏光画像C45では、眼球Eの角膜上において、直線偏光L45に対応するリング部分は、非常に強い輝点BSsとして観測される。直線偏光L0及びL90に対応する部分は、弱い輝点BSwとして観測される。直線偏光L135に対応するリング部分は観測されない。
同様に、偏光画像C90では、眼球Eの角膜上において、直線偏光L90に対応するリング部分は、非常に強い輝点BSsとして観測される。直線偏光L45及びL135に対応するリング部分は、弱い輝点BSwとして観測される。直線偏光L0に対応するリング部分は観測されない。
同様に、C135画像では、眼球Eの角膜上において、直線偏光L135に対応するリング部分は、非常に強い輝点BSsとして観測される。直線偏光L0及びL90に対応するリング部分は、弱い輝点BSwとして観測される。直線偏光L45に対応するリング部分は観測されない。
また、角膜及びメガネの背後にある虹彩領域には、0°、45°、90°及び135°という45°毎の均等な間隔の4つ偏光方向の直線偏光L0、L45、L90及びL135が入射する。しかしながら、直線偏光L0、L45、L90及びL135は、互いを加算することによって非偏光を形成し、非偏光として虹彩領域入射する。このため、虹彩領域の画像には、複屈折による黒十字パターンは存在しない。
そこで、偏光画像合成部414は、同一の撮像画像から生成された4つの偏光画像C0、C45、C90及びC135を取得すると、画像処理により、4つの偏光画像C0、C45、C90及びC135間で、画像上における略同じ画素位置の画素同士の画素値を比較し、画素値が最も小さい(暗い)画素を選択する。さらに、偏光画像合成部414は、各画素位置に対して、上記のように選択された画素を適用することによって、新規の1つの画像4001を合成する。このような合成画像4001によって、鏡面反射による輝点は解消された虹彩画像を得ることができる。そして、この虹彩画像は、通常の非偏光照明を用いて撮像された虹彩画像と略同等であるため、従来の虹彩認証処理を用いた個人認証が適用可能である。
以上のように、実施の形態4に係る画像合成装置4100は、4種類の直線偏光を同時に認証対象者の眼球に照射し、ワンショットで撮像された撮像画像を取得する。さらに、画像合成装置4100は、1つの撮像画像から複数の偏光画像を取得する。画像合成装置4100は、複数の偏光画像から、眼鏡及び角膜に発生する鏡面反射の像を除去しつつ、角膜上の複屈折によるパターンを同時に除去して、虹彩認証可能な虹彩画像を生成する。また、本実施の形態では、実施の形態2よりも、同一の撮像画像から生成される偏光画像の数量が多く、各偏光画像における偏光方向は異なる。このように、合成する偏光画像の数量が多くなると、全ての偏光画像における同じ位置に角膜の鏡面反射の像が現れる確率が低くなる。よって、全ての偏光画像上における略同じ画素位置の画素のうちの画素値が最も小さい(暗い)画素は、虹彩を的確に写しうる。
また、実施の形態4に係る画像合成装置4100では、偏光画像合成部414は、4つの偏光画像上における略同じ画素位置の4つの画素のうちの画素値が最も小さい(暗い)画素を、合成画像の画素として決定していたが、これに限定されない。偏光画像合成部414は、実施の形態1で説明したように、4つの画素の画素値に重み付けをすることによって、画素値を決定してもよく、4つの画素の画素値の平均値を画素値に決定してもよい。
また、実施の形態4に係る画像合成装置4100では、照明装置420によって、異なる4つの偏光方向の直線偏光が照射され、カメラ430の偏光撮像素子430aは、異なる4つの偏光方向の偏光画素を含む画像を生成したが、これに限定されない。照明装置420は、少なくとも3つの異なる偏光方向の直線偏光を照射すればよく、偏光撮像素子430aは、少なくとも3つの異なる偏光方向の偏光画素を含む画像を生成すればよい。直線偏光の偏光方向の数量と偏光画素の偏光方向の数量とは、同じであることが好ましい。
[その他]
以上、1つ又は複数の態様に係る画像合成装置等について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、1つ又は複数の態様の範囲内に含まれてもよい。
例えば、実施の形態1~4において、照明装置は全てリング状であるとして説明しているが、照明装置は必ずしも、リング状の構成とする必要はない。照明装置は、偏光方向が異なる少なくとも2つの偏光を、同時に又は一方ずつ出射できる構成であればよい。例えば、照明装置は、カメラの光軸から非対称にずれた角度の位置に配置された異なる2種類の照明装置で構成されてもよい。そして、2種類の照明装置は、順次又は同時に、認証対象者の眼球を照射してもよい。
また、実施の形態2において、照明装置220は、照明部220aの発光部220abと偏光部220bとの間に、拡散板220aaを有していたが、拡散板220aaは、実施の形態1、3及び4の照明装置にも、実施の形態2と同様に配置されてもよい。
例えば、カジュアル虹彩認証では、認証対象者から一定の距離を維持した状態で、認証対象者が撮像される。リング照明を使用した場合、照明光の光軸とカメラの光軸とが一致すると、網膜面からの反射光は、入射光の光路を戻る。これにより、いわゆる「赤目」現象が発生し、瞳孔が黒くならずに虹彩よりも高い輝度で明るく撮像されてしまう。これの現象を防止するためには、照明光の光軸をカメラの光軸から若干の角度ずらすことも有効である。この場合、照明光が角膜の正面から角膜に入射しなくなり、角膜曲面の透明媒質への照明光の入射角が変わるため、複屈折による黒十字パターン形状は、若干変化するが、画像合成処理装置の処理の実施に問題はない。
また、実施の形態4において、照明装置420は、異なる4つの偏光方向の直線偏光を出射し、カメラ430の偏光撮像素子430aは、異なる方向の偏光透過軸を有する4つの直線偏光フィルタ430aca、430acb、430acc及び430acdを介して画像を取得していたが、これに限定されない。照明装置は、偏光方向が異なる少なくとも3つの直線偏光を出射すればよく、偏光撮像素子は、偏光透過軸の方向が異なる少なくとも3つの直線偏光フィルタを介して画像を取得すればよい。
また、実施の形態及び変形例において、照明装置の偏光透過軸の方位角は、45°単位で設定され、偏光フィルタの偏光透過軸の方位角は、45°単位で設定されていたが、これに限定されない。それぞれの偏光透過軸の方位角は、いかなる単位の角度で設定されてもよい。なお、既存の偏光板の偏光透過軸の方位角は、45°単位で設定されているため、偏光透過軸の方位角を45°単位で設定すると、既存の偏光板をそのまま利用できる。よって、コストの低減が可能である。
また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM等の不揮発性の記録媒体を含む。
例えば、上記実施の形態及び変形例に係る画像合成装置等に含まれる各処理部は典型的には集積回路であるLSI(Large Scale Integration:大規模集積回路)として実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記構成要素の一部又は全部は、脱着可能なIC(Integrated Circuit)カード又は単体のモジュールから構成されてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAM等から構成されるコンピュータシステムである。ICカード又はモジュールは、上記のLSI又はシステムLSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカード又はモジュールは、その機能を達成する。これらICカード及びモジュールは、耐タンパ性を有するとしてもよい。
本開示の画像合成方法等は、MPU(Micro Processing Unit)及びCPU等のプロセッサ、LSI等の回路、ICカード又は単体のモジュール等によって、実現されてもよい。
さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた序数、数量等の数字は全て、本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを1つの機能ブロックとして実現したり、1つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
本開示の技術は、虹彩を含む画像から虹彩認証に有用な虹彩の画像を生成する技術に広く適用することができる。例えば、本開示の技術は、撮像時に認証対象者の協力を得られにくい車載カメラにおけるドライバーモニタリング、サイネージ又は監視カメラにおける個人特定などの分野における虹彩認証技術に幅広く利用可能である。
1,2,3,4 虹彩認証システム
10,210,310,410 処理部(制御回路)
11 同期部
12 記憶部
13,213,313,413 画素選択部
14,214,314,414 変億画像合成部
20,220,320,420 照明装置
30,230,330,430 カメラ
100,2100,3100,4100 画像合成装置
110 虹彩認証部
120 虹彩認証パターンデータベース

Claims (34)

  1. 第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを順次出力する照明装置と、
    前記第1の直線偏光を前記照明装置が出力したときに、複数の画素を有する第3の偏光方向の画像を撮影し、かつ、前記第2の直線偏光を前記照明装置が出力したときに、 複数の画素を有する第4の偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ異な
    画像合成装置。
  2. 前記第1の偏光方向は、前記第2の偏光方向に対して、45度異なり、
    前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、
    前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向である、請求項1に記載の画像合成装置。
  3. 前記照明装置は、
    少なくとも1つの第1の光源と、
    少なくとも1つの第2の光源と、
    前記第1の光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、
    前記第2の光源の前方に位置する前記第2の偏光方向を有する第2の偏光板とを有し、
    前記第1の光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、
    前記第2の光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力する、
    請求項1または2に記載の画像合成装置。
  4. 前記カメラは、前記照明装置が前記第1の偏光方向の直線偏光を出力したとき、前記第3の偏光方向の画像を撮像し、且つ前記照明装置が前記第2の偏光方向の直線偏光を出力したとき、前記第4の偏光方向の画像を撮像する、
    請求項1~3のいずれか一項に記載の画像合成装置。
  5. 前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項1~4のいずれか一項に記載の画像合成装置。
  6. 前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    請求項1~4のいずれか一項に記載の画像合成装置。
  7. 第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、
    複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ異なり、
    前記カメラは、前記第1の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得し、
    前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定する、
    画像合成装置。
  8. 第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、
    複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ異なり、
    前記カメラは、前記第1の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得し、
    前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    画像合成装置。
  9. 画像合成装置であって、
    第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、
    複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向及び前記第2の偏光方向は異なり、
    前記第3の偏光方向及び前記第4の偏光方向は異なり、
    前記カメラは、前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得し、
    前記照明装置は、
    少なくとも1つの光源と、
    前記光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、
    前記光源の前方に位置する前記第2の偏光方向を有する第2の偏光板とを有し、
    前記光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、
    前記光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力し、
    前記画像合成装置は、
    拡散板をさらに備え、
    前記拡散板は、前記照明装置、前記拡散板及び前記第1の偏光板の順、及び、前記照明装置、前記拡散板及び前記第2の偏光板の順で配置され、
    前記照明装置の光軸方向で見たとき、前記第1の偏光板及び前記第2の偏光板は、前記拡散板以上の大きさであり、前記拡散板は、前記照明装置以上の大きさである、
    画像合成装置。
  10. 前記第1の偏光方向は、前記第2の偏光方向に対して、90度異なり、
    前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、
    前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向である、
    請求項7に記載の画像合成装置。
  11. 前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項9または10に記載の画像合成装置。
  12. 前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    請求項9または10に記載の画像合成装置。
  13. 第1の偏光方向を有する直線偏光と、第2の偏光方向を有する直線偏光とを出力する照明装置と、
    複数の画素を有する第3の偏光方向の画像、及び複数の画素を有する第4の偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記第3の偏光方向の画像及び前記第4の偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向及び前記第2の偏光方向は異なり、
    前記第3の偏光方向及び前記第4の偏光方向は異なり、
    前記カメラは、前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第3の偏光方向の画像を取得し、且つ前記第1の偏光方向の直線偏光及び前記第2の偏光方向の直線偏光を用いて、前記第4の偏光方向の画像を取得し、
    前記制御回路は、
    前記認証画像の合成において、
    前記第3の偏光方向の画像と前記第4の偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    画像合成装置。
  14. 右回りの円偏光と、左回りの円偏光とを出力する照明装置と、
    複数の画素を有する右回りの偏光方向の画像、及び複数の画素を有する左回りの偏光方向の画像を撮像するカメラと、
    前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記カメラは、前記右回りの円偏光及び前記左回りの円偏光を用いて、前記右回りの偏光方向の画像を取得し、且つ前記右回りの円偏光及び前記左回りの円偏光を用いて、前記左回りの偏光方向の画像を取得する、
    画像合成装置。
  15. 前記照明装置は、
    少なくとも1つの光源と、
    前記光源の前方に位置する前記右回りの偏光方向を有する右回り偏光板と、
    前記光源の前方に位置する前記左回りの偏光方向を有する左回り偏光板とを有し、
    前記光源は、前記右回り偏光板を介して、前記右回りの円偏光を出力し、
    前記光源は、前記左回り偏光板を介して、前記左回りの円偏光を出力する、
    請求項14に記載の画像合成装置。
  16. 前記制御回路は、
    前記認証画像の合成において、
    前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項14または15に記載の画像合成装置。
  17. 前記制御回路は、
    前記認証画像の合成において、
    前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    請求項14または15に記載の画像合成装置。
  18. 第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力する照明装置と、
    複数の画素を有する前記第1の偏光方向の第5の画像、複数の画素を有する前記第2の偏光方向の第6の画像、複数の画素を有する前記第3の偏光方向の第7の画像、及び複数の画素を有する前記第4の偏光方向の第8の画像を撮像するカメラと、
    前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成する制御回路とを備え、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び前記第4の偏光方向はそれぞれ45度づつ異なり、
    前記カメラは、前記第1の直線偏光、前記第2の直線偏光、前記第3の直線偏光、及び前記第4の直線偏光を用いて、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像それぞれを取得し、
    前記制御回路は、
    前記認証画像の合成において、
    前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    画像合成装置。
  19. 前記照明装置は、
    少なくとも1つの光源と、
    前記光源の前方に位置する前記第1の偏光方向を有する第1の偏光板と、
    前記光源の前方に位置する前記第2の偏光方向を有する第2の偏光板と、
    前記光源の前方に位置する前記第3の偏光方向を有する第3の偏光板と、
    前記光源の前方に位置する前記第4の偏光方向を有する第4の偏光板とを有し、
    前記光源は、前記第1の偏光板を介して、前記第1の偏光方向を有する直線偏光を出力し、
    前記光源は、前記第2の偏光板を介して、前記第2の偏光方向を有する直線偏光を出力し、
    前記光源は、前記第3の偏光板を介して、前記第3の偏光方向を有する直線偏光を出力し、
    前記光源は、前記第4の偏光板を介して、前記第4の偏光方向を有する直線偏光を出力する、
    請求項18に記載の画像合成装置。
  20. 前記制御回路は、
    前記認証画像の合成において、
    前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項18または19に記載の画像合成装置。
  21. 請求項1~20のいずれか一項に記載の画像合成装置と、
    虹彩認証回路とを備えた虹彩認証システムであって、
    前記虹彩認証回路は、
    複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、
    前記認証画像と虹彩認証情報とを参照して、ユーザIDを特定する、
    虹彩認証システム。
  22. 第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを順次出力し、
    前記1の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第3の偏光方向の第3の画像を取得し、
    前記2の直線偏光を出力したとき、画像を撮像することによって、複数の画素を有する第4の偏光方向の第4の画像を取得し、
    前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向は、及び前記第4の偏光方向はそれぞれ異なり、
    上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される、
    画像合成方法。
  23. 前記第1の偏光方向は、前記第2の偏光方向に対して、45度異なり、
    前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、
    前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向である、請求項22に記載の画像合成方法。
  24. 前記認証画像の合成において、
    前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより大きい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項22または23に記載の画像合成方法。
  25. 前記認証画像の合成において、
    前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    請求項22または23に記載の画像合成方法。
  26. 第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光とを一緒に出力し、
    前記1の直線偏光及び前記第2の直線偏光を出力したとき、画像を撮像し、
    前記画像から、複数の画素を有する第3の偏光方向の第3の画像と、複数の画素を有する第4の偏光方向の第4の画像とを取得し、
    前記複数の画素毎に、前記第3の画像及び前記第4の画像を用いて、虹彩認証用の認証画像を合成し、
    前記第1の偏光方向及び前記第2の偏光方向は異なり、
    前記第3の偏光方向及び前記第4の偏光方向は異なり、
    上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行され、
    前記認証画像の合成において、
    前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する、
    画像合成方法。
  27. 前記第1の偏光方向は、前記第2の偏光方向に対して、90度異なり、
    前記第3の偏光方向は、前記第1の偏光方向に対して、90度異なる直線方向であり、
    前記第4の偏光方向は、前記第2の偏光方向に対して、90度異なる直線方向である、請求項26に記載の画像合成方法。
  28. 前記認証画像の合成において、
    前記第3の画像と前記第4の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項26または27に記載の画像合成方法。
  29. 右回りの円偏光と左回りの円偏光とを一緒に出力し、
    前記右回りの円偏光及び前記左回りの円偏光を出力したとき、画像を撮像し、
    前記画像から、複数の画素を有する右回りの偏光方向の画像と、複数の画素を有する左回りの偏光方向の画像とを取得し、
    前記複数の画素毎に、前記右回りの偏光方向の画像及び前記左回りの偏光方向の画像を用いて、虹彩認証用の認証画像を合成し、
    上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される、
    画像合成方法。
  30. 前記認証画像の合成において、
    前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちのより小さい画素値を、前記認証画像の各画素の画素値に決定する
    請求項29に記載の画像合成方法。
  31. 前記認証画像の合成において、
    前記右回りの偏光方向の画像と前記左回りの偏光方向の画像との間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する請求項29に記載の画像合成方法。
  32. 第1の偏光方向を有する第1の直線偏光と、第2の偏光方向を有する第2の直線偏光と、第3の偏光方向を有する第3の直線偏光と、第4の偏光方向を有する第4の直線偏光とを同時に出力し、
    複数の画素を有する前記第1の偏光方向の第5の画像、複数の画素を有する前記第2の偏光方向の第6の画像、複数の画素を有する前記第3の偏光方向の第7の画像、及び複数の画素を有する前記第4の偏光方向の第8の画像を撮像し、
    前記複数の画素毎に、前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像を用いて、虹彩認証用の認証画像を合成し、
    前記第1の偏光方向、前記第2の偏光方向、前記第3の偏光方向、及び第4の偏光方向はそれぞれ45度づつ異なり、
    上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行され、
    前記認証画像の合成において、
    前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値の平均値を、前記認証画像の各画素の画素値に決定する
    画像合成方法。
  33. 前記認証画像の合成において、
    前記第5の画像、前記第6の画像、前記第7の画像、及び前記第8の画像の間で、対応する画素同士の画素値を比較し、
    前記対応する画素同士の画素値のうちの最も小さい画素値を、前記認証画像の各画素の画素値に決定する、
    請求項32に記載の画像合成方法。
  34. 請求項22~33のいずれか一項に記載の画像合成方法で生成された前記認証画像を取得し、
    複数のユーザIDと複数の参照画像とが対応付けられている虹彩認証情報を取得し、
    前記認証画像と前記虹彩認証情報とを参照して、ユーザIDを特定し、
    上記処理の少なくとも1つは、少なくとも1つの制御回路によって実行される、
    虹彩認証方法。
JP2019000774A 2018-02-28 2019-01-07 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法 Active JP7165909B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018035941 2018-02-28
JP2018035941 2018-02-28

Publications (2)

Publication Number Publication Date
JP2019153284A JP2019153284A (ja) 2019-09-12
JP7165909B2 true JP7165909B2 (ja) 2022-11-07

Family

ID=67684623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019000774A Active JP7165909B2 (ja) 2018-02-28 2019-01-07 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法

Country Status (2)

Country Link
US (1) US11017225B2 (ja)
JP (1) JP7165909B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019152929A (ja) * 2018-02-28 2019-09-12 パナソニックIpマネジメント株式会社 認証装置及び認証方法
JP7211489B2 (ja) * 2019-03-26 2023-01-24 日本電気株式会社 生体情報認証システム、生体情報認証方法、認証機器、認証方法、測定機器、測定方法、およびプログラム
US10878548B2 (en) * 2019-03-28 2020-12-29 Advanced New Technologies Co., Ltd. Specular reflection reduction using polarized light sources
CN110708453A (zh) * 2019-11-12 2020-01-17 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
HUP2000138A1 (hu) * 2020-04-22 2021-10-28 Mediner Gyogyszerkereskedelmi Eljárás köröm optikai vizsgálatára és rendszer az eljárás foganatosítására
WO2023149829A1 (en) * 2022-02-03 2023-08-10 Fingerprint Cards Anacatum Ip Ab Cornea-based biometric authentication
WO2023163636A1 (en) * 2022-02-24 2023-08-31 Fingerprint Cards Anacatum Ip Ab Real-eye detection using multiple polarization configurations
WO2023195895A1 (en) * 2022-04-08 2023-10-12 Fingerprint Cards Anacatum Ip Ab Head-tilt invariant real-eye detection
WO2023229512A1 (en) * 2022-05-23 2023-11-30 Fingerprint Cards Anacatum Ip Ab Real-eye detection using light of different polarization rotations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014137A1 (ja) 2015-07-17 2017-01-26 ソニー株式会社 眼球観察装置、アイウェア端末、視線検出方法及びプログラム
JP2019020991A (ja) 2017-07-14 2019-02-07 シャープ株式会社 撮像装置、認証装置、および撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS586456A (ja) 1981-06-25 1983-01-14 ウエスチングハウス・エレクトリツク・コ−ポレ−シヨン リチウム金属検出装置
US5291560A (en) 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
JP3586456B2 (ja) 2002-02-05 2004-11-10 松下電器産業株式会社 個人認証方法および個人認証装置
EP1335329B1 (en) 2002-02-05 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. Personal authentication method, personal authentication apparatus and image capturing device
CN101027678B (zh) 2004-06-21 2011-09-21 谷歌公司 基于单个图像的多生物统计***及方法
JP6075069B2 (ja) * 2013-01-15 2017-02-08 富士通株式会社 生体情報撮像装置及び生体認証装置ならびに生体情報撮像装置の製造方法
US10521660B2 (en) * 2016-04-28 2019-12-31 Sharp Kabushiki Kaisha Image processing method and image processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017014137A1 (ja) 2015-07-17 2017-01-26 ソニー株式会社 眼球観察装置、アイウェア端末、視線検出方法及びプログラム
JP2019020991A (ja) 2017-07-14 2019-02-07 シャープ株式会社 撮像装置、認証装置、および撮像方法

Also Published As

Publication number Publication date
JP2019153284A (ja) 2019-09-12
US11017225B2 (en) 2021-05-25
US20190266398A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP7165909B2 (ja) 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法
US10824859B2 (en) Authentication apparatus and authentication method
US10235584B2 (en) System for object authenticity detection including a reference image acquisition module and a user module and methods therefor
CN108027881B (zh) 使用多种捕捉技术的用户认证
US8644562B2 (en) Multimodal ocular biometric system and methods
US7554598B2 (en) Imaging system, and identity authentication system incorporating the same
US20070110285A1 (en) Apparatus and methods for detecting the presence of a human eye
KR20000035840A (ko) 홍채영상 포착장치 및 홍채영상 포착방법
US10891479B2 (en) Image processing method and system for iris recognition
US20130141560A1 (en) Multimodal ocular biometric system
KR20180102637A (ko) 바이오메트릭 분석의 시스템 및 방법
RU2627926C1 (ru) Оптическая система для биометрической идентификации пользователя
US12023128B2 (en) System and method for eye tracking
JP2019020991A (ja) 撮像装置、認証装置、および撮像方法
TW201101196A (en) Optical fingerprint identification device with living body scanning function, and optical fingerprints identification method capable of recognizing living body
WO2023115037A1 (en) Spoof-resistant facial recognition through illumination and imaging
JP2008217358A (ja) 生体認証装置および生体認証装置を用いた認証方法
RU97839U1 (ru) Устройство для получения изображений радужных оболочек глаз
WO2021251146A1 (ja) 瞳孔検出装置
Hájek et al. Bimodal eye imaging system
TWI608376B (zh) 虹膜紋路的辨識方法與虹膜紋路辨識系統
JP2021047929A (ja) 情報処理装置
Bailey Virternity: Iris Scan Access for Secure Access
WO2011136686A1 (ru) Устройство для получения изображений радужных оболочек глаз
Kolář et al. Bimodal Eye Imaging System for Biometric and Medical Applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221013

R151 Written notification of patent or utility model registration

Ref document number: 7165909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151