JP7367858B2 - 撮像システム、撮像方法及び撮像プログラム - Google Patents

撮像システム、撮像方法及び撮像プログラム Download PDF

Info

Publication number
JP7367858B2
JP7367858B2 JP2022512909A JP2022512909A JP7367858B2 JP 7367858 B2 JP7367858 B2 JP 7367858B2 JP 2022512909 A JP2022512909 A JP 2022512909A JP 2022512909 A JP2022512909 A JP 2022512909A JP 7367858 B2 JP7367858 B2 JP 7367858B2
Authority
JP
Japan
Prior art keywords
subject
iris
imaging
angle
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022512909A
Other languages
English (en)
Other versions
JPWO2021199168A1 (ja
JPWO2021199168A5 (ja
Inventor
有加 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021199168A1 publication Critical patent/JPWO2021199168A1/ja
Publication of JPWO2021199168A5 publication Critical patent/JPWO2021199168A5/ja
Application granted granted Critical
Publication of JP7367858B2 publication Critical patent/JP7367858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

この開示は、撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体に関する。
生体認証の一つとして、目の虹彩を用いる虹彩認証が知られている。虹彩認証では、撮像システムを用いて対象者の虹彩が撮像され、撮像された虹彩画像に基づいて対象者の登録や認証が行われる。このような撮像システムでは、対象者の虹彩を撮像するための虹彩カメラと、虹彩カメラよりも広い範囲で対象者を撮像するためのカメラが用いられる。
関連する技術として、例えば、特許文献1及び2が知られている。特許文献1には、顔カメラを用いて対象者の身長や顔の位置を抽出し、抽出された情報に基づいて虹彩カメラから対象者の目を撮像することが記載されている。また、特許文献2には、カメラを移動させることで、2台のカメラを設けることなく、対象者の顔全体と目を撮像することが記載されている。その他、カメラの焦点調節に関連する技術として、特許文献3が知られている。
国際公開第2009/016846号 特開2004-287621号公報 国際公開第2014/208488号
上記のような撮像システムにおいては、対象者の目を含む領域を虹彩カメラにより適切に撮像することが求められる。
この開示の目的は、上述した課題を解決する撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
この開示に係る撮像システムは、対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、前記取得された全体画像に含まれる対象者の3次元位置を推定する推定手段と、前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択する選択手段と、前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換する変換手段と、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、を備えるものである。
この開示に係る撮像方法は、対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、前記取得された全体画像に含まれる対象者の3次元位置を推定し、前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択し、前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換し、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定するものである。
この開示に係る撮像プログラムが格納された非一時的なコンピュータ可読媒体は、対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、前記取得された全体画像に含まれる対象者の3次元位置を推定し、前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択し、前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換し、前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、処理をコンピュータに実行させるための撮像プログラムが格納された非一時的なコンピュータ可読媒体である。
実施の形態の基本構成に係る撮像システムの構成例を示す構成図である。 実施の形態の基本構成に係る制御装置の構成例を示す構成図である。 実施の形態の基本構成に係る撮像システムの動作例を示すフローチャートである。 実施の形態の基本構成に係る座標変換処理を説明するための図である。 実施の形態1に係る撮像システムの構成例を示す構成図である。 実施の形態3に係るルックアップテーブルの具体例を示す図である。 実施の形態3に係る制御装置の構成例を示す構成図である。 実施の形態3に係る撮像システムの動作例を示すフローチャートである。 実施の形態4に係る撮像システムの動作例を示すフローチャートである。 実施の形態5に係る制御装置の構成例を示す構成図である。 実施の形態5に係る撮像システムの動作例を示すフローチャートである。 実施の形態8に係る撮像システムの構成例を示す構成図である。 実施の形態9に係る奥行推定処理を説明するための図である。 実施の形態11に係る撮像システムの構成例を示す構成図である。 実施の形態13に係る撮像システムの構成例を示す構成図である。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。
以下、図面を参照して実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
(実施の形態の基本構成)
まず、実施の形態を適用する基本構成について説明する。図1は、基本構成に係る撮像システム100の構成例を示している。撮像システム100は、対象者Pの生体(虹彩、網膜、まつ毛、指紋、耳、など撮影可能な身体の一部)を撮像し、撮像した生体画像に基づいて対象者Pの登録処理及び認証処理を行う生体登録認証システムである。なお、撮像システム100は、登録処理及び認証処理の両方を行ってもよいし、いずれか一方のみを行ってもよい。以下の実施の形態では生体として虹彩を用いる形態を説明する。
図1に示すように、撮像システム100は、複数の虹彩カメラ110、全体俯瞰カメラ120、制御装置130を備えている。なお、図示を省略するが、撮像システム100は、その他に、対象者Pの虹彩に照明光を照射するLED(Light Emitting Diode)等の照明手段を備えている。照明手段は、虹彩カメラ110が対象者Pを撮像する際に、制御装置130からの制御に応じて対象者Pに照明光を照射する。
虹彩カメラ110は、対象者Pの虹彩を撮像するための虹彩撮像装置である。虹彩カメラ110の解像度は、対象者Pの虹彩パターンを抽出可能な解像度であり、虹彩カメラ110の画角BFは、少なくとも対象者Pの両目を含む画角である。なお、画角とは、撮像地点(撮像対象の位置)におけるカメラの撮像範囲(視野範囲)である。虹彩カメラ110は、例えば、産業用カメラなどで普及品となりつつある、12M画素(水平4000画素、垂直3000画素)かつ60fpsの汎用カメラで構成される。カメラ(虹彩カメラまたは全体俯瞰カメラ)から撮像地点までの距離を奥行と呼び、この例では、虹彩カメラ110は、奥行Dの位置の対象者Pを撮像する。
対象者Pの目の位置(高さ)は対象者Pの身長によって異なる。このため、例えば、対象者Pの身長別に、複数の虹彩カメラ110が垂直方向に並べて配置されている。この例では、3台の虹彩カメラ110-~110-2が配置されるが、3台に限らず、任意の数の虹彩カメラ110を配置してもよい。例えば、虹彩カメラの数は、虹彩カメラ110の画角や解像度などに応じて設定される。また、複数の虹彩カメラ110の画角の間が離れていると虹彩を撮像できない領域が発生するため、虹彩カメラ110-0~110-2は、それぞれ隣接する虹彩カメラとの間で画角BFが一部重複するように配置されている。
虹彩カメラ110-0~110-2のうち対象者Pの目を撮像し得る虹彩カメラ110が制御装置130により選択され、選択された虹彩カメラ110が撮像した画像(虹彩カメラ画像)を制御装置130へ出力する。ここでは、複数の虹彩カメラ110の中から選択されたカメラにより対象者Pの虹彩を撮像する撮像方法について説明するが、一台の虹彩カメラ110を垂直方向に移動させることで同様の撮像方法を実現してもよい。例えば、初期の状態では虹彩カメラ110-0の位置にカメラを配置し、虹彩撮影時に対象者Pの虹彩の位置に応じて垂直方向にカメラを移動させてもよい。なお、虹彩カメラ110が撮像した画像を虹彩カメラ画像と呼び、虹彩カメラ画像のうち虹彩に合焦した画像を虹彩画像と呼ぶ場合があるが、特に限定されない限り、虹彩カメラ画像と虹彩画像とは互いに読み替え可能である。
画角BFの中にROI(Region of Interest:注視領域)が設定可能であり、虹彩カメラ110は、設定されたROIの範囲で画像を撮像する。人の両目は水平方向に並ぶため、ROIは、両目を撮像できるように、水平方向を長手方向として延びる矩形の領域である。すなわち、ROIは、虹彩カメラ110の画角内で対象者Pの両目を撮像するための領域(虹彩撮像領域)である。ROIのサイズは予め決められており、例えば、ROIの水平方向の長さ(幅)は、画角BFの水平方向の長さと同じであり、ROIの垂直方向の長さ(高さ)は、画角BFの垂直方向の長さよりも短い(例えば画角BFの半分程度である)。画角BFにおける垂直方向の位置(高さ)を設定することで、ROIが設定される。
また、各虹彩カメラ110には可変焦点レンズ111が取り付けられている。可変焦点レンズ111は、例えば液体レンズであるが、焦点位置を制御可能なその他のレンズでもよい。液体レンズは、入力電圧によって液滴の曲率を変化することを利用し、レンズへの入射像の結像位置を変えることによって異なる奥行位置に対して焦点を合わせることが可能である。制御装置130からの制御に応じて可変焦点レンズ111の焦点位置を光軸の前後方向に移動させることで、焦点位置を走査する焦点走査が可能となる。例えば、虹彩カメラ110の被写界深度(合焦範囲)は、1cm程度と狭い。このため、可変焦点レンズ111により焦点走査を行いつつ、高いフレームレートで一定枚数撮像する、バースト撮像(連続撮像)することで、所定の広い範囲(走査範囲)で連続撮像した虹彩カメラ画像の中から虹彩に合焦した虹彩画像を抽出可能とする。
全体俯瞰カメラ120は、虹彩カメラ110よりも広い範囲で対象者Pを撮像(俯瞰)するための全体撮像装置である。全体俯瞰カメラ120の解像度は、対象者Pの顔や目を認識可能な解像度である。全体俯瞰カメラ120の画角AFは、複数の虹彩カメラ110の画角BFよりも広い範囲の画角(例えば全ての虹彩カメラ110の画角BFを含む)であり、背の高い対象者から背の低い対象者までの全体をカバー可能な画角である。
例えば、全体俯瞰カメラ120は、垂直方向に並ぶ虹彩カメラ110-0~110-2の上方に配置されるが、配置位置は限定されず、虹彩カメラ110-0~110-2の下方に配置されてもよい。全体俯瞰カメラ120は、画角AFで撮像した画像(全体俯瞰画像)を制御装置130へ出力する。
制御装置130は、全体俯瞰カメラ120が撮像した全体俯瞰画像に基づいて、複数の虹彩カメラ110-0~110-2の撮像を制御する制御装置である。また、制御装置130は、虹彩画像に基づいた対象者Pの登録処理及び認証処理を行う登録認証装置でもある。
制御装置130は、制御装置130の処理に必要なデータを記憶する記憶手段を備えている。例えば、記憶手段は、データベース201と行列記憶部202を含む。データベース201及び行列記憶部202は、フラッシュメモリなどの不揮発性メモリやハードディスク装置等であり、制御装置130の内部に備えていてもよいし、制御装置130の外部に備えていてもよい。データベース201は、対象者を認証するため、対象者の虹彩画像に基づいた虹彩情報を登録するデータベースである。行列記憶部202は、全体俯瞰カメラ120の画角AFの座標(2次元座標)を虹彩カメラ110の画角BFの座標(2次元座標)に変換するための座標変換行列を記憶する。座標変換行列は、全体俯瞰カメラ120のカメラパラメータを虹彩カメラ110のカメラパラメータに変換する変換行列であるとも言える。
図2は、基本構成に係る制御装置の構成例を示している。図2に示すように、制御装置130は、全体俯瞰画像取得部131、目検出部132、座標変換部133、虹彩カメラ設定部134、レンズ焦点制御部135、虹彩画像取得部136、登録認証部137を備えている。制御装置130は、例えば、サーバやパーソナルコンピュータ等のコンピュータ装置で実現されるが、1つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、登録認証部137等を、制御装置130とは別の装置としてもよい。
全体俯瞰画像取得部131は、全体俯瞰カメラ120が対象者Pを撮像した全体俯瞰画像(全体俯瞰映像)を取得する。全体俯瞰画像取得部131は、全体俯瞰カメラ120が画角AFの範囲でキャプチャした画像(映像)を取得するキャプチャ部であるとも言える。
目検出部132は、全体俯瞰画像取得部131が取得した全体俯瞰画像の中から対象者Pの目の領域を検出する。目検出部132は、全体俯瞰画像の中から目の領域を直接検出してもよいし、全体俯瞰画像の中から顔の領域を検出して、検出した顔の領域の中から目の領域を検出してもよい。例えば、目検出部132は、画像の中から顔のパターンを認識して顔の領域を抽出し、また、画像の中から目(虹彩)のパターンを認識して目(虹彩)の領域を抽出する。
座標変換部133は、全体俯瞰カメラ120と虹彩カメラ110間の画角(カメラパラメータ)の対応関係に基づいて、目検出部132が検出した目の領域の虹彩カメラ110の画角BFにおける座標を算出する。座標変換部133は、行列記憶部202の座標変換行列を用いて、検出された目の全体俯瞰画像(画角AF)における座標を、虹彩カメラ110の虹彩カメラ画像(画角BF)の座標に変換する。
虹彩カメラ設定部134は、座標変換部133により算出された虹彩カメラ110の画角BFにおける目の領域の座標に基づいて、複数の虹彩カメラ110のいずれかに対象者Pの虹彩を撮像するために必要な設定を行う。虹彩カメラ設定部134は、画角BFの目の位置に応じて、対象者Pの虹彩の撮像に適した虹彩カメラ110を選択するとともに、選択した虹彩カメラ110の画角BF内にROIを設定する。つまり、虹彩カメラ設定部134は、対象者Pの虹彩を撮像する虹彩カメラ110を選択する選択部でもある。
レンズ焦点制御部135は、虹彩カメラ設定部134が選択した虹彩カメラ110の可変焦点レンズ111を駆動し、虹彩カメラ110の焦点位置を所定の走査範囲で移動するよう制御する。
虹彩画像取得部136は、虹彩カメラ設定部134により選択及び設定された虹彩カメラ110が撮像した虹彩カメラ画像(虹彩画像)を取得する。虹彩カメラ110は、可変焦点レンズ111の焦点走査によりROIをバースト撮像し、虹彩画像取得部136は、バースト撮像した複数の虹彩カメラ画像を取得する。また、虹彩カメラ画像の中から虹彩に合焦した虹彩画像を抽出する。虹彩画像取得部136は、虹彩カメラ110がROIの範囲でキャプチャした画像を取得するキャプチャ部であるとも言える。
登録認証部137は、虹彩画像取得部136が取得した虹彩画像を用いて、対象者Pの登録処理及び認証処理を行う。例えば、登録認証部137は、虹彩画像取得部136が取得した虹彩画像に基づいた虹彩情報をデータベース201に登録する。また、登録認証部137は、虹彩画像取得部136が取得した虹彩画像に基づいた虹彩情報と、データベース201に登録された虹彩情報とを比較して対象者の認証を行う。
図3は、基本構成に係る撮像システムの動作例を示している。図3に示すように、まず、全体俯瞰カメラ120は、対象者Pを含む全体俯瞰画像を撮像する(S101)。例えば、対象者Pが所定の位置(奥行D)に立っている状態で、全体俯瞰カメラ120は、画角AFで撮像を行い、撮像した対象者Pを含む全体俯瞰画像を制御装置130へ出力する。
続いて、制御装置130は、撮像された全体俯瞰画像から対象者Pの目の位置を検出する(S102)。全体俯瞰カメラ120から全体俯瞰画像が取得されると、目検出部132は、全体俯瞰画像内の対象者Pの目を検出する。例えば、顔を検出する場合、目検出部132は、全体俯瞰画像からエッジ(輪郭)を抽出し、抽出されたエッジに囲まれる領域の画像パターンと所定の顔の画像パターンとをマッチングさせて顔の領域を検出する。さらに、目検出部132は、顔の領域の画像、または、全体俯瞰画像から目(虹彩)のパターンを抽出する。例えば、対象の画像から円形のパターンを抽出する処理を行い、抽出された円形の位置を目(虹彩)の位置として検出する。
続いて、制御装置130は、検出した目の位置の座標を変換する(S103)。全体俯瞰画像から対象者Pの目が検出されると、座標変換部133は、全体俯瞰画像における目の座標を、虹彩カメラ110の虹彩カメラ画像(画角BF)の座標に変換する。
図4は、座標変換部133における目の座標変換処理のイメージを示している。予め対象者Pが奥行Dに立っていると仮定した上で、全体俯瞰カメラ120で撮像可能な画角AFと虹彩カメラ110で撮像可能な画角BFの座標変換行列(射影変換行列)を求めておく。座標変換行列は、3×3の行列であり、奥行Dの位置と各カメラのカメラパラメータから求めることができる。虹彩カメラ110の台数分この座標変換行列を求め、求めた複数の座標変換行列(Hwn0、Hwn1、Hwn2・・・)を行列記憶部202に格納しておく。
座標変換部133は、虹彩カメラ110ごとの座標変換行列を用いて、全体俯瞰カメラ120の全体俯瞰画像(画角AF)における目の座標を、虹彩カメラ110の画角BFの座標に変換する。図4に示すように、全体俯瞰カメラ120で撮像された全体俯瞰画像上の目の座標をu=[xy1]とし、座標uを複数の座標変換行列(Hwn0、Hwn1、Hwn2・・・)により変換する。例えば、虹彩カメラ110-0の画角BF0の座標に変換する場合、変換後の座標はun0=Hwn0・uとなる。この例では、対象者Pの目の位置は、虹彩カメラ110-0の画角BF0上の座標un0で撮像されると予測される。
続いて、制御装置130は、虹彩カメラ110の選択及びROIの設定を行う(S104)。目の座標が変換されると、虹彩カメラ設定部134は、変換後の座標に基づいて対象者Pの虹彩を撮像するための虹彩カメラ110を選択し、さらに、選択した虹彩カメラ110にROIを設定する。
上記のように、複数の座標変換行列(Hwn0、Hwn1、Hwn2・・・)を用いて座標変換し、変換後のuniから対象者Pの虹彩を撮像可能と推定される虹彩カメラ110を選択する。具体的には、変換後の目の座標が含まれる虹彩カメラ110の画角BFを決定する。例えば、図4に示すように、座標変換後の目の座標が、虹彩カメラ110-0の画角BF0に含まれる場合、対象者Pの虹彩を撮像する虹彩カメラとして虹彩カメラ110-0を選択する。
さらに、虹彩カメラ設定部134は、変換後の目の座標を含むようにROIを設定する。例えば、虹彩カメラ110-0を選択した場合、画角BF0の中で、変換後の目の座標がROIの中心(垂直方向の中心)となるように、ROIを設定する。
続いて、虹彩カメラ110は、対象者Pの虹彩を撮像する(S105)。虹彩カメラ設定部134は、虹彩カメラ110の選択及びROIの設定を行うとともに、虹彩カメラ110に撮像開始のトリガを出力し、さらに、レンズ焦点制御部135は、選択された虹彩カメラ110の可変焦点レンズ111の焦点走査駆動を開始する。そうすると、虹彩カメラ110は、所定の走査範囲でROIのバースト撮像を開始し、連続撮像した複数の虹彩カメラ画像(バースト画像)を制御装置130へ出力する。
続いて、制御装置130は、虹彩に合焦した虹彩画像を抽出する(S106)。虹彩カメラ110が対象者Pをバースト撮像すると、虹彩画像取得部136は、取得した複数のバースト画像の中から対象者Pの虹彩に合焦した虹彩画像を抽出する。
続いて、制御装置130は、対象者Pの登録または認証を行う(S107)。合焦した虹彩画像が抽出されると、登録認証部137は、抽出された虹彩画像に基づいて登録処理または認証処理を行う。登録処理を行う場合、登録認証部137は、虹彩画像の虹彩のパターンから特徴量を抽出し、抽出された特徴量をデータベース201に登録する。認証処理を行う場合、登録認証部137は、虹彩画像の虹彩のパターンから特徴量を抽出し、抽出された特徴量を、データベース201に登録されている特徴量と照合し、類似スコアに基づいて一致/不一致を判定する。
<基本構成の検討>
上記のように、基本構成では、予め全体俯瞰カメラと虹彩カメラ間で画角対応付けを行い、全体俯瞰画像における目の検出結果から虹彩カメラの画角内での目の座標を算出し、算出された目の座標に基づいて虹彩カメラの選択及びROIの設定を行う。
しかしながら、基本構成では、対象者が所定の奥行位置(奥行D)に立っていることを前提としている。このため、対象者の位置が所定の奥行位置からずれると、選択及び設定された虹彩カメラのROI(撮像範囲)と実際の対象者の目の位置とにずれが生じる恐れがある。
すなわち、上記のように、予め用意された座標変換行列は、複数の虹彩カメラごとに撮像位置を奥行Dのみとした場合の座標変換行列(Hwn0D、Hwn1D、Hwn2D・・・)である。対象者の奥行は、対象者の立ち位置や姿勢によって異なるため、この座標変換行列を用いて座標変換を行うと、変換後の座標に誤差が生じる。そうすると、対象者の奥行位置のずれによって、虹彩カメラが撮像した画像に虹彩が含まれず、虹彩の撮像に失敗する場合がある。
そこで、以下の実施の形態では、対象者の奥行位置がずれた場合でも、虹彩カメラにより対象者の虹彩を適切に撮像することを可能とする。
(実施の形態1)
次に、実施の形態1について説明する。図5は、本実施の形態に係る撮像システムの構成例を示している。図5に示すように、本実施の形態に係る撮像システム(撮像装置)10は、取得部11、推定部12、選択部13、変換部14、設定部15を備えている。
取得部11は、対象者の虹彩を第1の画角で撮像するための虹彩カメラにより撮像された虹彩画像、または、虹彩撮像カメラよりも広い第2の画角で対象者を撮像するための全体俯瞰カメラにより撮像された全体俯瞰画像を取得する。推定部12は、全体俯瞰カメラから取得された全体俯瞰画像に含まれる対象者の3次元位置を推定する。
選択部13は、対象者の3次元位置を第1の画角における2次元座標に変換する座標変換行列を選択する。例えば、予め、全体俯瞰カメラ座標から虹彩カメラ座標への透視投影行列P=[RT](三次元回転行列R、三次元並進ベクトルTで示すことのできる変換行列)と、虹彩カメラの内部パラメータ行列Aを求めておく(例えば行列記憶部に記憶しておく)。そうすると、全体俯瞰カメラ座標上で検出した三次元座標をX=[xyz1]として、虹彩カメラ座標上に変換した三次元座標はXi=PXとなり、虹彩カメラの画角上の点を示す二次元座標をxi=AXiのように求めることができる。なお、虹彩カメラが複数ある場合は、虹彩カメラの台数分だけPとAがそれぞれ異なる。選択部13は、この全体俯瞰カメラ座標上の三次元座標を虹彩カメラの画角上の二次元座標に変換する座標変換行列を選択する。
また、選択部13は、対象者の3次元位置に対応して用意された第2の画角における2次元座標を第1の画角における2次元座標に変換する複数の座標変換行列の中から、推定された3次元位置に応じた座標変換行列を選択してもよい。変換部14は、選択された座標変換行列に基づいて、推定された3次元位置に対応する全体俯瞰画像に含まれる対象者の目の座標を第1の画角における2次元座標に変換する。設定部15は、変換された対象者の目の座標に基づいて、虹彩カメラが対象者の虹彩を撮像するためのパラメータを設定する。
このように、本実施の形態では、予め撮像する3次元位置(奥行)を虹彩カメラの画角の2次元座標に変換する座標変換行列、または、全体俯瞰カメラの画角の2次元座標を虹彩カメラの画角の2次元座標に変換する座標変換行列を3次元位置に対応して複数用意しておき、全体俯瞰カメラが対象者を撮像した際に、撮像した対象者の推定位置に応じた座標変換行列を選択する。これにより、対象者の実際の位置に合わせて座標変換を行うことができるため、適切に虹彩カメラのパラメータを設定し、対象者の虹彩を撮像することができる。
(実施の形態2)
次に、実施の形態2について説明する。本実施の形態では、実施の形態1に係る撮像システムの設定部15において、変換された対象者の目の座標に基づいて、虹彩カメラの第1の画角内に対象者の目を含むROIを設定する。虹彩カメラのパラメータとしてROIを設定することで、確実に対象者の虹彩を撮像することができる。
(実施の形態3)
次に、実施の形態3について説明する。本実施の形態は、基本構成の撮像システムにおいて、対象者の奥行位置を推定し、推定した奥行位置に適した座標変換行列を選択する例である。本実施の形態に係る撮像システムの構成は、図1と同様である。
本実施の形態では、制御装置130の行列記憶部202に、奥行位置(3次元位置)に対応した複数の座標変換行列を記憶する。例えば、図6に示すように、奥行位置ごとに複数の虹彩カメラ110の座標変換行列を設定したルックアップテーブルを記憶する。奥行位置をD0、D1、D2として、奥行D0用に、複数の虹彩カメラ110の座標変換行列(Hwn0D0、Hwn1D0、Hwn2D0・・・)を用意し、奥行D1用に、複数の虹彩カメラ110の座標変換行列(Hwn0D1、Hwn1D1、Hwn2D1・・・)を用意し、奥行D2用に、複数の虹彩カメラ110の座標変換行列(Hwn0D2、Hwn1D2、Hwn2D2・・・)を用意する。
各座標変換行列は、基本構成と同様に予め求めることができる。すなわち、対象者Pが奥行D0、D1、D2に立っていると仮定して、それぞれ奥行D0、D1、D2の位置と各カメラのカメラパラメータから奥行D0、D1、D2用の座標変換行列を求める。
図7は、本実施の形態に係る制御装置130の構成例を示している。図7の例では、図2の構成に比べて、さらに奥行推定部138を備えている。奥行推定部138は、全体俯瞰カメラ120が撮像した対象者Pの奥行位置を推定する。対象者Pの奥行位置をおおまかに推定できればよく、推定方法は限定されない。
また、本実施の形態では、座標変換部133は、奥行推定部138が推定した対象者Pの奥行位置に応じて、行列記憶部202のルックアップテーブルから座標変換行列を選択し、選択された座標変換行列を用いて、撮像した対象者Pの目の座標を変換する。
図8は、本実施の形態に係る撮像システムの動作例を示している。図8の例では、図3の動作と比べて、対象者の奥行推定処理(S201)、座標変換行列選択処理(S202)が追加されている。すなわち、図3と同様、全体俯瞰カメラ120が全体俯瞰画像を撮像し(S101)、制御装置130が全体俯瞰画像から対象者Pの目の位置を検出する(S102)。
続いて、制御装置130の奥行推定部138は、対象者Pの奥行位置を推定する(S201)。例えば、奥行推定部138は、後述の実施の形態のように、全体俯瞰カメラ120の焦点制御や各種センサを用いることで、対象者Pの奥行位置を推定(検出)する。
続いて、制御装置130の座標変換部133は、対象者Pの目の位置の座標を変換するための座標変換行列を選択する(S202)。座標変換部133は、行列記憶部202のルックアップテーブルを参照し、推定された奥行位置に対応する座標変換行列を選択する。例えば、図6のルックアップテーブルにおいて、推定された奥行位置がD1の場合、座標変換行列(Hwn0D1、Hwn1D1、Hwn2D1・・・)を選択する。
続いて、図3と同様に、制御装置130は、選択された座標変換行列を用いて、対象者Pの目の位置の座標を変換し(S103)、変換した座標に基づいてROIの設定を行う(S104)。例えば、座標変換行列(Hwn0D1、Hwn1D1、Hwn2D1・・・)が選択されると、これらの座標変換行列を用いて座標変換し、変換後の目の座標を含む画角BFから、撮像する虹彩カメラ110にROIを設定する。その後、図3と同様に、対象者Pの虹彩を撮像し、対象者Pの登録または認証を行ってもよい(S105~S107)。
以上のように、本実施の形態では、対象者の奥行位置をおおまかに推定し、推定した奥行位置に対応する座標変換行列を用いて対象者の目の座標を変換し、変換後の座標に基づいて虹彩カメラのROIの設定を行う。これにより、対象者の位置に適した座標変換を行うことができるため、設定されるROIと実際の目の位置とのずれを抑えることができ、対象者の虹彩を確実に撮像することができる。
(実施の形態4)
次に、実施の形態4について説明する。本実施の形態に係る撮像システムの構成は、実施の形態3と同様である。
図9は、本実施の形態に係る撮像システムの動作例を示している。図9の例では、図8の動作と比べて、S104のみが異なっている。すなわち、本実施の形態では、S104において、制御装置130は、座標変換行列を用いて変換された対象者Pの目の座標に基づいて虹彩カメラの選択を行う。例えば、座標変換行列(Hwn0D1、Hwn1D1、Hwn2D1・・・)が選択されると、これらの座標変換行列を用いて座標変換し、変換後の目の座標を含む画角BFから、撮像する虹彩カメラ110を選択する。
本実施の形態では、推定した奥行位置に対応する座標変換行列を用いて対象者の目の座標を変換し、変換後の座標に基づいて虹彩カメラの選択を行う。これにより、選択される虹彩カメラの撮像範囲と実際の目の位置とのずれを抑えることができ、対象者の虹彩を確実に撮像することができる。
(実施の形態5)
次に、実施の形態5について説明する。本実施の形態は、実施の形態3または4の撮像システムにおいて、さらに、推定された対象者の奥行位置に応じて虹彩カメラの焦点位置を設定する例である。本実施の形態に係る撮像システムの構成は、実施の形態3または4と同様である。
図10は、本実施の形態に係る制御装置130の構成例を示している。図10の例では、図7の構成に比べて、さらにレンズ制御値選択部139を備えている。レンズ制御値選択部139は、奥行推定部138が推定した対象者Pの奥行位置に応じて、虹彩カメラ110の焦点位置を設定する。
図11は、本実施の形態に係る撮像システムの動作例を示している。図11の例では、図8または図9の動作と比べて、焦点設定処理(S203)が追加されている。すなわち、図8または図9と同様に、全体俯瞰画像の撮像の後、制御装置130は、推定される対象者Pの奥行位置に応じた座標変換行列を用いて目の位置の座標を変換し、虹彩カメラの選択及びROIの設定を行う(S101~S102、S201~S202、S103~S104)。
続いて、制御装置130のレンズ制御値選択部139は、虹彩カメラ110の焦点位置を設定する(S203)。レンズ制御値選択部139は、推定された奥行位置に対応する焦点位置を設定する。
続いて、虹彩カメラ110は、設定された焦点位置に応じて対象者Pの虹彩を撮像する(S105)。レンズ焦点制御部135は、設定された焦点位置により虹彩カメラ110の可変焦点レンズ111を駆動し、虹彩カメラ110は、可変焦点レンズ111が駆動された範囲でROIのバースト撮像を行う。その後、図8または図9と同様に、虹彩画像を抽出し、対象者Pの登録または認証を行ってもよい(S106~S107)。
上記基本構成では、一定の広い範囲で虹彩カメラの焦点走査を行うため、焦点走査の初期の焦点位置と対象者の目の焦点位置が離れるほど焦点走査に時間がかかる。そこで、本実施の形態では、推定された対象者の奥行位置に応じて虹彩カメラの焦点位置(走査位置)を設定する。これにより、焦点走査を行う焦点位置と対象者の目の焦点位置との差を小さくできるため、焦点走査にかかる時間を短縮し、迅速に虹彩撮像を行うことができる。なお、実施の形態1で説明した座標変換行列の選択を行わずに、本実施の形態のように対象者の奥行位置に応じて虹彩カメラの焦点位置を設定してもよい。
(実施の形態6)
次に、実施の形態6について説明する。本実施の形態に係る撮像システムの構成は、実施の形態5と同様である。本実施の形態では、レンズ制御値選択部139は、奥行推定部138が推定した対象者Pの奥行位置に応じて、虹彩カメラ110のバースト撮像を行う走査範囲を設定する。これにより、設定された走査範囲で、確実に対象者の虹彩に合焦した画像を撮像することができる。
(実施の形態7)
次に、実施の形態7について説明する。本実施の形態に係る撮像システムの構成は、実施の形態5または6と同様である。本実施の形態では、レンズ制御値選択部139は、奥行推定部138が推定した対象者Pの奥行位置に応じて、虹彩カメラ110の可変焦点レンズ111のレンズ焦点駆動値を設定する。例えば、レンズ制御値選択部139は、奥行ごとに設定するレンズ焦点駆動値を対応付けたレンズ制御テーブルを記憶手段に記憶しておき、レンズ制御テーブルに基づいてレンズ焦点駆動値を選択する。なお、所定の算出式を用いて、奥行位置に応じたレンズ焦点駆動値を求めてもよい。これにより、精度よく虹彩カメラの焦点を制御することができる。
(実施の形態8)
次に、実施の形態8について説明する。本実施の形態は、実施の形態3~7のいずれかの撮像システムにおいて、奥行推定の具体例として、全体俯瞰カメラの可変焦点レンズの合焦値を用いて対象者の奥行位置を推定する例である。
図12は、本実施の形態に係る撮像システム100の構成例を示している。図12の例では、図1の構成と比べて、全体俯瞰カメラ120に可変焦点レンズ121が取り付けられている。可変焦点レンズ121は、虹彩カメラ110の可変焦点レンズ111と同様に、例えば液体レンズであるが、焦点位置を制御可能なその他のレンズでもよい。
制御装置の構成や撮像システムの動作は、基本的に実施の形態1または2と同様である。本実施の形態では、制御装置130の奥行推定部138は、全体俯瞰画像において対象者Pに合焦した焦点位置に基づいて奥行を推定する。
このように、上記実施の形態において、全体俯瞰画像における対象者に合焦する焦点位置に基づいて、対象者Pの奥行位置を推定してもよい。これにより、より適切に虹彩カメラを設定することができる。
(実施の形態9)
次に、実施の形態9について説明する。本実施の形態に係る撮像システムの構成は、実施の形態8と同様である。本実施の形態では、奥行推定部138は、対象者Pの顔の領域に合焦した位置に基づいて奥行を推定する。
例えば、図13に示すように、可変焦点レンズ121を駆動して焦点位置を移動させて、顔の領域に合焦する焦点位置を検出する。例えば、顔の領域のコントラストが最も大きい場合に合焦を検出し、合焦を検出した時のレンズ駆動値から、奥行位置(全体俯瞰カメラ120から対象者Pの顔までの距離)を推定する。図13の例では、焦点位置をF0~F2に駆動して画像G0~G2を撮像し、画像G1のコントラストが最も大きいため、画像G1が顔に合焦した画像であると判断する。そうすると、画像G1を撮像した際の焦点位置に対応した奥行D1を、対象者Pの奥行推定値とする。
なお、顔に合焦した焦点位置と目(虹彩)の奥行位置との差をテーブルに記憶しておき、テーブルの値に応じて推定する奥行位置を補正してもよい。例えば、身長ごとに補正値を用意してもよい。
このように、全体俯瞰画像における対象者の顔の領域に合焦する焦点位置に基づいて、対象者Pの奥行位置を推定してもよい。これにより、より正確に目の奥行位置を把握することができ、目の奥行位置に応じて適切に虹彩カメラを設定することができる。
(実施の形態10)
次に、実施の形態10について説明する。本実施の形態に係る撮像システムの構成は、実施の形態8または9と同様である。本実施の形態では、奥行推定部138は、全体俯瞰カメラ120の可変焦点レンズ121を駆動し、全体俯瞰画像における対象者Pの顔の領域に合焦した焦点位置のレンズ焦点駆動値に基づいて奥行を推定する。例えば、レンズ焦点駆動値ごとに奥行位置を対応付けた奥行テーブルを記憶手段に記憶しておき、奥行テーブルに基づいて奥行を推定してもよい。これにより、精度よく合焦位置に基づいて奥行を推定することができる。
(実施の形態11)
次に、実施の形態11について説明する。本実施の形態は、実施の形態3~7のいずれかの撮像システムにおいて、奥行推定の具体例として、深度センサを用いて対象者の奥行位置を推定する例である。
図14は、本実施の形態に係る撮像システム100の構成例を示している。図14の例では、図1の構成と比べて、深度センサ140をさらに備えている。本実施の形態では、深度センサ140により対象者Pの奥行Diを検出する。例えば、深度センサ140を、虹彩カメラまたは全体俯瞰カメラと同じ位置に設置し、虹彩カメラまたは全体俯瞰カメラから対象者Pまでの深度(距離)を測定する。奥行推定部138は、深度センサ140の特定結果に基づいて奥行を推定する。
深度センサ140は、例えば、超音波センサやミリ波センサである。なお、虹彩用の照明手段と同じ波長の光センサ(ToF:Time Of Flight)は使用しないことが好ましい。また、深度センサ140の代わりに全体俯瞰カメラをステレオカメラとして、対象者Pの深度を検出してもよい。ステレオカメラにより撮像された全体俯瞰画像から得られる対象者Pの深度に基づいて、奥行を推定してもよい。
このように、上記実施の形態において、深度センサを用いて対象者Pの奥行位置を推定してもよい。これにより、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
(実施の形態12)
次に、実施の形態12について説明する。本実施の形態は、実施の形態3~7のいずれかの撮像システムにおいて、全体俯瞰カメラとしてステレオカメラを備える例である。全体俯瞰カメラとしてステレオカメラを備えることで、対象者Pの深度を検出してもよい。ステレオカメラにより撮像された全体俯瞰画像から得られる対象者Pの深度に基づいて、奥行を推定してもよい。これにより、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
(実施の形態13)
次に、実施の形態13について説明する。本実施の形態は、実施の形態3~7のいずれかの撮像システムにおいて、奥行推定の具体例として、複数の検知センサを用いて対象者の奥行位置を推定する例である。
図15は、本実施の形態に係る撮像システム100の構成例を示している。図15の例では、図1の構成と比べて、複数の検知センサ150をさらに備えている。検知センサ150は、人の存在を検知可能な人検知センサであり、例えば、赤外線センサである。検知センサ150は、センサの前に人が存在する場合に出力信号をONし、センサの前に人が存在しない場合に出力信号をOFFにする。奥行推定部138は、検知センサ150の検知結果に基づいて奥行を推定する。
例えば、複数の検知センサ150を奥行方向に等間隔に設置する。この例では、奥行D0~D3の位置にそれぞれ検知センサ150-0~150-3を設置する。検知センサ150-0~150-3のうち人を検知してON信号を出力するセンサに対応した位置を対象者Pの奥行位置と推定する。
このように、上記実施の形態において、複数の検知センサを用いて対象者Pの奥行位置を推定してもよい。これにより、実施の形態4と同様、対象者の奥行位置を確実に把握することができ、対象者の奥行位置に応じて適切に虹彩カメラを設定することができる。
なお、この開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
また、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能(処理)を、図16に示すようなプロセッサ21及び記憶装置であるメモリ22を有するコンピュータ20により実現してもよい。例えば、メモリ22に実施形態における方法(例えば制御装置における撮像方法)を行うためのプログラムを格納し、各機能を、メモリ22に格納されたプログラムをプロセッサ21で実行することにより実現してもよい。なお、プロセッサ21として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(digital signal processor)およびASIC(application specific integrated circuit)等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照してこの開示を説明したが、この開示は上記実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、
前記取得された全体画像に含まれる対象者の3次元位置を推定する推定手段と、
前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択する選択手段と、
前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換する変換手段と、
前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、
を備える、撮像システム。
(付記2)
前記選択手段は、前記対象者の3次元位置に対応して用意された前記第2の画角における2次元座標を前記第1の画角における2次元座標に変換する複数の座標変換行列の中から、前記推定された3次元位置に応じた座標変換行列を選択する、
付記1に記載の撮像システム。
(付記3)
前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記第1の画角内に前記対象者の目を含むROI(Region Of Interest)を設定する、
付記1または2に記載の撮像システム。
(付記4)
前記虹彩撮像手段として、複数の虹彩撮像手段を備え、
前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記複数の虹彩撮像手段の中から、前記対象者を撮像する虹彩撮像手段を選択する、
付記1乃至3のいずれかに記載の撮像システム。
(付記5)
前記設定手段は、前記推定された3次元位置に基づいて、前記虹彩撮像手段の焦点位置を設定する、
付記1乃至4のいずれかに記載の撮像システム。
(付記6)
前記設定手段は、前記推定された3次元位置に基づいて、前記虹彩撮像手段の焦点走査範囲を設定する、
付記5に記載の撮像システム。
(付記7)
前記虹彩撮像手段は、可変焦点レンズを備え、
前記設定手段は、前記推定された3次元位置に基づいて、前記可変焦点レンズのレンズ焦点駆動値を設定する、
付記5または6に記載の撮像システム。
(付記8)
前記推定手段は、前記全体画像において前記対象者に合焦した焦点位置に基づいて前記対象者の3次元位置を推定する、
付記1乃至7のいずれかに記載の撮像システム。
(付記9)
前記推定手段は、前記全体画像において前記対象者の顔の領域に合焦した焦点位置に基づいて前記対象者の3次元位置を推定する、
付記8に記載の撮像システム。
(付記10)
前記全体撮像手段は、可変焦点レンズを備え、
前記推定手段は、前記合焦した焦点位置における前記可変焦点レンズのレンズ焦点駆動値に基づいて前記対象者の3次元位置を推定する、
付記8または9に記載の撮像システム。
(付記11)
前記全体撮像手段または前記虹彩撮像手段から前記対象者までの深度を測定する深度センサを備え、
前記推定手段は、前記深度センサにより測定された前記対象者の深度に基づいて、前記対象者の3次元位置を推定する、
付記1乃至7のいずれかに記載の撮像システム。
(付記12)
前記全体撮像手段は、ステレオカメラであり、
前記推定手段は、前記ステレオカメラにより撮像された全体画像から得られる前記対象者の深度に基づいて、前記対象者の3次元位置を推定する、
付記1乃至7のいずれかに記載の撮像システム。
(付記13)
前記3次元位置に対応して設置された複数の人検知センサを備え、
前記推定手段は、前記複数の人検知センサによる前記対象者の検知結果に基づいて、前記対象者の3次元位置を推定する、
付記1乃至7のいずれかに記載の撮像システム。
(付記14)
対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
前記取得された全体画像に含まれる対象者の3次元位置を推定し、
前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択し、
前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換し、
前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
撮像方法。
(付記15)
前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第1の画角内に前記対象者の目を含むROI(Region Of Interest)を設定する、
付記14に記載の撮像方法。
(付記16)
対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
前記取得された全体画像に含まれる対象者の3次元位置を推定し、
前記対象者の3次元位置に対応して用意された前記第2の画角における2次元座標を前記第1の画角における2次元座標に変換する複数の座標変換行列の中から、前記推定された3次元位置に応じた座標変換行列を選択し、
前記選択された座標変換行列に基づいて、前記全体画像に含まれる対象者の目の2次元座標を前記第1の画角における2次元座標に変換し、
前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
処理をコンピュータに実行させるための撮像プログラム。
(付記17)
前記設定では、前記変換された前記対象者の目の座標に基づいて、前記第1の画角内に前記対象者の目を含むROI(Region Of Interest)を設定する、
付記16に記載の撮像プログラム。
10 撮像システム
11 取得部
12 推定部
13 選択部
14 変換部
15 設定部
20 コンピュータ
21 プロセッサ
22 メモリ
100 撮像システム
110 虹彩カメラ
111 可変焦点レンズ
120 全体俯瞰カメラ
121 可変焦点レンズ
130 制御装置
131 全体俯瞰画像取得部
132 目検出部
133 座標変換部
134 虹彩カメラ設定部
135 レンズ焦点制御部
136 虹彩画像取得部
137 登録認証部
138 奥行推定部
139 レンズ制御値選択部
140 深度センサ
150 検知センサ
201 データベース
202 行列記憶部

Claims (10)

  1. 対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得する取得手段と、
    前記取得された全体画像に含まれる対象者の3次元位置を推定する推定手段と、
    前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択する選択手段と、
    前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換する変換手段と、
    前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する設定手段と、
    を備える、撮像システム。
  2. 前記選択手段は、前記対象者の3次元位置に対応して用意された前記第2の画角における2次元座標を前記第1の画角における2次元座標に変換する複数の座標変換行列の中から、前記推定された3次元位置に応じた座標変換行列を選択する、
    請求項1に記載の撮像システム。
  3. 前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記第1の画角内に前記対象者の目を含むROI(Region Of Interest)を設定する、
    請求項1または2に記載の撮像システム。
  4. 前記虹彩撮像手段として、複数の虹彩撮像手段を備え、
    前記設定手段は、前記変換された前記対象者の目の座標に基づいて、前記複数の虹彩撮像手段の中から、前記対象者を撮像する虹彩撮像手段を選択する、
    請求項1乃至3のいずれか一項に記載の撮像システム。
  5. 前記設定手段は、前記推定された3次元位置に基づいて、前記虹彩撮像手段の焦点位置を設定する、
    請求項1乃至4のいずれか一項に記載の撮像システム。
  6. 前記設定手段は、前記推定された3次元位置に基づいて、前記虹彩撮像手段の焦点走査範囲を設定する、
    請求項5に記載の撮像システム。
  7. 前記虹彩撮像手段は、可変焦点レンズを備え、
    前記設定手段は、前記推定された3次元位置に基づいて、前記可変焦点レンズのレンズ焦点駆動値を設定する、
    請求項5または6に記載の撮像システム。
  8. 前記推定手段は、前記全体画像において前記対象者に合焦した焦点位置に基づいて前記対象者の3次元位置を推定する、
    請求項1乃至7のいずれか一項に記載の撮像システム。
  9. 撮像システムによって実行される撮像方法であって、
    対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
    前記取得された全体画像に含まれる対象者の3次元位置を推定し、
    前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択し、
    前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換し、
    前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
    撮像方法。
  10. 対象者の虹彩を第1の画角で撮像するための虹彩撮像手段により撮像された虹彩画像、または、前記虹彩撮像手段よりも広い第2の画角で前記対象者を撮像するための全体撮像手段により撮像された全体画像を取得し、
    前記取得された全体画像に含まれる対象者の3次元位置を推定し、
    前記対象者の3次元位置を前記第1の画角における2次元座標に変換する座標変換行列を選択し、
    前記選択された座標変換行列に基づいて、前記推定された3次元位置に対応する全体画像に含まれる対象者の目の座標を前記第1の画角における2次元座標に変換し、
    前記変換された前記対象者の目の座標に基づいて、前記虹彩撮像手段が前記対象者の虹彩を撮像するためのパラメータを設定する、
    処理をコンピュータに実行させるための撮像プログラム。
JP2022512909A 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラム Active JP7367858B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014596 WO2021199168A1 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラムが格納された非一時的なコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021199168A1 JPWO2021199168A1 (ja) 2021-10-07
JPWO2021199168A5 JPWO2021199168A5 (ja) 2022-11-25
JP7367858B2 true JP7367858B2 (ja) 2023-10-24

Family

ID=77930205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022512909A Active JP7367858B2 (ja) 2020-03-30 2020-03-30 撮像システム、撮像方法及び撮像プログラム

Country Status (4)

Country Link
US (1) US20230169793A1 (ja)
EP (1) EP4131153A1 (ja)
JP (1) JP7367858B2 (ja)
WO (1) WO2021199168A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3136459A1 (en) * 2020-11-02 2022-05-02 Princeton Identity COMPACT SYSTEM AND IRIS RECOGNITION METHOD
WO2023234003A1 (ja) * 2022-06-02 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125142A (ja) 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2007504562A (ja) 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11327038A (ja) * 1998-05-20 1999-11-26 Oki Electric Ind Co Ltd 撮像装置
JP2003037765A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2003323607A (ja) * 2002-04-30 2003-11-14 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2004287621A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd 虹彩認識システム
JP2004295572A (ja) * 2003-03-27 2004-10-21 Matsushita Electric Ind Co Ltd 認証対象画像撮像装置及びその撮像方法
WO2009016846A1 (ja) 2007-08-02 2009-02-05 Panasonic Corporation 虹彩認証装置および虹彩認証システム
US9426447B2 (en) * 2012-10-09 2016-08-23 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
JP5865299B2 (ja) 2013-06-27 2016-02-17 オリンパス株式会社 焦点調節装置、カメラシステム、及び焦点調節方法
US10682038B1 (en) * 2014-09-19 2020-06-16 Colorado School Of Mines Autonomous robotic laparoscope based on eye tracking
KR20160038476A (ko) * 2014-09-30 2016-04-07 현대자동차주식회사 시선 측정 장치 및 방법
JP6670974B1 (ja) * 2019-12-02 2020-03-25 ジック株式会社 ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125142A (ja) 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2007504562A (ja) 2003-09-04 2007-03-01 サーノフ コーポレーション 1つの画像から虹彩認証を行う方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
渡辺孝弘, 外5名,"虹彩自動撮影型個人認証システムの開発",映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2001年03月21日,第25巻, 第29号,p.43-48

Also Published As

Publication number Publication date
US20230169793A1 (en) 2023-06-01
JPWO2021199168A1 (ja) 2021-10-07
WO2021199168A1 (ja) 2021-10-07
EP4131153A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
US20210231435A1 (en) Distance measurement device, distance measurement system, imaging apparatus, moving body, method of controlling distance measurement device, method of controlling distance measurement system, and recording medium
JP6245885B2 (ja) 撮像装置およびその制御方法
KR102032882B1 (ko) 자동 포커싱 방법, 장치 및 전자 장치
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN106778713B (zh) 一种动态人眼跟踪的虹膜识别装置及方法
CN108700408B (zh) 三维形状数据及纹理信息生成***、方法及拍摄控制方法
US20130188022A1 (en) 3d zoom imager
US20180103210A1 (en) Camera system and object recognition method thereof
JP7367858B2 (ja) 撮像システム、撮像方法及び撮像プログラム
KR101737085B1 (ko) 3차원 카메라
JP7362360B2 (ja) 制御装置、撮像装置、レンズ装置、および、プログラム
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
US20150178595A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
GB2482290A (en) Autofocus method using tilted focal plane
JP6699523B2 (ja) 眼球追跡装置及び撮像システム
TW201541141A (zh) 使用多鏡頭的自動對焦系統及其方法
KR20220122645A (ko) 3차원 좌표를 2차원 피처 포인트와 연관
TWI515471B (zh) 使用多鏡頭的自動對焦系統及其方法
US20220417420A1 (en) System for Acquisiting Iris Image for Enlarging Iris Acquisition Range
KR101919138B1 (ko) 원거리 멀티 생체 인식 방법 및 장치
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R151 Written notification of patent or utility model registration

Ref document number: 7367858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151