JPWO2019077863A1 - 識別装置及び電子機器 - Google Patents

識別装置及び電子機器 Download PDF

Info

Publication number
JPWO2019077863A1
JPWO2019077863A1 JP2019518314A JP2019518314A JPWO2019077863A1 JP WO2019077863 A1 JPWO2019077863 A1 JP WO2019077863A1 JP 2019518314 A JP2019518314 A JP 2019518314A JP 2019518314 A JP2019518314 A JP 2019518314A JP WO2019077863 A1 JPWO2019077863 A1 JP WO2019077863A1
Authority
JP
Japan
Prior art keywords
identification
information
reflected light
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518314A
Other languages
English (en)
Other versions
JP7228509B2 (ja
Inventor
小野　博明
博明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2019077863A1 publication Critical patent/JPWO2019077863A1/ja
Application granted granted Critical
Publication of JP7228509B2 publication Critical patent/JP7228509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】環境光の変動の影響を受けることなく、精度よく識別を行うことが可能な識別装置及び電子機器を提供する。【解決手段】対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部とを備える、識別装置を提供する。【選択図】図４

Description

本開示は、識別装置及び電子機器に関する。
近年、スマートフォン等の電子機器に、そのセキュリティを確保するために、識別装置が搭載されていることが多くなってきている。詳細には、当該識別装置は、上記電子機器を使用しようとする者の顔画像を撮像して照合を行い、上記電子機器のユーザとして識別された者に対してのみ上記電子機器の使用を許可する。
例えば、下記特許文献１においては、ユーザの顔画像を予め登録しておき、登録された顔画像と新たに撮像した顔画像との間で照合を行う識別装置が開示されている。当該特許文献１においては、登録された顔画像が撮像された際の照明条件と同一の照明条件の下で新たな顔画像を撮像するように、照明を制御することにより、識別の精度を向上させている。
特開２０１７−２７４９２号公報
識別の精度を向上させようとする場合には、上述したように、登録された顔画像が撮像された際の環境光の状態と同一状態の環境光の下で新たな顔画像を撮像するようにすることが、望ましい。しかしながら、環境光は変動しやすく、状況によっては、登録された顔画像が撮像された際の環境光と同一状態の環境光を再現して撮像することは難しい。
そこで、本開示では、環境光の変動の影響を受けることなく、精度よく識別を行うことが可能な、新規、且つ、改良された識別装置及び電子機器を提案する。
本開示によれば、対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部とを備える、識別装置が提供される。
また、本開示によれば、対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部と、前記距離情報に基づいて前記対象物を検出する対象物検出部と、検出された前記対象物の前記距離情報に基づいて、当該対象物の識別を行う対象物識別部とを備える、識別装置が提供される。
さらに、本開示によれば、対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部とを有する識別装置を搭載する、電子機器が提供される。
以上説明したように本開示によれば、環境光の変動の影響を受けることなく、精度よく識別を行うことが可能な識別装置及び電子機器を提供することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
比較例の識別装置による識別方法を説明するための説明図である。 本開示の実施形態に係る識別装置で用いられる画像を説明するための説明図である。 本開示の実施形態に係る識別方法と比較例の識別方法との違いを説明するための説明図である。 本開示の第１の実施形態に係る識別システム１０の構成例を示すブロック図である。 同実施形態に係るＴＯＦセンサ１００の構成例を示すブロック図である。 距離情報の算出方法の原理を説明するための説明図である。 同実施形態に係るＴＯＦセンサ１００を用いた距離情報の算出方法を説明するための説明図である。 同実施形態における環境光（間接反射光）のキャンセルを模式的に示す説明図である。 同実施形態における正規化の一例を説明するための説明図である。 同実施形態に係る識別方法の登録段階を説明するフローチャート図である。 同実施形態に係る識別方法の識別段階を説明するフローチャート図である。 本開示の第２の実施形態に係る識別方法の登録段階を説明するフローチャート図である。 同実施形態に係る識別方法の識別段階を説明するフローチャート図である。 本開示の第３の実施形態に係る積層イメージセンサ２０の構成例を示す図である。 同実施形態に係る積層イメージセンサ２０の詳細構成例を示すブロック図である。 同実施形態の変形例に係る積層イメージセンサ２０ａの構成例を示す図である。 同実施形態の変形例に係る積層イメージセンサ２０ａの詳細構成例を示すブロック図である。 本開示の第４の実施形態に係る電子機器９００のハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
１． 本発明者が本開示に係る実施形態を創作するに至る背景
２． 本開示の実施形態の概要
３． 第１の実施形態
３．１ 第１の実施形態に係る識別システム１０の概要
３．２ ＴＯＦセンサ１００の詳細構成
３．３ 処理ユニット２００の詳細構成
３．４ 識別方法
３．４．１ 登録段階
３．４．２ 識別段階
４． 第２の実施形態
４．１ 識別方法
４．１．１ 登録段階
４．２．２ 識別段階
５． 第３の実施形態
６． 第４の実施形態
７． まとめ
８． 補足
＜＜１． 本発明者が本開示に係る実施形態を創作するに至る背景＞＞
次に、本開示に係る実施形態の詳細を説明する前に、本発明者が本開示に係る実施形態を創作するに至る背景について、図１を参照して説明する。図１は、比較例の識別装置による識別方法を説明するための説明図であり、ここで比較例とは、本発明者が、本開示に係る実施形態を創作するまで検討を続けていた識別装置や識別方法のことを意味する。
比較例に係る識別装置においては、特定の人物の顔画像を予め登録しておき、新たに撮像した顔画像と、予め登録された顔画像とを照合することにより、新たに顔画像が撮像された人物について識別を行っていた。しかしながら、比較例に係る識別装置においては、実際には同一人物であるにもかかわらず、上述するような照合の結果、他人と識別してしまうことがあり、識別の精度を向上させることに限界があった。
比較例に係る識別装置において上述のような誤った識別を行ってしまうことについて、図１を参照して具体的に説明する。ここで、比較例に係る識別装置において、図１の左側に示すような登録用顔画像５０２を用いて照合を行う場合を考える。この際、比較例に係る識別装置は、新たに人物の顔画像を撮像して、照合用顔画像５０４を取得し、新たに取得した照合用顔画像５０４と、上記登録用顔画像５０２とを照合することとなる。
例えば、比較例に係る識別装置が、登録用顔画像５０２の撮像時と異なる照明条件で、登録用顔画像５０２の人物と同一人物を撮像した場合には、図１の右側に示すような照合用顔画像５０４ｂ、５０４ｃが得られる場合がある。具体的には、登録用顔画像５０２の撮像時では人物の顔の正面に光が当たっており（順光）、図１の左側に示すように、登録用顔画像５０２は、顔全体に亘って鮮明な画像となっている。一方、照合用顔画像５０４ｂの撮像時では人物の顔の左半分にのみ光が当たっており、図１の右側上段に示すように、照合用顔画像５０４ｂは、画像における陰影の差が大きく、詳細には、顔の半分が鮮明であり、且つ、残りの半分が不鮮明な画像となっている。さらに、照合用顔画像５０４ｃの撮像時では人物の顔全体に光が十分にあたっておらず、図１の右側下段に示すように、照合用顔画像５０４ｃは、顔全体に亘って不鮮明な画像となっている。
すなわち、照合用顔画像５０４ｂ、５０４ｃは、登録用顔画像５０２とは異なり、その全体又は一部が不鮮明な画像である。従って、登録用顔画像５０２と照合用顔画像５０４ｂ、５０４ｃとを用いて照合を行った場合、これらの画像５０２、５０４ｂ、５０４ｃが同一人物の顔画像であるにもかかわらず、比較例に係る識別装置は、異なる人物の顔画像であると判断することがある。そして、その結果、比較例に係る識別装置では、同一人物であると識別することができない。
比較例に係る識別装置が誤った識別を行ってしまう原因としては、登録用顔画像５０２の撮像時の照明条件と、照合用顔画像５０４の撮像時の照明条件とが異なることから、同一人物の顔画像であるにもかかわらず、異なる状態の顔画像を撮像してしまうことにある。すなわち、比較例に係る識別装置においては、その識別の精度は、撮像時の照明条件（環境光）の変動に左右（影響）されやすいものであるといえる。
そこで、先に説明した上記特許文献１に開示の識別装置においては、照合用顔画像５０４の撮像時の照明条件を、登録用顔画像５０２の撮像時の照明条件と同一になるように照明を制御している。このようにすることで、照合用顔画像５０４の撮像時には、登録用顔画像５０２の撮像時の照明条件と同じ照明条件とすることができることから、同一人物であれば略同一（ほぼ同等）の顔画像が撮像されることとなる。従って、上記特許文献１に開示の識別装置においては、同一人物であるとの識別結果が得られる確率を高まることから、識別の精度を向上させることができる。
詳細には、上記特許文献１においては、登録用顔画像５０２の撮像時の照明条件を推定し、照合用顔画像５０４の撮像時の照明条件を同一にすべく照明を制御する。しかしながら、室外等では太陽光等の変動の影響を受けることから、照明条件を安定的に所望の条件となるように制御することは難しい。さらに、登録用顔画像５０２の撮像時の照明条件を推定し、照明の制御を行うことから、上記特許文献１においては、処理時間の長時間化や消費電力の増加を避けることが難しく、さらに、識別装置の構成の複雑化や製造コストの増加を避けることも難しい。
そこで、本発明者は、上述のような状況を鑑みて、環境光の変動に左右されやすい２次元画像（例えば、上述の登録用顔画像５０２、照合用顔画像５０４といったカラー画像や赤外光画像）ではなく、被写体（対象物）の奥行き情報を示す距離情報（２．５次元情報や３次元情報）を用いて識別を行うことに着想した。なお、ここで２．５次元情報とは、後述するＴＯＦセンサの画素ごとに取得された距離情報（奥行き情報）を、該当する画素の位置情報に紐づけて生成された情報である。また、ここで３次元情報とは、２．５次元情報における画素の位置情報を実空間の座標に変換し、変換して得た座標に該当する距離情報を紐づけて生成された、実空間における３次元座標情報（詳細には、複数の３次元座標情報の集合体）のことである。
距離情報を取得する方法の１つとしては、ステレオカメラによる方法を挙げることができる。ステレオカメラは、２台のカメラによって画像を取得し、これらのカメラの視差を利用して被写体までの距離情報を取得する。しかしながら、ステレオカメラでは、２台のカメラを使用することから、装置の構成が大きくなることを避けることが難しい。また、本発明者の検討によれば、ステレオカメラは、模様のない、均一な表面についての距離情報を得ることが難しく、例えば、顔等の模様の少ない肌領域に対して距離情報を取得することが難しい。さらに、ステレオカメラによる距離情報の精度は、環境光の変動に左右されやすい。
また、距離情報を取得する方法の他の１つとしては、ストラクチャード ライト（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）法を挙げることができる。ストラクチャード ライト法は、被写体の表面に所定のパターンを持つ光を投影し、被写体に投影された光のパターンの変形を解析することにより、被写体までの距離を推定する方法である。ストラクチャード ライト法は、比較例と比べて環境光の変動に左右され難い方法であると言えるが、環境光の変動の影響を完全にキャンセルすることが難しい。さらに、ストラクチャード ライト法においては、所定のパターンが投影された状態での被写体の画像を撮像することとなり、このような画像を人物等の識別に用いた場合には、投影されたパターンに影響され識別精度を向上させることが難しい。
距離情報を取得する方法としては、カメラを被写体の周辺で移動させながら被写体を連続して撮像し、当該被写体の複数の撮像フレームを取得し、取得した複数の撮像フレームに基づいて上記被写体の距離情報を算出するという方法もある。しかしながら、当該方法においても、環境光の変動の影響をキャンセルすることが難しい。さらに、当該方法においては、複数の撮像フレームを取得するため時間がかかり、さらには、被写体が移動したり、被写体の外形が変化したりする場合には、距離情報を算出することができないことから、人物等を識別する識別装置に適用することが難しい。
また、比較例のように２次元画像を撮像するカメラと、上述のような距離情報を取得するカメラとの両方を同時に使用して識別を行うことも考えられるが、やはり使用するカメラが複数になることから、識別装置の構成が大きくなることを避けることが難しい。
そこで、本発明者は、上述のような検討に基づき、環境光の変動の影響を受けることなく、精度よく識別を行うことが可能な本開示の実施形態に係る識別装置を創作するに至った。以下に、本発明者に創作した本開示の実施形態の詳細について順次説明する。
＜＜２． 本開示の実施形態の概要＞＞
まずは、本開示の実施形態の概要を図２及び図３を参照して説明する。図２は、本開示の実施形態に係る識別装置で用いられる画像を説明するための説明図であり、図３は、本開示の実施形態に係る識別方法と比較例の識別方法との違いを説明するための説明図である。
本発明者は、上述のような検討に基づき、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いて距離情報等を取得し、取得した距離情報等に基づき識別を行うことを着想した。ＴＯＦセンサは、例えば、被写体に所定の周期を持つ照射光を照射し、当該被写体で反射された上記光（反射光）を検知し、照射光と反射光との位相差や時間差を検出することで、被写体の奥行き（距離情報）を取得することができる。なお、本発明者が創作した本開示の実施形態においては、ＴＯＦセンサは、照射光と反射光との位相差を検出することで、被写体の奥行きを取得することができるセンサであるものとする。
ＴＯＦセンサは上述したように距離情報を取得することができることから、例えば、以下に説明する本実施形態に係るＴＯＦセンサは、図２の右側に示すような被写体（ここでは人物の顔）の距離情報に基づく画像６００（以下、距離画像６００と呼ぶ）を取得することができる。当該距離画像６００は、人物の顔で反射された反射光に基づいて得られた距離情報を、ＴＯＦセンサの画素の位置情報に紐づけることによって得られた２．５次元情報を平面に投影させる（距離情報に応じた色や明るさを与えることにより）ことにより得られた画像である。距離情報は、環境光が変動しても一定の値として取得されることから、距離情報は、環境光の変動に左右されない情報であるといえる。なお、当該距離画像６００は、上述の３次元情報を平面に投影させて得られた画像であってもよい。
さらに、ＴＯＦセンサは、光（例えば、赤外光）を被写体に照射して、当該被写体において反射された光を検知することができることから、検知した反射光に基づく画像（例えば、赤外線画像）も、距離画像６００と同時に取得することができる。具体的には、本実施形態に係るＴＯＦセンサは、図２の左側に示すような被写体（ここでは人物の顔）の直接反射光情報に基づく画像７００（以下、直接反射光画像７００と呼ぶ）も取得することができる。当該直接反射光画像７００は、ＴＯＦセンサにより被写体に照射光を照射し、当該被写体で直接反射された反射光を検知することにより得られた直接反射光情報に基づく画像である。さらに詳細には当該直接反射光画像７００は、図２の左側に示すように、ＴＯＦセンサで検知された光の強度をグラデーションで表現した画像となっている。ただし、本発明者が創作した本開示の実施形態においては、直接反射光画像７００は、上述の比較例の登録用顔画像５０２、照合用顔画像５０４（図１ 参照）と似ているが、ＴＯＦセンサで検知された光の情報（センシングデータ）に対して環境光の影響をキャンセルするように処理した上で得られた画像である点で、比較例とは大きく異なる。環境光の影響がキャンセルされていることからも明らかなように、直接反射光画像７００は、環境光の変動に左右されない画像であるといえる。すなわち、本発明者は、ＴＯＦセンサのセンシングデータに対して環境光の影響をキャンセルするように処理した上で得られた情報（直接反射光情報）に基づく直接反射光画像７００を利用して識別を行うことを独自に着想したのである。なお、本発明者が創作した本開示の実施形態における環境光の影響のキャンセルの詳細については、後述する。
さらに、上述した距離画像６００と直接反射光画像７００とは、本実施形態に係るＴＯＦセンサによる１ショットで同時に取得することが可能である。従って、本実施形態においては、２つの画像を取得する等のために、複数の画像フレームを撮像するといった必要がなく、識別に係る時間の増加を避けることができる。また、本実施形態に係るＴＯＦセンサは、被写体に対して光を照射することから、本実施形態においては、暗闇等であっても被写体の識別を行うことができる。なお、図２に示される距離画像６００と直接反射光画像７００とはあくまでも一例であり、本実施形態に係る距離画像６００及び直接反射光画像７００は、図２の例に限定されるものではない。
以上のように、本発明者が創作した本開示の実施形態においては、環境光の変動に左右されにくい、距離情報（距離画像６００）及び直接反射光情報（直接反射光画像７００）のうちの少なくとも１つを用いて識別を行うことにより、環境光の変動の影響を受けることなく、精度よく識別を行うことができる。
具体的に、図３を参照して、本開示の実施形態に係る識別方法を比較例の識別方法と比較しながら説明する。詳細には、図３の左側上段には、比較例に係る識別方法における登録用顔画像５０２ａが示されており、図３の左側下段には、比較例に係る識別方法における照合用顔画像５０４ｂ、５０４ｃ、５０４ｄが示されている。さらに、図３の右側上段には、本実施形態に係る識別方法における登録用距離画像６０２ａと、登録用直接反射光画像７０２ａとが示されている。また、図３の右側下段には、本実施形態に係る識別方法における照合用距離画像６０４ｂ、６０４ｃ、６０４ｄと、照合用直接反射光画像７０４ｂ、７０４ｃ、７０４ｄとが示されている。なお、図３に示される画像はすべて同一人物の顔画像であるとする。さらに、図３の中央に示されるように、登録用顔画像５０２ａ、登録用距離画像６０２ａ及び登録用直接反射光画像７０２ａは、照明条件Ａにおいて撮像された画像であるとする。また、照合用顔画像５０４、照合用距離画像６０４及び照合用直接反射光画像７０４は、照明条件Ａとは異なり、さらに互いに異なる照明条件Ｂ、Ｃ、Ｄにおいて撮像された画像であるとする。
図３の左側に示されるように、比較例においては、照明条件が変化すると、照合用顔画像５０４ｂ、５０４ｃ、５０４ｄは、登録用顔画像５０２ａとは異なる画像となることがわかる。具体的には、照合用顔画像５０４ｂでは、顔の半分が鮮明であり、且つ、残りの半分が不鮮明な画像となっている。照合用顔画像５０４ｃは、顔全体に亘って不鮮明な画像となっており、すなわち、顔画像であることの認識すら難しい画像となっている。従って、比較例においては、照明条件すなわち環境光が変動すると、画像の状態が変化することから、同一人物の顔画像であっても照合用顔画像５０４が登録用顔画像５０２ａと大きく異なる画像であることから、同一人物であると識別することが難しくなる。これは、比較例においては、被写体で直接反射された光だけでなく、照明等による間接的な光（間接反射光）、すなわち環境光も同時に検知して被写体の画像を撮像していることから、画像が環境光の影響を避けることができないためである。
一方、本開示の実施形態においては、図３の右側に示されるように、照明条件が変化しても、照合用距離画像６０４ｂ、６０４ｃ、６０４ｄ及び照合用直接反射光画像７０４ｂ、７０４ｃ、７０４ｄは、登録用距離画像６０２ａ及び登録用直接反射光画像７０２ａと略同一（ほぼ同等）な画像となっている。すなわち、本実施形態においては、照明条件、すなわち環境光が変動しても、画像の状態が変化しない。従って、本実施形態においては、照明条件すなわち環境光が変動しても、同一人物であれば画像の状態が変化することが少ないことから、同一人物であると識別することができる。
すなわち、本開示の実施形態によれば、環境光の変動の影響を受けることなく、精度よく識別を行うことが可能となる。以下、このような本開示の実施形態の詳細を順次説明する。なお、以下に説明する本開示の実施形態においては、距離情報及び直接反射光情報（具体的には、距離画像６００及び直接反射光画像７００）の両者を用いて識別を行うものとして説明する。しかしながら、本実施形態においては、距離情報及び直接反射光情報の両者を用いることに限定されるものではなく、少なくともいずれか一方を用いて識別を行うことも可能である。
＜＜３． 第１の実施形態＞＞
＜３．１ 第１の実施形態に係る識別システム１０の概要＞
まずは、本開示の第１の実施形態に係る識別システム（識別装置）１０の概要について、図４を参照して説明する。図４は、本実施形態に係る識別システム１０の構成例を示すブロック図である。図４に示すように、本実施形態に係る識別システム１０は、ＴＯＦセンサ１００と、処理ユニット２００と、記憶部３００と、表示部４００とを主に含む。以下に、本実施形態に係る識別システム１０に含まれる各装置の概要について説明する。
（ＴＯＦセンサ１００）
ＴＯＦセンサ１００は、被写体の距離情報及び直接反射光情報（具体的には、図２に示される距離画像６００及び直接反射光画像７００）を取得するためのセンシングデータを取得する。詳細には、ＴＯＦセンサ１００は、被写体（対象物）に赤外光等の照射光を照射し、被写体で反射された直接反射光等を検知することによって得たセンシングデータを、後述する処理ユニット２００に出力する。当該処理ユニット２００は、センシングデータに基づいて、照射光と反射光との位相差を算出することにより、被写体の距離情報（奥行き）を取得することができる。また、当該処理ユニット２００は、センシングデータを処理することにより、被写体の直接反射光情報を得ることもできる。なお、上述のように位相差により距離情報を得る方法は、インダイレクトＴＯＦ方式と呼ばれている。ＴＯＦセンサ１００の詳細については後述する。
なお、本実施形態においては、複数のカメラではなく、１つのＴＯＦセンサ１００を用いることから、識別システム１０の構成が大きくなったり、複雑になったりすることを避けることができ、ひいては、識別システム１０の製造コストの増加を避けることができる。
（処理ユニット２００）
処理ユニット２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を中心に構成されており、後述する記憶部３００に登録用画像（具体的には、登録用距離画像６０２、登録用直接反射光画像７０２等）を格納したり、記憶部３００に格納された上記登録用画像を用いて、人物の識別等を行ったりすることができる。なお、処理ユニット２００の詳細は後述する。
（記憶部３００）
記憶部３００は、ＲＯＭ及びＲＡＭ等から実現され、先に説明したように、識別を行う際に用いる上記登録用画像を格納する。
（表示部４００）
表示部４００は、ユーザに対して、識別結果等を出力する機能部であり、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される。例えば、表示部４００は、新たに撮像された人物の顔画像が、上述した記憶部３００に格納された上記登録用画像と一致していた場合には、上記登録用画像に紐づけられた人物の名前等の情報を表示する。一方、新たに撮像された人物の顔画像が、上記登録用画像と一致していない場合には、一致していない旨を表示する。
なお、本実施形態においては、ＴＯＦセンサ１００、処理ユニット２００、記憶部３００及び表示部４００は、これらの一部又は全部が一体となって設けられていてもよい。例えば、ＴＯＦセンサ１００、処理ユニット２００、記憶部３００及び表示部４００が一体となって設けられている場合には、スタンドアローンで識別に係る処理を行う装置であることができる。また、上述の処理ユニット２００は、例えばクラウドコンピューティング等のようなネットワークへの接続を前提とした、複数の装置からなるシステムによって構築されていてもよい。
＜３．２ ＴＯＦセンサ１００の詳細構成＞
以上、本実施形態に係る識別システム１０の概要を説明した。次に、本実施形態に係るＴＯＦセンサ１００の詳細構成について、図５を参照して説明する。図５は、本実施形態に係るＴＯＦセンサ１００の構成例を示すブロック図である。図５に示すように、ＴＯＦセンサ１００は、照射部１０２と受光部１０４とを主に有する。以下に、ＴＯＦセンサ１００の各機能部の詳細について説明する。
（照射部１０２）
照射部１０２は、レーザ光源（図示省略）と光学素子（図示省略）とを有している。レーザ光源としては、例えば、レーザダイオードが用いられ、照射される光の波長は、レーザダイオードを適宜選択することにより、変えることができる。なお、本実施形態においては、照射部１０２は、例えば、波長７８５ｎｍ付近の赤外光を照射するものとして説明するが、本実施形態においては、このような赤外光を照射することに限定されるものではない。
（受光部１０４）
受光部１０４は、集光レンズ（図示省略）と受光素子（図示省略）とを有している。集光レンズは、受光した光を受光素子に集める機能を有する。また、受光素子は、例えば、複数の画素を持つＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等からなり、画素ごとに、受光した光の強度に基づいて受光信号を生成し、生成した受光信号を処理ユニット２００へ出力する。
なお、ＴＯＦセンサ１００の照射部１０２及び受光部１０４は、処理ユニット２００によって制御されてもよく、もしくは、ＴＯＦセンサ１００に設けられた図示しない制御部によって制御されてもよい。
ここで、ＴＯＦセンサ１００による距離情報の算出方法の原理について、図６を参照して説明する。図６は、距離情報の算出方法の原理を説明するための説明図であり、詳細には、ＴＯＦセンサ１００における、照射光と反射光とを強度の時間変動を模式的に示している。
図６に示すように、ＴＯＦセンサ１００は、光の強度が周期的に変動するように変調された光を照射部１０２から被写体に向かって照射する。照射された光は、被写体で反射されて、反射光としてＴＯＦセンサ１００の受光部１０４で検知される。図６に示されるように、検知された反射光（図６の下段）は、照射光（図６の上段）に対して位相差をもっており、当該位相差は、ＴＯＦセンサ１００から被写体までの距離が遠ければ大きくなり、ＴＯＦセンサ１００から被写体までの距離が近ければ小さくなる。
そこで、例えば、ＴＯＦセンサ１００は、反射光の４位相（０度、９０度、１８０度、２７０度）における光の強度をセンシングする。センシングデータ（ｑ０、ｑ９０、ｑ１８０、ｑ２７０）を、下記の数式（１）に入力することにより、位相差（ｐｈａｓｅ）を算出することができる。さらに、このように算出した位相差と光の波長（ｒａｎｇｅ）とを用いることにより、下記の数式（１）によれば、被写体までの距離情報（ｄｉｓｔａｎｃｅ）を得ることができる。
Figure 2019077863
なお、上記距離情報は、受光部１０４の画素毎に取得することができることから、該当する画素の位置情報と、距離情報とを紐づけることにより、先に説明した２．５次元情報を得ることができる。
さらに、本実施形態に係る受光部１０４は、図５に示すように、互いに差動する第１及び第２の受光部１０４ａ、１０４ｂを有している。詳細には、本実施形態に係る第１及び第２の受光部１０４ａ、１０４ｂは、同時に作りこむことで互いに略同一（ほぼ同じ）の特性を持っている。さらに、第１及び第２の受光部１０４ａ、１０４ｂは、同一の長さを持つ期間において動作するものの、互いに１８０度の位相差を持つように動作するものとする（図７ 参照）。なお、このような２つの受光部を有するＴＯＦセンサ１００は、２タップ方式のＴＯＦセンサと呼ばれる。
次に、本実施形態に係る２タップ方式のＴＯＦセンサ１００における距離情報の算出方法について、図７を参照して説明する。図７は、本実施形態に係るＴＯＦセンサ１００を用いた距離情報の算出方法を説明するための説明図である。図７においては、照射光（図７の１段目）及び反射光（図７の２段目）は、わかりやすくするためにパルス状の光として示されており、照射光と反射光との位相差はφであるものとする。さらに、図７においては、第１の受光部１０４ａ（図７の３段目）及び第２の受光部１０４ｂ（図７の４段目）の動作が図示されており、上側に凸を持つ期間において受光部１０４ａ、１０４ｂが動作するものとする。従って、図７に示すように、第１及び第２の受光部１０４ａ、１０４ｂがそれぞれ動作する期間は重なっていないことから、第１及び第２の受光部１０４ａ、１０４ｂは互いに差動することがわかる。
図７に示されるように、反射光が、照射光に対して位相差φを持っている場合には、第１の受光部１０４ａと第２の受光部１０４ｂとは、図中７のグレーで示される領域８００ａ、８００ｂにおいて反射光を検知することができる。詳細には、第１及び第２の受光部１０４ａ、１０４ｂで検知した光の強度をそれぞれ積分することにより、図７の領域８００ａ及び領域８００ｂの面積に相当する受光信号を得ることができる。図７から明らかなように、第１の受光部１０４ａにおける積分値と第２の受光部１０４ｂにおける積分値との差分は、反射光の位相差φに応じて変化する。従って、本実施形態においては、第１及び第２の受光部１０４ａ、１０４ｂの積分値の差分を算出し、算出した差分に基づいて位相差φを算出し、さらには距離情報を算出することができる。なお、本実施形態においては、積分値の差分ではなく、積分値の比を用いて位相差φを算出し、距離情報を算出することも可能である。
実際には、第１及び第２の受光部１０４ａ、１０４ｂは、被写体から直接反射された反射光（直接反射光）の他に、照明等による間接反射光（環境光）も同時に検知している。具体的には、第１及び第２の受光部１０４ａ、１０４ｂは、本実施形態における環境光（間接反射光）のキャンセルを模式的に示す説明図である図８の上段に示すような光を検知している。
そこで、図８の上段に示すように、上記間接反射光（環境光）を所定の期間においては周期的に強度が変動していない光であるとみなした場合には、直接反射光と異なり、第１の受光部１０４ａも第２の受光部１０４ｂも、同一の強度の間接反射光を検知していることとなる。従って、第１の受光部１０４ａの積分値と第２の受光部１０４ｂの積分値との差分を算出することにより、互いに共通する間接反射光の強度による積分成分をキャンセルすることができ、図８の下段に示すような直接反射光のみを抽出することが可能となる。すなわち、本実施形態においては、第１の受光部１０４ａの積分値と第２の受光部１０４ｂの積分値との差分を算出することにより、間接反射光（環境光）の影響をキャンセルすることができる。そして、本実施形態によれば、間接反射光をキャンセルした後の直接反射光情報を用いることで、環境光の変動に左右されにくい直接反射光画像７００（図２ 参照）を得ることができる。なお、本実施形態においては、上述したように第１の受光部１０４ａの積分値と第２の受光部１０４ｂの積分値との差分を算出することにより、間接反射光の影響がキャンセルされた直接反射光を抽出することに限定されるものではない。例えば、本実施形態においては、第１の受光部１０４ａの積分値と第２の受光部１０４ｂの積分値との比を用いて、間接反射光の影響がキャンセルされた直接反射光を抽出してもよい。
なお、上述した距離情報は、環境光の変動に左右され難いものではあるため、先に説明したように積分値の差分を用いて算出されることに限定されるものでない。しかしながら、積分値の差分を用いて算出することにより、第１及び第２の受光部１０４ａ、１０４ｂの固有の共通するノイズ信号を距離情報から取り除くことができることから、距離情報は、積分値の差分を用いて算出されることが好ましい。
また、本実施形態においては、２タップ方式のＴＯＦセンサ１００は、２つの受光部１４ａ、１０４ｂを持つＴＯＦセンサであることに限定されるものではない。例えば、本実施形態に係る２タップ方式のＴＯＦセンサ１００は、１つの受光部１０４と、１つの受光部１０４で受光した光を互いに異なるタイミングで読み出す２つの読み出し部（第１の読み出し部及び第２の読み出し部）（図示省略）とを持つセンサであってもよい。このような１つの受光部と２つの読み出し部とを持つＴＯＦセンサ１００であっても、上述と同様に、間接反射光の影響がキャンセルされた直接反射光や、ノイズ信号を取り除いた距離信号を得ることができる。
＜３．３ 処理ユニット２００の詳細構成＞
以上、本実施形態に係るＴＯＦセンサ１００の詳細構成について説明した。次に、本実施形態に係る処理ユニット２００の詳細構成について、図４を参照して説明する。図４に示すように、処理ユニット２００は、距離情報算出部２０２、直接反射光算出部（直接反射光情報算出部）２０４、被写体検出部（対象物検出部）２０６、３次元変換部（３次元座標算出部）２０８、被写体正規化部（正規化処理部）２１０、及び被写体識別部（対象物識別部）２１２を主に有する。以下に、処理ユニット２００の各機能部の詳細について説明する。
（距離情報算出部２０２）
距離情報算出部２０２は、先に説明したように、ＴＯＦセンサ１００からのセンシングデータに基づき、照射光と反射光との位相差を算出し、位相差に基づいて、被写体の距離情報（距離画像６００）を算出する。距離情報算出部２０２で算出された距離情報は、ＴＯＦセンサ１００の受光部１０４の画素の位置情報に紐づけられた情報であることから、上述の２．５次元情報であるといえる。さらに、距離情報算出部２０２は、算出した距離情報を、後述する被写体検出部２０６、３次元変換部２０８、被写体正規化部２１０等に出力することができる。
（直接反射光算出部２０４）
直接反射光算出部２０４は、ＴＯＦセンサ１００からのセンシングデータに対して、上述した方法により間接反射光（環境光）をキャンセルする処理を行うことで、被写体の直接反射光情報（直接反射光画像７００）を算出する。さらに、直接反射光算出部２０４は、算出した直接反射光情報を、後述する被写体検出部２０６、被写体正規化部２１０等に出力することができる。
（被写体検出部２０６）
被写体検出部２０６は、上述した距離情報算出部２０２によって得られた距離情報に基づく距離画像６００や、直接反射光算出部２０４によって得られた直接反射光情報に基づく直接反射光画像７００における、被写体の占める領域（被写体領域）を検出する。被写体検出部２０６は、距離画像６００から被写体として人物の顔の領域を検出する場合には、例えば、所定の輪郭線（顔の輪郭）に基づき、顔の領域を検出することができる。また、被写体検出部２０６は、直接反射光画像７００から人物の顔の領域を検出する場合には、例えば、所定の特徴点（目、鼻、口）の位置関係等に基づき、顔の領域を検出することができる。なお、被写体がＴＯＦセンサ１００に近い場合には、被写体検出部２０６によって検出される被写体領域は広くなり、被写体がＴＯＦセンサ１００から遠い場合には、検出される被写体領域は狭くなる。さらに、被写体検出部２０６は、検出した被写体領域の結果を、後述する３次元変換部２０８、被写体正規化部２１０等に出力することができる。
また、被写体検出部２０６は、距離画像６００及び直接反射光画像７００のいずれか一方において被写体領域を検出し、検出した被写体領域を他方の画像の被写体領域にそのまま適用することも可能である。詳細には、距離画像６００及び直接反射光画像７００は、ＴＯＦセンサ１００からの同一ショットから得られた画像であるため、両者の間でアライメントを合わせる必要がないため、一方の画像の被写体領域をそのまま他方の被写体領域として用いることができるためである。
さらに、被写体検出部２０６は、距離画像６００における被写体領域の検出結果、及び、直接反射光画像７００における被写体領域の検出結果の両者を用いて、最終的な被写体領域を決定してもよい。詳細には、直接反射光画像７００においては、例えば、人物の顔とその背景とのコントラストが小さい場合には、人物の顔の輪郭を検出することが難しい。一方、距離画像６００においては、上述のようにコントラストが小さい場合であっても、人物の顔と背景との位置が異なることから、顔の輪郭を検出することが容易である。しかしながら、距離画像６００においては、顔の目、鼻、口等の凹凸が少ない特徴点を検出することが難しい。従って、被写体検出部２０６は、距離画像６００及び直接反射光画像７００の両者を用いて被写体領域を検出することにより、これら両者における検出の弱点を補いあい、被写体領域の検出の精度をより高めることができる。
（３次元変換部２０８）
３次元変換部２０８は、距離情報算出部２０２によって算出された２．５次元情報である距離情報を実空間の３次元空間の座標値に変換する。詳細には、３次元変換部２０８は、ＴＯＦセンサ１００の受光部１０４の画素の位置情報を実空間の座標値に変換することにより、上記距離情報を３次元空間の座標（Ｘ、Ｙ、Ｚ）に変換し、３次元座標情報（３次元情報）を生成する。このように変換することにより、距離情報を、空間上の実距離として扱うことが出来る。さらに、３次元変換部２０８は、上記３次元座標情報を、後述する被写体正規化部２１０等に出力することができる。なお、３次元変換部２０８は、処理ユニット２００に設けられていなくてもよい。
（被写体正規化部２１０）
被写体正規化部２１０は、距離画像６００、直接反射光画像７００、及び３次元情報（図示省略）における被写体領域の正規化を行う。被写体正規化部２１０において行われる正規化の例としては、方向の正規化、スケールの正規化、明度の正規化等を挙げることができる。そして、被写体正規化部２１０は、正規化後の被写体領域を、後述する被写体識別部２１２や記憶部３００に出力する。なお、先に説明したように、３次元情報は、三次元座標情報（Ｘ、Ｙ、Ｚの座標情報）の集合体のことをいう。
被写体正規化部２１０における正規化の例を、図９を参照して説明する。図９は、本実施形態における正規化の一例を説明するための説明図であり、詳細には、人物の顔の方向の正規化の一例を示している。詳細には、図９の左側には正規化前の直接反射光画像の被写体領域７１０が示されており、図９の右側には正規化後の直接反射光画像の被写体領域７１２が示されている。正規化前の直接反射光画像の被写体領域７１０においては、人物の顔が正面ではなく斜めの方向を向いている。そこで、被写体正規化部２１０は、例えば、正規化前の直接反射光画像の被写体領域７１０における所定の特徴点（目、鼻、口）の位置関係や形状等に基づき、人物の顔が斜めを向いていることを検出し、当該顔が正面を向くように、正規化前の直接反射光画像の被写体領域７１０を正規化する。その結果、被写体正規化部２１０は、図９の右側に示される正規化後の直接反射光画像の被写体領域７１２を取得することができる。
なお、本実施形態においては、被写体正規化部２１０は、図９に示すように正面方向を向くように正規化することに限定されるものではなく、あらかじめ設定した所定の方向（向き）、例えば、記憶部３００に格納された画像における方向に合わせるように正規化してもよく、特に限定されるものではない。例えば、記憶部３００に格納された画像における方向に合わせるように正規化することで、記憶部３００に格納された画像における方向と照合する画像における方向とが同一になるため、後述する被写体識別部２１２における照合の精度をより向上させることができる。
また、本実施形態においては、被写体正規化部２１０は、図９に示すように直接反射光画像の被写体領域７１０を正規化することに限定されるものではなく、距離画像６００の被写体領域（図示省略）や３次元情報（図示省略）を正規化することもできる。この場合、被写体正規化部２１０は、例えば、距離画像６００の被写体領域における所定の輪郭線（顔の輪郭）の形状等に基づき、人物の顔が正面を向くように正規化を行うことができる。すなわち、被写体正規化部２１０は、被写体正規化部２１０は、距離画像６００、直接反射光画像７００及び３次元情報における被写体領域のうちの少なくとも１つを正規化することができる。
しかしながら、被写体正規化部２１０は、距離画像６００又は３次元情報（図示省略）の被写体領域と、直接反射光画像７００の被写体領域との２つの被写体領域を正規化することが好ましく、このようにすることで正規化の精度をより向上させることができる。詳細には、被写体正規化２１０は、距離画像６００又は３次元情報の被写体領域における顔の向きの検出結果、及び、直接反射光画像７００の被写体領域における人物の顔の向きの検出結果の両者を用いて、正規化を行うためのパラメータを決定することが好ましい。先に説明したように、距離画像６００又は３次元情報と、直接反射光画像７００とは、それぞれ異なる検出の容易さや難しさを持っている。そこで、被写体正規化２１０は、両者の検出結果を用いて顔の向きを決定することにより、これら両者における検出の弱点を補いあい、顔の向きの検出の精度を高めることができる。
さらに、本実施形態においては、被写体正規化部２１０は、距離画像６００、直接反射光画像７００及び３次元情報（図示省略）における被写体領域の大きさ（スケール）を所定の大きさ（スケール）に合わせるように正規化を行ってもよい。先に説明したように、ＴＯＦセンサ１００から被写体までの距離が遠い場合には被写体領域が狭くなり、ＴＯＦセンサ１００から被写体までの距離が近い場合には被写体領域が広くなる。そこで、例えば、被写体正規化部２１０は、記憶部３００に格納される画像と同一の大きさになるように、被写体正規化部２１０は、距離画像６００、直接反射光画像７００及び３次元情報における被写体領域の大きさを拡大したり、縮小したりすることにより正規化を行う。言い換えると、被写体正規化部２１０は、記憶部３００に格納された画像を基準にして、当該基準画像が撮像された際の被写体とＴＯＦセンサ１００との距離（所定の距離）と同一の距離で撮像された画像とすべく、上記被写体領域の正規化を行うことができる。このようにすることで、記憶部３００に格納された画像の精度（解像度）と照合する画像の精度とが同一になるため、後述する被写体識別部２１２における照合の精度をより向上させることができる。
また、本実施形態においては、被写体正規化部２１０は、記憶部３００に格納された画像を基準にして、当該基準画像と同一の明度（明るさ）やコントラスト等となるように、距離画像６００、直接反射光画像７００及び３次元情報（図示省略）における被写体領域に対して正規化を行ってもよい。このようにすることで、記憶部３００に格納された画像又は情報の明度等と照合する画像又は情報の明度等とが同一になるため、後述する被写体識別部２１２における照合の精度をより向上させることができる。
先に説明したように、被写体正規化部２１０は、距離画像６００、直接反射光画像７００及び３次元情報（図示省略）の被写体領域のうちの少なくとも１つを正規化してもよく、これらの一部又は全部を正規化してもよく、本実施形態においては特に限定されるものではない。さらに、被写体正規化部２１０は、距離画像６００、直接反射光画像７００及び３次元情報の被写体領域のうちの１つにおいて用いた正規化のためのパラメータ（例えば、方向を正規化する際に用いるパラメータ）を、他の画像の被写体領域の正規化の際にそのまま適用してもよい。距離画像６００、直接反射光画像７００及び３次元情報は、ＴＯＦセンサ１００からの同一ショットから得られた情報であるため、両者の間でアライメントを合わせる必要がないため、上記パラメータをそのまま適用することができる。
（被写体識別部２１２）
被写体識別部２１２は、後述す識別段階の際に、記憶部３００に格納されている画像を読み出し、読み出した画像と、被写体正規化部２１０から取得した距離画像６００、直接反射光画像７００及び３次元情報（図示省略）の被写体領域とを照合する。詳細には、被写体識別部２１２は、各画像の特徴点やそれらの位置関係等を比較することにより、照合を行うことができる。この際、被写体識別部２１２は、距離画像６００の被写体領域であれば、記憶部３００から距離画像６００を読み出して照合するといったように、同種の画像を用いて照合を行う。そして、被写体識別部２１２は、上記読み出した画像と、上記被写体領域とが一致する場合には、一致する旨の情報とともに、上記読み出した画像に紐づけられて格納されていた情報（名称等）を表示部４００等に出力する。また、被写体識別部２１２は、上記読み出した画像と上記被写体領域とが一致しない場合には、一致しない旨の情報を表示部４００等に出力する。なお、被写体識別部２１２は、上述のような照合により得られた識別結果を、表示部４００以外の機能部（図示省略）に出力してもよく、当該機能部は、識別結果に基づき、更に他の機能部を制御してもよい。
＜３．４ 識別方法＞
以上、本実施形態に係る識別システム１０に含まれる各装置の詳細について説明した。続いて、本実施形態に係る識別方法について説明する。本実施形態に係る識別方法は、記憶部３００に画像を格納するまでの登録段階と、記憶部３００に格納された画像を用いて識別を行う識別段階との、主に２つの段階に分けることができる。なお、以下に説明する識別方法においては、処理ユニット２００に、上述した３次元変換部２０８が含まれていなくてもよい。
＜３．４．１ 登録段階＞
まずは、本実施形態に係る識別方法の登録段階について、図１０を参照して説明する。図１０は、本実施形態に係る識別方法の登録段階を説明するフローチャート図である。図１０に示すように、本実施形態に係る登録段階には、ステップＳ１０１からステップＳ１１３までの複数のステップが含まれている。以下に、本実施形態に係る登録段階に含まれる各ステップの詳細を説明する。
（ステップＳ１０１）
まずは、ＴＯＦセンサ１００は、被写体（例えば、人物の顔）に対して光を照射し、反射された光を検知して得たセンシングデータを処理ユニット２００へ出力する（ＴＯＦセンサ１００によるセンシング）。
（ステップＳ１０３）
処理ユニット２００は、上述したように、センシングデータに対して環境光（間接反射光）をキャンセルする処理を行う。
（ステップＳ１０５）
処理ユニット２００は、上述のステップＳ１０３で環境光がキャンセルされたセンシングデータに基づき、被写体の距離情報（距離画像６００）を算出する。
（ステップＳ１０７）
処理ユニット２００は、上述のステップＳ１０３で環境光がキャンセルされたセンシングデータに基づき、被写体の直接反射光情報（直接反射光画像７００）を算出する。
（ステップＳ１０９）
処理ユニット２００は、上述のステップＳ１０５で得られた距離画像６００から被写体領域（図示省略）を検出する。さらに、処理ユニット２００は、上述のステップＳ１０７で得られた直接反射光画像７００から被写体領域７１０を検出する。なお、図１０においては、距離画像６００からの被写体領域の検出については、その図示を省略している。
（ステップＳ１１１）
処理ユニット２００は、上述のステップＳ１０９で得られた距離画像６００及び直接反射光画像７００の被写体領域７１０に対して、正規化を行い、正規化後の距離画像の被写体領域６１２と、正規化後の直接反射光画像の被写体領域７１２とを取得する。なお、ここで行う正規化は、方向の正規化、スケールの正規化、明度の正規化等であることができ、特に限定されるものではない。
（ステップＳ１１３）
処理ユニット２００は、上述のステップＳ１１１で得られた正規化された被写体領域６１２及び被写体領域７１２を記憶部３００に格納する。
＜３．４．２ 識別段階＞
次に、本実施形態に係る識別方法の識別段階について、図１１を参照して説明する。図１１は、本実施形態に係る識別方法の識別段階を説明するフローチャート図である。図１１に示すように、本実施形態に係る識別段階には、ステップＳ２０１からステップＳ２１３までの複数のステップが含まれている。なお、図１１のステップＳ２０１からステップＳ２１１までは、上述した図１０のステップＳ１０１からステップＳ１１１までと同じであるため、ここでは、これらステップの詳細な説明を省略し、ステップＳ２１３のみ説明する。また、図１１においても、距離画像６００からの被写体領域の検出については、その図示を省略している。
（ステップＳ２１３）
処理ユニット２００は、記憶部３００に格納されている画像（例えば、上述の登録段階で格納された人物の顔画像）を読み出し、読み出した画像と、正規化された被写体領域６１２及び被写体領域７１２（ここでは、人物の顔画像）とを照合する。そして、処理ユニット２００は、上記読み出した画像と、上記被写体領域６１２、７１２とが一致する場合には、一致する旨の情報とともに、上記読み出した画像に紐づけられて格納されていた情報（人物の名称等）をユーザに向けて出力する。また、処理ユニット２００は、上記読み出した画像と上記被写体領域とが一致しない場合には、一致しない旨の情報をユーザに向けて出力する。
以上のように、本実施形態においては、環境光の変動に左右されやすい２次元画像を用いるのではなく、環境光の変動に左右されにくい距離画像６００や直接反射光画像７００を用いて識別を行うことから、安定して、高い精度で識別を行うことができる。
＜４． 第２の実施形態＞＞
上述の第１の実施形態においては、２．５次元情報である距離画像６００を用いていたが、以下に説明する第２の実施形態においては、２．５次元情報を３次元情報（３次元座標情報）に変換して用いる点で、上述の第１の実施形態と異なる。以下に、このような第２の実施形態の詳細を説明する。
なお、以下の説明においては、第１の実施形態と異なる点のみを説明し、第１の実施形態と共通する点については、その説明を省略する。具体的には、本実施形態においては、識別システム１０や当該識別システム１０に含まれる装置の詳細構成については、処理ユニット２００に３次元変換部２０８が含まれていること以外は、第１の実施形態と共通する。従って、ここでは、本実施形態に係る識別システム１０や当該識別システム１０に含まれる装置の詳細構成の説明を省略する。
＜４．１ 識別方法＞
本実施形態に係る識別方法について説明する。本実施形態に係る識別方法も、第１の実施形態と同様に、記憶部３００に画像を格納するまでの登録段階と、記憶部３００に格納された画像を用いて識別を行う識別段階との、主に２つの段階に分けることができる。
＜４．１．１ 登録段階＞
まずは、本実施形態に係る識別方法の登録段階について、図１２を参照して説明する。図１２は、本実施形態に係る識別方法の登録段階を説明するフローチャート図である。図１２に示すように、本実施形態に係る登録段階には、ステップＳ３０１からステップＳ３１５までの複数のステップが含まれている。なお、図１２のステップＳ３０１からステップＳ３０９までは、上述した図１０の第１の実施形態のステップＳ１０１からステップＳ１０９までと同じであるため、ここでは、これらステップの詳細な説明を省略する。また、図１２においても、距離画像６００からの被写体領域の検出については、その図示を省略している。
（ステップＳ３１１）
処理ユニット２００は、ステップＳ３０９で得られた距離画像６００の被写体領域（図示省略）を３次元座標情報に変換して、被写体の３次元情報の被写体領域６２０を取得する。
（ステップＳ３１３）
処理ユニット２００は、図１０の第１の実施形態のステップＳ１１１と同様に、上述のステップＳ３１１で得られた３次元情報の被写体領域６２０、及び、ステップＳ３０９で得られた直接反射光画像７００の被写体領域７１０に対して、正規化を行う。そして、処理ユニット２００は、正規化後の３次元情報の被写体領域６２２と、正規化後の直接反射光画像の被写体領域７１２とを取得する。
（ステップＳ３１５）
処理ユニット２００は、上述のステップＳ３１３で得られた正規化された被写体領域６２２及び被写体領域７１２を記憶部３００に格納する。
＜４．１．２ 識別段階＞
次に、本実施形態に係る識別方法の識別段階について、図１３を参照して説明する。図１３は、本実施形態に係る識別方法の識別段階を説明するフローチャート図である。図１３に示すように、本実施形態に係る登録段階には、ステップＳ４０１からステップＳ４１５までの複数のステップが含まれている。なお、図１３のステップＳ４０１からステップＳ４１３までは、上述した図１２のステップＳ３０１からステップＳ３１３までと同じであり、図１３のステップＳ４１５は、図１１の第１の実施形態のステップＳ２１３と同様であるため、ここでは、これらステップの詳細な説明を省略する。また、図１３においても、距離画像６００からの被写体領域の検出については、その図示を省略している。
本実施形態においても、第１の実施形態と同様に、環境光の変動に左右されやすい２次元画像を用いるのではなく、環境光の変動に左右されにくい３次元情報（図示省略）や直接反射光画像７００を用いて識別を行うことから、安定して、高い精度で識別を行うことができる。
＜＜５． 第３の実施形態＞＞
上述した第１及び第２の実施形態においては、識別システム１０は、複数の装置によって構成されているとして説明したが、上述の識別システム１０のうちの少なくとも一部が、積層イメージセンサによって構築されていてもよい。そこで、ＴＯＦセンサ１００と処理ユニット２００とを積層イメージセンサによって構成した第３の実施形態を図１４及び図１５を参照して説明する。なお、図１４は、本実施形態に係る積層イメージセンサ２０の構成例を示す図であり、図１５は、本実施形態に係る積層イメージセンサ２０の詳細構成例を示すブロック図である。
図１４に示すように、当該積層イメージセンサ２０においては、画素領域１２０と信号処理回路領域２２０とが互いに積層されている。なお、図１４においては、画素領域１２０は、信号処理回路領域２２０の上に積層されているものとして示されているが、本実施形態においては、図１４のような順番での積層に限定されるものではなく、逆の順番で積層されていてもよい。
さらに、図１５に示すように、信号処理回路領域２２０には、距離情報算出部２０２、直接反射光算出部２０４、被写体検出部２０６、被写体正規化部２１０及び被写体識別部２１２が設けられている。すなわち、積層イメージセンサ２０においては、画素領域１２０は、上述のＴＯＦセンサ１００として機能し、センシングデータを信号処理回路領域２２０に出力する。そして、当該信号処理回路領域２２０は、上述の処理ユニット２００として機能し、センシングデータを処理して得た画像を記憶部３００へ出力したり、記憶部３００に格納された画像を用いて識別を行ったりすることができる。なお、図１５においては、信号処理回路領域２２０には、必要に応じて上記３次元変換部２０８を設けてもよく、図示しない他の機能部を設けてもよい。すなわち、本実施形態においては、識別システム１０は、１つの積層イメージセンサ２０と、当該積層イメージセンサ２０の外部に設けられた記憶部３００とによって構成することができる。
また、積層イメージセンサは、３層の積層イメージセンサであってもよい。本実施形態の変形例として、３層の積層イメージセンサ２０ａの例を図１７及び図１８を参照して説明する。なお、図１６は、本実施形態の変形例に係る積層イメージセンサ２０ａの構成例を示す図であり、図１７は、本実施形態の変形例に係る積層イメージセンサ２０ａの詳細構成例を示すブロック図である。
図１６に示すように、３層の積層イメージセンサ２０ａにおいては、画素領域１２０及び信号処理回路領域２２０の他に、メモリ領域３２０が積層されている。なお、図１６においては、画素領域１２０は、メモリ領域３２０の上に積層されており、当該メモリ領域３２０は、信号処理回路領域２２０の上に積層されているものとして示されている。しかしながら、本実施形態においては、図１６のような順番での積層に限定されるものではなく、異なる順番で積層されていてもよい。
本変形例においては、図１７に示すように、メモリ領域３２０には、識別で用いる画像を格納する記憶部３００が設けられている。すなわち、本変形例においては、識別システム１０は、１つの積層イメージセンサ２０ａによって構成することができ、言い換えると、積層イメージセンサ２０ａ単体によって識別を行うことが可能となる。なお、本変形例においても、信号処理回路領域２２０には、必要に応じて当該３次元変換部２０８等を設けてもよい。
以上のように、本実施形態及び本変形例によれば、上述の識別システム１０の少なくも一部を積層イメージセンサ２０によって構成することにより、識別システム１０をよりコンパクトで、且つ、消費電力を抑えたシステムとすることができる。そして、上述の結果、本開示の実施形態に係る識別システム１０は、後述するような様々な電子機器に搭載することが可能となる。
＜＜６． 第４の実施形態＞＞
上述したように、第１から第３の実施形態に係る識別システム１０（積層イメージセンサ２０）は、デスクトップ型ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、ラップトップ型ＰＣ、スマートフォン、携帯電話、カメラ、ウェアブルデバイス等の電子機器に搭載することができる。
例えば、電子機器を使用するユーザの認証や電子決済等を行うために、顔認証用装置として、本実施形態に係る識別システム１０を、各種ＰＣやスマートフォン、携帯電話等に搭載することができる。また、不審者等の検出用の装置として、上記識別システム１０を、防犯カメラや防犯システム等に搭載することができる。また、各種工場において製品が適切に製造されているかどうかを形状等によって画像識別する検品装置として、本実施形態に係る識別システム１０を、検品システム等に搭載することができる。
また、ユーザの周囲の空間を正確に認識するために、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や眼鏡型のウェアラブルデバイスに、周囲の空間認識用の装置として上記識別システム１０を搭載してもよい。さらに、周囲の障害物を認識するために、本実施形態に係る識別システム１０を自走等が可能なロボット等にも搭載してもよい。また、オートフォーカス機能を持つカメラに、上記識別システム１０を搭載することにより、当該カメラの被写体の検出の精度を向上させ、より精度よくカメラのフォーカス等を制御するようにしてもよい。
そこで、本開示の第４の実施形態として、上述した識別システム１０が搭載された電子機器９００の構成例を、図１８を参照して説明する。図１８は、本実施形態に係る電子機器９００のハードウェア構成の一例を示したブロック図である。
電子機器９００は、例えば、ＣＰＵ９５０と、ＲＯＭ９５２と、ＲＡＭ９５４と、記録媒体９５６と、入出力インターフェース９５８と、操作入力デバイス９６０とを有する。さらに、電子機器９００は、表示デバイス９６２と、通信インターフェース９６８と、ＴＯＦセンサ９８０とを有する。また、電子機器９００では、例えば、データの伝送路としてのバス９７０によって各構成要素間を接続する。
（ＣＰＵ９５０）
ＣＰＵ９５０は、例えば、ＣＰＵ等の演算回路で構成される、１または２以上のプロセッサや、各種処理回路等で構成され、電子機器９００全体を制御する制御部として機能する。具体的には、ＣＰＵ９５０は、例えば、距離情報算出部２０２、直接反射光算出部２０４、被写体検出部２０６、３次元変換部２０８、被写体正規化部２１０、被写体識別部２１２等の機能を果たす。
（ＲＯＭ９５２及びＲＡＭ９５４）
ＲＯＭ９５２は、ＣＰＵ９５０が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ＲＡＭ９５４は、例えば、ＣＰＵ９５０により実行されるプログラム等を一時的に記憶する。
（記録媒体９５６）
記録媒体９５６は、例えば、本実施形態に係る識別方法で用いる画像等様々なデータを記憶する。ここで、記録媒体９５６としては、例えば、フラッシュメモリ等の不揮発性メモリ等が挙げられる。また、記録媒体９５６は、電子機器９００から着脱可能であってもよい。
（入出力インターフェース９５８、操作入力デバイス９６０、及び表示デバイス９６２）
入出力インターフェース９５８は、例えば、操作入力デバイス９６０や、表示デバイス９６２等を接続する。入出力インターフェース９５８としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路等が挙げられる。
操作入力デバイス９６０は、例えば、ユーザの電子機器９００に対する操作を受け付ける入力部として機能し、電子機器９００の内部で入出力インターフェース９５８と接続される
表示デバイス９６２は、例えばユーザに対して識別結果を出力する表示部４００として機能し、電子機器９００上に備えられ、電子機器９００の内部で入出力インターフェース９５８と接続される。表示デバイス９６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等が挙げられる。
なお、入出力インターフェース９５８は、電子機器９００の外部の操作入力デバイス（例えば、キーボードやマウス等）や外部の表示デバイス等の、外部デバイスと接続することも可能である。また、入出力インターフェース９５８は、ドライブ（図示省略）と接続されていてもよい。当該ドライブは、磁気ディスク、光ディスク、又は半導体メモリなどのリムーバブル記録媒体のためのリーダライタであり、電子機器９００に内蔵、あるいは外付けされる。当該ドライブは、装着されているリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９５４に出力する。また、当該ドライブは、装着されているリムーバブル記録媒体に記録を書き込むこともできる。
（通信インターフェース９６８）
通信インターフェース９６８は、電子機器９００の外部装置と、無線または有線で通信を行うための通信部として機能する。ここで、通信インターフェース９６８としては、例えば、通信アンテナ及びＲＦ（Ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポート及び送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポート及び送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子及び送受信回路（有線通信）等が挙げられる。
（ＴＯＦセンサ９８０）
ＴＯＦセンサ９８０は、上述したＴＯＦセンサ１００として機能する。
以上、電子機器９００のハードウェア構成の一例を説明した。なお、電子機器９００のハードウェア構成は、図１８に示す構成に限られない。詳細には、上記の各構成要素は、汎用的な部材を用いて構成してもよいし、各構成要素の機能に特化したハードウェアにより構成してもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
例えば、電子機器９００は、スタンドアローンで処理を行う構成である場合には、通信インターフェース９６８を備えていなくてもよい。また、通信インターフェース９６８は、複数の通信方式によって、１または２以上の外部装置と通信を行うことが可能な構成を有していてもよい。また、電子機器９００は、例えば、記録媒体９５６や、操作入力デバイス９６０、表示デバイス９６２等を備えない構成をとることも可能である。
また、本実施形態に係る電子機器９００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムであってもよい。このような場合、識別のための処理や識別のために用いる画像はクラウド上のコンピュータ（図示省略）によって行われてもよい。つまり、上述した本実施形態に係る電子機器９００は、例えば、複数の装置により本実施形態に係る識別方法に係る処理を行う処理システムとして実現することも可能である。
＜＜７． まとめ＞＞
以上のように、本開示の各実施形態においては、環境光の変動に左右されやすい２次元画像を用いるのではなく、環境光の変動に左右されにくい、距離画像６００、３次元情報（図示省略）及び直接反射光画像７００を用いて識別を行う。従って、これら実施形態によれば、環境光が変動する場合であっても、安定して、高い精度で識別を行うことができる。
詳細には、本実施形態によれば、上記特許文献１のように、登録用顔画像５０２の撮像時の照明条件を推定し、照合用顔画像５０４の撮像時の照明条件を同一にすべく照明を制御する必要はない。従って、本実施形態によれば、上記特許文献１に比べて、処理時間の長時間化や消費電力の増加を避けることができ、さらに、識別システムの構成の複雑化や製造コストの増加を避けることもできる。
また、本実施形態によれば、先に説明したステレオカメラによる方法と異なり、２台のカメラを設ける必要がない。従って、本実施形態によれば、装置の構成が大きくなったり、製造コストが増加したりすることを避けることができる。
さらに、本実施形態によれば、先に説明したストラクチャード ライト法と異なり、被写体の表面に所定のパターンを持つ光を投影する必要がない。従って、本実施形態によれば、所定のパターンが投影された状態での被写体の画像を用いて識別を行うこともないことから、識別の精度を向上させることができる。
また、本実施形態によれば、カメラを被写体の周辺で移動させながら被写体を連続して撮像し、当該被写体の複数の撮像フレームを取得しなくても、被写体の距離情報を算出することができる。従って、本実施形態によれば、被写体が移動したり、被写体の外形が変化したりする場合であっても、被写体の識別を行うことができる。
なお、本開示の各実施形態においては、先に説明したように、距離情報（距離画像６００）、直接反射光情報（直接反射光画像７００）、及び三次元座標情報（三次元画像）の少なくともいずれか１つを用いて識別を行ってもよい。しかしながら、本実施形態においては、識別の精度をより向上させることができるため、距離情報（距離画像６００）又は三次元座標情報（三次元画像）と、直接反射光情報（直接反射光画像７００）との２つを用いて識別を行うことが好ましい。
また、上述した本開示の実施形態においては、人物の顔の識別を行うものとして説明したが、これら実施形態においては、人物の顔の識別に限定されるものではなく、製品等の形状を識別したりと、他の対象物の識別を行うことも可能である。
＜＜８． 補足＞＞
上述した実施形態に係る識別方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
さらに、上記の実施形態に係る識別方法の少なくとも一部は、コンピュータを機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムを記録媒体に収納し、処理ユニット２００や電子機器９００等、もしくは、処理ユニット２００や電子機器９００と接続された他の装置に読み込ませて実行させてもよい。また、当該識別方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。
（２）
前記ＴＯＦセンサは、互いに差動する第１及び第２の受光部を有しており、
前記直接反射光情報算出部は、前記第１及び第２の受光部で検知した前記光の強度に基づいて、前記直接反射光情報を算出する、
上記（１）に記載の識別装置。
（３）
前記ＴＯＦセンサは、１つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第１及び第２の読み出し部とを有しており、
前記直接反射光情報算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記直接反射光情報を算出する、
上記（１）に記載の識別装置。
（４）
前記直接反射光情報算出部は、
前記第１の受光部で検知した光の強度の積分値と前記第２の受光部で検知した光の強度の積分値との差分に基づいて、又は、
前記第１の読み出し部で読み出した光の強度の積分値と前記第２の読み出し部で読み出した光の強度の積分値との差分に基づいて、
前記直接反射光情報を算出する、
上記（２）又は（３）に記載の識別装置。
（５）
前記検出された対象物の直接反射光情報を正規化する正規化処理部をさらに備える、上記（１）〜（４）のいずれか１つに記載の識別装置。
（６）
前記正規化処理部は、
前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の直接反射光情報を正規化する、
上記（５）に記載の識別装置。
（７）
前記対象物の直接反射光情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の直接反射光情報と、新たに算出した前記対象物の直接反射光情報とを照合することにより、前記対象物の識別を行う、
上記（１）〜（６）のいずれか１つに記載の識別装置。
（８）
前記記憶部は、正規化された前記対象物の直接反射光情報を格納する、上記（７）に記載の識別装置。
（９）
前記センシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部をさらに備え、
前記対象物識別部は、前記距離情報に基づいて前記対象物の識別を行う、
上記（１）〜（８）のいずれか１つに記載の識別装置。
（１０）
対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部と、
前記距離情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記距離情報に基づいて、当該対象物の識別を行う対象物識別部と、
を備える、識別装置。
（１１）
前記距離情報算出部は、照射した前記光と検知した前記光との位相差に基づいて、前記距離情報を算出する、上記（１０）に記載の識別装置。
（１２）
前記ＴＯＦセンサは、互いに差動する第１及び第２の受光部を有しており、
前記距離情報算出部は、前記第１及び第２の受光部で検知した前記光の強度に基づいて、前記距離情報を算出する、
上記（１０）又は（１１）に記載の識別装置。
（１３）
前記ＴＯＦセンサは、１つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第１及び第２の読み出し部とを有しており、
前記距離情報算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記距離情報を算出する、
上記（１０）又は（１１）に記載の識別装置。
（１４）
前記距離情報算出部は、
前記第１の受光部で検知した光の強度の積分値と前記第２の受光部で検知した光の強度の積分値との差分に基づいて、又は、
前記第１の読み出し部で読み出した光の強度の積分値と前記第２の読み出し部で読み出した光の強度の積分値との差分に基づいて、
前記距離情報を算出する、
上記（１２）又は（１３）に記載の識別装置。
（１５）
前記検出された対象物の距離情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記検出された対象物の距離情報を正規化する、
上記（１０）〜（１４）のいずれか１つに記載の識別装置。
（１６）
前記対象物の距離情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の距離情報と、新たに算出した前記対象物の距離情報とを照合することにより、前記対象物の識別を行う、
上記（１０）〜（１５）のいずれか１つに記載の識別装置。
（１７）
前記距離情報に基づいて、前記対象物の３次元座標情報を算出する３次元座標算出部をさらに備え、
前記対象物識別部は、前記３次元座標情報に基づいて前記対象物の識別を行う、
上記（１０）に記載の識別装置。
（１８）
前記３次元座標情報を正規化する正規化処理部をさらに備え、
前記正規化処理部は、
前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
前記対象物の大きさを所定の大きさに合わせるように、又は、
前記対象物の向きを所定の向きに合わせるように、又は、
前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
前記３次元座標情報を正規化する、
上記（１７）に記載の識別装置。
（１９）
前記対象物の３次元座標情報を格納する記憶部をさらに備え、
前記対象物識別部は、予め格納された前記対象物の３次元座標情報と、新たに算出した前記対象物の３次元座標情報とを照合することにより、前記対象物の識別を行う、
上記（１７）又は（１８）に記載の識別装置。
（２０）
前記ＴＯＦセンサをさらに備える、上記（１）〜（１９）のいずれか１つに記載の識別装置。
（２１）
前記ＴＯＦセンサとして機能する画素領域と、
前記対象物検出部及び前記対象物識別部として機能する信号処理回路領域とは、
互いに積層されて設けられる、
上記（２０）に記載の識別装置。
（２２）
対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
を有する、識別装置を搭載する、電子機器。
１０ 識別システム
２０、２０ａ 積層イメージセンサ
１００、９８０ ＴＯＦセンサ
１０２ 照射部
１０４、１０４ａ、１０４ｂ 受光部
１２０ 画素領域
２００ 処理ユニット
２０２ 距離情報算出部
２０４ 直接反射光算出部
２０６ 被写体検出部
２０８ ３次元変換部
２１０ 被写体正規化部
２１２ 被写体識別部
２２０ 信号処理回路領域
３００ 記憶部
３２０ メモリ領域
４００ 表示部
５０２、５０２ａ 登録用顔画像
５０４、５０４ｂ、５０４ｃ、５０４ｄ 照合用顔画像
６００ 距離画像
６０２、６０２ａ 登録用距離画像
６０４、６０４ｂ、６０４ｃ、６０４ｄ 照合用距離画像
７００ 直接反射光画像
７０２、７０２ａ 登録用直接反射光画像
７０４、７０４ｂ、７０４ｃ、７０４ｄ 照合用直接反射光画像
６１２、６２０、６２２、７１０、７１２ 被写体領域
８００ａ、８００ｂ 領域
９００ 電子機器
９５０ ＣＰＵ
９５２ ＲＯＭ
９５４ ＲＡＭ
９５６ 記録媒体
９５８ 入出力インターフェース
９６０ 操作入力デバイス
９６２ 表示デバイス
９６８ 通信インターフェース
９７０ バス

Claims (20)

  1. 対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
    前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
    検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
    を備える、識別装置。
  2. 前記ＴＯＦセンサは、互いに差動する第１及び第２の受光部を有しており、
    前記直接反射光情報算出部は、前記第１及び第２の受光部で検知した前記光の強度に基づいて、前記直接反射光情報を算出する、
    請求項１に記載の識別装置。
  3. 前記ＴＯＦセンサは、１つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第１及び第２の読み出し部とを有しており、
    前記直接反射光情報算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記直接反射光情報を算出する、
    請求項１に記載の識別装置。
  4. 前記直接反射光情報算出部は、前記第１の受光部で検知した光の強度の積分値と前記第２の受光部で検知した光の強度の積分値との差分に基づいて、前記直接反射光情報を算出する、
    請求項２に記載の識別装置。
  5. 前記検出された対象物の直接反射光情報を正規化する正規化処理部をさらに備える、請求項１に記載の識別装置。
  6. 前記正規化処理部は、
    前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
    前記対象物の大きさを所定の大きさに合わせるように、又は、
    前記対象物の向きを所定の向きに合わせるように、又は、
    前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
    前記検出された対象物の直接反射光情報を正規化する、
    請求項５に記載の識別装置。
  7. 前記対象物の直接反射光情報を格納する記憶部をさらに備え、
    前記対象物識別部は、予め格納された前記対象物の直接反射光情報と、新たに算出した前記対象物の直接反射光情報とを照合することにより、前記対象物の識別を行う、
    請求項１に記載の識別装置。
  8. 前記記憶部は、正規化された前記対象物の直接反射光情報を格納する、請求項７に記載の識別装置。
  9. 前記センシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部をさらに備え、
    前記対象物識別部は、前記距離情報に基づいて前記対象物の識別を行う、
    請求項１に記載の識別装置。
  10. 対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物の距離情報を算出する距離情報算出部と、
    前記距離情報に基づいて前記対象物を検出する対象物検出部と、
    検出された前記対象物の前記距離情報に基づいて、当該対象物の識別を行う対象物識別部と、
    を備える、識別装置。
  11. 前記ＴＯＦセンサは、互いに差動する第１及び第２の受光部を有しており、
    前記距離情報算出部は、前記第１及び第２の受光部で検知した前記光の強度に基づいて、前記距離情報を算出する、
    請求項１０に記載の識別装置。
  12. 前記ＴＯＦセンサは、１つの受光部と、前記受光部が受光した光を互いに異なるタイミングで読み出す第１及び第２の読み出し部とを有しており、
    前記距離情報算出部は、前記第１及び第２の読み出し部で読み出した前記光の強度に基づいて、前記距離情報を算出する、
    請求項１０に記載の識別装置。
  13. 前記距離情報算出部は、前記第１の受光部で検知した光の強度の積分値と前記第２の受光部で検知した光の強度の積分値との差分に基づいて、前記距離情報を算出する、
    請求項１１に記載の識別装置。
  14. 前記検出された対象物の距離情報を正規化する正規化処理部をさらに備え、
    前記正規化処理部は、
    前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
    前記対象物の大きさを所定の大きさに合わせるように、又は、
    前記対象物の向きを所定の向きに合わせるように、又は、
    前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
    前記検出された対象物の距離情報を正規化する、
    請求項１０に記載の識別装置。
  15. 前記対象物の距離情報を格納する記憶部をさらに備え、
    前記対象物識別部は、予め格納された前記対象物の距離情報と、新たに算出した前記対象物の距離情報とを照合することにより、前記対象物の識別を行う、
    請求項１０に記載の識別装置。
  16. 前記距離情報に基づいて、前記対象物の３次元座標情報を算出する３次元座標算出部をさらに備え、
    前記対象物識別部は、前記３次元座標情報に基づいて前記対象物の識別を行う、
    請求項１０に記載の識別装置。
  17. 前記３次元座標情報を正規化する正規化処理部をさらに備え、
    前記正規化処理部は、
    前記ＴＯＦセンサから前記対象物までの距離を所定の距離に合わせるように、又は、
    前記対象物の大きさを所定の大きさに合わせるように、又は、
    前記対象物の向きを所定の向きに合わせるように、又は、
    前記検出された対象物の直接反射光情報の明るさを所定の明るさに合わせるように、
    前記３次元座標情報を正規化する、
    請求項１６に記載の識別装置。
  18. 前記ＴＯＦセンサをさらに備える、請求項１に記載の識別装置。
  19. 前記ＴＯＦセンサとして機能する画素領域と、
    前記対象物検出部及び前記対象物識別部として機能する信号処理回路領域とは、
    互いに積層されて設けられる、
    請求項１８に記載の識別装置。
  20. 対象物に対して光を照射し、前記光を検知するＴＯＦセンサによるセンシングデータに基づいて、前記対象物からの直接反射光に関する直接反射光情報を算出する直接反射光情報算出部と、
    前記直接反射光情報に基づいて前記対象物を検出する対象物検出部と、
    検出された前記対象物の前記直接反射光情報に基づいて、当該対象物の識別を行う対象物識別部と、
    を有する、識別装置を搭載する、電子機器。
JP2019518314A 2017-10-18 2018-08-21 識別装置及び電子機器 Active JP7228509B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017201524 2017-10-18
JP2017201524 2017-10-18
PCT/JP2018/030715 WO2019077863A1 (ja) 2017-10-18 2018-08-21 識別装置及び電子機器

Publications (2)

Publication Number Publication Date
JPWO2019077863A1 true JPWO2019077863A1 (ja) 2020-09-17
JP7228509B2 JP7228509B2 (ja) 2023-02-24

Family

ID=66174016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518314A Active JP7228509B2 (ja) 2017-10-18 2018-08-21 識別装置及び電子機器

Country Status (7)

Country Link
US (1) US11341771B2 (ja)
EP (1) EP3570250A4 (ja)
JP (1) JP7228509B2 (ja)
KR (1) KR102673019B1 (ja)
CN (1) CN109684907A (ja)
DE (1) DE112018005610T5 (ja)
WO (1) WO2019077863A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114322A (zh) * 2019-06-21 2020-12-22 广州印芯半导体技术有限公司 飞时测距装置及飞时测距方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155422A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 画像処理装置
JP2007004321A (ja) * 2005-06-22 2007-01-11 Mitsubishi Electric Corp 画像処理装置及び入退室管理システム
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380391A (en) * 1980-09-30 1983-04-19 The United States Of America As Represented By The Secretary Of The Army Short pulse CO2 laser for ranging and target identification
KR20040042501A (ko) * 2002-11-14 2004-05-20 엘지전자 주식회사 형판 정합 기반 얼굴 검출방법
EP1821524B1 (en) 2004-10-25 2013-10-23 Panasonic Corporation Spatial information detecting device
JP4696778B2 (ja) * 2005-08-23 2011-06-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
JP5175562B2 (ja) * 2008-01-28 2013-04-03 シャープ株式会社 人物位置検出装置および空気調和機
US8593507B2 (en) * 2008-08-03 2013-11-26 Microsoft International Holdings B.V. Rolling camera system
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
KR101666020B1 (ko) * 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9025019B2 (en) * 2010-10-18 2015-05-05 Rockwell Automation Technologies, Inc. Time of flight (TOF) sensors as replacement for standard photoelectric sensors
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
US8406470B2 (en) * 2011-04-19 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Object detection in depth images
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置
CN106461762B (zh) * 2014-05-23 2022-03-18 昕诺飞控股有限公司 对象检测***和方法
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
FR3037690B1 (fr) * 2015-06-17 2018-05-18 Morpho Procede de detection de fraude par determination de la brdf d'un objet
JP2017027492A (ja) 2015-07-27 2017-02-02 パナソニックＩｐマネジメント株式会社 顔照合装置およびこれを備えた顔照合システムならびに顔照合方法
US11543513B2 (en) * 2015-09-30 2023-01-03 Sony Corporation Information processing apparatus, information processing method and program
CN106996922B (zh) * 2016-01-25 2019-08-23 杭州海康威视数字技术股份有限公司 一种目标物体红外反射率测量方法及装置
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
CN106156757B (zh) * 2016-08-02 2019-08-09 ***股份有限公司 结合活体检测技术的人脸识别方法及人脸识别***
US20180278910A1 (en) * 2017-03-22 2018-09-27 Microsoft Technology Licensing, Llc Correction of multipath interference in time of flight camera depth imaging measurements
KR102387571B1 (ko) * 2017-03-27 2022-04-18 삼성전자주식회사 라이브니스 검사 방법 및 장치
US11085996B2 (en) * 2018-03-23 2021-08-10 Samsung Electronics Co., Ltd. Beam scanning apparatus and optical apparatus including the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155422A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 画像処理装置
JP2007004321A (ja) * 2005-06-22 2007-01-11 Mitsubishi Electric Corp 画像処理装置及び入退室管理システム
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
塚田章ほか: "距離画像カメラを用いた２Ｄ３Ｄ顔認証システム", 月刊自動認識, vol. 第２７巻 第６号, JPN6022031077, 10 May 2014 (2014-05-10), JP, pages 30 - 35, ISSN: 0004834045 *

Also Published As

Publication number Publication date
JP7228509B2 (ja) 2023-02-24
EP3570250A4 (en) 2020-08-05
US11341771B2 (en) 2022-05-24
KR102673019B1 (ko) 2024-06-05
DE112018005610T5 (de) 2020-07-02
US20210334517A1 (en) 2021-10-28
KR20200074050A (ko) 2020-06-24
EP3570250A1 (en) 2019-11-20
WO2019077863A1 (ja) 2019-04-25
CN109684907A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US10339362B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US11263432B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US10521643B2 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN106446873B (zh) 人脸检测方法及装置
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
JP5747916B2 (ja) 生体認証装置および生体認証プログラム
WO2020108225A1 (zh) 指纹采集方法及相关装置
WO2016010721A1 (en) Multispectral eye analysis for identity authentication
CN113574537B (zh) 使用复合手部图像的生物特征识别
US10491880B2 (en) Method for identifying objects, in particular three-dimensional objects
US11080511B2 (en) Contactless rolled fingerprints
JP7269897B2 (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
JP7228509B2 (ja) 識別装置及び電子機器
JP5056662B2 (ja) 皮下パターン取得装置、皮下パターン取得方法および構造物テンプレート
US11341224B2 (en) Handheld multi-sensor biometric imaging device and processing pipeline
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10776625B2 (en) Method for detecting objects, in particular three-dimensional objects
TW202305656A (zh) 光學指紋識別方法及利用其之觸控顯示器和資訊處理裝置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7228509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150