JP6852150B2 - 生体検知方法および装置、システム、電子機器、記憶媒体 - Google Patents

生体検知方法および装置、システム、電子機器、記憶媒体 Download PDF

Info

Publication number
JP6852150B2
JP6852150B2 JP2019515661A JP2019515661A JP6852150B2 JP 6852150 B2 JP6852150 B2 JP 6852150B2 JP 2019515661 A JP2019515661 A JP 2019515661A JP 2019515661 A JP2019515661 A JP 2019515661A JP 6852150 B2 JP6852150 B2 JP 6852150B2
Authority
JP
Japan
Prior art keywords
target object
information
sensor
feature information
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515661A
Other languages
English (en)
Other versions
JP2020522764A (ja
Inventor
カイ ヤン
カイ ヤン
ティエンポン パオ
ティエンポン パオ
ルイ チャン
ルイ チャン
リーウェイ ウー
リーウェイ ウー
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2020522764A publication Critical patent/JP2020522764A/ja
Application granted granted Critical
Publication of JP6852150B2 publication Critical patent/JP6852150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Description

本開示はコンピュータビジョンの技術分野に関し、特に生体検知方法および装置、システム、電子機器および記憶媒体に関する。
現在、顔認識技術は既にフェイスアンロック、顔パスペイメント、セルフサービススーパーマーケットおよびビデオ監視などのシーンにおいて広く応用されている。しかしながら、顔認識技術には顔の実体写真、顔の電子写真または顔を含むビデオなどの形式の偽顔で攻撃される脆弱性が存在している。そのため、顔認識には生体検知が不可欠な一環である。
関連出願への相互参照
本願は出願番号が２０１８１０４４４１０５．４、出願日が２０１８年０５月１１日の中国特許出願に基づいて提供し、かつ該中国特許出願の優先権を主張し、該中国特許出願の全ての内容をここで全文引用の方式で本願に引用する。
前記背景を鑑みて、本開示の実施例は生体検知方法および装置を提供する。
本開示の実施例の一態様によれば、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得することと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得ることと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることと、を含む生体検知方法が提供される。
いくつかの実施例では、前記目標対象物が顔である。
いくつかの実施例では、前記第二センサーが画像センサーであり、例えば、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
いくつかの実施例では、前記第一センサーは深度センサーであり、例えば、前記第一センサーは飛行時間ＴＯＦセンサーまたは構造光センサーである。
いくつかの実施例では、第一センサーおよび前記第二センサーは同一デバイスに集積され、例えば３Ｄカメラに集積される。
いくつかの実施例では、目標画像に対してキーポイント検出を行う前に、前記方法は、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させることをさらに含む。
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることに関して、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることと、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることと、
前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含む。
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含み、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
いくつかの実施例では、前記第一ニューラルネットワークおよび前記第二ニューラルネットワークは同一のネットワーク構造を有する。
いくつかの実施例では、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得ることと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得ることと、を含む。
いくつかの実施例では、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、
前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得ることと、
前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることと、
前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得ることと、を含む。
いくつかの実施例では、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することに関して、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得ることと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を得ることと、を含む。
いくつかの実施例では、前記第三特徴情報に基づいて、生体検知結果を判定することに関して、
前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定することと、を含む。
本開示の実施例に係る他の態様によれば、
第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように配置される取得モジュールと、
前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得るように配置される検出モジュールと、
前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように配置される判定モジュールと、を含む生体検知装置が提供される。
いくつかの実施例では、前記目標対象物が顔である。
いくつかの実施例では、前記第二センサーが画像センサーであり、例えば、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
いくつかの実施例では、前記第一センサーが深度センサーであり、例えば、前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである。
いくつかの実施例では、第一センサーおよび前記第二センサーは同一のデバイスに集積され、例えば３Ｄカメラに集積される。
いくつかの実施例では、前記装置はさらに、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させるように配置される整列モジュールを含む。
いくつかの実施例では、前記判定モジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように配置される第一判定サブモジュールと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように配置される第二判定サブモジュールと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定サブモジュールと、を含む。
いくつかの実施例では、前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、
前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される。
いくつかの実施例では、前記第一ニューラルネットワークおよび前記第二ニューラルネットワークは同一のネットワーク構造を有する。
いくつかの実施例では、前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得るように構成される第一畳み込みユニットと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得るように構成される第一ダウンサンプリングユニットと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される第一判定ユニットと、を含む。
いくつかの実施例では、前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得るように構成される第二畳み込みユニットと、前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得るように構成される第二ダウンサンプリングユニットと、前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される第二判定ユニットと、を含む。
いくつかの実施例では、前記第三判定サブモジュールは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得るように構成される全結合ユニットと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む。
いくつかの実施例では、前記第三判定ユニットは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得るように構成される第一判定サブユニットと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む。
本開示の実施例が提供する生体検知装置は上記任意の実施例における生体検知方法を実行するために用いられるものであり、上記任意の可能な生体検知方法のステップおよび／またはプロセスを実行するためのモジュールおよびユニットを含む。
本開示の実施例に係る別の態様によれば、プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリと、を含み、前記プロセッサが上記方法を実行するように構成される生体検知装置が提供される。
本開示の実施例に係る他の態様によばれ、プロセッサにより実行される時に上記方法を実現するコンピュータプログラム命令が記憶されている不揮発性コンピュータ可読記憶媒体が提供される。
本開示の実施例に係る別の態様によれば、上記生体検知装置、前記第一センサーおよび前記第二センサーを含む生体検知システムが提供される。
本開示の実施例に係る他の態様によれば、上記不揮発性コンピュータ可読記憶媒体、前記第一センサーおよび前記第二センサーを含む生体検知システムが提供される。
本開示の実施例に係る別の態様によれば、
目標対象物の深度情報を検出するように構成される第一センサーと、
前記目標対象物を含む目標画像を収集するように構成される第二センサーと、
前記第二センサーにより収集される目標対象物に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得て、かつ前記第一センサーにより検出される前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように構成されるプロセッサと、を含む電子機器が提供される。
いくつかの実施例では、前記第二センサーがＲＧＢセンサーまたは近赤外センサーである。
いくつかの実施例では、前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである。
いくつかの実施例では、前記プロセッサはさらに、前記第一センサーのパラメータおよび前記第二センサーのパラメータに基づいて、前記目標対象物の深度情報と前記目標画像を整列させるように構成される。
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得て、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得て、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、
前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
いくつかの実施例では、前記プロセッサは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得て、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得て、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される。
いくつかの実施例では、前記プロセッサは、前記目標画像および前記目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得て、前記第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得て、前記第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される。
いくつかの実施例では、前記プロセッサは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得て、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
いくつかの実施例では、前記プロセッサは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得て、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される。
本開示の各態様の生体検知方法は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができる。以下の参照図面による例示的な実施例への詳細な説明に基づいて、本開示の他の特徴および態様は明確になる。
明細書に含まれかつ明細書の一部となる図面は明細書と併せて本開示の例示的な実施例、特徴および態様を示し、かつ本開示の原理を解釈するために用いられる。
本開示の実施例に係る生体検知方法のフローチャートを示す。 本開示の実施例に係る生体検知方法の例示的なフローチャートを示す。 本開示の実施例に係る生体検知方法のステップＳ１３の例示的なフローチャートを示す。 本開示の実施例に係る顔に応用する生体検知装置のブロック図を示す。 本開示の実施例に係る図４Ａにおけるデータ前処理モジュールのブロック図を示す。 本開示の実施例に係る図４Ａにおけるディープニューラルネットワークモジュールのブロック図を示す。 本開示の実施例に係る生体検知方法のステップＳ１３１の例示的なフローチャートを示す。 本開示の実施例に係る生体検知方法のステップＳ１３２の例示的なフローチャートを示す。 本開示の実施例に係る生体検知方法のステップＳ１３３の例示的なフローチャートを示す。 本開示の実施例に係る生体検知方法のステップＳ１３３２の例示的なフローチャートを示す。 本開示の実施例に係る生体検知装置のブロック図を示す。 本開示の実施例に係る生体検知装置の例示的なブロック図を示す。 例示的な実施例により示される生体検知装置８００のブロック図である。
以下に図面と関連付けて本開示の様々な例示的な実施例、特徴および態様を詳細に説明する。図面において、同じ参照符号は機能が同じ又は類似する部品を示す。図面では実施例の様々な態様を示すが、特に断らない限り、比例に基づいて図面を作成する必要がない。ここで、特定語「例示的」とは「例、実施例または説明的なものとして用いられること」を指す。ここで「例示的」なものとして説明される何らの実施例も他の実施例より優れるまたは好ましいと解釈される必要がない。また、本開示をよりよく説明するために、後述の具体的な実施形態には多くの具体的な詳細を示す。当業者は、ある具体的な詳細がなくても、本開示の実施例は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の実施例の趣旨を強調するよう、当業者が精通している方法、手段、部品および電気回路を詳細に説明しない。
図１は本開示の実施例に係る生体検知方法のフローチャートを示す。該方法はスマートフォン、タブレットコンピュータ、ディジタルカメラまたは出入管理装置などの顔認識機能を有する端末装置に応用することができる。該方法はフェイスアンロック、顔パスペイメント、セルフサービススーパーマーケットおよびビデオ監視などのシーンに応用することができる。図１に示すように、該方法はステップＳ１１からステップＳ１３を含む。
ステップＳ１１では、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得する。
いくつかの実施例では、目標対象物が顔である。いくつかの実施例では、第一センサーが三次元センサーである。例えば、第一センサーはＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、飛行時間）センサー、構造光センサー、双眼センサーまたは他のタイプの深度センサーであってもよい。三次元センサーで目標対象物の深度情報を取得することによって、高精度の深度情報を得ることができる。本開示の実施例は目標対象物を含む深度情報を利用して生体検知を行い、目標対象物の深度情報を十分に掘り出すことができ、それにより生体検知の正確性を向上させることができる。例えば、目標対象物は顔である場合、本開示の実施例は顔を含む深度情報を利用して生体検知を行い、顔データの深度情報を十分に掘り出すことができ、それにより生体顔検出の正確性を向上させることができる。
ＴｏＦセンサー、構造光センサーおよび双眼センサーを挙げて第一センサーを以上のように説明したが、当業者にとって、本開示の実施例はこれらに限定されるべきではないことが理解できることを説明すべきである。当業者は、第一センサーで目標対象物の深度情報を検知することさえできれば、実際の応用シーンにおける需要および／または個人的好みに基づいて第一センサーのタイプを自由に選択することができる。
本開示の実施例において、目標対象物の深度情報は目標対象物の深度を体現できる任意の情報であってもよく、本開示の実施例は目標対象物の深度情報の具体的な実現形態を限定しない。いくつかの実施例では、目標対象物の深度情報は目標対象物の深度画像であってもよい。他の実施例では、目標対象物の深度情報は目標対象物のポイントクラウドであってもよい。ここで、目標対象物のポイントクラウドは目標対象物の各ポイントの三次元座標を記録することができる。別の実施例では、目標対象物の深度情報は目標対象物の各ポイントの深度を記録するテーブルまたは他のタイプのファイルであってもよい。
いくつかの実施例では、第二センサーはＲＧＢ（Ｒｅｄ／赤、Ｇｒｅｅｎ／緑、Ｂｌｕｅ／青）センサーまたは近赤外センサーであってもよい。第二センサーがＲＧＢセンサーまたは他のタイプの画像センサーであれば、第二センサーにより検知される目標画像はＲＧＢ画像となる。第二センサーが近赤外センサーであれば、第二センサーにより検知される目標画像は近赤外画像となる。ここで、近赤外画像はスペックル付きの近赤外画像であってもよく、スペックルのない近赤外画像などであってもよい。ＲＧＢセンサーおよび近赤外センサーを挙げて第二センサーを以上のように説明したが、当業者にとって、本開示の実施例はこれらに限定されるべきではないことが理解できることを説明すべきである。当業者は、第二センサーにより検知される目標画像によって目標対象物のキーポイント情報を取得することさえできれば、実際の応用シーンにおける需要および／または個人的好みに基づいて第二センサーのタイプを自由に選択することができる。
いくつかの実施例では、３Ｄカメラによって深度画像および目標画像を収集し、ここで、３Ｄカメラは画像を収集するための画像センサーおよび深度情報を収集するための深度センサーを含む。例えば、端末装置は自体に設置される３Ｄカメラによって目標対象物の三次元情報を収集する。他の実施例では、他の設備から深度情報および目標画像を取得し、例えば、端末装置により送信される、前記深度情報および目標画像が携帯されている生体検知リクエストを受信する。
ステップＳ１２では、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得る。
ここで、目標対象物のキーポイント情報は目標対象物のキーポイントの位置情報を含んでもよい。
本開示の実施例において、目標対象物が顔であれば、目標対象物のキーポイントは目キーポイント、眉毛キーポイント、鼻キーポイント、口キーポイントおよび顔輪郭キーポイントのうちの一つまたは複数を含んでもよい。ここで、目キーポイントは目輪郭キーポイント、目頭キーポイントおよび瞳孔キーポイントなどのうちの一つまたは複数を含んでもよい。
ステップＳ１３では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得る。
ここで、目標対象物の生体検知結果は目標対象物が生体、または目標対象物が偽物であってもよく、例えば目標対象物の生体検知結果は目標対象物が生体顔、または目標対象物が偽顔であってもよい。
本開示の実施例は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができる。
図２は本開示の実施例に係る生体検知方法の例示的なフローチャートを示す。図２に示すように、該方法はステップＳ２１からステップＳ２４を含んでもよい。
ステップＳ２１では、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得する。ここで、ステップＳ２１は前文のステップＳ１１に対する記述を参照されたい。ステップＳ２２では、第一センサーのパラメータおよび第二センサーのパラメータに基づいて、目標対象物の深度情報と目標画像を整列させる。
いくつかの実施例では、目標画像の深度情報を変換処理し、変換処理された深度情報と目標画像を整列させるようにしてもよい。例えば、目標対象物の深度情報は目標対象物の深度画像である場合、第一センサーのパラメータ行列および第二センサーのパラメータ行列に基づいて、第一センサーのパラメータ行列から第二センサーのパラメータ行列への変換行列を決定し、該変換行列に基づいて、目標対象物の深度画像を変換する。
別の実施例では、目標画像を変換処理し、変換処理された目標画像と深度情報を整列させるようにしてもよい。例えば、目標対象物の深度情報は目標対象物の深度画像である場合、第一センサーのパラメータ行列および第二センサーのパラメータ行列に基づいて、第二センサーのパラメータ行列から第一センサーのパラメータ行列への変換行列を決定し、該変換行列に基づいて、目標画像を変換する。
本開示の実施例では、第一センサーのパラメータは第一センサーの内部パラメータおよび／または外部パラメータを含んでもよく、第二センサーのパラメータは第二センサーの内部パラメータおよび／または外部パラメータを含んでもよい。
本開示の実施例では、目標対象物の深度情報は目標対象物の深度画像である場合、目標対象物の深度情報と目標画像を整列させることによって、目標対象物の深度画像および目標画像における対応する部分の二つの画像での位置を同一にすることができる。
ステップＳ２３では、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得る。ここで、ステップＳ２３は前文のステップＳ１２に対する記述を参照されたい。
ステップＳ２４では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得る。ここで、ステップＳ２４は前文のステップＳ１３に対する記述を参照されたい。
図３は本開示の実施例に係る生体検知方法のステップＳ１３の例示的なフローチャートを示す。図３に示すように、ステップＳ１３はステップＳ１３１からステップＳ１３３を含んでもよい。
ステップＳ１３１では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得る。
いくつかの実施例では、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることに関して、目標対象物の深度情報および目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含む。該実現形態の一例として、第一ニューラルネットワークは畳み込み層、ダウンサンプリング層および全結合層を含んでもよい。例えば、第一ニューラルネットワークは一段の畳み込み層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第一ニューラルネットワークは多段の畳み込み層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｉ段目の畳み込み層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｉもｎも正の整数であり、１≦ｉ≦ｎで、ｎは第一ニューラルネットワークにおける畳み込み層およびダウンサンプリング層の段数を示す。
該実現形態の他例として、第一ニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層および全結合層を含んでもよい。例えば、第一ニューラルネットワークは一段の畳み込み層、一つの正規化層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。
また、例えば、第一ニューラルネットワークは多段の畳み込み層、複数の正規化層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｉ段目の畳み込み層の後にｉ個目の正規化層がカスケードされ、ｉ個目の正規化層の後にｉ段目のダウンサンプリング層がカスケードされ、ｉ段目のダウンサンプリング層の後にｉ＋１段目の畳み込み層がカスケードされ、ｎ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｉもｎも正の整数であり、１≦ｉ≦ｎで、ｎは第一ニューラルネットワークにおける畳み込み層、ダウンサンプリング層の段数および正規化層の数を示す。
ステップＳ１３２では、目標対象物のキーポイント情報に基づいて、第二特徴情報を得る。
いくつかの実施例では、目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることに関して、目標画像および目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む。
該実現形態の一例として、第二ニューラルネットワークは畳み込み層、ダウンサンプリング層および全結合層を含んでもよい。
例えば、第二ニューラルネットワークは一段の畳み込み層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第二ニューラルネットワークは多段の畳み込み層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｊ段目の畳み込み層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｊもｍも正の整数であり、１≦ｊ≦ｍで、ｍは第二ニューラルネットワークにおける畳み込み層およびダウンサンプリング層の段数を示す。
該実現形態の他例として、第二ニューラルネットワークは畳み込み層、ダウンサンプリング層、正規化層および全結合層を含んでもよい。例えば、第二ニューラルネットワークは一段の畳み込み層、一つの正規化層、一段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。また、例えば、第二ニューラルネットワークは多段の畳み込み層、複数の正規化層、多段のダウンサンプリング層および一段の全結合層を含んでもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層、該段の全結合層は一つまたは複数の全結合層を含んでもよい。そのうち、ｊ段目の畳み込み層の後にｊ個目の正規化層がカスケードされ、ｊ個目の正規化層の後にｊ段目のダウンサンプリング層がカスケードされ、ｊ段目のダウンサンプリング層の後にｊ＋１段目の畳み込み層がカスケードされ、ｍ段目のダウンサンプリング層の後に全結合層がカスケードされ、ここで、ｊもｍも正の整数であり、１≦ｊ≦ｍで、ｍは第二ニューラルネットワークにおける畳み込み層、ダウンサンプリング層の段数および正規化層の数を示す。
いくつかの実施例では、第一ニューラルネットワークおよび第二ニューラルネットワークは同一のネットワーク構造を有する。
ステップＳ１３３では、第一特徴情報および第二特徴情報に基づいて、目標対象物の生体検知結果を判定する。
本開示の実施例はステップＳ１３１およびステップＳ１３２を実行する優先順位を限定せず、ステップＳ１３１およびステップＳ１３２をステップＳ１３３の前に実行すればよいことを説明すべきである。例えば、ステップＳ１３１を実行してからステップＳ１３２を実行してもよく、またはステップＳ１３２を実行してからステップＳ１３１を実行してもよく、またはステップＳ１３１およびステップＳ１３２を同時に実行してもよい。
図５は本開示の実施例に係る生体検知方法のステップＳ１３１の例示的なフローチャートを示す。図５に示すように、ステップＳ１３１はステップＳ１３１１からステップＳ１３１３を含んでもよい。
ステップＳ１３１１では、目標対象物の深度情報および目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得る。
ステップＳ１３１２では、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得る。
いくつかの実施例では、一段の畳み込み層および一段のダウンサンプリング層によって目標対象物の深度情報および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。
他の可能な実現形態では、多段の畳み込み層および多段のダウンサンプリング層によって目標対象物の深度情報および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。
いくつかの実施例では、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることに関して、第一畳み込み結果を正規化処理し、第一正規化結果を得ることと、第一正規化結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、を含んでもよい。
ステップＳ１３１３では、第一ダウンサンプリング結果に基づいて、第一特徴情報を得る。
いくつかの実施例では、第一ダウンサンプリング結果を全結合層に入力し、全結合層によって第一ダウンサンプリング結果を融合処理（例えば、全結合演算）し、第一特徴情報を得るようにしてもよい。
図６は本開示の実施例に係る生体検知方法のステップＳ１３２の例示的なフローチャートを示す。図６に示すように、ステップＳ１３２はステップＳ１３２１からステップＳ１３２３を含んでもよい。
ステップＳ１３２１では、目標画像および目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得る。
ステップＳ１３２２では、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得る。
いくつかの実施例では、一段の畳み込み層および一段のダウンサンプリング層によって目標画像および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、該段の畳み込み層は一つまたは複数の畳み込み層、該段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。他の可能な実現形態では、多段の畳み込み層および多段のダウンサンプリング層によって目標画像および目標対象物のキーポイント情報に対して畳み込み処理とダウンサンプリング処理を行ってもよい。そのうち、各段の畳み込み層は一つまたは複数の畳み込み層、各段のダウンサンプリング層は一つまたは複数のダウンサンプリング層を含んでもよい。いくつかの実施例では、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることに関して、第二畳み込み結果を正規化処理し、第二正規化結果を得ることと、第二正規化結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得ることと、を含んでもよい。
ステップＳ１３２３では、第二ダウンサンプリング結果に基づいて、第二特徴情報を得る。
いくつかの実施例では、第二ダウンサンプリング結果を全結合層に入力し、全結合層によって第二ダウンサンプリング結果を融合処理（例えば、全結合演算）し、第二特徴情報を得るようにしてもよい。
図７は本開示の実施例に係る生体検知方法のステップＳ１３３の例示的なフローチャートを示す。図７に示すように、ステップＳ１３３はステップＳ１３３１およびステップＳ１３３２を含んでもよい。
ステップＳ１３３１では、第一特徴情報と第二特徴情報を融合処理（例えば、全結合演算）し、第三特徴情報を得る。
いくつかの実施例では、第一特徴情報と第二特徴情報を結合（例えば、チャンネル重ね合わせ）するかまたは加算処理し、第三特徴情報を得るようにしてもよい。一例では、全結合層によって第一特徴情報と第二特徴情報の全結合演算を行い、第三特徴情報を得る。
ステップＳ１３３２では、第三特徴情報に基づいて、目標対象物の生体検知結果を判定する。
図８は本開示の実施例に係る生体検知方法のステップＳ１３３２の例示的なフローチャートを示す。図８に示すように、ステップＳ１３３２はステップＳ１３３２１およびステップＳ１３３２２を含んでもよい。
ステップＳ１３３２１では、第三特徴情報に基づいて、目標対象物が生体である確率を得る。
いくつかの実施例では、第三特徴情報をＳｏｆｔｍａｘ層に入力し、Ｓｏｆｔｍａｘ層によって目標対象物が生体である確率を得るようにしてもよい。該実現形態の一例として、Ｓｏｆｔｍａｘ層は二つのニューロンを含んでもよく、このうち、一つのニューロンは目標対象物が生体である確率を代表し、他のニューロンは目標対象物が偽物である確率を代表する。
ステップＳ１３３２２では、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定する。
いくつかの実施例では、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定することに関して、目標対象物が生体である確率は第一閾値より大きい場合、目標対象物の生体検知結果につき目標対象物が生体であると判定することと、目標対象物が生体である確率は第一閾値以下の場合、目標対象物の生体検知結果は偽物であると判定することと、を含む。図８に示すプロセスを挙げてステップＳ１３３２の実現形態を以上のように説明したが、当業者にとって、本開示の実施例はこれに限定されるべきではないことが理解できることを説明すべきである。他の可能な実現形態では、第三特徴情報に基づいて、目標対象物が偽物である確率を得て、かつ目標対象物が偽物である確率に基づいて、目標対象物の生体検知結果を判定するようにしてもよい。該実現形態では、目標対象物が偽物である確率は第二閾値より大きい場合、目標対象物の生体検知結果につき目標対象物が偽物であると判定し、目標対象物が偽物である確率は第二閾値以下の場合、目標対象物の生体検知結果は生体であると判定する。
本開示の実施例は目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させることができ、かつ計算の複雑度が低く、カメラが軽く揺動または振動する場合にも正確な生体検知結果を得ることができる。
顔認識技術の発展に伴い、顔認識の正確度は指紋を超えることが可能になっているため、様々なシーン、例えば、ビデオ監視、フェイスアンロック、顔パスペイメントなどの用途に活用されている。しかし、顔認識にはｈａｃｋ（攻撃）されやすい脆弱性が存在し、顔認識の応用には生体検知が不可欠な一環である。
単眼生体検知は一般的なカメラにより収集される画像を入力として用いるため、ブレのない高解像度ｈａｃｋ画像が通過しやすいという欠陥がある。双眼生体検知技術は二つのカメラ（一般的なＲＧＢカメラまたは一般的な近赤外カメラ）を入力として用いることによって、性能が単眼生体検知よりも優れる。しかし、双眼マッチングによって顔の深度分布情報を計算する際、計算量が大きく、深度情報の精度が低いという欠陥が存在し、かつカメラは揺動、振動などの場合にカメラのパラメータ変化による計算無効が発生しやすい。近年、飛行時間(Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、ＴＯＦ)センサー、構造光センサー、双眼センサーなどを含む三次元(３Ｄ、３Ｄｉｍｅｎｓｉｏｎｓ)センサー技術のめざましい発展によって、ユーザはセンサー(Ｓｅｎｓｏｒ)から高精度の深度情報を容易に直接取得することができる。本開示の実施例では３Ｄデータおよび近赤外データまたはＲＧＢカラーモードのデータを入力として、近赤外画像またはＲＧＢ画像を利用して顔キーポイント情報を求め、そして顔３Ｄ深度画像、近赤外画像またはＲＧＢ画像、顔キーポイント情報、目頭特徴、瞳孔特徴などのうちの一つまたは複数を融合し、深度学習モデルを利用して真の顔とｈａｃｋをより効率的に区別することができる。
図４Ａは本開示の実施例に係る顔に応用する生体検知装置の概略ブロック図を示す。図４Ａに示すように、該生体検知装置は入力モジュール４１、データ前処理モジュール４２、ディープニューラルネットワークモジュール４３および検出結果出力モジュール４４を含む。
入力モジュール４１は、異なるハードウェアモジュールのデータ入力に適し、入力モジュールのデータ入力形式は、深度画像、純粋な近赤外画像、スペックル付きの近赤外画像、ＲＧＢ画像などのうちの一種または複数種を含む。具体的な組み合わせ形式はハードウェアソリューションによって決定する。
データ前処理モジュール４２は、入力モジュールにより入力されるデータを前処理し、ディープニューラルネットワークに必要なデータを得るために用いられる。図４Ｂは本開示の実施例に係る図４Ａにおけるデータ前処理モジュール４２の一つの実現形態の例示的なブロック図を示し、そのうち、データ前処理モジュールの入力は、深度センサーにより取得される深度画像および画像センサーにより取得される画像（純粋な近赤外画像、スペックル付きの赤外画像、ＲＧＢ画像など）を含み、図４Ｂに示す例では深度画像４２１および近赤外画像４２２をデータ前処理モジュール４２の入力とする。いくつかの可能な実現形態では、データ前処理モジュールにより入力データを処理するプロセスは、画像整列補正４２３および顔キーポイント検出４２４というプロセスであり、このうち、顔キーポイント検出は顔キーポイントモデルによって実現できる。
画像整列補正４２３では、深度画像と近赤外画像（またはＲＧＢ画像）が同期整列していない場合、カメラのパラメータ行列に基づいて入力される深度画像と近赤外画像を整列／補正する必要があり、それによって画像の整列を実現する。
顔キーポイント検出４２４では、近赤外画像（またはＲＧＢ画像）を顔キーポイントモデルに入力して顔キーポイント検出を行い、顔キーポイント情報４２５を得る。
データ前処理モジュールの出力につき、出力形式が入力に対応し、整列補正された顔深度画像（入力される深度画像４２１に対応する）、顔近赤外画像（入力される近赤外画像４２２に対応する）および顔キーポイント情報を含む。いくつかの実施例では、ディープニューラルネットワークモジュール４３はバイナリ分類モデルであり、例えば、真の顔に対して、分類のラベル(ｌａｂｅｌ)が０となり、ｈａｃｋの顔に対して、分類のｌａｂｅｌが１となる。さらに、例えば、真の顔に対して、分類のラベル(ｌａｂｅｌ)が１となり、ｈａｃｋの顔に対して、分類のｌａｂｅｌが０となるなどである。図４Ｃは本開示の実施例に係る図４Ａにおけるディープニューラルネットワークモジュールの一例のブロック図を示し、図４Ｃに示すように、ディープニューラルネットワークモジュールの入力は、データ前処理モジュールを経由して得られる顔深度画像４３１、顔近赤外画像４３２（または他の形式の二次元顔画像）および顔キーポイント情報４３３を含む。いくつかの実施例では、ディープニューラルネットワークモジュールの出力は、判定スコア、即ち真人またはｈａｃｋであると判定する確率を含む。ディープニューラルネットワークの出力は一つのバイナリ値であり、出力スコアと所定の閾値を比較し、このうち、閾値の設定は正確率およびリコール率に基づいて調整してもよく、例えば、ニューラルネットワークの出力スコアは閾値より大きい場合、ｈａｃｋであると判定し、閾値より小さい場合、生体であると判定するなどである。
図４Ｃに示す例では、ディープニューラルネットワークは多分岐モデルであり、分岐の数は入力画像の数に依存し、図４Ｃは顔深度画像および顔近赤外画像を例として、ディープニューラルネットワークは二つの分岐を含み、各分岐も複数の畳み込み層４３４、ダウンサンプリング層４３５および全結合層４３６を含み、ここで、顔深度画像４３１および顔キーポイント情報４３３を第一分岐に入力して特徴を抽出し、顔近赤外画像４３２および顔キーポイント情報４３３を第二分岐に入力して特徴を抽出し、最後に複数の分岐から抽出された特徴を一体に結合して全結合層４３７に入力し、最終的にＳｏｆｔｍａｘ層４３８の処理によって出力結果を得て、出力層のニューロン数は２とし、それぞれ真人およびｈａｃｋである確率を代表する。図４Ｃの二つの分岐の入力も顔キーポイント情報を含むが、全結合層４３７はまさに顔キーポイント情報を利用して二つの分岐の全結合層４３６から出力される特徴情報を融合し、仮に第一分岐において全結合層４３６から第一特徴情報が出力され、第二分岐において全結合層４３６から第二特徴情報が出力されると、全結合層４３７は顔キーポイント情報を利用して全結合演算によって第一特徴情報と第二特徴情報を一体に融合するということを説明すべきである。換言すれば、本開示の実施例では、顔キーポイント情報を利用し、顔深度画像と顔近赤外画像を融合し、それにより最終的な出力結果を得る。
検出結果出力モジュール４４の出力方式は複数ある。一例では、真の顔に対して、出力される結果が０と標識され、ｈａｃｋの顔に対して、出力される結果が１と標識されるが、本開示の実施例はこれを限定しない。
本開示の実施例が提供する技術手段は、以下の少なくとも一つの特徴を有する。
１）いくつかの実施例では、深度情報を有する３Ｄセンサーおよび他の補助画像、例えば近赤外画像、ＲＧＢ画像などを結合する。即ち複数の新しい３Ｄデータを、顔深度データ分配の基礎として利用する。一方、提供されるフレームは、ＴＯＦカメラにより提供される３Ｄ深度画像＋近赤外画像、構造光カメラにより提供される３Ｄ深度画像＋スペックル付きの近赤外画像、３Ｄ深度画像＋ＲＧＢ画像、３Ｄ深度画像＋近赤外画像＋ＲＧＢ画像、および３Ｄ深度画像および近赤外画像またはＲＧＢ画像を含む他の形式など、様々な３Ｄセンサーの入力形式に適する。関連技術では、一般的なカメラおよび双眼を主とし、顔データの深度情報を十分に掘り出さず、ブレのない高解像度ｈａｃｋにより攻撃されやすいという欠陥があるが、本開示の実施例は３Ｄセンサーにより収集される顔深度画像を利用して平面上のｈａｃｋ攻撃を防止することができる。
２）いくつかの実施例では、３Ｄ深度情報、他の近赤外データまたはＲＧＢデータ、顔キーポイント情報および目頭や瞳孔特徴を融合し、深度学習モデルによる訓練によって真人とｈａｃｋを区別する。関連する検出方法では、単一のデータを主とし、マルチモーダルデータ同士の関連性および相補性を利用しない。つまり、一般的な双眼による深度算出方法には、計算の複雑度が高く、精度が低いという欠陥があるが、本開示の実施例は現在の３Ｄセンシング技術を効果的に利用してより正確な３Ｄ顔データ分配を実現することができる。
３）いくつかの実施例では、多分岐モデルを融合し、多分岐モデルはマルチモーダルのデータを十分に融でき、かつ複数のデータタイプとの互換性を有し、ニューラルネットワークによって真の顔情報特徴を学習できる。本開示の実施例は顔深度情報、近赤外顔情報またはＲＧＢ画像顔情報、顔キーポイント情報および目頭、目、瞳孔などの多次元バイオメトリック融合技術を融合し、単一の技術が指向的にｈａｃｋされやすいという欠陥を補う。
図９は本開示の実施例に係る生体検知装置のブロック図を示す。図９に示すように、該装置は、第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように構成される取得モジュール９１と、目標画像に対してキーポイント検出を行い、目標対象物のキーポイント情報を得るように構成される検出モジュール９２と、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、目標対象物の生体検知結果を得るように構成される判定モジュール９３と、を含む。いくつかの実施例では、目標対象物が顔である。いくつかの実施例では、第二センサーがＲＧＢセンサーまたは近赤外センサーである。
図１０は本開示の実施例に係る生体検知装置の例示的なブロック図を示す。図１０に示すように、いくつかの実施例では、該装置は、第一センサーのパラメータおよび第二センサーのパラメータに基づいて、目標対象物の深度情報および目標画像を整列させるように構成される整列モジュール９４をさらに含む。
いくつかの実施例では、判定モジュール９３は、目標対象物の深度情報および目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように構成される第一判定サブモジュール９３１と、目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように構成される第二判定サブモジュール９３２と、第一特徴情報および第二特徴情報に基づいて、目標対象物の生体検知結果を判定するように構成される第三判定サブモジュール９３３と、を含む。
いくつかの実施例では、第一判定サブモジュール９３１は、目標対象物の深度情報および目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、第二判定サブモジュール９３２は、目標画像および目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される。いくつかの実施例では、第一ニューラルネットワークおよび第二ニューラルネットワークは同一のネットワーク構造を有する。
いくつかの実施例では、第一判定サブモジュール９３１は、目標対象物の深度情報および目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得るように構成される第一畳み込みユニットと、第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得るように構成される第一ダウンサンプリングユニットと、第一ダウンサンプリング結果に基づいて、第一特徴情報を得るように構成される第一判定ユニットと、を含む。
いくつかの実施例では、第二判定サブモジュール９３２は、目標画像および目標対象物のキーポイント情報を畳み込み処理し、第二畳み込み結果を得るように構成される第二畳み込みユニットと、第二畳み込み結果をダウンサンプリング処理し、第二ダウンサンプリング結果を得るように構成される第二ダウンサンプリングユニットと、第二ダウンサンプリング結果に基づいて、第二特徴情報を得るように構成される第二判定ユニットと、を含む。
いくつかの実施例では、第三判定サブモジュール９３３は、第一特徴情報と第二特徴情報を融合処理（例えば、全結合演算）し、第三特徴情報を得るように構成される全結合ユニットと、第三特徴情報に基づいて、目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む。
いくつかの実施例では、第三判定ユニットは、第三特徴情報に基づいて、目標対象物が生体である確率を得るように構成される第一判定サブユニットと、目標対象物が生体である確率に基づいて、目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む。本開示の実施例では目標対象物の深度情報と目標画像を組み合わせて生体検知を行うことによって、目標対象物の深度情報および目標画像における目標対象物のキーポイント情報を利用して生体検知を行うことができ、それにより生体検知の正確性を向上させ、偽物画像の攻撃を防止することができる。
図１１は例示的な実施例により示される生体検知装置８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、ディジタル放送端末、メッセージ送受信設備、ゲームコンソール、タブレットデバイス、医療機器、フィットネス装置、パーソナルディジタルアシスタントなどであってもよい。図１１を参照すると、装置８００は、処理アセンブリ８０２、メモリ８０４、電源アセンブリ８０６、マルチメディアアセンブリ８０８、オーディオアセンブリ８１０、入力／出力(Ｉ／Ｏ)インタフェース８１２、センサーアセンブリ８１４および通信アセンブリ８１６のうちの一つまたは複数のアセンブリを含んでもよい。
処理アセンブリ８０２は通常、装置８００全体の動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理アセンブリ８０２は一つまたは複数のプロセッサ８２０を含んで命令を実行し、上記方法の全てまたは一部のステップを達成させるようにしてもよい。また、処理アセンブリ８０２は一つまたは複数のモジュールを含み、それによって処理アセンブリ８０２と他のアセンブリの間のインタラクティブを容易にするようにしてもよい。例えば、処理アセンブリ８０２はマルチメディアモジュールを含み、それによってマルチメディアアセンブリ８０８と処理アセンブリ８０２の間のインタラクティブを容易にするようにしてもよい。
メモリ８０４は様々なタイプのデータを記憶して装置８００での動作をサポートするように構成される。これらのデータの例は装置８００で動作するための任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせ、例えばスタティックランダムアクセスメモリ(ＳＲＡＭ)、電気的消去可能プログラマブル読み取り専用メモリ(ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ(ＥＰＲＯＭ)、プログラマブル読み取り専用メモリ(ＰＲＯＭ)、読み出し専用メモリ(ＲＯＭ)、磁気記憶装置、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現できる。電源アセンブリ８０６は装置８００の様々なアセンブリへ電力を供給する。電源アセンブリ８０６は電源管理システム、一つまたは複数の電源、および装置８００の電力発生、管理および分配に関する他のアセンブリを含んでもよい。
マルチメディアアセンブリ８０８は前記装置８００とユーザの間に一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(ＬＣＤ)およびタッチパネル(ＴＰ)を含んでもよい。スクリーンはタッチパネルを含む場合、スクリーンはタッチスクリーンとして実現され、ユーザからの入力信号を受信する。タッチパネルは一つまたは複数のタッチセンサーを含んでタッチ、スライドおよびタッチパネル上の手振りを検知する。前記タッチセンサーはタッチまたはスライド動作の境界を検知するだけでなく、前記タッチまたはスライド動作に関する持続時間および圧力をも検出するようにしてもよい。いくつかの実施例では、マルチメディアアセンブリ８０８は一つのフロントカメラおよび／またはリアカメラを含む。装置８００は動作モード、例えば撮影モードまたはビデオモードである時、フロントカメラおよび／またはリアカメラは外部のマルチメディアデータを受信できる。各フロントカメラおよびリアカメラは一つの固定した光学レンズシステムであってもよく、または焦点距離と光学ズーム能力を有してもよい。オーディオアセンブリ８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオアセンブリ８１０は一つのマイクロフォン(ＭＩＣ)を含み、装置８００は動作モード、例えば呼び出しモード、記録モードおよび音声識別モードである時、マイクロフォンは外部オーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶するかまたは通信アセンブリ８１６を経由して送信するようにしてもよい。いくつかの実施例では、オーディオアセンブリ８１０はさらに、オーディオ信号を出力するための一つのスピーカーを含む。Ｉ／Ｏインタフェース８１２は処理アセンブリ８０２と周辺インタフェースモジュールの間にインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、始動ボタンおよびロックボタンを含んでもよいがこれらに限定されない。
センサーアセンブリ８１４は一つまたは複数のセンサーを含み、装置８００に対して様々な態様の状態評価を提供するために用いられる。例えば、センサーアセンブリ８１４は装置８００のオン／オフ状態、アセンブリの相対位置決めを検出でき、例えば前記アセンブリは装置８００のディスプレイおよびキーパッドであり、センサーアセンブリ８１４はさらに装置８００または装置８００の一つのアセンブリの位置変化、ユーザと装置８００の接触が存在しているか否か、装置８００の方位または加速／減速および装置８００の温度変化を検出できる。センサーアセンブリ８１４は、いかなる物理的接触もない時に近所物体の存在を検出するために用いられるように構成される近接センサーを含んでもよい。センサーアセンブリ８１４はさらに、画像形成アプリケーションに使用するための光センサー、例えばＣＭＯＳまたはＣＣＤ画像センサーを含んでもよい。いくつかの実施例では、該センサーアセンブリ８１４はさらに加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサーまたは温度センサーを含んでもよい。
通信アセンブリ８１６は装置８００と他の設備の間の有線または無線方式の通信を容易にするように構成される。装置８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一つの例示的な実施例では、通信アセンブリ８１６は放送チャンネルを経由して外部放送管理システムからの放送信号または放送関連情報を受信する。一つの例示的な実施例では、前記通信アセンブリ８１６はさらに、短距離通信を促進する近接場通信(ＮＦＣ)モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別(ＲＦＩＤ)技術、赤外線通信協会(ＩｒＤＡ)技術、超広帯域(ＵＷＢ)技術、ブルートゥース(ＢＴ)技術および他の技術に基づいて実現してもよい。
例示的な実施例では、装置８００は一つまたは複数の特定用途向け集積回路(ＡＳＩＣ)、ディジタル信号プロセッサ(ＤＳＰ)、ディジタル信号処理装置(ＤＳＰＤ)、プログラム可能論理デバイス(ＰＬＤ)、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現され、上記方法を実行するために用いられるようにしてもよい。例示的な実施例では、さらに不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は装置８００のプロセッサ８２０により実行されて上記方法を達成するようにしてもよい。
本開示の実施例はシステム、方法および／またはコンピュータプログラムプロダクトであってもよい。コンピュータプログラムプロダクトは、プロセッサが本開示の各態様を実現するためのコンピュータ可読プログラム命令がロードされるコンピュータ可読記憶媒体を含んでもよい。コンピュータ可読記憶媒体は命令実行設備により使用される命令を保持及び記憶可能な有形設備であってもよい。コンピュータ可読記憶媒体は例えば電気記憶装置、磁気記憶装置、光学的記憶装置、電磁記憶装置、半導体記憶装置または上記任意の適切な組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例は（非包括的リスト）、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(ＲＡＭ)、読み出し専用メモリ(ＲＯＭ)、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ(ＳＲＡＭ)、携帯式コンパクトディスク読み出し専用メモリ(ＣＤ−ＲＯＭ)、ディジタル多機能(ＤＶＤ)、メモリースティック、フロッピーディスク、機械的符号化装置、例えば命令を記憶しているせん孔カードまたは溝内突起構造、および上記任意の適切な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波管または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号として解釈されない。
ここで記述されたコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各コンピュータ／処理設備にダウンロードでき、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部コンピュータまたは外部記憶装置にダウンロードできる。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバーを含んでもよい。各コンピュータ／処理設備におけるネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、かつ該コンピュータ可読プログラム命令を転送し、各コンピュータ／処理設備におけるコンピュータ可読記憶媒体に記憶する。
本開示の実施例に係る動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ(ＩＳＡ)命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または一種または複数種のプログラミング言語の任意の組み合わせによって作成されるソースコードまたはオブジェクトコードであってもよく、前記プログラミング言語は対象向けのプログラミング言語例えばＳｍａｌｌｔａｌｋ、Ｃ＋＋など、および一般的な手続的プログラミング言語例えば“Ｃ”言語または類似するプログラミング言語を含む。コンピュータ可読プログラム命令は完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、一つの独立したソフトウェアパッケージとして実行され、一部がユーザコンピュータで実行され一部がリモートコンピュータで実行され、あるいは完全にリモートコンピュータまたはサーバで実行されるようにしてもよい。リモートコンピュータに関する場合、リモートコンピュータはローカルエリアネットワーク(ＬＡＮ)または広域ネットワーク(ＷＡＮ)を含む任意の種類のネットワークを経由してユーザコンピュータ、または、外部コンピュータにアクセスしてもよい（例えば、インターネットサービスプロバイダーを利用してインターネットを経由してアクセスする）。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して電子回路、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(ＦＰＧＡ)またはプログラマブル論理アレイ(ＰＬＡ)をカストマイズすることによって、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の実施例の各態様を実現することができる。
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラムプロダクトのフローチャートおよび／またはブロック図を参照して本開示の実施例の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供し、それによりマシンを生産させ、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される時、フローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作を実現する装置を生成させるようにしてもよい。また、これらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体に記憶し、これらの命令がコンピュータ、プログラマブルデータ処理装置および／または他の設備を特定の方式で作動させ、それにより命令が記憶されているコンピュータ可読媒体が、フローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作の各態様を実現する命令を含む一つの製造品を含むようにしてもよい。
コンピュータ可読プログラム命令はコンピュータ、他のプログラマブルデータ処理装置、または他の設備にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の設備で一連の動作ステップを実行させ、コンピュータによる実現プロセスを生成させ、それによりコンピュータ、他のプログラマブルデータ処理装置、または他の設備で実行される命令がフローチャートおよび／またはブロック図における一つまたは複数のブロックに規定される機能／動作を実現するようにしてもよい。
図面におけるフローチャートおよびブロック図は本開示の実施例に係る複数の実施例のシステム、方法、コンピュータプログラムプロダクトの実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は一つまたは複数の規定される論理機能を実現するための実行可能な命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で発生してもよい。例えば、二つの連続的なブロックは実際には基本的に同時に実行してもよく、それらは場合によって逆な順序で実行してもよく、これは係る機能に依存する。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、規定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよく、または専用ハードウェアとコンピュータ命令の組み合わせによって実現してもよいことに注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されない。当業者にとって、説明される各実施例の範囲および精神から逸脱することなく、多くの修正および変更が自明である。本明細書に用いられた専門用語の選択につき、各実施例の原理、実際の応用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露される各実施例を理解させることを目指す。

Claims (13)

  1. 第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得することと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得ることと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることであって、前記目標対象物の生体検知結果は、前記目標対象物が生体であるか、または目標対象物が偽物である、ことと、を含み、
    前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得ることは、
    前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含み、
    前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得ることを含み、
    前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得ることは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得ることを含む生体検知方法。
  2. 前記第二センサーがＲＧＢセンサーまたは近赤外センサーであり、
    前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである請求項１に記載の方法。
  3. 前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得ることは、
    前記目標対象物の深度情報および前記目標対象物のキーポイント情報を畳み込み処理し、第一畳み込み結果を得ることと、前記第一畳み込み結果をダウンサンプリング処理し、第一ダウンサンプリング結果を得ることと、前記第一ダウンサンプリング結果に基づいて、第一特徴情報を得ることと、を含む請求項１に記載の方法。
  4. 前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定することは、
    前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得ることと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定することと、を含む請求項１から３のいずれか一項に記載の方法。
  5. 前記第三特徴情報に基づいて、生体検知結果を判定することは、
    前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得ることと、
    前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定することと、を含む請求項４に記載の方法。
  6. 第一センサーにより検知される目標対象物の深度情報および第二センサーにより検知される目標画像を取得するように構成される取得モジュールと、前記目標画像に対してキーポイント検出を行い、前記目標対象物のキーポイント情報を得るように構成される検出モジュールと、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、前記目標対象物の生体検知結果を得るように構成される判定モジュールであって、前記目標対象物の生体検知結果は、前記目標対象物が生体であるか、または目標対象物が偽物である、判定モジュールと、を含み、
    前記判定モジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報に基づいて、第一特徴情報を得るように構成される第一判定サブモジュールと、前記目標対象物のキーポイント情報に基づいて、第二特徴情報を得るように構成される第二判定サブモジュールと、前記第一特徴情報および前記第二特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定サブモジュールと、を含み、
    前記第一判定サブモジュールは、前記目標対象物の深度情報および前記目標対象物のキーポイント情報を第一ニューラルネットワークに入力して処理し、第一特徴情報を得るように構成され、前記第二判定サブモジュールは、前記目標画像および前記目標対象物のキーポイント情報を第二ニューラルネットワークに入力して処理し、第二特徴情報を得るように構成される生体検知装置。
  7. 前記第二センサーがＲＧＢセンサーまたは近赤外センサーであり、
    前記第一センサーが飛行時間ＴＯＦセンサーまたは構造光センサーである請求項６に記載の装置。
  8. 前記第三判定サブモジュールは、前記第一特徴情報と前記第二特徴情報を融合処理し、第三特徴情報を得るように構成される全結合ユニットと、前記第三特徴情報に基づいて、前記目標対象物の生体検知結果を判定するように構成される第三判定ユニットと、を含む請求項６に記載の装置。
  9. 前記第三判定ユニットは、前記第三特徴情報に基づいて、前記目標対象物が生体である確率を得るように構成される第一判定サブユニットと、前記目標対象物が生体である確率に基づいて、前記目標対象物の生体検知結果を判定するように構成される第二判定サブユニットと、を含む請求項８に記載の装置。
  10. プロセッサにより実行される時に請求項１から５のいずれか一項に記載の方法を実行するコンピュータプログラム命令が記憶されている不揮発性コンピュータ可読記憶媒体。
  11. 請求項６に記載の生体検知装置、前記第一センサーおよび前記第二センサーを含む生体検知システム。
  12. 請求項１０に記載の不揮発性コンピュータ可読記憶媒体、前記第一センサーおよび前記第二センサーを含む生体検知システム。
  13. プロセッサにより実行される時に請求項１から５のいずれか一項に記載の方法を実行するコンピュータプログラム。
JP2019515661A 2018-05-10 2018-11-14 生体検知方法および装置、システム、電子機器、記憶媒体 Active JP6852150B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810444105.4A CN108764069B (zh) 2018-05-10 2018-05-10 活体检测方法及装置
CN201810444105.4 2018-05-10
PCT/CN2018/115499 WO2019214201A1 (zh) 2018-05-10 2018-11-14 活体检测方法及装置、***、电子设备、存储介质

Publications (2)

Publication Number Publication Date
JP2020522764A JP2020522764A (ja) 2020-07-30
JP6852150B2 true JP6852150B2 (ja) 2021-03-31

Family

ID=64010059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515661A Active JP6852150B2 (ja) 2018-05-10 2018-11-14 生体検知方法および装置、システム、電子機器、記憶媒体

Country Status (5)

Country Link
EP (1) EP3584745A1 (ja)
JP (1) JP6852150B2 (ja)
KR (1) KR20190129826A (ja)
CN (1) CN108764069B (ja)
WO (1) WO2019214201A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764069B (zh) * 2018-05-10 2022-01-14 北京市商汤科技开发有限公司 活体检测方法及装置
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
CN109784149B (zh) * 2018-12-06 2021-08-20 苏州飞搜科技有限公司 一种人体骨骼关键点的检测方法及***
CN111368601B (zh) * 2018-12-26 2021-11-16 北京市商汤科技开发有限公司 活体检测方法和装置、电子设备和计算机可读存储介质
WO2020159437A1 (en) * 2019-01-29 2020-08-06 Agency For Science, Technology And Research Method and system for face liveness detection
CN111507131B (zh) * 2019-01-31 2023-09-19 北京市商汤科技开发有限公司 活体检测方法及装置、电子设备和存储介质
CN111783501A (zh) * 2019-04-03 2020-10-16 北京地平线机器人技术研发有限公司 活体检测方法和装置以及相应的电子设备
CN111860078B (zh) * 2019-04-30 2024-05-14 北京眼神智能科技有限公司 人脸静默活体检测方法、装置、可读存储介质及设备
CN110287900B (zh) * 2019-06-27 2023-08-01 深圳市商汤科技有限公司 验证方法和验证装置
CN110942032B (zh) * 2019-11-27 2022-07-15 深圳市商汤科技有限公司 活体检测方法及装置、存储介质
CN112926367B (zh) * 2019-12-06 2024-06-21 杭州海康威视数字技术股份有限公司 一种活体检测的设备及方法
CN113052034B (zh) * 2021-03-15 2024-07-16 上海商汤智能科技有限公司 基于双目摄像头的活体检测方法及相关装置
CN113191189A (zh) * 2021-03-22 2021-07-30 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113361349B (zh) * 2021-05-25 2023-08-04 北京百度网讯科技有限公司 人脸活体检测方法、装置、电子设备和存储介质
CN113486829B (zh) * 2021-07-15 2023-11-07 京东科技控股股份有限公司 人脸活体检测方法、装置、电子设备及存储介质
WO2023042895A1 (ja) * 2021-09-17 2023-03-23 京セラ株式会社 学習済みモデル生成方法、推論装置、及び学習済みモデル生成装置
CN113989813A (zh) * 2021-10-29 2022-01-28 北京百度网讯科技有限公司 提取图像特征的方法和图像分类方法、装置、设备和介质
CN114333078B (zh) * 2021-12-01 2024-07-23 马上消费金融股份有限公司 活体检测方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156680A (ja) * 2012-01-26 2013-08-15 Kumamoto Univ フェーストラッキング方法、フェーストラッカおよび車両
KR101444538B1 (ko) * 2012-10-26 2014-09-24 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
JP6214334B2 (ja) * 2013-10-23 2017-10-18 日本放送協会 電子機器、判定方法及びプログラム
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技（深圳）有限公司 一种人脸识别方法、装置和***
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN107451510B (zh) * 2016-05-30 2023-07-21 北京旷视科技有限公司 活体检测方法和活体检测***
US11423693B2 (en) * 2016-10-31 2022-08-23 Nec Corporation Image processing device, image processing method, face recognition system, program, and storage medium
CN107368778A (zh) * 2017-06-02 2017-11-21 深圳奥比中光科技有限公司 人脸表情的捕捉方法、装置及存储装置
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764069B (zh) * 2018-05-10 2022-01-14 北京市商汤科技开发有限公司 活体检测方法及装置

Also Published As

Publication number Publication date
EP3584745A4 (en) 2019-12-25
WO2019214201A1 (zh) 2019-11-14
JP2020522764A (ja) 2020-07-30
EP3584745A1 (en) 2019-12-25
CN108764069B (zh) 2022-01-14
KR20190129826A (ko) 2019-11-20
CN108764069A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6852150B2 (ja) 生体検知方法および装置、システム、電子機器、記憶媒体
US10930010B2 (en) Method and apparatus for detecting living body, system, electronic device, and storage medium
JP7026225B2 (ja) 生体検出方法、装置及びシステム、電子機器並びに記憶媒体
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
US11532180B2 (en) Image processing method and device and storage medium
US20210089799A1 (en) Pedestrian Recognition Method and Apparatus and Storage Medium
JP7110412B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
CN109934275B (zh) 图像处理方法及装置、电子设备和存储介质
US20170053156A1 (en) Human face recognition method, apparatus and terminal
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN111243011A (zh) 关键点检测方法及装置、电子设备和存储介质
CN111340048B (zh) 图像处理方法及装置、电子设备和存储介质
CN111310664B (zh) 图像处理方法及装置、电子设备和存储介质
CN111435422B (zh) 动作识别方法、控制方法及装置、电子设备和存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
CN112597944B (zh) 关键点检测方法及装置、电子设备和存储介质
CN111626086A (zh) 活体检测方法、装置及***、电子设备和存储介质
CN112270288A (zh) 活体识别、门禁设备控制方法和装置、电子设备
CN110781842A (zh) 图像处理方法及装置、电子设备和存储介质
CN111178115B (zh) 对象识别网络的训练方法及***
CN114565962A (zh) 人脸图像处理方法及装置、电子设备和存储介质
CN110929546B (zh) 人脸比对方法及装置
CN113807369A (zh) 目标重识别方法及装置、电子设备和存储介质
CN115205942A (zh) 表情识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6852150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250