JP2023048156A - 拡張画像を生成するための方法及び関連する装置 - Google Patents

拡張画像を生成するための方法及び関連する装置 Download PDF

Info

Publication number
JP2023048156A
JP2023048156A JP2022153159A JP2022153159A JP2023048156A JP 2023048156 A JP2023048156 A JP 2023048156A JP 2022153159 A JP2022153159 A JP 2022153159A JP 2022153159 A JP2022153159 A JP 2022153159A JP 2023048156 A JP2023048156 A JP 2023048156A
Authority
JP
Japan
Prior art keywords
image
images
template
biometric
applying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022153159A
Other languages
English (en)
Other versions
JP7386951B2 (ja
Inventor
ステファン ゲントリック,
Gentric Stephane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Idemia Identity and Security France SAS
Original Assignee
Idemia Identity and Security France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Idemia Identity and Security France SAS filed Critical Idemia Identity and Security France SAS
Publication of JP2023048156A publication Critical patent/JP2023048156A/ja
Application granted granted Critical
Publication of JP7386951B2 publication Critical patent/JP7386951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Burglar Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 拡張画像を生成するための方法及び関連する装置を提供する。【解決手段】 個人を示す複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用するステップ(104)と、作成したバイオメトリクテンプレートの平均を構成する平均テンプレートを計算するステップ(106)と、複数の画像からの被選択画像(I0)を修正済み画像(I1)へと修正するステップ(110)であって、修正(110)は平均テンプレート(TM)と修正済み画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、平均テンプレート(TM)と被選択画像(I0)に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正(110)が適応される、修正するステップ(110)とを含む、方法。【選択図】 図2

Description

本発明はバイオメトリクスの分野に関する。
より具体的には、本発明は個人の複数の画像から拡張画像を生成することを含む方法に関する。
知られているバイオメトリク認証システムは、2つの装置、すなわち画像を取得するための画像センサを含む第1の装置及び認証結果をもたらす第2の装置を含み、第1の装置及び第2の装置は通信ネットワークによって通信する。
この種のシステム内で実装される第1の方法は次の通りである:画像センサが個人を示す画像を取得する。その画像が通信ネットワークによって第2の装置に伝送される。第2の装置は、伝送された画像に基づいてバイオメトリクテンプレートを作成する。次いでそのバイオメトリクテンプレートをデータベース内に記憶されている参照テンプレートと比較することができる。計算済みのバイオメトリクテンプレートと参照テンプレートのうちの1つとの間に一致がある場合、その個人を認可ユーザと見なす。しかし、取得される画像に雑音が多い場合、とりわけ画像がぼやけている又はユーザの身体の特色のある部分を十分正確に示さない場合、この第1の方法は誤った結果を招く場合がある。
この問題を克服するために、画像センサが1つだけでなく複数の画像を取得し、第1の方法の中で実装される処理を各画像に適用する第2の方法が提案されている。しかし、この第2の方法には次のような幾つかの欠点がある:まずこの方法は第1の方法よりも多くの帯域幅を消費し(とりわけ1つだけでなく複数の画像が通信ネットワーク内で伝送される)、第2に第1の方法よりも多くの計算負荷を必要とする。
本発明の1つの目的は個人に関するデータを生成することであり、それに基づきバイオメトリク認証を確実に及び通信ネットワーク内でのかかるデータの伝送中に帯域幅の消費を少なくして行うことができる。
そのために、第1の態様によればコンピュータによって実装される方法が提供され、この方法は
- 個人を示す複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用するステップと、
- 作成したバイオメトリクテンプレートの平均を構成する平均テンプレートを計算するステップと、
- 複数の画像からの被選択画像を修正済み画像へと修正するステップであって、平均テンプレートと修正済み画像に処理を適用することによって作成される別のバイオメトリクテンプレートとの間の誤りが、平均テンプレートと被選択画像に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正が適応される、修正するステップと
を含む。
まず、修正済み画像は個人を示す複数の画像からの情報をより小さいサイズに圧縮し、そのことはかかる画像の雑音が多い可能性を減らす。第2に、この画像に同じ処理を適用することは平均テンプレートに近いバイオメトリクテンプレートを作成し、それにより参照テンプレートと比較するための信頼できる基礎を提供する。
第1の態様による方法は、個々に理解される又は技術的に可能な場合は互いに組み合わせて理解される以下の任意選択的な特徴を更に含み得る。
好ましくは、被選択画像は、被選択画像の適用によって作成されるバイオメトリクテンプレートが、作成されるバイオメトリクテンプレートの中の平均テンプレートに最も近くなるようなものである。
好ましくは、修正するステップは以下の条件、つまり
- 平均テンプレートと最終画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが既定の閾値未満であるように、修正するステップの反復が最終画像をもたらすこと、
- 修正するステップの反復回数が既定の閾値に達すること
の少なくとも1つが満たされるまで反復される。
好ましくは、修正するステップは
k+1=I-λ*D
のように反復され、但し
- Iは修正するステップのk番目の反復によって修正される画像であり、
- Ik+1はk番目の反復によって作成される修正済み画像であり、
- λは既定のパラメータであり、

Figure 2023048156000002
が成立し、但しEは平均テンプレートと画像Iに処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りである。
好ましくは、処理が畳み込みニューラルネットワークによって実装される。
好ましくは、この方法は、例えば個人の映像から生じる画像のシーケンスから複数の画像を選択するステップを含む。
好ましくは、複数の画像は単一の画像センサによって取得される画像から生じる。
好ましくは、選択が画質の基準に基づいて、及び画像のシーケンス内の時間的位置の基準に基づいて行われる。
好ましくは、選択が
a)画像のシーケンスの画像ごとに、画像の質を示す関連メトリクを計算するステップと、
b)まだ選択されていないシーケンスの1組の画像から、最も優れた質をその関連メトリクが示す画像のシーケンスの画像を選択するステップと、
c)被選択画像の既定の時間的近傍に位置する被選択画像以外のシーケンスからの少なくとも1つの画像について、画像に関連するメトリクをダウングレードするステップと、
d)以下の条件、すなわち
- ステップb)の実装回数が既定の閾値に達すること、
- まだ選択されていない画像のシーケンスからの各画像のメトリクが既定の品質閾値を超えること
の少なくとも1つが満たされるまでステップb)及びc)を繰り返すステップと
を含む。
好ましくは、この方法のステップが第1の装置によって実装され、この方法が修正済み画像から生じる最終画像を通信ネットワーク内で第2の装置に伝送するステップを更に含み、第2の装置は個人に関する最終バイオメトリクテンプレートを作成するために最終画像に処理を適用するように構成される。
第2の態様によれば、第1の態様による方法のステップを実行するためにコンピュータによって実行可能な命令を記憶するコンピュータ可読メモリも提供される。
第3の態様によれば、個人を示す複数の画像を取得するように構成されるセンサと、
- 複数の画像の一部を形成する画像ごとに、個人に関するバイオメトリクテンプレートを作成するために画像に処理を適用すること、
- 作成した各バイオメトリクテンプレートの平均を構成する平均テンプレートを計算すること、
- 複数の画像からの被選択画像を修正済み画像へと修正することであって、平均テンプレートと修正済み画像に処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、平均テンプレートと被選択画像に処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りよりも小さいように修正が適応される、修正すること
を行うように構成される少なくとも1つのプロセッサと
を含む装置も提供される。
純粋に例示的及び非限定的であり、添付図面と併せて読まれるべき以下の説明から本発明の更なる特徴、目的、及び利点が明らかになる。
図面の全てにおいて、同様の要素は同じ参照番号を有する。
本発明の一実施形態によるバイオメトリク認証システムを概略的に示す。 本発明の一実施形態による第1の方法のステップの流れ図である。 図2に示すステップの1つの一実施形態を詳述する流れ図を詳しく示す。 本発明の一実施形態による第2の方法のステップの流れ図である。
図1を参照し、バイオメトリク認証システムは第1の装置1と、通信ネットワーク3によって互いに通信するように設計される第2の装置2とを含む。
第1の装置1は、画像センサ10、データ処理ユニット12、メモリ14、及び第2の装置2との通信インタフェース16を含む。
画像センサ10は例えば個人の映像、即ち個人を示す画像のシーケンスを取得するように設計される。
本文では、「個人を示す画像」とは、その個人の身体の一部、具体的にはその個人を別の個人と区別できるようにする個人の身体の一部を示す画像を意味する。
例えば取得される画像は個人の顔、又は少なくとも個人の指紋を示すことができる。
データ処理ユニット12は、画像センサ10によって取得される画像に一定の処理操作を適用するように構成される。
具体的には、処理ユニット12は、画像Iを入力として取り、その入力画像から入力画像I内で示される個人に関するバイオメトリクテンプレートTを作成する畳み込みニューラルネットワークを実装するように構成される。以下、畳み込みニューラルネットワークによって適用される処理をCNN数学関数と呼ぶ。従って次式が成立する:
T=CNN(I)
処理ユニット12は、典型的には上述の処理操作を実装するための少なくとも1つのプロセッサを含み、その又は各プロセッサは、任意の形を取る可能性がある(ASIC、FPGA、SoC、マイクロコントローラ等)。
第1の装置1は、その又は各プロセッサによって実行可能なコード命令を含むコンピュータプログラムを記憶するメモリを更に含む。プログラムがその又は各プロセッサによって実行される場合、上述の処理操作を含む方法が実装される。
メモリは、典型的には揮発性メモリユニット(例えばRAM)及び不揮発性メモリユニット(フラッシュ、EEPROM、ハードディスク、SSD等)を含む。
通信インタフェース16は、通信ネットワーク3によって第1の装置1が第2の装置2にデータを伝送できるようにするよう設計される。この通信インタフェース16は任意の種類のものとすることができ(有線又は無線)、この通信ネットワーク3による通信は任意の通信プロトコル(イーサネット、Wi-Fi、Bluetooth、3G/4G/5Gセルラ等)によって統制され得る。
第1の装置1は、典型的には認可された個人しか入ることが許可されないセキュア領域の入り口で使用されることが意図される。例えば第1の装置1は、セキュア領域に無認可の個人が入るのを防ぐ一方、認可された個人が入ることは許可する物的障壁を提供するゲートの一部を形成することができ、又はかかるゲートに結合され得る。以下で分かるように、本システムは個人のバイオメトリク認証を行うために使用され、このバイオメトリク認証の目的は、例えばその個人が認可されている(この場合セキュア領域に入ることを認められる)か認可されていない(この場合セキュア領域に入ることを拒否される)かを判定することである。
或る改変形態(不図示)によれば、第1の装置1は個人の複数の画像を取得するように設計される複数の画像センサを含む。
このことは、例えば様々な角度から撮られた個人の画像を有することを可能にする。第2の装置2は第1の装置1から離れている。
第2の装置2は、第1の装置1との通信インタフェース20、処理ユニット22、及びメモリ24を含む。
通信インタフェース20は、第1の装置1の通信インタフェース16と同じ種類のものであり得る。
具体的には、処理ユニット22は第1の装置1と同じ畳み込みニューラルネットワークCNN数学関数を実装するように構成される。
メモリ24は、過去に登録された様々な個人に関するバイオメトリクテンプレート又はバイオメトリク画像を含むデータベースを記憶することを意図する。
図2を参照し、第1の装置1を実装する方法は以下のステップを含む。
個人が第1の装置1に近づく。以下、個人が上記のセキュア領域に入ることを望む、或る例示的実装形態を検討する。
取得ステップ100で、カメラが例えば個人を示す画像のシーケンスを取得する。
典型的には、画像のシーケンスは相対的に高頻度で取得されるN個の画像を含み、但しN≧3である。
N個の画像のシーケンスはメモリ14内に記憶される。
或る改変形態によれば、複数のセンサが個人を示す画像を取得する。画像のシーケンスは様々な時点において、及び様々なセンサによって撮られる個人の画像を含む。選択するステップ102では、処理ユニット12が画像のシーケンスから、そのシーケンスの画像のサブセットを構成する複数の画像を選択する。換言すれば、この選択によって得られる複数の画像は、1≦K≦Nとなるような幾つかの画像Kを含む。
複数の画像は、画質の基準に基づいて及び画像のシーケンス内の時間的位置の基準に基づいて画像のシーケンスから処理ユニット12によって選択される(102)。
図3に示す一実施形態では、選択102が有利には以下のサブステップを含む。
画像のシーケンスからの画像ごとに処理ユニット12は画像に関連するメトリクを計算し、メトリクは画像の質を示す(ステップ200)。従って、このステップ200ではN個のメトリクが計算される。
計算されるメトリクは、当業者に知られている以下のメトリクの1つであり得る:
・画像内に示される個人の顔の位置を示すメトリク。この場合、メトリクの値は画像センサ10に対する顔の向きに依存し、個人の顔を正面から示す画像は、個人の顔を斜めから、又は更には横から示す画像よりも質が優れていると見なされる。
・画像内に示される個人の顔の解像度を示すメトリク。画像内のピクセル数としてカウントされる個人の目の間の距離が長ければ長いほどその画像の質は高い。
・画像内のぼやけのレベルを示すメトリク。画像がぼやけていればいるほどその画像の質は低い。
・上述の畳み込みニューラルネットワークと異なるニューラルネットワークによってもたらされる「バイオメトリク」メトリク。
計算済みのメトリクはその個々の画像に関連してメモリ16内に記憶される。
次に処理ユニット12は、まだ選択されていないシーケンスの1組の画像から、最も優れた質を示すメトリクに関連する画像シーケンスの画像を選択する(サブステップ202)。この段階において、この組はそれ自体が画像センサ10によって全体として取得される画像のシーケンスであり、換言すれば、サブステップ202のこの第1の実装形態で選択される画像は画像シーケンス内で最も高い質を有するものである。この第1の実装形態の間に選択される画像は慣例により「第1の画像」と呼ばれる。
処理ユニット12は、サブステップ202で選択された画像(即ち第1の画像)の時間的近傍にある画像のシーケンスから各画像を識別する。シーケンスからの画像は、被選択画像を含む既定の持続時間の時間範囲内、例えばその被選択画像を中心とした時間範囲内にある場合、サブステップ202で選択された画像の近傍にあると見なされる。この原理を示すために具体例を使用し、この時間範囲の値域を500ミリ秒に決めた場合、被選択画像よりも最大500ミリ秒前の又は後のシーケンスの画像を被選択画像の近傍の(又は付近の)画像と見なすことができる。
処理ユニット12は、付近の画像の少なくとも1つに関連するメトリクをダウングレードする(サブステップ204)。「ダウングレードする」とは、メトリクによって示される質を下げるようにメトリクの値を修正することを意味する。このダウングレードは計算されるメトリク値にのみ影響を及ぼし、それらのメトリク値が関係する画像には影響しないこと、即ち画像自体はダウングレードされないことが理解されよう。
好ましくは、処理ユニット12はサブステップ202で前に選択された任意の付近の画像に関連するメトリクをダウングレードする(204)。ダウングレードの全ては、例えば質の同じ差によるシフトである。
ステップ206で、処理ユニット12は以下の出力条件の少なくとも1つが満たされるかどうかを検査する:
・サブステップ202及び204の実装回数が既定の閾値Kmaxに達すること、
・まだ選択されていない画像のシーケンスからの各画像のメトリクが既定の品質閾値未満の質を示すこと。
これらの条件の少なくとも1つが満たされる場合、選択するステップ102が終了する。
さもなければ、サブステップ202、204、及び206を以下のように反復する。
処理ユニット12は、まだ選択されていないシーケンスの1組の画像から、最も優れた質を示すメトリクに関連する画像シーケンスの画像を選択することで構成されるサブステップ202を繰り返す。
このサブステップ202の先の実装形態に対する1つの違いは、第1の画像がその間選択されており、従ってサブステップ202の第2の実装形態ではまだ選択されていないシーケンスからの1組の画像が、第1の画像を除外した画像の最初のシーケンスに対応する。従って、第1の画像と異なる第2の画像がこのサブステップ202の第2の実装形態において選択される。
このサブステップの先の実装形態に対する別の違いは、一定の画像(第1の画像付近の画像の少なくとも1つ)にそれぞれ関連するメトリクがその間ダウングレードされていることである。このことは、第1の画像と時間的に近くない画像を第2の画像として選択することを有利に支持する。
処理ユニット12は、最後に選択された画像、つまり第2の画像付近の画像の少なくとも1つに関連するメトリクをダウングレードすることで構成されるサブステップ204を繰り返す。同じ時間的近傍を使用することができる。
選択するステップ102のこの実施形態は、引き続き良質でありながら時間の点で互いに近過ぎない、従ってあまり冗長ではない複数の被選択画像の入手をもたらす利点を有する。
図2に戻り、処理ユニット12は、畳み込みニューラルネットワークへの入力としてそれぞれの被選択画像を伝える。畳み込みニューラルネットワークによって実装される処理は、それぞれの被選択画像に基づき、画像内に示される個人に関する対応するバイオメトリクテンプレートを作成する(ステップ104)。従って、K個の被選択画像に基づき、畳み込みニューラルネットワークはK個の関連テンプレートをステップ104で作成する。
各バイオメトリクテンプレートは、典型的には例えばノルム1のベクトル形式にある。
畳み込みニューラルネットワークによって作成されるバイオメトリクテンプレートはメモリ14内に記憶される。
ステップ106で、処理ユニット12は、その名前が示すように前に作成したK個のバイオメトリクテンプレートの平均を構成する平均テンプレートTMを計算する。例えば平均テンプレートTMは、それらのK個のバイオメトリクテンプレートの和をその個々のノルムの和で割った(即ちノルム1のベクトルの場合はKで割った)ものとして計算することができる。
平均テンプレートTMはメモリ16内に記憶される。
次に処理ユニット12は、選択されているK個の画像の中から、慣例により初期画像Iと呼ぶ画像の1つを選択する。
初期画像Iは、それに基づいてテンプレートTMが計算されているK個の被選択画像の中の何れかとすることができる。
しかし或る有利な実施形態では、平均テンプレートTMに最も近いバイオメトリクテンプレートに関連する画像が初期画像Iとして選択される。この画像を見つけるために、平均テンプレートと作成されたK個のバイオメトリクテンプレートの1つとの間の各距離を計算して、作成されたK個のバイオメトリクテンプレートの中から平均テンプレートと最小距離にあるバイオメトリクテンプレートTを識別し、次いでこの最小距離にあるバイオメトリクテンプレートT(T=CNN(I))を作成するために畳み込みニューラルネットワークCNN数学関数への入力として伝えられた画像Iを識別すれば十分である。
次に、処理ユニット12は1つ又は複数の反復を含むループを実装し、このループは初期画像Iから最終画像Iを作成する。
インデックスk-1の先行する反復に対するこのループのインデックスkの反復についてより全般的に説明する前に、このループの(慣例によりインデックスゼロの)初期反復について最初に説明する。
このループの初期反復は、処理ユニット12が初期画像Iを修正済み画像Iへと修正する修正ステップ110を含む。実装される修正110は次の条件、つまり平均テンプレートTMと修正済み画像Iに処理を適用することによって作成されるバイオメトリクテンプレートTとの間の誤りEが、平均テンプレートTMと初期画像Iに処理を適用することによって作成されているバイオメトリクテンプレートTとの間の誤りEよりも小さいことを満たすように設計される。
ここでは、この修正するステップが、修正済み画像Iに処理を適用することによって作成されるバイオメトリクテンプレートTの又は誤りEの事前計算を必ずしも必要としないことに留意すべきである。但し、画像の修正がステップ110で行われる修正によってカバーされるかどうかを検査するためにかかる計算を実際に実装することができる。
たとえこの方法のステップに従ってバイオメトリクテンプレートTがそのように計算されなくても、修正するステップ110は、誤りE1、E2に関する条件が満たされること、即ち平均テンプレートTMと修正済み画像Iに処理を適用することによって作成されるバイオメトリクテンプレートTとの間の誤りEが、平均テンプレートTMと初期画像Iに処理を適用することによって作成されているバイオメトリクテンプレートTとの間の誤りEよりも小さいことを確実にする。
一実施形態では、画像Iを修正済み画像Iへと修正すること110が以下のように行われる。
処理ユニット12が以下の勾配を計算する:
Figure 2023048156000003
但しEは、平均テンプレートと画像IにCNN処理を適用することによって作成されるバイオメトリクテンプレートT(即ちT=CNN(I))との間の誤りである。
誤りEは、例えば以下の形式のものである:
=(T-TM)
次に、処理ユニット12は以下の公式:
=I-λ*D
を適用することによって修正済み画像Iを計算し、但しλは既定のパラメータである。
修正するステップ110のこの実施形態は、損失を最小化するやり方でニューラルネットワークのパラメータを更新するために従来より使用されている勾配降下法に基づく。しかしこの方法では、修正しようとするのは畳み込みニューラルネットワークCNN数学関数のパラメータではなく、むしろこの畳み込みニューラルネットワークへの入力として伝えられている画像(この場合は画像I)であり、これは慣例的ではない。
ループの初期反復は、次の出力条件の1つが満たされるかどうかを処理ユニット12が検査する検査ステップ112を含む。
第1の条件は、平均テンプレートTMと画像Iに処理を適用することによって作成されるバイオメトリクテンプレートTとの間の誤りが既定の閾値E未満である場合、或いは
=(T-TM)<E
が成立する場合に満たされる。
従ってこの第1の条件が満たされるかどうかを知るために、処理ユニット12はT=CNN(I)を、画像Iを修正済み画像Iへと修正するステップ内でこの計算がまだ行われていない場合に計算する(具体的には、この計算は勾配降下法に基づく上記の実施形態では行われない)。
第2の条件は、実装される修正ステップ110の反復回数が既定の閾値に達する場合に満たされる。この段階において、修正ステップは1回しか実装されていない。
第1の条件が満たされる場合又は第2の条件が満たされる場合、ループが終了する。最終画像Iは修正済み画像Iである。
さもなければ(インデックス1の)ループの新たな反復が実装され、この新たな反復は初期画像Iの代わりに画像Iを入力として取る。
ループのインデックスkの反復、但しk≠0をより広く検討されたい。新たな修正済み画像Ik+1を得るために、このインデックスkの反復は、上記のステップ110の修正であるインデックスk-1の先行する反復内で得られる画像Iに適用する。
従って、勾配降下法に端を発する上記の実施形態では、インデックスkの反復において
k+1=I-λ*D
が成立し、但し
Figure 2023048156000004
=(T-TM)
である。
インデックスkの反復内で実装される修正110は、平均テンプレートTMと修正済み画像Ik+1に処理を適用することによって作成されるバイオメトリクテンプレートTk+1との間の誤りEk+1が、平均テンプレートと画像Iに処理を適用することによって作成されているバイオメトリクテンプレートとの間の誤りEよりも小さいように設計される。
ループからの出力として得られる最終画像Iは、修正ステップ110の最後の実装で作成される修正済み画像である。上述のように、最終画像Iは(第1の条件又は第2の条件が満たされるのにループの1回の反復だけで十分だった場合)画像Iである可能性が大いにあり、又は(第1の条件又は第2の条件を満たすためにループの複数の反復を実行しなければならなかった場合)この画像Iの1つ又は複数の連続した修正から生じる画像であり得る。
次いで、最終画像Iが通信インタフェースによって第2の装置2に伝送される(ステップ114)。
最終画像Iには2つの利点がある:Iは、映像シーケンスから選択されるK個の画像からの視覚的情報を組み合わせながら、その伝送114が通信ネットワーク3上で殆ど帯域幅を消費しない小さいデータ項目である。この最終画像Iは、取得される画像のシーケンス内の原画像のうちの1つよりも雑音が少ない可能性が高い。
図4を参照し、第2の装置2が以下のステップを含む方法を実装する。
第2の装置2は、自らの通信インタフェースによって最終画像Iを受信する(ステップ300)。
第2の装置2の処理ユニット22は、第1の装置1によって実装されるのと同じ畳み込みニューラルネットワークCNN数学関数への入力として最終画像Iを伝える(ステップ302)。換言すれば、ステップ302で第2の装置2側で実装される処理は、ステップ104で第1の装置1側で実装される各処理操作と同一である。最終画像Iから、畳み込みニューラルネットワークは慣例により「最終」バイオメトリクテンプレートと呼ばれるバイオメトリクテンプレートT=CNN(I)をステップ302で作成する。
次いで、最終バイオメトリクテンプレートTが参照テンプレートの何れかとマッチするかどうかを判定するために、処理ユニット12は、最終バイオメトリクテンプレートTをメモリデータベース24内に記憶される参照テンプレートと比較することができる。
・該当する場合、それはその個人が過去にデータベースに登録されていることを意味し、従ってその個人は認可ユーザであり、セキュア領域にアクセスする認可を付与されている(肯定的な認証結果)。
・該当しない場合、それはその個人が認可ユーザではないことを意味し、セキュア領域にアクセスすることを拒否される(否定的な認証結果)。
最終画像Iが作成されているやり方が原因で、最終バイオメトリクテンプレートTは平均テンプレートTMに近い。この近さは、第2の装置2が、依然として信頼できるマッチを実装することを可能にする。従って、実行されるバイオメトリク認証が第1の装置1と第2の装置2との間の通信ネットワーク3上で殆ど帯域幅を消費しない(情報を多く含んだ画像がこのネットワーク上で1つしか伝送されない)こと、及びそれがテンプレートマッチング操作の適切な機能を損なうことなしに実現されることの2つの目的が実現されている。
メモリ24内のデータベース内に個人を登録するために、第1の装置1によって実装される方法は第2の装置2によって実装される方法と組み合わせることもできる(その場合比較する/マッチするステップは最終テンプレートT及び/又は最終画像Iをデータベース内に記憶することで単純に置換される)。
当然ながら、添付図面に関して上記で説明した方法は非限定的な実施形態に過ぎない。これらの方法は改変を受ける場合がある。
有利ではあるが、画像からバイオメトリクテンプレートを作成するために畳み込みニューラルネットワークを使用することは必要ではない。画像からバイオメトリクテンプレートを作成するための他の処理操作を実装してもよい。
取得するステップ100及び選択するステップ102は、最終画像Iを得るための任意選択的な予備ステップであることが更に理解されよう。選択するステップ102は任意選択的であり、それに基づいて最終画像が得られる複数のK個の画像は、必ずしも画像センサ10によって取得される画像のシーケンスから生じない。
1 第1の装置
2 第2の装置
3 通信ネットワーク
10 画像センサ
12 処理ユニット
14 メモリ
16 通信インタフェース
20 通信インタフェース
22 処理ユニット
24 メモリ

Claims (10)

  1. コンピュータによって実装される方法であって、
    - 個人を示す複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用するステップ(104)と、
    - 作成した前記バイオメトリクテンプレートの平均を構成する平均テンプレート(TM)を計算するステップ(106)と、
    - 前記複数の画像からの被選択画像(I)を修正済み画像(I)へと修正するステップ(110)であって、前記平均テンプレート(TM)と前記修正済み画像(I)に前記処理を適用することによって作成される別のバイオメトリクテンプレートとの間の誤りが、前記平均テンプレート(TM)と前記被選択画像(I)に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正(110)が適応される、修正するステップ(110)と
    を含む、方法。
  2. 前記被選択画像(I)は、前記被選択画像(I)の適用によって作成される前記バイオメトリクテンプレートが、作成される前記バイオメトリクテンプレートの中の前記平均テンプレート(TM)に最も近くなるようなものである、請求項1に記載の方法。
  3. 前記修正するステップ(110)が、以下の条件、すなわち
    - 前記平均テンプレート(TM)と最終画像(I)に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが既定の閾値未満であるように、前記修正するステップ(110)の反復が前記最終画像(I)を作成すること、
    - 前記修正するステップ(110)の反復回数が既定の閾値に達すること
    の少なくとも1つが満たされるまで反復される、請求項1又は2に記載の方法。
  4. 前記修正するステップ(110)が
    k+1=I-λ*D
    のように反復され、但し
    - Iは前記修正するステップ(110)のk番目の反復によって修正される画像であり、
    - Ik+1は前記k番目の反復によって作成される修正済み画像であり、
    - λは既定のパラメータであり、

    Figure 2023048156000005
    が成立し、但しEは前記平均テンプレート(TM)と前記画像Iに前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りである、
    請求項1乃至3の何れか一項に記載の方法。
  5. 前記処理が畳み込みニューラルネットワークによって実装される、請求項1乃至4の何れか一項に記載の方法。
  6. - 画像のシーケンスから前記複数の画像を選択するステップ(102)であって、前記選択は画質の基準に基づいて及び前記画像のシーケンス内の時間的位置の基準に基づいて行われる、選択するステップ(102)
    を更に含む、請求項1乃至5の何れか一項に記載の方法。
  7. 前記選択(102)が
    a)前記画像のシーケンスの画像ごとに、前記画像の質を示す関連メトリクを計算するステップ(200)と、
    b)まだ選択されていない前記シーケンスの1組の画像から、最も優れた質をその関連メトリクが示す前記画像のシーケンスの画像を選択するステップ(202)と、
    c)前記被選択画像の既定の時間的近傍に位置する前記被選択画像以外の前記シーケンスからの少なくとも1つの画像について、前記画像に関連する前記メトリクをダウングレードするステップ(204)と、
    d)以下の条件、すなわち
    - ステップb)の実装回数が既定の閾値に達すること、
    - まだ選択されていない前記画像のシーケンスからの各画像の前記メトリクが既定の品質閾値を超えること
    の少なくとも1つが満たされるまでステップb)及びc)を繰り返すステップと
    を含む、請求項6に記載の方法。
  8. その前記ステップが第1の装置(1)によって実装され、
    - 前記修正済み画像から生じる最終画像(I)を通信ネットワーク(3)内で第2の装置(2)に伝送するステップ(114)を更に含み、前記第2の装置(2)は、前記個人に関する最終バイオメトリクテンプレート(T)を作成するために前記最終画像に前記処理を適用するように構成される、請求項1乃至7の何れか一項に記載の方法。
  9. 請求項1乃至8の何れか一項に記載の方法のステップを実行するために前記コンピュータによって実行可能な命令を記憶する、コンピュータ可読メモリ(14)。
  10. 個人を示す複数の画像を取得するように構成されるセンサ(10)と、
    - 前記複数の画像の一部を形成する画像ごとに、前記個人に関するバイオメトリクテンプレートを作成するために前記画像に処理を適用すること、
    - 作成した各バイオメトリクテンプレートの平均を構成する平均テンプレートを計算すること、
    - 前記複数の画像からの被選択画像(I)を修正済み画像(I)へと修正することであって、前記平均テンプレートと前記修正済み画像に前記処理を適用することによって作成されるバイオメトリクテンプレートとの間の誤りが、前記平均テンプレートと前記被選択画像に前記処理を適用することによって作成されている前記バイオメトリクテンプレートとの間の誤りよりも小さいように前記修正が適応される、修正すること
    を行うように構成される少なくとも1つのプロセッサ(12)と
    を含む、装置(1)。
JP2022153159A 2021-09-27 2022-09-26 拡張画像を生成するための方法及び関連する装置 Active JP7386951B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2110146A FR3127602A1 (fr) 2021-09-27 2021-09-27 procédé de génération d’une image augmentée et dispositif associé
FRFR2110146 2021-09-27

Publications (2)

Publication Number Publication Date
JP2023048156A true JP2023048156A (ja) 2023-04-06
JP7386951B2 JP7386951B2 (ja) 2023-11-27

Family

ID=79019309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022153159A Active JP7386951B2 (ja) 2021-09-27 2022-09-26 拡張画像を生成するための方法及び関連する装置

Country Status (6)

Country Link
US (1) US20230097143A1 (ja)
EP (1) EP4155987A1 (ja)
JP (1) JP7386951B2 (ja)
CN (1) CN115880788A (ja)
AU (1) AU2022235623B2 (ja)
FR (1) FR3127602A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226822B (zh) * 2023-05-05 2023-07-14 深圳市魔样科技有限公司 一种智能戒指身份数据采集方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118731A (ja) * 2002-09-27 2004-04-15 Glory Ltd 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
US20050100200A1 (en) * 2002-09-17 2005-05-12 Fujitsu Limited Biometric information obtaining apparatus and biometric information verification apparatus
JP2005316743A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 画像処理方法および画像処理装置
CN102073849A (zh) * 2010-08-06 2011-05-25 中国科学院自动化研究所 目标图像识别***及方法
JP2012174197A (ja) * 2011-02-24 2012-09-10 So-Net Entertainment Corp 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
WO2013035150A1 (ja) * 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
US20140283113A1 (en) * 2013-03-15 2014-09-18 Eyelock, Inc. Efficient prevention of fraud
KR20160064138A (ko) * 2013-09-16 2016-06-07 아이베리파이 인크. 생체인식 템플릿 보안 및 키 생성
JP2021507394A (ja) * 2018-09-30 2021-02-22 畳境数字科技(上海)有限公司Plex−Vr Digital Technology (Shanghai) Co., Ltd. 多特徴検索と変形に基づく人体髪型の生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491707B (zh) * 2016-05-30 2020-01-14 Oppo广东移动通信有限公司 一种解锁控制方法及终端设备和介质产品

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050100200A1 (en) * 2002-09-17 2005-05-12 Fujitsu Limited Biometric information obtaining apparatus and biometric information verification apparatus
JP2004118731A (ja) * 2002-09-27 2004-04-15 Glory Ltd 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
JP2005316743A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 画像処理方法および画像処理装置
CN102073849A (zh) * 2010-08-06 2011-05-25 中国科学院自动化研究所 目标图像识别***及方法
JP2012174197A (ja) * 2011-02-24 2012-09-10 So-Net Entertainment Corp 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
WO2013035150A1 (ja) * 2011-09-05 2013-03-14 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
US20140283113A1 (en) * 2013-03-15 2014-09-18 Eyelock, Inc. Efficient prevention of fraud
KR20160064138A (ko) * 2013-09-16 2016-06-07 아이베리파이 인크. 생체인식 템플릿 보안 및 키 생성
JP2021507394A (ja) * 2018-09-30 2021-02-22 畳境数字科技(上海)有限公司Plex−Vr Digital Technology (Shanghai) Co., Ltd. 多特徴検索と変形に基づく人体髪型の生成方法

Also Published As

Publication number Publication date
AU2022235623B2 (en) 2023-09-07
JP7386951B2 (ja) 2023-11-27
EP4155987A1 (fr) 2023-03-29
AU2022235623A1 (en) 2023-04-13
US20230097143A1 (en) 2023-03-30
CN115880788A (zh) 2023-03-31
FR3127602A1 (fr) 2023-03-31

Similar Documents

Publication Publication Date Title
EP3382601B1 (en) Face verifying method and apparatus
US11163982B2 (en) Face verifying method and apparatus
US20230119080A1 (en) Face verification method and apparatus
US11216541B2 (en) User adaptation for biometric authentication
US20210286870A1 (en) Step-Up Authentication
US9621342B2 (en) System and method for hierarchical cryptographic key generation using biometric data
JP6648769B2 (ja) 顔認証装置
US20170300741A1 (en) Determining facial parameters
CN110751025A (zh) 基于人脸识别的业务办理方法、装置、设备及介质
KR20180049347A (ko) Cnn과 rnn을 이용한 얼굴인식 기반 키 생성 방법 및 장치
CN112258528A (zh) 图像处理方法和装置、电子设备
US20170372051A1 (en) Method and device for fingerprint authentication
JP7386951B2 (ja) 拡張画像を生成するための方法及び関連する装置
US10157306B2 (en) Curve matching and prequalification
KR102040482B1 (ko) 지문 템플릿 관리 방법 및 지문 템플릿 관리 방법을 이용한 지문 인증 장치
KR101471814B1 (ko) 홍채 인식에 의한 식별
CN114170654A (zh) 年龄识别模型的训练方法、人脸年龄识别方法及相关装置
CN109165587B (zh) 智能图像信息抽取方法
JP6962458B2 (ja) 認証装置
CN109165586B (zh) 用于ai芯片的智能图像处理方法
JP4554290B2 (ja) データ変換装置およびデータ変換方法、生体認証システム
CN117727103A (zh) 活体检测方法、***与存储介质
WO2017051861A1 (ja) 遺留指紋照合装置および遺留指紋照合方法
JPWO2021100163A5 (ja)
US9990539B2 (en) Method and device for recognizing image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231114

R150 Certificate of patent or registration of utility model

Ref document number: 7386951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150