JP2016081249A - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP2016081249A JP2016081249A JP2014211057A JP2014211057A JP2016081249A JP 2016081249 A JP2016081249 A JP 2016081249A JP 2014211057 A JP2014211057 A JP 2014211057A JP 2014211057 A JP2014211057 A JP 2014211057A JP 2016081249 A JP2016081249 A JP 2016081249A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- user
- authentication
- identification data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 88
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
Abstract
【課題】撮影画像を利用した認証処理の精度を容易に安定化させる。
【解決手段】
登録ユーザ情報保持部130は、撮影画像から抽出した顔領域の特徴量データとの一致度によりユーザ認証を行うための顔識別用データを格納する。認証のために新たに撮影された顔画像180aを、顔識別用データの取得元の顔画像182と比較し、両者の特性が近づくように撮影条件を調整しながら撮影を繰り返すことにより、顔画像180b、180c等を取得していき、顔識別用データとの一致度が最も得られる顔画像を採用することにより顔認証結果を改善させる。
【選択図】図14
【解決手段】
登録ユーザ情報保持部130は、撮影画像から抽出した顔領域の特徴量データとの一致度によりユーザ認証を行うための顔識別用データを格納する。認証のために新たに撮影された顔画像180aを、顔識別用データの取得元の顔画像182と比較し、両者の特性が近づくように撮影条件を調整しながら撮影を繰り返すことにより、顔画像180b、180c等を取得していき、顔識別用データとの一致度が最も得られる顔画像を採用することにより顔認証結果を改善させる。
【選択図】図14
Description
本発明は、撮影画像を用いて情報処理を行う情報処理装置、およびその情報処理方法に関する。
近年、パーソナルコンピュータやゲーム機などにカメラを搭載し、ユーザの姿を撮像して様々な形で利用することが一般的に行われるようになってきた。例えばテレビ電話、ビデオチャットなど、ユーザの画像を、ネットワークを介してそのまま相手に伝送するものや、画像解析によってユーザの動きを認識し、ゲームや情報処理の入力情報とするものなどが実用化されている(例えば特許文献1参照)。近年ではさらに、奥行き方向を含む3次元空間における対象物の動きを精度よく検出することにより、より臨場感のあるゲームや画像表現を実現できるようになってきた。
多様な物が存在する空間を撮影し、その撮影画像を入力データとして情報処理を行う場合、入力装置のボタンやGUI(Graphical User Interface)を介した操作と比較し、情報処理の精度が撮影環境などの影響を受けやすい。そのため、環境が変化しても安定した情報処理を行える装置の実現が望まれている。特にログイン時などに、個々のユーザと撮影画像におけるユーザの像とを対応づけ認証を行う場合、ユーザの負担を少なく正確な対応づけがなされることが望ましい。
本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像を用いた認証処理を、ユーザの負担を少なく安定した精度で行える技術を提供することにある。
上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ユーザの撮影画像を撮像装置より取得する画像取得部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮影画像中の顔画像の認証処理を行う顔認証部と、顔認証部における認証結果を改善させるため、顔画像の特性を顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して撮像装置に撮影させる撮影条件制御部と、調整によって得られた顔画像の認証結果に基づき情報処理を行う情報処理部と、を備えることを特徴とする。
本発明の別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、ユーザの撮影画像を撮像装置から取得するステップと、記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行うステップと、認証を行うステップにおける認証結果を改善させるため、顔画像の特性を顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して撮像装置に撮影させるステップと、調整によって得られた顔画像の認証結果に基づき情報処理を行うステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、撮影画像を利用した認証処理の精度を容易に安定化させることができる。
図1は、本発明の実施形態における情報処理システム1を示す。情報処理システム1は、ユーザ端末である情報処理装置10と、サーバ5とを備える。アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のサーバ5と通信可能に接続する。
補助記憶装置2は、HDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置4は、情報処理装置10に有線ケーブルで接続されてよく、また無線接続されてもよい。
情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作信号を情報処理装置10に出力する。情報処理装置10は、入力装置6からの操作信号を受け付けるとOS(システムソフトウェア)やアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。入力装置6は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。
情報処理装置10は、入力装置6からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6a、6b(以下、入力装置6と総称する場合がある)はゲームコントローラなど情報処理装置10に対してユーザの操作信号を提供する機器である。なお入力装置6は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側部に配置されてもよく、いずれにしても出力装置4の前方に位置するユーザを撮像できる位置に配置される。カメラ7は、ステレオカメラであってもよい。
サーバ5は、情報処理システム1のユーザに対してネットワークサービスを提供する。サーバ5は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、サーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。
図1では、2人のユーザA、Bが、ゲームコントローラである入力装置6a、6bを操作している様子が示されている。ユーザA、Bは、それぞれ入力装置6a、6bを操作してログイン用パスコードを入力し、情報処理装置10により認証された後、情報処理装置10のOSにログインすることで、ゲームなどのアプリケーションを楽しむことができる。
近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置6をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム1において有意義である。そこで本実施形態の情報処理システム1では、カメラ7の撮像画像を利用して、ユーザ認証を簡易に行うことのできる技術を提供する。
図2は、情報処理装置10の内部構成を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUはOSを起動し、OSが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。上記したように、サブCPUは、メインCPUがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブCPUおよびメモリは、別個のチップに形成されてもよい。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム60がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム60がスタンバイ状態にあることを意味する。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
メインCPUは補助記憶装置2やROM媒体44にインストールされているゲームプログラムを実行する機能をもつ一方で、サブCPUはそのような機能をもたない。しかしながらサブCPUは補助記憶装置2にアクセスする機能、サーバ5との間でデータを送受信する機能を有している。サブCPUは、このような制限された処理機能のみを有して構成されており、したがってメインCPUと比較して小さい消費電力で動作できる。これらのサブCPUの機能は、メインCPUがスタンバイ状態にある際に実行される。本実施形態の情報処理装置10は、メインシステム60のスタンバイ時にはサブシステム50が稼働しているため、サーバ5が提供するネットワークサービスに、常時サインインした状態を維持する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。
デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイ(登録商標)ディスクなどの読出専用の記録メディアである。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。
なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。
本実施形態の情報処理システム1において、情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下すると、情報処理装置10はメイン電源をオンしてOS(システムソフトウェア)を起動し、ユーザのログイン処理を実行する。このログイン処理では、情報処理装置10が、カメラ7の撮像画像を利用した顔認証システムとして機能する。
図3は情報処理装置10の機能ブロック構成を示す。なお情報処理装置10はログイン処理後にゲームなど各種情報処理を実行する機能を有するが、同図では認証を含むログイン処理に係る機能ブロックのみを示している。情報処理装置10は、入力受付部102、画像取得部104、撮影条件制御部106、ログイン制御部110、登録ユーザ情報保持部130、および顔識別用データ登録部150を備える。ログイン制御部110は、撮像画像表示部112、顔認証部114、顔枠処理部116およびログイン処理部120を有する。顔識別用データ登録部150は、データ生成部152、登録判定部154、および仮登録データ保持部156を有する。
図3において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
本実施形態の情報処理装置10は、ユーザの簡易なログイン動作を支援することを1つの特徴とする。ユーザは、情報処理装置10のOSにログインするために、ユーザアカウントを予め取得して、情報処理装置10に登録しておくことを基本とする。以下、ユーザアカウントを情報処理装置10に登録したユーザを、「登録ユーザ」とよぶ。
入力受付部102は、ユーザからの操作情報を、入力装置6を介して受け付け、必要に応じて他の機能ブロックに当該情報を供給する。画像取得部104は、カメラ7で撮像された撮像画像を取得しメモリに格納する。カメラ7は所定の周期、たとえば1/30秒に1枚の空間画像を撮影し、その撮像画像を画像取得部104に提供する。カメラ7は、その光軸が出力装置4の前方を向くように配置されることにより、出力装置4の前方に存在するユーザを撮影する。
ログイン制御部110は、画像取得部104が取得した撮影画像のうち顔が写っている領域を抽出し、当該領域に表れている顔の特徴量データを用いて顔認証を行う。そして認証が成功した場合、すなわち撮影された顔が登録ユーザのものであることが判定された場合に、当該ユーザをログインさせる。
登録ユーザ情報保持部130は、登録ユーザに関する様々な情報を保持する。具体的には、ユーザアカウントに関連付けて、顔識別用データ、ユーザのオンラインID(ネットワーク上でのニックネーム)、ログイン用パスコードなどを、登録ユーザ情報として保持する。ここで顔識別用データは、登録ユーザの顔画像の特徴量データ、あるいは顔画像データそのものであってもよい。
顔識別用データは、ログイン制御部110における顔認証処理において比較対象とされるデータであり、採用する顔認識アルゴリズムにしたがって生成され、顔識別用データ登録部150が登録ユーザ情報保持部130に格納する。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、平均顔からの差分を表すデータであってもよい。また輝度ベクトルの分布などを表す統計量であってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まる。
撮影条件制御部106は、ログイン処理時の撮影画像が、登録ユーザ情報保持部130が保持する顔識別用データを取得したときの撮影画像に近づくように、カメラ7の撮影条件を制御する。具体的には、撮影画像が有する各種特性のうち、輝度分布や周波数分布など、撮影条件の調整により変化する特性が、顔識別用データを取得したときの撮影画像に近づくように撮影条件を調整する。これにより撮影環境の変化等に起因した認証精度の悪化を抑える。
本実施形態において撮像画像表示部112、顔枠処理部116、および顔識別用データ登録部150の機能は、顔認証アプリケーションにより実現され、顔認証部114の機能は、顔認識エンジンにより実現されて、メイン電源ボタン20が押下された際にOSにより自動起動される。なお顔認証アプリケーションおよび顔認識エンジンは、1つのアプリケーションとして構成されてもよい。
まず、本実施の形態を適用できるログイン処理の例について説明する。ただし本実施の形態は、登録された画像データと撮影画像との比較により認証を行ういかなる技術にも適用可能であり、次に述べるログイン処理に適用範囲を限定する趣旨ではない。この例では、少なくともユーザA、Bがおり、ユーザAのオンラインIDが「HANAKO」、ユーザBのオンラインIDが「SACHIKO」であるとする。
ユーザが情報処理装置10のメイン電源ボタン20を押下すると、情報処理装置10のメイン電源がオンとなり、入力受付部102がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。ログイン要求は入力装置6を介して受け付けてもよい。入力受付部102がログイン要求を受け付けると、ログイン制御部110における各機能が実現される。ログイン制御部110は、ユーザの顔認識の結果に基づいて、ユーザのログインの許否を判定する機能をもつ。
入力受付部102がログイン要求を受け付けると、撮像画像表示部112が、画像取得部104が取得した撮像画像をメモリから読み出しディスプレイである出力装置4に表示する。これにより出力装置4には、カメラ7が撮影したライブ画像が表示されることになり、出力装置4の前方にいるユーザが、出力装置4に映し出される。
図4は、カメラ7によって撮影される空間の一例を示す。この撮影空間には、3人のユーザが存在している。図4においてユーザを取り囲む四角の枠はカメラ7の撮像範囲を表現している。カメラ7の撮像範囲は、出力装置4にてライブ画像として表示される範囲を規定するが、ライブ画像は、撮像画像の一部であってもよい。顔認証部114は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部130に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。
具体的に顔認証部114は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部130に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、例えば100点満点中の何点という形で導出される。登録された顔画像の特徴量データとの一致度が90点など所定の認証しきい値を超えていれば、顔認証部114は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。
なお一致度が認証しきい値を超えるユーザが複数存在する場合には、顔認証部114は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が認証しきい値を超えるものがなければ、顔認証部114は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このようにすることで顔認証部114は、登録ユーザ情報保持部130に保持された顔識別用データを用いて、撮像画像中の顔画像と登録ユーザとを対応づけることにより認証処理を行う。本実施の形態において、この処理は、第1段階の顔認証と位置づけられる。
図5は、顔認証部114による顔識別結果を示す。ここでは、左側のユーザがユーザAであること、右側のユーザがユーザBであること、真ん中のユーザが登録ユーザではないことが判定されている。顔認証部114は、ユーザA(オンラインID:HANAKO)の顔の撮像画像中の位置を示す顔領域200aと、ユーザB(オンラインID:SACHIKO)の顔の撮像画像中の位置を示す顔領域200bを設定し、顔領域200a、200bの位置座標および撮像された登録ユーザを特定する情報とを顔枠処理部116に提供する。
以下、位置座標は、撮像画像をディスプレイに表示したときの2次元座標により表現される例を示すが、VRAM上に定義される座標であってもよく、いずれにしても顔領域200a、200b(以下、顔領域200と総称する場合がある)の座標および後述する顔枠の座標とが共通の座標系で表現されればよい。
各顔領域200は、撮像画像中の顔の輪郭に接する矩形領域として設定されてよいが、顔輪郭よりも若干広い矩形領域として設定されてもよい。なお、ここで顔の輪郭は、頭髪まで含む輪郭を意味しているが、たとえば顔認証部114の顔認識処理が頭髪を考慮しない場合には、頭髪を除いて顔の輪郭が設定されてもよい。撮像画像中のユーザの顔の大きさおよび形状により顔領域200の大きさおよび形状は定まる。したがってユーザごとに顔領域200の大きさおよび形状は異なり、また同じユーザであっても、カメラ7との距離に応じて顔領域200の大きさおよび形状は変化する。
顔認証部114から顔枠処理部116に提供される登録ユーザを特定する情報は、登録ユーザのユーザアカウントであってもよく、またオンラインIDであってもよい。顔認証部114は、顔領域200の位置座標と登録ユーザ特定情報とを対応付けて顔枠処理部116に提供する。すなわち図5に示す例では、顔領域200aとユーザAの特定情報の組合せと、顔領域200bとユーザBの特定情報の組合せとを顔枠処理部116に提供する。
顔枠処理部116は、顔認証部114により検出された登録ユーザに対して、出力装置4に顔枠を表示する。この顔枠は、登録ユーザがログインする際に、顔を動かして配置するために表示される。したがって登録ユーザは、出力装置4に表示された顔枠に自身の顔を入れることで、情報処理装置10にログインできるようになる。
図6は、出力装置4に表示される顔枠を含むログイン画面を示す。顔枠処理部116は、顔認証部114より提供される顔領域200a、200bの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠210a、210b(以下、顔枠210と総称する場合がある)を表示する。ここではユーザAに対して顔枠210aを表示し、ユーザBに対して顔枠210bを表示している。このとき顔枠処理部116は、顔枠210aの近傍にユーザAのオンラインIDを表示し、顔枠210bの近傍にユーザBのオンラインIDを表示する。これによりユーザA、Bは、自身の顔認識が適切に行われたことを知ることができ、顔枠210a、210bに、顔を移動させるようにする。
なおユーザは、自身の顔の近傍に表示された顔枠210の近傍に、自身とは別のオンラインIDが表示されていれば、顔認識が適切に行われていないことを知ることができ、したがって、顔枠210に顔を入れる動作を行わない。なお真ん中のユーザは登録ユーザではないため、顔枠210は表示されていない。ただし後述するように未登録ユーザをゲストユーザとして認識する場合は、当該ユーザに対する顔枠210も表示する場合がある。
顔枠処理部116は、顔枠210のそれぞれにIDを付し、顔枠ID、顔枠210の位置座標および顔枠210を表示したユーザの特定情報を顔認証部114に提供する。なお、顔枠処理部116が顔認証部114に提供する顔枠210の位置座標は、顔枠210そのものの位置座標であってもよいが、顔枠210に外接する矩形座標であってもよい。以下、顔枠210そのものの位置座標と、顔枠210に外接する矩形の位置座標を、まとめて顔枠の位置座標と呼ぶ。顔枠の位置座標は、顔認証部114において、ユーザの顔画像を検出するために利用される。
たとえば顔枠処理部116は、顔枠210aの顔枠IDを“ID1”、顔枠210bの顔枠IDを“ID2”と設定し、“ID1”と顔枠210aの位置座標とユーザAの特定情報との組合せと、“ID2”と顔枠210bの位置座標とユーザBの特定情報との組合せとを、顔認証部114に提供する。また顔枠処理部116は、顔枠IDおよび顔枠210を表示したユーザの特定情報を、ログイン処理部120に提供する。したがって、ここでは顔枠処理部116が、“ID1”とユーザAの特定情報の組合せと、“ID2”とユーザBの特定情報の組合せとを、ログイン処理部120に提供する。
図7は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザAが、出力装置4に表示されている顔枠210aに顔が入るように、顔や体を動かした様子を示している。顔認証部114は、顔枠210に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部130に保持された顔識別用データを用いて、顔枠210内に入っている顔が登録ユーザのものであるか判定する。
顔認証部114は、顔枠処理部116から提供された顔枠210の位置座標をもとに、顔枠210に人の顔が入っているか監視することができる。顔認識アルゴリズムについては上記したとおりである。すなわち顔認証部114は、顔枠210において、人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、登録ユーザ情報保持部130に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。
なお顔認証部114は、顔枠処理部116から、顔枠ID、顔枠210の位置座標および顔枠210を表示したユーザの特定情報との組合せを通知されており、顔枠210に含まれた人の顔画像の特徴量データを、顔枠210を表示したユーザの顔識別用データと比較する。顔認証部114は、顔枠210に含まれるべきユーザを予め通知されていることで、顔枠210に含まれる顔の特徴量データを全ての登録ユーザの顔識別用データと比較する必要なく、効率的に顔認識処理を行うことができる。
このとき顔認証部114は、顔枠210に登録ユーザの顔が所定時間(たとえば数秒)入っていることを検出することで、顔枠210に登録ユーザの顔が入れられたことを判定してもよい。結果として図7の例では、顔認証部114が、顔枠210aに入った顔がユーザAの顔であることを判定する。本実施例において、この処理は、第2段階の顔認証と位置づけられる。
第1段階と第2段階の顔認証により、ログイン時におけるユーザ認証が終了する。ユーザが顔枠210に顔を入れる行為は、ユーザがログインする意思に基づいて行われ、ユーザがログインを希望しない場合には、顔を顔枠210に入れなければよい。このように本実施例では、第1段階の顔認証により、ログインする可能性のある登録ユーザを検出し、第2段階の顔認証により、ログインする意思をもった登録ユーザを検出する。登録ユーザは、顔を顔枠210に入れるという簡易な動作を行うだけで、認証されることになり、ログイン時におけるユーザの作業負担を非常に小さくできる。
顔認証部114は、顔枠210aにユーザAの顔が入っていることを検出すると、顔枠210aを特定する顔枠IDと、ユーザAを特定するユーザ特定情報を、ログイン処理部120に通知する。既述したようにログイン処理部120は、予め顔枠処理部116から、顔枠IDおよび顔枠210を表示したユーザの特定情報を通知されている。ログイン処理部120は、顔認証部114から顔枠IDおよびユーザ特定情報を通知されると、顔枠処理部116から通知された顔枠IDに対応付けられたユーザ特定情報を抽出し、ユーザ特定情報同士の一致を判定する。ここでは、ID1の顔枠IDに対して、双方ともユーザAの特定情報が通知されている。したがってログイン処理部120は、ユーザA用に表示された顔枠210a内にユーザAの顔が検出されたことを認識する。これによりログイン処理部120は、ユーザAを情報処理装置10にログインさせる。
なお、上記の例では顔認証部114が、顔枠210に含まれるべき1人のユーザの顔識別用データと、顔枠210に含まれた顔の特徴量データとを比較したが、顔認証部114は、全ての登録ユーザの顔識別用データを、顔枠210に含まれた顔の特徴量データと比較してもよい。その結果、顔認証部114は、ユーザA用に表示された顔枠210a内に、ユーザA以外の登録ユーザの顔を検出することもある。顔認証部114は、顔枠210に含まれたユーザを特定するユーザ特定情報と、顔枠IDとをログイン処理部120に通知し、ログイン処理部120は、予め顔枠処理部116から予め通知されている顔枠IDおよび顔枠210を表示したユーザの特定情報と比較する。
同じ顔枠IDに対して、顔枠210を表示されたユーザの特定情報と、実際に顔枠210にて検出されたユーザの特定情報とが異なる場合、つまりユーザA用に表示された顔枠210a内に、ユーザA以外の登録ユーザの顔が検出されている場合、ログイン処理部120は、顔枠210aにおいて検出された顔画像がユーザAのものでないことを判定し、ユーザA、ないしは顔枠210aに顔を入れた登録ユーザをログインさせないようにする。
以上のように、本実施例では、ログイン制御部110が、2段階の顔認証によるユーザ認証を行った後、登録ユーザをログインさせる。第1段階の顔認証と第2段階の顔認証は並行して、異なる周期で実行してもよい。例えば第1段階の顔認証を1秒周期、第2段階の顔認証を1/60秒周期で並列に動作させる。これにより一度に多数のユーザが存在する場合は特に、2段階の顔認証を一人ずつ行うよりログイン処理を高速化できる。上記のように第1段階の顔認証の動作周期を長く、第2段階の顔認証の動作周期を短くすることにより、処理の負荷を抑えつつ、第1段階から第2段階への移行を即座に行える。
また第2段階の顔認証処理により1人の登録ユーザがログインした後は、まだログインしていない登録ユーザが撮影されていれば、その登録ユーザがログインするまで、ログイン画面が表示され続けてもよい。このとき、顔枠処理部116は、ログインしたユーザに対して表示していた顔枠210を、出力装置4から消すことが好ましい。なお、この顔認証によりログインできる登録ユーザは1人という限定がある場合には、1人の登録ユーザのログイン後、情報処理装置10のOSが提供するホーム画面等に遷移してもよい。
なお、ログイン画面において顔枠210が表示された後、所定時間、顔認証部114が、顔枠210内に顔を検出できない場合には、顔認識によるログイン処理を終了し、入力装置6を用いたログイン処理に移行してもよい。またユーザが顔認識によるログイン処理を望まない場合には、たとえば入力装置6を用いて顔認識によるログイン処理を終了させ、入力装置6を用いたログイン処理に移行してもよい。
ここで用いる顔識別用データは上述のとおり顔認証部114が採用する顔認識アルゴリズムによって異なり、特徴量データであってもよいし顔画像のデータ自体であってもよい。顔認識アルゴリズムの1つとして、撮影された顔画像とあらかじめ登録された顔画像との差分画像、および事前に取得しておいた差分画像群の固有空間との距離に基づき一致度を算出する手法がある(例えば特開2002−157596号公報参照)。
この技術に限らず、認証時に撮影した画像と登録画像とをブロックマッチングしたり、共分散行列などの統計量によって画像の輝度分布ベクトルに基づき確率密度を求めたり、といった画素値集合に基づく認証においては、登録データの元となる顔画像が認証精度に影響しやすい。例えば日中、窓から入射した自然光のもとで撮影した画像と、夜間に室内照明のもとで撮影した画像では、全体的な輝度や、顔にあたる光の角度が大きく異なることが考えられる。
これらの画像を比較した場合、同じ照明環境のもとで撮影した画像同士を比較するのに比べ、一致度の導出精度、ひいては認証精度が低くなりやすい。このような照明環境の変化は、時間帯、天気、カーテンの開閉、どの照明を点灯しているか、といった様々な要因で生じる。照明環境のみならず、顔のむくみ具合、経年変化、化粧の有無、髪型などユーザ自身の変化によっても認証精度が変化し得る。
このような外的要因で認証精度が変化し、登録ユーザであるにも関わらずなかなか認識されなかったり、他人として認識されてしまったりすると、ユーザに多大なストレスを与えるばかりでなく、その後になすべきゲームなどの情報処理が適正に行われないなどの不都合が生じうる。そこで本実施の形態の情報処理装置10は、
(1)顔識別用データの自動登録
(2)ログイン時の撮影条件の調整
の少なくともいずれかを行うことにより、上記のような問題の発生を抑える。以下、各処理について詳述する。
(1)顔識別用データの自動登録
(2)ログイン時の撮影条件の調整
の少なくともいずれかを行うことにより、上記のような問題の発生を抑える。以下、各処理について詳述する。
(1)顔識別用データの自動登録
照明などの撮影環境やユーザ自身に変化が生じても、登録済みの顔識別用データとの比較によって正しくユーザを特定するためには、できるだけ多くの状態で撮影した画像から顔識別用データを生成し登録しておくことが望ましい。しかし実際にはユーザ自身がそのような状態を作り出すのには限界がある。そこで本実施の形態では、ユーザ自身が顔識別用データの格納を要求したタイミング以外に、情報処理装置10が判断した適切なタイミングで顔識別用データを登録していく。これによりユーザの手間を少なく、経時変化や状況変化の影響を受けにくい認証処理を実現する。
照明などの撮影環境やユーザ自身に変化が生じても、登録済みの顔識別用データとの比較によって正しくユーザを特定するためには、できるだけ多くの状態で撮影した画像から顔識別用データを生成し登録しておくことが望ましい。しかし実際にはユーザ自身がそのような状態を作り出すのには限界がある。そこで本実施の形態では、ユーザ自身が顔識別用データの格納を要求したタイミング以外に、情報処理装置10が判断した適切なタイミングで顔識別用データを登録していく。これによりユーザの手間を少なく、経時変化や状況変化の影響を受けにくい認証処理を実現する。
図8は図3で示した登録ユーザ情報保持部130および顔識別用データ登録部150の仮登録データ保持部156に格納するデータを模式的に示している。顔認証部114が認証に用いるデータは登録ユーザ情報保持部130に格納される。このデータは上述のとおり、登録ユーザの「ユーザ特定情報」と「顔識別用データ」とを対応づけたものである。図8ではユーザ「A」、「B」、「C」に対応するメモリ領域132a、132b、132cに、「ユーザ特定情報」、「顔識別用データ」がそれぞれ格納されている様子が示されている。
同図の例では、複数のタイミングで取得した顔識別用データを、重なり合う複数の矩形で示している。定性的には集積したデータが多いほど認証精度が安定することになる。まず新規のユーザがユーザ登録を要求した場合、入力受付部102は入力装置6を介して当該要求を受け付け、その旨を顔識別用データ登録部150に通知する。一方、カメラ7は当該ユーザの顔の撮影を開始し、顔識別用データ登録部150は、画像取得部104が取得した撮影画像のデータをメモリから読み出す。
続いてデータ生成部152は、撮影画像から顔の領域を抜き出して特徴量データを導出するとともに、入力受付部102がユーザから受け付けた新規のオンラインIDや装置が付与するアカウントなどのユーザ特定情報と対応づけ、登録ユーザ情報保持部130に新たに確保したメモリ領域に格納する。ユーザ登録を済ませたユーザが、その後の別のタイミングで顔識別用データの登録を希望したときも同様に、データ生成部152はそのタイミングで撮影した画像から顔の領域を抜き出して特徴量データを導出し、顔識別用データとして登録ユーザ情報保持部130に格納する。
ただしこの場合は、ログイン処理などにより特定しておいたユーザ特定情報に基づき、対応するメモリ領域に顔識別用データを追加で格納する。なおこのような追加登録は、例えば前の登録からある程度時間が経過したり、ユーザの状態が変化したりしてユーザ自身が登録の必要性を自覚した場合に発生し得る。
それらのケースに加え、顔識別用データ登録部150の登録判定部154は、ユーザがログインを要求しログイン制御部110がログインのための認証処理を行うタイミングを利用して、顔識別用データを追加で格納すべきか否かを判定する。具体的には第1段階の顔認証や第2段階の顔認証が成功したとき、つまり新たに撮影された顔画像がいずれかの登録ユーザのものであることが特定されたとき、当該顔画像が所定の条件を満たしたら、その顔画像に基づく特徴量データを、特定したユーザのメモリ領域に格納する。
この場合、新たに格納すべき特徴量のデータは、顔認証部114による認証処理において生成済みのため、データ生成部152は当該データを顔認証部114より取得して登録ユーザ情報保持部130に格納すればよい。ここで格納する条件として、認証時に導出する登録済みの顔識別用データとの一致度を利用する。例えば一致度が所定値以上である場合、当該特徴量データを追加登録しても顔識別用データの多様化への貢献は小さいと考えられるため格納しない。
また一致度が所定値以下である場合は、別人である可能性も残されるため格納しない。さらに、認証の結果として特定されたユーザ以外のユーザの顔識別用データとも比較を行い、一致度が所定値以上となるユーザが他に一人でも存在する場合は、当該ユーザのデータである可能性が残されるため格納しなくてもよい。このようにすることで、ユーザに手間をかけることなく、様々な状況における信頼性の高い顔識別用データを効率的かつ継続的に集めることが可能になり、認証精度が安定化する。
本実施の形態ではさらに、第1段階の顔認証、第2段階の顔認証が成功せずとも、そのときの撮影画像から得られた顔画像の特徴量データを破棄せず保持しておき、登録の是非を長期的に評価することで、ログイン処理時に得られるデータを最大限に活用する。そのため登録判定部154は、一致度が顔識別用データとしての登録条件に満たなかった顔画像の特徴量データを、一旦、仮登録データ保持部156に格納する。以後、このように特徴量データを一時保存することを「仮登録」と呼ぶ。
そしてその後にログイン処理が行われ、認証が成功するなど登録済みのあるユーザの画像として確度が高いことが判明した顔画像が撮影される都度、その特徴量データを仮登録された特徴量データとも照合する。この照合処理の手法は顔認証部114が行う顔認証処理と同様でよい。登録判定部154は、複数回の照合処理により所定の条件を満たした特徴量データを、認証に用いる顔識別用データとして登録ユーザ情報保持部130に格納することにより「本登録」する。例えば特定の登録ユーザの顔識別用データと高い確率で一致する特徴量データを検出した場合、その特徴量データを当該ユーザの顔識別用データとして本登録する(例えば矢印a)。
また、どの登録ユーザの顔識別用データとも一致しない事象が高い確率で発生している特徴量データは、登録ユーザ以外のユーザのデータである可能性が高いと判定し、登録ユーザ情報保持部130に新たに確保したメモリ領域に格納する(例えば矢印b)。つまり当該特徴量データに対応するユーザは、ユーザ特定情報が登録された登録ユーザではないが、今後もログインを要求する可能性が高いと考えられるため、ゲストユーザとして認識し、その特徴量データを顔識別用データとして本登録する。図8ではそのようなゲストユーザを「ゲスト1」、「ゲスト2」、「ゲスト3」として示している。
一旦、ゲストユーザとして認識されたら、その後の処理は登録ユーザと同等に行う。つまりログイン制御部110の顔認証部114は、ログイン処理時に、登録ユーザとともにゲストユーザについても顔識別用データを用いた認証を行う。ログイン対象がゲストユーザとして認証された場合は、図6、図7で示したような第2段階の認証において表示するオンラインIDを「ゲスト1」、「ゲスト2」、・・・などとする。また登録判定部154は、ゲストユーザとしての認証が成功した顔画像の特徴量データについても、仮登録した特徴量データと照合する。その結果、ゲストユーザのいずれかとの一致が高確率で発生すれば、その特徴量データを、当該ゲストユーザの顔識別用データとして追加で本登録する。
なおゲストユーザの顔識別用データが登録ユーザ情報保持部130に格納されている場合、新規のユーザがユーザ登録を要求した際は、当該ユーザがゲストユーザとして登録されていないかを確認する。すなわち入力受付部102がユーザ登録要求を受け付け、データ生成部152が撮影画像から当該ユーザの特徴量データを導出した際、顔認証部114は、登録済みのゲストユーザの顔識別用データとの顔認証を行い、一致度が認証しきい値を超える顔識別用データがないか確認する。
該当するデータが存在した場合、登録されている顔識別用データを当該ユーザのものと判断し、新規に登録されたユーザ特定情報と対応づけるなどの措置をとることによりゲストユーザとしての登録を抹消する。このようにすることで、新規登録したユーザのデータの一部がゲストユーザのものとして残ることにより認証が正確になされなかったり、自動で登録される顔識別用データが本来のユーザ特定情報に対応づけられなかったりする不具合の発生を防止する。
図9は、顔識別用データ登録部150が顔識別用データを登録する処理手順を示すフローチャートである。この処理はログイン制御部110において第1段階の顔認証および第2段階の顔認証の少なくともいずれかがなされる都度、開始される。このときログイン制御部110の顔認証部114は、撮影画像における顔領域の特徴量データと、登録ユーザ情報保持部130に格納された、登録済みの顔識別用データとを照合し、その一致度に基づき対応するユーザあるいはゲストユーザを特定する認証処理を行う(S40)。ログイン制御部110では、この結果に基づき適宜ログイン処理がなされる。
一方、顔識別用データ登録部150の登録判定部154は、顔画像から得られた特徴量データと認証結果とを顔認証部114から取得し、認証結果が登録条件を満たす場合は(S42のY)、特徴量データを登録ユーザ情報保持部130に登録する(S44)。ここで認証結果とは、認証の成功/不成功のみならず、各ユーザおよび各ゲストユーザの顔識別用データとの一致度を含む。そして、例えば上述のように特定の登録ユーザの顔識別用データとの一致度が所定範囲にある場合に、当該ユーザのユーザ特定情報に対応づけて特徴量データを登録する。
S42の判定において、撮影画像の特徴量データが登録条件を満たさない場合(S42のN)、続いて仮登録条件を満たすか否かを判定する(S46)。仮登録条件を満たす場合(S46のY)、登録判定部154は、取得した特徴量データを仮登録データ保持部156に格納することにより仮登録する(S48)。基本的には、特定のユーザのデータとして直接登録できるほどの確度はないものの、ある程度以上の可能性を有するような一致度が得られていることを仮登録条件とする。
仮登録条件をも満たさない場合は、特徴量データはいずれのメモリ領域にも格納しない(S46のN)。ただしS42で登録条件を満たさなかった特徴量データは、例外なく仮登録データ保持部156に仮登録するようにしてもよい。この場合はS46の判定が省略される。いずれの場合も登録判定部154は引き続いて、その段階で仮登録データ保持部156に格納されている特徴量データを評価し、登録ユーザ情報保持部130に格納できるものがあれば適宜格納することにより本登録する(S50)。
図10は、登録条件および仮登録条件の設定例を説明するための図である。登録ユーザ情報保持部130にはユーザA、B、Cの顔識別用データが登録されているとする。上述のとおりさらにゲストユーザの顔識別用データが登録されている場合も登録ユーザと同様に扱う。顔認証部114は、新たに撮影された顔画像の特徴量データを各ユーザの顔識別用データと照合することにより、それぞれに対する一致度を計算する。
図10の各ユーザ「A」、「B」、「C」の下の矩形は、一致度の範囲を縦方向に表しており、下辺が最低の一致度の例として0点、上辺が最高の一致度の例として100点を示している。なお各ユーザに対し顔識別用データが複数ある場合は、個別に一致度を計算してもよいし、統計処理によりユーザごとに一致度を計算してもよい。
定性的には、特定のユーザとの一致度が高ければ、その特徴量データを当該ユーザの顔識別用データとして直接登録する。これは図9のS42における「登録条件」に対応する。ただし上述のように、登録済みの顔識別用データとあまりにも近い特徴量データは、新たに格納しても認証精度の向上には寄与しにくいと考えられる。そのため図示した例では、一致度に与える登録条件として下限Th1および上限Th2を設定している。例えばユーザAの顔識別用データとの一致度がTh1以上Th2以下であれば、その特徴量データをユーザAの顔識別用データとして登録する。
ただし複数のユーザに対し当該条件を満たす場合は例外として、直接登録せずに一旦、仮登録とすることにより、どのユーザの特徴量データであるかを、時間をかけて評価する。また登録条件の下限Th1は、顔認証部114が行う顔認証において認証が成功したことを判定するための認証しきい値と同じでもよいし、異なっていてもよい。例えば図示するように認証しきい値より高い一致度を登録条件の下限Th1とすることにより、特徴量データの登録の是非をログイン処理より厳しい基準で判定してもよい。
また、登録条件の下限Th1には満たないが、それに近い一致度を得ている場合、例えば同図に示すように、一致度がTh0以上Th1未満であるときを、図9のS46における「仮登録条件」とし、その特徴量データを仮登録する。このとき、図8に示すようにどのユーザとも紐付けしない状態で仮登録データ保持部156に格納してもよいし、仮登録条件を満たした対象ユーザと紐付けをしておいてもよい。後者の場合は、その後の評価において当該紐付けをしたユーザの顔識別用データのみと一致度を確認するようにしてもよい。また仮登録された特徴量データに対しては長期的な評価がなされるため、仮登録条件を満たした対象ユーザが複数存在しても例外なく仮登録してよい。
なお図10で示した登録条件、仮登録条件は一例であり、その他にも様々な設定が考えられる。例えば上述のように登録条件の下限Th1に満たない一致度を有する特徴量データは全て仮登録としてもよい。あるいは全てのユーザに対する一致度が所定値以下である特徴量データをさらに仮登録対象としてもよい。このようなデータは上述のゲストユーザの顔識別用データの候補となり得るためである。
図11は図9のS50において登録判定部154が、仮登録したデータを本登録する処理手順を示すフローチャートである。まず登録判定部154は、図9のS40で撮影、抽出した顔画像のうち、登録済みの顔識別用データとの一致度が所定値以上であるなど、特定のユーザのものである可能性の高い顔画像の特徴量データと、仮登録データ保持部156に格納されている特徴量データとを比較して一致度を算出する。前者の顔画像は認証の成功条件と同じ条件で特定してもよい。またこの比較処理は、ログイン処理時に顔認証部114が、撮影画像中の顔画像の特徴量データと各ユーザの顔識別用データとの一致度を算出する処理と同様でよい。
そして一致度が所定値以上、または所定値以下、なる信頼度更新条件を満たすか否かを判定する(S62)。ここで信頼度とは、対象の特徴量データが登録済みのユーザまたはゲストユーザのデータである確率の高さ、またはいずれのユーザのデータでもない、すなわち未登録のユーザのデータである確率の高さを表す度数であり、例えば信頼度更新条件を満たした回数により表される。特徴量データが信頼度更新条件を満たす場合(S62のY)、該当するユーザまたは未登録ユーザの信頼度を更新する(S64)。
信頼度を更新したら、当該信頼度が所定値に到達するなど、本登録条件を満たすか否かを確認し、満たす場合は(S66のY)、その特徴量データを登録ユーザ情報保持部130の該当メモリ領域に格納することにより本登録する(S68)。S62において信頼度更新条件を満たさない場合は(S62のN)、信頼度が変化しないため本登録条件の判定は省略する。このような信頼度更新判定、本登録可否判定を各特徴量データについて行い(S70のN、S60〜S68)、仮登録された全ての特徴量データについて評価が完了したら処理を終了する(S70のY)。
図12は図11のS62において用いる信頼度更新条件の設定例を説明するための図である。図10と同様、登録ユーザ情報保持部130にはユーザ「A」、「B」、「C」の顔識別用データが登録されているとし、各ユーザのものである確度が高いと判定された顔画像の特徴量データとの一致度の範囲をそれぞれ矩形で表している。なおゲストユーザが登録済みであっても登録ユーザと同様に扱う。図示するように、顔画像との一致度がしきい値th1以上である場合、信頼度更新条件を満たしているとし、そのユーザに対応する信頼度を更新する。例えばユーザAと判定された顔画像との一致度がth1以上であれば、ユーザAに対応する信頼度を更新する。さらに、顔画像との一致度がしきい値th0以下である場合も信頼度更新条件を満たしているとし、この場合は未登録ユーザに対応する信頼度を更新する。
図13は信頼度のデータ例を模式的に示している。仮登録された特徴量データはそれぞれ、図示するように各ユーザ(ユーザ「A」、「B」、「C」)および「未登録ユーザ」に対応する信頼度を保持する。そして図12で示したような信頼度更新条件を満たす度に、該当するユーザまたは未登録ユーザの信頼度を更新し、いずれかの信頼度が所定値Pに到達した時点で、該当するユーザまたは新たなゲストユーザの顔識別用データとして特徴量データを本登録する。なお同図の場合、信頼度は該当ユーザのデータである可能性が高いほど増加するものとして示しているが、信頼度の特性をそれに限定する趣旨ではない。
これにより、撮影時点では確度が低く登録を回避した顔画像の特徴量データも、その後の評価結果により本登録とすることで活用の機会を与えることができる。特に登録ユーザ情報保持部130に格納される顔識別用データは、上述した自動登録処理などによって随時更新されるため、認証処理を利用して継続的に評価していくことにより一致度が上昇していき登録となる可能性がある。また撮影された顔画像を媒介として仮登録されたデータを評価することにより、登録済みの顔識別用データに変化がなくとも、一致度の許容範囲内にあるデータの信頼度を適正に更新できる。
結果として、撮影環境の一時的な変化やノイズなどによる僅かな差でデータが登録されない状況を回避できるとともに、ユーザ自身の成長や外見の変化など、比較的長い期間にわたる変化を加味した精度の高いデータを継続的に登録していくことが可能となる。また、長期の評価においていずれの登録ユーザとも一致しない、ということを条件にゲストユーザを許容し、その特徴量データを登録しておくことにより、以後のログイン処理において未登録のユーザを登録ユーザのいずれかと誤認識する可能性を低くすることができる。
なお信頼度更新条件を満たす頻度が小さく、所定期間が経過してもいずれの信頼度も所定値Pに到達しなかった特徴量データは、データ自体に欠陥があったりして登録には適さない可能性が高いため仮登録から抹消してもよい。例えば仮登録できる特徴量データの数に上限を設けておき、上限に達したら、仮登録されてからの期間が長く、かつ信頼度と所定値Pとの差が大きい特徴量データを破棄し、新たな特徴量データを格納するようにしてもよい。これにより、仮登録データ保持部156のメモリ容量を限定的にできる。
(2)ログイン時の撮影条件の調整
これまで述べたような顔認証処理において、登録された顔識別用データとログイン時に得られた顔画像の特徴量データとを比較する場合、それぞれの画像の撮影環境が上述のように異なると、輝度分布など画像特性の差に起因し、同じユーザであるのに認証しきい値を超える一致度が得られないことが考えられる。またそのような状況を加味して認証しきい値を下げてしまうと、別のユーザとも一致しやすくなってしまう。
これまで述べたような顔認証処理において、登録された顔識別用データとログイン時に得られた顔画像の特徴量データとを比較する場合、それぞれの画像の撮影環境が上述のように異なると、輝度分布など画像特性の差に起因し、同じユーザであるのに認証しきい値を超える一致度が得られないことが考えられる。またそのような状況を加味して認証しきい値を下げてしまうと、別のユーザとも一致しやすくなってしまう。
一般的なカメラでは、その時々の照明環境などに応じ、最適な撮影画像が得られるように露出、絞り、ガンマ値、ホワイトバランスといった撮影条件(補正条件を含む)を自動で調整する機能を備えることが多い。例えばオートエクスポージャやオートゲインコントロールなどの機能により、画像の見栄えを良くしたり、対象物の検出精度を向上させたりする技術が普及している。しかしながらこのような機能は画像ごとに全体的なバランスを調整することを旨としているため、2つの画像の一部領域の比較を前提とする上述のような顔認証には有効に働かないばかりか、却って画像特性の差が大きくなり悪影響を及ぼすことも考えられる。
そこで情報処理装置10の撮影条件制御部106は、ログイン処理時に撮影する顔画像の画像特性が、登録されている顔識別用データの元となる顔画像の画像特性に近づくように、カメラ7の撮影条件を制御する。このとき、顔識別用データを顔画像そのものとする場合は当該画像の画像特性を目標とすればよい。顔識別用データを顔のパーツの大きさやサイズ、平均顔からの差分など、撮影画像以外のデータとした場合は、顔識別用データとともに、元の顔画像の画像特性に係るデータを登録ユーザ情報保持部130に保存しておき調整時に読み出す。
図14は、撮影条件制御部106の基本的な調整動作を説明するための図である。まず登録ユーザ情報保持部130には登録ユーザの顔識別用データが格納されている。顔識別用データは実際には図8で示したようにユーザ特定情報と対応づけて格納される。また上述のように顔識別用データは顔画像そのものとは限らないが同図では顔画像182として表象的に示している。一方、ログイン処理に際し撮影された画像から抽出された顔領域が、例えば顔画像180aであったとすると、登録されている顔画像182と比較し輝度が全体的に異なるため、同一ユーザであっても認証に失敗する可能性がある。
そこで撮影条件制御部106は、顔画像180aのデータを顔認証部114から取得し、その画像特性が、顔識別用データの元となる顔画像182の画像特性に近づくように撮影条件の調整目標を決定する。画像特性としては、画像解析や画像処理技術に用いられるいかなるパラメータを採用してもよく、例えば輝度分布、周波数特性、色分布、階調分布などのいずれか、あるいはそれらの組み合わせでよい。画像特性以外に、顔のパーツの分布など画像中の像の特性を利用してもよい。図14の例では、矢印に示すように露出を下げる方向にシャッタースピードや絞りを調整したりゲインを下げたりする。
そしてカメラ7に、決定した目標に達するように撮影条件を所定量ずつ変化させて撮影させる。このとき撮影画像が得られる都度、その顔画像(例えば顔画像180b)と、登録されている顔画像182(またはその顔識別用データ)との一致度を確認していき、最適条件で撮影されたと考えられる顔画像(例えば顔画像180c)を取得する。なお調整目標に達する経路は、図示するような一方向とは限らず、撮影条件を大小に振っていくなどして目標に近づけていってもよい。
あるいは、ブラケット撮影により所定の条件範囲の複数の顔画像180b、180c、180dを一度に取得した後、最適な顔画像180cを選択してもよい。また着目する画像特性によっては、撮影条件を徐々に変化させずに、計算によって最適な撮影条件を求めてもよい。この場合、顔識別用データの元となる顔画像182の画像特性と、撮影された顔画像180aの画像特性との差分に基づき、あらかじめ準備した計算式に従って撮影条件の調整量を算出し、調整後の条件で撮影した顔画像を採用する。当該計算式は画像特性によって様々に与えられることは当業者には理解されるところである。
図15は、撮影条件制御部106がカメラ7の撮影条件を調整しながら、顔認証部114が顔認証を行う処理手順を示すフローチャートである。なおこの処理は、典型的には撮影の初期である第1段階の顔認証で行うが、第2段階の顔認証にも適用できる。まずカメラ7は初期設定に従う条件で撮影を行い、顔認証部114は当該撮影画像を取得する(S80、S82)。このときの撮影条件は、カメラ7が有する一般的な自動調整機能を利用して決定してよい。
次に顔認証部114は、上述のとおり撮影画像から抽出した顔領域の画像の特徴量データと、登録ユーザ情報保持部130に格納された各登録ユーザの顔識別用データとを比較し、一致度を算出する(S84)。そして当該一致度が認証しきい値を超える登録ユーザが存在したら(S86のY)、特に問題なく認証が成功したと判定し、第2段階の顔認証やログイン処理など、その後の処理へ移行する(S88)。
一方、顔が検出されたにも関わらず一致度が認証しきい値を越えるユーザが存在しなかった場合(S86のN)、撮影条件制御部106は撮影条件の調整処理を開始する(S90のY、S94〜S98)。具体的には、まず撮影画像から複数の顔画像が抽出されている場合は、そのうち比較対象とする顔画像を所定の規則により決定する(S94)。例えばS84において算出された一致度として最も高い値が得られた顔画像を選択する。あるいは顔領域のサイズが最も大きい顔画像、カメラ7に最も近いと推定される顔画像、撮影画像の中央に最も近い位置にある顔画像、などを選択してもよい。
次に、登録されている顔識別用データの顔画像のうち、画像特性を近づける目標とする顔画像を所定の規則により決定する(S96)。例えば登録時期が最も遅い顔画像、過去の認証処理において認証しきい値を越えた頻度が高い顔画像、S94で決定した比較対象の顔画像との一致度が最も高い顔画像、S94で決定した顔画像と顔の向きが最も近い顔画像、などのいずれかを選択する。選択規則として複数の基準を採用してもよい。登録ユーザ情報保持部130には、用いる基準によって必要な情報を顔識別用データに対応づけて適宜格納しておく。また過去の認証処理において一致度が所定値を越えなかった顔画像を選択肢から除外するなどしてもよい。
次に、撮影画像のうちS94で決定した比較対象の顔画像と、S96で決定した目標とする顔画像とを、上述のような画像特性に基づき比較することにより、撮影条件の調整目標を決定し、その結果に従いカメラ7の撮影条件を変化させる(S98)。そして調整後の条件で撮影した画像を顔認証部114が取得することにより、再度、顔領域の画像の特徴量データと、登録ユーザ情報保持部130に格納された各登録ユーザの顔識別用データとを比較し、一致度を算出する(S84)。これにより認証しきい値を超えたユーザが得られたら(S86のY)、認証が成功したと判定する(S88)。
認証しきい値を超えたユーザがおらず(S86のN)、撮影条件にまだ調整の余地があれば(S90のY)、撮影条件制御部106は再び撮影条件を調整する(S94〜S98)。なおS84において算出される一致度によってはS94、S96の処理を省略することもできる。すなわち、一致度が改善する方向に変化している場合は、最初に決定した調整方針が正しいと推定されるため、S94、S96の処理を省略し、撮影条件の変更のみを行ってよい。
一致度が変化していなかったり悪化したりした場合は、S94、S96において比較対象の顔画像や目標とする顔画像を選択し直したり、S98で撮影条件の調整目標を変更したりしてもよい。このような撮影条件の調整および認証を繰り返し、一致度が認証しきい値を超えたユーザが得られたら(S86のY)、認証が成功したと判定する(S88)。認証しきい値を超えるユーザが得られないまま(S86のN)、撮影条件の調整範囲が所定の限度に到達したら(S90のN)、ログイン対象が登録ユーザでないことが考えられるため認証不成功と判定し処理を終える(S92)。
なおブラケット撮影により所定の調整範囲まで撮影条件を変化させながら連続的に撮影する場合は、S84、S86において撮影画像の取得順に認証処理を実施し、最も高い一致度が得られた撮影画像に基づき認証の成功、不成功を判定する。また上述の例では、認証が一人でも成功したら、撮影条件の調整をそれ以上は行わずに認証処理を終了させたが、認証が成功していない顔画像が残っている間は、撮影条件に調整の余地がある限り調整を続行してもよい。この場合、S94において比較対象とする顔画像は、当該残っている顔画像のいずれかとする。この場合、S94において上述した基準により顔画像を選択せず、撮影画像に含まれる顔画像を端から順に比較対象とするなどして全顔画像を調整に用いてもよい。このとき認証対象を、当該調整に用いた顔画像に限定してもよいし、それ以外の顔画像についても認証処理の対象としてもよい。
また図示する手順では、S96において目標とする登録画像を一つに絞ることにより調整処理の効率性を追求したが、全登録画像を順次、目標として撮影条件を様々な角度から調整してもよい。つまりS96において、登録されている顔画像を1つずつ抽出して目標とし、S98以後の撮影条件調整、および認証処理を行う。この場合、認証しきい値を超えるユーザが得られないまま(S86のN)、撮影条件の調整範囲が所定の限度に到達したら(S90のN)、比較対象の顔画像はそのままに、次の登録画像を目標として同様の処理を繰り返す。そして全ての登録画像に対し調整しても認証が不成功であったときに処理を終了する。
このような調整処理により、照明などの撮影環境が変化したことにより、ログイン時に撮影した画像が登録された顔識別用データの画像特性と異なってしまっても、それに起因して認証精度が悪化し、ユーザがなかなかログインできないなどの不都合の発生を抑えることができる。また登録済みのデータに合わせて調整を行うため、データ登録時に、認証が適正に行われるようなデータが得られるまで撮影をやり直すといった手間が軽減される。
したがって、例えば上述の顔識別用データの自動登録と組み合わせた場合、登録対象を比較的平易に決定しても、それによる認証精度の悪化を防ぐことができる。またこの場合、条件を調整して撮影した画像が登録対象となるため、登録されているデータの画像特性が自ずと均一化する。結果として、正しいユーザのデータとの一致度が得られやすくなり、ひいては認証精度を向上させることができる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば本実施の形態はその活用先がユーザログインに限定されるものではない。すなわち登録された画像と新たに取得した画像との一致度を確認することにより何らかの判定、判別、検出を行うものであればその分野や利用目的によらず、本実施の形態を適用できる。例えば被写体が誰であるか、何であるか、を特定するのみでも、上述したデータの自動登録技術や撮影条件の調整技術は適用でき、本実施の形態で述べたのと同様の効果を得ることができる。
1 情報処理システム、 4 出力装置、 6 入力装置、 7 カメラ、 10 情報処理装置、 20 メイン電源ボタン、 102 入力受付部、 104 画像取得部、 106 撮影条件制御部、 110 ログイン制御部、 112 撮像画像表示部、 114 顔認証部、 116 顔枠処理部、 120 ログイン処理部、 130 登録ユーザ情報保持部、 150 顔識別用データ登録部、 152 データ生成部、 154 登録判定部、 156 仮登録データ保持部。
Claims (13)
- ユーザの撮影画像を撮像装置より取得する画像取得部と、
登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
前記登録ユーザ情報保持部に保持された顔識別用データを用いて、前記撮影画像中の顔画像の認証処理を行う顔認証部と、
前記顔認証部における認証結果を改善させるため、前記顔画像の特性を前記顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して前記撮像装置に撮影させる撮影条件制御部と、
調整によって得られた顔画像の認証結果に基づき情報処理を行う情報処理部と、
を備えることを特徴とする情報処理装置。 - 前記登録ユーザ情報保持部は、前記顔識別用データに対応づけて、当該データの取得元の顔画像の特性データをさらに保持し、
前記撮影条件制御部は、前記撮影画像中の顔画像から取得した特性データと、前記登録ユーザ情報保持部から読み出した特性データとを比較することにより、撮影条件の調整目標を決定することを特徴とする請求項1に記載の情報処理装置。 - 調整によって得られた顔画像と前記顔識別用データとの一致度が所定の条件を満たすとき、当該顔画像に基づき前記顔識別用データを更新する顔識別用データ登録部をさらに備えることを特徴とする請求項1または2に記載の情報処理装置。
- 前記撮影条件制御部は、前記登録ユーザ情報保持部が保持する複数の顔識別用データから、特性を近づける目標とする顔識別用データを、登録時期、過去の認証処理において認証を成功させた頻度、前記撮影画像中の顔画像との一致度、当該顔画像との顔の向きの近さ、のいずれかに基づき選択することを特徴とする請求項1から3のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、前記登録ユーザ情報保持部が保持する複数の顔識別用データを順次、特性を近づける目標として設定して撮影条件を調整し前記撮像装置に撮影させることを特徴とする請求項1から3のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、前記撮影画像中の複数の顔画像から、特性を近づける対象とする顔画像を、前記顔識別用データとの一致度、顔領域の面積、撮像装置からの顔の距離、撮影画像における位置、のいずれかに基づき選択することを特徴とする請求項1から5のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、前記撮影画像中の複数の顔画像を順次、特性を近づける対象として設定して撮影条件を調整し前記撮像装置に撮影させることを特徴とする請求項1から5のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、前記顔画像と前記顔識別用データの一致度が所定の認証しきい値を超え認証が成功するまで、撮影条件の調整を繰り返すことを特徴とする請求項1から7のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、撮影条件を段階的に変化させながら前記撮像装置に連続して撮影させ、得られた複数の撮影画像中の顔画像のうち、前記顔識別用データとの一致度が最も高くなる顔画像を用いて認証の成功、不成功を判定することを特徴とする請求項1から7のいずれかに記載の情報処理装置。
- 前記撮影条件制御部は、前記顔識別用データの取得元の顔画像の特性と前記撮影画像中の顔画像の特性との差分に基づき撮影条件の調整量を決定することを特徴とする請求項1から7のいずれかに記載の情報処理装置。
- 情報処理装置が、
ユーザの撮影画像を撮像装置から取得するステップと、
記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行うステップと、
前記認証を行うステップにおける認証結果を改善させるため、前記顔画像の特性を前記顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して前記撮像装置に撮影させるステップと、
調整によって得られた顔画像の認証結果に基づき情報処理を行うステップと、
を含むことを特徴とする情報処理方法。 - ユーザの撮影画像を撮像装置から取得する機能と、
記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行う機能と、
前記認証を行う機能における認証結果を改善させるため、前記顔画像の特性を前記顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して前記撮像装置に撮影させる機能と、
調整によって得られた顔画像の認証結果に基づき情報処理を行う機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。 - ユーザの撮影画像を撮像装置から取得する機能と、
記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行う機能と、
前記認証を行う機能における認証結果を改善させるため、前記顔画像の特性を前記顔識別用データの取得元の顔画像の特性に近づけるように撮影条件を調整して前記撮像装置に撮影させる機能と、
調整によって得られた顔画像の認証結果に基づき情報処理を行う機能と、
をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014211057A JP2016081249A (ja) | 2014-10-15 | 2014-10-15 | 情報処理装置および情報処理方法 |
US14/856,608 US9716712B2 (en) | 2014-10-15 | 2015-09-17 | Information processing device, and information processing method to improve face authentication |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014211057A JP2016081249A (ja) | 2014-10-15 | 2014-10-15 | 情報処理装置および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016081249A true JP2016081249A (ja) | 2016-05-16 |
Family
ID=55749311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014211057A Pending JP2016081249A (ja) | 2014-10-15 | 2014-10-15 | 情報処理装置および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9716712B2 (ja) |
JP (1) | JP2016081249A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019124974A (ja) * | 2018-01-11 | 2019-07-25 | 富士通株式会社 | 生体認証装置、生体認証方法、および生体認証プログラム |
JP2019526040A (ja) * | 2016-06-14 | 2019-09-12 | シェンジェン ピーアールテック カンパニー リミテッド | 測定器データ記憶方法および装置 |
KR20200032161A (ko) * | 2017-08-01 | 2020-03-25 | 애플 인크. | 얼굴 인식에 사용되는 템플릿들을 업데이트하기 위한 프로세스 |
JP2020161876A (ja) * | 2019-03-25 | 2020-10-01 | 日本電気株式会社 | 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム |
KR20210003916A (ko) * | 2018-06-03 | 2021-01-12 | 애플 인크. | 얼굴 인식의 다수의 등록들 |
JP2021149812A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社東海理化電機製作所 | 認証装置、コンピュータプログラム、および認証システム |
JP2022136312A (ja) * | 2018-08-03 | 2022-09-15 | キヤノンマーケティングジャパン株式会社 | 管理サーバ、テレワーク管理支援システム、テレワーク管理支援方法ならびにプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101316805B1 (ko) * | 2013-05-22 | 2013-10-11 | 주식회사 파이브지티 | 자동 얼굴 위치 추적 및 얼굴 인식 방법 및 시스템 |
CN106992968B (zh) * | 2017-03-03 | 2020-05-19 | 浙江智贝信息科技有限公司 | 一种基于客户端的人脸持续认证方法 |
CN107832675A (zh) * | 2017-10-16 | 2018-03-23 | 广东欧珀移动通信有限公司 | 拍照处理方法及相关产品 |
US10303866B1 (en) * | 2018-06-03 | 2019-05-28 | Apple Inc. | Automatic retries for facial recognition |
CN109067767B (zh) * | 2018-08-31 | 2021-02-19 | 上海艾融软件股份有限公司 | 一种人脸识别认证方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4218348B2 (ja) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
US8062126B2 (en) | 2004-01-16 | 2011-11-22 | Sony Computer Entertainment Inc. | System and method for interfacing with a computer program |
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
KR101411910B1 (ko) * | 2008-01-04 | 2014-06-26 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
US8648959B2 (en) * | 2010-11-11 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
WO2014072837A2 (en) * | 2012-06-07 | 2014-05-15 | DigitalOptics Corporation Europe Limited | Mems fast focus camera module |
JP6197749B2 (ja) * | 2014-03-31 | 2017-09-20 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、プログラム及びカメラ |
KR102155093B1 (ko) * | 2014-08-05 | 2020-09-11 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
-
2014
- 2014-10-15 JP JP2014211057A patent/JP2016081249A/ja active Pending
-
2015
- 2015-09-17 US US14/856,608 patent/US9716712B2/en active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019526040A (ja) * | 2016-06-14 | 2019-09-12 | シェンジェン ピーアールテック カンパニー リミテッド | 測定器データ記憶方法および装置 |
KR20200032161A (ko) * | 2017-08-01 | 2020-03-25 | 애플 인크. | 얼굴 인식에 사용되는 템플릿들을 업데이트하기 위한 프로세스 |
KR102362651B1 (ko) * | 2017-08-01 | 2022-02-14 | 애플 인크. | 얼굴 인식에 사용되는 템플릿들을 업데이트하기 위한 프로세스 |
JP2019124974A (ja) * | 2018-01-11 | 2019-07-25 | 富士通株式会社 | 生体認証装置、生体認証方法、および生体認証プログラム |
KR20210003916A (ko) * | 2018-06-03 | 2021-01-12 | 애플 인크. | 얼굴 인식의 다수의 등록들 |
KR102564951B1 (ko) * | 2018-06-03 | 2023-08-07 | 애플 인크. | 얼굴 인식의 다수의 등록들 |
JP2022136312A (ja) * | 2018-08-03 | 2022-09-15 | キヤノンマーケティングジャパン株式会社 | 管理サーバ、テレワーク管理支援システム、テレワーク管理支援方法ならびにプログラム |
JP7372566B2 (ja) | 2018-08-03 | 2023-11-01 | キヤノンマーケティングジャパン株式会社 | 管理サーバ、テレワーク管理支援システム、テレワーク管理支援方法ならびにプログラム |
JP2020161876A (ja) * | 2019-03-25 | 2020-10-01 | 日本電気株式会社 | 情報処理装置、カメラ制御方法、プログラム、カメラ装置、および画像処理システム |
US11146725B2 (en) | 2019-03-25 | 2021-10-12 | Nec Corporation | Information processing apparatus, camera control method, program, camera apparatus, and image processing system |
US11647279B2 (en) | 2019-03-25 | 2023-05-09 | Nec Corporation | Information processing apparatus, camera control method, program, camera apparatus, and image processing system |
JP2021149812A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社東海理化電機製作所 | 認証装置、コンピュータプログラム、および認証システム |
Also Published As
Publication number | Publication date |
---|---|
US9716712B2 (en) | 2017-07-25 |
US20160110588A1 (en) | 2016-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6096161B2 (ja) | 情報処理装置および情報処理方法 | |
JP2016081249A (ja) | 情報処理装置および情報処理方法 | |
JP6025690B2 (ja) | 情報処理装置および情報処理方法 | |
US11551482B2 (en) | Facial recognition-based authentication | |
US9415313B2 (en) | Information processing device and information processing method | |
US9921052B2 (en) | Information processing device and information processing method | |
US9317739B2 (en) | Information processing device and information processing method | |
CN108280418A (zh) | 脸部图像的欺骗识别方法及装置 | |
WO2019080578A1 (zh) | 3d人脸身份认证方法与装置 | |
WO2017161867A1 (zh) | 一种调节屏幕亮度的方法、装置及智能终端 | |
WO2016176989A1 (zh) | 移动终端基于眼纹识别的图像曝光方法及图像曝光*** | |
KR20170007772A (ko) | 전자장치에 대한 엑세스를 제어하기 위한 전자장치 및 방법 | |
US20170161553A1 (en) | Method and electronic device for capturing photo | |
TW201339987A (zh) | 電子設備及其顯示螢幕防窺視方法 | |
CA2959085A1 (en) | Methods and systems for authenticating users | |
JP2007072861A (ja) | なりすまし検出装置及び顔認証装置 | |
WO2016088415A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20150347732A1 (en) | Electronic Device and Method for Controlling Access to Same | |
JP2018081402A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9684828B2 (en) | Electronic device and eye region detection method in electronic device | |
JP2011159030A (ja) | 被写体認証装置、被写体認証方法及びプログラム | |
CN113965767B (zh) | 室内直播的方法、终端设备及计算机可读存储介质 | |
WO2020133405A1 (zh) | 一种地面遥控机器人的控制方法和装置 | |
JP5808787B2 (ja) | 情報処理装置および情報処理方法 | |
WO2018188007A1 (zh) | 自拍的方法、装置和终端设备 |