JP5920894B2 - 情報処理装置および顔識別用データの登録方法 - Google Patents

Description

本発明は、ユーザの顔認識用の顔識別データを登録する情報処理装置に関する。

ゲーム装置などの情報処理装置にユーザがログインする際、情報処理装置は、ログインするユーザが、予め登録されたユーザであるか否かを識別するユーザ認証処理を行う。ユーザ認証の種類には様々あり、パスワードによるユーザ認証は広く使用されている。

パスワードによるユーザ認証とは別に、ユーザの生体情報を用いたユーザ認証も一般的に使用されている。生体情報を用いたユーザ認証は、ユーザがパスワードを入力する必要がなく、認証におけるユーザの手間は少ない。特に、デジタル画像からユーザの顔を認識する顔認証システムは、基本的にはユーザに特別な動作を要求するものではないため、簡便なユーザ認証の１つとして知られている。本発明者は、顔認証システムを利用することでユーザ認証が簡易に実現できることに着目し、顔認証のための顔識別用データを効率的に登録するユーザインタフェースを想到するに至った。

そこで本発明は、顔識別用データを登録する技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザの顔識別用データを登録する情報処理装置であって、撮像画像の少なくとも一部をディスプレイに表示する撮像画像表示部と、撮像装置に対してユーザが顔を相対回転するための案内をディスプレイに表示する案内表示部と、案内の表示後または表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する登録処理部とを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の情報処理技術によると、顔識別用データを効率的に登録する技術を提供することが可能となる。

本発明の実施例にかかる情報処理システムを示す図である。 情報処理装置の機能ブロックを示す図である。 情報処理装置の顔認証機能を実現する構成を示す図である。 情報処理装置の顔登録機能を実現する構成を示す図である。 （ａ）は、顔登録のスタート画面の一例を示す図であり、（ｂ）は、周辺環境についての説明文の一例を示す図である。 （ａ）は、出力装置に表示されるライブ画面を示す図であり、（ｂ）は、メッセージの表示例を示す図である。 （ａ）は、顔探索の実行画面を示す図であり、（ｂ）は、ユーザの顔画像を顔枠が囲んでいる状態を示す図である。 ユーザが行う顔回転動作の概要を説明するための説明画面を示す図である。 （ａ）および（ｂ）は、ロール回転動作に関するデモモードによる案内画面を示す図である。 （ａ）および（ｂ）は、ロール回転動作に関する登録モードによる案内画面を示す図である。 （ａ）および（ｂ）は、ヨー回転動作に関するデモモードによる案内画面を示す図である。 （ａ）および（ｂ）は、ヨー回転動作に関する登録モードによる案内画面を示す図である。 （ａ）および（ｂ）は、ピッチ回転動作に関するデモモードによる案内画面を示す図である。 （ａ）および（ｂ）は、ピッチ回転動作に関する登録モードによる案内画面を示す図である。 顔登録処理の終了画面を示す図である。

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ユーザ端末である情報処理装置１０と、サーバ５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ５と通信可能に接続する。

補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、また無線接続されてもよい。情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザの操作結果を示す操作信号を情報処理装置１０に出力する。情報処理装置１０は、入力装置６からの操作信号を受け付けるとＯＳ（システムソフトウェア）やアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。入力装置６は複数のプッシュ式の操作ボタンや、方向キー、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

情報処理装置１０は、入力装置６からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作信号を提供する機器である。なお入力装置６は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部または下部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

サーバ５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ５は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。

図１では、２人のユーザＡ、Ｂが、ゲームコントローラである入力装置６ａ、６ｂを操作している様子が示されている。ユーザＡ、Ｂは、それぞれ入力装置６ａ、６ｂを操作してログイン用パスコードを入力し、情報処理装置１０により認証された後、情報処理装置１０のＯＳにログインすることで、ゲームなどのアプリケーションを楽しむことができる。

近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置６をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム１において有意義である。

そこで本実施例の情報処理システム１では、カメラ７の撮像画像を利用して、顔認識処理によりユーザ認証を簡易に行うことのできる技術を提供する。

図２は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。上記したように、サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブＣＰＵおよびメモリは、別個のチップに形成されてもよい。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム６０がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム６０がスタンバイ状態にあることを意味する。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、サーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。本実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、サーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

本実施例の情報処理システム１において、情報処理装置１０が電源オフの状態で、ユーザがメイン電源ボタン２０を押下すると、情報処理装置１０はメイン電源をオンしてＯＳ（システムソフトウェア）を起動し、入力装置６を利用しないユーザのログイン処理を実行する。このログイン処理では、情報処理装置１０が、カメラ７の撮像画像を利用した顔認証システムとして機能する。

図３は、情報処理装置１０の顔認証機能を実現する構成を示す。情報処理装置１０は、入力受付部１０２、画像取得部１０４、ログイン制御部１１０および登録ユーザ情報保持部１２０を備える。ログイン制御部１１０は、顔認証部１１２およびログイン処理部１１４を有する。入力受付部１０２は、ユーザからの操作情報を受け付け、画像取得部１０４は、カメラ７で撮像された撮像画像を取得する。カメラ７は、所定の周期で空間画像を撮影し、たとえば１／３０秒に１枚の空間画像を撮影して、撮像画像を画像取得部１０４に提供する。カメラ７は、その光軸が出力装置４の前方を向くように配置されており、したがってカメラ７は、出力装置４の前方に存在するユーザを撮影する。

図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

本実施例の情報処理装置１０は、ユーザの簡易なログイン動作を支援することを１つの特徴とする。ユーザは、情報処理装置１０のＯＳにログインするために、ユーザアカウントを予め取得して、情報処理装置１０に登録している必要がある。以下、ユーザアカウントを情報処理装置１０に登録したユーザを、「登録ユーザ」とよぶ。

登録ユーザ情報保持部１２０は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、顔識別用データ、ユーザのオンラインＩＤ（ネットワーク上でのニックネーム）、ログイン用パスコードなどを、登録ユーザ情報として保持している。ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部１１２による顔認識処理において比較対象とされるデータであり、顔認証部１１２が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では、顔認証部１１２が既知の顔認識アルゴリズムを採用している。顔識別用データの登録処理については後述する。

登録ユーザが情報処理装置１０のＯＳにログインする際の処理について説明する。このログイン処理では、ユーザは入力装置６を使用せずにログインする。
ユーザが情報処理装置１０のメイン電源ボタン２０を押下すると、情報処理装置１０のメイン電源がオンとなり、入力受付部１０２がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。入力受付部１０２がログイン要求を受け付けると、ログイン制御部１１０における各機能が実現される。ログイン制御部１１０は、ユーザの顔認識の結果に基づいて、ユーザのログインの許否を判定する機能をもつ。

入力受付部１０２が、メイン電源の押下に基づいたログイン要求を受け付けると、顔認証部１１２は、カメラ７により撮影された撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出する。続いて顔認証部１１２は、導出した特徴量データを、登録ユーザ情報保持部１２０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。

具体的に顔認証部１１２は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１２０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認証部１１２は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認証部１１２は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認証部１１２は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部１１２は、登録ユーザ情報保持部１２０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

顔認証部１１２が、撮像されたユーザが登録ユーザであることを判定し、登録ユーザを特定すると、登録ユーザのユーザ特定情報をログイン処理部１１４に通知する。これによりログイン処理部１１４は、登録ユーザを情報処理装置１０にログインさせる。このように本実施例の情報処理装置１０は、ユーザが入力装置６を用いない簡易なログイン処理を実現する。

以上、顔認識によるログイン処理について説明したが、このログイン処理を行うためには、予め登録ユーザ情報保持部１２０が顔識別用データを保持している必要がある。ユーザが新規のユーザアカウントを生成する際、ユーザは、入力装置６を用いてログインする際に入力するためのログイン用パスコードを設定するが、このとき顔識別用データの登録作業もあわせて行う。なお新規ユーザアカウントを生成する際に、顔識別用データの登録が必須でない場合には、顔識別用データを未登録とする登録ユーザが、ＯＳにログイン後に、顔識別用データをあらためて登録してもよい。以下に、顔識別用データを登録ユーザ情報保持部１２０に登録する処理について説明する。

図４は、情報処理装置１０の顔登録機能を実現する構成を示す。情報処理装置１０は、入力受付部１０２、画像取得部１０４およびユーザ情報生成部１３０を備える。ユーザ情報生成部１３０は、顔認証部１１２、撮像画像表示部１３２、顔枠表示部１３４、案内表示部１３６および登録処理部１３８を有する。入力受付部１０２は、ユーザからの操作情報を受け付け、画像取得部１０４は、カメラ７で撮像された撮像画像を取得する。カメラ７は、所定の周期で空間画像を撮影し、たとえば１／３０秒に１枚の空間画像を撮影して、撮像画像を画像取得部１０４に提供する。撮像画像表示部１３２は、画像取得部１０４が取得した撮像画像の少なくとも一部をディスプレイである出力装置４に表示する。なお撮像画像表示部１３２は、撮像画像の一部を表示する場合には、その部分を拡大表示することが好ましい。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

本実施例において情報処理装置１０は、据置型のゲーム装置であって、カメラ７とユーザ間の距離は、通常、数メートル程度離れている。そのため登録ユーザが顔認証によるログインを行う際、登録ユーザの顔がカメラ７に対して正対していないことも少なくないことが考えられ、そのような場合であってもログイン制御部１１０における顔認証部１１２が、撮像画像に含まれるユーザが登録ユーザであることを判定できることが好ましい。つまり顔認証部１１２は、撮像画像に含まれる登録ユーザの顔が若干傾いていたり、また顔の向きがカメラ７の光軸方向とずれていたとしても、その状態ですみやかに顔認証処理を行えることが好ましい。

そこでユーザ情報生成部１３０は、ユーザの顔が回転したときの顔識別用データを登録ユーザ情報保持部１２０に予め登録しておき、ログイン制御部１１０が、登録ユーザの顔がカメラ７に対して正対しているときだけでなく、カメラ７に対して顔が傾いたり、顔の向きがカメラ７の光軸方向からずれた状態であっても、顔認証処理を好適に実行できるようにする。これによりユーザは、カメラ７に対して顔を正対させる必要なく、すみやかに情報処理装置１０にログインすることができる。

入力受付部１０２が、ユーザの入力装置６から顔登録要求を受け付けると、案内表示部１３６が、顔登録のスタート画像を出力装置４に表示する。このとき登録処理部１３８はユーザのユーザアカウントを特定し、保持しておく。登録処理部１３８は、後に顔識別用データを登録ユーザ情報保持部１２０に格納する際に、このユーザアカウントに紐付けて顔識別用データを登録する。

図５（ａ）は、顔登録のスタート画面の一例を示す。スタート画面において、ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、周辺環境についての説明文を出力装置４に表示する。図５（ｂ）は、周辺環境についての説明文の一例を示す。ユーザは、説明文を見て、顔登録にふさわしい周辺環境を整える。

ここでユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、撮像画像表示部１３２が、画像取得部１０４が取得した撮像画像を出力装置４に表示する。これにより出力装置４には、カメラ７が撮影したライブ画像が表示されることになり、出力装置４の前方にいるユーザが、出力装置４に映し出される。

図６（ａ）は、出力装置４に表示されるライブ画面を示す。ライブ画面には、２人のユーザが含まれている。ユーザは、顔識別用データの登録作業において、入力装置６を操作する。撮像画像表示部１３２がライブ画像を表示してから所定時間（たとえば３秒）が経過すると、案内表示部１３６は、顔登録を行うユーザに、自分の顔を選択する旨のメッセージを、ライブ画像に重ねて表示する。図６（ｂ）は、メッセージの表示例を示す。ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、メッセージを画面から消す。

図７（ａ）は、顔探索の実行画面を示す。顔認証部１１２は、カメラ７により撮影された撮像画像において顔探索処理を行い、人の顔と推定される部分（顔領域）を特定する。ここでは２人のユーザが撮像画像に含まれており、したがって顔認証部１１２は、２つの顔領域を特定する。図７（ｂ）は、ユーザの顔画像を顔枠が囲んでいる状態を示す。顔枠表示部１３４は、顔認証部１１２による顔探索処理の終了後、特定されたユーザの顔領域を囲むように、顔枠２００ａ、２００ｂを表示する。図７（ｂ）において、顔枠２００ａは黒枠として示され、顔枠２００ｂは白枠として示されているが、ここで黒枠は、選択された状態を示し、白枠は、選択されていない状態を示す。図７（ｂ）に示す画面において、ユーザが入力装置６を用いて右方向操作をすると、黒枠が右に移動し、顔枠２００ｂを黒枠にできる。顔登録を行うユーザは、自分の顔枠を黒枠に設定して、入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、カメラ７に対してユーザが顔を相対回転するための案内を出力装置４に表示する。

図８は、これからユーザが行う顔回転動作の概要を説明するための説明画面を示す。図７（ｂ）に示される顔枠２００ａがユーザにより選択されると、撮像画像表示部１３２は、撮像画像に含まれる、選択されたユーザの顔領域を拡大して出力装置４に表示する。これによりユーザは、これから自分の顔登録処理が開始されることを認識する。撮像画像に複数のユーザが含まれる場合、撮像画像表示部１３２は、選択されたユーザの顔画像のみが出力装置４に表示されるように、撮像画像を切り取って表示することが好ましい。なお拡大されたユーザの顔領域は、画面中央に配置されることが好ましい。案内表示部１３６は、拡大表示されたユーザの顔画像に重畳して、案内画像２０２を表示する。

本実施例では、案内画像２０２に示されるように、ユーザがカメラ７の前で３種類の顔回転動作を行う。いずれの顔回転動作を行う場合においても、ユーザは、カメラ７に正対した姿勢を基準姿勢とし、案内表示部１３６より提供される案内にしたがって、基準姿勢から顔を動かす（実際には首を動かす）ことで、登録処理部１３８が、撮像画像に含まれるユーザの顔画像をもとに、ユーザの顔識別用データをユーザアカウントに紐付けて登録ユーザ情報保持部１２０に登録する。

３種類の顔回転動作について説明する。以下の説明では、カメラ７の光軸方向を前後方向と呼び、またユーザの身体を基準として左右方向、上下方向が設定される。
まず１つめは、ロール（roll）回転動作であり、これは前後を軸にした回転動作である。ロール回転動作では、ユーザは顔をカメラ７に向けたまま、首を所定角度の範囲内で左右に少なくとも１往復するように傾ける。
２つめは、ヨー（yaw）回転動作であり、これは上下を軸にした回転動作である。ヨー回転動作では、ユーザは首を所定角度の範囲内で左右に少なくとも１往復するように振る。
３つめは、ピッチ（pitch）回転動作であり、これは左右を軸にした回転動作である。ロール回転動作では、ユーザは首を所定角度の範囲内で上下に少なくとも１往復するように振る。
ユーザは、図８に示される案内画面を見て、これから３種類の顔回転動作を行うことを知る。ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、カメラ７に対してユーザが顔を相対回転するための案内を出力装置４に表示する。

上記したように、顔登録処理において、ユーザは、案内表示部１３６より提供される案内にしたがって３種類の回転方向に顔を動かす。したがって案内表示部１３６は、ユーザが顔をそれぞれの回転方向に動かすための案内を逐次表示する。本実施例において案内表示部１３６は、ユーザが顔を１つの回転方向に動かすための案内を、デモモードと登録モードとに分けて表示する。デモモードは、ユーザがどのように首を動かせばよいかを知らせるためのモードであり、所定のオブジェクトを、１つの回転方向における所定の回転角度の範囲内で繰り返し動かす案内を表示する。このオブジェクトは、頭部（首（頚部）より上の部分全体）の３次元形状に合わせた３次元オブジェクトであってもよいが、頭部の前面形状に合わせた２次元オブジェクトであってもよい。

登録モードは、デモモードにおける案内を見たユーザが実際に首を動かして顔登録するためのモードであり、デモモードと同じ案内が表示されてよい。つまり登録モードでは、２次元または３次元オブジェクトを１つの回転方向の所定角度の範囲内で往復運動する案内が表示され、ユーザは、当該オブジェクトの動きに合わせて、顔を１つの回転方向における所定の回転角度の範囲内で往復するように動かす。

このようにデモモードと登録モードでは、案内表示部１３６は、２次元または３次元オブジェクトを所定の回転方向に往復運動させる同じ案内を表示してよいが、登録処理部１３８の動作が異なる。つまりデモモードによる案内は、ユーザに顔の動かし方を知らせるものであるため、デモモードにおいては登録処理部１３８による顔識別用データの登録処理は行われず、一方で登録モードによる案内は、デモモードによる案内を見たユーザが、実際に顔を動かすときのサポートを目的とするため、登録モードにおいては登録処理部１３８が顔識別用データの登録処理を行う。

なお案内表示部１３６は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることが好ましい。特に、デモモードにおける案内内容または案内手法と登録モードにおける案内内容または案内手法とが同じである場合には、両者の表示態様を異ならせることで、ユーザは、表示態様が切り替わった後に、顔を動かせばよいことを認識できるようになる。

本発明者は、守秘義務をもつユーザが参加した様々なユーザテストを行い、その結果、デモモードなしで、いきなり登録モードにおける案内をユーザに提示すると、今何をするべきかを瞬時に認識することが難しく、顔の回転動作を行えない人が多いという統計データを得るに至った。そしてデモモードの案内から登録モードの案内に段階的に移行した場合には、スムーズに顔の回転動作を行える人が多いことも分かった。特に、顔登録処理は、ユーザが新規のユーザアカウントを登録する際に行われるため、ユーザが、情報処理装置１０の取り扱いに不慣れなことが前提となっている。そこで本実施例において、デモモードによる案内と登録モードによる案内とを表示するユーザインタフェースを提供することは、円滑な顔登録処理を実現する一つの要因になっている。

図８に示す案内画面において、ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、それぞれの回転方向においてユーザが顔をカメラ７に対して相対回転するための案内を出力装置４に表示する。

図９および図１０は、ユーザの顔のロール回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を前後を軸とする回転方向に動かすための案内が表示される。
図９（ａ）および図９（ｂ）は、ロール回転動作に関するデモモードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が前後を軸とする回転方向に往復運動する案内画像２０４を出力装置４に表示する。案内画像２０４においては、箱体２５０が、左に右に、ゆらゆらとロール回転する様子が動画像で表示される。案内表示部１３６は、箱体２５０の大きさを、出力装置４中のユーザの顔画像の大きさに応じて定める。たとえば案内表示部１３６は、箱体２５０の大きさを、ユーザの顔画像よりも若干小さくなるように設定してもよい。そのため、ユーザによって箱体２５０の大きさは異なり、また同じユーザであってもカメラ７との距離によって箱体２５０の大きさは異なることになる。

また案内表示部１３６は、箱体２５０を、出力装置４中のユーザの顔画像の位置を基準として出力装置４に表示する。既述したように、顔画像の登録処理においてユーザは、まず顔をカメラ７に正対させる姿勢をとっており、撮像画像表示部１３２は、出力装置４において、カメラ７に正対したユーザの顔画像が中央に位置するように撮像画像の一部を表示している。案内表示部１３６は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体２５０を左に右に、連続してロール回転するように表示する。なお、箱体２５０は、３次元オブジェクトの一例であり、たとえば頭部の３次元モデルが表示されてもよい。また上記したように、２次元オブジェクトが案内画像２０４に表示されてもよい。デモモードにおける案内画像２０４は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。

図１０（ａ）および図１０（ｂ）は、ロール回転動作に関する登録モードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が前後を軸とする回転方向に往復運動する案内画像２０６を出力装置４に表示する。案内表示部１３６は、図９（ａ）および図９（ｂ）に示したデモモードにおける箱体２５０の動きと、図１０（ａ）および図１０（ｂ）に示した登録モードにおける箱体２５０の動きとを同じにしてもよい。なお案内表示部１３６は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部１３６は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。

案内画像２０６においては、箱体２５０が、左に右に、ゆらゆらとロール回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体２５０に合わせて首を左右に傾ける動作を行う。

登録処理部１３８は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは図１０（ａ）および図１０（ｂ）に示される箱体２５０の表示中にユーザが首を左右に傾け、登録処理部１３８が、ユーザの顔画像が、カメラ７に正対する位置だけでなく、斜め方向に所定の角度傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部１２０に登録する。なお、たとえばこの角度は、プラス１５度およびマイナス１５度であってよい。登録ユーザ情報保持部１２０に登録するタイミングは、他の全ての回転方向における顔識別用データを生成した後であってもよい。登録処理部１３８は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部１３６に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部１３６は、完了通知を受け取るまでは、撮像画像中に箱体２５０を動かし続ける。

案内表示部１３６が完了通知を受け取ると、ユーザの顔のヨー回転動作の案内を出力装置４に表示する。
図１１および図１２は、ユーザの顔のヨー回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を上下を軸とする回転方向に動かすための案内が表示される。
図１１（ａ）および図１１（ｂ）は、ヨー回転動作に関するデモモードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が上下を軸とする回転方向に往復運動する案内画像２０８を出力装置４に表示する。案内画像２０８においては、箱体２５０が、左に右に、ゆらゆらとヨー回転する様子が動画像で表示される。

案内表示部１３６は、箱体２５０を、出力装置４中のユーザの顔画像の位置を基準として出力装置４に表示する。具体的に案内表示部１３６は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体２５０を左に右に、連続してヨー回転するように表示する。デモモードにおける案内画像２０８は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。

図１２（ａ）および図１２（ｂ）は、ヨー回転動作に関する登録モードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が上下を軸とする回転方向に往復運動する案内画像２１０を出力装置４に表示する。案内表示部１３６は、図１１（ａ）および図１１（ｂ）に示したデモモードにおける箱体２５０の動きと、図１２（ａ）および図１２（ｂ）に示した登録モードにおける箱体２５０の動きとを同じにしてもよい。なお案内表示部１３６は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部１３６は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。

案内画像２１０においては、箱体２５０が、左に右に、ゆらゆらとヨー回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体２５０に合わせて首を左右に振る動作を行う。

登録処理部１３８は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは図１２（ａ）および図１２（ｂ）に示される箱体２５０の表示中にユーザが首を左右に振り、登録処理部１３８が、ユーザの顔画像が、カメラ７に正対する位置だけでなく、左右方向に所定の角度に傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部１２０に登録する。なおカメラ７に正対する顔画像は、ロール回転動作時に既に取得されているため、顔識別用データの生成は省略されてよい。登録ユーザ情報保持部１２０に登録するタイミングは、他の全ての回転方向における顔識別用データを生成した後であってもよい。登録処理部１３８は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部１３６に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部１３６は、完了通知を受け取るまでは、撮像画像中に箱体２５０を動かし続ける。

案内表示部１３６が完了通知を受け取ると、ユーザの顔のピッチ回転動作の案内を出力装置４に表示する。
図１３および図１４は、ユーザの顔のピッチ回転動作を案内するための画面例を示す。これらの画面例では、ユーザが顔を左右を軸とする回転方向に動かすための案内が表示される。
図１３（ａ）および図１３（ｂ）は、ピッチ回転動作に関するデモモードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が左右を軸とする回転方向に往復運動する案内画像２１２を出力装置４に表示する。案内画像２１２においては、箱体２５０が、上に下に、ゆらゆらとピッチ回転する様子が動画像で表示される。

案内表示部１３６は、箱体２５０を、出力装置４中のユーザの顔画像の位置を基準として出力装置４に表示する。具体的に案内表示部１３６は、正対したユーザの顔画像の位置を基準とし、その基準位置から箱体２５０を上に下に、連続してピッチ回転するように表示する。デモモードにおける案内画像２１２は、説明用画面であることを明確にするために、撮像画像とは異なる背景色を有して表示される。ユーザが入力装置６の決定ボタンを押すと、入力受付部１０２が決定操作を受け付けて、案内表示部１３６が、デモモードによる案内画像を、登録モードによる案内画像に切り替える。

図１４（ａ）および図１４（ｂ）は、ピッチ回転動作に関する登録モードによる案内画面を示す。案内表示部１３６は、３次元表示された箱体２５０が左右を軸とする回転方向に往復運動する案内画像２１４を出力装置４に表示する。案内表示部１３６は、図１３（ａ）および図１３（ｂ）に示したデモモードにおける箱体２５０の動きと、図１４（ａ）および図１４（ｂ）に示した登録モードにおける箱体２５０の動きとを同じにしてもよい。なお案内表示部１３６は、デモモードにおける案内画像の背景色を、登録モードにおいては表示しない。このように案内表示部１３６は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることで、ユーザが、案内の表示モードを容易に認識できるようになる。

案内画像２１４においては、箱体２５０が、上に下に、ゆらゆらとピッチ回転する様子が動画像で表示される。デモモードで学習したユーザは、登録モードによる案内画面において何をするべきかを理解しており、箱体２５０に合わせて首を上下に振る動作を行う。

登録処理部１３８は、登録モードにおける案内の表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する。ここでは図１４（ａ）および図１４（ｂ）に示される箱体２５０の表示中にユーザが首を上下に振り、登録処理部１３８が、ユーザの顔画像が、カメラ７に正対する位置だけでなく、上下方向に所定の角度に傾いている位置の顔画像をもとに、顔識別用データを生成して、登録ユーザ情報保持部１２０に登録する。なおカメラ７に正対する顔画像は、ロール回転動作時に既に取得されているため、顔識別用データの生成は省略されてよい。登録処理部１３８は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部１３６に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部１３６は、完了通知を受け取るまでは、撮像画像中に箱体２５０を動かし続ける。

案内表示部１３６は、完了通知を受け取ると、顔登録処理の完了を出力装置４に表示する。図１５は、顔登録処理の終了画面を示す。ユーザが入力装置６の決定ボタンを押すと、顔登録処理が終了する。以上のように、ユーザは、顔を、３つの回転方向に動かすことで、登録処理部１３８は、様々な角度から取得した顔識別用データを登録ユーザ情報保持部１２０に登録できる。これによりログイン制御部１１０は、ユーザの顔認証精度を高め、ユーザの簡易なログイン動作を実現できるようになる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例においては、案内表示部１３６が３次元オブジェクトである箱体２５０を用いて案内を行うことを説明したが、たとえばテキストによる説明文で案内を行ってもよい。なお、箱体２５０を用いることで、ユーザの理解度を高めることができることについては、上述したとおりである。

実施例においては、案内表示部１３６が、３つの回転方向に関して、ユーザが顔をカメラ７に対して相対回転するための案内を出力装置４に表示することとしたが、全ての回転方向に関して案内を表示しなければならない訳ではない。案内表示部１３６は、１つの回転方向に関して案内を表示できればよいが、少なくとも２つの回転方向に関して案内を表示することで、様々な角度における顔識別用データを登録ユーザ情報保持部１２０に登録することが可能である。また実施例では、ユーザが、固定されたカメラ７に向かい合った状態で、案内表示部１３６が、カメラ７に対してユーザが顔を相対回転するための案内をディスプレイに表示したが、たとえばカメラ７は、携帯型のものであって、カメラ７を顔の周りを動かすことで、様々な角度からユーザの顔を撮影するための案内をディスプレイに表示してもよい。このカメラ７は、ディスプレイと一体になったものであってもよく、またディスプレイおよび情報処理装置１０と一体になったものであってもよい。

また実施例においては、案内表示部１３６がデモモードにおいて箱体２５０を表示している間は、登録処理部１３８が顔識別用データを生成しないことを説明したが、登録処理部１３８は、デモモードにおいても顔識別用データを生成してもよい。デモモードにおいても、ユーザによっては、箱体２５０の動きに合わせて顔を動かすこともあり、登録処理部１３８は、デモモードでも登録モードでも、所望の角度の顔画像の顔識別用データが生成できればよいため、表示モードに関係なく、顔識別用データを生成してもよい。

また実施例においては案内表示部１３６が、登録モードにおいて箱体２５０をデモモードと同じように動かすことを説明したが、登録モードにおいては、箱体２５０を表示しなくてもよい。ユーザは、デモモードの案内を見て、どのような動作をすればよいか認識しているため、案内表示部１３６が、デモモード終了後の案内を表示しないようにしてもよい。したがって、この場合は、登録処理部１３８が、デモモードにおける案内の表示後の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録ユーザ情報保持部１２０に登録する。

なお登録処理部１３８は、ユーザが顔認証によるログインする際に、ユーザの顔画像の顔識別用データを生成して、登録ユーザ情報保持部１２０に登録してもよい。たとえばユーザの髪型が変わっているような場合に、様々な顔識別用データを登録ユーザ情報保持部１２０に登録しておくことで、ログイン制御部１１０による顔認証精度を高めることが可能となる。

１・・・情報処理システム、６・・・入力装置、７・・・カメラ、１０・・・情報処理装置、１０２・・・入力受付部、１０４・・・画像取得部、１１０・・・ログイン制御部、１１２・・・顔認証部、１１４・・・ログイン処理部、１２０・・・登録ユーザ情報保持部、１３０・・・ユーザ情報生成部、１３２・・・撮像画像表示部、１３４・・・顔枠表示部、１３６・・・案内表示部、１３８・・・登録処理部。

Claims (12)

1. ユーザの顔識別用データを登録する情報処理装置であって、
   撮像装置が所定の周期で撮像した撮像画像を取得する画像取得部と、
   撮像画像の少なくとも顔画像を含む領域をディスプレイに表示する撮像画像表示部と、
   撮像装置に対してユーザに顔を所定の回転方向で往復するように振らせるための案内をディスプレイに表示する案内表示部と、
   案内の表示後または表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する登録処理部と、を備え、
   前記登録処理部は、撮像装置に対してユーザが顔を所定の回転方向で往復するように振っている際に撮像した顔画像のうち、撮像装置に正対した状態から所定角度傾いている顔画像をもとに顔識別用データを登録する、
   ことを特徴とする情報処理装置。
2. 前記撮像画像表示部は、撮像画像に含まれるユーザの顔領域を拡大してディスプレイに表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記案内表示部は、ユーザに顔を第１の回転方向で往復するように振らせるための第１案内と、ユーザに顔を第２の回転方向で往復するように振らせるための第２案内とを、少なくともディスプレイに表示し、
   前記登録処理部は、第１案内の表示後または表示中にユーザが顔を第１の回転方向に動かした顔画像をもとに、第１顔識別用データを登録し、第２案内の表示後または表示中にユーザが顔を第２の回転方向に動かした顔画像をもとに、第２顔識別用データを登録する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記案内表示部は、３次元オブジェクトを所定の回転方向に動かす案内を表示することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記案内表示部は、２次元オブジェクトを所定の回転方向に動かす案内を表示することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
6. 前記案内表示部は、前記オブジェクトの大きさを、ディスプレイ中のユーザの顔画像の大きさに応じて定めることを特徴とする請求項４または５に記載の情報処理装置。
7. 前記案内表示部は、前記オブジェクトを、ディスプレイ中のユーザの顔画像の位置を基準としてディスプレイに表示することを特徴とする請求項４から６のいずれかに記載の情報処理装置。
8. 前記案内表示部は、ユーザに顔を１つの回転方向で往復するように振らせるための案内を、デモモードと登録モードとに分けてディスプレイに表示し、デモモードにおいては、前記登録処理部による顔識別用データの登録処理は行われず、登録モードにおいては、前記登録処理部による顔識別用データの登録処理が行われることを特徴とする請求項１から７のいずれかに記載の情報処理装置。
9. 前記案内表示部は、デモモードにおける案内と、登録モードにおける案内との表示態様を異ならせることを特徴とする請求項８に記載の情報処理装置。
10. コンピュータに、
    撮像装置が所定の周期で撮像した撮像画像を取得する機能と、
    撮像画像の少なくとも顔画像を含む領域をディスプレイに表示する機能と、
    撮像装置に対してユーザに顔を所定の回転方向で往復するように振らせるための案内をディスプレイに表示する機能と、
    案内の表示後または表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録する機能と、を実現させるためのプログラムであって、
    顔識別用データを登録する機能は、撮像装置に対してユーザが顔を所定の回転方向で往復するように振っている際に撮像した顔画像のうち、撮像装置に正対した状態から所定角度傾いている顔画像をもとに顔識別用データを登録する機能を含む、
    ことを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 撮像装置が所定の周期で撮像した撮像画像を取得するステップと、
    撮像画像の少なくとも顔画像を含む領域をディスプレイに表示するステップと、
    撮像装置に対してユーザに顔を所定の回転方向で往復するように振らせるための案内をディスプレイに表示するステップと、
    案内の表示後または表示中の撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを登録するステップと、を有する顔識別用データの登録方法であって、
    登録ステップは、撮像装置に対してユーザが顔を所定の回転方向で往復するように振っている際に撮像した顔画像のうち、撮像装置に正対した状態から所定角度傾いている顔画像をもとに顔識別用データを登録する、
    ことを特徴とする顔識別用データの登録方法。

Images