JP2017084025A - 情報処理装置の自動ログインシステム - Google Patents

Abstract

【課題】ネットワークカメラの特性や設置位置や照明環境等の違いにより、事前登録されている顔画像の特徴量データとネットワークから取得した特徴量データを照合した結果、同一人物と判定できない問題を解決する、自動ログインシステムを提供する。【解決手段】カメラと、情報処理装置と、サーバとがネットワークで接続されて構成され、顔認識によってユーザが自動的に情報処理装置にログインできる自動ログインシステムで、カメラから送信された画像内のユーザの顔を認識し、自動ログインができないと判断された場合は、手動ログインし、ユーザの顔の画像を、顔認識のためのユーザの情報として追加登録する。【選択図】図３

Description

本発明は、情報処理装置への顔認証による自動ログインシステムに関するものである。特に、ネットワークカメラを使って情報処理装置の１つである画像形成装置に接近したユーザを特定してその画像形成装置への自動ログインを実現するものに関する。

近年、プリンター、コピー、スキャナーなどの機能を併せ持つ画像形成装置において、ユーザ毎に所定の操作画面を表示したり、ユーザ毎に機能の使用制限を行ったりする技術が知られている。このような画像形成装置では、さまざまなユーザ認証処理が行われる。ユーザ認証処理として、
(1)画像形成装置の操作パネルなどのローカルＵＩでユーザＩＤ、パスワードを入力するパスワード認証方式、
(2)ユーザが画像形成装置に設置されたカード読み取り装置にカードをかざすことでログインするカード認証方式
等が一般的である。
パスワード認証方式はＩＤやパスワードの入力等ユーザにとって煩わしい操作を行う必要があり、カード認証方式では、カードの貸与によりなりすましたユーザがログインできてしまうという課題がある。

これらの課題を解決するための技術として、ネットワークカメラを使って事前に登録したユーザの顔画像情報とネットワークカメラ等で読み取ったユーザの顔画像情報を照合し、一致した場合にログインを許可する顔認証方式が知られている。

特開2007-304823号公報

この顔認証を実施するためには、予めユーザ情報と顔画像の特徴量データを結び付けて登録しておく必要がある。しかしながら、ネットワークカメラの特性や設置位置や照明環境等の違いにより、同一人物であっても事前登録されている顔画像の特徴量データとネットワークから取得した特徴量データを照合した結果、同一人物と判定できない場合があった。

この課題を解決するためには、ネットワークカメラからユーザ毎に顔画像の特徴量データを取得して事前登録しておく必要があり、さらにネットワークカメラや画像形成装置の設置位置変更により登録し直す必要があった。
オフィスなどでは複数のネットワークカメラと複数の画像形成装置が設置されていることが多く、この場合にはネットワークカメラ数分だけ、上記事前登録作業が必要となり、登録作業を行う作業の負担がさらに大きなものとなる。

特許文献１では、特定の操作を行った時に顔画像データを取得して撮りだめしてなりすましや不正アクセスの検証を行う方法について開示されている。このような方法により顔画像データを自動的に登録してしまうと、逆にそのままなりすましや不正アクセスが可能となるだけでなく、登録顔画像データの増大により照合の負荷が増大してしまうという問題がある。

本発明は、顔認識によってユーザが自動的に情報処理装置にログインできる自動ログインシステムであって、前記自動ログインシステムは、カメラと、情報処理装置と、サーバとがネットワークで接続されて構成され、前記カメラは、撮影した画像を前記サーバに送信する送信手段を有し、前記情報処理装置は、ユーザが入力したユーザ識別情報を前記サーバに送信し、前記サーバからの応答に従って手動ログイン処理を行う手動ログイン手段と、前記サーバからの指示により自動ログインを行う自動ログイン手段を有し、前記サーバは、前記カメラと情報処理装置の対応情報を管理する第１の管理手段と、顔認識のためのユーザの情報を管理する第２の管理手段と、顔認識を実行する顔認識手段とからなる自動ログイン判定手段と、前記情報処理装置からのユーザ識別情報を取得する取得手段と、ユーザ識別情報を管理する第３の管理手段とからなる手動ログインの判定手段とを有し、前記自動ログイン判定手段は、前記カメラから受信した前記画像と、前記第２の管理手段が管理する前記ユーザの情報に基づき前記顔認識手段が顔認識を実行することにより自動ログインができるか判定し、自動ログインができないと判定した場合は、前記情報処理装置から取得したユーザ識別情報からユーザを特定し、前記画像内の情報処理装置に手動ログインしたユーザの画像を、顔認識のためのユーザの情報として第２の管理手段が追加登録することを特徴とする。

本発明のネットワークカメラを用いた画像形成装置への顔認証ログインシステムによれば、ネットワークカメラ毎の顔画像情報を事前登録すること無く、さまざまな環境に設置されたネットワークカメラを使って顔認証を実現することを可能とする。

本発明を実施するためのシステム構成およびネットワーク構成 画像形成装置の情報処理機能のハードウェア構成図 本発明のシステムのソフトウェア構成及びネットワーク相互接続図 顔認識サーバにより特定されたユーザの自動ログインのシーケンス図 画像形成装置への手動ログインのフローを説明するフローチャート 手動ログインの実施時の顔画像データの登録処理を説明するフローチャート 他の実施例における照合スコア算出処理を含む登録処理を説明するフローチャート 別の実施例における登録問い合わせ処理を含む登録処理を説明するフローチャート

以下、本発明の情報処理装置を実施するための一形態としての画像形成装置について図面を用いて説明する。
図１は、本発明を実施するためのシステム構成およびネットワーク構成の一例を示している。
101は、インターネットもしくはイントラネットなどのネットワークである。102はルータやスイッチなど、ネットワーク同士を接続するネットワーク機器である。103はネットワーク間の通信許可の制御を行うファイアウォールである。105はＬＡＮ(Local Area Network)である。ＬＡＮ105は、コンピューター等の機器を接続する末端のネットワークであるが、有線通信のネットワークに限らず、無線ＬＡＮや携帯電話通信ネットワークなどの無線通信網の場合もある。
111は画像形成装置である。画像形成装置111には、単機能プリンターであるSFP、コピー、スキャナー、プリンターの複数機能を備える複合機であるMFPなどの種別が存在する。113はクライアントコンピューターである。クライアントコンピューター113としては、パーソナルコンピューター、タブレットコンピューター、スマートフォンなどの種別が存在する。

120は認証サーバであり、ユーザのＩＤとパスワードを保持しており、画像形成装置111へのログイン管理を行う。121はデバイス管理サーバであり、画像形成装置111のＩＰアドレス、デバイスシリアルＩＤなどのデバイス情報の管理を行う。130は顔認識サーバであり、ユーザの顔画像情報や自動ログイン設定などを保持しており、ネットワークカメラ131から送られてきた画像からユーザを特定する機能を有している。ネットワークカメラ131には、レンズや動作機構の違いにより、箱型固定・パンチルト・広角などの種別が存在する。本実施例ではネットワークカメラ131は、単独でネットワーク101に接続していているが、画像形成装置111の一部として組み込まれていても構わない。

図２は、画像形成装置111、クライアントコンピューター113、認証サーバ120、デバイス管理サーバ121、ネットワークカメラ131、顔認識サーバ130の情報処理機能のモジュール構成図を示している。
201はユーザインターフェースであり、ディスプレイ、キーボード、マウス、タッチパネルなどによる、情報の入出力を行う。これらのハードウェアを備えないコンピューターは、リモートデスクトップやリモートシェルなどにより、他のコンピューターから接続し、操作することも可能である。なお、ネットワークカメラ131は、必ずしもユーザインターフェース201を備えていなくても良い。
202はネットワークインターフェースであり、ＬＡＮなどのネットワークに接続して、他のコンピューターやネットワーク機器との通信を行う。204は組込済みプログラムおよびデータが記録されているＲＯＭである。205は一時メモリ領域のＲＡＭである。206はＨＤＤに代表されるような二次記憶装置である。203はＣＰＵであり、ＲＯＭ204、ＲＡＭ205、二次記憶装置206などから読み込んだプログラムを実行する。各部は入出力インターフェース207を介して接続されている。

図３は、本システムのソフトウェア構成およびネットワークを介した相互接続状況を示している。
＜デバイス管理サーバ121＞
まず、デバイス管理サーバ121について説明する。
331は、デバイス管理サーバ121に備えられたデータベースで、デバイス管理サーバ121の各機能に必要なデータを保持する。そのデバイス管理テーブルT400を表１に示す。

表１のC401は、画像形成装置111のデバイスシリアルＩＤを格納するカラムである。C402は、画像形成装置111のＩＰアドレスを格納するカラムである。C403はメーカー名を格納するカラムである。C404は、機種名を格納するカラムである。C405は、MFP・SFPなどのデバイスタイプを格納するカラムである。C406は、画像形成装置111がカラー印刷・モノクロ印刷能力を表すカラー種別を格納するカラムである。C407は、画像形成装置の設置場所情報を格納するカラムである。

デバイスシリアルＩＤは、画像形成装置の個体を識別する一意のＩＤである。画像形成装置を製造する際に、個体ごとにデバイスシリアルＩＤを付与して、不揮発性の記憶領域に記録しておき、後に画像形成装置自体がデバイスシリアルＩＤを読み出し可能としておく。デバイスシリアルＩＤが分かれば、デバイス管理テーブルT400を参照することにより画像形成装置の機種名など必要な情報を特定することができる。画像形成装置111は、デバイス管理サーバ121の管理対象として登録されるときに、C401〜C407の自機の情報を送信し、デバイス管理サーバ121は、デバイス管理テーブルT400にレコードを追加する。

332は、Ｗｅｂアプリケーションであり、Ｗｅｂユーザインターフェース（以下「ＷｅｂＵＩ」）333およびアプリケーションプログラミングインタフェース（以下「ＡＰＩ」）334を提供する。Ｗｅｂアプリケーション332は、ネットワーク101を経由して、他の機器からのリクエストを処理し、必要に応じてデータベース331のデータにアクセスして、各種機能を実行し、応答を返す。

＜顔認識サーバ130＞
次に、顔認識サーバ130について説明する。
341は、顔認識サーバ130に備えられたデータベースで、顔認識サーバ130の各機能に必要なデータを保持する。複数台のネットワークカメラ131を管理するためのデータベース341内のネットワークカメラ管理テーブルT410を表２に示す。

表２のC411は、ネットワークカメラ131のＩＰアドレスを格納するためのカラムである。C412は、メーカー名を格納するカラムである。C413は、機種名を格納するカラムである。C414は、パンチルト・広角・箱型固定などのカメラタイプを格納するカラムである。C415は、ネットワークカメラ131の個体ごとに設定されたカメラ名を格納するカラムである。C416は、ネットワークカメラ131の個体ごとの設置場所情報を格納するカラムである。

さらに、ネットワークカメラ131の画像内の画像形成装置111を管理するためのデータベース341内の画像内デバイス管理テーブルT420を表３に示す。

表３のC421は、ネットワークカメラ131のカメラ名を格納するためのカラムである。C422は、画像形成装置111のデバイスシリアルＩＤを格納するためのカラムである。C423は画像内のＸ座標を格納するためのカラムである。C424は画像内のＹ座標を格納するためのカラムである。本実施例では画像内の画像形成装置111とその画像形成装置111を監視するネットワークカメラ131との対応情報や座標情報は後述するＷｅｂＵＩ343によって管理者が手動登録したものを一元管理している。しかし、画像形成装置111の物体認識により自動的に座標を判別して登録しても構わない。

さらに顔認識サーバ130のユーザ情報を管理するためのデータベース341内のユーザ顔画像特徴量管理テーブルT430を表４に示す。

表４のユーザＩＤ431はユーザを識別するためのＩＤである。自動ログイン設定432は、ONであれば自動ログインが設定されており、OFFであれば自動ログインが設定されていない。事前登録顔画像データ435はユーザＩＤ431と結び付けて事前に登録された顔画像データであり、追加登録顔画像データ１438は本発明により自動的に追加登録された顔画像データである。この顔画像データは、人によって顔画像を確認する時に使用するため、人により確認する必要が無い場合にはこれらの顔画像データは不要となる。事前登録特徴量データ433は事前登録顔画像データ435を特徴量化したバイナリーデータである。追加登録特徴量データ１436は追加登録顔画像データ１438を特徴量化したバイナリーデータである。

本実施例では、既にユーザの顔画像データが撮影されてユーザＩＤと結び付けて事前登録顔画像データ435と事前登録顔画像データ435を特徴量化した事前登録特徴量データ433が登録されているものとする。事前登録顔画像特徴量データの認識率434と追加登録特徴点データ１の認識率437は、今までの顔画像による認識率であり、12/16であればこのユーザが16回ログインした時に12回この登録特徴量データと一致したことを示している。この認識率を算出するためには、このユーザに紐付いて登録されている顔画像特徴量データの一部が一致してユーザを認識できた場合には、登録されているすべての顔画像特徴量データの照合結果を反映する必要がある。

また、ユーザが認識できずに手動ログインされた場合には、このユーザに紐付いて登録されているすべての顔画像特徴量データの照合結果としてNGとして反映する必要がある。この認識率は、登録数上限管理による削除対象とする顔画像特徴量データを選出するために使用するものである。データ１取得ネットワークカメラ名439は、追加登録顔画像データを取得したネットワークカメラ名である。

342は、Ｗｅｂアプリケーションであり、ＷｅｂＵＩ343およびＡＰＩ344を提供する。Ｗｅｂアプリケーション342は、ネットワーク101を経由して、他の機器からのリクエストを処理し、必要に応じてデータベース341のデータにアクセスして、各種機能を実行し、応答を返す。

＜認証サーバ120＞
次に、認証サーバ120について説明する。
図３の351は、認証サーバ120に備えられたデータベースで、認証サーバ120の各機能に必要なデータを保持する。認証サーバのユーザを管理するためのユーザ管理テーブルT440を表５に示す。

表５のC441は、ユーザＩＤ（ユーザ識別情報）を格納するためのカラムである。C442は、ユーザがログインするためのパスワードを格納するためのカラムである。C443は、ユーザのメールアドレスである。
図３の352は、Ｗｅｂアプリケーションであり、ＷｅｂＵＩ353およびＡＰＩ354を提供する。Ｗｅｂアプリケーション352は、ネットワーク101を経由して、他の機器からのリクエストを処理し、必要に応じてデータベース351のデータにアクセスして、各種機能を実行し、応答を返す。

＜ネットワークカメラ131＞
次に、ネットワークカメラ131について説明する。
図３の321は、ネットワークカメラ131の撮像部であり、カメラのレンズや撮像素子などを制御して、画像を取得する。322は、映像処理部であり、撮像部321で取得した原画像に処理を施し、映像データなどに加工する。また、画像認識などの追加処理を行なって、画像あるいは映像から、追加の情報を得る。323は、データ送信部であり、映像データをネットワーク上の他の機器に送信する。324は、ＷｅｂＵＩであり、ネットワークカメラのビューワー画面や、管理画面を提供する。ビューワー画面では、カメラで捉えた映像を確認しながら、カメラの向きやズーム、フォーカスなどの操作をすることができる。

管理画面では、カメラの撮像位置のプリセット登録、映像処理部322で施す処理の指定や、データ送信部323が送信する映像データの宛先登録などができる。さらに、撮像部321で取得した画像中の画像形成装置の識別情報の登録も可能となっており、設定された情報は顔認識サーバ130に送信される。325は、ＡＰＩであり、他の機器からのリクエストによって、カメラの操作や、設定データ登録などを実施する。326は、設定データ管理部であり、撮像部321、映像処理部322、データ送信部323のための設定データを保持する。

＜画像形成装置111＞
次に、画像形成装置111について説明する。
図３の311は、画像形成装置111で実行されるアプリケーションである。アプリケーション311は、その機能や目的に応じて、複数のアプリケーションを画像形成装置111内にインストール・実行することができる。例えば、コピー、スキャン、プリントなどを実行するアプリケーションなどが挙げられる。
313は手動ログイン処理部であり、ローカルＵＩ315に表示されたログイン画面でユーザにより入力されたＩＤ、パスワードを認証サーバ120に通知してログイン認証を行う。または、画像形成装置111に接続されたカード読み取り装置により読み取ったユーザのＩＤカード情報を認証サーバ120に通知してログイン認証を行う。認証サーバ120からログイン可の応答があった場合にはログインを許可する。

＜自動ログイン処理フロー＞
次に、図４のシーケンス図を用いて画像形成装置111、認証サーバ120、顔認識サーバ130、ネットワークカメラ131の連携による、画像形成装置111への自動ログイン処理フローについて説明する。
ステップS401で、ネットワークカメラ131は断続的に撮像し、その画像を顔認識サーバ130に送信する。顔認識サーバ130は受信した画像を解析する。
ステップS402で、顔認識サーバ130が画像内に画像形成装置111に接近する顔画像を検出する。次に、ステップS403で登録されているすべてのユーザのユーザ顔画像特徴量管理テーブルT430に登録されているユーザの特徴量と、画像内で検出した顔画像の特徴量を比較し、一定閾値以上の特徴量の一致が見られるユーザを特定する。さらにステップS404で、ユーザ顔画像特徴量管理テーブルT430を参照して自動ログイン設定432がONかどうかを確認する。ONの場合には引き続きステップS405へ、OFFの場合は処理を終了する。

ステップS405で、さらに顔認識サーバ130はユーザが接近した画像形成装置111を画像内デバイス管理テーブルT420を参照して特定する。次に、ステップS406で、顔認識サーバ130は認証サーバ120に特定されたユーザＩＤと画像形成装置111のＩＰアドレス、またはデバイスシリアルＩＤと共に自動ログイン指示を送信する。ステップS407でユーザＩＤと画像形成装置111のＩＰアドレス、またはデバイスシリアルＩＤを受信した認証サーバ120は、画像形成装置111にユーザＩＤを通知して自動ログインを指示する。ステップS408で、ログインＩＤを受け取った画像形成装置111は自動ログインを実施し、ユーザの利用を可能とする。

＜手動ログイン処理＞
次に図５のフローチャートを用いて、画像形成装置111の手動ログイン処理について詳細に説明する。手動ログインは、ローカルＵＩ315のログイン画面でＩＤとパスワードを入力するか、画像形成装置111に接続されたカード読み取り装置でＩＤカードからＩＤとパスワードを読み取ることにより行われる。
手動ログイン処理部313がユーザＩＤとパスワードを取得し(S501)、認証サーバ120にＩＤとパスワードを送信して認証要求を行う(S502)。認証サーバ120からの応答を待ち(S503)、応答が返ってきたら、認証OKかNGかを判定する(S504)。認証サーバ120では、取得したユーザＩＤとパスワードがユーザ管理テーブルT440のデータと照合され、該当するユーザがいなければ手動ログイン処理部313に認証エラーが応答される。認証エラーが応答された場合にはローカルＵＩ315に認証エラーを表示(S505)して終了する。該当するユーザがいれば、手動ログイン処理部313に認証OKが応答される。認証OKが応答された時には、そのユーザのログイン状態に移行してユーザの利用を可能とする(S506)。認証サーバ120が画像形成装置111の手動ログイン処理部313に認証OKの応答をした際には、顔認識サーバ130にユーザＩＤ、画像形成装置111のデバイスシリアルＩＤと共に手動ログイン実施を通知する。

＜手動ログイン実施時の顔認識サーバへの顔画像データの登録処理１＞
次に、図６のフローチャートを用いて、認証サーバ120より手動ログイン実施の通知を受けた時の顔認識サーバ130への顔画像データの登録処理を詳細に説明する。
認証サーバ120より手動ログイン実施の通知を受ける(S601)と、手動ログイン実施の通知と共に送られてきたユーザＩＤを使って表４のユーザ顔画像特徴量管理テーブルT430を参照して自動ログイン設定を確認する(S602)。自動ログイン設定がOFFだった場合には処理を終了する。ONであった場合(S603)には、手動ログイン実施の通知と共に送られてきたデバイスシリアルＩＤから画像内デバイス管理テーブルT420を参照して手動ログインされた画像形成装置111を監視しているネットワークカメラ131を特定する(S604)。特定されたネットワークカメラ131からの画像を取得(S605)し、顔画像が抽出出来るかどうかを顔認識アプリケーション345で確認する(S606)。抽出が出来ていれば(S607)、取得した追加登録顔画像データ及び追加登録顔画像データを特徴量化した追加登録特徴量データをユーザ顔画像特徴量管理テーブルT430に登録する(S608)。顔画像が抽出出来ていなければ終了とする。
上記した制御により、次回の自動ログイン判定時に今回追加された追加登録特徴量データも照合対象となるため認識率を高めることが可能となる。

実施例１では、手動ログイン時に画像から、顔画像が抽出できた場合には、追加登録顔画像データをユーザ顔画像特徴量管理テーブルT430に登録することにより、次回以降の自動ログイン判定時に認識率を高めることが可能となった。
しかし、別のユーザがこのユーザのＩＤカードを借りて画像形成装置111を使うケースも考えられる。このような場合では、このユーザとして手動ログインした結果、自動ログイン失敗と判断されて別のユーザの顔画像データと顔画像特徴量データがこのユーザと紐付いて登録されてしまう。そして、次回以降ＩＤカードを借りなくてもこのユーザとしてログインしてしまうという課題がある。
上述した課題に対処するため実施例２は、取得した顔画像データと事前登録顔画像データとを照合して、その照合スコアに基づき、追加顔画像データを登録することにより、別ユーザの顔画像データが紐付くことを防ぐものである。
実施例２の追加顔画像登録処理について図７のフローチャートを用いて以下、詳細に説明する。

＜手動ログイン実施時の顔認識サーバ130への顔画像データの登録処理２：別ユーザの誤登録の回避＞
認証サーバ120より手動ログイン実施の通知を受ける(S701)と、手動ログイン実施の通知と共に送られてきたユーザＩＤを使ってユーザ顔画像特徴量管理テーブルT430を参照して自動ログイン設定432を確認する(S702)。自動ログイン設定432がOFFだった場合には処理を終了する。ONであった場合(S703)には、手動ログイン実施の通知と共に送られてきたデバイスシリアルＩＤから画像内デバイス管理テーブルT420を参照して手動ログインされた画像形成装置111を監視しているネットワークカメラを特定する(S704)。特定されたネットワークカメラからの画像を取得(S705)し、顔画像が抽出出来るかどうかを顔認識アプリケーション345で確認する(S706)。

抽出出来ていれば(S707)、事前登録されている顔画像の特徴量データと今回取得した顔画像の特徴量データを顔認識アプリケーションにより照合し、照合スコアを算出する(S708)。また、抽出ができていなければ終了する。照合スコアが予め定めた閾値以上かどうかを判断(S709)し、予め定めた閾値以上であれば取得した追加顔画像データ及び追加顔画像データを特徴量化した追加特徴量データをユーザ顔画像特徴量管理テーブルT430に登録する(S710)。予め定めた閾値以上でなかった場合には、処理を終了する。
上述した制御(S708,S709)を追加することにより、別人の顔画像情報を登録してしまう可能性を低減することが可能となる。

実施例２では、照合スコアが予め定めた閾値以上でなければ、追加顔画像データとして登録することができなかった。しかし、閾値の設定によっては、例えばメガネを着用した時にも別ユーザとして判断されて登録されない場合があり、この場合にはメガネを着用している状態では常に自動ログインできない状態となってしまう。一方、閾値を下げると別ユーザを登録してしまう可能性が高まってしまう。この課題を解決するために、実施例３では、手動ログイン実施時に追加顔画像データを登録するにあたって、ユーザ宛に登録確認の問い合わせを行う処理を追加する。

＜手動ログイン実施時の顔認識サーバへの顔画像データの登録処理３：ユーザに登録確認の問い合わせ＞
以下、図８のフローチャートを用いて、手動ログイン実施時の顔認識サーバ130への顔画像データの登録時にユーザに問い合わせる制御について、詳細に説明する。
認証サーバ120より手動ログイン実施の通知を受ける(S801)と、手動ログイン実施の通知と共に送られてきたユーザＩＤを使ってユーザ顔画像特徴量管理テーブルT430を参照して自動ログイン設定432を確認する(S802)。自動ログイン設定432がOFFだった場合には処理を終了する。ONであった場合には(S803)、手動ログイン実施の通知と共に送られてきたデバイスシリアルＩＤから画像内デバイス管理テーブルT420を参照して手動ログインされた画像形成装置111を監視しているネットワークカメラを特定する(S804)。特定されたネットワークカメラからの画像を取得(S805)し、顔画像が抽出出来るかどうかを顔認識アプリケーション345で確認する(S806)。抽出出来ていれば(S807)、事前登録されている顔画像特徴量データと今回取得した顔画像特徴量データを顔認識アプリケーションにより照合し、照合スコアを算出する(S808)。また、抽出できなければ処理を終了する。

照合スコアが予め定めた閾値以上かどうかを判断(S809)し、照合スコアが予め定めた閾値以上であった場合には、認証サーバ120からユーザと紐付けて登録されているメールアドレスを取得する(S810)。前記閾値以上でなかった場合は、処理を終了する。取得したメールアドレスを使ってメール送受信制御部346により登録予定の顔画像データと登録する場合の方法が通知される(S811)。本実施例ではメールに返信することにより登録許可としている。そのため、メールの返信があった場合(S812)には取得した追加顔画像データ及び追加顔画像データを特徴量化した追加顔画像特徴量データをユーザ顔画像特徴量管理テーブルT430に登録する(S813)。予め定めた時間内に返信が無い場合(S814)には登録を行わずに終了とする。本実施例では、メールが返信されることにより登録許可と判断したが、その他の手続き方法を指示して手続き実施時に登録許可と判断しても構わない。
上記実施例３によれば、ユーザがめがねを着用などの状態でも、照合スコアの閾値を下げることにより、追加顔画像データを登録可能とすることができ、一方、本人に登録確認を行うことにより、誤って別ユーザの画像を登録することを防止することができる。

以上述べてきた方法により、自動ログイン失敗時に追加顔画像データおよび追加顔画像特徴量データの登録を確実に行うことができる。これにより、ネットワークカメラの特性、設置位置、照明等の環境に依存されること無く自動ログイン時のユーザ認識率を高めることが可能となる。
上述した方法により、自動ログイン失敗時には顔画像データ及び顔画像特徴量データが追加されていくこととなる。

実施例３によれば、ユーザが登録許可をすれば、追加顔画像データ及び追加顔画像特徴量データをいくらでも登録することができた。
しかし、追加量に応じてＨＤＤなどの保持領域を圧迫するだけでなく、照合する顔画像特徴量データが増加することによりシステムへの負荷も増大してしまう。この問題を解決するためには、ユーザ毎に登録できる上限数を設けることが考えられる。しかし、上限数を設けてそれ以上の登録を許可しないようにすると、今度は、髪型変更や、メガネ着用など一時的でない変更が生じて照合できなくなった場合に、登録が実施されずにそれ以降自動ログインが出来なくなってしまう。

実施例４では、少なくとも最新の顔画像特徴量データは保持されるようにした。このため、顔画像データととともに登録日時をデータとして保持して最新の登録顔画像特徴量データを削除しないようにしたものである。また、本発明は同時に、ネットワークカメラの特性、設置位置、照明等の環境に依存しないようにして、自動ログイン時のユーザ認識率を高めることを目的としている。そのため、顔画像特徴量データの登録を行ったネットワークカメラの識別情報も保持し、同一のネットワークカメラにより複数登録されている顔画像特徴量データを削除対象とする制御を併用することができる。

実施例４では、登録日時が古いものから削除することにより、最新のデータが残るようにした。実施例５では、認識率の高いデータを残すようにしたものである。

このため、一部の登録顔画像特徴量データで照合できた場合に自動ログインを実施すると共にそのユーザに紐付いている他の登録顔画像特徴量データとの照合も行い認識率として保持する。また、自動ログイン失敗時にはすべての登録顔画像特徴量データに対して照合失敗として認識率を保持し、新たに登録する登録顔画像特徴量データは、認識率を１００％(1/1)とする。そして、削除すべき顔画像特徴量データを選択する際に認識率の低いものから削除対象とするようにする。
なお、データの削除については、登録日の新旧、認識率の高低の両者に基づき差除するデータを選別しても良い。また、さらに別の観点により、削除するデータを選別することも可能である。

以上述べてきた制御により、自動ログイン失敗時に追加顔画像データおよび追加顔画像特徴量データの登録を確実に行うことができる。また、上限数を適切に管理することにより、システムに負担を与えることなく、ネットワークカメラの特性、設置位置、照明等の環境に依存しない自動ログインシステムの提供が可能となる。

(その他の実施例)
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成が可能である。
また、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

111 画像形成装置
120 認証サーバ
121 デバイス管理サーバ
130 顔認識サーバ
131 ネットワークカメラ
113 クライアントコンピューター

Claims (12)

1. 顔認識によってユーザが自動的に情報処理装置にログインできる自動ログインシステムであって、
   前記自動ログインシステムは、カメラと、情報処理装置と、サーバとがネットワークで接続されて構成され、
   前記カメラは、撮影した画像を前記サーバに送信する送信手段を有し、
   前記情報処理装置は、ユーザが入力したユーザ識別情報を前記サーバに送信し、前記サーバからの応答に従って手動ログイン処理を行う手動ログイン手段と、
   前記サーバからの指示により自動ログインを行う自動ログイン手段を有し、
   前記サーバは、
   前記カメラと情報処理装置の対応情報を管理する第１の管理手段と、
   顔認識のためのユーザの情報を管理する第２の管理手段と、顔認識を実行する顔認識手段とからなる自動ログイン判定手段と、
   前記情報処理装置からのユーザ識別情報を取得する取得手段と、ユーザ識別情報を管理する第３の管理手段とからなる手動ログインの判定手段とを有し、
   前記自動ログイン判定手段は、前記カメラから受信した前記画像と、前記第２の管理手段が管理する前記ユーザの情報に基づき前記顔認識手段が顔認識を実行することにより自動ログインができるか判定し、
   自動ログインができないと判定した場合は、前記情報処理装置から取得したユーザ識別情報からユーザを特定し、前記情報処理装置に手動ログインしたユーザの画像を、顔認識のためのユーザの情報として第２の管理手段が追加登録することを特徴とする自動ログインシステム。
2. 前記サーバは、顔認識のためのユーザの情報の追加登録の判断手段を有し、
   前記自動ログイン判定手段が、自動ログインができないと判定した場合に、前記顔認識手段が、前記画像と前記ユーザの情報とを照合して算出した照合スコアが、予め定めた閾値以上であった場合のみ、前記追加登録の判断手段は、画像を顔認識のためのユーザの情報として追加登録すると判断することを特徴とする請求項１に記載の自動ログインシステム。
3. 前記サーバは、メール送受信手段を有し、
   前記自動ログイン判定手段が、自動ログインができないと判定した場合に、顔認識手段は、前記画像と既に登録されている前記ユーザの情報とを照合し、前記追加登録の判断手段が、ユーザの情報として追加登録すると判断した場合、前記ユーザにメールで登録方法を通知し、
   ユーザが、該登録方法を実施したことに応答して、追加登録のユーザの情報として第２の管理手段が追加登録することを特徴とする請求項２に記載の自動ログインシステム。
4. 第２の管理手段は、ユーザ毎に登録できる顔画像特徴量データの上限数の管理を行い、ユーザに対して登録する顔画像特徴量データが予め定めた数を超える場合には、同一ネットワークカメラから取得した顔画像特徴量データが複数あるものから削除対象とすることを特徴とする請求項２〜３のいずれか１項に記載の自動ログインシステム。
5. 第２の管理手段は、ユーザ毎に登録できる顔画像特徴量データの上限数の管理を行い、ユーザに対して登録する顔画像特徴量データが予め定めた数を超える場合には、データの登録の古いものから削除対象とすることを特徴とする請求項２〜４のいずれか１項に記載の自動ログインシステム。
6. 第２の管理手段は、ユーザ毎に登録できる顔画像特徴量データの上限数の管理を行い、ユーザに対して登録する顔画像特徴量データが予め定めた数を超える場合には、新たに追加する顔画像特徴量データの認識率を１００％とした上でユーザ顔画像特徴量管理テーブルに登録を行うと共に認識率が最も低い登録顔画像特徴量データを削除対象とすることを特徴とする請求項２〜５のいずれか１項に記載の自動ログインシステム。
7. 前記サーバは、顔認識手段を含む自動ログイン判定手段を有する顔認識サーバと、ユーザ識別情報に基づく手動ログインの判定手段を有する認証サーバと、カメラと情報処理装置の対応情報を管理する管理手段を有するデバイス管理サーバとから構成されていることを特徴とする請求項１〜６のいずれか１項に記載の自動ログインシステム。
8. 前記情報処理装置は、画像形成装置であることを特徴とする請求項１〜７のいずれか１項に記載の自動ログインシステム
9. 請求項１〜８のいずれか１項に記載の自動ログインシステムに用いられるサーバ。
10. カメラと、情報処理装置と、サーバとがネットワークで接続されて構成され、顔認識によってユーザが自動的に情報処理装置にログインできる自動ログインシステムの制御方法であって、
    前記カメラは、撮影した画像を前記サーバに送信する送信工程を実行し、
    前記情報処理装置は、ユーザが入力したユーザ識別情報を前記サーバに送信し、前記サーバからの応答に従って手動ログイン処理を行う手動ログイン工程か、
    前記サーバからの指示により自動ログインを行う自動ログイン工程を実行し、
    前記サーバは、
    前記カメラと情報処理装置の対応情報を管理する第１の管理工程と、
    顔認識のためのユーザの情報を管理する第２の管理工程と、顔認識を実行する顔認識工程とからなる自動ログイン判定工程と、
    前記情報処理装置からのユーザ識別情報を取得する取得工程と、ユーザ識別情報を管理する第３の管理工程とからなる手動ログインの判定工程を実行し、
    前記自動ログイン判定工程は、前記カメラから受信した前記画像と、前記第２の管理工程において管理される前記ユーザの情報に基づき前記顔認識工程において顔認識を実行することにより自動ログインができるか判定し、
    自動ログインができないと判定した場合は、前記情報処理装置から取得したユーザ識別情報からユーザを特定し、前記情報処理装置に手動ログインしたユーザの画像を、顔認識のためのユーザの情報として第２の管理工程で追加登録することを特徴とする
    自動ログインシステムの制御方法。
11. 請求項１０に記載の自動ログインシステムの制御方法をコンピュータにより実行させるためのプログラム。
12. カメラと、情報処理装置と、サーバとがネットワークで接続されて構成され、顔認識によってユーザが自動的に情報処理装置にログインできる自動ログインの制御方法であって、
    前記カメラが、ユーザの顔を撮影した画像をサーバに送信する第１の送信ステップと、 前記サーバが、管理している顔認識のためのユーザの情報に基づき、前記カメラから送信された前記ユーザの顔を認識することにより自動ログインができるか判断する第１の判断ステップと、
    自動ログインができないと判断された場合は、ユーザが前記情報処理装置に手動ログインし、入力されたユーザ識別情報が前記サーバに送信される第２の送信ステップと、
    前記サーバは、受信した前記ユーザ識別情報と、管理しているユーザ識別情報から手動ログインができるか判断する第２の判断ステップと、
    手動ログインがされた場合に、前記情報処理装置に手動ログインしたユーザの顔の画像を、顔認識のためのユーザの情報として追加登録する登録ステップとからなる
    ことを特徴とする自動ログインの制御方法。

Images