JP6859970B2 - ログイン支援システム - Google Patents

Description

本発明は、電子機器のログインを支援するログイン支援システムに関する。

特定のユーザーに対してのみ機器の使用を許可するシステムとして、例えば、特許文献１に記載のシステムがある。このシステムでは、管理室への入室前に、人物が入室リーダーの認証装置を通じて入力したＩＤ情報と事前登録されたＩＤ情報とが照合され、両者のＩＤ情報が一致したときにその人物の顔画像が第１カメラで撮影され、撮影された顔画像が本人顔画像として入室リーダーの記憶装置に記憶されると共に、電気錠が解錠されて、管理室への入室が可能となる。管理室の中では、機器が使用される前に第２カメラで人物の顔画像が撮影され、この撮影された顔画像がその記憶された本人顔画像と照合され、両者の顔画像が合致したときに、つまり顔認証がされたときに、その人物による機器の使用が許可される。

なお、上記特許文献１に記載のシステムにおいて、機器として、画像を記録紙に形成する画像形成装置を適用することが可能である。この場合、入室のときに第１カメラで撮影された本人顔画像と画像形成装置の使用前に第２カメラで撮像された顔画像が一致して、顔画像が認証されると、画像形成装置のログインが許可される。

特開２００７−２３３９１６号公報

しかしながら、複数の人物が管理部屋に入室して、第２カメラにより複数の顔画像が認証された場合には、一人の人物のみに対して画像形成装置のログインを許可することができない。この場合、複数の人物に対して画像形成装置の使用を許可してしまうと、(i)誰が使用しているか判断できない、(ii)第２カメラにより複数の顔画像が認証された場合に、使用するつもりのないユーザーがログインしてしまう可能性がある、(iii)コピーカウント等が上手く反映できない、等の不具合が生じる。

本発明は、上記の事情に鑑みなされたものであり、複数の人物がログイン可能な状態である場合に、最適な一人の人物のみに電子機器のログインを許可することを目的とする。

本発明の一局面に係るログイン支援システムは、電子機器と、前記電子機器と共に部屋に設置されて、前記部屋の内部を撮像する単数又は複数のカメラと、複数の人物に対応付けられたそれぞれの顔情報を記憶した記憶部と、前記カメラにより撮像された撮像画像から人物の顔画像を抽出して、該抽出した人物の顔画像が前記記憶部に記憶されている各人物に対応付けられた前記顔情報のいずれかに一致する場合に、該抽出した人物の顔画像を認証する顔認証部と、前記カメラにより撮像された撮像画像に基づき人物のジェスチャーを検出して、該検出したジェスチャーが規定のジェスチャーに一致するか否かを判定するジェスチャー判定部と、前記顔認証部により人物の顔画像が認証され、かつ、当該顔画像が認証された当該人物のジェスチャーが前記規定のジェスチャーに一致すると前記ジェスチャー判定部により判定された場合に、当該人物に対して前記電子機器のログインを許可する制御部と、を備えるものである。

本発明によれば、複数の人物がログイン可能な状態である場合に、最適な一人の人物のみに電子機器のログインを許可することができる。

本発明の一実施形態に係るログイン支援システムを示す概略構成図である。 人物データ記憶部に記憶されているデータテーブルを概念的に示す図である。 サーバーの主要部を示すブロック図である。 画像形成装置の主要部を示すブロック図である。 画像形成装置のログインを許可するまでのサーバーによる処理手順を示すフローチャートである。

以下、本発明の一実施形態に係るログイン支援システムについて図面を参照して説明する。

図１は、本発明の一実施形態に係るログイン支援システムの概略構成図である。本発明の一実施形態に係るログイン支援システム１０は、複数のカメラ１１、１２と、サーバー１３と、人物データ記憶部１４と、画像形成装置（電子機器の一例）１５とを備える。

複数のカメラ１１は、部屋２００内を隈なく撮影できる部屋２００内の位置にそれぞれ設置されて、部屋２００内の全ての人物を撮像する。カメラ１２は、画像形成装置１５の前に来た人物を撮像可能な位置に配設され、画像形成装置１５を利用するために該画像形成装置１５の前に来た人物を撮像する。これらカメラ１１、１２は、サーバー１３と接続され、それぞれの撮像画像をサーバー１３に送信する。

人物データ記憶部１４は、例えば、各人物の身元情報を記憶したデータベースからなる。例えば、人物データ記憶部１４は、図２に示すような部屋２００への出入りが許可されている複数の人物のＩＤ、氏名、顔の特徴点、及びハンドジェスチャーを対応付けて記憶したデータテーブルＤＴを記憶している。顔の特徴点は、例えば目、鼻、口端の位置などを示す顔情報である。人物のハンドジェスチャーは、複数種類あり、各人物についてそれぞれ設定されている。

次に、サーバー１３を説明する。図３は、サーバー１３の主要部を示すブロック図である。サーバー１３は、制御ユニット１００、操作部２２０、記憶部２３０、および通信部２４０を備えている。操作部２２０は、マウス、キーボードなどの入力装置である。記憶部２３０は、ＳＳＤ（Solid State Drive）やフラッシュメモリなどの記憶装置である。

通信部２４０は、ＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。通信部２４０は、ＬＡＮ又はインターネットのネットワークを介して、各カメラ１１、１２、人物データ記憶部１４、及び画像形成装置１５との間でデータ送受信可能に接続されている。例えば、各カメラ１１、１２から送信されたそれぞれの撮像画像は、通信部２４０で受信されて記憶部２３０に一時的に記憶され、制御ユニット１００による処理の対象となる。

制御ユニット１００は、プロセッサー、ＲＡＭ、ＲＯＭ、および専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１００は、記憶部２３０に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部１３０、顔認証部１３１、及びジェスチャー判定部１３２として機能する。但し、上記の制御部１３０、顔認証部１３１、及びジェスチャー判定部１３２は、制御ユニット１００によるプログラムに従った動作によらず、それぞれハードウェア回路により構成してもよい。

制御部１３０は、サーバー１３の全体的な動作制御を司る。

顔認証部１３１は、各カメラ１１、１２により撮像されて記憶部２３０に記憶されたそれぞれの撮影画像毎に、撮像画像に対して既知の顔認識処理を施して、撮像画像における単数又は複数の人物の顔画像を検出し、該検出した顔画像の特徴点を抽出する。更に、顔認証部１３１は、この抽出した顔画像の特徴点を人物データ記憶部１４に記憶されている各人物の顔の特徴点（顔情報）と照合し、該検出した顔画像の特徴点が該各人物の顔の特徴点のいずれかに一致すると、該検出した顔画像を、画像形成装置１５へのログインを認める候補者の顔画像として認証する。

ジェスチャー判定部１３２は、各カメラ１１、１２により撮像されて記憶部２３０に記憶されたそれぞれの撮影画像毎に、顔認証部１３１により認証された顔画像の位置及び向きに基づき、当該顔画像を有する人物（顔認証部１３１が検出した顔画像の特徴点に一致する特徴点が対応付けられて記憶部２３０に記憶されている人物）の手の位置を判定して、この人物の手による各種のハンドジェスチャーを既知のジェスチャー検出技術により検出する。また、ジェスチャー判定部１３２は、顔認証部１３１により認証された当該顔画像を有する人物に対応付けられたハンドジェスチャーを人物データ記憶部１４から読み出し、上記検出したハンドジェスチャーが当該読み出したハンドジェスチャーに一致するか否かを判定する。

次に、画像形成装置１５を説明する。図４は、画像形成装置１５の主要部を示すブロック図である。画像形成装置１５は、表示部２１と、操作部２２と、通信部２３と、タッチパネル２４と、画像読取部２５と、画像形成部２６と、記憶部２８と、制御ユニット２９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。

表示部２１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）ディスプレイなどから構成される。操作部２２は、テンキー、決定キー、スタートキーなどのハードキーを備えている。

表示部２１の画面には、タッチパネル２４が配置されている。タッチパネル２４は、所謂抵抗膜方式や静電容量方式などのタッチパネルであって、タッチパネル２４に対するユーザーの指などの接触（タッチ）をその接触位置とともに検知して、その接触位置の座標を示す検知信号を制御ユニット２９の後述する制御部３１などに出力する。

通信部２３は、ＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。この通信部２３は、ネットワークＮを通じてサーバー１３に接続されて、サーバー１３との間でデータを送受信する。

画像読取部２５は、コンタクトガラスに載置された原稿を光学的に読み取るスキャナーを備え、この原稿の画像を示す画像データを生成する。

画像形成部２６は、感光体ドラム、感光体ドラムの表面を均一帯電させる帯電装置、感光体ドラムの表面を露光して、感光体ドラムの表面に静電潜像を形成する露光装置、感光体ドラムの表面の静電潜像をトナー像に現像する現像装置、及び感光体ドラムの表面のトナー像（画像）を記録紙に転写する転写装置等を備え、画像データによって示される画像を記録紙に形成する。

記憶部２８は、ＳＳＤ（Solid State Drive）、又はＨＤＤ（Hard Disk Drive）などの大容量の記憶装置であって、各種のアプリケーションプログラムや種々の情報等を記憶している。

制御ユニット２９は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、ＣＰＵ、ＭＰＵ、又はＡＳＩＣ等である。制御ユニット２９は、上記のＲＯＭ又は記憶部２８に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部３１、表示制御部３３、及び通信制御部３４として機能する。

制御ユニット２９は、画像形成装置１５を統括的に制御する。制御ユニット２９は、表示部２１、操作部２２、通信部２３、タッチパネル２４、画像読取部２５、画像形成部２６、及び記憶部２８などと接続されており、これらの構成要素の動作制御や、該各構成要素との間での信号またはデータの送受信を行う。

制御部３１は、画像形成装置１５による画像形成に必要な各種の処理などを実行する処理部としての役割を果たす。また、表示制御部３３は、表示部２１の表示動作を制御する機能を有する。通信制御部３４は、通信部２３の通信動作を制御する機能を有する。

一般に、画像形成装置１５の利用に際し、例えばＩＤカードによる利用者の認証が行われてから画像形成装置１５の利用が許可されるものがあるが、画像形成装置１５の利用認証のためにＩＤカードが必要であるため、操作が煩わしい。

本実施形態では、サーバー１３において、上記のように顔認証部１３１は、各カメラ１１、１２により撮像された撮像画像から人物の顔画像を検出して、この検出した顔画像の特徴点が人物データ記憶部１４に記憶されている各人物の顔の特徴点のいずれかに一致すると、該検出した顔画像を、画像形成装置１５へのログインを認める候補者の顔画像として認証する。そして、ジェスチャー判定部１３２は、撮像画像における人物のハンドジェスチャーを検出して、当該人物の顔画像の特徴点に対応付けられたハンドジェスチャーを人物データ記憶部１４から読み出し、その検出した当該人物のハンドジェスチャーがその読み出したハンドジェスチャーに一致するか否かを判定する。そして、制御部１３０は、顔認証部１３１により人物の顔画像が認証されかつジェスチャー判定部１３２により当該人物のハンドジェスチャーがその読み出したハンドジェスチャーに一致すると判定された場合に、該人物による画像形成装置１５のログインを許可する。このため、その人物（利用者）は、ＩＤカードを用いて上記認証のための操作を行う必要がない。

また、顔認証部１３１による顔画像の認証だけではなく、ジェスチャー判定部１３２によるハンドジェスチャーの判定に基づき、画像形成装置１５のログインを許可しているので、複数の人物の顔画像が認証されている状況であっても、ハンドジェスチャーの判定に基づき、後述するようにして、一人の人物のみに対して画像形成装置１５のログインを許可することが可能である。

次に、ログイン支援システム１０の動作について説明する。図５は、サーバー１３による画像形成装置１５のログインを許可するまでの処理手順を示すフローチャートである。

各カメラ１１は、部屋２００内の全ての人物を撮像して、それぞれの撮像画像をサーバー１３に送信する。また、カメラ１２は、画像形成装置１５の前に来た人物を撮像して、撮像画像をサーバー１３に送信する。サーバー１３では、それらの撮像画像を通信部２４０で受信して記憶部２３０に一時的に記憶させる。顔認証部１３１は、各カメラ１１、１２により撮像されたそれぞれの撮像画像毎に、撮像画像における単数又は複数の人物の顔画像を検出し、該検出した顔画像の特徴点を抽出する。更に、顔認証部１３１は、この抽出した顔画像の特徴点を人物データ記憶部１４に記憶されている各人物の顔の特徴点と照合し、該検出した顔画像の特徴点が該各人物の顔の特徴点のいずれかに一致した場合に、当該検出した顔画像を、画像形成装置１５へのログインを認める候補者の顔画像として認証する（Ｓ１０１）。

この後、上記顔画像が検出された各人物（上記候補者）がハンドジェスチャーを行った場合に、各カメラ１１，１２の少なくともいずれかは、当該人物のハンドジェスチャーを撮像するものとし、その撮像画像をサーバー１３に送信する。サーバー１３では、それらの撮像画像を通信部２４０で受信して記憶部２３０に一時的に記憶させる。サーバー１３のジェスチャー判定部１３２は、記憶部２３０に記憶されている各撮像画像における上記各人物（上記候補者）のハンドジェスチャーを上述したようにして検出し、当該各人物の顔画像の特徴点に対応付けられたハンドジェスチャーをそれぞれ人物データ記憶部１４から読み出し、上記検出した当該各人物のハンドジェスチャーが、各人物に対応する、当該読み出したハンドジェスチャーに一致するか否かを判定する（Ｓ１０２）。

そして、ジェスチャー判定部１３２が、上記両方のハンドジェスチャーが一致すると判定した場合（Ｓ１０２「Ｙｅｓ」）、制御部１３０は、ジェスチャー判定部１３２により最初に当該ハンドジェスチャーが判定された人物を、ログインを許可する人物Ａ（優先ユーザー）として記憶し（人物Ａに対して画像形成装置１５にログインする地位を付与）、この人物Ａの氏名と、当該人物Ａの氏名の表示指示とを、通信部２４０から画像形成装置１５に送信させる（Ｓ１０３）。

画像形成装置１５では、人物Ａの氏名と、ログインが許可される当該人物Ａの氏名の表示指示とを通信部２３で受信すると、制御部３１は、表示制御部３３により人物Ａの氏名を表示部２１に表示させる。但し、この時点では、画像形成装置１５の制御部３１は、当該人物Ａについてのログイン処理を行わない。

すなわち、人物の顔画像が認証され、この人物のハンドジェスチャーが、人物データ記憶部１４に記憶されている該顔画像の特徴点に対応するハンドジェスチャーに一致した場合に、該人物の顔画像がログインを許可される人物Ａの顔画像として特定される。また、上記人物Ａの氏名が画像形成装置１５の表示部２１に表示されて、ログインの許可を受けた人物Ａの氏名が、画像形成装置１５の周囲に存在する各人物に報知される。

また、制御部１３０は、ログインを許可される人物Ａを顔画像の認証により特定すると、この特定時点からの経過時間Ｔの計時を内蔵するタイマーにより開始して（Ｓ１０４）、経過時間Ｔが予め設定された規定時間ＴＡ（例えば、２０秒）に達したか否かを判定する（Ｓ１０５）。

ここで、ログインを許可される人物Ａは、画像形成装置１５を使用するために該画像形成装置１５の前まで移動するか又は画像形成装置１５の前に既に居ると考えられる。このため、顔認証部１３１は、カメラ１２が撮像した撮像画像において当該ログインを許可される人物Ａの顔画像を検出する可能性が高い。また、ログインを許可される人物Ａがハンドジェスチャーを行った後に、更に他の人物がハンドジャスチャーを行うこともあるため、ジェスチャー判定部１３２は、他の人物のハンドジェスチャーを判定する場合がある。

そこで、制御部１３０は、経過時間Ｔが規定時間ＴＡに達するまでは（Ｓ１０５「Ｎｏ」）、カメラ１２により撮像された撮像画像に人物の顔画像があると顔認証部１３１により検出されるか（Ｓ１０６，Ｓ１０６「Ｎｏ」）、及び、ジェスチャー判定部１３２による他の人物のハンドジェスチャーの判定を待機する（Ｓ１１０，Ｓ１１０「Ｎｏ」）。

ここで、顔認証部１３１は、カメラ１２により撮像された撮像画像に人物の顔画像があることを検出した場合（Ｓ１０６「ＹＥＳ」）、その検出した人物の顔画像の特徴点とＳ１０４で特定されたログインを許可される人物Ａの顔画像の特徴点が一致するか否かを判定する（Ｓ１０７）。すなわち、画像形成装置１５の前に移動するか又は画像形成装置１５の前に居る人物が、ログインを許可される人物と同一であるか否かが顔認証部１３１により判定される。なお、Ｓ１０１においてカメラ１２により撮像された撮像画像に人物の顔画像が顔認証部１３１により認証されている場合は、Ｓ１０６において再度カメラ１２により撮像された撮像画像に人物の顔画像があることが検出されることになる。

そして、顔認証部１３１が上記両方の顔画像の特徴点が一致すると判定すると（Ｓ１０７「Ｙｅｓ」）、すなわち、画像形成装置１５の前に移動するか又は画像形成装置１５の前に居る人物がログインを許可される人物Ａと同一である場合には、制御部１３０は、当該人物Ａに画像形成装置１５のログインを許可し、人物Ａに画像形成装置１５のログインを許可する旨のログイン許可情報を、通信部２４０から画像形成装置１５に送信する（Ｓ１０８）。

画像形成装置１５では、ログイン許可情報が通信部２３で受信されると、制御部３１は、画像形成装置１５の使用を許可してログイン処理を行い、画像形成装置１５を、操作部２２又はタッチパネル２４の操作に応じて、画像読取部２５、画像形成部２６などを駆動制御して画像を記録紙に形成すること等が可能な状態とする。

そして、サーバー１３の制御部１３０は、後述するログイン待ちが有るか否かを判定し（Ｓ１０９）、ログイン待ちが無ければ（Ｓ１０９「Ｎｏ」）、図５の処理を終了する。

また、画像形成装置１５の前に移動するか又は画像形成装置１５の前に居る人物が、ログインを許可される人物Ａと同一でなく、顔認証部１３１により両者の人物の顔画像の特徴点が一致しないと判定された場合は（Ｓ１０７「Ｎｏ」）、処理はＳ１０５に戻る。

また、ログインを許可される人物Ａがハンドジェスチャーを行った後、経過時間Ｔが規定時間ＴＡに達するまでに（Ｓ１０５「Ｎｏ」）、カメラ１２により撮像された撮像画像に人物の顔画像があると顔認証部１３１により検出されることなく（Ｓ１０６「Ｎｏ」）、他の人物がハンドジャスチャーを行った場合は、ジェスチャー判定部１３２は、当該他の人物のハンドジェスチャーを検出して、当該他の人物の顔画像の特徴点に対応付けられたハンドジェスチャーを人物データ記憶部１４から読み出し、当該検出した当該他の人物のハンドジェスチャーが当該読み出したハンドジェスチャーに一致するか否かを判定する（Ｓ１１０）。

そして、ジェスチャー判定部１３２により上記両方のハンドジェスチャーが一致すると判定されると（Ｓ１１０「Ｙｅｓ」）、制御部１３０は、ログイン待ちとする新たな優先ユーザーとして当該他の人物の氏名を記憶しておくと共に、当該他の人物の氏名及びその表示指示を通信部２４０から画像形成装置１５に送信する（Ｓ１１１）。

画像形成装置１５では、ログイン待ちの上記他の人物の氏名及びその表示指示を通信部２３で受信すると、制御部３１は、表示制御部３３によりログイン待ちの当該他の人物の氏名を、ログインが許可された人物Ａの氏名等と共に表示部２１に表示させる。

すなわち、ジェスチャー判定部１３２により、上記他の人物について対応付けられているハンドジェスチャーがあったと判定されると、制御部１３０により、当該他の人物がログイン待ちの人物として記憶される。また、ログイン待ちとなっている上記他の人物の氏名が画像形成装置１５の表示部２１に表示されるため、ログイン待ちの人物の氏名が画像形成装置１５の周囲にいる各人物に報知される。

なお、経過時間Ｔが規定時間ＴＡに達する前に（Ｓ１０５「Ｎｏ」）、ジェスチャー判定部１３２により、更に２人目の他の人物のハンドジェスチャーが検出されて、２人目の他の人物のハンドジェスチャーが人物データ記憶部１４から読み出された規定のハンドジェスチャーに一致すると判定された場合は（Ｓ１１０「Ｙｅｓ」）、制御部３１は、ログイン待ちとして２人目の他の人物の氏名を記憶すると共に、当該ログイン待ちの２人目の他の人物の氏名及びその表示指示を通信部２４０により画像形成装置１５に向けて送信させる（Ｓ１１１）。画像形成装置１５では、ログイン待ちの当該２人目の他の人物の氏名も画像形成装置１５の表示部２１に更に表示される。従って、ログイン待ちの人物が２人に増えて、ログイン待ちの１人目及び２人目の人物の氏名、更に、ログインが許可された人物Ａの氏名が画像形成装置１５の表示部２１に表示される。

以降同様に、更に別の人物のハンドジェスチャーがジェスチャー判定部１３２により検出される度に、制御部３１により同様の処理が行われる。この処理が繰り返されると、画像形成装置１５では、ログイン待ちの人物が増える。

また、制御部１３０は、Ｓ１１０で「Ｎｏ」又はＳ１０７で「Ｎｏ」のまま、経過時間Ｔが規定時間ＴＡに達したと判定した場合は（Ｓ１０５「Ｙｅｓ」）、ログイン待ちとなっている人物を記憶しているか否かを判定する（Ｓ１１２）。ここで、制御部１３０は、ログイン待ちの人物を記憶していると判定したときは（Ｓ１１２「Ｙｅｓ」）、Ｓ１０３で人物Ａに付与されたログインを許可する地位を取り消して（Ｓ１１３）、ログイン待ちの人物であって順番が１番目の人物を、新たなログインを許可される人物Ａとして記憶し（人物Ａに対して画像形成装置１５にログインする地位を付与）、当該新たな人物Ａの氏名を通信部２４０から画像形成装置１５に送信させる（Ｓ１１４）。この後、Ｓ１０４からの処理が繰り返される。

なお、制御部１３０が、ログイン待ちの人物を記憶していないと判定した場合は（Ｓ１１２「Ｎｏ」）、図５の処理は終了する。つまり、規定時間ＴＡの経過後、ログインの許可を待機している他の人物がいない場合には、図５の処理は終了する。

画像形成装置１５では、上記のようにして新たにログインが許可される人物（新たな優先ユーザー）の氏名を通信部２３で受信すると、制御部３１は、表示制御部３３により当該新たな人物Ａの氏名を表示部２１に表示させる。

尚、Ｓ１０８で画像形成装置１５のログインが許可された後、ログイン待ちが有ると判定された場合も（Ｓ１０９「Ｙｅｓ」）、画像形成装置１５において当該ログイン状態で人物Ａによる指示で実行されたジョブが終了したことを示す情報を当該画像形成装置１５から通信部２４０で受信したとき、又は、当該情報を予め定められた期間（例えば、５分）内に通信部２４０で受信しないときは、制御部１３０が、Ｓ１０４で特定されたログインを許可される人物Ａの画像形成装置１５にログインする地位を取り消して（Ｓ１１３）、ログイン待ちの人物であって順番が１番目の人物を、新たなログインを許可される人物（新たな優先ユーザー）として記憶し（当該人物に対して画像形成装置１５にログインする地位を付与）、当該新たな人物（新たな優先ユーザー）の氏名を通信部２４０から画像形成装置１５に送信させる（Ｓ１１４）。この場合、Ｓ１０５における経過時間Ｔは、制御部１３０が、上記ログイン待ちの人物であって順番が１番目の人物を、新たなログインを許可される人物（新たな優先ユーザー）として記憶した時点からとする。

このように本実施形態では、人物の顔画像が認証され、かつ当該人物のハンドジェスチャーが規定のハンドジェスチャーに一致すると判定された場合に、該人物による画像形成装置１５のログインが許可されるので、格別なログイン操作を行う必要がなく、一人の人物のみに対して画像形成装置１５のログインを許可することができる。

また、本実施形態では、複数の人物の顔画像が認証された場合には、最初にハンドジェスチャーを行って当該ハンドジェスチャーが規定のハンドジェスチャーに一致すると判定された人物に画像形成装置１５のログインが許可されるので、最初に画像形成装置１５を使用したいという意思表示をした者のみに対して、最先に画像形成装置１５のログインを許可することができる。

更に、本実施形態では、顔画像が認証されて最初にハンドジェスチャーを行った人物よりも後に、他の人物のハンドジェスチャーが規定のハンドジェスチャーに一致すると判定された場合は、他の人物がログイン待ちとされ、順番待ちの順に各人物について順次ログインが許可されるので、画像形成装置１５を効率的に利用することができる。

更に、本実施形態によれば、ログインを許可される人物Ａ（顔画像が認証されて最初にハンドジェスチャーを行った人物）の氏名及びログイン待ちの他の人物の氏名が画像形成装置１５の表示部２１に表示されるので、画像形成装置１５にログインすることになる人物や、この次にログインすることになる人物を周囲に知らせることができる。

なお、上記実施形態では、ログインを許可される人物の氏名及びログイン待ちの他の人物の氏名を画像形成装置１５の表示部２１に表示させているが、これと共に又はこれに代えて、制御部３１が、これらの人物の顔画像を表示部２１に表示させても構わない。この場合は、サーバー１３の制御部１３０が、顔認証部１３１により認証された当該人物の顔画像を撮像画像から抽出し、その抽出した顔画像の表示指示をサーバー１３から通信部２４０を介して画像形成装置１５へと送信する。

また、本実施形態では、サーバー１３の記憶部２３０に、各人物にそれぞれ１種類のハンドジェスチャーを記憶しているが、各人物にそれぞれ複数種のハンドジェスチャーを記憶するようにしても構わない。この場合、ジェスチャー判定部１３２は、人物のハンドジェスチャーを検出すると、当該人物の顔画像の特徴点に対応付けられた複数種のハンドジェスチャーを人物データ記憶部１４から読み出し、上記検出したハンドジェスチャーがその読み出した各ハンドジェスチャーのいずれかに一致するか否かを判定する。

また、記憶部２３０に、各人物に共通のハンドジェスチャーが記憶されているようにしてもよい。

また、各人物のハンドジェスチャーにそれぞれ異なる優先度（画像形成装置１５へのログインを許可する優先度）を付与し、当該優先度を各人物に対応付けて記憶部２３０に記憶しておくようにしてもよい。この場合、制御部１３０は、上記規定時間ＴＡの経過前に、複数の人物の顔画像が認証され、当該複数の人物がそれぞれハンドジェスチャーを行って当該ハンドジェスチャーが規定のハンドジェスチャーに一致すると判定された場合に、当該ハンドジェスチャーが規定のハンドジェスチャーに一致すると判定された人に拘わらず、優先度の高い順に各人物に対して順次ログインを許可する。

なお、制御部１３０は、このように優先度を設定した場合、ログイン待ちの人物を記憶している状態で、更に、優先度が最も高く設定されている人物について、顔画像が認証されかつハンドジェスチャーが規定のハンドジェスチャーに一致すると判定されたとき、当該優先度が最も高く設定されている人物のログイン待ちの順番を常に最先とするようにしてもよい。

また、上記実施形態では、部屋２００に複数のカメラ１１が設置されているが、カメラ１１は１台であってもよい。この場合は、１台のカメラ１１として、ズームイン及びズームアウトの機能、パン及びチルトの機能、撮像中の人物を追尾する追尾機能などを有するものを適用して、１台のカメラ１１により部屋２００内の全ての人物を撮像することができるようにするのが好ましい。

なお、上記実施形態では、顔認証部１３１が、カメラ１２により撮像された撮像画像において認証した顔画像の特徴点と、Ｓ１０３で特定されたログインを許可される人物Ａの顔画像の特徴点が一致すること（Ｓ１０７「ＹＥＳ」）を条件に、当該人物Ａに画像形成装置１５の使用を許可する処理を行っているが、これに限られず、制御部１３０は、ログインが許可される人物Ａに対して、当該処理を行わず、上記ログイン許可情報を画像形成装置１５に送信するようにしてもよい。

また、図１乃至図５を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。例えば、上記実施形態では、特許請求の範囲における電子機器の一例を画像形成装置１５として説明しているが、電子機器は画像形成装置に限られず、情報処理装置、医療機器、工作機器等の他の電子機器であっても構わない。

１０ ログイン支援システム
１１、１２ カメラ
１３ サーバー
１４ 人物データ記憶部
１５ 画像形成装置
１００ 制御ユニット
１３０ 制御部
１３１ 顔認証部
１３２ ジェスチャー判定部
２２０ 操作部
２３０ 記憶部
２４０ 通信部
２００ 部屋

Claims (7)

1. 電子機器と、
   前記電子機器と共に部屋に設置されて、前記部屋の内部を撮像する単数又は複数のカメラと、
   複数の人物に対応付けられたそれぞれの顔情報を記憶した記憶部と、
   前記カメラにより撮像された撮像画像から人物の顔画像を抽出して、該抽出した人物の顔画像が前記記憶部に記憶されている各人物に対応付けられた前記顔情報のいずれかに一致する場合に、該抽出した人物の顔画像を認証する顔認証部と、
   前記カメラにより撮像された撮像画像に基づき人物のジェスチャーを検出して、該検出したジェスチャーが規定のジェスチャーに一致するか否かを判定するジェスチャー判定部と、
   前記顔認証部により人物の顔画像が認証され、かつ、当該顔画像が認証された当該人物のジェスチャーが前記規定のジェスチャーに一致すると前記ジェスチャー判定部により判定された場合に、当該人物に対して前記電子機器のログインを許可する制御部と、を備え、
   前記制御部は、前記顔認証部により複数の人物の各顔画像が認証され、かつ、当該複数の人物に対応付けられたそれぞれのジェスチャーが前記規定のジェスチャーに一致すると前記ジェスチャー判定部により判定された場合に、顔画像が認証されかつジェスチャーが前記規定のジェスチャーに一致すると最初に判定された人物を特定して、当該最初に判定された人物に対して前記電子機器のログインを許可する、ログイン支援システム。
   
   るログイン支援システム。
2. 前記記憶部は、前記複数の人物に対応付けられたそれぞれのジェスチャーを、前記顔画像と共に各人物別に記憶しており、
   前記ジェスチャー判定部は、前記顔認証部により認証された顔画像に対応付けられている人物に対応付けられたジェスチャーを規定のジェスチャーとして、当該規定のジェスチャーに、前記カメラにより撮像された撮像画像に基づき検出された人物のジェスチャーが一致するか否かを判定する請求項１に記載のログイン支援システム。
3. 前記カメラは複数台備えられ、当該複数台のカメラのうちの１台のカメラが、前記電子機器の前に来た人物を撮像可能な位置に配設され、
   前記顔認証部は、前記最初に判定された人物の顔画像が、前記位置に配設されたカメラにより撮像された人物の顔画像と一致するか否かを判定し、
   前記制御部は、前記最初に判定された人物を特定した時点から一定時間が経過するまでに、前記顔認証部により前記最初に判定された人物の顔画像が、前記位置に配設されたカメラにより撮像された人物の顔画像と一致すると判定された場合に、当該最初に判定された人物に対して前記電子機器のログインを許可する請求項１又は請求項２に記載のログイン支援システム。
4. 前記制御部は、
   前記最初に判定された人物を特定してから一定時間が経過するまでに、前記最初に判定された人物の顔画像が、前記位置に配設されたカメラにより撮像された人物の顔画像と一致することが前記顔認証部により判定されなかった場合には、当該最初に判定された人物に対して前記電子機器のログインを許可せず、
   顔画像が認証されかつジェスチャーが前記規定のジェスチャーに一致すると、前記最初に判定された人物の次に判定された人物に対して、当該次に判定された人物を特定してから一定時間が経過するまでに、前記顔認証部により判定された当該次の人物の顔画像が、前記位置に配設されたカメラにより撮像された人物の顔画像と一致すると判定された場合
   に、当該次に判定された人物に対して前記電子機器のログインを許可する請求項３に記載のログイン支援システム。
5. 電子機器と、
   前記電子機器と共に部屋に設置されて、前記部屋の内部を撮像する単数又は複数のカメラと、
   複数の人物に対応付けられたそれぞれの顔情報を記憶した記憶部と、
   前記カメラにより撮像された撮像画像から人物の顔画像を抽出して、該抽出した人物の顔画像が前記記憶部に記憶されている各人物に対応付けられた前記顔情報のいずれかに一致する場合に、該抽出した人物の顔画像を認証する顔認証部と、
   前記カメラにより撮像された撮像画像に基づき人物のジェスチャーを検出して、該検出したジェスチャーが規定のジェスチャーに一致するか否かを判定するジェスチャー判定部と、
   前記顔認証部により人物の顔画像が認証され、かつ、当該顔画像が認証された当該人物のジェスチャーが前記規定のジェスチャーに一致すると前記ジェスチャー判定部により判定された場合に、当該人物に対して前記電子機器のログインを許可する制御部と、
   表示部とを備え、
   前記記憶部は、前記複数の人物に対応付けられたそれぞれの識別情報を更に記憶しており、
   前記制御部は、前記記憶部から読み出した、前記電子機器のログインを許可された人物の識別情報と、前記カメラによって撮像された当該人物の顔画像とを、前記表示部に表示させる、ログイン支援システム。
6. 電子機器と、
   前記電子機器と共に部屋に設置されて、前記部屋の内部を撮像する単数又は複数のカメラと、
   複数の人物に対応付けられたそれぞれの顔情報を記憶した記憶部と、
   前記カメラにより撮像された撮像画像から人物の顔画像を抽出して、該抽出した人物の顔画像が前記記憶部に記憶されている各人物に対応付けられた前記顔情報のいずれかに一致する場合に、該抽出した人物の顔画像を認証する顔認証部と、
   前記カメラにより撮像された撮像画像に基づき人物のジェスチャーを検出して、該検出したジェスチャーが規定のジェスチャーに一致するか否かを判定するジェスチャー判定部と、
   前記顔認証部により人物の顔画像が認証され、かつ、当該顔画像が認証された当該人物のジェスチャーが前記規定のジェスチャーに一致すると前記ジェスチャー判定部により判定された場合に、当該人物に対して前記電子機器のログインを許可する制御部と、を備え、
   前記規定のジェスチャーとして、優先度が互いに異なる複数のジェスチャーが予め設定されており、
   前記制御部は、前記顔認証部により複数の人物のそれぞれの顔画像が認証され、かつ、当該顔画像が認証された当該複数の人物のそれぞれのジェスチャーが前記規定のジェスチャーのいずれかに一致すると前記ジェスチャー判定部により判定された場合に、当該顔画像が認証された複数の人物のうち、最も優先度が高い規定のジェスチャーに一致すると判定されたジェスチャーを行った人物に対して最先に、前記電子機器のログインを許可する、ログイン支援システム。
7. 前記電子機器は、記録媒体に画像を形成する画像形成部を備える画像形成装置である請求項１乃至請求項６のいずれかに記載のログイン支援システム。

Images