JP2017034518A - 認証装置および処理装置 - Google Patents

Abstract

【課題】人の顔画像を撮影した時点ですぐに認証を開始する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制する。【解決手段】画像形成装置１０は、自装置の周囲の人を撮像する第１カメラを含む撮像部１０９と、第１カメラが撮像した人の顔画像により、個人の認証を行う顔登録認証部１１２と、顔登録認証部１１２による認証の開始を指示する指示部１１３とを有し、顔登録認証部１１２は、指示部１１３による指示の前に顔画像を取得するとともに、指示部１１３による指示の後に、顔画像を用いた認証を行う。【選択図】図５

Description

本発明は、認証装置および処理装置に関する。

公報記載の従来技術として、画像形成装置のフロント側に前方に向けて第１の撮像部を設けるとともに、画像形成装置の上部に設けられたユーザインタフェース１３に上方に向けて第２の撮像部を設け、第１の撮像部により撮影された画像に基づいて画像形成装置に人が近づいていると判断されると、画像形成装置のメインシステムをスリープモードからスタンバイモードに復帰させ、また、第２の撮像部にて、画像形成装置の前に立つ人の顔の画像を撮影し、得られた顔画像を用いて、この人に関する認証処理を実行するものが存在する（特許文献１参照）。

特開２０１５−１１５３７号公報

ここで、自装置の周囲に存在する人の顔画像が撮影されたことを契機として、この人が自装置に到達する前に、顔画像を用いた認証処理を実行しておくことが考えられる。しかしながら、このような手法を採用した場合には、自装置の周囲に存在する人が、この自装置の使用を目的とする人（使用者）であるとは限らないため、使用者以外の人が認証されてしまうという事態が生じ得る。
本発明は、人の顔画像を撮影した時点ですぐに認証を開始する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することを目的とする。

請求項１記載の発明は、自装置の周囲の人を撮像する撮像部と、前記撮像部が撮像した人の顔画像により、個人の認証を行う認証部と、認証の開始を指示する指示部とを有し、前記認証部は、前記指示部による指示の前に顔画像を取得し、当該指示部による指示の後に認証を行うことを特徴とする認証装置である。
請求項２記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、人が前記第１の領域内であって当該第１の領域よりも狭い第２の領域に存在する場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置である。
請求項３記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、前記第１の領域内に存在する人が当該第１の領域に予め設定された設定時間以上滞在する場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置である。
請求項４記載の発明は、前記撮像部は、第１の領域内に存在する人の画像を撮像し、前記指示部は、前記第１の領域に存在する人が自装置に接近している場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置である。
請求項５記載の発明は、前記指示部は、人が自装置を使用する意図を推定する条件を満たした場合に、前記認証の開始を指示することを特徴とする請求項１乃至４のいずれか１項記載の認証装置である。
請求項６記載の発明は、前記撮像部が撮像した顔画像を保持する保持部をさらに有し、前記保持部は、前記撮像部が撮像した複数の画像のうち、予め決められた条件を満たす顔画像を抽出して保持することを特徴とする請求項１記載の認証装置である。
請求項７記載の発明は、前記撮像部が撮像した顔画像を保持する保持部をさらに有し、前記保持部は、前記撮像部が複数名の顔画像を撮像した場合には、それぞれの顔画像を保持することを特徴とする請求項１記載の認証装置である。
請求項８記載の発明は、前記保持部が複数名の顔画像を保持している場合に、どの顔画像により認証を行うかを選択する選択部をさらに有することを特徴とする請求項７記載の認証装置である。
請求項９記載の発明は、前記保持部は、前記認証部が認証を行った後、認証に用いた人以外の顔画像を削除することを特徴とする請求項６乃至８のいずれか１項記載の認証装置である。
請求項１０記載の発明は、前記認証部による認証可否を報知する報知部をさらに有することを特徴とする請求項１乃至９のいずれか１項記載の認証装置である。
請求項１１記載の発明は、撮像部と、前記撮像部が撮像した顔画像により、個人を特定する特定部と、特定された個人毎に異なる処理を実行する処理部と、人が自装置を使用する意図を推定する条件を満たした場合に、当該人の認証を指示する指示部とを有し、前記特定部は、前記指示の前に個人の特定を完了させ、前記処理部は、前記指示の後に前記特定された個人に対応する処理を開始することを特徴とする処理装置である。

請求項１記載の発明によれば、人の顔画像を撮影した時点ですぐに認証を開始する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項２記載の発明によれば、第１の領域内であって第２の領域内には存在しない人を認証する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項３記載の発明によれば、第１の領域内に規定時間よりも短い時間滞在する人を認証する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項４記載の発明によれば、第１の領域内にて自装置から離隔する人を認証する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項５記載の発明によれば、自装置を使用する意図を推定する条件を満たさない人を認証する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項６記載の発明によれば、決められた条件を満たさない顔画像を含めて保持する場合と比べて、保持部に必要な記憶容量を低減することが可能になる。
請求項７記載の発明によれば、１人の顔画像のみを保持する場合と比較して、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項８記載の発明によれば、複数名の顔画像から選択を行わない場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。
請求項９記載の発明によれば、認証に用いない人の顔画像を含めて保持し続ける場合と比べて、保持部に必要な記憶容量を低減することが可能になる。
請求項１０記載の発明によれば、認証可否を報知しない場合と比べて、認証が完了しない状態で自装置に近づいた人が、認証をするために自装置から離れることを抑制することができる。
請求項１１記載の発明によれば、人の顔画像を撮影した時点ですぐに認証を開始する場合と比べて、認証対象者以外の人が認証されてしまうことを抑制することができる。

本実施の形態が適応される画像形成装置の斜視図である。 ユーザインタフェースの上面図である。 画像形成装置により人物の存在等が検知される範囲を説明するための上面図である。 画像形成装置により人物の存在等が検知される範囲を説明するための側面図である。 画像形成装置の機能ブロック図である。 画像形成装置のモードの制御に関する処理の流れを説明するためのフローチャートである。 画像形成装置における認証手順の流れを説明するためのフローチャートである。 認証手順における顔検出・顔画像取得処理の流れを説明するためのフローチャートである。 認証手順における顔認証処理の流れを説明するためのフローチャートである。 （ａ）は使用者が事前に画像形成装置に登録した登録テーブルの一例を、（ｂ）は顔検出・顔画像取得処理で用いられる追跡テーブルの一例を、それぞれ示す図である。 （ａ）〜（ｅ）は、画像形成装置の周辺にいる人物の位置の時間的変化の第１の例を示した図である。 （ａ）〜（ｄ）は、顔認証処理において、ユーザインタフェースに表示される案内画面の一例を示す図である。 （ａ）、（ｂ）は、それぞれ、第１カメラによって撮影された第１カメラ画像の一例を示す図である。 （ａ）、（ｂ）は、それぞれ、第１カメラによって撮影された第１カメラ画像の他の一例を示す図である。 （ａ）〜（ｄ）は、画像形成装置の周辺にいる人物の位置の時間的変化の第２の例を示した図である。 （ａ）〜（ｅ）は、画像形成装置の周辺にいる人物の位置の時間的変化の第３の例を示した図である。 （ａ）〜（ｅ）は、画像形成装置の周辺にいる人物の位置の時間的変化の第４の例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態が適用される画像形成装置１０の斜視図である。認証装置、処理装置および表示装置の一例としての画像形成装置１０は、スキャン機能、プリント機能、コピー機能およびファクシミリ機能を備えた所謂複合機である。

画像形成装置１０は、スキャナ１１と、プリンタ１２と、ユーザインタフェース（ＵＩ）１３とを備える。これらのうち、スキャナ１１は、原稿に形成された画像を読み取るための装置であり、プリンタ１２は、記録材に画像を形成するための装置である。また、ユーザインタフェース１３は、使用者が画像形成装置１０を使用する際に、使用者による操作（指示）を受け付け、且つ、使用者に対し各種情報の表示を行うための装置である。

本実施の形態のスキャナ１１は、プリンタ１２の上方に配置されている。また、ユーザインタフェース１３は、スキャナ１１に取り付けられている。ここで、ユーザインタフェース１３は、画像形成装置１０を使用する際に使用者が立つ、画像形成装置１０（スキャナ１１）のフロント側に配置される。そして、ユーザインタフェース１３は、画像形成装置１０のフロント側に立った使用者が上方から下方を見た状態で操作できるように、上方に向けて配置される。

また、この画像形成装置１０は、焦電センサ１４と、第１カメラ１５と、第２カメラ１６とをさらに備える。これらのうち、焦電センサ１４および第１カメラ１５は、プリンタ１２のフロント側且つ左側に、前方に向けて取り付けられている。そして、第１カメラ１５は、焦電センサ１４の上方に配置されている。また、第２カメラ１６は、ユーザインタフェース１３における左側に、上方に向けて取り付けられている。

ここで、焦電センサ１４は、画像形成装置１０のフロント側における、使用者を含む移動体（人物等）の移動を検知する機能を有している。また、第１カメラ１５は所謂ビデオカメラで構成されており、画像形成装置１０のフロント側の画像を撮影する機能を有している。さらに、第２カメラ１６も所謂ビデオカメラで構成されており、画像形成装置１０の上側の画像を撮影する機能を有している。ここで、第１カメラ１５および第２カメラ１６には、それぞれ魚眼レンズが取り付けられている。これにより、第１カメラ１５および第２カメラ１６は、一般的なレンズを用いた場合に比べ、より広角にて画像の撮影を行う。

さらに、この画像形成装置１０は、プロジェクタ１７をさらに備える。この例において、プロジェクタ１７は、フロント側からみて画像形成装置１０の本体の右側に配置されている。そして、プロジェクタ１７は、画像形成装置１０の背後に設けられたスクリーン（図示せず）に、各種画像を投影するようになっている。ここで、スクリーンとしては、所謂映写幕に限られるものではなく、壁等を利用してもかまわない。なお、画像形成装置１０の本体に対するプロジェクタ１７の設置位置については、変更することが可能である。また、この例では画像形成装置１０の本体とプロジェクタ１７とを別個に設けているが、例えばスキャナ１１の背面側にプロジェクタ１７を取り付けるなどの手法を用いることで、画像形成装置１０の本体とプロジェクタ１７とを一体化してもかまわない。

図２は、図１に示すユーザインタフェース１３の上面図である。ただし、図２は、ユーザインタフェース１３に配置される第２カメラ１６も、併せて示している。

ユーザインタフェース１３は、タッチパネル１３０と、第１操作ボタン群１３１と、第２操作ボタン群１３２と、ＵＳＢメモリ装着部１３３とを有する。ここで、第１操作ボタン群１３１は、タッチパネル１３０の右側に配置されている。また、第２操作ボタン群１３２、ＵＳＢメモリ装着部１３３および第２カメラ１６は、タッチパネル１３０の左側に配置されている。

ここで、タッチパネル１３０は、使用者に対し画像を用いた情報を表示し、且つ、使用者からの入力を受け付ける機能を有している。また、第１操作ボタン群１３１および第２操作ボタン群１３２は、使用者からの入力を受け付ける機能を有している。さらに、ＵＳＢメモリ装着部１３３は、使用者によるＵＳＢメモリの装着を受け付ける機能を有している。

また、ユーザインタフェース１３に取り付けられる第２カメラ１６は、画像形成装置１０を使用する使用者の顔の画像を撮影できる位置に配置されている。そして、第２カメラ１６で撮影された画像（使用者の顔の画像を含む）は、タッチパネル１３０に表示されるようになっている。ここで、本実施の形態の画像形成装置１０では、後述するように、この画像形成装置１０に近づいてくる人物の顔を、第１カメラ１５で撮影して得た顔画像を用いて、画像形成装置１０の使用を許可するための認証を行う。このため、この画像形成装置１０を使用しようとする人物（使用者）は、事前に、顔画像の登録を行う必要がある。そして、本実施の形態における第２カメラ１６は、このような顔画像の登録において、人物の顔を撮影するために使用される。

また、本実施の形態では、第１カメラ１５で撮影された画像も、タッチパネル１３０に表示することが可能となっている。なお、以下の説明においては、第１カメラ１５が撮影した画像を第１カメラ画像と称し、第２カメラ１６が撮影した画像を第２カメラ画像と称する。

図３は、画像形成装置１０により人物の存在が検知される範囲を説明するための上面図である。図３は、画像形成装置１０およびその周辺を、画像形成装置１０の高さ方向上側からみたものを示している。

また、図４は、画像形成装置１０により人物の存在が検知される範囲を説明するための側面図である。図４は、画像形成装置１０およびその周辺を、画像形成装置の側方（この例では画像形成装置１０のフロント側からみて右側）からみたものを示している。なお、図４には、人物Ｈを併せて示しているが、図３に示す検出範囲Ｆについては記載を省略している。

ここで、図３および図４に示すように、画像形成装置１０にて第１カメラ１５（図１参照）が取り付けられている部位を、画像形成装置１０の位置Ｐと呼ぶ。

この例において、焦電センサ１４（図１参照）は、検出範囲Ｆ内に存在する人物Ｈを検知する。この検出範囲Ｆは、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度未満に設定された扇形を呈している。

また、この例では、第１カメラ１５（図１参照）が撮影した第１カメラ画像を解析した結果を用いて、人検知範囲Ｒ１内、人操作範囲Ｒ２内、進入検知範囲Ｒ３内および接近検知範囲Ｒ４内に存在する人物Ｈを検出する。

これらのうち、人検知範囲Ｒ１は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。この人検知範囲Ｒ１は、検出範囲Ｆの全体を含む（但し、この例では一部を含まない）ように設定される。なお、人検知範囲Ｒ１の中心角については、１８０度以外であってもかまわない。ただし、第１カメラ１５は、少なくとも人検知範囲Ｒ１の全体を撮影範囲とする。

続いて、人操作範囲Ｒ２は、画像形成装置１０のフロント側に設定され、高さ方向上側からみたときに、矩形を呈している。この例において、この矩形範囲における幅方向の長さは、画像形成装置１０の幅方向の長さと同じである。また、人操作範囲Ｒ２の全域は、人検知範囲Ｒ１の内側に位置する。さらに、人操作範囲Ｒ２は、人検知範囲Ｒ１の中で画像形成装置１０により近い側に配置される。

さらに、進入検知範囲Ｒ３は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。また、進入検知範囲Ｒ３の全域は、人検知範囲Ｒ１の内側に位置する。さらに、進入検知範囲Ｒ３は、人検知範囲Ｒ１の中で、画像形成装置１０により近い側に配置される。また、上述した人操作範囲Ｒ２の全域は、進入検知範囲Ｒ３の内側に位置する。さらに、人操作範囲Ｒ２は、進入検知範囲Ｒ３の中で、画像形成装置１０により近い側に配置される。

そして、接近検知範囲Ｒ４は、画像形成装置１０のフロント側に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形を呈している。また、接近検知範囲Ｒ４の全域は、進入検知範囲Ｒ３の内側に位置する。さらに、接近検知範囲Ｒ４は、進入検知範囲Ｒ３の中で、画像形成装置１０により近い側に配置される。また、上述した人操作範囲Ｒ２の全域は、接近検知範囲Ｒ４の内側に位置する。さらに、人操作範囲Ｒ２は、接近検知範囲Ｒ４の中で、画像形成装置１０により近い側に配置される。

本実施の形態の画像形成装置１０では、後述するように、この画像形成装置１０に近づいてくる人物Ｈの顔を第１カメラ１５で撮影して得た顔画像を用いて、画像形成装置１０の使用を許可するための認証を行う。また、この画像形成装置１０では、後述するように、第１カメラ１５が撮影した第１カメラ画像を用いて、人検知範囲Ｒ１内に存在する人物Ｈのつま先を検出し、この人物Ｈが画像形成装置１０に向かってきているか否かの判断を行う。

ここで、画像形成装置１０の高さは、通常、使いやすさを考慮して１０００〜１３００ｍｍ程度に設定されることから、第１カメラ１５の高さは設置面から７００〜９００ｍｍ程度となる。また、上述したように、第１カメラ１５を用いて人物Ｈのつま先を撮影する必要があることから、第１カメラ１５の高さはある程度低い位置に制限される。このような理由により、設置面からの第１カメラ１５の高さ（位置Ｐ）は、図４に示したように一般的な成人（人物Ｈ）の顔の高さに比べ、より低くなる。このため、画像形成装置１０に人物Ｈが近づきすぎると、魚眼レンズを用いたとしても、第１カメラ１５による人物Ｈの顔の撮影が困難となり、また、人物Ｈの顔が撮影できたとしても、得られた顔画像の解析が困難となってしまう。

そこで、この例では、第１カメラ１５が撮影した第１カメラ画像を解析することで人物Ｈの顔画像の解析が可能な距離の限界を、顔検知限界Ｌとして定めている。この顔検知限界Ｌは、一般的な身長を有する人物Ｈの顔を、第１カメラ１５にて撮影することが可能な距離に基づいて決められている。この例において、顔検知限界Ｌは、人操作範囲Ｒ２の外側且つ接近検知範囲Ｒ４の内側に位置している。

本実施の形態の画像形成装置１０を使用しようとする人物Ｈがいた場合、この人物Ｈは、最初に検出範囲Ｆ内に進入する。また、検出範囲Ｆ内に進入した人物Ｈは、続いて人検知範囲Ｒ１内に進入し、さらに進入検知範囲Ｒ３から接近検知範囲Ｒ４を介して人操作範囲Ｒ２に進入する。なお、この例では、人検知範囲Ｒ１内を移動する人物Ｈが、接近検知範囲Ｒ４から人操作範囲Ｒ２に進入する間に、顔検知限界Ｌを突破する。そして、人操作範囲Ｒ２に進入した人物Ｈは、人操作範囲Ｒ２内に滞在しつつ、ユーザインタフェース１３を使用した操作等を行うことになる。なお、人検知範囲Ｒ１、人操作範囲Ｒ２、進入検知範囲Ｒ３および接近検知範囲Ｒ４の各々は、厳密に図３に示すとおりに設定される必要はなく、第１カメラ１５が撮影した第１カメラ画像に基づいて特定し得る精度で足りる。また、顔検知限界Ｌは、人操作範囲Ｒ２と接近検知範囲Ｒ４との間に設定される必要はなく、第１カメラ１５の性能や取り付け位置（設置面からの位置Ｐの高さ）等によって変わることがある。

図５は、画像形成装置１０の機能ブロック図である。本実施の形態の画像形成装置１０は、制御部１０１と、通信部１０２と、操作部１０３と、表示部１０４と、記憶部１０５と、画像読取部１０６と、画像形成部１０７とを備える。また、この画像形成装置１０は、検知部１０８と、撮像部１０９と、人検出部１１０と、顔検出部１１１と、顔登録認証部１１２と、指示部１１３と、選択部１１４と、報知部１１５とをさらに備える。

制御部１０１は、例えばＣＰＵ（Central Processing Unit）とメモリとを備え、画像形成装置１０の各部を制御する。ＣＰＵは、メモリまたは記憶部１０５に記憶されたプログラムを実行する。メモリは、例えばＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備える。ＲＯＭは、予めプログラムやデータを記憶する。ＲＡＭは、プログラムやデータを一時的に記憶し、ＣＰＵがプログラムを実行する際の作業領域として用いられる。

通信部１０２は、図示しない通信回線に接続される通信用のインタフェースである。通信部１０２は、クライアント装置や他の画像形成装置（ともに図示せず）と、通信回線を介して通信を行う。

操作部１０３は、使用者の操作に応じた情報を制御部１０１に入力する。この例において、操作部１０３は、ユーザインタフェース１３に設けられたタッチパネル１３０、第１操作ボタン群１３１および第２操作ボタン群１３２によって実現される。

表示部１０４は、使用者に対し各種情報を表示する。この例において、表示部１０４は、ユーザインタフェース１３に設けられたタッチパネル１３０によって実現される。

記憶部１０５は、例えばハードディスクであり、制御部１０１により用いられる各種のプログラムやデータを記憶する。

画像読取部１０６は、原稿の画像を読み取って画像データを生成する。この例において、画像読取部１０６はスキャナ１１によって実現される。

画像形成部１０７は、画像データに応じた画像を用紙等のシート状の記録材に形成する。この例において、画像形成部１０７はプリンタ１２によって実現される。なお、画像形成部１０７は、電子写真方式により画像を形成してもよいし、その他の方式により画像を形成してもよい。

検知部１０８は、人物Ｈを含む移動体の検知を行う。この例において、検知部１０８は、焦電センサ１４によって実現される。

撮像部１０９は、人物Ｈを含む撮影対象の撮像を行う。この例において、撮像部１０９は、第１カメラ１５および第２カメラ１６によって実現される。

人検出部１１０は、第１カメラ１５が撮影した第１カメラ画像を解析して、人検知範囲Ｒ１内、人操作範囲Ｒ２内、進入検知範囲Ｒ３内および接近検知範囲Ｒ４内に存在する人物Ｈの検出を行う。

顔検出部１１１は、第１カメラ１５が撮影した第１カメラ画像を解析して、人検知範囲Ｒ１内であって顔検知限界Ｌの外側に存在する人物Ｈの顔画像を検出する。

顔登録認証部１１２は、この画像形成装置１０を使用することが可能な人物Ｈ（使用者）について、事前に、この使用者の顔画像を用いた登録を行う。ここで、登録においては、第２カメラ１６を用いて使用者の顔画像の撮影を行うとともに、撮影で得られた顔画像から特徴量の抽出を行う。そして、使用者のＩＤ（登録ＩＤ）と、使用者が設定した各種情報（登録人物情報と称する）と、使用者の顔画像から抽出された特徴量（顔情報と称する）とを対応付けて、記憶部１０５に記憶させる。なお、以下の説明においては、登録ＩＤと登録人物情報と顔情報とを対応付けたものを登録テーブルと呼び、登録テーブルに登録されている使用者（人物Ｈ）を登録人物と呼ぶ。

また、顔登録認証部１１２は、使用者がこの画像形成装置１０を使用しようとする際に、この使用者の顔画像を用いた認証を行う。ここで、認証においては、第１カメラ１５を用いて人物Ｈ（使用者）の顔画像の撮影を行うとともに、撮影で得られた顔画像から特徴量の抽出を行う。そして、今回の撮影で得られた特徴量が、既に登録されている特徴量と一致するか否かを調べ、一致するものがある場合（使用者として登録された登録人物である場合）には画像形成装置１０の使用を許可し、一致するものがない場合（使用者として登録されていない未登録人物である場合）には画像形成装置１０の使用を禁止する。

指示部１１３は、第１カメラ１５を用いて撮影した顔画像を用いた認証を開始するための指示を、顔登録認証部１１２に出力する。

選択部１１４は、同じ人物Ｈについて、第１カメラ１５を用いて複数の顔画像が取得されている場合に、複数の顔画像の中から１つの顔画像を選択する。

報知部１１５は、例えば人検知範囲Ｒ１内に存在する人物Ｈに対し、必要に応じて、知らしめたい情報を報知する。この報知部１１５は、プロジェクタ１７によって実現される。

本実施の形態では、撮像部１０９（より具体的には第１カメラ１５）が撮像部の一例となっており、顔登録認証部１１２が認証部の一例となっており、記憶部１０５が保持部の一例となっている。また、顔検出部１１１および顔登録認証部１１２が特定部の一例となっており、顔登録認証部１１２が処理部の一例となっている。さらに、人検知範囲Ｒ１のうち顔検知限界Ｌよりも内側（画像形成装置１０に近い側）となる領域が設定範囲の一例となっており、人検知範囲Ｒ１が第１の領域の一例となっている。さらにまた、進入検知範囲Ｒ３が第２の領域の一例となっており、人検知範囲Ｒ１のうち顔検知限界Ｌよりも外側となる領域が第３の領域の一例となっている。

ここで、本実施の形態の画像形成装置１０は、「通常モード」および「スリープモード」という、消費電力量が異なる２つのモードのいずれかに従って動作する。画像形成装置１０が通常モードで動作するときには、画像形成装置１０の各部に、各種処理の実行に要する電力が供給される。一方、画像形成装置１０がスリープモードで動作するときには、画像形成装置１０の少なくとも一部への電力供給が停止させられ、画像形成装置１０の消費電力量が通常モードのときよりも少なくなる。ただし、画像形成装置１０がスリープモードで動作するときにも、制御部１０１、焦電センサ１４および第１カメラ１５への電力供給が行われ、これら各部が、スリープモード時においても動作を行い得るようになっている。

図６は、画像形成装置１０のモードの制御に関する処理の流れを示すフローチャートである。
この例では、初期状態において、画像形成装置１０がスリープモードに設定されている（ステップ１）。なお、スリープモードにおいても、焦電センサ１４は起動されており、動作を行っている。一方、このとき、第１カメラ１５は起動されていないものとする。画像形成装置１０がスリープモードで動作するとき、制御部１０１は、焦電センサ１４による赤外線の量の検出結果を監視して、検出範囲Ｆ内に人物Ｈが存在するか否かを判断する（ステップ２）。ステップ２において否定の判断（ＮＯ）を行った場合は、ステップ２に戻ってこの処理を繰り返す。

一方、ステップ２で肯定の判断（ＹＥＳ）を行った場合、すなわち、検出範囲Ｆ内で人物Ｈを検知した場合、制御部１０１は、第１カメラ１５への電力供給を開始させるとともに、第１カメラ１５を起動させて人検知範囲Ｒ１の撮影を開始させる（ステップ３）。第１カメラ１５による撮影が開始されると、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像を解析して、人物Ｈの動きを検出する処理を開始する（ステップ４）。

ステップ４で開始される人物Ｈの動きを検出する処理において、人検出部１１０は、画像形成装置１０から人物Ｈまでの距離を推定するとともに、人物Ｈの動きを示す動きベクトルを算出する。この人物Ｈの動きを検出する処理は公知の方法により行われてよいが、例えば、人検出部１１０は、撮影画像から検出した身体の部位の大きさに基づいて、画像形成装置１０から人物Ｈまでの距離を推定する。また、人検出部１１０は、第１カメラ１５の撮影画像に対しフレーム処理を施し、複数フレームの撮影画像を時系列順に比較する。この際、人検出部１１０は、人物Ｈの身体の部位として、例えばつま先を検出し、検出した部位の動きを解析して動きベクトルを算出する。また、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像（魚眼レンズを介して得られる歪んだ画像）を、平面画像に補正（平面視展開）してから人物Ｈの動きを検出する。

次に、人検出部１１０は、人検知範囲Ｒ１内に存在する人物Ｈの、画像形成装置１０への接近を検知したか否かを判断する（ステップ５）。例えば、人物Ｈが人検知範囲Ｒ１内に存在し且つ画像形成装置１０に向かって移動していると判断した場合に、人検出部１１０は、ステップ５で肯定の判断（ＹＥＳ）を行う。ステップ５で否定の判断（ＮＯ）を行った場合は、ステップ５に戻ってこの処理を繰り返す。

これに対し、ステップ５で肯定の判断（ＹＥＳ）を行った場合、制御部１０１は、画像形成装置１０のモードを、スリープモードから通常モードに移行させる（ステップ６）。その際、制御部１０１は、通常モードに応じた電力供給を画像形成装置１０の各部に行うように指示するとともに、画像形成装置１０の各部を起動させる。このとき、制御部１０１は、第２カメラ１６への電力供給を開始させ、第２カメラ１６を起動させる。

本実施の形態では、人検知範囲Ｒ１内の人物Ｈの存在を検知することをトリガとして、スリープモードから直ちに通常モードへと移行させるのでなく、人検知範囲Ｒ１内に存在する人物Ｈの画像形成装置１０への接近を検知したことをトリガとして、スリープモードから通常モードへと移行させている。このような制御を行うことで、例えば人物Ｈが人検知範囲Ｒ１内を通り過ぎただけの場合に、画像形成装置１０がスリープモードから通常モードに移行してしまう機会が少なくなる。

また、ステップ６でスリープモードから通常モードへ移行することに伴い、顔検出部１１１は、第１カメラ１５から取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に存在する人物Ｈの顔を検出する処理を開始する（ステップ７）。

続いて、人検出部１１０は、第１カメラ１５から取得した第１カメラ画像を解析して、人操作範囲Ｒ２内に人物Ｈが存在（滞在）しているか否かを判断する（ステップ８）。このとき、人検出部１１０は、第１カメラ１５による第１カメラ画像を解析して人物Ｈの身体の部位を検出し、検出した部位の位置及び大きさに基づいて、人操作範囲Ｒ２内の人物Ｈの存在を検知する。例えば、人検出部１１０は、検出した身体の部位の大きさに基づいて、画像形成装置１０から人物Ｈまでの距離を推定し、検出した身体の部位の位置に基づいて人物Ｈが存在する方向を特定する。

ステップ８において肯定の判断（ＹＥＳ）を行った場合は、ステップ８に戻り、ステップ７で開始した人物Ｈの顔を検出する処理を続行する。したがって、人検出部１１０は、人操作範囲Ｒ２内の人物Ｈの存在を検知しなくなるまで、通常モードのまま、人操作範囲Ｒ２内の人物Ｈの存在を検出する処理を繰り返す。

一方、ステップ８において否定の判断（ＮＯ）を行った場合、すなわち、人操作範囲Ｒ２に人物Ｈが存在しなくなった（人操作範囲Ｒ２から人物Ｈが退去した）場合、制御部１０１は、タイマによる計時を開始する（ステップ９）。すなわち、制御部１０１は、人操作範囲Ｒ２内に人物Ｈが存在しなくなったときからの経過時間をタイマで計る。

次に、人検出部１１０は、人操作範囲Ｒ２内に人物Ｈが存在するか否かを判断する（ステップ１０）。ステップ１０において、人検出部１１０は、人操作範囲Ｒ２内に人物Ｈが存在しなくなった後、人操作範囲Ｒ２内に再び人物Ｈが存在するようになったかどうかを判断する。

ステップ１０で否定の判断（ＮＯ）を行った場合、制御部１０１は、タイマによる計時時刻が設定期間を経過したかどうかを判断する（ステップ１１）。設定期間は、例えば１分であるが、１分以外の時間に設定されていてもよい。ステップ１１において否定の判断（ＮＯ）を行った場合、制御部１０１は、ステップ１０に戻って処理を続行する。すなわち、ステップ１０、１１では、人操作範囲Ｒ２内に人物Ｈが存在しない期間が、設定期間分だけ継続するかどうかを判断することとなる。

これに対し、ステップ１１で肯定の判断（ＹＥＳ）を行った場合、制御部１０１は、画像形成装置１０のモードを、通常モードからスリープモードに移行させる（ステップ１２）。その際、制御部１０１は、画像形成装置１０の各部にスリープモード時の電力供給をするように指示を行うとともに、スリープモード時に停止させる画像形成装置１０の各部の動作を停止させる。その後、制御部１０１は、焦電センサ１４が検出範囲Ｆ内で人物Ｈの存在を検知しなくなると、第１カメラ１５の動作を停止させる。

ここで、ステップ９でタイマによる計時を開始した後、人操作範囲Ｒ２内に人物Ｈが存在しなくなったときから設定期間が経過する前に、人操作範囲Ｒ２内に再び人物Ｈの存在を検出した場合を考える。この場合、制御部１０１は、ステップ１０で肯定の判断（ＹＥＳ）を行うとともに、タイマによる計時を停止してタイマをリセットする（ステップ１３）。そして、制御部１０１は、ステップ８へと戻って処理を続行する。すなわち、人物Ｈが人操作範囲Ｒ２内に存在する場合の処理を再び実行する。なお、ここでは、同一である人物Ｈが人操作範囲Ｒ２内に戻ってきた場合を例としているが、前とは別の人物Ｈが人操作範囲Ｒ２内に移動してきた場合にも、人検出部１１０は、ステップ１０で肯定の判断（ＹＥＳ）を行うことになる。

ここで、従来にあっては、画像形成装置１０を使用しようとする人物Ｈ（使用者）が、自身の顔画像を用いた認証を行う場合に、使用者自身が顔画像の撮影の指示および認証の要求を行っていた。例えば、人物Ｈが人操作範囲Ｒ２内に立ち、自身の顔をユーザインタフェース１３に設けられた第２カメラ１６に向けた状態で、顔画像の撮影を行わせていた。これに対し、本実施の形態の画像形成装置１０では、人検知範囲Ｒ１内に存在する人物Ｈの顔画像を第１カメラ１５で予め撮影しておき、特定の条件が満たされた状態で、撮影済みの人物Ｈの顔画像を用いて、認証を行うようにしている。

図７は、画像形成装置１０における認証手順の流れを説明するためのフローチャートである。なお、図７に示す処理は、画像形成装置１０が通常モードに設定された状態で実行される。

画像形成装置１０が通常モードに設定されることにより、図６のステップ７に示したように、第１カメラ１５から取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に存在する人物Ｈの顔を検出する処理が開始される。これに伴い、顔検出部１１１は、第１カメラ画像から人物Ｈの顔を検出するとともに検出した顔画像を取得する顔検出・顔画像取得処理を実行する（ステップ２０）。また、顔登録認証部１１２は、指示部１１３から、顔認証処理を開始する旨の指示があったか否かを判断する（ステップ４０）。ステップ４０において否定の判断（ＮＯ）を行った場合は、ステップ２０に戻って処理を続行する。

一方、ステップ４０において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、ステップ２０における顔検出・顔画像取得処理の結果、すなわち、第１カメラ１５による第１カメラ画像から得られた人物Ｈの顔画像を用いて、認証の可否を設定する顔認証処理を実行し（ステップ６０）、この処理を完了する。

なお、図７では、ステップ２０を実行した後にステップ４０を実行するようになっているが、実際には、ステップ２０およびステップ４０は並列に実行される。したがって、ステップ２０の処理の実行中に、ステップ４０において肯定の判断（ＹＥＳ）がなされた場合、すなわち、顔認証処理の開始指示があった場合は、ステップ２０の処理を中断してステップ６０へと移行する。

では、上述したステップ２０の顔検出・顔画像取得処理および上述したステップ６０の顔認証処理のそれぞれについて、さらに詳細な説明を行う。
図８は、本実施の形態の認証手順における顔検出・顔画像取得処理（ステップ２０）の流れを説明するためのフローチャートである。また、図９は、本実施の形態の認証手順における顔認証処理（ステップ６０）の流れを説明するためのフローチャートである。

最初に、図８を参照しつつ、ステップ２０における顔検出・顔画像取得処理の内容について説明を行う。
ここでは、まず、人検出部１１０および顔検出部１１１が、第１カメラ１５が撮影した第１カメラ画像を取得する（ステップ２１）。次に、人検出部１１０が、ステップ２１で取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に人物Ｈが存在するか否かを判断する（ステップ２２）。ステップ２２で否定の判断（ＮＯ）を行った場合は、ステップ２１へと戻って処理を続行する。

一方、ステップ２２において肯定の判断（ＹＥＳ）を行った場合、人検出部１１０は、ステップ２２で存在を検出した人物Ｈが、既に存在が検知済みであって追跡が行われている追跡人物であるか否かを判断する（ステップ２３）。ステップ２３で肯定の判断（ＹＥＳ）を行った場合は、後述するステップ２５へと進む。

これに対し、ステップ２３で否定の判断（ＮＯ）を行った場合、人検出部１１０は、ステップ２２で存在を検出した人物Ｈに対する追跡ＩＤを取得して記憶部１０５に記憶させるとともに、この人物Ｈの追跡を開始する（ステップ２４）。そして、顔検出部１１１は、ステップ２１で取得した第１カメラ画像を解析して、追跡人物の顔を探索する（ステップ２５）。

次いで、顔検出部１１１は、第１カメラ画像から追跡人物の顔を検出できたか否かを判断する（ステップ２６）。ステップ２６で否定の判断（ＮＯ）を行った場合は、後述するステップ３０へと進む。

一方、ステップ２６で肯定の判断（ＹＥＳ）を行った場合、顔検出部１１１は、この追跡人物の追跡ＩＤに関連付けて、この追跡人物の顔画像から抽出された顔情報を、記憶部１０５に登録する（ステップ２７）。なお、以下の説明においては、追跡ＩＤと顔情報とを対応付けたものを、追跡テーブルと呼ぶ。そして、顔検出部１１１は、この追跡人物に関し、同じ追跡人物の顔情報が、追跡テーブルに複数（この例では２つ）登録されているか否かを判断する（ステップ２８）。ステップ２８で否定の判断（ＮＯ）を行った場合は、後述するステップ３０へと進む。

これに対し、ステップ２８で肯定の判断（ＹＥＳ）を行った場合、選択部１１４は、記憶部１０５に追跡テーブルとして登録されている同じ追跡人物に関する２つの顔情報のうち、一方の顔情報を選択し、選択されなかった他方の顔情報を記憶部１０５から削除する（ステップ２９）。

それから、人検出部１１０は、第１カメラ１５が撮影した第１カメラ画像を取得する（ステップ３０）。次に、人検出部１１０は、ステップ３０で取得した第１カメラ画像を解析して、人検知範囲Ｒ１内に追跡人物が存在するか否かを判断する（ステップ３１）。ステップ３１で肯定の判断（ＹＥＳ）を行った場合は、ステップ２１に戻って処理を続行する。

一方、ステップ３１で否定の判断（ＮＯ）を行った場合、人検出部１１０は、ステップ３１で存在が検出されなくなった追跡人物（人物Ｈ）の追跡ＩＤおよび顔情報を追跡テーブルから削除し（ステップ３２）、ステップ２１へと戻って処理を続行する。

続いて、図９を参照しつつ、ステップ６０における顔認証処理の内容について説明を行う。
ここでは、まず、選択部１１４が、図７に示すステップ４０において顔認証処理の開始指示の対象となった人物Ｈ（対象人物と呼ぶ）を選択し、顔登録認証部１１２が、この対象人物が追跡テーブルに登録された追跡人物であるか否かを判断する（ステップ６１）。ステップ６１において否定の判断（ＮＯ）を行った場合は、後述するステップ７１へと進む。

これに対し、ステップ６１において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、記憶部１０５に、対象人物と同じ追跡人物の顔情報が登録されているか否かを判断する（ステップ６２）。ステップ６２において否定の判断（ＮＯ）を行った場合も、後述するステップ７１へと進む。

一方、ステップ６２において肯定の判断（ＹＥＳ）を行った場合、顔登録認証部１１２は、ステップ６２で追跡テーブルへの登録が確認された対象人物の顔情報を用いて、顔認証を要求する（ステップ６３）。続いて、顔登録認証部１１２は、この対象人物の顔情報と、登録テーブルに登録されているすべての登録人物の顔情報とを照合する（ステップ６４）。そして、顔登録認証部１１２は、認証が成功したか否かを判断する（ステップ６５）。ここで、ステップ６５では、対象人物の顔情報がすべての登録人物の顔情報のいずれかに一致した場合に肯定の判断（ＹＥＳ）が行われ、対象人物の顔情報がすべての登録人物の顔情報のいずれにも一致しなかった場合に否定の判断（ＮＯ）が行われる。

ステップ６５で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、認証が成功したことを報知する（ステップ６６）。また、表示部１０４は、認証された対象人物用に設定された対象人物のＵＩ画面（認証後の画面）を表示し（ステップ６７）、後述するステップ７４へと進む。

一方、ステップ６５で否定の判断（ＮＯ）を行った場合、人検出部１１０は、接近検知範囲Ｒ４内に対象人物が存在するか否かを判断する（ステップ６８）。ステップ６８で否定の判断（ＮＯ）を行った場合は、ステップ６１へと戻って処理を続行する。

これに対し、ステップ６８で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、認証が失敗したことを報知する（ステップ６９）。また、表示部１０４は、認証失敗時用に設定された認証失敗のＵＩ画面（認証前の画面）を表示し（ステップ７０）、後述するステップ７４へと進む。

他方、ステップ６１で否定の判断（ＮＯ）を行った場合、および、ステップ６２で否定の判断（ＮＯ）を行った場合、人検出部１１０は、接近検知範囲Ｒ４内に対象人物が存在するか否かを判断する（ステップ７１）。ステップ７１で否定の判断（ＮＯ）を行った場合は、ステップ６１へと戻って処理を続行する。

これに対し、ステップ７１で肯定の判断（ＹＥＳ）を行った場合、報知部１１５は、プロジェクタ１７を用いて、対象人物等に対し、対象人物の顔画像が取得できていないことを報知する（ステップ７２）。また、表示部１０４は、手動入力による認証処理用に設定された手動入力認証のＵＩ画面（認証前の画面）を表示し（ステップ７３）、後述するステップ７４へと進む。

そして、顔登録認証部１１２は、追跡テーブルに登録していたすべての追跡人物の追跡ＩＤおよび顔情報を削除し（ステップ７４）、この処理を完了する。

次に、具体的な例を挙げながら、本実施の形態についてさらに詳細に説明を行う。

図１０（ａ）は、使用者が事前に画像形成装置１０に登録した登録テーブルの一例を、図１０（ｂ）は、ステップ２０の顔検出・顔画像取得処理で用いられる追跡テーブルの一例を、それぞれ示す図である。なお、これら登録テーブルおよび追跡テーブルは、記憶部１０５に記憶されている。

最初に、図１０（ａ）に示す登録テーブルについて説明を行う。
図１０（ａ）に示す登録テーブルは、上述したように、使用者に付与される登録ＩＤと、使用者が設定した登録人物情報と、使用者の顔画像から抽出された顔情報とを対応付けたものとなっている。また、これらのうち、登録人物情報は、使用者が自らに付したユーザ名と、この使用者用のＵＩ画面で用いられるアプリ名と、アプリ名に対応するアプリ機能と、アプリ名に対応するボタンデザインとを含んでいる。

図１０（ａ）に示す登録テーブルには、２人の人物Ｈ（登録ＩＤ「Ｒ００１」および「Ｒ００２」）が、使用者（登録人物）として登録されている。なお、ここでは、２人の人物Ｈが、使用者として登録される場合を例としているが、１人であってもよいし３人以上であってもかまわない。

これらのうち、登録ＩＤ「Ｒ００１」の使用者については、登録人物情報が次のように登録されている。まず、ユーザ名が「ふじたろう」で登録され、アプリ名として「かんたんコピー」、「スキャンオート」、「かんたんボックス保存」、「ボックス操作」、「ファクス」、「プライベートプリント（一括出力）」が登録されている。そして、各アプリ名に対応するアプリ機能およびボタンデザインも登録されている。さらに、登録ＩＤ「Ｒ００１」の使用者に関する顔情報も登録されている。

また、登録ＩＤ「Ｒ００２」の使用者については、登録人物情報が次のように登録されている。まず、ユーザ名が「富士花子」で登録され、アプリ名として「かんたんコピー」、「スキャンオート」、「かんたんボックス保存」、「プライベートプリント（かんたん確認）」、「いつものコピー３枚」、「節約コピー」、「一発スタートプリント」、「とてもキレイにスキャン」が登録されている。そして、各アプリ名に対応するアプリ機能およびボタンデザインも登録されている。さらに、登録ＩＤ「Ｒ００２」の使用者に関する顔情報も登録されている。

次に、図１０（ｂ）に示す追跡テーブルについて説明を行う。
図１０（ｂ）に示す追跡テーブルは、上述したように、人検知範囲Ｒ１内において追跡中の人物Ｈである追跡人物に付与される追跡ＩＤと、この追跡人物の顔画像から抽出された顔情報とを対応付けたものとなっている。なお、ステップ２０の顔検出・顔画像取得処理で、追跡人物には設定されたがこの追跡人物の顔検出が行えなかった場合においては、追跡テーブルに追跡ＩＤは存在するものの、この追跡ＩＤに対応付けられた顔情報は存在しない、という事態も生じ得る。

では、図７のステップ４０に示す、顔認証処理開始指示について説明を行う。
本実施の形態において、指示部１１３は、第１カメラ１５が撮影した第１カメラ画像の解析結果から、人検知範囲Ｒ１内に存在する１人以上の人物Ｈのうち、特定（１人）の人物Ｈが特定の条件を満たす行動を検出した場合に、ステップ６０の顔認証処理を開始させるための指示を出力するようになっている。

［第１の例］
図１１は、画像形成装置１０の周辺にいる人物Ｈの位置の時間的変化の第１の例を示した図である。ここで、図１１は、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈが、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入したことを、ステップ４０における顔認証処理開始指示として利用する場合を例示している。

なお、以下で説明する図１１（第１の例）および後で説明する図１５〜図１７（第２の例〜第４の例）は、画像形成装置１０の周辺に、人物Ｈとして、第１の人物Ｈ１および第２の人物Ｈ２の２人が存在する場合を例示している。また、以下で説明する図１１および後で説明する図１５〜図１７には、プロジェクタ１７による画像が投影されるスクリーン１８も示している。

図１１（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に位置する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１１（ｂ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。

図１１（ｃ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきた状態を示している。図１１に示す第１の例では、特定の人物Ｈ（この例では第２の人物Ｈ２）が、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきた場合に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第２の人物Ｈ２を対象人物として選択することになる。

ここで、第１の例では、特定の人物Ｈ（この例では第２の人物Ｈ２）が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入することで対象人物として選択された後、この特定の人物Ｈが進入検知範囲Ｒ３内に滞在し続けている状態で、別の人物Ｈ（この例では第１の人物Ｈ１）が人検知範囲Ｒ１から進入検知範囲Ｒ３に進入してきたとしても、対象人物が特定の人物Ｈから別の人物Ｈに変更されることはない。

図１１（ｄ）は第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が接近検知範囲Ｒ４内において顔検知限界Ｌを突破する前の状態を示している。この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。ここで、ステップ６１およびステップ６２で肯定の判断（ＹＥＳ）を行った後、ステップ６５で肯定の判断（ＹＥＳ）を行った場合、プロジェクタ１７は、ステップ６６において、伝達事項Ｍとして「認証が成功しました」等の文字画像を表示させる。また、ステップ６１およびステップ６２で肯定の判断（ＹＥＳ）を行った後、ステップ６５で否定の判断（ＮＯ）を行った場合、プロジェクタ１７は、ステップ６９において、伝達事項Ｍとして、「認証が失敗しました」、「ユーザとして登録されていません」等の文字画像を表示させる。さらに、ステップ６１またはステップ６２で否定の判断（ＮＯ）を行った場合、プロジェクタ１７は、ステップ７２において、「顔画像が取得できませんでした」等の文字画像を表示させる。

このようにすることで、認証が成功した場合、対象人物である第２の人物Ｈ２は、そのまま画像形成装置１０に近づいていこうとすることになる。また、認証が失敗した場合および顔画像が取得できなかった場合、対象人物である第２の人物Ｈ２は、第１カメラ１５を用いた顔画像の取得が困難となる顔検知限界Ｌを突破する前に、認証が成功しなかったことを知ることになる。

なお、ここでは、ステップ７２において、「顔画像が取得できませんでした」という情報を提示する場合について説明を行ったが、これに限られるものではない。例えばステップ７２において、人物Ｈへ自装置（画像形成装置１０）に近づかないことを要請する報知、人物Ｈの顔認証が済んでいないので自装置（画像形成装置１０）に近づかないことを要請する報知、人物Ｈが静止することを要請する報知、人物Ｈの顔認証が済んでいないので人物Ｈが静止することを要請する報知、人物Ｈの顔の一部が第１カメラ１５による撮影範囲から外れることを知らしめるための報知、等を行うようにしてもかまわない。

図１１（ｅ）は、第１の人物Ｈ１が引き続き人検知範囲Ｒ１内に存在し、また、第２の人物Ｈ２が接近検知範囲Ｒ４内において人操作範囲Ｒ２に進入する前の状態を示している。この例では、図１１（ｄ）に示す状態から図１１（ｅ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が人操作範囲Ｒ２に進入する前に、ステップ６７、ステップ７０またはステップ７３の表示を行う。

このようにすることで、対象人物であるとともに顔認証処理がなされた第２の人物Ｈ２が、人操作範囲Ｒ２内に進入してユーザインタフェース１３の前に立った状態では、既に、タッチパネル１３０に第２の人物Ｈ２に対応したＵＩ画面が表示されていることになる。

ではここで、ステップ６７、ステップ７０およびステップ７３でタッチパネル１３０に表示されるＵＩ画面について説明を行う。

図１２（ａ）〜（ｄ）は、図９に示す顔認証処理において、ユーザインタフェース１３（より具体的にはタッチパネル１３０）に表示されるＵＩ画面の一例を示す図である。ここで、図１２（ａ）、（ｂ）は、図９に示すステップ６７において、タッチパネル１３０に表示される対象人物のＵＩ画面（認証後の画面）の一例を示している。また、図１２（ｃ）は、図９に示すステップ７０において、タッチパネル１３０に表示される認証失敗のＵＩ画面（認証前の画面）の一例を示している。さらに、図１２（ｄ）は、図９に示すステップ７３において、タッチパネル１３０に表示される手動入力認証のＵＩ画面（認証前の画面）の一例を示している。

まず、図１２（ａ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物である「ふじたろう」であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「ふじたろう」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が成功（ＹＥＳ）した場合に、ステップ６７で表示される。このＵＩ画面には、図１０（ａ）に示す「ふじたろう」の登録テーブルにしたがって、ユーザ名および各アプリのボタン（この例では６つ）が表示される。そして、タッチパネル１３０において、これらのうちのいずれかのボタンが押下されることにより、そのボタンに対応付けられたアプリ機能が実行される。

次に、図１２（ｂ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された別の登録人物である「富士花子」であり、この「富士花子」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「富士花子」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が成功（ＹＥＳ）した場合に、ステップ６７で表示される。このＵＩ画面には、図１０（ａ）に示す「富士花子」の登録テーブルにしたがって、ユーザ名および各アプリのボタン（この例では８つ）が表示される。そして、タッチパネル１３０において、これらのうちのいずれかのボタンが押下されることにより、そのボタンに対応付けられたアプリ機能が実行される。

続いて、図１２（ｃ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されていない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「フジジロウ」の顔情報が登録されている（ステップ６２においてＹＥＳ）ことにより、ステップ６５において認証が失敗（ＮＯ）した場合に、ステップ７０で表示される。このＵＩ画面には、例えば「認証に失敗しました」の文言と、「閉じる」ボタンとが表示される。

最後に、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物（ここでは「ふじたろう」とするが、「富士花子」でもかまわない）であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されていない（ステップ６１においてＮＯ）場合に、ステップ７３で表示される。また、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録された登録人物（ここでは「ふじたろう」とするが、「富士花子」でもかまわない）であり、この「ふじたろう」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「ふじたろう」の顔情報が登録されていない（ステップ６２においてＮＯ）場合に、ステップ７３で表示される。さらに、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されてない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブルに追跡人物として登録されていない（ステップ６１においてＮＯ）場合に、ステップ７３で表示される。さらにまた、図１２（ｄ）に示すＵＩ画面は、対象人物が登録テーブル（図１０（ａ）参照）に登録されてない未登録人物（例えば「フジジロウ」）であり、この「フジジロウ」が追跡テーブル（図１０（ｂ）参照）に追跡人物として登録されており（ステップ６１においてＹＥＳ）、追跡テーブルに「フジジロウ」の顔情報が登録されていない（ステップ６２においてＮＯ）場合に、ステップ７３で表示される。このＵＩ画面は、使用者の手動入力による認証要求を受け付けるために表示される。そして、このＵＩ画面には、仮想キーボードと、仮想キーボードを用いた入力内容（ユーザＩＤやパスワード）を表示する表示領域と、「取り消し」ボタンおよび「確定」ボタンとが表示される。

このように、本実施の形態では、図１２（ａ）、（ｂ）に示す認証後（認証成功時）の画面の内容と、図１２（ｃ）に示す認証前（認証失敗時）の画面の内容と、図１２（ｄ）に示す手動入力に対応する認証前（認証不能時）の画面の内容とが異なる。また、本実施の形態では、図１２（ａ）、（ｂ）に示したように、登録人物毎に、認証後の画面の内容が異なる。

ここで、追跡人物に関し、顔画像が検出できる場合とできない場合とについて、簡単に説明しておく。
図１３は、第１カメラ１５によって撮影された第１カメラ画像の一例を示す図である。ここで、図１３（ａ）はマスク等の着用を行っていない人物Ｈの顔を撮影して得た第１カメラ画像を、図１３（ｂ）はマスクを着用した人物Ｈの顔を撮影して得た第１カメラ画像を、それぞれ示している。

本実施の形態の顔登録認証部１１２では、顔登録および顔認証において、目・鼻・口など顔の複数の部位（例えば１４以上の部位）における特徴点を検出し、顔のサイズ・向きなどを３次元的に補正したのちに顔の特徴量の抽出を行っている。このため、人物Ｈがマスクやサングラスなど顔の一部を覆い隠すものを着用していると、人物Ｈの顔を含む画像が第１カメラ画像にあったとしても、第１カメラ画像からこの顔の特徴点の検出および特徴量の抽出を行えなくなる。また、人物Ｈが第１カメラ１５に対して真横を向いたり後ろを向いていたりした場合にも、第１カメラ画像から特徴点の検出および特徴量の抽出を行えなくなる。このような場合、図８に示すステップ２６において、否定の判断（ＮＯ）が行われることになる。

次に、同じ追跡人物に関し複数の顔情報が取得できた場合に、どのようにして一方の顔情報を選択するのかについて、簡単に説明しておく。
図１４は、第１カメラ１５によって撮影された第１カメラ画像の一例を示す図である。ここで、図１４（ａ）は、人検知範囲Ｒ１内であって顔検知限界Ｌから相対的に遠い位置に存在する人物Ｈを撮影して得た第１カメラ画像を、図１４（ｂ）は人検知範囲Ｒ１内であって顔検知限界Ｌから相対的に近い位置に存在する人物Ｈを撮影して得た第１カメラ画像を、それぞれ示している。

図１４（ａ）および図１４（ｂ）から明らかなように、図１４（ｂ）に示す顔の画像は、第１カメラ１５に人物Ｈが近づいている分、図１４（ａ）に示す顔の画像よりも大きく（画素数が多く）なっており、より特徴量が抽出しやすい状態となっている。このため、例えば図１４（ａ）に示す第１カメラ画像から人物Ｈの顔情報を取得して追跡テーブルに登録した後、図１４（ａ）に示す第１カメラ画像から人物Ｈの顔情報を取得した場合は、ステップ２９において、後者の顔情報を選択するとともに、前者の顔情報を削除する。

また、これ以外にも、例えば第１カメラ１５に対し斜めを向いた人物Ｈの顔を撮影した第１カメラ画像から顔情報を取得して追跡テーブルに登録した後、第１カメラ１５に対し正面を向いた人物Ｈの顔を撮影した第１カメラ画像から顔情報を取得した場合は、ステップ２９において、後者の顔情報を選択するとともに、前者の顔情報を削除するようにしてもよい。

なお、上述した第１の例では、第２の人物Ｈ２が第１の人物Ｈ１よりも先に進入検知範囲Ｒ３内に進入することで、第２の人物Ｈ２が対象人物となる場合について説明を行った。ただし、第１の人物Ｈ１が第２の人物Ｈ２よりも先に進入検知範囲Ｒ３内に進入した場合には、第１の人物Ｈ１が対象人物となる。

［第２の例］
図１５は、画像形成装置１０の周辺にいる人物Ｈの位置の時間的変化の第２の例を示した図である。ここで、図１５は、図１１に示す第１の例と同じく、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈが、人検知範囲Ｒ１から進入検知範囲Ｒ３に進入したことを、ステップ４０における顔認証処理開始指示として利用する場合を例示している。

図１５（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に位置する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１５（ｂ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。

図１５（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１内から人検知範囲Ｒ１の外部に移動し、第２の人物Ｈ２が人検知範囲Ｒ１内で移動している状態を示している。このとき、第１の人物Ｈ１については、ステップ３１で否定の判断（ＮＯ）が行われることにより、ステップ３２でこの第１の人物Ｈ１に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。また、このとき、第２の人物Ｈ２については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第２の人物Ｈ２の顔の探索が行われる。

図１５（ｄ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１内から人検知範囲Ｒ１の外部に移動した状態を示している。このとき、第２の人物Ｈ２については、ステップ３１で否定の判断（ＮＯ）が行われることにより、ステップ３２でこの第２の人物Ｈ２に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。なお、このとき、第１の人物Ｈ１は人検知範囲Ｒ１の外部に存在しているため、第１の人物Ｈ１は処理の対象とはならない。

このようにすることで、人検知範囲Ｒ１内で追跡されている第１の人物Ｈ１または第２の人物Ｈ２が進入検知範囲Ｒ３内に進入しない限り、対象人物が生じることはなく、その結果、ステップ６０の顔認証処理が開始されることもない。

［第３の例］
図１６は、画像形成装置１０の周辺にいる人物Ｈの位置の時間的変化の第３の例を示した図である。ここで、図１６は、上述した第１の例および第２の例とは異なり、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈの、人検知範囲Ｒ１に進入してからの経過時間（人検知範囲Ｒ１内での滞在時間）が、予め決められた規定時間（設定時間の一例）に到達したことを、ステップ４０における顔認証処理開始指示として利用する場合を例示している。

図１６（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に位置する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。また、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入したことをトリガとしてタイマを用いた計時が開始され、第１の人物Ｈ１が人検知範囲Ｒ１内に滞在する第１滞在時間Ｔ１が０にセットされる（Ｔ１＝０）。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１６（ｂ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。さらに、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入したことをトリガとしてタイマを用いた計時が開始され、第２の人物Ｈ２が人検知範囲Ｒ１内に滞在する第２滞在時間Ｔ２が０にセットされる（Ｔ２＝０）。なお、このとき、図１６（ａ）に示す状態からの時間の経過に伴い、第１の人物Ｈ１の第１滞在時間Ｔ１は、第２の人物Ｈ２の第２滞在時間Ｔ２よりも長くなっている（Ｔ１＞Ｔ２）。

図１６（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２も人検知範囲Ｒ１内で移動している状態を示している。このとき、第１の人物Ｈ１については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２についても、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第２の人物Ｈ２の顔の探索が行われる。さらに、このとき、第１の人物Ｈ１の第１滞在時間Ｔ１は、規定時間Ｔ０に到達しており（Ｔ１＝Ｔ０）、第２の人物Ｈ２の第２滞在時間Ｔ２は、第１滞在時間Ｔ１すなわち規定時間Ｔ０よりも短く（Ｔ２＜Ｔ０）なっている。図１６に示す第３の例では、特定の人物Ｈ（この例では第１の人物Ｈ１）が、人検知範囲Ｒ１内に滞在する時間（この例では第１滞在時間Ｔ１）が規定時間Ｔ０に到達した場合に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第１の人物Ｈ１を対象人物として選択することになる。

ここで、第３の例では、特定の人物Ｈ（この例では第１の人物Ｈ１）の第１滞在時間Ｔ１が規定時間Ｔ０に到達することで対象人物として選択された後、この特定の人物Ｈが人検知範囲Ｒ１内に滞在し続けている状態で、別の人物（この例では第２の人物Ｈ２）の第２滞在時間Ｔ２が規定時間Ｔ０に到達したとしても、対象事物が特定の人物から別の人物に変更されることはない。

図１６（ｄ）は、第１の人物Ｈ１が人検知範囲Ｒ１から進入検知範囲Ｒ３を介して接近検知範囲Ｒ４に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１内で移動している状態を示している。この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。ここで、伝達事項Ｍの内容については、図１１を用いて説明したものと同じである。

このようにすることで、認証が成功した場合、対象人物である第１の人物Ｈ１は、そのまま画像形成装置１０に近づいていこうとすることになる。また、認証が失敗した場合および顔画像が取得できなかった場合、対象人物である第１の人物Ｈ１は、第１カメラ１５を用いた顔画像の取得が困難となる顔検知限界Ｌを突破する前に、認証が成功しなかったことを知ることになる。

図１６（ｅ）は、第１の人物Ｈ１が接近検知範囲Ｒ４内において人操作範囲Ｒ２に進入しようとしており、第２の人物Ｈ２が引き続き人検知範囲Ｒ１内に存在する状態を示している。この例では、図１６（ｄ）に示す状態から図１６（ｅ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第１の人物Ｈ１）が人操作範囲Ｒ２に進入する前に、ステップ６７、ステップ７０またはステップ７３の表示を行う。ここで、表示する内容については、図１２を用いて説明したものと同じである。

このようにすることで、対象人物であるとともに顔認証処理がなされた第１の人物Ｈ１が、人操作範囲Ｒ２内に進入してユーザインタフェース１３の前に立った状態では、既に、タッチパネル１３０に第１の人物Ｈ１に対応したＵＩ画面が表示されていることになる。

なお、上述した第３の例では、第１の人物Ｈ１の第１滞在時間Ｔ１が第２の人物Ｈ２の第２滞在時間Ｔ２よりも先に規定時間Ｔ０に到達することで、第１の人物Ｈ１が対象人物となる場合について説明を行った。ただし、第２の人物Ｈ２の第２滞在時間Ｔ２が第１の人物Ｈ１の第１滞在時間Ｔ１よりも先に規定時間Ｔ０に到達した場合には、第２の人物Ｈ２が対象人物となる。

また、上述した第３の例では、第１の人物Ｈ１および第２の人物Ｈ２の両者が、人検知範囲Ｒ１内に進入した後に人検知範囲Ｒ１内に滞在し続ける場合について説明を行った。ただし、例えば、第１の人物Ｈ１の第１滞在時間Ｔ１が規定時間Ｔ０に到達する前に、第１の人物Ｈ１が人検知範囲Ｒ１の外部へ退去し、且つ、第２の人物Ｈ２の第２滞在時間Ｔ２が規定時間Ｔ０に到達する前に、第２の人物Ｈ２が人検知範囲Ｒ１の外部に退去した場合は、上述した第２の例と同じく、対象人物が発生せず、ステップ６０の顔認証処理も開始されないことになる。

［第４の例］
図１７は、画像形成装置１０の周辺にいる人物Ｈの位置の時間的変化の第４の例を示した図である。ここで、図１７は、上述した第１の例〜第３の例とは異なり、人検知範囲Ｒ１内に存在するいずれか１人の人物Ｈが、人検知範囲Ｒ１内に進入した後に画像形成装置１０に接近してきたことを、ステップ４０における顔認証処理開始指示として利用する場合を例示している。

図１７（ａ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部に位置する状態を示している。このとき、第１の人物Ｈ１については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第１の人物Ｈ１に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第１の人物Ｈ１の顔の探索が行われる。なお、このとき、第２の人物Ｈ２は人検知範囲Ｒ１の外部に存在しているため、第２の人物Ｈ２は処理の対象とはならない。

図１７（ｂ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１の外部から人検知範囲Ｒ１内に進入してきた状態を示している。このとき、第１の人物Ｈ１については、ステップ２３で否定の判断（ＮＯ）が行われることにより、引き続き、この第１の人物Ｈ１の顔の探索が行われる。また、このとき、第２の人物Ｈ２については、ステップ２２で肯定の判断（ＹＥＳ）が行われるとともにステップ２３で否定の判断（ＮＯ）が行われることにより、ステップ２４でこの第２の人物Ｈ２に対して追跡ＩＤが付与されるとともに追跡が開始され、ステップ２５でこの第２の人物Ｈ２の顔の探索が行われる。

図１７（ｃ）は、第１の人物Ｈ１が人検知範囲Ｒ１内で移動し、また、第２の人物Ｈ２も人検知範囲Ｒ１内で移動している状態を示している。ただし、このとき、第１の人物Ｈ１は画像形成装置１０から遠ざかる方向に移動しており、第２の人物Ｈ２は画像形成装置１０に近づく方向に移動している。図１７に示す第４の例では、特定の人物Ｈ（この例では第２の人物Ｈ２）が、画像形成装置１０（第１カメラ１５）に向かって近づいてきたことを検出した場合に、指示部１１３が顔認証処理開始指示を出力することで、ステップ４０において肯定の判断（ＹＥＳ）がなされ、ステップ６０の顔認証処理が開始される。したがって、この例では、選択部１１４が、２人の追跡人物（第１の人物Ｈ１および第２の人物Ｈ２）の中から、第２の人物Ｈ２を対象人物として選択することになる。

ここで、第４の例では、特定の人物Ｈ（この例では第２の人物Ｈ２）が画像形成装置１０に接近してくることで対象人物として選択された後、この特定の人物Ｈが画像形成装置１０に接近し続けている状態で、別の人物Ｈ（この例では第１の人物Ｈ１）が画像形成装置１０に接近してきたとしても、対象人物が特定の人物Ｈから別の人物Ｈに変更されることはない。

図１７（ｄ）は、第１の人物Ｈ１が人検知範囲Ｒ１内から人検知範囲Ｒ１の外部に移動し、また、第２の人物Ｈ２が人検知範囲Ｒ１から進入検知範囲Ｒ３を介して接近検知範囲Ｒ４に進入してきた状態を示している。この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が顔検知限界Ｌを突破する前に、ステップ６１〜ステップ６５の各処理を完了させるようになっている。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が顔検知限界Ｌを突破する前に、ステップ６６、ステップ６９またはステップ７２の報知を行う。これに伴い、プロジェクタ１７は、スクリーン１８に伝達事項Ｍを表示させる。ここで、伝達事項Ｍの内容については、図１１を用いて説明したものと同じである。

このようにすることで、認証が成功した場合、対象人物である第２の人物Ｈ２は、そのまま画像形成装置１０に近づいていこうとすることになる。また、認証が失敗した場合および顔画像が取得できなかった場合、対象人物である第２の人物Ｈ２は、第１カメラ１５を用いた顔画像の取得が困難となる顔検知限界Ｌを突破する前に、認証が成功しなかったことを知ることになる。

なお、図１７（ｄ）に示す状態において、第１の人物Ｈ１については、ステップ３１で否定の判断（ＮＯ）が行われることにより、ステップ３２でこの第１の人物Ｈ１に関する追跡ＩＤおよび顔情報が、追跡テーブルから削除される。

図１７（ｅ）は、第１の人物Ｈ１が人検知範囲Ｒ１の外部で移動しており、第２の人物Ｈ２が接近検知範囲Ｒ４内において人操作範囲Ｒ２に進入しようとしている状態を示している。この例では、図１７（ｄ）に示す状態から図１７（ｅ）に示す状態へと移行する間に、プロジェクタ１７が、伝達事項Ｍの報知を終了する。また、この例では、進入検知範囲Ｒ３に進入した対象人物（ここでは第２の人物Ｈ２）が人操作範囲Ｒ２に進入する前に、ステップ６７、ステップ７０またはステップ７３の表示を行う。ここで、表示する内容については、図１２を用いて説明したものと同じである。

このようにすることで、対象人物であるとともに顔認証がなされた第２の人物Ｈ２が、人操作範囲Ｒ２内に進入してユーザインタフェース１３の前に立った状態では、既に、タッチパネル１３０に第２の人物Ｈ２に対応したＵＩ画面が表示されていることになる。

なお、上述した第４の例では、人検知範囲Ｒ１内に存在する第２の人物Ｈ２が画像形成装置１０に接近する一方、同じ人検知範囲Ｒ１内に存在する第１の人物Ｈ１が画像形成装置１０から離隔することで、第２の人物Ｈ２が対象人物となる場合について説明を行った。ただし、人検知範囲Ｒ１内に存在する第１の人物Ｈ１が画像形成装置１０に接近する一方、同じ人検知範囲Ｒ１内に存在する第２の人物Ｈ２が画像形成装置１０から離隔する場合には、第１の人物Ｈ１が対象人物となる。

また、上述した第４の例では、人検知範囲Ｒ１内に存在する第２の人物Ｈ２が画像形成装置１０に接近する一方、同じ人検知範囲Ｒ１内に存在する第１の人物Ｈ１が画像形成装置１０から離隔する場合について説明を行った。ただし、これら第１の人物Ｈ１および第２の人物Ｈ２の両者が画像形成装置１０から離隔する場合は、上述した第２の例と同じく、対象人物が発生せず、ステップ６０の顔認証処理も開始されないことになる。一方、これら第１の人物Ｈ１および第２の人物Ｈ２の両者が画像形成装置１０に接近する場合には、より早く画像形成装置１０に近づいた人物Ｈが対象人物となる。

ここで、上述した第１の例〜第４の例では、２人の人物Ｈ（第１の人物Ｈ１および第２の人物Ｈ２）が画像形成装置１０の周辺に存在する場合を例としたが、画像形成装置１０の周辺に存在する人物Ｈが１人となる場合、および、画像形成装置１０の周辺に存在する人物が３人以上となる場合もあり得る。

なお、本実施の形態では、図９に示す顔認証処理のステップ６２で、対象人物（追跡人物）の顔情報が登録されていない場合（ＮＯ）に、ステップ７１でタッチパネル１３０に手動入力認証のＵＩ画面（図１２（ｄ））を表示させて、手動入力による認証を受け付けるようにしていたが、これに限られない。例えば、ユーザインタフェース１３に設けられた第２カメラ１６を用いて、人操作範囲Ｒ２内に滞在する人物Ｈの顔画像を撮影し、得られた第２カメラ画像から顔情報を取得することにより、再度顔認証を行うようにしてもかまわない。この場合には、タッチパネル１３０に、第２カメラ１６を用いた顔画像の撮影を促す指示とともに、第２カメラ画像を表示させるとよい。

また、本実施の形態では、図６に示す画像形成装置１０のモード制御において、ステップ６でスリープモードから通常モードに移行した後、ステップ７で人物Ｈの顔の検出を開始するようにしたが、これに限られない。例えば、ステップ４で人物Ｈの動きを検出する処理を開始するのに合わせて、人物Ｈの顔の検出を開始するようにしてもかまわない。この場合は、スリープモードに設定された状態のまま、人物Ｈの顔の検出を開始することになる。また、スリープモードに設定された状態のまま、人物Ｈの顔の検出を開始する構成を採用した場合に、例えば、図７に示すステップ４０において顔認証処理開始指示があった（ステップ４０でＹＥＳ）ことを契機として、画像形成装置１０をスリープモードから通常モードに移行させるようにしてもよい。

さらに、本実施の形態では、報知部１１５として、画像を表示するプロジェクタ１７を用いる場合を例として説明を行ったが、これに限られるものではない。例えば音源から音を発したり、例えば光源（ランプ）から光を発したりする等の手法を用いてもかまわない。ここで、本実施の形態では、取得した顔画像による認証が成功したとき（ステップ６６）、取得した顔画像による認証が失敗したとき（ステップ６９）および顔画像が取得できないことにより認証が行えなかったとき（ステップ７２）に、報知を行っていたが、これに限られない。例えば、（１）第１カメラ画像から顔画像を検出する前、（２）第１カメラ画像から顔画像を検出した後であって顔画像による認証を行う前、（３）認証処理を行った後、の期間ごとに、報知を行うようにしてもかまわない。

１０…画像形成装置、１１…スキャナ、１２…プリンタ、１３…ユーザインタフェース（ＵＩ）、１４…焦電センサ、１５…第１カメラ、１６…第２カメラ、１７…プロジェクタ、１８…スクリーン、１０１…制御部、１０２…通信部、１０３…操作部、１０４…表示部、１０５…記憶部、１０６…画像読取部、１０７…画像形成部、１０８…検知部、１０９…撮像部、１１０…人検出部、１１１…顔検出部、１１２…顔登録認証部、１１３…指示部、１１４…選択部、１１５…報知部、１３０…タッチパネル、１３１…第１操作ボタン群、１３２…第２操作ボタン群、１３３…ＵＳＢメモリ装着部

Claims (11)

1. 自装置の周囲の人を撮像する撮像部と、
   前記撮像部が撮像した人の顔画像により、個人の認証を行う認証部と、
   認証の開始を指示する指示部と
   を有し、
   前記認証部は、前記指示部による指示の前に顔画像を取得し、当該指示部による指示の後に認証を行うこと
   を特徴とする認証装置。
2. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、人が前記第１の領域内であって当該第１の領域よりも狭い第２の領域に存在する場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置。
3. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、前記第１の領域内に存在する人が当該第１の領域に予め設定された設定時間以上滞在する場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置。
4. 前記撮像部は、第１の領域内に存在する人の画像を撮像し、
   前記指示部は、前記第１の領域に存在する人が自装置に接近している場合に、前記認証の開始を指示することを特徴とする請求項１記載の認証装置。
5. 前記指示部は、人が自装置を使用する意図を推定する条件を満たした場合に、前記認証の開始を指示することを特徴とする請求項１乃至４のいずれか１項記載の認証装置。
6. 前記撮像部が撮像した顔画像を保持する保持部をさらに有し、
   前記保持部は、前記撮像部が撮像した複数の画像のうち、予め決められた条件を満たす顔画像を抽出して保持することを特徴とする請求項１記載の認証装置。
7. 前記撮像部が撮像した顔画像を保持する保持部をさらに有し、
   前記保持部は、前記撮像部が複数名の顔画像を撮像した場合には、それぞれの顔画像を保持することを特徴とする請求項１記載の認証装置。
8. 前記保持部が複数名の顔画像を保持している場合に、どの顔画像により認証を行うかを選択する選択部をさらに有することを特徴とする請求項７記載の認証装置。
9. 前記保持部は、前記認証部が認証を行った後、認証に用いた人以外の顔画像を削除することを特徴とする請求項６乃至８のいずれか１項記載の認証装置。
10. 前記認証部による認証可否を報知する報知部をさらに有することを特徴とする請求項１乃至９のいずれか１項記載の認証装置。
11. 撮像部と、
    前記撮像部が撮像した顔画像により、個人を特定する特定部と、
    特定された個人毎に異なる処理を実行する処理部と、
    人が自装置を使用する意図を推定する条件を満たした場合に、当該人の認証を指示する指示部と
    を有し、
    前記特定部は、前記指示の前に個人の特定を完了させ、
    前記処理部は、前記指示の後に前記特定された個人に対応する処理を開始すること
    を特徴とする処理装置。

Images