JP2019209585A - 画像形成装置、画像形成装置の制御方法、プログラム - Google Patents
画像形成装置、画像形成装置の制御方法、プログラム Download PDFInfo
- Publication number
- JP2019209585A JP2019209585A JP2018107247A JP2018107247A JP2019209585A JP 2019209585 A JP2019209585 A JP 2019209585A JP 2018107247 A JP2018107247 A JP 2018107247A JP 2018107247 A JP2018107247 A JP 2018107247A JP 2019209585 A JP2019209585 A JP 2019209585A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- forming apparatus
- image forming
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Facsimiles In General (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
Abstract
【課題】顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことが可能な画像形成装置を提供する。【解決手段】画像形成装置10は、画像形成装置10の周囲に存在する人物を含む撮像画像を取得し、取得された撮像画像から顔画像データを抽出し、画像形成装置10へ人物が顔認証とは異なる認証方法でログインしたことに応じて、抽出された顔画像データを表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付け、該指示を受け付けた場合に、表示された顔画像の情報を登録する。【選択図】図7
Description
本発明は、画像形成装置、画像形成装置の制御方法、プログラムに関する。
従来、ネットワークカメラや画像形成装置の撮像部等により撮像された画像に基づいて、画像形成装置に接近する人物の認証を行う画像形成装置が考案されている。特許文献1は、顔認識によってユーザが自動的に画像形成装置にログインできる自動ログインシステムであって、カメラから受信した画像を用いて自動ログインができないと判定された場合に、手動ログインが行われる自動ログインシステムを開示している。また、特許文献1には、手動ログインが行われた場合に、該手動ログインされた画像形成装置を監視しているネットワークカメラの画像を顔認識のための情報として追加登録することが記載されている。
特許文献1では、ユーザの顔画像の情報は、事前に登録されていることが前提であり、顔画像の情報が事前に登録されていないことは考慮されていない。すなわち、ネットワークカメラ等で撮像された顔画像の情報を初期登録する手順については考慮されていない。
本発明は、顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことが可能な画像形成装置を提供することを目的とする。
本発明の一実施形態の画像形成装置は、前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得手段と、前記取得された撮像画像から顔画像を抽出する抽出手段と、前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け手段と、前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録手段と、を備える。
本発明の画像形成装置によれば、顔認証に用いる顔画像データの初期登録を、ユーザの利便性を維持しつつ適切に行うことができる。
以下、本発明を実施するための形態について図面などを参照して説明する。
(第1実施形態)
図1は本発明の一実施形態に係る画像形成装置10の外観図である。
画像形成装置10は、プリント機能、スキャナ機能、コピー機能、FAX機能などの複数の機能を有する。画像形成装置10は、画像形成装置10に接近する人物を検出するための人検出センサ11、第一カメラ12、および第二カメラ13を備える。
図1は本発明の一実施形態に係る画像形成装置10の外観図である。
画像形成装置10は、プリント機能、スキャナ機能、コピー機能、FAX機能などの複数の機能を有する。画像形成装置10は、画像形成装置10に接近する人物を検出するための人検出センサ11、第一カメラ12、および第二カメラ13を備える。
以下、画像形成装置10において、図1の手前方向の面(正面)であって、画像形成装置10をユーザが操作する側を画像形成装置10の前面側と定義する。また、上下左右方向は、ユーザから画像形成装置10を見た方向として定義する。人検出センサ11および第一カメラ12は、画像形成装置10の前面に取り付けられる。また、第二カメラ13は、表示部114の左側に上方に向けて取り付けられる。
人検出センサ11は、画像形成装置10の周辺におけるユーザを含む移動体(人物等)の移動を検出する機能を有する。人検出センサ11は、焦電型赤外線センサや超音波センサ、赤外線アレイセンサ等によって構成される。第一カメラ12は、画像形成装置10の前方の画像を撮像する機能を有する。第二カメラ13は、画像形成装置10の上方の画像を撮像する機能を有する。なお、人検出センサ11の検出範囲と、第一カメラ12および第二カメラ13の撮像可能範囲の詳細については、図2および図3を用いて後述する。
また、第一カメラ12には、魚眼レンズが取り付けられている。これにより、第一カメラ12は、一般的なレンズを用いた場合に比べ、より広角の画像を撮像することが可能である。なお、以下の説明において、第一カメラ12が撮像した画像を第一カメラ画像と称し、第二カメラ13が撮像した画像を第二カメラ画像と称する。
次に、図2および図3を用いて、画像形成装置10が人物の検出および認証を実行可能な範囲について説明する。
図2は、画像形成装置10の上面図である。また、図3は、画像形成装置10の右側側面図である。なお、図3には、人物Hは、画像形成装置10のユーザを示す。
図2は、画像形成装置10の上面図である。また、図3は、画像形成装置10の右側側面図である。なお、図3には、人物Hは、画像形成装置10のユーザを示す。
図2および図3において、画像形成装置10の第一カメラ12が取り付けられている位置を、位置Pで示す。図2および図3に示す例では、人検出センサ11は、検出範囲A内に存在する人物Hを検出する。検出範囲Aは、画像形成装置10の前方に形成され、画像形成装置10の上方からみたときに、中心角が180度未満に設定された扇形を示す。
また、図2および図3に示す例では、第一カメラ12が撮像した第一カメラ画像を解析した結果を用いて、検出範囲R1〜R3のそれぞれの範囲内(所定の距離内)に存在する人物Hが検出される。本実施形態では図6を用いて後述するように、人物と画像形成装置との距離は、距離検出部503が、人検出センサ11からのデータを用いて検出するが、第一カメラ12および第二カメラ13を用いて人物と画像形成装置との距離を検出することも可能である。
詳細には、第一カメラ12が撮像した第一カメラ画像および第二カメラ13が撮像した第二カメラ画像を解析した結果を用いて人物のつま先を検出し、検出範囲R1〜R3におけるつま先の位置および向きが検出できる。検出範囲R1〜R3におけるつま先の位置から、人物と画像形成装置10との距離が検出され、人物が検出範囲R1〜R3のそれぞれの範囲内に進入したか否かが判定できる。
また、検出範囲R1〜R3におけるつま先の向きから、人物が画像形成装置10に向かっているか、他の方向へ行くために画像形成装置の近傍を通過するのかが判定できる。なお、人物と画像形成装置との距離が検出されるのであれば、画像解析により検出する対象はつま先に限られるものではない。人物の頭部や胴体など、つま先以外の部分の撮像画像に基づいて、人物と画像形成装置の距離を検出することとしてもよい。
なお、距離検出部503による人物と画像形成装置との距離の検出は、人検出センサ11や撮像画像に基づいて距離を計測するものでなくてもよい。例えば、人物が保持する無線端末との無線通信に基づいて、画像形成装置と人物との距離を計測することとしてもよい。具体的には、無線端末あるいは画像形成装置から定期的に出力されるビーコン信号の電波強度などに基づいて、距離を求めることとしてもよい。
検出範囲R1は、画像形成装置10の前方に形成され、画像形成装置10の上方からみたときに、中心角が180度に設定された扇形を示す。なお、検出範囲R1は、人検出センサ11による検出範囲Aの大部分を含むように設定される。また、検出範囲R1の中心角は、180度でなくてもかまわない。ただし、第一カメラ12は、少なくとも検出範囲R1の全体を撮像可能な範囲とする。
検出範囲R2は、画像形成装置10の前方に形成され、画像形成装置10の上方からみたときに、矩形を示す。図2および図3に示す例では、矩形の左右方向の幅は、画像形成装置10の左右方向の幅と同じである。また、検出範囲R2の全域は、検出範囲R1に含まれる。また、検出範囲R2は、検出範囲R1の中で画像形成装置10側に配置される。
検出範囲R3は、画像形成装置10の前方に形成され、画像形成装置10の上方からみたときに、中心角が180度に設定された扇形を示す。また、検出範囲R3の全域は、検出範囲R1に含まれる。また、検出範囲R3は、検出範囲R1の中で、画像形成装置10側に配置される。さらに、検出範囲R2の全域は、検出範囲R3に含まれる。また、検出範囲R2は、検出範囲R3の中で、画像形成装置10側に配置される。
画像形成装置10は、上述したように、第一カメラ12により検出範囲R1の全体を撮像可能であり、人物Hが検出範囲R1に進入すると、第一カメラ12による撮像が開始され、第一カメラ画像を用いて、顔認証処理が開始される。そして、人物Hが検出範囲R3に進入すると、画像形成装置10は、顔認証処理の結果に基づき、後述する画像形成装置10のログイン処理を開始する。
すなわち、人物Hが画像形成装置10の前、すなわち操作部113を操作可能な検出範囲R2に進入する時点で、人物Hの顔認証が完了し、ログイン処理の実行が人物Hによる操作なしに自動的に行われる。このように、ユーザによる操作なしに自動的に画像形成装置へのログインが行われることを自動ログインと呼ぶことにする。
なお、検出範囲R3は、第一カメラ12の撮像可能な範囲である検出範囲R1の中であれば、任意に設定可能である。すなわち、画像形成装置10がログイン処理を開始する範囲は、検出範囲R1内であれば、任意に設定可能である。例えば、検出範囲R3は、検出範囲R1と同等の領域と設定することも可能であり、また、検出範囲R2と同等の領域と設定することも可能である。
一方、第二カメラ13は、検出範囲R2に進入した人物の顔、つまり画像形成装置10のユーザの顔を検出するために設置される。詳細には、第二カメラ13は、検出範囲R2の上部を含み検出範囲R2の上方に位置する不図示の検出範囲を撮像可能である。本実施形態では、後述するように、画像形成装置10に近付いてくる人物Hの顔を第一カメラ12で撮像することにより取得した顔画像(第一カメラ画像の一部または全部)を用いて、画像形成装置10の使用(ログイン)を許可するための認証を行う。
また、本実施形態では、後述するように、第一カメラ12で撮像された第一カメラ画像および第二カメラ13で撮像された第二カメラ画像を用いて顔画像データの登録を行うが、これらカメラ画像を他の用途に併用してもよい。例えば、第二カメラ画像を画像形成装置10において留め置きプリントジョブの実行を許可するための認証を行うために使用したり、ユーザの目線認識やユーザのなりすまし防止などの用途に使用したりしてもよい。
検出限界Lは、第一カメラ12で撮像された第一カメラ画像を解析することで人物Hの顔の解析が可能な距離の限界を定めた値である。検出限界Lは、一般的な身長を有する人物Hの顔を第一カメラ12にて撮像することが可能な距離に基づいて決められる。詳細には、画像形成装置10の高さは、通常、使いやすさを考慮して1000〜1300mm程度に設定されることから、第一カメラ12の高さ(位置P)は、画像形成装置10の設置面から700〜900mm程度となる。
また、上述したように、第一カメラ12を用いて人物Hのつま先を撮像する場合、第一カメラ12の高さはある程度低い位置に制限される。したがって、第一カメラ12の高さ(位置P)は、図3に示したように、一般的な成人(人物H)の顔の高さよりも低くなる。このため、画像形成装置10に人物Hが近付きすぎると、第一カメラ12に魚眼レンズを用いたとしても、第一カメラ12による人物Hの顔の撮像が困難な場合がある。
また、第一カメラ12により人物Hの顔を撮像できたとしても、取得される顔画像データの解析が困難な場合がある。そこで検出限界Lを、図3に示す例では、検出範囲R2を含まず、かつ、検出範囲R3に含まれる位置に設定する。
画像形成装置10を使用する人物Hは、まず検出範囲A内に進入する。続いて人物Hは、検出範囲R1内に進入し、さらに検出範囲R3から検出範囲R2に進入する。なお、図3に示す例では、検出範囲R1内を移動する人物Hは、検出範囲R3から検出範囲R2に進入する間に、検出限界Lを突破する。そして、検出範囲R2に進入した人物Hは、検出範囲R2内に滞在しつつ、操作部113を使用した操作等を行うことになる。
なお、検出範囲R1〜R3のそれぞれは、厳密に図2に示すとおりに設定される必要はなく、第一カメラ12で撮像された第一カメラ画像に基づいて該範囲を特定しうる精度で設定されればよい。また、検出限界Lは、検出範囲R2と検出範囲R3との間に限定される必要はなく、第一カメラ12の性能や取り付け位置、すなわち画像形成装置10の設置面からの位置Pの高さ等によって変わりうる。
図4は、画像形成装置10の構成の一例を示す図である。
画像形成装置10は、CPU110、認証部111、検出部112、操作部113、表示部114、電源制御部116、記憶部117、スキャナ部118、プリンタ部119、画像処理部120、通信部121を備え、それらはシステムバス115に接続される。
画像形成装置10は、CPU110、認証部111、検出部112、操作部113、表示部114、電源制御部116、記憶部117、スキャナ部118、プリンタ部119、画像処理部120、通信部121を備え、それらはシステムバス115に接続される。
CPU110は、記憶部117に記憶された制御プログラム等に基づいて接続された各種デバイスとのアクセスを統括的に制御すると共に、画像形成装置10で実行される各種処理についても統括的に制御する。CPU110は、認証部111、検出部112、操作部113、表示部114、電源制御部116、記憶部117との間で、システムバス115を介して通信する。また、CPU110は、スキャナ部118、プリンタ部119、画像処理部120、通信部121との間で、システムバス115を介して通信する。
さらに、CPU110は、操作部113が一定時間操作されない等、画像形成装置10が所定時間使用されない場合は、電源制御部116を介して画像形成装置10の電力モードをStandbyモードからSleepモードに移行させる。Standbyモードは、スキャナ部118による読取動作や、プリンタ部119による印刷動作を実行することが可能な状態である。
Sleepモードは、Standbyモードより消費電力の少ない省電力状態である。Sleepモードでは、省電力状態から画像形成装置10を復帰させるために必要な通信部121、電源制御部116、CPU110、検出部112の人検出センサ11に対してのみ電力が供給される。
認証部111は、検出部112の人検出センサ11、第一カメラ12、第二カメラ13、および操作部113からデータを受信し、画像形成装置10にログインするユーザを認証する。認証部111が行う処理の詳細は、図5を用いて後述する。検出部112は、人検出センサ11、第一カメラ12、および第二カメラ13を備え、人物の検出と人物の顔認証を行う。
操作部113は、タッチパネル、ハードウェアキー等で構成され、ユーザが画像形成装置10を制御する際に用いる。詳細には、操作部113は、ユーザからの画像形成装置10に対する指示を受け付けるためのインターフェースを備え、画像形成装置10とユーザとの間で情報の入出力を行う。操作部113は、NFCリーダライタや、Bluetooth(登録商標)モジュール等、ユーザが保有する携帯端末とデータをやり取りするためのインターフェースを備えていてもよい。
表示部114は、LCDやLED等で構成され、ユーザに対して画像形成装置10の状態を示す画面を表示する。なお、本実施形態では、表示部114は、操作部113と一体化したタッチパネルで構成したものとして説明を行う。システムバス115は、画像形成装置10を構成する各処理部を接続し、各処理部の間で画像データ、認証データ、制御情報等の各種データの送受信を行う。
電源制御部116は、画像形成装置10の電源を制御する。詳細には、電源制御部116は、CPU110からの指示、ユーザによる節電ボタンの操作等により電源の制御を行う。電源制御部116は、画像形成装置10の電源スイッチによる電源オフの操作を検出することが可能であり、検出した結果を電源オフ要求としてCPU110に通知する。CPU110は、電源オフ要求を受信すると、画像形成装置10を電源オフできる状態へと移行させ、電源制御部116に対して電源停止の指示を行う。
記憶部117は、ROM、RAM、HDD等の記憶装置で構成される。記憶部117は、CPU110が動作するためのワークメモリであり、また、画像データを一時記憶するためのメモリである。また、記憶部117には、画像形成装置10のブートプログラム等、各種プログラムや画像データが格納される。
スキャナ部118は、原稿から光学的に画像を読み取り、画像データを生成する画像入力デバイスであって、入力された画像データに対して、入力デバイス特性に合わせた補正のための画像処理を行った後に、画像データを記憶部117に記憶する。
プリンタ部119は、例えば、電子写真方式に従って記録媒体(例えば記録用紙)に画像を形成する画像出力デバイスであって、記憶部117に記憶した画像データに対して、出力デバイス特性に合わせた補正のための画像処理を行った後に、画像出力を行う。なお、プリンタ部119はシート状の記録媒体の両面に画像処理を可能なものであればその記録方式は電子写真方式に限られるものではなく、他の記録方式、例えば、インクジェット方式や熱転写方式などを用いても良い。
画像処理部120は、画像処理を行う。詳細には、画像処理部120は、記憶部117に記憶された画像データを読み出し、圧縮伸長や画像補正などの画像処理を行う。通信部121は、LANコントローラなどで構成され、LANに接続された不図示のPC(Personal Computer)等の外部装置と情報の送受信を行う。
図5は、認証部111が実行する認証処理に係るプログラムの構成とデータフローを示す図である。
センサデータ受信部501は、人検出センサ11からデータを受信し、人検出部502および距離検出部503に該データを送信する。人検出部502は、センサデータ受信部501から受信するデータに基づき、検出範囲A内に人物が存在するか否かを判断し、その判断結果を電源制御部116に送信する。
センサデータ受信部501は、人検出センサ11からデータを受信し、人検出部502および距離検出部503に該データを送信する。人検出部502は、センサデータ受信部501から受信するデータに基づき、検出範囲A内に人物が存在するか否かを判断し、その判断結果を電源制御部116に送信する。
人物が存在するか否かの判断方法は、例えば、焦電型赤外線センサが出力する赤外線の強度信号の値が閾値以上であれば人物が存在すると判断する方法を用いる。なお、判断方法はこれに限られるものではなく、どのような方法を用いてもよい。電源制御部116は、人検出部502から受信した人物が存在するか否かの判断結果に基づき、検出部112の第一カメラ12および第二カメラ13の電源をオンする。
なお、第一カメラ12および第二カメラ13へ電源をオンするタイミングはこれに限られるものではない。例えば、画像形成装置10がSleepモードからStandbyモードに移行したタイミングでオンされてもよい。また、第一カメラ12や第二カメラ13がそれぞれタイマーを有し、一定時間使用されない場合、自身の電源をオフするようにしてもよい。
距離検出部503は、センサデータ受信部501から受信するデータに基づき、人物までの距離を検出し、その検出結果である距離情報を画像選択部508に送信する。以下、距離検出方法の一例として、人検出センサ11に赤外線アレイセンサを用いる方法について図6を用いて説明する。
図6において、赤外線アレイセンサである人検出センサ11は、赤外線を受光する赤外線受光素子がマトリクス状に配列されている。赤外線アレイセンサは、各赤外線受光素子において受光した赤外線量(受光結果)に基づく温度値を用いることによって、熱源の形状、すなわち検出領域を温度分布として特定する特徴を有する。
図6では、一例として、赤外線受光素子が1〜8の8行とa〜hの8列の合計64個配列された赤外線アレイセンサを用いて説明する。なお、以降の説明では、赤外線アレイセンサの各赤外線受光素子の位置を指定する際に、素子1a〜素子8hの表記を用いる。
図6において、人物601は、画像形成装置10から距離D1に存在する人物を示す。検出結果603は、人物が画像形成装置10から距離D1に存在する際の赤外線アレイセンサの検出結果を示す。すなわち、検出結果603は、人物601を検出した結果を示す。検出結果603では、最も高温となる受光素子のうち行番号が最も大きい素子は5dであり、行番号は5である。
また、図6において、人物602は、画像形成装置10から距離D2に存在する人物を示す。なお、距離D1は距離D2より大きい値を示す。検出結果604は、人物が画像形成装置10から距離D2に存在する際の赤外線アレイセンサの検出結果を示す。すなわち、検出結果603は、人物602を検出した結果を示す。検出結果604では、最も高温となる受光素子のうち行番号が最も大きい素子は8dまたは8eであり、行番号は8である。
このように、最も高温となる受光素子の行番号と検出範囲A内に存在する人物から画像形成装置10までの距離には依存関係があり、行番号と距離の対応関係が明確であれば、人物から画像形成装置10までの距離が検出可能となる。なお、上述したように、図6を用いて説明した方法は、距離検出の一例であり、これに限られるものではない。
例えば、人検出センサ11として超音波センサ等のように物体までの距離が検出可能なセンサを用いた距離検出も可能である。また、例えば、第一カメラ12が撮像した第一カメラ画像から検出した人物の身体の部位の大きさに基づいた距離検出も可能である。人物の身体の部位として、例えば、つま先を用いることも可能である。
図5の説明に戻る。第一カメラデータ受信部504は、第一カメラ12が撮像した第一カメラ画像を受信し、第一顔検出部505に送信する。第一顔検出部505は、第一カメラデータ受信部504から受信する第一カメラ画像の中に、人物の顔が存在するか否かを判断し、人物の顔が存在する場合、該第一カメラ画像に含まれる顔画像データを抽出して該顔画像データを画像選択部508に送信する。以降、第一カメラ画像に含まれる顔画像データを第一カメラ顔画像と呼ぶことにする。
人物の顔が存在するか否かを判断するための顔検出アルゴリズムは、例えば、Haar−like特徴量を用いる。なお、顔検出アルゴリズムは、これに限られるものではなく、どのような方法を用いてもよい。また、本実施形態では、第一カメラは12、魚眼レンズを使用するものとする。このため、第一カメラ画像には歪みが存在する。そこで、人物の顔を高い精度で検出するために、顔画像データに対して歪み補正や拡大等の画像補正処理を行う。第一顔検出部505は、これら画像補正処理をも行う。
図6(C)は、第一カメラ画像の一例を示す図である。第一顔検出部505は、第一カメラ画像に画像補正処理を行った後の画像領域A1において、画像形成装置10から距離D1に位置する人物601の顔を検出し、該顔を含む顔画像領域A2を顔画像データとして画像選択部508に送信する。
第二カメラデータ受信部506は、第二カメラ13が撮像した第二カメラ画像を受信し、第二顔検出部507に送信する。第二顔検出部507は、第二カメラデータ受信部506から受信する第二カメラ画像の中に、人物の顔が存在するか否かを判断し、人物の顔が存在する場合、該第二カメラ画像に含まれる顔画像データを抽出して該顔画像データを画像選択部508に送信する。以降、第二カメラ画像に含まれる顔画像データを第二カメラ顔画像と呼ぶことにする。
第一顔検出部505と同様に、顔検出アルゴリズムは、Haar−like特徴量を用いてもよく、またその他の顔検出アルゴリズムを用いてもよい。図6(D)は、第二カメラ画像の一例を示す図である。第二顔検出部507は、第二カメラ画像を示す画像領域A3において、画像形成装置10から距離D2に位置する人物602の顔を検出し、該顔を含む顔画像領域A4を顔画像データとして画像選択部508に送信する。
画像選択部508は、第一顔検出部505または第二顔検出部507から受信した顔画像データから、距離検出部503が生成した距離情報に基づきいずれかを選択し、認証処理部510に送信する。本実施形態では、画像選択部508は、人物と画像形成装置10との距離が顔検出限界Lより大きい場合、第一カメラ顔画像を選択し、人物と画像形成装置10との距離が顔検出限界L以下の場合、第二カメラ顔画像を選択する。
認証処理部510は、画像選択部508から受信した顔画像データから特徴量を計算し、該特徴量が顔認証処理に用いる必要十分な特徴量を備えると判断した場合、顔画像データと該特徴量のデータ(以下、特徴量データ)を一時記憶する。そして、該特徴量データと予め登録してある特徴量のデータである辞書データとを照合し、照合結果から顔画像データに含まれる人物が画像形成装置10の使用許可を受けているか否かを認証する。
なお、顔画像データ、特徴量データ、および辞書データは、認証部111の不図示の記憶部に格納してもよく、また、画像形成装置10の記憶部117や通信部121を経由してLANに接続された外部サーバ等の外部装置に格納してもよい。
照合結果から顔画像データに含まれる人物の特徴量データに対応する辞書データが存在した場合、認証処理部510は、該人物が画像形成装置10の使用許可を受けていることを示す認証結果を生成する。認証部111は、生成された認証結果をCPU110に送信する。CPU110は、認証結果を受け取ると、顔画像データに含まれる人物が画像形成装置10の使用許可を受けている場合、顔認証処理の結果に基づくログイン処理を行い、該人物の設定に応じた画面を表示部114に表示する。
すなわち、画像形成装置10の周辺から人物が検出されると、検出した人物の顔認証を行うことで、ユーザが画像形成装置10を操作することなしに、画像形成装置10へのログイン処理が自動的に実行される。
一方、照合結果から顔画像データに含まれる人物の特徴量データに対応する辞書データが存在しないか、照合対象となる辞書データが存在しない場合、認証処理部510は、該人物が画像形成装置10の使用許可を受けていないことを示す認証結果を生成する。認証部111は、生成された認証結果をCPU110に送信する。
CPU110は、認証結果を受け取ると、顔画像データに含まれる人物が画像形成装置10の使用許可を受けていない場合、手動ログイン画面を表示部114に表示する。そして、CPU110は、操作部113から顔認証以外の認証方法によるログインのための操作をユーザから受け付ける。顔認証以外の認証方法は、例えば、操作部113が備えるタッチパネルやハードウェアキーからユーザにユーザIDおよびパスワードを入力させる認証方法や、操作部113が備えるNFCリーダライタにユーザが保有するICカードを接触させる認証方法がある。
入力データ受信部509は、操作部113が受け付けたログインのための入力データを受信し、該入力データを認証処理部510に送信する。認証処理部510は、受信したログインのための入力データと予め登録してある認証用データである辞書データとを照合し、照合結果からログインのための入力データを入力した人物が画像形成装置10の使用許可を受けているか否かを認証する。
なお、入力データ、および認証用データである辞書データは、認証部111の不図示の記憶部に格納してもよく、また、画像形成装置10の記憶部117や通信部121を経由してLANに接続された外部サーバ等の外部装置に格納してもよい。
照合結果から入力データに対応する辞書データが存在した場合、認証処理部510は、該当する人物が画像形成装置10の使用許可を受けていることを示す認証結果を生成する。認証部111は、生成された認証結果をCPU110に送信する。CPU110は、認証結果を受け取ると、該人物が画像形成装置10の使用許可を受けている場合、ユーザ操作により入力された入力データに基づくログイン処理を行い、該人物の設定に応じた画面を表示部114に表示する。
一方、照合結果から入力データに対応する辞書データが存在しない場合、認証処理部510は、該当する人物が画像形成装置10の使用許可を受けていないことを示す認証結果を生成する。認証部111は、生成された認証結果をCPU110に送信する。CPU110は、認証結果を受け取ると、該人物が画像形成装置10の使用許可を受けていない場合、その旨を通知し、再びログインのための操作を受け付ける画面を表示部114に表示する。
なお、ログインのための操作として、ユーザは、画像形成装置10に対して第二カメラ13による撮像と、その結果を用いた顔認証によるログインが実行されるように表示部114に表示された不図示の画面を介して指示することも可能である。
図7は、本実施形態に係る顔画像データの登録を行うための処理を説明するフローチャートである。また、図8は、図7に示す処理において表示部114に表示される画面の一例を示す図である。図7の各ステップの説明を行う中で、図8の各画面の表示について併せて説明を行う。
図7に示す処理は、制御プログラムとして記憶部117に格納され、CPU110によって実行される。なお、図7に示す処理は、CPU110が、認証部111から図5を用いて説明した認証結果を受信した後に実行する処理である。まず、ステップS701にて、CPU110は、認証部111から受信した認証結果に基づいて、顔認証の結果に基づくログイン処理が成功したか否かを判断する。
顔認証の結果に基づくログイン処理が成功した場合、処理はステップS703に進み、顔認証の結果に基づくログイン処理が失敗した場合、処理はステップS702に進む。ステップS702にて、CPU110は、認証部111から受信した認証結果に基づいて、ユーザの入力に基づくログイン処理が成功したか否かを判断する。ユーザの入力に基づくログイン処理が成功した場合、処理はステップS703に進み、ユーザの入力に基づくログイン処理が失敗した場合、処理はステップS701に戻りログイン処理またはログイン処理が成功するまで上記の処理が繰り返される。
次に、ステップS703にて、CPU110は、顔認証処理の結果に基づくログイン処理またはユーザの入力に基づくログイン処理のいずれかが成功した該当の人物の顔画像データを認証部111から取得する。詳細には、CPU110は、該当の人物が画像形成装置10に近付いた際に撮像された撮像画像から取得され、一時記憶された顔画像データを、認証部111から取得する。
このように、本実施形態では、ユーザが操作することなく予め自動的に取得された顔画像データが、顔認証に用いる顔画像データの登録対象となる。すなわち、ユーザが画像形成装置10にログインした後に自ら撮像指示を行い、撮像が完了した後に撮像画像から取得される顔画像データを登録する操作の手間を軽減できる。
また、このような手間を軽減するために、自動的に撮像された顔画像をユーザの確認なしに登録することも考えられるが、本実施形態では、撮像された顔画像の確認をステップS706で行う。これは、自動的に撮像された結果、顔認証に用いるための適切な顔画像が撮像されなかった場合について考慮するためである。すなわち、本実施形態では、本人による最終確認を行ったうえで顔認証に用いる顔画像データの登録が行われる。
ここで、ステップS701からステップS703へ遷移した場合、ステップS703で取得される顔画像データは、予め辞書データを登録する際に取得された顔画像データに加えてさらに顔画像データを追加登録するために取得される。これは、ユーザが顔画像データを事前に登録してから、例えば、眼鏡をかけたり、髪型が変わったり、人相や体形が変わったり等、経年変化することが考えられるため、顔画像データを追加登録したい場合がある。このため、ステップS703で追加登録用の顔画像データが取得される。
一方で、ステップS702からステップS703へ遷移した場合、ステップS703で取得される顔画像データは、顔認証に用いる顔画像データが事前に登録されてない人物の顔画像データを新規登録するために取得される。なお、本実施形態では、顔画像データは、第一カメラ12または第二カメラ13により撮像された撮像画像から取得されるが、これに限られるものではない。例えば、画像形成装置10の周囲に存在するネットワークカメラなど、外部装置により撮像された撮像画像を画像形成装置10が取得するように構成してもよい。
次にステップS704にて、CPU110は、ログインした人物(ユーザ)から操作部113を介して顔認証に用いる顔画像データの登録要求を受け付けるまで待機する。そして、CPU110が、ユーザから操作部113を介して顔認証に用いる顔画像データの登録要求を受け付けると、処理はステップS705に進む。
具体的には、ステップS704において、CPU110は、表示部114に、例えば、図8(A)に示すように顔情報の登録/変更のメニュー画面が表示された状態で、顔情報の登録ボタン802が押下されるまで待機する。なお、図8(A)に示す画面は顔情報の登録/変更のメニュー画面一例であり、これに限られるものではない。そして、登録ボタン802が押下されると、CPU110は、表示部114の画面を図8(B)に示すような画面に遷移させる。
なお、ステップS704において表示される画面は、図8(A)に示すように、顔画像データが登録済みか否かをユーザに分かるように顔情報801として表示してもよく、また、顔画像データの削除ボタン803を備えていてもよい。なお、本実施形態では、ログインする際の認証方法によらず、ステップS703およびS704が実行されるが、これに限られるものではない。
例えば、ユーザが顔認証でログインした場合は、ユーザが不図示の設定画面等を介して顔画像の追加登録の設定を要求するまでステップS703以降の処理を行わず、待機してもよい。また、例えば、ユーザが顔認証以外の認証方法でログインした場合、ステップS704にてユーザからの要求の有無を受け付けることなく、ステップS705を実行してもよい。すなわち図8(A)の画面を表示することなく、図8(B)の画面を表示してもよい。
ステップS705にて、CPU110は、表示部114に、ステップS703で取得した顔画像データを、登録用の顔画像データの候補として表示する。具体的には、ステップS705において、CPU110は、図8(B)に示すようにステップS703で取得した顔画像データを登録用の顔画像データの候補804として表示する。そして、ステップS706にて、CPU110は、顔画像データの候補804を顔画像データとして登録するか否かの選択を受け付ける。
なお、ステップS705で表示される画面には、顔画像データの候補804を登録するか否かの選択を受け付けるために、例えば、図8(B)に示すように、登録を指示するための登録ボタン805を表示してもよい。また、ステップS705で表示される画面には、例えば、図8(B)に示すように、顔画像データの候補804を登録せず、新たに顔画像データを取得するために撮像を指示するための再撮像ボタン806を表示してもよい。
登録用の顔画像データの候補として表示された、ステップS703で取得した顔画像データを登録する旨の選択を受け付けると、処理はステップS707に進み、登録しない旨の選択を受け付けると、処理はステップS708に進む。ステップS707にて、CPU110は、ユーザによって登録を指示された顔画像データに対応する特徴量データを辞書データとして登録する。なお、顔画像データの登録では、顔画像データと、顔画像データに対応する特徴量データとを含む顔画像に関する情報が登録される。
なお、ユーザは、図8(B)に示すような画面において、自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録することを指示することになる。すなわち、ユーザによる本人確認が実施された上で顔画像データの登録が行われる。具体的には、ステップS707において、CPU110は、表示部114の画面を図8(B)に示す画面から図8(C)に示す画面に遷移させる。
図8(C)の画面は、例えば、図8(A)の画面において未登録であった顔情報801を、図8(B)の画面で登録を指示された顔画像データの候補804に切り替えて顔情報810として表示する。これにより、ユーザに対して顔認証に用いる顔画像データの登録がなされたことを通知することができる。
一方、顔画像データを登録しない旨の選択を受け付けた場合、ステップS703で取得された顔画像データ、すなわちユーザが画像形成装置10に近付いた際に撮像された撮像画像から取得され、一時記憶された顔画像データは破棄される。また、該顔画像データに対応する特徴量データは登録されない。
なお、ユーザは、図8(B)に示すような画面において、自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録しないことを指示することになる。該指示を受けたCPU110は、新たに顔画像データを取得するためにユーザの顔を撮像するための画面を表示部114に表示させる。
具体的には、ステップS708において、CPU110は、表示部114の画面を図8(B)に示す画面から図8(D)に示す画面に遷移させる。図8(D)に示す画面には、例えば、第二カメラ13が起動され、取得された第二カメラ画像が表示部114の表示領域807に表示される。また、図8(D)に示す画面には、撮像を指示するための撮像ボタン809が表示される。
そして、ステップS709にて、CPU110は、ユーザからの撮像の指示に応じてユーザを撮像し、撮像画像から顔画像データを取得する。具体的には、CPU110は、撮像ボタン809が押下されると、操作部113から該撮像ボタン809が押下された旨の通知を受け付け、第二カメラ13に撮像を指示する。そして、CPU110は、撮像された第二カメラ画像から登録用の顔画像データの候補を新たに取得する。
例えば、図8(D)に示す例では、CPU110は、顔の大きさのガイド808に含まれる顔画像データを、登録用の顔画像データの候補として取得する。ステップS709の後に、処理はステップS705に戻り、CPU110は、表示部114にステップS709にて取得された顔画像データを登録用の顔画像データの候補として表示する。以上のステップに従い、ステップS707で顔画像データの登録が完了すると図7に示す処理は終了する。
以上のように、本実施形態によれば、顔認証に用いる顔画像データの登録を、ユーザの利便性を維持しつつ適切に行うことが可能となる。
(第2実施形態)
第1実施形態では、顔画像データを登録するためにユーザが画像形成装置10の周辺に近付いたときに取得された顔画像データは1つだけであり、該顔画像データをユーザが確認する場合について説明した。これに対して、第2実施形態では、複数の顔画像データが取得され、ユーザはその中から登録する顔画像データを選択できる場合について説明する。
第1実施形態では、顔画像データを登録するためにユーザが画像形成装置10の周辺に近付いたときに取得された顔画像データは1つだけであり、該顔画像データをユーザが確認する場合について説明した。これに対して、第2実施形態では、複数の顔画像データが取得され、ユーザはその中から登録する顔画像データを選択できる場合について説明する。
複数の顔画像データは、複数の撮像条件、例えば、人物や照明とカメラとの位置関係、異なるデバイス性能(画角、解像度)等のもとで撮像された複数の撮像画像から取得される。そして、複数の顔画像データから本人確認が実施されたものを顔認証に用いる顔画像データとして選択する。このため、より適切な顔画像データを登録することができる。なお、本実施形態に係る画像形成装置10の構成自体は、第1実施形態と同様のため、その説明を省略する。以下、第1実施形態と第2実施形態との差分を中心に説明する。
本実施形態に係る顔画像データの登録を行うための処理は、第1実施形態と同様に図7にて示される。その上で、本実施形態では、ステップS705〜S707のステップにおいて第1実施形態の場合と異なる点がある。ステップS705にて、CPU110は、認証部111に保持されている第一カメラ12および第二カメラ13から受信した複数の顔画像データを取得し、登録用の顔画像データの候補としてそれら複数の顔画像データを表示部114に表示する。
図9は、本実施形態において図7のステップS705で表示部114に表示される画面の一例である。
図9に示す画面は、第1実施形態において図8(B)に示した画面に対応する画面である。図8(B)の画面と異なり、この画面では、複数の顔画像データが、登録用の顔画像データの候補として表示される。図9に示す例では、第二カメラ画像901と、第一カメラ画像902および903との計3個の顔画像データが表示されている。
図9に示す画面は、第1実施形態において図8(B)に示した画面に対応する画面である。図8(B)の画面と異なり、この画面では、複数の顔画像データが、登録用の顔画像データの候補として表示される。図9に示す例では、第二カメラ画像901と、第一カメラ画像902および903との計3個の顔画像データが表示されている。
CPU110は、ステップS703において、第一カメラ12および第二カメラ13が撮像した複数の撮像画像に基づき、複数の顔画像データを取得し、ステップS705にてそれら複数の顔画像データを、登録用の顔画像データの候補として表示する。なお、登録用の顔画像データの候補として表示される顔画像データは、認証処理部510が、顔認証処理に用いる必要十分な特徴量を備えると判断したものを優先して表示するようにしてもよい。すなわち、CPU110は、各顔画像データの特徴量に基づき優先順位を付けて表示する顔画像データを選別してもよい。
次に、本実施形態においてステップS706では、CPU110は、登録用の顔画像データの候補のうち、ユーザにより登録する顔画像データの選択、および、選択された顔画像データを登録するか否かの指示を受け付ける。例えば、図9に示す画面では、ユーザが、表示されている顔画像データの中から第二カメラ画像901と第一カメラ画像902の計2個の顔画像データを選択すると、それらが選択された状態となる。
そして、ユーザが、「登録する」ボタン904を押下すると、処理はステップS707に進む。なお、ユーザは、図9に示す画面において、登録する自身の顔画像データを確認した上で該顔画像データを顔認証に用いる顔画像データとして登録することを指示することになる。すなわち、ユーザによる本人確認が実施された上で顔画像データの登録が行われる。ここで選択されなかった第一カメラ画像903は、例えば、画像形成装置10の周囲を通過したユーザとは異なる人物の顔画像データ等である。
続くステップS707では、CPU110は、ステップS706で選択された1つ以上の顔画像データのそれぞれから対応する特徴量データを辞書データとして登録する。そして、第1実施形態の場合と同様に、登録がなされた顔画像データを表示する。具体的には、例えば、図8(C)の顔情報810に、ステップS706にて選択された1つ以上の顔画像データ(第二カメラ画像901および第一カメラ画像902)の中から代表して1つの顔画像データを表示する。また、例えば、ステップS706にて選択された1つ以上の顔画像データの全てを図8(C)の画面nおいて表示するようにしてもよい。
このように、本実施形態によれば、第1実施形態と同様の効果を奏する。さらに、本実施形態では、複数の撮像条件のもとで撮像した撮像画像から取得される複数の顔画像データから顔認証に用いる顔画像データが選択される。このため、より適切な顔画像データを登録することができる。
なお、第1実施形態および第2実施形態では、画像形成装置について説明したが、本発明は、画像形成装置以外の情報処理装置においても適用可能である。すなわち、顔認証によるログイン方法を備える任意の情報処理装置において、顔認証に用いる顔画像データの初期登録の際に本発明を適用可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
10 画像形成装置
110 CPU
111 認証部
112 検出部
113 操作部
114 表示部
110 CPU
111 認証部
112 検出部
113 操作部
114 表示部
Claims (8)
- 画像形成装置であって、
前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得手段と、
前記取得された撮像画像から顔画像を抽出する抽出手段と、
前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け手段と、
前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録手段と、を備えることを特徴とする画像形成装置。 - 前記受け付け手段は、
前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインした際に、顔認証に用いる顔画像の情報を登録する旨の要求を受け付け、
前記要求を受け付けた場合に、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付けることを特徴とする請求項1に記載の画像形成装置。 - 前記受け付け手段は、前記画像形成装置へ前記人物が顔認証によりログインした際に、顔認証に用いる顔画像の情報を追加で登録する旨の要求を受け付け、
前記要求を受け付けた場合に、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付けることを特徴とする請求項1または2に記載の画像形成装置。 - 前記受け付け手段が表示する顔画像は、前記画像形成装置の周囲の所定の範囲に前記人物が進入したことに応じてカメラが撮像した撮像画像から抽出され、
前記受け付け手段が前記表示した顔画像の情報を顔認証に用いる顔画像の情報として登録しない旨の指示を受け付けた場合に、前記人物の顔を含む画像が撮像されることを特徴とする請求項1乃至3のいずれか一項に記載の画像形成装置。 - 前記受け付け手段は、1以上のカメラが撮像した複数の撮像画像から抽出された複数の顔画像を表示し、該複数の顔画像の中から1以上の顔画像の選択を受け付け、該選択された1以上の顔画像の情報を顔認証に用いる顔画像の情報として登録することを特徴とする請求項1乃至4のいずれか一項に記載の画像形成装置。
- 前記受け付け手段は、前記複数の顔画像を表示する際に、各顔画像の特徴量に基づき表示する顔画像を選別することを特徴とする請求項5に記載の画像形成装置。
- 画像形成装置の制御方法であって、
前記画像形成装置の周囲に存在する人物を含む撮像画像を取得する取得工程と、
前記取得された撮像画像から顔画像を抽出する抽出工程と、
前記画像形成装置へ前記人物が顔認証とは異なる認証方法でログインしたことに応じて、前記抽出された顔画像を表示し、該顔画像の情報を顔認証に用いる顔画像の情報として登録する旨の指示を受け付ける受け付け工程と、
前記指示を受け付けた場合に、前記表示された顔画像の情報を登録する登録工程と、を有することを特徴とする画像形成装置の制御方法。 - 請求項1乃至6のいずれか一項に記載の画像形成装置が備える各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107247A JP2019209585A (ja) | 2018-06-04 | 2018-06-04 | 画像形成装置、画像形成装置の制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107247A JP2019209585A (ja) | 2018-06-04 | 2018-06-04 | 画像形成装置、画像形成装置の制御方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019209585A true JP2019209585A (ja) | 2019-12-12 |
Family
ID=68846223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018107247A Pending JP2019209585A (ja) | 2018-06-04 | 2018-06-04 | 画像形成装置、画像形成装置の制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019209585A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114116886A (zh) * | 2021-10-18 | 2022-03-01 | 德明尚品科技集团有限公司 | 基于区块链的门禁数据管理方法与*** |
-
2018
- 2018-06-04 JP JP2018107247A patent/JP2019209585A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114116886A (zh) * | 2021-10-18 | 2022-03-01 | 德明尚品科技集团有限公司 | 基于区块链的门禁数据管理方法与*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10178255B2 (en) | Image processing system, method, and non-transitory computer readable medium | |
US10642555B2 (en) | Image processing system, method, and non-transitory computer readable medium | |
JP5541407B1 (ja) | 画像処理装置及びプログラム | |
US9524129B2 (en) | Information processing apparatus, including display of face image, information processing method, and non-transitory computer readable medium | |
US10708467B2 (en) | Information processing apparatus that performs authentication processing for approaching person, and control method thereof | |
JP6558064B2 (ja) | 認証装置および画像形成装置 | |
CN104349046B (zh) | 图像处理装置和方法 | |
EP1913512B1 (en) | Imaging system and authentication method | |
JP6112823B2 (ja) | 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム | |
US20170039010A1 (en) | Authentication apparatus and processing apparatus | |
US10863056B2 (en) | Login support system that supports login to electronic apparatus | |
JP6963437B2 (ja) | 情報処理装置及びその制御方法とプログラム | |
JP2019209585A (ja) | 画像形成装置、画像形成装置の制御方法、プログラム | |
US11363167B2 (en) | Image forming apparatus, method for controlling image forming apparatus, and storage medium storing computer program | |
JP2019142126A (ja) | 画像形成装置、制御方法、およびプログラム | |
JP6569386B2 (ja) | 画像処理装置 | |
JP7102791B2 (ja) | ログイン支援システム | |
US12052402B2 (en) | Image forming apparatus, method for controlling image forming apparatus, and storage medium storing computer program | |
US10230860B2 (en) | Authentication apparatus for carrying out authentication based on captured image, authentication method and server | |
JP2019142125A (ja) | 画像形成装置、その制御方法、およびプログラム | |
JP2019142123A (ja) | 画像形成装置、画像形成装置の制御方法、情報処理装置、プログラム | |
JP2019212004A (ja) | 画像形成装置、情報処理方法及びプログラム | |
JP2022012200A (ja) | 認証装置 |