JP2021024093A

JP2021024093A - 画像形成装置、画像形成装置の制御方法ならびにコンピュータプログラム

Info

Publication number: JP2021024093A
Application number: JP2019140820A
Authority: JP
Inventors: 康智田中; Yasutomo Tanaka; 千尭沼田; Chiaki Numata
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-07-31
Filing date: 2019-07-31
Publication date: 2021-02-22
Also published as: CN112311949B; US11363167B2; US20220272229A1; CN112311949A; US20210037163A1

Abstract

【課題】ユーザが画像形成装置の目の前に来る前にユーザ認証を完了させながら、認証されたユーザが画像形成装置の目の前に行く前にユーザに対応付けられた情報に基づく画面が表示されてしまうことを抑制することを目的とする。【解決手段】画像形成装置の前方の画像を撮像する撮像部と、画面を表示する表示部と、前記撮像部が撮像した画像からユーザの顔画像を取得する取得手段と、前記取得手段により取得されたユーザの前記顔画像を用いて前記画像形成装置が第１の距離よりも近くにいる前記ユーザを認証する認証手段と、前記認証手段により認証されたユーザを追尾する追尾手段と、前記追尾手段により追尾されたユーザが前記第１の距離よりも前記画像形成装置に近い第２の距離まで近づいたことに基づき、前記ユーザに対応する情報に基づく画面を前記表示部に表示させる制御手段と、を有することを特徴とする。【選択図】図９

Description

本発明は、画像形成装置、画像形成装置の制御方法ならびにコンピュータプログラムに関する。

コピーやプリントなどの機能を有する画像形成装置では、ユーザがユーザＩＤやパスワードを入力し、入力されたユーザＩＤ、パスワードを使った認証処理を行うことが知られている。上記の画像形成装置では、ユーザ認証を行い、ユーザが画像形成装置にログインするとログインしたユーザのジョブを印刷するための画面や、ログインしたユーザ用にカスタマイズされた画面を表示する。ユーザ認証には、ユーザＩＤやパスワードを使用した認証に加え、ＩＣカードや顔認証など様々な認証方法が用いられている。

特許文献１にはカメラで撮像した画像を用いた顔認証による画像形成装置の認証処理が記載されている。顔認証によるユーザ認証にはある程度の時間を要するため、ユーザが画像形成装置の目の前に来てから、画像の撮像と認証処理をするとユーザは画像形成装置の前で認証処理が完了するまで画像形成装置を操作することができない。そこで、特許文献１に記載の画像形成装置では、ユーザがあらかじめ決められた領域内に入ってきたときに撮像した画像を用いて顔認証を行う。これによりユーザはユーザＩＤやパスワードの入力を行わなくてもユーザが画像形成装置の前に到達するときにはユーザ認証を完了することができる。

特開２０１９−５７０３６号公報

特許文献１では、ユーザが画像形成装置の目の前に来たときにはユーザ認証が完了しているように、ユーザが画像形成装置からある程度離れた場所にいるタイミングでユーザ認証が開始される。そのため、ユーザ認証が開始されてから、実際にユーザが画像形成装置の目の前に到達するまでの間に時間差が生じる。このとき、ユーザ認証が完了したのち、すぐに画像形成装置が認証されたユーザに対応する情報を使った画面表示を行うとする。すると、認証されたユーザよりも先に他のユーザが画像形成装置の前に来てしまった場合に認証したユーザに対応する情報に基づく画面が他のユーザに見られてしまう可能性がある。

請求項１に記載の画像形成装置は、ユーザが画像形成装置の目の前に来る前にユーザ認証を完了させながら、認証されたユーザが画像形成装置の目の前に行く前にユーザに対応付けられた情報に基づく画面が表示されてしまうことを抑制することを目的とする。

本願請求項１に記載の画像形成装置は、画像形成装置の前方の画像を撮像する撮像部と、画面を表示する表示部と、前記撮像部が撮像した画像からユーザの顔画像を取得する取得手段と、前記取得手段により取得されたユーザの前記顔画像を用いて前記画像形成装置が第１の距離よりも近くにいる前記ユーザを認証する認証手段と、前記認証手段により認証されたユーザを追尾する追尾手段と、前記追尾手段により追尾されたユーザが前記第１の距離よりも前記画像形成装置に近い第２の距離まで近づいたことに基づき、前記ユーザに対応する情報に基づく画面を前記表示部に表示させる制御手段と、を有することを特徴とする。

本発明によれば、ユーザが画像形成装置の目の前に来る前にユーザ認証を完了させながら、認証されたユーザが画像形成装置の目の前に行く前にユーザに対応付けられた情報に基づく画面が表示されてしまうことを抑制することができる。

本実施例に係る、画像形成装置の外観の一例を示した図である。本実施例に係る、画像形成装置のカメラユニット１１の撮像したカメラ画像による顔データの取得ができる領域、顔認証ができる領域を示す模式図である。本実施例に係る、画像形成装置の側面図である。本実施例に係る、画像形成装置の構成を示すハードウェアブロック図である。本実施例に係る、カメラユニットが撮像するカメラ画像と、カメラ画像解析部４１０の解析を示す模式図である。本実施例に係る。カメラ画像解析部４１０が顔データに基づき、ユーザのいる領域を推定する方法を示す模式図である。表示部２０２に表示される画面の一例を示す図である。本実施例に係る、顔認証処理を説明するためのフローチャートである。本実施例において、ユーザが画像形成装置１０に近づいてきたときの画像形成装置１０の動作を説明するための模式図である。本実施例において、ユーザが画像形成装置１０の前を通りすぎたときの画像形成装置１０の動作を説明するための模式図である。本実施例において、複数のユーザが画像形成装置に近づいてきた場合の画像形成装置１０の動作を説明するための模式図である。

以下、本発明を実施するための形態について図面を用いて例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜画像形成装置外観＞
図１は、本実施例の画像形成装置１０の外観図である。画像形成装置１０は、プリント機能、スキャナ機能、コピー機能、ＦＡＸ機能などの複数の機能を有している。画像形成装置１０は、カメラユニット１１を備え、カメラユニット１１は画像形成装置１０の前方に向けて取り付けられる。

カメラユニット１１は、画像形成装置１０の前方の画像を撮像する撮像部として機能する。カメラユニット１１は画像形成装置１０のメインコントローラによる制御で画像を撮像する。

画像形成装置１０は、画像形成装置１０に近づくユーザを、カメラユニット１１を用いて撮影し、顔認証を実施する。顔認証結果が所定の条件を満たす場合に画像形成装置に自動的にログインさせる。なお、以下の説明においては、カメラユニット１１が撮像した画像をカメラ画像と称する。

＜撮像範囲および人操作範囲＞
はじめに、図２、図３を用いて、カメラユニット１１を用いて顔画像の抽出や顔画像による顔認証を行うことができる領域について説明する。

図２は、画像形成装置１０のカメラユニット１１が撮像した画像から顔画像を抽出することができる領域、および、抽出した顔画像に基づく顔認証を行うことができる領域を示した図である。図２は、画像形成装置１０およびその周辺を、画像形成装置１０の高さ方向上側から見たものを示している。

図３は、画像形成装置１０のカメラユニット１１により撮像が可能な範囲および、認証に関わる範囲を説明するための側面図である。図３は、画像形成装置１０およびその周辺を、画像形成装置の側方からみたものを示している。なお、図３の人物Ｈは画像形成装置１０が認証するユーザである。

図２おいて、領域Ｒ１はカメラユニット１１が撮像した画像から顔画像を抽出することができる領域である。この領域Ｒ１は、画像形成装置１０を高さ方向上側から見た時に、中心角が１８０度程度に設定された扇形を呈している。画像形成装置１０はＲ１よりも内側にいるユーザについて顔画像を抽出することができる。

領域Ｒ２はカメラユニット１１が撮像した画像に含まれる顔画像を使った顔認証を行うことができる領域である。領域Ｒ２は、画像形成装置１０を高さ方向から見たときに、中心核が１８０度に設定された扇型であり、領域Ｒ１よりも小さい扇型を呈している。

続いて、領域Ｒ３は、画像形成装置１０を操作するユーザが検出される領域である。画像形成装置１０の前方に形成され、高さ方向上側からみたときに、矩形を呈している。この例に置いて、この矩形範囲における幅方向の長さは、画像形成装置１０の幅方向の長さと同じである。また、領域Ｒ３の全域は、領域Ｒ１およびＲ２の内側に位置する。また、領域Ｒ３は、ユーザが表示部２０２を確認および操作することが可能な範囲である。

また、本実施例では、カメラユニット１１が撮像した画像から抽出される顔画像に基づいて、ユーザが領域Ｒ１、Ｒ３、Ｒ２のいずれの領域にいるかを判定する。なお、人物Ｈがいずれの領域にいるかを判定する詳細な検出方法については図６を用いて後述する。

なお、領域Ｒ１、Ｒ２の中心角については、１８０度以外であっても構わない。

図３に示すように、カメラユニット１１はユーザの顔画像を撮像できる向きになるよう、画像形成装置１０の表示部横等に配置される。

本実施例の画像形成装置１０では、後述するように、この画像形成装置１０に近づいてくる人物Ｈの顔をカメラユニット１１で撮像して得たカメラ画像を用いて、画像形成装置１０の使用を許可するための認証を行う。

＜画像形成装置のブロック図＞
図４は、本発明に係る、画像形成装置１０の構成を示すブロック図である。

画像形成装置１０は、画像形成装置１０の動作を統括するコントローラ１００、操作部２００、スキャナ部４００及びプリンタ部５００を備えている。

コントローラ１００は操作部２００、スキャナ部４００及びプリンタ部５００と通信可能である。コントローラ１００はＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、入出力Ｉ／Ｆ１１４、及びＬＡＮコントローラ１１５を備え、それらはシステムバス１１６に接続されている。また、コントローラ１００はＨＤＤ１１７、デバイスＩ／Ｆ１１８及び画像処理部１１９を備え、それらはシステムバス１１６に接続されている。さらに、コントローラ１００はカメラ画像解析部４１０、認証部４１１、認証結果管理部４１２を備え、それらはシステムバス１１６に接続されている。

ＣＰＵ１１０は、ＲＯＭ１１２に記憶された制御プログラム等に基づいて接続中の各種デバイスとのアクセスを統括的に制御すると共に、コントローラ１００で実行される各種処理についても統括的に制御する。ＣＰＵ１１０と操作部２００およびカメラユニット１１は入出力Ｉ／Ｆ１１４を介して通信を行う。また、ＣＰＵ１１０とスキャナ部４００、プリンタ部５００はデバイスＩ／Ｆ１１８を介して通信を行う。ＲＡＭ１１１はＣＰＵ１１０が動作するためのシステムワークメモリであり、画像データを一時記憶するためのメモリでもある。本実施例では、ＣＰＵ１１０がカメラユニット１１と通信し、カメラユニット１１による画像の撮像を制御する。

ＲＯＭ１１２には、装置のブートプログラムなど各種プログラムが格納されている。

ＬＡＮコントローラ１１５はＬＡＮに接続される図示しないＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）や、外部の認証サーバ等の外部装置と情報の送受信を行う。

ＨＤＤ１１７はハードディスクドライブでありシステムソフトウェアや画像データを格納する。

画像処理部１１９は原稿の読み取りや印刷に伴う画像処理を行うためのものであり、ＲＡＭ１１１に記憶された画像データを読み出し、ＪＰＥＧ、ＪＢＩＧなどの圧縮または伸張および、色調整などの画像処理を行う。

操作部２００はユーザが画像形成装置１０を制御するためのものであり、画像形成装置１０とユーザ間での情報の入出力を行う。また、操作部２００は操作部ＣＰＵ２０１、ＬＣＤやＬＥＤ等で構成される表示部２０２、及びタッチパネル、ハードウェアキー等で構成される入力部２０３を備える。さらに、操作部２００はＮＦＣリーダライタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール等のユーザの持つ携帯端末とデータをやり取りするためのインターフェースを備えていてもよい。

スキャナ部４００は原稿から光学的に画像を読み取り画像データを生成する画像入力デバイスである。

プリンタ部５００は電子写真方式に従って記録媒体（用紙）に画像を形成する画像出力デバイスである。

カメラユニット１１は、先述したように画像形成装置１０の前方の画像を撮像する機能を有している。画像形成装置１０に近づくユーザを、カメラユニット１１を用いて撮影する。

カメラ画像解析部４１０は、カメラユニット１１で撮像したカメラ画像の解析を行うためのものモジュールである。カメラ画像解析部４１０は、カメラ画像に含まれる人物の顔の検出および、検出した人物の顔の追尾を行う機能を有する。またカメラ画像解析部４１０は、カメラ画像から抽出した人物の顔領域の画像を認証部４１１に送付する機能を有する。ここでカメラ画像に含まれる人物の顔領域を抽出した画像を以後「顔データ」と称する。ここで、カメラ画像解析部４１０における顔検出、顔追尾、および顔領域の切り出しに関して図５を用いて例示的に説明する。

図５は、本実施例に係るカメラ画像解析部４１０による、カメラ画像に含まれる人物の顔検出、顔追尾、および人物の顔領域を切り出す機能を説明するための説明図である。

図５において、Ａ１はカメラユニット１１が取得したカメラ画像である。カメラ画像内Ａ１には２人の人物Ｈ１およびＨ２が写っている。

カメラ画像解析部４１０はカメラユニット１１からカメラ画像を受け取り、カメラ画像から人物の顔データＦ１、Ｆ２を抽出する。カメラ画像解析部４１０は後述する方法で抽出した顔画像を用いた顔認証が可能であるか否かを判定する。顔画像による顔認証が可能であると判定した場合、顔データを認証部４１１に送信する。

また、検出した２人の人物に各々を識別するＩＤ５１０および５２０（以後、「追尾ＩＤ」と称する）を割り当て、検出した人物の追尾を行う。本実施例において、人物の追尾とは、カメラユニット１１から取得する複数のカメラ画像において、同じユーザを抽出する処理を指す。

ここで、顔検出、追尾機能に関しては、一般に、画像処理・画像解析および機械学習機能を持つライブラリとして、オープンソースのＯｐｅｎＣＶが一般に知られており、これらのライブラリを利用することにより、カメラ画像解析部４１０の機能が実現される。

図４の画像形成装置１０の構成を示すブロック図の説明に戻る。

認証部４１１は、カメラ画像解析部４１０が抽出した顔データを受信して顔認証を実施する。顔認証を終了したのち、認証結果をカメラ画像解析部４１０に返す。認証部４１１は複数のユーザの顔データを管理するための図示しない顔データ管理部を有する。顔データ管理部には、例えば表１のように複数のユーザの顔データを管理する顔データ管理テーブルが記憶されている。表１において、ユーザＮｏは認証部４１１が管理するユーザの通し番号である。ユーザＩＤは当該ユーザを識別するための識別情報である。パスワードはユーザが画像形成装置１０にログインするときに使用するパスワードである。認証用顔データは認証部４１１が顔認証に利用する顔データのファイル名を示している。

認証部４１１は、カメラ画像解析部４１０から顔データと共に顔認証要求を受ける。認証部４１１は顔データを解析し、受信した顔データと顔データ管理部に記憶された認証用顔データを比較し、受信した顔データが記憶されたいずれのユーザの顔かを判定する。認証部４１１が該当する人物の顔データが顔データ管理部に登録されていたと判定すると、認証部４１１は当該人物のユーザＩＤと認証が完了したことを示す通知を顔認証結果として認証結果管理部４１２に送信する。受け取った顔データに対応する認証用顔データが顔データ管理部に登録されていなかった場合、認証部４１１は認証が失敗した旨を認証結果管理部４１２に送信する。

認証結果管理部４１２は、認証部４１１での認証により取得した認証結果を格納する。認証結果管理部４１２は、認証部４１１から受け取った認証結果を表２に示す認証結果テーブルに記憶する。

認証結果テーブルにおいて、追尾ＩＤはカメラ画像解析部４１０が抽出した顔データに対して割り当てる識別情報である。ユーザＩＤはカメラ画像解析部４１０が抽出した顔データに基づき認証部４１１により認証されたユーザのユーザＩＤである。認証部４１１による認証がなされていない場合、認証結果管理部４１２は、カメラ画像解析部４１０が割り当てた追尾ＩＤと、認証が完了していないことを示す情報を対応づけて認証結果テーブルに登録する。たとえば、表３では認証されていないユーザを“ｕｎｋｎｏｗｎ”として登録する。追尾ＩＤ３の顔データのユーザが画像形成装置１０に近づけ認証されると、ユーザＩＤが“ｕｎｋｎｏｗｎ”から認証されたユーザのユーザＩＤに更新される。認証部４１１による認証がなされていない場合とは、たとえば、ユーザが図２の領域Ｒ２の外側であって領域Ｒ１よりも内側にいる場合や、カメラ画像解析部４１０が抽出した顔データに対応するユーザが顔データ管理部に登録されていない場合などである。

なお、本実施例では、画像形成装置１０内部に認証部４１１を持つ構成として説明するが、認証部４１１はＬＡＮやインターネットを介して接続される装置外部の認証サーバであってもよい。

ログイン処理部４１３は、認証部４１１により認証されたユーザが画像形成装置１０にログインするための処理を実行する処理部である。ログイン処理部４１３は、ＨＤＤ１１７に記憶されたログイン情報テーブルを読み出し、認証されたユーザに対応する表示画面を表示部２０２に表示する。

以下に示す表３はログイン情報テーブルの一例を示す図である。

ユーザ番号は、認証部４１１により管理される顔認証データテーブルのユーザ番号と共通する番号が割り振られている。ユーザＩＤは、顔認証データテーブルと共通のユーザＩＤが記憶されている。表示言語は当該ユーザ番号、ユーザＩＤのユーザがログインしたときに表示部２０２の画面表示に用いられる言語である。たとえばユーザＩＤ”ｔａｎａｋａ”のユーザがログインした場合、表示部２０２は日本語表記の画面を表示する。一方で、ユーザＩＤ“ｙａｍａｄａ”のユーザがログインした場合、表示部２０２は英語表記の画面を表示する。トップ画面はユーザがログイン後最初に表示される画面の情報である。メニュー画面は、図７（ｂ）で示すような、機能選択画面であり、ログインした後や、ユーザが不図示のホームボタンを選択したときに表示される画面である。コピー画面は、図７（ａ）に示すようなコピー機能の設定画面である。コピー画面では、コピー機能に関する複数の設定項目の設定を行うことができる。スキャン画面は、ユーザが原稿をスキャンするスキャン機能の設定画面である。スキャン画面ではスキャン機能に関する複数の設定項目の設定を行うことができる。

コピーデフォルト設定は、ユーザがログインしたのち図７（ｃ）に示すコピー画面を初めて開くときのコピー画面の設定値である。ログイン情報テーブルには、コピーに関する設定項目のうち、画像形成装置１０のデフォルト設定から異なる値に設定が変更されている設定項目の設定値が記憶されている。スキャンデフォルト設定は、ユーザが画像形成装置１０にログインして最初にスキャン画面を表示するときに表示される設定値である。ここでは画像形成装置１０のデフォルト値から変更されている設定値のみがログイン情報テーブルに記憶されているとする。画面の色反転は、表示部２０２に表示される画面の色に関する設定値である。色反転機能は、画面内の白い領域を黒く表示し、画面内の黒い領域を白で表示する機能である。“０”は色反転しないことを示しており、“１”は色反転することを示している。なお、本実施例では、ログイン情報テーブルは、画像形成装置１０のＨＤＤ１１７に記憶されているとしたが、画像形成装置１０の他のメモリや、画像形成装置１０とネットワークを介して接続されるサーバ内に記憶されるとしてもよい。

また、本実施例では、カメラ画像からの人物の顔検出および、追尾機能を全て画像形成装置１０内部のカメラ画像解析部４１０が行う構成として説明するが、一部の機能をカメラユニット１１側に持つ構成であってもよい。

＜画像形成装置と人物の距離に関する説明＞
次に、カメラユニット１１が取得するカメラ画像から、ユーザが領域Ｒ１、Ｒ３、Ｒ２のいずれの領域にいるかを判定するための方法を説明する。

図６（ａ）は、ユーザＨ１が画像形成装置１０からＤ１の位置におり、ユーザＨ２が画像形成装置１０からＤ２の距離にいる場合を画像形成装置１０の上方から見たときの図である。図のようにユーザ６０２はユーザ６０１よりも画像形成装置１０の近くにいる。この時、カメラユニット１１が撮像する画像は図５に示したようになる。

図６（ｂ）はカメラユニット１１が撮像した画像から抽出されたユーザＨ１の顔データである。カメラ画像解析部４１０はユーザＨ１の顔の写っている領域を含む矩形を顔データとして抽出する。図６（ｃ）はカメラユニット１１が撮像した画像から抽出されたユーザＨ２の顔データである。カメラ画像解析部４１０は、ユーザＨ２の顔の写っている領域を含む矩形を顔データとして抽出する。顔データを取得する際には、カメラ画像のうち顔の写っている領域全体を含む多角形であればよい。図６（ｂ）、図６（ｃ）からわかるように、距離が近いユーザの方が顔データのサイズが大きくなる。画像形成装置１０のＣＰＵ１１０はカメラ画像解析部４１０が抽出した顔データの高さと幅から顔データの面積を求める。ＣＰＵ１１０は求めた面積とあらかじめ設定された閾値を比較することでユーザが領域Ｒ１、Ｒ３、Ｒ２のいずれの領域にいるかを判定する。

もちろん画像形成装置１０から人物までの距離の判断手法に関して、図６で説明した方法は一例であり、他の公知の方法により距離を検出することも可能である。例えば、超音波センサ等の物体までの距離が検出可能なセンサを使用した距離検出や、赤外アレイセンサ等を使用した距離検出方法を本実施例に用いることも可能である。

＜表示部に表示される画面の説明＞
図７（ａ）〜（ｂ）は、画像形成装置１０の表示部２０２に表示される画面の一例を示している。本実施例において、画像形成装置１０は認証部４１１による顔認証処理において、認証用の顔データを登録していないと判断されたユーザにはパスワード認証を促す。

図７（ａ）は、ユーザが画像形成装置１０に接近し、認証部４１１による顔認証処理において、顔画像データが登録されていないと判断されたユーザに対し、パスワード認証を促す画面の一例を示している。領域７０１はユーザがユーザＩＤを入力する領域である。ユーザは表１のユーザＩＤを領域７０１に入力する。領域７０２はユーザがパスワードを入力する領域である。ユーザは表１に記載のパスワードを入力する。ユーザはユーザＩＤとパスワードの入力を完了したのち「ログイン」７０３を選択する。これにより認証部４１１による認証処理が行われる。この画面は、画像形成装置１０に近づいたユーザの顔データによる認証が行えない場合や、表１にユーザＩＤ，パスワードが登録されているものの認証用顔データが登録されていない場合などに有効である。

図７（ｂ）（ｃ）は、ユーザが画像形成装置１０に接近したユーザの顔データによる認証完了している場合や、図７（ａ）の画面において「ログイン」７０３が選択されログイン処理がなされた場合に表示部２０２に表示される画面である。図７（ｂ）は、ユーザＮｏ：０のユーザがログインした場合に表示される画面である。図７（ｃ）はユーザＮｏ：１のユーザがログインした場合に表示される画面である。

ユーザの認証後に表示部２０２に表示される画面はユーザに対応するユーザ固有の機能選択画面である。領域７０４にはログインしたユーザのユーザＩＤが表示され、領域７０５にはログインしたユーザのユーザＮｏが表示される。画像形成装置１０において、ユーザは画面の表示に用いられる言語や、ログイン直後に表示される画面の種類や機能選択画面に表示されるボタンの数や種類をユーザごとにカスタマイズすることができる。たとえば、ユーザＩＤ：１のユーザがログインした場合には、ユーザが領域Ｒ３内にいる、または、図７（ａ）で示す画面で「ログイン」７０３を選択すると、図７（ｃ）に示すように英語のコピー設定画面が表示される。このように、画像形成装置１０はユーザごとに適した画面表示を行うことができる。

＜顔認証フロー＞
次に、図８を用いて、本実施例における画像形成装置１０の顔認証処理、および、ログイン時の画面表示の制御について説明する。図８は、いずれのユーザもログインしていない場合に画像形成装置１０が実行する処理を示すフローチャートである。本処理は、ＲＯＭ１１２に格納されている本処理に対応するプログラムをＲＡＭ１１１へ展開し、ＣＰＵ１１０が当該プログラムを実行することにより、実現される。なお、図８に記載の処理は画像形成装置１０の電源がオンになったのちに開始される。図８に記載の処理は、画像形成装置１０の電源オン時に加え、ユーザが画像形成装置１０からログアウトしたのちにも実行される。

ＣＰＵ１１０はカメラユニット１１に対してカメラ画像の取得要求を送信し、カメラユニット１１が撮像したカメラ画像を取得する（Ｓ８０１）。ＣＰＵ１１０はカメラユニットにカメラ画像取得要求を送信する。カメラユニット１１はカメラ画像取得要求に基づき画像を取得し、取得した画像をＣＰＵ１１０に送信する。

ＣＰＵ１１０はＳ８０１で取得したカメラ画像内に顔データがあるか否かを判定する（Ｓ８０２）。ＣＰＵ１１０はカメラユニット１１から取得した画像をカメラ画像解析部４１０に送信し、カメラ画像から顔データの抽出を指示する。カメラ画像解析部４１０はカメラ画像から顔データを抽出する。カメラ画像解析部４１０はカメラ画像から顔データを抽出したか否かをＣＰＵ１１０に返す。ＣＰＵ１１０はカメラ画像解析部４１０からの情報に基づき、カメラ画像内に顔データがあるか否かを判定する。カメラ画像内に顔データがない場合、ＣＰＵ１１０は認証部４１１が管理する認証結果テーブルをクリアし、Ｓ８０１に処理を戻す（Ｓ８０３）。

ＣＰＵ１１０はカメラ画像から顔データを一つ選択する（Ｓ８０４）。そして、ＣＰＵ１１０は選択した顔データの面積が閾値ＴＨ１よりも大きいか否かを判定する（Ｓ８０５）。ＴＨ１は、ユーザが領域Ｒ２にいるか否かを判定するための閾値である。顔データの面積がＴＨ１よりも大きい場合、ＣＰＵ１１０は選択した顔データのユーザが領域Ｒ２にいるとし、処理をＳ８０９に進める。顔データの面積がＴＨ１よりも小さい場合、カメラ画像に含まれる顔データの大きさが小さく、顔認証を行うことができない。そこで、ＣＰＵ１１０はＳ８０６以降の処理を実行する。

ＣＰＵ１１０は認証結果管理部４１２の管理する認証結果テーブルを参照し、選択した顔データのユーザに追尾ＩＤが割り振られているか否かを判定する（Ｓ８０６）。追尾ＩＤが割り振られている場合、ＣＰＵ１１０はＳ８０８に処理を進める。追尾ＩＤが割り振られていない場合、ＣＰＵ１１０はカメラ画像解析部４１０を制御し、当該顔データに追尾ＩＤを付与し、付与した追尾ＩＤを認証結果管理部４１２に通知して認証結果テーブルに追尾ＩＤを登録する（Ｓ８０７）。このとき、当該顔データを用いた認証が完了していないため、ＣＰＵ１１０はユーザＩＤを“ｕｎｋｎｏｗｎ”として認証結果テーブルにレコードを追加する。

ＣＰＵ１１０は、カメラ画像内にＳ８０４で選択したことのない顔データが含まれているか否かを判定する（Ｓ８０８）。カメラ画像に含まれるすべての顔データを選択済みであれば、ＣＰＵ１１０は処理をＳ８０１に戻す。カメラ画像内に選択していない顔データが含まれている場合、ＣＰＵ１１０はＳ８０４に処理を進める。１枚のカメラ画像に対して２回目以降のＳ８０４の処理では、ＣＰＵ１１０はこれまでに選択してない顔データを選択するものとする。

ＣＰＵ１１０は選択した顔データが認証済みの顔データであるか否かを判定する（Ｓ８０９）。ＣＰＵ１１０は認証結果管理部４１２を制御し認証結果テーブルを参照する。ＣＰＵ１１０は認証結果テーブルにおいて、選択した顔データに付与されている追尾ＩＤに対応するユーザＩＤが“ｕｎｋｎｏｗｎ”でなければ、当該顔データは認証済みの顔データであると判定する。選択した顔データが認証済みの顔データである場合、ＣＰＵ１１０はＳ８１４に処理を進める。Ｓ８０９で認証済みのユーザの顔データか否かを判定することにより、認証済みのユーザの顔データを使った認証を複数回行ってしまうことを防ぐことができる。これにより画像形成装置１０の処理負荷を減らし、カメラ画像に含まれる複数人の顔データの認証に必要な時間を短くすることができる。

選択した顔データが認証済みの顔データでない場合、ＣＰＵ１１０は顔データを用いてユーザ認証を行う（Ｓ８１０）。Ｓ８１０において、ＣＰＵ１１０はカメラ画像解析部４１０を制御し、顔データを認証部４１１に送信させる。認証部４１１はカメラ画像解析部４１０から受信した顔データと顔データ管理テーブルの情報を用いて、顔認証を行う。顔認証が成功した場合、ＣＰＵ１１０は認証部４１１から顔認証の結果として認証されたユーザのユーザＩＤを受け取る。顔認証が失敗した場合、ＣＰＵ１１０は認証部４１１から顔認証が失敗した旨を示す通知を受け取る。

ＣＰＵ１１０は認証部４１１から受信した情報に基づき、顔認証が成功したか否かを判定する（Ｓ８１１）。認証が成功している場合、ＣＰＵ１１０は認証結果管理部４１２を制御し、認証結果テーブルの当該顔データの追尾ＩＤに対応するユーザＩＤを認証されたユーザのユーザＩＤで更新する（Ｓ８１２）。一方で、認証が失敗した場合、ＣＰＵ１１０は認証結果管理部４１２を制御し、認証失敗を示す情報で認証結果テーブルの当該顔データの追尾ＩＤに対応するユーザＩＤを更新する（Ｓ８１３）。例えば、認証が失敗した場合、ＣＰＵ１１０は顔認証に用いた顔データの追尾ＩＤに対応するユーザＩＤを“ｆａｉｌｕｒｅ”とする。これにより、ＣＰＵ１１０は認証結果テーブルを参照することで、認証処理済みであるが認証に失敗したユーザを識別することができる。

ＣＰＵ１１０は、カメラ画像内に一度も選択されていない顔データがあるか否かを判定する（Ｓ８１４）。一度も選択されていない顔データがある場合、ＣＰＵ１１０は処理をＳ８０４に戻す。

カメラ画像に含まれるすべての顔データを選択済みの場合、ＣＰＵ１１０はＳ８１５に記載の処理を実行する。

ＣＰＵ１１０は、カメラ画像に含まれる顔データのなかに面積が閾値ＴＨ２よりも大きな顔データがあるか否かを判定する（Ｓ８１５）。閾値ＴＨ２は領域Ｒ３内にユーザがいるか否かを判定するための閾値である。カメラ画像に含まれる顔データのなかに面積がＴＨ２よりも大きい顔データがある場合、ＣＰＵ１１０は領域Ｒ３内にユーザがいると判定しＳ８１８に処理を進める。

カメラ画像に含まれる顔データの面積がいずれもＴＨ２よりも小さい場合、ＣＰＵ１１０はこれまで追尾していた顔データあって、カメラ画像から抽出されなくなった顔データがあるか否かを判定する（Ｓ８１６）。ＣＰＵ１１０はカメラ画像解析部４１０を制御し、これまでに追尾ＩＤを付与した顔データであって、カメラ画像から抽出された顔データに含まれていない顔データがあるか否かを判定する。Ｓ８１６において、ＣＰＵ１１０は、一度、領域Ｒ１の内側に入ったものの、画像形成装置１０の近くを通りすぎたなど、画像形成装置１０を操作することなく領域Ｒ１の外に出たユーザがいるか否かを判定する。

追尾ＩＤが付与されている顔データであって、カメラ画像から抽出されなくなった顔データがない場合、ＣＰＵ１１０はＳ８０１に処理を戻す。追尾ＩＤが付与されている顔データであって、カメラ画像から抽出されなくなった顔データがある場合、ＣＰＵ１１０は抽出されなくなった顔データに対応する追尾ＩＤのレコードを認証結果テーブルから削除し、Ｓ８０１に処理を戻す。

Ｓ８１５において、カメラ画像に面積が最も大きな顔データがある場合、ＣＰＵ１１０は面積が最も大きな顔データが認証の完了している顔データであるか否かを判定する（Ｓ８１８）。ＣＰＵ１１０は、認証結果管理部４１２を制御し、顔データの面積が最も大きいと判定された顔データに付与された追尾ＩＤに対応するユーザＩＤを取得する。ＣＰＵ１１０は取得したユーザＩＤが“ｕｎｋｎｏｗｎ”または“ｆａｉｌｕｒｅ”のいずれでもない場合に認証が完了していると判定する。一方で取得したユーザＩＤが“ｕｎｋｎｏｗｎ”または“ｆａｉｌｕｒｅ”である場合、ＣＰＵ１１０は認証が完了していないと判定する。

認証が完了している場合、ＣＰＵ１１０は最も面積の大きい顔データに付与された追尾ＩＤに対応するユーザＩＤを用いてログイン処理を実行する（Ｓ８１９）。ここで画像形成装置１０のログイン処理を説明する。画像形成装置１０のＨＤＤ１１７には、表３に示すログイン情報テーブルが記憶されている。ログイン情報テーブルはユーザＩＤと当該ユーザＩＤを用いて画像形成装置１０にログインがなされた場合に表示する画面の情報が対応づけて記憶されている。画面の情報とは、たとえば、画面表示に用いられる表示言語や、ログイン後最初に表示される画面の種類、画像形成装置１０の実行する各機能のデフォルト設定の設定値などである。ＣＰＵ１１０はログイン情報テーブルに記憶されたレコードから面積の最も大きい顔データに付与された追尾ＩＤに対応するユーザＩＤのレコードを特定する。そして、ＣＰＵ１１０は特定したレコードの設定情報に基づき画面を生成し、表示部２０２に表示させる。

認証が完了していない場合、ＣＰＵ１１０は表示部２０２に図７（ｂ）に示すログイン画面を表示する（Ｓ８２０）。ＣＰＵ１１０はログイン画面表示後、入力部２０３を介したユーザＩＤ、パスワードの入力を受け付ける。ユーザがユーザＩＤ、パスワードを入力し“ログイン”７０３を選択したことに従って、ＣＰＵ１１０はログイン画面に入力されたユーザＩＤ、パスワードを認証部４１１に送信する。認証部４１１はＣＰＵ１１０から受け取ったユーザＩＤ、パスワードと、顔データテーブルを比較し、ユーザの認証処理を行う。認証が成功した場合、認証部４１１はユーザＩＤとユーザ認証が成功した旨をＣＰＵ１１０に返す。認証が失敗した場合、認証部４１１は認証が失敗した旨の通知をＣＰＵ１１０に返す。ログイン画面を表示することで、顔認証によるユーザ認証が完了する前にユーザが画像形成装置１０の前に到達した場合や、顔データによる認証が失敗していた場合であってもユーザを画像形成装置１０にログインさせることができる。本実施例では、ログイン画面で入力されたユーザＩＤ、パスワードを使った認証の際に、顔データを用いた認証と同じ情報を用いて認証を行うとした。顔認証時と異なる認証用のデータを使って認証を行ったり、入力されたユーザＩＤ、パスワードを外部のサーバに送信して外部サーバで認証を行うとしてもよい。また、Ｓ８２０では図７（ｂ）に示すログイン画面を介してユーザＩＤやパスワードを入力することで認証を行うとした。Ｓ８２０における認証は、画面を介して入力されたデータに基づく認証に限らず、ＩＣカードによる認証や指紋等の生態情報を用いた認証であってもよい。

ＣＰＵ１１０は、入力されたユーザＩＤ、パスワードによるユーザ認証が成功したか否かを判定する（Ｓ８２１）。ＣＰＵ１１０は認証部４１１から受信した情報に基づき、認証が成功したか否かを判定する。

認証が成功していない場合、ＣＰＵ１１０はＳ８０１に処理を戻す。認証が成功している場合、ＣＰＵ１１０は表３に示すログイン情報テーブルに基づきログイン処理を実行する（Ｓ８２２）。ＣＰＵ１１０はログイン情報テーブルから認証されたユーザのユーザＩＤに対応するレコードを特定する。そして、ＣＰＵ１１０は特定したレコードの設定情報に基づき画面を生成し、表示する。このようにすることで、画像形成装置１０はログインしたユーザに適した画面を表示することができる。

最後に図９〜図１１を用いて、図８において説明した顔認証処理を実行した場合に画像形成装置がどのように動作するか模式図を用いて説明する。

図９はユーザが画像形成装置１０を使用するために、画像形成装置１０に近づいてきた場合を示す図である。

まず、ユーザが９０１まで来て領域Ｒ１に入ると、カメラ画像解析部４１０はカメラユニット１１が撮像したカメラ画像からユーザの顔データを取得することができるようになる。しかし、まだこの段階ではカメラ画像から抽出された顔データの大きさが十分ではないため、顔認証処理は行われない。

次にユーザが９０２まで来て領域Ｒ２に入ると、カメラ画像解析部４１０はカメラユニット１１が撮像したカメラ画像から顔データを取得し、認証部４１１に認証させる。ユーザが領域Ｒ３に到達することでカメラ画像から取得された顔データの大きさが顔認証を行うのに十分な大きさになる。認証部４１１による認証が完了すると、カメラ画像解析部４１０は顔データに追尾ＩＤを割り振り、以降カメラユニット１１が画像を撮像する度に当該顔データを追尾する。また、認証部４１１は認証が完了すると、認証結果を認証結果管理部４１２に登録する。

次いで、ユーザが、９０３の位置まで来て領域Ｒ３に到達すると、ＣＰＵ１１０は９０３に到達したされるユーザの追尾ＩＤに対応するユーザＩＤを用いて設定情報を取得し、ログイン後の画面を表示部２０２に表示する。ユーザが９０２から９０３まで移動している間に認証処理を完了させることで、ユーザが９０３に到達してからユーザを待たせることなくログイン後の画面を表示することができる。

図１０はユーザが画像形成装置１０の前を横切ったときを示した模式図である。

ユーザが１００１の位置まで来て、領域Ｒ１に到達するとカメラ画像解析部４１０はカメラ画像からユーザの顔データの取得を開始する。図９、同様この段階では顔データによる認証は開始されない。

その後、ユーザが１００２の位置まで移動し、領域Ｒ２に到達するとカメラ画像解析部４１０は撮像したカメラ画像から取得した顔データを認証部４１１に送る。認証部４１１はカメラ画像解析部４１０から取得した顔データに基づく認証を行う。認証部４１１は認証結果を認証結果管理部４１２に格納する。

このまま、ユーザが領域Ｒ３まで行くことなく、位置１００３に移動したとする。このとき、ユーザは領域Ｒ１の外に移動する。カメラ画像解析部４１０はカメラユニット１１が取得したカメラ画像から追尾していたユーザの顔データが取得できなくなったことに従って、認証結果管理部４１２に記憶された認証結果を削除する。

図１１は、２人のユーザが領域Ｒ３の位置まで来たが、２人のうち一方のユーザが領域Ｒ３に入り、画像形成装置１０を使用した場合である。

まず、ユーザが１１０１の位置に来ると、カメラ画像解析部４１０はカメラユニット１１が取得したカメラ画像から１１０１にいるユーザの顔データを取得する。この時点では、いずれのユーザの顔認証もできない。カメラ画像解析部４１０は２人のユーザに追尾ＩＤを付与する。認証結果管理部４１２はそれぞれの顔データに付与された追尾ＩＤを認証結果テーブルに登録する。

ユーザが１１０１から１１０２まで移動し、領域Ｒ２内に入ると、カメラユニット１１が撮像するカメラ画像から取得される顔データに基づく認証が可能となる。

カメラ画像解析部４１０は、顔データを認証部４１１に送る。認証部４１１はカメラ画像解析部４１０から取得した顔データを使って顔認証処理を行う。認証結果管理部４１２は、認証部による認証結果として得られたユーザのユーザＩＤを追尾ＩＤと紐づけて認証結果テーブルに登録する。ここで、人物Ｈ１の顔認証結果が取得済となる。

次いで、１１０２にいるユーザが領域Ｒ３に到達する前に、他のユーザが１１０４に来たとする。このとき、カメラ画像解析部４１０はカメラ画像から１１０４にいつユーザの顔データを取得できるようになる。カメラ画像解析部４１０は、取得した１１０４にいるユーザの顔データに追尾ＩＤを付与し、認証結果管理部４１２に追尾ＩＤを登録する。これにより１１０４にいるユーザの追尾が開始される。さらに、１１０４にいたユーザが１１０５まで移動し領域Ｒ２に入ると、カメラ画像解析部４１０はカメラ画像から取得した顔データを認証部４１１に送る。認証部４１１は取得した１１０５の位置にいるユーザの顔データを用いて顔認証を行う。認証結果管理部４１２は認証部４１１の認証結果を認証結果テーブルに登録する。これにより、１１０３にいるユーザと、１１０５にいるユーザの二人のユーザの認証が完了する。

この段階では、位置１１０２、１１０５にいるユーザのいずれのユーザが画像形成装置１０を使用するユーザであるかわからない。画像形成装置１０はカメラ画像解析部４１０の顔データの追尾機能を使って、領域Ｒ３内まで移動したユーザを判定し、Ｒ３まで移動したユーザが画像形成装置１０を使用するユーザであると判定する。

１１０２にいたユーザが位置１１０３まで移動すると、カメラ画像解析部４１０はカメラユニットが解析したカメラ画像から取得される顔データに基づき、領域Ｒ３に入ったユーザが１１０２から追尾したユーザであると判定する。認証結果管理部４１２は、カメラ画像解析部４１０から領域Ｒ３に到達したユーザの顔データに付与された追尾ＩＤを取得する。認証結果管理部４１２は、認証結果テーブルを参照し、カメラ画像解析部４１０から取得した追尾ＩＤに対応するユーザＩＤを特定し、当該ユーザＩＤを使ったログイン処理を実行する。

画像形成装置１０が上記のように動作することで、ユーザの認証処理自体はユーザがＲ２に到達した時点で完了させておき、ユーザが領域Ｒ３に到達したときにはログイン処理のみを行えばよいようにすることができる。また、本実施例では領域Ｒ３に到達したユーザの追尾ＩＤに対応するユーザＩＤを用いてログイン処理を行う。カメラユニット１１が撮像したカメラ画像から複数のユーザの顔データが取得される場合でも、画像形成装置１０の前に来たユーザに対応する画面を表示部２０２に表示することができる。さらに、このようにすることで、カメラ画像から顔データが取得されるほかのユーザの画面が表示部２０２に表示されてしまうことを防ぐことができる。

以上、説明したように、本実施例によれば、カメラユニット１１が撮像したカメラ画像から取得された顔データを用いて顔認証が行われる装置において、ユーザが画像形成装置１０の前に来てから顔認証を行うよりも早く認証処理を行うことができる。また、カメラユニットが撮像したカメラ画像から複数のユーザの顔データが取得される場合であっても、画像形成装置１０を操作するユーザに対応する画面表示を行うことができる。

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

画像形成装置の前方の画像を撮像する撮像部と、
画面を表示する表示部と、
前記撮像部が撮像した画像からユーザの顔画像を取得する取得手段と、
前記取得手段により取得されたユーザの前記顔画像を用いて前記画像形成装置が第１の距離よりも近くにいる前記ユーザを認証する認証手段と、
前記認証手段により認証されたユーザを追尾する追尾手段と、
前記追尾手段により追尾されたユーザが前記第１の距離よりも前記画像形成装置に近い第２の距離まで近づいたことに基づき、前記ユーザに対応する情報に基づく画面を前記表示部に表示させる制御手段と、を有することを特徴とする画像形成装置。
前記制御手段は、前記認証手段による認証が完了しても、前記追尾手段により追尾されたユーザが前記第２の距離まで近づくまで、前記認証されたユーザに対応する情報に基づく画面を表示しないことを特徴とする請求項１に記載の画像形成装置。
前記取得手段は、前記撮像部が撮像した第１の画像から顔画像を取得し、
前記認証手段は、前記取得手段が取得した前記顔画像に基づき認証を行い、
前記追尾手段は、前記第１の画像よりも後に前記撮像部により撮像された第２の画像において、前記認証手段により認証されたユーザを追尾することを特徴とする請求項１または２に記載の画像形成装置。
前記認証手段は、前記第１の画像から取得された顔画像を用いて認証を行い、前記第２の画像から取得された認証されたユーザに対応する顔画像を用いた認証を行わないことを特徴とする請求項３に記載の画像形成装置。
前記制御手段は、前記認証手段による認証の完了していないユーザが前記第２の距離まで近づいたことに従って、前記ユーザを認証するための情報を入力する画面を前記表示部に表示することを特徴とする請求項１乃至４のいずれか一項に記載の画像形成装置。
前記認証手段は、前記取得手段により取得された所定の閾値よりも大きい顔画像を用いて認証を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像形成装置。
前記制御手段は、前記取得手段により取得された他の所定の閾値よりも大きい顔画像に基づき、前記認証手段により認証されたユーザに対応する情報に基づく画面を前記表示部に表示させることを特徴とする請求項６に記載の画像形成装置。
前記取得手段は、前記撮像部の撮像した画像から、第１の顔画像と第２の顔画像を取得し、
前記認証手段は、前記第１の顔画像と前記第２の顔画像をそれぞれ認証することを特徴とする請求項１乃至７のいずれか一項に記載の画像形成装置。
前記制御手段は、前記第２の距離よりも前記画像形成装置に近いユーザであって、前記画像形成装置に最も近い位置にいるユーザに対応する情報に基づく画面を前記表示部に表示させることを特徴とする請求項１乃至７のいずれか一項に記載の画像形成装置。
前記画像形成装置に最も近いユーザとは、前記取得手段により取得される顔画像の大きさが最も大きなユーザであることを特徴とする請求項９に記載の画像形成装置。
前記追尾手段により追尾されるユーザを識別するための識別情報と、前記追尾されているユーザの前記認証手段による認証結果を対応づけて記憶する記憶手段をさらに有することを特徴とする請求項１乃至１０のいずれか一項に記載の画像形成装置。
前記記憶手段は、前記認証手段による顔画像の認証に用いられるデータと、ユーザを識別する識別情報を対応づけて記憶し、
前記認証手段は、前記取得手段の取得した顔画像と前記記憶手段に記憶した前記データに基づき顔認証を行うことを特徴とする請求項１１に記載の画像形成装置。
前記制御手段は、前記第２の距離まで近づいた第１のユーザに対応づけて記憶された表示言語の画面を前記表示部に表示させることを特徴とする請求項１乃至１２のいずれか一項に記載の画像形成装置。
前記取得手段は、前記撮像部が撮像した画像から人の顔と特定された領域を含む多角形を顔画像として取得することを特徴とする請求項１乃至１３のいずれか一項に記載の画像形成装置。
画像形成装置の前方の画像を撮像する撮像部と、
画面を表示するための表示部と、
前記撮像部が撮像した画像からユーザの顔画像を取得する取得手段と、
前記取得手段により取得されたユーザの前記顔画像であって、第１の距離よりも前記画像形成装置に近いユーザの前記顔画像を用いた認証結果を受信する受信手段と、
前記受信手段により前記認証結果が受信されたユーザを追尾する追尾手段と、
前記追尾手段により追尾されたユーザが前記画像形成装置から第２の距離まで近づいたことに基づき、前記ユーザに対応する情報に基づく画面を前記表示部に表示させる制御手段と、を有することを特徴とする画像形成装置。
画像形成装置の前方の画像を撮像する撮像部と、
画面を表示するための表示部と、を有する画像形成装置の制御方法において、
前記撮像部が撮像した画像からユーザの顔画像を取得する取得工程と、
前記取得工程において取得されたユーザの前記顔画像であって、第１の距離よりも前記画像形成装置に近いユーザの前記顔画像を用いて前記ユーザを認証する認証工程と、
前記認証工程において認証されたユーザを追尾する追尾工程と、
前記追尾工程において追尾されたユーザが前記第１の距離よりも前記画像形成装置に近い第２の距離まで近づいたことに基づき、前記ユーザに対応する情報に基づく画面を前記表示部に表示させる制御工程と、を有することを特徴とする画像形成装置の制御方法。
請求項１６に記載の画像形成装置の制御方法をコンピュータが実現するためのコンピュータプログラム。