JP2016178348A - 情報処理装置、情報処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが装置を使い始めるまでの複数の処理を、１つのセンサの出力に基づいて行うこと。
【解決手段】操作部ＣＰＵ１３１が、カメラ１６１により撮像された画像データを用いて動体を検出し、動体を検出した場合、画像処理ＬＳＩ１６３に電力供給を開始させるとともに、カメラ１６１により撮像された画像データが画像処理ＬＳＩ１６３へ出力されるようにバススイッチ１６２を切り替える。起動した画像処理ＬＳＩ１６３は、カメラ１６１により撮像された画像データを用いて画像形成装置１０を使用するユーザを検出し、ユーザを検出した場合、画像形成装置１０をスリープ復帰させる。さらに、画像処理ＬＳＩ１６３が、カメラ１６１により撮像された画像データを用いてユーザの顔認証を行い、顔認証に成功した場合、画像形成装置１０を使用可能な状態に制御する。
【選択図】図３

Description

本発明は、情報処理装置、情報処理装置の制御方法、及びプログラムに関するものである。

近年、カメラが撮像した画像データに対して解析処理を行うことで、人の動きの検出や、顔のデータから個人の識別および認証等を行う技術が実用化されている。
特許文献１で提案されている技術は、焦電センサ、人検出カメラ、顔認識カメラの３つのセンサを段階的に起動させることにより省電力制御を行うものである。まず、焦電センサが画像形成装置前方の動体を検出すると、人検出カメラに電力が供給される。人検出カメラでは、画像形成装置前方に存在する人がその画像形成装置を使用するユーザであるか否か判断する。そして、人検出カメラが画像形成装置前方に存在する人を画像形成装置を使用するユーザであると判断した場合に、顔認識カメラに電力が供給される。顔認識カメラは撮像したユーザの顔データを元に認証処理を行うために使用される。このように、特許文献１では、焦電センサ、人検出カメラ、顔認識カメラの３つのセンサを段階的に起動させることによって、ユーザが画像形成装置を使い始めるまでの利便性を高めつつ、省エネルギー性を担保している。

特開２０１４−９８８９４号公報

上記特許文献１で提案されている技術は、動体検出、ユーザ検出及びユーザ認証を行うために、上述したように、焦電センサ、人検出用カメラ、顔認識カメラの３つのセンサが必要である。即ち、従来では、ユーザが画像形成装置を使い始めるまでの複数の検出処理を行う場合、複数のセンサが必要である。しかし、複数のセンサを画像形成装置に配置するためには、配置レイアウトを工夫しなければならないばかりか、製品コストを押し上げる要因となってしまう。すなわち、画像形成装置では、動体検出、ユーザ検出およびユーザ認証等のユーザが画像形成装置を使い始めるまでの複数の処理を、消費電力を抑えたまま、より少ないセンサで実現することが望まれている。

本発明は、上記の問題点を解決するためになされたものである。本発明の目的は、ユーザが装置を使い始めるまでの複数の処理を、１つのセンサの出力に基づいて行うことができる仕組みを提供することである。

本発明は、情報処理装置であって、撮像手段と、前記撮像手段により撮像された画像データを用いて動体を検出する動体検出処理を行う第１制御手段と、前記撮像手段により撮像された画像データを用いて前記情報処理装置を使用するユーザを検出するユーザ検出処理を行う第２制御手段と、を有し、前記第１制御手段は、前記動体検出処理により動体を検出した場合に、前記第２制御手段の電力状態を前記ユーザ検出処理が可能な状態に移行させるとともに、前記画像データが前記第２制御手段へ出力されるように制御することを特徴とする。

本発明によれば、ユーザが装置を使い始めるまでの複数の処理を、撮像手段である１つのセンサの出力に基づいて行うことができる。
よって、従来のように、装置に複数のセンサを配置する必要がないため、センサ設置のために配置レイアウトを工夫する必要がなく、これに起因した製品コストを押し上げる等のことも抑えられる。即ち、センサの配置レイアウトが容易で製品コストの上昇を抑えることが可能であり、省電力性およびユーザ利便性の双方を実現可能な情報処理装置を提供することができる。

本実施例の画像形成装置の外観図 画像形成装置のハードウェア構成図 実施例１の画像解析ユニット及び操作部ＣＰＵ周辺の詳細構成図 実施例１の操作部ＣＰＵが実行する処理を例示するフローチャート 実施例１の画像処理ＬＳＩが実行する処理を例示するフローチャート 実施例２の画像解析ユニット及び操作部ＣＰＵ周辺の詳細構成図 実施例２の操作部ＣＰＵが実行する処理を例示するフローチャート 実施例２の画像処理ＬＳＩが実行する処理を例示するフローチャート

以下、本発明を実施するための形態について図面を用いて例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

図１は、本発明の一実施例を示す画像形成装置の外観を例示する図である。なお、図１（ａ）は側面図、図１（ｂ）は上面図に対応する。
図１において、１０は本実施例の画像形成装置である。画像形成装置１０は、プリント機能、スキャナ機能、コピー機能、ＦＡＸ機能などの複数の機能を有した画像処理装置である。この画像形成装置１０は、画像形成装置１０に接近する人の画像を解析するための画像解析ユニット１６を備える。この画像解析ユニット１６は、内部にカメラ１６１（図２）を備える。カメラ１６１は、カメラ向き（撮影方向）が、図１中に破線で示されるように、人の顔や手の動き等を撮影できるような向きに設置されている。図１に示す例では、カメラ向きが、垂直方向において斜め上方、水平方向において斜め左方（操作部１３の方向）となるようにカメラ１６１が設置されている。

図２は、画像形成装置１０のハードウェア構成を例示するブロック図である。
画像形成装置１０は、画像形成装置１０の動作を統括するコントローラ１１、操作部１３、スキャナ部１４、プリンタ部１５及び画像解析ユニット１６を備えている。

コントローラ１１は、操作部１３、スキャナ部１４、プリンタ部１５及び画像解析ユニット１６と通信可能である。コントローラ１１は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、電源制御部１１４、入出力Ｉ／Ｆ１１５、及びＬＡＮコントローラ１１６を備え、それらはシステムバス１１７に接続されている。また、コントローラ１１は、ＨＤＤ１１８、画像処理部１１９、スキャナＩ／Ｆ１２０及びプリンタＩ／Ｆ１２１を備え、それらは画像バス１２２に接続されている。

ＣＰＵ１１１は、ＲＯＭ１１３に記憶された制御プログラム等に基づいて接続中の各種デバイスとのアクセスを統括的に制御すると共に、コントローラ１１で実行される各種処理についても統括的に制御する。さらに、ＣＰＵ１１１は、操作部１３が一定時間操作されず、かつ外部装置２０からジョブを受信しないなど、画像形成装置１０が所定時間使用されない場合は、電源制御部１１４を介して、画像形成装置１０の電力モードをＳｔａｎｂｙモードからＳｌｅｅｐモードに移行させる。

Ｓｔａｎｂｙモード（スタンバイモード）は、スキャナ部１４による読取動作や、プリンタ部１５による印刷動作を実行することが可能な状態である。Ｓｌｅｅｐモード（スリープモード）は、Ｓｔａｎｂｙモードより消費電力の少ない省電力状態であり、この省電力状態から復帰するために必要なＬＡＮコントローラ１１６、電源制御部１１４、操作部ＣＰＵ１３１、カメラ１６１、バススイッチ１６２のみに電力が供給されている。

ＲＡＭ１１２は、ＣＰＵ１１１が動作するためのシステムワークメモリであり、画像データを一時記憶するためのメモリでもある。ＲＯＭ１１３には、装置のブートプログラムや必要なデータなどが格納されている。

電源制御部１１４は、画像形成装置１０の電源を制御するブロックであり、ＣＰＵ１１１からの指示、ユーザによる節電ボタン（不図示）の操作により電源の制御を行う。電源制御部１１４は、電源スイッチ（不図示）による電源オフの操作を検出することが可能であり、検出した結果を電源オフ要求としてＣＰＵ１１１に通知することができる。ＣＰＵ１１１は、電源オフ要求を受信することで、画像形成装置１０を電源オフできる状態へと移行させ、電源制御部１１４に対して電源停止の指示を行う。

ＬＡＮコントローラ１１６は、ネットワーク３０に接続される外部装置２０と情報の送受信を行う。ＨＤＤ１１８はハードディスクドライブであり、システムソフトウェアや画像データを格納する。画像処理部１１９は、画像処理を行うためのものであり、ＲＡＭ１１２に記憶された画像データを読み出し、ＪＰＥＧ、ＪＢＩＧなどの拡大または縮小および、色調整などの画像処理を行う。

スキャナＩ／Ｆ１２０は、スキャナ部１４のスキャナ制御部１４１と通信するためのインタフェース部である。プリンタＩ／Ｆ１２１は、プリンタ部１５のプリンタ制御部１５１と通信するためのインタフェース部である。画像バス１２２は、画像データをやり取りするための伝送路であり、ＰＣＩバスやＩＥＥＥ１３９４等のバスで構成されている。

スキャナ部１４は、原稿から光学的に画像を読み取り画像データを生成する。スキャナ部１４は、スキャナ制御部１４１とスキャナ駆動部１４２とを有する。スキャナ駆動部１４２は、原稿を読み取る読取ヘッドを移動させるための駆動部、原稿を読取位置まで搬送するための駆動部などを含む。スキャナ制御部１４１は、スキャナ駆動部１４２の動作を制御する。スキャナ制御部１４１は、スキャナ処理を行う際にユーザによって設定された設定情報をＣＰＵ１１１との通信により受信し、当該設定情報に基づいてスキャナ駆動部１４２の動作を制御する。

プリンタ部１５は、例えば電子写真方式に従って記録媒体（用紙）に画像を形成する。このプリンタ部１５は、プリンタ制御部１５１とプリンタ駆動部１５２とを有する。プリンタ駆動部１５２は、図示しない感光ドラムを回転させるモータ、定着器を加圧するための機構部、ヒータなどを含む。プリンタ制御部１５１は、プリンタ駆動部１５２の動作を制御する。プリンタ制御部１５１は、プリント処理を行う際にユーザによって設定された設定情報をＣＰＵ１１１との通信により受信し、当該設定情報に基づいてプリンタ駆動部１５２の動作を制御する。

操作部１３は、ユーザが画像形成装置１０を操作するためのものであり、画像形成装置１０とユーザ間での情報の入出力を行う。操作部１３は、操作部ＣＰＵ１３１、表示部１３２、及び入力部１３３、ＦＥＴ１３４等を備える。さらに、操作部１３は、ＮＦＣリーダライタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール等のユーザの持つ携帯端末とデータをやり取りするためのインタフェースを備えていてもよい。

表示部１３２は、ＬＣＤやＬＥＤ等を備える。入力部１３３は、及びタッチパネル、ハードウェアキー等を備える。ＦＥＴ１３４は、画像処理ＬＳＩ１６３への電力供給を制御するための電界効果トランジスタ（Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）である。操作部ＣＰＵ１３１は、操作部ＣＰＵ１３１の内部に設けられた不図示のＲＯＭや操作部１３内に設けられた不図示のフラッシュメモリ等に格納されたプログラムを読み出して実行することにより、後述するフローチャートに示すような処理を実現する。

画像解析ユニット１６は、カメラ１６１、バススイッチ１６２、及び画像処理ＬＳＩ１６３を有する画像解析部である。カメラ１６１は、イメージセンサにより人の動きや顔のデータを撮像するためのものである。バススイッチ１６２は、カメラ１６１で撮像された画像データの出力先を変更するためのものである。画像処理ＬＳＩ１６３は、画像データを高度なアルゴリズムで解析するためのものである。画像処理ＬＳＩ１６３は、画像処理ＬＳＩ１６３の内部に設けられた不図示のＲＯＭや、画像解析ユニット１６内に設けられた不図示のフラッシュメモリ等に格納されたプログラムを読み出して実行することにより、後述するフローチャートに示すような処理を実現する。

本実施例におけるカメラ１６１は、例えば、画像データを８ｂｉｔのパラレル信号で出力可能であり、カメラ１６１の撮像解像度を４０×３０の低解像度から６４０×４８０のＶＧＡ形式まで変更可能であるものとする。バススイッチ１６２は、８ｂｉｔのパラレル信号の出力先を変更可能なＣＭＯＳ８ｂｉｔバススイッチである。

画像形成装置１０の前方に人が存在しない状態では、カメラ１６１は低解像度に設定されており、バススイッチ１６２のデータの流れはＹＡに設定されている。また、ＦＥＴ１３４はＯＦＦ状態であり、画像処理ＬＳＩ１６３には電力が供給されていない状態である。バススイッチ１６２は、電力が供給されているカメラ１６１と電力が供給されていない画像処理ＬＳＩとを電気的に絶縁することによって、画像処理ＬＳＩ１６３の外部端子にかかる電気的ストレスを低減する役目も果たしている。

この状態では、カメラ１６１が撮像した画像データは操作部ＣＰＵ１３１によって処理される。操作部ＣＰＵ１３１は、カメラ１６１から一定時間毎に画像を取得し、操作部ＣＰＵ１３１内蔵のＲＡＭ（不図示）にデータを保存する。なお、カメラ１６１が低解像度に設定されておらず、内蔵のＲＡＭの容量に対して画像データの割合が大きな場合は、外付けのＳＤＲＡＭ（不図示）等に保存してもよい。操作部ＣＰＵ１３１は、内蔵ＲＡＭに保存してある画像と新しく取得した画像の差分を取り、一定以上の差があれば画像形成装置１０の前方に動体が存在すると判断する背景差分法により、動体検出処理を行う。よって、操作部ＣＰＵ１３１は、画像データの加工や解析を行う必要がなく、操作部ＣＰＵ１３１に求められる性能は画像処理ＬＳＩ１６３に比べて非常に小さい。ただし、操作部ＣＰＵ１３１の処理能力に余裕があれば、画像データにフィルタリング等の加工処理を行ってもよい。

操作部ＣＰＵ１３１は、動体を検出したと判断した場合、ＦＥＴ１３４をＯＮ状態に設定する。これにより、画像処理ＬＳＩ１６３に電力が供給される。さらに、操作部ＣＰＵ１３１は、カメラ１６１の解像度を高解像度に設定し、バススイッチ１６２のデータの流れをＹＢに設定する。これにより、画像処理ＬＳＩ１６３に高解像度の画像データが出力されることになる。画像処理ＬＳＩ１６３は、入力される画像データに基づいて、画像形成装置１０の前方に存在する人が画像形成装置１０を使用する意思のあるユーザであるか否かの判断を行うユーザ検出処理を行う。

以上のように、本実施例の画像形成装置１０では、動体が非検出である場合は、消費電力の小さな操作部ＣＰＵ１３１が処理を行うことによって省エネルギー性を高めている。一方、動体が検出した後には、消費電力が大きいが処理能力の高い画像処理ＬＳＩ１６３が動作することによって、ユーザ利便性を高めている。

図３は、実施例１の画像解析ユニット１６及び操作部ＣＰＵ１３１周辺の詳細構成を示すブロック図である。
図３において、カメラ制御信号（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ）１３１１は、操作部ＣＰＵ１３１がカメラ１６１内部のレジスタ設定等を行い、画像のフォーマット、解像度およびフレームレート等を変更するための制御信号である。バススイッチ制御信号（Ｓｗｉｔｃｈ Ｃｏｎｔｒｏｌ）１３１２は、操作部ＣＰＵ１３１がバススイッチ１６２のデータの流れを切り替えるための制御信号である。

カメラＲＥＡＤＹ信号（Ｃａｍｅｒａ Ｒｅａｄｙ）１３１３は、カメラ１６１内部のレジスタ設定や、バススイッチ制御信号１３１２が適切に設定完了したか否かを、操作部ＣＰＵ１３１から画像処理ＬＳＩ１６３に通知するための信号である。ＬＳＩ電源制御信号（ＬＳＩ Ｐｏｗｅｒ Ｃｏｎｔｒｏｌ）１３１４は、ＦＥＴ１３４をＯＮ／ＯＦＦを切り替えることにより、画像処理ＬＳＩ１６３への電力供給状態を切り替えるための制御信号である。ＦＥＴ１３４がＯＦＦの場合、画像処理ＬＳＩ１６３は電力供給のない状態であり、ＦＥＴ１３４がＯＦＦからＯＮへ切り替えられると、画像処理ＬＳＩ１６３への電力供給が開始され、画像処理ＬＳＩ１６３が起動する。

画像処理ＬＳＩ１６３は、カメラから画像データを取得し、画像データから人がいるか否かを検出する。例えば、画像処理ＬＳＩ１６３は、パターンマッチングやＨＯＧ特徴量等を用いた識別アルゴリズムを実行する。人を検出した場合、画像処理ＬＳＩ１６３は、人検出信号１６３１（Ｈｕｍａｎ Ｄｉｔｅｃｔ）をアサートする。
操作部ＣＰＵ１３１は、背景差分法により動体が検出できないとき、すなわち画像データ内に静止物体しか存在しないときに、画像データを保存し、背景更新を行う。すなわち、人検出信号１６３１がアサートされている場合、画像形成装置１０の前に人（動体）が存在するため、操作部ＣＰＵ１３１は背景更新を行わない。

画像処理ＬＳＩ１６３は、画像データ内に人を検出し、且つ、その人が画像形成装置１０を使用するユーザか否か判断する。例えば、画像処理ＬＳＩ１６３は、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた識別アルゴリズムを実行し、画像データ内から顔の方向や視線の方向等を検出し、その方向が画像形成装置１０の方向を向いていたらユーザであると判断する。画像形成装置１０を使用するユーザを検出した場合、画像処理ＬＳＩ１６３は、スリープ復帰信号（Ｗａｋｅ Ｕｐ Ｉｎｔｅｒｒｕｐｔ）１６３２をアサートし、ユーザが画像形成装置１０の前に存在することを電源制御部１１４に通知する。この通知を受けた後、電源制御部１１４は、画像形成装置１０の電力モードをＳｌｅｅｐモードからＳｔａｎｂｙモードに移行させてもよい。

上述のようにユーザを検出した場合、画像処理ＬＳＩ１６３は、画像データから得られた特徴量データと、予め登録してある特徴量データを照合し、画像形成装置１０の前に存在するユーザが画像形成装置１０の使用許可を受けているか否かを認証する認証処理を行う。例えば、顔画像を予め画像処理ＬＳＩ１６３内蔵のＲＯＭやＨＤＤ１１８もしくはネットワーク上の外部サーバ等に保存しておき、そのデータを画像処理ＬＳＩ１６３が入出力Ｉ／Ｆ１１５を通じて取得する。その後、画像処理ＬＳＩ１６３は、カメラ１６１から取得した画像データと、上記内蔵のＲＯＭ等から取得したデータとの類似度等を計算し、その類似度が一定以上のスコアであれば使用許可を受けているユーザであると判断する。そして、使用許可を受けているユーザを検出した場合、画像処理ＬＳＩ１６３は、ログイン許可信号（Ｌｏｇｉｎ Ｅｎａｂｌｅ）１６３３をアサートし、ＣＰＵ１１１に顔認証が成功したことを通知する。この通知を受けた後、ＣＰＵ１１１は、認証の結果に応じて画像形成装置１０を制御する。

図４は、実施例１の操作部ＣＰＵ１３１が実行する処理を例示するフローチャートである。このフローチャートの処理は、操作部ＣＰＵ１３１が内蔵のＲＯＭ等に格納されたプログラムを読み出して実行することにより実現されるものである。

操作部ＣＰＵ１３１は、電源投入がされて起動すると、本フローチャートの処理を開始する。
まず、Ｓ４０１において、操作部ＣＰＵ１３１は、カメラ１６１のレジスタ設定やバススイッチ１６２の設定等、システムが正常に動作するよう初期設定を行う。
初期設定が適切になされた後、Ｓ４０２において、操作部ＣＰＵ１３１は、カメラＲＥＡＤＹ信号をアサートし、画像処理ＬＳＩ１６３にシステムの設定が完了したことを通知する。

次に、Ｓ４０３において、操作部ＣＰＵ１３１は、画像処理ＬＳＩ１６３から人検出信号がネゲートされるまで待つ。ここでは、操作部ＣＰＵ１３１は、動体が画像形成装置１０の前から存在しなくなるのを待っている。
そして、人検出信号がネゲートされたと判定した場合（Ｓ４０３でＹｅｓの場合）、操作部ＣＰＵ１３１は、Ｓ４０４において、バススイッチのデータの流れをＹＡに設定する。

次に、Ｓ４０５において、操作部ＣＰＵ１３１は、画像処理ＬＳＩ１６３への電源供給を遮断し、Ｓ４０６において、カメラの解像度を低解像度に設定する。

次に、Ｓ４０７において、操作部ＣＰＵ１３１は、カメラ１６１から画像データを取得し、この画像データを、初期の背景画像データとして内蔵ＲＡＭに保存する。この際、画像データのランダムノイズ低減のため、操作部ＣＰＵ１３１は、画像データを一定時間毎に複数回取得し、その平均化した画像を初期の背景画像データとしてもよい。

操作部ＣＰＵ１３１は、操作部ＣＰＵ１３１に内蔵のタイマーで１００ｍｓｅｃの計測をスタートさせ、Ｓ４０８において、前記タイマーが１００ｍｓｅｃの計測を完了するまで待つ。そして、前記タイマーが１００ｍｓｅｃの計測を完了したと判定した場合（Ｓ４０８でＹｅｓの場合）、操作部ＣＰＵ１３１は、前記タイマーをリスタートし、Ｓ４０９に処理を進める。即ち、操作部ＣＰＵ１３１は、１００ｍｓｅｃ毎に処理をＳ４０９以降の処理を行うように制御する。

Ｓ４０９において、操作部ＣＰＵ１３１は、動体検出フラグが「ＴＲＵＥ」か否かを判定する。そして、動体検出フラグが「ＴＲＵＥ」でないと判定した場合（Ｓ４０９でＮｏの場合）、操作部ＣＰＵ１３１は、画像データの取得（Ｓ４１０）、背景差分（Ｓ４１１）、二値化（Ｓ４１２）、ラベリング（Ｓ４１３）等の画像処理を行う。
詳細には、Ｓ４１０において、操作部ＣＰＵ１３１は、カメラ１６１から画像データを取得する。さらに、Ｓ４１１において、操作部ＣＰＵ１３１は、上記Ｓ４１０で取得した画像データと、上述の背景画像データとの差分を取る。さらに、Ｓ４１２において、操作部ＣＰＵ１３１は、上記Ｓ４１１で生成した差分データを閾値処理によって二値化する。さらに、操作部ＣＰＵ１３１は、上記Ｓ４１２で生成した二値データから、ラベリング処理によりかたまりを抽出する。

次に、Ｓ４１４において、操作部ＣＰＵ１３１は、上記４１３のラベリング処理で抽出されたかたまりに、予め定めた閾値以上の面積を持つかたまりが存在するか否か判定する。そして、予め定めた閾値以上の面積を持つかたまりが存在しないと判定した場合（Ｓ４１４でＮｏの場合）、操作部ＣＰＵ１３１は、Ｓ４１５に処理を進める。
Ｓ４１５において、操作部ＣＰＵ１３１は、上記Ｓ４１０で取得した画像データ内に動体が存在しないと判断し、その画像を新たに背景データとして内蔵ＲＡＭに保存し、Ｓ４０８に処理を移行する。

一方、上記Ｓ４１４において、予め定めた閾値以上の面積を持つかたまりが存在すると判定した場合（Ｓ４１４でＹｅｓの場合）、操作部ＣＰＵ１３１は、その画像データ内に動体が存在すると判断し、Ｓ４１６に処理を進める。即ち、操作部ＣＰＵ１３１は、背景差分法により動体を検出する。

Ｓ４１６において、操作部ＣＰＵ１３１は、ＦＥＴ１３４を操作する（ＯＮにする）ことによって画像処理ＬＳＩ１６３への電源供給を許可する。
次に、Ｓ４１７において、操作部ＣＰＵ１３１は、カメラの解像度を高解像度に設定する。さらに、Ｓ４１８において、操作部ＣＰＵ１３１は、バススイッチ１６２のデータの流れをＹＢに設定する。即ち、操作部ＣＰＵ１３１は、カメラ１６１により撮像された画像データが画像処理ＬＳＩ１６３へ出力されるように制御する。

また、Ｓ４１９において、操作部ＣＰＵ１３１は、動体検出フラグを「ＴＲＵＥ」に設定して、それ以降は１００ｍｓｅｃ毎の処理タイミングが来ても画像データ取得等（Ｓ４１０〜Ｓ４１９）を行わないようにし、Ｓ４０８に処理を移行する。

上記Ｓ４０９において、動体検出フラグが「ＴＲＵＥ」であると判定した場合（Ｓ４０９でＹｅｓの場合）、操作部ＣＰＵ１３１は、Ｓ４２０に処理を進める。
Ｓ４２０において、操作部ＣＰＵ１３１は、人検出信号１６３１がネゲートされているか否かを判定する。そして、人検出信号１６３１がネゲートされていないと判定した場合（Ｓ４２０でＮｏの場合）、操作部ＣＰＵ１３１は、Ｓ４０８に処理を移行する。即ち、動体検出フラグを「ＴＲＵＥ」に設定後、画像処理は画像処理ＬＳＩ１６３で行われるため、操作部ＣＰＵ１３１は、再び人検出信号１６３１がネゲートされるまで待つ。

一方、人検出信号１６３１がネゲートされたと判定した場合（Ｓ４２０でＹｅｓの場合）、操作部ＣＰＵ１３１は、Ｓ４２１に処理を進める。
Ｓ４２１〜Ｓ４２４において、操作部ＣＰＵ１３１は、初期起動時の処理（Ｓ４０４〜Ｓ４０７）と同様の処理を行う（Ｓ４０４〜Ｓ４０７と同様のため説明は省略する）。詳細は後述する図５で説明するが、画像処理ＬＳＩ１６３によりカメラ１６１により撮像された画像データ内に人が存在しないと判断された場合に人検出信号１６３１がネゲートされる。即ち、操作部ＣＰＵ１３１は、画像処理ＬＳＩ１６３によりカメラ１６１により撮像された画像データ内に人が存在しないと判断された場合に、背景差分法における背景画像データを更新する。
さらに、Ｓ４２５において、操作部ＣＰＵ１３１は、動体検出フラグを「ＦＡＬＳＥ」に設定し、Ｓ４０８に処理を移行する。

図５は、実施例１の画像処理ＬＳＩ１６３が実行する処理を例示するフローチャートである。このフローチャートの処理は、画像処理ＬＳＩ１６３が内蔵のＲＯＭ等に格納されたプログラムを読み出して実行することにより実現されるものである。

画像処理ＬＳＩ１６３は、電源投入がされると、本フローチャートの処理を開始する。まず、Ｓ５０１において、画像処理ＬＳＩ１６３は、人検出信号１６３１をアサートに設定する。
次に、Ｓ５０２において、画像処理ＬＳＩ１６３は、カメラＲＥＡＤＹ信号がアサートされるまで待つ。そして、カメラＲＥＡＤＹ信号がアサートされたと判定した場合（Ｓ５０２でＹｅｓの場合）、画像処理ＬＳＩ１６３は、画像処理ＬＳＩ１６３に内蔵のタイマーをスタートさせ、Ｓ５０３に処理を進める。

Ｓ５０３において、画像処理ＬＳＩ１６３は、前記タイマーが１００ｍｓｅｃの計測を完了するまで待つ。そして、前記タイマーが１００ｍｓｅｃの計測を完了したと判定した場合（Ｓ５０３でＹｅｓの場合）、画像処理ＬＳＩ１６３は、前記タイマーをリスタートし、Ｓ５０４に処理を進める。即ち、画像処理ＬＳＩ１６３は、１００ｍｓｅｃ毎に処理をＳ５０４以降の処理を行うように制御する。

Ｓ５０４において、画像処理ＬＳＩ１６３は、カメラ１６１から画像データを取得する。さらに、Ｓ５０５において、画像処理ＬＳＩ１６３は、上記Ｓ５０４で取得した画像データを用いて人が存在するか否かを検出する。例えば、画像処理ＬＳＩ１６３は、パターンマッチングやＨＯＧ特徴量等を用いた識別アルゴリズムを実行して、人の存在を検出する。

そして、人の存在を検出できなかった場合（Ｓ５０５でＮｏの場合）、画像処理ＬＳＩ１６３は、Ｓ５０６に処理を進める。
Ｓ５０６において、画像処理ＬＳＩ１６３は、人検出信号１６３１をネゲートし、Ｓ５１５において、スリープ復帰信号１６３２をネゲートし、Ｓ５０３に処理を移行する。なお、人検出信号１６３１のネゲートにより、画像処理ＬＳＩ１６３への電源供給が遮断される（図４のＳ４２２）。

一方、人の存在を検出でた場合（Ｓ５０５でＹｅｓの場合）、画像処理ＬＳＩ１６３は、Ｓ５０７に処理を進める。
Ｓ５０７において、画像処理ＬＳＩ１６３は、人検出信号１６３１をアサートする。
さらに、Ｓ５０８〜Ｓ５０９において、画像処理ＬＳＩ１６３は、上記Ｓ５０５で検出された人が画像形成装置１０を使用するユーザか否か判定する。例えば、画像処理ＬＳＩ１６３は、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた識別アルゴリズムを実行し、画像データ内から顔の方向や視線の方向等を検出し（Ｓ５０８）、該検出した顔等の方向が画像形成装置１０の方向を向いているかを判定し（Ｓ５０９）、顔の方向等が画像形成装置１０の方向を向いている場合にユーザであると判断する。

そして、上記Ｓ５０９において、上記Ｓ５０８で検出した顔等の方向が画像形成装置１０の方向を向いていないと判定した場合（Ｓ５０９でＮｏの場合）、画像処理ＬＳＩ１６３は、画像形成装置１０を使用するユーザを検出していないと判断し、Ｓ５０３に処理を移行させる。

一方、上記Ｓ５０８で検出した顔等の方向が画像形成装置１０の方向を向いていると判定した場合（Ｓ５０９でＹｅｓの場合）、画像処理ＬＳＩ１６３は、画像形成装置１０を使用するユーザを検出したと判断し、Ｓ５１０に処理を進める。

Ｓ５１０において、画像処理ＬＳＩ１６３は、スリープ復帰信号１６３２をアサートし、ユーザが画像形成装置１０の前に存在することを電源制御部１１４に通知する。なお、この通知を受けた電源制御部１１４は、画像形成装置１０の電力モードをＳｌｅｅｐモードからＳｔａｎｂｙモードに移行させてもよい。

次に、Ｓ５１１において、画像処理ＬＳＩ１６３は、画像データから得られた特徴量データを計算する。
さらに、Ｓ５１２〜Ｓ５１３において、画像処理ＬＳＩ１６３は、上記Ｓ５１１で算出した特徴量データと、予め登録してある特徴量データとを照合し、画像形成装置１０の前に存在するユーザが画像形成装置１０の使用許可を受けているか否かを認証する。例えば、顔画像を予めＬＳＩ内蔵のＲＯＭやＨＤＤ１１８もしくはネットワーク上の外部サーバ等に保存しておき、そのデータを、画像処理ＬＳＩ１６３が入出力Ｉ／Ｆ１１５を通じて取得する。その後、画像処理ＬＳＩ１６３は、カメラ１６１から取得した画像データと取得したデータの類似度等を計算し（Ｓ５１１）、その類似度が一定以上のスコアか否かを判定する（Ｓ５１２）。

そして、類似度が一定以上のスコアではなかったと判定した場合（Ｓ５１２でＮｏの場合）、画像処理ＬＳＩ１６３は、画像形成装置１０の前に存在するユーザが画像形成装置１０の使用許可を受けているユーザではないと判断し、Ｓ５０３に処理を移行する。

一方、類似度が一定以上のスコアであると判定した場合（Ｓ５１２でＹｅｓの場合）、画像処理ＬＳＩ１６３は、画像形成装置１０の前に存在するユーザが画像形成装置１０の使用許可を受けているユーザであると判断し、Ｓ５１４に処理を進める。
Ｓ５１４において、画像処理ＬＳＩ１６３は、ログイン許可信号１６３３をアサートし、ＣＰＵ１１１に顔認証が成功したことを通知し、Ｓ５０３に処理を移行する。なお、ログイン許可信号１６３３を受けたＣＰＵ１１１は、認証の結果に応じて画像形成装置１０を制御する。例えば、ＣＰＵ１１１は、画像形成装置１０を、上記顔認証されたユーザによりログインされた状態にする。

なお、上記Ｓ５０８〜Ｓ５０９では、画像処理ＬＳＩ１６３は、画像データ内から顔の方向や視線の方向等を検出し、該検出した顔等の方向に基づいてユーザ検出を行う構成を示した。しかし、ユーザ検出の方法は、これに限定されるものではなく、例えば、画像処理ＬＳＩ１６３が、動体が画像形成装置１０に接近しているか否かを判断することでユーザ検出する構成でもよい。また、画像処理ＬＳＩ１６３が、画像形成装置１０の前に物体が出現して滞在しているか否かを判断することでユーザ検出する構成でもよい。

以上示したように、実施例１によれば、１つのセンサ（カメラ１６１）からの出力に基づいて、動体検出、ユーザ検出、ユーザ認証の全てを行って、画像形成装置の省電力制御を実現できる。よって、センサの配置レイアウトが容易で製品コストの上昇を抑えた、省電力性およびユーザ利便性の双方を実現可能な画像形成装置を提供することができる。

上記実施例１では、画像処理ＬＳＩ１６３が人の検出、及び人が画像形成装置１０を使用するユーザか否かを判断する構成について説明したが、本実施例２では、操作部ＣＰＵ１３１がユーザか否かの判断を行う構成について説明する。すなわち、実施例２では、操作部ＣＰＵ１３１が、低解像度の画像データから動体を検出し、その動体が画像形成装置１０に接近しているか否か判断することで、検出した動体が画像形成装置１０を使用するユーザであるか否か判断する。また、操作部ＣＰＵ１３１が、低解像度の画像データから画像形成装置１０の前に物体が出現して滞在しているか否かを判断することでユーザ検出する構成でもよい。これら実施例２の構成により、実施例１よりも画像処理ＬＳＩ１６３を起動する回数が減少し、より省エネルギー性を高めることができる。

図６は、実施例２の画像解析ユニット１６及び操作部ＣＰＵ１３１周辺の詳細構成を示すブロック図である。
図３に示した実施例１では、スリープ復帰信号１６３２が、画像処理ＬＳＩ１６３に接続されていた。しかし、実施例２では、スリープ復帰信号１６３２が、画像処理ＬＳＩ１６３ではなく、操作部ＣＰＵ１３１に接続されている。

操作部ＣＰＵ１３１は、画像データから抽出した動体が画像形成装置１０に接近しているか否か判断する。そして、動体が画像形成装置１０に接近していると判断した場合、操作部ＣＰＵ１３１は、スリープ復帰信号１６３２をアサートし、ユーザが画像形成装置１０の前に存在することを電源制御部１１４に通知する。この通知を受けた電源制御部１１４は、画像形成装置１０の電力モードをＳｌｅｅｐモードからＳｔａｎｂｙモードに移行させてもよい。

図７は、実施例２の操作部ＣＰＵ１３１が実行する処理を例示するフローチャートである。このフローチャートの処理は、操作部ＣＰＵ１３１が内蔵のＲＯＭ等に格納されたプログラムを読み出して実行することにより実現されるものである。なお、図４と同一のステップには同一のステップ番号を付し、説明を省略する。

本実施例では、操作部ＣＰＵ１３１に求められる処理が実施例１に比べ増加している（Ｓ４２６〜Ｓ４２９）。具体的には、操作部ＣＰＵ１３１は、動体検出処理（Ｓ４１０〜Ｓ４１４）に加えて、Ｓ４１４でＹｅｓと判定されて動体が検出された場合、Ｓ４２６において、その動体の特徴量を算出する。特徴量には、例えば動体の重心、面積、高さもしくは幅等が考えられる。

次に、Ｓ４２７において、操作部ＣＰＵ１３１は、上記Ｓ４２６で算出した特徴量から動体が画像形成装置１０に接近しているか否か判定する。例えば、操作部ＣＰＵ１３１内に保存しておいた一定時間毎の特徴量データの時系列を利用し、単純なパターンマッチングやＤＰマッチング、もしくは隠れマルコフモデルやニューラルネットワーク等の機械学習による方法等で動体の接近を判断することが可能である。

そして、動体が接近していると判断した場合（Ｓ４２７Ｙｅｓ）、操作部ＣＰＵ１３１は、Ｓ４２８において、スリープ復帰信号１６３２をアサートし、ユーザが画像形成装置１０の前に存在することを電源制御部１１４に通知する。この通知を受けた電源制御部１１４は、画像形成装置１０の電力モードをＳｌｅｅｐモードからＳｔａｎｂｙモードに移行させてもよい。

また、Ｓ４２０において、人検出信号１６３１がネゲートされたと判定した場合（Ｓ４２０でＹｅｓの場合）、操作部ＣＰＵ１３１は、Ｓ４２９において、スリープ復帰信号１６３２をネゲートし、Ｓ４２１に処理を進める。
なお、その他の処理は、図４に示した実施例１と同一であるので説明を省略する。

次に、実施例２の画像処理ＬＳＩ１６３の動作について説明する。
図８は、実施例２の画像処理ＬＳＩ１６３が実行する処理を例示するフローチャートである。このフローチャートの処理は、画像処理ＬＳＩ１６３が内蔵のＲＯＭ等に格納されたプログラムを読み出して実行することにより実現されるものである。なお、図５と同一のステップには同一のステップ番号を付し、説明を省略する。

実施例２では、画像処理ＬＳＩ１６３は、Ｓ５０６で人検出信号１６３１をネゲートし、そのままＳ５０３に処理を移行する。
また、画像処理ＬＳＩ１６３は、Ｓ５０７で人検出信号１６３１をアサートし、そのままＳ５１１に処理を進める。
なお、その他の処理は、図５に示した実施例１と同一であるので説明を省略する。

以上示したように、実施例１よりも画像処理ＬＳＩ１６３を起動する回数が減少するため、実施例１の効果に加え、実施例１よりより省エネルギー性を高めることができる。

なお、上記実施例１および実施例２では、画像処理ＬＳＩ１６３への電力供給をＦＥＴ１３４のＯＮ／ＯＦＦによって制御したが、画像処理ＬＳＩ１６３がスリープモード等の複数の電力モードを持ち、そのスリープモード等によって大幅に電力削減が見込める場合も存在する。この場合、ＦＥＴ１３４を備える必要はなく、操作部ＣＰＵ１３１からＬＳＩ電源制御信号１３１４相当の信号を画像処理ＬＳＩ１６３に対して通知することで、画像処理ＬＳＩ１６３をスリープモードから、より消費電力の大きく図５や図８に示した処理が可能な電力モードへ、移行させることができる。

また、上記各実施例では、操作部ＣＰＵ１３１が、バススイッチ１６２を切り替えて、カメラ１６１により撮像された画像データが画像処理ＬＳＩ１６３へ出力されるように制御する構成について説明した。しかし、カメラ１６１により撮像された画像データは常に操作部ＣＰＵ１３１に入力されるようにし、また、該画像データを操作部ＣＰＵ１３１から画像処理ＬＳＩ１６３へ出力可能な構成とする。さらに、バススイッチ１６２を設けることなく、バススイッチ１６２をＹＡからＹＢに切り替える代わりに、操作部ＣＰＵ１３１から画像処理ＬＳＩ１６３へカメラ１６１により撮像された画像データを出力するように構成してもよい。

なお、バススイッチ１６２を用いてカメラ１６１により撮像された画像データの出力を切り替える構成の場合、画像データの出力を画像処理ＬＳＩ１６３に切り替えた場合には、操作部ＣＰＵ１３１の電力モードを省電力モードに切り替えるようにしてもよいし、操作部ＣＰＵ１３１への電力の供給を停止するようにしてもよい。

また、操作部ＣＰＵ１３１や画像処理ＬＳＩ１６３は、ＣＰＵのみならずＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等で実現してもよく、実行する処理の一部がＦＰＧＡ等でハードウェア化されていてもよい。
さらに、図２、図３、もしくは図６等で示したブロックの一部を、ＦＰＧＡ等の集積回路内で実現してもよい。

上記各実施例では、本発明を適用可能な情報処理装置の一例として画像形成装置１０を用いて説明したが、本発明を適用可能な装置は、画像形成装置に限定されるものではなく、パーソナルコンピュータや、家電等であってもよい。

以上示したように、本発明によれば、従来のように、装置に複数のセンサを配置する必要がないため、配置レイアウトを工夫する必要がなく、製品コストを押し上げる心配もない。すなわち、本発明を適用した装置では、動体検出、ユーザ検出およびユーザ認証等のユーザが画像形成装置を使い始めるまでの複数の処理を、消費電力を抑えたまま、より少ない１つのセンサ（カメラ１６１）で実現することができる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、上記各実施例を組み合わせた構成も全て本発明に含まれるものである。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 画像形成装置
１３１ 操作部ＣＰＵ
１３４ ＦＥＴ
１６１ カメラ
１６２ バススイッチ
１６３ 画像処理ＬＳＩ

Claims (18)

1. 情報処理装置であって、
   撮像手段と、
   前記撮像手段により撮像された画像データを用いて動体を検出する動体検出処理を行う第１制御手段と、
   前記撮像手段により撮像された画像データを用いて前記情報処理装置を使用するユーザを検出するユーザ検出処理を行う第２制御手段と、を有し、
   前記第１制御手段は、前記動体検出処理により動体を検出した場合に、前記第２制御手段の電力状態を前記ユーザ検出処理が可能な状態に移行させるとともに、前記画像データが前記第２制御手段へ出力されるように制御することを特徴とする情報処理装置。
2. 前記第２制御手段は、前記ユーザ検出処理によりユーザを検出した場合に、前記情報処理装置の電力状態を第１電力状態から該第１電力状態より消費電力の大きい第２の電力状態に切り替える制御を行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２制御手段は、前記画像データを用いて、前記ユーザ検出処理により検出されたユーザの認証処理を行うことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記ユーザ検出処理では、前記画像データを用いて人の顔の方向もしくは視線の方向を検出し、該方向が前記情報処理装置を向いている場合にユーザを検出したと判断することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記ユーザ検出処理では、前記画像データを用いて前記情報処理装置に向かって移動する動体を検出した場合、又は、前記情報処理装置の前に出現し滞在する物体を検出した場合に、ユーザを検出したと判断することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
6. 情報処理装置であって、
   撮像手段と、
   前記撮像手段により撮像された画像データを用いて、前記情報処理装置に向かって移動する動体、又は、前記情報処理装置の前に出現し滞在する物体を検出することにより前記情報処理装置を使用するユーザを検出するユーザ検出処理を行う第１制御手段と、
   前記第１制御手段より高い消費電力を必要とし、前記撮像手段により撮像された画像データを用いて認証処理を行う第２制御手段と、を有し、
   前記第１制御手段は、前記ユーザ検出処理によりユーザを検出した場合に、前記第２制御手段の電力状態を前記認証処理が可能な状態に移行させるとともに、前記画像データが前記第２制御手段へ出力されるように制御することを特徴とする情報処理装置。
7. 前記第１制御手段は、前記ユーザ検出処理においてユーザを検出した場合に、前記情報処理装置の電力状態を第１電力状態から該第１電力状態より消費電力の大きい第２電力状態に切り替える制御を行うことを特徴とする請求項６に記載の情報処理装置。
8. 前記第１制御手段は、前記第２制御手段に電力の供給を開始することにより、前記第２制御手段の電力状態を移行させることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記第１制御手段は、前記第２制御手段の電力モードを変更することにより、前記第２制御手段の電力状態を第３電力状態から該第３電力状態より消費電力の大きい第４電力状態に移行させることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
10. 前記撮像手段により撮像された画像データの出力先を前記第１制御手段または前記第２制御手段に切り替える切り替え手段を有し、
    前記第１制御手段は、前記切り替え手段を操作して前記撮像手段により撮像された画像データの出力先を前記第２制御手段へ変更することにより、前記画像データが前記第２制御手段へ出力されるようにすることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記第１制御手段は、前記撮像手段により撮像された画像データを、前記第１制御手段から前記第２制御手段へ出力することにより、前記画像データが前記第２制御手段へ出力されるようにすることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
12. 前記第１制御手段は、前記画像データが前記第２制御手段へ出力されるようにする場合に、前記撮像手段の撮像解像度を第１解像度から該第１解像度よりも高解像度の第２解像度に切り替えることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記第１制御手段は、背景差分法により動体を検出するものであり、
    前記第１制御手段は、前記背景差分法により動体を検出できない場合、又は、前記第２制御手段により前記画像データ内に人が存在しないと判断された場合に、前記背景差分法における背景画像データを更新することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記撮像手段は、斜め上方に向けられて配置されていることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記情報処理装置は、画像形成装置であることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 情報処理装置の制御方法であって、
    第１制御手段が、撮像手段により撮像された画像データを用いて動体を検出する動体検出処理を行う第１制御ステップと、
    前記動体検出処理により動体が検出された場合に、前記第１制御手段が、第２制御手段の電力状態をユーザ検出処理が可能な状態に移行させるとともに、前記画像データが前記第２制御手段へ出力されるように制御する切り替えステップと、
    前記第２制御手段が、前記撮像手段により撮像された画像データを用いて前記情報処理装置を使用するユーザを検出するユーザ検出処理を行う第２制御ステップと、
    を有することを特徴とする情報処理装置の制御方法。
17. 情報処理装置の制御方法であって、
    第１制御手段が、撮像手段により撮像された画像データを用いて、前記情報処理装置に向かって移動する動体、又は、前記情報処理装置の前に出現し滞在する物体を検出することにより前記情報処理装置を使用するユーザを検出するユーザ検出処理を行う第１制御ステップと、
    前記ユーザ検出処理によりユーザが検出された場合に、前記第１制御手段が、第２制御手段の電力状態を認証処理が可能な状態に移行させるとともに、前記画像データが前記第２制御手段へ出力されるように制御する切り替えステップと、
    前記第２制御手段が、前記撮像手段により撮像された画像データを用いて認証処理を行う第２制御ステップと、
    を有することを特徴とする情報処理装置の制御方法。
18. コンピュータを請求項１乃至１５のいずれか１項に記載の第１制御手段として機能させるための第１プログラムと、
    コンピュータを請求項１乃至１５のいずれか１項に記載の第２制御手段として機能させるための第２プログラムと、
    を有することを特徴とするプログラム。

Images