JP2006088499A - 画像形成装置およびその制御方法 - Google Patents

Abstract

【課題】 ユーザのプリントジョブまたはそのアウトプットを適宜に処理でき、タイムリなサービスの提供とセキュリティの確保を調和する。
【解決手段】 顔検出処理部３０１は撮像画像中に顔画像があるかどうかを判別する。顔を判別したら例えばその中点の位置、移動等を検出する。また顔の向きや顔の大きさを判別する。顔認識処理部３０２は顔画像から特徴量を抽出して、各登録ユーザの特徴量とマッチングさせてユーザのアイデンティティ（ユーザＩＤ）を出力する。接近判断部３０３は顔検出処理部３０１、顔認識処理部３０２からの出力に基づいて、接近状態を示す出力および当該ユーザＩＤを出力する。プリンタコントロール部３０４はユーザＩＤに基づいて例えば当該ユーザがオーナであるプリントジョブについてプリント開始を行なう。
【選択図】 図２

Description

この発明は、プリンタや複写機等を通信ネットワーク上で含んで成る画像形成装置およびその制御方法に関し、とくに、ユーザの挙動に基づいて当該ユーザのプリントジョブをタイムリに実行して、ユーザの利便性とセキュリティとを調和させるようにしたものである。

従来、プリンタへの出力は、ＰＣからプリント部数やプリント範囲を指示することにより行われていた。ネットワーク接続されたプリンタの場合は、複数のプリント要求者からのプリント指示を受け付けてプリント要求順序に基づいてプリント処理を実行する。このためプリンタの用紙排出部には、複数のプリント要求者のプリント結果が積み重ねられていくことになる。しかしながら近年では、セキュリティーあるいはプライバシー保護が重視されるようになり、プリントの際に文書ＩＤやパスワードの入力を求めるユーザーインターフェイスが用いられるようになってきた。例えば、ＰＣからプリントシステムにプリントを指示する際、ＰＣから「呼び出し名」という文書ＩＤを入力し、当該プリンタ出力部においてその「呼び出し名」を入力しないとプリントされないといったプライベートプリント機能を持っているプリントシステムがある。しかしこのユーザーインターフェイスでは、ＰＣ側とプリンタ側での文字入力操作及び「呼び出し名」を記憶しておく必要があるといった問題点があった。

プリントジョブを発行したユーザがプリントアウトを取り出そうとプリンタやプリント端末に接近してきたことを判別して当該ユーザが発行したプリントジョブについてタイムリにプリントサービスを提供することが望まれる。

なお、この発明と関連する特許文献として特許文献１および特許文献２がある。

特許文献１は、画像形成装置にＣＣＤセンサを設けて顔や人の向きを判別して電源・余熱機能をコントロールすることを開示している。

また、特許文献２は、画像形成装置を利用しようとしている人の顔をカメラで撮像しカメラ画像から登録ユーザかどうかを判別して画像形成装置の利用の可否を制御している。

これら特許文献については、ユーザが発行したプリントジョブをプリンタやプリント端末への接近に基づいてタイムリに実行することについては指摘がない。
特開平６−５９０１０号公報 特開２００２−１１１９２４公報

この発明は、以上の事情を考慮してなされたものであり、プリントジョブを発行したユーザがプリントアウトを取り出そうとプリンタやプリント端末に接近してきたことを判別して当該ユーザが発行したプリントジョブについてタイムリにかつプリントアウトを長時間放置することがないように出力する画像形成技術を提供することを目的としている。

この発明の原理的な構成例によれば、上述の目的を達成するために、プリンタに、カメラなどの画像キャプチャー手段と顔検出手段と顔認識手段とプリント許可手段を付加することで上記問題点を解決するものである。画像キャプチャー手段は顔検出手段と顔認識手段とに画像データを提供するもので、プリンタの操作者の顔情報を取得するのに適した場所に設置されるのが望ましい。これにより以下の機能を実現する。

（１）個人を確認した上でのプリント実施
（２）個人を確認した上でのプリントキューの優先変更
（３）個人を確認した上でのプリントアウト持ち出しコントロール

個人を確認した上でのプリント実施については、プリント指示者のプリンタへの接近を顔検出手段により検知し、顔が検出されたらその顔画像を顔認識手段に入力することで顔認識結果を得る。顔認識手段において入力顔画像がプリント指示者と同一と判断したら、プリント許可手段がその指示者からのプリント指示のプリント実行可能フラグを実行不可能状態から実行可能状態に変えることでプリントアウトが自動実行される。この際ＰＣからのプリント指示実行に先立って顔認識用データを顔認識手段に登録しておく必要がある。また各プリント指示のプリント実行可能フラグの初期状態は実行不可能状態にしておく。

個人を確認した上でのプリントキューの優先変更については、プリント指示者のプリンタへの接近を顔検出手段により検知し、顔が検出されたらその顔画像を顔認識手段に入力することで顔認識結果を得る。顔認識手段において入力顔画像がプリント指示者と同一と判断したら、プリンタに接近しているプリント指示者と既にプリント中となっているドキュメントのプリント指示者について、あらかじめ登録されているプリントプライオリティ属性をチェックし、プリンタに接近しているプリント指示者のプライオリティが高ければ、そのプリント指示についてのプリント実行可能フラグを実行不可能状態から実行可能状態に変えることでプリント処理を自動実行する（プリント中の処理はペンディング状態とする）。プライオリティが高い処理が終了したら、ペンディング状態となっていた処理をプリント状態に復帰させる。

個人を確認した上でのプリントアウト持ち出しコントロールについては、文書持ち出し制限可能な複数のプリント排出部を持つプリンタにおける持ち出しコントロールを実現するものである。プリント指示者のプリンタへの接近を顔検出手段により検知し、顔が検出されたらその顔画像を顔認識手段に入力することで顔認識結果を得る。顔認識手段において入力顔画像がプリント指示者と同一と判断したら、そのプリント指示者のプリントアウトを保存しているプリント排出部のロックを解除し、プリントアウトを持ち出し可能状態にする。

さらにこの発明を説明する。

この発明によれば、上述の目的を達成するために、クライアント端末およびプリンタが通信ネットワークに接続されてなる画像形成装置に：上記プリンタの近傍に設けられた撮像手段と；上記撮像手段の撮像画像中の顔画像に基づいて、上記プリンタに人が接近すること、および当該人のアイデンティティを認識する認識手段と；上記認識手段の認識出力に基づいて当該人の発行したプリントジョブに関して上記プリンタを制御する制御手段とを設けるようにしている。

この構成においては、プリンタへの接近を検出するとともに接近中のユーザのアイデンティティも特定して当該ユーザのプリントジョブまたはそのアウトプットを適宜に処理でき、タイムリなサービスの提供とセキュリティの確保を実現できる。

例えば、上記制御手段は、上記認識手段の認識出力に基づいて、当該人が発行したプリントジョブを実行する。

代替的には、上記制御手段は、上記認識手段の認識出力に基づいて、当該人が発行したプリントジョブのプリントキューにおける優先順位を上位に変更する。

また上記制御手段は、上記認識手段の認識出力に基づいて、当該人のプリントアウト持ち出しロックを解除する。

また、上記認識手段は、具体的には、上記顔画像の撮像画像中の配置領域、顔画像の移動方向および顔画像の示す顔の向きに基づいて上記プリンタに人が接近しているかどうかを判別する。

さらに、上記認識手段は上記顔画像の大きさも判別の基礎に利用してもよい。

また、ユーザのアイデンティティの特定は、各ユーザの顔の登録特徴量と撮像画像中の顔画像から抽出して特徴量を突き合わせることにより行なう。種々の周知の認識手法を採用できる。

また、上記プリントジョブに顔認識に基づくプリント制御を行なうかどうかを示す属性を付加して、当該属性が当該プリント制御を行なうことを指示する場合のみ、上記制御手段による制御を行なうようにしてもよい。プリントジョブにはその分量、緊急性等に応じて出向いたときにすぐに出力されるのが好ましいものと、逆に場合によっては、出力に時間がかかる等の理由によりそのときには出力されて欲しくないものもある。制御の有無をユーザがプリント属性として指定することによりこのような要望に対処できる。

また、ユーザがプリント制御の内容を特定できるようにしてもよい。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

この発明によれば、プリンタへの接近を検出するとともに接近中のユーザのアイデンティティも特定して当該ユーザのプリントジョブまたはそのアウトプットを適宜に処理でき、タイムリなサービスの提供とセキュリティの確保を実現できる。

以下、この発明の実施例について説明する。

図１は、この発明の実施例の画像形成システムを全体として示しており、この図において、クライアント端末１０、プリントサーバ２０、プリント端末３０等が通信ネットワーク６０に接続されている。通信ネットワーク６０は、ＬＡＮや広域ネットワーク等任意のものでよい。プリント端末３０にはプリンタ４０およびビデオカメラ５０が接続されている。ビデオカメラ５０はプリンタ４０にユーザが近づいてくるのを判別できるように配置されている。ビデオカメラ５０は複数あってもよい。

クライアント端末１０はパーソナルコンピュータ等の情報端末であり、プリントファイルを指定してプリントジョブをプリントサーバ２０やプリンタ４０に送出するものである。クライアント端末１０は固定端末でも移動端末でも良く、移動体通信機器でもよい。プリントサーバ２０に送出した場合にはそのスプールにプリントジョブが保持され、プリント端末３０または図示しない他のプリント端末における操作により対応するプリンタ４０等からプリントアウトすることができる。プリンタ４０に送出されたプリントジョブはそのスプールまたはプリント端末３０のスプールに保持される。プリンタ４０またはプリント端末３０のスプールに保持されたプリントジョブであっても実行可能／不可能フラグにより待ち順に実行されるようにしたり、実行保留にしたりできる。この例では、実行不能フラグをたてて実行保留にしておくことにする。

なお、ユーザは例えば図４に示すプリントオプション画面を用いて種々のプリントオプションを設定できる。図４の例に限定されないが、この例では、Ｎアップ（複数頁を１枚に印刷）、両面印刷、プリント時刻予約、顔認識プリント等を設定できる。顔認識プリントを選択しておけば顔認識プリント属性がＯＮになり、顔認識に基づく制御が当該プリントジョブについて有効になる。顔認識プリント属性がＯＦＦの場合には顔認識に基づく制御がディスエーブルされる。顔認識に基づく制御のＯＮ／ＯＦＦをプリントジョブごとでなくユーザ毎に設定しても良い。

プリント端末３０はプリンタ４０のスプール中の印刷ジョブの操作を行い、例えばプリンタ４０からプリントジョブを出力させたり、プリントサーバ２０のスプール中の印刷ジョブを当該プリンタ４０で出力させたりできる。その他、プリントジョブの削除、属性の変更等を行なえる。プリント端末３０は基本的にはパスワードやカードにより認証を行なう。もちろん要求されるセキュリティの程度やユーザの利便性に応じて認証を行なわないように設定できる。

プリンタ４０は、典型的にはゼログラフィ方式の画像出力装置であるが、複写機能や、画像入力機能、ファクシミリ機能を有しても良い。プリンタ４０はプリントアウト持ち出しコントロール機構を有し、例えば、プリント端末３０にログインしたユーザが持ち出し権限（プリントジョブのオーナ）を有する場合に解除される。この実施例では、顔認識に基づいて持ち出しコントロール機構が解除される。

図２は、プリント端末３０の機能ブロックを模式的に示しており、この図において、プリント端末３０は、顔検出処理部３０１、顔認識処理部３０２、接近判断部３０３、プリンタコントロール部３０４等を含んで構成されている。図示しないが、プリント端末３０は、液晶パネル等から成る操作・表示部を有し、ユーザに対して種々のインタフェースを提供する。顔検出処理部３０１は撮像画像中に顔画像があるかどうかを判別するものである。顔を判別したら例えばその中点の位置、移動等を検出する。また顔の向きや顔の大きさを判別する。顔認識処理部３０２は顔画像から特徴量を抽出して、各登録ユーザの特徴量とマッチングさせてユーザのアイデンティティ（ユーザＩＤ）を出力する。接近判断部３０３は顔検出処理部３０１、顔認識処理部３０２からの出力に基づいて、接近状態を示す出力および当該ユーザＩＤを出力する。プリンタコントロール部３０４はユーザＩＤに基づいて例えば当該ユーザがオーナであるプリントジョブについてプリント開始を行なう。

プリントにおける画像処理を、プリンタへの接近を感知して開始する。

接近の検知方法は例えば以下のようなものであるが、これに限定されない。

プリンタ４０近辺に設置したカメラ５０から取り込まれる画像データについて顔検出処理を行う。顔が検出できたらその顔の位置、大きさ、向きを接近判断部３０３に出力する。また検出された顔画像を顔認識処理部３０２に出力する。顔認識処理部３０２は検出された顔が誰であるかを出力する。接近判断部３０３では先ず、時系列で送られてくる顔認識処理部３０２の出力と顔検出処理部３０１から入力される顔の中心位置の差から画像フレーム内での特定の顔の移動方向を検出する。顔の中心位置が画像フレーム内の設定された範囲Ａ（図３）の外側で、かつ移動方向が画像フレーム内の設定された範囲Ａを横切る場合で、かつ顔の向きが設定された角度範囲内である場合は特定の顔が接近状態にあると判断する（図３中、符号１で示す）。また顔の中心位置が画像フレーム内の設定された範囲Ａの内側で、かつ顔の大きさが設定された大きさ以下で、かつ顔の向きが設定された角度範囲内である場合は特定の顔が接近状態にあると判断する（図３中、符号２で示す）。接近判断部３０３は、顔が接近状態であると判断した場合に接近してくる人の事前に登録済みのユーザＩＤと接近状態であることを示す信号をプリンタコントロール部に出力する。

プリンタコントロール部３０４では、コード番号と接近状態であることを示す信号を入力すると、プリンタコントロール部３０４内の図示されていない記憶装置に保存されている、あらかじめコード番号が付与されているネットワーク等を介して送られてきた文書データの中で、ユーザＩＤが同じ文書をプリンタ４０に出力するための処理を開始する。この処理には文書データのデコード、ラスタライズなどの処理が含まれる。

つぎにこの発明の実施例の動作例の詳細を説明する。

図５は動作の全体を示し、その処理は以下の通とおりである。

［ステップＳ１０］：撮像画像中に顔画像が含まれることを判別したら接近判別ルーチンを開始する。
［ステップＳ１１］：接近判別ルーチン（図６、図７）を実行して、ユーザＩＤと接近信号を出力する。
［ステップＳ１２］：ユーザＩＤに応じてプリントジョブのリストを取り出す。なお、プリンタ４０またはプリント端末３０のスプール中のジョブのみでなくプリントサーバ２０のスプール中のジョブも対象に含めるように設定しても良い。この場合プリントサーバ２０からプリントジョブの情報を受け取る。
［ステップＳ１３］：フェッチしたプリントジョブの内一番目のジョブを取り出す。
［ステップＳ１４］：顔認識プリント属性があるかどうか判別する。あればステップＳ１５へ進み、なければステップＳ１３へ戻り処理を繰り返す。
［ステップＳ１５］：プリンタ４０を用いたプリントジョブを実行する。
［ステップＳ１６］：残りのジョブがあればステップＳ１３へ戻り処理を繰り返し、なければ、ステップＳ１０へ戻る。

図６および図７は、瀬近判別ルーチン（Ｓ１１）の動作の詳細を示しており、その処理は以下のとおりである。なお、顔画像は所定の短いインターバルで処理される。

［ステップＳ２０］：前の画像で検出されている人かどうか判断する。前の画像で検出された人でない場合にはステップＳ２１へ進む。前の画像で検出された人であればステップＳ２２へ進む。
［ステップＳ２１］：前の画像で検出された人でない場合には、新たな検出エントリとして顔位置、大きさ、角度情報を保存する。
［ステップＳ２２］：保存されている顔位置、大きさ、角度情報を取得する。
［ステップＳ２３］：現在の顔位置が設定範囲Ａ内かどうか判別する。Ａ内であればステップＳ２４へ進み、Ａ領域外であればステップＳ２６へ進む。
［ステップＳ２４］：移動方向、顔の向きが設定値の範囲かどうかを判別し、肯定的であればステップＳ２５へ進みそうでなければ処理を終了する。
［ステップＳ２５］：ユーザＩＤおよび接近信号を出力して処理を終了する。
［ステップＳ２６］：顔の大きさ向きが設定値の範囲内かどうかを判別し、肯定的であればステップＳ２７へ進み、そうでなければ処理を終了する。
［ステップＳ２７］：ユーザＩＤおよび接近信号を出力して処理を終了する。

以上の動作例では、プリントジョブを実行する制御について言及したが、プリントジョブのスプール上の優先順位の変更やプリントアウト持ち出しコントロール機構の制御も同様である。

以上で実施例の説明を終了する。

なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述例は画像形成装置について説明したが、広くサービス提供装置、例えばベンディングマシーン、物品保管装置等に適用できる。例えば、引き渡しを受ける物品を指定しておき、こののち当該装置に接近したことを顔画像で弁別して所望の物品を直ちに受け取るようにすることができる。

図８はこのようなサービス提供システムの構成例を示す。図８においては図１と対応する箇所には対応する符号を付した。この例では、サービス適用機器８０をサービス提供機器制御部７０により制御して同様に顔画像に基づいて個々のサービス提供処理が制御される。

この発明の実施例の画像形成システムを全体として示す図である。 実施例の要部構成例を説明するブロック図である。 実施例において顔画像から接近を判別するアルゴリズムを説明する図である。 実施例のプリントオプションのユーザインタフェース画面例を説明する図である。 実施例の全体動作を説明するフローチャートである。 実施例の接近判別ルーチンの動作例を説明するフローチャートの一部である。 実施例の接近判別ルーチンの動作例を説明するフローチャートの他の一部である。 実施例の変形例を説明する図である。

符号の説明

１０ クライアント端末
２０ プリントサーバ
３０ プリント端末
４０ プリンタ
５０ ビデオカメラ
６０ 通信ネットワーク
７０ サービス提供機器制御部
８０ サービス適用機器
３０１ 顔検出処理部
３０２ 顔認識処理部
３０３ 接近判断部
３０４ プリンタコントロール部

Claims (10)

1. クライアント端末およびプリンタが通信ネットワークに接続されてなる画像形成装置において、
   上記プリンタの近傍に設けられた撮像手段と、
   上記撮像手段の撮像画像中の顔画像に基づいて、上記プリンタに人が接近すること、および当該人のアイデンティティを認識する認識手段と、
   上記認識手段の認識出力に基づいて当該人の発行したプリントジョブに関して上記プリンタを制御する制御手段とを有することを特徴とする画像形成装置。
2. 上記制御手段は、上記認識手段の認識出力に基づいて、当該人が発行したプリントジョブを実行する請求項１記載の画像形成装置。
3. 上記制御手段は、上記認識手段の認識出力に基づいて、当該人が発行したプリントジョブのプリントキューにおける優先順位を上位に変更する請求項１記載の画像形成装置。
4. 上記制御手段は、上記認識手段の認識出力に基づいて、当該人のプリントアウト持ち出しロックを解除する請求項１記載の画像形成装置。
5. 上記認識手段は、上記顔画像の撮像画像中の配置領域、顔画像の移動方向および顔画像の示す顔の向きに基づいて上記プリンタに人が接近しているかどうかを判別する請求項１〜４のいずれかに記載の画像形成装置。
6. 上記認識手段は上記顔画像の大きさも判別の基礎に利用する請求項５記載の画像形成装置。
7. 上記プリントジョブに顔認識に基づくプリント制御を行なうかどうかを示す属性を付加して、当該属性が当該プリント制御を行なうことを指示する場合のみ、上記制御手段による制御を行なう請求項１〜６のいずれかに記載の画像形成装置。
8. 上記プリント制御を行なうことを示す属性値は、プリント制御の内容を特定する請求項７記載の画像形成装置。
9. クライアント端末およびプリンタとが通信ネットワークに接続されてなる画像形成装置の画像形成制御方法において、
   上記プリンタの近傍に設けられた撮像手段撮像手段の撮像画像中の顔画像に基づいて、上記プリンタに人が接近すること、および当該人のアイデンティティを、認識手段により認識するステップと、
   上記認識手段の認識出力に基づいて、制御手段により、当該人の発行したプリントジョブに関して上記プリンタを制御するステップとを有することを特徴とする画像形成制御方法。
10. クライアント端末およびサービス提供機器が通信ネットワークに接続されてなるサービス提供システムにおいて、
    上記サービス提供機器の近傍に設けられた撮像手段と、
    上記撮像手段の撮像画像中の顔画像に基づいて、上記サービス提供機器に人が接近すること、および当該人のアイデンティティを認識する認識手段と、
    上記認識手段の認識出力に基づいて当該人の発行したサービス提供要求に関して上記サービス提供機器を制御する制御手段とを有することを特徴とするサービス提供システム。