JP5574853B2 - 画像処理システム、情報処理装置、画像処理方法、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像処理システム、情報処理装置、画像処理方法、情報処理方法及びプログラムに関する。

近年、複写機等の画像形成装置は、スタンドアローンのコピー機能だけでなく、外部のコンピュータ装置とネットワークを介して接続し、コンピュータ側からのデータを印刷するプリント機能等を有する画像処理システムが提案されている。このような画像処理システムは、画像形成装置のスキャナでスキャンした原稿を、電子データファイルへ変換し、ネットワーク経由で外部のコンピュータ装置へ送信するセンド機能等も有する。
また、近年、現実空間と仮想空間とが融合した周知の複合現実空間を利用者に提示するための複合現実感システムの利用が提案されている。
撮像・表示装置としては、カメラ付きＨＭＤ（ヘッド・マウント・ディスプレイ）がよく用いられる。ＨＭＤの撮像系及び表示系を左右独立させ、両眼視差による立体視も実現されている。
このような複合現実感システムにおいて、ＣＡＤ等のデータを仮想空間における仮想物体として仮想空間中に配置し、これを上記視点の位置、視線方向から見た場合の映像を生成してＨＭＤが有する表示装置に表示する技術が提案されている。この方式によれば、現実空間映像の中に仮想のＣＡＤデータに応じた仮想画像を表示し、更に仮想表示する際に実際の手と重ならないような表示を可能としている（特許文献１参照）。

特開２００５−３３９２６６号公報

特許文献１に記載の方式は、共通して仮想空間の映像を視覚的な観点で生成し、仮想物体を現実空間映像に重畳させて利用者に提示することを主な目的としている。
例えば、特許文献１記載の方式は、画像形成装置の実機種をＨＭＤ越しに見ると、他機種の画像形成装置が仮想物体として重畳して表示される。
しかしながら、従来の技術では、スキャンした原稿画像をセンド、つまり、ネットワークを介して電子ファイルにして送信する際、送信前のスキャンした画像の確認は、画像形成装置のタッチパネル等の限定された狭い領域に表示するしかなかった。したがって、利用者にとって使い勝手がよくなかった。
また、他の画像形成装置で実現する機能を試しに使用したい場合、利用者は、わざわざ他の画像形成装置のある場所へ移動し、使用するしかなく、使い勝手がよくなかった。
利用者にとって画像処理装置を利用しやすくする画像の重畳表示に関する技術を提供する。

本発明はこのような問題点に鑑みなされたもので、利用者にとって画像処理装置を利用しやすくする画像の重畳表示に関する技術を提供することを目的とする。

そこで、本発明は、画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムであって、前記画像処理装置は、メディアに対する画像処理の結果であるメディア画像を前記情報処理装置に送信し、前記情報処理装置は、前記メディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信し、前記表示装置は、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信し、前記情報処理装置は、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が前記メディアに対して所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、表示しているメディア画像の切り替えを前記表示装置に指示する。
また、本発明は、一の機能を有しない第一の画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムであって、前記第一の画像処理装置は、前記一の機能を利用するジョブを受け取った場合、前記一の機能を利用するジョブを前記情報処理装置に送信し、前記情報処理装置は、前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信し、前記表示装置は、前記一の機能を有する第二の画像処理装置の画像と、前記撮像手段で撮像された前記第一の画像処理装置の画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信し、前記情報処理装置は、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信し、前記表示装置は、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示する。

本発明によれば、利用者にとって画像処理装置を利用しやすくする画像の重畳表示に関する技術を提供することができる。

画像処理システムのシステム構成の一例を示す図である。 リーダ部及びプリンタ部の断面の一例を示す図である。 複写装置の操作部の一例を示す図である。 ＨＭＤの概略構成の一例を示す図である。 重畳表示された映像の一例を示す図である。 利用者が紙媒体をめくった場合に、ＨＭＤが重畳表示する映像を切り替えて表示している様子を示す図である。 サーバ、ＰＣとして機能するホストコンピュータのハードウェア構成の一例を示す図である。 第１の実施形態における画像処理の一例を示す図である。 ジョブ結合印刷の一例を示す図である。 サーバにおける情報処理の一例を示すフローチャートである。 画像形成装置に、他の画像形成装置の映像を重畳した映像の表示イメージの一例を示す図である。 第２の実施形態における画像処理の一例を示す図である。 紙媒体の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、画像処理システムのシステム構成の一例を示す図である。リーダ部（画像入力装置）２００は、原稿画像を光学的に読み取り、画像データに変換する。リーダ部２００は、原稿を読み取るための機能を持つスキャナユニット２１０と、原稿用紙を搬送するための機能を持つ原稿給紙ユニット２５０とで構成される。
プリンタ部（画像出力装置）３００は、記録紙を搬送し、その上に画像データを可視画像として印字して装置外に排紙する。プリンタ部３００は、複数種類の記録紙カセットを持つ給紙ユニット３１０と、印刷データを記録紙に転写、定着させる機能を持つ印刷ユニット３２０と、印字された記録紙をソート、ステイプルして機外へ出力する機能を持つ排紙ユニット３３０とで構成される。
制御装置１１０は、リーダ部２００、プリンタ部３００、メモリ６００と電気的に接続され、更にネットワーク４００を介して、サーバ４０１、ＰＣ４０２と通信可能に接続されている。
サーバ４０１は、個別のホストコンピュータであってもよいが、同一でもよい。本実施形態では、同一のものとして記載する。サーバ４０１は、情報処理装置の一例である。
ＰＣ４０２は、画像処理装置の一例である画像形成装置１００に対し、プリントジョブを投入するクライアントになる。
制御装置１１０は、リーダ部２００を制御して、原稿の印刷データを読込み、プリンタ部３００を制御して印刷データを記録用紙に出力してコピー機能を提供する。また、制御装置１１０は、リーダ部２００から読み取った原稿を、電子データファイルに変換し、ネットワーク４００を介してホストコンピュータへ送信するスキャン機能を有する。また、制御装置１１０は、ＰＣ４０２からネットワーク４００を介して受信したＰＤＦデータをビットマップデータに変換し、プリンタ部３００に出力するプリンタ機能を有する。更に、制御装置１１０は、スキャンビットマップ、或いは印刷データをメモリ６００に記憶する機能を有する。操作部１５０は、制御装置１１０に接続され、主に液晶タッチパネルで構成され、画像処理システムを操作するためのユーザＩ／Ｆを提供する。

図２は、リーダ部２００及びプリンタ部３００の断面の一例を示す図である。リーダ部２００の原稿給紙ユニット２５０は、原稿を先頭順に１枚ずつプラテンガラス２１１上へ給送して、原稿の読み取り動作終了後、プラテンガラス２１１上の原稿を排出するものである。原稿がプラテンガラス２１１上に搬送されると、ランプ２１２が点灯し、そして光学ユニット２１３の移動が開始され、原稿が露光走査される。このときの原稿からの反射光は、ミラー２１４、２１５、２１６、及びレンズ２１７によってＣＣＤイメージセンサ（以下ＣＣＤという）２１８へ導かれる。このように、走査された原稿の画像は、ＣＣＤ２１８によって読み取られる。ＣＣＤ２１８から出力される画像データは、所定の処理が施された後、制御装置１１０へ転送され、電子的にビットマップ画像として形成される。
プリンタ部３００のレーザドライバ３２１は、レーザ発光部３２２を駆動するものであり、制御装置１１０から出力された画像ビットマップデータに応じたレーザ光をレーザ発光部３２２に発光させる。このレーザ光は、感光ドラム３２３に照射され、感光ドラム３２３にはレーザ光に応じた潜像が形成される。この感光ドラム３２３の潜像の部分には現像器３２４によって現像剤が付着される。
そして、レーザ光の照射開始と同期したタイミングで、カセット３１１及びカセット３１２の何れかから記録紙が給紙されて転写部３２５へ搬送され、感光ドラム３２３に付着された現像剤が記録紙に転写される。現像剤の乗った記録紙は、定着部３２６に搬送され、定着部３２６の熱と圧力とにより現像剤は記像紙に定着される。定着部３２６を通過した記録紙は、排出ローラ３２７によって排紙ユニット３３０に排出さる。また、両面記録が設定されている場合、排出ローラ３２７のところまで記録紙が搬送された後、排出ローラ３２７の回転方向が逆転され、フラッパ３２８によって再給紙搬送路３２９へ導かれる。再給紙搬送路３２９へ導かれた記録紙は、前述したタイミングで転写部３２５へ給紙される。

図３は、複写装置の操作部１５０の一例を示す図である。５０１は、パワースイッチであり、利用者が、これを押すことにより、タッチパネル５１６がＯＮとなり、スキャン、プリント、コピー機能を使用するために、操作する事ができる。また、利用者が、もう一度押すことにより、タッチパネル５１６がＯＦＦとなり、省電力モードとなる。５１２はテンキーであり、利用者が、画像形成枚数の設定やモード設定の数値入力に使用する。クリアキー５１３は、利用者が、テンキー５１２で入力した設定を無効にする場合に使用する。リセットキー５０８は、利用者が、設定された画像形成枚数や動作モード、選択給紙段等のモードを既定値に戻す場合に使用する。スタートキー５０６は、利用者が、スキャン、コピー等の画像形成を開始する場合に押下するキーである。ストップキー５０７は、利用者が、画像形成動作を停止する場合に使用する。
ガイドキー５０９は、利用者が、あるキー機能が分からない際に押下するキーである。ガイドキー５０９が押下されると、画像形成装置は、機能が分からない操作の説明をタッチパネル５１６に表示する。ユーザモードキー５１０は、利用者が、画像形成装置の設定、例えば、タッチパネルを押したときに、タッチ音を鳴らすかどうかを変更する際等に使用するキーである。５１６は、タッチパネルである。スキャン、プリント、コピーのファンクション毎に設定画面がタッチパネル５１６に表示される。利用者が、描画されたキーに触れることで、詳細な設定、例えばスキャンの場合、スキャン画像のファイル形式、ネットワーク経由でスキャン画像を送る、宛先の設定を行うことが可能である。

次に、表示装置の一例であるＨＭＤ（ヘッドマウントディスプレイ）について説明する。図４は、ＨＭＤ１１１０の概略構成の一例を示す図である。ＨＭＤ１１１０は、同図に示すように、撮像手段の一例であるビデオカメラ１１１１、ＬＣＤ１１１２、光学プリズム１１１３、１１１４により構成されている。ＨＭＤ１１１０は、サーバ４０１と接続され、ビデオカメラ１１１１で撮影された映像に、サーバ４０１から受信した映像を重畳して表示する。
ビデオカメラ１１１１は、光学プリズム１１１４によって導かれた光を撮像する。結果として利用者の視点の位置姿勢に応じて見える現実空間が撮像される。このビデオカメラ１１１１は、本実施形態ではＨＭＤ１１１０内に１つとするが、これに限定されるものではなく、利用者の右目、左目それぞれの位置姿勢に応じて見える現実空間の映像を撮像するために２つ設けてもよい。撮像された映像信号は、サーバ４０１に出力される。ＬＣＤ１１１２は、サーバ４０１が生成し、出力した映像信号を受け、受けた映像信号に基づいた映像を表示するためのものである。本実施形態ではビデオカメラ１１１１が撮像した現実空間の紙媒体に、図１、図２において説明した現実空間の画像形成装置が画像形成し、サーバ４０１より送信された映像を重畳した映像（複合現実空間の映像）が表示される。この表示された映像は光学プリズム１１１３によって利用者の瞳に導かれる。紙媒体は、メディアの一例である。ビデオカメラ１１１１は、撮像手段の一例である。
現実空間の画像形成装置１００がスキャンし、画像形成したＡ４の２ページ分の原稿映像を、Ａ３の紙媒体５０００に重畳した映像の表示イメージを図５に示す。図５は、重畳表示された映像の一例を示す図である。ページ１の原稿映像が５００１、ページ２の原稿映像が５００２となる。原稿映像は、メディア画像の一例である。

次に、サーバ４０１の機能について説明する。サーバ４０１は、映像を利用したモーションキャプチャ機能を利用して、ＨＭＤ１１１０から入力される現実空間の映像から利用者のアクションを検出する。より具体的にはサーバ４０１は、現実空間の紙媒体５０００をめくるアクションを検出し、紙媒体５０００に重畳されている映像、即ち、画像形成装置１００が画像形成した映像のページ送りをする。ＨＭＤ１１１０から入力される現実空間の映像は、撮像画像の一例である。
サーバ４０１が、紙媒体５０００をめくるアクションを検出し、紙媒体５０００に重畳される、画像形成装置１００が画像形成した原稿映像を、図５で示したページ１、ページ２の表示から、ページ３の映像５００３に切り替えるようＨＭＤ１１１０に指示を出す。ＨＭＤ１１１０がこの指示に基づき、映像を切り替える様子を図６に示す。図６は、利用者が紙媒体をめくった場合に、ＨＭＤ１１１０が重畳表示する映像を切り替えて表示している様子を示す図である。

以下、図７を用いて、コンピュータについて説明する。図７は、サーバ４０１、ＰＣ４０２として機能するホストコンピュータのハードウェア構成の一例を示す図である。
図７において、サーバ４０１、ＰＣ４０２は、例えば一般に普及しているパーソナルコンピュータであり、ＨＤ４２０６、ＣＤ−ＲＯＭドライブ（ＣＤ）４２０７、及びＤＶＤ４２０９等に蓄積したり、或いは蓄積されている画像データ等をモニタ４２０２に表示したりすることが可能である。更に、サーバ４０１、ＰＣ４０２は、画像データを、ＮＩＣ４２１０等を用いることによってインターネット等を介して配布させることが可能である。また、ユーザからの各種指示等は、ポインティングデバイス４２１２、及びキーボード４２１３からの入力により行われる。サーバ４０１、ＰＣ４０２の内部では、バス４２０１により後述する各ブロックが接続され、種々のデータの受け渡しが可能である。
図中、４２０２は、サーバ４０１、ＰＣ４０２からの種々の情報を表示することのできるモニタである。４２０３は、サーバ４０１、ＰＣ４０２内の各部の動作を制御、或いはＲＡＭ４２０５にロードされたプログラムを実行することのできるＣＰＵである。４２０４は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭである。４２０５は、ＣＰＵ２０３にて処理を行うために一時的にプログラムや処理対象の画像データを格納しておくＲＡＭであり、ここにＯＳやＣＰＵ４２０３が後述の各種処理を行うためのプログラムがロードされることになる。４２０６は、ＲＡＭ等に転送されるＯＳやプログラムを格納したり、装置が動作中に画像データを格納したり、読出すために使用されるハードディスク（ＨＤ）である。４２０７は、外部記憶媒体の一つであるＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ等）に記憶されたデータを読み込み或いは書き出すことのできるＣＤ−ＲＯＭドライブである。４２０９も、ＣＤ−ＲＯＭドライブ４２０７と同様にＤＶＤ−ＲＯＭからの読み込み、ＤＶＤ−ＲＡＭへの書き出しができるＤＶＤ−ＲＯＭ（ＤＶＤ−ＲＡＭ）ドライブである。尚、ＣＤ−ＲＯＭ、ＦＤ、ＤＶＤ−ＲＯＭ等に画像処理用のプログラムが記憶されている場合には、これらプログラムはＨＤ４２０６にインストールされ、必要に応じてＲＡＭ４２０５に転送される。
４２１１は、インターネット等のネットワークに接続するＮＩＣ４２１０にサーバ４０１、ＰＣ４０２を接続するためのＩ／Ｆである。Ｉ／Ｆ４２１１を介してサーバ４０１、ＰＣ４０２は、インターネットへデータを送信したり、インターネットからデータを受信したりする。４２１４は、サーバ４０１、ＰＣ４０２にポインティングデバイス４２１２やキーボード４２１３を接続するためのＩ／Ｆで、Ｉ／Ｆ４２１４を介してポインティングデバイス４２１２やキーボード４２１３から入力された各種の指示がＣＰＵ４２０３に入力される。

図８は、第１の実施形態における画像処理の一例を示す図である。
画像形成装置１００のリーダ部２００は、利用者によって原稿束がセットされ、操作部１５０を用いて、原稿のスキャンをスタートする旨指示されると、原稿のスキャンを実行する（ステップＳ３００１）。
次に、画像形成装置１００の制御装置１１０は、操作部１５０のタッチパネル５１６において、「拡張表示プレビュー」が押下されたかどうかを判断する（ステップＳ３００２）。「拡張表示プレビュー」とは、紙媒体に画像形成装置が画像形成した画像を重畳表示する機能を指す。本実施形態の場合、スキャンした原稿束をセンドする前に、センドする原稿束の画像を、事前に、紙媒体に重畳表示することでプレビューが行われる。
ステップＳ３００２において、制御装置１１０は、「拡張表示プレビュー」が押下されていないと判断した場合は、図８に示す処理を終了し、押下されたと判断した場合は次のステップに処理を進める。
ステップＳ３００３において、画像形成装置１００のリーダ部２００でセットされた原稿束を、制御装置１１０がビットマップ画像に変換し、一旦、メモリ６００に蓄積する。その後、ビットマップ画像をネットワーク経由でサーバ４０１へ転送する。サーバ４０１は、ビットマップ画像をＨＭＤ１１１０へ転送する。利用者はＨＭＤ１１１０を介して、紙媒体５０００上で、前記ビットマップ画像を重畳表示した様子を見ることができる。図５は、原稿束の１ページ目、２ページ目を重畳表示している様子である。例えば、ＨＭＤ１１１０は、利用者が紙媒体５０００をみたときに、紙媒体５０００上に、前記ビットマップ画像を重畳表示するようにしてもよい。

ステップＳ３００４において、サーバ４０１は、利用者が、所定の動作の一例である紙媒体５０００をめくるモーションを行ったか否かをＨＭＤ１１１０から受信した映像を利用したモーションキャプチャ機能により検知する。サーバ４０１は、検知しない場合、処理をステップＳ３００６にジャンプさせ、検知した場合、処理を次のステップに進める。
ステップＳ３００５において、サーバ４０１は、ＨＭＤ１１１０に対してページの画像の表示の切り替えを指示する。ＨＭＤ１１１０は、サーバ４０１の指示に基づき、紙媒体５０００上で重畳表示する原稿画像のうち、次ページの画像の表示に切り替える。ステップＳ３００３では１ページ目、２ページ目を表示していたので、ＨＭＤ１１１０は、図６のとおり、３ページ目の表示を行う。なお、ここで、サーバ４０１は、表示の切り替えを指示すると共に、切り替えるページの画像をＨＭＤ１１１０に送信するものとする。
ステップＳ３００６において、サーバ４０１は、紙媒体５０００上で原稿画像の重畳表示を利用者が終了指示したか否かをＨＭＤ１１１０から受信した映像より検知する。例えば、サーバ４０１は、紙媒体の左下角から右上角に向かって、指で対角線上に移動するモーションを、前述のモーションキャプチャ機能により検知し、終了のコマンドとして認識する。
なお、本実施形態では、画像処理の対象として原稿をスキャンした画像について記載したが、このことに限定されるものではない。例えば、ＰＣ４０２のアプリケーションから印刷指示され、ネットワークを経由し、制御装置１１０で受けたＰＤＬデータをビットマップ画像に展開し、メモリ６００に蓄積する。その後、同様にサーバ４０１、ＨＭＤ１１１０を介して紙媒体５０００上にプレビュー表示する場合でもよい。
以上より、利用者は、媒体を操作し、操作に応じた画像形成結果を表示することで、
臨場感をもって画像形成装置１００の出力結果を得ることができる。つまり、本実施形態によれば、利用者は、スキャン後センドする前のプレビュー、或いは紙へ印刷する前のプレビューを、見やすく、臨場感を持って見ることができる。

（第２の実施形態）
次に、画像形成装置にはなく、外部装置にある機能（機能モジュール）をサーバが呼び出し、外部装置にある機能モジュールで画像形成した結果を、ＨＭＤで表示する実施形態について説明する。
本実施形態では、第一の画像形成装置にはなく、外部装置（例えば、他の画像形成装置２１００）が有する機能モジュールの一例として、「ジョブ結合印刷」を説明する。他の画像形成装置２１００は、一の機能を有する第二の画像処理装置の一例である。ジョブ結合印刷は、一の機能の一例である。
ＰＣ４０２でのアプリケーションにて、印刷先として、画像形成装置１００へ印刷する場合、ＰＣ４０２のアプリケーションのプリンタドライバが、画像形成装置１００の制御装置１１０が解釈可能なプリンタ言語であるＰＤＬを、ジョブ単位で送信する。ここで言うジョブとは、ある一つのアプリケーション上で、ある一つのファイルに対し、１回の印刷指令を行う単位であり、例えば、両面印刷等がある。
ＰＣ４０２から送信されたＰＤＬジョブは、画像形成装置１００の制御装置１１０で受け付けられ、制御装置１１０がＰＤＬを解釈し、メモリ６００へ、ビットマップ画像として展開される。ビットマップ画像は印刷ユニット３２０で印刷され、排紙ユニット３３０へ排紙される。画像形成装置１００は、一の機能を有しない第一の画像処理装置の一例である。

次に、ジョブ結合印刷について、図９を用いて説明する。図９は、ジョブ結合印刷の一例を示す図である。前述したように、ジョブは、ある一つのアプリケーション上で、ある一つのファイルに対し、１回の印刷指令を行う単位である。例えば、図９では、ある一つのアプリケーション上である一つのファイルに対し、白黒両面印刷をし（ジョブＡ−１）、その後、ある一つのアプリケーション上である一つのファイルに対しカラー４ｉｎ１両面印刷（ジョブＢ−１）をする。その後、ある一つのアプリケーション上である一つのファイルに対し縮小レイアウト無しで白黒片面印刷（ジョブＣ−１）をする様子を示している。これらのアプリケーションは同一であっても、別々であってもよい。また、それぞれのファイルは同一であっても、別々であってもよい。何れにしても、それぞれのジョブをアプリケーションから印刷する際には、利用者がそれぞれのアプリケーションからプリンタドライバを開き、印刷の起動をかける必要がある。一方、これらジョブＡ−１、ジョブＢ−１、ジョブＣ−１が、例えば会議等で使用される１セットのドキュメントで、このドキュメントの単位で、例えば必要部数分、資料が必要となることがある。２部必要となる場合、従来の方法だと、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を起動する為にプリンタドライバを開き、プリント指令を行う。その後、同様に、ジョブＡ−２、ジョブＢ−２、ジョブＣ−２を起動する為にプリンタドライバを開いてプリント指令を行なわなければならず、部数が多いほど煩わしさが大きい。
ジョブ結合とは、この場合、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を、結合ジョブＹ−１として結合し、結合ジョブＹ−１に対して、必要な部数、例えば２部、プリントを指令するものであり、個々のジョブ毎にプリントを指令する煩わしさを解消するものである。

例えば、画像形成装置１００のメモリ６００には制限がある場合、画像形成装置１００は、ＰＣ４０２から受信するプリントジョブに対し、ジョブ結合印刷を実行することができない。つまり、画像形成装置１００は、ジョブ結合印刷の機能を有していない。一方、他機種の画像形成装置２１００は、ジョブ結合印刷機能を有している。この様な構成において、利用者は、他機種の画像形成装置２１００にあるジョブ結合印刷機能を試しに使用したい場合、サーバ４０１からジョブ結合機能を呼び出す。即ち、画像形成装置１００が、ＰＣ４０２から受けたプリントジョブを、サーバ４０１へ転送する。そして、サーバ４０１を経由してＨＭＤ１１１０で、現実空間の紙媒体５０００に、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１を、結合ジョブＹ−１としてジョブ結合した結果を重畳表示する。同様に、ＨＭＤ１１１０は、結合ジョブＹ−２の結果も重畳表示することができる。
他の画像形成装置２１００の実物の装置は、ジョブ結合機能がある為、利用者は、画像形成装置１００を使って、他の画像形成装置２１００のジョブ結合機能について、紙媒体５０００に重畳表示された映像をＨＭＤ１１１０で見る。このことにより、臨場感をもって体感することができる。

図１０は、サーバ４０１における情報処理の一例を示すフローチャートである。
画像形成装置１００は、ＰＣ４０２のアプリケーションのプリンタドライバから発行されたプリントジョブを、ネットワーク４００経由で受信する。画像形成装置１００は、プリントジョブが、処理できないジョブ結合印刷に関するプリントジョブであった場合、プリントジョブをサーバ４０１に送信する。サーバ４０１は、プリントジョブを画像形成装置１００より受信する（ステップＳ２００１）。そして、サーバ４０１は、プリントジョブの画像を、サーバ４０１のハードディスクに格納する（ステップＳ２００２）。
ＨＭＤ１１１０から、ジョブの画像の転送要求を受けた場合（ステップＳ２００３においてＹｅｓ）、サーバ４０１は、ステップＳ２００４に処理を進める。一方、ＨＭＤ１１１０から、ジョブの画像の転送要求を受けない場合（ステップＳ２００３においてＮｏ）、サーバ４０１は、処理をステップＳ２００５に進める。
ここで、結合されたジョブが、例えば、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１であった場合を例に説明を行う。ステップＳ２００４において、サーバ４０１は、ジョブＡ−１、ジョブＢ−１、ジョブＣ−１の順で、それらを連続して、結合したジョブかのようなページ順で、紙媒体５０００をめくるモーションキャプチャ機能に応じて、画像をＨＭＤ１１１０に転送する。
サーバ４０１は、ＨＭＤ１１１０から受信した撮像画像に基づき、モーションキャプチャ機能で終了のモーションを検知した場合（ステップＳ２００５においてＹｅｓ）、図１０に示す処理を終了する。サーバ４０１は、モーションキャプチャ機能で終了のモーションを検知しない場合（ステップＳ２００５においてＮｏ）、ステップＳ２００３に処理を遷移させる。

次に現実空間の画像形成装置１００に、他の画像形成装置２１００の映像を重畳した映像の表示イメージを図１１に示す。図１１は、画像形成装置１００に、他の画像形成装置２１００の映像を重畳した映像の表示イメージの一例を示す図である。
ＨＭＤ１１１０は、現実空間の画像形成装置１００が有する操作部１５０の位置に、他の画像形成装置２１００の操作部２１５０を表示する。サーバ４０１は、ＨＭＤ１１１０からの撮像画像に基づき、利用者が、操作部２１５０を操作するアクションを検出し、あたかも、他の画像形成装置２１００の操作部２１５０を操作し、他の画像形成装置２１００が有する機能を提供することができる。この際、ＨＭＤ１１１０は、操作部１５０の平面位置と、他の画像形成装置２１００の操作部の平面位置とは、合わせて表示する。また、他の画像形成装置２１００の映像データは、サーバ４０１に格納され、ネットワーク経由で、ＨＭＤ１１１０に送信され、表示される。

図１２は、第２の実施形態における画像処理の一例を示す図である。
ステップＳ３１０１では、画像形成装置１００が、ＰＣ４０２からＰＤＬ印刷の指令を受ける。ステップＳ３１０２では、画像形成装置１００が、ＰＤＬ印刷の指令内容が、画像形成装置１００では処理できず、他機種の画像形成装置２１００が有する機能、例えば「ジョブ結合印刷」機能を利用するものか否かを判断する。画像形成装置１００は、ＰＤＬ印刷の指令内容が、他機種の機能を利用するものである場合（ステップＳ３１０２においてＹｅｓ）、ステップＳ３１０３に処理を遷移させる。画像形成装置１００は、ＰＤＬ印刷の指令内容が、他機種の機能を利用するものでない場合（ステップＳ３１０２においてＮｏ）、ステップＳ３１０６に処理を遷移させる。
ステップＳ３１０３では、画像形成装置１００が、サーバ４０１へジョブ結合機能の処理依頼をする。
ステップＳ３１０４では、ＨＭＤ１１１０は、利用者が画像形成装置１００を見たときに、他機種の画像形成装置２１００を重畳表示する。
ステップＳ３１０５では、サーバ４０１が、重畳表示された操作部２１５０において、「拡張表示」を押したかを、モーションキャプチャ機能を用いて検出する。「拡張表示」とは、紙媒体にジョブ結合した結果の画像を紙媒体に重畳表示する機能を指す。また、ＨＭＤ１１１０は、重畳表示された操作部２１５０において、ジョブ結合印刷機能は、画像形成装置１００では実行できない機能であり、画像形成装置２１００の有する機能であるというメッセージも表示する。サーバ４０１は、利用者が「拡張表示」を押したと判断した場合は次のステップに進み、押していないと判断した場合は、図１２に示す処理を終了する。「拡張表示」を押す動作は、第一の所定の動作の一例である。

ステップＳ３１０６では、サーバ４０１は、他機種の画像形成装置２１００のジョブ結合印刷機能を呼び出し、ジョブ結合印刷機能を利用して生成した画像処理結果のビットマップ画像を、ＨＭＤ１１１０へ転送する。利用者はＨＭＤ１１１０を介して、紙媒体５０００上で、前記ビットマップ画像を重畳表示した様子を見ることができる。
ステップＳ３１０７においては、サーバ４０１は、利用者が、紙媒体５０００をめくるモーションを前述のＨＭＤ１１１０から受信した撮像画像（映像）を利用したモーションキャプチャ機能により検知する。サーバ４０１は、利用者による紙媒体５０００をめくるモーションを検知していない場合はステップＳ３１０９へ処理を遷移させ、検知した場合は次のステップに処理を遷移させる。紙媒体をめくるモーション（動作）は、第二の所定の動作の一例である。
ステップＳ３１０８において、サーバ４０１は、ＨＭＤ１１１０に対して、ページ画像の表示の切り替えを指示する。ＨＭＤ１１１０は、この指示に基づいて、紙媒体５０００上で重畳表示する画像のうち、次ページの画像の表示に切り替える。図９の例の場合、ジョブＡ−１は両面で２枚あるので４ページ、ジョブＢ−１も両面で２枚あるので更に４ページ、ジョブＣ−１は片面１枚で１ページ、計９ページの結合ジョブとなる。図１３のような紙媒体５０００の場合、１ページ目は５１０１、２ページ目は５１０２、３ページ目は５１０３のように、順次、重畳表示される。
したがって、ページめくりを行った場合、ジョブＡ−１の２ページ目が５１０２、３ページ目が５１０３に表示される。
ステップＳ３１０９においては、サーバ４０１は、ＨＭＤ１１１０からの撮像画像に基づいて、紙媒体５０００上で原稿画像の重畳表示を利用者が終了指示する動作を検知する。例えば、サーバ４０１は、紙媒体の左下角から右上角に向かって、指で対角線上に移動するモーションを、前述のモーションキャプチャ機能により検知し、終了のコマンドとして認識する。

なお、本実施形態では、他機種機能として「ジョブ結合印刷機能」を例にとったが、例えば、Ａ４原稿２枚をスキャンし、Ａ４Ｒの大きさに縮小レイアウトしてセンドする等の機能でもよい。
以上、本実施形態によれば、利用者は、第１の画像形成装置にない機能モジュールで画像形成された結果を、臨場感をもってあたかも画像形成装置１００の出力のように得ることができる。また、本実施形態によれば、紙等の媒体上で仮想の映像として重畳表示し、臨場感を持って、画像形成結果を利用者に見せることができ、わざわざ他の画像形成装置がある場所へ移動し、使用するといった煩わしさから解放される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、利用者にとって画像処理装置を利用しやすくする画像の重畳表示に関する技術を提供することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、表示装置の一例としてＨＭＤを例に説明を行ったが、表示手段と撮像手段とを有する携帯端末型の表示装置であってもよい。また、表示手段は、透過型であってもよいし、非透過型であってもよい。
また、上述した実施形態では、サーバ４０１において操作者等の操作（動作）を検知する例を用いて説明を行ったが、ＨＭＤ１１１０が、撮像した撮像画像に基づいて操作者等の操作（動作）を検知するようにしてもよい。

１００ 画像形成装置
４０１ サーバ
１１１０ ＨＭＤ

Claims (11)

1. 画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムであって、
   前記画像処理装置は、メディアに対する画像処理の結果であるメディア画像を前記情報処理装置に送信し、
   前記情報処理装置は、前記メディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信し、
   前記表示装置は、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信し、
   前記情報処理装置は、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が前記メディアに対して所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、表示しているメディア画像の切り替えを前記表示装置に指示する画像処理システム。
2. 一の機能を有しない第一の画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムであって、
   前記第一の画像処理装置は、前記一の機能を利用するジョブを受け取った場合、前記一の機能を利用するジョブを前記情報処理装置に送信し、
   前記情報処理装置は、前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信し、
   前記表示装置は、前記一の機能を有する第二の画像処理装置の画像と、前記撮像手段で撮像された前記第一の画像処理装置の画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信し、
   前記情報処理装置は、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信し、
   前記表示装置は、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示する画像処理システム。
3. 前記情報処理装置は、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が前記メディアに対して第二の所定の動作をしたことを検知した場合、表示しているメディア画像の切り替えを前記表示装置に指示する請求項２記載の画像処理システム。
4. 画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置であって、
   メディアに対する画像処理の結果であるメディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信し、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、前記表示装置における前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、の重畳表示のうち、前記メディア画像の切り替えを前記表示装置に指示する情報処理装置。
5. 一の機能を有しない第一の画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置であって、
   前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信し、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信する情報処理装置。
6. 画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムにおける画像処理方法であって、
   前記画像処理装置が、メディアに対する画像処理の結果であるメディア画像を前記情報処理装置に送信するステップと、
   前記情報処理装置が、前記メディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信するステップと、
   前記表示装置が、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信するステップと、
   前記情報処理装置が、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が前記メディアに対して所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、表示しているメディア画像の切り替えを前記表示装置に指示するステップと、
   を含む画像処理方法。
7. 一の機能を有しない第一の画像処理装置と、情報処理装置と、撮像手段を有する表示装置と、を含む画像処理システムにおける情報処理方法であって、
   前記第一の画像処理装置が、前記一の機能を利用するジョブを受け取った場合、前記一の機能を利用するジョブを前記情報処理装置に送信するステップと、
   前記情報処理装置が、前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信するステップと、
   前記表示装置が、前記一の機能を有する第二の画像処理装置の画像と、前記撮像手段で撮像された前記第一の画像処理装置の画像と、を重畳して表示し、前記撮像手段で撮像された撮像画像を前記情報処理装置に送信するステップと、
   前記情報処理装置が、前記表示装置より受信した撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信するステップと、
   前記表示装置は、前記メディア画像を前記情報処理装置より受信すると、前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、を重畳して表示するステップと、
   を含む画像処理方法。
8. 画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置が実行する情報処理方法であって、
   メディアに対する画像処理の結果であるメディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信するステップと、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、前記表示装置における前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、の重畳表示のうち、前記メディア画像の切り替えを前記表示装置に指示するステップと、
   を含む情報処理方法。
9. 一の機能を有しない第一の画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能な情報処理装置が実行する情報処理方法であって、
   前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信するステップと、
   前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信するステップと、
   を含む情報処理方法。
10. 画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能なコンピュータに、
    メディアに対する画像処理の結果であるメディア画像を前記画像処理装置より受信すると、前記メディア画像を前記表示装置に送信するステップと、
    前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が所定の動作をしたことを検知した場合、前記所定の動作における前記利用者の動きに応じて、前記表示装置における前記メディア画像と、前記撮像手段で撮像された前記メディアの画像と、の重畳表示のうち、前記メディア画像の切り替えを前記表示装置に指示するステップと、
    を実行させるプログラム。
11. 一の機能を有しない第一の画像処理装置と、撮像手段を有する表示装置と、ネットワークを介して通信可能なコンピュータに、
    前記一の機能を利用するジョブを前記第一の画像処理装置より受信すると、前記一の機能を有する第二の画像処理装置の画像を前記表示装置に送信するステップと、
    前記表示装置より前記撮像手段で撮像された撮像画像を受信し、前記撮像画像より前記画像処理装置の利用者が第一の所定の動作をしたことを検知した場合、前記ジョブに基づいてメディアに対する前記一の機能を利用した画像処理を実行した結果であるメディア画像を前記表示装置に送信するステップと、
    を実行させるプログラム。

Images