JP7363399B2

JP7363399B2 - 情報処理装置、情報処理システム、及び情報処理プログラム

Info

Publication number: JP7363399B2
Application number: JP2019207269A
Authority: JP
Inventors: 祐輔大野
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2023-10-18
Anticipated expiration: 2039-11-15
Also published as: JP2021081868A

Description

本発明は、情報処理装置、情報処理システム、及び情報処理プログラムに関する。

特許文献１には、画像形成装置でのジョブの実行状況を遠くから容易に認識することのできるジョブ情報表示装置が提案されている。詳細には、ヘッドマウントディスプレイ装置が、ユーザの見ている光景と同じ光景をカメラ部で撮影し、該光景の中に存在する画像形成装置を画像解析等によって認識し、その画像形成装置からジョブの実行状況を示すジョブ情報を取得する。そして、ジョブ情報に基づいて、該ジョブの実行状況を、画像形成装置の通紙経路上にそのジョブで使用される用紙を仮想的に示す仮想用紙を配置した画像を作成し、該画像をユーザの見ている光景内の画像形成装置に重なるように表示スクリーンに表示する。

また、特許文献２には、画像形成に関する処理の設定条件における位置条件を直感的に容易に指定可能な情報処理装置が提案されている。詳細には、ヘッドマウントデバイスが、画像形成に関する処理の位置条件が指定される場合に、カメラで撮影された視界影像に含まれる位置条件の指定の対象となる指定対象物の画像を認識する。そして、ヘッドマウントデバイスが、認識された指定対象物の画像における視線検出部で検出された視線方向に対応する位置に応じて、位置条件の指定内容を判定する。

特開２０１４－１９４７２５号公報特開２０１７－０１７５０７号公報

本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。

請求項１に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行う。
請求項２に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する。
請求項３に記載の情報処理装置は、プロセッサを備え、前記プロセッサは、画像形成指示に対する実行状況を取得し、仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する。

請求項４に記載の発明は、請求項１～３の何れか１項に記載の発明において、前記プロセッサは、画像形成指示を取得した場合に、前記画像形成装置の通紙経路上の前記仮想用紙を搬送開始位置に表示させ、前記仮想用紙に対する予め定めた開始ジェスチャ操作を検知した場合に、画像形成を開始する指示を前記画像形成装置に対して行う。

請求項５に記載の発明は、請求項２又は請求項３に記載の発明において、前記プロセッサは、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合に、画像形成を停止する指示を前記画像形成装置に対して行う。

請求項６に記載の発明は、請求項１又は請求項３に記載の発明において、前記プロセッサは、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する。

請求項７に記載の発明は、請求項１又は請求項２に記載の発明において、前記プロセッサは、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する。

請求項８に記載の発明は、請求項１～７の何れか１項に記載の発明において、前記プロセッサは、前記画像形成装置の実際の通紙経路に沿って前記仮想用紙が移動するように表示する。

請求項９に記載の発明は、請求項８に記載の発明において、前記プロセッサは、画像形成指示に含まれる用紙情報を用いて、前記仮想用紙の移動経路を更に表示する。

請求項１０に記載の発明は、請求項９に記載の発明において、前記プロセッサは、予め定めた後処理を行う後処理装置を前記画像形成装置が備える場合、画像形成指示に含まれる後処理情報を用いて、後処理の排出位置に合わせて前記移動経路を表示する。

請求項１１に記載の情報処理システムは、請求項１～１０の何れか１項に記載の情報処理装置と、画像形成指示を受け付けて画像形成を行い、かつ前記操作指示に対応する処理を行う画像形成装置と、を含む。

請求項１２に記載の情報処理プログラムは、コンピュータを、請求項１～１０の何れか１項に記載の情報処理装置として機能させる。

請求項１に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ停止可能な場合にジェスチャ操作により画像形成を停止することが可能となる。
請求項２に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ停止不可の場合にジェスチャ操作による画像形成の停止が不可能であることをユーザが認識することができる。
請求項３に記載の情報処理装置によれば、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理装置を提供でき、かつ画像形成を停止可能か不可能かを認識することが可能となる。

請求項４に記載の発明によれば、ジェスチャ操作により画像形成を開始することが可能となる。

請求項５に記載の発明によれば、停止可能な場合にジェスチャ操作により画像形成を停止することが可能となる。

請求項６に記載の発明によれば、停止不可の場合にジェスチャ操作による画像形成の停止が不可能であることをユーザが認識することができる。

請求項７に記載の発明によれば、画像形成を停止可能か不可能かを認識することが可能となる。

請求項８に記載の発明によれば、画像形成中の通紙状態を仮想的に確認することが可能となる。

請求項９に記載の発明によれば、用紙毎の通紙経路を確認することが可能となる。

請求項１０に記載の発明によれば、画像形成装置に後処理装置を備える場合に、用紙の排出位置を認識することが可能となる。

請求項１１に記載の情報処理システムによれば、本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理システムを提供できる。

請求項１２に記載の情報処理プログラムによれば、本発明は、仮想現実空間、拡張現実空間、または複合現実空間において、ユーザインタフェースを操作して操作指示を行うよりも直感的に操作指示が可能な情報処理プログラムを提供できる。

本実施形態に係る情報処理システムの概略構成を示す図である。本実施形態に係る情報処理システムにおける画像形成装置の電気系の要部構成を示すブロック図である。本実施形態に係る情報処理システムにおけるＭＲデバイスの電気系の要部構成を示すブロック図である。実際の画像形成装置に仮想用紙を重畳して表示した様子の一例を示す図である。仮想用紙に対して画像形成開始のジェスチャ操作を行った様子の一例を示す図である。仮想用紙に対して画像形成指示を削除するジェスチャ操作を行った様子の一例を示す図である。画像形成を停止可能な期間と停止不可の期間とで仮想用紙を異なる形態で表示する例を説明するための図である。画像形成を停止可能な期間の一例を説明するための図である。本実施形態に係る情報処理システムにおけるＭＲデバイスで行われる処理の流れの一例を示すフローチャートである。本実施形態に係る情報処理システムにおける画像形成装置で行われる処理の流れの一例を示すフローチャートである。画像形成装置に後処理装置を備える場合に、仮想用紙の移動経路を表示した例を示す図である。

以下、図面を参照して本実施形態の一例を詳細に説明する。本実施形態では、画像形成装置、プリントサーバ、クライアントコンピュータ、及び無線基地局が各種ネットワーク等の通信回線を介して各々接続された情報処理システムを一例として説明する。図１は、本実施形態に係る情報処理システム１０の概略構成を示す図である。

本実施形態に係る情報処理システム１０は、図１に示すように、画像形成装置１２と、無線基地局１３と、クライアントコンピュータ１５と、プリントサーバ１６とを備えている。なお、図１では、画像形成装置１２及びクライアントコンピュータ１５は１つ示すが、それぞれ複数でもよいし、何れか一方が複数でもよい。

画像形成装置１２、無線基地局１３、クライアントコンピュータ１５、及びプリントサーバ１６は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、イントラネット等の通信回線１８を介して各々接続されている。そして、画像形成装置１２、無線基地局１３、クライアントコンピュータ１５、及びプリントサーバ１６の各々は、通信回線１８を介して各種データの送受信を相互に行うことが可能とされている。また、無線基地局１３には、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）１４ａや、携帯端末装置１４ｂ等の複合現実空間（ＭＲ：Mixed Reality）の画像を表示可能な情報処理装置としてのＭＲデバイス１４が無線接続されており、ＭＲデバイス１４と各機器と各種データの送受信を行うことが可能とされている。

本実施形態に係る情報処理システム１０は、プリントサーバ１６がクライアントコンピュータ１５等からの要求に応じたプリントサービスをクラウドサービスとして提供する。具体的には、クライアントコンピュータ１５等からプリントサーバ１６に対して画像形成指示を行って、画像形成装置１２によって画像形成指示に対応する画像形成を行うクラウドサービスをプリントサーバ１６が提供する。このとき、ＭＲデバイス１４は、実際の画像形成装置１２の通紙経路上に仮想的に用紙を重畳して表示する。そして、仮想用紙に対するジェスチャ操作を受け付けて操作指示を画像形成装置１２に対して行うことで画像形成装置１２に対する操作が可能とされている。なお、以下では、仮想的に表示する用紙を仮想用紙と称す。

図２は、本実施形態に係る情報処理システム１０における画像形成装置１２の電気系の要部構成を示すブロック図である。

本実施形態に係る画像形成装置１２は、図２に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、及びＲＡＭ（Random Access Memory）２０Ｃを含むコントロール・ユニット２０を備えている。ＣＰＵ２０Ａは、画像形成装置１２の全体の動作を司る。ＲＡＭ２０Ｃは、ＣＰＵ２０Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＲＯＭ２０Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。そして、画像形成装置１２は、コントロール・ユニット２０の各部がシステムバス４２によって電気的に接続されている。

一方、本実施形態に係る画像形成装置１２は、各種のデータやアプリケーション・プログラム等を記憶するＨＤＤ（hard disk drive）２６を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２のディスプレイへの各種の操作画面等の表示を制御する表示制御部２８を備えている。また、画像形成装置１２は、ユーザインタフェース２２に接続され、ユーザインタフェース２２を介して入力される操作指示を検出する操作入力検出部３０を備えている。そして、画像形成装置１２では、ＨＤＤ２６、表示制御部２８、および操作入力検出部３０がシステムバス４２に電気的に接続されている。なお、本実施形態に係る画像形成装置１２では、記憶部としてＨＤＤ２６を適用しているが、これに限らず、フラッシュメモリ等の不揮発性の記憶部を適用してもよい。

また、本実施形態に係る画像形成装置１２は、原稿読取部４４による光学的な画像の読み取り動作、及び原稿搬送部による原稿送り動作を制御する読取制御部３２と、画像形成部２４による画像形成処理、及び搬送部２５による画像形成部２４への用紙の搬送を制御する画像形成制御部３４と、を備えている。また、画像形成装置１２は、通信回線１８に接続され、当該通信回線１８に接続されたプリントサーバ１６等の他の外部装置と通信データの送受信を行う通信回線Ｉ／Ｆ（インタフェース）部３６と、を備えている。また、画像形成装置１２は、図示しない電話回線に接続され、当該電話回線に接続されているファクシミリ装置とファクシミリデータの送受信を行うファクシミリＩ／Ｆ（インタフェース）部３８を備えている。また、画像形成装置１２は、ファクシミリＩ／Ｆ部３８を介したファクシミリデータの送受信を制御する送受信制御部４０を備えている。そして、画像形成装置１２では、送受信制御部４０、読取制御部３２、画像形成制御部３４、通信回線Ｉ／Ｆ部３６、及びファクシミリＩ／Ｆ部３８がシステムバス４２に電気的に接続されている。

以上の構成により、本実施形態に係る画像形成装置１２は、ＣＰＵ２０Ａにより、ＲＡＭ２０Ｃ、ＲＯＭ２０Ｂ、及びＨＤＤ２６へのアクセスを各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、表示制御部２８を介したユーザインタフェース２２のディスプレイ２２Ａへの操作画面、各種のメッセージ等の情報の表示の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、読取制御部３２を介した原稿読取部４４及び原稿搬送部の作動の制御を実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、画像形成制御部３４を介した画像形成部２４及び搬送部２５の作動の制御と、通信回線Ｉ／Ｆ部３６を介した通信データの送受信の制御と、を各々実行する。また、画像形成装置１２は、ＣＰＵ２０Ａにより、送受信制御部４０によるファクシミリＩ／Ｆ部３８を介したファクシミリデータの送受信の制御を実行する。さらに、画像形成装置１２は、ＣＰＵ２０Ａにより、操作入力検出部３０によって検出された操作情報に基づくユーザインタフェース２２における操作内容の把握が行われ、この操作内容に基づく各種の制御を実行する。

続いて、本実施形態に係るＭＲデバイス１４の電気系の要部構成について説明する。図３は、本実施形態に係る情報処理システム１０におけるＭＲデバイス１４の電気系の要部構成を示すブロック図である。

本実施形態に係るＭＲデバイス１４は、図３に示すように、プロセッサの一例としてのＣＰＵ１４Ａ、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、ＨＤＤ１４Ｄ、操作部１４Ｅ、表示部１４Ｆ、通信回線Ｉ／Ｆ（インタフェース）部１４Ｇ、及び撮影部１４Ｈを備えている。ＣＰＵ１４Ａは、ＭＲデバイス１４の全体の動作を司る。ＲＯＭ１４Ｂは、各種制御プログラムや各種パラメータ等が予め記憶される。ＲＡＭ１４Ｃは、ＣＰＵ１４Ａによる各種プログラムの実行時のワークエリア等として用いられる。ＨＤＤ１４Ｄは、各種のデータやアプリケーション・プログラム等が記憶される。操作部１４Ｅは各種の情報を入力するために用いられる。表示部１４Ｆは、各種の情報を表示するために用いられる。撮影部１４Ｈは、撮影によって得られる画像情報を出力する。通信回線Ｉ／Ｆ部１４Ｇは、通信回線１８に接続され、当該通信回線１８に接続された他の装置と各種データの送受信を行う。また、通信回線Ｉ／Ｆ部１４Ｇは、周知の各種の無線通信を用いて、各機器と直接通信が可能な構成とてもよい。以上のＭＲデバイス１４の各部はシステムバス１４Ｉにより電気的に相互に接続されている。なお、本実施形態に係るＭＲデバイス１４では、ＨＤＤ１４Ｄを記憶部として適用しているが、これに限らず、フラッシュメモリ等の他の不揮発性の記憶部を適用してもよい。

以上の構成により、本実施形態に係るＭＲデバイス１４は、ＣＰＵ１４Ａにより、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ、及びＨＤＤ１４Ｄに対するアクセス、操作部１４Ｅを介した各種データの取得、撮影部１４Ｈによる撮影、表示部１４Ｆに対する各種情報の表示を各々実行する。また、ＭＲデバイス１４は、ＣＰＵ１４Ａにより、通信回線Ｉ／Ｆ部１４Ｇを介した通信データの送受信の制御を実行する。

なお、クライアントコンピュータ１５及びプリントサーバ１６は、基本的には一般的なコンピュータ構成とされ、図３の撮影部１４Ｈ以外は、ＭＲデバイス１４と同様に、ＣＰＵ１５Ａ、１６Ａ、ＲＯＭ１５Ｂ、１６Ｂ、及びＲＡＭ１５Ｃ、１６Ｃ等を含む構成であるため、詳細な説明は省略する。

上述のように構成された本実施形態に係る情報処理システム１０では、図４に示すように、ＭＲデバイス１４により、実際の画像形成装置１２に対してリアルタイムに仮想用紙５０を表示する。例えば、ＭＲデバイス１４は、画像形成装置１２の撮影画像を表示して仮想用紙５０を重畳して表示する形態としてもよいし、透過スクリーン等を備えて透過スクリーン上の画像形成装置１２に対応する位置に仮想用紙５０を表示することで、実際の画像形成装置１２に仮想用紙５０を重畳して表示する形態としてもよい。なお、画像形成指示に含まれる用紙情報等を用いて排出位置等を特定して、図４に示すように、仮想用紙５０の移動経路を矢印等で表示してもよい。

そして、撮影部１４Ｈによって撮影された撮影画像に基づいて仮想用紙５０に対する予め定めたジェスチャ操作を検出し、検出した操作に対応する指示を画像形成装置１２に通知して、画像形成装置１２を操作する。例えば、予め定めたジェスチャ操作としては、画像形成開始を指示するジェスチャ操作や、画像形成指示を削除するジェスチャ操作、画像形成を停止するジェスチャ操作などが挙げられる。

例えば、仮想用紙５０を手で上に挙げる等の画像形成開始を指示する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合には、ＭＲデバイス１４は、実際の画像形成装置１２に対して仮想用紙５０を表示するように表示部１４Ｆを制御し、画像形成開始を画像形成装置１２に通知することにより画像形成を開始する。

また、仮想用紙５０を手で掴む、或いははさみで切る等の予め定めた画像形成指示を削除するジェスチャ操作をＭＲデバイス１４が検出した場合には、受け付けた画像形成指示の削除を画像形成装置１２に通知して画像形成指示を削除する。

また、画像形成が開始して、画像形成の動作中に、仮想用紙５０を手で掴む、或いははさみで切る等の画像形成を停止する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合には、画像形成の停止を画像形成装置１２に通知して画像形成を停止する。ここで、画像形成指示を削除するジェスチャ操作と、画像形成を停止するジェスチャ操作は、ジェスチャ自体は同じでもよい。同じジェスチャを用いる場合には、検出するタイミングや、他の条件等で区別すればよい。

なお、画像形成中の仮想用紙５０の表示は、実際の用紙と同じように、通紙経路に沿って仮想用紙５０が移動するように表示する。

ここで、ＭＲデバイス１４を用いて画像形成装置１２に画像形成を開始させる具体的な手順について説明する。

ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行う。認証は、例えば、ＩＣ（Integrated Circuit）カード等を用いて行う。

画像形成装置１２は、認証によりユーザを特定して、ＭＲデバイス１４に画像形成指示の有無の情報を送信する。

ＭＲデバイス１４は、ユーザの画像形成指示が存在する場合、図５に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。

そして、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、仮想用紙５０に対するジェスチャ操作として、図５に示すように、画像形成開始を指示する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合に、画像形成装置１２に画像形成開始の指示を通知して、画像形成を開始させる。

次に、ＭＲデバイス１４を用いて画像形成装置１２の画像形成指示を削除する具体的な手順について説明する。

ＭＲデバイス１４は、ユーザの画像形成指示が存在する場合、図６に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。

そして、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、仮想用紙５０に対するジェスチャ操作として、図６に示すように、画像形成指示を削除する予め定めたジェスチャ操作をＭＲデバイス１４が検出した場合に、画像形成装置１２に画像形成指示の削除を通知して、画像形成指示を削除する。

次に、ＭＲデバイス１４を用いて画像形成装置１２の画像形成を停止する具体的な手順について説明する。

上述のように、画像形成指示が行われて画像形成動作が行われている間に、仮想用紙５０に対するジェスチャ操作として、ユーザが画像形成を停止する予め定めたジェスチャ操作を行う。これにより、ＭＲデバイス１４は、撮影部１４Ｈによって撮影された撮影画像に基づいて、画像形成を停止するジェスチャ操作をＭＲデバイス１４が検出し、画像形成装置１２に画像形成の停止を通知して、画像形成を停止させる。

実際には、画像形成を停止可能な期間は決まっているので、画像形成装置１２と通信して情報を取得する。仮想用紙５０の表示は、図７に示すように、画像形成を停止可能な期間と停止不可の期間とで異なる形態で表示する。例えば、画像形成を停止可能な期間外は、赤く表示、点線、または、点滅表示等で異なる表示形態として表示し、停止不可であることをユーザに報知する。なお、画像形成を停止可能な期間としては、例えば、図８に示すように、未処理中の場合と、処理中の対象情報を受信してから画像形成するまでの間の期間であり、未処理中の画像形成が開始されてから排出されるまでの期間は画像形成の停止が不可の期間である。

具体的には、画像形成装置１２は、ＭＲデバイス１４に対して、画像形成の対象ページが画像形成の停止が可能か否かの情報を送信する。

ＭＲデバイス１４は、画像形成の停止が可能か否かの情報に応じて、仮想用紙の表示形態を変更する。また、停止不可の場合は停止ジェスチャ操作を受け付けない。

ＭＲデバイス１４は、停止ジェスチャを検知した場合、画像形成装置１２に対して画像形成停止命令を送信し、画像形成装置１２は、画像形成停止命令を受信した場合に、画像形成を停止する。

続いて、上述のように構成された本実施形態に係る情報処理システム１０で行われる具体的な処理について説明する。

まず、ＭＲデバイス１４で行われる処理について説明する。図９は、本実施形態に係る情報処理システム１０におけるＭＲデバイス１４で行われる処理の流れの一例を示すフローチャートである。なお、図９の処理は、ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行って認証が許可された場合に開始する。

ステップ１００では、ＣＰＵ１４Ａが、画像形成指示をプリントサーバ１６から取得してステップ１０２へ移行する。すなわち、ＭＲデバイス１４は、画像形成指示を画像形成の実行状況として取得する。

ステップ１０２では、ＣＰＵ１４Ａが、仮想用紙５０を描画してステップ１０４へ移行する。すなわち、図４に示すように、実際の画像形成装置１２の用紙の搬送開始位置である用紙を供給する部分に仮想用紙５０を重畳して表示する。具体的には、画像形成指示に含まれる用紙情報に対応する用紙が格納された位置に仮想用紙５０を表示する。例えば、先行技術文献等の周知技術のように、図４に示すように、撮影部１４Ｈの撮影によって得られた画像情報から特定のマーク５２等を用いて画像形成装置１２を認識し、用紙情報に対応する位置に仮想用紙５０を表示する。

ステップ１０４では、ＣＰＵ１４Ａが、開始又は削除のジェスチャを検知したか否か判定する。該判定は、撮影部１４Ｈの撮影によって得られた画像情報に対して画像処理を行うことにより、開始又は停止の予め定めたジェスチャ操作が行われたか否かを判定する。該判定が肯定されるまで待機してステップ１０６へ移行する。

ステップ１０６では、ＣＰＵ１４Ａが、検知したジェスチャ操作が開始ジェスチャ操作であるか否かを判定する。停止ジェスチャ操作が検知されて判定が否定された場合にはステップ１０８へ移行し、判定が肯定された場合にはステップ１１０へ移行する。

ステップ１０８では、ＣＰＵ１４Ａが、画像形成指示の削除を画像形成装置１２に通知して一連の処理を終了する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成指示を削除する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成指示が削除される。

一方、ステップ１１０では、ＣＰＵ１４Ａが、画像形成の開始を画像形成装置１２に通知してステップ１１２へ移行する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成を開始する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成が開始される。

ステップ１１２では、ＣＰＵ１４Ａが、仮想用紙５０の搬送を描画してステップ１１４へ移行する。すなわち、画像形成装置１２内の用紙の搬送と同じように、通紙経路に沿って仮想用紙５０が搬送されるように表示される。

ステップ１１４では、ＣＰＵ１４Ａが、画像形成の停止が可能か否かの情報を画像形成装置１２から取得してステップ１１６へ移行する。すなわち、ＭＲデバイス１４は、画像形成の停止が可能か否かの情報を画像形成の実行状況として取得する。

ステップ１１６では、ＣＰＵ１４Ａが、取得した情報に基づいて、画像形成の停止が可能であるか否かを判定する。該判定が否定された場合にはステップ１１８へ移行し、肯定された場合にはステップ１２４へ移行する。

ステップ１１８では、ＣＰＵ１４Ａが、仮想用紙５０の描画色を更新してステップ１２０へ移行する。例えば、画像形成の停止が不可を表す赤色等の色に仮想用紙５０の色を変更する。

ステップ１２０では、ＣＰＵ１４Ａが、画像形成の実行状態を画像形成装置１２から取得してステップ１２２へ移行する。

ステップ１２２では、ＣＰＵ１４Ａが、取得した画像形成状態に基づいて、画像形成が終了したか否か判定する。該判定が否定された場合にはステップ１１２に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ１２８へ移行する。

一方、ステップ１２４では、ＣＰＵ１４Ａが、停止のジェスチャ操作を検知したか否か判定する。該判定は、撮影部１４Ｈの撮影によって得られた画像情報に対して画像処理を行うことにより、停止ジェスチャ操作が行われたか否かを判定する。該判定が否定された場合にはステップ１２０へ移行し、肯定された場合にはステップ１２６へ移行する。

ステップ１２６では、ＣＰＵ１４Ａが、画像形成の停止を画像形成装置１２に通知してステップ１２８へ移行する。すなわち、ＭＲデバイス１４から画像形成装置１２に対して画像形成を停止する指示が行われる。これにより、画像形成装置１２では、後述の処理により、画像形成が停止される。

ステップ１２８では、ＣＰＵ１４Ａが、仮想用紙５０の描画を終了して一連の処理を終了する。

続いて、画像形成装置１２で行われる処理について説明する。図１０は、本実施形態に係る情報処理システム１０における画像形成装置１２で行われる処理の流れの一例を示すフローチャートである。なお、図１０の処理は、ユーザがクライアントコンピュータ１５等を操作して画像形成装置１２に対して画像形成指示を行い、画像形成装置１２の前まで行って認証操作を行って認証が許可された後に、ＭＲデバイス１４から情報を受信した場合に開始する。

ステップ２００では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の開始の通知を受信したか否かを判定する。該判定は、上述のステップ１１０によって画像形成の開始が通知されたか否かを判定する。該判定が肯定された場合にはステップ２０２へ移行し、否定された場合にはステップ２０４へ移行する。

ステップ２０２では、ＣＰＵ２０Ａが、画像形成制御部３４を介して画像形成部２４及び搬送部２５を制御することで、画像形成を開始して一連の処理を終了する。

一方、ステップ２０４では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の削除指示の通知を受信したか否かを判定する。該判定は、上述のステップ１０８によって画像形成指示の削除が通知されたか否かを判定する。該判定が肯定された場合にはステップ２０６へ移行し、否定された場合にはステップ２０８へ移行する。

ステップ２０６では、ＣＰＵ２０Ａが、画像形成指示を削除して一連の処理を終了する。すなわち、クライアントコンピュータ１５から指示された画像形成指示を削除する。

一方、ステップ２０８では、ＣＰＵ２０Ａが、ＭＲデバイス１４から画像形成の停止の通知を受信したか否かを判定する。該判定は、上述のステップ１２６によって画像形成の停止が通知されたか否かを判定する。該判定が肯定された場合にはステップ２１０へ移行し、否定された場合には一連の処理を終了する。

ステップ２１０では、ＣＰＵ２０Ａが、画像形成制御部３４を介して画像形成部２４及び搬送部２５を制御することで、画像形成を停止して一連の処理を終了する。

このように、ＭＲデバイス１４が、実際の画像形成装置１２に仮想用紙５０を表示し、仮想用紙５０に対するジェスチャ操作を検知した場合に、ジェスチャ操作に対応して予め定めた操作指示を画像形成装置１２に対して行うことで画像形成装置１２が操作される。これにより、ユーザインタフェースによる操作指示よりも直感的な操作指示が行われる。

ところで、用紙に穴を開けるパンチ処理や、用紙を綴じるステープル処理、用紙を二つ折りにする二つ折り処理、用紙を観音開き折りする観音開き折り処理等の予め定めた後処理を行う後処理装置６０を画像形成装置１２に備える場合がある。この場合、画像形成装置１２の本体と、後処理装置６０のどちらから用紙が出力されるかが分からないことがある。そこで、ＭＲデバイス１４が、画像形成指示に含まれる後処理情報を用いて、後処理の排出位置に合わせて仮想用紙５０の移動経路を表示してもよい。例えば、図１１の矢印で示すように、用紙の搬送を仮想的に見えるように、仮想用紙５０の移動経路を実際の画像形成装置１２に重畳して表示し、移動経路の表示によって用紙の出力先が分かるように表示する。

なお、上記の実施形態において、ＭＲデバイス１４と画像形成装置１２との間の情報の授受は、通信回線１８及びプリントサーバ１６を介して行ってもよいが、ＭＲデバイス１４と画像形成装置１２間で、各種無線通信等により情報の授受を直接行ってもよい。

また、上記の実施形態では、ＭＲデバイス１４を用いた例を一例として説明したが、ＭＲデバイス１４に限るものではない。例えば、ＭＲデバイス１４の代わりに、仮想現実空間（ＶＲ：Virtual Reality）または拡張現実空間（ＡＲ：Augmented Reality）の画像を表示するデバイスを適用してもよい。

また、上記の実施形態において、ＣＰＵをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス等）を含むものである。

また、上記の実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、上記の実施形態に係る情報処理システム１０の各部で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、情報処理システム１０の各部で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０情報処理システム
１２画像形成装置
１４ＭＲデバイス
１５クライアントコンピュータ
１６プリントサーバ
１４ＡＣＰＵ
１４Ｆ表示部

Claims

プロセッサを備え、前記プロセッサは、
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行う情報処理装置。
プロセッサを備え、前記プロセッサは、
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する情報処理装置。
プロセッサを備え、前記プロセッサは、
画像形成指示に対する実行状況を取得し、
仮想現実空間、拡張現実空間、または複合現実空間において、画像形成装置の通紙経路上の前記実行状況に対応する位置に、仮想用紙を表示させ、
前記仮想用紙に対する予め定めたジェスチャ操作を検知した場合に、前記ジェスチャ操作に対応して予め定めた操作指示を前記画像形成装置に対して行い、
前記仮想用紙に対する予め定めた停止ジェスチャ操作を検知した場合は、画像形成を停止する指示を前記画像形成装置に対して行い、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する情報処理装置。
前記プロセッサは、画像形成指示を取得した場合に、前記画像形成装置の通紙経路上の前記仮想用紙を搬送開始位置に表示させ、
前記仮想用紙に対する予め定めた開始ジェスチャ操作を検知した場合に、画像形成を開始する指示を前記画像形成装置に対して行う請求項１～３の何れか１項に記載の情報処理装置。
前記プロセッサは、予め定めた停止可能区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合に、画像形成を停止する指示を前記画像形成装置に対して行う請求項２又は請求項３に記載の情報処理装置。
前記プロセッサは、予め定めた停止不可区間の前記仮想用紙に対する前記停止ジェスチャ操作を検知した場合は、画像形成の停止が不可であることを報知する請求項１又は請求項３に記載の情報処理装置。
前記プロセッサは、予め定めた停止可能区間の前記仮想用紙と、予め定めた停止不可区間の前記仮想用紙とを異なる形態で表示する請求項１又は請求項２に記載の情報処理装置。
前記プロセッサは、前記画像形成装置の実際の通紙経路に沿って前記仮想用紙が移動するように表示する請求項１～７の何れか１項に記載の情報処理装置。
前記プロセッサは、画像形成指示に含まれる用紙情報を用いて、前記仮想用紙の移動経路を更に表示する請求項８に記載の情報処理装置。
前記プロセッサは、予め定めた後処理を行う後処理装置を前記画像形成装置が備える場合、画像形成指示に含まれる後処理情報を用いて、後処理の排出位置に合わせて前記移動経路を表示する請求項９に記載の情報処理装置。
請求項１～１０の何れか１項に記載の情報処理装置と、
画像形成指示を受け付けて画像形成を行い、かつ前記操作指示に対応する処理を行う画像形成装置と、
を含む情報処理システム。
コンピュータを、請求項１～１０の何れか１項に記載の情報処理装置として機能させるための情報処理プログラム。