JP2016100828A - 情報処理装置、情報処理システム、制御方法及び制御プログラム - Google Patents

Abstract

【課題】情報処理装置に複数の機器が接続された場合に、複数の機器を操作性よく遠隔操作可能にするように、複数の機器それぞれのＵＩ画像を表示させる。【解決手段】操作入力に応じてアプリケーションを実行する実行部と、遠隔操作端末からの操作入力に応じて実行部にアプリケーションを実行させるよう制御する遠隔操作制御部と、追加機能を実現するために接続された機器を検出し、検出した機器それぞれに対する遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成する擬似ＵＩ生成部と、接続された機器が複数ある場合、接続された機器それぞれの追加機能のアプリケーションにおける予め定められた必要性及び必要順序に基づいて、遠隔操作端末による複数の擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の擬似ＵＩを遠隔操作端末に送信するよう制御する送信順番制御部と、を有する。【選択図】図５

Description

本発明は、情報処理装置、情報処理システム、制御方法及び制御プログラムに関する。

近年、ＭＦＰ（Multifunction Peripheral）には、コピー、スキャナ、プリンタなどの基本アプリケーションの他に、ＳＤＫ（Software Development Kit）を利用して開発したサードベンダー製のアプリケーション（以下、アプリと記すことがある）が用いられている。また、ＭＦＰにカメラ、マイクなどのハードウェアデバイスを追加することが可能になり、ＭＦＰの多機能化が急速に進んでいる。このように、ＭＦＰが多機能化になることにより、機能利用時の操作方法が複雑化し、各機能を使いこなすことが非常に難しくなっている。ここで、ユーザがＭＦＰ機能の操作方法が分からなくなった場合に、ＭＦＰの操作部をＰＣ（Personal Computer）の画面に表示させ、ＰＣからＭＦＰを遠隔操作する（リモートアシスタント）ことが知られている。

また、特許文献１には、遠隔操作装置のタッチスクリーンに画像形成装置の操作部の模擬画像が表示され、タッチスクリーンにおいては、状態変化前に表示されていた模擬画像が、画面制御用情報の受信に応答して、状態変化を反映した模擬画像に変更される画像形成システムが開示されている。

従来、リモートアシスタントには、ＭＦＰの操作画面、及びＭＦＰに接続されているハードウェアデバイス（例えば外付けキーボードなど）も対象として、ＰＣ上に擬似ＵＩ（ユーザインターフェイス）を生成し、ＰＣから遠隔操作することを可能としているものがある。なお、擬似ＵＩとは、ユーザが操作対象を操作するために操作対象に設けられた本物のユーザインターフェイスに対して似ている別のユーザインターフェイスであり、例えば操作対象以外の遠隔操作端末などに表示され、遠隔操作端末などから操作対象を操作することを可能にするものとする。しかしながら、ＭＦＰに複数のデバイス（機器）が接続されて実現されるような機能の場合、ＰＣ上に全てのデバイスの擬似ＵＩが重なって表示されるために、遠隔操作をしづらくなるという問題があった。

本発明は、上記に鑑みてなされたものであって、情報処理装置に複数の機器が接続された場合に、複数の機器を操作性よく遠隔操作可能にするように、複数の機器それぞれのＵＩ画像を表示させることができる情報処理装置、情報処理システム、制御方法及び制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ネットワークを介して遠隔操作端末による遠隔操作を可能にされた情報処理装置であって、操作入力に応じてアプリケーションを実行する実行部と、前記遠隔操作端末からの操作入力に応じて前記実行部に前記アプリケーションを実行させるよう制御する遠隔操作制御部と、追加機能を実現するために接続された機器を検出し、検出した機器それぞれに対する前記遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成する擬似ＵＩ生成部と、接続された機器が複数ある場合、接続された機器それぞれの前記追加機能の前記アプリケーションにおける予め定められた必要性及び必要順序に基づいて、前記遠隔操作端末による複数の前記擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の前記擬似ＵＩを前記遠隔操作端末に送信するよう制御する送信順番制御部と、を有する。

本発明によれば、情報処理装置に複数の機器が接続された場合に、複数の機器を操作性よく遠隔操作可能にするように、複数の機器それぞれのＵＩ画像を表示させることができるという効果を奏する。

図１は、実施の形態にかかる画像処理システムの構成を例示する図である。 図２は、画像処理装置のハードウェア構成及びその周辺を示す図である。 図３は、画像処理装置のソフトウェア構成の一例を示す模式図である。 図４は、ＰＣが有する機能の概要を示す機能ブロック図である。 図５は、画像処理装置が有する機能の概要を示す機能ブロック図である。 図６は、ＰＣが表示する擬似ＵＩの表示例を示す図である。 図７は、擬似ＵＩを表示させるためにＰＣ及び画像処理装置が行う処理の第１例を示す図である。 図８は、擬似ＵＩを表示させるためにＰＣ及び画像処理装置が行う処理の第２例を示す図である。 図９は、擬似ＵＩを表示させるためにＰＣ及び画像処理装置が行う処理の第３例によって表示される擬似ＵＩの表示例を示す図である。

以下に添付図面を参照して、実施の形態にかかる画像処理システム（情報処理システム）を詳細に説明する。図１は、実施の形態にかかる画像処理システム（情報処理システム）１の構成を例示する図である。図１に示すように、画像処理システム１は、例えばインターネットなどのネットワーク１０を介して互いに接続されたＰＣ（Personal Computer：遠隔操作端末）２及び画像処理装置（情報処理装置）３を有し、ＰＣ２によって画像処理装置３を遠隔操作することが可能にされている。

画像処理装置３は、例えばＭＦＰであり、例えばマイク３０、スピーカー３２及びキーボード３４などのハードウェアデバイスが着脱可能に設けられている。なお、マイク３０には収音量を調整するためのハードキーが設けられ、スピーカー３２には音声を読み上げる音量を調整するためのハードキーが設けられている。ＰＣ２は、ネットワーク１０を介して画像処理装置３を遠隔操作する操作入力を受入れる。

次に、図２を用いて、画像処理装置３のハードウェア構成について説明する。図２に示すように、画像処理装置３は、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の機能を実現可能な本体４０と、ユーザの操作入力を受入れる操作部５０とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報（画面の座標値を示す信号等を含む）を受け付けることを含む概念である。本体４０と操作部５０は、専用の通信路３００を介して相互に通信可能に接続されている。通信路３００は、例えばＵＳＢ（Universal Serial Bus）規格のものを用いることもできるが、有線か無線かを問わず任意の規格のものであってよい。

なお、本体４０は、操作部５０で受け付けた操作に応じた動作を行うことができる。また、本体４０は、ＰＣ２等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。

まず、本体４０のハードウェア構成について説明する。図２に示すように、本体４０は、ＣＰＵ４１と、ＲＯＭ４２と、ＲＡＭ４３と、ＨＤＤ（ハードディスクドライブ）４４と、通信Ｉ／Ｆ（インタフェース）４５と、接続Ｉ／Ｆ４６と、エンジン部４７とを備え、これらがシステムバス４８を介して相互に接続されている。

ＣＰＵ４１は、本体４０の動作を統括的に制御する。ＣＰＵ４１は、ＲＡＭ４３をワークエリア（作業領域）としてＲＯＭ４２またはＨＤＤ４４等に格納されたプログラムを実行することで、本体４０全体の動作を制御し、上述したコピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。

通信Ｉ／Ｆ４５は、ネットワーク１０と接続するためのインタフェースである。接続Ｉ／Ｆ４６は、通信路３００を介して操作部５０と通信するためのインタフェースである。

エンジン部４７は、コピー機能、スキャナ機能、ファクス機能、および、プリンタ機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。例えば、原稿の画像をスキャンして読み取るスキャナ（画像読取部）、用紙等のシート材への印刷を行うプロッタ（画像形成部）、ファクス通信を行うファクス部などを備えている。更に、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するＡＤＦ（自動原稿給送装置）のような特定のオプションを備えることもできる。

次に、操作部５０のハードウェア構成について説明する。図２に示すように、操作部５０は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、フラッシュメモリ５４と、通信Ｉ／Ｆ５５と、接続Ｉ／Ｆ５６と、操作パネル５７と、外部接続Ｉ／Ｆ５８とを備え、これらがシステムバス５９を介して相互に接続されている。

ＣＰＵ５１は、操作部５０の動作を統括的に制御する。ＣＰＵ５１は、ＲＡＭ５３をワークエリア（作業領域）としてＲＯＭ５２またはフラッシュメモリ５４等に格納されたプログラムを実行することで、操作部５０全体の動作を制御し、ユーザから受け付けた入力に応じた情報（画像）の表示などの後述する各種機能を実現する。

通信Ｉ／Ｆ５５は、ネットワーク１０と接続するためのインタフェースである。接続Ｉ／Ｆ５６は、通信路３００を介して本体４０と通信するためのインタフェースである。

操作パネル５７は、ユーザの操作に応じた各種の入力を受け付けるとともに、各種の情報（例えば受け付けた操作に応じた情報、画像処理装置３の動作状況を示す情報、設定状態などを示す情報など）を表示する。この例では、操作パネル５７は、タッチパネル機能を搭載した液晶表示装置（ＬＣＤ）で構成されるが、これに限られるものではない。例えばタッチパネル機能が搭載された有機ＥＬ表示装置で構成されてもよい。さらに、これに加えて又はこれに代えて、ハードウェアキー等の操作部やランプ等の表示部を設けることもできる。

外部接続Ｉ／Ｆ５８は、例えばマイク３０、スピーカー３２、キーボード３４及びＩＣカードリーダー３６などを接続するためのインタフェースである。

次に、画像処理装置３のソフトウェア構成について説明する。図３は、画像処理装置３のソフトウェア構成の一例を示す模式図である。図３に示すように、本体４０は、アプリ層４０１と、サービス層４０２と、ＯＳ層４０３とを有する。アプリ層４０１、サービス層４０２、及びＯＳ層４０３の実体は、ＲＯＭ４２やＨＤＤ４４等に格納されている各種ソフトウェアである。ＣＰＵ４１が、これらのソフトウェアを実行することにより、各種の機能が提供される。

アプリ層４０１のソフトウェアは、ハードウェア資源を動作させて所定の機能を提供するためのアプリケーションソフトウェア（以下の説明では、単に「アプリ」と称する場合がある）である。例えばアプリとしては、コピー機能を提供するためのコピーアプリ、スキャナ機能を提供するためのスキャナアプリ、ファクス機能を提供するためのファクスアプリ、プリンタ機能を提供するためのプリンタアプリなどが挙げられる。

サービス層４０２のソフトウェアは、アプリ層４０１とＯＳ層４０３との間に介在し、アプリに対し、本体４０が備えるハードウェア資源を利用するためのインタフェースを提供するためのソフトウェアである。より具体的には、ハードウェア資源に対する動作要求の受付、動作要求の調停を行う機能を提供するためのソフトウェアである。サービス層４０２が受け付ける動作要求としては、スキャナによる読み取りやプロッタによる印刷等の要求が考えられる。

なお、サービス層４０２によるインタフェースの機能は、本体４０のアプリ層４０１だけではなく、操作部５０のアプリ層５０１に対しても提供される。すなわち、操作部５０のアプリ層５０１（アプリ）も、サービス層４０２のインタフェース機能を介して、本体４０のハードウェア資源（例えばエンジン部４７）を利用した機能を実現することができる。

ＯＳ層４０３のソフトウェアは、本体４０が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェア（オペレーティングシステム）である。サービス層４０２のソフトウェアは、各種アプリからのハードウェア資源の利用要求を、ＯＳ層４０３が解釈可能なコマンドに変換してＯＳ層４０３に渡す。そして、ＯＳ層４０３のソフトウェアによりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。

同様に、操作部５０は、アプリ層５０１と、サービス層５０２と、ＯＳ層５０３とを有する。操作部５０が備えるアプリ層５０１、サービス層５０２及びＯＳ層５０３も、階層構造については本体４０側と同様である。ただし、アプリ層５０１のアプリにより提供される機能や、サービス層５０２が受け付け可能な動作要求の種類は、本体４０側とは異なる。アプリ層５０１のアプリは、操作部５０が備えるハードウェア資源を動作させて所定の機能を提供するためのソフトウェアであってもよいが、主として本体４０が備える機能（コピー機能、スキャナ機能、ファクス機能、プリンタ機能）に関する操作や表示を行うためのＵＩ（ユーザインタフェース）の機能を提供するためのソフトウェアである。リモートアシスタントを実現するためのリモートアシスタントアプリも、このアプリ層５０１で実現されている。

なお、本実施の形態では、機能の独立性を保つために、本体４０側のＯＳ層４０３のソフトウェアと操作部５０側のＯＳ層５０３のソフトウェアが互いに異なる。つまり、本体４０と操作部５０は、別々のオペレーティングシステムで互いに独立して動作する。例えば、本体４０側のＯＳ層４０３のソフトウェアとしてＬｉｎｕｘ（登録商標）を用い、操作部５０側のＯＳ層５０３のソフトウェアとしてＡｎｄｒｏｉｄ（登録商標）を用いることも可能である。

以上のように、本実施の形態の画像処理装置３において、本体４０と操作部５０は別々のオペレーティングシステムで動作するため、本体４０と操作部５０との間の通信は、共通の装置内のプロセス間通信ではなく、異なる装置間の通信として行われる。操作部５０が受け付けた情報（ユーザからの指示内容）を本体４０へ伝達する動作（コマンド通信）や、本体４０が操作部５０へイベントを通知する動作などがこれに該当する。ここでは、操作部５０が本体４０へコマンド通信を行うことにより、本体４０の機能を使用することができる。また、本体４０から操作部５０に通知するイベントには、本体４０における動作の実行状況、本体４０側で設定された内容などが挙げられる。

また、本実施の形態では、操作部５０に対する電力供給は、本体４０から通信路３００を経由して行われているので、操作部５０の電源制御を、本体４０の電源制御とは別に（独立して）行うことができる。

次に、ＰＣ２が有する機能について説明する。図４は、ＰＣ２が有する機能の概要を示す機能ブロック図である。ＰＣ２は、遠隔サポート制御部６０、ネットワーク通信制御部６２、ＵＩ制御部６４及び記憶領域６６を有する。

また、遠隔サポート制御部６０は、接続・認証制御部６００、擬似ＵＩ受信部６０２及び遠隔操作制御部６０４を有する。接続・認証制御部６００は、ユーザからの接続要求に応じて、接続要求情報をもとに画像処理装置３に接続確認を行い、結果に基づいて接続を行う。擬似ＵＩ受信部６０２は、画像処理装置３の操作部５０と、画像処理装置３に接続されているハードウェアデバイスのハードキーをエミュレートした擬似ＵＩのＵＩデータの受信を行う。遠隔操作制御部６０４は、接続している画像処理装置３へ操作信号を送り、遠隔操作を行う。

ネットワーク通信制御部６２は、ネットワーク１０の通信制御を行う。即ち、ネットワーク通信制御部６２は、ネットワーク１０を介して画像処理装置３との間でデータの送受信を行う。ＵＩ制御部６４は、マウス、キーボードなどのキー入力の受付を行う。記憶領域６６は、ＨＤＤやＮＶＲＡＭなどに形成される領域であり、ＵＩデータ（イメージ画像）６６０及び操作ログ６６２を格納する。

次に、画像処理装置３が有する機能について説明する。図５は、画像処理装置３が有する機能の概要を示す機能ブロック図である。画像処理装置３は、例えば遠隔サポートアプリ７０、ネットワーク通信制御部７２及びアプリケーション実行部７４を有する。

また、遠隔サポートアプリ７０は、接続・認証制御部７００、擬似ＵＩ生成部７０２、擬似ＵＩ送信部７０４、送信順番制御部（順番制御部）７０６、及び遠隔操作制御部７０８を有する。接続・認証制御部７００は、ユーザからの接続要求に応じて、接続要求情報をもとにＰＣ２に対して接続確認を行い、結果に基づいて接続を行う。

擬似ＵＩ生成部７０２は、画像処理装置３の操作部５０と、画像処理装置３に接続されているハードウェアデバイス（デバイス）のハードキーをエミュレートした擬似ＵＩのＵＩデータの生成を行う。例えば、擬似ＵＩ生成部７０２は、画像処理装置３に対する追加機能を実現するために画像処理装置３に接続されたデバイスを検出し、検出したデバイスそれぞれに対するＰＣ２からの操作入力を可能にする擬似ＵＩを生成する。

擬似ＵＩ送信部７０４は、擬似ＵＩ生成部７０２が生成したＵＩデータを接続しているＰＣ２へ送信する。送信順番制御部７０６は、デバイス（機器）の設定、ステータス（例えばアプリケーションの動作状態）を確認し、擬似ＵＩの送信順番の決定を行う。なお、送信順番制御部７０６は、順番を決定するためのテーブルも保有している。例えば、送信順番制御部７０６は、画像処理装置３に接続されたデバイスが複数ある場合、デバイスそれぞれの追加機能のアプリケーションにおける予め定められた必要性及び必要順序に基づいて、ＰＣ２による複数の擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の擬似ＵＩをＰＣ２に送信するよう制御する。遠隔操作制御部７０８は、ＰＣ２からの操作入力に応じてアプリケーション実行部７４にアプリケーションを実行させるよう制御する。

ネットワーク通信制御部７２は、ネットワーク１０の通信制御を行う。即ち、ネットワーク通信制御部７２は、ネットワーク１０を介してＰＣ２との間でデータの送受信を行う。アプリケーション実行部（実行部）７４は、操作入力に応じて画像処理装置３にインストールされたアプリケーションを実行する。

次に、送信順番制御部７０６が行う処理について詳述する。表１は、送信順番制御部７０６が擬似ＵＩの表示順番（表示順番決定処理）を、画像処理装置３の実施機能とハードウェアデバイス（機器）との組合せによって示すテーブルである。

画像処理装置３に複数のハードウェアデバイスが接続されている場合、画像処理装置３は、自身に設定されている機能（機能設定情報）を送信順番制御部７０６が確認し、擬似ＵＩの表示順番を決定する。送信順番制御部７０６は、画像処理装置３に接続されているデバイスと、機能設定情報とに応じて、表１に示したテーブルを用いて擬似ＵＩの表示順番を決定する。

例として、画像処理装置３にマイク３０、スピーカー３２及びキーボード３４のハードウェアデバイスが接続されている場合が示されている。表１において、表示順番の次に続く数値は、表示される順番を示している。つまり、表示順番１とは、１番目に表示される擬似ＵＩである。なお、ハイフン（−）は、擬似ＵＩを表示しないことを示している。

ここで、音声認証機能とは、ユーザの音声をキーとして画像処理装置３の認証解除を行う機能とする。ユーザが画像処理装置３を操作するためには、まず認証解除を行わなければならないため、音声認証機能を実現するために必要なハードウェアデバイスの擬似ＵＩは、表示される順番の優先順位が高くなる。

また、ＵＩ読上げ機能とは、画像処理装置３の操作部５０の画面上にあるアイテムが選択されると、そのアイテムを読み上げる機能とする。操作画面上にあるアイテムを読み上げる機能なので、表示される順番の優先順位は低くなっている。

表１に示すように、例えばマイク３０とスピーカー３２が画像処理装置３に接続されており、さらに音声認証機能とＵＩ読み上げ機能が両方ともＯＮである場合、送信順番制御部７０６は、最初にマイク３０の擬似ＵＩのみが表示され、次に画像処理装置３の操作部５０の擬似ＵＩ、最後にスピーカー３２の擬似ＵＩを表示するように、表示順番を決定する。

そして、画像処理装置３は、図６（ａ）に示すように、送信順番制御部７０６が決定した順番通りに各デバイスの擬似ＵＩを順次に表示する。具体的には、画像処理装置３は、最初にマイク３０の擬似ＵＩのみを表示し、次に操作部５０の擬似ＵＩを表示し、最後にスピーカー３２の擬似ＵＩを表示する。

比較例として、図６（ｂ）に示したように、マイク３０の擬似ＵＩ、操作部５０の擬似ＵＩ、及びスピーカー３２の擬似ＵＩが同時に表示された場合、ユーザは各デバイス（機器）の操作がやりにくくなってしまう。

図７は、画像処理装置３に接続されるハードウェアデバイス（機器）の擬似ＵＩを表示させるためにＰＣ２及び画像処理装置３が行う処理の第１例を示す図である。また、図７は、ＰＣ（遠隔操作端末）２による遠隔操作を可能にされた画像処理装置（情報処理装置）３を制御する制御方法の概要も示している。まず、ＰＣ２は、リモートアシスタントアプリを起動させる（Ｓ１００）。

画像処理装置３は、ＰＣ２からの接続要求に応答し、ＰＣ２との接続を行う（Ｓ２００）。次に、画像処理装置３は、当該画像処理装置３に接続されているデバイス数を確認する（Ｓ２０２）。画像処理装置３は、接続されているデバイス数が２つ以上である場合にはＳ２０４の処理に進み、接続されているデバイス数が１つ以下である場合にはＳ２０８の処理に進む。

画像処理装置３は、各機器が何であるかと、各機器の設定（機器設定情報）を確認し（Ｓ２０４）、各機器の擬似ＵＩの表示順番を決定する（Ｓ２０６）。そして、画像処理装置３は、機器の擬似ＵＩを生成し、擬似ＵＩを示すＵＩデータをＰＣ２に対して送信する（Ｓ２０８）。

ＰＣ２は、画像処理装置３が送信した擬似ＵＩデータを受信し（Ｓ１０２）、受信した擬似ＵＩを順次に表示して、ユーザの操作（遠隔操作）を受入れる（Ｓ１０４）。

図８は、画像処理装置３に接続されるハードウェアデバイス（機器）の擬似ＵＩを表示させるためにＰＣ２及び画像処理装置３が行う処理の第２例を示す図である。なお、図８において、図７に示した処理と実質的に同じものには、同一の符号が付してある。

画像処理システム１は、マイク３０とスピーカー３２が画像処理装置３に接続されており、さらに音声認証機能とＵＩ読み上げ機能が両方ともＯＮである場合、どのタイミングでリモートアシスタントアプリが起動されたのかによって、擬似ＵＩの表示順番も変わってくる。例えば、音声認証がされた後（マイク３０を利用した後）にリモートアシスタントアプリを起動すると、遠隔操作するにあたり、マイク３０は不要であると判断できる。画像処理システム１は、リモートアシスタントアプリが起動された時の機器ステータスも確認した上で表示順番を決定する。

具体的には、図８に示すように、画像処理装置３は、当該画像処理装置３に接続されているデバイス数を確認（Ｓ２０２）した後に、機器ステータスの確認を行う（Ｓ２０３）。例えば、送信順番制御部７０６は、ＰＣ２による遠隔操作が開始可能となったときの機器（デバイス）及びアプリケーションの動作状態に応じて、擬似ＵＩの表示の順番を決定する。ここで、画像処理装置３は、表２に示したテーブルを用いて表示順番を決定する。

表２に示したテーブルにおける認証（未）とは、機器（デバイス）の認証が解除されていない状態であり、認証（済）とは、機器の認証が解除されている状態であることを示す。また、ハイフン（−）は擬似ＵＩを表示しないことを示す。

次に、画像処理装置３に接続されるハードウェアデバイス（機器）の擬似ＵＩを表示させるためにＰＣ２及び画像処理装置３が行う処理の第３例について説明する。操作部５０を備える画像処理装置３に対して外付けとなるキーボード３４が接続されている場合、画像処理装置３の操作画面と、キーボード３４の擬似ＵＩとがＰＣ２に表示されることになる。

例えば、画像処理装置３の操作画面上にソフトキーボードを表示してキーを入力する画面がある。その時、画像処理装置３の操作画面のソフトキーボードと、キーボード３４の擬似ＵＩは同じ機能をもち、重複した機能（キーボード）が共に表示されることになる（図９（ｂ）参照）。

このように、画像処理装置３の操作画面にソフトキーボードが表示されるような場合（即ち、操作部５０が備える機能とデバイス（キーボード３４など）の機能とが同じである場合）、図９（ａ）に示すように、画像処理装置３の送信順番制御部７０６は、操作画面を拡大し、デバイス（キーボード３４など）の擬似ＵＩを送信しないことにより、キーボード３４の擬似ＵＩをＰＣ２が表示しないように制御を行ってもよい。また、画像処理装置３は、ソフトキーボードを表示しない画面になると、キーボード３４の擬似ＵＩを表示するように、画面を切替えるように構成されてもよい。

この場合、画像処理装置３は、表３に示したテーブルを用いて、キーボード３４の擬似ＵＩを表示するか否かを決定する。

なお、上述した画像処理装置３（及びＰＣ２）の各部の機能は、ＣＰＵ（４１または５１）が、記憶装置（例えばＲＯＭ４２、ＨＤＤ４４、ＲＯＭ５２、フラッシュメモリ５４等）に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上記画像処理装置３（及びＰＣ２）の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。また、上記記憶領域は、例えば本体４０側のＨＤＤ４４等によって実現されてもよいし、操作部５０側のフラッシュメモリ５４等によって実現されてもよい。

また、上述の実施の形態では、本体４０と操作部５０は、別々のオペレーティングシステムで互いに独立して動作しているが、これに限らず、例えば本体４０と操作部５０が同じオペレーティングシステムで動作する形態であってもよい。

このように、画像処理システム１は、画像処理装置３にハードウェアデバイスが複数追加された場合であっても、ＰＣ２上から遠隔操作（リモートアシスタント）の操作性を向上させることができる。具体的には、画像処理システム１は、画像処理装置３に追加されているデバイス、及び画像処理装置３に対する設定からユーザが利用したい機能を推定する（テーブルによる）ことにより、ＰＣ２上に表示する擬似ＵＩの優先順位を決定し、擬似ＵＩをデバイス毎に順番に表示することを可能とする。そのため、ＰＣ２上に全ての擬似ＵＩが同時に表示されるということはなくなり、擬似ＵＩ同士が重なって操作しづらくなるという問題を解消することができる。

また、上述した実施の形態の画像処理システム１で実行される制御プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

なお、この形態は本発明の範囲を限定するものではなく、例えばＰＣ２が擬似ＵＩ生成部７０２を備えていてもよい。また、この実施の形態で説明する画像処理装置３と、ＰＣ２とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

１ 画像処理システム
２ ＰＣ
３ 画像処理装置
１０ ネットワーク
３０ マイク
３２ スピーカー
３４ キーボード
４０ 本体
５０ 操作部
６０ 遠隔サポート制御部
６２ ネットワーク通信制御部
６４ ＵＩ制御部
６６ 記憶領域
７０ 遠隔サポートアプリ
７２ ネットワーク通信制御部
７４ アプリケーション実行部
６００ 接続・認証制御部
６０２ 擬似ＵＩ受信部
６０４ 遠隔操作制御部
７００ 接続・認証制御部
７０２ 擬似ＵＩ生成部
７０４ 擬似ＵＩ送信部
７０６ 送信順番制御部
７０８ 遠隔操作制御部

特開２０１３−１５７７７４号公報

Claims (6)

1. ネットワークを介して遠隔操作端末による遠隔操作を可能にされた情報処理装置であって、
   操作入力に応じてアプリケーションを実行する実行部と、
   前記遠隔操作端末からの操作入力に応じて前記実行部に前記アプリケーションを実行させるよう制御する遠隔操作制御部と、
   追加機能を実現するために接続された機器を検出し、検出した機器それぞれに対する前記遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成する擬似ＵＩ生成部と、
   接続された機器が複数ある場合、接続された機器それぞれの前記追加機能の前記アプリケーションにおける予め定められた必要性及び必要順序に基づいて、前記遠隔操作端末による複数の前記擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の前記擬似ＵＩを前記遠隔操作端末に送信するよう制御する送信順番制御部と、
   を有することを特徴とする情報処理装置。
2. 前記送信順番制御部は、
   前記遠隔操作端末による遠隔操作が開始可能となったときの前記機器及び前記アプリケーションの動作状態に応じて、前記擬似ＵＩの表示の順番を決定すること
   を特徴とする請求項１に記載の情報処理装置。
3. 操作入力を受入れる操作部
   をさらに有し、
   前記送信順番制御部は、
   前記操作部が備える機能と、前記機器の前記追加機能とが同じである場合、前記機器の前記擬似ＵＩを送信しないよう制御すること
   を特徴とする請求項１又は２に記載の情報処理装置。
4. ネットワークを介して遠隔操作端末による遠隔操作を可能にされた情報処理装置を備えた情報処理システムであって、
   操作入力に応じてアプリケーションを実行する実行部と、
   前記遠隔操作端末からの操作入力に応じて前記実行部に前記アプリケーションを実行させるよう制御する遠隔操作制御部と、
   追加機能を実現するために接続された機器を検出し、検出した機器それぞれに対する前記遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成する擬似ＵＩ生成部と、
   接続された機器が複数ある場合、接続された機器それぞれの前記追加機能の前記アプリケーションにおける予め定められた必要性及び必要順序に基づいて、前記遠隔操作端末による複数の前記擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の前記擬似ＵＩを前記遠隔操作端末に表示させるよう制御する順番制御部と、
   を有することを特徴とする情報処理システム。
5. ネットワークを介して遠隔操作端末による遠隔操作を可能にされた情報処理装置を制御する制御方法であって、
   追加機能を実現するために前記情報処理装置に接続された機器を検出し、検出した機器それぞれに対する前記遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成する工程と、
   接続された機器が複数ある場合、接続された機器それぞれの前記追加機能のアプリケーションにおける予め定められた必要性及び必要順序に基づいて、前記遠隔操作端末による複数の前記擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の前記擬似ＵＩを前記遠隔操作端末に表示させるよう制御する工程と、
   を含む制御方法。
6. ネットワークを介して遠隔操作端末による遠隔操作を可能にされた情報処理装置を制御する制御プログラムであって、
   追加機能を実現するために前記情報処理装置に接続された機器を検出し、検出した機器それぞれに対する前記遠隔操作端末からの操作入力を可能にする擬似ＵＩを生成するステップと、
   接続された機器が複数ある場合、接続された機器それぞれの前記追加機能のアプリケーションにおける予め定められた必要性及び必要順序に基づいて、前記遠隔操作端末による複数の前記擬似ＵＩの表示の順番を決定し、決定した表示の順番に複数の前記擬似ＵＩを前記遠隔操作端末に表示させるよう制御するステップと、
   をコンピュータに実行させるための制御プログラム。

Images