JP2017228872A - 画像形成装置の遠隔操作用の携帯端末、システム、およびプログラム - Google Patents

Abstract

【課題】画像形成装置の操作画面をエミュレートする際に操作画面の扱い方を、その装置に不慣れなユーザーにも容易に理解されるように支援可能な携帯端末を提供する。
【解決手段】携帯端末（１００）は、ＭＦＰ（２００）の遠隔操作に供される際、そのＭＦＰの機種とは異なる標準機種の操作画面プログラムを実行して標準機種の操作画面（ＣＰＡ）を表示する。この操作画面に対するユーザーのジェスチャーに応じて携帯端末はコマンドを生成し、そのコマンドをＭＦＰへ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてジェスチャーが検知された座標に対応するＭＦＰの操作画面（ＣＰＢ）内の座標を含む。この座標に割り当てられたＭＦＰの機能は、コマンド変換表により、ジェスチャーが検知された座標に割り当てられた標準機種の機能と共通し、または同等である。
【選択図】図７

Description

本発明は画像形成装置の遠隔操作に関し、特に操作画面の表示制御に関する。

近年、画像形成装置の操作画面が複雑化している。画像形成装置の多機能化と高機能化との進展に伴い、画像形成時に設定されるべき条件（以下、印刷条件という。）が多岐にわたると共に、各条件の選択肢が増えたことによる。操作画面では特に、グラフィックスユーザーインタフェース（ＧＵＩ）部品のレイアウトと形態、および表示される用語が機種ごとに異なる。したがって、ユーザーは、使い慣れた機種以外の操作に戸惑うことが多い。

操作画面の複雑さに抗して画像形成装置の操作性を向上させるための工夫としてはたとえば、その装置の操作マニュアルをユーザーの携帯端末に表示させる技術（特許文献１、２参照。）と、その装置を他の電子機器で遠隔操作する技術（特許文献３−９参照。）とが知られている。前者の技術は、スマートフォン、タブレット等の携帯端末を画像形成装置と連携させて、画像形成装置に対するユーザーの操作に応じてその操作に関するマニュアルの記載を携帯端末に自動的に表示させ、または、携帯端末に表示されたマニュアルのページからユーザーが選択した項目に合わせて画像形成装置を自動的に動作させる。これにより、マニュアルの記載を目で追いながらの操作から受けるユーザーの負担感が軽減される。後者の技術は、画像形成装置の操作画面を、パソコン（ＰＣ）、携帯端末等の外部の電子機器にエミュレートさせる。このエミュレーション用のプログラム（以下、「操作画面プログラム」という。）には、様々なプラットフォームへの移植の簡単さが要求される。これにより、操作画面プログラムの機種依存性が低減し、操作画面の形態と仕様とが異なる機種間で共通化されることが図られている。

特開２０１４−２３９２８２号公報 特開２０１５−１１８４３７号公報 特開２０１１−１２０２５０号公報 特開２０１１−２３８００６号公報 特開２０１３−０８８５０６号公報 特開２０１３−１１０４７０号公報 特開２０１４−０２２７６９号公報 特開２０１４−０３５７２３号公報 特開２０１５−１２８８２８号公報

上記の工夫が加えられたとしても画像形成装置の操作画面は、その装置を使い慣れていないユーザーにとって扱いやすいものとは言い難い。実際、画像形成装置の機能の多さと高さとからその操作画面そのものを、不慣れなユーザーにも一目で把握可能な程度まで簡単化することは容易でない。また、マニュアルの表示と画像形成装置の動作との間の対応が自動化されても、別画面に表示されたマニュアルの記載を目で追いながら操作画面を扱うことは、ユーザーにとってやはり煩雑である。さらに、異機種間での操作画面プログラムの共通化は急速には進まない。異機種間では機能の種類と質との組み合わせが千差万別であり、それらの機能を実現するためのソフトウェア、ハードウェアの動作に必要なプラットフォームも異なる。これらの違いを超えて、仕様が共通するように操作画面プログラムを機種ごとに移植し直すのは、その負担が過大である。特に、異なるメーカー間では一般に画像形成装置の機能またはプラットフォームの詳細は非開示であるので、それらの違いを埋めようがない。したがって、操作画面プログラムの共通化は実現困難である。

本発明の目的は上記の課題を解決することであり、特に、画像形成装置の操作画面をエミュレートする際に操作画面の扱い方を、その装置に不慣れなユーザーにも容易に理解されるように支援することが可能な携帯端末を提供することにある。

本発明の１つの観点における携帯端末は、画像形成装置の遠隔操作に供される携帯端末であり、操作対象の画像形成装置と通信する通信部と、ＧＵＩ画面を表示する表示部と、その表示部の画面上に配置されたタッチパネルを含み、そのタッチパネルを通して、表示部が表示しているＧＵＩ画面に対するユーザー操作を検知する操作部と、操作対象の機種とは異なる標準機種の操作画面プログラムに従い、標準機種の操作画面を表示部に表示させると共に、その操作画面に対するユーザー操作を操作部に検知させ、そのユーザー操作に応じてコマンドを生成し、そのコマンドを通信部に操作対象へ送信させるコマンド生成部とを備えている。コマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。

コマンド生成部は、コマンドに組み込むべき操作画面内の座標を、操作対象と標準機種との間におけるコマンドの変換表に基づいて決定してもよい。この変換表は、操作対象と標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定してもよい。この変換表は、操作対象と標準機種との間におけるコマンドの送信プロトコルの違いを更に規定してもよい。通信部は外部サーバーと通信可能であってもよく、コマンド生成部は通信部に変換表を外部サーバーから取得させてもよい。

コマンド生成部は、操作対象からの操作画面の受信と操作対象へのコマンドの送信とをリモートパネル形式で行ってもよい。コマンド生成部は表示部に、標準機種の操作画面の含むＧＵＩ部品のうち、操作対象の操作画面の含むＧＵＩ部品のいずれにも対応しないものを無効化してもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との両方を同時に表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間で対応するＧＵＩ部品を強調表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間でタブまたはウィンドウの切り換えを同期させてもよい。

本発明の１つの観点におけるシステムは、画像形成装置の遠隔操作を実現するシステムであり、上記の携帯端末と、通信部と通信可能に接続され、標準機種の操作画面内の座標と操作対象の操作画面内の座標との間の対応関係を規定する情報をコマンド生成部へ提供する外部サーバーとを備えている。
本発明の１つの観点におけるプログラムは、画像形成装置の遠隔操作に供される携帯端末に、操作対象の機種とは異なる標準機種の操作画面を表示するステップと、タッチパネルを通して操作画面に対するユーザー操作を検知するステップと、検知されたユーザー操作に応じてコマンドを生成するステップと、そのコマンドを操作対象へ送信するステップとを実行させるためのプログラムである。コマンドはパラメーターとして、標準機種の操作画面において検知されたユーザー操作の座標に対応する操作対象の操作画面内の座標を含む。

本発明による上記の携帯端末は、標準機種の操作画面プログラムを実行して標準機種の操作画面を表示し、その操作画面に対するユーザー操作に応じてコマンドを生成し、そのコマンドを操作対象へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。こうしてこの携帯端末は画像形成装置の遠隔操作に、その装置とは異なる機種の操作画面を利用可能にする。これによりこの携帯端末は、操作対象の操作画面には不慣れなユーザーにも、その装置の操作を容易に理解されるように支援することができる。

本発明の実施形態によるシステムのネットワーク図である。 図１の示す携帯端末の電子制御系統の構成を示すブロック図である。 図１の示すクラウドサーバーの電子制御系統の構成を示すブロック図である。 （ａ）は、画像形成装置の標準機種ＭＦＰ−Ａに対するコマンドの一覧表であり、（ｂ）は、図１の示す画像形成装置の機種ＭＦＰ−Ｂに対するコマンドの一覧表である。（ｃ）、（ｄ）は（ａ）、（ｂ）の示す各表をマークアップ言語でコード化したものを示す図である。 図１の示す画像形成装置の内部構造を模式的に示す正面図である。 図５の示す画像形成装置の電子制御系統の構成を示すブロック図である。 （ａ）は、遠隔操作アプリに従って携帯端末が表示する標準機種ＭＦＰ−Ａの操作画面を示す模式図であり、（ｂ）は、操作対象の画像形成装置が表示する別機種ＭＦＰ−Ｂの操作画面を示す模式図である。 （ａ）は、標準機種ＭＦＰ−Ａの操作画面に対するユーザー操作に応じてその画面から切り換わった設定画面を示す模式図である。（ｂ）は、（ａ）が示すＭＦＰ−Ａの操作画面に対するユーザー操作に応じて操作対象の画像形成装置が変化させた別機種ＭＦＰ−Ｂの操作画面を示す模式図である。 図１の示すシステムにおいて、携帯端末による画像形成装置の遠隔操作時にシステム内の装置間で行われるデータ交換を示すシーケンス図である。 図１の示す携帯端末による画像形成装置の遠隔操作処理のフローチャートである。 図１の示す携帯端末がタッチパネルに同時に表示する標準機種ＭＦＰ−Ａの操作画面と、操作対象の機種ＭＦＰ−Ｂの操作画面とを示す模式図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
［システムの構成］
図１は本発明の実施形態によるシステムのネットワーク図である。このシステムは、携帯端末１００、複合機（multi-function peripheral：ＭＦＰ）２００、およびクラウドサーバー３００を含む。携帯端末１００とＭＦＰ２００とはアクセスポイント４０１とローカルエリアネットワーク（ＬＡＮ）４０２とを通し、データ交換可能に接続されている。アクセスポイント４０１はたとえば無線ＬＡＮ（ＩＥＥＥ８０２．１１）に準拠であり、携帯端末１００を無線でＬＡＮ４０２に接続する。ＬＡＮ４０２はたとえば有線ＬＡＮ（ＩＥＥＥ８０２．３）に準拠のＴＣＰ／ＩＰネットワークであり、アクセスポイント４０１をケーブルでＭＦＰ２００に接続する。クラウドサーバー３００はインターネット４０３とルーター４０４とを通してＬＡＮ４０２に接続されている。

携帯端末１００は、スマートフォン、タブレット等の携帯電子機器である。その前面にはディスプレイ１０１が埋め込まれ、その画面をタッチパネルが覆っている。ディスプレイ１０１は携帯端末１００の操作画面、各種情報の入力画面等のＧＵＩ画面を表示する。タッチパネルは、そのＧＵＩ画面が含む、アイコン、ボタン、メニュー、ツールバー等のＧＵＩ部品（「ガジェット」、「ウィジェット」ともいう。）に対するユーザー操作、具体的には、タップ、フリック、スライド、ローテーション等のジェスチャーを検出する。

ＭＦＰ２００は、スキャナー、コピー機、およびプリンターの機能を併せ持つ画像形成装置であり、印刷機構にはたとえば電子写真方式を採用している。ＭＦＰ２００の筐体の上面にはＡＤＦ２１０が開閉可能に装着され、その筐体の上部にはスキャナー２２０が内蔵され、筐体の下部にはプリンター２３０が内蔵されている。ＡＤＦ２１０の前面にはタッチパネル２４０と押しボタン等の機械スイッチ２５０とが配置されている。

ＭＦＰ２００は特にリモートパネル機能を持つ。「リモートパネル」とは、自機の操作画面を他の電子機器にエミュレートさせる機能をいう。操作画面プログラムはたとえばハイパーテキストマークアップランゲージ（ＨＴＭＬ）とＪＡＶＡスクリプト（登録商標）とによりウェブページデータとして記述されている。このプログラムは通常のウェブページと同様、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）に従ってＭＦＰ２００からＬＡＮ４０２上の他の電子機器へ提供される。これにより、その電子機器はそのプログラムを既存のウェブブラウザーで実行可能であり、そのプログラムに従って自機のディスプレイにＭＦＰ２００の操作画面を表示可能である。この電子機器は更にその操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーを、ウェブページにおける、クリック、ダブルクリック、ドラッグ等のイベントとして検知し、その詳細を表す情報をコマンドとしてＭＦＰ２００へ返信する。このコマンドは特にパラメーターとして、検知されたイベントの種類と操作画面内の座標とを表す情報を含む。このコマンドに応じてＭＦＰ２００はそのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから特定される処理を行う。たとえば、イベントの種類が“ドラッグ”であれば、その座標に表示されたグラフィックスをドラッグに合わせて移動させるといったグラフィック処理をＭＦＰ２００は行う。イベントの種類が“クリック”であれば、その座標に表示されたボタン等のＧＵＩ部品に割り当てられた自機の機能が実現するようにＭＦＰ２００は動作する。

携帯端末１００は遠隔操作アプリケーションプログラム（以下、「遠隔操作アプリ」と略す。）を含む。遠隔操作アプリはその起動時、携帯端末１００にＭＦＰ２００へその操作画面プログラムを要求させる。この要求に応じてそのプログラムがＭＦＰ２００からダウンロードされると遠隔操作アプリは、そのプログラムに代えて標準機種の操作画面プログラムを携帯端末１００に実行させる。標準機種はＭＦＰ２００とは異なる機種であり、携帯端末１００のユーザーにより予め遠隔操作アプリに設定されている。たとえば、遠隔操作アプリはその最初の実行時、携帯端末１００に標準機種の選択をユーザーに対して催促させる。ユーザーはたとえば、自分が普段使い慣れた機種を標準機種に選ぶ。標準機種の操作画面プログラムに従って携帯端末１００は、ＭＦＰ２００の操作画面に代えて標準機種の操作画面を表示する。この操作画面をユーザーは、あたかもＭＦＰ２００が標準機種であるかのように操作する。これらの操作を携帯端末１００は検知して各操作、すなわちイベントの種類を識別し、それが検知された操作画面内の座標を特定する。各イベントの種類と座標との組み合わせに基づき、遠隔操作アプリは携帯端末１００にＭＦＰ２００に対するコマンドを生成させてＭＦＰ２００へ送信させる。このコマンドは特にパラメーターとして、携帯端末１００が特定した標準機種の操作画面内の座標に代えて、その座標が対応するＭＦＰ２００の操作画面内の座標を含む。このコマンドの生成に携帯端末１００はＭＦＰ２００と標準機種との間でのコマンド変換表を利用する。この表は、ＭＦＰ２００と標準機種との操作画面間で、両機種に共通、または同等の機能が割り当てられた座標の組み合わせを規定する。この表には更に、携帯端末１００でＭＦＰ２００を遠隔操作する際に両者間を接続する方法、すなわちプロトコルの種類が規定されている。

クラウドサーバー３００はたとえば、パーソナルコンピュータ（ＰＣ）、サーバー専用機、またはメインフレームである。クラウドサーバー３００はＭＦＰ２００と標準機種との間でのコマンド変換表を管理しており、遠隔操作アプリに従って携帯端末１００が発行した要求に応じて、その表を携帯端末１００にダウンロードさせる。
［携帯端末の電子制御系統］
図２は、携帯端末１００の電子制御系統の構成を示すブロック図である。この系統内にでは、制御部１０、表示部２０、操作部３０、および通信部４０がバス５０を通して互いに通信可能に接続されている。

制御部１０は、携帯端末１００に内蔵の印刷回路基板に実装された集積回路であり、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３を含む。ＣＰＵ１１はマイクロプロセッサー（ＭＰＵ）で構成され、各種ファームウェアを実行することにより、他の要素２０、３０、４０、５０に対する制御主体として各要素にその機能を実現させる。さらに、ＣＰＵ１１は各種アプリケーションプログラムを実行することにより、各要素２０、…の機能を組み合わせて携帯端末１００の全体に特定の動作を実現させる。この動作にはたとえば、操作画面等のＧＵＩ画面を表示してその画面に対するユーザーの入力操作を受け付ける動作が含まれる。ＲＡＭ１２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ１１がプログラムを実行する際の作業領域をＣＰＵ１１に提供する。ＲＯＭ１３は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ソリッドステートドライブ（ＳＳＤ）等の半導体メモリー装置、またはハードディスクドライブ（ＨＤＤ）を含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をＣＰＵ１１に提供する。この保存領域に格納されたデータは、携帯端末１００の電源がオフである間も安定に保持される。

表示部２０は、制御部１０と同じ印刷回路基板、または別の基板に実装された電子回路であり、デジタルシグナルプロセッサー（ＤＳＰ）と液晶ディスプレイ（ＬＣＤ）１０１とを含む。ＤＳＰは、ＧＵＩ画面を表す画像データを制御部１０から受信して処理することにより、その画像データでＬＣＤ１０１に対する印加電圧を画素単位で変調する。ＬＣＤ１０１は、ＤＳＰからの印加電圧の変化に合わせてバックライトの一様な光を画素単位で変調する。これにより、ＬＣＤ１０１の輝度が画素単位で変化するので、ＬＣＤ１０１にＧＵＩ画面が再現される。

操作部３０は、制御部１０もしくは表示部２０と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、タッチパネル２１と撮像部２２とを含む。タッチパネル２１はＬＣＤ１０１の画面上に積層され、たとえば抵抗膜方式の構造を含む。ユーザーの指がタッチパネル２１に接触すると、その接触部分では上側の導電膜が凹んで下側の導電膜と短絡して導電膜の電位が変化する。この変化から操作部３０は、その指が接触したタッチパネルの座標を特定し、その座標を操作情報として制御部１０へ伝える。撮像部２２は、相補型金属酸化膜半導体電界効果トランジスター（ＣＭＯＳ）、電荷結合素子（ＣＣＤ）等の撮像素子を含み、その撮像素子の出力が示す光量分布を画像データに変換して制御部１０へ渡す。

通信部４０は、他の要素１０、２０、３０と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、近距離無線通信（ＮＦＣ）インタフェース（Ｉ／Ｆ）４１とＬＡＮＩ／Ｆ４２とを含む。ＮＦＣＩ／Ｆ４１はＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣに準拠の通信回路であり、制御部１０をＮＦＣ準拠の他の電子機器とデータ交換可能に接続する。ＬＡＮＩ／Ｆ４２は無線ＬＡＮに準拠の通信回路であり、制御部１０をアクセスポイント４０１とデータ交換可能に接続する。

［携帯端末によるＭＦＰの遠隔操作］
図２が示すとおり、ＲＯＭ１３は遠隔操作アプリ１３１を格納している。ユーザーは携帯端末１００をＭＦＰ２００の遠隔操作に利用する際、ＣＰＵ１１に遠隔操作アプリ１３１を実行させる。これにより、ＣＰＵ１１はコマンド生成部１１０として機能する。コマンド生成部１１０は以下に述べるように標準機種の操作画面を、真の操作対象であるＭＦＰ２００の操作画面としてエミュレートする。

コマンド生成部１１０はまず、ＭＦＰ２００のＩＰアドレスを取得する。具体的にはたとえば、コマンド生成部１１０はＬＣＤ１０１の表示を通してユーザーに、ＭＦＰ２００のＩＰアドレスの入力を促す。ユーザーはそのＩＰアドレスをタッチパネル２１で入力する。そのＩＰアドレスを表す２次元バーコードがＭＦＰ２００に表示されている場合、このバーコードをユーザーが撮像部２２で撮影し、その画像をコマンド生成部１１０に解読させる。これらのユーザー操作に従って取得したデータからコマンド生成部１１０はＭＦＰ２００のＩＰアドレスを読み取る。

コマンド生成部１１０は次に、ネットワーク管理プロトコル（ＳＮＭＰ）マネージャーとしての機能を利用して、ＭＦＰ２００のＩＰアドレスを宛先とするＳＮＭＰメッセージを通信部４０に発行させる。このメッセージに対してＭＦＰ２００はＳＮＭＰエージェントとして反応し、自機の管理情報ベース（ＭＩＢ）が規定する情報（以下、「ＭＩＢファイル」という。）を携帯端末１００へ返信する。このＭＩＢファイルをコマンド生成部１１０は通信部４０にクラウドサーバー３００へ転送させる。ＭＩＢは画像形成装置の機種ごとに異なるので、このＭＩＢファイルからクラウドサーバー３００はＭＦＰ２００の機種を識別可能である。クラウドサーバー３００は更に、識別した機種に対応するコマンド変換表１３２を検索する。この変換表１３２をコマンド生成部１１０は、標準機種の操作画面プログラム１３３と共に、クラウドサーバー３００からダウンロードしてＲＯＭ１３に保存する。

コマンド生成部１１０は続いて、ＲＯＭ１３に保存されたコマンド変換表１３２を参照してＭＦＰ２００に対する接続プロトコルを特定する。このプロトコルに従ってＭＦＰ２００との接続が確立されるように、コマンド生成部１１０は通信部４０を制御する。
接続の確立後、コマンド生成部１１０はＨＴＴＰに従い、ＭＦＰ２００からその操作画面プログラムをダウンロードする。ただし、コマンド生成部１１０はＭＦＰ２００の操作画面プログラムに代えて、ＲＯＭ１３に保存された標準機種の操作画面プログラム１３３を実行する。標準機種の操作画面プログラム１３３もＨＴＭＬとＪＡＶＡスクリプト（登録商標）とを用いてウェブページデータとして記述されているので、このプログラム１３３をコマンド生成部１１０は既存のウェブブラウザーで実行可能である。これにより、標準機種の操作画面がＬＣＤ１０１に表示される。

標準機種の操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知する。これに応じてコマンド生成部１１０は標準機種の操作画面プログラムに従い、まず、検知したジェスチャーの示すイベントの種類を識別し、そのイベントが生じた操作画面内の座標を特定する。コマンド生成部１１０は次に、識別したイベントの種類とその座標との組み合わせをパラメーターとして含むコマンドを生成する。このコマンドは標準機種に対するものであるので、コマンド生成部１１０はこのコマンドを、ＲＯＭ１３に保存されたコマンド変換表１３２に基づき、ＭＦＰ２００に対するコマンドに変換する。さらに、コマンド生成部１１０は変換後のコマンドを通信部４０にＭＦＰ２００へ、ＭＦＰ２００に対する接続プロトコルに従って送信させる。

［クラウドサーバーの電子制御系統］
図３は、クラウドサーバー３００の電子制御系統の構成を示すブロック図である。この系統内では、制御部３１０、データベース３２０、およびネットワークＩ／Ｆ３３０がバス３４０を通して互いに通信可能に接続されている。
制御部３１０は、クラウドサーバー３００に内蔵の印刷回路基板に実装された集積回路であり、ＣＰＵ３１１、ＲＡＭ３１２、およびＲＯＭ３１３を含む。ＣＰＵ３１１はＭＰＵで構成され、各種ファームウェアを実行することにより、他の要素３２０、３３０、３４０に対する制御主体として各要素にその機能を実現させる。さらに、ＣＰＵ３１１は各種アプリケーションプログラムを実行することにより、各要素３２０、…の機能を組み合わせてクラウドサーバー３００の全体に特定の動作を実現させる。ＲＡＭ３１２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ３１１がプログラムを実行する際の作業領域をＣＰＵ３１１に提供する。ＲＯＭ３１３は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ＳＳＤ等の半導体メモリー装置、またはＨＤＤを含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をＣＰＵ３１１に提供する。この保存領域に格納されたデータは、携帯端末１００の電源がオフである間も安定に保持される。

ＣＰＵ３１１は特定のアプリケーションプログラムの実行により、機種識別部３５１またはウェブサーバー３５２として機能する。機種識別部３５１はＭＩＢファイルに基づく画像形成装置の機種識別を行う。具体的には、機種識別部３５１は、携帯端末１００の通信部４０からクラウドサーバー３００へ転送されたＭＩＢファイルを解析する。ＭＩＢファイルが示す情報は画像形成装置の機種ごとに異なるので、機種識別部３５１は、解析結果の示すＭＩＢファイルの特徴からＭＦＰ２００の機種を識別する。ウェブサーバー３５２は、携帯端末１００のウェブブラウザーとの間でデータ交換をＨＴＴＰに従って行う。ウェブサーバー３５２は特に、そのウェブブラウザーからの要求に応じて標準機種の操作画面プログラムとその操作画面の画像データとを提供する。この画像データは、ビットマップ（ＢＭＰ）、グラフィックスインターチェンジフォーマット（ＧＩＦ）等のファイル形式で表現されたラスタデータである。ウェブサーバー３５２は更に、機種識別部３５１が識別したＭＦＰ２００の機種と標準機種との操作画面間でのコマンド変換表をデータベース３２０から検索し、この表をコマンド生成部１１０にダウンロードさせる。

データベース３２０はたとえば大容量のＨＤＤであり、コマンド変換表群３２１と標準機種の操作画面プログラム３２２とを格納している。コマンド変換表群３２１は、様々なメーカーが製造する様々な機種の画像形成装置と標準機種との間でのコマンド変換表を含む。各変換表は、対応する機種の識別子に紐付けられた状態で保存されている。データベース３２０はその他に機種情報を含む。この情報は機種ごとにＭＩＢの特徴を示し、機種識別部３５１が画像形成装置の機種を識別する際に参照される。

ネットワークＩ／Ｆ３３０は、ＴＣＰ／ＩＰネットワーク４０２、４０３を通してクラウドサーバー３００内の他の要素３１０、３２０を携帯端末１００とデータ交換可能に接続する。
［コマンド変換表］
コマンド変換表３２１はたとえば次のようなデータ構造を持つ。データベース３２０には、画像形成装置の各機種に対するコマンドの一覧表が保存されている。各表には、標準機種の搭載する機能別に、その機能と同等な機能を対象機種に実現させるためのコマンドが記載されている。実現すべき機能の同等性に基づき、各機種に対するコマンドが標準機種に対するコマンドと対応付けられる。これにより、その機種と標準機種との間でのコマンド変換表が構成される。

図４の（ａ）は、標準機種ＭＦＰ−Ａに対するコマンドの一覧表である。図４の（ｃ）は、この表をマークアップ言語でコード化したものを示す図である。ＭＦＰ−Ａの搭載する機能にはたとえば、モノクロモード、カラーモード、片面印刷、両面印刷、および３種類のページ割り付け（１対１、２対１、４対１）が含まれる。図４の（ａ）が示す表では各機能の識別子である機能名に、コマンドのパラメーターとして次の３項目が対応付けられている。（１）その機能をＭＦＰ−Ａに実現させるコマンドの識別子、（２）操作画面の含むＧＵＩ部品のうち、その機能が割り当てられたものが表示されるタブ／ウィンドウの識別子、および（３）その機能が割り当てられたＧＵＩ部品が表示される操作画面内の座標。タブ／ウィンドウには、メニューバー等の他のＧＵＩ部品に生じたイベントに応じてそのＧＵＩ部品の前に現れる、ポップアップメニュー、ダイアログ等が含まれる。操作画面内の座標には、スクロールバーを利用して実際の表示範囲よりも広い範囲に割り振られたものが含まれる。

たとえば、機能名“モノクロ”には、（１）モノクロモードをＭＦＰ−Ａに実現させるコマンドの識別子“＾esc grayscale”、（２）モノクロモードが割り当てられたＧＵＩ部品が表示されるタブ／ウィンドウの識別子“Ａ−ａ”、並びに（３）そのＧＵＩ部品が表示される操作画面内の矩形領域の含む左上の頂点のｘｙ座標（３００ピクセル、１５０ピクセル）、およびその矩形領域の幅１５０ピクセルと高さ３０ピクセルとが対応付けられている。この表は更に、携帯端末１００でＭＦＰ−Ａを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Ｔｙｐｅ１”を規定する。

図４の（ｂ）は、ＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドの一覧表である。図４の（ｄ）は、この表をマークアップ言語でコード化したものを示す図である。この表の構成は、図４の（ａ）の示す表の構成と同様である。たとえば、機能名“モノクロ”には（１）モノクロモードをＭＦＰ−Ｂに実現させるコマンドの識別子“＠monochrome”、（２）モノクロモードが割り当てられたＧＵＩ部品が表示されるタブ／ウィンドウの識別子“Ｂ−ａ”、並びに（３）そのＧＵＩ部品が表示される操作画面内の矩形領域の含む左上の頂点のｘｙ座標（５０ピクセル、１４０ピクセル）、およびその矩形領域の幅１２０ピクセルと高さ３０ピクセルとが対応付けられている。標準機種ＭＦＰ−Ａの搭載する機能のうち、操作対象ＭＦＰ−Ｂの搭載する機能のいずれとも同等でないものについては、その名称に対応する項目が空欄で表現される。具体的には、ＭＦＰ−Ｂは両面印刷と４対１のページ割り付けとを含まないので、機能名“両面”と“４ｉｎ１”とに対応する項目は空欄である。この表は更に、携帯端末１００でＭＦＰ−Ｂを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Ｔｙｐｅ２”を規定する。

−コマンドの変換−
標準機種の操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーをタッチパネル２１が検知する。これらのジェスチャーからコマンド生成部１１０はＭＦＰ２０に対するコマンドを、以下に記載された手順で生成する。
コマンド生成部１１０はまず、検知されたジェスチャーの種類に対応するイベントの種類を識別し、そのジェスチャーが検知された標準機種ＭＦＰ−Ａの操作画面内の座標を特定する。ジェスチャーの種類がたとえば、短時間の“タッチ”であればイベントの種類が“クリック”に識別され、比較的ゆっくりとした“フリック”であれば“ドラッグ”に識別される。

コマンド生成部１１０は次に、識別したイベントの種類とその座標とをパラメーターとして含むコマンドを、標準機種ＭＦＰ−Ａの操作画面プログラムに従って生成する。このコマンドは標準機種ＭＦＰ−Ａに対するものであり、すなわち、それが含むイベントの種類と座標との組み合わせから特定される機能をＭＦＰ−Ａに実現させる。
コマンド生成部１１０は続いて、遠隔操作アプリ１３１に従い、標準機種ＭＦＰ−Ａに対するコマンドをＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドに変換する。この際、ＲＯＭ１３に保存されたコマンド変換表１３２は次のように利用される。コマンド生成部１１０はまず、変換前のコマンドから特定されるＭＦＰ−Ａの機能を、図４の（ａ）の示すＭＦＰ−Ａに対するコマンドの一覧表から特定する。具体的には、この表からコマンド生成部１１０は、生成したコマンドの識別子に対応する機能名を検索する。たとえば、そのコマンドが識別子“＾esc noduplex”を含む場合、この識別子に対応する機能名“片面”が検索される。この機能名に対応するコマンドをコマンド生成部１１０は、図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表から検索する。たとえば、機能名“片面”で検索されるＭＦＰ−Ｂに対するコマンドは、その機能名に対応付けられた、（１）コマンドの識別子“＠simplex”、（２）タブ／ウィンドウの識別子“Ｂ−ａ”、および（３）ｘｙ座標（４００ピクセル、１４０ピクセル）、幅１２０ピクセルと高さ３０ピクセルを含む。

コマンド生成部１１０はその後、遠隔操作アプリに従い、生成したＭＦＰ−Ｂに対するコマンドを通信部４０にＭＦＰ２００へ送信させる。具体的には、コマンド生成部１１０はまず、図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表から接続プロトコルの識別子“Ｔｙｐｅ２”を検索する。この識別子“Ｔｙｐｅ２”からコマンド生成部１１０は接続プロトコルを特定し、このプロトコルに従ってコマンド生成部１１０は通信部４０を制御する。これにより通信部４０とＭＦＰ２００との間の接続が確立され、コマンド生成部１１０の生成したコマンドが通信部４０からＭＦＰ２００へ送信される。このコマンドはＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドであり、特に、図４の（ｂ）の示す（１）そのコマンドの識別子、（２）そのコマンドが割り当てられたＧＵＩ部品を含むタブ／ウィンドウの識別子、および（３）そのＧＵＩ部品が表示されるＭＦＰ−Ｂの操作画面内の座標をパラメーターとして含む。これらのパラメーターについては、遠隔操作アプリを実行する携帯端末１００とＭＦＰ−Ｂの操作画面プログラムを実行する他の携帯端末との間に違いはない。したがって、このコマンドに応じてＭＦＰ２００は、そのコマンドの表す機能が実現するように動作する。

［画像形成装置の構造］
図５は、プリンター２３０の内部構造を模式的に示す正面図である。図５は特にプリンター２３０の内部の要素を、あたかも筐体の前面を透かして見えているように表す。この図が示すとおり、プリンター２３０は、給送部５１０、作像部５２０、定着部５３０、および排紙部５４０を含む。

給送部５１０は、搬送ローラー群５１２、５１３、５１４を利用して、給紙カセット１１に収容されたシートの束ＳＨＴからシートＳＨ１を１枚ずつ作像部５２０へ給送する。給紙カセット１１に収容可能なシートＳＨＴの材質は紙または樹脂等であり、紙種は、普通紙、上質紙、カラー用紙、または塗工紙等であり、サイズは、Ａ３、Ａ４、Ａ５、またはＢ４等である。シートの姿勢は縦横のいずれにも設定可能である。

作像部５２０はタンデム型であり、給送部５１０から送られたシートＳＨ２にカラーまたはモノクロのトナー像を形成する。具体的には、４つの感光体（ＰＣ）ユニット５２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋのそれぞれが、感光体（ＰＣ）ドラム５２５の表面を帯電させ、その帯電部分に露光部５２７からの光を当てる。これらの光は、画像データの示すイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の階調値分布に従って変調されているので、ＰＣドラム５２５の表面には異なる色の静電潜像が形成される。各ＰＣユニット５２１Ｙ、…はこの静電潜像を、Ｙ、Ｍ、Ｃ、Ｋのトナーで現像する。４色のトナー像は１次転写ローラー５２２Ｙ、５２２Ｍ、５２２Ｃ、５２２ＫとＰＣドラム５２１Ｙ、…との間の電界により、ＰＣドラム５２５の表面から順番に中間転写ベルト５２３の表面上の同じ位置へ転写される。こうして、その位置に１つのカラートナー像が構成される。このカラートナー像はその後、中間転写ベルト５２３の駆動プーリー５２３Ｒと２次転写ローラー５２４との間のニップを通過する際、両者５２３Ｒ、５２４間の電界により、同じニップへ同時に通紙されたシートＳＨ２の表面へ転写される。このシートＳＨ２は２次転写ローラー５２４から剥がされた後、定着部５３０へ送り出される。

定着部５３０は、作像部５２０から送り出されたシートＳＨ２の上にトナー像を熱定着させる。具体的には、このシートＳＨ２が加熱ローラー５３１と加圧ローラー５３２との間のニップへ通紙されるとき、加熱ローラー５３１はそのシートＳＨ２の表面へ内蔵のヒーターの熱を加え、加圧ローラー５３２はそのシートＳＨ２の加熱部分に対して圧力を加えて加熱ローラー５３１へ押し付ける。加熱ローラー５３１からの熱と加圧ローラー５３２からの圧力とにより、トナーがそのシートＳＨ２の表面上に溶着する。その後、加熱ローラー５３１と加圧ローラー５３２とはこのシートＳＨ２を定着部５３０から送出する。

排紙部５４０は、定着部５３０から送出されたシートＳＨ３を排紙トレイ５４１へ搬送する。具体的には、そのシートＳＨ３の先端が定着部５３０から排紙ローラー５４３の間のニップまで到達したとき、この先端を排紙ローラー５４３が排紙口５４２へ引き込む。これにより、そのシートＳＨ３は先端から順に排紙口５４２を通過し、排紙トレイ５４１に積載される。

［画像形成装置の電子制御系統］
図６は、ＭＦＰ２００の電子制御系統の構成を示すブロック図である。この制御系統では、ＡＤＦ２１０、スキャナー２２０、およびプリンター２３０に加え、操作部５５０と主制御部５６０とがバス５９０を通して互いに通信可能に接続されている。
−操作部−
操作部５５０はユーザーの操作または外部の電子機器との通信を通してジョブ処理の要求と印刷対象の画像データとを受け付け、それらの情報を主制御部５６０へ伝える。図６が示すように、操作部５５０は操作パネル５５１と外部インタフェース（Ｉ／Ｆ）５５２とを含む。操作パネル５５１は、図１の示すタッチパネル２４０と機械スイッチ２５０とを含む。タッチパネル２４０はたとえば抵抗膜方式である。操作パネル５５１は、操作画面等のＧＵＩ画面をタッチパネル２４０に表示し、ユーザーの指の接触に伴うタッチパネル２４０の電位変化から、その指が接触した画面内の座標を特定する。操作パネル５５１はまた、ユーザーが操作した機械スイッチ２５０を識別する。これらの情報を操作パネル５５１は操作情報として主制御部５６０へ伝える。外部Ｉ／Ｆ５２は、メモリーＩ／Ｆ、ＮＦＣＩ／Ｆ、およびＬＡＮＩ／Ｆを含む。メモリーＩ／ＦはＵＳＢポートまたはメモリーカードスロットを含み、それらを通してＵＳＢメモリーまたはＨＤＤ等の外付けの記憶装置から直に印刷対象の画像データを取り込む。ＮＦＣＩ／ＦはＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣに準拠の通信回路であり、主制御部５６０を携帯端末１００等、ＮＦＣ準拠の他の電子機器とデータ交換可能に接続する。ＬＡＮＩ／Ｆは有線ＬＡＮまたは無線ＬＡＮに準拠の通信回路であり、主制御部５６０をＴＣＰ／ＩＰネットワーク４０２、４０３とデータ交換可能に接続し、そのネットワーク４０２、４０３上の他の電子機器から印刷対象の画像データを受信する。

−主制御部−
主制御部５６０は、ＭＦＰ２００の内部に設置された１枚の印刷回路基板に実装された集積回路であり、ＣＰＵ５６１、ＲＡＭ５６２、およびＲＯＭ５６３を含む。ＣＰＵ５６１は１つのＭＰＵで構成され、各種ファームウェアを実行することにより、他の要素５５０、２１０、２２０、２３０に対する制御主体としての多様な機能を実現する。ＣＰＵ５６１はたとえば、操作部５５０に操作画面を表示させてユーザーの入力操作を受け付けさせ、受け付けた情報を操作情報として通知させる。この通知に応じてＣＰＵ５６１は、操作情報からＭＦＰ２００の機能を特定し、その機能が実現するように他の要素５５０、２１０、…を制御する。たとえば、操作情報が、ジョブ処理の開始、その停止等、ＭＦＰ２００の動作モードの変更を要求するものである場合、ＣＰＵ５６１は、稼動モード、待機（低電力）モード、スリープモード等の中から動作モードを選択し、その動作モードに応じた処理を各要素２１０、２２０、２３０に指示する。また、操作情報が、ジョブの処理条件、特に、シートのサイズ、紙種、姿勢（縦置きと横置きとの別)、部数、カラー／モノクロの別、画質等の印刷条件を含む場合、その条件に従って、ＲＡＭ５６２またはＲＯＭ５６３が保存するパラメーターの数値を更新する。たとえば、ＣＰＵ５６１は、操作情報が示すシートの紙種に応じてシートの搬送速度の目標値を選択し、その目標値をプリンター２３０に指示する。ＲＡＭ５６２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ５６１にファームウェアを実行する際の作業領域を提供すると共に、操作部５５０が受け付けた印刷対象の画像データを保存する。ＲＯＭ５６３は、書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納し、後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ＳＳＤ等の半導体メモリー装置、またはＨＤＤを含み、ＣＰＵ５６１に環境変数等の保存領域を提供する。

主制御部５６０は、特定のファームウェアの実行によりリモートパネルサーバー５７０として機能する。リモートパネルサーバー５７０は操作部５５０と連携して、リモートパネルを利用したＭＦＰ２００の遠隔操作機能を、携帯端末１００等、ＬＡＮ４０２上の他の電子機器に提供する。具体的には、リモートパネルサーバー５７０は、ウェブページデータとして記述されたＭＦＰ２００の操作画面プログラムをＨＴＴＰに従って他の電子機器へ送信する。そのプログラムをウェブブラウザーで実行することにより、この電子機器はＭＦＰ２００の操作画面をエミュレートする。この電子機器からＭＦＰ２００に対するコマンドが返信されると、リモートパネルサーバー５７０はこのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この機能が実現するように、主制御部５６０は他の要素５５０、２１０、２２０、２３０を制御する。

［操作画面間でのグラフィックスの対応］
図７の（ａ）は、遠隔操作アプリに従って携帯端末１００が表示する標準機種ＭＦＰ−Ａの操作画面ＣＰＡを示す模式図であり、図７の（ｂ）は、操作対象のＭＦＰ２００が表示する別機種ＭＦＰ−Ｂの操作画面ＣＰＢを示す模式図である。ＭＦＰ２００では操作部５５０がＭＦＰ−Ｂの操作画面ＣＰＢをタッチパネル２４０に表示させて、その画面に対するユーザー操作を受け付ける。ＭＦＰ２００が外部の電子機器から遠隔操作を受け付ける場合、リモートパネルサーバー５７０がその機器にＭＦＰ−Ｂの操作画面プログラムをダウンロードさせる。通常はこのプログラムがその機器により実行されるので、その機器のディスプレイにはＭＦＰ−Ｂの操作画面ＣＰＢが表示される。しかし、携帯端末１００は遠隔操作アプリに従い、ＭＦＰ−Ｂの操作画面プログラムに代えてＭＦＰ−Ａの操作画面プログラムを実行する。したがって、携帯端末１００のタッチパネル２１にはＭＦＰ−Ａの操作画面ＣＰＡが表示される。

図７が示すとおり、いずれの操作画面ＣＰＡ、ＣＰＢも一般に複雑であり、これらの間では、ＧＵＩ部品のレイアウトと形態、および表示される用語が一般に異なる。しかし、ＭＦＰ−Ａ、Ｂはいずれも画像形成装置であることに違いはないので、これらの間には共通の、または同等の機能が存在する。これらの機能が割り当てられたＧＵＩ部品は、いずれの操作画面ＣＰＡ、ＣＰＢにおいてもいずれかのタブまたはウィンドウに表示される。具体的にはたとえば、印刷対象のシートのサイズ、紙種、姿勢、部数、カラー／モノクロの別、画質等の印刷条件は画像形成装置全般で共通するので、これらの条件を設定するためのＧＵＩ部品はいずれの操作画面ＣＰＡ、ＣＰＢにも含まれる。たとえば、図７の（ａ）の示すＭＦＰ−Ａの操作画面ＣＰＡは５つのボタンＢＴＧ、“オートカラー”、“フルカラー”、“ブラック”、“２色カラー”、“単色カラー”を含む。これらＢＴＧはカラー／モノクロモード間での選択肢を表し、ユーザーの指が触れたボタンに対応する動作モードが選択される。一方、図７の（ｂ）の示すＭＦＰ−Ｂの操作画面ＣＰＢは単一のボタンＢＴＳ、“オートカラー”を含む。このボタンＢＴＳにユーザーの指が触れると、図７の（ｂ）には示されていないが、カラー／モノクロモード間での選択肢を表すメニューが操作画面ＣＰＢにポップアップ表示される。一般に、各選択肢の名称は異なるが、対応する動作モードにおいて発現する機能は共通し、または同等である。図４の示すコマンド変換表では、図７の（ａ）の示す５つのボタンＢＴＧの座標と、図７の（ｂ）の示す単一のボタンＢＴＳの座標とが互いに対応付けられている。したがって、携帯端末１００のコマンド生成部１１０は、ＭＦＰ−Ａの操作画面の含む５つのボタンＢＴＧの座標、たとえばボタン“オートカラー”の座標を、ＭＦＰ−Ｂの操作画面の含む単一のボタンＢＴＳの座標に正しく変換することができる。

図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表では、機能名“両面”と“４ｉｎ１”とに対応する項目が空欄である。したがって、ＭＦＰ２００は両面印刷と４対１のページ割り付けとを含まない。このように、ＭＦＰ−Ａの搭載する機能の中に、ＭＦＰ−Ｂの搭載する機能のいずれとも同等でないものが存在することをコマンド変換表が示す場合がある。この場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面ＣＰＡのうち、これらの機能が割り当てられたＧＵＩ部品ＤＳ１、ＤＳ２、ＤＳ３を無効化する。具体的にはたとえば、印刷時に動作モード“単色カラー”が選択される場合、その単色をユーザーに選択させる機能をＭＦＰ−Ａは搭載しているが、ＭＦＰ−Ｂは搭載していない。この場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面ＣＰＡにおいて、単色の選択機能が割り当てられたボタン“カラー選択”ＤＳ１を無効化し、その外観をグレーアウトさせる。これにより、そのボタンＤＳ１が無効化されていることをユーザーは一目でわかる。

コマンド変換表が規定する操作画面ＣＰＡ、ＣＰＢ間での座標の対応は、現に表示されているタブ／ウィンドウ内の座標のみを対象とするものではない。その対象には、メニューバー等のＧＵＩ部品に生じたイベントに応じてそのＧＵＩ部品の前に現れる、ポップメニュー、ダイアログ等のウィンドウ内の座標も含まれる。また、スクロールバーを利用して、実際に表示されたウィンドウの範囲よりも広く設定された仮想的な範囲の中の座標も含まれる。

図８の（ａ）は、標準機種ＭＦＰ−Ａの操作画面ＣＰＡに対するユーザー操作に応じてその画面ＣＰＡから切り換わった設定画面ＣＡ２を示す模式図である。操作画面ＣＰＡの含むボタン“仕上り”ＢＴ１にユーザーの指がタッチした場合、そのボタンＢＴ１の表示領域におけるタッチパネル２１の電位変化から操作部３０は、ジェスチャーの種類がタッチであることとそのタッチの座標とをコマンド生成部１１０へ通知する。この通知に応じてコマンド生成部１１０はまず、そのタッチをボタンＢＴ１に対するクリックイベントとして識別する。コマンド生成部１１０は次に、通知されたタッチパネル２１上の座標を、そのクリックイベントが生じた操作画面ＣＰＡ内の座標に読み換える。図８の（ａ）の例ではタッチパネル２１と操作画面ＣＰＡとの間で座標値が共通であるが、操作画面ＣＰＡ内の座標には、現に表示されているウィンドウＣＰＡの識別子が添付される。コマンド生成部１１０は続いて、ＭＦＰ−Ａの操作画面プログラムに従い、操作画面ＣＰＡ内の座標におけるクリックイベントに対する処理として、操作画面ＣＰＡから設定画面ＣＡ２への切り換えをＭＦＰ−Ａに対して指示するためのコマンドを生成する。この設定画面ＣＡ２は、印刷ジョブの仕上げ、すなわち印刷処理を受けたシートに対する後処理を規定するパラメーターの設定画面である。このパラメーターにはたとえば、ソートの種類（部ごと、またはページごと）、仕分け、折り、綴じ、穴開けの要否、ステープルとパンチとの位置が含まれる。生成されたコマンドに応じてＭＦＰ−Ａの操作画面プログラムはコマンド生成部１１０に、操作画面ＣＰＡを設定画面ＣＡ２へ実際に切り換えさせる。このとき、設定画面ＣＡ２の画像データがＲＡＭ１２に保存されていなければ、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、設定画面ＣＡ２の含むボタンにユーザーの指がタッチしたことを操作部３０から通知された場合、この通知に応じてコマンド生成部１１０は、そのタッチをボタンに対するクリックイベントとして識別し、そのクリックイベントが生じた設定画面ＣＡ２内の座標を特定する。この座標には設定画面ＣＡ２の識別子が添付される。コマンド生成部１１０は更に、ＭＦＰ−Ａの操作画面プログラムに従い、設定画面ＣＡ２内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をＭＦＰ−Ａに対して指定するためのコマンドを生成する。

図８の（ｂ）は、図８の（ａ）が示すＭＦＰ−Ａの操作画面ＣＰＡに対するユーザー操作に応じてＭＦＰ２００が変化させた別機種ＭＦＰ−Ｂの操作画面ＣＰＢ、ＣＢ２を示す模式図である。携帯端末１００では上記のとおり、このユーザー操作に応じてコマンド生成部１１０がＭＦＰ−Ａに対するコマンドとして、まず、ＭＦＰ−Ａの操作画面ＣＰＡから後処理の設定画面ＣＡ２への切り換えを指示するためのコマンドを生成する。このコマンドをコマンド生成部１１０は、遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、図８の（ｂ）が示すように、ＭＦＰ−Ｂの操作画面ＣＰＢが含むボタン“仕上り”ＢＴ２に生じたクリックイベントに対する処理としてメニューＣＢ２のポップアップ表示をＭＦＰ−Ｂに対して指示するためのコマンドである。このメニューＣＢ２は複数のコンボボックスの配列を含む。各コンボボックスには、後処理を規定するパラメーターの名称が記載されている。このパラメーターにはたとえば、ソートの種類、仕分け、折り、綴じ、穴開けの要否が含まれる。各パラメーターの値の選択肢、たとえばソートの種類については“部ごと”と“ページごと”との２つはドロップダウンリストで表示される。変換後のコマンドはコマンド生成部１１０からＭＦＰ２００のリモートパネルサーバー５７０へ送信される。このコマンドに応じてリモートパネルサーバー５７０は、操作パネル５５１に表示された操作画面ＣＰＢの中にメニューＣＢ２をポップアップ表示する。その後、携帯端末１００ではコマンド生成部１１０が、設定画面ＣＡ２内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をＭＦＰ−Ａに対して指定するためのコマンドを生成する。このコマンドをコマンド生成部１１０は、遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、メニューＣＢ２の含むパラメーターの１つに対する設定値をＭＦＰ−Ｂに指定するためのコマンドである。このコマンドは特に、その設定値が表示されるメニューＣＢ２内の座標を含む。この座標は、スクロールバーを用いることで初めて画面上に現れる仮想的な範囲内の座標を含む。この座標はメニューＣＢ２の識別子と合わせて、コマンド変換表により、携帯端末１００に表示された設定画面ＣＡ２の識別子とその中の座標とに対応する。設定画面ＣＡ２内のこの座標には、メニューＣＢ２の含むパラメーターの１つに対する設定値と同等な設定値が表示されている。したがって、コマンド変換表に基づく設定画面ＣＡ２とメニューＣＢ２との間での座標変換により、携帯端末１００がユーザーから受け付けた設定値と同等な設定値がＭＦＰ２００に対して正しく指定される。

図８の（ａ）が示す操作画面ＣＰＡから設定画面ＣＡ２への切り換わり等、標準機種ＭＦＰ−Ａの操作画面におけるグラフィックスの変化に合わせてＭＦＰ２００のリモートパネルサーバー５７０は、図８の（ｂ）が示すメニューＣＢ２のポップアップ表示等、自機種ＭＦＰ−Ｂの操作画面ＣＰＢのグラフィックスを変化させる。したがって、ユーザーは携帯端末１００に表示されたＭＦＰ−Ａの操作画面を扱いながら、ＭＦＰ２００に表示されたＭＦＰ−Ｂの操作画面の変化を目で確認することもできる。ユーザーは特に、タッチ等のジェスチャーに応じて、外観が変化するボタンの位置、表示が切り換わるタブ／ウィンドウの種類等、両操作画面間でのグラフィックス表現の違いを対比する。これによりユーザーは、ＭＦＰ−Ａの操作画面の扱い方からＭＦＰ−Ｂの操作画面の扱い方を学ぶことも可能である。

［遠隔操作に伴うデータ交換］
図９は、携帯端末１００によるＭＦＰ２００の遠隔操作時にシステム内の装置１００、２００、３００間で行われるデータ交換を示すシーケンス図である。
携帯端末１００が遠隔操作アプリを実行するとコマンド生成部１１０が起動し、ＭＦＰ２００のＩＰアドレスの入力をユーザーから受け付ける。そのＩＰアドレスＩＰＡがタッチパネル２１から入力され、または、撮像部２２の撮影した２次元バーコードから解読されると、コマンド生成部１１０はそのＩＰアドレス宛のＳＮＭＰメッセージＭＳＧを通信部４０にＬＡＮ４０２へ配信させる。このメッセージＭＳＧに応じてＭＦＰ２００は、自機のＭＩＢファイルＭＢＦを携帯端末１００へ返信する。このファイルＭＢＦをコマンド生成部１１０は通信部４０にクラウドサーバー３００へ転送させる。このファイルＭＢＦからクラウドサーバー３００はＭＦＰ２００の機種を識別し、その機種に対応するコマンド変換表を検索する。この変換表ＣＶＴは標準機種の操作画面プログラムＲＣＡと共に、クラウドサーバー３００から携帯端末１００へダウンロードされる。

このコマンド変換表ＣＶＴからコマンド生成部１１０はＭＦＰ２００に対する接続プロトコルを特定し、このプロトコルに従ってＭＦＰ２００との接続ＣＮＴを通信部４０に確立させる。その後、コマンド生成部１１０はＨＴＴＰに従い、ＭＦＰ２００のリモートパネルサーバー５７０にＭＦＰ２００の操作画面プログラムＲＣＢを提供させる。これにより、リモートパネルサーバー５７０は携帯端末１００をＭＦＰ２００の遠隔操作元（「リモートパネルクライアント」という。）として認識する。一方、コマンド生成部１１０はＭＦＰ２００の操作画面プログラムＲＣＢに代えて標準機種の操作画面プログラムＲＣＡを実行する。これにより、標準機種の操作画面が携帯端末１００のＬＣＤ１０１に表示される。

その後、標準機種の操作画面に対するユーザーのジェスチャーＧＳＴをタッチパネル２１が検知する度に、コマンド生成部１１０は、まず標準機種の操作画面プログラムＲＣＡに従って標準機種に対するコマンドを生成し、次に遠隔操作アプリに従ってこのコマンドを、コマンド変換表に基づいてＭＦＰ２００に対するコマンドに変換する。さらに、コマンド生成部１１０は変換後のコマンドＣＭＤを通信部４０にＭＦＰ２００へ送信させる。このコマンドに応じてＭＦＰ２００のリモートパネルサーバー５７０は、このコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この特定に応じてＭＦＰ２００の主制御部５６０は、特定された機能が実現するように他の要素５５０、２１０、２２０、２３０を制御する。

コマンドからの機能の特定に成功した場合、その成功を表す返信ＲＰＬをリモートパネルサーバー５７０は携帯端末１００へ送る。この返信ＲＰＬには、必要に応じ、操作画面の表示変更に関するコマンドが組み込まれる。このコマンドが、図８の（ｂ）の示すメニューＣＢ２の消去または最初の操作画面ＣＰＢの再表示等、携帯端末１００がすでにダウンロード済みの画像データで処理可能なものである場合、返信ＲＰＬのみが携帯端末１００へ送られる。そのコマンドが、図８の（ａ）が示す操作画面ＣＰＡから別画面ＣＡ２への切り換えのように操作画面全体の切り換えを含むものである場合、切り換え後の操作画面を表す新たなウェブページデータＲＣＢが返信ＲＰＬに添付される。

返信ＲＰＬに応じて携帯端末１００のコマンド生成部１１０は操作画面を変更する。たとえば、その返信ＲＰＬが、図８の（ｂ）の示すメニューＣＢ２の消去コマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、図８の（ａ）の示す設定画面ＣＡ２から元の操作画面ＣＰＡへの切り換えをＭＦＰ−Ａに対して指示するためのコマンドと解釈し、その切り換えを実行する。一方、その返信ＲＰＬが、添付の新たなウェブページＲＣＢを対象とする読み込みコマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、新たなウェブページに対応するタブ／ウィンドウへの切り換えをＭＦＰ−Ａに対して指示するためのコマンドと解釈し、その切り換えを実行する。このとき、必要に応じて、そのタブ／ウィンドウの画像データのダウンロード要求ＲＱＳをコマンド生成部１１０はクラウドサーバー３００へ送信する。それに応じてクラウドサーバー３００のウェブサーバー３５２はその画像データＲＣＡを携帯端末１００にダウンロードさせる。

［遠隔操作処理の流れ］
図１０は携帯端末１００によるＭＦＰ２００の遠隔操作処理のフローチャートである。この処理は、携帯端末１００がユーザー操作に応じて遠隔操作アプリを実行することにより開始する。
ステップＳ１０１では、コマンド生成部１１０が起動し、操作対象であるＭＦＰ２００のＩＰアドレスを取得する。すなわち、コマンド生成部１１０はそのＩＰアドレスの入力を画面表示でユーザーに促し、タッチパネル２１を用いた文字入力、または撮像部２２の撮影した２次元バーコードからそのＩＰアドレスを読み取る。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２では、コマンド生成部１１０は、ステップＳ１０１で取得したＩＰアドレス宛のＳＮＭＰメッセージを通信部４０にＬＡＮ４０２へ配信させる。このメッセージに応じてＭＦＰ２００から返信されるＭＩＢファイルをコマンド生成部１１０は取得する。その後、処理はステップＳ１０３へ進む。
ステップＳ１０３では、コマンド生成部１１０は、ステップＳ１０２で取得したＭＩＢファイルを通信部４０にクラウドサーバー３００へ転送させる。このＭＩＢファイルからクラウドサーバー３００が検索したＭＦＰ２００の機種ＭＦＰ−Ｂと標準機種ＭＦＰ−Ａとの間でのコマンド変換表をコマンド生成部１１０は、標準機種ＭＦＰ−Ａの操作画面プログラムと共に、クラウドサーバー３００からダウンロードする。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４では、コマンド生成部１１０はまず、ステップＳ１０３でダウンロードしたコマンド変換表からＭＦＰ−Ｂに対する接続プロトコルを特定し、このプロトコルに従ってＭＦＰ２００との接続を通信部４０に確立させる。コマンド生成部１１０は次にＨＴＴＰに従い、ＭＦＰ２００のリモートパネルサーバー５７０にＭＦＰ−Ｂの操作画面プログラムを提供させる。その後、処理はステップＳ１０５へ進む。

ステップＳ１０５では、コマンド生成部１１０は、ステップＳ１０３で提供を受けたＭＦＰ−Ｂの操作画面プログラムに代えて、ステップＳ１０３でダウンロードした標準機種ＭＦＰ−Ａの操作画面プログラムを実行する。これにより、ＭＦＰ−Ａの操作画面が携帯端末１００のＬＣＤ１０１に表示される。その後、処理はステップＳ１０６へ進む。
ステップＳ１０６では、ＭＦＰ−Ａの操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知したか否かをコマンド生成部１１０は確認する。検知していれば処理はステップＳ１０７へ進み、検知していなければ処理はステップＳ１０６を繰り返す。

ステップＳ１０７では、ＭＦＰ−Ａの操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知している。コマンド生成部１１０はまず、このジェスチャーの種類に対応するイベントの種類を識別し、このジェスチャーが検知されたＭＦＰ−Ａの操作画面内の座標を特定する。コマンド生成部１１０は次にＭＦＰ−Ａの操作画面プログラムに従い、識別したイベントの種類とその座標とをパラメーターとして含むＭＦＰ−Ａに対するコマンドを生成する。その後、処理はステップＳ１０８へ進む。

ステップＳ１０８では、コマンド生成部１１０は遠隔操作アプリに従い、まず、ステップＳ１０７で生成したＭＦＰ−Ａに対するコマンドを、コマンド変換表に基づいてＭＦＰ−Ｂに対するコマンドに変換する。コマンド生成部１１０は次に、このコマンドを通信部４０にＭＦＰ２００へ送信させる。その後、処理はステップＳ１０９へ進む。
ステップＳ１０９では、ステップＳ１０７で生成したＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドであるか否かをコマンド生成部１１０は確認する。終了コマンドであれば処理はステップＳ１１０へ進み、なければ処理はステップＳ１１１へ進む。

ステップＳ１１０では、ステップＳ１０７で生成されたＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドである。したがって、コマンド生成部１１０はＭＦＰ−Ａの操作画面プログラムを終了させて、通信部４０にＭＦＰ２００との接続を切断させる。この場合、ステップＳ１０８でＭＦＰ２００へ送信されたコマンドは、遠隔操作の終了をＭＦＰ−Ｂに対して指示するためのコマンドに変換されている。このコマンドに応じてＭＦＰ２００のリモートパネルサーバー５７０は、携帯端末１００から遠隔操作を受け付ける処理を終える。その後、処理は終了する。

ステップＳ１１１では、ステップＳ１０７で生成されたＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドではない。コマンド生成部１１０は、そのコマンドの表す処理が操作画面の表示変更を含むか否かを確認する。操作画面の表示変更を含む場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面プログラムに従い、その表示変更を実行する。このときに必要な画像データがＲＡＭ１２に保存されていなければ、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、処理はステップＳ１１２へ進む。

ステップＳ１１２では、ステップＳ１０８でＭＦＰ２００へ送信したコマンドに対する返信がＭＦＰ２００から届くのをコマンド生成部１１０は待つ。その返信が届けば、その返信が、操作画面の表示変更をＭＦＰ−Ｂに対して指示するためのコマンドを含むか否かをコマンド生成部１１０は確認する。返信がそのコマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、ＭＦＰ−Ａに対するコマンドに変換する。変換前のコマンドがＭＦＰ−Ｂに対して指示する操作画面の表示変更が、図８が示すように、ＭＦＰ−Ａの操作画面の表示変更に対応している場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面のこの表示変更を実行する。このとき、その表示変更に新たな画像データが必要である場合、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、処理はステップＳ１０６から繰り返す。

［実施形態の利点］
本発明の実施形態による携帯端末１００は、ＭＦＰ２００の遠隔操作に供される際、ＭＦＰ２００の機種とは異なる標準機種の操作画面プログラムを実行して標準機種の操作画面を表示する。この操作画面に対するユーザーのジェスチャーに応じて携帯端末１００はコマンドを生成し、そのコマンドをＭＦＰ２００へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてジェスチャーが検知された座標に対応するＭＦＰ２００の操作画面内の座標を含む。この座標に割り当てられたＭＦＰ２００の機能は、コマンド変換表により、ジェスチャーが検知された座標に割り当てられた標準機種の機能と共通し、または同等である。したがって、そのコマンドに応じてＭＦＰ２００は、携帯端末１００が受け付けたジェスチャーの表す機能を正しく実現させることができる。こうして携帯端末１００はＭＦＰ２００の遠隔操作に標準機種の操作画面を利用可能にする。これにより携帯端末１００は、ＭＦＰ２００の操作画面には不慣れなユーザーにも、ＭＦＰ２００の操作を容易に理解されるように支援することができる。

また、ＭＦＰ２００と標準機種との間における操作画面内の座標の対応により、図８が示すように、携帯端末１００が表示した標準機種の操作画面ＣＰＡにおけるグラフィックスの変化に合わせて、ＭＦＰ２００は自機の操作画面ＣＰＢのグラフィックスを変化させる。したがって、ユーザーは、携帯端末１００に表示された標準機種の操作画面ＣＰＡを扱いながら、ＭＦＰ２００に表示されたその操作画面ＣＰＢの変化を目で確認することもできる。これによりユーザーは、標準機種の操作画面の扱い方からＭＦＰ２００の操作画面の扱い方を学ぶことも可能である。

［変形例］
（A）図１の示すシステムでは、操作対象の画像形成装置が電子写真方式のＭＦＰ２００である。本発明の実施形態による画像形成装置はその他にインクジェット方式の複合機であってもよく、レーザープリンター、インクジェットプリンター、ファクシミリ、またはコピー機等、いずれの単機能機であってもよい。

（B）図１の示すシステムでは、ＭＦＰ２００が外部の電子機器に提供する遠隔操作機能が無線ＬＡＮを利用する。その他に、この遠隔操作機能がＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣを利用してもよい。この場合、遠隔操作アプリは携帯端末１００に、ＭＦＰ２００との間の通信をＮＦＣで実行させればよい。
（C）図７の（ａ）が示す標準機種の操作画面ＣＰＡは、標準機種の実機に表示されるものと同じデザインである。その他に、携帯端末１００のタッチパネル２１とＭＦＰ２００のタッチパネル２４０との間でのサイズまたは解像度の違いに応じて、操作画面に表示されるフォントの字体とサイズ、ボタン等のＧＵＩ部品の形態、およびそれらのレイアウトが変更されていてもよい。変更後の操作画面がユーザーにとって使いやすいものでありさえすれば、携帯端末１００はユーザーに、ＭＦＰ２００の操作を容易に理解されるように支援することができる。

（D）図４では、標準機種の機能の中に、ＭＦＰ２００の機能のいずれとも同等でないものが存在する。したがって、図７が示すように、コマンド生成部１１０は標準機種の操作画面ＣＰＡのうち、これらの機能が割り当てられたＧＵＩ部品ＤＳ１、ＤＳ２、ＤＳ３を無効化し、それらの外観をグレーアウトさせる。逆に、ＭＦＰ２００の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、その旨を示すメッセージをコマンド生成部１１０は標準機種の操作画面の中にダイアログ等で表示してもよい。さらに、これらの機能の遠隔操作については、遠隔操作アプリは携帯端末１００に、標準機種の操作画面プログラムに代えてＭＦＰ２００の操作画面プログラムを実行させて、ＭＦＰ２００本来の遠隔操作機能を携帯端末１００に利用させてもよい。

（E）ＭＦＰ２００は自機の遠隔操作機能をリモートパネル方式で、携帯端末１００等、ＬＡＮ４０２上の他の電子機器に提供する。この場合、ＭＦＰ２００の操作画面プログラムは、ＨＴＭＬとＪＡＶＡスクリプト（登録商標）とを用いてウェブページデータとして記述され、提供先の電子機器が備えたウェブブラウザーで実行され、そのプログラムに添付された画像データからＭＦＰ２００の操作画面がその電子機器のディスプレイに表示される。この操作画面に対するユーザーのジェスチャーに応じてその電子機器からＭＦＰ２００へ送信されるコマンドは、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とをパラメーターとして含む。

これに合わせて、遠隔操作アプリが携帯端末１００に実行させる標準機種の操作画面プログラムも、リモートパネル方式に準拠したウェブページデータとして記述される。この場合、標準機種の操作画面に対するユーザーのジェスチャーに応じて生成されるコマンドはパラメーターとして、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とを含む。この座標はコマンド変換表により、ＭＦＰ２００の操作画面内の座標に対応付けられている。この対応は、各座標に割り当てられたＭＦＰの機能が共通し、または同等であることを保証する。

しかし、画像形成装置の遠隔操作機能はリモートパネル方式には限られず、操作画面プログラムはウェブページデータ以外の形式でも記述されていてもよい。この場合、遠隔操作アプリは、操作対象の操作画面プログラムと同じ言語、同じデータ形式で記述されていればよい。それらがどのようなものであれ、操作画面プログラムが操作画面に対するユーザー操作に応じて生成するコマンドは、そのユーザー操作が検知された座標に割り当てられた操作対象の機能を表すパラメーターを含む。したがって、遠隔操作アプリは携帯端末に標準機種に対するコマンドを、そのパラメーターが表す標準機種の機能と同等な操作対象の機能を表す操作対象に対するコマンドへ変換させればよい。

（F）図１の示すシステムでは、クラウドサーバー３００が携帯端末１００に、操作対象の画像形成装置の機種識別機能、操作対象の機種と標準機種との操作画面プログラム、および両機種間でのコマンド変換表を提供する。データベース３２０の容量は携帯端末１００の記憶容量よりも大きいので、ＭＦＰ２００に限らず多様な機種の操作画面プログラムとそれらの機種に対するコマンド変換表とを格納可能である。したがって、このシステムは、操作対象がどのような機種であっても、その機種に対応する操作画面プログラムとコマンド変換表とがデータベース３２０の中に存在する限り、その遠隔操作を標準機種の操作画面で実行可能である。

その他に、操作対象がＭＦＰ２００の機種に限られる等、操作対象の機種に対応する操作画面プログラムとコマンド変換表とのデータ総量が比較的少ない場合、データベース３２０がクラウドサーバー３００に代えて携帯端末１００に構築されてもよい。この場合、ＭＦＰ２００の遠隔操作の際、携帯端末１００はクラウドサーバー３００にアクセスする必要はない。

（G）コマンド生成部１１０はＭＦＰ２００の遠隔操作を開始する前に、ＭＦＰＢ２００の機種に対応するコマンド変換表をクラウドサーバー３００からダウンロードする。これにより、ＭＦＰ２００の遠隔操作中、コマンドの変換処理をコマンド生成部１１０はスタンドアローンで行う。コマンド生成部１１０はその他に、コマンド変換表を一切、クラウドサーバー３００からダウンロードしなくてもよい。この場合、コマンド生成部１１０はたとえば、ＭＦＰ２００の遠隔操作前には、ＭＦＰ２００に対する接続プロトコルの種類のみをクラウドサーバー３００から取得してもよい。これにより、通信部４０とＭＦＰ２００との接続は確立可能である。遠隔操作中、コマンド生成部１１０は、標準機種の操作画面プログラムに従って標準機種に対するコマンドを生成する度に、そのコマンドからＭＦＰ２００に対するコマンドへの変換処理をクラウドサーバー３００に依頼すればよい。

（H）図７では携帯端末１００がＬＣＤ１０１に標準機種の操作画面ＣＰＡのみを表示する。その他に、携帯端末が１つのディスプレイに標準機種の操作画面と操作対象の操作画面とを同時に表示してもよい。
図１１は、携帯端末１００がタッチパネル２１に同時に表示する標準機種ＭＦＰ−Ａの操作画面ＣＰＡと、ＭＦＰ２００の機種ＭＦＰ−Ｂの操作画面ＣＰＢとを示す模式図である。ＭＦＰ２００の遠隔操作の際に携帯端末１００は、図９が示すように、ＭＦＰ２００からＭＦＰ−Ｂの操作画面プログラムＲＣＢをダウンロードしているので、ＭＦＰ−ＡとＭＦＰ−Ｂとの両方の操作画面を表す画像データを取得済みである。コマンド生成部１１０はＭＦＰ−ＡとＭＦＰ−Ｂとの両方の操作画面プログラムを実行する。コマンド生成部１１０は更に表示部２０に、図１１の示すように、ＬＣＤ１０１の上半分にＭＦＰ−Ｂの操作画面ＣＰＢを表示させ、下半分にＭＦＰ−Ａの操作画面ＣＰＡを表示させる。タッチパネル２１は、いずれの操作画面に対するユーザーのジェスチャーも検知可能である。この場合、コマンド生成部１１０は表示部２０に、両操作画面ＣＰＡ、ＣＰＢの間で対応するボタン等のＧＵＩ部品を強調表示させ、タブ／ウィンドウの切り換えを同期させる。

図１１の例では、ＭＦＰ−Ａの操作画面ＣＰＡの含むボタン“２ｉｎ１”ＢＴ３にユーザーの指がタッチした場合、このタッチをコマンド生成部１１０はボタンＢＴ３に対するクリックイベントとして識別し、このクリックイベントに対する処理をＭＦＰ−Ａに対して指示するためのコマンドを生成する。このコマンドは特にＭＦＰ−Ａの操作画面ＣＰＡにおけるボタンＢＴ３の座標を含む。このコマンドに応じてＭＦＰ−Ａの操作画面プログラムはコマンド生成部１１０に、ボタンＢＴ３の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。

この処理と並行し、コマンド生成部１１０は、生成したＭＦＰ−Ａに対するコマンドを遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、ＭＦＰ−Ｂの操作画面ＣＰＢが含むボタン“２ ｉｎ １”ＢＴ４に生じたクリックイベントに対する処理をＭＦＰ−Ｂに対して指示するためのコマンドである。このコマンドは特に、ＭＦＰ−Ｂの操作画面ＣＰＢにおけるボタンＢＴ４の座標を含む。変換後のコマンドに応じてＭＦＰ−Ｂの操作画面プログラムはコマンド生成部１１０に、ボタンＢＴ４の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。

ＭＦＰ−Ａの操作画面ＣＰＡで検知されたユーザーのジェスチャーの表す処理が、図８が示すように、ＭＦＰ−ＡとＭＦＰ−Ｂとのいずれの操作画面ＣＰＡ、ＣＰＢにおいてもグラフィックスの変化を伴う場合がある。この場合、遠隔操作アプリはコマンド生成部１１０に、両方の操作画面ＣＰＡ、ＣＰＢの間でグラフィックスの変化を同期させる。図８の例ではコマンド生成部１１０は、ＭＦＰ−Ａの操作画面ＣＰＡが設定画面ＣＡ２へ切り換わるタイミングと、ＭＦＰ−Ｂの操作画面ＣＰＢにメニューＣＢ２がポップアップ表示で出現するタイミングとを一致させる。

このように、両操作画面ＣＰＡ、ＣＰＢの間では、対応するボタン等のＧＵＩ部品が強調表示され、タブ／ウィンドウの切り換えが同期する。したがって、ユーザーがＭＦＰ−Ａの操作画面ＣＰＡに対してジェスチャーを行う度に、そのジェスチャーに対応するＭＦＰ−Ｂの操作画面の変化がユーザーの目に映る。これによりユーザーは、ＭＦＰ−Ａの操作画面の扱い方からＭＦＰ−Ｂの操作画面の扱い方を学ぶことができる。

標準機種の機能の中に、ＭＦＰ２００の機能のいずれとも同等でないものが存在する場合、またはその逆に、ＭＦＰ２００の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、コマンド生成部１１０は、操作画面ＣＰＡ、ＣＰＢのうち、これらの機能が割り当てられたＧＵＩ部品を無効化し、それらの外観をグレーアウトさせてもよい。これにより、これらのＧＵＩ部品が無効化されていることをユーザーに一目で理解させることができる。

本発明は、携帯端末による画像形成装置の遠隔操作に関し、上記のとおり、携帯端末に操作対象の操作画面に代えて標準機種の操作画面を表示させ、その操作画面に対するユーザー操作に応じて生成される標準機種に対するコマンドを操作対象に対するコマンドへ変換させる。このように、本発明は明らかに産業上利用可能である。

１００ 携帯端末
１０１ ＬＣＤ
１１０ コマンド生成部
１３１ 遠隔操作アプリ
１３２ コマンド変換表
１３３ 標準機種の操作画面プログラム
２００ 画像形成装置
２４０ タッチパネル
５７０ リモートパネルサーバー
３００ クラウドサーバー
３２０ データベース
３２１ コマンド変換表
３２２ 標準機種の操作画面プログラム
３５１ 機種識別部
３５２ ウェブサーバー
ＣＰＡ 標準機種ＭＦＰ−Ａの操作画面
ＣＡ２ 後処理の設定画面
ＣＰＢ 操作対象ＭＦＰ−Ｂの操作画面
ＣＢ２ ポップアップメニュー

Claims (11)

1. 画像形成装置の遠隔操作に供される携帯端末であり、
   操作対象の画像形成装置と通信する通信部と、
   グラフィックユーザーインタフェース（ＧＵＩ）画面を表示する表示部と、
   前記表示部の画面上に配置されたタッチパネルを含み、前記タッチパネルを通して、前記表示部が表示しているＧＵＩ画面に対するユーザー操作を検知する操作部と、
   前記操作対象の機種とは異なる標準機種の操作画面プログラムに従い、前記標準機種の操作画面を前記表示部に表示させると共に、当該操作画面に対するユーザー操作を前記操作部に検知させ、当該ユーザー操作に応じてコマンドを生成し、当該コマンドを前記通信部に前記操作対象へ送信させるコマンド生成部と、
   を備え、
   前記コマンドはパラメーターとして、前記標準機種の操作画面においてユーザー操作が検知された座標に対応する前記操作対象の操作画面内の座標を含む
   ことを特徴とする携帯端末。
2. 前記コマンド生成部は、前記コマンドに組み込むべき操作画面内の座標を、前記操作対象と前記標準機種との間におけるコマンドの変換表に基づいて決定し、
   前記変換表は、前記操作対象と前記標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定する
   ことを特徴とする請求項１に記載の携帯端末。
3. 前記変換表は、前記操作対象と前記標準機種との間におけるコマンドの送信プロトコルの違いを更に規定することを特徴とする請求項２に記載の携帯端末。
4. 前記通信部は外部サーバーと通信可能であり、
   前記コマンド生成部は前記通信部に前記変換表を前記外部サーバーから取得させる
   ことを特徴とする請求項２または請求項３に記載の携帯端末。
5. 前記コマンド生成部は、前記操作対象からの操作画面の受信と前記操作対象へのコマンドの送信とをリモートパネル形式で行うことを特徴とする請求項１から請求項４までのいずれかに記載の携帯端末。
6. 前記コマンド生成部は前記表示部に、前記標準機種の操作画面の含むＧＵＩ部品のうち、前記操作対象の操作画面の含むＧＵＩ部品のいずれにも対応しないものを無効化することを特徴とする請求項１から請求項５までのいずれかに記載の携帯端末。
7. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との両方を同時に表示させることを特徴とする請求項１から請求項６までのいずれかに記載の携帯端末。
8. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との間で対応するＧＵＩ部品を強調表示させることを特徴とする請求項７に記載の携帯端末。
9. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との間でタブまたはウィンドウの切り換えを同期させることを特徴とする請求項７または請求項８に記載の携帯端末。
10. 画像形成装置の遠隔操作を実現するシステムであり、
    請求項１から請求項９までのいずれかに記載の携帯端末と、
    前記通信部と通信可能に接続され、前記標準機種の操作画面内の座標と前記操作対象の操作画面内の座標との間の対応関係を規定する情報を前記コマンド生成部へ提供する外部サーバーと、
    を備えたシステム。
11. 画像形成装置の遠隔操作に供される携帯端末に、
    操作対象の機種とは異なる標準機種の操作画面を表示するステップと、
    タッチパネルを通して前記操作画面に対するユーザー操作を検知するステップと、
    検知されたユーザー操作に応じてコマンドを生成するステップと、
    前記コマンドを前記操作対象へ送信するステップと、
    を実行させるためのプログラムであり、
    前記コマンドはパラメーターとして、前記標準機種の操作画面において検知されたユーザー操作の座標に対応する前記操作対象の操作画面内の座標を含む
    ことを特徴とするプログラム。