JP6183109B2 - 操作支援プログラム、端末装置、処理実行装置、および処理実行プログラム - Google Patents

Description

本発明は、操作支援プログラム、端末装置、処理実行装置、および処理実行プログラムに関する。

特許文献１には、ＬＣＤに重ねられたタッチパネルを備える携帯端末から、複合機を遠隔操作する技術が提案されている。具体的には、撮影した複合機の操作部の画像を、携帯端末のＬＣＤに表示させ、表示された操作部を、タッチパネルを介してユーザに操作させ、操作された操作部に応じた指示を複合機に行う。

特開２０１３−８１８３号公報

しかしながら、特許文献１の技術では、携帯端末が撮影した画像に含まれる操作子のみが対象となる。複合機は、操作部としてのソフトキーを含む画面を複合機の表示部に表示する場合がある。ユーザは、その表示された画面が所望のソフトキーを含む画面でない場合、当該所望のソフトキーを含む画面に切り替えた後、その画面を携帯端末のＬＣＤに表示させるために撮影する必要があり、煩雑であった。

本発明は、上述した事情を鑑みてなされたものであり、処理実行装置を好適に遠隔操作させ得る操作支援プログラム、端末装置、処理実行装置、および処理実行プログラムを提供することを目的とする。

この目的を達成するために、本発明の操作支援プログラムは、第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、処理実行装置と通信する通信部と、制御部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて処理実行装置を操作するためのプログラムであって、一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、前記処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を前記第１表示部に表示するための画像データを、前記通信部を介して処理実行装置から受信する画像受信手段と、前記画像受信手段により受信した画像データに基づく前記表示対象画像を表示する画像表示手段と、前記入力部により検出された入力操作である、前記第１表示部に表示される表示対象画像上の位置を指定する指定操作により指定された前記表示対象画像上の位置に応じた操作位置情報を、前記通信部を介して、前記画像データの送信元である処理実行装置に送信する情報送信手段として、前記制御部を機能させる。

また、本発明の処理実行装置は、第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、処理実行装置と通信する通信部と、制御部と、を備え、前記制御部は、一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、前記処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を前記第１表示部に表示するための画像データを、前記通信部を介して処理実行装置から受信する画像受信手段と、前記画像受信手段により受信した画像データに基づく前記表示対象画像を表示する画像表示手段と、前記入力部により検出された入力操作である、前記第１表示部に表示される表示対象画像上の位置を指定する指定操作により指定された前記表示対象画像上の位置に応じた操作位置情報を、前記通信部を介して、前記画像データの送信元である処理実行装置に送信する情報送信手段と、を備えている。

なお、本発明の操作支援プログラムは、端末装置、端末装置を制御する制御装置、操作支援システム、操作支援方法、操作支援プログラムを記録する記録媒体等の種々の態様で構成することができる。また、本発明の処理実行装置は、処理実行装置を制御する制御装置、処理実行システム、処理実行方法、処理実行プログラム、処理実行プログラムを記録する記録媒体等の種々の態様で構成することができる。

請求項１記載の操作支援プログラムによれば、処理実行装置から受信した画像データに基づく表示対象画像が第１表示部に表示される。指定操作により指定された表示対象画像上の位置に応じた操作位置情報が、表示対象画像データに対応する画像データの送信元である処理実行装置に送信される。これにより、処理実行装置は、表示対象画像上のどの位置が指示されたかを把握できる。表示対象画像は、一連の画面群を構成する複数画面分の画像であるので、処理実行装置において表示されていない画面に含まれる操作子も操作対象とし得る。よって、端末装置からの処理実行装置の遠隔操作を好適に行い得る。

請求項２記載の操作支援プログラムによれば、請求項１が奏する効果に加え、次の効果を奏する。端末装置は、複数の指示子の画像各々である要素画像または複数の要素画像を含む集合画像と、それらの画像の配置を特定する要素画像位置情報とに基づいて、表示対象画像を生成し、表示させることができる。

請求項３記載の操作支援プログラムによれば、請求項２が奏する効果に加え、次の効果を奏する。要素画像位置情報に応じて配置された複数の指示子の画像のうち、処理実行装置の第２表示部に表示される指示子の画像の背景として背景画像が配置されるので、ユーザは、処理実行装置の第２表示部に表示中の指示子を把握できる。

請求項４記載の操作支援プログラムによれば、請求項１から３のいずれかが奏する効果に加え、次の効果を奏する。指定操作により指定された表示対象画像上の位置が、当該一連の画面群におけるどの画面のどの位置を指定するかを特定し、特定された画面および位置を示す情報が、処理実行装置に送信される。よって、処理実行装置は、第２表示部に表示されていない画面であっても、端末装置において指示された位置を把握できる。

請求項５記載の操作支援プログラムによれば、請求項１から４のいずれかが奏する効果に加え、次の効果を奏する。表示対象画像が拡大または縮小された場合であっても、指示された位置を等倍の表示対象画像上の位置として処理実行装置に送信できるので、処理実行装置は、端末装置にて指示された位置を適切に把握できる。

請求項６記載の操作支援プログラムによれば、請求項１から５のいずれかが奏する効果に加え、入力操作が表示対象画像外にて行われたものである場合には、当該入力操作に応じた処理を実行することができる。

請求項８記載の処理実行装置によれば、複数画面から構成される一連の画面群に含まれる、本処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を端末装置の表示部に表示させるための画像データが、端末装置に送信される。そして、当該端末装置から、送信した画像データに対応する表示対象画像上の位置を示す操作位置情報が、指示子の画像上の位置を示す場合には、当該指示子の画像に割り当てられた処理が行われる。よって、処理実行装置において表示されていない画面に含まれる操作子も操作対象として、端末装置に操作させることができる。これにより、処理実行装置を端末装置から好適に遠隔操作させ得る。

請求項９記載の処理実行装置によれば、請求項８が奏する効果に加え、次の効果を奏する。端末装置から操作位置情報を受信した場合、当該操作位置情報により指定される表示対象画像上の位置が、当該一連の画面群におけるどの画面のどの位置を指定するかを特定する。よって、表示部に表示されていない画面であっても、端末装置において指示された位置を把握できる。

請求項１０記載の処理実行装置によれば、請求項８または９が奏する効果に加え、表示部に表示される画面が切り替えられた場合に、端末装置に表示する背景画像を、複数の指示子の画像のうち、本処理実行装置の表示部に表示される指示子の画像の背景に表示できる。端末装置を操作するユーザは、処理実行装置に表示中の指示子を把握できる。

請求項１１記載の処理実行装置によれば、請求項８から１０のいずれかが奏する効果に加え、次の効果を奏する。端末装置から受信した操作位置情報と、そのタイミングで処理実行装置に表示されている画面群との間に不整合がある場合には、操作位置情報が示す操作子に割り当てられた処理が実行されないので、処理実行装置に表示されている画面と、端末装置からの遠隔操作との整合性を取ることができる。

請求項７記載の端末装置によれば、請求項１記載の操作支援プログラムと同様の効果を奏する。また、請求項１２記載の処理実行プログラムによれば、請求項１記載の処理実行装置と同様の効果を奏する。

多機能周辺装置および携帯端末の電気的構成を示すブロック図である。 本発明の概略を模式的に説明する図である。 遠隔操作時のＭＦＰ側処理を示すフローチャートである。 遠隔操作時の端末側処理を示すフローチャートである。 第２実施形態の、遠隔操作時の端末側処理を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。まず、図１〜図４を参照して、本発明の第１実施形態を説明する。図１は、多機能周辺装置（以下「ＭＦＰ」と称す）１０、および、ＭＦＰ１０と通信可能な端末２００の電気的構成を示すブロック図である。なお、図１に示すＭＦＰ１０および端末２００は、それぞれ、本発明の処理実行装置および端末装置の一実施形態である。

ＭＦＰ１０は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。詳細は後述するが、ＭＦＰ１０は、操作支援アプリケーション（以下「操作支援アプリ」と称す）２１２ｂを搭載する端末２００からの遠隔操作によって、ＭＦＰ１０にて行われる各種の処理を実行可能に構成される。

ＭＦＰ１０には、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、スキャナ部１８、プリンタ部１９、ＮＣＵ２０、モデム２１、無線通信部２３が主に設けられている。これらの各部は、入出力ポート２４を介して互いに接続されている。ＣＰＵ１１は、フラッシュメモリ１２に記憶される固定値やプログラム、ＲＡＭ１３に記憶されているデータ、或いは、ＮＣＵ２０を介して送受信される各種信号に従って、ＭＦＰ１０が有している各機能の制御や、入出力ポート２４と接続された各部を制御する。

フラッシュメモリ１２は、不揮発性のメモリであり、ＭＦＰ１０の動作を制御する制御プログラム１２ａなどが格納される。後述する図３のフローチャートに示す各処理は、ＣＰＵ１１が制御プログラム１２ａに従い実行する処理である。また、フラッシュメモリ１２には、ＬＣＤ１６に表示する各画面を構成するための部品画像および背景画像の画像データが、表示可能な全画面分、準備される。ＲＡＭ１３は、ＣＰＵ１１が制御プログラム１２ａを実行するにあたり、各種データを一時的に記憶するためのテンポラリエリアを有する書換可能な揮発性のメモリである。

操作キー１５は、ＭＦＰ１０の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ１６は、液晶表示装置であり、各種画面を表示する。ＬＣＤ１６の画面には、タッチパネル１７がＬＣＤ１６に重ねて設けられる。タッチパネル１７は、例えば、指や棒などの指示体がＬＣＤ１６の画面に対してタッチ又は近づいた場合に、タッチ又は近づいた位置を検知し、検知した位置をＭＦＰ１０に入力する。スキャナ部１８は、原稿を読み取って画像データに変換する。プリンタ部１９は、画像データに基づく画像を記録用紙に印刷する。モデム２１は、ＦＡＸ送信時には送信すべき画像データを、電話回線網（図示せず）に伝送可能な信号に変調してＮＣＵ２０を介して送信し、または、電話回線網からＮＣＵ２０を介して入力された信号を画像データに復調する。ＮＣＵ２０は、図示されない電話回線網とＭＦＰ１０との間を接続するものであり、モデム２１からの指示に従って、回線を閉結または切断することにより、電話回線網との間の接続状態を制御する。

無線通信部２３は、無線ＬＡＮによる無線通信を行うためのインタフェースである。本実施形態では、無線通信部２３が行う通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮによる無線通信である。本実施形態において、無線通信部２３は、中継装置であるアクセスポイント（ＡＰ）５０を介するインフラストラクチャーモードによって、端末２００との間でＷｉ−Ｆｉ（登録商標）規格に基づいた無線通信（以下、この通信を「Ｗｉ−Ｆｉ通信」と称す）により接続される。

本実施形態の端末２００は、タブレット端末である。端末２００には、ＣＰＵ２１１、フラッシュメモリ２１２、ＲＡＭ２１３、操作キー２１５、ＬＣＤ２１６、タッチパネル２１７、メモリカードインタフェース（メモリカードＩ／Ｆ）２１８、無線通信部２２３が主に設けられる。これらの各部は、入出力ポート２２４を介して互いに接続されている。ＣＰＵ２１１は、ＲＯＭ２１２等に記憶される固定値やプログラム等に従って、バスライン２２４と接続された各部を制御する。

フラッシュメモリ２１２は、書換可能な不揮発性のメモリである。フラッシュメモリ２１２には、オペレーティングシステム２１２ａ、操作支援アプリ２１２ｂが格納される。なお、以下では「オペレーティングシステム」を「ＯＳ」と称することがある。また、以下では、アプリケーションやオペレーティングシステムなどのプログラムを実行するＣＰＵ２１１のことを、単にプログラム名で記載する場合もある。例えば「アプリケーション」という記載が「アプリケーションを実行するＣＰＵ２１１」を意味する場合もある。ＯＳ２１２ａは、端末２００の標準機能を実現するための基本ソフトウェアである。本実施形態では、ＯＳ２１２ａの一例として、アンドロイド（登録商標）ＯＳを採用する。

操作支援アプリ２１２ｂは、ＭＦＰ１０などのデバイスを遠隔操作するためのアプリケーションプログラムである。操作支援アプリ２１２ｂは、ユーザによって端末２００にインストールされ、端末２００から、対応するデバイスの遠隔操作を可能にする。なお、後述する図４のフローチャートに示す各処理は、ＣＰＵ２１１が操作支援アプリ２１２ｂに従い実行する処理である。

操作キー２１５は、端末２００の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ２１６、タッチパネル２１７、メモリカードＩ／Ｆ２１８、および無線通信部２２３は、それぞれ、上述したＬＣＤ１６、タッチパネル１７、メモリカードＩ／Ｆ１８、および無線通信部２３と同様のものである。

図２を参照して、本発明の概略を説明する。図２（ａ）には、ＭＦＰ１０のＬＣＤ１６に表示される画面の一例として、機能メニュー画面７０を示す。機能メニュー画面７０は、２ページ分の画面、すなわち、１ページ目の画面７０ａと２ページ目の画面７０ｂとの２画面から構成される。ユーザは、機能メニュー画面７０に表示されるボタン画像９１ｃ，９１ｄに対する押下操作（所謂「タップ操作」）を適宜行うことにより、ＬＣＤ１６に表示する画面を、画面７０ａまたは画面７０ｂに適宜切り替えることができる。

ＬＣＤ１６に表示される画面は、背景画像と、当該背景画像上に配置される部品画像とから構成される。図２（ａ）に示す機能メニュー画面７０は、背景画像９１と、当該背景画像９１に配置される部品画像としてのボタン画像８１とから構成される。ボタン画像８１は、ＭＦＰ１０に実行させる機能を選択するための操作子である。本実施形態では、ボタン画像８１は、５つのボタン画像８１ａ〜８１ｅから構成される。ユーザが、ボタン画像８１ａ〜８１ｅのいずれかに対する押下操作を行った場合、ＭＦＰ１０は、押下操作されたボタン画像８１に応じた処理、具体的には、押下操作されたボタン画像８１に対応する機能の実行に関わる画面（図示せず）の表示処理を実行する。

５つのボタン画像８１ａ〜８１ｅは、１画面に集約されず、２画面に分けて表示される。具体的に、ボタン画像８１ａ〜８１ｃは、１ページ目の画面７０ａに表示され、ボタン画像８１ｄ，８１ｅは、２ページ目の画面７０ｂに表示される。よって、ユーザは、ボタン画像８１ａ〜８１ｅのうち、操作したいボタン画像に応じて、画面７０ａまたは画面７０ｂを適宜切り替えて表示する必要がある。

背景画像９１は、テキストであるページ番号９１ａおよび日時情報９１ｂを含む。また、背景画像９１は、ＬＣＤ１６に表示する画面を、前ページまたは次ページに切り替えるための操作子であるボタン画像９１ｃ，９１ｄを含む。

機能メニュー画面７０など、ＬＣＤ１６に表示される各画面は、背景画像９１などの背景画像の画層と、ボタン画像８１などの部品画像の画層とを重ねて構成される。ＭＦＰ１０は、ある画面をＬＣＤ１６に表示させる場合、背景画像の画層と、部品画像を予め決められた配置に配置させた画層とを生成し、各画層を重ねてＬＣＤ１６に表示する。

なお、表示対象の画面が、機能メニュー画面７０のような、複数画面から構成される一連の画面群である場合、ＭＦＰ１０は、一連の画面群を構成する全ての画面について、それぞれ、ボタン画像８１などの部品画像を配置させた画層を生成し、ＲＡＭ１３に記憶させる。つまり、機能メニュー画面７０が表示対象となる場合、ＭＦＰ１０は、背景画像９１の画層と、画面７０ａ用の部品画像の画層と、画面７０ｂ用の部品画像の画層とを予め生成する。ＭＦＰ１０は、画面７０ａをＬＣＤ１６に表示する場合には、画面７０ａ用の部品画像の画層と、背景画像９１の画層とを重ねて、ＬＣＤ１６に表示する。一方、ＭＦＰ１０は、画面７０ｂをＬＣＤ１６に表示する場合には、画面７０ｂ用の部品画像の画層と、背景画像９１の画層とを重ねて、ＬＣＤ１６に表示する。なお、ボタン画像８１および背景画像９１に対応する画像データは、フラッシュメモリ１２に予め準備される。

詳細は後述するが、ＭＦＰ１０が、操作支援アプリ２１２ｂを搭載する端末２００から遠隔操作される場合、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面を構成する背景画像および部品画像の画像データなどを端末２００に送信する。これにより、端末２００のＬＣＤ２１６には、ＭＦＰ１０のＬＣＤ１６に表示中の画面と同じ画像が、遠隔操作用の画像として表示される。ユーザは、かかる遠隔操作用の画像に基づいて、ＭＦＰ１０の遠隔操作を行うことができる。特に、ＬＣＤ１６に表示中の画面が、機能メニュー画面７０など、複数画面から構成される一連の画面群である場合には、表示中の１画面だけでなく、複数画面分の画像が、遠隔操作用の画像としてＬＣＤ２１６に表示される。

図２（ｂ）および（ｃ）に、遠隔操作用の画像の１つである画像１７０を示す。画像１７０は、機能メニュー画面７０に対応する遠隔操作用の画像である。画像１７０は、機能メニュー画面７０を構成する２画面分の画像、より詳細には、画面７０ａ，７０ｂに表示されるボタン画像８１（８１ａ〜８１ｅ）と、背景画像９１とから構成される。背景画像９１は、ページ番号９１ａと、日時情報９１ｂと、ボタン画像９１ｃ，９１ｄとを含む。端末２００は、ボタン画像８１（８１ａ〜８１ｅ）および背景画像９１にそれぞれ対応する画像データとともに、各画像８１，９１の位置情報をＭＦＰ１０から受信する。端末２００は、受信した位置情報に基づいて、各画像８１，９１を配置し、それにより、図２（ｂ）および（ｃ）に示すような画像１７０が、ＬＣＤ２１６に表示される。

ボタン画像８１の位置情報は、各ボタン画像８１ａ〜８１ｅのビットマップの情報と、各ボタン画像８１ａ〜８１ｅの位置を示す座標とから構成される。一方、背景画像９１の位置情報は、背景画像９１のビットマップの情報と、背景画像９１の位置を示す座標とから構成される。本実施形態では、位置情報に含まれる座標は、各画像の左上の位置を示す座標である。よって、各ボタン画像８１ａ〜８１ｅの左上の位置を示す座標Ｐ１〜Ｐ５と、背景画像９１の左上の位置を示す座標Ｑ１とが、ボタン画像８１または背景画像９１の位置情報として含まれている。

画像１７０は、ＭＦＰ１０のＬＣＤ１６に表示されている画面が、画面７０ａであるか画面７０ｂであるかにより、表示内容が相違する。つまり、図２（ｂ）には、ＭＦＰ１０のＬＣＤ１６に表示中の画面が、画面７０ａであるときの場合の画像１７０ａを示す。一方、図２（ｃ）には、ＭＦＰ１０のＬＣＤ１６に表示中の画面が、画面７０ｂであるときの場合の画像１７０ｂを示す。画像１７０ａと画像１７０ｂとでは、背景画像９１の表示位置が相違する。これは、ＭＦＰ１０から受信する座標Ｑ１の値が異なることに基づく。

画像１７０ａでは、ボタン画像８１ａ〜８１ｃの背景として、背景画像９１が表示される。一方、画像１７０ｂでは、ボタン画像８１ｄ，８１ｅの背景として、背景画像９１が表示される。つまり、機能メニュー画面７０に含まれるボタン画像８１のうち、ＭＦＰ１０のＬＣＤ１６に表示中のボタン画像の背景として、背景画像９１が表示される。よって、ユーザは、そのときにＭＦＰ１０側で表示されている画面を、ＬＣＤ２１６に表示される遠隔操作用の画像における背景画像の位置から把握できる。

ユーザは、画像１７０のうち、操作子であるボタン画像８１ａ〜８１ｅのいずれかに対する押下操作を行うことにより、ＭＦＰ１０に、押下操作されたボタン画像８１に応じた処理を実行させることができる。このとき、操作対象にするボタン画像８１ａ〜８１ｅが、ＭＦＰ１０のＬＣＤ１６に表示されているか否かは問わない。つまり、操作支援アプリ２１２ｂによれば、ボタン画像８１ａ〜８１のうち、ＬＣＤ１６に表示されていない画面に含まれるボタン画像であっても、操作対象とすることができる。

また、操作支援アプリ２１２ｂによれば、画像１７０など、ＬＣＤ２１６に表示される遠隔操作用の画像上でドラッグ操作などの操作が行われた場合には、その操作をＭＦＰ１０で行ったかのように、ＭＦＰ１０に処理を実行させることができる。その一方で、ＬＣＤ２１６上における、遠隔操作用の画像が表示されていない領域２１６ａ上で各種操作が行われた場合には、端末２００に対し当該操作に応じた処理を実行させることができる。例えば、領域２１６ａ上でピンチアウト操作が行われた場合には、表示されている遠隔操作用の画像を、そのときの表示サイズから拡大できる。

なお、上記図２では、部品画像であるボタン画像８１が、ＬＣＤ１６およびＬＣＤ２１６の長手方向、すなわち、Ｘ軸方向に並ぶ例を例示したが、部品画像の並び方向は、ＬＣＤ１６およびＬＣＤ２１６の短手方向、すなわち、Ｙ軸方向であってもよい。つまり、部品画像がＬＣＤ１６の短手方向に並ぶ場合に、ＬＣＤ２１６に表示される遠隔操作用の画像は、部品画像がＬＣＤ２１６の短手方向に並ぶ画像となる。

図３は、ＭＦＰ１０のＣＰＵ１１が実行する、遠隔操作時のＭＦＰ側処理を示すフローチャートである。本処理は、ＭＦＰ１０を端末２００から遠隔操作させるための処理である。本処理は、ＭＦＰ１０と端末２００との間で、遠隔操作を行うための事前処理が完了したことを条件として開始される。

図３の説明に先立って、上記事前処理について説明する。事前処理は、まず、ユーザは、ＭＦＰ１０を操作し、遠隔操作を有効に設定することから始まる。次に、ユーザは、端末２００を操作して操作支援アプリ２１２ｂを起動し、操作支援アプリ２１２ｂが起動された端末２００に、遠隔操作が有効に設定されたＭＦＰ１０を検索させる。端末２００は、検索されたＭＦＰ１０を遠隔操作の対象として端末２００に登録し、登録されたＭＦＰ１０に、登録したことを示す登録情報や、端末２００のＩＰアドレスなどをＷｉ−Ｆｉ通信で送信する。これらを受信したＭＦＰ１０は、端末２００との通信リンクを確立する。通信リンクが確立したことにより、事前処理は完了する。ＭＦＰ１０は、端末２００からの遠隔操作が可能な状態となる。

図３に示すように、ＣＰＵ１１は、背景画像、表示中の部品画像、および画面遷移用に隠れている部品画像の画像データと、各画像の位置情報と、表示中の画面の画面ＩＤとを、Ｗｉ−Ｆｉ通信により、端末２００に送信する（Ｓ３０１）。Ｓ３０１においてＣＰＵ１１が送信する画面ＩＤは、ＬＣＤ１６に表示される画面を特定する識別情報であり、フッシュメモリ１２に予め準備されている。

各画像の位置情報は、各画像のビットマップの情報と、各画像の座標情報とから構成される。Ｓ３０１の処理が実行されたことにより、ＭＦＰ１０から送信した画像データおよび位置情報に応じた遠隔操作用の画像、例えば、図２（ｂ）に示す画像１７０が、端末２００のＬＣＤ２１６に表示される。

本実施形態では、各画像の座標情報は、各画像の左上の座標である。機能メニュー画面７０のような、複数画面から構成される一連の画面群である場合、画面７０ａのような１ページ目の画面に含まれる部品画像の座標Ｐは、その部品画像の、当該部品画像を含む画面における実際の座標をそのまま用いる。一方、画面７０ｂのような２ページ目以降の画面に含まれる部品画像の座標Ｐは、一連の画面群を構成する各画面を仮想的に並べたことによる通算の座標を用いる。

具体的に、通算座標のうち、一連の画面群における仮想的な画面の並び方向（以下、単に「画面の並び方向」と称することがある）の値は、対象となる部品画像を含む画面における当該部品画像の実際の座標のうち、画面の並び方向の値Ａ１と、当該部品画像を含む画面のページ番号Ｎと、ＬＣＤ１６の、画面の並び方向の長さＬとから算出される。一方、通算座標のうち、画面の並び方向の値は、対象となる部品画像を含む画面における当該部品画像の実際の座標のうち、画面の並び方向の値Ａ２をそのまま用いる。すなわち、画面の並び方向がＸ方向である場合には、２ページ目以降の画面に含まれる部品画像の通算座標は（Ａ１＋（Ｎ×Ｌ＋１），Ａ２）である。一方、画面の並び方向がＹ方向である場合には、２ページ目以降の画面に含まれる部品画像の通算座標は（Ａ２，Ａ１＋（Ｎ×Ｌ＋１））である。

なお、「一連の画面群における仮想的な画面の並び方向」は、一連の画面群に含まれる部品画像の並び方向に等しい。つまり、ボタン画像８１がＬＣＤ１６の長手方向に並ぶ機能メニュー画面７０は、一連の画面群における仮想的な画面の並び方向は、ＬＣＤ１６の長手方向となる。よって、例えば、ＬＣＤ１６の長手方向の長さが４８０ｄｏｔである場合、上記長さＬは４８０である。一方、部品画像がＬＣＤ１６の短手方向に並ぶ画面は、一連の画面群における仮想的な画面の並び方向は、ＬＣＤ１６の短手方向となる。よって、例えば、ＬＣＤ１６の短手方向の長さが３２０ｄｏｔである場合、上記長さＬは３２０である。

次に、背景画像の座標について説明する。機能メニュー画面７０のような、複数画面から構成される一連の画面群である場合、背景画像９１のような背景画像の座標Ｑは、ＬＣＤ１６に表示中の画面がどのページの画面であるかに応じた座標となる。具体的に、ＬＣＤ１６に表示中の画面が１ページ目の画面である場合には、背景画像の左上の座標Ｑは（０，０）である。ＬＣＤ１６に表示中の画面が２ページ目以降の画面である場合、背景画像の左上の座標のうち、画面の並び方向の値Ｅは、Ｅ＝（画面の並び方向の長さＬ＋１）の式に基づき算出する。よって、例えば、画面の並び方向がＸ方向である場合、背景画像の座標Ｑは（Ｅ，０）である。一方、画面の並び方向がＹ方向である場合、背景画像の座標Ｑは（０，Ｅ）である。

ＣＰＵ１１は、Ｓ３０１の処理後、端末２００から操作情報を受信したかを判断する（Ｓ３０２）。端末２００から操作情報を受信していないとＣＰＵ１１が判断した場合（Ｓ３０２：Ｎｏ）、ＣＰＵ１１は、端末２００への画像データおよび位置情報などを定期的に送信する送信タイミングであるかを判断する（Ｓ３１３）。本実施形態では、当該送信タイミングは、５０ｍｓｅｃ毎とする。送信タイミングであるとＣＰＵ１１が判断した場合（Ｓ３１３：Ｙｅｓ）、ＣＰＵ１１は、処理をＳ３０１に移行する。

Ｓ３１３において、送信タイミングでないとＣＰＵ１１が判断した場合（Ｓ３１３：Ｎｏ）、ＣＰＵ１１は、ＭＦＰ１０において、ボタン画像８１などの操作子が操作されたなどに基づく各種イベントが発生したかを判断する（Ｓ３１４）。イベントが発生していないとＣＰＵ１１が判断した場合（Ｓ３１４：Ｎｏ）、ＣＰＵ１１は、処理をＳ３０２に移行する。一方、イベントが発生したとＣＰＵ１１が判断した場合（Ｓ３１４：Ｙｅｓ）、ＣＰＵ１１は、発生したイベントに応じた処理を実行し（Ｓ３１５）、処理をＳ３０１に移行する。なお、このイベントには、ＭＰＦ１０において、ボタン画像９１ｃまたは９１ｄが押下され、ＬＣＤ１６の表示が画面７０ａから画面７０ｂに切り替わることや、画面７０ｂから画面７０ａに切り替わることも含む。

Ｓ３０２において、端末２００から操作情報を受信したとＣＰＵ１１が判断した場合（Ｓ３０２：Ｙｅｓ）。ＣＰＵ１１は、操作情報とともに端末２００から受信した画面ＩＤが適切であるか否かを判断する（Ｓ３０３）。具体的に、受信した画面ＩＤが、ＬＣＤ１６に表示中の画面に対応する画面ＩＤであるか、または、表示中の画面ともに一連の画面群を構成する他の画面に対応する画面ＩＤである場合、ＣＰＵ１１は、Ｓ３０３において、受信した画面ＩＤが適切であると判断する。

Ｓ３０３において、受信した画面ＩＤが不適切であるとＣＰＵ１１が判断した場合（Ｓ３０３：Ｎｏ）、ＣＰＵ１１は、処理をＳ３０２に移行する。かかる場合、ＣＰＵ１１は、後述するＳ３０４〜Ｓ３１２の処理、すなわち、ＭＦＰ１０が端末２００から受信した操作情報に応じた処理を行わない。受信した画面ＩＤが不適切であることは、端末２００側にて操作が行われた遠隔操作用の画像が、ＬＣＤ１６に表示中の画面または当該画面を含む一連の画面群に対応しないことを示す。よって、Ｓ３０３の処理によれば、ＬＣＤ１６に表示中の画面と、端末２００からの遠隔操作との整合性を取ることできる。

一方、Ｓ３０３において、受信した画面ＩＤが適切であるとＣＰＵ１１が判断した場合（Ｓ３０３：Ｙｅｓ）、ＣＰＵ１１は、受信した操作情報が何であるかを判断する（Ｓ３０４）。受信した操作情報が、端末２００に表示された遠隔操作用の画像に対し、ドラッグ操作が行われたことを示すドラッグ情報であると、ＣＰＵ１１が判断した場合（Ｓ３０４：ドラッグ情報）、ＣＰＵ１１は、受信したドラッグ情報に従ってドラッグ処理、より詳細には、遠隔操作用の画像に対するドラッグ操作に応じたドラッグ処理を実行する（Ｓ３１０）。また、受信した操作情報が、端末２００に表示された遠隔操作用の画像に対し、フリック操作が行われたことを示すフリック情報であると、ＣＰＵ１１が判断した場合（Ｓ３０４：フリック情報）、ＣＰＵ１１は、受信したフリック情報に従ってフリック処理、より詳細には、遠隔操作用の画像に対するフリック操作に応じたフリック処理を実行する（Ｓ３１１）。

受信した操作情報が、端末２００に表示された遠隔操作用の画像に対し、押下操作が行われたことを示す押下情報であると、ＣＰＵ１１が判断した場合（Ｓ３０４：押下情報）、ＣＰＵ１１は、受信した押下情報に含まれる押下座標が、ＬＣＤ１６の画面内に収まるかを判断する（Ｓ３０５）。具体的に、例えば、ＬＣＤ１６の画面サイズが、４８０×３２０ｄｏｔの大きさである場合に、受信した押下座標が、（０，０）から（４８０，３２０）までの矩形領域内に位置する座標であれば、ＣＰＵ１１は、当該押下座標が、ＬＣＤ１６内に収まると判断する。

受信した押下座標がＬＣＤ１６の画面内に収まるとＣＰＵ１１が判断した場合（Ｓ３０５：Ｙｅｓ）、ＣＰＵ１１は、１ページ目の画面における押下座標が示す位置を押下位置に決定する（Ｓ３０６）。一方、受信した押下座標がＬＣＤ１６の画面内に収まらないとＣＰＵ１１が判断した場合（Ｓ３０５：Ｎｏ）、ＣＰＵ１１は、受信した押下座標が、どのページの画面におけるどの座標を押下位置とするかを決定する（Ｓ３１２）。

具体的に、Ｓ３１２において、ＣＰＵ１１は、まず、受信した押下座標（Ｘ，Ｙ）のＸおよびＹを、それぞれ、ＬＣＤ１６のＸ方向の長さＬｘと、Ｙ方向の長さＬｙで割った商を算出する。次に、ＣＰＵ１１は、商（Ｘ／Ｌｘ）または商（Ｙ／Ｌｙ）のうち、１以上である商の整数部分の値Ｎａから、Ｎａページ目の画面が押下されたかを決定する。ＣＰＵ１１は、商（Ｘ／Ｌｘ）または商（Ｙ／Ｌｙ）のうち、商が１以上である方の余りＭａに基づいて、Ｎａページ目の画面における押下座標を決定する。つまり、商（Ｘ／Ｌｘ）が１以上である場合には、Ｎａページ目の画面における座標（Ｍａ，Ｙ）を押下位置として決定する。一方、商（Ｙ／Ｌｙ）が１以上である場合には、Ｎａページ目の画面における座標（Ｘ，Ｍａ）を押下位置として決定する。

ＣＰＵ１１は、Ｓ３０６またはＳ３１２により決定された押下位置が、ボタン画像８１など、ＭＦＰ１０に対する指示を入力するための各種操作子上に位置するかを判断する（Ｓ３０７）。決定された押下位置が操作子上に位置しないとＣＰＵ１１が判断した場合（Ｓ３０７：Ｎｏ）、端末２００に表示された遠隔操作用の画像に対して行われた押下操作は、操作子上で行われていないことを示す。よって、かかる場合、ＣＰＵ１１は、処理をＳ３０２に移行する。一方、決定された押下位置が操作子上に位置するとＣＰＵ１１が判断した場合（Ｓ３０７：Ｙｅｓ）、ＣＰＵ１１は、押下対象の操作子に対する押下処理を実行する（Ｓ３０８）。

例えば、端末２００に表示された遠隔操作用の画像に対して行われた押下操作が、ボタン画像８１ａ〜８１ｅのいずれかに対する押下操作であると、ＣＰＵ１１が判断した場合、ＣＰＵ１１は、押下処理として、押下操作されたボタン画像８１に応じた処理を実行する。具体的に、ＣＰＵ１１は、押下操作されたボタン画像８１ａ〜８１ｅに対応する機能の実行に関わる画面（図示せず）を表示する処理を実行する。その結果、ＬＣＤ１６に表示される画面は、機能メニュー画面７９から、押下操作されたボタン画像８１ａ〜８１ｅに対応する機能の実行に関わる画面に切り替わる。

あるいは、端末２００に表示された遠隔操作用の画像に対して行われた押下操作が、ボタン画像９１ｃまたはボタン画像９１ｄに対する押下操作であると、ＣＰＵ１１が判断した場合、ＣＰＵ１１は、押下処理として、ＬＣＤ１６に表示されている画面を、当該表示中の画面に対する前ページまたは次ページの画面に切り替える処理を実行する。また、端末２００に表示された遠隔操作用の画像に対して行われた押下操作が、コピー機能など、各種機能の実行を指示する操作子に対する押下操作であると、ＣＰＵ１１が判断した場合、ＣＰＵ１１は、押下処理として、指示の対象となる機能を用いた処理を実行する。

Ｓ３０８，Ｓ３１０，Ｓ３１１の処理によれば、ＭＦＰ１０は、操作支援アプリ２１２ｂを搭載する端末２００から遠隔操作される。そして、Ｓ３０８，Ｓ３１０，Ｓ３１１の処理後、ＣＰＵ１１は、各処理の実行結果を示す実行結果情報を、Ｗｉ−Ｆｉ通信により、端末２００に送信する（Ｓ３０９）。実行結果情報には、処理が行われた結果としてＬＣＤ１６の表示画面に変化があったかを示す情報を含む。Ｓ３０９の処理後、ＣＰＵ１１は、処理をＳ３０１に移行する。

図４は、端末２００のＣＰＵ２１１が実行する、遠隔操作時の端末側処理を示すフローチャートである。本処理は、ＭＦＰ１０を遠隔操作するための処理である。本処理は、図３と同様、上述した事前処理が完了したことを条件として開始される。

ＣＰＵ２１１は、ＭＦＰ１０がＳ３０１において送信した画像データなどの受信、または、タッチパネル２１７に対する操作の受け付けを待機する（Ｓ４０１：Ｎｏ，Ｓ４０４：Ｎｏ）。ＣＰＵ２１１は、ＭＦＰ１０から画像データなどを受信した場合（Ｓ４０１：Ｙｅｓ）、画像データとともに受信した画面ＩＤをＲＡＭ２１３に記憶する（Ｓ４０２）。次に、ＣＰＵ２１１は、画像データとともに受信した各画像の位置情報に基づいて、遠隔操作用の画像を構成し、ＬＣＤ２１６に表示する（Ｓ４０３）。Ｓ４０３の処理の結果、例えば、図２（ｂ）の画像１７０ａまたは図２（ｃ）の画像１７０ｂが、ＬＣＤ２１６に表示される。ＣＰＵ２１１は、Ｓ４０３の処理後、処理をＳ４０４に移行する。

タッチパネル２１７に対する操作をＣＰＵ２１１が受け付けた場合（Ｓ４０４：Ｙｅｓ）、ＣＰＵ２１１は、受け付けた操作の種類を判断する（Ｓ４０５）。押下操作を受け付けたとＣＰＵ２１１が判断した場合（Ｓ４０５：押下）、ＣＰＵ２１１は、ＬＣＤ２１６に表示されている遠隔操作用の画像の、等倍画像に対する拡縮倍率Ｚを取得する（Ｓ４０６）。拡縮倍率Ｚは、等倍画像に対する現在の画像のサイズ比である。等倍画像の場合、拡縮倍率Ｚは１である。拡縮倍率Ｚが１より小さい値である場合には、現在の画像が、等倍画像から縮小されていることを示す。一方、拡縮倍率Ｚが１より大きい値である場合には、現在の画像が、等倍画像から拡大されていることを示す。拡縮倍率Ｚは、ＲＡＭ２１６に記憶されており、ＬＣＤ２１６に表示される画像が拡大または縮小される毎に随時更新される。なお、等倍画像は、拡大も縮小もしていない画像である。本実施形態では、Ｓ４０１においてＭＦＰ１０から受信した画像データに基づく画像を、等倍画像とする。

ＣＰＵ２１１は、Ｓ４０６で取得した拡縮倍率Ｚに基づいて、押下操作として受け付けた押下座標を、等倍画像に対する押下座標に換算する（Ｓ４０７）。具体的に、受け付けた押下座標が（Ｘ１，Ｙ１）である場合、ＣＰＵ２１１は、Ｘ１およびＹ１をそれぞれ拡縮倍率Ｚで割る。つまり、換算後の押下座標は（Ｘ１／Ｚ，Ｙ１／Ｚ）である。次に、ＣＰＵ２１１は、押下情報と、ＲＡＭ２１３に記憶される画面ＩＤとを、Ｗｉ−Ｆｉ通信により、ＭＦＰ１０に送信する（Ｓ４０８）。押下情報は、押下操作が行われたことを示す情報と、Ｓ４０７による換算後の押下座標とを含む。Ｓ４０８の処理の結果、ＭＦＰ１０のＣＰＵ１１は、画像ＩＤが適切であることを条件として、上述したＳ３０５〜Ｓ３０８，Ｓ３１２の処理を実行する。

このように、ＬＣＤ２１６に表示される遠隔操作用の画像が拡大または縮小されたとしても、ユーザが押下した座標が、等倍画像の押下座標としてＭＦＰ１０に送信されるので、ＭＦＰ１０では、ユーザが意図した操作子に応じた処理を適確に実行させることができる。また、このように、遠隔操作用の画像が拡大または縮小されても、ユーザの意図に応じた処理をＭＦＰ１０に実行させることができるので、ユーザは、遠隔操作用の画像を自身が所望するサイズに拡大または縮小して利用することができ、利便性がよい。なお、拡縮倍率Ｚが１である場合、すなわち、現在の画像が等倍画像である場合には、Ｓ４０７による換算を行うことなく、受け付けた押下座標を送信する構成としてもよい。

一方、ドラッグ操作を受け付けたとＣＰＵ２１１が判断した場合（Ｓ４０５：ドラッグ）、ＣＰＵ２１１は、ドラッグ情報と、ＲＡＭ２１３に記憶される画面ＩＤとを、Ｗｉ−Ｆｉ通信により、ＭＦＰ１０に送信する（Ｓ４１０）。ドラッグ情報は、ドラッグ操作が行われたことを示す情報と、受け付けたドラッグ操作の始点座標および終点座標と、を含む。一方、フリック操作を受け付けたとＣＰＵ２１１が判断した場合（Ｓ４０５：フリック）、ＣＰＵ２１１は、フリック情報と、ＲＡＭ２１３に記憶される画面ＩＤとを、Ｗｉ−Ｆｉ通信により、ＭＦＰ１０に送信する（Ｓ４１１）。フリック情報は、フリック操作が行われたことを示す情報と、受け付けたフリック操作の加速方向および加速度と、を含む。Ｓ４１０またはＳ４１１の処理の結果、ＭＦＰ１０のＣＰＵ１１は、画像ＩＤが適切であることを条件として、上述したＳ３１０またはＳ３１１の処理を実行する。

ＣＰＵ２１１は、Ｓ４０８，Ｓ４１０，Ｓ４１１の処理後、ＭＦＰ１０から実行結果情報を受信することを待機する（Ｓ４０９：Ｎｏ，４１３：Ｎｏ）。実行結果情報は、ＭＦＰ１０のＣＰＵ１１が、上述したＳ３０９において送信する情報である。ＣＰＵ２１１は、ＭＦＰ１０から実行結果情報を受信した場合（Ｓ４０９：Ｙｅｓ）、ＣＰＵ２１１は、処理をＳ４０１に移行する。Ｓ４０８，Ｓ４１０，Ｓ４１１において、ＣＰＵ２１１が、タッチパネル２１７に対する操作に応じた情報をＭＦＰ１０に送信した結果、ＭＦＰ１０にてＬＣＤ１６に表示される画面に変化があった場合、ＭＦＰ１０から受信する実行結果情報にはその旨を示す情報が含まれる。よって、ＭＦＰ１０から、変更後の画面に応じた画像データなどが送信されるので、ＣＰＵ２１１は、Ｓ４０３の処理を実行することになり、その結果、端末２００のＬＣＤ２１６には、変更後の画面に応じた遠隔操作用の画像が表示される。

ＣＰＵ２１１が、ＭＦＰ１０から実行結果情報を受信することなく、所定時間、例えば、５秒が経過した場合（Ｓ４１３：Ｙｅｓ）、ＣＰＵ２１１は、操作された遠隔操作用の画像が、ＭＦＰ１０に表示されている画面と相違する旨をＬＣＤ２１６に表示し（Ｓ４１４）、処理をＳ４０１に移行する。Ｓ４１４の処理による表示は、ＭＦＰ１０のＣＰＵ１１が、Ｓ４０８において送信した画面ＩＤを不適切であると判断し、実行結果情報が送信されなかった場合に表示される。よって、ユーザは、当該表示に基づき、ＭＦＰ１０の画面が、遠隔操作用の画像から変更されており、操作できなかったことを把握できる。

一方、Ｓ４０５において、ＬＣＤ２１６上における遠隔操作用の画像以外の領域、すなわち、領域２１６ａに対する操作を受け付けたと、ＣＰＵ２１１が判断した場合（Ｓ４０５：画像外操作）、ＣＰＵ２１１は、受け付けた操作に応じた処理を実行し（Ｓ４１２）、処理をＳ４０１に移行する。例えば、領域２１６ａ上でのピンチアウト操作をＣＰＵ２１１が受け付けた場合、ＣＰＵ２１１は、表示されている遠隔操作用の画像を、ピンチアウトの操作量に応じて拡大する。これに対し、領域２１６ａ上でのピンチイン操作をＣＰＵ２１１が受け付けた場合、ＣＰＵ２１１は、表示されている遠隔操作用の画像を、ピンチインの操作量に応じて縮小する。また、領域２１６上でのドラッグ操作やフリック操作をＣＰＵ２１１が受け付けた場合、ＣＰＵ２１１は、表示されている遠隔操作用の画像を、ドラッグ操作やフリック操作に応じてスクロールする。このように、操作支援アプリ２１２ｂによれば、遠隔操作用の画像が表示されていない領域２１６を有効活用できる。また、遠隔操作用の画像のサイズや表示部位をユーザの所望に応じて変化できるので、遠隔操作用の画像の操作性や利便性がよい。

上記第１実施形態によれば、ＭＦＰ１０を、操作支援アプリ２１２ｂを搭載する端末２００から遠隔操作することができる。特に、機能メニュー画面７０のように、複数画面から構成される一連の画面群の場合、ＭＦＰ１０のＬＣＤ１６に表示されていない画面に含まれる操作子であっても、端末２００からの遠隔操作の対象にすることができるので、操作性および利便性に優れる。

次に、図５を参照して、本発明の第２実施形態について説明する。上述した第１実施形態では、ＭＦＰ１０側で、端末２００のタッチパネル２１７に対する押下操作の押下座標が、複数画面から構成される一連の画像群のうち、どのページの画面におけるどの位置を押下したものであるかを決定する構成とした。これに対し、第２実施形態では、当該決定を端末２００側で行う。第２実施形態において、上述した第１実施形態と同一の部分については、同一の符号を付し、その説明は省略する。

以下、第１実施形態との相違点を中心に説明する。第２実施形態の、遠隔操作時のＭＦＰ側処理は、ＣＰＵ１１が、第２実施形態の制御プログラム１２ａに従って実行する。本実施形態では、ＭＦＰ１０側にて上記決定を行わないので、ＭＦＰ１０のＣＰＵ１１が実行する、本実施形態において、遠隔操作時のＭＦＰ側処理は、上述した第１実施形態での同処理（図３）から、Ｓ３０５，Ｓ３０６，Ｓ３１２の各処理が省略された処理となる。

図５は、第２実施形態の、遠隔操作時の端末側処理を示すフローチャートである。本処理は、ＣＰＵ２１１が、第２実施形態の操作支援アプリ２１２ｂに従って実行する。本処理は、ＣＰＵ２１１が受け付けた操作が押下操作である場合が、第１実施形態と相違する。具体的に、ＣＰＵ１１は、Ｓ４０７の処理後、ＭＦＰ１０の画面サイズを取得する（Ｓ５０１）。画面サイズの取得方法としては、ＬＣＤ１６の画面サイズをＭＦＰ１０に問い合わせ、その返信として取得する方法や、ＬＣＤ１６の画面サイズをフラッシュメモリ２１２に記憶しておき、読み出す方法などがある。フラッシュメモリ２１２に画面サイズを記憶させる方法としては、例えば、ＭＦＰ１０に対する問い合わせの結果として受信した画面サイズを記憶させる方法や、事前処理においてＭＦＰ１０から取得した画面サイズを記憶させる方法や、ＭＦＰ１０のモデル毎に画面サイズが格納されたテーブルを予め記憶させる方法などがある。

次に、ＣＰＵ２１１は、Ｓ３０５の処理と同様に、換算後の押下座標が、ＭＦＰ１０のＬＣＤ１６の画面内に収まるかを判断する（Ｓ５０２）。換算後の押下座標がＬＣＤ１６の画面内に収まるとＣＰＵ２１１が判断した場合（Ｓ５０２：Ｙｅｓ）、ＣＰＵ２１１は、換算後の押下座標を、１ページ目の画面における押下座標として決定する（Ｓ５０３）。一方、換算後の押下座標がＬＣＤ１６の画面内に収まらないとＣＰＵ２１１が判断した場合（Ｓ５０２：Ｎｏ）、ＣＰＵ２１１は、換算後の押下座標が、どのページの画面におけるどの座標が押下されたかを決定する（Ｓ５０４）。Ｓ５０４の決定は、Ｓ３１２と同様に行うことができる。

ＣＰＵ２１１は、Ｓ５０３またはＳ５０４の処理後、Ｓ４０８の処理を実行する。第２実施形態では、Ｓ４０８において、ＣＰＵ２１１は、押下情報として、押下操作が行われたことを示す情報と、どのページの画面におけるどの座標が押下されたかを示す情報を、ＭＦＰ１０に送信する。ＭＦＰ１０は、Ｓ３０５，Ｓ３０６，Ｓ３１２の各処理を行うことなく、端末２００から受信した押下情報に基づいて、複数画面から構成される一連の画像群のうち、どのページにおけるどの位置を押下したものであるかを認識できる。

上記第２実施形態によれば、端末２００側で、タッチパネル２１７に対する押下操作の押下座標が、複数画面から構成される一連の画像群のうち、どのページの画面におけるどの位置を押下したものであるかを決定できる。つまり、端末２００側で、ＭＦＰ１０のＬＣＤ１６に表示されていない画面であっても、押下操作の位置を特定できる。

上記実施形態において、操作支援アプリ２１２ｂが、操作支援プログラムの一例である。端末２００が、端末装置の一例である。ＭＦＰ１０が、処理実行装置の一例である。
制御プログラム１２ａが、処理実行プログラムの一例である。ＬＣＤ２１６が、第１表示部の一例である。タッチパネル２１７が、入力部の一例である。無線通信部２２３が、端末装置の通信部の一例である。ＣＰＵ２１１が、端末装置の制御部の一例である。ＬＣＤ１６が、第２表示部、表示部の一例である。無線通信部２３が、処理実行装置の通信部の一例である。ＣＰＵ１１が、処理実行装置の制御部の一例である。フラッシュメモリ１２が、記憶部の一例である。機能メニュー画面７０が、一連の画面群の一例である。ボタン画像８１，９１ｃ，９１ｄが、操作子の画像の一例である。各ボタン画像８１ａ〜８１ｅが、要素画像の一例である。遠隔操作用の画像１７０が、表示対象画像の一例である。

Ｓ４０１の処理を実行するＣＰＵ２１１が、画像受信手段の一例である。Ｓ４０３の処理を実行するＣＰＵ２１１が、画像表示手段の一例である。Ｓ４０８の処理を実行するＣＰＵ２１１が、情報送信手段の一例である。Ｓ５０１の処理を実行するＣＰＵ２１１が、取得手段の一例である。Ｓ５０２〜Ｓ５０４の処理を実行するＣＰＵ２１１が、請求項４の特定手段の一例である。Ｓ４０７の処理を実行するＣＰＵ２１１が、変換手段の一例である。Ｓ４１２の処理を実行するＣＰＵ２１１が、処理実行手段の一例である。Ｓ３０１の処理を実行するＣＰＵ１１が、画像送信手段の一例である。Ｓ３０８の処理を実行するＣＰＵ１１が、処理実行手段の一例である。Ｓ３０５，Ｓ３０６，Ｓ３１２の処理を実行するＣＰＵ１１が、請求項９の特定手段の一例である。Ｓ３０３の処理を実行するＣＰＵ１１が、判断手段の一例である。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、上記実施形態では、本発明の端末装置として、タブレット端末である端末２００を例示したが、ＭＦＰ１０などの処理実行装置と通信可能であり、かつ、ＬＣＤなどの画面を有する装置であれば、パーソナルコンピュータや、スマートフォンや、携帯端末や、デジタルカメラや、携帯音楽再生装置などであっても、本発明の端末装置の一例となり得る。上記実施形態では、ＯＳ１２ａとして、アンドロイドＯＳを例示したが、他のＯＳを採用してもよい。上記実施形態では、遠隔操作用の画像に対する押下操作をタッチパネル２１７が検出する構成としたが、マウスなどのポインティングデバイスを用いて、遠隔操作用の画像に対する操作を行う構成であっても、本発明を適用できる。

上記実施形態では、本発明の処理実行装置として、多機能周辺装置であるＭＦＰ１０を例示したが、スキャナ装置や、プリンタ装置などの単機能を有する装置や、画像や音楽を再生するための装置などであっても、本発明の処理実行装置の一例となり得る。

上記実施形態では、ＭＦＰ１０は、ボタン画像８１ａ〜８１ｅの各々について、画像データと位置情報とを、端末２００に送信する構成としたが、複数のボタン画像が予め連なって配列された集合画像の画像データと、当該集合画像の位置情報とを、端末２００に送信する構成としてもよい。集合画像は、ＭＦＰ１０に予め準備されていても、Ｓ３０１の送信の前に、例えば、画面毎に各画面に含まれる部品画像から集合画像を生成してもよい。なお、本変形例の「集合画像」が、特許請求の範囲の「集合画像」の一例である。

上記実施形態では、遠隔操作用の画像を、ボタン画像８１などの部品画像と、背景画像９１などの背景画像とから構成される画像としたが、部品画像のみから遠隔操作用の画像を構成してもよい。つまり、ＭＦＰ１０は、部品画像の画像データおよび位置情報だけを送信する構成としてもよい。また、ＬＣＤに表示中の画面だけでなく、表示されていない画面の背景画像も遠隔操作用の画像に含めてもよい。また、上記実施形態では、ＭＦＰ１０が、背景画像および部品画像の各画像データと各画像の位置情報とを、端末２００に送信することに代えて、ＭＦＰ１０が、遠隔操作用の画像を生成して、端末２００に送信する構成としてもよい。

上記実施形態では、一連の画面群として、２画面から構成される機能メニュー画面７０を例示したが、３画面以上から構成される画面群であっても、本発明を適用できる。また、上記実施形態では、一連の画面群のうち、１ページ目の画面の左上の座標を（０，０）としたが、位置の基準にする画面は、１ページ目に限らず、適宜設定できる。また、ＬＣＤ１６に表示中の画面の左上の座標を（０，０）としてもよい。

上記実施携帯では、ＭＦＰ１０と端末２００との間の通信を、ＡＰ５０を介するインフラストラクチャーモードでのＷｉ−Ｆｉ通信を例示したが、直接接続であるアドホックモードでのＷｉ−Ｆｉ通信であっても、本発明を適用できる。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの他の通信方法であっても、本発明を適用できる。

１０：ＭＦＰ．２００：端末，２１２ｂ：操作支援アプリ

Claims (12)

1. 第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、処理実行装置と通信する通信部と、制御部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて処理実行装置を操作するための操作支援プログラムであって、
   一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、前記処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を前記第１表示部に表示するための画像データを、前記通信部を介して処理実行装置から受信する画像受信手段と、
   前記画像受信手段により受信した画像データに基づく前記表示対象画像を前記第１表示部に表示する画像表示手段と、
   前記入力部により検出された入力操作である、前記第１表示部に表示される表示対象画像上の位置を指定する指定操作により指定された前記表示対象画像上の位置に応じた操作位置情報を、前記通信部を介して、前記画像データの送信元である処理実行装置に送信する情報送信手段として、
   前記制御部を機能させることを特徴とする操作支援プログラム。
2. 前記画像受信手段は、前記複数の指示子の画像各々を要素画像として、要素画像毎または複数の要素画像を含む集合画像毎の画像データを受信するとともに、当該要素画像毎または当該集合画像毎に、当該要素画像または当該集合画像の配置を特定する要素画像位置情報を受信し、
   前記画像表示手段は、前記画像受信手段により受信した画像データと要素画像位置情報とに基づいて、前記複数の指示子の画像各々が配置された前記表示対象画像を表示することを特徴とする請求項１記載の操作支援プログラム。
3. 前記処理実行装置は、第２表示部を備え、
   前記画像受信手段は、前記処理実行装置が、前記一連の画面群のうち、１の画面が前記第２表示部に表示されていることを条件として送信した前記要素画像毎または前記集合画像毎の画像データと、前記第２表示部に表示される背景画像の画像データと、前記要素画像位置情報と、前記背景画像の位置を示す背景画像位置情報とを受信し、
   前記画像表示手段は、前記画像受信手段により受信した画像データと要素画像位置情報と背景画像位置情報とに基づいて、複数の指示子の画像各々が配置されるとともに、前記複数の指示子の画像のうち、前記第２表示部に表示される指示子の画像の背景として前記背景画像が配置された、前記表示対象画像を表示することを特徴とする請求項２記載の操作支援プログラム。
4. 前記処理実行装置は、第２表示部を備え、
   前記第２表示部の表示領域の、前記一連の画面群の配列方向に沿った長さを取得する取得手段と、
   前記取得手段により取得された長さに基づいて、前記入力部により検出された入力操作である、前記第１表示部に表示される表示対象画像上の位置を指定する指定操作により指定された位置が、前記一連の画面群におけるどの画面のどの位置を指定するものであるかを特定する特定手段として、
   前記制御部を機能させ、
   前記情報送信手段は、前記特定手段により特定された画面および位置を示す情報を、前記操作位置情報として、前記処理実行装置に送信することを特徴とする請求項１から３のいずれかに記載の操作支援プログラム。
5. 前記第１表示部に表示される表示対象画像が等倍より拡大または縮小されて表示されている場合に、前記入力部により検出された入力操作である、当該表示対象画像上の位置を指定する指定操作により指定された位置を、等倍に対する表示の変倍率に基づいて、等倍の前記表示対象画像における位置に変換する変換手段と、
   して前記制御部を機能させ、
   前記情報送信手段は、前記表示対象画像が等倍より拡大または縮小されて表示されている場合、前記変換手段による変換により得られた位置を示す情報を、前記操作位置情報として、前記処理実行装置に送信することを特徴とする請求項１から４のいずれかに記載の操作支援プログラム。
6. 前記入力部により所定の入力操作が検出された場合に、当該入力操作が前記表示対象画像外にて行われたものである場合には、当該入力操作に応じた処理を実行する処理実行手段として、
   前記制御部を機能させ、
   前記情報送信手段は、前記入力部により所定の入力操作が検出された場合に、当該入力操作が前記表示対象画像上にて行われたものである場合には、当該入力操作に応じた情報を送信することを特徴とする請求項１から５のいずれかに記載の操作支援プログラム。
7. 第１表示部と、
   前記第１表示部に対する入力操作を検出する入力部と、
   処理実行装置と通信する通信部と、
   制御部と、を備え、
   前記制御部は、
   一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、前記処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を前記第１表示部に表示するための画像データを、前記通信部を介して処理実行装置から受信する画像受信手段と、
   前記画像受信手段により受信した画像データに基づく前記表示対象画像を表示する画像表示手段と、
   前記入力部により検出された入力操作である、前記第１表示部に表示される表示対象画像上の位置を指定する指定操作により指定された前記表示対象画像上の位置に応じた操作位置情報を、前記通信部を介して、前記画像データの送信元である処理実行装置に送信する情報送信手段と、
   を備えていることを特徴とする端末装置。
8. 表示部と、
   端末装置と通信する通信部と、
   制御部と、を備え、
   前記制御部は、
   一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、本処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を端末装置の表示部に表示させるための画像データを、前記通信部を介して端末装置に送信する画像送信手段と、
   前記画像送信手段により前記画像データを前記端末装置に送信したことに基づき当該端末装置から受信した操作位置情報が、当該端末装置において指定された前記表示対象画像上の位置を示す操作位置情報である場合、当該操作位置情報が前記指示子の画像上の位置を示す場合には、当該指示子の画像に割り当てられた処理を実行する処理実行手段と、
   を備えていることを特徴とする処理実行装置。
9. 前記端末装置から前記操作位置情報を受信した場合、前記表示部の表示領域の、前記一連の画面群の配列方向に沿った長さに基づいて、当該操作位置情報により指定される前記表示対象画像上の位置が、前記一連の画面群におけるどの画面のどの位置を指定するものであるかを特定する特定手段を備え、
   前記処理実行手段は、前記特定手段により特定された画面および位置に、前記指示子の画像が位置する場合、当該指示子の画像に割り当てられた処理を実行することを特徴とする請求項８記載の処理実行装置。
10. 前記画像送信手段は、前記一連の画面群のうち、１の画面が前記表示部に表示されていることを条件として、前記複数の指示子の画像各々を要素画像として、当該要素画像毎または複数の要素画像を含む集合画像毎の画像データと、前記表示部に表示中の画面の背景画像の画像データと、前記要素画像または前記集合画像の配置を特定する要素画像位置情報と、前記一連の画面群のうち、どの画面が前記表示部に表示されているかに基づいて算出される、前記複数の指示子の画像の位置に対する相対的な前記背景画像の位置を特定する背景画像位置情報とを送信することを特徴とする請求項８または９に記載の処理実行装置。
11. 各画面を特定する画面情報を記憶する記憶部を備え、
    前記画像送信手段は、前記一連の画面群のうち、１の画面が前記表示部に表示されていることを条件として、前記画像データと、前記記憶部に記憶されている画面情報のうち、前記表示部に表示されている画面に対応する画面情報とを、端末装置に送信し、
    前記画像送信手段により前記画像データと前記画面情報とを前記端末装置に送信したことに基づいて、当該端末装置から前記操作位置情報を受信した場合に、当該操作位置情報の受信タイミングにおいて前記表示部に表示されている画面が、前記操作位置情報とともに前記端末装置から受信した画面情報により特定される画面を含む、前記一連の画面群に含まれる画面であるかを判断する判断手段を備え、
    前記処理実行手段は、前記判断手段により、当該操作位置情報の受信タイミングにおいて前記表示部に表示されている画面が、前記受信した画面情報により特定される画面を含む、前記一連の画面群に含まれる画面であると判断されたことを条件として、前記端末装置から受信した当該操作位置情報が前記指示子の画像上の位置を示す場合に、当該指示子の画像に割り当てられた処理を実行することを特徴とする請求項８から１０のいずれかに記載の処理実行装置。
12. 表示部と、
    端末装置と通信する通信部と、
    制御部と、を備えた処理実行装置の、前記制御部が実行可能な処理実行プログラムであって、
    一連の画面群を構成する複数画面分の画像データであって、前記一連の画面群に含まれる、本処理実行装置が行う処理を各々割り当てた複数の指示子の画像を少なくとも含む表示対象画像を端末装置の表示部に表示させるための画像データを、前記通信部を介して前記端末装置に送信する画像送信手段と、
    前記画像送信手段により前記画像データを前記端末装置に送信したことに基づき当該端末装置から受信した操作位置情報が、当該端末装置において指定された前記表示対象画像上の位置を示す操作位置情報である場合、当該操作位置情報が前記指示子の画像上の位置を示す場合には、当該指示子の画像に割り当てられた処理を実行する処理実行手段として、
    前記制御部を機能させることを特徴とする処理実行プログラム。
    

Images