JP2015141487A - 操作支援プログラムおよび端末装置 - Google Patents

Abstract

【課題】外部装置を端末装置から遠隔操作する場合に、テキストの入力を行い易い操作支援プログラムおよび端末装置を提供すること。
【解決手段】本発明によれば、外部装置が有する第２表示部に表示される画面に関する画像データに基づく画像が、テキストの入力を求める画像を含むと判断させる場合には、本操作支援プログラムとは異なる第２プログラムに、当該第２プログラムが管理するソフトウェアキーを、端末装置の第１表示部に表示させる指示を出す。これにより、第２プログラムが、第２プログラムにより管理されるソフトウェアキーを、第１表示部に、外部装置に表示される画面に対応する画像とは独立して表示するので、当該ソフトウェアキーをテキスト入力のために利用することができる。
【選択図】図２

Description

本発明は、操作支援プログラムおよび端末装置に関する。

特許文献１には、サーバを、当該サーバとＬＡＮを介して接続されるクライアントから遠隔操作できる情報処理システムが記載されている。具体的に、サーバは、当該サーバの表示部に表示されている画面の内容をクライアントへ送信し、クライアントは、サーバから送信された画面の内容を当該クライアントの表示部に表示する。そして、クライアントの表示部に表示された画面に対する操作が行われた場合、クライアントは、当該操作の内容をサーバに送信する。特許文献１には、サーバの表示部に仮想キーボードが表示された場合には、クライアントの表示部にも、サーバの表示部に表示された仮想キーボードが表示されることが記載されている。

特開２０１２−２０３５３５号公報

しかしながら、特許文献１によれば、クライアントの表示部には、サーバの表示部に表示されている画面の内容が表示されるので、クライアントの表示部に表示される仮想キーボードが、クライアント側で当該仮想キーボードのキー操作を行うには適さないサイズで表示され、テキストの入力が行い難くなる虞がある。

上記問題に対し、クライアントの表示部に表示された仮想キーボードを拡大して使用することが考えられる。しかし、サーバおよびクライアントの各表示部のアスペクト比が異なる場合、クライアントの表示部に表示される、サーバの表示部に表示されている画面に相当する画像を拡大したとしても、仮想キーボードを十分な大きさに拡大できない状況が生じ得る。

例えば、図５（ａ）に示すように、サーバの表示部３０１のアスペクト比に比べ、クライアントの表示部４０１のアスペクト比が小さい場合に、表示部４０１に表示される、表示部３０１に表示されている画面に相当する画像４０２を拡大したとしても、図５（ｂ）に示すように、画像４０２における仮想キーボード部分４０２ａが依然として小さく、キー操作を行うには不便な場合が生じ得る。

本発明は、上述した事情を鑑みてなされたものであり、外部装置を端末装置から遠隔操作する場合に、テキストの入力を行い易い操作支援プログラムおよび端末装置を提供することを目的とする。

この目的を達成するために、本発明の操作支援プログラムは、第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、外部装置と通信する通信部と、制御部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて外部装置を操作するためのプログラムであって、外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むかを判断する第１判断手段と、前記第１判断手段により、前記画像がテキストの入力を求める画像を含むと判断される場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、当該ソフトウェアキーに対する入力操作を前記入力部が検出したことに基づいて、当該入力操作に応じたテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段として、前記制御部を機能させる。

なお、本発明の操作支援プログラムは、端末装置、端末装置を制御する制御装置、操作支援システム、操作支援方法、操作支援プログラムを記録する記録媒体等の種々の態様で構成することができる。

請求項１記載の操作支援プログラムによれば、外部装置が有する第２表示部に表示される画面に関する画像データに基づく画像が、テキストの入力を求める画像を含むと判断させる場合には、本操作支援プログラムとは異なる第２プログラムに、当該第２プログラムが管理するソフトウェアキーを、端末装置の第１表示部に表示させる指示を出す。これにより、第２プログラムが、第２プログラムにより管理されるソフトウェアキーを、第１表示部に、外部装置に表示される画面に対応する画像とは独立して表示する。通常、ソフトウェアキーは、当該ソフトウェアキーを管理するプログラムを搭載する端末装置にて入力操作を行うのに適したサイズで表示される。よって、かかるソフトウェアキーをテキスト入力のために利用できるので、テキスト入力を行い易い。なお、請求項１において「第２表示部に表示される画面に関する画像データ」は、ビットマップデータなどの画面に対応する画像データに限らず、画面を特定する情報を含む。また、特許請求の範囲および明細書において、用語「テキスト」は、文字、数字または数値、および記号を含む。

請求項２記載の操作支援プログラムによれば、請求項１が奏する効果に加え、次の効果を奏する。外部装置から取得される画像データが、外部装置の第２表示部に表示される画面の画像データであるので、端末装置の第１表示部に表示される、テキストの入力を求める画像が、入力操作を行うには適さないサイズになることがあっても、第２プログラムにより管理されるソフトウェアキーを用いてテキスト入力を行うことができるので、テキスト入力を行い易い。

請求項３記載の操作支援プログラムによれば、請求項１または２が奏する効果に加え、次の効果を奏する。ソフトウェアキーに対する入力操作に応じたテキスト情報であって、外部装置への出力が未出力であるテキスト情報は、所定のタイミング毎に、記憶部に記憶される。当該記憶部に記憶されるテキスト情報は、第１表示部における所定の位置に対する入力操作が検出されたことを条件として、外部装置に出力される。よって、テキスト情報が、外部装置へ出力するための入力操作が行われるまで記憶部に蓄積されるので、テキストを１つ入力する毎に、当該入力されたテキストが外部装置に出力されることを防止でき、端末装置と外部装置との通信頻度を抑制できる。

請求項４記載の操作支援プログラムによれば、請求項３が奏する効果に加え、次の効果を奏する。記憶部にテキスト情報を記憶するタイミングは、入力操作に応じたテキスト情報を第２プログラムに対して確定する入力操作を検出したタイミングである。よって、例えば、語句や文などの１まとまりの単位でテキスト情報を記憶部に記憶できる。

請求項５記載の操作支援プログラムによれば、請求項３または４が奏する効果に加え、次の効果を奏する。記憶部に記憶されるテキスト情報を外部装置へ出力するための入力操作が割り当てられた位置は、第１表示部に表示される、外部装置に表示される画面に対応する画像の内部に設けられる。よって、第２プログラムにより管理されるソフトウェアキーを用いたテキスト入力を、第１表示部に表示される、外部装置に表示される画面に対する操作に基づき入力したかのような印象を与えることができる。

請求項６記載の操作支援プログラムによれば、請求項３から５のいずれかが奏する効果に加え、次の効果を奏する。記憶部に記憶されるテキスト情報に従うテキストが第１表示部に表示されるので、ソフトウェアキーを用いて入力したテキストの内容を報せることができる。

請求項７記載の操作支援プログラムによれば、請求項６が奏する効果に加え、次の効果を奏する。第１表示部に表示される、外部装置に表示される画面に対応する画像が、テキストの入力フィールドを含む場合には、ソフトウェアキーを用いて入力したテキストの内容が当該入力フィールドに表示される。よって、第２プログラムにより管理されるソフトウェアキーを用いたテキスト入力を、第１表示部に表示される、外部装置に表示される画面に対する操作に基づき入力したかのような操作感を与えることができる。

請求項８記載の操作支援プログラムによれば、請求項６または７が奏する効果に加え、次の効果を奏する。第１表示部に表示される、外部装置に表示される画面に対応する画像が、テキストの入力フィールドを含む場合であっても、ソフトウェアキーを用いて入力したテキストの内容が当該入力フィールド内に収まらない場合には、当該テキストが、第１表示部における、外部装置に表示される画面に対応する画像の非表示領域に表示される。よって、入力したテキストの全内容の確認を容易に行わせ得る。

請求項９記載の操作支援プログラムによれば、請求項１から８のいずれかが奏する効果に加え、次の効果を奏する。外部装置が有する第２表示部に表示される画面に関する画像データに基づく画像がテキストの入力を求める画像を含むか否かの判断は、外部装置から取得した当該画像データに含まれる情報に基づいて行われる。よって、本操作支援プログラムを搭載する端末装置が上記判断を行うことができる。

請求項１０記載の操作支援プログラムによれば、請求項１から９のいずれかが奏する効果に加え、外部装置が有する第２表示部に表示される画面に適した種類のソフトウェアキーを表示できる。

請求項１１記載の操作支援プログラムによれば、請求項１から１０のいずれかが奏する効果に加え、次の効果を奏する。第２プログラムに対し、ソフトウェアキーの表示を指示した後は、当該第２プログラムに対し、ソフトウェアキーの種類の切り替えを禁止する指示が出力される。よって、第２プログラムが表示したソフトウェアキーが別の種類のソフトウェアキーに切り替えられることを防止でき、これにより、入力不可な種類のテキストが入力されることを防止できる。

請求項１２記載の操作支援プログラムによれば、請求項１から１１のいずれかが奏する効果に加え、端末装置に搭載されるオペレーティングシステムを利用して、テキスト入力を行う上で端末装置に適切なサイズのソフトキーボードを容易に表示できる。

請求項１３記載の操作支援プログラムによれば、請求項１から１２のいずれかが奏する効果に加え、入力操作をタッチパネルに対して行う場合において、テキスト入力を行い易い。

請求項１４記載の端末装置によれば、請求項１記載の操作支援プログラムと同様の効果を奏する。

多機能周辺装置および携帯端末の電気的構成を示すブロック図である。 本発明の概略を模式的に説明する図である。 遠隔操作処理を示すフローチャートである。 タッチ処理を示すフローチャートである。 従来技術に対する課題を説明する図である。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、多機能周辺装置（以下「ＭＦＰ」と称す）１０、および、ＭＦＰ１０と通信可能な端末２００の電気的構成を示すブロック図である。なお、図１に示す端末２００は、本発明の端末装置の一実施形態である。

ＭＦＰ１０は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。ＭＦＰ１０は、操作支援アプリケーション（以下「操作支援アプリ」と称す）２１２ｂを搭載する端末２００からの遠隔操作により各種機能に関わる処理を実行可能に構成される。

ＭＦＰ１０には、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、スキャナ部１８、プリンタ部１９、ＮＣＵ２０、モデム２１、無線通信部２３が主に設けられている。これらの各部は、入出力ポート２４を介して互いに接続されている。ＣＰＵ１１は、フラッシュメモリ１２に記憶される固定値やプログラム、ＲＡＭ１３に記憶されているデータ、或いは、ＮＣＵ２０を介して送受信される各種信号に従って、ＭＦＰ１０が有している各機能の制御や、入出力ポート２４と接続された各部を制御する。

フラッシュメモリ１２は、不揮発性のメモリであり、ＭＦＰ１０の動作を制御する制御プログラム１２ａなどが格納される。また、フラッシュメモリ１２には、ＬＣＤ１６に表示する各画面の画像（以下「画面画像」と称す）の画像データが、表示可能な全画面分、準備されている。ＲＡＭ１３は、ＣＰＵ１１が制御プログラム１２ａを実行するにあたり、各種データを一時的に記憶するためのテンポラリエリアを有する書換可能な揮発性のメモリである。

操作キー１５は、ＭＦＰ１０の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ１６は、液晶表示装置であり、各種画面を表示する。ＬＣＤ１６の画面には、タッチパネル１７がＬＣＤ１６に重ねて設けられる。タッチパネル１７は、例えば、指や棒などの指示体がＬＣＤ１６の画面に対してタッチ又は近づいた場合に、タッチ又は近づいた位置を検知し、検知した位置をＭＦＰ１０に入力する。スキャナ部１８は、原稿を読み取って画像データに変換する。プリンタ部１９は、画像データに基づく画像を記録用紙に印刷する。モデム２１は、ＦＡＸ送信時には送信すべき画像データを、電話回線網（図示せず）に伝送可能な信号に変調してＮＣＵ２０を介して送信し、または、電話回線網からＮＣＵ２０を介して入力された信号を画像データに復調する。ＮＣＵ２０は、図示されない電話回線網とＭＦＰ１０との間を接続するものであり、モデム２１からの指示に従って、回線を閉結または切断することにより、電話回線網との間の接続状態を制御する。

無線通信部２３は、無線ＬＡＮによる無線通信を行うためのインタフェースである。本実施形態では、無線通信部２３が行う通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮによる無線通信である。本実施形態において、無線通信部２３は、中継装置であるアクセスポイント（以下「ＡＰ」と称す）５０を介するインフラストラクチャーモードによって、端末２００との間でＷｉ−Ｆｉ（登録商標）規格に基づいた無線通信（以下「Ｗｉ−Ｆｉ通信」と称す）により接続される。

本実施形態の端末２００は、タブレット端末である。端末２００には、ＣＰＵ２１１、フラッシュメモリ２１２、ＲＡＭ２１３、操作キー２１５、ＬＣＤ２１６、タッチパネル２１７、メモリカードインタフェース（メモリカードＩ／Ｆ）２１８、無線通信部２２３が主に設けられる。これらの各部は、入出力ポート２２４を介して互いに接続されている。ＣＰＵ２１１は、ＲＯＭ２１２等に記憶される固定値やプログラム等に従って入出力ポート２２４と接続された各部を制御する。

フラッシュメモリ２１２は、書換可能な不揮発性のメモリである。フラッシュメモリ２１２には、オペレーティングシステム２１２ａ、操作支援アプリ２１２ｂが格納される。なお、以下では「オペレーティングシステム」を「ＯＳ」と称することがある。また、以下では、アプリケーションやオペレーティングシステムなどのプログラムを実行するＣＰＵ２１１のことを、単にプログラム名で記載する場合もある。例えば「アプリケーション」という記載が「アプリケーションを実行するＣＰＵ２１１」を意味する場合もある。ＯＳ２１２ａは、端末２００の標準機能を実現するための基本ソフトウェアである。本実施形態では、ＯＳ２１２ａの一例として、アンドロイド（登録商標）ＯＳを採用する。

操作支援アプリ２１２ｂは、ＭＦＰ１０などのデバイスを遠隔操作するためのアプリケーションプログラムである。操作支援アプリ２１２ｂは、ユーザによって端末２００にインストールされ、端末２００から、対応するデバイスの遠隔操作を可能にする。なお、後述する図３および図４のフローチャートに示す各処理は、ＣＰＵ２１１が操作支援アプリ２１２ｂに従い実行する処理である。

操作キー２１５は、端末２００の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ２１６、タッチパネル２１７、メモリカードＩ／Ｆ２１８、および無線通信部２２３は、それぞれ、上述したＬＣＤ１６、タッチパネル１７、メモリカードＩ／Ｆ１８、および無線通信部２３と同様のものである。

図２を参照して、本発明の概略を説明する。操作支援アプリ２１２ｂは、ＭＦＰ１０から受信した画像データに基づく画像、すなわち、ＭＦＰ１０のＬＣＤ１６に表示中の画面画像に相当する画像を、ＬＣＤ２１６に表示させる。よって、図２（ａ）に示すように、ＬＣＤ１６に表示中の画面画像に相当する画像Ｇａが、端末２００のＬＣＤ２１６に表示される。そして、ユーザが、タッチパネル２１７を介して、ＬＣＤ２１６に表示された画像Ｇａに対するタッチ操作（所謂「タップ操作」）を行った場合、操作支援アプリ２１２ｂは、操作された位置に応じた座標をＭＦＰ１０に送信し、ＭＦＰ１０は、端末２００から受信した座標に応じた処理を実行する。これにより、ＭＦＰ１０を端末２００から遠隔操作することができる。

特に、本実施形態の操作支援アプリ２１２ｂは、ＬＣＤ１６に表示中の画面に、アルファベット入力用のキーボードなど、テキストの入力を求める画像（以下「テキスト入力画像」と称す）が表示されている場合、ＯＳ２１２ａに、ＯＳ２１２ａが管理するソフトウェアキーボード（以下「ソフトキーボード」と称す）ＫをＬＣＤ２１６に表示させる。なお、ソフトキーボードは、ＬＣＤ２１６などの画面に表示される仮想的なキーボードであり、テキストを入力するための複数の仮想的なソフトウェアキーを含む。

よって、ＭＦＰ１０のＬＣＤ１６に、テキスト入力画像を含む画面、すなわち、テキスト入力を求める画面が表示されている場合には、端末２００のＬＣＤ２１６にはソフトキーボードＫが表示されるので、ＭＦＰ１０に入力するためのテキストを、ソフトキーボードＫを用いて入力できる。通常、ソフトキーボードＫは、端末２００にてタッチ操作による入力操作を行うのに適したサイズで表示されるので、テキストの入力を行い易い。

本実施形態の操作支援アプリ２１２ｂは、ＬＣＤ１６に表示中の画面に、キーボードなど、テキスト入力画像が表示されている場合、当該テキスト入力画像を用いて入力可能な文字種に応じたソフトキーボードＫをＬＣＤ２１６に表示する。そして、操作支援アプリ２１２ｂは、入力可能な文字種に制限がある場合、ＯＳ２１２ａに文字種の切り替えを禁止するよう指示する。

図２（ａ）に示す例では、ＬＣＤ２１６に表示される画像Ｇａには、文字種を切り替えるための切替キーＰを含むキーボードが含まれている。つまり、ＬＣＤ２１６には、アルファベットと数字の両方を入力可能なキーボードを含む画面画像に相当する画像Ｇａが表示されている。本実施形態では、かかる場合に、入力可能な文字種に制限がないとし、操作支援アプリ２１２ｂは、ＯＳ２１２ａに対し、文字種の切り替えを禁止する指示を行わない。よって、かかる場合、ＯＳ２１２ａは、文字種を切り替えるための切替キーＫａがタッチ操作された場合に、ソフトキーボードＫの文字種を当該操作に応じた文字種に切り替える。

これに対し、ＬＣＤ１６にて表示されているキーボードにて入力可能な文字種が、数字のみやアルファベットのみなどに制限されている場合、操作支援アプリ２１２ｂは、ＯＳ２１２ａに対し、文字種の切り替えを禁止する指示を行う。よって、かかる場合、ＯＳ２１２ａは、切替キーＫａが操作されたとしても、ソフトキーボードＫの文字種の切り替えを行わない。これにより、例えば、ＬＣＤ１６に表示されているキーボードが数字のみを入力可能である場合に、アルファベットなど、ＬＣＤ１６に表示されているキーボードに対し入力不可の文字種が入力されることを防止できる。

図２（ａ）に示す画像Ｇａには、入力されたテキストを表示するためのフィールドである入力フィールドＦが表示されている。つまり、ＬＣＤ２１６に表示される画像Ｇａは、ＭＦＰ１０のＬＣＤ１６に表示される、入力フィールドを含むテキスト入力画像に相当する画像である。かかる場合、本実施形態の操作支援アプリ２１２ｂは、図２（ａ）に示すように、ソフトキーボードＫを用いて入力されたテキストＴを入力フィールドＦの内部に重ねて表示する。よって、ソフトキーボードＫを用いて入力したテキストＴを、画像Ｇａに対するタッチ操作に基づき入力したかのように見せることができる。これにより、ソフトキーボードＫを用いたテキスト入力を、ＭＦＰ１０の遠隔操作と関連付けた操作として印象付けることができる。

ただし、図２（ｂ）に示すように、操作支援アプリ２１２ｂは、テキストＴの長さが、入力フィールドＦに収まらない長さである場合には、テキストＴを、ＬＣＤ２１６における画像Ｇａが表示されていない領域Ａに表示する。入力フィールドＦに収まらないテキストＴを、入力フィールドＦの内部に重ねて表示させた場合、テキストＴ全体の内容を把握し難い。これに対し、テキストＴの長さが、入力フィールドＦに収まらない長さである場合、テキストＴを領域Ａに表示することにより、テキストＴを見易い状態で提示できる。

また、本実施形態の操作支援アプリ２１２ｂは、ソフトキーボードＫを用いてテキストを入力する場合に、確定キーＫｂが操作されたことを条件として、確定キーＫｂが操作されるまでに入力されたテキストであって、ＭＦＰ１０に未送信のテキストを、ＲＡＭ２１６に記憶する。よって、確定キーＫｂの操作がされる毎の、語句や文などの１まとまりの単位で確定されたテキストが、ＲＡＭ２１６に蓄積される。

そして、操作支援アプリ２１２ｂは、画像Ｇａに対するタッチ操作が行われたことを条件として、ＲＡＭ２１６に記憶されているテキスト、すなわち、確定キーＫｂにより確定された未送信のテキストを、ＭＦＰ１０に送信する。よって、操作支援アプリ２１２ｂによれば、入力されたテキストが１文字ずつ送信されないので、その分、端末２００とＭＦＰ１０との通信頻度を抑制できる。

なお、本実施形態において、確定キーＫｂは、ソフトキーボードＫに対して入力されたテキストの確定をＯＳ２１２ａに指示するキーであり、リターンキーやＯＫキーなど、別の名称で呼ばれることもある。

図３は、端末２００のＣＰＵ２１１が実行する、遠隔操作処理を示すフローチャートである。本処理は、ＭＦＰ１０を遠隔操作するための処理である。操作支援アプリ２１２ｂが起動されたことに伴って開始される。なお、当該遠隔操作処理に先立ち、遠隔操作の対象となるＭＦＰ１０を、遠隔操作が有効になるよう設定しておく。ＣＰＵ２１１は、遠隔操作が有効に設定されたＭＦＰ１０を検索させ、検索されたＭＦＰ１０に対し、接続要求を、無線通信部２２３を介するＷｉ−Ｆｉ通信で送信する（Ｓ３０１）。ＣＰＵ２１１は、遠隔操作の対象となるＭＦＰ１０との接続中であることを示す表示を、ＬＣＤ２１６に表示する（Ｓ３０２）。ＣＰＵ２１１は、ＭＦＰ１０から、ＬＣＤ１６に表示中の画面画像に対応する画面情報を受信することを待機する（Ｓ３０３：Ｎｏ）。

「画面情報」は、ＬＣＤ１６に表示中の画面画像の画像データと、当該画像データに関する付属データとから構成される。本実施形態では、画面画像の画像データは、画面画像そのもののビットマップデータである。付属データは、例えば、画面画像が、テキスト入力画像を含むことを示す情報（以下「入力画面情報」と称す）などである。なお、画面画像のビットマップデータは、ＬＣＤ１６に表示中の画面を構成する部品単位であってもよく、かかる場合には、付属データとして、各部品のビットマップデータを配置する配置座標を含む。また、画像データは、ビットマップデータに限らず、ＪＰＥＧデータなどの他のデータ形式の画像データや、ＨＴＭＬデータであってもよい。なお、画像データが、ＨＴＭＬデータから構成される場合、付属データは、ＨＴＭＬデータに含まれるタグ情報を採用できる。

端末２００とＭＦＰ１０との接続が完了し、ＣＰＵ２１１は、ＭＦＰ１０から画面情報を受信した場合（Ｓ３０３：Ｙｅｓ）、ＣＰＵ２１１は、受信した画面情報を解析し、当該画面情報に含まれる画像データおよび付属データをＲＡＭ２１３の所定領域に記憶する（Ｓ３０４）。ＣＰＵ２１１は、受信した画像情報に含まれる画像データに基づき、ＬＣＤ１６に表示されていた画面画像に相当する画像を、ＬＣＤ２１６の上部に表示する（Ｓ３０５）。Ｓ３０５および後述するＳ３１０の処理によってＬＣＤ２１６に表示された画像は、所定の操作に応じて適宜拡大または縮小できる。

ＣＰＵ２１１は、入力フラグをオフに設定する（Ｓ３０６）。「入力フラグ」は、ソフトキーボード、つまり、ＯＳ２１２ａが管理するソフトキーボードを用いたテキストの入力中であることを示すフラグであり、ＲＡＭ２１３に設けられる。入力フラグがオンに設定されている場合、ソフトキーボードを用いたテキストの入力中であることを示す。

次に、ＣＰＵ２１１は、イベントの取得を待機する（Ｓ３０７：Ｎｏ）。ＣＰＵ２１１がイベントを取得した場合（Ｓ３０７：Ｙｅｓ）、当該イベントが、ＭＦＰ１０から画像情報を取得したことを示すイベントである場合（Ｓ３０８：Ｙｅｓ）、ＣＰＵ２１１は、Ｓ３０４およびＳ３０５の処理と同様に、受信した画面画像の解析および記憶と、画面画像の表示とを実行する（Ｓ３０９，Ｓ３１０）。

ＣＰＵ２１１は、ＭＦＰ１０のＬＣＤ１６に表示中の画面が、テキスト入力を求める画面であるかを判断する（Ｓ３１１）。ＣＰＵ２１１は、Ｓ３１１の判断を、受信した画像情報に含まれる付属データに基づいて行う。具体的に、受信した画像情報に、付属データとして、入力画面情報が含まれている場合、ＣＰＵ２１１は、Ｓ３１１の判断を肯定する。一方、受信した画像情報に入力画面情報が含まれていない場合、ＣＰＵ２１１は、Ｓ３１１の判断を否定する。ＣＰＵ２１１が、Ｓ３１１の判断を否定した場合（Ｓ３１１：Ｎｏ）、ＣＰＵ２１１は、処理をＳ３０７に移行する。

ＣＰＵ２１１が、Ｓ３１１の判断を肯定した場合、すなわち、ＬＣＤ１６に表示中の画面が、テキスト入力を求める画面である場合（Ｓ３１１：Ｙｅｓ）、ＣＰＵ２１１は、入力可能な文字種に制限があるかを判断する（Ｓ３１２）。ＣＰＵ２１１は、Ｓ３１２の判断を、受信した画像情報に含まれる付属データに基づいて行う。具体的に、受信した画像情報に、付属データとして、テキスト入力を求める画面において入力可能な文字種に制限があることを示す情報（以下「制限情報」と称す）が含まれている場合、ＣＰＵ２１１は、Ｓ３１２の判断を肯定する。一方、受信した画像情報に制限情報が含まれていない場合、ＣＰＵ２１１は、Ｓ３１２の判断を否定する。

ＣＰＵ２１１が、Ｓ３１２の判断を否定した場合、すなわち、テキスト入力を求める画面において入力可能な文字種に制限がない場合（Ｓ３１２：Ｎｏ）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、全てのキーを入力可能なソフトキーボードを表示するよう指示する（Ｓ３２１）。Ｓ３２１の処理の結果、ＯＳ２１２ａは、全てのキー、すなわち、アルファベットおよび数字の両方を入力可能なソフトキーボードをＬＣＤ２１６に表示する。全てのキーを入力可能なソフトキーボードとしては、例えば、図２（ａ）に示す、切替キーＫａによる文字種を切り替え可能なソフトキーボードＫが例示される。あるいは、全てのキーを入力可能なソフトキーボードは、アルファベット入力用のソフトキーと、数字入力用のソフトキーが同時にＬＣＤ２１６に表示されるタイプのものであってもよい。ＣＰＵ２１１は、Ｓ３２１の処理後、入力フラグをオンに設定し（Ｓ３１６）、処理をＳ３０７に移行する。

一方で、ＣＰＵ２１１が、Ｓ３１２の判断を肯定した場合、すなわち、テキスト入力を求める画面において入力可能な文字種に制限がある場合（Ｓ３１２：Ｙｅｓ）、ＣＰＵ２１１は、入力可能な文字種に関する判断を行う（Ｓ３１３）。本実施形態では、画像情報に制限情報が含まれる場合、当該画像情報には、入力可能な文字種を示す情報、すなわち、表示対象とするソフトウェアキーの種類を特定する情報（以下「特定情報」と称す）を、付属データとして含む。よって、ＣＰＵ２１１は、当該特定情報に基づいて、Ｓ３１３の判断を行う。

ＣＰＵ２１１が、特定情報に基づき、入力可能な文字種が数字のみであると判断した場合（Ｓ３１３：数字）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、数字入力用のソフトキーボードを表示するよう指示する（Ｓ３１４）。数字入力用のソフトキーボードとしては、例えば、切替キーによる文字種を切り替え可能なソフトキーボードのうち、数字入力用のソフトキーボードが例示される。数字入力専用のソフトキーボードであってもよい。Ｓ３１４の処理の結果、ＯＳ２１２ａは、数字入力用のソフトキーボードをＬＣＤ２１６に表示する。

本実施形態では、ＬＣＤ１６に表示される画面が、例えば、コピー枚数の増減を指定する＋（プラス）ボタンまたは−（マイナス）ボタンを含む場合、当該画面を、テキスト入力を求める画面とみなす。従って、＋ボタンまたは−ボタンを含む画面がＬＣＤ１６に表示されている場合、ＭＦＰ１０は、制限情報および特定情報を付属データとして端末２００に送信する。より詳細には、ＭＦＰ１０は、特定情報として、入力可能な文字種が数字のみであることを示す情報を送信する。よって、本実施形態では、＋ボタンまたは−ボタンを含む画面がＬＣＤ１６に表示されている場合、ＣＰＵ２１１は、Ｓ３１４の処理を実行し、その結果、数字入力用のソフトキーボードがＬＣＤ２１６に表示される。

Ｓ３１３において、ＣＰＵ２１１が、特定情報に基づき、入力可能な文字種がアルファベットのみであると判断した場合（Ｓ３１３：アルファベット）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、アルファベット入力用のソフトキーボードを表示するよう指示する（Ｓ３２０）。アルファベット入力用のソフトキーボードとしては、例えば、切替キーによる文字種を切り替え可能なソフトキーボードのうち、アルファベット入力用のソフトキーボードが例示される。アルファベット入力専用のソフトキーボードであってもよい。Ｓ３２０の処理の結果、ＯＳ２１２ａは、アルファベット入力用のソフトキーボードをＬＣＤ２１６に表示する。

Ｓ３１２〜Ｓ３１４，Ｓ３２０，Ｓ３２１の処理によれば、ＭＦＰ１０から受信した付属データとして含まれる、制限情報および特定情報に応じた文字種のソフトキーボードが表示される。つまり、ＭＦＰ１０のＬＣＤ１６に表示されている画面に適した文字種のソフトキーボードが表示される。よって、ＬＣＤ１６に表示されている画面に適した文字種のテキストを、ＬＣＤ２１６に表示されたソフトキーボードを用いて入力できる。

なお、Ｓ３１２の判断は、ＣＰＵ２１１が、特定情報の有無によって行われる構成としてもよい。すなわち、ＣＰＵ２１１は、受信した画像情報に、特定情報を付属データとして含む場合に、Ｓ３１２の判断を肯定する一方で、特定情報を含まない場合に、Ｓ３１２の判断を否定する構成としてもよい。

ＣＰＵ２１１は、Ｓ３１４またはＳ３２０の処理後、ＯＳ２１２ａに対し、ソフトキーボードの文字種の切り替えを禁止するよう指示し（Ｓ３１５）、処理をＳ３１６に移行する。Ｓ３１５の処理の結果、例えば、図２（ａ）に示す切替キーＫａに対する操作が行われたとしても、ＯＳ２１２ａは、文字種の切り替えを行わない。これにより、表示中のソフトキーボードが維持され、ＬＣＤ１６に表示中の画面に対し入力不可の文字種が入力されることを防止できる。

ＣＰＵ２１１が取得したイベントが、タッチイベント、すなわち、指などの指示体が移動を伴わずタッチパネル２１７に接触したことを示すイベントである場合（Ｓ３０８：Ｎｏ，Ｓ３１７：Ｙｅｓ）、ＣＰＵ２１１は、タッチされた位置に応じた処理を実行するタッチ処理を実行し（Ｓ３１８）、処理をＳ３０７に移行する。タッチ処理（Ｓ３１８）の詳細な処理については、図４を参照して後述する。

ＣＰＵ２１１が取得したイベントが、タッチイベント以外のイベント、例えば、取得したイベントが、接触イベントの１つであるドラッグイベント、すなわち、指示体がタッチパネル１７に接触したまま移動したことを示すドラッグイベントや、タッチパネル１７に接触していた指示体が離上したことを示すリリースイベントなどである場合（Ｓ３１７：Ｎｏ）、ＣＰＵ２１１は、その他の処理として、取得したイベントに応じた処理を実行し（Ｓ３１９）、処理をＳ３０７に移行する。Ｓ３１９の処理は、周知の処理であり、本発明に関係しない処理であるので、詳細な処理の説明は省略する。

図４は、上述したタッチ処理（Ｓ３１８）を示すフローチャートである。ＣＰＵ２１１は、ＬＣＤ２１６上にてタッチされた位置が、ＭＦＰ１０のＬＣＤ１６に表示中の画面画像に相当する画像（以下、この画像を「ＭＦＰ１０の画面画像」と称することがある）上であるかを判断する（Ｓ４０１）。ＬＣＤ２１６上にてタッチされた位置がＭＦＰ１０の画面画像でないと、ＣＰＵ２１１が判断した場合（Ｓ４０１：Ｎｏ）、ＣＰＵ２１１は、入力フラグがオンに設定されているかを判断する（Ｓ４０８）。入力フラグがオフに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０８：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。

一方、入力フラグがオンに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０８：Ｙｅｓ）、ＣＰＵ２１１は、ソフトキーボードがタッチされたかを判断する（Ｓ４０９）。具体的に、ＣＰＵ２１１が、タッチイベントに続いて、ソフトキーボードのキーが操作されたことを示すイベントを取得した場合、ＣＰＵ２１１は、Ｓ４０９の判断を肯定する。その一方で、ＣＰＵ２１１が、タッチイベントに続き、ソフトキーボードのキーが操作されたことを示すイベントを取得しない場合、ＣＰＵ２１１は、Ｓ４０９の判断を否定する。ＣＰＵ２１１がＳ４０９の判断を否定した場合（Ｓ４０９：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。

ＣＰＵ２１１が、Ｓ４０９の判断を肯定した場合（Ｓ４０９：Ｙｅｓ）、ＣＰＵ２１１は、ソフトキーボードにおいて操作されたキーが確定キーであるかを判断する（Ｓ４１０）。当該判断は、ソフトキーボードのキーが操作されたことを示すイベントが、どのキーを操作したことを示すものかに応じて判断する。なお、Ｓ４１０における「確定キー」は、例えば、図２（ａ）に示す確定キーＫｂである。

ソフトキーボードにおいて操作されたキーが確定キーでなく、それ以外のキーであると、ＣＰＵ２１１が判断した場合（Ｓ４１０：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。なお、ソフトキーボードが操作された場合、ＯＳ２１２ａは、その都度、当該操作によって入力されたテキストを、所定の記憶部（例えば、ＲＡＭ２１３）に記憶することによって更新する。

一方、ソフトキーボードにおいて操作されたキーが確定キーであると、ＣＰＵ２１１が判断した場合（Ｓ４１０：Ｙｅｓ）、ＣＰＵ２１１は、確定キーが操作されるまで入力されたテキストを、確定されたテキストとして、ＲＡＭ２１３に記憶する（Ｓ４１１）。つまり、ソフトキーボードが操作される毎にＯＳ２１２ａが記憶したテキストを、確定されたテキストとして、ＲＡＭ２１３に記憶する。

なお、確定されたテキストであり、かつ、ＭＦＰ１０に未だ送信されていないテキストがＲＡＭ２１３に既に記憶されている場合には、今回確定キーにより確定されたテキストを、先に記憶されているテキストにおける当該確定されたテキストを挿入すべき位置に追加する。Ｓ４１１において、確定されたテキストの記憶先は、フラッシュメモリ２１２などであってもよい。

ＣＰＵ２１１は、ＭＦＰ１０の画面画像が入力フィールドを含むかを判断する（Ｓ４１２）。ＣＰＵ２１１は、Ｓ４１２の判断を、ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像に対応する画像情報に含まれていた付属データに、入力フィールドを含むことを示す情報（以下「入力フィールド情報」と称す）があるか否かに応じて行う。つまり、Ｓ３１０にてＲＡＭ２１３に記憶された解析結果の中に、入力フィールド情報が記憶されている場合、ＣＰＵ２１１は、Ｓ４１２の判断を肯定する。一方で、入力フィールド情報がＲＡＭ２１３に記憶されていない場合。ＣＰＵ２１１は、Ｓ４１２の判断を否定する。

ＣＰＵ２１１がＳ４１２の判断を肯定した場合、すなわち、ＭＦＰ１０の画面画像が入力フィールドを含む場合（Ｓ４１２：Ｙｅｓ）、ＣＰＵ２１１は、入力されたテキスト、すなわち、確定キーにより確定されたテキストが、ＭＦＰ１０の画面画像に含まれる入力フィールドに収まるかを判断する（Ｓ４１３）。ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像に対応する画像情報に含まれていた付属データ、より詳細には、入力フィールドのサイズを示す情報（以下「サイズ情報」と称す）と、確定キーにより確定されたテキストの文字数とに基づいて行う。

具体的に、ＣＰＵ２１１は、サイズ情報に基づき、入力フィールドに収まり得る文字数を決定し、決定された文字数と、確定キーにより確定されたテキストの文字数を比較する。そして、確定キーにより確定されたテキストの文字数が、入力フィールドに収まり得る文字数以下であれば、ＣＰＵ２１１は、Ｓ４１３の判断を肯定する。一方、確定キーにより確定されたテキストの文字数が、入力フィールドに収まり得る文字数を超える場合、ＣＰＵ２１１は、Ｓ４１３の判断を否定する。

ＣＰＵ２１１がＳ４１３の判断を肯定した場合、すなわち、確定キーにより確定されたテキストが入力フィールドに収まる場合（Ｓ４１３：Ｙｅｓ）、ＣＰＵ２１１は、確定キーにより確定されたテキスト、すなわち、ＲＡＭ２１３に記憶されているテキストを、入力フィールドに重ねて表示し（Ｓ４１４）、本処理を終了する。Ｓ４１４の処理の結果、図２（ａ）の例に示すように、テキストＴが、入力フィールドＦの内部に表示される。

ＣＰＵ２１１がＳ４１３の判断を否定した場合、すなわち、確定キーにより確定されたテキストが入力フィールドに収まらない場合（Ｓ４１３：Ｎｏ）、ＣＰＵ２１１は、確定されたテキストを、ＬＣＤ２１６における、ＭＦＰ１０の画面画像が表示されていない領域に表示し（Ｓ４１５）、本処理を終了する。Ｓ４１５の処理の結果、例えば、図２（ｂ）に示すように、テキストＴがＬＣＤ２１６の領域Ａに表示される。ＣＰＵ２１１がＳ４１２の判断を否定した場合、すなわち、ＭＦＰ１０の画面画像が入力フィールドを含まない場合もまた（Ｓ４１２：Ｎｏ）、ＣＰＵ２１１は、Ｓ４１５の処理を実行する。

Ｓ４１４，Ｓ４１５の処理によれば、確定キーにより確定されたテキストがＬＣＤ２１６に表示されるので、ソフトキーボードを用いて入力されたテキストの内容を報せることができる。特に、Ｓ４１４の処理によれば、ＭＦＰ１０の画面画像が入力フィールドを含み、かつ、確定キーにより確定されたテキストが、当該入力フィールドに収まる場合には、確定されたテキストが、入力フィールドの内部に重ねて表示される。よって、ＯＳ２１２ａが管理するソフトキーボードを用いて入力したテキストを、ＭＦＰ１０の画面画像に対する操作に基づき入力したかのように見せることができる。

その一方で、Ｓ４１５の処理によれば、確定されたテキストが入力フィールドに収まらない場合には、当該テキストが、ＬＣＤ２１６上の、ＭＦＰ１０の画面画像が表示されていない領域に表示されるので、入力したテキストの全てを確認し易い状態で提示できる。

また、Ｓ４１５の処理によれば、ＭＦＰ１０の画面画像が入力フィールドを含まない場合であっても、入力したテキストがＬＣＤ２１６に表示されるので、入力したテキストの内容を確認させることができる。なお、入力フィールドＦを含まない例としては、ＬＣＤ１６に表示される画面が、入力フィールドを含まないキーボードの画面である場合や、＋ボタンまたは−ボタンによりコピー枚数などの数値の増減を行う画面である場合、などが例示される。

Ｓ４０１において、ＬＣＤ２１６上にてタッチされた位置がＭＦＰ１０の画面画像であると、ＣＰＵ２１１が判断した場合（Ｓ４０１：Ｙｅｓ）、ＣＰＵ２１１は、タッチされた位置の座標を、ＬＣＤ１６の画面における座標（以下「ＭＦＰ画面座標」と称す）に変換する（Ｓ４０２）。

Ｓ４０２の変換は、ＬＣＤ２１６に表示されるＭＦＰ１０の画面画像の、等倍画像に対する拡縮倍率Ｚを用いて行う。拡縮倍率Ｚは、等倍画像に対する現在の画像のサイズ比であり、拡縮倍率Ｚが１である場合、ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像が等倍画像であることを示す。本実施形態では、Ｓ３０３またはＳ３０８においてＭＦＰ１０から受信した画像情報に含まれる画像データに基づく画像を、等倍画像とする。ＭＦＰ１０の画面画像が、等倍画像に対して縮小されている場合、拡縮倍率Ｚは１より小さい値となり、等倍画像に対して拡大されている場合、拡縮倍率は１より大きい値となる。拡縮倍率Ｚは、ＲＡＭ２１６に記憶される。ＬＣＤ２１６に表示される画像が拡大または縮小される毎に算出され、その都度、ＲＡＭ２１６に記憶される値が更新される。

Ｓ４０２において、ＣＰＵ２１１は、タッチされた位置の座標を拡縮倍率Ｚで割ることにより、ＭＦＰ画面座標を算出する。つまり、タッチされた位置の座標（Ｘ１，Ｙ１）である場合、Ｓ４０２にて変換された後の座標、すなわち、ＭＦＰ画面座標は（Ｘ１／Ｚ，Ｙ１／Ｚ）である。

ＣＰＵ２１１は、Ｓ４０２の処理後、入力フラグがオンに設定されているかを判断する（Ｓ４０３）。入力フラグがオフに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０３：Ｎｏ）、ＣＰＵ２１１は、Ｓ４０２にて変換された後の座標（以下「変換後の座標」と称す）を、ＷＩ−Ｆｉ通信によりＭＦＰ１０に送信する（Ｓ４１６）。Ｓ４１６の処理の結果、ＭＦＰ１０のＣＰＵ１１は、端末２００から受信した座標に応じた処理を実行する。次に、ＣＰＵ２１１は、Ｓ３０２と同様、遠隔操作の対象となるＭＦＰ１０との接続中であることを示す表示を、ＬＣＤ２１６に表示し（Ｓ４０７）、本処理を終了する。

一方、入力フラグがオンに設定されているとＣＰＵ２１１が判断した場合、すなわち、ソフトキーボードを用いたテキストの入力中である場合（Ｓ４０３：Ｙｅｓ）、ＣＰＵ２１１は、ＲＡＭ２１３に記憶されているテキスト、すなわち、確定されたテキストと、変換後の座標とを、ＷＩ−Ｆｉ通信によりＭＦＰ１０に送信する（Ｓ４０４）。Ｓ４０４の処理の結果、ＭＦＰ１０のＣＰＵ１１は、端末２００から受信した座標に応じた処理を実行するとともに、ＬＣＤ２１６に表示されるソフトキーボードを用いて入力したテキストを受け付ける。

Ｓ４０４の処理によれば、ソフトキーボードを用いてテキストが入力された場合、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、入力されたテキストが、ＭＦＰ１０に送信される。よって、ＯＳ２１２ａが管理するソフトキーボードを用いて入力したテキストを、ＭＦＰ１０の画面画像に対する操作に基づき入力したかのような操作感を与えることができる。これにより、ソフトキーボードを用いたテキスト入力を、ＭＦＰ１０の遠隔操作と関連付けた操作として印象付けることができる。また、テキストが１つ入力される毎に、端末２００とＭＦＰ１０との通信が行われないので、端末２００とＭＦＰ１０との通信が完了するまで待機する必要がなく、効率よくテキスト入力を行い得る。

ＣＰＵ２１１は、ＲＡＭ２１３に記憶されているテキスト、すなわち、Ｓ４０４にてＭＦＰ１０に送信したテキストを消去する（Ｓ４０５）。ＣＰＵ２１１は、入力中フラグをオフに設定し（Ｓ４０６）、処理をＳ４０７に移行する。

本実施形態の操作支援アプリ２１２ｂによれば、ＭＦＰ１０を遠隔操作する場合に、テキスト入力を、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像でなく、ＯＳ２１２ａが管理するソフトキーボードを用いて行うことができる。よって、当該ソフトキーボードを用いてテキストの入力を行うことができるので、端末２００からＭＦＰ１０の遠隔操作を行う場合に、テキストの入力を行い易い。

上記実施形態において、操作支援アプリ２１２ｂが、操作支援プログラムの一例である。端末２００が、端末装置の一例である。ＭＦＰ１０が、外部装置の一例である。ＣＰＵ２１１が、制御部の一例である。ＬＣＤ２１６が、第１表示部の一例である。タッチパネル２１７が、入力部の一例である。無線通信部２２３が、通信部の一例である。ＲＡＭ２１６が、記憶部の一例である。ＬＣＤ１６が、第２表示部の一例である。ＯＳ２１２ａが、第２プログラムの一例である。ソフトキーボードＫが、ソフトウェアキーの一例である。入力フィールドＦが、入力フィールドの一例である。制限情報または特定情報が、テキストの入力を求める画像を含む情報の一例である。特定情報が、特定情報の一例である。

Ｓ３０８の処理を実行するＣＰＵ２１１が、画像取得手段の一例である。Ｓ３１０の処理を実行するＣＰＵ２１１が、画像表示手段の一例である。Ｓ４１６の処理を実行するＣＰＵ２１１が、第１情報出力手段の一例である。Ｓ３１１の処理を実行するＣＰＵ２１１が、第１判断手段の一例である。Ｓ３１４、Ｓ３２０，Ｓ３２１の処理を実行するＣＰＵ２１１が、表示指示手段の一例である。Ｓ４０４の処理を実行するＣＰＵ２１１が、第２情報表示手段の一例である。Ｓ４１１の処理を実行するＣＰＵ２１１が、記憶手段の一例である。Ｓ４１５，Ｓ４１６の処理を実行するＣＰＵ２１１が、テキスト表示手段の一例である。Ｓ４１３の処理を実行するＣＰＵ２１１が、第２判断手段の一例である。Ｓ３１５の処理を実行するＣＰＵ２１１が、禁止指示手段の一例である。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、上記実施形態では、本発明の端末装置として、タブレット端末である端末２００を例示したが、パーソナルコンピュータや、スマートフォンや、携帯電話や、デジタルカメラや、携帯音楽再生装置などであっても、本発明の端末装置の一例となり得る。上記実施形態では、ＯＳ１２ａとして、アンドロイドＯＳを例示したが、他のＯＳを採用してもよい。上記実施形態では、遠隔操作用の画像に対するタッチ操作をタッチパネル２１７が検出する構成としたが、マウスなどのポインティングデバイスを用いて、遠隔操作用の画像に対する操作を行う構成であっても、本発明を適用できる。

上記実施形態では、ＭＦＰ１０と端末２００との間の通信を、ＡＰ５０を介するインフラストラクチャーモードでのＷｉ−Ｆｉ通信を例示したが、直接接続であるアドホックモードでのＷｉ−Ｆｉ通信であっても、本発明を適用できる。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの他の通信方法であっても、本発明を適用できる。上記実施形態では、本発明の端末装置による遠隔操作の対象となる外部装置として、多機能周辺装置であるＭＦＰ１０を例示したが、スキャナ装置や、プリンタ装置などの単機能を有する装置や、画像や音楽を再生するための装置などであってもよい。

上記実施形態では、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面画像の画像データとして、当該画面画像のビットマップデータを送信し、端末２００は、当該ビットマップデータに基づき、ＬＣＤ１６に表示中の画面画像をＬＣＤ２１６に表示する構成とした。これに代えて、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面画像を特定する情報、例えば、画面ＩＤを送信し、端末２００は、受信した画面ＩＤに応じた画面画像をＬＣＤ２１６に表示する構成としてもよい。本変形例では、端末２００には、ＭＦＰ１０のＬＣＤ１６に表示可能な全ての画面に対応するビットマップデータなどの画像データが記憶されるとともに、操作支援アプリ２１２ｂが、ＭＦＰ１０から受信可能な画面ＩＤの各々に対し、記憶されている画像データを関連付けるテーブルを有している。本変形例では、画面ＩＤが、特許請求の範囲における「第２表示部に表示される画面に関する画像データ」に対応する。

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされた場合、ＣＰＵ２１１は、Ｓ４０４またはＳ４１６において、当該タッチされた位置に応じた座標、より詳細には、Ｓ４０２においてタッチされた位置の座標から変換されたＭＦＰ画面座標を、ＭＦＰ１０に送信する構成とした。上記実施形態では、ＭＦＰ画面座標が、特許請求の範囲の「操作情報」に対応する。

これに代えて、ＣＰＵ２１１は、タッチされた位置に応じた指示コマンドを、操作情報として、ＭＦＰ１０に送信する構成としてもよい。具体的に、本変形例では、操作支援アプリ２１２ｂが、ＭＦＰ画面座標と、指示コマンドとを関連付けるテーブルを有し、Ｓ４０２においてタッチされた位置の座標から変換されたＭＦＰ画面座標に対応する指示コマンドを、ＭＦＰ１０に送信する。本変形例では、指示コマンドが、特許請求の範囲の「操作情報」に対応する。

上記実施形態では、ＭＦＰ１０のＬＣＤ１６に表示される画面にテキスト入力画像が表示されている場合に、ＣＰＵ２１１は、ＯＳ２１２ａに対し、ソフトキーボードを表示させるよう指示する構成とした。これに代えて、ＣＰＵ２１１は、ソフトキーボードを表示可能なアプリケーションを起動し、当該起動されたアプリケーションにソフトキーボードをＬＣＤ２１６に表示させる構成としてよい。本変形例では、ソフトキーボードを表示可能なアプリケーションが、特許請求の範囲の「第２プログラム」に対応する。

上記実施形態では、ＣＰＵ２１１は、ＭＦＰ１０から受信した画像情報に、付属データとして入力画面情報が含まれる場合に、ＭＦＰ１０のＬＣＤ１６に表示される画面が、テキスト入力を求める画面であると判断する構成とした。これに代えて、画像情報に含まれるビットマップデータなどの画像データに対する画像解析に基づいて、ＭＦＰ１０のＬＣＤ１６に表示される画面が、テキスト入力を求める画面であるか否かを判断する構成としてもよい。また、入力可能な文字種の判断や、入力フィールドの有無の判断や、入力フィールドのサイズの取得などもまた、画像データに対する画像解析に基づいて行う構成としてもよい。

上記実施形態では、図２として、画像ＧａとソフトキーボードＫとが重なることなく表示された場合を例示したが、これらが重なって表示されてもよい。また、スマートフォンなど、タブレット端末ほど大きくはないＬＣＤを有する端末を、本発明の端末装置として採用した場合には、ＭＦＰ１０の画面画像をバックグランドに表示し、ソフトキーボードをフォアグランドに表示する構成としてもよい。上記実施形態では、入力可能な文字種として、かな文字を考慮していないが、入力可能な文字種にかな文字が含まれる場合には、かな文字入力用のソフトキーボードをＬＣＤ２１６に表示させてもよい。

上記実施形態では、確定キーがタッチされた場合に、当該確定キーの操作によって確定されたテキストをＲＡＭ２１３に記憶する構成としたが、入力されたテキストを、ＲＡＭ２１３に記憶するタイミングとしては、確定キーを操作したタイミングに限定されない。例えば、スペースキーなどの特定のキーが操作されたタイミングを利用してもよい。あるいは、ソフトキーボードを用いてテキストが入力される毎に、１文字ずつ、ＲＡＭ２１３に記憶してもよい。また、上記実施形態では、入力されたテキストを、ＬＣＤ２１６に表示するタイミングについても、確定キーがタッチされたタイミング以外に、１文字ずつなど、適宜のタイミングを採用できる。上記実施形態では、テキストをＲＡＭ２１３に記憶するタイミングと、テキストをＬＣＤ２１６に表示するタイミングとを同じタイミングとしたが、テキストの記憶と表示とで各々異なるタイミングとしてもよい。

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、ソフトキーボードを用いて入力されたテキストをＭＦＰ１０に送信する構成としたが、入力されたテキストをＭＦＰ１０に送信するタイミングとしては、上記画面画像がタッチされたタイミングに限定されない。例えば、ソフトキーボードにおける確定キーなどがタッチされたタイミングや、ＭＦＰ１０の画面画像以外の領域がタッチされたタイミングなど、適宜のタイミングを採用できる。上記実施形態では、Ｓ４０４にて、確定されたテキストとともに、Ｓ４０２にて変換後の座標の座標をＭＦＰ１０に送信する構成としたが、確定されたテキストだけをＭＦＰ１０に送信する構成としてもよい。

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、ソフトキーボードを用いて入力されたテキストをＭＦＰ１０に送信する構成としたが、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像内の特定の領域、具体的には、入力したテキストを確定するＯＫボタンが表示される領域がタッチされたことを条件として、入力されたテキストをＭＦＰ１０に送信する構成としてもよい。かかる場合、この条件判断をＳ４０４で行い、肯定判断された場合にＳ４０５に処理を移行し、否定判断された場合、Ｓ４１６に処理を移行するとよい。

上記実施形態では、ＬＣＤ１６にて表示されているテキスト入力画面に対して入力可能な文字種が制限されている場合には、ＯＳ２１２ａに対し、ソフトキーボードの文字種の切り替えを禁止する指示する構成とした。これに代えて、ＯＳ２１２ａに対し、制限されている文字種、すなわち、テキスト入力画面に対して入力できない文字種の入力を受け付けないよう指示する構成としてもよい。かかる場合、ＯＳ２１２ａは、切替キーに対する操作が行われた場合に、文字種を切り替える。しかし、切り替え後の文字種が制限された文字種である場合、ＯＳ２１２ａは、ソフトキーボードからの入力を受け付けない。あるいは、制限されている文字種が、ＯＳ２１２ａから、操作支援アプリ２１２ｂ（ＲＡＭ２１３）に入力された場合に、そのテキストの入力を無効にする構成としてもよい。

上記実施形態および変形例では、ＣＰＵ２１１が、図３および図４に記載される各処理を実行する構成として説明したが、これら各図に記載される各処理を、複数のＣＰＵが協同的に実行する構成としてもよい。また、ＡＳＩＣなどのＩＣが、単独で、または、複数によって協働的に、上記各図に記載される各処理を実行する構成してもよい。また、ＣＰＵ１１とＡＳＩＣなどのＩＣとが協同して、上記各図に記載される各処理を実行する構成してもよい。また、図３および図４に示す各処理のうち、一部の処理を、特許請求の範囲における独立請求項から逸脱しない範囲で、省略または変更してもよい。例えば、図４において、Ｓ４１２またはＳ４１３のいずれかを省略する構成としてもよい。また、Ｓ４１４またはＳ４１５のうち、いずれか一方の処理のみが行われる構成としてもよい。

１０：ＭＦＰ．２００：端末，２１２ｂ：操作支援アプリ

Claims (14)

1. 第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、外部装置と通信する通信部と、制御部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて外部装置を操作するための操作支援プログラムであって、
   外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、
   前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、
   前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、
   前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むかを判断する第１判断手段と、
   前記第１判断手段により、前記画像がテキストの入力を求める画像を含むと判断される場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、
   前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、当該ソフトウェアキーに対する入力操作を前記入力部が検出したことに基づいて、当該入力操作に応じたテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段として、
   前記制御部を機能させることを特徴とする操作支援プログラム。
2. 前記画像取得手段により取得される画像データは、前記第２表示部に表示される画面の画像データであることを特徴とする請求項１記載の操作支援プログラム。
3. 前記端末装置は、記憶部を備え、
   前記ソフトウェアキーに対する入力操作に応じたテキスト情報であって、前記第２情報出力手段による前記外部装置への出力が未出力であるテキスト情報を、所定のタイミング毎に、前記記憶部に記憶する記憶手段として、
   前記制御部を機能させ、
   前記第２情報出力手段は、前記第１表示部における所定の位置に対する入力操作を前記入力部が検出したことを条件として、前記記憶部に記憶されている前記テキスト情報を出力することを特徴とする請求項１または２に記載の操作支援プログラム。
4. 前記所定のタイミングは、前記入力操作に応じたテキスト情報を前記第２プログラムに対して確定する入力操作を、前記入力部が検出したタイミングであることを特徴とする請求項３記載の操作支援プログラム。
5. 前記所定の位置は、前記画像表示手段により前記第１表示部に表示される画像内に位置することを特徴とする請求項３または４に記載の操作支援プログラム。
6. 前記記憶部に記憶されるテキスト情報に従うテキストを、前記第１表示部に表示するテキスト表示手段として、
   前記制御部を機能させることを特徴とする請求項３から５のいずれかに記載の操作支援プログラム。
7. 前記テキスト表示手段は、
   前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキストを前記入力フィールドに表示する一方で、
   前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含まない場合、前記入力操作に応じたテキストを、前記第１表示部における前記画像の非表示領域に表示することを特徴とする請求項６記載の操作支援プログラム。
8. 前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキストが前記入力フィールド内に収まるかを判断する第２判断手段として、
   前記制御部を機能させ、
   前記テキスト表示手段は、
   前記第２判断手段により前記入力操作に応じたテキストが前記入力フィールド内に収まると判断された場合、当該テキストを前記入力フィールドに表示する一方で、
   前記第２判断手段により前記入力操作に応じたテキストが前記入力フィールド内に収まらないと判断された場合、当該テキストを、前記第１表示部における画像の非表示領域に表示すること特徴とする請求項６または７に記載の操作支援プログラム。
9. 前記第１判断手段は、前記画像取得手段により取得された画像データが、テキストの入力を求める画像を含むことを示す情報を含む場合に、前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むと判断することを特徴とする請求項１から８のいずれかに記載の操作支援プログラム。
10. 前記表示指示手段は、前記画像取得手段により取得された画像データに含まれる、ソフトウェアキーの種類を特定する特定情報に基づいて、前記第２プログラムに対し、前記特定情報に応じたソフトウェアキーを前記第１表示部に表示させる指示を出すことを特徴とする請求項１から９のいずれかに記載の操作支援プログラム。
11. 前記表示指示手段により前記指示が出された後、当該第２プログラムに対し、ソフトウェアキーの種類の切り替えを禁止する指示を出す禁止指示手段として、
    前記制御部を機能させることを特徴とする請求項１から１０のいずれかに記載の操作支援プログラム。
12. 前記第２プログラムは、前記端末装置に搭載されるオペレーティングシステムであることを特徴とする請求項１から１１のいずれかに記載の操作支援プログラム。
13. 前記入力部は、前記第１表示部に重ねて設けられているタッチパネルであることを特徴とする請求項１から１２のいずれかに記載の操作支援プログラム。
14. 第１表示部と、
    前記第１表示部に対する入力操作を検出する入力部と、
    外部装置と通信する通信部と、
    制御部と、を備え、
    前記制御部は、
    外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、
    前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、
    前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、
    前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含む場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、
    前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、当該ソフトウェアキーに対する入力操作を前記入力部が検出したことに基づいて、当該入力操作に応じたテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段と、
    を備えていることを特徴とする端末装置。
    
    
    

Images