JP2015179371A - 処理実行装置および処理実行プログラム - Google Patents

Abstract

【課題】従来とは異なる手法を用いて、外部装置から遠隔操作され得る処理実行装置を提供する。
【解決手段】画面に含まれる操作子毎に、当該操作子に関連付けられたテキストデータが記憶部に記憶されている。外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されている場合には、当該テキストデータに関連付けられている操作子に応じた処理が実行される。
【選択図】図５

Description

本発明は、処理実行装置および処理実行プログラムに関する。

特許文献１には、携帯装置から画像形成装置を遠隔操作できるシステムが開示されている。当該システムでは、携帯装置は、画像形成装置から受信した操作画面を表示部に表示し、当該操作画面に従ってユーザが入力する操作を受け付け、当該操作に応じた指示を画像形成装置に送信する。画像形成装置は、携帯装置から受信した指示に応じた画面を表示する。

特開２０１２−７００６８号公報

本発明は、上記の特許文献１とは異なる手法を用いて、外部装置から遠隔操作され得る処理実行装置を提供することを目的とする。

この目的を達成するために、本発明の処理実行装置は、画面が表示される表示部と、記憶部と、外部装置と通信する通信部と、制御部と、を備え、前記画面は、処理に関連付けられた操作子を含み、前記記憶部は、前記操作子毎に、当該操作子に関連付けられたテキストデータを記憶し、前記制御部は、前記通信部を介して、外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されているかを判断するテキスト判断手段と、前記テキスト判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断された場合、当該テキストデータに関連付けられている操作子に応じた処理を実行する処理実行手段と、を備えている。

なお、本発明の処理実行装置は、処理実行装置を制御する制御装置、処理実行システム、処理実行方法、処理実行プログラム、処理実行プログラムを記録する記録媒体等の種々の態様で構成することができる。

請求項１記載の処理実行装置によれば、画面に含まれる操作子毎に、当該操作子に関連付けられたテキストデータが記憶部に記憶されている。外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されている場合には、当該テキストデータに関連付けられている操作子に応じた処理が実行される。よって、本処理実行装置を、外部装置から受信する、操作子に対応するテキストデータに応じて、遠隔操作することができる。

請求項２記載の処理実行装置によれば、請求項１が奏する効果に加え、テキストを非表示にする属性が関連付けられている操作子であっても、外部装置から操作子に対応するテキストデータの受信に応じて遠隔操作することができる。

請求項３記載の処理実行装置によれば、請求項２が奏する効果に加え、背景画像上に操作子が表示される画面について、外部装置から操作子に対応するテキストデータの受信に応じて遠隔操作することができる。

請求項４記載の処理実行装置によれば、請求項１から３のいずれかが奏する効果に加え、次の効果を奏する。表示中の画面がテキストを入力する画面である場合には、外部装置から受信したテキストデータに基づく処理の実行を行うことなく、当該受信したテキストデータを、当該表示中の画面に対して入力されたテキストとして受け付ける。よって、外部装置からテキストデータを用いて遠隔操作を行うことができるとともに、テキストを入力する画面にテキストを入力することができる。

請求項５記載の処理実行装置によれば、請求項４が奏する効果に加え、次の効果を奏する。表示中の画面がテキストを入力する画面である場合であっても、外部装置から受信したテキストデータが、当該表示中の画面に入力可能な文字種から構成されることを条件として、受信したテキストデータの受け付けが行われる。よって、表示中の、テキストを入力する画面に入力し得ない文字種が入力されたことに伴う不具合を防止できる。

請求項６記載の処理実行装置によれば、請求項４または５が奏する効果に加え、次の効果を奏する。表示中の画面がテキストを入力する画面であったとしても、外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されている場合には、当該受信したテキストデータに関連付けられている操作子に応じた処理が実行される。よって、表示中の画面がテキストを入力する画面に含まれる操作子を、外部装置から遠隔操作することができる。

請求項７記載の処理実行装置によれば、請求項１から６のいずれかが奏する効果に加え、次の効果を奏する。テキストデータとともに外部装置から受信した、外部装置に表示されていた画面を特定する特定情報が、表示部に表示中の画面を特定するものでない場合には、当該特定情報とともに受信したテキストデータに基づく処理の実行が行われない。よって、外部装置にて遠隔操作の対象とした画面と、表示部に表示中の画面とが不一致であることに応じた誤動作を抑制できる。また、その際には、表示部に表示中の画面が、外部装置に表示されている画面と異なることを示す第２エラー情報が出力されるので、画面の齟齬があることを外部装置に報せることができる。

請求項８記載の処理実行装置によれば、請求項１から７のいずれかが奏する効果に加え、次の効果を奏する。外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されていない場合には、当該テキストデータに対応する操作子が存在しないことを示す第３エラー情報が外部装置に出力される。よって、その旨を外部装置に報せることができる。

請求項９記載の処理実行装置によれば、請求項１から８のいずれかが奏する効果に加え、次の効果を奏する。外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されていない場合には、当該受信したテキストデータ、または、記憶部に記憶されているテキストデータの一方について、大文字と小文字、および／または、全角と半角の組み合わせを変更し、変更後のテキストデータが、他方のテキストデータに相当するかが判断される。そして、当該判断が肯定された場合もまた、外部装置から受信したテキストデータに相当するテキストデータが記憶部に記憶されているとして、受信したテキストデータに基づく処理が実行される。よって、外部装置が、大文字と小文字、および／または、全角と半角の組み合わせが異なるテキストデータを送信した場合であっても、該当する処理を実行させることができる。

請求項１０記載の処理実行装置によれば、請求項１から９のいずれかが奏する効果に加え、次の効果を奏する。時間経過とともに内容が変化するアニメーション表示が行われている間は、表示部に表示される画面と、外部装置にて遠隔操作の対象とした画面との間に不一致が生じる可能性がある。これに対し、アニメーション表示が表示部に表示されている間は、外部装置から受信したテキストデータが無効とされるので、両画面が不一致であることに応じた誤動作を抑制できる。

請求項１１記載の処理実行プログラムによれば、請求項１記載の処理実行装置と同様の効果を奏する。

多機能周辺装置および端末の電気的構成を示すブロック図である。 ＬＣＤに表示される画面の構成の概略を説明する図である。 遠隔操作時の端末側処理を示すフローチャートである。 遠隔操作時のＭＦＰ側処理を示すフローチャートである。 テキスト処理を示すフローチャートである。 照合処理を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、多機能周辺装置（以下「ＭＦＰ」と称す）１０、および、ＭＦＰ１０と通信可能な端末２００の電気的構成を示すブロック図である。なお、ＭＦＰ１０は、本発明の処理実行装置の一実施形態である。

ＭＦＰ１０は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。ＭＦＰ１０は、操作支援アプリケーション（以下「操作支援アプリ」と称す）２１２ｂを搭載する端末２００からの遠隔操作により各種機能に関わる処理を実行可能に構成される。特に、ＭＦＰ１０は端末２００から受信したテキストデータに応じた処理を実行可能に構成される。

ＭＦＰ１０には、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、スキャナ部１８、プリンタ部１９、ＮＣＵ２０、モデム２１、無線通信部２３が主に設けられている。これらの各部は、入出力ポート２４を介して互いに接続されている。ＣＰＵ１１は、フラッシュメモリ１２に記憶される固定値やプログラム、ＲＡＭ１３に記憶されているデータ、或いは、ＮＣＵ２０を介して送受信される各種信号に従って、ＭＦＰ１０が有している各機能の制御や、入出力ポート２４と接続された各部を制御する。

フラッシュメモリ１２は、不揮発性のメモリであり、ＭＦＰ１０の動作を制御する制御プログラム１２ａなどが格納される。なお、後述する図４〜図６のフローチャートに示す各処理は、ＣＰＵ１１が制御プログラム１２ａに従い実行する処理である。また、フラッシュメモリ１２には、ＬＣＤ１６に表示可能な各画面の画像の画像データが、表示可能な全画面分、準備されている。詳細は後述するが、各画面の画像データは、画面の背景の画像データと、当該背景上に配置される各種部品のデータとから構成される。部品は、画像、文字列、または、画像と文字列との組み合わせから構成される。よって、部品のデータは、当該部品を構成する画像の画像データ、文字列のデータ（以下「テキストデータ」と称す）、または、画像データとテキストデータの組み合わせのいずれかである。

フラッシュメモリ１２には、各画面の画像の画像データを管理する画像データマップ（図示せず）が設けられている。画像データマップでは、各画面の画像データに対し、画面ＩＤが対応付けられている。「画面ＩＤ」は、各画面を特定する情報である。

ＲＡＭ１３は、ＣＰＵ１１が制御プログラム１２ａを実行するにあたり、各種データを一時的に記憶するためのテンポラリエリアを有する書換可能な揮発性のメモリである。

操作キー１５は、ＭＦＰ１０の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ１６は、液晶表示装置であり、各種画面を表示する。ＬＣＤ１６の画面には、タッチパネル１７がＬＣＤ１６に重ねて設けられる。タッチパネル１７は、例えば、指や棒などの指示体がＬＣＤ１６の画面に対して接触又は近づいた場合に、接触又は近づいた位置を検知し、検知した位置をＭＦＰ１０に入力する。スキャナ部１８は、原稿を読み取って画像データに変換する。プリンタ部１９は、画像データに基づく画像を記録用紙に印刷する。モデム２１は、ＦＡＸ送信時には送信すべき画像データを、電話回線網（図示せず）に伝送可能な信号に変調してＮＣＵ２０を介して送信し、または、電話回線網からＮＣＵ２０を介して入力された信号を画像データに復調する。ＮＣＵ２０は、図示されない電話回線網とＭＦＰ１０との間を接続するものであり、モデム２１からの指示に従って、回線を閉結または切断することにより、電話回線網との間の接続状態を制御する。

無線通信部２３は、無線ＬＡＮによる無線通信を行うためのインタフェースである。本実施形態では、無線通信部２３が行う通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮによる無線通信である。本実施形態において、無線通信部２３は、中継装置であるアクセスポイント（以下「ＡＰ」と称す）５０を介するインフラストラクチャーモードによって、端末２００との間でＷｉ−Ｆｉ（登録商標）規格に基づいた無線通信（以下「Ｗｉ−Ｆｉ通信」と称す）により接続される。なお、以下の説明において、ＭＦＰ１０と端末２００との間で行われる通信は、特に記載がない限り、ＡＰ５０を介するＷｉ−Ｆｉ通信とする。

本実施形態の端末２００は、タブレット端末である。端末２００には、ＣＰＵ２１１、フラッシュメモリ２１２、ＲＡＭ２１３、操作キー２１５、ＬＣＤ２１６、タッチパネル２１７、メモリカードインタフェース（メモリカードＩ／Ｆ）２１８、音声入力部２１９、無線通信部２２３が主に設けられる。これらの各部は、入出力ポート２２４を介して互いに接続されている。ＣＰＵ２１１は、ＲＯＭ２１２等に記憶される固定値やプログラム等に従って入出力ポート２２４と接続された各部を制御する。

フラッシュメモリ２１２は、書換可能な不揮発性のメモリである。フラッシュメモリ２１２には、オペレーティングシステム２１２ａ、操作支援アプリ２１２ｂが格納される。なお、以下では「オペレーティングシステム」を「ＯＳ」と称することがある。また、以下では、アプリケーションやオペレーティングシステムなどのプログラムを実行するＣＰＵ２１１のことを、単にプログラム名で記載する場合もある。例えば「アプリケーション」という記載が「アプリケーションを実行するＣＰＵ２１１」を意味する場合もある。ＯＳ２１２ａは、端末２００の標準機能を実現するための基本ソフトウェアである。本実施形態では、ＯＳ２１２ａの一例として、アンドロイド（登録商標）ＯＳを採用する。

操作支援アプリ２１２ｂは、ＭＦＰ１０などのデバイスを遠隔操作するためのアプリケーションプログラムである。操作支援アプリ２１２ｂは、ユーザによって端末２００にインストールされ、端末２００から、対応するデバイスの遠隔操作を可能にする。なお、後述する図３のフローチャートに示す各処理は、ＣＰＵ２１１が操作支援アプリ２１２ｂに従い実行する処理である。

操作キー２１５は、端末２００の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ２１６、タッチパネル２１７、および無線通信部２２３は、それぞれ、上述したＬＣＤ１６、タッチパネル１７、および無線通信部２３と同様のものである。メモリカードＩ／Ｆ２１８は、書換可能な不揮発性のメモリカード（図示せず）が装着されるインタフェースであり、メモリカードに対するデータの書き込み又は読み出しを制御する。音声入力部２１９は、内蔵マイクなどの音声入力用デバイスである。

図２を参照して、ＬＣＤ１６に表示される画面の構成の概略について説明する。図２（ａ）には、ＬＣＤ１６に表示される画面の一例であるＨｏｍｅ画面８０を示す。Ｈｏｍｅ画面８０は、背景８１と、背景８１の上に配置される各種部品とから構成される。背景８１の上に配置される部品としては、例えば、画像８２などの画像、ボタン８３，８４などのボタン、ラベル８５などのラベルなどがある。

図２（ａ）に示す例において、ボタン８３は、ファクシミリ機能の利用を指示するためのボタンである。ボタン８３は、ファクシミリ機能を想起させる画像８３ａと、画像８３ａの下側に配置された「Ｆａｘ」と表記された文字列８３ｂとから構成される。一方、ボタン８４は、ＬＣＤ１６に表示される画面を、Ｈｏｍｅ画面８０から、当該画面８０の右側に隣接する画面に切り替えることを指示するためのボタンである。ボタン８４は、頂点の１つが右側を向く三角形の画像８４から構成される。ボタン８４には、ボタン８３のような文字列は表示されない。

ＭＦＰ１０は、各画面を構成する背景および部品がどのように重なるかを、ツリー構造により管理する。例えば、図２（ｂ）は、図２（ａ）に示すＨｏｍｅ画面８０のツリー構造である。当該ツリー構造の最上位は背景８１であり、下位になるほど、ユーザからみて手前側に部品が配置される。ボタン８３は、画像８２の下位に位置する。つまり、ボタン８３は、画面８２の上、すなわち、ユーザからみて手前側に配置される。

上述した通り、ボタン８３は、画像８３ａと文字列８３ｂとから構成される。文字列８３ｂには、表示の属性が対応付けられている。表示の属性が対応付けられている文字列は、画面上に表示される。よって、文字列８３ｂ、すなわち、「Ｆａｘ」の文字列は、図２（ａ）に示すように、Ｈｏｍｅ画面８０に表示される。

一方、ボタン８４は、背景８１の下位に位置する。つまり、ボタン８４は、背景８１の上に配置される。ボタン８３と同様、ボタン８４もまた、画像８４ａと文字列８４ｂとから構成される。しかし、ボタン８３の文字列８３ｂと異なり、ボタン８４の文字列８４ｂには、非表示の属性が対応付けられている。非表示の属性が対応付けられている文字列は、画面上に表示されない。よって、文字列８４ｂ、すなわち、「Ｒｉｇｈｔ」の文字列は、図２（ａ）に示すように、Ｈｏｍｅ画面８０上に表示されない。

詳細は後述するが、本実施形態では、ボタン８３やボタンボタン８４など、画面に含まれる各種ボタンを端末２００から受信したテキストデータに応じて操作することが可能である。つまり、本実施形態のＭＦＰ１０は、ボタン８４のように、文字列が表示されないボタンであっても、端末２００から遠隔操作することができる。

図３は、端末２００のＣＰＵ２１１が実行する、遠隔操作時の端末側処理を示すフローチャートである。本処理は、端末２００がＭＦＰ１０を遠隔操作するための処理である。本処理は、端末２００とＭＦＰ１０との間で、遠隔操作を行うための事前処理が完了したことを条件として開始される。

図３の説明に先立って、上記事前処理について説明する。事前処理は、まず、ユーザは、ＭＦＰ１０を操作し、遠隔操作を有効に設定することから始まる。次に、ユーザは、端末２００を操作して操作支援アプリ２１２ｂを起動し、操作支援アプリ２１２ｂが起動された端末２００に、遠隔操作が有効に設定されたＭＦＰ１０を検索させる。端末２００は、検索されたＭＦＰ１０を遠隔操作の対象として端末２００に登録し、登録されたＭＦＰ１０に、登録したことを示す登録情報や、端末２００のＩＰアドレスなどをＷｉ−Ｆｉ通信で送信する。これらを受信したＭＦＰ１０は、端末２００との通信リンクを確立する。通信リンクが確立したことにより、事前処理は完了する。その結果、端末２００は、ＭＦＰ１０の遠隔操作が可能な状態となる。

ＣＰＵ２１１は、ＬＣＤ１６に表示中の画面に対応する画像データを、ＭＦＰ１０から取得する（Ｓ３０１）。以下では、ＭＦＰ１０から取得する（または、受信する）、ＬＣＤ１６に表示中の画面の画像データを「ＬＣＤデータ」と称す。具体的に、ＣＰＵ２１１は、まず、ＭＦＰ１０に対し、ＬＣＤデータを要求する。ＣＰＵ２１１は、ＭＦＰ１０が当該要求に従い返信したＬＣＤデータを取得する。なお、本実施形態では、ＬＣＤデータはビットマップデータである。

ＣＰＵ２１１は、ＭＦＰ１０から、付加情報を取得する（Ｓ３０２）。付加情報には、ＬＣＤ１６に表示中の画面に対応する画面ＩＤが含まれる。ＣＰＵ２１１は、取得した付加情報をＲＡＭ２１３に記憶する。ＣＰＵ２１１は、Ｓ３０１にて取得したＬＣＤデータに基づく画像、すなわち、ＬＣＤ１６に表示中の画面に相当する画像を、端末２００のＬＣＤ２１６に表示する（Ｓ３０３）。ＬＣＤ２１６に表示される画像が、ＭＦＰ１０のＬＣＤ１６に表示可能な画面のうち、どの画面に対応するかは、ＲＡＭ２１３に記憶された画面ＩＤに応じて特定することができる。

ＣＰＵ２１１は、イベントの発生を待ち受ける（Ｓ３０４）。ＣＰＵ２１１は、音声イベントが発生した場合（Ｓ３０５：Ｙｅｓ）、後述するＳ３０６〜Ｓ３１４の処理を実行する。なお、「音声イベント」は、音声入力部２１９を介して音声が入力されたことに応じて発生するイベントである。

ＣＰＵ２１１は、音声イベントが発生した場合（Ｓ３０５：Ｙｅｓ）、ＣＰＵ２１１は、音声イベントを受け付け、音声入力部２１９を介して入力された音声（以下「入力音声」と称す）をテキスト文字列に変換する（Ｓ３０６）。音声からテキスト文字列に変換する処理は周知の技術であるので、その詳細は省略するが、変換後のテキスト文字列の候補が複数存在する場合には、それらのうち、代表的な１のテキスト文字列が選択される。なお、本実施形態では、変換の対応言語は英語であるとする。

ＣＰＵ２１１は、テキスト指示イベントと、テキストデータと、画面ＩＤとをＭＦＰ１０に送信する（Ｓ３０７）。Ｓ３０７にて送信されるテキストデータは、Ｓ３０６での変換により得られたテキスト文字列のデータである。また、Ｓ３０７にて送信される画面ＩＤは、音声入力がされたタイミングでＬＣＤ２１６に表示されている画像に対応する画面ＩＤである。

ＣＰＵ２１１は、Ｓ３０７の処理後、画面ＩＤの不一致を示すエラー通知がＭＦＰ１０から通知されたかを判断する（Ｓ３０８）。詳細は図５を参照して後述するが、ＭＦＰ１０は、Ｓ３０７にてテキスト指示イベントとともに送信された画面ＩＤが、ＬＣＤ１６に表示中の画面の画面ＩＤと一致するかを判断し、一致しない場合に、その旨を示すエラー通知を端末２００に通知する。Ｓ３０７の処理後、所定時間（例えば、５秒）内に、当該エラー通知を端末２００が受信した場合、ＣＰＵ２１１は、Ｓ３０８の判断を肯定する。それ以外の場合、ＣＰＵ２１１は、Ｓ３０８の判断を否定する。

ＣＰＵ２１１がＳ３０８の判断を肯定した場合、すなわち、Ｓ３０７にてテキスト指示イベントとともに送信した画面ＩＤが、ＬＣＤ１６に表示中の画面の画面ＩＤとが一致しなかった場合（Ｓ３０８：Ｙｅｓ）、ＣＰＵ２１１は、上述したＳ３０１〜Ｓ３０３と同様に、Ｓ３０９〜Ｓ３１１の処理を実行し、処理をＳ３０４に移行する。これにより、ＬＣＤ１６に表示中の画面に相当する画像をＬＣＤ２１６に表示させることができる。

一方、ＣＰＵ２１１がＳ３０８の判断を否定した場合（Ｓ３０８：Ｎｏ）、ＣＰＵ２１１は、該当テキストが存在しないことを示すエラー通知がＭＦＰ１０から通知されたかを判断する（Ｓ３１２）。詳細は図５を参照して後述するが、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面に含まれるボタンに対応付けられた文字列の中に、Ｓ３０７にてテキスト指示イベントとともに送信されたテキストデータに一致する文字列が存在するかを判断し、存在しない場合に、その旨を示すエラー通知を端末２００に通知する。Ｓ３０７の処理後、所定時間（例えば、１０秒）内に、当該エラー通知を端末２００が受信した場合、ＣＰＵ２１１は、Ｓ３１２の判断を肯定する。それ以外の場合、ＣＰＵ２１１は、Ｓ３１２の判断を否定する。

ＣＰＵ２１１がＳ３１２の判断を肯定した場合（Ｓ３１２：Ｙｅｓ）、ＣＰＵ２１１は、エラー通知の内容に応じたエラー表示をＬＣＤ２１６に表示し（Ｓ３１４）、処理をＳ３０４に移行する。Ｓ３１４にて表示されるエラー表示は、例えば、所定時間（例えば、５秒）後に自動的に消去されるポップアップ表示として表示される。

一方、ＣＰＵ２１１がＳ３１２の判断を否定した場合、ＣＰＵ２１１は、テキスト入力不可を示すエラー通知がＭＦＰ１０から通知されたかを判断する（Ｓ３１３）。詳細は図５を参照して後述するが、ＭＦＰ１０は、テキストをＭＦＰ１０に入力するための画面（以下「テキスト入力画面」と称す）がＬＣＤ１６に表示されている場合に、Ｓ３０７にてテキスト指示イベントとともに送信されたテキストデータが、当該表示中の画面に入力可能な文字種から構成されるかを判断する。そして、ＭＦＰ１０は、当該判断を否定した場合に、その旨を示すエラー通知を端末２００に通知する。Ｓ３０７の処理後、所定時間（例えば、１０秒）内に、当該エラー通知を端末２００が受信した場合、ＣＰＵ２１１は、Ｓ３１３の判断を肯定する。それ以外の場合、ＣＰＵ２１１は、Ｓ３１３の判断を否定する。

ＣＰＵ２１１がＳ３１３の判断を肯定した場合（Ｓ３１３：Ｙｅｓ）、ＣＰＵ２１１は、Ｓ３１４の処理を実行する。一方、ＣＰＵ２１１がＳ３１３の判断を否定した場合（Ｓ３１３：Ｎｏ）、ＣＰＵ２１１は、処理をＳ３０４に移行する。

ＣＰＵ２１１は、音声イベント以外のイベントを受信した場合（Ｓ３０５：Ｎｏ）、その他の処理として、受信したイベントに応じた処理を実行し（Ｓ３１５）、処理をＳ３０４に移行する。Ｓ３１５の処理の対象となるイベントは、例えば、タッチパネル２１７に対し、押下操作、ドラッグ操作、離上操作などの各種操作が行われたことに応じて発生する各種イベントである。Ｓ３１５の処理は、本発明に関係しない処理であるので、具体的な説明は省略する。

図４は、ＭＦＰ１０のＣＰＵ１１が実行する、遠隔操作時のＭＦＰ側処理を示すフローチャートである。本処理は、端末２００からの遠隔操作に応じてＭＦＰ１０を動作させるための処理である。本処理は、図３と同様、上述した事前処理が完了したことを条件として開始される。

ＣＰＵ１１は、イベントの受信を待ち受ける（Ｓ４０１）。ＣＰＵ１１は、ＬＣＤデータ要求イベントを受信した場合（Ｓ４０２：Ｙｅｓ）、後述するＳ４０３，Ｓ４０４の処理を実行する。なお、「ＬＣＤデータ要求イベント」は、端末２００からＬＣＤデータの要求を受信した場合に発生するイベントである。

ＬＣＤデータ要求イベントを受信した場合（Ｓ４０２：Ｙｅｓ）、ＣＰＵ１１は、フラッシュメモリ１２内に設けられている画像データマップを参照し、ＬＣＤ１６に表示中の画面に対応するＩＤを取得する（Ｓ４０３）。ＣＰＵ１１は、ＬＣＤ１６に表示中の画面に対応するＬＣＤデータと、付加情報とを端末２００に送信し（Ｓ４０４）、処理をＳ４０１に移行する。Ｓ４０４にて端末２００に送信する付加情報には、Ｓ４０３にて取得した画面ＩＤが含まれる。

ＣＰＵ１１は、本体画面遷移イベントを受信した場合（Ｓ４０２：Ｎｏ，Ｓ４０５：Ｙｅｓ）、受信したイベントに応じてＬＣＤ１６の画面を遷移させる処理を実行し（Ｓ４０６）、処理をＳ４０１に移行する。なお、「本体画面遷移イベント」は、ＬＣＤ１６の画面の遷移が必要となった場合に発生するイベントである。ＬＣＤ１６の画面が遷移する場合としては、端末２００による遠隔操作に伴う画面の遷移と、端末２００による遠隔操作とは無関係に生じる画面の遷移とが含まれる。後者としては、例えば、ＭＦＰ１０においてユーザに通知すべき状況が生じたことに応じて、その旨を報せる表示、例えば、ポップアップ表示としてＬＣＤ１６に表示される場合などが該当する。本実施形態では、画像データマップにおいて、ユーザに通知すべき状況が生じたことに応じた表示を含む画面と、当該表示を含まない画面とに対し、それぞれ、異なる画面ＩＤが対応付けられている。

ＣＰＵ１１は、テキスト指示イベントを受信した場合（Ｓ４０５：Ｎｏ，Ｓ４０７：Ｙｅｓ）、後述するＳ４０８，Ｓ４０９の処理を実行する。なお、「テキスト指示イベント」は、端末２００からテキスト指示イベントを受信した場合に発生するイベントである。

テキスト指示イベントを受信した場合（Ｓ４０５：Ｎｏ，Ｓ４０７：Ｙｅｓ）、ＣＰＵ１１は、画面遷移のアニメーション表示の実行中であるかを判断する（Ｓ４０８）。「画面遷移のアニメーション表示」とは、ＬＣＤ１６に表示されている画面から別の画面に所定の速度で徐々に変化させる表示である。

画面遷移のアニメーション表示の実行中でないと、ＣＰＵ１１が判断した場合（Ｓ４０８：Ｎｏ）、ＣＰＵ１１は、テキスト処理を実行し（Ｓ４０９）、処理をＳ４０１に移行する。テキスト処理（Ｓ４０９）は、テキスト指示イベントとともに端末２００から受信したテキストデータに応じた処理である。テキスト処理（Ｓ４０９）の詳細は、図５を参照して後述するが、受信したテキストデータが、ＬＣＤ１６に表示中の画面に含まれるボタンに対応付けられた文字列に一致する場合には、当該ボタンが操作されたとして処理される。

一方、Ｓ４０８において、画面遷移のアニメーション表示の実行中であると、ＣＰＵ１１が判断した場合（Ｓ４０８：Ｙｅｓ）、ＣＰＵ１１は、処理をＳ４０１に移行する。よって、画面遷移のアニメーション表示の実行中は、端末２００からテキストデータを受信したとしても、当該テキストデータは無効化される。

画面遷移のアニメーション表示中は、音声入力を行ったタイミングでＬＣＤ２１６に表示されている画像が、ＬＣＤ１６に表示中の画面に一致していない場合、音声入力を行ったタイミングで意図していた処理と異なる処理が実行される可能性ある。よって、画面遷移のアニメーション表示中は、端末２００から受信したテキストデータが無効化されるので、ＭＦＰ１０にて画面の不一致に起因する誤動作が生じることを抑制できる。

ＣＰＵ１１は、ＬＣＤデータ要求イベント、本体画面遷移イベント、またはテキスト指示イベント以外のイベントを受信した場合（Ｓ４０７：Ｎｏ）、その他の処理として、受信したイベントに応じた処理を実行し（Ｓ４１０）、処理をＳ４０１に移行する。Ｓ４１０の処理の対象となるイベントとしては、例えば、端末２００にて押下操作などの各種操作が行われたことに応じて発生する各種イベントなどがある。Ｓ４１０の処理は、本発明に関係しない処理であるので、具体的な説明は省略する。

図５は、上述したテキスト処理（Ｓ４０９）を示すフローチャートである。ＣＰＵ１１は、テキスト指示イベントとともに端末２００から受信した画面ＩＤおよびテキストデータを取得する（Ｓ５０１，Ｓ５０２）。以下、Ｓ５０２にて取得したテキストデータを「取得テキスト」と称す。

ＣＰＵ１１は、Ｓ５０１にて取得した画面ＩＤと、ＬＣＤ１６に表示中の画面に対応する画面ＩＤとが一致するかを判断する（Ｓ５０３）。両画面ＩＤが一致すると、ＣＰＵ１１が判断した場合（Ｓ５０３：Ｙｅｓ）、ＣＰＵ１１は、取得テキストと、ＬＣＤ１６に表示中の画面に含まれる文字列とを照合する処理を実行する（Ｓ５０４）。なお、「ＬＣＤ１６に表示中の画面に含まれる文字列」には、非表示の属性が対応付けられ、画面に表示されない文字列、例えば、Ｈｏｍｅ画面８０（図２）に表示されるボタン８４に対応付けられた「Ｒｉｇｈｔ」との文字列８４ａも含まれる。以下、「ＬＣＤ１６に表示中の画面に含まれる文字列」を、「画面テキスト」と称することがある。

照合処理（Ｓ５０４）の詳細は、図６を参照して後述する。ＣＰＵ１１は、照合処理（Ｓ５０４）の結果、取得テキストに一致する画面テキストが存在するかを判断する（Ｓ５０５）。取得テキストに一致する画面テキストが存在するとＣＰＵ１１が判断した場合（Ｓ５０５：Ｙｅｓ）、ＣＰＵ１１は、取得テキストに一致する画面テキストが、画面内のボタンに対応付けられた文字列であるかを判断する（Ｓ５０６）。

具体的に、取得テキストに一致する画面テキストが、例えば、ボタン８３に対応付けられた文字列８３ａ（Ｆａｘ）や、ボタン８４に対応付けられた文字列８４ａ（Ｒｉｇｈｔ）である場合、ＣＰＵ１１は、Ｓ５０６の判断を肯定する。一方、取得テキストに一致する画面テキストが、例えば、ボタンでないラベル８５に対応付けられた文字列（Ｈｏｍｅ）である場合、ＣＰＵ１１は、Ｓ５０６の判断を否定する。

ＣＰＵ１１がＳ５０６の判断を肯定した場合（Ｓ５０６：Ｙｅｓ）、ＣＰＵ１１は、該当する画面テキストに対応するボタン、すなわち、取得テキストに一致する文字列に対応付けられたボタンに対する押下／離上処理を実行し（Ｓ５０７）、本処理を終了する。押下／離上処理（Ｓ５０７）は、該当するボタンに対し、タッチパネル１７を介して、押下操作と、それに続く離上操作がされた場合と同様の処理である。なお、押下／離上処理（Ｓ５０７）が実行されたことにと伴い、ＬＣＤ１６の画面に遷移が生じる場合、本体画面遷移イベントが発生する。

Ｓ５０５〜Ｓ５０７の処理によれば、端末２００から受信したテキストデータ（すなわち、取得テキスト）に一致する文字列に対応付けられたボタンが存在する場合には、当該ボタンに対し、押下操作を行った後、その位置で離上操作を行った場合に等しい処理が実行される。よって、ＭＦＰ１０を、端末２００から出力されるテキストデータに応じて遠隔操作させることができる。特に、取得テキストとの照合の対象となる画面テキストには、画面には表示されない文字列、すなわち、非表示の属性が対応付けられている文字列が含まれるので、画面に文字列が表示されないボタンも、端末２００からの遠隔操作の対象にすることができる。

一方、Ｓ５０３において、取得した画面ＩＤと、ＬＣＤ１６に表示中の画面に対応する画面ＩＤが一致しないと、ＣＰＵ１１が判断した場合（Ｓ５０３：Ｎｏ）、ＣＰＵ１１は、画面ＩＤの不一致を示すエラー通知を端末２００に通知し（Ｓ５１４）、本処理を終了する。Ｓ５１４の処理の結果、端末２００のＣＰＵ２１１は、図３におけるＳ３０８の処理を肯定する。

本実施形態では、端末２００からテキストデータともに取得した画面ＩＤと、ＬＣＤ１６に表示中の画面に対応する画面ＩＤとが一致しない場合、ＣＰＵ１１は、Ｓ５０４以降の処理が実行されず、エラー通知を端末２００に通知する。よって、音声入力を行ったタイミングで意図していた処理と異なる処理が実行されることを抑制できる。

一方、ＣＰＵ１１がＳ５０６の判断を否定した場合（Ｓ５０６：Ｎｏ）、ＣＰＵ１１は、該当テキストが存在しないことを示すエラー通知を端末２００に通知し（Ｓ５０８）、本処理を終了する。Ｓ５０８の処理の結果、端末２００のＣＰＵ２１１は、図３におけるＳ３１２の処理を肯定し、ＬＣＤ２１６にエラー表示を表示する。よって、端末２００を用いて遠隔操作を行うユーザに対し、入力音声に対応するボタンが存在しないことを報せることができる。

取得テキストに一致する画面テキストが存在しないとＣＰＵ１１が判断した場合（Ｓ５０５：Ｎｏ）、ＣＰＵ１１は、ＬＣＤ１６に表示中の画面がテキスト入力画面であるかを判断する（Ｓ５０９）。「テキスト入力画面」は、テキストをＭＦＰ１０に入力するための画面であり、例えば、テキストを入力するためのソフトキーボードを含む画面である。ＬＣＤ１６に表示中の画面がテキスト入力画面でないと、ＣＰＵ１１が判断した場合（Ｓ５０９：Ｎｏ）、ＣＰＵ１１は、処理をＳ５０８に移行し、該当テキストが存在しないことを示すエラー通知を端末２００に通知する。

一方、ＬＣＤ１６に表示中の画面がテキスト入力画面であると、ＣＰＵ１１が判断した場合（Ｓ５０９：Ｙｅｓ）、ＣＰＵ１１は、取得テキストが、表示中のテキスト入力画面に対し入力可能であるかを判断する（Ｓ５１０）。具体的に、取得テキストが、表示中のテキスト入力画面に対し入力可能な文字種から構成される場合、ＣＰＵ１１は、Ｓ５１０の判断を肯定する。ＣＰＵ１１がＳ５１０の判断を肯定する場合（Ｓ５１０：Ｙｅｓ）、ＣＰＵ１１は、取得テキストを入力テキストとして受け付け（Ｓ５１１）、受け付けた入力テキストを、テキスト入力画面における入力領域（入力フィールド）に表示し（Ｓ５１２）、本処理を終了する。

Ｓ５０５，Ｓ５０９〜Ｓ５１２の処理によれば、ＬＣＤ１６に表示中の画面がテキスト入力画面である場合には、端末２００から受信したテキストデータを、入力テキストとして当該テキスト入力画面に入力することができる。特に、入力テキストの受け付けは、端末２００から受信したテキストデータが、表示中のテキスト入力画面に対し入力可能な文字種から構成されることを条件とするので、テキスト入力画面に入力し得ない文字種が入力されたことに伴う不具合を防止できる。

なお、表示中の画面がテキスト入力画面であっても、当該テキスト入力画面に含まれるボタンに対応付けられた文字列に一致するテキストデータを、端末２００から受信した場合には、ＣＰＵ１１は、Ｓ５０７の処理を実行する。よって、テキスト入力画面に含まれるボタンを、端末２００から受信したテキストデータに応じて操作することができる。これにより、端末２００からの遠隔操作によって、テキスト入力画面にテキストを入力できるとともに、テキスト入力画面に含まれる各種ボタンを操作することができる。テキスト入力画面に含まれる各種ボタンとしては、例えば、入力されたテキストを確定するボタン（例えば、ＯＫボタン）や、次ページや次項目などに移動するためのボタン（例えば、ＮＥＸＴボタン）などがある。

一方、表示中のテキスト入力画面に文字種の制限があり、取得テキストが、表示中のテキスト入力画面に対し入力不可能な文字種を含む場合、ＣＰＵ１１は、Ｓ５１０の判断を否定する。例えば、テキスト入力画面がＩＰアドレスを入力する画面である場合、当該画面は、数字入力のみが許容され、英字入力は制限される。よって、ＩＰアドレスを入力する画面において、取得テキストが英字を含む場合、ＣＰＵ１１は、Ｓ５１０の判断を否定する。

ＣＰＵ１１がＳ５１０の判断を否定する場合（Ｓ５１０：Ｎｏ）、ＣＰＵ１１は、テキスト入力不可を示すエラー通知を端末２００に通知し（Ｓ５１３）、本処理を終了する。Ｓ５１３の処理の結果、端末２００のＣＰＵ２１１は、図３におけるＳ３１３の処理を肯定し、ＬＣＤ２１６にエラー表示を表示する。よって、端末２００を用いて遠隔操作を行うユーザに対し、テキストの入力を行うことができない旨を報せることができる。

図６は、上述した照合処理（Ｓ５０４）を示すフローチャートである。ＣＰＵ１１は、ＬＣＤ１６に表示中の画面に含まれる文字列（すなわち、画面テキスト）を検索する（Ｓ６０１）。上述した通り、検索の対象となる画面テキストには、画面に表示される文字列だけでなく、非表示の属性が対応付けられ、画面には表示されない文字列も含まれる。ＣＰＵ１１は、検索された画面テキストのうち、１の画面テキストを比較対象として選択する（Ｓ６０２）。

ＣＰＵ１１は、比較対象として選択された画面テキストおよび取得テキストについて、両テキストの各先頭１文字を比較文字として取得する（Ｓ６０３）。ＣＰＵ１１は、取得した２つの比較文字を比較する（Ｓ６０４）。両比較文字が同じ文字であるとＣＰＵ１１が判断した場合（Ｓ６０５：Ｙｅｓ）、ＣＰＵ１１は、比較対象の画面テキストおよび取得テキストに次の文字が存在するかを判断する（Ｓ６０６）。両テキストに次の文字が存在するとＣＰＵ１１が判断した場合（Ｓ６０６：Ｙｅｓ）、ＣＰＵ１１は、両テキストにおける次の文字を取得し（Ｓ６０９）、処理をＳ６０４に移行する。

両テキストに次の文字が存在しないとＣＰＵ１１が判断した場合（Ｓ６０６：Ｎｏ）、ＣＰＵ１１は、比較対象の画面テキストおよび取得テキストについて、全ての文字が処理されたかを判断する（Ｓ６０７）。両テキストについて全ての文字が処理されたと、ＣＰＵ１１が判断した場合（Ｓ６０７：Ｙｅｓ）、現在の比較対象の画面テキストは、取得テキストに一致することを示す。よって、かかる場合、ＣＰＵ１１は、取得テキストに一致する画面テキストが存在すると判断し（Ｓ６０８）、本処理を終了する。

一方、両テキストについて全ての文字が処理されていないと、ＣＰＵ１１が判断した場合（Ｓ６０７：Ｙｅｓ）、画面テキストまたは取得テキストの一方に未処理の文字が存在し、両テキストの文字数が異なることを示す。かかる場合、ＣＰＵ１１は、次の画面テキストが存在するかを判断する（Ｓ６１９）。

次の画面テキストが存在するとＣＰＵ１１が判断した場合（Ｓ６１９：Ｙｅｓ）、ＣＰＵ１１は、次の画面テキストを比較対象として選択し（Ｓ６２０）、処理をＳ６０３に移行する。一方、次の画面テキストが存在しないとＣＰＵ１１が判断した場合（Ｓ６１９：Ｎｏ）、ＣＰＵ１１は、取得テキストに一致する画面テキストが存在しないと判断し（Ｓ６２１）、本処理を終了する。

Ｓ６０５において、両比較文字が同じ文字でないとＣＰＵ１１が判断した場合（Ｓ６０５：Ｎｏ）、ＣＰＵ１１は、２つの比較文字のうち、対象となる取得テキストの比較文字について、大文字／小文字変換を実行する（Ｓ６１０）。具体的に、取得テキストの比較文字が大文字である場合、ＣＰＵ１１は、当該比較文字を小文字に変換する。一方、対象となる比較文字が小文字である場合、ＣＰＵ１１は、当該比較文字を大文字に変換する。

ＣＰＵ１１は、大文字／小文字変換を行った取得テキストの比較文字と、画面テキストの比較文字とを比較する（Ｓ６１１）。Ｓ６１１の比較の結果、両比較文字が同じ文字であるとＣＰＵ１１が判断した場合（Ｓ６１２：Ｙｅｓ）、ＣＰＵ１１は、処理をＳ６０６に移行する。

一方、両比較文字が同じ文字でないとＣＰＵ１１が判断した場合（Ｓ６１２：Ｎｏ）、ＣＰＵ１１は、Ｓ６１０にて大文字／小文字変換を行った取得テキストの比較文字について、半角／全角変換を実行する（Ｓ６１３）。具体的に、対象となる比較文字が半角文字である場合、ＣＰＵ１１は、当該比較文字を全角文字に変換する。一方、対象となる比較文字が全角文字である場合、ＣＰＵ１１は、当該比較文字を半角文字に変換する。

ＣＰＵ１１は、半角／全角変換を行った取得テキストの比較文字と、画面テキストの比較文字とを比較する（Ｓ６１４）。Ｓ６１４の比較の結果、両比較文字が同じ文字であるとＣＰＵ１１が判断した場合（Ｓ６１５：Ｙｅｓ）、ＣＰＵ１１は、処理をＳ６０６に移行する。一方、両比較文字が同じ文字でないとＣＰＵ１１が判断した場合（Ｓ６１５：Ｎｏ）、ＣＰＵ１１は、Ｓ６１３にて半角／全角変換を行った取得テキストの比較文字について、大文字／小文字変換を実行する（Ｓ６１６）。

ＣＰＵ１１は、Ｓ６１６にて大文字／小文字変換を行った取得テキストの比較文字と、画面テキストの比較文字とを比較する（Ｓ６１７）。Ｓ６１７の比較の結果、両比較文字が同じ文字であるとＣＰＵ１１が判断した場合（Ｓ６１８：Ｙｅｓ）、ＣＰＵ１１は、処理をＳ６０６に移行する。両比較文字が同じ文字でないとＣＰＵ１１が判断した場合（Ｓ６１８：Ｎｏ）、ＣＰＵ１１は、処理をＳ６１９に移行する。

Ｓ６１０〜Ｓ６１８の処理によれば、オリジナルの取得テキストが、オリジナルの画面テキストに一致しなくても、取得テキストの大文字と小文字、および／または、全角と半角の組み合わせを変更して再度の比較が行われる。よって、端末２００が、ＬＣＤ１６に表示中の画面に含まれる文字列とは、大文字と小文字、および／または、全角と半角の組み合わせが異なるテキストデータを送信した場合であっても、該当する処理を適切に実行させることができる。

本実施形態のＭＦＰ１０によれば、端末２００から受信したテキストデータに応じて、ＬＣＤ１６に表示中の画面に含まれるボタンを操作できる。これにより、ＭＦＰ１０を端末２００から遠隔操作することができる。一方で、ＬＣＤ１６に表示中の画面がテキスト入力画面である場合には、当該画面を端末２００から遠隔操作しつつ、端末２００から当該画面にテキストを入力することもできる。

上記実施形態において、ＭＦＰ１０が、処理実行装置の一例である。制御プログラム１２ａが、処理実行プログラムの一例である。ＣＰＵ１１が、制御部の一例である。ＬＣＤ１６が、表示部の一例である。フラッシュメモリ１２が、記憶部の一例である。無線通信部２３が、通信部の一例である。Ｈｏｍｅ画面８０が、画面の一例である。ボタン８３，８４が、操作子の一例である。背景８１が、背景画像の一例である。Ｓ５０４の処理を実行するＣＰＵ１１が、テキスト判断手段の一例である。Ｓ５０７の処理を実行するＣＰＵ１１が、処理実行手段の一例である。Ｓ４０６の処理を実行するＣＰＵ１１が、表示手段の一例である。Ｓ５０９の処理を実行するＣＰＵ１１が、第１画面判断手段の一例である。Ｓ５１１の処理を実行するＣＰＵ１１が、テキスト受付手段の一例である。Ｓ５１０の処理を実行するＣＰＵ１１が、文字種判断手段の一例である。Ｓ５１３の処理を実行するＣＰＵ１１が、第１エラー出力手段の一例である。Ｓ５０３の処理を実行するＣＰＵ１１が、第２画面判断手段の一例である。Ｓ５１４の処理を実行するＣＰＵ１１が、第２エラー出力手段の一例である。Ｓ５０８の処理を実行するＣＰＵ１１が、第３エラー出力手段の一例である。Ｓ６０４，Ｓ６０５の処理を実行するＣＰＵ１１が、第１判断手段の一例である。Ｓ６１０〜Ｓ６１８の処理を実行するＣＰＵ１１が、第２判断手段の一例である。Ｓ４０８の処理を実行するＣＰＵ１１が、無効化手段の一例である。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、上記実施形態では、処理実行装置として、多機能周辺装置であるＭＦＰ１０を例示したが、画面に表示されたボタンを用いて処理を実行させる構成の装置であれば、適宜の装置、例えば、スキャナ装置や、プリンタ装置などの単機能を有する装置や、画像や音楽を再生するための装置などを本発明の処理実行装置として採用できる。

上記実施形態では、端末２００から受信したテキストデータにより操作されるボタンとして、画像と当該画像に対応付けられた文字列とから構成されるボタンを例示したが、画像を含まずに構成されたボタンが操作される構成であってもよい。例えば、リスト状に配列される、ボタンとしての文字列のうち、１のボタン（すなわち、１の文字列）をカーソルの移動によって選択する構成において、本発明を適用してもよい。

上記実施形態では、テキストデータを送信することによってＭＦＰ１０の遠隔操作を行う端末２００として、タブレット端末を例示したが、パーソナルコンピュータや、スマートフォンや、携帯電話や、デジタルカメラや、携帯音楽再生装置などであってもよい。また、上記実施形態では、ＭＦＰ１０と端末２００との間の通信を、ＡＰ５０を介するインフラストラクチャーモードでのＷｉ−Ｆｉ通信を例示したが、直接接続であるアドホックモードでのＷｉ−Ｆｉ通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの他の通信方法であっても、本発明を適用できる。

上記実施形態において、ＭＦＰ１０が端末２００から受信するテキストデータとして、端末２００に入力された音声から変換されたテキストデータを例示したが、これに限定されるものではない。例えば、キーボードやペンタブレットなどの文字入力可能なデバイスを用いて端末２００に入力された文字列に対応するテキストデータをＭＦＰ１０に送信する構成であってもよい。

上記実施形態では、入力音声からの変換の対応言語を英語として説明したが、他の言語であってもよい。なお、入力音声からかな文字への変換など、大文字／小文字に対応しない文字への変換であった場合、Ｓ６１０〜Ｓ６１２，Ｓ６１６〜Ｓ６１８の処理を省略できる。全角／半角に対応しない文字への変換であった場合には、Ｓ６１３〜Ｓ６１５の処理を省略できる。

上記実施形態では、端末２００は、Ｓ３０６において、入力音声の変換により１のテキスト文字列を得る構成としたが、変換後のテキスト文字列の候補が複数存在する場合には、それら複数の候補のテキストデータを全てＭＦＰ１０に送信する構成としてもよい。

上記照合処理（Ｓ５０４）では、取得テキストと画面テキストとが完全一致である場合に、一致の判断をする構成とした。これに対し、完全一致に限らず、取得テキストと画面テキストとが所定割合以上の一致度（例えば、８０％以上の一致度）で一致する場合に、一致の判断をする構成としてもよい。また、取得テキストが、「Ｆａｃｓｉｍｉｌｅ」など、画面テキストである「Ｆａｘ」に関連する文字列であれば、両テキストが一致すると判断する構成としてもよい。

上記照合処理（Ｓ５０４）では、Ｓ６０１において、ＬＣＤ１６に表示中の画面に含まれる文字列の全てを検索の対象としたが、ボタンの文字列だけを抽出して検索の対象としてもよい。あるいは、表示中の画面がテキスト入力画面である場合には、ＬＣＤ１６に表示中の画面に含まれる文字列の全てを検索の対象とし、表示中の画面がテキスト入力画面以外の画面である場合には、ボタンの文字列だけを抽出して検索の対象としてもよい。

上記実施形態および変形例では、ＣＰＵ１１が、図４〜図６に記載される各処理を実行する構成として説明したが、これら各図に記載される各処理を、複数のＣＰＵが協同的に実行する構成としてもよい。また、ＡＳＩＣなどのＩＣが、単独で、または、複数によって協働的に、上記各図に記載される各処理を実行する構成してもよい。また、ＣＰＵ１１とＡＳＩＣなどのＩＣとが協同して、上記各図に記載される各処理を実行する構成してもよい。また、図４〜図６に示す各処理のうち、一部の処理を、特許請求の範囲における独立請求項から逸脱しない範囲で、省略または変更してもよい。

１０：ＭＦＰ．１２ａ：制御プログラム

Claims (11)

1. 画面が表示される表示部と、
   記憶部と、
   外部装置と通信する通信部と、
   制御部と、
   を備え、
   前記画面は、処理に関連付けられた操作子を含み、
   前記記憶部は、前記操作子毎に、当該操作子に関連付けられたテキストデータを記憶し、
   前記制御部は、
   前記通信部を介して、外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されているかを判断するテキスト判断手段と、
   前記テキスト判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断された場合、当該テキストデータに関連付けられている操作子に応じた処理を実行する処理実行手段と、
   を備えていることを特徴とする処理実行装置。
2. 前記記憶部は、前記操作子毎に、当該操作子を示す第１画像に対応する画像データと、当該操作子に関連付けられたテキストデータと、当該テキストデータに基づくテキストの表示または非表示に関する属性とを関連付けて記憶し、
   前記制御部は、
   表示対象に含まれる画面に含まれる操作子に対し、テキストを表示する属性が関連付けられている場合、当該操作子について、前記第１画像と、当該操作子に対応するテキストデータに基づくテキストとを、前記表示対象の画面に表示する一方で、表示対象に含まれる画面に含まれる操作子に対し、テキストを非表示にする属性が関連付けられている場合、当該操作子について、当該操作子に対応するテキストデータに基づくテキストを表示することなく、前記第１画像を前記表示対象の画面に表示する表示手段を備えていることを特徴とする請求項１記載の処理実行装置。
3. 前記画面は、背景画像と、当該背景画像上に表示される前記操作子を含み、
   前記表示手段は、表示対象に含まれる画面に含まれる操作子に対し、テキストを表示する属性が関連付けられている場合、当該操作子について、前記第１画像と、当該操作子に対応するテキストデータに基づくテキストとを、前記表示対象の画面の背景画像上に表示する一方で、表示対象に含まれる画面に含まれる操作子に対し、テキストを非表示にする属性が関連付けられている場合、当該操作子について、当該操作子に対応するテキストデータに基づくテキストを表示することなく、前記第１画像を前記表示対象の画面の背景画像上に表示することを特徴とする請求項２記載の処理実行装置。
4. 前記制御部は、
   前記表示部に表示中の画面がテキストを入力する画面であるかを判断する第１画面判断手段と、
   前記第１画面判断手段により、前記表示中の画面がテキストを入力する画面であると判断された場合、前記外部装置から受信したテキストデータに基づく前記処理実行手段による処理の実行を行うことなく、当該受信したテキストデータを、前記表示中の画面に対して入力されたテキストとして受け付けるテキスト受付手段と、
   を備えていることを特徴とする請求項１から３のいずれかに記載の処理実行装置。
5. 前記テキストを入力する画面は、入力されるテキストの文字種に制限がない画面と、入力されるテキストの文字種に制限がある画面とを含み、
   前記制御部は、
   前記第１画面判断手段により、前記表示中の画面がテキストを入力する画面であると判断された場合、前記外部装置から受信したテキストデータが、前記表示中の画面に入力可能な文字種から構成されるものであるかを判断する文字種判断手段と、
   前記文字種判断手段により、当該受信したテキストデータが、前記表示中の画面に入力可能な文字種から構成されるものでないと判断された場合、当該テキストデータを出力した外部装置に対し、第１エラー情報を出力する第１エラー出力手段と、
   を備え、
   前記テキスト受付手段は、前記文字種判断手段により、前記外部装置から受信したテキストデータが、前記表示中の画面に入力可能な文字種から構成されるものであると判断されたことを条件として、当該受信したテキストデータを受け付けることを特徴とする請求項４に記載の処理実行装置。
6. 前記処理実行手段は、前記第１画面判断手段により、前記表示中の画面がテキストを入力する画面であると判断され、かつ、前記テキスト判断手段により、前記外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断された場合、当該受信したテキストデータに関連付けられている操作子に応じた処理を実行し、
   前記テキスト受付手段は、前記第１画面判断手段により、前記表示中の画面がテキストを入力する画面であると判断され、かつ、前記テキスト判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていないと判断された場合、当該受信したテキストデータを受け付けることを特徴とする請求項４または５に記載の処理実行装置。
7. 前記制御部は、
   前記テキストデータとともに外部装置から受信した、前記外部装置に表示されていた画面を特定する特定情報が、前記表示部に表示中の画面を特定するものであるかを判断する第２画面判断手段と、
   前記第２画面判断手段により、前記受信した特定情報が、前記表示部に表示中の画面を特定するものでないと判断された場合、当該特定情報とともに受信したテキストデータに基づく前記処理実行手段による処理の実行を行うことなく、当該テキストデータを出力した外部装置に対し、前記表示部に表示中の画面が、前記外部装置に表示されている画面と異なることを示す第２エラー情報を出力する第２エラー出力手段と、
   を備えていることを特徴とする請求項１から６のいずれかに記載の処理実行装置。
8. 前記制御部は、
   前記テキスト判断手段により、前記外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていないと判断された場合、当該テキストデータを出力した外部装置に対し、当該テキストデータに対応する操作子が存在しないことを示す第３エラー情報を出力する第３エラー出力手段を備えていることを特徴とする請求項１から７のいずれかに記載の処理実行装置。
9. 前記テキスト判断手段は、
   前記外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されているかを判断する第１判断手段と、
   前記第１判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていないと判断された場合、当該受信したテキストデータ、または、前記記憶部に記憶されているテキストデータの一方について、大文字と小文字、および／または、全角と半角の組み合わせを変更し、変更後のテキストデータが、他方のテキストデータに相当するかを判断する第２判断手段と、を含み、
   前記テキスト判断手段は、前記第１判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断された場合、または、前記第２判断手段により、前記変更後のテキストデータが、前記他方のテキストデータに相当すると判断された場合に、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断することを特徴とする請求項１から８のいずれかに記載の処理実行装置。
10. 前記制御部は、
    時間経過とともに内容が変化するアニメーション表示が前記表示部に表示されている間、前記外部装置から受信したテキストデータを無効にする無効化手段を備えていることを特徴とする請求項１から９のいずれかに記載の処理実行装置。
11. 画面が表示される表示部と、
    記憶部と、
    外部装置と通信する通信部と、
    制御部と、を備えた処理実行装置の、前記制御部が実行可能な処理実行プログラムであって、
    前記画面は、処理に関連付けられた操作子を含み、
    前記記憶部は、前記操作子毎に、当該操作子に関連付けられたテキストデータを記憶し、
    画面を前記表示部に表示する表示手段と、
    前記通信部を介して、外部装置から受信したテキストデータに相当するテキストデータが前記記憶部に記憶されているかを判断するテキスト判断手段と、
    前記テキスト判断手段により、前記受信したテキストデータに相当するテキストデータが前記記憶部に記憶されていると判断された場合、当該テキストデータに関連付けられている操作子に応じた処理を実行する処理実行手段として、
    前記制御部を機能させることを特徴とする処理実行プログラム。