JP6197801B2 - データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラム - Google Patents

Description

この発明は、データ入力システム、データ入力装置、データ入力方法およびデータ入力プログラムに関し、特に、カメラ等の撮像機能を備えた撮像装置とデータ入力装置とを含むデータ入力システム、そのデータ入力システムで実行されるデータ入力方法およびそのデータ入力装置で実行されるデータ入力プログラムに関する。

名刺などは、個人の氏名、住所および連絡先等が記述されている。この名刺に記録された情報を電子データとしてコンピューターに入力する技術が開発されている。例えば、特開２０１０−２１８００９号公報には、アクセス用情報が記録されており、操作者により保持される媒体を撮像するための撮像手段と、前記撮像手段で撮像された前記媒体の画像情報から前記アクセス用情報を抽出するアクセス用情報検出手段と、前記撮像手段で撮像される媒体の画像情報に基づいて、前記操作者による前記媒体の移動を検出し、前記アクセス用情報検出手段で抽出したアクセス用情報を利用して、前記検出した媒体の移動に応じたアクセス処理を実行するアクセス処理実行手段と、を備え、前記アクセス処理実行手段は、前記撮像手段で撮像される画像情報を表示するモニタ画面を表示すると共に、前記抽出したアクセス用情報に基づいて、前記アクセス処理の内容を示すＵＩを生成し、生成したＵＩを前記モニタ画面の周りに表示するＵＩ生成手段と、前記モニタ画面は、前記操作者が当該モニタ画面内に前記媒体が映るようにガイダンスするために使用され、前記操作者による、前記モニタ画面に表示される前記媒体の選択する前記ＵＩ方向への移動を検出して、前記アクセス処理を選択するジェスチャー認識手段と、前記ジェスチャー認識手段で選択されたアクセス処理をアプリケーションに実行させるアプリ起動手段と、を含むことを特徴とする情報処理装置が記載されている。

しかしながら、従来の情報処理装置は、モニタ画面に被写体を撮像した画像と、モニタ画面の周りにＵＩとを表示し、被写体である媒体が移動する場合に、その移動方向がモニタ画面の周りに表示されたＵＩ方向であることを検出しなければならない。このため、モニター画面に、他の画面を表示することができない。媒体の画像情報から抽出されるアクセス用情報からアクセス処理を実行するアプリケーションが予め定められるので、媒体に記述された情報に対してアプリケーションが定められてしまうといった問題がある。このため、限られたアプリケーションを起動することができず、用途が制限されるといった問題がある。
特開２０１０−２１８００９号公報

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力システムを提供することである。

この発明の他の目的は、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力装置を提供することである。

この発明のさらに他の目的は、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力方法を提供することである。

この発明のさらに他の目的は、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力プログラムを提供することである。

上述した目的を達成するためにこの発明のある局面によれば、データ入力システムは、データ入力装置と、データ入力装置と通信可能な撮像装置と、を含むデータ入力システムであって、撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、データ入力装置は、データ入力領域を含む画面を表示する表示手段と、データ入力領域に入力されたデータを設定する設定手段と、を備えており、データ入力装置および撮像装置のいずれかは、さらに、撮像手段が出力する画像データに含まれる表示手段の表示面と、画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づいて表示面中の指示位置を検出する指示位置検出手段を備え、データ入力装置および撮像装置のいずれかは、さらに、撮像手段が出力する画像データに含まれる記録媒体に記憶された情報を検出する情報検出手段を備え、データ入力装置および撮像装置のいずれかは、さらに、検出された情報のうちからデータ入力領域に入力可能な入力情報を抽出する入力情報抽出手段を備え、設定手段は、指示位置検出手段により検出される指示位置が表示された画面内の場合、抽出された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する。

この発明の他の局面によれば、データ入力システムは、データ入力装置と、データ入力装置と通信可能な撮像装置と、を含むデータ入力システムであって、撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、データ入力装置は、データ入力領域を含む画面を表示する表示手段と、データ入力領域に入力されたデータを設定する設定手段と、を備えており、データ入力装置および撮像装置のいずれかは、さらに、撮像手段が出力する画像データに含まれる表示手段の表示面と、画像データに含まれる記録媒体との相対位置に基づいて表示面中の指示位置を検出する指示位置検出手段と、撮像手段が出力する画像に基づいて、記録媒体と表示面との相対位置の変化を検出する移動検出手段と、を備え、指示位置検出手段は、相対位置の変化が所定の値以下となった時点の記録媒体の記録媒体が表示面に対して移動する方向の端部と表示面との相対位置に基づいて、指示位置を検出し、データ入力装置および撮像装置のいずれかは、さらに、撮像手段が出力する画像データに含まれる記録媒体に記憶された情報を検出する情報検出手段を備え、データ入力装置および撮像装置のいずれかは、さらに、検出された情報のうちからデータ入力領域に入力可能な入力情報を抽出する入力情報抽出手段を備え、設定手段は、指示位置検出手段により検出される指示位置が表示された画面内の場合、抽出された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する。
この局面に従えば、被写体を撮像し、撮像して得られる画像データに含まれる記録媒体に記憶された情報を検出し、検出された情報のうちからデータ入力領域に入力可能な入力情報を抽出し、撮像して得られる画像データに含まれる表示面と記録媒体の形状が変化した部分または記録媒体の記録媒体が表示面に対して移動する方向の端部との相対位置に基づいて表示面中の指示位置を検出し、検出される指示位置が表示された画面内の場合、抽出された入力情報を、データ入力領域に入力されたデータとして設定する。このため、表示された画面のデータ入力領域に、記録媒体に記憶された情報のうちから抽出されたデータ入力領域に入力可能な入力情報が設定されるので、任意の画面に含まれるデータ入力領域にデータを設定することができる。画像データに含まれる表示面と記録媒体と記録媒体の形状が変化した部分または記録媒体の記録媒体が表示面に対して移動する方向の端部との相対位置に基づいて表示面中の指示位置を検出するので、表示された画面中の位置を特定することができる。また、ユーザーは、記録媒体と表示面との相対的な位置を変更する操作をすればよく、データ入力領域に容易にデータを設定することができる。その結果、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力システムを提供することができる。

好ましくは、データ入力装置は、指示位置検出手段と、情報検出手段と、入力情報抽出手段と、を備える。

好ましくは、撮像装置は、指示位置検出手段と、情報検出手段と、を備える。

この発明の他の局面によれば、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置であって、データ入力領域を含む画面を表示する表示手段と、データ入力領域に入力されたデータを設定する設定手段と、撮像手段から出力された画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づき検出された表示面中の指示位置を取得する指示位置取得手段と、画像データに基づき検出された、記録媒体に記憶された情報を取得する情報取得手段と、取得された情報のうちから、データ入力領域に入力可能な入力情報を取得する入力情報取得手段と、を備え、設定手段は、指示位置取得手段により取得される指示位置が表示された画面内の場合、取得された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する。

この局面に従えば、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力装置を提供することができる。

好ましくは、撮像手段が出力する画像に基づいて、記録媒体の形状の変化を検出する変化検出手段と、をさらに備え、指示位置検出手段は、形状の変化が検出された時点の記録媒体と表示面との相対位置に基づいて、指示位置に決定する。
この局面に従えば、記録媒体と表示面との相対位置を検出するタイミングを決定することができる。
好ましくは、指示位置検出手段は、記録媒体の形状が変化した部分が表示面と重なる位置を、指示位置として検出する。
この局面に従えば、表示された画面中の位置を特定することができる。
好ましくは、記録媒体は矩形であり、指示位置検出手段は、記録媒体の４辺のうち直線から変化した２つの辺で挟まれる頂角を、形状が変化した部分に決定する。
この局面に従えば、記録媒体の形状の変化を検出することができる。
この発明のさらに他の局面によれば、データ入力装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置であって、データ入力領域を含む画面を表示する表示手段と、データ入力領域に入力されたデータを設定する設定手段と、撮像手段から出力された画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体の記録媒体が表示面に対して移動する方向の端部との相対位置に基づき検出された表示面中の指示位置を取得する指示位置取得手段と、撮像手段が出力する画像に基づいて、記録媒体と表示面との相対位置の変化を検出する移動検出手段と、指示位置取得手段は、相対位置の変化が所定の値以下となった時点の記録媒体の記録媒体が表示面に対して移動する方向の端部と表示面との相対位置に基づいて、指示位置を検出し、画像データに基づき検出された、記録媒体に記憶された情報を取得する情報取得手段と、取得された情報のうちから、データ入力領域に入力可能な入力情報を取得する入力情報取得手段と、を備え、設定手段は、指示位置取得手段により取得される指示位置が表示された画面内の場合、取得された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する。
この局面に従えば、記録媒体と表示面との相対位置を検出するタイミングと、そのタイミングにおける画面中の位置を特定することができる。
好ましくは、指示位置検出手段は、記録媒体と表示面との相対位置が変化している間に記録媒体の記録媒体が表示面に対して移動する方向の端部が、相対位置の変化が所定の値以下となった時点で表示面と重なる位置を指示位置として検出する。
好ましくは、指示位置取得手段は、撮像装置から撮像装置により検出された表示面中の指示位置を取得する。

好ましくは、情報取得手段は、撮像装置から受信された撮像手段が出力する画像データに基づいて、記録媒体に記憶された情報を検出する。

好ましくは、入力情報取得手段は、記録媒体に記憶された情報のうちからデータ入力領域に入力可能な入力情報を抽出する。

好ましくは、入力情報取得手段は、画面に含まれるデータ入力領域に入力可能なデータを定めるデータ定義情報に基づいて、入力情報を抽出する。

この局面に従えば、表示された画面にデータを入力することができる。

好ましくは、入力情報取得手段は、表示された画面が複数のデータ入力領域を有する場合、複数のデータ入力領域にそれぞれ対応する複数の入力情報を抽出する。

この局面に従えば、表示された画面が複数のデータ入力領域を含む場合、一度に複数のデータ入力領域それぞれにデータを設定することができる。

好ましくは、設定手段は、指示位置が、表示された画面に含まれるデータ入力領域内の場合、指示位置を含むデータ入力領域に入力されたデータとして、データ入力領域に入力可能な入力情報として抽出された入力情報を設定する。

好ましくは、表示手段に表示された画面が表示手段の表示面に配置される位置を示す画面配置情報を取得する画面配置情報取得手段を、さらに備え、設定手段は、画面配置情報に基づいて、表示手段に表示された画面の位置を決定する。

この局面に従えば、複数の画面が表示される場合であってもそれらのうち１つの画面のデータ入力領域にデータを入力することができる。

好ましくは、設定手段は、表示手段に表示された画面に含まれるデータ入力領域が画面に配置される位置を示す領域配置情報に基づいて、表示手段に表示された画面中のデータ入力領域の位置を決定する。

この局面に従えば、画面が複数のデータ入力領域を含む場合に、１つのデータ入力領域を特定することができる。

好ましくは、撮像手段が出力する画像に基づいて、記録媒体の形状の変化を検出する変化検出手段と、をさらに備え、指示位置検出手段は、形状の変化が検出された時点の記録媒体と表示面との相対位置に基づいて、指示位置に決定する。

この発明のさらに他の局面によれば、データ入力方法は、データ入力装置と、データ入力装置と通信可能な撮像装置と、を含むデータ入力システムで実行されるデータ入力方法であって、撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、データ入力装置は、データ入力領域を含む画面を表示する表示手段を、備えており、データ入力装置および撮像装置のいずれかに、撮像手段が出力する画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づき検出された表示面中の指示位置を取得する指示位置取得ステップを実行させ、データ入力装置および撮像装置のいずれかに、撮像手段が出力する画像データに含まれる記録媒体に記憶された情報を検出する情報検出ステップを実行させ、データ入力装置および撮像装置のいずれかに、取得された情報のうちから抽出されたデータ入力領域に入力可能な入力情報を取得する入力情報取得ステップを実行させ、データ入力装置に、指示位置取得ステップにおいて取得される指示位置が表示された画面内の場合に、取得された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する設定ステップを実行させる。

この局面に従えば、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力方法を提供することができる。
この発明のさらに他の局面によれば、データ入力方法は、データ入力装置と、データ入力装置と通信可能な撮像装置と、を含むデータ入力システムで実行されるデータ入力方法であって、撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、データ入力装置は、データ入力領域を含む画面を表示する表示手段を、備えており、データ入力装置および撮像装置のいずれかに、撮像手段が出力する画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体との相対位置に基づき検出された表示面中の指示位置を取得する指示位置取得ステップと、撮像手段が出力する画像に基づいて、記録媒体と表示面との相対位置の変化を検出する移動検出ステップと、を実行させ、指示位置取得ステップは、相対位置の変化が所定の値以下となった時点の記録媒体の記録媒体が表示面に対して移動する方向の端部と表示面との相対位置に基づいて、指示位置を検出するステップを含み、データ入力装置および撮像装置のいずれかに、撮像手段が出力する画像データに基づき検出された、記録媒体に記憶された情報を取得する情報取得ステップを実行させ、データ入力装置および撮像装置のいずれかに、取得された情報のうちから抽出された、データ入力領域に入力可能な入力情報を取得する入力情報取得ステップを実行させ、データ入力装置に、指示位置取得ステップにおいて取得される指示位置が表示された画面内の場合に、取得された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する設定ステップを実行させる。

この発明のさらに他の局面によれば、データ入力プログラムは、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置を制御するコンピューターで実行されるデータ入力プログラムであって、データ入力装置は、データ入力領域を含む画面を表示する表示手段を備えており、撮像装置から撮像手段が出力する画像データを受信する画像データ受信ステップと、受信された画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づいて表示面中の指示位置を検出する指示位置検出ステップと、受信された画像データに基づいて、記録媒体に記憶された情報を検出する情報検出ステップと、検出された情報のうちからデータ入力領域に入力可能な入力情報を抽出する入力情報抽出ステップと、指示位置検出ステップにおいて検出される指示位置が表示された画面内の場合に、抽出された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する設定ステップと、をコンピューターに実行させる。

この局面に従えば、任意のアプリケーションプログラムを実行する場合におけるデータを入力する操作を容易にしたデータ入力プログラムを提供することができる。
この発明のさらに他の局面によれば、データ入力プログラムは、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置を制御するコンピューターで実行されるデータ入力プログラムであって、データ入力装置は、データ入力領域を含む画面を表示する表示手段を備えており、撮像装置から撮像手段が出力する画像データを受信する画像データ受信ステップと、受信された画像データに含まれる表示手段の表示面と画像データに含まれる記録媒体との相対位置に基づいて表示面中の指示位置を検出する指示位置検出ステップと、受信された画像データに基づいて、記録媒体と表示面との相対位置の変化を検出する移動検出ステップと、指示位置検出ステップは、相対位置の変化が所定の値以下となった時点の記録媒体の記録媒体が表示面に対して移動する方向の端部と表示面との相対位置に基づいて、指示位置を検出するステップを含み、受信された画像データに基づいて、記録媒体に記憶された情報を検出する情報検出ステップと、検出された情報のうちからデータ入力領域に入力可能な入力情報を抽出する入力情報抽出ステップと、指示位置検出ステップにおいて検出される指示位置が表示された画面内の場合に、抽出された入力情報を、表示された画面に含まれるデータ入力領域に入力されたデータとして設定する設定ステップと、をコンピューターに実行させる。

本発明の実施の形態におけるデータ入力システムの全体概要の一例を示す図である。 本実施の形態におけるＭＦＰの外観を示す斜視図である。 本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。 本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。 本実施の形態におけるＰＣのハードウェア構成の一例を示すブロック図である。 ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。 本実施の形態におけるＨＭＤが備えるＣＰＵが有する機能の一例を示すブロック図である。 ＭＦＰに表示される操作画面の一例を示す図である。 ＨＭＤが備えるカメラが出力する画像データの一例を示す第１の図である。 データが入力された後の操作画面の一例を示す第１の図である。 第１の実施の形態における操作受付処理の流れの一例を示すフローチャートである。 データ入力処理の流れの一例を示すフローチャートである。 ＰＣに表示される操作画面の一例を示す図である。 ＨＭＤが備えるカメラが出力する画像データの一例を示す第２の図である。 データが入力された後の操作画面の一例を示す第２の図である。 アプリ切換処理の流れの一例を示すフローチャートである。 第２の実施の形態におけるＭＦＰが備えるＣＰＵが有する機能の一例を示すブロック図である。 第２の実施の形態におけるＨＭＤが備えるＣＰＵが有する機能の一例を示すブロック図である。 第２の実施の形態における操作受付処理の流れの一例を示すフローチャートである。 遠隔制御処理の流れの一例を示す第１のフローチャートである。 遠隔制御処理の流れの一例を示す第２のフローチャートである。 第２の実施の形態の変形例におけるＰＣが備えるＣＰＵが実行するアプリ切換処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、本発明の実施の形態におけるデータ入力システムの全体概要の一例を示す図である。図１を参照して、データ入力システム１は、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）２００と、パーソナルコンピューター（以下「ＰＣ」という）３００と、を含む。

ＨＭＤ２００は、メガネの形状をしており、ユーザーにより装着されて使用される。ＨＭＤ２００は、撮像装置として機能し、被写体を撮像する撮像機能、無線ＬＡＮを用いた通信機能を少なくとも備えている。また、ＨＭＤ２００は、メガネのレンズ部分に画像を表示する表示機能を備えており、ＨＭＤ２００を装着するユーザーは、レンズを通して被写体を視認すると同時に、レンズに表示された画像を視認することができる。

ＭＦＰ１００は、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。

ＰＣ３００は、一般的なコンピューターである。それらのハードウェア構成および機能は周知なので、ここでは説明を繰り返さない。

無線局３、ＭＦＰ１００、およびＰＣ３００それぞれは、ネットワーク２に接続される。ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）であってもよい。

ネットワーク２は、さらに、インターネットに接続されてもよい。この場合、無線局３、ＭＦＰ１００、およびＰＣ３００それぞれは、ネットワーク２を介してインターネットに接続されたコンピューターと互いに通信可能である。無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮを用いた通信機能を備えたＨＭＤ２００と通信して、ＨＭＤ２００をネットワーク２に接続する。このため、ＨＭＤ２００は、ＭＦＰ１００およびＰＣ３００と互いに通信可能である。

なお、ＨＭＤ２００に代えて、写体を撮像する撮像機能、画像を表示する表示機能、無線ＬＡＮを用いた通信機能を備えていれば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用される携帯情報装置を用いるようにしてもよい。

図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。

後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。

メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。

ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。

操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネル１６５をさらに含む。

通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、ＨＭＤ２００、ＰＣ３００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネット５に接続されたコンピューターと通信が可能である。

近距離通信部１１９は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格のＧＡＰ（Ｇｅｎｅｒｉｃ Ａｃｃｅｓｓ Ｐｒｏｆｉｌｅ）等に基づき、ＨＭＤ２００と無線により通信する。近距離通信部１１９は、ＨＭＤ２００との間の距離が通信可能な距離以下となると、ＨＭＤ２００と通信する。近距離通信部１１９が通信可能な距離は、数ｍである。また、近距離通信部１１９は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の近距離無線通信方式で通信するようにしてもよい。この場合において、近距離通信部１１９が通信可能な距離は、数十ｃｍである。

ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。

外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）などの半導体メモリであってもよい。

また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

図４は、本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。図４を参照して、本実施の形態におけるＨＭＤ２００は、ＨＭＤ２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、情報を表示する表示部２０４と、無線ＬＡＮＩ／Ｆ２０５と、操作部２０６と、近距離通信部２０７と、を含む。

カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。カメラ２０２は、動画像の画像データを出力する。なお、ＨＭＤ２００に代えて、動画像を撮像可能であれば、ビデオカメラを用いてもよい。

表示部２０４は、透明な部材からなる液晶表示装置（ＬＣＤ）であり、ＨＭＤ２００のレンズの表面に埋め込まれている。表示部２０４の表示面は、ユーザーがＨＭＤ２００を装着した場合における視界と同じになるように配置される。このため、ユーザーの視界内の任意の位置に画像を表示することができる。カメラ２０２の光軸および撮像範囲は、表示部２０４の表示面を基準に定まる位置に配置される。具体的には、カメラ２０２の光軸および撮像範囲は、ユーザーがＨＭＤ２００を装着した場合における視界と同じになるように設定される。このため、カメラ２０２で撮像して得られる画像は、ユーザーが実際に見る視界内の画像とほぼ同じになる。

無線ＬＡＮＩ／Ｆ２０５は、無線局３と通信し、ＨＭＤ２００をネットワーク２に接続するためのインターフェースである。ＨＭＤ２００に、ＭＦＰ１００、ＰＣ３００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、無線ＬＡＮＩ／Ｆ２０５は、ＭＦＰ１００、ＰＣ３００と通信することができ、データの送受信が可能となる。

近距離通信部２０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格のＧＡＰ等に基づき、ＭＦＰ１００，ＰＣ３００と無線により通信を行う。近距離通信部２０７は、ＭＦＰ１００またはＰＣ３００との間の距離が通信可能な距離以下となると、ＭＦＰ１００またはＰＣ３００と通信する。近距離通信部２０７が通信可能な距離は、数ｍである。また、近距離通信部２０７は、ＮＦＣの近距離無線通信方式で通信するようにしてもよい。この場合において、近距離通信部２０７が通信可能な距離は、数十ｃｍである。

なお、近距離通信部２０７は、ＭＦＰ１００またはＰＣ３００と通信可能になると、ＭＦＰ１００またはＰＣ３００との間の通信を無線ＬＡＮＩ／Ｆ２０５にハンドオーバーしてもよい。この場合、無線ＬＡＮＩ／Ｆ２０５は、ＭＦＰ１００またはＰＣ３００との間で通信経路を確立するためのネゴシエーションをする必要がないので、通信経路の確立が容易になる。ＨＭＤ２００は、近距離通信部２０７および無線ＬＡＮＩ／Ｆ２０５の何れを用いて通信してもよい。

フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。この場合、ネットワーク２またはインターネットに接続された他のコンピューターが、フラッシュメモリ２０３に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＨＭＤ２００が、ネットワーク２またはインターネットに接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをフラッシュメモリ２０３に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

操作部２０６は、マイクロホンを含み、ユーザーが発声する音声をマイクロホンで集音し、収音された音声を認識することにより、ユーザーによる指示を受け付ける。例えば、複数の操作それぞれに対応するコマンドの名称を定めておき、音声を認識して得られる文字情報と同じコマンドの名称が存在すれば、そのコマンドの名称に対応するコマンドの実行を指示する操作を受け付ける。また、音声認識により得られる文字情報を、入力された値、例えば、文字列、数列として受け付ける。また、操作部２０６は、ユーザーの視線を検出する視線検知センサーを含み、視線検知センサーによって検出された視線と表示部２０４に表示された画像とから、表示された画像中でユーザーが視認している部分を特定することにより、処理対象部分を特定する操作を受け付ける。例えば、表示部２０４に許可を受け付けるためのボタンの画像を表示し、視線検知センサーにより検出された視線がボタンの画像中の位置ならば、ユーザーが許可を受け付けるためのボタンを指示する操作を受け付ける。

図５は、本実施の形態におけるＰＣのハードウェア構成の一例を示すブロック図である。図５を参照して、ＰＣ３００は、ＰＣ３００の全体を制御するためのＣＰＵ３０１と、ＣＰＵ３０１が実行するためのプログラムを記憶するＲＯＭ３０２と、ＣＰＵ３０１の作業領域として使用されるＲＡＭ３０３と、データを不揮発的に記憶するＨＤＤ３０４と、ＣＰＵ３０１をネットワーク２に接続する通信部３０５と、情報を表示する表示部３０６と、ユーザーの操作の入力を受け付ける操作部３０７と、外部記憶装置３０８と、近距離通信部３１１を含む。

ＣＰＵ３０１は、ＲＯＭ３０２またはＨＤＤ３０４に記憶されたプログラムをＲＡＭ３０２にロードして実行する。外部記憶装置３０８は、プログラムを記憶したＣＤ−ＲＯＭ３０９が装着可能である。ＣＰＵ３０１は、外部記憶装置３０８を介してＣＤ−ＲＯＭ３０９にアクセス可能である。ＣＰＵ３０１は、ＣＤ−ＲＯＭ３０９に記録されたプログラムをＲＡＭ３０２にロードして実行することが可能である。

なお、ＣＰＵ３０１が実行するプログラムとして、ＲＯＭ３０２、ＨＤＤ３０４またはＣＤ−ＲＯＭ３０９に記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、ＨＤＤ３０４に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ３０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

なお、ＣＰＵ３０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ３０９に限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリであってもよい。

近距離通信部３１１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格のＧＡＰ等に基づき、ＨＭＤ２００と無線により通信を行う。近距離通信部３１１は、ＨＭＤ２００との間の距離が通信可能な距離以下となると、ＨＭＤ２００と通信する。近距離通信部３０９が通信可能な距離は、数ｍである。また、近距離通信部３１１は、ＮＦＣの近距離無線通信方式で通信するようにしてもよい。この場合において、近距離通信部２０７が通信可能な距離は、数十ｃｍである。

本実施の形態におけるデータ入力システム１は、ユーザーが、記録媒体に描かれた情報を、ＭＦＰ１００に入力する操作を容易にする。ここでは、説明のために、記録媒体の一例として名刺を用い、その名刺には、氏名、住所、電話番号、ファクシミリ番号および電子メールアドレスの文字列が記述されている場合を例に説明する。ユーザーは、ＭＦＰ１００が備える操作部１６３を操作して、ＭＦＰ１００に、ユーザーごとの宛先情報を管理するアプリケーションプログラムを実行させ、ＭＦＰ１００に操作パネル１６０に宛先入力画面を表示させる。宛先入力画面は、ユーザーの氏名、住所、電話番号、ファクシミリ番号および電子メールアドレスを入力する領域を含む。そして、ユーザーは、名刺に記載された氏名、住所、電話番号、ファクシミリ番号および電子メールアドレスを視認して、ＭＦＰ１００が備える操作部１６３を操作して、ＭＦＰ１００に入力することができる。しなしながら、操作部１６３を操作して名刺に描かれた情報を入力しなければならず、操作回数が多く、誤入力もあり得る。本実施の形態におけるデータ入力システム１は、この入力操作を容易にしている。

以下、この入力操作について詳しく説明する。ここでは、ユーザーが、ＨＭＤ２００を装着して、ＭＦＰ１００と所定の距離まで近づくと、ＭＦＰ１００と通信し、カメラ２０２で撮像した画像をＭＦＰ１００に送信する。

図６は、ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。図６に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶されたデータ入力プログラムおよびアプリケーションプログラムを実行することにより、ＣＰＵ１１１に形成される機能である。なお、図６に示すＣＰＵ１１１の各機能は、入力に対して予め定められた処理を実行し、処理結果を出力する。このため、ＣＰＵ１１１の各機能は、リレー等を用いた電子回路で実現することができる。

図６を参照して、ＣＰＵ１１１は、ＨＭＤ２００から画像データを受信する画像データ受信部５１と、画面配置情報取得部５３と、指示位置検出部５５と、記録媒体抽出部５７と、形状変化検出部５９と、表示部１６１を制御する表示制御部６１と、設定部６３と、入力情報決定部６５と、情報検出部６７と、アプリケーション実行部７３と、を含む。

アプリケーション実行部７３は、ユーザーが、操作部１６３を操作して、アプリケーションプログラムを指定し、実行を指示すれば、ＣＰＵ１１１がアプリケーションプログラムを実行する。アプリケーション実行部７３は、ＣＰＵ１１１がアプリケーションプログラムを実行するタスクである。アプリケーション実行部７３は、表示制御部６１に画面を出力するとともに、画面情報を画面情報取得部６９に出力する。画面情報は、対応する画面を識別するための画面識別情報と、領域情報とを含む。領域情報は、その画面に含まれるデータを入力する１以上のデータ入力領域ごとに、そのデータ入力領域を識別するための領域識別情報と、そのデータ入力領域の画面中の位置を示す領域配置情報と、そのデータ入力領域に入力可能なデータを定めるデータ定義情報と、を含む。領域配置情報は、データ入力領域が矩形の場合には、データ入力領域の２つの対角の画面における座標とすればよい。

ここでは、ＣＰＵ１１１が、アプリケーションプログラムの１つであるＭＦＰ１００を制御するための制御プログラムを実行する場合を例に説明する。より具体的には、ＣＰＵ１１１が制御プログラムを実行することによって実行する処理のうち、宛先情報を管理する処理について具体的に説明する。宛先情報を管理するプログラムは、ユーザーにより入力される宛先情報を登録する処理を含む。アプリケーション実行部７３は、制御プログラムを実行することにより、宛先情報を入力するための宛先入力画面を表示制御部６１に出力するとともに、その宛先入力画面に対応する画面情報を画面情報取得部６９に出力する。宛先入力画面は、登録するユーザーの氏名、住所、電話番号、ファクシミリ番号および電子メールアドレスを入力するためのデータ入力領域を含む。この場合、画面情報は、宛先入力画面の画面識別情報に加えて、氏名、住所、電話番号、ファクシミリ番号および電子メールアドレスそれぞれに対応する領域配置情報とデータ定義情報と、を含む。例えば、氏名に対応するデータ定義情報は、氏名であることを示す情報と、文字の属性と、文字数とを含む。住所に対応するデータ定義情報は、住所であることを示す情報と、文字の属性と、文字数とを含む。電話番号に対応するデータ定義情報は、電話番号であることを示す情報と、数字の属性と、数列の数とを含む。ファクシミリ番号に対応するデータ定義情報は、ファクシミリ番号であることを示す情報と、数字の属性と、数列の数とを含む。電子メールアドレスに対応するデータ定義情報は、電子メールアドレスであることを示す情報と、文字の属性と、文字数とを含む。

表示制御部６１は、表示部１６１を制御し、アプリケーション実行部７３から画面が入力されることに応じて、その画面を表示部１６１に表示する。表示制御部６１は、複数の画面を表示部１６１に表示する場合がある。表示制御部６１は、表示部１６１に複数の画面を表示する場合、複数の画面のうち１つをカレント状態の画面に設定する。表示部１６１に表示された複数の画面のうちカレント状態に設定される画面のみが有効になり、ユーザーが操作部１６３に入力する操作はカレント状態に設定された画面に対する操作として受け付けられる。表示制御部６１は、アプリケーション実行部７３からの指示に基づいて、表示部１６１に表示された複数の画面のうち１つをカレント状態の画面に設定する。表示制御部６１は、カレント状態の画面を、他の画面と異なる表示形態で表示する。表示制御部６１が複数の画面を表示部１６１に表示する場合は、ＣＰＵ１１１が複数のアプリケーションプログラムを実行する場合、または、ＣＰＵ１１１が１つのアプリケーションプログラムを実行する場合であって、アプリケーション実行部７３から複数の画面が入力される場合である。表示制御部６１は、複数の画面のうち１つをカレント状態に設定するごとに、カレント状態の画面の画面配置情報を画面配置情報取得部５３に出力する。画面配置情報は、画面を識別するための画面識別情報と、その画面が表示部１６１の表示面中で配置される位置を示す位置情報を含む。画面が矩形の場合には、位置情報は２つの対角の表示面における座標とすればよい。なお、ＣＰＵ１１１が複数のアプリケーションプログラムを実行する場合には、画面識別情報は、アプリケーションプログラムを識別するためのアプリ識別情報を含む。

画面配置情報取得部５３は、表示制御部６１から画面配置情報が入力されることに応じて、画面配置情報を指示位置検出部５５に出力する。

画面情報取得部６９は、アプリケーション実行部７３から画面情報が入力されることに応じて、画面情報を指示位置検出部５５、設定部６３および入力情報決定部６５に出力する。

画像データ受信部５１は、近距離通信部１１９および／または通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間で通信経路を確立し、ＨＭＤ２００から画像データを受信する。ＨＭＤ２００の詳細は、後述するが、ＨＭＤ２００は、ＭＦＰ１００との間で通信経路を確立すると、カメラ２０２で撮像して得られる画像データをＭＦＰ１００に送信する。ＨＭＤ２００が送信する画像データは、被写体を撮像して得られる動画像である。なお、動画像は、所定の時間間隔で撮像される静止画像であってもよい。所定の時間間隔は、２つの画像の違いからユーザーの動きを検出できる間隔であればよい。例えば、１秒以内である。画像データ受信部５１は、例えば、近距離通信部１１９または通信Ｉ／Ｆ部１１２がＨＭＤ２００と通信可能になると、近距離通信部１１９または通信Ｉ／Ｆ部１１２を介してＨＭＤ２００から画像データを受信する。また、画像データ受信部５１は、近距離通信部１１９がＨＭＤ２００と通信可能になるとＨＭＤ２００とネゴシエーションすることによって、通信Ｉ／Ｆ部１１２を介してＨＭＤ２００と通信するための設定をし、通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間の通信経路を確立する。そして、画像データ受信部５１は、通信Ｉ／Ｆ部１１２を介してＨＭＤから画像データを受信する。画像データ受信部５１は、ＨＭＤ２００から受信される画像データを、指示位置検出部５５、形状変化検出部５９および記録媒体抽出部５７に出力する。

記録媒体抽出部５７は、画像データから記録媒体の画像を抽出する。記録媒体抽出部５７は、画像データと記録媒体の画像の部分との組を情報検出部６７、形状変化検出部５９および指示位置検出部５５に出力する。画像データ受信部５１から異なる時間に入力される２以上の画像データから静止部分と同物体部分とを区別し、同物体部分を記録媒体の画像を含む部分として抽出する。静止部分は、２つの画像間で同じ部分である。また、ＨＭＤ２００は、ユーザーが装着するため、カメラ２０２の光軸が移動する場合がある。このため、画像データ受信部５１から異なる時刻に入力される２つの画像データ間で同一または類似する特徴点を複数抽出し、抽出した複数の特徴点が２つの画像で重なるように２つの画像を上下左右に移動させれば、カメラ２０２の光軸が移動することによる画像のずれを補正することができる。

ここでは、記録媒体を名刺としており、ユーザーが名刺を手に持っている状態を想定している。このため、画像データから動物体部分を抽出するのとは別に、または、これに加えて、画像データからユーザーの手または指の部分を、指の肌の色または爪などの形状の特徴から抽出し、抽出された指の部分と重なる領域を名刺の画像の部分として抽出するようにしてもよい。また、記録媒体を名刺とする場合には、名刺の形状および色の特徴から名刺の画像の部分を抽出するようにしてもよい。例えば、名刺の色が白色であることが分かっていれば、画像データ中で白色の部分を名刺の画像の部分として抽出するようにしてもよい。

形状変化検出部５９は、画像データ受信部５１から画像データが入力され、記録媒体抽出部５７から画像データと記録媒体の部分との組が入力される。形状変化検出部５９は、記録媒体の形状の変化を検出する。記録媒体抽出部５７から画像データと記録媒体の部分との組が入力された後、画像データ受信部５１から入力される画像データを用いて、記録媒体の形状の変化を検出する。具体的には、形状変化検出部５９は、画像データ受信部５１から入力される画像データ中で、記録媒体抽出部５７から入力される記録媒体の部分と同じ部分を抽出し、２つの部分を比較する。形状変化検出部５９は、２つの部分の形状が異なる場合、記録媒体の形状の変化を検出する。形状変化検出部５９は、記録媒体の形状の変化を検出することに応じて、画像データ受信部５１から入力される画像データ中で形状が変化した部分の位置を示す位置情報を、指示位置検出部５５に出力する。

ユーザーが、名刺の４つの頂点のいずれか１つを表示部１６１の表示面に押し当てる場合に、名刺の形状が変化する。名刺は矩形なので、名刺の形状が変化するのは４つの頂点のいずれかの部分である。画像データ受信部５１から入力される画像データは二次元なので、名刺の４辺のうち直線から曲線に変化する２つの辺に基づいて、名刺の形状が変化した頂点を検出する。具体的には、形状変化検出部５９は、名刺の４辺のうち形状が変化した２つの辺で挟まれる頂角の部分を形状が変化した頂点に決定する。

情報検出部６７は、画像データ中で記録媒体の画像の部分を文字認識し、文字情報を生成する。情報検出部６７は、生成された文字情報を、入力情報決定部６５に出力する。情報検出部６７は、画面情報取得部６９から入力される画面情報に含まれるデータ定義情報を用いて、記録媒体の画像の部分のうちから、データ定義情報で定める特徴的な文字の画像を含む周辺の部分を、文字認識する。これにより、記録媒体の画像の部分の全体を文字認識する必要がなく、文字認識する処理する時間を短くすることができる。なお、ユーザーが、入力の対象となるデータが記述された領域に、他の部分と異なる色等でマークする場合、そのマークが付されたデータのみを文字認識してもよい。

入力情報決定部６５は、情報検出部６７から文字情報が入力され、画面情報取得部６９から画面情報が入力される。入力情報決定部６５は、画面情報に含まれる領域情報に基づいて、データ入力領域ごとに、文字情報のうちからそのデータ入力領域に対応するデータ定義情報で定められた特徴に一致する部分を検出する。

例えば、住所を入力するためのデータ入力領域に対応するデータ定義情報は、住所であることを示す情報と、文字の属性と、文字数とを含む。このため、文字情報のうちから文字列の部分であって、住所に含まれる特徴的な文字を含む文字列の部分を、住所に対応する文字列に決定する。住所に含まれる特徴的な文字は、例えば、「都」、「道」、「府」、「県」、「市」、「町」、「村」の文字である。また、住所に含まれる特徴的な文字列「郵便番号」、郵便番号の記号「〒」に隣接する部分を、抽出するようにしてもよい。

氏名を入力するデータ入力領域に対応するデータ定義情報は、氏名であることを示す情報と、文字の属性と、文字数とを含む。このため、文字情報のうちから数字以外の文字列の部分であって、文字数以下の文字列の部分を、氏名に対応する文字列に決定する。また、名刺において、氏名の文字列は、他の文字列よりもサイズが大きく記載されることが多いので、サイズの大きな文字列を氏名に決定するようにしてもよい。

電話番号を入力するデータ入力領域に対応するデータ定義情報は、電話番号であることを示す情報と、数字の属性と、数列の数とを含む。このため、文字情報のうちから数列の部分であって、数列の数と一致する部分を、電話番号に対応する文字列に決定する。また、名刺において、電話番号の数例は、電話番号を示す文字列「電話番号」、「ｐｈｏｎｅ」の近傍に配置される場合が多いので、それらの文字列の近傍に配置された数列の部分を検出するようにしてもよい。

ファクシミリ番号を入力するデータ入力領域に対応するデータ定義情報は、ファクシミリ番号であることを示す情報と、数字の属性と、数列の数とを含む。このため、文字情報のうちから数列の部分であって、数列の数と一致する部分を、ファクシミリ番号に対応する文字列に決定する。また、名刺において、ファクシミリ番号の数例は、ファクシミリ番号を示す文字列「ファクシミリ」、「ＦＡＸ」の近傍に配置される場合が多いので、それらの文字列の近傍に配置された数列の部分を検出するようにしてもよい。

電子メールアドレスを入力するデータ入力領域に対応するデータ定義情報は、電子メールアドレスであることを示す情報と、文字の属性と、文字数とを含む。このため、文字情報のうちから文字列または数列の部分であって、電子メールアドレスに含まれる特徴的な文字である「＠」を含む文字列の部分を、電子メールアドレスに対応する文字列に決定する。また、電子メールアドレスを示す文字列「Ｅ−ｍａｉｌ」の近傍に配置される場合が多いので、その文字列の近傍に配置された数列の部分を検出するようにしてもよい。

入力情報決定部６５は、データ入力領域ごとに抽出した文字情報の部分を入力データに決定し、そのデータ入力領域の領域識別情報と、入力データと、画面識別情報と、の組を設定部６３に出力する。画面情報が、複数のデータ入力領域にそれぞれ対応する複数の領域情報を含む場合には、複数のデータ入力領域ごとに、領域識別情報と入力データと画面識別情報との組を設定部６３に出力する。

指示位置検出部５５は、画像データ受信部５１から画像データが入力され、画面配置情報取得部５３からカレント状態の画面の画面配置情報が入力され、画面情報取得部６９から画面情報が入力され、記録媒体抽出部５７から画像データと記録媒体の部分との組が入力される。指示位置検出部５５は、形状変化検出部５９から形状が変化した部分の位置を示す位置情報が入力されることに応じて、画像データ受信部５１から入力される画像データ中で、形状変化検出部５９から入力される位置情報で特定される位置を、ユーザーにより指示された指示位置として検出する。

指示位置検出部５５は、指示位置を検出する場合、指示位置が、画面配置情報取得部５３から入力される画面配置情報で特定されるカレント状態の画面内の場合、設定部６３に一括設定指示を出力する。一括設定指示は、カレント状態の画面の画面識別情報を含む。さらに、指示位置検出部５５は、指示位置を検出する場合、指示位置が、カレント状態の画面内のデータ入力領域内か否かを判断する。具体的には、指示位置検出部５５は、画面情報取得部６９から入力される画面情報に含まれる領域情報の領域配置情報に基づいて、カレント状態の画面中のデータ入力領域を特定する。そして、指示位置検出部５５は、指示位置が、画像データ中のカレント状態の画面内であって、データ入力領域内の場合、設定部６３に個別設定指示を出力する。個別設定指示は、カレント状態の画面の画面識別情報と、特定されたデータ入力領域の領域識別情報と、を含む。

設定部６３は、画面情報取得部６９から画面情報が入力され、指示位置検出部５５から一括設定指示、または一括設定指示と個別設定指示の組と、が入力される。設定部６３は、個別設定モードまたは一括設定モードのいずれかに設定モードが設定される。設定部６３は、表示制御部６１が同時に複数の画面を表示部１６１に表示している場合に、一括設定モードに設定し、表示制御部６１が同時に単一の画面を表示部１６１に表示している場合に個別設定モードに設定する。また、設定部６３は、ユーザーによる操作によって、設定モードを一括設定モードと個別設定モードのいずれかに設定する。ユーザーが予め設定モードを設定するようにしてもよい。

設定部６３は、設定モードが個別設定モードに設定されている場合、指示位置検出部５５から個別設定指示が入力される場合、入力情報決定部６５から入力される領域識別情報と入力データと画面識別情報との組のうちから個別設定指示に含まれる画面識別情報と領域識別情報と同じ画面識別情報と領域識別情報とを含む組を抽出し、抽出された組に基づいて入力データを設定する。具体的には、抽出された組に含まれる入力データを、その組に含まれる画面識別情報で特定される画面のその組に含まれる領域識別情報で特定されるデータ入力領域に設定する。

設定部６３は、設定モードが一括設定モードに設定されている場合、指示位置検出部５５から一括設定指示が入力される場合、入力情報決定部６５から入力される領域識別情報と入力データと画面識別情報との組のうちから一括設定指示に含まれる画面識別情報と同じ画面識別情報を含む組をすべて抽出し、抽出された１以上の組に基づいて入力データを設定する。具体的には、抽出された１以上の組それぞれにおいて、その組に含まれる入力データを、その組に含まれる画面識別情報で特定される画面のその組に含まれる領域識別情報で特定されるデータ入力領域に設定する。

図７は、本実施の形態におけるＨＭＤが備えるＣＰＵが有する機能の一例を示すブロック図である。図７に示す機能は、ＨＭＤ２００が備えるＣＰＵ２０１が、フラッシュメモリ２０３に記憶されたデータ入力プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図７を参照して、ＨＭＤ２００が備えるＣＰＵ２０１は、撮像制御部２５１と、画像データ送信部２５３と、通信制御部２５５と、を含む。

撮像制御部２５１は、カメラ２０２を制御し、カメラ２０２が被写体を撮像して出力する画像データを取得する。撮像制御部２５１は、操作部２０６がユーザーによる撮像指示を受け付けると、カメラ２０２に被写体を撮像させる。撮像制御部２５１は、カメラ２０２が出力する画像データを画像データ送信部２５３に出力する。カメラ２０２が、ＭＦＰ１００の備える表示部１６１と名刺とを被写体とする場合、カメラ２０２が出力する画像データは、表示部１６１の画像と名刺の画像とを含む。

通信制御部２５５は、近距離通信部２０７がＭＦＰ１００と通信可能になるとＭＦＰ１００とネゴシエーションすることによって、通信Ｉ／Ｆ部２０５を介してＭＦＰ１００と通信するための設定をし、通信Ｉ／Ｆ部２０５を制御して、ＭＦＰ１００との間の通信経路を確立する。通信制御部２５５は、ＭＦＰ１００との間で通信経路を確立すると、通信経路を識別するための経路識別情報を画像データ送信部２５３に出力する。また、通信制御部２５５は、近距離通信部２０７または通信Ｉ／Ｆ部２０５を制御して、ＭＦＰ１００との間で通信経路を確立するようにしてもよい。

画像データ送信部２５３は、通信制御部２５５から経路識別情報が入力されると、通信Ｉ／Ｆ部２０５を制御して、撮像制御部２５１から入力される画像データをＭＦＰ１００に送信する。

図８は、ＭＦＰに表示される操作画面の一例を示す図である。図８を参照して、操作画面４００は、電子メールを送信するための設定画面を示している。操作画面４００は、４つのデータ入力領域４０１，４０３，４０５，４０７を含む。データ入力領域４０１は、電子メールの送信先のアドレスを入力するための領域である。データ入力領域４０３は、電子メールを、カーボンコピーのモードで送信する送信先のアドレスを入力するための領域である。データ入力領域４０５は、電子メールを、ブラックカーボンコピーのモードで送信する送信先のアドレスを入力するための領域である。データ入力領域４０７は、電子メールに添付するファイルのファイル名を入力するための領域である。

図９は、ＨＭＤが備えるカメラが出力する画像データの一例を示す第１の図である。ここでは、ユーザーが、名刺に記述された電子メールアドレスを操作画面４００のデータ入力領域４０１に入力する操作をする場合に、ＨＭＤ２００のカメラ２０２が出力する画像データを例に示している。名刺は、ユーザーの氏名、住所、電話番号、ファクシミリ番号、電子メールアドレス、ホームページのＵＲＬと、が記述されている。この場合におけるユーザーの操作は、ユーザーが手に持った名刺の左上の頂点の部分を、表示部１６１の表示面であって、電子メールアドレスを入力するデータ入力領域４０１が表示された部分に押し付ける操作である。

図９を参照して、画像データ５００は、操作画面４００の画像と、名刺の画像４１１と、ユーザーの手の画像４２１と、を含む。具体的には、名刺の画像４１１は、氏名の画像４１３と、住所の画像４１５と、電話番号の画像４１６と、ファクシミリ番号の画像４１７と、電子メールアドレス「ａａａ＠ｂｂｂ．ｃｏｍ」の画像４１８と、ホームページのＵＲＬの画像４１９と、を含む。名刺の画像４１１の左上の頂点を挟む２つの辺の形状が曲線に変形しており、名刺の画像４１１の左上の頂点が、データ入力領域４０１内に位置する。

図１０は、データが入力された後の操作画面の一例を示す第１の図である。図１０を参照して、データ入力領域４０１に、名刺に記述されていた電子メールアドレス「ａａａ＠ｂｂｂ．ｃｏｍ」の文字列が設定されている。

図９および図１０に示したように、ＭＦＰ１００は、ＨＭＤ２００が備えるカメラ２０２が撮像して出力する画像データ５００を解析して、名刺の画像４１１中の電子メールアドレスの画像４１８を文字認識し、文字列の電子メールアドレスの文字列「ａａａ＠ｂｂｂ．ｃｏｍ」を取得する。さらに、名刺の画像４１１の形状の変化を検出し、形状が変化した部分として名刺の左上の頂点の部分が、操作画面４００と重なるデータ入力領域４０１内の位置を、指示位置として検出する。そして、指示位置を含むデータ入力領域４０１に、電子メールアドレスの文字列「ａａａ＠ｂｂｂ．ｃｏｍ」を設定する。

図１１は、操作受付処理の流れの一例を示すフローチャートである。操作受付処理は、ＭＦＰ１００が備えるＣＰＵ１１１が操作受付プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１１を参照して、ＭＦＰ１００が備えるＣＰＵ１１１は、初期画面を表示部１６１に表示する（ステップＳ０１）。初期画面は、ＭＦＰ１００に予め定められた操作画面である。次のステップＳ０２においては、初期画面をカレント状態に設定し、処理をステップＳ０３に進める。

ステップＳ０３においては、通信中フラグがＯＦＦに設定されているか否かを判断する。通信中フラグは、ＨＭＤ２００と通信中である場合にＯＮに設定され、ＨＭＤ２００と通信中でない場合にＯＦＦに設定される。通信中フラグは、初期状態ではＯＦＦに設定されている。通信中フラグがＯＦＦに設定されているならば処理をステップＳ０４に進めるが、そうでなければ処理をステップＳ０８に進める。ステップＳ０４においては、ＨＭＤ２００を検出したか否かを判断する。ＨＭＤ２００を検出したならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ１０に進める。近距離通信部１１９が、ＨＭＤ２００と通信可能になるとＨＭＤ２００を検出する。ステップＳ０５においては、通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間で通信経路を確立し、処理をステップＳ０６に進める。

ステップＳ０６においては、ＨＭＤ２００から画像データの受信を開始する。具体的には、ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を制御して、ステップＳ０５において確立された通信経路を介して、ＨＭＤ２００が送信する画像データを受信する。次のステップＳ０７においては、通信中フラグをＯＮに設定し、処理をステップＳ１０に進める。

ステップＳ０８においては、ステップＳ０５において確立された通信経路が切断されたか否かを判断する。通信Ｉ／Ｆ部１１２がＨＭＤ２００と通信できなくなった場合、または、ＨＭＤ２００によって通信経路が切断された場合に、通信経路が切断されたと判断する。通信経路が切断されたならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ１０に進める。ステップＳ０９においては、通信中フラグをＯＦＦに設定し、処理をステップＳ１０に進める。

ステップＳ１０においては、ユーザーによる操作を受け付けたか否かを判断する。操作部１６３がユーザーによる操作が入力されたことを検出すると、ユーザーによる操作を受け付ける。ユーザーによる操作を受け付けたならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ０３に戻す。なお、ＭＦＰ１００が、通信経路が確立されたＨＭＤ２００によって遠隔操作される場合には、ＨＭＤ２００から遠隔操作を受信する場合に、ユーザーによる操作を受け付けたと判断する。

ステップＳ１１においては、受け付けられた操作によって、処理を分岐させる。ここでは、ユーザーによる入力される操作を、表示部１６１に表示されている画面の切換を指示する画面切換操作、表示部１６１に表示されている画面に基づいて、設定値を設定する設定指示操作、処理の実行を指示する実行指示操作としている。ステップＳ１０において受け付けられた操作が、画面切換操作ならば処理をステップＳ１２に進め、設定指示操作ならば処理をステップＳ１５に進め、実行指示操作ならば処理をステップＳ１６に進める。

ステップＳ１２においては、画面切換操作によって定まる画面を特定し、処理をステップＳ１３に進める。ステップＳ１３においては、画面切換操作によって定まる画面を、表示部１６１に表示し、処理をステップＳ１４に進める。ステップＳ１４においては、画面切換操作によって定まる画面をカレント状態に設定し、処理をステップＳ０３に戻す。

ステップＳ１５においては、表示部１６１に表示されている画面に含まれるデータ入力領域に、設定操作にしたがって設定値を設定し、処理をステップＳ１６に進める。ステップＳ１６においては、表示部１６１に表示している画面を、再表示し、処理をステップＳ１７に進める。これにより、設定値が設定された後の画面が、表示部１６１に表示される。ステップＳ１７においては、ステップＳ１６において、再表示された画面をカレント状態に設定し、処理をステップＳ０３に戻す。

ステップＳ１８においては、実行指示操作に従って処理を実行し、処理をステップＳ１９に進める。ステップＳ１９においては、ステップＳ１８において実行する処理により定まる画面を表示部１６１に表示し、処理をステップＳ２０に進める。ステップＳ１８において実行する処理により定まる画面は、例えば、処理を実行中であることを示す画面、処理を実行した結果を示す画面である。ステップＳ２０においては、ステップＳ１９において表示部１６１に表示された画面を、カレント状態に設定し、処理をステップＳ０３に戻す。

図１２は、データ入力処理の流れの一例を示すフローチャートである。データ入力処理は、ＭＦＰ１００が備えるＣＰＵ１１１がデータ入力プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。ＣＰＵ１１１は、データ入力処理を、上述した操作受付処理と並行して実行する。図１２を参照して、ＣＰＵ１１１は、通信中フラグがＯＮに設定されているか否かを判断する（ステップＳ２１）。通信中フラグは、ＣＰＵ１１１が、上述した操作受付処理を実行することによりＯＮまたはＯＦＦに設定されるフラグであり、通信Ｉ／Ｆ部１１２がＨＭＤ２００との間で通信経路が確立されている状態でＯＮに設定され、ＨＭＤ２００と通信経路が確立されていない状態でＯＦＦに設定される。ＣＰＵ１１１は、通信中フラグがＯＮに設定されるまで待機状態となり（ステップＳ２１でＮＯ）、通信中フラグがＯＮに設定されると（ステップＳ２１でＹＥＳ）、処理をステップＳ２２に進める。

ステップＳ２２においては、通信Ｉ／Ｆ部１１２がＨＭＤ２００から受信する画像データを取得する。そして、上述した操作受付処理によってカレント状態に設定されている画面の画面配置情報を取得する（ステップＳ２３）。カレント状態に設定されている画面は、表示部１６１に表示されている１以上の画面のうち、操作受付処理によってカレント状態に設定されている画面である。画面配置情報は、カレント状態に設定されている画面の画面識別情報と、その画面が表示部１６１の表示面中で配置される位置を示す位置情報とを含む。

次のステップＳ２４においては、上述した操作受付処理によってカレント状態に設定されている画面の画面情報を取得する。画面情報は、画面の画面識別情報と、領域情報とを含む。領域情報は、その画面に含まれるデータを入力する１以上のデータ入力領域ごとに、そのデータ入力領域を識別するための領域識別情報と、そのデータ入力領域の画面中の位置を示す領域配置情報と、そのデータ入力領域に入力可能なデータを定めるデータ定義情報と、を含む。

ステップＳ２３およびステップＳ２４においては、表示部１６１に表示されている１以上の画面のいずれかがカレント状態に設定されるごとに、画面配置情報および画面情報を取得する。換言すれば、表示部１６１に表示されている画面が切り換わるごとに、また、表示部１６１に１以上の画面が表示されている場合には、１以上の画面のいずれかがカレント状態に切り換わるごとに、画面配置情報および画面情報を取得する。

ステップＳ２５においては、カレント状態に設定されている画面が、設定画面か否かを判断する。設定画面は、１以上のデータ入力領域を含む画面である。画面情報が１以上の領域情報を含むならば、カレント状態に設定されている画面が設定画面と判断する。カレント状態に設定されている画面が設定画面ならば処理をステップＳ２６に進めるが、そうでなければ処理をステップＳ２１に戻す。

ステップＳ２６においては、ステップＳ２２において取得された画像データから記録媒体を抽出しかた否かを判断する。記録媒体を抽出したならば処理をステップＳ２７に進めるが、そうでなければ処理をステップＳ２１に戻す。ステップＳ２３において、異なる時間に取得される２以上の画像データから静止部分と動物体部分とを区別し、動物体部分を記録媒体の画像を含む部分として抽出する。静止部分は、２つの画像間で同じ部分である。また、画像データから動物体部分を抽出するのとは別に、または、これに加えて、画像データからユーザーの手または指の部分を、指の肌の色または爪などの形状の特徴から抽出し、抽出された指の部分と重なる領域を記録媒体の画像の部分として抽出するようにしてもよい。また、記録媒体の形状および色の特徴から記録媒体の画像の部分を抽出するようにしてもよい。例えば、記録媒体が名刺の場合には、名刺の色が白色であることが多いので、画像データ中で白色の部分を名刺の画像の部分として抽出するようにしてもよい。

ステップＳ２７においては、抽出された記録媒体に対して文字認識済か否かを判断する。文字認識済でなければ処理をステップＳ２８に進めるが、そうでなければ処理をステップＳ３４に進める。ステップＳ２６において抽出された記録媒体の画像が、その前にステップＳ２６において抽出された記録媒体の画像と同一または類似するならば文字認識済と判断する。同一の記録媒体に対して、ステップＳ２８〜ステップＳ３４の処理を１回すれば十分だからである。

ステップＳ２８においては、ステップＳ２６において画像データから抽出された記録媒体の画像を文字認識し、処理をステップＳ２９に進める。ステップＳ２９においては、ステップＳ２４において取得された画面情報に含まれる領域情報に基づいて、データ入力領域を選択する。領域情報は、その画面に含まれるデータを入力する１以上のデータ入力領域ごとに、そのデータ入力領域を識別するための領域識別情報と、そのデータ入力領域の画面中の位置を示す領域配置情報と、そのデータ入力領域に入力可能なデータを定めるデータ定義情報と、を含む。

次のステップＳ３０においては、ステップＳ２４において取得された画面情報に含まれる領域情報によって、ステップＳ２９において選択されたデータ入力領域の領域識別情報に対応するデータ定義情報を取得する。そして、テータ定義情報に基づいて、ステップＳ２８において文字認識して得られる文字情報のうちから、ステップＳ２９において選択されたデータ入力領域に対応する部分を文字部分として特定する。例えば、ステップＳ２９において選択されたデータ入力領域が住所を入力するデータ入力領域に対応する場合、住所を入力するデータ入力領域に対応するデータ定義情報に基づいて、記録媒体に記載された住所の部分を文字部分に特定する。また、ステップＳ２９において選択されたデータ入力領域が氏名を入力するデータ入力領域に対応する場合、氏名を入力するデータ入力領域に対応するデータ定義情報に基づいて、記録媒体に記載された氏名の部分を文字部分に特定する。また、ステップＳ２９において選択されたデータ入力領域が電話番号を入力するデータ入力領域に対応する場合、電話番号を入力するデータ入力領域に基づいて、記録媒体に記載された電話番号の部分を文字部分に特定する。さらに、ステップＳ２９において選択されたデータ入力領域がファクシミリ番号を入力するデータ入力領域に対応する場合、ファクシミリ番号を入力するデータ入力領域に対応するデータ定義情報に基づいて、記録媒体に記載されたファクシミリ番号の部分を文字部分に特定する。さらに、ステップＳ２９において選択されたデータ入力領域が電子メールアドレスを入力するデータ入力領域に対応する場合、電子メールアドレスを入力するデータ入力領域に対応するデータ定義情報に基づいて、記録媒体に記載された電子メールアドレスの部分を文字部分に特定する。次のステップＳ３２においては、ステップＳ３１において特定された文字部分を、ステップＳ２９において選択されたデータ入力領域に対応する入力データに決定し、処理をステップＳ３３に進める。

ステップＳ３３においては、処理対象とするべきデータ入力領域が存在するか否かを判断する。ステップＳ２４において取得された画面情報に含まれる領域情報のうちに、ステップＳ２９において処理対象に選択されていないデータ入力領域の領域識別情報を含む領域情報が存在するならば処理をステップＳ２９に戻すが、そうでなければ処理をステップＳ３４に進める。

ステップＳ３４においては、ステップＳ２６において抽出された記録媒体の形状の変化を検出したか否かを判断する。記録媒体の形状の変化を検出したならば処理をステップＳ３５に進めるが、そうでなければ処理をステップＳ２１に戻す。ステップＳ２２において取得される画像データを用いて、記録媒体の形状の変化を検出する。具体的には、ステップＳ２２において異なる時刻に取得された２つの画像データ間で、ステップＳ２６において抽出される記録媒体の部分を比較する。記録媒体の部分の形状が、２つの画像間で異なる場合、記録媒体の形状の変化を検出する。また、記録媒体の形状は矩形の場合が多いので、記録媒体の４辺のうち２つの辺の形状が直線から曲線に変化する場合、記録媒体の形状の変化を検出する。ステップＳ３５においては、指示位置を決定する。画像データ中で、記録媒体の形状が変化した部分を指示位置に決定する。

ステップＳ３６においては、設定モードによって処理を分岐させる。設定モードが一括設定モードに設定されていれば処理をステップＳ３７に進め、設定モードが個別設定モードに設定されていれば処理をステップＳ４１に進める。

ステップＳ３７においては、指示位置がカレント状態の画面内か否かを判断する。指示位置がカレント状態の画面内ならば処理をステップＳ３８に進めるが、そうでなければ処理をステップＳ２１に戻す。ステップＳ２２において取得された画像データ中から表示部１６１の表示面の位置を特定し、さらに特定された表示面中で、ステップＳ２３において取得された画面配置情報で特定される領域を、カレント状態に設定された画面の領域に決定する。ステップＳ３５において決定された指示位置が、画像データ中のカレント状態に設定された画面の領域に含まれるならば指示位置がカレント状態の画面内と判断する。

ステップＳ３８においては、ステップＳ２４において取得された画面情報に含まれる領域情報に基づいて、データ入力領域を選択する。そして、選択されたデータ入力領域に対してステップＳ３２において決定された入力データを設定し（ステップＳ３９）、処理をステップＳ４０に進める。ステップＳ４０においては、処理対象とするべきデータ入力領域が存在するか否かを判断する。ステップＳ２４において取得された画面情報に含まれる領域情報のうちに、ステップＳ３８において処理対象に選択されていないデータ入力領域の領域識別情報を含む領域情報が存在するならば処理をステップＳ３８に戻すが、そうでなければ処理をステップＳ２１に戻す。

ステップＳ４１においては、指示位置がカレント状態の画面内か否かを判断する。指示位置がカレント状態の画面内ならば処理をステップＳ４２に進めるが、そうでなければ処理をステップＳ２１に戻す。ステップＳ４２においては、ステップＳ３５において決定された指示位置を含むデータ入力領域が存在するか否かを判断する。ステップＳ２２において取得された画像データ中で、カレント状態に設定された画面の領域中で、さらに、ステップＳ２４において取得された画面情報に含まれる領域情報に基づいて、１以上のデータ入力領域を特定する。そして、ステップＳ３５において決定された指示位置が、特定されたデータ入力領域のいずれかの内に存在すれば、その指示位置を含むデータ入力領域を特定する。データ入力領域を特定する場合、処理をステップＳ４３に進めるが、そうでなければ処理をステップＳ２１に戻す。

ステップＳ４３においては、ステップＳ４２において特定されたデータ入力領域に対してステップＳ３２において決定された入力データを設定し、処理をステップＳ２１に戻す。

＜形状変化検出部の変形例＞
図６に示した形状変化検出部５９は、記録媒体の形状の変化を検出するようにしたが、記録媒体の移動が停止したことを検出するようにしてもよい。例えば、図９に示した画像データ５００において、名刺の画像４１１が、操作画面４００に対する相対位置の変化を検出することにより、名刺の移動を検出する。名刺の画像４１１と、操作画面４００との相対位置が変化しなくなった時点と、名刺の画像４１１の所定の部分が操作画面４００と重なる部分を、指示位置に決定する。所定の部分は、例えば、名刺の画像４１１において、名刺の画像４１１が操作画面に対して移動する方向の端部とすればよい。図９に示した画像データ５００において、名刺の画像４１１が操作画面４００の下側から上側に移動する場合、名刺画像４１１の左上の頂点が、所定の部分となる。

＜第１の実施の形態の変形例＞
上述した実施の形態においては、ＭＦＰ１００にデータを入力する場合を例に説明したが、変形例においては、ＰＣ３００にデータを入力する。この場合、ＰＣ３００が備えるＣＰＵは、図６に示した機能と同様の機能を有する。ＰＣ３００は、複数のアプリケーションプログラムを並列で実行することが可能であり、この場合には、複数のアプリケーションプログラムそれぞれが画面を表示させる。この場合、複数の画面が、同時に表示される。複数の画面は、互いに重ならずに表示される場合もあれば、互いに重なって表示される場合もある。このように、ＰＣ３００は、複数のアプリケーションプログラムを実行する場合、複数のアプリケーションプログラムにそれぞれ対応する複数の画面を表示するが、複数の画面のいずれか１つをカレント状態に設定する。

図１３は、ＰＣに表示される操作画面の一例を示す図である。図１３を参照して、操作画面６００は、２つの画面６１０，６２０を含む。画面６１０は、画面６２０に重畳して表示され、カレント状態であることを示している。画面６１０は、発注システムの発注数量を入力する設定画面であり、部品名ごとに発注数量を入力するデータ入力領域６１１〜６１５を含む。データ入力領域６１１は「部品Ａ」に対する発注数量を入力するためのデータ入力領域であり、データ入力領域６１２は「部品Ｂ」に対する発注数量を入力するためのデータ入力領域であり、データ入力領域６１３は「部品Ｃ」に対する発注数量を入力するためのデータ入力領域であり、データ入力領域６１４は「部品Ｄ」に対する発注数量を入力するためのデータ入力領域であり、データ入力領域６１５は「部品Ｅ」に対する発注数量を入力するためのデータ入力領域である。

図１４は、ＨＭＤが備えるカメラが出力する画像データの一例を示す第２の図である。ここでは、操作画面６００の画面６１０に発注指示書に記述された発注数量を入力する操作をする場合に、ＨＭＤ２００のカメラ２０２が出力する画像データを例に示している。発注指示書に部品ごとに記述された発注数量が記述されている。この場合におけるユーザーの操作は、発注指示書を手に持って、発注指示書の左上の頂点の部分を、ＰＣ３００の表示部３０６の表示面であって、画面６１０が表示された部分に押し付ける操作である。

図１４を参照して、ＨＭＤ２００が備えるカメラ２０２が出力する画像データ７００は、操作画面６００の画像と、発注指示書の画像６３０と、ユーザーの手の画像６４１と、を含む。具体的には、発注指示書の画像６３０は、「部品Ａ」の文字列の画像６２１Ａと同じ行に、在庫数「６７」の画像を含む。また、発注指示書の画像６３０は、「部品Ｂ」の文字列の画像６２１Ａと同じ行に、在庫数「４」の画像と、発注数量「１００」の画像６２１を含む。「部品Ｂ」の文字列の画像６２１Ａは、データを入力する対象であることを示すために、ユーザーによりマーカーによって印が付されている。図では、マーカーによる印をハッチングで示している。発注指示書の画像６３０は、「部品Ｃ」の文字列の画像と同じ行に、在庫数「８２」の画像を含む。また、発注指示書の画像６３０は、「部品Ｄ」の文字列の画像６２２Ａと同じ行に、在庫数「１３」の画像と、発注数量「１００」の画像６２２を含む。「部品Ｄ」の文字列の画像６２２Ａは、データを入力する対象であることを示すために、ユーザーによりマーカーによって印が付されている。さらに、発注指示書の画像６３０は、「部品Ｅ」の文字列の画像６２３Ａと同じ行に、在庫数「５」の画像と、発注数量「１００」の画像６２３を含む。「部品Ｅ」の文字列の画像６２３Ａは、データを入力する対象であることを示すために、ユーザーによりマーカーによって印が付されている。

図１５は、データが入力された後の操作画面の一例を示す第２の図である。図１５を参照して、データ入力領域６１２に発注指示書でマーカーを付して記述されていた部品Ｂの発注数量「１００」が設定され、データ入力領域６１４に発注指示書にマーカーを付して記述されていた記述されていた部品Ｄの発注数量「１００」が設定され、データ入力領域６１５に、マーカーを付して記述されていた部品Ｅの発注数量「１００」が設定されている。

図１４および図１５に示したように、ＰＣ３００は、ＨＭＤ２００が備えるカメラ２０２が撮像して出力する画像データ７００を解析して、発注指示書中でマーカーが付された部品Ｂの画像６２１Ａ、部品Ｄの画像６２２Ａおよび部品Ｅの画像６２３と、それらに対応する発注数量の画像６２１，６２２，６２３を文字認識し、部品Ｂの発注数量「１００」と、部品Ｄの発注数量「１００」と、部品Ｅの発注数量「１００」を取得する。さらに、発注指示書の画像６３０の形状の変化を検出し、形状が変化した部分として発注指示書の左上の頂点の部分が、操作画面７００と重なる画面６１０内の位置を、指示位置として検出する。そして、指示位置を含む画面６１０のデータ入力領域６１１〜６１５のうち、
部品Ｂの発注数量に対応するデータ入力領域６１２に「１００」を設定し、部品Ｄの発注数量に対応するデータ入力領域６１４に「１００」を設定し、部品Ｅの発注数量に対応するデータ入力領域６１５に「１００」を設定する。

図１６は、アプリ切換処理の流れの一例を示すフローチャートである。アプリ切換処理は、ＰＣ３００が備えるＣＰＵ３０１が、アプリ切換プログラムを実行することにより、ＣＰＵ３０１により実行される処理である。図１６を参照して、ＰＣ３００が備えるＣＰＵ３０１は、アプリ実行指示を受け付けたか否かを判断する（ステップＳ５１）。操作部３０７がアプリケーションプログラムの実行を指示するアプリ実行指示を受け付けるまで待機状態となり、アプリ実行指示を受け付けたならば処理をステップＳ５２に進める。ステップＳ５２においては、実行が指示されたアプリケーションプログラムを実行し、起動する。ＰＣ３００が備えるＣＰＵ４０１は、アプリケーションプログラムを実行することによって、画面を表示する。ステップＳ５３においては、アプリケーションプログラムを実行することによって表示する画面を、カレント状態に設定する。

ステップＳ５４〜ステップＳ６０の処理は、図７のステップＳ０３〜ステップＳ０９の処理を同じである。従って、ここでは説明を繰り返さない。

ステップＳ６１においては、操作部３０６がユーザーによる操作を受け付けたか否かを判断する。ユーザーによる操作を受け付けたならば処理をステップＳ６２に進めるが、そうでなければ処理をステップＳ５４に戻す。なお、ＰＣ３００が、ＨＭＤ２００によって遠隔操作される場合は、ＨＭＤ２００から受信される遠隔操作を受け付けたか否かを判断する。ステップＳ６２においては、受け付けられた操作によって、処理を分岐させる。ここでは、ユーザーにより入力される操作を、アプリケーションプログラムの起動を指示するアプリ実行指示操作、カレント状態のアプリケーションプログラムの切換を指示するアプリ切換操作、アプリケーションプログラムに対する操作であるアプリ内操作としている。ステップＳ６２において受け付けられた操作が、アプリ実行指示操作ならば処理をステップＳ６３に進め、アプリ切換操作ならば処理をステップＳ６５に進め、アプリ内操作ならば処理をステップＳ６６に進める。

ステップＳ６３においては、アプリ実行指示操作で特定されるアプリケーションプログラムを起動する。具体的には、特定されたアプリケーションプログラムをＲＡＭ３０３にロードして実行する。ＰＣ３００が備えるＣＰＵ３０１は、アプリケーションプログラムを実行することによって、画面を表示する。ステップＳ６４においては、ステップＳ６３において、アプリケーションプログラムを実行することによって表示する画面を、カレント状態に設定し、処理をステップＳ５４に戻す。

ステップＳ６５においては、アプリ切換操作に基づいて、切換後のアプリケーションプログラムを特定する。そして、特定されたアプリケーションプログラムを実行することによって表示する画面を、カレント状態に設定し、処理をステップＳ５４に戻す。

ステップＳ６６においては、アプリ内操作によって特定される処理を実行し、処理をステップＳ６７に進める。ステップＳ６７においては、処理を実行することによって表示される画面を、カレント状態に設定し、処理をステップＳ５４に戻す。

変形例におけるＰＣ３００が備えるＣＰＵ３０１は、図１２に示したデータ入力処理と同様の処理を実行する。特に、ステップＳ２３およびステップＳ２４においては、カレント状態の画面が切り換わるごとに、カレント状態の画面の画面配置情報と、画面情報とを、取得する。

＜第２の実施の形態＞
第２の実施の形態におけるデータ入力システム１は、第１の実施の形態におけるデータ入力システム１において、ＭＦＰ１００が有する機能の一部を、ＨＭＤ２００が有するようにしたものである。以下、第２の実施の形態におけるデータ入力システム１について、第１の実施の形態におけるデータ入力システム１と異なる点を主に説明する。

図１７は、第２の実施の形態におけるＭＦＰが備えるＣＰＵが有する機能の一例を示すブロック図である。図１７を参照して、図６に示した機能と異なる点は、画像データ受信部５１、画面配置情報取得部５３、指示位置検出部５５、記録媒体抽出部５７、形状変化検出部５９、入力情報決定部６５および情報検出部６７が削除された点、通信制御部８１、画面配置情報送信部８３、画面情報送信部８５および設定指示受信部８７が追加された点、表示制御部６１および設定部６３が表示制御部６１Ａおよび設定部６３Ａに変更された点、である。その他の機能は、図６に示した機能と同じなのでここでは説明を繰り返さない。

通信制御部８１は、近距離通信部１１９および／または通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間で通信経路を確立する。また、通信制御部８１は、近距離通信部１１９がＨＭＤ２００と通信可能になるとＨＭＤ２００とネゴシエーションすることによって、通信Ｉ／Ｆ部１１２を介してＨＭＤ２００と通信するための設定をし、通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間の通信経路を確立する。通信制御部８１は、ＨＭＤ２００との間の通信経路を確立すると、その通信経路を識別するための経路識別情報を、画面配置情報送信部８３、画面情報送信部８５および設定指示受信部８７に出力する。

表示制御部６１Ａは、表示部１６１を制御し、アプリケーション実行部７３から画面が入力されることに応じて、その画面を表示部１６１に表示する。表示制御部６１Ａは、複数の画面を表示部１６１に表示する場合がある。表示制御部６１Ａは、表示部１６１に複数の画面を表示する場合、複数の画面のうち１つをカレント状態の画面に設定する。表示制御部６１Ａは、アプリケーション実行部７３からの指示に基づいて、表示部１６１に表示された複数の画面のうち１つをカレント状態の画面に設定する。表示制御部６１Ａは、カレント状態の画面を、他の画面と異なる表示形態で表示する。表示制御部６１Ａが複数の画面を表示部１６１に表示する場合は、ＣＰＵ１１１が複数のアプリケーションプログラムを実行する場合、または、ＣＰＵ１１１が１つのアプリケーションプログラムを実行する場合であって、アプリケーション実行部７３から複数の画面が入力される場合である。表示制御部６１Ａは、複数の画面のうち１つをカレント状態に設定するごとに、カレント状態の画面の画面配置情報を画面配置情報送信部８３に出力する。画面配置情報は、画面を識別するための画面識別情報と、その画面が表示部１６１の表示面中で配置される位置を示す位置情報を含む。画面が矩形の場合には、位置情報は２つの対角の表示面における座標とすればよい。なお、ＣＰＵ１１１が複数のアプリケーションプログラムを実行する場合には、画面識別情報は、アプリケーションプログラムを識別するためのアプリ識別情報を含む。

画面配置情報送信部８３は、表示制御部６１から画面配置情報が入力されることに応じて、通信Ｉ／Ｆ部１１２を制御して、画面配置情報を通信制御部８１から入力される経路識別情報で特定される通信経路を介してＨＭＤ２００に送信する。

画面情報取得部６９は、アプリケーション実行部７３から画面情報が入力されることに応じて、画面情報を画面情報送信部８５、および設定部６３Ａに出力する。

画面情報送信部８５は、画面情報取得部６９から画面情報が入力されることに応じて、通信Ｉ／Ｆ部１１２を制御して、画面情報を通信制御部８１から入力される経路識別情報で特定される通信経路を介してＨＭＤ２００に送信する。

設定指示受信部８７は、通信Ｉ／Ｆ部１１２を制御して、通信制御部８１から入力される経路識別情報で特定される通信経路を介して、ＨＭＤ２００から一括設定指示または個別設定指示を受信する。個別設定指示は、画面識別情報と、領域識別情報と、入力データとを含む。一括設定指示は、領域識別情報と入力データと画面識別情報との組を１以上含む。

設定部６３Ａは、画面情報取得部６９から画面情報が入力され、設定指示受信部８７から一括設定指示または個別設定指示が入力される。設定部６３Ａは、設定指示受信部８７から個別設定指示が入力される場合、個別設定指示に基づいて入力データを設定する。具体的には、個別設定指示に含まれる入力データを、個別設定指示に含まれる画面識別情報で特定される画面の個別設定指示に含まれる領域識別情報で特定されるデータ入力領域に設定する。

設定部６３Ａは、設定指示受信部８７から一括設定指示が入力される場合、一括設定指示に含まれる、領域識別情報と入力データと画面識別情報との組の１以上に基づいて入力データを設定する。具体的には、１以上の組ごとに、その組に含まれる入力データを、その組に含まれる画面識別情報で特定される画面のその組に含まれる領域識別情報で特定されるデータ入力領域に設定する。

図１８は、第２の実施の形態におけるＨＭＤが備えるＣＰＵが有する機能の一例を示すブロック図である。図１８を参照して、図７に示した機能と異なる点は、画像データ送信部２５３が削除された点、指示位置検出部２６１、形状変化検出部２６３、記録媒体抽出部２６５、情報検出部２６７、入力情報決定部２６９、画面配置情報受信部２７１、画面情報受信部２７３、設定指示送信部２７５が追加された点、である。その他の機能は、図７に示した機能と同じなのでここでは説明を繰り返さない。

画面配置情報受信部２７１は、通信Ｉ／Ｆ部２０５を制御して、通信制御部２５５から入力される経路識別情報で特定される通信経路を介して、ＭＦＰ１００から画面配置情報を受信する。画面配置情報受信部２７１は、受信された画面配置情報を指示位置検出部２６１に出力する。

画面情報受信部２７３は、通信Ｉ／Ｆ部２０５を制御して、通信制御部２５５から入力される経路識別情報で特定される通信経路を介して、ＭＦＰ１００から画面情報を受信する。画面情報受信部２７３は、受信された画面情報を指示位置検出部２６１に出力する。

記録媒体抽出部２６５は、撮像制御部２５１から画像データが入力され、その画像データから記録媒体の画像を抽出する。記録媒体抽出部２６５は、画像データと記録媒体の画像の部分との組を情報検出部２６７、形状変化検出部２６３および指示位置検出部２６１に出力する。

形状変化検出部２６３は、撮像制御部２５１から画像データが入力され、記録媒体抽出部２６５から画像データと記録媒体の部分との組が入力される。形状変化検出部２６３は、記録媒体の形状の変化を検出する。記録媒体抽出部２６５から画像データと記録媒体の部分との組が入力された後、撮像制御部２５１から入力される画像データを用いて、記録媒体の形状の変化を検出する。具体的には、形状変化検出部２６３は、撮像制御部２５１から入力される画像データ中で、記録媒体抽出部２６５から入力される記録媒体の部分と同じ部分を抽出し、２つの画像データ間で記録媒体の部分を比較する。形状変化検出部２６３は、２つの画像データ間で記録媒体の部分の形状が異なる場合、記録媒体の形状の変化を検出する。形状変化検出部２６３は、記録媒体の形状の変化を検出することに応じて、撮像制御部２５１から入力される画像データ中で形状が変化した部分の位置を示す位置情報を、指示位置検出部２６１に出力する。また、記録媒体が矩形の場合には、記録媒体の４辺のうち形状が直線から曲線に変化した２つの辺で挟まれる頂角の部分を形状が変化した部分として検出するようにしてもよい。

情報検出部２６７は、記録媒体抽出部２６５から入力される記録媒体の画像の部分を文字認識し、文字情報を生成する。情報検出部２６７は、生成された文字情報を、入力情報決定部２６９に出力する。

入力情報決定部２６９は、情報検出部２６７から文字情報が入力され、画面情報受信部２７３から画面情報が入力される。入力情報決定部２６９は、画面情報に含まれる領域情報に基づいて、データ入力領域ごとに、文字情報のうちからそのデータ入力領域に対応するデータ定義情報で定められた特徴に一致する部分を検出する。

入力情報決定部２６９は、データ入力領域ごとに抽出した文字情報の部分を入力データに決定し、そのデータ入力領域の領域識別情報と、入力データと、画面識別情報と、の組を設定指示送信部２７５に出力する。画面情報が、複数のデータ入力領域にそれぞれ対応する複数の領域情報を含む場合には、複数のデータ入力領域ごとに、領域識別情報と入力データと画面識別情報との組を設定指示送信部２７５に出力する。

指示位置検出部２６１は、撮像制御部２５１から画像データが入力され、画面配置情報受信部２７１からカレント状態の画面の画面配置情報が入力され、画面情報受信部２７３から画面情報が入力され、記録媒体抽出部２６５から画像データと記録媒体の部分との組が入力される。指示位置検出部２６１は、形状変化検出部２６３から記録媒体の形状が変化した部分の位置を示す位置情報が入力されることに応じて、撮像制御部２５１から入力される画像データ中で、形状変化検出部２６３から入力される位置情報で特定される位置を、ユーザーにより指示された位置として検出する。

指示位置検出部２６１は、ユーザーにより指示された位置を検出する場合、検出された位置が、画面配置情報受信部２７１から入力される画面配置情報で特定されるカレント状態の画面内の場合、設定部２７５に一括送信指示を出力する。一括送信指示は、カレント状態の画面の画面識別情報を含む。さらに、指示位置検出部２６１は、ユーザーにより指示された位置を検出する場合、検出された位置が、カレント状態の画面内のデータ入力領域内か否かを判断する。具体的には、指示位置検出部２６１は、画面情報受信部２７３から入力される画面情報に含まれる領域情報の領域配置情報に基づいて、カレント状態の画面中のデータ入力領域を特定する。そして、指示位置検出部２６１は、ユーザーにより指示された位置が、画像データ中のカレント状態の画面内であって、データ入力領域内の場合、設定指示送信部２７５に個別送信指示を出力する。個別送信指示は、カレント状態の画面の画面識別情報と、特定されたデータ入力領域の領域識別情報と、を含む。

設定指示送信部２７５は、通信制御部２５５から経路識別情報が入力され、指示位置検出部５５から一括設定指示、または一括設定指示と個別設定指示の組と、が入力される。設定指示送信部２７５は、個別送信モードまたは一括送信モードのいずれかに送信モードが設定される。設定指示送信部２７５は、画面配置情報受信部２７１が複数の画面配置情報を受信する場合に、一括送信モードに設定し、画面配置情報受信部２７１が単一の画面配置情報を受信する場合に、個別送信モードに設定する。また、設定指示送信部２７５は、ユーザーによる操作によって、送信モードを一括送信モードと個別送信モードのいずれかに設定する。ユーザーが予め送信モードを設定するようにしてもよい。

設定指示送信部２７５は、送信モードが個別送信モードに設定されている場合、指示位置検出部２６１から個別送信指示が入力される場合、入力情報決定部２６９から入力される領域識別情報と入力データと画面識別情報との組のうちから個別送信指示に含まれる画面識別情報と領域識別情報とが同じ組を抽出し、抽出された組を含む個別設定指示を、通信Ｉ／Ｆ部２０５を制御して、通信制御部２５５から入力される経路識別情報で特定される通信経路を介して、ＭＦＰ１００に送信する。個別設定指示は、領域識別情報と入力データと画面識別情報との組を含む。

設定指示送信部２７５は、送信モードが一括送信モードに設定されている場合、指示位置検出部２６１から一括送信指示が入力される場合、入力情報決定部２６９から入力される領域識別情報と入力データと画面識別情報との組のうちから一括送信指示に含まれる画面識別情報と同じ画面識別情報を含む組をすべて抽出し、抽出された１以上の組をすべて含む一括設定指示を、通信Ｉ／Ｆ部２０５を制御して、通信制御部２５５から入力される経路識別情報で特定される通信経路を介して、ＭＦＰ１００に送信する。一括設定指示は、領域識別情報と入力データと画面識別情報との組を１以上含む。

図１９は、第２の実施の形態における操作受付処理の流れの一例を示すフローチャートである。第２の実施の形態における操作受付処理は、ＭＦＰ１００が備えるＣＰＵ１１１が操作受付プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１９を参照して、図１１に示した操作受付処理と異なる点は、ステップＳ０６が削除された点、ステップＳ１４、ステップＳ１７およびステップＳ２０の後に、ステップＳ１４ＡおよびステップＳ１４Ｂが追加された点、ステップＳ８１〜ステップＳ８９が新たに追加された点である。その他の処理は、図１１に示した処理と同じなのでここでは説明を繰り返さない。

ステップＳ０５においては、通信Ｉ／Ｆ部１１２を制御して、ＨＭＤ２００との間で通信経路を確立し、処理をステップＳ０７に進める。ステップＳ０７においては、通信中フラグをＯＮに設定し、処理をステップＳ１０に進める。

ステップＳ１４においては、画面切換操作によって定まる画面をカレント状態に設定し、処理をステップＳ１４Ａに進める。ステップＳ１７においては、ステップＳ１６において、再表示された画面をカレント状態に設定し、処理をステップＳ１４Ａに進める。ステップＳ２０においては、ステップＳ１９において表示部１６１に表示された画面を、カレント状態に設定し、処理をステップＳ１４Ａに進める。

ステップＳ１４Ａにおいては、ステップＳ１４においてカレント状態に設定された画面の画面配置情報を、ＨＭＤ２００に送信する。具体的には、通信Ｉ／Ｆ部１１２を制御して、ステップＳ０５において確立された通信経路を介して、画面配置情報をＨＭＤ２００に送信する。次のステップＳ１４Ｂにおいては、カレント状態に設定された画面の画面情報を、ＨＭＤ２００に送信し、処理をステップＳ０３に戻す。具体的には、通信Ｉ／Ｆ部１１２を制御して、ステップＳ０５において確立された通信経路を介して、画面情報をＨＭＤ２００に送信する。

処理がステップＳ１４からステップＳ１４Ａに進む場合には、ステップＳ１１において受け付けられた画面切換操作によって定まる画面の画面配置情報および画面情報をＨＭＤ２００に送信し、処理がステップＳ１７からステップＳ１４Ａに進む場合は、ステップＳ１６において、再表示された画面の画面配置情報および画面情報をＨＭＤ２００に送信し、処理がステップＳ２０からステップＳ１４Ａに進む場合は、ステップＳ１９において表示部１６１に表示された画面の画面配置情報および画面情報をＨＭＤ２００に送信する。

ステップＳ１０において操作を受け付けないと判断する場合、処理をステップＳ８１に進める。ステップＳ８１においては、通信Ｉ／Ｆ部１１２が、ステップＳ０５において確立された通信経路を介して、設定指示を受信したか否かを判断する。設定指示を受信したならば処理をステップＳ８２に進めるが、そうでなければ処理をステップＳ０３に戻す。 ステップＳ８２においては、設定指示の種類によって処理を分岐させる。設定指示が一括設定指示ならば処理をステップＳ８３に進め、設定指示が個別設定指示ならば処理をステップＳ８７に進める。ステップＳ８３においては、一括設定指示に含まれる画面識別情報に基づいて、カレント状態の画面を特定する。そして、ステップＳ８４においては、一括設定指示に含まれる領域情報に対応するデータ入力領域を選択する。一括設定指示は、領域識別情報と入力データと画面識別情報との組を１以上含むので、１以上の組のうちから１つを処理対象に選択し、選択した組に含まれる領域識別情報で特定されるデータ入力領域を選択する。次のステップＳ８５においては、選択したデータ入力領域に、ステップＳ８４において選択された組に含まれる入力データを設定し、処理をステップＳ８６に進める。ステップＳ８６においては、未選択のデータ入力領域が存在するか否かを判断する。一括設定指示に含まれる複数の組のうちから未選択の組が存在すれば、未選択のデータ入力領域が存在すると判断する。未選択のデータ入力領域が存在するならば処理をステップＳ８４に戻すが、そうでなければ処理をステップＳ０３に戻す。

ステップＳ８７においては、個別設定指示に含まれる画面識別情報に基づいて、カレント状態の画面を特定する。個別設定指示は、領域識別情報と入力データと画面識別情報との組を含む。そして、個別設定指示に含まれる領域識別情報で特定されるデータ入力領域を選択する（ステップＳ８８）。次のステップＳ８９においては、選択したデータ入力領域に、個別設定指示に含まれる入力データを設定し、処理をステップＳ０３に戻す。

図２０および図２１は、遠隔制御処理の流れの一例を示すフローチャートである。遠隔制御処理は、ＨＭＤ２００が備えるＣＰＵ２０１がデータ入力プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図２０を参照して、ＣＰＵ２０１は、ＭＦＰ１００を検出したか否かを判断する（ステップＳ１０１）。近距離通信部２０７がＭＦＰ１００と通信可能になると、ＭＦＰ１００を検出する。次のステップＳ１０２においては、無線ＬＡＮＩ／Ｆ２０５を制御して、ＭＦＰ１００との間で通信経路を確立する。

次のステップＳ１０３においては、カメラ２０２を制御して、撮像を開始する。次のステップＳ１０４においては、ＭＦＰ１００から画面配置情報を受信したか否かを判断する。無線ＬＡＮＩ／Ｆ２０５を制御して、ステップＳ１０２において確立された通信経路を介して、ＭＦＰ１００から画面配置情報を受信する。画面配置情報は、ＭＦＰ１００においてカレント状態に設定されている画面に対応する。ＭＦＰ１００から画面配置情報を受信したならば処理をステップＳ１０５に進めるが、そうでなければ処理をステップＳ１０８に進める。

ステップＳ１０５においては、ＭＦＰ１００から画面情報を受信し、処理をステップＳ１０６に進める。無線ＬＡＮＩ／Ｆ２０５を制御して、ステップＳ１０２において確立された通信経路を介して、ＭＦＰ１００から画面情報を受信する。画面配置情報は、ＭＦＰ１００においてカレント状態に設定されている画面に対応する。ＭＦＰ１００から画面配置情報を受信したならば処理をステップＳ１０５に進めるが、そうでなければ処理をステップＳ１０８に進める。

ステップＳ１０６においては、ステップＳ１０５において受信された画面情報に基づいて、カレント状態の画面を特定する。次のステップＳ１０７においては、カレント状態の画面が、設定画面か否かを判断する。画面情報は、画面識別情報と、領域情報とを含む。領域情報は、その画面に含まれるデータを入力する１以上のデータ入力領域ごとに、そのデータ入力領域を識別するための領域識別情報と、そのデータ入力領域の画面中の位置を示す領域配置情報と、そのデータ入力領域に入力可能なデータを定めるデータ定義情報と、を含む。画面情報が１以上の領域情報を含むならば、カレント状態に設定されている画面が設定画面と判断する。設定画面ならば処理をステップＳ１０８に進めるが、そうでなければ処理をステップＳ１０４に戻す。

ステップＳ１０８においては、カメラ２０２が出力する画像データから記録媒体を抽出したか否かを判断する。記録媒体を抽出したならば処理をステップＳ１０９に進めるが、そうでなければ処理をステップＳ１０４に戻す。具体的には、カメラ２０２が異なる時間に出力する２以上の画像データから静止部分とそうでない部分とを区別し、静止部分でない動物体部分を記録媒体の画像を含む部分として抽出する。静止部分は、２つの画像間で同じ部分である。また、画像データから動物体部分を抽出するのとは別に、または、これに加えて、画像データからユーザーの手または指の部分を、指の肌の色または爪などの形状の特徴から抽出し、抽出された指の部分と重なる領域を記録媒体の画像の部分として抽出するようにしてもよい。また、記録媒体の形状および色の特徴から記録媒体の画像の部分を抽出するようにしてもよい。

ステップＳ１０９においては、抽出された記録媒体に対して文字認識済か否かを判断する。文字認識済でなければ処理をステップＳ１１０に進めるが、そうでなければ処理をステップＳ１１６に進める。ステップＳ１１０〜ステップＳ１１５は、図１２に示したステップＳ２８〜ステップＳ３３の処理とそれぞれ同じである。従って、ここでは説明を繰り返さない。

ステップＳ１１６においては、ステップＳ１０８において抽出された記録媒体の形状の変化を検出したか否かを判断する。記録媒体の形状の変化を検出したならば処理をステップＳ１１７に進めるが、そうでなければ処理をステップＳ１０４に戻す。カメラ２０２が出力する画像データを用いて、記録媒体の形状の変化を検出する。ステップＳ１１６の処理は、図１２のステップＳ３４で実行される処理と同じである。

ステップＳ１１７においては、指示位置を決定する。画像データ中で、記録媒体の形状が変化した部分を指示位置に決定する。次のステップＳ１１８においては、送信モードによって処理を分岐させる。送信モードが一括送信モードに設定されていれば処理をステップＳ１１９に進め、送信モードが個別送信モードに設定されていれば処理をステップＳ１２４に進める。

ステップＳ１１９においては、指示位置がカレント状態の画面内か否かを判断する。指示位置がカレント状態の画面内ならば処理をステップＳ１２０に進めるが、そうでなければ処理をステップＳ１０４に戻す。カメラ２０２が出力する画像データ中からＭＦＰ１００が備える表示部１６１の表示面の位置を特定し、さらに特定された表示面中で、ステップＳ１０４において受信された画面配置情報で特定される領域を、カレント状態に設定された画面の領域に決定する。ステップＳ１１７において決定された指示位置が、画像データ中のカレント状態に設定された画面の領域に含まれるならば指示位置がカレント状態の画面内と判断する。

ステップＳ１２０においては、ステップＳ１０５において受信された画面情報に含まれる領域情報に基づいて、データ入力領域を選択する。そして、選択されたデータ入力領域に対してステップＳ１１４において決定された入力データを設定し（ステップＳ１２１）、処理をステップＳ１２２に進める。ステップＳ１２２においては、処理対象とするべきデータ入力領域が存在するか否かを判断する。ステップＳ１０５において受信された画面情報に含まれる領域情報のうちに、ステップＳ１２０において処理対象に選択されていないデータ入力領域の領域識別情報を含む領域情報が存在するならば処理をステップＳ１２０に戻すが、そうでなければ処理をステップＳ１２３に進める。ステップＳ１２３においては、一括設定指示をＭＦＰ１００に送信し、処理をステップＳ１０４に戻す。具体的には、無線ＬＡＮＩ／Ｆ２０５を制御して、ステップＳ１０２において確立された通信経路を介して、ＭＦＰ１００に一括設定指示を送信する。一括設定指示は、ステップＳ１１１〜ステップＳ１１５において、１以上のデータ入力領域ごとに決定された入力データと、データ入力領域の領域識別情報と、カレント状態の画面の画面識別情報との組を含む。

ステップＳ１２４においては、指示位置がカレント状態の画面内か否かを判断する。指示位置がカレント状態の画面内ならば処理をステップＳ１２５に進めるが、そうでなければ処理をステップＳ１０４に戻す。ステップＳ１２５においては、ステップＳ１１７において決定された指示位置が含まれるデータ入力領域が存在するか否かを判断する。カメラ２０２が出力する画像データ中で、カレント状態に設定された画面の領域中で、さらに、ステップＳ１０５において取得された画面情報に含まれる領域情報に基づいて、１以上のデータ入力領域を特定する。そして、ステップＳ１１７において決定された指示位置が、特定されたデータ入力領域のいずれかの内に存在すれば、その指示位置を含むデータ入力領域を特定する。データ入力領域を特定する場合、処理をステップＳ１２６に進めるが、そうでなければ処理をステップＳ１０４に戻す。

ステップＳ１２６においては、ステップＳ１２５において特定されたデータ入力領域に対してステップＳ１１４において決定された入力データを設定し、処理をステップＳ１２７に進める。ステップＳ１２７においては、個別設定指示をＭＦＰ１００に送信し、処理をステップＳ１０４に戻す。具体的には、無線ＬＡＮＩ／Ｆ２０５を制御して、ステップＳ１０２において確立された通信経路を介して、ＭＦＰ１００に個別設定指示を送信する。個別設定指示は、ステップＳ１２５において、特定されたデータ入力領域の領域識別情報と、そのデータ入力領域に対してステップＳ１２６において設定された入力データと、カレント状態の画面の画面識別情報との組を含む。

＜第２の実施の形態の変形例＞
上述した実施の形態においては、ＭＦＰ１００にデータを入力する場合を例に説明したが、変形例においては、ＰＣ３００にデータを入力する。この場合、ＰＣ３００が備えるＣＰＵは、図１７に示したＭＦＰ１００が備えるＣＰＵ１１１が有する機能と同様の機能を有する。ＰＣ３００は、複数のアプリケーションプログラムを並列で実行することが可能であり、この場合には、複数のアプリケーションプログラムそれぞれが画面を表示させる。この場合、複数の画面が、同時に表示される。複数の画面は、互いに重ならずに表示される場合もあれば、互いに重なって表示される場合もある。このように、ＰＣ３００は、複数のアプリケーションプログラムを実行する場合、複数のアプリケーションプログラムにそれぞれ対応する複数の画面を表示するが、複数の画面のいずれか１つをカレント状態に設定する。カレント状態に設定された画面を表示するアプリケーションプログラムがカレント状態に設定される。

図２２は、第２の実施の形態の変形例におけるＰＣが備えるＣＰＵが実行するアプリ切換処理の流れの一例を示すフローチャートである。第２の実施の形態の変形例におけるアプリ切換処理は、ＰＣ３００が備えるＣＰＵが、第２の実施の形態の変形例におけるアプリ切換プログラムを実行することにより、ＰＣ３００が備えるＣＰＵにより実行される処理である。図２２を参照して、図１６に示したアプリ実行処理と異なる点は、ステップＳ５７が削除された点、ステップＳ６４、ステップＳ６６およびステップＳ６８の次に、ステップＳ６４Ａ、ステップＳ６４Ｂが追加された点、ステップＳ７１〜ステップＳ７９が新たに追加された点である。その他の処理は、図１６に示した処理と同じである。したがって、それらの説明はここでは繰り返さない。

ステップＳ５６においては、ＨＭＤ２００との間で通信経路を確立し、処理をステップＳ５８に進める。ステップＳ５８においては、通信中フラグをＯＮに設定し、処理をステップＳ６１に進める。

ステップＳ６３においては、アプリ実行指示操作で特定されるアプリケーションプログラムを起動する。ＰＣ３００が備えるＣＰＵは、アプリケーションプログラムを実行することによって、画面を表示する。ステップＳ６４においては、ステップＳ６３において、アプリケーションプログラムを実行することによって表示する画面を、カレント状態に設定し、処理をステップＳ６４Ａに進める。ステップＳ６４Ａにおいては、カレント状態に設定された画面の画面配置情報を、ＨＤＭ２００に送信し、処理をステップＳ６４Ｂに進める。具体的には、ステップＳ５６において確立された通信経路を介して、画面配置情報をＨＭＤ２００に送信する。次のステップＳ６４Ｂにおいては、カレント状態に設定された画面の画面情報を、ＨＭＤ２００に送信し、処理をステップＳ５４に戻す。具体的には、ステップＳ５６において確立された通信経路を介して、画面情報をＨＭＤ２００に送信する。

ステップＳ６１において操作を受け付けないと判断する場合、処理をステップＳ７１に進める。ステップＳ７１においては、ステップＳ５６において確立された通信経路を介して、設定指示を受信したか否かを判断する。設定指示を受信したならば処理をステップＳ７２に進めるが、そうでなければ処理をステップＳ５４に戻す。

ステップＳ７２においては、設定指示の種類によって処理を分岐させる。設定指示が一括設定指示ならば処理をステップＳ７３に進め、設定指示が個別設定指示ならば処理をステップＳ７７に進める。ステップＳ７３においては、一括設定指示に含まれる画面識別情報に基づいて、カレント状態の画面を特定する。そして、ステップＳ７４においては、一括設定指示に含まれる領域情報に対応するデータ入力領域を選択する。一括設定指示は、領域識別情報と入力データと画面識別情報との組を１以上含むので、１以上の組のうちから１つを処理対象に選択し、選択した組に含まれる領域識別情報で特定されるデータ入力領域を選択する。次のステップＳ７５においては、選択したデータ入力領域に、一括設定指示に含まれる入力データを設定し、処理をステップＳ７６に進める。ステップＳ７６においては、未選択のデータ入力領域が存在するか否かを判断する。一括設定指示に含まれる複数の組のうちから未選択の組が存在すれば、未選択のデータ入力領域が存在すると判断する。未選択のデータ入力領域が存在するならば処理をステップＳ７４に戻すが、そうでなければ処理をステップＳ５４に戻す。

ステップＳ７７においては、個別設定指示に含まれる画面識別情報に基づいて、カレント状態の画面を特定する。個別設定指示は、領域識別情報と入力データと画面識別情報との組を含む。そして、個別設定指示に含まれる領域識別情報で特定されるデータ入力領域を選択する（ステップＳ７８）。次のステップＳ７９においては、選択したデータ入力領域に、個別設定指示に含まれる入力データを設定し、処理をステップＳ５４に戻す。

以上説明したように、本実施の形態におけるＭＦＰ１００は、データ入力装置として機能し、ＨＭＤ２００が備えるカメラ２０２が被写体を撮像し、撮像して得られる画像データを受信し、受信された画像データに含まれる記録媒体に記憶された情報を検出し、検出された情報のうちから表示部１６１に表示した画面のデータ入力領域に入力可能な入力情報を抽出し、ＨＭＤ２００から受信される画像データに含まれる表示部１６１の表示面と記録媒体との相対位置に基づいて表示面中の指示位置を検出し、検出される指示位置が所定の位置の場合、抽出された入力情報を、データ入力領域に入力されたデータとして設定する。このため、表示部１６１に表示した画面のデータ入力領域に、記録媒体に記憶された情報のうちから抽出されたデータ入力領域に入力可能な入力情報が設定されるので、任意の画面に含まれるデータ入力領域にデータを設定することができる。また、ユーザーは、記録媒体と表示面との相対的な位置を変更する操作をすればよく、データ入力領域に容易にデータを設定することができる。

また、表示部１６１に表示された画面に含まれるデータ入力領域内が指示位置として検出されると、指示位置を含むデータ入力領域に入力情報を設定する。このため、ユーザーは、画面に含まれるデータ入力領域と記録媒体との相対位置を所定の位置にする操作をすればよい。

また、表示部１６１に表示された画面内が指示位置として検出されると、指示位置を含む画面に含まれるデータ入力領域に入力情報を設定する。このため、ユーザーは、画面と記録媒体との相対位置を所定の位置にする操作をすればよい。表示された画面が複数のデータ入力領域を含む場合、複数のデータ入力領域それぞれに入力情報を設定するので、一度に複数のデータ入力領域それぞれにデータを設定することができる。

また、画面に含まれるデータ入力領域に入力可能なデータを定めるデータ定義情報に基づいて、入力情報を抽出するので、データ入力領域に入力可能なデータを、記録媒体に記録された情報のうちから容易に抽出することができる。

また、表示部１６１に表示された画面が表示面に配置される位置を示す画面配置情報に基づいて、表示部１６１に表示された画面の位置を決定する。このため、表示部１６１に複数の画面が表示される場合であってもそれらのうち１つの画面のデータ入力領域にデータを入力することができる。

また、表示部１６１に表示された画面に含まれるデータ入力領域が画面に配置される位置を示す領域配置情報に基づいて、表示部１６１に表示された画面中のデータ入力領域の位置を決定するので、画面が複数のデータ入力領域を含む場合に、１つのデータ入力領域を特定することができる。

また、ＨＭＤ２００から受信される画像データに基づいて、記録媒体の形状の変化を検出し、形状の変化が検出された時点の記録媒体と表示面との相対位置に基づいて、指示位置を決定するので、記録媒体と表示部１６１の表示面との相対位置を検出するタイミングを決定することができる。

また、記録媒体の形状が変化した部分が表示面と重なる位置を、指示位置として検出するので、表示部１６１に表示された画面中の位置を特定することができる。

また、記録媒体を矩形の名刺等にする場合、記録媒体の４辺のうち直線から変化した２つの辺で挟まれる頂角を、形状が変化した部分に決定するので、記録媒体の形状の変化を検出することにより、記録媒体が表示面に押し付ける、ユーザーによる操作を検出することができる。

また、ＨＭＤ２００から受信される画像データに基づいて、記録媒体と表示面との相対位置の変化を検出し、相対位置の変化が所定の値以下となった時点の記録媒体と表示面との相対位置に基づいて、指示位置を決定するので、記録媒体と表示面との相対位置を検出するタイミングと、そのタイミングにおける画面中の位置を特定することができる。

また、記録媒体と表示部１６１の表示面との相対位置が変化している間に記録媒体の記録媒体が表示面に対して移動する方向の端部が、相対位置の変化が所定の値以下となった時点で表示面と重なる部分を指示位置として検出するので、表示部１６１に表示された画面中の位置を特定することができる。

第２の実施の形態においては、第１の実施の形態におけるＭＦＰ１００が有する機能として図６に示した複数の機能のうち指示位置検出部５５、情報検出部６７、および情報決定部６５を、ＨＭＤ２００が有するようにするために、第２の実施の形態におけるＨＭＤ２００は、図１８に示した指示位置検出部２６１を指示位置検出部５５に対応する機能として有し、図１８に示した情報検出部２６７を情報検出部６７に対応する機能として有し、図１８に示した入力情報決定部２６９を、情報決定部６５に対応する機能として有する。このように、第２の実施の形態においては、第１の実施の形態におけるＭＦＰ１００が有する機能として図６に示した複数の機能のうち指示位置検出部５５、情報検出部６７、および情報決定部６５のすべてを、第２の実施の形態におけるＨＭＤ２００が有する場合を示したが、第１の実施の形態におけるＭＦＰ１００が有する機能として図６に示した指示位置検出部５５、情報検出部６７、および情報決定部６５のすくなくとも一部に対応する機能を、第２の実施の形態におけるＨＭＤ２００が有するようにしてもよい。

例えば、第２の実施の形態におけるＨＭＤ２００が、第１の実施の形態におけるＭＦＰ１００が有する指示位置検出部５５、情報検出部６７、および情報決定部６５のうち指示位置検出部５５のみに対応する指示位置検出部２６１を有するようにしてもよい。また、第２の実施の形態におけるＨＭＤ２００が、第１の実施の形態におけるＭＦＰ１００が有する指示位置検出部５５、情報検出部６７、および情報決定部６５のうち指示位置検出部５５および情報検出部６７のみにそれぞれ対応する指示位置検出部２６１および情報検出部２６７を有するようにしてもよいし、または指示位置検出部５５および情報決定部６５のみにそれぞれ対応する指示位置検出部２６１および情報決定部２６９を有するようにしてもよい。

また、第２の実施の形態におけるＨＭＤ２００が第１の実施の形態におけるＭＦＰ１００が有する指示位置検出部５５、情報検出部６７、および情報決定部６５のうち情報検出部６７のみに対応する情報検出部２６７を有するようにしてもよい。また、第２の実施の形態におけるＨＭＤ２００が第１の実施の形態におけるＭＦＰ１００が有する指示位置検出部５５、情報検出部６７、および情報決定部６５のうち情報検出部６７および情報決定部６５のみにそれぞれ対応する情報検出部２６７および入力情報決定部２６９を有するようにしてもよい。

さらに、第２の実施の形態におけるＨＭＤ２００が、第１の実施の形態におけるＭＦＰ１００が有する指示位置検出部５５、情報検出部６７、および情報決定部６４のうち情報決定部６５のみに対応する入力情報決定部２６９を有するようにしてもよい。

なお、本実施の形態においては、データ入力装置の一例としてＭＦＰ１００を例に説明したが、図１２に示したデータ入力処理をＭＦＰ１００またはＰＣ３００に実行させるデータ入力方法、またはそのデータ入力方法を、ＭＦＰ１００が備えるＣＰＵ１１１またはＰＣ３００が備えるＣＰＵ３０１に実行させるデータ入力プログラムとして発明を捉えることができるのは言うまでもない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

＜付記＞
（１）前記入力情報抽出手段は、前記画面が前記表示手段に表示されるごとに、前記表示手段に表示された画面に対応するデータ定義情報に基づいて、入力情報を抽出する、請求項８に記載のデータ入力装置。

（２）前記画面配置情報取得手段は、前記表示手段に画面が表示されるごとに、前記画面の画面配置情報を取得する、請求項１２に記載のデータ入力装置。

この局面に従えば、複数の画面のうち最後に表示された画面のデータ入力領域にデータを入力することができる。

（３）前記設定手段は、前記表示手段に画面が表示されるごとに、前記画面に含まれるデータ入力領域の領域配置情報に基づいて、前記データ入力領域の位置を決定する、請求項１３に記載のデータ入力装置。

この局面に従えば、画面に含まれるデータ入力領域と記録媒体との相対位置を検出することができる。

１ データ入力システム、２ ネットワーク、３ 無線局、５ インターネット、１００ ＭＦＰ、２００ ＨＭＤ、３００ ＰＣ、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＨＤＤ、１１６ ファクシミリ部、１１７ 外部記憶装置、１１８ ＣＤ−ＲＯＭ、１１９ 近距離通信部、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１５５ 後処理部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、２０１ ＣＰＵ、２０２ カメラ、２０３ フラッシュメモリ、２０４ 表示部、２０５ 無線ＬＡＮＩ／Ｆ、２０６ 操作部、２０７ 近距離通信部、３０１ ＣＰＵ３０１、３０２ ＲＯＭ３０２、３０３ ＲＡＭ、３０４ ＨＤＤ、３０５ 通信部、３０６ 表示部、３０７ 操作部、３０８ 外部記憶装置、３１１ 近距離通信部、５１ 画像データ受信部、５３ 画面配置情報取得部、５５ 指示位置検出部、５７ 記録媒体抽出部、５９ 形状変化検出部、６１，６１Ａ 表示制御部、６３，６３Ａ 設定部、６５ 入力情報決定部、６７ 情報検出部、６９ 画面情報取得部、７３ アプリケーション実行部、８１ 通信制御部、８３ 画面配置情報送信部、８５ 画面情報送信部、８７ 設定指示受信部、２５１ 撮像制御部、２５３ 画像データ送信部、２５５ 通信制御部、２６１ 指示位置検出部、２６３ 形状変化検出部、２６５ 記録媒体抽出部、２６７ 情報検出部、２６９ 入力情報決定部、２７１ 画面配置情報受信部、２７１ 画面配置情報受信部、２７３ 画面情報受信部、２７５ 設定指示送信部、２７５ 設定部、２７５ 設定指示送信部。

Claims (22)

1. データ入力装置と、前記データ入力装置と通信可能な撮像装置と、を含むデータ入力システムであって、
   前記撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、
   前記データ入力装置は、データ入力領域を含む画面を表示する表示手段と、
   データ入力領域に入力されたデータを設定する設定手段と、を備えており、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記撮像手段が出力する画像データに含まれる前記表示手段の表示面と、前記画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づいて前記表示面中の指示位置を検出する指示位置検出手段を備え、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記撮像手段が出力する画像データに含まれる前記記録媒体に記憶された情報を検出する情報検出手段を備え、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記検出された情報のうちから前記データ入力領域に入力可能な入力情報を抽出する入力情報抽出手段を備え、
   前記設定手段は、前記指示位置検出手段により検出される指示位置が前記表示された画面内の場合、前記抽出された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する、データ入力システム。
2. データ入力装置と、前記データ入力装置と通信可能な撮像装置と、を含むデータ入力システムであって、
   前記撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、
   前記データ入力装置は、データ入力領域を含む画面を表示する表示手段と、
   データ入力領域に入力されたデータを設定する設定手段と、を備えており、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記撮像手段が出力する画像データに含まれる前記表示手段の表示面と、前記画像データに含まれる記録媒体との相対位置に基づいて前記表示面中の指示位置を検出する指示位置検出手段と、
   前記撮像手段が出力する画像に基づいて、記録媒体と前記表示面との相対位置の変化を検出する移動検出手段と、を備え、
   前記指示位置検出手段は、前記相対位置の変化が所定の値以下となった時点の前記記録媒体の前記記録媒体が前記表示面に対して移動する方向の端部と前記表示面との相対位置に基づいて、前記指示位置を検出し、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記撮像手段が出力する画像データに含まれる前記記録媒体に記憶された情報を検出する情報検出手段を備え、
   前記データ入力装置および前記撮像装置のいずれかは、さらに、前記検出された情報のうちから前記データ入力領域に入力可能な入力情報を抽出する入力情報抽出手段を備え、
   前記設定手段は、前記指示位置検出手段により検出される指示位置が前記表示された画面内の場合、前記抽出された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する、データ入力システム。
3. 前記データ入力装置は、前記指示位置検出手段と、前記情報検出手段と、前記入力情報抽出手段と、を備える、請求項１または２に記載のデータ入力システム。
4. 前記撮像装置は、前記指示位置検出手段と、前記情報検出手段と、を備える、請求項１または２に記載のデータ入力システム。
5. 被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置であって、
   データ入力領域を含む画面を表示する表示手段と、
   データ入力領域に入力されたデータを設定する設定手段と、
   前記撮像手段から出力された画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づき検出された前記表示面中の指示位置を取得する指示位置取得手段と、
   前記画像データに基づき検出された、前記記録媒体に記憶された情報を取得する情報取得手段と、
   前記取得された情報のうちから、前記データ入力領域に入力可能な入力情報を取得する入力情報取得手段と、を備え、
   前記設定手段は、前記指示位置取得手段により取得される指示位置が前記表示された画面内の場合、前記取得された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する、データ入力装置。
6. 前記撮像手段が出力する画像に基づいて、前記記録媒体の形状の変化を検出する変化検出手段と、をさらに備え、
   前記指示位置取得手段は、前記形状の変化が検出された時点の前記記録媒体の形状が変化した部分と前記表示面との相対位置に基づいて、前記指示位置を決定する、請求項５に記載のデータ入力装置。
7. 前記指示位置取得手段は、前記記録媒体の形状が変化した部分が前記表示面と重なる位置を、前記指示位置として検出する、請求項６に記載のデータ入力装置。
8. 前記記録媒体は矩形であり、
   前記指示位置取得手段は、前記記録媒体の４辺のうち直線から変化した２つの辺で挟まれる頂角を、形状が変化した部分に決定する、請求項７に記載のデータ入力装置。
9. 被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置であって、
   データ入力領域を含む画面を表示する表示手段と、
   データ入力領域に入力されたデータを設定する設定手段と、
   前記撮像手段から出力された画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体との相対位置に基づき検出された前記表示面中の指示位置を取得する指示位置取得手段と、
   前記撮像手段が出力する画像に基づいて、前記記録媒体と前記表示面との相対位置の変化を検出する移動検出手段と、
   前記指示位置取得手段は、前記相対位置の変化が所定の値以下となった時点の前記記録媒体の前記記録媒体が前記表示面に対して移動する方向の端部と前記表示面との相対位置に基づいて、前記指示位置を検出し、
   前記画像データに基づき検出された、前記記録媒体に記憶された情報を取得する情報取得手段と、
   前記取得された情報のうちから、前記データ入力領域に入力可能な入力情報を取得する入力情報取得手段と、を備え、
   前記設定手段は、前記指示位置取得手段により取得される指示位置が前記表示された画面内の場合、前記取得された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する、データ入力装置。
10. 前記指示位置検出手段は、前記記録媒体と前記表示面との相対位置が変化している間に前記記録媒体の前記記録媒体が前記表示面に対して移動する方向の端部が、相対位置の変化が所定の値以下となった時点で前記表示面と重なる位置を前記指示位置として検出する、請求項９に記載のデータ入力装置。
11. 前記指示位置取得手段は、前記撮像装置から前記撮像装置により検出された前記表示面中の指示位置を取得する、請求項５〜１０のいずれかに記載のデータ入力装置。
12. 前記情報取得手段は、前記撮像装置から受信された前記撮像手段が出力する画像データに基づいて、前記記録媒体に記憶された情報を検出する、請求項５〜１１のいずれかに記載のデータ入力装置。
13. 前記入力情報取得手段は、前記記録媒体に記憶された情報のうちから前記データ入力領域に入力可能な入力情報を抽出する、請求項５〜１２のいずれかに記載のデータ入力装置。
14. 前記入力情報取得手段は、前記画面に含まれるデータ入力領域に入力可能なデータを定めるデータ定義情報に基づいて、入力情報を抽出する、請求項１３に記載のデータ入力装置。
15. 前記入力情報取得手段は、前記表示された画面が複数のデータ入力領域を有する場合、前記複数のデータ入力領域にそれぞれ対応する複数の入力情報を抽出する、請求項１３または１４に記載のデータ入力装置。
16. 前記設定手段は、前記指示位置が、前記表示された画面に含まれる前記データ入力領域内の場合、前記指示位置を含む前記データ入力領域に入力されたデータとして、前記データ入力領域に入力可能な入力情報として抽出された入力情報を設定する、請求項５〜１５のいずれかに記載のデータ入力装置。
17. 前記表示手段に表示された画面が前記表示手段の表示面に配置される位置を示す画面配置情報を取得する画面配置情報取得手段を、さらに備え、
    前記設定手段は、前記画面配置情報に基づいて、前記表示手段に表示された画面の位置を決定する、請求項５〜１６のいずれかに記載のデータ入力装置。
18. 前記設定手段は、前記表示手段に表示された画面に含まれるデータ入力領域が前記画面に配置される位置を示す領域配置情報に基づいて、前記表示手段に表示された画面中の前記データ入力領域の位置を決定する、請求項５〜１７のいずれかに記載のデータ入力装置。
19. データ入力装置と、前記データ入力装置と通信可能な撮像装置と、を含むデータ入力システムで実行されるデータ入力方法であって、
    前記撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、
    前記データ入力装置は、データ入力領域を含む画面を表示する表示手段を、備えており、
    前記データ入力装置および前記撮像装置のいずれかに前記撮像手段が出力する画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づき検出された前記表示面中の指示位置を取得する指示位置取得ステップを実行させ、
    前記データ入力装置および前記撮像装置のいずれかに、前記撮像手段が出力する画像データに基づき検出された、前記記録媒体に記憶された情報を取得する情報取得ステップを実行させ、
    前記データ入力装置および前記撮像装置のいずれかに、前記取得された情報のうちから抽出された、前記データ入力領域に入力可能な入力情報を取得する入力情報取得ステップを実行させ、
    前記データ入力装置に、前記指示位置取得ステップにおいて取得される指示位置が前記表示された画面内の場合に、前記取得された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する設定ステップを実行させる、データ入力方法。
20. データ入力装置と、前記データ入力装置と通信可能な撮像装置と、を含むデータ入力システムで実行されるデータ入力方法であって、
    前記撮像装置は、被写体を撮像し、撮像して得られる画像データを出力する撮像手段を、備えており、
    前記データ入力装置は、データ入力領域を含む画面を表示する表示手段を、備えており、
    前記データ入力装置および前記撮像装置のいずれかに、前記撮像手段が出力する画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体との相対位置に基づき検出された前記表示面中の指示位置を取得する指示位置取得ステップと、
    前記撮像手段が出力する画像に基づいて、前記記録媒体と前記表示面との相対位置の変化を検出する移動検出ステップと、を実行させ、
    前記指示位置取得ステップは、前記相対位置の変化が所定の値以下となった時点の前記記録媒体の前記記録媒体が前記表示面に対して移動する方向の端部と前記表示面との相対位置に基づいて、前記指示位置を検出するステップを含み、
    前記データ入力装置および前記撮像装置のいずれかに、前記撮像手段が出力する画像データに基づき検出された、前記記録媒体に記憶された情報を取得する情報取得ステップを実行させ、
    前記データ入力装置および前記撮像装置のいずれかに、前記取得された情報のうちから抽出された、前記データ入力領域に入力可能な入力情報を取得する入力情報取得ステップを実行させ、
    前記データ入力装置に、前記指示位置取得ステップにおいて取得される指示位置が前記表示された画面内の場合に、前記取得された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する設定ステップを実行させる、データ入力方法。
21. 被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置を制御するコンピューターで実行されるデータ入力プログラムであって、
    前記データ入力装置は、データ入力領域を含む画面を表示する表示手段を備えており、
    前記撮像装置から前記撮像手段が出力する画像データを受信する画像データ受信ステップと、
    前記受信された画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体の形状が変化した部分との相対位置に基づいて前記表示面中の指示位置を検出する指示位置検出ステップと、
    前記受信された画像データに基づいて、前記記録媒体に記憶された情報を検出する情報検出ステップと、
    前記検出された情報のうちから前記データ入力領域に入力可能な入力情報を抽出する入力情報抽出ステップと、
    前記指示位置検出ステップにおいて検出される指示位置が前記表示された画面内の場合に、前記抽出された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する設定ステップと、を前記コンピューターに実行させる、データ入力プログラム。
22. 被写体を撮像し、撮像して得られる画像データを出力する撮像手段を備えた撮像装置と通信可能なデータ入力装置を制御するコンピューターで実行されるデータ入力プログラムであって、
    前記データ入力装置は、データ入力領域を含む画面を表示する表示手段を備えており、
    前記撮像装置から前記撮像手段が出力する画像データを受信する画像データ受信ステップと、
    前記受信された画像データに含まれる前記表示手段の表示面と前記画像データに含まれる記録媒体との相対位置に基づいて前記表示面中の指示位置を検出する指示位置検出ステップと、
    前記受信された画像データに基づいて、前記記録媒体と前記表示面との相対位置の変化を検出する移動検出ステップと、
    前記指示位置検出ステップは、前記相対位置の変化が所定の値以下となった時点の前記記録媒体の前記記録媒体が前記表示面に対して移動する方向の端部と前記表示面との相対位置に基づいて、前記指示位置を検出するステップを含み、
    前記受信された画像データに基づいて、前記記録媒体に記憶された情報を検出する情報検出ステップと、
    前記検出された情報のうちから前記データ入力領域に入力可能な入力情報を抽出する入力情報抽出ステップと、
    前記指示位置検出ステップにおいて検出される指示位置が前記表示された画面内の場合に、前記抽出された入力情報を、前記表示された画面に含まれる前記データ入力領域に入力されたデータとして設定する設定ステップと、を前記コンピューターに実行させる、データ入力プログラム。

Images