JP4345755B2 - 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム - Google Patents

Description

本発明は、表示領域上で操作者の入力した位置を設定可能な入力位置設定方法、入力位置設定方装置、入力位置設定プログラムおよび情報入力システムに関する。

現在の情報機器におけるグラフィカルユーザインタフェースにおいて、操作者の指示する位置情報を取得することは極めて重要な要素である。このような目的を達成するには、たとえば、マウスやタブレットなどの専用の入力手段を用いるのが一般的である。また、特別な入力手段としては、データグローブなどと呼ばれるものもある。しかし、これらのような入力手段は、使用環境などに制限を与える場合がある。

たとえば、マウスやタブレットなどは、その設置、動作のための場所を要求する。また、それらの動きと、入力される位置情報との対応は間接的である。つまり、画像に表示されるポインタなどを注視しながら、それとは別の場所にあるマウスや入力用のペンを移動させる必要がある。また、データグローブなどは、入力の都度、それを装着する必要があり、さらに、マウスやタブレットと同様、入力される位置情報と操作の対応関係は間接的である。

これらの入力手段のように、入力される位置情報と操作との対応が間接的である場合、入力には慣れが必要であり、不特定多数が使用する情報機器に使用することには問題がある。
タッチパネルは、これらに比較すると入力される位置情報と操作との対応が直接的である。これは操作が直感的であり、たとえば、不特定多数が使用する交通機関などの券売機や金融機関などの出入金システムなどにおいて広く使用される。

しかし、タッチパネルにおいては、その入力範囲と等しい大きさのパネルが必要であり、大きな入力範囲を得ようとする場合はそれに対応するタッチパネルの作成そのものが困難となる場合もあり、また、非常に高コストになるという問題がある。

これらを解決する手段として、画像表示装置によって表示される表示領域上を撮像することによって得られた撮像画像データにより、操作者の手などを認識し、その認識結果に基づいて操作者の入力位置を検出して、入力位置情報などを取得しようとする技術がある（たとえば、特許文献１、特許文献２参照）。

特許文献１に開示された技術は、手の特徴を用いて入力画像の中から手の部分を判別し、それにより手の方向、形を認識するものである。また、特許文献２に開示された技術は、複数のカメラを用い、その中から最適なものを選択し、さらに手の動きを予測することにより、より高精度の手の方向、形を認識するものである。

特開平９−１０２０４６号公報 特開２０００−３３１１７０号公報

前述の特許文献１および特許文献２に開示された技術は、マウス、タブレット、データグローブといった特別に用意された専用の入力手段を必要としないという利便性があり、前述した従来の問題の幾つかを解決している。しかし、これらにも共通する幾つかの問題が残る。

その１つは、手の認識を行う認識処理において誤認識は避けられないということである。実験室のような特別に用意された環境においては高い認識率が得られても、実使用環境においては種々の撹乱により認識率が低下するのは、認識技術一般の問題である。

さらに問題であるのは、誤認識が発生した時に、その理由を操作者に理解させるための考慮がなされていないということである。操作者がそのシステムの内部を熟知している場合、システムの誤動作の理由は、多くの場合において即座に理解することが可能である。一方、操作者が不特定多数である場合には、操作者がその理由を理解することは不可能である。操作者の意図しない動作をするシステムは、非常に使い難いものとなる。

また、特許文献１および特許文献２に開示された技術においては、この種の情報入力システムを複数の操作者が同時に使用するような場合が全く考慮されていない。これは実使用環境下では、誤動作の主要な原因となるものである。つまり、同時に１人の使用しか想定していない情報入力システムを、複数の操作者が同時使用しようとした場合などは、複数の操作者の行う指示操作を適切に認識することができず、誤動作を発生する可能性が高い。
しかし、多くの場合、不特定多数の使用者は、システムにそのような制限があることを理解しておらず、何故システムが正常に動作しないかを全く理解できない。

また、たとえば、手の認識を行う認識装置などは、色や形を用いて手の部分の認識を行う。そこに、手と同じような形や色合いの物体があった場合、それを手と誤認識してしまう場合がある。しかし、不特定多数のユーザが、そのようなアルゴリズムを理解しているはずはなく、システムが何故誤った動作をするのかを理解することは不可能である。

本発明は、操作者の行った指示操作に対する入力位置の設定を特別に用意された専用の入力手段などを用いることなく、適切に行うことを可能とするとともに、操作者の行った指示操作に対し、情報入力システム側がどのようにして入力位置の設定を行ったかを操作者が理解できるような可視的な表示を行うことで操作性に優れた入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システムを提供することを目的とする。

（１）本発明の入力位置設定方法は、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定方法であって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップとを有することを特徴とする。

このように本発明の入力位置設定方法によれば、操作者の行った指示操作に対する入力位置の設定を特別に用意された専用の入力手段などを用いることなく、適切に行うことができる。また、本発明では、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳させて表示するようにしている。これにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができる。したがって、情報入力システムがたとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

また、本発明は撮像画像データから前記指示手段（操作者の指や指示棒など）に対応する画像領域を指示画像領域として検出するようにしているので、それぞれの指示手段に対応する指示画像領域ごとに入力位置を設定することが可能である。これにより、同じ表示領域上で複数の操作者が指示操作することが可能となる。

（２）前記（１）に記載の入力位置設定方法においては、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記差分画像があるか否かを判定し、前記表示領域の外周と接する前記差分画像が有る場合に、当該差分画像を前記指示画像領域とするステップとを有することが好ましい。

このように、前記第１ステップが（２）に記載のステップを有することによって、指示手段に対応する画像領域を指示画像領域として適切に検出することができる。これにより、たとえば、表示領域上に置かれた指示手段以外の物体などが指示画像領域として検出されるのを防ぐことができる。

（３）前記（１）に記載の入力位置設定方法においては、前記第１ステップは、前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、前記差分画像のうちの現時点で取得された差分画像と前記現時点よりも所定時間前に取得された差分画像との差分をとり、差分のあった画像領域から処理対象とすべき時間差分画像を取得するステップと、前記表示領域の外周を走査し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像があるか否かを判定し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像が有る場合に、当該処理対象とすべき時間差分画像を前記指示手段に対応する指示画像領域とするステップとを有することもまた好ましい。

このように、前記第１ステップが（３）に記載のステップを有することによって、前記（２）と同様、指示手段に対応する画像領域を指示画像領域として適切に検出することができる。また、（３）においては、差分画像の時間差分を検出する処理が含まれるので、表示領域の外周上に存在する物体であっても位置の変化すなわち動きのない物体は除外される。これにより、指示手段以外の物体が表示領域の外周上に存在していたとしても、それらの物体が指示手段に対応する指示画像領域として判断されることがなくなる。

これは、操作者が指示手段（手や指示棒など）で指示操作を行う際には、それらの指示手段は位置の変化すなわち動きがあると考えられるからであり、このように、位置の変化すなわち動きのある差分画像から処理対象とすべき時間差分画像を取得し、取得された処理対象とすべき時間差分画像に対して指示画像領域であるか否かを判定するようにしている。これにより、指示手段に対応する画像領域のみを指示画像領域として検出することができ、表示領域上に置かれた指示手段以外の物体などが指示画像領域として検出されるのを防ぐことができる。

（４）前記（１）〜（３）のいずれかに記載の入力位置設定方法においては、前記第２ステップは、前記指示画像領域の重心を求めるステップを有し、求められた前記重心を前記基準位置として前記最遠点を求めることが好ましい。

これにより、指示手段に対応する指示画像領域の最遠点を適切に求めることができる。たとえば、指示手段が操作者の指であれば指の先端を、また、指示手段が指示棒であれば指示棒の先端を適切に求めることができる。このように、指示手段の先端が適切に求められることにより、入力位置を適切な位置に設定することができる。

（５）前記（４）に記載の入力位置設定方法においては、前記最遠点は、前記指示画像領域が接する前記表示領域の外周近傍に存在する点を除いて決定されることが好ましい。
このように、基準位置としての重心からの最遠点を求める際、表示領域の外周近傍の指示画像領域を除外することにより、前述したように、たとえば、操作者の指などの指示手段の先端を最遠点として設定することができる。

（６）前記（４）または（５）に記載の入力位置設定方法においては、前記重心を基準位置として前記最遠点を求める際、最遠点の特定ができない場合には、前記指示画像領域が接する前記表示領域の外周から前記最遠点を求めることもまた好ましい。

これは、（４）または（５）において重心を前記基準位置として前記最遠点を求めようとしたときに、最遠点の特定がしにくいような場合（たとえば、最遠点となり得る候補が複数存在するような場合など）に対処するためである。このような場合は、前記指示画像領域が接する前記表示領域の外周から最遠点を求めることにより、最遠点の特定を容易にかつ適切に行える可能性が高くなる。

（７）前記（１）〜（６）のいずれかに記載の入力位置設定方法においては、前記入力位置設定経過情報は、少なくとも、前記基準位置を示す情報、前記入力位置を示す情報、前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報であることが好ましい。

このように、前記基準位置を示す情報、前記入力位置を示す情報および前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報をそれぞれ表示させることにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムがどの位置を入力位置としてどのように判断したのかを視覚的に知ることができる。なお、前記基準位置を示す情報と前記入力位置を示す情報との対応関係を示す情報としては、たとえば、基準位置と入力位置とを結ぶ矢印などが一例として挙げられる。

（８）前記（１）〜（７）のいずれかに記載の入力位置設定方法においては、前記最遠点に基づいて設定された入力位置が前記表示領域の外側となる場合には、前記入力位置が前記表示領域の内側となるように前記最遠点を設定し直すことが好ましい。
これにより、入力位置が表示領域の外側に設定されてしまうといった不都合を未然に防ぐことができる。

（９）本発明の入力位置設定装置は、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置であって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部とを有することを特徴とする。

本発明の入力位置設定装置においても、前記（１）に記載の入力位置設定方法と同様の効果を得ることができる。なお、本発明の入力位置設定装置においても、（２）〜（８）に記載の入力位置設定方法と同様の特徴を有することが好ましい。

（１０）本発明の入力位置設定プログラムは、画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定プログラムであって、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップとを有することを特徴とする。

本発明の入力位置設定プログラムにおいても、前記（１）に記載の入力位置設定方法と同様の効果を得ることができる。なお、本発明の入力位置設定プログラムにおいても、（２）〜（８）に記載の入力位置設定方法と同様の特徴を有することが好ましい。

（１１）本発明の情報入力システムは、画像表示装置と、前記画像表示装置によって表示される表示領域を撮像可能な撮像装置と、前記表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記撮像画像データに基づいて設定する入力位置設定装置とを有する情報入力システムであって、前記入力位置設定装置は、前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、前記入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部とを有することを特徴とする。

本発明の情報入力システムによれば、前記（１）の入力位置設定方法に記載の効果と同様の効果が得られ、操作者にとって使いやすい情報入力システムとすることができる。特に、入力位置設定経過情報を生成して、その入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳させて表示するようにしている。これにより、操作者はその表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができ、この種の情報入力システムに精通していない操作者にも使いやすい情報入力システムとすることができる。また、本発明の情報入力システムは同じ表示領域上で複数の操作者が指示操作することが可能であることも特徴の１つである。
なお、本発明の情報入力システムにおいても、（２）〜（８）に記載の入力位置設定方法と同様の特徴を有することが好ましい。

以下、本発明の実施形態について説明する。

[実施形態１]
図１は実施形態１に係る情報入力システムの構成を示す図である。実施形態１に係る情報入力システムは、図１に示すように、プロジェクタなどの画像表示装置１と、この画像表示装置１によって表示された表示領域を撮像可能に設置された撮像装置２と、画像表示装置１によって表示すべき画像に対する画像データを取得する表示画像データ取得装置（パーソナルコンピュータなど）３と、撮像装置２によって出力される撮像画像データに基づいて操作者が指示手段（操作者の手や指示棒など）で指示した指示位置に対する入力位置の設定を行う入力位置設定装置４とを有している。

入力位置設定装置４は、撮像装置２からの撮像画像データに基づいて指示手段に対応する画像を指示画像領域として検出して出力する指示画像領域取得部４１と、指示画像領域内に設定された基準位置（指示画像領域の重心とする）から最も遠い指示画像領域の輪郭上に存在する位置を最遠点として検出し、検出された最遠点に基づいて操作者の入力位置を設定する入力位置設定部４２と、入力位置の設定に至る経過を前記操作者に示すための入力位置設定経過情報を生成して、その入力位置設定経過情報を画像表示装置１で表示すべき画像データに重畳する入力位置設定経過情報表示制御部４３とを有している。

指示画像領域取得部４１は、撮像装置２からの撮像画像データと表示画像データ取得装置３から画像表示装置１に対して与えた表示画像データ（現時点で画像表示装置で表示すべき画像データ）との差分（差分画像という）を検出して２値化する差分画像取得部４１１と、２値化された差分画像に基づいて処理対象とすべき画像領域すなわち指示手段に対応する指示画像領域を検出する指示画像領域検出部４１２とを有している。

入力位置設定部４２は、指示画像領域検出部４１２で検出された指示画像領域の重心を基準位置として算出する基準位置算出部４２１と、指示画像領域内に設定された基準位置から最も遠い指示画像領域の輪郭上の点を最遠点として検出し、検出された最遠点に基づいて操作者の入力位置を算出する入力位置算出部４２２とを有している。

入力位置設定経過情報表示制御部４３は、基準位置算出部４２１で算出された基準位置を操作者に示すための可視的な情報（基準位置情報という）を生成する基準位置情報生成部４３１と、入力位置算出部４２２で算出された入力位置を操作者に示すための可視的な情報（入力位置情報という）を生成する入力位置情報生成部４３２と、基準位置情報と入力位置との対応関係を操作者に示すための可視的な情報（対応情報という）を生成する対応情報生成部４３３と、これら基準位置情報、入力位置情報、対応情報を画像表示装置１で表示すべき画像データに重畳させるデータ重畳部４３４とを有している。

図２は実施形態１に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャートである。以下、入力位置設定処理手順を図２のフローチャートに加えて図３および図４を参照しながら説明する。

図２において、まず、表示領域を撮像して得られた撮像画像データに基づいて差分画像を取得し、その差分画像を２値化する（ステップＳ１）。このステップＳ１の処理は、画像表示装置１によって表示された表示領域を撮像装置２が撮像し、それによって得られた撮像画像データと表示画像データ取得部３から画像表示装置１に与えている表示画像データとの差分画像を差分画像取得部４１１が取得する処理である。

図３は差分画像を２値化した例を示す図である。図３において、四角い枠１１は画像表示装置１により表示された表示領域１０の外周（以下、外周１１という）を表している。なお、図３（ａ）には表示領域１０内に存在する３つの物体に対応する２値化後の差分画像Ａ，Ｂ，Ｃが示されている。

図３において、差分画像Ａは、ある操作者（第１操作者という）が画像表示装置１によって表示された表示領域１０上の所定位置を自身の指先で指示しようとして手を表示領域１０上に差し出した状態に対応する２値化画像である。また、差分画像Ｂは、第１操作者とは異なる他の操作者（第２操作者という）が表示領域１０上の所定位置を指示手段としての指示棒で指示しようとして、当該指示棒を表示領域１０上に差し出した状態に対応する２値化画像である。また、差分画像Ｃは、表示領域１０内に置かれた指示手段以外の何らかの物体に対応する２値化画像である。

図２に説明が戻って、ステップＳ１によって差分画像を２値化したあと、表示領域１０の全周を走査したか否かを判定し（ステップＳ２）、表示領域１０の全周を走査していなければ、走査していない表示領域１０の外周１１を走査し、外周１１に接する部分の差分画像を取得する処理を行う（ステップＳ３）。

ここで、表示領域１０の全周を走査するというのは、図３（ａ）において、たとえば、表示領域１０の外周１１の位置Ｐ１を走査開始点として右方向（矢印ａ方向）へ外周１１に沿って位置Ｐ２まで走査し、位置Ｐ２からは上方向（矢印ｂ方向）へ外周１１に沿って位置Ｐ３まで走査し、位置Ｐ３からは左方向（矢印ｃ方向）へ外周１１に沿って位置Ｐ４まで走査し、位置Ｐ４からは下方向（矢印ｄ方向）へ外周１１に沿って位置Ｐ１まで走査するといった処理である。

そして、このような表示領域１０の外周１１の走査を行う際、外周１１に接する部分の差分画像、すなわち、外周１１に対応する線状の差分画像を取得する。たとえば、位置Ｐ１から外周１１に沿って矢印ａ方向へ位置Ｐ２までの走査を行うと、図３（ｂ）に示すように、外周１１に対応する線状の差分画像Ａ’が取得される。

図２に説明が戻って、表示領域１０の外周１１を走査した結果、線状の差分画像が取得されると、取得した線状の差分画像に連続する差分画像（この場合、差分画像Ａ’に連続する差分画像）の重心を求める（ステップＳ４）。

ここで、「取得した線状の差分画像に連続する差分画像」というのは、たとえば、線状の差分画像Ａ’を例にとれば、この差分画像Ａ’に連続した差分画像は、図３における２値化された差分画像Ａ全体の領域を指している。

このように、表示領域１０の外周１１を走査した結果、線状の差分画像が取得された場合は、その線状の差分画像は、操作者が指示手段によって指示を行う際の指示手段（手や指示棒）に対応する画像領域の一部であると判断することができる。ここで、当該外周１１に対応する線状の差分画像が取得された場合、その線状の差分画像に連続する差分画像は、指示手段に対応する画像領域であると判断できるので、その線状の差分画像に連続する差分画像のことを「指示画像領域」と呼ぶことにする。

上述したように、表示領域１０の外周１１を位置Ｐ１から矢印ａ方向に走査した結果、差分画像Ａに対応する指示画像領域（指示画像領域Ａという）が取得されると、その指示画像領域Ａの重心Ｇを求め、求められた重心Ｇを基準位置とする。この重心Ｇの求め方は、特に限定されるものではなく種々の方法によって求めることが可能である。

指示画像領域Ａにおいて求められた重心Ｇを図３（ｂ）に示す。図３（ｂ）において示される白十字マークが指示画像領域Ａに求められた基準位置としての重心Ｇを示している。この重心Ｇを示す白十字マークは、基準位置情報生成部４３１によって生成され、画像表示装置１で表示すべき画像データに重畳されて画像表示装置１によって表示される。

図２に説明が戻って、ステップＳ４によって指示画像領域Ａの重心Ｇが求められると、次に、重心Ｇを中心とする幾つかの同心円を考え、これらの同心円と指示画像領域の輪郭とが接する点（接点群）を取得する（ステップＳ５）。なお、同心円と指示画像領域の輪郭とが接する点というのは、同心円と指示画像領域が交わる点（交点）ではなく、あくまで接する点（接点）である。

このステップＳ５の処理を図３（ｂ）により説明する。図３（ｂ）においては、２つの同心円Ｒ１，Ｒ２を考えた場合であり、指示画像領域Ａにおいては、この場合、同心円Ｒ１と指示画像領域Ａの輪郭との接点として、たとえばＱ１点が取得される。また、同心円Ｒ２と差分画像Ａの輪郭との接点として、たとえばＱ２が取得される。

図２に説明が戻って、ステップＳ５において、同心円と指示画像領域Ａの輪郭との接点が求められると、求められた幾つかの接点の中に、表示領域１０の外周１１近傍の接点が含まれている場合には、それを除外する（ステップＳ６）。これは、同心円がたまたま表示領域１０の外周１１と指示画像領域とが接している部分（たとえば、図３（ｂ）におけるｑ１，ｑ２点など）を通る場合などであり、その場合にはそれらの接点は除外する。ただし、図３（ｂ）に示される同心円Ｒ１，Ｒ２と指示画像領域Ａの場合はそれに該当する接点は存在しない。

次に、ステップＳ６で除外された接点以外の接点の中から、重心Ｇから最も遠い点（最遠点という）を選択する（ステップＳ７）。そして、重心Ｇから最遠点の方向で、当該最遠点から所定の距離の位置を求め、求められた位置を操作者の入力位置とする（ステップＳ８）。図３（ｂ）において、最遠点として取得された接点Ｑ２を白丸で示す。

ステップＳ８の処理を図４により具体的に説明する。指示画像領域Ａにおいては、前述の図３（ｂ）において求められた幾つかの接点の中の最遠点として、この場合、接点Ｑ２が選択される。したがって、図４に示すように、重心Ｇから最遠点である接点Ｑ２を通る線分上の当該接点Ｑ２から所定の距離の位置αを設定し、この位置αを第１操作者の入力位置αとする。

図２に説明が戻って、ステップＳ８により、第１操作者の入力位置αが求められると、求められた入力位置αが表示領域１０内か否かを判定し、表示領域１０外である場合には、ステップＳ７に戻って、再び最遠点選択処理を行い、最遠点となり得る他の接点を最遠点として設定しなおして、ステップＳ８の処理を行う。

また、求められた入力位置αが表示領域１０内か否かを判定した結果、表示領域１０内である場合には、ステップＳ２に戻り、走査し終わっていない外周があれば、その外周について走査を行う。

なお、第１操作者に対する入力位置αが求められると、入力位置であることを示す入力位置情報（図４では黒丸としている）が表示される。この入力位置を示す入力位置情報は、入力位置情報生成部４３２によって生成され、画像表示装置１で表示すべき画像データに重畳されて画像表示装置１によって表示される。

また、基準位置情報（白十字マークなど）と入力位置情報（黒丸など）との対応関係を示す対応情報として、たとえば、図４に示すように、基準位置から最遠点を通って入力位置を結ぶ線（矢印など）を表示させる。この対応情報は対応情報生成部４３３によって生成され、画像表示装置１で表示すべき画像データに重畳されて画像表示装置１によって表示される。

このように、基準位置情報（白十字マークなど）の表示、入力位置情報（黒丸など）の表示とともに、これらの対応関係を示す対応情報（矢印など）を表示させる。これにより、操作者は、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができる。これにより、情報入力システムが、たとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

図５は情報システムがどの位置を入力点として設定したかということが操作者にとって把握しにくい例について説明する図である。前述の図３および図４の例では、情報システムがどの位置を入力点として設定したかということは、操作者が直感的に理解できるが、図５のように、操作者が手を広げて表示領域１０内に差し出したような場合には、操作者は、情報入力システム側で設定された入力位置がどこであるかが直感的にはわかりにくい。

このような場合も、図５に示すように、基準位置情報（白十字マークなど）の表示、入力位置情報（黒丸など）の表示とともに、これらの対応関係を示す対応情報（矢印など）を表示させる。これにより、操作者は、自身の行った指示操作に対する入力位置の設定を情報入力システム側がどのようにして設定したかを容易に理解することができる。
なお、基準位置情報および入力位置情報の表示と、これらの対応情報の表示だけではなく、最遠点を示す情報をも表示させるようにしてもよい。

これまでの説明は、指示画像領域Ａについての処理であったが、ステップＳ２において、走査の終了していない外周があると判断された場合は、さらに、表示領域１０の外周１１を走査し、次の差分画像の取得を行う。たとえば、図３（ａ）における位置Ｐ２から外周に沿って矢印ｂ方向へ位置Ｐ３までの走査を行うと、今度は、図３（ｂ）に示すように、外周１１に接する線状の差分画像Ｂ’が取得される。そして、取得された線状の差分画像Ｂ’に連続する差分画像が指示画像領域（指示画像領域Ｂという）として取得され、この指示画像領域Ｂの重心Ｇを求める。

以降、指示画像領域Ａの場合と同様の処理を行う。すなわち、指示画像領域Ｂにおける基準位置としての重心Ｇを中心とする同心円Ｒ１，Ｒ２を考え、同心円Ｒ２と指示画像領域Ｂの輪郭との接点として、たとえば、Ｑ３点が最遠点として取得されたとする。そして、図４に示すように、基準位置としての重心Ｇから最遠点である接点Ｑ３（図４において白丸で示す）を通る線分上の当該接点Ｑ３から所定の距離の位置βを設定し、この位置βを操作者（第２操作者という）の入力位置βとする。

ここで、入力位置βは表示領域１０内であれば、続いて、表示領域１０の外周１１に走査し、次の差分画像の取得を行う。すなわち、図３（ａ）における位置Ｐ３から外周に沿って矢印ｂ方向へ位置Ｐ４、さらに、位置Ｐ４から位置Ｐ１までの走査を行うと、この場合、表示領域１０の外周１１に対応する差分画像の取得がなされない。そして、表示領域の全周を走査したと判定されると処理を終了する。

なお、差分画像Ｃは外周に接している部分が存在しないので、処理対象から除外され、指示画像領域とはならない。このように、本発明では、２値化された差分画像において、その差分画像の輪郭が表示領域１０の外周１１に接しているものだけを指示手段に対応する画像領域すなわち指示画像領域とする。

図６は指示画像領域として取得される画像と取得されない画像の例を示す図である。図５に示すように、画像表示装置１としてのプロジェクタから机上面１２に画像を投写し、投写された画像を撮像装置２で撮像して、その撮像画像データから操作者の入力位置情報を求めるというような情報入力システムにおいて、第１操作者が机上面１２に手１３を差し出し、第２操作者が机上面１２に指示棒１４を差し出すような操作を行った場合、これらの手１３や指示棒１４は、表示領域１０の外周１１に接する部分が存在するので、指示画像領域として取得される。これに対して、表示領域１０内に置かれた何らかの物体１５は、表示領域１０の外周１１に接していないので、これは処理対象からは除外され、指示画像領域としては取得されない。

ところで、ステップＳ８における最遠点から所定の距離を入力位置とする処理において、入力位置を設定する際の「最遠点から所定の距離」は、たとえば、その入力位置にポインタなどを表示する際、操作者から見て指示手段の先端の適切な位置にポインタが表示されるような距離を設定する。具体的には、たとえば、操作者が指先を動かしながらポインタを移動させて線を描くような操作を行う場合を例に取れば、操作者の指先とポインタがあたかも一体化して動くような感覚を操作者に与えることが好ましいので、それを考慮して「最遠接点から所定の距離」を設定することが好ましい。

図７は図２のフローチャートにおけるステップＳ７の処理（最遠点選択処理）を詳細に説明するフローチャートである。図７において、接点群の中から、重心からの距離が遠い接点、すなわち、最遠点となり得る接点（最遠点候補という）をすべて選択する（ステップＳ２１）。そして、選択された最遠点候補が１つであるか否かを判定し（ステップＳ２２）、１つであれば選択された最遠点候補を求めるべき最遠点として決定することができるので、処理を終了する。

一方、選択された最遠点候補が１つでない場合は、選択された最遠点候補の中から、指示画像領域が接する表示領域１０の外周１１からの距離が最も遠い接点を求めるべき最遠点として選択する（ステップＳ２３）。ここで、ステップＳ２３により選択された接点が１つであるか否かを判定し（ステップＳ２４）、１つであれば選択された接点（表示領域１０の外周１１からの距離が最も遠い接点）を求めるべき最遠点として決定することができるので、処理を終了する。

なお、ステップＳ２４において選択された接点が１つでない場合は、選択された接点の中から、指示画像領域が接する表示領域１０の外周１１から見て最も左側に位置する接点を求めるべき最遠点として選択する（ステップＳ２５）。このステップＳ２５の処理は、たとえば、右利きの操作者の場合、その操作者は右手の人差し指を使って指示することが多いからである。

以上説明したように、実施形態１によれば、操作者の行った指示操作に対する入力位置の設定を適切に行うことができる。また、操作者の行った指示操作に対する入力位置の設定を情報入力システム側がどのようにして設定したかを操作者が理解できるような情報、すなわち、入力位置設定経過情報の表示を行うようにしている。

これにより、操作者はその入力位置設定経過情報の表示を見ることにより、自身の行った指示操作に対し、情報入力システムが入力位置として、どの位置をどのようにして設定したのかといった入力位置の設定経過を視覚的に知ることができる。したがって、情報入力システムがたとえば、操作者の意図しない位置を入力位置として設定したような場合にも、操作者は情報入力システムが何故誤動作したかということを理解しやすくなる。

また、図３などからも明らかなように、本発明は撮像画像データから指示手段（操作者の指や指示棒など）に対応する画像領域を指示画像領域として検出するようにしているので、それぞれの指示手段に対応する指示画像領域ごとに入力位置を設定することが可能である。これにより、同じ表示領域上で複数の操作者が指示操作することが可能である。

[実施形態２]
図８は実施形態２に係る情報入力システムの構成を示す図である。実施形態２に係る情報入力システムが、図１で示した実施形態１に係る情報入力システムと異なるのは、図８に示すように、指示画像領域取得部４１の構成要素として、差分画像取得部４１１、指示画像領域検出部４１２の他に差分画像記憶部４１３と時間差分画像取得部４１４とが新たに加わる点であり、その他は図１と同じであるので、同一部分には同一符号が付されている。

差分画像記憶部４１３は、差分画像取得部４１１で取得された差分画像（撮像画像データと表示画像データとの差分画像）を記憶する。すなわち、撮像装置２から出力される各フレームごとの撮像データと表示画像データとの差分画像データのうち、現フレームに対して、少なくとも１フレーム前の撮像画像データと表示画像データとの差分画像を記憶する。

時間差分画像取得部４１４は、差分画像取得部４１１で取得された現フレームの撮像画像データと表示画像データとの差分画像と、差分画像記憶部４１３に記憶されているそれより前（たとえば１フレーム前）の差分画像との時間差分を検出する。

この図８に示す構成からも明らかなように、実施形態２に係る情報入力システムは、差分画像取得部４１１で取得された差分画像の時間差分を検出する点が実施形態１に係る情報入力システムと異なる。なお、差分画像の時間差分を検出するのは、たとえば、図９に示すような状況に対応可能とするためである。

図９は差分画像の時間差分を検出することが好ましい例を説明する図である。図９に示すように、表示領域１０の外周１１を横切るような位置に、指示手段（手や指示棒など）以外の何らかの物体が存在すると、前述の実施形態１に係る情報入力システムにおいては、指示手段以外の物体に対応する差分画像も指示画像領域とみなされてしまうこととなる。

実施形態２に係る情報入力システムは、これに対処するものである。ちなみに、図９に
おける差分画像Ｄは表示領域１０上に置かれた定規に対応する差分画像であり、差分画像
Ｅは同じく表示領域１０上に置かれたコンパスに対応する差分画像であり、これらは動か
ずそのままの状態を保持するものとする。また、差分画像Ａは操作者の指示操作によって
矢印ｘ方向、差分画像Ｂは矢印ｙ方向に移動するものとする。

実施形態２に係る情報入力システムでは、差分画像取得部４１１で取得された差分画像の位置の変化すなわち動きの有無を検出し、動きのあるものだけを指示手段に対応する画像領域すなわち指示画像領域とする。以下、実施形態２に係る情報入力システムを具体的に説明する。

図１０は実施形態２に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャートである。図１０に示すステップＳ３１〜Ｓ４１のうち、ステップＳ３１は、実施形態１の説明で用いた図２のフローチャートのステップＳ１と同じ処理であり、ステップＳ３３〜Ｓ４１は実施形態１の説明で用いた図２のフローチャートのステップＳ２〜Ｓ１０と同じ処理である。
すなわち、図１０が図２と異なるのは、差分画像を２値化する処理（ステップＳ３１）のあとに時間差分画像取得処理（ステップＳ３２）が加わる点である。したがって、実施形態２では、主に時間差分画像取得処理について説明を行う。

図１１は図１０におけるステップＳ３２の時間差分画像取得処理を説明するフローチャートである。図１１において、まず、現フレームの差分画像（現差分画像という）と差分画像記憶部４１３に記憶された差分画像（現差分画像に対して１フレーム前の差分画像であるとする）との差分をとり、それを時間差分画像とする（ステップＳ５１）。

ここで、ステップＳ５１で取得された時間差分画像のすべての画像領域を処理したか否かを判定し（ステップＳ５２）、すべての画像領域の処理が終了していなければ、取得されたすべての時間差分画像の中から、差分のあった画像領域を１つ選択する（ステップＳ５３）。そして、差分のあった画像領域は、現差分画像に新たに現れた画像領域か否かを判定し（ステップＳ５４）、新たに現れた画像領域であると判定された場合には、ステップＳ５２に戻る。

一方、ステップＳ５４において、新たに現れた画像領域でないと判定された場合には、時間差分画像の中からステップＳ５３にて選択された画像領域を削除して（ステップＳ５５）、ステップＳ５２に戻る。

そして、ステップＳ５１で取得された時間差分画像のすべての画像領域についての処理が終了したか否かの判定（ステップＳ５２）の結果、すべての画像領域についての処理が終了していれば、現差分画像で差分画像記憶部４１３の内容を更新する（ステップＳ５６）。

図１１のフローチャートに示すような処理を行うことにより、たとえば、図９の例では、位置の変化すなわち動きのない差分画像Ｄや差分画像Ｅは削除され、操作者の手に対応する差分画像Ａと指示棒に対応する差分画像Ｂのみが時間差分画像として検出される。そして、さらに、差分画像Ａと差分画像Ｂのうち、差分画像記憶部４１３に記憶されている差分画像には存在しない領域（現差分画像に新しく現れた領域）のみが処理対象とすべき時間差分画像として検出される。この様子を示したものが図１２である。

図１２において、灰色で示す画像領域は差分画像記憶部４１３に記憶されている時刻ｔ０における手に対応する差分画像Ａ０および指示棒に対応する差分画像Ｂ０であるとする。ここで、図９で示したように、手と指示棒が矢印ｘ，ｙ方向にそれぞれ移動したあとの現差分画像（時刻ｔ１において得られる現差分画像）と、差分画像記憶部４１３に記憶されている時刻ｔ０における差分画像Ａ０，Ｂ０とが時間差分画像取得部４１４に入力されると、図１１のフローチャートで示したような処理によって、図１２に示す黒色で示す画像領域Ａ１，Ｂ１のみが得られる。

このように、時間差分画像としてそれより前の差分画像（差分画像記憶部４１３に記憶されている差分画像）には存在しない画像領域（新しく現れた画像領域）が検出された場合には、その画像領域が処理対象とすべき時間差分画像として検出される。

そして、当該処理対象とすべき時間差分画像に対し、その処理対象とすべき時間差分画像が指示手段に対応する画像領域、すなわち、指示画像領域であるか否かを判定する処理（図１０におけるステップＳ３３，Ｓ３４）を行い、指示画像領域であると判定された場合は、基準位置としての重心を求める処理（図１１のステップＳ３５）以降の処理を行う。すなわち、処理対象とすべき時間差分画像（図１２における黒色で示される画像領域Ａ１）に対して、基準位置としての重心Ｇが求められる。なお、ステップＳ３３以降の処理については実施形態１と同様に行うことができるのでここでは説明を省略する。

なお、図１２において、白十字マークは、処理対象とすべき時間差分画像（黒色で示される画像領域Ａ，Ｂ）において求められた基準位置（重心Ｇ）であり、また、白丸で示すＱ２，Ｑ３は、処理対象とすべき時間差分画像（黒色で示される画像領域Ａ，Ｂ）において求められた最遠点である。また、黒丸の位置α，βは、処理対象とすべき時間差分画像（黒色で示される画像領域Ａ，Ｂ）に対して設定された入力位置である。

実施形態１と同様、基準位置情報（白十字マークなど）の表示、入力位置情報（黒丸など）の表示とともに、これらの対応関係を示す対応情報（矢印など）の表示を行う。なお、基準位置、入力位置だけでなく最遠点の表示を行うようにしてもよいことは勿論である。

また、操作者の手や指示棒は、時刻ｔ１のあとさらに移動する可能性があるが、それぞれの時刻ｔ２，ｔ３，・・・における現差分画像と差分画像記憶部４１３に記憶されている差分画像との間で前述同様の処理を行う。なお、時刻ｔ０，ｔ１，・・・は、たとえば、撮像装置２で得られる撮像画像データのフレーム周期に同期した時間とすることができる。

以上説明したように、実施形態２によれば、差分画像の時間差分を検出することにより、たとえば、図９に示すような状況、すなわち、表示領域１０の外周１１上に置かれた指示手段以外の物体までもが、指示手段として処理されてしまうといった問題を解消することができる。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、画像表示装置としてプロジェクタを用いた例が示されているが、画像表示装置はプロジェクタに限られるものではなく、たとえば、直視型のディスプレイ装置などであってもよい。

また、前述の各実施形態において説明した入力位置設定処理をコンピュータに実行させるためのプログラムとして入力位置設定プログラムを作成することが可能であり、また、作成した入力位置設定プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、入力位置設定プログラムを記録した記録媒体も含むものである。また、入力位置設定プログラムはネットワークから取得するようにしてもよい。

実施形態１に係る情報入力システムの構成を示す図。 実施形態１に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャート。 差分画像を２値化した例を示す図。 図３で示す２値化画像上で重心、最遠点、入力位置とそれらの対応関係などを示す図。 情報システムがどの位置を入力点として設定したかということが操作者にとって把握しにくい例について説明する図。 指示画像領域として取得される画像と取得されない画像の例を示す図。 図２のフローチャートにおけるステップＳ７の処理（最遠点選択処理）を詳細に説明するフローチャート。 実施形態２に係る情報入力システムの構成を示す図 差分画像の時間差分を検出することが好ましい例を説明する図。 実施形態２に係る情報入力システムにおける入力位置設定処理手順を説明するフローチャート。 図１０におけるステップＳ３２の時間差分画像取得処理を説明するフローチャート。 時間差分画像取得処理について説明する図。

符号の説明

１・・・画像表示装置、２・・・撮像装置、３・・・表示画データ像取得装置、４・・・入力位置設定装置、１０・・・表示領域、１１・・・表示領域の外周、４１・・・指示画像領域取得部、４２・・・入力位置設定部、４３・・・入力位置設定経過情報表示制御部、４１１・・・差分画像取得部、４１２・・・指示画像領域検出部、４１３・・・差分画像記憶部、４１４・・・時間差分画像取得部、４２１・・・基準位置算出部、４２２・・・入力位置算出部、４３１・・・基準位置情報生成部、４３２・・・対応情報生成部、４３３・・・入力位置情報生成部、４３４・・・データ重畳部、Ａ，Ｂ，Ｃ・・・差分画像、Ｇ・・・重心、α、β・・・入力位置

Claims (14)

1. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定方法であって、
   前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、
   前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、
   前記操作者の行った指示操作に対し、どのようにして前記入力位置が設定されたのかを前記操作者に視覚的に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップと、
   を有することを特徴とする入力位置設定方法。
2. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定方法であって、
   前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、
   前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、
   少なくとも、前記基準位置を示す第１の情報、前記入力位置を示す第２の情報、及び前記第１の情報と前記第２の情報との対応関係を示す第３の情報を生成して、前記第１の情報、前記第２の情報及び前記第３の情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップと、
   を有することを特徴とする入力位置設定方法。
3. 請求項１又は２に記載の入力位置設定方法において、
   前記第１ステップは、
   前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、
   前記表示領域の外周を走査し、前記表示領域の外周と接する前記差分画像があるか否かを判定し、前記表示領域の外周と接する前記差分画像が有る場合に、当該差分画像を前記指示画像領域とするステップと、
   を有することを特徴とする入力位置設定方法。
4. 請求項１又は２に記載の入力位置設定方法において、
   前記第１ステップは、
   前記画像表示装置で表示すべき表示画像データと前記表示領域を撮像して得られた撮像画像データとの差分画像を取得するステップと、
   前記差分画像のうちの現時点で取得された差分画像と前記現時点よりも所定時間前に取得された差分画像との差分をとり、差分のあった画像領域から処理対象とすべき時間差分画像を取得するステップと、
   前記表示領域の外周を走査し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像があるか否かを判定し、前記表示領域の外周と接する前記処理対象とすべき時間差分画像が有る場合に、当該処理対象とすべき時間差分画像を前記指示手段に対応する指示画像領域とするステップと、
   を有することを特徴とする入力位置設定方法。
5. 請求項１〜４のいずれかに記載の入力位置設定方法において、
   前記第２ステップは、前記指示画像領域の重心を求めるステップを有し、求められた前記重心を前記基準位置として前記最遠点を求めることを特徴とする入力位置設定方法。
6. 請求項５に記載の入力位置設定方法において、
   前記最遠点は、前記指示画像領域が接する前記表示領域の外周近傍に存在する点を除いて決定されることを特徴とする入力位置設定方法。
7. 請求項５又は６に記載の入力位置設定方法において、
   前記重心を基準位置として前記最遠点を求める際、前記最遠点の候補が複数存在する場合には、前記指示画像領域が接する前記表示領域の外周からの距離が最も遠い点を最遠点として選択することを特徴とする入力位置設定方法。
8. 請求項１〜７のいずれかに記載の入力位置設定方法において、
   前記最遠点に基づいて設定された入力位置が前記表示領域の外側となる場合には、前記入力位置が前記表示領域の内側となるように前記最遠点を設定し直すことを特徴とする入力位置設定方法。
9. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置であって、
   前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、
   前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、
   前記操作者の行った指示操作に対し、どのようにして前記入力位置が設定されたのかを前記操作者に視覚的に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、
   を有することを特徴とする入力位置設定装置。
10. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定装置であって、
    前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、
    前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、
    少なくとも、前記基準位置を示す第１の情報、前記入力位置を示す第２の情報、及び前記第１の情報と前記第２の情報との対応関係を示す第３の情報を生成して、前記第１の情報、前記第２の情報及び前記第３の情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、
    を有することを特徴とする入力位置設定装置。
11. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定プログラムであって、
    前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、
    前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、
    前記操作者の行った指示操作に対し、どのようにして前記入力位置が設定されたのかを前記操作者に視覚的に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップと、
    を有することを特徴とする入力位置設定プログラム。
12. 画像表示装置によって表示される表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記表示領域を撮像して得られた撮像画像データに基づいて設定する入力位置設定プログラムであって、
    前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する第１ステップと、
    前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する第２ステップと、
    少なくとも、前記基準位置を示す第１の情報、前記入力位置を示す第２の情報、前記第１の情報と前記第２の情報との対応関係を示す第３の情報を生成して、前記第１の情報、前記第２の情報及び前記第３の情報を前記画像表示装置で表示すべき画像データに重畳する第３ステップと、
    を有することを特徴とする入力位置設定プログラム。
13. 画像表示装置と、前記画像表示装置によって表示される表示領域を撮像可能な撮像装置と、前記表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記撮像画像データに基づいて設定する入力位置設定装置とを有する情報入力システムであって、
    前記入力位置設定装置は、
    前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、
    前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、
    前記操作者の行った指示操作に対し、どのようにして前記入力位置が設定されたのかを前記操作者に視覚的に示すための入力位置設定経過情報を生成して、前記入力位置設定経過情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、
    を有することを特徴とする情報入力システム。
14. 画像表示装置と、前記画像表示装置によって表示される表示領域を撮像可能な撮像装置と、前記表示領域の所定位置を操作者が指示手段で指示すると、前記指示手段による指示位置に対する入力位置を、前記撮像画像データに基づいて設定する入力位置設定装置とを有する情報入力システムであって、
    前記入力位置設定装置は、
    前記撮像画像データから前記指示手段に対応する画像領域を指示画像領域として取得する指示画像領域取得部と、
    前記指示画像領域に設定された基準位置から最も遠い前記指示画像領域の輪郭上に存在する位置を最遠点として検出し、前記最遠点に基づいて前記入力位置を設定する入力位置設定部と、
    少なくとも、前記基準位置を示す第１の情報、前記入力位置を示す第２の情報、前記第１の情報と前記第２の情報との対応関係を示す第３の情報を生成して、前記第１の情報、前記第２の情報及び前記第３の情報を前記画像表示装置で表示すべき画像データに重畳する入力位置設定経過情報表示制御部と、
    を有することを特徴とする情報入力システム。