JP2004030284A - シームレスポインティングシステム - Google Patents
シームレスポインティングシステム Download PDFInfo
- Publication number
- JP2004030284A JP2004030284A JP2002186267A JP2002186267A JP2004030284A JP 2004030284 A JP2004030284 A JP 2004030284A JP 2002186267 A JP2002186267 A JP 2002186267A JP 2002186267 A JP2002186267 A JP 2002186267A JP 2004030284 A JP2004030284 A JP 2004030284A
- Authority
- JP
- Japan
- Prior art keywords
- data
- touch
- touch panel
- computers
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】複数のタッチパネルコンピュータを相互通信可能に接続する。そして、各々のタッチ検出を行う(116〜122)。このとき、何れかのタッチ検出範囲を越えたことを検出し(118)、他のタッチパネルコンピュータ12とのリンクがなされた場合に(104、106)、他のタッチパネルコンピュータ12のタッチ検出によってデータの移動先やコピー先が選択されてデータ移動又はデータコピーを行う(108〜112)。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、シームレスポインティングシステムにかかり、特に、複数のタッチパネル間のポインティングを行うシームレスポインティングシステムに関する。
【0002】
【従来の技術】
従来より、画像が表示される表示部をタッチ操作することによって種々の操作を行うタッチパネルが提案されている。
【0003】
また、空間上の任意の位置を指し示す場合に用いる技術として、例えば、本願出願人によってハンドポインティング装置(特開平11−134089号公報)が提案されている。
【0004】
特開平11−134089号公報に記載の技術では、透視法に則って仮想的に3次元空間を表す画像をディスプレイに表示し、情報入力者を複数第のビデオカメラによって互いに異なる方向から撮像する。表示画像が表す仮想3次元空間内の任意の箇所を情報入力者が指し示している状態で、各ビデオカメラから得られた複数の画像から情報入力者の背中に相当する基準点及び指先に相当する特徴点を各々抽出して3次元座標を各々求める。基準点から特徴点に向かう方向に基づいて仮想3次元空間内の指示箇所が存在している方向を判断し、基準点と特徴点との距離に基づいて仮想3次元空間における情報入力者と指示箇所との距離を判断し、仮想3次元空間における指示箇所の3次元座標を判断することが提案されている。これによって3次元空間内を指し示す位置を判断することができる。
【0005】
【発明が解決しようとする課題】
ところで、ユビキタスコンピューティング空間では、これらハンドポインティングやタッチパネルの操作などがコンピュータ操作の主眼となる。
【0006】
しかしながら、ユビキタスコンピューティング空間には複数の端末が存在し、様々なデータを端末から端末へ運ぶ操作が必要となる。ところが、これまでの空間内でのポインティングはレーザポインタ等を使用して、端末内でのポインティングにはマウスやトラックポイント等を使うなどの切り換えが必要であった。
【0007】
本発明は、上記事実を考慮して成されたもので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができるシームレスポインティングシステムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために請求項1に記載の発明は、所定領域内のタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応するデータを当該タッチ操作位置に属する特定データとして制御するタッチ制御手段と、を有し、相互通信が可能に接続された複数のコンピュータと、前記複数のコンピュータのうち、何れかのコンピュータにおいて、前記特定データを属した前記タッチ操作位置が前記所定領域を離間したことを検出する離間検出手段と、前記離間検出手段で前記離間を検出した時に、前記特定データを処理可能状態に設定する設定手段と、他のコンピュータにおいて、前記タッチ操作を検出した時に、前記設定手段で設定された特定データを該他のコンピュータで処理可能に制御する処理手段と、を含むことを特徴としている。
【0009】
請求項1に記載の発明によれば、タッチ検出手段では、所定領域内のタッチ操作が検出される。例えば、表示画面等に設けられた既知の技術であるタッチパネルを適用することができる。
【0010】
タッチ制御手段では、タッチ検出手段の検出結果に基づいてタッチ操作位置に対応するデータが当該タッチ操作位置に属する特定データとして制御される。すなわち、複数のコンピュータの各々は制御手段が特定データを制御することによってポインティングを行うことができる。また、相互通信可能に複数のコンピュータが接続されているので、特定データの授受を複数のコンピュータ間で行うことができる。
【0011】
ここで、離間検出手段では、複数のコンピュータのうち、何れかのコンピュータにおいて、特定データを属したタッチ操作位置が所定領域を離間したことが検出され、設定手段では、離間検出手段によって前記離間が検出された時に、特定データが処理可能状態に設定され、処理手段では、他のコンピュータにおいて、タッチ操作を検出した時に、設定手段で設定された特定データが該他のコンピュータで処理可能に制御される。すなわち、これによって、コンピュータ間でポインティングが移動したものとしてポインティングを制御することが可能となり、複数のコンピュータ間にまたがるポインティングをシームレスに行うことができる。従って、本システムを種々の端末に適用することによって、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる。
【0012】
なお、特定データに対する処理としては、例えば、請求項2に記載の発明のように、特定データを複数のコンピュータ間で移動又はコピーすることが可能であり、これによって、複数のコンピュータ間でシームレスに行われたポインティングでデータの移動又はコピーを行うことができる。
【0013】
また、請求項3に記載の発明のように、複数のコンピュータのうち、少なくとも1つのコンピュータを家電機器(例えば、PDA端末、携帯電話、テレビ、ビデオ、冷蔵庫、オーディオ、エアコン等)に含むことによって、家電機器とコンピュータ間でデータの授受をシームレスに行うことが可能となる。例えば、コンピュータでビデオ装置の予約録画やタイマーセット等を行うことが可能となる。すなわち、コンピュータから予約録画やタイマーセット等の設定情報をタッチ操作によって転送することによって予約録画やタイマーセット等が可能となる。
【0014】
請求項4に記載の発明は、作業空間内におけるハンドポイント位置を検出するハンドポイント検出手段と、所定領域内のタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応するデータを当該タッチ操作位置に属する特定データとして制御するタッチ制御手段と、前記特定データを属した前記タッチ操作位置が前記所定領域を離間したことを検出する離間検出手段と、前記離間検出手段で前記離間を検出した時に、前記特定データ及び自己を識別するための識別データを表す出力データを送信する送信手段と、前記タッチ操作を最初に検出した時に、他のコンピュータからの出力データを要求し、要求した出力データを受信する受信手段と、受信した特定データを制御する制御手段と、を備えた複数のコンピュータと、前記送信された出力データに対して、前記検出されたハンドポイント位置の対象物を特定するための種類データを対応させて記憶する記憶手段と、前記出力データが要求された時に、前記種類データを求めて、求めた種類データに対応する出力データを、前記記憶手段から読み取りかつ送信するデータ出力手段と、を備えた管理装置と、を備えることを特徴としている。
【0015】
請求項4に記載の発明によれば、ハンドポイント検出手段では、作業空間内におけるハンドポイント位置が検出される。例えば、本願出願人によって提案されている、特開平9−296788号公報に記載の技術を適用することが可能である。
【0016】
複数のコンピュータは、タッチ検出手段、タッチ制御手段、離間検出手段、送信手段、受信手段、及び制御手段を備えている。
【0017】
タッチ検出手段では、所定領域内のタッチ操作によるタッチ操作位置が検出される。例えば、表示画面等に設けられた既知の技術であるタッチパネルを適用することができる。
【0018】
タッチ制御手段では、タッチ検出手段の検出結果に基づいてタッチ操作位置に対応するデータが当該タッチ操作位置に属する特定データとして制御される。
【0019】
離間検出手段では、複数のコンピュータのうち、何れかのコンピュータにおいて、特定データを属したタッチ操作位置が所定領域を離間したことが検出され、送信手段では、離間検出手段で前記離間を検出した時に、特定データ及び自己を識別するための識別データを表す出力データが送信され、受信手段では、タッチ操作を最初に検出した時に、他のコンピュータからの出力データを要求し、要求した出力データが受信される。そして、制御手段では、受信手段によって受信した特定データが制御される。そして、制御手段では、受信手段によって受信した特定データが制御される。
【0020】
また、管理装置は、記憶手段と、データ出力手段を備えており、記憶手段には、送信手段によって送信された出力データに対して、ハンドポイント検出手段によって検出されたハンドポイント位置の対象物を特定するための種類データを対応させて記憶され、データ出力手段では、出力データが要求された時に、種類データを求めて、求めた種類データに対応する出力データが、記憶手段から読み 取られ、かつ送信される。
【0021】
すなわち、複数のコンピュータ間における作業空間では、ハンドポイント検出手段によってポインティングが行われ、複数のコンピュータの所定領域内では、タッチ検出手段によってポインティングが行われる。そして、複数のコンピュータの所定領域を逸脱してポインティングが行われた時には、出力データが管理装置に送信されて種類データに対応して記憶されるので、ポインティングの移動元を特定することができ、移動先のコンピュータから出力データが要求された時に、種類データを求めて、求めた種類データに対応する出力データを送信することによって、移動元と移動先を管理装置が把握することができる。これによって、複数のコンピュータの所定領域内及び作業区間内におけるポインティングをシームレスに行うことができる。従って、本システムを種々の端末に適用することによって、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる。
【0022】
なお、制御手段は、例えば、請求項5に記載の発明のように、特定データの制御として、特定データを複数のコンピュータ間で移動又はコピーすることが可能であり、これによって、複数のコンピュータ間でシームレスに行われたポインティングでデータの移動又はコピーを行うことができる。
【0023】
また、請求項6に記載の発明のように、複数の検出手段のうち、少なくとも1つの検出手段を家電機器に含むことによって、家電機器と検出手段間でデータの授受をシームレスに行うことが可能となる。例えば、検出手段でビデオ装置の予約録画やタイマーセット等を行うことが可能となる。すなわち、検出手段から予約録画やタイマーセット等の設定情報をタッチ操作によって転送することによって予約録画やタイマーセット等が可能となる。
【0024】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
[第1実施形態]
図1には、本発明の第1実施形態に係わるシームレスポインティングシステム10の概略を示す。
【0025】
図1に示すように、本発明の第1実施形態に係わるシームレスポインティングシステム10は、周知のタッチパネルコンピュータ12A、12B、12CがLAN(Local Area Network)等のネットワーク14に複数接続されて構成され、それぞれのタッチパネルコンピュータ12A、12B、12Cに記憶されたデータの転送(データの移動やコピー等)を相互転送可能とされている。例えば、図1矢印Xに示すように、パッチパネルコンピュータ12Aからタッチパネルコンピュータ12Bへ所定のファイルを移動することが可能とされている。
【0026】
なお、図1では、3台のタッチパネルコンピュータ12A、12B、12Cを示すが、3台に限るものではなく、2台でもよいし、4台以上でもよい。
【0027】
図2には、タッチパネルコンピュータ12A、12B、12Cのそれぞれの構成を示す。なお、タッチパネルコンピュータ12A、12B、12Cは同一構成であるので、図2ではタッチパネルコンピュータ12として説明する。
【0028】
タッチパネルコンピュータ12はそれぞれ、図2に示すように、CPU16、ROM18、RAM20、I/O22がバス24に接続されて構成されている。また、バス24にはモニタ26及びモニタ26に設けられたタッチ検出部28が接続されたタッチパネルドライバ30が接続されており、当該タッチパネルドライバ30によってモニタ26及びタッチ検出部28が駆動されるようになっている。タッチ検出部28は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【0029】
なお、CPU16、ROM18及びRAM20は本発明のタッチ制御手段に相当し、タッチ検出部28は本発明のタッチ検出手段に相当する。
【0030】
さらに、バス24には、ハードディスク(HDD)32等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【0031】
ROM18には、タッチパネルコンピュータ12のモニタ26に設けられたタッチパネルのタッチ制御を行うためのプログラム、複数のタッチパネルコンピュータ12間のシームレスポインティングを行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、CPU16がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【0032】
I/O22には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0033】
なお、各タッチパネルコンピュータ12には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0034】
次に、上述のように構成された各タッチパネルコンピュータ12で行われるシームレスポインティング処理について図3のフローチャートを参照して説明する。シームレスポインティングは、複数のタッチパネルコンピュータ12A、12B、12C間をシームレス(継ぎ目なく)ポインティングするものであり、各タッチパネルコンピュータ12A、12B、12CのROM18に記憶されたシームレスポインティングを行うためのプログラムに従って行われる。なお、図3では、タッチパネルコンピュータ12A、12B、12C間でデータの移動又はコピーを行う場合を想定したものである。
【0035】
ステップ100では、モニタ26のタッチパネルのタッチ検出がなされたか否か判定される。すなわち、タッチ検出部28によってタッチ検出がなされたか否か判定され、該判定が肯定されるまで待機し、判定が肯定されるとステップ102へ移行する。
【0036】
ステップ102では、タッチ検出信号をネットワーク接続された他のタッチパネルコンピュータ(TC)12に対して出力する。そして、ステップ104では、タッチ検出信号に対する応答が他のタッチパネルコンピュータ12から有るか否か判定される。なお、ステップ102及びステップ104の処理は、他のタッチパネルコンピュータ12からデータの移動又はコピーを行っている途中か否かを検出するための処理であり、これによって他のタッチパネルコンピュータ12からのデータ受信を行うことが可能となる。
【0037】
ステップ104の判定が肯定された場合、すなわち、他のタッチパネルコンピュータ12からデータの移動又はコピーが行われている途中である場合には、ステップ106へ移行してタッチ検出信号に応答したタッチパネルコンピュータ12とリンクすることによって通信が確保される。
【0038】
続いて、ステップ108では、タッチ位置検出処理が行われる。タッチ位置検出処理は、周知のタッチパネルの技術と同様に、モニタ26のタッチ位置がタッチ検出部28によって検出されることによってデータの移動先やコピー先等が検出される。
【0039】
ステップ110では、データの移動又はコピー先の決定か否か判定される。すなわち、ステップ108のタッチ位置検出処理によってデータの移動先又はコピー先が選択されて決定されたか否か判定される。該判定が否定された場合には再びステップ108に戻ってデータの移動先又はコピー先が決定されるまでタッチ位置検出処理が行われる。
【0040】
ステップ110の判定が肯定された場合には、ステップ112へ移行して、リンク先のタッチパネルコンピュータから対象データを受信して、データの移動又はコピーが実行され、ステップ114でリンクが解除されて、一連の処理がリターンされる。なお、ステップ104〜112は本発明の処理手段に相当する。
【0041】
一方、ステップ104の判定が否定された場合には、ステップ116へ移行して、ステップ108と同様にタッチ位置検出処理が行われ、モニタ26のタッチ位置がタッチ検出部28によって検出されることによってデータの移動先やコピー先等が検出される。
【0042】
ステップ118では、データが保持された状態(ドラッグ状態)でタッチ検出範囲外か否か判定される。該判定が否定された場合には、ステップ120へ移行して、データの移動又はコピー先の決定か否か判定される。すなわち、ステップ110と同様にステップ116のタッチ検出処理によってデータの移動先又はコピー先が選択されて決定されたか否か判定される。該判定が否定された場合には再びステップ116に戻ってデータの移動先又はコピー先が決定されるまでタッチ位置検出処理が行われ、ステップ120の判定が肯定された場合には、ステップ122へ移行して、データの移動又はコピーが実行されて一連の処理がリターンされる。
【0043】
また、ステップ118の判定が肯定された場合には、ドラッグされたデータを他のタッチパネルコンピュータ12へ移動又はコピーするものとし、ステップ124へ移行して、他のタッチパネルコンピュータ12からタッチ検出信号を受信したか否か判定される。該判定が否定された場合には、タッチ検出信号を受信するまで待機してステップ126へ移行する。なお、ここで、他のタッチパネルコンピュータ12からタッチ検出信号を受信する前に、自タッチパネルコンピュータ12のタッチ検出部28によってタッチ検出がなされた場合には、ステップ116に移行するようにしてもよい。
【0044】
ステップ126では、他のタッチパネルコンピュータ12からのタッチ検出信号に対する応答信号が出力されることによって他のタッチパネルコンピュータ12とのリンクがなされて、一連の処理がリターンされる。なお、ステップ118は本発明の離間検出手段に相当し、ステップ126は本発明の設定手段に相当する。
【0045】
このように、シームレスポインティング処理では、タッチ検出範囲を越えたことを検出し、他のタッチパネルコンピュータ12とのリンクがなされた場合に、他のタッチパネルコンピュータ12のタッチ検出によってデータの移動先やコピー先が選択されてデータの移動又はコピーを行うことができる。すなわち、複数のタッチパネルコンピュータ12間における、データの移動又はコピー時のポインティングをそれぞれのタッチパネルコンピュータ12のタッチ位置検出処理によってスムーズかつ高精度に行うことができる。言い換えれば、複数のタッチパネルコンピュータ12間の空間のポインティングをタッチパネルコンピュータ12間でなされるリンクによって行うことができ、複数のタッチパネルコンピュータ12間のポインティングをシームレスに行うことができる。
[第2実施形態]
第1実施形態に係わるシームレスポインティングシステム10では、オペレータが一人の場合にはタッチパネルコンピュータ12にシームレスポインティングを行うためのプログラムをインストールすることによって容易かつ安価に行うことができるが、オペレータが複数の場合には、複数のタッチパネルコンピュータ12間の空間においてこのオペレータを認識しないと、ポイントの移動先となるタッチパネルコンピュータ12を特定することができない。そこで、第2実施形態に係わるシームレスポインティングシステムでは、空間内のポインティングを識別するためにハンドポインティング装置を用いるものである。なお、ハンドポインティング装置としては、例えば、本願出願人によって提案されている特開平9−296788号公報に記載の技術等を適用することが可能である。また、ハンドポインティング装置のハンドポインティングとしては、例えば、指の方向を認識するものと、指の爪を認識する2種類の方法等があるが、何れの方法を適用してもよい。
【0046】
図4には、本発明の第2実施形態に係わるシームレスポインティングシステム50の概略を示す。
【0047】
図4に示すように、第2実施形態に係わるシームレスポインティングシステム50は、第1実施形態と同様に、複数のタッチパネルコンピュータ12A、12Bを含んで構成されている。なお、図4では2台のタッチパネルコンピュータ12A、12Bを示すが3台以上でもよい。
【0048】
第2実施形態に係わるシームレスポインティングシステム50は、複数のタッチパネルコンピュータ12A、12Bが所定の作業空間52上に配置されている。当該作業空間52は、上述のハンドポインティング装置の処理範囲によって定められる。
【0049】
第2実施形態に係わるシームレスポインティングシステム50は、詳細には図5に示すように、複数のタッチパネルコンピュータ12A(TC−A)、12B(TC−B)、12C(TC−B)、ハンドポインティング装置(HP−PC)54、及びサーバ56がLAN等のネットワーク14に接続されて構成されている。なお、第1実施形態と同一構成については同一符号を付して説明する。
【0050】
ハンドポインティング装置54は複数の監視カメラ54A、54Bを備えており、当該監視カメラによって複数のタッチパネルコンピュータ12A、12B、12C、及び監視カメラ54A、54Bがサポートする作業空間52上のオペレータのハンドポイント(例えば、指先で指し示す行為)を監視するようになっている。ハンドポインティング装置54は、監視カメラ54A、54Bによって複数のタッチパネル12A、12B、12C及びオペレータを撮影することによって得られる撮影画像に基づいて画像処理によって複数のタッチパネル12A、12B,12Cの認識やオペレータのハンドポイントを検出する。オペレータのハンドポイントの検出については、上述したように、例えば、本願出願人によって出願されている特開平9−296788号公報に記載の技術を適用することによって実現可能である。
【0051】
サーバ56は複数のタッチパネルコンピュータ12A、12B、12C及びハンドポインティング装置54のそれぞれを統括的に制御することによってポインティングをシームレスに行うものである。
【0052】
続いて、本発明の第2実施形態に係わるシームレスポインティングシステム50の構成について図6を参照して説明する。なお、タッチパネルコンピュータ12A、12B、12Cは第1実施形態と基本的には同一構成であるので、同一符号を付して説明する。
【0053】
図6に示すように、複数のタッチパネルコンピュータ12(12A、12B、12C)は、第1実施形態と同様に、CPU16、ROM18、RAM20、I/O22がバス24に接続されて構成されている。また、バス24にはモニタ26及びモニタ26に設けられたタッチ検出部28が接続されたタッチパネルドライバ30が接続されており、当該タッチパネルドライバ30によってモニタ26及びタッチ検出部28が駆動されるようになっている。タッチ検出部28は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【0054】
なお、CPU16、ROM18及びRAM20は本発明のタッチ制御手段に相当し、タッチ検出部28は本発明のタッチ検出手段に相当する。
【0055】
さらに、バス24には、ハードディスク(HDD)32等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【0056】
ROM18には、タッチパネルコンピュータ12のモニタ26に設けられたタッチパネルのタッチ制御を行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、CPU16がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【0057】
I/O22には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0058】
なお、各タッチパネルコンピュータ12には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0059】
ハンドポインティング装置54は、CPU60、ROM62、RAM64、及びI/O66がそれぞれバス68に接続された一般的なコンピュータで構成されており、当該バス68にHP監視カメラ54A、54BがHP監視カメラドライバ70を介して接続されている。すなわち、HP監視カメラ54A、54Bの撮影によって得られる撮影画像に基づいてタッチパネルコンピュータ12A、12B、12Cの認識やオペレータのハンドポイント検出等の制御がCPU60によってなされる。
【0060】
ROM62には、ハンドポイント検出等の処理を行うためのプログラム等が記憶されており、当該プログラムに従ってハンドポイント検出等が行われるようになっている。
【0061】
I/O66はタッチパネルコンピュータ12と同様にネットワーク14に接続されており、ネットワーク14に接続された他のタッチパネルコンピュータやその他の情報処理装置との通信が可能とされている。
【0062】
なお、ハンドポインティング装置54は本発明のハンドポイント検出手段に相当する。また、ハンドポインティング装置54には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0063】
また、サーバ56は、CPU72、ROM74、RAM76、及びI/O78がバス80に接続されたサーバコンピュータからなり、I/O78には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0064】
ROM74には、タッチパネルコンピュータ12A、12B、12C間及び作業空間52上のハンドポインティングを検出すると共に、タッチパネルコンピュータ12A、12B、12C間のデータ転送を行うためのプログラム等が記憶されている。
【0065】
また、RAM76には、タッチパネルコンピュータ12A、12B、12C間でデータ転送(データの移動又はコピー等)を行う際に、対象データ等が一旦記憶されるようになっている。
【0066】
なお、サーバ56は本発明の管理装置に相当し、RAM76は本発明の記憶手段に相当する。また、サーバ56には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0067】
次に、本発明の第2実施形態に係わるシームレスポインティングシステム50における基本的な処理の流れについて図7のフローチャートを参照して説明する。
【0068】
本発明のシームレスポインティングシステム50では、まず、各タッチパネルコンピュータ12A、12B、12Cのそれぞれにおいて、タッチパネル制御が行われる(ステップ150)。すなわち、モニタ26へのタッチ位置検出や検出されたタッチ位置に対する各種処理がそれぞれ個別に行われる。この時、タッチパネル制御は、例えば、あるファイルデータをドラッグされた状態でタッチ検出範囲を逸脱しない範囲で行われる(ステップ150〜152)。ここでタッチパネル範囲外、すなわち、タッチ検出範囲を逸脱した場合には、逸脱したハンドポイントを検出するために、ハンドポインティング装置54によるハンドポイント制御がなされる(ステップ152〜154)。すなわち、ハンドポインティング装置54によってオペレータの指の動き等を検出して、ファイルデータの移動先等が検出される。
【0069】
ここで、移動先のタッチパネルコンピュータ12のタッチ検出部28によってタッチ検出がなされた場合には、再び、対応するタッチパネルコンピュータ12によるタッチパネル制御が行われる(ステップ156〜158)。
【0070】
このように、本実施形態に係わるシームレスポインティングシステム50では、タッチパネルコンピュータ12A、12B、12Cとハンドポインティング装置54とを用いて、タッチパネルコンピュータ12A、12B、12C内でのポインティングを各タッチパネルコンピュータ12内でそれぞれ行い、タッチパネルコンピュータ12A、12B、12C間の作業空間52上のポインティングを、ハンドポインティング装置54を用いて行うことによって、タッチパネルコンピュータ12間のポインティングを継ぎ目なく行うことができる。
【0071】
なお、詳細には、タッチパネルコンピュータ12A、12B、12C間でのデータの移動又はコピー時には、送信側及び受信側に対応するタッチパネルコンピュータ12がサーバ56とリンクすることによってデータの移動又はコピー等が行われる。すなわち、移動又はコピーするデータは一旦サーバ56に格納されてから移動又はコピー先のタッチパネルコンピュータ12へ転送されるようになっている。
【0072】
ここで、タッチパネルコンピュータ12A、12B、12C、ハンドポインティング装置54、及びサーバ56のそれぞれで行われる処理について詳細に説明する。
【0073】
まず、図8のフローチャートを参照して各タッチパネルコンピュータ12A、12B、12Cで行われる処理(TC処理)について説明する。
【0074】
ステップ200では、複数のタッチパネルコンピュータ12A、12B、12Cのうち何れかからリンク要求があるか否か判定される。すなわち、タッチパネルコンピュータ12のタッチ検出部28における検出範囲を越えてデータの移動又はコピー等が行われようとしているか否かが判定される。該判定が否定された場合には、ステップ202へ移行する。
【0075】
ステップ202では、タッチ位置検出処理が行われる。タッチ位置検出処理は、タッチパネルコンピュータ12のタッチ検出部28によってモニタ26に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。例えば、タッチ操作によるファイルデータの移動やコピーなどが行われる。
【0076】
そして、ステップ204では、タッチ操作によってデータがドラッグされた状態でかつタッチ検出部28によるタッチ検出範囲外か否か判定される。すなわち、オペレータが他のタッチパネルコンピュータ12等にデータの移動やコピーを行おうとしているか否かが当該ステップによって判定される。該判定が否定された場合には、自タッチパネルコンピュータ12内でのタッチ位置検出処理であると判定し、ステップ206へ移行する。
【0077】
ステップ206では、自タッチパネルコンピュータ12内のでデータの移動又はコピー先が決定されたか否か判定される。該判定が否定された場合には、再びステップ202へ戻って上述の処理が繰り返され、該判定が肯定された場合には、ステップ208へ移行して、データの移動又はコピー等が対応するフォルダ等に行われて、後述のステップ232へ移行する。
【0078】
また、ステップ204の判定が肯定された場合、すなわち、タッチパネルコンピュータ12のタッチ検出部28における検出範囲を越えてデータの移動又はコピー等を行われようとしていると判断し、ステップ210へ移行して、サーバ56に対してリンク要求が送信される。
【0079】
ステップ212では、サーバ56からデータ転送要求されたか否か判定される。該判定が否定された場合にはステップ214へ移行して、タッチ検出部28によってタッチ検出されたか否か判定される。すなわち、タッチパネルコンピュータ12のタッチ検出部28における検出範囲を越えてデータの移動又はコピー等の実行を中断したか否か判定される。該判定が否定された場合には、ステップ212へ戻って、ステップ212又はステップ214の判定が肯定されるまで判定が繰り返される。
【0080】
ステップ212の判定が肯定された場合には、ステップ216へ移行して、移動又はコピー対象であるドラッグ対象データをサーバ56へ転送して、後述のステップ232へ移行する。また、ステップ214の判定が肯定された場合には、ステップ218へ移行して、リンク解除されて、上述のステップ200に戻って処理が行われる。
【0081】
一方、ステップ200の判定が肯定された場合には、ステップ220へ移行して、サーバ56とリンクされる。これによって、サーバ56に転送された他のタッチパネルコンピュータ12のデータを受信することが可能となる。
【0082】
ステップ222では、ステップ202と同様にタッチ位置検出処理が行われる。すなわち、タッチパネルコンピュータ12のタッチ検出部28によってモニタ26に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。
【0083】
ステップ224では、タッチ操作によってデータがドラッグされた状態でかつタッチ検出部28によるタッチ検出範囲外か否か判定される。すなわち、オペレータが他のタッチパネルコンピュータ12等にデータの移動やコピーを行おうとしているか否かが当該ステップによって判定される。該判定が否定された場合には、ステップ226へ移行して、データの移動又はコピー先が決定したか否か判定され、該判定が否定された場合には、上述のステップ222へ戻って処理が繰り返される。またステップ226の判定が肯定され場合には、ステップ228へ移行して、サーバ56から対象データ、すなわち、他のタッチパネルコンピュータ12に格納されていたファイルデータを受信して、データの移動又はコピーが実行される。そして、ステップ230へ移行する。
【0084】
一方、ステップ224の判定が肯定された場合には、そのままステップ230へ移行する。
【0085】
ステップ230では、サーバ56とのリンクが解除される。すなわち、ステップ224の判定が否定されてステップ230へ移行した場合には、自タッチパネルコンピュータ12へのデータの移動又はコピーではないので、サーバ56とのリンクが解除され、ステップ228からステップ230へ移行した場合には、データの移動又はコピーが終了したので、サーバ56とのリンクが解除される。
【0086】
ステップ232では、電源オフか否か判定されて、該判定が否定された場合にはステップ200に戻って上述の処理が繰り返される。
【0087】
また、ステップ232の判定が肯定された場合には、ステップ234へ移行して、終了処理が行われて一連のタッチパネルコンピュータ12の処理を終了する。
【0088】
なお、ステップ204は本発明の離間検出手段に相当し、ステップ210〜216は本発明の送信手段に相当し、ステップ220〜226は本発明の制御手段に相当し、ステップ228は本発明の受信手段に相当する。
【0089】
次に、図9のフローチャートを参照してハンドポインティング装置54で行われる処理(HP処理)について説明する。
【0090】
ステップ250では、作業空間52上のタッチパネルコンピュータ(TC)12A、12B、12Cを検出すると共に、タッチパネルコンピュータ(TC)12の位置マッチングを行う。すなわち、カメラ54A、54Bの撮影によって得られる撮影画像から電源がオンのタッチパネルコンピュータを画像処理によって検出して、作業空間52上の各タッチパネルコンピュータの位置を把握する。
【0091】
ステップ252では、作業空間52上のオペレータのハンドポイントが検出される。これによって、ハンドポイント位置と作業空間52上のタッチパネルコンピュータ12位置が把握される。
【0092】
ステップ254では、サーバ56から移動先検出要求が有るか否か判定される。すなわち、オペレータがタッチパネルコンピュータ12から他のタッチパネルコンピュータ12へデータの移動やコピーを行おうとする時の移動先のタッチパネルコンピュータ12からの検出要求があるか否か判定される。該判定が否定された場合には、上述のステップ250に戻って上述の処理が繰り返される。
【0093】
ステップ254の判定が肯定された場合には、ステップ256へ移行して、移動先探索処理が行われる。移動先探索処理は、移動先検出要求がなされたタッチパネルコンピュータ12のハンドポイント先を検出して、移動先となるタッチパネルコンピュータ12を検出する。
【0094】
ステップ258では、移動先探索結果がサーバ56に送信される。これによってサーバ56によって移動元タッチパネルコンピュータ12と移動先タッチパネルコンピュータ12を把握することができ、双方のタッチパネルコンピュータ12とリンクすることが可能となる。
【0095】
ステップ260では、電源オフか否か判定され、該判定が否定された場合には、上述のステップ250に戻って上述の処理が繰り返され、判定が肯定された場合には、ステップ262へ移行して終了処理が行われて一連のハンドポインティング処理を終了する。
【0096】
続いて、図10のフローチャートを参照してサーバ56で行われる処理(サーバ処理)について説明する。
【0097】
ステップ300では、タッチパネルコンピュータ(TC)12からリンク要求がなされたか否か判定される。該判定が肯定されるまで待機してステップ302へ移行して、リンク要求されたタッチパネルコンピュータ(TC)12とリンクされる。
【0098】
ステップ304では、リンク要求されたタッチパネルコンピュータ(TC)12からのハンドポイント移動先検出要求がハンドポインティング装置(HP)54へ行われる。
【0099】
ステップ306では、移動先探索結果を受信したか否か判定される。該判定が肯定されるまで待機して、ステップ308へ移行する。
【0100】
ステップ308では、受信した移動先探索結果のタッチパネルコンピュータ(TC)12へリンク要求がなされる。これによって、移動元タッチパネルコンピュータ12と移動先タッチパネルコンピュータ12を把握することができ、タッチパネルコンピュータ12A、12B、12C間のデータの移動やコピーを行うことが可能となる。
【0101】
ステップ310では、リンク解除か否か判定される。すなわち、タッチパネルコンピュータ12からリンク解除要求(図8のステップ218及びステップ230)がなされたか否か判定され、該判定が肯定された場合には上述のステップ300へ戻って上述の処理が繰り返され、該判定が否定された場合には、ステップ312へ移行する。
【0102】
ステップ312では、移動先探索結果のタッチパネルコンピュータ(TC)12からデータ送信要求が有るか否か判定される。すなわち、図8のステップ228のタッチパネルコンピュータ12の処理における対象データの受信をする際にデータ送信要求がなされたか否か判定される。該判定が否定された場合には、ステップ310に戻ってステップ310又はステップ312の判定が肯定されるまで処理が繰り返される。
【0103】
ステップ312の判定が肯定された場合には、ステップ314へ移行して、リンク要求されたタッチパネルコンピュータ(TC)12へ対象データ(移動対象データ又はコピー対象データ)の転送要求が行われる。
【0104】
ステップ316では、データ受信するまで待機してステップ318へ移行して、移動先探索結果のタッチパネルコンピュータ(TC)12へデータ送信が行われる。これによって、移動元タッチパネルコンピュータ12から移動先タッチパネルコンピュータ12へのデータ送信を行うことができる。なお、ステップ318は本発明のデータ出力手段に相当する。
【0105】
ステップ320では、電源オフか否か判定され、該判定が否定された場合には上述のステップ300へ戻って、上述の処理が繰り返される。また、ステップ320の判定が肯定された場合には、一連の処理を終了する。
【0106】
このように、各タッチパネルコンピュータ12A、12B、12C、ハンドポインティング装置54、及びサーバ56の処理を行うことによって、各タッチパネルコンピュータ12A、12B、12C間でのデータの移動又はコピー、及びポインティングをシームレスに行うことができる。
【0107】
なお、第2実施形態に係わるシームレスポインティングシステム50では、タッチパネルコンピュータ12A、12B、12Cとハンドポインティング装置54の他にサーバ56を設けるようにしたが、サーバ56の機能はハンドポインティング装置54に設けるようにしてもよい。
[第3実施形態]
第1実施形態及び第2実施形態に係わるシームレスポインティングシステムでは、タッチパネルコンピュータ12A、12B、12C間でのポインティングをシームレスに行うシステムであったが、第3実施形態では、図11に示すように、タッチパネルコンピュータ12から家電機器82へデータを送るものである。例えば、タッチパネルコンピュータ12に表示されたテレビ番組表をタッチ操作(ドラッグ)して、ネットワーク接続されたタッチパネル付きのビデオ等の家電機器82にタッチ操作(ドロップ)することによって、対応するテレビ番組を予約録画することが可能とされている。
【0108】
図12に示すように、第3実施形態に係わるシームレスポインティングシステム90は、第2実施形態に係わるシームレスポインティングシステム50に対して、ネットワーク14にタッチパネルコンピュータ(TC−A)12の他に家電機器82が接続されている。第3実施形態に係わるシームレスポインティングシステム90は、第2実施形態に係わるシームレスポインティングシステム50と同様に、複数のタッチパネルコンピュータ12(図12では1台のタッチパネルコンピュータのみを示す)が所定の作業空間52上に配置されている。
【0109】
第3実施形態に係わるシームレスポインティングシステム90は、詳細には図13に示すように、第2実施形態と同様に複数のタッチパネルコンピュータ12、ハンドポインティング装置54、及びサーバ56がLAN等のネットワーク14に接続されている。なお、第1実施形態及び第2実施形態と同一構成については同一符号を付して説明する。
【0110】
また、LAN等のネットワーク14には、さらに、家電機器82が接続されている。家電機器82としては、本実施の形態では、タッチパネル式モニタを有するビデオ装置が接続されている。該タッチパネル式モニタによってビデオ装置の各操作を行うことが可能とされている。ここで、家電機器82はビデオ装置に限るものではなく、例えば、PDA端末、携帯電話、テレビ、ビデオ、冷蔵庫、オーディオ、エアコン等に適用するようにしてもよい。
【0111】
なお、LAN等のネットワーク14は、図示しない接続装置を介してインターネットに接続される構成としてもよい。この場合、インターネットは、複数のコンピュータが接続装置を介して接続され、少なくとも1つのコンピュータは、WWW(World Wide Web)サーバとして機能し、他のマシンはWWWクライアントとして機能する。詳細には、各コンピュータには、WWWブラウザがインストールされており、このWWWブラウザを起動することにより、インターネットに接続されたコンピュータにアクセスすることができる。この時、アクセス位置(アクセス先のコンピュータの位置、及びコンピュータ内の情報の位置で構成されるデータ)は、URL(Uniform Resource Locator)で指定される。これらのコンピュータは、他のコンピュータからアクセス要求があった場合、URLで指定された位置に有るデータを、インターネットを介して、アクセス元のコンピュータへ送信する。この時、データは、一般にHTTP(Hyper Text Transfer Protocol)に従って転送される。なお、これらのコンピュータの識別には、IP(Internet Protocol)アドレスが用いられる。
【0112】
ハンドポインティング装置54は、第2実施形態と同様に、複数の監視カメラ54A、54Bを備えており、当該監視カメラによってタッチパネルコンピュータ12、家電機器82、及び監視カメラ54A、54Bがサポートする作業空間52上のオペレータのハンドポイント(例えば、指先で指し示す行為)を監視するようになっている。ハンドポインティング装置54は、監視カメラ54A、54Bによってタッチパネルコンピュータ12、家電機器82及びオペレータを撮影することによって得られる撮影画像に基づいて画像処理によってタッチパネルコンピュータ12及び家電機器82の認識やオペレータのハンドポイントを検出する。オペレータのハンドポイントの検出については、例えば、本願出願人によって出願されている特開平9−296788号公報に記載の技術を適用することによって実現可能である。また、ハンドポインティング装置のハンドポインティングとしては、例えば、指の方向を認識するものと、指の爪を認識する2種類の方法等があるが、何れの方法を適用してもよい。
【0113】
サーバ56は複数のタッチパネルコンピュータ12(なお、図12では、1台のタッチパネルコンピュータ12のみを示す)、家電機器82、及びハンドポインティング装置54のそれぞれを統括的に制御することによってポインティングをシームレスに行うものである。
【0114】
続いて、本発明の第3実施形態に係わるシームレスポインティングシステム90の構成について図13を参照して説明する。なお、第1実施形態及び第2実施形態と同一構成については、同一符号を付して説明する。
【0115】
図13に示すように、複数のタッチパネルコンピュータ12は、第1実施形態と同様に、CPU16、ROM18、RAM20、I/O22がバス24に接続されて構成されている。また、バス24にはモニタ26及びモニタ26に設けられたタッチ検出部28が接続されたタッチパネルドライバ30が接続されており、当該タッチパネルドライバ30によってモニタ26及びタッチ検出部28が駆動されるようになっている。タッチ検出部28は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【0116】
さらに、バス26には、ハードディスク(HDD)32等の記憶装置が接続されており、各種ファイルデータを記憶するようになっている。
【0117】
ROM18には、タッチパネルコンピュータ12のモニタ26に設けられたタッチパネルのタッチ制御を行うためのプログラムや各種アプリケーションソフト等のプログラムなどが記憶されており、CPU16がこれらのプログラムを動作させることによって各種処理が行われるようになっている。
【0118】
I/O22には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0119】
なお、各タッチパネルコンピュータ12には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0120】
ハンドポインティング装置54は、CPU60、ROM62、RAM64、及びI/O66がそれぞれバス68に接続された一般的なコンピュータで構成されており、当該バス68にHP監視カメラ54A、54BがHP監視カメラドライバ70を介して接続されている。すなわち、HP監視カメラ54A、54Bの撮影によって得られる撮影画像に基づいてタッチパネルコンピュータ12の認識やオペレータのハンドポイント検出等の制御がCPU60によってなされる。
【0121】
ROM62には、ハンドポイント検出等の処理を行うためのプログラム等が記憶されており、当該プログラムに従ってハンドポイント検出等が行われるようになっている。
【0122】
I/O66はタッチパネルコンピュータ12と同様にネットワーク14に接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0123】
なお、ハンドポインティング装置54には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0124】
また、サーバ56は、CPU72、ROM74、RAM76、及びI/O78がバス80に接続されたサーバコンピュータからなり、I/O78には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0125】
ROM74には、複数のタッチパネルコンピュータ12間、タッチパネルコンピュータ12と家電機器82間、及び作業空間52上のハンドポインティングを検出すると共に、タッチパネルコンピュータ12間やタッチパネルコンピュータ12と家電機器82間のデータ転送を行うためのプログラム等が記憶されている。
【0126】
また、RAM76には、タッチパネルコンピュータ12間やタッチパネルコンピュータ12と家電機器82間でデータ転送(データの移動又はコピー等)を行う際に、対象データ等が一旦記憶されるようになっている。
【0127】
なお、サーバ56には、この他にキーボード等の入力装置やその他の周辺装置を備えるようにしてもよい。
【0128】
家電機器82は、一般的なビデオ装置としての機能を有する機能部146の他に、CPU130、ROM132、RAM134、及びI/O136がバス138に接続されている。また、バス138にはモニタ140及びモニタ140に設けられたタッチ検出部142が接続されたタッチパネルドライバ144がさらに接続されており、当該タッチパネルドライバ144によってモニタ140及びタッチ検出部142が駆動されるようになっている。タッチ検出部142は、例えば、静電容量式、感圧式、光電式等の種々の方式のタッチ検出を適用することができる。
【0129】
ROM132には、タッチパネルコンピュータ12から送信されるデータに基づいてテレビ番組を予約するためのプログラム等が記憶されている。
【0130】
I/O138には、ネットワーク14が接続されており、ネットワーク14に接続された他のタッチパネルコンピュータ12やその他の情報処理装置との通信が可能とされている。
【0131】
なお、家電機器82は、この他にリモコン等を備えて外部操作可能なようにしてもよい。
【0132】
次に、上述のように構成された本発明の第3実施形態に係わるシームレスポインティングシステム90で行われる処理について説明する。なお、家電機器82でビデオ予約する場合を例として説明する。
【0133】
タッチパネルコンピュータ12では、図14に示す処理(TC処理)が行われる。すなわち、ステップ350では、タッチ位置検出処理が行われる。タッチ位置検出処理は、タッチパネルコンピュータ12のタッチ検出部28によってモニタ26に対するオペレータのタッチ位置を検出し、タッチ操作に応じた各種処理が行われる。例えば、図11に示すように、タッチパネルコンピュータ12のモニタ26に表示されている番組表の予約する番組をタッチ操作する。
【0134】
そして、ステップ352では、データドラッグ状態かつタッチ検出範囲外か否か判定される。オペレータが予約する番組を選択して家電機器82にデータを送信しようとしているか否か判定される。該判定が否定された場合には、ステップ350に戻って上述の処理が繰り返され、該判定が肯定された場合には、ステップ354へ移行する。
【0135】
ステップ354では、ドラッグ対象データがサーバ56へ転送され、ステップ356へ移行する。ステップ356では、電源オフか否か判定されて、該判定が否定された場合にはステップ350に戻って上述の処理が繰り返される。
【0136】
また、ステップ356の判定が肯定された場合には、ステップ358へ移行して、終了処理が行われて一連のタッチパネルコンピュータ12の処理を終了する。
【0137】
ハンドポインティング装置54では、第2実施形態と同様に、図9に示す処理が行われる。なお、同一処理であるため説明を省略する。
【0138】
一方、サーバ56では、図15に示す処理が行われる。すなわち、ステップ400では、ドラッグ対象データを受信したか否か判定され、受信するまで当該判定を繰り返す。
【0139】
ステップ400の判定が肯定された場合には、ステップ402へ移行して、ドラッグ対象データを受信したタッチパネルコンピュータ(TC)からのハンドポイント移動先検出要求がハンドポインティング装置(HP)54へ行われる。
【0140】
ステップ404では、移動先探索結果を受信したか否か判定される。該判定が肯定されるまで待機して、ステップ406へ移行する。
【0141】
ステップ406では、移動先探索結果の家電機器82へ番組表を表すデータ送信が行われる。これによって、家電機器82に予約する番組表のデータを送信することができる。
【0142】
ステップ408では、番組表を表すデータ送信が完了したか否か判定され、該判定が肯定されるまで待機してステップ410へ移行する。
【0143】
ステップ410では、電源オフか否か判定され、該判定が否定された場合には上述のステップ400へ戻って、上述の処理が繰り返される。また、ステップ410の判定が肯定された場合には、一連の処理を終了する。
【0144】
また、家電機器82では、図16に示す処理が行われる。すなわち、ステップ450では、番組表を表すデータを受信したか否か判定される。該判定が肯定されるまで待機して、該判定が肯定された場合にはステップ452へ移行する。
【0145】
ステップ452では、受信データに基づいて番組のビデオ予約設定が行われる。すなわち、受信データが表す番組の時間、放送局等が家電機器82に設定される。
【0146】
ステップ454では、予約実行処理が行われる。予約実行処理では、予約された時間まで待機し、予約された時間になった時に、予約番組を録画する処理が行われ、一連の家電機器での処理を終了する。
【0147】
このように、第3実施形態では、タッチパネルコンピュータ12間だけでなく、家電機器82へデータ転送を行うことができる。そして、家電機器82へのデータ転送は、上述の第2実施形態と同様に、タッチパネルコンピュータ12、ハンドポインティング装置54、家電機器82の順にポインティングされるが、当該ポインティングは、第2実施形態同様に、シームレスに行うことができる。
【0148】
なお、第3実施形態では、家電機器82にタッチパネル式モニタを備えた構成としたが、タッチパネル式モニタを設けない構成としてもよく、この場合には、家電機器82にタッチ検出するタッチ検出部を設けることによってデータ受信したか否かを検出でき、これによって上記と同様の効果を得ることができる。
【0149】
また、第3実施形態では、タッチパネルコンピュータ12と家電機器82を1台ずつ配置するようにしてもよいし、第2実施形態のように、複数のタッチパネルコンピュータ12を備える構成としてもよい。すなわち、第2実施形態と第3実施形態を組み合わせるようにしてもよいし、第1実施形態における複数のタッチパネルコンピュータ12のうちの何れか1台又は複数台を家電機器82とする構成としてもよい。また、家電機器82についても複数備えた構成としてもよいし、該家電機器82はビデオ予約する家電機器に限るものではなく、例えば、エアコンのタイマ機能、オーディオのタイマ等の設定を上述のシームレスポインティングシステムを用いて行うことが可能である。
【0150】
また、上記の実施の形態では、何れも指先によるポインティングを行う例を示したが、これに限るものではなく、ペンなどを用いるようにしてもよい。例えば、第2実施形態及び第3実施形態において、ペンを用いる場合には、図17に示すように、ペン40に予め定められた位置に2つのマーク(例えば、図17に示すように予め定めた間隔Aでマーク42A、42Bを設ける)42を設けておくことにより、当該マーク42を監視カメラ54A、54Bで撮影した撮影画像を画像処理することで、ペン40の指し示す方向及び位置を特定することが可能となる。また、作業空間内におけるポインティングは、この他に、例えば、GPS(Global Positioning System)で代表される測位システムのように、GPS衛星に相当する信号を発生するものを作業空間上に複数配置し、上述のようなペン40によって当該信号を受信することにより、GPSと同様に、ポインティング位置を算出することが可能である。
【0151】
【発明の効果】
以上説明したように本発明によれば、複数のコンピュータのうち、何れかのコンピュータのタッチ検出手段によって所定領域内のタッチ操作を検出し、当該所定領域を離れて、他のコンピュータのタッチ検出手段によって所定領域内のタッチ操作を検出した時に、それぞれのタッチ制御手段が、コンピュータ間でポインティングが移動したものとしてポインティングを制御することによって、複数のコンピュータ間にまたがるポインティングを行うことができるので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる、という効果がある。
【0152】
また、所定領域内のタッチ操作時にはタッチ操作検出手段によってタッチ操作位置を検出し、タッチ操作検出手段間の空間内では、ハンドポイント検出手段によってハンドポイント位置を検出するように、タッチ操作検出手段及びハンドポイント検出手段を制御することによっても、タッチ操作検出手段間にまたがるポインティングをハンドポイント検出手段によって行うことができるので、複数の端末間のポインティングをスムーズ且つ高精度に行うことができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図2】タッチパネルコンピュータの構成を示すブロック図である。
【図3】本発明の第1実施形態に係わるシームレスポインティングシステムにおけるシームレスポインティング処理を表すフローチャートである。
【図4】本発明の第2実施形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図5】本発明の第2実施形態に係わるシームレスポインティングシステムの構成を示すブロック図である。
【図6】本発明の第2実施形態に係わるシームレスポインティングシステムの各要素の構成を示すブロック図である。
【図7】本発明の第2実施形態に係わるシームレスポインティング処理の大まかな流れを示すフローチャートである。
【図8】本発明の第2実施形態に係わるタッチパネルコンピュータで行われる処理の流れを示すフローチャートである。
【図9】本発明の第2実施形態に係わるハンドポインティング装置で行われる処理の流れを示すフローチャートである。
【図10】本発明の第2実施形態に係わるサーバで行われる処理の流れを示すフローチャートである。
【図11】本発明の第3実施形態に係わるシームレスポインティングシステムの概略を示す模式図である。
【図12】本発明の第3実施形態に係わるシームレスポインティングシステムの構成を示すブロック図である。
【図13】本発明の第3実施形態に係わるシームレスポインティングシステムの各要素の構成を示すブロック図である。
【図14】本発明の第3実施形態に係わるタッチパネルコンピュータで行われる処理の流れを示すフローチャートである。
【図15】本発明の第3実施形態に係わるサーバで行われる処理の流れを示すフローチャートである。
【図16】本発明の第3実施形態に係わる家電機器で行われる処理の流れを示すフローチャートである。
【図17】ポインティングに用いるペンの例を示す図である。
【符号の説明】
10、50、90 シームレスポインティングシステム
12、12A、12B、12C タッチパネルコンピュータ
14 ネットワーク
16 CPU
18 ROM
20 RAM
28 タッチ検出部
52 作業空間
54 ハンドポインティング装置
56 サーバ
82 家電機器
Claims (6)
- 所定領域内のタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応するデータを当該タッチ操作位置に属する特定データとして制御するタッチ制御手段と、を有し、相互通信可能に接続された複数のコンピュータと、
前記複数のコンピュータのうち、何れかのコンピュータにおいて、前記特定データを属した前記タッチ操作位置が前記所定領域を離間したことを検出する離間検出手段と、
前記離間検出手段で前記離間を検出した時に、前記特定データを処理可能状態に設定する設定手段と、
他のコンピュータにおいて、前記タッチ操作を検出した時に、前記設定手段で設定された特定データを該他のコンピュータで処理可能に制御する処理手段と、
を含むシームレスポインティングシステム。 - 前記処理は、前記特定データを前記複数のコンピュータ間で移動又はコピーすることであることを特徴とする請求項1に記載のシームレスポインティングシステム。
- 前記複数のコンピュータのうち、少なくとも1つのコンピュータは、家電機器に含むことを特徴とする請求項2に記載のシームレスポインティングシステム。
- 作業空間内におけるハンドポイント位置を検出するハンドポイント検出手段と、
所定領域内のタッチ操作によるタッチ操作位置を検出するタッチ検出手段と、前記タッチ検出手段の検出結果に基づいて前記タッチ操作位置に対応するデータを当該タッチ操作位置に属する特定データとして制御するタッチ制御手段と、前記特定データを属した前記タッチ操作位置が前記所定領域を離間したことを検出する離間検出手段と、前記離間検出手段で前記離間を検出した時に、前記特定データ及び自己を識別するための識別データを表す出力データを送信する送信手段と、前記タッチ操作を最初に検出した時に、他のコンピュータからの出力データを要求し、要求した出力データを受信する受信手段と、受信した特定データを制御する制御手段と、を備えた複数のコンピュータと、
前記送信された出力データに対して、前記検出されたハンドポイント位置の対象物を特定するための種類データを対応させて記憶する記憶手段と、前記出力データが要求された時に、前記種類データを求めて、求めた種類データに対応する出力データを、前記記憶手段から読み取りかつ送信するデータ出力手段と、を備えた管理装置と、
を備えたシームレスポインティングシステム。 - 前記制御手段は、前記特定データの制御として、前記特定データを前記複数のコンピュータ間で移動又はコピーすることを特徴とする請求項4に記載のシームレスポインティングシステム。
- 前記複数の検出手段のうち、少なくとも1つの検出手段は、家電機器に含むことを特徴とする請求項5に記載のシームレスポインティングシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186267A JP4163456B2 (ja) | 2002-06-26 | 2002-06-26 | シームレスポインティングシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002186267A JP4163456B2 (ja) | 2002-06-26 | 2002-06-26 | シームレスポインティングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004030284A true JP2004030284A (ja) | 2004-01-29 |
JP4163456B2 JP4163456B2 (ja) | 2008-10-08 |
Family
ID=31181663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002186267A Expired - Fee Related JP4163456B2 (ja) | 2002-06-26 | 2002-06-26 | シームレスポインティングシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4163456B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092269A (ja) * | 2008-10-08 | 2010-04-22 | Sharp Corp | オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム |
JP2010211400A (ja) * | 2009-03-09 | 2010-09-24 | Sony Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2011095890A (ja) * | 2009-10-28 | 2011-05-12 | Kyocera Corp | 携帯端末装置 |
JP2011107933A (ja) * | 2009-11-17 | 2011-06-02 | Hitachi Kokusai Electric Inc | 通信システム |
JP2011221661A (ja) * | 2010-04-06 | 2011-11-04 | Fujitsu Toshiba Mobile Communications Ltd | 携帯端末装置 |
JP2011227828A (ja) * | 2010-04-22 | 2011-11-10 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2012505466A (ja) * | 2008-10-13 | 2012-03-01 | サムスン エレクトロニクス カンパニー リミテッド | タッチスクリーンを利用したオブジェクト管理方法及び装置 |
JP2012507775A (ja) * | 2008-10-30 | 2012-03-29 | サムスン エレクトロニクス カンパニー リミテッド | タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法 |
JP2013509647A (ja) * | 2009-10-30 | 2013-03-14 | イマージョン コーポレーション | データ特徴の触覚表示方法 |
JP2013168167A (ja) * | 2013-04-11 | 2013-08-29 | Sony Corp | 情報処理装置、および情報処理方法、並びに情報記録媒体 |
KR101307753B1 (ko) * | 2006-11-14 | 2013-09-11 | 엘지전자 주식회사 | 이동통신 단말기의 데이터 전송 방법 및 이를 이용한이동통신 단말기 |
JP2014081722A (ja) * | 2012-10-15 | 2014-05-08 | Nikon Corp | システム、装置及び方法 |
-
2002
- 2002-06-26 JP JP2002186267A patent/JP4163456B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101307753B1 (ko) * | 2006-11-14 | 2013-09-11 | 엘지전자 주식회사 | 이동통신 단말기의 데이터 전송 방법 및 이를 이용한이동통신 단말기 |
JP2010092269A (ja) * | 2008-10-08 | 2010-04-22 | Sharp Corp | オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム |
JP2012505466A (ja) * | 2008-10-13 | 2012-03-01 | サムスン エレクトロニクス カンパニー リミテッド | タッチスクリーンを利用したオブジェクト管理方法及び装置 |
JP2015111447A (ja) * | 2008-10-30 | 2015-06-18 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置及びインターフェースシステム |
JP2012507775A (ja) * | 2008-10-30 | 2012-03-29 | サムスン エレクトロニクス カンパニー リミテッド | タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法 |
JP2010211400A (ja) * | 2009-03-09 | 2010-09-24 | Sony Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
JP4697558B2 (ja) * | 2009-03-09 | 2011-06-08 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP2011095890A (ja) * | 2009-10-28 | 2011-05-12 | Kyocera Corp | 携帯端末装置 |
US9417694B2 (en) | 2009-10-30 | 2016-08-16 | Immersion Corporation | System and method for haptic display of data transfers |
JP2013509647A (ja) * | 2009-10-30 | 2013-03-14 | イマージョン コーポレーション | データ特徴の触覚表示方法 |
JP2011107933A (ja) * | 2009-11-17 | 2011-06-02 | Hitachi Kokusai Electric Inc | 通信システム |
JP2011221661A (ja) * | 2010-04-06 | 2011-11-04 | Fujitsu Toshiba Mobile Communications Ltd | 携帯端末装置 |
JP2011227828A (ja) * | 2010-04-22 | 2011-11-10 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2014081722A (ja) * | 2012-10-15 | 2014-05-08 | Nikon Corp | システム、装置及び方法 |
JP2013168167A (ja) * | 2013-04-11 | 2013-08-29 | Sony Corp | 情報処理装置、および情報処理方法、並びに情報記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP4163456B2 (ja) | 2008-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2988210B1 (en) | Gesture control method, apparatus and system | |
US9972279B2 (en) | Method for providing area of image displayed on display apparatus in GUI form using electronic apparatus, and electronic apparatus applying the same | |
JP4676303B2 (ja) | 端末装置 | |
JP4163456B2 (ja) | シームレスポインティングシステム | |
CN104662558A (zh) | 用于手势输入的指尖定位 | |
CN103988195A (zh) | 用于在设备之间共享内容的方法及装置 | |
US20060015875A1 (en) | Distributed processing controller, distributed processing control method, and computer product | |
US9436274B2 (en) | System to overlay application help on a mobile device | |
JP4878409B2 (ja) | 情報制御装置及び情報制御方法及び記憶媒体 | |
US20120296958A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
US8612889B2 (en) | Information processing device, method for controlling screen display and storage medium | |
JP2017062680A (ja) | デバイス情報登録システム、管理装置、情報処理装置、管理装置の制御方法、情報処理装置の制御方法及びプログラム | |
JP6977573B2 (ja) | 情報端末装置、情報処理システムおよび表示制御プログラム | |
JP5907163B2 (ja) | データ関連度判定装置、データ関連度判定方法、および、プログラム | |
US10447911B2 (en) | Information processing apparatus, network camera and processing system | |
JP6745604B2 (ja) | 情報処理装置およびその制御方法、並びにプログラム | |
Kohtake et al. | u-photo: A snapshot-based interaction technique for ubiquitous embedded information | |
Arai et al. | Wi-Foto 2: Heterogeneous device controller using Wi-Fi positioning and template matching | |
JP2007335963A (ja) | 機器設定装置及び機器設定方法及びプログラム | |
CN114079658A (zh) | 跨设备同步方法、终端设备及存储介质 | |
CN113778679B (zh) | 资源调度方法、资源调度装置、电子设备和可读存储介质 | |
JP5647714B1 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JP6061466B2 (ja) | 文書管理装置及び方法 | |
JP2005251068A (ja) | 分散機能連携システム、分散機能管理装置、分散機能連携方法、およびプログラム | |
Xuan et al. | Identifying gene and protein names from biological texts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080317 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080724 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4163456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |