JP4178697B2 - 携帯型情報処理端末、情報入出力システム及び情報入出力方法 - Google Patents
携帯型情報処理端末、情報入出力システム及び情報入出力方法 Download PDFInfo
- Publication number
- JP4178697B2 JP4178697B2 JP32767099A JP32767099A JP4178697B2 JP 4178697 B2 JP4178697 B2 JP 4178697B2 JP 32767099 A JP32767099 A JP 32767099A JP 32767099 A JP32767099 A JP 32767099A JP 4178697 B2 JP4178697 B2 JP 4178697B2
- Authority
- JP
- Japan
- Prior art keywords
- target device
- connection
- user terminal
- target
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
- G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Small-Scale Networks (AREA)
- Selective Calling Equipment (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータに対してコマンド等の入力を行うためのユーザ・インターフェース環境の提案に係り、特に、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができるユーザ・インターフェース環境の提案に関する。
【０００２】
更に詳しくは、本発明は、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができるユーザ・インターフェース環境の提案に係り、特に、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができるユーザ・インターフェース環境の提案に関する。
【０００３】
【従来の技術】
昨今の技術革新に伴い、ワークステーションやパーソナル・コンピュータ（ＰＣ）と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用コンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。
【０００４】
コンピュータ技術における最近の傾向の１つは、小型化である。特に最近では、半導体技術の向上に伴なうＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップの小型化や、プロセッサの処理能力の目覚しい向上などとも相俟って、小型且つ軽量で可搬性に富むポータブル（携帯型）・コンピュータ（若しくはモバイル・コンピュータ）が広汎に普及してきている。
【０００５】
携帯型コンピュータの一例は、いわゆる「ノートブックＰＣ」であり、他の例は「ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）」と呼ばれるさらに小型でほとんど掌（パームトップ）サイズのコンピュータである。これら携帯型のコンピュータは、モバイル環境、すなわち屋外や移動先での携帯的・可搬的なシステム稼動が可能である。
【０００６】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、インタラクティブ、すなわち対話的な処理環境を提供している。最近では、ＤＯＳ（ＤｉｓｋＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）シェル画面を代表とする従来のキャラクタ・ベースのユーザ入力環境すなわち「ＣＵＩ（Ｃｈａｒａｃｔｅｒ ＵｓｅｒＩｎｔｅｒｆａｃｅ）」から、グラフィック・ベースのユーザ入力を実現した「ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」への移行が挙げられる。ＧＵＩ環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【０００７】
ＧＵＩが提供されたデスクトップ上では、ファイル等のコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現される。また、ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンに対してマウスなどを介して直接操作を印加する（例えば、クリックやドラッグ・アンド・ドロップ）ことで、直感的なコマンド入力を行うことができる。もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行わなくとも、コンピュータを充分に操作することができる。
【０００８】
また、コンピュータ技術における他の傾向は相互接続である。コンピュータ間の相互接続は、例えば、シリアル・ポートやパラレル・ポートなどのローカルなインターフェース経由で行う以外に、ネットワーク・インターフェース・カード（ＮＩＣ）経由でネットワーク接続することで実現する。ネットワークは、単一の構内に限定的に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＬＡＮ同士を専用線等で相互接続してなるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ネットワーク同士が相互接続を繰り返し世界規模の巨大ネットワークに成長したインターネットなどさまざまである。
【０００９】
コンピュータ同士を相互接続する意義は、お互いが持つ情報の共有や流通・配布の効率化、コンピュータ資源の共有、複数のコンピュータに跨った協働的な作業の実現などにある。例えば、あるデジタル・オブジェクトに対する処理を、複数のコンピュータ間での連携的若しくは協調的な動作によって、効率的に実行することもできよう。
【００１０】
特に最近では、Ｅｔｈｅｒｎｅｔを無線化した無線ＬＡＮやＢｌｕｅＴｏｏｔｈ[1]などの近接通信システムの登場により、ユーザは比較的容易にコンピュータをネットワーク接続できるようになってきた。建物内に備えつけられた種々のコンピュータやその周辺機器類（プリンタなど）のほとんどは、当然の如くネットワーク接続され、複数のユーザ間で共用される。また、各ユーザは自分の携帯型コンピュータを携行し、行く先々の場所で気軽にネットワーク接続することも可能になってきている。
【００１１】
分散コンピューティング環境においては、ネットワーク接続された各コンピュータはトランスペアレントな状態であり、アプリケーションからはローカル・ディスクとリモート・ディスクを区別せずにコンピュータ操作を行うことができる。すなわち、ユーザはプログラムやデータ等の資源オブジェクトの所在を意識する必要はなくなり、コンピュータ間でシームレスにデータ交換などのやりとりを行うことができる。
【００１２】
ユーザは、コンピュータをネットワーク接続するまではあまり意識せず（すなわち簡易に）に行うことができる。ところが、ネットワーク上でデータ転送先となるコンピュータや周辺機器（すなわちターゲット）を指定しようとすると、すぐ目の前にある相手であっても、その名前（若しくはＩＤやアドレスなど）を知る必要がある。言い換えれば、トランスペアレントな分散コンピューティング環境下であっても、ユーザ操作に関して言えば、間接的な形式でしかコンピュータ間の連携がなされておらず、直感性にやや欠ける。
【００１３】
例えば、隣り合った２以上のコンピュータ間でオブジェクトを移動させたい場合、現状のＧＵＩ環境下では、ネットワーク接続された機器の一覧をエクスプローラ画面上で表示し、該当するコンピュータを模したアイコンを探し出してから「ドラッグ・アンド・ドロップ」操作を行う必要がある。
【００１４】
このようなユーザ入力作業上の問題を解決するための１つの手法として、実世界指向のユーザ・インターフェースが挙げられる。これは、本来はコンピュータのディスプレイ・スクリーン上に体現された「デジタル空間」に限定されていたユーザ操作範囲を、実世界の空間にまで連続的に拡張する技術のことを意味する。実世界指向インターフェースによれば、コンピュータ・スクリーンだけでなく、コンピュータが設置されたテーブル表面や、部屋の壁面なども拡張されたディスプレイとして機能する。情報空間は、スタンドアロン・コンピュータのデジタル空間という垣根を越えて、部屋全体に拡張され、デジタル・オブジェクトと実世界上の物理オブジェクトとを統合的に取り扱うことができる。
【００１５】
例えば、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ[2]は、ＧＵＩ環境下で定着しているユーザ操作「ドラッグ・アンド・ドロップ」を拡張したものであり、複数のコンピュータ間におけるデータ等のオブジェクトの移動を実世界での直感的な動作にマッピングした、先進的なインタラクション・テクニックである。
【００１６】
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、２以上のコンピュータの各々が持つネイティブなデスクトップ間で連携を図り、オブジェクトについてのシームレスなドラッグ・アンド・ドロップ操作を提供することができる。例えば、トラックボールやスティックなどをユーザ入力装置とするコンピュータのデスクトップ上において、あるオブジェクトのドラッグ操作した結果、ポインタが画面の端に到達し、さらに画面を越えてしまった場合には、隣接する他のコンピュータのデスクトップ上でドラッグ操作が継承され、該オブジェクトをドラッグしたままのポインタが出現する。
【００１７】
一方のコンピュータ・デスクトップ上では、ポインタが画面の端に到達した時点で、オブジェクトをドラッグしたままポインタは消滅するが、この処理をオブジェクトの”Ｐｉｃｋ”と呼ぶ。また、他方のコンピュータ・デスクトップ上において、該オブジェクトのドラッグ状態を継承したポインタが出現する処理のことを、オブジェクトの”Ｄｒｏｐ”と呼ぶ。両コンピュータ間では、バックグラウンドにおいてオブジェクトのエンティティ（例えばデータ・ファイルなど）がネットワーク転送されるので、ドラッグ操作の継承はオブジェクトの実体の移動を伴なう。図２１には、隣接するノートブック・コンピュータ間でデジタル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。
【００１８】
なお、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作に関しては、本出願人に既に譲渡されている特開平１１−５３２３６号公報にも開示されている。より詳しくは、同公報の［００５２］〜［００５９］、及び、図６〜図９を参照されたい。
【００１９】
また、ＭｅｄｉａＢｌｏｃｋ[3]は、識別子を付けた物体（ブロック）に画像などのデータを割り当てて、ユーザが持ち運ぶことによりデータを移動したり、複数のブロックを物理的に並べ替えることによって、データの並べ方を変えたりすることが可能である。備え付けの計算機の専用スロットやレールにブロックを置き、ブロックの内容をブロックと計算機との間のデータの移動や、並べ替えの操作を行うことができる。
【００２０】
また、「ハイパードラッグ」（Ｈｙｐｅｒｄｒａｇｇｉｎｇ）[4]は、机や壁をディスプレイとする備え付けの共有のコンピュータと、各ユーザ個人が所有する携帯型コンピュータとが連携するユーザ・インターフェース環境を提供するものである。例えば、情報環境にカメラ・ベースのオブジェクト認識システムを導入することで、ハイパードラッグ操作がサポートされる。コンピュータ・ディスプレイ画面を、投影機によってテーブルや壁面などの表面に投影する。さらに、投影画像すなわちコンピュータの論理空間上のオブジェクトと、実世界（すなわちテーブル上などに実在する）オブジェクトの双方を、カメラの撮像画像を基に認識し、且つ、これらオブジェクトの動きを追跡することで、テーブルや壁面など実空間に拡張されたディスプレイ上でインタラクティブなユーザ操作が可能となる。
【００２１】
ハイパードラッグによれば、コンピュータ上のデジタル空間がコンピュータ外すなわち実世界上の空間に拡張される。すなわち、あるユーザのコンピュータ上のドラッグ操作を、そのまま、そのコンピュータが設置されている平面（例えばテーブル表面）で継承し（図２２を参照のこと）、さらには、ドラッグ可能な平面若しくは空間をその作業場の壁へと拡張させることができる（図２３を参照のこと）。言い換えれば、コンピュータが設置された作業場空間を、あたかもコンピュータ上のデスクトップであるかのように、オブジェクトの操作を行うことができる。
【００２２】
なお、ハイパードラッグに関しては、本出願人に既に譲渡されている特願平１１−３１６４６１号明細書にも開示されている。
【００２３】
上述した各先行技術は、コンピュータのデジタル空間を実世界上の空間に拡張して、コンピュータ間でのオブジェクト操作などの連携作業を容易且つ直感的に行うことを可能にする。
【００２４】
しかしながら、これらの先行技術は総じて、１回若しくは一塊のデータ転送のみを目的としたもので、ユーザ操作によってのみ接続が確立するに過ぎず、且つ、持続的な接続は想定されていない。すなわち、データ転送を行う度毎に、ユーザはデジタル空間若しくは実空間上でオブジェクト操作を行わなければならないし、オブジェクト操作すなわちデータ転送が完了すると、コンピュータと機器間の接続関係は逐次途切れてしまう。
【００２５】
あるユーザは、外部機器に対してデータやコマンドを送信した後も、該機器に対して関心を持ち続けることもある。例えば、コマンドを送信した後の機器の動作状態をモニタしたり、コマンドや操作を追加したりしたいという場合である。ところが、機器との接続関係は逐次的に接続が途切れてしまうので、機器との間で継続的なメッセージ交換を行うにはユーザは絶えずコンピュータ操作しなければならない。すなわち、接続状態のまま機器が所定状態になるまで待機する、ということができない。
【００２６】
例えば、先述のＰｉｃｋ−ａｎｄ−Ｄｒｏｐのようなテクニックを用いて接続する対象を指定することは勿論可能であるが、「繋がっている」という状態、及び、何に繋がっているかを提示する方法を備えていないので、つなぐという動作の瞬間以外は接続対象をその名前でしか参照することができない。持続的な接続をＰｉｃｋ−ａｎｄ−Ｄｒｏｐなどと同じように物理的な操作によって確立する場合には、接続状態が何らかの形でユーザの目に見えている必要がある。
【００２７】
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、表示オブジェクトを一方のスクリーンから拾って他方のスクリーンに投下する際に、デジタイザのスタイラスを使用する。Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、物理オブジェクトを拾い上げるという動作に類似しているという点では物理的なメタファは直接的である。しかしながら、スタイラスが手に届かない場所に操作を直接及ぼすことはできず、言い換えれば、遠方にある情報機器に対してリモート・コントロールを行うことができない。
【００２８】
また、ハイパードラッグは、情報空間をコンピュータ内のデジタル空間から実世界上の作業空間にまで拡張し、情報操作の空間的連続性が実現される結果として、デジタル・オブジェクトと物理オブジェクトとの連携が可能となる。すなわち、物理オブジェクト上にデジタル・オブジェクトをドラッグ・アンド・ドロップすることで、新たに物理オブジェクト及びデジタル・オブジェクト間でリンクを形成したり、物理オブジェクトに添付してデジタル・オブジェクトを実空間上で移動させたり、物理オブジェクトからデジタル・オブジェクトを引き出すことができる。
【００２９】
しかしながら、ハイパードラッグは、デジタル・オブジェクトを操作するための情報環境が実世界上で空間的に連続しているというメタファを与えるものではあるが、物理オブジェクトをコンピュータ・ディスプレイ上でデジタル操作若しくはコマンド操作するものではない。例えば、ビデオ再生装置のような物理オブジェクトは、デジタル・オブジェクトの添付先や転送先ではあっても、ビデオ再生装置自体の記録や再生などオペレーションはコンピュータ上のコマンド操作の対象にはならない。
【００３０】
実世界指向インターフェースの分野では、上記以外にも、物や場所に物理的（すなわち可視の）識別子を付けて、コンピュータ資源を用いてこれを判別することによって、情報を表示したり、データの転送を行ったりするシステムに関する研究が数多存在する。例えば、Ｃｈａｍｅｌｅｏｎ[5]、ＮａｖｉＣａｍ[6]、ＣｙｂｅｒＧｕｉｄｅ[7]、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓ[8]や、文献［９］で提案されているシステムは、物や場所から一塊のデータを取り出すというようなメタファを持つインターフェースとみなすこともできる。
【００３１】
Ｃｈａｍｅｌｅｏｎは、磁気センサを用い、手に持ったディスプレイの位置や姿勢に応じて情報を表示するシステムであり、ディスプレイを動かすことによりコマンドの入力も行える。
【００３２】
また、ＮａｖｉＣａｍは、画像認識により識別可能なＩＤを用いて、ＩＤに応じた情報を出すことができる。ジャイロや音声認識とＮａｖｉＣａｍを組み合わせることも可能である。
【００３３】
また、ＣｙｂｅｒＧｕｉｄｅは、赤外線を用いたＩＤにより、ユーザが存在する位置に応じた案内をＰＤＡ上に表示することができる。但し、表示データは予めＰＤＡが持っているものとする。
【００３４】
また、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓは、ＩＤタグや赤外線ＩＤにより、物や場所からＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上の資源オブジェクトへのリンクを構築するシステムである。該システムによれば、データの転送のような動作や、ＩＤを認識した順番によりリンク先を変えるなどの動作もできる。
【００３５】
また、文献［９］は、物にＩＤタグを付けることで物からＷＷＷなどの電子情報へのリンクを張ることができる、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓと類似のシステムについて提案している。
【００３６】
また、”Ｉｎｆｏｓｐｕｉｔ”[10]や「拡張デスクトップ環境」[11]、文献［１２］などで提案されるシステムでは、物からデータを取り出すことに加えて、物にデータを転送したり、割り当てたりすることができ、さらに双方向のやり取りが可能になっている。
【００３７】
Ｉｎｆｏｓｐｕｉｔは、二次元コードを認識するリモコンのようなデバイスを介して、実世界上の物と計算機との間でのデータのやり取りを行うことができる。また、データを転送先によって動作を切り換えるなどの機能も備えている。
【００３８】
また、拡張デスクトップ環境は、カメラ画像を認識することにより、空間内に仮想的にアイコンを配置することができるシステムである。また、画像中のプリンタを予め登録しておいて、そこにアイコンをドロップして印刷することもできる。
【００３９】
また、文献［１２］は、二次元マトリクスや赤外線のＩＤにより場所や物を認識し、場所や物に写真や音声のメモを見たり張り付けたりすることができるシステムについて提案している。張り付けたメモを、例えばＷＷＷ経由で閲覧することもできる。
【００４０】
しかしながら、上述した実世界指向インターフェースのいずれも、機器間の持続的な接続を想定するものではない。
【００４１】
他方、最近ではコンピュータ間を結ぶネットワーク環境が充実し、コンピュータをネットワーク接続するためにユーザは各段の意識や労力を追うことがなくなってきている（前述）。さらに、日常生活で使用する多くの機器も情報化され、ネットワーク環境に受容されるようになってきている。例えば、ビデオ・デッキやテレビ映像機、冷蔵庫、電動湯沸し器（ポット）なども情報家電化し、ネットワーク上のコンピュータがリモート・コントロールすることも可能であろう。
【００４２】
しかしながら、家電機器をネットワーク上で指定しようとすると、すぐ目の前にある相手であっても、その名前（若しくはＩＤやアドレスなど）や操作上のコマンド入力方法などを知る必要がある。すなわち、ネットワーク経由でのコマンド操作は間接的なものとなり、直感性に欠ける。
【００４３】
家電製品は、総じて、コントロール・パネル／ボタンなどの優れたユーザ・インターフェースを備えており、複雑なコンピュータの操作を知らない一般消費者であっても、何らの技術の習得なしに容易にコマンド操作することができる。ところが、ネットワークを介したリモート・コントロールにおいては、このような優れた操作性は全く活かされない。
【００４４】
【発明が解決しようとする課題】
本発明の目的は、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４５】
本発明の更なる目的は、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができる、優れたユーザ・インターフェース環境を提供することにある。
【００４６】
本発明の更なる目的は、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４７】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４８】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続し、且つ、接続状態をコンピュータ・ディスプレイ上で視認することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４９】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続して、且つ、機器との間でコマンドやデータの交換を持続的に可能にすることができる、優れたユーザ・インターフェース環境を提供することにある。
【００５０】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、ネットワーク経由で１以上のターゲットと接続可能な携帯型情報処理端末であって、
前記ターゲットが有する可視的な識別情報を撮像する撮像手段と、
前記撮像手段が撮像した識別情報を基に、ターゲットを識別する識別手段と、
前記識別手段により識別されたターゲットとの接続を確立する接続手段と、
を具備することを特徴とする携帯型情報処理端末である。
【００５１】
本発明の第１の側面に係る携帯型情報処理端末は、さらに、前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００５２】
また、本発明の第２の側面は、ユーザの使用に供されるユーザ端末と、
前記ユーザ端末とはデータ転送可能な形式で接続され、且つ、可視的な識別情報を含んだ１以上のターゲットと、
前記可視的な識別情報を撮像する撮像手段と、
前記撮像手段が撮像した識別情報を基に、ターゲットを識別する識別手段と、前記識別手段により識別されたターゲットと前記ユーザ端末との接続を確立する接続手段と、
を具備することを特徴とする情報入出力システムである。
【００５３】
本発明の第２の側面に係る情報入出力システムは、さらに、前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００５４】
また、本発明の第２の側面に係る情報入出力システムにおいて、前記撮像手段は、前記ユーザ端末に一体的に装備されていても、前記ユーザ端末にケーブル接続されていても、あるいは、前記ユーザ端末にネットワーク接続されていてもよい。
【００５５】
また、前記ユーザ端末と前記ターゲットとはネットワーク接続され、
前記ターゲットはネットワーク・アドレスを有し、
前記情報入出力システムは各ターゲットに関する識別情報とネットワーク・アドレスとの対応関係を管理するデータベース手段をさらに備えていてもよい。このような場合、前記接続手段は、識別情報に該当するネットワーク・アドレスを前記データベース手段に問い合わせることでターゲットとの接続を実現することができる。
【００５６】
また、前記接続手段は、撮像手段がターゲット若しくはその識別情報を撮像し続けている期間中は、ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。
【００５７】
また、前記ユーザ端末はディスプレイ・スクリーンを含み、
前記撮像手段の撮像画像を前記ディスプレイ・スクリーン上に表示するようにしてもよい。このような場合、前記接続手段は、前記識別手段により識別されたターゲットがディスプレイ・スクリーン上に表示されている期間中は該ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。あるいは、前記接続手段が前記ユーザ端末とターゲットとの接続関係を持続している期間中は、該ターゲットを撮像した画像を前記ディスプレイ・スクリーン上に維持するようにしてもよい。
【００５８】
また、前記ユーザ端末は、前記識別手段によって識別されたターゲットの撮像画像を蓄積する格納手段を備えていてもよい。このような場合、前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続手段は前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。あるいは、前記格納手段から撮像画像を取り出された前記ディスプレイ・スクリーン上に一覧表示し、該一覧表示から１つの撮像画像が選択されたことに応答して、前記接続手段は前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００５９】
また、情報入出力システムは、さらに、接続関係にあるユーザ端末とターゲット間で所定のデータ及び／又はコマンドの転送を実現するアプリケーション手段を備えてもよい。
【００６０】
前記アプリケーション手段は、前記接続手段がターゲットとしてのプロジェクタとの接続関係を持続している期間中において、ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することができる。
【００６１】
また、前記ユーザ端末がキーボード又はその他のユーザ入力手段を備えているような場合、前記アプリケーション手段は、前記接続手段がターゲットとしてのコンピュータ・システムとの接続関係を持続している期間中において、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することができる。
【００６２】
また、前記アプリケーション手段は、前記接続手段が定期的若しくは不定期的に掲示内容が更新される掲示データを含むターゲットとの接続関係を持続している期間中において、該ターゲットから掲示データを取得してディスプレイ・スクリーン上に表示することができる。
【００６３】
また、前記アプリケーション手段は、前記接続手段がターゲットとしてアラーム機能を有する機器との接続関係を持続している期間中において、該ターゲットからのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することができる。
【００６４】
また、前記アプリケーション手段は、前記接続手段がターゲットとしてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中において、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲットに送信することができる。
【００６５】
また、前記アプリケーション手段は、前記接続手段が遠隔的な制御が可能なターゲットとの接続関係を持続している期間中において、該ターゲットを制御するための操作画面をディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲットに送信することができる。
【００６６】
また、本発明の第３の側面は、ユーザの使用に供されるユーザ端末と、前記ユーザ端末とはデータ転送可能な形式で接続され且つ可視的な識別情報を含んだ１以上のターゲットと、前記可視的な識別情報を撮像する撮像手段とで構成される情報空間において、ユーザの入出力を処理するための情報入出力方法であって、（ａ）前記撮像手段が撮像した識別情報を基に、ターゲットを識別するステップと、
（ｂ）前記識別手段により識別されたターゲットと前記ユーザ端末との接続を確立するステップと、
を具備することを特徴とする情報入出力方法である。
【００６７】
情報空間において、前記ユーザ端末と前記ターゲットとをネットワーク接続すし、各ターゲットに対して固有のネットワーク・アドレスを割り振ることができる。前記情報空間には各ターゲットに関する識別情報とネットワーク・アドレスとの対応関係を管理するデータベース手段がさらに装備されていてもよい。このような場合、前記接続を確立するステップ（ｂ）では、識別情報に該当するネットワーク・アドレスを前記データベース手段に問い合わせることでターゲットとの接続を実現することができる。
【００６８】
また、情報空間はさらに前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００６９】
また、前記接続を確立するステップ（ｂ）では、撮像手段がターゲット若しくはその識別情報を撮像し続けている期間中は、ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。
【００７０】
また、前記接続を確立するステップ（ｂ）では、前記識別手段により識別されたターゲットがディスプレイ・スクリーン上に表示されている期間中は該ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。あるいは、前記ユーザ端末とターゲットとの接続関係を持続している期間中は、該ターゲットを撮像した画像をディスプレイ・スクリーン上に維持するようにしてもよい。
【００７１】
また、前記ユーザ端末は、ディスプレイ・スクリーンと、前記識別手段によって識別されたターゲットの撮像画像を蓄積する格納手段とを備えていてもよい。このような場合、前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続を確立するステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００７２】
あるいは、さらに、（ｃ）前記格納手段から撮像画像を取り出された前記ディスプレイ・スクリーン上に一覧表示するステップを備え、
該一覧表示から１つの撮像画像が選択されたことに応答して前記接続を確立するステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００７３】
また、情報入出力方法は、さらに、（ｄ）接続関係にあるユーザ端末とターゲット間で所定のデータ及び／又はコマンドの転送を実現するアプリケーション・ステップを備えることができる。
【００７４】
アプリケーション・ステップ（ｄ）は、ターゲットとしてのプロジェクタとの接続関係を持続している期間中、前記ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することができる。
【００７５】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてのコンピュータ・システムとの接続関係を持続している期間中、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することができる。
【００７６】
また、アプリケーション・ステップ（ｄ）は、定期的若しくは不定期的に掲示内容が更新される掲示データを含むターゲットとの接続関係を持続している期間中、該ターゲットから掲示データを取得して前記ディスプレイ・スクリーン上に表示することができる。
【００７７】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてアラーム機能を有する機器との接続関係を持続している期間中、該ターゲットからのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することができる。
【００７８】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲットに送信することができる。
【００７９】
また、アプリケーション・ステップ（ｄ）は、遠隔的な制御が可能なターゲットとの接続関係を持続している期間中、該ターゲットを制御するための操作画面を前記ディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲットに送信することができる。
【００８０】
【作用】
本発明は、実空間すなわち所定の作業空間上においてコンピュータとその他の情報機器とを持続的に接続することができる実世界指向のユーザ・インターフェースを提供するものである。ここで言う持続的な接続とは、以下に示す特徴を有する。すなわち、
【００８１】
（１）双方向のデータ転送が可能である。
（２）操作の瞬間（例えば接続が確立した瞬間）に必ずしもデータが転送されるとは限らない（データ転送する必要がない）。
（３）転送したデータを転送元から制御するような、インタラクティブな操作が可能である。
【００８２】
このような持続的な接続が有益である例としては、ユーザが作業空間に持ち込んだノートブックＰＣを、該作業空間に備え付けのコンピュータのキーボード替わりにすることが挙げられる。備え付けコンピュータのキー配置が自分のＰＣとは相違する場合などには便利である。また、他の例として、プリンタなど、限られたコンソール・パネルしか持たない機器をメンテナンスする際のコンソールとして利用することが挙げられる。さらには、複数のプロジェクタを用いるプレゼンテーションにおいて、手許のコンピュータから各プロジェクタにスライド・データを転送したり、スライドの切替えなど表示制御を行うことに応用することができる。
【００８３】
従来の、情報提示やデータ転送を行うためのインターフェースは、（ａ）赤外線や電波、磁気を受信するセンサにより、接触又は接近したオブジェクトを識別する方式を採用するものと、（ｂ）カメラによって撮像された可視的な識別情報によりオブジェクトを識別する方式を採用するものとに大別されよう。
【００８４】
前者（ａ）の場合、接続が確立した瞬間以後にもデータの転送が起こり得ることを考慮すると、触れ続ける以外の状況下で接続を維持することは難しい。
【００８５】
これに対し、後者（ｂ）であれば、接続を確立したときの撮像画像を静止画などで残しておくことにより、接続を持続させることができる。また、過去に接続したオブジェクトを選択する場合にも、接続確立時の画像を取り出すことによって、新たなオブジェクトに接続する場合と同様に、見た目すなわち実物の映像によってオブジェクトを選択することができる。
【００８６】
本発明は、ノートブックＰＣなどのコンピュータがカメラを通して見ているオブジェクト（若しくは過去に見た）オブジェクトとの接続を確立する実世界指向インターフェースを提供する。このインターフェースは、「見たものと接続する」というメタファを有するが、本発明者等はこれを”ｇａｚｅ−ｌｉｎｋ”メタファと読んでいる。
【００８７】
図１には、”ｇａｚｅ−ｌｉｎｋ”メタファによるオペレーションを模式的に図解している。同図に示すように、携帯型コンピュータに標準装備されたカメラによって、例えばビデオ録画再生装置の前面のコントロール・パネルを見ると、撮像されたコントロール・パネルがコンピュータ・ディスプレイ上に表示することによって、コンピュータとビデオ録画再生装置の間で接続が確立され、該接続状態はコントロール・パネルが表示されている期間中は持続される。
【００８８】
このような接続状態では、双方向のデータ転送やインタラクティブな操作が可能である。ビデオ録画再生装置はコンピュータによって識別されており、撮像されたコントロール・パネルに相当する機能をディスプレイ上で呼び出すことができる。より具体的には、ディスプレイ・スクリーン上に表示されたコントロール・パネル上の記録、再生、停止、一時停止、早送り、巻戻しなどの各操作ボタンを用いて、実際のコントロール・パネル上におけると同様のユーザ操作を行うことができる。ユーザは、ディスプレイ上の表示内容だけを頼って、機器をリモート・コントロールすることもできる訳である。
【００８９】
”ｇａｚｅ−ｌｉｎｋ”メタファは、ＮａｖｉＣａｍ（前述）で用いられる「見たものの情報を引き出す」というメタファの拡張として位置付けることもできる。「見たものの情報を引き出す」メタファは、文献［１３］では「虫眼鏡メタファ」と呼ばれている。「虫眼鏡メタファ」では、「見ている」対象から固定された情報を引き出すだけであった。これに対して、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファでは、双方向の自由なデータ転送が可能である。
【００９０】
双方向であることと、転送データが固定的でないことを除けば、“ｇａｚｅ−ｌｉｎｋ”メタファを細かな単発のデータの転送が何度も繰り返されると見做すこともできる。これに対し、文献［４］では、固定されていない情報を双方向で転送することができるシステムについて提案している（前述）。しかしながら、該文献に記載されているシステムでは、あくまで一塊のデータを単発的に転送するものであり、データの交換を細かく何度も行うものではない。
【００９１】
そもそも人間が「見る」という動作は、接続の概念と親和性が高い。例えば、多人数の間で会話を行う場合、ある瞬間に話をしている者同士がお互いを「見て」いるのはごく自然な振舞いである。遠隔地との通信の場合であっても、音声だけの通信よりも、相手が「見えて」いる方が臨場感を増す。勿論、単に接続先を確認するだけであっても、「見えて」いることがより好ましい。
【００９２】
「見えている」という概念は、実世界に存在する物理オブジェクトを直接に見る以外にも拡張することができる。例えば、前述したように、「見た」オブジェクトの静止画を記録しておき（例えば、コンピュータのローカル・ディスクに保存しておき）、後に、オブジェクトが「見える」場所にいなくなったとしても、その静止画を選択する（すなわち、ローカル・ディスクから取り出す）ことによって、現実に「見ている」ときと同じようにオブジェクトとの接続を確立することが可能である。
【００９３】
また、「見ている」ものがさらにビデオ映像であり、間接的に「見て」接続するというメタファも可能である。例えば、図２に示すように、テレビ会議などの状況で、映像越しの遠隔地のディスプレイに接続し、操作するというようなことも同じメタファで実現することができる。さらには、リアルタイムの姿ではない、写真越しの接続を行うことも可能である。
【００９４】
一方、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファを「接続する」という概念を活かした応用例としては、ある電話機を「見て」おく（すなわち電話の撮像画像の表示をコンピュータ・ディスプレイ上に残しておく）ことにより、その電話機に掛かってきた電話を自分の居場所すなわち自席のコンピュータまで転送することができる。
【００９５】
例えば、”ＡｃｔｉｖｅＢａｄｇｅ”[14]を用いて、個人に掛かってきた電話をその人の居場所へ転送するシステムも開発させている。これに対し、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファを用いれば、一時的に転送先を変更するなどの指定を簡単に行うことができる。また、ファクシミリ装置を「見て」おくことにより、ファックス受信を知らせたり、電動湯沸し器を「見て」おくことにより、お湯が沸いた、あるいはお湯がなくなったなどのイベントを通知させることも可能である（但し、電動湯沸し器をネットワーク経由で監視可能であることを前提とする。詳しくは、後述の”Ｐｏｔｂｉｆｆ”を参照されたい）。
【００９６】
接続状態が持続されていれば、インタラクションも可能である。したがって、「見て」いるオブジェクトを制御するという一種の万能リモコンを実現することも可能である。ビデオ画像上でＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の直接的な操作手法を用いて、「見て」いる機器を制御する、というアプリケーションも考えられる。
【００９７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００９８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００９９】
図３には、本発明に係る実世界指向インターフェース、すなわち”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる、コンピュータライズされたシステム１００の構成を模式的に示している。同図に示すように、”ｇａｚｅ−ｌｉｎｋ”メタファのためのシステム１００は、１以上のユーザ端末１０と、ユーザ端末の接続対象となる１以上の機器すなわちターゲット５０で構成される。図３には、説明の便宜上、ユーザ端末１０及びターゲット５０を各１台ずつしか描いていないが、実際には、ネットワーク７０が敷設された単一の作業空間上に多数のユーザ端末及びターゲットが存在することもある点を理解されたい。
【０１００】
システム１００上で稼動する実世界指向インターフェースは、ユーザ端末とターゲット間において、「見る」ことによって接続するというメタファを与える。該メタファの実現と並行して（若しくはそのバックグラウンドで）データやコマンドの交換を行うために、ユーザ端末１０とターゲット５０の間は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク７０経由で相互接続されている。但し、ユーザ端末１０とターゲット５０は、相互接続が可能であれば充分であり、同じ室内など至近距離に設置されている必要はない。例えば、ネットワーク接続された他の部屋、他のフロア、他の建物など、直接「見る」ことができないリモート環境にそれぞれ設置されていてもよい。
【０１０１】
なお、本発明を実現する上で、ネットワーク・プロトコルは特に限定されない。例えば、ＬＡＮはＥｔｈｅｒｎｅｔ（有線及び無線を含む）やＢｌｕｅＴｏｏｔｈ[1]であってもよい。
【０１０２】
ユーザ端末１０は、ターゲット５０を「見る」ことにより接続するという実世界指向インターフェースを提供するコンピュータ・システムである。本発明を実現する上で、コンピュータのシステム・アーキテクチャは特に限定されない。ユーザ端末１０は、例えば、米ＩＢＭ社のＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）互換機又はその後継機であり、ＯＡＤＧ（Ｏｐｅｎ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｄｅｖｅｌｏｐｅｒｓ Ｇｒｏｕｐ）仕様に準拠する。但し、ターゲット５０との相互接続を実現するために、ネットワーク・インターフェース・カード（ＮＩＣ）などを装備する必要がある。
【０１０３】
本実施例では、オブジェクトを「見る」とは、実世界上の物理オブジェクトをカメラで撮像する（さらには、撮像したオブジェクトを認識・識別する）ことに相当し、また、「見る」ことによって接続することは、オブジェクトの撮像画像をコンピュータ・ディスプレイ上に表示することによって接続状態を表すことに相当する。
【０１０４】
ユーザ端末１０は、「見た」すなわち撮像したターゲット５０と接続を確立する前提として、ターゲット５０を認識する必要がある。このため、本実施例では、全てのターゲット５０は、視覚的に識別可能なＩＤコードのようなビジュアル・マーカーをその表面に含んでいるものとする。ＩＤコードの一例は、サイバーコード/*/のような２次元マトリックス状のバーコードである。ターゲット５０は、ネットワーク接続可能な情報機器や情報家電であれば足り、特に限定されない。例えば、ビデオ録画再生装置や電気湯沸し器、プロジェクタなどでよい。
【０１０５】
また、ユーザ端末１０は、オブジェクトを「見る」ためには、撮像手段としてのカメラを装備しなければならない。但し、カメラの装備形態は、内蔵方式（図４を参照のこと）、若しくは、外付け方式（図５を参照のこと）のいずれであっても構わない。前者のユーザ端末１０の一例は、ソニー（株）製のカメラ一体型のノートブック・コンピュータ”Ｓｏｎｙ ＶＡＩＯ−Ｃ１Ｒ”である。また、後者の場合、シリアル（ＲＳ−２３２Ｃ）・ポートやＩＥＥＥ１３９４（ｉ−Ｌｉｎｋ）ポートなどを用いて、外付けカメラをユーザ端末１０にケーブル接続することができる。あるいはカメラを無線で接続してもよい。
【０１０６】
さらには、ユーザ端末１０は、Ｅｔｈｅｒｎｅｔ（有線及び無線を含む）やＢｌｕｅＴｏｏｔｈ[1]のようなネットワーク、電話線などを介して遠隔地に設置されたカメラを利用してもよい（図６を参照のこと）。あるいは、カメラを装備せず、ユーザ端末１０のローカル・ディスクに予め格納されたターゲットの静止画を取り出してディスプレイ上に表示することで、「見て」いるすなわち接続状態を表してもよい。
【０１０７】
図３に示すように、ユーザ端末１０は、アプリケーション部１１と、接続部１２と、データベース部１３とで構成される。
【０１０８】
アプリケーション部１１は、以下の各モジュールで構成される。
【０１０９】
（１）ターゲット５０を撮像した画像中にあるＩＤコードを基に、ターゲットのＩＤを認識・識別するモジュール。
（２）認識・識別されたターゲット５０を「見た」ときのスナップショットをディスプレイ・スクリーン上で保持して、これをポインティング・デバイスでクリックすることによって選択を行うモジュール。
（３）選択されたターゲット、若しくは、「見て」いるターゲットとのデータ交換を行うモジュール。
【０１１０】
データベース部１３は、ターゲット５０のＩＤとそのネットワーク・アドレスとの変換を行なうモジュールである。アプリケーション部１１は、ターゲット５０の撮像画像中のＩＤコードを基にそのＩＤを識別すると、データベース部１３に対してＩＤを問い合わせる。これに対し、データベース部１３からはＩＤに該当するネットワーク・アドレスが戻される。さらに、アプリケーション部１１は、接続部１２に対してネットワーク・アドレスを指定して、所望のターゲット５０との接続を確立することができる。
【０１１１】
ターゲットのＩＤとネットワーク・アドレスの対応関係を記述したデータベース全体を単一のユーザ端末１０上で管理してもよい。あるいは、他のユーザ端末１０との間でデータベースを共有しなければならない場合や、ネットワーク７０上に多数のターゲットが存在してデータベースのサイズが膨大である場合などには、ネットワーク７０上の専用のデータベース・サーバ３０にデータベース管理の一部又は全部を委譲してもよい。このような場合、ユーザ端末５０は、データベース・サーバ３０に対してターゲット５０のＩＤを問い合わせ、これに対して、データベース・サーバ３０からはターゲット５０のネットワーク・アドレスが戻される。
【０１１２】
ユーザ端末１０、ターゲット５０、データベース・サーバ３０など、ネットワーク７０上の各機器間では、例えばＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコルに従ってメッセージ交換を行うことができる。画像などのサイズが比較的大きなデータを転送しなければならない場合には、ファイル共有の機能を利用してもよい。また、アプリケーションやサーバなどの機能モジュールをＪａｖａプログラミング言語（Ｊａｖａは、米サン・マイクロシステムズ社が開発した、オブジェクト指向プログラミング言語である）で記述することができる。
【０１１３】
図７には、アプリケーション部１１が提供する画面表示の一例を示している。
【０１１４】
この画面中央の領域はアプリケーション本体が用いる領域である。
【０１１５】
また、画面の左上方の表示ブロックは、現在のカメラが撮像している映像である。また、同左下方の表示ブロックは、現在の接続先の表示である。現在の接続先は、現在「見て」いる、すなわちカメラが現在撮像しているターゲット機器、あるいは、カメラ以外の手段によって選択されたターゲット機器である。同図に示す例では、現在カメラが捕捉しているディスプレイ・モニタが接続先として表示されている。接続先のターゲットが名前を持つ場合には、ウィンドウ・フレームの下端縁（例えばステータス・バー）に名前を表示するようにしてもよい。
【０１１６】
また、画面の右端には接続先リストが表示されている。接続先リストには、今までに「見た」すなわち接続されたことのある各ターゲット機器に関するカメラ映像（静止画）をボタン化して、時系列に従って並べられている。接続先リスト中の所望のボタンを選択（クリック）することによって、該当するターゲット機器との接続手続を呼び出すことができる。
【０１１７】
図８には、接続部１２において行われる、ターゲット５０との接続処理手順の一例を、フローチャートの形式で示している。同図に示す手順は、同時にただ１つのターゲットしか接続できない場合の例である。以下、このフローチャートの各ステップについて説明する。
【０１１８】
初期状態では、接続対象がない状態で待機している（ステップＳ１１）。
【０１１９】
カメラがターゲットを撮像すると、アプリケーション部１１は、カメラ画像を取得して（ステップＳ１２）、所定の認識・識別処理を実行して、そのカメラ画像内にサイバーコードのようなＩＤコードが存在するか否かを判断する（ステップＳ１３）。
【０１２０】
カメラ画像内にＩＤコードが存在する場合には、アプリケーション部１１は、さらに、識別されたＩＤコードが現在接続中のターゲットと同じＩＤコードか否かを判別する（ステップＳ１４）。ＩＤコードが一致する場合には、接続対象を切り替える必要がないので、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。
【０１２１】
ステップＳ１４において、新たに認識されたＩＤコードが現在の接続対象とは異なると判断された場合には、さらに現在接続中のターゲットが存在するか否かを判断する（ステップＳ１５）。接続中のターゲットが存在する場合には、その接続状態を一旦解除してから（ステップＳ１６）、次ステップＳ１７に進む。
【０１２２】
ステップＳ１７では、カメラ画像内にあるのは過去に認識したことのあるＩＤコードか否かを判別する。過去に認識したことのあるＩＤコードであれば、これとペアになっている画像を、ローカル・ディスクなどから呼び出してディスプレイ上に表示する（ステップＳ１８）。また、過去に認識したことのないＩＤコードであれば、ＩＤコードと現在のカメラ画像とをペアにして、過去に見たものすなわち「接続先リスト」の中に追加する（ステップＳ１９）。そして、ステップＳ２０では、ＩＤコードとペアとなった画像をディスプレイ上に表示する。
【０１２３】
次いで、ステップＳ２１では、データベース・サーバ３０に問い合わせて、ＩＤコードに対応するターゲットのネットワーク・アドレスを取得する。そして、ステップＳ２２では、取得されたネットワーク・アドレスを用いて、該当するターゲットとの間で接続状態を形成する。
【０１２４】
”Ｇａｚｅ−ｌｉｎｋ”メタファを導入した場合、ターゲットと接続するためには、ユーザは、ターゲットをカメラで撮像するだけでよいという点を理解されたい。ユーザ端末１０内では、カメラの撮像画像を基にして、ターゲットに添付されたＩＤコードを認識し、ＩＤコードに対応するネットワーク・アドレスが自動的に読み出されるからである。
【０１２５】
上記のステップＳ１３において、カメラ画像内にＩＤコードが存在しないと判断された場合には、ステップＳ２５に進み、過去に見たリストすなわち「接続先リスト」の中からユーザが画像を選んだか否かを判断する。
【０１２６】
ユーザが接続先リストから画像を選んだ場合には、ステップＳ２６に進んで、現在ユーザ端末に接続されているターゲットがあるか否かを判断する。接続中のターゲットがない場合には、選択された画像とペアになっているＩＤコードを呼び出してから（ステップＳ２７）、ステップＳ２１に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１２７】
また、ステップＳ２６において、現在接続中のターゲットがあると判定された場合には、さらにステップＳ２８に進み、選んだ画像に対応するＩＤコードが接続中のターゲットのそれと一致するか否かを判断する。一致する場合には、接続状態を維持するだけでよいので、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。他方、一致しない場合には、接続中のターゲットとの接続を一旦解除してから（ステップＳ２９）、ステップＳ２７に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１２８】
また、ステップＳ２５において、ユーザが接続先リストの中から画像を選ばない場合には、ステップＳ３０に進み、現在ユーザ端末に接続しているターゲットがあるか否かを判断する。
【０１２９】
接続中のターゲットがない場合には、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。
【０１３０】
接続中のターゲットがある場合には、ステップＳ３１に進み、ユーザが接続解除を選択したか否かを判定する。接続解除を選択しない場合にはそのままステップＳ１２に復帰し、接続解除を選択した場合には、ステップＳ３２にて接続を一旦解除してからステップＳ１２に復帰して、上述と同様の処理を繰り返し実行する。
【０１３１】
また、図９には、接続部１２において行われる、ターゲット５０との接続処理手順の他の例を、フローチャートの形式で示している。同図に示す手順は、同時に複数のターゲットと接続することができる場合の例である。以下、このフローチャートの各ステップについて説明する。
【０１３２】
初期状態では、接続対象がない状態で待機している（ステップＳ４１）。
【０１３３】
カメラがターゲットを撮像すると、アプリケーション部１１は、カメラ画像を取得して（ステップＳ４２）、所定の認識・識別処理を実行して、そのカメラ画像内にサイバーコードのようなＩＤコードが存在するか否かを判断する（ステップＳ４３）。
【０１３４】
カメラ画像内にＩＤコードが存在する場合には、アプリケーション部１１は、さらに、識別されたＩＤコードが現在接続中のターゲットと同じＩＤコードか否かを判別する（ステップＳ４４）。ＩＤコードが一致する場合には、接続対象を切替える必要がないので、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。
【０１３５】
ステップＳ４４において、新たに認識されたＩＤコードが現在の接続対象とは異なると判断された場合には、さらに、ステップＳ４５において、カメラ画像内にあるのは過去に認識したことのあるＩＤコードか否かを判別する。過去に認識したことのあるＩＤコードであれば、これとペアになっている画像を、ローカル・ディスクなどから呼び出してディスプレイ上に表示する（ステップＳ４６）。また、過去に認識したことのないＩＤコードであれば、ＩＤコードと現在のカメラ画像とをペアにして、過去に見たものすなわち「接続先リスト」の中に追加する（ステップＳ４７）。そして、ステップＳ４８では、ＩＤコードとペアとなった画像をディスプレイ上に表示する。
【０１３６】
次いで、ステップＳ４９では、データベース・サーバ３０に問い合わせて、ＩＤコードに対応するターゲットのネットワーク・アドレスを取得する。そして、ステップＳ５０では、取得されたネットワーク・アドレスを用いて、該当するターゲットとの間で接続状態を形成する。
【０１３７】
”Ｇａｚｅ−ｌｉｎｋ”メタファを導入することにより、ターゲットと接続するためには、ユーザは、ターゲットをカメラで撮像するだけでよいという点を理解されたい。ユーザ端末１０内では、カメラの撮像画像を基にして、ターゲットに添付されたＩＤコードを認識し、ＩＤコードに対応するネットワーク・アドレスが自動的に読み出されるからである。
【０１３８】
上記のステップＳ４３において、カメラ画像内にＩＤコードが存在しないと判断された場合には、ステップＳ５１に進み、過去に見たリストすなわち「接続先リスト」の中からユーザが画像を選んだか否かを判断する。
【０１３９】
ユーザが接続先リストから画像を選んだ場合には、ステップＳ５２に進んで、現在接続されているターゲットがあるか否かを判断する。接続中のターゲットがない場合には、選択された画像とペアになっているＩＤコードを呼び出してから（ステップＳ５３）、ステップＳ４９に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１４０】
また、ステップＳ５２において、現在接続中のターゲットがあると判定された場合には、さらにステップＳ５４に進み、選んだ画像に対応するＩＤコードが接続中のターゲットのそれと一致するか否かを判断する。一致する場合には、接続状態を維持するだけでよいので、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。他方、一致しない場合には、ステップＳ５３に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１４１】
また、ステップＳ５１において、ユーザが接続先リストの中から画像を選ばない場合には、ステップＳ５５に進み、現在ユーザ端末に接続しているターゲットがあるか否かを判断する。
【０１４２】
接続中のターゲットがない場合には、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。
【０１４３】
接続中のターゲットがある場合には、ステップＳ５６に進み、ユーザが接続解除を選択したか否かを判定する。接続解除を選択しない場合にはそのままステップＳ４２に復帰し、接続解除を選択した場合には、ステップＳ５７にて接続を一旦解除してからステップＳ４２に復帰して、上述と同様の処理を繰り返し実行する。
【０１４４】
上述したように、図８に示したフローチャートのステップＳ２１、及び、図９に示したフローチャートのステップＳ４９では、データベース部１３若しくはデータベース・サーバ３０は、ターゲットが持つＩＤコードに関する問い合わせを受け、これに対して該当するネットワーク・アドレスを返すようになっている。以下では、データベース・サーバ３０による問い合わせ応答処理について説明する。
【０１４５】
図１０には、問い合わせ応答処理手順の一例をフローチャートの形式で図解している。同図に示す例では、データベース部１３若しくはデータベース・サーバ３０は、問い合わされたＩＤコードに該当するエントリを持たない場合には、ネットワーク上の所在が分かっている他のデータベース・サーバに対してクライアント・サーバ形式で問い合わせるようになっている。以下、このフローチャートの各ステップについて説明する。
【０１４６】
接続部１２や、他のデータベース・サーバなどからＩＤコードの問い合わせを受けると（ステップＳ６１）、自分自身がローカルにデータベースを所有しているか否かを判断する（ステップＳ６２）。
【０１４７】
データベースをローカルに所有している場合、これを参照して（ステップＳ６３）、入力されたＩＤコードに該当するエントリがローカルのデータベース中に存在するか否かを判断する（ステップＳ６４）。
【０１４８】
ローカルなデータベース中に該当エントリがある場合には、ネットワーク・アドレスを取り出して、要求元に返す（ステップＳ６５）。その後、ステップＳ６１に復帰して、次の問い合わせにそなえる。
【０１４９】
ステップＳ６２において、データベース・サーバ自身がローカルにデータベースを持たない場合には、他に問い合わせることができるデータベース・サーバがネットワーク上に存在するか否かを判断する（ステップＳ６６）。
【０１５０】
ネットワーク上に他のデータベース・サーバが見つかれば、ＩＤコードの問い合わせを転送して（ステップＳ６７）、ネットワーク・アドレスを戻り値として受け取る（ステップＳ６８）。
【０１５１】
他のデータベース・サーバからのネットワーク・アドレスの取得に成功した場合には（ステップＳ６９）、ステップＳ６５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ７０）。
【０１５２】
また、ステップＳ６４において、データベース・サーバ自身のローカルなデータベース上には問い合わされたＩＤコードに該当するエントリがない場合にも、他に問い合わせることができるデータベース・サーバがネットワーク上に存在するか否かを判断する（ステップＳ６６）。
【０１５３】
ネットワーク上に他のデータベース・サーバが見つかれば、ＩＤコードの問い合わせを転送して（ステップＳ６７）、ネットワーク・アドレスを戻り値として受け取る（ステップＳ６８）。
【０１５４】
他のデータベース・サーバからのネットワーク・アドレスの取得に成功した場合には（ステップＳ６９）、ステップＳ６５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ７０）。
【０１５５】
図１１には、問い合わせ応答処理手順の他の例をフローチャートの形式で図解している。同図に示す例では、データベース部１３若しくはデータベース・サーバ３０は、問い合わされたＩＤコードに該当するエントリを持たない場合には、ネットワーク上の所在が分からない他のデータベース・サーバに対してブロードキャスト形式で問い合わせるようになっている。以下、このフローチャートの各ステップについて説明する。
【０１５６】
接続部１２や、他のデータベース・サーバなどからＩＤコードの問い合わせを受けると（ステップＳ８１）、自分自身がローカルにデータベースを所有しているか否かを判断する（ステップＳ８２）。
【０１５７】
データベースをローカルに所有している場合、これを参照して（ステップＳ８３）、入力されたＩＤコードに該当するエントリがローカルのデータベース中に存在するか否かを判断する（ステップＳ８４）。
【０１５８】
ローカルなデータベース中に該当エントリがある場合には、ネットワーク・アドレスを取り出して、要求元に返す（ステップＳ８５）。その後、ステップＳ８１に復帰して、次の問い合わせにそなえる。
【０１５９】
ステップＳ８２において、データベース・サーバ自身がローカルにデータベースを持たない場合には、ネットワーク上にＩＤコードの問い合わせをブロードキャストする（ステップＳ８６）。
【０１６０】
ブロードキャストした結果、他のデータベース・サーバからネットワーク・アドレスが成功裡に返された場合には（ステップＳ８７）、ステップＳ８５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ８８）。
【０１６１】
また、ステップＳ８４において、データベース・サーバ自身のローカルなデータベース上には問い合わされたＩＤコードに該当するエントリがない場合にも、ネットワーク上にＩＤコードの問い合わせをブロードキャストとする（ステップＳ８６）。
【０１６２】
ブロードキャストした結果、他のデータベース・サーバからネットワーク・アドレスが成功裡に返された場合には（ステップＳ８７）、ステップＳ８５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ８８）。
【０１６３】
以下では、”ｇａｚｅ−ｌｉｎｋ”メタファを実現するシステム１００において提供されるアプリケーションについて説明する。
【０１６４】
（１）プレゼンテーション・ツール
”ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用することによって、ユーザ端末内に格納されたスライドを、ディスプレイやプロジェクタなどの１以上のターゲットに振り分けることができる（図１２を参照のこと）。
【０１６５】
ディスプレイやプロジェクタに転送したスライドも、そのまま手許のユーザ端末上で操作する（例えば、列挙された項目を一つ一つ見せる、あるいは、動画データを一時停止するなど）ことができる。
【０１６６】
図１３には、”ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１６７】
本処理手順は、ユーザ端末１０上でスライド・ページを表示するプレゼンテーションの実行中に行われる。
【０１６８】
ユーザが別のスライド・ページを要求したときには（ステップＳ１０１）、新しいスライド・ページをユーザ端末１０上に表示し（ステップＳ１０２）、要求しない場合には元のスライド・ページのままとする。
【０１６９】
ステップＳ１０３では、現在、ユーザ端末１０に対して接続先のターゲットがあるか否かを接続部１２に問い合わせる。接続先がない場合には、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７０】
接続先がある場合には、該接続先のターゲットがプロジェクタその他スライド・ページを表示可能な装置であるか否かを判断する（ステップＳ１０４）。スライド・ページを表示不能な装置であれば、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７１】
接続先のターゲットがプロジェクタやその他のスライド・ページを表示可能な装置であれば、ユーザ端末１０のユーザが現在のスライド・ページを該プロジェクトに転送することを要求したことに応答して（ステップＳ１０６）、該スライド・ページを該プロジェクタに転送する（ステップＳ１０７）。スライド・ページの転送要求は、例えば「ハイパードラッグ」（前述）などを用いることで、現存するＧＵＩ操作を実空間上に拡張して、直感的に指示することもできる。また、スライド・ページ等のデータ転送は、ネットワーク７０経由で行われる。データ転送終了後は、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７２】
また、ユーザ端末１０のユーザが、現在接続中のプロジェクタに表示されているスライド・ページを該ユーザ端末１０上でも表示することを要求した場合には（ステップＳ１０８）、接続先のプロジェクタに対して表示中のスライド・ページを問い合わせ（ステップＳ１０９）、該ページの表示を実現する（ステップＳ１１０）。ページ表示のためのデータ転送はネットワーク７０経由で自動的に行われる。また、スライド・ページの表示を終えた後は、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７３】
また、ユーザがスライド・ページ内で操作を行ったとき（ステップＳ１１１）、接続先のプロジェクタも同じスライド・ページを表示している場合には（ステップＳ１１２）、該ページ内の操作に関する情報をプロジェクタに転送する（ステップＳ１１３）。この結果、プロジェクタの投影スクリーン上でも、ユーザ端末１０上と同じ操作が表示される。その後、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７４】
（２）キーボード
ある限られた狭い空間内に複数のコンピュータが混在するような場合、複数のキーボードやディスプレイの対応関係が錯綜するという事態は、多くの人が経験することであろう。あるディスプレイ・スクリーンのコマンド・ライン上にキー入力しても、該当するキーボードが判らず、ケーブルの接続先を確認するなど煩雑な作業を強いられてしまう。
【０１７５】
また、共有のコンピュータを使うときや、他人のコンピュータをちょっと借用するような場合、キー配置や日本語入力ソフト（かな漢字変換等のＦＥＰ（Ｆｒｏｎｔ Ｅｎｄ Ｐｒｏｃｅｓｓｏｒ））等が自分のコンピュータとは相違するために、苦労するということも珍しくないであろう。
【０１７６】
”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用することによって、「見た」（すなわちカメラで撮像することによって接続された）コンピュータのキーボードとなることが可能となる。
【０１７７】
例えば接続先となるコンピュータのウィンドウ・システムのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を使って、全てのアプリケーションの入力を行うことも可能である。
【０１７８】
また、エコーバックも表示させるようにすれば、ターゲットとして「見た」コンピュータのｔｅｌｎｅｔ端末になる、というメタファが提供される。これは、普段はコンソールを必要としないサーバ・マシンや組み込み型コンピュータでの作業や、限られたコンソールしか持たない機器（例えばプリンタ）のメンテナンス作業などにおいて、極めて有効である。
【０１７９】
図１４には、”ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用した様子を描写している。同図に示すように、ユーザがあるコンピュータを「見る」（すなわちカメラの撮像画像を介して識別する）と、これに応答して、ユーザ端末に備え付けられたキーボードは、このリモートのコンピュータのキーボードとして振る舞うことができる。ユーザ端末のキーボードを、リモート・コンピュータにキーボード・ポートなどに直接接続する必要は全くない。
【０１８０】
また、同図に示すように、ユーザ端末のディスプレイ・スクリーン上に、キー入力された各キャラクタが「見て」いるターゲットすなわちコンピュータの設置場所に向かって飛んでいくようなアニメーションを表示してもよい。このような演出は、接続されているターゲットと、ターゲットと接続状態にあるということを、ユーザに対して明確に提示することができるという効果がある。
【０１８１】
図１５には、”ｇａｚｅ−ｌｉｎｋ”メタファを遠隔的なコンピュータのためのキーボードに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１８２】
ステップＳ１２１及びＳ１２２では、ユーザ端末がターゲットに接続されるまで待機する。
【０１８３】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがキー入力を受け付けることができる装置か否かを判断する（ステップＳ１２３）。判断結果が否定的であれば、ステップＳ１２１に戻って、再び他のターゲットに接続されるまで待機する。
【０１８４】
キー入力を受け付けるターゲット、例えば遠隔のコンピュータとの接続が果たされると、ユーザがユーザ端末上でキー入力を行う度に（ステップＳ１２４）、逐次入力されたキャラクタが接続先のターゲットに転送される（ステップＳ１２５）。
【０１８５】
ステップＳ１２６では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０１８６】
接続先のターゲット変更してないと判断された場合には（ステップＳ１２７）、ステップＳ１２４に戻り、ユーザ端末上でのキー入力と、入力されたキャラクタのターゲットへの転送とを、繰り返し実行する。
【０１８７】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１２７）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１２８）。
【０１８８】
いずれのターゲットとも接続されていないならば、ステップＳ１２１に戻って、次にターゲットと接続されるまで待機する。
【０１８９】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１２９）、ステップＳ１２４に戻り、ユーザ端末上でのキー入力を新たな接続先のターゲットに送信する。
【０１９０】
（３）案内板・掲示板（ブレティンボード）
例えば、大きな学会などが開催される際には、現在どの部屋でどのセッションが行われているかなどの情報を知らせる案内板や掲示板が設置される。このような情報が、コンピュータ・ネットワークなどを介して電子的にもアクセスできるようになっていれば、いちいち案内板のある場所まで見に行く必要がない。しかし、例えば「建物の入り口にある案内板」の内容を知るために、それをＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）のページから辿って探索するのでは手間がかかり過ぎる。
【０１９１】
”Ｇａｚｅ−ｌｉｎｋ”メタファを案内板や掲示板などのＢｕｌｌｅｔｉｎｅｂｏａｒｄに応用することによって、ユーザは、物理的な案内板や掲示板を１度だけ「見て」おけば、その後ユーザ端末上でその静止画像を呼び出すだけで案内板等との接続を確立して、常に最新の掲示内容を把握することができる。
【０１９２】
各トピックが規則的な周期で入れ替わるような該当のニュースボードなどの場合に、特定のトピックが表示されている瞬間を「見て」おくことにより、そのトピックのニュースのみを見ることができるようにすることも可能である。
【０１９３】
興味のあるアイテムだけを選択的に「見て」集めることで、実世界での行動によるインターネット・スクラップ[15]の構築のようなことも可能である。
【０１９４】
図１６には、”ｇａｚｅ−ｌｉｎｋ”メタファをＢｕｌｌｅｔｉｎｂｏａｒｄに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１９５】
ステップＳ１３１及びＳ１３２では、ユーザ端末がターゲットに接続されるまで待機する。
【０１９６】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがＢｕｌｌｅｔｉｎｂｏａｒｄのようなすなわち掲示データを含んだ装置か否かを判断する（ステップＳ１３３）。判断結果が否定的であれば、ステップＳ１３１に戻って、再び他のターゲットに接続されるまで待機する。
【０１９７】
Ｂｕｌｌｅｔｉｎｅｂｏａｒｄへの接続が果たされると、接続先に対して最新の掲示データを要求する（ステップＳ１３４）。そして、接続先から掲示データを受け取ると、これをユーザ端末のディスプレイ・スクリーン上に表示する（ステップＳ１３５）。
【０１９８】
さらに、ステップＳ１３６では、他の接続先があるかどうかを、接続部１２経由で問い合わせる。
【０１９９】
他に接続先がなければ（ステップＳ１３７）、ステップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉｎｂｏａｒｄとの接続が確立するまで待機する。
【０２００】
他に接続先がある場合には（ステップＳ１３７）、該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒｄすなわち掲示データを含んだ装置か否かを判断する（ステップＳ１３８）。該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒｄであれば、ステップＳ１３４に進んで、掲示データの取得とディスプレイ・スクリーンへの表示を実行する。また、Ｂｕｌｌｅｔｉｎｅｂｏａｒｄでなければ、ステップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉｎｂｏａｒｄとの接続が確立するまで待機する。
【０２０１】
（４）Ｇａｚｅ−ｌｉｎｋのその他の応用
”Ｇａｚｅ−ｌｉｎｋ”メタファによれば、カメラを備え付けた携帯型コンピュータを用いて、カメラで見ているものとの接続を確立するという実世界指向インターフェースを実現することができる、ということは既に述べた通りである。
【０２０２】
例えば、”ｇａｚｅ−ｌｉｎｋ”メタファをオフィス内あるいは家庭内などの日常の住空間に採り入れることにより、ユーザ端末を各種の情報機器、情報家電機器などに接続し且つ接続状態を維持することができる。この結果、「見る」というだけで、ファクシミリ装置等のＯＡ機器や、冷蔵庫や電動湯沸し器（ポット）などの情報家電とユーザ端末とを接続し、これらの機器上での状態の変化を常に監視し、さらにはコマンド操作を行うことができる。
【０２０３】
”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への応用例の１つはＰｏｔｂｉｆｆである。
【０２０４】
図１７には、”ｇａｚｅ−ｌｉｎｋ”メタファを電動湯沸し器に応用した”Ｐｏｔｂｉｆｆ”が動作する様子を描写している。
【０２０５】
同図に示すように、ユーザが「見た」電動湯沸し器の静止画像がユーザ端末のディスプレイ・スクリーン上に表示されることで、ユーザ端末と電動湯沸し器との接続が確立される。また、該静止画像がスクリーン上に表示されている期間中は、両者間の接続状態が持続であることを意味する。このような接続状態では、ユーザ端末側からは、電動湯沸し器でお湯が沸いたときの通知を受け取ったり、お湯の残量の監視などを行うことが可能である。
【０２０６】
オフィスなどで、お茶やコーヒーを入れるための電動湯沸し器がある場合、必ずしも各人の席から見える場所に設置されているとは限らない。このため、お茶を入れに行ってみたらお湯を沸かしている最中であったり、お湯が残っていなかったりすることがしばしばある。Ｐｏｔｂｉｆｆによれば、あらかじめ電動湯沸し器を「見て」、ユーザ端末との接続状態を維持しておくことによって、お湯が沸いたときに通知を受け取ることや、お湯の残量の確認を自分の席すなわち遠隔的に監視することが可能となる。
【０２０７】
勿論、電動湯沸し器以外の情報家電に対しても、”ｇａｚｅ−ｌｉｎｋ”メタファを導入することは可能である。例えば、洗濯機や電子レンジのアラーム音を大きくすることなく、離れた場所からも洗濯や料理の温めの終了を検出することができる。コイン・ランドリの洗濯機などには、Ｐｏｔｂｉｆｆは特に有効である。
【０２０８】
図１８には、Ｐｏｔｂｉｆｆを行うための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２０９】
ステップＳ１４１及びＳ１４２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２１０】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがアラームを発する装置（例えば、お湯の沸騰に応答してアラームを発する電動湯沸し器）であるか否かを判断する（ステップＳ１４３）。判断結果が否定的であれば、ステップＳ１４１に戻って、再び他のターゲットに接続されるまで待機する。
【０２１１】
アラームを発する装置への接続が果たされると、接続状態をそのまま保持して（ステップＳ１４４）、該装置に対する監視を行う。そして、該装置上でアラームが発されたことを検出すると（ステップＳ１４５）、ユーザ端末上でもアラームを発するとともに、アラームの内容（例えば、「お湯が沸いた」など）を表示する（ステップＳ１４６）。
【０２１２】
また、”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への他の応用例はビデオ予約である。
【０２１３】
最近では、テレビ・チューナとハード・ディスク・レコーディング機能を備えたＰＣを用いて、ＷＷＷ上のテレビ番組表をクリックすることによって録画予約を行うシステムも登場している[16]。この情報と、シリアル回線（例えばｉ−ｌｉｎｋ）などで制御可能なビデオ録画再生装置とを組み合わせて、ビデオ録画再生装置を見ながらＷＷＷページ表示画面上の所望のテレビ番組アンカーをクリックすることによって、録画予約を行うことができる。
【０２１４】
図１９には、”ｇａｚｅ−ｌｉｎｋ”メタファを用いてビデオ予約を行うための処理手順をフローチャートの形式で示している。ユーザ端末とビデオ録画再生装置との間は、例えば、ＢｌｕｅＴｏｏｔｈ[1]のようなネットワークで接続したり、あるいは、ＲＳ（Ｒｅｃｏｍｍｅｎｄｅｄ Ｓｔａｎｄａｒｄ）−２３２Ｃやｉ−Ｌｉｎｋのようなシリアル・ケーブルでローカル接続されており、データやコマンドの転送が可能となっているものとする。以下、このフローチャートの各ステップについて説明する。
【０２１５】
ステップＳ１５１及びＳ１５２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２１６】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがビデオ録画再生装置であるか否かを判断する（ステップＳ１５３）。判断結果が否定的であれば、ステップＳ１５１に戻って、再び他のターゲットに接続されるまで待機する。
【０２１７】
ビデオ録画再生装置への接続が果たされると、ユーザ端末上でビデオの録画予約情報に関するユーザ入力があったか否かを判断する（ステップＳ１５４）。ユーザ入力があれば、接続先のビデオ録画再生装置に対して該予約情報を送信する（ステップＳ１５５）。
【０２１８】
ステップＳ１５６では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０２１９】
接続先のターゲット変更してないと判断された場合には（ステップＳ１５７）、ステップＳ１５４に戻り、ユーザ端末上での録画予約情報の入力と、予約情報のビデオ録画再生装置への送信とを、繰り返し実行する。
【０２２０】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１５７）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１５８）。
【０２２１】
いずれのターゲットとも接続されていないならば、ステップＳ１５１に戻って、次にターゲットと接続されるまで待機する。
【０２２２】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１５９）、ステップＳ１５４に戻り、ユーザ端末上での録画予約情報の入力と、予約情報のビデオ録画再生装置への送信とを、繰り返し実行する。
【０２２３】
また、”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への他の応用例は「万能リモコン」若しくは「遠隔メンテナンス」と呼ばれるものである。すなわち、”ｇａｚｅ−ｌｉｎｋ”メタファを用いることにより、「見て」いるものを制御することができる。
【０２２４】
ターゲットを「見る」ことによって、ユーザ端末はあらゆるターゲットに接続することができ、ターゲットに対する制御その他の操作を行うことが可能となり、「万能リモコン」となる。また、必ずしも至近距離から「見る」必要はなく、遠くから「見る」ことによってもターゲットとの接続が確立される。さらに、ターゲットを直接「見て」いる必要はなく、過去に見たターゲットの静止画を呼び出すことによっても、ターゲットとの接続が確立される。この意味において、「遠隔メンテナンス」が実現される。
【０２２５】
図２０には、”ｇａｚｅ−ｌｉｎｋ”メタファを用いて遠隔メンテナンスを行うための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２２６】
ステップＳ１６１及びＳ１６２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２２７】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットが遠隔操作可能な装置であるか否かを判断する（ステップＳ１６３）。判断結果が否定的であれば、ステップＳ１６１に戻って、再び他のターゲットに接続されるまで待機する。
【０２２８】
遠隔可能なターゲットへの接続が果たされると、該ターゲットへの制御・操作用の画面をユーザ端末のディスプレイ上に表示する（ステップＳ１６４）。例えば、遠隔可能なターゲットがビデオ録画再生装置であれば、再生、記録、早送り、巻戻し、一時停止などの主要な機能ボタンを含んだＧＵＩ画面をディスプレイ上に表示する。あるいは、この代替として、ビデオ録画再生装置の正面のコントロール・パネルを撮像した画像そのものの上に各操作ボタンをアイコン化してＧＵＩ画面に組み込んでもよい。後者の場合、ユーザは、現実のビデオ録画再生装置と同じ操作様式に従って、ビデオ録画再生装置を自然な感覚でリモート・コントロールすることができる。
【０２２９】
ユーザがユーザ端末のディスプレイ上で入力すなわち機能ボタンの操作を行うと（ステップＳ１６５）、該操作に相当する制御情報が接続先のターゲットに転送される（ステップＳ１６６）。
【０２３０】
ステップＳ１６７では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０２３１】
接続先のターゲット変更してないと判断された場合には（ステップＳ１６８）、ステップＳ１６５に戻り、ユーザ端末のディスプレイ上での機能ボタンの操作と、該操作に相当する制御情報のターゲットへの転送とを、繰り返し実行する。
【０２３２】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１６８）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１６９）。
【０２３３】
いずれのターゲットとも接続されていないならば、ステップＳ１６１に戻って、次にターゲットと接続されるまで待機する。
【０２３４】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１７０）、ステップＳ１６５に戻り、ユーザ端末のディスプレイ上での機能ボタンの操作と、該操作に相当する制御情報のターゲットへの転送とを、繰り返し実行する。
【０２３５】
カメラの撮像越しの操作も可能であることを応用して、家庭電化製品が故障したときなどに、製造元又は販売元のサポート・センタからビデオ映像越しに「見て」製品に接続することによって、故障に関する情報を転送することも可能である。また、簡単な設定の変更等によって故障原因を解除することもできるであろう。
【０２３６】
《注釈》
＊：サイバーコードとは、２次元バーコードの一種であり、図２４に示すように、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成される。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）パターンとして常に黒パターンとなっている。サイバーコードによれば、印刷されたパターンの配列の組み合わせによって２24個のオブジェクトを識別することができる。
サイバーコードの認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バーの候補を発見するステップと、ガイド・バーの位置や方向に基づいてコーナー・セルを探索するステップと、ガイド・バー及びコーナー・セルを検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。
さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セルの位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特願平１０−１８４３５０号明細書（「画像処理装置および方法、並びに提供媒体」）にも開示されている。
【０２３７】
《参考文献》
［１］：ｈｔｔｐ：／／ｗｗｗ．ｂｌｕｅｔｏｏｔｈ．ｃｏｍ
［２］：Ｊ．Ｒｅｋｉｍｏｔｏ． Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ： Ａ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｃｏｍｐｕｔｅｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ ＵＩＳＴ ’９７， ｐｐ．３１−３９， Ｏｃｔｏｂｅｒ １９９７．
［３］： Ｂ． Ｕｌｌｍａｅｒ， Ｈ， Ｉｓｈｉｉ， ａｎｄ Ｄ． Ｇｌａｓ． ＭｅｄｉａＢｌｏｃｋｓ： Ｐｈｙｓｉｃａｌ Ｃｏｎｔａｉｎｅｒｓ， Ｔｒａｎｓｐｏｒｔｓ， ａｎｄ Ｃｏｎｔｒｏｌｓ ｆｏｒ Ｏｎｌｉｎｅ Ｍｅｄｉａ． Ｉｎ ＳＩＧＧＲＡＰＨ ’９８ Ｐｒｏｃｅｅｄｉｎｇｓ， ｐｐ． ３７９−３８６， １９９８．
［４］：Ｊ．Ｒｅｋｉｍｏｔｏ ａｎｄ Ｍ． Ｓａｉｔｏｈ． Ａｕｇｍｅｎｔｅｄ Ｓｕｒｆａｃｅ： Ａ Ｓｐａｔｉａｌｌｙ Ｃｏｎｔｉｎｕｏｕｓ Ｗｏｒｋｓｐａｃｅ ｆｏｒ Ｈｙｂｒｉｄ Ｃｏｍｐｕｔｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ．３７８−３８５． ＡＣＭ， Ｍａｙ １９９９．
［５］： Ｇ． Ｗ． Ｆｉｔｚｍａｕｒｉｃｅ， Ｓ． Ｚｈａｉ， ａｎｄＭ． Ｈ． Ｃｈｉｇｎｅｌｌ． Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｆｏｒｐａｌｍｔｏｐ ｃｏｍｐｕｔｅｒｓ． ＡＣＭ Ｔｒａｎｓｃｃａｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｖｏｌ． １１， Ｎｏ．３， ｐｐ． １９７−２１８， Ｊｕｌｙ １９９３．
［６］：Ｊ． Ｒｅｋｉｍｏｔｏ ａｎｄ Ｋ． Ｎａｇａｏ． Ｔｈｅ ｗｏｒｌｄ ｔｈｒｏｕｇｈ ｔｈｅ ｃｏｍｐｕｔｅｒ： Ｃｏｍｐｕｔｅｒ ａｕｇｍｅｎｔｅｄ ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ ｒｅａｌ ｗｏｒｌｄｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ ＵＳＩＴ ’９５， ｐｐ． ２９−３６， Ｎｏｖｅｍｂｅｒ １９９５．
［７］：Ｓ． Ｌｏｎｇ， Ｄ． Ａｕｓｔ， Ｇ． Ａｂｏｗｄ， ａｎｄ Ｃ． Ａｔｋｅｓｏｎ． Ｃｙｂｅｒｇｕｉｄｅ： Ｐｒｏｔｏｔｙｐｉｎｇ ｃｏｎｔｅｘｔ−ａｗａｒｅ ｍｏｂｉｌｅ ａｐｐｌｉｃａｔｉｏｎｓ．ＩｎＣＨＩ’９６ Ｃｏｎｆｅｒｅｎｃｅ Ｃｏｍｐａｎｉｏｎ， ｐｐ． ２９３−２９４， １９９６．
［８］：綾塚祐二， 暦本純一， 松岡聡．ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓ：実世界環境に埋め込まれたハイパーメディアリンク． 情報処理学会研究会報告（９６−ＨＩ−６７），ｐｐ． ２３−３０， Ｊｕｌｙ １９９６．
［９］：Ｒ． Ｗａｎｔ， Ｋ． Ｐ． Ｆｉｓｈｋｉｎ， Ａ． Ｇｕｊａｒ， ａｎｄ Ｂ． Ｌ． Ｈａｒｒｉｓｏｎ． Ｂｒｉｄｇｉｎｇ Ｐｈｙｓｉｃａｌ ａｎｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ ｗｉｔｈ Ｅｌｅｃｔｒｏｎｉｃ Ｔａｇｓ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ． ３７０−３７７． ＡＣＭ， Ｍａｙ １９９９．
［１０］：神武直彦， 暦本純一， 安西祐一郎．現実世界での情報移動を支援する ＩｎｆｏＳｐｕｉｔ． インタラクティブシステムとソフトウェアＶ（ＷＩＳＳ‘９７），ｐｐ． ４９−５６．日本ソフトウェア科学会，近代科学社，Ｄｅｃｅｍｂｅｒ １９９７．
［１１］：坂根裕， 柳沢豊， 塚本昌彦， 西尾章治郎． カメラ画像を利用した拡張デスクトップ環境． Ｉｎ ＳＰＡ’９８ （ＵＲＬ： ｈｔｔｐ：／／ｗｗｗ．ｂｒｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｏｃ／ｓｐａ９８／ｐｒｏｃｅｅｄｉｎｇｓ／ｉｎｄｅｘ．ｈｔｍｌ）
［１２］：Ｊ． Ｒｅｋｉｍｏｔｏ， Ｙ． Ａｙａｔｓｕｋａ， ａｎｄ Ｋ． Ｈａｙａｓｈｉ． Ａｕｇｍｅｎｔａｂｌｅ ｒｅａｌｉｔｙ： Ｓｉｔｕａｔｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｈｒｏｕｇｈ ｄｉｇｉｔａｌ ａｎｄ ｐｈｙｓｉｃａｌ ｓｐａｃｅｓ．Ｉｎ ＩＳＷＣ ’９８， Ｏｃｔｏｂｅｒ １９９８．
［１３］：暦本純一．簡易性とスケーラビリティを考慮した拡張現実感システムの提案．インタラクティブシステムとソフトウェアＩＩＩ（ＷＩＳＳ‘９５），ｐｐ．４９−５６．日本ソフトウェア科学会，近代科学社，Ｎｏｖｅｍｂｅｒ １９９５
［１４］：Ｒ． Ｗａｎｔ， Ａ． Ｈｏｐｐｅｒ， Ｖ． Ｆａｌｃａｏ， ａｎｄ Ｊ．Ｇｉｂｂｏｎｓ． Ｔｈｅ ａｃｔｉｖｅ ｂａｄｇｅ ｌｏｃａｔｉｏｎ ｓｙｓｔｅｍ． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｖｏｌ． １０， Ｎｏ． １， ｐｐ． ９１−１０２， Ｊａｎｕａｒｙ １９９２．
［１５］：Ａ． Ｓｕｇｉｕｒａ ａｎｄ Ｙ． Ｋｏｓｅｋｉ． Ｉｎｔｅｒｎｅｔ Ｓｃｒａｐｂｏｏｋ： Ａｕｔｏｍａｔｉｎｇ Ｗｅｂ Ｂｒｏｗｓｉｎｇ Ｔａｓｋｓ ｂｙ Ｄｅｍｏｎｓｔｒａｔｉｏｎ． Ｉｎ ＵＳＩＴ’９８， ｐｐ． ９−１８， Ｎｏｖｅｎｂｅｒ １９９８．
［１６］：ｈｔｔｐ：／／ｗｗｗ．ｖａｉｏ．ｓｏｎｙ．ｃｏ．ｊｐ／Ｓｔｙｌｅ／Ｇｕｉｄｅ／Ｇｉｇａｐｏｃｋｅｔ／ｉｎｄｅｘ．ｈｔｍｌ
【０２３８】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２３９】
【発明の効果】
以上詳記したように、本発明によれば、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４０】
また、本発明によれば、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４１】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４２】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続し、且つ、接続状態をコンピュータ・ディスプレイ上で視認することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４３】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続して、且つ、機器との間でコマンドやデータの交換を持続的に可能にすることができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４４】
本発明によれば、カメラを備え付けた携帯型コンピュータを用いて、カメラで見ているものとの接続を確立するという、”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる。例えば、接続の対象となり得るものに「サイバーコード」（前述）のようなＩＤコードを貼設しておこくとにより、カメラの撮像画像を基に対象物を認識して、接続を確立することができる。
【０２４５】
本発明によれば、従来の実世界指向インターフェースで扱われていた逐次的なデータ転送に対して接続の「持続」という概念を導入することができる。この結果、オフィス内あるいは家庭内などにおいて多くの機器が相互接続されたネットワーク環境下において、”ｇａｚｅ−ｌｉｎｋ”メタファを用いて、ユーザは各機器の名前（ＩＤ）やネットワーク・アドレスを気にすることなく、操作の対象を直感的に又は直接的に指定することができる。すなわち、ネットワーク上の各機器に対して名前を付ける、把握するといった煩わしい作業からユーザを解放することができる。
【０２４６】
また、「見る」という動作は、必ずしも直接オブジェクトを見る必要はなく、ビデオや写真などを通して間接的に見ることにより、遠隔地のオブジェクトに対しても実世界指向的なインターフェース操作を行うことができる。さらに、カメラの撮像画像をコンピュータ内に保存しておくことにより、過去に「見て」接続したものの中から画像を選び出して、再び接続することができる。さらに、対象物そのものではなく画像を用いているので、テレビ会議などの環境下であっても、遠隔地の端末に対してテレビ映像越しで接続することができる。
【図面の簡単な説明】
【図１】”Ｇａｚｅ−ｌｉｎｋ”メタファによるオペレーションを模式的に示した図である。
【図２】「見ている」のがさらに映像であり、間接的に「見て」接続するというメタファを図解したものであり、より具体的には、テレビ会議などの状況で、映像越しの遠隔地のディスプレイに接続し、操作するというメタファを描写した図である。
【図３】本発明に係る実世界指向インターフェース、すなわち”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる、コンピューティング・システムの構成を模式的に示した図である。
【図４】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、カメラ一体型のユーザ端末１０を示した図である。
【図５】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、カメラをユーザ端末１０にケーブル接続した様子を示した図である。
【図６】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、ネットワークや電話線を用いて遠隔地に設置されたカメラをユーザ端末１０に装備した様子を示した図である。
【図７】アプリケーション部１１が提供する画面表示の一例を示した図である。
【図８】接続部１２において行われる、ターゲット５０との接続処理手順の一例を示したフローチャートであり、より具体的には、同時にただ１つのターゲットしか接続できない場合の処理手順を示したフローチャートである。
【図９】接続部１２において行われる、ターゲット５０との接続処理手順の他の例を示したフローチャートであり、より具体的には、同時に複数のターゲットと接続することができる場合の処理手順を示したフローチャートである。
【図１０】問い合わせ応答処理手順の一例を示したフローチャートである。
【図１１】問い合わせ応答処理手順の他の例を示したフローチャートである。
【図１２】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した様子を示した図であり、より具体的には、ユーザ端末内に格納されたスライドを、ディスプレイやプロジェクタなどの１以上のターゲットに振り分ける様子を描写した図である。
【図１３】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した処理手順を示したフローチャートである。
【図１４】”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用した様子を示した図であり、より具体的には、ユーザ端末のキーボードがユーザの「見た」コンピュータのキーボードとして振る舞う様子を描写した図である。
【図１５】”Ｇａｚｅ−ｌｉｎｋ”メタファを遠隔的なコンピュータのためのキーボードに応用した処理を行う手順を示したフローチャートである。
【図１６】”Ｇａｚｅ−ｌｉｎｋ”メタファをＢｕｌｌｅｔｉｎｂｏａｒｄに応用した処理を行う手順を示したフローチャートである。
【図１７】”Ｇａｚｅ−ｌｉｎｋ”メタファを情報家電に応用した様子を示した図であり、より具体的には、電動湯沸し器の沸いたときの通知やお湯の残量の確認などをユーザ端末のディスプレイ・スクリーン上で監視する様子を描写した図である。
【図１８】”Ｇａｚｅ−ｌｉｎｋ”メタファを電動湯沸し器に応用して、Ｐｏｔｂｉｆｆを行うための処理手順を示したフローチャートである。
【図１９】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いてビデオ予約を行うための処理手順を示したフローチャートである。
【図２０】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いて遠隔メンテナンスを行うための処理手順をフローチャートの形式で示した図である。
【図２１】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明するための図であり、より具体的には、隣接するノートブック・コンピュータのディスプレイ・スクリーンの間でＧＵＩ操作が継承され、一方のディスプレイ上のデジタル・オブジェクトが実空間を越えて他方のディスプレイ上にドロップされる様子を描写した図である。
【図２２】ハイパードラッグ操作を説明するための図であり、より具体的には、コンピュータ・スクリーンの周縁に到達したマウス・カーソルがコンピュータ・スクリーンからテーブルへと移動する様子を描写した図である。
【図２３】ハイパードラッグ操作を説明するための図であり、より具体的には、コンピュータ・スクリーンからテーブル上に飛び出したデジタル・オブジェクトがさらにハイパードラッグされて壁面に移動する様子を描写した図である。
【図２４】サイバーコードの構造を模式的に示した図である。
【符号の説明】
１０…ユーザ端末
１１…アプリケーション部
１２…接続部
１３…データベース部
３０…データベース・サーバ
５０…ターゲット
７０…ネットワーク
１００…システム
【発明の属する技術分野】
本発明は、コンピュータに対してコマンド等の入力を行うためのユーザ・インターフェース環境の提案に係り、特に、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができるユーザ・インターフェース環境の提案に関する。
【０００２】
更に詳しくは、本発明は、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができるユーザ・インターフェース環境の提案に係り、特に、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができるユーザ・インターフェース環境の提案に関する。
【０００３】
【従来の技術】
昨今の技術革新に伴い、ワークステーションやパーソナル・コンピュータ（ＰＣ）と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用コンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。
【０００４】
コンピュータ技術における最近の傾向の１つは、小型化である。特に最近では、半導体技術の向上に伴なうＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップの小型化や、プロセッサの処理能力の目覚しい向上などとも相俟って、小型且つ軽量で可搬性に富むポータブル（携帯型）・コンピュータ（若しくはモバイル・コンピュータ）が広汎に普及してきている。
【０００５】
携帯型コンピュータの一例は、いわゆる「ノートブックＰＣ」であり、他の例は「ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）」と呼ばれるさらに小型でほとんど掌（パームトップ）サイズのコンピュータである。これら携帯型のコンピュータは、モバイル環境、すなわち屋外や移動先での携帯的・可搬的なシステム稼動が可能である。
【０００６】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、インタラクティブ、すなわち対話的な処理環境を提供している。最近では、ＤＯＳ（ＤｉｓｋＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）シェル画面を代表とする従来のキャラクタ・ベースのユーザ入力環境すなわち「ＣＵＩ（Ｃｈａｒａｃｔｅｒ ＵｓｅｒＩｎｔｅｒｆａｃｅ）」から、グラフィック・ベースのユーザ入力を実現した「ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」への移行が挙げられる。ＧＵＩ環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【０００７】
ＧＵＩが提供されたデスクトップ上では、ファイル等のコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現される。また、ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンに対してマウスなどを介して直接操作を印加する（例えば、クリックやドラッグ・アンド・ドロップ）ことで、直感的なコマンド入力を行うことができる。もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行わなくとも、コンピュータを充分に操作することができる。
【０００８】
また、コンピュータ技術における他の傾向は相互接続である。コンピュータ間の相互接続は、例えば、シリアル・ポートやパラレル・ポートなどのローカルなインターフェース経由で行う以外に、ネットワーク・インターフェース・カード（ＮＩＣ）経由でネットワーク接続することで実現する。ネットワークは、単一の構内に限定的に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＬＡＮ同士を専用線等で相互接続してなるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ネットワーク同士が相互接続を繰り返し世界規模の巨大ネットワークに成長したインターネットなどさまざまである。
【０００９】
コンピュータ同士を相互接続する意義は、お互いが持つ情報の共有や流通・配布の効率化、コンピュータ資源の共有、複数のコンピュータに跨った協働的な作業の実現などにある。例えば、あるデジタル・オブジェクトに対する処理を、複数のコンピュータ間での連携的若しくは協調的な動作によって、効率的に実行することもできよう。
【００１０】
特に最近では、Ｅｔｈｅｒｎｅｔを無線化した無線ＬＡＮやＢｌｕｅＴｏｏｔｈ[1]などの近接通信システムの登場により、ユーザは比較的容易にコンピュータをネットワーク接続できるようになってきた。建物内に備えつけられた種々のコンピュータやその周辺機器類（プリンタなど）のほとんどは、当然の如くネットワーク接続され、複数のユーザ間で共用される。また、各ユーザは自分の携帯型コンピュータを携行し、行く先々の場所で気軽にネットワーク接続することも可能になってきている。
【００１１】
分散コンピューティング環境においては、ネットワーク接続された各コンピュータはトランスペアレントな状態であり、アプリケーションからはローカル・ディスクとリモート・ディスクを区別せずにコンピュータ操作を行うことができる。すなわち、ユーザはプログラムやデータ等の資源オブジェクトの所在を意識する必要はなくなり、コンピュータ間でシームレスにデータ交換などのやりとりを行うことができる。
【００１２】
ユーザは、コンピュータをネットワーク接続するまではあまり意識せず（すなわち簡易に）に行うことができる。ところが、ネットワーク上でデータ転送先となるコンピュータや周辺機器（すなわちターゲット）を指定しようとすると、すぐ目の前にある相手であっても、その名前（若しくはＩＤやアドレスなど）を知る必要がある。言い換えれば、トランスペアレントな分散コンピューティング環境下であっても、ユーザ操作に関して言えば、間接的な形式でしかコンピュータ間の連携がなされておらず、直感性にやや欠ける。
【００１３】
例えば、隣り合った２以上のコンピュータ間でオブジェクトを移動させたい場合、現状のＧＵＩ環境下では、ネットワーク接続された機器の一覧をエクスプローラ画面上で表示し、該当するコンピュータを模したアイコンを探し出してから「ドラッグ・アンド・ドロップ」操作を行う必要がある。
【００１４】
このようなユーザ入力作業上の問題を解決するための１つの手法として、実世界指向のユーザ・インターフェースが挙げられる。これは、本来はコンピュータのディスプレイ・スクリーン上に体現された「デジタル空間」に限定されていたユーザ操作範囲を、実世界の空間にまで連続的に拡張する技術のことを意味する。実世界指向インターフェースによれば、コンピュータ・スクリーンだけでなく、コンピュータが設置されたテーブル表面や、部屋の壁面なども拡張されたディスプレイとして機能する。情報空間は、スタンドアロン・コンピュータのデジタル空間という垣根を越えて、部屋全体に拡張され、デジタル・オブジェクトと実世界上の物理オブジェクトとを統合的に取り扱うことができる。
【００１５】
例えば、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ[2]は、ＧＵＩ環境下で定着しているユーザ操作「ドラッグ・アンド・ドロップ」を拡張したものであり、複数のコンピュータ間におけるデータ等のオブジェクトの移動を実世界での直感的な動作にマッピングした、先進的なインタラクション・テクニックである。
【００１６】
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、２以上のコンピュータの各々が持つネイティブなデスクトップ間で連携を図り、オブジェクトについてのシームレスなドラッグ・アンド・ドロップ操作を提供することができる。例えば、トラックボールやスティックなどをユーザ入力装置とするコンピュータのデスクトップ上において、あるオブジェクトのドラッグ操作した結果、ポインタが画面の端に到達し、さらに画面を越えてしまった場合には、隣接する他のコンピュータのデスクトップ上でドラッグ操作が継承され、該オブジェクトをドラッグしたままのポインタが出現する。
【００１７】
一方のコンピュータ・デスクトップ上では、ポインタが画面の端に到達した時点で、オブジェクトをドラッグしたままポインタは消滅するが、この処理をオブジェクトの”Ｐｉｃｋ”と呼ぶ。また、他方のコンピュータ・デスクトップ上において、該オブジェクトのドラッグ状態を継承したポインタが出現する処理のことを、オブジェクトの”Ｄｒｏｐ”と呼ぶ。両コンピュータ間では、バックグラウンドにおいてオブジェクトのエンティティ（例えばデータ・ファイルなど）がネットワーク転送されるので、ドラッグ操作の継承はオブジェクトの実体の移動を伴なう。図２１には、隣接するノートブック・コンピュータ間でデジタル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。
【００１８】
なお、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作に関しては、本出願人に既に譲渡されている特開平１１−５３２３６号公報にも開示されている。より詳しくは、同公報の［００５２］〜［００５９］、及び、図６〜図９を参照されたい。
【００１９】
また、ＭｅｄｉａＢｌｏｃｋ[3]は、識別子を付けた物体（ブロック）に画像などのデータを割り当てて、ユーザが持ち運ぶことによりデータを移動したり、複数のブロックを物理的に並べ替えることによって、データの並べ方を変えたりすることが可能である。備え付けの計算機の専用スロットやレールにブロックを置き、ブロックの内容をブロックと計算機との間のデータの移動や、並べ替えの操作を行うことができる。
【００２０】
また、「ハイパードラッグ」（Ｈｙｐｅｒｄｒａｇｇｉｎｇ）[4]は、机や壁をディスプレイとする備え付けの共有のコンピュータと、各ユーザ個人が所有する携帯型コンピュータとが連携するユーザ・インターフェース環境を提供するものである。例えば、情報環境にカメラ・ベースのオブジェクト認識システムを導入することで、ハイパードラッグ操作がサポートされる。コンピュータ・ディスプレイ画面を、投影機によってテーブルや壁面などの表面に投影する。さらに、投影画像すなわちコンピュータの論理空間上のオブジェクトと、実世界（すなわちテーブル上などに実在する）オブジェクトの双方を、カメラの撮像画像を基に認識し、且つ、これらオブジェクトの動きを追跡することで、テーブルや壁面など実空間に拡張されたディスプレイ上でインタラクティブなユーザ操作が可能となる。
【００２１】
ハイパードラッグによれば、コンピュータ上のデジタル空間がコンピュータ外すなわち実世界上の空間に拡張される。すなわち、あるユーザのコンピュータ上のドラッグ操作を、そのまま、そのコンピュータが設置されている平面（例えばテーブル表面）で継承し（図２２を参照のこと）、さらには、ドラッグ可能な平面若しくは空間をその作業場の壁へと拡張させることができる（図２３を参照のこと）。言い換えれば、コンピュータが設置された作業場空間を、あたかもコンピュータ上のデスクトップであるかのように、オブジェクトの操作を行うことができる。
【００２２】
なお、ハイパードラッグに関しては、本出願人に既に譲渡されている特願平１１−３１６４６１号明細書にも開示されている。
【００２３】
上述した各先行技術は、コンピュータのデジタル空間を実世界上の空間に拡張して、コンピュータ間でのオブジェクト操作などの連携作業を容易且つ直感的に行うことを可能にする。
【００２４】
しかしながら、これらの先行技術は総じて、１回若しくは一塊のデータ転送のみを目的としたもので、ユーザ操作によってのみ接続が確立するに過ぎず、且つ、持続的な接続は想定されていない。すなわち、データ転送を行う度毎に、ユーザはデジタル空間若しくは実空間上でオブジェクト操作を行わなければならないし、オブジェクト操作すなわちデータ転送が完了すると、コンピュータと機器間の接続関係は逐次途切れてしまう。
【００２５】
あるユーザは、外部機器に対してデータやコマンドを送信した後も、該機器に対して関心を持ち続けることもある。例えば、コマンドを送信した後の機器の動作状態をモニタしたり、コマンドや操作を追加したりしたいという場合である。ところが、機器との接続関係は逐次的に接続が途切れてしまうので、機器との間で継続的なメッセージ交換を行うにはユーザは絶えずコンピュータ操作しなければならない。すなわち、接続状態のまま機器が所定状態になるまで待機する、ということができない。
【００２６】
例えば、先述のＰｉｃｋ−ａｎｄ−Ｄｒｏｐのようなテクニックを用いて接続する対象を指定することは勿論可能であるが、「繋がっている」という状態、及び、何に繋がっているかを提示する方法を備えていないので、つなぐという動作の瞬間以外は接続対象をその名前でしか参照することができない。持続的な接続をＰｉｃｋ−ａｎｄ−Ｄｒｏｐなどと同じように物理的な操作によって確立する場合には、接続状態が何らかの形でユーザの目に見えている必要がある。
【００２７】
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、表示オブジェクトを一方のスクリーンから拾って他方のスクリーンに投下する際に、デジタイザのスタイラスを使用する。Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、物理オブジェクトを拾い上げるという動作に類似しているという点では物理的なメタファは直接的である。しかしながら、スタイラスが手に届かない場所に操作を直接及ぼすことはできず、言い換えれば、遠方にある情報機器に対してリモート・コントロールを行うことができない。
【００２８】
また、ハイパードラッグは、情報空間をコンピュータ内のデジタル空間から実世界上の作業空間にまで拡張し、情報操作の空間的連続性が実現される結果として、デジタル・オブジェクトと物理オブジェクトとの連携が可能となる。すなわち、物理オブジェクト上にデジタル・オブジェクトをドラッグ・アンド・ドロップすることで、新たに物理オブジェクト及びデジタル・オブジェクト間でリンクを形成したり、物理オブジェクトに添付してデジタル・オブジェクトを実空間上で移動させたり、物理オブジェクトからデジタル・オブジェクトを引き出すことができる。
【００２９】
しかしながら、ハイパードラッグは、デジタル・オブジェクトを操作するための情報環境が実世界上で空間的に連続しているというメタファを与えるものではあるが、物理オブジェクトをコンピュータ・ディスプレイ上でデジタル操作若しくはコマンド操作するものではない。例えば、ビデオ再生装置のような物理オブジェクトは、デジタル・オブジェクトの添付先や転送先ではあっても、ビデオ再生装置自体の記録や再生などオペレーションはコンピュータ上のコマンド操作の対象にはならない。
【００３０】
実世界指向インターフェースの分野では、上記以外にも、物や場所に物理的（すなわち可視の）識別子を付けて、コンピュータ資源を用いてこれを判別することによって、情報を表示したり、データの転送を行ったりするシステムに関する研究が数多存在する。例えば、Ｃｈａｍｅｌｅｏｎ[5]、ＮａｖｉＣａｍ[6]、ＣｙｂｅｒＧｕｉｄｅ[7]、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓ[8]や、文献［９］で提案されているシステムは、物や場所から一塊のデータを取り出すというようなメタファを持つインターフェースとみなすこともできる。
【００３１】
Ｃｈａｍｅｌｅｏｎは、磁気センサを用い、手に持ったディスプレイの位置や姿勢に応じて情報を表示するシステムであり、ディスプレイを動かすことによりコマンドの入力も行える。
【００３２】
また、ＮａｖｉＣａｍは、画像認識により識別可能なＩＤを用いて、ＩＤに応じた情報を出すことができる。ジャイロや音声認識とＮａｖｉＣａｍを組み合わせることも可能である。
【００３３】
また、ＣｙｂｅｒＧｕｉｄｅは、赤外線を用いたＩＤにより、ユーザが存在する位置に応じた案内をＰＤＡ上に表示することができる。但し、表示データは予めＰＤＡが持っているものとする。
【００３４】
また、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓは、ＩＤタグや赤外線ＩＤにより、物や場所からＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上の資源オブジェクトへのリンクを構築するシステムである。該システムによれば、データの転送のような動作や、ＩＤを認識した順番によりリンク先を変えるなどの動作もできる。
【００３５】
また、文献［９］は、物にＩＤタグを付けることで物からＷＷＷなどの電子情報へのリンクを張ることができる、ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓと類似のシステムについて提案している。
【００３６】
また、”Ｉｎｆｏｓｐｕｉｔ”[10]や「拡張デスクトップ環境」[11]、文献［１２］などで提案されるシステムでは、物からデータを取り出すことに加えて、物にデータを転送したり、割り当てたりすることができ、さらに双方向のやり取りが可能になっている。
【００３７】
Ｉｎｆｏｓｐｕｉｔは、二次元コードを認識するリモコンのようなデバイスを介して、実世界上の物と計算機との間でのデータのやり取りを行うことができる。また、データを転送先によって動作を切り換えるなどの機能も備えている。
【００３８】
また、拡張デスクトップ環境は、カメラ画像を認識することにより、空間内に仮想的にアイコンを配置することができるシステムである。また、画像中のプリンタを予め登録しておいて、そこにアイコンをドロップして印刷することもできる。
【００３９】
また、文献［１２］は、二次元マトリクスや赤外線のＩＤにより場所や物を認識し、場所や物に写真や音声のメモを見たり張り付けたりすることができるシステムについて提案している。張り付けたメモを、例えばＷＷＷ経由で閲覧することもできる。
【００４０】
しかしながら、上述した実世界指向インターフェースのいずれも、機器間の持続的な接続を想定するものではない。
【００４１】
他方、最近ではコンピュータ間を結ぶネットワーク環境が充実し、コンピュータをネットワーク接続するためにユーザは各段の意識や労力を追うことがなくなってきている（前述）。さらに、日常生活で使用する多くの機器も情報化され、ネットワーク環境に受容されるようになってきている。例えば、ビデオ・デッキやテレビ映像機、冷蔵庫、電動湯沸し器（ポット）なども情報家電化し、ネットワーク上のコンピュータがリモート・コントロールすることも可能であろう。
【００４２】
しかしながら、家電機器をネットワーク上で指定しようとすると、すぐ目の前にある相手であっても、その名前（若しくはＩＤやアドレスなど）や操作上のコマンド入力方法などを知る必要がある。すなわち、ネットワーク経由でのコマンド操作は間接的なものとなり、直感性に欠ける。
【００４３】
家電製品は、総じて、コントロール・パネル／ボタンなどの優れたユーザ・インターフェースを備えており、複雑なコンピュータの操作を知らない一般消費者であっても、何らの技術の習得なしに容易にコマンド操作することができる。ところが、ネットワークを介したリモート・コントロールにおいては、このような優れた操作性は全く活かされない。
【００４４】
【発明が解決しようとする課題】
本発明の目的は、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４５】
本発明の更なる目的は、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができる、優れたユーザ・インターフェース環境を提供することにある。
【００４６】
本発明の更なる目的は、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４７】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４８】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続し、且つ、接続状態をコンピュータ・ディスプレイ上で視認することができる、優れたユーザ・インターフェース環境を提供することにある。
【００４９】
本発明の更なる目的は、情報空間内に配設された各機器とコンピュータとを持続的に接続して、且つ、機器との間でコマンドやデータの交換を持続的に可能にすることができる、優れたユーザ・インターフェース環境を提供することにある。
【００５０】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、ネットワーク経由で１以上のターゲットと接続可能な携帯型情報処理端末であって、
前記ターゲットが有する可視的な識別情報を撮像する撮像手段と、
前記撮像手段が撮像した識別情報を基に、ターゲットを識別する識別手段と、
前記識別手段により識別されたターゲットとの接続を確立する接続手段と、
を具備することを特徴とする携帯型情報処理端末である。
【００５１】
本発明の第１の側面に係る携帯型情報処理端末は、さらに、前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００５２】
また、本発明の第２の側面は、ユーザの使用に供されるユーザ端末と、
前記ユーザ端末とはデータ転送可能な形式で接続され、且つ、可視的な識別情報を含んだ１以上のターゲットと、
前記可視的な識別情報を撮像する撮像手段と、
前記撮像手段が撮像した識別情報を基に、ターゲットを識別する識別手段と、前記識別手段により識別されたターゲットと前記ユーザ端末との接続を確立する接続手段と、
を具備することを特徴とする情報入出力システムである。
【００５３】
本発明の第２の側面に係る情報入出力システムは、さらに、前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００５４】
また、本発明の第２の側面に係る情報入出力システムにおいて、前記撮像手段は、前記ユーザ端末に一体的に装備されていても、前記ユーザ端末にケーブル接続されていても、あるいは、前記ユーザ端末にネットワーク接続されていてもよい。
【００５５】
また、前記ユーザ端末と前記ターゲットとはネットワーク接続され、
前記ターゲットはネットワーク・アドレスを有し、
前記情報入出力システムは各ターゲットに関する識別情報とネットワーク・アドレスとの対応関係を管理するデータベース手段をさらに備えていてもよい。このような場合、前記接続手段は、識別情報に該当するネットワーク・アドレスを前記データベース手段に問い合わせることでターゲットとの接続を実現することができる。
【００５６】
また、前記接続手段は、撮像手段がターゲット若しくはその識別情報を撮像し続けている期間中は、ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。
【００５７】
また、前記ユーザ端末はディスプレイ・スクリーンを含み、
前記撮像手段の撮像画像を前記ディスプレイ・スクリーン上に表示するようにしてもよい。このような場合、前記接続手段は、前記識別手段により識別されたターゲットがディスプレイ・スクリーン上に表示されている期間中は該ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。あるいは、前記接続手段が前記ユーザ端末とターゲットとの接続関係を持続している期間中は、該ターゲットを撮像した画像を前記ディスプレイ・スクリーン上に維持するようにしてもよい。
【００５８】
また、前記ユーザ端末は、前記識別手段によって識別されたターゲットの撮像画像を蓄積する格納手段を備えていてもよい。このような場合、前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続手段は前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。あるいは、前記格納手段から撮像画像を取り出された前記ディスプレイ・スクリーン上に一覧表示し、該一覧表示から１つの撮像画像が選択されたことに応答して、前記接続手段は前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００５９】
また、情報入出力システムは、さらに、接続関係にあるユーザ端末とターゲット間で所定のデータ及び／又はコマンドの転送を実現するアプリケーション手段を備えてもよい。
【００６０】
前記アプリケーション手段は、前記接続手段がターゲットとしてのプロジェクタとの接続関係を持続している期間中において、ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することができる。
【００６１】
また、前記ユーザ端末がキーボード又はその他のユーザ入力手段を備えているような場合、前記アプリケーション手段は、前記接続手段がターゲットとしてのコンピュータ・システムとの接続関係を持続している期間中において、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することができる。
【００６２】
また、前記アプリケーション手段は、前記接続手段が定期的若しくは不定期的に掲示内容が更新される掲示データを含むターゲットとの接続関係を持続している期間中において、該ターゲットから掲示データを取得してディスプレイ・スクリーン上に表示することができる。
【００６３】
また、前記アプリケーション手段は、前記接続手段がターゲットとしてアラーム機能を有する機器との接続関係を持続している期間中において、該ターゲットからのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することができる。
【００６４】
また、前記アプリケーション手段は、前記接続手段がターゲットとしてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中において、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲットに送信することができる。
【００６５】
また、前記アプリケーション手段は、前記接続手段が遠隔的な制御が可能なターゲットとの接続関係を持続している期間中において、該ターゲットを制御するための操作画面をディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲットに送信することができる。
【００６６】
また、本発明の第３の側面は、ユーザの使用に供されるユーザ端末と、前記ユーザ端末とはデータ転送可能な形式で接続され且つ可視的な識別情報を含んだ１以上のターゲットと、前記可視的な識別情報を撮像する撮像手段とで構成される情報空間において、ユーザの入出力を処理するための情報入出力方法であって、（ａ）前記撮像手段が撮像した識別情報を基に、ターゲットを識別するステップと、
（ｂ）前記識別手段により識別されたターゲットと前記ユーザ端末との接続を確立するステップと、
を具備することを特徴とする情報入出力方法である。
【００６７】
情報空間において、前記ユーザ端末と前記ターゲットとをネットワーク接続すし、各ターゲットに対して固有のネットワーク・アドレスを割り振ることができる。前記情報空間には各ターゲットに関する識別情報とネットワーク・アドレスとの対応関係を管理するデータベース手段がさらに装備されていてもよい。このような場合、前記接続を確立するステップ（ｂ）では、識別情報に該当するネットワーク・アドレスを前記データベース手段に問い合わせることでターゲットとの接続を実現することができる。
【００６８】
また、情報空間はさらに前記識別情報を含むターゲットの画像を確認する画像確認手段を備えていてもよい。
【００６９】
また、前記接続を確立するステップ（ｂ）では、撮像手段がターゲット若しくはその識別情報を撮像し続けている期間中は、ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。
【００７０】
また、前記接続を確立するステップ（ｂ）では、前記識別手段により識別されたターゲットがディスプレイ・スクリーン上に表示されている期間中は該ターゲットと前記ユーザ端末との接続関係を持続するようにしてもよい。あるいは、前記ユーザ端末とターゲットとの接続関係を持続している期間中は、該ターゲットを撮像した画像をディスプレイ・スクリーン上に維持するようにしてもよい。
【００７１】
また、前記ユーザ端末は、ディスプレイ・スクリーンと、前記識別手段によって識別されたターゲットの撮像画像を蓄積する格納手段とを備えていてもよい。このような場合、前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続を確立するステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００７２】
あるいは、さらに、（ｃ）前記格納手段から撮像画像を取り出された前記ディスプレイ・スクリーン上に一覧表示するステップを備え、
該一覧表示から１つの撮像画像が選択されたことに応答して前記接続を確立するステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲットとの接続を確立するようにしてもよい。
【００７３】
また、情報入出力方法は、さらに、（ｄ）接続関係にあるユーザ端末とターゲット間で所定のデータ及び／又はコマンドの転送を実現するアプリケーション・ステップを備えることができる。
【００７４】
アプリケーション・ステップ（ｄ）は、ターゲットとしてのプロジェクタとの接続関係を持続している期間中、前記ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することができる。
【００７５】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてのコンピュータ・システムとの接続関係を持続している期間中、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することができる。
【００７６】
また、アプリケーション・ステップ（ｄ）は、定期的若しくは不定期的に掲示内容が更新される掲示データを含むターゲットとの接続関係を持続している期間中、該ターゲットから掲示データを取得して前記ディスプレイ・スクリーン上に表示することができる。
【００７７】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてアラーム機能を有する機器との接続関係を持続している期間中、該ターゲットからのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することができる。
【００７８】
また、アプリケーション・ステップ（ｄ）は、ターゲットとしてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲットに送信することができる。
【００７９】
また、アプリケーション・ステップ（ｄ）は、遠隔的な制御が可能なターゲットとの接続関係を持続している期間中、該ターゲットを制御するための操作画面を前記ディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲットに送信することができる。
【００８０】
【作用】
本発明は、実空間すなわち所定の作業空間上においてコンピュータとその他の情報機器とを持続的に接続することができる実世界指向のユーザ・インターフェースを提供するものである。ここで言う持続的な接続とは、以下に示す特徴を有する。すなわち、
【００８１】
（１）双方向のデータ転送が可能である。
（２）操作の瞬間（例えば接続が確立した瞬間）に必ずしもデータが転送されるとは限らない（データ転送する必要がない）。
（３）転送したデータを転送元から制御するような、インタラクティブな操作が可能である。
【００８２】
このような持続的な接続が有益である例としては、ユーザが作業空間に持ち込んだノートブックＰＣを、該作業空間に備え付けのコンピュータのキーボード替わりにすることが挙げられる。備え付けコンピュータのキー配置が自分のＰＣとは相違する場合などには便利である。また、他の例として、プリンタなど、限られたコンソール・パネルしか持たない機器をメンテナンスする際のコンソールとして利用することが挙げられる。さらには、複数のプロジェクタを用いるプレゼンテーションにおいて、手許のコンピュータから各プロジェクタにスライド・データを転送したり、スライドの切替えなど表示制御を行うことに応用することができる。
【００８３】
従来の、情報提示やデータ転送を行うためのインターフェースは、（ａ）赤外線や電波、磁気を受信するセンサにより、接触又は接近したオブジェクトを識別する方式を採用するものと、（ｂ）カメラによって撮像された可視的な識別情報によりオブジェクトを識別する方式を採用するものとに大別されよう。
【００８４】
前者（ａ）の場合、接続が確立した瞬間以後にもデータの転送が起こり得ることを考慮すると、触れ続ける以外の状況下で接続を維持することは難しい。
【００８５】
これに対し、後者（ｂ）であれば、接続を確立したときの撮像画像を静止画などで残しておくことにより、接続を持続させることができる。また、過去に接続したオブジェクトを選択する場合にも、接続確立時の画像を取り出すことによって、新たなオブジェクトに接続する場合と同様に、見た目すなわち実物の映像によってオブジェクトを選択することができる。
【００８６】
本発明は、ノートブックＰＣなどのコンピュータがカメラを通して見ているオブジェクト（若しくは過去に見た）オブジェクトとの接続を確立する実世界指向インターフェースを提供する。このインターフェースは、「見たものと接続する」というメタファを有するが、本発明者等はこれを”ｇａｚｅ−ｌｉｎｋ”メタファと読んでいる。
【００８７】
図１には、”ｇａｚｅ−ｌｉｎｋ”メタファによるオペレーションを模式的に図解している。同図に示すように、携帯型コンピュータに標準装備されたカメラによって、例えばビデオ録画再生装置の前面のコントロール・パネルを見ると、撮像されたコントロール・パネルがコンピュータ・ディスプレイ上に表示することによって、コンピュータとビデオ録画再生装置の間で接続が確立され、該接続状態はコントロール・パネルが表示されている期間中は持続される。
【００８８】
このような接続状態では、双方向のデータ転送やインタラクティブな操作が可能である。ビデオ録画再生装置はコンピュータによって識別されており、撮像されたコントロール・パネルに相当する機能をディスプレイ上で呼び出すことができる。より具体的には、ディスプレイ・スクリーン上に表示されたコントロール・パネル上の記録、再生、停止、一時停止、早送り、巻戻しなどの各操作ボタンを用いて、実際のコントロール・パネル上におけると同様のユーザ操作を行うことができる。ユーザは、ディスプレイ上の表示内容だけを頼って、機器をリモート・コントロールすることもできる訳である。
【００８９】
”ｇａｚｅ−ｌｉｎｋ”メタファは、ＮａｖｉＣａｍ（前述）で用いられる「見たものの情報を引き出す」というメタファの拡張として位置付けることもできる。「見たものの情報を引き出す」メタファは、文献［１３］では「虫眼鏡メタファ」と呼ばれている。「虫眼鏡メタファ」では、「見ている」対象から固定された情報を引き出すだけであった。これに対して、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファでは、双方向の自由なデータ転送が可能である。
【００９０】
双方向であることと、転送データが固定的でないことを除けば、“ｇａｚｅ−ｌｉｎｋ”メタファを細かな単発のデータの転送が何度も繰り返されると見做すこともできる。これに対し、文献［４］では、固定されていない情報を双方向で転送することができるシステムについて提案している（前述）。しかしながら、該文献に記載されているシステムでは、あくまで一塊のデータを単発的に転送するものであり、データの交換を細かく何度も行うものではない。
【００９１】
そもそも人間が「見る」という動作は、接続の概念と親和性が高い。例えば、多人数の間で会話を行う場合、ある瞬間に話をしている者同士がお互いを「見て」いるのはごく自然な振舞いである。遠隔地との通信の場合であっても、音声だけの通信よりも、相手が「見えて」いる方が臨場感を増す。勿論、単に接続先を確認するだけであっても、「見えて」いることがより好ましい。
【００９２】
「見えている」という概念は、実世界に存在する物理オブジェクトを直接に見る以外にも拡張することができる。例えば、前述したように、「見た」オブジェクトの静止画を記録しておき（例えば、コンピュータのローカル・ディスクに保存しておき）、後に、オブジェクトが「見える」場所にいなくなったとしても、その静止画を選択する（すなわち、ローカル・ディスクから取り出す）ことによって、現実に「見ている」ときと同じようにオブジェクトとの接続を確立することが可能である。
【００９３】
また、「見ている」ものがさらにビデオ映像であり、間接的に「見て」接続するというメタファも可能である。例えば、図２に示すように、テレビ会議などの状況で、映像越しの遠隔地のディスプレイに接続し、操作するというようなことも同じメタファで実現することができる。さらには、リアルタイムの姿ではない、写真越しの接続を行うことも可能である。
【００９４】
一方、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファを「接続する」という概念を活かした応用例としては、ある電話機を「見て」おく（すなわち電話の撮像画像の表示をコンピュータ・ディスプレイ上に残しておく）ことにより、その電話機に掛かってきた電話を自分の居場所すなわち自席のコンピュータまで転送することができる。
【００９５】
例えば、”ＡｃｔｉｖｅＢａｄｇｅ”[14]を用いて、個人に掛かってきた電話をその人の居場所へ転送するシステムも開発させている。これに対し、本発明に係る”ｇａｚｅ−ｌｉｎｋ”メタファを用いれば、一時的に転送先を変更するなどの指定を簡単に行うことができる。また、ファクシミリ装置を「見て」おくことにより、ファックス受信を知らせたり、電動湯沸し器を「見て」おくことにより、お湯が沸いた、あるいはお湯がなくなったなどのイベントを通知させることも可能である（但し、電動湯沸し器をネットワーク経由で監視可能であることを前提とする。詳しくは、後述の”Ｐｏｔｂｉｆｆ”を参照されたい）。
【００９６】
接続状態が持続されていれば、インタラクションも可能である。したがって、「見て」いるオブジェクトを制御するという一種の万能リモコンを実現することも可能である。ビデオ画像上でＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の直接的な操作手法を用いて、「見て」いる機器を制御する、というアプリケーションも考えられる。
【００９７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００９８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００９９】
図３には、本発明に係る実世界指向インターフェース、すなわち”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる、コンピュータライズされたシステム１００の構成を模式的に示している。同図に示すように、”ｇａｚｅ−ｌｉｎｋ”メタファのためのシステム１００は、１以上のユーザ端末１０と、ユーザ端末の接続対象となる１以上の機器すなわちターゲット５０で構成される。図３には、説明の便宜上、ユーザ端末１０及びターゲット５０を各１台ずつしか描いていないが、実際には、ネットワーク７０が敷設された単一の作業空間上に多数のユーザ端末及びターゲットが存在することもある点を理解されたい。
【０１００】
システム１００上で稼動する実世界指向インターフェースは、ユーザ端末とターゲット間において、「見る」ことによって接続するというメタファを与える。該メタファの実現と並行して（若しくはそのバックグラウンドで）データやコマンドの交換を行うために、ユーザ端末１０とターゲット５０の間は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク７０経由で相互接続されている。但し、ユーザ端末１０とターゲット５０は、相互接続が可能であれば充分であり、同じ室内など至近距離に設置されている必要はない。例えば、ネットワーク接続された他の部屋、他のフロア、他の建物など、直接「見る」ことができないリモート環境にそれぞれ設置されていてもよい。
【０１０１】
なお、本発明を実現する上で、ネットワーク・プロトコルは特に限定されない。例えば、ＬＡＮはＥｔｈｅｒｎｅｔ（有線及び無線を含む）やＢｌｕｅＴｏｏｔｈ[1]であってもよい。
【０１０２】
ユーザ端末１０は、ターゲット５０を「見る」ことにより接続するという実世界指向インターフェースを提供するコンピュータ・システムである。本発明を実現する上で、コンピュータのシステム・アーキテクチャは特に限定されない。ユーザ端末１０は、例えば、米ＩＢＭ社のＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）互換機又はその後継機であり、ＯＡＤＧ（Ｏｐｅｎ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｄｅｖｅｌｏｐｅｒｓ Ｇｒｏｕｐ）仕様に準拠する。但し、ターゲット５０との相互接続を実現するために、ネットワーク・インターフェース・カード（ＮＩＣ）などを装備する必要がある。
【０１０３】
本実施例では、オブジェクトを「見る」とは、実世界上の物理オブジェクトをカメラで撮像する（さらには、撮像したオブジェクトを認識・識別する）ことに相当し、また、「見る」ことによって接続することは、オブジェクトの撮像画像をコンピュータ・ディスプレイ上に表示することによって接続状態を表すことに相当する。
【０１０４】
ユーザ端末１０は、「見た」すなわち撮像したターゲット５０と接続を確立する前提として、ターゲット５０を認識する必要がある。このため、本実施例では、全てのターゲット５０は、視覚的に識別可能なＩＤコードのようなビジュアル・マーカーをその表面に含んでいるものとする。ＩＤコードの一例は、サイバーコード/*/のような２次元マトリックス状のバーコードである。ターゲット５０は、ネットワーク接続可能な情報機器や情報家電であれば足り、特に限定されない。例えば、ビデオ録画再生装置や電気湯沸し器、プロジェクタなどでよい。
【０１０５】
また、ユーザ端末１０は、オブジェクトを「見る」ためには、撮像手段としてのカメラを装備しなければならない。但し、カメラの装備形態は、内蔵方式（図４を参照のこと）、若しくは、外付け方式（図５を参照のこと）のいずれであっても構わない。前者のユーザ端末１０の一例は、ソニー（株）製のカメラ一体型のノートブック・コンピュータ”Ｓｏｎｙ ＶＡＩＯ−Ｃ１Ｒ”である。また、後者の場合、シリアル（ＲＳ−２３２Ｃ）・ポートやＩＥＥＥ１３９４（ｉ−Ｌｉｎｋ）ポートなどを用いて、外付けカメラをユーザ端末１０にケーブル接続することができる。あるいはカメラを無線で接続してもよい。
【０１０６】
さらには、ユーザ端末１０は、Ｅｔｈｅｒｎｅｔ（有線及び無線を含む）やＢｌｕｅＴｏｏｔｈ[1]のようなネットワーク、電話線などを介して遠隔地に設置されたカメラを利用してもよい（図６を参照のこと）。あるいは、カメラを装備せず、ユーザ端末１０のローカル・ディスクに予め格納されたターゲットの静止画を取り出してディスプレイ上に表示することで、「見て」いるすなわち接続状態を表してもよい。
【０１０７】
図３に示すように、ユーザ端末１０は、アプリケーション部１１と、接続部１２と、データベース部１３とで構成される。
【０１０８】
アプリケーション部１１は、以下の各モジュールで構成される。
【０１０９】
（１）ターゲット５０を撮像した画像中にあるＩＤコードを基に、ターゲットのＩＤを認識・識別するモジュール。
（２）認識・識別されたターゲット５０を「見た」ときのスナップショットをディスプレイ・スクリーン上で保持して、これをポインティング・デバイスでクリックすることによって選択を行うモジュール。
（３）選択されたターゲット、若しくは、「見て」いるターゲットとのデータ交換を行うモジュール。
【０１１０】
データベース部１３は、ターゲット５０のＩＤとそのネットワーク・アドレスとの変換を行なうモジュールである。アプリケーション部１１は、ターゲット５０の撮像画像中のＩＤコードを基にそのＩＤを識別すると、データベース部１３に対してＩＤを問い合わせる。これに対し、データベース部１３からはＩＤに該当するネットワーク・アドレスが戻される。さらに、アプリケーション部１１は、接続部１２に対してネットワーク・アドレスを指定して、所望のターゲット５０との接続を確立することができる。
【０１１１】
ターゲットのＩＤとネットワーク・アドレスの対応関係を記述したデータベース全体を単一のユーザ端末１０上で管理してもよい。あるいは、他のユーザ端末１０との間でデータベースを共有しなければならない場合や、ネットワーク７０上に多数のターゲットが存在してデータベースのサイズが膨大である場合などには、ネットワーク７０上の専用のデータベース・サーバ３０にデータベース管理の一部又は全部を委譲してもよい。このような場合、ユーザ端末５０は、データベース・サーバ３０に対してターゲット５０のＩＤを問い合わせ、これに対して、データベース・サーバ３０からはターゲット５０のネットワーク・アドレスが戻される。
【０１１２】
ユーザ端末１０、ターゲット５０、データベース・サーバ３０など、ネットワーク７０上の各機器間では、例えばＴＣＰ／ＩＰ（ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコルに従ってメッセージ交換を行うことができる。画像などのサイズが比較的大きなデータを転送しなければならない場合には、ファイル共有の機能を利用してもよい。また、アプリケーションやサーバなどの機能モジュールをＪａｖａプログラミング言語（Ｊａｖａは、米サン・マイクロシステムズ社が開発した、オブジェクト指向プログラミング言語である）で記述することができる。
【０１１３】
図７には、アプリケーション部１１が提供する画面表示の一例を示している。
【０１１４】
この画面中央の領域はアプリケーション本体が用いる領域である。
【０１１５】
また、画面の左上方の表示ブロックは、現在のカメラが撮像している映像である。また、同左下方の表示ブロックは、現在の接続先の表示である。現在の接続先は、現在「見て」いる、すなわちカメラが現在撮像しているターゲット機器、あるいは、カメラ以外の手段によって選択されたターゲット機器である。同図に示す例では、現在カメラが捕捉しているディスプレイ・モニタが接続先として表示されている。接続先のターゲットが名前を持つ場合には、ウィンドウ・フレームの下端縁（例えばステータス・バー）に名前を表示するようにしてもよい。
【０１１６】
また、画面の右端には接続先リストが表示されている。接続先リストには、今までに「見た」すなわち接続されたことのある各ターゲット機器に関するカメラ映像（静止画）をボタン化して、時系列に従って並べられている。接続先リスト中の所望のボタンを選択（クリック）することによって、該当するターゲット機器との接続手続を呼び出すことができる。
【０１１７】
図８には、接続部１２において行われる、ターゲット５０との接続処理手順の一例を、フローチャートの形式で示している。同図に示す手順は、同時にただ１つのターゲットしか接続できない場合の例である。以下、このフローチャートの各ステップについて説明する。
【０１１８】
初期状態では、接続対象がない状態で待機している（ステップＳ１１）。
【０１１９】
カメラがターゲットを撮像すると、アプリケーション部１１は、カメラ画像を取得して（ステップＳ１２）、所定の認識・識別処理を実行して、そのカメラ画像内にサイバーコードのようなＩＤコードが存在するか否かを判断する（ステップＳ１３）。
【０１２０】
カメラ画像内にＩＤコードが存在する場合には、アプリケーション部１１は、さらに、識別されたＩＤコードが現在接続中のターゲットと同じＩＤコードか否かを判別する（ステップＳ１４）。ＩＤコードが一致する場合には、接続対象を切り替える必要がないので、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。
【０１２１】
ステップＳ１４において、新たに認識されたＩＤコードが現在の接続対象とは異なると判断された場合には、さらに現在接続中のターゲットが存在するか否かを判断する（ステップＳ１５）。接続中のターゲットが存在する場合には、その接続状態を一旦解除してから（ステップＳ１６）、次ステップＳ１７に進む。
【０１２２】
ステップＳ１７では、カメラ画像内にあるのは過去に認識したことのあるＩＤコードか否かを判別する。過去に認識したことのあるＩＤコードであれば、これとペアになっている画像を、ローカル・ディスクなどから呼び出してディスプレイ上に表示する（ステップＳ１８）。また、過去に認識したことのないＩＤコードであれば、ＩＤコードと現在のカメラ画像とをペアにして、過去に見たものすなわち「接続先リスト」の中に追加する（ステップＳ１９）。そして、ステップＳ２０では、ＩＤコードとペアとなった画像をディスプレイ上に表示する。
【０１２３】
次いで、ステップＳ２１では、データベース・サーバ３０に問い合わせて、ＩＤコードに対応するターゲットのネットワーク・アドレスを取得する。そして、ステップＳ２２では、取得されたネットワーク・アドレスを用いて、該当するターゲットとの間で接続状態を形成する。
【０１２４】
”Ｇａｚｅ−ｌｉｎｋ”メタファを導入した場合、ターゲットと接続するためには、ユーザは、ターゲットをカメラで撮像するだけでよいという点を理解されたい。ユーザ端末１０内では、カメラの撮像画像を基にして、ターゲットに添付されたＩＤコードを認識し、ＩＤコードに対応するネットワーク・アドレスが自動的に読み出されるからである。
【０１２５】
上記のステップＳ１３において、カメラ画像内にＩＤコードが存在しないと判断された場合には、ステップＳ２５に進み、過去に見たリストすなわち「接続先リスト」の中からユーザが画像を選んだか否かを判断する。
【０１２６】
ユーザが接続先リストから画像を選んだ場合には、ステップＳ２６に進んで、現在ユーザ端末に接続されているターゲットがあるか否かを判断する。接続中のターゲットがない場合には、選択された画像とペアになっているＩＤコードを呼び出してから（ステップＳ２７）、ステップＳ２１に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１２７】
また、ステップＳ２６において、現在接続中のターゲットがあると判定された場合には、さらにステップＳ２８に進み、選んだ画像に対応するＩＤコードが接続中のターゲットのそれと一致するか否かを判断する。一致する場合には、接続状態を維持するだけでよいので、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。他方、一致しない場合には、接続中のターゲットとの接続を一旦解除してから（ステップＳ２９）、ステップＳ２７に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１２８】
また、ステップＳ２５において、ユーザが接続先リストの中から画像を選ばない場合には、ステップＳ３０に進み、現在ユーザ端末に接続しているターゲットがあるか否かを判断する。
【０１２９】
接続中のターゲットがない場合には、ステップＳ１２に戻って上記と同様の処理を繰り返し実行する。
【０１３０】
接続中のターゲットがある場合には、ステップＳ３１に進み、ユーザが接続解除を選択したか否かを判定する。接続解除を選択しない場合にはそのままステップＳ１２に復帰し、接続解除を選択した場合には、ステップＳ３２にて接続を一旦解除してからステップＳ１２に復帰して、上述と同様の処理を繰り返し実行する。
【０１３１】
また、図９には、接続部１２において行われる、ターゲット５０との接続処理手順の他の例を、フローチャートの形式で示している。同図に示す手順は、同時に複数のターゲットと接続することができる場合の例である。以下、このフローチャートの各ステップについて説明する。
【０１３２】
初期状態では、接続対象がない状態で待機している（ステップＳ４１）。
【０１３３】
カメラがターゲットを撮像すると、アプリケーション部１１は、カメラ画像を取得して（ステップＳ４２）、所定の認識・識別処理を実行して、そのカメラ画像内にサイバーコードのようなＩＤコードが存在するか否かを判断する（ステップＳ４３）。
【０１３４】
カメラ画像内にＩＤコードが存在する場合には、アプリケーション部１１は、さらに、識別されたＩＤコードが現在接続中のターゲットと同じＩＤコードか否かを判別する（ステップＳ４４）。ＩＤコードが一致する場合には、接続対象を切替える必要がないので、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。
【０１３５】
ステップＳ４４において、新たに認識されたＩＤコードが現在の接続対象とは異なると判断された場合には、さらに、ステップＳ４５において、カメラ画像内にあるのは過去に認識したことのあるＩＤコードか否かを判別する。過去に認識したことのあるＩＤコードであれば、これとペアになっている画像を、ローカル・ディスクなどから呼び出してディスプレイ上に表示する（ステップＳ４６）。また、過去に認識したことのないＩＤコードであれば、ＩＤコードと現在のカメラ画像とをペアにして、過去に見たものすなわち「接続先リスト」の中に追加する（ステップＳ４７）。そして、ステップＳ４８では、ＩＤコードとペアとなった画像をディスプレイ上に表示する。
【０１３６】
次いで、ステップＳ４９では、データベース・サーバ３０に問い合わせて、ＩＤコードに対応するターゲットのネットワーク・アドレスを取得する。そして、ステップＳ５０では、取得されたネットワーク・アドレスを用いて、該当するターゲットとの間で接続状態を形成する。
【０１３７】
”Ｇａｚｅ−ｌｉｎｋ”メタファを導入することにより、ターゲットと接続するためには、ユーザは、ターゲットをカメラで撮像するだけでよいという点を理解されたい。ユーザ端末１０内では、カメラの撮像画像を基にして、ターゲットに添付されたＩＤコードを認識し、ＩＤコードに対応するネットワーク・アドレスが自動的に読み出されるからである。
【０１３８】
上記のステップＳ４３において、カメラ画像内にＩＤコードが存在しないと判断された場合には、ステップＳ５１に進み、過去に見たリストすなわち「接続先リスト」の中からユーザが画像を選んだか否かを判断する。
【０１３９】
ユーザが接続先リストから画像を選んだ場合には、ステップＳ５２に進んで、現在接続されているターゲットがあるか否かを判断する。接続中のターゲットがない場合には、選択された画像とペアになっているＩＤコードを呼び出してから（ステップＳ５３）、ステップＳ４９に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１４０】
また、ステップＳ５２において、現在接続中のターゲットがあると判定された場合には、さらにステップＳ５４に進み、選んだ画像に対応するＩＤコードが接続中のターゲットのそれと一致するか否かを判断する。一致する場合には、接続状態を維持するだけでよいので、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。他方、一致しない場合には、ステップＳ５３に進み、接続先リスト中から選択された画像に該当するターゲットと接続を確立するための処理を行う（同上）。
【０１４１】
また、ステップＳ５１において、ユーザが接続先リストの中から画像を選ばない場合には、ステップＳ５５に進み、現在ユーザ端末に接続しているターゲットがあるか否かを判断する。
【０１４２】
接続中のターゲットがない場合には、ステップＳ４２に戻って上記と同様の処理を繰り返し実行する。
【０１４３】
接続中のターゲットがある場合には、ステップＳ５６に進み、ユーザが接続解除を選択したか否かを判定する。接続解除を選択しない場合にはそのままステップＳ４２に復帰し、接続解除を選択した場合には、ステップＳ５７にて接続を一旦解除してからステップＳ４２に復帰して、上述と同様の処理を繰り返し実行する。
【０１４４】
上述したように、図８に示したフローチャートのステップＳ２１、及び、図９に示したフローチャートのステップＳ４９では、データベース部１３若しくはデータベース・サーバ３０は、ターゲットが持つＩＤコードに関する問い合わせを受け、これに対して該当するネットワーク・アドレスを返すようになっている。以下では、データベース・サーバ３０による問い合わせ応答処理について説明する。
【０１４５】
図１０には、問い合わせ応答処理手順の一例をフローチャートの形式で図解している。同図に示す例では、データベース部１３若しくはデータベース・サーバ３０は、問い合わされたＩＤコードに該当するエントリを持たない場合には、ネットワーク上の所在が分かっている他のデータベース・サーバに対してクライアント・サーバ形式で問い合わせるようになっている。以下、このフローチャートの各ステップについて説明する。
【０１４６】
接続部１２や、他のデータベース・サーバなどからＩＤコードの問い合わせを受けると（ステップＳ６１）、自分自身がローカルにデータベースを所有しているか否かを判断する（ステップＳ６２）。
【０１４７】
データベースをローカルに所有している場合、これを参照して（ステップＳ６３）、入力されたＩＤコードに該当するエントリがローカルのデータベース中に存在するか否かを判断する（ステップＳ６４）。
【０１４８】
ローカルなデータベース中に該当エントリがある場合には、ネットワーク・アドレスを取り出して、要求元に返す（ステップＳ６５）。その後、ステップＳ６１に復帰して、次の問い合わせにそなえる。
【０１４９】
ステップＳ６２において、データベース・サーバ自身がローカルにデータベースを持たない場合には、他に問い合わせることができるデータベース・サーバがネットワーク上に存在するか否かを判断する（ステップＳ６６）。
【０１５０】
ネットワーク上に他のデータベース・サーバが見つかれば、ＩＤコードの問い合わせを転送して（ステップＳ６７）、ネットワーク・アドレスを戻り値として受け取る（ステップＳ６８）。
【０１５１】
他のデータベース・サーバからのネットワーク・アドレスの取得に成功した場合には（ステップＳ６９）、ステップＳ６５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ７０）。
【０１５２】
また、ステップＳ６４において、データベース・サーバ自身のローカルなデータベース上には問い合わされたＩＤコードに該当するエントリがない場合にも、他に問い合わせることができるデータベース・サーバがネットワーク上に存在するか否かを判断する（ステップＳ６６）。
【０１５３】
ネットワーク上に他のデータベース・サーバが見つかれば、ＩＤコードの問い合わせを転送して（ステップＳ６７）、ネットワーク・アドレスを戻り値として受け取る（ステップＳ６８）。
【０１５４】
他のデータベース・サーバからのネットワーク・アドレスの取得に成功した場合には（ステップＳ６９）、ステップＳ６５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ７０）。
【０１５５】
図１１には、問い合わせ応答処理手順の他の例をフローチャートの形式で図解している。同図に示す例では、データベース部１３若しくはデータベース・サーバ３０は、問い合わされたＩＤコードに該当するエントリを持たない場合には、ネットワーク上の所在が分からない他のデータベース・サーバに対してブロードキャスト形式で問い合わせるようになっている。以下、このフローチャートの各ステップについて説明する。
【０１５６】
接続部１２や、他のデータベース・サーバなどからＩＤコードの問い合わせを受けると（ステップＳ８１）、自分自身がローカルにデータベースを所有しているか否かを判断する（ステップＳ８２）。
【０１５７】
データベースをローカルに所有している場合、これを参照して（ステップＳ８３）、入力されたＩＤコードに該当するエントリがローカルのデータベース中に存在するか否かを判断する（ステップＳ８４）。
【０１５８】
ローカルなデータベース中に該当エントリがある場合には、ネットワーク・アドレスを取り出して、要求元に返す（ステップＳ８５）。その後、ステップＳ８１に復帰して、次の問い合わせにそなえる。
【０１５９】
ステップＳ８２において、データベース・サーバ自身がローカルにデータベースを持たない場合には、ネットワーク上にＩＤコードの問い合わせをブロードキャストする（ステップＳ８６）。
【０１６０】
ブロードキャストした結果、他のデータベース・サーバからネットワーク・アドレスが成功裡に返された場合には（ステップＳ８７）、ステップＳ８５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ８８）。
【０１６１】
また、ステップＳ８４において、データベース・サーバ自身のローカルなデータベース上には問い合わされたＩＤコードに該当するエントリがない場合にも、ネットワーク上にＩＤコードの問い合わせをブロードキャストとする（ステップＳ８６）。
【０１６２】
ブロードキャストした結果、他のデータベース・サーバからネットワーク・アドレスが成功裡に返された場合には（ステップＳ８７）、ステップＳ８５に進み、要求元の接続部等に対してネットワーク・アドレスを返す。また、ネットワーク・アドレスの取得に失敗した場合には、要求元の接続部等に対してネットワーク・アドレスが不明である旨の通知を返す（ステップＳ８８）。
【０１６３】
以下では、”ｇａｚｅ−ｌｉｎｋ”メタファを実現するシステム１００において提供されるアプリケーションについて説明する。
【０１６４】
（１）プレゼンテーション・ツール
”ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用することによって、ユーザ端末内に格納されたスライドを、ディスプレイやプロジェクタなどの１以上のターゲットに振り分けることができる（図１２を参照のこと）。
【０１６５】
ディスプレイやプロジェクタに転送したスライドも、そのまま手許のユーザ端末上で操作する（例えば、列挙された項目を一つ一つ見せる、あるいは、動画データを一時停止するなど）ことができる。
【０１６６】
図１３には、”ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１６７】
本処理手順は、ユーザ端末１０上でスライド・ページを表示するプレゼンテーションの実行中に行われる。
【０１６８】
ユーザが別のスライド・ページを要求したときには（ステップＳ１０１）、新しいスライド・ページをユーザ端末１０上に表示し（ステップＳ１０２）、要求しない場合には元のスライド・ページのままとする。
【０１６９】
ステップＳ１０３では、現在、ユーザ端末１０に対して接続先のターゲットがあるか否かを接続部１２に問い合わせる。接続先がない場合には、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７０】
接続先がある場合には、該接続先のターゲットがプロジェクタその他スライド・ページを表示可能な装置であるか否かを判断する（ステップＳ１０４）。スライド・ページを表示不能な装置であれば、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７１】
接続先のターゲットがプロジェクタやその他のスライド・ページを表示可能な装置であれば、ユーザ端末１０のユーザが現在のスライド・ページを該プロジェクトに転送することを要求したことに応答して（ステップＳ１０６）、該スライド・ページを該プロジェクタに転送する（ステップＳ１０７）。スライド・ページの転送要求は、例えば「ハイパードラッグ」（前述）などを用いることで、現存するＧＵＩ操作を実空間上に拡張して、直感的に指示することもできる。また、スライド・ページ等のデータ転送は、ネットワーク７０経由で行われる。データ転送終了後は、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７２】
また、ユーザ端末１０のユーザが、現在接続中のプロジェクタに表示されているスライド・ページを該ユーザ端末１０上でも表示することを要求した場合には（ステップＳ１０８）、接続先のプロジェクタに対して表示中のスライド・ページを問い合わせ（ステップＳ１０９）、該ページの表示を実現する（ステップＳ１１０）。ページ表示のためのデータ転送はネットワーク７０経由で自動的に行われる。また、スライド・ページの表示を終えた後は、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７３】
また、ユーザがスライド・ページ内で操作を行ったとき（ステップＳ１１１）、接続先のプロジェクタも同じスライド・ページを表示している場合には（ステップＳ１１２）、該ページ内の操作に関する情報をプロジェクタに転送する（ステップＳ１１３）。この結果、プロジェクタの投影スクリーン上でも、ユーザ端末１０上と同じ操作が表示される。その後、ステップＳ１０１に戻って上記と同様の処理を繰り返し実行する。
【０１７４】
（２）キーボード
ある限られた狭い空間内に複数のコンピュータが混在するような場合、複数のキーボードやディスプレイの対応関係が錯綜するという事態は、多くの人が経験することであろう。あるディスプレイ・スクリーンのコマンド・ライン上にキー入力しても、該当するキーボードが判らず、ケーブルの接続先を確認するなど煩雑な作業を強いられてしまう。
【０１７５】
また、共有のコンピュータを使うときや、他人のコンピュータをちょっと借用するような場合、キー配置や日本語入力ソフト（かな漢字変換等のＦＥＰ（Ｆｒｏｎｔ Ｅｎｄ Ｐｒｏｃｅｓｓｏｒ））等が自分のコンピュータとは相違するために、苦労するということも珍しくないであろう。
【０１７６】
”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用することによって、「見た」（すなわちカメラで撮像することによって接続された）コンピュータのキーボードとなることが可能となる。
【０１７７】
例えば接続先となるコンピュータのウィンドウ・システムのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を使って、全てのアプリケーションの入力を行うことも可能である。
【０１７８】
また、エコーバックも表示させるようにすれば、ターゲットとして「見た」コンピュータのｔｅｌｎｅｔ端末になる、というメタファが提供される。これは、普段はコンソールを必要としないサーバ・マシンや組み込み型コンピュータでの作業や、限られたコンソールしか持たない機器（例えばプリンタ）のメンテナンス作業などにおいて、極めて有効である。
【０１７９】
図１４には、”ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用した様子を描写している。同図に示すように、ユーザがあるコンピュータを「見る」（すなわちカメラの撮像画像を介して識別する）と、これに応答して、ユーザ端末に備え付けられたキーボードは、このリモートのコンピュータのキーボードとして振る舞うことができる。ユーザ端末のキーボードを、リモート・コンピュータにキーボード・ポートなどに直接接続する必要は全くない。
【０１８０】
また、同図に示すように、ユーザ端末のディスプレイ・スクリーン上に、キー入力された各キャラクタが「見て」いるターゲットすなわちコンピュータの設置場所に向かって飛んでいくようなアニメーションを表示してもよい。このような演出は、接続されているターゲットと、ターゲットと接続状態にあるということを、ユーザに対して明確に提示することができるという効果がある。
【０１８１】
図１５には、”ｇａｚｅ−ｌｉｎｋ”メタファを遠隔的なコンピュータのためのキーボードに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１８２】
ステップＳ１２１及びＳ１２２では、ユーザ端末がターゲットに接続されるまで待機する。
【０１８３】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがキー入力を受け付けることができる装置か否かを判断する（ステップＳ１２３）。判断結果が否定的であれば、ステップＳ１２１に戻って、再び他のターゲットに接続されるまで待機する。
【０１８４】
キー入力を受け付けるターゲット、例えば遠隔のコンピュータとの接続が果たされると、ユーザがユーザ端末上でキー入力を行う度に（ステップＳ１２４）、逐次入力されたキャラクタが接続先のターゲットに転送される（ステップＳ１２５）。
【０１８５】
ステップＳ１２６では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０１８６】
接続先のターゲット変更してないと判断された場合には（ステップＳ１２７）、ステップＳ１２４に戻り、ユーザ端末上でのキー入力と、入力されたキャラクタのターゲットへの転送とを、繰り返し実行する。
【０１８７】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１２７）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１２８）。
【０１８８】
いずれのターゲットとも接続されていないならば、ステップＳ１２１に戻って、次にターゲットと接続されるまで待機する。
【０１８９】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１２９）、ステップＳ１２４に戻り、ユーザ端末上でのキー入力を新たな接続先のターゲットに送信する。
【０１９０】
（３）案内板・掲示板（ブレティンボード）
例えば、大きな学会などが開催される際には、現在どの部屋でどのセッションが行われているかなどの情報を知らせる案内板や掲示板が設置される。このような情報が、コンピュータ・ネットワークなどを介して電子的にもアクセスできるようになっていれば、いちいち案内板のある場所まで見に行く必要がない。しかし、例えば「建物の入り口にある案内板」の内容を知るために、それをＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）のページから辿って探索するのでは手間がかかり過ぎる。
【０１９１】
”Ｇａｚｅ−ｌｉｎｋ”メタファを案内板や掲示板などのＢｕｌｌｅｔｉｎｅｂｏａｒｄに応用することによって、ユーザは、物理的な案内板や掲示板を１度だけ「見て」おけば、その後ユーザ端末上でその静止画像を呼び出すだけで案内板等との接続を確立して、常に最新の掲示内容を把握することができる。
【０１９２】
各トピックが規則的な周期で入れ替わるような該当のニュースボードなどの場合に、特定のトピックが表示されている瞬間を「見て」おくことにより、そのトピックのニュースのみを見ることができるようにすることも可能である。
【０１９３】
興味のあるアイテムだけを選択的に「見て」集めることで、実世界での行動によるインターネット・スクラップ[15]の構築のようなことも可能である。
【０１９４】
図１６には、”ｇａｚｅ−ｌｉｎｋ”メタファをＢｕｌｌｅｔｉｎｂｏａｒｄに応用した処理を行う手順をフローチャートの形式で図解している。以下、このフローチャートの各ステップについて説明する。
【０１９５】
ステップＳ１３１及びＳ１３２では、ユーザ端末がターゲットに接続されるまで待機する。
【０１９６】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがＢｕｌｌｅｔｉｎｂｏａｒｄのようなすなわち掲示データを含んだ装置か否かを判断する（ステップＳ１３３）。判断結果が否定的であれば、ステップＳ１３１に戻って、再び他のターゲットに接続されるまで待機する。
【０１９７】
Ｂｕｌｌｅｔｉｎｅｂｏａｒｄへの接続が果たされると、接続先に対して最新の掲示データを要求する（ステップＳ１３４）。そして、接続先から掲示データを受け取ると、これをユーザ端末のディスプレイ・スクリーン上に表示する（ステップＳ１３５）。
【０１９８】
さらに、ステップＳ１３６では、他の接続先があるかどうかを、接続部１２経由で問い合わせる。
【０１９９】
他に接続先がなければ（ステップＳ１３７）、ステップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉｎｂｏａｒｄとの接続が確立するまで待機する。
【０２００】
他に接続先がある場合には（ステップＳ１３７）、該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒｄすなわち掲示データを含んだ装置か否かを判断する（ステップＳ１３８）。該接続先がＢｕｌｌｅｔｉｎｅｂｏａｒｄであれば、ステップＳ１３４に進んで、掲示データの取得とディスプレイ・スクリーンへの表示を実行する。また、Ｂｕｌｌｅｔｉｎｅｂｏａｒｄでなければ、ステップＳ１３１に戻って、再度Ｂｕｌｌｅｔｉｎｂｏａｒｄとの接続が確立するまで待機する。
【０２０１】
（４）Ｇａｚｅ−ｌｉｎｋのその他の応用
”Ｇａｚｅ−ｌｉｎｋ”メタファによれば、カメラを備え付けた携帯型コンピュータを用いて、カメラで見ているものとの接続を確立するという実世界指向インターフェースを実現することができる、ということは既に述べた通りである。
【０２０２】
例えば、”ｇａｚｅ−ｌｉｎｋ”メタファをオフィス内あるいは家庭内などの日常の住空間に採り入れることにより、ユーザ端末を各種の情報機器、情報家電機器などに接続し且つ接続状態を維持することができる。この結果、「見る」というだけで、ファクシミリ装置等のＯＡ機器や、冷蔵庫や電動湯沸し器（ポット）などの情報家電とユーザ端末とを接続し、これらの機器上での状態の変化を常に監視し、さらにはコマンド操作を行うことができる。
【０２０３】
”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への応用例の１つはＰｏｔｂｉｆｆである。
【０２０４】
図１７には、”ｇａｚｅ−ｌｉｎｋ”メタファを電動湯沸し器に応用した”Ｐｏｔｂｉｆｆ”が動作する様子を描写している。
【０２０５】
同図に示すように、ユーザが「見た」電動湯沸し器の静止画像がユーザ端末のディスプレイ・スクリーン上に表示されることで、ユーザ端末と電動湯沸し器との接続が確立される。また、該静止画像がスクリーン上に表示されている期間中は、両者間の接続状態が持続であることを意味する。このような接続状態では、ユーザ端末側からは、電動湯沸し器でお湯が沸いたときの通知を受け取ったり、お湯の残量の監視などを行うことが可能である。
【０２０６】
オフィスなどで、お茶やコーヒーを入れるための電動湯沸し器がある場合、必ずしも各人の席から見える場所に設置されているとは限らない。このため、お茶を入れに行ってみたらお湯を沸かしている最中であったり、お湯が残っていなかったりすることがしばしばある。Ｐｏｔｂｉｆｆによれば、あらかじめ電動湯沸し器を「見て」、ユーザ端末との接続状態を維持しておくことによって、お湯が沸いたときに通知を受け取ることや、お湯の残量の確認を自分の席すなわち遠隔的に監視することが可能となる。
【０２０７】
勿論、電動湯沸し器以外の情報家電に対しても、”ｇａｚｅ−ｌｉｎｋ”メタファを導入することは可能である。例えば、洗濯機や電子レンジのアラーム音を大きくすることなく、離れた場所からも洗濯や料理の温めの終了を検出することができる。コイン・ランドリの洗濯機などには、Ｐｏｔｂｉｆｆは特に有効である。
【０２０８】
図１８には、Ｐｏｔｂｉｆｆを行うための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２０９】
ステップＳ１４１及びＳ１４２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２１０】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがアラームを発する装置（例えば、お湯の沸騰に応答してアラームを発する電動湯沸し器）であるか否かを判断する（ステップＳ１４３）。判断結果が否定的であれば、ステップＳ１４１に戻って、再び他のターゲットに接続されるまで待機する。
【０２１１】
アラームを発する装置への接続が果たされると、接続状態をそのまま保持して（ステップＳ１４４）、該装置に対する監視を行う。そして、該装置上でアラームが発されたことを検出すると（ステップＳ１４５）、ユーザ端末上でもアラームを発するとともに、アラームの内容（例えば、「お湯が沸いた」など）を表示する（ステップＳ１４６）。
【０２１２】
また、”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への他の応用例はビデオ予約である。
【０２１３】
最近では、テレビ・チューナとハード・ディスク・レコーディング機能を備えたＰＣを用いて、ＷＷＷ上のテレビ番組表をクリックすることによって録画予約を行うシステムも登場している[16]。この情報と、シリアル回線（例えばｉ−ｌｉｎｋ）などで制御可能なビデオ録画再生装置とを組み合わせて、ビデオ録画再生装置を見ながらＷＷＷページ表示画面上の所望のテレビ番組アンカーをクリックすることによって、録画予約を行うことができる。
【０２１４】
図１９には、”ｇａｚｅ−ｌｉｎｋ”メタファを用いてビデオ予約を行うための処理手順をフローチャートの形式で示している。ユーザ端末とビデオ録画再生装置との間は、例えば、ＢｌｕｅＴｏｏｔｈ[1]のようなネットワークで接続したり、あるいは、ＲＳ（Ｒｅｃｏｍｍｅｎｄｅｄ Ｓｔａｎｄａｒｄ）−２３２Ｃやｉ−Ｌｉｎｋのようなシリアル・ケーブルでローカル接続されており、データやコマンドの転送が可能となっているものとする。以下、このフローチャートの各ステップについて説明する。
【０２１５】
ステップＳ１５１及びＳ１５２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２１６】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットがビデオ録画再生装置であるか否かを判断する（ステップＳ１５３）。判断結果が否定的であれば、ステップＳ１５１に戻って、再び他のターゲットに接続されるまで待機する。
【０２１７】
ビデオ録画再生装置への接続が果たされると、ユーザ端末上でビデオの録画予約情報に関するユーザ入力があったか否かを判断する（ステップＳ１５４）。ユーザ入力があれば、接続先のビデオ録画再生装置に対して該予約情報を送信する（ステップＳ１５５）。
【０２１８】
ステップＳ１５６では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０２１９】
接続先のターゲット変更してないと判断された場合には（ステップＳ１５７）、ステップＳ１５４に戻り、ユーザ端末上での録画予約情報の入力と、予約情報のビデオ録画再生装置への送信とを、繰り返し実行する。
【０２２０】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１５７）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１５８）。
【０２２１】
いずれのターゲットとも接続されていないならば、ステップＳ１５１に戻って、次にターゲットと接続されるまで待機する。
【０２２２】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１５９）、ステップＳ１５４に戻り、ユーザ端末上での録画予約情報の入力と、予約情報のビデオ録画再生装置への送信とを、繰り返し実行する。
【０２２３】
また、”Ｇａｚｅ−ｌｉｎｋ”メタファの情報家電への他の応用例は「万能リモコン」若しくは「遠隔メンテナンス」と呼ばれるものである。すなわち、”ｇａｚｅ−ｌｉｎｋ”メタファを用いることにより、「見て」いるものを制御することができる。
【０２２４】
ターゲットを「見る」ことによって、ユーザ端末はあらゆるターゲットに接続することができ、ターゲットに対する制御その他の操作を行うことが可能となり、「万能リモコン」となる。また、必ずしも至近距離から「見る」必要はなく、遠くから「見る」ことによってもターゲットとの接続が確立される。さらに、ターゲットを直接「見て」いる必要はなく、過去に見たターゲットの静止画を呼び出すことによっても、ターゲットとの接続が確立される。この意味において、「遠隔メンテナンス」が実現される。
【０２２５】
図２０には、”ｇａｚｅ−ｌｉｎｋ”メタファを用いて遠隔メンテナンスを行うための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２２６】
ステップＳ１６１及びＳ１６２では、ユーザ端末がターゲットに接続されるまで待機する。
【０２２７】
ターゲットを「見る」、すなわちユーザ端末がターゲットに接続されると、次いで、このターゲットが遠隔操作可能な装置であるか否かを判断する（ステップＳ１６３）。判断結果が否定的であれば、ステップＳ１６１に戻って、再び他のターゲットに接続されるまで待機する。
【０２２８】
遠隔可能なターゲットへの接続が果たされると、該ターゲットへの制御・操作用の画面をユーザ端末のディスプレイ上に表示する（ステップＳ１６４）。例えば、遠隔可能なターゲットがビデオ録画再生装置であれば、再生、記録、早送り、巻戻し、一時停止などの主要な機能ボタンを含んだＧＵＩ画面をディスプレイ上に表示する。あるいは、この代替として、ビデオ録画再生装置の正面のコントロール・パネルを撮像した画像そのものの上に各操作ボタンをアイコン化してＧＵＩ画面に組み込んでもよい。後者の場合、ユーザは、現実のビデオ録画再生装置と同じ操作様式に従って、ビデオ録画再生装置を自然な感覚でリモート・コントロールすることができる。
【０２２９】
ユーザがユーザ端末のディスプレイ上で入力すなわち機能ボタンの操作を行うと（ステップＳ１６５）、該操作に相当する制御情報が接続先のターゲットに転送される（ステップＳ１６６）。
【０２３０】
ステップＳ１６７では、接続先のターゲットが変更されていないか否かを、接続部１２に対して問い合わせる。既に述べたように、ユーザが「見て」いる先を変えるだけで、接続先は容易に切り替わる。
【０２３１】
接続先のターゲット変更してないと判断された場合には（ステップＳ１６８）、ステップＳ１６５に戻り、ユーザ端末のディスプレイ上での機能ボタンの操作と、該操作に相当する制御情報のターゲットへの転送とを、繰り返し実行する。
【０２３２】
他方、接続先のターゲットが変更してしまった場合には（ステップＳ１６８）、現在接続されているターゲットが存在するか否かを判断する（ステップＳ１６９）。
【０２３３】
いずれのターゲットとも接続されていないならば、ステップＳ１６１に戻って、次にターゲットと接続されるまで待機する。
【０２３４】
また、接続先のターゲットが存在する場合には、接続先を切り替えて（ステップＳ１７０）、ステップＳ１６５に戻り、ユーザ端末のディスプレイ上での機能ボタンの操作と、該操作に相当する制御情報のターゲットへの転送とを、繰り返し実行する。
【０２３５】
カメラの撮像越しの操作も可能であることを応用して、家庭電化製品が故障したときなどに、製造元又は販売元のサポート・センタからビデオ映像越しに「見て」製品に接続することによって、故障に関する情報を転送することも可能である。また、簡単な設定の変更等によって故障原因を解除することもできるであろう。
【０２３６】
《注釈》
＊：サイバーコードとは、２次元バーコードの一種であり、図２４に示すように、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成される。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）パターンとして常に黒パターンとなっている。サイバーコードによれば、印刷されたパターンの配列の組み合わせによって２24個のオブジェクトを識別することができる。
サイバーコードの認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バーの候補を発見するステップと、ガイド・バーの位置や方向に基づいてコーナー・セルを探索するステップと、ガイド・バー及びコーナー・セルを検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。
さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セルの位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特願平１０−１８４３５０号明細書（「画像処理装置および方法、並びに提供媒体」）にも開示されている。
【０２３７】
《参考文献》
［１］：ｈｔｔｐ：／／ｗｗｗ．ｂｌｕｅｔｏｏｔｈ．ｃｏｍ
［２］：Ｊ．Ｒｅｋｉｍｏｔｏ． Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ： Ａ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｃｏｍｐｕｔｅｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ ＵＩＳＴ ’９７， ｐｐ．３１−３９， Ｏｃｔｏｂｅｒ １９９７．
［３］： Ｂ． Ｕｌｌｍａｅｒ， Ｈ， Ｉｓｈｉｉ， ａｎｄ Ｄ． Ｇｌａｓ． ＭｅｄｉａＢｌｏｃｋｓ： Ｐｈｙｓｉｃａｌ Ｃｏｎｔａｉｎｅｒｓ， Ｔｒａｎｓｐｏｒｔｓ， ａｎｄ Ｃｏｎｔｒｏｌｓ ｆｏｒ Ｏｎｌｉｎｅ Ｍｅｄｉａ． Ｉｎ ＳＩＧＧＲＡＰＨ ’９８ Ｐｒｏｃｅｅｄｉｎｇｓ， ｐｐ． ３７９−３８６， １９９８．
［４］：Ｊ．Ｒｅｋｉｍｏｔｏ ａｎｄ Ｍ． Ｓａｉｔｏｈ． Ａｕｇｍｅｎｔｅｄ Ｓｕｒｆａｃｅ： Ａ Ｓｐａｔｉａｌｌｙ Ｃｏｎｔｉｎｕｏｕｓ Ｗｏｒｋｓｐａｃｅ ｆｏｒ Ｈｙｂｒｉｄ Ｃｏｍｐｕｔｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ．３７８−３８５． ＡＣＭ， Ｍａｙ １９９９．
［５］： Ｇ． Ｗ． Ｆｉｔｚｍａｕｒｉｃｅ， Ｓ． Ｚｈａｉ， ａｎｄＭ． Ｈ． Ｃｈｉｇｎｅｌｌ． Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｆｏｒｐａｌｍｔｏｐ ｃｏｍｐｕｔｅｒｓ． ＡＣＭ Ｔｒａｎｓｃｃａｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｖｏｌ． １１， Ｎｏ．３， ｐｐ． １９７−２１８， Ｊｕｌｙ １９９３．
［６］：Ｊ． Ｒｅｋｉｍｏｔｏ ａｎｄ Ｋ． Ｎａｇａｏ． Ｔｈｅ ｗｏｒｌｄ ｔｈｒｏｕｇｈ ｔｈｅ ｃｏｍｐｕｔｅｒ： Ｃｏｍｐｕｔｅｒ ａｕｇｍｅｎｔｅｄ ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ ｒｅａｌ ｗｏｒｌｄｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ ＵＳＩＴ ’９５， ｐｐ． ２９−３６， Ｎｏｖｅｍｂｅｒ １９９５．
［７］：Ｓ． Ｌｏｎｇ， Ｄ． Ａｕｓｔ， Ｇ． Ａｂｏｗｄ， ａｎｄ Ｃ． Ａｔｋｅｓｏｎ． Ｃｙｂｅｒｇｕｉｄｅ： Ｐｒｏｔｏｔｙｐｉｎｇ ｃｏｎｔｅｘｔ−ａｗａｒｅ ｍｏｂｉｌｅ ａｐｐｌｉｃａｔｉｏｎｓ．ＩｎＣＨＩ’９６ Ｃｏｎｆｅｒｅｎｃｅ Ｃｏｍｐａｎｉｏｎ， ｐｐ． ２９３−２９４， １９９６．
［８］：綾塚祐二， 暦本純一， 松岡聡．ＵｂｉｑｕｉｔｏｕｓＬｉｎｋｓ：実世界環境に埋め込まれたハイパーメディアリンク． 情報処理学会研究会報告（９６−ＨＩ−６７），ｐｐ． ２３−３０， Ｊｕｌｙ １９９６．
［９］：Ｒ． Ｗａｎｔ， Ｋ． Ｐ． Ｆｉｓｈｋｉｎ， Ａ． Ｇｕｊａｒ， ａｎｄ Ｂ． Ｌ． Ｈａｒｒｉｓｏｎ． Ｂｒｉｄｇｉｎｇ Ｐｈｙｓｉｃａｌ ａｎｄ Ｖｉｒｔｕａｌ Ｗｏｒｌｄ ｗｉｔｈ Ｅｌｅｃｔｒｏｎｉｃ Ｔａｇｓ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ． ３７０−３７７． ＡＣＭ， Ｍａｙ １９９９．
［１０］：神武直彦， 暦本純一， 安西祐一郎．現実世界での情報移動を支援する ＩｎｆｏＳｐｕｉｔ． インタラクティブシステムとソフトウェアＶ（ＷＩＳＳ‘９７），ｐｐ． ４９−５６．日本ソフトウェア科学会，近代科学社，Ｄｅｃｅｍｂｅｒ １９９７．
［１１］：坂根裕， 柳沢豊， 塚本昌彦， 西尾章治郎． カメラ画像を利用した拡張デスクトップ環境． Ｉｎ ＳＰＡ’９８ （ＵＲＬ： ｈｔｔｐ：／／ｗｗｗ．ｂｒｌ．ｎｔｔ．ｃｏ．ｊｐ／ｏｏｃ／ｓｐａ９８／ｐｒｏｃｅｅｄｉｎｇｓ／ｉｎｄｅｘ．ｈｔｍｌ）
［１２］：Ｊ． Ｒｅｋｉｍｏｔｏ， Ｙ． Ａｙａｔｓｕｋａ， ａｎｄ Ｋ． Ｈａｙａｓｈｉ． Ａｕｇｍｅｎｔａｂｌｅ ｒｅａｌｉｔｙ： Ｓｉｔｕａｔｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｈｒｏｕｇｈ ｄｉｇｉｔａｌ ａｎｄ ｐｈｙｓｉｃａｌ ｓｐａｃｅｓ．Ｉｎ ＩＳＷＣ ’９８， Ｏｃｔｏｂｅｒ １９９８．
［１３］：暦本純一．簡易性とスケーラビリティを考慮した拡張現実感システムの提案．インタラクティブシステムとソフトウェアＩＩＩ（ＷＩＳＳ‘９５），ｐｐ．４９−５６．日本ソフトウェア科学会，近代科学社，Ｎｏｖｅｍｂｅｒ １９９５
［１４］：Ｒ． Ｗａｎｔ， Ａ． Ｈｏｐｐｅｒ， Ｖ． Ｆａｌｃａｏ， ａｎｄ Ｊ．Ｇｉｂｂｏｎｓ． Ｔｈｅ ａｃｔｉｖｅ ｂａｄｇｅ ｌｏｃａｔｉｏｎ ｓｙｓｔｅｍ． ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， Ｖｏｌ． １０， Ｎｏ． １， ｐｐ． ９１−１０２， Ｊａｎｕａｒｙ １９９２．
［１５］：Ａ． Ｓｕｇｉｕｒａ ａｎｄ Ｙ． Ｋｏｓｅｋｉ． Ｉｎｔｅｒｎｅｔ Ｓｃｒａｐｂｏｏｋ： Ａｕｔｏｍａｔｉｎｇ Ｗｅｂ Ｂｒｏｗｓｉｎｇ Ｔａｓｋｓ ｂｙ Ｄｅｍｏｎｓｔｒａｔｉｏｎ． Ｉｎ ＵＳＩＴ’９８， ｐｐ． ９−１８， Ｎｏｖｅｎｂｅｒ １９９８．
［１６］：ｈｔｔｐ：／／ｗｗｗ．ｖａｉｏ．ｓｏｎｙ．ｃｏ．ｊｐ／Ｓｔｙｌｅ／Ｇｕｉｄｅ／Ｇｉｇａｐｏｃｋｅｔ／ｉｎｄｅｘ．ｈｔｍｌ
【０２３８】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２３９】
【発明の効果】
以上詳記したように、本発明によれば、情報空間内の各機器に対する操作をユーザのコンピュータ上で統合的に且つ直感的で分かり易く行うことができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４０】
また、本発明によれば、情報空間内の各機器をコンピュータ・ディスプレイ上で直感的で分かり易く制御若しくは操作することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４１】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４２】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続し、且つ、接続状態をコンピュータ・ディスプレイ上で視認することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４３】
また、本発明によれば、情報空間内に配設された各機器とコンピュータとを持続的に接続して、且つ、機器との間でコマンドやデータの交換を持続的に可能にすることができる、優れたユーザ・インターフェース環境を提供することができる。
【０２４４】
本発明によれば、カメラを備え付けた携帯型コンピュータを用いて、カメラで見ているものとの接続を確立するという、”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる。例えば、接続の対象となり得るものに「サイバーコード」（前述）のようなＩＤコードを貼設しておこくとにより、カメラの撮像画像を基に対象物を認識して、接続を確立することができる。
【０２４５】
本発明によれば、従来の実世界指向インターフェースで扱われていた逐次的なデータ転送に対して接続の「持続」という概念を導入することができる。この結果、オフィス内あるいは家庭内などにおいて多くの機器が相互接続されたネットワーク環境下において、”ｇａｚｅ−ｌｉｎｋ”メタファを用いて、ユーザは各機器の名前（ＩＤ）やネットワーク・アドレスを気にすることなく、操作の対象を直感的に又は直接的に指定することができる。すなわち、ネットワーク上の各機器に対して名前を付ける、把握するといった煩わしい作業からユーザを解放することができる。
【０２４６】
また、「見る」という動作は、必ずしも直接オブジェクトを見る必要はなく、ビデオや写真などを通して間接的に見ることにより、遠隔地のオブジェクトに対しても実世界指向的なインターフェース操作を行うことができる。さらに、カメラの撮像画像をコンピュータ内に保存しておくことにより、過去に「見て」接続したものの中から画像を選び出して、再び接続することができる。さらに、対象物そのものではなく画像を用いているので、テレビ会議などの環境下であっても、遠隔地の端末に対してテレビ映像越しで接続することができる。
【図面の簡単な説明】
【図１】”Ｇａｚｅ−ｌｉｎｋ”メタファによるオペレーションを模式的に示した図である。
【図２】「見ている」のがさらに映像であり、間接的に「見て」接続するというメタファを図解したものであり、より具体的には、テレビ会議などの状況で、映像越しの遠隔地のディスプレイに接続し、操作するというメタファを描写した図である。
【図３】本発明に係る実世界指向インターフェース、すなわち”ｇａｚｅ−ｌｉｎｋ”メタファを提供することができる、コンピューティング・システムの構成を模式的に示した図である。
【図４】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、カメラ一体型のユーザ端末１０を示した図である。
【図５】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、カメラをユーザ端末１０にケーブル接続した様子を示した図である。
【図６】ユーザ端末１０がカメラを装備する一形態を図解したものであり、より具体的には、ネットワークや電話線を用いて遠隔地に設置されたカメラをユーザ端末１０に装備した様子を示した図である。
【図７】アプリケーション部１１が提供する画面表示の一例を示した図である。
【図８】接続部１２において行われる、ターゲット５０との接続処理手順の一例を示したフローチャートであり、より具体的には、同時にただ１つのターゲットしか接続できない場合の処理手順を示したフローチャートである。
【図９】接続部１２において行われる、ターゲット５０との接続処理手順の他の例を示したフローチャートであり、より具体的には、同時に複数のターゲットと接続することができる場合の処理手順を示したフローチャートである。
【図１０】問い合わせ応答処理手順の一例を示したフローチャートである。
【図１１】問い合わせ応答処理手順の他の例を示したフローチャートである。
【図１２】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した様子を示した図であり、より具体的には、ユーザ端末内に格納されたスライドを、ディスプレイやプロジェクタなどの１以上のターゲットに振り分ける様子を描写した図である。
【図１３】”Ｇａｚｅ−ｌｉｎｋ”メタファをプレゼンテーション・ツールに応用した処理手順を示したフローチャートである。
【図１４】”Ｇａｚｅ−ｌｉｎｋ”メタファをキーボードに応用した様子を示した図であり、より具体的には、ユーザ端末のキーボードがユーザの「見た」コンピュータのキーボードとして振る舞う様子を描写した図である。
【図１５】”Ｇａｚｅ−ｌｉｎｋ”メタファを遠隔的なコンピュータのためのキーボードに応用した処理を行う手順を示したフローチャートである。
【図１６】”Ｇａｚｅ−ｌｉｎｋ”メタファをＢｕｌｌｅｔｉｎｂｏａｒｄに応用した処理を行う手順を示したフローチャートである。
【図１７】”Ｇａｚｅ−ｌｉｎｋ”メタファを情報家電に応用した様子を示した図であり、より具体的には、電動湯沸し器の沸いたときの通知やお湯の残量の確認などをユーザ端末のディスプレイ・スクリーン上で監視する様子を描写した図である。
【図１８】”Ｇａｚｅ−ｌｉｎｋ”メタファを電動湯沸し器に応用して、Ｐｏｔｂｉｆｆを行うための処理手順を示したフローチャートである。
【図１９】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いてビデオ予約を行うための処理手順を示したフローチャートである。
【図２０】”Ｇａｚｅ−ｌｉｎｋ”メタファを用いて遠隔メンテナンスを行うための処理手順をフローチャートの形式で示した図である。
【図２１】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明するための図であり、より具体的には、隣接するノートブック・コンピュータのディスプレイ・スクリーンの間でＧＵＩ操作が継承され、一方のディスプレイ上のデジタル・オブジェクトが実空間を越えて他方のディスプレイ上にドロップされる様子を描写した図である。
【図２２】ハイパードラッグ操作を説明するための図であり、より具体的には、コンピュータ・スクリーンの周縁に到達したマウス・カーソルがコンピュータ・スクリーンからテーブルへと移動する様子を描写した図である。
【図２３】ハイパードラッグ操作を説明するための図であり、より具体的には、コンピュータ・スクリーンからテーブル上に飛び出したデジタル・オブジェクトがさらにハイパードラッグされて壁面に移動する様子を描写した図である。
【図２４】サイバーコードの構造を模式的に示した図である。
【符号の説明】
１０…ユーザ端末
１１…アプリケーション部
１２…接続部
１３…データベース部
３０…データベース・サーバ
５０…ターゲット
７０…ネットワーク
１００…システム
Claims (37)
- ネットワーク経由で１以上のターゲット装置と接続可能な携帯型情報処理端末であって、
前記ネットワークに接続する接続手段と、
前記携帯型情報処理端末の接続先となるターゲット装置の画像を取得する画像取得手段と、
前記画像取得手段で取得したターゲット装置の画像から、当該ターゲット装置が有する可視的な識別情報を認識する認識手段と、
前記認識手段が認識した可視的な識別情報を該当するターゲット装置のネットワーク・アドレスに変換するデータベース手段と、
前記データベース手段から得られたネットワーク・アドレスを指定して、前記ターゲット装置との接続を確立するとともに、該接続状態を制御する接続制御手段と、
を備え、
前記接続制御手段は、
前記画像取得手段で取得したターゲット装置の画像から前記認識手段が現在接続中のターゲット装置と同じ可視的な識別情報を認識している間は、当該ターゲット装置との接続関係を持続するが、
前記画像取得手段で取得したターゲット装置の画像から前記認識手段が新たな可視的な識別情報を認識したことに応答して、現在接続中のターゲット装置があればその接続状態を一旦解除し、前記の新たに認識された可視的な識別情報を有するターゲット装置のネットワーク・アドレスを前記データベース手段から取得して当該ターゲット装置との接続状態を形成する、
ことを特徴とする携帯型情報処理端末。 - 前記接続手段による接続中並びに今までに接続されたことのあるターゲットを挙げた接続先リストを前記携帯型情報処理端末上で表示する接続先リスト表示手段をさらに備え、前記接続制御手段は、前記接続先リスト上で選択されたターゲットとの接続手続を行なう、
ことを特徴とする請求項１に記載の携帯型情報処理端末。 - ユーザの使用に供されるユーザ端末と、
前記ユーザ端末とはデータ転送可能な形式で接続され、且つ、可視的な識別情報を含んだ１以上のターゲット装置と、
前記ユーザ端末が備える、前記ユーザ端末の接続先となるターゲット装置の画像を取得する画像取得手段と、
前記ユーザ端末が備える、前記画像取得手段で取得したターゲット装置の画像から、当該ターゲット装置が有する可視的な識別情報を認識する認識手段と、
前記ユーザ端末が備える、前記認識手段が認識した識別情報を基に、前記ユーザ端末と前記ターゲット装置との接続を確立するとともに、該当するターゲット装置との接続状態を制御する接続制御手段と、
を備え、
前記接続制御手段は、
前記画像取得手段で取得したターゲット装置の画像から前記認識手段が前記ユーザ端末と現在接続中のターゲット装置と同じ可視的な識別情報を認識している間は、当該ターゲット装置との接続関係を持続するが、
前記画像取得手段で取得したターゲット装置の画像から前記認識手段が新たな可視的な識別情報を認識したことに応答して、前記ユーザ端末と現在接続中のターゲット装置があればその接続状態を一旦解除し、前記の新たに認識された可視的な識別情報を基に前記ユーザ端末と当該ターゲット装置との接続状態を形成する、
ことを特徴とする情報入出力システム。 - 前記接続制御手段による接続中並びに今までに接続されたことのあるターゲット装置を挙げた接続先リストを前記ユーザ端末上で表示する接続先リスト表示手段をさらに備え、前記接続制御手段は、前記接続先リスト上で選択されたターゲットとの接続手続を行なう、
ことを特徴とする請求項３に記載の情報入出力システム。 - 前記画像取得手段は、前記ユーザ端末に一体的に装備されているカメラであることを特徴とする請求項３に記載の情報入出力システム。
- 前記画像取得手段は、前記ユーザ端末にケーブル接続されているカメラであることを特徴とする請求項５に記載の情報入出力システム。
- 前記画像取得手段は、前記ユーザ端末にネットワーク接続されているカメラであることを特徴とする請求項３に記載の情報入出力システム。
- 前記ユーザ端末と前記ターゲット装置とはネットワーク接続され、
前記ターゲット装置はネットワーク・アドレスを有し、
前記認識手段が認識した可視的な識別情報を該当するターゲット装置のネットワーク・アドレスに変換するデータベース手段をさらに備え、
前記接続制御手段は、前記データベース手段から得られたネットワーク・アドレスを指定して、前記ユーザ端末と前記ターゲット装置との接続を確立するとともに、該当するターゲット装置との接続状態を制御する、
ことを特徴とする請求項３に記載の情報入出力システム。 - 前記接続制御手段は、前記ユーザが接続解除を選択したことに応じて現在接続中のターゲット装置との接続状態を一旦解除する、
ことを特徴とする請求項３に記載の情報入出力システム。 - 前記ユーザ端末はディスプレイ・スクリーンを含み、
前記カメラの撮像画像を前記ディスプレイ・スクリーン上に表示することを特徴とする請求項５乃至７のいずれかに記載の情報入出力システム。 - 前記ユーザ端末はディスプレイ・スクリーンを含み、
前記カメラの撮像画像を前記ディスプレイ・スクリーン上に表示し、
前記接続制御手段は、前記ディスプレイ・スクリーン上に表示されているターゲット装置が持つ可視的な識別情報が前記認識手段により認識されている期間中は該ターゲット装置と前記ユーザ端末との接続関係を持続する、
ことを特徴とする請求項５乃至７のいずれかに記載の情報入出力システム。 - 前記ユーザ端末はディスプレイ・スクリーンを含み、
前記カメラの撮像画像を前記ディスプレイ・スクリーン上に表示し、
前記接続制御手段が前記ユーザ端末とターゲット装置との接続関係を持続している期間中は、該ターゲット装置を撮像した画像を前記ディスプレイ・スクリーン上に維持する、
ことを特徴とする請求項５乃至７のいずれかに記載の情報入出力システム。 - 前記ユーザ端末は、前記認識手段によって可視的な識別情報が認識されたターゲット装置の撮像画像を蓄積する格納手段を備えることを特徴とする請求項３に記載の情報入出力システム。
- 前記ユーザ端末は、ディスプレイ・スクリーンと、前記認識手段によって可視的な識別情報が認識されたターゲット装置の撮像画像を蓄積する格納手段とを備え、
前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続制御手段は前記ユーザ端末と該当するターゲット装置との接続を確立する、
ことを特徴とする請求項５乃至７のいずれかに記載の情報入出力システム。 - 前記ユーザ端末は、ディスプレイ・スクリーンと、前記認識手段によって可視的な識別情報が認識されたターゲット装置の撮像画像を蓄積する格納手段とを備え、
前記格納手段から取り出された撮像画像を前記ディスプレイ・スクリーン上に一覧表示し、該一覧表示から１つの撮像画像が選択されたことに応答して、前記接続制御手段は前記ユーザ端末と該当するターゲット装置との接続を確立する、
ことを特徴とする請求項５乃至７のいずれかに記載の情報入出力システム。 - さらに、接続関係にあるユーザ端末とターゲット装置間で所定のデータ又はコマンドの転送を実現するアプリケーション手段を備えることを特徴とする請求項３に記載の情報入出力システム。
- 前記ユーザ端末はディスプレイ・スクリーンを備え、
前記接続制御手段がターゲット装置としてのプロジェクタとの接続関係を持続している期間中、前記アプリケーション手段は、前記ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することを特徴とする請求項３に記載の情報入出力システム。 - 前記ユーザ端末は、キーボード又はその他のユーザ入力手段を備え、
前記接続制御手段がターゲット装置としてのコンピュータ・システムとの接続関係を持続している期間中、前記アプリケーション手段は、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することを特徴とする請求項３に記載の情報入出力システム。 - 前記ユーザ端末はディスプレイ・スクリーンを備え、
前記接続制御手段が定期的若しくは不定期的に掲示内容が更新される掲示データを記憶するターゲット装置との接続関係を持続している期間中、前記アプリケーション手段は、該ターゲット装置から掲示データを取得して前記ディスプレイ・スクリーン上に表示することを特徴とする請求項３に記載の情報入出力システム。 - 前記接続制御手段がターゲット装置としてアラーム機能を有する機器との接続関係を持続している期間中、前記アプリケーション手段は、該ターゲット装置からのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することを特徴とする請求項３に記載の情報入出力システム。
- 前記接続制御手段がターゲット装置としてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中、前記アプリケーション手段は、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲット装置に送信することを特徴とする請求項３に記載の情報入出力システム。
- 前記ユーザ端末はディスプレイ・スクリーンを備え、
前記接続制御手段が遠隔的な制御が可能なターゲット装置との接続関係を持続している期間中、前記アプリケーション手段は、該ターゲット装置を制御するための操作画面を前記ディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲット装置に送信することを特徴とする請求項３に記載の情報入出力システム。 - ユーザの使用に供されるユーザ端末として動作するコンピュータが、前記ユーザ端末と、前記ユーザ端末とはデータ転送可能な形式で接続され且つ可視的な識別情報を含んだ１以上のターゲット装置と、前記可視的な識別情報を撮像する撮像手段とで構成される情報空間において、ユーザの入出力を処理するための情報入出力方法であって、
（ａ）前記コンピュータが備える認識手段が、前記撮像手段が撮像したターゲット装置の画像から、当該ターゲット装置が有する可視的な識別情報を認識する認識ステップと、
（ｂ）前記コンピュータが備える接続制御手段が、前記認識ステップにより認識した識別情報を基に、前記ユーザ端末と前記ターゲット装置との接続を確立するとともに、該当するターゲット装置との接続状態を制御する接続制御ステップと、
を備え、
前記接続制御ステップでは、
前記認識ステップにおいて前記ユーザ端末と現在接続中のターゲット装置と同じ可視的な識別情報を認識している間は、当該ターゲット装置との接続関係を持続するが、
前記認識ステップにおいて新たな可視的な識別情報を認識したことに応答して、前記ユーザ端末と現在接続中のターゲット装置があればその接続状態を一旦解除し、前記の新たに認識された可視的な識別情報を基に前記ユーザ端末と当該ターゲット装置との接続状態を形成する、
ことを特徴とする情報入出力方法。 - 前記情報空間はさらに前記識別情報を含むターゲットの画像を確認する画像確認手段を備えることを特徴とする請求項２３に記載の情報入出力方法。
- 前記ユーザ端末と前記ターゲット装置とはネットワーク接続され、
前記ターゲット装置はネットワーク・アドレスを有し、
前記情報空間には可視的な識別情報を該当するターゲット装置のネットワーク・アドレスに変換するデータベース手段がさらに装備され、
前記接続制御ステップ（ｂ）では、前記認識ステップ（ａ）において認識された識別情報を前記データベース手段に問い合わせることで得られたネットワーク・アドレスを指定して、前記ユーザ端末と前記ターゲット装置との接続を確立するとともに、該当するターゲット装置との接続状態を制御する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - 前記接続制御ステップ（ｂ）では、前記ユーザが接続解除を選択したことに応じて現在接続中のターゲット装置との接続状態を一旦解除する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末はディスプレイ・スクリーンを含むとともに、前記撮像手段の撮像画像を前記ディスプレイ・スクリーン上に表示し、
前記接続制御ステップ（ｂ）では、前記ディスプレイ・スクリーン上に表示されているターゲット装置が持つ可視的な識別情報が前記認識ステップ（ａ）において認識されている期間中は該ターゲット装置と前記ユーザ端末との接続関係を持続する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末はディスプレイ・スクリーンを含むとともに、前記撮像手段の撮像画像を前記ディスプレイ・スクリーン上に表示し、
前記接続制御ステップ（ｂ）により前記ユーザ端末とターゲット装置との接続関係を持続している期間中は、該ターゲット装置を撮像した画像を前記ディスプレイ・スクリーン上に維持する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末は、ディスプレイ・スクリーンと、前記識別手段によって識別されたターゲット装置の撮像画像を蓄積する格納手段とを備え、
前記格納手段から取り出された撮像画像が前記ディスプレイ・スクリーン上に表示されたことに応答して、前記接続制御ステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲット装置との接続を確立する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末は、ディスプレイ・スクリーンと、前記識別手段によって識別されたターゲット装置の撮像画像を蓄積する格納手段とを備え、
さらに、（ｃ）前記コンピュータが備える一覧表示手段が、前記格納手段から撮像画像を取り出された前記ディスプレイ・スクリーン上に一覧表示するステップを備え、
該一覧表示から１つの撮像画像が選択されたことに応答して前記接続制御ステップ（ｂ）が起動されて、前記ユーザ端末と該当するターゲット装置との接続を確立する、
ことを特徴とする請求項２３に記載の情報入出力方法。 - さらに、（ｄ）前記コンピュータが備えるアプリケーション手段が、接続関係にあるユーザ端末とターゲット装置間で所定のデータ又はコマンドの転送を実現するアプリケーション・ステップを備えることを特徴とする請求項２３に記載の情報入出力方法。
- 前記ユーザ端末はディスプレイ・スクリーンを備え、
ターゲット装置としてのプロジェクタとの接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、前記ディスプレイ・スクリーン上に表示されているページを該プロジェクタに対して投影画像として転送することを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末はキーボード又はその他のユーザ入力手段を備え、
ターゲット装置としてのコンピュータ・システムとの接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、前記ユーザ入力手段を介したユーザ入力を該コンピュータ・システム上におけるユーザ入力データとして転送することを特徴とする請求項２３に記載の情報入出力方法。 - 前記ユーザ端末はディスプレイ・スクリーンを備え、
定期的若しくは不定期的に掲示内容が更新される掲示データを記憶するターゲット装置との接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、該ターゲット装置から掲示データを取得して前記ディスプレイ・スクリーン上に表示することを特徴とする請求項２３に記載の情報入出力方法。 - ターゲット装置としてアラーム機能を有する機器との接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、該ターゲット装置からのアラームの通知を受け取って、前記ユーザ端末上でアラームを実行することを特徴とする請求項２３に記載の情報入出力方法。
- ターゲット装置としてビデオ予約機能を有するビデオ録画再生装置との接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、前記ユーザ端末上で入力されたビデオ予約情報を該ターゲット装置に送信することを特徴とする請求項２３に記載の情報入出力方法。
- 前記ユーザ端末はディスプレイ・スクリーンを備え、
遠隔的な制御が可能なターゲット装置との接続関係を持続している期間中、前記アプリケーション・ステップ（ｄ）は、該ターゲット装置を制御するための操作画面を前記ディスプレイ・スクリーン上に表示するとともに、該操作画面上でのユーザ操作を該ターゲット装置に送信することを特徴とする請求項２３に記載の情報入出力方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32767099A JP4178697B2 (ja) | 1999-11-18 | 1999-11-18 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
| US09/713,615 US7188139B1 (en) | 1999-11-18 | 2000-11-15 | Portable information processing terminal, information input/output system and information input/output method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32767099A JP4178697B2 (ja) | 1999-11-18 | 1999-11-18 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001142825A JP2001142825A (ja) | 2001-05-25 |
| JP4178697B2 true JP4178697B2 (ja) | 2008-11-12 |
Family
ID=18201671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32767099A Expired - Fee Related JP4178697B2 (ja) | 1999-11-18 | 1999-11-18 | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7188139B1 (ja) |
| JP (1) | JP4178697B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9928357B2 (en) | 2011-05-25 | 2018-03-27 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4613449B2 (ja) | 2001-06-01 | 2011-01-19 | セイコーエプソン株式会社 | 出力サービス提供システム、仮想オブジェクト管理端末、移動体、仮想オブジェクト管理端末用プログラム及び移動体用プログラム、並びに出力サービス提供方法 |
| JP4765209B2 (ja) * | 2001-07-03 | 2011-09-07 | パナソニック株式会社 | 遠隔操作システム |
| US8190695B2 (en) | 2001-08-02 | 2012-05-29 | Sony Corporation | Remote control system and remote control method, device for performing remote control operation and control method therefor, device operable by remote control operation and control method therefor, and storage medium |
| JP4363185B2 (ja) * | 2001-08-02 | 2009-11-11 | ソニー株式会社 | 遠隔操作システム及び遠隔操作方法、遠隔操作を行なう装置及びその制御方法、遠隔操作により動作する装置及びその制御方法、並びに記憶媒体 |
| US7505768B2 (en) | 2001-11-01 | 2009-03-17 | Sony Corporation | Communication system and method, information processing terminal and method, information processing apparatus and method |
| JP3680783B2 (ja) | 2001-11-01 | 2005-08-10 | ソニー株式会社 | 電子機器、通信システムおよび方法、情報処理端末および方法、情報処理装置および方法、並びにプログラム |
| JP4147796B2 (ja) | 2002-03-25 | 2008-09-10 | ソニー株式会社 | 情報画像利用システム、情報画像管理サーバ、情報画像管理方法、及び、プログラム、記録媒体 |
| JP4147795B2 (ja) | 2002-03-25 | 2008-09-10 | ソニー株式会社 | 情報画像利用システム、情報画像管理装置、情報画像管理方法、プログラム及び記録媒体 |
| JP3622913B2 (ja) | 2002-03-25 | 2005-02-23 | ソニー株式会社 | 情報画像利用システム、情報画像管理装置、情報画像管理方法、ユーザ情報画像、及び、プログラム、記録媒体 |
| JP2003323239A (ja) * | 2002-05-08 | 2003-11-14 | Sony Corp | 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム |
| US7995090B2 (en) * | 2003-07-28 | 2011-08-09 | Fuji Xerox Co., Ltd. | Video enabled tele-presence control host |
| JP4058557B2 (ja) * | 2004-02-27 | 2008-03-12 | 株式会社デンソーウェーブ | 無線通信システムおよび無線通信中継装置 |
| US8281241B2 (en) | 2004-06-28 | 2012-10-02 | Nokia Corporation | Electronic device and method for providing extended user interface |
| CN101185054B (zh) * | 2005-05-31 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 用于控制设备的方法 |
| JP4631634B2 (ja) * | 2005-09-21 | 2011-02-16 | 富士ゼロックス株式会社 | 情報出力システム及び情報出力方法 |
| US8819083B2 (en) * | 2005-12-29 | 2014-08-26 | Sap Ag | Creating new database objects from existing objects |
| US7830417B2 (en) * | 2006-08-15 | 2010-11-09 | Fuji Xerox Co., Ltd | System and method for interacting with objects via a camera enhanced mobile device |
| JP4264759B2 (ja) * | 2007-02-13 | 2009-05-20 | ソニー株式会社 | 情報処理端末および情報処理方法 |
| JP5214279B2 (ja) * | 2008-03-04 | 2013-06-19 | オリンパス株式会社 | 情報処理端末、端末選択システム |
| WO2009110204A1 (ja) * | 2008-03-05 | 2009-09-11 | パナソニック株式会社 | 機器選択制御装置 |
| US8316096B2 (en) | 2008-04-29 | 2012-11-20 | Kota Enterprises, Llc | Facemail |
| US8312087B2 (en) * | 2008-04-29 | 2012-11-13 | Kota Enterprises, Llc | Facemail |
| US9002922B2 (en) | 2008-05-15 | 2015-04-07 | Kota Enterprises, Llc | Question server to facilitate communication between participants |
| JP5176112B2 (ja) * | 2008-07-03 | 2013-04-03 | 財団法人ヒューマンサイエンス振興財団 | 制御システム及び制御方法 |
| JP4687773B2 (ja) * | 2008-11-17 | 2011-05-25 | セイコーエプソン株式会社 | プロジェクションシステム |
| US8863007B2 (en) * | 2009-04-03 | 2014-10-14 | International Business Machines Corporation | Programmatic information transfer |
| JP5263049B2 (ja) * | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
| FR2950989B1 (fr) * | 2009-10-05 | 2011-10-28 | Alcatel Lucent | Dispositif d'interaction avec un objet augmente. |
| JP5235188B2 (ja) * | 2009-12-07 | 2013-07-10 | パナソニック株式会社 | 画像撮影装置 |
| KR101080532B1 (ko) * | 2010-01-29 | 2011-11-04 | 주식회사 팬택 | 통신단말 및 그의 데이터 전송 방법 |
| JP5488011B2 (ja) | 2010-02-04 | 2014-05-14 | ソニー株式会社 | 通信制御装置、通信制御方法及びプログラム |
| US20110252328A1 (en) * | 2010-04-12 | 2011-10-13 | Jeyhan Karaoguz | System and method in a network controller for remotely monitoring and/or controlling devices |
| WO2012023930A1 (en) * | 2010-08-17 | 2012-02-23 | Empire Technology Development Llc | Remote display control |
| CN103168294A (zh) * | 2010-10-22 | 2013-06-19 | 瑞典爱立信有限公司 | 图像匹配装置和图像匹配方法 |
| US9367224B2 (en) * | 2011-04-29 | 2016-06-14 | Avaya Inc. | Method and apparatus for allowing drag-and-drop operations across the shared borders of adjacent touch screen-equipped devices |
| US9632649B2 (en) * | 2011-10-03 | 2017-04-25 | Blackberry Limited | Methods and devices to allow common user interface mode based on orientation |
| JP5987299B2 (ja) | 2011-11-16 | 2016-09-07 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
| JP2013143616A (ja) | 2012-01-10 | 2013-07-22 | Nec Access Technica Ltd | 無線通信端末、情報提供媒体、アクセスポイント、無線通信方法およびプログラム |
| US9538880B2 (en) * | 2012-05-09 | 2017-01-10 | Convotherm Elektrogeraete Gmbh | Optical quality control system |
| KR101861380B1 (ko) | 2012-07-16 | 2018-05-28 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이 |
| JP6225469B2 (ja) * | 2013-04-26 | 2017-11-08 | 株式会社ニコン | 装置、情報処理装置、方法、及び、プログラム |
| JP6179227B2 (ja) * | 2013-07-08 | 2017-08-16 | 沖電気工業株式会社 | 情報処理装置、携帯端末および情報入力装置 |
| KR101491045B1 (ko) | 2013-09-25 | 2015-02-10 | 주식회사 픽스트리 | 컨텐츠 공유 장치 및 방법 |
| JP6586274B2 (ja) * | 2014-01-24 | 2019-10-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法 |
| JP6642982B2 (ja) * | 2015-05-29 | 2020-02-12 | キヤノン株式会社 | 通信装置、通信装置の制御方法、プログラム |
| KR102573021B1 (ko) * | 2016-08-30 | 2023-08-31 | 엘지전자 주식회사 | 공항용 로봇, 그의 서비스 제공 방법을 수행하는 프로그램이 기록된 기록 매체, 및 그와 연결되는 이동 단말기 |
| DE102017209885A1 (de) * | 2017-06-12 | 2018-12-13 | BSH Hausgeräte GmbH | Drahtlose Kopplung eines Hausgeräts |
| JP2023159936A (ja) * | 2022-04-21 | 2023-11-02 | キヤノン株式会社 | 通信装置、通信システム、通信装置の制御方法およびプログラム |
Family Cites Families (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5898434A (en) * | 1991-05-15 | 1999-04-27 | Apple Computer, Inc. | User interface system having programmable user interface elements |
| US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| US5680480A (en) * | 1994-07-29 | 1997-10-21 | Apple Computer, Inc. | Method and apparatus for training a recognizer |
| US6571279B1 (en) * | 1997-12-05 | 2003-05-27 | Pinpoint Incorporated | Location enhanced information delivery system |
| JP3006448B2 (ja) * | 1995-02-09 | 2000-02-07 | 富士ゼロックス株式会社 | 情報入出力システム |
| JPH11502344A (ja) * | 1995-03-20 | 1999-02-23 | ロー テクノロジーズ | 画像を識別するための装置及び方法 |
| US6112235A (en) * | 1995-06-07 | 2000-08-29 | Spofford; Jason J. | Method and apparatus for remotely managing a network hardware device having an embedded server with a client computer across a network |
| US6408331B1 (en) * | 1995-07-27 | 2002-06-18 | Digimarc Corporation | Computer linking methods using encoded graphics |
| US6311214B1 (en) * | 1995-07-27 | 2001-10-30 | Digimarc Corporation | Linking of computers based on optical sensing of digital data |
| US6185184B1 (en) * | 1995-09-25 | 2001-02-06 | Netspeak Corporation | Directory server for providing dynamically assigned network protocol addresses |
| US6005861A (en) * | 1995-11-22 | 1999-12-21 | Samsung Electronics Co., Ltd. | Home multimedia network architecture |
| JP3743988B2 (ja) * | 1995-12-22 | 2006-02-08 | ソニー株式会社 | 情報検索システムおよび方法、並びに情報端末 |
| US5734642A (en) * | 1995-12-22 | 1998-03-31 | Cabletron Systems, Inc. | Method and apparatus for network synchronization |
| US6343313B1 (en) * | 1996-03-26 | 2002-01-29 | Pixion, Inc. | Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability |
| US5804803A (en) * | 1996-04-02 | 1998-09-08 | International Business Machines Corporation | Mechanism for retrieving information using data encoded on an object |
| US5961603A (en) * | 1996-04-10 | 1999-10-05 | Worldgate Communications, Inc. | Access system and method for providing interactive access to an information source through a networked distribution system |
| US5715413A (en) * | 1996-06-25 | 1998-02-03 | International Business Machines Corporation | Dragging and dropping with an instantiation object |
| KR100287091B1 (ko) * | 1996-08-19 | 2001-04-16 | 포만 제프리 엘 | 다수의 컴퓨터를 위한 단일 지시 장치/키보드 |
| US6523696B1 (en) * | 1996-10-15 | 2003-02-25 | Kabushiki Kaisha Toshiba | Communication control device for realizing uniform service providing environment |
| ES2291807T3 (es) * | 1997-06-25 | 2008-03-01 | Samsung Electronics Co., Ltd. | Procedimiento y aparato para controlar dispositivos en una red domestica. |
| JP3601950B2 (ja) * | 1997-09-16 | 2004-12-15 | 株式会社東芝 | 通信装置およびネットワーク情報提示方法 |
| JP4071328B2 (ja) * | 1997-11-18 | 2008-04-02 | 富士通株式会社 | 文書画像処理装置および方法 |
| US6052512A (en) * | 1997-12-22 | 2000-04-18 | Scientific Learning Corp. | Migration mechanism for user data from one client computer system to another |
| US6052456A (en) * | 1997-12-23 | 2000-04-18 | Alcatel Usa Sourcing, L.P. | Graphical shelf navigator for a telecommunications switch management system |
| US6216131B1 (en) * | 1998-02-06 | 2001-04-10 | Starfish Software, Inc. | Methods for mapping data fields from one data set to another in a data processing environment |
| CN1115824C (zh) * | 1998-05-07 | 2003-07-23 | 三星电子株式会社 | 网络中的装置对装置命令与控制的方法和*** |
| US6570606B1 (en) * | 1998-05-29 | 2003-05-27 | 3Com Corporation | Method and apparatus for controlling transmission of media signals over a data network in response to triggering events at participating stations |
| US6340114B1 (en) * | 1998-06-12 | 2002-01-22 | Symbol Technologies, Inc. | Imaging engine and method for code readers |
| US6363422B1 (en) * | 1998-06-24 | 2002-03-26 | Robert R. Hunter | Multi-capability facilities monitoring and control intranet for facilities management system |
| TW548572B (en) * | 1998-06-30 | 2003-08-21 | Sony Corp | Image processing apparatus, image processing method and storage medium |
| US20010021950A1 (en) * | 1998-07-10 | 2001-09-13 | Michael Hawley | Method and apparatus for controlling access to a computer network using tangible media |
| US6353848B1 (en) * | 1998-07-31 | 2002-03-05 | Flashpoint Technology, Inc. | Method and system allowing a client computer to access a portable digital image capture unit over a network |
| KR100715879B1 (ko) * | 1998-07-31 | 2007-05-09 | 소니 가부시끼 가이샤 | 정보 처리 장치, 정보 처리 방법 및 매체 |
| US6549933B1 (en) * | 1998-08-04 | 2003-04-15 | International Business Machines Corporation | Managing, accessing, and retrieving networked information using physical objects associated with the networked information |
| US7010603B2 (en) * | 1998-08-17 | 2006-03-07 | Openwave Systems Inc. | Method and apparatus for controlling network connections based on destination locations |
| EP0984349B1 (en) * | 1998-08-31 | 2008-11-05 | Sony Corporation | Image processing |
| EP0984385B1 (en) * | 1998-08-31 | 2013-02-20 | Sony Corporation | Two-dimensional code recognition processing |
| US20010042788A1 (en) * | 1998-08-31 | 2001-11-22 | Keigo Ihara | Image processing apparatus, image processing method and image processing program storage medium |
| US6924781B1 (en) * | 1998-09-11 | 2005-08-02 | Visible Tech-Knowledgy, Inc. | Smart electronic label employing electronic ink |
| US6526449B1 (en) * | 1998-09-11 | 2003-02-25 | Digital Convergence Corporation | Method and apparatus for controlling a computer from a remote location |
| US6155840A (en) * | 1998-09-18 | 2000-12-05 | At Home Corporation | System and method for distributed learning |
| US6751648B2 (en) * | 1998-10-06 | 2004-06-15 | Canon Kabushiki Kaisha | System for sharing image input device on network |
| US6169725B1 (en) * | 1998-10-30 | 2001-01-02 | Sony Corporation Of Japan | Apparatus and method for restoration of internal connections in a home audio/video system |
| US6374296B1 (en) * | 1998-11-25 | 2002-04-16 | Adc Technologies International Pte Ltd | Method and system for providing cross-platform remote control and monitoring of facility access controller |
| US6559882B1 (en) * | 1999-09-02 | 2003-05-06 | Ncr Corporation | Domestic appliance |
| US20020000468A1 (en) * | 1999-04-19 | 2002-01-03 | Pradeep K. Bansal | System and method for scanning & storing universal resource locator codes |
| US6523064B1 (en) * | 1999-04-29 | 2003-02-18 | Mitsubishi Electric Research Laboratories, Inc | Network gateway for collecting geographic data information |
| US6317639B1 (en) * | 1999-06-08 | 2001-11-13 | Magee Scientific | Automatic wireless data reporting system and method |
| US6615088B1 (en) * | 1999-06-09 | 2003-09-02 | Amx Corporation | System and method of device interface configuration for a control system |
| US6463343B1 (en) * | 1999-08-10 | 2002-10-08 | International Business Machines Corporation | System and method for controlling remote devices from a client computer using digital images |
| US6721802B1 (en) * | 1999-08-12 | 2004-04-13 | Point2 Technologies Inc. | Method, apparatus and program for the central storage of standardized image data |
| US6546385B1 (en) * | 1999-08-13 | 2003-04-08 | International Business Machines Corporation | Method and apparatus for indexing and searching content in hardcopy documents |
| US6732915B1 (en) * | 1999-09-10 | 2004-05-11 | Fuji Xerox Co., Ltd. | Systems and methods for controlling a presentation using physical objects |
| US6798349B1 (en) * | 1999-10-04 | 2004-09-28 | Xerox Corporation | Passive microwave tag identification system |
| US6625812B2 (en) * | 1999-10-22 | 2003-09-23 | David Hardin Abrams | Method and system for preserving and communicating live views of a remote physical location over a computer network |
| US6714977B1 (en) * | 1999-10-27 | 2004-03-30 | Netbotz, Inc. | Method and system for monitoring computer networks and equipment |
| US6661438B1 (en) * | 2000-01-18 | 2003-12-09 | Seiko Epson Corporation | Display apparatus and portable information processing apparatus |
| US6522347B1 (en) * | 2000-01-18 | 2003-02-18 | Seiko Epson Corporation | Display apparatus, portable information processing apparatus, information recording medium, and electronic apparatus |
| GB0004065D0 (en) * | 2000-02-21 | 2000-04-12 | Hewlett Packard Co | Portable information capture devices |
| WO2002017560A2 (en) * | 2000-08-18 | 2002-02-28 | Sage Systems, Inc. | Autonomous local area distributed network |
| EP1217475B1 (en) * | 2000-12-13 | 2005-10-26 | Lg Electronics Inc. | Apparatus and method for remotely controlling household appliances |
| US20030037341A1 (en) * | 2001-08-17 | 2003-02-20 | Van Der Meulen Pieter Sierd | System for remotely controlling consumer electronics using a web-cam image |
| JP3918813B2 (ja) * | 2001-10-23 | 2007-05-23 | ソニー株式会社 | データ通信システム、データ送信装置、並びにデータ受信装置 |
-
1999
- 1999-11-18 JP JP32767099A patent/JP4178697B2/ja not_active Expired - Fee Related
-
2000
- 2000-11-15 US US09/713,615 patent/US7188139B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9928357B2 (en) | 2011-05-25 | 2018-03-27 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| US7188139B1 (en) | 2007-03-06 |
| JP2001142825A (ja) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4178697B2 (ja) | 携帯型情報処理端末、情報入出力システム及び情報入出力方法 | |
| Kohtake et al. | InfoStick: an interaction device for Inter-Appliance Computing | |
| JP4332964B2 (ja) | 情報入出力システム及び情報入出力方法 | |
| JP5398728B2 (ja) | 情報処理装置、情報処理方法、記録媒体、及び集積回路 | |
| EP2778881B1 (en) | Multi-input control method and system, and electronic device supporting the same | |
| JP4645090B2 (ja) | 共用インタラクティブ環境で情報を交換するための方法、システム及びプログラム | |
| US7970870B2 (en) | Extending digital artifacts through an interactive surface | |
| US20110047466A1 (en) | Modelling relationships within an on-line connectivity universe | |
| Booth et al. | The" mighty mouse" multi-screen collaboration tool | |
| US20070263082A1 (en) | Electronic Conference Support Device, Electronic Conference Support Method, and Information Terminal Device of Electronic Conference System | |
| US20110307800A1 (en) | Methodology for Creating an Easy-To-Use Conference Room System Controller | |
| KR101733115B1 (ko) | 원격 스크린내 콘텐츠 원격 제어 방법 및 장치 | |
| EP2291723B1 (en) | System and method for controlling devices and information on network by using hand gestures | |
| Kohtake et al. | Infopoint: A device that provides a uniform user interface to allow appliances to work together over a network | |
| JP2003052093A (ja) | 機器の遠隔制御装置および機器の遠隔制御システム | |
| JP2001136504A (ja) | 情報入出力システム及び情報入出力方法 | |
| WO2013104053A1 (en) | Method of displaying input during a collaboration session and interactive board employing same | |
| Rekimoto | Multiple-computer user interfaces: " beyond the desktop" direct manipulation environments | |
| JP2001109570A (ja) | 情報入出力システム及び情報入出力方法 | |
| WO2024066538A1 (zh) | 显示设备和显示设备控制方法 | |
| Kohtake et al. | u-photo: A snapshot-based interaction technique for ubiquitous embedded information | |
| JP2001084127A (ja) | クライアントとホスト間での情報内容の伝達 | |
| Lee et al. | A unified remote console based on augmented reality in a home network environment | |
| Cardoso et al. | Interaction tasks and controls for public display applications | |
| Lee et al. | Gesture-based interface for connection and control of multi-device in a tabletop display environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |