JP4164423B2

JP4164423B2 - センシング部とポインティングデバイスとを含み構成される装置

Info

Publication number: JP4164423B2
Application number: JP2003306970A
Authority: JP
Inventors: 敏彦尾内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2008-10-15
Anticipated expiration: 2023-08-29
Also published as: WO2005022373A2; US20070070358A1; JP2005078303A; WO2005022373A3; US7446861B2

Description

本発明は、電磁波を空間に伝搬させて物体の任意空間内で指定した物体の位置を検出する物体情報センシング装置、ポインティングデバイス、これらを用いたインターフェース装置などに関する。

今後のユビキタス時代の到来により、様々な場所やシーンで情報機器にシームレスに情報入力したり、それを操作したりする必要性が出てきている。特に、物体や人体の任意空間での位置情報、移動、ポインティング情報の入出力装置は使いやすいユーザーインターフェースを構築する上で重要である。

例えば、表示デバイスやプロジェクタ投影画面上でのペン入力および指入力としては、従来、インターフェース部に接触させるか非常に近接して操作するものが開発されており、赤外線方式のペン入力装置が提案されている（特許文献1参照）。ここでは、スクリーンの外側筐体の赤外線発光機からの光がスタイラスペンにより反射され、受光機でその反射光の見込み角によりペンの位置を同定できるようになっている。この場合、スクリーン上には構造体を必要としないため、大画面化できることや表示装置との干渉がないことが利点として挙げられる。

一方、離れた位置での操作には、リモコンが古くから使用されているが、操作する機能は限られ、精度の高い位置情報取得は難しい。空間において位置を検出するには、例えば車載レーダがある（特許文献2参照）。ここでは、レーザ光またはミリ波などの電磁波パルスを用いて、対象物からの反射波が検出されるまでの時間差に基づいて物体までの距離を測定することができる。
特開平8-249112号公報特開平9-318737号公報

しかしながら、上記に記載の赤外線方式のペン入力装置では、光が遮られると検出ができなくなる問題があり、また基本的にはスクリーン面上で操作する必要がある。また、レーザレーダ、ミリ波レーダを用いる方式は、自由空間での測距が可能になるが、乗り物や屋外などで使用する大型装置は開発されているものの、ユーザーインターフェース用の小型で軽量なものは検討されていない。特に、ミリ波などの電波方式で光よりも障害物耐性のあるものがユビキタス環境でのリモートな入出力インターフェース装置には必要になる。

上記課題に鑑み、本発明のセンシング部とポインティングデバイスとを含み構成される装置は、次の特徴を有する。前記ポインティングデバイスは、電磁波を反射するための反射部を有し、前記センシング部は、電磁波を発生させるための発生部と、前記反射部で反射した電磁波を検出するための検出部と、前記検出部が前記電磁波を検出する時間あるいは前記検出部からの信号と前記発生部からの信号とをミキシングする時間を遅延するための遅延部と、前記反射部で反射する電磁波の予め決められた波形パターンあるいは反射エコーパターンを予め記憶するための記憶部と、を有し、前記遅延部を用いて得られる、前記反射部で反射した電磁波の時間波形に関する情報を取得し、前記記憶部が記憶している情報を用いて、前記時間波形に関する情報から前記反射部で反射した電磁波に関する情報を分離し、前記反射部で反射した電磁波が、前記発生部から発生して前記検出部で検出されるまでの時間から、前記センシング部と前記ポインティングデバイスとの相対位置を取得する。
また、本発明の他のセンシング部とポインティングデバイスとを含み構成される装置は、次の特徴を有する。前記ポインティングデバイスは、電磁波を反射するための反射部を有し、前記センシング部は、数１００フェムト秒から数ピコ秒の範囲のうち、少なくとも一部の範囲のパルス幅を持つ電磁波パルスを発生させるための発生部と、前記反射部で反射した電磁波パルスを検出するための検出部と、前記検出部が前記電磁波パルスを検出する時間を遅延するために、前記検出部に照射する光の行路の長さを変えるための光遅延素子と、前記反射部で反射する電磁波パルスの予め決められた波形パターンあるいは反射エコーパターンを予め記憶するための記憶部と、を有し、前記光遅延素子を用いて得られる、前記反射部で反射した該電磁波パルスの時間波形に関する情報を取得し、前記記憶部が記憶している情報を用いて、前記時間波形に関する情報から前記反射部で反射した電磁波パルスに関する情報を分離し、前記反射部で反射した電磁波パルスが、前記発生部から発生して前記検出部で検出されるまでの時間から、前記センシング部と前記ポインティングデバイスとの相対位置を取得する。

この基本的な構成に基づいて、以下の様なより具体的な態様が可能である。
前記電磁波は、例えば、連続的に発生する電磁波パルスである。この場合、電磁波パルスは半値幅が１０^−１１秒以下でテラヘルツ領域までのフーリエスペクトルを含んでいれば、精度の良い物体情報センシングが可能となる。

また、前記発生手段は半導体パルスレーザと光伝導素子を備え、該半導体パルスレーザの光出力の一部を装置内の可変遅延手段で遅延させて、前記物体からの反射電磁波パルスとの自己相関信号が得られるように遅延量を制御することで遅延時間を計測して前記相対位置を検知する様にできる。

更に、上記課題に鑑み、本発明のポインティングデバイスは、物体情報センシング装置に対して用いられるポインティングデバイスであって、該物体情報センシング装置からの電磁波を反射させる反射手段を有し、該反射手段の反射状態は操作部により変化させられることを特徴とする。

この基本的な構成に基づいて、以下の様なより具体的な態様が可能である。
前記反射手段は、物体情報センシング装置側でそれぞれの多層膜界面で反射された複数の反射電磁波の重ね合わせ波形の違いによって該反射手段を特定できる様に、所定の誘電率と膜厚を持つ誘電体多層膜を含む様にできる。

また、前記反射手段は、物体情報センシング装置側で該反射手段で反射された電磁波の波形によって該反射手段を特定できる様に、アンテナとLC共振回路を含む様にもできる。この場合、共振回路の共振周波数を可変にすることもできる。

更に、上記課題に鑑み、本発明のインターフェース装置は、任意の限られた空間に複数の上記の物体情報センシング装置を設置して、上記のポインティングデバイスの反射手段部分の該空間内の位置を検知および入力することを特徴とする。あるいは、本発明のインターフェース装置は、電磁波発生手段を内蔵したポインティングデバイスからの電磁波の、電磁波を検出する手段を備える複数の物体情報センシング装置までの到達時間変化により該ポインティングデバイスの電磁波発生手段部分の任意空間上の位置を検知および入力することを特徴とする。

こうしたインターフェース装置では、以下のごとき構成にもできる。
ディスプレイ装置で表示された映像の任意の位置を上記反射手段または電磁波発生手段を有するポインティングデバイスで選択することで、表示情報を選択、変更すること、または情報入力することができる。

また、上記物体情報センシング装置を小型集積化して、ディスプレイ装置に複数集積化させて、ポインティングデバイスにより表示情報を選択、変更すること、または手書き情報入力をすることもできる。また、上記物体情報センシング装置を小型集積化して複数を一体化させた装置をポインティングデバイスを操作する人間の近傍に置いて、ディスプレイ装置やパーソナルコンピュータなどの情報機器と接続して該ポインティングデバイスにより表示情報を選択、変更すること、または手書き情報入力をすることもできる。

さらには、上記ポインティングデバイスを人間の体の一部に身に付けて操作することもできる。上記ポインティングデバイスを操作するとともに、任意の位置を指定または情報入力する際に、振動などの触覚信号を、操作する人間に与える様にもできる。

本発明による物体情報センシング装置によって、空間の任意の点から電磁波によってリモートで情報入力するポインティングデバイス、インターフェース装置を構成することができる。また、情報機器との情報のやり取りを自由空間で行うことができる小型で軽量なポインティングデバイスを含むインターフェース装置を提供できる。とくに、ミリ波・テラヘルツ領域のフーリエ周波数を含む電磁波を用いた場合には、1mm以下の位置精度で遮蔽物の影響が少ないリモート入力インターフェースが可能となる。部屋内の大画面ディスプレイ、携帯型のディスプレイなどに、接触、非接触を問わず手書き情報入力や選択操作などが可能となり、より快適なユーザーインターフェースを提供できる。

本発明では、典型的には、マイクロ波〜テラヘルツ領域の電磁波を用いて小型で近距離用のセンシング装置、および反射手段を持ったポインティングデバイスによって使い勝手に優れたユーザーインターフェースを提供するものである。電磁波を用いて距離を計測する基本原理は幾つかあるが、ここでは、例えば図1のように発生器6から発信される電磁波パルス14と、反射部4から反射して検出器8に戻ることで受信される受信パルスとの遅延時間から演算する方式を用いる。そのとき、センシング装置内で遅延器10を持っていれば、遅延時間をスキャンしながら受信パルス15との相関出力を検出することで遅延時間を同定することができる。

電磁波としては、半導体モードロックレーザと光伝導素子を用いてpsecオーダーの超短パルスを発生させる方法がある（図5の例を参照）。この場合、後に詳しく述べるが、100μｍ程度の精度で位置情報入力を行うことができる。インターフェースとして用いる場合には、複数のポインティングデバイスを分離して検出できることが望ましいが、例えば反射部分に誘電多層膜を用いて、各界面での反射エコーパターンにIDを持たせれば分離が可能となる。そのためには、ポインティングデバイスの多層膜の誘電率や厚さをそれぞれ異なるように設定しておけばよい（図6の例を参照）。

また、別の電磁波発生方法としては、ウルトラワイドバンド(UWB：パルス幅約1nsec、周波数帯域3.1〜10.6GHz)方式を用いてもよい。この場合には、受信器と発信器をSi-ICとして集積することが可能であり、小型、低消費電力にすることができる。このときに、複数のポインティングデバイス間の識別としては、反射部分にアンテナとLC共振回路を用い、個体間で共振周波数を異ならせておけば、反射パルスの波形によって区別することができる。

この様な装置を建物の部屋内などの任意の空間において動作させる場合、部屋の壁や天井などに複数台のセンシング装置を設置しておき、それぞれポィンティングデバイスの反射部からの反射電磁波によって距離を測定して、それらの結果を総合的に演算することで3次元的な位置を同定する（図3の例を参照）。

この様なリモート操作で情報入力する装置として、部屋内に設置した大画面ディスプレイ、壁やスクリーンに投影するプロジェクタ、ポータブルな薄型ディスプレイ装置などがある。ポータブルディスプレイの場合には、高々1ｍ範囲内の位置検知ができればよいのでセンシング装置を小型化してディスプレイの筐体に埋め込むこともできる。また、この様な位置検知装置をカード型に実装し、パソコンなどの情報機器に接続してそのカード近傍の空間を用いたリモート手書き入力として機能させることもできる（図9の例を参照）。

以下により具体的な実施例について述べていく。基本的には、マイクロ波〜テラヘルツ波の領域の電磁波を用いるが、他の波長帯、例えば光のような電磁波や、超音波などを用いた場合や、これらを混合した場合にも方式としては流用できる。

本発明による実施例1では、会議室や家庭の居間等の空間において任意の点の位置情報入力を行うポインティングデバイスを含むマンマシンインターフェース装置に適用するものである。

ポインティングデバイスによる位置情報入力方法について図1を用いて説明する。ポインティングデバイス1は本体2、スイッチ3、反射部4から成り、図に示したようにペン型のスティック状の形態が好適に用いられるが、勿論この形状は任意のもので構わない。例えば、図1(b)の1”のように指サック型や指輪、腕輪型など、簡単に身に付けられる形態でもよいし、もしくは衣服に取り付ける形でもよい。電磁波の反射を行う反射部4は本実施例では金属の球状のものを用いる。または、図1(b)のように円錐状の反射部4’を用いたものでもよく、これら反射部4、4’、4”は本体2、2’、2”の下部、上部（図1(b)）、側面等いずれでも構わない。スティック状の本体に設けられたスイッチ3、3’はこの金属反射部を図2に示したようにメカニカルに出し入れする動作を行う。したがって、スティック状のポインティングデバイスにおいては電子回路や電源が一切必要ないものにすることができる。この金属反射部4が出ているときに電磁波の反射が行われ、スイッチ3を押した時点での空間位置が同定できるようになっている。また、金属反射部4が出ている状態でポインティンデバイスを操作すれば、その3次元的に連続する軌跡をセンシング装置5に入力することができる。

物体の情報である反射部4の位置は、図1(ｃ)に示したように、電磁波の送信パルスと受信パルスの伝搬遅延時間τを検知することで求められる。反射部4との相対位置を検知する物体情報センシング装置5は、電磁波パルス発生器6、電磁波パルス14を空間に放出するアンテナ7、反射部4からの反射パルス15を受信するアンテナ9、検出器8、遅延器10で発信パルスを遅延させたものと受信パルスをミキシングするミキサ11、実際に遅延時間τから距離を同定する演算器12から構成される。場合によっては種々のデータをメモリしておく記憶部13があってもよい。これらは1つの筐体内に一体化したり、集積化したりすることができるが、必ずしもすべてが1つに収められていなくてもよい。ミキサ11の出力は、発信パルスを時間遅延させた信号と受信パルスのタイミングが一致したところで最大出力が得られるようになっており、演算器12によって遅延器10による遅延量を掃引制御しながらこの出力をモニタすることで電磁波の伝搬遅延時間を同定し反射部4までの距離を検知できる。

このとき、発生器6からの電磁波パルスの出力を1kHz〜100kHz程度の低周波で変動させておき、ミキサ11の出力をさらにその低周波信号とのミキシング出力として取り出す周知の同期検波技術を用いてもよい。電磁波パルスの発生周期やパルスの位置（位相）もまた演算部12で制御できるようになっており、必要に応じて障害物などによるマルチパスなどの影響を除去してS/Nの向上を行うことができる。すなわち、一定周期の場合は、反射部4以外の反射によるノイズ成分や、壁などで反射したパルスなどによる複数のエコーなどとの分離が難しいが、予め決められたパターンで周期を変動させれば、それに応じて遅延器10の制御も行うことで、信号分離が可能になる。その決められたパターンは記憶部13にメモリしておき、必要に応じてアクセスすることで距離演算処理を行う。反射部4までの距離dは電磁波が光速cで空間を伝搬するとして、
ｄ＝τc/2 （1）
で求めることができる。

次に、ポインティングデバイス1により位置入力する場合の、空間分解能および応答速度について説明する。応答速度については、遅延器10の遅延量を掃引制御するときの周期で律速されている。後で説明するようなフローチャートに従って適宜初期位置設定を行えば、遅延量の掃引制御範囲を最小限に設定してミリセカンド(ｍsec)以下のサンプリングレートにすることが可能である。例えば、ユーザーインターフェースとして用いることを考えると、人間が1ｍsec以内に動かす範囲は高々1ｃｍ程度（36ｋｍ/hour）と考えられるので、1ｍｍ精度でサンプリングしたい場合には100μsecのサンプリングレートもあれば十分である。1ｍｍの距離差にあたる遅延時間は（1）式より6.7psecであり、これを検知するためには、おおよそこの2倍の13psecの遅延量を100μsec毎に掃引できればよいと考えられる。勿論、同期検波の周期や電磁波パルスの発信周期はこれよりも速いすなわち10kHz以上である必要がある。ここでは同期検波の周期として100kHz、電磁波パルスの周期として80MHzを用いた。

空間分解能については、主に電磁波パルスのパルス幅が決めている。1ｍｍ精度の場合には（１）式から遅延時間6.7psecの精度で測定できる必要があるが、パルス半値幅の1/5程度まで信号分離が可能であるとすると、約33psecの半値幅を持つパルスで十分である。逆に、3psec程度のパルスであれば100μｍ程度の位置検知が可能になる。

次に、実際に任意の空間において使用する例を図3を用いて説明する。本実施例による物体情報センシング装置は、31a〜dのように或る空間30を持つ部屋の4隅の天井に据付けられている。4つの物体情報センシング装置31a〜dによって検出されたポインティングデバイス1の反射部の位置および状態は、信号配線33で中央演算装置32に集められて3次元的な位置を計算する。人体で電磁波が遮られて通信不能になったり、位置精度を向上させたりするために4つ程度あることが望ましいが、より少ない装置で構成しても構わない。また、据付位置は必ずしも天井である必要はなく、壁や床あるいは吊り下げられた形態でもよい。使用可能範囲は、物体情報センシング装置31a〜dの据付位置と発信パルスの放射角qで決まる。電磁波の放射は指向性の高いビームで放射して、放射角qの範囲でビームをスキャンする形でもよい。この場合のスキャンは、アンテナをフェーズドアレイアンテナにして位相制御で行ったり、アンテナをMEMS（Micro-Electoric-Micro-System）上に作製してメカニカルに動かす方式などで行うことができる。

ポインティングデバイス1は部屋の使用可能範囲内で人間が操作するものであり、本実施例では中央演算装置32の結果を伝送して部屋内の壁掛けテレビ34の画面内の任意の点を離れたところから選択したり、手書き入力35をしたりできる。選択する機能は画面内メニューのボタンをクリックすることなどに用いる。図1(b)に示した指サック型の場合は指の動きに応じて入力を行うことができる。映像装置としてはプロジェクタで壁のスクリーン等に投影する形のものでもよい。ポインティングデバイス1には、映像装置からの信号伝送も行って、手書きやクリックの状態に応じて静電気や振動を与えることなどによる触覚デバイス機能を持たせてもよい。この場合にはポインティングデバイス1に電源が必要になる。

位置検出する場合の簡単なフローチャートを図4に示す。ポインティングデバイス1のスイッチをoffしている状態では反射電磁波がない状態なのでアイドリング（待機状態）になっている。最初にスイッチをonしたときには、使用可能範囲全体に対して遅延器10の時間遅延量を大きく掃引する必要があるので（例えば2ｍの範囲とすると約13nsec）、位置検知には時間がかかり、100ｍsec程度の時間でゼロ点を認識する（ステップ3）。その後連続して反射電磁波がある場合には遅延時間の掃引量を少なく（例えば10psec）できるので、逐次ゼロ点補正しながら100μsec間隔で位置のサンプリングを行う（ステップ4乃至6）。スイッチoffしたときにはアイドリング状態に戻る（ステップ1）。

このように、電磁波反射機能を備えたポインティングデバイスおよび物体情報センシング装置をインタラクティブに接続できるようにシステム化して、映像装置とのリモートな入出力機能を持つインターフェース装置を実現できる。ここでは、パルス幅の狭い電波を用いる方式を中心に行っているが、コヒーレンスの高い電波（連続波）を用いてその干渉によって測定することもできる。この場合、例えば、CW（連続）のミリ波、テラヘルツ波は、2台の半導体レーザの光をミキシングしてビート周波数を電磁波に変換することで得られ、半導体レーザの波長を注入電流によって変化させれば波長可変にできる。

本実施例においては、一体化された物体情報センシング装置およびこれに適したポインテンィングデバイスの反射部の構成の具体例を示すものである。実施例1で説明したように100μｍオーダの位置精度を得るためには、ピコセカンドオーダーの電磁波パルスが必要になる。そこで、図5のような光伝導素子41、44にパルスレーザを照射して発生する方法が好適に用いられる。光伝導素子41、44は、半絶縁性GaAs基板にMBEで250℃で低温成長したノンドープのLT-GaAsを1.5μｍ成長して、さらにその表面に電磁波と空間との結合を高くするために中心部に5μｍのギャップをもつTi/Auからなるボータイアンテナ43、46が形成された構造となっており、反対側の表面には集光効率を上げるためにSi半球レンズ42、45が接着されている。

100フェムトから1ピコ秒程度のパルス幅を持つパルスレーザとしてモードロックレーザ40を用い、その出力をビームスプリッタ47で分岐してアンテナ43に30V電源50の電界を印加した発信器としての光伝導素子41に照射すると、数100フェムトから数ピコ秒のパルス幅を持つ電磁波パルスが発生する。これを軸外し放物面鏡49でビーム調整して空間に放射させれば、位置検知用の発信パルスとなる。このパルスはテラヘルツ領域のフーリエ周波数を含んだ広帯域電磁波となる。反射パルスは同一構造の光伝導素子44で検出される。このとき、アンテナ46の両端に流れる電流を抵抗51の両端電圧の出力として取り出すが、同時に光が照射されて、光キャリアが発生しているタイミングでのみ電磁波パルスの電界の強さに応じた出力が得られる。従って、光行路を変動させる光遅延素子46が図1の遅延器10に相当し、反射ミラー48で遅延光パルスと電磁波パルスを同時に照射することで、光伝導素子44は図1の検出器8とミキサ11を合わせた機能を持つことになる。ここでは、図1のアンテナ７、９の機能を有するものとして、レンズ４２、４５や反射ミラー４９も合わせた形で電磁波の放射、受信制御を行っている。

この様な装置を一体化して、物体情報センシング装置を構築することができる。パルスレーザとしてはチタンサファイア結晶や光ファイバを用いたモードロックレーザが安定しているが、より小型化するために過飽和吸収領域をもつ半導体モードロックレーザなどを用いてもよい。また、光伝送路として光ファイバを用いたり、光伝導素子と光導波路を同一基板上に集積化させることで、より小型で安定したセンシング装置を実現することができる。

一方、この様なテラヘルツ領域にまで及ぶ電磁波パルスを用いた場合、ポインティングデバイスの反射部として図6のように多層膜構造にすると、その界面による反射で複数の反射エコーパルスが得られる。図6は反射部のみの断面構造を表している。入射電磁波パルスIが来ると、金属球（中心部）60の表面に堆積した誘電体61、62、63の界面でそれぞれｒ4、ｒ3、ｒ2、ｒ1の反射パルスが発生する。それぞれの膜厚dやその誘電率を変えたものを複数揃えておくことで、最も速く到達するｒ1の反射パルスに対するエコーパルスの時間差ｔ1、ｔ2、ｔ3を、その数も含めて固有値を複数のポインティングデバイスに対して割り当てることができる。すなわち、同一の部屋で複数の人間が個別の反射部を持つポインティングデバイスで操作する場合に、個人毎の情報を分離して検知することができる。あるいは、1人の人間が身体の複数箇所にポインティングデバイスを取り付けてその動き検出することも可能となる。したがって、図1に示す記憶部13に、各IDが割り振られたポインティングデバイスの反射エコーパルスのパターンをメモリしておき、演算部12でパターンマッチングを行えば、どのポインティングデバイスからの信号が検知されているかが認識できるとともに、S/Nの向上にもつながる。

このとき1psecのパルス幅をもつ電磁波パルスであれば、比誘電率εが約6の厚さ50μｍの誘電体を用いたとして、表面と裏面で約0.8psecの時間差のエコーパルスが発生する（（１）式で分母に√εが入る）ので分離して認識できる。同様に厚さや誘電率を変えればこのエコーパルスの時間差を変えることができる。これは、100psec程度のパルスを用いている場合には厚さが5ｍｍ程度の誘電体が必要になるので実用的ではなく、あくまで本実施例のようにピコ秒オーダーの短パルスを用いる場合に有効である。

本発明のインターフェース装置は、規格が策定されつつあるウルトラワイドバンド（UWB）方式（3.1〜10.6GHz；位置検出IEEE802.15.4、高速無線通信IEEE802.15.3a）を用いることもできる。この方式では1ナノ秒程度のパルス幅の電磁波パルスを用いるため、1台の物体情報センシング装置では距離精度としては2〜3ｃｍであるが、複数台を併用すれば精度を向上させることができる。すなわち、実施例1の図3のようなシステムに適用することができる。UWB方式では発信器、受信器がSi-ICで実現できるため非常に小型の回路で構成できる。すなわち、図1のような構成の物体情報センシング装置の電子回路部分を3ｍｍ角程度の１チップに収めることができ、1ｃｍ程度の広帯域アンテナをハイブリッド実装させたMIC（マイクロ波IC）構成にすることができる。

ポインティングデバイスの反射部は実施例1のような金属球でもよいが、小型アンテナを含むLC共振回路によって時間遅延および周波数分散を伴った反射回路を用いてもよい。電磁波パルスは広いフーリエ周波数スペクトルを含んでいるため、共振回路で特定の周波数成分のみ強く反射されれば時間波形が変化することになる。したがって、共振周波数をポインティングデバイスによって個別に設定すれば、ID機能を持たせることができる。または、共振回路に容量可変コンデンサを組み込んで共振周波数を可変にしてもよい。このとき、図1のポインティングデバイス1のスイッチ3で動かせるようなメカニカルな容量可変コンデンサを用いれば、反射電磁波の波形をスイッチによって変化させることもできる。

さらに、このように非常に小さくまた消費電力を下げることもできるため、ポインティングデバイス側に発信器を備えることもできる。図7はそのような場合で、ポインティングデバイス70は、先端に反射部ではなく小型の発信器71を埋め込み、電磁波パルス72を伝搬させて、受信器を含む距離演算部73a〜dでそれぞれの到達時間差から発信器71の空間的位置を中央演算部74にて計算することになっている。この場合は、まず、空間内のゼロ点にあたるところ76の位置を決めておき、そこでゼロ点調整することで絶対位置を知ることができる。75はディスプレイである。このように発信器と受信器が離れたシステムでも、3次元空間内の位置情報の入力を行うインターフェース装置を実現できる。

また、複数のポインティングデバイスを同時に用いる場合に、各発信器から発生するパルスの周期パターンが異なるものを用いれば、それぞれを区別して検知することができる。すなわち、各発信器に、固定パターンのパルス位置変調された発信パルスを発生させるようにさせておき、各ポインティングデバイス毎のパターンを図1の記憶部13にメモリしておいて、パターンマッチングを行うことで各ポインティングデバイスの認識を行えばよい。

本発明による実施例4は、図8のような薄型の携帯型ディスプレイの入力装置に用いるものである。近年、液晶、ELディスプレイ、電子ペーパーなどの薄型、小型化が進み、フレキシブル性に富むものが開発されつつあり、そのような画面へのペン入力の需要も高まりつつある。本発明による物体情報センシング装置を小型化して、ディスプレイ80の枠に81a〜cのように実装すれば、スイッチ84及び反射部83を有するペン型のポインティングデバイス82によって手書き入力等を行うことができる。その場合、画面側に特別の構造を作り込まなくてもよいため、本来のディスプレイ性能を引き出して低コスト化、大画面化できるとともに、赤外線方式に比べると指などで遮光した場合の検知耐性を強くすることができる。それは、波長1μｍ程度の赤外線よりは、1ｍｍ弱の波長を持つマイクロ波〜テラヘルツ領域の電波の方が回折の効果による回り込みが大きくなるからである。

この方式の場合は、いままでの実施例と同様にディスプレイ装置から離れたところからリモート入力することができる。すなわち画面部分に接触しなくてもよく、離れた位置からでも操作が可能である。

ここではディスプレイ80の枠に物体情報センシング装置81a〜cを組み込む場合を示しているが、図9のように複数のセンシング部92a〜cを一体化してカード型91にしたものを、操作する人間の近傍に置いて、ポインティングデバイス90との情報のやり取りを行ってもよい。このカード91は、さらに別の情報機器、例えばパソコン95、テレビなどの家電、液晶プロジェクタ、携帯電話、ヘッドマウントディスプレイなどと接続して、その情報機器とのインターフェースとして機能させることができる。パソコン95とカード91は例えばUSBケーブル93などで接続することができるが、無線接続してもよい。この様なカード型の場合には簡単に持ち運びができ、使用する機器に手軽に接続して画面94上にリモートで手書き入力等ができる。

なお、本実施例においても、映像装置などの情報機器からの信号伝送を行って、ポインティングデバイス90を介して振動などの触覚機能を与えることも可能である。

本発明による位置情報入力の方法例を説明する図である。本発明に用いるポインティングデバイスの例を説明する図である。部屋内で位置情報入力を行う実施例1のインターフェース装置の全体斜視図である。実施例3において位置検知を行うためのフローチャートである。電磁波パルスによる発生、検出を行うための装置の実施例2の構成例を示す図である。ポインテシングデバイスの多層膜反射部を説明する図である。部屋内で位置情報入力を行うインターフェース装置の実施例3を説明する斜視図である。本発明による実施例4の手書き入力付ディスプレイ装置の斜視図である。本発明による実施例4の手書き入力インターフェースの別の方式を説明する斜視図である。

符号の説明

1、1’、1”、70、82、90‥ポインティングデバイス
2、2’、2”‥ ポインティングデバイス本体
3、3’、84‥スイッチ
4、4’、4”、71、83‥反射部
5、31a〜d、73a〜d、81a〜c、92a〜c‥物体情報センシング装置
6‥電磁波発生器
7、9、43、46‥アンテナ
8‥電磁波検出器
10‥遅延器
11‥ミキサ
12‥演算器
13‥記憶部
14、15、72‥電磁波
30‥任意空間
32、74‥中央演算装置
33‥信号配線
34、75、80、94‥ディスプレイ
35‥手書き情報
40‥パルスレーザ
41、44‥光伝導素子
42、45‥レンズ
46‥遅延光学系
47‥ビームスプリッタ
48‥反射ミラー
49‥放物面鏡
50‥電源
51‥抵抗
60‥中心部
61、62、63‥誘電体
76‥ゼロ点調整ポイント
91‥カード
93‥接続ケーブル
95‥パソコン

Claims

センシング部とポインティングデバイスとを含み構成される装置であって、
前記ポインティングデバイスは、電磁波を反射するための反射部を有し、
前記センシング部は、
電磁波を発生させるための発生部と、
前記反射部で反射した電磁波を検出するための検出部と、
前記検出部が前記電磁波を検出する時間あるいは前記検出部からの信号と前記発生部からの信号とをミキシングする時間を遅延するための遅延部と、
前記反射部で反射する電磁波の予め決められた波形パターンあるいは反射エコーパターンを予め記憶するための記憶部と、を有し、
前記遅延部を用いて得られる、前記反射部で反射した電磁波の時間波形に関する情報を取得し、
前記記憶部が記憶している情報を用いて、前記時間波形に関する情報から前記反射部で反射した電磁波に関する情報を分離し、
前記反射部で反射した電磁波が、前記発生部から発生して前記検出部で検出されるまでの時間から、前記センシング部と前記ポインティングデバイスとの相対位置を取得することを特徴とする装置。
前記反射部は金属であることを特徴とする請求項1に記載の装置。
前記反射部は多層であることを特徴とする請求項1あるいは2に記載の装置。
前記反射部は多層で、且つ各層は誘電体からなり、各層の膜厚及び誘電率のうち少なくとも一方が、層ごとに異なることを特徴とする請求項1あるいは2に記載の装置。
前記ポインティングデバイスが複数あり、且つ各ポインティングデバイスの前記反射部の構成が異なることを特徴とする請求項4に記載の装置。
前記反射部はアンテナ及びＬＣ共振回路を含むことを特徴とする請求項1に記載の装置。
前記電磁波は、数１００フェムト秒から数ピコ秒の範囲のうち、少なくとも一部の範囲のパルス幅を持つ電磁波パルスであることを特徴とする請求項1乃至6のいずれか1項に記載の装置。
センシング部とポインティングデバイスとを含み構成される装置であって、
前記ポインティングデバイスは、電磁波を反射するための反射部を有し、
前記センシング部は、
数１００フェムト秒から数ピコ秒の範囲のうち、少なくとも一部の範囲のパルス幅を持つ電磁波パルスを発生させるための発生部と、
前記反射部で反射した電磁波パルスを検出するための検出部と、
前記検出部が前記電磁波パルスを検出する時間を遅延するために、前記検出部に照射する光の行路の長さを変えるための光遅延素子と、
前記反射部で反射する電磁波パルスの予め決められた波形パターンあるいは反射エコーパターンを予め記憶するための記憶部と、を有し、
前記光遅延素子を用いて得られる、前記反射部で反射した電磁波パルスの時間波形に関する情報を取得し、
前記記憶部が記憶している情報を用いて、前記時間波形に関する情報から前記反射部で反射した電磁波パルスに関する情報を分離し、
前記反射部で反射した電磁波パルスが、前記発生部から発生して前記検出部で検出されるまでの時間から、前記センシング部と前記ポインティングデバイスとの相対位置を取得することを特徴とする装置。