JP2007219676A - データ入力装置、情報機器、およびデータ入力方法 - Google Patents
データ入力装置、情報機器、およびデータ入力方法 Download PDFInfo
- Publication number
- JP2007219676A JP2007219676A JP2006037370A JP2006037370A JP2007219676A JP 2007219676 A JP2007219676 A JP 2007219676A JP 2006037370 A JP2006037370 A JP 2006037370A JP 2006037370 A JP2006037370 A JP 2006037370A JP 2007219676 A JP2007219676 A JP 2007219676A
- Authority
- JP
- Japan
- Prior art keywords
- light
- information
- screen
- data input
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】2次元的な装置を用いて3次元的な画像の指定、画像の拡大・縮小、メニューの選択などを可能とするデータ入力装置を提供すること。
【解決手段】 3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも2以上の発光手段に対応する受光強度の相対的関係に基づいて指示手段の3次元位置を演算する。
【選択図】 図6
【解決手段】 3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも2以上の発光手段に対応する受光強度の相対的関係に基づいて指示手段の3次元位置を演算する。
【選択図】 図6
Description
本発明は、画面表示への指示を3次元的に行うことを可能とするデータ入力装置、データ入力装置からの情報により画面制御を行う情報機器、情報機器の画面の制御方法および情報入力プログラムに関し、高度により階層化されたメニュー画面を指などの物体の高度を測定することにより表示を行い、そのメニュー画面に達した時に物体が動く方向によりメニューを選択し、また高度により画面を拡大・縮小表示したり、さらにカーソルの制御を行ったりすることを可能とするデータ入力装置、情報機器、およびデータ入力方法に関する。
例えばパソコンなどの画面入力・表示を行うためにパソコンに指示する装置としてマウス、タッチパッド(トラックパッドとも言う)、スティック型ポインタ、およびトラックボールなどがある。上記4つの装置は、それら機器を使用する人などの2次元的な動作指示である、例えばマウスを使用する場合はマウスパッド上で2次元的にマウスを動かすことに連動して画面の表示を行うように、利用しているパソコンのソフトウェアに指示を行うように構成されている。また3次元的にコンピュータに動作指示を行うデータ入力装置として、データグローブやデータスーツ、サイバーグローブと呼ばれる手振りや身ぶりを使って入力するデバイスなども存在するが、体に装着する必要があり、手間であり、大変であった。
また、従来の電力使用量の監視として、特許文献1では、電子機器などを操作するための情報入力装置に関し、また、入力された画像から重心を抽出する画像処理方法に関する技術を提案している。特許文献2は、物体による反射光を獲得し入力情報を抽出する固体撮像装置についての技術を提案している。
特開平9−91079号公報
特開2000−222097号公報
しかし従来行っている、2次元のポインティングデバイスであるデータ入力装置を用いて3次元の画面制御を行うのは直感的ではなく容易ではなかった。また、3次元の指定を行うのにデータグローブやデータスーツ、サイバーグローブなどの専用の装置を体に装着して作業を行うのは大変であり、簡単な3次元の作業を行うには非現実的であった。またコストも高くなり一般の人が容易に使用できるように普及するのは困難であった。
また、上記特許文献1および特許文献2で提案されている技術では、物体の反射光を測定して手や指の位置および形の特定を行っているが、反射光の絶対強度を用いるため精度が低く、また測定したデータを用いて、表示画面の拡大・縮小などを行うことを目的としたものではないので、データ入力を行う物体の高度により画面にいかに表示したり、メニューを選択するかについての記述が無い。
本発明は、上述のかかる事情に鑑みてなされたものであり、複数光源の反射光の相対強度を用いて計測精度を向上させた独自の2次元的なタッチパッドを用いて、指などのポインタの高度や移動方向を取得して容易に3次元的に階層化されたメニューや方向性を有した指定を可能とし、高度により画面の拡大・縮小を行うデータ入力装置、情報機器、情報入力方法、画面表示方法、情報入力プログラム、および画面表示プログラムを提供することを目的とする。
上記目的を達成するため、本発明に係わるデータ入力装置は、3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも2以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の3次元位置を演算することを特徴とする。
本発明では、各受光手段が、発光手段により複数地点から発光され指などによって反射された光を受光し、その受光強度の相対比率によって指の位置を特定する。
なお、指向性の実現方法として、発光手段自体をレーザなどの指向性のある発光素子を用いても良いし、発光手段と受光手段の対を外壁で囲むようにして、特定の方向あるいは範囲にしか光が行かないようにしても良い。
また、本発明に係わるデータ入力装置では、前記複数の発光手段のうち少なくとも2以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする。
本発明では、複数の発光手段を一定の周期で発光させる。このとき近傍の発光手段はそれぞれ異なる位相で発光するようにする。これにより各受光手段は、対となっている発光手段からの光か、近傍の発光手段からの光なのか等、発光手段を特定することができる。さらに、各発光手段は割り当てられたタイミング(位相)の中で光を発している時間(発光時間)と光を発していない時間(非発光時間)を持つことにより、両時間帯にサンプリングした受光量の差分を演算して外来光(ノイズ)を除去することによって、発光手段による光の反射光の強度を精度良く測定することができる。
このとき、得られる受光強度の離散データを用いて補間関数を演算し、指示手段の3次元位置を推定するようにすると良い。
また、前記特定された物体の位置情報の推移より、物体の移動方向と移動速度を特定するベクトル量を特定する物体移動情報特定手段とを備え、前記位置情報通知手段は、前記特定した物体の移動量のベクトル量を外部に通知するように構成するのも好ましい。
本発明では、データ入力を行う物体の3次元的な移動を示すベクトル量を算出し、外部に通知することができるので、通知を受けた情報機器などは3次元的に広がった場所の指定やデータ入力の指示などを行うことができる。なお、この物体移動情報特定手段は、コンピュータ側に設けることもできるが、データ入力装置側に設けるようによって、コンピュータの負荷を軽減することができる。
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの指示手段の3次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、前記3次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする。指をデータ入力装置へ近づけることによって即座に最終項目の選択ができ、また、都度クリックして項目を選択するのに比べて全体を簡単にサーチすることができる。
ここで、「画面の拡大・縮小・・・」における「画面」とは、ディスプレイに表示される画像、メニューアイコン、その他の情報を意味する。
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体(指示手段)の移動量の垂直成分または高度情報により機器の画面にメニュー画面などを表示する手段を備えた情報機器であって、物体の移動量の垂直成分または高度を受信する高度情報受信手段と、予め定めた高度、または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データと、受信した高度が前記予め定めた高度、または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示手段と、を備えたことを特徴とする。
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の垂直成分または高度そのものの値により、高度もしくは相対高度により予め定めたメニュー画面を抽出し表示することができるので、データ入力装置に対して垂直成分の移動量により定義されるメニュー画面表示などの機能を実現することができる。
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体の移動量の水平成分により機器の画面に表示されるカーソルの位置を特定する手段を備えた情報機器であって、物体の移動量の水平成分を受信する2次元移動情報受信手段と、前記受信した物体の移動量の水平成分により機器の画面上のカーソルの移動を行うカーソル移動手段と、を備えたことを特徴とする。
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の水平成分の値により、カーソルを移動するなどの2次元的な作業を連動して行うことができるので、2次元成分を利用した画面表示を容易に行うことができる。画面中央から物体の位置までのベクトル情報によって、カーソルの移動方向および移動速度を決定するようにすると良い。すなわち、ベクトルの向きによってカーソルの移動方向を決定し、ベクトルの大きさによって移動速度を決定するのである。さらに、高度成分を加えて、3次元ベクトルとして、階層化された項目間の移動、あるいは画面の拡大・縮小をベクトルの大きさに基づいて決定される速度で行うようにしても良い。
本発明では、メニュー画面などを階層構造を持たせて構成させることができるので、2次元的および3次元的な広がりを有する画面にてその方向性にて異なるメニューを定義したり、そのメニューの項目の指定などをデータ入力を指示する物体の3次元的な移動によって行うことができるので、メニュー画面に2次元的および3次元的な広がり感を持たせることが可能となる。
また、本発明に係わるユーザインタフェース方法は、上記のデータ入力装置を用いて3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、コンピュータに予め表示倍率と前記指示手段の3次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記3次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とする。
上記目的を達成するため、本発明に係わる情報入力プログラムは、指や指し棒などの物体を3次元的に空間を移動させることでパソコンなどの表示画面に表示される内容を指定したり、表示を変更したりする情報入力装置上で動作するプログラムであって、外壁が遮光物によって形成され、一対の発光素子と受光素子を備えたセルが2次元的に配置されて成るデータ入力装置の前記発光素子の発光タイミングは、少なくとも隣接する他のセルの発光タイミングとは異なり、前記受光素子の受光タイミングは、少なくとも同一セル内の発光素子の発光タイミングと他のセル内の発光素子の発光タイミングを含んだ間隔で行われ、前記受光素子は、少なくとも前記同一セル内の発光素子の反射光および、前記他のセル内の発光素子からの反射光を受光する場合に、前記受光した受光量を記憶する受光内容記憶処理と、前記受光した受光量と同一セル内の受光量と他のセル内の受光量の相対比率により前記物体の3次元の位置情報を特定する物***置特定処理と、特定した前記位置情報を外部に通知する位置情報通知処理と、を情報入力装置上で動作させることを特徴とする。
上記目的を達成するため、本発明に係わる情報入力プログラムは、外部より通知される指や指し棒などの物体の移動量の垂直成分または高度情報により機器の画面にメニュー画面の表示、または画面の拡大・縮小表示を行う情報装置上で動作するプログラムであって、物体の移動量の垂直成分または高度を受信する高度情報受信処理と、予め定めた高度または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データを用いて、受信した高度が前記予め定めた高度または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示処理と、を情報装置上で動作させることを特徴とする。
本発明によれば、画面情報として3次元的な広がりを有する画面のメニューの指定や方向性を有した情報を用いた画面上の指定を操作者が専用の装置などを装着すること無く容易に行うことができる。
以下、本発明の実施の形態を説明する。図1は、本発明であるデータ入力装置とポインタである指などの物体との位置関係などを示す図である。データ入力装置からの位置をX軸、Y軸、Z軸の位置である(x,y,z)で表現しその値の遷移を3次元的な画像などの指定やメニューの指定などに用いる。
図2は、本発明のデータ入力装置がポインタである指などの物体の位置を特定する原理を示す図である。図2(a)は、データ入力装置の断面図であり、図2(b)は上面図である。3次元的な位置情報を取得するために光の反射光を利用するものであり、遮光壁313に囲まれた1つのセル内に発光素子311と受光素子312とを配置しそのセルの上部は光が通過するガラスなどの蓋314で覆われている。また、下部には、データ入力装置3の底部と非接触にて設けられ、指を蓋314に接触させて押下することにより接触することで押下を判定するためのスイッチ部315も設けられている。なお、便宜上図中の指のサイズに比べて発光素子311、受光素子312のサイズを大きく表している。
セルは、隣同士が遮光壁で区切られているため、セルの上部を例えば指などで覆ってしまうと発光素子312からの光は指で反射してその反射光は同じセル内の発光素子311からのみ届くが、指を上部へ上げていくと隣接するセルの発光素子311からの反射光も受光することになる。このように、指の高さに応じて変化する異なる発光素子の反射光量を用いることが本発明の特色の一つである。
なお、セル同士は本実施の形態では図2(b)のように格子状に配列しているが大きさが異なっていたり、たとえば八角形で有ったりしても良い。
図3は、セル内の発光素子311(1,1)とその隣接する発光素子311(1,2)、さらにその隣の発光素子311(1,3)の発光タイミングと、セル内の受光素子312(1,1)の受光タイミングを示した図である。これら近傍のセルの発光タイミングは異なっており、受光素子312が受光するタイミングは自セルの発光素子の発光タイミングと近傍発光素子の発光タイミングを含んでおり別々のタイミングにて自セルの発光素子の反射光と近傍のセルの発光素子の反射光を受光し、反射光の受光量の大きさなどにより物体のX軸・Y軸・Z軸の位置情報を算出する。また、発光素子は、割り当てられた発光可能時間(発光タイミング)の全ての時間を発光させるのではなく、発光時間と非発光時間を持たせる。そして、受光素子は、この発光時間と非発光時間の受光量の両方を計測して、その差分をとり、これを当該発光素子による反射光の受光量とする。
次に、3次元位置情報の演算方法について説明する。なお、この演算は、コンピュータ側で行うこともできるが、データ入力装置側で行うことによってコンピュータの負荷を軽減することができる。以下、データ入力装置側で演算することを前提に説明する。
(3次元位置の演算方法)
(3次元位置の演算方法)
まず、図21に示すように、受光データと高度情報との関係を表す高度情報テーブルを予めデータ入力装置の記憶部に保存しておく。ここで、X1は、同一セル内の発光素子からの光の反射光強度(受光量)である。また、X2は隣のセル内の発光素子からの光の反射光強度である。実際に採取したデータとテーブルの各データとの偏差を演算して、この偏差が最小になるところの高度を抽出する。そして、各受光素子の高度データを比較して最も小さい値を物体(指示手段)の高度座標とし、このときの受光素子の位置を物体の水平座標とする。
なお、高度情報は、反射光強度の絶対量に関連付けるのではなく、同一セル内の発光素子の反射光強度をもとにした相対比率を用いるようにしても良い。このときの高度情報テーブルを図22に示す。
もちろん、テーブルを用いる代わりに、次の式による関数によって、各受光素子位置における高度を求めるようにしても良い。このような関数により、x1,x2,・・・の任意の相互関係をzの値に反映できる。
z=f(x1,x2,x3,・・・) ・・・(1)
あるいは、学習機能を有するニューラルネット等の技術によって関数fを求めるようにしても良い。定期的に学習しなおすことによって精度の良い校正が可能となり、これにより光源の劣化や環境の変化に対応することができる。
たとえば、図23に示すように、各素子を配設した基盤(パネル)の下にコンピュータの実行ボタンとしての役割を有するタクトスイッチ315を設けておき、これを押下したときに、同時に高度(z)=0としてキャリブレーションを取るようにする。これをもとに関数の係数を修正したり、ニューラルネットにおけるパラメータを変更する。
(3次元位置の推定方法)
(3次元位置の推定方法)
次に、さらに高精度に3次元位置を求める方法を述べる。
各受光素子に対応する高度データをもとに、図24(a)に示すように予め決められた特定の関数(たとえば指の形状に合わせた変化を示す関数)の係数を最小二乗法等によって計算する。そして、この関数値が小さくなる地点(図中の○印)の高度座標(z)と水平座標(x,y)を求める。なお、水平座標の求め方としては、x方向、y方向ごとにzが最小となる座標を求めても良いし、3次元座標として直接求めるようにしても良い。
各受光素子に対応する高度データをもとに、図24(a)に示すように予め決められた特定の関数(たとえば指の形状に合わせた変化を示す関数)の係数を最小二乗法等によって計算する。そして、この関数値が小さくなる地点(図中の○印)の高度座標(z)と水平座標(x,y)を求める。なお、水平座標の求め方としては、x方向、y方向ごとにzが最小となる座標を求めても良いし、3次元座標として直接求めるようにしても良い。
さらに、簡便な方法としては、データの変化方向(減少方向と増加方向)ごとに直線を求め、その直線の交点座標を用いるようにしても良い。この方法によれば、演算処理に負担がかからず、リアルタイムで精度の高い位置推定が可能となる(図24(b))。
次に、このようなデータ入力装置3から入力される3次元位置情報を用いて、コンピュータの画面操作を行うときの例を説明する。
図6は、本発明の第1の実施の形態に係わるデータ入力装置3および情報機器1の機能ブロック図を示す。この図において、データ入力装置3は、パソコンなどのコンピュータのシリアルポート、USBポート、およびマウスポートなどに接続され、例えばパソコンなどのコンピュータもしくは機器制御用の装置などである情報機器1の画面制御を行うのに用いられるものである。
情報機器1は、データ入力装置3とのデータの送受信を行うための送受信部12、送受信部12から受け取ったデータの処理、およびその他のさまざまな処理を行う中央演算処理部13、データを記憶するための記憶部14、および、中央演算処理部13との間でデータの入出力を行う入力部15と表示部16から構成されている。入力部15と表示部16はマンマシンインタフェースの機能を有する部分である。
さらに、中央演算処理部13は、送受信部12との間でデータの受け渡しを行う送受信処理手段(機能)131、入力部15あるいは表示部16とデータの受け渡しを行う入出力処理手段(機能)132、データ入力装置3より送受信部12を経由して物体の高度を受信する高度情報受信手段(機能)133、物体の高度などによりメニュー画面の表示を行うメニュー画面表示手段(機能)134、データ入力装置3より送受信部121を介して物体のX軸、Y軸方向の2次元の移動情報を受信する2次元移動情報受信手段(機能)135、予め定めた高度にて物体の2次元的な移動量および移動方向などを基に情報機器1の画面上のカーソルを移動させるカーソル移動手段手段(機能)136、物体の3次元的な移動のベクトル量をデータ入力装置3から受信する移動ベクトル量受信手段(機能)137、高度ごとなどに設けられたメニュー画面の情報から使用者が選択したメニュー項目を選択するメニュー画面項目選択手段(機能)138、予め定めた高度から次の予め定めた高度への移動時には表示中の画面の拡大もしくは縮小を行う画面拡大縮小表示手段(機能)139、データ入力装置3から送受信手段12を介して入力の指定を行う物体の位置情報を受信する位置情報受信手段(機能)13A、受信した位置情報より入力を指定する物体の位置およびその移動量などを特定する位置・移動量特定手段(機能)13Bから構成される。
また、記憶部14は、データ入力装置3から受信する発光素子からの反射光の受光量などのデータを保存する受光内容データ141、受信した物体の位置情報とその以前に受信した位置情報より物体の移動成分などを保存する位置情報成分などデータ142、物体の高度により異なるメニュー画面を保存するメニュー画面データ143から構成されている。
データ入力装置3は、情報機器1に接続され画面入力を支援するために画面上のポイントを指定したり、画面をスクロールさせたり、メニュー選択画面のメニューの選択を行ったりすることが可能な画面入力の補助装置である。情報機器1との接続はシリアル回線、USBなどを利用して行われる。
データ入力装置3は、上記シリアル回線もしくはUSBポートなどを利用して情報機器1とのデータの送受信を行うための送受信部32、送受信部32からのデータの処理を行う中央演算処理部33、中央演算処理部33との間でデータの入力を行う入力部35から構成されている。本実施の形態ではデータ入力装置3と情報機器1はシリアル回線もしくはUSBなどを用いて別々に構成されているが、一体化して1つの装置として存在しても良い。
さらに、中央演算処理部33は、送受信部32との間でデータの受け渡しを行う送受信処理手段(機能)331、入力部15とデータの受け渡しを行う入出力処理手段(機能)332、物体の存在により受光素子312受信する自セルおよび隣接するいくつかのセルに設けられた発光素子311の受光量の大きさなどを入力部35より受信する受光内容記憶手段(機能)333、受信した自セルおよび隣接するセルからの反射光の受光量により物体の位置情報を特定する物***置特定手段(機能)334、特定した位置情報を情報機器1に通知する位置情報通知手段(機能)335、物体の高度もしくは算出した物体の位置情報と以前の位置情報により物体の高度の相対移動量を算出する物体高度算出手段(機能)336、物体の2次元的な移動量を算出する2次元移動量算出手段(機能)337、物体の3次元的な移動量などの情報を特定する物体移動情報特定手段(機能)338から構成される。
また、記憶部34は、受光素子312から受信する自セル発光素子311(1,1)および隣接するセルの発光素子311(1,2)、311(1,3)などからの反射光の受光量などのデータを保存する受光内容データ341、反射光の受光量などにより算出した物体の位置情報と以前の位置情報により物体の移動成分などを保存する位置情報成分などデータ342から構成されている。
本実施の形態においては、データ入力装置3において反射光の受光量のみを取得し情報機器1に通知するという形態のみでなく、複数の発光素子311からの反射光の受光量の相対的な違いを勘案して、物体の位置情報、高度、2次元的な移動量、3次元的な移動量までも算出して、算出した上記情報を情報機器1に通知するという機能も全て記載している。同様に情報機器1においてもデータ入力装置3から指示物体の高度・位置情報・2次元的な移動量・3次元的な移動量などを取得して動作する部分と、データ入力装置3からは受光量のみを受信して情報機器1の方で上記指示物体の高度・位置情報・2次元的な移動量・3次元的な移動量などを算出するという形態が混在して記載している。
図7は、データ入力装置3および、情報機器1が受光量により画面指示物体の位置などを算出する場合は情報機器1にも存在する受光素子312が受光した生データを保存する受光内容データ141のデータ構成例を示す。本データ内には、発光素子311からの反射光の受光量をスキャンした時の時刻である「スキャン時刻」、スキャンした時刻における同じセル内にある対になる発光素子311からの受光量である「対発光素子の受光量」、「隣接発光素子1の受光量」、および「隣接発光素子2の受光量」・・などと発光素子からの受光量の生データが保存されている。
図8は、入力の指示を行う物体の位置、相対高度移動量などを保存する位置情報成分などデータ142のデータ構成例である。位置情報成分などデータ142は、図7に示す各受光量などから算出される位置情報として、「X軸値」、「Y軸値」、「Z軸値」、および「2次元的相対移動量」、「高度相対移動量」、「移動距離」などから構成されている。
図9は、高度により表示するメニュー画面を保存するメニュー画面データ143のデータ構成例を示す。メニュー画面データ143は、複数のメニューから構成され、最上位の層から階層構造をなして構成されている。本実施の形態において最上位の第1層では、表示内容として「日本地図」という表示内容と、物体(指示手段)の高度範囲が関連付けられて保存されている。例えば入力を指示する物体の高度が「70〜60mm」の場合は「日本地図」を表示するということを意味している。
次の項目である「メニュー選択の範囲」では、「62〜60mm」間はメニューを表示し選択する範囲であることを意味している。上記範囲内の高度に入力を指示する物体が存在する場合は、画面上にメニューを表示し、「62〜60mm」までに操作者が入力を指示する物体を動かした内容により次に画面が決定されるということを意味する。また選択は「メニュー選択の閾値」に記載されている内容に合致するものにて選択されるものとする。このように、高度が高いときは、より包括的、抽象的な情報が選択されるようにして、高度が低くなるにしたがって、より個別的、具体的な情報が選択されるようにする。また、指の水平位置によってその階層における選択枝が順次選択されるようにする。そして、高度が0になって所定時間経過したとき、あるいは、受発光素子が配設されている基盤の下に設けられているタクトスイッチを当該基盤を介して押下することによって最終的なメニューを実行するようにする。
図4は、上述の如く高度に基づいてメニュー画面を階層的に定義した場合の、メニュー選択操作の説明図である。本実施の形態において、図4(a)は、図4(e)のz4の高度におけるメニューであり、地図が表示される場合の例である。このメニュー画面から「千葉」を選択する場合は、このメニュー画面が表示されている際に指を右下の方向に向けながら降ろして行くことで可能である。下方にこのデータ入力装置に上部から指などの物体を下部に降ろしていくとある特定の高度に達した時に「千葉」が選択され、次に「千葉」の地図が表示され、その指の高度に応じて地図が拡大されたり、縮小されたりする。選択した「千葉」の地図を表示しながら、さらに指の高度を下げていることで画面を拡大することができる。
図4(b)のメニュー画面に次に高度が低くなった図4(e)のz5の高度で表示される画面である。この高度にて「浦安市」を選択するには上記と同様に指を左下向きで下方に降ろして行くことである定められた高度になった時に選択することができる。図4(c)は、「浦安市」を選択した時の画面である。さらに指を降下させていくと地図画面が拡大表示されながらz6の高度にて図4(d)の画面に示すように「コピー」、「切り取り」、「貼り付け」などのメニューが表示され、指を2次元的方向に動かすことでメニューから選択することができる。なお、図4(a)では4つの方向性で選択ができ、図4(b)では9つの方向性で選択ができることを意味している。
図5は図4に示す高度z4、z5、z6で表示するメニュー画面の階層化された構造と指位置の関係を示す図である。本実施の形態での画面表示は地図の画面表示の例であり、最初の地図として日本地図から始まり、「東北地方」、「関東地方」などの地方の地図の表示から、さらに「関東地方」の場合は、「東京」、「埼玉」、「千葉」などの県の地図がその配下に構成される。同様に「千葉」県の配下には「野田市」、「千葉市」、「浦安市」などの市の地図があり、さらに「浦安市」などの市の配下には「浦安市の詳細地図」などから構成され、最後に「コピー」、「切り貼り」、「貼り付け」などのメニューが続いている。指がデータ入力装置3のパッド314に接触したときは、詳細地図が選択され、さらにパッドを押すことによって図23の如く構成された基盤316の下に設けられたタクトスイッチ315を押下することによって、当該選択画面におけるメニュー項目(コピー等)が表示される。そして、接触した状態で指を所望のメニューに移動して、タクトスイッチの2度目の押下によって、メニュー項目が実行される。なお、最終メニューの表示は、接触した状態で所定時間経過によって表示されるようにしても良い。
図5のデータ構成例を図10に示す。高度ごとに選択可能なメニューが画面情報などの「コピー」、「切り取り」、「貼り付け」なども含めて定義されている。
第1の実施の形態におけるデータ入力装置3および情報機器1は以上のように構成され、以下にその動作をフローチャートなどを用いて詳述する。
[1. 反射光の受光内容の記憶]
[1. 反射光の受光内容の記憶]
図11は、データ入力装置3もしくは情報機器1にて行われる反射光の受光量などの記憶を行う「受光内容記憶ルーチン」の動作の処理手順を示すフローチャートである。本動作はデータ入力手段3内の受光内容記憶手段333、または図示していない情報機器1内の情報登録手段が行う動作であり、以下図11を用いて処理を説明する。受光内容記憶ルーチンは、例えば図3に示す受光タイミングなどにより周期的に起動し、例えばハードウェアの情報をスキャンするなどにて受光量を取得する。
もしくは、予め定めた周期にて起動され、同一セル内の発光タイミングの時の受光量データであるかどうかを確認する(S111)。同一セル内の発光素子311の発光タイミング時の受光量データであった場合は、スキャンした受光量を同一セル内の発行素子311の欄に保存し(S112)、処理を終了する。同一セル内の発光素子の発光タイミングではなかった場合は、次の隣接するセル内の発光素子の発光タイミングであるかを判定するために「n」を初期化して「1」とし(S113)、隣接する発光素子の発光タイミングであるか判定する(S114)。
発光タイミングが合致した場合は、スキャンした受光量を隣接する発光素子#nの欄に登録し(S117)、処理を終了する。合致しない場合は、全ての対象の発光素子の処理が終了したか判定する(S115)。全ての対象の発光素子の処理が終了した場合は何もせずに処理を終了する。終了していない場合は、「n」をインクリメントし(S116)、ステップS114に戻り上記処理を全ての発光素子の処理が終了するまで繰り返す。上記手順にて一つのセル内の受光素子312が受光した発光素子311の受光量の測定を行うことができる。上記動作をデータ入力装置3上の全ての受光素子312にて行うことで入力を指定する物体の反射光の測定を行うことができる。
測定した受光量はデータ入力を指示する指の位置に一番近いセルの受光素子の受光量が多く、次に隣接する受光量が多く、次またその次に隣接するセルの受光量は大幅に少なくなり、指の輪郭が分かるような受光量の分布となる。これによりデータ入力を指示する指の輪郭を捉えることができ、重心を特定することが可能となる。
[2. 物体の位置特定、高度の算出、2次元の移動量算出、3次元の移動量算出]
[2. 物体の位置特定、高度の算出、2次元の移動量算出、3次元の移動量算出]
図12は、データ入力装置3のメインルーチンの動作の処置手順を示すフローチャートである。図12に示すデータ入力装置3のメインルーチンは、図11と同じ周期で動作しても良いが、別の周期にて動作しても良い。図12は、データ入力の指示を行う指などの物体による発光素子からの反射光を受光素子が受光した受光量を基に物体の位置情報、相対移動量などを算出し、情報機器に通知する動作の処理手順を示すフローチャートである。
まず、受光した生データをそのまま通知するのかどうかをシステムに記憶している記載していないデータを用いて判定する(S121)。受光量の生データを通知する場合は、位置情報通知ルーチンを起動(S122)して、処理を終了する。その後の位置情報や相対移動量の算出は情報機器側にて行うものである。
生データではなく加工したデータを通知する場合は、「物***置特定ルーチン」(S123)を起動することで物体の位置情報を算出し、次に「物体高度算出ルーチン」(S124)を起動することで物体の高度の相対移動量を算出し、次に「2次元移動量算出ルーチン」(S125)を起動することで2次元的な移動量を算出する。
次に高度・2次元情報の通知を行うかどうかを前述のようにシステムに記憶しているデータを参照して判定する(S126)。位置情報を通知する場合は、算出した位置情報と、高度および2次元的な移動量を「位置情報通知ルーチン」(S129)を起動することで情報機器に通知し処理を終了する。
3次元的な移動を通知する場合は、次に「物体移動情報特定ルーチン」(S127)を起動することで物体の3次元的な移動における3次元ベクトル量を算出し、次に「位置情報通知ルーチン」(S128)を起動することで情報機器に通知し処理を終了する。
このように、上記実施の形態では、データ入力装置にて入力を指示する物体の受光量を取得して、取得した情報を情報機器にそのまま通知して、情報機器側で物体の位置情報、相対高度移動量などの特定を行うことが可能である。さらにデータ入力装置にて受光素子が取得した受光量により位置情報を算出して、算出した位置情報を情報機器に通知して、情報機器側では受信した位置情報を用いて処理を行うことが可能である。さらにデータ入力装置にて物体の相対移動量を算出して情報機器に通知し、情報機器側では取得した相対移動量を用いて処理することが可能である。
図13は、入力を指示する物体の位置情報を特定する「物***置特定ルーチン」の処理の動作手順を示すフローチャートである。本動作は物***置特定手段334が行う動作であり、以下図13を用いて処理を説明する。まず取得した受光内容データ341により起動時点での物体の位置を求めるために同一セル内の対の発光素子311および隣接する発光素子のいくつかのデータを取得する(S131)。
次に、取得した対の発光素子311および隣接する発光素子311の受光量などのデータを用いて前述の3次元位置の演算方法、推定方法を用いて、物体の位置情報(X軸値、Y軸値、Z軸値)を求める(S132)。算出した物体の位置情報を位置情報成分などデータ342に保存(S133)して処理を終了する。
図14は、「物体高度算出ルーチン」、「2次元移動量算出ルーチン」、「物体移動情報特定ルーチン」の動作の処理手順を示すフローチャートである。本動作は、物体高度算出手段336、2次元移動量算出手段337、物体移動情報特定手段338が行う動作である。
以下図14を用いて処理を説明する。
まず、位置情報成分などデータ342より、今回の高度から前回の高度の差分を算出する(S141)。算出した値を高度移動量として位置情報成分などデータ342の「高度相対移動量」の欄に登録する(S142)。上記ステップS141〜S142は、「物体高度算出ルーチン」が行う動作である。次に、位置情報成分などデータ342より、今回のX軸値とY軸値から前回のX軸値とY軸値の成分の差分を求める(S143)。算出した値を2次元移動量として位置情報成分などデータ342の「2次元相対移動量」の欄に登録する。上記ステップS143〜S144は、「2次元移動量算出ルーチン」が行う動作である。
まず、位置情報成分などデータ342より、今回の高度から前回の高度の差分を算出する(S141)。算出した値を高度移動量として位置情報成分などデータ342の「高度相対移動量」の欄に登録する(S142)。上記ステップS141〜S142は、「物体高度算出ルーチン」が行う動作である。次に、位置情報成分などデータ342より、今回のX軸値とY軸値から前回のX軸値とY軸値の成分の差分を求める(S143)。算出した値を2次元移動量として位置情報成分などデータ342の「2次元相対移動量」の欄に登録する。上記ステップS143〜S144は、「2次元移動量算出ルーチン」が行う動作である。
次に、位置情報成分などデータ342を用いて今回と前回の(X軸値、Y軸値、Z軸値)の差分を取りその大きさを求め(S145)、算出した値を物体の移動量として位置情報成分などデータ342の「移動量」の欄に登録(S146)して処理を終了する。
[3. 位置情報などの通知]
[3. 位置情報などの通知]
図15は、データ入力装置3が物体の位置情報などを通知する「位置情報通知ルーチン」および情報機器1が行う「高度情報受信ルーチン」、「2次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」の動作の処理手順を示すフローチャートである。上記「位置情報通知ルーチン」はデータ入力装置3内の位置情報通知手段335が行う動作であり、「高度情報受信ルーチン」、「2次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」はそれぞれ、情報機器1内の高度情報受信手段133、2次元移動情報受信ルーチン135、移動ベクトル量受信ルーチン137、位置情報受信ルーチン13Aが行う動作である。以下図15を用いてその処理を説明する。
「位置情報通知ルーチン」は周期的に起動され、まず各セルの受光素子が受光した受光量をそのまま通知するかどうかを記載していないが内部に有する登録されているデータを用いて判定する(S151b)。受光量を通知する場合は、ステップS159bに進み、各セルの受光した受光量情報を「位置情報成分などデータ」より取得し送信しステップS158bへ進む。受光量情報を通知しない場合(S151bのnoのルート)は、まず物体の高度の情報を位置情報成分などデータ342より取得してバッファへ積み込む(S152b)。
次に同様に2次元の移動量と3次元の移動量を位置情報成分などデータ342より取得してバッファに積み込み(S153b、S154b)、高度・2次元情報通知を通知する設定になるかを判定し(S155b)、通知する設定になっている場合は、バッファに積み込んだ高度・2次元移動量を情報機器1に通知し(S156b)、ステップS158bへ進む。異なる場合は、バッファに積み込んだ高度・2次元移動量・3次元移動量を通知する。
位置情報などを受信(S151a、S152a、S153a)した情報機器1は、情報機器1内の位置情報成分などデータ142の対応するエリアに受信した内容を保存し(S154a)、受信成功通知を送信し(S155a)、処理を終了する。受信成功通知を受信したデータ入力装置3は処理を終了する(S158b)。
上記の動作にて、各セルが受光した受光量そのもの、データ入力装置3側で算出した位置情報、高度の相対移動量・2次元相対移動量、もしくは3次元的な移動量などを情報機器1に通知する。情報機器1が受光量のみを受信する場合や位置情報のみの情報を受信する場合は、必要な情報は情報機器1が算出することになる。
[4. メニュー画面の表示]
[4. メニュー画面の表示]
図16は、情報機器1で行われるデータ入力に係わるメインルーチンの動作の処理手順を示すフローチャートである。本メインルーチンは周期的に起動され、入力を指示する物体の移動量と、メニュー画面の高度などになったことなど逐一判定し、画面を拡大・縮小したり、カーソルを移動したり、メニュー画面を表示したりするものである。
起動されるとまず、メニュー画面データ143を読み込み(S161)、メニューの切り替え部分(高度)に達したかを判定する(S162)。メニューの切り替え部分に達した場合は、「メニュー画面表示ルーチン」を起動(S163)して処理を終了する。メニュー切り替えの部分(高度)に達してない場合は、カーソル操作部分(高度)に達しているかを判定し(S164)、達している場合は「カーソル移動ルーチン」を起動(S165)して処理を終了する。
カーソル操作部分(高度)に達していない場合は次に、メニュー画面の表示選択部分(高度)に達したかを判定し(S166)、達している場合は「メニュー画面項目選択ルーチン」を起動(S167)して処理を終了する。メニュー画面項目選択の部分(高度)に達していない場合は、画面拡大縮小表示の部分(高度)に達しているかを判定し(S168)、達している場合は「画面拡大縮小表示ルーチン」を起動(S169)して処理を終了する。
以上の動作によってデータの入力を指示する物体の検知した移動量などにて画面の拡大縮小、カーソルの移動、メニュー画面の選択、メニュー画面の表示などを行うことができる。
図17は、メニュー画面の表示を行う「メニュー画面表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器1のメニュー画面表示手段134が行う動作であり、以下図17を用いて処理を説明する。まず、メニュー画面データ143より高度に合ったメニュー画面を抽出し(S171)、抽出したメニュー画面を作成し画面上の表示されるように指示する(S172)。次に今の高度においてメニュー選択画面を表示したことを図示していないデータエリアに保存し処理を終了する(S173)。
[5. カーソルの移動]
[5. カーソルの移動]
図18は、情報機器1の画面上のカーソルを移動する「カーソル移動ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器1内のカーソル移動手段136が行う動作であり、以下図18を用いて処理を説明する。まず、前回の位置の2次元成分を取得し(S181)、さらに今回の位置の2次元成分を取得する。(S182)。次に前回と今回の位置の差分に移動量と移動方向の2次元成分を取得する(S183)。次に、取得した移動量および移動方向の2次元成分に合致する移動量および方向に対して画面上のカーソルを移動する。
[6. メニュー画面項目の選択]
[6. メニュー画面項目の選択]
図19は、メニュー画面に表示された項目を選択する「メニュー画面項目選択ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器1のメニュー画面項目選択手段138が行う動作であり、以下図19を用いて処理を説明する。まず、現時点で表示している画面上のメニューの項目を取得する(S191)。次に高度が選択基準値を超えたかどうかを判定し(S192)、越えていない場合は処理を終了する。
越えている場合(S192のnoのルート)は、現時点で選択しているメニューの項目を選択項目とし(S193)、選択された画面の表示を行い処理を終了する(S194)。
[7. 画面の拡大・縮小表示]
[7. 画面の拡大・縮小表示]
図20は、情報機器1の画面上に表示されている画面の拡大・縮小を行う「画面拡大縮小表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器1内の画面拡大縮小手段139が行う動作であり、以下図20を用いて処理を説明する。まず、前回の位置の垂直成分の移動量を取得し(S201)、次に今回の位置からの移動量の垂直成分を取得する(S202)。
次に、前回からの移動量の垂直成分の大きさに従って表示している画面の大きさの拡大率もしくは縮小率を算出し(S203)、算出した拡大率もしくは縮小率にて表示する画面を作成し画面表示を行う(S204)。以上の動作にて画面の拡大縮小を行う。
本発明による第1の実施の形態は以上のように構成され動作する。
本発明による第1の実施の形態は以上のように構成され動作する。
本発明によれば、平面状のデータ入力装置と指し棒や指などの特殊ではない物体を用いて3次元的な広がりがある画面情報にデータ入力を行ったり、3次元上の位置を指定したり、選択メニューを選択したり、画面上でカーソルを移動したり、画面を拡大・縮小したりすることを容易にできるので、操作者は安いコストで3次元画像の指定または操作などを容易に行うことが可能となる。
なお、上記の説明では、3次元位置情報のうち、水平成分をカーソル移動の機能に割り付けて、説明したが、水平成分を画面スクロール機能に割付け、垂直成分を画面の拡大・縮小機能に割り付けることによって、たとえば、図25に示すように、指位置を近づけることによって、画面を徐々に拡大しつつ、所望の位置へ到達することができる。図25では、図25(a)のA位置の拡大図を見る場合の説明図である。当初は縮小画像で全体を把握しながら(図25(a))、指をデータ入力装置へ近づけながら、水平方向についても所望の方向へ指を移動する(図25(b))。これにより、所望位置が画面中央になるように制御される。ユーザは、最終的に、画面の所望位置の拡大図を見ることができるのである(図25(c))。
また、メニュー選択用のアイコンを指の高度によって、そのサイズを拡大・縮小するようにしてもよい。たとえば、図26(a)に示すように、指が高い位置にいるときは、アイコンを小さく表示し、選択可能なメニュー全体が見られるようにして、指の高さが低くなるにしたがって、アイコンの表示が拡大し、かつ上記図25で説明したように、指の水平方向の動きに伴って所望の方向へ中心位置が移動していくようにする。この機能は図20のステップS203の処理をアイコンに適用することによって実現できる。このようにすれば、指の高さが高いときは一画面内の情報量を多くすることができるので、ユーザは全体を見渡せることができ、指の高さが低くなるに従って所望のアイコンが拡大表示されるのでユーザの選択ミスを防止することができる。また、ユーザはクリックによってメニューの階層を切替える必要がないので操作性が向上する。なお、図26は、ディスプレイとデータ入力装置3のパッド314とが一体となった図であるが、それぞれ分離された構成であっても有効であることは言うまでもない。
次に第2の実施の形態について以下に説明する。第1の実施の形態ではデータ入力を指示する物体である指の絶対高度によりメニュー画面の選択、画面の拡大および縮小を行っているが、第2の実施の形態では、相対的な高度・2次元移動量・3次元移動量を用いて動作を行うものである。
図示していないが、図10においてz1〜z6が絶対的な高度ではなく、基準点からの相対的な高度を示すものとする。高度・2/3次元的な移動量にてメニューの表示を行い、カーソルの移動などを行う。カーソルの移動については第1の実施の形態においても相対量で動作を規定していたが、高度においても相対的な高度を用いて第1の実施の形態の地図情報を表示することが可能である。
本実施の形態によれば、データ入力を指示する物体の相対的な移動量および移動方向によりカーソルを物体の移動方向に向かって物体の移動量に従って移動させたり、画面そのものを移動方向に移動量に従って移動させたりでき、さらにアプリケーションによっては3次元的な移動方向と移動量の相対値にてデータの入力を行ったり、指示したりすることができるので、3次元的な画像をなどを取り扱う様々なアプリケーションに対応することができる。
なお、物体の移動量を計測することで、物体の移動速度および加速度を算出することが可能であるが、これらの値を用いて画面スクロールの速度を速めたり、スクロールの幅を大きくしたり、画面の拡大および縮小表示の表示割合の大きさを変更したりするなどの処理が可能である。また、本実施の形態では高度をデータ入力装置からの垂直な高さと定義しているが、3次元的な任意の基準面を設けて、その基準からの高度および2次元の緯度量を算出し画面の制御を行うことも可能である。
1 情報機器
3 データ入力装置
9 指(指示手段)
12、32 送受信部
13、33 中央演算処理部
14、34 記憶部
15、35 入力部
16 表示部
131、331 送受信処理手段
132、332 入出力処理手段
133 高度情報受信手段
134 メニュー画面表示手段
135 2次元移動情報受信手段
136 カーソル移動手段
137 移動ベクトル量受信手段
138 メニュー画面項目選択手段
139 画面拡大縮小表示手段
13A 位置情報受信手段
13B 位置・移動量特定手段
141、341 受光内容データ
142、342 位置情報成分などデータ
143 メニュー画面データ
311 発光素子
312 受光素子
313 遮光壁
314 遮光しないガラス(パッド)
315 スイッチ部(タクトスイッチ、実行ボタン)
316 基盤
333 受光内容記憶手段
334 物***置特定手段
335 位置情報通知手段
336 物体高度算出手段
337 2次元移動量算出手段
338 物体移動情報特定手段
F31 光源1の点灯パターン
F32 光源2の点灯パターン
F33 受光素子が読むタイミング
F41 画面上の枠
z4 データ入力装置からの距離
z5 データ入力装置からの距離
z6 データ入力装置からの距離
3 データ入力装置
9 指(指示手段)
12、32 送受信部
13、33 中央演算処理部
14、34 記憶部
15、35 入力部
16 表示部
131、331 送受信処理手段
132、332 入出力処理手段
133 高度情報受信手段
134 メニュー画面表示手段
135 2次元移動情報受信手段
136 カーソル移動手段
137 移動ベクトル量受信手段
138 メニュー画面項目選択手段
139 画面拡大縮小表示手段
13A 位置情報受信手段
13B 位置・移動量特定手段
141、341 受光内容データ
142、342 位置情報成分などデータ
143 メニュー画面データ
311 発光素子
312 受光素子
313 遮光壁
314 遮光しないガラス(パッド)
315 スイッチ部(タクトスイッチ、実行ボタン)
316 基盤
333 受光内容記憶手段
334 物***置特定手段
335 位置情報通知手段
336 物体高度算出手段
337 2次元移動量算出手段
338 物体移動情報特定手段
F31 光源1の点灯パターン
F32 光源2の点灯パターン
F33 受光素子が読むタイミング
F41 画面上の枠
z4 データ入力装置からの距離
z5 データ入力装置からの距離
z6 データ入力装置からの距離
Claims (5)
- 3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、
指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも2以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の3次元位置を演算することを特徴とするデータ入力装置。 - 前記複数の発光手段のうち少なくとも2以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする請求項1記載のデータ入力装置。
- 前記複数の受光手段による受光強度データを用いて補間関数を演算し、前記指示手段の3次元位置を推定することを特徴とする請求項1または2記載のデータ入力装置。
- 外部より通知される指や指し棒などの指示手段の3次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、
前記3次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする情報機器。 - 請求項1ないし3のいずれか一に記載のデータ入力装置を用いて3次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、
コンピュータに予め表示倍率と前記指示手段の3次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記3次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とするユーザインタフェース方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006037370A JP2007219676A (ja) | 2006-02-15 | 2006-02-15 | データ入力装置、情報機器、およびデータ入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006037370A JP2007219676A (ja) | 2006-02-15 | 2006-02-15 | データ入力装置、情報機器、およびデータ入力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007219676A true JP2007219676A (ja) | 2007-08-30 |
Family
ID=38496935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006037370A Pending JP2007219676A (ja) | 2006-02-15 | 2006-02-15 | データ入力装置、情報機器、およびデータ入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007219676A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328394A (ja) * | 2006-06-06 | 2007-12-20 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2009205423A (ja) * | 2008-02-27 | 2009-09-10 | Sony Corp | 表示撮像装置および物体の検出方法 |
JP2009260907A (ja) * | 2008-03-18 | 2009-11-05 | Nec Corp | 携帯端末装置、端末操作方法、プログラム、及び記録媒体 |
JP2010225142A (ja) * | 2009-02-27 | 2010-10-07 | Sony Corp | 反射検出装置、表示装置、電子機器、および、反射検出方法 |
JP2011510287A (ja) * | 2008-01-16 | 2011-03-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自己混合干渉に基づくレーザセンサシステム |
WO2011068024A1 (ja) * | 2009-12-03 | 2011-06-09 | シャープ株式会社 | 位置検出機能付き表示装置、および、入力位置検出システム |
JP2011226952A (ja) * | 2010-04-21 | 2011-11-10 | Sharp Corp | 方向検知デバイスおよび電子機器 |
JP2011232190A (ja) * | 2010-04-28 | 2011-11-17 | Seiko Epson Corp | 位置検出機能付き機器 |
JP2011232191A (ja) * | 2010-04-28 | 2011-11-17 | Seiko Epson Corp | 位置検出機能付き機器 |
US8115737B2 (en) | 2008-11-25 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system and information processing program |
US8378966B2 (en) | 2008-10-10 | 2013-02-19 | Sony Corporation | Apparatus, system, method, and program for processing information |
JP2013109538A (ja) * | 2011-11-21 | 2013-06-06 | Hitachi Consumer Electronics Co Ltd | 入力方法及び入力装置 |
JP2015032101A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社東芝 | 情報端末装置 |
JP2018506089A (ja) * | 2016-01-19 | 2018-03-01 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | ジェスチャーの識別方法及び装置 |
-
2006
- 2006-02-15 JP JP2006037370A patent/JP2007219676A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328394A (ja) * | 2006-06-06 | 2007-12-20 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2011510287A (ja) * | 2008-01-16 | 2011-03-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自己混合干渉に基づくレーザセンサシステム |
JP2009205423A (ja) * | 2008-02-27 | 2009-09-10 | Sony Corp | 表示撮像装置および物体の検出方法 |
JP2009260907A (ja) * | 2008-03-18 | 2009-11-05 | Nec Corp | 携帯端末装置、端末操作方法、プログラム、及び記録媒体 |
US8754850B2 (en) | 2008-10-10 | 2014-06-17 | Sony Corporation | Apparatus, system, method, and program for processing information |
US8378966B2 (en) | 2008-10-10 | 2013-02-19 | Sony Corporation | Apparatus, system, method, and program for processing information |
US8115737B2 (en) | 2008-11-25 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system and information processing program |
JP2010225142A (ja) * | 2009-02-27 | 2010-10-07 | Sony Corp | 反射検出装置、表示装置、電子機器、および、反射検出方法 |
WO2011068024A1 (ja) * | 2009-12-03 | 2011-06-09 | シャープ株式会社 | 位置検出機能付き表示装置、および、入力位置検出システム |
JP2011226952A (ja) * | 2010-04-21 | 2011-11-10 | Sharp Corp | 方向検知デバイスおよび電子機器 |
JP2011232191A (ja) * | 2010-04-28 | 2011-11-17 | Seiko Epson Corp | 位置検出機能付き機器 |
JP2011232190A (ja) * | 2010-04-28 | 2011-11-17 | Seiko Epson Corp | 位置検出機能付き機器 |
JP2013109538A (ja) * | 2011-11-21 | 2013-06-06 | Hitachi Consumer Electronics Co Ltd | 入力方法及び入力装置 |
JP2015032101A (ja) * | 2013-08-01 | 2015-02-16 | 株式会社東芝 | 情報端末装置 |
JP2018506089A (ja) * | 2016-01-19 | 2018-03-01 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | ジェスチャーの識別方法及び装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007219676A (ja) | データ入力装置、情報機器、およびデータ入力方法 | |
CN105659295B (zh) | 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 | |
KR101666995B1 (ko) | 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법 | |
EP3283938B1 (en) | Gesture interface | |
CN102239470B (zh) | 显示输入装置及导航装置 | |
JP5921835B2 (ja) | 入力装置 | |
CN108431729A (zh) | 用以增大显示区域的三维对象跟踪 | |
KR101416235B1 (ko) | 3차원 위치 입력 방법 및 장치 | |
KR20090007623A (ko) | 기준 마커로 3차원 지리 공간상 이미지를 나타내기 위한 지리정보 시스템 및 관련방법 | |
KR20110032596A (ko) | 중력장 맵을 생성하여 포인터 이동에 이용하는 gui 제공방법 및 이를 적용한 디스플레이 장치 | |
CN103309608A (zh) | 突出显示驱动的手势用户界面的视觉反馈 | |
KR101036280B1 (ko) | 수동 조작 도구를 이용한 3차원 메뉴 시스템 | |
JPH08212005A (ja) | 3次元位置認識型タッチパネル装置 | |
KR20150133585A (ko) | 3차원 영상의 단면 탐색 시스템 및 방법 | |
US9310851B2 (en) | Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof | |
JP2006235859A (ja) | 座標入力装置 | |
EP1323019A2 (en) | Providing input signals | |
JP2013214275A (ja) | 三次元位置指定方法 | |
JP4678428B2 (ja) | 仮想空間内位置指示装置 | |
JP2005321870A (ja) | 操作入力装置および操作入力方法 | |
JP2009283009A (ja) | オブジェクト属性変更処理装置、オブジェクト属性変更処理方法、および3次元モデル処理装置、3次元モデル処理方法 | |
JP2005321966A (ja) | インタフェース方法、装置、およびプログラム | |
JP4186742B2 (ja) | 仮想空間内位置指示装置 | |
EP2390761A1 (en) | A method and system for selecting an item in a three dimensional space | |
US20240160294A1 (en) | Detection processing device, detection processing method, information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070517 |