JP2004287823A - ポインティング操作支援システム - Google Patents
ポインティング操作支援システム Download PDFInfo
- Publication number
- JP2004287823A JP2004287823A JP2003078780A JP2003078780A JP2004287823A JP 2004287823 A JP2004287823 A JP 2004287823A JP 2003078780 A JP2003078780 A JP 2003078780A JP 2003078780 A JP2003078780 A JP 2003078780A JP 2004287823 A JP2004287823 A JP 2004287823A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- distance
- movement amount
- position coordinates
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【課題】ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【解決手段】画面上の操作者の視線位置座標と外部入力デバイスのポインタ位置座標との2点間距離を算出し、2点間距離が大きいほど外部入力デバイス単位移動量当たりに対するポインタ移動量を大きくし、2点間距離が小さいほどポインタ移動量を小さくする、また視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合にはポインタの位置を一定時間固定させるようにポインタの移動を制御する。
【選択図】 図1
【解決手段】画面上の操作者の視線位置座標と外部入力デバイスのポインタ位置座標との2点間距離を算出し、2点間距離が大きいほど外部入力デバイス単位移動量当たりに対するポインタ移動量を大きくし、2点間距離が小さいほどポインタ移動量を小さくする、また視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合にはポインタの位置を一定時間固定させるようにポインタの移動を制御する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、肢体不自由者、高齢者、幼児を含む子供でも確実にポインティングすることを可能とするポインティング操作支援システムに関するものである。
【0002】
【従来の技術】
従来、操作者の視線の方向を検出して、この検出結果に応じた情報を処理する、視線入力式のポインティングシステムが多数提案されている。
【0003】
これらの方式は、画面上のアイコンやボタンを選択する場合において、選択の確定は選択対象を一定時間以上注視しなくてはならず、注視動作そのものが操作者にとって不自然なものであり、使い難い操作方法であった。
【0004】
その課題に対し、一定位置を注視することはせずに、視線により選択対象物をおおよそ確定させ、選択対象物からの位置ずれはマウスあるいはキーボードなどの手動操作により補正する方法が提案されている。(例えば、特許文献1参照)
【0005】
また肢体不自由者を対象として、頭部の動きを用いたマウス代替装置があるが、抱える障害の度合いは様々で、運動能力によってはマーカやセンサの動きが十分取れなく、画面上の任意点を直接指し示し、選択することが困難な場合がある。
【0006】
この課題を解決するために、表示装置上にマウスポインタ操作用の領域を配置し、この操作領域内を移動可能な疑似ポインタによって、マウスポインタの移動やマウスボタンのクリックに関連付けられた図形を指示選択する方法において、マウスポインタの位置と選択しようとする対象物間の距離が所定の範囲内にある場合、その距離と軌道修正角度を通知する方法が提案されている。(例えば、特許文献2参照)
【0007】
【特許文献1】
特開2000−89905
【特許文献2】
特開2003−5915
【0008】
【課題を解決しようとする課題】
しかしながら、選択対象物からの位置ずれをマウスあるいはキーボードなどの手動操作により補正する場合、キーボードでポインタを微妙に移動させるのは非常に面倒な操作であり、通常使用するマウスにおいても、肢体不自由者や高齢者などで手先に不自由さを抱えている人や、手が小さくマウスを十分に掴むことができない幼児を含む子供にとっては、微妙な位置合わせのためのマウスの移動操作は非常に困難である。
また、肢体不自由者が不自由無くポインティング操作ができるようなシステムは、障害の軽い人、高齢者や子供には不要であり、画面上に操作画面などが表示されるとむしろ作業がやり難くなるといった欠点がある。
【0009】
本発明は、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【0010】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係わるポインティング操作支援システムは、視線の方向を検出する視線検出装置と、前記視線検出装置の情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティング操作支援システムにおいて、前記視線位置座標とポインタ位置座標との2点間距離を所定の時間間隔で算出する距離算出手段と、前記2点間距離に応じてポインタの移動量を調整する移動量制御手段を備えたことを特徴とするものである。
【0011】
また前記移動量制御手段が、前記2点間距離に対して、前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするものである。
【0012】
また前記移動量設定データが、前記2点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きくする、前記2点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするものである。
【0013】
また前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間内固定する機能を備えたことを特徴とするものである。
また前記2点間距離が、デバイス座標を基準に算出されることを特徴とするものである。
【0014】
【作用】
本発明に係わるポインティング操作支援システムは、モニター上部に視線の方向を検出する視線検出装置としてセンサやカメラなどを備えており、座標算出装置によって視線検出装置からの情報を基に画面上における視線位置座標を算出する。視線位置座標と、マウスまたはキーボードなどの外部入力デバイスによってモニター画面上に表示されるポインタ位置座標との2点間距離は、距離算出手段によりデバイス座標を基準に算出されるものであり、所定の時間間隔で算出される。このようにして算出された2点間距離に対して、ポインタの移動量を調整するために備えられた移動量制御手段が、外部入力デバイスの単位移動量当たりに対するポインタ移動量が設定された移動量設定データを参照することにより、2点間距離の大きさに応じた適切なポインタの移動を可能とする。すなわち、2点間距離が大きいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を大きくする、一方2点間距離が小さいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を小さくすることにより、高速かつ確実なポインティングが可能となる。また、視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合には、移動量制御手段によりポインタの位置を一定時間固定することにより、選択対象物に対し確実に確定処理を実行することができる。
【0015】
このようにして、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などは不自由さを感じずに、確実にポインティング操作を行うことができる。
【0016】
【実施例】
以下、本発明のポインティング操作支援システムにおける構成およびポインティング処理の詳細について図面を基に説明する。
【0017】
図1は本発明のポインティング操作支援システムの構成を示すブロック図である。
【0018】
視線検出装置1aによって得られた情報は座標算出装置2aに送られ、座標算出装置2aでは情報処理装置3aから送られたデバイス座標情報と合わせて座標変換処置が行われ、その結果得られた画面上における視線位置座標情報は情報処置装置3aに備えられた距離算出手段5に送られる。情報処理装置3aに備えられたポインタ位置検出手段4ではポインタの位置座標を求められ、その情報は距離算出手段5に送られる。距離算出手段5では、視線位置とポインタの位置の2点間距離が算出され、求められた2点間距離の情報が移動量制御手段7に送られる。移動量制御手段7では、移動量設定データ6を参照して、2点間距離に対応する外部入力デバイス8の移動量が決定され、制御信号を外部入力デバイス8に送ることにより、ポインタの移動量が制御される。
【0019】
図2は本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【0020】
情報処理装置3b、モニター9、キーボード10、マウス11から構成された一般的な情報処理システムにおいて、モニター9の上部に視線の方向を検出するための視線検出装置1bとしてセンサやカメラなどが備えられている。
【0021】
視線検出装置1は情報処理システムの操作者に対向して配置されており、操作者の眼球の動き検出し、その情報を座標算出装置2bに送る。座標算出装置2bではその情報を基に視線の方向を求め、画面上における視線位置座標に変換処理する。
【0022】
なお視線位置座標はデバイス座標として取り扱うことにより、外部入力デバイス8が示すポインタ位置座標と直接比較することができる。またデバイス座標のサイズに関する情報は情報処理装置3bから座標算出装置2bに予め送られる。
【0023】
座標算出装置2bで算出された視線位置座標の情報は情報処理装置3bに送られ、同時に情報処理装置3bに備えられたポインタ位置検出手段により、外部入力デバイスが示すポインタ位置座標が検出され、視線位置座標とポインタ位置座標の2点間距離が計算される。
【0024】
図3は本発明のポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図であり、図4は画面上での視線およびポインタの位置関係の一例を示す図であり、図5は移動量設定データの数表の一例を示す図であり、図6は2点間距離とポインタ移動量の関係式の例を示す図である。
【0025】
本実施例の説明においては、図4に示す画面左下の■を選択対象物、すなわち視線位置座標として、画面右上のポインタを示す矢印が選択対象物をポインティングする処理を一例として説明する。
【0026】
ポインティング処理が開始(St1)されると視線は選択対象物に当てられ、座標算出装置2により画面上での視線位置座標(X0、Y0)が算出される(St2)。算出された視線位置座標(X0、Y0)は、情報処理装置3に送られる。
【0027】
さらに情報処理装置3では、外部入力デバイスによるポインタ位置座標(X1、Y1)が検出される(St3)。
以上の座標情報を基に、以降の処理が情報処理装置3によって行われる。
【0028】
まず、視線位置座標とポインタ位置座標の2点間距離D1が算出される(St4)。
【0029】
ここで視線位置座標とポインタ位置座標は同一の座標系、すなわちデバイス座標上の数値であるため、簡単に距離を求めることができる。なおデバイス座標は一般的に、左上が原点(0、0)、右下が(Xmax、Ymax)と定義される。
【0030】
求めた2点間距離D1と、視線位置座標とポインタ位置座標が一致しているか否かを自動判定する判定値D0を比較する(St5)。
【0031】
なお判定値は、デバイス座標サイズがXmax=800、Ymax=600の場合には、例えばデバイス座標サイズの1/100〜1/10の6〜80の範囲で、情報処理システムの操作者の熟練度や好みに応じて適宜適切なサイズを定義すれば良く、仮に判定値を大きな数値とした場合には、視線位置座標とポインタ位置座標が選択対象物の周辺を含めおおよそ一致したか否かを判定し、一方判定値を小さな数値とした場合には、視線位置座標とポインタ位置座標が完全に一致したか否かを自動判定することとなる。
【0032】
2点間距離D1が判定値D0よりも大きい場合には、図5に一例として示したような移動量設定データを参照し、2点間距離D1と閾値(R1、R2、R3に相当する)を比較する(St6)。なお、図5に示した移動量設定データは、2点間距離D1がR1以下の場合にはポインタ移動量を10、R1以上R2未満の場合には100、R2以上R3未満の場合には300、R3以上の場合には500に設定することを示している。
【0033】
図4に示すように、閾値(R1、R2、R3)は視線位置座標からの距離であり、視線位置座標を中心とした円弧で定義される。このように、閾値は多段階に設定することが望ましく、閾値の間隔を徐々に広げても、均等に設定しても良い。
【0034】
ここで図5に示したポインタ移動量の数値は、外部入力デバイスの単位移動量に対するポインタの移動距離を示すものである。
【0035】
例えば、外部入力デバイスがマウスである場合には、マウスボール一回転数当たりに対するポインタの移動距離を定義し、トラックボールの場合にもマウス同様、ボール一回転当たりに対するポインタの移動距離を定義し、キーボードの場合には、移動動作を制御するボタンを押している単位時間当たり(例えば単位時間一秒当たり)に対するポインタの移動距離を定義し、またタッチパッドの場合には、指の単位移動距離当たり(例えば単位距離1cm当たり)に対するポインタの移動距離を定義するなど、各種外部入力デバイスの操作方法に合わせてポインタの移動距離を定義することができる。
【0036】
また、大きい閾値ではポインタ移動量を大きな値に設定し、小さい閾値ではポインタ移動量を小さな値に設定することにより、2点間距離D1が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させることができ、2点間距離D1が小さい時、すなわちポインタが選択対象物に近づいている時には、外部入力デバイスの動きに対するポインタ移動量を小さくするため、ポインタ位置の微調整が正確にできる。
【0037】
このような設定により、マウスを移動できるスペースが限られていても、十分なポインティング移動を実現できる。また、外部入力デバイスをスムースに操作することができない、あるいはポインタの位置を安定させることができないような肢体不自由者や高齢者、または手が小さいためにマウスを確実に掴むことができず、スムースに操作することができないような幼児を含む子供でも、ポインタをスムースに移動させ、ポインタの位置を安定させることが可能となる。
【0038】
ポインタ移動量の設定方法としては、なお図5に示したような2点間距離D1に閾値を設けて設定する方法以外に、図6に示すような閾値を設定せずに、2点間距離D1とポインタ移動量の関係式によって設定する方法も有効である。
【0039】
例えば、関係式1は2点間距離D1とポインタ移動量に線形関係を持たせた場合であり、関係式2は2次関数的な関係を持たせた場合であり、いずれも2点間距離D1が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させ、2点間距離D1が小さい時には、外部入力デバイスの動きに対するポインタ移動量を小さくするといった制御を可能とするもので、閾値を用いた場合に比べ滑らかなポインタの移動を実現できる。
【0040】
このようにして、2点間距離D1と閾値の比較から、2点間距離D1に対応したポインタ移動量が選択、設定される(St7)。
【0041】
以上の一連の制御は所定の時間間隔で行われ、都度2点距離D1が算出され、移動量設定データを参照することにより、2点間距離D1に対応するマウス移動量が設定され、ポインタの動きが制御される。ここで制御の時間間隔は、操作者の熟練度や不自由さの度合いに応じて設定されるものであり、数10msec〜数100msecが望ましい。
【0042】
このようなポインタ移動量の制御が繰り返された結果、2点間距離が判定値よりも小さくなった場合には、視線位置座標とポインタ位置座標がほぼ一致、あるいは完全に一致したと判定され、ポインタをその位置に一定時間固定させる(St7)。
【0043】
このようにポインタの動きを止めることにより、手の震えや操作ミスなどによって外部入力デバイスそのものは動いてしまっても、視線位置座標からポインタが離れてしまうようなことは無くなり、ポインティング操作のやり直しをしなくても済む。なおポインタの位置を固定させる時間は、操作者の好みに応じて適宜設定できる。
【0044】
ここで視線位置座標とポインタ位置座標が完全に一致している場合には、外部入力デバイスの確定ボタンを押すことによりポイティング処理が完了する。
【0045】
一方、視線位置座標とポインタ位置座標がわずかにずれている場合には、ポインタの固定が解除されるまで待てば再度ポインタの移動が可能となり、2点間距離に対して設定されたポインタ移動量により容易に微調整することが可能なため、的確に選択対象物を捉え、外部入力デバイスの確定ボタンを押すことによりポイティング処理を完了させることができる。なお、判定値を小さい値に設定した場合には、ポインタが選択対象物を完全に捉えた場合のみにポインタが固定されるため、ポインタを速い速度で移動させた場合でもポインタが選択対象物を捉えさえすればポインタは固定されるので、通り過ぎなどが無くなり、短時間でポインティング処理を完了させることも可能となる。
【0046】
以上のように、本発明のポインティング操作支援システムは、視線によって捉えられた選択対象物の位置座標と外部入力デバイスのポインタ位置座標の2点間距離に応じて、ポインタを適切かつ高速に移動制御することにより、的確かつ高速にポインティング処理を実行することができ、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などにとっては、不自由さを感じることなく、ポインティング処理を確実に実行することが可能となる。
【図面の簡単な説明】
【図1】本発明のポインティング操作支援システムの構成を示すブロック図である。
【図2】本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【図3】上記ポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図である。
【図4】上記ポインティング操作支援システムにおける画面上での視線およびポインタの位置関係の一例を示す図である。
【図5】上記ポインティング操作支援システムにおける移動量設定データの数表の一例を示す図である。
【図6】上記ポインティング操作支援システムにおける2点間距離とポインタ移動量の関係式の例を示す図である。
【符号の説明】
1a、1b・・・視線検出装置
2a、2b・・・座標算出装置
3a、3b・・・情報処理装置
4・・・ポインタ位置検出手段
5・・・距離算出手段
6・・・移動量設定データ
7・・・移動量制御手段
8・・・外部入力デバイス
9・・・モニター
10・・・キーボード
11・・・マウス
【発明の属する技術分野】
本発明は、肢体不自由者、高齢者、幼児を含む子供でも確実にポインティングすることを可能とするポインティング操作支援システムに関するものである。
【0002】
【従来の技術】
従来、操作者の視線の方向を検出して、この検出結果に応じた情報を処理する、視線入力式のポインティングシステムが多数提案されている。
【0003】
これらの方式は、画面上のアイコンやボタンを選択する場合において、選択の確定は選択対象を一定時間以上注視しなくてはならず、注視動作そのものが操作者にとって不自然なものであり、使い難い操作方法であった。
【0004】
その課題に対し、一定位置を注視することはせずに、視線により選択対象物をおおよそ確定させ、選択対象物からの位置ずれはマウスあるいはキーボードなどの手動操作により補正する方法が提案されている。(例えば、特許文献1参照)
【0005】
また肢体不自由者を対象として、頭部の動きを用いたマウス代替装置があるが、抱える障害の度合いは様々で、運動能力によってはマーカやセンサの動きが十分取れなく、画面上の任意点を直接指し示し、選択することが困難な場合がある。
【0006】
この課題を解決するために、表示装置上にマウスポインタ操作用の領域を配置し、この操作領域内を移動可能な疑似ポインタによって、マウスポインタの移動やマウスボタンのクリックに関連付けられた図形を指示選択する方法において、マウスポインタの位置と選択しようとする対象物間の距離が所定の範囲内にある場合、その距離と軌道修正角度を通知する方法が提案されている。(例えば、特許文献2参照)
【0007】
【特許文献1】
特開2000−89905
【特許文献2】
特開2003−5915
【0008】
【課題を解決しようとする課題】
しかしながら、選択対象物からの位置ずれをマウスあるいはキーボードなどの手動操作により補正する場合、キーボードでポインタを微妙に移動させるのは非常に面倒な操作であり、通常使用するマウスにおいても、肢体不自由者や高齢者などで手先に不自由さを抱えている人や、手が小さくマウスを十分に掴むことができない幼児を含む子供にとっては、微妙な位置合わせのためのマウスの移動操作は非常に困難である。
また、肢体不自由者が不自由無くポインティング操作ができるようなシステムは、障害の軽い人、高齢者や子供には不要であり、画面上に操作画面などが表示されるとむしろ作業がやり難くなるといった欠点がある。
【0009】
本発明は、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などが不自由さを感じずに、確実にポインティングすることを可能とするポインティング操作支援システムを提供する。
【0010】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係わるポインティング操作支援システムは、視線の方向を検出する視線検出装置と、前記視線検出装置の情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティング操作支援システムにおいて、前記視線位置座標とポインタ位置座標との2点間距離を所定の時間間隔で算出する距離算出手段と、前記2点間距離に応じてポインタの移動量を調整する移動量制御手段を備えたことを特徴とするものである。
【0011】
また前記移動量制御手段が、前記2点間距離に対して、前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするものである。
【0012】
また前記移動量設定データが、前記2点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きくする、前記2点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするものである。
【0013】
また前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間内固定する機能を備えたことを特徴とするものである。
また前記2点間距離が、デバイス座標を基準に算出されることを特徴とするものである。
【0014】
【作用】
本発明に係わるポインティング操作支援システムは、モニター上部に視線の方向を検出する視線検出装置としてセンサやカメラなどを備えており、座標算出装置によって視線検出装置からの情報を基に画面上における視線位置座標を算出する。視線位置座標と、マウスまたはキーボードなどの外部入力デバイスによってモニター画面上に表示されるポインタ位置座標との2点間距離は、距離算出手段によりデバイス座標を基準に算出されるものであり、所定の時間間隔で算出される。このようにして算出された2点間距離に対して、ポインタの移動量を調整するために備えられた移動量制御手段が、外部入力デバイスの単位移動量当たりに対するポインタ移動量が設定された移動量設定データを参照することにより、2点間距離の大きさに応じた適切なポインタの移動を可能とする。すなわち、2点間距離が大きいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を大きくする、一方2点間距離が小さいほど外部入力デバイスの単位移動量当たりに対するポインタ移動量を小さくすることにより、高速かつ確実なポインティングが可能となる。また、視線位置座標とポインタ位置座標が所定の距離範囲内で一致した場合には、移動量制御手段によりポインタの位置を一定時間固定することにより、選択対象物に対し確実に確定処理を実行することができる。
【0015】
このようにして、ポインティングシステムのあらゆる操作者、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などは不自由さを感じずに、確実にポインティング操作を行うことができる。
【0016】
【実施例】
以下、本発明のポインティング操作支援システムにおける構成およびポインティング処理の詳細について図面を基に説明する。
【0017】
図1は本発明のポインティング操作支援システムの構成を示すブロック図である。
【0018】
視線検出装置1aによって得られた情報は座標算出装置2aに送られ、座標算出装置2aでは情報処理装置3aから送られたデバイス座標情報と合わせて座標変換処置が行われ、その結果得られた画面上における視線位置座標情報は情報処置装置3aに備えられた距離算出手段5に送られる。情報処理装置3aに備えられたポインタ位置検出手段4ではポインタの位置座標を求められ、その情報は距離算出手段5に送られる。距離算出手段5では、視線位置とポインタの位置の2点間距離が算出され、求められた2点間距離の情報が移動量制御手段7に送られる。移動量制御手段7では、移動量設定データ6を参照して、2点間距離に対応する外部入力デバイス8の移動量が決定され、制御信号を外部入力デバイス8に送ることにより、ポインタの移動量が制御される。
【0019】
図2は本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【0020】
情報処理装置3b、モニター9、キーボード10、マウス11から構成された一般的な情報処理システムにおいて、モニター9の上部に視線の方向を検出するための視線検出装置1bとしてセンサやカメラなどが備えられている。
【0021】
視線検出装置1は情報処理システムの操作者に対向して配置されており、操作者の眼球の動き検出し、その情報を座標算出装置2bに送る。座標算出装置2bではその情報を基に視線の方向を求め、画面上における視線位置座標に変換処理する。
【0022】
なお視線位置座標はデバイス座標として取り扱うことにより、外部入力デバイス8が示すポインタ位置座標と直接比較することができる。またデバイス座標のサイズに関する情報は情報処理装置3bから座標算出装置2bに予め送られる。
【0023】
座標算出装置2bで算出された視線位置座標の情報は情報処理装置3bに送られ、同時に情報処理装置3bに備えられたポインタ位置検出手段により、外部入力デバイスが示すポインタ位置座標が検出され、視線位置座標とポインタ位置座標の2点間距離が計算される。
【0024】
図3は本発明のポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図であり、図4は画面上での視線およびポインタの位置関係の一例を示す図であり、図5は移動量設定データの数表の一例を示す図であり、図6は2点間距離とポインタ移動量の関係式の例を示す図である。
【0025】
本実施例の説明においては、図4に示す画面左下の■を選択対象物、すなわち視線位置座標として、画面右上のポインタを示す矢印が選択対象物をポインティングする処理を一例として説明する。
【0026】
ポインティング処理が開始(St1)されると視線は選択対象物に当てられ、座標算出装置2により画面上での視線位置座標(X0、Y0)が算出される(St2)。算出された視線位置座標(X0、Y0)は、情報処理装置3に送られる。
【0027】
さらに情報処理装置3では、外部入力デバイスによるポインタ位置座標(X1、Y1)が検出される(St3)。
以上の座標情報を基に、以降の処理が情報処理装置3によって行われる。
【0028】
まず、視線位置座標とポインタ位置座標の2点間距離D1が算出される(St4)。
【0029】
ここで視線位置座標とポインタ位置座標は同一の座標系、すなわちデバイス座標上の数値であるため、簡単に距離を求めることができる。なおデバイス座標は一般的に、左上が原点(0、0)、右下が(Xmax、Ymax)と定義される。
【0030】
求めた2点間距離D1と、視線位置座標とポインタ位置座標が一致しているか否かを自動判定する判定値D0を比較する(St5)。
【0031】
なお判定値は、デバイス座標サイズがXmax=800、Ymax=600の場合には、例えばデバイス座標サイズの1/100〜1/10の6〜80の範囲で、情報処理システムの操作者の熟練度や好みに応じて適宜適切なサイズを定義すれば良く、仮に判定値を大きな数値とした場合には、視線位置座標とポインタ位置座標が選択対象物の周辺を含めおおよそ一致したか否かを判定し、一方判定値を小さな数値とした場合には、視線位置座標とポインタ位置座標が完全に一致したか否かを自動判定することとなる。
【0032】
2点間距離D1が判定値D0よりも大きい場合には、図5に一例として示したような移動量設定データを参照し、2点間距離D1と閾値(R1、R2、R3に相当する)を比較する(St6)。なお、図5に示した移動量設定データは、2点間距離D1がR1以下の場合にはポインタ移動量を10、R1以上R2未満の場合には100、R2以上R3未満の場合には300、R3以上の場合には500に設定することを示している。
【0033】
図4に示すように、閾値(R1、R2、R3)は視線位置座標からの距離であり、視線位置座標を中心とした円弧で定義される。このように、閾値は多段階に設定することが望ましく、閾値の間隔を徐々に広げても、均等に設定しても良い。
【0034】
ここで図5に示したポインタ移動量の数値は、外部入力デバイスの単位移動量に対するポインタの移動距離を示すものである。
【0035】
例えば、外部入力デバイスがマウスである場合には、マウスボール一回転数当たりに対するポインタの移動距離を定義し、トラックボールの場合にもマウス同様、ボール一回転当たりに対するポインタの移動距離を定義し、キーボードの場合には、移動動作を制御するボタンを押している単位時間当たり(例えば単位時間一秒当たり)に対するポインタの移動距離を定義し、またタッチパッドの場合には、指の単位移動距離当たり(例えば単位距離1cm当たり)に対するポインタの移動距離を定義するなど、各種外部入力デバイスの操作方法に合わせてポインタの移動距離を定義することができる。
【0036】
また、大きい閾値ではポインタ移動量を大きな値に設定し、小さい閾値ではポインタ移動量を小さな値に設定することにより、2点間距離D1が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させることができ、2点間距離D1が小さい時、すなわちポインタが選択対象物に近づいている時には、外部入力デバイスの動きに対するポインタ移動量を小さくするため、ポインタ位置の微調整が正確にできる。
【0037】
このような設定により、マウスを移動できるスペースが限られていても、十分なポインティング移動を実現できる。また、外部入力デバイスをスムースに操作することができない、あるいはポインタの位置を安定させることができないような肢体不自由者や高齢者、または手が小さいためにマウスを確実に掴むことができず、スムースに操作することができないような幼児を含む子供でも、ポインタをスムースに移動させ、ポインタの位置を安定させることが可能となる。
【0038】
ポインタ移動量の設定方法としては、なお図5に示したような2点間距離D1に閾値を設けて設定する方法以外に、図6に示すような閾値を設定せずに、2点間距離D1とポインタ移動量の関係式によって設定する方法も有効である。
【0039】
例えば、関係式1は2点間距離D1とポインタ移動量に線形関係を持たせた場合であり、関係式2は2次関数的な関係を持たせた場合であり、いずれも2点間距離D1が大きい時には、外部入力デバイスを少し動かすだけでポインタを大きく移動させ、2点間距離D1が小さい時には、外部入力デバイスの動きに対するポインタ移動量を小さくするといった制御を可能とするもので、閾値を用いた場合に比べ滑らかなポインタの移動を実現できる。
【0040】
このようにして、2点間距離D1と閾値の比較から、2点間距離D1に対応したポインタ移動量が選択、設定される(St7)。
【0041】
以上の一連の制御は所定の時間間隔で行われ、都度2点距離D1が算出され、移動量設定データを参照することにより、2点間距離D1に対応するマウス移動量が設定され、ポインタの動きが制御される。ここで制御の時間間隔は、操作者の熟練度や不自由さの度合いに応じて設定されるものであり、数10msec〜数100msecが望ましい。
【0042】
このようなポインタ移動量の制御が繰り返された結果、2点間距離が判定値よりも小さくなった場合には、視線位置座標とポインタ位置座標がほぼ一致、あるいは完全に一致したと判定され、ポインタをその位置に一定時間固定させる(St7)。
【0043】
このようにポインタの動きを止めることにより、手の震えや操作ミスなどによって外部入力デバイスそのものは動いてしまっても、視線位置座標からポインタが離れてしまうようなことは無くなり、ポインティング操作のやり直しをしなくても済む。なおポインタの位置を固定させる時間は、操作者の好みに応じて適宜設定できる。
【0044】
ここで視線位置座標とポインタ位置座標が完全に一致している場合には、外部入力デバイスの確定ボタンを押すことによりポイティング処理が完了する。
【0045】
一方、視線位置座標とポインタ位置座標がわずかにずれている場合には、ポインタの固定が解除されるまで待てば再度ポインタの移動が可能となり、2点間距離に対して設定されたポインタ移動量により容易に微調整することが可能なため、的確に選択対象物を捉え、外部入力デバイスの確定ボタンを押すことによりポイティング処理を完了させることができる。なお、判定値を小さい値に設定した場合には、ポインタが選択対象物を完全に捉えた場合のみにポインタが固定されるため、ポインタを速い速度で移動させた場合でもポインタが選択対象物を捉えさえすればポインタは固定されるので、通り過ぎなどが無くなり、短時間でポインティング処理を完了させることも可能となる。
【0046】
以上のように、本発明のポインティング操作支援システムは、視線によって捉えられた選択対象物の位置座標と外部入力デバイスのポインタ位置座標の2点間距離に応じて、ポインタを適切かつ高速に移動制御することにより、的確かつ高速にポインティング処理を実行することができ、とりわけ操作を苦手とする肢体不自由者、高齢者または子供(幼児を含む)などにとっては、不自由さを感じることなく、ポインティング処理を確実に実行することが可能となる。
【図面の簡単な説明】
【図1】本発明のポインティング操作支援システムの構成を示すブロック図である。
【図2】本発明のポインティング操作支援システムを用いた情報処理システムの構成を示す図である。
【図3】上記ポインティング操作支援システムにおける全体的なポインティング処理のフローチャートを示す図である。
【図4】上記ポインティング操作支援システムにおける画面上での視線およびポインタの位置関係の一例を示す図である。
【図5】上記ポインティング操作支援システムにおける移動量設定データの数表の一例を示す図である。
【図6】上記ポインティング操作支援システムにおける2点間距離とポインタ移動量の関係式の例を示す図である。
【符号の説明】
1a、1b・・・視線検出装置
2a、2b・・・座標算出装置
3a、3b・・・情報処理装置
4・・・ポインタ位置検出手段
5・・・距離算出手段
6・・・移動量設定データ
7・・・移動量制御手段
8・・・外部入力デバイス
9・・・モニター
10・・・キーボード
11・・・マウス
Claims (5)
- 視線の方向を検出する視線検出装置と、前記視線検出装置からの検出情報を基に画面上における視線位置座標を算出する座標算出装置を備えたポインティングシステムにおいて、前記視線位置座標とポインタ位置座標との2点間距離を所定の時間間隔で算出する距離算出手段と、前記2点間距離に応じて前記ポインタ移動量を調整する移動量制御手段を備えたことを特徴とするポインティング操作支援システム。
- 請求項1記載の前記移動量制御手段が、前記2点間距離に対して、外部入力デバイスの単位移動量当たりの前記ポインタ移動量が設定された移動量設定データを参照することを特徴とするポインティング操作支援システム。
- 請求項2記載の前記移動量設定データが、前記2点間距離が大きいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を大きく、前記2点間距離が小さいほど前記外部入力デバイスの単位移動量当たりに対する前記ポインタ移動量を小さくするように設定されていることを特徴とするポインティング操作支援システム。
- 請求項1記載の前記移動量制御手段が、前記視線位置座標と前記ポインタ位置座標が所定の距離範囲内で一致した場合、ポインタの位置を一定時間固定する機能を備えたことを特徴するポインティング操作支援システム。
- 請求項1の前記2点間距離が、デバイス座標を基準に算出されることを特徴とするポインティング操作支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003078780A JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003078780A JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004287823A true JP2004287823A (ja) | 2004-10-14 |
Family
ID=33293158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003078780A Withdrawn JP2004287823A (ja) | 2003-03-20 | 2003-03-20 | ポインティング操作支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004287823A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110293A (ja) * | 2014-12-03 | 2016-06-20 | トヨタ自動車株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
WO2017119133A1 (ja) * | 2016-01-08 | 2017-07-13 | 富士通株式会社 | シミュレーションシステム |
JP2018010583A (ja) * | 2016-07-15 | 2018-01-18 | アイシン・エィ・ダブリュ株式会社 | 操作支援装置及びコンピュータプログラム |
JP2018032348A (ja) * | 2016-08-26 | 2018-03-01 | アイシン・エィ・ダブリュ株式会社 | ポインタ制御システムおよびポインタ制御プログラム |
US10241570B2 (en) | 2015-11-12 | 2019-03-26 | Fujitsu Limited | Pointing support device, pointing support method, and non-transitory computer-readable recording medium |
WO2019235408A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム |
-
2003
- 2003-03-20 JP JP2003078780A patent/JP2004287823A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6070833B2 (ja) * | 2013-05-08 | 2017-02-01 | 富士通株式会社 | 入力装置及び入力プログラム |
JPWO2014181403A1 (ja) * | 2013-05-08 | 2017-02-23 | 富士通株式会社 | 入力装置及び入力プログラム |
JP2016110293A (ja) * | 2014-12-03 | 2016-06-20 | トヨタ自動車株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
WO2017069176A1 (ja) * | 2015-10-19 | 2017-04-27 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
JPWO2017069176A1 (ja) * | 2015-10-19 | 2017-10-19 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、および、視線入力プログラム |
CN108139813A (zh) * | 2015-10-19 | 2018-06-08 | 鸥利研究所股份有限公司 | 视线输入装置、视线输入方法以及视线输入程序 |
US10678329B2 (en) | 2015-10-19 | 2020-06-09 | Orylab Inc. | Line-of-sight input device, and method of line-of-sight input |
US10241570B2 (en) | 2015-11-12 | 2019-03-26 | Fujitsu Limited | Pointing support device, pointing support method, and non-transitory computer-readable recording medium |
WO2017119133A1 (ja) * | 2016-01-08 | 2017-07-13 | 富士通株式会社 | シミュレーションシステム |
JP2018010583A (ja) * | 2016-07-15 | 2018-01-18 | アイシン・エィ・ダブリュ株式会社 | 操作支援装置及びコンピュータプログラム |
JP2018032348A (ja) * | 2016-08-26 | 2018-03-01 | アイシン・エィ・ダブリュ株式会社 | ポインタ制御システムおよびポインタ制御プログラム |
WO2019235408A1 (ja) * | 2018-06-07 | 2019-12-12 | 株式会社オリィ研究所 | 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10627900B2 (en) | Eye-signal augmented control | |
US10660717B2 (en) | Robotic interface positioning determination systems and methods | |
US10076839B2 (en) | Robot operation apparatus, robot system, and robot operation program | |
US10157313B1 (en) | 3D gaze control of robot for navigation and object manipulation | |
IL303037A (en) | A system and method of communication through visual feedback | |
JP2001522678A (ja) | 人間の身体部位を訓練するための方法と装置 | |
JP5588089B1 (ja) | アームの制御装置及び制御方法及び制御プログラム、ロボット、並びに、アームの制御用集積電子回路 | |
WO2017089910A1 (en) | Method and system for interacting with medical information | |
JP2004287823A (ja) | ポインティング操作支援システム | |
JP2017012691A (ja) | リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法及びプログラム | |
US20190004596A1 (en) | Hands-free input method and intra-oral controller apparatus | |
EP3242646A1 (en) | Control of motorized wheelchair | |
JP2001243011A (ja) | 口腔内で操作する電子機器入力用端末デバイス | |
JPH1039994A (ja) | 大画面プレゼンテーションシステム用ポインティング装 置 | |
JP2017217266A (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
JP2017217267A (ja) | リハビリテーション支援制御装置及びコンピュータプログラム | |
Walsh et al. | Assistive pointing device based on a head-mounted camera | |
US7145550B2 (en) | Method and apparatus for reducing repetitive motion injuries in a computer user | |
JP6441417B2 (ja) | リハビリテーション支援システム及びコンピュータプログラム | |
JPH1173273A (ja) | 肢体不自由者用入力装置 | |
JPH11282617A (ja) | 視線入力装置 | |
US11493994B2 (en) | Input device using bioelectric potential | |
WO2012114791A1 (ja) | ジェスチャー操作システム | |
JP2018161529A (ja) | リハビリテーション支援装置 | |
JP7442774B1 (ja) | リハビリ支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |