JP5434638B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP5434638B2
JP5434638B2 JP2010019083A JP2010019083A JP5434638B2 JP 5434638 B2 JP5434638 B2 JP 5434638B2 JP 2010019083 A JP2010019083 A JP 2010019083A JP 2010019083 A JP2010019083 A JP 2010019083A JP 5434638 B2 JP5434638 B2 JP 5434638B2
Authority
JP
Japan
Prior art keywords
coordinates
coordinate
relative
information processing
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010019083A
Other languages
English (en)
Other versions
JP2011159034A (ja
Inventor
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010019083A priority Critical patent/JP5434638B2/ja
Priority to EP11151544A priority patent/EP2360558A2/en
Priority to US13/011,403 priority patent/US8957890B2/en
Priority to CN2011100277449A priority patent/CN102141837A/zh
Publication of JP2011159034A publication Critical patent/JP2011159034A/ja
Application granted granted Critical
Publication of JP5434638B2 publication Critical patent/JP5434638B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置および情報処理方法に関する。
近年、TV(TeleVision)などといったCE(Consumer Electronics)機器がユーザ(「操作者」とも言う。)による操作の複雑化に対応できるようにするため、一般的にPC(Personal Computer)に設けられているGUI(Graphical User Interface)や、フリーカーソル型の操作入力装置をTVにも設けようとする試みがなされている。ユーザによる操作の複雑化としては、CE機器に新たな機能が追加されてきていることや、CE機器がネットワークに接続されてネットワークを介して様々な情報を取得することができるようになってきていることなどが主な原因として挙げられる。
操作入力装置としては、様々なものが開発されてきている。例えば、マウスやタッチパッドなどといった操作入力装置などがある。また、マウスやタッチパッドといった操作入力装置を使用した場合には、その使用法を習得するのに時間がかかり、特に、年少者や高齢者などがマウスやタッチパッドに適応するのは困難であるといった事情などがある。このような事情から、ユーザが空間上で手を動かす空間操作によって操作を入力することができる操作入力装置が提案されている。
空間操作によって操作を入力することができる操作入力装置としては、具体的には、カメラを用いて、ユーザの手の代表となる位置の座標を画面に表示されるカーソルの座標と対応付けるハンドジェスチャーインターフェースが提案されている。また、空間操作によって操作を入力することができる操作入力装置として、イメージセンサを用いたコントローラが提案されている。
上記したような、空間操作によって操作を入力することができる操作入力装置を使用した場合には、ユーザは絶対座標によるポインティングが可能であり、ユーザが指定した位置が画面におけるポインタの位置と直接対応付けられるため、直感的でわかりやすいという利点がある。その反面、ユーザによる操作の動きが忠実に再現されてしまうため、ユーザが意図しない操作もユーザが意図する操作と区別なく入力されてしまい、特に細かい操作を入力することが困難である。
カメラによって撮影された操作体の所定時間あたりの座標の差分(操作体の速度値)を使用した場合などには、ユーザによる使い勝手を向上させた座標系(以下、「相対座標系」とも言う。)を成立させることができる。すなわち、一般的なマウスを使用した場合と同じように、速度ゲイン制御により細かな対象物に対するポインティングが可能となったり、非線形処理による効率的なノイズリダクションを行うことが可能となったりする。速度ゲイン制御により細かな対象物に対するポインティングを可能とする技術については、例えば、特許文献1に開示されている。
国際公開WO2009/069531号公報 国際公開WO2009/035124号公報 国際公開WO2008/149991号公報 国際公開WO2008/156141号公報 特開平05−19970号公報
しかしながら、上記したような相対座標系を使用した場合には、ユーザが指示した位置と画面に表示されるポインタの位置との対応関係にずれが生じるために、ユーザが混乱しやすいという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザによる使い勝手の良さを確保しつつ、ユーザに混乱を与える可能性を低減できる技術を提供することが可能な、新規かつ改良された技術を提供することにある。
上記課題を解決するために、本発明のある観点によれば、オブジェクトの位置を検出する位置検出部と、位置検出部によって検出されたオブジェクトの位置に基づいて絶対座標を算出し、絶対座標とオブジェクトの動きとに応じて画面上におけるオブジェクトの表示位置を示す座標である相対座標を算出する座標算出部と、を備え、座標算出部は、所定の条件に基づいて相対座標を絶対座標に漸近または一致させるように移動させる、情報処理装置が提供される。
位置検出部は、カメラによって撮影された操作体、タッチパネルによって検出された操作体、超音波センサによって検出された操作体および磁気センサによって検出された操作体のうちの少なくともいずれか1つの位置をオブジェクトの位置として検出することとしてもよい。
座標算出部は、絶対座標を時間微分して得られたオブジェクトの速度値に基づいて相対座標を算出することとしてもよい。
座標算出部は、ユーザによって操作されるコントローラに内蔵されたジャイロセンサによって検出された角速度値、コントローラに内蔵された加速度センサによって検出された加速度値およびコントローラに内蔵された角加速度センサによって検出された角加速度値のうちの少なくともいずれか1つに基づいて相対座標を算出することとしてもよい。
座標算出部は、オブジェクトの動きの量が小さいほど、絶対座標に対する相対座標の変化量が小さくなるように相対座標を算出することとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度が大きいほど、絶対座標に対する相対座標の変化量が小さくなるように相対座標を算出することとしてもよい。
座標算出部は、絶対座標から相対座標までを結んだ線分上を順次に移動させることで、絶対座標に相対座標を漸近させることとしてもよい。
情報処理装置は、表示装置の画面上における、相対座標に対応する表示位置に指示子を表示させる表示制御部をさらに備えることとしてもよい。
座標算出部は、相対座標を、オブジェクトの速度値またはオブジェクトの角速度値に応じた速度値で漸近させることとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値が大きいほど、相対座標を大きい速度値で漸近させることとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値と所定値との大小関係に基づいて、相対座標を絶対座標に一致させるか漸近させるか決定することとしてもよい。
座標算出部は、絶対座標と相対座標との距離に応じた速度値で相対座標を漸近させることとしてもよい。
座標算出部は、絶対座標と相対座標との距離と所定値との大小関係に基づいて、相対座標を絶対座標に一致させるか漸近させるか決定することとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度に応じた速度値で相対座標を漸近させることとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度が小さいほど、大きい速度値で相対座標を漸近させることとしてもよい。
座標算出部は、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度と所定値との大小関係に基づいて、相対座標を絶対座標に一致させるか漸近させるか決定することとしてもよい。
座標算出部は、位置検出部によって絶対座標が検出されない場合には、絶対座標が検出されるまで絶対座標に相対座標を漸近または一致させず、絶対座標が検出されると検出された絶対座標に相対座標を一致させることとしてもよい。
以上説明したように本発明によれば、ユーザによる使い勝手の良さを確保しつつ、ユーザに混乱を与える可能性を低減することが可能である。
本発明の実施形態に係る情報処理システムの使用例を示す図である。 同実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用するノイズリダクションの一例について説明するための図である。 同実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用する速度ゲイン制御の一例について説明するための図である。 同実施形態に係る情報処理装置の機能構成を示す図である。 同実施形態に係る情報処理装置の座標算出部が有する機能について説明するための図である。 同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その1)について説明するための図である。 同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その2)について説明するための図である。 同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その3)について説明するための図である。 一般的なLPF(Low Pass Filter)を使用した場合における相対座標の変位の時間変化を示す図である。 本発明の実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行わない場合における相対座標の変位の時間変化を示す図である。 同実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行う場合における相対座標の変位の時間変化を示す図である。 同実施形態に係る情報処理装置によって実行される処理の流れを示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1−1. 情報処理システムの使用例
1−2. 座標算出部が使用するノイズリダクションの一例
1−3. 座標算出部が使用する速度ゲイン制御の一例
1−4. 情報処理装置の機能構成
1−5. 情報処理装置の座標算出部が有する機能
1−6. 相対座標を絶対座標に一致または漸近させる手法(その1)
1−7. 相対座標を絶対座標に一致または漸近させる手法(その2)
1−8. 相対座標を絶対座標に一致または漸近させる手法(その3)
1−9. LPFを使用した場合における相対座標の変位
1−10.ノイズリダクションを行った場合における相対座標の変位
1−11.相対座標の補償をさらに行った場合における相対座標の変位
1−12.情報処理装置によって実行される処理の流れ
2.変形例
3.まとめ
<1.実施形態>
まず、本発明の実施形態について説明する。
[1−1.情報処理システムの使用例]
図1は、本発明の実施形態に係る情報処理システムの使用例を示す図である。図1を参照して、同実施形態に係る情報処理システムの使用例について説明する。
図1に示すように、本発明の実施形態に係る情報処理システム10は、情報処理装置100と情報処理装置100に接続された表示装置200とを備えるものである。表示装置200は、画面210を表示する機能を有している。画面210の前には、画面210を閲覧するユーザ(「操作者」とも言う)Uが存在している。
ユーザUが、画面210に対応する操作範囲210’において手などの操作体(オブジェクトの一例)を動かすと、情報処理装置100は、表示装置200あるいは表示装置200の近傍に設けられたカメラ300によって撮影された映像をもとに操作体の位置A’を検出し、検出した位置A’に基づいて表示装置200の画面210における位置を示す絶対座標Aを算出する。なお、ここでは、情報処理装置100は、カメラ300によって得られた映像を解析することによって映像から操作体が写されている領域を決定し、決定した領域の代表的な位置(決定した領域の2値画像の重心など)を絶対座標Aとして特定することとする。しかし、絶対座標Aを特定する手法には様々なものが想定されるので、カメラ300は、必ずしも存在しなくてもよい。さらに、ユーザUによる操作の入力が必要ではない場合にもカメラ300は存在しなくてもよい。
例えば、カメラ300の代わりにタッチパネルを使用する場合には、タッチパネルによって操作体の位置A’が絶対座標Aとして検出される。また、例えば、カメラ300の代わりにユーザUによって操作されるコントローラを使用する場合には、コントローラにより指定された位置が絶対座標Aとして検出される。カメラ300の代わりに超音波センサを使用する場合には、超音波センサによって検出された操作体の位置A’が絶対座標Aとして検出される。カメラ300の代わりに磁気センサを使用する場合には、磁気センサによって検出された操作体の位置A’が絶対座標Aとして検出される。また、例えば、再生中の動画に含まれる物体の位置が絶対座標Aとして検出されることとしてもよいが、その場合には、ユーザUによる操作の入力は特に必要ではなく、カメラ300を使用しなくてもよい。
上記したように、絶対座標Aを検出する手法には様々なものが想定される。しかしながら、表示装置200の画面210に表示されるポインタ(指示子の一例)の位置は完全に絶対座標Aが示す位置と一致するとは限らない。つまり、ユーザに与える操作感を向上させるために、絶対座標Aとは異なる相対座標Rが示す位置にポインタが表示されることがある。相対座標Rを算出する手法にも様々なものが想定されるが、相対座標Rは、情報処理装置100によって絶対座標Aとオブジェクトの物理量とに応じて算出される。
情報処理装置100は、例えば、絶対座標Aを時間微分し、時間微分して得られたオブジェクトの速度値をオブジェクトの物理量として使用することができる。つまり、オブジェクトの物理量は、例えば、情報処理装置100によって今回取得した絶対座標Aと前回取得した絶対座標Aとの差をオブジェクトの物理量として取得することができる。また、情報処理装置100は、例えば、ユーザUによって操作されるコントローラに内蔵されたジャイロセンサによって検出された角速度値をオブジェクトの物理量として取得することもできる。
情報処理装置100は、コントローラに内蔵された加速度センサによって検出された加速度値をオブジェクトの物理量として取得することもできるし、コントローラに内蔵された角加速度センサによって検出された角加速度値をオブジェクトの物理量として取得することもできる。情報処理装置100は、このように取得できるオブジェクトの物理量と絶対座標Aとに応じて相対座標Rを算出することができる。
情報処理装置100が絶対座標Aとオブジェクトの物理量とに応じて相対座標Rを算出する手法としては、様々な手法が想定される。例えば、(1)振動抑制、(2)速度ゲインの変換、(3)特定領域に対する吸い付き、(4)意図しない動きの排除などが想定される。これらについては、図2、図3を参照しながら、後に説明する。
以上において説明したように、絶対座標Aと相対座標Rとの間には、ずれが生じてしまうこととなる。本実施形態では、情報処理装置100は、画面210上における相対座標Rが示す位置にポインタを表示させた後、表示させたポインタを絶対座標Aに漸近または一致させるという手法をとる。これにより、ユーザによる使い勝手の良さを確保しつつ、ユーザに混乱を与える可能性を低減することが可能となる。つまり、相対座標Rが示す位置にポインタを表示させることによってユーザUに与える操作感を確保しつつ、表示されたポインタを絶対座標Aに移動させることでユーザUに与える直感性を維持することができる。
[1−2.座標算出部が使用するノイズリダクションの一例]
図2は、本発明の実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用するノイズリダクションの一例について説明するための図である。図2を参照して、同実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用するノイズリダクションの一例について説明する。このノイズリダクションは、上記した(1)振動抑制に相当する。
図2に示すように、ユーザUが操作体(手など)を動かす速度(以下、「操作速度」とも言う。)が時間の経過とともに変化しているとする。ハンドジェスチャーによる入力系のようなカメラを用いた入力系を使用することを想定した場合、画像処理の不確かさに起因する高周波ノイズの影響が大きく、手振れよりもむしろ入力系に起因するノイズを効果的に除去する必要がある。このような理由によって、操作速度の符号の変化の頻度によってゲインを変更することによってポインタ速度を決定する手法が有効である。
より詳細には、図2に示すように、操作速度の符合の変化の頻度が所定値よりも大きい場合にゲインを小さくしてポインタ速度を低下させる。このような手法は、非線形フィルタによるものであるため、操作速度を積分して得られる相対座標Rは、絶対座標Aからずれてしまう。本発明の実施形態に係る座標算出部112は、例えば、このような手法によって、相対座標Rを算出することができる。この手法についての詳細については、例えば、国際公開WO2009/035124号公報に開示されている。
また、例えば、カメラを用いた入力系だけではなく、静電容量センサなどの近接または接触検出センサを具備するコントローラを用いた入力系を使用する場合にもこのような手法を適用することができる。タッチパネルは、解像度を下げることで空中の位置(例えば、パネル面から2〜3cm程度離れた位置)にある操作体を認識することも可能であるが、ノイズが大きくなってしまい、操作体の検出座標が安定しないという問題がある。そこで、このような手法によって、操作速度の符号変化に応じたポインタ速度の制御により、ノイズを効果的に除去できるようになる。
[1−3.座標算出部が使用する速度ゲイン制御の一例]
図3は、本発明の実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用する速度ゲイン制御の一例について説明するための図である。図3を参照して、同実施形態に係る情報処理装置の座標算出部が相対座標を算出するために使用する速度ゲイン制御の一例について説明する。上記した(2)速度ゲインの変換に相当する。
図3に示すように、ジャイロセンサなどで測定された操作速度に対するポインタ速度をリニアに変化させる部分とリニアに変化させない部分とを設けてもよい。リニアに変化させる部分は、経験的に人間がリニア感を認知できる範囲であり、リニアに変化させない部分は、使い勝手の良さを重視する範囲である。使い勝手の良さにより、例えば、ユーザUは、細かいところにもポインタを合わせることができるようになる。例えば、操作速度は、ジャイロセンサを使用する手法以外の手法で測定されてもよく、カメラを用いて撮影した映像から測定されることもできる。ポインタは、相対座標Rに表示される指示子の一例である。
より詳細には、図3に示すように、操作速度が所定値よりも小さい場合に速度ゲインを小さくしてポインタ速度を低下させる。このような手法は、非線形フィルタによるものであるため、操作速度を積分して得られる相対座標Rは、絶対座標Aからずれてしまう。本発明の実施形態に係る座標算出部112は、例えば、このような手法によって、相対座標Rを算出することができる。この手法についての詳細については、例えば、国際公開WO2009/069531号公報に開示されている。
続いて、上記した(3)特定領域に対する吸い付きについて説明する。例えば、アイコンなどの特定領域が表示されており、ユーザUがその特定領域にポインタを合わせて選択する場合に、特定領域にポインタが近づいた段階でポインタを特定領域に吸い込ませるように移動させることとすると、ユーザUによる操作性が向上する。ポインタは、相対座標Rに表示される指示子の一例である。このような手法も、非線形フィルタによるものであるため、操作速度を積分して得られる相対座標Rは、絶対座標Aからずれてしまう。本発明の実施形態に係る座標算出部112は、例えば、このような手法によって、相対座標Rを算出することができる。この手法についての詳細については、例えば、国際公開WO2008/149991号公報に開示されている。
続いて、上記した(4)意図しない動きの排除について説明する。例えば、ポインタを移動させるときに、ユーザUが意図しない斜めの方向などにポインタを移動させてしまうことがある。例えば、ユーザUがボタンを押下した場合などがそのような場合に相当する。そのような移動を防ぐために、ポインタの移動方向を所定の方向へ偏らせるようにすると、ユーザUによる操作性が向上する。ポインタは、相対座標Rに表示される指示子の一例である。このような手法も、非線形フィルタによるものであるため、操作速度を積分して得られる相対座標Rは、絶対座標Aからずれてしまう。本発明の実施形態に係る座標算出部112は、例えば、このような手法によって、相対座標Rを算出することができる。この手法についての詳細については、例えば、国際公開WO2008/156141号公報に開示されている。
以上に説明したような手法で、情報処理装置100の座標算出部112は、相対座標Rを算出することができる。しかし、上記したように、このような手法によって算出された相対座標Rは、絶対座標Aから外れてしまう。そこで、情報処理装置100の座標算出部112は、ユーザUに違和感を与えないように考慮しつつ、座標算出部112によって算出された相対座標Rを、位置検出部111によって検出された絶対座標Aに漸近または一致させる。
[1−4.情報処理装置の機能構成]
図4は、本発明の実施形態に係る情報処理装置の機能構成を示す図である。図4を参照して、同実施形態に係る情報処理装置の機能構成について説明する。
図4に示すように、情報処理装置100は、位置検出部111と、座標算出部112と、表示制御部114と、記憶部120とを備えるものである。以下、これらの機能ブロックが有する機能について説明する。
位置検出部111は、オブジェクトの位置を検出する機能を有するものである。ここでは、オブジェクトは、上記したように、カメラ300から図示しない受信装置を介して取得した映像を解析して得られるユーザUの操作体であるとするが、これに限定されるものではない。例えば、記憶部120に既に記録してある映像を解析して得られるユーザUの操作体であってもよい。
また、位置検出部111は、その他にも、タッチパネルによって検出された操作体、再生中の動画に含まれる物体、ユーザによって操作されるコントローラによる指定、超音波センサによって検出された操作体および磁気センサによって検出された操作体のうちの少なくともいずれか1つの位置をオブジェクトの位置として検出することができる。
位置検出部111は、例えば、CPU(Central processing unit)やRAM(Random Access Memory)によって構成され、記憶部120によって記録されているプログラムをRAMに展開し、展開したプログラムをCPUによって実行することによって、位置検出部111の機能が実現される。位置検出部111は、専用のハードウェアによって構成されることとしてもよい。
座標算出部112は、位置検出部111によって検出されたオブジェクトの位置に基づいて絶対座標Aを算出し、絶対座標Aとオブジェクトの動きとに応じて画面210上におけるオブジェクトの表示位置を示す座標である相対座標Rを算出する機能を有するものである。オブジェクトの動きとしては、様々なものが想定される。例えば、座標算出部112は、位置検出部111によって検出された絶対座標Aを時間微分し、時間微分して得られたオブジェクトの速度値をオブジェクトの動きとして使用することができる。オブジェクトの動きは、上記したオブジェクトの物理量の一例である。
また、座標算出部112は、ユーザUによって操作されるコントローラに内蔵されたジャイロセンサによって検出された角速度値、コントローラに内蔵された加速度センサによって検出された加速度値およびコントローラに内蔵された角加速度センサによって検出された角加速度値のうちの少なくともいずれか1つをオブジェクトの動きとして使用することもできる。
相対座標Rを算出する手法についても、上記したように様々なものが想定される。例えば、「(2)速度ゲインの変換」による手法を使用するのであれば、座標算出部112は、オブジェクトの動きの量が小さいほど、絶対座標Aに対する相対座標Rの変化量(速度ゲイン)が小さくなるように相対座標Rを算出することができる。
また、例えば、「(1)振動抑制」による手法を使用するのであれば、座標算出部112は、オブジェクトの物理量としてオブジェクトの速度値またはオブジェクトの角速度値を使用する場合に、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度が大きいほど、絶対座標Aに対する相対座標の変化量(ゲイン)が小さくなるように相対座標Rを算出することができる。
座標算出部112は、例えば、CPUやRAMによって構成され、記憶部120によって記録されているプログラムをRAMに展開し、展開したプログラムをCPUによって実行することによって、座標算出部112の機能が実現される。座標算出部112は、専用のハードウェアによって構成されることとしてもよい。
また、座標算出部112は、算出した絶対座標Aに算出した相対座標Rを所定の条件に基づいて漸近または一致させるように移動させる機能を有する。ここで、「漸近させる」とは、絶対座標Aに相対座標Rを順次に近づけること、あるいは絶対座標Aに相対座標Rを順次に近づけてから一致させることを意味することとする。「一致させる」とは、絶対座標Aに相対座標Rを近づける過程を経ずに不連続的に絶対座標A相対座標R一致させることを意味することとする。座標算出部112および所定の条件については、図5以降を参照しながら、さらに詳述する。
表示制御部114は、表示装置200の画面210上における、相対座標Rに対応する表示位置に指示子を表示させる機能を有するものである。また、表示制御部114は、座標算出部112によって算出された相対座標Rが示す画面210上における表示位置に指示子を表示させた後、表示させた指示子を、座標算出部112が漸近または一致させた後の相対座標Rが示す画面210上における位置に移動させる機能を有するものである。
表示制御部114は、例えば、CPUやRAMによって構成され、記憶部120によって記録されているプログラムをRAMに展開し、展開したプログラムをCPUによって実行することによって、表示制御部114の機能が実現される。表示制御部114は、専用のハードウェアによって構成されることとしてもよい。
[1−5.情報処理装置の座標算出部が有する機能]
図5は、本発明の実施形態に係る情報処理装置の座標算出部が有する機能について説明するための図である。図5を参照して、同実施形態に係る情報処理装置の座標算出部が有する機能について説明する。
絶対座標A(AX,AY)は、位置検出部111によって検出されたものであり、相対座標RO(ROX、ROY)は、座標算出部112によって算出されたものであるとする。移動速度値MO(MOX,MOY)は、相対座標RO(ROX、ROY)における移動速度値である。図5に示すように、絶対座標A(AX,AY)と相対座標RO(ROX、ROY)との間には、ずれが生じてしまう。また、図5では、絶対座標A(AX,AY)と相対座標RO(ROX、ROY)との間のずれをDとして示している。座標算出部112は、上記したように、絶対座標A(AX,AY)に相対座標Rを漸近または一致させる処理を行う。ここでは、相対座標Rを絶対座標A(AX,AY)に漸近させている過程を相対座標RN(RNX、RNY)として示すものとする。移動速度値MN(MNX,MNY)は、相対座標RN(RNX、RNY)における移動速度値である。
図5に示すように、座標算出部112は、絶対座標A(AX,AY)からRO(ROX、ROY)までを結んだ線分上を順次に移動させることで、絶対座標A(AX,AY)に相対座標RN(RNX、RNY)を漸近させることができる。このようにすれば、短時間で相対座標R(RNX、RNY)の移動を完了させることができる。相対座標RN(RNX、RNY)は、絶対座標A(AX,AY)からRO(ROX、ROY)までを結んだ曲線上を移動することとしてもよい。表示制御部114は、表示させた指示子を、座標算出部112が漸近させる過程における相対座標RN(RNX、RNY)が示す画面210上における位置に移動させることとしてもよい。
例えば、座標算出部112は、オブジェクトの速度値またはオブジェクトの角速度値に応じた速度値で相対座標RN(RNX、RNY)を絶対座標A(AX,AY)に漸近させることとすればよい。オブジェクトの速度値またはオブジェクトの角速度値の取得の仕方については、特に限定されるものではない。オブジェクトの速度値は、移動速度値MO(MOX,MOY)に相当する。
[1−6.相対座標を絶対座標に一致または漸近させる手法(その1)]
図6は、本発明の実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その1)について説明するための図である。図6を参照して、同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その1)について説明する。
図6に示すように、座標算出部112は、例えば、移動速度値MO(MOX,MOY)に応じて、移動速度値MN(MNX,MNY)を決定すればよい。より具体的には、例えば、座標算出部112は、移動速度値MO(MOX,MOY)が大きくなるにしたがって、移動速度値MN(MNX,MNY)も大きくすることとすればよい。すなわち、座標算出部112は、オブジェクトの速度値またはオブジェクトの角速度値が大きいほど、相対座標を大きい速度値で漸近させることとすればよい。例えば、座標算出部112は、移動速度値MO(MOX,MOY)と移動速度値MN(MNX,MNY)とを同じ値にしてしまうこととしてもよい。
[1−7.相対座標を絶対座標に一致または漸近させる手法(その2)]
図7は、本発明の実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その2)について説明するための図である。図7を参照して、同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その2)について説明する。
図7に示すように、座標算出部112は、例えば、絶対座標A(AX,AY)と相対座標RN(RNX、RNY)との距離に応じた移動速度値MN(MNX,MNY)で、相対座標RN(RNX、RNY)を移動させてもよい。このようにすれば、相対座標RN(RNX、RNY)が絶対座標A(AX,AY)に近づくにつれて、移動速度値MN(MNX,MNY)が小さくなるので、移動先がどこであるのかを把握しやすくなる。
[1−8.相対座標を絶対座標に一致または漸近させる手法(その3)]
図8は、本発明の実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その3)について説明するための図である。図8を参照して、同実施形態に係る情報処理装置の座標算出部が相対座標を絶対座標に一致または漸近させる手法(その3)について説明する。
座標算出部112は、例えば、絶対座標A(AX,AY)と相対座標RO(ROX、ROY)との距離Dと所定値との大小関係に基づいて、相対座標RN(RNX、RNY)について、絶対座標(AX,AY)に一致させるか漸近させるかを決定することとしてもよい。図8に示すように、例えば、座標算出部112は、距離Dが所定値よりも大きいと判断した場合には、相対座標RN(RNX、RNY)を絶対座標A(AX,AY)に漸近させる段階を経ずに、一致させてしまうことができる。

その他にも様々なバリエーションが想定できる。例えば、座標算出部112は、相対座標RN(RNX、RNY)について、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度に応じた速度値で移動させることとしてもよい。より具体的には、座標算出部112は、相対座標RN(RNX、RNY)について、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度が小さいほど、大きい速度値で移動させることとしてもよい。
また、座標算出部112は、オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度と所定値との大小関係に基づいて、相対座標RN(RNX、RNY)について、絶対座標A(AX,AY)に一致させるか漸近させるかを決定することとしてもよい。
座標算出部112は、位置検出部111によって絶対座標A(AX,AY)が検出されない場合には、絶対座標A(AX,AY)が検出されるまで絶対座標A(AX,AY)に相対座標RN(RNX、RNY)を漸近または一致させなくてもよい。そして、座標算出部112は、絶対座標A(AX,AY)が検出されると検出された絶対座標A(AX,AY)に相対座標RN(RNX、RNY)を一致させることとしてもよい。
[1−9.LPFを使用した場合における相対座標の変位]
図9は、一般的なLPF(Low Pass Filter)を使用した場合における相対座標Rの変位の時間変化を示す図である。図9を参照して、一般的なLPFを使用した場合における相対座標Rの変位の時間変化について説明する。
図9を参照すると、一般的なLPFを使用した場合には、相対座標Rの変位が大きい上に、位相が遅れてしまっている様子が分かる。
[1−10.ノイズリダクションを行った場合における相対座標の変位]
図10は、本発明の実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行わない場合における相対座標の変位の時間変化を示す図である。図10を参照して、同実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行わない場合における相対座標の変位の時間変化について説明する。
図10を参照すると、上記したような非線形フィルタを使用した場合には、位相の遅れがほとんど解消されている様子が分かる。しかし、相対座標Rを絶対座標Aに漸近または一致させていないので、相対座標Rの変位には、すこしずれが生じてしまっている。
[1−11.相対座標の補償をさらに行った場合における相対座標の変位]
図11は、本発明の実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行う場合における相対座標の変位の時間変化を示す図である。図11を参照して、同実施形態に係る情報処理装置の座標算出部がノイズリダクションを行って相対座標を算出し、座標算出部が相対座標を絶対座標に一致または漸近させる処理を行う場合における相対座標の変位の時間変化について説明する。
図11を参照すると、上記したような相対座標の補償をさらに行った場合には、位相の遅れがほとんど解消され、相対座標の変位のずれもほとんど解消されているのが分かる。
[1−12.情報処理装置によって実行される処理の流れ]
図12は、本発明の実施形態に係る情報処理装置によって実行される処理の流れを示すフローチャートである。図12を参照して、同実施形態に係る情報処理装置によって実行される処理の流れについて説明する。
図12に示すように、位置検出部111は、オブジェクトの位置を検出し(ステップS101)、座標算出部112は、位置検出部111によって検出されたオブジェクトの位置に基づいて絶対座標A(AX,AY)を算出し(ステップS102)、絶対座標A(AX,AY)とオブジェクトの動きとに応じて相対座標R(RX、RY)を算出する(ステップS103)。表示制御部114は、相対座標R(RX、RY)が示す位置に指示子を表示させる(ステップS104)。続いて、座標算出部112は、絶対座標A(AX,AY)に基づいて、相対座標R(RX、RY)を補正し(ステップS105)、表示制御部114は、補正後の相対座標R(RX、RY)が示す位置に指示子を表示させる(ステップS106)。
<2.変形例>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本実施形態に係る技術は、ユーザUからの操作の入力を受け付ける用途に限らず、他の様々な分野に対しても幅広く適用することが可能である。例えば、顔認識技術を用いて、認識した顔の代表座標を決定し、決定した代表座標の動きを体の動きとして取得することがある。ここで、顔の動きは激しいことが多いために、代表座標の変動も激しいことが多く、体の動きがノイズにまみれてうまく取得できないといった問題があった。このように、本実施形態に係る技術は、撮影画像から顔などのオブジェクトの位置を決定するといった、ユーザUからの操作の入力が特に必要のない分野に対しても適用することができる。
例えば、本発明の実施形態に係る情報処理システムは、必ずしもシーケンス図やフローチャートに示された順序で処理を実行しなくてもよく、処理の順序は適宜変更され得るものである。また、本発明の実施形態に係る情報処理システムは、シーケンス図やフローチャートに示された処理を一回だけ実行することとしてもよいし、複数回繰り返して実行することとしてもよい。
<3.まとめ>
本実施形態によれば、ユーザによる使い勝手の良さを確保しつつ、ユーザに混乱を与える可能性を低減することが可能となる。つまり、相対座標Rが示す位置にオブジェクトを表示させることによってユーザUに与える操作感を確保しつつ、表示されたオブジェクトを絶対座標Aに移動させることでユーザUに与える直感性を維持することができる。
10 情報処理システム
100 情報処理装置
111 位置検出部
112 座標算出部
114 表示制御部
120 記憶部
200 表示装置
210 画面
210’操作範囲
300 カメラ
A 絶対座標
R 相対座標

Claims (17)

  1. オブジェクトの位置を検出する位置検出部と、
    前記位置検出部によって検出された前記オブジェクトの位置に基づいて絶対座標を算出し、前記絶対座標と前記オブジェクトの動きとに応じて画面上における前記オブジェクトの表示位置を示す座標である相対座標を算出する座標算出部と、
    を備え、
    前記座標算出部は、
    所定の条件に基づいて前記相対座標を前記絶対座標に一致させるか漸近させるか決定し、決定した結果に従って前記相対座標を前記絶対座標に移動させ、
    前記座標算出部は、
    前記絶対座標から前記相対座標までを結んだ線分上を順次に移動させることで、前記絶対座標に前記相対座標を漸近させる、
    情報処理装置。
  2. 前記位置検出部は、
    カメラによって撮影された操作体、タッチパネルによって検出された操作体、超音波センサによって検出された操作体および磁気センサによって検出された操作体のうちの少なくともいずれか1つの位置を前記オブジェクトの位置として検出する、
    請求項1に記載の情報処理装置。
  3. 前記座標算出部は、
    前記絶対座標を時間微分して得られたオブジェクトの速度値に基づいて相対座標を算出する、
    請求項1に記載の情報処理装置。
  4. 前記座標算出部は、
    ユーザによって操作されるコントローラに内蔵されたジャイロセンサによって検出された角速度値、前記コントローラに内蔵された加速度センサによって検出された加速度値および前記コントローラに内蔵された角加速度センサによって検出された角加速度値のうちの少なくともいずれか1つに基づいて相対座標を算出する、
    請求項1に記載の情報処理装置。
  5. 前記座標算出部は、
    前記オブジェクトの動きの量が小さいほど、前記絶対座標に対する前記相対座標の変化量が小さくなるように前記相対座標を算出する、
    請求項1に記載の情報処理装置。
  6. 前記座標算出部は、
    前記オブジェクトの速度値または前記オブジェクトの角速度値の符号の変化の頻度が大きいほど、前記絶対座標に対する前記相対座標の変化量が小さくなるように前記相対座標を算出する、
    請求項1に記載の情報処理装置。
  7. 表示装置の画面上における、前記相対座標に対応する表示位置に指示子を表示させる表示制御部をさらに備える、
    請求項1に記載の情報処理装置。
  8. 前記座標算出部は、
    前記相対座標を、前記オブジェクトの速度値または前記オブジェクトの角速度値に応じた速度値で漸近させる、
    請求項1に記載の情報処理装置。
  9. 前記座標算出部は、
    前記オブジェクトの速度値または前記オブジェクトの角速度値が大きいほど、前記相対座標を大きい速度値で漸近させる、
    請求項に記載の情報処理装置。
  10. 前記座標算出部は、前記オブジェクトの速度値またはオブジェクトの角速度値の符号の変化の頻度と所定値との大小関係に基づいて、前記相対座標を前記絶対座標に一致させるか漸近させるか決定する、
    請求項1に記載の情報処理装置。
  11. 前記座標算出部は、
    前記絶対座標と前記相対座標との距離に応じた速度値で前記相対座標を漸近させる、
    請求項1に記載の情報処理装置。
  12. 前記座標算出部は、
    前記絶対座標と前記相対座標との距離と所定値との大小関係に基づいて、前記相対座標を前記絶対座標に一致させるか漸近させるか決定する、
    請求項1に記載の情報処理装置。
  13. 前記座標算出部は、
    前記オブジェクトの速度値または前記オブジェクトの角速度値の符号の変化の頻度に応じた速度値で前記相対座標を漸近させる、
    請求項1に記載の情報処理装置。
  14. 前記座標算出部は、
    前記オブジェクトの速度値または前記オブジェクトの角速度値の符号の変化の頻度が小さいほど、大きい速度値で前記相対座標を漸近させる、
    請求項1に記載の情報処理装置。
  15. 前記座標算出部は、
    前記オブジェクトの速度値または前記オブジェクトの角速度値の符号の変化の頻度と所定値との大小関係に基づいて、前記相対座標を前記絶対座標に一致させるか漸近させるか決定する、
    請求項1に記載の情報処理装置。
  16. 前記座標算出部は、
    前記位置検出部によって前記絶対座標が検出されない場合には、前記絶対座標が検出されるまで前記絶対座標に前記相対座標を漸近または一致させず、前記絶対座標が検出されると検出された前記絶対座標に前記相対座標を一致させる、
    請求項1に記載の情報処理装置。
  17. オブジェクトの位置を検出するステップと、
    前記オブジェクトの位置に基づいて絶対座標を算出するステップと、
    前記絶対座標と前記オブジェクトの動きとに応じて画面上における前記オブジェクトの表示位置を示す座標である相対座標を算出するステップと、
    所定の条件に基づいて前記相対座標を前記絶対座標に一致させるか漸近させるか決定し、決定した結果に従って前記相対座標を前記絶対座標に移動させるステップと、
    を含み、
    前記絶対座標から前記相対座標までを結んだ線分上を順次に移動させることで、前記絶対座標に前記相対座標を漸近させるステップを含む、
    情報処理方法。
JP2010019083A 2010-01-29 2010-01-29 情報処理装置および情報処理方法 Expired - Fee Related JP5434638B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010019083A JP5434638B2 (ja) 2010-01-29 2010-01-29 情報処理装置および情報処理方法
EP11151544A EP2360558A2 (en) 2010-01-29 2011-01-20 Information processing apparatus and information processing method for position control of an object displayed on a screen
US13/011,403 US8957890B2 (en) 2010-01-29 2011-01-21 Information processing apparatus and information processing method
CN2011100277449A CN102141837A (zh) 2010-01-29 2011-01-24 信息处理设备和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010019083A JP5434638B2 (ja) 2010-01-29 2010-01-29 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2011159034A JP2011159034A (ja) 2011-08-18
JP5434638B2 true JP5434638B2 (ja) 2014-03-05

Family

ID=44070584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010019083A Expired - Fee Related JP5434638B2 (ja) 2010-01-29 2010-01-29 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US8957890B2 (ja)
EP (1) EP2360558A2 (ja)
JP (1) JP5434638B2 (ja)
CN (1) CN102141837A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384329B2 (en) * 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement
CN102955641B (zh) * 2011-08-22 2016-01-20 幻音科技(深圳)有限公司 输入方法、***和鼠标垫
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
JP2014137667A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 制御装置及び制御方法
JP5950851B2 (ja) * 2013-03-04 2016-07-13 三菱電機株式会社 情報表示制御装置、情報表示装置および情報表示制御方法
JP6185301B2 (ja) * 2013-06-21 2017-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、指示位置の算出方法
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
EP2853992A1 (en) * 2013-09-27 2015-04-01 Movea Air pointer with improved user experience
CA2926193A1 (en) * 2013-10-01 2015-04-09 Quantum Interface, Llc Apparatuses for controlling electrical devices and software programs and methods for making and using same
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727436B2 (ja) * 1985-07-22 1995-03-29 カシオ計算機株式会社 表示位置設定方法
JPH0519970A (ja) 1991-07-16 1993-01-29 Matsushita Graphic Commun Syst Inc 情報処理システム
JPH1097383A (ja) * 1996-09-24 1998-04-14 Toshimichi Nakajima 画面位置指示装置の座標入力装置
EP1034818A1 (de) * 1999-03-05 2000-09-13 Andrea Dr. Talkenberg Golfnavigationsgerät
DE10045117C2 (de) * 2000-09-13 2002-12-12 Bernd Von Prittwitz Verfahren und Vorrichtung zur Echtzeit-Geometriesteuerung
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6773177B2 (en) * 2001-09-14 2004-08-10 Fuji Xerox Co., Ltd. Method and system for position-aware freeform printing within a position-sensed area
US7714880B2 (en) * 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
JP2004185258A (ja) * 2002-12-03 2004-07-02 Hitachi Ltd 情報処理装置
US7292151B2 (en) * 2004-07-29 2007-11-06 Kevin Ferguson Human movement measurement system
WO2006059743A1 (en) * 2004-12-03 2006-06-08 Ssd Company Limited Boxing game processing method, display control method, position detection method, cursor control method, energy consumption calculating method and exercise system
CN1896933A (zh) * 2005-07-13 2007-01-17 英华达(上海)电子有限公司 在触摸板手机上实现鼠标操作的方法
JP4794957B2 (ja) * 2005-09-14 2011-10-19 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
CN101008874A (zh) * 2006-01-24 2007-08-01 达方电子股份有限公司 鼠标及其光标控制方法
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
WO2008149991A1 (ja) 2007-06-08 2008-12-11 Sony Corporation 情報処理装置、入力装置、情報処理システム、情報処理方法及びプログラム
JP5434591B2 (ja) 2007-06-20 2014-03-05 ソニー株式会社 制御装置、入力装置、制御システム、ハンドヘルド型情報処理装置、及び制御方法
TWI391845B (zh) 2007-09-14 2013-04-01 Sony Corp An input device, a control device, a control system, a control method, and a handheld device
JP5392093B2 (ja) 2007-11-26 2014-01-22 ソニー株式会社 入力装置、制御装置、制御システム、制御方法及びハンドヘルド装置
US20090153475A1 (en) * 2007-12-14 2009-06-18 Apple Inc. Use of a remote controller Z-direction input mechanism in a media system
US8881049B2 (en) * 2007-12-14 2014-11-04 Apple Inc. Scrolling displayed objects using a 3D remote controller in a media system
JP2010019083A (ja) 2008-07-08 2010-01-28 Tsurumi Mfg Co Ltd 軸封装置

Also Published As

Publication number Publication date
US8957890B2 (en) 2015-02-17
CN102141837A (zh) 2011-08-03
US20110227826A1 (en) 2011-09-22
JP2011159034A (ja) 2011-08-18
EP2360558A2 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
JP5434638B2 (ja) 情報処理装置および情報処理方法
US9030405B2 (en) High fidelity remote controller device for digital living room
JP5921835B2 (ja) 入力装置
US8625882B2 (en) User interface with three dimensional user input
EP2919481A1 (en) Remote control device, display device, and method for controlling same
JP2010079771A (ja) 入力装置
JP2016521894A (ja) 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法
JP2013025605A (ja) 情報処理装置、情報処理方法及びプログラム
CN103929603A (zh) 图像投影设备、图像投影***及控制方法
JP6349800B2 (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
CN107608508B (zh) 一种信息处理方法及电子设备
US10048768B2 (en) Systems and methods for determining input movement
US10019919B2 (en) Processing apparatus, command generation method and storage medium
JP2009265835A (ja) 画面表示装置、画面表示方法およびプログラム
JP2015011679A (ja) 操作入力装置及び入力操作処理方法
JP2013069341A (ja) 入力方法
KR102248741B1 (ko) 디스플레이 장치 및 그 제어 방법
JP2015118507A (ja) オブジェクト選択方法、装置及びコンピュータ・プログラム
CN105892857B (zh) 图像定位方法及装置
JP6289655B2 (ja) 画面操作装置及び画面操作方法
US9256305B2 (en) Remote control apparatus and method of audio video navigation system
KR101337429B1 (ko) 입력 장치
CN103869959B (zh) 电子装置控制方法以及电子装置
JP2013109538A (ja) 入力方法及び入力装置
WO2012114791A1 (ja) ジェスチャー操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

LAPS Cancellation because of no payment of annual fees