JP2008299866A - 携帯装置の傾斜及び並進運動成分の識別 - Google Patents

携帯装置の傾斜及び並進運動成分の識別 Download PDF

Info

Publication number
JP2008299866A
JP2008299866A JP2008192455A JP2008192455A JP2008299866A JP 2008299866 A JP2008299866 A JP 2008299866A JP 2008192455 A JP2008192455 A JP 2008192455A JP 2008192455 A JP2008192455 A JP 2008192455A JP 2008299866 A JP2008299866 A JP 2008299866A
Authority
JP
Japan
Prior art keywords
motion
gesture
user
control system
motion control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008192455A
Other languages
English (en)
Other versions
JP4812812B2 (ja
Inventor
David L Marvit
エル マーヴィット,デイヴィッド
B Thomas Adler
トマス アドラー,ビー
Hitoshi Matsumoto
均 松本
Bruce A Wilcox
エイ ウィルコクス,ブルース
Albert H M Reinhardt
エイチ エム ラインハート,アルバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/807,588 external-priority patent/US7176888B2/en
Priority claimed from US10/807,560 external-priority patent/US7365736B2/en
Priority claimed from US10/807,561 external-priority patent/US7903084B2/en
Priority claimed from US10/807,562 external-priority patent/US20050212753A1/en
Priority claimed from US10/807,564 external-priority patent/US7180500B2/en
Priority claimed from US10/807,589 external-priority patent/US7301529B2/en
Priority claimed from US10/807,566 external-priority patent/US7173604B2/en
Priority claimed from US10/807,570 external-priority patent/US7180502B2/en
Priority claimed from US10/807,557 external-priority patent/US7365735B2/en
Priority claimed from US10/807,558 external-priority patent/US7280096B2/en
Priority claimed from US10/807,567 external-priority patent/US7365737B2/en
Priority claimed from US10/807,571 external-priority patent/US7176887B2/en
Priority claimed from US10/807,563 external-priority patent/US7301526B2/en
Priority claimed from US10/807,565 external-priority patent/US7301527B2/en
Priority claimed from US10/807,568 external-priority patent/US7180501B2/en
Priority claimed from US10/807,559 external-priority patent/US7176886B2/en
Priority claimed from US10/807,572 external-priority patent/US20050212760A1/en
Priority claimed from US10/807,569 external-priority patent/US7301528B2/en
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2008299866A publication Critical patent/JP2008299866A/ja
Application granted granted Critical
Publication of JP4812812B2 publication Critical patent/JP4812812B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】本発明は、モーションインターフェースを有する携帯装置を提供する。
【解決手段】モーションコントロール携帯装置は、第1の軸に沿う加速度を検出する第1の加速度計と、第2の軸に沿う加速度を検出する第2の加速度計とを有する。第2の軸は第1の軸に垂直である。当該装置は、前記第1の軸及び前記第2の軸の少なくとも一方の回りの回転成分を検出するチルト検出素子と、現在の画像を表示するディスプレイとを有する。当該装置は、前記第1の加速度計、前記第2の加速度計及び前記チルト検出素子を用いて3次元での当該装置の運動を追跡するモーション追跡モジュールを含む。当該装置は前記現在の画像を生成し、当該装置の運動に応じて前記現在の画像を変更するコントローラとを有する。
【選択図】図1

Description

本発明は一般に携帯装置に関連し、特にモーションインターフェース(motion interface)を備えた携帯装置に関連する。
セルラ電話及びパーソナルディジタルアシスタント(PDA)のようなコンピュータ装置の利用性は急速に成長しつつある。そのような装置は、キーパッド及びディスプレイのような様々なタイプのインターフェースを介して多くの様々な機能をユーザに提供する。あるコンピュータ装置は、ユーザによる装置の傾き(tilt)を検出することで、動き(motion)をインターフェースとして利用する。あるモーションインターフェースの例は、釣り糸でコンピュータ装置を拘束すること(tethering)又は大量の電力を要する大型の磁性追跡装置を持ち運ぶことを含む。
本発明の課題は、モーションインターフェースを有する携帯装置を提供することである。
本発明では、モーションインターフェースを備えた携帯装置が使用される。
特定の携帯では、モーションコントロール携帯装置は、第1の軸に沿う加速度を検出する第1の加速度計と、第2の軸に沿う加速度を検出する第2の加速度計とを有する。第2の軸は第1の軸に垂直である。当該装置は、前記第1の軸及び前記第2の軸の少なくとも一方の回りの回転成分を検出するチルト検出素子と、現在の画像を表示するディスプレイとを有する。当該装置は、前記第1の加速度計、前記第2の加速度計及び前記チルト検出素子を用いて3次元での当該装置の運動を追跡するモーション追跡モジュールを含む。当該装置は前記現在の画像を生成し、当該装置の運動に応じて前記現在の画像を変更するコントローラとを有する。
前記ディスプレイは表示面を有し、前記第1及び前記第2の軸は前記表示面に実質的に平行である。前記チルト検出素子は、前記第1の軸と垂直であって前記第2の軸とも垂直な第3の軸に沿う加速度を検出する第3の加速度計を有する。前記モーション追跡モジュールは、前記第3の加速度計で測定された加速度に基づいて、前記第1の軸及び第2の軸のなす面内の並進と、前記第1の軸及び前記第2の軸の少なくとも一方の回りの成分を有する回転とを区別する。前記チルト検出素子は、前記第1の軸と垂直であって前記第2の軸とも垂直な第3の軸に沿う加速度を検出する第3の加速度計を有する。チルト検出素子は、ビデオストリームを生成するカメラと、前記ビデオストリームに基づいて運動方向を検出するビデオ分析モジュールとを有する。
別の形態によれば、携帯装置を制御する方法は、第1の軸に沿う加速度を第1の加速度を用いて検出するステップと、第2の軸に沿う加速度を第2の加速度を用いて検出するステップとを有する。第2の軸は第1の軸に垂直である。当該方法は、前記第1の軸及び前記第2の軸の少なくとも一方の回りの回転成分をチルト検出素子を用いて検出するステップと、前記第1の加速度計、前記第2の加速度計及び前記チルト検出素子を用いて3次元での当該装置の運動を追跡するステップとを含む。当該方法は、前記装置のディスプレイを用いて前記現在の画像を生成し、当該装置の追跡した運動に応じて前記現在の画像を変更するステップを有する。
本発明の特定の携帯による技術的利点は、装置の傾斜及び並進並びに並進面を識別可能なモーション検出素子を携帯装置が備えることを含む。従ってその装置は、入力として機能する多数の運動を認識することができ、装置の機能性を増やす。ある形態では、多数の様々なタイプのモーション検出素子が組み合わせられ、装置に望まれる機能に依存する最も適切な素子を用いて装置を製造者が設計することを可能にする。
他の技術的利点は以下の図面、詳細な説明及び特許請求の範囲から当業者には更に明確になるであろう。なお、特定の利点が列挙されたが、様々な実施例は列挙された利点の全部又は一部を含んでもよいし、全く含まなくてもよい。
本発明の特定の実施例及びその利点のより完全な理解を期するため、添付図面に関連して以下の説明がなされる。
図1は特定の実施例によるモーションインターフェース機能を備えた携帯装置10を示す。携帯装置10は、携帯装置の動き(モーション)を認識することができ、そのようなモーションに対応する様々な機能を実行することができる。そして装置のモーションは装置の入力をなすように機能する。そのようなモーション入力は、装置のディスプレイに表示されるものを直接的に変えてもよいし、或いは他の機能を実行してもよい。携帯装置10は、移動電話、パーソナルディジタルアシスタント(PDA)、スチールカメラ、ビデオカメラ、携帯用計算機、携帯用のラジオその他の音楽又は映像プレーヤ、ディジタル温度計、ゲーム装置、携帯用電子装置、腕時計等から構成されてもよいし、或いはユーザが携帯する又は身に付けることの可能な他の如何なる装置から構成されてもよい。上記に列挙されているように、携帯装置10は腕時計のような身に付けることが可能な携帯装置をも含んでよい。腕時計はユーザの手首の回りに携えた如何なるコンピュータ装置をも含んでよい。
携帯装置10はディスプレイ12、入力14、プロセッサ16、メモリ18、コンピュータインターフェース20及びモーション検出器22を含む。ディスプレイ12は、装置の視覚的な出力を与え、液晶ディスプレイ(LCD)、発光ダイオード(LED)又はユーザに出力を通知する他の如何なるタイプの装置から構成されてもよい。入力14は装置への入力を通知するためのユーザ用インターフェースを提供する。入力14は、キーボード、キーパッド、トラックボール、ノブ、タッチパッド、ステンシルから構成されてもよいし、或いはユーザが装置10に入力を通知する他の如何なる素子から構成されてもよい。特定の実施例ではディスプレイ12及び入力14はタッチ画面のように同一素子に組み合わせられてもよい。
プロセッサ16はマイクロプロセッサ、コントローラ又は適切な他の如何なるコンピュータ装置若しくはリソースでもよい。プロセッサ16は、携帯装置10のシステム内で利用可能な機能を実行するための様々なコンピュータ言語で様々なタイプのコンピュータ命令を実行するように構成される。プロセッサ16は携帯装置10の管理及び動作を制御する適切な如何なるコントローラを含んでもよい。
メモリ18は、限定ではないが、磁気媒体、光媒体、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、取り外し可能な媒体その他の適切な如何なるローカルな若しくはリモートのメモリ素子を含む適切な如何なる形式の揮発性又は不揮発性のメモリでもよい。メモリ18はプロセッサ16により実行可能なソフトウエア、論理モジュール又は素子を含む。メモリ18は、以下で更に説明されるようなマッピング、カレンダ及びファイル管理アプリケーションのような、モーション入力を用いるユーザインターフェースを備えた様々なアプリケーション19を含んでよい。また、後述されるように、メモリ18は、ジェスチャーデータベース及び機能又はジェスチャーマッピングデータベースのような様々なデータベースを含む。メモリ18の構成要素は本発明の範囲内で特定の必要性及び要請に応じて処理を行うように結合されてもよいし及び/又は分割されてもよい。通信インターフェース20は、他の携帯装置や素子のような他の装置との間でのデータ及び情報の無線又は有線の通信をサポートする。
モーション検出器22は、或る機能を実行するための或る形式の入力として使用される携帯装置10の動きを追跡する。そのような入力モーションは、以下で更に説明されるように所望のタスクを実行するために、ユーザが所望の形式で装置を動かすことで生じる。
特定の実施例による携帯装置10は、ここで説明されるような機能を実行する適切な如何なる処理モジュール及び/又はメモリモジュール(例えば、制御モジュール、モーション追跡モジュール、映像分析モジュール、モーション応答モジュール、表示制御モジュール及び署名検出モジュール等)を含んでもよいことが理解されるべきである。
特定の実施例では、入力の動きは、並進(translation)及び/又はジェスチャーの形式である。並進ベースの入力は、動きの始点及び終点並びにそのような始点及び終点間の差分に着目する。ジェスチャーベースの入力は、装置の通った実際の経路に着目し、横切った点群の全体像である。一例として、並進ベースの入力を用いてマップをナビゲーションする場合、“O”の形の動きは動く途中で表示を変えるが、動く前に表示されていた情報と動いた後に表示された情報との間では最終的に何の変化もない(なぜなら、装置は動きが終了した時にスタート地点と同じ地点にいると思われるからである。)。しかしながら、ジェスチャー入力モードの場合、(例えば、たとえ始点及び終点が同じになったとしても)装置は“O”の形に通ったことを認識するであろう。なぜなら、ジェスチャーベースの入力の場合、装置はその動き又は移動の間にジェスチャーの始点及び終点の間で通った経路に着目するからである。このジェスチャー“O”の動きは、“O”のジェスチャーを構成する経路に沿って移動したことを装置が認識した場合に、以下に詳細に説明されるような或る機能を実行するように、特定の機能に対応付けられてもよい。特定の実施例では、或る意思表示(ジェスチャー)として意図される装置の動きは、ジェスチャーデータベース中のジェスチャーを規定するものと、一連の、連続的な又はパターン的な加速運動とを照合することで、ジェスチャーと同様に装置によって認識されてもよい。
他の実施例による携帯装置は図1に示される装置の或る要素を含まなくてもよい。例えば或る実施例ではモーション検出器と別個の入力14のない携帯装置10を用意し、装置の動きがその装置に関する単独の又は主要な入力を与えるようにする。他の実施例による携帯装置は、装置10に関して具体的には図示されていない付加的な素子を含んでよいことが理解されるべきである。
図2は本発明の特定の実施例による図1のモーション検出器22を示す。この例では、モーション検出器22は加速度計24a,24b,24cと、カメラ26a,26b,26cと、ジャイロ28a,28b,28cと、レンジファインダ30a,30b,30cと、プロセッサ32とを含む。
加速度計24a,24b,24cは各自の検出軸に沿う加速度を検出することで装置の運動を検出する。装置の特定の動きは、加速度計により検出される一連の、連続的な又はパターン的な加速度を含んでよい。携帯装置が特定の加速度系の検出軸に沿って傾けられると、その検出軸に沿う重力加速度が変化する。重力加速度のこの変化は、加速度計により検出され、装置の傾きに反映する。同様に、回転も傾斜も伴わない携帯装置の並進又は装置の運動も、加速度計で検出される検出軸に沿う加速度の変化を生み出す。
図示の例では、加速度計24aはX軸に沿う装置の運動を検出するX軸加速度計を構成し、加速度計24bはY軸に沿う装置の運動を検出するY軸加速度計を構成し、加速度計24cはZ軸に沿う装置の運動を検出するZ軸加速度計を構成する。これらを組み合わせると、加速度計24a,24b,24cは装置10の回転及び並進を検出できる。上述のように装置10の回転及び/又は並進は、装置を操作するユーザからの入力として機能してよい。
モーション検出に3つの加速度計を利用すると或る利点がもたらされる。例えば、2つの加速度計しか使用されなかったならば、そのモーション検出器は、並進面での傾斜により、携帯装置の明確な(曖昧さのない)並進を検出できない。しかしながら、第3のZ軸加速度計(他の2つの加速度計の検出軸に少なくとも近似的に垂直な検出軸を有する加速度計)を利用すると、ほとんどの並進から、ほとんどの傾斜を明確化できるようにする。
加速度計24a,24b,24cによって互いに認識できない或る固有の動きが存在するかもしれないことが理解されるべきである。例えば、或る回転及び或る並進を伴う運動は、加速度計24a,24b,24cにとって、別の特定の回転及び別の特定の並進を伴う別の運動と同じであるように見えるかもしれない。モーション検出器22が動きを検出するように(より高い精度を保証する付加的な何らかの素子を設けずに)単に3つの加速度計を含んでいたならば、或る特定の認識できない運動が同一機能に対応付けられるかもしれない、又は混乱を避けるために機能に対応付けられないかもしれない。
上述したように、モーション検出器22はカメラ26a,26b,26cを含み、カメラは電荷結合素子(CCD)カメラその他の光センサで構成されてもよい。カメラ26a,26b,26cは(傾斜及び並進ともに)携帯装置の動きを検出する別の手法を提供する。モーション検出にただ1つのカメラが装置に設けられていたならば、(加速度計のような他の動き検出素子を使用しなかったならば)装置の傾斜は並進と区別できないかもしれない。しかしながら少なくとも2つのカメラを使用することで、傾斜及び並進は互いに識別可能になる。例えば、2つのカメラが携帯装置10に(1つは装置の上面に、及び1つは装置の底面に)設けられていた場合、装置が左に並進すると、各カメラは右に動く世界を見るであろう。装置が水平に横たわっていた場合に、左端を持ち上げつつ右端を下げることによって装置が回されると、底面のカメラは右に動く世界を感知し、上面のカメラは左に動く世界を感知する。かくて装置が並進する場合には対向面のカメラは同じ方向に動く世界(この例では左に動く世界)を見るであろう。装置が回されると、対向面のカメラは反対向きに動く世界を見るであろう。この演繹的なプロセスは逆でも成り立つ。双方のカメラが同じ方向に動く世界を見るならば、モーション検出器はその装置が並進運動させられていることを知る。双方のカメラが逆向きに動く世界を見るならば、モーション検出器は装置が回されていることを知る。
装置が回された場合、そのカメラに対する世界の動きの大きさは、装置の回転の大きさに直接的に関連する。かくてカメラに対する世界の動きに基づいて回転量が正確に判定可能である。しかしながら装置が並進させられていた場合、その並進の大きさは、カメラに対する世界の動きの大きさと、カメラの視野中の対象物までの距離との双方に関連する。従って、カメラだけを用いて並進量を正確に判定するには、カメラの視野中の対象物までの距離に関する或る形式の情報が取得されなければならない。しかしながら或る実施例では距離測定機能を備えたカメラが使用される。
距離情報のない場合でさえ、光学的な情報は、加速度計又は他のセンサからの情報と関連付けられる場合に重要な値になり得ることが理解されるべきである。例えば、光学的なカメラの入力は、大きな動きが一切生じていないことを装置に通知するのに使用されてよい。これはドリフトに関する問題の解決手段をもたらし、その問題は或る装置機能にとっての絶対的な位置情報を決定するために加速度データを利用する場合に固有の問題である。
上述したように、動きを検出するのにカメラが使用される場合に、距離情報は並進量を決定するのに有用である。図示の例では、そのような距離情報が距離測定器30a,30b,30cにより用意される。距離測定器30a,30b,30cは、超音波距離測定器、レーザ距離測定器その他の適切な如何なる距離測定素子で構成されてもよい。距離情報を決定するために他の素子が使用されてもよい。例えば距離測定機能を備えたカメラが使用されてもよいし、双眼立体映像(stereopsis)を用いて距離測定部として機能するように装置の同じ側に複数のカメラが使用されてもよい。決定された距離情報は、並進に起因する何らかの明示的な並進成分及び回転に起因する成分の正確且つ明示的な計算を可能にする。
上述したように、モーション検出器22は付加的にジャイロ28a,28b,28cを含む。ジャイロ28a,28b,28cはモーション検出器22の他の素子と組み合わせて使用され、装置の動きを検出する精度を高める。
プロセッサ32は加速度計24、カメラ26、ジャイロ28及び距離測定器30空のデータを処理し、装置10の動きを示す出力を生成する。プロセッサ32はマイクロプロセッサ、コントローラその他の適切な如何なるコンピュータ装置又はリソース(例えば、各カメラからビデオストリームを受信する映像分析モジュール等)から構成されてもよい。或る実施例では、モーション検出器22のプロセッサ32に関連してここで説明される処理は、携帯装置10のプロセッサ16により又は適切な他の如何なるプロセッサ(その装置から遠隔して位置するプロセッサを含む)により実行されてもよい。
上述したように、モーション検出器22は3つの加速度計、3つのカメラ、3つのジャイロ及び3つの距離測定器を含む。他の実施例によるモーション検出器は、このモーション検出器22のものより少数の又はそれとは別の素子を含んでもよい。例えば或る実施例は、3つの加速度計を備えるがカメラ、ジャイロ又は距離測定器を一切備えないモーション検出器;2つ又は3つの加速度計及び1つ又はそれより多いジャイロを備えたモーション検出器;2つ又は3つの加速度計及び1つ又はそれより多いカメラを備えたモーション検出器;又は2つ又は3つの加速度計及び1つ又はそれより多い距離測定器を備えたモーション検出器を含んでもよい。更に、モーション検出素子の装置での配置は様々な実施例で異なってよい。例えば、ある実施例は装置とは別の面にカメラを含むかもしれないが、別の実施例は(例えば、距離測定機能を付加するために)同一面に2つのカメラを含むかもしれない。
モーション検出器22の要素のタイプ、数及び位置を変えることは、様々なタイプの動きを検出する或いは正確に測定するモーション検出器の能力に影響を及ぼすかもしれない。上述したように、モーション検出器の要素のタイプ及び数は、特定の要請を満たすように様々な実施例で異なってよい。モーション検出機能を備えた携帯装置の製造コストを減らすために精度を犠牲にすることが望まれる特定の実施例では、より少数の又はより低い精度の素子が使用されるかもしれない。例えば、ある携帯装置は、その装置の所望の機能を実行するには、装置が並進させられていることの検出だけを必要とし、そのような並進の正確な量を検出する必要はないかもしれない。そのような携帯装置は、距離情報をもたらす何らかの種類の距離測定器や他の素子を備えないがカメラを備えるモーション検出器を含んでよい。特定の実施例では、カメラ及び距離測定器のような上述の素子は、動き検出機能に関連する上述のもの以外の他の目的のためにその装置で使用されてもよい。
図3は図1の携帯装置10のモーション検出素子の利用例を示す図である。モーション検出素子からの未処理データはプロセッサ32で処理される。そのような未処理データは、加速度計24a,24b,24c各々からのX軸加速度計の未処理データ23a、Y軸加速度計の未処理データ23b及びZ軸加速度計の未処理データ23c;カメラ26a,26b,26c各々からのカメラ未処理データ25a、カメラ未処理データ25b及びカメラ未処理データ25c;ジャイロ28a,28b,28c各々からのジャイロ未処理データ27a、ジャイロ未処理データ27b及びジャイロ未処理データ27c;及び距離測定器30a,30b,30c各々からの距離測定器の未処理データ29a、距離測定器の未処理データ29b及び距離測定器の未処理データ29cを含む。何らかの実施例における場合のように、携帯装置がより多数の、より少数の又は別のモーション検出要素を含む場合には、未処理データは包含される要素に対応してよい。
未処理データはプロセッサ32で処理され、装置10の動きを識別するモーション検出器出力34を生成する。図示の例では、モーション検出器出力34はx,y,z軸に沿う並進と、x,y,z軸に関する回転とを含む。モーション検出器出力は携帯装置のプロセッサ16に通知され、プロセッサは、装置の動きに基づいてその装置が実行すべき動作、機能又はタスク(即ち、装置の挙動36)を判定する。特定の動きに基づく或る動作、機能又はタスクの実行は後に更に説明される。
図4は特定の実施例によるモーション検出機能を備えた携帯装置31の等距離図を示す図である。携帯装置31はx軸加速度計33、y軸加速度計35及びz軸に向くカメラ37を含む。X軸38、Y軸39及びZ軸40もリファレンスとして装置31に関して図示されている。携帯装置31は、加速度計33,35及びカメラ37を用いて様々な方向の傾斜及び並進を含む動きを検出する。携帯装置31は、ディスプレイ12、入力14、プロセッサ16、メモリ18及び通信インターフェース20のような、携帯装置10に関して図示及び説明された素子のような他の素子を含んでもよい。上述したように、特定の実施例は(加速度計、ジャイロ、カメラ、距離測定器又は適切な他の素子を含む)様々なタイプのモーション検出素子を有する携帯装置を、その装置に関して適切な如何なる手法で如何なる組み合わせ及び位置又は向きに含んでもよい。
特定の実施例では、ユーザインターフェース機能は、ある時点の或る動きの軸に沿う入力運動を利用してもよい。例えば、装置のアプリケーションは、特定の軸に沿って(例えば、1つの方向に又は双方向に)装置を動かすことで、携帯装置に表示されたリストをユーザがスクロールすることを可能にしてもよい。装置の動きを望まれる特定の軸に制限することが、ユーザにとって困難かもしれない。言い換えれば、ユーザの生み出す別の軸に関する何らかの回転又は運動が回避困難かもしれない。この問題に対処するため、本装置は好ましい動きを選択する機能(支配的な動きの選択及び増幅、並びに他の方向又は軸に関する動きの最小化を含む機能)を含んでもよい。
図5は、上述したような支配的な運動の選択及び増幅並びに他の方向に関する動きの最小化を行う様子を示す。図示の例では、「実際の運動41」が携帯装置の動きを表現する。実際の運動41は、或る軸44に沿う運動成分42と軸44に垂直な別の軸48に沿う運動成分46とを有する。運動42の量は運動46の量より大きいので、携帯装置は支配的な動きとして運動42を選択する。そして携帯装置はこの支配的な動きを増幅し、運動46(他の運動成分)を最小化し、実際の運動41が、運動50のように描かれたように装置で処理されるようにする。支配的な動きの増幅の度合い又はサイズは、その時点で装置で動作している特定のアプリケーションのような特定の要因に応じて様々な実施例で異なってよい。更に支配的な動きの増幅は、加速度の大きさ、動きの速度、或る方向(例えば、動き46)に対する別の方向の動き(例えば、動き42)の比率、ナビゲートされる基礎とするデスクトップのサイズ、又はユーザの好み等に基づいてもよい。或る実施例では、携帯装置は、或る運動属性が生じた場合にのみ好ましいモーション選択を実行する。例えば場合によっては、携帯装置は、或る軸の動きが何らかの他の動きよりも3回以上多かった場合に支配的な動きを選択及び増幅してもよい。その他の、より小さな動きは最小化されてもよい。
支配的な動きの選択及び増幅並びに他の動きの最小化は、モーションユーザインターフェースを利用するようにユーザの機能を更に拡張し、携帯装置又は装置で走っているアプリケーションが、望まれないノイズであってユーザが誘発したところのノイズをフィルタリングすることを可能にする。この機能により、ユーザは例えば装置を左に動かして調べるリストを取り出し、上下に動かすことでそのリストをスクロールすることができるかもしれない。不適切な軸に沿う動きは無視される或いはその装置によりかなり減らされてよい。
特定の実施例では、支配的な動きの選択及び増幅並びに他の動きの最小化は、装置の回転運動にも適用されてよい。並進運動に関して上述したように或る軸に沿う動きの場合と同様な手法で、或る軸の回りの支配的な運動が選択され及び増幅されてよい。更に、(支配的な回転でない)別の軸の回りの回転が最小化されてもよい。
図6は本発明の特定の実施例による好ましいモーション選択用のフローチャートを示す。フローチャートでは、携帯装置の動きに対応する未処理データが受信される。図示の例では、モーション未処理データは、x−加速データ62a、y−加速データ62b、z−加速データ62cを含み、ステップ64で処理され、装置の動きを示す出力を生成する。他の実施例は、光学的又はカメラデータ、ジャイロデータ及び/又は距離測定データのような他のタイプのモーション未処理データを含む。未処理加速データ62の処理の後に、ステップ66で運動の支配的な軸が選択される。運動に関して選択された支配的な軸がx軸であったならば、ステップ68aでx軸に沿う運動が増やされる。運動に関して選択された支配的な軸がy軸であったならば、ステップ68bでy軸に沿う運動が増やされる。運動に関して選択された支配的な軸がz軸であったならば、ステップ68cでz軸に沿う運動が増やされる。運動に関して支配的な軸における運動の増量は、使用されるアプリケーションに又は他の特性に従って様々な実施例で異なってよい。或る実施例では、ユーザの好み69が運動の増量又はタイプを決定するのに使用されてよい。運動の支配的な軸以外の軸に沿う運動は上述したように最小化され、そのような運動は特定のアプリケーションでは使用に際して無視される。ステップ70では増やされた運動が処理され、装置の挙動72をもたらす。この処理ステップは、使用されるアプリケーションにアクセスし、増やされた動きに基づいて実行する特定の装置の挙動を決定することを含んでもよい。増幅された運動は、使用するアプリケーション、特定のユーザ又はその他に従う多数のタイプの装置動作のどれをもたらしてもよい。
モーション入力を用いる特定のユーザインターフェースに関し、装置の位置に関連する、携帯装置10のディスプレイ12に表示された情報、又は仮想ディスプレイの位置を有する価値があるかもしれない。例えば、装置に表示された地図上を走行するような並進入力を用いる特定の実施例では、携帯装置の位置はディスプレイ12に表示されるマップの部分を直接的に決定するかもしれない。しかしながら、装置の位置情報が絶対的に維持されるならば(例えば、グローバルポジショニングサテライト(GPS)ベースのシステム)、マップ又はメニューナビゲーションのような多くのタスクの利用性は減退するかもしれない。かくて、ローカルな状況で「ゼロ点」(基準点)又は原点を決めることが状況によっては便利であり、そのゼロ点等は装置の挙動を決定するのに使用されてよい。例えば、装置が地点Aにある場合にゼロ点が決定されるならば、地点A及び地点B間の運動が入力として使用される。特に、ゼロ点を設定する有用なアプリケーションは、仮想ディスプレイを動かすこと、或いはユーザの体の回りの空間にアプリケーションを設置することのような外部挙動を含む。ゼロ点を設定することは、現在の向きにおける重力加速度を無視するように装置に命令するような内部挙動に取り組み、追加的に及びおそらくはユーザがもたらした加速度に関してのみ装置を動作可能にする。
特定の実施例による携帯装置は、或る回数でのみモーション入力を利用するアプリケーションユーザインターフェースを含んでもよい。他の回数では、例えば、装置の運動は入力として使用されず、これは装置のモーション検出機能又はモーション検知機能を「ターンオフ」にする或いは外すのに有用かもしれない。モーション感度機能を外すことは、例えば、装置10又は他の素子(例えば、装置のモーション応答モジュール等)のモーション検出器22の非活性化を含んでもよい。特定の実施例は装置のモーション検知機能の関与及び不関与の選択を可能にする。
一例として、モーション検出器22で検出された動きに基づいてディスプレイ12を修正するモーション応答モジュールは或る動作モードを有し、その動作モードは、モーション検知がイネーブルにされる別の動作モードにスイッチングするトリガを待機する動作モードである。モーション検知がイネーブルにされない場合には、装置の如何なる動きも無視される。そのトリガはその装置に対するゼロ点を設定してもよい。ゼロ点が設定されると、モーション応答モジュールは、モーション検出素子からの測定値に基づいて装置のベースラインの向きを測定してよい。ベースラインの向き(基線方向)は、トリガが受信された時の装置の位置を含んでもよい(モーション検出素子からの情報により決定される。)。装置の更なる動きは、基線方向と比較され、実行する機能又は修正(装置に関するユーザの動きに基づいてディスプレイ12になされるべき修正)を決定する。
特定の実施例は、装置のモーション検知の選択的な関与/不関与及びゼロ点選択に関する単独のトリガとして動作するユーザの起こす動作をいくつでも用意してよい。そのような動作は例えば入力14におけるキー押下、特定方向での装置10の運動(例えば、特定のジェスチャーに対応する動き)及びディスプレイ12のタッピング(ディスプレイをたたくこと)を含んでもよい。ユーザの起こしたアクションは、ゼロ点を設定し、同時に装置のモーション検知機能を使用するようにしてよいことが理解されるべきである。
或る実施例では、インアクティブな期間又はアクティビティが最少の期間(即ち、比較的静止状態の期間)にゼロ点及びモーション検知機能の関与又は不関与を設定してもよい。図7は携帯装置のゼロ点を受動的に設定するためのフローチャート80を示す。ステップ82aでx軸に関する加速度変化が検出され、ステップ82bでy軸に関する加速度変化が検出され、ステップ82cでz軸に関する加速度変化が検出される。ステップ84a,84b,84cでは、検出された何らかの加速度変化が或る特定の各自の閾値より大きいか否かが検査される。3つの軸各々に関して検出された加速度変化が、設定された閾値より大きくなかったならば、その装置は静止状態であると考えられてよく、ステップ86aでゼロ点が設定される。静止位置は、例えばモーション検出器22の要素の運動成分又は未処理データの安定化により決定されてよい。しかしながら3つの何れかの軸に沿って検出された加速度変化が、設定された閾値より大きかったならば、本プロセスはステップ82の加速度変化検出に戻る。かくてゼロ点を受動的に設定する本方法は、携帯装置が静止状態にある時にゼロ点が設定されることを保証する。更に、装置が一定の運動をしているが或る特定の時間にユーザによって動かされていなかった場合(例えば、一定の速度で運動している列車内で静止しているような場合)には、加速度は何ら検出されないので、ゼロ点が設定されてもよい。ゼロ点を設定するトリガを与えるほど充分に加速度変化が大きいか否かを判定するための閾値を利用することは、装置を静止状態に保持するユーザが、ゼロ点を受動的に設定することを可能にする。そうでなければこれは(受動的なゼロ点設定は)困難になる。なぜなら、非常に高感度の加速度計を備えた装置は、ユーザの起こした非常に些細な動きの結果生じる加速度変化を検出するかもしれないからである。加速度計以外の素子を備えるモーション検出器に関しても同様な方法が使用されてよいことが理解されるべきである。小さな意図されない動きに対処するためにそのような同様な方法で閾値が使用されてよい(そうでなければ、その動きはゼロ点の設定を妨げるおそれがある。)。
本発明の特定の実施例は、携帯装置のモーション検出機能を反復的に選択的に使用可能に及び不使用にする機能を含み、限られた物理的空間の中でのモーション入力を利用する仮想的デスクトップ(又は情報空間)での大きな動きを可能にする。このプロセスは、カーソルを制御するマウスと共に「行き来し(scrubbing)」、或いは表面からマウスを持ち上げてその表面の別の場所にマウスを置き直し、そのカーソルのより大きな動きを可能にすることに類似している。マウスを持ち上げることは、マウスの動きとカーソルの動きとの間の繋がり(コネクション)を切断する。同様に、装置10のような携帯装置の動きと、操作、機能又は動作との間のコネクションを、装置の動きに基づいて使用可能にする及び不使用にすることができる。
図8は携帯装置のディスプレイより大きな仮想的なデスクトップ又は情報空間でナビゲーションを行うためのスクラッビング(scrubbing)機能を利用する例を示す。図示の例では、携帯装置は仮想デスクトップ90を介してナビゲートするように使用される。仮想デスクトップ90は方眼地図(グリッドマップ)として示され、ユーザがナビゲートを希望する適切な如何なる情報を表現してもよい。携帯装置に表示される仮想デスクトップの情報はボックス92で表現される。この例では携帯装置の並進運動は仮想デスクトップ90を介してナビゲートするのに使用される。例えば、仮想デスクトップ90の情報を通じて右から左にナビゲートするために、ユーザは携帯装置を右から左に動かす。図示の例はスクラッビングプロセスを行うように装置を右に動かすことを示しているが、特定の実施例の携帯装置はスクラッビングプロセスを行うのに適切な如何なる手法で動かされてよいことが理解されるべきである。
上述したように、ボックス92は装置に現在表示されている仮想デスクトップ90の情報を示す。ユーザがボックス94で表現される情報を見ることを望むならば、そのユーザは携帯装置を左から右に動かせばよい。本実施例に関し、ユーザが装置を右に動かしたことすると、ボックス94に含まれている仮想デスクトップ90の情報が装置に表示される。また、ユーザの腕がユーザの右側に伸びきった状態になると、仮想デスクトップ90の装置情報のディスプレイにボックス94の右側にあるものを見るために、ユーザは歩き出さなければならない或いは更に右に動かさなければならない。そのような場合に、装置が更に右に動かされるように、更なる右への歩行や移動をユーザが実行できなかった場合或いは望まなかった場合、ユーザは、携帯装置のモーション検知機能を選択的に不使用にし、装置を左に動かし、装置のモーション検知機能を選択的に再び使用可能にし、そして装置を右に動かし、ボックス94の右側の情報を表示する。この手法では、ユーザはボックス96に含まれている仮想デスクトップ90の情報を表示することができ、ボックス96の更に右側のボックス98に含まれている情報を表示するのにそのプロセスが反復される。
限られた物理的な空間の中で仮想デスクトップ内で更に大きな動きを可能にするために、装置のモーション検知機能を不使用にして再び使用可能に選択することは、(装置の入力に関するキーによること、特定のジェスチャーや動き(例えば、ある円弧状の動き)に従って装置を動かすことによること又は装置画面を軽くたたく(タッピングする)ことのような)様々な如何なる方法ででも実行可能にされてよい。ユーザの起こす他の如何なる動作(アクション)でも、この目的のためにモーション検知機能を不使用に及び使用可能にするのに使用されてよい。特定の実施例は、装置のモーション検知機能を不使用に及び使用可能にするのに複数のアクションを許容する。更に、装置のモーション検知機能を不使用にするユーザのアクションは、モーション検知機能を使用可能にするユーザのアクションと異なっていてもよい。このスクラッビングプロセスは、マップナビゲーション、メニューナビゲーション及びリストのスクロールのような適切な如何なるアプリケーションで実行されてもよい。
図9は特定の実施例による上述の図8に関連するスクラッビングプロセスのステップを示すフローチャートである。フローチャートはステップ100から始まり、仮想ディスプレイ90のボックス92で表示する情報からボックス94の情報へ進むために、携帯装置が右に動かされる。上述したように、ユーザは更にボックス94の右側の情報を表示することを望むかもしれないが、装置を更に右に動かすための物理的空間は使い果たされているかもしれない。かくてユーザはステップ102で装置のモーション検知機能を不使用にする。そのような不使用を実行するために、装置に付いているボタンを押すこと或いは特定のジェスチャーに従って装置を動かすことのような適切な如何なるユーザアクションがなされてもよい。ステップ104では、ユーザは装置を左に動かし、そのユーザがより多くの物理的空間を用意できるようにし、モーション検知機能が再び使用可能になった場合にその物理的空間を通じてユーザは装置を右に動かす。
ステップ106ではユーザは装置のモーション検知機能を使用可能にする。再び、そのように使用可能にすることは適切な如何なるユーザアクションにより実行されてよく、そのようなユーザアクションは、ステップ102でモーション検知機能を付しようにしたときに実行されたユーザアクションと異なってもよい。モーション検知機能が使用可能にされたので、ステップ108でユーザは装置を右に動かし、装置に表示される情報を、ボックス94の情報からボックス96の情報に変える。ステップ110では装置を右側へ更に動かすことの要否が確認される。(例えば、仮想ディスプレイ90のボックス98における情報を表示するために)更なる移動が必要ならば、本プロセスはステップ102に戻り、装置のモーション検知機能が再び不使用にされる。更なる動きが一切不要ならば、本プロセスは終了する。上述したようにスクラッビングプロセスは、モーション入力をサポートする装置の適切な如何なるアプリケーションで使用されてよく、装置はその機能を使用するために適切な如何なる方法で動かされてもよい。
上述したように、装置の特定の運動(例えば、特定のジェスチャー)が、そのような動きの間にディスプレイに示される情報を変えないことを装置に通知するために、スクラッビングプロセスで使用されてもよい。このことはユーザが装置を或る位置に戻すことを可能にする(ディスプレイに示される情報を更に変更するためにユーザはその位置から装置を動かす。)。例えば、装置が或る基準参照(ベースリファレンス)位置にあり、その位置からの装置の動きが表示情報を変える。或る特定の所定の運動(例えば、円弧状の動き)が使用され、その動きが完了するまで動きに応じて表示情報を変えないように装置に通知してよい。所定の運動が完了すると、基準参照位置がリセットされ、基準参照位置からの装置の更なる動きが表示情報を変えるようにしてもよい。基準参照位置は、装置のモーション検出素子により受信されたモーションデータのベースライン成分で表現される装置のベースライン方向を識別する。特定の実施例では、基準参照位置からの動きにより決定されるようなジェスチャーが受け取られ、装置に表示される情報を変える特定のコマンドを実行する。
上述した様々な実施例に関して説明されたように、特定の実施例による携帯装置は複数のタイプの又はモードの入力を使用して装置を操作してもよい。そのような入力モードは、並進入力モード及びジェスチャー入力モードのようなモーション入力モードを含む。複数の入力モードはしばしば互いに組み合わせて使用されてもよく、場合によっては携帯装置は一度に或る1つのモードタイプを認識するように設定されてもよい。或る状況では、携帯装置は或る特定の時点で複数のタイプの不動入力(non-motion input)及び唯1つのタイプのモーション入力(例えば、並進及びジェスチャー)に基づく機能に設定されてもよい。
複数の入力モードを認識する携帯装置のこの柔軟性を促進するために、特定の実施例では、入力モードを切り替えるために或るトリガが使用される。例えばユーザは入力モードを切り替えるために特定のキーを押す或いは装置を或る方法で(例えば、特定のジェスチャーで)動かす。装置のアプリケーションが複数のタイプのモーション入力に基づいて認識及び機能する例では、並進モーション入力モード及びジェスチャー入力モードを切り替えるために、特定のキーが押される或いは特定のジェスチャーがその装置を利用して形成される。また、トリガは、或るアプリケーションから別のものへの単なる切り替わりや、或る表示画像から別のものへの切り替わりを含んでもよい。場合によっては、あるトリガで不動入力モード及びモーション入力モードを切り替えてもよい。異なるモーション入力モード間のような異なる入力モード間で切替を行うために、特定の如何なるユーザアクションでもトリガとして使用されてよい。或る実施例では、音声コマンドや装置に関する物理的なアクション(例えば、装置やスクリーンを軽くたたくこと)が入力モードを切り替えるのに使用されてもよい。
特定の実施例では、装置のモーション検知機能を使用可能にするユーザアクションは、装置の振る舞いに別様に影響するかもしれない他の情報を含んでもよい。例えば、並進運動検出を使用可能にする或る動きをユーザが行った場合に、それは、モーション検知機能を使用可能にするのにユーザが別のモーションを行う場合よりも、その装置を動きに対して高感度にしてよい。使用可能にする動きは、ユーザの身元やコンテキストを示すジェスチャーを含んでもよく、それによりユーザの好みのような様々な動作設定に従事できる。
上述したように、特定の実施例は、携帯装置の様々な機能、タスク及び動作を制御するためのモーション入力を受信する機能を含み、そのプロセスで装置に表示される情報を変えるのに使用されてもよい。場合によっては、そのようなモーション入力は、単なる並進形式の入力とは異なり、ジェスチャー形式のものでもよい。ジェスチャー入力は或るアプリケーションの多次元メニュー又はグリッドを通じてナビゲートするのに使用されてもよい。例えば、スクラッビングプロセスに関して上述されたように、携帯装置のディスプレイは、ディスプレイに表示可能な情報量(例えば、メニューオプション、マップ情報)より少ない(小さい)かもしれない。これは狭く深いメニュー構造を招く。多くの場合に、狭く深いメニュー構造よりも広くて浅いメニュー構造が好ましいかもしれない。なぜなら、
ユーザは機能が位置する場所に関する多くの情報を覚えなくて済むからである。
図10Aは特定の実施例によるジェスチャー入力を用いるナビゲーションメニュー例を示す。図示の例では、携帯装置は仮想的なデスクトップ120を通じてナビゲートするのに使用される。仮想的なデスクトップ120は選択用のメニューカテゴリ122を有するメニューツリーを含む。各メニューカテゴリ122は選択用の各自の副次的なカテゴリ(サブカテゴリ)を含んでよい。或る実施例では、メニューカテゴリ122は、機能のカテゴリを含み、メニュー選択各々のサブカテゴリはそのようなカテゴリ各々の下での実際の機能を含む。他の例では、メニューカテゴリは名詞(例えば、「フォルダ」、「ドキュメント(書類)」、「画像」)から成り、サブカテゴリは動詞(例えば、「移動する」、「貼り付ける」、「切り取る」)から成る。携帯装置がセルラ電話を構成するならば、メニューカテゴリ122は「呼び出し」、「電話帳」、「メッセージ」、「立案者(プランナ)」、「音」、「設定」その他の項目を含んでもよい。各メニューカテゴリ122は、メニューカテゴリ122が選択されるとアクセスされるかもしれない機能を含んでもよい。2つのメニューレベルが図10Aに示されているが、モーションインターフェースナビゲーションに関する多次元デスクトップ又は情報表示は、レベル数をいくつでも使用しながら、選択肢(例えば、メニュー)をいくつ含んでもよいことが理解されるべきである。
図示の例では、メニューカテゴリ122eが選択され、メニューカテゴリ122eのサブカテゴリ124が選択できるように表示されている。ボックス126,128は携帯層でユーザに表示される情報を表現する。図示されるように、仮想的なデスクトップ120は、一度に装置に表示可能なものより多くの情報又はメニューを含む。ユーザは特定のジェスチャーに従って装置を動かし、仮想デスクトップにわたって又はそれを通じてナビゲートする。ジェスチャーは様々なメニューレベルを通じてナビゲートするために及びメニュー選択を行うために使用されてもよい。一例として、ユーザは、装置10を時計回りに動かし(130)、仮想デスクトップ120上で右に所定量だけ進めてもよい(例えば、ボックス126の情報からボックス128の情報へ動かす。)。特定のメニューカテゴリ122は離れるジェスチャー(132)により又は下げるジェスチャーにより選択され(例えば、メニューカテゴリ122eを選択するため)、選択用のサブカテゴリ124を表示してもよい。同様に仮想デスクトップ120から持ち上げるように動かし、ユーザは装置10を反時計回りに動かしてもよい(134)。場合によってはナビゲーションは次の4つのジェスチャーを通じてなされてもよい:前進ジェスチャー、後退ジェスチャー、左ジェスチャー及び右ジェスチャー。或る実施例では、垂直方向のモーションベクトルを有するジェスチャーがナビゲーションに使用されてもよい。
特定の実施例では、他に使用されるジェスチャーの鏡像であるジェスチャーが使用され、他のジェスチャーによってなされるものと逆の機能を実行させてもよい。例えば、ユーザに向かうモーションがズーム(拡大)であり、ユーザから離れる動きである逆のモーションはズームアウト(縮小)でもよい。逆の機能に対応付けられる鏡像又は逆転のジェスチャーは、学習及び利用しやすい装置用モーションユーザインターフェースを形成する。
場合によっては、ディスプレイ中央でのメニュー項目が選択用に強調されてもよいし、他の場合には特定のジェスチャーは、複数の表示された選択支中の、ユーザが選択を希望するメニュー選択肢を示す。ジェスチャーを利用してユーザがナビゲートするメニューその他の情報は、様々な如何なる方法で携帯装置に示されてもよいことが理解されるべきである。或る実施例では、1つのレベル情報のみが(即ち、1つのメニューレベルが)一度に表示され、サブレベル又は高いレベルは、選択によりそれらが利用可能にされるまで表示されない。
図10Bは仮想デスクトップを介してユーザがナビゲートすることを可能にする機能のような様々な機能を実行するのに使用されるジェスチャー例を示す。図示の例のジェスチャーは、デスクトップで上方向に進むための「上昇(アップ)」ジェスチャー133、下に進むための「下降(ダウン)」ジェスチャー135、左に進むための「左(レフト)」ジェスチャー136、右に進むための「右(ライト)」ジェスチャー137、ユーザに向かう方向に進むための「入(イン)」ジェスチャー138及びユーザから離れるように進むための「出(アウト)」ジェスチャー139を含む。これらは特定の実施例に関するジェスチャー及びコマンドの具体例に過ぎず、他の実施例は、デスクトップを通じたナビゲーションを行うため又は携帯装置で特定の機能を実行するために、様々なコマンドに対応付けられる同様なジェスチャー又は異なるジェスチャーを含んでよいことが理解されるべきである。
図11は本発明の特定の実施例によるモーション入力を用いるナビゲーションマップ例を示す。図11は16個の部分に分割された情報グリッドを表現する仮想デスクトップ140を含み、各部分は文字(A,B,C,...,P)で参照される。仮想デスクトップの一部は特定の実施例を説明するためだけの参照文字を用いて見分けられ、他の実施例による仮想デスクトップの一部分は参照文字又はそれ以外のもので装置のアプリケーションの中で区別されてもされなくてもよい。仮想デスクトップ140は、特定の携帯装置で一度に表示可能な量より多くの情報を含む。仮想デスクトップ140は、適切な如何なる情報を表現してもよく、その情報はストリートマップのようにユーザが携帯装置を用いてナビゲートすることを希望する情報である。ユーザは、携帯装置で情報の様々な部分を表示するために仮想デスクトップ140を通じてナビゲートすることを希望し、仮想デスクトップ140の情報の或る部分を更に明確に見るために仮想デスクトップ140の中でズームすること(及びズームアウトすること)−即ち、表示される情報の粒度を変えること−を望むかもしれない。
図示の例では、ボックス142は携帯装置10で現在表示されている情報を表す。ボックス142は仮想デスクトップ140の一部分A,B,E,Fを含む。特定の実施例では、ユーザが装置に表示されるデスクトップ140の情報を例えばボックスC,D,G,Hの情報に変えることを望むならば、そのユーザはモーション入力を利用して装置のディスプレイを表現するボックス142を必要な量だけ右に動かす(図示の例では、右に2つの部分だけ動かす。)。そのようなモーション入力は並進入力(携帯装置10を右に適用可能な量だけ動かし、表示される情報を変更すること)又はジェスチャー入力(ある機能に対応付けられる特定のジェスチャーに従って携帯装置を動かすこと)を含む。一例として、或るジェスチャーは1つの部分だけ表示を右に動かすことに対応付けられ、別のジェスチャーは2つの部分だけ表示を右に動かすことに対応付けられてもよい。かくて並進入力又はジェスチャー入力を用いて、ユーザはデスクトップ140をナビゲートできる。
例えば、並進入力又はジェスチャー入力を通じて、携帯装置10はユーザが表示される情報に対して(そのような情報をより鮮明に見るために)ズームインすることを可能にする。ジェスチャー入力を用いる例のように、装置に表示される情報が16個の部分の内4つ(例えば、部分A,D,E,Fを表示するボックス142)を含んでいたならば、ユーザは4つのジェスチャーの1つを用いて、表示される4つの部分の1つにズームインしてもよい(4つのジェスチャーの各々は1つの部分でのズームインに対応付けられる。)。部分Bにズームインするよう対応付けられるジェスチャーに従ってユーザが携帯装置を動かしたならば、その装置はボックス144(部分B1,B2,B3,B4,B5,B6,B7,B8,B9)により表示される情報を表示するかもしれない(ボックス144は仮想デスクトップ140の部分Bの情報を拡大図で集合的に形成する)。かくて部分Bの情報は、より大きく且つより鮮明に表示される。装置でボックス144の情報を見る場合に、適切に対応付けられたジェスチャーを用いてユーザは現在表示されている特定の部分を更に拡大又は縮小してもよい。部分B2を拡大することに対応付けられたジェスチャーに従ってユーザ装置が携帯装置を動かしたならば(そのジェスチャーは、ボックス142の情報が表示されたときに部分Bを拡大するのに使用されたのと同じジェスチャーでもよい。)、その装置はボックス146(部分B2a,B2b,B2c,B2d,B2e,B2f,B2g,B2h,B2i)の情報を表示する。ユーザは特定の部分を拡大した場合に仮想デスクトップを通じてナビゲートしてもよい。例えば、部分Bに関してズームインした場合に(ボックス144の情報を表示し)、ユーザは並進又はジェスチャー入力を用いて仮想デスクトップを通じて(装置を)動かし、部分B以外の部分の拡大図を見てもよい。例えば、ボックス144の情報を見る場合に、ユーザは、表示されている情報を右に動かすジェスチャーを行い、ディスプレイ全体が仮想デスクトップ140の部分Cの情報のみを示すようにしてもよい(即ち、部分C1,C2,C3,C4,C5,C6,C7,C8,C9を示す部分Cに拡大する。)。モーション入力を用いる適切な如何なる手法ででもユーザは仮想デスクトップ140の情報を通じて(進行及びズームイン/アウト双方を用いて)ナビゲートしてよいことが理解されるべきである。
上述したように、仮想デスクトップを介して(又は特定のレベルを通じて)ナビゲートすること及び多次元デスクトップの異なるレベル又は次元の間で又はそれを通じてナビゲーションすることの双方に適切な如何なるジェスチャーが使用されてもよい。更に、或る実施例でのジェスチャーのような運動は、多次元デスクトップを通じたナビゲーションに使用されてもよく、不動アクションは次元の間で選択又はナビゲーションを行うのに使用されてもよい。そのような不動アクションはキー押下による装置入力を含む。かくて移動及び不動アクションの組み合わせが、特定の実施例で多次元仮想デスクトップ又はメニューナビゲーションに使用されてもよい。
特定の実施例は、多次元グリッド、メニュー、カレンダその他の階層的アプリケーションのような何らかの適切なアプリケーションを通じてジェスチャー形式のナビゲーションを可能にする。例えば、カレンダーアプリケーションでは、或るジェスチャーが、月のような1つのレベルの中でナビゲートするために使用され、他のジェスチャーが、年、月、日、時間及びイベントの間のようなレベル間をナビゲートするのに使用されてもよい。更に、そのようなジェスチャーナビゲーションを利用する携帯装置で実行される様々なアプリケーションは様々なジェスチャーを利用してもよい。かくて特定のナビゲーションジェスチャーは、使用する特定のアプリケーションに応じて異なってもよい。或る実施例では、ジェスチャーベースの運動を単に利用するのではなく、並進ベースのインターフェースが、仮想デスクトップの多次元情報を介するナビゲーションに使用されてもよい。例えば、x及びy軸に沿う運動が或る階層の或るレベル内を進行するのに使用され、z軸に沿う運動が階層レベル間を進行するのに使用されてもよい。
他の例は、施設に関する電話帳、アルファベット文字、名前、連絡先の詳細(例えば、オフィス、セルラ及び家庭の電話番号、電子メール等)及び動作(アクション)を用いて、或る階層の様々なレベル全てに対するコンタクトを開始することを含む。この例では、その階層は情報(名詞)及びアクション(動作)を含んでよい。あるものはこの例を2軸だけに対応付け、例えばy軸は階層の或るレベル内での選択に使用され、x軸はレベル間を移動するのに使用される。z軸はアクションを確認するのに使用され、アクションの不適切な実行を防ぐことを支援する。
場合によっては、横切るレベル数は、特に並進ベースのナビゲーションでは、動きの大きさに依存してもよい。装置を少しだけ動かすことは、一度に1レベル進行させ、装置を大きく動かすことは一度に複数レベル進行させてもよい。運動の大きさが大きいほど、より多くのレベルを一度に進める。ジェスチャーベースのモーション入力に適用されるように、階層中の異なるレベル数を一度にナビゲートするために、異なるジェスチャーが使用されてもよい。これらのジェスチャーは、同じ動きで異なる大きさでもよいし、完全に異なる動きでもよい。
多次元デスクトップ又は情報ディスプレイを介するモーションインターフェースナビゲーションを利用することは、メニューを平坦化することを可能にする。なぜなら、大きすぎて装置のディスプレイに合わない仮想デスクトップの特定のメニュー又は寸法にわたってユーザは容易にナビゲートできるからである。メニューの平坦化の結果、ユーザにはより少ない情報の記憶しか要求されずに済み、ユーザにとっての装置の機能性及び能力を増進する。
上述したように、特定の実施例では携帯装置は、モーション入力を用いてユーザが仮想デスクトップを介してナビゲートすることを可能にする。場合によっては、ユーザはカーソルを使って携帯装置に表示される情報の上をナビゲートしてもよい。例えば、或る情報が装置に表示され、ユーザはモーション入力を用いて装置のディスプレイ近辺でカーソルを動かして表示されている特定の項目を選択し、或る機能を実行してもよい。場合によっては、モーション入力がカーソルを動かすのに使用され、(ボタン押下のような)不動アクションが、そのカーソルで現在示されている項目を選択するのに使用されてもよい。ジェスチャー及び並進運動入力の双方が、カーソルナビゲーションの様々な例で使用されてもよいことが理解されるべきである。
特定の実施例では、表示される情報が装置に関して固定され、カーソルは空間内に固定されたままであり、装置の動きはその情報に対してカーソルをナビゲートするのに使用されてもよい。図12Aは、その形式のモーション入力カーソルナビゲーションを利用する様子を示す。ディスプレイ147は携帯装置のディスプレイを示す。このカーソルナビゲーション例を説明するために、ディスプレイは表示される情報を示すようにグリッドに分割される。グリッドは部分A−Pを含む。ディスプレイ147は部分C,D,G,Hの間にカーソル148を含む。上述したようにこの例では、表示される情報は、その装置が動かされる場合に、装置に対して固定され、カーソルは空間的に固定されている。しかしながら、表示される情報に対するカーソルの(相対的な)位置はモーション入力に従って変化する。装置が右に並進させられると、右運動149に従って、カーソルは装置の並進運動とは逆の運動により進められる。
ディスプレイ150は、右運動149に従って装置が動かされた後の可能なディスプレイを示し、今カーソル148は部分A,B,E,Fの間にある。この例は並進ベースの入力であるので、装置の運動の大きさ(この例では、右側への運動の大きさ)は、表示される情報に対するカーソルの動きの大きさに直接的に影響することが理解されるべきである。携帯装置が運動151に従って動かされた後に、ディスプレイ152は別のディスプレイを示し、カーソルは部分I,J,M,Nの間にある。明らかに、カーソルは、空間的に固定された間々なので、表示される情報に関して下側に(相対的に)動いている。携帯装置が左運動153に従って動かされた後に、ディスプレイ154が更に示され、今カーソル148はK,L,O,Pの間にある。明らかにカーソルは表示情報に対して右に(相対的に)動いている。かくてこの形式のカーソルナビゲーションでは、装置の運動はその情報でのカーソルの位置を変える。この方式の例では、表示される情報の特定の場所を指し示すように、スタイラスを用いる代わりに、携帯装置が動かされる。
カーソルナビゲーションプロセスのどの時点ででも、カーソルで現在示される情報に従ってある機能を選択又は実行するのにユーザは如何なる形式の入力(例えば、ジェスチャー、キー押下等)を利用してもよい。例えば、ディスプレイ152に関し、ユーザは特定のジェスチャーを利用して又はボタンを押下して、カーソル148で現在示されている部分I,J,M,N間の情報に基づいて、ズームイン、選択又は他の機能を実行してもよい。
図12Aに関して上述したように、特定の実施例は、装置の運動とは逆の運動方向にカーソルを並進させ、表示される情報に対するカーソルの相対的な位置を動かす。一実施例では、装置の入力モーションは3つの軸の各々に沿う運動成分に分解され、それらの内2つは装置のディスプレイに平行である(例えば、x軸及びy軸)。x軸及びy軸の面内での装置の運動はそのような運動に基づいて装置内で表示されるが、カーソルは、x軸方向及びy軸方向の合成運動と逆向きの並進ベクトルに従って同時に動かされ、空間内でのカーソルの位置を実質的に維持する。場合によっては、カーソルがその並進ベクトルに従ってディスプレイの端を過ぎて移動することになる場合は、そのベクトルはディスプレイ内にカーソルを維持するように減縮される。そのような減縮は、ディスプレイ端から所定の距離の範疇にカーソルを維持するように、並進ベクトルの1以上の成分を減らすことを含む。
表示される情報の部分A−Pへの分割は上述の実施例を図示及び説明するためにのみなされ、特定の実施例の携帯装置で表示される情報はそのような分割や他のタイプのリファレンス情報を含まなくてもよいことが理解されるべきである。
図12Bは、特定の実施例による別の形式のモーション入力カーソルナビゲーションを示す。この例では、カーソルはディスプレイに関して固定された場所にとどまり、モーション入力は装置のディスプレイより大きな仮想的なデスクトップ上でナビゲーションを行うために使用される。図12Bは仮想的なデスクトップ158を含み、そのデスクトップは、携帯装置でモーション入力を用いてユーザがナビゲーションする情報(例えば、市街地図)を含む。仮想デスクトップ158は、特定の携帯装置に一度に表示可能な情報よりも多くを含む。このカーソルナビゲーション例を説明するために、仮想デスクトップ158はグリッドに分割され、デスクトップで示される情報を区別する。グリッドは6つの行(A−F)及び7つの列(1−7)を含む。グリッドの一部分はここの例では行の文字及び列の番号で特定される(例えば、部分B7又はD2)。行及び列番号により参照される部分に仮想デスクトップ158を分割することは、実施例を図示及び説明するためにのみなされ、特定の実施例の仮想的デスクトップはそのような分割や他のタイプのリファレンス情報を含まなくてもよいことが理解されるべきである。
ボックス160は携帯装置で現在表示されている仮想デスクトップ158の情報を示す。ディスプレイ161はボックス160を示す携帯装置のディスプレイを示す。また、ディスプレイ161は部分B2,B3,C2,C3の交点に位置するカーソル159を含む。上述したように、ユーザがモーション入力を用いて仮想デスクトップ周囲で動かす場合に(即ち、装置に表示される情報を変えるために動かす場合に)、カーソルはディスプレイに関して固定された位置に残る。しかしながら、携帯装置で表示される仮想的デスクトップの情報に対するカーソルの(相対的な)位置は変化する。例えば、ユーザはモーション入力を用いて、装置で表示されている情報をボックス162で表示されるものに変える。装置で表示される情報は(部分B5,B6,C5,C6に)変わり;カーソル159は装置のディスプレイ上で(例えば、この例ではディスプレイの中央に)固定されたままであり、ディスプレイ163に示されるように仮想デスクトップ158の情報に関して、カーソルの相対的位置が変わるようにする。ユーザが、モーション入力を用いて、装置で表示されている情報をボックス164で表示されるものに変えることを望むならば、装置で表示される情報は、ディスプレイ165に示されるように部分E3,E4,F3,F4に変わる。カーソル159はディスプレイ中央に示される部分の間にある。なぜならディスプレイに対するその位置は本実施例では固定されたままだからである。
かくて、図12Bに関して説明されたカーソルナビゲーションの形式によれば、カーソルは装置ディスプレイに対して固定された位置にのこり、仮想デスクトップの情報に対するカーソル位置が変わる。図12Aに関して図示及び説明した実施例に関して述べたように、ナビゲーションプロセスのどの時点ででも、ユーザは、カーソルで現在示されている情報に従って或る機能を選択する或いは実行するために、如何なる形式の入力(例えば、ジェスチャー、キー押下等)でも使用してよい。例えば、ディスプレイ163に関し、カーソル159で現在示されている部分B5,B6,C5,C6の情報に基づいてズームイン、選択又は何らかの他の機能を実行するためにユーザは特定のジェスチャーを使用し或いはボタンを押下する。
ジェスチャー又はキー押下のような特定の如何なる入力も、装置でのカーソルナビゲーションモードを切り替えるのに使用されてよいことが理解されるべきである。例えば、図12Aの並進制御カーソルモードと図12Bの固定カーソルモードの間でユーザは切替を行ってもよい。
上述したように、特定の実施例は、特定の機能又は動作を実行するために或るジェスチャーに従ってユーザが携帯装置を動かすことを許容する。しかしながら場合によっては、ユーザは、意図される特定のジェスチャーに従って装置を動かしていないかもしれない。その結果装置はその動きを意図されるジェスチャーとして認識できないかもしれない。ユーザによる装置の特定の動きが特定のジェスチャーとして認識されることを示すため、或る実施例の携帯装置はその動きが実際にジェスチャーとして認識されたことをユーザに通知するフィードバックを用意する。
このフィードバックは、音声、ビープ、トーン又は音楽のような音声フォーマット、装置ディスプレイ上の指標のような視覚的フォーマット、振動型のフォーマット、又は適切な他の何らかのフィードバックフォーマットを含んでもよい。音声フィードバックはユーザインターフェースのスピーカ又は装置10のヘッドフォンジャックを通じて用意されてもよいし、バイブレーションフィードバックは装置10のユーザインターフェースバイブレーション生成モジュールを介して用意されてもよい。聴覚的な、視覚的な及び振動的なフィードバックは複数のフィードバックインジケータに機能を提供するように変形されてよい。一例として、振動フィードバックは、或る持続期間にわたって周波数及び振幅を単独に又は様々な組み合わせで時間と共に変化させてもよい。フィードバックの豊富さ及び複雑さは、音声フィードバックと組み合わせて振動フィードバックを使用するように、様々なタイプの組み合わせで次々とフィードバックを使用することで拡張されてもよい。場合によっては、1以上の認識されたジェスチャーがそれら自身の各自のフィードバックを有するように、フィードバックはジェスチャー固有でもよい。例えば、或るジェスチャーが認識された場合、装置は特定のトーンで又は特定の回数だけビープ音を鳴らしてもよく、1以上の他のジェスチャーが認識される場合、ビープ音又はビープ回数は異なってもよい。オーディオフィードバックを用いることは、速やかな視覚的な画面での表明や機能を有しないジェスチャー(例えば、セルラ電話で何らかの電話番号を呼び出すこと等)にとって特に有意義かもしれない。或る実施例では、別のタイプのフィードバックがコンテキスト又はアプリケーション固有でもよい。様々な状況(コンテキスト)は、装置状態(何のアプリケーションが着目され又は使用されているか、バッテリレベル、利用可能なメモリ、(静かな又はサイレントモードのような)ユーザにより規定された状態等)を含んでよい。例えば、携帯装置はジェスチャー入力に応じて振動的なフィードバックを利用してもよいし、オーディオフィードバックでサイレントモードではそれ以外が使用されてもよい。このフィードバックプロセスは、コンピュータ又は他の素子の携帯モーション入力装置により使用されてもよい。
上述のジェスチャー認識に関するフィードバックと同様に、特定の実施例での携帯装置は、装置がジェスチャー入力モードにあった場合において、特定のユーザの動きがジェスチャーとして認識されなかった場合にユーザにフィードバックを与える。例えば、或る動きがジェスチャーであることを意図するように見えるが、装置に既知の特定のジェスチャーに決めることができなかった場合、失敗を示す音を鳴らしてもよい。これは、所望の動作又は機能を実行するために、その装置に意図されるジェスチャーに従って装置を更に動かす必要のあることをユーザに通知する。或る動きが認識されなかったことをユーザに通知するフィードバックは、音声で、視覚に、振動で又は他の適切なフォーマットでなされてもよく、特定の動きが特定のジェスチャーとして装置により認識される場合に通知されるものと異なるフィードバックである。ユーザの意向がジェスチャーを入力することであったか否かを確認するために、携帯装置10は、動きがジェスチャーであるように意図されることを示す或る動きの特徴を調べててもよい。そのような特徴は、例えば、動きの振幅、閾値を上回る運動の経過時間、加速の回数及び間隔等を含んでもよい。特定のジェスチャーが装置により認識されなかったならば、ジェスチャーによるフィードバックのシステムが、意図されるジェスチャーを決めるのに使用される。例えば、音声フィードバックは携帯装置で決定される見込みを示し、ユーザは意図されるジェスチャーを選択するために音声メニューをナビゲートするようにジェスチャーを利用してもよい。
特定の実施例では、オーディオ又は振動のフィードバックのシステムは、視覚的ディスプレイ12に頼らずに、ユーザが携帯装置10を動作させることを可能にする。例えば、或る実施例では携帯装置は音声の、視覚的な、又は振動的なフィードバックを、仮想的デスクトップのメニューその他の情報をナビゲートするユーザにもたらす。つまり、ユーザのモーション入力で組み合わせられるこの装置のフィードバックは、ユーザと装置との間のある種の「対話(conversation)」として機能する。上述したように、複数のタイプの及び複雑なフィードバックが使用されてもよい。フィードバックプロセスは、装置ディスプレイを眺めることが簡易でなく、安全でなく又は実用的でない環境で(例えば、運転中に又は暗い環境の中で)特に有利である。
オーディオの、視覚的な及び振動的なフィードバックのようなフィードバックは並進運動入力に関する実施例で使用されてよいことも理解されるべきである。例えば、並進入力を用いて、ユーザが仮想デスクトップの端に又は制限に達した場合に、フィードバックインジケータが与えられてもよい。
図13はモーション入力に応答するフィードバックを利用するプロセスを示す特定の実施例によるフローチャート170である。本プロセスのステップ172では、未処理モーションデータが携帯装置10で受信される。上述したように、未処理データは加速度計、ジャイロ、カメラ、距離測定器その他の適切な如何なる運動検出素子の如何なる組み合わせによって受信されてもよい。ステップ174では、未処理モーションデータが処理され、装置の運動を示すモーション検出出力を生成する。そのような処理は様々なフィルタリング技術や複数の検出素子からのデータの融合を含んでもよい。
ステップ176では、装置の状態が検査される。なぜなら、或る実施例では、特定の動きに対するフィードバックはその動きが受信された場合の装置の状態に依存するからである。上述したように、装置状態の具体例は、着目する又は使用する特定のアプリケーション、バッテリレベル、利用可能なメモリ及び特定のモード(例えば、サイレントモード)等を含んでよい。ステップ178ではモーション検出器出力が装置の状態に関して分析される。ステップ180では、モーション検出器出力で示された運動が有意義である或いは特定の装置状態の下で認識可能であるか否かが確認される。例えば、特定のジェスチャーが或るアプリケーション(例えば、カレンダーアプリケーション)では或る機能を実行し、そのジェスチャーは別のアプリケーションでは何らの機能も与えなくてもよい。ジェスチャーが認識可能である又は装置の状態の下で有意義であった場合には、ステップ182にてフィードバックが与えられる。上述したように特定の実施例ではフィードバックは音声の、視覚的な又は振動的なフォーマットでもよい。場合によっては、フィードバックは、装置がその装置上対の下でジェスチャーを認識したことの単なる指標でもよい。他の例では、例えば、ユーザが(1以上の機能を実行するために一連の入力を用意する)装置の特定のアプリケーションを使用していたならば、フィードバックは付加的な入力を求める更なるクエリ(query)でもよい。ステップ184では、装置はモーション入力及び装置状態に従って振る舞い、本プロセスはステップ172に戻り、更なる未処理データが受信される。
ステップ180で、モーション検出器出力により示されるモーションが特定の装置状態の下で有意義でも認識可能でもないことが確認されたならば、プロセスはステップ186に進む。ステップ186では、そのモーションが特定の閾レベルを上回っているか否かが確認される。この確認は例えば特定のモーション入力が或るジェスチャーであることを意図していたか否かを判断することによりなされてもよい。上述したように、この判断の閾値特性は、モーション入力の振幅、モーション入力の経過時間、モーションの加速に関する回数及び間隔等を含んでよい。モーション入力が特定の閾値を上回っていなかったことが確認されると、プロセスはステップ172に戻り、更なる未処理モーションデータが受信される。しかしながら、或るジェスチャーが意図されていたがその装置状態の下では認識されなかった又は有意義でなかった、という具合にモーション入力が閾値を上回っていたならば、ステップ188でフィードバックがなされる。そのフィードバックは、音声の、視覚的な及び/又は振動的なフィードバックを含んでよく、そのジェスチャーが認識されなかった又は有意義でなかったことを示してよい。特定の実施例では、フィードバックは意図されたジェスチャーに関する問い合わせ(クエリ)を含んでもよいし、或いは意図される可能性のあるいくつものジェスチャーをユーザに提供し、その中からユーザがモーションで意図した特定のジェスチャーを選択してもよい。特定の実施例は上述したステップのいくつかを含まないかもしれないし(例えば、或る実施例はステップ186の閾値判定を含まないかもしれない。)、他の実施例は追加的なステップを又は同じステップを異なる順序で含むかもしれないことが理解されるべきである。上記により示唆されるように、特定の実施例は多くのアプリケーション及び手法のどれによるモーション入力フィードバック(例えば、フィードバック「対話」を含む)を利用してもよく、フィードバックシステムの種類及び複雑さは様々な実施例で大きく異なってよい。
上述したように、特定の実施例による携帯装置は、ジェスチャーモーション入力を受け取り、その装置で動作する如何なる数のアプリケーションの如何なる数の機能でも制御する。ジェスチャーを用いる或るアプリケーションはモバイルコマース(mCommerce)−エムコマース−アプリケーションを含んでもよく、そのアプリケーションでは携帯装置10のようなモバイル装置は、商用の又は消費者購買のような様々な取引を行うために使用される。多くのエムコマースアプリケーションはある種の認証形式を利用し、個人識別番号(PIN)、クレジットカード情報及び/又はモバイル装置の所有権等に関してユーザを認証する。しかしながら多くの形式の認証は「漏洩又はリーク」のおそれがある。それらは故意に又は偶発的に同時使用されるおそれがある。別の形式の認証はユーザの書いた署名であり、署名はそのようなリークの問題による被害を受けにくい。なぜなら偽造をなすことは一般に困難であり且つ発見されやすいからである。特定の実施例は、携帯装置を介するエムコマースの又は他の取引の認証形式としてユーザの署名を受け取るために、モーション入力を利用する。
筆記された署名はジェスチャーの2次元記録として処理されてよい。モーション入力機能を備えた携帯装置を用いる場合、ユーザの署名は3次元的でもよく、その場合は「空間的な署名」を構成する。更に、装置で受信される他の形式の入力と組み合わされる場合、ユーザの署名は何次元になってもよい(建生場、4次元、5次元又はそれより多くの次元でさえよい。)。例えば、装置を用いて空間的に「描かれ」且つモーション検出器22で検出された3次元ジェスチャーは、キー押下その他の入力と組み合わせられ、署名の次元数を増やしてもよい。
これらの空間的な署名は、携帯装置のモーション検出器22により追跡され、記録され且つ分析されることが可能である。これらは、有効な認証形式として機能するモーション検出素子数を変えることで、精度を変えながら記録可能である。ユーザの空間的署名は、ユーザの従来の2次元的に書かれた署名に基づく3次元的な形式で構成されてもよいし、或いは彼又は彼女の署名としてユーザが携帯装置に記録する適切な他の如何なるジェスチャーで構成されてもよい。
或る実施例では、空間的署名を認識するプロセスはパターン認識及び学習アルゴリズムを含んでもよい。そのプロセスは署名に関連するキーの加速の相対的なタイミングを分析してもよい。これらは、動きの始まり及び終わり、運動の曲がり具合及び他の運動属性に関連する。或る例では、署名運動の或るポイントのデータセットの或るハッシュが記憶され、以後の署名は認証用にそのハッシュと比較される。更にこれは、署名が固有であるか否かを確認することで署名が真正であるか否かを判断する。例えば、特定の実施例では、署名は、初期の又は参照位置に対する装置の特定の動きを比較することで(例えば、装置10の署名検出モジュールにより)検出されるかもしれない。そのような比較は、その運動の加速シーケンスを記憶済みの空間的署名の所定の加速シーケンスと比較することでなされてもよい。この判定はユーザの入力モーション署名の大きさによらずなされてよい。
或る実施例では、装置は、初期地点から運動している装置の位置が空間署名に合致するか否かを確認することで装置の動きが署名に合致するか否かを検出できる。
図14はエムコマース取引の認証として空間署名を使用するシステム例200を示す。システム200は携帯装置10、エムコマースアプリケーション202、認証装置204及び通信ネットワーク206を含む。エムコマースアプリケーション202は、ユーザの携帯装置と商取引するための適切な如何なるアプリケーションで構成されてよい。そのような取引は、ウェブサイトによる会社その他のユーザの品物又はサービス等に関する消費者購買、オンライン支払、口座(アカウント)管理又は適切な他の如何なる商取引を含んでもよい。認証装置204は、エムコマース取引を完了するために携帯装置10のユーザによる空間的署名入力を認証又は確認する。認証装置204はエムコマース取引の認証用に1以上のユーザの1以上の空間署名を記憶してよい。或る実施例では、認証装置は携帯装置10の中に、エムコマースアプリケーション202の中に又は適切な他の如何なる場所に設けられてもよい。通信ネットワーク206は、システム200の要素間で情報又はデータを伝送することができ、広域ネットワーク(WAN)、公衆交換電話網(PSTN)、ローカルエリアネットワーク(LAN)、インターネット及び/又はグローバルディストリビュートネットワーク(例えば、イントラネット、エクストラネット又は他の形式の無線/有線通信網等)の1以上を含んでよい。通信ネットワーク206は、ルータ、ハブ、スイッチ、ゲートウエー若しくは他のハードウエア、ソフトウエア又は組み込まれたロジックの適切な如何なる組み合わせを含んでもよく、それらはシステム200内で情報交換又はデータ交換を行う多数の通信プロトコルのどれでも実行できるものである。
動作中に、エムコマースアプリケーション202の取引を行うためにユーザが携帯装置10を使用する場合、ユーザはモーション入力を利用し、例えばユーザの3次元署名に応じて装置を動かすことで、認証署名を通知してもよい。一例として、ユーザはクレジットカードの代わりにポイントオブパーチェス(例えば、店舗)でユーザのセルラ電話を使用してもよい。輸送及び処理される必要のある書類用紙に署名する代わりに、ユーザはそのユーザの空間署名に従って装置10を動かすだけでよい。上述したように、ユーザの署名は或る実施例では3より多くの次元を含んでもよい。署名は携帯装置10又は他のモバイル装置を用いてユーザにより事前に記録されていてもよく、その記録された署名は、携帯装置10に、エムコマースアプリケーション202に、認証装置204に又は適切な他の場所に(例えば、複数のエムコマースユーザの署名用の署名格納データベース等に)格納されてもよい。
携帯装置10の運動はその装置で処理され、その運動を示すモーション出力がエムコマースアプリケーション202に伝送されてもよい。エムコマースアプリケーション202はそのモーション出力を確認(装置10で受信されたモーション入力がエムコマースの取引を希望するユーザの署名であったことの確認)用に認証装置204に通知してもよい。認証装置204がユーザの署名を確認すると、エムコマースアプリケーションはそのユーザとの取引を確定してよい。上述したように、認証装置204は、特定の実施例では携帯装置10内に又はエムコマースアプリケーション202に設けられてもよく、装置10に、エムコマースアプリケーション202に又は他の適切などこかに格納された確認用署名にアクセスしてもよい。
エムコマースでないアプリケーションでは、例えばその装置を利用してプライベートな又はセキュアなデータを送信するような機能を実行するのに電子セキュリティが望まれるような場合に、認証は携帯装置によってなされてもよい。携帯装置10を用いてデータ又は他の情報を送信することを望んでいるユーザは、暗号化プロセスで彼らの署名を利用してもよい。空間署名は、ネットワークを介して通信するデータを保護するための様々な手法のどれで使用されてもよく、パブリックキー/プライベートキー暗号化システムに関して使用されてもよい。例えば、或る実施例では、携帯装置はモーション入力を介して受信したユーザの署名を認証し、伝送データを暗号化するのにそれ自身のプライベートキーを利用してもよい。他の例では、データが携帯装置10に伝送され、意図される受取人は、解読データを受けるために空間署名を入力しなければならないようにしてもよい。或る実施例では、データは携帯装置10に無線接続されたコンピュータと通信されてもよく、意図される受取人は、データ解読用にユーザの署名をそのコンピュータに伝送する手段として携帯装置10を利用しなければならない。更に、特定の実施例では、署名モーションが単に認証用に使用されるのではなく、装置の動きが暗号鍵を生成するように、ユーザの空間署名自体が暗号鍵を表してもよい。場合によっては、署名を等価なプライベートキーに変換することで、装置は加速度の組み合わせを署名として認識してもよい。携帯装置は取引の認証プロセスの一部としてプライベートキーを利用してもよい。
特定の実施例では、空間署名は建物やイベントへの物理的なアクセスを管理するのに使用されてもよい。例えば、装置のユーザによる署名入力は、或るイベントに関して内金を支払って予約したことをIDで確認するように(will-call)、入ることが許可された人々のリストに対して検査されてもよい。
特定の実施例では、ユーザは携帯装置のモーション入力を利用し、オーディオ/ビデオ機器、家庭用機器及び装置、コンピュータ装置又は(携帯装置で制御可能な)他の如何なる装置のような他の装置を制御してもよい。セルラー、ブルートゥース及び802.11プロトコルを含む多数の無線又は有線プロトコルのどれでもそれを利用して、装置10の通信インターフェース20を介して装置は携帯装置10によって制御されてよい。或る実施例では、装置10は、無線又は有線通信を介して、ネットワークを介して他の装置を制御するのにモーション入力を受けてもよい。かくて装置10のモーション入力により制御される装置は、例えば同じ部屋の中でも或いは地域を越えて、装置10に対してどこに設けられてもよい。
一例として、携帯装置10がブルートゥースで動作するセルラ電話であった場合に、セルラ電話の特定のジェスチャー又は他の動きは、パワーポイントのプレゼンテーションを行うために部屋を超えてラップトップのような他の装置を制御するためのコマンドを無線通信してもよい。携帯装置10のモーション入力を介して制御される他の装置は、テレビジョン、ラジオ、ステレオ機器、衛視受信器、ケーブルボックス、DVDプレーヤ、ディジタルビデオレコーダ、ライト、空調機器、ヒーター、サーモスタット、セキュリティシステム、台所機器(オーブン、冷蔵庫、フリーザ、電子レンジ、コーヒーメーカー、ブレッドメーカー、トースター等)、PDA、デスクトップ及びラップトップPC、コンピュータ周辺機器、プロジェクタ、無線制御車両、ボート、航空機及び他の任意の装置を含んでよい。他の例として、通勤者が或る方法でその人のセルラ電話を揺さぶり、通勤者が家に到着する前に家の中のヒーターを起動させるよう知らせてもよい。或る実施例では、携帯装置は、他の装置に通知するためのコマンド又は意図される機能を決定するために、未処理データを受信及び処理してもよい。他の実施例では、携帯装置のモーション検出器は、装置10の動きを通じて装置10により制御される1以上の装置に通知するように、モーション検出素子から受信した未処理データを出力する。その結果、装置10により制御される様々な装置が、装置10による同じ未処理データを様々に処理してよい。例えば、装置10の特定のジェスチャーは、装置10により制御される様々な装置の異なる機能を実行させてもよい。
図15は、装置10のモーション入力を通じて複数の他の装置を携帯装置10が制御するシステム例220を示す。システム220は、無線又は有線リンクを通じて結合された携帯装置10、ラップトップ222及び遠隔装置224を有し、通信ネットワーク226を介して携帯装置10に結合される。携帯装置10は、加速度計、カメラ、距離測定器及び/又はジャイロのようなモーション検出素子を通じて、装置の特定の動きに関する未処理モーションデータを受信する。未処理モーションデータは携帯装置で処理される。ジェスチャーデータベース及びジェスチャーマッピングデータベースのような特定のデータベースは、装置の制御モジュールにより追跡される運動に基づいて、合致するジェスチャー及び意図される機能を決定するためにアクセスされる。意図される機能は、ラップトップ222又は遠隔装置224のような、携帯装置10により制御される他の装置に関するものかもしれない。従って、モーション入力は、装置10から制御される装置(非制御装置)へ通知される前提とする操作信号に関するインターフェースである。他の実施例では、装置10に関する特定のモーション入力を単に示す未処理データ又は他のデータは、装置10で機能を決定せずに、ラップトップ222及び/又は遠隔装置224に直接的に送信されてもよい。これらの例では、ラップトップ222及び/又は遠隔装置224は、未処理モーションデータに基づいて実行されるべき意図される1以上の機能又は動作を判定するために携帯装置10から受信した未処理モーションデータを自ら処理してもよい。或る実施例では、装置10のユーザは、モーション又は他の装置を介して、携帯装置10がそのような適用可能な他の装置の意図される機能又は未処理モーションデータを通知すべきことを装置10に通知する。携帯装置10により制御される2つの装置が示されているが、特定の実施例は上述したようなモーション入力を介して携帯装置10により制御される様々なタイプの装置をいくつ含んでもよいことが理解されるべきである。
上述したように、特定の実施例は、携帯装置10のモーション入力を介して、他のローカルの又はリモートの装置のような他の装置を制御する機能を含む。或る実施例では、携帯装置10のユーザは、装置10の特定のモーション入力が制御用に意図されている他の装置を選択する。例えば、ユーザは携帯装置10のユーザ入力14を用いて(例えば、ボタンを押すことで又はトラックボールを動かすことで)、ローカルの又はリモートの装置を選択し、該他の装置に望まれる機能又は動作に対応付けられている特定の運動に従って装置10を動かす前に制御する。しかしながら特定の実施例ではユーザは特定のジェスチャーに従って携帯装置を動かし、装置10のモーション入力を介してその時点で制御されるように他の装置(例えば、他のローカルの又はリモートの装置)を選択してもよい。かくて特定の実施例は携帯装置10により制御される他の装置のジェスチャーモーション選択機能をもたらす。
携帯装置10は装置選択ジェスチャーを検出するよう動作する装置選択モジュールを含み、ユーザが特定の装置を選択することを望んでいることを確認してもよい。制御可能な各々の装置は、それ自身のジェスチャーコマンドマップを有してよく、そのマップは、装置10を用いて入力されるジェスチャーと制御可能な装置のコマンドとを対応付ける。携帯装置の制御モジュールは、制御用に選択された制御可能な装置に対応する特定のコマンドマップを選択する。或る実施例では、装置10はデバイスロケータを含み、デバイスロケータは、複数のリモート装置の各々について、携帯装置から各リモート装置への方角を検出するように動作可能である。この場合、制御するリモート装置を選択するために、ユーザが制御することを望む特定のリモート装置の方角で、ユーザは携帯装置を動かしてもよい。
装置10のモーション入力は他の装置のそのような制御に使用されてよいが、他のタイプの入力(例えば、入力14を用いること)が、ジェスチャー入力による制御用に選択された他のローカルの又はリモートの装置を制御するために使用されてもよい。他の実施例では、様々なジェスチャー各々が異なる装置を制御するように対応付けられてよい。他の実施例では、装置10は制御する可能性のある他の装置と使用する特定のジェスチャーとを表示し、ユーザが装置10を介してまもなく制御することを望む他の装置に関するユーザの選択肢を示してもよい。本発明による携帯装置は、携帯装置により制御されるローカルの又はリモートの装置の1以上に関する何らかの特定のジェスチャー選択方法を用いてよい。
上述したように、特定の実施例は、モーション検出器22を介して装置の運動を検出できる携帯装置を含み、検出した運動に従う何らかの手法で装置の振る舞いを変える。或る実施例では、携帯装置10は、それらの特定の環境をモデル化し、そのような環境に基づいてそれらの振る舞いを以後修正することができる。携帯装置の環境のモデリングと装置の特定のモーションを検出することとの間の1つの違いは、前者には関連する推論法が存在するが、後者ではそのような推論法は無いことである。一例として、携帯装置が特定のジェスチャーに従って動かされ、その挙動を変える場合、特定の動きを検知又は検出し、検出された動きに基づいて反応するように考えられる。一方、携帯装置がテーブル上でうつぶせに置かれていることを確認し、それに応じて反応する場合、それはその環境をモデリングしていると考えられる。他の例として、携帯装置が左に動き、そのような動きに基づいて自身の振る舞いを変えるとき、それはモーションを検出し、反応していると考えられる。装置が自由落下していることを自身で見出し、差し迫った地面との衝突から生き延びるために電源をオフにする場合、それは環境をモデリングしていると考えられる。更なる区別は、環境モデリングはユーザ入力に速やかに応答することを要しないが、特定のモーションのようなイベント検出は一般にそのような速やかな応答を要する。かくて環境モデリングはモーションのパターン(又はそれが欠けていること)を検知又は検出すること、検出内容を所定の環境条件群と照合すること、及びモデル化した環境に基づいて装置の挙動を修正することを含む。モデル化された環境に基づいて実行される振る舞いも、使用する又は着目する特定のアプリケーションに基づいて異なってよい。場合によっては、装置は、モデル化された環境に基づいて特定のモーションに対する感度を変えてもよい。
一例として携帯装置は、加速度計又は他のモーション検出素子を介して、ほぼ水平な面上で静止していることを認識してもよい。そのような認識は、或る面に垂直な加速度が変化無く1gであり、装置が動いていない又は静止していることを確認することで得られてもよい。装置は、ユーザの手の中で止まっていることとテーブル上にあることを区別できてもよい。例えば、ユーザの手は一般に装置を完全に止めて保持することはできないからである。その結果、装置は近似的に水平な面上で静止しているという認識に従って、所定の方法で動作してもよい。例えば、テーブル上に横たわっているように携帯装置が認識したならば、携帯装置は或る所定期間の間その場所で横たわっていた後に電源を落としてもよい。別の例として、振動モードのセルラ電話は、それがテーブルの上にあるように認識すると、呼び出し時に又は(電話機の振動を引き起こす)他の何らかのイベントの際に、より穏やかに振動させてもよい。或る実施例では、装置はテーブルに横たわっているときの方向を認識し、「うつぶせの(face down)」位置で横たわっている場合に或る方法で振る舞い(例えば、電源を落とし)、うつぶせでない位置で横たわっていた場合に別の方法で振る舞ってもよい。携帯装置10がセルラ電話を構成するならば、呼び出し時にスピーカモードに入り、テーブル上で「あおむけ(face up)」の位置にユーザが置いたことを呼び出し時に認識してもよい。一方、セルラ電話が呼び出され、テーブル上でうつぶせに置かれていた場合、セルラ電話はミュートモードに入ってもよい。
他の例として、携帯装置10は短期間の間ほぼ0gであり自由落下していることを認識し、地面又は他の面との差し迫った衝突に起因するダメージを減らすように振る舞ってもよい。そのような動作は、例えば、チップ及び/又はハードドライブの電源を落とすこと、レンズをリトラクト(撤収)すること、カバーで覆うこと、又は他の何らかの装置の挙動を含んでよい。特定の実施例では、携帯式でない装置又は入力用のモーションを検出しない装置は、それらの環境をモデル化することができ、モデル化された環境に基づいて動作することができる。更なる例として、加速度パターンが検出され、携帯装置10が運動状態(環境)にあること(例えば、車両の中や列車でユーザにより保持されていること)を認識してもよいし、そのような環境の中で装置のより良いパフォーマンスを可能にするように感度、閾値及び/又は他の様々な特性を調整してもよい。
他の例では、携帯装置10はディジタルカメラを構成してよい。モーション検出素子により、カメラはそれが三脚に据えられているか否か或いは撮影時にユーザが持っているか否かを確認してもよい。カメラはその判断に基づいて写真に対するシャッタースピードを設定してもよい(例えば、三脚に設けられていたならば遅いシャッタースピードにし、ユーザが持っていた場合には速いシャッタースピードにする。)。
携帯装置10が、PCのような別の装置と同期するためのクレイドル(cradle)を用いる場合、装置10はその静止状態(又はサポート状態)及び特定の向きに基づいてそれがクレイドル中にあることを認識してよい。装置はクレイドル中にある状態に応じて動作又は機能してよい(例えば、関連するPCに同期してよい。)。
図16は特定の実施例による環境モデリングプロセスを示すフローチャート230である。ステップ232では、未処理モーションデータが携帯装置10で受信される。上述したように未処理モーションデータは加速度計、ジャイロ、カメラ、距離測定器又は適切な他の何らかのモーション検出素子の如何なる組み合わせから受信されてもよい。ステップ234では、未処理モーションデータがモーション検出出力を生成するよう処理され、その出力から装置の運動及び方向がステップ236で決定される。ボックス237は、ボックス237aのz軸回りの回転、ボックス237bのx軸に沿う並進、ボックス237cの特定の角度α,θ,ωに向く方向、及びボックス237nの静止等のような装置の運動及び向きの例を示す。これらは装置の運動及び向きの例示に過ぎず、ステップ236では判定されるいくつの運動が使用されてもよい。或る実施例では、判定された方向は重力に対する装置の方向をなすかもしれない。
ステップ238では、携帯装置10はステップ236で判定した運動及び方向に基づいて自身の環境を判定する。ボックス239は、ボックス239aのテーブルに対してうつぶせ、ボックス239bの落下中、ボックス239cの列車内及びボックス239dの手の中等のような装置の環境の例を示す。ステップ236で判定された運動及び方向に基づいて、環境はいくつでも判定されてもよい。特定の例では、環境決定は、運動/方向の履歴のような装置の履歴に基づいてもよい。例えば、セルラ電話のスピーカモード機能を使用する場合、短い鳴音(例えば、テーブルに電話を仰向けに置いているユーザにより引き起こされた短い鳴音)後の呼び出しの最中に水平が検出された場合、装置は静かな期間を検出してよい。電話機は鳴音していることを検出でき、静かに重力に垂直な位置にあることが、鳴音が生じていないことと別の意味を持ってもよい。かくて環境の決定は装置の動作及び方向並びにその履歴に基づいてもよい。履歴は、装置の以前の運動/方向その他の装置の履歴に関する他の如何なる情報を含んでもよい。
ステップ240では、決定された環境が特定の動作(振る舞い)に対応付けられる。対応付けられた振る舞いは、決定された環境に加えて、ある時点で装置を用いる特定のユーザやある時点で使用中の又は着目する特定のアプリケーションに関する所望の特性のような、いくつの要因に依存してもよい。例えば、特定のモデル化された環境に従う振る舞いは、ボックス241aの携帯装置のミュート機能を使用可能にすること、ボックス241bの衝突から生き残るように装置のチップの電源を落とすこと、及びボックス241nの装置のモーション起動閾値を増やすこと等を含んでもよい。ボックス241に示されるミュート動作は、セルラ電話機の環境が呼び出し中にテーブル上でうつぶせになっていた場合に実行されてもよい。ボックス241bのチップ電源遮断動作は、携帯装置10の環境が装置の自由落下を示す場合に行われてよい。ボックス241nのモーション起動閾値を増やす動作は、携帯装置の環境が車両や列車内にあり、ユーザのモーション入力を意図される入力として記録するためにより大きな運動閾値が必要とされる場合に行われてよい。特定の実施例は、1以上のモデル化された環境に対応付けられる振る舞いをいくつでも含んでよい。ステップ242では、携帯装置が、ステップ240で環境が対応付けられた振る舞いに従って動作する。
上述したように、ユーザは特定のジェスチャーに従って携帯装置を動かし、装置が所望の機能、動作又はタスクを実行するよう促す。特定の実施例では、装置のモーション入力として使用されるジェスチャーは、アルファベット文字、象徴的な絵又は他の如何なる英数字、絵文字又は表現物のような前もって用意しているシンボルで構成されてよい。例えば、モーション入力に使用されるジェスチャーは、何らかの言語でアルファベットの上側及び下側、アラビア数字、ローマ数字及び簡略記号をまねてもよい。事前のジェスチャーは、他のローカルの及びリモートの装置に対しても携帯入力装置用に使用されてよい。携帯装置入力に事前のジェスチャーを利用することは、ジェスチャーモーションインターフェースに関してユーザがプロセスを学習することを促す。
図17は特定の機能に対応付けられるジェスチャー例を示す。例えば、携帯装置10がセルラ電話を構成する場合、ユーザは装置10をハート型に動かし(250)、そのユーザのガールフレンド、ボーイフレンド又は配偶者を呼び出してもよいし、家の形に動かし(252)、ユーザの家に電話してもよい。他の例では、携帯装置が、ファイル又はデータを管理するアプリケーションを実行するPDAその他の装置を構成する場合、Cの形のジェスチャー(254)で装置を動かすことは、データをコピーするコマンドでもよいし、Oの形のジェスチャー(256)はファイルを開くコマンドでもよいし、Dの形のジェスチャー(258)はデータを削除するコマンドでもよいし、Xの形のジェスチャー(260)はファイル又はアプリケーションを終了するコマンドでもよい。ジェスチャーとそれらに意図される機能又は動作との間の論理的な関係(例えば、“O”とファイルを開くこと(open)との関係)は、ユーザのやりとり及び学習を更に促す。
先在するシンボルはいくつでも、携帯装置の機能、動作又はタスクのいくつでもそれを実行するコマンドと同様にモーション入力のジェスチャーに使用されてよい。概して2次元では多くのジェスチャーが先在している。携帯装置はそのようなジェスチャーを認識してもよい。場合によっては、例えば、携帯装置10は特定の次元に関する受信をディセーブルにし、ユーザが2次元ジェスチャーを入力しようとしている場合に、3次元中の何らかの動きが受信されないように又は消去されるようにし、その2次元ジェスチャーの認識を促してもよい。場合によっては、携帯装置10は、先在する2次元ジェスチャーに基づく3次元ジェスチャーを受信してもよい。3次元ジェスチャーを受信及び検出することは、例えば、モーション入力として使用されるジェスチャーの数及びタイプを増やすことによって、装置の性能を高める。
図18は先在するシンボルジェスチャー(文字“O”)をモーション入力とする利用例を示すフローチャートである。ステップ272に示されるように、ユーザは携帯装置を文字“O”の形に動かす。ステップ274では、携帯装置はモーション検出素子から“O”の動きに関する未処理モーションデータを受信し、ステップ276でそのような未処理モーションデータを処理し、装置の実際のモーションを判定する。ステップ278では携帯装置10はジェスチャーデータベース280にアクセスし、そのデータベースは、そのモーションとジェスチャー“O”とを対応付けるために、装置により認識可能な複数のジェスチャーを含む。ジェスチャーデータベースの複数のジェスチャーはそれぞれ一連の加速運動により規定されてもよい。装置の実際のモーションは、ジェスチャーデータベースのジェスチャーの1つの一連の加速運動と照合される。ステップ282では、携帯装置10は昨日データベース284(又はジェスチャーマッピングデータベース)にアクセスすることでジェスチャー“O”を特定の機能に対応付け、機能データベースは装置で動作する1以上のアプリケーションで実行される複数の機能を含む。特定の実施例では、ジェスチャー及び機能データベースは装置のメモリ18内で構成されてもよい。ジェスチャー“O”に対応付けられた特定の機能は、その時点でユーザにより使用されている又は着目する特定のアプリケーションに依存してもよい。例えば、或るアプリケーションでは“O”はファイルを開くコマンドを構成するが、別のアプリケーションでは或る番号を呼び出すコマンドを構成してもよい。場合によっては、1つのジェスチャーが装置の全てのアプリケーションに対して同じ機能に対応付けられてもよい。ステップ286では、ファイルを開くことのような対応付けられた機能に従って装置が動作する。
上述したように、携帯装置10でモーション入力に使用されるジェスチャーは、使用している又は着目している特定のアプリケーション、アプリケーションに関する特定の装置状態、或いは特定のモデル化された環境又はそれらの任意の組み合わせ若しくは他の任意のコンテキストのような特定の状況に基づいて異なる意味(例えば、機能、動作、タスク等)を持っていてもよい。例えば、特定のジェスチャーは、装置でウェブブラウザが動作している場合に、ページをスクロールアップするコマンドとして関連付けてもよいし、カレンダープログラムが動作している場合に、そのジェスチャーは別の日を調べるコマンドとして対応付けられてもよい。使用するアプリケーションのような、状況に依存して異なるコマンドに特定のジェスチャーを対応付ける機能は、装置の機能性を大きく向上させる。
或る実施例では、ジェスチャーが状況に依存して異なるコマンドにマッピングされるならば、携帯装置は、より簡易なモーション検出素子を利用することができる。一例として、携帯装置は特定のモーション検出素子を含み、携帯装置が20個の異なるジェスチャーを認識及び区別することしかできないようにしてもよい。各ジェスチャーが4つの異なるアプリケーションの各々について異なる機能に対応付けられる場合、20個の固有のジェスチャーしか認識できない能力でも、その装置に関して80個もの異なる機能(アプリケーション毎に20個ずつ)を用意できる。各ジェスチャーが自身の機能に関連付けられていた場合は、着目しているアプリケーションが何であろうと;装置全体の能力は低減され、いくつかのジェスチャーは何らかのアプリケーションで使用されにくくなるかもしれない。複雑な素子をより少なく利用する能力は、状況に応じてジェスチャーを複数の機能に対応付ける結果、より少ないジェスチャーの間で認識及び区別を行うことができ、その能力は装置で使用される素子のコストを減らす恩恵をもたらし、装置を制御するのに必要なジェスチャーを物理的に学習するタスクを簡易化することもできる。上述したように、ジェスチャーは、使用中のアプリケーションに、装置の状態に、モデル化した環境に又は他の状況に依存して異なる機能に、動作に又はタスクに対応付けられてよい。場合によっては、ジェスチャーは特定のアプリケーションの状態に依存して異なる機能に対応付けられる。例えば、ワードプロセシングプログラムの場合に、或るジェスチャーはプログラムのある状態(例えば、メニュー状態)で或る機能を有するが、ワードプロセシングプログラムの別の状態(例えば、書類編集状態)では同じジェスチャーが異なる機能を有してもよい。この場合、ジェスチャー機能の対応関係に関連するコマンドマップは、そのような状態毎のジェスチャーマッピングを含んでいてもよい。
図19は特定の実施例によるコンテキストベースのジェスチャーマッピングを利用するフローチャート290である。図示の例では、或るジェスチャーは着目するアプリケーションに基づいて決められる様々な機能を有する。ステップ292では、携帯装置10は、特定のジェスチャー運動の未処理モーションデータを受信し、装置の実際のモーションを決めるようにステップ294でそのような未処理データを処理する。ステップ296では、携帯装置10は例えばジェスチャーデータベースにアクセスすることでモーションをジェスチャーに対応付ける。ステップ298では携帯装置10はどのアプリケーションに着目しているかを判定する。例えば、装置が4つの異なるアプリケーションを実行することができたとすると、その4つのどれに着目しているか或いはその時点でどれが使用されているかが確認される。装置は、着目しているアプリケーションに従ってそのジェスチャーに関連付けられている機能を実行する。そのような機能の確認は、或る実施例では機能データベースにアクセスすることで達成されてもよく、そのデータベースはジェスチャーデータベース中のジェスチャーを機能に関連付けるので、ジェスチャーマッピングデータベースと呼ばれてもよい。図示の例では、アプリケーション1に着目していたならば、ステップ300aで機能1を装置が実行し;アプリケーション2に着目していたならば、ステップ300bで機能2を装置が実行し;アプリケーション3に着目していたならば、ステップ300cで機能3を装置が実行し;そしてアプリケーション4に着目していたならば、ステップ300dで機能4を装置が実行する。
状況依存型のジェスチャーマッピングの更なる例として、電話機能及びPDA機能を備えた携帯装置は4つのアプリケーション(電話アプリケーション、カレンダーアプリケーション、ファイル管理アプリケーション及び電子メールアプリケーション)を実行してよいとする。文字“S”をまねるジェスチャー入力は、着目しているアプリケーションに依存して異なる機能を有するかもしれない。例えば、電話アプリケーションに着目していた場合、ジェスチャー入力“S”を受信することは、“S”のジェスチャーに指定された特定の番号を呼び出すコマンドである。カレンダーアプリケーションに着目していた場合、ジェスチャー入力“S”を受信することは、カレンダーの9月にスクロールするコマンドである。ファイル管理アプリケーションに着目していた場合、ジェスチャー入力“S”を受信することは、ファイルを保存するコマンドである。電子メールアプリケーションに着目していた場合、ジェスチャー入力“S”を受信することは、電子メールを送信するコマンドである。特定の実施例は、状況に依存する様々な機能にジェスチャーを対応付ける能力に関して高い柔軟性をもたらす。
上述したように、ある時点での特定の状況に依存してジェスチャーは様々な機能を有してよい。特定の実施例では、予め定めたジェスチャーに装置の機能をユーザが割り当てることを許容するように携帯装置が仕立てられる(カスタマイズされる)。使用中のアプリケーションに、装置の状態に又はモデル化された環境に依存して異なる機能をジェスチャーが有するように、その機能は状況依存性である。特定の実施例における携帯装置は、同じ装置の様々なユーザが、様々な機能を同じジェスチャーに割り当てることを許容してもよく、そのような機能も上述の状況依存型である。
例えば、携帯装置10は様々な時点で多くの様々なユーザにより使用されるかもしれない。各ユーザは同じジェスチャーについて異なる機能を割り当てるかもしれない。携帯装置がジェスチャー入力を受信する場合、ユーザが装置に実行するよう求める機能を確認するために、その時点でどのユーザがその装置を使用しているかを知る必要がある。装置は様々な如何なる手法でユーザを確認してもよい。或る実施例では、ユーザはユーザ名及びパスワードを用いて又はそれ以外の方法で使用前に装置にログインするかもしれない。他の実施例では、携帯装置は或る手法(装置を用いてユーザがジェスチャーをなすように、ユーザがモーション入力用に装置を動かす手法)に基づいてユーザを確認できるかもしれない。上述したように、各ユーザは、装置で着目するアプリケーションに基づくように、状況に依存してコマンドをジェスチャーに割り当ててもよい。特定のユーザに基づいて機能をジェスチャーに対応付ける携帯装置の機能は、装置の性能及び柔軟性を高め、このことは装置が特定数のジェスチャーしか認識及び区別できない場合に特に有利である。
図20は特定の実施例によるユーザベースのジェスチャーマッピングを利用するフローチャート310を示す。図示の例では、ジェスチャーは装置を用いるユーザに基づいて割り当てられる様々な機能を有する。ステップ312では、携帯装置10が特定のジェスチャー運動の未処理モーションデータを受信し、ステップ314でそのような未処理モーションデータを処理し、装置の実際のモーションを判定する。ステップ316では、携帯装置10は例えばジェスチャーデータベースにアクセスすることでモーションをジェスチャーに対応付ける。ステップ318では携帯装置10はどのユーザがその装置を利用しているかを確認する。そのような確認は例えばシステムの履歴(ユーザが使用前に装置にログインした履歴)を通じて行われてよい。携帯装置10は更に他の適切な方法を通じて現在のユーザを判定してもよい。ステップ320では、その装置を利用しているユーザに基づいて、装置はジェスチャー入力に割り当てられている機能を実行する。4つのユーザの可能性があるプロセスを記述する図示の例では、ユーザ1が装置を利用していたならば、ステップ320aで装置は機能1を実行し;ユーザ2が装置を利用していたならば、ステップ320bで装置は機能2を実行し;ユーザ3が装置を利用していたならば、ステップ320cで装置は機能3を実行し;ユーザ4が装置を利用していたならば、ステップ320dで装置は機能4を実行する。
上述したように、或る実施例では、装置を使用しているユーザ及び状況の双方に基づいてジェスチャーは様々な機能に割り当てられてよい。この状況では、上述で説明されたフローチャート310は、その時点での状況(コンテクスト)を判定する追加のステップを有してもよい(例えば、フローチャート290のステップ298は着目しているアプリケーションを確認する。)。所定のジェスチャーにより実行するよう望まれる特定の機能は、その時点で装置を使用しているユーザ及びその状況(例えば、その時点で着目している特定のアプリケーション等)の双方に依存する。
以前に説明されたように、或る実施例はモーション入力用のジェスチャーとして先在するシンボルを受信する機能を備えた携帯装置を有する。そのような実施例に加えて他の実施例は、ユーザについて、機能及び/又はキーにマッピングするそれら自身のジェスチャーを作成する能力を備えてもよい。そのジェスチャーは、ユーザの作成したシンボルその他の運動の如何なるもので構成されてもよく、装置が実行できる1以上の特定の機能、動作又はタスクに関し、ユーザがモーション入力として使用することを希望するものである。ユーザは何らかの個人的な意味を有する動き(モーション)を作成し、ユーザがモーションコマンド又は意図する機能を更に覚えやすくすることができる。
図21はユーザの作成したジェスチャーに対する割当プロセスを示す特定の実施例によるフローチャート330である。ステップ332では、ジェスチャーの作成に関する指示がユーザから受信される。その指示は(例えば、キー、トラックボール、モーション等のような)適切な入力フォーマットのどれを使用してもよく様々な手法のどれで受信されてもよい。ユーザはユーザの作成したジェスチャーに従って装置を動かし、そのユーザの作成したジェスチャーに関する未処理モーションデータがステップ334で携帯装置で受信される。未処理モーションデータは、装置の安定化後の基準参照位置から位置の記録を中止する指示が受信されるまでの一連の加速度運動で構成されてよい。ユーザの作成したジェスチャーを記録することの開始及び終了の指示は、動的な指示又は不動の指示(例えば、キー押下及びキーの開放)を含んでよい。未処理モーションデータはステップ336で処理される。ステップ338では、モーションは例えばジェスチャーデータベースでジェスチャーとして格納される。特定の実施例では、ジェスチャー生成の指示は、ユーザの作成したジェスチャーに従ってユーザが装置を動かした後に受信されてもよい。例えば、ユーザはユーザの作成したジェスチャー(現在その装置にとっては認識できない)に従って装置を動かしてもよい。認識されてないジェスチャーを特定の機能に備えて格納することをユーザが希望するか否かを判定するために、装置はユーザに問い合わせを行う。ユーザは肯定的に応答し、ユーザはそのジェスチャーを将来のモーション入力に使用可能にしてもよい。
ステップ340では、ジェスチャーに関する機能マッピング情報がユーザから受信される。機能マッピング情報は、ユーザの作成した命令するジェスチャーに対応することが望まれる装置の機能、動作又はタスクを含んでよい。特定の実施例では、そのような機能マッピング情報は、或るジェスチャーが命令する一連の機能(例えば、マクロ)で構成されてもよい。ユーザは着目するアプリケーションに応じて様々な機能をジェスチャーに割り当ててもよい。場合によっては、ユーザは装置の様々なキー又はキーストロークに様々なジェスチャーを対応付けることを望むかもしれない。一連の機能をジェスチャーに対応付けることの一例は、長い文字列をジェスチャーに対応付けることを含む(例えば、電話番号が複数のポーズを含む場合)。ステップ342では、機能マッピング情報が例えば機能データベースに又はジェスチャーマッピングデータベースに格納される。
上述したように、ユーザにとって、1以上のジェスチャーに関して、ジェスチャーが入力として使用されるたびに携帯装置10を同じ精度で動かすことは困難かもしれない。特定の実施例はジェスチャー入力に関する精度を変えることを許容する。精度は、装置により認識されたジェスチャーと、装置によりアクセスされたジェスチャーデータベースに含まれているジェスチャーとで一致をなすのにどの程度正確にジェスチャーが実行されなければならないかを規定する。ユーザの生成したモーションがジェスチャーデータベース中のジェスチャーに近接することを必要とすればするほど、そのようなジェスチャーモーションを成功裏に実行することが困難になる。上述したように、特定の実施例では、検出された運動の一連の加速度とジェスチャーデータベース中のジェスチャーのものとを照合することで、運動がジェスチャーデータベースのジェスチャーと照合される。
認識に必要なジェスチャーの精度が高まるにつれて、別意に認識可能なジェスチャーを(同程度の煩雑さで)より多く有するかもしれない。一例として、必要とされる精度がゼロであった場合、装置は単独のジェスチャーしか認識できないが、それを簡易に認識するであろう。なぜならユーザの行ったものは何でもそのジェスチャーとして認識されるからである。しかしながら、必要とされる精度が無限大であったならば、それはジェスチャーを形成するユーザにとって仮想的で不可能であるが、そのジェスチャーは装置によって認識され、その装置は、無数のジェスチャーをほんの極微量の違いでそれらを見分けながらサポートできる。精度の条件が特別に適用される分野の1つは、空間署名の分野である。空間署名では、精度レベルはセキュリティレベルに大きく関係するからである。
特定の実施例では、ジェスチャー入力に関して携帯装置10に必要とされる精度は変化させられてよい。異なる精度レベルは、異なるユーザ、「ジェスチャー空間」の異なる領域(例えば、似たようなジェスチャーは認識するのに高い精度で実行することを要するが、非常に独創的なジェスチャーは実行の際に同程度に多くの精度を要しないかもしれない。)、署名のような様々な個々のジェスチャー、及び或るジェスチャーに対応付けられる様々な機能(例えば、より重要な機能は、認識されるそれら各自のジェスチャー入力に関して、より高い精度を要するかもしれない。)に必要とされるかもしれない。更に、或る実施例では、ユーザは、1以上のジェスチャー空間中のジェスチャー又は全部又は一部のジェスチャーについて必要な精度レベルを設定できてもよい。一例として、ユーザは、空間署名に関して要求される精度を、そのユーザの他のジェスチャーに関するものより高く設定し、空間署名入力のセキュリティを高めてもよい。
上述したように、特定の実施例では、意図されるジェスチャーに従って装置がユーザにより或る経路に沿って動かされる場合に、ジェスチャーは装置の一連の加速度を検出することで認識されてよい。ジェスチャーデータベース中のジェスチャーに対して、装置により照合された一連の加速度が一致した場合に、認識がなされる。
或る実施例では、携帯装置10で認識可能な各ジェスチャー又はジェスチャーデータベース中の各ジェスチャーは、3次元座標の行列を含んでもよい。更に、ジェスチャー入力として意図されるユーザの動きは、3次元座標の行列を含んでよい。携帯装置10は、その運動の行列を認識可能なジェスチャー(ジェスチャーデータベース中の各ジェスチャー)の各行列と比較し、意図されるジェスチャーを判定してもよい。運動の行列が意図されるジェスチャーの行列の各地点(座標)と関連するようにユーザが装置を動かすならば、ユーザは、完全な精度で意図されるジェスチャーを入力するように考えられる。ジェスチャー入力に必要な精度が少なくなると、ユーザのジェスチャーの運動とジェスチャー認識用のジェスチャーデータベース中の意図されるジェスチャーとの間の許容可能な差分が大きくなる。
図22は精度レベルを変える携帯装置を利用する3つのジェスチャー入力を示す。図示の例では、意図されるジェスチャーは“O”を構成する。ジェスチャー運動350は完全な“O”、即ち意図されるジェスチャーに対して100%の精度としての入力である。ジェスチャー運動352は、完全な“O”を形成しない場合であり、100%より低い精度の入力である。ジェスチャー354はジェスチャー運動352より低い精度の入力である。ジェスチャー“O”の入力に対する精度条件は、精度レベルの変更を受け入れる携帯装置で設定される。ジェスチャー運動350だけがジェスチャー“O”として認識されるように、ジェスチャー運動350及び352双方がジェスチャー“O”として認識されるように、又はジェスチャー運動350,352,354全てがジェスチャー“O”として認識されるように、精度レベルが設定されてよい。上述したように、精度条件を高くすると、追加的な認識可能なジェスチャーに利用可能な空間が増える。例えば、例えば、携帯装置10の精度レベルが、ジェスチャー運動350だけがジェスチャー“O”として認識されるように設定されていたならば、ジェスチャー運動352,354は別個のジェスチャーとして認識されてよい。
特定の実施例では、携帯装置はユーザの個人的な正確さに基づいて、特定の機能を実行するために認識されるジェスチャーを変えてよい。このようにして、携帯装置はジェスチャーマッピングの動的な学習機能を有する。例えば、ジェスチャーデータベース中の特定のジェスチャーが特定の機能に対応付けられ、そのジェスチャーを入力するためのユーザの反復的な試みが一貫した方法では精度不足であった場合に、携帯装置はジェスチャーデータベース中のジェスチャーを、そのユーザの矛盾してないジェスチャー運動に変え、ユーザの首尾一貫したジェスチャー入力が特定の機能に対応付けられるようにしてもよい。
一例として、或る特定のジェスチャーが四角い運動で構成され、そのジェスチャーについて行われたユーザのモーションが一貫して(例えば、複数の連続的な回数で)三角の運動を何度も行っていた場合、携帯装置は意図されるジェスチャーと実際のユーザの運動とのその一貫した相違を認識し、望まれる機能に対応するジェスチャーデータベース中の意図されるジェスチャーを、ユーザの実際の一貫した動き(例えば、三角運動)に変える。かくてそのような変更がなされた後は、ユーザが三角のジェスチャーを入力する時はいつでも、以前に四角のジェスチャーに対応付けられた機能が命令される。装置は、如何なる入力形式でもそれを介して例えばユーザとの双方向通信により、様々な如何なる手法で意図されるジェスチャーを決定してもよい。特定の実施例では、このようにユーザ入力の特徴を動的に学習することがユーザ固有に適用されてよい。例えば上述の例で、別のユーザは同じ携帯装置を用いて同じ機能を命令するのに四角いジェスチャーを依然として入力してもよい。
上述したように、意図されるジェスチャーに関するユーザ運動の精度が高いと、機能に対応付けるのに利用可能なジェスチャー数が増える。或る実施例では、携帯装置は、ユーザの正確さが時と共に高まることを認識し、その結果その装置は利用可能なジェスチャーを増やしてもよい。入力に利用可能なジェスチャーを増やすことは、ジェスチャー入力を通じて通信可能な機能も増進させるかもしれない。
一例として、ジェスチャーを入力するためのユーザの個人的な正確さは、携帯装置で認識される所定のジェスチャー数をユーザが入力できることだけにしてよいかもしれない。しかしながら時間がたつにつれてユーザの個人的な正確さは増えるかもしれない。この増加は携帯装置で認識されるかもしれないし、その結果その装置は、ジェスチャー入力としてユーザが利用してよいジェスチャーを追加可能にしてよい。一例では、ジェスチャーを追加可能にすることは、ユーザの精度が或る特定の閾値又は所定の精度レベルを超えて増えた場合になされる。ユーザの精度が増やされるので、ユーザがこれらの追加的なジェスチャーを入力しようとすることを携帯装置は認識することができる。上述したように、ユーザによる入力に追加的なジェスチャーを用意することは、各ジェスチャーが様々な機能に対応付けられるので、ジェスチャー入力を通じてユーザが指令できる機能数も増やすかもしれない。
特定の実施例では携帯装置は装置のノイズ閾値をユーザが設定すること及び変えることを許容してよい。ノイズ閾値は、ユーザの意図されるモーション入力とみなすために検出されなければならない装置の運動の大きさである。例えば、ノイズ閾値が低く設定されていたとすると、装置の最少に小さなモーションでもモーション入力として装置によりみなされるかもしれない。しかしながら、ノイズ閾値が高く設定されていたならば、そのユーザにより意図される入力がモーションと考えられるには(それに先だって)より大きな装置の運動が必要とされる。例えばユーザが車ででこぼこ道を走っていたとすると、ユーザはノイズ閾値を高く設定し、道のでこぼこに起因して装置が動いた場合に、そのような動きが意図されるモーション入力として装置に認識されないようにすることを望むかもしれない。
特定の実施例では、ノイズ閾値はモデル化された環境に基づいて装置で自動的に変化してもよい。例えばその環境が車での移動中であるように装置が確認した場合、装置はノイズ閾値を自動的に増やし、車に起因する小さな動きがユーザの意図したモーションとして表明されないようにしてもよい。
図23はここで説明される多数の特徴を用いるジェスチャー認識プロセスを示す特定の実施例によるフローチャート370である。ステップ372では特定のジェスチャー運動の未処理モーションデータが受信される。未処理モーションデータはステップ374で処理され、装置の実際の運動が確認される。そのような処理は複数の検出又は検知素子によるデータに関する様々な選別技法(フィルタリング)及び融合を含んでもよい。実際の運動とジェスチャーとの対応付けは、ユーザ設定データベース388にアクセスすることを含んでよく、そのデータベースはユーザデータ(例えば、ユーザの正確さ、ノイズ特性又は閾値、ユーザの作成したジェスチャー、及びその他のユーザ識別子381を含むユー他特定のデータ又は情報より成る)を含んでよい。例えば携帯装置の様々なユーザは様々な設定及びモーション入力特性を有するので、ユーザ固有の情報は重要である。例えば、年配の人は、ジェスチャー入力時に若い人よりも正確さに欠けるかもしれないので、年配の人はより少ないジェスチャーを利用してもよい。更に、より熟練した人はジェスチャー入力を通じてより多くの機能を使いこなせるであろう。
ユーザ設定データベース378は、その時点で利用可能なジェスチャーを決める際の要因である環境モデル情報も含んでよい。上述したように、環境モデリングを通じて、装置は、ジェスチャー認識でその環境が与える傾向のある影響及び環境を内部的に示すことができる。例えば、ユーザが列車内にいるとき、装置はノイズ閾レベルを自動的に挙げてもよい。考察するジェスチャー近傍でジェスチャー空間がどの程度混雑しているかに依存して、装置は要求される精度を減らしてもよい。実際のモーションとジェスチャーとの対応付けは、ジェスチャーデータベース382にアクセスすることを含んでもよい。
ステップ384では、ジェスチャーが装置の機能に対応付けられる。このステップは、ジェスチャー及び機能間の関係(情報)を含む機能マッピングデータベース386にアクセスすることを含んでよい。異なるユーザは、複数の機能及び異なるユーザの作成した機能にジェスチャーをマッピングする対応関係を有していてもよい。かくて機能マッピングデータベース386は、特定のジェスチャーを1以上の機能に対応付けるのに適用可能な、ユーザ固有のマッピング命令又は特徴、ユーザの作成した機能(例えば、マクロ及び/又は電話番号)及び他の如何なる機能情報をも含んでよい。或る実施例ではジェスチャーは個々のキーストローク(キー打ち)に対応付けられてもよい。ユーザの身元(識別子)381もこのステップでアクセスされてよい。更に、装置の状況(コンテキスト)情報388もアクセスされてよく、そのジェスチャーで使用されてよい。状況情報は、環境モデル情報389、着目しているアプリケーションの情報390及び装置状態情報391(例えば、時間及び日付情報、位置情報、バッテリ状態及びモード情報(例えば、サイレントモード))等を含んでもよい。ステップ392では、装置は適切に対応付けられた1以上の機能を実行し、例えば、ステップ392aで機能1を、ステップ392bで機能2を、ステップ392cで機能3を実行してよい。
上述したように特定の実施例では携帯装置10はここで説明される多くの機能を備えたセルラ電話機を構成してもよい。例えば、モーション入力機能を備えたセルラ電話機は上述したようなパターンメニューに対してモーション入力を使用してもよい。セルラ電話機は、自由落下中であること、セルラ電話機がうつぶせであること又は仰向けであること等のような装置状態及び環境を検出し、ミュート、スピーカ電話及びパワーオフ等のような動作を対応付けてもよい。装置状態の他の検出法は、その電話機がミュート不使用又は
スピーカフォン状態にあることの検出を含んでもよい。セルラ電話機は(例えば、身振りによる素早いダイヤルにより)ダイヤルを制御し又は装置のキーパッドをロック/アンロックしてもよい。例えば、家に電話するために時計回りに、職場に電話するのに反時計回りに及び大切な人に電話するのにハート型に装置が動かされてもよい。ユーザはカスタマイズされたジェスチャーのマッピングに対してセルラ電話機をプログラムしてもよい。
特定の実施例では、携帯装置10はディジタルカメラを構成し、ここで説明された機能の少なくともいくつかに対してモーション入力を使用する。例えば、モーション入力機能を備えたディジタルカメラは上述したようなメニューを平坦化するためにモーション入力を用いてよい。モーションは、ユーザが静止画又は動画を拡大(及び縮小)し、より円滑でより直感的な機能でより詳しく調べるために使用されてもよい。モーションは写真又は映像クリップの多数のサムネイルをズームイン及びズームアウトするのに使用され、1以上の検討するものを選びやすくしてもよい。仮想的なデスクトップは、カメラを並進させることで又はジェスチャー入力を使用することで、多くのディジタル写真やビデオクリップをレビューするために、或いは多くのディジタル写真やビデオクリップの多数のサムネイルをレビューするのに使用されてもよい。フラッシュ設定、焦点タイプ及び光検出モード等のような、ディジタル静止画及び動画カメラの様々な設定を変更するように、ジェスチャー及び単独のモーションが、他のインターフェース機構と組み合わせて又は単独で使用されてもよい。更に、自由落下が検出され、差し迫った衝突によるダメージから何らかの手法でカメラ自身を保護するように誘導してもよい。そのような保護はカメラの全部又は一部の電源を落とすこと、レンズカバーを閉じること及びレンズを引っ込めること等を含んでよい。
特定の実施例では、携帯装置10はディジタル腕時計を構成し、ここで説明された機能の少なくともいくつかに対するモーション入力を利用してもよい。例えば、モーション入力機能を備えたディジタル腕時計は、上述したメニューを平坦化するためにモーション入力を利用してもよい。或る実施例では、腕時計を軽くたたくこと(タッピング)又は特定のジェスチャーが腕時計をサイレントモードにするのに使用されてもよい。タップ、回転、並進及び他のより複雑なジェスチャーを通じて他の機能がアクセスされてもよい。これらの機能は、時間帯を変更すること、腕時計を設定すること(例えば、時間を設定すること、他の調整可能な設定を行うこと)、モードを変更すること(例えば、時間、アラーム、ストップウォッチ等)、バックライトを起動すること、ストップウォッチを使用すること(ストップウォッチを開始、停止及び分割(splitting)等すること)及び他のタイマーを開始したり止めたりすること等を含む。
特定の実施例では、モーション検出はディスプレイと別でもよい。例えば、ディスプレイが眼鏡やコンタクトに設けられ、携帯装置の他の部分がユーザの体に分散され、ディスプレイがモーション入力装置又は素子と物理的に同じ要素の一部でないようにしてもよい。
上述したように、特定の実施例で行われる様々な方法、フローチャート及びプロセスを特定の図面は示していた。本発明の範囲から逸脱せずに様々な実施例の中で、ステップは如何なる順序でなされてもよいこと、特定の方法、フローチャート又はプロセス中のステップは他の方法、フローチャート又はプロセスと組み合わせられてよく、或いは同一の方法、フローチャート又はプロセス中の他のステップと組み合わせられてよいことが理解されるべきである。
以上本発明が特定の実施例に関して詳細に説明されてきたが、様々な他の変更、置換及び代替が本発明の範囲及び精神から逸脱せずにそれらになされてよいことが理解されるべきである。例えば、本発明は携帯装置10に含まれる様々な素子に関連して説明されてきたが、これらの要素は特定のアークテクチャ又は要請に応じて組み合わせられ、編成され又は設けられてよい。更に、これらの要素のどれでもが適切ならば別個の外部素子として用意されてもよい。本発明はそれらの内的な要素に加えてこれらの外的な要素配置にも及ぶ大きな柔軟性も想定している。
多くの他の変更、置換、変形、代替及び修正が当業者に確認され、本発明は特許請求の範囲の発明範囲及び精神の中にそのような変更、置換、変形、代替及び修正の全てを包含するよう意図される。
特定の実施例によるモーションインターフェース機能を備えた携帯装置を示す図である。 特定の実施例による図1の携帯装置のモーション検出器を示す図である。 特定の実施例による図1の携帯装置のモーション検出素子の利用例を示す図である。 特定の実施例によるモーション検出機能を備えた携帯装置例を示す図である。 特定の実施例による携帯装置の支配的な運動の選択及び増幅の様子を例示する図である。 特定の実施例による好ましいモーション選択を説明するためのフローチャートである。 特定の実施例による携帯装置の基準点を設定するためのフローチャートを示す。 仮想的なデスクトップナビゲーションに関する特定の実施例での携帯装置によるスクラッビング機能を例示する図である。 特定の実施例による図8のスクラッビングプロセスを示すフローチャートである。 特定の実施例によるジェスチャー入力を用いるナビゲーションメニュー例を示す図である。 特定の実施例による携帯装置で様々な機能を実行するのに使用されるジェスチャー例を示す図である。 特定の実施例によるモーション入力を用いるナビゲーションマップ例を示す図である。 特定の実施例による或る形式のモーション入力カーソルナビゲーションを示す図である。 特定の実施例による別の形式のモーション入力カーソルナビゲーションを示す図である。 モーション入力に応答するフィードバックを利用するプロセスを利用する特定の実施例によるフローチャートである。 特定の実施例による携帯装置で空間署名を使用するシステム例を示す図である。 携帯装置のモーション入力が複数の他の装置を制御する特定の実施例によるシステム例を示す図である。 特定の実施例による携帯装置の環境モデリングプロセスを示すフローチャートである。 特定の実施例による携帯装置の様々な機能に対応付けられるジェスチャー例を示す図である。 先在するシンボルジェスチャーを利用する特定の実施例によるフローチャートである。 特定の実施例によるコンテキストベースのジェスチャーマッピングを利用するフローチャートである。 特定の実施例によるユーザベースのジェスチャーマッピングを利用するフローチャートである。 ユーザの作成したジェスチャーに対する割当プロセスを示す特定の実施例によるフローチャートである。 精度レベルを変える携帯装置を利用する特定の実施例による3つのジェスチャー入力を示す図である。 多数の特徴を利用するジェスチャー認識プロセスを示す特定の実施例によるフローチャートである。

Claims (27)

  1. 3軸加速度センサを有するモーション検出器と、前記モーション検出器から得られた情報を通信する無線通信インターフェースと、を有するハンドヘルドデバイスと、
    前記無線通信インターフェースを介して前記情報を取得し、前記情報を処理する処理装置と、
    を備えたモーションコントロールシステム。
  2. 前記ハンドヘルドデバイスは更にカメラを備え、
    前記カメラの軸は、前記3軸加速度センサにおける第1の軸及び第2の軸のそれぞれに対して垂直な第3の軸に沿った方向を向いていることを特徴とする請求項1に記載のモーションコントロールシステム。
  3. 前記ハンドヘルドデバイスは更にカメラを備え、
    前記カメラの軸は、前記ハンドヘルドデバイスの長手方向に沿った方向を向いていることを特徴とする請求項1に記載のモーションコントロールシステム。
  4. 前記ハンドヘルドデバイスは更にカメラを備え、
    前記カメラの軸は、前記加速度センサの実装面に対して平行な軸に沿った方向を向いていることを特徴とする請求項1に記載のモーションコントロールシステム。
  5. 前記モーション検出器は、モーション検出機能を反復的に且つ選択的に使用可能又は不使用にする機能を含んでいることを特徴とする請求項1に記載のモーションコントロールシステム。
  6. 前記ハンドヘルドデバイスは、当該ハンドヘルドデバイスの特定の動きが特定のジェスチャーとして認識されたことを通知するフィードバックフォーマットを含んでいることを特徴とする請求項1に記載のモーションコントロールシステム。
  7. 前記フィードバックフォーマットは、音声フォーマットを少なくとも含んでいることを特徴とする請求項6に記載のモーションコントロールシステム。
  8. 前記フィードバックフォーマットは、振動型フォーマットを少なくとも含んでいることを特徴とする請求項6に記載のモーションコントロールシステム。
  9. 前記処理装置はDVDプレーヤであることを特徴とする請求項1に記載のモーションコントロールシステム。
  10. 前記処理装置はテレビジョンであることを特徴とする請求項1に記載のモーションコントロールシステム。
  11. 前記ハンドヘルドデバイスは、他のコンピュータ周辺機器が接続されることを特徴とする請求項1に記載のモーションコントロールシステム。
  12. 前記ハンドヘルドデバイスは、更にユーザに出力を通知する手段を有することを特徴とする請求項1に記載のモーションコントロールシステム。
  13. 前記ハンドヘルドデバイスは、更にバッテリレベルを通知する手段を有することを特徴とする請求項1に記載のモーションコントロールシステム。
  14. 前記ハンドヘルドデバイスは、更に音を通知する手段を有することを特徴とする請求項1に記載のモーションコントロールシステム。
  15. 前記ハンドヘルドデバイスは、更にユーザインターフェースを有することを特徴とする請求項1に記載のモーションコントロールシステム。
  16. 前記ハンドヘルドデバイスは、更に振動的なフィードバックを与える手段を有することを特徴とする請求項1に記載のモーションコントロールシステム。
  17. 前記処理装置は、前記カメラからの情報に基づいて距離測定を行う、請求項2乃至4の何れか1項に記載のモーションコントロールシステム。
  18. 前記処理装置は、カレンダーアプリケーションを備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  19. 前記処理装置は、前記ハンドヘルドデバイスの基準参照位置をリセットする機能を更に備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  20. 前記処理装置は、電子メール機能を備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  21. 前記処理装置は、ナビゲーションメニューを備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  22. 前記処理装置は、時間及び日付情報を更に備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  23. 前記処理装置は、ジェスチャーマッピングデータベースを更に備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  24. 前記処理装置は、ジェスチャーデータベースを更に備えることを特徴とする請求項1に記載のモーションコントロールシステム。
  25. 前記ジェスチャーデータベースは、ユーザが作成したジェスチャーを記録することを特徴とする請求項24に記載のモーションコントロールシステム。
  26. 前記ハンドヘルドデバイスはカメラを更に備え、
    前記処理装置は、前記3軸加速度センサ及び前記カメラから得られた情報に基づいて、前記ハンドヘルドデバイスの傾き及び並進運動を検知することを特徴とする請求項1に記載のモーションコントロールシステム。
  27. ハンドヘルドデバイスと処理装置を含むモーションコントロールシステムにおける、モーションコントロール方法であって、
    前記ハンドヘルドデバイスは、
    3軸加速度センサを有するモーション検出器によって、当該ハンドヘルドデバイスの運動を検出し、
    前記検出した情報を、無線通信インターフェースを介して前記処理装置に通信し、
    前記処理装置は、
    前記無線通信インターフェースを介して前記情報を取得し、
    前記情報を処理する、モーションコントロール方法。
JP2008192455A 2004-03-23 2008-07-25 携帯装置の傾斜及び並進運動成分の識別 Expired - Fee Related JP4812812B2 (ja)

Applications Claiming Priority (36)

Application Number Priority Date Filing Date Title
US10/807,564 US7180500B2 (en) 2004-03-23 2004-03-23 User definable gestures for motion controlled handheld devices
US10/807,568 2004-03-23
US10/807,558 2004-03-23
US10/807,589 US7301529B2 (en) 2004-03-23 2004-03-23 Context dependent gesture response
US10/807,589 2004-03-23
US10/807,566 US7173604B2 (en) 2004-03-23 2004-03-23 Gesture identification of controlled devices
US10/807,570 US7180502B2 (en) 2004-03-23 2004-03-23 Handheld device with preferred motion selection
US10/807,562 2004-03-23
US10/807,557 US7365735B2 (en) 2004-03-23 2004-03-23 Translation controlled cursor
US10/807,558 US7280096B2 (en) 2004-03-23 2004-03-23 Motion sensor engagement for a handheld device
US10/807,561 US7903084B2 (en) 2004-03-23 2004-03-23 Selective engagement of motion input modes
US10/807,559 2004-03-23
US10/807,562 US20050212753A1 (en) 2004-03-23 2004-03-23 Motion controlled remote controller
US10/807,588 US7176888B2 (en) 2004-03-23 2004-03-23 Selective engagement of motion detection
US10/807,563 2004-03-23
US10/807,560 2004-03-23
US10/807,572 2004-03-23
US10/807,565 US7301527B2 (en) 2004-03-23 2004-03-23 Feedback based user interface for motion controlled handheld devices
US10/807,563 US7301526B2 (en) 2004-03-23 2004-03-23 Dynamic adaptation of gestures for motion controlled handheld devices
US10/807,559 US7176886B2 (en) 2004-03-23 2004-03-23 Spatial signatures
US10/807,561 2004-03-23
US10/807,557 2004-03-23
US10/807,567 2004-03-23
US10/807,572 US20050212760A1 (en) 2004-03-23 2004-03-23 Gesture based user interface supporting preexisting symbols
US10/807,570 2004-03-23
US10/807,569 US7301528B2 (en) 2004-03-23 2004-03-23 Distinguishing tilt and translation motion components in handheld devices
US10/807,571 2004-03-23
US10/807,564 2004-03-23
US10/807,569 2004-03-23
US10/807,568 US7180501B2 (en) 2004-03-23 2004-03-23 Gesture based navigation of a handheld user interface
US10/807,565 2004-03-23
US10/807,566 2004-03-23
US10/807,571 US7176887B2 (en) 2004-03-23 2004-03-23 Environmental modeling for motion controlled handheld devices
US10/807,567 US7365737B2 (en) 2004-03-23 2004-03-23 Non-uniform gesture precision
US10/807,560 US7365736B2 (en) 2004-03-23 2004-03-23 Customizable gesture mappings for motion controlled handheld devices
US10/807,588 2004-03-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007504983A Division JP2007531113A (ja) 2004-03-23 2005-03-07 携帯装置の傾斜及び並進運動成分の識別

Publications (2)

Publication Number Publication Date
JP2008299866A true JP2008299866A (ja) 2008-12-11
JP4812812B2 JP4812812B2 (ja) 2011-11-09

Family

ID=35005698

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007504983A Pending JP2007531113A (ja) 2004-03-23 2005-03-07 携帯装置の傾斜及び並進運動成分の識別
JP2008192455A Expired - Fee Related JP4812812B2 (ja) 2004-03-23 2008-07-25 携帯装置の傾斜及び並進運動成分の識別

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007504983A Pending JP2007531113A (ja) 2004-03-23 2005-03-07 携帯装置の傾斜及び並進運動成分の識別

Country Status (4)

Country Link
EP (1) EP1728142B1 (ja)
JP (2) JP2007531113A (ja)
KR (1) KR100853605B1 (ja)
WO (1) WO2005103863A2 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012530958A (ja) * 2009-06-19 2012-12-06 アルカテル−ルーセント ウィンドウまたはアプリケーションを閉じるためのタッチ・センシティブ入力デバイス上でのジェスチャ
JP2013047923A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム
JP2013510381A (ja) * 2009-11-09 2013-03-21 インベンセンス インコーポレイテッド 人間の動きに関連するキャラクタおよびコマンドを認識するためのハンドヘルドコンピュータシステムおよび技術
JP2013154767A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 車載メータ編集装置
JP2013178759A (ja) * 2012-02-08 2013-09-09 Immersion Corp ハプティック・フレックス・ジェスチャリングのための方法及び装置
JP2014102842A (ja) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力
JP2014183364A (ja) * 2013-03-18 2014-09-29 Ntt Docomo Inc 端末装置及び操作ロック解除方法
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
JP2015531917A (ja) * 2012-08-09 2015-11-05 テンセント テクノロジー (シェンジェン) カンパニー リミテッド アプリケーションにログインする方法及び装置
JP2015232901A (ja) * 2009-07-10 2015-12-24 ルール・フェルテハールRoel VERTEGAAL 複数のフレキシブルディスプレイのためのインタラクション技術
JP2016180616A (ja) * 2015-03-23 2016-10-13 ラピスセミコンダクタ株式会社 半導体装置、携帯端末装置および運動検出方法
JP2016539390A (ja) * 2013-10-08 2016-12-15 ティーケー ホールディングス インク.Tk Holdings Inc. 触覚フィードバックを有する力センサ
JP2017501469A (ja) * 2013-10-24 2017-01-12 アップル インコーポレイテッド 手首の動きを用いたリストバンドデバイスの入力
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101772384B1 (ko) * 2012-03-25 2017-08-29 인텔 코포레이션 방향 감지 컴퓨팅 장치
JP2017201533A (ja) * 2009-07-22 2017-11-09 イマージョン コーポレーションImmersion Corporation 操作ジェスチャの入力中に,及び,仮想装置の操作に関連して,複雑な触覚刺激を提供するシステム及び方法
JP2018521378A (ja) * 2015-04-20 2018-08-02 ティルトスタ プロプライエタリー リミテッドTiltsta Pty Ltd インタラクティブ・コンピュータ・システム、インタラクティブ・メディアを生成するシステム、インタラクティブ・メディア方法、インタラクティブ方法およびインタラクティブ・メディア表示システム
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
US10241564B2 (en) 2013-06-07 2019-03-26 Seiko Epson Corporation Electronic apparatus and method of detecting tap operation
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
JP2022012522A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 情報処理装置、情報処理方法、および制御システム
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050222801A1 (en) 2004-04-06 2005-10-06 Thomas Wulff System and method for monitoring a mobile computing product/arrangement
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
EP1789928A4 (en) 2004-07-30 2011-03-16 Extreme Reality Ltd SYSTEM AND METHOD FOR PICTURE PROCESSING BASED ON THE 3D ROOM DIMENSION
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
ATE417460T1 (de) 2005-05-12 2008-12-15 Tcl & Alcatel Mobile Phones Verfahren zur synchronisierung von mindestens einem multimediaperipheriegerät eines portablen kommunikationsgeräts und dazugehöriges kommunikationsgerät
US7822513B2 (en) 2005-07-27 2010-10-26 Symbol Technologies, Inc. System and method for monitoring a mobile computing product/arrangement
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
TWI316195B (en) 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
EP2821879A1 (en) 2006-01-06 2015-01-07 Drnc Holdings, Inc. Method for entering commands and/or characters for a portable communication device equipped with a tilt sensor
CN100429610C (zh) * 2006-01-19 2008-10-29 宏达国际电子股份有限公司 直觉式荧幕控制器
JP2007193656A (ja) * 2006-01-20 2007-08-02 Kddi Corp 本人認証装置
KR100667853B1 (ko) 2006-01-25 2007-01-11 삼성전자주식회사 휴대용 기기의 화면 스크롤 장치 및 방법과 그 방법을수행하는 프로그램이 기록된 기록 매체
JP4747874B2 (ja) * 2006-02-14 2011-08-17 パナソニック電工株式会社 リモコン装置及び遠隔制御システム
US7796052B2 (en) 2006-03-29 2010-09-14 Honeywell International Inc. One button multifunction key fob for controlling a security system
JP2007286812A (ja) * 2006-04-14 2007-11-01 Sony Corp 携帯型電子機器、ユーザインターフェイス制御方法、プログラム
US8594742B2 (en) * 2006-06-21 2013-11-26 Symbol Technologies, Inc. System and method for monitoring a mobile device
US20080030456A1 (en) * 2006-07-19 2008-02-07 Sony Ericsson Mobile Communications Ab Apparatus and Methods for Providing Motion Responsive Output Modifications in an Electronic Device
CA2595871C (en) * 2006-08-03 2012-01-31 Research In Motion Limited Motion-based user interface for handheld
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
AU2015201028B2 (en) * 2006-09-06 2017-03-30 Apple Inc. Electronic device for digital object management
JP5023073B2 (ja) * 2006-12-06 2012-09-12 アルプス電気株式会社 モーションセンシングプログラム及びそれを備えた電子コンパス
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8462109B2 (en) * 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
TWI333156B (en) * 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US8432365B2 (en) 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US8219936B2 (en) 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8942764B2 (en) * 2007-10-01 2015-01-27 Apple Inc. Personal media device controlled via user initiated movements utilizing movement based interfaces
DE102007060007A1 (de) 2007-12-13 2009-06-18 BSH Bosch und Siemens Hausgeräte GmbH Bedienvorrichtung für ein Hausgerät, ein Hausgerät mit einer Bedienvorrichtung, sowie ein Verfahren zum Bedienen eines Hausgeräts
KR20090065040A (ko) 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
JP4852084B2 (ja) * 2008-05-27 2012-01-11 株式会社東芝 無線通信装置
US20090325710A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamic Selection Of Sensitivity Of Tilt Functionality
KR101524616B1 (ko) * 2008-07-07 2015-06-02 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101482115B1 (ko) 2008-07-07 2015-01-13 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
EP2327201B1 (en) 2008-07-15 2018-09-05 Immersion Corporation Systems and methods for transmitting haptic messages
JP2010046471A (ja) * 2008-07-23 2010-03-04 Sega Corp ゲーム装置及びゲーム制御方法、ゲームを制御するプログラム、プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR101482121B1 (ko) * 2008-08-04 2015-01-13 엘지전자 주식회사 웹 브라우징이 가능한 휴대 단말기 및 그 제어방법
KR101061363B1 (ko) * 2008-08-26 2011-09-01 팅크웨어(주) 내비게이션 시스템에 특화된 3차원 제어시스템 및 그 방법
KR101511819B1 (ko) * 2008-09-04 2015-04-13 익스트림 리얼리티 엘티디. 영상 센서에 기반한 인간 기계장치 인터페이스를 제공하는 방법 시스템 및 소프트웨어
JP5532372B2 (ja) 2008-09-12 2014-06-25 ブリテッシュ ヴァージン アイランズ シューウィー グループ リミテッド 慣性センシング装置
KR101568128B1 (ko) * 2008-11-14 2015-11-12 삼성전자주식회사 모션 센서 기반의 ui 운용 방법 및 이를 이용한 단말기
US9501694B2 (en) 2008-11-24 2016-11-22 Qualcomm Incorporated Pictorial methods for application selection and activation
US20100184564A1 (en) 2008-12-05 2010-07-22 Nike, Inc. Athletic Performance Monitoring Systems and Methods in a Team Sports Environment
CN104407667B (zh) * 2009-01-29 2018-01-09 意美森公司 用于解释与图形用户界面的物理交互的***和方法
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9927873B2 (en) * 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8442797B2 (en) * 2009-03-30 2013-05-14 Kionix, Inc. Directional tap detection algorithm using an accelerometer
JP5332980B2 (ja) * 2009-07-08 2013-11-06 日本電気株式会社 携帯端末、携帯端末におけるアプリケーション操作方法
US9030404B2 (en) 2009-07-23 2015-05-12 Qualcomm Incorporated Method and apparatus for distributed user interfaces using wearable devices to control mobile and consumer electronic devices
US20110054833A1 (en) * 2009-09-02 2011-03-03 Apple Inc. Processing motion sensor data using accessible templates
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
JP2013505493A (ja) 2009-09-21 2013-02-14 エクストリーム リアリティー エルティーディー. 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
EP3855297A3 (en) 2009-09-22 2021-10-27 Apple Inc. Device method and graphical user interface for manipulating user interface objects
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
KR101646671B1 (ko) * 2009-12-10 2016-08-08 삼성전자주식회사 휴대용 전자장치 및 그 동작 제어방법
FR2954533A1 (fr) * 2009-12-21 2011-06-24 Air Liquide Terminal portable commande par mouvements
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
JP5413250B2 (ja) * 2010-03-05 2014-02-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
KR101219292B1 (ko) 2010-06-16 2013-01-18 (주)마이크로인피니티 표시부를 구비한 핸드 헬드 기기 및 상기 표시부에 표시되는 객체를 탐색하는 방법
CN102298162B (zh) * 2010-06-28 2014-03-05 深圳富泰宏精密工业有限公司 背光调节***及方法
CN103069463A (zh) * 2010-08-31 2013-04-24 沃尔夫冈·布兰德尔 带有位置传感装置的无线电遥控***
US8767019B2 (en) 2010-08-31 2014-07-01 Sovanta Ag Computer-implemented method for specifying a processing operation
US8972467B2 (en) 2010-08-31 2015-03-03 Sovanta Ag Method for selecting a data set from a plurality of data sets by means of an input device
CA2806520C (en) 2011-01-23 2016-02-16 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
JP5659830B2 (ja) 2011-02-03 2015-01-28 ソニー株式会社 制御装置、制御方法およびプログラム
CN102647504B (zh) * 2011-02-16 2013-07-17 三星电子(中国)研发中心 一种对手机中应用程序进行控制的方法
FI20115250L (fi) * 2011-03-14 2012-09-15 Vti Technologies Oy Osoittamismenetelmä, sitä varten laite ja järjestelmä
JP2012244264A (ja) * 2011-05-17 2012-12-10 Funai Electric Co Ltd 画像形成装置
JP5861707B2 (ja) 2011-07-04 2016-02-16 株式会社ニコン 電子機器及び入力方法
WO2013086414A1 (en) * 2011-12-07 2013-06-13 Visa International Service Association Method and system for signature capture
JP2013157959A (ja) * 2012-01-31 2013-08-15 Toshiba Corp 携帯端末機器、携帯端末機器の音声認識処理方法、およびプログラム
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
WO2013157630A1 (ja) * 2012-04-20 2013-10-24 株式会社ニコン 電子機器及び動き検出方法
KR101966695B1 (ko) * 2012-06-22 2019-04-08 삼성전자 주식회사 휴대단말기의 통화중 메모 처리장치 및 방법
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
CN111632353B (zh) * 2012-10-25 2023-01-10 耐克创新有限合伙公司 团队体育环境中的运动表现监测***和方法
JP2013101649A (ja) * 2012-12-26 2013-05-23 Japan Research Institute Ltd 端末装置およびコンピュータプログラム
JP6104639B2 (ja) * 2013-03-01 2017-03-29 東芝メディカルシステムズ株式会社 X線診断装置
JP6171615B2 (ja) * 2013-06-21 2017-08-02 カシオ計算機株式会社 情報処理装置及びプログラム
KR20150026056A (ko) 2013-08-30 2015-03-11 삼성전자주식회사 곡면 바닥을 가지는 전자 장치 및 그 동작 방법
US10004435B2 (en) 2013-11-14 2018-06-26 Dexcom, Inc. Devices and methods for continuous analyte monitoring
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR102223732B1 (ko) * 2014-06-26 2021-03-05 엘지전자 주식회사 이동단말기 및 그 제어방법
CN118192869A (zh) * 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
CN105447350B (zh) 2014-08-07 2019-10-01 阿里巴巴集团控股有限公司 一种身份认证方法及装置
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
DE102014013678B3 (de) 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9602811B2 (en) 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US9671221B2 (en) 2014-09-10 2017-06-06 Faro Technologies, Inc. Portable device for optically measuring three-dimensional coordinates
JP2017528714A (ja) * 2014-09-10 2017-09-28 ファロ テクノロジーズ インコーポレーテッド 3次元座標の光学測定のための方法および3次元測定デバイスの制御
DE102014013677B4 (de) 2014-09-10 2017-06-22 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
US9693040B2 (en) 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9746930B2 (en) 2015-03-26 2017-08-29 General Electric Company Detection and usability of personal electronic devices for field engineers
EP3885882A1 (en) 2015-04-30 2021-09-29 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
CN108027643B (zh) * 2015-06-26 2021-11-02 英特尔公司 用于可穿戴计算设备的基于微运动的输入姿势控制的方法、设备和装置
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10754432B2 (en) 2015-12-01 2020-08-25 Sony Corporation Information processing device and information processing method for detecting gesture manipulation
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
EP4328708A3 (en) * 2016-02-04 2024-06-05 Apple Inc. Controlling electronic devices and augmented reality based on wireless ranging
JP6699455B2 (ja) * 2016-04-15 2020-05-27 富士通株式会社 サーバ装置、コンテンツ表示制御システムおよびコンテンツ表示制御プログラム
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20170357672A1 (en) 2016-06-12 2017-12-14 Apple Inc. Relating digital assets using notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DE102016114376A1 (de) * 2016-08-03 2018-02-08 Denso Corporation Feedback-unterstützte Fernsteuerung für Fahrzeugtüren
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11922006B2 (en) 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
US20200014909A1 (en) 2018-07-03 2020-01-09 Faro Technologies, Inc. Handheld three dimensional scanner with autofocus or autoaperture
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US20200097066A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
US10902433B2 (en) 2019-01-14 2021-01-26 American Express Travel Related Services Company, Inc. Motion-enabled transaction system using air sign symbols
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
KR20210048725A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 카메라 제어를 위한 방법 및 이를 위한 전자 장치
DK181076B1 (en) 2020-02-14 2022-11-25 Apple Inc USER INTERFACES FOR TRAINING CONTENT
US11893212B2 (en) 2021-06-06 2024-02-06 Apple Inc. User interfaces for managing application widgets

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728591A (ja) * 1993-05-13 1995-01-31 Toshiba Corp 空間操作マウスシステム及び空間動作パターン入力方法
JPH0798630A (ja) * 1993-09-28 1995-04-11 Towa Electron Kk 三次元位置入力装置
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2000097637A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 姿勢位置検出装置
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2000214413A (ja) * 1998-05-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法及び装置
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100595926B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
WO2001086920A2 (en) * 2000-05-12 2001-11-15 Zvi Lapidot Apparatus and method for the kinematic control of hand-held devices
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
WO2003001340A2 (en) * 2001-06-22 2003-01-03 Motion Sense Corporation Gesture recognition system and method
GB2378878B (en) * 2001-06-28 2005-10-05 Ubinetics Ltd A handheld display device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728591A (ja) * 1993-05-13 1995-01-31 Toshiba Corp 空間操作マウスシステム及び空間動作パターン入力方法
JPH0798630A (ja) * 1993-09-28 1995-04-11 Towa Electron Kk 三次元位置入力装置
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2000214413A (ja) * 1998-05-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法及び装置
JP2000097637A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 姿勢位置検出装置
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2004504684A (ja) * 2000-07-24 2004-02-12 シーイング・マシーンズ・プロプライエタリー・リミテッド 顔画像処理システム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012530958A (ja) * 2009-06-19 2012-12-06 アルカテル−ルーセント ウィンドウまたはアプリケーションを閉じるためのタッチ・センシティブ入力デバイス上でのジェスチャ
JP2015232901A (ja) * 2009-07-10 2015-12-24 ルール・フェルテハールRoel VERTEGAAL 複数のフレキシブルディスプレイのためのインタラクション技術
JP2017201533A (ja) * 2009-07-22 2017-11-09 イマージョン コーポレーションImmersion Corporation 操作ジェスチャの入力中に,及び,仮想装置の操作に関連して,複雑な触覚刺激を提供するシステム及び方法
US9174123B2 (en) 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
JP2013510381A (ja) * 2009-11-09 2013-03-21 インベンセンス インコーポレイテッド 人間の動きに関連するキャラクタおよびコマンドを認識するためのハンドヘルドコンピュータシステムおよび技術
JP2013047923A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 装置、方法、及びプログラム
JP2013154767A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 車載メータ編集装置
JP2013178759A (ja) * 2012-02-08 2013-09-09 Immersion Corp ハプティック・フレックス・ジェスチャリングのための方法及び装置
US10133401B2 (en) 2012-02-08 2018-11-20 Immersion Corporation Method and apparatus for haptic flex gesturing
KR101772384B1 (ko) * 2012-03-25 2017-08-29 인텔 코포레이션 방향 감지 컴퓨팅 장치
JP2015531917A (ja) * 2012-08-09 2015-11-05 テンセント テクノロジー (シェンジェン) カンパニー リミテッド アプリケーションにログインする方法及び装置
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10194060B2 (en) 2012-11-20 2019-01-29 Samsung Electronics Company, Ltd. Wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
JP2014102842A (ja) * 2012-11-20 2014-06-05 Samsung Electronics Co Ltd デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
JP2014183364A (ja) * 2013-03-18 2014-09-29 Ntt Docomo Inc 端末装置及び操作ロック解除方法
JP2014238696A (ja) * 2013-06-07 2014-12-18 セイコーエプソン株式会社 電子機器及びタップ操作検出方法
US10241564B2 (en) 2013-06-07 2019-03-26 Seiko Epson Corporation Electronic apparatus and method of detecting tap operation
JP2016539390A (ja) * 2013-10-08 2016-12-15 ティーケー ホールディングス インク.Tk Holdings Inc. 触覚フィードバックを有する力センサ
US10180723B2 (en) 2013-10-08 2019-01-15 Joyson Safety Systems Acquisition Llc Force sensor with haptic feedback
JP2017501469A (ja) * 2013-10-24 2017-01-12 アップル インコーポレイテッド 手首の動きを用いたリストバンドデバイスの入力
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
JP2016180616A (ja) * 2015-03-23 2016-10-13 ラピスセミコンダクタ株式会社 半導体装置、携帯端末装置および運動検出方法
JP2018521378A (ja) * 2015-04-20 2018-08-02 ティルトスタ プロプライエタリー リミテッドTiltsta Pty Ltd インタラクティブ・コンピュータ・システム、インタラクティブ・メディアを生成するシステム、インタラクティブ・メディア方法、インタラクティブ方法およびインタラクティブ・メディア表示システム
WO2017104272A1 (ja) * 2015-12-18 2017-06-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
JP2022012522A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 情報処理装置、情報処理方法、および制御システム
JP7322824B2 (ja) 2020-07-01 2023-08-08 トヨタ自動車株式会社 情報処理装置、情報処理方法、および制御システム

Also Published As

Publication number Publication date
WO2005103863A3 (en) 2006-01-26
KR100853605B1 (ko) 2008-08-22
EP1728142B1 (en) 2010-08-04
KR20060134119A (ko) 2006-12-27
WO2005103863A2 (en) 2005-11-03
EP1728142A2 (en) 2006-12-06
JP4812812B2 (ja) 2011-11-09
JP2007531113A (ja) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4812812B2 (ja) 携帯装置の傾斜及び並進運動成分の識別
US11119575B2 (en) Gesture based user interface supporting preexisting symbols
US7180500B2 (en) User definable gestures for motion controlled handheld devices
US7176888B2 (en) Selective engagement of motion detection
US7301529B2 (en) Context dependent gesture response
US7301527B2 (en) Feedback based user interface for motion controlled handheld devices
US7180501B2 (en) Gesture based navigation of a handheld user interface
US7903084B2 (en) Selective engagement of motion input modes
US7365737B2 (en) Non-uniform gesture precision
US7990365B2 (en) Motion controlled remote controller
US7301526B2 (en) Dynamic adaptation of gestures for motion controlled handheld devices
US7280096B2 (en) Motion sensor engagement for a handheld device
US7301528B2 (en) Distinguishing tilt and translation motion components in handheld devices
US7173604B2 (en) Gesture identification of controlled devices
US7176887B2 (en) Environmental modeling for motion controlled handheld devices
US7365735B2 (en) Translation controlled cursor
US7365736B2 (en) Customizable gesture mappings for motion controlled handheld devices
US7176886B2 (en) Spatial signatures
US7180502B2 (en) Handheld device with preferred motion selection

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110823

R150 Certificate of patent or registration of utility model

Ref document number: 4812812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees