JP2014503873A - スマートエアマウス - Google Patents

スマートエアマウス Download PDF

Info

Publication number
JP2014503873A
JP2014503873A JP2013539202A JP2013539202A JP2014503873A JP 2014503873 A JP2014503873 A JP 2014503873A JP 2013539202 A JP2013539202 A JP 2013539202A JP 2013539202 A JP2013539202 A JP 2013539202A JP 2014503873 A JP2014503873 A JP 2014503873A
Authority
JP
Japan
Prior art keywords
handheld device
host
contact
application
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013539202A
Other languages
English (en)
Other versions
JP6083072B2 (ja
Inventor
ゴメズ、デイヴィッド
ギヨン、マルタン
Original Assignee
モベア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モベア filed Critical モベア
Publication of JP2014503873A publication Critical patent/JP2014503873A/ja
Application granted granted Critical
Publication of JP6083072B2 publication Critical patent/JP6083072B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

本発明は、ホスト装置上において稼働しているアプリケーションを制御するための２Ｄ又は３Ｄマウスとして使用することができるタッチスクリーンを有するスマートハンドヘルド装置に関する。有利には、スマート装置は、表面上に載置されていることを自動的に検出し、前記表面上における装置の変位を計測し、且つ、ホスト装置の画面上のカーソルの変位をエミュレートするための光学センサを装備する。有利には、スマート装置は、自由空間内における装置のヨー及びピッチを計測すると共に向き計測値の変化をホスト装置の画面上のカーソルの変位に変換する２軸のジャイロスコープを装備する。タッチスクリーンは、装置上において又はホスト上において稼働する様々なアプリケーションを制御するために、ゾーン及びサブゾーンに分割されている。前記ゾーンは、グラフィカルユーザーインターフェイスを通じて構成することができる。ジェスチャ認識機能を実装することができる。

Description

本発明は、命令を電子装置に対して送信する能力を有するマンマシンインターフェイスに関する。更に詳しくは、本発明によれば、この目的のために本来設計されてはいない様々なタイプのスマートモバイル装置を、前記スマートモバイル装置において益々一般的になりつつあるエルゴノミクスを活用しつつ、まさにエアマウス及び／又はリモコンのように使用することができる特定の装置に、一時的に変化させることができる。
スマートモバイル装置には、パーソナルデジタルアシスタント、スマートフォン、特に、ｉ−Ｐｈｏｎｅ（商標）、及びｉ−Ｔｏｕｃｈ（商標）、ｉ−Ｐａｄ（商標）、並びに、恐らくは、なんらかのその他のマルチメディアストレージ及び再生装置が含まれる。いまや、これらの装置は、通常、モーションセンサ（加速度計、並びに、恐らくは、ジャイロスコープ及び／又は磁力計）、測位センサ（ＧＰＳ受信機）、デジタルカメラ、Ｂｌｕｅｔｏｏｔｈ、及び／又はＷｉｆｉリンク、タッチスクリーン、ローカル処理能力などを含む。専門家と、広くは一般的な大衆と、によるこのような装置の使用は、非常に一般的なものになっており、且つ、その使用法は、非常に集約的なものになっている。ユーザーは、通常、自身のスマートモバイル装置を常に携帯している。前記装置上においてコードをアプリケーションストアからダウンロードすることにより、ユーザーは、略無限の量のアプリケーション及びコンテンツに対してアクセスすることができる。これらのアプリケーションのいくつかは、スマートモバイル装置のモーション及び／又は位置キャプチャ能力を活用してはいるが、これまでのところ、これらのスマートモバイル装置のユーザーが、自身の携帯型コンピュータのタッチパッドマウスを置換するための外部マウスのような特定の目的に自身が使用を必要としているその他の装置をなくしてしまい、これにより、ユーザーが、自身のスマートモバイル装置に加えて、そのようなマウスの携帯を回避することができるというレベルにまでは至っていない。これは、自宅にいる際にも当て嵌まり、我々は、自身のテレビ鑑賞に伴って、少なくとも、もう１つのインターフェイスを使用しなければならない（その結果、我々は、テレビ自体用のものとセットトップボックス用の別のものという少なくとも２つのインターフェイスを使用しなければならなくなる可能性が高い）。すべてのこれらのインターフェイスは、その独自の重量、電力消費量、エルゴノミクス、ソフトウェア構成、業者などを有する。通常はデスク表面上において使用されているＰＣのマウスは、テレビ受像機と共に使用することはできず、且つ、通常は自由空間内において使用されるテレビのリモコンは、ＰＣと共に使用することができない。
従って、スマートモバイル装置が提供しているすべての可能性を使用するすべての種類の電子装置のリモコンとして使用することができるユニバーサルなマンマシンインターフェイスに対するニーズが存在している。これを目的として、いくつかの装置が開発されているが、それらの装置は、統合された表面及び自由空間制御モードを実現してはいない。又、それらの装置は、現在のセンサの能力と、スマートモバイル装置上においていまや利用可能である新しい機能と、を十分に活用してもいない。本発明は、これらの制限を克服する。
これを目的として、本発明は、少なくとも１つのモーションセンサと、タッチスクリーンと、を有するハンドヘルド装置を提供し、前記装置は、信号を前記センサからモーション信号処理能力を有するホスト装置に伝達する能力を有し、前記ハンドヘルド装置の前記タッチスクリーンは、いくつかの接触ゾーンを有し、これらの接触ゾーンは、ユーザーの選択により、表面上又は自由空間内における前記ハンドヘルド装置の運動によって前記ホスト装置上において稼働している少なくとも１つのアプリケーションを制御するように機能することができる。
又、本発明は、前記ハンドヘルド装置を使用する方法及びコンピュータプログラムをも提供する。
好適な実施形態においては、スマートモバイル装置は、正確なポインティング動作及びユーザーのジェスチャの認識を許容する少なくとも１つの２軸のジャイロスコープを有する。様々な実施形態においては、接触ゾーンは、マウスの通常のボタン（左、右、スクロールホイール）をエミュレートしている。更に詳しくは、スクロールホイールは、タッチスクリーンの表面全体に延在してもよいゾーンによってエミュレートされるようになっている。又、接触ゾーンのうちの１つを使用することにより、２Ｄマウスを、ホスト装置のディスプレイ上のカーソルの運動を直接的に制御する能力又はハンドヘルド装置のユーザーによって実行されるジェスチャに関する情報を送信する能力を有する３Ｄマウス又はリモコンに変えることが可能であり、これらのジェスチャは、次いで、ホスト装置により、いくつかの予め設定された機能の命令として解釈される。更には、ハンドヘルド装置の画面上の接触ゾーンは、ホスト装置のフォアグラウンドにおいて稼働しているアプリケーションに対する依存性を有するようにすることが可能であり、これにより、広範な多様性が本発明の装置に対して付与される。
様々な実施形態及び添付図面に関する以下の説明を参照することにより、本発明について良く理解することが可能であり、且つ、その様々な特徴及び利点が明らかとなろう。
本発明を実装するための機能的アーキテクチャを示す。 本発明の様々な実施形態によるマウスのボタンをエミュレートするハンドヘルド装置の画面の接触ゾーンを示す。 本発明の様々な実施形態によるマウスのスクロールホイールをエミュレートするハンドヘルド装置の画面の接触ゾーンの異なる図を示す。 本発明の様々な実施形態によるタッチスクリーン上において起動されたタッチキーボードを伴わない及び伴うハンドヘルド装置を示す。 本発明の様々な実施形態による異なるアプリケーションコンテキストにおける本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示す。 本発明の様々な実施形態による装置の３Ｄモードを示すための本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示す。 特定のコンテキストにおけるスワイプジェスチャの意味を有するヘルプ画面を示す。
図１は、本発明を実装するための機能的アーキテクチャを示している。
本発明によれば、スマートモバイル装置１０１を使用することにより、ホスト装置１０２上において稼働するアプリケーションを制御しており、ホスト装置１０２は、ディスプレイ１０２１を有し、このディスプレイ１０２１上において、カーソルを使用し、アイコン上又はテキストスクロールリスト内においてポイント／クリックすることにより、アプリケーション／機能を選択することができる。又、アプリケーションは、図６ａ〜図６ｃとの関係において後述するように、ユーザーの予め規定されたジェスチャによって制御してもよい。
スマートモバイル装置は、一般に、タッチスクリーン１０１１を有する。スマートモバイル装置は、ｉ−Ｐｈｏｎｅ（商標）などのスマートフォンであってもよい。このケースにおいては、本発明を実装するのに適したソフトウェアアプリケーションは、ソフトウェア要素１０１２として装置１０１上にインストールされるように、Ａｐｐ Ｓｔｏｒｅ（商標）からユーザーがダウンロードすることができる。但し、アプリケーションは、任意のストレージ媒体から装置上に複写してもよい。本発明は、前記装置が、タッチスクリーンと、空間内におけるスマートモバイル装置の運動を計測するための少なくとも１つのモーションセンサ１０１３と、を有する場合には、任意の種類のスマートモバイル装置上において実装することができる。
モーションセンサ１０１３は、好ましくは、加速度計又はジャイロスコープなどの慣性センサであるが、磁力計であってもよい。動きは、少なくとも２つの軸に沿って計測される。ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｉｃａｌ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）センサは、益々、一般的になっており、且つ、益々、安価になっている。ピッチ角（又は仰角、即ち、垂直プレーン内における水平プレーンとの間のポインティング装置１０１の角度）及びヨー角（又は方位角、即ち、水平プレーン内における垂直プレーンとの間のポインティング装置１０１の角度）を計測するための２軸のジャイロスコープと、これらの計測値を（一般的には、装置を担持するユーザーの手のユーザーの手首を中心とした）ロール運動について補正するための２軸の加速度計と、を有することが有用であろう。次いで、プレーン（２Ｄ）内又は自由空間（３Ｄ）内におけるスマートモバイル装置１０１の運動をホスト装置１０２の画面上のカーソルの位置に変換することができる。又、更に後述するように、アイコン又はリスト内のテキストをクリックすることにより、カーソルの前記位置において実行を要するホスト装置１０２の機能を制御するための命令信号をスマートモバイル装置１０１に入力することもできる。
センサからのモーション信号及びスマートモバイル装置に入力された命令信号は、無線ＲＦ搬送波（ＢｌｕｅＴｏｏｔｈ又はＷｉＦｉ）を使用することにより、或いは、好ましくは、ホスト装置のＵＳＢポートに対する有線接続を使用することにより、ホスト装置１０２に対して送信される。
ホスト装置１０２は、パーソナルコンピュータ（デスクトップ又はラップトップ）又はテレビ画面１０２１との接続状態にあるセットトップボックスであってよい。ホスト装置は、マルチメディアアプリケーション（放送又はケーブルテレビ又はビデオフィルムの視聴やラジオ又は音楽の聴取など）、インターネットのブラウジング、電子メールの処理、プレゼンテーションの供給などのアプリケーション１０２３を実行することになる。又、ホスト装置は、本発明の実装に適した特定のソフトウェア１０２２を装備することにもなる。このようなソフトウェアの１つが、Ｍｏｖｅａ（商標）のＭｏｔｉｏｎＴｏｏｌｓである。ＭｏｔｉｏｎＴｏｏｌｓは、モーション及び命令信号を処理すると共にそれらの信号が表している運動及び制御をホスト装置上におけるアプリケーションの機能の位置及び実行に対してマッピングするためのルーチンを含む。制御対象のアプリケーションは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を通じて、ユーザーが予めプログラムすることができる。
ＭｏｔｉｏｎＴｏｏｌｓは、Ｍｏｖｅａ製の周辺装置及びマウスのすべてと互換性を有するソフトウェア製品である。ＭｏｔｉｏｎＴｏｏｌｓは、空中にある際にマウスを十分に活用できるようにするツールの組により、ユーザーの能力を拡張する。画面から遠く離れている際には、ユーザーは、ＭｏｔｉｏｎＴｏｏｌｓにより、ズームインすることができる。キーボードから遠く離れている際には、ユーザーは、ほとんどの状況において、タイプ入力することができなくなるが、究極的に、ワンクリックでオンスクリーンキーボードを表示することができるようになる。ＭｏｔｉｏｎＴｏｏｌｓによれば、ユーザーは、任意の動作（ズームやオンスクリーン描画ツールなど）を任意のマウスイベント（ボタンのクリックやマウスの動き）に対してリンクさせることができる。ＭｏｔｉｏｎＴｏｏｌｓが操作することができるアプリケーションは、以下のようなカテゴリ又は「コンテキスト」に分類される：
−「一般」：特定のコンテキストを有していないもの（ディスク上におけるナビゲーションやその他のコンテキストにおいてはリストアップされないすべてのその他のアプリケーション）。
−「インターネット」：ウェブブラウジングアプリケーションを意味している（Ｆｉｒｅｆｏｘ（商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（商標）、Ｓａｆａｒｉ（商標）、ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（商標）など）。
−「マルチメディア」：Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｃｅｎｔｅｒ（商標）やｉＴｕｎｅｓ（商標）のようなホスト装置１０２上にインストールされたメディアプレーヤーを意味している。
−「プレゼンテーション」：Ｐｏｗｅｒｐｏｉｎｔ（商標）やＫｅｙｎｏｔｅｓ（商標）などのような文書プレゼンテーションソフトウェアを意味している。
その他のコンテキストを追加することができる。スマートモバイル装置１０１は、いくつかの更なるメディアボタンを装備しており、且つ、認識されたジェスチャイベントを生成することができる。ＭｏｔｉｏｎＴｏｏｌｓは、ユーザーによる高度な構成が可能である。構成を実行するためのプロファイルを規定している。ユーザーは、これらのプロファイル内に、ユーザーフレンドリーなＧＵＩを通じて、それぞれのコンテキストごとに、特定のマウス入力又はジェスチャイベントとリンクされた動作のリストを保存することができる。
図２は、本発明の様々な実施形態によるマウスのボタンをエミュレートするハンドヘルド装置の画面の接触ゾーンを示している。
本発明の仮想マウスは、本発明のアプリケーションがインストールされているスマートモバイル装置１０１の標準的な命令ボタン／アイコンを使用することにより、起動される。
本発明によるスマートモバイル装置１０１のタッチスクリーンは、４つのメインゾーンに分割されている。
−左側ゾーンは、あまり変化しない機能を表示又は制御するためのアイコン（２０１、２０２、２０３、２０４、２０５）を含む。
−上部ゾーンは、スマートモバイル装置のシステム機能の状態（２０６）を表示している。
−中央ゾーンは、クリック命令を入力するためのその左及び右ボタン（２０７）と、スマートモバイル装置が３Ｄ制御モードにある際にホスト装置の画面上のカーソルの運動を制御すると共にジェスチャ認識モードの起動をトリガするためのスクロールホイール（２０８）及び特定のボタン（２０９）と、を有するマウスを表示している。
−下部ゾーンは、ＭｏｔｉｏｎＴｏｏｌｓ内においてプログラムされているコンテキストに応じて、ホスト装置１０２上において実行されているアプリケーションを制御するためのアイコン（２０Ａ）を表示している。
アイコン２０１及び２０Ａは、コンテキスト依存性を有しており、これらは、ホスト装置のフォアグラウンドにおいて実行されているアプリケーションに伴って変化する。左側バー内に存在しているアイコンは、ＭｏｔｉｏｎＴｏｏｌｓ内においてプログラムしてもよい。このゾーン２０２内には、更に多くのアイコンを表示してもよい。アイコン２０３は、図４ａ及び図４ｂとの関係において後述するように、スマートモバイル装置の下部ゾーン内におけるキーボードの表示を命令する。アイコン２０４は、装置の設定に対してアクセスできるようにする。アイコン２０５は、ヘルプ機能に対してアクセスできるようにする。
仮想マウス２０７、２０８、２０９によれば、このマウスが２Ｄモードにおいて使用されているのか又は３Ｄモードにおいて使用されているのかを問わず、物理マウスによって入力できるものと同一の命令を入力することができる。この仮想マウスは、ユーザーが移動中に自身のラップトップのボタン又はタッチパッドマウスの携帯を所望しない場合に、更なる物理マウスを置換することが可能であり、これにより、ユーザーは、追加の物理マウスをなしで済ますことができる。マウスとして同時に機能しつつ、その電池が充電されるように、スマートモバイル装置をラップトップのＵＳＢ接続に対してプラグ接続してもよいため、これは、有利である。
仮想マウスの設計は、ユーザーがスマートモバイル装置を通常保持する方式に適合するように規定されている。特定のユーザー要件（例えば、左利きのユーザー）に適するように、いくつかの異なる設計を提供することが可能であり、望ましい設計の選択は、「設定」において実行される。
左及び右ボタン（２０７）によって実行される機能は、通常、従来のマウスにおけるものと同一である（選択及びコンテキストメニュー）。スクロールホイール２０８の動作については、以下、図３ａ、図３ｂ、及び図３ｃとの関係において説明する。制御ボタン２０９の動作については、図６ａ、図６ｂ、及び図６ｃとの関係において後述することとする。
図３ａ〜図３ｃは、本発明の様々な実施形態によるマウスのスクロールホイールをエミュレートするハンドヘルド装置の画面の接触ゾーンの異なる図を示している。
図３ａは、（図２に表示されているものなどの）既定／スチールモードにおける本発明のスマートモバイル装置の画面の図である。これは、表示されている一般的なコンテキストとは異なるアプリケーションコンテキストにも当て嵌まることになろう。
図３ｂは、ユーザーが自身の物理マウスのスクロールホイールに伴って実行するように、ユーザーが指で図２の仮想マウスの接触ゾーン２０８に接触する状況を例示している。スクロールホイールが有効であることを確認するために、第１矢印が前記ゾーン内に表示されている。
図３ｃは、第２矢印を表しており、この第２矢印は、１０分の数秒の後に第１矢印を置換することにより、現在有効であるホスト装置のアプリケーションにおいてスクロールを制御するためにユーザーが自身の指を摺動させなければならない方向を示している。
スクロール機能は、ユーザーが自身の指をタッチスクリーンから持ち上げた際に無効になる。スマートモバイル装置は、既定／スチールモードにある際には、図３ａに戻る。
図４ａ及び図４ｂは、本発明の様々な実施形態によるタッチスクリーン上において起動された接触キーボードを伴わない及び伴うハンドヘルド装置を示している。
スマートモバイル装置上のキーボードを起動するための標準的なモードは、テキストの入力を要するゾーンをタップするというものである。本発明のコンテキストにおいては、アイコン４０１ｂをタップすることによって更に簡単にキーボードを起動できることが望ましい。この結果、仮想キーボード４０２ｂがスマートモバイル装置のタッチスクリーンの下部接触ゾーン上に表示されることになる。但し、表示された際に仮想キーボードによって占有される場所は、制御ボタン２０９に対する任意の動作を妨げないように規定されている。同時に、依然として可視状態に留まるように、左側の「キーボード」アイコンがスクリーンの上部部分に押し上げられる。キーボードが有効である際にアイコン４０１ｂを再度タップすることにより、キーボードは、消えることになる。又、ユーザーが画面１０２１のテキスト入力ゾーン上においてクリックした際にキーボード４０２ｂが起動されるように、マウス命令をプログラムすることもできよう。
図５ａ〜図５ｃは、本発明の様々な実施形態による異なるアプリケーションコンテキストにおける本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示している。
ＭｏｔｉｏｎＴｏｏｌｓを使用することにより、更なるコンテキストを追加することができる。
図５ａは、（図２に表示されているものなどの）既定／スチールモードにおける本発明のスマートモバイル装置の画面の図である。アイコン５０１ａは、ホスト装置１０２上において有効なコンテキストが「一般」コンテキストであることを示している。アイコン５０２ａは、一般的なコンテキストにおいて利用可能な機能のうちの以下の３つのものを示しているが、これらは、非限定的な例に過ぎない。
−「スタンプ」機能によれば、その他のアプリケーションがフォアグラウンドプロセスにおいて稼働している間に、ユーザーは、ホスト装置１０２の画面上において、いくつかの画像を永久表示状態において維持することが可能であり、スタンプモードにおいて、スクロール動作により、１つのスタンプされた画像から別のものに変化することができるように、スクロールホイールをプログラムしてもよい。
−「電子メール」アイコンを使用することにより、ホスト装置にインストールされている既定の電子メールアプリケーションを起動する。
−「閉じる」アイコンを使用することにより、ホスト装置のフォアグラウンドにおいて現在有効であるアプリケーションを終了させる。
下部ゾーンにおいて指を右側に／左側に摺動させることにより、３つを上回る数のボタンに対してアクセスしてもよく、この簡単な方法により、更に多くの機能にアクセスすることができる。これらの一般的な機能は、複数のカテゴリ（例えば、「表示」、「起動」、「編集」、「文書ブラウザ」）に分類してもよい。これは、ユーザー自身によって特別生成可能な命令の組合せを使用することにより、リモコンを格段に上回るものに対する、具体的には、非常に柔軟且つ直観的な方法によってホスト装置のすべての機能を制御するために使用可能なスマートエアマウスに対する、ユーザーアクセスを付与する本発明の利点を示している。
図５ｂは、「プレゼンテーション」コンテキストを表しており、ホスト装置のフォアグラウンドにおいてなにが有効であるのかをユーザーに通知するためのアイコン５０１ｂと、このコンテキストに固有のものであるアイコン５０２ｂ（「スライドショーの起動」、「次のスライド」、「前のスライド」）と、を有する。
図５ｃは、「メディア」コンテキストを表しており、こちらも、コンテキストを通知するアイコン５０１ｃと、「再生／休止」、「次のトラック」、及び「音量／消音」をそれぞれ命令するためのボタンであるアイコン５０２ｃと、を有する。
図６ａ〜図６ｃは、本発明の様々な実施形態による装置の３Ｄモードを示すための本発明のハンドヘルド装置のタッチスクリーンの３つの異なる図を示している。
ボタン２０９を使用することにより、仮想マウスの２つの特定の機能を制御している。第１に、このボタンを使用することにより、３Ｄモードが起動された際にホスト装置の画面上のカーソルを制御する。本発明の仮想マウスは、２Ｄモードにおいて（ｘ、ｙプレーン内における装置の従来の位置決め）、或いは、装置のピッチ（又は、ヨー）運動が画面１０２１上におけるカーソルの垂直（又は、水平）運動に対してマッピングされる３Ｄモードにおいて、動作することができる。装置が表面上に載置されている際には、装置のカメラの光学センサ（好ましくは、装置の裏面上に存在している）が、装置が前記載置された位置にあることを検出することになり、且つ、２Ｄモードを自動的に動作状態にすることができる。プレーン内におけるｄｘ、ｄｙの計測は、好ましくは、光学センサを使用した光学マウスにおけるものと同一である。装置がテーブル又はデスクトップから持ち上げられ、且つ、ユーザーがｃｔｒｌボタンに接触した際に、３Ｄモードが起動される。
カーソルは、接触ゾーン２０９上にユーザーが接触している間は、スマートモバイル装置１０１の制御下におかれることになる。次いで、カーソルの運動は、上述のように、装置１０１のヨー及びピッチ角によって判定され、恐らくは、ユーザーの意図しないロール運動について補正されることになる。ユーザーが自身の指をボタン２０９から持ち上げた際に、カーソルは運動を停止する。或いは、この代わりに、ボタン２０９が２回タップされたらカーソル制御機能が永久的に有効になるように（無効状態は、単一のタップによってトリガされるように）、仮想マウス制御装置をプログラムすることもできる。
又、ボタン２０９を使用することにより、特定のジェスチャ認識モードをトリガする。ユーザーが接触ゾーン２０９をタップした際に、水平の有色ストライプが出現する。このストライプに沿って指（好ましくは、親指）をスワイプすることにより、ジェスチャ認識モードが起動され、且つ、親指がタッチスクリーンとの接触状態にある間、装置は、このモードにおいてロックされることになる。親指がこのボタンを離れたら、ジェスチャ認識モードは、アンロックされる。スワイプは、図７との関係において後述するように、コンテキスト依存性を有するようにされた命令に対してマッピングされている。
又、数字、文字、又は任意のタイプの符号などの更に複雑なジェスチャを認識することもできる。過剰な数の偽陽性又は偽陰性が存在しないことを保証するために、例えば、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ又はＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓアルゴリズムを使用することにより、認識のためにジェスチャを比較する対象である基準ジェスチャのグループを有するデータベースを含むことが必要となろう。運動ベクトルの単純な処理により、十分な信頼性を有するスワイプの検証が可能となろう。
又、スマートモバイル装置のロール及び／又はヨー及び／又はピッチ角をホスト装置の画面上における仮想ボタンの回転及び／又はスライダの線形運動に変換することもできる。
図７は、特定のコンテキストにおけるスワイプジェスチャの意味を有するヘルプ画面を示している。
スワイプの意味は、ホスト装置のフォアグラウンドにおいて稼働しているコンテキストへの依存性を有するようにすることができる。図７に示されているコンテキストは、インターネットブラウンジングである。一例に過ぎないが、最上部から最下部にわたって、以下のスワイプが８つの矢印によって表されている。
−左向き矢印：前
−右向き矢印：次
−上向き矢印：ページアップ
−下向き矢印：ページダウン
−北東向き矢印：ズーム
−南東向き矢印：キーボード
−南西向き矢印：カスタムキー
−北西向き矢印：スポットライト
仮想マウス機能とスマートモバイル装置のその他の機能の間に有害な相互作用が存在しないことを確実にするために、いくつかの機能をプログラムしなければならない。装置が仮想マウスとして使用されているのと同時に実行可能であるオーディオの聴取などのように、いくつかの機能は、問題をもたらさない。電話通話は、仮想マウスが動作可能状態にある際に、到来するようにしておいてもよく、或いは、そうでなくてもよい。既定モードにおいては、電話が着信した際には、マウスは休止することになる。通常のスマートフォンにおいては、この種の通知に対して高優先順位が付与されている。通話が終了した際に、スマートフォンは、以前に休止されていたアプリケーションの実行を再開することになる。航空機モードを使用することは可能ではなく、その理由は、これにより、装置のすべての無線能力が無効になるためであり、ホストと通信するためには、通常、ＷｉＦｉ／Ｂｌｕｅｔｏｔｈが必要である。
又、ｉ−Ｐｈｏｎｅが回転した際に表示のフォーマットを適合させる能力を無効にすることが必要な場合もある。これは、アプリケーションをプログラムする際に実行する必要がある。
本明細書に開示されている例は、本発明のいくつかの実施形態を例示するものに過ぎない。これらの例は、なんらの方式においても、添付の請求項によって規定されている本発明の範囲を限定するものではない。

Claims (16)

  1. 少なくとも１つのモーションセンサと、タッチスクリーンと、を有するハンドヘルド装置であって、前記装置は、前記センサから、モーション信号処理能力を有するホスト装置に対して信号を伝達する能力を有し、前記ハンドヘルド装置の前記タッチスクリーンは、前記ユーザーの選択により、表面上又は自由空間内における前記ハンドヘルド装置の運動によって前記ホスト装置上において稼働している少なくとも１つのアプリケーションを制御するように動作可能である少なくとも２つの接触ゾーンを有する、装置。
  2. 前記少なくとも１つのモーションセンサは、少なくとも２つの軸を有するジャイロスコープである請求項１に記載のハンドヘルド装置。
  3. 前記ジャイロスコープからのピッチ及びヨー方向または変位信号は、前記ホスト装置上において稼働しているアプリケーション内において画面上のカーソルの２軸変位に変換されるように、前記ホスト装置に対して送信される請求項２に記載のハンドヘルド装置。
  4. 入力を前記モーション信号処理能力に供給して前記ハンドヘルド装置のロールを少なくとも部分的に補正する２軸加速度計を更に有する請求項３に記載のハンドヘルド装置。
  5. 前記ハンドヘルド装置が表面上に載置されていることを検出した際に表面モーションキャプチャモードにおけるその動作をトリガするように構成された光学センサを更に有する請求項１に記載のハンドヘルド装置。
  6. 前記光学センサからの２軸位置又は変位信号は、前記ホスト装置上において稼働しているアプリケーション内において画面上のカーソルの２軸変位に変換されるように、前記ホスト装置に対して送信される請求項５に記載のハンドヘルド装置。
  7. 前記少なくとも２つの接触ゾーンのうちの１つは、少なくとも３つの接触サブゾーンを有し、その第１のものは、表面モーションキャプチャモードと自由空間モーションキャプチャモードの間における切り替えに適しており、第２のものは、前記ホストアプリケーション内におけるスクロール命令の実行に適しており、第３のものは、前記ホストアプリケーション内における選択命令の実行に適している請求項１に記載のハンドヘルド装置。
  8. 前記ホストアプリケーション内における前記スクロール及び選択命令は、グラフィカルユーザーインターフェイスによってプログラム可能である請求項７に記載のハンドヘルド装置。
  9. 前記接触サブゾーンのうちの１つは、ジェスチャ認識モードとの間の切り替えのためにも適している請求項７に記載のハンドヘルド装置。
  10. コンテキストに依存した命令を前記ホストアプリケーションに入力するように構成された第４接触サブゾーンを更に有する請求項７に記載のハンドヘルド装置。
  11. 前記４つの接触サブゾーンの相対的な位置決めは、右利き又は左利きユーザーによる使用に適するように変更することができる請求項１０に記載のハンドヘルド装置。
  12. 前記少なくとも２つの接触ゾーンのうちの１つは、前記ハンドヘルド装置の前記コンテキストに依存したホストアプリケーションの動作を制御する少なくとも２つの接触サブゾーンを有する請求項１に記載のハンドヘルド装置。
  13. 前記ハンドヘルド装置の前記コンテキストに依存したホストアプリケーションの動作を制御する前記少なくとも２つの接触サブゾーンは、グラフィカルユーザーインターフェイスによってプログラム可能である請求項１２に記載のハンドヘルド装置。
  14. 前記少なくとも２つの接触ゾーンのうちの１つは、前記ハンドヘルド装置のアプリケーションの動作を制御する少なくとも２つの接触サブゾーンを有する請求項１に記載のハンドヘルド装置。
  15. 前記ハンドヘルド装置が表面又は自由空間モーション検出モードにある際に無効になるように構成された電話送信機及び受信機を更に有する請求項１に記載のハンドヘルド装置。
  16. ハンドヘルド装置からホスト装置上において稼働している少なくとも１つのアプリケーションを制御する方法であって、前記ハンドヘルド装置は、少なくとも１つのモーションセンサと、タッチスクリーンと、を有し、且つ、前記センサから、モーション信号処理能力を有するホスト装置に対して信号を伝達する能力を有し、前記制御方法は、ユーザーの選択により、表面上又は自由空間内における前記ハンドヘルド装置の動きを使用するステップと、前記タッチスクリーンの前記ユーザー接触ゾーンによって前記アプリケーションの機能に対して命令するステップと、を有する、方法。
JP2013539202A 2010-11-15 2011-11-08 スマートエアマウス Expired - Fee Related JP6083072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41367410P 2010-11-15 2010-11-15
US61/413,674 2010-11-15
PCT/EP2011/069688 WO2012065885A1 (en) 2010-11-15 2011-11-08 Smart air mouse

Publications (2)

Publication Number Publication Date
JP2014503873A true JP2014503873A (ja) 2014-02-13
JP6083072B2 JP6083072B2 (ja) 2017-02-22

Family

ID=44992891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013539202A Expired - Fee Related JP6083072B2 (ja) 2010-11-15 2011-11-08 スマートエアマウス

Country Status (6)

Country Link
US (1) US20140145955A1 (ja)
EP (1) EP2641150A1 (ja)
JP (1) JP6083072B2 (ja)
KR (1) KR20140035870A (ja)
CN (1) CN103262008B (ja)
WO (1) WO2012065885A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017517062A (ja) * 2014-06-03 2017-06-22 グーグル インコーポレイテッド ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
JP2017228311A (ja) * 2017-08-18 2017-12-28 晃輝 平山 入力装置
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US10572027B2 (en) 2015-05-27 2020-02-25 Google Llc Gesture detection and interactions
US10664061B2 (en) 2015-04-30 2020-05-26 Google Llc Wide-field radar-based gesture recognition
US10768712B2 (en) 2015-10-06 2020-09-08 Google Llc Gesture component with gesture library
US10817070B2 (en) 2015-04-30 2020-10-27 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10936081B2 (en) 2014-08-22 2021-03-02 Google Llc Occluded gesture recognition
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile
US11163371B2 (en) 2014-10-02 2021-11-02 Google Llc Non-line-of-sight radar-based gesture recognition
US11816101B2 (en) 2014-08-22 2023-11-14 Google Llc Radar recognition-aided search

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101924835B1 (ko) * 2011-10-10 2018-12-05 삼성전자주식회사 터치 디바이스의 기능 운용 방법 및 장치
US10673691B2 (en) * 2012-03-24 2020-06-02 Fred Khosropour User interaction platform
KR101253723B1 (ko) * 2012-06-29 2013-04-12 김기영 스마트 마우스 장치
KR102044829B1 (ko) 2012-09-25 2019-11-15 삼성전자 주식회사 휴대단말기의 분할화면 처리장치 및 방법
US9927876B2 (en) 2012-09-28 2018-03-27 Movea Remote control with 3D pointing and gesture recognition capabilities
JP6034140B2 (ja) * 2012-11-01 2016-11-30 株式会社Ｎｔｔドコモ 表示装置、表示制御方法及びプログラム
US9733729B2 (en) 2012-12-26 2017-08-15 Movea Method and device for sensing orientation of an object in space in a fixed frame of reference
KR102015347B1 (ko) 2013-01-07 2019-08-28 삼성전자 주식회사 터치 디바이스를 이용한 마우스 기능 제공 방법 및 장치
CN103095942A (zh) * 2013-01-08 2013-05-08 杭州电子科技大学 利用智能手机控制电脑光标的方法
DE102013102272A1 (de) * 2013-03-07 2014-09-11 Cooler Master Development Corp. Verfahren und System zum Konfigurieren von Peripheriegeräten und computer-lesbares Speichermedium
US20140253450A1 (en) * 2013-03-07 2014-09-11 DME Development Corporation,International Methods and apparatus for controlling a computer using a wireless user interface device
JP2015103109A (ja) * 2013-11-26 2015-06-04 京セラドキュメントソリューションズ株式会社 情報入力システム、携帯端末装置、及びコンピューター
CN105739809A (zh) * 2014-12-12 2016-07-06 鸿富锦精密工业(武汉)有限公司 手持设备电脑控制***及方法
JP6068428B2 (ja) * 2014-12-25 2017-01-25 シャープ株式会社 画像表示システムの制御方法及び制御装置
WO2017077351A1 (en) 2015-11-05 2017-05-11 Bálint Géza Hand held electronic device with an air mouse
CN105867657A (zh) * 2016-03-24 2016-08-17 青岛职业技术学院 一种基于手机传感器远程控制计算机鼠标的方法
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106020455A (zh) * 2016-05-13 2016-10-12 苏州乐聚堂电子科技有限公司 智能木鱼与智能特效***
CN107436692A (zh) * 2016-05-25 2017-12-05 何舒平 一种基于陀螺仪传感器的空中鼠标控制方法
US10203781B2 (en) * 2016-06-24 2019-02-12 Microsoft Technology Licensing, Llc Integrated free space and surface input device
CN105988602B (zh) * 2016-06-24 2019-03-08 北京小米移动软件有限公司 鼠标模拟方法和装置
WO2018208224A1 (en) * 2017-05-12 2018-11-15 Razer (Asia-Pacific) Pte. Ltd. Pointing devices and methods for providing user inputs to a computing device
USD957448S1 (en) * 2017-09-10 2022-07-12 Apple Inc. Electronic device with graphical user interface
US20200285325A1 (en) * 2017-10-24 2020-09-10 Hewlett-Packard Development Company, L.P. Detecting tilt of an input device to identify a plane for cursor movement
US10955941B2 (en) 2019-03-26 2021-03-23 Atlantic Health System, Inc. Multimodal input device and system for wireless record keeping in a multi-user environment
US11023054B2 (en) 2019-09-25 2021-06-01 International Business Machines Corporation Device case computer mouse
USD1003934S1 (en) * 2020-02-19 2023-11-07 Beijing Bytedance Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109570A (ja) * 1999-10-08 2001-04-20 Sony Corp 情報入出力システム及び情報入出力方法
JP2004147272A (ja) * 2002-10-23 2004-05-20 Takeshi Ogura 無線マウス及びテンキー機能付きで、本体が二分割可能な携帯電話兼モバイルｐｃ用通信モジュール
JP2005243021A (ja) * 2004-02-26 2005-09-08 Microsoft Corp グラフィカルユーザインタフェースコンピューティングシステムにおけるマルチモードのナビゲーション
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
WO2009032998A1 (en) * 2007-09-07 2009-03-12 Apple Inc. Gui applications for use with 3d remote controller
JP2009265897A (ja) * 2008-04-24 2009-11-12 Sony Corp ハンドヘルド型情報処理装置、制御装置、制御システム及び制御方法
US20100066677A1 (en) * 2008-09-16 2010-03-18 Peter Garrett Computer Peripheral Device Used for Communication and as a Pointing Device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0922275A4 (en) * 1996-08-28 2002-08-21 Via Inc SYSTEMS AND METHODS RELATING TO A TOUCH SCREEN
US7831930B2 (en) * 2001-11-20 2010-11-09 Universal Electronics Inc. System and method for displaying a user interface for a remote control application
US6989763B2 (en) * 2002-02-15 2006-01-24 Wall Justin D Web-based universal remote control
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20070139380A1 (en) * 2005-12-19 2007-06-21 Chiang-Shui Huang Hand-held combined mouse and telephone device
US8054294B2 (en) * 2006-03-31 2011-11-08 Sony Corporation Touch screen remote control system for use in controlling one or more devices
US20070293261A1 (en) * 2006-06-14 2007-12-20 Chung Woo Cheol Dual purpose mobile device usingultra wide band communications
US7777722B2 (en) * 2006-06-23 2010-08-17 Microsoft Corporation Multi-mode optical navigation
US7813715B2 (en) * 2006-08-30 2010-10-12 Apple Inc. Automated pairing of wireless accessories with host devices
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8081162B2 (en) * 2007-05-16 2011-12-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation device with surface and free space navigation
US20090295713A1 (en) * 2008-05-30 2009-12-03 Julien Piot Pointing device with improved cursor control in-air and allowing multiple modes of operations
KR101019039B1 (ko) * 2008-05-22 2011-03-04 삼성전자주식회사 터치 스크린을 구비한 단말기 및 데이터 검색 방법.
US8010313B2 (en) * 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation
KR101503493B1 (ko) * 2008-07-16 2015-03-17 삼성전자주식회사 위젯 콘텐츠를 이용한 기기 제어 방법 및 그 방법을수행하는 원격 제어 장치
US20100060567A1 (en) * 2008-09-05 2010-03-11 Microsoft Corporation Controlling device operation relative to a surface
US20100097322A1 (en) * 2008-10-16 2010-04-22 Motorola, Inc. Apparatus and method for switching touch screen operation
CN101729636A (zh) * 2008-10-16 2010-06-09 鸿富锦精密工业（深圳）有限公司 移动终端
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
KR101287696B1 (ko) * 2010-02-03 2013-07-24 닌텐도가부시키가이샤 게임 시스템, 조작 장치 및 게임 처리 방법
TW201135528A (en) * 2010-04-01 2011-10-16 Zone Technologies Co Ltd I Input device, mouse, remoter, control circuit, electronical system and operation method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109570A (ja) * 1999-10-08 2001-04-20 Sony Corp 情報入出力システム及び情報入出力方法
JP2004147272A (ja) * 2002-10-23 2004-05-20 Takeshi Ogura 無線マウス及びテンキー機能付きで、本体が二分割可能な携帯電話兼モバイルｐｃ用通信モジュール
JP2005243021A (ja) * 2004-02-26 2005-09-08 Microsoft Corp グラフィカルユーザインタフェースコンピューティングシステムにおけるマルチモードのナビゲーション
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
JP2009070370A (ja) * 2007-07-26 2009-04-02 Konami Digital Entertainment:Kk 仮想マウス装置、及び遊技機
WO2009032998A1 (en) * 2007-09-07 2009-03-12 Apple Inc. Gui applications for use with 3d remote controller
JP2010538400A (ja) * 2007-09-07 2010-12-09 アップル インコーポレイテッド ３ｄリモートコントローラ用のｇｕｉアプリケーション
JP2009265897A (ja) * 2008-04-24 2009-11-12 Sony Corp ハンドヘルド型情報処理装置、制御装置、制御システム及び制御方法
US20100066677A1 (en) * 2008-09-16 2010-03-18 Peter Garrett Computer Peripheral Device Used for Communication and as a Pointing Device

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971415B2 (en) 2014-06-03 2018-05-15 Google Llc Radar-based gesture-recognition through a wearable device
JP2019003683A (ja) * 2014-06-03 2019-01-10 グーグル エルエルシー ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
JP2017517062A (ja) * 2014-06-03 2017-06-22 グーグル インコーポレイテッド ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
US10509478B2 (en) 2014-06-03 2019-12-17 Google Llc Radar-based gesture-recognition from a surface radar field on which an interaction is sensed
US10948996B2 (en) 2014-06-03 2021-03-16 Google Llc Radar-based gesture-recognition at a surface of an object
US11816101B2 (en) 2014-08-22 2023-11-14 Google Llc Radar recognition-aided search
US10936081B2 (en) 2014-08-22 2021-03-02 Google Llc Occluded gesture recognition
US11221682B2 (en) 2014-08-22 2022-01-11 Google Llc Occluded gesture recognition
US11163371B2 (en) 2014-10-02 2021-11-02 Google Llc Non-line-of-sight radar-based gesture recognition
US10817070B2 (en) 2015-04-30 2020-10-27 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US11709552B2 (en) 2015-04-30 2023-07-25 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10664061B2 (en) 2015-04-30 2020-05-26 Google Llc Wide-field radar-based gesture recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US10936085B2 (en) 2015-05-27 2021-03-02 Google Llc Gesture detection and interactions
US10572027B2 (en) 2015-05-27 2020-02-25 Google Llc Gesture detection and interactions
US11132065B2 (en) 2015-10-06 2021-09-28 Google Llc Radar-enabled sensor fusion
US11592909B2 (en) 2015-10-06 2023-02-28 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11175743B2 (en) 2015-10-06 2021-11-16 Google Llc Gesture recognition using multiple antenna
US10908696B2 (en) 2015-10-06 2021-02-02 Google Llc Advanced gaming and virtual reality control using radar
US11256335B2 (en) 2015-10-06 2022-02-22 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11385721B2 (en) 2015-10-06 2022-07-12 Google Llc Application-based signal processing parameters in radar-based detection
US11481040B2 (en) 2015-10-06 2022-10-25 Google Llc User-customizable machine-learning in radar-based gesture detection
US10768712B2 (en) 2015-10-06 2020-09-08 Google Llc Gesture component with gesture library
US11656336B2 (en) 2015-10-06 2023-05-23 Google Llc Advanced gaming and virtual reality control using radar
US11693092B2 (en) 2015-10-06 2023-07-04 Google Llc Gesture recognition using multiple antenna
US11698439B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US11698438B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile
JP2017228311A (ja) * 2017-08-18 2017-12-28 晃輝 平山 入力装置

Also Published As

Publication number Publication date
CN103262008A (zh) 2013-08-21
US20140145955A1 (en) 2014-05-29
EP2641150A1 (en) 2013-09-25
KR20140035870A (ko) 2014-03-24
CN103262008B (zh) 2017-03-08
WO2012065885A1 (en) 2012-05-24
JP6083072B2 (ja) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6083072B2 (ja) スマートエアマウス
US10467017B2 (en) Configuration of primary and secondary displays
US9438713B2 (en) Method and apparatus for operating electronic device with cover
TWI590146B (zh) 多顯示裝置及其提供工具的方法
US9223416B2 (en) Display apparatus, remote controlling apparatus and control method thereof
US9007299B2 (en) Motion control used as controlling device
US20130342456A1 (en) Remote control apparatus and control method thereof
TWI597649B (zh) 行動通訊裝置及應用介面配置切換方法
US20150193036A1 (en) User terminal apparatus and control method thereof
US9560282B2 (en) Systems and methods for capturing images from a lock screen
EP2809055A2 (en) Method and apparatus for controlling screen display using environmental information
US20130169545A1 (en) Cooperative displays
US10180783B2 (en) Information processing device, information processing method and program that controls movement of a displayed icon based on sensor information and user input
KR20130042010A (ko) 제스처 인식을 위한 환경-의존 동적 범위 컨트롤
EP3098702A1 (en) User terminal apparatus and control method thereof
JP2014157578A (ja) タッチパネル装置、タッチパネル装置の制御方法及びプログラム
KR101339985B1 (ko) 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
EP2611117B1 (en) Cooperative displays
EP2538308A2 (en) Motion-based control of a controllled device
US10719147B2 (en) Display apparatus and control method thereof
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
KR20160002760U (ko) 다이얼을 가지는 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160324

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170104

R150 Certificate of patent or registration of utility model

Ref document number: 6083072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees