JP2019032891A - Motion gesture input detected by optical sensor - Google Patents
Motion gesture input detected by optical sensor Download PDFInfo
- Publication number
- JP2019032891A JP2019032891A JP2018203199A JP2018203199A JP2019032891A JP 2019032891 A JP2019032891 A JP 2019032891A JP 2018203199 A JP2018203199 A JP 2018203199A JP 2018203199 A JP2018203199 A JP 2018203199A JP 2019032891 A JP2019032891 A JP 2019032891A
- Authority
- JP
- Japan
- Prior art keywords
- light
- wearer
- skin
- optical sensor
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本願は、全般的には光学センサに関し、より具体的には、ウェアラブルデバイス内の光学センサを使用して着用者のジェスチャを認識することに関する。 This application relates generally to optical sensors, and more specifically to recognizing a wearer's gesture using an optical sensor in a wearable device.
光学センサは、強化された機能性及び新たな機会をユーザ対話にもたらすために、様々なユーザデバイス内に組み込まれてきた。光の検出、近接性の検出、写真撮影などに関する光学センサを、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ウェアラブルデバイス（例えば、腕時計、眼鏡など）、及び他のコンピューティングデバイス内に組み込むことにより、ソフトウェア開発者は、娯楽、生産性、健康などに関する魅力的なソフトウェアアプリケーション（「アプリ」）を作り出すことが可能となっている。一部の場合には、光学センサは、デバイスと対話するための様々な他の入力機構（例えば、タッチスクリーン、ボタン、音声コマンド用のマイクロホンなど）と連係して動作する。 Optical sensors have been incorporated into various user devices to provide enhanced functionality and new opportunities for user interaction. By incorporating optical sensors for light detection, proximity detection, photography, etc. into mobile phones (eg, smart phones), tablet computers, wearable devices (eg, watches, glasses, etc.), and other computing devices Software developers can create compelling software applications (“apps”) for entertainment, productivity, health and more. In some cases, the optical sensor operates in conjunction with a variety of other input mechanisms (eg, touch screens, buttons, microphones for voice commands, etc.) for interacting with the device.
しかしながら、多くのデバイスは、デバイスのサイズ上の制約、ディスプレイのサイズ上の制約、操作上の制約などによりデバイスの対話能力及び制御能力が制限される場合がある。例えば、小型又は薄型のユーザデバイスは、ユーザ入力を受信するための物理ボタンの数が、制限される場合がある。同様に、小型のユーザデバイスが有するタッチスクリーンは、仮想ボタン又は他の仮想ユーザインタフェース要素を提供するためのスペースが、制限される場合がある。更には、一部のデバイスが有するボタン又は他の対話型要素は、特定の位置若しくは特定の操作条件で使用するためには、煩雑であるか又は違和感を生じさせる場合がある。例えば、両手を使用して（例えば、一方の手でデバイスを保持しつつ、他方の手をインタフェース要素に関与させて）デバイスと対話することは、煩雑な場合がある。別の例では、ユーザの手が、他の用事で塞がっているか又は使用不可能である間に（例えば、手袋を着用している場合、食料品を運搬している場合、子供と手を繋いでいる場合、運転している場合などに）、小さいボタンを押すか、又はタッチスクリーンの機能に関与することは、困難な場合がある。更に他の例では、デバイス対話は様々な他の方式で制限される場合がある。 However, many devices may have limited device interaction and control capabilities due to device size constraints, display size constraints, operational constraints, and the like. For example, a small or thin user device may have a limited number of physical buttons for receiving user input. Similarly, touch screens of small user devices may have limited space for providing virtual buttons or other virtual user interface elements. Furthermore, buttons or other interactive elements that some devices have may be cumbersome or uncomfortable for use at specific locations or specific operating conditions. For example, it can be cumbersome to interact with the device using both hands (eg, holding the device with one hand while the other hand is involved in the interface element). In another example, the user's hand is tied to the child while it is blocked by other errands or is unusable (eg, wearing gloves or carrying food items). It may be difficult to press a small button or participate in the function of the touch screen, such as when driving or driving. In yet other examples, device interaction may be limited in a variety of other ways.
ジェスチャを判定する、ウェアラブルユーザデバイス及び方法が開示される。ジェスチャを判定するための例示的方法は、ウェアラブルユーザデバイスから光を放出させることと、着用者の皮膚によって反射された光の一部分を感知することと、この光の感知部分の変化に基づいて、着用者によって実施されたジェスチャを判定することとを含み得る。一実施例では、光の感知部分の変化は、ウェアラブルユーザデバイスの光学センサと着用者の皮膚との間の距離の変化に対応し、着用者の皮膚によって反射された光の一部分を感知することは、光学センサを使用して、その光の一部分を感知することを含む。別の実施例では、光の感知部分の変化は、着用者の皮膚によって反射された、この光の感知部分の強度の変化に対応する。更に別の実施例では、ウェアラブルユーザデバイスから光を放出させることは、第１の波長の第１のＬＥＤ、及び第１の波長とは異なる第２の波長の第２のＬＥＤから光を放出させることを含み得る。更に別の実施例では、ウェアラブルユーザデバイスから光を放出させることは、ウェアラブルデバイスに対して、ある角度で光を放出させることを含み得るものであり、その放出光は、着用者の皮膚上に非垂直の角度で入射する。別の実施例では、着用者の皮膚によって反射された光の一部分を感知することは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、その光の感知部分に基づく信号を生成することを含み得るものであり、ウェアラブルユーザデバイスから光を放出させることは、第１のＬＥＤ及び第２のＬＥＤから光を放出させることを含み得る。別の実施例では、光の感知部分の変化に基づいてジェスチャを判定することは、着用者の皮膚によって反射された光の一部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含み得る。更に別の実施例では、ジェスチャは、拳の握り締めを含む。 Wearable user devices and methods for determining gestures are disclosed. An exemplary method for determining a gesture is based on emitting light from the wearable user device, sensing a portion of the light reflected by the wearer's skin, and changing the sensing portion of the light, Determining a gesture performed by the wearer. In one embodiment, the change in the light sensing portion corresponds to a change in the distance between the optical sensor of the wearable user device and the wearer's skin and senses a portion of the light reflected by the wearer's skin. Includes sensing a portion of the light using an optical sensor. In another embodiment, the change in the light sensitive portion corresponds to a change in the intensity of the light sensitive portion reflected by the wearer's skin. In yet another embodiment, emitting light from the wearable user device causes light to be emitted from a first LED having a first wavelength and a second LED having a second wavelength different from the first wavelength. Can include. In yet another embodiment, emitting light from the wearable user device can include causing the wearable device to emit light at an angle that is emitted on the wearer's skin. Incident at a non-vertical angle. In another embodiment, sensing a portion of the light reflected by the wearer's skin uses an optical sensor positioned between the first LED and the second LED to sense the light. Generating a signal based on the portion, and emitting light from the wearable user device may include emitting light from the first LED and the second LED. In another embodiment, determining a gesture based on a change in the light sensing portion may include introducing a signal generated by an optical sensor used to sense a portion of the light reflected by the wearer's skin. It may include identifying positive peaks, negative peaks, and zero crossings of the function. In yet another embodiment, the gesture includes fist clenching.
例示的な非一時的コンピュータ可読記憶媒体は、上述の例示的方法のうちのいずれかを実行する、コンピュータ実行可能命令を含み得る。この非一時的コンピュータ可読記憶媒体に、データベースを結合することができ、このデータベースは、ジェスチャ認識データを含み得る。例示的システムは、非一時的コンピュータ可読記憶媒体と、コンピュータ実行可能命令を実行することが可能なプロセッサとを含み得る。 An exemplary non-transitory computer readable storage medium may include computer-executable instructions that perform any of the exemplary methods described above. A database may be coupled to the non-transitory computer readable storage medium, and the database may include gesture recognition data. An exemplary system may include a non-transitory computer readable storage medium and a processor capable of executing computer-executable instructions.
ジェスチャを判定する例示的なウェアラブルデバイスは、ウェアラブルデバイスが着用された場合に、そのデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサとを含み得るものである。一実施例では、この信号の変化は、光学センサと着用者の皮膚との間の距離の変化に対応する。別の実施例では、光学センサによって生成される信号は、着用者の皮膚によって反射された、この光の感知部分の強度に基づいて変化する。更に別の実施例では、光源は、第１の波長の光を放出するように構成された第１のＬＥＤ、及び第１の波長とは異なる第２の波長の光を放出するように構成された第２のＬＥＤを含み得る。更に別の実施例では、光源は、第１のＬＥＤ及び第２のＬＥＤを含み得るものであり、光学センサは、第１のＬＥＤと第２のＬＥＤとの間に位置決めすることができる。別の実施例では、光源は、着用者の皮膚上に非垂直の角度で光が入射するように方向付けるために、ウェアラブルデバイスに対して角度付けされる。別の実施例では、ジェスチャを判定するコンピュータ実行可能命令は、信号の導関数の正のピーク、負のピーク、及びゼロ交差を特定することによってジェスチャを判定する、コンピュータ実行可能命令を含む。更に別の実施例では、ジェスチャは、拳の握り締めを含む。更に別の実施例では、光学センサは、光源によって放出された光の波長に対応する、光の波長を感知するように構成される。 An exemplary wearable device that determines a gesture is reflected by the wearer's skin with a light source configured to emit light from the device toward the wearer's skin when the wearable device is worn. An optical sensor configured to generate a signal based on sensing a portion of the light and computer-executable instructions for determining a gesture performed by the wearer based on a change in the signal. , A non-transitory computer readable storage medium, and a processor coupled to receive a signal and capable of executing computer-executable instructions. In one embodiment, this change in signal corresponds to a change in the distance between the optical sensor and the wearer's skin. In another embodiment, the signal generated by the optical sensor varies based on the intensity of this light sensitive portion reflected by the wearer's skin. In yet another embodiment, the light source is configured to emit a first LED configured to emit light of a first wavelength and a second wavelength of light different from the first wavelength. A second LED. In yet another example, the light source can include a first LED and a second LED, and the optical sensor can be positioned between the first LED and the second LED. In another example, the light source is angled relative to the wearable device to direct the light to be incident at a non-vertical angle on the wearer's skin. In another embodiment, the computer-executable instructions for determining a gesture include computer-executable instructions that determine the gesture by identifying positive peaks, negative peaks, and zero crossings of the derivative of the signal. In yet another embodiment, the gesture includes fist clenching. In yet another embodiment, the optical sensor is configured to sense a wavelength of light that corresponds to the wavelength of light emitted by the light source.
ジェスチャを判定する例示的システムは、ウェアラブルユーザデバイスが着用された場合に、そのウェアラブルユーザデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサと、このプロセッサに結合された通信モジュールであって、モバイルデバイスと通信するように構成された通信モジュールとを含み得る。一実施例では、非一時的コンピュータ可読記憶媒体は、ジェスチャを判定することに応答して、通信モジュールを介してモバイルデバイスにコマンドを通信する、命令を更に含む。 An exemplary system for determining a gesture includes a light source configured to emit light from a wearable user device toward the wearer's skin when the wearable user device is worn, and reflected by the wearer's skin. An optical sensor configured to generate a signal based on sensing a portion of the emitted light, and computer-executable instructions for determining a gesture performed by the wearer based on a change in the signal A non-transitory computer-readable storage medium, a processor coupled to receive signals, capable of executing computer-executable instructions, and a communication module coupled to the processor A communication module configured to communicate with the mobile device. In one example, the non-transitory computer readable storage medium further includes instructions for communicating a command to the mobile device via the communication module in response to determining the gesture.
着用者の手首上に着用されたウェアラブルデバイスを使用して、間接的にハンドジェスチャを判定するための、例示的なコンピュータにより実行される方法は、ウェアラブルデバイスの光源から、着用者の手首に向けて光を放出させることであって、この光源が、着用者の手首の皮膚に近接して位置決めされることと、ウェアラブルデバイスの光学センサを使用して、着用者の手首の皮膚によって反射された光の一部分を感知することであって、この光学センサが、着用者の手首の皮膚に近接して位置決めされる、ことと、着用者の手首の皮膚によって反射された、この光の感知部分の変化に基づいて、着用者によって実施されたハンドジェスチャを間接的に判定することであって、この変化が、ハンドジェスチャにより、光学センサと着用者の手首の皮膚との間の距離が増大又は減少することから生じる、こととを含み得る。一実施例では、光学センサと着用者の手首の皮膚との間の距離は、ハンドジェスチャにより、１／８インチ未満で増大又は減少する。別の実施例では、この光の感知部分の変化は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、その光の感知部分の強度が増大又は減少することに対応し得る。更に別の実施例では、着用者によって実施されたハンドジェスチャを間接的に判定することは、着用者の手の移動を直接感知することなく、着用者の手首の皮膚によって反射された、光の感知部分の変化を感知することを含む。 An exemplary computer-implemented method for indirectly determining hand gestures using a wearable device worn on a wearer's wrist is directed from the light source of the wearable device toward the wearer's wrist. The light source is positioned close to the skin of the wearer's wrist and reflected by the wearer's wrist skin using the wearable device's optical sensor. Sensing a portion of the light, wherein the optical sensor is positioned proximate to the skin of the wearer's wrist and the light sensing portion reflected by the skin of the wearer's wrist Indirectly determining a hand gesture performed by the wearer based on the change, and this change is caused by the hand gesture to be worn with the optical sensor. Resulting from the distance between the wrist skin increases or decreases may include and be. In one embodiment, the distance between the optical sensor and the skin of the wearer's wrist is increased or decreased by a hand gesture in less than 1/8 inch. In another embodiment, the change in the light sensitive portion increases or decreases the intensity of the light sensitive portion based on an increasing or decreasing distance between the optical sensor and the skin of the wearer's wrist. Can cope with that. In yet another embodiment, indirectly determining the hand gesture performed by the wearer is the direct detection of light reflected by the skin of the wearer's wrist without directly sensing the wearer's hand movement. Sensing a change in the sensing portion.
以下の実施例の説明では、実践することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。 In the following description of embodiments, reference is made to the accompanying drawings in which specific embodiments that can be practiced are shown by way of example. It should be understood that other embodiments can be used and structural changes can be made without departing from the scope of the various embodiments.
本願は、光学センサを備えるウェアラブルデバイスに関し、この光学センサを使用することにより、そのデバイスを着用しているユーザのジェスチャを認識することができる。一実施例では、１つ以上の光源を、腕時計、リストバンド、アームバンド、レッグバンド、チェストバンド、ヘッドバンドなどのウェアラブルデバイスの、裏面又は皮膚対向面上に位置決めすることができる。ウェアラブルデバイスの同じ面上の、それらの１つ以上の光源の近傍に、光学センサを位置決めすることができる。動作の間に、それらの１つ以上の光源から光を放出して、光学センサを使用して感知することができる。デバイスを着用しているユーザの移動によって引き起こされる、感知された光の変化を使用することにより、ユーザジェスチャを認識することができる。例えば、光源から放出された光は、着用者の皮膚で反射し得るものであり、その反射光は、光学センサを使用して感知することができる。着用者が、デバイスを着用している腕の拳を握り締めることなどによって、何らかの方式でジェスチャを行う場合に、その反射光は、筋収縮、手首上でのデバイスの移行、皮膚の伸張、光学センサと着用者の皮膚との間の距離の変化などにより、知覚可能に変化し得る。入射角、強度、位置、波長の変化などの、反射して感知された光の様々な特徴の変化を使用することにより、意図的なジェスチャを認識することができる。 The present application relates to a wearable device including an optical sensor, and by using the optical sensor, it is possible to recognize a gesture of a user wearing the device. In one example, one or more light sources can be positioned on the back or skin facing surface of a wearable device such as a wristwatch, wristband, armband, legband, chestband, headband. Optical sensors can be positioned in the vicinity of their one or more light sources on the same surface of the wearable device. During operation, light can be emitted from those one or more light sources and sensed using an optical sensor. By using the sensed light change caused by the movement of the user wearing the device, the user gesture can be recognized. For example, light emitted from a light source can be reflected by the wearer's skin, and the reflected light can be sensed using an optical sensor. When a wearer makes a gesture in any way, such as by clenching the fist of the arm wearing the device, the reflected light may cause muscle contraction, device transfer on the wrist, skin stretching, optical sensor May change perceptually, such as by a change in the distance between the wearer and the wearer's skin. By using changes in various characteristics of reflected and sensed light, such as changes in angle of incidence, intensity, position, and wavelength, intentional gestures can be recognized.
一部の実施例では、ウェアラブルデバイス内に光学センサを組み込み、それを使用して着用者のジェスチャを認識することにより、ウェアラブルデバイスと対話するための簡便な方式を提供することができる。そのようなジェスチャ認識は、タッチスクリーン、ボタン、ダイアルなどの他のインタフェースを補完するか、又は更に置き換えることができ、表示要素の選択、異なるビューへのナビゲート、時間の変更、表示の変更、電話の呼び出しへの応答、又は様々な他の機能のうちのいずれかなどの、同じ機能若しくは同様の機能を実行するために使用することができる。一部の実施例では、そのようなジェスチャ認識は、片手又はハンズフリーのデバイス操作をもたらし得るものであり、このことにより、簡便性並びに安全性を（例えば、食料品を運搬している場合、運転している場合などに）もたらすことができる多くの他の応用が可能であり、本明細書で論じられるようなジェスチャ認識により様々な他の利益がもたらされ、多くの他の方式でユーザの体験を向上させることができる点を理解されたい。 In some embodiments, incorporating an optical sensor within the wearable device and using it to recognize a wearer's gesture can provide a convenient way to interact with the wearable device. Such gesture recognition can complement or even replace other interfaces such as touch screens, buttons, dials, etc., selecting display elements, navigating to different views, changing time, changing display, It can be used to perform the same or similar function, such as answering a phone call or any of a variety of other functions. In some embodiments, such gesture recognition can result in one-handed or hands-free device operation, which provides convenience as well as safety (e.g., when carrying food items, Many other applications that can be provided (such as when driving) are possible, and gesture recognition as discussed herein provides a variety of other benefits, in many other ways the user Please understand that the experience can be improved.
図１は、着用者の皮膚表面１１６の近傍の、例示的なウェアラブルデバイス１００を示す。一実施例では、ウェアラブルデバイス１００は、ユーザの手首上に着用されるように（例えば、ブレスレット、腕時計、リストバンドなどとして）構成することができ、皮膚表面１１６は、ユーザが、そのデバイスをどのように（例えば、関連するディスプレイが、掌の近傍に、又は手の裏側の近傍にある状態で）着用することを好むかに応じて、ユーザの手首の周囲の任意の場所とすることができる。ウェアラブルデバイス１００は、とりわけ、光源１０４、光源１０６、及び光学センサ１０２を含み得る。
FIG. 1 shows an exemplary
光源１０４及び光源１０６はそれぞれ、発光ダイオード（ＬＥＤ）又は別の光源を含み得る。一部の実施例では、デバイスが通常通り着用される場合に、放出光の大部分が、光学センサ１０２に向けて反射して戻るように、これらの光源を角度付けする（例えば、放出光が、着用者の皮膚上に非垂直の角度で入射することができるように、角度付けする）ことができる。光源を角度付けすることはまた、光源とセンサとの間のアーキング（例えば、放出光が、最初にユーザの皮膚で反射することなく、センサに到達すること）も回避させることができる。例えば、光源１０４を、光学センサ１０２に向けて、垂直方向から６０度離れる方向で角度付けすることができ、それにより放出光１０８の大部分は、反射光１１０によって示されるように、皮膚表面１１６で、光学センサ１０２に向けて反射することができる。同様に、光源１０６を、光学センサ１０２に向けて、垂直方向から６０度離れる方向で角度付けすることができ、それにより放出光１１２の大部分は、反射光１１４によって示されるように、皮膚表面１１６で、光学センサ１０２に向けて反射することができる。他の実施例では、光源１０４及び光源１０６は、より急角度の垂直方向に（例えば、光学センサ１０２に向けて、垂直方向から３０度で）角度付けするか、又は、より急角度の水平方向に角度付けすることもできる。
Each of
光源１０４及び光源１０６は、反射光１１０及び反射光１１４の変化の頑健な認識のために、多種多様な方式で構成することができる。一実施例では、光源１０４及び光源１０６は、９００ｎｍの範囲内で赤外線を放出する、ＬＥＤを含み得る。他の実施例では、光源１０４は、光源１０６によって放出される光とは異なる波長を有する光を放出するように、構成することができる。これらの実施例では、光源１０４によって放出される光、及び光源１０６によって放出される光は、それらの光を光学センサ１０２によって識別することができるように選択することができ、可視波長、紫外線波長、赤外線波長、又は他の波長とすることができる。光源１０４及び光源１０６はまた、異なる周波数で放出光をパルス化すること、交互間隔で光を放出することなどによって、異なる方式で動作させることにより、明確に異なる反射光認識を可能にすることもできる。一部の実施例では、２つの別個の光源を有することは、局所的な移動か、又は全体的なデバイスの移動か（例えば、特定の筋肉が収縮することか、デバイス全体が一様に移行することか）を区別する助けとなり得る。しかしながら、更に他の実施例では、ウェアラブルデバイス１００は、単一の光源（例えば、光源１０４又は光源１０６のいずれか）、３つ以上の光源、２つ以上の光学センサ、又は様々な他の組み合わせを含む場合もあり、あるいは、専用の光源を使用することなく、皮膚表面１１６によって反射された周囲照明の変化を検出することが可能な、光学センサを含む場合もある。
The
光学センサ１０２は、フォトダイオード、又は、電流、電圧、若しくは他の信号に光を変換することが可能な、他の光検出器を含み得る。一実施例では、光学センサ１０２は、感知された光を、センサによって受光された光の量に対応する大きさ又は値を有する信号（例えば、電流、電圧など）に変換することができる。一部の実施例では、光学センサ１０２は、特定の光の波長（例えば、光源１０４及び光源１０６によって発生されるもの）を感知する一方で、他の波長を感知しないように構成することができる。図１に示すように、皮膚表面１１６とウェアラブルデバイス１００との間の距離１１８は、反射光１１０及び反射光１１４が、ウェアラブルデバイス１００の皮膚対向面上に入射する場所を規定し得る。放出光及び反射光は、簡潔性のために、図１では直線として示されるが、光は、より大きいビームへと拡散して、種々の角度で反射し得ることを理解されたい。図１の実施例では、距離１１８がウェアラブルデバイス１００と皮膚表面１１６とを隔てることにより、反射光１１０及び反射光１１４は、光学センサ１０２の縁部に衝突する（例えば、直線によって表される光の大部分が、縁部に衝突する）ように示される。一実施例では、光学センサ１０２は、比較的少量の光が感知されたことを表す信号を生成し得るが、これは、反射光１１０及び反射光１１４の大半が、このセンサではなく、ウェアラブルデバイス１００の本体部に衝突し得るためである。
The
対照的に、図２は、皮膚表面１１６から距離２２０で隔てられたウェアラブルデバイス１００を示し、この距離２２０は、図１の距離１１８よりも大きいものとすることができる。光源１０４及び光源１０６は、それぞれ、反射光２２４及び反射光２２８として皮膚表面１１６で反射し得る、放出光２２２及び放出光２２６を発生させることができる。距離２２０により、反射光２２４及び反射光２２８は、光学センサ１０２に、（図１でのように、センサの縁部に衝突することとは対照的に）センサの中心付近で衝突することが可能となり得る。図２での簡略化された直線状の光の線は、簡潔性のために示されるものであり、この光は、より大きいビームへと拡散して、種々の角度で反射し得ることを理解されたい。それゆえ、図２に示される、より中心の光入射は、他の場所に光の拡散が入射した場合よりも、多くの光の拡散をセンサによって受光することができることを意味し得る。より多くの光の拡散が中心付近に入射することにより、光学センサ１０２は、比較的多量の光が感知されたことを表す信号を生成し得るが、これは、反射光２２４及び反射光２２８の大部分が、他の構成要素ではなく、このセンサ自体に衝突し得る（例えば、ウェアラブルデバイス１００の本体部ではなく、センサ上に入射している）ためである。光学センサ１０２は、それゆえ、ウェアラブルデバイス１００と皮膚表面１１６との間の距離を表すことが可能な、明確に異なる信号を生成することができる。
In contrast, FIG. 2 shows the
一部の実施例では、ユーザのハンドジェスチャが、図１の距離１１８と図２の距離２２０との差異の原因となり得る。図４〜図８を参照して以下でより詳細に論じられるように、ユーザは、拳を握り締めること、指を移動させること、手首を曲げることなどによって、ジェスチャを行うことができ、それらのジェスチャにより、ウェアラブルデバイス１００と皮膚表面１１６との間の距離を変化させる（例えば、図１の距離１１８から図２の距離２２０へと変化させる）ことができる。一部の実施例では、ユーザのジェスチャは、ウェアラブルデバイスに関連付けられたリストストラップの少なくとも若干の移行、又はユーザの皮膚の変形を引き起こし得るものであり、それにより、デバイスとユーザの皮膚との間の距離の変化を引き起こすことができる。同様に、一部の場合には、筋肉を収縮させることにより、手首を膨張させることができ、それによりまた、ウェアラブルデバイスとユーザの皮膚との間の距離を変化させることもできる。ジェスチャに関連付けられる多くの他の因子により、ウェアラブルデバイスとユーザの皮膚との間の距離の変化を引き起こすことができる点を理解されたい。異なる距離に基づいて光学センサ１０２によって生成される、異なる信号を使用して、ウェアラブルデバイスと対話するためにユーザが意図的にジェスチャを行う場合を認識することができる。
In some embodiments, the user's hand gesture may cause a difference between the distance 118 of FIG. 1 and the distance 220 of FIG. As discussed in more detail below with reference to FIGS. 4-8, the user can make gestures by clenching fists, moving fingers, bending wrists, etc. Can change the distance between
他の実施例では、ウェアラブルデバイスと皮膚表面との間の距離以外の因子を使用して、ジェスチャを認識することができる。例えば、皮膚の伸張、ユーザの発汗などは、光学センサ１０２が検出することが可能な、反射光の知覚可能な変化を引き起こし得る。一部の実施例では、光源１０４及び光源１０６は、外皮層を少なくとも部分的に貫通して、筋収縮、腱の移行、組織の圧縮、皮膚の伸張、密度変化、圧力変化などに基づいて異なる方式で反射することが可能な、光を発生させることができる。様々な実施例のうちのいずれかでは、光学センサ１０２は、反射光を感知して、放出光がセンサ上に入射する前にどのように変更されているかに基づいて、信号を生成することができる。光学センサ１０２によって生成される信号の変化を使用することにより、着用者の活動を認識することができる。
In other examples, factors other than the distance between the wearable device and the skin surface can be used to recognize the gesture. For example, skin stretching, user perspiration, etc. can cause perceptible changes in reflected light that can be detected by the
本明細書で論じられるようなジェスチャ認識を使用することにより、ジェスチャを行う手の移動を直接感知することとは対照的に、着用者の手首で発生する小さい変化を感知することによって、間接的にハンドジェスチャを判定することができる点を理解されたい。例えば、意図的なジェスチャとしては、拳を握り締めること及び緩めることを挙げることができるが、その拳を握り締める動き及び緩める動き（例えば、指及び掌の移動）を直接検出するのではなく、ウェアラブルデバイスの光学センサと着用者の手首の皮膚との間の距離の増大又は減少（例えば、１／８インチ未満の変化）を感知して、そのジェスチャを間接的に認識するために使用することができる。着用者の手首の皮膚に向けて光を放出して、その着用者の手首の皮膚で反射させ、着用者の手首の皮膚に近接して位置決めされた光学センサによって感知することができる。感知される光の強度は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、増大又は減少し得るものであり、この変化する距離は、上述のような意図的なハンドジェスチャから生じ得るものである。したがって、着用者の手首に放出されて感知される光の、小さい変化を監視することによって、指又は掌の移動を直接感知することなく、間接的にハンドジェスチャを認識することができる。 By using gesture recognition as discussed herein, indirect by sensing small changes that occur at the wearer's wrist as opposed to directly sensing movement of the hand making the gesture. It should be understood that hand gestures can be determined. For example, intentional gestures can include clenching and loosening a fist, but rather than directly detecting movements to clench and loosen the fist (eg, finger and palm movements), wearable devices Can be used to sense and indirectly recognize the gesture by sensing the increase or decrease in distance between the optical sensor of the wearer and the skin of the wearer's wrist (eg, a change of less than 1/8 inch) . Light can be emitted toward the skin of the wearer's wrist, reflected by the skin of the wearer's wrist, and sensed by an optical sensor positioned proximate to the skin of the wearer's wrist. The intensity of the sensed light can be increased or decreased based on the increasing or decreasing distance between the optical sensor and the skin of the wearer's wrist, the changing distance being as described above It can arise from intentional hand gestures. Thus, by monitoring small changes in the light emitted and sensed to the wearer's wrist, hand gestures can be recognized indirectly without directly sensing finger or palm movement.
本明細書で論じられるジェスチャ認識は、手首以外の様々な他の身体部分、及び手首上に着用されるウェアラブルデバイス以外にも適用することができ、本明細書で論じられる手首着用デバイスは、光学センサを使用するジェスチャ認識の非限定的な実施例として提供されることを更に理解されたい。例えば、本明細書の実施例によるジェスチャ認識は、アームバンド、レッグバンド、チェストバンド、ヘッドバンド上などのデバイスを使用して、実行することができる。デバイス及び皮膚の移動を検出することができ、それらの検出された移動を使用することによりジェスチャを判定することができる。例えば、ヘッドバンド内のウェアラブルデバイスは、ユーザが一方又は双方の眉を上げることにより、そのヘッドバンドデバイスを移行させること、及び／又は額の皮膚を知覚可能に変化させることから、意図的なジェスチャを認識することができる。同様に、レッグバンド又はアンクルバンド内のウェアラブルデバイスは、ユーザが脚を曲げる、足を移動させることなどにより、そのレッグバンドデバイス若しくはアンクルバンドデバイスを移行させること、及び／又は、脚、足首、若しくは足の皮膚を知覚可能に変化させることから、意図的なジェスチャを認識することができる。本明細書で論じられる実施例と同様に、デバイスの移行、距離の変化、皮膚の移動などを引き起こす、任意の移動を検出して、ジェスチャを判定するために使用することができるしたがって、本明細書で論じられる様々な実施例は、身体上の任意の場所の皮膚の、任意の部分の近傍に着用することが可能な様々なデバイスに適用することができ、それらの様々なデバイスの光学センサ信号の変化から、ジェスチャを判定することができる。 The gesture recognition discussed herein can be applied to various other body parts other than the wrist and wearable devices worn on the wrist, and the wrist-worn device discussed herein is an optical It should be further understood that it is provided as a non-limiting example of gesture recognition using a sensor. For example, gesture recognition according to embodiments herein can be performed using devices such as arm bands, leg bands, chest bands, headbands, and the like. Device and skin movements can be detected and gestures can be determined by using those detected movements. For example, a wearable device in a headband may be an intentional gesture because a user raises one or both eyebrows to move the headband device and / or perceptually change the forehead skin. Can be recognized. Similarly, a wearable device within a leg band or ankle band may transition the leg band device or ankle band device, such as by a user bending a leg, moving a foot, etc., and / or a leg, ankle, or Since the skin of the foot is perceptually changed, an intentional gesture can be recognized. As with the examples discussed herein, any movement that causes device transitions, distance changes, skin movements, etc. can be detected and used to determine a gesture. The various embodiments discussed in the book can be applied to various devices that can be worn in the vicinity of any part of the skin anywhere on the body, and the optical sensors of those various devices A gesture can be determined from the change in the signal.
本明細書で論じられるような、ジェスチャを認識するために使用することが可能な、光源、光学センサ、及びウェアラブルデバイスの、比率、間隔、若しくはレイアウトは、図１及び図２に示されるそれらの実施例とは異なる場合があることを更に理解されたい。例えば、光源及び光学センサは、図示されるサイズの数分の１にすることができ、光源及び光学センサは、遥かに小さいスペース内で、互いに隣接して位置決めすることができる。更には、距離１１８及び距離２２０は誇張されている場合があり、一部の場合には、光学センサ１０２は、人間の目には知覚できない可能性がある、距離の差異を検出することができる。例えば、ウェアラブルデバイスとユーザの皮膚との間の距離の変化は、ジェスチャを行っている際、着用者には明白ではない場合があり、光学センサ１０２は、僅かな距離の差異を（例えば、ジェスチャの間の手首の外周の若干の変化に基づいて）認識するために十分な感度のものとすることができる。
The ratios, spacing, or layout of light sources, optical sensors, and wearable devices that can be used to recognize gestures, as discussed herein, are those shown in FIGS. It should be further understood that the embodiments may be different. For example, the light source and optical sensor can be a fraction of the size shown, and the light source and optical sensor can be positioned adjacent to each other in a much smaller space. Furthermore, the distance 118 and the distance 220 may be exaggerated, and in some cases the
ウェアラブルデバイス１００は、ディスプレイ、タッチスクリーン、ボタン、ダイアル、中央処理装置、メモリ、カメラ、インジケータランプ、発振器、時計、無線送受信機、バッテリ、運動センサ、光センサ、タッチセンサ、他のセンサなどの、本明細書では図示又は説明されない様々な他の構成要素を含み得ることを更に理解されたい。本明細書で論じられるような、光学センサを使用するジェスチャ認識は、多種多様な機能を有する、多種多様なウェアラブルデバイス内に実装することができる点もまた理解されたい。
The
図３Ａは、例示的なウェアラブルデバイス１００の皮膚対向面又は裏面を示す。一実施例では、ウェアラブルデバイス１００は、腕時計又は他のウェアラブルデバイスを含み得るものであり、このデバイスは、ユーザの手首にデバイスを固定するためのリストストラップ３３０に、取り付けることができる。図示のように、ウェアラブルデバイス１００の皮膚対向面又は裏面は、光学センサ１０２によって隔てられた、光源１０４及び光源１０６を含み得る。光源１０４及び光源１０６は、ＬＥＤを含み得るものであり、それらのＬＥＤは、ガラス、プラスチック、若しくは他の透明窓の背後に位置決めすることができ、又は、同じ窓の背後に位置決めすることもできる。一部の実施例では、光学センサ１０２もまた、同じか又は異なる、ガラス、プラスチック、若しくは他の透明窓の背後に位置決めすることができる。光学センサ１０２、特に、光学センサ１０２の感知領域又は検出領域は、腕毛及び他の皮膚表面の変異部からの干渉を回避するように、サイズ設定することができる。例えば、光学センサ１０２は、そのセンサが反射光を感知することを容易に阻止される恐れがないように、典型的な腕毛よりも数倍大きくサイズ設定することができる。
FIG. 3A shows the skin-facing side or back side of an exemplary
ジェスチャを認識するために使用することが可能な光源及び光学センサの、比率、間隔、若しくはレイアウトは、図３Ａに示される実施例とは異なる場合があることを理解されたい。例えば、光源１０４及び光源１０６、並びに光学センサ１０２は、リストストラップ３３０内部に位置決めすることができ、リストストラップ３３０は、ウェアラブルデバイス１００から電力を調達し、ウェアラブルデバイス１００との通信を可能にするための、配線を含み得る。他の実施例では、光源１０４及び光源１０６、並びに光学センサ１０２は、異なる方式で（例えば、リストストラップ３３０と一直線状に）方向付けすることができる。
It should be understood that the ratio, spacing, or layout of light sources and optical sensors that can be used to recognize gestures may differ from the example shown in FIG. 3A. For example, the
図３Ｂは、リストストラップ３３０に固定された例示的なウェアラブルデバイス１００の、表面又は前面を示す。一実施例では、ウェアラブルデバイス１００は、前面上にディスプレイ３３２を含み得るものであり、ユーザは、ジェスチャを使用して、ディスプレイ３３２上に示される情報と対話することができる。例えば、画像、データ、仮想ボタン、時計、アプリケーション、音楽トラックなどを、ディスプレイ３３２上に表示することができ、ユーザは、特定のジェスチャを実行することにより、選択を実施するか、新たな表示に進むか、その表示を有効化するか、ホーム画面に戻るか、先へ進んでナビゲートするか、前に戻ってナビゲートするか、通知を開くか、情報をスクロールするか、アプリケーションをスクロールするか、楽曲をスクロールするか、音楽の再生を一旦停止するか、音声ファイルの再生を開始するか、電話の呼び出しに応答するか、仮想アシスタントに関与するか、又は様々な他の機能のうちのいずれかを実行することができる。図４及び図５を参照して以下でより詳細に論じられるように様々なジェスチャを使用して、これらの機能に関与することができる。
FIG. 3B shows the front or front surface of the exemplary
一部の実施例では、ディスプレイ３３２は、ジェスチャに加えて、又はジェスチャの代わりに、ウェアラブルデバイス１００と対話するために使用することが可能な、タッチスクリーン能力を含み得る。同様に、ウェアラブルデバイス１００は、ボタン、ダイアル、中央処理装置、メモリ、カメラ、インジケータランプ、発振器、時計、無線送受信機、バッテリ、運動センサ、光センサ、タッチセンサ、他のセンサなどの、図３Ａ又は図３Ｂには示されない様々な他の構成要素を含み得る。
In some examples,
図４は、例示的なウェアラブルデバイス１００を着用しているユーザの、開いた手を示す。上述のように、ユーザは、ユーザの皮膚へと方向付けられ、ユーザの皮膚で反射して、光学センサによって感知される光の、知覚可能な変化を引き起こすことが可能な様々なジェスチャを使用して、ウェアラブルデバイス１００と対話することができる。多種多様な移動により、光学センサによって生成される信号を変更することが可能な変化を、反射光に引き起こすことができ、そのような変更された信号は、意図的なジェスチャとして解釈することができる。意図的なジェスチャとして解釈することが可能な移動としては、指の移動、手の移動、手首の移動、腕全体の移動などを挙げることができる。例えば、図４の開いた手は、ウェアラブルデバイス１００と対話するための意図的なジェスチャとして、図５に示されるような拳へと握り締め、図４に示される位置に、開放するか又は緩めて戻すことができる。
FIG. 4 shows an open hand of a user wearing the exemplary
注目すべきことに、図５の着用者の手首は、図４の着用者の手首と比較して、少なくとも若干変化している可能性がある（例えば、外周の膨張、皮膚の伸張、筋収縮、腱の移行、組織の圧縮など）。図４のような開いた手を有することから、図５のような握り締めた拳を有することへの、少なくとも若干の手首の変化により、ウェアラブルデバイス１００と着用者の皮膚との間の距離を変化させる（例えば、増大又は減少させる）ことができる。上述のように、ウェアラブルデバイス１００に関連付けられた光学センサは、デバイスと着用者の皮膚との間の距離が変化する際に変化する、信号を生成することができるため、ユーザの拳を握り締める動きは、その後のユーザの拳を緩める動きと共に知覚することができる。一部の実施例では、ユーザの拳の、この順次的な握り締め及び緩めは意図的なジェスチャとして（例えば、仮想ボタンを選択する、電話の呼び出しに応答する、先へ進んでナビゲートするためなどの、マウスカーソルのクリック又はタッチスクリーンの押圧と等価であるように）認識することができる。
Notably, the wearer's wrist in FIG. 5 may be at least slightly altered compared to the wearer's wrist in FIG. 4 (eg, peripheral swelling, skin stretching, muscle contraction). , Tendon transition, tissue compression, etc.). Changing the distance between the
他の実施例では、ウェアラブルデバイス１００と対話するためのジェスチャとして、他の動きを使用することができる。例えば、着用者は、親指を内向きに移動させて掌に接触させ、その後に親指をその自然な位置（例えば、図４に示される位置）に解放して戻すことができる。別の実施例では、着用者は、複数の指（例えば、親指以外の複数の指）を収縮させて掌に接触させ、その後にそれらの指をその自然な位置に解放して戻すことができる。更に別の実施例では、着用者は、個々の指（例えば、人差し指、中指など）を収縮させて掌に接触させ、その後にその指をその自然な位置に解放することができる。更に他の実施例では、着用者は、手を手首で下向きに曲げる（例えば、屈曲）か、手を手首で上向きに曲げる（例えば、伸展）か、手を捻る（例えば、回内又は回外）か、手を左又は右に角度付けする（例えば、橈側偏位又は尺側偏位）か、又は、入射光の変化を感知する光学センサによって知覚することが可能な、少なくとも若干の変化を手首に引き起こし得る様々な他の意図的な動きのうちのいずれかを実行することができる。
In other embodiments, other movements can be used as gestures for interacting with
一部の実施例では、ウェアラブルデバイス１００は、異なる機能を実行するための異なるジェスチャを一意的に認識すると共に、同じジェスチャを実行する異なる方式を、異なるユーザ意図を示すものとして認識するように構成することができる。例えば、着用者は、拳を握り締め、その握り締めた拳を特定の時間にわたって保持し、その後に手を開くことにより、拳を素早く連続的に握り締めて緩めることに関連付けられた機能とは異なる機能を、（例えば、単純なマウスカーソルのクリックとダブルクリックとの相違の場合と同様に）要求することができる別の実施例では、着用者は、１つの方向に手を捻ることにより、１つの機能（例えば、先へ進んでナビゲートする）を要求することができ、他の方向に手を捻ることにより、異なる機能（例えば、前に戻ってナビゲートする）を要求することができる。更に別の実施例では、着用者は、親指を掌に接触させることにより、１つの機能（例えば、選択する）を要求することができ、複数の指を掌に接触させることにより、異なる機能（例えば、ホーム画面に戻る）を要求することができる。多種多様な動きを知覚して、多種多様な機能に関連付けることができる点を理解されたい。しかしながら、他の実施例では、一群の異なる動きのうちのいずれもが、同じ機能に関するユーザ要求としてそれぞれ知覚される場合がある（例えば、拳の握り締め、手首の曲げ、又は親指の接触のいずれもが、同じ機能に関する要求として解釈される場合がある）。
In some embodiments,
手首の形状、サイズ、筋肉組織、及び他の特性は、異なるユーザに関しては変化するものであるため、ウェアラブルデバイス１００は、一部の実施例では、特定の着用者に適応させるために、学習又は訓練を実行するように構成することができる。例えば、ウェアラブルデバイス１００に関連付けられたアプリケーションは、着用者に、特定の移動を実行するように命令する（例えば、デバイスのディスプレイ上にコマンドを表示すること、音声でコマンドを再生することなどによって、拳を握り締めて緩めるように命令する）ことができる着用者が、その移動を実行すると、ウェアラブルデバイス１００は、光学センサによって生成される信号が、その要求された移動に応答してどのように変化するかを監視することができる。次いで、ウェアラブルデバイス１００は、その特定の着用者の、今後の意図的なジェスチャを認識するために、その光学センサ信号の変化を、特定の移動に関連付けることができる。一部の場合には、ウェアラブルデバイス１００は、異なる手に着用することに関して、又は手首の異なる位置（例えば、掌側又は裏側）に着用することに関して、異なる方式で訓練することができる。一部の実施例では、光学センサ信号の特定の変化、及び関連するジェスチャは、データベース内に（例えば、そのデバイス上のメモリ、そのデバイスからリモートのメモリ、別のデバイス上のメモリ内に）記憶することができ、光学センサ信号の感知された変化を、その記憶されたデータと比較することにより、特定のジェスチャを認識することができる。
Since the wrist shape, size, muscle tissue, and other characteristics may vary for different users, the
図６は、ウェアラブルデバイスの光学センサからの（例えば、上述のウェアラブルデバイス１００の光学センサ１０２からなどの）感知信号の、例示的な波形を示す。一実施例では、縦軸は、経時的に（例えば、横軸上の秒の単位で）光学センサによって生成される信号の大きさに対応し得る。そのような信号は、電流、電圧、又は、感知された光を表す同様の信号に対応し得る。例えば、この信号は、ミリアンペアの単位を有する電流とすることができ、この電流は、比較、計算、及びジェスチャ認識を可能にするスケールに沿って、量子化することができる（例えば、２４ビットの精度でデジタル化することができる）。
FIG. 6 shows an exemplary waveform of a sensing signal from an optical sensor of the wearable device (eg, from the
図６の波形は、本明細書で論じられるような光学センサを備えるウェアラブルデバイスを着用しているユーザが、６回の繰り返しジェスチャを実行することに対応し得るものであり、各ジェスチャは、数秒の間隔によって隔てられている。例えば、各スパイク又はジェスチャイベント６４０は、着用者の拳を素早く連続的に握り締めて緩めることに対応し得る。示されるように、拳の握り締め６４２は、増大する大きさに対応し得るものであり、その後の拳の解放６４４は、減少する大きさに対応し得る。一部の実施例では、この素早く連続的な、増大する大きさと減少する大きさとの組み合わせは、意図的なジェスチャとして認識することができる。
The waveform of FIG. 6 can correspond to a user wearing a wearable device with an optical sensor as discussed herein performing six repeated gestures, each gesture being a few seconds Are separated by an interval. For example, each spike or gesture event 640 may correspond to quickly and continuously squeezing and loosening the wearer's fist. As shown,
図６に示される実施例では、ウェアラブルデバイスは、拳を緩めた場合よりも、拳を握り締めた場合に多くの光が感知されるように、対応する着用者に対して移行したものとすることができる。それゆえ、この波形は、拳の握り締め６４２で大きさが上昇し、その後、拳の解放６４４で大きさが下降するように見ることができる。しかしながら、他の実施例では、この信号及び関連する波形は、異なる着用者に関して、又は異なるジェスチャを実行する同じ着用者に関しては、変化し得るものである。例えば、大きさは、異なるユーザに関して、又は異なるジェスチャ（例えば、手首を曲げること）に関しては、連続的に、最初に下降してから上昇する場合がある。別の実施例では、ジェスチャイベント６４０に関連付けられるスパイクのピーク値は、異なるユーザ又は異なるジェスチャに関しては、より低いか、又はより高い場合がある。同様に、ジェスチャイベントに関連付けられるスパイクの幅又は勾配は、異なるユーザ又は異なるジェスチャに関しては、（例えば、特定のユーザ要求を示すために、拳を握り締めて保持する場合、より幅広に）変化する場合がある。様々な異なるジェスチャ及び着用者の特性は、ジェスチャイベント（例えば、特定のユーザ意図を示す、意図的なユーザジェスチャ）を認識するために使用することが可能な、多種多様な波形を作り出すことができる点を理解されたい。更には、一部の実施例では、ウェアラブルデバイスは、一意的な信号を、特定の着用者のジェスチャに関連付けるように、学習又は訓練することができる点を理解されたい。
In the embodiment shown in FIG. 6, the wearable device shall have transitioned to the corresponding wearer so that more light is sensed when the fist is squeezed than when the fist is loosened. Can do. Therefore, this waveform can be seen to increase in magnitude at the
一部の実施例では、光学センサ信号が、異なるユーザ及び異なるジェスチャに関して変化し得る方式を前提とすると、その光学センサ信号の導関数を使用することにより、頑健なジェスチャ認識を（例えば、ノイズ、偶然の移動、迷光による汚染などを無視しつつ）達成することができる図７は、ウェアラブルデバイスの光学センサからの感知信号の、例示的な導関数波形を示す。一実施例では、図７の導関数波形は、図６の生の信号の波形に対応し得る。一部の実施例では、正のピーク７５０、負のピーク７５２、及びゼロ交差７５４を使用することにより、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを、明確に特定することができる。例えば、正のピーク７５０の発生の後にゼロ交差７５４が続き、その後に続けて負のピーク７５２を有することは、認識される（長方形でマーク付けされる）ジェスチャイベント７５６を特定するために、十分なものであり得る。別の実施例では、負のピークの後にゼロ交差及び正のピークが続き得るように、順序が変化する場合があり、このこともまた、認識されるジェスチャイベントとして特定することができる。更に別の実施例では、特定の時間窓の範囲内で、正のピーク、負のピーク、及びゼロ交差の発生を有することは、ジェスチャを認識するために十分なものであり得る。
In some embodiments, assuming that the optical sensor signal can vary for different users and different gestures, robust gesture recognition (eg, noise, FIG. 7, which can be achieved (ignoring accidental movement, contamination by stray light, etc.) shows an exemplary derivative waveform of the sensing signal from the optical sensor of the wearable device. In one embodiment, the derivative waveform of FIG. 7 may correspond to the raw signal waveform of FIG. In some embodiments, positive peak 750, negative peak 752, and zero
一部の実施例では、ジェスチャ認識閾値を使用することにより、ノイズ又は他の偶然のデータをフィルタ除去して、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを正しく認識することができる。図８は、正の閾値８６０及び負の閾値８６２を含めたジェスチャ認識閾値を有する、例示的な導関数波形を示す。一実施例では、意図的なジェスチャを認識する目的のために、導関数波形の正のピーク又は負のピークは、正の閾値８６０及び負の閾値８６２の外側にあるような、既定の閾値の外側にある場合に認識することができる。一部の実施例では、これらの閾値の内側での、ピーク又は他のデータの移動は、無視することができる。例えば、小さい振動又は偶然の手の動きにより、生の光学センサ信号、並びに生の光学センサ信号の導関数に、有意な移動がもたらされる場合がある。そのような移動からジェスチャを誤って認識すること（例えば、誤検出）を回避するために、ジェスチャ認識閾値を使用することにより、明確なジェスチャ認識をそれらの閾値の外側の有意な移動の事例に制限することができる。
In some embodiments, a gesture recognition threshold can be used to filter out noise or other accidental data to correctly recognize an intentional user gesture for interacting with the wearable device. FIG. 8 shows an exemplary derivative waveform having a gesture recognition threshold that includes a
他の実施例では、様々な他の技術及びデータを使用することにより、ノイズ及び他の偶然のデータをフィルタ除去しつつ、意図的なユーザジェスチャを明確に認識することができる。例えば、凹部の変化、ゼロ交差、ピーク間の時間、ピーク勾配、ピーク幅、及び他のデータ特性を使用して、ジェスチャ認識を、予期される特定の信号挙動に限定することができる。この方式で、ウェアラブルデバイスは、適切な場合に、ユーザジェスチャを正確に認識して応答することができ、ユーザ対話が、意図されていなかった場合に認識されることを回避することができる。 In other embodiments, various other techniques and data can be used to clearly recognize intentional user gestures while filtering out noise and other incidental data. For example, depression changes, zero crossings, time between peaks, peak slope, peak width, and other data characteristics can be used to limit gesture recognition to the specific signal behavior expected. In this manner, the wearable device can accurately recognize and respond to user gestures when appropriate, and avoid recognizing user interaction when it was not intended.
図９は、ウェアラブルデバイス内の光学センサを使用してジェスチャを判定するための、本明細書で論じられる様々な実施例に従って使用することが可能な例示的プロセス９７０を示す。ブロック９７２で、ウェアラブルユーザデバイスから光を放出させることができる。例えば、図１のウェアラブルデバイス１００の光源１０４及び／又は光源１０６に関連して上述されたように、光を放出することができる。光源は、デバイスが通常通り着用される場合に、放出光の大部分が光学センサ（例えば、光学センサ１０２）に向けて反射して戻るように角度付けする（例えば、放出光が、着用者の皮膚上に非垂直の角度で入射することができるように、角度付けする）ことが可能な、発光ダイオード（ＬＥＤ）を含み得る。一部の実施例では、２つの光源を使用することができ、各光源は、他方の光源の波長とは異なる波長を有する光を放出するように、構成することができる。そのような実施例では、個々の光源によって放出される光は、それらの光を光学センサによって識別することができるように選択することができ、可視波長、紫外線波長、赤外線波長、又は他の波長とすることができる。光源はまた、異なる周波数で放出光をパルス化すること、交互間隔で光を放出することなどによって、異なる方式で動作させることにより、明確に異なる反射光認識を可能にすることもできる。一部の実施例では、２つの別個の光源を有することは、局所的な移動か、又は全体的なデバイスの移動か（例えば、特定の筋肉が収縮することか、デバイス全体が一様に移行することか）を区別する助けとなり得る。しかしながら、更に他の実施例では、ウェアラブルデバイスは、単一の光源、３つ以上の光源、２つ以上の光学センサ、又は様々な他の組み合わせを含む場合もあり、あるいは、専用の光源を使用することなく、皮膚表面によって反射された周囲照明の変化を検出することが可能な光学センサを含む場合もある。
FIG. 9 illustrates an
再び図９を参照すると、ブロック９７４で、ユーザの皮膚によって反射された光を感知することができる。例えば、反射光は、光学センサ１０２に関連して上述されたように、感知することができる。光は、電流、電圧、又は、センサ上に入射する光の相対量（例えば、受光の強度）を表す他の信号を生成する、フォトダイオードで感知されることなどの様々な方式で感知することができる。一部の実施例では、光学センサは、ウェアラブルデバイスに関連付けられた光源から放出された光と同様の特性（例えば、波長）を有する光を、主として、又は排他的に感知するように、構成することができる。一実施例では、ユーザの皮膚表面とウェアラブルデバイスとの間の距離は、ウェアラブルデバイスの皮膚対向面上に反射光が入射する場所を規定し得るものであり、このことは、センサで受光される光の強度に影響を及ぼし得る。例えば、着用者の皮膚に対する第１の位置では、光学センサは、比較的少量の光が感知されたことを表す信号を生成することができ、その一方で、着用者の皮膚に対する別の位置では、センサに対して光が入射する場所の移行を前提とすると、光学センサは、比較的多量の光が感知されたことを表す信号を生成することができる。着用者の皮膚に対する、ウェアラブルデバイス及び光学センサの移動は、それゆえ、センサで受光される光の強度が変化するにつれて、その光学センサによって生成される信号を変化させることができる。
Referring again to FIG. 9, at block 974, light reflected by the user's skin can be sensed. For example, the reflected light can be sensed as described above with respect to the
再び図９を参照すると、ブロック９７６で、感知された光の変化に基づいて、ジェスチャを判定することができる。例えば、ジェスチャイベントは、生の光学センサ信号から（例えば、図６を参照して論じられたように）、又は光学センサ信号の導関数から（例えば、図７又は図８を参照して論じられたように）判定することができる。多種多様な移動により、光学センサによって生成される信号を変更することが可能な変化を、反射光に引き起こすことができ、そのような変更された信号は、意図的なジェスチャとして解釈することができる。意図的なジェスチャとして解釈することが可能な移動としては、指の移動、手の移動、手首の移動、腕全体の移動などを挙げることができる。例えば、腕時計タイプのウェアラブルデバイスでは、着用者の手首は、握り締めた拳と開いた手との間で、少なくとも若干変化し得る（例えば、外周の膨張、皮膚の伸張、筋収縮、腱の移行、組織の圧縮など）。開いた手を有することから、握り締めた拳を有することへの、少なくとも若干の手首の変化は、ウェアラブルデバイスと着用者の皮膚との間の距離を変化させる（例えば、増大又は減少させる）ことができる。上述のように、ウェアラブルデバイスに関連付けられた光学センサは、デバイスと着用者の皮膚との間の距離が変化する際に変化する、信号を生成することができるため、ユーザの拳を握り締める動きは、その後のユーザの拳を緩める動きと共に知覚することができる。一部の実施例では、ユーザの拳の、この順次的な握り締め及び緩めは意図的なジェスチャであると（例えば、仮想ボタンを選択する、電話の呼び出しに応答する、先へ進んでナビゲートするためなどの、マウスカーソルのクリック又はタッチスクリーンの押圧と等価であるように）判定することができる。
Referring again to FIG. 9, at
一部の実施例では、光学センサ信号の導関数を、ジェスチャ認識のために使用することができる。例えば、光学センサ信号の導関数で、正のピークの発生の後にゼロ交差が続き、その後に続けて負のピークを有することは、意図的なジェスチャを判定するために、十分なものであり得る。別の実施例では、負のピークの後にゼロ交差及び正のピークが続き得るように、順序が変化する場合があり、このこともまた、意図的なジェスチャとして特定することができる。更に別の実施例では、光学センサ信号の導関数で、特定の時間窓の範囲内に、正のピーク、負のピーク、及びゼロ交差の発生を有することは、意図的なジェスチャを判定するために十分なものであり得る。 In some embodiments, the derivative of the optical sensor signal can be used for gesture recognition. For example, in the derivative of the optical sensor signal, the occurrence of a positive peak followed by a zero crossing followed by a negative peak may be sufficient to determine an intentional gesture. . In another example, the order may change so that a negative peak can be followed by a zero crossing and a positive peak, which can also be identified as an intentional gesture. In yet another embodiment, having the occurrence of a positive peak, a negative peak, and a zero crossing within a specific time window, with a derivative of the optical sensor signal, to determine an intentional gesture Can be sufficient.
他の実施例では、様々な他の技術及びデータを使用することにより、ノイズ及び他の偶然のデータをフィルタ除去しつつ、意図的なユーザジェスチャを明確に判定することができる。例えば、凹部の変化、ゼロ交差、ピーク間の時間、ピーク勾配、ピーク幅、及び他のデータ特性を使用して、ジェスチャ認識を、予期される特定の信号挙動に限定することができる。この方式で、ウェアラブルデバイスは、適切な場合に、ユーザジェスチャを正確に判定して応答することができ、ユーザ対話が、意図されていなかった場合に認識されることを回避することができる。 In other embodiments, various other techniques and data can be used to unambiguously determine the intended user gesture while filtering out noise and other incidental data. For example, depression changes, zero crossings, time between peaks, peak slope, peak width, and other data characteristics can be used to limit gesture recognition to the specific signal behavior expected. In this manner, the wearable device can accurately determine and respond to user gestures when appropriate, and avoid recognizing user interaction when it was not intended.
一部の実施例では、判定されたジェスチャを、特定のユーザ要求に関連付けることができ、ウェアラブルデバイスは、そのユーザ要求（例えば、仮想ボタンを選択する、異なるビューにナビゲートする、電話の呼び出しに応答する、異なる楽曲に進むなどの要求）に適切に応答することができる。ジェスチャ認識は、それゆえ、一部の実施例では、ユーザが、ボタンを押すこと、タッチスクリーンにタッチすることなどを伴うことなく、ウェアラブルデバイスと対話することを可能にするために使用することができる。 In some embodiments, the determined gesture can be associated with a specific user request, and the wearable device can select that user request (e.g., select a virtual button, navigate to a different view, on a phone call) It is possible to respond appropriately to a request such as responding to a different musical piece. Gesture recognition may therefore be used in some embodiments to allow a user to interact with the wearable device without pressing a button, touching a touch screen, etc. it can.
図１０は、光学センサを使用してジェスチャを認識し、その認識されたジェスチャに対応する機能を実行するための、本明細書で論じられる様々な実施例に従って使用することが可能な、例示的プロセス１０８０を示す。ブロック１０８２で、ウェアラブルデバイスとユーザが関与する際に、ジェスチャ認識を有効化することができる。一部の実施例では、ジェスチャ認識のためにウェアラブルデバイスに組み込まれた光源及び光学センサは、意図的なジェスチャである可能性が低い場合（例えば、着用者がデバイスに関与していない場合、誰もデバイスを着用していない場合、着用者が走っている場合など）に無効化するか、オフに保つか、又はジェスチャ認識以外の機能のために使用することができる。光源及び光学センサを使用するジェスチャ認識を無効化することにより、バッテリ電力を節約すること、ジェスチャの誤検出を回避すること、それらを他の機能に使用するためなどに解放することができる。
FIG. 10 is an illustrative example that can be used in accordance with various embodiments discussed herein for recognizing a gesture using an optical sensor and performing a function corresponding to the recognized gesture. Process 1080 is shown. At
ユーザがデバイスに関与していることが認識されると、ジェスチャ認識を自動的に有効化することができる（例えば、ジェスチャを認識するために、光源及び光学センサを有効化することができる）。ユーザがウェアラブルデバイスに関与していることを認識するために、様々な方法を使用することができる。例えば、ウェアラブルデバイス内の他のセンサを使用することにより、ユーザがウェアラブルデバイスを上昇させて、そのウェアラブルデバイスをユーザの顔面に向けて角度付けし、ディスプレイを見ていることを（例えば、加速度計、ジャイロスコープ、カメラ、近接センサ、光センサなどを使用して）検出することができる。別の実施例では、ユーザは、ボタンを押すこと、タッチスクリーンにタッチすること、コマンドを言うこと、デバイスを振り動かすことなどにより、ウェアラブルデバイスとの関与を開始することができる。更に別の実施例では、アクティブなジェスチャ認識を有効化する前に、ユーザがディスプレイを移動させておらず、かつ能動的に見ていないことを検出するために、ウェアラブルデバイス内のセンサを使用することができるが、これは、移動により、アーチファクト及びジェスチャの誤検出がもたらされる恐れがあるためである。更に他の実施例では、光源及び光学センサは、ユーザがデバイスに関与していない場合に有効化することができるが、その光学センサによって生成される信号は、ユーザ関与が検出されるまで無視又は廃棄することができる。 Once it is recognized that the user is involved in the device, gesture recognition can be automatically enabled (eg, a light source and an optical sensor can be enabled to recognize the gesture). Various methods can be used to recognize that a user is involved in a wearable device. For example, by using other sensors in the wearable device, the user raises the wearable device, angles the wearable device toward the user's face, and is looking at the display (eg, accelerometer (Using a gyroscope, camera, proximity sensor, light sensor, etc.). In another example, the user can initiate engagement with the wearable device by pressing a button, touching a touch screen, saying a command, shaking the device, and the like. In yet another embodiment, a sensor in the wearable device is used to detect that the user is not moving and not actively looking at the display prior to enabling active gesture recognition. This is because movement can lead to false detection of artifacts and gestures. In yet other embodiments, the light source and optical sensor can be enabled when the user is not involved in the device, but the signal generated by the optical sensor is ignored or ignored until user involvement is detected. Can be discarded.
ブロック１０８４で、（例えば、プロセス９７０のブロック９７２に関連して説明されたように）ウェアラブルユーザデバイスから光を放出させることができる。ブロック１０８６で、（例えば、プロセス９７０のブロック９７４に関連して説明されたように）ユーザの皮膚によって反射された光を感知することができる。ブロック１０８８で、感知された光の変化が、意図的なユーザジェスチャ（例えば、ウェアラブルデバイスによる機能的応答を引き起こすように意図されたジェスチャ）を示すものであるか否かに関して、判定を実施することができる。例えば、意図的なジェスチャは、生の光学センサ信号から（例えば、図６を参照して論じられたように）、又は光学センサ信号の導関数から（例えば、図７又は図８を参照して論じられたように）認識することができる。
At
感知された光の変化によってジェスチャが示されない場合には（例えば、ブロック１０８８の「いいえ」の分岐）、ブロック１０８４で、再び光を放出させることができ、ブロック１０８６で、再び反射光を感知することができる。一部の実施例では、光を放出させて反射光を感知することにより、ユーザが意図的なジェスチャを実行したか否かを判定する、ポーリングサイクルを繰り返すことができる。連続的なポーリングサイクルは、ある時間間隔によって隔てることができ、又は、それらのポーリングサイクルは、ジェスチャが検出されるか、若しくは別のイベントがそのサイクルを断ち切る（例えば、デバイスの電源がオフになる、ユーザ関与が終了する、タイムアウト間隔が経過するなど）まで継続させることができる。
If the sensed light change does not indicate a gesture (eg, “no” branch of block 1088), light can be emitted again at
感知された光の変化によってジェスチャが示される場合には（例えば、ブロック１０８８の「はい」の分岐）、ブロック１０９０で、認識されたジェスチャに対応する機能を実行することができる。例えば、特定の認識されたジェスチャは、着呼に応答するというユーザの所望の意図を示し得るものであるため、その着呼に応答する機能を実行することができる。他の実施例では、他のコンテキストでの認識されたジェスチャは、ユーザの意図的なジェスチャを認識すると実行することが可能な様々な他の機能（例えば、先へ進んでナビゲートする、前に戻ってナビゲートする、音楽を一旦停止する、通知を開くなど）に対応し得る。一部の実施例では、ブロック１０９０で、認識されたジェスチャに対応する機能を実行した後、ジェスチャ認識を（例えば、ブロック１０８４で）継続することにより、ユーザは、ジェスチャを使用して、ウェアラブルデバイスと対話を継続することが可能となり得る。他の実施例では、ジェスチャ認識はブロック１０９０での機能の実行の後に、又は、ウェアラブルデバイスの電源がオフになる、ユーザがデバイスに関与することを中止する、タイムアウト間隔が経過する場合などに無効化することができる。
If the gesture is indicated by a sensed light change (eg, the “yes” branch of block 1088), at
本明細書での様々な実施例は、ウェアラブルデバイスと対話するために、どのようにジェスチャ認識を使用することができるかを論証するものであるが、ジェスチャ認識を使用して、他のデバイスとも同様に対話することができる点を理解されたい。一部の実施例では、ユーザは、ウェアラブルデバイスが、携帯電話、テレビ、オーディオシステム、メディアプレーヤ、ゲーム機、照明システム、セキュリティシステム、タブレットコンピュータなどの様々な他のデバイスのうちのいずれかに通信することが可能なコマンドを、ジェスチャを使用して効果的に生成することができる。例えば、ウェアラブルデバイスは、メディアプレーヤと（例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネットなどを介して）通信することができ、着用者は、認識可能なジェスチャを実行することができる。そのジェスチャを認識することに応答して、ウェアラブルデバイスは、メディアプレーヤに、メニューをナビゲートする、再生を一旦停止する、表示するためのコンテンツを選択するなどの、対応するコマンドを送信することができる。別の実施例では、ウェアラブルデバイスは、携帯電話と（例えば、Ｂｌｕｅｔｏｏｔｈを介して）通信することができ、着用者は、認識可能なジェスチャを実行することができる。そのジェスチャを認識することに応答して、ウェアラブルデバイスは、携帯電話に、電話の呼び出しに応答する、着信音を消す、電話の位置特定を助けるために音を発するなどの、対応するコマンドを送信することができる。ジェスチャ認識は、更に多くの他のデバイス間対話のために採用することができる点を理解されたい。 The various embodiments herein demonstrate how gesture recognition can be used to interact with wearable devices, but using gesture recognition, It should be understood that they can interact as well. In some embodiments, the user communicates with the wearable device to any of a variety of other devices such as a mobile phone, television, audio system, media player, game console, lighting system, security system, tablet computer, etc. Commands that can be generated can be effectively generated using gestures. For example, the wearable device can communicate with a media player (eg, via Wi-Fi®, Bluetooth®, the Internet, etc.) and the wearer performs a recognizable gesture. Can do. In response to recognizing the gesture, the wearable device may send a corresponding command to the media player, such as navigating the menu, pausing playback, selecting content for display, etc. it can. In another example, the wearable device can communicate with a cell phone (eg, via Bluetooth) and the wearer can perform a recognizable gesture. In response to recognizing that gesture, the wearable device sends a corresponding command to the mobile phone, such as answering the phone call, muting the ringtone, or sounding to help locate the phone can do. It should be understood that gesture recognition can be employed for many other device interactions.
更には、本明細書での様々な実施例は、光源及び光学センサを使用して、どのようにジェスチャ認識を達成することができるかを論証するものであるが、光源及び光学センサと連携して様々な他のセンサ及び要素を使用することにより、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを認識することができる点を理解されたい。例えば、加速度計及び／又はジャイロスコープを使用することにより、移動を検出して、光学センサ信号が、他の無作為なユーザ移動のアーチファクトではなく、意図的なジェスチャを表すものであるか否かを判定することができる。同様に、特定のジェスチャは、一意的な加速度計信号及び／又はジャイロスコープ信号と同時に、一意的な光学センサ信号を生じさせることができ、そのような信号の組み合わせの同時発生を使用することにより、意図的なジェスチャを明確に認識することができる。他の実施例では、他のデバイス要素、センサ、及び信号の組み合わせを使用することにより、ジェスチャの誤検出を回避し、意図的なユーザジェスチャを正しく認識することができる。 In addition, various embodiments herein demonstrate how gesture recognition can be achieved using a light source and an optical sensor, but in conjunction with the light source and optical sensor. It should be understood that various other sensors and elements can be used to recognize intentional user gestures for interacting with the wearable device. For example, using accelerometers and / or gyroscopes to detect movement and whether the optical sensor signal represents an intentional gesture rather than other random user movement artifacts Can be determined. Similarly, a particular gesture can give rise to a unique optical sensor signal simultaneously with a unique accelerometer signal and / or gyroscope signal, by using the simultaneous generation of such signal combinations. , Can recognize the intentional gesture clearly. In other embodiments, combinations of other device elements, sensors, and signals can be used to avoid false detection of gestures and correctly recognize intentional user gestures.
ジェスチャの判定に関連する、上述の機能のうちの１つ以上は、図１１に示されるシステム１１００と同様又は同一のシステムによって実行することができる。システム１１００は、メモリ１１０２又は記憶デバイス１１０１などの非一時的コンピュータ可読記憶媒体内に記憶され、プロセッサ１１０５によって実行される、命令を含み得る。これらの命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することが可能な他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するための、任意の非一時的コンピュータ可読記憶媒体内に、記憶及び／又は伝送することもできる。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。非一時的コンピュータ可読記憶媒体としては、電子、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置、又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、若しくはＤＶＤ−ＲＷなどのポータブル光ディスク、コンパクトフラッシュカード、セキュリティ保護されたデジタルカード、ＵＳＢメモリデバイス、メモリスティックなどのフラッシュメモリなど、あるいは任意のタイプのデータベースを挙げることができるがこれらに限定されない。
One or more of the above-described functions related to gesture determination may be performed by a system similar or identical to the system 1100 shown in FIG. System 1100 can include instructions stored in a non-transitory computer readable storage medium such as
これらの命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することが可能な他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するための、任意の伝送媒体内に伝搬することもできる。本文書のコンテキストでは、「伝送媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、若しくは伝送することが可能な、任意の媒体とすることができる。伝送媒体としては、電子、磁気、光、電磁気、若しくは赤外線の有線又は無線伝搬媒体を挙げることができるが、これらに限定されない。 These instructions are also instruction execution, such as computer-based systems, systems that include processors, or other systems that are capable of fetching instructions from instruction execution systems, devices, or devices and executing those instructions. It can also be propagated into any transmission medium for use by or in connection with the system, apparatus or device. In the context of this document, a “transmission medium” is any medium that can communicate, propagate, or transmit a program for use by or in connection with an instruction execution system, apparatus, or device. It can be. Transmission media can include, but are not limited to, electronic, magnetic, optical, electromagnetic, or infrared wired or wireless propagation media.
システム１１００はまた、プロセッサ１１０５が、システム１１００の他の構成要素、並びに周辺装置、デバイス、サーバ、データベースなどと通信することを可能にし得る、Ｉ／Ｏモジュール１１０３などの、入出力（「Ｉ／Ｏ」）モジュールも含み得る。例えば、Ｉ／Ｏモジュール１１０３は、プロセッサ１１０５が、ＬＡＮ、ＷＡＮ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、セルラーなどを含めた有線又は無線通信手段を通じて、外部デバイスと通信することを可能にし得る、送受信機、ラジオ、モデムなどを含み得る。
The system 1100 also includes input / output (“I / O”, such as an I /
システム１１００は、タッチを検出し、かつ情報を表示するための、プロセッサ１１０５に結合されたタッチ感知ディスプレイ１１０７を更に含み得る。このシステムは、図１１の構成要素及び構成に限定されるものではなく、様々な実施例に従って、他の構成要素又は追加的構成要素を、複数の構成で含み得ることを理解されたい。更には、システム１１００の構成要素は、単一のデバイス内部に含めることができ、又は、複数のデバイスにわたって分散させることもできる。一部の実施例では、プロセッサ１１０５は、タッチ感知ディスプレイ１１０７内部に配置することができる。
System 1100 can further include a touch-
それゆえ、上記によれば、本開示の一部の実施例は、ジェスチャを判定するためのコンピュータにより実行される方法を目的とするものであり、この方法は、ウェアラブルユーザデバイスから光を放出させることと、着用者の皮膚によって反射された光の一部分を感知することと、この光の感知部分の変化に基づいて、着用者によって実施されたジェスチャを判定することとを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化は、ウェアラブルユーザデバイスの光学センサと着用者の皮膚との間の距離の変化に対応し、着用者の皮膚によって反射された光の一部分を感知することは、光学センサを使用して、その光の一部分を感知することを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化は、着用者の皮膚によって反射された、この光の感知部分の強度の変化に対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ウェアラブルユーザデバイスから光を放出させることは、第１の波長の第１のＬＥＤ、及び第１の波長とは異なる第２の波長の第２のＬＥＤから光を放出させることを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ウェアラブルユーザデバイスから光を放出させることは、ウェアラブルデバイスに対して、ある角度で光を放出させることを含み、その放出光は、着用者の皮膚上に非垂直の角度で入射する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、着用者の皮膚によって反射された光の一部分を感知することは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、その光の感知部分に基づく信号を生成することを含み、ウェアラブルユーザデバイスから光を放出させることは、第１のＬＥＤ及び第２のＬＥＤから光を放出させることを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化に基づいてジェスチャを判定することは、着用者の皮膚によって反射された光の一部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャは、拳の握り締めを含む。 Therefore, according to the above, some embodiments of the present disclosure are directed to a computer-implemented method for determining a gesture, which emits light from a wearable user device. And sensing a portion of the light reflected by the wearer's skin and determining a gesture performed by the wearer based on a change in the sensed portion of the light. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the change in the light sensing portion is between the optical sensor of the wearable user device and the wearer's skin. Sensing a portion of the light reflected by the wearer's skin includes sensing the portion of the light using an optical sensor. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the change in the light sensitive portion is reflected by the wearer's skin. Corresponds to changes in strength. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, emitting light from a wearable user device includes a first LED of a first wavelength, and Including emitting light from a second LED of a second wavelength different from the first wavelength. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, emitting light from a wearable user device causes light to be emitted at an angle relative to the wearable device. The emitted light is incident on the wearer's skin at a non-perpendicular angle. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, sensing a portion of the light reflected by the wearer's skin includes the first LED and Using an optical sensor positioned between the second LED and generating a signal based on the sensing portion of the light, causing the light to be emitted from the wearable user device includes the first LED and the second LED. Emitting light from two LEDs. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, determining a gesture based on a change in the light sensitive portion is reflected by the wearer's skin. Identifying positive peaks, negative peaks, and zero crossings of the derivative of the signal generated by the optical sensor used to sense a portion of the emitted light. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the gesture includes fist clenching.
上記によれば、本開示の他の実施例は、上述の方法のうちのいずれかを実行する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体を目的とするものであり、この非一時的コンピュータ可読記憶媒体に、データベースを結合することができ、このデータベースは、ジェスチャ認識データを含む。 In accordance with the above, other embodiments of the present disclosure are directed to non-transitory computer readable storage media containing computer-executable instructions for performing any of the methods described above. A database can be coupled to the temporary computer readable storage medium, the database including gesture recognition data.
上記によれば、本開示の他の実施例は、上述の非一時的コンピュータ可読記憶媒体と、コンピュータ実行可能命令を実行することが可能なプロセッサとを備える、システムを目的とする。 In accordance with the above, another embodiment of the present disclosure is directed to a system comprising the non-transitory computer-readable storage medium described above and a processor capable of executing computer-executable instructions.
上記によれば、本開示の他の実施例は、ジェスチャを判定するウェアラブルデバイスを目的とするものであり、このデバイスは、ウェアラブルデバイスが着用された場合に、そのデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサとを備える。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、この信号の変化は、光学センサと着用者の皮膚との間の距離の変化に対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサによって生成される信号は、着用者の皮膚によって反射された、この光の感知部分の強度に基づいて変化する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、第１の波長の光を放出するように構成された第１のＬＥＤ、及び第１の波長とは異なる第２の波長の光を放出するように構成された第２のＬＥＤを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、第１のＬＥＤ及び第２のＬＥＤを含み、光学センサは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされる。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、着用者の皮膚上に非垂直の角度で光が入射するように方向付けるために、ウェアラブルデバイスに対して角度付けされる。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャを判定するコンピュータ実行可能命令は、信号の導関数の正のピーク、負のピーク、及びゼロ交差を特定することによってジェスチャを判定する、コンピュータ実行可能命令を含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャは、拳の握り締めを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサは、光源によって放出された光の波長に対応する、光の波長を感知するように構成される。 According to the above, another embodiment of the present disclosure is directed to a wearable device for determining a gesture, which device is directed from the device toward the wearer's skin when the wearable device is worn. A light source configured to emit light, an optical sensor configured to generate a signal based on sensing a portion of the light reflected by the wearer's skin, and a change in the signal A non-transitory computer-readable storage medium containing computer-executable instructions for determining a gesture performed by the wearer and a processor coupled to receive the signal, the computer-executable instructions And a processor capable of executing. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, this change in signal corresponds to a change in the distance between the optical sensor and the wearer's skin. To do. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the signal generated by the optical sensor is a sensing of this light reflected by the wearer's skin. Varies based on the strength of the part. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the light source is a first LED configured to emit light of a first wavelength; And a second LED configured to emit light of a second wavelength different from the first wavelength. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the light source includes a first LED and a second LED, and the optical sensor includes a first LED. Positioned between the LED and the second LED. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the light source is directed so that light is incident at a non-vertical angle on the wearer's skin. In order to be angled with respect to the wearable device. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the computer-executable instructions for determining a gesture include a positive peak, a negative peak of the derivative of the signal. , And computer-executable instructions for determining a gesture by identifying zero crossings. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the gesture includes fist clenching. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the optical sensor senses a wavelength of light that corresponds to the wavelength of light emitted by the light source. Configured as follows.
上記によれば、本開示の他の実施例は、ジェスチャを判定するシステムを目的とするものであり、このシステムは、ウェアラブルデバイスが着用された場合に、そのウェアラブルユーザデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサと、このプロセッサに結合された通信モジュールであって、モバイルデバイスと通信するように構成された通信モジュールとを備える。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、非一時的コンピュータ可読記憶媒体は、ジェスチャを判定することに応答して、通信モジュールを介してモバイルデバイスにコマンドを通信する、命令を更に含む。 In accordance with the above, other embodiments of the present disclosure are directed to a system for determining a gesture that is applied from a wearable user device to a wearer's skin when the wearable device is worn. A light source configured to emit light, an optical sensor configured to generate a signal based on sensing a portion of the light reflected by the wearer's skin, and the signal A non-transitory computer-readable storage medium containing computer-executable instructions for determining a gesture performed by a wearer based on a change, and a processor coupled to receive the signal, the computer-executable instructions A processor capable of executing and a communication module coupled to the processor that communicates with the mobile device. And a communication module configured to. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the non-transitory computer-readable storage medium is responsive to determining a gesture to communicate with the communication module. Further comprising instructions for communicating commands to the mobile device via
上記によれば、本開示の他の実施例は、着用者の手首上に着用されたウェアラブルデバイスを使用して、間接的にハンドジェスチャを判定するための、コンピュータにより実行される方法を目的とするものであり、この方法は、ウェアラブルデバイスの光源から、着用者の手首に向けて光を放出させることであって、この光源が、着用者の手首の皮膚に近接して位置決めされることと、ウェアラブルデバイスの光学センサを使用して、着用者の手首の皮膚によって反射された光の一部分を感知することであって、この光学センサが、着用者の手首の皮膚に近接して位置決めされる、ことと、着用者の手首の皮膚によって反射された、この光の感知部分の変化に基づいて、着用者によって実施されたハンドジェスチャを間接的に判定することであって、この変化が、ハンドジェスチャにより、光学センサと着用者の手首の皮膚との間の距離が増大又は減少することから生じる、こととを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサと着用者の手首の皮膚との間の距離は、ハンドジェスチャにより、１／８インチ未満で増大又は減少する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、この光の感知部分の変化は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、その光の感知部分の強度が増大又は減少することに対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、着用者によって実施されたハンドジェスチャを間接的に判定することは、着用者の手の移動を直接感知することなく、着用者の手首の皮膚によって反射された、光の感知部分の変化を感知することを含む。 According to the above, another embodiment of the present disclosure is directed to a computer-implemented method for indirectly determining a hand gesture using a wearable device worn on a wearer's wrist. The method includes emitting light from a light source of the wearable device toward the wearer's wrist, the light source being positioned proximate to the skin of the wearer's wrist; Using a wearable device optical sensor to sense a portion of the light reflected by the skin of the wearer's wrist, the optical sensor being positioned proximate to the skin of the wearer's wrist And indirectly determining hand gestures performed by the wearer based on changes in this light sensitive part reflected by the skin of the wearer's wrist. I, this change, the hand gesture results from the distance between the skin of the wrist of the optical sensor wearer increases or decreases, and a thing. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, the distance between the optical sensor and the skin of the wearer's wrist is 1 / Increase or decrease below 8 inches. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, this change in the light sensitive portion is between the optical sensor and the skin of the wearer's wrist. Corresponding to an increase or decrease in the intensity of the light sensitive portion based on the increasing or decreasing distance. In addition to or as an alternative to one or more of the embodiments disclosed above, in some embodiments, indirectly determining a hand gesture performed by the wearer may be performed by the wearer's hand. It involves sensing changes in the light sensing portion reflected by the skin of the wearer's wrist without directly sensing movement.
添付図面を参照して、実施例を十分に説明してきたが様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、添付の特許請求の範囲によって定義されるような様々な実施例の範囲内に含まれるものとして理解されたい。 It should be noted that while the embodiments have been fully described with reference to the accompanying drawings, various changes and modifications will become apparent to those skilled in the art. Such changes and modifications are to be understood as being included within the scope of the various embodiments as defined by the appended claims.
Claims (25)
ウェアラブルユーザデバイスから光を放出させることと、
着用者の皮膚によって反射された、前記光の一部分を感知することと、
前記光の前記感知部分の変化に基づいて、前記着用者によって実施されたジェスチャを判定することと、
を含む、方法。 A computer-implemented method for determining a gesture, comprising:
Emitting light from the wearable user device;
Sensing a portion of the light reflected by the wearer's skin;
Determining a gesture performed by the wearer based on a change in the sensing portion of the light;
Including a method.
前記着用者の皮膚によって反射された前記光の前記一部分を感知することが、前記光学センサを使用して、前記光の前記一部分を感知することを含む、請求項１に記載の方法。 The change in the sensing portion of the light corresponds to a change in distance between an optical sensor of the wearable user device and the skin of the wearer;
The method of claim 1, wherein sensing the portion of the light reflected by the wearer's skin comprises sensing the portion of the light using the optical sensor.
第１の波長の第１のＬＥＤ、及び前記第１の波長とは異なる第２の波長の第２のＬＥＤから、前記光を放出させることを含む、請求項１に記載の方法。 Emitting the light from the wearable user device;
The method of claim 1, comprising emitting the light from a first LED having a first wavelength and a second LED having a second wavelength different from the first wavelength.
前記ウェアラブルデバイスに対して、ある角度で前記光を放出させることを含み、前記放出光が、前記着用者の皮膚上に非垂直の角度で入射する、請求項１に記載の方法。 Emitting the light from the wearable user device;
The method of claim 1, comprising causing the wearable device to emit the light at an angle, the emitted light being incident at a non-vertical angle on the wearer's skin.
第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、前記光の前記感知部分に基づく信号を生成することを含み、
前記ウェアラブルユーザデバイスから前記光を放出させることが、前記第１のＬＥＤ及び前記第２のＬＥＤから前記光を放出させることを含む、請求項１に記載の方法。 Sensing the portion of the light reflected by the wearer's skin;
Using an optical sensor positioned between a first LED and a second LED to generate a signal based on the sensing portion of the light;
The method of claim 1, wherein emitting the light from the wearable user device comprises emitting the light from the first LED and the second LED.
前記着用者の皮膚によって反射された前記光の前記一部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含む、請求項１に記載の方法。 Determining the gesture based on a change in the sensing portion of the light;
Identifying positive peaks, negative peaks, and zero crossings of the derivative of the signal generated by the optical sensor used to sense the portion of the light reflected by the wearer's skin The method of claim 1 comprising.
請求項１から８のいずれか一項に記載の方法を実行するコンピュータ実行可能命令と、
前記非一時的コンピュータ可読記憶媒体に結合されるデータベースと、を含み、前記データベースがジェスチャ認識データを含む、非一時的コンピュータ可読記憶媒体。 A non-transitory computer readable storage medium comprising:
Computer-executable instructions for performing the method according to any one of claims 1 to 8;
A non-transitory computer readable storage medium coupled to the non-transitory computer readable storage medium, wherein the database includes gesture recognition data.
請求項９に記載の非一時的コンピュータ可読記憶媒体と、
前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
を備える、システム。 A system,
A non-transitory computer-readable storage medium according to claim 9;
A processor capable of executing the computer-executable instructions;
A system comprising:
前記ウェアラブルデバイスが着用された場合に、前記デバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、
前記着用者の皮膚によって反射された前記光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、
前記信号の変化に基づいて、前記着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、
前記信号を受信するように結合されたプロセッサであって、前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
を備える、ウェアラブルデバイス。 A wearable device for determining a gesture,
A light source configured to emit light from the device toward the wearer's skin when the wearable device is worn;
An optical sensor configured to generate a signal based on sensing a portion of the light reflected by the wearer's skin;
A non-transitory computer-readable storage medium comprising computer-executable instructions for determining a gesture performed by the wearer based on a change in the signal;
A processor coupled to receive the signal, the processor capable of executing the computer-executable instructions;
A wearable device comprising:
前記光学センサが、前記第１のＬＥＤと前記第２のＬＥＤとの間に位置決めされる、請求項１１に記載のウェアラブルデバイス。 The light source includes a first LED and a second LED;
The wearable device of claim 11, wherein the optical sensor is positioned between the first LED and the second LED.
ウェアラブルユーザデバイスが着用された場合に、前記ウェアラブルユーザデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、
前記着用者の皮膚によって反射された前記光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、
前記信号の変化に基づいて、前記着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、
前記信号を受信するように結合されたプロセッサであって、前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
前記プロセッサに結合された通信モジュールであって、モバイルデバイスと通信するように構成された通信モジュールと、
を備える、システム。 A system for judging gestures,
A light source configured to emit light from the wearable user device toward the wearer's skin when the wearable user device is worn;
An optical sensor configured to generate a signal based on sensing a portion of the light reflected by the wearer's skin;
A non-transitory computer-readable storage medium comprising computer-executable instructions for determining a gesture performed by the wearer based on a change in the signal;
A processor coupled to receive the signal, the processor capable of executing the computer-executable instructions;
A communication module coupled to the processor, the communication module configured to communicate with a mobile device;
A system comprising:
前記ウェアラブルデバイスの光源から、前記着用者の手首に向けて光を放出させることであって、前記光源が、前記着用者の手首の皮膚に近接して位置決めされる、ことと、
前記ウェアラブルデバイスの光学センサを使用して、前記着用者の手首の前記皮膚によって反射された前記光の一部分を感知することであって、前記光学センサが、前記着用者の手首の前記皮膚に近接して位置決めされる、ことと、
前記着用者の手首の前記皮膚によって反射された、前記光の前記感知部分の変化に基づいて、前記着用者によって実施されたハンドジェスチャを間接的に判定することであって、前記変化が、前記ハンドジェスチャにより、前記光学センサと前記着用者の手首の前記皮膚との間の距離が増大又は減少することから生じる、ことと、
を含む、方法。 A computer-implemented method for indirectly determining a hand gesture using a wearable device worn on a wearer's wrist, comprising:
Emitting light from the light source of the wearable device toward the wearer's wrist, wherein the light source is positioned proximate to the skin of the wearer's wrist;
Sensing a portion of the light reflected by the skin of the wearer's wrist using an optical sensor of the wearable device, the optical sensor being proximate to the skin of the wearer's wrist To be positioned,
Indirectly determining a hand gesture performed by the wearer based on a change in the sensing portion of the light reflected by the skin of the wearer's wrist, the change being the Resulting from an increase or decrease in the distance between the optical sensor and the skin of the wearer's wrist due to a hand gesture;
Including a method.
前記着用者の手の移動を直接感知することなく、前記着用者の手首の前記皮膚によって反射された、前記光の前記感知部分の前記変化を感知することを含む、請求項２２に記載の方法。 Indirectly determining the hand gesture performed by the wearer;
23. The method of claim 22, comprising sensing the change in the sensing portion of the light reflected by the skin of the wearer's wrist without directly sensing movement of the wearer's hand. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203199A JP6725913B2 (en) | 2018-10-29 | 2018-10-29 | Motion gesture input detected using optical sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018203199A JP6725913B2 (en) | 2018-10-29 | 2018-10-29 | Motion gesture input detected using optical sensor |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016568789A Division JP6427598B2 (en) | 2014-02-10 | 2014-02-10 | Motion gesture input detected using optical sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019032891A true JP2019032891A (en) | 2019-02-28 |
| JP6725913B2 JP6725913B2 (en) | 2020-07-22 |
Family
ID=65523728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018203199A Active JP6725913B2 (en) | 2018-10-29 | 2018-10-29 | Motion gesture input detected using optical sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6725913B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563459A (en) * | 2020-05-09 | 2020-08-21 | 胡团伟 | Finger motion acquisition method and finger motion acquisition equipment |
| CN113672093A (en) * | 2021-08-27 | 2021-11-19 | 歌尔科技有限公司 | Gesture recognition method and device, wearable device main body and wearable device |
| JP7497533B2 (en) | 2021-01-25 | 2024-06-10 | シグニファイ ホールディング ビー ヴィ | Radio Frequency Sensing System |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001133300A (en) * | 1999-11-04 | 2001-05-18 | Sony Corp | Apparatus and method for recognizing action, and apparatus of presenting inner force sensor, and its control method |
| JP2005352739A (en) * | 2004-06-10 | 2005-12-22 | Nec Corp | Portable terminal device, input system and information input method |
| JP2008027252A (en) * | 2006-07-21 | 2008-02-07 | Brother Ind Ltd | Operation signal output unit and operation system |
| JP2008293501A (en) * | 2001-09-07 | 2008-12-04 | Harmonic Research Inc | Improved wireless control device |
| KR20090034642A (en) * | 2007-10-04 | 2009-04-08 | 박가람 | Bracelet keyboard and key-in method therby |
| US20090174578A1 (en) * | 2006-07-21 | 2009-07-09 | Brother Kogyo Kabushiki Kaisha | Operating apparatus and operating system |
| JP2011048818A (en) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | Finger motion detecting apparatus and method |
| JP2012181639A (en) * | 2011-03-01 | 2012-09-20 | Stanley Electric Co Ltd | Operation input device |
-
2018
- 2018-10-29 JP JP2018203199A patent/JP6725913B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001133300A (en) * | 1999-11-04 | 2001-05-18 | Sony Corp | Apparatus and method for recognizing action, and apparatus of presenting inner force sensor, and its control method |
| JP2008293501A (en) * | 2001-09-07 | 2008-12-04 | Harmonic Research Inc | Improved wireless control device |
| JP2005352739A (en) * | 2004-06-10 | 2005-12-22 | Nec Corp | Portable terminal device, input system and information input method |
| JP2008027252A (en) * | 2006-07-21 | 2008-02-07 | Brother Ind Ltd | Operation signal output unit and operation system |
| US20090174578A1 (en) * | 2006-07-21 | 2009-07-09 | Brother Kogyo Kabushiki Kaisha | Operating apparatus and operating system |
| KR20090034642A (en) * | 2007-10-04 | 2009-04-08 | 박가람 | Bracelet keyboard and key-in method therby |
| JP2011048818A (en) * | 2009-08-27 | 2011-03-10 | Korea Electronics Telecommun | Finger motion detecting apparatus and method |
| JP2012181639A (en) * | 2011-03-01 | 2012-09-20 | Stanley Electric Co Ltd | Operation input device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563459A (en) * | 2020-05-09 | 2020-08-21 | 胡团伟 | Finger motion acquisition method and finger motion acquisition equipment |
| JP7497533B2 (en) | 2021-01-25 | 2024-06-10 | シグニファイ ホールディング ビー ヴィ | Radio Frequency Sensing System |
| CN113672093A (en) * | 2021-08-27 | 2021-11-19 | 歌尔科技有限公司 | Gesture recognition method and device, wearable device main body and wearable device |
| CN113672093B (en) * | 2021-08-27 | 2024-02-02 | 歌尔科技有限公司 | Gesture recognition method and device, wearing equipment main body and wearing equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6725913B2 (en) | 2020-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11422635B2 (en) | Optical sensing device | |
| TWI712877B (en) | Techniques for gesture recognition using photoplethysmographic (ppmg) sensor and low-power wearable gesture recognition device using the same | |
| JP6650974B2 (en) | Electronic device and method for acquiring biological information | |
| US20170371421A1 (en) | Multipurpose controllers and methods | |
| Metzger et al. | Freedigiter: A contact-free device for gesture control | |
| Kikuchi et al. | EarTouch: turning the ear into an input surface | |
| WO2016038953A1 (en) | Detection device, detection method, control device, and control method | |
| US20150323998A1 (en) | Enhanced user interface for a wearable electronic device | |
| US20150297140A1 (en) | User stress detection and mitigation | |
| KR20170019081A (en) | Portable apparatus and method for displaying a screen | |
| KR20170064364A (en) | Device and method for using friction sound | |
| Yoon et al. | Lightful user interaction on smart wearables | |
| Zhang et al. | FingOrbits: interaction with wearables using synchronized thumb movements | |
| Weng et al. | Facesight: Enabling hand-to-face gesture interaction on ar glasses with a downward-facing camera vision | |
| JP6725913B2 (en) | Motion gesture input detected using optical sensor | |
| CN105373220B (en) | It is interacted using position sensor and loudspeaker signal with the user of device | |
| US20240184361A1 (en) | Wearable control system and method to control an ear-worn device | |
| EP4080329A1 (en) | Wearable control system and method to control an ear-worn device | |
| US20240192763A1 (en) | Electronic device for controlling a user interface via a biometric sensor and control method using the same | |
| Hock | Interactive Belt |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6725913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |