JP2022003535A - 位置ベースの触覚効果のためのシステム及び方法 - Google Patents
位置ベースの触覚効果のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022003535A JP2022003535A JP2021145095A JP2021145095A JP2022003535A JP 2022003535 A JP2022003535 A JP 2022003535A JP 2021145095 A JP2021145095 A JP 2021145095A JP 2021145095 A JP2021145095 A JP 2021145095A JP 2022003535 A JP2022003535 A JP 2022003535A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- user
- computer device
- gesture
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 340
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004044 response Effects 0.000 claims description 59
- 230000003993 interaction Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 12
- 239000007789 gas Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 239000007788 liquid Substances 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 44
- 238000013459 approach Methods 0.000 description 22
- 239000010410 layer Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 239000012530 fluid Substances 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 230000003068 static effect Effects 0.000 description 10
- 230000035807 sensation Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 6
- 238000010304 firing Methods 0.000 description 5
- 239000000499 gel Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 229920000426 Microplastic Polymers 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000377 silicon dioxide Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 241000870659 Crassula perfoliata var. minor Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000003041 ligament Anatomy 0.000 description 2
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 2
- 235000012239 silicon dioxide Nutrition 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010019345 Heat stroke Diseases 0.000 description 1
- 229920000079 Memory foam Polymers 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 229920000144 PEDOT:PSS Polymers 0.000 description 1
- 229920001609 Poly(3,4-ethylenedioxythiophene) Polymers 0.000 description 1
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000011554 ferrofluid Substances 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003779 hair growth Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000008210 memory foam Substances 0.000 description 1
- 239000002923 metal particle Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000010943 off-gassing Methods 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 229920000052 poly(p-xylylene) Polymers 0.000 description 1
- 229920000172 poly(styrenesulfonic acid) Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 229940005642 polystyrene sulfonic acid Drugs 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000025600 response to UV Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
置ベースの触覚効果に関する。
す重要になってきている。より直観的で向上したユーザ体験を生み出すために、このよう
なシステムは視覚、聴覚及び/又は触覚フィードバックを使用して物理世界における相互
作用の態様を再現する場合がある。このようなフィードバックは、ユーザがタッチスクリ
ーンディスプレイ又は別のユーザインターフェースコントロールに接触すると生成される
ことが多い。例えば、コンピュータベースのシステムは、ユーザがタッチスクリーンディ
スプレイ上の仮想ボタンに接触すると触覚フィードバックを生成してもよい。しかしなが
ら、接触ベースの触覚フィードバックは、現実世界のオブジェクトとの相互作用を正確に
はシミュレートしない可能性がある。従って、フィードバックを提供するための追加のシ
ステム及び方法が必要とされている。
装置を含む。一実施形態では、本開示のシステムは、ジェスチャを検出して、ジェスチャ
に関係付けられる第1のセンサ信号を送信するように構成されるセンサを備えてもよい。
ジェスチャは、少なくとも2つの位置、少なくとも2つの位置のうち第1の位置は表面か
らの距離を含み、少なくとも2つの位置のうち第2の位置は表面との接触を含む。また、
システムは、センサと通信するプロセッサを備えてもよい。プロセッサは、センサからセ
ンサ信号を受信するように構成されてもよい。また、プロセッサは、センサ信号に少なく
とも部分的に基づいて1つ以上の触覚効果を決定するように構成されてもよい。1つ以上
の触覚効果は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するよう
に構成されてもよい。プロセッサは、1つ以上の触覚効果に少なくとも部分的に基づいて
1つ以上の触覚信号を生成して、1つ以上の触覚信号を送信するように更に構成されても
よい。システムは、プロセッサと通信する触覚出力装置を更に備えてもよい。触覚出力装
置は、1つ以上の触覚信号を受信して、1つ以上の触覚効果を出力するように構成されて
もよい。
号を受信するステップを含み、ジェスチャは少なくとも2つの位置を含み、少なくとも2
つの位置のうち第1の位置は表面からの距離を含み、少なくとも2つの位置のうち第2の
位置は表面との接触を含んでもよい。また、方法は、センサ信号に少なくとも部分的に基
づいて1つ以上の触覚効果を決定するステップを含んでもよい。1つ以上の触覚効果は、
ジェスチャの間中、実質的に連続的な触覚フィードバックを提供するように構成される。
方法は、1つ以上の触覚効果に少なくとも部分的に基づいて1つ以上の触覚信号を生成す
るステップと、1つ以上の触覚信号を触覚出力装置に送信するステップとを更に含んでも
よい。触覚出力装置は、1つ以上の触覚信号を受信して、1つ以上の触覚効果を出力する
ように構成されてもよい。更に別の実施形態は、このような方法を実装するためのコンピ
ュータ可読媒体を含む。
の理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説
明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによっ
て、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々
な実施形態によってもたらされる利点が更に理解され得る。
書は以下の添付の図面を参照する。
、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業
者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は
、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本
開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている
。
本開示の1つの例示的な実施形態は、移動装置(例えば、スマートフォン、タブレット
、Eリーダ等)を含む。移動装置は、1つ以上の仮想ボタンとのグラフィカルユーザイン
ターフェース(GUI)を出力するように構成されるタッチスクリーンディスプレイを備
える。GUIは、例えば、移動装置に記憶されたプログラムに関係付けられる多数のアイ
コンを含むホームスクリーンを含んでもよい。ユーザは、例えば、プログラムを実行する
か又は他のやり方で移動装置に入力を提供するために仮想ボタンと相互作用してもよい。
がタッチスクリーンディスプレイに接近して最終的に接触するときに、実質的に連続的な
触覚フィードバックを提供するように構成される。例えば、例示の実施形態では、移動装
置は、ユーザの指とタッチスクリーンディスプレイとの間の距離を検出するように構成さ
れる。移動装置は、ユーザの指がタッチスクリーンディスプレイ上に出力される仮想ボタ
ンにますます近づいていくとユーザの指にリモート触覚効果(例えば、空気の吹き出し、
超音波圧力波、及び/又はレーザビーム刺激)を実質的に連続的に出力するように構成さ
れる。一部の実施形態では、移動装置は、ユーザがタッチスクリーンディスプレイに接近
すると徐々に強度を増加させるリモート触覚効果を出力する。これは、典型的には物理的
ボタンに関係付けられるバネ力又は別の形態の抵抗をシミュレートしてもよい。更に、例
示の実施形態では、移動装置は、ユーザがタッチスクリーンディスプレイを介して仮想ボ
タンに接触することに応じて、ローカル触覚効果(例えば、クリックの感覚)を出力する
ように構成される。ローカル触覚効果は、物理的ボタンの作動をシミュレートしてもよい
。このような実施形態では、ユーザがタッチスクリーンディスプレイ上に出力される仮想
ボタンに接近して最終的に接触するときに連続的な触覚フィードバックを提供することは
、物理的ボタンとの現実の相互作用をより正確にシミュレートし、及び/又はさもなけれ
ば2次元的なユーザインターフェースに3次元的な感覚を提供してもよい。
ターフェースレベルを含むGUIを含む。移動装置は、ユーザがタッチスクリーンディス
プレイに接近して最終的に接触するときに、異なるユーザインターフェースレベルをアク
ティブ化するように構成される。ユーザは、ユーザインターフェースレベルに関係付けら
れる(移動装置からの)所定の距離でジェスチャを行うことにより特定のユーザインター
フェースレベルと相互作用することができる。
するGUIを含む医療シミュレーションを実行してもよい。各ユーザインターフェースレ
ベルは、体の一部(例えば、人間の腕)の異なる様相の画像を出力し及び/又はそれに関
係付けられる情報を提供するように構成されてもよい。例えば、移動装置は、ユーザの指
が移動装置から遠距離にあることを検出することに応じて第1のユーザインターフェース
レベルをアクティブ化してもよい。第1のユーザインターフェースレベルは、体の一部の
外側(例えば、皮膚、髪等)の画像を出力してもよい。移動装置は、ユーザの指が移動装
置から中距離にあることを検出することに応じて第2のユーザインターフェースレベルを
アクティブ化してもよい。第2のユーザインターフェースレベルは、標識付きの重要な特
徴を有する体の一部に関係付けられる細胞及び/又は靭帯の画像を出力してもよい。移動
装置は、ユーザが移動装置に接触することに応じて第3のユーザインターフェースレベル
をアクティブ化してもよい。第3のユーザインターフェースレベルは、体の一部に関係付
けられる骨の画像を出力してもよい。従って、ユーザが移動装置に接近及び/又は接触す
るときに、移動装置は「より深い」ユーザインターフェースレベルをアクティブ化するこ
とができ、それを介してユーザは徐々により多くの及び/又は異なる情報にアクセスする
ことができる。これは、追加的に又は代替的に、さもなければ2次元的なインターフェー
スに3次元的な感覚を提供し得る。
接触するときにユーザインターフェースレベルに関係付けられる実質的に連続的な触覚フ
ィードバックを提供するように構成される。例えば、上記の医療シミュレーションの例で
は、ユーザがタッチスクリーンディスプレイに接近及び接触するときに、移動装置は、現
実の体の一部の異なる層を介してより深く指を押すことをシミュレートするように構成さ
れる実質的に連続的な触覚フィードバックを出力してもよい。このような実施形態では、
移動装置は、ユーザの指が第1のユーザインターフェースレベルに関係付けられる距離に
あることを検出することに応じて、皮膚及び/又は髪をシミュレートするように構成され
る触覚効果を出力してもよい。移動装置は、ユーザの指が第2のユーザインターフェース
レベルに関係付けられる距離にあることを検出することに応じて、細胞及び/又は靭帯を
シミュレートするように構成される触覚効果を出力してもよい。移動装置は、ユーザの指
が移動装置に接触したことを検出することに応じて、骨をシミュレートするように構成さ
れる触覚効果を出力してもよい。例えば、実質的に連続的なように提供される触覚効果の
組み合わせが、体の一部との現実世界の相互作用をより現実的にシミュレートしてもよい
。
実施形態が本明細書に記載されており、このような実施形態の変形は当業者によって理解
されるであろう。本明細書を吟味することによって、及び/又は請求項に記載の主題の1
つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が
更に理解され得る。
図1Aは、位置ベースの触覚効果を提供するためのシステムの実施形態を示す。実施形
態では、システムは、ユーザがコンピュータ装置100に接近して最終的に接触するとき
に実質的に連続的な触覚フィードバックを提供するように構成されるコンピュータ装置1
00を備える。追加的に又は代替的に、コンピュータ装置100は、コンピュータ装置1
00がユーザに接近して最終的に接触するときに実質的に連続的な触覚フィードバックを
提供するように構成されてもよい。本明細書で用いられる実質的に連続的な触覚フィード
バックは、実質的にユーザにより行われるジェスチャの持続時間の間中提供される1つ以
上の触覚効果を含む。
かの動き及び/又は位置である。単純なジェスチャがより複雑なジェスチャを形成するよ
うに結合されてもよいことが理解されるであろう。例えば、指を表面と接触させることは
「フィンガーオン」ジェスチャと呼ばれてもよく、指を表面から取り除くことは別の「フ
ィンガーオフ」ジェスチャと呼ばれてもよい。「フィンガーオン」と「フィンガーオフ」
ジェスチャとの間の時間が比較的短い場合、結合されたジェスチャは「タップ」と呼ばれ
てもよく、「フィンガーオン」と「フィンガーオフ」ジェスチャとの間の時間が比較的長
い場合、結合されたジェスチャは「ロングタップ」と呼ばれてもよく、「フィンガーオン
」及び「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的大きい
場合、結合されたジェスチャは「スワイプ」と呼ばれてもよく、「フィンガーオン」及び
「フィンガーオフ」ジェスチャの2次元(x、y)位置の間の距離が比較的小さい場合、
結合されたジェスチャは「スミア(smearing)」、「スマッジ(smudgin
g)」又は「フリック」と呼ばれてもよい。追加的に又は代替的に、ジェスチャは3次元
であり得る。例えば、ジェスチャは、体の一部及び/又は物理オブジェクトを実空間の特
定の場所に配置することを含んでもよい。一部の実施形態では、(例えば、実空間におけ
る)指の移動中の3次元(x、y、z)位置間の距離が相対的に大きい場合、組み合わさ
れたジェスチャは「スワイプ動作」と呼ばれてもよい。指の移動中の3次元(x、y、z
)位置間の距離が相対的に小さい場合、組み合わされたジェスチャは「スミア(smea
ring)」、「スマッジ(smudging)」又は「フリック」と呼ばれてもよい。
任意の数の2次元又は3次元の単純な又は複雑なジェスチャが任意のやり方で組み合わさ
れて、任意の数の他のジェスチャを形成してもよい。ジェスチャは、コンピュータ装置1
00により認識され且つ電子信号に変換される任意の形態の(例えば、体の一部又は物理
オブジェクトの)動き又は配置であり得る。このような電気信号は、実質的に連続的な触
覚フィードバック等の触覚効果をアクティブ化することができ、位置センサ104は触覚
効果を生成するユーザの意思をキャプチャする。
2上に出力される特定の仮想オブジェクト(例えば、有効化された仮想ボタン)の場所に
ユーザを導くために実質的に連続的な触覚フィードバックを提供するように構成される。
例えば、このような実施形態では、コンピュータ装置100は、ユーザが特定の仮想オブ
ジェクトの上に位置していることを検出することに応じて、(例えば、触覚出力装置10
6を介して)リモート触覚効果を出力するように構成される。リモート触覚効果は、ユー
ザがコンピュータ装置100に接触していないときにユーザに知覚可能であってもよい。
リモート触覚効果は、ユーザが仮想オブジェクトを最初に見つけるのを支援してもよい。
このような実施形態では、コンピュータ装置100は、仮想オブジェクトの上に配置され
たままユーザがタッチスクリーンディスプレイ102に向かってジェスチャを行うときに
ユーザにリモート触覚効果を連続的に出力するように更に構成される。これは、ユーザが
仮想オブジェクトに接近していることをユーザに通知してもよい。また、このような実施
形態では、コンピュータ装置100は、ユーザがタッチスクリーンディスプレイ102を
介して仮想ボタンに接触することを検出することに応じて、ローカル触覚効果を出力する
ように構成される。ローカル触覚効果は、ユーザがコンピュータ装置100に接触してい
るときにユーザに知覚可能であってもよい。ローカル触覚効果は、ユーザが仮想オブジェ
クトと相互作用したことをユーザに通知してもよい。ユーザが仮想オブジェクトをホバー
(hover over)し、接近して最終的に接触するときの連続的な触覚フィードバ
ックは、例えば、ユーザがタッチスクリーンディスプレイ102を見なくてもユーザを仮
想オブジェクトへと導くことができる。
装置100から第1の距離で(例えば、コンピュータ装置100からの距離範囲112内
で)仮想オブジェクト上にジェスチャを検出することに応じて(例えば、触覚出力装置1
06を介して)第1の触覚効果を出力するように構成される。このような実施形態では、
コンピュータ装置100は、コンピュータ装置100から第2の距離で(例えば、コンピ
ュータ装置100からの距離範囲114内で接触せずに)仮想オブジェクト上にジェスチ
ャを検出することに応じて(例えば、触覚出力装置108を介して)第2の触覚効果を出
力するように構成される。更にこのような実施形態では、コンピュータ装置100は、コ
ンピュータ装置100から第3の距離で(例えば、コンピュータ装置100及び/又はタ
ッチスクリーンディスプレイ102と接触して)仮想オブジェクト上にジェスチャを検出
することに応じて(例えば、触覚出力装置110を介して)第3の触覚効果を出力するよ
うに構成される。第1の触覚効果、第2の触覚効果及び/又は第3の触覚効果は、互いに
同じであるか又は異なっていてもよい。例えば、第1の触覚効果は空気の吹き出しを含ん
でもよく、第2の触覚効果は(例えば、図2に関してより詳細に記載される)静的ESF
効果を含んでもよく、第3の触覚効果は振動を含んでもよい。
移がユーザに継ぎ目なく知覚されるように、少なくとも2つの触覚効果の特性(例えば、
波形、タイプ、振幅、持続時間、周波数、及び/又は出力の時間)を構成する。例えば、
コンピュータ装置100は、触覚効果間の遷移がユーザに継ぎ目なく知覚されるように第
1の触覚効果、第2の触覚効果及び第3の触覚効果の特性を構成してもよい。これは、例
えば、ジェスチャの間中、実質的に一貫した触覚体験をユーザに提供してもよい。例えば
、これは、ユーザがコンピュータ装置100に接近し、接触し、及び/又はそれから遠ざ
かるときに実質的に一貫した触覚体験をユーザに提供してもよい。一部の実施形態では、
コンピュータ装置100は、少なくとも2つの触覚効果がユーザに明確に区別できるよう
に少なくとも2つの触覚効果の特性を構成する。例えば、コンピュータ装置100は、触
覚効果間の少なくとも1つの遷移がユーザに明瞭に知覚されるように第1の触覚効果、第
2の触覚効果及び第3の触覚効果の特性を構成してもよい。これは、ユーザの体の一部と
コンピュータ装置100との間の距離等の情報をユーザに提供してもよい。
に任意の数及び構成の触覚効果を出力してもよい。例えば、一部の実施形態では、コンピ
ュータ装置100は、コンピュータ装置100の別の距離範囲内で別のジェスチャを検出
することに応じた第4の触覚効果、コンピュータ装置100の更に別の距離範囲内で更に
別のジェスチャを検出することに応じて第5の触覚効果及び第6の触覚効果等を出力する
。
ることに関するが、一部の実施形態は、ユーザが(例えば、コンピュータ装置100の)
表面に接触していない少なくとも1つの位置及びユーザが表面に接触している1つの位置
を含む任意のジェスチャの間中、実質的に連続的な触覚フィードバックを提供してもよい
。例えば、一部の実施形態は、ユーザが指でコンピュータ装置100に接近し、指でコン
ピュータ装置100に接触し、次にコンピュータ装置100から指を持ち上げるジェスチ
ャの間中、実質的に連続的な触覚フィードバックを提供してもよい。従って、実質的に連
続的な触覚フィードバックは、ユーザがコンピュータ装置100に接触せずに開始及び終
了し得る。
開始し、ユーザがコンピュータ装置100から指を持ち上げた後で終了するジェスチャの
間中、実質的に連続的な触覚フィードバックを提供する。例えば、ユーザは、体の一部で
コンピュータ装置100の表面(例えば、タッチスクリーンディスプレイ102)と相互
作用してもよい。コンピュータ装置100は、ユーザ相互作用を検出して、ローカル触覚
効果を出力してもよい。次に、ユーザは、(例えば、ユーザがコンピュータ装置100と
の相互作用を終えると)コンピュータ装置100から体の一部を持ち上げてもよい。一部
の実施形態では、コンピュータ装置100は、例えば、ユーザの体の一部がコンピュータ
装置100から距離範囲114及び/又は距離範囲112内に有る間、(例えば、リモー
ト触覚効果の形態で)ユーザに触覚フィードバックを出力し続けてもよい。コンピュータ
装置100は、例えば、ユーザの体の一部とコンピュータ装置100との間の距離が閾値
を超えるまで、このような触覚フィードバックを出力してもよい。従って、実質的に連続
的な触覚フィードバックは、ユーザがコンピュータ装置100に接触している間に開始し
て、ユーザがコンピュータ装置100に接触していない間に終了し得る。
的ESF触覚効果)を使用して、例えば、ジェスチャの間中、異なる位置でユーザに異な
る感覚を出力してもよい。例えば、コンピュータ装置100は、コンピュータ装置100
から距離範囲112内にジェスチャを検出することに応じた(例えば、低振幅振動をシミ
ュレートするように構成される)第1の静的ESF効果、コンピュータ装置100から距
離範囲114内にジェスチャを検出することに応じた(例えば、中振幅振動をシミュレー
トするように構成される)第2の静的ESF効果、及び/又はコンピュータ装置100に
接触することを含むジェスチャを検出することに応じた第3の静的ESF効果(例えば、
高振幅振動)を出力するように構成されてもよい。
施形態では、システムは、ユーザが相互作用することができる複数のユーザインターフェ
ースレベルを含むユーザインターフェースを(例えば、タッチスクリーンディスプレイ1
02を介して)出力するように構成されるコンピュータ装置100を備える。ユーザイン
ターフェースは、任意の数のユーザインターフェースレベルを含んでもよい。更に、コン
ピュータ装置100は、任意の数及び/又は構成のユーザインターフェースレベルとジェ
スチャの間の任意の数及び/又は構成のユーザ位置を関係付けてもよい。例えば、一部の
実施形態では、移動装置は、同じユーザインターフェースレベルとジェスチャの間の3つ
の異なる位置を関係付けてもよい。一部の実施形態では、ユーザインターフェースレベル
は、例えば、シミュレートされた深さをユーザインターフェースに提供するために、互い
にオーバレイするようにシミュレートされ得る。一部の実施形態では、コンピュータ装置
100は、ユーザインターフェースレベルに関係付けられる1つ以上の機能を実行するよ
うに構成される。
ーションに関係付けられる仮想地図を出力している。ユーザが(例えば、破線で示される
ように)コンピュータ装置100に接近及び/又は接触すると、コンピュータ装置100
は、1つ以上のユーザインターフェースレベルを循環するように構成される。例えば、仮
想地図に関係付けられる異なるレベルの詳細をユーザに提供するように構成される。例え
ば、ユーザがコンピュータ装置100の距離範囲112内に指を配置することに応じて、
コンピュータ装置100は、例えば、仮想地図上の州又は都市に関係付けられる情報を出
力するように構成される第1のユーザインターフェースレベルをアクティブ化してもよい
。ユーザがコンピュータ装置100に接触していない第2の距離範囲114内に指を移動
させると、コンピュータ装置100は、例えば、町又は街路等の詳細を仮想地図に追加す
るように構成される第2のユーザインターフェースレベルをアクティブ化してもよい。ユ
ーザがコンピュータ装置100に接触することに応じて、コンピュータ装置100は、例
えば、仮想地図上の特定の場所を拡大するように構成される第3のユーザインターフェー
スレベルをアクティブ化してもよい。従って、コンピュータ装置100は、ユーザがコン
ピュータ装置100の異なる距離範囲内でジェスチャを行うことを検出することに応じて
、仮想地図に関係付けられる異なるユーザインターフェースレベルをアクティブ化しても
よい。
/又はジェスチャに少なくとも部分的に基づいて出力する触覚効果を決定するように構成
される。このような触覚効果は、例えば、ユーザが相互作用している特定のユーザインタ
ーフェースレベル及び/又はユーザがユーザインターフェースレベルを切り替えたことを
ユーザに通知するように構成されてもよい。例えば、コンピュータ装置100は、第2の
ユーザインターフェースレベルをアクティブ化することに関係付けられる第2の触覚効果
から明確に区別できる第1のユーザインターフェースレベルをアクティブ化ことに応じて
第1の触覚効果を出力してもよい。区別可能な触覚効果は、ユーザがユーザインターフェ
ースレベルを切り替えたことをユーザに通知してもよい。
ャを検出した精度を示すように構成される触覚効果を出力するように構成される。例えば
、コンピュータ装置100は、ジェスチャが行われるときに低い精度を有するジェスチャ
(又は、例えば、ユーザの特定の位置等のジェスチャの一部)がコンピュータ装置100
から遠距離にあることを検出してもよい。例えば、ジェスチャがコンピュータ装置100
から1メートルの距離で行われると、コンピュータ装置100は、実際の位置の1センチ
メートル内にジェスチャに関係付けられる位置を検出してもよい。ジェスチャがコンピュ
ータ装置100から1センチメートルの距離にある場合、コンピュータ装置100は、実
際の位置の1ミリメートル内にジェスチャに関係付けられる位置を検出してもよい。一部
の実施形態では、コンピュータ装置100は、低い精度のジェスチャを検出することに応
じて、ユーザが曖昧と知覚する触覚効果を出力する。コンピュータ装置100は、高い精
度のジェスチャを検出することに応じて、ユーザが鋭敏と知覚する触覚効果を出力しても
よい。一部の実施形態では、コンピュータ装置100は、低い精度のジェスチャを検出す
ることに応じて、ユーザの体の広い表面積に触覚効果を出力する。コンピュータ装置10
0は、高い精度のジェスチャを検出することに応じて、ユーザの体の小さな表面積に触覚
効果を出力し得る。
ある。コンピュータ装置201は、ラップトップコンピュータ、デスクトップコンピュー
タ、ゲームコントローラ、ゲームパッド、リモートコントロール、医療装置、車載コンピ
ュータ(例えば、ステレオ、HVAC、照明、ナビゲーション、又は他の車両機能等の1
つ以上の自動車システム又は装置を制御するためのコンピュータ)、ワンド、スタイラス
、ペン、及び/又は携帯型ゲーム装置を含んでもよい。一部の実施形態では、コンピュー
タ装置201は、装着可能装置(例えば、指輪、靴、アームバンド、袖、ジャケット、眼
鏡、手袋、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び/又
は宝石類)を含み、ユーザにより身に着けられ及び/又はユーザの体に結合されるように
構成される。
202、ネットワークインターフェース装置210、触覚出力装置218、センサ230
、位置センサ232、タッチセンサ面216等)は単一の筐体に組み込まれてもよい。他
の実施形態では、コンポーネントは、(例えば、多数の筐体又は場所の間で)分散され且
つ互いと電気通信してもよい。コンピュータ装置201は、図2に記載の全てのコンポー
ネントを含んでもよく又は含まなくてもよい。例えば、一部の実施形態では、コンピュー
タ装置はセンサ230を含まなくてもよい。
接続されるプロセッサ202を含む。RAM、ROM又はEEPROM等の任意の適切な
有形の(及び非一時的な)コンピュータ可読媒体を含み得るメモリ204が、コンピュー
タ装置201の動作を構成するプログラムコンポーネントを具現化してもよい。一部の実
施形態では、コンピュータ装置201は、1つ以上のネットワークインターフェース装置
210、入力/出力(I/O)インターフェースコンポーネント212、及び追加の記憶
装置214を更に備えてもよい。
装置間での通信を容易にする1つ以上の任意のコンポーネントを表し得る。限定されない
が、例示には、イーサネット(Ethernet(登録商標))、USB、IEEE13
94等の有線インターフェース、及び/又はIEEE802.11、ブルートゥース(B
luetooth(登録商標))、近距離無線通信(NFC)インターフェース等の無線
インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェー
ス(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)
が含まれる。
ーボード、マウス、スピーカ、マイクロホン、ボタン、及び/又はデータの入力又は出力
に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。
記憶装置214は、読み取り専用メモリ、フラッシュメモリ、強誘電性RAM(F−RA
M)、磁気、光学、又はコンピュータ装置201に含まれ若しくはプロセッサ202に結
合される他の記憶媒体等の不揮発性記憶装置を表す。
は、タッチセンサ面216は可撓性が有り又は変形可能である。タッチセンサ面216は
、ユーザの触覚入力を感知するように構成される任意の表面を表す。1つ以上のタッチセ
ンサ208は、(例えば、ユーザの指又はスタイラス等のオブジェクトがタッチセンサ面
216に接触する場合に)接触領域における接触を検出して、プロセッサ202に接触に
関係付けられる信号を送信するように構成される。任意の適切な数、種類、又は配置のタ
ッチセンサ208が使用され得る。例えば、一部の実施形態では、抵抗性及び/又は容量
性のセンサが、タッチセンサ面216に組み込まれて、タッチの場所及びタッチの圧力、
速さ、及び/又は方向等の他の情報を決定するために使用されてもよい。一部の実施形態
では、容量性センサは、(例えば、タッチセンサ面216に組み込まれた)タッチセンサ
208へのユーザの指の近接性を検出してもよい。例えば、タッチセンサ208は、ユー
ザの指がタッチセンサ208に接近するときの静電容量の変化を検出するように構成され
る容量性センサを含んでもよい。タッチセンサ208は、静電容量の変化に基づいてタッ
チセンサ208の特定の距離内にユーザの指が有るかどうかを決定してもよい。
ば、タッチ位置を決定するために、タッチセンサ面216のビューを備える光学センサが
使用されてもよい。別の例示として、タッチセンサ208は、ディスプレイの側部に取り
付けられるLED(Light Emitting Diode)指検出器を含んでもよ
い。一部の実施形態では、タッチセンサ208は、ユーザ相互作用の複数の態様を検出す
るように構成されてもよい。例えば、タッチセンサ208は、ユーザ相互作用の速さ、圧
力及び方向を検出して、この情報をプロセッサ202に送信される信号に組み込んでもよ
い。
ィスプレイを組み合わせたタッチ可能ディスプレイを含んでもよい。タッチセンサ面21
6は、ディスプレイ外部又はディスプレイのコンポーネント上の1つ以上の材料層に対応
してもよい。他の実施形態では、コンピュータ装置201の特定の構成によっては、タッ
チセンサ面216はディスプレイを含まなくてもよい(さもなければ、ディスプレイに対
応しなくてもよい)。
複数の)センサ230は、プロセッサ202にセンサ信号を送信するように構成される。
(複数の)センサ230は、例えば、距離センサ、深度センサ、バイオセンサ、カメラ、
及び/又は温度センサを含んでもよい。コンピュータ装置201は、センサ230からの
センサ信号に少なくとも部分的に基づいて1つ以上の触覚効果を決定してもよい。例えば
、一部の実施形態では、コンピュータ装置201は、触覚効果が適用されるユーザの体の
一部の1つ以上の特徴を決定するために(複数の)センサ230からのデータを使用して
もよい。コンピュータ装置201は、例えば、知覚される触覚効果の品質を改善する及び
/又はユーザの損傷を防ぐために、体の部分に基づいて触覚効果の1つ以上の特徴を決定
してもよい。
行する。コンピュータ装置201は、仮想爆発等のゲームイベントに応じて触覚効果(例
えば、リモート触覚効果)を出力するように構成されてもよい。一部の実施形態では、コ
ンピュータ装置201は、センサ230(例えば、ユーザの体を観察するカメラ)からの
1つ以上の画像を受信してもよい。コンピュータ装置201は、画像を分析して、触覚効
果のためのユーザの体上の目的地が、例えば、髪を含むことを決定してもよい。一部の実
施形態では、ユーザは、髪を含む体の部分上の触覚効果を髪の無い体の部分上にあるもの
よりも弱いと知覚してもよい。このような実施形態では、コンピュータ装置201は、検
出された髪に基づいて触覚効果を決定して出力してもよい。例えば、コンピュータ装置2
01は、増加する振幅を含む触覚効果を決定して出力してもよい。これは、ユーザによっ
て知覚される触覚効果の品質を改善してもよい。
、投射された/リモート触覚効果)が加えられる体の部分は、例えば、特に敏感な体の部
分(例えば、眼又は耳)を含むことを決定してもよい。例えば、コンピュータ装置201
は、センサ230からの1つ以上の画像を分析して、画像に基づいて、コンピュータ装置
201が特定の体の部分に触覚効果を出力することを決定してもよい。コンピュータ装置
201は、例えば、ルックアップテーブル及び/又はアルゴリズムを使用して、特定の体
の部分は敏感な体の部分を含むことを決定してもよい。例えば、コンピュータ装置201
は、特定の体の部分を対応する感受性レベルにマッピングするためにルックアップテーブ
ルを使用してもよい。それに応じて、コンピュータ装置201は、体の一部への損傷の可
能性を防ぐ及び/又は低減するように構成される1つ以上の特徴(例えば、タイプ、振幅
、波形、周波数又は他の特性)を有する触覚効果を決定してもよい。
よい。一部の実施形態では、コンピュータ装置201は、ユーザの耳の上等、ユーザを這
う昆虫をシミュレートするように構成される触覚効果を決定して出力してもよい。例えば
、コンピュータ装置は、ユーザの耳の上の昆虫をシミュレートするために、ユーザの耳に
向かって放出される空気の吹き出し(又は超音波)を含むリモート触覚効果を決定しても
よい。一部の実施形態では、コンピュータ装置201は、ユーザの耳が敏感な体の部分で
あることを決定してもよい。それに応じて、コンピュータ装置201は、耳を損傷する可
能性を減らすように触覚効果の特性を変更してもよい。例えば、コンピュータ装置201
は、ユーザの聴覚を損傷する可能性を減らすために、空気の吹き出し(又は超音波)の振
幅又は強度を低減してもよい。
事ゲームを実行していてもよい。仮想キャラクタが撃たれることに応じて、コンピュータ
装置201は、仮想キャラクタが撃たれた場所に関係付けられるユーザの体の部分に触覚
効果(例えば、リモート触覚効果)を出力するように構成されてもよい。例えば、コンピ
ュータ装置201は、仮想キャラクタが撃たれた場所に関係付けられるユーザの体の部分
に向かって硬質材料(例えば、プラスチックペレット)を投射するように構成されてもよ
い。これは銃撃をシミュレートしてもよい。一部の実施形態では、コンピュータ装置20
1は、触覚効果がユーザの眼等のユーザの体の敏感な部分に加えられる又は投射されるこ
とを決定してもよい。それに応じて、一部の実施形態では、コンピュータ装置201は、
触覚効果をあるタイプ(例えば、プラスチックペレット等の硬質材料の発射を含むリモー
ト触覚効果)から別のタイプ(例えば、空気の噴出等のガスの放出を含むリモート触覚効
果)に変更してもよい。これは、ユーザの眼を損傷させる可能性を低減し得る。
れる又は投射される危険性が有ることを決定してもよい。例えば、上記の軍事ゲームの実
施形態では、コンピュータ装置201は、ユーザの鼻に向かって投射されるように構成さ
れるリモート触覚効果を決定してもよい。例えば、コンピュータ装置201は、ユーザの
仮想キャラクタの鼻が撃たれることに応じてユーザの鼻に向かってプラスチックペレット
が投射されることを決定してもよい。しかし、コンピュータ装置201は、ユーザが移動
しており、投射された材料がユーザの眼等の敏感な体の部分に接触し得る可能性が増加し
ていることを決定してもよい。それに応じて、コンピュータ装置201は、触覚効果をあ
るタイプ(例えば、プラスチックペレット等の硬質材料の発射を含むリモート触覚効果)
から別のタイプ(例えば、発泡体等の柔軟性材料の発射を含むリモート触覚効果)に変更
してもよい。これは、敏感な体の部分を損傷させる可能性を低減し得る。
、ユーザの皮膚温度)を検出するように構成されてもよい。一部の実施形態では、コンピ
ュータ装置201は、温度に基づいて触覚効果の特性を修正してもよい。例えば、コンピ
ュータ装置201は、仮想爆発等のゲームイベントに応じて、ユーザの体の少なくとも一
部(例えば、ユーザの腹)に熱を加えることを含む触覚効果を出力するように構成されて
もよい。このような実施形態では、コンピュータ装置201は、例えば、ユーザの体温が
閾値を超えていることを示すセンサ230からの信号に応じて、触覚効果が無いことを決
定してもよい。例えば、コンピュータ装置201は、ユーザの体が熱過ぎることを決定す
ることに応じて、触覚効果を出力しなくてもよい。これは、ユーザが損傷(例えば、熱中
症)を受ける可能性を防ぐ及び/又は低減してもよい。
位置センサ232は、カメラ、3Dイメージングシステム(例えば、Microsoft
Kinect(R)の商標で販売されている3Dイメージングシステム)、深度センサ、
超音波トランスデューサ、加速度計、ジャイロスコープ、無線自動識別(RFID)タグ
又は読み取り機、屋内近接システム、NFC通信装置、グローバルポジショニングシステ
ム(GPS)装置、磁力計、無線インターフェース(例えば、IEEE802.11又は
Bluetooth(登録商標)インターフェース)、赤外線センサ、距離センサ、及び
/又はLEDベースのトラッキングシステムを含む。位置センサ232は、ユーザの体の
一部及び/又は物理オブジェクトの1つ以上の位置を検出して、プロセッサ202に1つ
以上の関連するセンサ信号を送信するように構成される。位置は、実空間における3次元
位置又はコンピュータ装置201に対する相対位置であり得る。一部の実施形態では、位
置センサ232は、例えば、ユーザの体の一部及び/又は物理オブジェクトの複数の検出
された3次元位置に基づいて、実空間における3次元ジェスチャを検出するように構成さ
れる。
号に基づいてジェスチャを決定するように構成される。例えば、ユーザはジェスチャ(例
えば、実空間におけるスワイプジェスチャ)を行ってもよい。コンピュータ装置201は
、(例えば、位置センサ232により撮られる)ジェスチャに関係付けられる複数のカメ
ラ画像を分析して、複数のカメラ画像に基づいてジェスチャの1つ以上の特徴(例えば、
ジェスチャのタイプ)を決定してもよい。例えば、プロセッサ202は、カメラ画像に基
づいてユーザが特定のタイプのジェスチャを行ったことを決定してもよい。別の例示とし
て、一部の実施形態では、位置センサ232は、ユーザにより装着される電子装置及び/
又はユーザの体に結合される(例えば、ユーザにより把持される)電子装置により発信さ
れる無線信号の強度を検出するように構成される無線インターフェースを備える。位置セ
ンサ232は、無線信号強度に関係付けられるセンサ信号をプロセッサ202に送信して
もよい。所定期間にわたり位置センサ232により検出された複数の異なる無線信号強度
に基づいて、プロセッサ202は、例えば、特定のジェスチャに関係付けられる特定のパ
ターンで電子装置が移動したことを決定してもよい。
コンピュータ装置201の外部に有り、コンピュータ装置201と有線又は無線で通信す
る。例えば、位置センサ2322は、装着可能装置(例えば、眼鏡又はネクタイ)に関係
付けられるカメラを含み、コンピュータ装置201と通信してもよい。別の例示として、
位置センサ232は、3Dイメージングシステム及び/又はコンピュータ装置201の外
部に(例えば、ユーザの家の棚に)配置されるLEDベースのトラッキングシステムを含
み、コンピュータ装置201と通信してもよい。
力装置218を含む。一部の実施形態では、単一の触覚出力装置218が、ローカル及び
リモート触覚効果の両方を出力するように構成される。触覚出力装置218は、触覚信号
に応答して触覚効果(例えば、リモート触覚効果及び/又はローカル触覚効果)を出力す
るように構成される。触覚効果は、例えば、温度の変化、ストロークの感覚、電気触知効
果、温度の変化、及び/又は表面変形(例えば、コンピュータ装置201に関係付けられ
る表面の変形)を含んでもよい。更に、一部の触覚効果は、同じ又は異なるタイプの複数
の触覚出力装置218を順番に及び/又は同時に使用してもよい。図2には単一の触覚出
力装置218が示されているが、実施形態では、触覚効果を生ずるために同じ又は異なる
タイプの複数の触覚出力装置218が使用されてもよい。
(例えば、イーサネット、USB、IEEE1394等の有線インターフェース、及び/
又はIEEE802.11、ブルートゥース、又はラジオインターフェース等の無線イン
ターフェースを介して)コンピュータ装置201と通信してもよい。例えば、触覚出力装
置218は、装着可能装置に関係付けられ(例えば、結合され)、プロセッサ202から
触覚信号を受信するように構成されてもよい。
成される。触覚出力装置218は、例えば、圧電アクチュエータ、電気モータ、電磁アク
チュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量
モータ(ERM)、線形共振アクチュエータ(LRA)、及び/又は静電引力及び電極間
の斥力により振動するように構成される複数の導電性電極の1つ以上を含んでもよい。
面の知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。一部の
実施形態では、触覚出力装置218は、超音波アクチュエータを含む。超音波アクチュエ
ータは、超音波周波数、例えば、20kHzで振動して、関係付けられた表面の知覚され
る係数を増加又は減少させてもよい。一部の実施形態では、超音波アクチュエータは、圧
電材料を含んでもよい。
を使用する。一部の実施形態では、静電触覚効果は、シミュレートされるテクスチャ、シ
ミュレートされる振動、ストロークの感覚、及び/又はコンピュータ装置201に関係付
けられる表面における知覚される摩擦係数の変化を含んでもよい。
い。一部の実施形態では、導電層は、任意の半導体又は他の導電材料、例えば、銅、アル
ミニウム、金、銀、グラフェン、カーボンナノチューブ、インジウムスズ酸化物(ITO
)、プラチナ、ポリ(3,4−エチレンジオキシチオフェン)ポリスチレン・スルホン酸
(“PEDOT:PSS)、又はこれらの任意の組み合わせを含んでもよい。一部の実施
形態では、絶縁層は、ガラス、プラスチック、ポリマー、シリカ、パリレン、カプトンテ
ープ、二酸化ケイ素(SiO2)、酸化アルミニウム(Al2O3)、窒化ケイ素(Si
3N4)、又はこれらの任意の組み合わせを含んでもよい。更に、プロセッサ202は、
導電層に電気信号、例えば、AC信号を加えることによって触覚出力装置218を動作さ
せてもよい。一部の実施形態では、高電圧増幅器がAC信号を生成してもよい。電気信号
は、導電層と触覚出力装置218に近接する又は接触するオブジェクト(例えば、ユーザ
の指、頭、足、腕、肩、脚、若しくは体の他の部分、又はスタイラス)との間に容量結合
を生成してもよい。オブジェクトと導電層との間の引力レベルの変化は、ユーザによって
知覚される触覚効果を変化させることができる。
構成で配置されてもよい。例えば、複数の電極は、複数の電極ストリップを含んでもよい
。電極ストリップは、対角パターン、水平パターン、垂直パターン、又はコンピュータ装
置201の1つ以上の表面を横断する別のパターンで配置されてもよい。別の例示として
、1つ以上の電極は、円形、三角形、楕円形、正方形、長方形、又は他の形状を含んでも
よい。例えば、電極の外周又は周囲は、円形、三角形、楕円形、正方形、長方形、又は他
の形状を含んでもよい。複数の電極は、任意の構成で配置され、任意の数の形状を含む任
意の数の電極を含んでもよい。一部の実施形態では、プロセッサ202は、複数の電極の
全て又はサブセットに電気信号を印加することによって触覚出力装置218を作動させる
ことができる。電気信号は、電極と電極に近い又は接触しているオブジェクトとの間の容
量結合を生成してもよい。ユーザは、この容量結合を触覚効果として知覚してもよい。
F効果は、ユーザの体の一部(例えば、指)が触覚出力装置218に関係付けられる表面
に対して移動すると、ユーザに知覚可能な静電触覚効果を含んでもよい。例えば、動的E
SF効果は、ユーザが触覚出力装置218の絶縁層の表面に沿って指をスライドさせると
、ユーザに知覚可能であってもよい。別の例示として、動的ESF効果は、コンピュータ
装置201がユーザの体に対して移動すると(例えば、ユーザが静止している間に)ユー
ザに知覚可能であってもよい。
ネント(例えば、ボタン、スライダ、ノブ等)を含むグラフィカルユーザインターフェー
ス(GUI)をタッチスクリーンディスプレイ上に出力してもよい。例えば、GUIは仮
想ボタンを含んでもよい。ユーザインターフェースのコンポーネントは、プラスチックテ
クスチャ等の仮想テクスチャを含んでもよい。一部の実施形態では、コンピュータ装置2
01は、ユーザインターフェースコンポーネントに関係付けられるタッチスクリーンディ
スプレイ上の場所をユーザが指でスライドすることに応じて触覚効果を出力してもよい。
触覚効果は、例えば、プラスチックテクスチャをシミュレートするように構成される動的
ESF効果を含んでもよい。
ーザが触覚出力装置218に関係付けられる表面に対して(例えば、横切って又は垂直に
)体の一部を動かさなくてもユーザに知覚可能な静電触覚効果を含んでもよい。例えば、
ユーザは、表面で実質的に静止していても触覚効果を知覚してもよい。更に、ユーザは、
静的ESF効果を知覚するために表面に接触する必要が全く無くてもよい。例えば、上記
のGUIの実施形態では、コンピュータ装置201は、タッチスクリーンディスプレイ上
で及びユーザインターフェースコンポーネント上でユーザが指をホバーすることに応じて
静的ESF触覚効果を出力してもよい。一部の実施形態では、静的ESF効果は、例えば
、振動感覚を生成するために、静電力を使用してユーザの体の一部(例えば、指)を反復
的に引き付け及び反発することを含む。触覚効果は、例えば、有効化されたボタン又は無
効化されたボタン上にユーザが接近している及び/又はホバーしていることをユーザに通
知してもよい。
る変形装置を含む。変形触覚効果は、コンピュータ装置201に関係付けられる表面の部
分を***又は下降させることを含んでもよい。例えば、変形触覚効果は、凹凸のあるテク
スチャを生成するためにコンピュータ装置201の表面の部分を***させることを含んで
もよい。一部の実施形態では、変形触覚効果は、コンピュータ装置201に関係付けられ
る表面を折り曲げ、折り畳み、丸め、捻り、絞り、屈曲させ、形状変化させ、又はそれ以
外の変形をさせることを含んでもよい。例えば、変形触覚効果は、コンピュータ装置20
1(又はコンピュータ装置201に関係付けられる表面)に力を加えて、それを折り曲げ
、折り畳み、丸め、捻り、絞り、屈曲し、形状変化し、又はそれ以外の変形をすることを
引き起こしてもよい。例えば、ユーザがコンピュータ装置201に接近することに応じて
、コンピュータ装置201は、コンピュータ装置201をユーザに向かって曲げるように
構成される触覚効果を出力してもよい。これは、ユーザがコンピュータ装置201に接近
して最終的に接触するときにユーザに提供される実質的に連続的な触覚フィードバックの
少なくとも一部であってもよい。
コンピュータ装置201に関係付けられる表面を折り曲げ又は変形させるために)変形触
覚効果を出力するように構成される流体又は他の材料を含む。例えば、流体はスマートゲ
ルを含んでもよい。スマートゲルは、1つ又は複数の刺激(例えば、電界、磁界、温度、
紫外線、振動、又はpH変化)に応じて変化する機械又は構造的特性を有する材料を含む
。例えば、刺激に応じて、スマートゲルは、剛性、容量、透明性、及び/又は色を変化さ
せてもよい。一部の実施形態では、剛性は、コンピュータ装置201に関係付けられる表
面の変形に対する抵抗を含んでもよい。一部の実施形態では、1つ以上のワイヤがスマー
トゲルに組み込まれ又は結合されてもよい。電流がワイヤを流れるので、熱が放射されて
、スマートゲルを拡張又は収縮させる。これがコンピュータ装置201又はコンピュータ
装置201に関係付けられる表面を変形させてもよい。
もよい。レオロジー流体は、液体(例えば、油又は水)中に懸濁している金属粒子(例え
ば、鉄粒子)を含む。電界又は磁界に応じて、流体中の分子の秩序が再編成されて、それ
により流体の全体的な制動及び/又は粘度が変更されてもよい。これがコンピュータ装置
201又はコンピュータ装置201に関係付けられる表面を変形させてもよい。
施形態では、触覚出力装置218は、変形要素を回転させるアームに結合されるアクチュ
エータを含んでもよい。変形要素は、例えば、楕円形、星形、又は波形形状を含んでもよ
い。変形要素は、所定の回転角度でコンピュータ装置201に関係付けられる表面を動か
し、それ以外では動かさないように構成されてもよい。アクチュエータは、圧電アクチュ
エータ、回転/線形アクチュエータ、ソレノイド、電気活性ポリマアクチュエータ、MF
C(macro fiber composite)アクチュエータ、形状記憶合金(S
MA)アクチュエータ、及び/又は他のアクチュエータを含んでもよい。アクチュエータ
が変形要素を回転させると、変形要素は表面を動かして、それにより変形を引き起こして
もよい。このような実施形態では、変形要素は、表面が平坦になる位置で開始してもよい
。プロセッサ202から信号を受信することに応じて、アクチュエータは変形要素を回転
させてもよい。変形要素を回転させることによって、表面の1つ以上の部分が***させら
れ又は下降させられてもよい。一部の実施形態では、変形要素は、元の位置に戻るように
変形要素を回転させるようにプロセッサ202がアクチュエータに信号を送るまで、この
回転した状態で維持されてもよい。
で触覚効果を生成するための他の技術又は方法が用いられ得る。例えば、触覚出力装置2
18は、表面再構成可能な触覚基板(限定されないが、例えば、繊維、及びナノチューブ
を含む)からの接触に基づいて、その表面を変形させ又はそのテクスチャを変化させるよ
うに構成される可撓性表面層を含んでもよい。一部の実施形態では、触覚出力装置218
は、例えば、ワイヤに結合されるモータ、空気若しくはポケット、共振機械要素、微小電
気機械システム(“MEMS”)要素若しくはポンプ、熱流体ポケット、可変多孔性膜(
variable porosity membranes)、又は層流変調を使用して
変形させられ又は触覚効果を生成する。
ために)遠隔でユーザに触覚効果を投射するように構成される。例えば、触覚出力装置2
18は、ユーザ(例えば、ユーザの体の一部)に向かって材料(例えば、固体、液体、ガ
ス、又はプラズマ)を放出するように構成される1つ以上の噴射を含んでもよい。このよ
うな実施形態では、触覚出力装置218は、触覚信号を受信すると様々な特徴を有する酸
素、窒素、又は別のガスの吹き出し又は流れを放出するように構成されるガス噴射を含む
。別の例示として、触覚出力装置218は、ユーザの方向に圧力波を投射するように構成
される1つ以上の超音波トランスデューサ又はスピーカを含んでもよい。このような実施
形態では、プロセッサ202は、実空間でユーザがジェスチャを行うことに応じてユーザ
に向かって集中圧力波を触覚出力装置218に放出させてもよい。集中圧力波は、ユーザ
の体の一部(例えば、ユーザの指)を振動させてもよい。ユーザは、この振動を触覚効果
として知覚してもよい。
あってもよい。他の実施形態では、触覚出力装置218は、コンピュータ装置201に関
係付けられる表面(例えば、コンピュータ装置201の前又は背後)を覆う可撓性筐体の
中に収容されてもよい。一部の実施形態では、触覚出力装置218は、それ自体が可撓性
であってもよい。
効果を与えるために一部の実施形態では、装置がどのように構成され得るかを示すように
描かれている。一部の実施形態では、ジェスチャ検出モジュール224は、例えば、ユー
ザによるジェスチャを決定するためにプロセッサ202により使用可能な1つ以上のアル
ゴリズム又はルックアップテーブルを含む。
の接触を検出するためのコードを含む。例えば、このような実施形態では、ジェスチャ検
出モジュール224は、ユーザがタッチセンサ面216に接触したかどうかを決定するた
めにタッチセンサ208をサンプリングしてもよい。別のこのような実施形態では、ジェ
スチャ検出モジュール224は、位置センサ232からの複数の写真を分析して、ユーザ
の体の一部に対応するピクセルがコンピュータ装置201に関係付けられるピクセルをオ
ーバレイするかどうかを決定してもよい。そうであれば、ジェスチャ検出モジュール22
4は、例えば、ユーザがコンピュータ装置201に接触していることを決定してもよい。
対するユーザの位置を決定するためにネットワークインターフェース装置210を介して
受信したデータを分析するコードを含む。例えば、一部の実施形態では、ユーザは、GP
Sセンサを含むスマートリング又はスマートウォッチ等の装置を装着していてもよい。こ
のような実施形態では、装置は、装置のGPS位置(例えば、ユーザの体の一部のGPS
位置)に関係付けられる信号をコンピュータ装置201に送信するように構成されてもよ
い。一部の実施形態では、ジェスチャ検出モジュール224は、装置からGPS位置を受
信して、そのGPS位置を(例えば、センサ230により検出される)コンピュータ装置
201のGPS位置と比較するコードを含む。これは、コンピュータ装置201に対する
装置(例えば、ユーザ)の位置をコンピュータ装置201が決定することを可能にしても
よい。ジェスチャ検出モジュール224は、位置に基づいてジェスチャを決定するコード
を含んでもよい。
するプログラムコンポーネントを表す。触覚効果決定モジュール226は、1つ以上のア
ルゴリズム又はルックアップテーブルを使用して出力する1つ以上の触覚効果を選択する
コードを含んでもよい。一部の実施形態では、触覚効果決定モジュール226は、検出さ
れたジェスチャに基づいて出力する1つ以上の触覚効果を決定するコードを含む。例えば
、プロセッサ202は、特定のジェスチャを空気の吹き出し又は静電触覚効果等の特定の
触覚効果にマッピングするために触覚効果決定モジュール226に記憶されたルックアッ
プテーブルにアクセスしてもよい。
実質的に連続的な触覚フィードバックを提供するために、1つ以上の触覚出力装置218
を使用して出力する複数の触覚効果を決定するコードを含む。例えば、触覚効果決定モジ
ュール226は、ユーザがコンピュータ装置201に接近及び接触するときに実質的に連
続的な触覚フィードバックを提供するために互いと組み合わせて使用される複数の利用可
能な触覚出力装置の中から2つ以上の異なる触覚出力装置を選択するコードを含んでもよ
い。
02に触覚信号を生成させて触覚出力装置218へと送信させるプログラミングを表す。
例えば、触覚効果生成モジュール228は、所望の触覚効果を生成するために、記憶され
た波形又はコマンドにアクセスして、触覚出力装置218に送信してもよい。一部の実施
形態では、触覚効果生成モジュール228は、触覚信号を決定するためのアルゴリズムを
含んでもよい。更に、一部の実施形態では、触覚効果生成モジュール228は、触覚効果
に対する目標座標(例えば、触覚効果を出力するユーザの体上の場所に対する座標)を決
定するためのアルゴリズムを含んでもよい。
,228が描かれているが、一部の実施形態では、モジュール224,226,228は
ハードウェアを含んでもよい。例えば、モジュール224,226,228は、アナログ
からデジタルへの変換器、プロセッサ、マイクロコントローラ、比較器、増幅器、トラン
ジスタ、及び他のアナログ又はデジタル回路を含んでもよい。
た、システム300は、装着可能コンピュータ装置302、把持可能コンピュータ装置3
04、位置センサ316、及び/又はネットワーク314に接続されるリモート触覚出力
装置318を含む。装着可能コンピュータ装置302及び/又は把持可能コンピュータ装
置は、図2のコンピュータ装置201と実質的に同じように構成されてもよい。
置318は、互いと直接通信してもよく、及び/又はネットワーク314を介して互いと
通信してもよい。例えば、装着可能コンピュータ装置302は、(例えば、Blueto
oth(登録商標)を使用して)把持可能コンピュータ装置304と直接無線で通信して
もよい。
置302、把持可能コンピュータ装置304、位置センサ316、及び/又はリモート触
覚出力装置318を使用して、ジェスチャの間中、実質的に連続的な触覚フィードバック
を提供することができる。例えば、一部の実施形態では、装着可能コンピュータ装置30
2、把持可能コンピュータ装置304、位置センサ316及びリモート触覚出力装置31
8は、例えば、ユーザがトリガ306、ジョイスティック308、ボタン310及び/又
は方向パッド312等の把持可能コンピュータ装置304のユーザインターフェースコン
ポーネントに接近し、接触し、及び/又はそれから指を持ち上げると、実質的に連続的な
触覚フィードバックをユーザに提供するように協働する。
仮想現実ヘッドセットを装着しており、ユーザの視界が実質的にブロックされていてもよ
い。このような実施形態では、システム300は、例えば、さもなければユーザが見るこ
とができないかもしれない把持可能コンピュータ装置304にユーザを導くために、ユー
ザが把持可能コンピュータ装置304に接近して最終的に手に取ると実質的に連続的な触
覚フィードバックを出力するように構成されてもよい。例えば、位置センサ316は、ユ
ーザが把持可能コンピュータ装置304に接近していることを検出して、装着可能コンピ
ュータ装置302及び/又はリモート触覚出力装置318に関連するセンサ信号を送信し
てもよい。それに応じて、装着可能コンピュータ装置302及び/又はリモート触覚出力
装置318は、例えば、ユーザが把持可能コンピュータ装置304に接近すると振幅が減
少する触覚効果を出力してもよい。ユーザが把持可能コンピュータ装置304に最終的に
接触することに応じて、把持可能コンピュータ装置304は振動等の触覚効果を出力して
もよい。一部の実施形態では、システム300の様々なコンポーネントからの触覚効果の
組み合わせは、例えば、ユーザを把持可能コンピュータ装置304に導くためにユーザに
実質的に連続的な触覚フィードバックを提供してもよい。
つ以上の触覚効果を出力するように構成される。例えば、ユーザは、ビデオゲームをプレ
イするために把持可能コンピュータ装置304を握ってもよい。システム300は、ユー
ザの体の一部が把持可能コンピュータ装置304の特定のユーザインターフェースコンポ
ーネントに接触していないがホバーしていることを検出してもよい。それに応じて、一部
の実施形態では、システム300は、ユーザに向かって(例えば、トリガ306上でユー
ザの指の裏に向かって)触覚効果を出力してもよい。触覚効果は、例えば、ユーザインタ
ーフェースコンポーネントの特徴をユーザに通知するように構成されてもよい。例えば、
このような実施形態では、触覚効果は、ユーザインターフェースコンポーネントが有効に
されているかどうか等、ユーザインターフェースコンポーネントのタイプ、場所、機能及
び/又は状態をユーザに通知してもよい。これは、例えば、特定のユーザインターフェー
スがユーザインターフェースコンポーネントに物理的に接触せずに有効にされているかど
うかをユーザが決定できるようにし得る。
ポーネントをホバーし、接近して最終的に接触するときに連続的な触覚フィードバックを
提供するように構成される。一部の実施形態では、システム300は、追加的に又は代替
的に、(例えば、ユーザインターフェースコンポーネントと相互作用した後で)ユーザが
ユーザインターフェースコンポーネントから指を遠ざけると連続的な触覚フィードバック
を提供するように構成される。ユーザがユーザインターフェースコンポーネントから遠ざ
かるときに出力される触覚フィードバックは、ユーザがユーザインターフェースコンポー
ネントに接近及び/又は接触するときに出力される触覚フィードバックとは異なっていて
もよい。例えば、システム300は、ユーザがユーザインターフェースコンポーネントか
ら遠ざかると、ユーザインターフェースコンポーネントがもはや有効にされていないこと
をユーザに示すように構成される触覚フィードバックを出力してもよい。
ーフェースレベルを有するユーザインターフェースを(例えば、ディスプレイを介して)
出力する。例えば、システム300は、ユーザインターフェースを含むビデオゲームを実
行してもよい(例えば、把持可能コンピュータ装置304自体がビデオゲームを実行して
もよい)。ビデオゲームは、仮想レーザ銃等の仮想オブジェクトを含んでもよい。一部の
実施形態では、システム300は、第1のジェスチャ(例えば、ユーザが把持可能コンピ
ュータ装置304に対して体の一部及び/又は物理オブジェクトを第1の位置に配置する
こと)に応じてユーザがユーザインターフェースの第1のユーザインターフェースレベル
とユーザ相互作用すること及び/又はそれをアクティブ化することを検出してもよい。例
えば、システム300は、ユーザが把持可能コンピュータ装置304のトリガ306上を
指でホバーすることに応じてユーザが第1のユーザインターフェースレベルと相互作用す
ること及び/又はそれをアクティブ化することを検出してもよい。一部の実施形態では、
システム300は、第1のユーザインターフェースレベルに関係付けられる機能(例えば
、弾薬マガジンを仮想レーザ銃に装填すること)を実行してもよい。追加的に又は代替的
に、システム300は、弾薬マガジンを仮想レーザ銃に装填することをシミュレートする
ように構成される触覚効果等、第1のユーザインターフェースレベルに関係付けられる触
覚効果を出力してもよい。
04に対して体の一部を第2の位置に配置することに応じてユーザが第2のユーザインタ
ーフェースレベルとユーザ相互作用すること及び/又はそれをアクティブ化することを検
出してもよい。例えば、システム300は、ユーザが把持可能コンピュータ装置304に
より接近してトリガ306上を指でホバーすることに応じてユーザが第2のユーザインタ
ーフェースレベルと相互作用すること及び/又はそれをアクティブ化することを検出して
もよい。一部の実施形態では、システム300は、第2のユーザインターフェースレベル
に関係付けられる機能(例えば、仮想レーザ銃を充電すること)を実行してもよい。シス
テム300は、追加的に又は代替的に、仮想レーザ銃を充電することをシミュレートする
ように構成される触覚効果等、第2のユーザインターフェースレベルに関係付けられる触
覚効果を出力してもよい。
04に対して体の一部を第3の位置に配置することに応じてユーザが第3のユーザインタ
ーフェースレベルとユーザ相互作用すること及び/又はそれをアクティブ化することを検
出してもよい。例えば、システム300は、ユーザが把持可能コンピュータ装置304の
トリガ306を押すことに応じてユーザが第3のユーザインターフェースレベルと相互作
用すること及び/又はそれをアクティブ化することを検出してもよい。一部の実施形態で
は、システム300は、第3のユーザインターフェースレベルに関係付けられる機能(例
えば、仮想レーザ銃を発砲すること)を実行してもよい。システム300は、追加的に又
は代替的に、仮想レーザ銃を発砲することをシミュレートするように構成される触覚効果
等、第3のユーザインターフェースレベルに関係付けられる触覚効果を出力してもよい。
従って、ユーザは、特定のユーザインターフェースコンポーネント上の異なる場所に体の
一部を配置することによって、複数の機能を実行可能であってもよい。これは、ユーザに
より直感的且つ簡易化された体験を提供してもよい。
。システム400は車両を含む。車両は(例えば、車両の内部に)コンピュータ装置を含
む。図4における車両は自動車を含み、他の実施形態では、車両はトラック、ボート、飛
行機、オートバイ等を含んでもよい。
ョイスティック、ボタン、トリガ、スイッチ、ノブ、タッチセンサ面等)と通信する。図
4に示された例では、コンピュータ装置は、タッチスクリーンディスプレイ402及び複
数のボタン406と通信する。また、システム400は、位置センサ404及び触覚出力
装置も備える。触覚出力装置は、ユーザにローカル及び/又はリモート触覚効果を提供す
るように構成される。
ィードバック(例えば、実質的に連続的な触覚フィードバック)をユーザに提供するよう
に構成される。例えば、コンピュータ装置は、オーディオ音量、ラジオ局、空調又は暖房
レベル、及び/又はGPSナビゲーション設定等の1つ以上の車両設定を変更するように
構成されるGUIをタッチスクリーンディスプレイ402を介して出力してもよい。一部
の実施形態では、コンピュータ装置は、ユーザがGUIの特定の仮想オブジェクト(例え
ば、オーディオ音量を調節するための仮想ボタン)に接近し、接触し、及び/又はそれか
ら遠ざかるときに実質的に連続的な触覚フィードバックをユーザに提供するように構成さ
れる。このような実施形態では、コンピュータ装置は、ユーザが仮想オブジェクト上でも
はやジェスチャを行っていない(指でホバーしていない)こと及び/又は仮想オブジェク
トとユーザとの距離が閾値を超えること(例えば、ユーザが仮想オブジェクトから十分に
遠ざかったこと)を検出することに応じて触覚フィードバックの出力を停止してもよい。
一部の実施形態では、このような連続的な触覚フィードバックは、ユーザが、タッチスク
リーンディスプレイに視覚的に焦点を合わせることなく、所望のユーザインターフェース
コンポーネントを見つけること及び/又はコンピュータ装置と安全に相互作用することを
可能にし、それにより事故又は損傷を防ぐことができる。
めにGUIに出力された仮想ボタン上でユーザが(例えば、指で)ジェスチャを行うこと
を検出するように構成される。それに応じて、コンピュータ装置は、例えば、ユーザが特
定の仮想オブジェクト上でジェスチャを行っていることをユーザに通知するように構成さ
れるリモート触覚効果(例えば、超音波圧力波)を出力するように構成される。一部の実
施形態では、コンピュータ装置は、ユーザが仮想ボタンに接近することを検出することに
応じてリモート触覚効果を出力し続けるように構成される。このような実施形態では、コ
ンピュータ装置は、例えば、ユーザが実質的に一定の振幅を有するリモート触覚効果を知
覚するように、リモート触覚効果の強度を変調してもよい。従って、ユーザは、例えば、
リモート触覚効果の発信源に近づいているとしても、実質的に一定の振幅を有するように
リモート触覚効果を知覚してもよい。一部の実施形態では、コンピュータ装置は、(例え
ば、タッチスクリーンディスプレイ402及び/又は位置センサ404を介して)ユーザ
が仮想オブジェクトに接触することを検出するように構成される。それに応じて、コンピ
ュータ装置は、リモート触覚効果の出力を停止し、及び/又は、例えば、パルス振動を含
むローカル触覚効果を出力してもよい。これは、コンピュータ装置がユーザ入力を受信し
たことをユーザに確認してもよい。一部の実施形態では、コンピュータ装置は、例えば、
ユーザが体の一部を仮想オブジェクトから遠ざけていること及び/又はそれにもはや接触
していないことを検出するまで、ローカル触覚効果を連続的に出力するように構成される
。次に、コンピュータ装置は、例えば、ユーザと仮想オブジェクトとの間の距離が閾値を
超えるまで、1つ以上のリモート触覚効果を出力してもよい。
ジェクトを参照しているが、一部の実施形態では、コンピュータ装置は、ボタン406、
トリガ、スイッチ、ジョイスティック408、ノブ等の1つ以上の物理ユーザインターフ
ェースコンポーネントに対して行われるジェスチャに基づいて触覚効果を出力するように
構成されてもよい。
02を介して、複数のユーザインターフェースレベルを含むユーザインターフェースを出
力する。例えば、一部の実施形態では、コンピュータ装置は、車内のラジオに関係付けら
れるGUIを出力するように構成される。一部の実施形態では、ユーザは、タッチスクリ
ーンディスプレイ402上に出力される、ラジオ局スキャンボタン等の仮想ボタン上を指
でホバーすることによってユーザインターフェースの第1のユーザインターフェースレベ
ルと相互作用してもよい。一部の実施形態では、コンピュータ装置は、第1のユーザイン
ターフェースレベルに関係付けられる機能を実行してもよい。例えば、コンピュータ装置
は、「スキャンするには接近してホバーしてください、オフにするにはタップしてくださ
い」等の仮想ボタンに関係付けられる機能の記述を(例えば、タッチスクリーンディスプ
レイ402を介して)出力してもよい。コンピュータ装置は、例えば、物理的ボタンの存
在又は作動をシミュレートするように構成される触覚効果を出力してもよい。更に、一部
の実施形態では、ユーザは、仮想ボタンに接近してジェスチャを行うによって第2のユー
ザインターフェースレベルと相互作用してもよい。それに応じて、一部の実施形態では、
コンピュータ装置は、複数のラジオ局をスキャンするように構成される。更に、一部の実
施形態では、ユーザは、タッチスクリーンディスプレイ402(例えば、及び/又はそこ
に出力される仮想ボタン)に接触することによって第3のユーザインターフェースレベル
と相互作用してもよい。それに応じて、一部の実施形態では、コンピュータ装置は、ラジ
オをオフにするように構成される。従って、一部の実施形態では、コンピュータ装置は、
ユーザが様々なユーザインターフェースレベルと相互作用することに応じて多数の機能を
実行するように構成される。
システムは、ディスプレイ(例えば、タッチスクリーンディスプレイ)上に仮想オブジェ
クト506を出力するコンピュータ装置502(例えば、スマートフォン又はタブレット
)を含む。コンピュータ装置502は、例えば、火を含む仮想オブジェクト506を(例
えば、ディスプレイを介して)出力している。コンピュータ装置502は、(例えば、破
線矢印で示される)仮想オブジェクト506にユーザが接近する及び/又はそれから遠ざ
かる等のジェスチャを検出し、それに応じて触覚効果を出力するように構成される。触覚
効果は、ユーザにより現実的な及び/又は没入型の触覚体験を提供するように構成される
。例えば、触覚効果は、例えば、火の熱をシミュレートするように構成されてもよい。例
えば、図5に示された例では、コンピュータ装置502は、ユーザがコンピュータ装置5
02に接近することを検出することに応じて強度を増加すること及び/又はユーザがコン
ピュータ装置502から遠ざかることを検出することに応じて強度を減少することを含む
触覚効果(例えば、振動又は投射熱)を出力するように構成される。更に、一部の実施形
態では、コンピュータ装置502は、ユーザがコンピュータ装置502に接触することを
検出することに応じて、激しい振動又は衝撃の感覚等のローカル触覚効果を出力するよう
に構成される。一部の実施形態では、実質的に連続的なリモート及び/又はローカル触覚
効果の組み合わせは、火に対してユーザが移動するときに火の熱を増加又は減少する等、
仮想オブジェクトの特徴をより現実的にシミュレートし得る。
/又は力場を含む仮想オブジェクト506を(例えば、ディスプレイを介して)出力する
ように構成される。このような実施形態では、コンピュータ装置502は、ユーザがコン
ピュータ装置502に接近することを検出することに応じて強度を増加することを含む触
覚効果を出力してもよい。例えば、触覚効果は、ユーザの移動に抵抗するように構成され
る流体又はガスの流れを含んでもよい。これはユーザが仮想オブジェクトに接近すること
に抵抗してもよく、506例えば、磁気抵抗又は力場をシミュレートする。コンピュータ
装置502は、ユーザがコンピュータ装置502から遠ざかることを検出することに応じ
て強度を減少させることを含む触覚効果を出力してもよい。例えば、触覚効果は、コンピ
ュータ装置502から離れるユーザの移動を支援するように構成される流体又はガスの流
れを含んでもよい。これは、磁石の磁界及び/又は力場の効果をより現実的にシミュレー
トし得る。
、コンピュータ装置502は、アプリケーションを実行してもよい。アプリケーションは
、例えば、機能が中断されるとコンピュータ装置502に損傷を与え得る機能を実行して
もよい。一部の実施形態では、コンピュータ装置502は、(例えば、位置センサ504
を介して)ユーザがコンピュータ装置502に向かってジェスチャを行うことを検出し、
それに応じて、例えば、コンピュータ装置502に向かうユーザの動きに抵抗するように
構成されるリモート触覚効果を出力するように構成される。一部の実施形態では、コンピ
ュータ装置502は、ユーザがコンピュータ装置502に接近し続けると抵抗の強度及び
/又は量を増加してもよい。これは、ユーザがコンピュータ装置502と相互作用するべ
きではないことをユーザに示してもよい。一部の実施形態では、コンピュータ装置502
は、ユーザが最終的にコンピュータ装置502に接触することを検出し、それに応じて、
例えば、一連のパルス振動を含む触覚効果を出力するように構成される。これは、ユーザ
がコンピュータ装置502と相互作用するべきではないことをユーザに示してもよい。更
に、一部の実施形態では、コンピュータ装置502は、ユーザが(例えば、タッチスクリ
ーンディスプレイ上に出力される仮想ボタンに向かって)コンピュータ装置502の表面
を指でスライドすることを検出し、それに応じて、例えば、知覚される摩擦係数の増加を
含む触覚効果を出力するように構成される。これは、ユーザがコンピュータ装置502と
相互作用することを物理的により困難にしてもよい。触覚効果の組み合わせが、状態、特
性、及び/又はアプリケーションの他の特徴をユーザにより適切に通知してもよい。
なる深さで仮想オブジェクト506と相互作用すること及び/又は仮想オブジェクト50
6の異なる表面と相互作用することをシミュレートするように構成される複数のユーザイ
ンターフェースレベルを含むユーザインターフェースを出力する。例えば、仮想オブジェ
クト506は、桃等の仮想果物を含んでもよい。ユーザは、実空間における第1の場所で
ジェスチャを行うこと(例えば、体の一部を配置すること)により、外層等の仮想果物の
一部と相互作用してもよい。一部の実施形態では、コンピュータ装置502は、ジェスチ
ャを検出し、それに応じて、例えば、桃の産毛又は外皮をシミュレートするように構成さ
れる触覚効果を出力してもよい。更に、ユーザは、実空間における第2の場所でジェスチ
ャを行うことによって、内層等の仮想果物の別の部分と相互作用してもよい。第2の位置
は、第1の位置よりもコンピュータ装置502に近くてもよい。一部の実施形態では、コ
ンピュータ装置502は、第2の場所でジェスチャを検出し、それに応じて、例えば、グ
ニャグニャとした又は柔らかいテクスチャ等の果物の内部の特性をシミュレートするよう
に構成される触覚効果を出力してもよい。このようにして、コンピュータ装置502は、
異なるジェスチャに応じて仮想オブジェクト506の異なる表面及び/又は深さをシミュ
レートすることができる。
図6は、一実施形態による位置ベースの触覚効果を提供する方法を実行するためのステ
ップのフローチャートである。一部の実施形態では、図6のステップは、例えば、汎用コ
ンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコー
ドで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによ
って実装されてもよい。一部の実施形態では、図6に示される1つ以上のステップは省略
され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図6に示されない
追加のステップが実行されてもよい。以下のステップは図2に示されたコンピュータ装置
201に関して記載されたコンポーネントを参照して記載される。
、以下のステップはこのような実施形態に限定されず、ステップの任意の組み合わせが他
のタイプのアプリケーション及び/又は装置を介して実装され得る。
ピュータ装置201の)表面との接触及び表面との非接触を含むジェスチャに関係付けら
れるセンサ信号を受信する。例えば、プロセッサ202は、描画アプリケーションを実行
してもよい。ユーザは、例えば、描画アプリケーションにおいて1つ以上の描画操作を行
うために、コンピュータ装置201に向かってスタイラス(例えば、又はペン若しくは別
のオブジェクト)を動かしてもよい。位置センサ232(例えば、カメラ)は、スタイラ
スの動きに関係付けられる1つ以上の画像をキャプチャし、プロセッサ202に関連する
センサ信号を送信してもよい。このような実施形態では、画像は、スタイラスの一部等の
前景の特徴、及び椅子、テーブル、壁、机等の背景の特徴を含んでもよい。
的に基づいてユーザインターフェースレベルを決定する。一部の実施形態では、プロセッ
サ202は、ユーザインターフェースレベルを決定するためにメモリ204に含まれるプ
ログラミング、ルックアップテーブル、及び/又はアルゴリズムを利用するように構成さ
れる。例えば、プロセッサ202は、(ジェスチャに関係付けられる)実空間における位
置を描画アプリケーションの特定のユーザインターフェースレベルにマッピングするため
にルックアップテーブルを使用してもよい。例えば、プロセッサ202は、コンピュータ
装置101から遠距離にある実空間における第1の位置を、描画アプリケーションに出力
される描画の斜視図に関係付けられる第1のユーザインターフェースレベルにマッピング
し得る。プロセッサ202は、コンピュータ装置101から中距離にある第2の位置を、
描画アプリケーションに出力される描画の拡大及び/又は断面図に関係付けられる第2の
ユーザインターフェースレベルにマッピングし得る。
スレベルと関係付けてもよい。例えば、プロセッサ202は、ある特定のジェスチャを第
1のユーザインターフェースレベルと関係付け、別のジェスチャを第2のユーザインター
フェースレベルと関係付けてもよい。他の実施形態では、プロセッサ202は、複数のジ
ェスチャをユーザインターフェースレベルと関係付けてもよい。例えば、一部の実施形態
では、プロセッサ202は、(例えば、コンピュータ装置201の表面から4インチから
8インチの間の)コンピュータ装置201からの距離範囲内で行われる任意のジェスチャ
を、単一のユーザインターフェースレベルと関係付けてもよい。
相互作用を決定する。例えば、プロセッサ202は、ジェスチャの3次元開始位置及び/
又は終了位置に基づいて、ジェスチャがスワイプジェスチャ、ホバージェスチャ、又は別
のタイプのジェスチャを含むことを決定してもよい。プロセッサ202は、特定のタイプ
及び/又は場所のジェスチャを、線ツール、正方形ツール、ペイントブラシサイズ修正ツ
ール等をアクティブ化する等、描画アプリケーションに関係付けられる特定のユーザ相互
作用と相関させてもよい。
ル及び/又はユーザ相互作用に少なくとも部分的に基づいて機能を決定する。一部の実施
形態では、機能は、オーディオデータ、ビデオデータ、及び/又は情報(例えば、近くの
ガソリンスタンド、レストラン、映画館、警察署、又は病院、又は交通状況若しくは速度
制限)を出力すること、電話を掛けること、テキストメッセージ、SMSメッセージ又は
Eメールを送ること、ウェブブラウザを開くこと又はウェブサイトにアクセスすること、
アプリケーションを開くこと、アプリケーションを閉じること、バックグラウンド処理を
実行すること、フォアグラウンド処理を実行すること、ファイルを保存すること、ファイ
ルを開くこと、ゲーム機能を実行すること、データを受信すること、データを送信するこ
と、アプリケーション設定を変更すること、ネットワークを介して製品を注文すること、
文書を印刷すること、リストにエントリを追加すること、リストからエントリを削除する
こと、音声を録音すること、メディアコンテンツを再生すること、電子ブックを開くこと
、計算を実行すること、価格比較を行うこと、預金残高を確認すること、及び/又は任意
の他の数及び/又は構成のコンピュータ機能を含む。
力、除去、変更、更新、及び/又は消去することを含む。例えば、描画アプリケーション
の実施形態において、コンピュータ装置201は、例えば、ユーザがコンピュータ装置2
01から遠距離で指又はスタイラスをホバーすることを検出することに応じて、第1のユ
ーザインターフェースレベルに関係付けられる第1の機能を決定してもよい。第1の機能
は、例えば、描画の斜視図を出力することを含んでもよい。コンピュータ装置201は、
例えば、コンピュータ装置201から遠距離で実空間における別のジェスチャを検出する
ことに応じて、第1のユーザインターフェースレベルに関係付けられる第2の機能を更に
決定してもよい。第2の機能は、例えば、ジェスチャの移動によって定義される経路に沿
って(例えば、仮想ペイントブラシで)仮想キャンバスに描画することを含んでもよい。
一部の実施形態では、コンピュータ装置201は、例えば、ユーザがコンピュータ装置2
01から中距離で指をホバーすることを検出することに応じて、第2のユーザインターフ
ェースレベルに関係付けられる第3の機能を決定してもよい。機能は、例えば、描画の拡
大及び/又は断面図を含んでもよい。一部の実施形態では、コンピュータ装置201は、
例えば、ユーザがコンピュータ装置201から中距離で別のジェスチャを検出することに
応じて、第2のユーザインターフェースレベルに関係付けられる第4の機能を更に決定し
てもよい。第4の機能は、例えば、移動ジェスチャにより定義される経路に沿って消去す
ることを含んでもよい。一部の実施形態では、コンピュータ装置201は、例えば、ユー
ザがコンピュータ装置201に接触することを検出することに応じて、第3のユーザイン
ターフェースレベルに関係付けられる第5の機能を決定してもよい。機能は、例えば、仮
想画像を保存することを含んでもよい。
形態では、プロセッサ202は、1つ以上のサブ機能を実行することにより機能を実行し
てもよい。例えば、機能が仮想画像を保存することを含む場合、プロセッサ202は、1
つ以上のサーバ(例えば、画像記憶データベース)と通信して、データベースに仮想画像
を安全に記憶するためのプライバシーキー又はパスワードを取得してもよい。次に、プロ
セッサ202は、画像をデータベースに保存してもよい。
に連続的な触覚フィードバックを提供するように構成される1つ以上の触覚効果を決定す
る。
けられる実空間における位置に少なくとも部分的に基づいて1つ以上の触覚効果を決定す
る。例えば、プロセッサ202は、ジェスチャの間の位置を特定の触覚効果にマッピング
するためにメモリ204に記憶されたルックアップテーブルにアクセスしてもよい。この
ような実施形態では、ルックアップテーブルは、メモリに事前プログラムされ及び/又は
ユーザによりプログラム可能であってもよい。
距離に少なくとも部分的に基づいて1つ以上の触覚効果を決定する。例えば、一部の実施
形態では、ユーザは、コンピュータ装置201からの第1の距離範囲(例えば、1mmか
ら10cmの間)内で別のタイプの触覚効果よりも強い、投射される固体、液体、ガス、
プラズマ、音圧波及び/又はレーザビームを含む第1の触覚効果を知覚してもよい。従っ
て、一部の実施形態では、プロセッサ202は、ユーザがコンピュータ装置201から第
1の距離範囲(例えば、1mmから10cmの間)内に位置していることを検出すること
に応じて第1のリモート触覚効果を決定する。
の距離範囲(例えば、0mmから1mmの間)内で別のタイプの触覚効果よりも強い、例
えば、静電ベースの容量結合を含む第2の触覚効果を知覚してもよい。従って、一部の実
施形態では、プロセッサ202は、ユーザがコンピュータ装置201から第2の距離範囲
内に位置していることを検出することに応じて第2の触覚効果を決定する。更に別の例示
として、一部の実施形態では、ユーザは、コンピュータ装置201からの第3の距離範囲
(例えば、0mm及び/又はコンピュータ装置201に接触している)内で別のタイプの
触覚効果よりも強い、例えば、ローカル触覚効果を含む第3の触覚効果を知覚してもよい
。従って、一部の実施形態では、プロセッサ202は、ユーザがコンピュータ装置201
から第3の距離範囲内に位置している(例えば、コンピュータ装置に接触している)こと
を検出することに応じて第3の触覚効果を決定する。
に接近して、コンピュータ装置201から様々な距離範囲を移動するときに、複数の触覚
効果を決定する。複数の触覚効果は、ユーザに実質的に連続的な触覚フィードバックを提
供するためにリモート及び/又はローカル触覚効果の任意の組み合わせを含んでもよい。
とユーザにより知覚されるように構成される1つ以上の特徴(例えば、振幅、周波数、持
続時間)を含む触覚効果を決定する。例えば、一部の実施形態では、プロセッサ202は
、ユーザが実空間でジェスチャを行うこと(例えば、コンピュータ装置201に向かって
指を動かすこと)を検出してもよい。このような実施形態では、それに応じて、プロセッ
サ202は、ユーザがコンピュータ装置201に接近していることを決定することに応じ
て触覚効果の振幅を減少し、及び/又はユーザがコンピュータ装置201から遠ざかって
いることを決定することに応じて触覚効果の振幅を増加してもよい。これは、例えば、ユ
ーザがコンピュータ装置201(例えば、触覚出力装置218)に対してどのくらい近い
か又は遠いかに関わらず、実質的に一貫した触覚体験をユーザに提供し得る。
/又は区別可能なようにユーザにより知覚されるように構成される1つ以上の特性(例え
ば、振幅、周波数、持続時間)を含む触覚効果を決定する。例えば、一部の実施形態では
、プロセッサ202は、ユーザが実空間でジェスチャを行うことを検出してもよい。この
ような実施形態では、プロセッサ202は、それに応じて、触覚効果の特性を一定に保ち
得る。ジェスチャを行う間、ユーザは触覚効果の発信源に近づいている及び/又は遠ざか
っているので、ユーザは変化する触覚効果の強度を知覚してもよい(例えば、プロセッサ
202が触覚効果の特性を一定に保っていたとしても)。これは、ユーザがコンピュータ
装置201にどれくらい近いか等の情報をユーザに提供してもよい。
及び/又はユーザ相互作用に少なくとも部分的に基づいて触覚効果を決定する。例えば、
プロセッサ202は、空気の吹き出し又は別のリモート触覚効果等の特定の触覚効果に、
(例えば、描画アプリケーションにおける仮想キャンバス上の表示又は描画に関係付けら
れる)ユーザインターフェースレベルをマッピングするためにメモリ204に記憶された
ルックアップテーブルにアクセスしてもよい。一部の実施形態では、プロセッサ202は
、ジェスチャのタイプ、場所、持続時間、又は他の特性に基づいて触覚効果を決定するよ
うに構成される。一部の実施形態では、プロセッサ202は、ユーザ相互作用のタイプ、
場所、持続時間、及び/又は他の特性に基づいて触覚効果を決定してもよい。例えば、一
部の実施形態では、プロセッサ202は、ユーザ相互作用が描画アプリケーションにおい
て画像を消去するように構成されることを決定し、このユーザ相互作用に基づいて、例え
ば、黒板を黒板拭きで消す感覚をシミュレートするように構成される関連触覚効果を決定
する。
くとも部分的に基づいて触覚効果を決定する。例えば、一部の実施形態では、プロセッサ
202は、機能のタイプに関係付けられる触覚効果を決定してもよい。例えば、一実施形
態では、プロセッサ202は、機能が描画アプリケーション等のアプリケーションを開く
ことを含む場合に短い空気の吹き出しを含む触覚効果を決定してもよい。このような実施
形態では、プロセッサ202は、機能がアプリケーションを閉じることを含む場合に3つ
の短い空気の吹き出しを含む触覚効果を決定してもよい。これは、ユーザに機能を示して
もよい。一部の実施形態では、プロセッサ202は、機能が実行されたことを示すように
構成される触覚効果を決定する。例えば、プロセッサ202は、描画アプリケーションに
おけるペイントブラシツールように新しい色を選択することを含む機能が実行されると、
静電触覚効果を含む触覚効果を決定してもよい。一部の実施形態では、プロセッサ202
は、機能を実行した結果に基づいて異なる触覚効果を決定するように構成される。例えば
、プロセッサ202は、機能の実行が成功した場合に、機能の実行が成功しなかった場合
とは異なる触覚効果を出力してもよい。
る。プロセッサ202は、1つ以上の触覚効果を出力する触覚出力装置218に1つ以上
の触覚効果に関係付けられる1つ以上の触覚信号を送信する。一部の実施形態では、1つ
以上の触覚効果は、ジェスチャの間中、実質的に連続的な触覚フィードバックを提供する
ように構成される。例えば、プロセッサ202は、複数の触覚効果(例えば、リモート及
び/又はローカル触覚効果)に関係付けられる複数の触覚信号を送信してもよい。複数の
触覚効果は、ジェスチャ及び/又は実空間における別の動きの間中、実質的に連続的な触
覚フィードバックを提供するように構成される。
位置ベースの触覚効果には多くの利点が存在する。例えば、このようなシステムは、よ
り現実的な又は没入型のユーザ体験を提供してもよい。例えば、一部の実施形態では、こ
のようなシステムは、ジェスチャの間中、例えば、ユーザがコンピュータ装置に接近及び
/又は接触するときに、ユーザに実質的に連続的な触覚フィードバックを提供してもよい
。これは、重力、磁界、電界、風の吹き込み、力の印加への抵抗、及び/又は熱等の物理
現象をより現実的にシミュレートしてもよい。例えば、一部の実施形態では、コンピュー
タ装置は、仮想原子炉がメルトダウンした仮想アポカリプスゲームを実行してもよい。コ
ンピュータ装置は、ユーザがコンピュータ装置に向かってジェスチャを行うことを検出し
、それに応じて、例えば、放射能汚染をシミュレートするように構成される触覚効果を出
力してもよい。例えば、コンピュータ装置は、ユーザがコンピュータ装置に接近すること
を検出することに応じて振幅が増加し、ユーザがコンピュータ装置に接触することに応じ
て激しい振動で終わるリモート触覚効果を実質的に連続的に出力してもよい。連続的な激
しい触覚効果は、放射能に汚染された場所に接近することをより現実的にシミュレートし
てもよい。
ルに関係付けられる実空間における第1の場所でジェスチャを行うことによって、(例え
ば、ディスプレイに出力される)仮想オブジェクトと相互作用してもよい。それに応じて
、コンピュータ装置は、仮想オブジェクトに関係付けられる表面(例えば、枕上の枕シー
ト)をシミュレートするように構成される触覚フィードバックを出力してもよい。更に、
ユーザは、第2のユーザインターフェースレベルに関係付けられる第2の場所でジェスチ
ャを行うことによって仮想オブジェクトと相互作用してもよい。それに応じて、コンピュ
ータ装置は、仮想オブジェクトに関係付けられる異なる表面(例えば、羽毛又はメモリフ
ォーム等の枕の内側)をシミュレートするように構成される触覚フィードバックを出力し
てもよい。一部の実施形態では、これは、仮想オブジェクトをより現実的及び/又は3次
元的に感じさせてもよい。更に、異なる触覚効果を異なるユーザインターフェースレベル
と関係付けることにより、ユーザは、単一の仮想オブジェクトと相互作用しながら複数の
触覚効果を知覚することが可能であってもよい。これは、より広範囲の触覚体験を可能に
してもよい。
例えば、装置の現在のモードの決定)を行うことを可能にし得る。従って、ユーザは、他
のタスクに集中を維持することができる。例えば、コンピュータ装置は、プログラム又は
ユーザインターフェースにおける利用可能な動作に関係付けられるリモート触覚効果をユ
ーザに投射してもよい。これは、ユーザが、ディスプレイに焦点を合わせなくても、ユー
ザインターフェースと相互作用することを可能にし得る。同様に、触覚効果は、操作が利
用可能である、完了している、又は所定レベルの重要度を有することの確認として機能し
てもよい。
ユーザインターフェースを可能にしてもよい。例えば、一部の実施形態では、ユーザイン
ターフェースコンポーネントに関係付けられる異なるユーザインターフェースレベルと相
互作用しつつ、広範な機能を実行することが可能であり得る。更に、一部の実施形態では
、ユーザは、ユーザインターフェースコンポーネント上で体の一部をホバーすることによ
ってユーザインターフェースコンポーネントの位置を見つけて、体の一部を実空間におけ
る別の場所に(例えば、ユーザインターフェースコンポーネントに向かって)移動させる
ことによってユーザインターフェースコンポーネントをアクティブ化することが可能であ
り得る。これは、例えば、ユーザが、ユーザインターフェースコンポーネントに物理的に
接触せずに(例えば、その上でタップせずに及び/又はジェスチャを行わずに)、ユーザ
インターフェースと相互作用することを可能にし得る。ユーザインターフェースコンポー
ネントに物理的に接触することは、例えば、移動中の自動車においては困難である。即ち
、環境動作、認識的負荷及び視覚的阻害物がユーザインターフェース構成要素上で正確に
タップすることを困難にし得る。
にしてもよい。例えば、一部の実施形態では、ユーザは、(例えば、ユーザインターフェ
ースレベルに関係付けられる場所で)実空間においてジェスチャを行うことによって、ユ
ーザの指で不可視のユーザインターフェースを探索することが可能であってもよい。ユー
ザの指が不可視のインターフェース構成要素(例えば、仮想音量スイッチ)の場所と相互
作用すると、コンピュータ装置は触覚フィードバックを出力してもよい。これは、ユーザ
が不可視のインターフェース構成要素の場所を特定することを可能にしてもよい。インタ
ーフェースコンポーネントの場所を識別すると、ユーザは、例えば、(別のユーザインタ
ーフェースレベルに関係付けられる)実空間における別の場所にユーザの指を移動させる
ことによって、インターフェースコンポーネントと相互作用する(例えば、それを押す)
ことが可能であってもよい。これにより、コンピュータ装置は、不可視のインターフェー
スコンポーネントに関係付けられる機能(例えば、音量レベルを大きくすること)を実行
してもよい。更に、コンピュータ装置は、例えば、ユーザ入力の受信を確認するために、
ユーザに触覚フィードバックを提供してもよい。
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続
き又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では
、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加
、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々
な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい
。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許
請求の範囲を限定しない。
られている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば
、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるた
めに不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであ
り、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載され
た技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は
範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列
的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含
まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウ
ェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこ
れらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミ
ドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログ
ラムコード又はコードセグメントは、記憶媒体等の非一時的なコンピュータ可読媒体に記
憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシス
テムのコンポーネントであってもよく、他の規則が本発明のアプリケーションに優先し又
はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステッ
プが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。
ップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意
図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており
、即ち、1つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算
、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよ
い。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであ
って、限定することを意図していない。
ームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、
コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサ
に結合されるRAM(random access memory)等のコンピュータ可
読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルー
チン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコ
ンピュータ実行可能プログラム命令を実行する。
l processor)、ASIC(application−specific i
ntegrated circuit)、FPGA(field programmab
le gate array)、及び状態機械を含む。このようなプロセッサは、PLC
、PIC(programmable interrupt controller)、
PLD(programmable logic device)、PROM(prog
rammable read−only memory)、EPROM又はEEPROM
(electronically programmable read−only m
emory)、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
サによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させること
ができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよ
い。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサ
ーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁
気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピーデ
ィスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成
プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュー
タプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ
、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可
読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあっても
よく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ
以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
と、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得る
ことが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示され
ており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むこと
を排除しないことが理解されるべきである。
Claims (23)
- ジェスチャを検出し且つ前記ジェスチャに関係付けられるセンサ信号を送信するように
構成されるセンサであって、前記ジェスチャは少なくとも2つの位置を含み、前記少なく
とも2つの位置のうち第1の位置は表面からの距離を含み、前記少なくとも2つの位置の
うち第2の位置は前記表面との接触を含むセンサと、
前記センサと通信するプロセッサであって、
前記センサから前記センサ信号を受信し、
前記センサ信号に少なくとも部分的に基づいて1つ以上の触覚効果を決定し、前記1
つ以上の触覚効果は前記ジェスチャの間中、実質的に連続的な触覚フィードバックを提供
するように構成され、
前記1つ以上の触覚効果に少なくとも部分的に基づいて1つ以上の触覚信号を生成し
、且つ
前記1つ以上の触覚信号を送信する
ように構成されるプロセッサと、
前記プロセッサと通信する触覚出力装置であって、前記1つ以上の触覚信号を受信し且
つ前記1つ以上の触覚効果を出力するように構成される触覚出力装置と
を備える、システム。 - 前記ジェスチャは、前記表面から遠隔にある開始位置及び前記表面から遠隔にある終了
位置を含む、請求項1に記載のシステム。 - 前記ジェスチャは前記少なくとも2つの位置の間にあり、前記ジェスチャは前記第1の
位置で開始し且つ前記第2の位置で終了する、請求項1に記載のシステム。 - 前記1つ以上の触覚効果はリモート触覚効果及びローカル触覚効果を含み、前記プロセ
ッサは、
前記第1の位置において第1の相互作用を検出することに応じて、前記触覚出力装置に
前記リモート触覚効果を出力させ、且つ
前記第2の位置において第2の相互作用を検出することに応じて、前記触覚出力装置に
前記ローカル触覚効果を出力させる
ように更に構成される、請求項3に記載のシステム。 - 前記触覚出力装置は、ユーザにより装着されるように構成される装着可能装置に配置さ
れる第1の触覚出力装置及び前記表面に結合される第2の触覚出力装置を含み、
前記プロセッサは、
前記第1の位置において前記第1の相互作用を検出することに応じて、前記第1の触覚
出力装置に前記リモート触覚効果を出力させ、且つ
前記第2の位置において前記第2の相互作用を検出することに応じて、前記第2の触覚
出力装置に前記ローカル触覚効果を出力させる
ように更に構成される、請求項4に記載のシステム。 - 前記ジェスチャは、体の一部の移動を含み、
前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一
部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出すること
を含み、
前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、
又は温度の変化を含み、
前記センサは、カメラ、3Dイメージング装置、ジャイロスコープ、グローバルポジシ
ョニングシステム(GPS)、発光ダイオード(LED)、赤外線センサ、又は超音波ト
ランスデューサを含む、請求項4に記載のシステム。 - 前記プロセッサは、
前記少なくとも2つの位置のうち1つの位置に少なくとも部分的に基づいて、複数の利
用可能なユーザインターフェースレベルから1つのユーザインターフェースレベルを決定
し、
前記ユーザインターフェースレベルに関係付けられる機能を決定し、且つ
前記機能を実行する
ように更に構成される、請求項1に記載のシステム。 - 前記プロセッサは、
第2のセンサからの第2のセンサ信号に基づいて体の一部を決定し、
前記体の一部が敏感な体の部分を含むことを決定し、
前記1つ以上の触覚効果の少なくとも1つ触覚効果が前記敏感な体の部分に加えられる
ように構成されることを決定し、且つ
前記敏感な体の部分を損傷させる可能性を低減するように構成される前記少なくとも1
つ触覚効果の特性を決定する
ように更に構成される、請求項1に記載のシステム。 - センサからジェスチャに関係付けられるセンサ信号を受信するステップであって、前記
ジェスチャは少なくとも2つの位置を含み、前記少なくとも2つの位置のうち第1の位置
は表面からの距離を含み、前記少なくとも2つの位置のうち第2の位置は前記表面との接
触を含むステップと、
前記センサ信号に少なくとも部分的に基づいて1つ以上の触覚効果を決定するステップ
であって、前記1つ以上の触覚効果は前記ジェスチャの間中、実質的に連続的な触覚フィ
ードバックを提供するように構成されるステップと、
前記1つ以上の触覚効果に少なくとも部分的に基づいて1つ以上の触覚信号を生成する
ステップと、
前記1つ以上の触覚信号を触覚出力装置に送信するステップであって、前記触覚出力装
置は前記1つ以上の触覚信号を受信し且つ前記1つ以上の触覚効果を出力するように構成
されるステップと
を含む、方法。 - 前記ジェスチャは、前記表面から遠隔にある開始位置及び前記表面から遠隔にある終了
位置を含む、請求項9に記載の方法。 - 前記ジェスチャは前記少なくとも2つの位置の間にあり、前記ジェスチャは前記第1の
位置で開始し且つ前記第2の位置で終了する、請求項9に記載の方法。 - 前記1つ以上の触覚効果は、リモート触覚効果及びローカル触覚効果を含み、
前記第1の位置において第1の相互作用を検出することに応じて、前記リモート触覚効
果を出力するステップ、及び
前記第2の位置において第2の相互作用を検出することに応じて、前記ローカル触覚効
果を出力するステップ
を更に含む、請求項11に記載の方法。 - 前記触覚出力装置は、装着可能装置に配置される第1の触覚出力装置及び前記表面に結
合される第2の触覚出力装置を含み、
前記第1の位置において前記第1の相互作用を検出することに応じて、前記第1の触覚
出力装置を介して前記リモート触覚効果を出力するステップ、及び
前記第2の位置において前記第2の相互作用を検出することに応じて、前記第2の触覚
出力装置を介して前記ローカル触覚効果を出力するステップ
を更に含む、請求項12に記載の方法。 - 前記ジェスチャは、体の一部の移動を含み、
前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一
部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出すること
を含み、
前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、
又は温度の変化を含み、
前記センサは、カメラ、3Dイメージング装置、ジャイロスコープ、グローバルポジシ
ョニングシステム(GPS)、又は超音波トランスデューサを含む、請求項12に記載の
方法。 - 前記少なくとも2つの位置のうち1つの位置に少なくとも部分的に基づいて、複数の利
用可能なユーザインターフェースレベルから1つのユーザインターフェースレベルを決定
するステップ、
前記ユーザインターフェースレベルに関係付けられる機能を決定するステップ、及び
前記機能を実行するステップ
を更に含む、請求項9に記載の方法。 - 第2のセンサからの第2のセンサ信号に基づいて体の一部を決定するステップと、
前記体の一部が敏感な体の部分を含むことを決定するステップと、
前記1つ以上の触覚効果の少なくとも1つ触覚効果が前記敏感な体の部分に加えられる
ように構成されることを決定するステップと、
前記敏感な体の部分を損傷させる可能性を低減するように構成される前記少なくとも1
つ触覚効果の特性を決定するステップと
を更に含む、請求項9に記載の方法。 - プログラムコードを含む非一時的なコンピュータ可読媒体であって、プロセッサにより
実行されると、前記プログラムコードは、
センサからジェスチャに関係付けられるセンサ信号を受信することであって、前記ジェ
スチャは少なくとも2つの位置を含み、前記少なくとも2つの位置のうち第1の位置は表
面からの距離を含み、前記少なくとも2つの位置のうち第2の位置は前記表面との接触を
含むこと、
前記センサ信号に少なくとも部分的に基づいて1つ以上の触覚効果を決定することであ
って、前記1つ以上の触覚効果は前記ジェスチャの間中、実質的に連続的な触覚フィード
バックを提供するように構成されること、
前記1つ以上の触覚効果に少なくとも部分的に基づいて1つ以上の触覚信号を生成する
こと、及び
前記1つ以上の触覚信号を触覚出力装置に送信することであって、前記触覚出力装置は
前記1つ以上の触覚信号を受信し且つ前記1つ以上の触覚効果を出力するように構成され
ること
を前記プロセッサに行わせるように構成される、非一時的なコンピュータ可読媒体。 - 前記ジェスチャは、前記表面から遠隔にある開始位置及び前記表面から遠隔にある終了
位置を含む、請求項17に記載の非一時的なコンピュータ可読媒体。 - 前記ジェスチャは前記少なくとも2つの位置の間にあり、前記ジェスチャは前記第1の
位置で開始し且つ前記第2の位置で終了し、
前記1つ以上の触覚効果は、リモート触覚効果及びローカル触覚効果を含み、
前記プロセッサによって実行されると、
前記第1の位置において第1の相互作用を検出することに応じて、前記触覚出力装置に
前記リモート触覚効果を出力させること、及び
前記第2の位置において第2の相互作用を検出することに応じて、前記触覚出力装置に
前記ローカル触覚効果を出力させること
を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項1
7に記載の非一時的なコンピュータ可読媒体。 - 前記触覚出力装置は、装着可能装置に配置される第1の触覚出力装置及び前記表面に結
合される第2の触覚出力装置を含み
前記プロセッサによって実行されると、
前記第1の位置において前記第1の相互作用を検出することに応じて、前記第1の触覚
出力装置に前記リモート触覚効果を出力させること、及び
前記第2の位置において前記第2の相互作用を検出することに応じて、前記第2の触覚
出力装置に前記ローカル触覚効果を出力させること
を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項1
9に記載の非一時的なコンピュータ可読媒体。 - 前記ジェスチャは、体の一部の移動を含み、
前記リモート触覚効果は、前記体の一部との静電結合を生成すること、又は前記体の一
部に向かって固体、液体、ガス、プラズマ、音圧波若しくはレーザビームを放出すること
を含み、
前記ローカル触覚効果は、振動、テクスチャ、知覚される摩擦係数の変化、表面変形、
又は温度の変化を含み、
前記センサは、カメラ、3Dイメージング装置、ジャイロスコープ、グローバルポジシ
ョニングシステム(GPS)、又は超音波トランスデューサを含む、請求項19に記載の
非一時的なコンピュータ可読媒体。 - 前記プロセッサによって実行されると、
前記少なくとも2つの位置のうち1つの位置に少なくとも部分的に基づいて、複数の利
用可能なユーザインターフェースレベルから1つのユーザインターフェースレベルを決定
すること、
前記ユーザインターフェースレベルに関係付けられる機能を決定すること、及び
前記機能を実行すること
を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項1
7に記載の非一時的なコンピュータ可読媒体。 - 前記プロセッサによって実行されると、
第2のセンサからの第2のセンサ信号に基づいて体の一部を決定すること、
前記体の一部が敏感な体の部分を含むことを決定すること、
前記1つ以上の触覚効果の少なくとも1つ触覚効果が前記敏感な体の部分に加えられる
ように構成されることを決定すること、及び
前記敏感な体の部分を損傷させる可能性を低減するように構成される前記少なくとも1
つ触覚効果の特性を決定すること
を前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項1
7に記載の非一時的なコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/966,652 | 2015-12-11 | ||
US14/966,652 US9990078B2 (en) | 2015-12-11 | 2015-12-11 | Systems and methods for position-based haptic effects |
JP2016238479A JP7182851B2 (ja) | 2015-12-11 | 2016-12-08 | 位置ベースの触覚効果のためのシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016238479A Division JP7182851B2 (ja) | 2015-12-11 | 2016-12-08 | 位置ベースの触覚効果のためのシステム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022003535A true JP2022003535A (ja) | 2022-01-11 |
Family
ID=57530612
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016238479A Active JP7182851B2 (ja) | 2015-12-11 | 2016-12-08 | 位置ベースの触覚効果のためのシステム及び方法 |
JP2021145095A Pending JP2022003535A (ja) | 2015-12-11 | 2021-09-07 | 位置ベースの触覚効果のためのシステム及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016238479A Active JP7182851B2 (ja) | 2015-12-11 | 2016-12-08 | 位置ベースの触覚効果のためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9990078B2 (ja) |
EP (1) | EP3179340A1 (ja) |
JP (2) | JP7182851B2 (ja) |
KR (1) | KR20170069936A (ja) |
CN (1) | CN106896910A (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
EP3885882A1 (en) | 2015-04-30 | 2021-09-29 | Google LLC | Rf-based micro-motion tracking for gesture tracking and recognition |
US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
WO2017064771A1 (ja) * | 2015-10-14 | 2017-04-20 | 日立マクセル株式会社 | 入力端末装置および操作入力方法 |
KR101807655B1 (ko) * | 2015-12-01 | 2017-12-11 | 주식회사 퓨처플레이 | 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
US9990078B2 (en) | 2015-12-11 | 2018-06-05 | Immersion Corporation | Systems and methods for position-based haptic effects |
US11003345B2 (en) | 2016-05-16 | 2021-05-11 | Google Llc | Control-article-based control of a user interface |
US9886829B2 (en) | 2016-06-20 | 2018-02-06 | Immersion Corporation | Systems and methods for closed-loop control for haptic feedback |
US10169918B2 (en) * | 2016-06-24 | 2019-01-01 | Microsoft Technology Licensing, Llc | Relational rendering of holographic objects |
US11156473B2 (en) * | 2016-08-18 | 2021-10-26 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
JP2018045349A (ja) * | 2016-09-13 | 2018-03-22 | カシオ計算機株式会社 | 処理装置、処理方法及びプログラム |
US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
FR3059945B1 (fr) * | 2016-12-14 | 2019-10-04 | Faurecia Interieur Industrie | Dispositif de commande en particulier pour vehicule |
JP7000683B2 (ja) * | 2017-01-20 | 2022-01-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
US10559283B2 (en) * | 2017-03-20 | 2020-02-11 | Paypal, Inc. | Automated user device damage remediation |
WO2018231211A1 (en) * | 2017-06-14 | 2018-12-20 | Ford Global Technologies, Llc | Wearable haptic feedback |
CN107309874B (zh) * | 2017-06-28 | 2020-02-07 | 歌尔科技有限公司 | 一种机器人控制方法、装置和机器人 |
US10712931B2 (en) * | 2017-08-29 | 2020-07-14 | Apple Inc. | Systems for modifying finger sensations during finger press input events |
CA3125495C (en) | 2017-09-06 | 2023-01-03 | Damon Motors Inc. | Motorcycle with haptic feedback |
US10474236B1 (en) * | 2017-09-13 | 2019-11-12 | Facebook Technologies, Llc | Haptic device for variable bending resistance |
US11189166B2 (en) | 2017-11-02 | 2021-11-30 | Damon Motors Inc. | Anticipatory motorcycle safety system |
US10678333B2 (en) * | 2017-11-14 | 2020-06-09 | Verizon Patent And Licensing Inc. | Methods and systems for presenting haptically perceptible virtual objects |
KR102462204B1 (ko) | 2017-11-21 | 2022-11-02 | 삼성전자주식회사 | 진동을 제공하기 위한 장치 및 방법 |
KR102486453B1 (ko) | 2017-12-08 | 2023-01-09 | 삼성디스플레이 주식회사 | 표시 장치 |
EP3502835A1 (en) * | 2017-12-20 | 2019-06-26 | Nokia Technologies Oy | Gesture control of a data processing apparatus |
US20190324549A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Systems, devices, and methods for providing immersive reality interface modes |
US20200192480A1 (en) * | 2018-12-18 | 2020-06-18 | Immersion Corporation | Systems and methods for providing haptic effects based on a user's motion or environment |
US11068688B2 (en) * | 2019-01-04 | 2021-07-20 | Pierre T. Gandolfo | Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities |
US11868537B2 (en) | 2019-07-26 | 2024-01-09 | Google Llc | Robust radar-based gesture-recognition by user equipment |
JP7316383B2 (ja) | 2019-07-26 | 2023-07-27 | グーグル エルエルシー | Imuおよびレーダーを介した認証管理 |
WO2021016751A1 (zh) * | 2019-07-26 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 一种点云特征点提取方法、点云传感***及可移动平台 |
CN113892072A (zh) | 2019-08-30 | 2022-01-04 | 谷歌有限责任公司 | 用于暂停的雷达姿势的视觉指示器 |
CN118192796A (zh) | 2019-08-30 | 2024-06-14 | 谷歌有限责任公司 | 移动设备的输入方法 |
DE102019216411B4 (de) * | 2019-10-24 | 2022-09-29 | Volkswagen Aktiengesellschaft | Vorrichtung zum Erfassen einer Eingabe mittels eines Betätigungsobjekts und Verfahren zum Betreiben einer Vorrichtung zum Erfassen einer Eingabe |
WO2021207330A2 (en) * | 2020-04-08 | 2021-10-14 | Tactual Labs Co. | Non-uniform electrode spacing with a bend sensor |
JP2021192178A (ja) * | 2020-06-05 | 2021-12-16 | ソニーグループ株式会社 | デバイス、制御方法及びプログラム |
CN114429811A (zh) * | 2020-10-29 | 2022-05-03 | 京东方科技集团股份有限公司 | 挂号*** |
US11681399B2 (en) * | 2021-06-30 | 2023-06-20 | UltraSense Systems, Inc. | User-input systems and methods of detecting a user input at a cover member of a user-input system |
CN113703607A (zh) * | 2021-08-25 | 2021-11-26 | 北京京东方技术开发有限公司 | 一种交互显示装置 |
US11681373B1 (en) | 2021-12-08 | 2023-06-20 | International Business Machines Corporation | Finger movement management with haptic feedback in touch-enabled devices |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100060475A1 (en) * | 2008-09-10 | 2010-03-11 | Lg Electronics Inc. | Mobile terminal and object displaying method using the same |
JP2013186737A (ja) * | 2012-03-08 | 2013-09-19 | Stanley Electric Co Ltd | タッチパネル式操作装置 |
JP2014209336A (ja) * | 2013-03-28 | 2014-11-06 | 株式会社Nttドコモ | 情報処理装置および入力支援方法 |
WO2015001875A1 (ja) * | 2013-07-05 | 2015-01-08 | クラリオン株式会社 | 情報処理装置 |
JP2015504320A (ja) * | 2011-10-20 | 2015-02-12 | コーニンクレッカ フィリップス エヌ ヴェ | 医療処置のためのホログラフィユーザインターフェース |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7890863B2 (en) | 2006-10-04 | 2011-02-15 | Immersion Corporation | Haptic effects with proximity sensing |
WO2009037379A1 (en) | 2007-09-18 | 2009-03-26 | Senseg Oy | Method and apparatus for sensory stimulation |
WO2009067224A1 (en) * | 2007-11-19 | 2009-05-28 | Cirque Corporation | Touchpad combined with a display and having proximity and touch sensing capabilities |
US8373549B2 (en) * | 2007-12-31 | 2013-02-12 | Apple Inc. | Tactile feedback in an electronic device |
US8576181B2 (en) * | 2008-05-20 | 2013-11-05 | Lg Electronics Inc. | Mobile terminal using proximity touch and wallpaper controlling method thereof |
KR101498622B1 (ko) | 2008-06-25 | 2015-03-04 | 엘지전자 주식회사 | 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법 |
US8516397B2 (en) * | 2008-10-27 | 2013-08-20 | Verizon Patent And Licensing Inc. | Proximity interface apparatuses, systems, and methods |
KR20120028553A (ko) * | 2010-09-15 | 2012-03-23 | 삼성전자주식회사 | 다기능 터치 패널과, 이를 포함하는 휴대 단말기 및 그의 운용 방법 |
JP5728866B2 (ja) * | 2010-09-24 | 2015-06-03 | ソニー株式会社 | 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム |
US20120242793A1 (en) * | 2011-03-21 | 2012-09-27 | Soungmin Im | Display device and method of controlling the same |
US9448713B2 (en) | 2011-04-22 | 2016-09-20 | Immersion Corporation | Electro-vibrotactile display |
US9733706B2 (en) * | 2011-10-26 | 2017-08-15 | Nokia Technologies Oy | Apparatus and associated methods for touchscreen displays |
US9207852B1 (en) * | 2011-12-20 | 2015-12-08 | Amazon Technologies, Inc. | Input mechanisms for electronic devices |
CA2859045A1 (en) * | 2011-12-29 | 2013-07-04 | Mighty Cast, Inc. | Interactive base and token capable of communicating with computing device |
JP5957893B2 (ja) * | 2012-01-13 | 2016-07-27 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US8711118B2 (en) | 2012-02-15 | 2014-04-29 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US9201585B1 (en) * | 2012-09-17 | 2015-12-01 | Amazon Technologies, Inc. | User interface navigation gestures |
KR102035134B1 (ko) * | 2012-09-24 | 2019-10-22 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
KR102091077B1 (ko) * | 2012-12-14 | 2020-04-14 | 삼성전자주식회사 | 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법 |
JP2014222488A (ja) | 2013-05-14 | 2014-11-27 | 株式会社東芝 | 描画装置及び描画システム |
US9632581B2 (en) | 2013-06-11 | 2017-04-25 | Immersion Corporation | Systems and methods for pressure-based haptic effects |
JP6117075B2 (ja) * | 2013-10-10 | 2017-04-19 | 株式会社東海理化電機製作所 | 触覚呈示装置 |
US9639158B2 (en) * | 2013-11-26 | 2017-05-02 | Immersion Corporation | Systems and methods for generating friction and vibrotactile effects |
US9248840B2 (en) * | 2013-12-20 | 2016-02-02 | Immersion Corporation | Gesture based input system in a vehicle with haptic feedback |
US9965034B2 (en) | 2013-12-30 | 2018-05-08 | Immersion Corporation | Systems and methods for a haptically-enabled projected user interface |
WO2015143121A1 (en) | 2014-03-21 | 2015-09-24 | Immersion Corporation | System, method and computer-readable medium for force-based object manipulation and haptic sensations |
US9690370B2 (en) * | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
US10031582B2 (en) | 2014-06-05 | 2018-07-24 | Immersion Corporation | Systems and methods for induced electrostatic haptic effects |
KR102328100B1 (ko) * | 2014-11-20 | 2021-11-17 | 삼성전자주식회사 | 복수의 입출력 장치를 제어하는 방법 및 장치 |
US9600076B2 (en) | 2014-12-19 | 2017-03-21 | Immersion Corporation | Systems and methods for object manipulation with haptic feedback |
US9658693B2 (en) | 2014-12-19 | 2017-05-23 | Immersion Corporation | Systems and methods for haptically-enabled interactions with objects |
US20160342208A1 (en) | 2015-05-20 | 2016-11-24 | Immersion Corporation | Haptic effects based on predicted contact |
US9990078B2 (en) | 2015-12-11 | 2018-06-05 | Immersion Corporation | Systems and methods for position-based haptic effects |
-
2015
- 2015-12-11 US US14/966,652 patent/US9990078B2/en active Active
-
2016
- 2016-12-07 KR KR1020160165843A patent/KR20170069936A/ko not_active Application Discontinuation
- 2016-12-08 JP JP2016238479A patent/JP7182851B2/ja active Active
- 2016-12-08 EP EP16203034.0A patent/EP3179340A1/en not_active Withdrawn
- 2016-12-12 CN CN201611137967.XA patent/CN106896910A/zh active Pending
-
2018
- 2018-05-08 US US15/974,236 patent/US10185441B2/en active Active
- 2018-12-12 US US16/217,822 patent/US10551964B2/en active Active
-
2021
- 2021-09-07 JP JP2021145095A patent/JP2022003535A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100060475A1 (en) * | 2008-09-10 | 2010-03-11 | Lg Electronics Inc. | Mobile terminal and object displaying method using the same |
JP2015504320A (ja) * | 2011-10-20 | 2015-02-12 | コーニンクレッカ フィリップス エヌ ヴェ | 医療処置のためのホログラフィユーザインターフェース |
JP2013186737A (ja) * | 2012-03-08 | 2013-09-19 | Stanley Electric Co Ltd | タッチパネル式操作装置 |
JP2014209336A (ja) * | 2013-03-28 | 2014-11-06 | 株式会社Nttドコモ | 情報処理装置および入力支援方法 |
WO2015001875A1 (ja) * | 2013-07-05 | 2015-01-08 | クラリオン株式会社 | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7182851B2 (ja) | 2022-12-05 |
KR20170069936A (ko) | 2017-06-21 |
JP2017107567A (ja) | 2017-06-15 |
US9990078B2 (en) | 2018-06-05 |
US20180321787A1 (en) | 2018-11-08 |
US10551964B2 (en) | 2020-02-04 |
CN106896910A (zh) | 2017-06-27 |
US10185441B2 (en) | 2019-01-22 |
EP3179340A1 (en) | 2017-06-14 |
US20170168630A1 (en) | 2017-06-15 |
US20190179477A1 (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10551964B2 (en) | Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects | |
US10564729B2 (en) | Haptic feedback using a field of view | |
US10606356B2 (en) | Systems and methods for haptically-enabled curved devices | |
US10248210B2 (en) | Systems and methods for haptically-enabled conformed and multifaceted displays | |
US10203757B2 (en) | Systems and methods for shape input and output for a haptically-enabled deformable surface | |
EP2942693B1 (en) | Systems and methods for viewport-based augmented reality haptic effects | |
US10474238B2 (en) | Systems and methods for virtual affective touch | |
EP3088996A1 (en) | Systems and methods for tactile guidance | |
EP3367216A1 (en) | Systems and methods for virtual affective touch | |
KR20200008196A (ko) | 모션 인식 기반의 에어팬을 이용한 특수 효과 제공 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240402 |