CN104656877A - 基于手势和语音识别控制的人机交互方法及其设备和应用 - Google Patents
基于手势和语音识别控制的人机交互方法及其设备和应用 Download PDFInfo
- Publication number
- CN104656877A CN104656877A CN201310576314.1A CN201310576314A CN104656877A CN 104656877 A CN104656877 A CN 104656877A CN 201310576314 A CN201310576314 A CN 201310576314A CN 104656877 A CN104656877 A CN 104656877A
- Authority
- CN
- China
- Prior art keywords
- machine interaction
- hand
- interaction method
- location
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 title claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 8
- 210000003128 head Anatomy 0.000 claims description 24
- 230000035807 sensation Effects 0.000 claims description 11
- 230000000644 propagated effect Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 5
- 230000002411 adverse Effects 0.000 abstract description 4
- 210000003811 finger Anatomy 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种基于手势控制和语音识别控制的人机交互方法及其设备和应用，所述方法包括步骤：（1）通过跟踪手的位置进行空间三维精细定位；（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。所述设备包括：摄像装置、定位装置、拾音装置和触发装置，触发装置中设有语音指令触发装置和/或手势指令触发装置。所述应用主要是通过手的定位实现鼠标移动的功能，通过语音指令和/或手势指令实现鼠标左右键的功能。本发明采用手来定位，定位准确，结合语音触发指令，可显著降低触发指令对定位的不利影响，从而获得极高的定位准确性，且，应用于电子游戏软件时，更真实、自然、身临其境。
Description
技术领域
本发明涉及一种基于手势控制和语音识别控制的人机交互方法，以及实现该方法的设备和该方法的应用，主要用于事件触发对定位可能存在不利影响的情况，并获得较低的或完全消除的不利影响。
背景技术
手势控制、语音识别控制、人脸识别和眼动等技术的发展使得人机交互呈现自然化的趋势。但每一种自然交互方式都有其局限性，如手势控制利于精细定位，不利于确认和文字输入；语音识别控制利于开关型、选择性操作和文字输入，但无法进行精细定位；人脸识别和眼动较为舒适省力，也能定位，但在确认和文字输入上同样效率较低。
目前，也存在一些将不同交互方法结合使用的方法，如公开号为CN200810030194.4的发明专利申请，其采用一个手指来定位，用另一个手指的动作来进行确定和取消的操作。但是，上述方案仍存在一定缺陷，即上述方案在实际应用中，另一个手指的额外动作（如事件触发时）一定会导致用于定位的手指的晃动，从而导致定位发生偏差。
发明内容
基于现有技术的上述缺陷，本发明要解决的技术问题是，现有技术下的人机交互过程中，各种自然交互方式不仅存在一定的不足之处，而且，尤为重要的是，采用现有的人机交互模式时，操作者执行的某些操作之间存在相互间会产生不利影响的缺陷，进而使得操作者难以达到理想的操作效果。
为了解决上述技术问题，本发明采用的主要技术方案是提供：
一种基于手势控制和语音识别控制的人机交互方法，主要包括步骤：
（1）通过跟踪手的位置进行空间三维精细定位；
（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。
一种实现上述人机交互方法的设备，包括分别与中央处理器连接的：
摄像装置，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；
定位装置，通过摄像装置跟踪手的位置得到的手的位置信息进行空间三维精细定位；
拾音装置，识别并获得语音指令；
触发装置，包括语音指令触发装置和/或手势指令触发装置，根据拾音装置识别得到的语音指令和/或摄像装置跟踪手的连续运动获得的手势指令来触发相应事件。
一种上述人机交互方法在常用软件中的应用，其中，通过手的定位来实现鼠标移动的功能，通过语音指令和/或手势指令来实现鼠标左右键的功能。
本发明的有益效果是：本发明的方法中，通过采用手势控制来进行定位，可以获得准确的定位效果，并结合不会对手势定位产生不利影响的语音触发指令，使得本发明的方法可以显著降低触发指令对定位的不利影响，从而获得极高的定位准确性，同时，该种方法不仅可以适用于各种软件，更为重要的是，该方法应用于电子游戏软件时，能够模拟出更加真实的、自然的互动感受，可以使得应用者获得极好的游戏体验，让操作者获得更加身临其境的感觉。通过将以上几种自然交互方式进行组合，可以相互克服缺点，创造出前所未有的人机交互体验，应用在电子游戏软件中时，具有较大的市场价值。
附图说明
图1是本发明的人机交互方法的一个实施例的整体流程示意图。
图2是本发明的设备的一个实施例的框架结构示意图。
具体实施方式
为了更好的表述本发明，以便于理解，下面结合附图通过具体实施方式对本发明作进一步描述。
参见图1，本发明的基于手势控制和语音识别控制的人机交互方法，包括步骤：
（1）通过跟踪手的位置进行空间三维精细定位；
（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。
其中，步骤（2）中，还可以包括跟踪手的连续运动来识别出手势指令以触发相应事件。
在本发明的一个更优选实施例中，步骤（2）中，还包括用识别到的语音指令和手势指令共同作为触发指令来触发相应事件。
其中，步骤（2）中，所述手势指令包括手势组合指令。
在本发明的上述任一个实施例的更进一步优选实施例中，还可以包括步骤：（3）跟踪头部或眼睛的视线来变换场景渲染角度；
或者
（3＇）跟踪头部或眼睛的视线来切换场景中虚拟摄像机的位置、角度。
参见图2，本发明的实现人机交互方法的设备，其包括分别与中央处理器1连接的：
摄像装置5，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；
定位装置2，通过摄像装置跟踪手的位置得到的手的位置信息进行空间三维精细定位；
拾音装置3，识别并获得语音指令；
触发装置4，设有语音指令触发装置41和/或手势指令触发装置42，根据拾音装置识别得到的语音指令和/或摄像装置跟踪手的连续运动获得的手势指令来触发相应事件。
在本发明的一个实施例中，还可以设有人脸识别摄像机6，与中央处理器1连接并跟踪操作者头部以供中央处理器1据此变换场景渲染角度或切换场景中虚拟摄像机的位置、角度。
在本发明的一个实施例中，还可以设有一个以上视线追踪摄像机7，与中央处理器1连接并跟踪操作者眼睛的视线以供中央处理器1据此变换场景渲染角度或切换场景中虚拟摄像机的位置、角度。
在本发明的一个实施例中，所述视线追踪摄像机为头盔式。
在本发明的一个实施例中，所述视线追踪摄像机为遥测式。
其中，在本发明的一个实施例中，所述摄像装置可以为体感传感器或摄像头。
其中，在本发明的一个实施例中，所述拾音装置可以为语音传感器或麦克风。
通常，是在一种电子设备上，通过一种体感传感器或结合软件的普通摄像头，以及语音传感器或结合软件的普通麦克风，可以获得用户的头部的位置或面朝方向，或眼睛所看的位置；手指或手的位置，或手指针对屏幕的方向和手指在针对屏幕的方向上在屏幕上的投影位置，或通过手的连续运动所完成的特定手势；语音指令，或跟用户语音音量相关的数据；基于以上用户输入，计算机程序可以采用其中2种、3种的综合作为软件或游戏的用户输入来触发相应的事件。
本发明还提供了一种人机交互方法在常用软件中的应用，其中，通过手的定位来实现鼠标移动的功能，通过语音指令和/或手势指令来实现鼠标左右键的功能。
其中，所述常用软件包括电子游戏软件。
例如，一种射击游戏，有2维或3维的场景，目标射击靶。
用户把手放在体感传感器或结合软件的普通摄像头前面，体感传感器或结合软件的普通摄像头通过感知手指或手在空中的位置来控制游戏中的虚拟瞄准镜。
用户按游戏的提示或教程发出特定的声音，如说“啪”、“梆”等拟声词，语音传感器或结合软件的普通麦克风捕获用户的语音后，按照不同的预设触发不同的游戏事件，如说“啪”就是开枪，说“梆”就是扔炸弹。
当用户移动或转动头部或改变眼睛所看的位置时，体感传感器或结合软件的普通摄像头通过人脸识别技术，感知头部的位置，面部朝向的角度，或眼睛所看的角度或位置，改变游戏场景的显示角度，模拟在真实世界中通过移动自己的头部，转动自己的角度就可以看到不同的场景。在游戏中，用户通过这种转动就可以看到原来被前部物体遮挡的后部物体，或者看到原来在屏幕外边的更多场景。另一种功效是迎向敌人的攻击到来方向来实现对敌人的攻击的躲闪。
又例如，一种格斗武打游戏，有2维或3维的场景，目标敌人。
用户把手放在体感传感器或结合软件的普通摄像头前面，体感传感器或结合软件的普通摄像头通过感知手指或手在空中的位置来控制游戏中的击打位置或方向，体感传感器或结合软件的普通摄像头通过感知手指或手的连续运动来识别特定的预设手势，当用户手势符合软件中的预设手势时，就发动相应的招式。比如当用户把食指先向上竖立一秒钟，然后向前指，就能触发“葵花点穴手”。
用户按游戏的提示或教程发出特定的声音，如说“啪”、“梆”等拟声词或“葵花点穴手”、“一阳指”等武功招式名称，语音传感器或结合软件的普通麦克风捕获用户的语音后，按照不同的预设触发不同的游戏事件，如说“啪”就是带内力击打，说“葵花点穴手”或“一阳指”就是给接下来的手指手势指定不同的威力或功效（“葵花点穴手”就是把敌人定住，“一阳指”就是给敌人造成伤害）。
其中，当用户移动或转动头部或改变眼睛所看的位置时，体感传感器或结合软件的普通摄像头通过人脸识别技术，感知头部的位置，面部朝向的角度，或眼睛所看的角度或位置，改变游戏场景的显示角度，模拟在真实世界中通过移动自己的头部，转动自己的角度就可以看到不同的场景。在游戏中，用户通过这种转动就可以看到原来被前部物体遮挡的后部物体，或者看到原来在屏幕外边的更多场景。另一种功效是迎向敌人的攻击到来方向来实现对敌人的攻击的躲闪。
本发明中提出的集中交互方式的混合来达到预期的目标，主要优势在于，用手来定位，而确认指令是用语音发出，嘴巴说一个指令的时候一定不会干扰定位的稳定性。
尤其是，本发明中的“手形识别用于定位+语音确认或取消+面部识别改变场景渲染角度”的方法，在游戏中较好地应对了游戏操控所需要的一些任务，用多种多样的最合适的方式去完成某一个分解后的任务而不是试图用一种交互方式去完成所有任务。
因此，本发明取得的最大益处就是获得了手定位的稳定性（如前文所述），其次用面部识别的方式来改变渲染角度使得游戏体验更接近真实的体验，如果只用手来定位，那样一个操作很难同时做到“瞄准”和“切换视角”两件事，本发明中相当于“手的定位作为瞄准”，“头部转动切换游戏视角”。
尤其是，本发明的方法，在实际操作中其效率和准确性比单一的方式具有显著的提高，取得了显著的效果。如CN200810030194.4试图用手势来同时完成定位和确认两件事，就会牺牲定位的准确性和稳定性（动另一个用来确认的手指会导致用来定位的手指不可避免地移动或抖动）。
Claims (10)
1.一种基于手势控制和语音识别控制的人机交互方法，其特征在于，包括步骤：
（1）通过跟踪手的位置进行空间三维精细定位；
（2）定位后通过识别的语音指令作为触发指令来触发相应事件，以避免触发相应事件时触发指令影响定位的稳定性。
2.如权利要求1所述的人机交互方法，其特征在于：步骤（2）中，还包括跟踪手的连续运动来识别出手势指令以触发相应事件。
3.如权利要求2所述的人机交互方法，其特征在于：步骤（2）中，还包括用识别到的语音指令和手势指令共同作为触发指令来触发相应事件。
4.如权利要求2所述的人机交互方法，其特征在于：步骤（2）中，所述手势指令包括手势组合指令。
5.如权利要求1所述的人机交互方法，其特征在于，还包括步骤：
（3）跟踪头部或眼睛的视线来变换场景渲染角度；
或
（3＇）跟踪头部或眼睛的视线来切换场景中虚拟摄像机的位置、角度。
6.一种实现权利要求1-5中任一种人机交互方法的设备，其特征在于，包括分别与中央处理器连接的：
摄像装置，跟踪手的位置并获得手的位置信息和/或跟踪手的连续运动；
定位装置，通过摄像装置跟踪手的位置得到的手的位置信息进行空间三维精细定位；
拾音装置，识别并获得语音指令；
触发装置，其中设有语音指令触发装置和/或手势指令触发装置，根据拾音装置识别得到的语音指令和/或摄像装置跟踪手的连续运动获得的手势指令来触发相应事件。
7.如权利要求6所述的设备，其特征在于：所述摄像装置为体感传感器或摄像头。
8.如权利要求6所述的设备，其特征在于：所述拾音装置为语音传感器或麦克风。
9.一种权利要求1-5中任一种人机交互方法在常用软件中的应用，其特征在于：通过手的定位来实现鼠标移动的功能，通过语音指令和/或手势指令来实现鼠标左右键的功能。
10.如权利要求9所述的应用，其特征在于：所述常用软件包括电子游戏软件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310576314.1A CN104656877A (zh) | 2013-11-18 | 2013-11-18 | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310576314.1A CN104656877A (zh) | 2013-11-18 | 2013-11-18 | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104656877A true CN104656877A (zh) | 2015-05-27 |
Family
ID=53248118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310576314.1A Pending CN104656877A (zh) | 2013-11-18 | 2013-11-18 | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104656877A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653164A (zh) * | 2015-07-31 | 2016-06-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种语音输入用户事件的方法及终端 |
| CN105681859A (zh) * | 2016-01-12 | 2016-06-15 | 东华大学 | 基于人体骨骼追踪控制智能电视的人机交互方法 |
| CN105765491A (zh) * | 2015-09-23 | 2016-07-13 | 深圳还是威健康科技有限公司 | 一种识别手部运动的方法及智能手环、终端 |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106681683A (zh) * | 2016-12-26 | 2017-05-17 | 汎达科技（深圳）有限公司 | 一种基于语音控制游戏操作的方法及装置 |
| CN107103905A (zh) * | 2015-12-09 | 2017-08-29 | 联想（新加坡）私人有限公司 | 用于语音识别的方法和产品以及信息处理设备 |
| WO2018219198A1 (zh) * | 2017-06-02 | 2018-12-06 | 腾讯科技（深圳）有限公司 | 一种人机交互方法、装置及人机交互终端 |
| US10448762B2 (en) | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
| US10663938B2 (en) | 2017-09-15 | 2020-05-26 | Kohler Co. | Power operation of intelligent devices |
| CN111870918A (zh) * | 2020-07-07 | 2020-11-03 | 哈尔滨金翅鸟科技有限公司 | 一种用于仿真格斗训练、娱乐及安防性质的假人 |
| US10887125B2 (en) | 2017-09-15 | 2021-01-05 | Kohler Co. | Bathroom speaker |
| US11099540B2 (en) | 2017-09-15 | 2021-08-24 | Kohler Co. | User identity in household appliances |
| US11921794B2 (en) | 2017-09-15 | 2024-03-05 | Kohler Co. | Feedback for water consuming appliance |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937267A (zh) * | 2009-07-03 | 2011-01-05 | 北京宏景捷讯网络技术股份有限公司 | 模拟鼠标输入的方法及装置 |
| CN102298443A (zh) * | 2011-06-24 | 2011-12-28 | 华南理工大学 | 结合视频通道的智能家居语音控制***及其控制方法 |
| CN102693022A (zh) * | 2011-12-12 | 2012-09-26 | 苏州科雷芯电子科技有限公司 | 视觉跟踪与语音识别的鼠标*** |
-
2013
- 2013-11-18 CN CN201310576314.1A patent/CN104656877A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937267A (zh) * | 2009-07-03 | 2011-01-05 | 北京宏景捷讯网络技术股份有限公司 | 模拟鼠标输入的方法及装置 |
| CN102298443A (zh) * | 2011-06-24 | 2011-12-28 | 华南理工大学 | 结合视频通道的智能家居语音控制***及其控制方法 |
| CN102693022A (zh) * | 2011-12-12 | 2012-09-26 | 苏州科雷芯电子科技有限公司 | 视觉跟踪与语音识别的鼠标*** |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653164A (zh) * | 2015-07-31 | 2016-06-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种语音输入用户事件的方法及终端 |
| CN105653164B (zh) * | 2015-07-31 | 2019-02-01 | 宇龙计算机通信科技(深圳)有限公司 | 一种语音输入用户事件的方法及终端 |
| CN105765491A (zh) * | 2015-09-23 | 2016-07-13 | 深圳还是威健康科技有限公司 | 一种识别手部运动的方法及智能手环、终端 |
| WO2017049499A1 (zh) * | 2015-09-23 | 2017-03-30 | 深圳还是威健康科技有限公司 | 一种识别手部运动的方法及智能手环、终端 |
| CN107103905A (zh) * | 2015-12-09 | 2017-08-29 | 联想（新加坡）私人有限公司 | 用于语音识别的方法和产品以及信息处理设备 |
| CN105681859A (zh) * | 2016-01-12 | 2016-06-15 | 东华大学 | 基于人体骨骼追踪控制智能电视的人机交互方法 |
| CN106200679B (zh) * | 2016-09-21 | 2019-01-29 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN106681683A (zh) * | 2016-12-26 | 2017-05-17 | 汎达科技（深圳）有限公司 | 一种基于语音控制游戏操作的方法及装置 |
| CN108986801A (zh) * | 2017-06-02 | 2018-12-11 | 腾讯科技（深圳）有限公司 | 一种人机交互方法、装置及人机交互终端 |
| WO2018219198A1 (zh) * | 2017-06-02 | 2018-12-06 | 腾讯科技（深圳）有限公司 | 一种人机交互方法、装置及人机交互终端 |
| CN108986801B (zh) * | 2017-06-02 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 一种人机交互方法、装置及人机交互终端 |
| US10448762B2 (en) | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
| US10663938B2 (en) | 2017-09-15 | 2020-05-26 | Kohler Co. | Power operation of intelligent devices |
| US10887125B2 (en) | 2017-09-15 | 2021-01-05 | Kohler Co. | Bathroom speaker |
| US11099540B2 (en) | 2017-09-15 | 2021-08-24 | Kohler Co. | User identity in household appliances |
| US11314215B2 (en) | 2017-09-15 | 2022-04-26 | Kohler Co. | Apparatus controlling bathroom appliance lighting based on user identity |
| US11892811B2 (en) | 2017-09-15 | 2024-02-06 | Kohler Co. | Geographic analysis of water conditions |
| US11921794B2 (en) | 2017-09-15 | 2024-03-05 | Kohler Co. | Feedback for water consuming appliance |
| US11949533B2 (en) | 2017-09-15 | 2024-04-02 | Kohler Co. | Sink device |
| CN111870918A (zh) * | 2020-07-07 | 2020-11-03 | 哈尔滨金翅鸟科技有限公司 | 一种用于仿真格斗训练、娱乐及安防性质的假人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104656877A (zh) | 基于手势和语音识别控制的人机交互方法及其设备和应用 | |
| US10486050B2 (en) | Virtual reality sports training systems and methods | |
| US10713001B2 (en) | Control method and virtual reality experience provision apparatus | |
| US10671239B2 (en) | Three dimensional digital content editing in virtual reality | |
| US10782779B1 (en) | Feedback coordination for a virtual interaction | |
| KR101315052B1 (ko) | 상호 작용식 오락 시스템과 이의 작동 방법 | |
| US8740702B2 (en) | Action trigger gesturing | |
| US8657683B2 (en) | Action selection gesturing | |
| JP5116679B2 (ja) | 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置 | |
| US20220212086A1 (en) | Virtual reality sports training systems and methods | |
| CN104857704A (zh) | 可穿戴虚拟现实运动头盔及可穿戴虚拟动作游戏*** | |
| WO2017197394A1 (en) | Editing animations using a virtual reality controller | |
| WO2015025442A1 (ja) | 情報処理装置および情報処理方法 | |
| EP3762807B1 (en) | Spatialized haptic device force feedback | |
| US10678327B2 (en) | Split control focus during a sustained user interaction | |
| US8845431B2 (en) | Shape trace gesturing | |
| Yun et al. | Generating real-time, selective, and multimodal haptic effects from sound for gaming experience enhancement | |
| KR102205901B1 (ko) | 증강 현실을 제공하는 방법 및 컴퓨팅 디바이스 | |
| WO2021240601A1 (ja) | 仮想空間体感システム | |
| CN114504820A (zh) | 游戏中的音频处理方法、装置、存储介质和电子装置 | |
| JP6728111B2 (ja) | 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体 | |
| JP6791520B2 (ja) | ゲーム制御装置、ゲームシステム、及びプログラム | |
| CN118001736B (zh) | 云游戏的虚拟现实交互控制方法、装置及电子设备 | |
| WO2024055905A1 (zh) | 数据处理方法、装置、设备及介质 | |
| US20240177435A1 (en) | Virtual interaction methods, devices, and storage media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150527 |
|
| WD01 | Invention patent application deemed withdrawn after publication |