CN106775555A - 一种虚拟现实设备及虚拟现实设备的输入控制方法 - Google Patents

一种虚拟现实设备及虚拟现实设备的输入控制方法 Download PDF

Info

Publication number
CN106775555A
CN106775555A CN201611045610.9A CN201611045610A CN106775555A CN 106775555 A CN106775555 A CN 106775555A CN 201611045610 A CN201611045610 A CN 201611045610A CN 106775555 A CN106775555 A CN 106775555A
Authority
CN
China
Prior art keywords
virtual reality
file
order
reality device
text information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611045610.9A
Other languages
English (en)
Other versions
CN106775555B (zh
Inventor
赵艳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201611045610.9A priority Critical patent/CN106775555B/zh
Priority to PCT/CN2016/114048 priority patent/WO2018094852A1/zh
Priority to KR1020187025305A priority patent/KR20180102200A/ko
Priority to US16/081,278 priority patent/US20190034162A1/en
Priority to JP2019502014A priority patent/JP6588673B2/ja
Publication of CN106775555A publication Critical patent/CN106775555A/zh
Application granted granted Critical
Publication of CN106775555B publication Critical patent/CN106775555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04892—Arrangements for controlling cursor position based on codes indicative of cursor displacements from one discrete location to another, e.g. using cursor control keys associated to different directions or using the tab key
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟现实设备及虚拟现实设备的输入控制方法，虚拟现实设备包括：微处理器，及与微处理器连接的显示屏、麦克风和存储器。微处理器识别麦克风采集的语音信息的语义并转换为文字信息；以及检测显示屏是否存在光标，如果存在光标，则将文字信息输入至显示屏上的光标位置，否则将文字信息与存储器中的关键字对比，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到时，则打开相应的应用或文件，提高了用户操作虚拟现实设备的便捷性，优化了人机交互，增强了虚拟现实体验。

Description

一种虚拟现实设备及虚拟现实设备的输入控制方法
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种虚拟现实设备及虚拟现实设备的输入控制方法。
背景技术
虚拟现实技术未来将会发展成一种改变我们生活方式的新突破。但是从现在来看，虚拟现实技术想要真正进入消费级市场，还有一段很长的路要走。开发者如何为用户提供一个真正身临其境的游戏或应用体验还存在比较大的技术局限性，而一些问题到现在仍然还没有很好的解决办法。
当前已有的各种虚拟现实装备依然阻挡着用户和虚拟世界之间的交流。虚拟现实最大的挑战也许是如何在虚拟世界中与目标进行互动。虚拟现实如何实现输入控制是头戴式设备开发者和硬件制造商目前非常大的困扰。即使已经存在的触摸屏和3D输入法也无法友好的方便用户输入内容。
发明内容
鉴于上述问题，本发明提供了一种虚拟现实设备及虚拟现实设备的输入控制方法，以解决现有虚拟现实设备无法友好的方便用户输入内容的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一方面，本发明提供一种虚拟现实设备，包括：微处理器，及与所述微处理器连接的显示屏、麦克风和存储器，
所述麦克风，用于采集语音信息；
所述存储器，用于存储关键字，所述关键字包括：操作命令、应用名称和文件名称，所述操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
所述微处理器，用于识别所述麦克风采集的语音信息的语义并转换为文字信息；以及检测所述显示屏是否存在光标，如果存在光标，则将所述转换的文字信息输入至所述显示屏上的光标位置，如果不存在光标，
则将所述文字信息与所述存储器中的关键字对比，检测所述文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过所述显示屏给出无命令可执行的提示信息。
进一步，所述微处理器，还用于实时统计所述存储器中的关键字被检测到的次数，按照所述被检测到的次数将所述关键字由高到低重新排序；以及在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新所述存储器中的应用名称或文件名称。
另一方面，本发明还提供一种虚拟现实设备的输入控制方法，所述虚拟现实设备包括显示屏和麦克风；
对关键字进行预先存储，所述关键字包括：操作命令、应用名称和文件名称，所述操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
利用所述麦克风采集语音信息；
对所述麦克风采集的语音信息进行语义识别并转换为文字信息；
检测所述显示屏是否存在光标，如果存在光标，则将所述转换的文字信息输入至所述显示屏上的光标位置，如果不存在光标，则将所述文字信息与预存的关键字对比，
检测所述文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过所述显示屏给出无命令可执行的提示信息。
进一步，所述方法还包括：实时统计所述关键字被检测到的次数，按照所述被检测到的次数将所述关键字由高到低重新排序，并在下一次将所述文字信息与预存的关键字对比时，按照由高到低的顺序依次对比所述关键字；
以及，在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新所述关键字。
本发明的有益效果是：本发明提供一种虚拟现实设备及虚拟现实设备的输入控制方法，虚拟现实设备通过声控的方式实现输入文字、对设备执行可视化界面操作或打开应用、文件，能够自动识别用户的语音信息，智能判断用户试图输入文字，还是执行可视化界面操作，或者是打开应用或文件，并进一步执行相应的操作，提高了用户操作虚拟现实设备的便捷性，优化了人机交互，进一步增强了虚拟现实体验。
进一步，本发明实施例的虚拟现实设备还能够实时统计存储器中关键字被检测到的次数，将关键字按照被检测到的次数由高到低重新排序，并在下一次将文字信息与存储器预存的关键字对比时，按照由高到低的顺序依次对比关键字，从而提高对比效率。
附图说明
图1是本发明实施例的虚拟现实设备的示意图；
图2是本发明实施例的虚拟现实设备工作的逻辑流程图；
图3是本发明实施例的虚拟现实设备输入控制方法的流程图。
具体实施方式
本发明的设计构思是，虚拟现实设备通过麦克风采集语音信息，对语音信息进行语义识别并转换为文字信息，当检测显示屏存在光标时，将文字信息输入至光标位置，当检测到显示屏不存在光标时，检测文字信息是否是操作命令，如果是操作命令，则进一步判断操作命令是执行可视化界面操作的命令，或者是打开应用或文件对应的命令，并转换成***指令执行对应的操作。由此提高了用户操作虚拟现实设备的便捷性，优化了人机交互，进一步增强了虚拟现实体验。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供一种虚拟现实设备，如图1所示，该虚拟现实设备包括：微处理器110，及与微处理器110连接的显示屏120、麦克风130和存储器140，
麦克风130，用于采集语音信息；
存储器140，用于存储关键字，关键字包括：操作命令、应用名称和文件名称，操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
微处理器110，用于识别麦克风130采集的语音信息的语义并转换为文字信息。具体地，微处理器110将语音信息经过编码后转换成数字信号，然后通过语音识别算法(ASR)进行语音识别，提取用户的语义，转换成文字信息。此为现有技术，不再赘述。
微处理器110，还用于检测显示屏120是否存在光标，如果存在光标，则将转换的文字信息输入至显示屏120上的光标位置，如果不存在光标，
则将文字信息与存储器140中的关键字对比，检测文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则将操作命令转换成对应的***指令，并执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过显示屏120给出无命令可执行的提示信息。
由上述可知，本发明实施例的虚拟现实设备通过声控的方式实现输入文字、对设备执行可视化界面操作或打开应用、文件，能够自动识别用户的语音信息，智能判断用户试图输入文字，还是执行可视化界面操作，或者是打开应用或文件，并进一步执行相应的操作，提高了用户操作的便捷性，优化了人机交互，进一步增强了虚拟现实体验。
在本发明实施例中，当虚拟现实设备需要连接无线网络，在输入密码时，可通过后台服务把语音识别出的密码直接写入到光标所在位置，可以解决现有虚拟现实设备通过键盘不容易输入字符的问题。
在本发明实施例中，虚拟现实设备还包括：触摸屏或键盘(图中未示出)；
当输入光标位置的文字信息有误时，通过触摸屏或键盘移动光标进行文字信息的修改或重新输入文字。
在本发明实施例中，微处理器110在判断出执行可视化界面操作的命令时，通过后台服务进程执行相应的可视化界面操作；在判断出打开应用或文件的命令时，通过***广播打开相应的应用或文件。
如图2所示，本发明实施例的虚拟现实设备工作的逻辑流程如下：
麦克风采集语音信息，微处理器识别语音信息的语义并转换为文字信息，并检测显示屏是否存在光标。如果存在光标，将文字信息输入至显示屏上的光标位置。
如果不存在光标，检测文字信息中是否有操作命令。如果不存在操作命令，则通过显示屏给出无命令可执行的提示信息。如果存在操作命令，则判断检测到操作命令且是执行可视化界面操作的命令还是打开应用或文件对应的命令。如果判断出是执行可视化界面操作的命令时，通过后台服务进程执行相应的可视化界面操作。如果判断出是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称。如果存在应用名称或文件名称，则通过***广播打开相应的应用或文件。如果不存在应用名称或文件名称，则通过显示屏给出无命令可执行的提示信息。
在本发明实施例中，执行可视化界面操作的命令包括：翻页、暂停视频、继续播放视频等，例如操作命令是“翻页”，则微处理器将***界面由当前界面切换到下一个界面。打开应用或文件对应的命令例如可以是“启动”、“打开”等。
在本发明实施例中，麦克风130包括一个主麦克风和一个以上辅麦克风，微处理器110，还用于根据一个以上辅麦克风采集的语音信息滤除语音信息中的噪声，提高语音识别的准确率。具体地，微处理器110中存储有语音降噪算法，此为现有技术，不再赘述。
在本发明实施例中，微处理器110还用于在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新存储器140中的应用名称或文件名称。微处理器110还用于实时统计存储器140中的关键字被检测到的次数，按照被检测到的次数将关键字由高到低重新排序，也即按照关键字被使用的频率由高到低排序，在下一次将所述文字信息与预存的关键字对比时，按照由高到低的顺序依次对比关键字。
随着虚拟现实设备中视频或者游戏的不断积累，存储器140中的应用或文件会越来越多，按照被检测到的次数将关键字由高到低重新排序，微处理器在下一次则将文字信息与存储器140中的关键字对比时，优先对比使用频率较高的关键字，以提高关键字对比效率，快速找到关键字。
本发明实施例还提供一种虚拟现实设备的输入控制方法，所述虚拟现实设备包括显示屏和麦克风；如图3所述，该方法包括：
步骤S310：对关键字进行预先存储，所述关键字包括：操作命令、应用名称和文件名称，所述操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
步骤S320：利用所述麦克风采集语音信息；
步骤S330：对所述麦克风采集的语音信息进行语义识别并转换为文字信息；
步骤S340：检测所述显示屏是否存在光标，如果存在光标，则将所述转换的文字信息输入至所述显示屏上的光标位置，如果不存在光标，则将所述文字信息与预存的关键字对比，
步骤S350：检测所述文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过所述显示屏给出无命令可执行的提示信息。
在本发明实施例中，所述麦克风包括一个主麦克风和一个以上辅麦克风，所述方法还包括：
根据所述一个以上辅麦克风采集的语音信息滤除所述主麦克风采集的语音信息中的噪声，提高语音识别的准确率。
在本发明实施例中，所述方法还包括：
当所述输入光标位置的文字信息有误时，通过虚拟现实设备的触摸屏或键盘移动光标进行文字信息修改或重新输入文字。
在本发明实施例中，所述执行相应的可视化界面操作包括：通过后台服务进程执行相应的可视化界面操作；
所述打开相应的应用或文件包括：通过***广播打开相应的应用或文件。
在本发明实施例中，所述方法还包括：
在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新所述关键字。
在本发明实施例中，所述方法还包括：
实时统计所述关键字被检测到的次数，将所述关键字按照所述被检测到的次数由高到低重新排序，并在下一次将所述文字信息与预存的关键字对比时，按照由高到低的顺序依次对比所述关键字，从而提高对比效率。
综上所述，本发明实施例提供的一种虚拟现实设备及虚拟现实设备的输入控制方法，虚拟现实设备通过声控的方式实现输入文字、对设备执行可视化界面操作或打开应用、文件，能够自动识别用户的语音信息，智能判断用户试图输入文字，还是执行可视化界面操作，或者是打开应用或文件，并进一步执行相应的操作，提高了用户操作虚拟现实设备的便捷性，优化了人机交互，进一步增强了虚拟现实体验。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种虚拟现实设备，包括：微处理器，及与所述微处理器连接的显示屏、麦克风和存储器，其特征在于，
所述麦克风，用于采集语音信息；
所述存储器，用于存储关键字，所述关键字包括：操作命令、应用名称和文件名称，所述操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
所述微处理器，用于识别所述麦克风采集的语音信息的语义并转换为文字信息；以及检测所述显示屏是否存在光标，如果存在光标，则将所述转换的文字信息输入至所述显示屏上的光标位置，如果不存在光标，则将所述文字信息与所述存储器中的关键字对比，检测所述文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过所述显示屏给出无命令可执行的提示信息。
2.根据权利要求1所述的虚拟现实设备，其特征在于，
所述微处理器在判断出执行可视化界面操作的命令时，通过后台服务进程执行相应的可视化界面操作；在判断出打开应用或文件的命令时，通过***广播打开相应的应用或文件。
3.根据权利要求1所述的虚拟现实设备，其特征在于，所述微处理器，还用于实时统计所述存储器中的关键字被检测到的次数，按照所述被检测到的次数将所述关键字由高到低重新排序；以及在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新所述存储器中的应用名称或文件名称。
4.根据权利要求1所述的虚拟现实设备，其特征在于，所述麦克风包括一个主麦克风和一个以上辅麦克风，所述微处理器，还用于根据所述一个以上辅麦克风采集的语音信息滤除所述语音信息中的噪声。
5.根据权利要求1所述的虚拟现实设备，其特征在于，所述虚拟现实设备还包括：触摸屏或键盘；
当所述输入光标位置的文字信息有误时，通过所述触摸屏或所述键盘移动光标进行文字信息的修改或重新输入文字。
6.一种虚拟现实设备的输入控制方法，所述虚拟现实设备包括显示屏和麦克风；其特征在于，
对关键字进行预先存储，所述关键字包括：操作命令、应用名称和文件名称，所述操作命令包括：执行可视化界面操作的命令和打开应用或文件对应的命令；
利用所述麦克风采集语音信息；
对所述麦克风采集的语音信息进行语义识别并转换为文字信息；
检测所述显示屏是否存在光标，如果存在光标，则将所述转换的文字信息输入至所述显示屏上的光标位置，如果不存在光标，则将所述文字信息与预存的关键字对比，
检测所述文字信息中是否有操作命令，当检测到操作命令且是执行可视化界面操作的命令，则执行相应的可视化界面操作；当检测到操作命令且是打开应用或文件对应的命令，则检测剩余文字信息中是否存在应用名称或文件名称，当检测到存在应用名称或文件名称时，则打开相应的应用或文件，否则通过所述显示屏给出无命令可执行的提示信息。
7.根据权利要求6所述的虚拟现实设备的输入控制方法，其特征在于，所述执行相应的可视化界面操作包括：通过后台服务进程执行相应的可视化界面操作；
所述打开相应的应用或文件包括：通过***广播打开相应的应用或文件。
8.根据权利要求6所述的虚拟现实设备的输入控制方法，其特征在于，所述方法还包括：
实时统计所述关键字被检测到的次数，按照所述被检测到的次数将所述关键字由高到低重新排序，并在下一次将所述文字信息与预存的关键字对比时，按照由高到低的顺序依次对比所述关键字；
以及，在安装新的应用或删除原有应用，或写入新的文件或删除原有文件时，更新所述关键字。
9.根据权利要求6所述的虚拟现实设备的输入控制方法，其特征在于，所述麦克风包括一个主麦克风和一个以上辅麦克风，所述方法还包括：
根据所述一个以上辅麦克风采集的语音信息滤除所述主麦克风采集的语音信息中的噪声。
10.根据权利要求6所述的虚拟现实设备的输入控制方法，其特征在于，所述方法还包括：
当所述输入光标位置的文字信息有误时，通过虚拟现实设备的触摸屏或键盘移动光标进行文字信息的修改或重新输入文字。
CN201611045610.9A 2016-11-24 2016-11-24 一种虚拟现实设备及虚拟现实设备的输入控制方法 Active CN106775555B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201611045610.9A CN106775555B (zh) 2016-11-24 2016-11-24 一种虚拟现实设备及虚拟现实设备的输入控制方法
PCT/CN2016/114048 WO2018094852A1 (zh) 2016-11-24 2016-12-31 一种虚拟现实设备及虚拟现实设备的输入控制方法
KR1020187025305A KR20180102200A (ko) 2016-11-24 2016-12-31 가상현실 장치 및 가상현실 장치의 입력 제어 방법
US16/081,278 US20190034162A1 (en) 2016-11-24 2016-12-31 Virtual reality device and input control method thereof
JP2019502014A JP6588673B2 (ja) 2016-11-24 2016-12-31 仮想現実機器及び仮想現実機器の入力制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611045610.9A CN106775555B (zh) 2016-11-24 2016-11-24 一种虚拟现实设备及虚拟现实设备的输入控制方法

Publications (2)

Publication Number Publication Date
CN106775555A true CN106775555A (zh) 2017-05-31
CN106775555B CN106775555B (zh) 2020-02-07

Family

ID=58975352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611045610.9A Active CN106775555B (zh) 2016-11-24 2016-11-24 一种虚拟现实设备及虚拟现实设备的输入控制方法

Country Status (5)

Country Link
US (1) US20190034162A1 (zh)
JP (1) JP6588673B2 (zh)
KR (1) KR20180102200A (zh)
CN (1) CN106775555B (zh)
WO (1) WO2018094852A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436749A (zh) * 2017-08-03 2017-12-05 安徽智恒信科技有限公司 基于三维虚拟现实场景的文字输入方法及***
CN108389579A (zh) * 2018-02-09 2018-08-10 北京北行科技有限公司 一种在vr虚拟世界语音控制***以及控制方法
CN112652302A (zh) * 2019-10-12 2021-04-13 腾讯科技（深圳）有限公司 语音控制方法、装置、终端及存储介质
WO2021212603A1 (zh) * 2020-04-23 2021-10-28 捷开通讯(深圳)有限公司 运用头控实现语音输入的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142675A (zh) * 2019-12-31 2020-05-12 维沃移动通信有限公司 输入方法及头戴式电子设备
US20230315383A1 (en) * 2022-04-04 2023-10-05 Snap Inc. Wearable device ar object voice-based interaction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102755745A (zh) * 2012-07-31 2012-10-31 曾珠峰 一种全身式仿真游戏设备
CN103578472A (zh) * 2012-08-10 2014-02-12 海尔集团公司 电器设备的控制方法和控制装置
CN104063136A (zh) * 2013-07-02 2014-09-24 姜洪明 移动操作***
CN104731549A (zh) * 2015-04-09 2015-06-24 徐敏 一种基于鼠标的语音识别人机交互装置及其方法
CN105700704A (zh) * 2016-03-21 2016-06-22 深圳五洲无线股份有限公司 小尺寸屏幕下的文字输入方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1229216A (zh) * 1998-03-16 1999-09-22 致伸实业股份有限公司 可接受语音指令的视窗显示***
US10733976B2 (en) * 2003-03-01 2020-08-04 Robert E. Coifman Method and apparatus for improving the transcription accuracy of speech recognition software
CN101882007A (zh) * 2010-06-13 2010-11-10 北京搜狗科技发展有限公司 一种基于输入界面进行信息输入和执行的方法、装置
CN103631800A (zh) * 2012-08-23 2014-03-12 腾讯科技（深圳）有限公司 信息处理方法及装置
CN104346127B (zh) * 2013-08-02 2018-05-22 腾讯科技（深圳）有限公司 语音输入的实现方法、装置及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102755745A (zh) * 2012-07-31 2012-10-31 曾珠峰 一种全身式仿真游戏设备
CN103578472A (zh) * 2012-08-10 2014-02-12 海尔集团公司 电器设备的控制方法和控制装置
CN104063136A (zh) * 2013-07-02 2014-09-24 姜洪明 移动操作***
CN104731549A (zh) * 2015-04-09 2015-06-24 徐敏 一种基于鼠标的语音识别人机交互装置及其方法
CN105700704A (zh) * 2016-03-21 2016-06-22 深圳五洲无线股份有限公司 小尺寸屏幕下的文字输入方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436749A (zh) * 2017-08-03 2017-12-05 安徽智恒信科技有限公司 基于三维虚拟现实场景的文字输入方法及***
CN108389579A (zh) * 2018-02-09 2018-08-10 北京北行科技有限公司 一种在vr虚拟世界语音控制***以及控制方法
CN112652302A (zh) * 2019-10-12 2021-04-13 腾讯科技（深圳）有限公司 语音控制方法、装置、终端及存储介质
CN112652302B (zh) * 2019-10-12 2024-05-24 腾讯科技（深圳）有限公司 语音控制方法、装置、终端及存储介质
WO2021212603A1 (zh) * 2020-04-23 2021-10-28 捷开通讯(深圳)有限公司 运用头控实现语音输入的方法和装置

Also Published As

Publication number Publication date
WO2018094852A1 (zh) 2018-05-31
US20190034162A1 (en) 2019-01-31
JP2019527889A (ja) 2019-10-03
JP6588673B2 (ja) 2019-10-09
CN106775555B (zh) 2020-02-07
KR20180102200A (ko) 2018-09-14

Similar Documents

Publication Publication Date Title
CN106775555A (zh) 一种虚拟现实设备及虚拟现实设备的输入控制方法
CN103631516B (zh) 触摸敏感设备和对内容的基于触摸的操纵的方法
CN106648535A (zh) 直播客户端语音输入方法及终端设备
CN108536344A (zh) 信息处理方法、装置、电子设备及存储介质
CN108323239A (zh) 屏幕录像的录制、播放方法、录屏终端及播放终端
CN109634552A (zh) 一种应用于听写的报读控制方法及终端设备
CN107885534A (zh) 一种锁屏方法、终端及计算机可读介质
CN107305459A (zh) 语音和多媒体消息的发送方法及装置
WO2015120704A1 (zh) 锁屏界面中应用程序快捷方式的显示方法及***
CN107346229A (zh) 语音输入方法及装置、计算机装置及可读存储介质
CN107450837A (zh) 响应黑屏手势的方法、装置、存储介质及移动终端
CN105869639A (zh) 一种语音识别的方法及***
CN107391021B (zh) 黑屏手势的识别方法、装置、存储介质及移动终端
CN106775666A (zh) 一种应用图标显示方法及终端
CN104464730A (zh) 以语音识别来发生事件装置及方法
CN106055260A (zh) 一种安全键盘的读屏方法及装置
CN111158487A (zh) 使用无线耳机与智能终端进行交互的人机交互方法
CN102722238A (zh) 一种触摸终端识别确认型触摸手势的方法及***
CN106709229B (zh) 一种游戏***中npc对象优先响应的方法及装置
CN107015743A (zh) 一种悬浮按键控制方法及终端
CN106814908A (zh) 一种触摸屏的指令获取方法及装置
CN106529638A (zh) 一种信息处理方法及装置
CN109144458A (zh) 用于执行与语音输入相对应的操作的电子设备
CN107239169A (zh) 一种触摸屏触控功能的控制方法及装置
CN106354359B (zh) 一种管理分身应用的方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right