CN116069169A - 一种基于智能手表输入虚拟文本的数据处理方法及*** - Google Patents
一种基于智能手表输入虚拟文本的数据处理方法及*** Download PDFInfo
- Publication number
- CN116069169A CN116069169A CN202310319289.2A CN202310319289A CN116069169A CN 116069169 A CN116069169 A CN 116069169A CN 202310319289 A CN202310319289 A CN 202310319289A CN 116069169 A CN116069169 A CN 116069169A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- text
- interaction
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 253
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000002452 interceptive effect Effects 0.000 claims description 152
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 21
- 239000011521 glass Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000013501 data transformation Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于智能手表输入虚拟文本的数据处理方法及***,运用于虚拟数据处理领域;本发明通过将智能手表与VR设备进行连接和数据同步,使用户可以在虚拟应用环境中应用智能手表上设有的传感设备,将用户的手部数据同步至虚拟应用环境中,使得在虚拟应用场景中输入虚拟文本时,用户的双手能够精确命中虚拟键盘,不会影响用户在虚拟应用场景中交互文本信息时的输出效率,有效提升用户的VR交互体验。
Description
技术领域
本发明涉及虚拟数据处理领域,特别涉及为一种基于智能手表输入虚拟文本的数据处理方法及***。
背景技术
VR技术是基于虚拟现实技术领域,通过将交互技术、三维立体成像技术及传感技术等融合发展,从而增强虚拟现实技术的沉浸感、交互性及扩展用户的想象力,自2016年开始,VR设备作为虚拟现实的核心硬件,走进主流消费市场,并随着虚拟现实技术应用场景的扩展,不断推陈出新,尽管三维图形的显示技术已经较为成熟,但实时动态交互生成及虚拟现实硬件的大众化发展,并未实现。
目前头戴式VR设备通过使用Unity3D实现VR技术交互的过程中,用户需要在虚拟应用场景中输入虚拟文本时,双手经常会因为无法精确命中虚拟键盘,导致在虚拟应用场景中的文本信息输出效率大大降低,影响用户的VR交互体验。
发明内容
本发明旨在解决用户需要在虚拟应用场景中输入虚拟文本时,双手经常会因为无法精确命中虚拟键盘,导致在虚拟应用场景中的文本信息输出效率大大降低的问题,提供一种基于智能手表输入虚拟文本的数据处理方法及***。
本发明为解决技术问题采用如下技术手段:
本发明提供一种基于智能手表输入虚拟文本的数据处理方法,包括以下步骤:
识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
进一步地,所述将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中的步骤中,包括:
记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
基于所述识别次数中用户使用次数最多的交互文本,对预生成的交互文本内容进行优先级排序,生成至少一种所述用户常用的交互副本。
进一步地,所述依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘的步骤前,包括:
获取所述用户在所述虚拟应用场景中的视野信息;
判断所述视野信息内是否检测到所述用户的手部数据;
若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
进一步地,所述识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率的步骤中,还包括:
采集所述用户应用所述虚拟键盘上输入的文本数据,基于所述文本数据生成所述用户待上传的文本交互信息,同时记录生成所述待上传的文本交互信息所需消耗的时段;
判断所述所需消耗的时段是否大于预设时段;
若是,则为所述用户提供交互辅助功能,在所述用户进行所述文本数据输入时,在所述虚拟应用环境中展示预组合的文本辅助数据,待所述用户选取所述文本辅助数据后生成交互辅助文本。
进一步地,所述识别所述用户的文本交互效率的步骤前,包括:
实时追踪所述手部数据的变换方位,判断所述变换方位是否与所述虚拟键盘存在预设距离阈值;
若是,则根据所述变换方位在所述虚拟应用环境中调整所述虚拟键盘的生成方位,其中,所述生成方位始终跟踪所述虚拟落点生成。
进一步地,所述识别用户当前的虚拟应用场景的步骤中,包括:
追踪所述用户在所述虚拟应用场景中的注视点,判断所述注视点是否属于交互对象;
若是,则获取所述交互对象输出的交互内容,基于所述交互内容生成对应的交互选项,根据所述用户选取的不同交互选项,为所述用户呈现所述不同交互选项对应的交互方式,其中,所述交互方式包括文本交互、触摸交互或手势交互。
进一步地,所述识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点的步骤中,还包括:
获取文本交互环节中需要输入的交互内容类型,基于所述交互内容类型呈现对应的虚拟落点预置范围,其中,所述交互内容类型包括数字、符号、方向和字母;
根据所述虚拟落点预置范围为所述用户提供对应的手部提示,通过所述手部提示供所述用户选取不同手部对应的交互内容,其中,所述不同手部对应的交互内容具体包括左手手部的交互内容类型为符号与字母,右手手部的交互内容类型为数字与方向。
本发明还提供一种基于智能手表输入虚拟文本的数据处理***,包括:
判断模块,用于识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
执行模块,用于若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
第二判断模块,用于识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
第二执行模块,用于若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
进一步地,所述第二执行模块还包括:
记录单元,用于记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
生成单元,用于将所述文本特征对应的交互内容基于所述识别次数与用户最近使用的交互文本进行优先级排序,生成至少一种所述用户近期内使用的交互副本。
进一步地,还包括:
获取模块,用于获取所述用户在所述虚拟应用场景中的视野信息;
第三判断模块,用于判断所述视野信息内是否检测到所述用户的手部数据;
第三执行模块,用于若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
本发明提供了基于智能手表输入虚拟文本的数据处理方法及***,具有以下有益效果:
本发明通过将智能手表与VR设备进行连接和数据同步,使用户可以在虚拟应用环境中应用智能手表上设有的传感设备,将用户的手部数据同步至虚拟应用环境中,使得在虚拟应用场景中输入虚拟文本时,用户的双手能够精确命中虚拟键盘,不会影响用户在虚拟应用场景中交互文本信息时的输出效率,有效提升用户的VR交互体验。
附图说明
图1为本发明基于智能手表输入虚拟文本的数据处理方法一个实施例的流程示意图;
图2为本发明基于智能手表输入虚拟文本的数据处理***一个实施例的结构框图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明,本发明为目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考附图1,为本发明一实施例中的基于智能手表输入虚拟文本的数据处理方法,包括:
S1:识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
S2:若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
S3:识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
S4:若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
在本实施例中,***通过识别用户佩戴VR眼镜设备中的虚拟应用场景,并判断虚拟应用场景中是否需要用户进行文本交互,以执行对应的步骤;例如,当***判定到用户当前并未与虚拟应用场景中的对象进行文本交互时,***会保持对用户的实时观察,直至用户需要对虚拟应用场景中的对象进行文本交互;例如,当***判定到用户当前需要与虚拟应用场景中的对象进行文本交互时,此时***会将VR眼镜设备与用户佩戴的智能手表进行数据同步,由于VR眼镜设备已经预先与智能手表通过蓝牙进行连接,因此***可以通过智能手表设有的传感设备,获取到用户的手部变化数据后,转换为用户在虚拟应用场景中的手部数据,取代VR眼镜设备生成的虚拟手部数据,***通过将用户的手部数据实时同步在虚拟应用场景中,并识别手部数据在虚拟应用场景中的方位信息,***根据该方位信息在虚拟应用场景中生成一个虚拟落点,且依据该虚拟落点生成至少一个虚拟键盘;***通过识别用户进行文本交互时的文本交互效率,同时判断该文本交互效率是否达到预先设定的交互频率;例如,当***判定到用户当前的文本交互效率达到了预先设定的交互频率时,***不会应用交互辅助功能帮助用户与虚拟应用环境中的对象进行辅助交互;例如,当***判定到用户当前的文本交互效率并未达到预先设定的交互频率时,此时***会基于用户在与虚拟应用环境中的对象进行交互时,识别到用户在虚拟键盘中输入的起始交互关键字,将这些起始交互关键字输入至预测模型中进行预测,通过预测模型预测生成得到至少一种追加关键字在虚拟应用环境中,此时用户可以通过将追加关键字和起始交互关键字进行组合,根据预先设定的优先级排序生成对应的可选取序列,***通过识别用户的手部摆动方位滑动选取这些可选取序列,并通过用户在虚拟键盘中确认这些可选取序列;如用户通过虚拟键盘输入的起始交互关键字为“你”,而通过预测模型预测会生成的追加关键字如“好”、“迷”、“们”等等,通过将这些追加关键字和起始交互关键字进行预组合,即可生成对应的可选取序列“你好”、“迷你”、“你们”,***此时会通过用户对这些可选取序列的使用次数作为优先级进行排序,假设用户使用“你好”的次数为2次,使用“迷你”的次数为1次,使用“你们”的次数为0次,则此时***会基于手部摆动方位的上下左右为最优、次优、第三优和第四优,由于当前仅存在三个可选取序列,因此用户仅需要通过上下左不同的手部摆动方位即可选择不同的可选取序列,并按下虚拟键盘中的确认键,以完成***为帮助用户交互而生成的辅助交互内容。
需要说明的是,虚拟键盘是根据虚拟落点的方位变化而变化位置的,而虚拟落点的方位是基于用户的食指落点而变化的,因此虚拟落点会追踪用户的手部位置进而生成至少一个虚拟键盘,因为用户的手部位置会随着交互过程中发生变化,因此会生成至少一个虚拟键盘。
在本实施例中,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中的步骤S4中,包括:
S41:记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
S42:基于所述识别次数中用户使用次数最多的交互文本,对预生成的交互文本内容进行优先级排序,生成至少一种所述用户常用的交互副本。
在本实施例中,***通过记录用户在进行文本交互时应用虚拟键盘输入的交互内容,通过将这些交互内容记录并上传至预先设有的数据库中,基于数据库对这些交互内容进行识别,得到这些交互内容中的至少一个文本特征,同时采集各个文本特征的识别次数,以得到用户在虚拟应用环境中输入次数最多的文本内容;而后***基于各个文本特征的识别次数和用户在虚拟应用场景中输入次数最多的文本内容,对预先生成的交互文本内容进行优先级排序,生成至少一种符合用户日常使用的交互副本内容;例如,***识别到交互内容为“你们好啊”、“你好啊”、“你们”中的文本特征都是“你”,且“你们好啊”、“你好啊”、“你们”的识别次数分别为1次、3次、2次,而***通过记录得知用户在输入“你”文字后使用次数最多的交互文本为“你好啊”,此时***会将这些用户曾经使用过的交互内容基于识别次数进行优先级排序,生成三种交互副本在虚拟应用环境中供用户进行文本辅助选择,按优先级排序为“你好啊”、“你们”、“你们好啊”;
需要说明的是,因为文本特征具体为交互内容中的首个文字,当交互内容中出现首个文字相同时,***会基于交互内容中的首个文字对下一位文字进行文本特征识别,即可由相同的首个文字的不同交互内容中记录得到不同的识别次数;而交互副本具体是一种文本交互辅助功能,当***检测到用户的交互效率较低时,***会生成上述实施例的交互副本供用户进行文本辅助选择,以提高用户的文本交互效率,而交互副本实际上只是一种文本辅助功能,并非用户必须选择的文本交互内容,用户在进行文本交互时仍然可以无视交互副本继续进行文本交互。
在本实施例中,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘的步骤S2前,包括:
S201:获取所述用户在所述虚拟应用场景中的视野信息;
S202:判断所述视野信息内是否检测到所述用户的手部数据;
S203:若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
在本实施例中,***通过获取用户在虚拟应用场景中的视野范围信息,即用户佩戴VR设备后双眼能看得到的视野信息,同时判断这些视野信息中是否存在有用户的手部数据,以执行对应的步骤;例如,当***判定到视野信息中不存在有用户的手部数据时,此时***会认为用户在当前的虚拟应用环境中暂时无需进行文本交互,因为用户的视野范围内没有用户自己的手部数据出现,因此***无法定义虚拟落点的位置,即也无法生成虚拟键盘;例如,当***判定到视野信息中存在用户的手部数据时,此时***会认为用户在当前的虚拟应用环境中需要进行文本交互,***会获取到用户的手部数据,基于手部数据中食指的具体方位,在该具体方位下生成虚拟落点,同时根据该虚拟落点生成一副完整的虚拟键盘,供用户在当前虚拟应用环境中与VR虚拟对象进行文本交互。
在本实施例中,识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率的步骤S3中,还包括:
S31:采集所述用户应用所述虚拟键盘上输入的文本数据,基于所述文本数据生成所述用户待上传的文本交互信息,同时记录生成所述待上传的文本交互信息所需消耗的时段;
S32:判断所述所需消耗的时段是否大于预设时段;
S33:若是,则为所述用户提供交互辅助功能,在所述用户进行所述文本数据输入时,在所述虚拟应用环境中展示预组合的文本辅助数据,待所述用户选取所述文本辅助数据后生成交互辅助文本。
在本实施例中,***通过采集用户在虚拟键盘中输入的文本数据,基于这些文本数据生成用户待上传的文本交互信息,同时记录用户在输入这些文本数据并未完成上传时所消耗的时段,并判断该消耗的时段是否大于预先设定的时段,以执行对应的步骤;例如,当***检测到用户输入这些文本数据所消耗的时段并未大于预先设定的时段,此时***会认为用户的文本交互效率无需启用***提供的文本辅助功能,用户靠自身的文本交互效率也能够与VR虚拟对象完成常规的文本交互;例如,当***检测到用户输入这些文本数据所消耗的时段大于预先设定的时段,此时***会认为用户的文本交互效率过低,需要应用***提供的文本辅助功能,在用户进行文本数据输入时,***会在虚拟应用环境中展示预组合的文本辅助数据,供用户进行选取后即可生成交互辅助文本,这些交互辅助文本在选取后直接生成在交互文本内容中,无需用户通过虚拟键盘输入得到,可有效提高用户与VR虚拟对象的文本交互效率。
在本实施例中,识别所述用户的文本交互效率的步骤S3前,包括:
S301:实时追踪所述手部数据的变换方位,判断所述变换方位是否与所述虚拟键盘存在预设距离阈值;
S302:若是,则根据所述变换方位在所述虚拟应用环境中调整所述虚拟键盘的生成方位,其中,所述生成方位始终跟踪所述虚拟落点生成。
在本实施例中,***通过实时追踪用户在虚拟应用环境中的手部数据变换方位,同时判断该变换方位与已经生成的虚拟键盘是否处于预先设定的距离阈值内,以执行对应的步骤;例如,***检测到用户的手部数据变换方位虽然发生了变换,但仍然处于预先设定的距离阈值内,此时***会认为用户的手部数据只是偏离了虚拟键盘一点点,无需重新依据手部数据寻找虚拟落点并生成另一虚拟键盘;例如,***检测到用户的手部数据变换方位发生了变换,且不处于预先设定的距离阈值内,此时***会根据手部数据变换方位在虚拟应用环境中重新寻找虚拟落点的方位,在虚拟落点重新生成后对应生成另一虚拟键盘,避免用户在虚拟应用环境中需要转动自身的身位,与多个VR虚拟对象交互时,视野范围发生变化,只存在一个虚拟键盘,影响用户与多个VR虚拟对象的文本交互。
在本实施例中,识别用户当前的虚拟应用场景的步骤S1中,包括:
S11:追踪所述用户在所述虚拟应用场景中的注视点,判断所述注视点是否属于交互对象;
S12:若是,则获取所述交互对象输出的交互内容,基于所述交互内容生成对应的交互选项,根据所述用户选取的不同交互选项,为所述用户呈现所述不同交互选项对应的交互方式,其中,所述交互方式包括文本交互、触摸交互或手势交互。
在本实施例中,***通过追踪到用户在虚拟应用环境中眼睛的注视点,同时判断注视点中存在的VR虚拟对象是否属于交互对象,以执行对应的步骤;例如,当***检测到用户在虚拟应用环境中眼睛的注视点中存在的VR虚拟对象不属于交互对象,此时***不会启用认为的交互功能,包括文本交互、触摸交互或手势交互的交互功能,因为用户注视点中的VR虚拟对象无法进行交互;例如,当***检测到用户在虚拟应用环境中眼睛的注视点中存在的VR虚拟对象属于交互对象,此时***会获取该交互对象所输出的交互内容,并基于这些交互内容生成对应的交互选项供用户进行选择,***根据用户选取的不同交互选项,能够为用户呈现不同交互选项对应的交互方式,包括文本交互、触摸交互或手势交互的交互功能,而这些交互功能都是通过智能手表设定的传感设备对用户的手部数据进行捕捉,并同步至VR设备中才可与VR虚拟对象进行交互。
需要说明的是,文本交互、触摸交互和手势交互是三种不同的交互方式,各自具有不同的优点和适用场景,具体如下:
文本交互的优点:
可以用于处理复杂的数据输入和处理,比如长篇文字、数字、代码等;
易于使用,用户可以直接输入所需内容,无需通过其他手段进行转换;
可以在不同语言、不同文化之间进行信息交流和传递。
触摸交互的优点:
能够提供丰富的交互反馈和视觉效果,用户可以通过触摸操作与VR虚拟界面进行互动,获得更加直观的反馈;
易于操作,用户可以通过简单的手势操作实现复杂的操作;
可以满足多种VR虚拟场景的需求,如手机、平板电脑、游戏机等。
手势交互的优点:
通过自然的手势语言实现交互,可以提高用户在VR虚拟场景中的沉浸感和操作效率;
可以提供更加个性化和自定义的交互方式。
在本实施例中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点的步骤S2中,还包括:
S21:获取文本交互环节中需要输入的交互内容类型,基于所述交互内容类型呈现对应的虚拟落点预置范围,其中,所述交互内容类型包括数字、符号、方向和字母;
S22:根据所述虚拟落点预置范围为所述用户提供对应的手部提示,通过所述手部提示供所述用户选取不同手部对应的交互内容,其中,所述不同手部对应的交互内容具体包括左手手部的交互内容类型为符号与字母,右手手部的交互内容类型为数字与方向。
在本实施例中,***通过获取用户与VR虚拟对象的文本交互环节中,用户需要输入的交互内容类型,基于不同的交互内容类型呈现虚拟键盘中对应虚拟落点预先设置的范围,***根据虚拟落点预先设置的范围为用户提供虚拟键盘中对应的手部提示,不同的手部提示在虚拟键盘中对应为不同的交互内容,而在虚拟键盘中的左侧属于符号与字母的交互范围,在虚拟键盘的右侧属于数字与方向的交互范围,***会根据此时的交互内容类型将虚拟落点生成在虚拟键盘中主要交互内容的左侧或右侧,而用户也可通过双手同时操作将符号与字母、数字与方向同时输入,组合成各个不同的文本交互内容。
参考附图2,为本发明一实施例中基于智能手表输入虚拟文本的数据处理***,包括:
判断模块10,用于识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
执行模块20,用于若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
第二判断模块30,用于识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
第二执行模块40,用于若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
在本实施例中,***通过识别用户佩戴VR眼镜设备中的虚拟应用场景,判断模块10判断虚拟应用场景中是否需要用户进行文本交互,以执行对应的步骤;例如,当***判定到用户当前并未与虚拟应用场景中的对象进行文本交互时,***会保持对用户的实时观察,直至用户需要对虚拟应用场景中的对象进行文本交互;例如,当***判定到用户当前需要与虚拟应用场景中的对象进行文本交互时,此时执行模块20会将VR眼镜设备与用户佩戴的智能手表进行数据同步,由于VR眼镜设备已经预先与智能手表通过蓝牙进行连接,因此***可以通过智能手表设有的传感设备,获取到用户的手部变化数据后,转换为用户在虚拟应用场景中的手部数据,取代VR眼镜设备生成的虚拟手部数据,***通过将用户的手部数据实时同步在虚拟应用场景中,并识别手部数据在虚拟应用场景中的方位信息,***根据该方位信息在虚拟应用场景中生成一个虚拟落点,且依据该虚拟落点生成至少一个虚拟键盘;第二判断模块30通过识别用户进行文本交互时的文本交互效率,同时判断该文本交互效率是否达到预先设定的交互频率;例如,当***判定到用户当前的文本交互效率达到了预先设定的交互频率时,***不会应用交互辅助功能帮助用户与虚拟应用环境中的对象进行辅助交互;例如,当***判定到用户当前的文本交互效率并未达到预先设定的交互频率时,此时第二执行模块40会基于用户在与虚拟应用环境中的对象进行交互时,识别到用户在虚拟键盘中输入的起始交互关键字,将这些起始交互关键字输入至预测模型中进行预测,通过预测模型预测生成得到至少一种追加关键字在虚拟应用环境中,此时用户可以通过将追加关键字和起始交互关键字进行组合,根据预先设定的优先级排序生成对应的可选取序列,***通过识别用户的手部摆动方位滑动选取这些可选取序列,并通过用户在虚拟键盘中确认这些可选取序列;如用户通过虚拟键盘输入的起始交互关键字为“你”,而通过预测模型预测会生成的追加关键字如“好”、“迷”、“们”等等,通过将这些追加关键字和起始交互关键字进行预组合,即可生成对应的可选取序列“你好”、“迷你”、“你们”,***此时会通过用户对这些可选取序列的使用次数作为优先级进行排序,假设用户使用“你好”的次数为2次,使用“迷你”的次数为1次,使用“你们”的次数为0次,则此时***会基于手部摆动方位的上下左右为最优、次优、第三优和第四优,由于当前仅存在三个可选取序列,因此用户仅需要通过上下左不同的手部摆动方位即可选择不同的可选取序列,并按下虚拟键盘中的确认键,以完成***为帮助用户交互而生成的辅助交互内容。
需要说明的是,虚拟键盘是根据虚拟落点的方位变化而变化位置的,而虚拟落点的方位是基于用户的食指落点而变化的,因此虚拟落点会追踪用户的手部位置进而生成至少一个虚拟键盘,因为用户的手部位置会随着交互过程中发生变化,因此会生成至少一个虚拟键盘。
在本实施例中,第二执行模块还包括:
记录单元,用于记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
生成单元,用于将所述文本特征对应的交互内容基于所述识别次数与用户最近使用的交互文本进行优先级排序,生成至少一种所述用户近期内使用的交互副本。
在本实施例中,***通过记录用户在进行文本交互时应用虚拟键盘输入的交互内容,通过将这些交互内容记录并上传至预先设有的数据库中,基于数据库对这些交互内容进行识别,得到这些交互内容中的至少一个文本特征,同时采集各个文本特征的识别次数,以得到用户在虚拟应用环境中输入次数最多的文本内容;而后***基于各个文本特征的识别次数和用户在虚拟应用场景中输入次数最多的文本内容,对预先生成的交互文本内容进行优先级排序,生成至少一种符合用户日常使用的交互副本内容;例如,***识别到交互内容为“你们好啊”、“你好啊”、“你们”中的文本特征都是“你”,且“你们好啊”、“你好啊”、“你们”的识别次数分别为1次、3次、2次,而***通过记录得知用户在输入“你”文字后使用次数最多的交互文本为“你好啊”,此时***会将这些用户曾经使用过的交互内容基于识别次数进行优先级排序,生成三种交互副本在虚拟应用环境中供用户进行文本辅助选择,按优先级排序为“你好啊”、“你们”、“你们好啊”;
需要说明的是,因为文本特征具体为交互内容中的首个文字,当交互内容中出现首个文字相同时,***会基于交互内容中的首个文字对下一位文字进行文本特征识别,即可由相同的首个文字的不同交互内容中记录得到不同的识别次数;而交互副本具体是一种文本交互辅助功能,当***检测到用户的交互效率较低时,***会生成上述实施例的交互副本供用户进行文本辅助选择,以提高用户的文本交互效率,而交互副本实际上只是一种文本辅助功能,并非用户必须选择的文本交互内容,用户在进行文本交互时仍然可以无视交互副本继续进行文本交互。
在本实施例中,还包括:
获取模块,用于获取所述用户在所述虚拟应用场景中的视野信息;
第三判断模块,用于判断所述视野信息内是否检测到所述用户的手部数据;
第三执行模块,用于若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
在本实施例中,在本实施例中,***通过获取用户在虚拟应用场景中的视野范围信息,即用户佩戴VR设备后双眼能看得到的视野信息,同时判断这些视野信息中是否存在有用户的手部数据,以执行对应的步骤;例如,当***判定到视野信息中不存在有用户的手部数据时,此时***会认为用户在当前的虚拟应用环境中暂时无需进行文本交互,因为用户的视野范围内没有用户自己的手部数据出现,因此***无法定义虚拟落点的位置,即也无法生成虚拟键盘;例如,当***判定到视野信息中存在用户的手部数据时,此时***会认为用户在当前的虚拟应用环境中需要进行文本交互,***会获取到用户的手部数据,基于手部数据中食指的具体方位,在该具体方位下生成虚拟落点,同时根据该虚拟落点生成一副完整的虚拟键盘,供用户在当前虚拟应用环境中与VR虚拟对象进行文本交互。
在本实施例中,第二判断模块还包括:
采集单元,用于采集所述用户应用所述虚拟键盘上输入的文本数据,基于所述文本数据生成所述用户待上传的文本交互信息,同时记录生成所述待上传的文本交互信息所需消耗的时段;
判断单元,用于判断所述所需消耗的时段是否大于预设时段;
执行单元,用于若是,则为所述用户提供交互辅助功能,在所述用户进行所述文本数据输入时,在所述虚拟应用环境中展示预组合的文本辅助数据,待所述用户选取所述文本辅助数据后生成交互辅助文本。
在本实施例中,***通过采集用户在虚拟键盘中输入的文本数据,基于这些文本数据生成用户待上传的文本交互信息,同时记录用户在输入这些文本数据并未完成上传时所消耗的时段,并判断该消耗的时段是否大于预先设定的时段,以执行对应的步骤;例如,当***检测到用户输入这些文本数据所消耗的时段并未大于预先设定的时段,此时***会认为用户的文本交互效率无需启用***提供的文本辅助功能,用户靠自身的文本交互效率也能够与VR虚拟对象完成常规的文本交互;例如,当***检测到用户输入这些文本数据所消耗的时段大于预先设定的时段,此时***会认为用户的文本交互效率过低,需要应用***提供的文本辅助功能,在用户进行文本数据输入时,***会在虚拟应用环境中展示预组合的文本辅助数据,供用户进行选取后即可生成交互辅助文本,这些交互辅助文本在选取后直接生成在交互文本内容中,无需用户通过虚拟键盘输入得到,可有效提高用户与VR虚拟对象的文本交互效率。
在本实施例中,还包括:
第四判断模块,用于实时追踪所述手部数据的变换方位,判断所述变换方位是否与所述虚拟键盘存在预设距离阈值;
第四执行模块,用于若是,则根据所述变换方位在所述虚拟应用环境中调整所述虚拟键盘的生成方位,其中,所述生成方位始终跟踪所述虚拟落点生成。
在本实施例中,***通过实时追踪用户在虚拟应用环境中的手部数据变换方位,同时判断该变换方位与已经生成的虚拟键盘是否处于预先设定的距离阈值内,以执行对应的步骤;例如,***检测到用户的手部数据变换方位虽然发生了变换,但仍然处于预先设定的距离阈值内,此时***会认为用户的手部数据只是偏离了虚拟键盘一点点,无需重新依据手部数据寻找虚拟落点并生成另一虚拟键盘;例如,***检测到用户的手部数据变换方位发生了变换,且不处于预先设定的距离阈值内,此时***会根据手部数据变换方位在虚拟应用环境中重新寻找虚拟落点的方位,在虚拟落点重新生成后对应生成另一虚拟键盘,避免用户在虚拟应用环境中需要转动自身的身位,与多个VR虚拟对象交互时,视野范围发生变化,只存在一个虚拟键盘,影响用户与多个VR虚拟对象的文本交互。
在本实施例中,判断模块还包括:
第二判断单元,用于追踪所述用户在所述虚拟应用场景中的注视点,判断所述注视点是否属于交互对象;
第二执行单元,用于若是,则获取所述交互对象输出的交互内容,基于所述交互内容生成对应的交互选项,根据所述用户选取的不同交互选项,为所述用户呈现所述不同交互选项对应的交互方式,其中,所述交互方式包括文本交互、触摸交互或手势交互。
在本实施例中,***通过追踪到用户在虚拟应用环境中眼睛的注视点,同时判断注视点中存在的VR虚拟对象是否属于交互对象,以执行对应的步骤;例如,当***检测到用户在虚拟应用环境中眼睛的注视点中存在的VR虚拟对象不属于交互对象,此时***不会启用认为的交互功能,包括文本交互、触摸交互或手势交互的交互功能,因为用户注视点中的VR虚拟对象无法进行交互;例如,当***检测到用户在虚拟应用环境中眼睛的注视点中存在的VR虚拟对象属于交互对象,此时***会获取该交互对象所输出的交互内容,并基于这些交互内容生成对应的交互选项供用户进行选择,***根据用户选取的不同交互选项,能够为用户呈现不同交互选项对应的交互方式,包括文本交互、触摸交互或手势交互的交互功能,而这些交互功能都是通过智能手表设定的传感设备对用户的手部数据进行捕捉,并同步至VR设备中才可与VR虚拟对象进行交互。
在本实施例中,执行模块还包括:
获取单元,用于获取文本交互环节中需要输入的交互内容类型,基于所述交互内容类型呈现对应的虚拟落点预置范围,其中,所述交互内容类型包括数字、符号、方向和字母;
选取单元,用于根据所述虚拟落点预置范围为所述用户提供对应的手部提示,通过所述手部提示供所述用户选取不同手部对应的交互内容,其中,所述不同手部对应的交互内容具体包括左手手部的交互内容类型为符号与字母,右手手部的交互内容类型为数字与方向。
在本实施例中,***通过获取用户与VR虚拟对象的文本交互环节中,用户需要输入的交互内容类型,基于不同的交互内容类型呈现虚拟键盘中对应虚拟落点预先设置的范围,***根据虚拟落点预先设置的范围为用户提供虚拟键盘中对应的手部提示,不同的手部提示在虚拟键盘中对应为不同的交互内容,而在虚拟键盘中的左侧属于符号与字母的交互范围,在虚拟键盘的右侧属于数字与方向的交互范围,***会根据此时的交互内容类型将虚拟落点生成在虚拟键盘中主要交互内容的左侧或右侧,而用户也可通过双手同时操作将符号与字母、数字与方向同时输入,组合成各个不同的文本交互内容。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于智能手表输入虚拟文本的数据处理方法,其特征在于,包括以下步骤:
识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
2.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中的步骤中,包括:
记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
基于所述识别次数中用户使用次数最多的交互文本,对预生成的交互文本内容进行优先级排序,生成至少一种所述用户常用的交互副本。
3.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘的步骤前,包括:
获取所述用户在所述虚拟应用场景中的视野信息;
判断所述视野信息内是否检测到所述用户的手部数据;
若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
4.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率的步骤中,还包括:
采集所述用户应用所述虚拟键盘上输入的文本数据,基于所述文本数据生成所述用户待上传的文本交互信息,同时记录生成所述待上传的文本交互信息所需消耗的时段;
判断所述所需消耗的时段是否大于预设时段;
若是,则为所述用户提供交互辅助功能,在所述用户进行所述文本数据输入时,在所述虚拟应用环境中展示预组合的文本辅助数据,待所述用户选取所述文本辅助数据后生成交互辅助文本。
5.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述识别所述用户的文本交互效率的步骤前,包括:
实时追踪所述手部数据的变换方位,判断所述变换方位是否与所述虚拟键盘存在预设距离阈值;
若是,则根据所述变换方位在所述虚拟应用环境中调整所述虚拟键盘的生成方位,其中,所述生成方位始终跟踪所述虚拟落点生成。
6.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述识别用户当前的虚拟应用场景的步骤中,包括:
追踪所述用户在所述虚拟应用场景中的注视点,判断所述注视点是否属于交互对象;
若是,则获取所述交互对象输出的交互内容,基于所述交互内容生成对应的交互选项,根据所述用户选取的不同交互选项,为所述用户呈现所述不同交互选项对应的交互方式,其中,所述交互方式包括文本交互、触摸交互或手势交互。
7.根据权利要求1所述的基于智能手表输入虚拟文本的数据处理方法,其特征在于,所述识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点的步骤中,还包括:
获取文本交互环节中需要输入的交互内容类型,基于所述交互内容类型呈现对应的虚拟落点预置范围,其中,所述交互内容类型包括数字、符号、方向和字母;
根据所述虚拟落点预置范围为所述用户提供对应的手部提示,通过所述手部提示供所述用户选取不同手部对应的交互内容,其中,所述不同手部对应的交互内容具体包括左手手部的交互内容类型为符号与字母,右手手部的交互内容类型为数字与方向。
8.一种基于智能手表输入虚拟文本的数据处理***,其特征在于,包括:
判断模块,用于识别用户当前的虚拟应用场景,判断所述虚拟应用场景是否需要进行文本交互;
执行模块,用于若需要,将VR设备与预连接的智能手表进行数据同步,通过所述智能手表的传感设备采集所述用户的手部数据,将所述手部数据同步至所述虚拟应用场景中,识别所述手部数据在所述虚拟应用场景中的方位信息,根据所述方位信息在所述虚拟应用场景中生成对应的虚拟落点,依据所述虚拟落点在所述虚拟应用场景中生成至少一个虚拟键盘,其中,所述传感设备包括加速度计与加速度传感器,所述虚拟键盘具体依据所述用户的食指作为所述虚拟落点的固定落点;
第二判断模块,用于识别所述用户的文本交互效率,判断所述文本交互效率是否达到预设的交互频率;
第二执行模块,用于若否,则基于所述用户进行文本交互时通过所述虚拟键盘输入的起始交互关键字,将所述起始交互关键字输入至预测模型中,通过所述预测模型进行预测生成至少一种追加关键字在所述虚拟应用环境中,将所述追加关键字与所述起始交互关键字进行预组合,根据预设的优先级排序生成对应的可选取序列,并通过识别所述用户的手部摆动方位滑动选择所述可选取序列,应用所述虚拟键盘确认所述可选取序列,其中,所述优先级排序具体依据所述用户的交互关键词使用次数作为优先级进行排序,所述手部摆动方位具体包括上、下、左、右四个方位。
9.根据权利要求8所述的基于智能手表输入虚拟文本的数据处理***,其特征在于,所述第二执行模块还包括:
记录单元,用于记录所述用户进行文本交互时输入的交互内容,将所述交互内容上传至预设数据库中,识别所述交互内容中的至少一个文本特征,采集各个文本特征的识别次数;
生成单元,用于将所述文本特征对应的交互内容基于所述识别次数与用户最近使用的交互文本进行优先级排序,生成至少一种所述用户近期内使用的交互副本。
10.根据权利要求8所述的基于智能手表输入虚拟文本的数据处理***,其特征在于,还包括:
获取模块,用于获取所述用户在所述虚拟应用场景中的视野信息;
第三判断模块,用于判断所述视野信息内是否检测到所述用户的手部数据;
第三执行模块,用于若是,则基于所述手部数据和所述虚拟落点在所述虚拟应用场景中生成虚拟键盘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310319289.2A CN116069169A (zh) | 2023-03-29 | 2023-03-29 | 一种基于智能手表输入虚拟文本的数据处理方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310319289.2A CN116069169A (zh) | 2023-03-29 | 2023-03-29 | 一种基于智能手表输入虚拟文本的数据处理方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116069169A true CN116069169A (zh) | 2023-05-05 |
Family
ID=86171743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310319289.2A Pending CN116069169A (zh) | 2023-03-29 | 2023-03-29 | 一种基于智能手表输入虚拟文本的数据处理方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116069169A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117350696A (zh) * | 2023-12-05 | 2024-01-05 | 深圳市光速时代科技有限公司 | 一种智能手表对逾期任务数据的消除方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224069A (zh) * | 2014-07-03 | 2016-01-06 | 王登高 | 一种增强现实虚拟键盘输入方法及使用该方法的装置 |
CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
CN107357434A (zh) * | 2017-07-19 | 2017-11-17 | 广州大西洲科技有限公司 | 一种虚拟现实环境下的信息输入设备、***及方法 |
CN109828672A (zh) * | 2019-02-14 | 2019-05-31 | 亮风台(上海)信息科技有限公司 | 一种用于确定智能设备的人机交互信息的方法与设备 |
CN114047872A (zh) * | 2021-10-11 | 2022-02-15 | 北京理工大学 | 一种文本输入方法和*** |
-
2023
- 2023-03-29 CN CN202310319289.2A patent/CN116069169A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224069A (zh) * | 2014-07-03 | 2016-01-06 | 王登高 | 一种增强现实虚拟键盘输入方法及使用该方法的装置 |
CN106980362A (zh) * | 2016-10-09 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的输入方法及装置 |
CN107357434A (zh) * | 2017-07-19 | 2017-11-17 | 广州大西洲科技有限公司 | 一种虚拟现实环境下的信息输入设备、***及方法 |
CN109828672A (zh) * | 2019-02-14 | 2019-05-31 | 亮风台(上海)信息科技有限公司 | 一种用于确定智能设备的人机交互信息的方法与设备 |
CN114047872A (zh) * | 2021-10-11 | 2022-02-15 | 北京理工大学 | 一种文本输入方法和*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117350696A (zh) * | 2023-12-05 | 2024-01-05 | 深圳市光速时代科技有限公司 | 一种智能手表对逾期任务数据的消除方法及*** |
CN117350696B (zh) * | 2023-12-05 | 2024-05-31 | 深圳市光速时代科技有限公司 | 一种智能手表对逾期任务数据的消除方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Tap, dwell or gesture? exploring head-based text entry techniques for hmds | |
CN102789313B (zh) | 一种用户交互***和方法 | |
CN107533360B (zh) | 一种显示、处理的方法及相关装置 | |
CN104428732A (zh) | 与近眼显示器的多模交互 | |
CN102779000B (zh) | 一种用户交互***和方法 | |
KR20170014353A (ko) | 음성 기반의 화면 내비게이션 장치 및 방법 | |
CN102789312B (zh) | 一种用户交互***和方法 | |
US20060209021A1 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
CN105824409A (zh) | 虚拟现实的交互控制方法及装置 | |
EP2883161A1 (en) | Search user interface using outward physical expressions | |
CN110517685A (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN113254684B (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
CN116069169A (zh) | 一种基于智能手表输入虚拟文本的数据处理方法及*** | |
CN110442233A (zh) | 一种基于手势交互的增强现实键鼠*** | |
KR20160137253A (ko) | 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법 | |
CN111695408A (zh) | 一种智能手势信息识别***及方法、信息数据处理终端 | |
CN109426342B (zh) | 基于增强现实的文档阅读方法和装置 | |
CN108829329B (zh) | 一种操作对象展示方法、装置和可读介质 | |
Jiang et al. | A brief analysis of gesture recognition in VR | |
Wang et al. | Multi-channel augmented reality interactive framework design for ship outfitting guidance | |
Babu et al. | Controlling Computer Features Through Hand Gesture | |
Carrino et al. | Gesture-based hybrid approach for HCI in ambient intelligent environmments | |
CN115951787B (zh) | 近眼显示设备的交互方法、存储介质及近眼显示设备 | |
CN111459288B (zh) | 一种运用头控实现语音输入的方法和装置 | |
Chaudhry et al. | Music Recommendation System through Hand Gestures and Facial Emotions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |
|
RJ01 | Rejection of invention patent application after publication |