CN114637394A - Vr环境中裸手与模拟触控屏界面的交互操作***及方法 - Google Patents
Vr环境中裸手与模拟触控屏界面的交互操作***及方法 Download PDFInfo
- Publication number
- CN114637394A CN114637394A CN202210119893.6A CN202210119893A CN114637394A CN 114637394 A CN114637394 A CN 114637394A CN 202210119893 A CN202210119893 A CN 202210119893A CN 114637394 A CN114637394 A CN 114637394A
- Authority
- CN
- China
- Prior art keywords
- touch screen
- screen interface
- trigger
- environment
- simulated touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 22
- 238000013461 design Methods 0.000 abstract description 9
- 238000012795 verification Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种VR环境中裸手与模拟触控屏界面的交互操作***及方法，该交互操作***包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；中控单元检测到触发器与模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给模拟触控屏界面；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。
Description
技术领域
本发明涉及虚拟现实人机交互技术领域，尤其涉及一种VR环境中裸手与模拟触控屏界面的交互操作***及方法。
背景技术
近年来虚拟现实技术迅速发展，VR设备也逐步开始支持人手部的跟踪和识别，让手部动作能够在虚拟空间中定位，并跟踪到手指的动作，并支持通过手的动作和空间移动，来影响三维场景中的物体，也逐步在一些虚拟现实应用中出现。
当前在很多产品设计领域，尤其是智能汽车内的智能驾舱，屏幕显示设备越来越多，交互设计越来越复杂，在用户体验设计过程中，很难提前构造模拟环境来验证设计的体验效果。
通过虚拟现实来制作产品的设计场景，同时让体验者佩戴VR头盔，模拟最终用户的使用体验，同场景中的各个设备进行互动，是一个高效可行的方案。
但是当前VR设备更多是依赖带有各种传感器的手柄来进行互动操作，而实际场景中用户并不是使用手柄来操作的，无法真实还原用户的实际体验。
少部分VR设备，可以支持裸手动作的跟踪和识别，但是仅支持空间立体物体的简单交互，不支持同现实中触摸屏这种二维平面设备交互，更不能模拟触控屏的滑动，拖拽等多点触控操作，难以还原在实际驾舱空间的触控屏设备交互模式。
发明内容
本发明针对现有技术中存在的技术问题，提供一种VR环境中裸手与模拟触控屏界面的交互操作***及方法，支持在虚拟的三维空间中，实现人手同虚拟二维屏幕设备的交互，并能够支持常用的触控屏多点手势操作；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。
根据本发明的第一方面，提供了一种VR环境中裸手与模拟触控屏界面的交互操作***，包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；
所述视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；
所述模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；
所述中控单元检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述视觉追踪单元通过视觉算法对操作者的指尖位置进行追踪识别，包括：
通过视频采集单元采集所述操作者手部的图像帧数据，并基于目标跟踪模型对所述图像帧数据进行指尖位置的目标检测跟踪识别。
可选的，所述触发器还包括实体结构，包括：惯导定位***和无线信号发送模块；
所述惯导定位***采集所述触发器的空间姿态数据和加速度数据，发送给所述视觉追踪单元，所述视觉追踪单元基于所述空间姿态数据和加速度数据得到所述触发器在实际环境中的运动轨迹后，换算后得到所述触发器在VR环境中的运动轨迹。
可选的，所述中控单元检测所述触发器与所述模拟触控屏界面是否有交集的过程包括：
针对每一个渲染帧，对所述触发器和所述模拟触控屏界面的触控区域进行碰撞检测，检测到有碰撞时判定所述触发器与所述模拟触控屏界面有交集。
可选的，所述中控单元确定所述触发器与所述模拟触控屏界面的交集的位置的过程包括：计算所述触发器到所述模拟触控屏界面的平面的垂足，计算该垂足在所述模拟触控屏界面的相对坐标。
可选的，所述中控单元内部存储有所述模拟触控屏界面的在各个界面的各个区域范围对应的控制消息，所述中控单元根据所述相对坐标所属界面和区域范围，将对应的控制消息发送给所述模拟触控屏界面。
根据本发明的第二方面，提供一种VR环境中裸手与模拟触控屏界面的交互操作方法，包括：在VR环境中构造模拟触控屏界面；
对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器；
检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面；
所述模拟触控屏界面根据所述控制消息进行UI界面元素的显示。
可选的，在VR环境中构造模拟触控屏界面之后还包括：
控制所述模拟触控屏界面向操作者展示校准页面；
操作者通过指尖上的所述触发器触控所述校准页面的指定区域，在设定时长后通过采集的所述触发器的位置进行初始位置校准。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。
本发明实施例提供的一种VR环境中裸手与模拟触控屏界面的交互操作***、方法、电子设备及存储介质，通过视觉追踪在操作者的指尖位置处生成虚拟的触发器，对触发器和虚拟界面进行碰撞检测实现裸手与模拟触控屏界面的交互操作，提高了识别的速度和准确度；触发器可以通过各种不同实施例实现，各种不同的实施例也可以组合在一起，对运动轨迹数据进行相互校准，或者作为视觉追踪的冗余装置；考虑不同的识别情况和操作者佩戴状态和操作习惯的不同，在使用之前，向操作者展示校准页面，校准页面显示有指定区域和倒计时，提示操作者在倒计时结束时触控该指定区域，在倒计时结束时对触发器的位置进行采集，通过该触发器的位置进行初始位置校准，可以保证后续交互操作结果更加准确；支持在虚拟的三维空间中，实现人手同虚拟二维屏幕设备的交互，并能够支持常用的触控屏多点手势操作；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。
附图说明
图1为本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作***的结构框图；
图2为本发明实施例提供的在VR场景中识别出的手势模型上指尖绑定一个触发器的示意图；
图3为本发明提供的虚拟空间中同虚拟触控屏平面交互的一个实施例的示意图；
图4为本发明提供的虚拟空间中同虚拟触控屏平面交互的另一个实施例的示意图；
图5为本发明提供的一种可能的电子设备的硬件结构示意图；
图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示为本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作***的结构框图，图2为本发明实施例提供的在VR场景中识别出的手势模型上指尖绑定一个触发器的示意图；图3和图4分别为本发明提供的虚拟空间中同虚拟触控屏平面交互的一个实施例和另一个实施例的示意图；结合图1－图4可知，本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作***包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；具体实施中，可以基于可识别手势操作的VR眼镜产品，构建虚拟环境。
视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器。
模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；具体实施中，该UI界面显示为二维UI界面元素的显示。
中控单元检测到触发器与模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给模拟触控屏界面。
虚拟触控屏界面处理接收到的控制消息，按照通常的图形界面消息机制来处理，实现平面界面的交互。
本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作***，支持在虚拟的三维空间中，实现人手同虚拟二维屏幕设备的交互，并能够支持常用的触控屏多点手势操作；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。
实施例1
本发明提供的实施例1为本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作***的实施例，结合图1－图4可知，该交互操作***的实施例包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元。
视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器活动固定在操作者的指尖位置。
模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示。
本发明提供的第一种实施例中，视觉追踪单元通过视觉算法对操作者的指尖位置进行追踪识别，包括：
通过视频采集单元采集所述操作者手部的图像帧数据，并基于目标跟踪模型对所述图像帧数据进行指尖位置的目标检测跟踪识别。
本发明提供的第二种实施例中，触发器还包括实体结构，该实体结构包括：惯导定位***和无线信号发送模块。具体实施中，触发器的大小与手指指尖体积大小接近，可以佩戴或者绑定在手指指尖位置。
惯导定位***采集触发器的空间姿态数据和加速度数据，发送给视觉追踪单元，视觉追踪单元基于空间姿态数据和加速度数据得到触发器在实际环境中的运动轨迹后，换算后得到触发器在VR环境中的运动轨迹。
具体实施中，惯导定位***可以为包含陀螺仪和加速度计的集成芯片。
本发明提供的第三种实施例中，触发器还包括实体结构，该实体结构包括：激光发生装置，视觉追踪单元通过识别激光发生装置产生的红外激光进行运动轨迹跟踪得到触发器在实际环境中的运动轨迹后，换算后得到触发器在VR环境中的运动轨迹。
各种不同的实施例也可以组合在一起，对运动轨迹数据进行相互校准，或者作为视觉追踪的冗余装置。
中控单元检测到触发器与模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给模拟触控屏界面。
在一种可能的实施例方式中，中控单元检测触发器与模拟触控屏界面是否有交集的过程包括：
针对每一个渲染帧，对触发器和模拟触控屏界面的触控区域进行碰撞检测，检测到有碰撞时判定触发器与模拟触控屏界面有交集。
在一种可能的实施例方式中，中控单元确定触发器与模拟触控屏界面的交集的位置的过程包括：计算触发器到模拟触控屏界面的平面的垂足，计算该垂足在模拟触控屏界面的相对坐标。
在一种可能的实施例方式中，中控单元内部存储有模拟触控屏界面的在各个界面的各个区域范围对应的控制消息，中控单元根据相对坐标所属界面和区域范围，将对应的控制消息发送给模拟触控屏界面。
实施例2
本发明提供的实施例2为本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作方法的实施例，该交互操作方法的实施例包括：
在VR环境中构造模拟触控屏界面。
控制模拟触控屏界面向操作者展示校准页面。
操作者通过指尖上的触发器触控校准页面的指定区域，在设定时长后通过采集的触发器的位置进行初始位置校准。
具体实施中，考虑不同操作者佩戴状态和操作习惯的不同，在使用之前，向操作者展示校准页面，校准页面显示有指定区域和倒计时，提示操作者在倒计时结束时触控该指定区域，在倒计时结束时对触发器的位置进行采集，通过该触发器的位置进行初始位置校准，可以保证后续交互操作结果更加准确。
对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器。
检测到触发器与模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给模拟触控屏界面。
模拟触控屏界面根据控制消息进行UI界面元素的显示。
可以理解的是，本发明提供的一种VR环境中裸手与模拟触控屏界面的交互操作方法与前述各实施例提供的VR环境中裸手与模拟触控屏界面的交互操作***相对应，VR环境中裸手与模拟触控屏界面的交互操作***的相关技术特征可参考VR环境中裸手与模拟触控屏界面的交互操作方法的相关技术特征，在此不再赘述。
请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：在VR环境中构造模拟触控屏界面；对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器；检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面；所述模拟触控屏界面根据所述控制消息进行UI界面元素的显示。
请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：在VR环境中构造模拟触控屏界面；对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器；检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面；所述模拟触控屏界面根据所述控制消息进行UI界面元素的显示。
本发明实施例提供的一种VR环境中裸手与模拟触控屏界面的交互操作***、方法、电子设备及存储介质，通过视觉追踪在操作者的指尖位置处生成虚拟的触发器，对触发器和虚拟界面进行碰撞检测实现裸手与模拟触控屏界面的交互操作，提高了识别的速度和准确度；触发器可以通过各种不同实施例实现，各种不同的实施例也可以组合在一起，对运动轨迹数据进行相互校准，或者作为视觉追踪的冗余装置；考虑不同的识别情况和操作者佩戴状态和操作习惯的不同，在使用之前，向操作者展示校准页面，校准页面显示有指定区域和倒计时，提示操作者在倒计时结束时触控该指定区域，在倒计时结束时对触发器的位置进行采集，通过该触发器的位置进行初始位置校准，可以保证后续交互操作结果更加准确；支持在虚拟的三维空间中，实现人手同虚拟二维屏幕设备的交互，并能够支持常用的触控屏多点手势操作；可以在VR环境中真实再现用户在实际环境中同各种触控屏交互行为，实现基于虚拟现实环境对多设备复杂场景的交互设计进行验证。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种VR环境中裸手与模拟触控屏界面的交互操作***，其特征在于，所述交互操作***包括：触发器、模拟触控屏界面、视觉追踪单元和中控单元；
所述视觉追踪单元对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的所述触发器；
所述模拟触控屏界面在VR环境中构造，用于根据接收到的控制消息进行UI界面元素的显示；
所述中控单元检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面。
2.根据权利要求1所述的交互操作***，其特征在于，所述视觉追踪单元通过视觉算法对操作者的指尖位置进行追踪识别，包括：
通过视频采集单元采集所述操作者手部的图像帧数据，并基于目标跟踪模型对所述图像帧数据进行指尖位置的目标检测跟踪识别。
3.根据权利要求1所述的交互操作***，其特征在于，所述触发器还包括实体结构，包括：惯导定位***和无线信号发送模块；
所述惯导定位***采集所述触发器的空间姿态数据和加速度数据，发送给所述视觉追踪单元，所述视觉追踪单元基于所述空间姿态数据和加速度数据得到所述触发器在实际环境中的运动轨迹后，换算后得到所述触发器在VR环境中的运动轨迹。
4.根据权利要求1所述的交互操作***，其特征在于，所述中控单元检测所述触发器与所述模拟触控屏界面是否有交集的过程包括：
针对每一个渲染帧，对所述触发器和所述模拟触控屏界面的触控区域进行碰撞检测，检测到有碰撞时判定所述触发器与所述模拟触控屏界面有交集。
5.根据权利要求1所述的交互操作***，其特征在于，所述中控单元确定所述触发器与所述模拟触控屏界面的交集的位置的过程包括：计算所述触发器到所述模拟触控屏界面的平面的垂足，计算该垂足在所述模拟触控屏界面的相对坐标。
6.根据权利要求1所述的交互操作***，其特征在于，所述中控单元内部存储有所述模拟触控屏界面在各个界面的各个区域范围对应的控制消息，所述中控单元根据所述相对坐标所属界面和区域范围，将对应的控制消息发送给所述模拟触控屏界面。
7.一种VR环境中裸手与模拟触控屏界面的交互操作方法，其特征在于，所述交互操作方法包括：
在VR环境中构造模拟触控屏界面；
对操作者的指尖位置进行追踪识别后，在该指尖位置处生成虚拟的触发器；
检测到所述触发器与所述模拟触控屏界面有交集时，根据交集的位置产生控制消息发送给所述模拟触控屏界面；
所述模拟触控屏界面根据所述控制消息进行UI界面元素的显示。
8.根据权利要求1所述的交互操作方法，其特征在于，在VR环境中构造模拟触控屏界面之后还包括：
控制所述模拟触控屏界面向操作者展示校准页面；
操作者通过指尖上的所述触发器触控所述校准页面的指定区域，在设定时长后通过采集的所述触发器的位置进行初始位置校准。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求7或8所述的VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求7或8所述的VR环境中裸手与模拟触控屏界面的交互操作方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210119893.6A CN114637394A (zh) | 2022-02-08 | 2022-02-08 | Vr环境中裸手与模拟触控屏界面的交互操作***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210119893.6A CN114637394A (zh) | 2022-02-08 | 2022-02-08 | Vr环境中裸手与模拟触控屏界面的交互操作***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114637394A true CN114637394A (zh) | 2022-06-17 |
Family
ID=81946742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210119893.6A Pending CN114637394A (zh) | 2022-02-08 | 2022-02-08 | Vr环境中裸手与模拟触控屏界面的交互操作***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114637394A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955316A (zh) * | 2014-04-28 | 2014-07-30 | 清华大学 | 一种指尖触碰检测***及方法 |
| US20160350973A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| CN106598277A (zh) * | 2016-12-19 | 2017-04-26 | 网易（杭州）网络有限公司 | 虚拟现实交互*** |
| CN107621883A (zh) * | 2017-10-18 | 2018-01-23 | 炫彩互动网络科技有限公司 | 一种基于手机终端的虚拟现实***及人机交互方法 |
| CN107977071A (zh) * | 2016-10-24 | 2018-05-01 | ***通信有限公司研究院 | 一种适用于空间***的操作方法及装置 |
| CN109032343A (zh) * | 2018-07-04 | 2018-12-18 | 青岛理工大学 | 基于视觉和力觉触觉增强现实的工业人机交互***及方法 |
| CN109933190A (zh) * | 2019-02-02 | 2019-06-25 | 青岛小鸟看看科技有限公司 | 一种头戴显示设备及其交互方法 |
-
2022
- 2022-02-08 CN CN202210119893.6A patent/CN114637394A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103955316A (zh) * | 2014-04-28 | 2014-07-30 | 清华大学 | 一种指尖触碰检测***及方法 |
| US20160350973A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| CN107977071A (zh) * | 2016-10-24 | 2018-05-01 | ***通信有限公司研究院 | 一种适用于空间***的操作方法及装置 |
| CN106598277A (zh) * | 2016-12-19 | 2017-04-26 | 网易（杭州）网络有限公司 | 虚拟现实交互*** |
| CN107621883A (zh) * | 2017-10-18 | 2018-01-23 | 炫彩互动网络科技有限公司 | 一种基于手机终端的虚拟现实***及人机交互方法 |
| CN109032343A (zh) * | 2018-07-04 | 2018-12-18 | 青岛理工大学 | 基于视觉和力觉触觉增强现实的工业人机交互***及方法 |
| CN109933190A (zh) * | 2019-02-02 | 2019-06-25 | 青岛小鸟看看科技有限公司 | 一种头戴显示设备及其交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111610858B (zh) | 基于虚拟现实的交互方法及装置 | |
| JP6074170B2 (ja) | 近距離動作のトラッキングのシステムおよび方法 | |
| US11573641B2 (en) | Gesture recognition system and method of using same | |
| EP2907004B1 (en) | Touchless input for a user interface | |
| TW201814438A (zh) | 基於虛擬實境場景的輸入方法及裝置 | |
| KR102347248B1 (ko) | 터치 제스쳐 인식 방법 및 장치 | |
| US20140282223A1 (en) | Natural user interface scrolling and targeting | |
| WO2018231457A1 (en) | Displacement oriented interaction in computer-mediated reality | |
| JP2013037675A5 (zh) | ||
| CN107450714A (zh) | 基于增强现实和图像识别的人机交互支撑测试*** | |
| CN103809733A (zh) | 人机交互***和方法 | |
| CN112105486A (zh) | 用于工业机器人的增强现实 | |
| KR102224932B1 (ko) | 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법 | |
| CN106681506B (zh) | 一种终端设备中非vr应用的交互方法及终端设备 | |
| CN109960404B (zh) | 一种数据处理方法及装置 | |
| CN114637394A (zh) | Vr环境中裸手与模拟触控屏界面的交互操作***及方法 | |
| CN107102725B (zh) | 一种基于体感手柄进行虚拟现实移动的控制方法及*** | |
| KR102322968B1 (ko) | 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법 | |
| US20140266982A1 (en) | System and method for controlling an event in a virtual reality environment based on the body state of a user | |
| CN107977071B (zh) | 一种适用于空间***的操作方法及装置 | |
| CN113176822A (zh) | 虚拟用户检测 | |
| KR101605740B1 (ko) | 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법 | |
| KR101558094B1 (ko) | 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법 | |
| CN115317907A (zh) | Ar应用中多用户虚拟交互方法、装置及ar设备 | |
| CN116166161A (zh) | 基于多层级菜单的交互方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |