CN113608619A - 增强现实中的裸手操作方法、*** - Google Patents

增强现实中的裸手操作方法、*** Download PDF

Info

Publication number
CN113608619A
CN113608619A CN202110926646.2A CN202110926646A CN113608619A CN 113608619 A CN113608619 A CN 113608619A CN 202110926646 A CN202110926646 A CN 202110926646A CN 113608619 A CN113608619 A CN 113608619A
Authority
CN
China
Prior art keywords
ball
hand
virtual
fingertip
thumb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110926646.2A
Other languages
English (en)
Inventor
程文浩
王慧谱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110926646.2A priority Critical patent/CN113608619A/zh
Publication of CN113608619A publication Critical patent/CN113608619A/zh
Priority to PCT/CN2022/105375 priority patent/WO2023016174A1/zh
Priority to US18/088,213 priority patent/US11803248B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03549—Trackballs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种增强现实中的裸手操作方法，基于真实手的深度信息获取VR***中虚拟手的空间坐标，再基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而根据第一触发条件进行VR互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。

Description

增强现实中的裸手操作方法、***
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种增强现实中的裸手操作方法、***。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实***正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实***正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
随着人工现实领域的发展，用户在VR、AR以及MR场景下与内容的交互必不可少，同时操作便捷的“裸手”手势交互成为今日发展的趋势。目前该场景下已有的手势交互大部分为单手指食指“点击”手势、拇指与食指的“捏取”手势、握拳“确定”手势等。而单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差。
因此，亟需一种能够减少人财投入，提高手势识别精度，提高手势操作稳定性的增强现实中的裸手操作方法。
发明内容
鉴于上述问题，本发明的目的是提供一种增强现实中的裸手操作方法，以解决目前单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差的问题。
本发明提供的一种增强现实中的裸手操作方法，其中，包括：
基于真实手的深度信息获取VR***中虚拟手的空间坐标；
基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立；
根据所述第一触发条件进行VR互动操作。
优选地，基于真实手的深度信息获取VR***中虚拟手的空间坐标的过程，包括：
通过深度相机获取所述真实手与VR***中的传感器的相对距离；
基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；
基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在VR***内的空间坐标。
优选地，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球的过程，包括：
获取所述虚拟手的掌心虚拟位置坐标和指尖虚拟位置坐标；
在所述掌心虚拟位置坐标上设置掌心球，在所述指尖虚拟位置坐标上设置指尖球；并且，
所述掌心球始终随着所述掌心虚拟位置坐标的移动而移动；
所述指尖球始终随着所述指尖虚拟位置坐标的移动而移动。
优选地，所述指尖球包括小指指尖球、无名指指尖球和中指指尖球。
优选地，实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立的过程，包括：
实时获取指尖球-掌心球直线距离，其中，所述指尖球-掌心球直线距离表征除拇指外的手指向所述掌心靠拢做握拳动作时所述指尖球与所述掌心球之间所形成的直线距离；
将所述指尖球-掌心球直线距离与预设的触发阈值进行比较，若所述指尖球-掌心球直线距离小于所述触发阈值，则第一触发条件成立。
优选地，还包括：在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体；其中，
在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体的过程，包括：
获取所述拇指虚拟位置坐标和食指虚拟位置坐标；
在所述拇指虚拟位置坐标上设置拇指球，在所述食指虚拟位置坐标上设置食指长方体；并且，
所述拇指球始终随着所述拇指虚拟位置坐标的移动而移动；
所述食指长方体始终随着所述食指虚拟位置坐标的移动而移动。
优选地，实时获取拇指球-食指长方体间距，其中，所述拇指球-食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距；
当所述拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立；
根据所述第二触发条件触发VR***上显示器中所述虚拟手对应位置处的操作光标以进行VR互动操作。
本发明还提供一种增强现实中的裸手操作***，实现如前所述的增强现实中的裸手操作方法，包括：
坐标对应模块，用于基于真实手的深度信息获取VR***中虚拟手的空间坐标；
追踪绑定模块，用于基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
条件触发模块，用于实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立；
互动执行模块，用于根据所述第一触发条件进行VR互动操作。
优选地，所述坐标对应模块包括：
真实位置计算单元，用于通过深度相机获取所述真实手与VR***中的传感器的相对距离；基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
虚拟坐标对应单元，用于以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在VR***内的空间坐标。
优选地，还包括捏取操作单元，
所述捏取操作单元用于当拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立，并根据所述第二触发条件触发VR***上显示器中所述虚拟手对应位置处的操作光标以进行VR互动操作；其中，所述拇指球-食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距。
从上面的技术方案可知，本发明提供的增强现实中的裸手操作方法、***，基于真实手的深度信息获取VR***中虚拟手的空间坐标，再基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而根据第一触发条件进行VR互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的增强现实中的裸手操作方法的流程图；
图2为根据本发明实施例的增强现实中的裸手操作方法中绑定追踪球的示意图；
图3为根据本发明实施例的增强现实中的裸手操作方法中拇指球与食指长方体的示意图；
图4为根据本发明实施例的增强现实中的裸手操作方法中虚拟射线的示意图；
图5为根据本发明实施例的增强现实中的裸手操作***的示意图。
具体实施方式
目前该场景下已有的手势交互大部分为单手指食指“点击”手势、拇指与食指的“捏取”手势、握拳“确定”手势等。而单纯的采用单手食指“点击”、拇指与食指的“捏取”、握拳进行“确定”的交互手势，对手势识别的精度要求较高，因而对此产生的人力、财力投入势必较大，并且在进行手的虚拟坐标采集时，由于精度要求较高，通常手的重要关节定位不稳定，从而使得交互准确度与体验度相对较差。
针对上述问题，本发明提供一种增强现实中的裸手操作方法、***，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的增强现实中的裸手操作方法、***，图1、图2、图3、图4对本发明实施例的增强现实中的裸手操作方法进行了示例性标示；图5对本发明实施例的增强现实中的裸手操作***进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的增强现实中的裸手操作方法，包括：
S1：基于真实手的深度信息获取VR***中虚拟手的空间坐标；
S2：基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；
S3：实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立；
S4：根据第一触发条件进行VR互动操作。
如图1所示，步骤S1为基于真是手的深度信息获取虚拟手的空间坐标的过程，在本实施例中，基于真实手的深度信息获取VR***中虚拟手的空间坐标的过程，包括：
S11：通过深度相机获取真实手与VR***中的传感器的相对距离；
S12：基于传感器的位置和相对距离获取真实手的手腕真实位置；
S13：以传感器的虚拟坐标为参照，将手腕真实位置映射至虚拟空间内以形成手腕空间坐标；
S14：基于手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取虚拟手在VR***内的空间坐标。
具体的，首先通过深度相机获取真实手与VR***中的传感器的之间的位置关系的过程，且传感器的真实位置以及传感器的虚拟坐标均是已知的，故可根据传感器的真实位置推算出手的手腕的真实位置，再基于已知的传感器的虚拟坐标，即可将手腕的真实位置映射至虚拟空间中，如此获取到手腕空间坐标，并且手的大小以及手的各个关节之间的位置关系(手部关节信息)均是已知的，故可根据手腕空间坐标计算推导出手的各个关节在虚拟空间中的坐标，因此得以填充形成虚拟手，进而获取整个虚拟手在VR***内的空间坐标。
如图1、图2共同所示，步骤S2为在虚拟手上绑定追踪球的过程，其中，在如图2所示的虚拟手的掌心绑定掌心球(大球)，在虚拟手的指尖绑定指尖球(小球)的过程，包括：
S21：获取虚拟手的掌心虚拟位置坐标和指尖虚拟位置坐标；
S22：在掌心虚拟位置坐标上设置掌心球，在指尖虚拟位置坐标上设置指尖球222；并且，
该掌心球始终随着掌心虚拟位置坐标的移动而移动；
该指尖球始终随着指尖虚拟位置坐标的移动而移动；
如此，通过判断掌心球与指尖球的距离即可判断手指的指尖与掌心的距离，进而判断手指的弯曲程度以辨别整个手是否发生了握拳动作，在本实施例中，该指尖球包括小指指尖球、无名指指尖球和中指指尖球，即通过指尖球判断小指、无名指、中指与掌心的位置关系，从而判断用户是否握拳，该种通过绑定小球判断手的状态的方式解决了传统裸手操作精度要求高的问题，提高了虚拟手定位的稳定性，且降低了精准度要求，进而提高用户沉浸式体验。
如图1、图2共同所示，步骤S3为实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立的过程，该过程即实时监测指尖球与掌心球的直线距离，若用户欲通过裸手操控VR***，则会开始握拳，在本实施例中，该过程包括：
S31：实时获取指尖球-掌心球直线距离，其中，该指尖球-掌心球直线距离表征除拇指外的手指向掌心靠拢做握拳动作时指尖球与掌心球之间所形成的直线距离；
S32：将指尖球-掌心球直线距离与预设的触发阈值进行比较，若指尖球-掌心球直线距离小于触发阈值，则第一触发条件成立。
需要说明的是，该指尖球和掌心球为VR***中的虚拟球，其可以为有色的，也可以为无色的，为了便于示意，在附图2中示出了掌心球和指尖球，但在本实施例中，该掌心球和指尖球为无色透明、肉眼不可见的虚拟球体，其可随着所绑定的手的部位移动而移动，以增加虚拟手的坐标信息的稳定性，从而确保对虚拟手的姿势的判定的准确性；在本实施例中，若该第一触发条件成立，可自动立即执行任何与该第一触发条件相对应的操作，如此，提高进行裸手操作交互时的响应速度。
如图1、图3共同所示，步骤S4为根据该第一触发条件进行VR互动操作的过程，即若用户进行了一次握拳，择满足一次该第一触发条件，该第一触发条件成立，则VR***自动执行与该第一触发条件相对应的交互操作，该交互操作与该第一触发条件的对应关系为提前预设的，具体的预设过程在此不做赘述；并且该第一触发条件可以与任何具有交互性质的操作相对应，比如进入页面和退出页面，点击VR***中的显示器中界面上的任何光标或标识，甚至进行开启和关闭操作等，并且该开启和关闭包括但不限于对显示器的开启或关闭，即当用户握拳动作发生，该VR***即可自动进行上述进入页面和退出页面，点击VR***中的显示器中界面上的任何光标或标识，甚至进行开启和关闭操作等任何交互性质的操作。
此外，如图1、图3共同所示，本发明提供的本发明实施例的增强现实中的裸手操作方法，还包括：S5：在虚拟手的拇指上绑定拇指球，在虚拟手的食指上绑定食指长方体；其中，
在如图3所示的虚拟手的拇指上绑定拇指球(图3中拇指上的扁圆形)，在虚拟手的食指上绑定食指长方体的过程，包括：
S511：获取拇指虚拟位置坐标和食指虚拟位置坐标；
S512：在拇指虚拟位置坐标上设置拇指球，在食指虚拟位置坐标上设置食指长方体；并且，
该拇指球始终随着拇指虚拟位置坐标的移动而移动；
该食指长方体始终随着食指虚拟位置坐标的移动而移动；
需要说明的是，该食指长方体并非单指实际意义中传统的长方体形状，而是如图三所示包裹食指的类似长方体形状的标志物，可以较长方体略扁、略不规则。
在图1、图3共同所示的实施例中，包括：
S521：实时获取拇指球-食指长方体间距，其中，该拇指球-食指长方体间距表征拇指向食指靠拢做捏取动作时拇指球与食指长方体之间所形成的间距；
S522：当拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立；
S523：根据第二触发条件触发VR***上显示器中虚拟手对应位置处的操作光标以进行VR互动操作。
在图1、图3、图4共同所示的实施例中，通过在虚拟手的拇指位置绑定拇指球，在食指的位置绑定食指长方体，以便于获取到拇指球-食指长方体间距，当用于有一定的需求，通过拇指捏取食指的方式触发第二触发条件，即用户做拇指与食指的捏取动作使拇指向食指靠拢以形成拇指球-食指长方体间距，当拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立，该第二触发条件成立后和直接自动启动与该第二触发条件相对应的交互操作，在本实施例中，与该第二触发条件相对应的交互操作可以为任意具有“点击”、“按下”等性质的操作，在此不作具体限制。
在图1、图3、图4共同所示的实施例中，通过用户的关节和手的特定位置确定一条虚拟射线，该虚拟射线在实际应用中可以为有色，也可以为无色，在图4中为便于示意故将该虚拟射线示为有形状、有色的自手开始、自显示器结束的线条，但在本实施例中该虚拟射线与VR***中的显示器相交，相交处为显示器中虚拟光标的地方，当用户移动手时，该虚拟射线也会随手移动，从而用户通过移动手的方式移动显示器中的虚拟光标，即通过移动手的方式选择想要点击显示器中的哪一位置，当将虚拟光标移动到想要点击的位置时，通过拇指捏取食指的方式触发第二触发条件，第二触发条件成立，则虚拟光标点击显示器中任意一个能够点击的页面按键，比如点击页面中的APP图标、点击确定、点击取消，虚拟光标点击之后，在此不做赘述，在本实施例中，若第二触发条件成立对显示器的界面中的内容进行点击之后，当用户松开拇指该点击动作即刻生效，因此，该第二触发条件还能够与拖拽、滑动显示器的界面中的内容这一交互操作相对应，即用户进行捏取动作，虚拟光标点击显示器中的内容，此时用户可移动整个手，使该虚拟光标带动所点击的内容随着手的运动而移动，当把所点击的内容移动至目标位置之后，用户抬起拇指终止捏取动作，即可使拖拽或滑动操作生效。
需要说明的是，第一触发条件和第二触发条件所分别对应交互操作均可提前设置，交互操作的对象可以为任意VR***中能够进行裸手操作对应的目标按键或界面，更为详细的操作细节在此不作赘述。
如上所述，本发明提供的增强现实中的裸手操作方法，基于真实手的深度信息获取VR***中虚拟手的空间坐标，再基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而根据第一触发条件进行VR互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
如图5所示，本发明还提供一种增强现实中的裸手操作***100实现如上的增强现实中的裸手操作方法，包括：
坐标对应模块101，用于基于真实手的深度信息获取VR***中虚拟手的空间坐标；
追踪绑定模块102，用于基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；
条件触发模块103，用于实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立；
互动执行模块104，用于根据第一触发条件进行VR互动操作。
在图5所示的实施例中，该坐标对应模块101包括：
真实位置计算单元101-1，用于通过深度相机获取真实手与VR***中的传感器的相对距离；基于传感器的位置和相对距离获取真实手的手腕真实位置；
虚拟坐标对应单元101-2，用于以传感器的虚拟坐标为参照，将手腕真实位置映射至虚拟空间内以形成手腕空间坐标；基于手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取虚拟手在VR***内的空间坐标。
此外，本发明提供的增强现实中的裸手操作***100还包括捏取操作单元105(图中未示出)，
该捏取操作单元105用于当拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立，并根据第二触发条件触发VR***上显示器中虚拟手对应位置处的操作光标以进行VR互动操作；其中，该拇指球-食指长方体间距表征拇指向食指靠拢做捏取动作时拇指球与食指长方体之间所形成的间距。
如此通过第一触发条件、第二触发条件分别对应不同的功能，以便于用户通过单手可实现两类交互方式，具体的互动操作方式在此不作具体对应，可根据用户需求而定，以提高用户进行裸手操作的趣味性和稳定性。
通过上述实施方式可以看出，本发明提供的增强现实中的裸手操作***，首先通过坐标对应模块101基于真实手的深度信息获取VR***中虚拟手的空间坐标，再通过追踪绑定模块102基于空间坐标在虚拟手上绑定追踪球；其中，在虚拟手的掌心绑定掌心球，在虚拟手的指尖绑定指尖球，且，掌心球比指尖球大；而后通过条件触发模块103实时获取指尖球与掌心球的直线距离，若直线距离小于预设的触发阈值，则第一触发条件成立，从而通过互动执行模块104根据第一触发条件进行VR互动操作，该种裸手操作方式由于引进了随手而动的小球，故稳定性更高，对精度要求更小，从而减少人力、财力，并且由于精度要求较小使得便于进行点击操作，大大提高用户的交互体验。
如上参照附图以示例的方式描述了根据本发明提出的增强现实中的裸手操作***方法、***。但是，本领域技术人员应当理解，对于上述本发明所提出的增强现实中的裸手操作***方法、***，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种增强现实中的裸手操作方法，其特征在于，包括：
基于真实手的深度信息获取VR***中虚拟手的空间坐标；
基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立；
根据所述第一触发条件进行VR互动操作。
2.如权利要求1所述的增强现实中的裸手操作方法，其特征在于，基于真实手的深度信息获取VR***中虚拟手的空间坐标的过程，包括：
通过深度相机获取所述真实手与VR***中的传感器的相对距离；
基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；
基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在VR***内的空间坐标。
3.如权利要求1所述的增强现实中的裸手操作方法，其特征在于，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球的过程，包括：
获取所述虚拟手的掌心虚拟位置坐标和指尖虚拟位置坐标；
在所述掌心虚拟位置坐标上设置掌心球，在所述指尖虚拟位置坐标上设置指尖球；并且，
所述掌心球始终随着所述掌心虚拟位置坐标的移动而移动；
所述指尖球始终随着所述指尖虚拟位置坐标的移动而移动。
4.如权利要求1所述的增强现实中的裸手操作方法，其特征在于，
所述指尖球包括小指指尖球、无名指指尖球和中指指尖球。
5.如权利要求4所述的增强现实中的裸手操作方法，其特征在于，实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立的过程，包括：
实时获取指尖球-掌心球直线距离，其中，所述指尖球-掌心球直线距离表征除拇指外的手指向所述掌心靠拢做握拳动作时所述指尖球与所述掌心球之间所形成的直线距离；
将所述指尖球-掌心球直线距离与预设的触发阈值进行比较，若所述指尖球-掌心球直线距离小于所述触发阈值，则第一触发条件成立。
6.如权利要求1所述的增强现实中的裸手操作方法，其特征在于，还包括：在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体；其中，
在所述虚拟手的拇指上绑定拇指球，在所述虚拟手的食指上绑定食指长方体的过程，包括：
获取所述拇指虚拟位置坐标和食指虚拟位置坐标；
在所述拇指虚拟位置坐标上设置拇指球，在所述食指虚拟位置坐标上设置食指长方体；并且，
所述拇指球始终随着所述拇指虚拟位置坐标的移动而移动；
所述食指长方体始终随着所述食指虚拟位置坐标的移动而移动。
7.如权利要求6所述的增强现实中的裸手操作方法，其特征在于，还包括：
实时获取拇指球-食指长方体间距，其中，所述拇指球-食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距；
当所述拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立；
根据所述第二触发条件触发VR***上显示器中所述虚拟手对应位置处的操作光标以进行VR互动操作。
8.一种增强现实中的裸手操作***，实现如权利要求1-7任一所述的增强现实中的裸手操作方法，包括：
坐标对应模块，用于基于真实手的深度信息获取VR***中虚拟手的空间坐标；
追踪绑定模块，用于基于所述空间坐标在所述虚拟手上绑定追踪球；其中，在所述虚拟手的掌心绑定掌心球，在所述虚拟手的指尖绑定指尖球，且，所述掌心球比所述指尖球大；
条件触发模块，用于实时获取所述指尖球与所述掌心球的直线距离，若所述直线距离小于预设的触发阈值，则第一触发条件成立；
互动执行模块，用于根据所述第一触发条件进行VR互动操作。
9.如权利要求8所述的增强现实中的裸手操作***，其特征在于，所述坐标对应模块包括：
真实位置计算单元，用于通过深度相机获取所述真实手与VR***中的传感器的相对距离；基于所述传感器的位置和所述相对距离获取所述真实手的手腕真实位置；
虚拟坐标对应单元，用于以所述传感器的虚拟坐标为参照，将所述手腕真实位置映射至虚拟空间内以形成手腕空间坐标；基于所述手腕空间坐标和预获取的手部关节信息进行计算填充以形成虚拟手，并获取所述虚拟手在VR***内的空间坐标。
10.如权利要求8所述的增强现实中的裸手操作***，其特征在于，还包括捏取操作单元，
所述捏取操作单元用于当拇指球-食指长方体间距小于预设的捏取阈值，则第二触发条件成立，并根据所述第二触发条件触发VR***上显示器中所述虚拟手对应位置处的操作光标以进行VR互动操作；其中，所述拇指球-食指长方体间距表征所述拇指向所述食指靠拢做捏取动作时所述拇指球与所述食指长方体之间所形成的间距。
CN202110926646.2A 2021-08-12 2021-08-12 增强现实中的裸手操作方法、*** Pending CN113608619A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110926646.2A CN113608619A (zh) 2021-08-12 2021-08-12 增强现实中的裸手操作方法、***
PCT/CN2022/105375 WO2023016174A1 (zh) 2021-08-12 2022-07-13 手势操作方法、装置、设备和介质
US18/088,213 US11803248B2 (en) 2021-08-12 2022-12-23 Gesture operation method, apparatus, device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110926646.2A CN113608619A (zh) 2021-08-12 2021-08-12 增强现实中的裸手操作方法、***

Publications (1)

Publication Number Publication Date
CN113608619A true CN113608619A (zh) 2021-11-05

Family

ID=78340552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110926646.2A Pending CN113608619A (zh) 2021-08-12 2021-08-12 增强现实中的裸手操作方法、***

Country Status (3)

Country Link
US (1) US11803248B2 (zh)
CN (1) CN113608619A (zh)
WO (1) WO2023016174A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016174A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 手势操作方法、装置、设备和介质
WO2024054995A1 (en) * 2022-09-09 2024-03-14 Snap Inc. Trigger gesture for selection of augmented reality content in messaging systems
US11995780B2 (en) 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
KR101687017B1 (ko) * 2014-06-25 2016-12-16 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR102471447B1 (ko) * 2016-02-03 2022-11-28 엘지전자 주식회사 미러형 디스플레이 장치 및 그 제어방법
KR101826911B1 (ko) * 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
CN108334198B (zh) * 2018-02-09 2021-05-14 华南理工大学 基于增强现实的虚拟雕塑方法
KR102269414B1 (ko) * 2019-03-07 2021-06-24 재단법인 실감교류인체감응솔루션연구단 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치
CN109976519B (zh) * 2019-03-14 2022-05-03 浙江工业大学 一种基于增强现实的交互显示装置及其交互显示方法
CN112000224A (zh) * 2020-08-24 2020-11-27 北京华捷艾米科技有限公司 一种手势交互方法及***
US11992934B2 (en) * 2021-01-13 2024-05-28 MediVis, Inc. Stereo video in augmented reality
CN113608619A (zh) * 2021-08-12 2021-11-05 青岛小鸟看看科技有限公司 增强现实中的裸手操作方法、***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023016174A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 手势操作方法、装置、设备和介质
US11803248B2 (en) 2021-08-12 2023-10-31 Qingdao Pico Technology Co., Ltd. Gesture operation method, apparatus, device and medium
WO2024054995A1 (en) * 2022-09-09 2024-03-14 Snap Inc. Trigger gesture for selection of augmented reality content in messaging systems
US11995780B2 (en) 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system

Also Published As

Publication number Publication date
US20230125393A1 (en) 2023-04-27
WO2023016174A1 (zh) 2023-02-16
US11803248B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
CN113608619A (zh) 增强现实中的裸手操作方法、***
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN108052202A (zh) 一种3d交互方法、装置、计算机设备及存储介质
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
WO2020146121A1 (en) Hand motion and orientation-aware buttons and grabbable objects in mixed reality
Wu et al. User-defined body gestures for TV-based applications
US11630633B1 (en) Collaborative system between a streamer and a remote collaborator
CN106445118A (zh) 虚拟现实交互方法及装置
US20240134461A1 (en) Gesture interaction method and system based on artificial reality
CN107870705A (zh) 一种应用菜单的图标位置的改变方法及装置
CN108073267B (zh) 基于运动轨迹的三维控制方法及装置
Dong et al. Touch-move-release: studies of surface and motion gestures for mobile augmented reality
WO2023227072A1 (zh) 在虚拟现实场景中确定虚拟光标方法、装置、设备和介质
Schlünsen et al. A vr study on freehand vs. widgets for 3d manipulation tasks
Fujinawa et al. Occlusion-aware hand posture based interaction on tabletop projector
Wang et al. Intuitional 3D museum navigation system using Kinect
CN114327063A (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
Chen Immersive analytics interaction: User preferences and agreements by task type
Schlattmann et al. Efficient bimanual symmetric 3D manipulation for markerless hand-tracking
US11656742B1 (en) Hand control interfaces and methods in virtual reality environments
Ahn et al. Large display interaction using video avatar and hand gesture recognition
CN107526439A (zh) 一种界面返回方法及装置
US20240211103A1 (en) Input method, device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination