CN111427452B - 控制器的追踪方法及vr*** - Google Patents

控制器的追踪方法及vr*** Download PDF

Info

Publication number
CN111427452B
CN111427452B CN202010226710.1A CN202010226710A CN111427452B CN 111427452 B CN111427452 B CN 111427452B CN 202010226710 A CN202010226710 A CN 202010226710A CN 111427452 B CN111427452 B CN 111427452B
Authority
CN
China
Prior art keywords
controller
light spot
image
sequence
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010226710.1A
Other languages
English (en)
Other versions
CN111427452A (zh
Inventor
杨宇
王冉冉
赵玉峰
周鸣岐
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202010226710.1A priority Critical patent/CN111427452B/zh
Publication of CN111427452A publication Critical patent/CN111427452A/zh
Priority to PCT/CN2021/081910 priority patent/WO2021190421A1/zh
Application granted granted Critical
Publication of CN111427452B publication Critical patent/CN111427452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种控制器的追踪方法及VR***，所述控制器携带有多点发光单元，所述方法包括：根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式；根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识；基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置；根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据，实现了控制器的位置和姿态追踪，提高了用户与周围环境的互动性，提升用户体验。

Description

控制器的追踪方法及VR***
技术领域
本申请实施例涉及位姿追踪技术领域，尤其涉及一种控制器的追踪方法及虚拟现实(Virtual Reality，简称VR)***。
背景技术
随着科技的发展，虚拟现实、增强现实(Augmented Reality，简称AR)、混合现实(Mixed Reality，简称MR)和扩展现实(Extended reality，简称XR)等技术得到了迅速发展，其被应用到各行各业，例如三维游戏、军事中模拟训练、医学中模拟手术等。VR、AR、MR和XR等***中一般包括头盔和控制器，通过对控制器追踪操纵虚拟世界中的物体，从而使用户通过控制控制器运动与周围环境进行互动。
相关技术中，控制器中携带有惯性测量单元(Inertial measurement unit，简称IMU)，IMU能够测量控制器在三维空间中的角速度和加速度，并以此解算出控制器的姿态，实现三自由度(Three Degrees of Freedom，简称3DOF)追踪。
然而，上述技术中，无法测量控制器的位置，进而无法获得沿X、Y、Z三个直角坐标轴移动自由度，因而用户操控控制器进行平移时，难以追踪到控制器的位置变化，进而，导致用户与周围环境的互动性差，影响用户体验。
发明内容
本申请实施例提供一种控制器的追踪方法及VR***，以解决现有的控制器追踪方案中难以追踪到控制器的位置变化，进而，导致用户与周围环境的互动性差，影响用户体验的问题。
第一方面，本申请实施例提供一种控制器的追踪方法，所述控制器携带有多点发光单元，所述方法包括：
根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式；
根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识；
基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置；
根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据。
在一种可能的设计中，在所述获得所述控制器的六自由度追踪数据之前，还包括：
获取IMU发送的对所述控制器进行姿态追踪的结果；
所述获得所述控制器的六自由度追踪数据，包括：
根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态；
将所述控制器的位置和姿态，以及所述IMU发送的对所述控制器进行姿态追踪的结果，进行融合，获得所述控制器的六自由度追踪数据。
在一种可能的设计中，所述方法还包括：
提取所述序列图像中的光点；
基于所述光点，识别出所述序列图像中相邻帧的相同点；
判断所述相同点是否连续；
若所述相同点连续，则根据所述光点的初始标识，获得所述序列图像中目标光点对应的标识；
若所述相同点不连续，则执行所述根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式的步骤。
在一种可能的设计中，所述光点为LED光点，所述变换方式包括颜色变换和/或亮度等级变换，
所述确定所述序列图像中光点的变换方式，包括：
根据所述相同点的颜色和/或亮度等级，确定所述相同点在一组序列图像中的颜色变换和/或亮度等级变换。
在一种可能的设计中，所述光点为红外光点，所述变换方式包括红外亮暗等级变换，
所述确定所述序列图像中光点的变换方式，包括：
根据所述相同点的红外亮暗等级，得到所述相同点在一组序列图像中的红外亮暗等级变换。
在一种可能的设计中，所述基于所述光点，识别出所述序列图像中相邻帧的相同点，包括：
获得所述序列图像中相邻帧的光点中心之间的距离；
根据所述距离和预设距离阈值，识别出所述序列图像中相邻帧的相同点。
在一种可能的设计中，所述根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识，包括：
根据所述光点的变换方式，以及预设的变换方式与光点标识的对应关系，获得所述序列图像中目标光点对应的标识。
在一种可能的设计中，所述目标光点的数量不少于预设数量；
所述根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态，包括；
根据所述映射位置、所述目标光点的初始位置，通过N点透视位姿求解(Perspective-n-Point，简称PnP)算法，获得所述目标光点相对于所述图像获取装置的位置；
根据所述目标光点相对于所述图像获取装置的位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述目标光点的位置；
根据所述目标光点的位置，获得所述控制器的位置和姿态。
第二方面，本申请实施例提供一种VR***，包括一体机和控制器；所述一体机设置有控制器的追踪处理器和图像获取装置；所述控制器携带有多点发光单元，所述追踪处理器被配置成执行如第一方面以及第一方面各种可能的设计所述的追踪方法。
在一种可能的设计中，所述控制器为手柄。
本实施例提供的控制器的追踪方法及VR***，该控制器携带有多点发光单元，该方法通过图像获取装置获取控制器在移动过程中上述多点发光单元的变换序列图像，确定出述序列图像中光点的变换方式，这里，各个光点的变换方式是不同的，因此本申请实施例能够根据光点的变换方式，准确确定序列图像中目标光点对应的标识；进而基于上述目标光点对应的标识，确定目标光点在上述序列图像中每一帧图像中的映射位置；根据上述映射位置和上述目标光点的初始位置，得到控制器在移动过程中目标光点相对于该图像获取装置的位置，进而根据该位置和控制器在移动过程中图像获取装置的位置，得到目标光点的位置，由于控制器中的多点发光单元的三维几何结构是不变的，得到了目标光点的位置，就能确定出控制器的三维空间位置及旋转姿态，实现了控制器的六自由度追踪，提高了用户与周围环境的互动性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图；
图2为本申请实施例提供的控制器的示意图；
图3为本申请实施例提供的一种控制器的追踪方法的流程示意图；
图4为本申请实施例提供的另一种控制器的追踪方法的流程示意图；
图5为本申请实施例提供的再一种控制器的追踪方法的流程示意图；
图6为本申请实施例提供的一种控制器的追踪装置的结构示意图；
图7为本申请实施例提供的另一种控制器的追踪装置的结构示意图；
图8为本申请实施例提供的控制器的追踪设备的硬件结构示意图；
图9为本申请实施例提供的VR***的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护的范围。
VR、AR、MR和XR等***中一般包括头盔和控制器，通过对控制器追踪操纵虚拟世界中的物体，从而使用户通过控制控制器运动与周围环境进行互动。相关技术中，控制器中携带有IMU，IMU能够测量控制器在三维空间中的角速度和加速度，并以此解算出控制器的姿态，实现3DOF追踪。
然而，上述技术中，无法测量控制器的位置，进而无法获得沿X、Y、Z三个直角坐标轴移动自由度，因而用户操控控制器进行平移时，难以追踪到控制器的位置变化，进而，导致用户与周围环境的互动性差，影响用户体验。
本申请实施例通过在控制器上设置多点发光单元，采用视觉法追踪控制器的多个光点，实现对控制器的位置和姿态的追踪，从而实现控制器的6DOF追踪。
本实施例提供一种控制器的追踪方法，该方法可以适用于图1所示的应用场景示意图，如图1所示，本实施例提供的应用场景中包括控制器的追踪处理器101、控制器102和图像获取装置103。图2为本实施例提供的一种控制器的示意图，如图2所示，控制器携带有多点发光单元，多点发光单元包括多个光点，本实施例对控制器的具体形态不做限制，可以根据实际应用场景进行设定，例如，该控制器的一种可能的使用形态为手柄，用户可以用手握住手柄，并控制手柄运动。上述控制器的追踪处理器101可以根据图像获取装置103获取上述控制器102在移动过程中上述多点发光单元的变换序列图像，进而，实现对控制器的位置和姿态的追踪，确定该控制器的六自由度追踪数据。
上述应用场景仅为一种示例性场景，具体实施时，可以根据需求应用在不同场景中，例如，应用场景中包括追踪处理器和图像获取装置，以及手环、指环和手表中的任意一个，该手环、指环或者手表携带有多点发光单元，多点发光单元包括多个光点，从而实现手环、指环或者手表的追踪。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图3为本申请实施例提供的一种控制器的追踪方法的流程示意图，所述控制器携带有多点发光单元，本实施例的执行主体可以为图1所示实施例中的控制器的追踪处理器。如图3所示，该方法可以包括：
S301：根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式。
示例性的，上述图像获取装置可以为一体机自带的单目、双目或多目相机，图像获取装置为双目或多目相机时，每个相机都是独立地获取控制器在移动过程中多点发光单元的变换序列图像。双目或多目相机可以扩大追踪的范围，但本实施例同样适用于单目相机。以单目相机为例，该相机在控制器的移动过程中拍摄多点发光单元的图像，上述多点发光单元包括多个光点，在本实施例中光点个数大于等于4个，具体个数可以根据实际应用场景进行设定，每个光点都按照不同的变换方式进行变换，本实施例对变换方式不做限定，例如第一光点变换方式是RGBRGB；第二光点的变换方式是RRGGBB；第三光点变换方式是101010；第四光点变换方式是110011，其中，RGB分别表示红绿蓝，1、0分别表示亮、暗。可以理解，颜色变换不限于红绿蓝，可以是红橙黄绿青蓝紫等；亮度等级也不限于全亮全暗两种，可以是多个亮度等级，例如全亮、3/4亮、半亮、1/4亮、暗等，变换方式也可以同时包括颜色变换和亮度等级变换。通过图像获取装置获取多点发光单元的变换序列图像，根据序列图像中的光点的颜色、亮度等级等信息，能够确定序列图像中光点的变换方式。其中，本实施例对获得序列图像中的光点的颜色、亮度等级等信息的实现方式不做限定，例如可以根据实际情况，设定各个预设颜色的颜色值的差值阈值，如果光点的颜色值与某一预设颜色的颜色值的差值小于第一预设差值阈值，则该光点的颜色为该预设颜色；同理，可以根据实际情况，设定各个亮度等级的光斑直径的差值阈值，如果光点的亮度值与某一亮度等级的光斑直径的差值小于第二预设差值阈值，则该光点的亮度为该亮度等级。
上述多点发光单元的变化频率可以根据实际应用场景进行设定，图像获取装置的拍摄频率应与多点发光单元的变化频率保持一致，以使图像获取装置的拍摄与多点发光单元变换同步，图像获取装置能够正好拍下多点发光单元中各个灯的变换，从而能够准确确定序列图像中光点的变换方式。
S302：根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识。
示例性的，上述多点发光单元包括多个光点，每个光点都按照不同的变换方式进行变换，这样，就能根据序列图像中光点的变换方式，确定序列图像中目标光点对应的标识。其中，目标光点的数量可以根据实际应用场景进行设定，例如多点发光单元的光点数量较少时，目标光点的数量可以为多点发光单元的全部光点；多点发光单元的光点数量较多时，目标光点的数量可以为多点发光单元中的部分光点。目标光点的选择也可以根据实际应用场景进行设定，例如在控制器移动过程中，一直在图像获取装置能够拍摄到的地方的光点。
S303：基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置。
示例性的，通过开源计算机视觉库(Open Source Computer Vision Library，简称OpenCV)提取上述序列图像中的目标光点，并获取目标光点的横纵像素坐标，从而得到每个标识对应的光点在上述序列图像中每一帧图像中的映射位置。
S304：根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据。
将上述映射位置、目标光点的初始位置和控制器在移动过程中图像获取装置的位置输入OpenCV，即可得到控制器在移动过程中目标光点的位置，从而确定出控制器的位置和姿态。
申请实施例提供的控制器的追踪方法，该控制器携带有多点发光单元，该方法通过图像获取装置获取控制器在移动过程中上述多点发光单元的变换序列图像，确定出述序列图像中光点的变换方式；这里，各个光点的变换方式是不同的，因此本申请实施例能够根据光点的变换方式，准确确定序列图像中目标光点对应的标识；进而基于上述目标光点对应的标识，确定目标光点在上述序列图像中每一帧图像中的映射位置；根据上述映射位置和上述目标光点的初始位置，得到控制器在移动过程中目标光点相对于该图像获取装置的位置，进而根据该位置和控制器在移动过程中图像获取装置的位置，得到目标光点的位置，由于控制器中的多点发光单元的三维几何结构是不变的，得到了目标光点的位置，就能确定出控制器的三维空间位置及旋转姿态，实现了控制器的六自由度追踪，提高了用户与周围环境的互动性。同时，本申请实施例提供的控制器的追踪方法不需要安装额外的装置，例如采用激光定位所需的激光检测装置等，因此节省了成本与空间。
另外，本申请实施例为了解决追踪的数据不平滑和延迟的问题，还考虑IMU发送的对控制器进行姿态追踪的结果。如图4所示，图4为本申请实施例提供的另一种控制器的追踪方法的流程示意图，所述控制器携带有多点发光单元，本实施例的执行主体可以为图1所示实施例中的控制器的追踪处理器。如图4所示，该方法包括：
S401：根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式。
S402：根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识。
S403：基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置。
该S401-S403与上述S301-S303实现方式相同，在此不再赘述。
S404：获取IMU发送的对所述控制器进行姿态追踪的结果。
在本实施例中，根据映射位置、目标光点的初始位置和控制器在移动过程中图像获取装置的位置，只能够确定在每一帧图像拍摄时，控制器的位置和姿态，造成追踪的数据不平滑，并且上述追踪方法存在延迟的问题。而IMU姿态追踪的更新速率快、延迟更低，并且能够得到平滑的追踪数据。
基于此，本实施例需要获取IMU发送的对该控制器进行姿态追踪的结果。
本实施例对S404与S401-S403的先后顺序不做限定，即可以先执行S404，再执行S401-S403，也可以先执行S401-S403，再执行S404。
在S404之后，执行如下步骤：根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据。
可选地，上述根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据，包括：
S4051：根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态。
将上述映射位置、目标光点的初始位置和控制器在移动过程中图像获取装置的位置输入OpenCV，即可得到控制器在移动过程中目标光点的位置，从而确定出在每一帧图像拍摄时，控制器的位置和姿态。
可选地，所述目标光点的数量不少于预设数量；
所述根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态，包括；
根据所述映射位置、所述目标光点的初始位置，通过PnP算法，获得所述目标光点相对于所述图像获取装置的位置；
根据所述目标光点相对于所述图像获取装置的位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述目标光点的位置；
根据所述目标光点的位置，获得所述控制器的位置和姿态。
示例性的，上述目标光点的数量不少于预设数量，预设数量可以根据实际应用场景进行设定，在本实施例中，目标光点的数量至少为4个，才能通过通过PnP算法，获得目标光点相对于图像获取装置的位置。将上述映射位置和上述目标光点的初始位置输入OpenCV后，通过PnP算法能够得到控制器在移动过程中目标光点相对于该图像获取装置的位置，进而根据在移动过程中目标光点相对于该图像获取装置的位置和该图像获取装置的位置，能够得到目标光点的位置。其中，PnP算法是求解3D到2D点对运动的方法，描述了当知道n(n≥4)个3D空间点及其映射位置时，如何得到相机的位姿，相机位姿与n个3D空间点的位置是相对的关系，因此，当知道了相机的位姿，以及n个3D空间点映射位置时，可以通过PnP算法得到n个3D空间点的位置。由于控制器中的多点发光单元的三维几何结构是不变的，得到了目标光点的位置，就能确定出控制器的三维空间位置及旋转姿态，从而得到控制器的六自由度追踪数据。
可以理解，上述图像获取装置为双目或多目相机时，根据目标光点在各相机的序列图像中每一帧图像中的映射位置、目标光点的初始位置，通过PnP算法，获得目标光点相对于各相机的位置，并基于目标光点相对于各相机的位置和控制器在移动过程中各图像获取装置的位置，获得两组或多组目标光点的位置，对这两组或多组目标光点的位置进行求和或者加权求和，获得目标光点的位置，从而提高了获得目标光点的位置的准确性。
S4052：将所述控制器的位置和姿态，以及所述IMU发送的对所述控制器进行姿态追踪的结果，进行融合，获得所述控制器的六自由度追踪数据。
示例性的，将所述控制器的位置和姿态，以及IMU发送的对控制器进行姿态追踪的结果，输入OpenCV，通过预设融合算法进行相互补偿、矫正、平滑和预测，进而获得控制器的六自由度追踪数据。
本实施例中，通过将控制器的位置和姿态，以及IMU发送的对控制器进行姿态追踪的结果，进行融合，可以充分利用IMU姿态追踪的更新速率、平滑性等方面的优点，又克服了IMU姿态追踪存在的漂移、误差累积，难以追踪到控制器的位置变化，无法实现6DOF追踪的问题，同时，也解决了根据映射位置、目标光点的初始位置和控制器在移动过程中图像获取装置的位置，造成的追踪数据不平滑、延迟的问题。
另外，本申请实施例中控制器携带有多点发光单元，通过图像获取装置获取控制器在移动过程中上述多点发光单元的变换序列图像，确定出述序列图像中光点的变换方式；这里，各个光点的变换方式是不同的，因此本申请实施例能够根据光点的变换方式，准确确定序列图像中目标光点对应的标识；进而基于上述目标光点对应的标识，确定目标光点在上述序列图像中每一帧图像中的映射位置；根据上述映射位置和上述目标光点的初始位置，得到控制器在移动过程中目标光点相对于该图像获取装置的位置，进而根据在移动过程中目标光点相对于该图像获取装置的位置和该图像获取装置的位置，得到目标光点的位置，由于控制器中的多点发光单元的三维几何结构是不变的，得到了目标光点的位置，就能确定出控制器的位置和姿态；通过将控制器的位置和姿态，以及IMU发送的对控制器进行姿态追踪的结果，进行融合，可以充分利用IMU姿态追踪的更新速率、平滑性等方面的优点，解决了根据映射位置、目标光点的初始位置和控制器在移动过程中图像获取装置的位置，造成的追踪数据不平滑、延迟的问题。
图5为本申请实施例提供的再一种控制器的追踪方法的流程示意图，所述控制器携带有多点发光单元，本实施例的执行主体可以为图1所示实施例中的控制器的追踪处理器。如图5所示，该方法包括：
S501：提取所述序列图像中的光点。
S502：基于所述光点，识别出所述序列图像中相邻帧的相同点。
可选地，所述基于所述光点，识别出所述序列图像中相邻帧的相同点，包括：
获得所述序列图像中相邻帧的光点中心之间的距离；
根据所述距离和预设距离阈值，识别出所述序列图像中相邻帧的相同点。
示例性的，通过OpenCV提取上述序列图像中的目标光点，并获取目标光点的横纵像素坐标，相邻帧的光点中心之间的距离其中，u1、v1分别为光点在前一帧图像的横纵像素坐标、u2、v2分别为光点在后一帧图像的横纵像素坐标，预设距离阈值为d0，如果d1≤d0，判定这一光点为相同点；反之d1＞d0，判定这两光点不为相同点。
通过S503：判断所述相同点是否连续。
若所述相同点连续，则执行S5041，若所述相同点不连续，则执行S5042-S5043。
示例性的，控制器在移动过程中，灯组中有时会有光点被转到图像获取装置拍摄不到的地方，这时拍摄的图像就没有该光点(前一帧图像中有该光点，而后一帧图像中没有该光点)；灯组中有时也会有之前拍摄不到，又重新出现被拍摄到的光点(后一帧图像中没有该光点，而后一帧图像中有该光点)，这种情况下，在序列图像中的有些图像中无法找到相同点，相同点在序列图像中不连续。反之，灯组的光点一直没有被转到图像获取装置拍摄不到的地方，在序列图像中每一帧都能找到相同点，相同点在序列图像中连续。
S5041：根据所述光点的初始标识，获得所述序列图像中目标光点对应的标识。
如果相同点连续，即在序列图像中每一帧都能找到该光点，那么就可以根据该光点的初始标识，直接确定在序列图像中的每一帧图像中该光点对应的标识，无需通过光点的变换方式来获得序列图像中目标光点对应的标识，简化了操作流程，提高了追踪效率。
S5042：根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式。
示例性的，相同点在序列图像中不连续，那么就无法在序列图像中找到断开前与断开后的相同点，进而就无法根据该光点的初始标识，确定在序列图像中的该光点断开后的图像中该光点对应的标识，因此对于之前拍摄不到，又重新出现被拍摄到的光点，在其重新出现时，需要通过光点的变换方式来获得序列图像中目标光点对应的标识。
可选地，所述光点为LED光点，所述变换方式包括颜色变换和/或亮度等级变换，
所述确定所述序列图像中光点的变换方式，可以通过以下方式实现：
根据所述相同点的颜色和/或亮度等级，确定所述相同点在一组序列图像中的颜色变换和/或亮度等级变换。
示例性的，相同点在序列图像中不连续的LED光点，在其重新出现时，基于相同点的颜色和/或亮度等级，确定相同点在一组序列图像中的颜色变换和/或亮度等级变换，其中一组序列图像的帧数与光点的变换周期有关，例如光点变换周期为四次一周期，那么一组序列图像就是连续的四帧图像。
可选地，所述光点为红外光点，所述变换方式包括红外亮暗等级变换，
所述确定所述序列图像中光点的变换方式，还可以通过以下方式实现：
根据所述相同点的红外亮暗等级，得到所述相同点在一组序列图像中的红外亮暗等级变换。
示例性的，相同点在序列图像中不连续的红外光点，在其重新出现时，基于相同点的红外亮暗等级等级，确定相同点在一组序列图像中的红外亮暗等级变换，一组序列图像的帧数可参照上述实施例，此处不再赘述。
S5043：根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识。
可选地，所述根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识，包括：
根据所述光点的变换方式，以及预设的变换方式与光点标识的对应关系，获得所述序列图像中目标光点对应的标识。
示例性的，基于预设的变换方式与光点标识的对应关系，找到与相同点在一组序列图像中的颜色变换方式相同的预设的变换方式，该预设的变换方式对应的标识就是这些相同点对应的标识。例如相同点在一组序列图像中的颜色变换为RGBRGB，预设变换方式RGBRGB对应的标识为第一光点，那么该相同点为第一光点；相同点在一组序列图像中的颜色变换为RRGGBB，预设变换方式RRGGBB对应的标识为第二光点，那么该相同点为第二光点；相同点在一组序列图像中的亮度等级变换为101010，预设变换方式101010对应的标识为第三光点，那么该相同点为第三光点，其中，RGB分别表示红绿蓝，1、0分别表示亮、暗。
根据所述光点的变换方式，以及预设的变换方式与光点标识的对应关系，能够更加准确、方便地确定序列图像中目标光点对应的标识。
S505：基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置。
S506：根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据。
该S505-S506与上述S303-S304实现方式相同，在此不再赘述。
本申请实施例提供的控制器的追踪方法，该控制器携带有多点发光单元，该方法通过提取序列图像中的光点，并基于光点识别出序列图像中相邻帧的相同点，如果相同点连续，即对于一个光点，在序列图像中每一帧都能找到该光点，那么就可以根据该光点的初始标识，直接确定在序列图像中的每一帧图像中该光点对应的标识，无需通过光点的变换方式来获得序列图像中目标光点对应的标识，简化了操作流程，提高了追踪效率；如果相同点在序列图像中不连续，在其重新出现时，需要通过光点的变换方式来确定序列图像中目标光点对应的标识；通过图像获取装置获取控制器在移动过程中上述多点发光单元的变换序列图像，确定出述序列图像中光点的变换方式；各个光点的变换方式是不同的，因此根据光点的变换方式，以及预设的变换方式与光点标识的对应关系，能够更加准确、方便地确定序列图像中目标光点对应的标识；进而基于上述目标光点对应的标识，确定目标光点在上述序列图像中每一帧图像中的映射位置；根据上述映射位置和上述目标光点的初始位置，得到控制器在移动过程中目标光点相对于该图像获取装置的位置，进而根据在移动过程中目标光点相对于该图像获取装置的位置和该图像获取装置的位置，得到目标光点的位置，由于控制器中的多点发光单元的三维几何结构是不变的，得到了目标光点的位置，就能确定出控制器的三维空间位置及旋转姿态，实现了控制器的六自由度追踪，提高了用户与周围环境的互动性。
对应于上文实施例的控制器的追踪方法，图6为本申请实施例提供的一种控制器的追踪装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。如图6所示，控制器的追踪装置60包括：第一确定模块601、第一获得模块602、第二确定模块603和第二获得模块604。
第一确定模块601，用于根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式；
第一获得模块602，用于根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识；
第二确定模块603，用于基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置；
第二获得模块604，用于根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据。
本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图7为本申请实施例提供的另一种控制器的追踪装置的结构示意图。如图7所示，本实施例提供的控制器的追踪装置60，在图6实施例的基础上，还包括：获取模块605、处理模块606。
可选地，获取模块605，用于在所述第二获得模块604获得所述控制器的六自由度追踪数据之前，
获取IMU发送的对所述控制器进行姿态追踪的结果；
所述第二获得模块604获得所述控制器的六自由度追踪数据，包括：
根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态；
将所述控制器的位置和姿态，以及所述IMU发送的对所述控制器进行姿态追踪的结果，进行融合，获得所述控制器的六自由度追踪数据。
可选地，处理模块606，用于提取所述序列图像中的光点；
基于所述光点，识别出所述序列图像中相邻帧的相同点；
判断所述相同点是否连续；
若所述相同点连续，则第一获得模块602根据所述光点的初始标识，获得所述序列图像中目标光点对应的标识；
若所述相同点不连续，则第一确定模块601执行所述根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式的步骤。
可选地，所述光点为LED光点，所述变换方式包括颜色变换和/或亮度等级变换，
所述第一确定模块601确定所述序列图像中光点的变换方式，包括：
根据所述相同点的颜色和/或亮度等级，确定所述相同点在一组序列图像中的颜色变换和/或亮度等级变换。
可选地，所述光点为红外光点，所述变换方式包括红外亮暗等级变换，
所述第一确定模块601确定所述序列图像中光点的变换方式，包括：
根据所述相同点的红外亮暗等级，得到所述相同点在一组序列图像中的红外亮暗等级变换。
可选地，所述处理模块606基于所述光点，识别出所述序列图像中相邻帧的相同点，包括：
获得所述序列图像中相邻帧的光点中心之间的距离；
根据所述距离和预设距离阈值，识别出所述序列图像中相邻帧的相同点。
可选地，所述第一获得模块602根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识，包括：
根据所述光点的变换方式，以及预设的变换方式与光点标识的对应关系，获得所述序列图像中目标光点对应的标识。
可选地，所述目标光点的数量不少于预设数量；
所述第二获得模块604根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态，包括；
根据所述映射位置、所述目标光点的初始位置，通过PnP算法，获得所述目标光点相对于所述图像获取装置的位置；
根据所述目标光点相对于所述图像获取装置的位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述目标光点的位置；
根据所述目标光点的位置，获得所述控制器的位置和姿态。
本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
图8为本申请实施例提供的控制器的追踪设备的硬件结构示意图。如图8所示，本实施例的控制器的追踪设备80包括：处理器801以及存储器802；其中
存储器802，用于存储计算机执行指令；
处理器801，用于执行存储器存储的计算机执行指令，以实现上述实施例中控制器的追踪方法的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器802既可以是独立的，也可以跟处理器801集成在一起。
当存储器802独立设置时，该追踪设备还包括总线803，用于连接所述存储器802和处理器801。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的控制器的追踪方法。
图9为本申请实施例提供的VR***的结构示意图。如图9所示，本实施例的VR***90包括：一体机901和控制器902。其中，一体机901设置有控制器的追踪处理器9011和图像获取装置9012等。控制器902携带有多点发光单元，多点发光单元包括多个光点，该控制器的一种可能的使用形态为手柄。控制器的追踪处理器9011被配置成执行上述方法。可选地，上述控制器上设置有IMU9021。本实施例提供的VR***的实现原理和技术效果可见上述方法实施例，此处不再赘述。
本申请实施例还提供一种AR***，包括：一体机和控制器。其中，一体机设置有控制器的追踪处理器和图像获取装置等。控制器携带有多点发光单元，多点发光单元包括多个光点，该控制器的一种可能的使用形态为手柄。可选地，上述控制器上设置有IMU。控制器的追踪处理器可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
本申请实施例还提供一种MR***，包括：一体机和控制器。其中，一体机设置有控制器的追踪处理器和图像获取装置等。控制器携带有多点发光单元，多点发光单元包括多个光点，该控制器的一种可能的使用形态为手柄。可选地，上述控制器上设置有IMU。控制器的追踪处理器可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
本申请实施例还提供一种XR***，包括：一体机和控制器。其中，一体机设置有控制器的追踪处理器和图像获取装置等。控制器携带有多点发光单元，多点发光单元包括多个光点，该控制器的一种可能的使用形态为手柄。可选地，上述控制器上设置有IMU。控制器的追踪处理器可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本申请实施例此处不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的控制器的追踪装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述控制器的追踪方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的控制器的追踪方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各控制器的追踪方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各控制器的追踪方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种控制器的追踪方法，其特征在于，所述控制器携带有多点发光单元，所述方法包括：
根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式，各个光点的变换方式不同；
根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识；
基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置；
根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的六自由度追踪数据；
所述方法还包括：
提取所述序列图像中的光点；
基于所述光点，识别出所述序列图像中相邻帧的相同点；
判断所述相同点是否连续；
若所述相同点连续，则根据所述目标光点的初始标识，获得所述序列图像中目标光点对应的标识；
若所述相同点不连续，则执行所述根据图像获取装置获取所述控制器在移动过程中所述多点发光单元的变换序列图像，确定所述序列图像中光点的变换方式的步骤；
所述基于所述目标光点对应的标识，确定所述目标光点在所述序列图像中每一帧图像中的映射位置，包括：
通过开源计算机视觉库OpenCV提取所述序列图像中的目标光点，并获取目标光点的横纵像素坐标，得到每个标识对应的光点在所述序列图像中每一帧图像中的映射位置。
2.根据权利要求1所述的方法，其特征在于，在所述获得所述控制器的六自由度追踪数据之前，还包括：
获取惯性测量单元IMU发送的对所述控制器进行姿态追踪的结果；
所述获得所述控制器的六自由度追踪数据，包括：
根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态；
将所述控制器的位置和姿态，以及所述IMU发送的对所述控制器进行姿态追踪的结果，进行融合，获得所述控制器的六自由度追踪数据。
3.根据权利要求1所述的方法，其特征在于，所述光点为LED光点，所述变换方式包括颜色变换和/或亮度等级变换，
所述确定所述序列图像中光点的变换方式，包括：
根据所述相同点的颜色和/或亮度等级，确定所述相同点在一组序列图像中的颜色变换和/或亮度等级变换。
4.根据权利要求1所述的方法，其特征在于，所述光点为红外光点，所述变换方式包括红外亮暗等级变换，
所述确定所述序列图像中光点的变换方式，包括：
根据所述相同点的红外亮暗等级，得到所述相同点在一组序列图像中的红外亮暗等级变换。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述光点，识别出所述序列图像中相邻帧的相同点，包括：
获得所述序列图像中相邻帧的光点中心之间的距离；
根据所述距离和预设距离阈值，识别出所述序列图像中相邻帧的相同点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述光点的变换方式，获得所述序列图像中目标光点对应的标识，包括：
根据所述光点的变换方式，以及预设的变换方式与光点标识的对应关系，获得所述序列图像中目标光点对应的标识。
7.根据权利要求2所述的方法，其特征在于，所述目标光点的数量不少于预设数量；
所述根据所述映射位置、所述目标光点的初始位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述控制器的位置和姿态，包括；
根据所述映射位置、所述目标光点的初始位置，通过N点透视位姿求解PnP算法，获得所述目标光点相对于所述图像获取装置的位置；
根据所述目标光点相对于所述图像获取装置的位置和所述控制器在移动过程中所述图像获取装置的位置，获得所述目标光点的位置；
根据所述目标光点的位置，获得所述控制器的位置和姿态。
8.一种虚拟现实VR***，其特征在于，包括一体机和控制器；所述一体机设置有控制器的追踪处理器和图像获取装置；所述控制器携带有多点发光单元，所述追踪处理器被配置成执行权利要求1-7任一项的追踪方法。
9.根据权利要求8所述的VR***，其特征在于，所述控制器为手柄。
CN202010226710.1A 2020-03-27 2020-03-27 控制器的追踪方法及vr*** Active CN111427452B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010226710.1A CN111427452B (zh) 2020-03-27 2020-03-27 控制器的追踪方法及vr***
PCT/CN2021/081910 WO2021190421A1 (zh) 2020-03-27 2021-03-19 基于虚拟现实的控制器光球追踪方法和虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010226710.1A CN111427452B (zh) 2020-03-27 2020-03-27 控制器的追踪方法及vr***

Publications (2)

Publication Number Publication Date
CN111427452A CN111427452A (zh) 2020-07-17
CN111427452B true CN111427452B (zh) 2023-10-20

Family

ID=71555466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010226710.1A Active CN111427452B (zh) 2020-03-27 2020-03-27 控制器的追踪方法及vr***

Country Status (1)

Country Link
CN (1) CN111427452B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897432A (zh) * 2020-08-03 2020-11-06 联想(北京)有限公司 位姿确定方法、装置和电子设备
CN113514060A (zh) * 2021-06-02 2021-10-19 青岛小鸟看看科技有限公司 6DoF定位追踪装置、方法及电子设备
US11947740B2 (en) 2021-06-02 2024-04-02 Qingdao Pico Technology Co., Ltd. 6DoF positioning tracking device and method, and electronic apparatus

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281960A (en) * 1991-11-19 1994-01-25 Silhouette Technology, Inc. Helmet mounted display
JP2001175405A (ja) * 1999-10-05 2001-06-29 Nippon Telegr & Teleph Corp <Ntt> ３次元位置・姿勢計測装置及びその方法並びに記録媒体
JP2004198131A (ja) * 2002-12-16 2004-07-15 Fuji Xerox Co Ltd 位置検出方法及び位置検出装置、位置検出システム及びその位置検出に用いられる測定対象発光体、位置検出処理プログラム
CN103092432A (zh) * 2011-11-08 2013-05-08 深圳市中科睿成智能科技有限公司 人机交互操作指令的触发控制方法和***及激光发射装置
CN107182200A (zh) * 2015-12-24 2017-09-19 中国科学院深圳先进技术研究院 微创手术导航***
CN107219963A (zh) * 2017-07-04 2017-09-29 深圳市虚拟现实科技有限公司 虚拟现实手柄图形空间定位方法和***
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及***
CN109710061A (zh) * 2018-12-04 2019-05-03 三弦文旅(北京)科技有限公司 影像的动感反馈***和动感反馈方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6821342B2 (ja) * 2015-07-16 2021-01-27 キヤノン株式会社 画像形成装置
CN108803861B (zh) * 2017-04-28 2021-01-12 广东虚拟现实科技有限公司 一种交互方法、设备及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281960A (en) * 1991-11-19 1994-01-25 Silhouette Technology, Inc. Helmet mounted display
JP2001175405A (ja) * 1999-10-05 2001-06-29 Nippon Telegr & Teleph Corp <Ntt> ３次元位置・姿勢計測装置及びその方法並びに記録媒体
JP2004198131A (ja) * 2002-12-16 2004-07-15 Fuji Xerox Co Ltd 位置検出方法及び位置検出装置、位置検出システム及びその位置検出に用いられる測定対象発光体、位置検出処理プログラム
CN103092432A (zh) * 2011-11-08 2013-05-08 深圳市中科睿成智能科技有限公司 人机交互操作指令的触发控制方法和***及激光发射装置
CN107182200A (zh) * 2015-12-24 2017-09-19 中国科学院深圳先进技术研究院 微创手术导航***
CN107219963A (zh) * 2017-07-04 2017-09-29 深圳市虚拟现实科技有限公司 虚拟现实手柄图形空间定位方法和***
CN107820593A (zh) * 2017-07-28 2018-03-20 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及***
CN109710061A (zh) * 2018-12-04 2019-05-03 三弦文旅(北京)科技有限公司 影像的动感反馈***和动感反馈方法

Also Published As

Publication number Publication date
CN111427452A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111427452B (zh) 控制器的追踪方法及vr***
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
US10001844B2 (en) Information processing apparatus information processing method and storage medium
JP6223122B2 (ja) 拡張現実のための自動基準フレーム較正
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN112527102A (zh) 头戴式一体机***及其6DoF追踪方法和装置
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110782492B (zh) 位姿跟踪方法及装置
CN110443853A (zh) 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN111709973A (zh) 目标跟踪方法、装置、设备及存储介质
JP2019020997A (ja) 情報処理装置及びその制御方法、並びに、プログラム
KR20160014601A (ko) 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
US20220156963A1 (en) Coordinate system conversion parameter estimating apparatus, method and program
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN114693779A (zh) 用于确定手部三维关键点的方法及装置
CN111309141A (zh) 屏幕估计
CN108803861B (zh) 一种交互方法、设备及***
KR100387901B1 (ko) 카메라 센서를 이용한 이미지 추적 및 삽입 시스템
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
CN111176445A (zh) 交互装置的识别方法、终端设备及可读存储介质
CN110473257A (zh) 信息标定方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant