CN110052020B - 便携式装置或机器人***中运行的设备、控制设备和方法 - Google Patents

便携式装置或机器人***中运行的设备、控制设备和方法 Download PDF

Info

Publication number
CN110052020B
CN110052020B CN201810291916.5A CN201810291916A CN110052020B CN 110052020 B CN110052020 B CN 110052020B CN 201810291916 A CN201810291916 A CN 201810291916A CN 110052020 B CN110052020 B CN 110052020B
Authority
CN
China
Prior art keywords
point values
map
6dof
space
map creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810291916.5A
Other languages
English (en)
Other versions
CN110052020B8 (zh
CN110052020A (zh
Inventor
达塔·若蔓德森
林瓊
叶浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xvisio Technology Corp
Original Assignee
Xvisio Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xvisio Technology Corp filed Critical Xvisio Technology Corp
Publication of CN110052020A publication Critical patent/CN110052020A/zh
Application granted granted Critical
Publication of CN110052020B publication Critical patent/CN110052020B/zh
Publication of CN110052020B8 publication Critical patent/CN110052020B8/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供便携式装置或机器人***中运行的设备、控制设备和方法。涉及用于6DoF内向外追踪游戏控制的方法和设备。在一个新的方面，多处理器架构被用于VI‑SLAM。在一个实施例中，设备获得重叠图像帧和设备的传感器输入，其中，所述传感器输入包括陀螺仪数据、加速度计数据和磁力计数据，所述设备基于分割算法，将计算工作分割至多个向量处理器以获得所述设备的六自由度输出即6DoF输出，并且进行定位处理以生成6DoF估计、以及进行地图创建处理以生成与地图的描述符相关联的三维点的云。在一个实施例中，所述定位处理和所述地图创建处理被配置成顺次运行。在另一实施例中，所述定位处理和所述地图创建处理被配置成并行运行。

Description

便携式装置或机器人***中运行的设备、控制设备和方法
技术领域
本发明通常涉及VR/AR***，尤其涉及6DoF内向外追踪游戏控制器、 头戴式装置内向外追踪和多智能体(multi agent)交互、机器人位置和姿势追 踪、路径规划和碰撞避免。
背景技术
虚拟现实(VR)和增强现实(AR)预计将继续快速增长。随着新技术 在硬件和软件方面的发展，将有助于AR/VR市场更快增长。随着使用该技术 的应用越来越多，要求该***运行速度更快而且定位更加精确且无漂移。
SLAM(同时定位与地图创建)算法被广泛采用以改进该***。然而， 使用SLAM算法有三个问题：比例因子、漂移问题(即使使用立体照相机) 和长的处理时间。对于漂移的现有技术解决方案的状况是在线环闭合和在线 重新定位(用于ORB-SLAM)。两者都是基于词袋(bag of words)方法(来存 储每一块)。但是，该词袋的更新非常耗时/消耗CPU。
此外，AR/VR***需要游戏控制器的六自由度(6DoF)数据。然而， 游戏控制器目前不能足够有效且快速地实时产生6DoF数据。市场上的游戏控 制器不能获得3D空间中的三维平移。
需要对追踪游戏控制器进行增强和改进。
发明内容
提供用于6DoF内向外追踪游戏控制的方法和设备。在一个新的方面， 多处理器架构被用于VI-SLAM。在一个实施例中，所述设备获得重叠图像帧 和设备的传感器输入，其中所述传感器输入包括陀螺仪数据、加速度计数据 和磁力计数据；基于分割算法，将计算工作分割至多个向量处理器以获得所 述设备的六自由度输出即6DoF输出；以及进行定位处理以生成6DoF估计， 并且进行地图创建处理以生成与地图的描述符相关联的三维点的云。在一个 实施例中，所述分割算法包括：将当前帧分成N个相等部分，并且所选择的 向量处理器的集合中的各向量处理器基于角点分割规则对所述当前帧的一 部分进行处理，其中，所述角点分割规则判断各像素是否是角点，并且通过 使用基矩阵将以被判断为角点的各像素为中心的各子图像转换成16位浮动 描述符，来将被判断为角点的各像素分类成压缩描述符。在一个实施例中， 所述定位处理和所述地图创建处理被配置成顺次运行，其中，所述定位处理 被分割至全部所述向量处理器，并且所述地图创建处理被分割至全部所述向量处理器。在另一实施例中，所述定位处理和所述地图创建处理被配置成并 行运行，其中，所述定位处理被分割至所述向量处理器的第一子集，并且所 述地图创建处理被分割至所述向量处理器的其余子集。在一个实施例中，所 述6DoF输出采用从包括以下内容的输出格式组中所选择的一个格式：具有用 于平移3D空间的三个浮点值和用于旋转空间的三个浮点值的六个浮点值；具 有用于平移3D空间的三个浮点值和用于旋转空间的九个浮点值的十二个浮 点值；具有用于平移3D空间的三个定点值和用于旋转空间的三个定点值的六 个定点值；以及具有用于平移3D空间的三个定点值和用于旋转空间的九个定 点值的十二个定点值。
在一个新的方面，预先生成背景环境的地图。该基准地图是一批具有预 先估计的3D位置和视觉特征描述的视觉特征。该地图用于实时定位。在定位 处理期间，特征的3D位置不会被更新，因而该地图是静态的。由于该地图是 已知的，因而无需不断映射环境。并且由于该地图是静态的，因而定位不会 漂移。该方法的潜在问题是在我们移动离开基准地图太远时定位失败。我们 使用VI-SLAM算法来解决这一问题。
在一个实施例中，客户机服务器拓扑结构被用于来配置地图创建和定位 技术，这使得客户机在计算方面负担更轻并且耗电更少。可能有一个或多个 客户机在服务器网络上工作。或者，以消耗电力为代价，客户机在无需服务 器的情况下就可以独立工作。
在另一实施例中，追踪和定位是基于已知地图的。这可以实现快速的处 理速度。这对于VR/AR应用来说是有用的。在这种方法中，提供了校准的立 体相机来解决比例因子问题。
本发明提供一种在便携式装置或机器人***中运行的设备，所述设备包 括：传感器单元，用于收集所述设备的现场信息；地图接收器，用于从远程 地图生成中心接收静态地图，其中，基于所述设备所收集的现场信息来生成 所述静态地图；定位生成器，用于生成所述设备的定位信息；以及地图创建 器，用于基于所接收到的所述静态地图和所述定位信息，创建用于所述设备 的地图。
本发明提供一种控制设备，其包括：多个照相机，其被安装在所述控制 设备的外壳上，其中，所述多个照相机生成所述控制设备要处理的重叠视图； 惯性测量单元即IMU，用于检测所述控制设备的移动、旋转和磁航向；以及 多处理器控制器，用于基于所述多个照相机和所述IMU的传感器输入来生成 所述控制设备的一系列的六自由度输出即6DoF输出，其中，各6DoF输出包 含所述控制设备的六个维度，该六个维度包括旋转空间中的方向的三个维度 和3D空间中的平移的三个维度。
本发明提供一种控制方法，包括以下步骤：获得重叠图像帧和设备的传 感器输入，其中所述传感器输入包括陀螺仪数据、加速度计数据和磁力计数 据；基于分割算法，将计算工作分割至多个向量处理器以获得所述设备的六 自由度输出即6DoF输出；以及进行定位处理以生成6DoF估计，并且进行地 图创建处理以生成与地图的描述符相关联的三维点的云。
在下面的详细说明中，说明其他实施例和优点。发明内容并非意图限定 本发明。本发明由权利要求书限定。
附图说明
附图示出本发明的实施例，其中，相同的附图标记表示相同组件。
图1示出根据本发明实施例的6DoF内向外追踪游戏控制器的示例性框 图。
图2示出根据本发明实施例的示例性多照相机配置。
图3示出根据本发明实施例的游戏控制器的实时立体追踪的示例性数据 流。
图4示出根据本发明实施例的游戏控制器的实时立体追踪的示例性位置 ***数据流。
图5A示出根据本发明实施例的用于基于分割算法将VI-SLAM分割至用 于定位处理的N个向量处理器的示例性流程图。
图5B示出根据本发明实施例的用于基于分割算法将VI-SLAM分割至用 于地图创建处理的N个向量处理器的示例性流程图。
图6示出根据本发明实施例的多处理器配置中的示例性并行处理和示例 性顺次处理。
图7示出根据本发明实施例的校准处理的示例图。
图8示出根据本发明实施例的6DoF内向外追踪处理的示例性流程图。
具体实施方式
现详细说明附图示出了其例子的本发明的一些实施例。
图1示出根据本发明实施例的6DoF内向外追踪游戏控制器100的示例性 框图。游戏控制器100不限于仅用作游戏控制器。它可以是在其他场景中所 使用的以及与其他设备结合所使用的设备。在一个新的方面，通过游戏控制 器100实时产生6DoF。在一个实施例中，游戏控制器100包括诸如传感器121、 122和125等的多个传感器。在一个实施例中，这些传感器是照相机。游戏控 制器100的多个照相机生成重叠图像。
游戏控制器100还包括惯性测量单元(IMU)131、可选的外部存储卡(SD 卡)132以及诸如WiFi接口、蓝牙接口等的一个或多个无线接口133。接口模 块111与传感器、IMU131、SD 132以及诸如Wifi 133和蓝牙134等的无线接 口进行通信并对其进行控制。硬件加速器和图像信号处理单元112有助于对 传感器输入进行图像处理。IMU 131检测游戏控制器100的移动、旋转和磁航 向。在一个实施例中，IMU 131是用于检测移动、旋转和磁航向的集成9轴传 感器。它包括三轴低重力加速度传感器、三轴角速率传感器和三轴地磁传感器。IMU 131感测游戏控制器100的方向、角速度和线性加速度。在一个实施 例中，游戏控制器100处理至少500hz的IMU帧频的数据。
在一个实施例中，多个照相机被安装在游戏控制器100的外壳上以生成 用于游戏控制器的重叠视图。与单眼解决方案相比，以重叠视图的方式使用 多个照相机具有许多优点，例如，3D运动的比例因子不会漂移，可以在无需 移动装置的情况下对重叠区域上所看到的3D点进行三角计算，使用对极几何 使得重叠区域的匹配更加快速和精确，全局视野更宽从而提高精度并减少抖 动等等。
图2示出根据本发明实施例的示例性多照相机配置。多照相机配置不受 所示例子的限制。通常，可以使用多个照相机来拍摄立体图像，从而获得重 叠图像。游戏控制器210具有直的外壳。两个照相机211和212被安装在靠近 外壳的两端，并且这两个照相机的镜头与外壳的表面平行。游戏控制器220 被类似地配置成具有两个被安装在靠近直线外壳的边缘的照相机的游戏控 制器210。在其他场景中，使用四个照相机。游戏控制器230具有直的外壳。 四个照相机231、232、233和234被安装在靠近外壳的边缘。在同一侧但彼此 相对的照相机不是内联的。类似于游戏控制器230，游戏控制器240也具有直 的外壳，其中，外壳具有四个被安装在靠近外壳边缘的照相机241、242、243 和244。在同一侧但彼此相对的照相机是内联的。游戏控制器250具有方形外 壳，其中，外壳具有四个照相机251、252、253和254。各照相机被分别安装 在外壳的一侧。游戏控制器260是“V”形外壳。四个照相机261、262、263和 264被安装在游戏控制器260的外壳上，其中，在外壳的每一条腿上各安装有 两个照相机。在另一例子中，游戏控制器270具有呈半六边形的外壳。游戏 控制器270具有四个照相机，其中，在外壳的两条外腿上分别安装有两个照 相机。可以配置其他结构和/或者不同数量的照相机。
图3示出根据本发明实施例的游戏控制器的实时立体追踪的示例性数据 流。使用两个处理，即一个用于实时追踪的定位处理312和一个用于地图更 新的地图创建处理311。使用一个或多个立体照相机341。所获得的图像被收 集在一个帧331中，通过接口A将该帧传送给定位处理312。类似地，IMU单 元342与加速度计、陀螺仪和磁力计332对话，通过接口B将其传送给定位处 理312。定位过程生成6DoF姿势、IMU和特征点322，并且通过接口G将其传 送给地图创建和环闭合处理311。地图创建和环闭合311通过接口G接收6DoF 姿势、IMU和特征点。地图创建和环闭合311生成描述符和3D点321，并且通 过自己的接口F和定位接口C将其发送给定位312。在一个实施例中，地图创 建和环闭合311还生成通过其接口H用于游戏控制器的6DoF姿势。
图4示出根据本发明实施例的游戏控制器的用于实时立体追踪的示例性 定位***数据流。接口A、B、C、D和E各自对应于图3中所标记的相同的接 口。特征检测过程411从接口A和描述符库451接收立体图像。特征检测411 检测特征452并且传送至本地地图匹配过程412。过程412还从本地地图461接 收描述符和3D点462。过程461基于作为来自地图创建过程的输出的、来自接 口C的输入，生成数据462。过程412生成匹配结果的2D和3D点453，并且将 其传送给计算姿势过程413。定位过程还从接口B接收IMU输入，并且将其传 送给姿势预测过程414。过程414还接收6DoF姿势465。当前姿势464基于来自 接口E的输入而生成6DoF姿势465。基于输入453和454的计算姿势过程413在 步骤421将该结果与阈值进行比较。如果步骤421判断为内点数量大于阈值， 则将当前姿势463传送给当前姿势过程464。如果步骤421判断为内点数量不 大于阈值，则通过接口D将6DoF姿势、IMU和特征点传送给地图创建处理。
在一个新的方面，基于分割算法和传感器输入，分割VI-SLAM算法以在 多个处理器上运行。
图5A示出根据本发明实施例的用于基于分割算法将VI-SLAM分割至用 于定位处理的N个向量处理器的示例性流程图。在一个实施例中，定位处理 是作为包括特征提取过程510、匹配过程520和6DoF估计过程530的状态机所 实现的流水线。
在一个实施例中，按照分割规则将特征检测和提取过程510分割成在N个 向量处理器上运行。步骤511将所要处理的当前帧分成N个相等部分。步骤512 再将每一帧部分分配给相应的向量处理器。每一处理器按照预定义算法来处 理帧的一部分。首先，确定角点。对于图像中通过2D坐标所描述的每一像素 pi以及可调阈值t，如果在相邻圆内存在全部都亮于(pi+t)或者全部都暗于 (pi–t)的K个邻近像素的集合，则pi被确定为角点。在一些实施例中，阈值t 处于5<t<200的范围内。在另一实施例中，K处于5<K<13的范围内。在另一实 施例中，相邻圆的半径为三个像素。接着，在第二步骤，使用以pi为中心的n×n 子图像，将各角点像素pi分类成压缩描述符。这是使用基矩阵将每一子图像转 换成16位浮动(16-float)描述符来进行的。利用对所选择的特征的大集合进 行奇异值分解来计算基矩阵。在一个实施例中，n×n子图像是11×11。假定从 当前帧所检测到的特征点(图像中的2D坐标)列表为P＝(p1,...,pn)。假定每一 特征点及其相关联描述符的描述符相关对列表为D＝(d1,...,dn)。
在另一实施例中，匹配过程520被分割至N个向量处理器。步骤521将描 述符列表分割至N个部分。在一个实施例中，描述符列表被等分割为N个部 分。步骤522通过将Di与地图描述符的子集进行匹配来对每一描述符Di进行 描述符匹配。在N个相等范围内分割描述符。对于每一向量处理i，对于Di 应用匹配算法。处理器i(0<i<N+1)在范围Di上运行匹配算法。使用交叉匹 配方法，将描述符Di与地图LocalMap的描述符的子集(地图的子集)进行匹配：每一匹配是一对描述符(da,db)，例如，在当前帧的描述符Di中，da是 db的最佳候选，以及在地图LocalMap的描述符中，db是da的最佳候选。将地 图的描述符中的一部分与世界上地理参考的一些3D点相关联(通过地图创建 算法进行该3D估计)。因而，该匹配将每一描述符di de D与LocalMap的3D 点p3d相关联。匹配的输出是用于将特征点P与地图的3D点相关联的描述符对 的列表：Mi＝((p1,p3d1),...,(pn,p3dn))。
在另一实施例中，估计6DoF过程530被分割至N个处理器。该步骤的输 入是(来自匹配的)N个列表Mi。对于M中的每一对(pi,p3di)，6DoF估计 使得在当前帧中所投影的p3di和pi之间在2D上的差最小化。利用非线性最小 二乘算法Levenberg-Marquardt结合Geman-McClure的M估计法(鲁棒方法) 来进行该最小化。在N个处理器上使用Levenberg-Marquard鲁棒方法。一旦分 割，每一处理器i计算Mi:Ei的所有元素的再投影误差，并且计算Mi:Ji的所有 元素的雅克比误差函数。随后，串联合并E中总数为N的Ei和J中总数为N的Ji。 计算E的绝对差的中值(MAD)。通过求解线性***(JTJ)X＝JTE.MAD获得 6DoF的估计，其中，X是6DoF的更新。
图5B示出根据本发明实施例的用于基于分割算法将VI-SLAM分割至用 于地图创建处理的N个向量处理器的示例性流程图。地图创建处理接收特征 点、描述符和当前姿势的输入，并且生成与描述符相关联的3D点云。地图创 建处理包括匹配过程560和优化过程570。匹配过程560被分割至多个处理器。 使用交叉匹配方法，将来自定位的特征点与地图的特征点的子集进行匹配。 分割算法包括：分割特征范围以在M个相等范围内进行匹配。使用不同处理 器来处理每一范围。利用尚未与地图的3D点相关联的描述符进行每一匹配，这使得允许对新的3D点进行三角计算。优化过程570利用 Levenberg-Marquardt算法优化地图的姿势和3D点以最小化再投影误差。优化 还可以包括：3D点剔除，其中，仅在2个图像中所看到的3D点是不相关的， 因而去除这些3D点；关键帧剔除，其中，由于包含许多共同的3D点的关键 帧(地图的姿势)是冗余的，因而去除这些关键帧；环闭合过程检测地图中 相同3D点的多个实例，并且合并它们以节省一些内存并减少3D重建的漂移。
在一个新的方面，通过使用多处理器的处理器架构，定位处理和地图创 建处理的效率大大提高。
图6示出根据本发明实施例的多处理器配置中的示例性并行处理和示例 性顺次处理。多个处理器是处理器601、处理器602、处理器603、…、处理 器612。在一个实施例中，将诸如定位611和定位613等的定位处理配置成在 所有向量处理器上串行运行。每一定位处理被分割至所有向量处理器。地图 创建处理是诸如地图创建处理612和地图创建处理619等。将诸如地图创建 612和地图创建619等的地图创建处理配置成在所有向量处理器上运行。每一 地图创建处理被分割至所有向量处理器。在另一实施例中，定位处理和地图 创建处理并行运行。定位处理621被配置成始终占用处理器601至处理器608。 每一定位处理使用向量处理器的子集。地图创建处理使用诸如处理器609至 处理器612等的其余向量处理器。
图7示出根据本发明实施例的校准处理的示例图。校准被分成三个连续 步骤。步骤701是内在校准。内在校准使用诸如平面棋盘图案和由具有不同 位置和方向的多个棋盘所组成的3D图案等的已知图案来估计内在参数。内在 校准不需要重叠区域。这可以在安装照相机之前来进行。步骤702是外在校 准。外在校准估计每一照相机之间的旋转和平移，这需要具有内在校准并且 需要看到重叠区域中的已知图案。这一步骤必须在所有照相机安装完毕时进 行。对于利用照相机在同一时间所看到的棋盘的三角计算，给出正使用的照相机之间的基线。步骤703是利用运动的内在和外在改善。通过按照已知和 预先确定的运动在6DoF上(在所有平移和方向轴上)移动装置来对帧进行记 录。然后，使用来自运动算法的结构来估计所记录帧的运动和3D点。在该步 骤期间，基于已知和预先确定的运动，使用运动约束来优化内在和外在参数 以改善它们的值：优化算法对为了解释已知和预先确定的运动所需的内在和 外在参数的集合进行估计。
图8示出根据本发明实施例的6DoF内向外追踪处理的示例性流程图。在 步骤801，设备获得重叠图像帧和设备的传感器输入，其中，传感器输入包 括陀螺仪数据、加速度计数据和磁力计数据。在步骤802，设备基于分割算 法将计算工作分割至多个向量处理器以获得设备的六自由度(6DoF)输出。 在步骤803，设备进行定位处理以生成6DoF估计，并且进行地图创建处理以 生成与地图的描述符相关联的三维点云。
此外，6DoF输出可以采用从包括以下内容的输出格式组中所选择的一个 格式：具有用于平移3D空间的三个浮点值和用于旋转空间的三个浮点值的六 个浮点值；具有用于平移3D空间的三个浮点值和用于旋转空间的九个浮点值 的十二个浮点值；具有用于平移3D空间的三个定点值和用于旋转空间的三个 定点值的六个定点值；以及具有用于平移3D空间的三个定点值和用于旋转空 间的九个定点值的十二个定点值。
尽管为了指导目的，结合特定具体实施例说明了本发明，但是本发明不 局限于此。因此，在不脱离权利要求书中所述的本发明的范围的情况下，可 以对所述实施例进行各种修改、改变以及其各种特征的组合。

Claims (15)

1.一种控制设备，其包括：
多个照相机，其被安装在所述控制设备的外壳上，其中，所述多个照相机生成所述控制设备要处理的重叠视图；
惯性测量单元即IMU，用于检测所述控制设备的移动、旋转和磁航向；以及
多处理器控制器，用于基于所述多个照相机和所述IMU的传感器输入来生成所述控制设备的一系列的六自由度输出即6DoF输出，其中，各6DoF输出包含所述控制设备的六个维度，该六个维度包括旋转空间中的方向的三个维度和3D空间中的平移的三个维度，
其中，所述多处理器控制器包括一个或多个管理处理器和多个向量处理器，所述一个或多个管理处理器基于分割算法和所述传感器输入来将所述6DoF输出的计算工作分割至所述多个向量处理器。
2.根据权利要求1所述的控制设备，其中，所述IMU包括一个或多个三轴传感器、一个或多个低重力加速度传感器、一个或多个三轴角速率传感器以及一个或多个三轴地磁传感器。
3.根据权利要求1所述的控制设备，其中，所述IMU是集成九轴传感器。
4.根据权利要求1所述的控制设备，其中，所述多个向量处理器被配置成进行定位处理和地图创建处理，所述定位处理生成6DoF估计，以及所述地图创建处理生成与地图的描述符相关联的三维点云。
5.根据权利要求4所述的控制设备，其中，所述定位处理包括：
检测和提取当前帧的特征点；
将所述特征点与地图的关联3D点进行匹配，并且生成将所述特征点与该地图的关联3D点相关联的描述符对列表；以及
估计当前所述控制设备的6DoF输出。
6.根据权利要求5所述的控制设备，其中，所述检测和提取包括：将当前帧分成N个相等部分，并且所选择的向量处理器的集合中的各向量处理器基于角点分割规则对所述当前帧的一部分进行处理，其中，所述角点分割规则判断各像素是否是角点，并且通过使用基矩阵将以被判断为角点的各像素为中心的各子图像转换成16位浮动描述符，来将被判断为角点的各像素分类成压缩描述符。
7.根据权利要求4所述的控制设备，其中，所述地图创建处理包括：
使用交叉匹配算法将来自所述定位处理的特征点与特征点地图的子集进行匹配；以及
优化地图的姿势和3D点，其中所述地图的姿势包含多个共同的3D点。
8.根据权利要求4所述的控制设备，其中，所述定位处理和所述地图创建处理被配置成顺次运行，其中，所述定位处理被分割至全部所述向量处理器，并且所述地图创建处理被分割至全部所述向量处理器。
9.根据权利要求4所述的控制设备，其中，所述定位处理和所述地图创建处理被配置成并行运行，其中，所述定位处理被分割至所述向量处理器的第一子集，并且所述地图创建处理被分割至所述向量处理器的其余子集。
10.根据权利要求1所述的控制设备，其中，所述6DoF输出采用从包括以下内容的输出格式组中所选择的一个格式：具有用于平移3D空间的三个浮点值和用于旋转空间的三个浮点值的六个浮点值；具有用于平移3D空间的三个浮点值和用于旋转空间的九个浮点值的十二个浮点值；具有用于平移3D空间的三个定点值和用于旋转空间的三个定点值的六个定点值；以及具有用于平移3D空间的三个定点值和用于旋转空间的九个定点值的十二个定点值。
11.一种控制方法，包括以下步骤：
获得重叠图像帧和设备的传感器输入，其中所述传感器输入包括陀螺仪数据、加速度计数据和磁力计数据；
基于分割算法和所述传感器输入，将所述设备的六自由度输出即6DoF输出的计算工作分割至多个向量处理器；以及
进行定位处理以生成6DoF估计，并且进行地图创建处理以生成与地图的描述符相关联的三维点云。
12.根据权利要求11所述的控制方法，其中，所述分割算法包括：将当前帧分成N个相等部分，并且所选择的向量处理器的集合中的各向量处理器基于角点分割规则对所述当前帧的一部分进行处理，其中，所述角点分割规则判断各像素是否是角点，并且通过使用基矩阵将以被判断为角点的各像素为中心的各子图像转换成16位浮动描述符，来将被判断为角点的各像素分类成压缩描述符。
13.根据权利要求11所述的控制方法，其中，所述定位处理和所述地图创建处理被配置成顺次运行，其中，所述定位处理被分割至全部所述向量处理器，并且所述地图创建处理被分割至全部所述向量处理器。
14.根据权利要求11所述的控制方法，其中，所述定位处理和所述地图创建处理被配置成并行运行，其中，所述定位处理被分割至所述向量处理器的第一子集，并且所述地图创建处理被分割至所述向量处理器的其余子集。
15.根据权利要求11所述的控制方法，其中，所述6DoF输出采用从包括以下内容的输出格式组中所选择的一个格式：具有用于平移3D空间的三个浮点值和用于旋转空间的三个浮点值的六个浮点值；具有用于平移3D空间的三个浮点值和用于旋转空间的九个浮点值的十二个浮点值；具有用于平移3D空间的三个定点值和用于旋转空间的三个定点值的六个定点值；以及具有用于平移3D空间的三个定点值和用于旋转空间的九个定点值的十二个定点值。
CN201810291916.5A 2017-01-18 2018-04-03 便携式装置或机器人***中运行的设备、控制设备和方法 Active CN110052020B8 (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762447867P 2017-01-18 2017-01-18
US15/874,842 US10843068B2 (en) 2017-01-18 2018-01-18 6DoF inside-out tracking game controller
US15/874,842 2018-01-18

Publications (3)

Publication Number Publication Date
CN110052020A CN110052020A (zh) 2019-07-26
CN110052020B true CN110052020B (zh) 2022-07-22
CN110052020B8 CN110052020B8 (zh) 2023-06-06

Family

ID=62838531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810291916.5A Active CN110052020B8 (zh) 2017-01-18 2018-04-03 便携式装置或机器人***中运行的设备、控制设备和方法

Country Status (2)

Country Link
US (3) US10843068B2 (zh)
CN (1) CN110052020B8 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
CN110494792B (zh) * 2018-03-07 2021-07-09 奇跃公司 ***设备的视觉跟踪
EP4291940A1 (en) 2021-03-11 2023-12-20 Cariad Se Method and a processing unit for determining calibration parameters for a calibration function of a head-mounted device (hmd) for use in a vehicle and hmd comprising such a calibration function

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
WO2017213939A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Six dof mixed reality input by fusing inertial handheld controller with hand tracking

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176837B1 (en) * 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
WO2004015369A2 (en) * 2002-08-09 2004-02-19 Intersense, Inc. Motion tracking system and method
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
EP1759529A4 (en) * 2004-04-30 2009-11-11 Hillcrest Lab Inc SPACE SHOW AND METHOD
US20160047675A1 (en) * 2005-04-19 2016-02-18 Tanenhaus & Associates, Inc. Inertial Measurement and Navigation System And Method Having Low Drift MEMS Gyroscopes And Accelerometers Operable In GPS Denied Environments
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8493323B2 (en) * 2006-08-02 2013-07-23 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientation of the device
KR100886340B1 (ko) * 2007-04-04 2009-03-03 삼성전자주식회사 이동 로봇의 자이로 센서를 캘리브레이션하는 장치 및 방법
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8209525B2 (en) * 2008-08-15 2012-06-26 Apple Inc. Method and apparatus for executing program code
US20100110412A1 (en) * 2008-10-31 2010-05-06 Honeywell International Inc. Systems and methods for localization and mapping using landmarks detected by a measurement device
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
WO2011115635A1 (en) * 2010-03-19 2011-09-22 University Of Central Florida Research Foundation, Inc. Object tracking with opposing image capture devices
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8498811B2 (en) * 2011-02-09 2013-07-30 SenionLab AB Method and device for indoor positioning
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
WO2014020547A1 (en) * 2012-07-31 2014-02-06 Indoorgo Navigation Systems Ltd. Navigation method and device
US9849333B2 (en) * 2012-08-31 2017-12-26 Blue Goji Llc Variable-resistance exercise machine with wireless communication for smart device control and virtual reality applications
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US9524434B2 (en) * 2013-10-04 2016-12-20 Qualcomm Incorporated Object tracking based on dynamically built environment map data
EP3855276A1 (en) * 2014-09-05 2021-07-28 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10395116B2 (en) * 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
US10620717B2 (en) * 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
WO2018027206A1 (en) * 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10043076B1 (en) * 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10402663B1 (en) * 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US20180096507A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
EP3535644B1 (en) * 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
CN102663722A (zh) * 2011-01-31 2012-09-12 微软公司 使用深度图像的活动对象分割
WO2017213939A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Six dof mixed reality input by fusing inertial handheld controller with hand tracking

Also Published As

Publication number Publication date
US20180200614A1 (en) 2018-07-19
US20230014421A1 (en) 2023-01-19
CN110052020B8 (zh) 2023-06-06
CN110052020A (zh) 2019-07-26
US10843068B2 (en) 2020-11-24
US20210031097A1 (en) 2021-02-04
US11504608B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
Zou et al. Coslam: Collaborative visual slam in dynamic environments
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
Wendel et al. Natural landmark-based monocular localization for MAVs
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
US20170070724A9 (en) Camera pose estimation apparatus and method for augmented reality imaging
US11504608B2 (en) 6DoF inside-out tracking game controller
Liu et al. A SLAM-based mobile augmented reality tracking registration algorithm
AU2015334707A1 (en) Optical Inertial Measurement Apparatus and Method
Alam et al. Pose estimation algorithm for mobile augmented reality based on inertial sensor fusion.
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***
US10977810B2 (en) Camera motion estimation
Calloway et al. Three tiered visual-inertial tracking and mapping for augmented reality in urban settings
KR20220138824A (ko) 포인트-라인 피처를 이용한 슬램의 최적화 방법 및 장치
Alkhatib et al. Camera pose estimation based on structure from motion
Xia et al. YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM
Kim et al. Pose initialization method of mixed reality system for inspection using convolutional neural network
Sun et al. Research on combination positioning based on natural features and gyroscopes for AR on mobile phones
Speroni et al. A low cost VSLAM prototype using webcams and a smartphone for outdoor application
Burschka Spatiotemporal representation of dynamic scences
Ren An improved binocular LSD_SLAM method for object localization
Fang et al. Semantic SLAM Based on Compensated Segmentation and Geometric Constraints in Dynamic Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Address

Correct: 201203 Xuhui Hongqiao International, No. 288 Tongxie Road, Changning District, Shanghai

False: 201203 Xuhui Hongqiao International, No. 288 Tongxie Road, Pudong New Area, Shanghai

Number: 29-02

Volume: 38

Correction item: Address

Correct: 201203 Xuhui Hongqiao International, No. 288 Tongxie Road, Changning District, Shanghai

False: 201203 Xuhui Hongqiao International, No. 288 Tongxie Road, Pudong New Area, Shanghai

Number: 29-02

Page: The title page

Volume: 38

CI03 Correction of invention patent
OR01 Other related matters
OR01 Other related matters