WO2022040970A1 - 一种同步实现三维重建和ar虚实注册的方法、***及装置 - Google Patents

一种同步实现三维重建和ar虚实注册的方法、***及装置 Download PDF

Info

Publication number
WO2022040970A1
WO2022040970A1 PCT/CN2020/111316 CN2020111316W WO2022040970A1 WO 2022040970 A1 WO2022040970 A1 WO 2022040970A1 CN 2020111316 W CN2020111316 W CN 2020111316W WO 2022040970 A1 WO2022040970 A1 WO 2022040970A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
real
point cloud
camera
real registration
Prior art date
Application number
PCT/CN2020/111316
Other languages
English (en)
French (fr)
Inventor
陈雨
Original Assignee
南京翱翔信息物理融合创新研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京翱翔信息物理融合创新研究院有限公司 filed Critical 南京翱翔信息物理融合创新研究院有限公司
Priority to PCT/CN2020/111316 priority Critical patent/WO2022040970A1/zh
Publication of WO2022040970A1 publication Critical patent/WO2022040970A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Definitions

  • the invention belongs to the technical field of three-dimensional registration, and in particular relates to a method, system and device for synchronously realizing three-dimensional reconstruction and AR virtual and real registration.
  • Virtual-real registration is a very important link in augmented reality, which aims to determine the mapping relationship between the virtual space and the real space. In order to present the scene of the corresponding field of view to the observer, it is often necessary to calibrate the observer's head posture.
  • the observer's head pose tracking is more important.
  • the high-precision tracking and positioning and low-latency of the helmet-mounted display ensure the consistency of the virtual and real space, which can make the user feel that the virtual object is embedded in the real space.
  • the technical problem to be solved by the present invention is to provide a method, system and device for simultaneously realizing 3D reconstruction and AR virtual and real registration, which can improve registration efficiency and tracking and positioning accuracy, thereby helping to improve user experience.
  • the present invention is realized as follows: a method for simultaneously realizing three-dimensional reconstruction and AR virtual-real registration, including the following processes.
  • the virtual model of the object is visualized according to the coordinate transformation matrix to complete the virtual and real registration of the object in a static state.
  • the point clouds belonging to different objects are divided into independent classes, the OBB bounding box of each cluster is calculated, the point cloud within the bounding box is processed, and the virtual and real registration results are updated.
  • the virtual and real registration of the motion state of the object are updated.
  • Zhang Zhengyou's calibration method is used to calculate the extrinsic parameter matrices of the two sets of cameras.
  • the extrinsic parameter matrix of the AR camera is:
  • the extrinsic parameter matrix of the depth camera is: .
  • M Ai is the extrinsic parameter matrix corresponding to the AR camera in the ith group of calibration calculations
  • M Di is the extrinsic parameter matrix corresponding to the depth camera in the ith group of calibration calculations
  • the transformation matrix M i is obtained from the depth camera coordinate system to the AR camera coordinate system, and the relationship is as follows.
  • the point cloud of the 3D reconstruction of the scene is obtained by the ElasticFusion algorithm, and the RANSAC random sampling consistency algorithm is used to estimate the equation for fitting the workbench plane to obtain the background template.
  • the equation expression is:
  • the distance between the point and the background template is calculated.
  • the points smaller than the set threshold ⁇ are reserved as object points, and the remaining points are removed as background points.
  • Update output the virtual model of the object stored as a point cloud.
  • the point cloud of the three-dimensional reconstruction of the scene is obtained by the ElasticFusion algorithm, and the specific process of using the RANSAC random sampling consistency algorithm to estimate the equation fitting the workbench plane to obtain the background template is as follows.
  • the conversion relation is .
  • the point clouds belonging to different objects are divided into independent classes, the OBB bounding box of each cluster is calculated, the point clouds within the bounding box are processed, and updated.
  • the virtual and real registration results, the specific process of completing the virtual and real registration of the object motion state is as follows.
  • the three principal component axes of the point cloud set are calculated and used as the three direction axes of the OBB bounding box.
  • All points in the point cloud set are projected onto these three direction axes, and the boundary information of the OBB bounding box is determined, that is, the three dimensions of length, width, and height.
  • the moving object is dynamically tracked, and the pose of the OBB bounding box and the virtual-real registration result of the model are updated according to the rotation matrix and translation matrix obtained from the tracking, and the specific process of completing the virtual-real registration of the dynamic state of the object is as follows.
  • the point-to-surface ICP algorithm is used to track the pose of two adjacent frames of models, and the rotation matrix and translation matrix of the current frame of the camera relative to the previous frame of the camera are obtained.
  • the present invention also provides a system for synchronously realizing three-dimensional reconstruction and AR virtual-real registration, comprising:
  • the transformation module is used to jointly bind the AR glasses camera and the depth camera to obtain the coordinate transformation matrix between the two sets of camera coordinate systems.
  • the modeling module is used to perform real-time 3D reconstruction of the scene according to the continuously collected RGB-D data of the scene and output the virtual model of the object stored in the form of point cloud.
  • the first virtual-real registration module is configured to perform visual processing on the virtual model of the object according to the coordinate transformation matrix, so as to complete the virtual-real registration of the object in a static state.
  • the second virtual-real registration module is used to divide the point clouds belonging to different objects into independent classes according to the RGB-D data of the scene, calculate the OBB bounding box of each cluster, and perform the calculation on the point clouds within the bounding box. Process, update the virtual and real registration results, and complete the virtual and real registration of the motion state of the object.
  • the present invention also provides a device for synchronously realizing 3D reconstruction and AR virtual-real registration, which is characterized by comprising a processor and a memory; the memory stores a computer program, and the processor implements the steps of the above method when executing the computer program.
  • the registration of the present invention uses the scanned data of the surface of the object, and the correlation between the virtual and the real is firm.
  • the present invention can also realize the three-dimensional registration between the virtual object and the real object in real time, which greatly improves the registration efficiency.
  • the present invention can register multiple objects in the scene at the same time.
  • the present invention supports dynamic tracking, and the registered pose is updated after the object moves.
  • FIG. 1 is a flow chart of the method in the present invention.
  • a method for simultaneously realizing 3D reconstruction and AR virtual-real registration includes the following processes.
  • M Ai is the extrinsic parameter matrix corresponding to the AR camera in the ith group of calibration calculations
  • M Di is the extrinsic parameter matrix corresponding to the depth camera in the ith group of calibration calculations
  • the point Convert to the coordinates in the AR camera coordinate system is the coordinates of the point P converted to the depth camera coordinate system.
  • Real-time three-dimensional reconstruction is performed on the scene according to the continuously collected RGB-D data of the scene, and a virtual model of the object stored in the form of a point cloud is output.
  • the user needs to wear AR glasses and stand in front of the workbench, and freely change the viewing angle to observe the objects placed on the workbench, so that the depth camera can continuously collect the RGB-D data of the scene, which specifically includes the following sub-steps.
  • this step specifically includes the following sub-steps.
  • S214 Denote the number of interior points as N, if , then let , , The initial value of is 0, The initialization value is .
  • step S215 perform step S213 and step S214 iteratively until the set number of iterations is reached 1 times, then confirm The corresponding flat model , to get the background template.
  • step S3 Visually process the virtual model of the object according to the coordinate transformation matrix, so as to complete the virtual-real registration of the object in a static state.
  • This step is implemented based on the TCP/IP protocol to build a "3D reconstruction client-server-AR client" system architecture.
  • the virtual model of the object generated in step S2 is uploaded to the server in the form of a point cloud, and the server sends it to the AR client for rendering, and finally completes the virtual and real registration of the object in a static state.
  • This step specifically includes the following sub-steps.
  • M is the coordinate transformation matrix.
  • This step is the dynamic registration stage, at which time the 3D reconstruction needs to be stopped, and the information collected by the depth camera is used as the input of the tracking algorithm.
  • This step specifically includes the following sub-steps.
  • S423 Project all the points in the point cloud set to the three direction axes respectively, and determine the boundary information of the OBB bounding box, that is, three dimensions of length, width, and height.
  • S44 Dynamically track the moving object, and update the pose of the OBB bounding box and the virtual-real registration result of the model according to the rotation matrix and translation matrix obtained by the tracking, so as to complete the virtual-real registration of the dynamic state of the object.
  • This step specifically includes the following sub-steps.
  • the depth image collected by the depth camera is retrieved, and the pixel area with the larger depth value is converted into a three-dimensional point cloud (that is, the object from the The original position is removed), and the target bounding box is determined according to the intersection of the 3D point cloud and each OBB bounding box.
  • T is the camera pose of the current frame
  • T' is the camera pose of the previous frame. Therefore, the point cloud collected by the depth camera of the current frame is directly registered with the point cloud of the virtual model, and the rotation matrix R and the translation matrix t of the current frame camera motion relative to the previous frame camera are obtained.
  • the invention also provides a system for synchronously realizing three-dimensional reconstruction and AR virtual-real registration, including a conversion module, a modeling module, a first virtual-real registration module and a second virtual-real registration module.
  • the transformation module is used to jointly bind the AR glasses camera and the depth camera to obtain the coordinate transformation matrix between the two sets of camera coordinate systems.
  • the modeling module is used to perform real-time three-dimensional reconstruction of the scene according to the continuously collected RGB-D data of the scene and output the virtual model of the object stored in the form of point cloud.
  • the first virtual-real registration module is configured to perform visualization processing on the virtual model of the object according to the coordinate transformation matrix, so as to complete the virtual-real registration of the object in a static state.
  • the second virtual-real registration module is used to divide the point clouds belonging to different objects into independent classes according to the RGB-D data of the scene, calculate the OBB bounding box of each cluster, and process the point clouds within the bounding box. , update the virtual and real registration results, and complete the virtual and real registration of the motion state of the object.
  • the present invention also provides a device for synchronously implementing 3D reconstruction and AR virtual-real registration, which is characterized by comprising a processor and a memory; the memory stores a computer program, and the processor implements steps S1 to S4 when executing the computer program.
  • the embodiments of the present application may be provided as a method, a system, or a computer program product. Accordingly, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, the present application may take the form of a computer program product embodied on one or more computer-usable storage media (including, but not limited to, disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • computer-usable storage media including, but not limited to, disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer-readable memory capable of directing a computer or other programmable data processing apparatus to function in a particular manner, such that the instructions stored in the computer-readable memory result in an article of manufacture comprising instruction means, the instructions
  • An apparatus implements the functions specified in a flow or flows of the flowcharts and/or a block or blocks of the block diagrams.
  • These computer program instructions can also be loaded on a computer or other programmable data processing device to cause a series of operational steps to be performed on the computer or other programmable device to produce a computer-implemented process such that The instructions provide steps for implementing the functions specified in one or more of the flowcharts and/or one or more blocks of the block diagrams.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种同步实现三维重建和AR虚实注册的方法、***及装置，方法包括如下过程：对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵；根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型；根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。该方法能够提高注册效率，提高跟踪定位精度，从而有助于提升用户体验。

Description

一种同步实现三维重建和AR虚实注册的方法、***及装置 技术领域
本发明属于三维注册技术领域，具体涉及一种同步实现三维重建和AR虚实注册的方法、***及装置。
 背景技术
虚实注册是增强现实中非常重要的一个环节，旨在确定虚拟空间与现实空间之间坐标标架的映射关系，在沉浸式增强现实环境中，用户处于现实世界中，需要感知用户的观察方位的变化，才能为观察者呈现相应视域的景象，因此往往需要标定观察者头部姿态。
在增强现实环境中，观察者的头部姿态跟踪更为重要。为了获得完美的沉浸感，头盔显示器的跟踪定位高精度、低时延是虚实空间一致性的保障，能使用户感觉到虚拟物体如同嵌入在现实空间一样。
 技术问题
本发明所要解决的技术问题是：提供一种同步实现三维重建和AR虚实注册的方法、***及装置，能够提高注册效率，提高跟踪定位精度，从而有助于提升用户体验。
 技术解决方案
本发明是这样实现的：一种同步实现三维重建和AR虚实注册的方法，包括如下过程。
对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵。
根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型。
根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册。
根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。
进一步地，所述对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵的具体过程为。
针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，AR相机的外参矩阵为：
Figure 334030dest_path_image001
，深度相机的外参矩阵为：
Figure 930096dest_path_image002
。
对于由黑白棋盘格确定的世界坐标系中的任意一点
Figure 922323dest_path_image003
，转换到两组相机坐标系后的坐标如下。
Figure 680064dest_path_image004
，
Figure 390531dest_path_image005
。
其中，M Ai是第i组标定计算中AR相机对应的外参矩阵，M Di是第i组标定计算中深度相机对应的外参矩阵，
Figure 259130dest_path_image006
是点P转换到AR相机坐标系下的坐标，
Figure 105863dest_path_image007
是点P转换到深度相机坐标系下的坐标。
根据点P转换到两组相机坐标系后的坐标计算得到从深度相机坐标系转换到AR相机坐标系的转换矩阵M i，其关系式如下。
Figure 804478dest_path_image008
。
对于12组标定计算所得的转换矩阵
Figure 736662dest_path_image009
，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机坐标系转换至AR相机坐标系的转换矩阵M。
进一步地，所述根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型的具体过程为。
针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板，方程表达式为。
Figure 674531dest_path_image010
。
针对后续帧新生成的点云，计算点到背景模板的距离，小于设定阈值ε的点归为物体点保留，其余点作为背景点剔除，在每个关键帧对属于物体部分的点云进行更新，输出以点云形式存储的物体虚拟模型。
进一步地，所述针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板的具体过程为。
设空间中三个不共线的点，分别记作
Figure 375771dest_path_image011
、
Figure 412997dest_path_image012
、
Figure 957111dest_path_image013
，工作台平面方程的表达式为：
Figure 308458dest_path_image014
，其中，
Figure 254417dest_path_image015
，
Figure 665807dest_path_image016
。
根据
Figure 198682dest_path_image017
、
Figure 353719dest_path_image018
、
Figure 154185dest_path_image019
和工作台平面方程计算拟合的平面参数
Figure 736476dest_path_image020
。
对点云数据集中的每一点
Figure 255182dest_path_image021
，转换为齐次坐标形式
Figure 948332dest_path_image022
，然后计算该点
Figure 603304dest_path_image021
到拟合平面的距离，若距离小于设定的阈值ε则将
Figure 90917dest_path_image021
归为内点，反之则归为外点。
将内点个数记为N，如果
Figure 595455dest_path_image023
，则令
Figure 92295dest_path_image024
，
Figure 539457dest_path_image025
，
Figure 588184dest_path_image026
的初始值为0，
Figure 425690dest_path_image027
的初始化值为
Figure 585276dest_path_image028
。
迭代进行上述两个步骤，直到达到设定的迭代次数I次，此时确认
Figure 355786dest_path_image026
所对应的平面模型
Figure 575415dest_path_image029
，得到背景模板。
进一步地，所述根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册的具体过程为。
对于点云中任意一点
Figure 165796dest_path_image030
，转换到AR相机坐标系后的新坐标为
Figure 630538dest_path_image031
，转换关系为。
Figure 52292dest_path_image032
，其中，M为坐标转换矩阵。
将所有经过坐标转换的点云进行渲染，完成物体在静止状态的虚实注册。
进一步地，所述根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册的具体过程为。
使用欧氏聚类算法对点云进行聚类，根据实际情况设置在使用KD-Tree结构进行近邻点搜索时的搜索半径，并通过设置最小聚类点数排除一些不属于物体的干扰点。
对于每组聚类，计算包围点云的OBB包围盒。
实时采集真实物体进行平移或旋转时的点云信息。
对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册。
进一步地。
所述对于每组聚类，计算包围点云的OBB包围盒的具体过程为。
计算当前聚类对应点云集的质心作为OBB包围盒的中心。
使用PCA主成分分析法计算得到点云集的3条主成分轴，作为OBB包围盒的三条方向轴。
将点云集中所有点分别投影到这三条方向轴上，确定OBB包围盒的边界信息，即长、宽、高三条尺寸。
进一步地。
所述对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册的具体过程为。
检索深度相机所采集的深度图像，将深度值变大的像素区域转换为三维点云，根据三维点云与各OBB包围盒的交集，确定目标包围盒。
使用点到面的ICP算法进行相邻两帧模型的位姿追踪，得到当前帧相机相对于上一帧相机运动的旋转矩阵和平移矩阵。
将所述当前帧相机运动的旋转矩阵和平移矩阵更新至目标包围盒得到位姿以及虚拟模型的位姿。
重复上述两个步骤，完成物体动态状态的虚实注册。
本发明还提供了一种同步实现三维重建和AR虚实注册的***，包括。
转换模块，用于对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵。
建模模块，用于根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型。
第一虚实注册模块，用于根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册。
第二虚实注册模块，用于根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。
本发明还提供了一种同步实现三维重建和AR虚实注册的装置，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序，所述处理器执行计算机程序时实现上述方法的步骤。
 有益效果
本发明带来的有益效果是。
1、本发明注册利用的是物体表面的扫描数据，虚实关联牢固。
2、本发明在运行实时三维重建算法的同时，也可实时实现虚拟物体和真实物体之间的三维注册，大大提升了注册的效率。
3、本发明可以同时对场景中多个物体实现注册。
4、本发明支持动态追踪，物体移动后更新注册位姿。
 附图说明
图1为本发明中的方法流程图。
 具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种同步实现三维重建和AR虚实注册的方法，包括如下过程。
S1、对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵。该步骤在实施时，需要将深度相机固定在AR眼镜上，保证在移动AR眼镜时二者不会有太大的相对位姿改变，其具体包括如下子步骤。
S11、针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，AR相机的外参矩阵为：
Figure 318188dest_path_image033
，深度相机的外参矩阵为：
Figure 254920dest_path_image034
。该步骤在实施时，需要将黑白棋盘格置于场景中，保证能同时被AR眼镜相机与深度相机采集到彩色图像数据。
S12、对于由黑白棋盘格确定的世界坐标系中的任意一点
Figure 631675dest_path_image035
，转换到两组相机坐标系后的坐标如下。
Figure 235831dest_path_image036
（1）。
Figure 672629dest_path_image037
（2）。
上式中，M Ai是第i组标定计算中AR相机对应的外参矩阵，M Di是第i组标定计算中深度相机对应的外参矩阵，
Figure 362236dest_path_image006
是点
Figure 339420dest_path_image038
转换到AR相机坐标系下的坐标，
Figure 673449dest_path_image007
是点P转换到深度相机坐标系下的坐标。
S13、联合式（1）和式（2），可得到从深度相机坐标系转换到AR相机坐标系的转换矩阵M i，其关系式如下。
Figure 921895dest_path_image039
（3）。
S14、对于12组标定计算所得的转换矩阵
Figure 974165dest_path_image009
，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机坐标系转换至AR相机坐标系的转换矩阵M。
S2、根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型。该步骤在实施时，需要用户佩戴AR眼镜站于工作台前，自由变换视角观察工作台上摆放的物体，从而使深度相机能够连续采集场景的RGB-D数据，其具体包括如下子步骤。
S21、针对RGB-D数据的初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板，方程表达式为。
Figure 817356dest_path_image010
（4），该步骤具体包括如下子步骤。
S211、设空间中三个不共线的点，分别记作
Figure 5892dest_path_image011
、
Figure 581229dest_path_image012
、
Figure 245429dest_path_image013
，工作台平面方程的表达式为。
Figure 767677dest_path_image014
（5）。
式（5）中，
Figure 200932dest_path_image040
（6）。
Figure 884855dest_path_image016
（7）。
S212、将
Figure 537815dest_path_image041
、
Figure 394913dest_path_image042
、
Figure 558041dest_path_image019
代入式（5）得到拟合的平面参数
Figure 68657dest_path_image043
。
S213、对点云数据集中的每一点
Figure 317235dest_path_image021
，转换为齐次坐标形式
Figure 40341dest_path_image022
，然后计算该点
Figure 323554dest_path_image021
到拟合平面的距离di，若距离小于设定的阈值ε则将
Figure 411596dest_path_image021
归为内点，反之则归为外点，也即。
Figure 272105dest_path_image044
（8）。
S214、将内点个数记为N，如果
Figure 939847dest_path_image045
，则令
Figure 435157dest_path_image046
，
Figure 897362dest_path_image047
，
Figure 245167dest_path_image026
的初始值为0，
Figure 247758dest_path_image048
的初始化值为
Figure 239984dest_path_image049
。
S215、迭代进行步骤S213和步骤S214，直到达到设定的迭代次数I次，此时确认
Figure 263304dest_path_image050
所对应的平面模型
Figure 973771dest_path_image048
，得到背景模板。
S22、针对RGB-D数据的后续帧新生成的点云，计算点到背景模板的距离，小于设定阈值ε的点归为物体点保留，其余点作为背景点剔除，在每个关键帧对属于物体部分的点云进行更新，输出以点云形式存储的物体虚拟模型。
S3、根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册。该步骤在实施时基于TCP/IP协议搭建“三维重建客户端-服务器-AR客户端”***架构。将步骤S2生成的物体虚拟模型，以点云形式上传给服务器，并由服务器发送给AR客户端进行渲染，最终完成物体静止状态下的虚实注册。该步骤具体包括如下子步骤。
S31、对于点云中任意一点
Figure 842370dest_path_image030
，转换到AR相机坐标系后的新坐标为
Figure 954683dest_path_image031
，转换关系为。
Figure 384789dest_path_image051
（9）。
其中，M为坐标转换矩阵。
S32、将传输的所有点云进行坐标转换后，在AR眼镜显示屏上渲染，完成物体在静止状态的虚实注册。
S4、根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。该步骤为动态注册阶段，此时需要停止三维重建，深度相机采集的信息作为追踪算法的输入。该步骤具体包括如下子步骤。
S41、使用欧氏聚类算法对点云进行聚类，根据实际情况设置在使用KD-Tree结构进行近邻点搜索时的搜索半径，并通过设置最小聚类点数排除一些不属于物体的干扰点。
S42、对于每组聚类，计算包围点云的OBB包围盒，其具体包括如下子步骤。
S421、计算当前聚类对应点云集的质心作为OBB包围盒的中心。
S422、使用PCA主成分分析法计算得到点云集的3条主成分轴，作为OBB包围盒的三条方向轴。
S423、将点云集中所有点分别投影到这三条方向轴上，确定OBB包围盒的边界信息，即长、宽、高三条尺寸。
S43、实时采集真实物体进行平移或旋转时的点云信息，该步骤在实施时需要用户操作真实物体进行平移或旋转，从而使深度相机实时采集点云信息。
S44、对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册。该步骤在实施时，对运动物体进行动态追踪时只处理OBB包围盒范围内的数据，避免如手、其他物体等的干扰。该步骤具体包括如下子步骤。
S441、由于物体的平移、旋转会造成某一区域的深度值突变，因此在初始时刻，检索深度相机所采集的深度图像，将深度值变大的像素区域转换为三维点云（也即物体从原先位置移开），根据三维点云与各OBB包围盒的交集，确定目标包围盒。
S442、使用点到面的ICP算法进行相邻两帧模型的位姿追踪，得到当前帧相机相对于上一帧相机运动的旋转矩阵和平移矩阵。由于深度相机实时扫描的关系，可假设相邻两帧位姿改变极小，即。
Figure 582552dest_path_image052
（10）。
式（10）中，T为当前帧相机位姿，T'为上一帧相机位姿。因此，直接对当前帧深度相机所采集到的点云与虚拟模型点云进行配准，得到当前帧相机相对于上一帧相机运动的旋转矩阵R和平移矩阵t。
S443、将所述当前帧相机运动的旋转矩阵R和平移矩阵t更新至目标包围盒得到位姿以及虚拟模型的位姿。
S444、重复步骤S442和步骤S443，完成物体动态状态的虚实注册。
本发明还提供了一种同步实现三维重建和AR虚实注册的***，包括转换模块、建模模块、第一虚实注册模块和第二虚实注册模块。
转换模块用于对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵。建模模块用于根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型。第一虚实注册模块用于根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册。第二虚实注册模块用于根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。
本发明还提供了一种同步实现三维重建和AR虚实注册的装置，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序，所述处理器执行计算机程序时实现步骤S1至S4。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

  1. 一种同步实现三维重建和AR虚实注册的方法，其特征在于，包括如下过程：
    对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵；
    根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型；
    根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；
    根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。
  2. 根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵的具体过程为：
    针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，AR相机的外参矩阵为：
    Figure 178233dest_path_image001
    ，深度相机的外参矩阵为：
    Figure 452220dest_path_image002
    ；
    对于由黑白棋盘格确定的世界坐标系中的任意一点
    Figure 223736dest_path_image003
    ，转换到两组相机坐标系后的坐标如下：
    Figure 266778dest_path_image004
    ，
    Figure 216279dest_path_image005
    ，
    其中，M Ai是第i组标定计算中AR相机对应的外参矩阵，M Di是第i组标定计算中深度相机对应的外参矩阵，
    Figure 731224dest_path_image006
    是点P转换到AR相机坐标系下的坐标，
    Figure 57163dest_path_image007
    是点P转换到深度相机坐标系下的坐标；
    根据点P转换到两组相机坐标系后的坐标计算得到从深度相机坐标系转换到AR相机坐标系的转换矩阵M i，其关系式如下：
    Figure 220291dest_path_image008
    ；
    对于12组标定计算所得的转换矩阵
    Figure 340694dest_path_image009
    ，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机坐标系转换至AR相机坐标系的转换矩阵M。
  3. 根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型的具体过程为：
    针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板，方程表达式为：
    Figure 120431dest_path_image010
    ；
    针对后续帧新生成的点云，计算点到背景模板的距离，小于设定阈值ε的点归为物体点保留，其余点作为背景点剔除，在每个关键帧对属于物体部分的点云进行更新，输出以点云形式存储的物体虚拟模型。
  4. 根据权利要求3所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述针对初始几帧，通过ElasticFusion算法得到场景三维重建的点云，使用RANSAC随机采样一致性算法估计拟合工作台平面的方程得到背景模板的具体过程为：
    设空间中三个不共线的点，分别记作
    Figure 233750dest_path_image011
    、
    Figure 251384dest_path_image012
    、
    Figure 808267dest_path_image013
    ，工作台平面方程的表达式为：
    Figure 809722dest_path_image014
    ，其中，
    Figure 228196dest_path_image015
    ，
    Figure 100337dest_path_image016
    ；
    根据
    Figure 93701dest_path_image017
    、
    Figure 316871dest_path_image018
    、
    Figure 522725dest_path_image019
    和工作台平面方程计算拟合的平面参数
    Figure 29798dest_path_image020
    ；
    对点云数据集中的每一点
    Figure 928484dest_path_image021
    ，转换为齐次坐标形式
    Figure 638951dest_path_image022
    ，然后计算该点
    Figure 648496dest_path_image021
    到拟合平面的距离，若距离小于设定的阈值ε则将
    Figure 760808dest_path_image021
    归为内点，反之则归为外点；
    将内点个数记为N，如果
    Figure 312619dest_path_image023
    ，则令
    Figure 775961dest_path_image024
    ，
    Figure 323617dest_path_image025
    ，
    Figure 556015dest_path_image026
    的初始值为0，
    Figure 530925dest_path_image027
    的初始化值为
    Figure 730831dest_path_image028
    ；
    迭代进行上述两个步骤，直到达到设定的迭代次数I次，此时确认
    Figure 82178dest_path_image026
    所对应的平面模型
    Figure 169082dest_path_image027
    ，得到背景模板。
  5. 根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册的具体过程为：
    对于点云中任意一点
    Figure 580472dest_path_image029
    ，转换到AR相机坐标系后的新坐标为
    Figure 752827dest_path_image030
    ，转换关系为：
    Figure 393018dest_path_image031
    ，其中，M为坐标转换矩阵；
    将所有经过坐标转换的点云进行渲染，完成物体在静止状态的虚实注册。
  6. 根据权利要求1所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，所述根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册的具体过程为：
    使用欧氏聚类算法对点云进行聚类，根据实际情况设置在使用KD-Tree结构进行近邻点搜索时的搜索半径，并通过设置最小聚类点数排除一些不属于物体的干扰点；
    对于每组聚类，计算包围点云的OBB包围盒；
    实时采集真实物体进行平移或旋转时的点云信息；
    对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册。
  7. 根据权利要求6所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，
    所述对于每组聚类，计算包围点云的OBB包围盒的具体过程为：
    计算当前聚类对应点云集的质心作为OBB包围盒的中心；
    使用PCA主成分分析法计算得到点云集的3条主成分轴，作为OBB包围盒的三条方向轴；
    将点云集中所有点分别投影到这三条方向轴上，确定OBB包围盒的边界信息，即长、宽、高三条尺寸。
  8. 根据权利要求6所述的一种同步实现三维重建和AR虚实注册的方法，其特征在于，
    所述对运动物体进行动态追踪，并根据追踪所得的旋转矩阵和平移矩阵，更新OBB包围盒的位姿以及模型虚实注册结果，完成物体动态状态的虚实注册的具体过程为：
    检索深度相机所采集的深度图像，将深度值变大的像素区域转换为三维点云，根据三维点云与各OBB包围盒的交集，确定目标包围盒；
    使用点到面的ICP算法进行相邻两帧模型的位姿追踪，得到当前帧相机相对于上一帧相机运动的旋转矩阵和平移矩阵；
    将所述当前帧相机运动的旋转矩阵和平移矩阵更新至目标包围盒得到位姿以及虚拟模型的位姿；
    重复上述两个步骤，完成物体动态状态的虚实注册。
  9. 一种同步实现三维重建和AR虚实注册的***，其特征在于，包括：
    转换模块，用于对AR眼镜相机和深度相机进行联合绑定，得到两组相机坐标系之间的坐标转换矩阵；
    建模模块，用于根据连续采集的场景RGB-D数据，对场景进行实时三维重建并输出以点云形式存储的物体虚拟模型；
    第一虚实注册模块，用于根据所述坐标转换矩阵对所述物体虚拟模型进行可视化处理，完成物体静止状态下的虚实注册；
    第二虚实注册模块，用于根据所述场景RGB-D数据，将属于不同物体的点云划分至独立的类中，计算每个聚类的OBB包围盒，对包围盒范围内的点云进行处理，更新虚实注册结果，完成物体运动状态的虚实注册。
  10. 一种同步实现三维重建和AR虚实注册的装置，其特征在于，包括处理器和存储器；所述存储器存储有计算机程序，所述处理器执行计算机程序时实现如权利要求1至8任一所述方法的步骤。
PCT/CN2020/111316 2020-08-26 2020-08-26 一种同步实现三维重建和ar虚实注册的方法、***及装置 WO2022040970A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/111316 WO2022040970A1 (zh) 2020-08-26 2020-08-26 一种同步实现三维重建和ar虚实注册的方法、***及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/111316 WO2022040970A1 (zh) 2020-08-26 2020-08-26 一种同步实现三维重建和ar虚实注册的方法、***及装置

Publications (1)

Publication Number Publication Date
WO2022040970A1 true WO2022040970A1 (zh) 2022-03-03

Family

ID=80352429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111316 WO2022040970A1 (zh) 2020-08-26 2020-08-26 一种同步实现三维重建和ar虚实注册的方法、***及装置

Country Status (1)

Country Link
WO (1) WO2022040970A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372377A (zh) * 2022-03-21 2022-04-19 江西珉轩智能科技有限公司 一种基于3d时空引擎的工程信息模型构建方法
CN114519744A (zh) * 2022-04-20 2022-05-20 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和***
CN114663624A (zh) * 2022-03-14 2022-06-24 东南大学 一种基于增强现实的空间范围感知方法
CN115115847A (zh) * 2022-08-31 2022-09-27 海纳云物联科技有限公司 三维稀疏重建方法、装置及电子装置
CN115423982A (zh) * 2022-09-19 2022-12-02 南京航空航天大学 基于图像和深度的桌面冰壶三维检测方法
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质
CN115984489A (zh) * 2023-03-21 2023-04-18 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备
CN116012564A (zh) * 2023-01-17 2023-04-25 宁波艾腾湃智能科技有限公司 一种三维模型与实景照片智能融合的设备与方法
CN116030228A (zh) * 2023-02-22 2023-04-28 杭州原数科技有限公司 一种基于web的mr虚拟画面展示方法及装置
CN116228854A (zh) * 2022-12-29 2023-06-06 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116233383A (zh) * 2023-05-08 2023-06-06 北京金商祺科技有限公司 一种基于ar技术的智能导游***
CN116452742A (zh) * 2023-04-21 2023-07-18 中国航天员科研训练中心 一种航天操作场景的空间布局解析方法及***
CN116543182A (zh) * 2023-07-04 2023-08-04 浙江华是科技股份有限公司 水位识别方法及***
CN116592776A (zh) * 2023-07-19 2023-08-15 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116718113A (zh) * 2023-06-14 2023-09-08 中国科学院、水利部成都山地灾害与环境研究所 泥石流模拟实验堆积体三维形态实时测量***
CN116993794A (zh) * 2023-08-02 2023-11-03 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117290980A (zh) * 2023-11-27 2023-12-26 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及***
CN117422610A (zh) * 2023-12-19 2024-01-19 上海卫星互联网研究院有限公司 一种三维模型轻量化方法、装置及电子设备
CN117456001A (zh) * 2023-12-21 2024-01-26 广州泽亨实业有限公司 一种基于点云配准的工件姿态检测方法
CN117579804A (zh) * 2023-11-17 2024-02-20 广东筠诚建筑科技有限公司 一种基于ar的装配式建筑构件预布局体验方法及装置
CN117635719A (zh) * 2024-01-26 2024-03-01 浙江托普云农科技股份有限公司 基于多传感器融合的除草机器人定位方法、***及装置
CN117687517A (zh) * 2024-02-02 2024-03-12 北京思路智园科技有限公司 一种用于化工教培的增强现实教学改进方法及***
CN117765048A (zh) * 2024-02-22 2024-03-26 吉林大学 一种基于跨模态融合的水下目标三维配准方法
CN117893695A (zh) * 2024-03-15 2024-04-16 浙江托普云农科技股份有限公司 任意株高三维重建方法、***及装置
CN118172423A (zh) * 2024-05-14 2024-06-11 整数智能信息技术(杭州)有限责任公司 时序点云数据路面元素标注方法及装置、电子设备
CN118279515A (zh) * 2024-06-04 2024-07-02 西北工业大学 一种实时多终端地图融合方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球***构建方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验***的设计方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN109471521A (zh) * 2018-09-05 2019-03-15 华东计算技术研究所（中国电子科技集团公司第三十二研究所） Ar环境下的虚实遮挡交互方法及***
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球***构建方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验***的设计方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN109471521A (zh) * 2018-09-05 2019-03-15 华东计算技术研究所（中国电子科技集团公司第三十二研究所） Ar环境下的虚实遮挡交互方法及***
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING DELIE ,, LIU JIAN, TIAN JIN-WEN: "A Study on the Registration Technology in Augmented Reality", JOURNAL OF IMAGE AND GRAPHICS, ZHONGGUO TUXIANG TUXING XUEHUI, CN, vol. 8(A), no. 5, 31 May 2003 (2003-05-31), CN , pages 557 - 561, XP055902891, ISSN: 1006-8961 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663624A (zh) * 2022-03-14 2022-06-24 东南大学 一种基于增强现实的空间范围感知方法
CN114372377A (zh) * 2022-03-21 2022-04-19 江西珉轩智能科技有限公司 一种基于3d时空引擎的工程信息模型构建方法
CN114519744A (zh) * 2022-04-20 2022-05-20 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和***
CN114519744B (zh) * 2022-04-20 2022-06-21 北京万龙精益科技有限公司 用于穿戴器具姿态确定的方法、装置和***
CN115115847B (zh) * 2022-08-31 2022-12-16 海纳云物联科技有限公司 三维稀疏重建方法、装置及电子装置
CN115115847A (zh) * 2022-08-31 2022-09-27 海纳云物联科技有限公司 三维稀疏重建方法、装置及电子装置
CN115423982B (zh) * 2022-09-19 2023-11-17 南京航空航天大学 基于图像和深度的桌面冰壶三维检测方法
CN115423982A (zh) * 2022-09-19 2022-12-02 南京航空航天大学 基于图像和深度的桌面冰壶三维检测方法
CN115423835A (zh) * 2022-11-02 2022-12-02 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质
CN116228854A (zh) * 2022-12-29 2023-06-06 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116012564A (zh) * 2023-01-17 2023-04-25 宁波艾腾湃智能科技有限公司 一种三维模型与实景照片智能融合的设备与方法
CN116012564B (zh) * 2023-01-17 2023-10-20 宁波艾腾湃智能科技有限公司 一种三维模型与实景照片智能融合的设备与方法
CN116030228A (zh) * 2023-02-22 2023-04-28 杭州原数科技有限公司 一种基于web的mr虚拟画面展示方法及装置
CN115984489A (zh) * 2023-03-21 2023-04-18 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备
CN115984489B (zh) * 2023-03-21 2023-09-19 广东数字生态科技有限责任公司 一种输电线路的三维重建方法、装置及处理设备
CN116452742B (zh) * 2023-04-21 2023-11-03 中国航天员科研训练中心 一种航天操作场景的空间布局解析方法及***
CN116452742A (zh) * 2023-04-21 2023-07-18 中国航天员科研训练中心 一种航天操作场景的空间布局解析方法及***
CN116233383B (zh) * 2023-05-08 2023-07-25 北京金商祺科技有限公司 一种基于ar技术的智能导游***
CN116233383A (zh) * 2023-05-08 2023-06-06 北京金商祺科技有限公司 一种基于ar技术的智能导游***
CN116718113A (zh) * 2023-06-14 2023-09-08 中国科学院、水利部成都山地灾害与环境研究所 泥石流模拟实验堆积体三维形态实时测量***
CN116543182B (zh) * 2023-07-04 2023-08-25 浙江华是科技股份有限公司 水位识别方法及***
CN116543182A (zh) * 2023-07-04 2023-08-04 浙江华是科技股份有限公司 水位识别方法及***
CN116592776A (zh) * 2023-07-19 2023-08-15 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116592776B (zh) * 2023-07-19 2023-12-01 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116993794A (zh) * 2023-08-02 2023-11-03 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置
CN116993794B (zh) * 2023-08-02 2024-05-24 德智鸿(上海)机器人有限责任公司 一种增强现实手术辅助导航的虚实配准方法和装置
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117252992B (zh) * 2023-11-13 2024-02-23 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117579804A (zh) * 2023-11-17 2024-02-20 广东筠诚建筑科技有限公司 一种基于ar的装配式建筑构件预布局体验方法及装置
CN117579804B (zh) * 2023-11-17 2024-05-14 广东筠诚建筑科技有限公司 一种基于ar的装配式建筑构件预布局体验方法及装置
CN117290980B (zh) * 2023-11-27 2024-02-02 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及***
CN117290980A (zh) * 2023-11-27 2023-12-26 江西格如灵科技股份有限公司 一种基于Unity平台的机械臂仿真方法及***
CN117422610A (zh) * 2023-12-19 2024-01-19 上海卫星互联网研究院有限公司 一种三维模型轻量化方法、装置及电子设备
CN117422610B (zh) * 2023-12-19 2024-03-22 上海卫星互联网研究院有限公司 一种三维模型轻量化方法、装置及电子设备
CN117456001A (zh) * 2023-12-21 2024-01-26 广州泽亨实业有限公司 一种基于点云配准的工件姿态检测方法
CN117456001B (zh) * 2023-12-21 2024-04-09 广州泽亨实业有限公司 一种基于点云配准的工件姿态检测方法
CN117635719A (zh) * 2024-01-26 2024-03-01 浙江托普云农科技股份有限公司 基于多传感器融合的除草机器人定位方法、***及装置
CN117635719B (zh) * 2024-01-26 2024-04-16 浙江托普云农科技股份有限公司 基于多传感器融合的除草机器人定位方法、***及装置
CN117687517A (zh) * 2024-02-02 2024-03-12 北京思路智园科技有限公司 一种用于化工教培的增强现实教学改进方法及***
CN117765048B (zh) * 2024-02-22 2024-06-11 吉林大学 一种基于跨模态融合的水下目标三维配准方法
CN117765048A (zh) * 2024-02-22 2024-03-26 吉林大学 一种基于跨模态融合的水下目标三维配准方法
CN117893695A (zh) * 2024-03-15 2024-04-16 浙江托普云农科技股份有限公司 任意株高三维重建方法、***及装置
CN117893695B (zh) * 2024-03-15 2024-06-04 浙江托普云农科技股份有限公司 任意株高三维重建方法、***及装置
CN118172423A (zh) * 2024-05-14 2024-06-11 整数智能信息技术(杭州)有限责任公司 时序点云数据路面元素标注方法及装置、电子设备
CN118279515A (zh) * 2024-06-04 2024-07-02 西北工业大学 一种实时多终端地图融合方法及装置

Similar Documents

Publication Publication Date Title
WO2022040970A1 (zh) 一种同步实现三维重建和ar虚实注册的方法、***及装置
CN109461180B (zh) 一种基于深度学习的三维场景重建方法
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
US11875583B2 (en) Dataset generation method for self-supervised learning scene point cloud completion based on panoramas
CN112070884A (zh) 一种同步实现三维重建和ar虚实注册的方法、***及装置
TW202145146A (zh) 圖像配準方法及其相關的模型訓練方法、設備和電腦可讀儲存媒體
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
CN109613974B (zh) 一种大场景下的ar家居体验方法
CN112734890A (zh) 基于三维重建的人脸替换方法及装置
Placitelli et al. Low-cost augmented reality systems via 3D point cloud sensors
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
CN113077519A (zh) 一种基于人体骨架提取的多相机外参自动标定方法
WO2022040954A1 (zh) 一种通过手势控制的ar空间可视三维重建方法
Tian et al. Occlusion handling using moving volume and ray casting techniques for augmented reality systems
CN110706332B (zh) 一种基于噪声点云的场景重建方法
Fischer et al. A hybrid tracking method for surgical augmented reality
CN114863061A (zh) 一种远程监护医学图像处理的三维重建方法及***
Hou et al. Octree-based approach for real-time 3d indoor mapping using rgb-d video data
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、***及存储介质
WO2023151271A1 (zh) 模型展示方法、装置、电子设备及存储介质
Bapat et al. Rolling shutter and radial distortion are features for high frame rate multi-camera tracking
CN113379842B (zh) 一种基于rgbd相机的弱纹理及动态场景视觉slam定位方法
TWI756956B (zh) 用於環景影像的影像處理方法及裝置
KR102375135B1 (ko) 구형 물체를 이용한 다시점 카메라 위치 보정 장치 및 방법
CN111915740A (zh) 一种快速的三维图像获取方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20950643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20950643

Country of ref document: EP

Kind code of ref document: A1