CN113034676B - 三维点云图的生成方法、装置、计算机设备和存储介质 - Google Patents

三维点云图的生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113034676B
CN113034676B CN202110335330.6A CN202110335330A CN113034676B CN 113034676 B CN113034676 B CN 113034676B CN 202110335330 A CN202110335330 A CN 202110335330A CN 113034676 B CN113034676 B CN 113034676B
Authority
CN
China
Prior art keywords
dimensional
coordinate system
color
moment
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110335330.6A
Other languages
English (en)
Other versions
CN113034676A (zh
Inventor
张翼成
张艳晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Shanghai Co Ltd
Original Assignee
Black Sesame Intelligent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Shanghai Co Ltd filed Critical Black Sesame Intelligent Technology Shanghai Co Ltd
Priority to CN202110335330.6A priority Critical patent/CN113034676B/zh
Publication of CN113034676A publication Critical patent/CN113034676A/zh
Priority to US17/703,541 priority patent/US20220309746A1/en
Application granted granted Critical
Publication of CN113034676B publication Critical patent/CN113034676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种三维点云图的生成方法、装置、计算机设备和存储介质。方法包括：检测三维对象在红外相机坐标系下的形状三维坐标，在三维对象与包括多个标记点的标记点集形成第一刚体下，检测同时刻标记点集在标记点测量坐标系下的标记点三维坐标；根据预存的标记点三维坐标与色彩三维坐标之间的第一转换关系参数以及标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，基于标记点测量坐标系下的标记点三维坐标得到红外相机坐标系下的色彩三维坐标；结合三维对象在红外相机坐标系下的形状三维坐标和色彩三维坐标，生成三维对象在红外相机坐标系下的三维点云图。本方法能够解决实时追踪过程中三维对象被遮挡导致三维点云图不完整的问题。

Description

三维点云图的生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及三维重建技术领域，特别是涉及一种三维点云图的生成方法、装置、计算机设备和存储介质。
背景技术
三维重建技术可以通过特定的设备获取场景中的三维对象的信息，并对这些信息进行分析处理，以确定该三维对象的三维信息。
例如，可以通过特殊设备(例如景深RGBD摄像头，激光扫描仪)对人脸等三维对象的信息进行采集以生成该三维对象的三维点云图。RGBD摄像头采集并生成三维点云图的方法通常包括两种，一种是基于双目立体视觉，通过计算左右相机对于三维对象的视差以及左右相机的标定参数，从而对该三维对象进行三维重建，以生成该三维对象的三维点云图；另一种是基于结构光立体视觉技术，对被重建三维对象投射经过编码的结构光，再对相机捕捉到的三维对象表面光信息进行解码，再根据相机与结构光发生设备之间的标定参数，从而也可以获取对应的视差，进而对该三维对象应用重建算法，以生成该三维对象的三维点云图。而激光扫描仪则主要通过计算发射激光到三维对象和接收从三维对象反射的激光之间的时间差，来获取对应点的距离，从而能够获取整个三维对象的三维重建点的三维坐标，进而生成对应的三维点云图。
上述三维对象的三维点云图的生成方法，由于上述特殊设备仅能在面向该设备的给定角度距离范围内采集到三维对象的完整高质量的信息，当三维对象由于运动或其他物体而被遮挡或超出该设备的给定角度距离范围时，该设备将无法采集完整和高质量的信息，从而无法生成完整和高质量的三维点云图，因此为了确保三维对象在运动过程中能够生成完整的三维点云图，三维对象的运动需要被限制在给定角度距离范围，导致实时追踪生成三维点云图过程中三维对象的运动灵活性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够在三维对象在运动过程中被遮挡情况下仍能对三维对象的三维点云图进行实时追踪重建，以提升实时追踪生成三维点云图过程中三维对象的运动灵活性的三维点云图的生成方法、装置、计算机设备和存储介质。
在一方面，提供一种三维点云图的生成方法，包括：
利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点；根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标；根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标；结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
另一方面，提供一种三维点云图的生成装置，包括：
数据检测模块，用于利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点；
第一坐标转换模块，用于根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标；
第二坐标转换模块，用于根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标；
三维点云图生成模块，用于结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
另一方面，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上任一实施例三维点云图的生成方法的步骤。
另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例的三维点云图的生成方法的步骤。
上述三维点云图的生成方法、装置、计算机设备和存储介质中，在对三维对象进行追踪过程中，无需获取三维对象的二维色彩图像，而红外相机和标记点对三维坐标的检测均不会因为移动或其他物体而被遮挡，因此即使三维对象被遮挡也能够重建三维对象完整的三维点云图，而且无需受限于色彩相机的采集视角距离范围限制。从而降低了在三维点云图追踪重建过程中对三维对象的运动范围限制，有效提升了对运动三维对象的检测和三维重建的灵活性。
附图说明
图1为一个实施例中三维点云图的生成方法的应用环境图；
图2为一个实施例中三维点云图的生成方法的流程示意图；
图3为一个实施例中标定第一转换关系参数的步骤的流程示意图；
图4为一个实施例中标定第三转换关系参数的步骤的流程示意图；
图5为一个实施例中标定第二转换关系参数的步骤的流程示意图；
图6为一个实施例中三维点云图的生成装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一种三维点云图的生成方法中，RGBD相机可以通过其内置的色彩相机(RGB相机)和红外相机(IR相机)在同一时刻分别对目标三维对象进行感测，以获取同一时刻的表征该三维对象的色彩特征的二维色彩图像和表征该三维对象的形状特征的形状三维坐标，然后根据给定的映射关系算法，将该二维色彩图像对应映射到该形状三维坐标上，以生成能够同时表征该三维对象的色彩和形状特征的三维点云图。
然而，在利用上述方法来对动态的三维对象的三维点云图进行实时追踪和重建过程中，由于色彩相机仅能采集面对该相机的给定视角距离范围内的二维色彩图像，当三维对象由于运动或其他物体而被遮挡或超出色彩相机的视角距离范围时，色彩相机将无法采集到具有该三维对象的完整色彩特征的二维色彩图像，以三维对象为人脸为例，当人脸侧对或背对色彩相机时，色彩相机将无法采集到完整的人脸二维色彩图像，从而导致不能生成完整的三维点云图。
因此，本申请提供一种三维点云图的生成方法，以解决上述问题，从而降低在三维点云图追踪重建过程中对三维对象的运动范围限制，有效提升对运动三维对象的检测和三维重建的灵活性。
本申请提供的三维点云图的生成方法，可以应用于如图1所示的三维点云图的生成***100中。该三维点云图的生成***100包括色彩相机110、动态捕捉***120、红外相机130和计算机设备140，计算机设备140分别与色彩相机110、动态捕捉***120和红外相机130通信连接。
色彩相机110可以是能够采集三维对象200反射可见光所形成的表征被测三维对象200的色彩特征的二维色彩图像，并通过内置算法基于该二维色彩图像以及其固有的三维转换关系参数计算得到三维对象200在该色彩相机坐标系(R坐标系)下的色彩三维坐标的设备，其中色彩相机坐标系是以色彩相机为基准的坐标系，在色彩相机坐标系中色彩相机的三维坐标为恒定值。然后色彩相机110可以将该色彩三维坐标传输给计算机设备140，示例地，色彩相机110可以通过RGBD相机的内置色彩相机来实现，RGBD相机可通过其内置色彩相机采集三维对象200的二维色彩图像，并将其转换成该内置色彩相机坐标系下的色彩三维坐标。替代地，色彩相机110也可以通过RGB相机来实现。在替代实施例中，色彩相机110也可以采集三维对象200的二维色彩图像，然后将其采集的二维色彩图像传输至计算机设备140，并由计算机设备140基于该二维色彩图像和该色彩相机110固有的三维转换关系参数来计算确定三维对象200在该色彩相机坐标系下的色彩三维坐标。
动态捕捉***120包括由多个标记点(marker)1211构成的标记点集121以及标记点测量设备122，该标记点测量设备122能够实时感测标记点集121中的每个标记点1211的位置，即感测每个标记点1211在该标记点测量坐标系(M坐标系)下的标记点三维坐标，其中标记点测量坐标系是以标记点测量设备为基准的坐标系，在标记点测量坐标系中标记点测量设备的三维坐标为恒定值。然后标记点测量设备122可以将各个标记点1211的标记点三维坐标传输给计算机设备140。在本申请实施例中，标记点测量设备122不是通过检测标记点1211反射可见光来感测标记点1211的位置，而是通过不依赖可见光反射的手段来感测标记点1211的位置，从而不会因为可见光视野被遮挡而无法感测的标记点1211的位置。示例地，标记点测量设备122可以包括IR相机，例如标记点测量设备122也可以利用RGBD相机来实现，而标记点1211能够反射/发射红外线，标记点测量设备122通过其具有的IR相机检测标记点1211反射/发射的红外线来计算视差图以确定标记点1211的位置坐标；又例如，标记点集121中的每个标记点1211也可以是位置传感器，该位置传感器感测自身位置并发送至标记点测量设备122等等。
红外相机130是能够采集三维对象200反射/发射红外光，并通过视差图计算确定表征被测三维对象200的形状特征的在该红外相机坐标系(I坐标系)下的形状三维坐标的设备，其中红外相机坐标系是以红外相机为基准的坐标系，在红外相机坐标系中红外相机的三维坐标为恒定值。然后红外相机130可以将形状三维坐标传输给计算机设备140。
计算机设备140可以是具有实现本申请三维点云图的生成方法所需计算功能的任意设备。本申请的三维点云图的生成方法可以分为预标定阶段和实际运行阶段。在需要对三维对象200进行追踪和三维重建时，在预标定阶段，计算机设备140可以使用色彩相机110、动态捕捉***120和红外相机130，来预先标定并存储好标记点集121的标记点三维坐标与该三维对象200的色彩三维坐标之间的第一转换关系参数，以及标记点测量坐标系与红外相机坐标系之间的第二转换关系参数。而在预标定阶段完成后，在实际运行阶段，色彩相机110可以关闭，计算机设备140可以使用动态捕捉***120和红外相机130，来采集坐标点集和三维对象200的信息，并结合预存好的第一转换关系参数和第二转换关系参数，生成三维对象200的三维点云图。
本申请实施例提供一种三维点云图的生成方法，该三维点云图的生成方法可以应用于图1中的三维点云图的生成***中，并由图1中的计算机设备来执行。该三维点云图的生成方法可以包括预标定阶段和实际运行阶段。
在一个实施例中，如图2所示，在实际运行阶段，本申请的三维点云图的生成方法包括以下步骤S210-S240：
步骤S210，利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点。
在本步骤中，计算机设备控制红外相机和标记点测量设备检测同一第一时刻的形状三维坐标和标记点三维坐标，从而确保该形状三维坐标和标记点三维坐标是对应的。
在一个实施例中，第一刚体由第一子刚体和三维对象构成，第一子刚体由标记点集包括的多个标记点在三维对象的预定位置处呈非共线排布构成。标记点集所具有的标记点的数量可以根据实际需要设定，优选地，标记点的数量大于或等于4个。
其中，在本申请各个实施例中，三维对象为被监测的目标对象，三维对象例如可以是人脸、凝视(gaze)或者其他需要被监测的目标对象。刚体是指的其内部构成部件彼此之间的相对位置固定不变的物体。以第一刚体为例，第一刚体内的第一子刚体和三维对象之间的相对位置固定不变，并且第一子刚体内的多个标记点之间的相对位置也固定不变。形状三维坐标包括给定三维空间坐标系下三维对象的表面以预定密度分布的点构成的点云中各个点对应的三维坐标值。标记点三维坐标包括给定三维空间坐标系下各个标记点的三维坐标值。
以三维对象为人脸为例，在本步骤中，标记点集的N个标记点可以非共线地固定在刚性支架上以构成作为第一子刚体的头戴式标记点支架，用户佩戴有该头戴式标记点支架从而使得该用户的人脸与该头戴式标记点支架构成该第一刚体。在计算机设备的控制下，红外相机检测得到三维对象在红外相机坐标系下(I坐标系)的形状三维坐标并传输至计算机设备，同时标记点测量设备检测标记点集中N个标记点在标记点测量坐标系(M坐标系)下的标记点三维坐标并传输至计算机设备。其中，计算机设备可以通过动态捕捉***提供的API获取N个标记点在标记点测量坐标系下的标记点三维坐标。
步骤S220，根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
其中，在本申请各个实施例中，色彩三维坐标是指利用色彩相机采集到的三维对象的二维色彩图像在给定三维空间坐标系下对应的三维坐标，色彩三维坐标例如包括在给定三维空间坐标系下二维色彩图像中各个像素点的像素值(例如RGB值)以及各个像素点对应的三维坐标值。
在本步骤S220之前，计算机设备预先标定并存储有标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数。
在一个实施例中，步骤S220中第一转换关系参数包括标记点集所包括的N个标记点的标记点三维坐标与三维对象的二维色彩图像中给定位置的N个像素点的三维坐标之间的第一转换关系矩阵，以及二维色彩图像中各个像素点的像素值；步骤S220包括：
步骤S221，根据预存的标记点集所包括的N个标记点的标记点三维坐标与三维对象的二维色彩图像中给定位置的N个像素点的三维坐标之间的第一转换关系矩阵，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象的二维色彩图像中给定位置的N个像素点在标记点测量坐标系下的三维坐标。
其中，二维色彩图像中给定位置的N个像素点，是指二维色彩图像中固定的N个位置处的N个像素点。在第一刚体中，该N个像素点与N标记点一一对应以形成刚体。
计算机设备中预存有第一转换关系矩阵[KLM,TLM]，从而在本步骤中，在已知第一转换关系矩阵[KLM,TLM]的情况下，可以根据下式(1)，基于得到的在第一时刻时标记点集包括的N个标记点在标记点测量坐标系下的标记点三维坐标XM,1～N转换得到相应的在第一时刻时N个像素点在标记点测量坐标系下的三维坐标XL,1～N：
XM,1～N＝XL,1～N*KLM+TLM (1)
其中，XM,1～N＝[xM,1 T,…,xM,i T,…,xM,N T]，XL,1～N＝[xL,1 T,…,xL,i T,…,xL,N T]。
上式(1)中，XM,1～N代表在第一时刻时N个标记点在标记点测量坐标系下的总坐标矩阵，XL,1～N代表在第一时刻时N个像素点在标记点测量坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第一时刻时N个标记点中第i个标记点在标记点测量坐标系下的三维坐标，xL,i＝(xLi,yLi,zLi)代表在第一时刻时N个像素点中第i个像素点在标记点测量坐标系下的三维坐标,上标T表示转置。
步骤S222,根据在第一时刻时三维对象的二维色彩图像中给定位置的N个像素点在标记点测量坐标系下的三维坐标，以及预存的二维色彩图像中各个像素点的像素值，得到在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
在本步骤中，在确定了在第一时刻时二维色彩图像中给定位置的N个像素点在标记点测量坐标系下的三维坐标XL,1～N，结合预存的二维色彩图像中各个像素点的像素值，以及预存的各个像素点的相对位置关系，即可确定在第一时刻时三维对象中所有P个像素点在在标记点测量坐标系下在标记点测量坐标系下的三维坐标。进而结合在第一时刻时P个像素点在在标记点测量坐标系下在标记点测量坐标系下的三维坐标以及P个像素点的像素值，即可确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
以N取4为例，该N个像素点例如可以是固定处于矩形二维色彩图像的四个顶角处的4个像素点，该4个像素点与标记点集的4个标记点一一对应形成刚体，从而每个像素点与对应的一个标记点相对位置不变，在测得4个标记点在标记点测量坐标系的三维坐标值时，可以根据上式，[KLM,TLM]中包含有4个像素点与对应的标记点集的4个标记点之间的4个转换矩阵的信息，从而利用[KLM,TLM]对这4个标记点在标记点测量坐标系的三维坐标分别执行转换以确定4个像素点在标记点测量坐标系下的三维坐标。而由于预存有二维色彩图像，即已预存该二维色彩图像中所有P个像素点的相对位置关系和各个像素点的像素值，在确定了二维色彩图像四个顶角处的4个像素点在标记点测量坐标系下的三维坐标的情况下，进而可以确定二维色彩图像中各个像素点的像素值(例如RGB值)以及各个像素点在标记点测量坐标系下的三维坐标，从而确定了三维对象在标记点测量坐标系下的色彩三维坐标。
在另一个实施例中，步骤S220中第一转换关系参数包括三维对象在第一刚体坐标系下的色彩三维坐标以及标记点集在第一刚体坐标系下的标记点三维坐标；步骤S220包括：
步骤S223，根据预存的标记点集在第一刚体坐标系下的标记点三维坐标，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，标定在第一时刻时第一刚体坐标系与标记点测量坐标系之间的第四转换关系矩阵。
示例地，预存的标记点集所包括的N个标记点在第一刚体坐标系下的标记点三维坐标XMo1,1～N与在第一时刻时标记点集所包括的N个标记点在标记点测量坐标系下的标记点三维坐标XM,1～N满足如下转换关系：
XM,1～N＝XMo1,1～N*KMo1M+TMo1M (2)
其中，XM,1～N＝[xM,1 T,…,xM,i T,…,xM,N T]，XMo1,1～N＝[xMo1,1 T,…,xMo1,i T,…,xMo1,N T]。
上式(2)中，XM,1～N代表在第一时刻时N个标记点在标记点测量坐标系下的总坐标矩阵，XMo1,1～N表示N个标记点在第一刚体坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第一时刻时N个标记点中第i个标记点在标记点测量坐标系下的三维坐标；xMo1,i＝(xMo1i,yMo1i,zMo1i)代表N个标记点中第i个标记点在第一刚体坐标系下的三维坐标。
求解上式(2)即可得到在第一时刻时的第四转换关系矩阵[KMo1M,TMo1M]。
步骤S224，利用第四转换关系矩阵，对三维对象在第一刚体坐标系下的色彩三维坐标执行转换，以得到在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
其中，第一刚体坐标系是以第一刚体为基准的坐标系，在第一刚体坐标系下第一刚体中各个部件的三维坐标为恒定值。
在本步骤中，在已知在第一时刻时第四转换关系矩阵[KMo1M,TMo1M]的情况下，可以根据下式(3)，基于三维对象在第一刚体坐标系下的色彩三维坐标中P个像素点的三维坐标XMo1,1～P转换得到在第一时刻时三维对象在标记点测量坐标系下的P个像素点在标记点测量坐标系下的三维坐标XM,1～P：
XM,1～P＝XMo1,1～P*KMo1M+TMo1M (3)
其中，XM,1～P＝[xM,1 T,…,xM,i T,…,xM,P T]，XMo1,1～P＝[xMo1,1 T,…,xMo1,i T,…,xMo1,P T]。
上式(3)中，XM,1～P代表在第一时刻时P个像素点在标记点测量坐标系下的总坐标矩阵，XMo1,1～P表示P个像素点在第一刚体坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第一时刻时P个像素点中第i个像素点在标记点测量坐标系下的三维坐标；xMo1,i＝(xMo1i,yMo1i,zMo1i)代表P个像素点中第i个像素点在第一刚体坐标系下的三维坐标。
结合在第一时刻时三维对象在标记点测量坐标系下的P个像素点在标记点测量坐标系下的三维坐标XM,1～P，以及三维对象的二维色彩图像中P个像素点的像素值，即可确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
步骤S230，根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标。
在本步骤S230之前，计算机设备预先标定并存储有标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，第二转换关系参数可以是标记点测量坐标系与红外相机坐标系之间的第二转换关系矩阵。
示例地，在本步骤中，在已知第二转换关系矩阵[KMI,TMI]的情况下，可以根据下式(4)，基于得到的在第一时刻时二维色彩图像的P个像素点在标记点测量坐标系下的三维坐标XM,1～P转换得到相应的在第一时刻时二维色彩图像的P个像素点在红外相机坐标系下的三维坐标XI,1～P：
XI,1～P＝XM,1～P*KMI+TMI (4)
其中，XI,1～P＝[xI,1 T,…,xI,i T,…,xI,P T],XM,1～P＝[xM,1 T,…,xM,i T,…,xM,P T]。
上式(4)中，XI,1～P表示在第一时刻时P个像素点在红外相机坐标系下的总坐标矩阵，XM,1～P代表在第一时刻P个像素点在标记点测量坐标系下的总坐标矩阵，P为色彩三维坐标对应的二维色彩图像的像素点的总数，xI,i＝(xIi,yIi,zIi)代表在第一时刻时P个像素点中第i个像素点在红外相机坐标系下的三维坐标，xM,i＝(xMi,yMi,zMi)代表在第一时刻时P个像素点中第i个像素点在标记点测量坐标系下的三维坐标；
然后结合在第一时刻时二维色彩图像的P个像素点在红外相机坐标系下的三维坐标XI,1～P以及P个像素点的像素值，即可确定在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标。
步骤S240，结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
在本步骤中，计算机设备可以根据预定的映射关系算法，将在第一时刻时色彩三维坐标所对应的二维色彩图像中的各个像素值对应映射到在第一时刻时该形状三维坐标对应的三维对象的表面以预定密度分布的点构成的点云中的各个点上，以生成能够同时表征在第一时刻时该三维对象的色彩和形状特征的三维点云图。
上述三维点云图的生成方法中，计算机设备中预先标定好并预存有标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及标记点测量坐标系与红外相机坐标系之间的第二转换关系参数。在对三维对象进行实时追踪过程中，仅需要利用红外相机检测得到三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测同时刻标记点集在标记点测量坐标系下的标记点三维坐标。再利用预存的第一转换关系参数和第二转换关系参数，基于标记点集在标记点测量坐标系下的标记点三维坐标转换得到三维对象在红外相机坐标系下的色彩三维坐标。从而能够结合三维对象在红外相机坐标系下的形状三维坐标以及三维对象在红外相机坐标系下的色彩三维坐标，生成三维对象在红外相机坐标系下的三维点云图。
本申请的上述三维点云图的生成方法中，在对三维对象进行追踪过程中，无需获取三维对象的二维色彩图像，而红外相机和标记点对三维坐标的检测均不会因为移动或其他物体而被遮挡，因此即使三维对象被遮挡也能够重建三维对象完整的三维点云图，而且无需受限于色彩相机的采集视角距离范围限制。从而降低了在三维点云图追踪重建过程中对三维对象的运动范围限制，有效提升了对运动三维对象的检测和三维重建的灵活性。
在实际运行阶段，可以以任意指定的定时(例如，每隔给定的时间步长执行一次，示例地例如每秒或每分钟执行一次等)，执行上述采集重建阶段的步骤S210-S240，从而实现实时对给定三维对象的三维点云图的重建和更新，以对三维对象的三维点云图进行动态追踪。
在一个实施例中，在预标定阶段，本申请的三维点云图的生成方法还包括标定第一转换关系参数的步骤，如图3所示，标定第一转换关系参数的步骤包括以下步骤S310-S350：
S310，标定色彩相机的色彩相机坐标系与标记点测量坐标系之间的第三转换关系参数。
其中，第三转换关系参数可以是色彩相机坐标系与标记点测量坐标系之间的第三转换关系矩阵[KRM,TRM]。
S320，利用色彩相机采集在第二时刻时三维对象的二维色彩图像，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第二时刻时标记点集在标记点测量坐标系下的标记点三维坐标。
其中，本步骤中的第一刚体与前述步骤S210中的第一刚体相同，也即，本步骤中的第一刚体中包含的部件以及各个部件之间的相对位置关系与前述步骤S210中的第一刚体中包含的部件以及各个部件的之间的相对位置关系相同。
在本步骤中，计算机设备控制色彩相机检测得到在第二时刻时三维对象的二维色彩图像，该二维色彩图像包括以固定相对位置排列的P个像素点的像素值(例如RGB值)；同时计算机控制标记点测量设备检测在第二时刻时标记点集在标记点测量坐标系下的标记点三维坐标，该标记点三维坐标包括在标记点测量坐标系下N个标记点对应的N个三维坐标值。
示例地，色彩相机可以利用RGBD相机来实现，RGBD相机可以包括IR相机和RGB相机，IR相机通过视差图计算可以获取被测三维对象表面点云的三维坐标，该三维坐标一般是基于IR相机的基准坐标系；RGB相机是用于检测三维对象的RGB颜色特征的相机；如果要获取基于RGB相机的三维坐标系，需要利用RGBD内置的转换关系参数，通过坐标转换将IR相机的基准坐标系转换到RGB相机坐标系。该转换关系参数为RGBD的固有参数，RGBD相机开模制作完成，该转换关系参数即固定；这个固定参数一般可以通过RGBD相机自带的API获取。
计算机设备可以控制RGBD相机内置的色彩相机采集得到原始RGB图像，原始RGB图像可以直接作为二维色彩图像，或者，也可以借助特征点(landmark)检测算法，基于原始图像提取给定密度的特征像素点以形成二维色彩图像，该给定密度的特征像素点的密度可以与形状三维坐标中三维对象的表面以预定密度分布的点构成的点云的密度相同。二维色彩图像可以包括P个像素点和表征P个像素点之间的固定相对位置的P个像素点对应的二维坐标。
示例地，标记点集中的每个标记点能够反射/发射红外线，标记点测量设备通过其具有的IR相机检测标记点反射/发射的红外线来计算视差图以确定标记点的位置坐标，标记点测量设备例如也可以利用RGBD相机来实现。
S330，基于在第二时刻时三维对象的二维色彩图像，确定在第二时刻时三维对象在色彩相机坐标系下的色彩三维坐标。
在此步骤中，色彩相机，例如可以利用RGBD相机来实现，可以通过内置算法基于该二维色彩图像以及色彩相机固有的三维转换关系参数计算得到三维对象在该色彩相机坐标系下的色彩三维坐标。
S340，根据第三转换关系参数，对在第二时刻时三维对象在色彩相机坐标系下的色彩三维坐标执行转换，以得到在第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
计算机设备中预存有第三转换关系矩阵[KRM,TRM]，从而在本步骤中，在已知第三转换关系矩阵[KRM,TRM]的情况下，可以根据下式(5)，基于得到的在第二时刻时二维色彩图像的P个像素点在色彩相机坐标系下的三维坐标XR,1～P转换得到相应的在第二时刻时二维色彩图像的P个像素点在标记点测量坐标系下的三维坐标XM,1～P：
XM,1～P＝XR,1～P*KRM+TRM (5)
其中，XM,1～P＝[xM,1 T,…,xM,i T,…,xM,P T]，XR,1～P＝[xR,1 T,…,xR,i T,…,xR,P T]。
上式(5)中，XM,1～P代表在第二时刻时P个像素点在标记点测量坐标系下的总坐标矩阵，XR,1～P代表在第二时刻时P个像素点在色彩相机坐标系下的总坐标矩阵，P为色彩三维坐标对应的二维色彩图像的像素点的总数，xM,i＝(xMi,yMi,zMi)代表在第二时刻时P个像素点中第i个像素点在标记点测量坐标系下的三维坐标，xR,i＝(xRi,yRi,zRi)代表在第二时刻时P个像素点中第i个像素点在色彩相机坐标系下的三维坐标；
结合在第二时刻时二维色彩图像的P个像素点在标记点测量坐标系下的三维坐标XM,1～P以及P个像素点的像素值，即可确定在第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标。
S350，基于在第二时刻时标记点集在标记点测量坐标系下的标记点三维坐标以及在第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标，标定标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数。
在一个实施例中，标记点集具有N个标记点，步骤S350中第一转换关系参数包括标记点集所包括的N个标记点的标记点三维坐标与三维对象的二维色彩图像中给定位置的N个像素点的三维坐标之间的第一转换关系矩阵，以及二维色彩图像中各个像素点的像素值；步骤S350包括：
步骤S351，基于在第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标，获取在第二时刻时三维对象的二维色彩图像中给定位置的N个像素点的三维坐标，以及二维色彩图像中各个像素点的像素值；
步骤S352,基于在第二时刻时标记点集所包括的N个标记点在标记点测量坐标系下的标记点三维坐标以及在第二时刻时三维对象的二维色彩图像中给定位置的N个像素点的三维坐标，标定标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数。
示例地，在本实施例中，由于在第一刚体中，标记点集的N个标记点与三维对象的二维色彩图像中给定位置的N个像素点一一对应构成刚体，因此在第二时刻时标记点集所包括的N个标记点的标记点三维坐标XM,1～N与在第二时刻时三维对象的二维色彩图像中给定位置的N个像素点的三维坐标XL,1～N之间在标记点测量坐标系下满足如下转换关系：
XM,1～N＝XL,1～N*KLM+TLM (6)
其中，XM,1～N＝[xM,1 T,…,xM,i T,…,xM,N T]，XL,1～N＝[xL,1 T,…,xL,i T,…,xL,N T]。
上式(6)中，XM,1～N代表在第二时刻时N个标记点在标记点测量坐标系下的总坐标矩阵，XL,1～N代表在第二时刻时N个像素点在标记点测量坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第二时刻时N个标记点中第i个标记点在标记点测量坐标系下的三维坐标；xL,i＝(xLi,yLi,zLi)代表在第二时刻时N个像素点中第i个像素点在标记点测量坐标系下的三维坐标。
求解上式(6)即可得到第一转换关系矩阵[KLM,TLM]。计算机设备存储该第一转换关系矩阵[KLM,TLM]以及二维色彩图像中各个像素点的像素值以备在实际运行阶段中使用。
在另一个实施例中，步骤S350中第一转换关系参数包括三维对象在第一刚体坐标系下的色彩三维坐标以及标记点集在第一刚体坐标系下的标记点三维坐标；步骤S350包括：
步骤S353，建立第一刚体坐标系，并获取标记点集在第一刚体坐标系下的标记点三维坐标。
示例地，在已经测得标记点集中各个标记点在标记点测量坐标系下的标记点三维坐标的情况下，各个标记点之间的相对位置关系是确定的。因此，可以以第一刚体的N个标记点为基准构建第一刚体坐标系(Mo1坐标系)。例如，可以根据两个标记点(O1，A1)构建坐标轴x，再以其中标记点O1为坐标系原点，以及将标记点O1与垂直于坐标轴x的另外一个标记点A2，构建坐标轴y，根据x-O1-y平面建立坐标轴z，从而形成第一刚体坐标系。从而标记点集中各个标记点在第一刚体坐标系下的标记点三维坐标可以随之确定。
步骤S354，根据在第二时刻时标记点集在标记点测量坐标系下的标记点三维坐标以及标记点集在第一刚体坐标系下的标记点三维坐标，标定在第二时刻时标记点集测量坐标系与第一刚体坐标系之间的第五转换关系矩阵。
示例地，标记点集所包括的N个标记点在第一刚体坐标系下的标记点三维坐标XMo1,1～N与在第二时刻时标记点集所包括的N个标记点在标记点测量坐标系下的标记点三维坐标XM,1～N满足如下转换关系：
XM,1～N＝XMo1,1～N*KMo1M+TMo1M (7)
其中，XM,1～N＝[xM,1 T,…,xM,i T,…,xM,N T]，XMo1,1～N＝[xMo1,1 T,…,xMo1,i T,…,xMo1,N T]。
上式(7)中，XM,1～N代表在第二时刻时N个标记点在标记点测量坐标系下的总坐标矩阵，XMo1,1～N代表N个标记点在第一刚体坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第二时刻时N个标记点中第i个标记点在标记点测量坐标系下的三维坐标；xMo1,i＝(xMo1i,yMo1i,zMo1i)代表N个标记点中第i个标记点在第一刚体坐标系下的三维坐标；
求解上式(7)即可得到第二时刻时的第五转换关系矩阵[KMo1M,TMo1M]。
步骤S355，利用第五转换关系矩阵，对在第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换，以获得在第二时刻时三维对象在第一刚体坐标系下的色彩三维坐标。
在本步骤中，在已知在第二时刻时的第五转换关系矩阵[KMo1M,TMo1M]的情况下，可以根据下式(8)，基于第二时刻时三维对象在标记点测量坐标系下的色彩三维坐标中P个像素点的三维坐标XM,1～P转换得到在第二时刻时三维对象在第一刚体坐标系下的色彩三维坐标中P个像素点的三维坐标XMo1,1～P：
XM,1～P＝XMo1,1～P*KMo1M+TMo1M (8)
其中，XM,1～P＝[xM,1 T,…,xM,i T,…,xM,P T]，XMo1,1～P＝[xMo1,1 T,…,xMo1,i T,…,xMo1,P T]。
上式(8)中，XM,1～N代表在第二时刻时P个像素点在标记点测量坐标系下的总坐标矩阵，XMo1,1～P表示P个像素点在第一刚体坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第二时刻时P个像素点中第i个像素点在标记点测量坐标系下的三维坐标，xMo1,i＝(xMo1i,yMo1i,zMo1i)代表P个像素点中第i个像素点在第一刚体坐标系下的三维坐标。
结合在第二时刻时三维对象在第一刚体坐标系下的色彩三维坐标中各个像素点的三维坐标XMo1,1～P以及三维对象的色彩三维坐标中的二维色彩图像中各个像素点的像素值，即可确定在第二时刻时三维对象在第一刚体坐标系下的色彩三维坐标。
步骤S356，将三维对象在第一刚体坐标系下的色彩三维坐标以及标记点集在第一刚体坐标系下的标记点三维坐标作为标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数。
在本步骤中，将前述步骤确定的N个标记点在第一刚体坐标系下的标记点三维坐标XMo1,1～N、三维对象在第一刚体坐标系下的色彩三维坐标中各个像素点的三维坐标XMo1,1～P以及三维对象的色彩三维坐标中的二维色彩图像中各个像素点的像素值共同作为第一转换关系参数，计算机设备存储该第一转换关系参数以备在实际运行阶段中使用。
在一个实施例中，如图4所示，步骤S310中标定色彩相机的色彩相机坐标系与标记点测量坐标系之间的第三转换关系参数包括以下步骤S311-S313：
S311，在将标记点集固定在标定板上形成第二刚体的情况下，利用色彩相机采集在第三时刻时标记点集的二维色彩图像，并利用标记点测量设备检测在第三时刻时标记点集在标记点测量坐标系下的标记点三维坐标。
在一个实施例中，第二刚体由第二子刚体和标定板构成，第二子刚体由标记点集包括的多个标记点在标定板上呈非共线排布构成。
标定板是用于固定标记点以构成刚体的刚性物体，示例地，标定板可以是在其一侧具有黑白方格图案(例如相同大小的黑白方形棋牌格以黑白相间的方式矩阵排列所形成的图案)的棋盘格标定板。相应地，标记点集中的各个标记点可以固定在相应的棋盘格的中心处。
固定在标定板上的标记点集可以具有Q个标记点，Q的取值根据实际需要确定，优选地，Q大于等于4。
以Q取值4为例，示例地，可以将标记点集的4个标记点固定在标定板的四个顶角处，即棋盘格标定板最外侧的四个棋盘格的中心处。
在本步骤中，计算机设备可以利用色彩相机和标记点测量设备采集在第三时刻时的标记点集的二维色彩图像和Q个标记点在标记点测量坐标系下的标记点三维坐标XM,1～Q。
S312，基于在第三时刻时标记点集的二维色彩图像，确定在第三时刻时标记点集在色彩相机坐标系下的标记点三维坐标。
在此步骤中，色彩相机,例如可以利用RGBD相机来实现，可以通过内置算法基于该二维色彩图像以及色彩相机固有的三维转换关系参数计算得到二维色彩图像在该色彩相机坐标系下的色彩三维坐标，继而通过识别提取二维色彩图像中的标记点以确定标记点集中各个标记点在色彩相机坐标系下的标记点三维坐标。
当标定板为上述棋盘格标定板，Q个标记点固定在对应的Q个棋盘格中心处时，计算机设备可以先根据二维色彩图像检测获取标定板中各个棋盘格角点的二维图像坐标，再根据该棋盘格角点二维图像坐标以及色彩相机固有的三维转换关系参数，可以获取色彩相机坐标系下棋盘格角点的三维坐标。由于棋盘格角点的三维坐标是已知的，通过识别提取二维色彩图像中的标记点可以获取Q个棋盘格中心的三维坐标即为Q个标记点在色彩相机坐标系下的三维坐标XR,1～Q。
S313，基于在第三时刻时标记点集在色彩相机坐标系下的标记点三维坐标以及在第三时刻时标记点集在标记点测量坐标系下的标记点三维坐标，标定色彩相机的色彩相机坐标系与标记点测量坐标系之间的第三转换关系参数。
在第三时刻时标记点集的Q个标记点在标记点测量坐标系下的标记点三维坐标XM,1～Q与在第三时刻时Q个标记点在色彩相机坐标系下的三维坐标XR,1～Q之间满足如下转换关系：
XM,1～Q＝XR,1～Q*KRM+TRM (9)
其中，XM,1～Q＝[xM,1 T,…,xM,i T,…,xM,Q T]，XR,1～Q＝[xR,1 T,…,xR,i T,…,xR,Q T]。
上式(9)中，XM,1～Q代表在第三时刻时Q个标记点在标记点测量坐标系下的总坐标矩阵，XR,1～Q代表在第三时刻时Q个标记点在色彩相机坐标系下的总坐标矩阵，xM,i＝(xMi,yMi,zMi)代表在第三时刻时Q个标记点中第i个标记点在标记点测量坐标系下的三维坐标，xR,i＝(xRi,yRi,zRi)代表在第三时刻时Q个标记点中第i个标记点在色彩相机坐标系下的三维坐标。
从而根据上式(9)可以解得第三转换关系矩阵[KRM,TRM]，计算机设备可以存储该第三转换关系矩阵[KRM,TRM]以备在实际运行阶段中使用。
在一个实施例中，在预标定阶段，本申请的三维点云图的生成方法还包括标定第二转换关系参数的步骤，如图5所示，标定第二转换关系参数包括：
S510，在将标记点集固定在标定板上形成第三刚体的情况下，利用红外相机检测在第四时刻时标记点集在红外相机坐标系下的标记点三维坐标，并利用标记点测量设备检测在第四时刻时标记点集在标记点测量坐标系下的标记点三维坐标。
在一个实施例中，第三刚体由第三子刚体和标定板构成，第三子刚体由标记点集包括的多个标记点在标定板上呈非共线排布构成。
本步骤中的第三刚体中，固定在标定板上的标记点集可以具有S个标记点，优选地，S大于等于4，第三刚体的具体形成细节可以参见上述对第二刚体的具体形成细节，在此不再赘述。
在本步骤中，计算机设备可以利用红外相机和标记点测量设备采集在第四时刻时的标记点集的S个标记点在红外相机坐标系下的标记点三维坐标XI,1～S和S个标记点在标记点测量坐标系下的标记点三维坐标XM,1～S。
S520，基于在第四时刻时标记点集在红外相机坐标系下的标记点三维坐标以及在第四时刻时标记点集在标记点测量坐标系下的标记点三维坐标，标定标记点测量坐标系与红外相机坐标系之间的第二转换关系参数。
其中，第二转换关系参数可以是标记点三维坐标与三维对象的色彩三维坐标之间的第二转换关系矩阵[KMI,TMI]。
在第四时刻时标记点集的S个标记点在红外相机坐标系下的标记点三维坐标XI,1～S与在第四时刻时S个标记点在标记点测量坐标系下的三维坐标XM,1～S之间满足如下转换关系：
XI,1～S＝XM,1～S*KMI+TMI (10)
其中，XI,1～S＝[xI,1 T,…,xI,i T,…,xI,S T],XM,1～S＝[xM,1 T,…,xM,i T,…,xM,S T]。
上式(10)中，XI,1～S代表在第四时刻时S个标记点在红外相机坐标系下的总坐标矩阵，XM,1～S代表在第四时刻时S个标记点在标记点测量坐标系下的总坐标矩阵，xI,i＝(xIi,yIi,zIi)代表在第四时刻时S个标记点中第i个标记点在红外相机坐标系下的三维坐标，xM,i＝(xMi,yMi,zMi)代表在第四时刻时S个标记点中第i个标记点在标记点测量坐标系下的三维坐标。
从而根据上式(10)可以解得第二转换关系矩阵[KMI,TMI]，计算机设备可以存储该第二转换关系矩阵[KMI,TMI]以备在实际运行阶段中使用。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供一种三维点云图的生成装置600，包括数据检测模块610、第一坐标转换模块620、第二坐标转换模块630和三维点云图生成模块640，其中：
数据检测模块610，用于利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点；
第一坐标转换模块620，用于根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标；
第二坐标转换模块630，用于根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标；
三维点云图生成模块640，用于结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
关于三维点云图的生成装置的具体限定可以参见上文中对于三维点云图的生成方法的限定，在此不再赘述。上述三维点云图的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维点云图的生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点；
根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标；
根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标；
结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
在其他实施例中，处理器执行计算机程序时还实现如上任一实施例三维点云图的生成方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标；标记点集包括多个标记点；
根据预存的标记点集的标记点三维坐标与三维对象的色彩三维坐标之间的第一转换关系参数，以及在第一时刻时标记点集在标记点测量坐标系下的标记点三维坐标，确定在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标；
根据预存的标记点测量坐标系与红外相机坐标系之间的第二转换关系参数，对在第一时刻时三维对象在标记点测量坐标系下的色彩三维坐标执行转换以得到在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标；
结合在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，以及在第一时刻时三维对象在红外相机坐标系下的色彩三维坐标，生成在第一时刻时三维对象在红外相机坐标系下的三维点云图。
在其他实施例中，计算机程序被处理器执行时还实现如上任一实施例三维点云图的生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维点云图的生成方法，所述方法包括：
利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在所述三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在所述第一时刻时所述标记点集在标记点测量坐标系下的标记点三维坐标；所述标记点集包括多个标记点；
根据预存的所述标记点集的标记点三维坐标与所述三维对象的色彩三维坐标之间的第一转换关系参数，以及在所述第一时刻时所述标记点集在所述标记点测量坐标系下的所述标记点三维坐标，确定在所述第一时刻时所述三维对象在所述标记点测量坐标系下的色彩三维坐标；其中，所述色彩三维坐标是指利用色彩相机采集到的所述三维对象的二维色彩图像在给定三维空间坐标系下对应的三维坐标；
根据预存的所述标记点测量坐标系与所述红外相机坐标系之间的第二转换关系参数，对在所述第一时刻时所述三维对象在所述标记点测量坐标系下的所述色彩三维坐标执行转换以得到在所述第一时刻时所述三维对象在所述红外相机坐标系下的色彩三维坐标；
结合在所述第一时刻时所述三维对象在所述红外相机坐标系下的所述形状三维坐标，以及在所述第一时刻时所述三维对象在所述红外相机坐标系下的所述色彩三维坐标，生成在所述第一时刻时所述三维对象在所述红外相机坐标系下的三维点云图。
2.根据权利要求1所述的方法，其特征在于，还包括标定所述第一转换关系参数的步骤，所述标定所述第一转换关系参数包括：
标定色彩相机的色彩相机坐标系与所述标记点测量坐标系之间的第三转换关系参数；
利用所述色彩相机采集在第二时刻时所述三维对象的二维色彩图像，并且在所述三维对象与所述标记点集形成所述第一刚体的情况下，利用所述标记点测量设备检测在所述第二时刻时所述标记点集在所述标记点测量坐标系下的标记点三维坐标；
基于在所述第二时刻时所述三维对象的所述二维色彩图像，确定在所述第二时刻时所述三维对象在色彩相机坐标系下的色彩三维坐标；
根据所述第三转换关系参数，对所述第二时刻时所述三维对象在所述色彩相机坐标系下的所述色彩三维坐标执行转换，以得到在所述第二时刻时所述三维对象在所述标记点测量坐标系下的色彩三维坐标；
基于在所述第二时刻时所述标记点集在所述标记点测量坐标系下的标记点三维坐标以及在所述第二时刻时所述三维对象在所述标记点测量坐标系下的色彩三维坐标，标定所述标记点集的标记点三维坐标与所述三维对象的色彩三维坐标之间的第一转换关系参数。
3.根据权利要求2所述的方法，其特征在于，所述标定色彩相机的色彩相机坐标系与所述标记点测量坐标系之间的第三转换关系参数包括：
在将所述标记点集固定在标定板上形成第二刚体的情况下，利用所述色彩相机采集在第三时刻时所述标记点集的二维色彩图像，并利用所述标记点测量设备检测在所述第三时刻时所述标记点集在所述标记点测量坐标系下的标记点三维坐标；
基于在所述第三时刻时所述标记点集的所述二维色彩图像，确定在所述第三时刻时所述标记点集在所述色彩相机坐标系下的标记点三维坐标；
基于在所述第三时刻时所述标记点集在所述色彩相机坐标系下的标记点三维坐标以及在所述第三时刻时所述标记点集在所述标记点测量坐标系下的标记点三维坐标，标定所述色彩相机的所述色彩相机坐标系与所述标记点测量坐标系之间的第三转换关系参数。
4.根据权利要求1所述的方法，其特征在于，还包括标定所述第二转换关系参数的步骤，所述标定所述第二转换关系参数包括：
在将所述标记点集固定在标定板上形成第三刚体的情况下，利用所述红外相机检测在第四时刻时所述标记点集在所述红外相机坐标系下的标记点三维坐标，并利用所述标记点测量设备检测在所述第四时刻时所述标记点集在所述标记点测量坐标系下的标记点三维坐标；
基于在所述第四时刻时所述标记点集在所述红外相机坐标系下的所述标记点三维坐标以及在所述第四时刻时所述标记点集在所述标记点测量坐标系下的所述标记点三维坐标，标定所述标记点测量坐标系与所述红外相机坐标系之间的第二转换关系参数。
5.根据权利要求1所述的方法，其特征在于，所述第一刚体由第一子刚体和所述三维对象构成，所述第一子刚体由所述标记点集包括的所述多个标记点在所述三维对象的预定位置处呈非共线排布构成。
6.根据权利要求3所述的方法，其特征在于，所述第二刚体由第二子刚体和所述标定板构成，所述第二子刚体由所述标记点集包括的所述多个标记点在所述标定板上呈非共线排布构成。
7.根据权利要求4所述的方法，其特征在于，所述第三刚体由第三子刚体和所述标定板构成，所述第三子刚体由所述标记点集包括的所述多个标记点在所述标定板上呈非共线排布构成。
8.一种三维点云图的生成装置，其特征在于，所述装置包括：
数据检测模块，用于利用红外相机检测得到在第一时刻时三维对象在红外相机坐标系下的形状三维坐标，并且在所述三维对象与标记点集形成第一刚体的情况下，利用标记点测量设备检测在所述第一时刻时所述标记点集在标记点测量坐标系下的标记点三维坐标；所述标记点集包括多个标记点；
第一坐标转换模块，用于根据预存的所述标记点集的标记点三维坐标与所述三维对象的色彩三维坐标之间的第一转换关系参数，以及在所述第一时刻时所述标记点集在所述标记点测量坐标系下的所述标记点三维坐标，确定在所述第一时刻时所述三维对象在所述标记点测量坐标系下的色彩三维坐标；其中，所述色彩三维坐标是指利用色彩相机采集到的所述三维对象的二维色彩图像在给定三维空间坐标系下对应的三维坐标；
第二坐标转换模块，用于根据预存的所述标记点测量坐标系与所述红外相机坐标系之间的第二转换关系参数，对在所述第一时刻时所述三维对象在所述标记点测量坐标系下的所述色彩三维坐标执行转换以得到在所述第一时刻时所述三维对象在所述红外相机坐标系下的色彩三维坐标；
三维点云图生成模块，用于结合在所述第一时刻时所述三维对象在所述红外相机坐标系下的所述形状三维坐标，以及在所述第一时刻时所述三维对象在所述红外相机坐标系下的所述色彩三维坐标，生成在所述第一时刻时所述三维对象在所述红外相机坐标系下的三维点云图。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110335330.6A 2021-03-29 2021-03-29 三维点云图的生成方法、装置、计算机设备和存储介质 Active CN113034676B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110335330.6A CN113034676B (zh) 2021-03-29 2021-03-29 三维点云图的生成方法、装置、计算机设备和存储介质
US17/703,541 US20220309746A1 (en) 2021-03-29 2022-03-24 Method and apparatus for generating three-dimensional point cloud image, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335330.6A CN113034676B (zh) 2021-03-29 2021-03-29 三维点云图的生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113034676A CN113034676A (zh) 2021-06-25
CN113034676B true CN113034676B (zh) 2024-07-05

Family

ID=76452716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335330.6A Active CN113034676B (zh) 2021-03-29 2021-03-29 三维点云图的生成方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US20220309746A1 (zh)
CN (1) CN113034676B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559736A (zh) * 2013-11-11 2014-02-05 程志全 表演者的无标记点三维实时捕获***
CN103976756A (zh) * 2014-05-21 2014-08-13 周勇 一种脊柱后路手术术中实时三维重构方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描***的三维重构方法和装置
CN109754432B (zh) * 2018-12-27 2020-09-22 深圳市瑞立视多媒体科技有限公司 一种相机自动标定方法及光学动作捕捉***
CN110264567B (zh) * 2019-06-19 2022-10-14 南京邮电大学 一种基于标记点的实时三维建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559736A (zh) * 2013-11-11 2014-02-05 程志全 表演者的无标记点三维实时捕获***
CN103976756A (zh) * 2014-05-21 2014-08-13 周勇 一种脊柱后路手术术中实时三维重构方法

Also Published As

Publication number Publication date
US20220309746A1 (en) 2022-09-29
CN113034676A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
CN111095923B (zh) 校准装置、校准***和校准方法
CN110383343B (zh) 不一致检测***、混合现实***、程序和不一致检测方法
CN110163898B (zh) 深度信息配准方法、装置、***、设备及存储介质
US20150302648A1 (en) Systems and methods for mapping an environment using structured light
CN104335005B (zh) 3d扫描以及定位***
JP5093053B2 (ja) 電子カメラ
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN110390719A (zh) 基于飞行时间点云重建设备
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
US20180330520A1 (en) Method and system for calibrating a velocimetry system
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
CN117579753A (zh) 三维扫描方法、装置、计算机设备以及存储介质
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
JP2019045299A (ja) ３次元情報取得装置
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
CN112070844B (zh) 结构光***的校准方法及装置、设备及介质
CN116527856B (zh) 球幕影院的播放控制方法、装置、设备及存储介质
CN111742352A (zh) 3d对象建模方法以及相关设备和计算机程序产品
CN113034676B (zh) 三维点云图的生成方法、装置、计算机设备和存储介质
CN114155349B (zh) 一种三维建图方法、三维建图装置及机器人
CN112292577A (zh) 三维测量装置以及方法
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant