CN113052974A - 物体三维表面的重建方法和装置 - Google Patents
物体三维表面的重建方法和装置 Download PDFInfo
- Publication number
- CN113052974A CN113052974A CN201911264630.9A CN201911264630A CN113052974A CN 113052974 A CN113052974 A CN 113052974A CN 201911264630 A CN201911264630 A CN 201911264630A CN 113052974 A CN113052974 A CN 113052974A
- Authority
- CN
- China
- Prior art keywords
- camera
- rgb
- coordinate system
- pose
- world coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种物体三维表面的重建方法和装置，涉及三维建模技术领域。本公开利用搭载在飞行器上的RGB‑D相机获得各个视角的物体的图像数据，并且通过识别一种标定件，能够同时获取该RGB‑D相机拍摄时在世界坐标系中的位姿信息，根据该RGB‑D相机在世界坐标系中的位姿信息，将该RGB‑D相机在不同拍摄位姿下拍摄的物体的图像数据进行拼接，就可以重建物体三维表面。利用少量RGB‑D相机就可以实现复杂静态物体的三维表面重建，实用性更好。飞行器搭载的RGB‑D相机能够自由地从需要的视角对物体表面进行拍摄，不需要组建昂贵的多相机阵列，具有很大的灵活性。利用标定件配合进行RGB‑D相机在世界坐标系中的位姿计算，计算量大大减小。
Description
技术领域
本公开涉及三维建模技术领域，特别涉及一种基于标定件和RGB-D(Red GreenBlue Depth，红绿蓝深度)相机实现的物体三维表面的重建方法和装置。
背景技术
在一些相关技术中，利用激光雷达扫描可以获取场景的三维点云数据，通过三维点云数据对物体进行三维建模。但是，所使用的设备非常昂贵，而且扫描时间长，运算量非常大，灵活性和实用性不足。
发明内容
本公开利用搭载在飞行器上的RGB-D相机获得各个视角的物体的图像数据，并且通过识别一种标定件，能够同时获取该RGB-D相机拍摄时在世界坐标系中的位姿信息，根据该RGB-D相机在世界坐标系中的位姿信息，将该RGB-D相机在不同拍摄位姿下拍摄的物体的图像数据进行拼接，就可以重建物体三维表面。利用少量RGB-D相机就可以实现复杂静态物体的三维表面重建，实用性更好。飞行器搭载的RGB-D相机能够自由地从需要的视角对物体表面进行拍摄，不需要组建昂贵的多相机阵列，具有很大的灵活性。利用标定件配合进行RGB-D相机在世界坐标系中的位姿计算，计算量大大减小。
本公开的一些实施例提出一种物体三维表面的重建方法，包括：
获取搭载在飞行器上的第一RGB-D相机在多个拍摄位姿下拍摄的图像数据，所述图像数据包括物体的图像数据；
基于与所述物***于同一区域的标定件，获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息；
根据第一RGB-D相机的所述多个拍摄位姿在世界坐标系中的位姿信息，将第一RGB-D相机在所述多个拍摄位姿下拍摄的物体的图像数据进行拼接，以重建物体三维表面。
在一些实施例中，所述标定件的表面分布着多个特征模式，每个特征模式对应一组特征点，每个特征点在世界坐标系中的坐标是可设置的。
在一些实施例中，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于第一RGB-D相机拍摄的标定件的图像数据，和/或，基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据，获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息；
其中，所述第二RGB-D相机设置在固定平台，所述飞行器从所述固定平台起飞。
在一些实施例中，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
利用第一位姿信息，对第二位姿信息进行修正；
或者，在第一位姿信息的获取过程中，当发现标定件被遮挡时，获取第二位姿信息，并将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息；
其中，所述第一位姿信息是基于第一RGB-D相机拍摄的标定件的图像数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息，所述第二位姿信息是基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。
在一些实施例中，所述第一RGB-D相机在每个拍摄位姿下拍摄的图像数据同时包括物体和标定件的图像数据，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于第一空间变换矩阵，构建第一RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第一关系；
基于第一RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第二关系；
从所述第一RGB-D相机在每个拍摄位姿下拍摄的标定件的图像数据中获取多个特征点；
根据当前拍摄位姿获取的所述多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合所述第一关系和所述第二关系，确定所述第一RGB-D相机在当前拍摄位姿下对应的第一空间变换矩阵，将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息。
在一些实施例中，所述飞行器从固定平台起飞，并设置有惯性测量单元，所述固定平台设置有第二RGB-D相机，所述方法还包括：
获取所述第二RGB-D相机拍摄的标定件的图像数据；
基于所述惯性测量单元提供的实时导航数据，确定所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息；
所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于从所述第二RGB-D相机拍摄的标定件的图像数据中获取的多个特征点，确定所述第二RGB-D相机在世界坐标系中的位姿信息；
根据设置于固定平台的第二RGB-D相机在世界坐标系中的位姿信息以及所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息，确定所述第一RGB-D相机的相应拍摄位姿在世界坐标系中的位姿信息。
在一些实施例中，所述确定所述第二RGB-D相机在世界坐标系中的位姿信息包括：
基于第二空间变换矩阵，构建第二RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第三关系；
基于第二RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第四关系；
根据所述多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合所述第三关系和所述第四关系，确定所述第二RGB-D相机对应的第二空间变换矩阵，将其作为第二RGB-D相机在世界坐标系中的位姿信息。
在一些实施例中，所述重建物体三维表面包括：
根据第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息，将第一RGB-D相机在相应拍摄位姿下拍摄的物体图像中的每个像素坐标转换为相应像素在世界坐标系中的坐标；
根据各个像素在世界坐标系中的坐标，将不同位置处的像素拼接起来，以重建物体三维表面。
在一些实施例中，还包括：实时评估物体三维表面的重建质量；控制飞行器在指定位姿针对重建质量不符合要求的区域进行补充拍摄。
在一些实施例中，根据物体三维表面的空洞率或粗糙程度，实时评估物体三维表面的重建质量。
本公开的一些实施例提出一种物体三维表面的重建装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一个实施例所述的物体三维表面的重建方法。
本公开的一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一个实施例所述的物体三维表面的重建方法。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开，
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开相关的一些装置与被测场景的空间位置关系示意图。
图2示出本公开的一种长方体形的标定件12的示意图。
图3示出了本公开基于标定件的拍摄图像确定RGB-D相机拍摄时在世界坐标系中的位姿信息的流程示意图。
图4示出了本公开的物体三维表面的重建方法一些实施例的流程示意图。
图5示出了本公开的物体三维表面的重建装置一些实施例的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
图1为本公开相关的一些装置与被测场景的空间位置关系示意图。如图1所示，本公开涉及的装置包括一个安装有RGB-D相机(设为第二RGB-D相机)111的固定平台11，其上同时搭载必要的通讯、计算和存储等模块，一个专门设计的标定件12(后面具体描述)，一个可在固定平台11上停靠、起飞和回收的飞行器13，例如可以是无人机、飞机等能够飞行的设备，其上搭载RGB-D相机(设为第一RGB-D相机)131作为主要的图像测量设备，同时还可以搭载惯性测量单元(Inertial Measurement Unit，IMU)(图中未示出)作为导航和定位模块，此外还应搭载飞行控制、通讯、数据处理等模块。其中，IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标***独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。一般而言，IMU要安装在被测物体的重心上。此外，待测的物体x与标定件12分开放置在一个指定的区域中，可被RGB-D相机111，131同时拍摄到。
标定件12，也称靶标，其表面分布着便于区分和识别的多个特征模式。特征模式可以是一种表面图形。通过在不同的表面图形中引入互不相同的唯一特征(如不同的色块颜色或色块形状等)实现不同特征模式之间的区分。每个特征模式对应一组特征点，通常是多个特征点。从可视范围的任意视角总能识别至少一组模式，并且获得一组特征点。此外，标定件12及其特征模式和特征点相对于世界坐标系(可预先建立在标定件本身之上)的位置都是预先精确设定的，由此就可以得到各个特征点在这一世界坐标系中的精确坐标。
图2示出本公开的一种长方体形的标定件12的示意图。标定件12的其中一个面是明暗相间的棋盘状的特征模式121，每个格子的角点(最容易识别)可以作为特征点122。图2中还示出了基于标定件12构建的世界坐标系(x，y，z)的示意图。
需要注意的是，图2仅是一个标定件的示例，并不对具体的标定件设计构成限制。例如，表面的特征模式有多种选择，如棋盘格模式、对称/不对称圆斑模式、随机模式等，不同的特征模式还可以用不同的颜色区分。不同的特征模式中特征点的定义和分布可以不同，容易识别即可。
下面描述基于标定件的拍摄图像确定相机拍摄时的位姿的方法。位姿是指位置和姿态。位置信息例如包括前后、左右、上下的移动。姿态信息例如包括yaw(左右摇摆)、pitch(上下俯仰)和roll(滚转)。
图3示出了本公开基于标定件的拍摄图像确定RGB-D相机拍摄时在世界坐标系中的位姿信息的流程示意图。
如图3所示，该过程包括：步骤31-33。
在步骤31，RGB-D相机在一定位姿下对准标定件拍摄，得到包含标定件的拍摄图像，该图像包含RGB色彩数据和深度数据。为了消除深度数据对于位姿准确性的影响，本实施例只利用其中二维的RGB图像确定相机的位姿。
在步骤32，从RGB图像中识别特征模式以及多个特征点，每个特征点在RGB图像中的像素坐标和其在世界坐标系中的坐标均是可确定的已知量。
在步骤33，根据当前拍摄位姿获取的多个特征点的图像像素坐标和其在世界坐标系中的坐标，结合相机坐标系中的坐标与世界坐标系中的坐标之间的关系和图像像素坐标与相机坐标系中的坐标之间的关系，确定RGB-D相机拍摄时在世界坐标系中的位姿信息。
假设一个特征点在世界坐标系中的坐标记为(XW,YX,ZX)，在对其进行拍摄的相机坐标系中的坐标为(XC,YC,ZC)，可以得到如下关系：
其中，P是一个6自由度(degree of freedom，DOF)的空间变换矩阵，描述相机坐标系相对于世界坐标系的空间位置关系。P也用来表示相机拍摄时在世界坐标系中的位姿信息。
其中，R是一个3x3的三维旋转矩阵，表示刚体姿态的变化。左右摇摆、上下俯仰和滚转的角度分别记为a,β,γ。
其中，t是一个三维列向量，表示刚***置的平移变化，前后、左右、上下的平移量记为tx,ty,tz。
在不考虑相机的非线性畸变的情况下，例如，畸变很小或图像已经进行畸变矫正，则相机拍摄的二维图像上，一个特征点对应的图像像素坐标(u,v)与相机坐标系的关系是：
其中，fx,fy,u0,v0是相机的内部参数，直接取自相机光学成像模型，分别代表焦平面上x、y方向的成像尺度变换系数(焦距)以及镜头主光轴在底片上的投影点对应的像素坐标，可以事先标定获得。
通过以上两式(1-2)，可以得到关于6+1个未知数的3个线性方程。这些未知数是指6个描述空间变换P的α,β,γ，tx,ty,tz，以及ZC。如果有n个特征点，则可以获得关于6+n个未知数的3n个线性方程，在满足6+n≤3n(即n≥3)的情况下，就能够使用例如最小二乘等方法确定矩阵P，从而得到相机拍摄时在世界坐标系中的位姿信息。
为了方便描述，如果基于第一RGB-D相机构建相机坐标系，则上述的公式(1)设为第一关系，上述的公式(2)设为第二关系；如果基于第二RGB-D相机构建相机坐标系，则上述的公式(1)设为第三关系，上述的公式(2)设为第四关系。
图4示出了本公开的物体三维表面的重建方法一些实施例的流程示意图。
如图4所示，该过程包括：步骤41-46。
在步骤41，部署固定平台、标定件和待测的物体。
如果需要利用固定平台的第二RGB-D相机确定搭载在飞行器上的第一RGB-D相机在世界坐标系中的位姿信息，则调整标定件摆放位置，使得第二RGB-D相机能够同时拍摄到标定件。
在步骤42，飞行器从固定平台起飞后，实时将搭载在飞行器上的第一RGB-D相机在多个拍摄位姿下拍摄的图像数据发送给用来进行物体三维表面的重建工作的重建装置。
第一RGB-D相机拍摄的图像数据包括物体的图像数据，根据需要还可以包括标定物的图像数据。
重建装置可以部署在固定平台或其他地方。
在步骤43，重建装置在实时获取第一RGB-D相机在多个拍摄位姿下拍摄的图像数据的同时，还需要实时获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。
其中，第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息可以由以下两种方法确定，根据需要这两种方法还可以结合起来使用。
第一种方法：基于第一RGB-D相机拍摄的标定件的图像数据，确定第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。此时需要第一RGB-D相机在每个拍摄位姿下拍摄的图像数据同时包括物体和标定件的图像数据。
具体来说，重建装置或飞行器执行以下操作：基于第一空间变换矩阵P，构建第一RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第一关系，如公式(1)；基于第一RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第二关系，如公式(2)；从第一RGB-D相机在每个拍摄位姿下拍摄的标定件的图像数据中获取多个特征点，根据前述分析需要至少3个有效的特征点；根据当前拍摄位姿获取的多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合第一关系和第二关系，确定第一RGB-D相机在当前拍摄位姿下对应的第一空间变换矩阵P，将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息。
第二种方法：基于第二RGB-D相机拍摄的标定件的图像数据和飞行器的惯性测量单元提供的实时导航数据，确定第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。
具体来说，第二RGB-D相机在飞行器起飞前拍摄标定件的图像数据，飞行器上的惯性测量单元在飞行测试过程中提供实时导航数据。重建装置或固定平台基于从第二RGB-D相机拍摄的标定件的图像数据中获取的多个特征点，确定第二RGB-D相机在世界坐标系中的位姿信息；重建装置或固定平台或飞行器基于惯性测量单元提供的实时导航数据，确定飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于固定平台(也即相对于第二RGB-D相机)的相对位姿信息，并根据第二RGB-D相机在世界坐标系中的位姿信息以及第一RGB-D相机的每个拍摄位姿相对于固定平台的相对位姿信息，确定第一RGB-D相机的相应拍摄位姿在世界坐标系中的位姿信息。
其中，确定第二RGB-D相机在世界坐标系中的位姿信息包括：基于第二空间变换矩阵P，构建第二RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第三关系，如公式(1)；基于第二RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第四关系，如公式(2)；从第二RGB-D相机拍摄的标定件的图像数据中获取多个特征点，根据前述分析需要至少3个有效的特征点，根据多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合第三关系和第四关系，确定第二RGB-D相机对应的第二空间变换矩阵，将其作为第二RGB-D相机在世界坐标系中的位姿信息。
为了方便描述，基于第一RGB-D相机拍摄的标定件的图像数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息称为第一位姿信息；基于第二RGB-D相机拍摄的标定件的图像数据和飞行器的惯性测量单元提供的实时导航数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息称为第二位姿信息。
上述两种方法各有自己的优点，根据需要，可以将上述两种方法结合起来使用，二者互为补充。例如，利用第一位姿信息，对第二位姿信息进行修正，从而消除惯性测量单元引入的累积误差。又例如，在第一位姿信息的获取过程中，第一RGB-D相机可能由于标定件被物体遮挡未能获取到标定件的有效图像，当发现标定件被遮挡时，利用第二种方法获取第二位姿信息，并将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息，使第二种方法作为第一种方法的补充，确保标定件被遮挡时也能实时获取到相机的位姿信息。
在步骤44，重建装置根据第一RGB-D相机的所述多个拍摄位姿在世界坐标系中的位姿信息，将第一RGB-D相机在所述多个拍摄位姿下拍摄的物体的图像数据进行拼接，以重建物体三维表面。
具体来说，根据公式(2)，将第一RGB-D相机在当前拍摄位姿下拍摄的物体图像中的带深度的每个像素坐标(u,v,ZC)转换为相应的相机坐标(XC,YC,ZC)，然后根据公式(1)以及第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息P，将(XC,YC,ZC)转换为世界坐标系下的(XW,YW,ZW)，从而得到各个像素在世界坐标系中的坐标；最后，根据各个像素在世界坐标系中的坐标，将不同位置处的像素拼接起来，就可以重建物体三维表面。此外，不同图像中的相同位置处的各像素特征可以融合起来，例如，将各像素特征加权平均，将融合后的特征值作为重建后该位置处的像素的特征值。
在步骤45，重建装置实时评估物体三维表面的重建质量，并控制飞行器在指定位姿(如指定的角度和距离)针对重建质量不符合要求的区域进行补充拍摄，利用补充拍摄的图像数据更新物体三维表面重建结果。
例如，根据物体三维表面的空洞率或粗糙程度，实时评估物体三维表面的重建质量。
在步骤46，当前重建质量达到要求后，重建装置对重建好的三维模型进行渲染和可视化输出。固定平台控制飞行器回收到固定平台上。
上述实施例，利用搭载在飞行器上的RGB-D相机获得各个视角的物体的图像数据，并且通过识别一种标定件，能够同时获取该RGB-D相机拍摄时在世界坐标系中的位姿信息，根据该RGB-D相机在世界坐标系中的位姿信息，将该RGB-D相机在不同拍摄位姿下拍摄的物体的图像数据进行拼接，就可以重建物体三维表面。利用少量RGB-D相机就可以实现复杂静态物体的三维表面重建，实用性更好。飞行器搭载的RGB-D相机能够自由地从需要的视角对物体表面进行拍摄，不需要组建昂贵的多相机阵列，具有很大的灵活性。利用标定件配合进行RGB-D相机在世界坐标系中的位姿计算，计算量大大减小。
传统的基于扫描点云特征点识别和配准特征点的方法，需要先将相邻两帧深度数据转换成相机坐标系下三维点云，由于相邻两帧数据会有较大的重合区域，期望在两片点云数据之中找到一些匹配的特征点，这些特征点对应于物体表面的相同位置，但在两片点云中具有不同的空间坐标。通常使用物体表面具有突出特点的位置作为特征点，例如表面的突起、凹陷等相较周围明显不同的结构。通过计算点云中每个点相对于其周边一小片相邻区域的特征，可以识别出这样的结构。如果物体表面比较均匀，缺乏明显的特征，则很难找到可用的特征点。在得到足够的特征点后，通过计算相匹配的特征点之间的空间变换矩阵得到两个点云之间的坐标变换关系，将新采集的点云向着之前采集的点云位置进行一次变换。由于点云中表面特征点的识别往往不是完全准确的，需要再次对变换后的点云识别特征点，评估二者相互匹配的质量，经常需要多次迭代直到满足要求。在较为稠密的点云中进行特征点识别是非常大的计算量，对于计算硬件和算法的开发有很高的要求。
图5示出了本公开的物体三维表面的重建装置一些实施例的结构示意图。
如图5所示，该实施例的装置50包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行前述任意一些实施例中的物体三维表面的重建方法。
其中，存储器51例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置50还可以包括输入输出接口53、网络接口54、存储接口55等。这些接口53，54，55以及存储器51和处理器52之间例如可以通过总线56连接。其中，输入输出接口53为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口54为各种联网设备提供连接接口。存储接口55为SD卡、U盘等外置存储设备提供连接接口。
本公开还提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一些实施例中的物体三维表面的重建方法。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (12)
1.一种物体三维表面的重建方法，其特征在于，包括：
获取搭载在飞行器上的第一RGB-D相机在多个拍摄位姿下拍摄的图像数据，所述图像数据包括物体的图像数据；
基于与所述物***于同一区域的标定件，获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息；
根据第一RGB-D相机的所述多个拍摄位姿在世界坐标系中的位姿信息，将第一RGB-D相机在所述多个拍摄位姿下拍摄的物体的图像数据进行拼接，以重建物体三维表面。
2.根据权利要求1所述的方法，其特征在于，所述标定件的表面分布着多个特征模式，每个特征模式对应一组特征点，每个特征点在世界坐标系中的坐标是可设置的。
3.根据权利要求1所述的方法，其特征在于，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于第一RGB-D相机拍摄的标定件的图像数据，和/或，基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据，获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息；
其中，所述第二RGB-D相机设置在固定平台，所述飞行器从所述固定平台起飞。
4.根据权利要求3所述的方法，其特征在于，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
利用第一位姿信息，对第二位姿信息进行修正；
或者，在第一位姿信息的获取过程中，当发现标定件被遮挡时，获取第二位姿信息，并将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息；
其中，所述第一位姿信息是基于第一RGB-D相机拍摄的标定件的图像数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息，所述第二位姿信息是基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述第一RGB-D相机在每个拍摄位姿下拍摄的图像数据同时包括物体和标定件的图像数据，所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于第一空间变换矩阵，构建第一RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第一关系；
基于第一RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第二关系；
从所述第一RGB-D相机在每个拍摄位姿下拍摄的标定件的图像数据中获取多个特征点；
根据当前拍摄位姿获取的所述多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合所述第一关系和所述第二关系，确定所述第一RGB-D相机在当前拍摄位姿下对应的第一空间变换矩阵，将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述飞行器从固定平台起飞，并设置有惯性测量单元，所述固定平台设置有第二RGB-D相机，所述方法还包括：
获取所述第二RGB-D相机拍摄的标定件的图像数据；
基于所述惯性测量单元提供的实时导航数据，确定所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息；
所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括：
基于从所述第二RGB-D相机拍摄的标定件的图像数据中获取的多个特征点，确定所述第二RGB-D相机在世界坐标系中的位姿信息；
根据设置于固定平台的第二RGB-D相机在世界坐标系中的位姿信息以及所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息，确定所述第一RGB-D相机的相应拍摄位姿在世界坐标系中的位姿信息。
7.根据权利要求6所述的方法，其特征在于，所述确定所述第二RGB-D相机在世界坐标系中的位姿信息包括：
基于第二空间变换矩阵，构建第二RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第三关系；
基于第二RGB-D相机的内部参数矩阵，构建图像像素坐标与相机坐标系中的坐标之间的第四关系；
根据所述多个特征点的图像像素坐标和其在世界坐标系中的坐标，并结合所述第三关系和所述第四关系，确定所述第二RGB-D相机对应的第二空间变换矩阵，将其作为第二RGB-D相机在世界坐标系中的位姿信息。
8.根据权利要求1所述的方法，其特征在于，所述重建物体三维表面包括：
根据第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息，将第一RGB-D相机在相应拍摄位姿下拍摄的物体图像中的每个像素坐标转换为相应像素在世界坐标系中的坐标；
根据各个像素在世界坐标系中的坐标，将不同位置处的像素拼接起来，以重建物体三维表面。
9.根据权利要求1所述的方法，其特征在于，还包括：
实时评估物体三维表面的重建质量；
控制飞行器在指定位姿针对重建质量不符合要求的区域进行补充拍摄。
10.根据权利要求9所述的方法，其特征在于，
根据物体三维表面的空洞率或粗糙程度，实时评估物体三维表面的重建质量。
11.一种物体三维表面的重建装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-10中任一项所述的物体三维表面的重建方法。
12.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10中任一项所述的物体三维表面的重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911264630.9A CN113052974B (zh) | 2019-12-11 | 2019-12-11 | 物体三维表面的重建方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911264630.9A CN113052974B (zh) | 2019-12-11 | 2019-12-11 | 物体三维表面的重建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052974A true CN113052974A (zh) | 2021-06-29 |
| CN113052974B CN113052974B (zh) | 2024-01-26 |
Family
ID=76505118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911264630.9A Active CN113052974B (zh) | 2019-12-11 | 2019-12-11 | 物体三维表面的重建方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052974B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114505860A (zh) * | 2022-03-03 | 2022-05-17 | 深圳市启灵图像科技有限公司 | 3d手眼标定方法及*** |
| CN115050215A (zh) * | 2022-04-29 | 2022-09-13 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及*** |
| CN108717728A (zh) * | 2018-07-19 | 2018-10-30 | 安徽中科智链信息科技有限公司 | 一种基于多视角深度摄像机的三维重建装置及方法 |
| US20190156501A1 (en) * | 2016-05-20 | 2019-05-23 | Safran | Three-dimensional reconstruction method using a plenoptic camera |
-
2019
- 2019-12-11 CN CN201911264630.9A patent/CN113052974B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| US20190156501A1 (en) * | 2016-05-20 | 2019-05-23 | Safran | Three-dimensional reconstruction method using a plenoptic camera |
| CN107314778A (zh) * | 2017-08-04 | 2017-11-03 | 广东工业大学 | 一种相对姿态的标定方法、装置及*** |
| CN108717728A (zh) * | 2018-07-19 | 2018-10-30 | 安徽中科智链信息科技有限公司 | 一种基于多视角深度摄像机的三维重建装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄金鑫等: ""一种改进的未知环境无人机三维地图实时创建方法"", 《机械与电子》, pages 76 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114505860A (zh) * | 2022-03-03 | 2022-05-17 | 深圳市启灵图像科技有限公司 | 3d手眼标定方法及*** |
| CN115050215A (zh) * | 2022-04-29 | 2022-09-13 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
| CN115050215B (zh) * | 2022-04-29 | 2023-12-26 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052974B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885328B2 (en) | Determination of position from images and associated camera positions | |
| JP7016058B2 (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
| US7768527B2 (en) | Hardware-in-the-loop simulation system and method for computer vision | |
| EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| US9355453B2 (en) | Three-dimensional measurement apparatus, model generation apparatus, processing method thereof, and non-transitory computer-readable storage medium | |
| US8655094B2 (en) | Photogrammetry system and method for determining relative motion between two bodies | |
| US20060215935A1 (en) | System and architecture for automatic image registration | |
| US20050220363A1 (en) | Processing architecture for automatic image registration | |
| JP5134784B2 (ja) | 空中写真測量方法 | |
| CN100417231C (zh) | 立体视觉半实物仿真***及方法 | |
| CN109690622A (zh) | 多相机***中的相机登记 | |
| CN105378794A (zh) | 3d拍摄装置、用于建立3d图像的方法和用于构建3d拍摄装置的方法 | |
| JP2008186145A (ja) | 空撮画像処理装置および空撮画像処理方法 | |
| KR20200064542A (ko) | 드론을 이용한 지상기준점 측량장치 및 그 방법 | |
| CN108474658A (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
| CN110505468B (zh) | 一种增强现实显示设备的测试标定及偏差修正方法 | |
| CN110595440A (zh) | 一种倾斜摄影测量的飞行参数设计方法 | |
| CN113052974B (zh) | 物体三维表面的重建方法和装置 | |
| KR102159134B1 (ko) | 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치 | |
| JP3808833B2 (ja) | 空中写真測量方法 | |
| CN110780313A (zh) | 一种无人机可见光立体测量采集建模方法 | |
| CN110503684A (zh) | 相机位姿估计方法和装置 | |
| CN113034347A (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| CN110785792A (zh) | 3d建模方法、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |