CN113532315A - 基于多目视觉的三维建模设备及其控制方法 - Google Patents

Abstract

本发明提供一种基于多目视觉的三维建模设备及其控制方法，该设备包括：转台，用于带动目标物体转动；至少三个图像采集器，一一对应地安装于至少三个电动推杆上，用于拍摄所述目标物体的图像，以便根据所拍摄的图像建立三维模型；电动推杆驱动电路，用于驱动所述电动推杆带动相应所述图像采集器移动；拍摄控制电路，用于控制所述至少三个图像采集器进行同步拍摄。本发明的三维重建设备结构简单、成本低、通过其控制方法可以实现精准控制，实现高精度的三维重建。

Description

基于多目视觉的三维建模设备及其控制方法

技术领域

本发明涉及三维重建技术领域，尤其涉及一种基于多目视觉的三维建模设备及其控制方法。

背景技术

三维重建技术通过数据获取、预处理、点云配准与融合、生成表面等过程，将真实场景刻画成符合计算机逻辑表达的数学模型。目前许多文化都在进行数字化转型，建立高精度且逼真的文物3D模型对于数字博物馆、文物保护和研究、文物鉴赏和展示具有重要意义。

目前，用于文物数字重建的常用方法有三维激光扫描技术、结构光扫描技术、三维视觉测量技术等。

三维激光扫描技术是利用激光测距仪的原理，通过记录被测物表面大量密集的点坐标、反射率、纹理和全景图等信息，通过计算机辅助计算，形成的三维空间点云模型。一些学者利用三维激光扫描技术进行三维重建研究。但是，三维激光扫描仪的成本非常高，并且边缘数据不够准确。三维激光扫描更适用于建筑外形、工业检测等大场景建模，尽管能够获得文物表面的精确点云数据，但是对于相对复杂区域的对象进行点云数据拼接时会遇到一些问题，后期需进行点云处理与纹理叠加，耗时费力，此外对于颜色较深的物体，低反射率会影响扫描质量，而布设靶标则会对文物产生影响。

结构光三维成像的硬件主要由摄像头和投射器组成，结构光就是通过投射器投射到被测物体表面的主动结构信息，如激光条纹、格雷码、正弦条纹等；然后，通过单个或多个摄像头拍摄被测表面即得结构光图像；最后，基于三角测量原理经过图像三维解析计算从而实现三维重建。结构光技术测量过程复杂并且重建耗时，易受到光滑平面反光的影响。采用格雷码编码方法的结构光技术主要取决于待编码图像的二值化，因此通常需要在物体表面喷涂显影剂以便更好地进行量测，但这种方法对于文物三维重建并不可取，会造成破坏。

三维模型真实纹理的重建已成为摄影测量一大重要任务。三维视觉测量技术是对摄影机摄取的二维影像进行量测，测定物体在三维空间的位置、形状、大小，在确保低成本、高效率的同时，能够满足数据的精度要求和详细程度。当下其在工业、科研领域应用较多，但在文化领域的应用相对较少，并且人工进行数据采集耗时费力、效率低下。在传统的近景摄影测量三维重建中，国内外的数据采集阶段主要由人工完成，即直接人工拍摄所需的原始图像，根据获得的信息进行三维建模。但人工摄影测量方法存在较大缺陷：(1)成本高：对拍摄者、环境光照、硬件设备水平要求高、花销大；(2)精度低：摄影测量对环境光照要求很高，光照条件不足会使图像质量下降。(3)效率低：人工摄影测量后再利用所得数据建模，耗时费力、效率低下。

三维视觉测量技术在文物考古调查领域很大程度上依赖于一系列的预防措施、保障措施和冗余策略，在成本和效率上都有提升的需求。

目前基于双目视觉的三维重建应用广泛，但是必须要满足基线的范围才能重建出更好的效果，适用面较小。而多目视觉方法视野范围大，识别精度较高，重建效果稳定，通用性非常好，能够应用在各种场景中。但现有基于多目视觉的三维重建设备复杂，价格昂贵，控制上难以实现。

发明内容

为了解决现有三维重建设备结构复杂、价格昂贵、控制上难以实现等缺陷，本发明提供一种基于多目视觉的三维建模设备及其控制方法。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种基于多目视觉的三维建模设备，包括：

转台，用于带动目标物体转动；

至少三个图像采集器，一一对应地安装于至少三个电动推杆上，用于拍摄所述目标物体的图像，以便根据所拍摄的图像建立三维模型；

电动推杆驱动电路，用于驱动所述电动推杆带动相应所述图像采集器移动；

拍摄控制电路，用于控制所述至少三个图像采集器进行同步拍摄。

在本发明一个优选实施例中，所述设备还包括：

光源，用于照射所述目标物体。

在本发明一个优选实施例中，所述设备还包括：转台支撑架，用于承载所述转台。

在本发明一个优选实施例中，所述转台包括：转盘以及用于带动所述转盘转动的轴系和齿轮系。

在本发明一个优选实施例中，所述电动推杆安装于推杆支撑架上。

在本发明一个优选实施例中，所述图像采集器通过云台安装于所述电动推杆上。

在本发明一个优选实施例中，所述电动推杆通过可调节移动夹安装于所述推杆架上。

第二方面，提供一种用于控制前述任一项三维建模设备的方法，包括：

确定各所述图像采集器与所述目标物体之间的目标距离；

确定各所述图像采集器的目标俯仰角；

确定相邻所述图像采集器之间的目标间距；

确定各所述图像采集器的目标拍摄时间间隔和目标拍摄次数；

根据所述目标距离、目标间距、目标俯仰角对各所述图像采集器的位姿进行调整，根据所述目标拍摄时间间隔和目标拍摄次数，对所述拍摄控制电路进行控制。

在本发明一个优选实施例中，所述确定各所述图像采集器与所述目标物体之间的目标距离，包括：

根据各所述图像采集器的分辨率和像元大小，计算各所述图像采集器的靶面尺寸；

根据各所述图像采集器的靶面尺寸和焦距，计算各所述图像采集器的水平视场角和竖直视场角；

根据各所述图像采集器的水平视场角和竖直视场角、以及所述目标物体的外接球半径，计算各所述图像采集器与所述目标物体之间的最小距离；

根据各所述图像采集器与所述目标物体之间的最小距离，确定各所述图像采集器与所述目标物体之间的目标距离。

在本发明一个优选实施例中，所述确定各所述图像采集器的目标俯仰角，包括：

根据各所述图像采集器与所述目标物体之间的目标距离，计算各所述图像采集器的目标俯仰角。

在本发明一个优选实施例中，所述确定相邻所述图像采集器之间的目标间距，包括：

根据各所述图像采集器的目标俯仰角，计算相邻所述图像采集器之间的目标间距。

在本发明一个优选实施例中，所述确定各所述图像采集器的目标拍摄时间间隔和目标拍摄次数，包括：

根据所述目标物体转动一周的时间、以及预设的图像纵向重叠度，确定所述目标拍摄时间间隔和目标拍摄次数。

通过采用上述技术方案，本发明具有如下有益效果：

本发明提供的三维建模设备结构简单、成本低、能够基于多目视觉与摄影测量技术，通过多图像采集器同步自动拍摄完成数据采集，有效降低硬件成本与图像数据冗余，可以实现对目标物体的非接触高精度三维重建与信息化精确表达；同时，通过转台和转台驱动电路能够带动目标物体按照预设的转速自动切换方位，实现多图像采集器全景环绕拍摄。此外，本发明提供的控制方法能够实现对三维重建设备的精确控制，控制过程简单便捷精准。

附图说明

图1为本发明实施例1的基于多目视觉的三维建模设备的***图；

图2为本发明实施例1中转台的结构示意图；

图3为本发明实施例2的基于多目视觉的三维建模设备的控制方法的流程图；

图4为本发明实施例2中竖直方向相邻图像的拍摄示意图；

图5为本发明实施例2中图像的纵向重叠度和横向重叠度示意图；

图6为本发明实施例2中水平方向相邻图像的拍摄示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

实施例1

本实施例提供一种基于多目视觉的三维建模设备，包括：转台，用于带动目标物体转动；至少三个图像采集器，一一对应地安装于至少三个电动推杆上，用于拍摄所述目标物体的图像，以便根据所拍摄的图像建立三维模型；转台驱动电路，用于驱动所述转台转动；电动推杆驱动电路，用于驱动所述电动推杆带动相应所述图像采集器移动；拍摄控制电路，用于控制所述至少三个图像采集器进行同步拍摄。

在本实施例中，图像采集器为相机，例如可以是单反相机、工业相机和终端设备(如手机)上的相机等。

下面以三个图像采集器为例，提供了本实施例三维建模设备的具体结构。如图1所示，本实施例的三维建模设备包括：推杆支撑架2和转台支撑架7，两者均示出为三脚架。

推杆支撑架2的中轴上通过三个可调节移动夹6一一对应地夹持有三个平行设置的电动推杆5，各可调节移动夹6分别通过紧固件进行固定，各电动推杆5分别通过导线与电动推杆驱动电路4连接；三个图像采集器12分别通过连接板10和云台11一一对应地安装于三个电动推杆5上，便于对图像采集器12的俯仰角进行调节；推杆支撑架2的顶部还安装有光源9，光源9与各图像采集器12均朝向目标物体，能够提升图像质量，有利于高精度三维重建。优选地，光源9的光强可调节，以保证最佳光照条件。

转台支撑架7的顶部固定安装有展板16，展板16上承载有可调速的转台15。当需要建立目标物体13(如文物)的三维模型时，将目标物体13放置于转台上，而后利用三个图像采集器12分别从目标物体13的斜上方、同一水平面和斜下方对目标物体进行同步拍摄。在本实施例中，三个图像采集器12处于同一竖直平面，并分别与拍摄控制电路17连接，以通过拍摄控制电路17对各图像采集器12进行同步控制。其中，拍摄控制电路17和电动推杆驱动电路4分别由相应的电源3供电，且拍摄控制电路17还与外部设备1连接，以便通过拍摄控制电路17将各图像采集器采集的图像传送到外部设备1，通过外部设备1可以观察到实时成像效果。

在本实施例中，转台15的结构如图2所示，包括轴系20以及在轴系20上安装的齿轮系19，齿轮系19带动转盘22旋转，使放置于转盘22上的目标物体13转动，其中，转速由可调速电机18控制，可通过外壳21上的旋钮(未示出)进行调节。

本实施例提供的三维建模设备结构简单、成本低、能够基于多目视觉与摄影测量技术，通过多图像采集器同步自动拍摄完成数据采集，有效降低硬件成本与图像数据冗余，可以实现对目标物体的非接触高精度三维重建与信息化精确表达；同时，通过转台和转台驱动电路能够带动目标物体按照预设的转速自动切换方位，实现多图像采集器全景环绕拍摄。当利用本实施例的设备所采集的图像进行文物等三维建模，可以得到高精度三维模型，满足历史文化遗产保护的需求，可供人全方位细致欣赏，供文博人员未来修复与保护文物。

实施例2

本实施例提供一种用于前述实施例的三维建模设备的控制方法，如图3所示，具体以下步骤包括：

S1，确定各所述图像采集器与所述目标物体之间的目标距离；

S2，确定各所述图像采集器的目标俯仰角；

S3，确定相邻所述图像采集器之间的目标间距；

S4，确定各所述图像采集器的目标拍摄时间间隔和目标拍摄次数；

S5，根据所述目标距离、目标间距、目标俯仰角对各所述图像采集器的位姿进行调整，根据所述目标拍摄时间间隔和目标拍摄次数，对所述拍摄控制电路进行控制。

下面以图1所示的具有三个图像采集器的三维建模设备为例，对本实施例的各步骤进行具体说明：

当三维建模设备结构如图1所示时，步骤S1包括：

S11，根据各所述图像采集器的分辨率(包括水平方向分辨率X和竖直方向分辨率Y)和像元大小u(单位μm)，计算各所述图像采集器的靶面尺寸，包括水平方向靶面尺寸x(单位mm)和竖直方向靶面尺寸y(单位mm)：

x＝X*u

y＝Y*u

S12，根据各所述图像采集器的靶面尺寸x、y和镜头焦距f，计算各所述图像采集器的水平视场角fov_x和竖直视场角fov_y：

S13，根据各所述图像采集器的水平视场角fov_x和竖直视场角fov_y、以及所述目标物体的外接球半径r(单位m)，计算各所述图像采集器与所述目标物体之间的最小距离。

如图4所示，三个图像采集器从上至下分别命名为图像采集器A、B、C，其中，图像采集器B与目标物体处于同一水平面(即图像采集器B的镜头中心与目标物体外接球的圆心齐平)，图像采集器A、C对称设置于图像采集器B的上、下方。假设B与目标物体之间的水平直线距离为R(m)，则可以根据水平视场角fov_x、竖直视场角fov_y与目标物体的虚拟外接球的半径r(考虑到目标物体长宽高并不等同，因而将其外接球作为基准)，计算出图像采集器B与目标物体的距离R的最小值R_min，图像采集器A、C与目标物体的距离D(m)的最小值D_min：

S14，根据各所述图像采集器与所述目标物体之间的最小距离，确定各所述图像采集器与所述目标物体之间的目标距离。

应该理解，各所述图像采集器与所述目标物体之间的目标距离应大于对应的最小距离。

当三维建模设备结构如图1所示时，步骤S2包括：根据各所述图像采集器与所述目标物体之间的目标距离，计算各所述图像采集器的目标俯仰角。

以图4为例，图像采集器B与目标物体处于同一水平面，则图像采集器B的俯仰角为0；图像采集器A的俯角与图像采集器C的仰角α为：

其中，D为图像采集器A、C与目标物体之间的目标距离，R为图像采集器B与目标物体之间的目标距离。

当三维建模设备结构如图1所示时，步骤S3包括：根据各所述图像采集器的目标俯仰角，计算相邻所述图像采集器之间的目标间距。

以图4为例，图像采集器A、C与图像采集器B之间的目标距离d为：

d＝D*sinα

其中，D为图像采集器A、C与目标物体之间的目标距离。

当三维建模设备结构如图1所示时，步骤S4包括：根据所述目标物体转动一周的时间、以及预设的图像纵向重叠度，确定所述目标拍摄时间间隔。

在本实施列中，图像重叠度包括图像纵向重叠度P_x％和图像旁向重叠度P_y％，通常纵向重叠度P_x％≥60％，旁向重叠度P_y％≥30％。如图5所示，图像纵向重叠度指同一图像采集器拍摄的相邻两张图像(即图像一和图像二)的重叠度，旁向重叠度指相邻两个图像采集器同时拍摄的图像(即图像一和图像三)的重叠度。

如图6所示，水平方向上相邻图像(即同一图像采集器拍摄的相邻图像)的重叠区域夹角为β，重叠区域对应弧长p，图像采集器水平视场角范围内对应弧长l，则有：

β＝π-fov_x-θ

p＝β*r

l＝(π-fov_x)*r

p/l≥P_x％

由上述式化简计算可得到θ的最大值。

应该理解，在确保建模可行性的情况下，图像采集器拍摄的图像数量越少，建模效率越高，则θ取最大值为最佳。为了实现建模，图像采集器在目标物转动一周时的拍摄次数m为：

m＝2*π/θ

基于此，当转盘转动一周需要的时间为n(单位s)时，各图像采集器的目标拍摄时间间隔应为：

t＝n/m

其中，n根据转台的转速确定。

需要指出，确定所述相关参数的过程由装置配套的一体化计算程序完成。

当三维建模设备结构如图1所示时，步骤S5包括：

通过移动可调节移动夹6，以将相邻电动推杆5的间距调节为所述目标间距；通过对云台进行调节，以将各图像采集器的俯仰角调节为所述目标俯仰角；通过电动推杆驱动电路驱动电动推杆进行伸缩，以将各图像采集器与目标物体之间的距离自动调节为所述目标距离；通过拍摄控制电路，控制各图像采集器以所述目标拍摄时间间隔进行自动拍摄，拍摄次数为所述目标拍摄次数。

在一个具体的应用场景中，各图像采集器均采用pointgrey彩色工业相机实现，型号为BFLY-U3-23S6C-C，其分辨率X*Y为1920×1200，像元大小u＝5.86μm，镜头焦距f＝8mm。选取近似最小外接球半径为20cm的文物，设定可调速转台15的转速为90r/s。通过本实施例的方法，可以自动计算出图像采集器与目标物体的水平直线距离为0.35m，定时拍摄间隔为10s，上方相机俯角与下方相机仰角为45.61°，相邻图像采集器的竖直间距为0.35m，单个相机最少拍摄像片数量为9张。三个图像采集器12同步拍照，完成一个目标物体的数据采集共耗时90秒，至少需要拍摄27张图像。

获取目标物体的系列图像后，利用三维建模算法进行批量自动建模，即可得到目标物体的高精度三维模型。

例如，可以采用以下方式对目标物体(如文物)进行三维建模：

首先，对获取到的***图像进行图像匹配。具体可以使用运动恢复结构(SfM)方法提取图像特征点，估计相机位置，获取相机参数与稀疏点云。由于通过前端精细感知，相邻图像的基线短、重叠度大、同名点出现在多幅影像上，使得多余观测较多，空间前方交会的精度高，图像特征匹配的结果可靠。

而后，利用多视角立体几何(MVS)方法获得稠密点云，根据空间、几何和纹理等要素对点云分割，获得全覆盖文物的最少点云信息，根据这些点重建物体表面。由于没有控制点，指定第一幅影像的坐标系作为模型所在的世界坐标系，并进行纹理映射，最终获得三维模型。

本实施例提供的控制方法能够自动获取三维重建设备相关的硬件参数和拍摄参数，从而实现对三维重建设备的精确控制，控制过程简单便捷精准。此外，利用重叠度来计算图像采集器的目标拍摄时间间隔，可以使图像承载更多图像信息，使得通过较少的图像数量即可建立高精度模，能够有效提高效率、降低图像数据冗余，同时由于光源的作用，能够保证拍摄图像的质量。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (12)

1.一种基于多目视觉的三维建模设备，其特征在于，包括：

转台，用于带动目标物体转动；

至少三个图像采集器，一一对应地安装于至少三个电动推杆上，用于拍摄所述目标物体的图像，以便根据所拍摄的图像建立三维模型；

电动推杆驱动电路，用于驱动所述电动推杆带动相应所述图像采集器移动；

拍摄控制电路，用于控制所述至少三个图像采集器进行同步拍摄。

2.根据权利要求1所述的三维建模设备，其特征在于，所述设备还包括：

光源，用于照射所述目标物体。

3.根据权利要求1所述的三维建模设备，其特征在于，所述设备还包括：转台支撑架，用于承载所述转台。

4.根据权利要求1所述的三维建模设备，其特征在于，所述转台包括：转盘以及用于带动所述转盘转动的轴系和齿轮系。

5.根据权利要求1所述的三维建模设备，其特征在于，所述电动推杆安装于推杆支撑架上。

6.根据权利要求1所述的三维建模设备，其特征在于，所述图像采集器通过云台安装于所述电动推杆上。

7.根据权利要求1所述的三维建模设备，其特征在于，所述电动推杆通过可调节移动夹安装于所述推杆架上。

8.一种用于前述权利要求1-7中任一项所述三维建模设备的控制方法，包括：

确定各所述图像采集器与所述目标物体之间的目标距离；

确定各所述图像采集器的目标俯仰角；

确定相邻所述图像采集器之间的目标间距；

确定各所述图像采集器的目标拍摄时间间隔和目标拍摄次数；

根据所述目标距离、目标间距、目标俯仰角对各所述图像采集器的位姿进行调整，根据所述目标拍摄时间间隔和目标拍摄次数，对所述拍摄控制电路进行控制。

9.根据权利要求8所述的控制方法，其特征在于，所述确定各所述图像采集器与所述目标物体之间的目标距离，包括：

根据各所述图像采集器的分辨率和像元大小，计算各所述图像采集器的靶面尺寸；

根据各所述图像采集器的靶面尺寸和焦距，计算各所述图像采集器的水平视场角和竖直视场角；

根据各所述图像采集器的水平视场角和竖直视场角、以及所述目标物体的外接球半径，计算各所述图像采集器与所述目标物体之间的最小距离；

根据各所述图像采集器与所述目标物体之间的最小距离，确定各所述图像采集器与所述目标物体之间的目标距离。

10.根据权利要求8所述的控制方法，其特征在于，所述确定各所述图像采集器的目标俯仰角，包括：

根据各所述图像采集器与所述目标物体之间的目标距离，计算各所述图像采集器的目标俯仰角。

11.根据权利要求8所述的控制方法，其特征在于，所述确定相邻所述图像采集器之间的目标间距，包括：

根据各所述图像采集器的目标俯仰角，计算相邻所述图像采集器之间的目标间距。

12.根据权利要求8所述的控制方法，其特征在于，所述确定各所述图像采集器的目标拍摄时间间隔和目标拍摄次数，包括：

根据所述目标物体转动一周的时间、以及预设的图像纵向重叠度，确定所述目标拍摄时间间隔和目标拍摄次数。

Images