CN106683068A

CN106683068A - 一种三维数字化图像采集方法及设备

Info

Publication number: CN106683068A
Application number: CN201510738302.3A
Authority: CN
Inventors: 王伟; 杨良锋
Original assignee: GEOLOGICAL MUSEUM OF CHINA; Rich Long-Range Digital Technology Co Ltd Of Beijing Literary Composition
Current assignee: GEOLOGICAL MUSEUM OF CHINA; Rich Long-Range Digital Technology Co Ltd Of Beijing Literary Composition
Priority date: 2015-11-04
Filing date: 2015-11-04
Publication date: 2017-05-17
Anticipated expiration: 2035-11-04
Also published as: CN106683068B

Abstract

本发明提供一种三维数字化图像采集方法及设备，包括：步骤S1，安装图像采集设备，标定控制点和器物盘坐标系；步骤S2，标定相机参数；步骤S3，环物拍摄得到拍摄对象的纹理数据；步骤S4，批处理初始图像进行畸变校正，得到无畸变图像；步骤S5，根据无畸变图像和相机标定参数，采用计算机视觉三维重构算法进行点云数据获取加工处理，得到基于纹理数据的三维点云数据；步骤S6，根据相机标定参数、三维点云数据、源影像数据，计算源影像三维映射结果，获取纹理点云匹配数据；步骤S7，拟合三维纹理数据与三维点云数据，实现基于环物影像的实时测量与交互展示。该方法及设备数据采集完整性高、精度稳定、自动化程度高。

Description

一种三维数字化图像采集方法及设备

技术领域

本发明涉及图像识别及处理领域，特别是一种三维数字化图像采集方法及设备。

背景技术

三维数字采集技术是近年来发展起来的图像识别及处理的高新技术，通过扫描测量方法，以拍摄对象的“点云”形式获取其表面的图像数据，可以快速、大量地采集空间点位信息，从而快速、精确地获取物体的三维图像信息。基于此项技术的发展，近年来，在文物考古领域也开展了一系列三维数字采集技术的研究与应用。由于文物器物本身的脆弱性和独一无二性，如何准确获取、保护、传承、展示这些文物尤为重要。

伴随着大批博物馆硬件条件改善的完成，数字博物馆建设将逐步成为博物馆软件建设的重点工作，然而尽管以故宫、上博、南博等为代表的大型博物馆在数字化领域均有长期投入，但是文物三维数字化仍然缺乏进展，其瓶颈就是现有数字化解决方案无法满足博物馆对文物三维数字化的严格质量要求。

现有技术中，基本沿用传统三维制作技术路线，即先将点云数据导入到第三方软件如GEOMAGIC中进行网格化生成模型，模型文件再导入到三维制作软件如MAX或MAYA中进行展UV，然后将纹理数据处理成贴图文件，再利用这些数据在三维制作软件或虚拟现实平台软件中进行动画或实时交互展示。

极少数公司也会自己开发工具将点云生成网格模型，并利用特征点匹配算法自动将纹理数据以贴图的形式赋予每个小网格面，从而完成自动贴图，这种方式虽然可以做到肉眼难以检查，但是从原理上讲均属于大规模的人工干预，其数据的真实科学性无法得到保障，因此对于文物三维数字化的典藏需求无法满足。

因此，如何提高三维数字采集技术在文物考古领域的数据采集完整性、稳定性及数据质量，是本领域技术人员亟待解决的问题。

发明内容

本发明所要解决的技术问题在于，提供一种三维数字化图像采集方法及设备，不仅能够高质量地采集纹理和三维点云数据，而且能消除大规模的人工干预，从而提升了数据采集的完整性、稳定性及数据质量。

为了解决上述技术问题，本发明提供一种三维数字化图像采集方法，包括：

步骤S1，安装图像采集设备，标定控制点和器物盘坐标系；

步骤S2，标定相机参数，其中，相机镜头畸变系数(k1，k2，p1，p2)；

步骤S3，环物拍摄得到拍摄对象的纹理数据，形成初始图像，获取初始图像坐标(x，y)；

步骤S4，批处理初始图像进行畸变校正，根据直接线性变换算法，利用相机标定参数解算畸变系数，得到无畸变图像，获取校正后图像坐标(X，Y)；

步骤S5，根据无畸变图像和相机标定参数，采用计算机视觉三维重构算法进行点云数据获取加工处理，得到基于纹理数据的三维点云数据；

步骤S6，根据相机标定参数、三维点云数据、源影像数据，计算源影像三维映射结果，获取纹理点云匹配数据；

步骤S7，拟合三维纹理数据与三维点云数据，实现基于环物影像的实时测量与交互展示。其中，所述步骤S2将同名控制点的像方和物方坐标关联起来并解算，具体包括：

步骤S21，图像预处理，消除图像背景；

步骤S22，控制点目标细分定位；

步骤S23，控制点识别；

步骤S24，识别准确度检核。

其中，所述步骤S22进一步包括：

步骤S221，使用低通滤波模板去除影像噪声完成图像去噪；

步骤S222，采用多窗口采样法求取全局背景阈值，完成控制点目标和背景目标分离；

步骤S223，采用多阈值聚类算法完成控制点目标间的分离；

步骤S224，采用质心法、带阈值的质心法、曲面拟合法、平方加权质心法，完成控制点目标的细分定位。

其中，所述步骤S4的畸变校正公式为：

其中，

其中，所述步骤S5具体包括：

步骤S51，获取无畸变图像后，进行特征检测自动匹配，实现三维重构；

步骤S52，对无畸变图像的特征点和非特征点进行匹配扩散，完成三维物体的稠密重建；所述特征点采用梯度相似性技术匹配扩散，所述非特征点采用几何模型选择技术和灰度相似性技术匹配扩散；

步骤S53，整体优化运动参数与三维点云数据，建立高精度的三维模型。

其中，所述步骤S6具体包括：

步骤S61，输入相机标定参数、三维点云数据、源图像数据；

步骤S62，采用点云投影映射算法，将三维点云数据投射到各个图像之中，使得图像上的每一个像素点均对应一个或多个三维点云数据；

步骤S63，采用遮挡自适应剔除算法，将一个像素对应的多个三维点云进行剔除；

步骤S64，采用三维一致性融合算法处理剩余的冗余三维点云数据，将融合结果赋予一个像素，使像素与三维点云数据一一对应。

步骤S65，输出源图像三维映射结果。

其中，所述步骤S7具体包括：

步骤S71，确认数据清单，所述数据清单包括通过畸变校正处理的高清图片、每张图片对应的镜头信息、由点云转化的高细节三维模型；

步骤S72，将三维模型按照每张图像镜头的角度渲染出空间坐标信息序列图；

步骤S73，将高清图片进行缩放以匹配展示屏幕尺寸，生成图像序列用于实时展示浏览；

步骤S74，分别将图像序列和空间坐标信息序列图加载到程序中，通过用户点击选择图像上的像素点，查找该图像对应的空间坐标信息图中的像素点，然后将像素转化成坐标信息，通过两个点的坐标信息计算出距离。

其中，所述步骤S7具体包括：

步骤S72，高细节三维模型预处理，复制获得副本0，将副本0进行碱面和四边面网格优化处理，再对副本0添加uv信息，并分块优化uv，清除uv拉伸，然后复制副本0获得副本1，将副本1做平滑处理，同时保留并平滑uv，将模型面数增加至原模型以上，然后与原模型进行投射，在副本1上重建细节；

步骤S73，获取副本1表面空间信息，生成空间坐标信息图；

步骤S74，缩放高清图片以匹配展示屏幕尺寸，生成图像序列用于实时展示浏览；

步骤S75，把图像序列加载到展示程序中，将每张图像对应的摄像机信息也同时加载进来，利用三维引擎对摄像机数据进行重建，然后加载模型和空间坐标信息图数据。

本发明还提供了一种三维数字化图像采集设备，包括环物影像三维重建设备和设于环物影像三维重建设备***的外嵌便携式控制场；

所述环物影像三维重建设备包括底座、摆臂、相机和器物盘，所述摆臂连接于底座，所述相机设于摆臂上，所述器物盘通过导轨升降台立于底座上，所述器物盘可旋转；

所述外嵌便携式控制场包括沿向外伸出方向包设于器物盘***的控制板、垂直于控制板上的竖杆，所述控制板包括依次相接的立板、斜板、底板，所述底板位于导轨升降台下方，所述竖杆的顶点为坐标已知的控制点，所述控制点布设于器物盘的***；

所述立板垂直于底板，所述斜板与底板的夹角为135度，所述控制点均匀布设于器物盘的两侧及与相机相对的一侧，所述竖杆为金属螺纹钢立柱。

进一步地，上述的三维数字化图像采集设备中，所述器物盘设有减速传动***及靶标控制点***；所述导轨升降台包括两根以上的立柱，所述立柱通过蜗轮蜗杆带动同步升降，并支撑器物盘在竖直方向运动。

本发明提供的三维数字化图像采集方法及设备，采用采集软硬件***与三维测量展示整体解决方案，在全流程上具有较高的自动化作业水平，通过纹理数据获取三维点云数据，高精度地将纹理数据与点云数据进行配准，再结合环物影像展示的无干预方式，利用高精度拟合展示理论进行文物的三维交互展示与三维测量，实现了三维展示中的“所见即所得”，从而提升了数据采集的完整性、稳定性及数据质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明三维数字化图像采集方法的流程示意图；

图2是本发明三维数字化图像采集设备的结构示意图。

图1-2中的序号和各部分结构及名称如下：

1、环物影像三维重建设备；2、外嵌便携式控制场；3、底座；4、摆臂；5、相机；6、器物盘；7、导轨升降台；8、控制板；9、竖杆；10、立板；11、斜板；12、底板；13、控制点。

具体实施方式

以下结合附图对本发明实施例进行详细说明。

请参照图1所示，本发明提供一种三维数字化图像采集方法，包括：

步骤S1，安装图像采集设备，标定控制点和器物盘坐标系；

步骤S3，环物拍摄得到拍摄对象的纹理数据，形成初始图像，获取初始图像坐标(x，v)；

步骤S7，拟合三维纹理数据与三维点云数据，实现基于环物影像的实时测量与交互展示。

以下对各步骤进行具体说明。

步骤S1中，安装图像采集设备，布设相机、器物盘及控制场，将控制场分别布设在器物盘的左右和后方，这样在相机0～90度的旋转过程中，控制点可以均匀的分布在相机幅面中，而且控制点在相机0～90度中的任何拍摄位置都可以形成三维布局；在上述匀布控制点的控制场基础上，定义控制点和器物盘坐标系。

步骤S2将同名控制点的像方和物方坐标关联起来并解算，具体包括：

步骤S21，图像预处理，消除图像背景；

步骤S22，控制点目标细分定位；

步骤S23，控制点识别；

步骤S24，识别准确度检核。

步骤S21进一步包括：根据相机标定参数，对拍摄的图像进行位置的初步计算，根据先验知识大致确定图像内所存在的控制点数量和编号。

步骤S22进一步包括：

步骤S221，使用低通滤波模板去除影像噪声完成图像去噪；

步骤S223，采用多阈值聚类算法完成控制点目标间的分离；

步骤S3中，环物拍摄时设置相机拍摄间隔时间、相机拍摄与激光控制点协同工作、转盘旋转工作参数及相机旋转工作参数，使设备可以完成自动拍摄。通过以上设置，得到拍摄对象的纹理数据，形成初始图像，获取初始图像坐标(x，y)。

步骤S3完成了本发明三维数字化图像采集方法的数据采集环节，通过控制场测量、相机标定和相机定位算法提高了数据采集精度。控制场测量可以为相机建立高精度的固定坐标系，定标相机可以为后期图像的畸变校正提供参数信息，相机定位算法可以通过画面中控制场信息变化求出相机自身的准确位置，对机械***运动中出现的随机误差可以进行很好的校正，这两方面技术工作在数据采集阶段确保了数据的精度质量。

步骤S4中，每次纹理数据采集完成后需要通过畸变校正软件的批量处理进行畸变校正，畸变校正后的数据才可以提交到下一个点云数据获取环节使用，以克服由于光学镜头的加工会存在的误差而造成的像元畸变问题。

根据直接线性变换算法，利用相机标定参数解算畸变系数，根据以下公式对初始图像进行畸变校正，从而得到无畸变图像，获取校正后图像坐标(X，Y)。

其中，

在畸变校正过程中，由于像素映射关系可能并不是一一对应的，即(X，Y)坐标值为整数时，与之对应的(x，y)就不一定是整数，而非整数的(x，y)坐标在原图上的值是没有定义的，即没有灰度值，为此需要图像的插值计算，内插出改点的灰度值。内插的方法采用快速高效的双线性插值方法。

步骤S5具体包括：

具体来说，本发明采用的是局部灰度序方法来实现特征点匹配：利用整体灰度序将结构区域的划分为若干子集合；应用局部灰度序方法对每个像素的局部灰度序进行编码，对每个子集合***部灰度序方法分布直方图；将所有子集合的局部灰度序方法分布直方图组成一个向量作为结构区域的特征描述。该方法不需要估计主方向，同时包含了局部和整体的灰度序信息，因而具有很强的区分能力，对儿何旋转和光照单调变化具有不变性，同时对视角变化、图像模糊和JPEG压缩等也有很强的鲁棒性。大量的实验表明：局部灰度序方法的匹配的性能超越了当前常用特征描述，比如SIFT，DAISY和HRI-CSLTP。

同时，本发明采用三维重构算法进行点云数据获取加工处理，大大提升了拍摄精度及自动化程度：可采用普通单反数码相机，无需固定焦距，可以根据具体拍摄环境实时调整镜头焦距。相机无需提前进行任何标定，因此也就无需任何三维控制场、标定模板等；相机的内外参数信息由***自动计算，灵活度高；在引入控制点和相机标定的条件下精度将得到更好的保障。图像拍摄方式无特殊约束或限制，只需手持自由拍摄即可，无需区域划分；在高精度环物摄影平台下作业，可更好保障点云获取精度。全自动三维建模，从底层图像处理到生成最终的三维模型，全部自动实现，无需人工交互。三维建模精度与激光扫描精度相当。

步骤S6具体包括：

步骤S61，输入相机标定参数、三维点云数据、源图像数据；

步骤S64，采用三维一致性融合算法处理剩余的冗余三维点云数据，将融合结果赋予一个像素，使像素与三维点云数据一一对应；

步骤S65，输出源图像三维映射结果。

需要说明的是，相机标定参数包括相机的内参数和外参数数据。步骤S5和步骤S6完成了本发明三维数字化图像采集方法的数据加工环节。采集数据速度、精度达到激光三维扫描设备同等水平，点云自动拼接无需控制点、设备要求简单的特点。点云数据生产出来后，通过上述步骤及算法生成纹理点云配准文件，该文件同点云数据和纹理数据共同构成了后期展示的全部数据基础。

本发明采用模式识别领域的三维重构算法，完成基于环物摄影影像数据的三维点云数据获取，因此点云数据一旦形成即可与畸变校正后的纹理像素实现一对一的拟合对映，我们在将点云三维空间数值拟合赋予每个像素后，得到了一幅幅可支持精确三维测量的环物影像数据，该数据最终以交互式环物影像方式完成展示，拟合展示技术理论与现有三维展示技术理论相比实现了以最小的人工干预完成三维测量展示的目的，以所见即所得的设计思想最大限度地保障了数据的真实性。

步骤S7具体包括：

基于步骤S7的以上方法，本发明进一步提出了基于精确坐标点的拟合展示方案，可以获得更高的测量精度，具体步骤如下：

步骤S73，获取副本1表面空间信息，生成空间坐标信息图；

在这种方法中，副本0作为低面模型具有很少的点和面，渲染速度更快，更适合实时展示，而副本1和副本0具有相同的uv映射信息，所以由副本1所生成的空间坐标信息图同样适用于副本0，这样就达到了用低面模型来承载高细节模型信息的目的，从而使实时渲染展示更加快速。在三维引擎中对模型实时应用背面剔除技术处理，使得模型背面的信息被屏蔽掉。在测量过程中只需要观察模型时能看到的面的数据，所以要将模型背面的信息屏蔽掉以避免用户操作时不小心点到了模型的背面。

测量时，用户通过在图像中点击选择得到一点，由视点处发射一条到该点的射线与模型接触后即可读取空间坐标信息图内的具体信息，通过信息转化得到该点的三维空间坐标，再通过两点坐标计算出距离。

步骤S7的第二种方案的数据精度要远远高于第一种方案。在第一种方案的渲染空间坐标信息序列图环节中，渲染原理是通过摄影机投射的方式映像的，所以每个空间数据在不同的镜头角度的图像上并不唯一，会因摄影机方位的细小误差造成更大的数据误差；而在第二种方案中采取的uv映射方式可以做到表面每个空间点只有一个数据，而且数据值域梯度更大，能更好的还原真实数据。同时，在第一种方案中，用的是空间坐标信息序列图，是每个摄影角度都有一张图像数据，耗费更多的内存资源；而在第二种方案中，只用一张空间坐标信息图来表示坐标数据，占用资源更少。另外，在第一种方案中，用户只能在一个角度去测量距离，而且测量后的直观线段显示结果会在用户转换其他视角后无法保留；而在第二种方案中，解决了这个问题，因为用的是三维引擎，所以可以在任意角度测量和观测结果线段。

由于藏品标本纹理与材质的高度复杂性，采用点云与纹理拟合展示的技术路线，可以支持使用人员在以三维交互的方式观看环物影像的同时，可以在高质量二维纹理图像上直接利用拟合点云空间信息进行复杂的三维测量，实现功能强大的交互展示应用。本发明提供的点云数据与纹理数据的处理方法，解决纹理数据的畸变处理、相机位置提取、点云大数据量运算等问题，将三维点云与纹理数据进行三维拟合展示并开发测量应用功能。

通过上述说明可知，本发明所述的三维数字化图像采集方法，通过纹理数据获取三维点云数据，高精度地将纹理数据与点云数据进行配准，再结合环物影像展示的无干预方式，利用高精度拟合展示理论进行文物的三维交互展示与三维测量，实现了三维展示中的“所见即所得”，从而提升了数据采集的完整性、稳定性及数据质量。

本发明还提供了一种三维数字化图像采集设备，包括环物影像三维重建设备1和设于环物影像三维重建设备1***的外嵌便携式控制场2；所述环物影像三维重建设备1包括底座3、摆臂4、相机5和器物盘6，所述摆臂4连接于底座3，所述相机5设于摆臂4上，所述器物盘6通过导轨升降台7立于底座3上，所述器物盘6可旋转；所述外嵌便携式控制场2包括沿向外伸出方向包设于器物盘6***的控制板8、垂直于控制板8上的竖杆9，所述控制板8包括依次相接的立板10、斜板11、底板12，所述底板12位于导轨升降台7下方，所述竖杆9的顶点为坐标已知的控制点13，所述控制点13布设于器物盘6的***；所述立板10垂直于底板12，所述斜板与底板12的夹角为135度，所述控制点13均匀布设于器物盘6的两侧及与相机5相对的一侧，所述竖杆9为金属螺纹钢立柱。

所述外嵌便携式控制场2设计在环物影像三维重建设备1的***，可以确保摆臂4旋转过程中，控制点13能够均匀的分布在相机5幅面中，而且控制点13在相机5的任何拍摄位置都能够形成三维布局；所述摆臂4可0～90度地旋转，带动相机5可0～90度地旋转；所述器物盘6用于放置拍摄对象，并通过马达带动旋转，从而带动拍摄对象旋转，通过导轨升降台7带动上升、下降，从而带动拍摄对象上升、下降；所述相机5用于采集拍摄对象的图像，每幅图像都实时传入图像采集设备的***中；所述控制板8、垂直于控制板8上的竖杆9形成了所述外嵌便携式控制场2。

所述三维数字化图像采集设备按照下述图像拍摄方法获取拍摄对象的360张图像，并将图像作为下一步处理流程的输入：将拍摄对象放置在器物盘6上，所述器物盘6位于外嵌便携式控制场2的包围中，调整摆臂4的高度和方向使相机5固定于拍摄对象的上方，相机5的主光线对准摄物对象，器物盘6经马达控制进入旋转的过程中，相机5按等间隔获取拍摄对象的图像，每幅图像都实时传入图像采集设备的***中。

所述摆臂4在0～90度的旋转过程中，控制点13可以均匀的分布在相机5幅面中，而且控制点13在相机5的0～90度中的任何拍摄位置都可以形成三维布局。所述外嵌便携式控制场2的三维分布，有利于提高解算精度；均匀分布并可以填充整个相机5幅宽。在布设上，考虑相机5焦距分布在17～35范围内，因此控制场按最大幅面进行布设。

进一步地，如图2所示，在本发明实施例提供的三维数字化图像采集设备中，所述器物盘6设有减速传动***及靶标控制点***；所述导轨升降台7包括两根以上的立柱，所述立柱通过蜗轮蜗杆带动同步升降，并支撑器物盘6在竖直方向运动。通过上述装置，所述器物盘6和导轨升降台7的运动更加精确，有助于提升图像采集的精确性。

从上述技术方案可以看出，本发明的三维数字化图像采集设备在环物影像三维重建设备1的基础上设计并建立了外嵌便携式三维控制场2，从而具备外部相机标定设备，点云生成精度有了大幅度提高，即使利用普通的单反级别非量测相机，其点云精度也可由分米级达到毫米级。设备精度的提高使其具有更广泛的应用，例如可以用于小型文物、地质标本的数据采集。

Claims

1.一种三维数字化图像采集方法，包括：

步骤S1，安装图像采集设备，标定控制点和器物盘坐标系；

2.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S2将同名控制点的像方和物方坐标关联起来并解算，具体包括：

步骤S21，图像预处理，消除图像背景；

步骤S22，控制点目标细分定位；

步骤S23，控制点识别；

步骤S24，识别准确度检核。

3.根据权利要求3所述的三维数字化图像采集方法，所述步骤S22进一步包括：

步骤S221，使用低通滤波模板去除影像噪声完成图像去噪；

步骤S223，采用多阈值聚类算法完成控制点目标间的分离；

4.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S4的畸变校正公式为：

其中，

。

5.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S5具体包括：

6.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S6具体包括：

步骤S61，输入相机标定参数、三维点云数据、源图像数据；

步骤S65，输出源图像三维映射结果。

7.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S7具体包括：

8.根据权利要求1所述的三维数字化图像采集方法，其特征在于，所述步骤S7具体包括：

步骤S73，获取副本1表面空间信息，生成空间坐标信息图；

9.一种三维数字化图像采集设备，其特征在于，包括环物影像三维重建设备(1)和设于环物影像三维重建设备(1)***的外嵌便携式控制场(2)；

所述环物影像三维重建设备(1)包括底座(3)、摆臂(4)、相机(5)和器物盘(6)，所述摆臂(4)连接于底座(3)，所述相机(5)设于摆臂(4)上，所述器物盘(6)通过导轨升降台(7)立于底座(3)上，所述器物盘(6)可旋转；

所述外嵌便携式控制场(2)包括沿向外伸出方向包设于器物盘(6)***的控制板(8)、垂直于控制板(8)上的竖杆(9)，所述控制板(8)包括依次相接的立板(10)、斜板(11)、底板(12)，所述底板(12)位于导轨升降台(7)下方，所述竖杆(9)的顶点为坐标已知的控制点(13)，所述控制点(13)布设于器物盘(6)的***；

所述立板(10)垂直于底板(12)，所述斜板与底板(12)的夹角为135度，所述控制点(13)均匀布设于器物盘(6)的两侧及与相机(5)相对的一侧，所述竖杆(9)为金属螺纹钢立柱。

10.根据权利要求1所述的三维数字化图像采集设备，其特征在于，所述器物盘(6)设有减速传动***及靶标控制点***；所述导轨升降台(7)包括两根以上的立柱，所述立柱通过蜗轮蜗杆带动同步升降，并支撑器物盘(6)在竖直方向运动。