CN112146589A - 一种基于zynq平台的三维形貌测量***及方法 - Google Patents

Abstract

本发明公开了一种基于ZYNQ平台的三维形貌测量***及方法，将Linux***移植到ZYNQ平台，该***包括设置于ZYNQ板上的图像采集模块(100)、***标定模块(200)、图像预处理模块(300)、光条中心提取模块(400)和点云数据拼接融合模块(500)。对采集图像分别进行预处理和光条中心，对采集的图像数据、***参数进行点云数据融合与分析，以重建物体表面的三维形貌。本发明(1)解决了原有三维形貌测量***体积与功耗较大，无法测量质量较大、无法移动的物体这项问题，具有小型化、便携化和可移植等优点；(2)在ZYNQ平台上实现，移植了Linux***且集成了FPGA和双核ARM处理器，实现数据并行处理，大大提高工作效率。

Description

一种基于ZYNQ平台的三维形貌测量***及方法

技术领域

本发明涉及三维形貌测量技术，尤其涉及一种基于ZYNQ平台的三维形貌测量***及方法。

背景技术

三维形貌测量技术的发展始于20世纪60年代中期出现的三坐标测量仪器。因其测量速度快、效率高且易于自动化等优点，被普遍应用于工业领域。非接触测量式三维形貌测量可以在不与物体表面接触的情况下，使用光电传感器等器件获取物体表面形貌数据，在汽车轮船制造、航空航天、模具制造等表面难以直接测量的领域有重要的应用。

ZYNQ是Xilinx公司推出的一种嵌入式应用，也是一种可扩展处理平台。它集成FPGA和双核ARM Cortex-A9处理器，具有FPGA并行处理和硬件可扩展的优势，还具有成熟的ARM开发、丰富的接口、便捷的控制以及通过片上总线协议实现交互的特点。ZYNQ平台连接摄像头后，可以进行实时视觉图像采集和处理控制，将计算机技术、电子技术等方面结合，因其功能强、功耗低、可靠便携和编程简单等特点，在非接触式三维形貌测量方面有重要的研究与应用价值。

发明内容

基于上述现有技术存在的问题，本发明提出一种基于ZYNQ平台的三维形貌测量***及方法，将Linux***移植到ZYNQ平台，基于ZYNQ实现了基于光学原理的三维形貌测量***及方法。

本发明的一种基于ZYNQ平台的三维形貌测量***，将Linux***移植到ZYNQ平台，该***包括设置于ZYNQ板上的图像采集模块100、***标定模块200、图像预处理模块300、光条中心提取模块400和点云数据拼接融合模块500；其中：

所述图像采集模块(100)通过相机扫描被测物体的光平面获取被测物体表面轮廓的信息；所述***标定模块(200)用于标定***参数，包括相机标定、光平面标定、双相机联合标定；经所述***标定模块(200)得到的***参数，分别传送至所述图像预处理模块(300)和所述光条中心提取模块(400)；所述图像预处理模块(300)用于消除图像中干扰信息，包括图像滤波与边缘检测；所述光条中心提取模块(400)用于通过设计改进型的灰度重心法来细化光条在垂直于光平面方向上的的灰度重心，得到光条中心点位置；该算法具体过程如下：

设输入的光条图像上第i行上光条占用了n个像素点，在这n个像素点中，像素点的列最大值为max，最小列值为min，图像中第u行v列的像素点的灰度值用f(u,v)来表示，则区域中心的公式如下：

改进型的灰度重心法提取的是光条所占用的第u行上v∈(min,max)区域内的能量中心，进而得到被测物体坐标；所述点云数据拼接融合模块(500)用于对上述采集图像、***参数、光条中心位置进行融合与数据分析，完成三维形貌重建。

本发明的一种基于ZYNQ平台的三维形貌测量方法，该方法包括以下步骤：

步骤S1、将Linux***移植到ZYNQ平台，并在该***中调用OpenCV库中的函数编写三维形貌测量***程序，保证该程序在ZYNQ板上有一个运行的***环境；

步骤S2、***移植成功后，进行图像采集，包括光投影、相机参数设定；

步骤S3、利用CMOS图像传感器输出图像采集结果；

步骤S4、进行数据转换，将采集的图像信息转换为数字信息，得到HDMI现实图像、将数据写入DDR3进行保存；

步骤S5、根据测试平台位置与采集图像信息进行***参数标定，具体处理如下：

采用张正友标定法实现相机标定，即相机对空间中的物体进行图像采集，图像上的点与真实空间中的对应点之间存在一种转换关系。通过相机标定获取相应的转换关系，即相机内参矩阵、相机外参矩阵、畸变系数；

采用最小二乘法拟合实现光平面标定，即获得光平面上的特征点，利用最小二乘法进行拟合，在采用张正友标定法获得的空间坐标系下获取光平面的方程，得到光平面与像平面之间的对应关系；

采用直线拟合实现导轨方向余弦的标定，即移动拍照时，每一个拍摄位置都会产生一个局部坐标系，为获取各个拍摄位置的局部坐标系与空间坐标系之间的转换关系，需要对导轨的方向余弦进行标定；

通过一个二维平面靶标获取，固定平面靶标位置，相机在运动的导轨上对平面靶标进行拍照，获得多幅图像。通过OpenCV中FindChessboardCorners()获取棋盘内角点的坐标，将该坐标和角点进行相机标定，从而获取内角点在采用张正友标定法获得的空间坐标系下的坐标；通过多幅图像上内角点在该坐标系下的坐标进行直线拟合，得到导轨方向余弦。

双相机联合标定标定，即求解两个相机之间的转换关系，获取相机之间的旋转矩阵和平移向量。通过OpenCV中calibrateCamera()来单独求解每个相机捕获棋盘图像的旋转矩阵和平移向量，再通过双目标定函数stereoCalibrate()计算获取两个相机之间的旋转矩阵参和平移向量；

步骤S6、ZYNQ板外接HDMI设备对采集的图像进行实时显示，并进行采集图像处理，包括对采集图像先进行图像预处理，再进行光条中心提取；

步骤S7、对上述采集的图像数据、***参数进行点云数据融合与分析，即点云融合是通过旋转、平移等操作将多组不同坐标系下的点云数据统一到同一坐标系；数据分析是通过对***参数、点云数据进行分析，即根据***参数标定计算出两组空间坐标系之间的旋转矩阵和平移向量，并选择两个空间坐标系其中一个坐标系作为全局坐标系，根据标定计算出的旋转矩阵和平移向量，将另一坐标系上的全部点云转换到全局坐标系下，以重建物体表面的三维形貌。

与现有技术相比，本发明能够达成以下的有益技术效果：

(1)解决了原有三维形貌测量***体积与功耗较大，无法测量质量较大、无法移动的物体这项问题，具有小型化、便携化和可移植等优点；

(2)在ZYNQ平台上实现，移植了Linux***且集成了FPGA和双核ARM处理器，实现数据并行处理，大大提高工作效率。

附图说明

图1为本发明的一种基于ZYNQ平台的三维形貌测量***框图；

图2为本发明实施例示意图；

图3位本发明的一种基于ZYNQ平台的三维形貌测量方法整体流程图。

附图标记：

1、相机，2、光源，3、光平面，4、被测物体，5、工作台，6、一维精密导轨；100、图像采集模块，200、***标定模块，300、图像预处理模块，400、光条中心提取模块，500、点云数据拼接融合模块。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，本发明提供一种基于ZYNQ平台的三维形貌测量***，包括图像采集模块100、***标定模块200、图像预处理模块300、光条中心提取模块400和点云数据拼接融合模块500。

所述图像采集模块100通过相机扫描被测物体的光平面获取被测物体表面轮廓的信息，保证物体表面信息数据的全面性。

所述***标定模块200用于标定***参数，包括相机标定、光平面标定、双相机联合标定。相机标定通过设计的算法获取参数，根据空间、平面的关系对图像建立坐标系；光平面标定通过对光条中的特征点进行拟合，获取光平面在参考坐标系下的方程，得到光、物体表面的对应关系；双相机联合标定通过获取相机的内外参数和畸变系数，求解两个相机之间的转换关系。并且，所述相机标定方法优选张正友标定方法。所述光平面标定方法优选最小二乘法。

所述图像预处理模块300用于消除图像中干扰信息，增强信息可靠性，包括图像滤波与边缘检测。其中，图像滤波通过相关算法消除图像中的噪声，突出目标对象的特征；边缘检测通过检测图像上亮度值的不连续性对图像进行分割。所述图像滤波方法优选高斯滤波算法。所述边缘检测方法优选基于Canny边缘算子的灰度级间断的检测算法。

所述光条中心提取模块400用于提取光条的中心位置，进而获得被测物体坐标，确保测量***精度。所述光条中心提取模块优选灰度重心法。通过设计算法细化光条在垂直于光平面方向上的的灰度重心，得到光条中心点。

所述点云数据拼接融合模块用于对上述采集图像、***参数、光条中心等数据进行融合与数据分析，从而完成三维形貌重建。即，点云融合是通过旋转、平移等操作将多组不同坐标系下的点云数据统一到同一坐标系；数据分析是通过对***参数、点云数据进行分析，保证该测量***的高精度。

如图2所示，为本发明图像采集模块实施例图。示例性的，图像采集模块由光源1、相机2、工作台5、精密一维导轨6构成。光源1、相机2位置固定，竖直方向与工作台保持90°垂直；精密一维导轨6驱动被测物体4移动，同时相机2拍摄光平面3图像，使得包含该被测物体4的部分三维信息的光条31、32完整扫描，获取被测物体4的全部三维信息，完成图像采集。光条31、32为光平面与被测物体表面的切线，随着导轨移动，光源在被测物体上形成多个光平面，从而获得多条光条。

优选地，所述相机为OV5642双目摄像头，作为外设连接到ZYNQ平台。

如图3所示，本发明中的技术路线：

将Linux***移植到ZYNQ平台，并在该***中调用OpenCV库中的函数编写三维形貌测量***程序，保证该程序在ZYNQ板上有一个运行的***环境。***移植成功后将连接好外设相机的ZYNQ板固定在导轨起点处，搭建图2所示的图像采集模块，打开光源进行投影、设定相机参数，开始进行图像采集。ZYNQ外接相机中的CMOS图像传感器将采集的图像信息转化为数字信息，并调用DDR3储存模块对该信息进行保存，便于对采集数据进行后续处理，同时保证了该***数据的准确性。同时，ZYNQ板外接HDMI设备对采集的图像进行实时显示。测量程序根据测试平台位置与采集图像信息产生标定***的参数，并对图像进行预处理和光条中心提取等操作，最后对上述采集的图像数据、***参数等进行点云数据融合与分析，重建物体表面的三维形貌。

本发明的实现并不限于实施例；相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。凡是基于本发明精神所实现的相同或者实质相同的技术方案均落入本发明的专利保护范围。

Claims (2)

1.一种基于ZYNQ平台的三维形貌测量***，将Linux***移植到ZYNQ平台，其特征在于，该***包括设置于ZYNQ板上的图像采集模块(100)、***标定模块(200)、图像预处理模块(300)、光条中心提取模块(400)和点云数据拼接融合模块(500)；其中：

所述图像采集模块(100)通过相机扫描被测物体的光平面获取被测物体表面轮廓的信息；所述***标定模块(200)用于标定***参数，包括相机标定、光平面标定、双相机联合标定；经所述***标定模块(200)得到的***参数，分别传送至所述图像预处理模块(300)和所述光条中心提取模块(400)；所述图像预处理模块(300)用于消除图像中干扰信息，包括图像滤波与边缘检测；所述光条中心提取模块(400)用于通过设计改进型的灰度重心法来细化光条在垂直于光平面方向上的的灰度重心，得到光条中心点位置；该算法具体过程如下：

设输入的光条图像上第i行上光条占用了n个像素点，在这n个像素点中，像素点的列最大值为max，最小列值为min，图像中第u行v列的像素点的灰度值用f(u,v)来表示，则区域中心的公式如下：

利用改进型的灰度重心法提取光条所占用的第u行上v∈(min,max)区域内的能量中心，进而得到被测物体坐标；所述点云数据拼接融合模块(500)用于对上述采集图像、***参数、光条中心位置进行融合与数据分析，完成三维形貌重建。

2.一种基于ZYNQ平台的三维形貌测量方法，其特征在于，该方法包括以下步骤：

步骤S1、将Linux***移植到ZYNQ平台，并在该***中调用OpenCV库中的函数编写三维形貌测量***程序，保证该程序在ZYNQ板上有一个运行的***环境；

步骤S2、***移植成功后，进行图像采集，包括光投影、相机参数设定；

步骤S3、利用CMOS图像传感器输出图像采集结果；

步骤S4、进行数据转换，将采集的图像信息转换为数字信息，得到HDMI现实图像、将数据写入DDR3进行保存；

步骤S5、根据测试平台位置与采集图像信息进行***参数标定，具体处理如下：

采用张正友标定法实现相机标定，即相机对空间中的物体进行图像采集，图像上的点与真实空间中的对应点之间存在一种转换关系。通过相机标定获取相应的转换关系，即相机内参矩阵、相机外参矩阵、畸变系数；

采用最小二乘法拟合实现光平面标定，即获得光平面上的特征点，利用最小二乘法进行拟合，在采用张正友标定法获得的空间坐标系下获取光平面的方程，得到光平面与像平面之间的对应关系；

采用直线拟合实现导轨方向余弦的标定，即移动拍照时，每一个拍摄位置都会产生一个局部坐标系，为获取各个拍摄位置的局部坐标系与空间坐标系之间的转换关系，需要对导轨的方向余弦进行标定；

通过一个二维平面靶标获取，固定平面靶标位置，相机在运动的导轨上对平面靶标进行拍照，获得多幅图像。通过OpenCV中FindChessboardCorners()获取棋盘内角点的坐标，将该坐标和角点进行相机标定，从而获取内角点在采用张正友标定法获得的空间坐标系下的坐标；通过多幅图像上内角点在该坐标系下的坐标进行直线拟合，得到导轨方向余弦。

双相机联合标定标定，即求解两个相机之间的转换关系，获取相机之间的旋转矩阵和平移向量。通过OpenCV中calibrateCamera()来单独求解每个相机捕获棋盘图像的旋转矩阵和平移向量，再通过双目标定函数stereoCalibrate()计算获取两个相机之间的旋转矩阵参和平移向量；

步骤S6、ZYNQ板外接HDMI设备对采集的图像进行实时显示，并进行采集图像处理，包括对采集图像先进行图像预处理，再进行光条中心提取；

步骤S7、对上述采集的图像数据、***参数进行点云数据融合与分析，即点云融合是通过旋转、平移等操作将多组不同坐标系下的点云数据统一到同一坐标系；数据分析是通过对***参数、点云数据进行分析，即根据***参数标定计算出两组空间坐标系之间的旋转矩阵和平移向量，并选择两个空间坐标系其中一个坐标系作为全局坐标系，根据标定计算出的旋转矩阵和平移向量，将另一坐标系上的全部点云转换到全局坐标系下，以重建物体表面的三维形貌。

Images