CN117541730A - 一种水下目标的三维图像重建方法及*** - Google Patents
一种水下目标的三维图像重建方法及*** Download PDFInfo
- Publication number
- CN117541730A CN117541730A CN202410023763.1A CN202410023763A CN117541730A CN 117541730 A CN117541730 A CN 117541730A CN 202410023763 A CN202410023763 A CN 202410023763A CN 117541730 A CN117541730 A CN 117541730A
- Authority
- CN
- China
- Prior art keywords
- image
- affine
- laser
- affine image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 206
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000004040 coloring Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000007789 sealing Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种水下目标的三维图像重建方法及***，属于三维重建技术领域，方法包括获取预先标定的激光平面方程；获取第一原始图像和第二原始图像；对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；分别提取第一仿射图像和第二仿射图像中的激光线；利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。本申请具有提高对水下目标进行三维图像重建的准确性的效果。
Description
技术领域
本发明涉及三维重建技术领域，尤其是涉及一种水下目标的三维图像重建方法及***。
背景技术
水下目标的三维重建是指使用计算机视觉和图像处理技术，通过处理水下图像或激光扫描数据，还原出真实世界中的水下场景的三维模型。与陆地环境相比，水下环境存在光线衰减、散射、水流扰动以及水下物体的复杂形状、纹理等影响因素。
目前，三维重建的一种实现方式是通过结构光技术，结构光技术通过投射特定的光信息到物体表面，然后由摄像头采集，根据物体造成的光信号的变化，可以计算物体的位置和深度等信息，进而复原整个三维空间，结构光技术在陆地上已有了广泛的应用，但在水下进行形貌测量时，水体中光路折射等影响因素，导致精度降低结构光技术进行三维重建的准确性下降，所以如何提高水下目标的三维图像重建是目前亟待解决的问题。
发明内容
为了提高对水下目标进行三维图像重建的准确性，本申请提供了一种水下目标的三维图像重建方法及***。
第一方面，本申请提供的一种水下目标的三维图像重建方法，采用如下的技术方案：
一种水下目标的三维图像重建方法，包括：
获取预先标定的激光平面方程；
获取第一原始图像和第二原始图像；其中，第一原始图像和第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；
对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
分别提取第一仿射图像和第二仿射图像中的激光线；
利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；
提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。
可选的，所述对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像，具体包括：
获取标定板上至少四个指定点的真实坐标以及标定板在水下成像中每个对应指定点的水下坐标；
利用至少四个真实坐标和水下坐标，计算当前环境下的仿射变换矩阵；
基于仿射变换矩阵分别对第一原始图像和第二原始图像进行仿射变换计算，得到第一仿射图像和第二仿射图像。
可选的，所述分别提取第一仿射图像和第二仿射图像中的激光线，具体包括：
分别对第一仿射图像和第二仿射图像进行预处理及阈值筛选处理，以得到第一激光图像和第二激光图像；
分别对第一激光图像和第二激光图像进行灰度垂直投影，并基于灰度垂直投影结果对第一激光图像和第二激光图像进行区域分割，分别得到第一激光图像和第二激光图像中每行的连通区域；
提取每行的连通区域的几何中心，得到特征点；
分别对第一激光图像和第二激光图像中的所有特征点进行拟合，以得到第一仿射图像和第二仿射图像中的激光线。
可选的，所述利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线，具体包括：
在第一仿射图像上创建第一滑动窗口，并在第二仿射图像上创建第二滑动窗口；其中，第一滑动窗口和第二滑动窗口的尺寸一致，且第一滑动窗口在第一仿射图像上的位置和第二滑动窗口在第二仿射图像上的位置呈镜像对称分布；
确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中对应的搜索区域；
将第一仿射图像的激光线中待匹配的像素点作为第一滑动窗口的中心，第二滑动窗口在搜索区域内移动，并计算第一滑动窗口和第二滑动窗口的差异值，直至遍历整个搜索区域；
判断像素点对应的所有差异值中是否存在小于预设差异阈值的差异值，若是，则将第一仿射图像中对应的像素点作为匹配点，若否，则剔除第一仿射图像中对应的像素点；
基于第一仿射图像中所有的匹配点，得到第二仿射图像的校准激光线。
可选的，所述确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中对应的搜索区域，具体包括：
根据双目相机内外参，计算得到基础矩阵；其中，基础矩阵是用于表征第一成像平面和第二成像平面之间线性关系的矩阵；
根据基础矩阵和第一仿射图像的激光线中每个待匹配的像素点，计算第二仿射图像中对应的极线方程；
根据每个极线方程，确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中的搜索区域。
可选的，所述获取预先标定的激光平面方程之前，还包括：
采集具有线结构光照射的不同姿态标定板的标定图像；其中，标定图像至少采集三张；
利用交比不变性，通过标定图像对双目相机进行标定，以得到双目相机的内外参；
从标定图像中提取线结构光照射在标定板上与标定板内角点形成直线相交的特征点的世界坐标；
根据双目相机的内外参以及多个特征点的世界坐标，计算出多个特征点的相机坐标；
对多个特征点的相机坐标进行拟合，得到激光平面方程。
可选的，所述对多个特征点的相机坐标进行拟合，得到激光平面方程，具体包括：
根据多个特征点的相机坐标，构建原始数据矩阵；
对原始数据矩阵进行中心化处理，得到中心化矩阵；
将中心化矩阵和预设的归一化权重矩阵相乘，得到加权数据矩阵；
对加权数据矩阵进行奇异值分解，得到对角矩阵；
从对角矩阵中提取最小奇异值，并将最小奇异值对应的特征向量作为法向量；
对加权数据矩阵中每个特征点进行平均处理，得到加权平均特征点；
根据法向量和加权平均特征点，计算激光平面方程。
第二方面，本申请提供一种水下目标的三维图像重建***，采用如下技术方案：
一种水下目标的三维图像重建***，包括：
标定模块，用于获取预先标定的激光平面方程；
图像采集模块，用于获取第一原始图像和第二原始图像；其中，第一原始图像和第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；
图像变换模块，用于对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
激光线提取模块，用于分别提取第一仿射图像和第二仿射图像中的激光线；
约束模块，用于利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
三维点云转换模块，用于基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；
重建模块，用于提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。
第三方面，本申请提供一种图像处理设备，采用如下技术方案：
一种图像处理设备，包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如上述任一种方法的计算机程序。
第四方面，本申请提供一种计算机可读存储介质，采用如下技术方案：
一种计算机可读存储介质，包括存储有能够被处理器加载并执行如上述任一方法中的计算机程序。
综上所述，本申请包括以下有益技术效果：
将双目相机拍摄得到的第一原始图像和第二原始图像进行仿射变换，以实现“水下——陆上”的转换，减小水下折射等影响因素带来的误差，并提取第一仿射图像和第二仿射图像激光线，利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，提高了提取激光线的准确性，再基于校准激光线、激光平面方程以及双目相机的内外参，计算得到校准激光线的三维点云信息，最后，提取第二仿射图像的色彩信息，对三维点云信息进行着色得到三维重建图像，提高了水下目标重建点云的可观测性，利于区分辨别水下目标，从而实现了提高三维重建图像的准确性的效果；
采集当前环境下的标定图像，通过指定点的水下坐标与陆上的真实坐标的特殊映射关系，构造仿射变换矩阵，能够更好的适应双目相机在拍摄过程中光线由水、密封装置、空气才能进入双目相机镜头而发生的特殊折射，从而实现了对第一原始图像和第二原始图像进行仿射变换的效果；
利用第二仿射图像中激光线的像素点去约束第一仿射图像中激光线的待匹配像素点的提取，剔除第一仿射图像中的杂点，提高了激光线的提取精度与稳定性，且同时大大减小了搜索范围和计算量。
附图说明
图1是本申请其中一实施例水下目标的三维图像重建方法的流程图。
图2是本申请其中一实施例得到第一仿射图像和第二仿射图像的方法流程图。
图3是本申请其中一实施例提取第一仿射图像和第二仿射图像中的激光线的方法流程图。
图4是本申请其中一实施例得到第二仿射图像的校准激光线的方法流程图。
图5是本申请其中一实施例确定搜索区域的方法流程图。
图6是本申请其中一实施例标定激光平面方程的方法总体流程图。
图7是本申请其中一实施例拟合激光平面方程的方法流程图。
图8是本申请其中一实施例水下目标的三维图像重建***的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开一种水下目标的三维图像重建方法。参照图1，一种水下目标的三维图像重建方法，包括：
步骤S101：获取预先标定的激光平面方程；
步骤S102：获取第一原始图像和第二原始图像；
其中，第一原始图像和第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；双目相机包括两个摄像头，即第一摄像头以及第二摄像头组成立体视觉***，通过拍摄不同视角的图像以便实现三维重建。
在本实施例中，第一摄像头为黑白摄像头，第二摄像头为彩色摄像头。在其他实施例中，也可以将第一摄像头设置为彩色摄像头，第二摄像头设置为黑白摄像头，在此不做具体限定。
需要说明的是，线结构光由激光发射器向水下目标发出，以使线结构光照射的水下目标。考虑水下对不同波长的光的吸收特性，蓝色与绿色光在水下具有更远的传输特性，在本实施例中，激光发射器可以选取绿色线性激光发射器。
步骤S103：对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
其中，仿射变换包括缩放、平移和旋转等。
应当理解，在采集水下目标的图像，双目相机需要处于平面玻璃密封装置内，此时被测目标在水中，相机在玻璃密封装置的空气中进行拍摄，光线由水、密封装置、空气进入双目相机的镜头，在这个过程中会发生折射，利用仿射变换实现“水下——陆上”图像的转换，从而降低水下折射成像对重建精度的影响。
步骤S104：分别提取第一仿射图像和第二仿射图像中的激光线；
应当理解，第一仿射图像和第二仿射图像基于第一原始图像和第二原始图像得到，而第一原始图像和第二原始图像是以双目相机中两个摄像头不同的拍摄角度，拍摄具有线结构光照射的水下目标得到，所以在第一仿射图像和第二仿射图像中包含线结构光照射的水下目标。激光线即线结构光照射水下目标时，在水下目标上呈现的线性光在第一仿射图像和第二仿射图像的成像。
步骤S105：利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
步骤S106：基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；
其中，双目相机的内外参包括内参矩阵、旋转矩阵和平移矩阵，其中内参矩阵包括焦距、光心以及缩放因子。
应当理解，由于校准激光线在激光发射器发出的激光平面上，所以校准激光线上的二维像素点均符合激光平面方程上，由二维像素点通过双目相机的内外参可以转换至相机坐标，再通过联立光平面方程就能够实现校准激光线上二维像素点向相机坐标的三维点进行转换。
步骤S107：提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。
上述实施方式中，将双目相机拍摄得到的第一原始图像和第二原始图像，进行仿射变换，以实现“水下——陆上”的转换，减小水下折射等影响因素带来的误差，并提取第一仿射图像和第二仿射图像激光线，利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，提高了提取激光线的准确性，再基于校准激光线、激光平面方程以及双目相机的内外参，计算得到校准激光线的三维点云信息，最后，提取第二仿射图像的色彩信息，对三维点云信息进行着色得到三维重建图像，提高了水下目标重建点云的可观测性，利于区分辨别水下目标，从而实现了提高三维重建图像的准确性的效果。
参照图2，作为步骤S103的一种实施方式，步骤S103具体包括：
步骤S1031：获取标定板上至少四个指定点的真实坐标以及标定板在水下成像中每个对应指定点的水下坐标；
其中，标定板一种相机标定过程中的常用工具。标定板由一个带有特定图案的棋盘格组成，这些图案可以是方格、圆圈或者其他形状，在此不做具体限定，并且棋盘格的图案阵列和尺寸是已知的，利用标定板中的已知的棋盘格图案阵列为标定提供参考点，以便确定双目相机拍摄图像中的像素坐标与实际空间坐标之间的对应关系。
在本实施例中，标定板上至少四个指定点的真实坐标即可以通过已知的棋盘格图案获取。水下坐标可以由分析指定点在水下成像中的位置得到。
需要说明的是，选取的至少四个指定点所围成的面积应大于预设值，即指定点所围成的面积越大越能反映出更大范围的成像仿射关系。例如，可以选择标定板的四个顶角。
步骤S1032：利用至少四个真实坐标和水下坐标，计算当前环境下的仿射变换矩阵；
具体地，真实坐标和水下坐标的关系可以表示为：
，其中，（u，v）是水下坐标，（x，y）是真实坐标，M是仿射变换矩阵，a、b、c、d、e、f、g均是仿射变换矩阵中的待求解值。通常a代表缩放因子x方向；b代表缩放因子y方向；c代表x方向平移；d代表y方向平移；e代表 x方向倾斜；f代表 y方向倾斜；g: 代表旋转角度。
然后，根据四个真实坐标和水下坐标可以列出线程方程组：
；
其中，（u1，v1）、（u2，v2）、（u3，v3）以及（u4，v4）是四个水下坐标，（x1，y1）、（x2，y2）、（x3，y3）以及（x4，y4）是分别与水下坐标对应的真实坐标。
对线性方程组进行变换得到：；解出a、b、c、d、e、f、g即实现了仿射变换矩阵的求解。
步骤S1033：基于仿射变换矩阵分别对第一原始图像和第二原始图像进行仿射变换计算，得到第一仿射图像和第二仿射图像。
上述实施方式中，采集当前环境下的标定图像，通过指定点的水下坐标与陆上的真实坐标的特殊映射关系，构造仿射变换矩阵，能够更好的适应双目相机在拍摄过程中光线由水、密封装置、空气才能进入双目相机镜头而发生的特殊折射，从而实现了对第一原始图像和第二原始图像进行仿射变换的效果。
参照图3，作为步骤S104的一种实施方式，步骤S104具体包括：
步骤S1041：分别对第一仿射图像和第二仿射图像进行预处理及阈值筛选处理，以得到第一激光图像和第二激光图像；
具体地，预处理包括中值滤波和形态学处理，采用中值滤波来消除颗粒状噪声，以提高后续激光线提取的准确性，中值滤波可以有效地减少激光线图像中的颗粒状噪声，从而提升后续激光线的分割和检测质量。形态学处理进一步改善激光线的连通性和形状，具体地，先对第一仿射图像和第二仿射图像执行膨胀操作，通过扩展激光线的像素以填充任何空洞或断开的部分，有助于将不连续的激光线区域连接起来，提高激光线的连通性。然后再腐蚀操作，通过收缩激光线的像素以消除不必要的细节，腐蚀操作有助于去除激光线区域中的噪声和不需要的细小部分，同时保持较好的激光线形状。
具体地，在阈值筛选处理中，先确定一个合适的阈值范围。例如，在本实施例中，激光的强度和散射光的强度会有明显的差异，即可以通过激光的强度和散射光的强度选择合适的阈值范围。再利用阈值分割算法对第一仿射图像和第二仿射图像中的像素进行筛选，如果第一仿射图像和第二仿射图像中的像素值大于阈值，则将其视为激光，否则将其视为散射光并进行滤除，从而得到了第一激光图像和第二激光图像，避免了散射光对激光线产生的影响。
步骤S1042：分别对第一激光图像和第二激光图像进行灰度垂直投影，并基于灰度垂直投影结果对第一激光图像和第二激光图像进行区域分割，分别得到第一激光图像和第二激光图像中每行的连通区域；
步骤S1043：提取每行的连通区域的几何中心，得到特征点；
应当理解，将几何中心作为特征点能够有效的避免如传统激光中心线提取算法易受水下光斑的影响。
步骤S1044：分别对第一激光图像和第二激光图像中的所有特征点进行拟合，以得到第一仿射图像和第二仿射图像中的激光线。
具体地，对特征点的拟合可以采用最小二乘法，最小二乘法通过最小化特征点与拟合直线之间的垂直距离来确定最佳拟合直线，以得到激光线。
参照图4，作为步骤S105的一种实施方式，步骤S105具体包括：
步骤S1051：在第一仿射图像上创建第一滑动窗口，并在第二仿射图像上创建第二滑动窗口；
其中，第一滑动窗口和第二滑动窗口的尺寸一致，且第一滑动窗口在第一仿射图像上的位置和第二滑动窗口在第二仿射图像上的位置呈镜像对称分布。应当理解，双目相机拍摄得到的第一仿射图像和第二仿射图像中的特征点呈镜像对称，所以在进行匹配时需要将第二滑动窗口进行镜像翻转。
具体地，根据窗口大小，在图像中建立第一滑动窗口/>以及第二滑动窗口/>，大小为/>，/>为5。
步骤S1052：确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中对应的搜索区域；
步骤S1053：将第一仿射图像的激光线中待匹配的像素点作为第一滑动窗口的中心，第二滑动窗口在搜索区域内移动，并计算第一滑动窗口和第二滑动窗口的差异值，直至遍历整个搜索区域；
具体地，差异值的计算公式为：
。
步骤S1054：判断像素点对应的所有差异值中是否存在小于预设差异阈值的差异值，若是，则执行步骤S1055，若否，则执行步骤S1056：
在本实施例中，预设差异阈值可以设置为0.6。差异值越小说明第一滑动窗口和第二滑动窗口中的图像匹配度越高。
步骤S1055：将第一仿射图像中对应的像素点作为匹配点；
步骤S1056：剔除第一仿射图像中对应的像素点；
步骤S1057：基于第一仿射图像中所有的匹配点，得到第二仿射图像的校准激光线。
参照图5，作为步骤S1052的一种实施方式，步骤S1052具体包括：
步骤S10521：根据双目相机内外参，计算得到基础矩阵；
其中，基础矩阵是用于表征第一成像平面和第二成像平面之间线性关系的矩阵；
具体地，通过双目相机内外参中的旋转矩阵和平移矩阵，得到双目相机中第一摄像头的的坐标系原点O1和双目相机中第二摄像头的的坐标系原点O2；再基于第一摄像头的的坐标系原点O1、第二摄像头的的坐标系原点O2、双目相机内外参中的焦距，即可计算得到基础矩阵。
步骤S10522：根据基础矩阵和第一仿射图像的激光线中每个待匹配的像素点，计算第二仿射图像中对应的极线方程；
应当理解，在空间中的任意一点，在第一摄像头和第二摄像头的成像面上始终都能找到对应的成像点、给定点，即对于第一仿射图像的激光线中每个待匹配的像素点，在第二仿射图像中均存在对应的极线，且第二仿射图像中与第一仿射图像的激光线中待匹配的像素点相对应的像素点一定位于极线方程上。
步骤S10523：根据每个极线方程，确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中的搜索区域。
上述实施方式中，利用创建第一滑动窗口以及第二滑动窗口的方式，再由极线方程确定出的搜索区域中一定包含对应的像素点，仅在极线方程附近搜索，通过极线方程约束的匹配点提取方法，即利用第二仿射图像中激光线的像素点去约束第一仿射图像中激光线的待匹配像素点的提取，剔除第一仿射图像中的杂点，提高了激光线的提取精度与稳定性，且同时大大减小了搜索范围和计算量。
参照图6，作为三维图像重建方法的进一步实施方式，步骤S101之前还包括：
步骤S1：采集具有线结构光照射的不同姿态标定板的标定图像；
其中，标定图像至少采集三张；
步骤S2：利用交比不变性，通过标定图像对双目相机进行标定，以得到双目相机的内外参；
步骤S3：从标定图像中提取线结构光照射在标定板上与标定板内角点形成直线相交的特征点的世界坐标；
步骤S4：根据双目相机的内外参以及多个特征点的世界坐标，计算出多个特征点的相机坐标；
步骤S5：对多个特征点的相机坐标进行拟合，得到激光平面方程。
参照图7，作为步骤S5的一种实施方式，步骤S5具体包括：
步骤S51：根据多个特征点的相机坐标，构建原始数据矩阵；
具体地，以三个特征点为例，原始数据矩阵的维度是，其中原始数据矩阵的每一列都是一个特征点的坐标向量，对于给定特征点相机坐标/>，将其表现为/>，原始数据矩阵可以表示为/>，从而实现原始数据矩阵的构建。
步骤S52：对原始数据矩阵进行中心化处理，得到中心化矩阵；
具体地，通过计算原始数据矩阵的均值向量，将原始数据矩阵中的每个数据点减去均值向量，得到中心化矩阵。
步骤S53：将中心化矩阵和预设的归一化权重矩阵相乘，得到加权数据矩阵；
具体地，预设的归一化权重矩阵可以通过以下步骤得到：根据原始数据矩阵的维度，构建权重矩阵，例如原始数据矩阵的维度是，则构建权重矩阵的维度为/>，权重矩阵中的每个元素代表对应特征点的权重，权重矩阵可以表示为/>。然后，对权重矩阵进行归一化处理，即得到了预设的归一化权重矩阵。
步骤S54：对加权数据矩阵进行奇异值分解，得到对角矩阵；
具体地，对加权数据矩阵进行奇异值分解后得到三个矩阵的乘积，即，其中，/>是加权数据矩阵，/>和/>是正交矩阵，/>是对角矩阵。
步骤S55：从对角矩阵中提取最小奇异值，并将最小奇异值对应的特征向量作为法向量；
应当理解，最小奇异值即对应对角矩阵的对角线上的元素中的最小值。法向量可以表示为n = (A, B, C)。
步骤S56：对加权数据矩阵中每个特征点进行平均处理，得到加权平均特征点；
具体地，对加权数据矩阵中的每组特征点进行加权平均。例如，加权数据矩阵中共三个特征点，如果每个特征点的权值都为0.1，则每个特征点的三维坐标都对应乘0.1分别求和，即得到了加权平均特征点，加权平均特征点可以表示为。
步骤S57：根据法向量和加权平均特征点，计算激光平面方程。
具体地，激光平面方程为。
此外，本申请实施例公开一种水下目标的三维图像重建***。水下目标的三维图像重建***可以应用于图像处理设备，是本发明实施例提供的用于实现上述方法的图像处理设备的架构示意图。本实施例中，所述图像处理设备可以包括水下目标的三维图像重建***、机器可读存储介质和处理器。
本实施例中，机器可读存储介质与处理器可以位于图像处理设备中且二者分离设置。机器可读存储介质也可以是独立于图像处理设备并由处理器访问。水下目标的三维图像重建***可以包括存储在机器可读存储介质的多个功能模块，例如所述水下目标的三维图像重建***包括的各软件功能模块。当处理器执行水下目标的三维图像重建***中的软件功能模块所对应的计算机程序时，以实现前述方法实施例提供的水下目标的三维图像重建***。
本实施例中，所述图像处理设备可以包括一个或多个处理器。处理器可以处理与服务请求相关的信息和/或数据以执行本发明中描述的一个或多个功能。在一些实施例中，处理器可以包括一个或多个处理引擎(例如，单核处理器或多核处理器)。仅仅举个例子，处理器可以包括一个或多个硬件处理器，例如中央处理器CPU、特定应用集成电路ASIC、专用指令集处理器ASIP、图形处理器GPU、物理运算处理单元PPU、数字信号处理器DSP、现场可以程序门阵列FPGA、可以程序逻辑装置PLD、控制器、微控制器单元、精简指令集计算机RISC、微处理器等中的一种，或类似或其任意组合。
机器可读存储介质可以存储数据和/或指令。在一些实施例中，机器可读存储介质可以存储获得的数据或资料。在一些实施例中，机器可读存储介质可以存储供所述图像处理设备执行或使用的数据和/或指令，所述图像处理设备可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中，机器可读存储介质可以包括大容量存储器、可以移动存储器、挥发性读写内存、只读存储器ROM等或类似或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性的可以移动存储器可以包括快闪驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。示例性的挥发性读写内存可以包括随机存取内存RAM。示例性的随机存取内存可以包括动态RAM、双倍速率同步动态RAM、静态RAM、晶闸管RAM和零电容RAM等。示例性的ROM可以包括掩蔽型ROM、可编程ROM、可擦除可编程ROM、电子可擦除可编程ROM、压缩磁盘ROM和数字通用磁盘ROM等。
其中，所述图像处理设备包括的水下目标的三维图像重建***可以包括一个或多个软件功能模块。所述软件功能模块可以存储在所述机器可读存储介质中的程序、指令，这些软件功能模块在被对应的处理器执行时，用于实现上述的方法，例如在被无人机的处理器执行时，用于实现上述无人机执行的方法步骤，或者在被所述图像处理设备执行时，用于实现上述图像处理设备执行的方法步骤。
本申请实施例公开一种水下目标的三维图像重建***。参照图8，一种水下目标的三维图像重建***，包括：
标定模块，用于获取预先标定的激光平面方程；
图像采集模块，用于获取第一原始图像和第二原始图像；其中，第一原始图像和第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；
图像变换模块，用于对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
激光线提取模块，用于分别提取第一仿射图像和第二仿射图像中的激光线；
约束模块，用于利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
三维点云转换模块，用于基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；
重建模块，用于提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。
本申请提供的一种水下目标的三维图像重建***能够实现上述一种水下目标的三维图像重建方法，且一种水下目标的三维图像重建***的具体工作过程可参考上述方法实施例中的对应过程。
需要说明的是，在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本发明还公开一种计算机可读储存介质，一种计算机可读存储介质，包括存储有能够被处理器加载并执行如上述任一方法中的计算机程序。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
Claims (10)
1.一种水下目标的三维图像重建方法，其特征在于，包括：
获取预先标定的激光平面方程；
获取第一原始图像和第二原始图像；其中，所述第一原始图像和所述第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；
对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
分别提取第一仿射图像和第二仿射图像中的激光线；
利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
基于所述校准激光线、所述激光平面方程以及双目相机的内外参，计算所述校准激光线的三维点云信息；
提取所述第二仿射图像的色彩信息，并利用所述色彩信息对三维点云信息进行着色，以得到三维重建图像。
2.根据权利要求1所述的方法，其特征在于，所述对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像，具体包括：
获取标定板上至少四个指定点的真实坐标以及标定板在水下成像中每个对应指定点的水下坐标；
利用至少四个真实坐标和水下坐标，计算当前环境下的仿射变换矩阵；
基于仿射变换矩阵分别对第一原始图像和第二原始图像进行仿射变换计算，得到第一仿射图像和第二仿射图像。
3.根据权利要求1所述的方法，其特征在于，所述分别提取第一仿射图像和第二仿射图像中的激光线，具体包括：
分别对第一仿射图像和第二仿射图像进行预处理及阈值筛选处理，以得到第一激光图像和第二激光图像；
分别对第一激光图像和第二激光图像进行灰度垂直投影，并基于灰度垂直投影结果对第一激光图像和第二激光图像进行区域分割，分别得到第一激光图像和第二激光图像中每行的连通区域；
提取每行的连通区域的几何中心，得到特征点；
分别对第一激光图像和第二激光图像中的所有特征点进行拟合，以得到第一仿射图像和第二仿射图像中的激光线。
4.根据权利要求1所述的方法，其特征在于，所述利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线，具体包括：
在第一仿射图像上创建第一滑动窗口，并在第二仿射图像上创建第二滑动窗口；其中，第一滑动窗口和第二滑动窗口的尺寸一致，且第一滑动窗口在第一仿射图像上的位置和第二滑动窗口在第二仿射图像上的位置呈镜像对称分布；
确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中对应的搜索区域；
将第一仿射图像的激光线中待匹配的像素点作为第一滑动窗口的中心，第二滑动窗口在搜索区域内移动，并计算第一滑动窗口和第二滑动窗口的差异值，直至遍历整个搜索区域；
判断像素点对应的所有差异值中是否存在小于预设差异阈值的差异值，若是，则将第一仿射图像中对应的像素点作为匹配点，若否，则剔除第一仿射图像中对应的像素点；
基于第一仿射图像中所有的匹配点，得到第二仿射图像的校准激光线。
5.根据权利要求4所述的方法，其特征在于，所述确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中对应的搜索区域，具体包括：
根据双目相机内外参，计算得到基础矩阵；其中，基础矩阵是用于表征第一成像平面和第二成像平面之间线性关系的矩阵；
根据基础矩阵和第一仿射图像的激光线中每个待匹配的像素点，计算第二仿射图像中对应的极线方程；
根据每个极线方程，确定第一仿射图像的激光线中每个待匹配的像素点在第二仿射图像中的搜索区域。
6.根据权利要求1-5任一所述的方法，其特征在于，所述获取预先标定的激光平面方程之前，还包括：
采集具有线结构光照射的不同姿态标定板的标定图像；其中，标定图像至少采集三张；
利用交比不变性，通过标定图像对双目相机进行标定，以得到双目相机的内外参；
从标定图像中提取线结构光照射在标定板上与标定板内角点形成直线相交的特征点的世界坐标；
根据双目相机的内外参以及多个特征点的世界坐标，计算出多个特征点的相机坐标；
对多个特征点的相机坐标进行拟合，得到激光平面方程。
7.根据权利要求6所述的方法，其特征在于，所述对多个特征点的相机坐标进行拟合，得到激光平面方程，具体包括：
根据多个特征点的相机坐标，构建原始数据矩阵；
对原始数据矩阵进行中心化处理，得到中心化矩阵；
将中心化矩阵和预设的归一化权重矩阵相乘，得到加权数据矩阵；
对加权数据矩阵进行奇异值分解，得到对角矩阵；
从对角矩阵中提取最小奇异值，并将最小奇异值对应的特征向量作为法向量；
对加权数据矩阵中每个特征点进行平均处理，得到加权平均特征点；
根据法向量和加权平均特征点，计算激光平面方程。
8.一种水下目标的三维图像重建***，其特征在于，包括：
标定模块，用于获取预先标定的激光平面方程；
图像采集模块，用于获取第一原始图像和第二原始图像；其中，第一原始图像和第二原始图像由双目相机拍摄具有线结构光照射的水下目标得到；
图像变换模块，用于对第一原始图像和第二原始图像进行仿射变换，得到第一仿射图像和第二仿射图像；
激光线提取模块，用于分别提取第一仿射图像和第二仿射图像中的激光线；
约束模块，用于利用第二仿射图像的激光线对第一仿射图像的激光线进行匹配校准，得到第二仿射图像的校准激光线；
三维点云转换模块，用于基于校准激光线、激光平面方程以及双目相机的内外参，计算校准激光线的三维点云信息；
重建模块，用于提取第二仿射图像的色彩信息，并利用色彩信息对三维点云信息进行着色，以得到三维重建图像。
9.一种图像处理设备，其特征在于：包括存储器、处理器以及储存在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行如权利要求1-7中任一种方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，包括存储有能够被处理器加载并执行如权利要求1-7中任一方法中的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410023763.1A CN117541730B (zh) | 2024-01-08 | 2024-01-08 | 一种水下目标的三维图像重建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410023763.1A CN117541730B (zh) | 2024-01-08 | 2024-01-08 | 一种水下目标的三维图像重建方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117541730A true CN117541730A (zh) | 2024-02-09 |
| CN117541730B CN117541730B (zh) | 2024-03-29 |
Family
ID=89786488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410023763.1A Active CN117541730B (zh) | 2024-01-08 | 2024-01-08 | 一种水下目标的三维图像重建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541730B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907489A (zh) * | 2021-04-01 | 2021-06-04 | 清华四川能源互联网研究院 | 水下点云图像采集方法和*** |
| CN114898038A (zh) * | 2022-04-28 | 2022-08-12 | 杭州海康机器人技术有限公司 | 一种图像重建方法、装置及设备 |
| CN114998499A (zh) * | 2022-06-08 | 2022-09-02 | 深圳大学 | 一种基于线激光振镜扫描的双目三维重建方法及*** |
| US20230132085A1 (en) * | 2021-10-21 | 2023-04-27 | Kejing HE | Methods, devices and systems for transparent object three-dimensional reconstruction |
| CN117173342A (zh) * | 2023-11-02 | 2023-12-05 | 中国海洋大学 | 基于水下单双目相机的自然光下移动三维重建装置及方法 |
-
2024
- 2024-01-08 CN CN202410023763.1A patent/CN117541730B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907489A (zh) * | 2021-04-01 | 2021-06-04 | 清华四川能源互联网研究院 | 水下点云图像采集方法和*** |
| US20230132085A1 (en) * | 2021-10-21 | 2023-04-27 | Kejing HE | Methods, devices and systems for transparent object three-dimensional reconstruction |
| CN114898038A (zh) * | 2022-04-28 | 2022-08-12 | 杭州海康机器人技术有限公司 | 一种图像重建方法、装置及设备 |
| CN114998499A (zh) * | 2022-06-08 | 2022-09-02 | 深圳大学 | 一种基于线激光振镜扫描的双目三维重建方法及*** |
| CN117173342A (zh) * | 2023-11-02 | 2023-12-05 | 中国海洋大学 | 基于水下单双目相机的自然光下移动三维重建装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| YUEER LI 等: "Application of Binocular Stereo Vision in Radioactive Source Image Reconstruction and Multimodal Imaging Fusion", 《IEEE TRANSACTIONS ON NUCLEAR SCIENCE》, vol. 67, no. 11, 7 September 2020 (2020-09-07), pages 2454, XP011820385, DOI: 10.1109/TNS.2020.3022103 * |
| 孙炜 等: "融合轮廓特征的线激光点云的快速配准算法", 《电子测量与仪器学报》, vol. 35, no. 7, 15 July 2021 (2021-07-15), pages 156 - 162 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117541730B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN107977997B (zh) | 一种结合激光雷达三维点云数据的相机自标定方法 | |
| KR102674646B1 (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
| Shen | Accurate multiple view 3d reconstruction using patch-based stereo for large-scale scenes | |
| US8121352B2 (en) | Fast three dimensional recovery method and apparatus | |
| CN110910431B (zh) | 一种基于单目相机多视点三维点集恢复方法 | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| CN108564620A (zh) | 一种针对光场阵列相机的场景深度估计方法 | |
| CN114820817A (zh) | 基于高精度线激光3d相机的标定方法和三维重建方法 | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| Chiang et al. | Active stereo vision system with rotated structured light patterns and two-step denoising process for improved spatial resolution | |
| CN113658144B (zh) | 路面病害几何信息的确定方法、装置、设备及介质 | |
| CN113808019A (zh) | 一种非接触测量***及方法 | |
| CN117541730B (zh) | 一种水下目标的三维图像重建方法及*** | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN112132971A (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
| CN108537831B (zh) | 对增材制造工件进行ct成像的方法及装置 | |
| CN115880371A (zh) | 一种红外视角下反光靶标中心定位方法 | |
| CN113589263A (zh) | 一种多个同源传感器联合标定方法及*** | |
| Sotoca et al. | Depth estimation improvement in 3D integral imaging using an edge removal approach | |
| CN114972633B (zh) | 交叉激光线约束下的快速扫描点云插值方法 | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、***和介质 | |
| CN117314792B (zh) | 一种基于rgb图像边缘捕捉的深度图像修复方法 | |
| CN115797995B (zh) | 人脸活体检测方法、电子设备及存储介质 | |
| CN111602177B (zh) | 用于生成物体的3d重建的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |