CN107507133B - 一种基于圆管作业机器人的实时图像拼接方法 - Google Patents

Abstract

本发明涉及一种基于圆管作业机器人的实时图像拼接方法，所述方法包括：拼接映射矩阵模型库建立步骤，对圆管作业机器人在不同姿态下采集的图像进行投影变换，根据投影变换结果计算并记录每个姿态所对应的拼接映射矩阵，得到拼接映射矩阵模型库；实时图像拼接步骤，识别当前采集的待拼接图像对应的直线角度，选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现图像的实时拼接。与现有技术相比，本发明具有拼接效率高、拼接效果好以及实用性能强等优点。

Description

一种基于圆管作业机器人的实时图像拼接方法

技术领域

本发明涉及图像采集领域，尤其是涉及一种基于圆管作业机器人的实时图像拼接方法。

背景技术

圆管作业机器人是一种可沿圆管外部自动行走、携带一种或多种传感器及操作机械，在工作人员的遥控操作或计算机自动控制下，进行一系列管道作业的机、电、仪一体化***。圆管作业机器人在进行作业过程中常常需要对周围环境图像进行采集并进行拼接，目前，机器人全景导航主要是采用反射式全景拼接***与基于特征的全景拼接***。对于反射式全景***，其摄像***要求安装位置较高，而对于管道运动机器人，高度是影响其运动灵活性的因素，因此反射式全景拼接***不常用于圆管作业机器人。基于特征的全景拼接***，通过对图像进行标定校正、特征点提取、特征点匹配、单应性矩阵计算以及图像融合等一系列过程实现图像的拼接，常常用于拼接同平面或单视点的图像模型，而由于圆管作业机器人应用于管道外，因此采集到的图像往往为不处于同一平面的三维图像，而且圆管作业机器人上会架设多台摄像机，采集的图像一般为多视点图像，对于这样的图像，如果通过基于特征的全景拼接***进行拼接，不仅耗时长而且一般需要离线拼接，因此如何针对圆管作业机器人实现高效率的实时图像拼接，成为一个亟待解决的问题。

发明内容

本发明的目的是针对上述问题提供一种基于圆管作业机器人的实时图像拼接方法。

本发明的目的可以通过以下技术方案来实现：

一种基于圆管作业机器人的实时图像拼接方法，所述方法包括：

拼接映射矩阵模型库建立步骤，对圆管作业机器人在不同姿态下采集的图像进行投影变换，根据投影变换结果计算并记录每个姿态所对应的拼接映射矩阵，得到拼接映射矩阵模型库；

实时图像拼接步骤，识别当前采集的待拼接图像对应的直线角度，选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现图像的实时拼接。

所述拼接映射矩阵模型库建立步骤包括：

A1)保存圆管作业机器人在不同姿态下采集的图像，生成拼接图像资源库；

A2)对拼接图像资源库中的图像进行投影变换，根据投影变换后的图像进行特征点提取和角度识别，得到不同组别下的特征信息库；

A3)对不同组别下的特征信息库分别计算得到拼接映射矩阵，将拼接映射矩阵与圆管作业机器人的姿态对应后进行存储，得到拼接映射矩阵模型库。

所述步骤A1)包括：

A11)控制圆管作业机器人在姿态变换的同时录制实时视频，并确保实时视频中采集到的图像所对应的角度，涵盖圆管作业机器人在作业过程中可到达的所有角度；

A12)分别提取实时视频中圆管作业机器人在每个姿态下的所有图像并进行保存，得到拼接图像资源库。

所述步骤A2)包括：

A21)以圆管作业机器人拍摄的管道作为投影面，对拼接图像资源库中的所有图像进行投影变换，实现三维图像的二维映射，得到变换后的图像；

A22)筛选变换后的图像中发生重叠的图像，对发生重叠的图像进行角度识别，根据角度识别的结果，将同一角度和时间下的图像作为同一组别进行存储；

A23)对每个组别下所有的图像进行特征点提取并进行存储，得到不同组别下的特征信息库。

所述投影变换具体为：对管道侧面进行展开并记录管道上特定的点和边缘线，将展开后的管道侧面作为投影面，以记录的点和边缘线为基准，将图像投影至投影面上。

所述步骤A3)包括：

A31)根据不同组别下的特征点提取结果，进行单应性矩阵计算，作为该组别下的拼接映射矩阵；

A32)对规定范围内的不同组别下的拼接映射矩阵进行融合，根据融合结果得到规定姿态下的拼接映射矩阵；

A33)将步骤A32)得到的拼接映射矩阵与对应的姿态进行存储，得到拼接映射矩阵模型库。

所述步骤A31)具体为：根据不同组别下的特征点提取结果随机匹配并进行筛选，得到匹配点对，根据匹配点对的坐标值求解单应性矩阵，作为该组别下的拼接映射矩阵。

所述实时图像拼接步骤包括：

B1)对当前采集的待拼接图像进行投影变换；

B2)对投影变换后的待拼接图像进行角度识别，判断待拼接的图像对应的圆管作业机器人的姿态；

B3)根据步骤B2)中得到的圆管作业机器人的姿态，通过拼接映射矩阵模型库确定对应的拼接映射矩阵，实现待拼接图像的拼接。

所述步骤B3)包括：

B31)根据步骤B2)中得到的圆管作业机器人的姿态，判断拼接映射矩阵模型库中是否包含对应的拼接映射矩阵，若是则进入步骤B32)，若否则进入B33)；

B32)直接选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现待拼接图像的拼接；

B33)选取与得到的圆管作业机器人的姿态相邻的两个拼接映射矩阵，通过线性插值求取确定对应的拼接映射矩阵，实现待拼接图像的拼接。

所述实时图像拼接步骤还包括：通过加权平均融合方法实现拼接图像之间重叠部分的均匀过渡。

与现有技术相比，本发明具有以下有益效果：

(1)通过建立拼接映射矩阵模型库，对圆管作业机器人在不同姿态下进行拼接时所对应的拼接映射矩阵进行了存储，在圆管作业机器人进行作业的过程中，只需根据当前圆管作业机器人的姿态，从建立的拼接映射矩阵模型库中直接选取对应的拼接映射矩阵，即可直接实现图像的实时拼接，比起现有的需要每一次都通过图像的特征点提取来计算单应性矩阵从而实现图像拼接的过程相比，拼接效率高且拼接耗时短，适用于实时性拼接。

(2)在建立拼接映射矩阵模型库的过程中，对采集的图像首先进行投影变换后再进行拼接映射矩阵的计算，以管道为投影面将圆管作业机器人采集的三维图像转化为二维图像，便于后续的拼接映射矩阵的计算与处理，降低了计算难度，提高了计算效率，从而提高了图像拼接的效率。

(3)在建立拼接映射矩阵模型库的过程中，首先通过录制实时视频的方式实现图像的采集，通过视频的录制可以将圆管作业机器人在作业过程中所有可以到达的角度均可以采集到，确保采集样本的充分，从而提高拼接映射矩阵计算的准确性，继而提高图像拼接结果的精确程度。

(4)拼接映射矩阵模型库中将拼接映射矩阵与圆管作业机器人的姿态相对应，便于在实时拼接过程中根据当前圆管作业机器人的姿态直接找到对应的拼接映射矩阵，进一步提高拼接效率。

(5)拼接映射矩阵的建立过程中，会对规定范围内不同组别下的拼接映射矩阵进行融合，这样可以将多个角度范围内的拼接映射矩阵统一为统一角度，在后续拼接时再进行细化，减小了需要存储的拼接映射矩阵的内存量，避免数据过多导致的内存不足和效率降低。

(6)在进行实时图像拼接的过程中，首先根据对待拼接图像的角度识别结果，来从拼接映射矩阵模型库中选取对应的拼接映射矩阵，若模型库中存在该角度下的拼接映射矩阵则直接选取，若不存在则取最相近的两个角度对应的拼接映射矩阵，通过作差求比例得到该角度下对应的拼接映射矩阵，通过这种选取方式，可以确保所有角度下均可以高效的得到对应的拼接映射矩阵，保证了拼接效率以及拼接结果的准确性。

(7)在实时拼接过程中还通过加权平均融合方法对拼接图像的重叠部分进行均匀过度，使得最终得到的拼接结果更加准确。

附图说明

图1为拼接映射矩阵模型库建立步骤的方法流程图；

图2为实时图像拼接步骤的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示为本申请提出的一种基于圆管作业机器人的实时图像拼接方法，包括：

拼接映射矩阵模型库建立步骤，对圆管作业机器人在不同姿态下采集的图像进行投影变换，根据投影变换结果计算并记录每个姿态所对应的拼接映射矩阵，得到拼接映射矩阵模型库；

实时图像拼接步骤，识别当前采集的待拼接图像对应的直线角度，选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现图像的实时拼接。

其中，拼接映射矩阵模型库建立步骤包括：

A1)保存圆管作业机器人在不同姿态下采集的图像，生成拼接图像资源库：

A11)控制圆管作业机器人在姿态变换的同时录制实时视频，并确保实时视频中采集到的图像所对应的角度，涵盖圆管作业机器人在作业过程中可到达的所有角度；

A12)分别提取实时视频中圆管作业机器人在每个姿态下的所有图像并进行保存，得到拼接图像资源库；

A2)对拼接图像资源库中的图像进行投影变换，根据投影变换后的图像进行特征点提取和角度识别，得到不同组别下的特征信息库：

A21)以圆管作业机器人拍摄的管道作为投影面，对拼接图像资源库中的所有图像进行投影变换，实现三维图像的二维映射，得到变换后的图像，其中，投影变换具体为：对管道侧面进行展开并记录管道上特定的点和边缘线，将展开后的管道侧面作为投影面，以记录的点和边缘线为基准，将图像投影至投影面上；

A22)筛选变换后的图像中发生重叠的图像，对发生重叠的图像进行角度识别，根据角度识别的结果，将同一角度和时间下的图像作为同一组别进行存储；

A23)对每个组别下所有的图像进行特征点提取并进行存储，得到不同组别下的特征信息库；

A3)对不同组别下的特征信息库分别计算得到拼接映射矩阵，将拼接映射矩阵与圆管作业机器人的姿态对应后进行存储，得到拼接映射矩阵模型库：

A31)根据不同组别下的特征点提取结果，进行单应性矩阵计算，作为该组别下的拼接映射矩阵，具体为：根据不同组别下的特征点提取结果随机匹配并进行筛选，得到匹配点对，根据匹配点对的坐标值求解单应性矩阵，作为该组别下的拼接映射矩阵；

A32)对规定范围内的不同组别下的拼接映射矩阵进行融合，根据融合结果得到规定姿态下的拼接映射矩阵；

A33)将步骤A32)得到的拼接映射矩阵与对应的姿态进行存储，得到拼接映射矩阵模型库。

实时图像拼接步骤包括：

B1)对当前采集的待拼接图像进行投影变换；

B2)对投影变换后的待拼接图像进行角度识别，判断待拼接的图像对应的圆管作业机器人的姿态；

B3)根据步骤B2)中得到的圆管作业机器人的姿态，通过拼接映射矩阵模型库确定对应的拼接映射矩阵，实现待拼接图像的拼接：

B31)根据步骤B2)中得到的圆管作业机器人的姿态，判断拼接映射矩阵模型库中是否包含对应的拼接映射矩阵，若是则进入步骤B32)，若否则进入B33)；

B32)直接选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现待拼接图像的拼接；

B33)选取与得到的圆管作业机器人的姿态相邻的两个拼接映射矩阵，通过线性插值求取确定对应的拼接映射矩阵，实现待拼接图像的拼接。

实时图像拼接步骤还包括：通过加权平均融合方法实现拼接图像之间重叠部分的均匀过渡。

根据上述步骤进行具体的拼接映射矩阵模型库建立以及实时图像拼接，过程如下：首先同时获得圆管作业机器人上多个摄像头的图像，摄像头的相对位置是固定不变的，且相邻摄像头的拍摄区域有重叠部分。录制实时影像，以可侦测到管壁边线的图像为基准，利用canny边缘算法与hough直线识别算法，得到圆管相对于机器人的相对角度信息。录制的视频中，要求涵盖机器人的识别角度的范围至少为-45°～45°，包含机器人的作业范围角度。接着进行各图像的投影变换，将视角自侧视转变为俯视。具体是通过记录圆管上特定的点与边缘线，将圆管侧面展开投影。投影模型将标定矩形的变形两条弧线进行直线变换，变形区域按照透视投影展开。圆管面的投影映射关系为非线性关系，根据投影模型，建立圆管投影的映射矩阵，实现投影变换操作，得到投影后的图像。根据投影后的图像重叠区域，对其进行角度识别，依据各个识别出的角度值，本实施例中，以整数角度作为组别分类的依据，将所有图像按照时间与角度分为4至8张图一组，该数量取决于机器人上的摄像头个数。存入的图像组按照一定的位置顺序一次存入，相邻位置的图像对应的存储在虚拟空间的相邻位置。利用SURF特征提取算法，提取每组中各图像的特征点信息。将提取出的特征点，进行RANSAC随机匹配，筛选出至少四对正确的匹配点对。根据匹配对的坐标点，计算补偿与优化后的相邻图像间的单应性矩阵，进而得到拼接映射矩阵，针对整数角度的±0.5°范围内，由于可通过点匹配计算得到多个映射矩阵，因此将各个矩阵按照正态分布，将±0.5°内的矩阵进行融合，将对应的整数角度计算的映射矩阵记录至拼接映射矩阵模型库。拼接映射矩阵中存有原图像和变换后图像像素点x坐标与y坐标的对应关系。对应识别的图像直线角度，将计算得到的映射矩阵存储在每组的拼接映射矩阵模型库中。

将每个整数角度的融合模型库建立好之后，开始实时采集各摄像头的图像信息，识别管壁边线的角度，按照对应角度模型库中的映射矩阵进行直接的图像映射，进行投影变换，对投影变换后的图像进行角度识别，若是整数角度则直接从拼接映射矩阵模型库中选取对应的拼接映射矩阵，若是角度不为整数，则选取相邻的两个整数角度对应的拼接映射矩阵作差，根据小数相对整数的比例值进行计算，得到对应的拼接映射矩阵，进行图像实时拼接，同时在图像实时拼接的过程中，相邻图像按照渐入渐出加权平均融合方法，采用线性融合算法对重合区域的像素值使用双线性插值，实现多图像间的均匀过渡。

Claims (9)

1.一种基于圆管作业机器人的实时图像拼接方法，其特征在于，所述方法包括：

拼接映射矩阵模型库建立步骤，对圆管作业机器人在不同姿态下采集的图像进行投影变换，根据投影变换结果计算并记录每个姿态所对应的拼接映射矩阵，得到拼接映射矩阵模型库；

实时图像拼接步骤，识别当前采集的待拼接图像对应的直线角度，选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现图像的实时拼接；

所述拼接映射矩阵模型库建立步骤包括：

A1)保存圆管作业机器人在不同姿态下采集的图像，生成拼接图像资源库；

A2)对拼接图像资源库中的图像进行投影变换，根据投影变换后的图像进行特征点提取和角度识别，得到不同组别下的特征信息库；

A3)对不同组别下的特征信息库分别计算得到拼接映射矩阵，将拼接映射矩阵与圆管作业机器人的姿态对应后进行存储，得到拼接映射矩阵模型库。

2.根据权利要求1所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述步骤A1)包括：

A11)控制圆管作业机器人在姿态变换的同时录制实时视频，并确保实时视频中采集到的图像所对应的角度，涵盖圆管作业机器人在作业过程中可到达的所有角度；

A12)分别提取实时视频中圆管作业机器人在每个姿态下的所有图像并进行保存，得到拼接图像资源库。

3.根据权利要求1所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述步骤A2)包括：

A21)以圆管作业机器人拍摄的管道作为投影面，对拼接图像资源库中的所有图像进行投影变换，实现三维图像的二维映射，得到变换后的图像；

A22)筛选变换后的图像中发生重叠的图像，对发生重叠的图像进行角度识别，根据角度识别的结果，将同一角度和时间下的图像作为同一组别进行存储；

A23)对每个组别下所有的图像进行特征点提取并进行存储，得到不同组别下的特征信息库。

4.根据权利要求3所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述投影变换具体为：对管道侧面进行展开并记录管道上特定的点和边缘线，将展开后的管道侧面作为投影面，以记录的点和边缘线为基准，将图像投影至投影面上。

5.根据权利要求1所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述步骤A3)包括：

A31)根据不同组别下的特征点提取结果，进行单应性矩阵计算，作为该组别下的拼接映射矩阵；

A32)对规定范围内的不同组别下的拼接映射矩阵进行融合，根据融合结果得到规定姿态下的拼接映射矩阵；

A33)将步骤A32)得到的拼接映射矩阵与对应的姿态进行存储，得到拼接映射矩阵模型库。

6.根据权利要求5所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述步骤A31)具体为：根据不同组别下的特征点提取结果随机匹配并进行筛选，得到匹配点对，根据匹配点对的坐标值求解单应性矩阵，作为该组别下的拼接映射矩阵。

7.根据权利要求1所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述实时图像拼接步骤包括：

B1)对当前采集的待拼接图像进行投影变换；

B2)对投影变换后的待拼接图像进行角度识别，判断待拼接的图像对应的圆管作业机器人的姿态；

B3)根据步骤B2)中得到的圆管作业机器人的姿态，通过拼接映射矩阵模型库确定对应的拼接映射矩阵，实现待拼接图像的拼接。

8.根据权利要求7所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述步骤B3)包括：

B31)根据步骤B2)中得到的圆管作业机器人的姿态，判断拼接映射矩阵模型库中是否包含对应的拼接映射矩阵，若是则进入步骤B32)，若否则进入B33)；

B32)直接选取拼接映射矩阵模型库中对应的拼接映射矩阵，实现待拼接图像的拼接；

B33)选取与得到的圆管作业机器人的姿态相邻的两个拼接映射矩阵，通过线性插值求取确定对应的拼接映射矩阵，实现待拼接图像的拼接。

9.根据权利要求1所述的基于圆管作业机器人的实时图像拼接方法，其特征在于，所述实时图像拼接步骤还包括：通过加权平均融合方法实现拼接图像之间重叠部分的均匀过渡。

Images