CN105719239A - 一种用于图像拼接的方法及装置 - Google Patents

Abstract

本发明提供一种图像拼接的方法及装置，属于图像处理技术领域，是分别获取在两个焦距值条件下拍摄的两组图像，分别对这两组图像进行图像拼接，最终得到两个拼接后的图像，通过对这两组图形分别进行图像拼接处理，能够使拼接后的图像中内容更丰富，对拼接图像后最终得到的两个图像进行图像融合，以此得到融合后的目标图像，采用本发明提供的技术方案，得到的目标图像中图像特征清晰、图像容纳的内容更丰富，本技术方案简单，便于实施。

Description

一种用于图像拼接的方法及装置

技术领域

本发明属于图像处理技术领域，特别涉及一种用于图像拼接的方法及装置。

背景技术

随着科学技术的进步和数字成像技术的迅速发展，数字成像设备也得到广泛的应用。然而，数字成像设备由于自身的物理限制，在一些特殊的应用场景中，其不能够满足人们的需求，例如，在需要获取到大视场的图像时，因成像设备自身的视场宽度较窄，无法获取到全景图像。本发明人发现，在获取大视场图像时，通常依靠图像拼接技术进行处理，仅靠图像拼接技术来获取大视场图像时，获取到的图像内容不清晰、一些特征点容易被忽略，从而导致拼接后的图像准确度低，不能准确地反应视场中的特征。

发明内容

为了解决现有技术存在的技术缺陷，本发明提供一种用于图像拼接的方法及装置，其中：一种用于图像拼接的方法，包括：

获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

将所述第一图像和所述第二图像进行图像拼接，得到第一拼接图像；

获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

将所述第三图像和所述第四图像进行图像拼接，得到第二拼接图像；

对所述第一拼接图像和所述第二拼接图像进行图像融合，得到融合后的目标图像。

所述将所述第一图像和所述第二图像进行图像拼接，具体包括：

确定第一图像和所述第二图像中的图像特征点及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第一图像和所述第二图像进行拼接；

所述将所述第三图像和所述第四图像进行图像拼接，具体包括：

确定第三图像和所述第四图像中的图像特征点及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第三图像和所述第四图像进行拼接。

所述确定第一图像和所述第二图像中的图像特征点时和所述确定第三图像和所述第四图像中的图像特征点时，还包括：

采用预设的迭代次数对所述图像特征点进行过滤，过滤掉误匹配的特征点，保留有效的图像特征点。

所述方法还包括：

获取拼接前的图像的像素点属性值，根据所述像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与所述像素点属性值匹配。

一种用于图像拼接的装置，还包括：

第一获取模块，用于获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

第一拼接模块，用于将所述第一图像和所述第二图像进行图像拼接，得到第一拼接图像；

第二获取模块，用于获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

第二拼接模块，用于将所述第三图像和所述第四图像进行图像拼接，得到第二拼接图像；

图像融合模块，用于对所述第一拼接图像和所述第二拼接图像进行图像融合，得到融合后的目标图像。

所述第一拼接模块，具体用于分别确定所述第一图像和所述第二图像中的图像特征点，及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第一图像和所述第二图像进行拼接，得到第一拼接图像；

所述第二拼接模块，具体用于确定所述第三图像和所述第四图像中的图像特征点，及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第三图像和所述第四图像进行拼接，得到第二拼接图像。

所述确定第一图像和所述第二图像中的图像特征点时和所述确定第三图像和所述第四图像中的图像特征点时，还包括：

采用预设的迭代次数对所述图像特征点进行过滤，过滤掉误匹配的特征点，保留有效的图像特征点。

所述装置还包括：

图像调整模块，用于获取拼接前的图像的像素点属性值，根据所述像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与所述像素点属性值匹配。

本发明与已有技术相比具有以下显著特点和积极效果：本发明通过分别获取在两个焦距值条件下拍摄的两组图像，分别对这两组图像进行图像拼接，最终得到两个拼接后的图像，通过图像拼接处理，使得图像中的内容更丰富。对拼接后得到的图像进行图像融合，以此得到融合后的目标图像，采用本发明提供的技术方案，得到的目标图像，图像特征清晰、图像容纳的内容更丰富，方案简单，便于实施。

附图说明

图1为本发明的一种用于图像拼接的方法流程图；

图2为本发明实施例提供的第一图像；

图3为本发明实施例提供的第二图像；

图4为本发明实施例提供的第一拼接图像；

图5为本发明实施例提供的第三图像；

图6为本发明实施例提供的第四图像；

图7为本发明实施例提供的第二拼接图像；

图8为本发明实施例提供的融合后的目标图像；

图9为本发明一种用于图像拼接的装置的框图。

具体实施方式

一种用于图像拼接的方法，如图1所示，包括：

步骤101：获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

在本发明技术方案中，可以使用一个或者多个镜头在同一焦距值时拍摄目标，采用一个镜头拍摄目标图像时，可以移动或者旋转镜头，从不同的拍摄角度拍摄目标，得到第一图像和第二图像。采用多个镜头拍摄目标图像时，可以从不同镜头拍摄的图像中分别获取第一图像和第二图像。此处需要说明的是，对于存在若干张目标图像时，还可以获取多张目标图像，对获取到的目标图像进行图像融合，得到第一图像和第二图像。在本实施例中，经过图像融合处理的目标图像更清晰，目标图像特征更突出。

步骤102：将第一图像和第二图像进行图像拼接，得到第一拼接图像；

在本发明实施例中，第一图像和第二图像作为待拼接图像，两者之间存在共同的图像特征点，基于此可以通过确定第一图像和第二图像中的图像特征点、及其位置对应关系。然后可以根据图像特征点的位置对应关系，将第一图像和第二图像进行拼接，得到第一拼接图像。在本实施例中，根据图像特征点位置对应关系进行图像拼接，能够使拼接后图像更完整。

为了能够快速、有效地进行图像拼接，还可以在确定上述待拼接图像中的图像特征点时，采用预设的迭代次数对图像特征点进行过滤，过滤掉误匹配的特征点，保留待拼接图像中有效的图像特征点，再根据有效的图像特征点及其位置对应关系进行图像拼接。避免根据误匹配的特征点进行图像拼接，导致拼接失败或者耗时长。

其中，采用预设的迭代次数对图像特征点进行过滤，过滤掉误匹配的特征点，保留待拼接图像中有效的图像特征点，包括：

从所有的图像特征点中，随机选取一对特征点，根据特征点对计算单应性矩阵，根据单应性矩阵计算待拼接图像的特征点在此单应性矩阵下的映射点位置，计算原特征点的映射点坐标，根据映射点坐标计算映射点与匹配点之间的距离，根据距离与阈值的大小判断当前的特征点是否属于内点，在上述一轮计算结束之后统计内点数量，以此确定有效的图像特征点对，每一轮计算视为一次迭代过程，重复上述计算过程，直到迭代次数等于预先设定的迭代次数阈值时，迭代结束，此时得到最优单应性矩阵即为最终的最优单应性矩阵。

步骤103：获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

可以采用步骤101中使用的镜头，在与步骤101中不同的焦距条件下，拍摄目标得到第三图像和第四图像。当然也可以使用其他镜头，在与步骤101中不同的焦距条件下拍摄该目标，得到第三图像和第四图像。

在本发明中，基于不同的焦距值对同一目标进行图像拍摄时，得到的目标的成像也不相同。焦距值越大，目标的成像越大，图像特征点越突出，容易被提取。相应的焦距值越小，目标的成像越小，图像清晰度越低，导致图像特征点比较模糊不容易被提取。在本技术方案中，采用不同焦距值对目标进行拍摄，再进行图像拼接和融合，以此能够得到清楚、完整的图像。

步骤104：将第三图像和第四图像进行图像拼接，得到第二拼接图像；

在本步骤中，进行图像拼接的方法与步骤102相同，此处不再赘述。对于第一拼接图像和第二拼接图像来说，由于两者在拼接前使用的原始图像焦距不同，所以对于拼接后的图像焦距也不相同，两者图像的成像也不相同，广角不同，也就直接导致图像中包含目标特征的数量不同。因此在后续步骤中，将长焦图像和短焦图像相融合，能够更清楚、完整的展现出目标特征。

步骤105：对第一拼接图像和第二拼接图像进行图像融合，得到融合后的目标图像。

在本发明提供的技术方案中，可以调整第一拼接图像和第二拼接图像的投影关系相关的三维空间位置差，将该三维空间位置差转换成平面坐标系下的相对偏移量，得到第二拼接图像相对于第一拼接图像的偏移量；

根据最终显示图像的水平、垂直像素值，将图像分为水平*垂直的像素矩阵；

根据第二拼接图像相对于第一拼接图像的偏移量进行图像处理得到待填充像素值，图像处理包括但不限于叠加处理、嵌入处理、四分处理和网格处理，具体处理方式不是本发明要点，此处不再赘述。用待填充像素值逐一对最终显示图像矩阵中的每个像素点进行填充，得到融合后的图像，其中，每个像素值范围是[0,255]的闭区间。

在本技术方案中，将步骤102中得到的第一拼接图像和步骤104中得到的第二拼接图像进行图像融合，由于第一拼接图像使用的原始图像的焦距值与第二拼接图像使用的原始图像的焦距值不同，两者经过图像融合处理，使得融合后的图像中特征点更加清楚、完整、更接近实际情况，从而提高了图像的精度和准确度。

可选的，本技术方案中还包括：

获取待拼接图像的像素点属性值，根据待拼接图像的像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与像素点属性值匹配。

针对上述技术方案，结合附图进行举例说明：

获取在12.3mm焦距条件下拍摄的第一图像如图2所示和第二图像如图3所示，其中第一图像和第二图像的像素值均为720*576，将上述两个图像进行拼接，得到第一拼接图像如图4所示，此时第一拼接图像的像素值为1440*576。获取25mm焦距条件下拍摄的第三图像如图5所示和第四图像如图6所示，其中第三图像和第四图像的像素值均为720*576，将第三图像和第四图像进行拼接，得到第二拼接图像如图7所示，此时第二拼接图像的像素值为1440*576。将第二拼接图像融合到第二拼接图像中，得到融合后的目标图像如图8所示。参照图2至图8可以明显看出，经过图像拼接、图像融合处理后得到的图像，更清晰、特征点更丰富，图像更完整，处理后的图像更精确。

另一方面，本发明提供一种用于图像拼接的装置，如图9所示，包括：

第一获取模块201，用于获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

在本发明提供的技术方案中，第一获取模块201可以直接获取两个图像，分别作为第一图像和第二图像，还可以是获取两组图像，分别对每组图像进行图像融合处理，以便得到目标图像清晰、特征突出的第一图像和第二图像。

第一拼接模块202，用于将第一图像和第二图像进行图像拼接，得到第一拼接图像；

在本发明提供的技术方案中，第一拼接模块202，具体用于确定第一图像和第二图像中的图像特征点及其位置对应关系，根据图像特征点的位置对应关系，将第一图像和第二图像进行拼接，得到第一拼接图像。第一拼接模块202还包括：过滤单元，用于在确定图像特征点时，采用预设的迭代次数对图像特征点进行过滤，过滤掉误匹配的特征点，保留待拼接图像中有效的图像特征点。具体可以从所有的图像特征点中，随机选取一对特征点，根据特征点对计算单应性矩阵，根据单应性矩阵计算待拼接图像的特征点在此单应性矩阵下的映射点位置，计算原特征点的映射点坐标，根据映射点坐标计算映射点与匹配点之间的距离，根据距离与阈值的大小判断当前的特征点是否属于内点，在上述一轮计算结束之后统计内点数量，以此确定有效的图像特征点对，每一轮计算视为一次迭代过程，重复上述计算过程，直到迭代次数等于预先设定的迭代次数阈值时，迭代结束，此时得到最优单应性矩阵即为最终的最优单应性矩阵。

第二获取模块203，用于获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

在本发明中，基于不同的焦距值对同一目标进行图像拍摄时，得到的目标的成像也不相同。焦距值越大，目标的成像越大，图像特征点越突出，容易被提取。相应的焦距值越小，目标的成像越小，图像清晰度越低，导致图像特征点比较模糊不容易被提取。在本技术方案中，采用不同焦距值对目标进行拍摄，再进行图像拼接和融合，以此能够得到清楚、完整的图像。

第二拼接模块204，用于将第三图像和第四图像进行图像拼接，得到第二拼接图像；

第二拼接模块204，具体用于分别确定第三图像和第四图像中的图像特征点，及其位置对应关系，根据图像特征点的位置对应关系，将第三图像和第四图像进行拼接，得到第二拼接图像。

其中，可以在确定图像特征点时，采用预设的迭代次数对图像特征点进行过滤，过滤掉误匹配的特征点，保留待拼接图像中有效的图像特征点。

图像融合模块205，用于对第一拼接图像和第二拼接图像进行图像融合，得到融合后的目标图像。

可选的，本装置还包括：

图像调整模块，用于获取待拼接图像的像素点属性值，根据待拼接图像的像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与像素点属性值匹配。

在本发明中，由于焦距值不同对同一目标进行图像拍摄，得到的目标的成像也就不同。焦距值越大，目标的成像越大，图像特征点越突出，当显示区域不发生变化时，图像中的特征点更容易被识别。相应的焦距值越小，目标的成像越小，图像清晰度越低，虽然导致图像特征点比较模糊不容易被识别，但是图像视角越大，更利于了解目标所处环境，基于上述思想，本发明人将长、短焦距的两组图像分别进行拼接，然后再对拼接后的图像进行图像融合，使得图像更清晰，内容更丰富。传统手段通常为了获得全景图像时，采用图像拼接技术进行图像拼接以获取全景图像，然而，在实际进行图像拼接的过程中，对于不同焦距条件下的图像，需要先对图像进行预处理，使待拼接图像相互匹配，能够进行拼接，此时会改变原图像的清晰度，使原图像中的一些特征点变得模糊不清，不易识别，与传统方案相比，本发明对同一焦距下的图像进行拼接，然后对拼接后的图像进行融合，使不同焦距下的图像能够融合成一个图像，以此达到图像内容清晰，图像特征点丰富、图像更精确、更接近实际视场内容。本发明技术方案同样适用于在各个拍摄角度对目标进行拍摄，然后进行图像拼接、融合处理，以此能够了解目标图像在空间中所处的环境情况。

本文所公开的实施例，用于使本领域技术人员实现或使用本发明。对这些实施例的多种修改或变型对本领域技术人员来说将是显而易见的。本文所描述的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所描述的实施例，而是要符合与本文所公开的原理和新颖性特点相一致的最宽的范围。

Claims (8)

1.一种用于图像拼接的方法，其特征在于，包括：

获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

将所述第一图像和所述第二图像进行图像拼接，得到第一拼接图像；

获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

将所述第三图像和所述第四图像进行图像拼接，得到第二拼接图像；

对所述第一拼接图像和所述第二拼接图像进行图像融合，得到融合后的目标图像。

2.如权利要求1所述的一种用于图像拼接的方法，其特征在于，所述将所述第一图像和所述第二图像进行图像拼接，具体包括：

确定第一图像和所述第二图像中的图像特征点及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第一图像和所述第二图像进行拼接；

所述将所述第三图像和所述第四图像进行图像拼接，具体包括：

确定第三图像和所述第四图像中的图像特征点及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第三图像和所述第四图像进行拼接。

3.如权利要求2所述的一种用于图像拼接的方法，其特征在于，所述确定第一图像和所述第二图像中的图像特征点时和所述确定第三图像和所述第四图像中的图像特征点时，还包括：

采用预设的迭代次数对所述图像特征点进行过滤，过滤掉误匹配的特征点，保留有效的图像特征点。

4.如权利要求1或3所述的一种用于图像拼接的方法，其特征在于，所述方法还包括：

获取拼接前的图像的像素点属性值，根据所述像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与所述像素点属性值匹配。

5.一种用于图像拼接的装置，其特征在于，包括：

第一获取模块，用于获取在一焦距值拍摄的图像，分别为第一图像和第二图像；

第一拼接模块，用于将所述第一图像和所述第二图像进行图像拼接，得到第一拼接图像；

第二获取模块，用于获取在另一焦距值拍摄的图像，分别为第三图像和第四图像；

第二拼接模块，用于将所述第三图像和所述第四图像进行图像拼接，得到第二拼接图像；

图像融合模块，用于对所述第一拼接图像和所述第二拼接图像进行图像融合，得到融合后的目标图像。

6.如权利要求5所述的一种用于图像拼接的装置，其特征在于，所述第一拼接模块，具体用于分别确定所述第一图像和所述第二图像中的图像特征点，及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第一图像和所述第二图像进行拼接，得到第一拼接图像；

所述第二拼接模块，具体用于确定所述第三图像和所述第四图像中的图像特征点，及其位置对应关系，根据所述图像特征点的所述位置对应关系，将所述第三图像和所述第四图像进行拼接，得到第二拼接图像。

7.如权利要求6所述的一种用于图像拼接的装置，其特征在于，所述第一拼接模块还包括：

过滤单元，用于在确定第一图像和所述第二图像中的图像特征点时和所述确定第三图像和所述第四图像中的图像特征点时采用预设的迭代次数对所述图像特征点进行过滤，过滤掉误匹配的特征点，保留有效的图像特征点。

8.如权利要求5或7所述的一种用于图像拼接的装置，其特征在于，所述装置还包括：

图像调整模块，用于获取拼接前的图像的像素点属性值，根据所述像素点属性值对拼接后的图像的实际重叠区域的各像素点进行调整，使得处理后的拼接图像的各像素点属性值与所述像素点属性值匹配。