CN117544862A - 一种基于图像矩并行处理的图像拼接方法 - Google Patents

Abstract

本申请涉及一般的图像数据处理或产生技术领域，特别是涉及一种基于图像矩并行处理的图像拼接方法。所述方法包括以下步骤：S100，获取第一图像的初始重叠区域图像P_1,0，所述第一图像为第一相机在目标时刻采集得到的图像；S200，获取第二图像的初始重叠区域图像P_2,0，所述第二图像为第二相机在目标时刻采集得到的图像；S300，获取P_1,0的k‑l阶图像矩m⁰ _1,kl 和P_2,0的k‑l图像矩m⁰ _2,kl ；S400，如果|m⁰ _1,kl ‑m⁰ _2,kl |≤ε₀，则将P_1,0和P_2,0确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接。本发明能够提高图像拼接结果的质量。

Description

一种基于图像矩并行处理的图像拼接方法

技术领域

本发明涉及一般的图像数据处理或产生技术领域，特别是涉及一种基于图像矩并行处理的图像拼接方法。

背景技术

阵列相机包括若干按照预设方式排列的相机，任意两个相邻的相机之间的采集区域存在重叠，通过将阵列相机在目标时刻采集的图像进行拼接的方式可以得到一个较大视野的图像。对于阵列相机的任意两个相邻的相机而言，比如第一相机和第二相机，以第一相机在目标时刻拍摄的第一图像和第二相机在目标时刻拍摄的第二图像的真实重叠区域为基础，利用图像拼接方法可以实现对第一图像和第二图像的拼接。但是，如何提高获取的重叠区域的准确性，进而提高图像拼接结果的质量，是亟待解决的问题。

发明内容

本发明目的在于，提供一种基于图像矩并行处理的图像拼接方法，能够提高获取的重叠区域的准确性，进而提高图像拼接结果的质量。

根据本发明，提供了一种基于图像矩并行处理的图像拼接方法，包括以下步骤：

S100，获取第一图像的初始重叠区域图像P_1,0，所述第一图像为第一相机在目标时刻采集得到的图像。

S200，获取第二图像的初始重叠区域图像P_2,0，所述第二图像为第二相机在目标时刻采集得到的图像，所述第一相机和第二相机为阵列相机中的两个相邻的相机；所述第一图像的初始重叠区域为第一图像中靠近第二相机侧且包括a₀列像素点的区域；所述第二图像的初始重叠区域为第二图像中靠近第一相机侧且包括a₀列像素点的区域；a₀为预设的初始重叠像素点列数。

S300，获取P_1,0的k-l阶图像矩m⁰ _1,kl 和P_2,0的k-l图像矩m⁰ _2,kl ；k为预设的图像矩阶数，l为预设的垂直矩阶数。

S400，如果|m⁰ _1,kl -m⁰ _2,kl |≤ε₀，则将P_1,0和P_2,0确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接；ε₀为预设的图像矩差异阈值。

本发明与现有技术相比，其至少具有以下有益效果：

本发明获取了第一图像的初始重叠区域图像P_1,0和第二图像的初始重叠区域图像P_2,0，该初始重叠区域是以预设的初始重叠像素点列数a₀为基础获取的重叠区域，为了判断该初始重叠区域是否为第一图像和第二图像的重叠区域，本发明分别获取了P_1,0和P_2,0的k-l阶图像矩，如果P_1,0和P_2,0的k-l阶图像矩的差异小于等于预设的图像矩差异阈值，则判定上述初始重叠区域为第一图像和第二图像的重叠区域，并以此初始重叠区域为基础进行第一图像和第二图像的图像拼接。本发明在对第一图像和第二图像进行拼接之前对初始重叠区域是否为第一图像和第二图像的重叠区域进行了判断，提高了获取的重叠区域的准确性，只有在初始重叠区域调整为第一图像和第二图像的重叠区域的情况下才进行第一图像和第二图像的图像拼接，可以避免由于将非重叠区域作为重叠区域导致的图像拼接质量较低的问题，提高了获取的图像拼接结果的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于图像矩并行处理的图像拼接方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明，提供了一种基于图像矩并行处理的图像拼接方法，如图1所示，包括以下步骤：

S100，获取第一图像的初始重叠区域图像P_1,0，所述第一图像为第一相机在目标时刻采集得到的图像。

S200，获取第二图像的初始重叠区域图像P_2,0，所述第二图像为第二相机在目标时刻采集得到的图像，所述第一相机和第二相机为阵列相机中的两个相邻的相机；所述第一图像的初始重叠区域为第一图像中靠近第二相机侧且包括a₀列像素点的区域；所述第二图像的初始重叠区域为第二图像中靠近第一相机侧且包括a₀列像素点的区域；a₀为预设的初始重叠像素点列数。

本实施例中，第一相机和第二相机是沿水平方向并列的两个相邻的相机，以图像的左下角的像素点为原点，以水平向右的方向为x轴正方向，以垂直x轴且向上的方向为y轴正方向，如果第二相机位于第一相机的右侧，那么第一相机拍摄的图像中x坐标最大的若干列像素点为与第二相机拍摄的图像重叠的像素点，第二相机拍摄的图像中x坐标最小的若干列像素点为与第一相机拍摄的图像重叠的像素点。

可选的，a₀为经验值。

S300，获取P_1,0的k-l阶图像矩m⁰ _1,kl 和P_2,0的k-l图像矩m⁰ _2,kl ；k为预设的图像矩阶数，l为预设的垂直矩阶数。

可选的，在获取P_1,0的k-l阶图像矩m⁰ _1,kl 和P_2,0的k-l图像矩m⁰ _2,kl 之前先对P_1,0和P_2,0进行预处理，然后获取进行预处理后的P_1,0的k-l阶图像矩m⁰ _1,kl 和进行预处理后的P_2,0的k-l图像矩m⁰ _2,kl 。可选的，预处理包括去噪和灰度化等。

本实施例中，m⁰ _1,kl =∑^M1 _i=1∑^N1 _j=1(i^k×j ^l ×f_ij)，m⁰ _2,kl =∑^M2 _e=1∑^N2 _h=1(e^k×h ^l ×f_eh)，f_ij为P_1,0的第i行的第j列的像素点的灰度值，i的取值范围为1到M1，M1为P_1,0的像素点行数，j的取值范围为1到N1，N1为P_1,0的像素点列数；f_eh为P_2,0的第e行的第h列的像素点的灰度值，e的取值范围为1到M2，M2为P_2,0的像素点行数，h的取值范围为1到N2，N2为P_2,0的像素点列数。本实施例中，M1=M2，N1=N2=a₀。

本实施例中，使用并行处理的方法获取m⁰ _1,kl 和m⁰ _2,kl ，即使用多个计算单元并行计算以获取m⁰ _1,kl 和m⁰ _2,kl ，进而提高获取m⁰ _1,kl 和m⁰ _2,kl 的效率。

本实施例中，m⁰ _1,kl =∑^M1 _i=1∑^N1 _j=1(i^k×j ^l ×f_ij)=∑^M _i=1(i^k×s_il (j))，s_il (j)=∑^N _j=1(j ^l ×f_ij)；当l=0时，s_i0(j)=s_i0(j-1)+f_ij；当l=1时，s_i1(j)=s_i1(j-1)+s_i0(j)；当l=2时，s_i2(j)=s_i2(j-1)+s_i1(j)+s_i1(j-1)；当l=3时，s_i3(j)=s_i3(j-1)+s_i2(j-1)+2s_i2(j)-s_i1(j)；当l>3时，

，

例如，当l=4时，s_i4(j)=s_i4(j-1)+4s_i3(j-1)+3s_i2(j-1)+3s_i2(j)-2s_i1(j)。本实施例先获取垂直矩，在获取了垂直矩的基础上再获取图像矩，其中在获取垂直矩的过程中只需进行加法操作，无需进行乘法操作，减小了算法复杂度。

优选的，l和k的获取过程包括：

S310，获取P_1,0中预设类型的目标的数量qua_1,0。

本实施例中预设类型的目标是用户较为关注的目标，可选的，预设类型的目标为人和车辆。

本领域技术人员知悉，现有技术中任何的检测图像中预设类型目标的方法均落入本发明的保护范围。

S320，获取P_1,0中预设类型的目标的像素点的占比β_1,0。

本实施例中，β_1,0为P_1,0中所有类型为预设类型的目标的像素点的总数量与P_1,0的像素点数量num_1,0之比。

S330，获取第一相机的采样频率f₁。

本实施例中，第二相机的采样频率和第一相机的采样频率相同。

S340，获取P_1,0中像素点的数量num_1,0。

S350，根据qua_1,0、β_1,0、f₁和num_1,0确定l和k，l和k均与qua_1,0正相关，l和k均与β_1,0正相关，l和k均与f₁负相关，l和k均与num_1,0负相关。

本实施例中，l和k均与qua_1,0和β_1,0正相关，l和k均与f₁和num_1,0负相关，能够在第一图像和第二图像的初始重叠区域包括的预设类型的目标的数量较多且占比较大时增大l和k的取值，以增加垂直矩和图像矩度量图像的准确性；在第一相机的采样频率较大且初始重叠区域的像素点数量较多时减小l和k的取值，以减少获取垂直矩和图像矩过程中的计算开销；由此，该l和k兼顾了第一图像和第二图像的重要程度和获取k-l阶图像矩的计算开销。

优选的，S350包括：

S351，获取第一目标值v₁，v₁=r₁×qua’_1,0+r₂×β’_1,0-r₃×f’₁-r₄×num’_1,0，r₁+r₂+r₃+r₄=1，r₁、r₂、r₃和r₄分别为预设类型目标的数量、预设类型目标的像素点的占比、第一相机的采样频率和像素点数量对应的权重，qua’_1,0、β’_1,0、f’₁和num’_1,0分别为对qua_1,0、β_1,0、f₁和num_1,0进行归一化处理后的值。

本实施例中，r₁、r₂、r₃和r₄根据用户需求预先设定，可选的，r₁=r₂=r₃=r₄=0.25。

本领域技术人员知悉，现有技术中任何的归一化算法都落入本发明的保护范围。

S352，将v₁在预设的关联表中进行匹配；所述预设的关联表包括若干第一条目，每一第一条目中记录有一个目标值范围、一个与目标值范围对应的垂直矩阶数和一个与目标值范围对应的图像矩阶数；任意两个第一条目记录的目标值范围之间不存在重叠。

S353，如果v₁属于第一关联表中某个第一条目记录的目标值范围，则将该第一条目记录的垂直矩阶数确定为l，将该第一条目记录的图像矩阶数确定为k。

本实施例中，一个第一条目记录的目标值范围、垂直矩阶数和图像矩阶数之间具有对应关系，当v₁属于关联表的第x个第一条目记录的目标值范围时，将关联表的第x个第一条目记录的垂直矩阶数和图像矩阶数分别作为l和k。

基于S351-S353，本实施例可以为P_1,0和P_2,0确定一个较为匹配的垂直矩阶数和图像矩阶数，兼顾了图像的重要程度和计算开销。

S400，如果|m⁰ _1,kl -m⁰ _2,kl |≤ε₀，则将P_1,0和P_2,0确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接；ε₀为预设的图像矩差异阈值。

本实施例中，ε₀为经验值。

作为一种具体实施方式，将P_1,0和P_2,0确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接包括：

S410，获取P_1,0的特征点集合F_1,0和P_2,0的特征点集合F_2,0。

本领域技术人员知悉，现有技术中任何的特征点获取的方法均落入本发明的保护范围。

S420，对F_1,0和F_2,0进行特征点匹配，得到若干特征点对。

本领域技术人员知悉，现有技术中任何的特征匹配的方法均落入本发明的保护范围。

S430，根据所述若干特征点对进行第一图像和第二图像的图像拼接。

本领域技术人员知悉，现有技术中任何的基于特征点对进行图像拼接的方法均落入本发明的保护范围。

基于上述S410-S430，本实施例获取了P_1,0中的特征点和P_2,0中的特征点，由于P_1,0和P_2,0均为第一图像和第二图像的重叠区域图像，因此第一图像和第二图像中除重叠区域以外的特征点不会干扰S420中的特征点匹配的过程，使得S420中获取的特征点对的准确性更高，进而提高了最终得到的拼接结果的质量。

本实施例获取了第一图像的初始重叠区域图像P_1,0和第二图像的初始重叠区域图像P_2,0，该初始重叠区域是以预设的初始重叠像素点列数a₀为基础获取的重叠区域，为了判断该初始重叠区域是否为第一图像和第二图像的重叠区域，本实施例分别获取了P_1,0和P_2,0的k-l阶图像矩，如果P_1,0和P_2,0的k-l阶图像矩的差异小于等于预设的图像矩差异阈值，则判定上述初始重叠区域为第一图像和第二图像的重叠区域，并以此初始重叠区域为基础进行第一图像和第二图像的图像拼接。本实施例在对第一图像和第二图像进行拼接之前对初始重叠区域是否为第一图像和第二图像的重叠区域进行了判断，只有在初始重叠区域调整为第一图像和第二图像的重叠区域的情况下才进行第一图像和第二图像的图像拼接，可以避免由于将非重叠区域作为重叠区域导致的图像拼接质量较低的问题，提高了获取的图像拼接结果的质量。

本实施例中，S400还包括：如果|m⁰ _1,kl -m⁰ _2,kl |>ε₀，则进入S500。

S500，初始化第一变量b为1。

S600，获取P_1,b的k-l阶图像矩m^b _1,kl 和P_2,b的k-l图像矩m^b _2,kl ；P_1,b为第一图像的第b更新重叠区域图像，第一图像的第b更新重叠区域为第一图像中靠近第二相机侧且包括a₀-b×Δa列像素点的区域，Δa为预设的列数步长；P_2,b为第二图像的第b更新重叠区域图像，第二图像的第b更新重叠区域为第二图像中靠近第一相机侧且包括a₀-b×Δa列像素点的区域。

可选的，Δa为经验值。例如，Δa=1或2或5或10。

优选的，Δa的获取方法包括：

S610，获取预设的第一表格d，d=(d₁,d₂,…,d_c,…,d_w)，d_c为d包括的第c个条目，d_c=(d_c,1,d_c,2,d_c,3,k_c,l _c,Δa_c)，d_c,1为d_c记录的像素点列数范围，d_c,2为d_c记录的像素点行数范围，d_c,3为d_c记录的图像矩差异范围，k_c为d_c记录的图像矩阶数范围，l _c为d_c记录的垂直矩阶数范围，Δa_c为d_c记录的与d_c,1、d_c,2、d_c,3、k_c和l _c匹配的步长，c的取值范围为1到w，w为d包括的条目的数量。

本实施例中，可基于经验预先构建d，其中Δa_c是在重叠区域包括的像素点列数属于d_c,1、重叠区域包括的像素点行数属于d_c,2、图像矩差异大小属于d_c,3、图像矩阶数属于k_c和垂直矩阶数属于l _c的情况下兼顾重叠区域的大小和S600的重复次数的优选步长。

S620，将(a₀,M1,|m⁰ _1,kl -m⁰ _2,kl |,k,l)在d中进行匹配，如果a₀∈d_c,1、M1∈d_c,2、|m⁰ _1,kl -m⁰ _2,kl |∈d_c,3、k∈k_c、l∈l _c，则将Δa确定为Δa_c。

基于S610-S620，本实施例通过预先构建第一表格的方式，在已知重叠区域包括的像素点列数、行数、图像矩差异大小、图像矩阶数和垂直矩阶数的情况下，可以确定较为匹配的步长，该较为匹配的步长兼顾了最终得到的重叠区域的大小和S600的重复次数，该较为匹配的步长为优选值，对应的是相对较大的重叠区域和相对较少的重叠次数。

S700，如果|m^b _1,kl -m^b _2,kl |≤ε₀，则将P_1,b和P_2,b确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接；如果|m^b _1,kl -m^b _2,kl |>ε₀，则更新b=b+1，重复S600，直至|m^b _1,kl -m^b _2,kl |≤ε₀，将P_1,b和P_2,b确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接。

基于上述S500-S700，本实施例在|m^b _1,kl -m^b _2,kl |>ε₀的情况下以Δa为步长不断缩小重叠区域对应的像素点列数，直至|m^b _1,kl -m^b _2,kl |≤ε₀，由此，本实施例得到了包含像素点列数相对较多且真实的重叠区域，有利于提高对第一图像和第二图像进行拼接的结果的质量。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

Claims (7)

1.一种基于图像矩并行处理的图像拼接方法，其特征在于，包括以下步骤：

S100，获取第一图像的初始重叠区域图像P_1,0，所述第一图像为第一相机在目标时刻采集得到的图像；

S200，获取第二图像的初始重叠区域图像P_2,0，所述第二图像为第二相机在目标时刻采集得到的图像，所述第一相机和第二相机为阵列相机中的两个相邻的相机；所述第一图像的初始重叠区域为第一图像中靠近第二相机侧且包括a₀列像素点的区域；所述第二图像的初始重叠区域为第二图像中靠近第一相机侧且包括a₀列像素点的区域；a₀为预设的初始重叠像素点列数；

S300，获取P_1,0的k-l阶图像矩m⁰ _1,kl 和P_2,0的k-l图像矩m⁰ _2,kl ；k为预设的图像矩阶数，l为预设的垂直矩阶数；

S400，如果|m⁰ _1,kl -m⁰ _2,kl |≤ε₀，则将P_1,0和P_2,0确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接；ε₀为预设的图像矩差异阈值。

2.根据权利要求1所述的基于图像矩并行处理的图像拼接方法，其特征在于，S400还包括：如果|m⁰ _1,kl -m⁰ _2,kl |>ε₀，则进入S500；

S500，初始化第一变量b为1；

S600，获取P_1,b的k-l阶图像矩m^b _1,kl 和P_2,b的k-l图像矩m^b _2,kl ；P_1,b为第一图像的第b更新重叠区域图像，第一图像的第b更新重叠区域为第一图像中靠近第二相机侧且包括a₀-b×Δa列像素点的区域，Δa为预设的列数步长；P_2,b为第二图像的第b更新重叠区域图像，第二图像的第b更新重叠区域为第二图像中靠近第一相机侧且包括a₀-b×Δa列像素点的区域；

S700，如果|m^b _1,kl -m^b _2,kl |≤ε₀，则将P_1,b和P_2,b确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接；如果|m^b _1,kl -m^b _2,kl |>ε₀，则更新b=b+1，重复S600，直至|m^b _1,kl -m^b _2,kl |≤ε₀，将P_1,b和P_2,b确定为第一图像和第二图像的重叠区域并进行第一图像和第二图像的图像拼接。

3.根据权利要求1所述的基于图像矩并行处理的图像拼接方法，其特征在于，m⁰ _1,kl =∑^M1 _i=1∑^N1 _j=1(i^k×j ^l ×f_ij)，m⁰ _2,kl =∑^M2 _e=1∑^N2 _h=1(e^k×h ^l ×f_eh)，f_ij为P_1,0的第i行的第j列的像素点的灰度值，i的取值范围为1到M1，M1为P_1,0的像素点行数，j的取值范围为1到N1，N1为P_1,0的像素点列数；f_eh为P_2,0的第e行的第h列的像素点的灰度值，e的取值范围为1到M2，M2为P_2,0的像素点行数，h的取值范围为1到N2，N2为P_2,0的像素点列数；M1=M2，N1=N2=a₀。

4.根据权利要求1所述的基于图像矩并行处理的图像拼接方法，其特征在于，l和k的获取过程包括：

S310，获取P_1,0中预设类型的目标的数量qua_1,0；

S320，获取P_1,0中预设类型的目标的像素点的占比β_1,0；

S330，获取第一相机的采样频率f₁；

S340，获取P_1,0中像素点的数量num_1,0；

S350，根据qua_1,0、β_1,0、f₁和num_1,0确定l和k，l和k均与qua_1,0正相关，l和k均与β_1,0正相关，l和k均与f₁负相关，l和k均与num_1,0负相关。

5.根据权利要求4所述的基于图像矩并行处理的图像拼接方法，其特征在于，S350包括：

S351，获取第一目标值v₁，v₁=r₁×qua’_1,0+r₂×β’_1,0-r₃×f’₁-r₄×num’_1,0，r₁+r₂+r₃+r₄=1，r₁、r₂、r₃和r₄分别为预设类型目标的数量、预设类型目标的像素点的占比、第一相机的采样频率和像素点数量对应的权重，qua’_1,0、β’_1,0、f’₁和num’_1,0分别为对qua_1,0、β_1,0、f₁和num_1,0进行归一化处理后的值；

S352，将v₁在预设的关联表中进行匹配；所述预设的关联表包括若干第一条目，每一第一条目中记录有一个目标值范围、一个与目标值范围对应的垂直矩阶数和一个与目标值范围对应的图像矩阶数；任意两个第一条目记录的目标值范围之间不存在重叠；

S353，如果v₁属于第一关联表中某个第一条目记录的目标值范围，则将该第一条目记录的垂直矩阶数确定为l，将该第一条目记录的图像矩阶数确定为k。

6.根据权利要求4所述的基于图像矩并行处理的图像拼接方法，其特征在于，所述预设类型的目标包括人和车辆。

7.根据权利要求1所述的基于图像矩并行处理的图像拼接方法，其特征在于，使用并行处理的方法获取m⁰ _1,kl 和m⁰ _2,kl 。