CN113962864A - 图像拼接方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种图像拼接方法、装置、存储介质及电子装置，其中，该方法包括：获取待拼接的图像帧序列，其中，图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；确定图像帧序列的像素位移向量，其中，像素位移向量中包括图像帧序列中的任两个相邻图像帧之间的像素位移；基于像素位移向量按照任两个相邻图像帧对应的权重对图像帧序列进行拼接，以得到目标图像。通过本发明，解决了相关技术中存在的图像拼接精度较差的问题，进而达到了提高图像拼接的精度的效果。

Description

图像拼接方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及图像处理技术领域，具体而言，涉及一种图像拼接方法、装置、存储介质及电子装置。

背景技术

随着计算机视觉的飞速发展，利用电脑来降低阅读视频的人力成本越来越被用户所认可。在高速公路上，每天都会产生大量的视频数据，其中有很多有用信息需要从大量视频中查找出来，下面以收费稽查的问题为例进行说明，由于目前车辆收费标准与该车辆的车轴数量直接相关，因此我们需要获取车辆的侧面图像，考虑到不同车辆长度均不同，无法使用一个摄像头完整获取车辆侧面图像，因此需引入高帧率的面阵相机，将高速行驶中的车辆以视频的方式捕捉下来，每帧视频包含该车辆的局部信息，然后将一帧帧的车辆局部图片拼接成一张完整的车辆侧边图像，由此就产生了车辆图像拼接方法。由于车辆的纹理信息比较丰富，相关技术中图像拼接的精度较差导致拼接后的图像不均匀。

针对相关技术中存在的图像拼接精度较差的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像拼接方法、装置、存储介质及电子装置，以至少解决相关技术中存在的图像拼接精度较差的问题。

根据本发明的一个实施例，提供了一种图像拼接方法，包括：获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

在一个示例性实施例中，确定所述图像帧序列的像素位移向量包括：利用目标神经网络的卷积层提取所述图像帧序列的第一特征向量图；利用所述目标神经网络的池化层对所述第一特征向量图进行池化处理，以得到第二特征向量图；利用所述目标神经网络的全连接层对所述第二特征向量图进行处理，以得到所述像素位移向量。

在一个示例性实施例中，基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像包括：针对所述像素位移向量中包括的每一个目标像素位移，均执行以下操作：基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像，其中，所述目标像素位移用于指示所述第一图像帧和所述第二图像帧之间的像素位移；基于所述目标子图像确定出所述目标图像。

在一个示例性实施例中，基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像包括：基于所述目标像素位移从所述第一图像帧中获取第一子图像，以及，基于所述目标像素位移从所述第二图像帧中获取第二子图像；通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接，以得到所述目标子图像。

在一个示例性实施例中，基于所述目标像素位移从所述第一图像帧中获取第一子图像包括：从所述第一图像帧的第一预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第一子图像；基于所述目标像素位移从所述第二图像帧中获取第二子图像包括：从所述第二图像帧的第二预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第二子图像。

在一个示例性实施例中，通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接包括：通过按照如下公式融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接：P＝X1*P1+X2*P2，X1+X2＝1，其中，P表示所述目标子图像，P1、P2分别表示所述第一子图像中包括的多列像素、所述第二子图像中包括的多列像素，X1、X2分别表示P1、P2的每列像素的权重系数。

在一个示例性实施例中，所述X1按如下公式进行确定：X1＝1/(1+exp(-kx))；其中，k为超参数，x表示所述目标子图像的各列序号。

根据本发明的另一个实施例，还提供了一种图像拼接装置，包括：获取模块，用于获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；确定模块，用于确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；拼接模块，用于基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过确定待拼接的图像帧序列的像素位移向量，其中，像素位移向量中包括图像帧序列中的任两个相邻图像帧之间的像素位移，再基于像素位移向量按照任两个相邻图像帧对应的权重对图像帧序列进行拼接。实现了基于相邻帧间的像素位移进行图像拼接的目的，同时实现了基于相邻帧间的时序信息进行图像拼接的目的，解决了相关技术中存在的图像拼接精度较差的问题，进而达到了提高图像拼接的精度的效果。

附图说明

图1是本发明实施例的图像拼接方法的移动终端的硬件结构框图；

图2是根据本发明实施例的图像拼接方法的流程图；

图3是根据本发明具体实施例的图像拼接方法的整体流程图；

图4是根据本发明具体实施例的图像序列示意图；

图5是根据本发明具体实施例的像素位移的确定方法的流程图；

图6是根据本发明实施例的图像拼接装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的图像拼接方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像拼接方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像拼接方法，图2是根据本发明实施例的图像拼接方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；

步骤S204，确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；

步骤S206，基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

通过上述步骤，通过确定待拼接的图像帧序列的像素位移向量，其中，像素位移向量中包括图像帧序列中的任两个相邻图像帧之间的像素位移，再基于像素位移向量按照任两个相邻图像帧对应的权重对图像帧序列进行拼接。实现了基于相邻帧间的像素位移进行图像拼接的目的，同时实现了基于相邻帧间的时序信息进行图像拼接的目的，解决了相关技术中存在的图像拼接精度较差的问题，进而达到了提高图像拼接的精度的效果。

其中，上述步骤的执行主体可以为终端，例如，具备图像处理能力的计算机终端，或者智能设备，或者为配置在存储设备上的具备人机交互能力的处理器，或者为具备类似处理能力的处理设备或处理单元等，但不限于此。下面以终端执行上述操作为例(仅是一种示例性说明，在实际操作中还可以是其他的设备或模块来执行上述操作)进行说明：

在上述实施例中，终端获取待拼接的图像帧序列，其中，图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧，以高速行驶中的车辆收费稽查为例，需要获取车辆的侧面图像，例如，待拼接的图像帧序列可以是由相机拍摄的车辆行驶的视频中所包括的图像帧，例如，可采用面阵相机拍摄车辆行驶的视频，在实际应用中，一个相机或摄像头可能无法拍摄完整的车辆侧面图，因此需要对多个包含车辆的图像帧进行拼接以得到完整的车辆侧面图像，相机所拍摄到的视频中所包括的多组图像帧中画面的背景是静止的，而相邻帧中目标车辆可能含有较多的相同部分，可根据重合部分和图像帧序列信息确定待拼接的图像帧序列的像素位移向量，其中，像素位移向量中包括图像帧序列中的每两个相邻图像帧之间的像素位移，然后，基于像素位移向量中包括的每个像素位移对相应的两个相邻图像帧序列按照两个相邻图像帧分别对应的权重进行拼接，可得到目标图像。实现了基于相邻帧间的像素位移进行图像拼接的目的，同时实现了基于相邻帧间的时序信息进行图像拼接的目的，解决了相关技术中存在的图像拼接精度较差的问题，进而达到了提高图像拼接的精度的效果。

在一个可选的实施例中，确定所述图像帧序列的像素位移向量包括：利用目标神经网络的卷积层提取所述图像帧序列的第一特征向量图；利用所述目标神经网络的池化层对所述第一特征向量图进行池化处理，以得到第二特征向量图；利用所述目标神经网络的全连接层对所述第二特征向量图进行处理，以得到所述像素位移向量。在本实施例中，可利用目标神经网络对图像帧序列进行处理，以得到图像帧序列间的像素位移向量，例如，可利用3D卷积神经网络模型对图像帧序列进行特征提取以得到特征图，再利用池化层对特征图进行处理，将特征图映射到二维空间，然后再经过全连接层处理得到像素位移向量。通过本实施例，实现了确定图像帧序列的像素位移向量的目的。在实际应用中，将图像帧序列(如图像1至图像n)输入至目标神经网络中，利用目标神经网络的卷积层提取图像帧序列的第一特征向量图，例如，可以得到一个五维空间的特征向量图，五维空间可包括车辆数量、时间域、特征通道数、图像的宽、高，再利用目标神经网络的池化层压缩掉宽、高、特征通道三个维度，将五维空间的特征向量图映射到二维空间，然后经过目标神经网络的全连接层处理得到像素位移向量，例如，得到一个n维向量，n维向量的第i个值代表第i-1帧图像到第i帧图像的像素位移(第一个值为0)。通过本实施例，实现了确定图像帧序列中每两个相邻帧间的像素位移的目的。

在一个可选的实施例中，基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像包括：针对所述像素位移向量中包括的每一个目标像素位移，均执行以下操作：基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像，其中，所述目标像素位移用于指示所述第一图像帧和所述第二图像帧之间的像素位移；基于所述目标子图像确定出所述目标图像。在本实施例中，针对像素位移向量中包括的每一个目标像素位移，基于目标像素位移对图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照各自对应的权重进行拼接，例如，上述像素位移向量中的第i个值代表第i-1帧图像到第i帧图像的像素位移，即，利用像素位移向量中的第i个值对图像帧序列中包括的第i-1帧图像和第i帧图像进行拼接，其中第i-1帧图像和第i帧图像分别设置不同的权重系数，以得到目标子图像，类似地，利用像素位移向量中的第j(j与i可不同)个值对图像帧序列中包括的第j-1帧图像和第j帧图像进行拼接，其中第j-1帧图像和第j帧图像分别设置不同的权重系数，以得到其它目标子图像，然后，基于目标子图像可确定出目标图像。通过本实施例，实现了基于像素位移向量中包括的每个目标像素位移对相应的相邻图像帧进行拼接的目的。

在一个可选的实施例中，基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像包括：基于所述目标像素位移从所述第一图像帧中获取第一子图像，以及，基于所述目标像素位移从所述第二图像帧中获取第二子图像；通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接，以得到所述目标子图像。在本实施例中，可基于目标像素位移从第一图像帧中获取第一子图像，以及，基于目标像素位移从第二图像帧中获取第二子图像，例如，目标像素位移为20(或30或其它值)个像素宽度，可从第一图像帧(如上述第i-1帧图像)中获取20个像素宽度的图像作为第一子图像，同样，可从第二图像帧(如上述第i帧图像)中获取20个像素宽度的图像作为第二子图像，可选地，在实际应用中，可从第一图像帧的预设区域内截取20个像素宽度的图像作为第一子图像，也可从第二图像帧的其它预设区域内截取20个像素宽度的图像作为第二子图像，然后，通过对第一子图像和第二子图像分别设置不同的权重系数进行融合的方式，以实现对第一图像帧和第二图像帧进行拼接，进而得到目标子图像，在实际应用中，可采取对第一子图像和第二子图像进行加权融合后再对第一图像帧和第二图像帧进行拼接。通过本实施例，实现了基于像素位移从第一图像帧中确定第一子图像和从第二图像帧中确定第二子图像的目的，并实现了通过融合第一子图像和第二子图像的方式对第一图像帧和第二图像帧进行拼接的目的。

在一个可选的实施例中，基于所述目标像素位移从所述第一图像帧中获取第一子图像包括：从所述第一图像帧的第一预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第一子图像；基于所述目标像素位移从所述第二图像帧中获取第二子图像包括：从所述第二图像帧的第二预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第二子图像。在实际应用中，可从第一图像帧的第一预设区域内截取目标像素位移所指示的宽度的图像，以得到第一子图像，例如，目标像素位移为20(或30或其它值)个像素宽度，可选地，以第一图像帧的图像的中垂线为边界线，从第一图像帧的左半部分图像或右半部分图像中选取20个像素宽度的图像，以得到第一子图像，类似地，以第二图像帧的图像的中垂线为边界线，从第二图像帧的右半部分图像或左半部分图像中选取20个像素宽度的图像，以得到第二子图像。通过本实施例，实现了基于像素位移从第一图像帧中得到第一子图像和从第二图像帧中得到第二子图像的目的。

在一个可选的实施例中，通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接包括：通过按照如下公式融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接：P＝X1*P1+X2*P2，X1+X2＝1，其中，P表示所述目标子图像，P1、P2分别表示所述第一子图像中包括的多列像素、所述第二子图像中包括的多列像素，X1、X2分别表示P1、P2的每列像素的权重系数。在本实施例中，按照上述公式对第一子图像和第二子图像进行加权融合，进而对第一图像帧和第二图像帧进行拼接，通过对第一子图像和第二子图像进行加权融合，可实现提升拼接后的图像视觉效果的目的。

在一个可选的实施例中，所述X1按如下公式进行确定：X1＝1/(1+exp(-kx))；其中，k为超参数，x表示所述目标子图像的各列序号。在本实施例中，通过按照上述公式确定权重系数X1，在对第一子图像和第二子图像进行加权融合过程中，可以实现在融合区域的两侧都更偏重于邻接的图像，例如，融合区域的左侧更偏重于第一图像帧(或第二图像帧)，融合区域的右侧更偏重于第二图像帧(或第一图像帧)，这样可实现在第一图像帧与第二图像帧拼接的中间部分的视觉效果更平滑，不会产生阶梯感。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。下面结合实施例对本发明进行说明，以下以高速车辆图像的拼接为例进行具体说明：

图3是根据本发明具体实施例的图像拼接方法的整体流程图，如图3所示，该流程包括如下步骤：

S302，利用像素位移模块确定相邻帧间的像素位移，即，对输入的图像序列进行处理以确定相邻帧间的像素位移；

在实际应用中，可采用面阵相机拍摄高速车辆的视频以得到图像序列，图4是根据本发明具体实施例的图像序列示意图，图像序列有以下特点，画面中背景是静止的，视频相邻帧中目标车辆含有较多的相同部分，如图4中，相邻图像间存在较多的重合部分，需要根据重合部分和序列信息得到每两帧间的像素位移，图5是根据本发明具体实施例的像素位移的确定方法的流程图，如图5所示，该流程包括：

S502，将需要拼接的图像1至图像n输入至一个3D卷积神经网络(对应于前述目标神经网络)；

S504，利用3D卷积特征提取器(对应于前述目标神经网络的卷积层)提取图像序列的特征，可以得到一个五维空间的特征图；

S506，再使用特征池化压缩掉宽、高、特征通道三个维度，将该特征图映射到二维空间；

S508，再经过全连接层得到一个n维向量，n维向量的第i个值代表第i-1帧图像到第i帧图像的像素位移(另第一个值为0)；

因为车辆行驶在微观上看都是匀加速、匀减速、均速以不同排列组合起来的，因此某帧的位移会和前若干帧相关，利用3D卷积引入时序信息有利于对车速的估计；

S304，利用拼接算法模块得到拼接后的目标图像，例如，得到拼接后的车辆图片；

需要说明的是，在步骤S304中，通过对连续两个图像序列的部分重合区域做加权融合，进而对连续两帧图像进行拼接，由于车辆驶过的不同阶段存在视差，这会使拼接图像时纹理对不上，因此，在拼接时可选取前一张图像的左半部分(或右半部分)，后一张图像的右半部分(或左半部分)以及宽度为像素位移的图像融合，融合部分的图像可按如下公式确定：

P＝X1*P1+X2*P2，X1+X2＝1；

其中，P表示所述目标子图像，P1、P2分别表示所述第一子图像中包括的多列像素、所述第二子图像中包括的多列像素，X1、X2分别表示P1、P2的每列像素的权重系数；

其中，上述融合部分可按如下方式选取：

记这两张图像的像素位移为delta，取前一张图像中垂线右边宽度为delta的区域(对应于前述第一预设区域)与后一张图像中中垂线左侧宽度为delta的区域(对应于前述第二预设区域)进行加权融合(取中垂线附近可以保证视角的统一)，融合权重函数可按如下公式确定：

X1＝1/(1+exp(-kx))；

其中，k为超参数，例如，k可取0.01或根据需要取其它值，x表示所述目标子图像的各列序号，例如，融合区域图像(或目标子图像)为20个像素宽度，即共20列像素，则该融合区域图像的各列序号分别对应为(-9)～(+10)之间的整数(包括0)，或者，该融合区域图像的各列序号分别对应为(-10)～(+9)之间的整数(包括0)；如果融合区域图像为25个像素宽度，即共25列像素，则该融合区域图像的各列序号分别对应为(-12)～(+12)之间的整数(包括0)；使用该函数计算第一张图像每一列像素的权重，另一张图像的权重与此权重相加为1；

这种加权融合的好处是可以让融合区域两侧更偏重与邻接的图像，而中间部分视觉效果更平滑，不会产生阶梯感。

相关技术中的图像拼接方法大部分计算量在图像处理单元GPU上，与相关技术相比，通过本发明实施例，可以缩短整体算法的计算时间，同时由于引入了时序信息，会使确定出的像素位移更加精确，在融合上，因采取对重合区域做加权融合，可以实现让拼接后的图像视觉效果更好的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种图像拼接装置，图6是根据本发明实施例的图像拼接装置的结构框图，如图6所示，该装置包括：

获取模块602，用于获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；

确定模块604，用于确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；

拼接模块606，用于基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

在一个可选的实施例中，上述确定模块604包括：提取单元，用于利用所述目标神经网络的卷积层提取所述图像帧序列的第一特征向量图；池化单元，用于利用所述目标神经网络的池化层对所述第一特征向量图进行池化处理，以得到第二特征向量图；处理单元，用于利用所述目标神经网络的全连接层对所述第二特征向量图进行处理，以得到所述像素位移向量。

在一个可选的实施例中，上述拼接模块606包括：执行单元，用于针对所述像素位移向量中包括的每一个目标像素位移，均执行以下操作：基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像，其中，所述目标像素位移用于指示所述第一图像帧和所述第二图像帧之间的像素位移；基于所述目标子图像确定出所述目标图像。

在一个可选的实施例中，上述执行单元可通过如下方式对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像：基于所述目标像素位移从所述第一图像帧中获取第一子图像，以及，基于所述目标像素位移从所述第二图像帧中获取第二子图像；通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接，以得到所述目标子图像。

在一个可选的实施例中，上述执行单元可通过如下方式从所述第一图像帧中获取第一子图像：从所述第一图像帧的第一预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第一子图像；上述执行单元可通过如下方式从所述第二图像帧中获取第二子图像：从所述第二图像帧的第二预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第二子图像。

在一个可选的实施例中，上述执行单元可通过如下方式将所述第一图像帧和所述第二图像帧进行拼接：通过按照如下公式融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接：P＝X1*P1+X2*P2，X1+X2＝1，其中，P表示所述目标子图像，P1、P2分别表示所述第一子图像中包括的多列像素、所述第二子图像中包括的多列像素，X1、X2分别表示P1、P2的每列像素的权重系数。

在一个可选的实施例中，上述X1按如下公式进行确定：X1＝1/(1+exp(-kx))；其中，k为超参数，x表示所述目标子图像的各列序号。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：

获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；

确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；

基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

2.根据权利要求1所述的方法，其特征在于，确定所述图像帧序列的像素位移向量包括：

利用目标神经网络的卷积层提取所述图像帧序列的第一特征向量图；

利用所述目标神经网络的池化层对所述第一特征向量图进行池化处理，以得到第二特征向量图；

利用所述目标神经网络的全连接层对所述第二特征向量图进行处理，以得到所述像素位移向量。

3.根据权利要求1所述的方法，其特征在于，基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像包括：

针对所述像素位移向量中包括的每一个目标像素位移，均执行以下操作：基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像，其中，所述目标像素位移用于指示所述第一图像帧和所述第二图像帧之间的像素位移；

基于所述目标子图像确定出所述目标图像。

4.根据权利要求3所述的方法，其特征在于，基于所述目标像素位移对所述图像帧序列中所包括的前后相邻的第一图像帧和第二图像帧按照所述第一图像帧和所述第二图像帧分别对应的权重进行拼接，以得到目标子图像包括：

基于所述目标像素位移从所述第一图像帧中获取第一子图像，以及，基于所述目标像素位移从所述第二图像帧中获取第二子图像；

通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接，以得到所述目标子图像。

5.根据权利要求4所述的方法，其特征在于，

基于所述目标像素位移从所述第一图像帧中获取第一子图像包括：从所述第一图像帧的第一预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第一子图像；

基于所述目标像素位移从所述第二图像帧中获取第二子图像包括：从所述第二图像帧的第二预设区域内截取所述目标像素位移所指示的宽度的图像，以得到所述第二子图像。

6.根据权利要求4所述的方法，其特征在于，通过按照所述第一图像帧和所述第二图像帧分别对应的权重融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接包括：

通过按照如下公式融合所述第一子图像和所述第二子图像的方式将所述第一图像帧和所述第二图像帧进行拼接：

P＝X1*P1+X2*P2，X1+X2＝1，

其中，P表示所述目标子图像，P1、P2分别表示所述第一子图像中包括的多列像素、所述第二子图像中包括的多列像素，X1、X2分别表示P1、P2的每列像素的权重系数。

7.根据权利要求6所述的方法，其特征在于，所述X1按如下公式进行确定：

X1＝1/(1+exp(-kx))；

其中，k为超参数，x表示所述目标子图像的各列序号。

8.一种图像拼接装置，其特征在于，包括：

获取模块，用于获取待拼接的图像帧序列，其中，所述图像帧序列中包括对处于移动状态的目标对象进行连续拍摄所得到的一组图像帧；

确定模块，用于确定所述图像帧序列的像素位移向量，其中，所述像素位移向量中包括所述图像帧序列中的任两个相邻图像帧之间的像素位移；

拼接模块，用于基于所述像素位移向量按照任两个相邻图像帧对应的权重对所述图像帧序列进行拼接，以得到目标图像。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至7任一项中所述的方法的步骤。

10.一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至7任一项中所述的方法的步骤。

Images