CN112116068A - 一种环视图像拼接方法、设备及介质 - Google Patents

Abstract

本申请公开了一种环视图像拼接方法、设备及介质，方法包括：确定摄像装置采集到的多帧图像；针对多帧图像中的每帧图像，通过预先训练的识别模型，在该帧图像中提取出相应目标的目标特征；通过目标特征对相应目标进行标定，将标定结果反馈至该帧图像；根据携带有标定结果的每帧图像，将多帧图像进行环视拼接，得到拼接图像。本申请中通过预先训练的识别模型进行目标的标定，来得到相应目标的位置，进而通过相应目标的位置来进行环视图像的拼接。由此能够在不考虑亮度的前提下，完成环视图像的拼接，解决了在采用光流法进行图像视频时，需要目标亮度恒定不变的原则，减少了对于环视图像拼接的限制。

Description

一种环视图像拼接方法、设备及介质

技术领域

本申请涉及图像处理领域，具体涉及一种环视图像拼接方法、设备及介质。

背景技术

环视图像拼接，指的是对摄像装置采集到的一系列图像进行拼接，最终拼接得到一张图像的过程。

而现有技术中，在对图像进行拼接时，通常采用的方法为光流法。光流(opticalflow)是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。

但光流法有个亮度恒定不变的假设前提，即同一目标在不同帧间运动时，其亮度不会发生改变。这是基本光流法的假定，所有光流法变种都必须满足，用于得到光流法基本方程。这就对使用光流法来进行环视图像拼接造成了很大程度的限定。

发明内容

为了解决上述问题，本申请提出了一种环视图像拼接方法，包括：确定摄像装置采集到的多帧图像；针对所述多帧图像中的每帧图像，通过预先训练的识别模型，在该帧图像中提取出相应目标的目标特征；通过所述目标特征对所述相应目标进行标定，将标定结果反馈至该帧图像；根据携带有所述标定结果的每帧图像，将所述多帧图像进行环视拼接，得到拼接图像。

在一个示例中，确定摄像装置采集到的多帧图像，包括：确定多个摄像装置在同一时间点采集到的多帧图像，所述多个摄像装置的采集范围不同。

在一个示例中，确定摄像装置采集到的多帧图像，包括：确定单个摄像装置在不同时间点采集到的多帧图像，所述单个摄像装置在不同时间点的采集范围不同。

在一个示例中，通过所述目标特征对所述相应目标进行标定，将标定结果反馈至该帧图像之后，所述方法还包括：根据该帧图像对应的标定结果，以及所述摄像装置的姿态和采集范围，对下一帧图像中所述相应目标进行估算；根据估算结果以及所述识别模型，在所述下一帧图像中提取出相应目标的目标特征；通过所述目标特征对所述相应目标进行标定，将标定结果反馈至所述下一帧图像，并将所述下一帧图像的标定结果用于下一轮的估算过程。

在一个示例中，所述识别模型包括：3层采样层、2层全连接层，每层采样层包括1个卷积层和1个池化层；所述采样层用于：对输入图像进行边缘分割；所述全连接层用于：输出像素分类，并将像素坐标标定回原图像。

在一个示例中，根据携带有所述标定结果的每帧图像，将所述多帧图像进行环视拼接，得到拼接图像，包括：根据携带有所述标定结果的每帧图像，确定每帧图像的稀疏点云；基于所述稀疏点云，得到每帧图像的稠密点云；根据所述每帧图像的稠密点云进行叠加去重，以得到拼接图像。

在一个示例中，根据所述每帧图像的稠密点云进行叠加去重之前，所述方法还包括:通过指定帧图像的稠密点云进行矫正，所述指定帧图像为从第一帧图像开始的指定数量帧数的图像。

在一个示例中，所述摄像装置应用在指定场景中，所述指定场景指的是，所述摄像装置在所述指定场景采集到的图像中，最高亮度与最低亮度之间的差值大于预设阈值的场景。

另一方面，本申请还提出了一种环视图像拼接设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：如上述任意一个示例所述的方法。

另一方面，本申请还提出了一种环视图像拼接的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：如上述任意一个示例所述的方法。

通过本申请提出环视图像拼接方法能够带来如下有益效果：

本申请中通过预先训练的识别模型进行目标的标定，来得到相应目标的位置，进而通过相应目标的位置来进行环视图像的拼接。由此能够在不考虑亮度的前提下，完成环视图像的拼接，解决了在采用光流法进行图像视频时，需要目标亮度恒定不变的原则，减少了对于环视图像拼接的限制。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中环视图像拼接方法的流程示意图；

图2为本申请实施例中环视图像拼接设备的示意图；

图3为本申请实施例中环视图像拼接方法的具体流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供一种环视图像拼接方法。在本申请实施例中，环视图像拼接指的是，对采集到的一系列图像进行拼接，而最终得到的环视图像中，用户可以在一个界面中通过转动界面，可以观察周围一定角度内的图像。

如图1所示，方法包括：

S101、确定摄像装置采集到的多帧图像。

摄像装置，指的是具有摄像功能的装置，其可以是监控摄像头、网络摄像头、红外摄像头等，而摄像装置采集到的多帧图像指的是一个系列图像，在这一系列图像中的各帧图像之间存在有相应的联系，使得这多帧图像能够用来拼接得到环视图像。

具体地，摄像装置在采集图像时，可以是由多个摄像装置在同一时间点进行图像采集，以此来得到多帧图像。当然，这多个摄像装置之间的采集范围不同，而且这多个摄像装置的采集范围具有交叉，使得采集到的多帧图像之间存在相似的部分，以便于进行图像拼接。例如，这多个摄像装置可以是构成环形或者球形，分别用来采集自身对应的环外侧范围的图像，并且任意两相邻的摄像装置之间的采集范围具有交叉处，以此来进行图像采集，得到多帧图像。

摄像装置在采集图像时，也可以是由单个的摄像装置进行移动或转动，以此来调整自身的采集范围，进而然后在不同时间点进行持续拍摄，以采集到不同范围的多帧图像。例如，可以是单个的摄像装置，以预设的点为圆心，进行转动和/或移动，以此来得到一个环形外对应的多帧图像。

当然，摄像装置在采集图像时，也可以是上述两种形式的叠加，即采用多个摄像装置，多个摄像装置之间的采集范围不同，多个摄像装置也可以进行相应的移动或转动，进而采集得到多帧图像。以此得到的多帧图像中，在每个时间点都对应有多个摄像装置采集到的多帧图像，而在不同的时间点，每个摄像装置自身相比于其他时间点所采集到的图像也不同。

S102、针对所述多帧图像中的每帧图像，通过预先训练的识别模型，在该帧图像中提取出相应目标的目标特征。

S103、通过所述目标特征对所述相应目标进行标定，将标定结果反馈至该帧图像。

在得到了摄像装置采集到的多帧图像后，可以通过预先训练的识别模型，在每一帧图像中都提取出相应目标的目标特征，然后基于目标特征对目标进行标定后，得到相应的标定结果，并将该标定结果反馈至相应的图像中，从而得到包含有相应目标标定结果的图像。原则上，针对采集到的每帧图像都要通过识别模型进行目标标定，一般前几帧都是矫正帧。但是在实际的工作过程中，可以只通过部分帧图像进行环视拼接，此时可以只对这部分帧图像进行目标标定，在此不再赘述。

具体地，识别模型可以是预先通过不同场景的摄像装置采集一定数量的图像作为训练样本，然后基于卷积神经网络或深度神经网络等方式进行有监督训练。最终训练得到的识别模型可以包括：3层采样层、2层全连接层，并且每层采样层包括1个卷积层和1个池化层。而采样层主要用于：对输入的图像(即上述实施例中的每帧图像)进行边缘分割；而全连接层主要用于：输出像素分类，并将像素坐标标定回原图像(即输入图像)。

而识别模型在确定需要标定的目标时，可以基于场景的不同而不同。并且对于不同的场景，如果所要识别的相应目标不同，那么也可以预选训练多个识别模型，分别对应着不同的应用场景中的不同目标。如图3所示，对输入图像中的相应目标进行标定时，主要标定的是目标的关键点，也就是特征像素。将特征像素提取出来后，对特征像素进行分类输出，从而将将特征像素进行标定，也就将目标的位置标记出来。其中，关键点包括目标在图像中的边缘点，以及其他的关键点，这里其他的关键点基于目标的不同而不同，只要是对于目标的标定起到积极作用的点，都可以作为关键点。

S104、根据携带有所述标定结果的每帧图像，将所述多帧图像进行环视拼接，得到拼接图像。

在图像中已经标定了相应目标后，每帧图像中都携带有目标的标定结果，此时即可基于该标定结果来对多帧图像进行环视拼接，最终得到拼接图像。

具体地，如果这多帧图像是多个摄像装置在同一时间点采集到的，则可以直接进行相应的拼接过程。如果这多帧图像是单个的摄像装置在移动和/或转动过程中，在不同的时间点采集到的，则此时可能会由于摄像装置的移动或转动路径，导致对于图像中的目标标定难度较大。因此，当从该帧图像(通常从第一帧图像开始)中确定了标定结果后，可以基于摄像装置的采集范围以及速率，对下一帧图像中相应目标的位置进行初步的估算。其中，这里摄像装置的速率指的是自身移动或转动的速率，由于摄像装置的速率和采集范围都是预先设置的，因此可以基于速率和采集范围，以及两帧图像之间的时间间隔长度，能够对目标的位置进行大概估算。此时即可把估算结果用在下一帧图像的目标标定过程中，辅助在下一帧中对目标进行标定，以此类推，直至本次的多帧图像中目标都标定结束，进行相应的拼接过程。通过估算结果进行目标标定，可以减少相应的计算量，以及增加在下一轮中对于目标标定结果的准确度。

进一步地，对于拼接过程来说，当确定了标定结果后，也就确定了每帧图像对应的稀疏点云。然后可以基于稀疏点云得到每帧图像对应的稠密点云，此时即可通过指定帧图像中的稠密点云进行相应的矫正，然后得到相邻两帧图像之间相似的关键点，从而进行叠加去重，完成这相邻两帧之间的拼接。然后以此类推，重复进行叠加去重操作，最终可以完成多帧图像之间的拼接过程，得到拼接图像。其中，这里的指定帧为从第一帧图像开始的指定数量帧数的图像，即我们俗称的前几帧图像。

需要说明的是，由于现有技术中通过光流法进行图像拼接时，对于目标的亮度要求很高，而本申请实施例中的拼接方法对于亮度没有要求。因此，相比于现有技术，本申请实施例中所述的拼接方法尤其适用于强光与弱光对比明显的场景，即摄像装置在场景中采集图像时，当前环境下采集到的图像中，最高亮度与最低亮度之间的差值大于预设阈值，表示了在当前场景下的强光与弱光之间对比明显。而在实际的工作中，该场景可以是例如在建筑物或其他具有较大范围阴影的结构的场景，在该场景下采集图像时，可能由于建筑物或相关结构，导致阴影中的目标与阳光直射下的目标的亮度差距很大，从而无法使用光流法进行图像拼接。

在一个实施例中，确定摄像装置采集到的多帧图像之后，对所述多帧图像中各帧图像的亮度进行判断，若各帧图像之间的亮度差值小于预设亮度差值，则采用光流法对所述多帧图像进行环视拼接，否则，按照上述实施例中的方式，通过预先训练的识别模型进行环视拼接。如果亮度差值小于预设亮度差值，则说明本次的环视图像拼接过程可以采用光流法也可以采用识别模型，但是由于采用光流法已经是现有的成熟技术，相比于识别模型来说更加稳定，因此此时可以采用光流法进行环视拼接。而对于亮度差值大于预设量度差值的，则无法采用光流法，此时即可采用识别模型进行图像拼接，以保证图像拼接的实施。

如图2所示，本申请实施例还提供了一种环视图像拼接设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：如上述任意一个实施例所述的方法。

本申请实施例还提供了一种环视图像拼接的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：如上述任意一个实施例所述的方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种环视图像拼接方法，其特征在于，包括：

确定摄像装置采集到的多帧图像；

针对所述多帧图像中的每帧图像，通过预先训练的识别模型，在该帧图像中提取出相应目标的目标特征；

通过所述目标特征对所述相应目标进行标定，将标定结果反馈至该帧图像；

根据携带有所述标定结果的每帧图像，将所述多帧图像进行环视拼接，得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，确定摄像装置采集到的多帧图像，包括：

确定多个摄像装置在同一时间点采集到的多帧图像，所述多个摄像装置的采集范围不同。

3.根据权利要求1所述的方法，其特征在于，确定摄像装置采集到的多帧图像，包括：

确定单个摄像装置在不同时间点采集到的多帧图像，所述单个摄像装置在不同时间点的采集范围不同。

4.根据权利要求3所述的方法，其特征在于，通过所述目标特征对所述相应目标进行标定，将标定结果反馈至该帧图像之后，所述方法还包括：

根据该帧图像对应的标定结果，以及所述摄像装置的姿态和采集范围，对下一帧图像中所述相应目标进行估算；

根据估算结果以及所述识别模型，在所述下一帧图像中提取出相应目标的目标特征；

通过所述目标特征对所述相应目标进行标定，将标定结果反馈至所述下一帧图像，并将所述下一帧图像的标定结果用于下一轮的估算过程。

5.根据权利要求1所述的方法，其特征在于，所述识别模型包括：3层采样层、2层全连接层，每层采样层包括1个卷积层和1个池化层；

所述采样层用于：对输入图像进行边缘分割；

所述全连接层用于：输出像素分类，并将像素坐标标定回原图像。

6.根据权利要求1所述的方法，其特征在于，根据携带有所述标定结果的每帧图像，将所述多帧图像进行环视拼接，得到拼接图像，包括：

根据携带有所述标定结果的每帧图像，确定每帧图像的稀疏点云；

基于所述稀疏点云，得到每帧图像的稠密点云；

根据所述每帧图像的稠密点云进行叠加去重，以得到拼接图像。

7.根据权利要求6所述的方法，其特征在于，根据所述每帧图像的稠密点云进行叠加去重之前，所述方法还包括:

通过指定帧图像的稠密点云进行矫正，所述指定帧图像为从第一帧图像开始的指定数量帧数的图像。

8.根据权利要求1所述的方法，其特征在于，所述摄像装置应用在指定场景中，所述指定场景指的是，所述摄像装置在所述指定场景采集到的图像中，最高亮度与最低亮度之间的差值大于预设阈值的场景。

9.一种环视图像拼接设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：如权利要求1-8中任意一项权利要求所述的方法。

10.一种环视图像拼接的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：如权利要求1-8中任意一项权利要求所述的方法。

Images