CN111192286A - 一种图像合成方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，公开了一种图像合成方法、电子设备及存储介质。包括：从原始图像序列集中筛选出包含运动目标的原始图像，获得基础帧图像序列集；从基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集；从有效帧图像序列集中筛选出满足目标重合度要求的原始图像，获得优选图像序列集；根据优选图像序列集获得运动目标的运动轨迹合成图像。从而能够获得完整的且满足重叠性要求的运动目标的运动轨迹合成图像。

Description

一种图像合成方法、电子设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，特别涉及一种图像合成方法、电子设备及存储介质。

背景技术

运动目标活动时可以通过摄像装置拍摄到多帧原始图像，通过从多帧原始图像中每间隔固定帧数进行图像提取，然后将提取出来的图像进行合成，得到运动目标的合成图像，并通过合成图像可以获得运动目标的运动轨迹。

发明人发现现有技术中至少存在如下问题：在运动目标通过恒定长度的摄像装置的预览区域时，由于运动目标的运动速度不同，运动方向也不定，因此所拍摄的多帧原始图像中可能并未包含运动目标，或者存在合成图像中运动目标重叠在一起的情况，从而导致无法看到运动目标清晰的运动轨迹，因此现有技术中的图像合成方法并不能满足用户的需求。

发明内容

本发明实施方式的目的在于提供一种图像合成方法、电子设备及存储介质，使得能够获得完整的且满足重叠性要求的运动目标的运动轨迹合成图像。

为解决上述技术问题，本发明的实施方式提供了一种图像合成方法，包括以下步骤：从原始图像序列集中筛选出包含运动目标的原始图像，获得基础帧图像序列集；从基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集；从有效帧图像序列集中筛选出满足目标重合度要求的原始图像，获得优选图像序列集；根据优选图像序列集获得运动目标的运动轨迹合成图像。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施方式中的图像合成方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现本申请实施方式中的图像合成方法。

本发明实施方式相对于现有技术而言，从原始图像序列集中筛选出包含运动目标的原始图像，在此基础上再将包含完整运动目标的原始图像筛选出来，从而能够保证获得的运动轨迹合成图片中不会存在运动目标残缺的情况，通过筛选出满足目标重合度要求的原始图像，能够进一步保证合成图像中符合用户对运动目标重叠性的要求，从而最终获得完整的且满足重叠性要求的运动目标的运动轨迹合成图像。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请第一实施例中图像合成方法的流程图；

图2是本申请第一实施例中目标框区域确定示意图；

图3是本申请第一实施例中有效帧图像序列集确定示意图；

图4是本申请第二实施例中图像合成方法的流程图；

图5是本申请第二实施例中优选图像序列集确定示意图；

图6是本申请第三实施例中电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种图像合成方法。具体流程如图1所示，包括以下步骤：

步骤101，从原始图像序列集中筛选出包含运动目标的原始图像，获得基础帧图像序列集。

其中，在本实施例中，在从原始图像序列集中筛选出包含运动目标的原始图像之前，需要首先获取原始图像序列集，其中，原始图像序列集中包括按照预设间隔连续拍摄的多帧原始图像。例如，具体获取原始图像序列集的方式可以是保持摄像装置稳定不动，即摄像装置的预览区域维持不变的情况下，点击摄像装置的拍照按键之后，以帧率1/10也就是每间隔0.1秒进行拍摄获得多帧原始图像，从而将按照0.1秒间隔连续拍摄的多帧原始图像构成原始图像序列集A＝{A1，A2，....，An}。

具体的说，在本实施方式中，所获得的原始图像序列集中可能并不存在运动目标，因此针对原始图像序列集中的每一帧原始图像进行检测，判断是否存在运动目标，当确定原始图像中不存在运动目标时，则将该帧原始图像进行删除，当确定原始图像中存在运动目标时，则将该帧原始图像进行保留，并将所有保留下来的原始图像构成基础帧图像序列集B＝{B1，B2，....，Bm}，并且m≤n，从而保证了基础帧图像序列集中的每一帧图像中都包含运动目标。并且本实施方式中具体可以采用图像识别的方式进行检测，由于图像检测并不是本申请的重点，所以本实施方式不再对其进行赘述。

值得一提的是，在本申请实施方式中，在获得基础帧图像序列集之后，往往需要确定基础帧图像序列集中原始图像的目标框区域，其中，目标框区域为包含运动目标全部像素的最小区域。如图2所示，为目标框区域确定示意图，本实施方式中以矩形框为例进行说明，当然，还可以为圆形框或者为不规则的封闭曲线框，本实施方式中并不限定目标框区域的具体形状，只要是包含运动目标全部像素的最小区域，任何形状都是在本申请的保护范围内的。

步骤102，从基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集。

具体的说，获得有效帧图像序列集的方式可以为，确定摄像装置的预览区域和边界余量；根据预览区域和边界余量确定有效帧区域；从基础帧图像序列集中筛选出目标框区域位于有效帧区域内的原始图像，获得有效帧图像序列集。从而保证了有效帧图像序列集中每一帧原始图像中的运动目标都是完整的，不存在残缺的情况发生。

在一个具体实现中，如图3所示，为有效帧图像序列集确定示意图。如图中实线框所示为摄像装置的预览区域，以摄像装置的预览区域的左上角为原点，以预览区域的上边框为x轴，并且x轴右侧为x轴正方向，以预览区域的左边框为y轴，并且y轴下方为y轴正方向，确定用户设置的边界余量为Dmin，则将预览区域左边框的横坐标加上Dmin得到有效帧区域左边框的横坐标，将预览区域右边框的横坐标减去Dmin得到有效帧区域右边框的横坐标，而对于有效帧区域上边框的纵坐标和下边框的纵坐标分别是大于0小于预览区域下边框的纵坐标，并且有效帧区域上边框的纵坐标小于有效帧区域下边框的纵坐标，从而确定出有效帧区域W，将基础帧图像序列集中不位于有效帧区域内的原始图像进行删除，筛选出位于有效帧区域W内的原始图像，获得有效帧图像序列集P＝{P1，P2，....，Pe}，并且e≤m。从而实现了有效帧图像序列集中每一帧原始图像中的运动目标都是完整的。

步骤103，从有效帧图像序列集中筛选出满足目标重合度要求的原始图像，获得优选图像序列集。

具体的说，在本实施方式中，有效帧图像序列集中虽然保证了每帧图像中运动目标都是完整的，不存在残缺的情况，但此时可能会存在多帧原始图像重叠的情况，因此，根据每帧原始图像目标重合度的情况可以筛选出不重叠的多帧原始图像，并将获取的多帧不重叠的原始图像构成优选图像序列集，Q＝{Q1，Q2，....，Qs}，并且s≤e。

步骤104，根据优选图像序列集获得运动目标的运动轨迹合成图像。

具体的说，在本实施方式中，将优选图像序列集合中每一帧优选图像中的运动目标提取出来，根据提取出来的每一个运动目标获得运动轨迹合成图像。

需要说明的是，在获得优选图像序列集后，可以对优选图像序列集中的每一帧原始图像进行图像识别，从而将每一帧原始图像中的运动目标提取出来，并将每一个运动目标按照提取的先后顺序保存在一张图像中，从而获得运动目标的运动轨迹合成图像。

与现有技术相比，本实施方式提供的图像合成方法，从原始图像序列集中筛选出包含运动目标的原始图像，在此基础上再将包含完整运动目标的原始图像筛选出来，从而能够保证获得的运动轨迹合成图片中不会存在运动目标残缺的情况，通过筛选出满足目标重合度要求的原始图像，能够进一步保证合成图像中符合用户对运动目标重叠性的要求，从而最终获得完整的且满足重叠性要求的运动目标的运动轨迹合成图像。

本发明的第二实施方式涉及一种图像合成方法。本实施例在第一实施例的基础上做了进一步改进，具体改进之处为：对获得优选图像序列集的方式进行了具体描述。本实施例中的图像合成方法的流程如图4所示。具体的说，在本实施例中，包括步骤201至步骤207，其中步骤201至步骤202与第一实施方式中的步骤101至步骤102大致相同，步骤207与第一实施方式中的步骤104大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的图像合成方法，此处不再赘述。

在步骤201至步骤202之后，执行步骤203。

步骤203，将有效帧图像序列集中的首帧原始图像，作为优选图像序列集中的首帧优选图像。

具体的说，在本实施方式中，在根据有效图像序列集获得优选图像序列集时，首先确定有效帧图像序列集中的首帧原始图像，因为每一帧原始图像分别是在不同时刻通过拍摄所获得的，所以根据有效帧图像序列集中每一帧原始图像的获取时刻，将其中获取时刻最早的一帧原始图像确定为有效帧图像序列集中的首帧原始图像P1，并将P1作为优选图像序列集中的首帧优选图像Q1。

步骤204，将首帧优选图像中的运动目标的像素设置为选中状态。

其中，在确定了优选图像序列集中的首帧优选图像Q1后，可以将Q1中的运动目标的像素设置为选中状态，例如，在实际应用中，可以将Q1中的运动目标的像素灰度值进行变换，通过运动目标的灰度值的变化，确定将运动目标的像素进行了选中。比如，从用户的视觉效果直观上来看，就是处于选中状态的运动目标的图像呈黑颜色。

步骤205，从有效帧图像序列集中除去首帧原始图像筛选出满足目标重合度要求的原始图像。

具体的说，对于优选图像序列集中其余图像的选择方式则是按照每帧原始图像的目标重合度进行确定，具体方式可以是，确定有效帧图像序列集中除去首帧原始图像外每一帧原始图像的目标重合度，其中，目标重合度表示目标框区域中选中状态的像素个数与总像素个数的比值；筛选出目标重合度小于预设阈值的原始图像。

其中，在筛选出目标重合度小于预设阈值的原始图像之后，还包括：将目标重合度小于预设阈值的原始图像中的运动目标的像素设置为选中状态。

需要说明的是，本实施方式中的目标重合度可以用字母G表示，而预设阈值用字母GT表示，并且GT＝0的情况下，表示要求相邻帧原始图像中的运动目标完全不重叠，而GT不等于0并且数值比较小时，表示要求相邻帧原始图像中的运动目标可以有少量边缘的重叠，因此可以通过设置GT的大小可以控制运动轨迹合成图像中运动目标之间的重叠程度，GT越小，表示运动轨迹合成图像中运动目标之间的重叠程度就越小。本实施方式中，以GT＝0为例进行说明，即要求运动轨迹合成图像中运动目标之间不存在重叠。

例如，以Q2确定方式为例进行说明，如图5所示为优选图像序列集确定示意图，其中，P1确定为Q1即图中的黑颜色运动目标，P2中的目标重合度G＝10％，大于GT，则将P2进行剔除，而P3中的目标重合度G＝0，等于GT，则将P3保留，并将P3作为Q2。并且在确定出Q2之后，还需要将Q2中的运动目标的像素设置为选中状态，其具体方式与Q1的设置方式相似，因此本实施方式中不再进行赘述。当然，本实施方式仅是以Q2为例进行说明，对于优选图像序列集中其余图像的确定方式与Q1相似，本实施方式中不再进行赘述。

步骤206，根据首帧优选图像和满足目标重合度要求的原始图像，获得优选图像序列集。

需要说明的是，在确定出首帧优选图像和满足目标重合度要求的原始图像之后，将首帧优选图像和满足目标重合度要求的原始图像按照获取时刻的先后顺序进行排序，并将排序后的图像构成优选图像序列集。

在步骤206后，执行步骤207。

与现有技术相比，本实施方式提供的图像合成方法，从原始图像序列集中筛选出包含运动目标的原始图像，在此基础上再将包含完整运动目标的原始图像筛选出来，从而能够保证获得的运动轨迹合成图片中不会存在运动目标残缺的情况，通过筛选出满足目标重合度要求的原始图像，能够进一步保证合成图像中符合用户对运动目标重叠性的要求，从而最终获得完整的且满足重叠性要求的运动目标的运动轨迹合成图像。并且通过将有效帧图像序列集中的每帧图像采用目标重合度与预设阈值进行对比的方式，获得优选图像序列集，从而进一步保证优选图像序列集中所获得图像的精确性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种电子设备，如图6所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述实施例中的图像合成方法。

本实施例中，处理器501以中央处理器(Central Processing Unit，CPU)为例，存储器502以可读写存储器(Random Access Memory，RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现图像合成方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述图像合成方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的图像合成方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请的第六实施方式涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本发明任意方法实施例中涉及的图像合成方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种图像合成方法，其特征在于，包括：

从原始图像序列集中筛选出包含运动目标的原始图像，获得基础帧图像序列集；

从所述基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集；

从所述有效帧图像序列集中筛选出满足目标重合度要求的所述原始图像，获得优选图像序列集；

根据所述优选图像序列集获得所述运动目标的运动轨迹合成图像。

2.根据权利要求1所述的图像合成方法，其特征在于，所述从原始图像序列集中筛选出包含运动目标的原始图像，获得基础帧图像序列集之前，还包括：

获取原始图像序列集，其中，所述原始图像序列集中包括按照预设间隔连续拍摄的多帧原始图像。

3.根据权利要求1所述的图像合成方法，其特征在于，所述从所述基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集之前，还包括：

确定所述基础帧图像序列集中所述原始图像的目标框区域，其中，所述目标框区域为包含所述运动目标全部像素的最小区域。

4.根据权利要求3所述的图像合成方法，其特征在于，所述从所述基础帧图像序列集中筛选出包含完整运动目标的原始图像，获得有效帧图像序列集，具体包括：

确定摄像装置的预览区域和边界余量；

根据所述预览区域和所述边界余量确定有效帧区域；

从所述基础帧图像序列集中筛选出所述目标框区域位于所述有效帧区域内的所述原始图像，获得所述有效帧图像序列集。

5.根据权利要求4所述的图像合成方法，其特征在于，所述从所述有效帧图像序列集中筛选出满足目标重合度要求的所述原始图像，获得优选图像序列集，具体包括：

将所述有效帧图像序列集中的首帧原始图像，作为所述优选图像序列集中的首帧优选图像；

将所述首帧优选图像中的所述运动目标的像素设置为选中状态；

从所述有效帧图像序列集中除去所述首帧原始图像筛选出满足目标重合度要求的所述原始图像；

根据所述首帧优选图像和所述满足目标重合度要求的所述原始图像，获得所述优选图像序列集。

6.根据权利要求5所述的图像合成方法，其特征在于，所述从所述有效帧图像序列集中除去所述首帧原始图像筛选出满足目标重合度要求的所述原始图像，具体包括：

确定所述有效帧图像序列集中除去所述首帧原始图像外每一帧所述原始图像的目标重合度，其中，所述目标重合度表示所述目标框区域中选中状态的像素个数与总像素个数的比值；

筛选出所述目标重合度小于预设阈值的所述原始图像。

7.根据权利要求6所述的图像合成方法，其特征在于，所述筛选出所述目标重合度小于预设阈值的所述原始图像之后，还包括：

将目标重合度小于预设阈值的所述原始图像中的所述运动目标的像素设置为选中状态。

8.根据权利要求1至7任一项所述的图像合成方法，其特征在于，所述根据所述优选图像序列集获得所述运动目标的运动轨迹合成图像，具体包括：

将所述优选图像序列集合中每一帧所述优选图像中的运动目标提取出来；

根据提取出来的每一个所述运动目标获得所述运动轨迹合成图像。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一项所述的图像合成方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的图像合成方法。

Images