CN113438401B - 数字变焦方法、***、存储介质及终端 - Google Patents

Abstract

本发明提供了一种数字变焦方法、***、存储介质及终端，方法包括：获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像；从第i帧第一原始长焦图像中分离出第i帧第一前景主体图像；根据长焦镜头的第一视场角和广角镜头的第二视场角预设的第一变化视场角对第i帧第一原始广角图像的第一视场角进行处理得到第i帧第一背景图像；将第i帧第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；对N帧第一原始长焦图像和N帧第一原始广角图像执行上述处理过程，得到N帧第一变焦图像，完成第一次变焦，本发明在不需要移动情况下能够拍摄出希区柯克式变焦视频，操作方便，提高了视频拍摄的趣味性。

Description

数字变焦方法、***、存储介质及终端

技术领域

本发明涉及摄像技术领域，尤其涉及一种数字变焦方法、***、存储介质及终端。

背景技术

希区柯克变焦原本是一种专业的电影制作技术。这种效果是通过变焦镜头来调整视角，同时相机靠近或远离拍摄对象，从而使拍摄对象在整个画面中保持相同的大小。在它的经典形式中，当镜头放大时，相机角度会从一个物件上拉开，反之亦然。因此，在缩放过程中，会有一个连续的透视失真，最明显的特征是背景看起来会相对于主题改变大小，营造出一种科幻感更强，更加炫酷的镜头感。

在目前的实现方式中，为了实现希区柯克式变焦，一般需要借助特定的装置移动相机，并且同时配合光学变焦，专业性较强，实现难度较大。

因此，有必要提供一种新型的数字变焦方法、***、存储介质及终端以解决现有技术中存在的上述问题。

发明内容

本发明的目的在于提供一种数字变焦方法、***、存储介质及终端，在不需要移动终端的情况下，拍摄出希区柯克式变焦视频，操作更加方便。

第一方面，为实现上述目的，本发明的所述一种数字变焦方法，所述方法包括：

获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

根据预设的第一变化视场角对所述第i帧所述第一原始广角图像的第一视场角进行处理得到第i帧第一背景图像；

将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；

对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

本发明所述的数字变焦方法的有益效果在于：从第一原始长焦图像中分离出的第一前景主体图像，根据第一原始广角图像的第二视场角和第一原始长焦图像的第一视场角，计算得到N帧第一背景图像，将第i帧第一前景主体图像和第i帧第一背景图像融合在一起得到第i帧第一变焦图像，之后对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，从而使得N帧第一变焦图像完成变焦过程，即可拍摄得到背景范围不断扩大的变焦图像，以拍摄不同要求的视频，降低拍摄变焦视频的难度。

在一些可能的实施方式中，所述从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像，包括：

通过深度卷积网络获取第i帧所述第一原始长焦图像中的背景图像和第一前景主体图像，以根据所述背景图像和第一前景主体图像在所述第一原始长焦图像中的比例，计算出所述第一原始长焦图像的掩模矩阵；

所述将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像，包括：

将第i帧所述第一原始长焦图像的掩模矩阵、所述背景图像、第一前景主体图像与所述N帧第一背景图像融合，得到N帧第一变焦图像。其有益效果在于：通过深度卷积网络来获取第一原始长焦图像中的背景图像和第一前景主体图像，以计算得到第一原始长焦图像的掩模矩阵，以便于后续通过融合的方式完成图像变焦，保证变焦效果。

在一些可能的实施方式中，所述第一原始长焦图像的掩模矩阵满足如下公式：It＝alpha*F+(1-alpha)*B；

其中，It为N帧所述第一原始长焦图像的图像矩阵，alpha为与所述图像矩阵同等大小的掩模矩阵，F为所述第一前景主体图像，B为所述背景图像。

在一些可能的实施方式中，所述根据预设的第一变化视场角对所述第i帧所述第一原始广角图像的视场角进行处理得到第i帧第一背景图像，包括：

根据所述长焦镜头的视场角和所述广角镜头的视场角计算得到所述第一变化视场角；

根据所述第一变化视场角减小第i帧所述第一原始广角图像的第一视场角，使得第i帧所述第一原始广角图像的视场角与第i-1帧所述原始广角图像的视场角的差值为第一变化视场角，得到第i帧第一裁剪图像；

对所述第i帧第一裁剪图像进行插值处理，得到第i帧所述第一背景图像。其有益效果在于：通过对第i帧第一原始广角图像按帧减小第一变化视场角使得第i帧所述第一原始广角图像的视场角与第i-1帧所述原始广角图像的视场角的差值为第一变化视场角，保证在变焦过程中，图像背景变化平缓，提高变焦图像的显示效果，同时通过插值处理的方式，保证后续输出的图像与第一原始长焦图像的尺寸相同。

在一些可能的实施方式中，所述第一变化视场角满足如下公式：X＝|A1-A2|/N，其中，X表示第一变化视场角，A1表示第一视场角，A2表示第二视场角。

在一些可能的实施方式中，所述将所述第一原始长焦图像的掩模矩阵与所述N帧第一背景图像融合，得到N帧第一变焦图像满足如下公式：If＝alpha*It+(1-alpha)*Iw；

其中，If为第一变焦图像，alpha为第i帧第一原始长焦图像的掩模矩阵，It为第i帧所述第一原始长焦图像的图像矩阵，Iw为第i帧所述第一背景图像。

在一些可能的实施方式中，在完成第一次变焦之后，所述方法还包括：

在到达预设时间间隔或者收到用户请求操作后，开始执行第二次变焦；

获取第L帧第一变焦图像和在长焦镜头下第L帧第二原始长焦图像，所述第二原始长焦图像包括M帧图像，M为正整数，0≤L≤M，L为正整数；

从第L帧第二原始长焦图像中分离出第L帧第二前景主体图像；

根据第二变化视场角对第L帧所述第一变焦图像进行处理得到第L帧第二背景图像；

将第L帧所述第二前景主体图像和第L帧所述第二背景图像融合在一起，得到第L帧第二变焦图像；

对M帧所述第二原始长焦图像和M帧所述第一变焦图像执行上述处理过程，直至第M帧第二变焦图像的视场角为长焦镜头下的第一视场角，得到M帧第二变焦图像，完成第二次变焦。其有益效果在于：通过上述过程对变焦后的图像进行第二次变焦，从而达到反向变焦的效果，实现变焦图像的背景视野由大到小的变化过程，以满足不同场景的变焦需求。

第二方面，本发明公开了一种数字变焦***，所述***包括：

图像获取模块，用于获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

分离模块，用于从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

背景处理模块，用于根据预设的第一变化视场角对所述第i帧所述第一原始广角图像进行处理得到第i帧第一背景图像；

融合模块，用于将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；

第一变焦模块，用于对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

本发明所述数字变焦***的有益效果在于：通过分离模块从第一原始长焦图像中分离出的第一前景主体图像，背景处理模块根据第一原始广角图像的第二视场角和第一原始长焦图像的第一视场角，计算得到N帧第一背景图像，第一变焦模块将第一前景主体图像和N帧第一背景图像融合在一起得到N帧第一变焦图像，从而使得N帧第一变焦图像完成变焦过程，即可拍摄得到背景范围不断扩大的图像，以拍摄不同要求的视频，降低拍摄变焦视频的难度。

在一些可能的实施方式中，所述***还包括：

第二变焦模块，用于在到达预设时间间隔或者收到用户请求操作后，将M帧第二原始长焦图像的第二前景主体图像与M帧第一变焦图像的第二背景图像融合在一起形成M帧第二变焦图像，完成第二次变焦。

第三方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

第四方面，本发明还提供了一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上所述的方法。

第三方面和第四方面的有益效果见第一方面和第二方面中有益效果的描述，此处不再赘述。

附图说明

图1为本发明实施例提供的一种数字变焦方法第一次变焦的流程图；

图2为本发明实施例在长焦镜头下拍摄的长焦图像示意图；

图3为本发明实施例在广角镜头下拍摄的广角图像示意图；

图4为本发明实施例提供的一种数字变焦方法第二次变焦的流程图；

图5为本发明实施例提供的一种数字变焦***的结构框图；

图6为本发明实施例提供的一种终端的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

在详细介绍本发明实施例之前，以下先对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

广角镜头：视野较大，焦距较小的镜头，通常能拍摄视野较广的场景；

长焦镜头：视野较小，焦距较大的镜头，通常能拍摄视野较小但细节较丰富的场景。

针对现有技术存在的问题，本发明的实施例提供了一种数字变焦方法，如图1所示，所述方法包括如下步骤：

S101、获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

S102、从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

S103、根据长焦镜头的第一视场角和广角镜头的第二视场角预设的第一变化视场角对所述第i帧所述第一原始广角图像的第一视场角进行处理得到第i帧第一背景图像；

S104、将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图；

S105、对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

在上述方法中，为了实现拍摄过程中的图像变焦，首先获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，其中N帧指的是通过N帧图像之后，完成第一次变焦过程，首先从第i帧第一原始长焦图像中分离出第一前景主体图像，之后对第i帧第一原始广角图像的视场角进行处理，以得到视场角逐渐减小的N帧第一背景图像，从而将第i帧第一前景主体图像和第i帧第一背景图像进行图像融合，从而就可以得到第i帧第一变焦图像，对N帧第一原始长焦图像和所述第一原始广角图像执行上述过程，得到N帧第一变焦图像，从而完成第一次变焦的过程。

在上述变焦过程中，图2为长焦镜头下拍摄的长焦图像，图3为广角镜头下拍摄的广角图像，如图2和图3所示，其中图2和图3中椭圆形表示拍摄的图像中的主体图像，而除椭圆形以外的图像为图像为背景图像，由于长焦镜头下的视场角比较小，背景图像拍摄的视野范围较小，但是拍摄的主体图像细节更加清晰丰富，而在广角镜头下的视场角较大，背景图像拍摄的视野更大，但是拍摄的主体图像细节不够清晰丰富，通过上述变焦过程，在进行拍摄的过程中，将长焦镜头下拍摄的第一原始长焦图像的第一前景主体图像和处理后的广角镜头下的第一背景图像融合，从而使得到的第一变焦图像同时融合了长焦图像和广角图像的优点，不仅能够拍摄到细节清晰丰富的主体图像，而且拍摄的背景图像的视场角能够从小到大递增，实现背景图像的视野逐渐扩大的效果，从而完成希区柯克式变焦的拍摄过程，方便用户拍摄出场景更加真实的变焦图像，不仅方便用户拍摄操作，而且拍摄的变焦图像精度高，能够满足不同要求。

需要说明的是，在本实施例中，所述第一原始长焦图像和第一原始广角图像均用于拍摄人像图像，所述第一原始长焦图像中的第一前景主体图像指的是在第一原始长焦图像中的人像图像，主体图像也指的是人像图像。

通过上述方法实现拍摄变焦，从而能够拍摄得到人像图像大小不变，而背景视野不断变化的变焦视频，以满足不同样式短视频的拍摄需求。

在一些实施例中，所述从所述第一原始长焦图像中分离出第一前景主体图像，包括：

通过深度卷积网络获取所述第一原始长焦图像中的背景图像和第一前景主体图像；

根据所述背景图像和第一前景主体图像在所述第一原始长焦图像中的比例，计算出所述第一原始长焦图像的掩模矩阵。

之后将第i帧所述第一原始长焦图像的掩模矩阵、所述背景图像、第一前景主体图像与所述N帧第一背景图像融合，就可以得到N帧第一变焦图像。

通过深度卷积网络获取第一原始长焦图像中的背景图像和第一前景主体图像的过程中，第一前景主体图像即为第一原始长焦图像中的人像图像，具体的，可以采用自动人像抠图技术来实现，通过自动人像抠图技术即可将第一原始长焦图像中的人像图像抠出来。

需要说明的是，本申请方案中为了获取第一原始长焦图像中的背景图像和第一前景主体图像，包括但不限于采用自动人像抠图技术，任何能够获取图像中的背景图像和第一前景主体图像的技术均可以应用于本申请方案，本方案不涉及对获取图像中的背景图像和第一前景主体图像的技术本身的改进，此处不再赘述。

具体的，通过深度卷积网络学习人像语义和边缘细节信息，从而识别出第一原始长焦图像中的背景图像和第一前景主体图像，根据识别出来的背景图像和第一前景主体图像的大小，以及整个第一原始长焦图像的长焦图像矩阵的值，即可计算出在第一原始长焦图像中同等大小的掩模矩阵alpha，其中所述第一原始长焦图像的掩模矩阵alpha的为属于[0,1]之间的任意值，当掩模矩阵alpha为0时，表示第一原始长焦图像中全是背景图像，当掩模矩阵alpha为1时，表示第一原始长焦图像中全是第一前景主体图像，而掩模矩阵alpha位于0至1之间则表示第一前景主体图像和背景图像在第一原始长焦图像中的混合系数。

在进一步的实施例中，所述第一原始长焦图像的掩模矩阵满足如下公式：It＝alpha*F+(1-alpha)*B；

其中，It为N帧所述第一原始长焦图像的图像矩阵，alpha为与所述图像矩阵同等大小的掩模矩阵，F为所述第一前景主体图像，B为所述背景图像。

通过上述计算公式，即可计算得到第一原始长焦图像的掩模矩阵alpha，以便于后续进行图像融合，完成第一次变焦过程。

在又一些实施例中，所述根据预设的第一变化视场角对所述第i帧所述第一原始广角图像的视场角进行处理得到第i帧第一背景图像，包括：

根据所述长焦镜头的视场角和所述广角镜头的视场角计算得到所述第一变化视场角；

根据所述第一变化视场角的减小第i帧所述第一原始广角图像的第一视场角，使得第i帧所述第一原始广角图像的视场角与第i-1帧所述原始广角图像的视场角的差值为第一变化视场角，得到第i帧第一裁剪图像；

对所述第i帧第一裁剪图像进行插值处理，得到第i帧所述第一背景图像。

其中，所述插值处理的目的是为了使得得到的第一背景图像的尺寸与第一原始长焦图像、第一原始广角图像的尺寸一致，以保证最终完成变焦之后输出的视频前后尺寸一致。

进一步的，所述插值处理具体采用现有技术中的双二次线性插值、双三次线性插值以及任何其它非线性插值，其主要目的是为了实现图像的插值，现有技术中任何能够实现本方案中插值目的的插值方法均可以应用于本申请方案，此处不再赘述。

具体的，对于N帧第一原始广角图像，首先根据长焦镜头下的第一视场角和广角镜头下的第二视场角，由于是通过N帧图像完成第一次变焦，即可根据第一视场角和第二视场角，计算出每一帧图像需要调整的第一变化视场角。

而在得到第一变化视场角之后，根据第一变化视场角对N帧第一原始广角图像的视场角进行调整，直到第N帧第一原始广角图像的视场角调整为第一视场角，得到N帧第一裁剪图像之后对N帧第一裁剪图像进行插值处理，得到N帧第一背景图像，其中第一帧第一背景图像到第N帧第一背景图像的视场角是逐渐减小的。

在后续进行图像融合的过程中，将第1帧第一前景主体图像、第2帧第一前景主体图像、...、第N帧第一前景主体图像依次和第1帧第一背景图像、第2帧第一背景图像、...、第N帧第一背景图像融合，从而使得融合之后得到的N帧第一变焦图像的视场角由小到大依次增大，第一变焦图像的背景视野逐渐增大，从而实现变焦拍摄。

在进一步的的一些实施例中，所述第一变化视场角满足如下公式：X＝|A1-A2|/N，其中，X表示第一变化视场角，A1表示第一视场角，A2表示第二视场角。

通过上述计算公式，即可计算出第一变化视场角的大小，以便于对第一原始广角图像每次需要调整的视场角。

进一步的，所述将所述第一前景主体图像和所述N帧第一背景图像进行图像融合，得到N帧第一变焦图像，包括：

将所述第一原始长焦图像的掩模矩阵与所述N帧第一背景图像融合，得到N帧第一变焦图像。

在另外的一些实施例中，所述将所述第一原始长焦图像的掩模矩阵与所述N帧第一背景图像融合，得到N帧第一变焦图像满足如下公式：If＝alpha*It+(1-alpha)*Iw；

其中，If为第一变焦图像，alpha为第i帧第一原始长焦图像的掩模矩阵，It为第i帧所述第一原始长焦图像的图像矩阵，Iw为第i帧所述第一背景图像。

通过上述计算公式，即可将得到的N帧第一背景图像依次和N帧第一原始长焦图像的掩模矩阵、背景图像和第一前景主体图像融合在一起，得到N帧第一变焦图像。

在一些实施例中，在完成第一次变焦之后，图4为本发明实施例所述的第二次变焦过程的流程图，如图4所示，所述方法还包括：

S401、在到达预设时间间隔或者收到用户请求操作后，开始执行第二次变焦；

S402、获取第L帧第一变焦图像和在长焦镜头下第L帧第二原始长焦图像，所述第二原始长焦图像包括M帧图像，M为正整数，0≤L≤M，L为正整数；

S403、从第L帧第二原始长焦图像中分离出第L帧第二前景主体图像；

S404、根据第二变化视场角对第L帧所述第一变焦图像进行处理得到第L帧第二背景图像；

S405、将第L帧所述第二前景主体图像和第L帧所述第二背景图像融合在一起，得到第L帧第二变焦图像；

S406、对M帧所述第二原始长焦图像和M帧所述第一变焦图像执行上述处理过程，直至第M帧第二变焦图像的视场角为长焦镜头下的第一视场角，得到M帧第二变焦图像，完成第二次变焦。

上述第二次变焦的过程相当于第一次变焦过程的反向操作，第一次变焦是将第一原始长焦图像中背景视野逐渐增大，即视场角逐渐增大，而第二次变焦则是将图像的背景视野逐渐减小，即视场角逐渐减小，其过程基本相同，区别在于对于M帧第一变焦图像的视场角，在根据第二变化视场角变化的过程中，是根据第二变化视场角依次将M帧第一变焦图像的视场角依次减小，直至第M帧第一变焦图像的视场角变化为第二原始长焦图像的视场角，从而在经过第二变化视场角对M帧第一变焦图像进行处理之后，即可得到M帧第二背景图像。

需要说明的是，所述第二变化视场角为长焦镜头的第一视场角和广角镜头的第二视场角的差值与M的比值，其计算过程与第一变化视场角的计算过程基本相同，此处不再赘述。

其中，所述第二背景图像的获取过程与所述第一背景图像的获取过程基本相同，此处不再赘述。

需要说明的是，所述第二背景图像是第一变焦图像经过裁剪处理得到M帧视场角不断减小的第二裁剪图像，后续对M帧第二裁剪图像进行插值处理，得到M帧第二背景图像，以保证在融合之后的变焦视频的输出尺寸前后一致。

之后将依次将第L帧所述第一变焦图像的第二背景图像与第L帧所述第二原始长焦图像的第二前景主体图像融合在一起形成第L帧第二变焦图像，对M帧第一变焦图像和M帧第二原始长焦图像执行上述融合过程，得到M帧第二变焦图像，即可完成第二次变焦。

由于所述第一变焦图像是根据第一原始长焦图像经过变焦处理得到的，其中的主体图像没有发生变化，第二原始长焦图像也是长焦镜头经过拍摄得到的，则在第二原始长焦图像之中的第二前景主体图像基本与第一原始长焦图像的第一前景主体图像保持一致，因此第二原始长焦图像中第二前景主体图像的计算过程和第一原始长焦图像中第一前景主体图像的计算过程基本相同，第一原始长焦图像此处不再赘述。

具体融合时，通过依次将第L帧第一变焦图像的第二背景图像与第L帧第二原始长焦图像的第二前景主体图像融合在一起，对M帧第一变焦图像和M帧第二原始长焦图像进行融合之后，即可得到M帧背景视野不断减小的第二变焦图像，从而使得最终得到的第二变焦图像背景视野不断减小，直至恢复到在长焦镜头下的背景视野，完成第二次变焦的过程。

需要说明的是，在本实施例中，在第一次变焦完成之后，可以在达到用户设定的预设间隔时间之后，开始执行第二变焦过程，也可以在收到用户的请求之后，开始执行第二次变焦过程，此处不再赘述。

本发明还提供了一种数字变焦***，如图5所示，所述***包括：

图像获取模块501，用于获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

分离模块502，用于从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

背景处理模块503，用于根据预设的第一变化视场角对所述第i帧所述第一原始广角图像进行处理得到第i帧第一背景图像；

融合模块504，用于将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；

第一变焦模块505，用于对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

在一些实施例中，所述***还包括：

第二变焦模块506，用于在到达预设时间间隔或者收到用户请求操作后，将M帧第二原始长焦图像的第二前景主体图像与M帧第一变焦图像的第二背景图像融合在一起形成M帧第二变焦图像，完成第二次变焦。

需要说明的是，上述数字变焦***的结构及原理与上述数字变焦方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，选择模块可以为单独设立的处理元件，也可以集成在上述***的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述***的存储器中，由上述***的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(System-On-a-Chip，简称SOC)的形式实现。

在本申请的另一些实施例中，本申请实施例公开了一种终端设备，如图6所示，该终端设备600可以包括：一个或多个处理器601；存储器602；显示器503；一个或多个应用程序(未示出)；以及一个或多个计算机程序604，上述各器件可以通过一个或多个通信总线605连接。其中该一个或多个计算机程序604被存储在上述存储器602中并被配置为被该一个或多个处理器601执行，该一个或多个计算机程序604包括指令。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法。

本发明的存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。所述存储介质包括：只读存储器(Read-OnlyMemory，ROM)、随机访问存储器(RandomAccess Memory，RAM)、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

在本发明公开的另一个实施例中，本发明还提供一种芯片***，芯片***与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以执行上述方法的步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (11)

1.一种数字变焦方法，其特征在于，所述方法包括：

获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

根据长焦镜头的第一视场角和广角镜头的第二视场角预设的第一变化视场角对所述第i帧所述第一原始广角图像的第一视场角进行处理得到第i帧第一背景图像；

将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；

对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

2.根据权利要求1所述的数字变焦方法，其特征在于，所述从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像，包括：

通过深度卷积网络获取第i帧所述第一原始长焦图像中的背景图像和第一前景主体图像，以根据所述背景图像和第一前景主体图像在所述第一原始长焦图像中的比例，计算出所述第一原始长焦图像的掩模矩阵；

所述将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像，包括：

将第i帧所述第一原始长焦图像的掩模矩阵、所述背景图像、第一前景主体图像与所述N帧第一背景图像融合，得到N帧第一变焦图像。

3.根据权利要求2所述的数字变焦方法，其特征在于，所述第一原始长焦图像的掩模矩阵满足如下公式：It＝alpha*F+(1-alpha)*B；

其中，It为第i帧所述第一原始长焦图像的图像矩阵，alpha为与所述图像矩阵同等大小的掩模矩阵，F为所述第一前景主体图像，B为所述背景图像。

4.根据权利要求1所述的数字变焦方法，其特征在于，所述根据预设的第一变化视场角对所述第i帧所述第一原始广角图像的视场角进行处理得到第i帧第一背景图像，包括：

根据所述长焦镜头的视场角和所述广角镜头的视场角计算得到所述第一变化视场角；

根据所述第一变化视场角减小第i帧所述第一原始广角图像的第一视场角，使得第i帧所述第一原始广角图像的视场角与第i-1帧所述原始广角图像的视场角的差值为第一变化视场角，得到第i帧第一裁剪图像；

对所述第i帧第一裁剪图像进行插值处理，得到第i帧所述第一背景图像。

5.根据权利要求4所述的数字变焦方法，其特征在于，所述第一变化视场角满足如下公式：X＝|A1-A2|/N，其中，X表示第一变化视场角，A1表示第一视场角，A2表示第二视场角。

6.根据权利要求4所述的数字变焦方法，其特征在于，所述将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像满足如下公式：If＝alpha*It+(1-alpha)*Iw；

其中，If为第一变焦图像，alpha为第i帧第一原始长焦图像的掩模矩阵，It为第i帧所述第一原始长焦图像的图像矩阵，Iw为第i帧所述第一背景图像。

7.根据权利要求1所述的数字变焦方法，其特征在于，在完成第一次变焦之后，所述方法还包括：

在到达预设时间间隔或者收到用户请求操作后，开始执行第二次变焦；

获取第L帧第一变焦图像和在长焦镜头下第L帧第二原始长焦图像，所述第二原始长焦图像包括M帧图像，M为正整数，0≤L≤M，L为正整数；

从第L帧第二原始长焦图像中分离出第L帧第二前景主体图像；

根据第二变化视场角对第L帧所述第一变焦图像进行处理得到第L帧第二背景图像；

将第L帧所述第二前景主体图像和第L帧所述第二背景图像融合在一起，得到第L帧第二变焦图像；

对M帧所述第二原始长焦图像和M帧所述第一变焦图像执行上述处理过程，直至第M帧第二变焦图像的视场角为长焦镜头下的第一视场角，得到M帧第二变焦图像，完成第二次变焦。

8.一种数字变焦***，其特征在于，所述***包括：

图像获取模块，用于获取第i帧长焦镜头下的第一原始长焦图像和第i帧广角镜头下的第一原始广角图像，所述第一原始长焦图像和所述第一原始广角图像包括N帧图像，N为正整数，1≤i≤N，i为正整数；

分离模块，用于从第i帧所述第一原始长焦图像中分离出第i帧第一前景主体图像；

背景处理模块，用于根据预设的第一变化视场角对所述第i帧所述第一原始广角图像进行处理得到第i帧第一背景图像；

融合模块，用于将第i帧所述第一前景主体图像和第i帧第一背景图像融合在一起，得到第i帧第一变焦图像；

第一变焦模块，用于对N帧所述第一原始长焦图像和N帧所述第一原始广角图像执行上述处理过程，直至第N帧所述第一变焦图像的视场角为广角镜头下的第二视场角，得到N帧第一变焦图像，完成第一次变焦。

9.根据权利要求8所述的***，其特征在于，所述***还包括：

第二变焦模块，用于在到达预设时间间隔或者收到用户请求操作后，将M帧第二原始长焦图像的第二前景主体图像与M帧第一变焦图像的第二背景图像融合在一起形成M帧第二变焦图像，完成第二次变焦。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

11.一种终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的方法。

Images