CN110611767A - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和电子设备，包括：在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；基于特征匹配点对，对待处理图像和待处理图像的特征点进行平移补偿；根据参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数；基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。本发明中的图像处理方法对待处理图像进行处理后，得到的图像中的目标对象与参考图像中的目标对象能够实现对齐，这样，在不同焦距的镜头之间进行画面的切换时，能够保持目标对象的平滑稳定。

Description

图像处理方法、装置和电子设备

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像处理方法、装置和电子设备。

背景技术

Dollyzoom(滑动变焦)为摄影中的一种特效，可制造出被拍主体尺寸比例保持不变，而背景视场有较大变化(例如，背景视场被扩张或压缩)的效果。

目前，在电影拍摄过程中，为使拍得的影像具有Dollyzoom效果，往往通过光学Dollyzoom产品实现。具体过程为：当对目标进行拍摄时，调节摄像机镜头的焦距，同时，还要使安装摄像机的轨道车(Dolly)做与镜头变焦方向相反的运动，从而达到所拍影像的Dollyzoom效果。而在实际的应用过程中，有些摄像机镜头的焦距无法调节(例如：搭载在无人机上的摄像机镜头)，而为使最终拍摄得到的影像也具有Dollyzoom效果，一般就需要通过多个不同焦距的镜头(其中，每个镜头的焦距都是固定的)进行拍摄，以达到变焦的目的，采用这种影像拍摄方式的产品称之为数字Dollyzoom产品。但是，因为各个镜头的焦距、光心位置等参数的不一致，导致了不同镜头间的成像画面在视场重叠部分存在视差现象，这样，在不同镜头间切换画面时，就会出现画面中前景目标的不连续、跳跃等不自然的效果，使得最终所拍摄的影像相较于光学Dollyzoom产品所拍摄的影像效果差。

现有技术针对上述不同镜头间切换画面时，所出现的画面中前景目标不连续、跳跃等不自然的现象还没有有效的解决方法。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和电子设备，以使画面在不同镜头间切换时，画面中的前景目标连续自然。

第一方面，本发明实施例提供了一种图像处理方法，包括：在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；所述参考图像和所述待处理图像为不同焦距的镜头在同一时刻对所述目标对象进行拍摄得到的图像；基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数；基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与所述参考图像中的目标对象对齐。

进一步的，所述特征匹配点对中的参考图像的特征点均匀分布于所述参考图像中目标对象的图像区域，且所述特征匹配点对中的待处理图像的特征点均匀分布于所述待处理图像中目标对象的图像区域。

进一步的，基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿的步骤包括：根据所述特征匹配点对确定图像平移量；按照所述图像平移量分别对所述待处理图像和所述待处理图像的特征点进行平移补偿。

进一步的，根据所述特征匹配点对确定图像平移量的步骤包括：根据所述特征匹配点对中参考图像的特征点确定所述参考图像的参考点，并根据所述特征匹配点对中待处理图像的特征点确定所述待处理图像的参考点；基于所述参考图像的参考点和所述待处理图像的参考点确定所述图像平移量。

进一步的，根据所述特征匹配点对中参考图像的特征点确定所述参考图像的参考点，并根据所述特征匹配点对中待处理图像的特征点确定所述待处理图像的参考点的步骤包括：根据所述参考图像的特征点的坐标计算所述参考图像中目标对象的质心，并根据所述待处理图像的特征点的坐标计算所述待处理图像中目标对象的质心；将计算得到的所述参考图像中目标对象的质心作为所述参考图像的参考点，并将计算得到的所述待处理图像中目标对象的质心作为所述待处理图像的参考点；

或者，根据所述参考图像的特征点的坐标计算所述参考图像中目标对象的中心，并根据所述待处理图像的特征点的坐标计算所述待处理图像中目标对象的中心；将计算得到的所述参考图像中目标对象的中心作为所述参考图像的参考点，并将计算得到的所述待处理图像中目标对象的中心作为所述待处理图像的参考点。

进一步的，基于所述参考图像的参考点和所述待处理图像的参考点确定所述图像平移量的步骤包括：根据图像平移量计算算式计算所述图像平移量；T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量，表示所述参考图像的参考点的横坐标，表示所述待处理图像的参考点的横坐标，表示所述参考图像的参考点的纵坐标，表示所述待处理图像的参考点的纵坐标。

进一步的，按照所述图像平移量分别对所述待处理图像和所述待处理图像的特征点进行平移补偿的步骤包括：将所述待处理图像中的每个像素点按照所述图像平移量进行平移；将所述待处理图像的特征点按照所述图像平移量进行平移。

进一步的，根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数的步骤包括：根据相似变换拟合算式对所述参考图像的特征点和所述平移补偿后的待处理图像的特征点进行相似变换拟合，得到所述运动估计参数；s,θ表示所述运动估计参数，s表示所述运动估计参数中的尺寸参数，θ表示所述运动估计参数中的旋转角度参数，p_Ai表示所述参考图像的第i个特征点，p'_Bi表示平移补偿后的待处理图像的第i个特征点。

进一步的，基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿的步骤包括：基于所述运动估计参数对所述平移补偿后的待处理图像进行逆相似变换补偿。

进一步的，基于所述运动估计参数对所述平移补偿后的待处理图像进行逆相似变换补偿的步骤包括：根据所述运动估计参数确定逆相似变换补偿矩阵；通过所述逆相似变换补偿矩阵对所述平移补偿后的待处理图像进行处理，以使处理后的图像中的目标对象与所述参考图像中的目标对象对齐。

第二方面，本发明实施例还提供了一种图像处理装置，包括：特征点提取单元，用于在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；所述参考图像和所述待处理图像为不同焦距的镜头在同一时刻对所述目标对象进行拍摄得到的图像；平移补偿单元，用于基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；计算单元，用于根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数；运动补偿单元，用于基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与所述参考图像中的目标对象对齐。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中，先在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；然后，基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；进而，根据特征匹配点对中的参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数；最后，基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。通过上述描述可知，采用本发明实施例中的图像处理方法对待处理图像进行处理后，得到的图像中的目标对象与参考图像中的目标对象能够实现对齐，这样，画面由参考图像切换至处理后的图像时，能够保持目标对象的平滑连续，稳定自然，也就是在不同焦距的镜头之间进行画面的切换时，能够保持目标对象的平滑稳定，缓解了现有技术在不同焦距的镜头之间进行画面的切换时，画面中的前景目标不连续、跳跃等不自然的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的电子设备的示意图；

图2为本发明实施例提供的一种图像处理方法的流程图；

图3为本发明实施例提供的对待处理图像和待处理图像的特征点进行平移补偿的方法流程图；

图4为本发明实施例提供的基于运动估计参数对平移补偿后的待处理图像进行逆相似变换补偿的方法流程图；

图5为本发明实施例提供的图像处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行参考图像和待处理图像的采集，其中，摄像机所采集的参考图像和待处理图像经过所述图像处理方法进行处理之后，得到的图像中的目标对象与参考图像中的目标对象对齐，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述图像处理方法进行处理之后，得到的图像中的目标对象与参考图像中的目标对象对齐，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端，还可以被实现为其它任何具备计算能力的设备。

实施例2：

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对。

其中，参考图像和待处理图像为不同焦距的镜头在同一时刻对目标对象进行拍摄得到的图像。上述目标对象可以为人、动物、车等任意实物，且上述目标对象可以为一个，也可以为多个，当上述目标对象为多个时，将多个目标对象作为一个整体进行处理。

在通过不同焦距的镜头拍摄具有Dollyzoom效果的影像时，成像画面需要在不同焦距的镜头间进行切换，并且在现有技术中，已经可以确定在ts时刻(这里的ts时刻是指任一时刻)，应该从镜头A拍摄的成像画面(即参考图像)切换至镜头B拍摄的成像画面(即待处理图像)。但是，从镜头A拍摄的成像画面切换至镜头B拍摄的成像画面时，由于各个镜头的焦距、光心位置等参数的不一致，切换时会出现画面中前景目标的不连续。

基于此，发明人设计了本实施例中的图像处理方法，该图像处理方法可以应用于处理器，该处理器分别与不同焦距的镜头通信连接，用于在线实时对不同焦距的镜头所拍摄的成像画面进行处理；也可以应用于计算机，通过计算机对不同焦距的镜头所拍摄的成像画面进行后处理，以实现在不同焦距的镜头间进行画面切换时，前景目标的平滑连续。本发明实施例对上述实现方式不进行具体限定。

上述特征匹配点对包括：参考图像的特征点、与参考图像的各特征点对应的待处理图像的特征点。具体的，参考图像的特征点为参考图像中目标对象的特征点，且待处理图像的特征点为待处理图像中目标对象的特征点。

步骤S204，基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点。

考虑到直接从参考图像切换至待处理图像时，会出现图像中目标对象的不连续，基于此，需要基于特征匹配点对，对待处理图像进行平移补偿，使得平移补偿后的待处理图像中目标对象的像素点与参考图像中目标对象的像素点在位置上实现整体对齐。

但是，仅实现上述位置上的对齐后，还无法确保图像切换时目标对象的平滑连续，还需要保证最终图像中目标对象的像素点与参考图像中目标对象的像素点在形体上实现对齐。所以，还需要进行形体上的运动补偿，为实现形体上的运动补偿，需要先基于特征匹配点对，对待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像的特征点，下文中再对该过程进行详细描述。

步骤S206，根据特征匹配点对中的参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数。

得到平移补偿后的待处理图像的特征点后，进一步根据平移补偿后的待处理图像的特征点和参考图像的特征点计算运动估计参数。

上述运动估计参数用于对平移补偿后的待处理图像的像素点进行形体上的处理。

步骤S208，基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。

得到运动补偿后的图像后，在ts时刻，就可以将镜头A拍摄的参考图像直接切换至该运动补偿后的图像，从而实现在不同镜头间切换图像时，目标对象在同一显示区域上的平滑连续。上述对齐可看作是运动补偿后的图像中的目标对象与参考图像中的目标对象实现整体对齐。

在本发明实施例中，先在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；然后，基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；进而，根据特征匹配点对中的参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数；最后，基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。通过上述描述可知，采用本发明实施例中的图像处理方法对待处理图像进行处理后，得到的图像中的目标对象与参考图像中的目标对象能够实现对齐，这样，画面由参考图像切换至处理后的图像时，能够保持目标对象的平滑连续，稳定自然，也就是在不同焦距的镜头之间进行画面的切换时，能够保持目标对象的平滑稳定，缓解了现有技术在不同焦距的镜头之间进行画面的切换时，画面中的前景目标不连续、跳跃等不自然的技术问题。

上述内容对本发明的图像处理方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

在本实施例中，给出了上述步骤S202，在参考图像和待处理图像中提取目标对象的相互匹配的特征点的一种实现方式，包括：

采用特征提取算法提取参考图像和待处理图像中目标对象的特征点，得到特征匹配点对。

其中，特征匹配点对中的参考图像的特征点均匀分布于参考图像中目标对象的图像区域，且特征匹配点对中的待处理图像的特征点均匀分布于待处理图像中目标对象的图像区域。

在本发明实施例中，采用特征提取算法在对参考图像和待处理图像进行处理时，先提取得到参考图像中目标对象的特征点，再提取得到待处理图像中目标对象的特征点，算法中融合了mesh-flow技术，提取得到的参考图像的特征点和待处理图像的特征点能够均匀的分布在目标对象的区域中(这能够使后续的变换更加准确)，且提取得到的参考图像的特征点和目标对象的特征点一一对应，也就是最终得到的是特征匹配点对。

为了便于描述，在本实施例中，参考图像可以为镜头A在ts时刻对目标对象进行拍摄得到的图像，记为I_A,ts；待处理图像可以为镜头B在ts时刻对目标对象进行拍摄得到的图像，记为I_B,ts。

提取得到的特征匹配点对为：{p_Ai→p_Bi}，其中，{p_Ai}表示参考图像的特征点，{p_Bi}表示待处理图像的特征点，i＝1，2，3，…，n-1。

在本实施例中，给出了上述步骤S204，基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿的一种实现方式，参考图3，包括如下步骤：

步骤S301，根据特征匹配点对确定图像平移量。

具体的，确定图像平移量的过程包括如下(1)和(2)的步骤：

(1)根据特征匹配点对中参考图像的特征点确定参考图像的参考点，并根据特征匹配点对中待处理图像的特征点确定待处理图像的参考点。

在本发明实施例中，给出了两种确定参考点的方式，下面分别对这两种方式进行介绍。

方式一：参考点为目标对象的质心的情况：根据参考图像的特征点的坐标计算参考图像中目标对象的质心，并根据待处理图像的特征点的坐标计算待处理图像中目标对象的质心，进而将计算得到的参考图像中目标对象的质心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的质心作为待处理图像的参考点。

具体的，根据质心计算算式计算参考图像中目标对象的质心和待处理图像中目标对象的质心；

其中，C^x表示质心的横坐标，C^y表示质心的纵坐标，P_i ^x表示第i个特征点的横坐标，表示第i+1个特征点的横坐标，P_i ^y表示第i个特征点的纵坐标，表示第i+1个特征点的纵坐标，W表示权重系数，且

将计算得到的参考图像中目标对象的质心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的质心作为待处理图像的参考点。

需要说明的是：当i＝n-1(即P_i＝P_n-1为最后一个特征点)时，P_i+1为第一个特征点P₁(即P_n＝P₁)。

当参考图像为I_A,ts，待处理图像为I_B,ts，参考图像的特征点为{p_Ai}，待处理图像的特征点为{p_Bi}时，对参考图像中目标对象的质心和待处理图像中目标对象的质心的计算过程进行说明：

当计算参考图像I_A,ts中目标对象的质心时，根据质心计算算式进行计算，此时，C^x表示参考图像中目标对象的质心的横坐标，C^y表示参考图像中目标对象的质心的纵坐标，P_i ^x表示参考图像的特征点中第i个特征点的横坐标，表示参考图像的特征点中第i+1个特征点的横坐标，P_i ^y表示参考图像的特征点中第i个特征点的纵坐标，表示参考图像的特征点中第i+1个特征点的纵坐标，W表示权重系数，且

当计算待处理图像I_B,ts中目标对象的质心时，根据质心计算算式进行计算，此时，C^x表示待处理图像中目标对象的质心的横坐标，C^y表示待处理图像中目标对象的质心的纵坐标，P_i ^x表示待处理图像的特征点中第i个特征点的横坐标，表示待处理图像的特征点中第i+1个特征点的横坐标，P_i ^y表示待处理图像的特征点中第i个特征点的纵坐标，表示待处理图像的特征点中第i+1个特征点的纵坐标，W表示权重系数，且

进而，将计算得到的参考图像中目标对象的质心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的质心作为待处理图像的参考点。

方式二：参考点为目标对象的中心的情况：根据参考图像的特征点的坐标计算参考图像中目标对象的中心，并根据待处理图像的特征点的坐标计算待处理图像中目标对象的中心；将计算得到的参考图像中目标对象的中心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的中心作为待处理图像的参考点。

具体的，根据中心计算算式计算参考图像中目标对象的中心和待处理图像中目标对象的中心；

其中，C^x表示中心的横坐标，C^y表示中心的纵坐标，P_i ^x表示第i个特征点的横坐标，P_i ^y表示第i个特征点的纵坐标。

将计算得到的参考图像中目标对象的中心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的中心作为待处理图像的参考点。

当参考图像为I_A,ts，待处理图像为I_B,ts，参考图像的特征点为{p_Ai}，待处理图像的特征点为{p_Bi}时，对参考图像中目标对象的中心和待处理图像中目标对象的中心的计算过程进行说明：

当计算参考图像I_A,ts中目标对象的质心时，根据中心计算算式进行计算，此时，C^x表示参考图像中目标对象的中心的横坐标，C^y表示参考图像中目标对象的中心的纵坐标，P_i ^x表示参考图像的特征点中第i个特征点的横坐标，P_i ^y表示参考图像的特征点中第i个特征点的纵坐标。

当计算待处理图像I_B,ts中目标对象的中心时，根据中心计算算式进行计算，此时，C^x表示待处理图像中目标对象的中心的横坐标，C^y表示待处理图像中目标对象的中心的纵坐标，P_i ^x表示待处理图像的特征点中第i个特征点的横坐标，P_i ^y表示待处理图像的特征点中第i个特征点的纵坐标。

进而，将计算得到的参考图像中目标对象的中心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的中心作为待处理图像的参考点。

(2)基于参考图像的参考点和待处理图像的参考点确定图像平移量。

具体的，根据图像平移量计算算式计算图像平移量；其中，T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量，表示参考图像的参考点的横坐标，表示待处理图像的参考点的横坐标，表示参考图像的参考点的纵坐标，表示待处理图像的参考点的纵坐标。

步骤S302，按照图像平移量分别对待处理图像和待处理图像的特征点进行平移补偿。

具体的，将待处理图像中的每个像素点按照图像平移量进行平移；并将待处理图像的特征点按照图像平移量进行平移。

在对待处理图像进行平移补偿时：根据图像平移补偿算式I'_B,ts(x,y)＝I_B,ts(x-T^x,y-T^y)对待处理图像进行平移补偿。

其中，I'_B,ts(x,y)表示平移补偿后的待处理图像，T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量。

当图像平移量是基于质心计算得到的平移补偿量时，在对待处理图像进行平移补偿后，平移补偿后的待处理图像中目标对象的质心与参考图像中目标对象的质心重叠；

而当图像平移量是基于中心计算得到的平移补偿量时，在对待处理图像进行平移补偿后，平移补偿后的待处理图像中目标对象的中心与参考图像中目标对象的中心重叠。

实际上，在完成上述平移补偿后，平移补偿后的待处理图像中目标对象的各像素点与参考图像中目标对象的各像素点相对于参考点实现了位置上的对齐。

在对待处理图像的特征点进行平移补偿时：根据特征点平移补偿算式对待处理图像的特征点进行平移补偿。

其中，表示平移补偿后的待处理图像的第i个特征点的横坐标，表示平移补偿后的待处理图像的第i个特征点的纵坐标，表示待处理图像的第i个特征点的横坐标，表示待处理图像的第i个特征点的纵坐标，T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量，i的取值为1，2，3，…，n-1。

在得到平移补偿后的待处理图像的特征点后，就能进一步根据平移补偿后的待处理图像的特征点和特征匹配点对中的参考图像的特征点计算运动估计参数，在一种可选的实现方式中，计算运动估计参数的过程包括如下步骤：

根据相似变换拟合算式对参考图像的特征点和平移补偿后的待处理图像的特征点进行相似变换拟合，得到运动估计参数。

其中，s,θ表示运动估计参数，s表示运动估计参数中的尺寸参数，θ表示运动估计参数中的旋转角度参数，p_Ai表示参考图像的第i个特征点，p'_Bi表示平移补偿后的待处理图像的第i个特征点。

在本发明实施例中，运动估计采用的是相似变换拟合，按照对参考图像的特征点和平移补偿后的待处理图像的特征点进行相似变换拟合，实质上就是求最小时，对应的s,θ的值，其中， 表示参考图像的第i个特征点的横坐标，表示参考图像的第i个特征点的纵坐标，表示平移补偿后的待处理图像的第i个特征点的横坐标，表示平移补偿后的待处理图像的第i个特征点的纵坐标。

需要说明的是，运动估计除了采用上述的相似变换拟合以外，还可以采用其它的运动估计。例如，仿射、透视、投影等，但相似变换拟合的运动估计方式是可靠性最好的一种运动估计方式，本发明实施例对上述运动估计不进行具体限定。

在得到运动估计参数后，就能进一步基于该运动估计参数对平移补偿后的待处理图像的像素点进行形体上的纠正(即运动补偿)，上述步骤S208，基于运动估计参数对平移补偿后的待处理图像进行运动补偿的步骤包括：基于运动估计参数对平移补偿后的待处理图像进行逆相似变换补偿，参考图4，包括如下步骤。

步骤S401，根据运动估计参数确定逆相似变换补偿矩阵。

步骤S402，通过逆相似变换补偿矩阵对平移补偿后的待处理图像进行处理，以使处理后的图像中的目标对象与参考图像中的目标对象对齐。

具体的，逆相似变换补偿矩阵可以为：进而，通过逆相似变换补偿矩阵对平移补偿后的待处理图像进行处理，处理结果如下：

I″_B,ts(x,y)＝I'_B,ts(x',y')，其中，I″_B,ts(x,y)表示处理后的图像，且

这样，得到的I″_B,ts(x,y)即为与I_A,ts中目标对象对齐的图像，进而，便能实现数字Dollyzoom处理中，在ts时刻，从镜头A向镜头B的切换时，画面中目标对象的平滑稳定。

实施例3：

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

图5是根据本发明实施例的一种图像处理装置的示意图，如图5所示，该图像处理装置主要包括：特征点提取单元10、平移补偿单元20、计算单元30和运动补偿单元40，其中：

特征点提取单元，用于在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；参考图像和待处理图像为不同焦距的镜头在同一时刻对目标对象进行拍摄得到的图像；

平移补偿单元，用于基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；

计算单元，用于根据特征匹配点对中的参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数；

运动补偿单元，用于基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。

在本发明实施例中，先在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；然后，基于特征匹配点对，对待处理图像和特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；进而，根据特征匹配点对中的参考图像的特征点和平移补偿后的待处理图像的特征点计算运动估计参数；最后，基于运动估计参数对平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与参考图像中的目标对象对齐。通过上述描述可知，采用本发明实施例中的图像处理方法对待处理图像进行处理后，得到的图像中的目标对象与参考图像中的目标对象能够实现对齐，这样，画面由参考图像切换至处理后的图像时，能够保持目标对象的平滑连续，稳定自然，也就是在不同焦距的镜头之间进行画面的切换时，能够保持目标对象的平滑稳定，缓解了现有技术在不同焦距的镜头之间进行画面的切换时，画面中的前景目标不连续、跳跃等不自然的技术问题。

可选地，特征匹配点对中的参考图像的特征点均匀分布于参考图像中目标对象的图像区域，且特征匹配点对中的待处理图像的特征点均匀分布于待处理图像中目标对象的图像区域。

可选地，平移补偿单元还用于：根据特征匹配点对确定图像平移量；按照图像平移量分别对待处理图像和待处理图像的特征点进行平移补偿。

可选地，平移补偿单元还用于：根据特征匹配点对中参考图像的特征点确定参考图像的参考点，并根据特征匹配点对中待处理图像的特征点确定待处理图像的参考点；基于参考图像的参考点和待处理图像的参考点确定图像平移量。

可选地，平移补偿单元还用于：根据参考图像的特征点的坐标计算参考图像中目标对象的质心，并根据待处理图像的特征点的坐标计算待处理图像中目标对象的质心；将计算得到的参考图像中目标对象的质心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的质心作为待处理图像的参考点；

或者，根据参考图像的特征点的坐标计算参考图像中目标对象的中心，并根据待处理图像的特征点的坐标计算待处理图像中目标对象的中心；将计算得到的参考图像中目标对象的中心作为参考图像的参考点，并将计算得到的待处理图像中目标对象的中心作为待处理图像的参考点。

可选地，平移补偿单元还用于：根据图像平移量计算算式计算图像平移量；T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量，表示参考图像的参考点的横坐标，表示待处理图像的参考点的横坐标，表示参考图像的参考点的纵坐标，表示待处理图像的参考点的纵坐标。

可选地，平移补偿单元还用于：将待处理图像中的每个像素点按照图像平移量进行平移；将待处理图像的特征点按照图像平移量进行平移。

可选地，计算单元还用于：根据相似变换拟合算式对参考图像的特征点和平移补偿后的待处理图像的特征点进行相似变换拟合，得到运动估计参数；s,θ表示运动估计参数，s表示运动估计参数中的尺寸参数，θ表示运动估计参数中的旋转角度参数，p_Ai表示参考图像的第i个特征点，p'_Bi表示平移补偿后的待处理图像的第i个特征点。

可选地，运动补偿单元还用于：基于运动估计参数对平移补偿后的待处理图像进行逆相似变换补偿。

可选地，运动补偿单元还用于：根据运动估计参数确定逆相似变换补偿矩阵；通过逆相似变换补偿矩阵对平移补偿后的待处理图像进行处理，以使处理后的图像中的目标对象与参考图像中的目标对象对齐。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本发明的另一个实施中，还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机运行所述计算机程序时执行上述方法实施例2中任一项所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；所述参考图像和所述待处理图像为不同焦距的镜头在同一时刻对所述目标对象进行拍摄得到的图像；

基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；

根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数；

基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与所述参考图像中的目标对象对齐。

2.根据权利要求1所述的方法，其特征在于，所述特征匹配点对中的参考图像的特征点均匀分布于所述参考图像中目标对象的图像区域，且所述特征匹配点对中的待处理图像的特征点均匀分布于所述待处理图像中目标对象的图像区域。

3.根据权利要求1所述的方法，其特征在于，基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿的步骤包括：

根据所述特征匹配点对确定图像平移量；

按照所述图像平移量分别对所述待处理图像和所述待处理图像的特征点进行平移补偿。

4.根据权利要求3所述的方法，其特征在于，根据所述特征匹配点对确定图像平移量的步骤包括：

根据所述特征匹配点对中参考图像的特征点确定所述参考图像的参考点，并根据所述特征匹配点对中待处理图像的特征点确定所述待处理图像的参考点；

基于所述参考图像的参考点和所述待处理图像的参考点确定所述图像平移量。

5.根据权利要求4所述的方法，其特征在于，根据所述特征匹配点对中参考图像的特征点确定所述参考图像的参考点，并根据所述特征匹配点对中待处理图像的特征点确定所述待处理图像的参考点的步骤包括：

根据所述参考图像的特征点的坐标计算所述参考图像中目标对象的质心，并根据所述待处理图像的特征点的坐标计算所述待处理图像中目标对象的质心；

将计算得到的所述参考图像中目标对象的质心作为所述参考图像的参考点，并将计算得到的所述待处理图像中目标对象的质心作为所述待处理图像的参考点；

或者，

根据所述参考图像的特征点的坐标计算所述参考图像中目标对象的中心，并根据所述待处理图像的特征点的坐标计算所述待处理图像中目标对象的中心；

将计算得到的所述参考图像中目标对象的中心作为所述参考图像的参考点，并将计算得到的所述待处理图像中目标对象的中心作为所述待处理图像的参考点。

6.根据权利要求4所述的方法，其特征在于，基于所述参考图像的参考点和所述待处理图像的参考点确定所述图像平移量的步骤包括：

根据图像平移量计算算式计算所述图像平移量；T^x表示X方向的图像平移量，T^y表示Y方向的图像平移量，表示所述参考图像的参考点的横坐标，表示所述待处理图像的参考点的横坐标，表示所述参考图像的参考点的纵坐标，表示所述待处理图像的参考点的纵坐标。

7.根据权利要求3所述的方法，其特征在于，按照所述图像平移量分别对所述待处理图像和所述待处理图像的特征点进行平移补偿的步骤包括：

将所述待处理图像中的每个像素点按照所述图像平移量进行平移；

将所述待处理图像的特征点按照所述图像平移量进行平移。

8.根据权利要求1所述的方法，其特征在于，根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数的步骤包括：

根据相似变换拟合算式对所述参考图像的特征点和所述平移补偿后的待处理图像的特征点进行相似变换拟合，得到所述运动估计参数；s,θ表示所述运动估计参数，s表示所述运动估计参数中的尺寸参数，θ表示所述运动估计参数中的旋转角度参数，p_Ai表示所述参考图像的第i个特征点，p'_Bi表示平移补偿后的待处理图像的第i个特征点。

9.根据权利要求1所述的方法，其特征在于，基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿的步骤包括：

基于所述运动估计参数对所述平移补偿后的待处理图像进行逆相似变换补偿。

10.根据权利要求9所述的方法，其特征在于，基于所述运动估计参数对所述平移补偿后的待处理图像进行逆相似变换补偿的步骤包括：

根据所述运动估计参数确定逆相似变换补偿矩阵；

通过所述逆相似变换补偿矩阵对所述平移补偿后的待处理图像进行处理，以使处理后的图像中的目标对象与所述参考图像中的目标对象对齐。

11.一种图像处理装置，其特征在于，包括：

特征点提取单元，用于在参考图像和待处理图像中提取目标对象的相互匹配的特征点，得到特征匹配点对；所述参考图像和所述待处理图像为不同焦距的镜头在同一时刻对所述目标对象进行拍摄得到的图像；

平移补偿单元，用于基于所述特征匹配点对，对所述待处理图像和所述特征匹配点对中的待处理图像的特征点进行平移补偿，得到平移补偿后的待处理图像和平移补偿后的待处理图像的特征点；

计算单元，用于根据所述特征匹配点对中的参考图像的特征点和所述平移补偿后的待处理图像的特征点计算运动估计参数；

运动补偿单元，用于基于所述运动估计参数对所述平移补偿后的待处理图像进行运动补偿，以使运动补偿后的图像中的目标对象与所述参考图像中的目标对象对齐。

12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至10中任一项所述的方法。

13.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机运行所述计算机程序时执行上述权利要求1至10中任一项所述的方法的步骤。