CN111935398B

CN111935398B - 图像的处理方法、装置、电子设备和计算机可读介质

Info

Publication number: CN111935398B
Application number: CN202010649505.6A
Authority: CN
Inventors: 刘钦
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd
Priority date: 2020-07-07
Filing date: 2020-07-07
Publication date: 2022-04-22
Anticipated expiration: 2040-07-07
Also published as: CN111935398A; WO2022007500A1

Abstract

本发明提供了一种图像的处理方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括：获取第一摄像装置采集到的第一图像；并确定第一图像中的目标ROI区域；计算第一图像和第二图像中目标ROI区域的ROI偏移量；获取第一图像的当前放大倍率，根据当前放大倍率对ROI偏移量进行切片处理，得到当前时刻对第一图像进行图像立体校正的当前叠加偏移量；基于当前叠加偏移量对第一图像进行图像立体校正，得到校正之后的第一图像；若当前放大倍率为预设切换倍率，则移动终端由第一摄像装置切换至第二摄像装置进行显示，本申请缓解了采用现有技术中在进行摄像装置成像切换时跳变明显的技术问题。

Description

图像的处理方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像的处理方法、装置、电子设备和计算机可读介质。

背景技术

对于移动终端而言，其摄像装置通常都是定焦镜头，只能实现数字变焦。而随着消费者对拍摄、摄像等功能的要求越来越高，为了解决数字变焦在高变焦倍率下的缺陷，业界则越来越多的在移动终端上搭载两颗或多颗焦距不同的摄像装置进行搭配，如一颗镜头FOV(field angle，视场角)＝80°，一颗镜头FOV＝40°。此时可以将数字变焦与光学变焦相结合，来满足消费者。数字变焦与光学变焦相结合是指通过一个摄像装置进行图像的放大，再切换至另外一个摄像装置进行成像，上述方法又称为光学数字联合变焦。但事实上，对于焦距而言，每颗摄像装置在组装时都有一定误差，其真实焦距与镜头厂商给的理论参考值也是有差异的；而对光轴而言，两颗摄像装置组装在一起时，其光轴也会产生误差，而不是绝对的平行，导致两颗摄像装置所观测的方向不完全一致，进而在切换摄像装置时导致不好的用户体验。例如，两颗摄像装置的Baseline(即距离)会使得两颗摄像装置产生视差，视差便会使得两颗摄像装置在切换时，其内容产生跳变。

发明内容

有鉴于此，本发明的目的在于提供一种图像的处理方法、装置、电子设备和计算机可读介质，以缓解了采用现有技术中在进行摄像装置成像切换时跳变明显的技术问题。

第一方面，本发明实施例提供了一种图像的处理方法，应用于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述方法包括：获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域；计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量，其中，所述第二图像为所述第二摄像装置在所述第一摄像装置采集第一图像时同步拍摄到的图像；获取所述第一图像的当前放大倍率，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量；基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；若所述当前放大倍率为预设切换倍率，则所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示；其中，在切换时，对所述第一图像进行图像立体校正的叠加偏移量的总和为所述ROI偏移量。

进一步地，所述方法还包括：对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度；计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量包括：若确定出所述第一图像中位于所述目标ROI区域内的图像的纹理强度大于预设纹理强度，则计算所述目标ROI区域在所述第一图像和第二图像中所述目标ROI区域的ROI偏移量。

进一步地，对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度包括：基于所述第一图像中位于所述目标ROI区域内的像素点计算目标数值，并基于所述目标数值确定所述纹理强度，其中，所述纹理强度包括以下任一种数值计算得到的标准差：像素灰度值、像素RGB值。

进一步地，计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量包括：确定所述第一图像中位于所述目标ROI区域内的图像特征点，得到第一图像特征点；在所述第二图像中确定所述第一图像特征点的匹配特征点，得到第二图像特征点；基于所述第一图像特征点和所述第二图像特征点之间的像素距离，确定所述ROI偏移量。

进一步地，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量包括：获取目标放大倍率，其中，所述目标放大倍率包括：初始放大倍率和预设切换倍率；所述初始放大倍率为首次确定出ROI偏移量的时候，第一摄像装置对第一图像执行数字变焦操作时所对应的放大倍率；所述预设切换倍率表示将所述第一摄像装置切为所述第二摄像装置时的图像放大倍率；根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量。

进一步地，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量包括：若所述当前放大倍率小于所述初始放大倍率，则确定所述当前叠加偏移量为0。

进一步地，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量还包括：若所述当前放大倍率大于所述初始放大倍率，且小于所述预设切换倍率，则所述当前叠加偏移量的计算公式为

其中，s_cur表示所述当前叠加偏移量，S_ROI表示所述ROI偏移量，ul_cur表示所述当前放大倍率，ul0表示所述第一图像的初始放大倍率，sl表示所述预设切换倍率。

进一步地，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量还包括：若所述当前放大倍率大于所述预设切换倍率，则所述当前叠加偏移量为所述ROI偏移量。

进一步地，基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像包括：基于所述当前叠加偏移量和图像放大参数构建目标变换矩阵；所述图像放大参数中包含所述第一图像的中心点和预设切换倍率；计算所述目标变换矩阵和当前时刻所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。

进一步地，所述方法还包括：在计算出所述ROI偏移量之后，按照预设时间间隔检测所述ROI偏移量是否发生了变化；若检测出所述ROI偏移量发生了变化，则基于变化之后的ROI偏移量和所述第一图像的当前叠加偏移量确定目标ROI偏移量；获取第一放大倍率，其中，所述第一放大倍率为检测到所述ROI偏移量发生时所述第一图像的放大倍率；根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量，并根据重新确定出的当前叠加偏移量对所述第一图像进行图像立体校正。

进一步地，根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量包括：若所述第一放大倍率和第二放大倍率相同，则所述第一图像的当前叠加偏移量和上一时刻的叠加偏移量相同，其中，所述第二放大倍率为上一时刻图像立体校正操作所对应的图像放大倍率。

进一步地，根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量包括：若所述第一放大倍率和所述第二放大倍率不相同，则根据所述第一放大倍率和所述目标ROI偏移量确定所述第一图像的当前叠加偏移量。

第二方面，本发明实施例提供了一种图像的处理装置，设置于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，所述装置包括：第一获取单元，用于获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域；计算单元，用于计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量，其中，所述第二图像为所述第二摄像装置在所述第一摄像装置采集第一图像时同步拍摄到的图像；第二获取单元，用于获取所述第一图像的当前放大倍率，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量；图像立体校正单元，用于基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；切换显示单元，用于若所述当前放大倍率为预设切换倍率，则所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示；其中，在切换时，对所述第一图像进行图像立体校正的叠加偏移量的总和为所述ROI偏移量。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法的步骤。

在本发明实施例中，首先，获取第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域，接下来，计算第一图像和第二图像中目标ROI区域的ROI偏移量，并获取第一图像的当前放大倍率，根据当前放大倍率对ROI偏移量进行切片处理，得到当前时刻对第一图像进行图像立体校正的当前叠加偏移量；然后，基于当前叠加偏移量对第一图像进行图像立体校正，得到校正之后的所述第一图像；其中，若当前放大倍率为预设切换倍率，则移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示。通过上述描述可知，在本申请中，通过基于第一图像的当前放大倍率，并基于当前放大倍率确定当前叠加偏移量，并通过该当前叠加偏移量对第一图像进行图像立体校正的方式，能够保证在两个摄像装置切换时，用户关注的ROI的内容无跳变，进而缓解了采用现有技术中在进行摄像装置成像切换时跳变明显的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子设备的示意图；

图2是根据本发明实施例的一种双摄装置图像校正的原理示意图；

图3是根据本发明实施例的一种数字变焦操作的流程示意图；

图4是根据本发明实施例的一种双摄装置之间的距离的示意图；

图5是根据本发明实施例的一种视差和双摄装置之间的距离的变化示意图；

图6是根据本发明实施例的一种图像的处理方法的流程图；

图7是根据本发明实施例的一种目标ROI区域进行纹理检测的原理示意图；

图8是根据本发明实施例的另一种图像的处理方法的流程图；

图9是根据本发明实施例的又一种图像的处理方法的流程图；

图10是根据本发明实施例的一种图像的处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像的处理方法。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及摄像装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像的处理方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

在介绍本申请的图像处理方法之前，首先介绍光学数字联合变焦的处理过程，描述如下：

用户在使用手机进行或摄像的过程中，随着用户开始对大FOV摄像装置屏幕进行放大，此时执行数字变焦操作。当放大后的图像内容的尺度与小FOV摄像装置全FOV的图像内容尺度相同时，切换为另一个摄像装置进行成像，此时用户继续放大屏幕，便继续执行数字变焦操作。在切换摄像装置这一瞬间，为光学变焦操作。该操作相比于单颗摄像装置纯数字变焦的优势，在于当放大倍率较大时，该操作会使用一颗焦距更大的摄像装置进行成像，特别对于中远景，其成像质量一定会高于单摄数字变焦的成像质量。

该操作除了满足两个摄像装置切换前后，屏幕内容的尺度相同以外，为了尽可能的逼近真实的光学变焦的体验感，通常还会要求满足以下几点：

(1)、数字变焦保证放大过程平滑自然，接近真实光学变焦在放大图像内容过程中的体验；

(2)、当切换摄像装置时，保证图像内容尺度相同的同时，前后两帧无旋转感。

(3)、当切换摄像装置时，保证图像内容尺度相同的同时，前后两帧尽可能少的跳变(图像内容平移)。

因此，为了满足以上要求，需要满足以下设置要求：

(1)、减少切换摄像装置时的跳变，则要求两个摄像装置的Baseline(即距离)尽可能小：Baseline会使得两个摄像装置产生视差，视差便会使得两颗摄像装置在切换时，其内容产生跳变，后面会对其原理进行阐述；

(2)、使切换摄像装置前后图像无旋转感，则要求光轴平行，即两颗摄像装置拍摄的光轴方向是相同的；

(3)、保证数字变焦放大过程平滑，以及切换摄像装置时图像内容的尺度相同，则要求准确的确定摄像装置的焦距信息，以便计算出两个不同FOV的摄像装置准确的尺度比例。

但事实上，对于焦距而言，每个摄像装置在组装时都有一定误差，其真实焦距与镜头厂商给的理论参考值也是有差异的；而对光轴而言，两个摄像装置组装在一起时，其光轴也会产生误差，而不是绝对的平行，导致两个摄像装置所观测的方向不完全一致，进而在切换摄像装置时导致不好的用户体验。因此，“光学数字联合变焦”算法通常会要求工厂在手机生产中，对两个摄像装置进行标定，计算出摄像装置准确的内外参数，其中内参数包括了镜头的真实焦距；外参数包括了摄像装置之间的光轴夹角，然后将标定得到的数据保存在手机芯片中，手机在用户手上使用时，读取标定数据，获取相关信息，并对图像进行立体旋转和尺度变换等变换操作，称之为图像立体校正，得到光轴平行的图像。

立体校正的示意图如图2所示，其中，菱形形状的平面是真实拍摄的不平行的两颗摄像装置拍摄的图片，矩形形状的平面是利用标定数据，经算法校正后的绝对平行的平面。其中，一旦光轴平行，摄像装置切换前后，/摄像的内容便不会产生旋转感和因Baseline以外多余的平移。

因此，要实现光学数字联合变焦，主要需要实现三个功能：

功能一：数字变焦。基于任一放大倍率(user level，(取值范围为：1.0～))，实现对图像的数字变焦。如下式所示：

和

H_zoom为3*3的图像放大矩阵，s为放大倍率，(cx,cy)为图像中心；I_input为数字变焦前的图，I_output为数字变焦后的图，(u,v,1)为输入图像的齐次坐标，(u',v',1)为输出图像的齐次坐标。

功能二：切换逻辑。如图3所示，摄像装置Wide为FOV较大的摄像装置，摄像装置Tele为FOV较小的摄像装置，当摄像装置Wide放大到FOV等于摄像装置Tele的FOV时，切换为摄像装置Tele。在实现时，通常不会去比较FOV是否相同，而是计算切换时对应的切换倍率switch level，如图3所示，switch level＝2。

其计算公式如下：

其中，Tele指FOV小的摄像装置，Wide指FOV大的摄像装置，f为焦距，width为摄像装置的sensor的宽度，若这些数据为标定计算出来的，那么switch level的准确性会更高。当user level<switch level时，由FOV大的摄像装置做数字变焦；否则由FOV小的摄像装置做数字变焦。

功能三：消除旋转。为了在切换摄像装置时，/视频画面尽可能的平滑过度，需要基于标定数据，对图像进行立体校正，消除光轴误差带来的旋转感和跳变感。变换公式如下：

其中，H为变换矩阵，K为标定获取的摄像装置内参数，R为标定获取的旋转角度。

以上三个部分，是基于两个FOV差异较大的摄像装置实现“光学数字联合平滑变焦”的核心部分。接下来重点介绍Baseline对“光学数字联合变焦”算法的影响。通过上述描述可知，在执行图像立体校正操作之后，能够实现两个摄像装置所拍摄图像的图像内容角度相同，且图像内容尺度相同。但由于两个摄像装置之间存在距离，虽然标定数据可以消除尺度误差和光轴平行误差，但是两个摄像装置之间的视差却无法通过标定来去除。如图4所示的为两个摄像装置经立体校正后的俯视图：其中两条“X轴方向的粗体线段”代表两个摄像装置的sensor投影面，O_R与O_T代表镜头光心，两个光心之间的距离为Baseline，此时两个摄像装置的光轴绝对平行，且focus相同(尺度相同)。

如图4所示，空间中一点P，距离双摄***的距离为Z，分别在两个像平面成像为p和p’,以“X轴方向的粗体线段”左端为坐标起始点，p的坐标为x_R，p’的坐标为x_T，因此我们称D＝(x_R–x_T)为空间中点P在该双摄***中的视差Disparity。视差D随着距离Z的变化而变化，当Z越小，即距离越近，视差越大；反之，视差越小，当距离无穷远时，视差为0。其关系可由图5所表示。

因此，在“光学数字联合变焦”算法的应用中，当切换摄像装置时，图像中的每个像素点都会因其成像的空间点距离摄像装置的距离不同，而呈现不同程度的视差跳变(如图4中点P，如果从左边的摄像装置切换至右边摄像装置时，P在图像中，会从点p跳至点p’)。只有场景中特别远(近似无穷远处)的物体不会产生跳变；而越近的物体，视差的跳变会越明显。而用户在使用手机/摄像时，除了拍摄远处的风景这样的场景会重点关注远处外，大多数拍摄场景所关注的内容都在距离摄像装置不远的前景。此时在放大并切换摄像装置的时候，所关注的前景必然会发生跳变，给用户带来不好的体验感。这也是大多数主流算法尽管标定数据很准确，但仍然能在使用联合变焦功能时，感受到屏幕中场景的跳变。基于此，在本申请中，提出了一种图像的处理方法，该方法能够使得视频效果既保证了在两个摄像装置切换时，用户关注的ROI的内容无跳变，又保证了整个数字变焦放大过程中的平滑性，进而缓解了采用现有技术中在进行摄像装置成像切换时跳变明显的技术问题。

实施例2：

根据本发明实施例，提供了一种图像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图6是根据本发明实施例的一种图像的处理方法的流程图，如图6所示，该方法包括如下步骤：

步骤S602，获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域。

在本申请中，此处的第一摄像装置和下述步骤中描述的第二摄像装置为移动终端(例如，手机)中的摄像装置，其中，第一摄像装置和第二摄像装置的视场角不相同，例如，第一摄像装置的视场角大于第二摄像装置的视场角。具体地，第一摄像装置和第二摄像装置可以为双摄手机中的双摄装置。

在本申请中，目标ROI区域是指用户感兴趣区域。对于移动终端而言，通常当用户点击屏幕不同位置进行对焦时，说明用户想关注这一块区域，因此移动终端会将该区域作为目标ROI区域。如果用户没有手动对焦，移动终端会自动将屏幕中心区域作为目标ROI区域，或者自动检测屏幕中人脸的位置作为目标ROI区域等。这些都是移动终端常用的获取目标ROI区域的方式。在“光学数字联合变焦”算法中，虽然同时打开两个摄像装置(例如，第一摄像装置和第二摄像装置)，但移动终端的屏幕只会显示其中一个摄像装置的画面，因此这里的目标ROI区域可能是Wide镜头(第一摄像装置)的ROI区域，也可能是Tele镜头(第二摄像装置)的ROI区域。

步骤S604，计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量，其中，所述第二图像为所述第二摄像装置在所述第一摄像装置采集第一图像时同步拍摄到的图像。

在本申请中，ROI偏移量是指目标ROI区域在所述第一图像和第二图像中的位置偏移量。例如，可以表示为第一图像中目标ROI区域内的特征点和第二图像中目标ROI区域内的特征点的位置偏移量。

步骤S606，获取所述第一图像的当前放大倍率，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量。

当前放大倍率是指在对第一图像进行数字变焦操作的过程中，当前时刻对第一图像进行放大的倍率。在本申请中，切片处理是指对ROI偏移量进行切分处理，从而确定出当前时刻所对应的当前叠加偏移量。

步骤S608，基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像。

在本申请中，在确定出当前叠加偏移量之后，就可以当前叠加偏移量对第一图像进行图像立体校正，得到校正之后的所述第一图像。

步骤S610，若所述当前放大倍率为预设切换倍率，则所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示；其中，在切换时，对所述第一图像进行图像立体校正的叠加偏移量的总和为所述ROI偏移量。

在本申请中，预设切换倍率是指上述内容中所描述的切换倍率switch level，表示将移动终端由第一摄像装置切换至第二摄像装置时，第一图像所对应的放大倍率。

在本申请中，在获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域之后，还可以对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度。

在一个可选的实施方式中，可以基于所述第一图像中位于所述目标ROI区域内的像素点计算目标数值，并基于所述目标数值确定所述纹理强度，其中，所述纹理强度包括以下数值计算得到的标准差：像素灰度值或者像素RGB值。

通过上述描述可知，在按照上述所描述的方式确定目标ROI区域之后，可以对目标ROI区域内的内容进行分析，确保目标ROI区域内的内容是有纹理的，以便下一步计算偏移量的数据是可靠的。

本发明中的纹理检测，主要基于当前目标ROI区域内的图像像素灰度值和RGB值，来计算标准差，进而通过该标准差来确定目标ROI区域内的图像是否包含纹理，其中，标准差可以为上述目标数值。

其中，标准差的计算公式可以为：

n＝H×W，g_i表示目标ROI区域内第i个像素点的灰度值或者像素RGB值，H和W为目标ROI区域的长度和宽度。

在本申请中，在按照上述所描述的方式得到目标ROI区域内的图像的纹理强度之后，就可以基于该纹理强度判断第一图像中位于所述目标ROI区域内的图像的纹理强度是否大于预设纹理强度，若基于所述纹理强度确定出所述第一图像中位于所述目标ROI区域内的图像的纹理强度大于预设纹理强度，则确定所述目标ROI区域在所述第一图像和第二图像中的偏移量，得到ROI偏移量。

例如，如图7所示，假设目标ROI区域是由H行，W列的像素点组成，其中，每个像素点都有对应的灰度值gi，因此通过灰度值gi来计算标准差就可以得到这n＝H*W个像素值的稳定性。若目标ROI区域内的纹理较弱，那么其灰度值或RGB值一定较为接近，标准差较小，反之标准差较大。在本申请中，可以设定经验值作为管控阈值Tolerancce(也即，预设纹理强度)，当标准差σ>Tolerance(也即，预设纹理强度)时，目标ROI区域内的纹理较强，可用于后续计算偏移量所用；否则目标ROI区域内的纹理较弱，说明当前获取的目标ROI区域不适用于计算ROI偏移量，则等待重新获取新的图像，再进行判断。

在本申请中，在按照上述所描述的过程得到第一图像中的目标ROI区域，并对位于目标ROI区域内的图像进行纹理检测之后，就可以计算目标ROI区域在所述第一图像和第二图像中的偏移量，得到ROI偏移量。

在一个可选的实施方式中，步骤S604，计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量包括如下过程：

步骤S6041，确定所述第一图像中位于所述目标ROI区域内的图像特征点，得到第一图像特征点；

步骤S6042，在所述第二图像中确定所述第一图像特征点的匹配特征点，得到第二图像特征点；

步骤S6043，基于所述第一图像特征点和所述第二图像特征点之间的像素距离，确定所述ROI偏移量。

当确定目标ROI区域后，则需要抓取第一摄像装置和第二摄像装置同步拍摄的图像，即第一图像和第二图像。然后，在目标ROI区域内寻找这两张图像的匹配特征点。例如，首先，确定第一图像中位于目标ROI区域内的图像特征点，得到第一图像特征点，其中，该图像特征点可以为目标ROI区域内所包含对象的特征点，例如，人脸的特征点等等，本申请对此不作具体限定。接下来，在第二图像中确定第一图像特征点的匹配特征点，得到第二图像特征点。然后，计算第一图像特征点和第二图像特征点之间的像素距离，并将该像素距离作为ROI偏移量，其中，可以计算第一图像特征点和第二图像特征点中相匹配像素点之间的坐标差值作为像素距离。

需要说明的是，在本申请中，在计算ROI偏移量时，通常假设该目标ROI区域在空间中属于同一深度，即该区域距离摄像装置的距离相当，而不是该区域中一部分在前景区域，一部分在背景区域。此时，需要先确定目标ROI区域所对应的摄像装置，以确定该目标ROI区域的图像内容，再到另一张图像中去进行匹配，并获取该区域的偏移量。

下面将举例说明上述过程，假设，当前移动终端中显示的第一图像为FOV更大的第一摄像装置所采集到的，且用户手动对焦到某个区域(即，目标ROI区域)。

如图8所示，移动终端的屏幕的预览画面为Wide摄像装置(第一摄像装置)的图像(第一图像)，经触屏对焦得到目标ROI区域。本发明基于目标ROI区域和第一图像得到目标ROI区域中的图像内容，再结合同一时间拍摄的Tele图像(即，第二摄像装置)，并基于特征点提取与匹配算法，得到多组匹配点集(其中，多组匹配点集即为上述第一图像特征点和第二图像特征点)。需要说明的是，在本申请中，虽然在移动终端中不显示Tele(即，第二摄像装置)所拍摄到的图像，但预览/摄像时，Wide(即，第一摄像装置)与Tele(即，第二摄像装置)同时打开，并时刻准备着被显示在屏幕上。需要说明的是，在本申请中，特征点提取与匹配算法可以为以下任一种：SIFT，ORB，BRISK等，本发明不限定具体的匹配算法。

在本申请中，确定ROI偏移量(△u，△v)的简单流程如下：

首先，利用鲁邦的特征点检测与匹配算法计算出N组匹配点对；即第一图像特征点和第二图像特征点；

然后，利用剔除错误匹配点的算法RANSAC对匹配的点对进行一次误匹配点的剔除，保留下准确的匹配点；

最后，求解多组匹配点对之间的像素距离，并计算像素距离的平均值，作为ROI偏移量。

在本申请中，在得到ROI偏移量之后，就可以获取第一图像的当前放大倍率，并根据当前放大倍率对ROI偏移量进行切片处理，得到当前时刻对第一图像进行图像立体校正的当前叠加偏移量。

在一个可选的实施方式中，步骤S606，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量的步骤包括：

步骤S6061，获取目标放大倍率，其中，所述目标放大倍率包括：初始放大倍率和预设切换倍率；所述初始放大倍率为首次确定出ROI偏移量的时候，第一摄像装置对第一图像执行数字变焦操作时所对应的放大倍率；所述预设切换倍率表示将所述第一摄像装置切为所述第二摄像装置时的图像放大倍率；

步骤S6062，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量。

在本申请中，为了在对第一图像执行数字变焦过程中，保证整个数字变焦过程的平滑，当得到ROI偏移量之后，需要将ROI偏移量进行切片处理。在对第一图像放大过程中逐渐叠加不同比例的ROI偏移量(即，叠加偏移量)至第一图像，直至放大到切换倍率时，总偏移量叠加完成。

具体地，在本申请中，可以通过比较当前放大倍率和目标放大倍率之间的大小关系来对ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移。通过对ROI偏移量进行切片处理，能够保证在切换时目标ROI区域内的图像无跳变，具体实施方式如下：

由于ROI偏移量的计算与“光学数字联合变焦”同步进行，假设首次计算出ROI偏移量的时候，第一摄像装置对第一图像执行数字变焦操作时所对应的初始放大倍率userlevel为ul₀，ROI偏移量的大小为S_ROI，预设切换倍率switch level简写为sl。当前放大倍率user level为ul_cur，当前时刻叠加到每一帧图像上的当前叠加偏移量为s_cur，s_cur的结果可以分为以下几种情况：

情况一、

若所述当前放大倍率小于所述初始放大倍率，则确定所述当前叠加偏移量为0。

也就是说，如果ul_cur<ul₀，那么可以将当前叠加偏移量s_cur设置为零。

情况二、

若所述当前放大倍率大于所述初始放大倍率，且小于所述预设切换倍率，则所述当前叠加偏移量的计算公式为

也就是说，如果ul₀<ul_cur<sl时，那么当前叠加偏移量s_cur可以通过公式

来确定。

该公式即实现了ROI偏移量的切片效果，即将当前放大倍率与预设切换倍率switch level之间的距离比，对应到ROI偏移量S_ROI上面，实现ul₀与ul₀的下一帧之间的偏移量足够小，防止图像的内容发生可见的平移跳变；同时当ul_cur接近于sl时，s_cur也基本等于S_ROI。

情况三、

若所述当前放大倍率大于所述预设切换倍率，则所述当前叠加偏移量为所述ROI偏移量。

在本申请中，若ul_cur>sl，则s_cur＝S_ROI。需要说明的是，此时屏幕显示第二摄像装置采集到的第二图像，但该当前叠加偏移量仍叠加到第一图像上，用于用户将屏幕从第二摄像装置切换回第一摄像装置时，仍可保证目标ROI区域内的图像无跳变。

在本申请中，在按照上述情况一至情况三所描述的方式确定当前时刻图像立体校正操作的当前叠加偏移量之后，就可以基于所述当前时刻图像立体校正操作的当前叠加偏移量对所述第一图像执行图像立体校正操作。

在一个可选的实施方式中，基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像包括如下步骤：

(1)、基于所述当前叠加偏移量和图像放大参数构建目标变换矩阵；所述图像放大参数中包含所述第一图像的中心点和预设切换倍率；

(2)、计算所述目标变换矩阵和当前时刻所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。

通过上述描述可知，数字变焦操作的具体实现方式是按照一定的缩放比例，构建图像变换矩阵H_zoom，进而通过图像变换矩阵H_zoom实现图像的变换。其中，构建图像变换矩阵和通过图像变换矩阵实现图像的变换的具体公式如下所示：

因此，在确定出当前时刻图像立体校正操作的当前叠加偏移量s_cur＝(△u,△v)之后，仍然需要构建变换矩阵H_shift，并叠加到图像变换矩阵H_zoom中，其中，图像变换矩阵H_zoom中包含图像放大参数。通过上述处理方式能够在执行立体校正的同时，完成图像的平移。

在本申请中，变换矩阵H_shift公式如下：

基于当前时刻图像立体校正操作的当前叠加偏移量和图像放大参数所构建得目标变换矩阵的公式为：

通过以上构建及变换得到新的Hzoom'(即，目标变换矩阵)后，即可在数字变焦流程中，实现图像放大的同时也实现图像的平移，将以上流程计算的偏移量作用在视频帧的输入图像中。

需要说明的是，在本申请中，目标ROI区域是可以更新的，且目标ROI区域可以由用户来实现更新。因此无论是场景改变，还是对焦点改变，都有可能改变ROI偏移量。因此，在本申请中，计算ROI偏移量的过程也要求在整个“光学数字联合变焦”过程中，按照一定的频率重复的进行。因此，也需要考虑当ROI偏移量改变后，叠加偏移量的计算应该如何更新。

基于此，该方法还包括如下步骤：

步骤S1，若检测出所述ROI偏移量发生了变化，则基于变化之后的ROI偏移量和所述第一图像的当前叠加偏移量确定目标ROI偏移量；

步骤S2，获取第一放大倍率，其中，所述第一放大倍率为检测到所述ROI偏移量发生时所述第一图像的放大倍率；

步骤S3，根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量，并根据重新确定出的当前叠加偏移量对所述第一图像进行图像立体校正。

具体地，假设，在ROI偏移量更新前，ROI偏移量S_ROI＝S_{ROI_0}；在ROI偏移量更新的前一时刻，第一图像的放大倍率user level(即，本申请中的第二放大倍率)为ul_{cur_0}。若ul₀<ul_{cur_0}<sl，，此时，图像立体校正对应的当前叠加偏移量s_{cur_0}如式

所示，否则s_{cur_0}应等于0或S_{ROI_0}。

在ROI偏移量更新后，设变化之后的ROI偏移量为S_{ROI_1}，但由于此时图像帧已经按照S_{ROI_0}为基准，叠加了叠加偏移量s_{cur_0}的偏移量。因此，图像立体校正操作对应的目标ROI偏移量S_ROI为：S_ROI＝S_{ROI_1}-s_{cur_0}。

在得到目标ROI偏移量之后，可以继续获取检测到ROI偏移量发生时第一图像的放大倍率，即第一放大倍率。然后，根据第一放大倍率和目标ROI偏移量重新确定第一图像的当前叠加偏移量，并根据重新确定出的当前叠加偏移量对第一图像进行图像立体校正。

因此，在此基础上，根据第一放大倍率和目标ROI偏移量重新确定所述第一图像的当前叠加偏移量可以分为以下几种情况：

若所述第一放大倍率和第二放大倍率相同，则所述第一图像的当前叠加偏移量和上一时刻的叠加偏移量相同，其中，所述第二放大倍率为上一时刻图像立体校正操作所对应的图像放大倍率。

在此情况下，ROI偏移量更新后，但放大倍率user level并没有改变，即第一放大倍率ul_cur＝第二放大倍率ul_{cur_0}，此时，当前时刻图像立体校正操作的当前叠加偏移量和上一时刻图像立体校正操作的叠加偏移量相同，即：s_cur＝s_{cur_0}。

在此情况下，虽然第一放大倍率ul_cur可能大于初始放大倍率ul₀小于预设切换倍率sl，但此时图像帧已经叠加了叠加偏移量s_{cur_0}的偏移量，若按照切片公式来计算当前时刻图像立体校正操作的叠加偏移量s_cur的话，ROI偏移量S_ROI则会发生改变，即放大倍率userlevel没有发生改变的时候，屏幕中的内容却产生了跳变，这种跳变是肉眼可能感知的。因此，当ROI偏移量更新后，需要先判断用户控制的放大倍率user level(第一放大倍率)有没有发生变化，如果还未改变，则仍保留原s_cur＝s_{cur_0}。

若所述第一放大倍率和所述第二放大倍率不相同，则根据所述第一放大倍率和所述目标ROI偏移量确定所述第一图像的当前叠加偏移量。

在此情况下，当第一放大倍率user level发生改变后，则继续按照上述情况一至情况三中所描述的方式确定当前时刻图像立体校正操作的叠加偏移量，此处不再展开描述。

如图9所示，在本申请中，图像的处理方法主要包含以下三个部分：

一、确定目标ROI区域

二、进行纹理检测

通过上述描述可知，在确定出第一图像(也即，Wide图像帧)中的目标ROI区域之后，基于目标ROI区域在所述第一图像和第二图像(也即，Tele图像帧)中的偏移量，得到ROI偏移量的过程可以总结如下：

ROI纹理性验证：为了确保获取的目标ROI区域是可匹配的(即有纹理特征)，在进行匹配前，首先会对该区域的纹理性进行验证。验证方法主要是基于该区域每个像素的灰度值或RGB值，计算标准差，标准差如果小于预设纹理强度，认为该区域没有纹理，则退出当前计算；否则进入下一步计算。

图像特征点的提取与匹配：相关算法有很多，如SIFT，ORB，BRISK等，本发明不明确定义具体寻找匹配点的方法。在本申请中，可以通过上述算法在第一图像中确定第一图像特征点，并在第二图像中，确定第一图像特征点的匹配特征点，得到第二图像特征点。

三、计算ROI偏移量

完成图像特征点的提取与匹配后，通常会得到不止一个匹配点，此时为了剔除错误的匹配点，还需要基于RANSAC进行一次错误匹配点的剔除。得到正确的匹配点对后，计算每一个点对的像素偏移量，再求其平均值，得到最终的偏移量(即，ROI偏移量)。

四、平滑消除ROI的偏移量

在得到ROI偏移量后，便可以基于该数据对“光学数字联合变焦”过程中的图像进行平移，使得当图像放大到切换摄像装置时，在目标ROI区域处无跳变。但一方面由于ROI偏移量的获取是在“光学数字联合变焦”的过程中进行的；另一方面目标ROI区域也是由用户控制的，是可变化的，所以ROI偏移量计算需要频繁进行并与变焦过程同步进行，以适应场景的变化和目标ROI区域的变化。因此，获取到的ROI偏移量应如何应用在变焦过程中即能保证切换时目标ROI区域无跳变，还能让整个数字变焦过程平滑，是技术最重要的问题。

首先，假设在当前帧获取到ROI偏移量后，不可能直接将该ROI偏移量直接作用于下一帧，因为这样的话，会直接导致当前帧和下一帧之间产生跳变，而非平滑变焦；但同时需要保证当变焦到达摄像装置切换帧时，ROI偏移量已经作用于当前帧，使得下一帧切换为另一个摄像装置时，图像内容在目标ROI区域处没有跳变。因此，本发明提出一种平滑消除ROI偏移量的方法，既能保证数字变焦过程的平滑放大，不因ROI偏移量的出现和更新时产生跳变，又能确保在切换摄像装置的时候，目标ROI区域无跳变。

在此需要说明的是，消除ROI偏移量的行为主要是对图像进行平移的过程。由于Wide的FOV远大于Tele，为了确保Wide在切换摄像装置时与Tele在目标ROI区域处对齐，所以基于计算得到的ROI偏移量主要作用于Wide图像帧。因此具体实现流程如下：

数字变焦过程在第一次得到ROI偏移量之前，通常都基于放大倍率(user level)对图像进行中心放大或缩小。当第一次得到ROI偏移量后，按照当前user level与switchlevel之间的距离，对偏移量的值进行切片，在user level继续放大的过程中，叠加不同比例的叠加偏移量，使得user level在越接近switch level时，偏移量越大，反之越小，直至user level＝switch level时，ROI偏移量完全作用于图像帧。由于ROI偏移量已经被切片，因此可以保证数字变焦过程的平滑，不至于在放大时，图像产生跳变。该步骤还需注意的是，若user level没有变化，则保持当前的偏移量持续作用到图像帧；若user level>switch level，此时通常显示Tele图像帧，因此不需要对Tele图像帧叠加偏移量。

由于场景变化或用户重新对焦到距离摄像装置不同深度的位置时，ROI偏移量会发生变化。因此，还需要考虑到ROI偏移量变化的情况。此时，假设在ROI偏移量被更新的时候，此时的user level2相比上一次得到ROI偏移量时的user level1也已经放大了一定的倍率，即当前帧的图像已经基于上一次的叠加偏移量有了一定像素值的平移，那么则需要基于当前已更新的ROI偏移量减去当前已经平移后的ROI偏移量，作为当前时刻的ROI偏移量，并重新对该ROI偏移量进行切片，以实现即便ROI偏移量更新后，也能在数字变焦平滑过度的同时，仍保证切换摄像装置时ROI处没有跳变。

实施例三：

本发明实施例还提供了一种图像的处理装置，该图像的处理装置主要用于执行本发明实施例上述内容所提供的图像的处理方法，以下对本发明实施例提供的图像的处理装置做具体介绍。

图10是根据本发明实施例的一种图像的处理装置的示意图，如图10所示，该图像的处理装置主要包括：第一获取单元10，计算单元20，第二获取单元30，切片处理单元40，图像校正单元50和切换显示单元60，其中：

第一获取单元，用于获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域；

计算单元，用于计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量，其中，所述第二图像为所述第二摄像装置在所述第一摄像装置采集第一图像时同步拍摄到的图像；

第二获取单元，用于获取所述第一图像的当前放大倍率；

切片处理单元，用于根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量；

图像立体校正单元，用于基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；

切换显示单元，用于若所述当前放大倍率为预设切换倍率，则所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示；其中，在切换时，对所述第一图像进行图像立体校正的叠加偏移量的总和为所述ROI偏移量。

通过上述描述可知，在本申请中，通过基于第一图像的当前放大倍率，并基于当前放大倍率确定当前叠加偏移量，并通过该当前叠加偏移量对第一图像进行图像立体校正的方式，能够保证在两个摄像装置切换时，用户关注的ROI的内容无跳变，进而缓解了采用现有技术中在进行摄像装置成像切换时跳变明显的技术问题。

可选地，该装置还用于：所述方法还包括：对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度；计算单元还用于：若确定出所述第一图像中位于所述目标ROI区域内的图像的纹理强度大于预设纹理强度，则计算所述目标ROI区域在所述第一图像和第二图像中所述目标ROI区域的ROI偏移量。

可选地，该装置还用于：基于所述第一图像中位于所述目标ROI区域内的像素点计算目标数值，并基于所述目标数值确定所述纹理强度，其中，所述纹理强度包括以下任一种数值计算得到的标准差：像素灰度值、像素RGB值。

可选地，计算单元还用于：确定所述第一图像中位于所述目标ROI区域内的图像特征点，得到第一图像特征点；在所述第二图像中确定所述第一图像特征点的匹配特征点，得到第二图像特征点；基于所述第一图像特征点和所述第二图像特征点之间的像素距离，确定所述ROI偏移量。

可选地，切片处理单元用于：获取目标放大倍率，其中，所述目标放大倍率包括：初始放大倍率和预设切换倍率；所述初始放大倍率为首次确定出ROI偏移量的时候，第一摄像装置对第一图像执行数字变焦操作时所对应的放大倍率；所述预设切换倍率表示将所述第一摄像装置切为所述第二摄像装置时的图像放大倍率；根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量。

可选地，切片处理单元还用于：若所述当前放大倍率小于所述初始放大倍率，则确定所述当前叠加偏移量为0。

可选地，切片处理单元还用于：若所述当前放大倍率大于所述初始放大倍率，且小于所述预设切换倍率，则所述当前叠加偏移量的计算公式为

可选地，切片处理单元还用于：若所述当前放大倍率大于所述预设切换倍率，则所述当前叠加偏移量为所述ROI偏移量。

可选地，图像立体校正单元用于：基于所述当前叠加偏移量和图像放大参数构建目标变换矩阵；所述图像放大参数中包含所述第一图像的中心点和预设切换倍率；计算所述目标变换矩阵和当前时刻所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。

可选地，该装置还用于：在计算出所述ROI偏移量之后，按照预设时间间隔检测所述ROI偏移量是否发生了变化；若检测出所述ROI偏移量发生了变化，则基于变化之后的ROI偏移量和所述第一图像的当前叠加偏移量确定目标ROI偏移量；获取第一放大倍率，其中，所述第一放大倍率为检测到所述ROI偏移量发生时所述第一图像的放大倍率；根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量，并根据重新确定出的当前叠加偏移量对所述第一图像进行图像立体校正。

可选地，该装置还用于：若所述第一放大倍率和第二放大倍率相同，则所述第一图像的当前叠加偏移量和上一时刻的叠加偏移量相同，其中，所述第二放大倍率为上一时刻图像立体校正操作所对应的图像放大倍率。

可选地，该装置还用于：若所述第一放大倍率和所述第二放大倍率不相同，则根据所述第一放大倍率和所述目标ROI偏移量确定所述第一图像的当前叠加偏移量。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种图像的处理方法，应用于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，其特征在于，所述方法包括：

获取所述第一摄像装置采集到的第一图像；并确定所述第一图像中的目标ROI区域；

计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量，其中，所述第二图像为所述第二摄像装置在所述第一摄像装置采集第一图像时同步拍摄到的图像；

获取所述第一图像的当前放大倍率，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量，以在对所述第一图像放大过程中逐渐叠加不同比例的所述当前叠加偏移量；

基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像；

若所述当前放大倍率为预设切换倍率，则所述移动终端由所述第一摄像装置切换至所述第二摄像装置进行显示；其中，在切换时，对所述第一图像进行图像立体校正的叠加偏移量的总和为所述ROI偏移量。

2.根据权利要求1所述的方法，其特征在于，

所述方法还包括：对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度；

计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量包括：若确定出所述第一图像中位于所述目标ROI区域内的图像的纹理强度大于预设纹理强度，则计算所述目标ROI区域在所述第一图像和第二图像中所述目标ROI区域的ROI偏移量。

3.根据权利要求2所述的方法，其特征在于，对所述第一图像中位于所述目标ROI区域内的图像进行纹理检测，得到纹理强度包括：

基于所述第一图像中位于所述目标ROI区域内的像素点计算目标数值，并基于所述目标数值确定所述纹理强度，其中，所述纹理强度包括以下任一种数值计算得到的标准差：像素灰度值、像素RGB值。

4.根据权利要求1或2所述的方法，其特征在于，计算所述第一图像和第二图像中所述目标ROI区域的ROI偏移量包括：

确定所述第一图像中位于所述目标ROI区域内的图像特征点，得到第一图像特征点；

在所述第二图像中确定所述第一图像特征点的匹配特征点，得到第二图像特征点；

基于所述第一图像特征点和所述第二图像特征点之间的像素距离，确定所述ROI偏移量。

5.根据权利要求1所述的方法，其特征在于，根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量包括：

获取目标放大倍率，其中，所述目标放大倍率包括：初始放大倍率和预设切换倍率；所述初始放大倍率为首次确定出ROI偏移量的时候，第一摄像装置对第一图像执行数字变焦操作时所对应的放大倍率；所述预设切换倍率表示将所述第一摄像装置切为所述第二摄像装置时的图像放大倍率；

根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量。

6.根据权利要求5所述的方法，其特征在于，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量包括：

7.根据权利要求5所述的方法，其特征在于，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量还包括：

8.根据权利要求5所述的方法，其特征在于，根据所述当前放大倍率与所述目标放大倍率之间的大小关系对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量还包括：

9.根据权利要求1所述的方法，其特征在于，基于所述当前叠加偏移量对所述第一图像进行图像立体校正，得到校正之后的所述第一图像包括：

基于所述当前叠加偏移量和图像放大参数构建目标变换矩阵；所述图像放大参数中包含所述第一图像的中心点和预设切换倍率；

计算所述目标变换矩阵和当前时刻所述第一图像的齐次坐标之间的乘积，并根据乘积计算结果确定进行图像立体校正之后的所述第一图像。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在计算出所述ROI偏移量之后，按照预设时间间隔检测所述ROI偏移量是否发生了变化；

若检测出所述ROI偏移量发生了变化，则基于变化之后的ROI偏移量和所述第一图像的当前叠加偏移量确定目标ROI偏移量；

获取第一放大倍率，其中，所述第一放大倍率为检测到所述ROI偏移量发生时所述第一图像的放大倍率；

根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量，并根据重新确定出的当前叠加偏移量对所述第一图像进行图像立体校正。

11.根据权利要求10所述的方法，其特征在于，根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量包括：

12.根据权利要求11所述的方法，其特征在于，根据所述第一放大倍率和所述目标ROI偏移量重新确定所述第一图像的当前叠加偏移量包括：

13.一种图像的处理装置，设置于移动终端，所述移动终端包括：第一摄像装置和第二摄像装置，其特征在于，所述装置包括：

第二获取单元，用于获取所述第一图像的当前放大倍率；

切片处理单元，用于根据所述当前放大倍率对所述ROI偏移量进行切片处理，得到当前时刻对所述第一图像进行图像立体校正的当前叠加偏移量，以在对所述第一图像放大过程中逐渐叠加不同比例的所述当前叠加偏移量；

14.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至12中任一项所述的方法的步骤。

15.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至12中任一项所述的方法的步骤。