CN104463817A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法及装置，涉及图像处理领域，使智能终端运动的情况下获得一张场景内不同拍摄主题都清晰的图像。该方法包括：在智能终端运动的状态下采集同一场景的至少两张不同焦点的图像；在至少两张图像中任意选择一张作为模板，对至少两张图像提取特征点，分别对至少两张图像中除模板外的图像的特征点与模板的特征点进行匹配，根据匹配成功的特征点对，获取至少两张图像中除模板外的图像与模板之间的变换参数；根据变换参数对除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果；将配准结果进行融合，获取融合后的图像。本发明的实施例应用于图像处理。

Description

一种图像处理方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

目前移动智能终端的图像摄取方法，主要是智能终端对图像摄取的场景进行对焦，获取焦点所在的焦平面，通过图像信号处理器获得数字图像，其中，不在焦平面附近深度的主题在照片中的图像会显得模糊。

多焦叠加技术采用数字图像处理的方法，把同一场景下拍摄的多张不同焦点的图像里的细节信息综合在一起，形成一个所有主题都清晰的照片，但是，移动终端在拍摄时的运动会导致多张图像的差异而导致多焦叠加技术无法正常实现，获取的图像会有重影。

因此，如何在智能终端运动的情况下获取一张场景内不同拍摄主题都清晰的图像是有待解决的问题。

发明内容

本发明的实施例提供一种图像处理方法及装置，能够在智能终端运动的情况下获得一张场景内不同拍摄主题都清晰的图像。

本发明的实施例采用如下技术方案：

第一方面，提供一种图像处理方法，应用于智能智能终端，包括：

在所述智能终端运动的状态下采集同一场景的至少两张图像，所述至少两张图像采用不同的焦点；

在所述至少两张图像中任意选择一张作为模板，对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，根据所述匹配成功的特征点对，获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数；

根据所述变换参数对所述至少两张图像中除所述模板外的图像进行变换，将所述模板和变换后的图像作为所述至少两张图像的配准结果；

将所述至少两张图像的配准结果进行焦点融合，获取融合后的图像。

在第一种可能的实现方式中，结合第一方面，所述对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，具体包括：

根据特征点提取算法分别在所述至少两张图像中提取特征点及所述特征点的特征描述符；

分别将属于不同图像中的所述特征点的特征描述符的值与所述模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与所述模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对。

在第二种可能的实现方式中，结合第一种可能的实现方式，所述特征描述符包括：特征点所在邻域的边缘、轮廓、梯度信息。

在第三种可能的实现方式中，结合第一方面，所述获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数，还包括：

获取采集所述至少两张图像时所述智能终端的镜头的位移，根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及所述图像尺寸差异，获取所述变换参数；

或者，

获取采集所述至少两张图像时所述智能终端的位移，根据采集所述至少两张图像时所述智能终端的位移，获取所述至少两张图像的图像平移参数，根据匹配成功的特征点对以及所述图像平移参数，获取所述变换参数；

或者，

获取采集所述至少两张图像时所述智能终端的镜头的位移和采集所述至少两张图像时所述智能终端的位移，根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据采集所述至少两张图像时所述智能终端的位移获取所述至少两张图像的图像平移参数；

根据匹配成功的特征点对、所述图像尺寸差异和所述图像平移参数，获取所述至少两张图像之间的变换参数。

在第四种可能的实现方式中，结合第一方面，所述根据所述配准结果将变换后的所述至少两张图像进行焦点融合，获取所述融合后的图像，具体包括：

将所述至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取所述至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间；

分别对比所述至少两张图像的配准结果中的所述至少一个频率成分中的每一相应频率成分，选取所述每一相应频率成分中梯度较大的频率成分作为所述融合后的图像的至少一个频率成分中的频率成分；

根据所述至少一个频率成分中的每一频率成分，将所述每一频率成分对应的选取的所述融合后的图像的至少一个频率成分中的频率成分进行融合，生成所述融合后的图像。

第二方面，提供一种图像处理装置，包括：

图像采集单元，用于在所述图像处理装置运动的状态下采集同一场景的至少两张图像，所述至少两张图像采用不同的焦点；

运动估计单元，用于获取所述图像采集单元采集的所述至少两张图像，在所述至少两张图像中任意选择一张作为模板，对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，根据所述匹配成功的特征点对，获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数；

图像配准单元，用于获取所述运动估计单元获取的所述至少两张图像和所述运动估计单元获取的变换参数，根据所述变换参数对所述至少两张图像中除所述模板外的图像进行变换，将所述模板和变换后的图像作为所述至少两张图像的配准结果；

图像融合单元，用于获取所述图像配准单元形成的所述至少两张图像的配准结果，将所述至少两张图像的配准结果进行焦点融合，获取所述融合后的图像。

在第一种可能的实现方式中，结合第二方面，所述运动估计单元，包括特征提取模块、特征匹配模块及参数获取模块；

所述特征提取模块，用于获取所述图像采集单元采集的所述至少两张图像，根据特征点提取算法分别在所述至少两张图像中提取特征点及所述特征点的特征描述符；

所述特征匹配模块，用于获取所述特征提取模块提取的特征点及所述特征点的特征描述符，分别将属于不同图像中的所述特征点的特征描述符的值与所述模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与所述模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对；

所述参数获取模块，用于根据所述匹配成功的特征点对，获取所述至少两张图像之间的变换参数。

在第二种可能的实现方式中，结合第一种可能的实现方式，所述特征描述符包括：特征点所在邻域的边缘、轮廓、梯度信息。

在第三种可能的实现方式中，结合第二方面，所述参数获取模块，还用于：

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的镜头的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及所述图像尺寸差异，获取所述变换参数；

或者，

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的位移，获取所述至少两张图像的图像平移参数，根据匹配成功的特征点对以及所述图像平移参数，获取所述至少两张图像之间的变换参数；

或者，

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的镜头的位移和采集所述至少两张图像时所述智能终端的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据采集所述至少两张图像时所述智能终端的位移获取所述至少两张图像的图像平移参数；

根据匹配成功的特征点对、所述图像尺寸差异和所述图像平移参数，获取所述至少两张图像之间的变换参数。

在第四种可能的实现方式中，结合第二方面，所述图像融合单元，包括频带分解模块、频带融合模块及图像融合模块：

所述频带分解模块，用于将所述至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取所述至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间；

所述频带融合模块，用于分别对比所述频带分解模块获取的至少两张图像的配准结果中的所述至少一个频率成分中的每一相应频率成分，选取所述每一相应频率成分中梯度较大的频率成分作为所述融合后的图像的至少一个频率成分中的频率成分；

所述图像融合模块，用于根据所述至少一个频率成分中的每一频率成分，将所述每一频率成分对应的所述频带融合模块选取的所述融合后的图像的至少一个频率成分中的频率成分进行融合，生成所述融合后的图像。

本发明的实施例提供的图像处理方法及装置，根据对采集得到的多张图像进行配准及焦点融合，在智能终端运动的情况下获得一张场景内不同拍摄主题都清晰的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明的实施例提供的一种图像处理装置结构示意图；

图2为本发明的另一实施例提供的一种图像处理装置结构示意图；

图3为本发明的实施例提供的一种应用图像处理装置的设备结构示意图；

图4为本发明的实施例提供的一种图像处理方法流程示意图；

图5为本发明的另一实施例提供的一种图像处理方法流程示意图;

图6为本发明的实施例提供的图像处理方法中的图像处理过程的示意图一；

图7为本发明的实施例提供的图像处理方法中的图像处理过程的示意图二;

图8为本发明的实施例提供的图像处理方法中的图像处理过程的示意图三；

图9为本发明的实施例提供的图像处理方法中的图像处理过程的示意图四。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明的实施例一种图像处理装置，该装置具体可以为照相机、摄像机、手机、掌上电脑或平板电脑上的照相模块，具体的，参照图1所示，该装置包括：

图像采集单元11，用于在图像处理装置1运动的状态下采集同一场景的至少两张图像，至少两张图像采用不同的焦点。

这里图像采集单元可以根据设置在图像处理装置上的传感器获知图像处理装置的运动，或者根据采集到的两张图像中同一物体相对位置的变化获知图像处理装置的运动。

运动估计单元12，用于获取图像采集单元11采集的至少两张图像，在至少两张图像中任意选择一张作为模板，分别对至少两张图像提取特征点，分别对至少两张图像中除模板外的图像的特征点与模板的特征点进行匹配，获取匹配成功的特征点对，根据匹配成功的特征点对，获取至少两张图像中除模板外的图像与模板之间的变换参数。

图像配准单元13，用于获取图像采集单元11获取的至少两张图像和运动估计单元12获取的变换参数，根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果。

图像融合单元14，用于获取图像配准单元13形成的至少两张图像的配准结果，将至少两张图像的配准结果进行焦点融合，获取融合后的图像。

这样图像处理装置可以获取同一场景不同焦点的图像，通过运动估计消除拍摄过程中智能终端运动造成的两张图像的差异，并提取出同一场景各个主题的在不同焦点的影像，将不同主题最清晰的影像融合，在智能终端运动的情况下获取一张场景内不同拍摄主题都清晰的图像。

由于是至少两个焦点附近的图像的融合，因此，相对融合前的单张图像，提高了景深或者景深的层次，例如在图像一中以主题一为焦点进行拍摄，在图像二中以主题二为焦点进行拍摄，并且主题一在图像一中和主题二在图像二中有不同的景深，则融合后的图像包括两个景深的内容，这样提高了图像的景深层次；当图像一中对于主题一的拍摄焦点和图像二中对于主题二的拍摄焦点不在同一个焦平面时（焦点所在的平面叫做焦平面，其中焦平面与镜头透镜的轴线垂直），则融合后的景深大于融合前任何一个主题在其图像中的景深，并且小于或等于融合前两个主题在其图像中景深的叠加，因此可以提高图片的整体景深。

本发明的实施例提供的图像处理装置，根据对采集得到的多张图像进行配准及焦点融合，在智能终端运动的情况下获得一张场景内不同拍摄主题都清晰的照片。

参照图2所示，以应用本发明的实施例提供的图像处理装置的手机为例，即以具备拍照功能的手机为例进行说明，该图像处理装置包括：

图像采集单元11，用于采集同一场景的至少两张图像，至少两张图像采用不同的焦点，可选的，图像采集单元11还可以包括如图2所示的位移传感器111和速度传感器112，其中，位移传感器111获取图像采集时镜头的位移，速度传感器112获取智能终端的位移，具体的，速度传感器112可以采用陀螺仪或加速度传感器。可以理解的是在图像的采集过程中镜头的位移和智能终端的位移可以当做表征采集图像对应的元数据，此时镜头的位移和智能终端的位移相当于图像的特征；其中，镜头的位移是以智能终端为参照物判断镜头的运动，通常可以理解的是，当镜头发生位移时会改变图片的大小；智能终端的位移是以拍摄主题为参照物判断智能终端的运动，可以理解的是当智能终端发生位移时，会改变图片所拍摄的场景内容。

运动估计单元12，用于获取图像采集单元11采集的图像，在至少两张图像中任意选择一张作为模板，对至少两张图像提取特征点，分别对至少两张图像中除模板外的图像的特征点与模板的特征点进行匹配，获取匹配成功的特征点对，并根据匹配成功的特征点对，获取至少两张图像中除模板外的图像与模板之间的变换参数。具体的，该运动估计单元12包括如图3所示的特征提取模块121、特征匹配模块122和参数获取模块123，其中特征提取模块121用于获取图像采集单元11采集的图像，根据特征点提取算法分别在至少两张图像中提取特征点及特征点的特征描述符，其中，特征点即图像中的任意点，特征描述符可以是特征点所在邻域的边缘、轮廓、梯度等信息，具体的，特征提取模块121选定特征点的坐标，对特征点坐标周围的区域，即特征点的邻域中的局部特征进行量化，即将特征点的邻域中的边缘、轮廓、梯度等信息分别用向量表示，将这些信息对应的向量的集合称为该特征点的特征描述符；其中，特征点提取算法可以采用尺度不变特征变换算法（Scale Invariant Feature Transform，简称SIFI）。

特征匹配模块122用于获取特征提取模块121提取的特征点及其特征描述符，分别将属于不同图像中的特征点的特征描述符的值与模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对，即将特征描述符中的向量与模板中该特征点的特征描述符中的对应向量分别进行对比，判断这些特征描述符中的向量与模板中该特征点的特征描述符中的对应向量的差是否小于预设的范围。

参数获取模块123用于获取特征匹配模块122匹配成功的特征点对，根据匹配成功的特征点对，获取至少两张图像之间的变换参数，具体的，可以是根据匹配成功的特征点对中两个特征点的坐标获取特征点在两个图像之间变换的变换参数，其中该变换参数至少可以表征两个特征点在各自图像中的位置关系，以及图像缩放比例。

可选的，图像采集单元11还用于通过位移传感器111获取采集至少两张图像时手机的镜头的位移，参数获取模块123根据手机的镜头的位移获取至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及图像尺寸差异，获取变换参数；具体的，根据物理中成像的原理，可知镜头的移动会改变成像原理中的像距，由公式（其中，m为成像后物体的像的放大倍数，f为像距，s为物距）获取像距f，就可以得到物体在图像中的放大倍数，则根据镜头的位移就获取像距的改变量，进而获取物体在图像中的放大倍数的差别，根据物体在图像中的放大倍数的差别可以计算出两张图像的图像尺寸差异。

然后，将两张图像的图像尺寸差异作为变换参数的初始值，根据匹配成功的特征点对对变换参数的初始值进行计算，获取变换参数，其中，两张图像的图像尺寸差异至少可以表征两个物体在各自图像中的图像缩放比例，该变换参数至少可以表征两个特征点在各自图像中的位置关系，以及图像缩放比例。其中，镜头的位移是以智能终端为参照物判断镜头的运动，通常可以理解的是，当镜头发生位移时会改变图片的大小；智能终端的位移是以拍摄主题为参照物判断智能终端的运动，可以理解的是当智能终端发生位移时，会改变图片所拍摄的场景内容。

或者，图像采集单元11还用于通过速度传感器112获取采集至少两张图像时手机的位移，参数获取模块123根据手机的位移获取至少两张图像的图像平移参数，根据匹配成功的特征点对以及图像平移参数，获取变换参数。

具体的，将两张图像的图像平移参数作为变换参数的初始值，根据匹配成功的特征点对计算变换参数的初始值，获取变换参数，其中，两张图像的图像平移参数至少可以表征匹配成功的两个特征点在各自图像中的位置关系，该变换参数至少可以表征两个特征点在各自图像中的位置关系，以及匹配成功的两个特征点所在的两张图像之间的缩放比例。

或者，图像采集单元11还用于通过位移传感器111获取采集至少两张图像时手机的镜头的位移，通过速度传感器112获取采集至少两张图像时手机的位移，参数获取模块123根据手机的镜头的位移获取至少两张图像的图像尺寸差异，根据手机的位移获取至少两张图像的图像平移参数，根据匹配成功的特征点对、图像尺寸差异和图像平移参数，获取变换参数。

具体的，将两张图像的图像平移参数和尺寸差异的平均值作为变换参数的初始值，根据匹配成功的特征点对对变换参数的初始值进行计算，获取变换参数，其中，两张图像的图像尺寸差异至少可以表征匹配成功的两个特征点在各自图像中的图像缩放比例，两张图像的图像平移参数至少可以表征匹配成功的两个特征点在各自图像中的位置关系，该变换参数至少可以表征匹配成功的两个特征点在各自图像中的位置关系，以及匹配成功的两个特征点所在的两张图像缩放比例。

图像配准单元13，用于在至少两张图像中任意选择一张作为模板，根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果。

其中，该变换参数至少可以表征两个特征点在各自图像中的位置关系，以及图像缩放比例。可以理解的是由于变换参数是表征至少可以表征匹配成功的两个特征点在各自图像中的位置关系，以及匹配成功的两个特征点所在的两张图像缩放比例，因此当以其中一张图像作为模板时，按照变换参数对另一张图像进行的变换，即采用对另一张图像进行缩放调整，同时对另一张图像按照匹配成功的特征点的位置进行平移的方法对两张图像进行配准。

具体的，图像配准单元13，用于获取图像采集单元11获取的至少两张图像和运动估计单元12获取的变换参数，根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果。

图像融合单元14，用于获取图像配准单元13形成的至少两张图像的配准结果，将至少两张图像的配准结果进行焦点融合，获取融合后的图像。具体的，图像融合单元14包括频带分解模块141、频带融合模块142和图像融合模块143。其中，频带分解模块141，用于将至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间，即在频域中，通过频率区间来表征图像中的空间间隔；频带融合模块142，用于对比频带分解模块141获取的至少两张图像的配准结果中的至少一个频率成分中的每一相应频率成分，选取每一相应频率成分中梯度较大的频率成分作为融合后的图像的该频率成分，即频率变化更快的频率成分作为融合后的图像的至少一个频率成分中的该频率成分；图像融合模块143，用于根据至少一个频率成分中的每一频率成分，将每一频率成分对应的频带融合模块142选取的融合后的图像的至少一个频率成分中的频率成分进行融合，生成融合后的图像。

当然以手机为例时，该手机还可以包括显示器15，其中，图像融合单元14，还可以对输入的图像进行增强，包含去噪，对比度增强，锐化，颜色处理，用户可以通过显示器15查看图像，或者用户可以传输到网络，个人计算机（personal computer，PC）机等。

本发明的实施例提供的图像处理装置，根据对采集得到的多张图像进行配准及焦点融合，有效的提高拍照景深，在智能终端运动的情况下获得一张场景内不同拍摄主题都清晰的照片。

基于现有的智能智能终端功能，上述装置实施例中各个模块的功能实现可以通过中央处理器（Central Processing Unit，CPU）进行整体的控制实现，即上述本发明的实施例所提供的图像处理装置各个单元所执行的功能可由一个处理器执行，其结构参照图3所示，该图像处理装置3包括：至少一个处理器31、总线32、存储器33、通信接口34及镜头35，至少一个处理器31、存储器33、通信接口34及镜头35通过总线32连接并完成相互间的通信，其中：

该总线32可以是工业标准体系结构（Industry StandardArchitecture，ISA）总线、外部设备互连（Peripheral Component，PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，EISA）总线等。该总线32可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器33用于存储可执行程序代码及相应的数据，该程序代码包括计算机操作指令。存储器33可能包含高速RAM存储器，也可能还包括非易失性存储器，在本发明中存储器至少用于存储特征点提取算法、多频带图像分解算法及多频带图像融合算法。

通信接口34，用于实现图像处理装置3与外界的数据交换。

镜头35，用于在智能终端运动的状态下采集同一场景的至少两张图像，至少两张图像采用不同的焦点。

处理器31，用于在至少两张图像中任意选择一张作为模板，对至少两张图像提取特征点，分别对至少两张图像中除模板外的图像的特征点与模板的特征点进行匹配，获取匹配成功的特征点对，根据匹配成功的特征点对，获取至少两张图像中除模板外的图像与模板之间的变换参数；

处理器31还用于根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果；

处理器31还用于将至少两张图像的配准结果进行焦点融合，获取融合后的图像。

可选的，处理器31具体用于根据特征点提取算法分别在至少两张图像中提取特征点及特征点的特征描述符；分别将不同图像中的特征点的特征描述符的值与模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对。

可选的，还包括与总线32连接的位移传感器36和/或速度传感器37，

位移传感器36具体用于获取采集至少两张图像时智能终端的镜头的位移，处理器31根据采集至少两张图像时智能终端的镜头的位移，获取至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及图像尺寸差异，获取变换参数；

或者，

速度传感器37用于获取采集至少两张图像时智能终端的位移，处理器31根据采集至少两张图像时智能终端的位移，获取至少两张图像的图像平移参数，根据匹配成功的特征点对以及图像平移参数，获取变换参数；

或者，

位移传感器36用于获取采集至少两张图像时智能终端的镜头的位移，速度传感器37用于采集至少两张图像时智能终端的位移，处理器31用于根据采集至少两张图像时智能终端的镜头的位移，获取至少两张图像的图像尺寸差异，根据采集至少两张图像时智能终端的位移获取至少两张图像的图像平移参数；

根据匹配成功的特征点对、图像尺寸差异和图像平移参数，获取至少两张图像之间的变换参数。

具体的，处理器31还用于将至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间；分别对比至少两张图像的配准结果中的至少一个频率成分中的每一相应频率成分，选取每一相应频率成分中梯度较大的频率成分作为融合后的图像的至少一个频率成分中的频率成分；根据至少一个频率成分中的每一频率成分，将每一频率成分对应的选取的融合后的图像的至少一个频率成分中的频率成分进行融合，生成融合后的图像。

用户可以通过触摸屏或按键的形式实现人机交互从而控制本发明的实施例所提供的图像处理装置。

本发明的实施例所提供的图像处理方法，应用于本发明装置实施例提供的装置，也可直接应用于照相机、手机、掌上电脑等智能智能终端，具体的，参照图4所示，该图像处理方法包括：

401、在智能终端运动的状态下采集同一场景的至少两张图像，至少两张图像采用不同的焦点。

402、分别对至少两张图像提取特征点，在至少两张图像中任意选择一张作为模板，分别对至少两张图像中除模板外的图像的特征点与模板的特征点进行匹配，获取匹配成功的特征点对，根据匹配成功的特征点对，获取至少两张图像中除模板外的图像与模板之间的变换参数。

403、根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果。

404、将至少两张图像的配准结果进行焦点融合，获取融合后的图像。

这样可根据本发明实施例提供的图像处理方法获取同一场景不同焦点的图像，通过运动估计消除拍摄过程中智能终端运动产生的影响，并提取出同一场景各个主题的在不同焦点的影像，将不同主题最清晰的影像融合，在智能终端运动的情况下获取一张场景内不同主题都清晰的图像。

本发明的实施例提供的图像处理方法，通过对采集得到的多张图像进行特征匹配、图像变换及焦点融合，有效的提升了图像的清晰度。

本发明的实施例所提供的图像处理方法，应用于本发明装置实施例提供的装置，也可直接应用于照相机、手机、掌上电脑等智能智能终端，具体的，参照图5所示，该图像处理方法包括：

501a、在智能终端运动的状态下采集同一场景的至少两张图像，至少两张图像采用不同的焦点。

501b、获取采集至少两张图像时智能终端的镜头的位移和/或采集至少两张图像时智能终端的位移。镜头的位移是以智能终端为参照物判断镜头的运动，通常可以理解的是，当镜头发生位移时会改变图片的大小；智能终端的位移是以拍摄主题为参照物判断智能终端的运动，可以理解的是当智能终端发生位移时，会改变图片所拍摄的场景内容。

502a、在至少两张图像中任意选择一张作为模板，根据特征点提取算法分别在至少两张图像中提取特征点及特征点的特征描述符。特征描述符包括特征点所在邻域的边缘、轮廓、梯度等信息。

502b、根据采集至少两张图像时智能终端的镜头的位移，获取至少两张图像的图像尺寸差异，和/或根据采集至少两张图像时智能终端的位移获取至少两张图像的图像平移参数。

503、分别将属于不同图像中的特征点的特征描述符与模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对。

504、根据匹配成功的特征点对以及图像尺寸差异获取至少两张图像之间的变换参数；

或者，

根据匹配成功的特征点对以及图像平移参数获取至少两张图像之间的变换参数；

或者，

根据匹配成功的特征点对、图像尺寸差异以及图像平移参数获取至少两张图像之间的变换参数。

505、根据变换参数对至少两张图像中除模板外的图像进行变换，将模板和变换后的图像作为至少两张图像的配准结果。

506、将至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取至少两张图像的配准结果的至少一个频率成分。每个频率成分对应图像中一段固定的频率区间，即在频域中，通过频率区间来表征图像中的空间间隔。

507、分别对比至少两张图像的配准结果中的至少一个频率成分中的每一相应频率成分，选取每一相应频率成分中梯度较大的频率成分作为融合后的图像的至少一个频率成分中的频率成分。

508、根据至少一个频率成分中的每一频率成分，将每一频率成分对应的选取的融合后的图像的至少一个频率成分中的频率成分进行融合，生成融合后的图像。

本发明的实施例提供的图像处理方法，通过对采集得到的多张图像进行特征匹配、图像变换及焦点融合，有效的提升了图像的清晰度。

具体的以手机拍照为例，参照图2进行说明，用户打开手机上的图像采集软件，如相机功能等，光线通过图像采集单元11中的镜头投影到图像传感器上，图像传感器将光信号转变为电信号形成至少两张图像数据（此实施例以两张图像为例进行说明），运动估计单元12在两张图像中任意选择一张作为模板，特征提取模块121对图像数据进行处理，提取两张图像的特征点，特征匹配模块122将特征点进行匹配，参数获取模块123，根据匹配成功的特征点对获取两张图像之间的变换参数。图像配准单元13，根据变换参数对两张图像中除模板外的图像进行变换，将模板和变换后的图像作为这两张图像的配准结果。频带分解模块141将两张图像的配准结果采用多频带图像分解的方法对应到频域后，通过小波按照频率分解，获得两张图像的配准结果的至少一个频率成分，其中，每个频率成分对应图像中一段固定的频率区间；频带融合模块142，分别对比至少两张图像的配准结果中的至少一个频率成分中的每一相应频率成分，选取每一相应频率成分中梯度较大的频率成分作为融合后的图像的至少一个频率成分中的频率成分，图像融合模块143，采用多频带图像融合的方法，按照至少一个频率成分中的每一频率成分，将选取的频率成分在各自的图像中对应的部分进行融合，生成融合后的图像。这里，多频带图像融合的方法采用小波分析（全文其他地方涉及到的“小波”同此处的“小波分析”）进行处理，当然小波分析只是一种可选方案，这里不限于此。可选的，在参数获取模块123根据匹配成功的特征点对获取两张图像之间的变换参数之前，还包括：位移传感器111获取采集两张图像时手机的镜头的位移，参数获取模块123根据采集两张图像时手机的镜头的位移获取两张图像的图像尺寸差异，根据图像尺寸差异获取变换参数的初始值，再根据匹配成功的特征点对，对变换参数的初始值进行计算，获取两张图像之间的变换参数。镜头的位移是以智能终端为参照物判断镜头的运动，通常可以理解的是，当镜头发生位移时会改变图片的大小；智能终端的位移是以拍摄主题为参照物判断智能终端的运动，可以理解的是当智能终端发生位移时，会改变图片所拍摄的场景内容。

或者，速度传感器112获取手机的位移，参数获取模块123根据手机的位移获取两张图像的图像平移参数，根据图像平移参数获取变换参数的初始值，再根据匹配成功的特征点对，对变换参数的初始值进行计算，获取两张图像之间的变换参数。

或者，位移传感器111获取采集两张图像时手机的镜头的位移，速度传感器112获取手机的位移，参数获取模块123根据采集两张图像时手机的镜头的位移获取两张图像的图像尺寸差异，根据手机的位移获取两张图像的图像平移参数；参数获取模块123，根据图像尺寸差异和图像平移参数获取变换参数的初始值，再根据匹配成功的特征点对，对变换参数的初始值进行计算，获取两张图像之间的变换参数。在该实施例中生成的两张图像之间的变换参数以同时获取的图像尺寸差异和图像平移参数为参考进行说明。

参照图2所示的装置，以手机对采集的同一场景的图像一61和图像二62进行融合为例，如图6所示，图像一61的焦点在镜头远距离，图像二62的焦点在镜头的近距离，即在图像一61中距离镜头较远的区域612、613为清晰区域，距离镜头较近的区域611为模糊区域，在图像二62中距离镜头较近的区域621为清晰区域，距离镜头较远的区域622、623为模糊区域。具体的，本发明的实施例所提供的处理过程如下所述，整个图像处理过程分为图像采集（如图5中步骤501a和501b所示）、图像配准（如图5中步骤502-505所示）和图像融合（如图5中506-508所示）三大部分。

图像采集部分，手机设置不同的焦点对同一场景进行图像采集，获取图像一61和图像二62，其中设置焦点的方法可以是手动，也可以是自动。此时，由于焦点不同，因此会造成图像一61和图像二62不同的区域清晰度不同，焦点附近的区域比较清晰，而其他区域因为不在焦点附近，出现模糊；此外，在采集图像一61和图像二62的过程中不可避免地手持不稳造成手机的相对抖动，以及焦点不同造成镜头的拉伸移动，会造成图像一61和图像二62的视野不同，同一物体反映在图像一61和图像二62中的大小也会稍微不同的现象，如图6所示，区域611与区域621中图像位置不同，区域612与区域622中物体大小不同。

在上述过程中，位移传感器111获取采集图像一61和图像二62时镜头的位移，速度传感器112获取采集图像一61和图像二62时手机的位移，具体的，速度传感器112可以采用陀螺仪或加速度传感器。

图像配准部分，如图7所示，对上述图像一61和图像二62进行配准，消除视野不同和同一物体大小不同对图像融合焦点融合的影响。具体的，运动估计单元12在两张图像中任意选择一张作为模板（此实施例中以图像一61为模板进行说明，以其他图片作为模板与此相同），特征提取模块121根据特征点提取算法，对图像一61和图像二62分别提取特征点（如图7中所示圆点）和特征点的特征描述符；如图8所示，特征匹配模块122，将属于图像一61的特征点的特征描述符和图像二62的相应特征点的特征描述符进行对比，在这些特征点中选择图像一61和图像二62中特征描述符的值的差在预设范围内的一对特征点作为匹配成功的特征点对，具体的，特征描述符可以为特征点所在邻域的边缘、角点、轮廓等信息，即将图像二62中特征点的特征描述符中的向量与图像一61中该特征点的特征描述符中的对应向量进行对比，判断这些图像二62特征描述符中的向量与图像一61中该特征点的特征描述符中的对应向量的差是否小于预设的范围；参数获取模块123，根据采集图像一61和图像二62时镜头的位移，获取图像一61和图像二62的图像尺寸差异，根据采集图像一61和图像二62时手机的位移获取图像一61和图像二62的图像平移参数，根据图像一61和图像二62的尺寸差异和图像平移参数计算变换参数的初始值，再根据匹配成功的特征点对，对该变换参数的初始值进行计算，获取图像一61和图像二62的变换参数。

图像配准单元13，根据变换参数，对图像二62进行变换，消除由于手机在拍摄过程中的运动造成的两张图像的差异，将变换后的图像二62和作为模板的图像一61作为图像一61和图像二62的配准结果。

图像融合部分，频带分解模块141将图像一61和图像二62的配准结果采用多频带图像分解的方法对应到频域后，通过小波进行分解，获得图像一61和图像二62的配准结果的多个频率成分，其中，每个频率成分对应图像中一段固定的频率区间，即在频域中，通过频率区间来表征图像中的空间间隔。频带融合模块142，对比图像一61和图像二62的配准结果中的至少一个频率成分中的每一相应频率成分，参考图像一61和图像二62中的相应的的频率区间，选取图像一61和图像二62的每一相应频率成分中梯度较大的频率成分作为融合后的图像9的至少一个频率成分中的该频率成分，其中，每一图像焦点附近的图像梯度较大，更加清晰，即在图像一61中距离镜头较远的区域612、613及图像二62中距离镜头较近的区域621；图像融合模块143，采用多频带图像融合的方法，根据至少一个频率成分中的每一频率成分，通过小波将每一频率成分对应的选取的融合后的图像的至少一个频率成分中的频率成分进行融合，生成融合后的图像9，即如图9所示，以图像二62中距离镜头较近的区域621做为融合后的图像9的距离镜头较近的区域91，以图像一61中距离镜头较远的区域612做为图像9的距离镜头较远的区域92，以图像一61中距离镜头较最的区域613做为图像9的距离镜头较最的区域93，获取图像一61和图像二62的焦点附近主题都清晰的图像9。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，应用于智能终端，其特征在于，包括：

在所述智能终端运动的状态下采集同一场景的至少两张图像，所述至少两张图像采用不同的焦点；

在所述至少两张图像中任意选择一张作为模板，对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，根据所述匹配成功的特征点对，获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数；

根据所述变换参数对所述至少两张图像中除所述模板外的图像进行变换，将所述模板和变换后的图像作为所述至少两张图像的配准结果；

将所述至少两张图像的配准结果进行焦点融合，获取融合后的图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，具体包括：

根据特征点提取算法分别在所述至少两张图像中提取特征点及所述特征点的特征描述符；

分别将不同图像中的所述特征点的特征描述符的值与所述模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与所述模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对。

3.根据权利要求2所述的图像处理方法，其特征在于，所述特征描述符包括：特征点所在邻域的边缘、轮廓、梯度信息。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数，还包括：

获取采集所述至少两张图像时所述智能终端的镜头的位移，根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及所述图像尺寸差异，获取所述变换参数；

或者，

获取采集所述至少两张图像时所述智能终端的位移，根据采集所述至少两张图像时所述智能终端的位移，获取所述至少两张图像的图像平移参数，根据匹配成功的特征点对以及所述图像平移参数，获取所述变换参数；

或者，

获取采集所述至少两张图像时所述智能终端的镜头的位移和采集所述至少两张图像时所述智能终端的位移，根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据采集所述至少两张图像时所述智能终端的位移获取所述至少两张图像的图像平移参数；

根据匹配成功的特征点对、所述图像尺寸差异和所述图像平移参数，获取所述至少两张图像之间的变换参数。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将所述至少两张图像的配准结果进行焦点融合，获取所述融合后的图像，具体包括：

将所述至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取所述至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间；

分别对比所述至少两张图像的配准结果中的所述至少一个频率成分中的每一相应频率成分，选取所述每一相应频率成分中梯度较大的频率成分作为所述融合后的图像的至少一个频率成分中的频率成分；

根据所述至少一个频率成分中的每一频率成分，将所述每一频率成分对应的选取的所述融合后的图像的至少一个频率成分中的频率成分进行融合，生成所述融合后的图像。

6.一种图像处理装置，其特征在于，包括：

图像采集单元，用于在所述图像处理装置运动的状态下采集同一场景的至少两张图像，所述至少两张图像采用不同的焦点；

运动估计单元，用于获取所述图像采集单元采集的所述至少两张图像，在所述至少两张图像中任意选择一张作为模板，对所述至少两张图像提取特征点，分别对所述至少两张图像中除所述模板外的图像的特征点与所述模板的特征点进行匹配，获取匹配成功的特征点对，根据所述匹配成功的特征点对，获取所述至少两张图像中除所述模板外的图像与所述模板之间的变换参数；

图像配准单元，用于获取所述运动估计单元获取的所述至少两张图像和所述运动估计单元获取的变换参数，根据所述变换参数对所述至少两张图像中除所述模板外的图像进行变换，将所述模板和变换后的图像作为所述至少两张图像的配准结果；

图像融合单元，用于获取所述图像配准单元形成的所述至少两张图像的配准结果，将所述至少两张图像的配准结果进行焦点融合，获取所述融合后的图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述运动估计单元，包括特征提取模块、特征匹配模块及参数获取模块；

所述特征提取模块，用于获取所述图像采集单元采集的所述至少两张图像，根据特征点提取算法分别在所述至少两张图像中提取特征点及所述特征点的特征描述符；

所述特征匹配模块，用于获取所述特征提取模块提取的特征点及所述特征点的特征描述符，分别将属于不同图像中的所述特征点的特征描述符的值与所述模板中的相应特征点的特征描述符的值进行对比，选择特征描述符的值与所述模板中的相应特征点的特征描述符的值的差在预设范围内的特征点作为匹配成功的特征点对；

所述参数获取模块，用于根据所述匹配成功的特征点对，获取所述至少两张图像之间的变换参数。

8.根据权利要求7所述的图像处理装置，其特征在于，所述特征描述符包括：特征点所在邻域的边缘、轮廓、梯度信息。

9.根据权利要求6所述的图像处理装置，其特征在于：

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的镜头的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据匹配成功的特征点对以及所述图像尺寸差异，获取所述变换参数；

或者，

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的位移，获取所述至少两张图像的图像平移参数，根据匹配成功的特征点对以及所述图像平移参数，获取所述至少两张图像之间的变换参数；

或者，

所述图像采集单元还用于获取采集所述至少两张图像时所述智能终端的镜头的位移和采集所述至少两张图像时所述智能终端的位移；

所述参数获取模块，还用于根据采集所述至少两张图像时所述智能终端的镜头的位移，获取所述至少两张图像的图像尺寸差异，根据采集所述至少两张图像时所述智能终端的位移获取所述至少两张图像的图像平移参数；

根据匹配成功的特征点对、所述图像尺寸差异和所述图像平移参数，获取所述至少两张图像之间的变换参数。

10.根据权利要求6所述的图像处理装置，其特征在于，所述图像融合单元，包括频带分解模块、频带融合模块及图像融合模块；

所述频带分解模块，用于将所述至少两张图像的配准结果对应到频域后，按照频率进行分解，分别获取所述至少两张图像的配准结果的至少一个频率成分，每个频率成分对应图像中一段固定的频率区间；

所述频带融合模块，用于分别对比所述频带分解模块获取的至少两张图像的配准结果中的所述至少一个频率成分中的每一相应频率成分，选取所述每一相应频率成分中梯度较大的频率成分作为所述融合后的图像的至少一个频率成分中的频率成分；

所述图像融合模块，用于根据所述至少一个频率成分中的每一频率成分，将所述每一频率成分对应的所述频带融合模块选取的所述融合后的图像的至少一个频率成分中的频率成分进行融合，生成所述融合后的图像。