CN110121882B - 一种图像处理方法及装置 - Google Patents

Abstract

一种图像处理方法及装置，用以消减运动模糊。该方法为：终端在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与所述终端存在相对运动时，对预览状态下所述摄像头初始的曝光参数进行第一调整，所述第一调整包括降低初始的曝光时间和增加初始的曝光增益；所述终端在接收拍摄指令后，对所述第一调整后的曝光参数进行第二调整，并根据所述第一调整后的曝光参数生成第一曝光帧，以及根据所述第二调整后的曝光参数生成至少两个第二曝光帧，其中，所述第二调整包括降低所述第一调整后的曝光时间和增加所述第一调整后的曝光增益；所述终端将所述第一曝光帧和所述至少两个第二曝光帧进行融合，输出融合后的图像。

Description

一种图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法及装置。

背景技术

一些具有拍照功能的终端在拍摄运动物体时，都会存在不同程度的运动模糊，如果被拍摄的目标运动速度较大，则会出现较为严重的拖影现象。然而人体运动、物体运动、花草抖动等运动场景是用户拍照关注的重要场景。专业摄影师为了提升拍摄运动物体的清晰度，常常配备昂贵的大光圈，设置合适的光圈值和快门速度来捕获运动目标。但对于无时无刻，随时随地都在拍照的手机用户来说：首先手机相机光圈是固定的且无法自行扩展，无法支持调整光圈配合高快门速度进行拍摄；其次，即使手机相机光圈可调节，一般用户也没有足够的先验知识及时设置合适的光圈快门等相机参数进行拍摄。

近年来，手机图像后处理运算能力提升显著，而改善手机相机硬件成本高，难度大。所以一些软件方法得以发展及应用。现有的拍照抗运动模糊的软件方法主要使用基于运动检测降低曝光时间的策略，这种方法首先进行运动检测，在检测到相机或物体运动时，自动提高快门速度，提高快门速度即降低曝光时间，在图像成像阶段运动模糊会随着曝光时间的降低同比例减弱，但是降低曝光时间会降低图像整体亮度，因此在降低曝光时间的同时还需要同比例增加曝光增益以保持图像整体亮度。

但是，上述这种降低曝光时间并同比例增加曝光增益的方法会导致暗场景下图像噪声过大，降低图像整体质量。若为保证图像噪声水平，限制降低曝光时间的力度，又会减弱抗运动模糊能力。综上，降低曝光时间和增加曝光增益互相制约，导致终端消减运动模糊能力不足。

发明内容

本申请提供一种图像处理方法及装置，用以解决通过降低曝光时间消减运动模糊时，因权衡噪声水平使得降低曝光时间的力度受到限制，导致终端消减运动模糊的能力不足的问题。

一方面，提供一种图像处理方法，该方法为：终端在预览阶段，预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与所述终端存在相对运动时，对预览状态下所述摄像头初始的曝光参数进行调整，这里称为第一调整，所述第一调整包括降低初始的曝光时间和增加初始的曝光增益；所述终端在接收拍摄指令后，对所述第一调整后的曝光参数进行再次调整，这里称为第二调整，所述第二调整包括降低所述第一调整后的曝光时间和增加所述第一调整后的曝光增益，终端根据所述第一调整后的曝光参数生成第一曝光帧，以及根据所述第二调整后的曝光参数生成至少两个第二曝光帧，所述终端将所述第一曝光帧和所述至少两个第二曝光帧进行融合，输出融合后的图像。这样通过成像阶段两次降低曝光时间，能够获得更高的快门速度。通过在预览过程中降低曝光时间，能够有效缩短拍摄成像的时延，在拍摄命令下发后再次降低曝光时间，能够更加有效的消减运动模糊，通过在图像后处理环节对多帧短帧进行时域多帧降噪处理，能够有助于降低因增加曝光增益带来的噪声，从而具有更强的抗运动模糊能力和更优的抗运动模糊效果。

其中，终端在预览状态下，摄像头会在自动曝光下产生初始的曝光参数。初始的曝光参数中包括初始的曝光时间和初始的曝光增益。

在一个可能的设计中，所述终端在符合一定条件时，会将所述第一调整后的曝光参数进行第二调整，在条件不符合时，只会进行第一调整，根据第一调整后的曝光参数直接出帧，不会进行第二调整，该条件可以是以下任意一种，也可以是其它条件。条件可以是：所述终端在所述目标物体与所述终端的相对运动的速率大于设定速率阈值时，将所述第一调整后的曝光参数进行第二调整；也可以是：所述终端在预览状态下所述摄像头的初始的曝光增益大于设定增益阈值时，将所述第一调整后的曝光参数进行第二调整；或者还可以是：所述终端在预览状态下所述摄像头的光亮值LV小于设定亮度阈值时，将所述第一调整后的曝光参数进行第二调整。这样，通过根据曝光增益和LV值选择是否进行第二调整，可以灵活选择不同的消减运动模糊的策略，实现对不同环境亮度场景的针对性处理。

在一个可能的设计中，若终端确定目标物体与终端的相对运动速率不大于设定速率阈值，则仅对预览状态下摄像头的初始的曝光参数进行第一调整即可，成像过程采用第一调整后的曝光参数生成曝光帧，根据生成的曝光帧输出图像，即没有第二调整的过程

在一个可能的设计中，所述终端按照预设的运动速率与降低曝光时间的比例值之间的关系，确定所述相对运动的速率对应的降低曝光时间的比例值，以及确定增加曝光增益的值；按照确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下所述摄像头的初始的曝光参数进行第一调整。这样通过运动速率的值，按照比例调整降低曝光时间的值，能够将降低曝光时间的比例值与运动速率联系起来，为当前运动速率选择一个合适的降低曝光时间的比例值，防止过低的降低曝光时间带来更大的噪声水平。

在一个可能的设计中，设置一个最大曝光增益阈值，在对预览状态的曝光参数进行第一调整时，增大后的曝光增益需要小于设定的最大曝光增益阈值。这种方法的设定能够通过限制曝光增益的上限来控制预览图像的噪声水平。

在一个可能的设计中，所述终端在将所述第一曝光帧和所述至少两个第二曝光帧进行融合之前，将所述至少两个第二曝光帧进行时域多帧降噪融合处理，获得一个短帧。由于第二曝光帧是采用更短的曝光时间生成的，会同比例增加更大的曝光增益，也就会带来更多的噪声，采用这样的处理方式，能够有助于降低第二曝光帧的噪声水平。

在一个可能的设计中，所述终端以所述短帧为参考帧，将所述第一曝光帧和所述短帧进行图像配准和鬼影检测，并根据鬼影检测的结果，将图像配准后的第一曝光帧进行去鬼影处理，得到去鬼影后的一个长帧；根据所述鬼影检测的结果，以所述长帧的鬼影区域为融合基准，将所述长帧和所述短帧进行频域融合。具体的，在鬼影区域短帧像素融合权重大于长帧像素融合权重，在其他区域长帧像素融合权重大于短帧像素融合权重，鬼影区域即运动区域，即目标物体与终端存在相对运动的部分区域，非运动区域可以认为与终端相对静止或近似相对静止，运动区域为抖动的花草，非运动区域为天空地面等背景。这样能够保留长曝光帧的亮度信息，使得拍摄图像的运动区域和非运动区域均更加清晰，能够有效避免因权衡噪声水平使得降低曝光时间的力度受到限制导致的终端消减运动模糊的能力不足的问题。

第二方面，提供一种图像处理装置，该装置具有实现上述第一方面和第一方面的任一种可能的设计中方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，该装置可以是芯片或者集成电路。

在一个可能的设计中，该装置包括摄像头和处理器，摄像头用于采集图像帧，处理器用于执行一组程序，当程序被执行时，所述装置可以执行上述第一方面和第一方面的任意一种可能的设计中所述的方法。

在一个可能的设计中，该装置还包括存储器，用于存储所述处理器执行的代码。

第三方面，提供一种计算机存储介质，存储有计算机程序，该计算机程序包括用于执行第一方面和第一方面的任一可能的设计中方法的指令。

第四方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面和第一方面的任一可能的设计中所述的方法。

附图说明

图1为本申请实施例中终端硬件结构示意图；

图2为本申请实施例中图像处理方法流程示意图；

图3a为本申请实施例中降低曝光时间的比例与曝光增益的关系示意图；

图3b为本申请实施例中运动速率等级与降低曝光时间的比例关系示意图；

图4为本申请实施例中多帧短帧降噪和长短帧融合的示意图；

图5为本申请实施例中长曝光帧去除鬼影的流程示意图；

图6为本申请实施例中长短帧频域融合的流程示意图；

图7为本申请实施例中一种应用场景下图像处理方法流程示意图；

图8为本申请实施例中图像处理装置结构示意图之一；

图9为本申请实施例中图像处理装置结构示意图之二。

具体实施方式

下面将结合附图，对本申请实施例进行详细描述。

本申请实施例涉及的终端可以是任意具有拍照功能的电子设备，该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动电话、平板电脑、个人数字助理、媒体播放器、消费型电子设备、小型计算机、大型计算机。

参考图1所示，为本申请实施例应用的终端的硬件结构示意图。如图1所示，终端100包括显示设备110、处理器120以及存储器130。存储器130可用于存储软件程序以及数据，处理器120通过运行存储在存储器130的软件程序以及数据，从而执行终端100的各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端100的使用所创建的数据，比如音频数据、电话本、可交换图像文件EXIF。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。处理器120是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器130内的软件程序和/或数据，执行终端100的各种功能和处理数据，从而对终端进行整体监控。处理器120可以包括一个或多个通用处理器，还可包括一个或多个数字信号处理器(digital signal processor，DSP)，用于执行相关操作，以实现本申请实施例所提供的技术方案。具体地，处理器120可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器120还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(appJication-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。存储器130可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器130也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(soJid-state drive，SSD)；存储器130还可以包括上述种类的存储器的组合。

终端100还可以包括输入设备140，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与终端100的用户设置以及功能控制有关的信号输入等。该输入设备140可以包括触控面板141。触控面板141，也称为触摸屏，可收集用户在其上或附近的触摸操作，并根据预先设定的程式驱动相应的连接装置。触控面板141可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了触控面板141，输入设备140还可以包括其他输入设备142，其他输入设备142可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示设备110，包括的显示面板111，用于显示由用户输入的信息或提供给用户的信息以及终端设备100的各种菜单界面。可选的，显示面板可以采用液晶显示器(liquid crystal display，LCD)或有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板111。

除以上之外，终端100还可以包括用于给其他模块供电的电源150以及用于拍摄照片或视频的摄像头160。终端100还可以包括一个或多个传感器170，例如加速度传感器、光线传感器、GPS传感器、红外传感器、激光传感器、位置传感器或镜头指向角度传感器等。终端100还可以包括无线射频(Radio Frequency，RF)电路180，用于与无线网络设备进行网络通信，还可以包括WiFi模块190，用于与其他设备进行WiFi通信。

基于图1所示的终端的硬件结构，本申请实施例提供的图像处理方法可以由终端100来执行。

终端在摄像头开启后，进入预览状态，在预览通过摄像头采集的图像帧的过程中，所拍摄的目标物体可能处于运动状态，例如，人体运动、物体运动、花草抖动等。另外，所拍摄的目标物体可能处于静止状态，但是终端处于运动状态，例如，用户手持终端在行驶列车上拍摄，或者用户手持终端在运动时拍摄，等。无论上述哪种状态，均可以认为所拍摄的目标物体与终端存在相对运动关系。在所拍摄的目标物体与终端存在相对运动的这种应用场景下，终端拍摄的图像就有可能存在运动模糊问题。本申请实施例提供的方法能够有助于解决这种应用场景下的运动模糊问题。

下面结合附图对本申请实施例提供的图像处理方法的流程做进一步详细介绍。

如图2所示，本申请实施例提供的图像处理方法的流程如下所述。

步骤201、终端在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与终端存在相对运动时，对预览状态下该摄像头的初始的曝光参数进行第一调整。

其中，该第一调整包括降低初始的曝光时间和增加初始的曝光增益。实际应用中，终端在预览状态下，摄像头会在自动曝光(automatic exposure，AE)下产生初始的曝光参数。初始的曝光参数中包括初始的曝光时间和初始的曝光增益。

步骤202、终端在接收拍摄指令后，对第一调整后的曝光参数进行第二调整，并根据第一调整后的曝光参数生成第一曝光帧，以及根据第二调整后的曝光参数生成至少两个第二曝光帧，其中，第二调整包括降低第一调整后的曝光时间和增加第一调整后的曝光增益。

由于第二调整后的曝光时间比第一调整后的曝光时间更短，因此在本申请实施例中，根据第一调整后的曝光参数生成的第一曝光帧也可以称为长曝光帧，根据第二调整后的曝光参数生成的第二曝光帧也可以称为短曝光帧。

步骤203、终端将上述第一曝光帧和至少两个第二曝光帧进行融合，输出融合后的图像。

需要说明的是，本申请实施例中，在一定条件满足时，需要对曝光参数进行两次调整，为作区分，将预览状态下对摄像头的初始的曝光参数所做的调整称为第一调整，将接收到用户输入的拍摄指令后对第一调整后的曝光参数所做的调整称为第二调整。本申请实施例涉及的曝光参数至少包括曝光时间和曝光增益。第一调整是指在预览状态下摄像头自动曝光的曝光参数的基础上降低曝光时间并增加曝光增益；第二调整是指在第一调整后的曝光参数的基础上再次降低曝光时间并增加曝光增益。可选的，第一调整和第二调整的过程中，降低曝光时间的比例和增加曝光增益的比例相同，或者说，按照降低曝光时间的比例来获取相应的增加曝光增益的比例。本申请实施例涉及的拍摄可以但不限于包括拍照、摄像等利用摄像头成像的过程。

可以看出，本申请实施例通过两次降低曝光时间能够获得更短的曝光时间，运动模糊会随着曝光时间的降低同比例减弱，因此，更短的曝光时间有助于更有效的消减运动模糊。为了弱化降低曝光时间带来的噪声问题，本申请实施例采用多帧融合的方式，在成像阶段根据第一次调整的曝光参数生成长曝光帧，根据第二次调整的曝光参数生成短曝光帧，由于长曝光帧采用的曝光时间较长，因此长曝光帧具有较高亮度的优势，短曝光帧具有在运动区域更加清晰的优势。将长曝光帧和短曝光帧进行融合，在融合过程中保留长曝光帧和短曝光帧各自的优势，能够有效的输出运动区域更加清晰的图像。

下面对图2所示的图像处理方法做一些具体的细节介绍，对有益效果的达成做一些具体的说明。

步骤202中，终端所执行的一系列动作是在终端接收到用户触发的拍摄指令到输出成像的过程中执行的。终端在成像过程中生成至少一个长曝光帧，和至少两个短曝光帧，本申请实施例以生成一个长曝光帧和三个短曝光帧为例进行的介绍。可选的，终端还可以在成像过程中生成四个、五个短曝光帧，但是综合计算量等因素，以三个短曝光帧为一种可能的实现方式。

具体的，终端启动相机后，会将预览的图像帧进行运动检测，以判断所拍摄的目标物体与终端是否存在相对运动。可选的，本申请实施例可以应用现有技术中任意一种运动检测方法对预览的图像帧进行运动检测。例如，一般来说，运动检测方法通常是将前后两个图像帧进行降采样，将降采样后的图像帧网格化，一个图像帧被网格化后可以包括多个图像网格块。通过对前后两个图像帧相应图像网格块内的图像进行模式匹配并计算相关性，判断两帧网格内的图像是否存在运动，若计算得到的相关性大则表示没有运动；相关性小表示两帧网格内的图像发生了相对变化，存在运动。前后两个图像帧用当前帧和相邻帧来表述，确定相邻帧与当前帧中最相似的图像网格块，通过匹配得到的两个图像网格块之间的距离度量运动速度，图像内目标整体运动速度需要计算全部图像网格块的平均速度获得。

若检测到所拍摄的目标物体与终端相对静止，或者近似相对静止，则表明终端当前拍摄的可能是静止图像，按照AE收敛的正常曝光参数进行拍照即可。若检测到所拍摄的目标物体与终端存在相对运动，则需要对曝光参数进行调整。一种可能的实现方式中，若终端确定目标物体与终端的相对运动的速率大于设定速率阈值时，将第一调整后的曝光参数进行第二调整；若终端确定目标物体与终端的相对运动速率不大于设定速率阈值，则仅对预览状态下摄像头的初始的曝光参数进行第一调整即可，成像过程采用第一调整后的曝光参数生成曝光帧，根据生成的曝光帧输出图像，即没有第二调整的过程。其中，设定速率阈值为经验值。

可选的，将是否进行第二调整的条件可以等效的更换为以下两种或者其他条件。

条件一、在预览状态下摄像头的初始的曝光增益大于设定增益阈值时，将第一调整后的曝光参数进行第二调整，在确定预览图像的过程中的曝光增益不大于设定增益阈值时，成像过程采用第一调整后的曝光参数进行生成曝光帧，根据生成的曝光帧输出图像，即没有第二调整的过程。其中，设定增益阈值为经验值，例如，设定增益阈值为800。

条件二、在预览状态下摄像头光亮值(light value，LV)小于设定亮度阈值时，将第一调整后的曝光参数进行第二调整，在确定预览图像的过程中的光亮值LV不小于设定亮度阈值时，成像过程采用第一调整后的曝光参数进行生成曝光帧，根据生成的曝光帧输出图像，即没有第二调整的过程。其中，LV可以认为是终端预览通过摄像头采集的图像帧的过程中的环境亮度。设定亮度阈值为经验值，例如，设定亮度阈值为40、20。

这样，通过根据曝光增益和LV值选择是否进行第二调整，可以灵活选择不同的消减运动模糊的策略，实现对不同环境亮度场景的针对性处理。例如，一般中高亮场景选择仅在预览状态下对摄像头的初始曝光参数进行第一调整，按照第一调整后的曝光参数出帧；暗场景下选择进行第一调整后再进行第二调整，结合图像后处理将长短帧进行融合。当然，也可以选择在大部分亮度环境下均采用进行第一调整后再进行第二调整，结合图像后处理将长短帧进行融合。

可选的，终端对预览状态下摄像头初始的曝光参数进行调整时，降低曝光时间的比例可以与运动检测所得的目标物体与终端的相对运动的速率有关。具体地，终端按照预设的运动速率与降低曝光时间的比例值之间的关系，确定与相对运动的速率对应的降低曝光时间的比例值，并按照确定的降低曝光时间的比例值来确定增加曝光增益的值，一般来说，增加曝光增益的比例与降低曝光时间的比例相同。按照所确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下摄像头初始的的曝光参数进行调整。运动速率与降低曝光时间的比例值之间的关系可以为线性关系，也就是随着运动速率的增大，降低曝光时间的比例值增大，增大曝光增益的值也跟着增大。但是由于增大曝光增益能够带来噪声，因此，可选的，如图3a所示，本申请实施例设置一个最大曝光增益阈值，在对预览状态下摄像头的曝光参数进行调整时，增大后的曝光增益的值需要小于设定的最大曝光增益阈值。如果按照降低曝光时间同比例增大曝光增益后的值大于最大曝光增益阈值，则降低曝光时间的比例值需要减小，至少要减小到使得增大后的曝光增益小于设定的最大曝光增益阈值。例如，最大曝光增益阈值可以为700、1000。这种方法的设定能够通过限制曝光增益的上限来控制预览图像的噪声水平。

若以相对运动的速率是否大于设定速率阈值来判断是否进行第二调整的条件，则相对运动的速率和降低曝光时间的比例值满足一定的变化关系，大致为降低曝光时间的比例值随相对运动的速率呈先线性后不变的关系。例如，如图3b所示，表征了在预览状态下对曝光参数按照速率等级进行第一调整的示意图。假设将相对运动的速率分为几个等级，不同等级对应不同的降低曝光时间的比例值。当相对运动的速率等级为0时，表示拍摄静止图像，按照AE收敛的正常曝光参数进行成像；当相对运动的速率等级为1时，按照关系图线，按照比例1降低曝光时间的比例，并同比例增大曝光增益，按照调整后的曝光参数进行成像；当相对运动的速率等级为2时，按照关系图线，按照比例2降低曝光时间的比例，并同比例增大曝光增益，按照调整后的曝光参数进行成像；当相对运动的速率等级为3时，此时的运动速率大于设定的速率阈值，在预览阶段按照比例2降低曝光时间的比例，并同比例增大曝光增益，按照调整后的曝光参数进行成像；在相对运动的速率等级大于3时，此时的运动速率大于设定的速率阈值，在预览阶段按照比例2降低曝光时间的比例，并同比例增大曝光增益，按照调整后的曝光参数进行成像。

下面重点介绍一下在图像后处理阶段，如何对至少两个短曝光帧和至少一个长曝光帧如何进行融合。为方便说明，以在成像阶段生成三个短曝光帧和一个长曝光帧为例，将三个短曝光帧和一个长曝光帧进行融合，输出融合后的图像。

如图4所示，融合的过程大致分为：终端的图像信号处理单元(image signalprocessing unit，ISP)输出三个短曝光帧和一个长曝光帧之后，经过步骤401和步骤402，最终输出融合结果，即输出融合后的图像。

步骤401：将三个短曝光帧进行时域多帧降噪融合处理，将时域多帧降噪融合处理后获得的一个帧称为短帧。

此处的短帧是指三个短曝光帧进行降噪融合处理后的结果，特别的，可能是三个短曝光帧中的一个。

步骤402：将步骤401中获得的一个短帧与长曝光帧进行融合。

具体地，在固定国际标准化组织(international standards organization，ISO)规定的感光度和曝光时间的情况下，对同一个场景进行至少两次拍摄，由于噪声在帧与帧之间是随机波动的，信号是固定的，如果每一帧的噪声方差为σ²，进行N帧平均后，结果帧的噪声方差降低为σ²/N。噪声标准差每降低一半，信噪比提升6dB。所以，理论上4帧时域降噪可提升6dB。本申请实施例中使用三帧短曝光帧融合降噪。三帧短曝光帧用Frame0、Frame1、Frame2来表示。

如果拍摄多帧的过程中，发生了手持抖动或者场景内的物体发生了运动，时域平均可能会发生错位，引入鬼影或模糊，因此多帧时域平均前需要加入图像配准和鬼影检测。

因此，步骤401可以包括几个具体的实现步骤。图像配准、鬼影检测、时域多帧降噪融合。其中：

图像配准：对输入的参考帧Frame0和待配准帧Frame1进行特征提取，分别得到一系列的特征点，并对每个特征点进行特征描述。根据特征描述匹配两帧图像的特征点，得到一系列特征点对。在匹配得到的特征点对中求解得到两帧图像的变换矩阵，即投影变换，为3x3的矩阵H。Frame1通过H矩阵变换得到与Frame0对齐的图像，可称为Frame1的配准结果。同理，以同样方法得到Frame2与Frame0对齐的图像，可称为Frame2的配准结果。

鬼影检测：参考帧Frame0分别与Frame1和Frame2的配准结果求差，得到每个像素点的差异值，即diff图。对diff图像进行高斯平滑，去除噪声影响。通过diff与相应的鬼影阈值比较，判断是否为鬼影点。利用腐蚀膨胀消除孤立点(噪声)，得到最终的鬼影掩盖，即鬼影Mask。

时域多帧降噪融合：判断鬼影检测的鬼影区域面积大小是否小于全图像的1/3。如果否，则直接输出Frame0的数据，也就是省去融合的过程，直接将Frame0作为上述短帧，参与后续的长短帧融合。如果是，则根据鬼影Mask对每个像素点加权去除鬼影，并输出融合结果，其中鬼影Mask区域参考帧像素融合权重大于其他配准帧对应像素，也就是，在鬼影区域以参考帧的像素点为融合结果。

步骤402可以包括几个具体的实现步骤。将步骤401获得的短帧与长曝光帧进行图像配准、鬼影检测和去除，将去除鬼影的长帧与短帧进行频域融合。

同样，为避免长曝光帧和短帧之间运动区域鬼影带来的融合错误，长短帧融合前也使用与多帧短帧降噪过程中相同的图像配准和鬼影检测方法，去除鬼影的影响。图像配准的方法与上述图像配准方法类似，将鬼影Mask作为权重，将多帧降噪融合后的短帧与长曝光帧的配准结果进行融合，得到去鬼影后的长曝光帧。为方便叙述，这里将得到的去鬼影后的长曝光帧称为长帧。根据鬼影检测的结果，以长帧的鬼影区域为融合基准，将长帧和短帧进行频域融合，其中，鬼影区域短帧像素融合权重大于长帧对应像素，非鬼影区域长帧像素融合权重大于短帧对应像素。

如图5所示，为长曝光帧去除鬼影的流程示意图。输入为步骤401中获得的一个短帧和配准后的长曝光帧。以鬼影检测到的鬼影Mask为权重，对两个输入图像进行加权融合，形态学膨胀和平滑操作是为了去除鬼影Mask的空洞和边缘平滑，提高图像融合效果。输出去鬼影后的长曝光帧，在本实施例中可以称为长帧。

需要说明的是，当拍摄目标物体与终端的相对运动程度较大或拍摄微距场景时，若长短帧图像的鬼影区域面积在整幅图像中占比超过设定阈值(如10％)，则表明超过算法设定的能处理的最大鬼影阈值，此时为避免融合错位会跳过长短帧频域融合，直接输出长曝光帧。

在图像处理中，频域反应了图像在空域灰度变化剧烈程度，也就是图像灰度的变化速度，或图像的梯度大小。对图像而言，图像的边缘部分是突变部分，变化较快，因此反应在频域上是高频分量；图像的噪声大部分情况下是高频部分；图像平缓变化部分则为低频分量。也就是说，傅立叶变换提供一条从空域到频率自由转换的途径来观察图像，可以将图像从灰度分布转化到频率分布上来观察图像的特征。图像与频率直接的关系：低频多为图像平缓轮廓，中频多为图像边缘、纹理等细节，高频多为图像噪声，而傅里叶谱图中心亮点则代表图像的灰度均值。利用图像和频域的直接关系，本实施例根据鬼影检测的结果，以长帧的鬼影区域为融合基准，将长帧和短帧进行频域融合，达到同时保留长帧亮度、非运动区细节信息和短帧运动区域清晰度信息的目的。

如图6所示，为长帧和短帧进行频域融合的流程示意图。输入为：多帧降噪融合后的短帧以及去除鬼影的长帧。

步骤601、对多帧降噪融合后的短帧以及去除鬼影的长帧分别进行降采样，降低计算量。

步骤602、长帧降采样后，再上采样计算与原图的损失误差图，用于图像融合后恢复降采样带来的图像细节损失。

步骤603、对降采样后的两张输入帧分别进行快速傅里叶变换，得到各自的傅里叶频谱，并计算相应幅值。

步骤604、以幅值为权重，将两个输入的傅里叶频谱进行融合。

其中，在融合时，需对长帧傅里叶谱图中心亮点进行保护，将以亮点为中心的10x10区域内的值赋给融合后的傅里叶频谱，以此保留长帧的平均亮度信息。

步骤605、将融合的频谱做逆傅里叶变换，得到融合后图像。

步骤606、将融合后图像与长帧下采样计算得到的误差图相加，恢复降采样带来的损失。

输出最终融合结果。

综上，本申请实施例通过预览状态第一次降低曝光时间，在成像过程第二次降低曝光时间，以及在图像后处理阶段进行多帧短帧降噪融合和长短帧频域融合处理，提高了终端拍摄时消减运动模糊的能力。

如图7所示，下面结合具体的应用场景对上述图像处理方法做进一步详细介绍，假设应用场景为通过相机进行拍照。

步骤701、终端接收到打开相机的指令，启动摄像头，进入预览状态。

步骤702、对预览图像数据进行降采样。

步骤703、对降采样后的图像数据进行运动检测。

通过分析前后两帧预览图像来进行运动检测，并即时输出检测结果，例如可以输出运动状态和速率等级，运动速率越大，速率等级越大。速率等级为0，表示静止无运动，速率等级1、2、3表示的运动速率递增。

若没有检测到运动，则执行步骤704～步骤705；若检测到运动，则执行步骤706。

步骤704、通过相机应用端下发拍照命令时，按AE收敛的正常曝光参数进行拍照，即传感器Sensor按正常的曝光参数出帧。

步骤705、输出并存储图像。

步骤706、判断运动速率等级是否大于设定的速率阈值，或者判断曝光增益是否大于设定的增益阈值，或者判断LV值是否小于设定的亮度阈值；若是，则执行步骤710～步骤714，否则，执行步骤707～步骤709。

步骤707、在预览上调整曝光参数。

基于运动速度等级按预设比例降低曝光时间，并同比例增加曝光增益，以保持图像整体亮度不变。

步骤708、通过相机应用端下发拍照命令时，Sensor按调整后的曝光参数出帧。

步骤709、输出并存储图像。

步骤710、在预览上调整曝光参数。

基于运动速度等级按预设比例降低曝光时间，并同比例增加曝光增益，以保持图像整体亮度不变。

步骤711、通过相机应用端下发拍照命令时，首先在调整后的预览曝光参数基础上按设定的比例再次降低曝光时间和增加曝光增益。

步骤712、Sensor按照再次降低的曝光时间和增加的曝光增益生成三张短曝光帧，按照首次调整后的预览曝光参数生成长曝光帧。经ISP处理后进行图像后处理。

步骤713、图像后处理中进行短帧多帧降噪和长短帧融合，保留短帧运动区域的细节和长帧非运动区域的细节。

步骤714、输出并保存最终融合图像。

综上所述，本申请实施例提供的图像处理方法中，通过成像阶段两次降低曝光时间，获得更高的快门速度，采用第一次降低曝光时间的参数生成长曝光帧，采用第二次降低曝光时间的参数生成至少两个短曝光帧，在图像后处理阶段对长短曝光多帧进行融合，在鬼影区域短帧像素融合权重大于长帧像素融合权重，在其他区域长帧像素融合权重大于短帧像素融合权重，鬼影区域即运动区域，即目标物体与终端存在相对运动的部分区域，非运动区域可以认为与终端相对静止或近似相对静止，运动区域为抖动的花草，非运动区域为天空地面等背景。这样能够保留长曝光帧的亮度信息，使得拍摄图像的运动区域和非运动区域均更加清晰，能够有效避免因权衡噪声水平使得降低曝光时间的力度受到限制导致的终端消减运动模糊的能力不足的问题，通过在预览过程中降低曝光时间，能够有效缩短拍摄成像的时延，在拍摄命令下发后再次降低曝光时间，能够更加有效的消减运动模糊，通过在图像后处理环节对多帧短帧进行时域多帧降噪处理，能够有助于降低因增加曝光增益带来的噪声，从而具有更强的抗运动模糊能力和更优的抗运动模糊效果。

基于与图2所示的图像处理方法的同一发明构思，如图8所示，本申请实施例还提供了一种图像处理装置800，该图像处理装置800用于执行图2所示的图像处理方法，该图像处理装置800包括：

调整单元801，用于在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与装置存在相对运动时，对预览状态下摄像头初始的曝光参数进行第一调整，第一调整包括降低初始的曝光时间和增加初始的曝光增益。

调整单元801，还用于在接收拍摄指令后，对第一调整后的曝光参数进行第二调整，其中，第二调整包括降低第一调整后的曝光时间和增加第一调整后的曝光增益。

生成单元802，用于根据第一调整后的曝光参数生成第一曝光帧，以及根据第二调整后的曝光参数生成至少两个第二曝光帧。

融合单元803，用于将生成单元802生成的第一曝光帧和至少两个第二曝光帧进行融合，输出融合后的图像。

可选的，在将第一调整后的曝光参数进行第二调整时，调整单元801用于：在目标物体与装置的相对运动的速率大于设定速率阈值时，将第一调整后的曝光参数进行第二调整；或者，在预览状态下摄像头的初始的曝光增益大于设定增益阈值时，将第一调整后的曝光参数进行第二调整；或者，在预览状态下摄像头的光亮值LV小于设定亮度阈值时，将第一调整后的曝光参数进行第二调整。

可选的，在对预览状态下摄像头的初始的曝光参数进行第一调整时，调整单元801用于：按照预设的运动速率与降低曝光时间的比例值之间的关系，确定相对运动的速率对应的降低曝光时间的比例值，以及确定增加曝光增益的值；按照确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下摄像头的初始的曝光参数进行第一调整。

可选的，在将第一曝光帧和至少两个第二曝光帧进行融合之前，融合单元803还用于将至少两个第二曝光帧进行时域多帧降噪融合处理，获得一个短帧。

可选的，在将第一曝光帧和至少两个第二曝光帧进行融合时，融合单元803用于以短帧为参考帧，将第一曝光帧和短帧进行图像配准和鬼影检测，并根据鬼影检测的结果，将图像配准后的第一曝光帧进行去鬼影处理，得到去鬼影后的一个长帧；根据鬼影检测的结果，以长帧的鬼影区域为融合基准，将长帧和短帧进行频域融合。

基于图2所示的图像处理方法，如图9所示，本申请实施例还提供另一种图像处理装置900，包括摄像头901和处理器902。其中，摄像头901用于采集图像帧，处理器902用于执行一组代码，当代码被执行时，使得该图像处理装置能够执行图2所示的图像处理方法。方法相同之处在此不再赘述。该图像处理装置900可以是图1所示的终端100。图1所示的终端100可用于执行图2所示的图像处理方法，摄像头160执行摄像头901所执行的功能，处理器120执行处理器902所执行的功能。其中，摄像头160用于采集图像帧；处理器120用于执行图2所示的图像处理方法的细节。图8中的功能模块调整单元801、生成单元802、融合单元803均可以通过图像处理装置900中的处理器902来实现，即也可以通过图1所示的终端100中的处理器120来实现。

本申请实施例提供了一种计算机存储介质，存储有计算机程序，该计算机程序包括用于执行图2所示的图像处理方法。

本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图2所示的图像处理方法。

本申请实施例提供的任一种图像处理装置还可以是一种***芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

终端在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与所述终端存在相对运动时，对预览状态下所述摄像头初始的曝光参数进行第一调整，所述第一调整包括降低初始的曝光时间和增加初始的曝光增益；

所述终端在接收拍摄指令后，对所述第一调整后的曝光参数进行第二调整，并根据所述第一调整后的曝光参数生成第一曝光帧，以及根据所述第二调整后的曝光参数生成至少两个第二曝光帧，其中，所述第二调整包括降低所述第一调整后的曝光时间和增加所述第一调整后的曝光增益；

所述终端将所述第一曝光帧和所述至少两个第二曝光帧进行融合，输出融合后的图像。

2.如权利要求1所述的方法，其特征在于，所述终端将所述第一调整后的曝光参数进行第二调整，包括：

所述终端在所述目标物体与所述终端的相对运动的速率大于设定速率阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

所述终端在预览状态下所述摄像头的初始的曝光增益大于设定增益阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

所述终端在预览状态下所述摄像头的光亮值LV小于设定亮度阈值时，将所述第一调整后的曝光参数进行第二调整。

3.如权利要求1或2所述的方法，其特征在于，所述对预览状态下所述摄像头的初始的曝光参数进行第一调整，包括：

所述终端按照预设的运动速率与降低曝光时间的比例值之间的关系，确定所述相对运动的速率对应的降低曝光时间的比例值，以及确定增加曝光增益的值；

按照确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下所述摄像头的初始的曝光参数进行第一调整。

4.如权利要求1或2所述的方法，其特征在于，所述终端在将所述第一曝光帧和所述至少两个第二曝光帧进行融合之前，还包括：

所述终端将所述至少两个第二曝光帧进行时域多帧降噪融合处理，获得一个短帧。

5.如权利要求4所述的方法，其特征在于，所述终端将所述第一曝光帧和所述至少两个第二曝光帧进行融合，包括：

所述终端以所述短帧为参考帧，将所述第一曝光帧和所述短帧进行图像配准和鬼影检测，并根据鬼影检测的结果，将图像配准后的第一曝光帧进行去鬼影处理，得到去鬼影后的一个长帧；

根据所述鬼影检测的结果，以所述长帧的鬼影区域为融合基准，将所述长帧和所述短帧进行频域融合。

6.一种图像处理装置，其特征在于，包括：

调整单元，用于在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与所述装置存在相对运动时，对预览状态下所述摄像头初始的曝光参数进行第一调整，所述第一调整包括降低初始的曝光时间和增加初始的曝光增益；

所述调整单元，还用于在接收拍摄指令后，对所述第一调整后的曝光参数进行第二调整，其中，所述第二调整包括降低所述第一调整后的曝光时间和增加所述第一调整后的曝光增益；

生成单元，用于根据所述第一调整后的曝光参数生成第一曝光帧，以及根据所述第二调整后的曝光参数生成至少两个第二曝光帧；

融合单元，用于将所述生成单元生成的第一曝光帧和所述至少两个第二曝光帧进行融合，输出融合后的图像。

7.如权利要求6所述的装置，其特征在于，在将所述第一调整后的曝光参数进行第二调整时，所述调整单元用于：

在所述目标物体与所述装置的相对运动的速率大于设定速率阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

在预览状态下所述摄像头的初始的曝光增益大于设定增益阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

在预览状态下所述摄像头的光亮值LV小于设定亮度阈值时，将所述第一调整后的曝光参数进行第二调整。

8.如权利要求6或7所述的装置，其特征在于，在对预览状态下所述摄像头的初始的曝光参数进行第一调整时，所述调整单元用于：

按照预设的运动速率与降低曝光时间的比例值之间的关系，确定所述相对运动的速率对应的降低曝光时间的比例值，以及确定增加曝光增益的值；

按照确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下所述摄像头的初始的曝光参数进行第一调整。

9.如权利要求6或7所述的装置，其特征在于，在将所述第一曝光帧和所述至少两个第二曝光帧进行融合之前，所述融合单元还用于：

将所述至少两个第二曝光帧进行时域多帧降噪融合处理，获得一个短帧。

10.如权利要求9所述的装置，其特征在于，在将所述第一曝光帧和所述至少两个第二曝光帧进行融合时，所述融合单元用于：

以所述短帧为参考帧，将所述第一曝光帧和所述短帧进行图像配准和鬼影检测，并根据鬼影检测的结果，将图像配准后的第一曝光帧进行去鬼影处理，得到去鬼影后的一个长帧；

根据所述鬼影检测的结果，以所述长帧的鬼影区域为融合基准，将所述长帧和所述短帧进行频域融合。

11.一种图像处理装置，其特征在于，包括摄像头和处理器，其中：

所述摄像头，用于采集图像帧；

所述处理器用于，在预览通过摄像头采集的图像帧的过程中，当所拍摄的目标物体与所述装置存在相对运动时，对预览状态下所述摄像头初始的曝光参数进行第一调整，在接收拍摄指令后，对所述第一调整后的曝光参数进行第二调整，所述第一调整包括降低初始的曝光时间和增加初始的曝光增益，所述第二调整包括降低所述第一调整后的曝光时间和增加所述第一调整后的曝光增益；根据所述第一调整后的曝光参数生成第一曝光帧，以及根据所述第二调整后的曝光参数生成至少两个第二曝光帧；将生成的第一曝光帧和所述至少两个第二曝光帧进行融合，输出融合后的图像。

12.如权利要求11所述的装置，其特征在于，在将所述第一调整后的曝光参数进行第二调整时，所述处理器用于：

在所述目标物体与所述装置的相对运动的速率大于设定速率阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

在预览状态下所述摄像头的初始的曝光增益大于设定增益阈值时，将所述第一调整后的曝光参数进行第二调整；或者，

在预览状态下所述摄像头的光亮值LV小于设定亮度阈值时，将所述第一调整后的曝光参数进行第二调整。

13.如权利要求11或12所述的装置，其特征在于，在对预览状态下所述摄像头的初始的曝光参数进行第一调整时，所述处理器用于：

按照预设的运动速率与降低曝光时间的比例值之间的关系，确定所述相对运动的速率对应的降低曝光时间的比例值，以及确定增加曝光增益的值；

按照确定的降低曝光时间的比例值以及增加曝光增益的值，对预览状态下所述摄像头的初始的曝光参数进行第一调整。

14.如权利要求11或12所述的装置，其特征在于，在将所述第一曝光帧和所述至少两个第二曝光帧进行融合之前，所述处理器还用于：

将所述至少两个第二曝光帧进行时域多帧降噪融合处理，获得一个短帧。

15.如权利要求14所述的装置，其特征在于，在将所述第一曝光帧和所述至少两个第二曝光帧进行融合时，所述处理器用于：

以所述短帧为参考帧，将所述第一曝光帧和所述短帧进行图像配准和鬼影检测，并根据鬼影检测的结果，将图像配准后的第一曝光帧进行去鬼影处理，得到去鬼影后的一个长帧；

根据所述鬼影检测的结果，以所述长帧的鬼影区域为融合基准，将所述长帧和所述短帧进行频域融合。

16.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括用于执行如权利要求1～权利要求5任一项所述方法的指令。

Images