CN116993620B - 一种去模糊方法和电子设备 - Google Patents

Abstract

本申请提供了一种去模糊方法和电子设备。该方法可应用于手机、平板电脑等配置有摄像头的电子设备。实施上述方法，电子设备可以识别摄像头采集的图像是否模糊，并进一步判断该图像是局部模糊图像或全局模糊图像。对于局部模糊图像，电子设备可从该局部模糊图像中获取发生模糊的模糊图像块，然后将获得的模糊图像块输入去模糊网络中得到清晰图像块，再将清晰图像块回填到原本局部模糊图像中对应的位置，实现对图像的去模糊处理，同时又避免将局部模糊图像中原本清晰的图像内容处理为模糊的，进而提升图像整体的去模糊效果，提升拍摄质量。

Description

一种去模糊方法和电子设备

技术领域

本申请涉及终端领域，尤其涉及一种去模糊方法和电子设备。

背景技术

随着移动终端发展及图像处理技术的成熟，人们对于终端摄影的要求也在逐步提高。在实际应用中，相机传感器与被拍摄物体之间存在相对运动时，会导致成像照片出现模糊。为提升成像质量，设备通常会使用去模糊算法对模糊图像进行去模糊处理。

目前，设备通常直接将摄像头输出的模糊图像输入到去模糊网络中，进行去模糊处理。但是，这容易导致去模糊网络将原本清晰的图像内容处理为模糊的，既无法实现预期的去模糊效果，反而降低图像质量。

发明内容

本申请提供了一种去模糊方法和电子设备。实施该方法的电子设备可对摄像头采集的图像进行处理，判断其为局部模糊图像或全局模糊图像；对于局部模糊图像，电子设备可以从该局部模糊图像中获取模糊图像块，然后处理该模糊图像块得到对应的清晰图像块，再将清晰图像块回填到上述局部模糊图像中，实现对局部模糊图像的去模糊处理，同时避免了将局部模糊图像中原本清晰的图像内容处理为模糊的问题，进而实现提升去模糊效果，提升拍摄质量效果。

第一方面，本申请提供了一种去模糊方法，应用于电子设备，该方法包括：获取第一图像；当第一图像为局部模糊图像时，从第一图像中获取一个或多个第一图像块，处理一个或多个第一图像块得到等量的第二图像块，第二图像块的清晰度高于第一图像块；将第二图像块回填至第一图像中对应的第一图像块中，得到第四图像，第四图像的清晰度高于第一图像。

实施第一方面提供的方法，电子设备可以先判断获取的参考帧（即第一图像）为局部模糊图像或全局模糊图像。对于局部模糊图像，电子设备可从该局部模糊图像中获取发生模糊的模糊图像块，然后将获得的模糊图像块输入去模糊网络中得到清晰图像块，再将清晰图像块回填到原本局部模糊图像中对应的位置。

相比于现有的直接将局部模糊图像输入去模糊网络的方法，这种先对图像进行判断，再将局部模糊图像中的模糊图像块输入去模糊网络的方法可以有效避免局部模糊图像中原本清晰的图像内容被处理为模糊的，进而提升图像整体的去模糊效果，提升拍摄质量。

结合第一方面提供的方法，在一些实施例中，该方法还包括：当第一图像为全局模糊图像时，处理第一图像，得到第五图像，第五图像的清晰度高于第一图像。

实施上述实施例提供的方法，当确定参考帧为全局模糊图像时，电子设备可以将全局模糊图像整体输入去模糊网络中得到清晰参考帧，使得全局模糊图像也能适用本方法达到去模糊的效果。

结合第一方面提供的方法，在一些实施例中，该方法还包括：从包含第一图像的图像流中确定第二图像、第三图像，第二图像为第一图像或第一图像之前的一帧图像，第三图像为第一图像或第一图像之后的一帧图像，且第二图像和第三图像不同时为第一图像；处理第二图像、第三图像，得到第一光流图和一个或多个感兴趣区域ROI，根据第一光流图和一个或多个感兴趣区域ROI确定第一图像是否为局部模糊图像。

实施上述实施例提供的方法，在获得参考帧后，电子设备可以确定与参考帧相邻的两帧图像，也称目标图像（即第二图像、第三图像），然后，电子设备可将两帧目标图像输入运动区域判别网络，获取光流图和一个或多个ROI，进而，电子设备可利用上述光流图和ROI判断参考帧属于全局模糊图像或局部模糊图像。

结合第一方面提供的方法，在一些实施例中，根据第一光流图和一个或多个感兴趣区域ROI确定第一图像是否为局部模糊图像，具体包括：当第一光流图的平均值小于第一阈值且第一光流图的标准差大于等于第二阈值时，确定第一图像为局部模糊图像。

结合第一方面提供的方法，在一些实施例中，根据第一光流图和一个或多个感兴趣区域ROI确定第一图像是否为局部模糊图像，具体包括：当第一光流图的平均值大于等于第一阈值，第一光流图的标准差大于等于第二阈值，且第一光流图中的非ROI的平均值小于第一阈值时，确定第一图像为局部模糊图像。

结合第一方面提供的方法，在一些实施例中，从第一图像中获取一个或多个第一图像块，具体包括：从第一图像中获取一个或多个ROI指示的一个或多个第一图像块。

实施上述实施例提供的方法，电子设备可以利用运动区域判别网络获取ROI，然后通过ROI确定模糊图像中具体发生模糊的图像区域，进而利用上述ROI提取模糊图像块。

结合第一方面提供的方法，在一些实施例中，从第一图像中获取一个或多个ROI指示的一个或多个第一图像块，具体包括：从第一数量的ROI指示的第一数量的第一图像块中选择第二数量的第一图像块，第二数量小于等于第一数量；其中，当第一光流图中各个ROI的平均值均大于等于第一阈值时，第二数量等于第一数量；当存在至少一个ROI的平均值均小于第一阈值时，第二数量小于第一数量；处理一个或多个第一图像块，得到等量的第二图像块，具体包括：处理第二数量的第一图像块，得到第二数量的第二图像块。

实施上述实施例提供的方法，电子设备可以对ROI进行筛选，从运动区域判别网络输出的全部ROI中筛选出满足预设要求的有效ROI，进而根据有效ROI获取模糊图像块，进一步精确定位模糊图像内容。

结合第一方面提供的方法，在一些实施例中，该方法还包括：当第一光流图的平均值大于等于第一阈值且第一光流图的标准差小于第二阈值时，确定第一图像为全局模糊图像。

结合第一方面提供的方法，在一些实施例中，该方法还包括：当第一光流图的平均值大于等于第一阈值，第一光流图的标准差大于等于第二阈值，且第一光流图中的非ROI的平均值大于等于第一阈值时，确定第一图像为全局模糊图像。

结合第一方面提供的方法，在一些实施例中，获取第一图像之前，该方法还包括：检测到用户的拍照操作；第一图像根据拍摄操作确定。

实施上述实施例提供的方法，电子设备可以在检测到用户的拍照操作之后再确定参考帧，从而降低整个方法的运行频率，降低对计算资源的占用，进而降低电子设备的功耗。

结合第一方面提供的方法，在一些实施例中，第一图像根据拍摄操作确定，具体包括：第一图像为拍摄操作发生时刻摄像头采集的一帧图像；或者，第一图像为拍摄操作发生之前摄像头采集的一帧图像。

结合第一方面提供的方法，在一些实施例中，获取第一图像之前，该方法还包括：显示拍摄预览界面，拍摄预览界面中实时显示摄像头采集的图像；得到第四图像之后，方法还包括：在拍摄预览界面中显示第四图像。

实施上述实施例提供的方法，电子设备也可以从预览流中确定参考帧，并在预览界面中实时显示去模糊得到的清晰图像，提升预览图像的清晰度，提升用户预览体验。

结合第一方面提供的方法，在一些实施例中，第二图像为第一图像之前的第1帧图像，第三图像为第一图像之后的第1帧图像；或者，第二图像为第一图像，第三图像为第一图像之后的第1帧图像；或者，第二图像为第一图像之前的第1帧图像，第三图像为第一图像。

结合第一方面提供的方法，在一些实施例中，第二图像和第三图像为RGGB格式的图像，从包含第一图像的图像流中确定第二图像、第三图像之后，该方法还包括：根据RGGB格式的第二图像确定单通道的第一灰度图，根据RGGB格式的第三图像确定单通道的第二灰度图；处理第二图像、第三图像，具体包括：处理第一灰度图、第二灰度图。

实施上述实施例提供的方法，电子设备可首先将两帧目标图像先转化为单通道灰度图，降低目标图像的尺寸，进而降低运动区域判别网络的计算成本，提升计算效率。

其中，在得到单通道灰度图之后，电子设备还可继续对灰度图进行下采样后得到下采样图像，然后将下采样图像输入到运动区域判别网络中，从而进一步降低运动区域判别网络的计算成本，提升计算效率。

第二方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机可执行程序，当一个或多个处理器执行计算机可执行程序时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第三方面，本申请实施例提供了一种芯片***，该芯片***应用于电子设备，该芯片***包括一个或多个处理器，例如应用处理器，图形处理器，图像信号处理器，数字信号处理器等；芯片***还包括输入输出接口，芯片***可通过上述输入输出接口接收计算机指令，以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请提供一种计算机可读存储介质，包括计算机程序，当上述计算机程序在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片***、第四方面提供的计算机存储介质、第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是本申请实施例提供的去模糊方法的流程图；

图2是本申请实施例提供的buffer的工作原理示意图；

图3是本申请实施例提供的获取光流图以及感兴趣区域的流程图；

图4是本申请实施例提供的RGGB格式的RAW图转化为灰度图的示意图；

图5是本申请实施例提供的一种ROI示意图；

图6是本申请实施例提供的确定全局模糊图像或局部模糊图像的流程图；

图7A是本申请实施例提供的一种运动区域判别网络的结构图；

图7B是本申请实施例提供的一种去模糊网络的结构图；

图8示出了电子设备100的结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。

手机、平板电脑等电子设备100配置有摄像头。电子设备100可通过摄像头采集图像。在采集图像的过程中，摄像头与被拍摄物体存在相对运动会导致摄像头输出的图像存在模糊。为提升输出图像的质量，电子设备100需要使用去模糊算法处理摄像头输出的图像，提升图像的清晰度，提升用户拍摄体验。

在一种实施例中，电子设备100可直接将摄像头输出的存在模糊的图像输入到去模糊网络中。经过去模糊网络的处理，电子设备100可以得到清晰图像。但是，在上述方法中，去模糊网络不能够识别输入的模糊图像具体为拍摄物体运动导致的局部模糊图像，还是摄像头抖动导致的全局模糊图像。进而，在处理局部模糊图像时，去模糊网络就容易将局部模糊图像中原本清晰的图像内容处理为模糊的，从而影响去模糊效果。

鉴于此，本申请实施例提供了一种去模糊方法。该方法可应用于手机、平板电脑等配置有摄像头的电子设备，记为电子设备100。

实施本申请实施例提供的去模糊方法，电子设备100可从拍照流中选取一帧图像作为参考帧，并根据上述参考帧确定两帧目标图像。然后，电子设备100可将目标图像输入运动区域判别网络，得到光流图和感兴趣运动区域（region of interest，ROI）。电子设备100可根据光流图和ROI判断这两帧目标图像对应的参考帧为全局模糊图像或局部模糊图像。对于全局模糊图像，电子设备100可将参考帧直接输入去模糊网络，进行去模糊处理，得到清晰图像。对于局部模糊图像，电子设备100可首先从局部模糊的参考帧中获取模糊图像块，将模糊图像块输入去模糊网络进行去模糊处理，得到清晰图像块。然后，电子设备100再将清晰图像块回填到原来的参考帧中，替换原参考帧中的模糊图像块，进而得到清晰图像。

实施上述方法，电子设备100可以避免将局部模糊图像中原本清晰的图像内容处理为模糊的，进而提升去模糊效果，提升拍摄质量。

不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本，以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

图1是本申请实施例提供的去模糊方法的流程图。

S101、电子设备100从拍照流中获取参考帧，并基于参考帧确定目标图像。

电子设备100通过摄像头实时采集图像。以30FPS帧率为例，摄像头33.3ms可生成一张图像。电子设备100中可预设有固定尺寸的循环缓冲区（buffer）。在每生成一帧图像之后，摄像头可将该帧图像送入到上述buffer中。buffer中存储的图像可称为原始图像（rawimage，也称RAW图）。电子设备100采用先进先出算法（first in first out，FIFO）策略对buffer中的原始图像进行管理。

图2是本申请实施例提供的buffer的工作原理示意图。

如图2所示，示例性的，电子设备100中预设的buffer的尺寸可以为10，即可用于缓存10帧摄像头上报的原始图像。在每接收到一帧摄像头上报的原始图像后，电子设备100可将其写入buffer中。在buffer存满的情况下，在接收到一帧新的图像后，buffer可以读出最早写入的一帧原始图像，然后，存储上述新接收到的图像。

基于不同用途，电子设备100可以对buffer中存储的原始图像，进行分流，得到不同的图像流，例如拍照流、预览流、分析流、录像流等。本申请实施例提供的去模糊方法可应用于上述任一图像流。后续，本申请实施例主要以拍照流为例，介绍在拍照流中，电子设备100如何实施该去模糊方法，实现对拍照流中图像的去模糊处理。

以拍照流中的第i帧图像为例，电子设备100可以首先确定第i帧图像为参考帧。然后，电子设备100可确定与上述参考帧临近的多帧图像为目标图像。上述参考帧也称为第一图像。

可选的，电子设备100可以确定参考帧之前的第N帧（例如第i-1帧）和参考帧之后的第M帧（例如第i+1帧）为目标图像。N和M可以相同，也可以不同。可选的，电子设备100还可以确定参考帧和参考帧之前的第N帧为目标图像，或者，确定参考帧和参考帧之后的第M帧为目标图像等等，本申请实施例对此不作限制。以第i-1帧和第i+1帧图像为例，上述两帧图像可记为目标图像1和目标图像2。其中，目标图像1也称为第二图像，目标图像2也称为第三图像。

在一种实现方式中，电子设备100可以将拍照流中的每一帧图像都确定为参考帧。在另一种实现方式中，电子设备100还可以以抽帧的方式确定参考帧。例如，在确定第1帧图像为参考帧之后，电子设备100可确定与第1帧图像间隔10帧的第11帧图像为下一个参考帧。这样，电子设备100可降低整个方法的运行频率，降低对计算资源的占用，进而降低电子设备100的功耗。

S102、电子设备100将目标图像输入运动区域判别网络，得到光流图和感兴趣区域（ROI）。

图3是本申请实施例提供的获取光流图以及感兴趣区域的流程图。

如图3所示，优选的，在获取目标图像之后，电子设备100可以首先将目标图像转化为灰度图。以S101获取到的目标图像1（第i-1帧图像）和目标图像2（第i+1帧图像）为例，经过转化处理，电子设备100可得到灰度图1和灰度图2。其中，灰度图1也称为第一灰度图，灰度图2也称为第二灰度图。

RAW图的图像格式可以为RGGB格式。基于buffer分流得到的拍照流中的图像与buffer中的原始图像一致，因此，电子设备100从拍照流中确定的参考帧以及目标图像也均为RGGB格式。拍照流中的任意一帧图像也可以称为RAW图。

图4是本申请实施例提供的RGGB格式的RAW图转化为灰度图的示意图。

如图4所示，电子设备100可使用2×2尺寸的窗口对RGGB格式的RAW图进行划分。一个2×2尺寸的窗口刚好覆盖一组RGGB：R（红色通道）、G1（绿色通道）、G2（绿色通道）、B（蓝色通道）。窗口与窗口之间不重叠。电子设备100可依次计算各个窗口内四个通道的平均值，进而得到由平均值（P）组成的图像，即灰度图。因此，灰度图中一个平均值也称为一个灰度值。

在RGGB格式的RAW图中，一个通道（R/G/G/B）可称为一个像素。在灰度图中，一个灰度值P可称为一个像素。示例性的，当初始的RGGB格式的RAW图的尺寸为H1×W1时，转化得到的灰度图的尺寸可以为H2×W2。其中，H1=2×H2，W1=2×W2。示例性的，H1×W1=1920×1080，H2×W2=960×540。

如图3所示，在得到灰度图之后，电子设备100可对灰度图进行下采样，得到下采样图像，从而进一步降低图像尺寸，降低后续网络的计算复杂度，提升运算效率。这时，电子设备100可基于灰度图1和灰度图2得到下采样图像1和下采样图像2。

下采样图像的尺寸记为H3×W3。示例性的，当电子设备100对灰度图进行一次1/2下采样时，下采样图像的尺寸H3×W3=1/2 H2×1/2W2。以上述960×540的灰度图为例，经过1/2下采样处理后的下采样图像的尺寸为480×270。

在一些实施例中，可选的，RAW图的图像格式还可以是RYYB格式或RGBW格式等其他格式。电子设备100可采用图4所示的方法，对RYYB格式、RGBW格式等其他格式的RAW图进行处理，获取对应的灰度图和下采样图像。

随后，电子设备100可将下采样图像输入运动区域判别网络中。通过运动区域判别网络的处理，电子设备100可得到光流图和感兴趣运动区域（ROI）。上述光流图也称为第一光流图。后续实施例将会具体介绍运动区域判别网络的结构，这里先不展开。

其中，光流图是一个由多个二维向量P（x,y）组成的矩阵。该矩阵的尺寸可记为H4×W4。优选的，光流图的尺寸与输入的下采样图像的尺寸一致，即H3= H4，W3= W4。以上述480×270的下采样图像为例，光流图的尺寸也即480×270。这时，光流图中的一个二维向量P（x,y）可对应下采样图像中一个像素点的光流方向。其中，P（x,y）中的x可表示该像素光流在水平方向上位移距离，y可表示像素光流在竖直方向上位移距离。

一个ROI指示参考帧中的一个图像块。在本申请实施例中，该图像块即模糊图像块，也称为第一图像块。对于输入的一组下采样图像，运动区域判别网络可输出一个或多个ROI，上述ROI的数量也称为第一数量。任意零个ROI可以相交，也可以独立（即不相交）。

图5是本申请实施例提供的一种ROI示意图。如图5所示，第i-1帧图像（目标图像1）中的a区域为拍摄对象A所在的区域，第i+1帧图像（目标图像2）中b区域为拍摄对象A所在的区域。上述两帧图像反映了拍摄过程中拍摄对象A从a区域运动到了b区域。这时，运动区域判别网络可输出ROI₁。ROI₁即第i-1帧图像和第i+1帧图像对应的参考帧（即第i帧图像）中一个由拍摄对象A运动产生的模糊图像块。优选的，运动区域判别网络输出的ROI完全包含a区域和b区域。

S103、电子设备100根据光流图和ROI确定参考帧是全局模糊图像或局部模糊图像。

图6是本申请实施例提供的确定全局模糊图像或局部模糊图像的流程图。

S201、电子设备100计算光流图中各个向量的模。

以光流图中第(i,j)个向量为例，其该向量的模S：

S202、电子设备100确定光流图的平均值S_avg和标准差S_std。

在确定光流图中各个向量的模之后，电子设备100可基于各个向量的模确定该光流图的平均值S_avg和标准差S_std。其中：

其中，n表示光流图矩阵的行数，m表示光流图矩阵的列数。

S203、电子设备100根据光流图的平均值和标准差确定参考帧为全局模糊图像或局部模糊图像。

在确定光流图的平均值S_avg以及标准差S_std后，电子设备100可将其与预设的阈值进行比较，从而判定参考帧是全局模糊图像或局部模糊图像。其中，上述阈值可以是由开发人员依经验设定的。

具体的，电子设备100可将平均值S_avg和标准差S_std分别与平均值阈值M1和标准差阈值M2进行比较。上述平均值阈值M1也称为第一阈值，上述标准差阈值M2也称为第二阈值。当S_avg＜M1且S_std＜M2时，电子设备100可确定上述目标图像对应的参考帧为清晰图像，不去模糊。S_avg≥M1且S_std＜M2意味着参考帧中大面积的图像内容发生了明显的变化。因此，当S_avg≥M1且S_std＜M2时，电子设备100可判定该参考帧是全局模糊图像。

S_avg＜M1且S_std≥M2意味着参考帧中部分区域的图像内容发生了明显变化。因此，当S_avg＜M1且S_std≥M2，电子设备100可判定该参考帧是局部模糊图像。进一步的，电子设备100可确定各个ROI的模的平均值S_roi。对任意一个ROI，当该ROI的S_roi≥M1时，电子设备100可判定该ROI为有效ROI，反之，当该ROI的S_roi＜M1时，电子设备100可判定该ROI为无效ROI。

S_avg≥M1且S_std≥M2意味着图像中可能存在多个运动物体，从而导致整个图像的图像内容发生了明显变化。于是，当S≥M1且S_std≥M2时，电子设备100可计算光流图中非ROI区域的模的平均值S_Rroi。当非ROI区域的S_Rroi≥M1时，电子设备100可判定该参考帧是全局模糊图像。当非ROI区域的S_Rroi＜M1时，电子设备100可判定该参考帧是局部模糊图像。然后，电子设备100可确定各个ROI的模的平均值S_roi。同样的，对任意一个ROI，当该ROI的S_roi≥M1时，电子设备100可判定该ROI为有效ROI，反之，当该ROI的S_roi＜M1时，电子设备100可判定ROI为无效ROI。

S104、当参考帧是全局模糊图像时，电子设备100将参考帧输入去模糊网络进行去模糊，得到清晰图像，即清晰参考帧。

可选的，电子设备100可将参考帧直接输入去模糊网络进行去模糊处理，得到清晰图像。

可选的，对于尺寸较大的参考帧，电子设备100还可以对参考帧进行切块。例如，电子设备100可将1080×1920的图像切分为4张540×720的图像。然后，电子设备100可将切分得到的各个图像块分别输入去模糊网络进行处理，依次得到清晰图像块。然后，电子设备100可将上述清晰图像块组合，得到清晰图像。通过直接输入去模糊网络得到的清晰参考帧也称为第五图像。

S105、当参考帧是局部模糊图像时，电子设备100根据ROI确定参考帧中的模糊图像块，将模糊图像块输入去模糊网络进行去模糊，得到清晰图像块。

在一种实施例中，在确定参考帧为局部模糊图像后，电子设备100可直接根据运动区域判别网络输出的一个或多个ROI确定参考帧中的一个或多个模糊图像块。然后，电子设备100可将上述一个或多个模糊图像块输入去模糊网络进行去模糊，得到一个或多个清晰图像块。

在另一种实施例中，在确定参考帧为局部模糊图像后，电子设备100可进一步确定运动区域判别网络输出的一个或多个ROI中各个ROI是否有效。上述有效ROI的数量也称为第二数量。然后，电子设备100可将有效ROI对应的模糊图像块输入去模糊网络进行去模糊，得到清晰图像块。上述去模糊网络输出的清晰图像块也称为第二图像块。

其中，输入运动区域判别网络的目标图像是经过下采样的下采样图像，因此运动区域判别网络输出的ROI是直接与H3×W3的下采样图像对齐的。因此，在根据ROI确定参考帧的模糊图像块时，电子设备100需要对ROI进行等比例缩放，使其与H1×W1的参考帧对齐。

S106、电子设备100将清晰图像块回填到参考帧，替换原模糊图像块，得到清晰参考帧。

在得到清晰图像块后，电子设备100可将该清晰图像块回填至参考帧，替换原参考帧中的模糊图像块，进而得到清晰参考帧。通过将清晰图像块回填到参考帧，替换原模糊图像块得到的清晰参考帧也称为第四图像。可选的，在完成回填后，电子设备100可对回填的清晰图像块的边缘进行图像融合，以避免边缘锯齿现象。

图7A是本申请实施例提供的一种运动区域判别网络的结构图。

如图7A所示，运动区域判别网络卷积层C1~C13、下采样层D1~D6、上采样层U1~U4。其中，C1~C4与D1~D4交替排列，D4后连接3个卷积层C5~C7，C7后连接上采样层U1~U4和C8~C11，上采样层U1~U4与C8~C11交替排列。基于目标图像1、2得到的下采样图像1、2，在通过C1~D4、C5~C7、U1~C11的处理后得到的数据即光流图。

如图7A所示，C11后还可连接下采样层D5~D6和卷积层C12~C13，下采样层D5~D6与卷积层C12~C13交替排列。C11输出的数据在通过D5~C13的处理后得到的数据即ROI。

图7B是本申请实施例提供的一种去模糊网络的结构图。

如图7B所示，去模糊网络包括卷积层C21~C29、下采样层D21、D22、上采样层U21、U22。其中，C21、C22与D21、D22交替排列，D22后连接4个卷积层C23~C26，C26后连接上采样层U21、U22和C27、C28，U21、U22和C27、C28交替排列，C28后连接卷积层C29。

去模糊网络的输入包括光流信息和模糊图像。具体的，在根据运动区域判别网络输出的光流图和ROI确定参考帧为全局模糊图像后，去模糊网络的输入包括上述光流图（光流信息）和参考帧（模糊图像）。这时，去模糊网络的输出即清晰参考帧（清晰图像）。

在根据运动区域判别网络输出的光流图和ROI确定参考帧为局部模糊图像时，去模糊网络的输入包括光流图块（光流信息）和模糊图像块（模糊图像）。其中，光流图块是指根据ROI从光流图中提取的局部光流图，也称光流子图。一个ROI对应的光流图中的一个光流子图和该ROI对应的参考帧中的一个模糊图像块为去模糊网络的一组输入。当运动区域判别网络输出多个ROI时，电子设备100可确定多组光流子图和模糊图像块，即多组去模糊网络输入数据。这时，电子设备100可一组一组地将光流子图和模糊图像块输入去模糊网络，得到地对应清晰图像块（清晰图像）。

参考S101的介绍，本申请实施例提供的去模糊方法可应用于拍照流。

在一种实施例中，电子设备100可将拍照流中的每一帧图像都确定为参考帧，进而确定参考帧中的模糊图像块，针对模糊图像块进行去模糊处理，最终得到去模糊的清晰参考帧。

或者，电子设备100可间隔性的确定拍照流中的一帧图像（即抽帧）为参考帧，确定参考帧中的模糊图像块，然后针对模糊图像块进行去模糊处理，得到清晰参考帧。这样，电子设备100可降低算法的运行频率，降低对计算资源的占用，节省功耗。

此外，在一些实施例中，电子设备100还可以在检测到拍摄操作后，将拍摄操作对应的拍照流中的特定帧确定为参考帧。例如，电子设备100可根据检测到拍照操作的时间T1确定拍照流中T1时刻对应的第i帧图像为参考帧；或者，电子设备100还可确定拍照流中T1时刻对应的第i帧图像之前的一帧为参考帧，例如T1时刻对应的第i帧图像之前的第3帧。这时，电子设备100既不必对拍照流中的每帧图像都进行处理，也不必周期性处理，可进一步降低算法的运行频率，降低对计算资源的占用，节省功耗。

不限于应用于拍照流。本申请实施例提供的去模糊方法还可以应用于预览流。同样的，电子设备100可将预览流中的每一帧图像都确定为参考帧，也可以间隔性的确定拍照流中的一帧为参考帧，然后确定参考帧中的模糊图像块，然后针对模糊图像块进行去模糊处理，得到清晰图像。

在应用于预览流的场景中，电子设备100还可在预览界面中实时显示去模糊得到的清晰图像，提升预览图像的清晰度，提升用户预览体验。

图8示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。显示屏194用于显示图像，视频等。

在本申请实施例中，电子设备100可通过GPU，显示屏194，以及应用处理器等提供的显示功能，显示摄像头采集的图像以及电子设备100的用户交互界面。在应用于预览流的实施例中，电子设备100可在拍摄预览界面中直接显示经过去模糊处理的清晰图像。在其他不应用于预览流的实施例中，电子设备100可在拍摄预览界面中显示未经去模糊处理的图像。在一些实施例中，检测到拍摄操作后，电子设备100在拍摄软件图库界面显示该拍摄操作对应的经过去模糊处理的清晰图像。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。其中，摄像头193用于采集图像。在本申请实施例中，摄像头193实时采集图像，其捕获的图像是以RGGB模式排列的RAW图。后续方法中所用到的参考帧、目标图像以及各种图像流中的图像均由摄像头193采集。

数字信号处理器用于处理数字信号，视频编解码器用于对数字视频压缩或解压缩。

NPU为神经网络(neural-network ，NN)计算处理器，通过借鉴生物神经网络结构，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用。在本申请实施例中，电子设备100可通过NPU来执行运动区域判别网络和去模糊网络的算法，进而得到去模糊后的图像。

内部存储器121可以包括一个或多个随机存取存储器（random access memory，RAM ）和一个或多个非易失性存储器（non-volatile memory， NVM）。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作***或其他正在运行中的程序的可执行程序（例如机器指令），还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

在本申请实施例中，去模糊方法对应的应用程序代码可存储到NVM中。在去模糊时，去模糊方法对应的应用程序代码可被加载到RAM中。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器，可以利用磁传感器180D检测翻盖皮套的开合。距离传感器180F用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，可用于检测用户手持电子设备100贴近用户的场景。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。骨传导传感器180M可以获取振动信号。触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。按键190包括开机键，音量键等。马达191可以产生振动提示。指示器192可以是指示灯。SIM卡接口195用于连接SIM卡。

在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到（所陈述的条件或事件）”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到（所陈述的条件或事件）时”或“响应于检测到（所陈述的条件或事件）”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质（例如固态硬盘）等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (14)

1.一种去模糊方法，应用于电子设备，其特征在于，所述方法包括：

获取第一图像；

从包含所述第一图像的图像流中确定第二图像、第三图像；

处理所述第二图像、所述第三图像，得到第一光流图和第一数量的感兴趣区域ROI；

当所述第一光流图的平均值小于第一阈值且所述第一光流图的标准差大于等于第二阈值时，确定所述第一图像为局部模糊图像；当所述第一光流图的平均值大于等于第一阈值，所述第一光流图的标准差大于等于第二阈值，且所述第一光流图中的非ROI的平均值小于所述第一阈值时，确定所述第一图像为局部模糊图像；

当所述第一图像为局部模糊图像时，从所述第一图像中获取所述第一数量的ROI指示的第二数量的第一图像块，所述第二数量小于等于所述第一数量，处理所述第二数量的第一图像块，得到第二数量的第二图像块，所述第二图像块的清晰度高于所述第一图像块；

将所述第二数量的第二图像块回填至所述第一图像中对应的第一图像块中，得到第四图像，所述第四图像的清晰度高于所述第一图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一图像为全局模糊图像时，处理所述第一图像，得到第五图像，所述第五图像的清晰度高于所述第一图像。

3.根据权利要求2所述的方法，其特征在于，所述第二图像为所述第一图像或所述第一图像之前的一帧图像，所述第三图像为所述第一图像或所述第一图像之后的一帧图像，且所述第二图像和所述第三图像不同时为所述第一图像。

4.根据权利要求1所述的方法，其特征在于，当所述第一光流图中各个ROI的平均值均大于等于第一阈值时，所述第二数量等于所述第一数量；当存在至少一个ROI的平均值均小于第一阈值时，所述第二数量小于所述第一数量。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一光流图的平均值大于等于第一阈值且所述第一光流图的标准差小于第二阈值时，确定所述第一图像为全局模糊图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一光流图的平均值大于等于第一阈值，所述第一光流图的标准差大于等于第二阈值，且所述第一光流图中的非ROI的平均值大于等于所述第一阈值时，确定所述第一图像为全局模糊图像。

7.根据权利要求1所述的方法，其特征在于，所述获取第一图像之前，所述方法还包括：检测到用户的拍摄操作；所述第一图像根据所述拍摄操作确定。

8.根据权利要求7所述的方法，其特征在于，所述第一图像根据所述拍摄操作确定，具体包括：所述第一图像为所述拍摄操作发生时刻摄像头采集的一帧图像；或者，所述第一图像为所述拍摄操作发生之前摄像头采集的一帧图像。

9.根据权利要求1所述的方法，其特征在于，所述获取第一图像之前，所述方法还包括：显示拍摄预览界面，所述拍摄预览界面中实时显示摄像头采集的图像；

所述得到第四图像之后，所述方法还包括：在所述拍摄预览界面中显示所述第四图像。

10.根据权利要求3所述的方法，其特征在于，所述第二图像为所述第一图像或所述第一图像之前的一帧图像，所述第三图像为所述第一图像或所述第一图像之后的一帧图像，且所述第二图像和所述第三图像不同时为所述第一图像，具体包括：

所述第二图像为所述第一图像之前的第1帧图像，所述第三图像为所述第一图像之后的第1帧图像；

或者，所述第二图像为所述第一图像，所述第三图像为所述第一图像之后的第1帧图像；

或者，所述第二图像为所述第一图像之前的第1帧图像，所述第三图像为所述第一图像。

11.根据权利要求1所述的方法，其特征在于，所述第二图像和所述第三图像为RGGB格式的图像，所述从包含所述第一图像的图像流中确定第二图像、第三图像之后，所述方法还包括：

根据RGGB格式的所述第二图像确定单通道的第一灰度图，根据RGGB格式的所述第三图像确定单通道的第二灰度图；

所述处理所述第二图像、所述第三图像，具体包括：处理所述第一灰度图、所述第二灰度图。

12.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序，当所述一个或多个处理器执行所述计算机程序时，使得执行如权利要求1-11任一项所述的方法。

13.一种芯片***，所述芯片***应用于电子设备，所述芯片***包括一个或多个处理器，其特征在于，所述处理器用于调用计算机指令以使得执行如权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得执行如权利要求1-11任一项所述的方法。