CN111091506A - 图像处理方法及装置、存储介质、电子设备 - Google Patents

Abstract

本公开提供一种图像处理方法及装置、电子设备、存储介质，涉及图像处理技术领域。所述方法包括：获取第一图像和多帧第二图像，其中，第一图像的分辨率和各第二图像的分辨率不同。根据多帧第二图像，确定与第一图像分辨率相同的第三图像。基于所获取的对焦区域，对第一图像和第三图像进行图像融合，得到融合图像。本公开可以提高图像画质的同时，提高图像的信噪比。

Description

图像处理方法及装置、存储介质、电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。

背景技术

在拍摄图像时，用户通常希望所拍摄的图像具有更好的细节。目前，可以通过图像采集设备的硬件模块或者软件算法对图像进行细节增强。但是，上述方法导致图像的噪声增大，图像的整体画质降低。

发明内容

本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在对图像进行细节增强处理时噪声增大和整体画质降低的问题。

根据本公开的第一方面，提供一种图像处理方法，包括：

获取第一图像和多帧第二图像，其中，所述第一图像的分辨率和各所述第二图像的分辨率不同；

根据所述多帧第二图像，确定与所述第一图像分辨率相同的第三图像；

基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像。

根据本公开的第二方面，提供一种图像处理装置，包括：

图像获取模块，用于获取第一图像和多帧第二图像，其中，所述第一图像的分辨率和各所述第二图像的分辨率不同；

图像预处理模块，用于根据所述多帧第二图像，确定与所述第一图像分辨率相同的第三图像；

图像融合模块，用于基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像。

根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在本公开的一示例实施方式所提供的图像处理方法中，通过获取分辨率不同的第一图像和多帧第二图像，对多帧第二图像进行融合，生成第三图像，达到降噪的目的。基于对焦区域对第一图像和第三图像进行图像融合，可以使对焦区域具有更好的细节，其他区域具有较高的信噪比。与直出一张分辨率较高的图像相比，本公开可以在提高图像画质的同时，弥补信噪比较低的缺点，从而提升用户的拍摄体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图；

图2示出了本公开实施例的图像处理方法的一种流程图；

图3示出了本公开实施例的第一图像中对焦区域和主体区域的一种示意图；

图4示出了本公开实施例的图像处理装置的一种结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

需要说明的是，图1示出的电子设备的计算机***100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图1所示，计算机***100包括中央处理单元101，其可以根据存储在只读存储器102中的程序或者从存储部分108加载到随机访问存储器103中的程序而执行各种适当的动作和处理。在随机访问存储器103中，还存储有***操作所需的各种程序和数据。中央处理单元101、只读存储器102以及随机访问存储器103通过总线104彼此相连。输入/输出接口105也连接至总线104。

以下部件连接至输入/输出接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分107；包括硬盘等的存储部分108；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器110也根据需要连接至输入/输出接口105。可拆卸介质111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器110上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分109从网络上被下载和安装，和/或从可拆卸介质111被安装。在该计算机程序被中央处理单元101执行时，执行本申请的方法和装置中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图2所示的各个步骤等。

以下对本公开实施例的技术方案进行详细阐述：

在拍摄图像时，图像中往往存在用户实际感兴趣的区域，如拍摄人像时的人脸，以及具有前后景深时风景的前景，用户往往希望所拍摄的主体具有更好的细节。目前现有的相机***的图像细节增强，主要利用相机***的硬件模块，或者软件算法，同时拍摄一帧或多帧分辨率相同的图像，然后对这些图像从中心向四周区域分别做不同程度的去噪、锐化以及融合处理，得到细节增强的图像。然而，该方法无法很好的凸显主体，同时会带来非主体区域的噪声增强，影响图像整体的画质。

为了解决上述问题，本公开提供了一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，可以在进行图像细节增强处理时，提高图像画质的同时，提高图像的信噪比。本公开实施例的图像处理方法可以应用于图像采集设备，可以是终端设备，例如，智能手机、平板电脑等，也可以是相机等。

参见图2，图2示出了本公开实施例的图像处理方法的一种流程图，可以包括以下步骤：

步骤S210，获取第一图像和多帧第二图像，其中，第一图像的分辨率和各第二图像的分辨率不同。

步骤S220，根据多帧第二图像，确定与第一图像分辨率相同的第三图像。

步骤S230，基于所获取的对焦区域，对第一图像和第三图像进行图像融合，得到融合图像。

本公开实施例的图像处理方法中，通过获取分辨率不同的第一图像和多帧第二图像，对多帧第二图像进行融合，生成第三图像，达到降噪的目的。基于对焦区域对第一图像和第三图像进行图像融合，可以使对焦区域具有更好的细节，其他区域具有较高的信噪比。与直出一张分辨率较高的图像相比，可以在提高图像画质的同时，弥补信噪比较低的缺点，从而提升用户的拍摄体验。

以下对本公开实施例的图像处理方法进行更加详细的介绍。

在步骤S210中，获取第一图像和多帧第二图像。

本公开实施例中，第一图像和第二图像的分辨率不同，而多帧第二图像之间的分辨率是相同的。第一图像的分辨率可以大于各第二图像的分辨率，也可以小于各第二图像的分辨率。例如，第一图像为6400万像素的图像，第二图像为1600万像素的图像。

对于分辨率不同的图像，可以由同一个摄像头拍摄，也可以由不同的摄像头拍摄。在本公开的一种实现方式中，如果图像采集设备只有一个摄像头，例如第一摄像头，可以对第一摄像头进行相关设置，使第一摄像头先拍摄一帧第一图像，之后，再连续拍摄多帧与第一图像分辨率不同第二图像。当然，拍摄第一图像和拍摄多帧第二图像的时间差比较短，第一图像和多帧第二图像中的内容是相同的。图像采集设备可以获取第一摄像头拍摄的第一图像以及第一摄像头连续拍摄的多帧第二图像，根据第一图像和多帧第二图像进行细节增强处理。

在本公开的又一种实现方式中，如果图像采集设备有两个摄像头，例如第一摄像头和第二摄像头，图像采集设备还可以分别获取第一摄像头拍摄的第一图像和第二摄像头连续拍摄的多帧第二图像。其中，第一摄像头和第二摄像头可以同时拍摄。

在步骤S220中，根据多帧第二图像，确定与第一图像分辨率相同的第三图像。

具体的，在第一图像的分辨率大于各第二图像的分辨率时，第二图像的分辨率较低，具有较好的感光以及较高的信噪比。由于图像中的噪点是无序排列的，也就是说，连续拍摄多帧图像后，同一个位置出现的噪点可能是红噪点，也可能是绿噪点、白噪点，甚至是没有噪点，这样就有了比对筛选的条件，将噪点筛选出来。最后，进行猜色和像素替换处理，达到去除噪点的效果。因此，为了提高最终输出的融合图像的信噪比，本公开实施例可以对多帧第二图像进行多帧去噪处理，达到降噪的目的。对多帧第二图像进行多帧去噪处理之后，可以输出一帧噪声较少的图像。由于多帧去噪的原因，输出的图像细节也相对较少。

由于第二图像与第一图像的分辨率不同，在多帧去噪处理之后，还可以对输出的噪声较少的图像进行超分辨率处理，得到与第一图像分辨率相同的第三图像。其中，超分辨率处理是通过硬件或软件的方法提高图像的分辨率，即通过低分辨率的图像来得到一幅高分辨率的图像。

在步骤S230中，基于所获取的对焦区域，对第一图像和第三图像进行图像融合，得到融合图像。

本公开实施例中，还可以对第一图像进行锐化处理，图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。之后，再进行去噪处理，得到锐化去噪图像。例如，可以通过滤波的方法进行去噪，以降低图像的噪声。

在进行图像融合时，可以基于所获取的对焦区域，对锐化去噪图像和第三图像进行图像融合。也就是，可以根据不同的区域进行不同的处理。对焦区域通常是图像中重点显示的区域，例如，拍摄人物时对焦区域可以是人脸，拍摄具有前后景深的风景时，对焦区域可以是主体景深范围等。因此，可以将对焦区域显示更多的图像细节，对焦区域之外的其他区域可以不用显示更多的细节。

具体的，针对对焦区域中的像素点，可以将锐化去噪图像中该像素点的像素值作为融合图像中该像素点的像素值；针对对焦区域之外的其他区域中的像素点，将第三图像中该像素点的像素值作为融合图像中该像素点的像素值。这样，对焦区域可以显示更多的细节，其他区域可以具有较高的信噪比。当然，对于对焦区域和其他区域的相邻区域，还可以进行平滑处理，使融合图像具有更好的显示效果。

在本公开的一种实现方式中，还可以对所获取的对焦区域进行比例放大，得到主体区域。首先，可以获取对焦区域的坐标(x，y，dx，dy)，之后根据该坐标进行一定比例的向外拓展，得到一个范围较大的主体区域(x，y，a×dx，b×dy)。其中，x，y分别为对焦区域的任一顶点坐标，例如可以是左上角顶点、左下角顶点等，dx，dy分别为对焦区域的宽和高。a和b分别为横向放大系数和纵向放大系数，a和b均大于1。a和b可以是根据经验预先设置的值，例如，分别为1.1和1.2；也可以是根据不同的对焦区域动态变化的值，在此不做限定。当然，在对对焦区域拓展时，也可以按照对焦区域的中心点向四周拓展，或者其他方式进行拓展，本公开并不以此为限。

在确定主体区域后，可以根据主体区域，对第一图像和第三图像进行图像融合，得到融合图像。类似地，针对主体区域中的像素点，可以将第一图像中该像素点的像素值作为融合图像中该像素点的像素值；针对主体区域之外的其他区域中的像素点，将第三图像中该像素点的像素值作为融合图像中该像素点的像素值。通过放大对焦区域得到主体区域，使最终得到的融合图像中用户感兴趣的区域，以及用户感兴趣的区域的临近区域具有较多细节，保证了整体的画质和清晰度。

本公开实施例的图像处理方法，可以将分辨率较高的第一图像用于主体区域，不考虑主体区域以外的其他区域的清晰度及噪点状况，得到一个主体清晰度细节最优的图像。而分辨率较低的第二图像可以不用于主体区域，因此，可以保证其他区域的噪点较低。并且对于整幅图像而言，主体区域之外的其他区域所占的比例较大，通过分辨率较低的第二图像的大感光亮及多帧去噪，可以弥补第一图像信噪比较低的缺点，有效去除了最终输出的融合图像中其他区域的噪点，从而可以得到一幅主体清晰度细节较好，其他部分噪点较少的图像，保证了整体的画质和清晰度。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中，还提供了一种图像处理装置400，如图4所示，包括：

图像获取模块410，用于获取第一图像和多帧第二图像，其中，第一图像的分辨率和各第二图像的分辨率不同；

图像预处理模块420，用于根据多帧第二图像，确定与第一图像分辨率相同的第三图像；

图像融合模块430，用于基于所获取的对焦区域，对第一图像和第三图像进行图像融合，得到融合图像。

可选的，图像预处理模块，具体用于在第一图像的分辨率大于各第二图像的分辨率时，对多帧第二图像进行多帧去噪处理及超分辨率处理，得到与第一图像分辨率相同的第三图像。

可选的，图像融合模块，包括：

区域放大单元，用于对所获取的对焦区域进行比例放大，得到主体区域；

融合单元，用于根据主体区域，对第一图像和第三图像进行图像融合，得到融合图像。

可选的，融合单元具体用于针对主体区域中的像素点，将第一图像中该像素点的像素值作为融合图像中该像素点的像素值；针对主体区域之外的其他区域中的像素点，将第三图像中该像素点的像素值作为融合图像中该像素点的像素值。

可选的，本公开实施例的图像处理装置，还包括：

锐化去噪模块，用于对第一图像进行锐化处理及去噪处理，得到锐化去噪图像；

图像融合模块，具体用于基于所获取的对焦区域，对锐化去噪图像和第三图像进行图像融合。

可选的，图像获取模块，具体用于获取第一摄像头拍摄的第一图像以及第一摄像头连续拍摄的多帧第二图像。

可选的，图像获取模块，具体用于分别获取第一摄像头拍摄的第一图像和第二摄像头连续拍摄的多帧第二图像。

上述装置中各模块或单元的具体细节已经在对应的图像处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像和多帧第二图像，其中，所述第一图像的分辨率和各所述第二图像的分辨率不同；

根据所述多帧第二图像，确定与所述第一图像分辨率相同的第三图像；

基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧第二图像，确定与所述第一图像分辨率相同的第三图像，包括：

在所述第一图像的分辨率大于各所述第二图像的分辨率时，对所述多帧第二图像进行多帧去噪处理及超分辨率处理，得到与所述第一图像分辨率相同的第三图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像，包括：

对所获取的对焦区域进行比例放大，得到主体区域；

根据所述主体区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述主体区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像，包括：

针对所述主体区域中的像素点，将所述第一图像中该像素点的像素值作为所述融合图像中该像素点的像素值；

针对所述主体区域之外的其他区域中的像素点，将所述第三图像中该像素点的像素值作为所述融合图像中该像素点的像素值。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第一图像进行锐化处理及去噪处理，得到锐化去噪图像；

所述基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，包括：

基于所获取的对焦区域，对所述锐化去噪图像和所述第三图像进行图像融合。

6.根据权利要求1所述的方法，其特征在于，所述获取第一图像和多帧第二图像，包括：

获取第一摄像头拍摄的第一图像以及所述第一摄像头连续拍摄的多帧第二图像。

7.根据权利要求1所述的方法，其特征在于，所述获取第一图像和多帧第二图像，包括：

分别获取第一摄像头拍摄的第一图像和第二摄像头连续拍摄的多帧第二图像。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取第一图像和多帧第二图像，其中，所述第一图像的分辨率和各所述第二图像的分辨率不同；

图像预处理模块，用于根据所述多帧第二图像，确定与所述第一图像分辨率相同的第三图像；

图像融合模块，用于基于所获取的对焦区域，对所述第一图像和所述第三图像进行图像融合，得到融合图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7任一项所述的方法。

Images