CN117132477A - 图像处理方法及电子设备 - Google Patents

图像处理方法及电子设备 Download PDF

Info

Publication number
CN117132477A
CN117132477A CN202310215261.4A CN202310215261A CN117132477A CN 117132477 A CN117132477 A CN 117132477A CN 202310215261 A CN202310215261 A CN 202310215261A CN 117132477 A CN117132477 A CN 117132477A
Authority
CN
China
Prior art keywords
image
pixel
frequency
pixel point
frequency region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215261.4A
Other languages
English (en)
Inventor
王振兴
刘晋亨
张桂诚
肖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310215261.4A priority Critical patent/CN117132477A/zh
Publication of CN117132477A publication Critical patent/CN117132477A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像处理方法及电子设备,涉及图像处理技术领域。电子设备在拍摄图像后,可以对该待处理图像进行降噪处理,得到降噪后的图像。为了避免由于对图像降噪导致降噪后的图像出现涂抹等问题,手机可以确定降噪后的图像中的高频区域、中频区域和低频区域。之后,手机可以将高频区域叠加单反相机的高频噪声模板、将中频区域叠加单反相机的中频噪声模板、将低频区域叠加单反相机的低频噪声模板,实现单反相机的不同频率的噪声模板的融合。之后,手机可以将叠加后的高频区域、叠加后的中频区域和叠加后的低频区域进行融合,得到具备单反相机的噪声特性的目标图像,从而实现单反相机的成像效果的成功模拟,提高用户观感。

Description

图像处理方法及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子设备(如手机)的发展,手机的拍摄功能也得到了快速发展,越来越多的用户喜欢使用手机拍摄照片或拍摄视频。然而,由于手机摄像头的性能低于单反相机的性能,导致手机拍摄的图像(如照片、视频中的图像)的质量低于单反相机拍摄的图像的质量,如手机拍摄的图像的质感(图像的细节、层次)低于单向相机拍摄的图像的质感。
因此,如何提高手机拍摄图像的质量,使得手机拍摄图像的质感与单反相机相似,成为亟待解决的问题。
发明内容
有鉴于此,本申请提供了一种图像处理方法及电子设备,提高拍摄得到的图像质量。
第一方面,本申请提供一种图像处理方法,电子设备在拍摄待处理图像后,可以提取待处理图像中的第一频率区域;该第一频率区域包括高频区域和/或非高频区域;该非高频区域包括低频区域和/或中频区域。
该电子设备基于该待处理图像的图像信息,确定该待处理图像中的像素点对应的调整权重,该像素点对应的调整权重表示该像素点叠加的噪声程度;该图像信息包括该待处理图像的感光度、该待处理图像中的像素点的像素值和该待处理图像的目标区域的信息;
对于每个第一频率区域,该电子设备基于该第一频率区域中的像素点的像素值,叠加目标频率噪声模板,得到叠加后的该第一频率区域。
其中,上述目标频率噪声模板是利用该第一频率区域中的像素点对应的调整权重对预设单反相机的第一频率噪声模板进行调整后得到的;该第一频率噪声模板对应的频率与该第一频率区域对应的频率相同。例如,该第一频率区域为高频区域,该第一频率区域对应的频率便为高频,相应的,该第一频率噪声模板为高频噪声模板。
该电子设备对叠加后的该第一频率区域进行融合,得到目标图像。
示例性的,上述目标区域的信息表示待处理图像中的该目标区域所包括的像素点。上述像素点的像素值可以是灰度值。
本申请中,电子设备在拍摄得到图像(即待处理图像)后,确定该待处理图像中的需要提升画质的频率区域,得到第一频率区域。该第一频率区域可以包括高频区域和非高频区域。并且为了提高融合效果,该电子设备可以利用待处理图像的具体图像情况,对该预设单反相机的第一频率噪声模板进行调整,以得到与待处理图像更加适配的调整后的预设单反相机的第一频率噪声模板。之后,电子设备将第一频率区域与调整后的预设单反相机的第一频率噪声模板进行叠加,以供电子设备可以利用叠加后的第一频率区域得到目标图像,使得待处理图像中的第一频率区域融合单反相机的对应频率的噪声模板,实现单反相机的噪声模板分频率融合,从而实现了单反相机的不同频率的噪声特性的模拟,也就是实现了单反相机的成像效果的模拟,使得电子设备拍摄的图像具备与单反相机相似的质感。并且,电子设备不是融合单反相机的不同频率的噪声模板,而是利用与待处理图像更加适配的调整后的单反相机的噪声模板进行融合,融合效果更好,从而使得目标图像不同区域过渡更加自然,层次感更强,立体感更强,进而有效提高了图像质量,并提高了用户观感。
在一种可能的设计中,上述待处理图像中的像素点对应的调整权重是基于目标增益值调整系数、该像素点对应的亮度调整系数和该像素点对应的纹理调整系数中的至少一个系数确定的;
其中,上述目标增益值调整系数可以是与该待处理图像的感光度所属的第一预设感光度范围对应的增益值调整系数。本申请中,待处理图像的感光度越高,表明该待处理图像的拍摄环境越暗,拍摄得到的该待处理图像的细节越模糊,涂抹程度越重。为了提高图像质量,待处理图像所要叠加的噪声越大,相应的,增益值调整系数越大。待处理图像的感光度越低,表明该待处理图像的拍摄环境越亮,待处理图像的细节越清楚,涂抹程度越轻,待处理图像所叠加的噪声越小,相应的,增益值调整系数越小。
上述像素点对应的亮度调整系数可以是基于该像素点的像素值确定的。本申请中,从用户观感来说,用户希望待处理图像的高亮区域所呈现的内容是光滑,没有颗粒感的。对于待处理图像的暗区,由于暗区本身亮度就比较低,如果再叠加比较大的噪声,可能会使暗区的内容颗粒感较重,从而可能会使暗区中的内容表现的更加杂乱,用户观感较差。因此,待处理图像的高亮区域和暗区所需叠加的噪声较少,待处理图像的剩余区域所需叠加的噪声较多,也就是说高亮区域和暗区中的像素点对应的亮度调整系数较小,剩余区域中的像素点所对应的亮度调整系数较大。其中,像素点的具体亮度情况可以通过像素点的灰度值体现,灰度值越大,表明像素点越亮。
上述像素点对应的纹理调整系数可以是基于该目标区域的信息确定的。本申请中,电子设备可以根据待处理图像所呈现的内容确定各部分所需叠加的噪声程度(即需要叠加的噪声大小),也就是确定纹理调整系数。对于待处理图像中的包括信息量较大的区域(即目标区域),为了突出显示图像细节、增强图像边缘、增强语义区域内的信息、该目标区域所需叠加噪声程度较大,以使叠加后的区域与图像其它区域的区分度更加明显,使得图像更加有层次感以及质感。
示例性的,目标区域可以包括纹理区域、语义区域、高频区域、中频区域中的至少一个。
在一种可能的设计中,上述目标增益值调整系数的确定过程可以包括:电子设备可以从所有第一预设感光度范围中查找待处理图像的感光度所属的第一预设感光度范围,并将该待处理图像的感光度所属的第一预设感光度范围作为第一目标感光度范围。之后,电子设备可可以将该第一目标感光度范围对应的预设增益值调整系数作为待处理图像对应的目标增益值调整系数,也就是得到待处理图像中的像素点对应的目标增益值调整系数,从而实现像素点对应的目标增益值调整系数的确定,使得电子设备可以像素点对应的目标增益值调整系数确定该像素点所需叠加的单反相机的噪声的大小,实现单反相机的噪声更好的融合。
在一种可能的设计中,上述像素点对应的亮度调整系数的确定过程可以包括:
电子设备可以采用公式一:
计算像素点对应的亮度调整系数。
其中,light_map表示所述像素点对应的亮度调整系数;gray_img表示所述像素点的像素值;A表示预设像素值,其小于像素点所能够达到的最大像素值,并大于像素点所能达到的最小像素值。
本申请中,当像素点的像素值为A时,该像素点对应的亮度调整系数的值最大,一般来说,由于图像的高亮区域和暗区所需叠加的噪声较小,亮度调整系数较小,剩余区域需叠加的噪声较大,亮度调整系数较大,因此,A所指示的像素值一般不会过大,或过小,如A可以为128。
示例性的,上述亮度调整系数需要在0到1之间,因此,在上述像素点对应的light_map小于0的情况下,电子设备可以将该像素点对应的light_map更新为0。在该像素点对应的light_map大于1的情况下,手机可以将该像素点对应的light_map更新为1。
或者,为了提高像素点对应的light_map的确定效率,手机可以直接通过clip函数限制像素点对应的light_map的处于0到1之间。具体的,对于该待处理图像中的各个像素点,手机可以采用如下公式四确定该像素点对应的亮度调整系数。
其中,np.clip函数用于限制处于0到1之间,当/>小于0时,light_map为0,当/>大于1时,light_map为1。
在一种可能的设计中,上述像素点对应的纹理调整系数可以基于目标区域确定,或者在目标区域的基础上,结合待处理图像的感光度进行确定。
在一种示例中,上述像素点对应的纹理调整系数可以基于目标区域确定。在像素点处于待处理图像中的目标区域的情况下,电子设备可以将第一预设纹理调整系数作为该像素点对应的纹理调整系数。
在像素点处于待处理图像中的非目标区域的情况下,电子设备可以将第二预设纹理调整系数作为该像素点对应的纹理调整系数。该非目标区域是待处理图像中除该目标区域以外的区域。
在另一种示例中,上述像素点对应的纹理调整系数可以在目标区域的基础上,结合待处理图像的感光度进行确定。在所述像素点处于待处理图像中的目标区域的情况下,电子设备可以从所有第二预设感光度范围中查找待处理图像的感光度所属的第二预设感光度范围,并将该待处理图像的感光度所属的第二预设感光度范围作为第二目标感光度范围。
之后,电子设备可以将该第二目标感光度范围对应的预设纹理调整系数作为该像素点所对应的纹理调整系数。
在所述像素点处于待处理图像中的非目标区域的情况下,电子设备可以从所有第三预设感光度范围中查找待处理图像的感光度所属的第三预设感光度范围,并将该待处理图像的感光度所属的第三预设感光度范围作为第三目标感光度范围。
之后,电子设备可以将该第三目标感光度范围对应的预设纹理调整系数作为该像素点所对应的纹理调整系数。
在一种可能的设计中,上述像素点对应的调整权重可以是基于目标增益值调整系数、亮度调整系数和纹理调整系数确定的。相应的,该像素点对应的调整权重是目标增益值调整系数、该像素点对应的亮度调整系数和该像素点对应的纹理调整系数三者之间的乘积。
或者,上述像素点对应的调整权重可以是基于目标增益值调整系数和亮度调整系数确定的。相应的,该像素点对应的调整权重是目标增益值调整系数和该像素点对应的亮度调整系数之间的乘积。
或者,上述像素点对应的调整权重可以是基于目标增益值调整系数和纹理调整系数确定的。相应的,该像素点对应的调整权重是目标增益值调整系数、该像素点对应的纹理调整系数之间的乘积。
或者,上述像素点对应的调整权重可以是基于亮度调整系数和纹理调整系数确定的。相应的,该像素点对应的调整权重是该像素点对应的亮度调整系数和该像素点对应的纹理调整系数之间的乘积。
或者,上述像素点对应的调整权重可以是目标增益值调整系数、该像素点对应的亮度调整系数和该像素点对应的纹理调整系数中的任一个。
在一种可能的设计中,对于第一频率区域中的每个像素点(或称为第四像素点),电子设备可以先计算预设单反相机的第一频率噪声模板中的该第四像素点的位置所对应的噪声值与该第四像素点对应调整权重之间的乘积,得到该第四像素点的位置对应的调整后的噪声值,即得到该第四像素点对应的调整后的噪声值,实现第一频率噪声模板的调整。其中,该第四像素点的位置表示该第四像素点在待处理图像中的位置。
之后,电子设备可以计算该第四像素点的像素值与该第四像素点对应的调整后的噪声值,得到第四像素点的叠加后的像素值,从而得到叠加了第一频率噪声模板的第一频率区域,即得到了叠加后的第一频率区域,该叠加后的第一频率区域融合了单反相机的对应频率的噪声效果,实现单反相机噪声的模拟。
示例性的,电子设备在将待处理图像中的第一频率区域融合预设单反相机的第一频率噪声模板时,对于该第一频率图像中的每个第四像素点,可以采用如下公式二进行融合。
img_fusion=img_sub+T*noiseMap公式二;
其中,上述img_sub表示该第一频率区域中的该第四像素点的像素值(如待处理图像中的该第四像素点的像素值)。T表示该第四像素点对应的调整权重。noiseMap表示该第一噪声模板中的该第四像素点的位置所对应的噪声值(或描述为该第四像素点对应的噪声值)。该img_fusion表示该第四像素点的叠加后的像素值。
在一种可能的设计中,上述电子设备对叠加后的所述第一频率区域进行融合,得到目标图像的过程可以包括:
在所有第一频率区域指示完整图像的情况下,手机可以对各个叠加后的第一频率区域进行融合,得到目标图像。
在所有第一频区域指示部分图像的情况下,手机对各个第一频率区域和非第一频率区域进行融合,得到目标图像。
示例性的,上述第一频率区域包括高频区域、低频区域和所述中频区域。
上述电子设备可以基于该高频区域中的各个第一像素点的像素值,叠加目标高频噪声模板,得到叠加后的高频区域,该目标高频噪声模板是利用该高频区域中的各个第一像素点对应的调整权重,对预设单反相机的高频噪声模板进行调整后得到的,实现单反相机的高频噪声的融合,并且是利用基于待处理图像的图像特性得到的调整后的高频噪声模板进行融合,提高了融合效果,使得图像内容更加自然,层次感更强。
该电子设备基于该中频区域中的各个第二像素点的像素值,叠加目标中频噪声模板,得到叠加后的中频区域;其中,该目标中频噪声模板是利用该中频区域中的各个第二像素点对应的调整权重,对预设单反相机的中频噪声模板进行调整后得到的,实现单反相机的中频噪声的融合,并且是利用基于待处理图像的图像特性得到的调整后的中频噪声模板进行融合,提高了融合效果。
该电子设备基于该低频区域中的各个第三像素点的像素值,叠加目标低频噪声模板,得到叠加后的低频区域;其中,该目标低频噪声模板是利用该低频区域中的各个第三像素点对应的调整权重,对预设单反相机的低频噪声模板进行调整后得到的,实现单反相机的低频噪声的融合,并且是利用基于待处理图像的图像特性得到的调整后的低频噪声模板进行融合,提高了融合效果。
在一种可能设计中,为了提高图像质量,电子设备在拍摄得到待处理图像后,可以先对待处理图像进行降噪处理。之后,电子设备可以利用降噪后的图像融合单反相机的不同频率的噪声模板。即电子设备可以确定降噪后的图像中的第一频率区域。
在一种可能设计中,上述预设单反相机的低频噪声模板是由低频噪声值组成的。该低频噪声值可以是如下公式三计算得到的:
noiseMap=noise–np.mean(noise)公式三
其中,noise表示预设高光照强度对应的灰度卡图像中的像素点的像素值,所述np.mean(noise)表示所述预设高光照强度对应的灰度卡图像中的所有像素点的灰度值的平均值,noiseMap表示所述预设高光照强度对应的灰度卡图像中的像素点的位置所对应的低频噪声值。
同理,预设单反相机的高频噪声模板是由高频噪声值组成的。该高频噪声值是基于预设低光照强度对应的灰度卡图像确定的,具体的,其也可以基于如上所述的公式三进行确定。
预设单反相机的中频噪声模板是由中频噪声值组成的。该中频噪声值是基于预设低中等照强度对应的灰度卡图像确定的,具体的,其也可以基于如上所述的公式三进行确定。基于此,实现单反相机的不同频率的噪声模板的确定。
第二方面,本申请提供一种电子设备,所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器;所述显示屏、所述摄像头、所述存储器和所述处理器耦合;所述摄像头用于采集图像,所述显示屏用于显示所述处理器生成的图像,以及所述摄像头采集的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如上所述的方法。
第三方面,本申请提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的方法。
第四方面,本申请提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如上所述的方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1A为本申请实施例提供的一种人物照的示意图;
图1B为本申请实施例提供的一种融合前的图像的示意图;
图2为本申请实施例提供的一种融合后的图像的示意图;
图3A为本申请实施例提供的一种电子设备的硬件结构示意图一;
图3B为本申请实施例提供的一种电子设备的硬件结构示意图二;
图3C为本申请实施例提供的一种电子设备的硬件结构示意图三;
图4A为本申请实施例提供的一种灰度卡图像的示意图一;
图4B为本申请实施例提供的一种灰度卡图像的示意图二;
图4C为本申请实施例提供的一种灰度卡图像的示意图三;
图5为本申请实施例提供的一种图像处理方法的流程示意图一;
图6为本申请实施例提供的一种亮度调整系数与像素值关系示意图;
图7为本申请实施例提供的一种图像处理方法的流程示意图二。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了更好的理解本申请的方案,以下介绍本申请实施例所涉及的术语。
质感:是指画面的细节、层次。
灰度值:是指黑白图像中点的颜色深度,范围一般从0到255,白色为255,黑色为0。其中,黑白图像又可以称为灰度图像。
灰度卡:是指一个灰色卡片,其可以是基于某种灰度的颜色值制成的卡片。例如,该种灰度的颜色值可以是128度灰、129度灰等。
噪声:是指由于成像传感器噪声、相片颗粒噪声、图像在传输过程中的通道传输误差等因素会使图像上出现一些随机的、离散的、孤立的像素点。噪声在视觉上通常与它们相邻的像素明显不同。例如,黑区域中的白点、白区域中的黑点等。
图像的频率:是图像灰度值变化剧烈程度的指标,是灰度在平面空间上的梯度。图像中梯度越大的部分,也就是说像素点的灰度值变化大的部分,频率越高,简单来说,图像越杂乱的部分,频率越高,例如边缘。图像越柔和的部分,频率越低,如一大片天空。
低频区域:是指图像中像素点的灰度值变化频率慢的区域,低频区域包括的信息可以称为低频信息。
中频区域:是指图像中像素点的灰度值变化频率较快的区域。中频区域包括的信息可以称为中频信息,其决定了图像的基本结构,形成了图像的主要边缘结构。
高频区域:是指图像中像素点的灰度值变化频率快的区域,其包括图像中需要清晰展示细节的信息。高频区域包括信息可以称为高频信息。高频信息形成了图像的边缘和细节,是在中频信息上对图像内容的进一步强化。
举例来说,假设摄像头拍摄的图像是人物照,低频信息可以包括人物的背景信息,如纯色蓝空、光滑墙面,高频信息可以包括人物(如图1A所示的人物)的眉毛、嘴唇、眼睛、以及人物与背景交界处等细碎纹理内容。中频信息可以包括绿植、建筑等纹理密集程度一般的内容;又例如,假设摄像头拍摄的是如图1B所示的图像,该图像中的低频信息可以包括花瓶中的第一颜色部分11、第二颜色部分12和第三颜色部分13等灰度值变化频率较慢的内容。该图像中的高频信息可以包括叶子的阴影部分14等灰度值变化频率快的内容。该图像中的中频信息可以包括叶子15等纹理密集程度一般的内容,即灰度值变化频率较快的内容。
当然,上述所列举的高频信息、中频信息和低频信息仅是一种示例。高频信息、中频信息和低频信息还可以包括其它类型的信息,如高频信息包括毛绒玩具等,可以根据实际需求,划分图像中的低频信息、中频信息和高频信息。
低频噪声:传感器(sensor)成像过程中产生的不属于原始图像的,与原始像素值波动较小的扰动量,该扰动量具有波动性,且方差较小。具备一定主观性。
中频噪声:sensor成像过程中产生的不属于原始图像的,与原始像素值波动较大的扰动量,该扰动量具有波动性,且方差较大,介于低频与高频之前,具有一定主观性。
高频噪声:sensor成像过程中产生的不属于原始图像的,与原始像素值波动很大的扰动量,该扰动量具有波动性,且方差大。具备一定主观性。
语义分割:是指自动分割并识别出图像中的内容(或描述为语义对象),其是将语义标签分配给图像中的每个像素。示例性的,该语义标签可以包括人、狗、公交车、自行车、花瓶、围栏、植物、天空、道路、建筑物、山等标签。例如,如上述图1A所示的人物照,经过语义分割后,可以确定该人物照中的人物图像。这里的人物图像可以是语义区域,人物可以是语义对象。又例如,如上述图1B所示的图像,经过语义分割后,可以确定该图像中的植物图像、花瓶图像和围栏17图像。这里的植物图像、花瓶图像和围栏图像可以是语义区域,植物、花瓶和围栏是语义对象。
简单来说,语义分割是指标记图片中每一个像素,并将每一个像素与其表示的类别对应起来。相应的,语义可以理解为像素所属的类型。
由于单反相机的光学***的特性,单反相机拍摄的图像中的对象层次感较高,质感较强,使得图像更具有美感。手机摄像头的性能低于单反相机的性能,手机拍摄的图像(即RAW图像)上的噪声本身可能不具备美感,降低用户观感。在一些实施例中,手机拍摄得到图像后,为了提高图像质量,手机可以先利用预设降噪算法,对图像进行降噪处理。其中,手机在对图像进行降噪处理时,主要针对图像上的对用户观感无益的噪声,如黑区域中的白点等与相邻像素点明显不同的像素点。
其中,RAW图像表示手机中的摄像头采集的原始图像,也就是未经过加工的图像。示例性的,该RAW图像可以是手机中的摄像头中的感光元件采集的原始数据。
然而,由于一些原因,手机对图像进行降噪力度比较大时,容易导致降噪后的图像出现涂抹或者伪纹理的情况,降噪后的图像可能存在局部模糊的问题,图像质感较差。如手机拍摄图像时的环境较暗,可能会使手机拍摄的图像上的噪声比较大(或描述为噪声比较多),该图像上的噪声不具备美感。手机在对该图像进行降噪处理时,降噪力度可能会大,降噪后的图像层次感较差,立体感较差,如上述图1B所示的图像中的花瓶与墙面几乎处于同一平面上,层次感较差。
可以理解的是,手机可以采用高斯去噪、非局部平均(non-local means,NL-Means)、中值滤波算法等针对图像全局的降噪算法,对图像全局(即整体)进行降噪。但由于是对图像整体进行的降噪,可能会导致图像的局部区域降噪强度比较大,容易出现涂抹或者伪纹理的问题。
因此,为了实现单反相机的成像效果的模拟,手机可以在拍摄图像(或称为待处理图像)后,可以将该图像融合单反相机的不同频率的噪声特性,以得到具备单反相机的不同频率的噪声特性的图像,实现单反相机的噪声特性的模拟。
具体的,手机可以将图像划分成中频区域、高频区域和低频区域,并将单反相机的噪声模板分频率与图像进行融合,如将高频区域融合单反相机的高频噪声模板,使得高频区域具备单反相机的高频噪声成像效果,将低频区域融合单反相机的低频噪声模板,使得低频区域具备单反相机的低频噪声效果,将中频区域融合融合单反相机的中频噪声模板,使得中频区域具备单反相机的中频噪声效果。并且,为了使单反相机的噪声模板与手机拍摄的图像更加适配,手机可以先利用图像的具体情况,确定图像中的各个像素点对应的调整权重,即确定该单反相机的不同频率的噪声模板所对应的调整权重。该调整权重表示对应像素点所需叠加的单反相机的噪声大小程度。
之后,手机可以利用基于调整权重得到的调整后的单反相机不同频率的噪声模板与对应频率的区域进行融合,提高了图像的融合效果。之后,手机可以基于融合后的低频区域、高频区域和中频区域得到目标图像,该目标图像具备单反相机的噪声特性,实现了单反相机的成像效果的模拟。并且由于手机是利用调整后的单反相机的噪声模板,可以使目标图像中的内容过渡更加自然,层次感更强,细节更加突出,有效提升了画质。
例如,如图2所示的图像是融合了单反相机的不同频率的噪声模板的图像,相较于上述图1B所示的图像,图2所示的图像中的花瓶的边缘部分16得到的增强,增强了花瓶的立体感,从而使得图像的层次感增强。并且相较于该图1B所示的图像中的花瓶中的第一颜色部分11,图2所示的图像中的花瓶的第一颜色部分11的噪声比较多,使得该图像更具有美感,与单反相机的成像效果相似。
可以理解的是,上述图1B和图2所示的图像的效果仅为一种示例,本申请不其进行限制。
示例性的,本申请实施例中的电子设备可以是手机、平板电脑、可穿戴设备、个人数字助理(personal digital assistant,PDA)、车载终端、物联网设备等具有拍摄功能的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
图3A示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processingunit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infraRed,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件(或称为图像传感器)。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
示例性的,上述N个摄像头193可以包括:一个或多个前置摄像头和一个或多个后置摄像头。例如,以上述电子设备100是手机为例。图3B所示的手机包括一个前置摄像头,如前置摄像头30。
图3C所示的手机包括三个后置摄像头,如后置摄像头31、32和33。当然,上述手机中摄像头的数量包括但不限于上述实例中所述的数量。
其中,上述摄像头193可以包括以下一种或多种摄像头:主摄像头、长焦摄像头、广角摄像头、超广角摄像头、微距摄像头、鱼眼摄像头、红外摄像头、深度摄像头和黑白摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130。
上述传感器模块180可以包括压力传感器180,陀螺仪传感器180,气压传感器180,磁传感器180,加速度传感器180,距离传感器180,接近光传感器180,指纹传感器180,温度传感器180,触摸传感器180,环境光传感器180,骨传导传感器180等。
按键190包括开机键,音量键等。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。
为了实现单反相机的成像效果的模拟,本申请提出一种图像处理方法,电子设备利用单反相机的不同频率的噪声模板,对该电子设备的摄像头正常拍摄的图像进行处理,合成具有单反相机成像效果的图像。下面将以电子设备为手机为例,将本申请实施例提供的图像处理分为两个实施例进行介绍,其中,实施例一用于介绍单反相机的不同频率的噪声模板的确定过程,实施例二用于介绍利用单反相机的不同频率的噪声模板,将手机的摄像头拍摄的图像转换成具有该单反相机的成像效果的图像的过程。
实施例一
本申请实施例提供一种图像处理方法。在该实施例中,为了确定单反相机的成像特性,相关人员可以使用单反相机在不同光照强度下拍摄灰度卡,得到不同光照强度对应的灰度卡图像。之后,第一设备可以利用不同光照强度对应的灰度卡图像,确定单反相机的不同频率的噪声模板,从而实现单反相机的噪声特点,即成像特性的确定。其中,该频率可以包括高频、中频和低频。相应的,噪声模板可以包括高频噪声模板、中频噪声模板和低频噪声模板。
其中,上述低频噪声模板的确定过程可以通过下面a部分内容进行介绍,中频噪声模板的确定过程可以通过下面b部分内容进行介绍,高频噪声模板的确定过程可以通过下面c部分内容进行介绍。
a、确定低频噪声模板。
首先,在高光照强度的拍摄环境下,即在高亮场景中,相关人员使用单反相机拍摄灰度卡,得到高光照强度对应的灰度卡图像(如图4A所示)。高光照强度对应的灰度卡图像中的像素点的灰度值变化剧烈程度低,因此,该高光照强度对应的灰度卡图像上的噪声可以为低频噪声,也就是说,该高光照强度对应的灰度卡图像可用于确定单反相机的低频噪声模板。其中,该灰度卡图像可以包括H1*W2个像素。该H1表示灰度卡图像的高度,W2表示灰度卡图像的宽度。
其中,上述高光照强度可以根据实际需求进行设置,如高光照强度为500-1000勒克斯(lux,Lx)。
之后,第一设备可以计算上述高光照强度对应的灰度卡图像上的所有像素点的灰度值的平均值。对于该高光照强度对应的灰度卡图像中的各个像素点,第一设备计算该像素点与该平均值之间的差值,得到该像素点对应的噪声值,即得到该像素点的位置所对应的低频噪声值,也就是低频噪声的像素值(如灰度值)。
示例性的,第一设备可以采用如下公式三计算高光照强度对应的灰度卡图像中的像素点所对应的噪声值:
noiseMap=noise–np.mean(noise)公式三。
其中,noiseMap表示该像素点所对应的噪声值(即低频噪声的像素值,也即低频噪声值),noise表示该像素点的灰度值,np.mean()表示平均值计算函数,np.mean(noise)表示高光照强度对应的灰度卡图像上的所有像素点的灰度值的平均值。
之后,第一设备可以基于该高光照强度对应的灰度卡图像中的各个像素点所对应的低频噪声的像素值,得到上述单反相机的低频噪声模板。也就是该单反相机的低频噪声模板是由该各个低频噪声的像素值组成。该低频噪声模板表示单反相机的低频噪声的灰度值波动情况,即反映单反相机的低频噪声特性。
需要说明的是,单反相机在高光照强度的拍摄环境下拍摄灰度卡时,该单反相机与该灰度卡之间的距离(或称为第一距离)可以根据实际需求进行设置,本申请不对其设置。
上面介绍了单反相机的低频噪声模板的确定过程,下面将继续介绍单反相机的中频噪声模板的确定过程。
b、确定中频噪声模板。
首先,在中等光照强度的拍摄环境下,相关人员使用单反相机拍摄灰度卡,得到中等光照强度对应的灰度卡图像(如图4B所示)。中等光照强度对应的灰度卡图像中的像素点的灰度值变化剧烈程度较高,因此,该中等光照强度对应的灰度卡图像上的噪声可以为中频噪声,也就是说,该中等光照强度对应的灰度卡图像可用于确定单反相机的中频噪声模板。
其中,上述中等光照强度可以根据实际需求进行设置,如中等光照强度为200-500lux。该中等光照强度对应的灰度卡图像也可以包括H1*W1个像素,与上述高光照强度对应的灰度卡图像所包括的像素数量相同。当然,该中等光照强度对应的灰度卡图像所包括的像素数量也可以与该高光照强度对应的灰度卡图像不同,本申请不对其限制。
之后,第一设备可以计算上述中等光照强度对应的灰度卡图像上的所有像素点的灰度值的平均值。对于该中等光照强度对应的灰度卡图像中的各个像素点,第一设备计算该像素点与该平均值之间的差值,得到该像素点对应的噪声值,即得到该像素点的位置所对应的中频噪声值,也就是中频噪声的像素值(如灰度值)。
其中,中等光照强度对应的灰度卡图像中的各个像素点所对应的噪声值的计算公式可以参考上述公式三。
之后,第一设备可以基于该中等光照强度对应的灰度卡图像中的各个像素点所对应的中频噪声的像素值,得到上述单反相机的中频噪声模板。也就是该单反相机的中频噪声模板是由该各个中频噪声的像素值组成。该中频噪声模板表示单反相机的中频噪声的灰度值波动情况,即反映单反相机的中频噪声特性。
需要说明的是,单反相机在中等光照强度的拍摄环境下拍摄灰度卡时,该单反相机与该灰度卡之间的距离(或称为第二距离)可以根据实际需求进行设置。该第二距离与上述第一距离可以相同,也可以不同,本申请不对其设置。
上面介绍了单反相机的中频噪声模板的确定过程,下面将继续介绍单反相机的高频噪声模板的确定过程。
c、确定高频噪声模板。
首先,在低光照强度的拍摄环境下,即在低亮场景中,相关人员使用单反相机拍摄灰度卡,得到低光照强度对应的灰度卡图像(如图4C所示)。低光照强度对应的灰度卡图像中的像素点的灰度值变化剧烈程度很高,因此,该低光照强度对应的灰度卡图像上的噪声可以为高频噪声,也就是说,该低光照强度对应的灰度卡图像可用于确定单反相机的高频噪声模板。
其中,上述低光照强度可以根据实际需求进行设置,如低光照强度为50-100lux。该低光照强度对应的灰度卡图像也可以包括H1*W1个像素,与上述高光照强度对应的灰度卡图像所包括的像素数量相同。当然,该低光照强度对应的灰度卡图像所包括的像素数量也可以与该高光照强度对应的灰度卡图像不同。同理,该低光照强度对应的灰度卡图像所包括的像素数量也可以与上述中等光照强度对应的灰度卡图像相同或不同,本申请均不对其限制。
之后,第一设备可以计算上述低光照强度对应的灰度卡图像上的所有像素点的灰度值的平均值。对于该低光照强度对应的灰度卡图像中的各个像素点,第一设备计算该像素点与该平均值之间的差值,得到该像素点对应的噪声值,即得到该像素点的位置所对应的高频噪声值,也就是高频噪声的像素值(如灰度值)。
其中,低光照强度对应的灰度卡图像中的各个像素点所对应的噪声值的计算公式可以参考上述公式三。
之后,第一设备可以基于该低光照强度对应的灰度卡图像中的各个像素点所对应的高频噪声的像素值,得到上述单反相机的高频噪声模板。也就是该单反相机的高频噪声模板是由该各个高频噪声的像素值组成。该高频噪声模板表示单反相机的高频噪声的灰度值波动情况,即反映单反相机的高频噪声特性,换言之,单反相机的高频噪声模板可以反映单反相机的高频噪声的成像效果。
在一些实施例中,相关人员可以根据手机需模拟的单反相机的不同频率的图像的成像效果来选择单反相机。例如,相关人员想要手机拍摄的图像模拟品牌A的单反相机的成像效果,可以确定品牌A的单反相机的不同频率的噪声模板。
需要说明的是,单反相机在低光照强度的拍摄环境下拍摄灰度卡时,该单反相机与该灰度卡之间的距离(或称为第三距离)可以根据实际需求进行设置。该第三距离与上述第一距离可以相同,也可以不同。同理该第三距离与上述第二距离可以相同,也可以不同,本申请不对其设置。
上面介绍确定高频、中频和高频这三种频率的噪声模板确定过程。在实际应用中,第一设备也可以仅确定低频噪声模板、中频噪声模板或高频噪声模板,也就是说单反相机仅需在高光照强度下拍摄灰度卡,在中等光照强度下拍摄灰度卡,或者在低光照强度下拍摄灰度卡,即单反相机仅需采集高光照强度对应的灰度卡图像,中等光照强度对应的灰度卡图像,或者低光照强度对应的灰度卡图像。
当然,第一设备也可以确定低频噪声模板、中频噪声模板和高频噪声模板中的两种频率的噪声模板。例如,第一设备可以确定低频噪声模板和高频噪声模块,也就是说单反相机可以采集高光照强度对应的灰度卡图像和低光照强度对应的灰度卡图像。又例如,第一设备可以确定高频噪声模板和中频噪声模块,也就是说单反相机可以采集低光照强度对应的灰度卡图像和中等光照强度对应的灰度卡图像。又例如,第一设备可以确定低频噪声模板和中频噪声模块,也就是说单反相机可以采集高光照强度对应的灰度卡图像和中等光照强度对应的灰度卡图像。
可见,相关人员可以根据需求,利用单反相机采集高光照强度对应的灰度卡图像,中等光照强度对应的灰度卡图像中的低光照强度对应的灰度卡图像中的至少一个。相应的,第一设备可以确定高频噪声模板、中频噪声模板和低频噪声模板中的至少一个。
可以理解的是,不同频率图像所呈现的效果不同。如图4A所示的高光照强度对应的灰度卡图像(相当于单反相机的低频噪声)的颗粒感程度最低,整体方差比较小。如图4B所示的中等光照强度对应的灰度卡图像(当于单反相机的中频噪声)的颗粒感程度较高,体像素值的方差较大。如上述图4C所示的低光照强度对应的灰度卡图像(相当于单反相机的高频噪声)的颗粒感程度最高,整体像素值的方差最大。
在该实施例中,上述单反相机的噪声模板(如上述高频噪声模板、中频噪声模板、低频噪声模板)过程可以是在目标手机出厂前进行的。在第一设备得到该单反相机的噪声模板后,可以将保存在上述目标手机(如目标手机的存储器)中。
实施例二
本申请实施例提供一种图像处理方法。在该实施例中,手机(如实施例一中的目标手机)在手机摄像头拍摄图像后,在该图像的不同频率区域叠加对应频率的噪声模板,以将该图像变换为具有单反相机噪声特性的图像,实现单反相机成像特性的模拟。具体的,如图5所示,本申请实施例提供的图片显示方法可以包括S501-S507。
S501、响应于用户对手机的拍摄界面的第一操作,手机拍摄得到待处理图像。
示例性的,一种情况下,第一操作可以触发手机拍摄照片,待处理图像是手机在拍照模式下拍摄得到的图像。另一种情况下,该第一操作可以触发手机拍摄视频,该待处理图像是手机在视频模式下拍摄的图像。具体的,该视频模式下拍摄的图像可以是在视频拍摄完成后所得到的视频文件中的图像。该视频模式下拍摄的图像也可以是在视频拍摄过程中手机摄像头所采集的图像,使得手机显示的预览图像是具有单反相机的噪声特性的图像,从而在视频拍摄完成后所得到的视频文件中的图像具有单反相机的成像效果。
在一些实施例中,上述第一操作可以是用户对手机显示的拍摄界面上的相关控件的点击操作。例如,第一操作可以是用户对拍摄界面上的拍照控件的点击操作。又例如,第一操作可以是用户对拍摄界面上的录像控件的点击操作。
上述第一操作也可以是用户在拍摄界面输入的预设手势(如S型手势、√型手势等)。该预设手机可以包括第一手势和/第二手势。第一手势可以触发手机拍摄照片,第二手机可以触发手机拍摄视频。其中,第一手势和第二手势可以不同。当用户在手机显示的拍摄界面上输入第一手势时,该第一手势便为该第一操作,其触发手机拍摄照片。当用户在手机显示的拍摄界面上输入第二手势时,该手机便为该第一操作,其触发手机拍摄视频。
其中,上述预设手势可以预设配置在手机中。并且,手机可以在拍摄界面向用户提示该预设手势,以及该预设手势所触发的功能(即第一手势可以触发手机拍摄照片;第二手势可以触发手机拍摄视频),以使用户可以根据需求在手机的拍摄界面上输入相应的手势。
S502、手机确定上述待处理图像中的高频区域、中频区域和低频区域。
示例性的,手机可以将图像分解成高频区域、中频区域和低频区域。高频区域表示待处理图像中的高频图像部分,即像素点的灰度值变化频率很快的区域,高频区域所包括的内容可以称为高频信息。
中频区域表示待处理图像中的中频图像部分,即像素点的灰度值变化频率较快的区域,中频区域所包括的内容可以称为中频信息。
低频区域表示待处理图像中的低频图像部分,即像素点的灰度值变化频率慢的区域,低频区域所包括的内容可以称为低频信息。
在一些实施例中,手机确定待处理图像中的高频区域、中频区域和低频区域后,可以确定待处理图像对应的高频图像、中频图像和低频图像。该高频图像中除该高频区域以外的区域中像素点的像素值为第一预设值,该第一预设值与0之间的差值在第一预设范围内,也就是说该第一预设值为0或其它接近0的数值。
该中频图像中除该中频区域以外的区域中像素点的像素值为第二预设值,该第二预设值与0之间的差值在第二预设范围内,也就是说该第二预设值为0或其它接近0的数值。
该低频图像中除该低频区域以外的区域中像素点的像素值为第三预设值,该第三预设值与0之间的差值在第三预设范围内,也就是说该第三预设值为0或其它接近0的数值。
应理解,上述高频图像、中频图像和低频图像的大小和待处理图像相同,即所包括的像素点的数量相同。如待处理图像的大小为H2*W2,该高频图像、中频图像和低频图像的大小也可以为H2*W2。
在一些实施例中,为了提高图像质量,手机在得到待处理图像后,可以先利用预设降噪算法,对待处理图像进行降噪处理,得到降噪后的待处理图像。之后,手机可以对降噪后的待处理图像进行其它处理,如将待处理图像叠加预设单反相机的噪声模板(如预设单反相机的高频噪声模板、中频噪声模板、低频噪声模板)。
其中,预设降噪算法可以包括非局部平均算法、三维块匹配滤波(block-matchingand 3Dfiltering,BM3D)、四维块匹配滤波(block-matching and 4D filtering,BM4D)等图像降噪算法。
S503、手机利用待处理图像的图像信息,确定待处理图像中的各个像素点对应的调整权重。
示例性的,待处理图像的图像信息可以包括待处理图像的感光度(ISO)、待处理图像中的像素点的像素值和待处理图像的目标区域的信息。其中,目标区域可以包括纹理区域、语义区域、高频区域、中频区域中的至少一个。如该目标区域包括语义区域,手机可以对待处理图像进行语义分割,得到待处理图像中的语义区域。
示例性的,上述待处理图像的感光度可以用于确定目标增益(gain)值调整系数。图像的ISO越高,表明该图像的拍摄环境越暗,图像的细节越模糊,涂抹程度越重,为了提高图像质量,图像所要叠加的噪声越大,相应的,gain值调整系数越大。图像的ISO越低,表明该图像的拍摄环境越亮,图像的细节越清楚,涂抹程度越轻,图像所叠加的噪声越小,相应的,gain值调整系数越小。
因此,手机可以利用待处理图像的感光度大小,确定该待处理图像的拍摄环境亮度,以得到该待处理图像对应的目标gain值调整系数,也就是说,该目标gain值调整系数表示与该待处理图像的拍摄环境适配的噪声叠加程度。具体的,手机可以从所有第一预设感光度范围中查找待处理图像的感光度所属的第一预设感光度范围,并将该待处理图像的感光度所属的第一预设感光度范围作为第一目标感光度范围。之后,手机可以将该第一目标感光度范围对应的预设gain值调整系数作为待处理图像对应的目标gain值调整系数。
其中,每个第一预设感光度范围存在对应的预设gain值调整系数。例如,上述第一预设感光度范围可以包括[0,600)、[600,2000)、[2000,5000)和[5000,+∞)。[0,600)对应的预设gain值调整系数为0.2,[600,2000)对应的预设gain值调整系数为0.3,[2000,5000)对应的预设gain值调整系数为0.35,[5000,+∞)对应的预设gain值调整系数为0.4。假设待处理图像的感光度为800,其所属的第一目标感光度范围便为[600,2000),那么该待处理图像对应的目标gain值调整系数便为[600,2000)对应的gain值调整系数(即0.3)。
应理解,拍摄环境越暗,手机拍摄得到的图像(即RAW图像)上的噪声越大。手机在对该图像进行降噪处理时的降噪力度较大,可能会使降噪后的图像上的细节比较模糊,出现涂抹现象,因此,手机需要叠加的噪声较大,以突出图像的细节。其中,图像的拍摄环境可以通过图像的感光度反映。图像的ISO越高,表明手机拍摄该图像时的环境越暗。
示例性的,上述待处理图像中的像素点的像素值可以用于确定各个像素点对应的亮度调整系数。一般来说,一个图像亮度可能是不均的,其可能存在高亮区域、暗区、一般亮度等区域等。因此,手机可以基于待处理图像中的各个像素点的具体亮度情况,确定待处理图像中的各个像素点所需叠加的噪声大小(或描述为噪声多少)。从用户观感来说,用户希望图像的高亮区域所呈现的内容是光滑,没有颗粒感的。对于图像的暗区,由于暗区本身亮度就比较低,如果再叠加比较大的噪声,可能会使暗区的内容颗粒感较重,从而可能会使暗区中的内容表现的更加杂乱,用户观感较差。因此,图像的高亮区域和暗区所需叠加的噪声较少,图像的剩余区域所需叠加的噪声较多,也就是说高亮区域和暗区中的像素点对应的亮度调整系数较小,剩余区域中的像素点所对应的亮度调整系数较大。其中,像素点的具体亮度情况可以通过像素点的像素值(如灰度值)体现,灰度值越大,表明像素点越亮。示例性的,对于该待处理图像中的各个像素点,手机可以采用如下公式一确定该像素点对应的亮度调整系数。
其中,light_map表示像素点对应的亮度调整系数。gray_img表示该像素点的像素值。A表示预设像素值,其小于像素点所能够达到的最大像素值,并大于像素点所能达到的最小像素值。示例性的,如像素点所能够达到的最大像素值为255,最小像素值是0,则A可以为0到255中的任意数值。当像素点的像素值为A时,该像素点对应的亮度调整系数的值最大,一般来说,由于图像的高亮区域和暗区所需叠加的噪声较小,亮度调整系数较小,剩余区域需叠加的噪声较大,亮度调整系数较大,因此,A所指示的像素值一般不会过大,或过小,如A可以为128。
在一些实施例中,上述亮度调整系数需要在0到1之间,因此,如果存在像素点亮度调整系数计算错误,手机可以对其进行调整。示例性的,对于上述待处理图像中的每个像素点,在该像素点对应的light_map小于0的情况下,手机可以将该像素点对应的light_map更新为0。在该像素点对应的light_map大于1的情况下,手机可以将该像素点对应的light_map更新为1。
或者,为了提高像素点对应的light_map的确定效率,手机可以直接通过clip函数限制像素点对应的light_map的处于0到1之间。具体的,对于该待处理图像中的各个像素点,手机可以采用如下公式四确定该像素点对应的亮度调整系数。
其中,np.clip函数用于限制处于0到1之间,当/>处于0到1之间时,该light_map便为当/>小于0时,light_map为0,当/>大于1时,light_map为1。
应理解,像素点的像素值与亮度调整系数之间呈“∩”型关系。假设上述A为128。如图6所示,在像素点的像素值等于128的情况下,像素点需要叠加的噪声最大。在像素点的像素值大于128的情况下,像素点的像素值越高,表明像素点本身越亮,从用户观感来说,用户不希望像素点所在区域(即高亮区域)有噪声,因此,像素点所需叠加的噪声越小,相应的,像素点对应的亮度调整系数也越小。在像素点的像素值小于128的情况下,像素点的像素值越小,表明像素点本身越暗,从用户观感来说,用户不希望像素点所在区域(即暗区)有噪声,因此,为了避免内容杂乱,像素点所需叠加的噪声也越小,相应的,像素点对应的亮度调整系数也越小。
示例性的,一般来说,图像包括平坦区域和非平坦区域,该平坦区域所包括的信息量较少,非平坦区域所包括的信息量较大,其所包括的细节、纹理特征较多。因此,手机还可以根据图像所呈现的内容确定各部分所需叠加的噪声程度(即需要叠加的噪声大小),也就是确定纹理调整系数。对于图像中的包括信息量较大的区域,为了突出显示图像细节、增强图像边缘、增强语义区域内的信息、该信息量较大的区域叠加噪声程度需要较大,以使叠加后的区域与图像其它区域的区分度更加明显,使得图像更加有层次感,从而使图像具有单反相机拍摄的图像的质感。相应的,手机可以提取待处理图像中的目标区域。之后,手机可以将第一预设纹理调整系数作为该目标区域对应的纹理调整系数,也就是说该目标区域中的每个像素点对应的纹理调整系数均为第一预设纹理调整系数。其中,待处理图像中的目标区域表示待处理图像中的信息量较大的区域,也就是非平坦区域。
并且,手机可以将第二预设纹理调整系数作为待处理图像中的非目标区域对应的纹理调整系数,也就是说该非目标区域中的每个像素点对应的纹理调整系数均为第二预设纹理调整系数。其中,该非目标区域表示该待处理图像中的除目标区域以外的区域。该第二预设纹理调整系数小于上述第一预设纹理调整系数。
在一些实施例中,手机在确定待处理图像中的目标区域对应的纹理调整系数时,还可以结合待处理图像的感光度。待处理图像的感光度越低,表明该待处理图像的拍摄环境越亮,待处理图像的细节越清晰,涂抹程度越轻,所需叠加的噪声越小,相应的,纹理调整系数越小。待处理图像的感光度越高,表明该待处理图像的拍摄环境越暗,待处理图像的细节越模糊,涂抹程度越重,所需要叠加的噪声越大,相应的,纹理调整系数越大。
因此,对于待处理图像中的目标区域,该手机可以从所有第二预设感光度范围中查找待处理图像的感光度所属的第二预设感光度范围,并将该待处理图像的感光度所属的第二预设感光度范围作为第二目标感光度范围。之后,手机可以将该第二目标感光度范围对应的预设纹理调整系数作为待处理图像中的目标区域所对应的纹理调整系数,也就是说,该待处理图像中的目标区域中的各个像素点所对应的纹理调整系数为该第二目标感光度范围对应的预设纹理调整系数。
其中,每个第二预设感光度范围存在对应的预设纹理调整系数。第二预设感光度范围所包括的数值越大,第二预设感光度范围对应的预设纹理调整系数越大。
同理,对于待处理图像中的非目标区域,该手机可以从所有第三预设感光度范围中查找待处理图像的感光度所属的第三预设感光度范围,并将该待处理图像的感光度所属的第三预设感光度范围作为第三目标感光度范围。之后,手机可以将该第三目标感光度范围对应的预设纹理调整系数作为待处理图像中的非目标区域所对应的纹理调整系数,也就是说,该待处理图像中的非目标区域中的各个像素点所对应的纹理调整系数为该第三目标感光度范围对应的预设纹理调整系数。
其中,每个第三预设感光度范围存在对应的预设纹理调整系数。第三预设感光度范围所包括的数值越大,第三预设感光度范围对应的预设纹理调整系数越大。
本申请中,由于待处理图像的目标区域和非目标区域所对应的纹理调整系数不同,所叠加的噪声程度不同(即所叠加的噪声大小不同),从而使得叠加噪声后的目标区域与非目标区域之间的区分度更加明显,使得图像更加有层次感以及质感。因此,目标区域对应的纹理调整系数大于非目标区域对应的纹理调整系数。
在一些实施例中,上述待处理图像中的各个像素点对应的调整权重可以是基于目标增益值调整系数、亮度调整系数和纹理调整系数中的至少一个系数确定的。
以上述待处理图像的图像信息包括待处理图像的感光度为例,上述待处理图像中的各个像素点对应的调整权重可以基于目标增益值调整系数确定的,也就是说,各个像素点对应的调整权重均为该目标增益值调整系数。
以上述待处理图像的图像信息包括待处理图像中的像素点的像素值为例,上述待处理图像中的各个像素点对应的调整权重可以基于亮度调整系数确定的,也就是说,各个像素点对应的调整权重为对应像素点所对应的亮度调整系数。
以上述待处理图像的图像信息包括待处理图像的目标区域的信息为例,上述待处理图像中的各个像素点对应的调整权重可以基于纹理调整系数确定的,也就是说,目标区域中的各个像素点对应的调整权重为目标区域对应的纹理调整系数(即上述第一预设纹理调整系数);非目标区域中的各个像素点对应的调整权重为非目标区域对应的纹理调整系数(即上述第二预设纹理调整系数)。
以上述待处理图像的图像信息包括待处理图像的感光度和待处理图像中的像素点的像素值为例,上述待处理图像中的各个像素点对应的调整权重可以基于目标增益值调整系数和亮度调整系数确定的。具体的,对于待处理图像中的各个像素点,计算该像素点对应的亮度调整系数和目标增益值调整系数之间的乘积,得到该像素点对应的调整权重。
以上述待处理图像的图像信息包括待处理图像的感光度和目标区域的信息为例,上述待处理图像中的各个像素点对应的调整权重可以基于目标增益值调整系数和纹理调整系数确定的。具体的,对于待处理图像中的各个像素点,计算该像素点对应的纹理调整系数和目标增益值调整系数之间的乘积,得到该像素点对应的调整权重。其中,在该像素点位于目标区域的情况下,该像素点对应的纹理调整系数可以是目标区域对应的纹理调整系数;在该像素点位于非目标区域的情况下,该像素点对应的纹理调整系数可以是非目标区域对应的纹理调整系数。
以上述待处理图像的图像信息包括待处理图像中的像素点的像素值和目标区域的信息为例,上述待处理图像中的各个像素点对应的调整权重可以基于亮度调整系数和纹理调整系数确定的。具体的,对于待处理图像中的各个像素点,计算该像素点对应的纹理调整系数和该像素点对应的亮度调整系数之间的乘积,得到该像素点对应的调整权重。
以上述待处理图像的图像信息包括待处理图像的感光度、待处理图像中的像素点的像素值和目标区域的信息为例,上述待处理图像中的各个像素点对应的调整权重可以基于目标增益值调整系数、亮度调整系数和纹理调整系数确定的。具体的,对于待处理图像中的各个像素点,计算该像素点对应的纹理调整系数、该像素点对应的亮度调整系数和目标增益值调整系数这三者之间的乘积,得到该像素点对应的调整权重。
本申请实施中,可以根据实际需求确定待处理图像中的像素点对应的调整权重所利用的系数。例如,为了提高图像处理效率,手机可以利用目标增益值调整系数、亮度调整系数和纹理调整系数中的一个系数直接确定调整权重。又例如,为了使单反相机的噪声模板与待处理图像更加适配,实现最优的图像融合效果,手机可以利用目标增益值调整系数、亮度调整系数和纹理调整系数这三个系数确定调整权重。又例如,为了保证图像处理效率较高,以及保证图像融合效果较优,手机可以利用目标增益值调整系数、亮度调整系数和纹理调整系数中的两个系数确定调整权重。当然,在实际应用中,可以根据其它需求确定待处理图像中的像素点对应的调整权重所利用的系数,本申请不对其限制。
S504、手机基于高频区域中的各个第一像素点的像素值,叠加目标高频噪声模板,得到叠加后的高频区域。其中,目标高频噪声模板是利用该高频区域中的各个第一像素点对应的调整权重,对预设单反相机的高频噪声模板进行调整后得到的。
其中,预设单反相机的高频噪声模板可以是通过实施一所述的方法得到的单反相机的高频噪声模板。
在本申请实施例中,考虑到手机拍摄图像的场景可能与上述单反相机的噪声模板的拍摄场景不同,如拍摄内容、拍摄环境的光照强度不同,手机在拍摄待处理图像后,可以不直接将该待处理图像与单反相机的噪声模板进行融合,而是基于待处理图像的具体图像情况,对单反相机的噪声模板进行调整,得到调整后的单反相机的噪声模板,该调整后的单反相机的噪声模板与待处理图像更加适配。之后,手机可以在该待处理图像的基础上,融合调整后的单反相机的噪声模板,实现单反相机的成像效果的模拟。
示例性的,对于高频区域中的每个第一像素点,手机可以先计算预设单反相机的高频噪声模板中的该第一像素点的位置所对应的高频噪声值与该第一像素点对应调整权重之间的乘积,得到该第一像素点的位置所对应的调整后的高频噪声值,即得到该第一像素点对应的调整后的高频噪声值。其中,该第一像素点的位置表示该第一像素点在待处理图像中的位置,如高频区域中的一个第一像素点是待处理图像中的第一个像素点,则该第一像素点的位置是第一个像素点。
之后,手机可以计算该第一像素点的像素值与该第一像素点对应的调整后的高频噪声值,得到第一像素点的融合后的像素值,即融合了调整后的高频噪声值的像素值,从而得到叠加后的高频区域,该叠加后的高频区域融合了单反相机的高频噪声效果,实现单反相机高频噪声的模拟。
具体的,手机在将待处理图像中的高频区域融合预设单反相机的高频噪声模板时,对于该高频图像中的每个第一像素点,可以采用如下公式二进行融合。
img_fusion=img_sub+T*noiseMap公式二;
其中,上述img_sub表示该高频区域中的该第一像素点的像素值。T表示该第一像素点对应的调整权重。noiseMap表示该第一像素点的位置所对应的高频噪声值(或描述为该第一像素点对应的高频噪声值)。该img_fusion表示该第一像素点的融合(即叠加)后的像素值。
举例来说,待处理图像中的高频区域包括像素点a。像素点a是待处理图像中的第一个像素点,则该像素点a对应的调整权重为待处理图像中的第一像素点对应的调整权重T1,该像素点a的位置对应的高频噪声值为预设单反相机的高频噪声模板中的第一个像素点对应的高频噪声值noiseMap1。相应的,像素点a的融合后的像素值=像素点a的像素值+T1*noiseMap1。
在一些实施例中,上述T可以是基于目标增益值调整系数、亮度调整系数和纹理调整系数确定的。相应的,上述公式二实际可以为:img_fusion=img_sub+gain*light_map*texture_map*noiseMap。其中,该gain表示增益值调整系数,light_map表示该第一像素点对应的亮度调整系数,该texture_map表示该第一像素点对应的纹理调整系数。
应理解,该第一像素点对应的亮度调整系数为待处理图像中的与该第一像素点的位置相同的像素点所对应的亮度调整系数。如高频图像中的第一个像素点对应的亮度调整系数为待处理图像中的第一个像素点对应的亮度调整系数。同理,该第一像素点对应的纹理调整系数为待处理图像中的与该第一像素点的位置相同的像素点所对应的纹理调整系数。如高频图像中的第一个像素点对应的纹理调整系数为待处理图像中的第一个像素点对应的纹理调整系数。
其中,上述像素点的位置表示方式仅为一种示例,像素点的位置还可以是坐标值,本申请不对其限制。
在一些实施例中,手机还可以利用上述高频图像融合单反相机的高频噪声模板。对于待处理图像对应的高频图像中的各个像素点,在该像素点的像素值为第一预设值(如0或接近0的数值)的情况下,表明该像素点不属于高频区域,无需叠加高频噪声模板,手机可以直接将0作为该像素点的融合后的像素值。
在该像素点的像素值不为第一预设值的情况下,表明该像素点属于高频区域,该像素点需要叠加高频噪声模板,手机可以按照上述确定第一像素点的融合后的像素值的过程确定该像素点的融合后的像素值,从而实现待处理图像中的高频区域与单反相机的高频噪声模板的融合。
S505、手机基于中频区域中的各个第二像素点的像素值,叠加目标中频噪声模板,得到叠加后的中频区域。其中,目标中频噪声模板是利用该中频区域中的各个第二像素点对应的调整权重,对预设单反相机的中频噪声模板进行调整后得到的。
示例性的,对于中频区域中的每个第二像素点,手机可以先计算预设单反相机的中频噪声模板中的该第二像素点的位置所对应的中频噪声值与该第二像素点对应调整权重之间的乘积,得到该第二像素点的位置所对应的调整后的中频噪声值,即得到该第二像素点对应的调整后的中频噪声值。其中,该第二像素点的位置表示该第二像素点在待处理图像中的位置,如中频区域中的一个第二像素点是待处理图像中的第三个像素点,则该第二像素点的位置是第三个像素点。
之后,手机可以计算该第二像素点的像素值与该第二像素点对应的调整后的中频噪声值,得到第二像素点的融合后的像素值,即融合了调整后的中频噪声值的像素值,从而得到叠加后的中频区域,该叠加后的中频区域融合了单反相机的中频噪声效果,实现单反相机的中频噪声的成像效果的模拟。
其中,手机在将待处理图像中的中频区域融合预设单反相机的中频噪声模板时,对于该中频区域中的每个第二像素点,可以采用如上所述的公式二进行融合。
在一些实施例中,手机还可以利用上述中频图像融合单反相机的中频噪声模板。对于待处理图像对应的中频图像中的各个像素点,在该像素点的像素值为第二预设值(如0或接近0的数值)的情况下,表明该像素点不属于中频区域,无需叠加中频噪声模板,手机可以直接将0作为该像素点的融合后的像素值。
在该像素点的像素值不为第二预设值的情况下,表明该像素点属于中频区域,该像素点需要叠加中频噪声模板,手机可以按照上述确定第二像素点的融合后的像素值的过程确定该像素点的融合后的像素值,从而实现待处理图像中的中频区域与单反相机的中频噪声模板的融合。
S506、手机基于低频区域中的各个第三像素点的像素值,叠加目标低频噪声模板,得到叠加后的低频区域。其中,目标低频噪声模板是利用该低频区域中的各个第三像素点对应的调整权重,对预设单反相机的低频噪声模板进行调整后得到的。
示例性的,对于低频区域中的每个第三像素点,手机可以先计算预设单反相机的低频噪声模板中的该第三像素点的位置所对应的低频噪声值与该第三像素点对应调整权重之间的乘积,得到该第三像素点的位置所对应的调整后的低频噪声值,即得到该第三像素点对应的调整后的低频噪声值。其中,该第三像素点的位置表示该第三像素点在待处理图像中的位置,如低频区域中的一个第三像素点是待处理图像中的第五个像素点,则该第三像素点的位置是第五个像素点。
之后,手机可以计算该第三像素点的像素值与该第三像素点对应的调整后的低频噪声值,得到第三像素点的融合后的像素值,即融合了调整后的低频噪声值的像素值,从而得到叠加后的低频区域,该叠加后的低频区域融合了单反相机的低频噪声效果,实现单反相机的低频噪声的成像效果的模拟。
其中,手机在将待处理图像中的低频区域融合预设单反相机的低频噪声模板时,对于该低频区域中的每个第三像素点,可以采用如上所述的公式二进行融合。
在一些实施例中,手机还可以利用上述低频图像融合单反相机的低频噪声模板。对于待处理图像对应的低频图像中的各个像素点,在该像素点的像素值为第三预设值的情况下,表明该像素点不属于低频区域,无需叠加低频噪声模板,手机可以直接将0作为该像素点的融合后的像素值。
在该像素点的像素值不为第三预设值的情况下,表明该像素点属于低频区域,该像素点需要叠加低频噪声模板,手机可以按照上述确定第三像素点的融合后的像素值的过程确定该像素点的融合后的像素值,从而实现待处理图像中的低频区域与单反相机的低频噪声模板的融合。
在一些实施例中,上述预设单反相机的噪声模板(如预设单反相机的高频噪声模板、中频噪声模板、低频噪声模板)与上述待处理图像的大小可以相同,也可以不同。在上述预设单反相机的噪声模板与待处理图像的大小相同的情况下,手机可以利用单反相机的噪声模板进行融合。在上述预设单反相机的噪声模板的大小小于待处理图像的大小的情况下,手机可以对该预设单反相机的噪声模板进行上采样,以得到与待处理图像的大小相同的预设单反相机的噪声模板。
在上述预设单反相机的噪声模板的大小大于待处理图像的大小的情况下,手机可以对该预设单反相机的噪声模板进行下采样或者裁剪,以得到与待处理图像的大小相同的预设单反相机的噪声模板。
S507、手机对叠加后的高频区域、叠加后的中频区域和叠加后的低频区域进行融合,得到目标图像。
示例性的,手机在得到叠加后的高频区域、叠加后的中频区域和叠加后的低频区域后,可以将其拼接得到完整的图像,即目标图像,该目标图像中的高频区域融合了调整后的单反相机的高频噪声效果、该目标图像中的中频区域融合了调整后的单反相机的中频噪声特性、且该目标图像中的低频区域融合了调整后的单反相机的低频噪声特性。相当于在待处理图像中的高频区域添加了单反相反相机的高频噪声掩膜(mask)图像,在待处理图像中的中频区域添加了单反相反相机的中频噪声掩膜图像,在待处理图像中的低频区域添加了单反相反相机的低频噪声掩膜图像,实现了单反相机的不同频率的噪声特性的模拟,也就是实现了单反相机的成像效果的模拟,使得手机拍摄的图像具备与单反相机相似的质感。并且,手机不是融合单反相机的不同频率的噪声模板,而是利用与待处理图像更加适配的调整后的单反相机的噪声模板进行融合,融合效果更好,从而使得目标图像不同区域过渡更加自然,层次感更强,立体感更强,进而有效提高了图像质量,并提高了用户观感。
应理解,在目标图像中的像素点属于高频区域的情况下,该像素点的像素值为该像素点的位置对应的第一像素点的融合后的像素值。该像素点的位置表示该像素点在目标图像上的位置,即在待处理图像上的位置。
在目标图像中的像素点属于中频区域的情况下,该像素点的像素值为该像素点的位置对应的第二像素点的融合后的像素值。
在目标图像中的像素点属于低频区域的情况下,该像素点的像素值为该像素点的位置对应的第三像素点的融合后的像素值。
在一些实施例中,如图7所示,手机在拍摄待处理图像后,可以采用预设降噪算法,对该待处理图像进行降噪处理,得到降噪后的图像。为了避免由于对图像降噪导致降噪后的图像出现涂抹、层次感较差等问题,手机可以对降噪后的图像进行划分,得到降噪后的图像中的高频区域、中频区域和低频区域。之后,手机可以将高频区域叠加单反相机的高频噪声模板、将中频区域叠加单反相机的中频噪声模板、将低频区域叠加单反相机的低频噪声模板,实现单反相机的不同频率的噪声模板的叠加(即融合),从而使得待处理图像中的高频区域具备单反相机的高频噪声特性,中频区域具备单反相机的中频噪声特性、低频区域具备单反相机的低频噪声特性,保证图像的融合效果。之后,手机可以将叠加后的高频区域、叠加后的中频区域和叠加后的低频区域进行融合,得到具备单反相机的噪声特性的目标图像,从而实现单反相机的成像效果的成功模拟,提高手机拍摄的图像的画质,从而提高用户观感。
在该实施例中,可选的,为了提高图像融合效果,手机可以基于手机拍摄的待处理图像的图像信息或者降噪后的图像的图像信息,确定降噪后的图像中的各个像素点对应的调整权重。之后,手机可以利用各个像素点对应的调整权重,调整单反相机的高频噪声模板、中频噪声模板以及低频噪声模板,以使调整后的单反相机的高频噪声模板、中频噪声模板以及低频噪声模板与图像更加适。之后,手机可以将高频区域叠加调整后的单反相机的高频噪声模板、将中频区域叠加调整后的单反相机的中频噪声模板、将低频区域叠加调整后的单反相机的低频噪声模板。之后,手机可以叠加后的高频区域、叠加后的中频区域和叠加后的低频区域进行融合,得到具备单反相机的噪声特性的目标图像,实现单反相机成像效果的模拟,并且可以是图像内容过渡更加自然,层次感更强,保证图像质量。
其中,手机基于待处理图像的图像信息确定降噪后的图像中的各个像素点对应的调整权重可以参考上述手机利用待处理图像的图像信息,确定待处理图像中的各个像素点对应的调整权重的过程。或者,手机基于降噪后的图像的图像信息确定降噪后的图像中的各个像素点对应的调整权重可以参考上述手机利用待处理图像的图像信息,确定待处理图像中的各个像素点对应的调整权重的过程,此处均不再对其进行赘述。
上面介绍了手机在拍摄待处理图像后,将待处理图像划分成三种频率的区域,对于每种频率的区域,叠加预设单反相机的对应频率的噪声模板,如将待处理图像的高频区域叠加预设单反相机的高频噪声模板、将待处理图像的中频区域叠加预设单反相机的中频噪声模板、将待处理图像的低频区域叠加预设单反相机的低频噪声模板的过程。
当然,手机还可以确定待处理图像中的部分频率区域。之后,手机可以将该部分频率区域叠加预设单反相机的对应频率的噪声模板。
在一种示例中,手机可以将两种频率区域叠加预设单反相机的对应频率的噪声模板。例如,手机可以确定待处理图像中高频区域和中频区域。手机可以利用基于待处理图像的信息,确定高频区域和中频区域中的各个像素点对应的调整权重。手机基于高频区域中的各个第一像素点的像素值,叠加目标高频噪声模板,得到叠加后的高频区域。手机基于中频区域中的各个第一像素点的像素值,叠加目标中频噪声模板,得到叠加后的中频区域。之后,手机可以对叠加后的高频区域、叠加后的中频区域和待处理图像中除该高频区域和中频区域以外的区域进行融合,得到目标图像。
在另一种示例中,手机可以将一种频率区域叠加预设单反相机的对应频率的噪声模板。例如,手机可以确定待处理图像中高频区域。手机可以利用基于待处理图像的信息,确定高频区域中的各个像素点对应的调整权重。手机基于高频区域中的各个第一像素点的像素值,叠加目标高频噪声模板,得到叠加后的高频区域。之后,手机可以对叠加后的高频区域和待处理图像中除该高频区域以外的区域进行融合,得到目标图像。
在一些实施例中,手机还可以将手机拍摄的待处理图像划分为两种频率的区域,也就是该待处理图像是由两种频率的区域组成。如该手机可以将待处理图像划分成高频区域和低频区域,该待处理图像中的一个像素点不是属于高频区域就是属于低频区域。相应的,预设单反相机的噪声模板也可以包括预设单反相机的高频噪声模板和预设单反相机的低频噪声模板。手机可以将该高频区域叠加该预设单反相机的高频噪声模板、将该低频区域叠加预设单反相机的低频噪声模板。之后,手机可以将叠加后的高频噪声模板和低频噪声模板进行融合,得到目标图像。
可见,在实际应用中,手机可以根据实际需求划分图像,以得到不同频率的区域。并且手机可以进行叠加预设单反相机的全部频率或部分频率的噪声模板。也就是说,手机在拍摄待处理图像后,可以确定待处理图像中的第一频率区域。其中,该第一频率区域包括高频区域和/或非高频区域,该非高频区域可以包括中频区域和/或低频区域。
手机可以基于待处理图像的图像信息,确定该第一频率区域中的各个像素点对应的调整权重。之后,对于每个第一频率区域,手机可以基于该第一频率区域中的各个像素点的像素值,叠加目标频率噪声模板,得到叠加后的第一频率区域。该目标频率噪声模板是利用该第一频率区域中的各个像素点对应的调整权重,对预设单反相机的第一频率噪声模板进行调整后得到的,该第一频率噪声模板对应的频率与该第一频率区域对应的频率相同。如该第一频率区域为高频区域,该第一频率噪声模板为高频噪声模板。
之后,在所有第一频率区域指示完整图像的情况下,手机可以对各个叠加后的第一频率区域进行融合,得到目标图像。
在所有第一频区域指示部分图像的情况下,手机对各个第一频率区域和非第一频率区域进行融合,得到目标图像。
在一些实施例中,本申请提供一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上所述的图像处理方法。
在一些实施例中,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如上所述的图像处理方法。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法,其特征在于,包括:
电子设备确定待处理图像中的第一频率区域;所述第一频率区域包括高频区域和/或非高频区域;所述非高频区域包括低频区域和/或中频区域;
所述电子设备基于所述待处理图像的图像信息,确定所述待处理图像中的像素点对应的调整权重,所述像素点对应的调整权重表示所述像素点叠加的噪声程度;所述图像信息包括所述待处理图像的感光度、所述待处理图像中的像素点的像素值和所述待处理图像的目标区域的信息;
对于每个第一频率区域,所述电子设备基于所述第一频率区域中的像素点的像素值,叠加目标频率噪声模板,得到叠加后的所述第一频率区域,所述目标频率噪声模板是利用所述第一频率区域中的像素点对应的调整权重对预设单反相机的第一频率噪声模板进行调整后得到的;所述第一频率噪声模板与所述第一频率区域对应的频率相同;
所述电子设备对叠加后的所述第一频率区域进行融合,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述电子设备基于所述待处理图像的图像信息,确定所述待处理图像中的像素点对应的调整权重,包括:
所述待处理图像中的像素点对应的调整权重是基于目标增益值调整系数、所述像素点对应的亮度调整系数和所述像素点对应的纹理调整系数中的至少一个系数确定的;
其中,所述目标增益值调整系数是与所述待处理图像的感光度所属的第一预设感光度范围对应的增益值调整系数;
所述像素点对应的亮度调整系数是基于所述像素点的像素值确定的;
所述像素点对应的纹理调整系数是基于所述目标区域的信息确定的;所述目标区域包括纹理区域、语义区域、高频区域、中频区域中的至少一个。
3.根据权利要求2所述的方法,其特征在于,所述像素点对应的亮度调整系数是所述电子设备采用如下公式一计算得到的:
其中,light_map表示所述像素点对应的亮度调整系数;gray_img表示所述像素点的像素值;A表示预设像素值。
4.根据权利要求2所述的方法,其特征在于,在所述像素点处于所述目标区域的情况下,所述像素点对应的纹理调整系数是第一预设纹理调整系数;
在所述像素点处于非目标区域的情况下,所述像素点对应的纹理调整系数是第二预设纹理调整系数;所述非目标区域是所述待处理图像中除所述目标区域以外的区域;其中,所述第二预设纹理调整系数小于所述第一预设纹理调整系数。
5.根据权利要求2所述的方法,其特征在于,在所述像素点处于所述目标区域的情况下,所述像素点对应的纹理调整系数是与所述感光度所属的第二预设感光度范围对应的预设纹理调整系数;
在所述像素点处于非目标区域的情况下,所述像素点对应的纹理调整系数是与所述感光度所属的第三预设感光度范围对应的预设纹理调整系数。
6.根据权利要求2至5中任一项所述的方法,其特征在于,所述像素点对应的调整权重是所述目标增益值调整系数、所述像素点对应的亮度调整系数和所述像素点对应的纹理调整系数三者之间的乘积。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述电子设备基于所述第一频率区域中的像素点的像素值,叠加目标频率噪声模板,得到叠加后的所述第一频率区域,包括:
对于所述第一频率区域中的每个像素点,所述电子设备采用公式二
img_fusion=img_sub+T*noiseMap公式二;
计算所述像素点的叠加后的像素值;
其中,img_fusion表示所述像素点的叠加后的像素值;img_sub表示所述像素点的像素值,T表示所述像素点对应的调整权重,noiseMap表示所述第一频率噪声模板中的所述像素点的位置所对应的噪声值;所述像素点的位置表示所述像素点在所述待处理图像上的位置;
其中,所述叠加后的所述第一频率区域中的像素点的像素值是所述像素点的叠加后的像素值。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述第一频率区域包括所述高频区域和所述非高频区域,所述非高频区域包括所述低频区域和所述中频区域;
所述对于每个第一频率区域,所述电子设备基于所述第一频率区域中的像素点的像素值,叠加目标频率噪声模板,得到叠加后的所述第一频率区域,包括:
所述电子设备基于所述高频区域中的各个第一像素点的像素值,叠加目标高频噪声模板,得到叠加后的高频区域;其中,所述目标高频噪声模板是利用所述高频区域中的各个第一像素点对应的调整权重,对预设单反相机的高频噪声模板进行调整后得到的;
所述电子设备基于所述中频区域中的各个第二像素点的像素值,叠加目标中频噪声模板,得到叠加后的中频区域;其中,所述目标中频噪声模板是利用所述中频区域中的各个第二像素点对应的调整权重,对预设单反相机的中频噪声模板进行调整后得到的;
所述电子设备基于所述低频区域中的各个第三像素点的像素值,叠加目标低频噪声模板,得到叠加后的低频区域;其中,所述目标低频噪声模板是利用所述低频区域中的各个第三像素点对应的调整权重,对预设单反相机的低频噪声模板进行调整后得到的。
9.根据权利要求8所述的方法,其特征在于,所述预设单反相机的低频噪声模板包括多个低频噪声值;所述低频噪声值是通过如下公式三确定的:
noiseMap=noise–np.mean(noise)公式三
其中,noise表示预设高光照强度对应的灰度卡图像中的像素点的像素值,所述np.mean(noise)表示所述预设高光照强度对应的灰度卡图像中的所有像素点的灰度值的平均值,noiseMap表示所述预设高光照强度对应的灰度卡图像中的像素点的位置所对应的低频噪声值。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述电子设备确定待处理图像中的第一频率区域,包括:
所述电子设备对所述待处理图像进行降噪处理;
所述电子设备确定所述降噪后的图像中的第一频率区域。
11.一种电子设备,其特征在于,所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器;所述显示屏、所述摄像头、所述存储器和所述处理器耦合;所述摄像头用于采集图像,所述显示屏用于显示所述处理器生成的图像,以及所述摄像头采集的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1至10中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。
CN202310215261.4A 2023-02-24 2023-02-24 图像处理方法及电子设备 Pending CN117132477A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215261.4A CN117132477A (zh) 2023-02-24 2023-02-24 图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215261.4A CN117132477A (zh) 2023-02-24 2023-02-24 图像处理方法及电子设备

Publications (1)

Publication Number Publication Date
CN117132477A true CN117132477A (zh) 2023-11-28

Family

ID=88861644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215261.4A Pending CN117132477A (zh) 2023-02-24 2023-02-24 图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN117132477A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163670A1 (en) * 2001-03-30 2002-11-07 Masayuki Takahira Image processing method and apparatus, and recording medium
US20160330347A1 (en) * 2007-06-26 2016-11-10 Google Inc. Method for noise-robust color changes in digital images
US20180114296A1 (en) * 2016-10-21 2018-04-26 Qualcomm Incorporated Systems and methods for image enhancement
CN108989678A (zh) * 2018-07-27 2018-12-11 维沃移动通信有限公司 一种图像处理方法、移动终端
CN111753275A (zh) * 2020-06-04 2020-10-09 支付宝(杭州)信息技术有限公司 基于图像的用户隐私保护方法、装置、设备和存储介质
CN112241929A (zh) * 2019-07-16 2021-01-19 阿里巴巴集团控股有限公司 水印嵌入及水印检测方法、装置及电子设备
WO2021082580A1 (zh) * 2019-10-31 2021-05-06 北京迈格威科技有限公司 一种夜景高动态范围图像生成方法、装置和电子设备
CN113486377A (zh) * 2021-07-22 2021-10-08 维沃移动通信(杭州)有限公司 图像加密方法、装置、电子设备和可读存储介质
CN113888437A (zh) * 2021-10-15 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114066738A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质
CN114627022A (zh) * 2022-03-18 2022-06-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20220207790A1 (en) * 2019-09-18 2022-06-30 Huawei Technologies Co., Ltd. Image generation method and apparatus, and computer
CN114897885A (zh) * 2022-06-17 2022-08-12 北京东宇宏达科技有限公司 一种红外图像质量综合评价***和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020163670A1 (en) * 2001-03-30 2002-11-07 Masayuki Takahira Image processing method and apparatus, and recording medium
US20160330347A1 (en) * 2007-06-26 2016-11-10 Google Inc. Method for noise-robust color changes in digital images
US20180114296A1 (en) * 2016-10-21 2018-04-26 Qualcomm Incorporated Systems and methods for image enhancement
CN108989678A (zh) * 2018-07-27 2018-12-11 维沃移动通信有限公司 一种图像处理方法、移动终端
CN112241929A (zh) * 2019-07-16 2021-01-19 阿里巴巴集团控股有限公司 水印嵌入及水印检测方法、装置及电子设备
US20220207790A1 (en) * 2019-09-18 2022-06-30 Huawei Technologies Co., Ltd. Image generation method and apparatus, and computer
WO2021082580A1 (zh) * 2019-10-31 2021-05-06 北京迈格威科技有限公司 一种夜景高动态范围图像生成方法、装置和电子设备
CN111753275A (zh) * 2020-06-04 2020-10-09 支付宝(杭州)信息技术有限公司 基于图像的用户隐私保护方法、装置、设备和存储介质
CN114066738A (zh) * 2020-07-31 2022-02-18 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质
CN113486377A (zh) * 2021-07-22 2021-10-08 维沃移动通信(杭州)有限公司 图像加密方法、装置、电子设备和可读存储介质
CN113888437A (zh) * 2021-10-15 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114627022A (zh) * 2022-03-18 2022-06-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114897885A (zh) * 2022-06-17 2022-08-12 北京东宇宏达科技有限公司 一种红外图像质量综合评价***和方法

Similar Documents

Publication Publication Date Title
CN112150399B (zh) 基于宽动态范围的图像增强方法及电子设备
WO2021036715A1 (zh) 一种图文融合方法、装置及电子设备
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN113810598B (zh) 一种拍照方法、电子设备及存储介质
US11508046B2 (en) Object aware local tone mapping
US20220245778A1 (en) Image bloom processing method and apparatus, and storage medium
CN115550570B (zh) 图像处理方法与电子设备
US20220207676A1 (en) Photographing method, terminal, and storage medium
CN113850726A (zh) 图像变换方法和装置
CN113096022A (zh) 图像虚化处理方法、装置、存储介质与电子设备
EP4231621A1 (en) Image processing method and electronic device
CN116437198B (zh) 图像处理方法与电子设备
CN115529411B (zh) 视频虚化方法和装置
CN113810622B (zh) 一种图像处理方法及设备
CN116668838A (zh) 图像处理方法与电子设备
CN117132477A (zh) 图像处理方法及电子设备
CN117544851A (zh) 拍摄方法及相关装置
CN116452437B (zh) 高动态范围图像处理方法及电子设备
CN117440253B (zh) 图像处理方法和相关装置
US20230137831A1 (en) Electronic device for improving image quality
CN117395495B (zh) 一种图像处理方法及电子设备
CN117745620B (zh) 一种图像处理方法及电子设备
CN116051368B (zh) 图像处理方法及其相关设备
EP4294001A1 (en) Photographing control method and device
CN115526788A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination