CN117408927A - 图像处理方法、设备及存储介质 - Google Patents
图像处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117408927A CN117408927A CN202311698871.0A CN202311698871A CN117408927A CN 117408927 A CN117408927 A CN 117408927A CN 202311698871 A CN202311698871 A CN 202311698871A CN 117408927 A CN117408927 A CN 117408927A
- Authority
- CN
- China
- Prior art keywords
- brightness
- image
- value
- pixel unit
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 16
- 239000000758 substrate Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 48
- 230000006870 function Effects 0.000 description 21
- 238000007726 management method Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、设备及存储介质,涉及终端技术领域。该方法包括:在夜景拍摄模式下,获取摄像头采集的第一图像,对第一图像中高亮部分的像素单元进行亮度调节,显示亮度调节后的第二图像。高亮部分的像素单元在第二图像中的亮度小于其在第一图像中的亮度,避免图像高亮部分过度曝光,以提升图像质量。
Description
技术领域
本申请涉及终端技术领域,尤其涉及图像处理方法、设备及存储介质。
背景技术
随着智能终端设备的普及,用户使用电子设备如手机、平板电脑等进行拍摄已成为一种常态,用户对拍摄的图像质量的要求也越来越高。
受到专业水平的限制,大多数用户不知如何根据拍摄场景设置合适的拍摄参数,以至于很难拍摄出高质量的图像,尤其在夜景等特殊场景中,拍摄的图像质量较差,例如夜景图像中高亮区过度曝光,无法清晰显示,暗区过暗等。
发明内容
本申请实施例提供一种图像处理方法、设备及存储介质,避免图像过曝,提升图像质量。
第一方面,本申请实施例提出一种图像处理方法,可应用于具有拍摄和图像处理功能的电子设备,或者图像处理装置,该方法包括:在夜景拍摄模式下,获取摄像头采集的第一图像,第一图像中第一像素单元的亮度值大于第一亮度值;显示第二图像,第一像素单元在第二图像中的亮度值小于第一像素单元在第一图像中的亮度值。
第一图像为摄像头采集的原始图像,第一图像中的第一像素单元指的是第一图像中高亮部分的像素单元,高亮部分的像素单元的亮度值大于第一亮度值,参照图3,高亮部分的像素单元可对应亮度值落在第四亮度区间的像素单元,其中,第一亮度值可对应图3中的thr3,本实施例对thr3的设置不作限定。
第二图像是对第一图像进行图像处理后的图像,图像处理包括亮度调节、对比对修正等。第一像素单元在第二图像中的亮度值,相较于第一像素单元在第一图像中的亮度值降低。
上述方案,通过对第一图像中高亮部分的像素单元的亮度进行压暗处理,实现对第一图像亮度的修正,使得第一图像亮度更加合理,避免出现高亮部分过度曝光,提升图像质量。
第一方面的一个可选实施例中,图像处理方法,还包括:获取第一图像的亮度信息;通过比对亮度信息与预设阈值的大小关系,确定第一参数;基于第一参数调节第一像素单元的亮度值,得到第二图像。其中,第一参数用于指示第一图像中第一像素单元的亮度调节程度。
第一图像的亮度信息包括第一图像的亮度均值,如第一图像中高亮部分的亮度均值和第一图像的全图亮度均值。通过比较第一图像的亮度均值与预设阈值的大小,可确定第一参数。其中,第一参数并非亮度调节参数,第一参数可以看作是一个中间参数,该中间参数可用于确定对第一图像高亮部分的亮度调节参数。第一参数可对应judge。
上述方案示出了根据第一图像的亮度信息确定亮度调节的一个中间参数,为后续确定亮度调节参数提供数据支撑。
第一方面的一个可选实施例中,第一图像的亮度信息包括第一图像的第一亮度均值和第二亮度均值的至少一项。第一亮度均值为第一图像中预设亮度区间的所有像素单元的亮度均值,第二亮度均值为第一图像中所有像素单元的亮度均值。通过比对亮度信息与预设阈值的大小关系,确定第一参数,包括:通过比对第一亮度均值与第一阈值的大小关系,以及第二亮度均值与第二阈值的大小关系,确定第一参数。
第一亮度均值即第一图像中高亮部分的亮度均值,可对应mean_highlight。第二亮度均值即第一图像中全图亮度均值,可对应judge_light。
预设亮度区间可以是第四亮度区间(thr3,255],thr3可以是全图像素单元亮度排序后前n%的最后一个像素单元的亮度值,例如n取2。
预设阈值包括第一阈值和第二阈值,第一阈值用于与第一亮度均值比对,例如第一阈值为200,第二阈值用于与第二亮度均值比对,例如第二阈值为2。
第一方面的一个可选实施例中,通过比对第一亮度均值与第一阈值的大小关系,以及第二亮度均值与第二阈值的大小关系,确定第一参数,包括:
若第一亮度均值小于第一阈值,且第二亮度均值小于第二阈值,第一参数为1;或者,若第一亮度均值小于第一阈值,或者第二亮度均值小于第二阈值,第一参数为第一值,第一值为小于1的正数;或者,若第一亮度值大于或等于第一阈值,且第二亮度均值大于或等于第二阈值,第一参数为第二值,第二值为小于第一值的正数。
示例性的,第一值可以为0.9,第二值可以为小于0.9的值。
第一参数与第一亮度均值、第一阈值、第二亮度均值、第二阈值的关系可参照公式七,可根据实际情况配置公式七的参数值,对此本申请实施例不作限定。
第一方面的一个可选实施例中, 第二值是根据第一亮度均值和第二亮度均值确定的。
第一方面的一个可选实施例中,若第一参数为第二值,图像处理方法,还包括:基于第一亮度均值和第二亮度均值确定第二参数,第二参数用于指示第一亮度均值与第二亮度均值的比例系数;基于第一亮度均值确定第三参数,第三参数用于指示第一亮度均值与最高亮度值的比例系数;通过对第二参数和第三参数进行加权求和,得到第二值。
第二参数可对应公式五的judge1,第三参数可对应公式六的judge2,最高亮度值记为255。通过对第二参数和第三参数加权求和得到第二值,可参照公式七中的第三行,第二值可以为。
第一方面的一个可选实施例中,基于第一参数调节第一像素单元的亮度值,包括:遍历第一像素单元中的每一个像素单元,基于第一参数、第一亮度值以及第一像素单元中的每一个像素单元的亮度值,确定第一像素单元中的每一个像素单元的亮度调节参数; 基于第一像素单元中的每一个像素单元的亮度调节参数,调节第一像素单元中的每一个像素单元的亮度值。
第一像素单元为第一图像中高亮部分的像素单元,确定高亮部分中每个像素单元的亮度调节参数可参照公式四,公式四仅作为一种示例,对此本申请实施例不作限定。
一种示例中,可通过gamma变化的方式,基于每一个像素单元的亮度调节参数,调节第一像素单元中的每一个像素单元的亮度值,可参照公式八。
上述方案,通过遍历第一图像中高亮部分的每个像素单元,确定高亮部分的每个像素单元的亮度调节参数,以调节第一图像中高亮部分的每个像素单元的亮度,避免图像高亮部分曝光过度。
第一方面的一个可选实施例中,图像处理方法,还包括:第二像素单元为第一像素单元中的任一像素单元,基于二维高斯核以及第二像素单元的亮度调节参数,调节多个第三像素单元的亮度值;多个第三像素单元为以第二像素单元为中心的预设区域内的像素单元。
第二像素单元为第一图像中高亮部分的像素单元的任一像素单元。具体的,在确定第二像素单元的亮度调节参数后,基于二维高斯核函数以及第二像素单元的亮度调节参数,确定以第二像素单元为中心的预设区域内的多个第三像素单元的亮度调节参数;在调节第二像素单元的亮度值的同时,调节多个第三像素单元的亮度值。第三像素单元为第二像素单元邻近区域的像素单元。上述处理过程可参照图5。
上述方案,在对第一图像高亮部分每个像素单元进行亮度调节(ratio小于1)时,还可以对高亮部分每个像素单元邻近区域的像素单元进行亮度调节,避免亮度调节不连续,提升图像亮度调节效果。
第一方面的一个可选实施例中,也可以对第一图像中暗部(较暗部分和较亮部分)的像素单元进行亮度调节(ratio大于1)时,对其邻近区域的像素单元进行亮度调节,避免亮度调节不连续。
第一方面的一个可选实施例中,图像处理方法,还包括:遍历第四像素单元中的每一个像素单元,第四像素单元包括第一图像中亮度值大于第二亮度值,且小于第一亮度值的多个像素单元;基于第二亮度值、第一亮度值以及第四像素单元中的每一个像素单元的亮度值,调节第四像素单元中的每一个像素单元的亮度值。
基于第二亮度值、第一亮度值以及第四像素单元中的每一个像素单元的亮度值,确定第四像素单元中每一个像素单元的亮度调节参数,以调节第四像素单元中每一个像素单元的亮度值。
一种示例中,第四像素单元可以是第一图像中较暗部分的像素单元,第二亮度值可以为thr1,第一亮度值可以为thr2,可参照公式二确定第四像素单元中每一个像素单元的亮度调节参数。
一种示例中,第四像素单元可以是第一图像中较亮部分的像素单元,第二亮度值可以为thr2,第一亮度值可以为thr3,可参照公式三确定第四像素单元中每一个像素单元的亮度调节参数。
一种示例中,第四像素单元可以是第一图像中除极暗部分和高亮部分之外的像素单元,第二亮度值可以为thr1,第一亮度值可以为thr3,可基于如下公式确定第四像素单元中每一个像素单元的亮度调节参数:。
上述方案示出了如何确定第一图像中暗部像素单元的亮度调节参数,以提亮暗部的亮度值,避免暗部过暗,提升图像亮度效果。
第一方面的一个可选实施例中,图像处理方法,还包括:获取亮度调节参数小于1的所有亮度调节参数的平均值;若亮度调节参数小于1的所有亮度调节参数的平均值小于第三阈值,遍历第二图像中的每一个像素单元;基于第一亮度均值以及第二图像中的每一个像素单元的亮度值,调节第二图像中的每一个像素单元的亮度值。
第三阈值可以为(1-x/2),例如x取0.4。第一亮度均值为第一图像中高亮部分的亮度均值。
在一些实施例中,基于第一亮度均值以及第二图像中的每一个像素单元的亮度值,调节第二图像中的每一个像素单元的亮度值,可参照公式九。在一些实施例中,还可以采用其他对比度修正方式,调节第二图像中每一个像素单元的亮度值。
上述方案,通过比对亮度调节参数的平均值与第三阈值的大小关系,确定是否需要对第二图像进行对比度修正,可避免亮度调节可能导致图像发蒙的现象,提升图像的整体效果。
第二方面,本申请实施例提供了一种电子设备,电子设备包括:存储器和处理器,所述处理器用于调用所述存储器中的计算机程序,以执行如第一方面任一项所述的方法。
第三方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行如第一方面任一项所述的方法。
第四方面,本申请实施例提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,使得芯片执行如第一方面任一项所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面任一项所述的方法。
应当理解的是,本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1为本申请实施例提供的手机拍摄的界面操作示意图;
图2为本申请实施例提供的图像处理方法的流程示意图一;
图3为本申请实施例提供的一种亮度区间的划分示意图;
图4为本申请实施例提供的图像处理方法的流程示意图二;
图5为本申请实施例提供的调节当前像素单元及其邻近区域的示意图;
图6为本申请实施例提供的图像处理方法的流程示意图三;
图7为本申请实施例提供的一种电子设备的结构示意图;
图8为本申请实施例提供的一种电子设备的软件架构及交互示意图。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(种/个)”或其类似表达,是指的这些项中的任意组合,包括单项(种/个)或复数项(种/个)的任意组合。例如,a,b或c中的至少一项(种/个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等,数据包括图像或视频等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
下面首先对本申请实施例涉及到的专业术语进行解释说明。
第一,像素是构成数字图像的基本单元,像素也称为像素点或像素单元,像素单元可以包括一个像素点或多个像素点。
第二,亮度值是指图像的明亮程度。
第三,灰度值是指像素的亮度值,在数字图像中,每个像素都有一个对应的灰度值,该灰度值用来描述该像素的亮度值。灰度值通常用一个0至255的整数表示,其中0代表黑色,255代表白色。
第四,感光度ISO是衡量图像传感器对光线的敏感度的指标,夜景拍摄模式通常会提高ISO,以提高图像传感器对光线的敏感度,从而增加图像的亮度。
第五,图像发蒙通常是指图像的清晰度和对比度不足,导致图像看起来模糊不清,这可能是由于多种原因引起的,如拍摄位置不当、曝光时间不足、ISO设置过高、图像处理不当等。
第六,普通拍摄模式是相机应用的默认拍摄模式,在该模式下,相机会根据环境光线自动调节曝光、白平衡和对焦等参数,以便于用户快速拍摄。
第七,夜景拍摄模式是相机应用在低光环境下的拍摄模式,在该模式下,通常会使用较长的曝光时间来捕捉更多的光线,并可能启用闪光灯进行拍摄。
在夜景拍摄场景下,用户使用电子设备如手机、平板电脑等进行拍摄时,可在电子设备的相机应用中手动调节拍摄参数,例如调节相机的曝光时间、ISO参数等。然而,大多数用户不知如何设置合适的拍摄参数,拍摄的夜景图像质量较差,无法达到用户预期。
在一些实施例中,电子设备的相机应用支持夜景拍摄模式,用户可以手动切换到夜景拍摄模式下进行拍摄,或者,电子设备检测到当前拍摄场景为夜景拍摄场景时,自动切换到夜景拍摄模式。
示例性的,图1为本申请实施例提供的手机拍摄的界面操作示意图。如图1中a所示,响应于用户点击主界面101上的相机应用102的操作,手机显示拍摄界面103,如图1中b所示,手机相机处于普通拍摄模式,拍摄界面103的预览区域105显示摄像采集的夜景图像,夜景图像中的交通信号灯曝光过度。
响应于用户在拍摄界面103的拍摄模式选择区域104的滑动操作,如向右滑动至夜景拍摄模式的操作,手机相机切换至夜景拍摄模式,如图1中c所示,拍摄界面103的预览区域105显示该模式下图像处理后的夜景图像,图像中交通信号灯的亮度适中。
响应于用户点击拍摄控件106的操作,存储图像处理后的夜景图像至手机相册,用户可点击控件107查看图像处理后的夜景图像。
夜景拍摄模式下,可通过增加曝光时间以捕捉更多的细节和光线,提升图像的整体亮度,然而,图像整体亮度的提升可能导致高亮区过度曝光,暗区提亮过于明显等问题。
对此,本申请实施例提供一种图像处理方法,针对亮度存在上述问题的夜景图像,通过分析、比对夜景图像中高亮部分的亮度平均值和全图亮度平均值,对于夜景图像中不同亮度区间内的像素单元设置不同的亮度调节参数,该参数可记为ratio,实现对夜景图像亮度的修正,使得夜景图像的各部分的亮度更加合理,避免出现高亮部分过度曝光、暗部过度提亮。
本申请实施例中,像素单元也可以描述为像素块或图像块,像素单元包括一个或多个像素点。相机包括摄像头、图像传感器等,调节相机参数也可以描述为调节摄像头参数,切换相机的拍摄模式也可以描述为切换摄像头的拍摄模式。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的图像处理方法的流程示意图一。该方法可应用于具有拍摄和图像处理功能的电子设备,为了方便理解,下述实施例以电子设备为手机为例,进行方案说明。如图2所示,本实施例的图像处理方法,包括:
S201. 获取摄像头采集的第一图像。
在手机摄像头切换至夜景拍摄模式后,摄像头采集第一图像。第一图像是摄像头基于当前拍摄参数采集的未经图像处理的原始图像,第一图像可能存在亮度过低或过度曝光等问题。
S202. 获取第一图像的亮度信息。第一图像的亮度信息包括第一图像中高亮部分的亮度平均值,以及第一图像中全图亮度平均值。
一种示例中,参照图3,第一图像中高亮部分的亮度平均值可以是第一图像中亮度值大于thr3的所有像素单元的亮度平均值。例如,thr3可以是根据第一图像的所有像素单元的亮度排序确定,例如将第一图像中所有像素单元按照亮度值从高到低排序后,将排在85%的像素单元的亮度值设置为thr3。又例如,thr3为根据经验值设置的亮度值,如在0至255区间中取210为thr3。
另一种示例中,第一图像中高亮部分的亮度平均值可以是第一图像中预设亮度区间的所有像素单元的亮度平均值。预设亮度区间可通过对第一图像中所有像素单元的亮度值进行排序确定,将第一图像中所有像素单元按照亮度值从高到低排序后,确定排在前n%的像素单元,例如n取2,排在前n%的最后一个像素单元的亮度值作为预设亮度区间的右端点的亮度值,获取大于或等于右端点的亮度值的所有像素单元的亮度值,以确定第一图像中预设亮度区间的所有像素单元的亮度平均值。
第一图像中全图亮度平均值指的是第一图像中所有像素单元的亮度平均值。
第一图像高亮部分的亮度平均值以及第一图像的全图亮度平均值,均可以采用如下方式的任一种,确定相对应的多个像素单元的亮度平均值:
方式1:通过提取第一图像中多个像素单元的Y分量,确定多个像素单元的亮度平均值。
方式2:获取第一图像中多个像素单元在红绿蓝(RGB)三通道下的亮度平均值后,再对多个像素单元在三通道下的亮度平均值作加权求和以及均方根处理,得到多个像素单元的亮度平均值,具体可参照如下公式一:
公式一
式中,表示第一图像中多个像素单元的亮度平均值,/>表示第一图像中多个像素单元在红(red,简称R)通道下的亮度平均值,/>表示第一图像中多个像素单元在绿(green,简称G)通道下的亮度平均值,/>表示第一图像中多个像素单元在B通道下的亮度平均值。
在一些实施例中,在获取第一图像中高亮部分的各像素单元的亮度值后,可通过方式1确定第一图像中高亮部分的亮度平均值light1,将light1作为第一图像中高亮部分的亮度平均值judge_light,即judge_light=light1。
在一些实施例中,在获取第一图像中高亮部分的各像素单元的亮度值后,可通过方式2确定第一图像中高亮部分的亮度平均值light2,将light2作为第一图像中高亮部分的亮度平均值judge_light,即judge_light=light2。
在一些实施例中,在获取第一图像中高亮部分的各像素单元的亮度值后,可通过方式1确定第一图像中高亮部分的亮度平均值light1,通过方式2确定第一图像中高亮部分的亮度平均值light2,将light1和light2的平均值作为第一图像中高亮部分的亮度平均值judge_light,即judge_light=(light1+light2)/2。
在一些实施例中,在获取第一图像中各像素单元的亮度值后,可通过方式1确定第一图像中全图亮度平均值mean_light1,将mean_light1作为第一图像中全图亮度平均值mean_light,即mean_light=mean_light1。
在一些实施例中,在获取第一图像中各像素单元的亮度值后,可通过方式2确定第一图像中全图亮度平均值mean_light2,将mean_light2作为第一图像中全图亮度平均值mean_light,即mean_light=mean_light2。
在一些实施例中,在获取第一图像中各像素单元的亮度值后,可通过方式1确定第一图像中全图亮度平均值mean_light1,通过方式2确定第一图像中全图亮度平均值mean_light2,将mean_light1和mean_light2的平均值作为第一图像中全图亮度平均值mean_light,即mean_light=(mean_light1+mean_light2)/2。
获取第一图像的亮度信息,以便后续基于该亮度信息,确定第一图像中高亮部分的像素单元的亮度调节参数,具体可参照后文S204d部分的图4所示实施例。
S203. 遍历第一图像中每一个像素单元,获取到某一像素单元的亮度值。
应理解,第一图像中每一个像素单元都包含一组完整的Y、U、V分量,其中Y表示亮度(luminance,简称luma),即为灰度值,U和V表示色度(chrominance,简称chroma),即为色调和饱和度。本申请实施例中,提取的是第一图像中每一个像素单元的Y分量。
根据当前像素单元的亮度值大小,可执行S204,如图2所示,S204包括以下任一项:
S204a. 若像素单元的亮度值小于thr1,像素单元的亮度值保持不变。或者
S204b. 若像素单元的亮度值在thr1至thr2之间,基于第一亮度调节公式确定像素单元的亮度调节参数,以调节像素单元的亮度值。或者
S204c. 若像素单元的亮度值在thr2至thr3之间,基于第二亮度调节公式确定像素单元的亮度调节参数,以调节像素单元的亮度值。或者
S204d. 若当前像素单元的亮度值大于thr3,基于第三亮度调节公式调节确定像素单元的亮度调节参数,以调节像素单元的亮度值。
上述thr1,thr2,thr3均为亮度值,图3示出了一种亮度区间的划分示意图,如图3所示,上述亮度值的大小关系为:thr1<thr2<thr3,其中thr1为大于0的正整数,thr3为小于255的正整数。[0,thr1]记为第一亮度区间,(thr1,thr2]记为第二亮度区间,(thr2,thr3]记为第三亮度区间,(thr3,255]即为第四亮度区间。
基于图3所示的亮度划分,第一亮度区间也可描述为极暗亮度区间,第二亮度区间为较暗亮度区间,第三亮度区间为较亮区间,第四亮度区间为高亮区间。
图3作为一种示例,在一些实施例中,可划分更少或更多的亮度区间,例如,极暗亮度区间与高亮区间之间有一个过渡区间,该过渡区间包括上述的第二亮度区间和第三亮度区间。
下面分别对S204a、S204b、S204c和S204d进行详细说明。
(1)对于S204a,若像素单元的亮度值小于thr1,即像素单元的亮度值落在第一亮度区间,表明该像素单元为第一图像中极暗部分的像素单元,通常设置该像素单元的亮度调节参数为ratio=1,即该像素单元的亮度值保持不变。这样设置的原因是:在夜景拍摄场景下,对于极暗部分的提亮可能会导致画面整体不符合事实,例如拍摄夜晚天空时,如果将画面中夜晚天空部分提亮,可能导致天空部分过亮,与实际拍摄场景不符。
(2)对于S204b,若像素单元的亮度值在thr1至thr2之间,即像素单元的亮度值落在第二亮度区间,表明该像素单元为第一图像中较暗部分的像素单元,可通过第一亮度调节公式,即如下公式二,确定像素单元的亮度调节参数。
公式二
式中,ratio为当前像素单元的亮度调节参数,x为正数,例如x取0.35,Y[i,j]表示当前像素单元的亮度值,(i,j)为当前像素单元在第一图像中的坐标位置,即在第一图像的第i行,第j列的像素单元。
(3)对于S204c,若像素单元的亮度值在thr2至thr3之间,即像素单元的亮度值落在第三亮度区间,表明该像素单元为第一图像中较亮部分的像素单元,可通过第二亮度调节公式,即如下公式三,确定像素单元的亮度调节参数。
公式三
式中参数解释参见上文。
上述的公式二和公式三均为线性变化公式,以使像素单元的亮度变化是连续性的,可避免图像相邻像素单元的亮度调节差异过大,也即相邻像素单元的亮度调节参数是连续的。
通常情况下,落在第二亮度区间的像素单元的亮度调节参数,大于落在第三亮度区间的像素单元的亮度调节参数,实现以较大亮度调节参数提亮落在第二亮度区间的像素单元的亮度值,以较小亮度调节参数提亮落在第三亮度区间的像素单元的亮度值,落在第三亮度区间的像素单元的提亮主要起到平滑过渡的作用。
综上,S204b和S204c是对第一图像中除极暗部分和高亮部分的像素单元之外的像素单元进行亮度提升,S204b和S204c确定的亮度调节参数均为小于1的正数,以提升像素单元的亮度值,S204b对像素单元的亮度提升程度大于S204c对像素单元的亮度提升程度。在一些实施例中,将第一图像中的较暗部分和较亮部分称为第一图像中的暗部,对第一图像中的暗部提亮程度不易过大,否则会有图像发蒙的现象,具体可参见后文实施例。
(4)对于S204d,若像素单元的亮度值大于thr3,即像素单元的亮度值落在第四亮度区间,表明该像素单元为第一图像中高亮部分的像素单元,可通过第三亮度调节公式,即如下公式四,确定像素单元的亮度调节参数。
公式四
式中,为正数,通常设置为2,以使像素单元的亮度值Y[i,j]在thr3临界值时,ratio为1,使得亮度调节参数在亮度区间的临界处是连续的。
式中,judge为确定亮度调节参数的一个中间参数,该参数用于指示对落在第四亮度区间的像素单元的亮度调节程度,即judge用于指示第一图像中高亮部分的像素单元的亮度调节程度,基于judge可确定亮度调节参数的具体数值。
公式四中,judge为1的情况下,ratio为1,表示不需要对第一图像中的高亮部分进行压暗处理。judge不为1的情况下,,表示需要对第一图像中的高亮部分进行压暗处理,该情况下,ratio为大于1的正数,例如ratio=1.2。应理解,judge值越小,第一图像中高亮部分越少,ratio值越小,对第一图像中高亮部分的亮度调节程度(即压暗程度)越小。
可基于S202中第一图像的亮度信息确定judge,在确定judge后,即可基于上述的公式四,确定第一图像中高亮部分的像素单元的亮度调节参数。
下面对如何确定judge进行示例性说明。
S202中,第一图像的亮度信息包括第一图像中高亮部分的亮度均值mean_highlight(可简称为高亮均值),以及第一图像的全图亮度均值judge_light。
首先,可通过如下公式五确定高亮均值与全图亮度均值的比值judge1,以及,通过如下公式六确定高亮均值在亮度范围(即200至255)中的阈值judge2。judge1和judge2可用于确定judge。
judge1=clip(mean_highlight/judge_light,1,4) 公式五
式中,clip为裁切函数,若mean_highlight/judge_light小于1,则judge1=1,若mean_highlight/judge_light在[1,4]区间,则judge1=mean_highlight/judge_light,若mean_highlight/judge_light大于4,则judge1=4。
judge2=(mean_highlight-200)/(255-200)+1 公式六
其次,通过比对第一图像中高亮均值与第一阈值200的大小关系,以及第一图像中全图亮度均值与第二阈值2的大小关系,确定judge,可参见公式七。
公式七
式中,和/>均在[0,1]区间内取值,可通过图像测试不断修正,例如/>=5/16,=1/8。
基于公式七,若,judge设置为1,再结合公式四,ratio为1,即不对第一图像中高亮部分进行压暗处理,第一图像中高亮部分的像素单元的亮度值保持不变。若/>,judge设置为0.9,再结合公式四,对第一图像中高亮部分进行略微压暗处理。若mean_highlight≥200,且judge1≥2,可基于judge1和judge2确定judge,再结合公式四,对第一图像中高亮部分进行压暗处理。
在一些实施例中,在确定当前像素单元的亮度调节参数后,基于当前像素单元的亮度调节参数,可使用gamma变化的方式对当前像素单元的亮度值进行调节,可参见公式八。
公式八
式中,y1为当前像素单元的亮度值,ratio为当前像素单元的亮度调节参数,y2为处理后的当前像素单元的亮度值。
基于公式八可知,若ratio值小于1,是对当前像素单元亮度进行提亮,若ratio大于1,是对当前像素单元亮度进行压暗,若ratio等于1,当前像素单元亮度保持不变。
在S204之后,还包括:
S205. 确定是否遍历完第一图像中的所有像素单元。若未遍历完第一图像中的所有像素单元,跳回S203。若遍历完第一图像中的所有像素单元,执行S206。
S206. 输出第二图像。
第二图像是对第一图像进行上述图像处理后的图像,电子设备可将第二图像呈现在相机应用的预览区域。在一些实施例中,在相机应用预览区域显示第二图像时,用户触发拍摄,可将第二图像存储至电子设备相册中,相册中的图像为经上述图像处理后的图像。
本实施例示出的图像处理方法,在获取夜景拍摄模式下摄像头采集的第一图像后,通过分析、比对第一图像中高亮部分的亮度均值和全图亮度均值,对第一图像中不同亮度区间内的像素单元进行不同程度的亮度调节,实现对第一图像亮度的修正,使得第一图像的各部分亮度更加合理,避免图像高亮部分过度曝光,暗部过度提亮。
在图2所示实施例的基础上,在一些实施例中,可以在遍历每一个像素单元时,使用高斯核函数对当前像素单元以及其邻近像素单元同时以一定比例调节亮度,实现亮度调节的连续性,进一步提升图像亮度效果。下面结合图4对该图像处理方法进行描述。
图4为本申请实施例提供的图像处理方法的流程示意图二。与图2所示实施例不同的是,本实施例的图像处理方法在遍历第一图像中的某一像素单元,基于S204确定当前像素单元的亮度调节参数之后,还包括:
S401. 确定当前像素单元的亮度调节参数是否为1。
若确定当前像素单元的亮度调节参数不为1,执行S402;或者
若确定当前像素单元的亮度调节参数为1,执行S205。
S402. 基于二维高斯核以及当前像素单元的亮度调节参数,调节当前像素单元的邻近区域的多个像素单元。
基于二维高斯核以及当前像素单元的亮度调节参数,确定当前像素单元的邻近区域的多个像素单元的亮度调节参数,在基于当前像素单元的亮度调节参数调节当前像素单元的亮度值的同时,基于当前像素单元的邻近区域的多个像素单元的亮度调节参数,调节当前像素单元的邻近区域的多个像素单元。
其中,当前像素单元的邻近区域指的是以当前像素单元为中心的预设区域,例如邻近区域为3×3或5×5。
示例性的,图5为本申请实施例提供的调节当前像素单元及其邻近区域的示意图,图5以当前像素单元的邻近区域为3×3举例,图5中所示的0.7为当前像素单元的亮度调节参数,矩阵1可对应二维高斯核,二维高斯核的中心点的z值为1,中心点对应当前像素单元,中心点周围的z值与当前像素单元的亮度调节参数0.7相乘,可得到当前像素单元的邻近区域的各像素单元的亮度调节参数,矩阵2示出了当前像素单元及其邻近区域像素单元的亮度调节参数。
需要说明的是,上述示例是对图像中高亮部分的像素单元进行压暗处理(ratio小于1)的同时,对高亮部分的像素单元邻近区域的像素单元进行相对应的亮度调节,避免亮度调节不连续。
还需要说明的是,在另一些示例中,当前像素单元的亮度调节参数为大于1的正数时,也可以采用与图5类似处理逻辑,以调节当前像素单元的邻近区域的像素单元的亮度调节参数,实现对图像中暗部(较暗部分和较亮部分)的像素单元进行提亮处理的同时,对其邻近区域的像素单元进行相对应的亮度调节。
在S402之后,执行S205。
图4中的S201至S206可参照图2实施例,本实施例不再赘述。
本实施例示出了在遍历第一图像中每一个像素单元,基于该像素单元的亮度调节参数调节该像素单元的亮度值的同时,还可以对该像素单元周围的像素单元进行相对应的亮度调节,避免亮度调节不连续,提升图像亮度调节效果。
在图2或图4所示实施例的基础上,在一些实施例中,在对第一图像中各部分的像素单元进行亮度调节后,还可以对图像整体的对比度进行修正,使得图像亮度效果更合理,避免图像整体发蒙或清晰度不足。下面结合图6对该图像处理方法进行描述。
图6为本申请实施例提供的图像处理方法的流程示意图三。与图2或图4所示实施例不同的是,本实施例的图像处理方法在遍历完第一图像中所有像素单元后,或者说在完成对第一图像中各部分像素单元的亮度调节后,还包括:
S601. 获取亮度调节参数小于1的所有亮度调节参数的平均值。
S602. 确定亮度调节参数小于1的所有亮度调节参数的平均值是否小于(1-x/2)。其中x为正数,即上述公式二或公式三中的x,例如x取0.35。
若亮度调节参数小于1的所有亮度调节参数的平均值小于或等于(1-x/2),执行S603;或者,若亮度调节参数小于1的所有亮度调节参数的平均值大于(1-x/2),执行S206。
示例性的,以x取0.4为例,1-x/2为0.8,若亮度调节参数小于1的所有亮度调节参数的平均值小于或等于0.8,表明第一图像中暗部(较暗部分和较亮部分)的提亮程度较大,亮度调节后的图像可能会有图像发蒙的现象,需要进一步调整图像的对比度,以提升图像清晰度。若亮度调节参数小于1的所有亮度调节参数的平均值大于0.8,表明第一图像中暗部的提亮程度较小,图像效果较合理,可直接输出亮度调节后的图像。
S603. 修正图像对比度。
在一些实施例中,采用convertScaleAbs的方式修正图像对比度,针对图像中的每一个像素单元,可基于公式九和公式十,修正像素单元的亮度值。
公式九
式中,表示当前像素单元的亮度值,beta 通常设置为20,abs为绝对值函数,dst表示修正后的当前像素单元的亮度值。
alpha=float(20/mean_highlight)+1 公式十
式中,alpha为待修正的参数,mean_highlight为第一图像高亮部分的亮度均值,float函数是一种常用的数据类型转换函数,用于将其他数据类型转换为浮点数类型。
在一些实施例中,还可以采用其他对比度修正方式,如直方图均衡等,修正图像对比度。
S603之后,执行S206。
本实施例示出了在调节第一图像中各部分的像素单元的亮度后,通过统计亮度调节参数的均值,确定是否需要进行图像对比度修正,可避免亮度调节可能导致图像发蒙的现象,提升图像的整体效果。
上述几个实施例示出的图像处理方法可应用于具有拍摄和图像处理功能的任一电子设备。电子设备也可以称为终端(terminal)、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。电子设备可以为具有拍摄和显示功能的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)电子设备、增强现实(augmented reality,AR)电子设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。
示例性的,图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示,电子设备100包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,传感器180,按键190,摄像头193,显示屏194。
可以理解,本实施例示意的结构并不构成对电子设备100的具体限定。在一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
可以理解,实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
处理器110可以包括一个或多个处理单元。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110中还可以设置存储器,用于存储指令和数据。
本申请实施例中,处理器110可用于调用存储器中的计算机程序,以执行上述方法实施例的步骤,实现对夜景图像亮度的调节。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电,也可以用于终端设备与***设备之间传输数据,也可以用于连接耳机,通过耳机播放音频。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,WLAN),蓝牙,全球导航卫星***(global navigation satellite system,GNSS),调频(frequencymodulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。
电子设备100通过GPU,显示屏194,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过图像信号处理(image signal process,ISP)模块,一个或多个摄像头193,视频编解码器,GPU,一个或多个显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括一个或N个摄像头193,N为大于1的正整数。摄像头193包括镜头、图像传感器(如CMOS图像传感器(complementary metal oxide semiconductor image sensor,简称CIS))、马达等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行各种功能应用以及数据处理等。
传感器180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器180K,环境光传感器,骨传导传感器等。
触摸传感器180K,也可称触控面板。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称触控屏。触摸传感器180K用于检测作用于其上或附近的触摸操作,并将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入,例如,在开启相机应用的情况下,用户可通过按压开机键触发相机拍照或录像。
电子设备的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的软件***为安卓(Android)***为例,示例性说明电子设备的软件结构。
图8为本申请实施例提供的一种电子设备的软件架构及交互示意图。分层架构将电子设备的软件***分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图8所示,电子设备包括应用程序层,应用程序框架层,硬件抽象层和驱动层。
应用程序层包括相机应用,用户可以使用相机应用拍摄图像或视频。在一些实施例中,应用程序包还可以包括图库,日历,通话,地图,导航,蓝牙,音乐,视频等应用程序。
应用程序框架层可为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。本申请实施例中,应用程序框架层包括相机管理模块和窗口管理模块。
相机管理模块负责管理相机设备信息,相机应用可通过相机管理模块获取相机特性,如摄像头个数、拍摄能力等参数。在一些实施例中,相机管理模块还可用于在相机应用与相机硬件抽象层之间传输数据,例如,相机应用通过相机管理模块向相机硬件抽象层传输开启夜景拍摄模式的通知消息,以便相机硬件抽象层在接收到相机拍摄的夜景图像后,调取相机算法模块,对夜景图像进行图像处理,以修正夜景图像的图像亮度、对比度等。
窗口管理模块负责管理应用程序中的窗口以及与用户界面的交互,例如负责管理相机应用窗口,将窗口内容,包括相机拍摄的夜景图像或亮度调节后的夜景图像,送至显示驱动显示。
硬件抽象层是位于内核层与硬件电路之间的接口层。本申请实施例中,硬件抽象层包括相机硬件抽象层和相机算法模块,相机硬件抽象层可调用相机算法模块,以优化相机拍摄的图像或视频。在一些实施例中,相机算法模块包括图像处理模块,图像处理模块用于对夜景拍摄模式下采集的图像进行亮度、对比度调节,以获得高质量的夜景图像。
需要说明的是,图像处理模块并不限定于硬件抽象层,在一些实施例中,图像处理模块也可以位于应用程序层。例如,可以将图像处理模块集成到相机应用中,或者,相机应用通过调用应用程序层的图像处理模块,以调节夜景图像的亮度、对比度。
驱动层为不同硬件设备提供驱动。本申请实施例中,驱动层可以包括相机驱动和显示驱动。相机驱动可用于驱动电子设备的摄像头工作,以采集原始图像。显示驱动用于驱动电子设备的显示屏工作,以显示摄像头采集的原始图像或者经亮度、对比度调节后的图像。
在上述所示的电子设备软硬件架构的基础上,下面结合图8对本申请实施例提供的图像处理方法的设备内部执行过程进行说明。
如图8所示,本实施例的图像处理方法,包括:
S801. 响应于开启夜景拍摄模式的操作,相机应用向相机管理模块发送开启夜景拍摄模式的通知。
示例性的,如图1中的b所示,开启夜景拍摄模式的操作可以是用户在拍摄界面103的拍摄模式选择区域104向右滑动至夜景拍摄模式的操作,响应于该操作,相机应用向相机管理模块发送开启夜景拍摄模式的通知。
在一些实施例中,在检测到当前拍摄场景为夜景拍摄场景时,相机应用向相机管理模块发送开启夜景拍摄模式的通知,该实施例中,电子设备可自动切换至夜景拍摄模式。
S802. 相机管理模块向相机硬件抽象层发送开启夜景拍摄模式的通知。
S803. 相机驱动向相机硬件抽象层发送摄像头采集的第一图像。
第一图像为未经图像后处理的原始图像。
S804. 相机硬件抽象层向图像处理模块发送图像处理请求,图像处理请求包括第一图像。
图像处理请求用于触发图像处理模块对第一图像进行亮度、对比度调节,以获得高质量的第二图像。图像处理模块可执行前述方法实施例的步骤,以调节第一图像的亮度、对比度,具体可参照前文,此处不再赘述。
S805. 图像处理模块向相机硬件抽象层发送图像处理响应,图像处理响应包括第二图像。
S806. 相机硬件抽象层向相机管理模块发送第二图像。
S807. 相机管理模块向相机应用发送第二图像。
S808. 相机应用向窗口管理模块发送第二图像。
S809. 窗口管理模块向显示驱动发送第二图像。
示例性的,如图1中的c所示,在拍摄界面103的预览区域105显示第二图像。
需要说明的是,上述设备内部执行过程仅作为一种示例,并不构成对本申请提供的图像处理内部执行过程的限制。在一些实施例中,图像处理模块位于应用程序层,相机应用通过调用图像处理模块,以获取第二图像,相应的内部执行过程有所差异。
基于前述实施例,本申请实施例提供一种图像处理方法,可应用于具有拍摄和图像处理功能的电子设备,或者图像处理装置,该方法包括:
步骤1. 在夜景拍摄模式下,获取摄像头采集的第一图像,第一图像中第一像素单元的亮度值大于第一亮度值。
步骤2. 显示第二图像,第一像素单元在第二图像中的亮度值小于第一像素单元在第一图像中的亮度值。
第一图像为摄像头采集的原始图像,第一图像中的第一像素单元指的是第一图像中高亮部分的像素单元,高亮部分的像素单元的亮度值大于第一亮度值,参照图3,高亮部分的像素单元可对应亮度值落在第四亮度区间的像素单元,其中,第一亮度值可对应图3中的thr3,本实施例对thr3的设置不作限定,具体可参照前述实施例。
第二图像是对第一图像进行图像处理后的图像,图像处理包括亮度调节、对比对修正等。第一像素单元在第二图像中的亮度值,相较于第一像素单元在第一图像中的亮度值降低。
上述实施例,通过对第一图像中高亮部分的像素单元的亮度进行压暗处理,实现对第一图像亮度的修正,使得第一图像亮度更加合理,避免出现高亮部分过度曝光,提升图像质量。
一个可选实施例中,图像处理方法,还包括:获取第一图像的亮度信息;通过比对亮度信息与预设阈值的大小关系,确定第一参数;基于第一参数调节第一像素单元的亮度值,得到第二图像。其中,第一参数用于指示第一图像中第一像素单元的亮度调节程度。
第一图像的亮度信息包括第一图像的亮度均值,如第一图像中高亮部分的亮度均值和第一图像的全图亮度均值。通过比较第一图像的亮度均值与预设阈值的大小,可确定第一参数。其中,第一参数并非亮度调节参数,第一参数可以看作是一个中间参数,该中间参数可用于确定对第一图像高亮部分的亮度调节参数。第一参数可对应前述实施例的judge。
上述实施例示出了根据第一图像的亮度信息确定亮度调节的一个中间参数,为后续确定亮度调节参数提供数据支撑。
一种可选实施例中,第一图像的亮度信息包括第一图像的第一亮度均值和第二亮度均值的至少一项。第一亮度均值为第一图像中预设亮度区间的所有像素单元的亮度均值,第二亮度均值为第一图像中所有像素单元的亮度均值。通过比对亮度信息与预设阈值的大小关系,确定第一参数,包括:通过比对第一亮度均值与第一阈值的大小关系,以及第二亮度均值与第二阈值的大小关系,确定第一参数。
第一亮度均值即第一图像中高亮部分的亮度均值,可对应前述实施例的mean_highlight。第二亮度均值即第一图像中全图亮度均值,可对应前述实施例的judge_light。mean_highlight和judge_light的确定方式可参照前述实施例,本实施例对mean_highlight和judge_light的确定方式不作限定。
预设亮度区间可以是第四亮度区间(thr3,255],thr3可以是全图像素单元亮度排序后前n%的最后一个像素单元的亮度值,例如n取2。
预设阈值包括第一阈值和第二阈值,第一阈值用于与第一亮度均值比对,例如第一阈值为200,第二阈值用于与第二亮度均值比对,例如第二阈值为2。
一种可选实施例中,通过比对第一亮度均值与第一阈值的大小关系,以及第二亮度均值与第二阈值的大小关系,确定第一参数,包括:
若第一亮度均值小于第一阈值,且第二亮度均值小于第二阈值,第一参数为1;或者,若第一亮度均值小于第一阈值,或者第二亮度均值小于第二阈值,第一参数为第一值,第一值为小于1的正数;或者,若第一亮度值大于或等于第一阈值,且第二亮度均值大于或等于第二阈值,第一参数为第二值,第二值为小于第一值的正数。
示例性的,第一值可以为0.9,第二值可以为小于0.9的值。
第一参数与第一亮度均值、第一阈值、第二亮度均值、第二阈值的关系可参照前述实施例的公式七,可根据实际情况配置公式七的参数值,对此本申请实施例不作限定。
一种可选实施例中,第二值是根据第一亮度均值和第二亮度均值确定的。
一种可选实施例中,若第一参数为第二值,图像处理方法,还包括:基于第一亮度均值和第二亮度均值确定第二参数,第二参数用于指示第一亮度均值与第二亮度均值的比例系数;基于第一亮度均值确定第三参数,第三参数用于指示第一亮度均值与最高亮度值的比例系数;通过对第二参数和第三参数进行加权求和,得到第二值。
第二参数可对应前述实施例公式五的judge1,第三参数可对应前述实施例公式六的judge2,最高亮度值记为255。通过对第二参数和第三参数加权求和得到第二值,可参照前述实施例公式七中的第三行,第二值可以为。/>
一种可选实施例中,基于第一参数调节第一像素单元的亮度值,包括:遍历第一像素单元中的每一个像素单元,基于第一参数、第一亮度值以及第一像素单元中的每一个像素单元的亮度值,确定第一像素单元中的每一个像素单元的亮度调节参数; 基于第一像素单元中的每一个像素单元的亮度调节参数,调节第一像素单元中的每一个像素单元的亮度值。
第一像素单元为第一图像中高亮部分的像素单元,确定高亮部分中每个像素单元的亮度调节参数可参照前述实施例的公式四,公式四仅作为一种示例,对此本申请实施例不作限定。
一种示例中,可通过gamma变化的方式,基于每一个像素单元的亮度调节参数,调节第一像素单元中的每一个像素单元的亮度值,可参照前述实施例的公式八。
上述实施例,通过遍历第一图像中高亮部分的每个像素单元,确定高亮部分的每个像素单元的亮度调节参数,以调节第一图像中高亮部分的每个像素单元的亮度,避免图像高亮部分曝光过度。
一种可选实施例中,图像处理方法,还包括:第二像素单元为第一像素单元中的任一像素单元,基于二维高斯核以及第二像素单元的亮度调节参数,调节多个第三像素单元的亮度值;多个第三像素单元为以第二像素单元为中心的预设区域内的像素单元。
第二像素单元为第一图像中高亮部分的像素单元的任一像素单元。具体的,在确定第二像素单元的亮度调节参数后,基于二维高斯核函数以及第二像素单元的亮度调节参数,确定以第二像素单元为中心的预设区域内的多个第三像素单元的亮度调节参数;在调节第二像素单元的亮度值的同时,调节多个第三像素单元的亮度值。第三像素单元为第二像素单元邻近区域的像素单元。上述处理过程可参照图5。
上述实施例,在对第一图像高亮部分每个像素单元进行亮度调节(ratio小于1)时,还可以对高亮部分每个像素单元邻近区域的像素单元进行亮度调节,避免亮度调节不连续,提升图像亮度调节效果。
一种可选实施例中,也可以对第一图像中暗部(较暗部分和较亮部分)的像素单元进行亮度调节(ratio大于1)时,对其邻近区域的像素单元进行亮度调节,避免亮度调节不连续。
一种可选实施例中,图像处理方法,还包括:遍历第四像素单元中的每一个像素单元,第四像素单元包括第一图像中亮度值大于第二亮度值,且小于第一亮度值的多个像素单元;基于第二亮度值、第一亮度值以及第四像素单元中的每一个像素单元的亮度值,调节第四像素单元中的每一个像素单元的亮度值。
基于第二亮度值、第一亮度值以及第四像素单元中的每一个像素单元的亮度值,确定第四像素单元中每一个像素单元的亮度调节参数,以调节第四像素单元中每一个像素单元的亮度值。
一种示例中,第四像素单元可以是第一图像中较暗部分的像素单元,第二亮度值可以为前述实施例的thr1,第一亮度值可以为thr2,可参照前述实施例的公式二确定第四像素单元中每一个像素单元的亮度调节参数。
一种示例中,第四像素单元可以是第一图像中较亮部分的像素单元,第二亮度值可以为前述实施例的thr2,第一亮度值可以为thr3,可参照前述实施例的公式三确定第四像素单元中每一个像素单元的亮度调节参数。
一种示例中,第四像素单元可以是第一图像中除极暗部分和高亮部分之外的像素单元,第二亮度值可以为前述实施例的thr1,第一亮度值可以为thr3,可基于如下公式确定第四像素单元中每一个像素单元的亮度调节参数:。
上述实施例示出了如何确定第一图像中暗部像素单元的亮度调节参数,以提亮暗部的亮度值,避免暗部过暗,提升图像亮度效果。
一种可选实施例中,图像处理方法,还包括:获取亮度调节参数小于1的所有亮度调节参数的平均值;若亮度调节参数小于1的所有亮度调节参数的平均值小于第三阈值,遍历第二图像中的每一个像素单元;基于第一亮度均值以及第二图像中的每一个像素单元的亮度值,调节第二图像中的每一个像素单元的亮度值。
第三阈值可以为前述实施例的(1-x/2),例如x取0.4。第一亮度均值为第一图像中高亮部分的亮度均值。
在一些实施例中,基于第一亮度均值以及第二图像中的每一个像素单元的亮度值,调节第二图像中的每一个像素单元的亮度值,可参照前述实施例的公式九。在一些实施例中,还可以采用其他对比度修正方式,调节第二图像中每一个像素单元的亮度值。
上述实施例,通过比对亮度调节参数的平均值与第三阈值的大小关系,确定是否需要对第二图像进行对比度修正,可避免亮度调节可能导致图像发蒙的现象,提升图像的整体效果。
需要说明的是,上述实施例中,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。硬件电路可能包括应用特有集成电路(application specific integratedcircuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其他支持所描述的功能的合适组件。
因此,在本申请实施例中描述的各示例的模块,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供一种电子设备,包括:存储器和处理器,所述处理器用于调用所述存储器中的计算机程序,以执行如前述任一方法实施例的技术方案,其实现原理和技术效果与前述任一实施例类似,此处不再赘述。
存储器可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器可以是独立存在,通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
处理器可以是通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行前述任一实施例的技术方案,其实现原理和技术效果与前述任一实施例类似,此处不再赘述。
本申请实施例提供一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行前述任一实施例中的技术方案,其实现原理和技术效果与前述任一实施例类似,此处不再赘述。
本申请实施例提供一种计算机程序产品,当所述计算机程序产品在电子设备运行时,使得所述电子设备执行前述任一实施例中的技术方案,其实现原理和技术效果与前述任一实施例类似,此处不再赘述。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (13)
1.一种图像处理方法,其特征在于,包括:
在夜景拍摄模式下,获取摄像头采集的第一图像,所述第一图像中第一像素单元的亮度值大于第一亮度值;
显示第二图像,所述第一像素单元在所述第二图像中的亮度值小于所述第一像素单元在所述第一图像中的亮度值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述第一图像的亮度信息;
通过比对所述亮度信息与预设阈值的大小关系,确定第一参数;所述第一参数用于指示所述第一图像中所述第一像素单元的亮度调节程度;
基于所述第一参数调节所述第一像素单元的亮度值,得到第二图像。
3.根据权利要求2所述的方法,其特征在于,所述第一图像的亮度信息包括所述第一图像的第一亮度均值和第二亮度均值的至少一项;
所述第一亮度均值为所述第一图像中预设亮度区间的所有像素单元的亮度均值,所述第二亮度均值为所述第一图像中所有像素单元的亮度均值;
通过比对所述亮度信息与预设阈值的大小关系,确定第一参数,包括:
通过比对所述第一亮度均值与第一阈值的大小关系,以及所述第二亮度均值与第二阈值的大小关系,确定所述第一参数。
4.根据权利要求3所述的方法,其特征在于,通过比对所述第一亮度均值与第一阈值的大小关系,以及所述第二亮度均值与第二阈值的大小关系,确定所述第一参数,包括:
若所述第一亮度均值小于所述第一阈值,且所述第二亮度均值小于所述第二阈值,所述第一参数为1;或者
若所述第一亮度均值小于所述第一阈值,或者所述第二亮度均值小于所述第二阈值,所述第一参数为第一值,所述第一值为小于1的正数;或者
若所述第一亮度值大于或等于所述第一阈值,且所述第二亮度均值大于或等于所述第二阈值,所述第一参数为第二值,所述第二值为小于所述第一值的正数。
5.根据权利要求4所述的方法,其特征在于,所述第二值是根据所述第一亮度均值和所述第二亮度均值确定的。
6.根据权利要求4所述的方法,其特征在于,
若所述第一参数为所述第二值,所述方法还包括:
基于所述第一亮度均值和所述第二亮度均值确定第二参数,所述第二参数用于指示所述第一亮度均值与所述第二亮度均值的比例系数;
基于所述第一亮度均值确定第三参数,所述第三参数用于指示所述第一亮度均值与最高亮度值的比例系数;
通过对所述第二参数和所述第三参数进行加权求和,得到所述第二值。
7.根据权利要求2所述的方法,其特征在于,
基于所述第一参数调节所述第一像素单元的亮度值,包括:
遍历所述第一像素单元中的每一个像素单元, 基于所述第一参数、所述第一亮度值以及所述第一像素单元中的每一个像素单元的亮度值,确定所述第一像素单元中的每一个像素单元的亮度调节参数;
基于所述第一像素单元中的每一个像素单元的亮度调节参数,调节所述第一像素单元中的每一个像素单元的亮度值。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
基于二维高斯核以及第二像素单元的亮度调节参数,调节多个第三像素单元的亮度值;
所述第二像素单元为所述第一像素单元中的任一像素单元,所述多个第三像素单元为以所述第二像素单元为中心的预设区域内的像素单元。
9.根据权利要求2所述的方法,其特征在于,所述方法还包括:
遍历第四像素单元中的每一个像素单元,所述第四像素单元包括所述第一图像中亮度值大于第二亮度值,且小于所述第一亮度值的多个像素单元;
基于所述第二亮度值、所述第一亮度值以及所述第四像素单元中的每一个像素单元的亮度值,调节所述第四像素单元中的每一个像素单元的亮度值。
10.根据权利要求2至9任一项所述的方法,其特征在于,所述方法还包括:
获取亮度调节参数小于1的所有亮度调节参数的平均值;
若亮度调节参数小于1的所有亮度调节参数的平均值小于第三阈值,遍历所述第二图像中的每一个像素单元;
基于第一亮度均值以及所述第二图像中的每一个像素单元的亮度值,调节所述第二图像中的每一个像素单元的亮度值。
11.一种电子设备,其特征在于,所述电子设备包括:存储器和处理器,所述处理器用于调用所述存储器中的计算机程序,以执行如权利要求1至10任一项所述的方法。
12.一种芯片,其特征在于,所述芯片包括处理器,所述处理器用于调用存储器中的计算机程序,使得所述芯片执行如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311698871.0A CN117408927A (zh) | 2023-12-12 | 2023-12-12 | 图像处理方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311698871.0A CN117408927A (zh) | 2023-12-12 | 2023-12-12 | 图像处理方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117408927A true CN117408927A (zh) | 2024-01-16 |
Family
ID=89496480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311698871.0A Pending CN117408927A (zh) | 2023-12-12 | 2023-12-12 | 图像处理方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117408927A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947179A (zh) * | 2020-07-16 | 2022-01-18 | 浙江宇视科技有限公司 | 白平衡校正方法、装置、设备和存储介质 |
CN114095666A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 拍照方法、电子设备和计算机可读存储介质 |
WO2022096013A1 (zh) * | 2020-11-09 | 2022-05-12 | 影石创新科技股份有限公司 | 自动曝光方法、装置、电子设备及计算机可读存储介质 |
WO2022116989A1 (zh) * | 2020-12-01 | 2022-06-09 | 影石创新科技股份有限公司 | 图像处理方法、装置、设备和存储介质 |
CN115767290A (zh) * | 2022-09-28 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
-
2023
- 2023-12-12 CN CN202311698871.0A patent/CN117408927A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113947179A (zh) * | 2020-07-16 | 2022-01-18 | 浙江宇视科技有限公司 | 白平衡校正方法、装置、设备和存储介质 |
WO2022096013A1 (zh) * | 2020-11-09 | 2022-05-12 | 影石创新科技股份有限公司 | 自动曝光方法、装置、电子设备及计算机可读存储介质 |
WO2022116989A1 (zh) * | 2020-12-01 | 2022-06-09 | 影石创新科技股份有限公司 | 图像处理方法、装置、设备和存储介质 |
CN114095666A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 拍照方法、电子设备和计算机可读存储介质 |
CN115767290A (zh) * | 2022-09-28 | 2023-03-07 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4024323A1 (en) | Image processing method and apparatus | |
CN112150399B (zh) | 基于宽动态范围的图像增强方法及电子设备 | |
CN109547691B (zh) | 图像拍摄方法和图像拍摄装置 | |
US20150244916A1 (en) | Electronic device and control method of the same | |
US20100259639A1 (en) | Automatic backlight detection | |
EP3820141A1 (en) | Imaging control method and apparatus, electronic device, and readable storage medium | |
US8860840B2 (en) | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus | |
CN114693580B (zh) | 图像处理方法及其相关设备 | |
US11601600B2 (en) | Control method and electronic device | |
CN110706162A (zh) | 一种图像处理方法、装置及计算机存储介质 | |
US8502882B2 (en) | Image pick-up apparatus, white balance setting method and recording medium | |
CN112419218B (zh) | 图像处理方法、装置及电子设备 | |
KR20140106221A (ko) | 다수 이미지 센서를 이용한 촬영방법 및 장치 | |
KR20200009922A (ko) | 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법 | |
EP2658245B1 (en) | System and method of adjusting camera image data | |
CN112437237A (zh) | 拍摄方法及装置 | |
CN116668862A (zh) | 图像处理方法与电子设备 | |
CN115706870B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN113393391B (zh) | 图像增强方法、图像增强装置、电子设备和存储介质 | |
CN117408927A (zh) | 图像处理方法、设备及存储介质 | |
EP3889883A1 (en) | Image processing method and device, mobile terminal, and storage medium | |
CN103167183B (zh) | 一种半透明取景框处理方法、***及移动终端 | |
CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
CN116389885B (zh) | 拍摄方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |