CN117119316A - 图像处理方法、电子设备及可读存储介质 - Google Patents
图像处理方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117119316A CN117119316A CN202311387337.8A CN202311387337A CN117119316A CN 117119316 A CN117119316 A CN 117119316A CN 202311387337 A CN202311387337 A CN 202311387337A CN 117119316 A CN117119316 A CN 117119316A
- Authority
- CN
- China
- Prior art keywords
- parameter
- color
- light source
- image
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 abstract description 35
- 230000000875 corresponding effect Effects 0.000 description 85
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 22
- 239000010410 layer Substances 0.000 description 18
- 230000004044 response Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法、电子设备及可读存储介质。通过设计若干个与ISP参数关联的色彩调节参数的方式,向用户提供可对拍摄照片进行色彩调节的前述若干个色彩调节参数。再根据用户对各色彩调节参数的调试结果确定相应拍摄场景的目标ISP参数值。进而,当检测到用户再次拍摄属于该拍摄场景的照片时,可自动根据该场景下已确定的目标ISP参数值对拍摄照片进行色彩调节,使得调节后的拍摄照片的色彩效果符合人眼观看的色彩效果。
Description
技术领域
本申请涉及图像技术领域,具体涉及一种图像处理方法、电子设备及可读存储介质。
背景技术
在基于图像处理器(image signal processor,ISP)调试终端设备拍摄照片的色彩效果时,通常由调试人员在设备出厂前对应用频率较高的场景(以下称典型场景)下拍摄的照片进行人工调试。例如,对于夜间、日间、人像、城市等典型场景,调试人员通常以其观测到的视觉色彩效果作为参照,通过反复调试ISP参数的方式,将照片的显示色彩效果调整至趋近于人眼的视觉色彩效果,并将此时的ISP参数值作为各典型场景对应的目标ISP参数值。进而,当用户在以上各典型场景下拍摄照片时,终端设备可以根据该场景对应的目标ISP参数值对该照片的色彩效果进行自动调试,以还原人眼观看到的色彩效果,为用户提供较佳的视觉体验。
然而,面对用户在实际使用过程中可能遇见的海量场景,设备出厂前的人工调试无法做到场景全覆盖。因此,对于设备出厂前未经人工调试的非典型场景,可能导致用户在拍摄照片时,存在拍摄效果难以满足色彩需求的问题。例如在这些非典型场景中,终端设备直接将终端设备拍摄的照片显示给用户,或采用其他典型场景调试的目标ISP参数值对非典型场景中拍摄的照片进行调试,均可能出现照片的色彩效果与人眼看到的实际色彩差异较大。
发明内容
本申请提供了一种图像处理方法、电子设备及可读存储介质。能够将用户拍摄照片的显示色彩效果调整至趋近于人眼的视觉色彩效果。
第一方面,本申请提供了一种图像处理方法,该方法应用于电子设备,包括:获取待处理的第一图像;获取与第一图像所属的第一拍摄场景对应的色彩参数的第一色彩参数值;基于第一色彩参数值,对第一图像进行色彩调节,得到第二图像,其中,第一色彩参数值是基于第一调节参数值确定的,其中,第一调节参数值是用户对第三图像进行色彩调节所输入的调节参数的参数值,并且第三图像第一图像所属的拍摄场景相同。
例如,待处理的第一图像可为用户操作电子设备拍摄的照片,可以是实时拍摄的照片,也可以是已经存储在电子设备或电子设备从其他存储介质中获取到的照片。在此,其他存储介质包括但不限于服务器、云端等。
再例如,第一图像所属的第一拍摄场景可以为下文的典型场景或非典型场景。可以理解,若第一拍摄场景为典型场景,则基于本申请提供的图像处理方法可对该典型场景的第一色彩参数值进行优化,该优化基于用户输入的第一色彩调节参数值进行,因而将更符合用户需求;若第一拍摄场景为非典型场景,则基于本申请提供的图像处理方法可确定该非典型场景的第一色彩参数值,使得非典型场景下拍摄照片的色彩效果可符合用户的视觉效果。
在此,色彩参数可为下文中的ISP参数,第一色彩参数值可为下文中的目标ISP参数值。调节参数可为下文中的色彩调节参数,第一调节参数值可为下文中的目标色彩调节参数值。第二图像可为下文中基于目标ISP参数值对拍摄照片进行色彩调节后得到的图像。第三图像可为下文中用户输入了第一调节参数值的拍摄照片。其中,第三图像可以是实时拍摄的照片,也可以是已经存储在电子设备或电子设备从其他存储介质中获取到的照片。在此,其他存储介质包括但不限于服务器、云端等。
在上述第一方面的一种可能的实现中,色彩参数包括ISP的下列参数中的至少一种:ISP的CCM模块中的色调强度参数、饱和度强度参数、色调权重参数、饱和度权重参数;ISP的AWB模块中的光源权重参数和光源参数。
例如,色调强度参数可为下文中的CCM参数1,表示索引为X的色调参数段强度(HUE_idxX);饱和度强度参数可为下文中的CCM参数2,表示索引为X的饱和度参数段强度(SATURATION_idxX);色调权重参数可为下文中的CCM参数3,表示索引为X的色调参数段权重(HUE_idxX_Weigh);饱和度权重参数可为下文中的CCM参数4,表示索引为X的饱和度参数段权重(SATURATION_idxX_Weigh);ISP的AWB模块中的光源权重参数可为下文中的AWB参数1,表示光源权重(LightSource_Weight)。在此,索引X的确定方式将在下文具体说明,在此不做赘述。
在上述第一方面的一种可能的实现中,光源参数包括第一光源的第一光源置信度参数、第一光源红色通道增益参数、第一光源红色通道偏移量参数、第一光源蓝色通道增益参数、第一光源蓝色通道偏移量参数,以及第二光源的第二光源置信度参数、第二光源红色通道增益参数、第二光源红色通道偏移量参数、第二光源蓝色通道增益参数、第二光源蓝色通道偏移量参数;其中,第一光源为拍摄第一图像的若干个光源中覆盖第一图像的像素点数量最多的光源,第二光源为覆盖第一图像的像素点数量仅次于第一光源的光源。
例如,第一光源的第一光源置信度参数可为下文中的AWB参数2,表示第一光源置信度(Daylight_lucus_prob_Top1_LightSource);第一光源红色通道增益参数可为下文中的AWB参数3,表示第一光源红色通道增益(R_Gain_Top1_LightSource);第一光源红色通道偏移量参数可为下文中的AWB参数4,表示第一光源红色通道偏移量(R_Gain_locus_offset_Top1_LightSource);第一光源蓝色通道增益参数可为下文中的AWB参数5,表示第一光源蓝色通道增益(B_Gain_Top1_LightSource);第一光源蓝色通道偏移量参数可为下文中的AWB参数6,表示第一光源蓝色通道偏移量(B_Gain_locus_offset_Top1_LightSource);第二光源的第二光源置信度参数可为下文中的AWB参数7,表示第二光源置信度(Daylight_lucus_prob_Top2_LightSource);第二光源红色通道增益参数可为下文中的AWB参数8,表示第二光源红色通道增益(R_Gain_Top2_LightSource);第二光源红色通道偏移量参数可为下文中的AWB参数9,表示第二光源红色通道偏移量(R_Gain_locus_offset_Top2_LightSource);第二光源蓝色通道增益参数可为下文中的AWB参数10,表示第二光源蓝色通道增益(B_Gain_Top2_LightSource);第二光源蓝色通道偏移量参数可为下文中的AWB参数11,表示第二光源蓝色通道偏移量(B_Gain_locus_offset_Top2_LightSource)。
在上述第一方面的一种可能的实现中,调节参数包括下列参数中的至少一种:对应于光源权重参数的第一白平衡参数;对应于第一光源置信度参数、第一光源红色通道增益参数、第一光源红色通道偏移量参数的第二白平衡参数;对应于第一光源置信度参数、第一光源蓝色通道增益参数、第一光源蓝色通道偏移量参数的第三白平衡参数;对应于第二光源置信度参数、第二光源红色通道增益参数、第二光源红色通道偏移量参数的第四白平衡参数;对应于第二光源置信度参数、第二光源蓝色通道增益参数、第二光源蓝色通道偏移量参数的第五白平衡参数;对应于色调强度参数、饱和度强度参数的第一色彩校正参数;对应于色调权重参数的第二色彩校正参数;对应于饱和度权重参数的第三色彩校正参数。
例如,第一白平衡参数可为下文中的白平衡参数1,表示调节照片色温的光源权重参数,可命名为lightsource_weight;第二白平衡参数可为下文中的白平衡参数2,表示第一光源的红色通道增益参数,可命名为r_gain_top1_lightsource;第三白平衡参数可为下文中的白平衡参数3,表示第一光源的蓝色通道增益参数,可命名为b_gain_top1_lightsource;第四白平衡参数可为下文中的白平衡参数4,表示第二光源的红色通道增益参数,可命名为r_gain_top2_lightsource;第五白平衡参数可为下文中的白平衡参数5,表示第二光源的蓝色通道增益参数,可命名为b_gain_top2_lightsource;第一色彩校正参数可为下文中的色彩参数1,表示用于确定色彩调节区域的色调及饱和度的ROI参数,可命名为ROI;第二色彩校正参数可为下文中的色彩参数2,表示用于调节ROI色调的色调参数,可命名为HUE;第三色彩校正参数可为下文中的色彩参数3,表示用于调节照片饱和度的饱和度参数,可命名为SATURATION。
在上述第一方面的一种可能的实现中,各调节参数与色彩参数的对应关系如下:
第一白平衡参数=光源权重参数;
第二白平衡参数=第一光源置信度参数×第一光源红色通道增益参数×第一光源红色通道偏移量参数;
第三白平衡参数=第一光源置信度参数×第一光源蓝色通道增益参数×第一光源蓝色通道偏移量参数;
第四白平衡参数=第二光源置信度参数×第二光源红色通道增益参数×第二光源红色通道偏移量参数;
第五白平衡参数=第二光源置信度参数×第二光源蓝色通道增益参数×第二光源蓝色通道偏移量参数;
第一色彩校正参数对应于色调强度参数以及饱和度强度参数;
第二色彩校正参数=色调权重参数;
第三色彩校正参数=饱和度权重参数。
在上述第一方面的一种可能的实现中,色彩参数的第一色彩参数值通过以下方式确定:基于M个第三图像获取各调节参数的M个第一调节参数值;基于各调节参数与色彩参数的对应关系,计算出M个第一调节参数值所对应的N个第二色彩参数值,其中,N个第二色彩参数值均满足色彩参数的取值范围;基于N个第二色彩参数值确定该色彩参数的第一色彩参数值。
例如,M个第三图像可以为下文步骤801中多个用户的调节的照片,其中,M个第一调节参数值可为多个用户对同一个色彩调节参数调节出的多个目标色彩调节参数值。其中,N个第二色彩参数值可为下文步骤804中基于多个目标色彩调节参数值确定的一个ISP参数的多个第一ISP参数值。
在上述第一方面的一种可能的实现中,基于N个第二色彩参数值确定该色彩参数的第一色彩参数值,包括:计算N个第二色彩参数值与色彩参数的标准值之间的差值;从N个第二色彩参数值中选择出差值位于预设差值范围内的L个第二色彩参数值;基于L个第二色彩参数值确定该色彩参数的第一色彩参数值。
在此,色彩参数的标准值可为下文中的ISP参数的预设标准值,N个第二色彩参数值与色彩参数的标准值之间的差值可为下文中ISP参数的各个第一ISP参数值与该预设标准值之间的偏差值。预设差值范围的下限可为下文中的最小舍弃阈值,预设差值范围的上限可为下文中的最大舍弃阈值。L个第二色彩参数值可为下文的参数序列的子序列中的多个第一ISP参数值。
在上述第一方面的一种可能的实现中,基于L个第二色彩参数值确定该色彩参数的第一色彩参数值,包括:若色彩参数属于ISP的CCM模块,则该色彩参数的第一色彩参数值X:
其中,x1、x2、…xL为该色彩参数的L个第二色彩参数值。
A1、A2、…AL为L个第二色彩参数值的权重,权重基于L个第二色彩参数值与该色彩参数的标准值确定,其中,第二色彩参数值与标准值的差值越小,该第二色彩参数值的权重越大。
在此,属于CCM模块的第二色彩参数值可为下文中的第一CCM参数值。第一色彩参数值X可为下文中的CCM参数的目标CCM参数值。色彩参数的标准值可为下文中的CMM参数的喜好分布的标准值。
在上述第一方面的一种可能的实现中,基于L个第二色彩参数值确定该色彩参数的第一色彩参数值,包括:若色彩参数属于ISP的AWB模块,则该色彩参数的第一色彩参数值Y:
其中,y1、y2、…yL为该色彩参数的L个第二色彩参数值。
B1、B2、…BL为L个第二色彩参数值的权重,权重基于L个第二色彩参数值对应的第三图像的pregain参数值以及pregain参数的标准值确定,其中,第三图像的pregain参数值与标准值的差值越小,该第三图像对应的第二色彩参数值的权重越大,其中,第三图像包括EXIF信息,EXIF信息包括pregain参数。
在此,属于AWB模块的第二色彩参数值可为下文中的第一AWB参数值。第一色彩参数值Y可为下文中的AWB参数的目标AWB参数值。
在上述第一方面的一种可能的实现中,通过以下方式确定第一图像和/或第三图像所属的第一拍摄场景:获取第一图像和/或第三图像的EXIF信息,其中,EXIF信息包括CCT参数值和/或LV参数值;基于第一图像和/或第三图像的CCT参数值和/或LV参数值确定第三图像所属的第一拍摄场景,其中,第一拍摄场景具有对应的CCT参数值区间和/或LV参数值区间,并且,第一图像和/或第三图像的CCT参数值位于CCT参数值区间和/或LV参数值位于LV参数值区间。
例如,第一拍摄场景的CCT参数值区间及LV参数值区间可为下文步骤802中基于CCT参数及LV参数的数值范围划分出的数据段。
在此,确定了第三图像所属的第一拍摄场景后,可将根据第三图像的第一调节参数值确定的第一色彩参数值与第一拍摄场景建立对应关系。进而,在基于第一图像的EXIF信息确定第一图像所属的第一拍摄场景后,可基于第一拍摄场景与第一色彩参数值的对应关系获取到第一色彩参数值,以根据第一色彩参数值对第一图像进行色彩调节。
在上述第一方面的一种可能的实现中,该图像处理方法还包括:检测到用户的第一操作,显示第一界面,第一界面包括第三图像和色彩调节参数对应的色彩调节控件;获取用户对色彩调节控件调整后的第一色彩调节参数值。
例如,第一界面可以是下文中的色彩调节界面。
在上述第一方面的一种可能的实现中,第一操作是对第二界面中的显示控件的点击操作,其中,第二界面为用户拍摄第三图像的拍摄界面。
例如,第二界面的显示控件可以是下文中的拍摄界面中的照片浏览图标。
在上述第一方面的一种可能的实现中,第一操作是对选定的第三图像的编辑控件的点击操作。
例如,选定的第三图像可显示在下文的照片浏览界面中,编辑控件可为下文中照片浏览界面的编辑图标。
第二方面,本申请提供了一种电子设备,该电子设备包括:一个或多个处理器;一个或多个存储器;一个或多个存储器存储有一个或多个程序,当一个或者多个程序被一个或多个处理器执行时,使得电子设备执行上述第一方面以及上述第一方面的各种可能的实现提供的图像处理方法。
第三方面,本申请提供了一种计算机可读介质,可读介质上存储有指令,指令在计算机上执行时使计算机执行上述第一方面以及上述第一方面的各种可能的实现提供的图像处理方法。
第四方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面的任一种可能的实现提供的图像处理方法。
附图说明
图1示出了一种基于设备出厂前人工调试的ISP参数进行色彩调节的场景示意图;
图2根据本申请实施例示出了一种图像处理方法进行色彩调节的应用场景示意图;
图3根据本申请实施例示出了一种以终端设备为执行主体实现的图像处理的流程示意图;
图4a根据本申请实施例示出了一种图像处理方法进行色彩调节的另一种应用场景示意图;
图4b根据本申请实施例示出了一种色彩调节界面示意图;
图4c根据本申请实施例示出了另一种色彩调节界面示意图;
图4d根据本申请实施例示出了一种用户操作示意图;
图4e根据本申请实施例示出了一种提示窗口的界面示意图;
图4f根据本申请实施例示出了另一种用户操作示意图;
图4g根据本申请实施例示出了一种选择感兴趣区域的操作示意图;
图5根据本申请实施例示出了一种色彩调节参数与ISP参数的映射示意图;
图6a根据本申请实施例示出了一种判断是否满足用户预期效果的界面示意图;
图6b根据本申请实施例示出了另一种判断是否满足用户预期效果的界面示意图;
图7根据本申请实施例示出了一种照片浏览界面的示意图;
图8根据本申请实施例示出了一种以终端设备为主体确定目标ISP参数值的流程示意图;
图9a根据本申请实施例示出了一种基于本申请图像处理方法实现的显示效果示意图;
图9b根据本申请实施例示出了另一种基于本申请图像处理方法实现的显示效果示意图;
图10根据本申请实施例示出了一种基于终端设备以及服务器端共同实现的图像处理的交互示意图;
图11根据本申请实施例示出了本申请提供的一种终端设备的结构示意图;
图12根据本申请实施例示出了本申请提供的一种终端设备***的软件结构框图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合说明书附图以及具体的实施方式对本申请实施例中的技术方案进行详细的说明。
为了便于本领域技术人员理解本申请实施例中的方案,下面先对本申请实施例涉及到的一些概念和术语进行解释说明。
(1)图像处理器(ISP):可用于对前端图像传感器的输出信号进行处理,包括自动白平衡模块(auto white balance,AWB)模块、色彩校正矩阵(color correction matrix,CCM)模块等。其中,AWB模块可以基于该模块中的ISP参数对拍摄时所处的色温环境进行颜色恒常性(colorconstancy)处理,以解决图像色彩失衡的问题。在此,AWB模块中的ISP参数可称为AWB参数。CCM模块可以基于该模块中的ISP参数根据色彩校正矩阵对拍摄的照片进行色彩校正,以将照片的像素值校正至趋近于色板标准值。在此,CCM模块中的ISP参数可称为CCM参数。
(2)可交换图像文件(exchangeable image file,EXIF):数码相机拍摄的照片的常用文件格式,EXIF格式的照片包括EXIF信息,用于记录所拍摄照片的属性信息等。属性信息例如包括相关色温(correlatedcolour temperature,CCT)、亮度(lux value,LV)等参数。基于EXIF信息,终端设备和/或服务器端能够划分出拍摄照片的拍摄场景。例如,终端设备和/或服务器端可将EXIF信息相同或相似的照片划分为同一种拍摄场景,其中,EXIF信息相似是指EXIF信息中同一参数的差值位于设置的阈值范围内。
如前所述,在对终端设备拍摄照片的色彩效果进行调试的过程中,由于调试人员在设备出厂前人工调试ISP参数的方法不能做到拍摄场景的全覆盖。进而,对于前述非典型场景,可能由于该场景不具有人工调试出的目标ISP参数而出现拍摄照片的色彩效果无法满足用户需求的问题。
图1示出了一种终端设备10基于出厂前人工调试的ISP参数进行色彩调节的场景示意图。
参见图1所示,用户基于终端设备10的拍摄界面101在非典型场景中拍摄了照片,并点击了拍摄界面101中的照片浏览图标101b,在此,该非典型场景例如可以是夜间人像场景等。响应于用户对照片浏览图标101b的点击操作,终端设备10显示了照片浏览界面102。由于该照片的拍摄场景为非典型场景,不存在对应于该场景的设备出厂前人工调试的目标ISP参数值,因此,终端设备10无法在用户拍摄照片后针对该场景对该照片进行色彩调节。进而,显示在照片浏览界面102中的照片可能为终端设备10直接采集到的/基于其他典型场景的目标ISP参数值调节后的图像101a。可以理解,图像101a的色彩效果可能与人眼观看的色彩效果存在较大差异。
为了解决上述问题,本申请提供了一种图像处理方法。具体地,该方法设计若干个与ISP参数关联的色彩调节参数,并向用户提供可对拍摄照片进行色彩调节的前述若干个色彩调节参数。再根据用户对各色彩调节参数的调试结果确定相应拍摄场景的目标ISP参数值。进而,当检测到用户再次拍摄属于该拍摄场景的照片时,可自动根据该场景下已确定的目标ISP参数值对拍摄照片进行色彩调节。
示例性地,当用户在典型场景下拍摄照片时,可基于该典型场景对应的目标ISP参数值对拍摄的照片进行色彩调节。当用户在非典型场景下拍摄照片时,可显示能够调整色彩调节参数的色彩调节界面,使用户对该照片的色彩调节参数进行调试,以根据调试结果确定该照片所属的拍摄场景的目标ISP参数值。
图2根据本申请实施例示出了一种图像处理方法进行色彩调节的场景示意图。
参见图2所示,用户基于终端设备10的拍摄界面201在非典型场景中拍摄了照片,并点击了拍摄界面201中的照片浏览图标201b,在此,该非典型场景例如可以是夜间人像场景等。响应于用户对照片浏览图标201b的点击操作,终端设备10显示了色彩调节界面202,该色彩调节界面202可显示终端设备10响应于用户的拍摄操作采集到的图像201a以及色彩调节区域202a。色彩调节区域202a可显示前述若干个色彩调节参数及其对应的色彩调节控件,各个色彩调节参数可对应一个或多个AWB模块和/或CCM模块中的ISP参数。
基于前述色彩调节界面202,当用户对图像201a的色彩效果不满意时,可通过手动调试色彩调节区域202a中的色彩调节参数的方式,调整AWB模块和/或CCM模块中的ISP参数,以将该照片的色彩效果调节至符合人眼的视觉色彩效果。例如,用户可将图像201a调节为符合人眼的视觉色彩效果的图像202b。进而,响应于用户对色彩调节界面202中的确认图标202c的点击操作,终端设备10可将图像202b显示在照片浏览界面203中。并且,终端设备10可将图像202b对应的色彩调节参数值作为目标色彩调节参数值,以基于色彩调节参数与ISP参数之间的关联关系以及目标色彩调节参数值确定图像201a所处拍摄场景对应的目标ISP参数值,其中,图像201a所处拍摄场景可基于图像201a和/或图像202b的EXIF信息确定。
进而,若用户再次在该非典型场景中拍摄照片,终端设备10可直接在色彩调节界面202和/或照片浏览界面203中显示基于该非典型场景对应的目标ISP参数值进行了色彩调节后的照片。
下面将结合具体实施例对本申请提供的图像处理方法的实现过程进行详细说明。
具体地,下面实施例1提供了以终端设备作为执行主体,实施本申请提供的图像处理方法的具体实现过程。
实施例1
本实施例将结合附图具体说明本申请实施例提供的以终端设备作为执行主体,实施本申请提供的图像处理方法的具体实现过程。
图3根据本申请实施例示出了一种以终端设备为执行主体实施的图像处理的流程示意图。可以理解,图3所示流程的各步骤执行主体可以为终端设备10。为了便于描述,以下在介绍各步骤时,将不再赘述各个步骤的执行主体。
具体地,本申请提供的一种以终端设备为执行主体实现的图像处理方法可包括以下步骤:
301:响应于查看拍摄照片的用户操作,显示包含色彩调节控件的色彩调节界面。
在一种示例方式中,当用户拍摄了照片并点击了拍摄界面中的照片浏览图标时,响应于用户对照片浏览图标的点击操作,终端设备可显示色彩调节界面。在此,用户查看拍摄照片的界面示意图可参见前述图2,在此不做赘述。具体地,当用户在典型场景下拍摄照片时,可直接基于该典型场景对应的目标ISP参数值对照片进行色彩调整。当用户在非典型场景下拍摄照片时,可显示色彩调节界面以使用户基于色彩调节控件对该照片的色彩调节参数进行调试。可以理解地,对于典型场景下拍摄的照片,也可响应于用户操作显示色彩调节界面,以基于用户需求调整该典型场景对应的目标ISP参数值。
在另一种示例方式中,例如,图4a根据本申请实施例示出了终端设备10基于本申请提供的图像处理方法进行色彩调节的另一种场景示意图。
参见图4a所示,用户基于终端设备10的照片浏览界面401查看在非典型场景中拍摄的图像401a,并点击了照片浏览界面401中的编辑图标401b,在此,该非典型场景例如可以是夜间人像场景等。响应于用户对编辑图标401b的点击操作,终端设备10显示了色彩调节界面410。基于色彩调节界面410,当用户对图像401a的色彩效果不满意时,可通过手动调试色彩调节区域410b中的色彩调节参数的方式,以将该照片的色彩效果调节至符合人眼的视觉色彩效果。例如,用户可将图像401a调节为符合人眼的视觉色彩效果的图像401b。进而,终端设备10可将图像401b再次显示在照片浏览界面401中。
下面对色彩调节界面的界面示意图进行具体说明。例如,图4b根据本申请实施例示出了的一种色彩调节界面示意图。
参见图4b,色彩调节界面410可包括照片显示区域410a以及色彩调节区域410b。其中,照片显示区域410a用于显示用户拍摄的照片,色彩调节区域410b包括若干个色彩调节参数及其色彩调节控件,该色彩调节控件例如可以是图4b中的输入框410c、输入框410d、输入框410e、输入框410f。各个输入框的默认显示内容可以是该输入框对应的色彩调节参数的数值范围。
再例如,图4c根据本申请实施例示出了另一种色彩调节界面示意图。
参见图4c,色彩调节界面411可包括照片显示区域411a以及色彩调节区域411b。其中,照片显示区域411a用于显示用户拍摄的照片,色彩调节区域411b包括若干个色彩调节参数及其色彩调节控件,该色彩调节控件例如可以是图4c中的滑动条411c、滑动条411d、滑动条411e、滑动条411f。各个滑动条的可选数据下限及上限可以是该滑动条对应的色彩调节参数的数值范围。
在此,上述图4c所示界面不能作为对色彩调节参数的色彩调节控件类型以及显示位置的限制性说明,在另一些实施例中,色彩调节界面也可以显示为与上述图4c所示界面不同的其他布局样式。
302:获取用户通过色彩调节控件设置的第一色彩调节参数值。
示例性地,用户可基于提供的色彩调节控件对色彩调节参数进行调节。
例如,图4d根据本申请实施例示出了一种用户操作示意图。
参见图4d,用户可基于色彩调节界面410的输入框410c、输入框410d、输入框410e、输入框410f分别输入色彩调节参数1、色彩调节参数2、色彩调节参数3、色彩调节参数n的具体数值。终端设备10可将用户输入的数值作为各个色彩调节参数对应的第一色彩调节参数值。在此,终端设备10可基于各个色彩调节参数的参数属性向用户提供提示窗口,其中,色彩调节参数的参数属性可包括数据类型及数值范围等。当用户输入的色彩调节参数值不符合该色彩调节参数的参数属性时,可通过弹出提示窗口的方式提示用户输入符合参数属性的数值。
图4e根据本申请实施例示出了一种提示窗口示意图。
参见图4e,当用户在输入框410c输入的数值1350超过了色彩调节参数1的0至300的数值范围时,终端设备10可弹出提示窗口410g提示用户输入正确的数值范围。
图4f根据本申请实施例示出了另一种用户操作示意图。
参见图4f,用户可基于色彩调节界面411的滑动条411c、滑动条411d、滑动条411e、滑动条411f通过滑动滑块的方式分别确定色彩调节参数1、色彩调节参数2、色彩调节参数3、色彩调节参数n的具体数值。终端设备10可将用户操作后滑块对应的数值作为各个色彩调节参数对应的第一色彩调节参数值。
在此,可以理解地,终端设备10可为用户提供区域选择功能。
图4g根据本申请实施例示出了一种调节区域选择示意图。
参见图4g,以色彩调节界面411为例,用户可在照片显示区域411a中选择想要调节色调的感兴趣区域(region of interest,ROI),例如,用户可选择照片显示区域411a中的人脸区域作为ROI区域411g。进而,可基于色彩调节界面411的滑动条411c、滑动条411d、滑动条411e、滑动条411f确定该ROI区域411g的色彩调节参数1、色彩调节参数2、色彩调节参数3、色彩调节参数n的具体数值,以对该ROI区域411g进行色彩调节。
303:基于第一色彩调节参数值对拍摄照片进行色彩调节,得到第一预览图像。
示例性地,终端设备10提供给用户的各个色彩调节参数均可为一个/多个ISP参数的融合,前述ISP参数可以是AWB模块中的AWB参数和/或CCM模块中的CCM参数。
在一种示例方式中,可根据AWB模块中的AWB参数、CCM模块中的CCM参数及其各自的参数属性确定多个色彩调节参数。在此。AWB参数及CCM参数的参数属性可以包括数据类型、数值范围、参数之间的差值范围等。前述数值范围及差值范围可根据不同的应用场景适应性调整,在此,不对前述数值范围及差值范围做限制性说明。
具体地,图5根据本申请实施例示出了一种色彩调节参数与ISP参数的映射示意图。
参见图5,用于融合出色彩调节参数的ISP参数可以包括多个不同类型的AWB参数和CCM参数,其中AWB参数可以是AWB模块中的AWB参数1至AWB参数11中的一项或多项,CCM参数可以是CCM模块中的CCM参数1至CCM参数4中的一项或多项。
其中,AWB参数1,表示光源权重(LightSource_Weight);
AWB参数2,表示第一光源置信度(Daylight_lucus_prob_Top1_LightSource);
AWB参数3,表示第一光源红色通道增益(R_Gain_Top1_LightSource);
AWB参数4,表示第一光源红色通道偏移量(R_Gain_locus_offset_Top1_LightSource);
AWB参数5,表示第一光源蓝色通道增益(B_Gain_Top1_LightSource);
AWB参数6,表示第一光源蓝色通道偏移量(B_Gain_locus_offset_Top1_LightSource);
AWB参数7,表示第二光源置信度(Daylight_lucus_prob_Top2_LightSource);
AWB参数8,表示第二光源红色通道增益(R_Gain_Top2_LightSource);
AWB参数9,表示第二光源红色通道偏移量(R_Gain_locus_offset_Top2_LightSource);
AWB参数10,表示第二光源蓝色通道增益(B_Gain_Top2_LightSource);
AWB参数11,表示第二光源蓝色通道偏移量(B_Gain_locus_offset_Top2_LightSource)。
其中,第一光源及第二光源为用户拍摄照片的多个光源中覆盖照片的像素点最多的两个光源。
CCM参数1,表示索引为X的色调参数段强度(HUE_idxX);
CCM参数2,表示索引为X的饱和度参数段强度(SATURATION_idxX);
CCM参数3,表示索引为X的色调参数段权重(HUE_idxX_Weigh);
CCM参数4,表示索引为X的饱和度参数段权重(SATURATION_idxX_Weigh)。
其中,索引X可根据用户基于前述步骤302选定的ROI的色彩空间确定。例如,终端设备10可基于ISP中的色彩空间转换模块将用户选择的ROI由RGB色彩空间模型映射为YUV色彩空间模型,并基于YUV色彩空间模型中的色度分量计算索引值X。
进而,可将前述AWB参数1至AWB参数11,以及CCM参数1至CCM参数4映射为少量的面向用户开放的色彩调节参数。例如,继续参见图5,色彩调节参数可包括白平衡参数及色彩参数。具体地,可将前述AWB模块中的AWB参数1至AWB参数11映射为白平衡参数1至白平衡参数5,可将前述CCM模块中的CCM参数1至CCM参数4映射为色彩参数1至色彩参数3。
进而,可根据AWB参数1至AWB参数11与白平衡参数1至白平衡参数5之间的映射关系,以及CCM参数1至CCM参数4与色彩参数1至色彩参数3之间的映射关系,将第一色彩调节参数值还原为第一ISP参数值,其中,第一ISP参数值可包括第一AWB参数值和/或第一CCM参数值。进而,根据还原出的第一AWB参数值和/或第一CCM参数值对拍摄照片进行色彩调节,得到第一预览图像。
在此,将第一色彩调节参数值还原为第一ISP参数值的过程与下述步骤305中将第二色彩调节参数值还原为第二ISP参数值的过程实际相同。为保证叙述连贯性,将在下述步骤305中具体介绍前述还原过程。
304:获取用户通过色彩调节控件设置的第二色彩调节参数值。
示例性地,终端设备10将前述步骤303得到的第一预览图像显示在色彩调节界面,例如前述色彩调节界面410或前述色彩调节界面411。但显示在色彩调节界面的第一预览图像可能不符合用户预期,因此,用户可通过色彩调节控件设置第二色彩调节参数值,以基于下述步骤305再次对拍摄照片进行色彩调节。
在终端设备10判断预览图像是否符合用户预期的一种方式中,图6a示出了一种预期判断示意图。
参见图6a,以色彩调节界面611为例,终端设备10可设置时间阈值,若用户在该时间阈值内未对滑动条611c、滑动条611d、滑动条611e、滑动条611f进行滑动调节操作,则可显示弹窗611h,向用户确认是否完成调节。若用户点击“否”,可确定第一预览图像不符合用户预期,则可继续获取用户通过色彩调节控件设置的第二色彩调节参数值。
或者,在另一种判断用户满意度的方式中,图6b示出了另一种效果确定示意图。
参见图6b,以色彩调节界面611为例,可在色彩调节区域611b中设置确认按键611i。若用户未点击确认按键611i,可确定第一预览图像不符合用户预期,则可继续获取用户通过色彩调节控件设置的第二色彩调节参数值。
可以理解,若基于第二色彩调节参数值得到第二预览图像仍不符合用户预期,则用户可基于色彩调节控件进行重复调节,直至调节出符合预期的预览图像。
305:基于第二色彩调节参数值对拍摄照片进行色彩调节,得到第二预览图像。
示例性地,终端设备10可基于前述AWB参数1至AWB参数11与白平衡参数1至白平衡参数5之间的映射关系、CCM参数1至CCM参数4与色彩参数1至色彩参数3之间的映射关系,确定第二色彩调节参数值对应的第二ISP参数值。其中,第二色彩调节参数值可包括第二白平衡参数及第二色彩参数。
具体地,其中,白平衡参数1,表示调节照片色温的光源权重参数,可命名为lightsource_weight;
白平衡参数2,表示第一光源的红色通道增益参数,可命名为r_gain_top1_lightsource;
白平衡参数3,表示第一光源的蓝色通道增益参数,可命名为b_gain_top1_lightsource;
白平衡参数4,表示第二光源的红色通道增益参数,可命名为r_gain_top2_lightsource;
白平衡参数5,表示第二光源的蓝色通道增益参数,可命名为b_gain_top2_lightsource。
在此,不对前述白平衡参数1至白平衡参数5的命名做限制性说明。
白平衡参数1至白平衡参数5与AWB参数1至AWB参数11之间的映射关系例如可以是:
白平衡参数1(光源权重参数)=AWB参数1(光源权重);
白平衡参数2(第一光源的红色通道增益参数)=AWB参数2(第一光源置信度)×AWB参数3(第一光源红色通道增益)×AWB参数4(第一光源红色通道偏移量);
白平衡参数3(第一光源的蓝色通道增益参数)=WB参数2(第一光源置信度)×AWB参数5(第一光源蓝色通道增益)×AWB参数6(第一光源蓝色通道偏移量);
白平衡参数4(第二光源的红色通道增益参数)=WB参数7(第二光源置信度)×AWB参数8(第二光源红色通道增益)×AWB参数9(第二光源红色通道偏移量);
白平衡参数5(第二光源的蓝色通道增益参数)=WB参数7(第二光源置信度)×AWB参数10(第二光源蓝色通道增益)×AWB参数11(第二光源蓝色通道偏移量)。
具体地,其中,色彩参数1,表示用于确定色彩调节区域的色调及饱和度的ROI参数,可命名为ROI;
色彩参数2,表示用于调节ROI色调的色调参数,可命名为HUE;
色彩参数3,表示用于调节照片饱和度的饱和度参数,可命名为SATURATION。
在此,不对前述色彩参数1至色彩参数3的命名做限制性说明。
色彩参数1至色彩参数3与CCM参数1至CCM参数4之间的映射关系例如可以是:
色彩参数1(ROI参数,ROI)对应于用户选定的ROI区域的CCM参数1(索引为X的色调参数段强度)以及CCM参数2(索引为X的饱和度参数段强度);
色彩参数2(色调参数)=CCM参数3(索引为X的色调参数段权重);
色彩参数3(饱和度参数)=CCM参数4(索引为X的饱和度参数段权重)。
进而,基于AWB参数1至AWB参数11的数据类型、AWB参数1至AWB参数11之间的数据关联、以及以上白平衡参数1至白平衡参数5与AWB参数1至AWB参数11之间的映射关系,可确定用户输入的第二色彩调节参数值中的第二白平衡参数值对应的第二AWB参数值。
相应地,基于CCM参数1至CCM参数4的数据类型、CCM参数1至CCM参数4之间的数据关联、以及以上色彩参数1至色彩参数3与CCM参数1至CCM参数4之间的映射关系,可确定用户输入的第二色彩调节参数值中的第二色彩参数值对应的第二CCM参数值。在此,确定AWB参数值和/或CCM参数值的算法可包括贪心算法(greedy algorithm)等最优解求解算法。
进而,可将前述第二AWB参数值以及第二CCM参数值作为第二ISP参数值。终端设备10可基于第二ISP参数值对拍摄照片进行色彩调节,得到第二预览图像,并将第二预览图像显示在色彩调节界面,例如前述色彩调节界面410或前述色彩调节界面411。
306:检测到确认将第二预览图像作为照片浏览界面的显示图像的用户操作。
示例性地,参见前述图6a,以色彩调节界面611为例,终端设备10可设置时间阈值,若用户在该时间阈值内未对滑动条611c、滑动条611d、滑动条611e、滑动条611f进行滑动调节操作,则可显示弹窗611h,向用户确认是否完成调节。若用户点击“是”,可确定第二预览图像符合用户预期,则终端设备10可确认将第二预览图像作为照片浏览界面的显示图像。
或者,在另一种判断用户满意度的方式中,参见前述图6b,以色彩调节界面611为例,可在色彩调节区域611b中设置确认按键611i。若用户点击确认按键611i,可确定第二预览图像符合用户预期,则终端设备10可确认将第二预览图像作为照片浏览界面的显示图像。
307:将第二预览图像显示在照片浏览界面。
示例性地,终端设备10可基于前述步骤306的相关内容,将符合用户预期的第二预览图像显示在照片浏览界面中。
例如,图7根据本申请实施例示出了一种照片浏览界面的示意图。
参见图7,符合用户预期的第二预览图像可为图像701a。进而,终端设备10可将图像701a显示在照片浏览界面701中。
308:将第二色彩调节参数值作为目标色彩调节参数值。
示例性地,第二预览图像符合用户预期,表明终端设备10可基于第二色彩调节参数值确定拍摄照片所在场景对应的目标ISP参数值。因此,可将第二色彩调节参数值作为用于确定目标ISP参数值的目标色彩调节参数值。
309:根据目标色彩调节参数值,确定同一拍摄场景对应的目标ISP参数值。
示例性地,基于前述内容可知,可基于拍摄照片的EXIF信息划分照片的拍摄场景,因此,继续参见上述图5,可建立色彩调节参数与拍摄照片的EXIF信息之间的对应关系。具体地,拍摄照片的EXIF信息可包括EXIF参数1、EXIF参数2、EXIF参数3、EXIF参数4、EXIF参数5、EXIF参数6。
其中,EXIF参数1,表示相关色温(correlated colour temperature,CCT)参数;
EXIF参数2,表示亮度(lux value,LV)参数;
EXIF参数3,表示光源权重(light source problitity,LightSourceProb)参数;
EXIF参数4,表示空域增益(spatial gain,SPAT_GAIN)参数;
EXIF参数5,表示等效增益(equivalente gain,EQV_Gain)参数;
EXIF参数6,表示色偏(pregain)参数。
具体地,当基于前述步骤308确定了用户调节出的目标色彩调节参数值后,可建立该目标色彩调节参数值与拍摄照片的EXIF信息之间的对应关系。例如,可建立目标色彩调节参数值与照片的CCT参数值及LV参数值之间的对应关系。
可以理解地,终端设备10也可将目标色彩调节参数值与拍摄照片的EXIF信息上传至服务器端,进而,由服务器端基于目标色彩调节参数值及拍摄照片的EXIF信息,确定同一拍摄场景对应的目标ISP参数值。
以终端设备10确定同一拍摄场景对应的目标ISP参数值为例,图8示出了一种由终端设备10确定目标ISP参数值的流程示意图。如图8所示,终端设备10可接收来自多个用户调节出的目标色彩调节参数值及其对应的CCT参数值及LV参数值,并基于图8所示的步骤801至步骤813流程确定拍摄场景对应的目标ISP参数值。在此,为保证叙述连贯性,将在下文介绍图8所示的由终端设备10确定目标ISP参数值的具体流程。
310:响应于拍摄照片的用户操作,获取拍摄照片的EXIF信息。
示例性地,在终端设备10基于多个用户发送的目标色彩调节参数及EXIF信息确定了多个拍摄场景对应的目标ISP参数值后,若用户再次拍摄了照片,则可获取拍摄照片的EXIF信息,以基于下述步骤311及步骤312调节该拍摄照片的色彩效果。
311:基于EXIF信息确定拍摄照片所属的拍摄场景。
示例性地,终端设备10可基于拍摄照片的EXIF信息中的CCT参数及LV参数确定该拍摄照片所属的拍摄场景。为保证叙述连贯性,确定拍摄照片所属的拍摄场景的内容将在下文对图8的说明中具体阐述。
312:基于拍摄场景对应的目标ISP参数值对拍摄照片进行色彩调节。
示例性地,终端设备10确定了拍摄照片所属的拍摄场景后,可根据该拍摄场景对应的目标ISP参数值调节该拍摄照片的色彩效果。
例如,图9a根据本申请实施例示出了终端设备10的一种显示效果示意图。
参见图9a,当用户在拍摄界面901中点击了照片浏览图标901a,终端设备10可将基于目标ISP参数值对拍摄照片进行色彩调节后,得到的图像902a显示在照片浏览界面902中。可以理解地,此时照片浏览界面902中的图像902a可达到满足用户预期的视觉效果。
再例如,图9b根据本申请实施例示出了终端设备10的另一种显示效果示意图。
参见图9b,当用户在拍摄界面901中点击了照片浏览图标901a,终端设备10可将基于拍摄目标ISP参数值对拍摄照片进行色彩调节后,得到的图像902a显示在色彩调节界面903中。可以理解地,若此时色彩调节界面903中的图像902a仍未能达到终端设备10的用户的预期效果,则该用户可继续基于色彩调节界面903输入色彩调整参数值,以使终端设备10可对各拍摄场景的目标ISP参数值进行动态优化。
对于上述步骤309中终端设备10确定目标ISP参数值的具体流程,下面将结合图8所示的流程示意图进行详细阐述。
具体地,如图8所示,本申请实施例提供的一种以终端设备10为执行主体确定目标ISP参数值的实施过程可包括以下步骤:
801:接收来自多个用户的目标色彩调节参数值及其对应的EXIF信息。
示例性地,终端设备10可接收来自多个终端设备的不同用户调节出的目标色彩调节参数值及其调节的照片的EXIF信息,和/或来自同一个终端设备的不同用户端的用户调节出的目标色彩调节参数值及其调节的照片的EXIF信息。在此,用户端可包括能够基于本实施例提供的图像处理方法对拍摄照片进行色彩调节的应用程序。接收的调节照片的EXIF信息可包括该照片的CCT参数值及LV参数值。
可以理解地,对于EXIF信息相同或不同的拍摄照片,不同用户调节出的目标色彩调节参数值均可能不同。因此,各色彩调节参数可能具有多个目标色彩调节参数值。
802:基于EXIF信息划分不同的拍摄场景。
示例性地,可基于EXIF信息中若干个参数的数值范围将拍摄照片划分为若干个拍摄场景。例如,可根据CCT参数及LV参数的数值范围确定拍摄场景。具体地,可基于CCT参数及LV参数的数值范围将CCT参数值及LV参数值划分为若干个数据段。进而,可将若干个CCT参数值及LV参数值均位于相同数据段的拍摄照片划分为同一个拍摄场景。在此,不对划分拍摄场景的具体EXIF参数类型做限制性说明。
803:将同一拍摄场景下的目标色彩调节参数值对应的ISP参数值作为该拍摄场景的第一ISP参数值。
示例性地,可基于各个拍摄场景对应的EXIF信息的数据段将接收到的目标色彩调节参数值按照拍摄场景分类。进而,可确定属于同一个拍摄场景的各个目标色彩调节参数值对应的ISP参数值,并将其作为用于确定该拍摄场景对应的目标ISP参数值的第一ISP参数值。具体地,第一ISP参数值可包括对应于目标色彩调节参数值的AWB参数1至AWB参数11,以及CCM参数1至CCM参数4的参数值。
在此,确定色彩调节参数值对应的ISP参数值的具体内容可参见前述步骤305,在此不做赘述。
804:计算同一个拍摄场景的各个第一ISP参数值的偏差值。
示例性地,基于前述步骤801可知,各色彩调节参数可能具有多个目标色彩调节参数值。因此,基于目标色彩调节参数值确定的一个ISP参数的第一ISP参数值同样可能为多个。进而,可基于各ISP参数的预设标准值计算该ISP参数的各个第一ISP参数值与该预设标准值之间的偏差值。在此,该偏差值例如可以是第一ISP参数值与预设标准值之间的差值。
在此,可以理解地,不同拍摄场景中的ISP参数的预设标准值可能不同,在此,不对拍摄场景对应的ISP参数的预设标准值做限制性说明。
805:判断各个偏差值是否小于最小舍弃阈值。
若判断结果为是,表明偏差值小于最小舍弃阈值,则可执行下述步骤807;
若判断结果为否,表明偏差值大于或等于最小舍弃阈值,则可执行下述步骤806。
示例性地,若ISP参数的第一ISP参数值与预设标准值之间的偏差较小,说明无需根据该第一ISP参数值调整该ISP参数的目标ISP参数值。因此,为避免不必要的资源浪费,可设置各个ISP参数对应的最小舍弃阈值,以基于下述步骤807将与预设标准值差异较小的第一ISP参数值删除。在此,不对ISP参数对应的最小舍弃阈值做限制性说明。
806:判断各个偏差值是否大于最大舍弃阈值。
若判断结果为是,表明偏差值大于最大舍弃阈值,则可执行下述步骤807;
若判断结果为否,表明偏差值小于或等于最大舍弃阈值,则可执行下述步骤808。
示例性地,若ISP参数的第一ISP参数值与该预设标准值之间的偏差较大,说明该第一ISP参数值可能超过了该拍摄场景下该ISP参数的合理范围。因此,为避免不必要的资源浪费,可设置各个ISP参数对应的最大舍弃阈值,以基于下述步骤807将与预设标准值差异较大的第一ISP参数值删除。在此,不对ISP参数对应的最大舍弃阈值做限制性说明。
807:删除该偏差值对应的第一ISP参数值。
示例性地,基于前述步骤805及步骤806,可删除与预设标准值的偏差小于最小舍弃阈值或大于最大舍弃阈值的第一ISP参数值,而保留与预设标准值的偏差位于最小舍弃阈值和最大舍弃阈值之间的第一ISP参数值。进而,可在基于用户反馈确定目标ISP参数值的同时,减弱用户反馈不合理数据对目标ISP参数值的影响。
808:将偏差值对应的第一ISP参数值加入该拍摄场景的参数序列。
示例性地,可设置各个拍摄场景对应的参数序列,该参数序列可包括若干个子序列,各个子序列可对应各个ISP参数。具体地,一个子序列中可包括基于前述步骤805至步骤807保留下来的一个ISP参数的第一ISP参数值。在此,子序列对应的ISP参数可为前述AWB参数1至AWB参数11,以及CCM参数1至CCM参数4中的一项或多项。
809:判断参数序列中的第一ISP参数值的数量是否大于预设阈值。
若判断结果为是,表明第一ISP参数值的数量大于预设阈值,则可执行下述步骤810;
若判断结果为否,表明第一ISP参数值的数量小于或等于预设阈值,则可重复执行前述步骤801至步骤809。
示例性地,若用于确定目标ISP参数值的第一ISP参数值较少,则确定出的目标ISP参数值可能缺少稳定性。因此,可将各子序列中的第一ISP参数值的数量与预设阈值比较。若第一ISP参数值的数量小于预设阈值,则可继续接收来自不同用户的目标色彩调节参数及其对应的EXIF信息,以扩大用于确定目标ISP参数值的数据量。可以理解,各个ISP参数对应的预设阈值可以不同,在此不对预设阈值做限制性说明。
810:判断第一ISP参数值属AWB模块或CCM模块。
若判断结果为属于CCM模块,则可执行下述步骤811;
若判断结果为属于AWB模块,则可执行下述步骤812。
示例性地,可基于下述步骤811及步骤812采用不同的策略确定不同模块的ISP参数对应的目标ISP参数值。
811:根据用户的喜好分布计算CCM模块的第一ISP参数值的CCM统计值。
示例性地,CCM模块的第一ISP参数值可为第一CCM参数值,例如,可以是基于用户调节出的目标色彩调节参数值确定的CCM参数1至CCM参数4的参数值。
在此,基于用户的目标色彩调节参数值确定出的CCM参数1至CCM参数4的参数值受到用户的个人喜好影响较大。因此,对于CCM参数1至CCM参数4可根据用户的喜好分布计算各个CMM参数的CCM统计值,以基于下述步骤813将该CCM统计值作为该CCM参数的目标CCM参数值。
具体地,可基于大数据技术分析根据海量用户提供的目标色彩调节参数值确定的CCM参数1至CCM参数4的参数值,进而确定用户对CCM参数的喜好分布。例如,可计算CCM参数1至CCM参数4的参数值的均值,将该均值作为表征用户对该CMM参数的喜好分布的标准值。
进而,可基于各CCM参数的第一CCM参数值与其标准值之间的差值确定该第一CCM参数值的权重。以CCM参数1的标准值为300,其第一CCM参数值包括200、300、400为例,数值为300的第一CCM参数值与标准值的差值为0,因此,其权重可为1;数值为200及400的第一CCM参数值与标准值的差值均为100,因此,其权重可均为0.5。可以理解,以上内容仅为示例,本申请不对权重的具体设置规则做限制性说明。
进而,可基于多个第一CCM参数值及其权重计算CCM参数的CCM统计值。例如,该CCM参数的CCM统计值可为基于各个第一CCM参数值及其权重计算的加权均值。进而,可基于下述步骤813将该CCM参数的加权均值作为该CCM参数的目标CCM参数值。
812:根据摄像头偏色参数计算AWB模块的第一ISP参数值的AWB统计值。
示例性地,AWB模块的第一ISP参数值可为第一AWB参数值,例如,可以是基于用户调节的目标色彩调节参数值确定的AWB参数1至AWB参数11的参数值。
在此,基于用户的目标色彩调节参数值确定出的AWB参数1至AWB参数11的参数值受到终端设备的摄像头色偏程度影响较大。因此,对于AWB参数1至AWB参数11可根据终端设备摄像头的色偏参数计算各个AWB参数的AWB统计值,以基于下述步骤813将该AWB统计值作为该AWB参数的目标AWB参数值。
具体地,终端设备摄像头的色偏参数可为拍摄照片的EXIF信息中的pregain参数,该pregain参数具有对应的标准值。因此,示例性地,在获取到来自多个用户的目标色彩调节参数值及其对应的EXIF信息后,可根据其中的pregain参数值与pregain参数的标准值之间的差值确定各个终端设备对应的AWB参数的权重。以pregain参数标准值为256,来自一个用户的pregain参数值为400,来自另一个用户的pregain参数值为256为例。数值为256的pregain参数值与pregain参数标准值的差值为0,因此,该用户的终端设备对应的AWB参数权重可为1;数值为400的pregain参数值与pregain参数标准值的差值较大,示例性地,为降低基于该用户的终端设备确定的第一AWB参数值对目标AWB参数值的影响,可将该用户的终端设备对应的AWB参数权重设置为较小值,例如0.4。可以理解,以上内容仅为示例,本申请不对权重的具体设置规则做限制性说明。
进而,可基于多个第一AWB参数值及其对应的AWB参数权重计算AWB参数的AWB统计值。例如,AWB参数的AWB统计值可为基于各个第一AWB参数值及其对应的AWB参数权重计算的加权均值。进而,可基于下述步骤813将该AWB参数的加权均值作为该AWB参数的目标AWB参数值。
813:将AWB统计值及CCM统计值作为该拍摄场景对应的目标ISP参数值。
示例性地,基于前述步骤811及步骤812确定了AWB统计值及CCM统计值后,可将AWB统计值及CCM统计值作为该拍摄场景对应的目标ISP参数值。
具体地,基于前述步骤811确定了某拍摄场景下的CCM参数的加权均值后,可将该加权均值作为该拍摄场景对应的该CCM参数的目标CCM参数值。基于前述步骤812确定了某拍摄场景下的AWB参数的加权均值后,可将该加权均值作为该拍摄场景对应的该AWB参数的目标AWB参数值。进而,目标ISP参数值可包括前述目标CCM参数值以及前述目标AWB参数值。
基于上述对图3及图8所示流程的详细说明,可以理解地,本申请提供的图像处理方法对于各个拍摄场景,均可基于用户对色彩调节参数的调试结果确定该拍摄场景对应的目标ISP参数。因此,对于前述非典型场景,基于该方法同样可确定其对应的目标ISP参数,使得非典型场景下拍摄照片的色彩效果同样可满足用户的视觉需求。
具体地,下面实施例2提供了以终端设备及服务器端作为执行主体,实施本申请提供的图像处理方法的具体实现过程。
实施例2
本实施例将结合附图具体说明本申请提供的一种基于终端设备10及服务器端20共同实施的图像处理方法。
可以理解,本实施例提供的图像处理方法所适用的终端设备10,可以包括但不限于手机、平板电脑、桌面型、膝上型、手持计算机、上网本,以及增强现实(augmentedreality,AR)/虚拟现实(virtual reality,VR)设备、智能电视、智能手表等可穿戴设备、车机设备、便携式游戏机、便携式音乐播放器、以及具有一个或多个处理器的其他终端设备。所适用的服务器端20,可以包括但不限于云服务器、物理服务器等。
下面,结合附图对本申请提供的基于终端设备10以及服务器端20共同实现的图像处理方法进行具体说明。
图10根据本申请实施例示出了一种基于终端设备10以及服务器端20共同实现的图像处理交互图。
参见图10,该图像处理方法具体包括以下流程:
1001:终端设备10响应于查看拍摄照片的用户操作,显示包含色彩调节控件的色彩调节界面。
示例性地,终端设备10响应于查看拍摄照片的用户操作,显示包含色彩调节控件的色彩调节界面的具体内容,可参见前述步骤301中相关描述,在此不做赘述。
1002:终端设备10获取用户通过色彩调节控件设置的第一色彩调节参数值。
示例性地,终端设备10获取用户通过色彩调节控件设置的第一色彩调节参数值的具体内容,可参见前述步骤302中相关描述,在此不做赘述。
1003:终端设备10基于第一色彩调节参数值对拍摄照片进行色彩调节,得到第一预览图像。
示例性地,终端设备10基于第一色彩调节参数值对拍摄照片进行色彩调节,得到第一预览图像的具体内容,可参见前述步骤303中相关描述,在此不做赘述。
1004:终端设备10获取用户通过色彩调节控件设置的第二色彩调节参数值。
示例性地,终端设备10获取用户通过色彩调节控件设置的第二色彩调节参数值的具体内容,可参见前述步骤304中相关描述,在此不做赘述。
1005:终端设备10基于第二色彩调节参数值对拍摄照片进行色彩调节,得到第二预览图像。
示例性地,终端设备10基于第二色彩调节参数值对拍摄照片进行色彩调节,得到第二预览图像的具体内容,可参见前述步骤305中相关描述,在此不做赘述。
1006:终端设备10检测到确认将第二预览图像作为照片预览界面的显示图像的用户操作。
示例性地,终端设备10检测到确认将第二预览图像作为照片预览界面的显示图像的用户操作的具体内容,可参见前述步骤306中相关描述,在此不做赘述。
1007:终端设备10将第二预览图像显示在照片浏览界面。
示例性地,终端设备10将第二预览图像显示在照片浏览界面的具体内容,可参见前述步骤307中相关描述,在此不做赘述。
1008:终端设备10将第二色彩调节参数值作为目标色彩调节参数值。
示例性地,终端设备10将第二色彩调节参数值作为目标色彩调节参数值的具体内容,可参见前述步骤308中相关描述,在此不做赘述。
1009:终端设备10向服务器端20发送目标色彩调节参数值及拍摄照片的EXIF文件信息。
示例性地,终端设备10在基于前述步骤1008确定了拍摄照片的目标色彩调节参数值后,可将该目标色彩调节参数值与该拍摄照片的EXIF信息发送至服务器端20。发送的EXIF信息例如可以是该拍摄照片的CCT参数值、LV参数值、pregain参数值。在此,不对发送的EXIF参数类型做限制性说明。
1010:服务器端20根据目标色彩调节参数值,确定同一拍摄场景对应的目标ISP参数值。
在此,服务器端20根据目标色彩调节参数值确定同一拍摄场景对应的目标ISP参数值的内容,与前述图8所示的终端设备确定目标ISP参数值的内容实质相同,在此不做赘述。
1011:服务器端20向终端设备10发送拍摄场景对应的EXIF信息及目标ISP参数值。
实例性地,服务器端20确定了拍摄场景及其对应的目标ISP参数值后,可将各个拍摄场景及其对应的目标ISP参数值更新至拍摄和/或图片处理类应用程序的安装包和/或更新包中,以使终端设备10通过下载或更新拍摄和/或图片处理类应用程序的方式,获取到各个拍摄场景及其对应的目标ISP参数值。在此,不对服务器端20向终端设备10拍摄场景及其对应的目标ISP参数值的具体方式做限制性说明。
1012:终端设备10响应于拍摄照片的用户操作,获取拍摄照片的EXIF信息。
示例性地,终端设备10响应于拍摄照片的用户操作,获取拍摄照片的可交换图像文件信息的具体内容,可参见前述步骤310中相关描述,在此不做赘述。
1013:终端设备10基于EXIF信息确定拍摄照片所属的拍摄场景。
示例性地,终端设备10基于拍摄照片的EXIF信息确定该拍摄照片所属的拍摄场景的具体内容,可参见前述步骤311中相关描述,在此不做赘述。
1014:终端设备10基于拍摄场景对应的目标ISP参数值对拍摄照片进行色彩调节。
示例性地,终端设备10基于拍摄场景对应的目标ISP参数值对拍摄照片进行色彩调节的具体内容,可参见前述步骤312中相关描述,在此不做赘述。
可以理解,本实施例提供的图像处理方法基于终端设备及服务器端的交互实现,将接收多个终端设备发送的目标色彩调节参数值及其对应的EXIF信息,以及基于接收到的数据确定各个拍摄场景及其对应的目标ISP参数值的内容,迁移至服务器端实现。以此实现合理的资源配置,有效提高终端设备的运行速度和性能。
图11根据本申请实施例示出了本申请的终端设备10的结构示意图。
终端设备10可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对终端设备10的具体限定。在本申请另一些实施例中,终端设备10可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digitalsignal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口等。I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clockline,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现终端设备10的触摸功能。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备10的结构限定。在本申请另一些实施例中,终端设备10也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
终端设备10通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emittingdiode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Mini-LED,Micro-LED,Micro-OLED,量子点发光二极管(quantumdot lightemitting diodes,QLED)等。在一些实施例中,终端设备10可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备10可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将该电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端设备10可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备10在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备10可以支持一种或多种视频编解码器。这样,终端设备10可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备10的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端设备10的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备10可以接收按键输入,产生与终端设备10的用户设置以及功能控制有关的键信号输入。
图12根据本申请实施例示出了一种终端设备***的软件结构框图。
终端设备10的***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android***为例,示例性说明终端设备10的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
如图11所示,应用程序层可以包括一系列应用程序包。应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。该数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端设备10的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:openGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如: MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
本申请实施例还提供了一种计算机程序产品,用于实现上述各实施例提供的图像处理方法。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序模块或模块代码,该可编程***包括至少一个处理器、存储***(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
计算机程序模块或模块代码,可以应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理***包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(application specific integrated circuit,ASIC)或微处理器之类的处理器的任何***。
模块代码可以用高级模块化语言或面向对象的编程语言来实现,以便与处理***通信。在需要时,也可用汇编语言或机器语言来实现模块代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、磁光盘、只读存储器(read only memory,ROM)、随机存取存储器(randomaccess memory,RAM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本申请实施例公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
本申请实施例的公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中,诸如,但不限于任何类型的盘,包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路(ASIC)或者适于存储电子指令的任何类型的介质,并且每个可以被耦合到计算机***总线。此外,说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
另外,在本说明书所使用的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此,本申请实施例公开旨在说明而非限制本文所讨论的概念的范围。
Claims (15)
1.一种图像处理方法,应用于电子设备,其特征在于,包括:
获取待处理的第一图像;
获取与所述第一图像所属的第一拍摄场景对应的色彩参数的第一色彩参数值;
基于所述第一色彩参数值,对所述第一图像进行色彩调节,得到第二图像,
其中,所述第一色彩参数值是基于第一调节参数值确定的,其中,所述第一调节参数值是用户对第三图像进行色彩调节所输入的调节参数的参数值,并且所述第三图像与所述第一图像所属的拍摄场景相同。
2.根据权利要求1所述的方法,其特征在于,所述色彩参数包括ISP的下列参数中的至少一种:
ISP的CCM模块中的色调强度参数、饱和度强度参数、色调权重参数、饱和度权重参数;
ISP的AWB模块中的光源权重参数和光源参数。
3.根据权利要求2所述的方法,其特征在于,所述光源参数包括第一光源的第一光源置信度参数、第一光源红色通道增益参数、第一光源红色通道偏移量参数、第一光源蓝色通道增益参数、第一光源蓝色通道偏移量参数,以及,
第二光源的第二光源置信度参数、第二光源红色通道增益参数、第二光源红色通道偏移量参数、第二光源蓝色通道增益参数、第二光源蓝色通道偏移量参数;
其中,第一光源为拍摄所述第一图像的若干个光源中覆盖所述第一图像的像素点数量最多的光源,所述第二光源为覆盖所述第一图像的像素点数量仅次于所述第一光源的光源。
4.根据权利要求3所述的方法,其特征在于,所述调节参数包括下列参数中的至少一种:
对应于所述光源权重参数的第一白平衡参数;
对应于所述第一光源置信度参数、所述第一光源红色通道增益参数、所述第一光源红色通道偏移量参数的第二白平衡参数;
对应于所述第一光源置信度参数、所述第一光源蓝色通道增益参数、所述第一光源蓝色通道偏移量参数的第三白平衡参数;
对应于所述第二光源置信度参数、所述第二光源红色通道增益参数、所述第二光源红色通道偏移量参数的第四白平衡参数;
对应于所述第二光源置信度参数、所述第二光源蓝色通道增益参数、所述第二光源蓝色通道偏移量参数的第五白平衡参数;
对应于所述色调强度参数、所述饱和度强度参数的第一色彩校正参数;
对应于所述色调权重参数的第二色彩校正参数;
对应于所述饱和度权重参数的第三色彩校正参数。
5.根据权利要求4所述的方法,其特征在于,所述各调节参数与色彩参数的对应关系如下:
第一白平衡参数=光源权重参数;
第二白平衡参数=第一光源置信度参数×第一光源红色通道增益参数×第一光源红色通道偏移量参数;
第三白平衡参数=第一光源置信度参数×第一光源蓝色通道增益参数×第一光源蓝色通道偏移量参数;
第四白平衡参数=第二光源置信度参数×第二光源红色通道增益参数×第二光源红色通道偏移量参数;
第五白平衡参数=第二光源置信度参数×第二光源蓝色通道增益参数×第二光源蓝色通道偏移量参数;
第一色彩校正参数对应于色调强度参数以及饱和度强度参数;
第二色彩校正参数=色调权重参数;
第三色彩校正参数=饱和度权重参数。
6.根据权利要求1所述的方法,其特征在于,所述色彩参数的第一色彩参数值通过以下方式确定:
基于M个第三图像获取各调节参数的M个第一调节参数值;
基于各调节参数与所述色彩参数的对应关系,计算出所述M个第一调节参数值所对应的N个第二色彩参数值,其中,所述N个第二色彩参数值均满足所述色彩参数的取值范围;
基于所述N个第二色彩参数值确定该色彩参数的所述第一色彩参数值。
7.根据权利要求6所述的方法,其特征在于,所述基于所述N个第二色彩参数值确定该色彩参数的所述第一色彩参数值,包括:
计算所述N个第二色彩参数值与所述色彩参数的标准值之间的差值;
从所述N个第二色彩参数值中选择出所述差值位于预设差值范围内的L个第二色彩参数值;
基于所述L个第二色彩参数值确定该色彩参数的所述第一色彩参数值。
8.根据权利要求7所述的方法,其特征在于,所述基于所述L个第二色彩参数值确定该色彩参数的所述第一色彩参数值,包括:
若所述色彩参数属于ISP的CCM模块,则该色彩参数的所述第一色彩参数值X:
其中,x1、x2、…xL为该色彩参数的所述L个第二色彩参数值,
A1、A2、…AL为所述L个第二色彩参数值的权重,所述权重基于所述L个第二色彩参数值与该色彩参数的标准值确定,其中,所述第二色彩参数值与所述标准值的差值越小,该第二色彩参数值的权重越大。
9.根据权利要求7所述的方法,其特征在于,所述基于所述L个第二色彩参数值确定该色彩参数的所述第一色彩参数值,包括:
若所述色彩参数属于ISP的AWB模块,则该色彩参数的所述第一色彩参数值Y:
其中,y1、y2、…yL为该色彩参数的所述L个第二色彩参数值,
B1、B2、…BL为所述L个第二色彩参数值的权重,所述权重基于所述L个第二色彩参数值对应的所述第三图像的pregain参数值以及pregain参数的标准值确定,其中,所述第三图像的pregain参数值与所述标准值的差值越小,该第三图像对应的所述第二色彩参数值的权重越大,
其中,所述第三图像包括EXIF信息,所述EXIF信息包括所述pregain参数。
10.根据权利要求1所述的方法,其特征在于,通过以下方式确定所述第一图像和/或所述第三图像所属的所述第一拍摄场景:
获取所述第一图像和/或所述第三图像的EXIF信息,其中,所述EXIF信息包括CCT参数值和/或LV参数值;
基于所述第一图像和/或所述第三图像的所述CCT参数值和/或LV参数值确定所述第三图像所属的所述第一拍摄场景,
其中,所述第一拍摄场景具有对应的CCT参数值区间和/或LV参数值区间,
并且,所述第一图像和/或所述第三图像的所述CCT参数值位于所述CCT参数值区间和/或所述LV参数值位于所述LV参数值区间。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测到用户的第一操作,显示第一界面,所述第一界面包括所述第三图像和所述调节参数对应的色彩调节控件;
获取用户对所述色彩调节控件调整后的所述第一调节参数值。
12.根据权利要求11所述的方法,其特征在于,所述第一操作是对第二界面中的显示控件的点击操作,其中,所述第二界面为用户拍摄所述第三图像的拍摄界面。
13.根据权利要求11所述的方法,其特征在于,所述第一操作是对选定的第三图像的编辑控件的点击操作。
14.一种电子设备,其特征在于,包括:一个或多个处理器;一个或多个存储器;所述一个或多个存储器存储有一个或多个程序,当所述一个或者多个程序被所述一个或多个处理器执行时,使得所述电子设备执行权利要求1至13中任一项所述的图像处理方法。
15.一种计算机可读介质,其特征在于,所述可读介质上存储有指令,所述指令在计算机上执行时使所述计算机执行权利要求1至13中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311387337.8A CN117119316B (zh) | 2023-10-25 | 2023-10-25 | 图像处理方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311387337.8A CN117119316B (zh) | 2023-10-25 | 2023-10-25 | 图像处理方法、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117119316A true CN117119316A (zh) | 2023-11-24 |
CN117119316B CN117119316B (zh) | 2024-05-31 |
Family
ID=88813255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311387337.8A Active CN117119316B (zh) | 2023-10-25 | 2023-10-25 | 图像处理方法、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117119316B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110248170A (zh) * | 2018-03-09 | 2019-09-17 | 华为技术有限公司 | 图像色彩调整方法及装置 |
CN110351537A (zh) * | 2019-07-31 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 图像采集的白平衡方法、装置、存储介质和电子设备 |
CN114422682A (zh) * | 2022-01-28 | 2022-04-29 | 安谋科技(中国)有限公司 | 拍摄方法、电子设备和可读存储介质 |
CN115589539A (zh) * | 2022-11-29 | 2023-01-10 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
CN116055699A (zh) * | 2022-07-28 | 2023-05-02 | 荣耀终端有限公司 | 一种图像处理方法及相关电子设备 |
-
2023
- 2023-10-25 CN CN202311387337.8A patent/CN117119316B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110248170A (zh) * | 2018-03-09 | 2019-09-17 | 华为技术有限公司 | 图像色彩调整方法及装置 |
CN110351537A (zh) * | 2019-07-31 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 图像采集的白平衡方法、装置、存储介质和电子设备 |
CN114422682A (zh) * | 2022-01-28 | 2022-04-29 | 安谋科技(中国)有限公司 | 拍摄方法、电子设备和可读存储介质 |
CN116055699A (zh) * | 2022-07-28 | 2023-05-02 | 荣耀终端有限公司 | 一种图像处理方法及相关电子设备 |
CN115589539A (zh) * | 2022-11-29 | 2023-01-10 | 荣耀终端有限公司 | 一种图像调节的方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117119316B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113810602B (zh) | 一种拍摄方法及电子设备 | |
CN111327814A (zh) | 一种图像处理的方法及电子设备 | |
CN112449120B (zh) | 高动态范围视频生成方法及装置 | |
US20150332636A1 (en) | Image display device and method | |
WO2020102978A1 (zh) | 图像处理方法及电子设备 | |
CN112887582A (zh) | 一种图像色彩处理方法、装置及相关设备 | |
CN112153272B (zh) | 一种图像拍摄方法与电子设备 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN114640783B (zh) | 一种拍照方法及相关设备 | |
CN113452969B (zh) | 图像处理方法和装置 | |
CN115604572B (zh) | 图像的获取方法、电子设备及计算机可读存储介质 | |
CN115359105B (zh) | 景深扩展图像生成方法、设备及存储介质 | |
CN113965694A (zh) | 录像方法、电子设备及计算机可读存储介质 | |
CN110473156B (zh) | 图像信息的处理方法、装置、存储介质及电子设备 | |
CN114463191B (zh) | 一种图像处理方法及电子设备 | |
CN115550556A (zh) | 一种曝光强度调节方法及相关装置 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116048323B (zh) | 图像处理方法及电子设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN117119316B (zh) | 图像处理方法、电子设备及可读存储介质 | |
CN113805830B (zh) | 一种分布显示方法及相关设备 | |
CN113518172A (zh) | 图像处理方法和装置 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN117745620B (zh) | 一种图像处理方法及电子设备 | |
CN117135468B (zh) | 图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |