CN117395495B - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN117395495B CN117395495B CN202311679551.0A CN202311679551A CN117395495B CN 117395495 B CN117395495 B CN 117395495B CN 202311679551 A CN202311679551 A CN 202311679551A CN 117395495 B CN117395495 B CN 117395495B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- user
- mobile phone
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims description 111
- 238000000034 method Methods 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 50
- 238000013507 mapping Methods 0.000 description 40
- 230000000007 visual effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 10
- 238000007667 floating Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003828 downregulation Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例应用于图像处理技术领域,提供了一种图像处理方法及电子设备。响应于用户针对第一图像的编辑操作,电子设备获取与该第一图像对应的HDR文件,并显示该HDR文件的参数调节控件。之后,在接收到用户针对该参数调节控件的调节操作的情况下,电子设备确定该调节操作对应的调节后参数。之后,电子设备可以显示第二图像,其中,该第二图像为HDR文件基于该调节后参数生成的图像。本申请中,可以提升图像拍摄细节的还原度,进而提升图像质量。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子设备(如手机)技术的发展,手机的拍摄功能也得到了快速发展,越来越多的用户喜欢使用手机拍摄图像(如照片或视频)。
然而,电子设备拍摄的图像不能完整的呈现真实场景,进而难以呈现亮度差异较大的场景对应的细节特征,比如,针对场景中的较亮区域,由于过度曝光的原因,可能会将该较亮区域呈现为白色,也就是无法呈现该较亮区域内的细节特征,使得拍摄场景下的细节还原度较低,最终降低图像的质量。
发明内容
本申请实施例提供一种图像处理方法及电子设备,用于提升图像拍摄细节的还原度,进而提升图像质量。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种图像处理方法,该方法中,响应于用户针对第一图像的编辑操作,电子设备获取与该第一图像对应的HDR文件,并显示该HDR文件的参数调节控件。之后,在接收到用户针对该参数调节控件的调节操作的情况下,电子设备确定该调节操作对应的调节后参数。之后,电子设备可以显示第二图像,其中,该第二图像为HDR文件基于该调节后参数生成的图像。
本申请中,电子设备显示的第二图像是在第一图像对应的HDR文件的基础上,按照调节后参数生成的图像,并非基于电子设备生成的JPG图像生成的,如此,可以避免大量的原始细节信息丢失,能够最大程度的提升场景细节的还原度,从而使得视觉效果更加逼真。另外,电子设备可以显示该HDR文件的参数调节控件,以便于用户可以按照自身需求调节第一图像,使得调节后的图像能够符合用户喜好,以及有针对性的显示亮区或者暗区的场景细节,从而提升用户的视觉体验。
在第一方面的一种可能的实现方式中,上述第一图像为电子设备开启HDR后,进行拍摄得到的图像,或者,电子设备下载的HDR模式下的图像。
在第一方面的一种可能的实现方式中,上述方法还包括:第二图像包括第一图像没有的细节特征,和/或,第一图像包括第二图像没有的细节特征。
本申请中,虽然第一图像以及第二图像均是基于HDR文件生成的,但由于第一图像是基于预设参数生成的,也就是说,第一图像的细节特征是按照预设参数调节生成的,且第二图像是基于调节后参数生成的,也就是说,第二图像的细节特征是按照调节后参数调节生成的,该第二图像更加符合用户的喜好。因此,可以看出第一图像为符合更多用户的视觉体验,第二图像能够有针对性的符合目标用户的喜好,也就是说,第一图像以及第二图像均可以有针对性的显示不同的场景细节,能够从不同角度提升场景细节的还原度,从而提升用户的视觉体验。
在第一方面的一种可能的实现方式中,上述第一图像的文件格式和第二图像的文件格式相同,且第一图像的文件格式与HDR文件的文件格式不同。
本申请中,第二图像的文件格式与第一图像的文件格式相同,均为JPG图像。并且,第一图像以及第二图像的文件格式与上述HDR文件的文件格式不同。也就是说,第二图像是在HDR文件的基础上,按照色调映射曲线对应的参数生成的,并非基于手机生成的JPG图像生成的,如此,可以避免大量的原始细节信息丢失,能够最大程度的提升场景细节的还原度,从而使得视觉效果更加逼真。
在第一方面的一种可能的实现方式中,电子设备生成第一图像的过程,具体可以包括:在电子设备开启HDR功能的情况下,响应于用户的拍摄操作,电子设备获取不同曝光量的多张图像。之后,电子设备根据该不同曝光量的多张图像以及预设参数,生成第一图像。
本申请中,第一图像为电子设备开启HDR后,进行拍摄得到的图像,如此,可以提升图像的画面质量,减少因图像过曝或者欠曝而无法呈现出真实场景下的细节特征,提升用户的视觉体验。
在第一方面的一种可能的实现方式中,不同曝光量的多张图像包括EV-8的图像、EV-6的图像、EV-4的图像、EV-2的图像、EV0的图像、EV0的图像、EV2的图像、EV4的图像、EV6的图像以及EV8的图像。
本申请中,电子设备获取的图像数量越多,HDR文件所呈现的细节特征就越多,也就是能够大幅度的提升场景细节的还原度,从而使得视觉效果更加逼真。
在第一方面的一种可能的实现方式中,上述电子设备根据该不同曝光量的多张图像以及预设参数,生成第一图像,包括:电子设备根据图像融合模型,对不同曝光量的多张图像进行融合,得到HDR文件。之后,电子设备在该HDR文件的基础上,按照预设参数,生成第一图像。
本申请中,电子设备可以将不同曝光量的多张图像均输入至图像融合模型,得到HDR文件,如此,不仅可以增大第一图像的细节调整范围,为后续调节第一图像的参数调节控件提供了基础,而且可以使得该HDR文件能够呈现更多的细节特征,能够最大程度的减少细节损失,提升图像拍摄细节的还原度,为后续调节第一图像提供了方便。
另外,电子设备在对不同曝光量的多张图像进行融合的过程中,图像融合模型可以对该不同曝光量的多张图像进行配准误差矫正,以针对短帧图像弥补亮区信息和针对长帧图像弥补暗区信息,也就是说,通过对不同曝光量的多张图像进行配准误差矫正,可以解决短帧图像以及长帧图像难以配准的问题,为后续提升场景细节的还原度提供了基础。
在第一方面的一种可能的实现方式中,上述电子设备得到HDR文件的过程,具体可以包括:电子设备对不同曝光量的多张图像分别进行预处理,得到多张处理后的图像,其中,对图像进行预处理是指对图像进行亮度对齐和/或初步配准。之后,电子设备可以将该多张处理后的图像分别输入至图像融合模型,得到HDR文件。
本申请中,由于亮度对齐用于将不同曝光量的多张图像对应的亮度值进行对齐,使得对齐后的多张图像中所有像素点的亮度是相同的,且初步配准用于调节由用户手抖等原因导致的拍摄画面出现移位的图像,使得配准后的图像与EV0图像中的拍摄画面相同,如此,可以为后续进行图像融合提供了基础,提升了电子设备的图像融合精度,进而提升了HDR文件的融合质量。
在第一方面的一种可能的实现方式中,上述电子设备得到HDR文件之后,上述方法还包括:电子设备对该HDR文件进行保存。
本申请中,为了便于后续直接调用HDR文件,在得到HDR文件后,电子设备可以先对该HDR文件进行保存,如此,可以为后续直接调用HDR文件提供了方便,进而提升图像的调节效率,节约图像的调节时间,提升用户的使用体验。
在第一方面的一种可能的实现方式中,上述电子设备根据该不同曝光量的多张图像以及预设参数,生成第一图像,包括:电子设备获取拍摄环境的环境亮度。之后,电子设备可以从该不同曝光量的多张图像中提取与环境亮度匹配的至少两张图像。之后,电子设备根据第一图像融合模型,对至少两张图像进行融合,得到HDR文件。之后,电子设备在该HDR文件的基础上,按照预设参数,生成第一图像。
本申请中,电子设备可以将多张图像中的至少两张图像输入至图像融合模型,得到HDR文件,也就是说,电子设备仅针对部分图像进行融合,并非针对所有图像进行融合,如此,可以提升图像的融合速度,进而提升第二图像生成的效率,减少第二图像的生成时间。
在第一方面的一种可能的实现方式中,上述第一图像融合模型为适用于所有环境亮度的模型。
本申请中,第一图像融合模型可以是适应于所有环境亮度的模型,也就是说,该第一图像融合模型既可以对曝光量较高的图像进行融合,也可以对曝光量较低的图像进行融合,也即,该第一图像融合模型的泛化能力较强,适用性较高。
在第一方面的一种可能的实现方式中,上述第一图像融合模型包括多个第一子图像融合模型,该第一子图像融合模型分别适用于不同环境亮度。
本申请中,第一图像融合模型可以包括多个第一子图像融合模型,该第一子图像融合模型分别适用于不同环境亮度,也就是说,不同环境亮度对应不同的第一子图像融合模型,如此,可以使得通过该目标子图像融合模型进行图像融合得到的HDR文件,能够保留更多的场景细节,提升图像拍摄细节的还原度,也就是可以提升第一图像融合模型的鲁棒性。
在第一方面的一种可能的实现方式中,上述电子设备提取至少两张图像的过程,具体可以包括:电子设备判断环境亮度的亮度值是否大于预设亮度值,在环境亮度的亮度值大于预设亮度值的情况下,电子设备从多张图像中提取与至少两个第一曝光量分别对应的图像;或者,在环境亮度的亮度值小于或者等于该预设亮度值的情况下,电子设备从多张图像中提取与至少两个第二曝光量分别对应的图像;其中,该至少两个第二曝光量中的最大值大于至少两个第一曝光量中的最大值。
本申请中,若环境亮度的亮度值大于预设亮度值,说明当前拍摄环境较亮,因此,电子设备可以从多张图像中提取与至少两个第一曝光量分别对应的图像,也就是选择环境亮度较高时对应的曝光图像,如此,可以将较亮的拍摄环境进行中和,使得后续生成的第一图像为正常曝光下的图像,提升用户的视觉体验。若环境亮度的亮度值小于或者等于该预设亮度值,说明当前拍摄环境较暗,因此,电子设备可以从多张图像中提取与至少两个第二曝光量分别对应的图像,也就是选择环境亮度较低时对应的曝光图像,如此,可以将较暗的拍摄环境进行中和,使得后续生成的第一图像为正常曝光下的图像,提升用户的视觉体验。
在第一方面的一种可能的实现方式中,电子设备生成HDR文件的过程,具体可以包括:响应于用户针对第一图像的编辑操作,电子设备显示动态范围调节控件。之后,响应于用户针对动态范围调节控件的选择操作,电子设备从不同曝光量的多张图像中提取与调节后的动态范围档位匹配的至少两张目标图像。之后,电子设备根据第二图像融合模型,对该至少两张目标图像进行融合,得到HDR文件。
本申请中,由于电子设备生成HDR文件的过程中,仅针对不同曝光量的多张图像中的至少两张图像进行融合,虽然能够提升图像的融合速度,但也会导致第一图像的细节调整范围受到限制,也就是导致生成的第二图像会存在一些细节损失,因此,为了减少该细节损失,在接收到用户针对第一图像的编辑操作后,电子设备可以显示上述动态范围调节控件,以便于电子设备根据用户所选择的动态范围档位,重新进行图像融合,从而降低细节损失发生的概率,提升图像拍摄细节的还原度。
在第一方面的一种可能的实现方式中,上述第二图像融合模型为适应于所有动态范围调节档位的模型。
本申请中,第二图像融合模型可以是适应于所有动态范围调节档位的模型,也就是说,该第二图像融合模型既可以对较高动态范围档位下的至少两张目标图像进行融合,也可以对较低动态范围档位下的至少两张目标图像进行融合,也即,该第二图像融合模型的泛化能力较强,适用性较高。
在第一方面的一种可能的实现方式中,上述第二图像融合模型可以包括多个第二子图像融合模型,电子设备根据第二图像融合模型,得到HDR文件的过程,具体可以包括:电子设备根据调节后的动态范围档位,从第二图像融合模型中调用目标子图像融合模型;其中,该目标子图像融合模型为多个第二子图像融合模型中的一个。之后,电子设备根据目标子图像融合模型,对至少两张目标图像进行融合,得到HDR文件。
本申请中,由于第二图像融合模型可以包括多个第二子图像融合模型,且该第二子图像融合模型分别适用于不同动态范围档位,也就是说,不同动态范围档位对应不同的第二子图像融合模型,如此,可以使得通过该目标子图像融合模型进行图像融合得到的HDR文件,能够保留更多的场景细节,提升图像拍摄细节的还原度,也就是可以提升第二图像融合模型的鲁棒性。
在第一方面的一种可能的实现方式中,上述方法还包括:电子设备显示第一图像。
本申请中,在得到第一图像后,电子设备可以只显示第一图像,如此,不仅可以提升界面的简洁度,提升用户的视觉体验,而且可以减少不必要的资源浪费。
在第一方面的一种可能的实现方式中,上述方法还包括:电子设备显示针对上述HDR文件的参数调节控件。
本申请中,在得到第一图像后,电子设备可以只显示针对上述HDR文件的参数调节控件,以供用户调节该参数调节控件。如此,不仅可以提升界面的简洁度,提升用户的视觉体验,而且可以让用户进一步调节第一图像,使得生成的图像为符合用户喜好的图像,提升用户的使用体验。
在第一方面的一种可能的实现方式中,上述方法还包括:电子设备同时显示第一图像以及针对HDR文件的参数调节控件。
本申请中,电子设备显示参数调节控件的同时,还可以同步显示第一图像。如此,可以使得用户可以直观的浏览到调节后的第一图像,无需用户进行其他的操作,简化了用户的操作过程,提升了调节效率,进而提升了用户的使用体验。
另外,在用户调节参数调节控件的过程中,电子设备可以同步根据用户的调节操作,显示调节后的第一图像,也就是说,用户可以实时浏览调节后的第一图像,方便用户判断当前显示的图像是否为期望图像,若当前显示的图像不为期望图像,则用户可以继续调节色调映射曲线,直至显示的图像为期望图像。若当前显示的图像为期望图像,则用户可以直接点击保存控件。如此,可以使得用户能够按照自身的喜好,对第一图像进行调节,也就是说,调节后生成的目标图像符合用户的风格,提升了目标图像的适配性,提升了用户的使用体验。另外,用户在调节色调映射曲线的过程中,可以浏览到亮区和暗区更多的细节,能够按照自身需求有针对性的编辑图像,提升了图像的调节效率。
在第一方面的一种可能的实现方式中,电子设备显示第二图像的过程,具体可以包括:电子设备可以实时检测用户是否对参数调节控件进行调节操作,在检测到用户针对参数调节控件的调节操作的情况下,电子设备可以根据用户的调节操作,生成调节后参数,并显示第二图像;或者,在未检测到用户针对参数调节控件的调节操作的情况下,电子设备可以等待用户进行调节操作。
本申请中,电子设备在显示参数调节控件后,可以实时检测用户是否对参数调节控件进行调节,若检测到用户对该参数调节控件进行调节,则电子设备可以根据用户的调节操作,生成调节后参数,并显示相应的图像,如此,不仅可以方便用户进行浏览,而且可以提升图像的调节效率。
在第一方面的一种可能的实现方式中,电子设备显示第二图像的过程,具体可以包括:电子设备可以按照预设间隔时间,检测用户是否对参数调节控件进行调节操作,在检测到用户针对参数调节控件的调节操作的情况下,电子设备可以根据用户的调节操作,生成调节后参数,并显示第二图像;或者,在未检测到用户针对参数调节控件的调节操作的情况下,电子设备可以等待用户进行调节操作。
本申请中,电子设备在显示参数调节控件后,可以按照预设间隔时间,检测用户是否对参数调节控件进行调节操作,如此,可以减少不必要的资源浪费以及功耗损失,提升检测资源的利用率。
第二方面,本申请提供一种电子设备,所述电子设备包括显示屏、存储器和一个或多个处理器;所述显示屏、所述存储器和所述处理器耦合;所述显示屏用于显示所述处理器生成的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如上所述的方法。
第三方面,本申请提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的方法。
第四方面,本申请提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如上所述的方法。
第五方面,提供一种芯片,包括:输入接口、输出接口、处理器和存储器,所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,所述处理器用于执行如上所述的方法。
可以理解的是,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品,第五方面所述的芯片所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种普通模式下手机拍摄到的图像的界面示意图;
图2为本申请实施例提供的一种手机开启HDR功能的界面示意图;
图3为本申请实施例提供的一种电子设备的硬件结构示意图;
图4为本申请实施例提供的一种展示手机前置摄像头以及摄像头的示意图;
图5为本申请实施例提供的一种图像处理方法的流程图;
图6为本申请实施例提供的一种手机开启HDR功能进行图像拍摄的界面示意图;
图7为本申请实施例提供的一种显示色调映射曲线的示意图;
图8为本申请实施例提供的一种对第一图像的动态范围进行调节的界面示意图;
图9为本申请实施例提供的一种向下调节色调映射曲线的界面示意图;
图10为本申请实施例提供的一种向上调节色调映射曲线的界面示意图;
图11为本申请实施例提供的另一种向下调节色调映射曲线的界面示意图;
图12为本申请实施例提供的另一种向上调节色调映射曲线的界面示意图;
图13为本申请实施例提供的一种生成第二图像的界面示意图;
图14为本申请实施例提供的一种高精度模式下,图像处理方法中拍摄照片部分的示意图;
图15为本申请实施例提供的一种高精度模式下,图像处理方法中编辑照片部分的示意图;
图16为本申请实施例提供的另一种图像处理方法的流程图;
图17为本申请实施例提供的一种选择动态范围档位的界面示意图;
图18为本申请实施例提供的另一种选择动态范围档位的界面示意图;
图19为本申请实施例提供的一种生成候选图像的界面示意图;
图20为本申请实施例提供的一种高体验模式下,图像处理方法中拍摄照片部分的示意图;
图21为本申请实施例提供的一种高体验模式下,图像处理方法中编辑照片部分的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
在电子设备对当前场景进行拍摄的过程中,所获取到的图像帧并不能完整的呈现真实场景,也就是说,该图像帧无法针对一些场景细节进行显示,使得该图像帧的细节还原度较低,影响用户的视觉体验。可以理解,该图像帧中包括多个像素点,且每个像素点的亮度等级为256个,也就是说,该图像帧的亮度范围为[0,255]。并且,电子设备采用一个字节8比特(bit)的空间来存储该图像帧中一个像素点对应的像素值,其中,字节为计量存储容量的一种计量单位,用于表征一些计算机编程语言中的数据类型和语言字符。
在一些实施例中,针对一些拍摄场景(如光线较为充足的场景),由于拍摄画面可能明暗相差太大,拍摄得到的图像容易出现亮处过亮或者暗处过暗的情况,从而丢失亮处或暗处的细节,影响图像的质量。
在一示例中,针对拍摄场景中的较亮区域,由于过度曝光(或称为过曝)的原因,电子设备所得到的图像帧,可能会将该较亮区域以白色的形式进行显示,也就是说,该图像帧无法呈现出真实场景下的细节。例如,请参见图1,图像帧中的区域A为手机所拍摄的天空。可以理解,现实场景下的天空为蓝色,而手机进行拍摄得到的天空为白色,也就是说,手机无法针对天空的细节进行还原,降低了图像质量。
在另一示例中,针对拍摄场景中的较暗区域,由于缺少曝光(或称为欠曝)的原因,电子设备所得到的图像帧,可能会将该较暗区域以黑色的形式进行显示,也就是说,该图像帧无法呈现出真实场景下的细节。例如,请再次参见图1,图像帧中的区域B为手机所拍摄的树木。可以理解,现实场景下的树木为绿色,而手机进行拍摄得到的树木为黑色,也就是说,手机无法针对树木的细节进行还原,降低了图像质量。
因此,为了提升图像质量,电子设备可以采用高动态范围成像(high dynamicrange imaging,HDR)功能拍摄图像,得到HDR图像。其中,HDR是一种提高影像亮度和对比度的处理技术,该技术可以利用计算机高速运算产生动态范围更好的图像,也就是说,该技术可以提供更多的动态范围和图像细节,能够更好地反映出真实环境中的视觉效果。该动态范围是指图像亮度的最大值与最小值之间的比值,用于定义相机(图像传感器)可以在多大范围内捕捉图像的影调细节。可以理解,该动态范围越大,图像可显示的场景细节越多,视觉效果越逼真。
示例性的,如图2所示,用户站在小区楼下,将手机的摄像头对着天空,也就是说,手机可以显示预览图像,该预览图像中包括天空、楼房以及树木。之后,在检测到用户针对“更多”控件的触摸操作的情况下,响应于该触摸操作,手机可以显示功能控件,该功能控件可以包括“慢动作”控件、“延时”控件以及“HDR”控件等。之后,在检测到用户针对“HDR”控件的触摸操作的情况下,响应于该触摸操作,手机可以开启HDR功能,并在HDR功能开启后,手机可以显示预览图像。之后,在检测到用户针对拍照控件110的触摸操作的情况下,响应于该触摸操作,手机可以采用HDR功能,在该场景下进行拍摄,以生成图像C。可以看出,该图像C相比于如图1所示的图像,可以呈现出更多的场景细节,使得视觉效果更加逼真。
需要说明的是,电子设备采用浮点数多字节的空间来存储上述HDR图像中一个像素点对应的像素值。示例性的,若该浮点数为单精度浮点数,则一个浮点数占用4个字节;若该浮点数为双精度浮点数,则一个浮点数占用8个字节。
可以理解,电子设备所显示的图像对应的亮度值均位于0至255之间,也就是说,该图像中每个像素点的亮度等级均不会超过256个,而电子设备在开启HDR功能下,所生成的HDR文件对应的亮度等级不仅仅包括256个,比如,HDR文件对应的亮度值可能位于0至65535之间,也就是说,该HDR文件对应的亮度等级可以为65536个。因此,手机通过HDR文件得到的HDR图像对应的亮度等级同样为256个,也就是说, HDR图像中未处于0至255之间的亮度值对应的细节是显示不出来的,也即,该HDR图像中存在部分内容仍无法进行显示,因此,电子设备将开启HDR功能后拍摄得到的图像进行线性解码所得到的图像,可能出现一部分区域过亮,另一部分区域过于暗淡的情况。为了减少图像中存在部分过亮或者过暗的情况,电子设备可以通过动态范围压缩(dynamic range compressor,DRC)或者色调映射(tonemapping),对HDR图像进行处理,以得到低动态范围(low dynamic range,LDR)图像。
其中,上述动态范围压缩可以降低图像的亮度或者提升图像的亮度,以降低或者压缩图像亮度的动态范围,使得HDR图像在被显示的同时,可以充分保留原始图像的细节信息,也就是可以更好的体现真实场景的亮度效果。上述色调映射用于将颜色从原始色调映射到目标色调,以尽可能还原真实场景的亮度效果,其中,该原始色调为HDR图像所对应的色调,目标色调为LDR图像所对应的色调。
然而,电子设备在对HDR图像进行处理的过程中,仍然会导致图像中的部分场景细节(如过亮区域)受到损失,进而影响真实场景下的还原度,使得用户的视觉体验感较低。示例性的,请再次参见图2,该图像C中的c区域仍为白色,也就是位于c区域的场景细节仍未能进行显示,也就是说,位于c区域的场景细节无法被还原,降低了该拍摄场景下的视觉效果,影响了用户的视觉体验。
因此,为了提升用户的视觉体验,本申请实施例提供了一种图像处理方法。该方法中,响应于用户针对第一图像的编辑操作,电子设备获取与该第一图像对应的HDR文件,并显示该HDR文件的参数调节控件。之后,在接收到用户针对该参数调节控件的调节操作的情况下,电子设备确定该调节操作对应的调节后参数。之后,电子设备可以显示第二图像,其中,该第二图像为HDR文件基于该调节后参数生成的图像。
本申请实施例中,第二图像是在第一图像对应的HDR文件的基础上,按照调节后参数生成的图像,并非基于电子设备生成的JPG图像生成的,如此,可以避免大量的原始细节信息丢失,能够最大程度的提升场景细节的还原度,从而使得视觉效果更加逼真。另外,电子设备可以显示该HDR文件的参数调节控件,以便于用户可以按照自身需求调节第一图像,使得调节后的图像能够符合用户喜好,以及有针对性的显示亮区或者暗区的场景细节,从而提升用户的视觉体验。
一些示例中,本申请实施例中的电子设备可以是手机、平板电脑、智能手表、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等包含摄像头的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
示例性的,图3示出了电子设备200的结构示意图。如图3所示,电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serialbus,USB)接口230,充电管理模块211,电源管理模块212,电池213,天线1,天线2,移动通信模块240,无线通信模块250,音频模块270,传感器模块280,按键290,马达291,指示器292,摄像头1-N 293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口1-N 295等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了***的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在本申请另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块211用于从充电器接收充电输入。充电管理模块211为电池213充电的同时,还可以通过电源管理模块212为电子设备供电。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块240,无线通信模块250,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块240可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。调制解调处理器可以包括调制器和解调器。
无线通信模块250可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
电子设备200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏(或称为屏幕)294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
电子设备200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头293反馈的数据。例如,电子设备拍照时,打开快门,光线通过镜头被传递到摄像头感光元件(或称为图像传感器)上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。在一些实施例中,摄像头293包括快门。快门是摄像头中用来控制光线照射感光元件时间的器件。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备200可以包括1个或N个摄像头293,N为大于1的正整数。
在一些实施例中,摄像头293可以包括镜头,该镜头是用于生成影像的光学部件。
示例性的,上述N个摄像头293可以包括:一个或多个前置摄像头和一个或多个后置摄像头。例如,请参见图4,以上述电子设备200是手机为例。图4中的(a)界面上显示有一个前置摄像头,如前置摄像头20。图4中的(b)界面上显示有三个后置摄像头,如后置摄像头21、22以及23。当然,上述手机中摄像头的数量包括但不限于上述实施例中所述的数量。
其中,上述N个摄像头293可以包括以下一种或多种摄像头:主摄像头、长焦摄像头、广角摄像头、超广角摄像头、微距摄像头、鱼眼摄像头、红外摄像头、深度摄像头和黑白摄像头。
本实施方式中,上述后置摄像头为具有HDR功能的摄像头。具体的,在电子设备开启HDR功能的情况下,若拍照控件被用户点击,电子设备的后置摄像头可以拍摄不同曝光量的图像。之后,电子设备可以对该不同曝光量的图像进行HDR融合,得到HDR文件。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备200可以通过音频模块270以及应用处理器等实现音频功能。例如音乐播放,录音等。其中,该音频模块270可以包括扬声器,受话器,麦克风以及耳机接口等。
按键290包括开机键,音量键等。指示器292可以是指示灯。
传感器模块280可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
本申请实施例的图像处理方法可以用于电子设备拍摄图像的场景中。如电子设备通过电子设备的前置摄像头或后置摄像头拍摄照片。下面将以电子设备为手机为例,将本申请实施例提供的图像处理方法分为两个实施例进行介绍,其中,实施例一用于介绍高精度模式下第一图像的生成以及编辑部分,该高精度模式能够最大程度的还原场景细节,实施例二用于介绍高体验模式下第一图像的生成以及编辑部分,该高体验模式能够最大程度的满足用户自身的色调风格,以使调节后的图像符合用户喜好。
实施例一
本申请实施例提供一种图像处理方法。在该实施例中,响应于用户的拍摄操作,手机获取不同曝光量的多张图像,并对该不同曝光量的多张图像进行融合,得到HDR文件。之后,手机可以根据该HDR文件以及参数调节控件对应的调节后参数,生成符合用户喜好的图像,也就是第二图像。具体的,如图5所示,该图像处理方法可以包括S501~S505。
S501,响应于用户的拍摄操作,手机获取不同曝光量的多张图像。
一种情况下,上述拍摄操作可以是用户在开启HDR功能的拍照模式下,点击拍照控件的操作,例如,请参见图6,若图6中的拍照控件110被用户点击,说明用户想要在该场景下进行拍照,也就是用户触发了拍摄操作,因此,手机可以采用HDR功能,在该场景下进行拍摄,以获取不同曝光量的多张图像。另一种情况下,上述拍摄操作还可以是用户在开启HDR功能的录像模式下,点击录制控件的操作。
其中,上述曝光量(exposure values,EV)用于表征图像的曝光等级,若曝光量大于0 ,说明图像的整体明暗度偏亮,也就是说,该曝光量越大,该图像越亮;若曝光量小于0,说明图像的整体明暗度偏暗,也就是说,该曝光量越小,该图像越暗;若曝光量为0 ,说明图像的整体明暗度为正常亮度,也就是说,手机在拍照模式下采集到的正常曝光图像对应的曝光量为0。
在一些实施例中,上述不同曝光量的多张图像可以包括至少一张EV值为0的图像。可以理解,由于EV0的图像为正常情况下手机采集的图像,也就是正常曝光图像,且手机在采集图像的过程中会受到噪声的干扰,因此,EV0的图像数量越多,图像去噪的效果越好,手机采集到的图像就越清晰。其中,这里的EV0是相对值,而不是说曝光量为0。示例性的,曝光量=曝光时间*感光度(ISO)。假设正常曝光图像是在ISO是200,以及曝光时间是50毫秒的情况下,拍摄得到的,那么EV0实际对应的曝光量是200与50毫秒的乘积。
本实施方式中,上述不同曝光量的图像可以包括EV-8的图像、EV-6的图像、EV-4的图像、EV-2的图像、EV0的图像、EV0的图像、EV2的图像、EV4的图像、EV6的图像以及EV8的图像。其他实施方式中,不同曝光量的图像还可以包括其它曝光量的图像,比如,EV-5的图像以及EV5的图像等。
在一些实施例中,由于较大的曝光量(如EV8)会导致获取得到的图像过亮,以及,较小的曝光量(如EV-8)会导致获取得到的图像过暗,且过亮的图像以及过暗的图像会损失更多的场景细节,因此,为了避免图像占用手机过多的存储空间,上述不同曝光量的多张图像可以仅包括EV-4的图像、EV-2的图像、EV0的图像、EV0的图像、EV2的图像以及EV4的图像,如此,可以最大程度的避免存储资源的浪费,提升存储资源的利用率。
其中,上述不同曝光量的多张图像均为原始图像文件(raw),该原始图像文件为未被手机进行处理、编辑过的文件,其包含图像传感器所采集的数据。可以理解,不同图像传感器采集到的原始图像文件所占用的存储空间是不同的,例如,原始图像文件的存储空间可以为10bit、12bit、14bit等,具体不做限定。
示例性的,上述不同曝光量的多张图像可以是手机的前置摄像头,或后置摄像头进行采集得到的。手机拍摄图像所使用的摄像头的数量可以是一个或多个。
可以理解,用户可以使用手机摄像头拍摄不同场景。以拍摄场景为室外场景进行举例,拍摄场景可以是包含天空以及树林的场景,也可以是包括天空与建筑物(如办公楼)的场景等;以拍摄场景为室内场景进行举例,拍摄场景可以是包括照明设备(如台灯)开启的场景,也就是说,只要拍摄场景中存在光源即可,具体不做限定。
S502,手机根据图像融合模型,对上述不同曝光量的多张图像进行融合,得到高动态范围成像文件。
在一些实施例中,在获取到不同曝光量的多张图像后,手机可以将该不同曝光量的多张图像输入至图像融合模型,得到融合后的原始图像文件(或称为HDR文件)。其中,该图像融合模型为HDR网络(HDR net),其为一种基于深度神经网络的图像增强算法,用于提升图像的动态范围,也就是说,该图像融合模型是通过训练一个深度神经网络,使得该深度神经网络学习从LDR文件到HDR文件的映射,从而实现对LDR文件的增强。示例性的,该图像融合模型可以采用基于U-Net的网络结构进行模型设计,以提高图像增强的效果以及融合效率。
具体的,在获取到不同曝光量的多张图像后,手机可以针对每张图像,对该图像进行预处理,得到处理后的图像。其中,对图像进行预处理是指对图像进行亮度对齐和/或初步配准。该亮度对齐用于将不同曝光量的多张图像对应的亮度值进行对齐,使得对齐后的多张图像中所有像素点的亮度是相同的。该初步配准用于调节由用户手抖等原因导致的拍摄画面出现移位的图像,使得配准后的图像与EV0图像中的拍摄画面相同。
之后,手机可以将多张处理后的图像输入至图像融合模型,得到上述HDR文件。其中,该HDR文件为高比特位的文件,例如,该HDR文件可以是16bit的文件,也可以是32bit的文件等,具体不做限定。可以理解,若HDR文件为16bit,则该HDR文件对应的最大像素值为65535。
本实施方式中,手机通过图像融合模型,对上述不同曝光量的多张图像进行融合,可以使得得到的第一图像能够最大程度的保留场景细节,避免造成过多的细节损失,提升了图像的视觉效果。
需要说明的是,手机在对不同曝光量的多张图像进行融合的过程中,上述图像融合模型可以对该不同曝光量的多张图像进行配准误差矫正,以针对短帧图像弥补亮区信息和针对长帧图像弥补暗区信息,也就是说,通过对不同曝光量的多张图像进行配准误差矫正,可以解决短帧图像以及长帧图像难以配准的问题,为后续提升场景细节的还原度提供了基础。其中,该短帧图像为手机摄像头在曝光量小于0EV的情况下,拍摄得到的图像。也就是说,短帧图像的曝光量小于0EV,如短帧图像的曝光量为-2EV,-4EV等。长帧图像为手机摄像头在曝光量大于0EV的情况下,拍摄得到的图像。也就是说,长帧图像的曝光量大于0EV,如长帧图像的曝光量为2EV,4EV等。
在一些实施例中,为了便于后续直接调用HDR文件,在得到HDR文件后,手机可以先对该HDR文件进行保存,也就是第一图像携带有该HDR文件。之后,在接收到用户针对第一图像的编辑操作的情况下,手机可以直接调用HDR文件,其中,该第一图像是基于HDR文件生成的。如此,可以提升图像的调节效率,节约图像的调节时间,提升用户的使用体验。
在一种实现方式中,上述手机融合不同曝光量的多张图像的过程,可以不采用图像融合模型进行图像融合,也就是说,手机可以采用其他方法进行图像融合,比如,手机可以利用像素加权平均法,对不同曝光量的多张图像的进行融合,得到HDR文件。其中,该像素加权平均法用于将该多张图像对应像素的灰度值进行加权平均,以实现图像融合。
S503,手机生成第一图像,其中,该第一图像为上述高动态范围成像文件基于预设参数生成的图像。
具体的,在得到HDR文件后,手机可以根据预设参数以及该HDR文件,生成可视化的第一图像。其中,该第一图像为手机开启HDR功能后,采用前置摄像头或者后置摄像头进行拍摄得到的图像。示例性的,该第一图像可以是手机在拍照模式下拍摄得到的图像,也可以是手机在视频模式下拍摄的图像。可以理解,视频模式下拍摄的图像可以是在视频拍摄完成后所得到的视频文件中的图像,也可以是在视频拍摄过程中手机摄像头所采集的图像,具体不做限定。
其中,上述预设参数是手机预先配置的默认参数。在一些实施例中,预设参数可以是通过色调映射曲线(tone mapping)中的映射信息得到的,示例性的,手机可以通过配置该色调映射曲线的方式,配置默认参数,或者,手机可以通过用户调节后的色调映射曲线,进行映射信息提取并学习得到的参数。
示例性的,如图7所示的关系示意图中显示的曲线F为未按照上述预设参数进行调节时对应的色调映射曲线,曲线E为按照上述预设参数进行调节后对应的色调映射曲线,该色调映射曲线用于表征输入像素值与输出像素值(或称为被映射的像素值)之间的映射关系。其中,输入像素值是指HDR文件当前所对应的像素值,也就是手机未对HDR文件进行调节前,所对应的像素值。输出像素值是指第一图像所对应的像素值,也就是手机对HDR文件进行调节后,所对应的像素值。需要说明的是,该色调映射曲线对应的HDR文件为16bit的HDR文件,也就是说,该HDR文件的像素值范围为[0,65535]。而第一图像为8bit的原始图像文件,也就是说,该原始图像文件的像素值范围为[0,255]。
需要说明的是,针对同一输入像素值,输出像素值越大,调节后的图像越亮;输出像素值越小,调节后的图像越暗。针对同一输出像素值,数值小的输入像素值是针对HDR文件的暗区(如森林)进行调整的;数值大的输入像素值是针对HDR文件的亮区(如天空)进行调整的。可以理解,手机针对HDR文件的暗区(如欠曝的区域)进行调亮可以增加暗区细节,也就是可以提升暗区细节的还原度;手机针对HDR文件的亮区(如过曝的区域)进行调暗可以增加亮区细节,也就是可以提升亮区细节的还原度。
在一些实施例中,在得到第一图像后,手机可以将该第一图像保存至手机的图库应用程序(application,APP)中,以方便用户查看该第一图像。
S504,响应于用户针对上述第一图像的编辑操作,手机显示针对上述高动态范围成像文件的参数调节控件。
具体的,在得到第一图像后,手机可以显示第一图像对应的标识。之后,在检测到用户针对该标识的点击操作的情况下,手机根据该点击操作,显示第一图像,以供用户浏览该第一图像。之后,在检测到用户针对第一图像的编辑控件的点击操作的情况下,手机根据该点击操作,显示针对该第一图像的编辑界面,也就是显示与上述HDR文件对应的参数调节控件,以供用户进行调节。示例性的,该参数调节控件可以为上述色调映射曲线。
在一些实施例中,手机在显示上述参数调节控件的同时,还可以同步显示上述第一图像。如此,可以使得用户可以直观的浏览到调节后的第一图像,无需用户进行其他的操作,简化了用户的操作过程,提升了调节效率,进而提升了用户的使用体验。
示例性的,如图8所示,界面(a)为第一图像在相册APP中进行显示时的手机界面。在检测到用户针对界面(a)中编辑控件的点击操作的情况下,手机可以进入该第一图像的编辑界面,也就是显示图8中的界面(b)。之后,在检测到用户针对界面(b)中调节控件以及动态范围控件的点击操作的情况下,手机可以进入该第一图像的动态范围调节界面,也就是显示图8中的界面(c),其中,该界面(c)中包括第一图像以及参数调节控件。之后,在检测到用户针对界面(c)中参数调节控件的调节操作的情况下,手机可以根据该调节操作对应的调节后参数,显示参数调节后的候选图像。
可以理解,由于此次编辑操作为手机生成第一图像后的第一次操作,因此,手机界面中显示的参数调节控件为预设参数对应的参数调节控件,但如果此次编辑操作为第二次或者第二次以上的编辑操作,则手机界面中显示的参数调节控件为前一次进行调节时所对应的参数调节控件。
S505,在接收到用户针对上述参数调节控件的调节操作的情况下,手机在HDR文件的基础上,按照该调节操作对应的调节后参数,生成第二图像。
具体的,在显示与上述预设参数对应的参数调节控件后,用户可以对该参数调节控件进行调节。之后,手机可以根据用户的调节操作,生成调节后参数,并在HDR文件的基础上,按照该调节后参数,生成第二图像。其中,第二图像为高动态范围成像文件基于上述调节后参数生成的图像。
在一些实施例中,手机在显示参数调节控件后,可以实时检测用户是否对色调映射曲线进行调节,若检测到用户对该色调映射曲线进行调节,则手机可以根据用户的调节操作,生成调节后参数,并显示相应的图像,以方便用户进行浏览。若未检测到用户对该色调映射曲线进行调节,则手机可以等待用户进行调节操作。
在另一些实施例中,手机在显示参数调节控件后,若接收到用户针对该参数调节控件的调节操作,说明用户触发了参数调节控件,因此,手机可以根据用户的调节操作,生成调节后参数。也就是说,手机无需实时检测用户是否对色调映射曲线进行调节,如此,可以减少不必要的功耗损失,提升检测资源的利用率。
在一种实现方式中,手机可以在预设参数对应的参数调节控件的基础上,也就是在如图7中的色调映射曲线E的基础上,根据用户的调节操作,生成相应的调节后参数。
在一示例中,如图9所示,若用户将色调映射曲线中的位置L1下拉至L2,说明用户想要将第一图像进行调暗,因此,手机可以对该第一图像进行调暗处理,得到调暗后的图像,也就是第二图像。可以理解,调暗后的图像相比于第一图像,增加了亮区的细节特征,但减少了暗区的细节特征,也就是说,第一图像包括第二图像没有的细节特征(如亮区的细节特征),和/或,第二图像包括第一图像没有的细节特征(如暗区的细节特征)。
在另一示例中,如图10所示,若用户将色调映射曲线中的位置P2上调至P1,说明用户想要将第一图像进行调亮,因此,手机可以对该第一图像进行调亮处理,得到调亮后的图像。也就是第二图像。可以理解,调亮后的图像相比于第一图像,增加了暗区的细节特征,但减少了亮区的细节特征,也就是说,第一图像包括第二图像没有的细节特征(如暗区的细节特征),和/或,第二图像包括第一图像没有的细节特征(如亮区的细节特征)。
在另一种实现方式中,手机也可以在初始参数调节控件的基础上,也就是在如图7中的色调映射曲线F的基础上,根据用户的调节操作,生成相应的调节后参数。其中,该初始参数调节控件是指未按照上述预设参数进行调节时对应的色调映射曲线。
在一示例中,如图11所示,若用户将色调映射曲线中的位置Q1下拉至Q2,说明用户想要将HDR文件对应的初始图像进行调暗,因此,手机可以对该初始图像进行调暗处理,得到调暗后的图像,也就是第二图像。其中,该初始图像为直接根据HDR文件生成的图像,也就是未按照上述预设参数进行调节所生成的图像。可以理解,调暗后的图像相比于初始图像,增加了亮区的细节特征,但减少了暗区的细节特征,也就是说,初始图像包括第二图像没有的细节特征(如亮区的细节特征),和/或,第二图像包括初始图像没有的细节特征(如暗区的细节特征)。
在另一示例中,如图12所示,若用户将色调映射曲线中的位置X2上调至X1,说明用户想要将HDR文件对应的初始图像进行调亮,因此,手机可以对该初始图像进行调亮处理,得到调亮后的图像。也就是第二图像。其中,该初始图像为直接根据HDR文件生成的图像,也就是未按照上述预设参数进行调节所生成的图像。可以理解,调亮后的图像相比于初始图像,增加了暗区的细节特征,但减少了亮区的细节特征,也就是说,初始图像包括第二图像没有的细节特征(如暗区的细节特征),和/或,第二图像包括初始图像没有的细节特征(如亮区的细节特征)。
可以理解,在用户调节色调映射曲线的过程中,手机可以同步根据用户的调节操作,显示调节后的第一图像,也就是说,用户可以实时浏览调节后的第一图像,方便用户判断当前显示的图像是否为期望图像,若当前显示的图像不为期望图像,则用户可以继续调节色调映射曲线,直至显示的图像为期望图像。若当前显示的图像为期望图像,则用户可以直接点击保存控件。之后,响应于用户针对保存控件的点击操作,手机可以将当前显示的图像确定为第二图像。之后,手机可以显示该第二图像。如此,可以使得用户能够按照自身的喜好,对第一图像进行调节,也就是说,调节后生成的目标图像符合用户的风格,提升了目标图像的适配性,提升了用户的使用体验。另外,用户在调节色调映射曲线的过程中,可以浏览到亮区和暗区更多的细节,能够按照自身需求有针对性的编辑图像,提升了图像的调节效率。
示例性的,如图13所示,若保存控件K被用户点击,说明手机当前显示的图像为期望图像,也就是说,手机当前显示的图像符合用户的风格,因此,手机可以对该图像进行保存,以在图库APP中进行显示,方便用户后续进行浏览,提升用户的使用体验。
可以理解,上述S501~S503的过程为用户点击拍摄控件后,手机生成相应图像的过程,也就是说,该过程为图像处理方法中的拍摄照片部分。上述S504~S505的过程为用户调节动态范围的过程,也就是说,该过程为图像处理方法中的编辑照片部分。
在一些实施例中,针对上述图像处理方法中拍摄照片部分的具体过程,可以参见图14,具体的,手机在获取到不同曝光量的多张图像后,可以对该多张图像进行预处理,得到处理后的多张图像。之后,手机可以将该处理后的多张图像输入至图像融合模型,得到高动态范围成像文件。之后,手机可以在该高动态范围成像文件的基础上,按照默认参数(或称为预设参数),生成第一图像。
在另一些实施例中,针对上述图像处理方法中编辑照片部分的具体过程,可以参见图15,具体的,手机显示上述第一图像。之后,在接收到用户针对该第一图像的编辑操作的情况下,手机获取与该第一图像对应的高动态范围成像文件。之后,响应于用户针对参数调节控件的调节操作,手机基于该调节操作,实时显示参数调节后的图像。
实施例二
本申请实施例还提供一种图像处理方法。在该实施例中,响应于用户的拍摄操作,手机获取不同曝光量的多张图像。之后,手机可以根据拍摄环境的环境亮度,从该多张图像中选择至少两张图像,并对该至少两张图像进行融合,得到第一HDR文件。之后,手机可以根据动态范围调节档位,从不同曝光量的多张图像中选择对应的至少两张图像进行融合,得到第二HDR文件。之后,手机可以根据该第二HDR文件以及参数调节控件对应的调节后参数,生成符合用户喜好的图像,也就是第二图像。具体的,如图16所示,该图像处理方法可以包括S1201~S1210。
S1201,响应于用户的拍摄操作,手机获取不同曝光量的多张图像,以及拍摄环境的环境亮度。
具体的,手机在接收到用户的拍摄操作的情况下,手机可以在拍摄的过程中,获取不同曝光量的图像,以及对当前的拍摄环境进行检测,得到环境亮度。其中,该环境亮度是指拍摄环境中的光线强度。
在一些实施例中,上述环境亮度可以是通过手机中的光线传感器进行检测得到的,具体的,手机可以根据光线传感器检测到的光线数据,确定拍摄环境的环境亮度。
S1202,手机从不同曝光量的多张图像中提取与上述环境亮度匹配的至少两张图像。
具体的,在获取到拍摄环境的环境亮度后,手机可以根据该环境亮度,从不同曝光量的多张图像中选择对应的至少两张图像,如此,可以提升图像融合的速度,为后续生成第一图像提供了方便。
在一些实施例中,上述与环境亮度匹配的至少两张图像的数量是固定的,也就是说,该至少两张图像的数量是预先设定好的。本实施方式中,该至少两张图像的数量为3张。其他实施方式中,该至少两张图像的数量可以为2张、4张等,具体不做限定。
在另一些实施例中,上述至少两张图像的数量可以是根据环境亮度确定的。例如,若环境亮度为正常范围,也就是该环境亮度处于预设区间内,说明当前拍摄环境的光线较为充足,因此,手机可以从不同曝光量的多张图像中选择数量较少的图像,比如,至少两张图像的数量可以是2张。又例如,若环境亮度为非正常范围,也就是该环境亮度未处于预设区间内,说明当前拍摄环境的光线较暗或者较亮,因此,手机可以从不同曝光量的多张图像中选择数量较多的图像,比如,至少两张图像的数量可以是4张。
其中,上述至少两张图像对应的曝光量是手机根据环境亮度预先设置好的图像,也就是说,手机在不同环境亮度下进行拍摄得到的第一图像,是基于不同曝光量的多张图像(或称为不同曝光图像)进行融合得到的。可以理解,若环境亮度越高,说明拍摄环境较亮,因此,手机可以选择曝光量较低的图像作为曝光图像。例如,至少两张图像可以包括EV-2的图像以及两张EV0的图像。又例如,该至少两张图像可以包括EV-4的图像、EV-2的图像以及EV0的图像。若环境亮度越低,说明拍摄环境较暗,因此,手机可以选择曝光量较高的图像作为曝光图像。例如,该至少两张图像可以包括EV-2的图像、EV0的图像以及EV2的图像。又例如,该至少两张图像可以包括EV0的图像、EV2的图像以及EV4的图像。
在一种实现方式中,在获取到拍摄环境的环境亮度后,手机可以判断该环境亮度是否满足预设条件,若该环境亮度满足预设条件,说明当前拍摄环境较亮,因此,手机可以从不同曝光量的多张图像中提取与至少两个第一曝光量分别对应的图像,也就是选择环境亮度较高时对应的曝光图像。例如,手机可以选择EV-2的图像以及两张EV0的图像作为曝光图像。若该环境亮度不满足预设条件,说明当前拍摄环境较暗,因此,手机可以从不同曝光量的图像中提取与至少两个第二曝光量对应的图像,也就是选择环境亮度较低时对应的曝光图像,其中,该至少两个第二曝光量中的最大值大于至少两个第一曝光量中的最大值。例如,手机可以选择EV-2的图像、EV0的图像以及EV2的图像作为曝光图像。示例性的,环境亮度满足预设条件可以是环境亮度的亮度值大于预设亮度值。
S1203,手机根据第一图像融合模型,对上述至少两张图像进行融合,得到第一高动态范围成像文件。
具体的,在确定与上述环境亮度匹配的至少两张图像后,手机可以将该至少两张图像输入至第一图像融合模型,得到第一HDR文件,也就是融合后的原始图像文件。
在一些实施例中,在确定上述至少两张图像后,手机可以针对每张图像,对该图像进行预处理,得到处理后的图像。之后,手机可以将该处理后的图像分别输入至第一图像融合模型,得到第一HDR文件。本实施方式中,该第一HDR文件为16bit的文件,也就是说,该第一HDR文件对应的最大像素值为65535。
在一示例中,上述第一图像融合模型可以是适应于所有环境亮度的模型,也就是说,该第一图像融合模型既可以对曝光量较高的图像进行融合,也可以对曝光量较低的图像进行融合,也即,该第一图像融合模型的泛化能力较强,适用性较高。
在另一示例中,上述第一图像融合模型可以包括多个第一子图像融合模型,该第一子图像融合模型分别适用于不同环境亮度,如此,可以提升第一图像融合模型的鲁棒性。例如,针对环境亮度较暗的场景,手机可以从该第一图像融合模型中调用符合环境亮度较暗场景下的第一子图像融合模型。又例如,针对环境亮度较亮的场景,手机可以从该第一图像融合模型中调用符合环境亮度较亮场景下的第一子图像融合模型。
在一些实施例中,为了便于后续直接调用第一HDR文件,在得到第一HDR文件后,手机可以先对该第一HDR文件进行保存。之后,在接收到用户针对第一图像的编辑操作的情况下,手机可以直接调用第一HDR文件,其中,该第一图像是基于第一HDR文件生成的。如此,可以提升图像的调节效率,节约图像的调节时间,提升用户的使用体验。
S1204,手机在上述第一高动态范围成像文件的基础上,按照预设参数,生成第一图像。
具体的,在得到第一HDR文件后,手机可以在第一HDR文件的基础上,按照预设参数,生成可视化的第一图像,也就是第一图像。可以理解,该第一图像为第一HDR文件基于预设参数生成的图像。
在一些实施例中,在得到第一图像后,手机可以将该第一图像保存至手机的图库APP中,以方便用户查看该第一图像。
可以理解,在得到上述第一图像后,手机可以不执行下述S1205~S1210的过程,手机可以执行上述S504~S505的过程,具体不做限定。
S1205,响应于用户针对上述第一图像的编辑操作,手机显示动态范围调节控件。
具体的,在得到第一图像后,手机可以显示第一图像对应的标识。之后,在检测到用户针对该标识的点击操作的情况下,手机根据该点击操作,显示第一图像,以供用户浏览该第一图像。之后,在检测到用户针对第一图像的编辑控件的点击操作的情况下,手机根据该点击操作,显示针对该第一图像的编辑界面,也就是显示动态范围调节控件,以供用户按照自身喜好选择相应的动态范围,提升用户的使用体验。
其中,上述动态范围调节控件包括多个动态范围档位,该动态范围档位可以是手机预先设置好的档位。本实施方式中,该动态范围调节控件可以包括5个动态范围档位。具体的,第一动态范围档位为EV0,也就是说,第一动态范围档位对应的手机获取到的所有EV0的图像。第二动态范围档位为EV-2~EV2,也就是说,第二动态范围档位对应的手机获取到的EV-2的图像、至少一张EV0的图像以及EV2的图像。第三动态范围档位为EV-4~EV4,也就是说,第三动态范围档位对应的手机获取到的EV-4的图像、EV-2的图像、至少一张EV0的图像、EV2的图像以及EV4的图像。第四动态范围档位为EV-6~EV6,也就是说,第四动态范围档位对应的手机获取到的EV-6的图像、EV-4的图像、EV-2的图像、至少一张EV0的图像、EV2的图像、EV4的图像以及EV6的图像。第五动态范围档位为EV-8~EV8,也就是说,第五动态范围档位对应的手机获取到的EV-8的图像、EV-6的图像、EV-4的图像、EV-2的图像、至少一张EV0的图像、EV2的图像、EV4的图像、EV6的图像以及EV8的图像。
可以理解,动态范围档位对应的等级越高,手机所设置的图像数量越多,也就是说,第一动态范围档位对应的图像数量为2个,第五动态范围档位对应的图像数量为10个。
其他实施方式中,上述动态范围调节控件可以仅包括3个动态范围档位,例如,第一动态范围档位为EV0,第二动态范围档位为EV-2~EV2,第三动态范围档位为EV-4~EV4。又例如,第一动态范围档位为EV-2~EV2,第二动态范围档位为EV-4~EV4,第三动态范围档位为EV-6~EV6。上述动态范围调节控件还可以包括4个动态范围档位、6个动态范围档位等,具体不做限定。
在一示例中,如图17所示,界面(a)为第一图像在相册APP中进行显示时的手机界面。在检测到用户针对界面(a)中编辑控件的点击操作的情况下,手机可以进入该第一图像的编辑界面,也就是显示图17中的界面(b)。之后,在检测到用户针对界面(b)中调节控件以及动态范围控件的点击操作的情况下,手机可以进入该第一图像的动态范围调节界面,也就是显示图17中的界面(c),其中,该界面(c)中包括第一图像以及动态范围调节控件,该动态范围调节控件包括第一档位、第二档位、第三档位、第四档位以及第五档位。
在另一示例中,如图18所示,界面(a)为第一图像在相册APP中进行显示时的手机界面。在检测到用户针对界面(a)中编辑控件的点击操作的情况下,手机可以进入该第一图像的编辑界面,也就是显示图18中的界面(b)。之后,在检测到用户针对界面(b)中调节控件以及动态范围控件的点击操作的情况下,手机可以在界面(b)的基础上,显示动态范围调节控件,也就是生成界面(c),其中,动态范围调节控件可以以进度条的形式进行显示,该进度条用于调节动态范围档位,也就是用来调节第一图像的动态范围。之后,用户可以按照自身的喜好习惯,拖动进度条上的按钮T,以使得调节后的档位为符合用户喜好的档位。
可以理解的是,由于上述手机生成第一HDR文件的过程中,仅针对不同曝光量的多张图像中的至少两张图像进行融合,虽然能够提升图像的融合速度,但也会导致第一图像的细节调整范围受到限制,也就是导致生成的第二图像会存在一些细节损失,因此,为了减少该细节损失,在接收到用户针对第一图像的编辑操作后,手机可以显示上述动态范围调节控件,以便于手机根据用户所选择的动态范围档位,重新进行图像融合,从而降低细节损失发生的概率,提升图像拍摄细节的还原度。
S1206,在接收到用户针对上述动态范围调节控件的选择操作的情况下,手机从不同曝光量的多张图像中提取与调节后的动态范围匹配的至少两张目标图像。
在一些实施例中,在显示动态范围调节控件后,用户可以对动态范围调节控件中的动态范围档位进行选择。之后,手机可以根据用户的选择操作,确定对应的目标档位。之后,手机可以从不同曝光量的多张图像中提取与该目标档位匹配的至少两张目标图像。
在一示例中,再次参见图17,界面(c)为调节第一图像动态范围档位时的手机界面。之后,若动态范围调节控件中的任一动态范围档位(如第三档位)被用户点击,说明用户想要根据第三档位下曝光量对应的至少两张图像进行融合,因此,在检测到用户针对该“生成图像”控件的点击操作的情况下,手机可以根据该点击操作,从不同曝光量的多张图像中提取与调节后的动态范围档位匹配的至少两张目标图像,也就是说,该至少两张目标图像可以包括EV-4的图像、EV-2的图像、多张图像中的所有EV0的图像、EV2的图像以及EV4的图像。
在另一示例中,再次参见图18,界面(c)为调节第一图像动态范围档位时的手机界面。具体的,响应于用户针对进度条上按钮T的拖动操作,手机移动按钮T,以使得调节后的动态范围档位为符合用户喜好的档位。之后,在检测到用户针对该“下一步”控件的点击操作的情况下,手机可以根据该点击操作,从不同曝光量的多张图像中提取与调节后的动态范围档位匹配的至少两张目标图像,也就是说,该至少两张目标图像可以EV-2的图像、多张图像中的所有EV0的图像以及EV2的图像。可以理解,按钮T越靠右,动态范围调节档位越高;按钮T越靠左,动态范围调节档位越低。
S1207,手机根据第二图像融合模型,对上述至少两张目标图像进行融合,得到第二高动态范围成像文件。
具体的,在确定与调节后的动态范围档位匹配的至少两张目标图像后,手机可以将该至少两张目标图像输入至第二图像融合模型,得到第二HDR文件,也就是融合后的原始图像文件。
在一些实施例中,在确定上述至少两张目标图像后,手机可以针对每张目标图像,对该目标图像进行预处理,得到处理后的目标图像。之后,手机可以将该处理后的目标图像分别输入至第二图像融合模型,得到第二HDR文件。本实施方式中,该第二HDR文件为16bit的文件,也就是说,该第二HDR文件对应的最大像素值为65535。
在一示例中,上述第二图像融合模型可以是适应于所有动态范围调节档位的模型,也就是说,该第二图像融合模型既可以对较高动态范围档位下的至少两张目标图像进行融合,也可以对较低动态范围档位下的至少两张目标图像进行融合,也即,该第二图像融合模型的泛化能力较强,适用性较高。
在另一示例中,上述第二图像融合模型可以包括多个第二子图像融合模型,该第二子图像融合模型分别适用于不同动态范围档位,如此,可以提升第二图像融合模型的鲁棒性。
在一种实现方式中,手机可以根据调节后的动态范围档位,从上述第二图像融合模型中调用目标子图像融合模型,其中,该目标子图像融合模型为多个第二子图像融合模型中的一个。之后,手机可以根据该目标子图像融合模型,对上述至少两张目标图像进行融合,得到第二HDR文件。例如,针对第一动态范围档位,手机可以从该第二图像融合模型中调用第一动态范围档位对应的第二子图像融合模型。又例如,针对第五动态范围档位,手机可以从该第二图像融合模型中调用第五动态范围档位对应的第二子图像融合模型。
S1208,手机在上述第二高动态范围成像文件的基础上,按照预设参数,生成候选图像。
具体的,在得到上述第二HDR文件后,手机可以该第二HDR文件的基础上,按照预设参数,生成可视化的候选图像。可以理解,该候选图像为第二HDR文件基于预设参数生成的图像。
在一些实施例中,在得到候选图像后,手机可以将该候选图像保存至手机的图库APP中,以方便用户查看该候选图像。
S1209,手机显示上述候选图像和/或针对上述第二高动态范围成像文件的参数调节控件。
具体的,在得到候选图像后,手机可以显示该候选图像和/或针对上述第二HDR文件的参数调节控件。
在一些实施例中,在得到候选图像后,手机可以只显示候选图像,如此,不仅可以提升界面的简洁度,提升用户的视觉体验,而且可以减少不必要的资源浪费。之后,若用户想要进一步调节该候选图像,则用户可以再次点击“编辑”控件,以进一步对该候选图像进行调节。
在另一些实施例中,在得到候选图像后,手机可以只显示针对上述第二HDR文件的参数调节控件,以供用户调节该参数调节控件。如此,不仅可以提升界面的简洁度,提升用户的视觉体验,而且可以让用户进一步调节候选图像,使得生成的图像为符合用户喜好的图像,提升用户的使用体验。
在又一实施例中,在得到候选图像后,手机可以候选图像以及针对上述第二HDR文件的参数调节控件,如此,可以在用户调节参数调节控件的同时,实时显示调节后的候选图像,使得用户可以直观的浏览到调节后的候选图像,无需用户进行其他的操作,简化了用户的操作过程,提升了用户的使用体验。
示例性的,如图19所示,界面(a)为调节第一图像动态范围档位时的手机界面。其中,界面(a)中包括第一图像M以及多个动态范围档位,该多个动态范围档位包括第一动态范围档位(EV0)、第二动态范围档位(EV-2~EV2)、第三动态范围档位(EV-4~EV4)、第四动态范围档位(EV-6~EV6)以及第五动态范围档位(EV-8~EV8)。具体的,在检测到用户针对界面(a)中的任一动态范围档位的点击操作的情况下,若“生成图像”控件被用户点击,则手机可以显示界面(b),该界面(b)中包括候选图像N以及针对上述第二HDR文件的参数调节控件,以供用户调节该参数调节控件。
S1210,在接收到用户针对上述参数调节控件的调节操作的情况下,手机在上述第二高动态范围成像文件的基础上,按照该调节操作对应的调节后参数,生成第二图像。
具体的,手机在显示上述参数调节控件后,用户可以对该参数调节控件进行调节。之后,手机可以根据用户的调节操作,生成调节后参数,并在第二HDR文件的基础上,按照该调节后参数,生成调整后的候选图像(或称为第二图像)。
需要说明的是,该步骤与图5中的步骤S505类似,在此不再进行详细说明。
可以理解,上述S1201~S1204的过程为用户点击拍摄控件后,手机生成相应图像的过程,也就是说,该过程为图像处理方法中的拍摄照片部分。上述S1205~S1210的过程为用户调节动态范围的过程,也就是说,该过程为图像处理方法中的编辑照片部分。
在一些实施例中,针对上述图像处理方法中拍摄照片部分的具体过程,可以参见图20,具体的,手机在获取到不同曝光量的多张图像后,可以根据环境亮度是否满足预设条件,从该多张图像中提取对应的至少两张图像。之后,手机可以对该至少两张图像进行预处理,得到处理后的至少两张图像。之后,手机可以将该处理后的至少两张图像输入至第一图像融合模型,得到第一高动态范围成像文件。之后,手机可以在该第一高动态范围成像文件的基础上,按照默认参数,生成第一图像。
在另一些实施例中,针对上述图像处理方法中编辑照片部分的具体过程,可以参见图21,具体的,手机显示上述第一图像。之后,在接收到用户针对该第一图像的编辑操作的情况下,手机显示动态范围调节控件。之后,响应于用户针对该动态范围调节控件中任一动态范围档位的选择操作,手机根据选择的动态范围档位,从上述不同曝光量的多张图像中提取与环境亮度匹配的至少两张图像。之后,手机可以对该至少两张图像进行预处理,得到处理后的至少两张图像。之后,手机可以将该处理后的至少两张图像输入至第二图像融合模型,得到第二高动态范围成像文件。之后,响应于用户针对参数调节控件的调节操作,手机基于该调节操作,实时显示参数调节后的图像。
需要说明的是,上述第二图像的文件格式与第一图像的文件格式相同,均为JPG图像。并且,第一图像以及第二图像的文件格式与上述HDR文件的文件格式不同。也就是说,第二图像是在HDR文件的基础上,按照色调映射曲线对应的参数生成的,并非基于手机生成的JPG图像生成的,如此,可以避免大量的原始细节信息丢失,能够最大程度的提升场景细节的还原度,从而使得视觉效果更加逼真。
在一些实施例中,本申请提供一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的使用参数的调整方法。
在一些实施例中,本申请提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如上所述的使用参数的调整方法。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种图像处理方法,其特征在于,应用于电子设备;所述方法包括:
响应于用户针对第一图像的编辑操作,所述电子设备从多张图像中提取与用户调节后的动态范围档位对应的至少两张目标图像;其中,所述第一图像为在第一HDR文件的基础上按照预设参数生成的图像,所述第一HDR文件是基于所述多张图像进行融合得到的,所述多张图像是所述电子设备采集的不同曝光量的图像;
所述电子设备对所述至少两张目标图像进行融合,得到第二HDR文件,并且显示针对所述第二HDR文件的参数调节控件;其中,所述第二HDR文件的文件格式与所述第一图像的文件格式不同;
响应于所述用户针对所述参数调节控件的调节操作,所述电子设备确定所述调节操作对应的调节后参数;
所述电子设备显示第二图像;所述第二图像为在所述第二HDR文件的基础上按照所述调节后参数生成的图像,所述第二图像的文件格式和所述第一图像的文件格式相同。
2.根据权利要求1所述的方法,其特征在于,所述第二图像包括所述第一图像没有的细节特征;和/或,所述第一图像包括所述第二图像没有的细节特征。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述电子设备开启HDR功能的情况下,响应于所述用户的拍摄操作,所述电子设备获取所述多张图像;
所述电子设备对所述多张图像中的至少两张图像进行融合,得到所述第一HDR文件。
4.根据权利要求3所述的方法,其特征在于,所述电子设备对所述多张图像中的至少两张图像进行融合,得到所述第一HDR文件,包括:
所述电子设备获取拍摄环境的环境亮度;
所述电子设备从所述不同曝光量的多张图像中提取与所述环境亮度匹配的至少两张图像;
所述电子设备根据第一图像融合模型,对所述至少两张图像进行融合,得到所述第一HDR文件。
5.根据权利要求4所述的方法,其特征在于,所述电子设备从所述不同曝光量的多张图像中提取与所述环境亮度匹配的至少两张图像,包括:
在所述环境亮度的亮度值大于预设亮度值的情况下,所述电子设备从所述多张图像中提取与至少两个第一曝光量分别对应的图像;或者,
在所述环境亮度的亮度值小于或者等于所述预设亮度值的情况下,所述电子设备从所述多张图像中提取与至少两个第二曝光量分别对应的图像;其中,所述至少两个第二曝光量中的最大值大于所述至少两个第一曝光量中的最大值。
6.根据权利要求3所述的方法,其特征在于,所述响应于用户针对所述第一图像的编辑操作,所述电子设备从多张图像中提取与用户调节后的动态范围档位对应的至少两张目标图像,包括:
响应于所述用户针对所述第一图像的编辑操作,所述电子设备显示动态范围调节控件;
响应于所述用户针对所述动态范围调节控件的选择操作,所述电子设备从所述不同曝光量的多张图像中提取与所述调节后的动态范围档位匹配的至少两张目标图像;
所述电子设备对所述至少两张目标图像进行融合,得到第二HDR文件,包括:
所述电子设备根据第二图像融合模型,对所述至少两张目标图像进行融合,得到所述第二HDR文件。
7.根据权利要求6所述的方法,其特征在于,所述第二图像融合模型包括多个第二子图像融合模型;所述电子设备根据第二图像融合模型,对所述至少两张目标图像进行融合,得到所述第二HDR文件,包括:
所述电子设备根据所述调节后的动态范围档位,从所述第二图像融合模型中调用目标子图像融合模型;其中,所述目标子图像融合模型为所述多个第二子图像融合模型中的一个;
所述电子设备根据所述目标子图像融合模型,对所述至少两张目标图像进行融合,得到所述第二HDR文件。
8.一种电子设备,其特征在于,所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器;所述显示屏、所述摄像头、所述存储器和所述处理器耦合;所述摄像头用于采集图像,所述显示屏用于显示所述处理器生成的图像以及所述摄像头采集的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311679551.0A CN117395495B (zh) | 2023-12-08 | 2023-12-08 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311679551.0A CN117395495B (zh) | 2023-12-08 | 2023-12-08 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117395495A CN117395495A (zh) | 2024-01-12 |
CN117395495B true CN117395495B (zh) | 2024-05-17 |
Family
ID=89439560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311679551.0A Active CN117395495B (zh) | 2023-12-08 | 2023-12-08 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117395495B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013162190A (ja) * | 2012-02-02 | 2013-08-19 | Canon Inc | ハイダイナミックレンジ動画撮影補助装置 |
CN105227858A (zh) * | 2015-10-30 | 2016-01-06 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN114463191A (zh) * | 2021-08-26 | 2022-05-10 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN116416122A (zh) * | 2021-12-31 | 2023-07-11 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN116681598A (zh) * | 2022-02-23 | 2023-09-01 | 深圳市汇顶科技股份有限公司 | 图像处理方法、芯片、电子设备和计算机可读存储介质 |
CN116866495A (zh) * | 2022-03-22 | 2023-10-10 | 北京小米移动软件有限公司 | 图像获取方法、装置、终端设备及存储介质 |
-
2023
- 2023-12-08 CN CN202311679551.0A patent/CN117395495B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013162190A (ja) * | 2012-02-02 | 2013-08-19 | Canon Inc | ハイダイナミックレンジ動画撮影補助装置 |
CN105227858A (zh) * | 2015-10-30 | 2016-01-06 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN114463191A (zh) * | 2021-08-26 | 2022-05-10 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN116416122A (zh) * | 2021-12-31 | 2023-07-11 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN116681598A (zh) * | 2022-02-23 | 2023-09-01 | 深圳市汇顶科技股份有限公司 | 图像处理方法、芯片、电子设备和计算机可读存储介质 |
CN116866495A (zh) * | 2022-03-22 | 2023-10-10 | 北京小米移动软件有限公司 | 图像获取方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117395495A (zh) | 2024-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113810598B (zh) | 一种拍照方法、电子设备及存储介质 | |
CN113132620A (zh) | 一种图像拍摄方法及相关装置 | |
CN112150399A (zh) | 基于宽动态范围的图像增强方法及电子设备 | |
WO2020102978A1 (zh) | 图像处理方法及电子设备 | |
CN114092364A (zh) | 图像处理方法及其相关设备 | |
CN113905182B (zh) | 一种拍摄方法及设备 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN114466134A (zh) | 生成hdr图像的方法及电子设备 | |
CN117201930B (zh) | 一种拍照方法和电子设备 | |
CN115150542A (zh) | 一种视频防抖方法及相关设备 | |
CN116437198B (zh) | 图像处理方法与电子设备 | |
CN116048323B (zh) | 图像处理方法及电子设备 | |
CN115631250B (zh) | 图像处理方法与电子设备 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 | |
CN116709042B (zh) | 一种图像处理方法和电子设备 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115686182B (zh) | 增强现实视频的处理方法与电子设备 | |
CN117440253B (zh) | 图像处理方法和相关装置 | |
CN117135468B (zh) | 图像处理方法及电子设备 | |
CN116668838B (zh) | 图像处理方法与电子设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN117278864B (zh) | 图像拍摄方法、电子设备及存储介质 | |
CN116452437B (zh) | 高动态范围图像处理方法及电子设备 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |