CN115633262B - 图像处理方法和电子设备 - Google Patents
图像处理方法和电子设备 Download PDFInfo
- Publication number
- CN115633262B CN115633262B CN202211646996.4A CN202211646996A CN115633262B CN 115633262 B CN115633262 B CN 115633262B CN 202211646996 A CN202211646996 A CN 202211646996A CN 115633262 B CN115633262 B CN 115633262B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- shutter function
- shutter
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及图像处理领域,提供了一种图像处理方法和电子设备,该图像处理方法包括:显示第一界面;检测到对第一控件的第一操作;响应于第一操作,采集第一图像;基于快门函数选取第一图像中的像素,生成N个图像,N个图像包括第二图像与N‑1个第三图像,第二图像为基于全局快门函数采集的像素得到的图像,N‑1个第三图像为基于第一快门函数采集的像素得到的图像;基于第二图像、N‑1个第三图像与图像处理模型,得到处理后的图像,处理后的图像为去除运动对象所在的图像区域的运动模糊的图像。基于本申请的方案,能够基于电子设备采集的单帧图像去除图像中的运动模糊,提高电子设备去除图像中运动模糊的处理效率。
Description
技术领域
本申请涉及图像领域,具体地,涉及一种图像处理方法和电子设备。
背景技术
随着电子设备中图像技术的发展,用户对拍摄功能的要求越来越高。例如,用户在拍摄运动对象时,通常期望电子设备能够采集到运动对象在运动瞬间的图像;由于拍摄对象在运动,因此电子设备通常需要减少图像中的运动模糊;目前,为了减少图像中的运动模糊,通常采用多帧图像去除图像中的运动模糊;但是,在采用多帧图像去除运动模糊时,需要采集多帧图像,因此电子设备所需时长较长,导致电子设备去除图像中的运动模糊的效率较低。
因此,如何提高电子设备去除图像中运动模糊的效率成为一个亟需解决的问题。
发明内容
本申请提供了一种图像处理方法和电子设备,能够基于电子设备采集的单帧图像去除图像中的运动模糊,提高电子设备去除图像中运动模糊的处理效率。
第一方面,提供了一种图像处理方法,应用于电子设备,包括:
显示第一界面,所述第一界面中包括预览图像与第一控件,所述第一控件为指示拍照的控件;
检测到对所述第一控件的第一操作,所述第一操作为指示拍照的操作;
响应于所述第一操作,采集第一图像,所述第一图像中包括第一图像区域,所述第一图像区域为拍摄对象中运动对象所在的图像区域,所述第一图像为基于快门函数采集的图像,所述快门函数用于指示采集所述第一图像中的像素时快门开启或者快门关闭,所述快门函数包括全局快门函数与第一快门函数,所述全局快门函数指示所述快门开启的时长大于所述第一快门函数指示所述快门开启的时长;
基于所述快门函数选取所述第一图像中的像素,生成N个图像,其中,所述N个图像包括第二图像与N-1个第三图像,所述第二图像为基于所述全局快门函数采集的像素得到的图像,所述N-1个第三图像为基于所述第一快门函数采集的像素得到的图像,所述N个图像中任一图像的尺寸小于所述第一图像的尺寸,N为大于2的整数;
基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像;其中,所述图像处理模型用于进行亮度提升处理,所述处理后的图像为去除所述运动对象所在的图像区域的运动模糊的图像。
应理解,在拍摄对象中包括运动对象时,拍摄时长越长则采集的图像中存在运动模糊的概率越大,或者,图像中运动模糊的图像区域越大;通常情况下,在采集图像时快门开启的时长越长,则采集图像时曝光时长越长;快门函数可以用于指示电子设备在采集图像时,快门为开启或者关闭的状态。
还应理解,全局快门函数可以是指在一帧曝光时长T中,快门均开启;第一快门函数可以是指局部快门函数,局部快门函数是指在一帧曝光时长T中的部分时长快门开启,且在部分时长快门关闭;由于基于局部快门函数采集的像素的曝光时长短于基于全局快门函数采集的像素;因此,基于局部快门函数采集的像素生成的图像中不存在运动模糊,或者运动模糊较少;此外,由于基于局部快门函数采集的像素的曝光时长短于基于全局快门函数采集的像素,因此基于局部快门函数采集的像素生成的图像亮度较低。
基于本申请的方案,在电子设备采集运动对象的图像时,电子设备可以根据不同的快门函数采集像素获取第一图像;根据快门函数可以对第一图像进行分图处理,得到N个小尺寸的图像;N个小尺寸的图像中包括第二图像(例如,包括运动模糊且亮度较高的图像)与N-1个第三图像(例如,不存在运动模糊且亮度较低的图像);基于第二图像、N-1个第三图像与图像处理模型,可以得到处理后的图像;通过本申请的技术方案,电子设备可以基于采集的单帧图像实现对图像中运动对象所在的图像区域进行去除运动模糊处理;与采用多帧图像去除运动模糊的方式相比,本申请实施例的方案中基于单帧图像能够实现去除图像中的运动模糊,在一定程度上提高电子设备去除图像中运动模糊的效率。
结合第一方面,在第一方面的某些实现方式中,所述第一快门函数包括N-1个快门子函数,所述N-1个快门子函数与所述N-1个第三图像一一对应,所述N-1个快门子函数中的不同子函数对应所述快门开启的时刻存在部分不同,所述基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像。
基于本申请的方案,电子设备可以先确定N-1个第三图像中的目标图像,确定根据第一快门函数(例如,不同的局部快门函数)采集的像素得到的N-1个第三图像中最清晰的图像;由于N-1个第三图像是根据不同的局部快门函数生成的图像,局部快门函数指示快门开启的时长短于全局快门函数指示快门开启的时长,因此N-1个第三图像与第二图像相比,可以为短曝光图像;在本申请的方案中,电子设备可以先在N-1个曝光时长较短的图像中选出清晰图像,将清晰图像与曝光时长较长的图像输入至图像处理模型进行处理;与直接将N-1个曝光时长较短的图像与曝光时长较长的图像输入至图像处理模型相比,本申请的方案能够在一定程度上减小图像处理模型的运算量,提高图像处理模型的处理效率;即提高去除图像中运动模糊的处理效率。
结合第一方面,在第一方面的某些实现方式中,还包括:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像,包括:
将所述第二图像、所述目标图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
需要说明的是,第二图像可以是指曝光时长为T的像素组成的图像;目标图像可以是指曝光时长小于T的像素组成的图像中清晰的图像;由于目标图像曝光时长与第二图像曝光时长相比相对较短,因此目标图像的图像亮度低于第二图像的图像亮度。
基于本申请的方案,可以将第二图像(例如,曝光时长较长的图像)、目标图像(例如,曝光时长较短的清晰图像)与相似度输入图像处理模型;在图像处理模型对目标图像进行处理时,可以以相似度作为先验信息;基于相似度可以确定目标图像中运动对象所在的图像区域,以及目标图像中除运动对象之外的拍摄对象所在的图像区域;从而实现对目标图像中运动对象所在的图像区域进行局部亮度提升处理,从而减小图像处理模型的运算量;在本申请的方案中,图像处理模型基于相似度能够快速识别目标图像中运动对象所在的图像区域,对运动对象所在的图像区域进行局部亮度提升处理,提高图像处理模型的处理效率,即提高去除图像中运动模糊的处理效率。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
基于所述第二图像与所述目标图像,得到第四图像,所述第四图像中包括第二图像区域与第三图像区域,所述第二图像区域为所述目标图像中所述运动对象所在的图像区域,所述第三图像区域为所述第二图像中除所述运动对象所在图像区域之外的图像区域;
将所述第四图像输入至所述图像处理模型,得到所述处理后的图像。
应理解,目标图像可以是指N-1个第三图像中最清晰的图像。
基于本申请的方案,可以基于第二图像与目标图像生成第四图像;第四图像中包括目标图像中运动对象所在的图像区域与第二图像中除运动对象所在图像区域之外的图像区域;可以理解为,第四图像中包括目标图像中运动区域所在的图像区域与第二图像中非运动区域所在的图像区域;由于目标图像为基于第一快门函数采集的像素生成的图像,因此目标图像中运动区域所在的图像区域的清晰度较高;由于第二图像为基于全局快门函数采集的像素生成的图像,因此第二图像中非运动对象所在的图像区域的亮度较高;将第四图像输入至图像处理模型中,使得对第四图像中运动对象所在的图像区域进行亮度提升处理,得到处理后的图像。
结合第一方面,在第一方面的某些实现方式中,还包括:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第四图像输入至图像处理模型,得到所述处理后的图像,包括:
将所述第四图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
基于本申请的方案,相似度可以作为图像处理模型的先验信息;基于相似度图像处理模型可以快速识别第四图像中运动对象所在的图像区域,对第四图像中运动对象所在的图像区域进行亮度提升处理,得到处理后的图像;由于图像处理模型可以以相似度作为先验信息,能够减小图像处理模型的运算量,提高图像模型的处理效率。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第二图像与所述目标图像,得到第四图像,包括:
在所述第二图像的图像区域与所述目标图像中对应的图像区域的所述相似度大于预设相似度时,获取所述第二图像的图像区域的像素;
基于所述第二图像的图像区域的像素对所述目标图像中对应的图像区域的像素进行替换处理,得到所述第四图像。
结合第一方面,在第一方面的某些实现方式中,所述确定所述N-1个第三图像中的目标图像,包括:
计算所述N-1个第三图像中每个第三图像的梯度值,得到N-1个梯度值;
基于所述N-1个梯度值,得到所述目标图像。
需要说明的是,梯度是指对小尺寸的图像中相邻像素求导;若梯度越大,则表示相邻像素的变化越大;可以理解为,相邻像素的变化越大,则梯度对应的图像区域的像素越清晰。
结合第一方面,在第一方面的某些实现方式中,所述图像处理模型还用于进行去噪处理。
结合第一方面,在第一方面的某些实现方式中,所述图像处理模型为通过以下训练方法得到的:
获取样本视频,所述样本视频的分辨率大于预设分辨率,所述样本视频包括M帧连续的图像,所述M帧连续的图像中包括样本运动对象所在的图像区域,M为大于或者等于3的整数;
对所述M帧连续的图像中M-1帧连续的图像进行融合处理,得到第一样本图像;
对所述M帧连续的图像中第M帧图像进行降低亮度处理,得到第二样本图像;
计算所述第一样本图像与所述第二样本图像之间的样本相似度;
将所述样本相似度、第一样本图像与所述第二样本图像输入至待训练的图像处理模型,输出预测图像;
基于所述预测图像与所述第M帧图像之间的图像差异更新所述待训练的图像处理模型的参数,得到所述图像处理模型。
第二方面,提供了一种电子设备,电子设备包括一个或多个处理器与存储器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行:
显示第一界面,所述第一界面中包括预览图像与第一控件,所述第一控件为指示拍照的控件;
检测到对所述第一控件的第一操作,所述第一操作为指示拍照的操作;
响应于所述第一操作,采集第一图像,所述第一图像中包括第一图像区域,所述第一图像区域为拍摄对象中运动对象所在的图像区域,所述第一图像为基于快门函数采集的图像,所述快门函数用于指示采集所述第一图像中的像素时快门开启或者快门关闭,所述快门函数包括全局快门函数与第一快门函数,所述全局快门函数指示所述快门开启的时长大于所述第一快门函数指示所述快门开启的时长;
基于所述快门函数选取所述第一图像中的像素,生成N个图像,其中,所述N个图像包括第二图像与N-1个第三图像,所述第二图像为基于所述全局快门函数采集的像素得到的图像,所述N-1个第三图像为基于所述第一快门函数采集的像素得到的图像,所述N个图像中任一图像的尺寸小于所述第一图像的尺寸,N为大于2的整数;
基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像;其中,所述图像处理模型用于进行亮度提升处理,所述处理后的图像为去除所述运动对象所在的图像区域的运动模糊的图像。
结合第二方面,在第二方面的某些实现方式中,所述第一快门函数包括N-1个快门子函数,所述N-1个快门子函数与所述N-1个第三图像一一对应,所述N-1个快门子函数中的不同子函数对应所述快门开启的时刻存在部分不同,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像,包括:
将所述第二图像、所述目标图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
基于所述第二图像与所述目标图像,得到第四图像,所述第四图像中包括第二图像区域与第三图像区域,所述第二图像区域为所述目标图像中所述运动对象所在的图像区域,所述第三图像区域为所述第二图像中除所述运动对象所在图像区域之外的图像区域;
将所述第四图像输入至所述图像处理模型,得到所述处理后的图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第四图像输入至图像处理模型,得到所述处理后的图像,包括:
将所述第四图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
在所述第二图像的图像区域与所述目标图像中对应的图像区域的所述相似度大于预设相似度时,获取所述第二图像的图像区域的像素;
基于所述第二图像的图像区域的像素对所述目标图像中对应的图像区域的像素进行替换处理,得到所述第四图像。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
计算所述N-1个第三图像中每个第三图像的梯度值,得到N-1个梯度值;
基于所述N-1个梯度值,得到所述目标图像。
结合第二方面,在第二方面的某些实现方式中,所述图像处理模型还用于进行去噪处理。
结合第二方面,在第二方面的某些实现方式中,所述图像处理模型为通过以下训练方法得到的:
获取样本视频,所述样本视频的分辨率大于预设分辨率,所述样本视频包括M帧连续的图像,所述M帧连续的图像中包括样本运动对象所在的图像区域,M为大于或者等于3的整数;
对所述M帧连续的图像中M-1帧连续的图像进行融合处理,得到第一样本图像;
对所述M帧连续的图像中第M帧图像进行降低亮度处理,得到第二样本图像;
计算所述第一样本图像与所述第二样本图像之间的样本相似度;
将所述样本相似度、第一样本图像与所述第二样本图像输入至待训练的图像处理模型,输出预测图像;
基于所述预测图像与所述第M帧图像之间的图像差异更新所述待训练的图像处理模型的参数,得到所述图像处理模型。
第三方面,提供了一种电子设备,包括用于执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法的模块/单元。
第四方面,提供一种电子设备,所述电子设备包括一个或多个处理器和存储器与;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
第五方面,提供了一种芯片***,所述芯片***应用于电子设备,所述芯片***包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种图像处理方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
在本申请的实施例中,电子设备采集运动对象的图像时,电子设备可以根据不同的快门函数采集像素获取第一图像;根据快门函数可以对第一图像进行分图处理,得到N个小尺寸的图像;N个小尺寸的图像中包括第二图像(例如,包括运动模糊且亮度较高的图像)与N-1个第三图像(例如,不存在运动模糊且亮度较低的图像);基于第二图像、N-1个第三图像与图像处理模型,可以得到处理后的图像;通过本申请的技术方案,电子设备可以基于采集的单帧图像实现对图像中运动对象所在的图像区域进行去除运动模糊处理;与采用多帧图像去除运动模糊的方式相比,本申请实施例的方案中基于单帧图像能够实现去除图像中的运动模糊,在一定程度上提高电子设备去除图像中运动模糊的效率。
附图说明
图1是不同的快门函数的示意图;
图2是本申请实施例提供的一种全部快门函数的示意图;
图3是本申请实施例提供的一种局部快门函数的示意图;
图4是一种适用于本申请的电子设备的硬件***的示意图;
图5是一种适用于本申请的电子设备的软件***的示意图;
图6是本申请实施例提供的一种适用于本申请实施例的应用场景的示意图;
图7是本申请实施例提供的一种图像处理方法的示意性流程图;
图8是本申请实施例提供的另一种图像处理方法的示意性流程图;
图9是本申请实施例提供的一种不同快门函数与小尺寸图像的示意图;
图10是本申请实施例提供的一种图像处理模型的训练方法的示意性流程图;
图11是一种适用于本申请实施例的图形用户界面的示意图;
图12是一种适用于本申请实施例的图形用户界面的示意图;
图13是一种适用于本申请实施例的图形用户界面的示意图;
图14是一种适用于本申请实施例的图形用户界面的示意图;
图15是一种适用于本申请实施例的图形用户界面的示意图;
图16是本申请实施例提供的一种电子设备的结构示意图;
图17是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中,以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于对本申请实施例的理解,首先对本申请实施例中涉及的相关概念进行简要说明。
1、快门函数
快门函数用于指示在每个时间单位上(例如,一个时隙)快门的开启或者关闭状态。
需要说明的是,快门函数可以包括全局快门函数与局部快门函数;全局快门函数可以是指在一帧曝光时长T的所有时隙中,快门均处于开启状态;局部快门函数可以是指在一帧曝光时长T的部分时隙中快门处于开启状态,部分时隙中快门处于关闭状态;此外,对于图像中不同的像素可以采用不同的快门函数;可以理解为,同一图像中的不同像素可以采用不同的曝光时长;通过不同快门函数采集的图像可以称为多重曝光的图像,多重曝光是指是采集图像时通过采用两次或者更多次独立曝光,然后将它们重叠起来,组成单一图像的技术。
应理解,相机成像可以被抽象为(例如,快门函数*场景照度)在t时间的积分;因此在曝光时间确定的曝光图像帧中,不同的快门函数决定了不同的相机拍摄能力。
示例性地,如图1所示,以全局快门函数、异步停止快门函数、固定时长偏移量快门函数、可变时长偏移量快门函数、任意时长偏移量快门函数进行举例说明;其中,全局快门函数可以是在一帧曝光时长中快门均处于开启状态;异步停止快门函数可以是指在一帧曝光时长中图像的各个像素点的开启快门的时间相同,且关闭快门的时间不同;固定时长偏移量快门函数可以是指在采集图像中的各个像素时,快门开启时长相同,且在一帧曝光时长中快门在部分时间处于关闭状态;可变时长变量快门函数可以是指在采集图像中的各个像素时,快门开启时长不同,且在一帧曝光时长中快门在部分时间处于关闭状态;任意时长偏移量快门函数可以是指在采集图像时对于各个像素,快门开启的时长可以为任意时长。由于曝光时长越长,则采集图像的速度越慢;此外,对于一帧图像的曝光时长不同,则可以生成高动态范围(High-Dynamic Range,HDR)图像;因此,对于上述开门函数而言,电子设备基于全局快门函数无法生成HDR图像,且采集图像速度较慢;电子设备基于异步停止快门函数可以生成HDR图像,且采集图像的速度较慢;电子设备基于固定时长偏移量快门函数无法生成HDR图像,且采集速度较快;电子设备基于可变时长变量快门函数可以生成HDR图像,且采集图像的速度较快;电子设备基于任意时长偏移量快门函数可以生成HDR图像,且采集图像的速度较快。
还应理解,通过快门函数可以将一帧曝光时间分割为更小的时间单位;例如,如图2所示,可以将一帧图像的曝光时间分割为多个时隙;对于一个像素而言,在一个时隙中采用的快门函数不同,则获取的像素不同。
2、全局快门函数
全局快门函数是指对于一个像素在一帧曝光的所有时隙中,快门函数均数据开启的状态。
示例性地,如图2所示,假设一帧曝光时长可以包括12个时隙(slot);图2所示的像素采用的为全局快门函数,可以理解为在一帧曝光时长(例如,时隙1至时隙12)中的各个时隙中快门函数均为开启状态。
应理解,在一个时隙中,若快门函数为开启,则像素在该时隙中可以采集图像数据;若快门函数为关闭,则像素在该时隙中可以不采集图像数据。
示例性地,全局快门函数包括目标快门函数(Global Shutter)与卷帘快门函数(Rolling Shutter),目标快门函数通过采用感光元件的所有像素点同时曝光一定时长,进而成像;卷帘快门函数通过采用感光元件的所有像素点逐行轮流曝光一定时长,进而成像。
3、局部快门函数
局部快门函数是指对于一个像素在一帧曝光的所有时隙中,在部分时隙中快门函数为开启状态;且在部分时隙中快门函数为关闭状态。
示例性地,如图1所示,异步停止快门函数、异步停止快门函数、固定时长偏移量快门函数、可变时长偏移量快门函数与任意时长偏移量快门函数为局部快门函数。
示例性地,如图3所示,假设一帧曝光时长可以包括12个时隙(slot);图3所示的像素采用的为局部快门函数,在时隙1至时隙4中快门函数为开启状态;可以理解为,在时隙1至时隙4中采集图像数据;在时隙4至时隙8中快门函数为关闭状态;可以理解为,在时隙5至时隙8中不采集图像数据;在时隙9至时隙12中快门函数为开启状态;可以理解为,在时隙9至时隙12中采集图像数据。
应理解,在拍摄场景中包括运动对象时,在采集运动对象的图像时,由于全局快门函数在曝光时长的各个单位时间中均采集数据,局部快门函数在曝光时长的部分时间中采集数据;因此,采用全局快门函数时快门为开启状态的时长大于采用局部快门函数时快门开启的时长;而在拍摄运动对象时,快门开启的时长越长则图像中存在的运动模糊越严重;可以理解为,采用局部快门函数,减少快门的开启时长,在一定程度上可以减少运动模糊,提高图像的清晰度。
4、曝光时间
曝光时间是指从相机快门打开到关闭这段时间内光线照射到底片或感光器的时间。
5、神经网络
神经网络是指将多个单一的神经单元联结在一起形成的网络,即一个神经单元的输出可以是另一个神经单元的输入;每个神经单元的输入可以与前一层的局部接受域相连,来提取局部接受域的特征,局部接受域可以是由若干个神经单元组成的区域。
6、卷积神经网络(convolutional neuron network,CNN)
卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征选取器,该特征选取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
7、反向传播算法
神经网络可以采用误差反向传播(back propagation,BP)算法在训练过程中修正初始的神经网络模型中参数的大小,使得神经网络模型的重建误差损失越来越小。
示例性地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的神经网络模型中参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的神经网络模型的参数,例如权重矩阵。
下面将结合附图,对本申请实施例中提供的图像处理方法和电子设备进行描述。
图4示出了一种适用于本申请的电子设备的硬件***。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图4所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图4所示的部件更多或更少的部件,或者,电子设备100可以包括图4所示的部件中某些部件的组合,或者,电子设备100可以包括图4所示的部件中某些部件的子部件。图4示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、SIM接口、USB接口。
示例性地,在本申请的实施例中,处理器110可以用于执行本申请实施例提供的图像处理方法;例如,显示第一界面,第一界面中包括预览图像与第一控件,第一控件为指示拍照的控件;检测到对第一控件的第一操作,第一操作为指示拍照的操作;响应于第一操作,采集第一图像,第一图像中包括第一图像区域,第一图像区域为拍摄对象中运动对象所在的图像区域,第一图像为基于快门函数采集的图像,快门函数用于指示采集第一图像中的像素时快门开启或者快门关闭,快门函数包括全局快门函数与第一快门函数,全局快门函数指示快门开启的时长大于第一快门函数指示快门开启的时长;基于快门函数选取第一图像中的像素,生成N个图像,其中,N个图像包括第二图像与N-1个第三图像,第二图像为基于全局快门函数采集的像素得到的图像,N-1个第三图像为基于第一快门函数采集的像素得到的图像,N个图像中任一图像的尺寸小于第一图像的尺寸,N为大于2的整数;基于第二图像、N-1个第三图像与图像处理模型,得到处理后的图像;其中,图像处理模型用于进行亮度提升处理,处理后的图像为去除运动对象所在的图像区域的运动模糊的图像。
图4所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
可选地,显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED (Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
示例性地,电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
示例性地,ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过摄像头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
示例性地,摄像头193(也可以称为镜头)用于捕获静态图像或视频。可以通过应用程序指令触发开启,实现拍照功能,如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头,通过滤光片,最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可以称为待拍摄场景、目标场景,也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像;滤光片主要是用于将光线中的多余光波(例如除可见光外的光波,如红外)滤去;图像传感器可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换,转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
示例性地,数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
示例性地,视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
示例性地,陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
示例性地,加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,作为横竖屏切换和计步器等应用程序的输入参数。
示例性地,距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,电子设备100可以利用距离传感器180F测距以实现快速对焦。
示例性地,环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
示例性地,指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
示例性地,触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件***,下面介绍电子设备100的软件***。
图5是本申请实施例提供的电子设备的软件***的示意图。
如图5所示,***架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
示例性地,应用层210可以包括相机应用程序。
可选地,应用层210还可以包括图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
示例性地,应用框架层220为应用程序层的应用程序提供应用程序编程接口(application programming interface,API)和编程框架;应用程序框架层可以包括一些预定义的函数。
例如,应用框架层220可以包括相机访问接口;相机访问接口中可以包括相机管理与相机设备。其中,相机管理可以用于提供管理相机的访问接口;相机设备可以用于提供访问相机的接口。
示例性地,硬件抽象层230用于将硬件抽象化。例如,硬件抽象层可以包相机抽象层以及其他硬件设备抽象层;相机抽象层中可以包括相机设备1、相机设备2等;相机硬件抽象层可以与相机算法库相连接,相机硬件抽象层可以调用相机算法库中的算法。
示例性地,相机算法库中包括图像处理算法,图像处理算法用于执行本申请实施例提供的图像处理方法。
驱动层240用于为不同硬件设备提供驱动。比如,驱动层可以包括相机设备驱动。
硬件层250可以包括相机模组以及其他硬件设备。
目前,用户在拍摄运动对象时,通常期望电子设备能够采集到运动对象在运动瞬间的图像;由于拍摄对象在运动,因此电子设备通常需要减少图像中的运动模糊;目前,为了减少图像中的运动模糊,通常采用多帧图像去除图像中的运动模糊;但是,在采用多帧图像去除运动模糊时,需要采集多帧图像,因此电子设备所需时长较长,导致电子设备去除图像中的运动模糊的效率较低。
有鉴于此,本申请实施例提供了一种图像处理方法和电子设备;在本申请的方案中,在电子设备采集运动对象的图像时,电子设备可以根据不同的快门函数采集像素获取第一图像;根据快门函数可以对第一图像进行分图处理,得到N个小尺寸的图像;N个小尺寸的图像中包括第二图像(例如,包括运动模糊且亮度较高的图像)与N-1个第三图像(例如,不存在运动模糊且亮度较低的图像);基于第二图像、N-1个第三图像与图像处理模型,可以得到处理后的图像;通过本申请的技术方案,电子设备可以基于采集的单帧图像实现对图像中运动对象所在的图像区域进行去除运动模糊处理;与采用多帧图像去除运动模糊的方式相比,本申请实施例的方案中基于单帧图像能够实现去除图像中的运动模糊,在一定程度上提高电子设备去除图像中运动模糊的效率。
图6是本申请实施例提供的图像处理方法的应用场景的示意图。
示例性地,本申请实施例中的图像处理方法可以应用于拍照领域;例如,本申请的图像处理方法可以应用于采集运动对象的图像;其中,运动对象可以是指运动的用户,移动的物体,或者,视频中播放的图像(例如,电影)等。
例如,如图6所示,在预览界面260中包括预览图像,预览图像为运动对象的图像;由于在拍摄运动对象时,运动对象处于运动状态,因此图像中会出现由于运动对象移动所产生的运动模糊。
可选地,在电子设备具有足够的运算能力的情况下,本申请实施例中的图像处理方法还可以应用于预览状态、录制视频领域、视频通话领域或者其他图像处理领域。
示例性地,预览状态包括:
大光圈预览、夜景预览、人像预览、拍照预览、录像预览、多镜录像预览等。
示例性地,视频通话场景可以包括但不限于以下场景中:
视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、***相机录像功能录制视频、视频监控,或者智能猫眼等人像拍摄类场景等。
应理解,上述为对应用场景的举例说明,并不对本申请的应用场景作任何限定。
下面结合图7至图10对本申请实施例提供的图像处理方法进行详细地描述。
图7是本申请实施例提供的一种图像处理方法的示意性流程图。该方法300包括可以由图1所示的电子设备执行;该方法300包括S310至S350,下面分别对S310至S350进行详细的描述。
S310、显示第一界面。
其中,第一界面中包括预览图像与第一控件,第一控件为指示拍照的控件。
示例性地,第一界面可以是指相机应用程序的预览界面,如图12中的(a)所示;预览界面中包括预览图像与拍照控件604。
可选地,在显示第一界面之前,电子设备可以运行相机应用程序。
示例性地,用户可以通过单击“相机”应用程序的图标,指示电子设备运行相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备运行相机应用。又或者,电子设备处于锁屏状态时,锁屏界面上包括相机应用程序的图标,用户可以通过点击相机应用程序的图标,指示电子设备运行相机应用程序。又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备运行相机应用程序。
例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备运行相机应用程序等。
应理解,上述为对运行相机应用程序的操作的举例说明;还可以通过语音指示操作,或者其它操作的指示电子设备运行相机应用程序;本申请对此不作任何限定。
S320、检测到对第一控件的第一操作。
其中,第一操作为指示拍照的操作。
示例性地,第一操作可以为对拍照控件604的点击操作,如图12中的(d)所示。
应理解,上述第一操作为点击操作进行举例说明;在本申请的实施例中,第一操作还可以是指通过语音指示操作,或者其它操作的指示电子设备拍照的操作,本申请对此不作任何限定。
S330、响应于第一操作,采集第一图像。
其中,第一图像中包括第一图像区域,第一图像区域为拍摄对象中运动对象所在的图像区域,第一图像为基于快门函数采集的图像,快门函数用于指示采集第一图像中的像素时快门开启或者快门关闭,快门函数包括全局快门函数与第一快门函数,全局快门函数指示快门开启的时长大于第一快门函数指示快门开启的时长。
应理解,全局快门函数用于指示在一帧曝光时长T的所有时隙中,快门均开启,如图2所示;第一快门函数可以为局部快门函数;局部快门函数用于指示在一帧曝光时长T的时隙中,快门在部分时隙开启且在部分时隙关闭,如图3所示。
示例性地,第一图像可以是指电子设备中图像传感器采集的原始图像数据;例如,Raw图像。
可选地,第一图像可以是指图8所示的全尺寸的图像;具体描述参见后续图8的相关描述,此处不再赘述。
需要说明的是,在本申请的实施例中,电子设备基于不同拍摄能力的快门函数得到第一图像;例如,第一图像为拜耳格式的Raw图像,在采集第一图像中相邻的四个像素时(例如,RGGB像素),每一个像素点可以对应全局快门函数或者局部快门函数;相邻四个像素中,任意两个像素所采用的快门函数可以不同。
S340、基于快门函数选取第一图像中的像素,生成N个图像。
其中,N个图像包括第二图像与N-1个第三图像,第二图像为基于全局快门函数采集的像素得到的图像,N-1个第三图像为基于第一快门函数采集的像素得到的图像,N个图像中任一图像的尺寸小于第一图像的尺寸,N为大于2的整数。
应理解,在拍摄对象中包括运动对象时,拍摄时长越长则采集的图像中存在运动模糊的概率越大,或者,图像中运动模糊的图像区域越大;通常情况下,在采集图像时快门开启的时长越长,则采集图像时曝光时长越长;快门函数可以用于指示电子设备在采集图像时,快门为开启或者关闭的状态。
还应理解,全局快门函数可以是指在一帧曝光时长T中,快门均开启;第一快门函数可以是指局部快门函数,局部快门函数是指在一帧曝光时长T中的部分时长快门开启,且在部分时长快门关闭;由于基于局部快门函数采集的像素的曝光时长短于基于全局快门函数采集的像素;因此,基于局部快门函数采集的像素生成的图像中不存在运动模糊,或者运动模糊较少;此外,由于基于局部快门函数采集的像素的曝光时长短于基于全局快门函数采集的像素,因此基于局部快门函数采集的像素生成的图像亮度较低。
示例性地,N个快门函数中可以包括全局快门函数与不同的局部快门函数;可以根据一个快门函数从第一图像中选取基于该快门函数采集的多个像素,得到一个图像;例如,第一图像为RGGB格式的Raw图像;相邻的4个像素分别采用全局快门函数,局部快门函数1,局部快门函数2与局部快门函数3;第一图像的尺寸可以为W*H;在第一图像中选取通过全局快门函数采集的像素,可以生成1/4(W*H)的图像1;在第一图像中选取通过局部快门函数1采集的像素,可以生成1/4(W*H)的图像2;在第一图像中选取通过局部快门函数2采集的像素,可以生成1/4(W*H)的图像3;在第一图像中选取通过局部快门函数3采集的像素,可以生成1/4(W*H)的图像4。
S350、基于第二图像、N-1个第三图像与图像处理模型,得到处理后的图像。
其中,图像处理模型用于进行亮度提升处理,处理后的图像为去除运动对象所在的图像区域的运动模糊的图像。
可选地,图像处理模型为通过以下训练方法得到的:
获取样本视频,样本视频的分辨率大于预设分辨率,样本视频包括M帧连续的图像,M帧连续的图像中包括样本运动对象所在的图像区域,M为大于或者等于3的整数;
对M帧连续的图像中M-1帧连续的图像进行融合处理,得到第一样本图像;
对M帧连续的图像中第M帧图像进行降低亮度处理,得到第二样本图像;
计算第一样本图像与第二样本图像之间的样本相似度;
将样本相似度、第一样本图像与第二样本图像输入至待训练的图像处理模型,输出预测图像;
基于预测图像与第M帧图像之间的图像差异更新待训练的图像处理模型的参数,得到图像处理模型。
可选地,图像处理模型还用于进行去噪处理。
示例性地,图像处理模型可以用于亮度提升处理与去噪处理。
可选地,图像处理模型的训练方法可以参见后续图10的相关描述;此处不再赘述。
S360、显示或者保存处理后的图像。
可选地,在电子设备处于预览状态时,电子设备可以显示处理后的图像。
示例性地,预览状态包括:
拍照预览状态、夜景预览状态、光圈预览状态等。
可选地,在电子设备处于拍照模式的情况下,电子设备可以保存处理后的图像;在检测到点击图库中图像的操作时,显示处理后的图像。
可选地,第一快门函数包括N-1个快门子函数,N-1个快门子函数与N-1个第三图像一一对应,N-1个快门子函数中的不同子函数对应快门开启的时刻存在部分不同,基于第二图像、N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定N-1个第三图像中的目标图像,目标图像的清晰度高于N-1个第三图像中除目标图像之外的图像;
将第二图像与目标图像输入至图像处理模型,得到处理后的图像。
可选地,第二图像可以为图8所示的采用全局快门函数的图像,参见后续图8的相关描述,此处不再赘述。
应理解,第一快门函数可以是指局部快门函数;局部快门函数是指在一帧曝光时长T中的部分时长快门开启,且在部分时长快门关闭,如图3所示;N-1个快门子函数是指不同的局部快门的函数;N-1个子函数中的任意一个子函数可以是指局部快门函数的一种实现形式。
示例性地,电子设备可以先确定N-1个第三图像中的目标图像,确定根据不同的第快门子函数(例如,不同的局部快门函数)在第一图像中选取像素,生成的N-1个第三图像中最清晰的图像;由于N-1个第三图像是根据不同的局部快门函数生成的图像,因此可以在N-1个第三图像中选取清晰的图像,即确定N-1个第三图像中的目标图像。
可选地,目标图像可以为图8中S430中所示的清晰图像,参见后续图8中的相关描述,此处不再赘述。
在本申请的实施例中,电子设备可以先在N-1个曝光时长较短的图像中选出清晰图像,将清晰图像与曝光时长较长的图像输入至图像处理模型进行处理;与直接将N-1个曝光时长较短的图像与曝光时长较长的图像输入至图像处理模型相比,本申请的方案能够在一定程度上减小图像处理模型的运算量,提高图像处理模型的处理效率;即提高去除图像中运动模糊的处理效率。
可选地,确定N-1个第三图像中的目标图像,包括:
计算N-1个第三图像中每个第三图像的梯度值,得到N-1个梯度值;
基于N-1个梯度值,得到目标图像。
需要说明的是,梯度是指对小尺寸的图像中相邻像素求导;若梯度越大,则表示相邻像素的变化越大;可以理解为,相邻像素的变化越大,则梯度对应的图像区域的像素越清晰。
在本申请的实施例中,可以先计算N-1个第三图像中每个第三图像的梯度;根据N-1个梯度确定梯度最大的图像为清晰图像,即确定梯度最大的图像为目标图像。
可选地,上述方法还包括:
计算第二图像与目标图像之间的相似度;
将第二图像与目标图像输入至图像处理模型,得到处理后的图像,包括:
将第二图像、目标图像与相似度输入至图像处理模型,得到处理后的图像。
示例性地,可以采用现有的任意算法计算第二图像与目标图像之间的相似度,本申请对此不作任何限定。
需要说明的是,第二图像可以是指曝光时长为T的像素组成的图像;目标图像可以是指曝光时长小于T的像素组成的图像中清晰的图像;由于目标图像曝光时长与第二图像曝光时长相比相对较短,因此目标图像的图像亮度低于第二图像的图像亮度。
示例性地,可以将第二图像(例如,曝光时长较长的图像)、目标图像(例如,曝光时长较短的清晰图像)与相似度输入图像处理模型;在图像处理模型对目标图像进行处理时,可以以相似度作为先验信息;基于相似度可以确定目标图像中运动对象所在的图像区域,以及目标图像中除运动对象之外的拍摄对象所在的图像区域;从而实现对目标图像中运动对象所在的图像区域进行局部亮度提升处理。
在本申请的方案中,图像处理模型能够基于相似度能够快速识别目标图像中运动对象所在的图像区域,对运动对象所在的图像区域进行局部亮度提升处理,提高图像处理模型的处理效率,即提高去除图像中运动模糊的处理效率。
可选地,基于第二图像、N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定N-1个第三图像中的目标图像,目标图像的清晰度高于N-1个第三图像中除目标图像之外的图像;
基于第二图像与目标图像,得到第四图像,第四图像中包括第二图像区域与第三图像区域,第二图像区域为目标图像中运动对象所在的图像区域,第三图像区域为第二图像中除运动对象所在图像区域之外的图像区域;
将第四图像输入至图像处理模型,得到处理后的图像。
可选地,第四图像可以为后续图8中所示的第一处理图像,参见后续图8的相关描述,此处不再赘述。
在本申请的实施例中,可以基于第二图像与目标图像生成第四图像;第四图像中包括目标图像中运动对象所在的图像区域与第二图像中除运动对象所在图像区域之外的图像区域;可以理解为,第四图像中包括目标图像中运动区域所在的图像区域与第二图像中非运动区域所在的图像区域;由于目标图像为基于第一快门函数采集的像素生成的图像,因此目标图像中运动区域所在的图像区域的清晰度较高;由于第二图像为基于全局快门函数采集的像素生成的图像,因此第二图像中非运动对象所在的图像区域的亮度较高;将第四图像输入至图像处理模型中,使得对第四图像中运动对象所在的图像区域进行亮度提升处理,得到处理后的图像。
可选地,还包括:
计算第二图像与目标图像之间的相似度;
将第四图像输入至图像处理模型,得到处理后的图像,包括:
将第四图像与相似度输入至图像处理模型,得到处理后的图像。
在本申请的实施例中,相似度可以作为图像处理模型的先验信息;基于相似度图像处理模型可以快速识别第四图像中运动对象所在的图像区域,对第四图像中运动对象所在的图像区域进行亮度提升处理,得到处理后的图像;由于图像处理模型可以以相似度作为先验信息,能够减小图像处理模型的运算量,提高图像模型的处理效率。
可选地,基于第二图像与目标图像,得到第四图像,包括:
在第二图像的图像区域与目标图像中对应的图像区域的相似度大于预设相似度时,获取第二图像的图像区域的像素;
基于第二图像的图像区域的像素对目标图像中对应的图像区域的像素进行替换处理,得到第四图像。
在本申请的实施例中,电子设备采集运动对象的图像时,电子设备可以根据不同的快门函数采集像素获取第一图像;根据快门函数可以对第一图像进行分图处理,得到N个小尺寸的图像;N个小尺寸的图像中包括第二图像(例如,包括运动模糊且亮度较高的图像)与N-1个第三图像(例如,不存在运动模糊且亮度较低的图像);基于第二图像、N-1个第三图像与图像处理模型,可以得到处理后的图像;通过本申请的技术方案,电子设备可以基于采集的单帧图像实现对图像中运动对象所在的图像区域进行去除运动模糊处理;与采用多帧图像去除运动模糊的方式相比,本申请实施例的方案中基于单帧图像能够实现去除图像中的运动模糊,在一定程度上提高电子设备去除图像中运动模糊的效率。
图8是本申请实施例提供的另一种图像处理方法的示意性流程图。该方法400包括可以由图1所示的电子设备执行;该方法400包括步骤S410至S460,下面分别对S410至S460进行详细的描述。
S410、获取全尺寸的图像。
可选地,在获取全尺寸的图像之前,电子设备可以基于预览图像确定拍摄对象中是否存在运动对象;若拍摄对象中存储运动对象,则执行图8所示的图像处理方法,去除图像中的运动模糊;若拍摄对象中不存在运动对象,则电子设备可以采用任意的图像处理方法。
示例性地,检测到电子设备指示拍照的操作,响应于指示拍照的操作,获取全尺寸的图像。
可选地,电子设备包括图像传感器,图像传感器采集的图像帧的分辨率大小可以为全尺寸(full size);可以理解为,图像传感器采集的图像为全尺寸的图像。
例如,假设电子设备中摄像头支持的最大分辨率为4096*2160,则采集的全尺寸的图像的分辨率可以为4096*2160的Raw图像。
应理解,上述以全尺寸的图像为4096*2160的Raw图像进行举例说明,本申请对全尺寸的大小不作任何限定。
S420、基于快门函数对全尺寸的图像进行分图处理,得到N个小尺寸的图像。
应理解,快门函数用于指示在每个时间单位上(例如,一个时隙)快门的开启状态或者关闭状态。例如,快门函数可以包括全局快门函数与局部快门函数;其中,全局快门函数是指对于一个像素在一帧曝光的所有时隙中快门均处于开启状态;局部快门函数可以是指对于一个像素在一帧曝光的所有时隙的部分时隙中快门处于开启状态。
需要说明的是,相机模组成像可以被抽象为(例如,快门函数*场景照度)在t时间的积分;因此在曝光时间确定的曝光图像帧中,不同的快门函数决定了不同的相机拍摄能力。
还应理解,在一帧曝光的所有时隙中快门开启对应的时隙不同,则局部快门函数可以不同。
例如,如图9中的(c)所示,快门在时隙1至时隙4处于开启状态,且在时隙5至时隙12处于关闭状态,则图9中的(c)可以对应第一快门函数;如图9中的(e)所示,快门在时隙5至时隙8处于开启状态,且快门在时隙1至时隙4,时隙9至时隙12处于关闭状态,则图9中的(e)可以对应第二快门函数;如图9中的(g),快门在时隙9至时隙12处于开启状态,且快门在时隙1至时隙8处于关闭状态,则图9中的(g)可以对应第三快门函数;其中,第一快门函数可以是指在一帧曝光的所有时隙的前三分之一时长开启快门;第二快门函数可以是指在一帧曝光的所有时隙的中间三分之一时长开启快门;第三快门函数可以是指在一帧曝光的所有时隙的后三分之一时长开启快门;第一快门函数、第二快门函数与第三快门函数中的任意两个快门函数均不相同。
可选地,可以选取全尺寸图像中采用相同的快门函数的像素点,组成一个小尺寸的图像。
示例性地,假设一帧图像的所有曝光时长为T;快门函数包括全局快门函数、第一快门函数、第二快门函数与第三快门函数;其中,全局快门函数是指在曝光时长T上快门均为开启状态,如图9中的(a)所示;第一快门函数是指在所有曝光时长的前T/3中,快门处于开启状态,其余时间快门处于关闭状态,如图9中的(c)所示;第二快门函数是指在所有曝光时长的中间T/3中,快门处于开启状态,其余时间快门处于关闭状态,如图9中的(e)所示;第三快门函数是指在所有曝光时长的后T/3中,快门处于开启状态,其余时间快门处于关闭状态,如图9中的(g)所示;根据全局快门函数可以从全尺寸的图像中选取曝光时长为T的像素点集合1,得到图像1,如图9中的(b)所示的图像481;根据第一快门函数可以从全尺寸的图像中选取曝光时长为前T/3时长的像素点集合2,得到图像2,如图9中的(d)所示的图像482;根据第二快门函数可以从全尺寸的图像中选取曝光时长为中间T/3时长的像素点集合3,得到图像3,如图9中的(f)所示的图像483;根据第三快门函数可以从全尺寸的图像中选取曝光时长为后T/3时长的像素点集合4,得到图像4;如图9中的(h)所示的图像484。
应理解,由于图像481的曝光时长为T,图像482、图像483与图像484的曝光时长均为T/3;因此,图像481的曝光时长较长;图像481的曝光时长较长,因此在采集图像481时电子设备的进光量较多,图像481的亮度较亮;此外,由于拍摄场景中存在运动拍摄对象,曝光时长较长,则采集图像481中存在运动模糊的可能性越大;图像482至图像484的曝光时长均为T/3,因此图像482至图像484与图像481相比,图像亮度较暗;但是,由于曝光时长短,因此图像482至图像484的清晰度优于图像481的清晰度。
示例性地,将一个曝光帧包括3个时隙(例如,第1时隙、第2时隙与第3时隙)为例进行说明;一个曝光帧包括3个时隙,则可以对应4个快门函数,分别为在3个时隙中快门均匀开启的全局快门函数;在第1时隙快门为开启状态,且在第2时隙与第3时隙快门为关闭状态的第一局部快门函数;在第2时隙快门为开启状态,且在第1时隙与第3时隙快门为关闭状态的第二局部快门函数;在第3时隙快门为开启状态,且在,1时隙与第2时隙快门为关闭状态的第三局部快门函数;可以根据4个快门函数分别从全尺寸的图像中选择相应的像素点,得到4张图像尺寸为全尺寸的图像的原尺寸的四分之一的小图;假设,全尺寸的Raw图像中相邻的4个像素(例如,RGGB 像素),分别采用全局快门函数、第一局部快门函数、第二局部快门函数与第三局部快门函数;在全尺寸的Raw图像中,根据采用全局快门函数的像素得到小尺寸的Raw图像1;在全尺寸的Raw图像中,根据采用第一局部快门函数的像素得到小尺寸的Raw图像2;在全尺寸的Raw图像中,根据采用第二局部快门函数的像素得到小尺寸的Raw图像3;在全尺寸的Raw图像中,根据采用第三局部快门函数的像素得到小尺寸的Raw图像4。
S430、确定N个小尺寸的图像中的清晰图像。
应理解,由于N个小尺寸的图像中包括采用全局快门函数的图像与采用局部快门函数的图像;由于采用局部快门函数的图像的曝光时长与采用全局快门函数的图像的曝光时长相比较短,且拍摄场景中包括运行对象;因此,采用局部开门函数的图像的清晰度高于采集全局快门函数的清晰度。
可选地,可以计算N个小尺寸的图像的梯度;基于梯度确定N个小尺寸的图像中的清晰图像。
需要说明的是,梯度是指对小尺寸的图像中相邻像素求导;若梯度越大,则表示相邻像素的变化越大;可以理解为,相邻像素的变化越大,则梯度对应的图像区域的像素越清晰。
例如,对于N个小尺寸的图像中的任意一个图像,计算一张图像中相邻两个像素点之间的梯度绝对值;根据图像中的像素点数量对梯度绝对值取平均,得到该图像的梯度值;根据N张图像的梯度值,确定N个梯度值中梯度最大的图像为清晰图像。
可选地,N个小尺寸的图像包括1张全局快门函数的图像与3张采用局部快门函数的图像;可以根据3张采样局部快门函数的图像的梯度值,确定3张采样局部快门函数的图像中最清晰的图像。
可选地,可以对N个小尺寸的图像进行去噪处理,得到去噪处理后的小尺寸图像;获取去噪后的小尺寸的图像的梯度,图像的梯度越大表示图像越清晰;则可以根据梯度确定N个小尺寸的图像中的最清晰图像。
可选地,可以将N个小尺寸的图像中的最清晰图像作为基准图像。
S440、计算清晰图像与采用全局快门函数的图像之间的相似度。
应理解,由于拍摄场景中包括运动对象,采用全局快门函数的图像的曝光时间较长,因此图像中存在运动模糊导致图像清晰度较差,此外,曝光时间较长图像的亮度较亮;清晰图像是通过采用局部快门函数生成的图像,该图像的曝光时间相对较短,因此清晰图像中的不存在运动模糊或者运动模糊较小,图像的细节信息较好;但是,由于曝光时间相对较短,清晰图像的亮度较暗。
可选地,可以选取一个滑动窗口,滑动窗口的大小可以为4×4;根据滑动窗口计算清晰图像中的第一向量与采用全局快门函数中的第二向量之间的相似度。
示例性地,在相似度大于预设相似度阈值的情况下,说明滑动窗口对应的清晰图像中的第一图像区域与采用全局快门函数的图像中的第二图像区域之间的图像内容相似,则表示第一图像区域与第二图像区域对应非运动对象所在的图像区域;此时,由于采用全局快门函数的图像的亮度较高,因此可以选取第二图像区域;在相似度小于或者等于预设相似度阈值的情况下,说明滑动窗口对应的清晰图像中的第一图像区域与采用全局快门函数的图像中的第二图像区域之间的图像内容不相似,则表示第一图像区域与第二图像区域对应运动对象所在的图像区域;由于清晰图像与采用全局快门函数的图像相比,曝光时长短;曝光时长较短时,采集的运动对象的图像中不存在运动模糊或者运动模糊较少,因此可以选取第一图像区域。
S450、基于清晰图像、采用全局快门函数的图像与相似度,得到第一处理图像。
可选地,将采用全局快门函数的图像中相似度小于或者等于预设相似度阈值的像素替换至清晰图像中,得到第一处理图像。
应理解,清晰图像中不存在运动模糊且图像较暗,采用全局快门函数的图像中运动对象所在的图像区域存在运动模糊且图像较亮;在本申请的实施例中,可以基于相似度获取采用全局快门函数的图像中的第一像素集合;通过第一像素集合替换清晰图像中对应的像素,得到第一处理图像;第一处理图像中包括清晰图像中的运动对象所在图像区域的像素与采用全局快门函数的图像中的非运动对象所在图像区域的像素;因此,第一处理图像与全尺寸的图像相比为去除运动模糊的图像。
需要说明的是,由于第一处理图像中包括清晰图像中的运动对象所在图像区域的像素与采用全局快门函数的图像中的非运动对象所在图像区域的像素;因此,第一处理图像中的运动对象所在图像区域的亮度较暗;在本申请的实施例中,为了提高第一处理图像中运动对象所在的图像区域的亮度,使得第一处理图像中运动对象所在的图像区域的亮度与图像整体的亮度保持一致,可以将第一处理图像输入至预先处理的神经网络模型进行亮度提升处理。
S460、将第一处理图像与相似度输入图像处理模型,得到处理后的图像。
应理解,处理后的图像可以是指去除运动模糊,且对第一处理图像中的运动对象所在的图像区域进行亮度提升后的图像。
在本申请的实施例中,可以将第一处理图像与相似度输入至图像处理模型;其中,相似度可以看作是先验信息,使得图像处理模型在对第一处理图像进行亮度提升处理时,能够快速且准确地识别第一处理图像中需要进行处理的图像区域;从而提高图像处理模型的处理效率。
可选地,图像处理模型还可以对第一处理图像进行去噪处理;可以理解为,处理后的图像可以为清晰且无噪声的图像。
可选地,在本申请的实施例中,可以将第一处理图像输入至图像处理模型,得到处理后的图像。
可选地,图像处理模型可以为预先训练的神经网络模型;例如,图像处理模型可以为预先训练的卷积神经网络,图像处理模型的训练方法可以参见后续图9所示的相关描述。
在本申请的实施例中,在电子设备采集运动对象的图像时,电子设备可以根据不同的快门函数采集像素获取全尺寸的图像;根据快门函数可以对全尺寸的图像进行分图处理,得到N个小尺寸的图像;确定N个小尺寸的图像中采用全局快门函数的图像(例如,包括运动模糊且亮度较高的图像)与清图像(例如,不存在运动模糊且亮度较低的图像);通过清晰图像中运动对象所在的图像区域与采用全局快门函数的图像中非运动对象所在的图像区域得到第一处理图像;将第一处理图像与相似度输入预先训练的神经网络模型,得到处理后的图像;通过本申请的技术方案,电子设备可以基于采集的单帧图像实现对图像中运动对象所在的图像区域进行去除运动模糊处理;与采用多帧图像去除运动模糊的方式相比,本申请实施例的方案中基于单帧图像能够实现去除图像中的运动模糊,在一定程度上提高电子设备去除图像中运动模糊的效率。
下面结合图10对图像处理模型的训练方法进行详细说明。
图10是本申请实施例提供的一种图像处理模型的训练方法的示意性流程图。该方法500可以由图1所示的电子设备执行;该方法包括S510至S530,下面分别对S510至S530进行详细的描述。
S510、获取训练数据。
示例性地,训练数据可以为包括运动对象的高清视频;例如,训练数据可以为8K的视频,即分辨率为7680×4320的视频;其中,高清视频中可以包括N帧图像;假设高清视频中包括7帧连续的图像,通过对第1帧图像至第6帧图像进行融合处理,得到样本长曝光图像;通过对第7帧图像进行降低亮度处理,得到样本短曝光图像;将第7帧图像作为样本图像,即真值;可以理解为,将未进行处理的第7帧图像作为训练目标。
可选地,若图像处理模型能够进行去噪处理,还可以对样本短曝光图像进行增加噪声处理。
S520、将第一样本图像与相似度输入至待训练的图像处理模型,得到预测图像。
其中,待训练的图像处理模型用于对图像中的暗光区域进行亮度提升处理。
可选地,待训练的图像处理模型还可以对图像进行去噪处理。
示例性地,第一样本图像是指基于样本长曝光图像与样本短曝光图像得到的图像;例如,第一样本图像包括样本短曝光图像中运动对象所在的图像区域与样本长曝光图像中非运动对象所在的图像区域。
可选地,相似度可以是指样本短曝光图像与样本长曝光图像之间像素级的相似度的数值。
可选地,在一个示例中,可以直接将样本长曝光图像、样本短曝光图像与相似度输入至待训练的图像处理模型中。S530、基于预测图像与样本图像之间的差异,更新图像处理模型的参数得到训练后的图像处理模型。
其中,样本图像可以是训练目标;例如,样本图像可以是指S510中的第7帧图像。
示例性地,计算预测图像与样本图像中各个像素点之间的差异,通过反向传播算法训练待训练的图像处理的参数,使得待训练的图像处理,得到训练后的图像处理。
可选地,图像处理可以为预先训练的神经网络;例如,图像处理可以为预先训练的卷积神经网络。
下面结合图11至图12对在电子设备中的界面示意图进行举例描述。
图11是本申请实施例提供的一种电子设备的界面示意图。
在本申请的实施例中,在电子设备运行相机应用程序后,相机应用程序的预览界面中包括运动模糊;在电子设备检测到用户点击控件后,可以执行本申请实施例提供的图像处理方法,即执行去除运动模糊;在用户点击拍照控件,电子设备采集图像,该图像为去除运动模糊的图像。
在一个示例中,如图12中的(b)所示电子设备检测到点击控件603的操作之后,执行本申请实施例提供的图像处理方法。
示例性地,如图11所示,图11中的(a)所示的图形用户界面(graphical userinterface,GUI)为电子设备的桌面601;电子设备检测到对桌面601上的相机应用程序的控件602的点击操作,如图11中的(b)所示;在电子设备检测到对相机应用程序的控件602的点击操作之后,电子设备运行相机应用程序;例如,如图12中的(a)所示,电子设备可以显示拍照预览界面;拍照预览界面中包括预览图像、控件603与拍照控件604,其中,预览图像中包括运动模糊(例如,噪声);电子设备检测到对控件603的点击操作,如图12中的(b)所示;当电子设备检测到对控件603的点击操作之后,电子设备可以执行本申请实施例提供的图像处理方法;在电子设备检测到对控件603的点击操作之后,显示预览界面,如图12中的(c)所示;电子设备检测到对拍照控件604的点击操作,如图12中的(d)所示;在电子设备检测到对拍照控件604的操作之后,显示如图13中的(a)所示的显示界面,显示界面中包括缩略图像显示区域605;电子设备检测对缩略图像显示区域605的点击操作,如图13中的(b)所示;在电子设备检测对预览图像显示区域605的点击操作之后,显示处理后的图像;如图13中的(c)所示的图像。
应理解,上述以本申请的图像处理方法应用于拍摄图像进行举例说明;在电子设备具有足够的运算能力的情况下,本申请的图像处理方法也可以应用于预览图像;可以理解为,预览界面中显示的预览图像可以为去除运动模糊的图像。
在一个示例中,如图15中的(b)所示电子设备检测到点击控件704的操作之后,执行本申请实施例提供的图像处理方法。
示例性地,如图14所示,图14中的(a)所示的图形用户界面(graphical userinterface,GUI)为电子设备的桌面701;电子设备检测到对桌面701上的相机应用程序的控件702的点击操作,如图14中的(b)所示;在电子设备检测到对相机应用程序的控件702的点击操作之后,电子设备运行相机应用程序;例如,如图14中的(c)所示,电子设备可以显示拍照预览界面,拍照预览界面中包括预览图像与设置控件703,其中,预览图像中包括运动模糊(例如,噪声);电子设备检测到对设置控件703的点击操作,如图14中的(d)所示;当电子设备检测到对设置控件703的点击操作之后,电子设备可以显示设置界面,在设置界面中包括去除运动模糊的控件704,如图15中的(a)所示;电子设备检测到对去除运动模糊的控件704的点击操作,如图15中的(b)所示,在电子设备检测到对去除运动模糊的控件704的点击操作之后,触发电子设备执行本申请实施例提供的图像处理方法。
需要说明的是,上述为对电子设备中的显示界面的举例说明,本申请对此不作任何限定。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图15详细描述了本申请实施例提供的图像处理方法;下面将结合图16至图17详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图16是本申请实施例提供的一种电子设备的结构示意图。该电子设备800包括显示模块810与处理模块820。
其中,所述显示模块810用于显示第一界面,所述第一界面中包括预览图像与第一控件,所述第一控件为指示拍照的控件;所述处理模块820用于检测到对所述第一控件的第一操作,所述第一操作为指示拍照的操作;响应于所述第一操作,采集第一图像,所述第一图像中包括第一图像区域,所述第一图像区域为拍摄对象中运动对象所在的图像区域,所述第一图像为基于快门函数采集的图像,所述快门函数用于指示采集所述第一图像中的像素时快门开启或者快门关闭,所述快门函数包括全局快门函数与第一快门函数,所述全局快门函数指示所述快门开启的时长大于所述第一快门函数指示所述快门开启的时长;基于所述快门函数选取所述第一图像中的像素,生成N个图像,其中,所述N个图像包括第二图像与N-1个第三图像,所述第二图像为基于所述全局快门函数采集的像素得到的图像,所述N-1个第三图像为基于所述第一快门函数采集的像素得到的图像,所述N个图像中任一图像的尺寸小于所述第一图像的尺寸,N为大于2的整数;基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像;其中,所述图像处理模型用于进行亮度提升处理,处理后的图像为去除所述运动对象所在的图像区域的运动模糊的图像;显示或者保存所述处理后的图像。
可选地,作为一个实施例,所述第一快门函数包括N-1个快门子函数,所述N-1个快门子函数与所述N-1个第三图像一一对应,所述N-1个快门子函数中的不同子函数对应所述快门开启的时刻存在部分不同,所述处理模块820具体用于:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像。
可选地,作为一个实施例,所述处理模块820还用于:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像,包括:
将所述第二图像、所述目标图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
可选地,作为一个实施例,所述处理模块820具体用于:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
基于所述第二图像与所述目标图像,得到第四图像,所述第四图像中包括第二图像区域与第三图像区域,所述第二图像区域为所述目标图像中所述运动对象所在的图像区域,所述第三图像区域为所述第二图像中除所述运动对象所在图像区域之外的图像区域;
将所述第四图像输入至所述图像处理模型,得到所述处理后的图像。
可选地,作为一个实施例,所述处理模块820还用于:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第四图像输入至图像处理模型,得到所述处理后的图像,包括:
将所述第四图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
可选地,作为一个实施例,所述处理模块820具体用于:
在所述第二图像的图像区域与所述目标图像中对应的图像区域的所述相似度大于预设相似度时,获取所述第二图像的图像区域的像素;
基于所述第二图像的图像区域的像素对所述目标图像中对应的图像区域的像素进行替换处理,得到所述第四图像。
可选地,作为一个实施例,所述处理模块820具体用于:
计算所述N-1个第三图像中每个第三图像的梯度值,得到N-1个梯度值;
基于所述N-1个梯度值,得到所述目标图像。
可选地,作为一个实施例,所述图像处理模型还用于进行去噪处理。
可选地,作为一个实施例,所述图像处理模型为通过以下训练方法得到的:
获取样本视频,所述样本视频的分辨率大于预设分辨率,所述样本视频包括M帧连续的图像,所述M帧连续的图像中包括样本运动对象所在的图像区域,M为大于或者等于3的整数;
对所述M帧连续的图像中M-1帧连续的图像进行融合处理,得到第一样本图像;
对所述M帧连续的图像中第M帧图像进行降低亮度处理,得到第二样本图像;
计算所述第一样本图像与所述第二样本图像之间的样本相似度;
将所述样本相似度、第一样本图像与所述第二样本图像输入至待训练的图像处理模型,输出预测图像;
基于所述预测图像与所述第M帧图像之间的图像差异更新所述待训练的图像处理模型的参数,得到所述图像处理模型。
需要说明的是,上述电子设备800以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图17示出了本申请提供的一种电子设备的结构示意图。图17中的虚线表示该单元或该模块为可选的;电子设备900可以用于实现上述方法实施例中描述的图像处理方法。
电子设备900包括一个或多个处理器901,该一个或多个处理器901可支持电子设备900实现方法实施例中的图像处理方法。处理器901可以是通用处理器或者专用处理器。例如,处理器1101可以是中央处理器(central processing unit,CPU)、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
可选地,处理器901可以用于对电子设备900进行控制,执行软件程序,处理软件程序的数据。电子设备900还可以包括通信单元905,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备900可以是芯片,通信单元905可以是该芯片的输入和/或输出电路,或者,通信单元905可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备900可以是终端设备,通信单元905可以是该终端设备的收发器,或者,通信单元905可以900中可以包括一个或多个存储器902,其上存有程序904,程序904可被处理器901运行,生成指令903,使得处理器901根据指令903执行上述方法实施例中描述的图像处理方法。
可选地,存储器902中还可以存储有数据。
可选地,处理器901还可以读取存储器902中存储的数据,该数据可以与程序904存储在相同的存储地址,该数据也可以与程序904存储在不同的存储地址。
可选地,处理器901和存储器902可以单独设置,也可以集成在一起,例如,集成在终端设备的***级芯片(system on chip,SOC)上。
示例性地,存储器902可以用于存储本申请实施例中提供的图像处理方法的相关程序904,处理器901可以用于在执行图像处理方法时调用存储器902中存储的图像处理方法的相关程序904,执行本申请实施例的图像处理方法;例如,显示第一界面,第一界面中包括预览图像与第一控件,第一控件为指示拍照的控件;检测到对第一控件的第一操作,第一操作为指示拍照的操作;响应于第一操作,采集第一图像,第一图像中包括第一图像区域,第一图像区域为拍摄对象中运动对象所在的图像区域,第一图像为基于快门函数采集的图像,快门函数用于指示采集第一图像中的像素时快门开启或者快门关闭,快门函数包括全局快门函数与第一快门函数,全局快门函数指示快门开启的时长大于第一快门函数指示快门开启的时长;基于快门函数选取第一图像中的像素,生成N个图像,其中,N个图像包括第二图像与N-1个第三图像,第二图像为基于全局快门函数采集的像素得到的图像,N-1个第三图像为基于第一快门函数采集的像素得到的图像,N个图像中任一图像的尺寸小于第一图像的尺寸,N为大于2的整数;基于第二图像、N-1个第三图像与图像处理模型,得到处理后的图像;其中,图像处理模型用于进行亮度提升处理,处理后的图像为去除运动对象所在的图像区域的运动模糊的图像。
可选地,本申请还提供了一种计算机程序产品,该计算机程序产品被处理器901执行时实现本申请中任一方法实施例中的图像处理方法。
例如,该计算机程序产品可以存储在存储器902中,例如是程序904,程序904经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器901执行的可执行目标文件。
可选地,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
例如,该计算机可读存储介质例如是存储器902。存储器902可以是易失性存储器或非易失性存储器,或者,存储器902可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法,其特征在于,应用于电子设备,包括:
显示第一界面,所述第一界面中包括预览图像与第一控件,所述第一控件为指示拍照的控件;
检测到对所述第一控件的第一操作,所述第一操作为指示拍照的操作;
响应于所述第一操作,采集第一图像,所述第一图像中包括第一图像区域,所述第一图像区域为拍摄对象中运动对象所在的图像区域,所述第一图像为基于快门函数采集的图像,所述快门函数用于指示采集所述第一图像中的像素时快门开启或者快门关闭,所述快门函数包括全局快门函数与第一快门函数,所述全局快门函数指示所述快门开启的时长大于所述第一快门函数指示所述快门开启的时长;
基于所述快门函数选取所述第一图像中的像素,生成N个图像,其中,所述N个图像包括第二图像与N-1个第三图像,所述第二图像为基于所述全局快门函数采集的像素得到的图像,所述N-1个第三图像为基于所述第一快门函数采集的像素得到的图像,所述N个图像中任一图像的尺寸小于所述第一图像的尺寸,N为大于2的整数;
基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像;其中,所述图像处理模型用于进行亮度提升处理,所述处理后的图像为去除所述运动对象所在的图像区域的运动模糊的图像;
显示或者保存所述处理后的图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述第一快门函数包括N-1个快门子函数,所述N-1个快门子函数与所述N-1个第三图像一一对应,所述N-1个快门子函数中的不同子函数对应所述快门开启的时刻存在部分不同,所述基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像。
3.如权利要求2所述的图像处理方法,其特征在于,还包括:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第二图像与所述目标图像输入至所述图像处理模型,得到所述处理后的图像,包括:
将所述第二图像、所述目标图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
4.如权利要求1所述的图像处理方法,其特征在于,所述基于所述第二图像、所述N-1个第三图像与图像处理模型,得到处理后的图像,包括:
确定所述N-1个第三图像中的目标图像,所述目标图像的清晰度高于所述N-1个第三图像中除所述目标图像之外的图像;
基于所述第二图像与所述目标图像,得到第四图像,所述第四图像中包括第二图像区域与第三图像区域,所述第二图像区域为所述目标图像中所述运动对象所在的图像区域,所述第三图像区域为所述第二图像中除所述运动对象所在图像区域之外的图像区域;
将所述第四图像输入至所述图像处理模型,得到所述处理后的图像。
5.如权利要求4所述的图像处理方法,其特征在于,还包括:
计算所述第二图像与所述目标图像之间的相似度;
所述将所述第四图像输入至图像处理模型,得到所述处理后的图像,包括:
将所述第四图像与所述相似度输入至所述图像处理模型,得到所述处理后的图像。
6.如权利要求5所述的图像处理方法,其特征在于,所述基于所述第二图像与所述目标图像,得到第四图像,包括:
在所述第二图像的图像区域与所述目标图像中对应的图像区域的所述相似度大于预设相似度时,获取所述第二图像的图像区域的像素;
基于所述第二图像的图像区域的像素对所述目标图像中对应的图像区域的像素进行替换处理,得到所述第四图像。
7.如权利要求2至6中任一项所述的图像处理方法,其特征在于,所述确定所述N-1个第三图像中的目标图像,包括:
计算所述N-1个第三图像中每个第三图像的梯度值,得到N-1个梯度值;
基于所述N-1个梯度值,得到所述目标图像。
8.如权利要求1至6中任一项所述的图像处理方法,其特征在于,所述图像处理模型还用于进行去噪处理。
9.如权利要求1至6中任一项所述的图像处理方法,其特征在于,所述图像处理模型为通过以下训练方法得到的:
获取样本视频,所述样本视频的分辨率大于预设分辨率,所述样本视频包括M帧连续的图像,所述M帧连续的图像中包括样本运动对象所在的图像区域,M为大于或者等于3的整数;
对所述M帧连续的图像中M-1帧连续的图像进行融合处理,得到第一样本图像;
对所述M帧连续的图像中第M帧图像进行降低亮度处理,得到第二样本图像;
计算所述第一样本图像与所述第二样本图像之间的样本相似度;
将所述样本相似度、第一样本图像与所述第二样本图像输入至待训练的图像处理模型,输出预测图像;
基于所述预测图像与所述第M帧图像之间的图像差异更新所述待训练的图像处理模型的参数,得到所述图像处理模型。
10.一种电子设备,其特征在于,包括:
一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的图像处理方法。
11.一种芯片***,其特征在于,所述芯片***应用于电子设备,所述芯片***包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至9中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211646996.4A CN115633262B (zh) | 2022-12-21 | 2022-12-21 | 图像处理方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211646996.4A CN115633262B (zh) | 2022-12-21 | 2022-12-21 | 图像处理方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115633262A CN115633262A (zh) | 2023-01-20 |
CN115633262B true CN115633262B (zh) | 2023-04-28 |
Family
ID=84911095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211646996.4A Active CN115633262B (zh) | 2022-12-21 | 2022-12-21 | 图像处理方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115633262B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117135293B (zh) * | 2023-02-24 | 2024-05-24 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
CN117687233A (zh) * | 2023-05-25 | 2024-03-12 | 荣耀终端有限公司 | 一种显示屏测试方法、电子设备、存储介质及程序产品 |
CN118042280A (zh) * | 2024-03-22 | 2024-05-14 | 荣耀终端有限公司 | 图像处理方法、电子设备、计算机程序产品及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101331754A (zh) * | 2005-10-14 | 2008-12-24 | 京瓷株式会社 | 成像设备和成像方法 |
CN101473266A (zh) * | 2006-06-22 | 2009-07-01 | 诺基亚公司 | 用于图像稳定化的方法和*** |
CN105874781A (zh) * | 2014-01-10 | 2016-08-17 | 高通股份有限公司 | 用于使用多个短曝光俘获数字图像的***和方法 |
CN112509520A (zh) * | 2020-12-11 | 2021-03-16 | 深圳市智联汇网络***企业(有限合伙) | 用于消除有机发光器件残影的显示方法、显示器及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8508606B2 (en) * | 2009-11-20 | 2013-08-13 | Hon Hai Precision Industry Co., Ltd. | System and method for deblurring motion blurred images |
US9176070B2 (en) * | 2014-04-07 | 2015-11-03 | Hseb Dresden Gmbh | Inspection assembly |
-
2022
- 2022-12-21 CN CN202211646996.4A patent/CN115633262B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101331754A (zh) * | 2005-10-14 | 2008-12-24 | 京瓷株式会社 | 成像设备和成像方法 |
CN101473266A (zh) * | 2006-06-22 | 2009-07-01 | 诺基亚公司 | 用于图像稳定化的方法和*** |
CN105874781A (zh) * | 2014-01-10 | 2016-08-17 | 高通股份有限公司 | 用于使用多个短曝光俘获数字图像的***和方法 |
CN112509520A (zh) * | 2020-12-11 | 2021-03-16 | 深圳市智联汇网络***企业(有限合伙) | 用于消除有机发光器件残影的显示方法、显示器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115633262A (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022267565A1 (zh) | 视频拍摄方法、电子设备及计算机可读存储介质 | |
CN115633262B (zh) | 图像处理方法和电子设备 | |
CN113452898B (zh) | 一种拍照方法及装置 | |
CN113706414B (zh) | 视频优化模型的训练方法和电子设备 | |
WO2021223500A1 (zh) | 一种拍摄方法及设备 | |
CN115061770B (zh) | 显示动态壁纸的方法和电子设备 | |
WO2024045670A1 (zh) | 生成高动态范围视频的方法和电子设备 | |
US20210409588A1 (en) | Method for Shooting Long-Exposure Image and Electronic Device | |
CN116744120B (zh) | 图像处理方法和电子设备 | |
CN113705665A (zh) | 图像变换网络模型的训练方法和电子设备 | |
CN114390212B (zh) | 拍照预览方法、电子设备以及存储介质 | |
WO2023124202A1 (zh) | 图像处理方法与电子设备 | |
CN116055895B (zh) | 图像处理方法及其装置、芯片***和存储介质 | |
CN115767290B (zh) | 图像处理方法和电子设备 | |
WO2023160221A1 (zh) | 一种图像处理方法和电子设备 | |
CN115767262B (zh) | 拍照方法及电子设备 | |
CN117135293A (zh) | 图像处理方法和电子设备 | |
CN116128739A (zh) | 下采样模型的训练方法、图像处理方法及装置 | |
CN116258633A (zh) | 图像去反光的方法、图像去反光模型的训练方法与装置 | |
WO2021154807A1 (en) | Sensor prioritization for composite image capture | |
CN116668836B (zh) | 拍照处理方法和电子设备 | |
WO2023160220A1 (zh) | 一种图像处理方法和电子设备 | |
CN115767287B (zh) | 图像处理方法与电子设备 | |
CN116012262B (zh) | 一种图像处理方法、模型训练方法及电子设备 | |
CN116709043A (zh) | 一种拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |