CN117408896A - 图像生成方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像生成方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117408896A CN117408896A CN202210783763.2A CN202210783763A CN117408896A CN 117408896 A CN117408896 A CN 117408896A CN 202210783763 A CN202210783763 A CN 202210783763A CN 117408896 A CN117408896 A CN 117408896A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- image frame
- scene
- shooting scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004590 computer program Methods 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像生成方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括:获取预览画面的场景动态范围、所述预览画面的运动状态和相机所处环境的环境照度中的至少一种;基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景;基于所述目标拍摄场景,确定出多组待融合图像对;将各组所述待融合图像对进行融合,得到目标图像。采用本方法能够提高提高生成的图像的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像生成方法、装置、电子设备和计算机可读存储介质。
背景技术
自动曝光控制器(Auto Exposure Control,AEC)是ISP(Image SignalProcessor,图像信号处理器)成像***中的重要单元,决定了成像画面的亮度表现力。传统自动曝光控制算法一般是根据硬件输出的RAW域统计信息:直方图、分块均值等,判断当前画面感兴趣区域(Region of Interest,ROI)的亮度与目标亮度差异,采取不同策略去逼近目标亮度,从而生成图像。
然而,传统的图像生成方法,存在生成的图像不够准确的问题。
发明内容
本申请实施例提供了一种图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以提高生成的图像的准确性。
第一方面,本申请提供了一种图像生成方法。所述方法包括:
获取预览画面的场景动态范围、所述预览画面的运动状态和相机所处环境的环境照度中的至少一种;
基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景;
基于所述目标拍摄场景,确定出多组待融合图像对;
将各组所述待融合图像对进行融合,得到目标图像。
第二方面,本申请提供了一种图像生成装置。所述装置包括:
获取模块,用于获取预览画面的场景动态范围、所述预览画面的运动状态和相机所处环境的环境照度中的至少一种;
确定模块,用于基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景;
所述确定模块还用于基于所述目标拍摄场景,确定出多组待融合图像对;
图像生成模块,用于将各组所述待融合图像对进行融合,得到目标图像。
第三方面,本申请提供了一种电子设备。所述电子设备包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述第一方面的图像生成方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面,本申请提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,基于获取的预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种,可以准确地确定相机当前所处的目标拍摄场景。那么,基于目标拍摄场景,确定出与该目标拍摄场景对应的多组待融合图像对,从而将各组待融合图像对进行融合,得到更准确的目标图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像生成方法的流程图;
图2为一个实施例中数字重叠宽动态范围模式和普通模式的曝光输出对比图;
图3为另一个实施例中图像生成方法的流程图;
图4为一个实施例中图像生成装置的结构框图;
图5为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像生成方法,应用于电子设备,或者包括终端和服务器的***,并通过终端和服务器的交互实现。其中,电子设备可以是终端,也可以是服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例中,该方法包括以下步骤:
步骤102,获取预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种。
可选地,电子设备在相机进入数字重叠宽动态范围模式的情况下,获取预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种。
图2为一个实施例中数字重叠宽动态范围模式和普通模式的曝光输出对比图。在图2中,相机在数字重叠宽动态范围(Digital Overlap-High Dynamic Range,DOL-HDR)模式下,可以支持长曝光数据和短曝光数据在一帧内输出,也即长曝光数据和短曝光数据之间曝光的时间间隔很短,可以优化运动鬼影问题;而普通模式的长曝光数据和短曝光数据分别在不同帧内输出。
如图2所示,相机在数字重叠宽动态范围模式下以及在普通模式下,长曝光数据的曝光时长和短曝光数据的曝光时长之间的比值均为2:1,则相机在数字重叠宽动态范围模式下长曝光数据和短曝光数据的输出帧率为30fps,而相机在普通模式下长曝光数据和短曝光数据的输出帧率为60fps。
需要说明的是,相机在数字重叠宽动态范围模式下,可以支持长曝光数据和短曝光数据在一帧内输出,还可以支持3-4种或者更多种不同曝光数据在一帧内输出,在此不做限定。
场景动态范围是相机所拍摄的场景的明暗差别的范围。可以理解的是,场景动态范围越大,表示相机所拍摄的场景中亮区和暗区的差别越大。
在一种实施方式中,在相机进入数字重叠宽动态范围模式的情况下,电子设备获取预览画面中各个亮区和暗区,并生成该预览画面中各个区域的亮度直方图,基于该亮度直方图中亮区和暗区的分布,可以确定出预览画面的场景动态范围。
在另一种实施方式中,在相机进入数字重叠宽动态范围模式的情况下,电子设备将预览画面进行分块,获取每个块的亮度均值,基于各个块的亮度均值的分布情况,确定出预览画面的场景动态范围。具体地,电子设备可以从各个块的亮度均值的分布情况中确定亮度最高的块和亮度最低的块,则基于该亮度最高的块和亮度最低的块,可以确定出预览画面的场景动态范围。
在其他实施方式中,电子设备还可以采用其他方式确定出预览画面的场景动态范围,在此不做限定。
预览画面的运动状态包括稳定状态和非稳定状态。
环境照度是反映目标所处环境明暗的物理量,数值上等于垂直通过单位面积的光通量。
步骤104,基于预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种,确定相机当前所处的目标拍摄场景。
目标拍摄场景是相机当前所处的拍摄场景。例如,目标拍摄场景可以是场景动态范围的区间长度小于或等于预设长度阈值的场景,也可以是预览画面的运动状态为稳定状态的场景,还可以是场景动态范围的区间长度大于预设长度阈值的场景、且预览画面的运动状态为稳定状态的场景,在此不做限定。
在一种可选的实施方式中,电子设备依次判断预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度,确定相机当前所处的目标拍摄场景。
在另一种可选的实施方式中,电子设备基于预览画面的场景动态范围,确定相机当前所处的目标拍摄场景。
在另一种可选的实施方式中,电子设备依次判断预览画面的场景动态范围和预览画面的运动状态,确定相机当前所处的目标拍摄场景。
在其他实施方式中,电子设备还可以采用其他方式确定相机当前的目标拍摄场景,在此不做限定。
步骤106,基于目标拍摄场景,确定出多组待融合图像对。
待融合图像对是用于融合得到目标图像的图像对。待融合图像对包括至少两个图像帧。例如,待融合图像对包括第一图像帧和第二图像帧。多组待融合图像对可以包括同一类型的图像对,也可以包括不同类型的图像对。
电子设备可以从拍摄操作之前的重叠图像集中获取目标拍摄场景对应的多组待融合图像对,也可以从拍摄操作之后的重叠图像集中获取目标拍摄场景对应的多组待融合图像对,还可以从拍摄操作之前以及拍摄操作之后的重叠图像集中获取目标拍摄场景对应的多组待融合图像对,在此不做限定。
需要说明的是,在触发拍摄操作后,重新配置新的曝光参数,新的曝光参数生效一般会延迟指定时长,因此,若电子设备调整曝光参数之后,需要等待指定时长后再获取新的曝光参数曝光得到的图像帧,防止融合得到的目标图像出现鬼影。其中,指定时长可以是2帧。
步骤108,将各组待融合图像对进行融合,得到目标图像。
在一种可选的实施方式中,电子设备采用HDR(High Dynamic Range Imaging,高动态范围成像)将各组待融合图像对进行融合,生成高动态范围的目标图像。其中,高动态范围的目标图像具有更宽的曝光动态范围,即更大的明暗差别,可以表现出更多的亮度信息。
在另一种可选的实施方式中,电子设备将将各组待融合图像对的图像中中同一位置的像素进行平均处理,得到目标图像。
在其他实施方式中,电子设备还可以采用其他方式将各组待融合图像对进行融合,在此不做限定。
上述图像生成方法,基于获取的预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种,可以准确地确定相机当前所处的目标拍摄场景。那么,基于目标拍摄场景,确定出与该目标拍摄场景对应的多组待融合图像对,从而将各组待融合图像对进行融合,得到更准确的目标图像。
在一个实施例中,依次判断预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度,确定相机当前所处的目标拍摄场景,包括:基于场景动态范围,确定出相机曝光的每组重叠图像集中,第一图像帧和第二图像帧之间的曝光时长比;第一图像帧的曝光时长大于第二图像帧的曝光时长,曝光时长比和场景动态范围成正相关;基于曝光时长比,确定相机当前所处的目标拍摄场景。
可以理解的是,相机在数字重叠宽动态范围模式下,前一种图像帧曝光输出还未结束,后一种图像帧曝光输出已经开始,因此,每个曝光周期内的多种图像帧在曝光时间上存在重叠,每个曝光周期内得到的多种图像帧,构成相机曝光的每组重叠图像集。
曝光时长比指的是第一图像帧(EV0)的曝光时长和第二图像帧(EV-)的曝光时长之间的比值。从该曝光时长比可以得知当前的实际存在的场景动态范围的大小。例如,曝光时长比较小,则可以得知当前的实际存在的场景动态范围也较小。其中,EV(ExposureValues)是反映曝光多少的一个量,当感光度为ISO 100、光圈系数为F1、曝光时间为1秒时,曝光量定义为0,曝光量减少一档(快门时间减少一半或者光圈缩小一档),EV+1;曝光量增一档(快门时间增加一倍或者光圈增加一档),EV-1。
可以理解的是,场景动态范围越大,为了呈现画面中的高光信息和暗区信息,则第一图像帧和第二图像帧之间的曝光时长比也需要越大,第一图像帧的曝光时长大于第二图像帧的曝光时长,第一图像帧可以呈现出画面中的高光信息,第二图像帧可以呈现出画面中的暗区信息。也就是说,曝光时长比和场景动态范围成正相关。可以理解的是,第一图像帧可为长曝光图像帧,第二图像帧可为短曝光图像帧。
具体地,电子设备获取预先设置的场景动态范围和曝光时间比之间的对应关系,基于场景动态范围,从该对应关系中,确定出相机曝光的每组重叠图像集中,第一图像帧和第二图像帧之间的曝光时长比。其中,该对应关系使得曝光时长比和场景动态范围成正相关。
在一种实施方式中,场景动态范围和曝光时间比之间的对应关系,可以是正比关系。在另一种实施方式中,电子设备依次设置每个场景动态范围所对应的曝光时间比,并保证场景动态范围与曝光时间比成正相关。在其他实施方式中,电子设备还可以采用其他方式确定场景动态范围和曝光时间比之间的对应关系,在此不做限定。
可以理解的是,曝光时长比和场景动态范围成正相关,则曝光时长比较大,相机所处的环境中客观存在的场景动态范围也较大;曝光时长比较小,相机所处的环境中客观存在的场景动态范围也较小。因此,可以基于曝光时长比,准确地确定出相机当前所处的目标拍摄场景。
在本实施例中,电子设备基于场景动态范围,确定出相机曝光的每组重叠图像集中第一图像帧和第二图像帧之间的曝光时长比;其中,第一图像帧的曝光时长大于第二图像帧的曝光时长,且曝光时长比和场景动态范围成正相关。那么,该第一图像帧和第二图像帧可以更好地呈现出当前的场景动态范围,即较大曝光时长的第一图像帧可以呈现出画面中的高光信息,较小曝光时长的第二图像帧可以呈现出画面中的暗区信息,从而基于曝光时长比,更准确地确定出相机当前所处的目标拍摄场景。
在一个实施例中,基于曝光时长比,确定相机当前所处的目标拍摄场景,包括:若曝光时长比小于或等于预设时长比阈值,则确定相机当前所处的目标拍摄场景为第一拍摄场景;第一拍摄场景的场景动态范围的区间长度小于预设长度阈值;若曝光时长比大于预设时长比阈值,则根据预览画面的运动状态或相机当前所处的环境照度确定相机当前所处的目标拍摄场景。
预设时长比阈值可以根据需要进行设置。例如,预设时长比阈值可以为16。
若曝光时长比小于或等于预设时长比阈值,表示该预览画面的场景动态范围较小,相机当前处于第一拍摄场景;若曝光时长比大于预设时长比阈值,表示该预览画面的场景动态范围较大,则确定预览画面的运动状态,并根据该预览画面的运动状态或相机当前所处的环境照度,判断出相机当前所处的目标拍摄场景。
在一个实施例中,预览画面的运动状态的确定方式,包括:获取陀螺仪的角速度,以及检测预览画面的运动幅度;若角速度小于或等于预设角速度阈值,且运动幅度小于或等于预设运动阈值,则确定预览画面的运动状态为稳定状态;若角速度大于预设角速度阈值,或运动幅度大于预设运动阈值,则确定预览画面的运动状态为非稳定状态。
预设角速度阈值和预设运动阈值均可以根据需要进行设置。
可以理解的是,陀螺仪的角速度表征电子设备的抖动程度,预览画面的运动幅度表征预览画面的运动程度,若角速度小于或等于预设角速度阈值,且运动幅度小于或等于预设运动阈值,则表示电子设备较稳定且预览画面也较稳定,预览画面的运动状态为稳定状态。若角速度大于预设角速度阈值,或运动幅度大于预设运动阈值,则可以确定预览画面的运动状态为非稳定状态。
在本实施例中,电子设备基于陀螺仪的角速度和预览画面的运动幅度,可以准确地确定出预览画面的运动状态,从而基于运动状态,更准确地确定出多组待融合图像对。
在一个实施例中,根据预览画面的运动状态确定相机当前所处的目标拍摄场景,包括:若运动状态为稳定状态,则确定相机当前所处的目标拍摄场景为第二拍摄场景;若运动状态为非稳定状态,则根据相机当前所处环境的环境照度确定相机当前所处的目标拍摄场景。
第二拍摄场景为曝光时长比大于预设时长比阈值、且运动状态为稳定状态的场景。
在一个实施例中,根据相机当前所处环境的环境照度确定相机当前所处的目标拍摄场景,包括:若环境照度大于或等于预设环境阈值,则确定相机当前所处的目标拍摄场景为第三拍摄场景;若环境照度小于预设环境阈值,则确定相机当前所处的目标拍摄场景为第四拍摄场景。
第三拍摄场景为曝光时长比大于预设时长比阈值、运动状态为非稳定状态、且环境照度大于或等于预设环境阈值的场景。
第四拍摄场景为曝光时长比大于预设时长比阈值、运动状态为非稳定状态、且环境照度小于预设环境阈值的场景。
在一个实施例中,如图3所示,电子设备执行步骤302,根据预览画面的场景动态范围,确定第一图像帧和第二图像帧之间的曝光时长比;继续执行步骤304,判断曝光时长比>th1;若判断为否,则相机当前所处的目标拍摄场景为第一拍摄场景,执行步骤306;若判断为是,则执行步骤308。
步骤306,取出拍摄操作之前的N组(EV0,EV-)作为待融合图像对。再将各组待融合图像对进行融合,得到目标图像。其中,EV0为第一图像帧,EV-为第二图像帧。其中,N大于或等于2。
步骤308,获取陀螺仪的角速度,以及检测预览画面的运动幅度;继续执行步骤310,判断角速度>th2,或预运动幅度>th3;若判断为否,则相机当前所处的目标拍摄场景为第二拍摄场景,执行步骤312;若判断为是,则执行步骤314。
步骤312,取出拍摄操作之前的N组(EV0,EV-),以及拍摄操作之后的一组(EV--,EV0L)作为待融合图像对。再将各组待融合图像对进行融合,得到目标图像。其中,EV--为第三图像帧,EV0L为与第一图像帧相同亮度的第四图像帧。
步骤314,确定相机所处环境的环境照度;继续执行步骤316,判断环境照度<th4;若判断为否,则相机当前所处的目标拍摄场景为第三拍摄场景,执行步骤318;若判断为是,则相机当前所处的目标拍摄场景为第四拍摄场景,执行步骤320。
步骤318,取出拍摄操作之前的N组(EV0,EV-),以及拍摄操作之后的一组(EV0S,EV--)作为待融合图像对。再将各组待融合图像对进行融合,得到目标图像。其中,EV0S为与第一图像帧相同亮度的第五图像帧,EV--为第三图像帧。
步骤320,取出拍摄操作之前的N组(EV0S,EV-),以及拍摄操作之后的M组(EV--,EV0L)作为待融合图像对。再将各组待融合图像对进行融合,得到目标图像。其中,M大于或等于2。
在一个实施例中,基于目标拍摄场景,确定出多组待融合图像对,包括:若相机当前所处的目标拍摄场景为第一拍摄场景,则响应于拍摄操作,从拍摄操作之前相机曝光的重叠图像集中,获取多组初始图像对作为第一拍摄场景对应的多组待融合图像对;第一拍摄场景的场景动态范围的区间长度小于或等于预设长度阈值,每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度。
预设长度阈值可以根据需要进行设置。
若相机当前所处的目标拍摄场景为第一拍摄场景,即相机的预览画面的场景动态范围的区间长度小于或等于预设长度阈值,该预览画面的场景动态范围较小,则可以直接从拍摄操作之前相机曝光的重叠图像集中,获取多组初始图像对作为第一拍摄场景对应的多组待融合图像对,避免将拍摄操作之后的图像帧作为待融合图像造成的重新计算曝光参数及生效的等待时间,提高生成图像的效率。
在本实施例中,在第一拍摄场景下,电子设备基于多组待融合图像对中的第二图像帧,可以保证生成的目标图像零延时并且运动抓拍清晰,基于多组待融合图像对中第一图像帧和第二图像帧之间的曝光时长比,可以保证生成的目标图像具有高动态,基于多组待融合图像对中的第一图像帧,可以保证生成的目标图像低噪声且高画质,从而生成更加准确的目标图像。
其中,零延时:指目标图像的运动状态与触发拍摄操作时预览画面的运动状态之间的时间间隔<100ms(毫秒)。
高动态:预览画面的最大动态范围>84dB(分贝),目标图像的最大动态范围>120dB。
运动抓拍清晰:成像基准帧的曝光时长小于指定时长。例如,指定时长可以是正常曝光帧曝光时长的1/4,可以降低运动模糊。其中,成像基准帧是成像***在处理时用于其他图像帧进行对齐的图像帧。
低噪声高画质:有较高信噪比的多个输入帧,以进行多帧降噪进一步提升最终成像信噪比。
在一个实施例中,基于目标拍摄场景,确定出多组待融合图像对,包括:若相机当前所处的目标拍摄场景为第二拍摄场景,则响应于拍摄操作,将相机调整至第一曝光参数,以第一曝光参数曝光得到第四图像帧;第二拍摄场景的场景动态范围的区间长度大于预设长度阈值,且预览画面的运动状态为稳定状态;第四图像帧的曝光时长大于预设时长阈值;从拍摄操作之前相机曝光的重叠图像集中确定出多组初始图像对作为待融合图像对,以及获取第一图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度,第一图像对包括第三图像帧和与第一图像帧相同亮度的第四图像帧,第二图像帧的亮度大于第三图像帧的亮度。
第一曝光参数是第二拍摄场景下相机所对应调整的曝光参数。第一曝光参数用于至少曝光得到第四图像帧,且第四图像帧的曝光时长大于预设时长阈值。可以理解的是,第四图像帧的曝光时长大于预设时长阈值,也即第四图像帧为长曝光时长的图像帧(EV0L),可以呈现出画面中的高光信息。
可选地,在拍摄操作之后,相机经过延迟时长之后以第一曝光参数进行曝光,并将延迟时长内曝光得到的多组初始图像对作为待融合图像对。
可以理解的是,电子设备检测到拍摄操作之后,需要对该拍摄操作进行相应的处理,如获取拍摄操作的操作信息、重新调整曝光参数等处理,需要一定的延迟时长。因此,在该延迟时长内,相机以原先的曝光参数进行曝光得到多组初始图像对。其中,延迟时长由相机的硬件参数和图像算法共同决定。
可以理解的是,第一图像帧的曝光时长大于第二图像帧的曝光时长,也即第一图像帧为长曝光时长的图像帧,第一图像帧的曝光量较大,第二图像帧为短曝光时长的图像帧,第二图像帧的曝光量较小,而第三图像帧的曝光量小于第二图像帧的曝光量,第三图像帧为更欠曝帧(EV--)。例如,第三图像帧的曝光量可以为-6EV或-7EV。
进一步地,第四图像帧的亮度增益由ISO(photosensibility,感光度)转换为曝光时长来实现。例如,第一图像帧是曝光时长20ms,ISO 200,第四图像帧维持与第一图像帧相同的亮度,曝光量(曝光时长*ISO)保持不变,通过延长曝光时长,并且降低ISO(如变为曝光时长40ms,ISO100)来提升输出图像信噪比。
可以理解的是,第二拍摄场景的场景动态范围的区间长度大于预设长度阈值,且预览画面的运动状态为稳定状态,因此需要重新设置曝光参数,再取一帧更欠曝的第三图像帧来呈现高亮区的信息。例如,将第二图像帧定义为-a/2EV,则第三图像帧可以定义为-aEV。另外,由于第二拍摄场景的场景动态范围较大且预览画面的运动状态为稳定状态,此时在拍摄操作之后获取第四图像帧,该第四图像帧的全局画面不会因为曝光时长较长而容易导致运动模糊,第四图像帧可以提供信噪比更好的图像,有助于提升暗区画质。
示例性的,待融合图像对包括(EV0,EV-)、…、(EV0,EV-)、(EV0,EV-)(拍摄操作)、(EV0,EV-)、(EV0,EV-)、(EV--,EV0L),每组初始图像对(EV0,EV-)中,EV0为第一图像帧,EV-为第二图像帧,在拍摄操作的延迟时长内曝光得到2组初始图像对(EV0,EV-),在延迟时长之后以第一曝光参数进行曝光得到第一图像对(EV--,EV0L),EV--为第三图像帧,EV0L为第四图像帧,则从拍摄操作之前作为待融合图像对的2组初始图像对、和拍摄操作之后的延迟时长内作为待融合图像对的2组初始图像对中,确定出多个候选的第一图像帧。
在本实施例中,在第二拍摄场景下,电子设备基于多组待融合图像对中的第二图像帧,可以保证得到的目标图像零延时和运动抓拍清晰,第一图像帧、第二图像帧和第三图像帧之间的曝光时长比可以保证目标图像具有高动态,拍摄操作之前曝光得到的第一图像帧和拍摄操作之后得到的与第一图像帧相同亮度的第四图像帧,可以保证目标图像具有低噪声且高画质,从而生成更加准确的目标图像。
在一个实施例中,基于目标拍摄场景,确定出多组待融合图像对,包括:若相机当前所处的目标拍摄场景为第三拍摄场景,则响应于拍摄操作,将相机调整至第二曝光参数;第三拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且相机所处环境的环境照度大于或等于预设环境阈值;从拍摄操作之前相机曝光的重叠图像集中,确定出多组初始图像对作为待融合图像对,以及获取第二图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度,第二图像对包括第三图像帧和与第一图像帧相同亮度的第五图像帧,第二图像帧的亮度大于第三图像帧的亮度,第二图像对中至少一个图像帧是相机在拍摄操作之后以第二曝光参数曝光得到的,第五图像帧的曝光时长小于或等于预设时长阈值。
在拍摄操作之后,相机经过延迟时长之后以第二曝光参数进行曝光,并将延迟时长内曝光得到的多组初始图像对作为待融合图像对。
可以理解的是,若相机所处环境的环境照度降低,则自动曝光控制器会自动进行降帧并延长曝光时间以提升画质。然而,若将输出的帧率降帧至最低帧率以下,则会造成预览画面的卡顿,因此帧率不能无限制的往下降,通常设定最低帧率为16fps(Frames PerSecond,每秒传输帧数)。也即,基于环境照度自动调整的帧率,大于或等于最低帧率。
预设环境阈值可以根据进行设置。环境照度大于或等于预设环境阈值,则相机基于环境照度自动调整的帧率大于或等于最低帧率,可以响应于拍摄操作,将相机调整至第二曝光参数。
第二曝光参数是第三拍摄场景下相机所对应调整的曝光参数。第二曝光参数用于曝光得到第二图像对中至少一个图像帧,第二图像对包括第三图像帧和与第一图像帧相同亮度的第五图像帧。
第三图像帧的曝光量小于第二图像帧的曝光量,而第二图像帧的曝光时长小于第一图像帧的曝光时长,因此第三图像帧为更欠曝帧。第五图像帧的曝光时长小于或等于预设时长阈值,也即第五图像帧为短曝光时长的图像帧。例如,第五图像帧的曝光时长为第一图像帧曝光时长的1/2-1/4。
进一步地,第五图像帧的亮度增益通过转换曝光时长为ISO(感光度)来实现。假设第一图像帧的曝光参数是曝光时长20ms,ISO 200,第五图像帧维持与第一图像帧相同的亮度,曝光量(曝光时长*ISO)保持不变,通过提升ISO降低曝光时长(如变为曝光时长5ms,ISO800)来降低运动模糊,为后续的运动区域处理提供空间。
示例性的,例如,在第三拍摄场景下,待融合图像对包括(EV0,EV-)、…、(EV0,EV-)、(EV0,EV-)(拍摄操作)、(EV0,EV-)、(EV0,EV-)、(EV0S,EV--),每组初始图像对(EV0,EV-)中,EV0为第一图像帧,EV-为第二图像帧,在拍摄操作的延迟时长内曝光得到2组初始图像对(EV0,EV-),在延迟时长之后以第二曝光参数进行曝光得到第二图像对(EV0S,EV--),EV--为第三图像帧,EV0S为第五图像帧,则将第二图像对中的第五图像帧确定为基准帧。
在本实施例中,在第三拍摄场景下,电子设备基于多组待融合图像对中的第五图像帧,可以保证得到的目标图像的零延时和运动抓拍清晰,第一图像帧、第二图像帧和第三图像帧之间的曝光时长比,可以保证目标图像具有高动态,拍摄操作之前曝光得到的第一图像帧可以保证目标图像的低噪声且高画质,从而提高生成的目标图像的准确性。
在另一个实施例中,基于目标拍摄场景,获确定出多组待融合图像对,包括:若相机当前所处的目标拍摄场景为第三拍摄场景,则响应于拍摄操作,从拍摄操作之前相机曝光的重叠图像集中,确定出第二图像对和多组初始图像对作为待融合图像对;第三拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且相机所处环境的环境照度大于或等于预设环境阈值;每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度,第二图像对包括第三图像帧和与第一图像帧相同亮度的第五图像帧,第二图像帧的亮度大于第三图像帧的亮度,第五图像帧的曝光时长小于或等于预设时长阈值。
可以理解的是,第三图像帧的曝光量小于第二图像帧的曝光量,则第三图像帧的曝光时长较小,第三图像帧和第五图像帧的曝光时长均较短,可以从拍摄操作之前相机曝光的多组重叠图像集中获取得到,可以缩短取帧时间,从而提高图像生成的效率。
其中,相机在数字重叠宽动态范围模式下,曝光的每组重叠图像集中包括至少3个图像帧,则可以从每组重叠图像集中获取到第一图像帧、第二图像帧。
在本实施例中,在第三拍摄场景下,电子设备基于多组待融合图像对中的第五图像帧,可以保证得到的目标图像的零延时和运动抓拍清晰,第一图像帧、第二图像帧和第三图像帧之间的曝光时长比,可以保证目标图像具有高动态,拍摄操作之前曝光得到的第一图像帧可以保证目标图像的低噪声且高画质,从而提高生成的目标图像的准确性。并且,在本实施例中,电子设备获取到的多组待融合图像对均为拍摄操作之前获取的图像,避免重新进行曝光取帧而耗费等待时间,缩短了取帧时间,从而提高图像生成的效率。
在一个实施例中,基于目标拍摄场景,确定出多组待融合图像对,包括:若相机当前所处的目标拍摄场景为第四拍摄场景,则将相机调整至第三曝光参数;第四拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且相机所处环境的环境照度小于预设环境阈值;响应于拍摄操作,将相机调整至第四曝光参数;从拍摄操作之前相机以第三曝光参数曝光的重叠图像集中确定出多组第三图像对作为待融合图像对,以及获取多组第四图像对作为待融合图像对;每组第三图像对包括第二图像帧和与第一图像帧相同亮度的第五图像帧,第一图像帧的亮度大于第二图像帧的亮度,第五图像帧的曝光时长小于或等于预设时长阈值,每组第四图像对包括第三图像帧和与第一图像帧相同亮度的第四图像帧,第二图像帧的亮度大于第三图像帧的亮度,第四图像帧是相机在拍摄操作之后以第四曝光参数曝光得到的,第四图像帧的曝光时长大于预设时长阈值。
在拍摄操作之后,相机经过延迟时长之后以第四曝光参数进行曝光,并将延迟时长内曝光得到的多组第三图像对作为待融合图像对。
若环境照度小于预设环境阈值,表示相机所处环境的亮度较暗,例如在夜景下,则在拍摄操作之前将相机调整至第三曝光参数,则以第三曝光参数进行曝光得到的多组重叠图像集,经过ISP成像***处理后可以展示为预览画面。
可以理解的是,第三曝光参数和第四曝光参数不同,第三曝光参数用于曝光得到第二图像帧和第五图像帧,该第五图像帧是与第一图像帧相同亮度的图像帧,且第五图像帧的曝光时长小于或等于预设时长阈值,可以用于保证目标图像零延时和运动抓拍清晰。而第四曝光参数用于曝光得到第三图像帧和与第一图像帧相同亮度的第四图像帧,第二图像帧的亮度大于所述第三图像帧的亮度,第四图像帧的曝光时长大于预设时长阈值,该第四图像帧可以保证目标图像的低噪声高画质。
第五图像帧的曝光时长可以为第一图像帧的曝光时长的1/2-1/4。第五图像帧的亮度增益通过曝光时长转换为ISO来实现。
可以理解的是,若图像帧所需的曝光时长较长,且从拍摄操作之前的多组重叠图像集中获取得到,则每组重叠图像集的曝光时长综合容易超过33ms,从而导致帧率降低造成画面卡顿的问题。
因此,第四图像帧的曝光时长大于预设时长阈值,第四图像帧的曝光时长较长,则在拍摄操作之后以第四曝光参数曝光得到第四图像帧,避免造成画面卡顿,提高生成的目标图像的准确性。
需要说明的是,第三图像帧的曝光时长较短,可以在拍摄操作之后进行曝光得到,也可以在拍摄操作之前进行曝光得到。
示例性的,待融合图像对包括(EV0S,EV-)、…、(EV0S,EV-)、(EV0S,EV-)(拍照)、(EV0S,EV-)、(EV0S,EV-)、(EV--,EV0L)、…、(EV--,EV0L),每组第三图像对(EV0S,EV-)中,EV-为第二图像帧,EV0S为第五图像帧,在拍摄操作的延迟时长内曝光得到2组第三图像对(EV0S,EV-),在延迟时长之后以第四曝光参数进行曝光得到第四图像对(EV--,EV0L),EV--为第三图像帧,EV0L为第四图像帧,指定数量为2,则从拍摄操作之前作为待融合图像对的2组第三图像对、和拍摄操作之后的延迟时长内作为待融合图像对的2组第三图像对中,确定出多个候选的第五图像帧。
在本实施例中,在第四拍摄场景下,电子设备基于多组待融合图像对中的第五图像帧,可以保证得到的目标图像零延时和运动抓拍清晰,第五图像帧、第一图像帧和第三图像帧之间的曝光时长比,或者第四图像帧、第一图像帧和第三图像帧之间的曝光时长比,可以保证目标图像的高动态范围,第四图像帧可以保证目标图像低噪声且高画质,从而提高生成的目标图像的准确性。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像生成方法的图像生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像生成装置实施例中的具体限定可以参见上文中对于图像生成方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种图像生成装置,包括:获取模块402、确定模块404和图像生成模块406,其中:
获取模块402,用于获取预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种。
确定模块404,用于基于预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种,确定相机当前所处的目标拍摄场景。
确定模块404还用于基于目标拍摄场景,确定出多组待融合图像对。
图像生成模块406,用于将各组待融合图像对进行融合,得到目标图像。
上述图像生成装置,基于获取的预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度中的至少一种,可以准确地确定相机当前所处的目标拍摄场景。那么,基于目标拍摄场景,确定出与该目标拍摄场景对应的多组待融合图像对,从而将各组待融合图像对进行融合,得到更准确的目标图像。
在一个实施例中,上述确定模块404还用于依次判断预览画面的场景动态范围、预览画面的运动状态和相机所处环境的环境照度,确定相机当前所处的目标拍摄场景。
在一个实施例中,上述确定模块404还用于基于场景动态范围,确定出相机曝光的每组重叠图像集中,第一图像帧和第二图像帧之间的曝光时长比;第一图像帧的曝光时长大于第二图像帧的曝光时长,曝光时长比和场景动态范围成正相关;基于曝光时长比,确定相机当前所处的目标拍摄场景。
在一个实施例中,上述确定模块404还用于若曝光时长比小于或等于预设时长比阈值,则确定相机当前所处的目标拍摄场景为第一拍摄场景;第一拍摄场景的场景动态范围的区间长度小于预设长度阈值;若曝光时长比大于预设时长比阈值,则根据预览画面的运动状态或相机当前所处的环境照度确定相机当前所处的目标拍摄场景。
在一个实施例中,上述确定模块404还用于获取陀螺仪的角速度,以及检测预览画面的运动幅度;若角速度小于或等于预设角速度阈值,且运动幅度小于或等于预设运动阈值,则确定预览画面的运动状态为稳定状态;若角速度大于预设角速度阈值,或运动幅度大于预设运动阈值,则确定预览画面的运动状态为非稳定状态。
在一个实施例中,上述确定模块404还用于若运动状态为稳定状态,则确定相机当前所处的目标拍摄场景为第二拍摄场景;若运动状态为非稳定状态,则根据相机当前所处环境的环境照度确定相机当前所处的目标拍摄场景。
在一个实施例中,上述确定模块404还用于若环境照度大于或等于预设环境阈值,则确定相机当前所处的目标拍摄场景为第三拍摄场景;若环境照度小于预设环境阈值,则确定相机当前所处的目标拍摄场景为第四拍摄场景。
在一个实施例中,上述确定模块404还用于若相机当前所处的目标拍摄场景为第一拍摄场景,则响应于拍摄操作,从拍摄操作之前相机曝光的重叠图像集中,获取多组初始图像对作为第一拍摄场景对应的多组待融合图像对;第一拍摄场景的场景动态范围的区间长度小于或等于预设长度阈值,每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度。
在一个实施例中,上述确定模块404还用于若相机当前所处的目标拍摄场景为第二拍摄场景,则响应于拍摄操作,将相机调整至第一曝光参数,以第一曝光参数曝光得到第四图像帧;第二拍摄场景的场景动态范围的区间长度大于预设长度阈值,且预览画面的运动状态为稳定状态;第四图像帧的曝光时长大于预设时长阈值;从拍摄操作之前相机曝光的重叠图像集中确定出多组初始图像对作为待融合图像对,以及获取第一图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度,第一图像对包括第三图像帧和与第一图像帧相同亮度的第四图像帧,第二图像帧的亮度大于第三图像帧的亮度。
在一个实施例中,在拍摄操作之后,相机经过延迟时长之后以第一曝光参数进行曝光,并将延迟时长内曝光得到的多组初始图像对作为待融合图像对。
在一个实施例中,上述确定模块404还用于若相机当前所处的目标拍摄场景为第三拍摄场景,则响应于拍摄操作,将相机调整至第二曝光参数;第三拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且相机所处环境的环境照度大于或等于预设环境阈值;从拍摄操作之前相机曝光的重叠图像集中,确定出多组初始图像对作为待融合图像对,以及获取第二图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,第一图像帧的亮度大于第二图像帧的亮度,第二图像对包括第三图像帧和与第一图像帧相同亮度的第五图像帧,第二图像帧的亮度大于第三图像帧的亮度,第二图像对中至少一个图像帧是相机在拍摄操作之后以第二曝光参数曝光得到的,第五图像帧的曝光时长小于或等于预设时长阈值。
在一个实施例中,在拍摄操作之后,相机经过延迟时长之后以第二曝光参数进行曝光,并将延迟时长内曝光得到的多组初始图像对作为待融合图像对。
在一个实施例中,上述确定模块404还用于若相机当前所处的目标拍摄场景为第四拍摄场景,则将相机调整至第三曝光参数;第四拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且相机所处环境的环境照度小于预设环境阈值;响应于拍摄操作,将相机调整至第四曝光参数;从拍摄操作之前相机以第三曝光参数曝光的重叠图像集中确定出多组第三图像对作为待融合图像对,以及获取多组第四图像对作为待融合图像对;每组第三图像对包括第二图像帧和与第一图像帧相同亮度的第五图像帧,第一图像帧的亮度大于第二图像帧的亮度,第五图像帧的曝光时长小于或等于预设时长阈值,每组第四图像对包括第三图像帧和与第一图像帧相同亮度的第四图像帧,第二图像帧的亮度大于第三图像帧的亮度,第四图像帧是相机在拍摄操作之后以第四曝光参数曝光得到的,第四图像帧的曝光时长大于预设时长阈值。
在一个实施例中,在拍摄操作之后,相机经过延迟时长之后以第四曝光参数进行曝光,并将延迟时长内曝光得到的多组第三图像对作为待融合图像对。
上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图5所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像生成方法。该电子设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像生成方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像生成方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (17)
1.一种图像生成方法,其特征在于,包括:
获取预览画面的场景动态范围、所述预览画面的运动状态和相机所处环境的环境照度中的至少一种;
基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景;
基于所述目标拍摄场景,确定出多组待融合图像对;
将各组所述待融合图像对进行融合,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景,包括:
依次判断预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度,确定所述相机当前所处的目标拍摄场景。
3.根据权利要求2所述的方法,其特征在于,所述依次判断预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度,确定所述相机当前所处的目标拍摄场景,包括:
基于所述场景动态范围,确定出所述相机曝光的每组重叠图像集中,第一图像帧和第二图像帧之间的曝光时长比;所述第一图像帧的曝光时长大于所述第二图像帧的曝光时长,所述曝光时长比和所述场景动态范围成正相关;
基于所述曝光时长比,确定所述相机当前所处的目标拍摄场景。
4.根据权利要求3所述的方法,其特征在于,所述基于所述曝光时长比,确定所述相机当前所处的目标拍摄场景,包括:
若所述曝光时长比小于或等于预设时长比阈值,则确定所述相机当前所处的目标拍摄场景为第一拍摄场景;所述第一拍摄场景的场景动态范围的区间长度小于预设长度阈值;
若所述曝光时长比大于预设时长比阈值,则根据所述预览画面的运动状态或所述相机当前所处的环境照度确定所述相机当前所处的目标拍摄场景。
5.根据权利要求4所述的方法,其特征在于,所述预览画面的运动状态的确定方式,包括:
获取陀螺仪的角速度,以及检测所述预览画面的运动幅度;
若所述角速度小于或等于预设角速度阈值,且所述运动幅度小于或等于预设运动阈值,则确定所述预览画面的运动状态为稳定状态;
若所述角速度大于预设角速度阈值,或所述运动幅度大于预设运动阈值,则确定所述预览画面的运动状态为非稳定状态。
6.根据权利要求4所述的方法,其特征在于,根据所述预览画面的运动状态确定所述相机当前所处的目标拍摄场景,包括:
若所述运动状态为稳定状态,则确定所述相机当前所处的目标拍摄场景为第二拍摄场景;
若所述运动状态为非稳定状态,则根据所述相机当前所处环境的环境照度确定所述相机当前所处的目标拍摄场景。
7.根据权利要求4或6所述的方法,其特征在于,根据所述相机当前所处环境的环境照度确定所述相机当前所处的目标拍摄场景,包括:
若所述环境照度大于或等于预设环境阈值,则确定所述相机当前所处的目标拍摄场景为第三拍摄场景;
若所述环境照度小于预设环境阈值,则所述确定所述相机当前所处的目标拍摄场景为第四拍摄场景。
8.根据权利要求1所述的方法,其特征在于,所述基于所述目标拍摄场景,确定出多组待融合图像对,包括:
若所述相机当前所处的目标拍摄场景为第一拍摄场景,则响应于拍摄操作,从所述拍摄操作之前所述相机曝光的重叠图像集中,获取多组初始图像对作为所述第一拍摄场景对应的多组待融合图像对;所述第一拍摄场景的场景动态范围的区间长度小于或等于预设长度阈值,每组初始图像对中包括所述第一图像帧和第二图像帧,所述第一图像帧的亮度大于所述第二图像帧的亮度。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标拍摄场景,确定出多组待融合图像对,包括:
若所述相机当前所处的目标拍摄场景为第二拍摄场景,则响应于拍摄操作,将所述相机调整至第一曝光参数,以所述第一曝光参数曝光得到第四图像帧;所述第二拍摄场景的场景动态范围的区间长度大于预设长度阈值,且预览画面的运动状态为稳定状态;所述第四图像帧的曝光时长大于预设时长阈值;
从所述拍摄操作之前所述相机曝光的重叠图像集中确定出多组初始图像对作为待融合图像对,以及获取第一图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,所述第一图像帧的亮度大于所述第二图像帧的亮度,所述第一图像对包括第三图像帧和与所述第一图像帧相同亮度的第四图像帧,所述第二图像帧的亮度大于所述第三图像帧的亮度。
10.根据权利要求9所述的方法,其特征在于,在所述拍摄操作之后,所述相机经过延迟时长之后以所述第一曝光参数进行曝光,并将所述延迟时长内曝光得到的多组初始图像对作为待融合图像对。
11.根据权利要求1所述的方法,其特征在于,所述基于所述目标拍摄场景,确定出多组待融合图像对,包括:
若所述相机当前所处的目标拍摄场景为第三拍摄场景,则响应于拍摄操作,将所述相机调整至第二曝光参数;所述第三拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且所述相机所处环境的环境照度大于或等于预设环境阈值;
从所述拍摄操作之前所述相机曝光的重叠图像集中,确定出多组初始图像对作为待融合图像对,以及获取第二图像对作为待融合图像对;每组初始图像对中包括第一图像帧和第二图像帧,所述第一图像帧的亮度大于所述第二图像帧的亮度,所述第二图像对包括第三图像帧和与所述第一图像帧相同亮度的第五图像帧,所述第二图像帧的亮度大于所述第三图像帧的亮度,所述第二图像对中至少一个图像帧是所述相机在所述拍摄操作之后以所述第二曝光参数曝光得到的,所述第五图像帧的曝光时长小于或等于预设时长阈值。
12.根据权利要求11所述的方法,其特征在于,在所述拍摄操作之后,所述相机经过延迟时长之后以所述第二曝光参数进行曝光,并将所述延迟时长内曝光得到的多组初始图像对作为待融合图像对。
13.根据权利要求1所述的方法,其特征在于,所述基于所述目标拍摄场景,确定出多组待融合图像对,包括:
若所述相机当前所处的目标拍摄场景为第四拍摄场景,则将所述相机调整至第三曝光参数;所述第四拍摄场景的场景动态范围的区间长度大于预设长度阈值,预览画面的运动状态为非稳定状态,且所述相机所处环境的环境照度小于预设环境阈值;
响应于拍摄操作,将所述相机调整至第四曝光参数;
从所述拍摄操作之前所述相机以所述第三曝光参数曝光的重叠图像集中确定出多组第三图像对作为待融合图像对,以及获取多组第四图像对作为待融合图像对;每组第三图像对包括第二图像帧和与第一图像帧相同亮度的第五图像帧,所述第一图像帧的亮度大于所述第二图像帧的亮度,所述第五图像帧的曝光时长小于或等于预设时长阈值,每组第四图像对包括第三图像帧和与所述第一图像帧相同亮度的第四图像帧,所述第二图像帧的亮度大于所述第三图像帧的亮度,所述第四图像帧是所述相机在所述拍摄操作之后以所述第四曝光参数曝光得到的,所述第四图像帧的曝光时长大于预设时长阈值。
14.根据权利要求13所述的方法,其特征在于,在所述拍摄操作之后,所述相机经过延迟时长之后以所述第四曝光参数进行曝光,并将所述延迟时长内曝光得到的多组第三图像对作为待融合图像对。
15.一种图像生成装置,其特征在于,包括:
获取模块,用于获取预览画面的场景动态范围、所述预览画面的运动状态和相机所处环境的环境照度中的至少一种;
确定模块,用于基于预览画面的场景动态范围、所述预览画面的运动状态和所述相机所处环境的环境照度中的至少一种,确定所述相机当前所处的目标拍摄场景;
所述确定模块还用于基于所述目标拍摄场景,确定出多组待融合图像对;
图像生成模块,用于将各组所述待融合图像对进行融合,得到目标图像。
16.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至14中任一项所述的图像生成方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至14中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210783763.2A CN117408896A (zh) | 2022-07-05 | 2022-07-05 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210783763.2A CN117408896A (zh) | 2022-07-05 | 2022-07-05 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117408896A true CN117408896A (zh) | 2024-01-16 |
Family
ID=89491250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210783763.2A Pending CN117408896A (zh) | 2022-07-05 | 2022-07-05 | 图像生成方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117408896A (zh) |
-
2022
- 2022-07-05 CN CN202210783763.2A patent/CN117408896A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110121882B (zh) | 一种图像处理方法及装置 | |
CN108989700B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN109218628B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US9451173B2 (en) | Electronic device and control method of the same | |
JP6742732B2 (ja) | 輝度分布と動きとの間のトレードオフに基づいてシーンのhdr画像を生成する方法 | |
CN106060249B (zh) | 一种拍照防抖方法及移动终端 | |
CN111684788A (zh) | 一种图像处理的方法和装置 | |
CN115037884A (zh) | 用于成像的统一包围曝光方法 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US20180109711A1 (en) | Method and device for overexposed photography | |
US10939049B2 (en) | Sensor auto-configuration | |
CN112822412B (zh) | 曝光方法、装置、电子设备和存储介质 | |
CN107147851B (zh) | 照片处理方法、装置、计算机可读存储介质及电子设备 | |
CN111405185B (zh) | 一种摄像机变倍控制方法、装置、电子设备及存储介质 | |
CN113439286A (zh) | 处理合成图像中的图像数据 | |
CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
Choi et al. | A method for fast multi-exposure image fusion | |
CN109523456B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN113438411A (zh) | 图像拍摄方法、装置、计算机设备和计算机可读存储介质 | |
CN117408896A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
US20160323490A1 (en) | Extensible, automatically-selected computational photography scenarios | |
CN111630839B (zh) | 一种图像处理方法及装置 | |
CN112651899A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN117412185A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
CN114615439B (zh) | 一种曝光统计方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |