CN111988523A - 超级夜景图像生成方法及装置、终端和可读存储介质 - Google Patents

超级夜景图像生成方法及装置、终端和可读存储介质 Download PDF

Info

Publication number
CN111988523A
CN111988523A CN202010819980.3A CN202010819980A CN111988523A CN 111988523 A CN111988523 A CN 111988523A CN 202010819980 A CN202010819980 A CN 202010819980A CN 111988523 A CN111988523 A CN 111988523A
Authority
CN
China
Prior art keywords
image
images
frames
threshold
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010819980.3A
Other languages
English (en)
Other versions
CN111988523B (zh
Inventor
邱情
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN202010819980.3A priority Critical patent/CN111988523B/zh
Publication of CN111988523A publication Critical patent/CN111988523A/zh
Application granted granted Critical
Publication of CN111988523B publication Critical patent/CN111988523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种超级夜景图像生成方法及生成装置、终端和可读存储介质。超级夜景图像生成方法包括:获取终端的抖动参数;在抖动参数小于第一抖动阈值时,采用低于预设感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧第一缓存图像进行第一图像处理以获得目标图像;在抖动参数大于第一抖动阈值时,采用高于预设感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧第二缓存图像进行第二图像处理以获得目标图像。本申请在终端抖动较大时通过采用低曝光时长来避免手抖带来的降低图像清晰度的问题,并采用高感光度来保证增加进光量,及采用第二图像处理以提高图像的清晰度。

Description

超级夜景图像生成方法及装置、终端和可读存储介质
技术领域
本申请涉及成像技术领域,特别涉及一种超级夜景图像生成方法、超级夜景图像生成装置、终端和计算机可读存储介质。
背景技术
在夜景场景中拍摄,环境亮度较低,若拍摄时选择长曝光来提升进光量,但由于拍摄时间长,就容易因为手抖导致获取的图像模糊,从而降低获得图像的清晰度。而若选择防手抖的短曝光设计,就会因为曝光时间偏短,引起进光量较少,从而导致获得的图像会出现画面偏黑、噪点偏多等现象,因此用户很难在夜景场景中获得较高品质的图像。
发明内容
本申请实施方式提供了一种超级夜景图像生成方法、超级夜景图像生成装置、终端和计算机可读存储介质。
本申请实施方式提供一种超级夜景图像生成方法。所述超级夜景图像生成方法包括:获取终端的抖动参数;在所述抖动参数小于第一抖动阈值时,采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧所述第一缓存图像进行第一图像处理以获得目标图像;在所述抖动参数大于第一抖动阈值时,采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
本申请实施方式提供一种超级夜景图像生成装置。所述超级夜景图像生成装置包括抖动检测器、图像传感器及处理器。所述抖动检测器用于获取终端的抖动参数。在所述抖动参数小于第一抖动阈值时,所述图像传感器用于采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,所述处理器用于对多帧所述第一缓存图像进行第一图像处理以获得目标图像。在所述抖动参数大于第一抖动阈值时,所述图像传感器用于采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,所述处理器用于对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
本申请实施方式提供一种电子设备。所述电子设备包括壳体超级夜景图像的生成装置。所述超级夜景图像的生成装置与所述壳体结合。所述超级夜景图像生成装置包括抖动检测器、图像传感器及处理器。所述抖动检测器用于获取终端的抖动参数。在所述抖动参数小于第一抖动阈值时,所述图像传感器用于采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,所述处理器用于对多帧所述第一缓存图像进行第一图像处理以获得目标图像。在所述抖动参数大于第一抖动阈值时,所述图像传感器用于采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,所述处理器用于对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时,使得所述处理器执行超级夜景图像生成方法。所述超级夜景图像生成方法包括:获取终端的抖动参数;在所述抖动参数小于第一抖动阈值时,采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧所述第一缓存图像进行第一图像处理以获得目标图像;在所述抖动参数大于第一抖动阈值时,采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
本申请实施方式的超级夜景图像生成方法、超级夜景图像生成装置、终端及计算机可读存储介质根据终端的抖动参数,选择对应的拍摄参数获取缓存图像及选择对应的图像处理方法对缓存图像进行处理以获取目标图像,以能够在终端抖动较大时,通过采用低于预设曝光时长阈值的曝光时长来避免手抖带来的降低图像清晰度的问题,并采用高于预设感光阈值的感光度来保证增加进光量,及采用第二图像处理对缓存图像进行处理,以避免图像画面偏黑、噪点偏多等现象,提高图像的清晰度,有利于提高用户拍照成片率,获得品质更好的图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的一种超级夜景图像生成方法的流程示意图;
图2是本申请实施方式的一种超级夜景图像生成装置的结构示意图;
图3是本申请实施方式的又一种超级夜景图像生成方法的流程示意图;
图4是本申请实施方式的一种高动态融合过程的示意图;
图5是本申请实施方式的又一种高动态融合过程的示意图;
图6是本申请实施方式的一种降噪处理过程的示意图;
图7是本申请实施方式的一种高动态范围图像与降噪图像融合过程的示意图;
图8是本申请实施方式的又一种超级夜景图像生成方法的流程示意图;
图9是本申请实施方式的一种终端的场景示意图;
图10本申请实施方式的一种终端的结构示意图;
图11是是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1,本申请提供一种超级夜景图像生成方法,包括:
01:获取终端1000(图10所示)的抖动参数;
02:在抖动参数小于第一抖动阈值时,采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧第一缓存图像进行第一图像处理以获得目标图像;
03:在抖动参数大于第一抖动阈值时,采用高于预设感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧第二缓存图像进行第二图像处理以获得目标图像。
请结合图1及图2,本申请还提供一种超级夜景图像生成装置100,超级夜景图像生成装置100包括抖动检测器10、图像传感器20及处理器30。步骤01可以由抖动检测器10执行,步骤02及步骤03可以由图像传感器20及处理器30执行。也即是说,抖动检测器10用于获取终端1000(图10所示)的抖动参数。在抖动参数小于第一抖动阈值时,图像传感器20用于采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像;处理器30用于对多第一缓存图像进行第一图像处理以获得目标图像。在抖动参数大于第一抖动阈值时,图像传感器20用于采用高于预设感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像;处理器30用于对多帧第二缓存图像进行第二图像处理以获得目标图像。
本申请实施方式的超级夜景图像生成方法及超级夜景图像生成装置100根据终端1000的抖动参数,选择对应的拍摄参数获取缓存图像及选择对应的图像处理方法对缓存图像进行处理以获取目标图像,以能够在终端1000抖动较大时,通过采用低于预设曝光时长阈值的曝光时长来避免手抖带来的降低图像清晰度的问题,并采用高于预设感光阈值的感光度来保证增加进光量,及采用第二图像处理对缓存图像进行处理,以避免图像画面偏黑、噪点偏多等现象,提高图像的清晰度,有利于提高用户拍照成片率,获得品质更好的图像。
在一些实施例中,抖动检测器10可包括重力加速度计、陀螺仪、加速度计等。用户发出拍照请求时,抖动检测器10获取当前终端1000(图10所示)的抖动参数,处理器30可以根据获取到的抖动参数及预设的抖动阈值,以获得当前终端1000的抖动程度。示例地,预设第一抖动阈值A及第二抖动阈值B,且A<B,若当前获取的抖动参数小于第一抖动阈值A时,则认为当前终端1000没有抖动,即认为当前终端1000保持静止;若当前获取的抖动参数大于第一抖动阈值A且小于第二抖动阈值B时,则认为当前终端1000抖动且抖动程度为“小抖动”;若获取抖动参数大于或等于第二抖动阈值B时,则认为当前终端1000抖动且抖动程度为“大抖动”;若当前获取的抖动参数等于第一抖动阈值A时,可以认为当前终端1000保持静止没有发生抖动,也可以认为当前终端1000抖动且抖动程度为“小抖动”,在此不作限制。
需要说明的是,在一些实施例中,预设的第一抖动阈值A及预设的第二抖动阈值B可以是超级夜景图像生成装置100出厂时由厂商设置的默认的抖动阈值;在另一些实施例中,预设的第一抖动阈值A及预设的第二抖动阈值B也可以由用户自主设定。
当用户发出拍照请求时,获取到的终端1000的抖动参数小于预设的第一抖动阈值A时,即当前终端1000保持静止没有发生抖动,此时图像传感器20采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像。示例地,假设预设的感光阈值为800iso、预设的曝光时长阈值为1/30秒;则当获取到的终端1000的抖动参数小于预设的第一抖动阈值A时,图像传感器20以感光度为400iso及曝光时长为1/20秒获取多帧第一缓存图像;或者图像传感器20以感光度为200iso及曝光时长为1/25秒获取多帧第一缓存图像。也即是说,图像传感器20获取每一帧第一缓存图像时的感光度均小于预设的感光阈值(800iso),并且曝光时长均大于预设的曝光时长阈值为1/30秒。在一些实施例中,第一缓存图像均是图像传感器20采用相同的感光度获得的,如此有利于对多帧第一缓存图像进行进一步处理。
在一些实施例中,预设的感光阈值及预设的曝光时长阈值可以是超级夜景图像生成装置100出厂时由厂商设置的默认的预设的感光阈值及预设的曝光时长阈值。具体地,厂商可以根据大量实验数据获得在终端1000(或超级夜景图像生成装置100)保持静止时,获取超级夜景图像生成装置100获得清晰图像对应的感光度及曝光时长,并将获得的感光度作为预设的感光阈值;将获得的曝光时长作为预设的曝光时长阈值。当然,在一些实施例中,预设的感光阈值及预设的曝光时长阈值也可以是由用户根据需求自主设定,如此最终获得的图像更符合用户的期望,从而提高用户的体验感。
需要说明的是,在图像传感器20获取缓存图像的过程中,提高感光度的参数或延长曝光时长均能够增加图像传感器20的进光量,从而提高获取的缓存图像的亮度。但若图像传感器20采用高感光度获取缓存图像,会导致获取的图像引起大面积的噪点,从而影响最终获取图像的图像质量;若图像传感器20采用长曝光时长获取缓存图像,终端1000在较长的曝光时间内容易产生抖动,会导致获取的图像模糊或产生拖影。而在抖动参数小于第一抖动阈值A时,即当前终端1000保持静止没有发生抖动,无需担心由于终端1000抖动导致最终获取图像的模糊或拖影等问题,此时为了提升最终获取图像的图像质量,图像传感器20采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取缓存图像,即降低感光度及增加曝光时长,如此能够在不降低图像传感器20的进光量的同时降低获得图像的噪点,从而提高最终获取图像的清晰度。
图像传感器20在获取到连续多帧第一缓存图像后,处理器30对多帧第一缓存图像进行第一图像处理以获得目标图像。在一些实施例中,请参阅图1及图3,对多帧第一缓存图像进行第一图像处理以获得目标图像,包括:
021:对至少两帧曝光时长不同的第一缓存图像进行高动态融合处理以获得第一高动态范围图像;
022:在未进行高动态融合处理的第一缓存图像中选取大于预定标定数量的多帧第一缓存图像;
023:对选取的多帧第一缓存图像进行降噪处理以得到第一降噪图像;及
024:融合第一高动态范围图像及第一降噪图像以获取目标图像。
请结合图2及图3,步骤021、步骤022、步骤023及步骤024均可以由处理器30执行。也即是说,处理器30还用于对至少两帧曝光时长不同的第一缓存图像进行高动态融合处理以获得第一高动态范围图像;在未进行高动态融合处理的第一缓存图像中选取大于预定标定数量的多帧第一缓存图像;对选取的多帧第一缓存图像进行降噪处理以得到第一降噪图像;及融合第一高动态范围图像及第一降噪图像以获取目标图像。
具体地,图像传感器20获取的多帧第一缓存图像中,至少有两帧第一缓存图像是由图像传感器20采用不同的曝光时长获得的。也即是说,图像传感器20采用至少两种不同的曝光时长获取第一缓存图像。例如,图像传感器20采用两种不同的曝光时长获取第一缓存图像;或者图像传感器20采用三种不同的曝光时长获取第一缓存图像;或者图像传感器20采用五种不同的曝光时长获取第一缓存图像等,在此不作限制。但无论图像传感器20采用多少种不同的曝光时长获取第一缓存图像,多种曝光时长均需要高于预设曝光时长阈值。
在一些实施例中,处理器30在多帧第一缓存图像中选取两帧曝光时长不同的第一缓存图像进行高动态融合处理以获得第一高动态范围图像。具体地,请参阅图4,假设处理器30选取两帧第一缓存图像为第一图像及第二图像,其中第一图像是由图像传感器30以第一曝光时长L曝光获得的,第二图像是由图像传感器30以第二曝光时长S曝光获得的,第一曝光时长L大于第二曝光时长S,且第一曝光时长L及第二曝光时长S均大于预设曝光时长阈值。处理器30对第一图像及第二图像进行高动态融合处理的过程可以包括亮度对齐处理。在获取到亮度对齐的第一图像及第二图像后,处理器30可以对亮度对齐后的第一图像及第二图像进行融合以得到第一高动态范围图像。具体地,处理器30首先对亮度对齐后的第一图像进行运动检测,以识别亮度对齐后的第一图像中是否存在运动模糊区域。若亮度对齐后的第一图像中不存在运动模糊区域,则直接融合亮度对齐后的第一图像及第二图像以得到第一高动态范围图像。若亮度对齐后的第一图像中存在运动模糊区域,则将第一图像中的运动模糊区域剔除,只融合第二图像的所有区域以及亮度对齐后的第一图像中除运动模糊区域以外的区域以得到第一高动态范围图像。
通过处理器30对选取的第一缓存图像进行高动态融合处理,可以提升获得的图像的动态范围,提升最终图像的成像效果。
当然,处理器30也可以采用其他的方法将亮度对齐后的第一图像及第二图像进行融合以得到第一高动态范围图像。例如,处理器30还可以对亮度对齐后的第一图像及第二图像进行运动模糊检测,并对检测到的第一图像及第二图像上存在的运动模糊区域进行运动模糊的消除,以获得消除运动模糊后的第一图像及消除运动模糊的第二图像。处理器30在获取到消除运动模糊后的第一图像及消除运动模糊后的第二图像后,再对消除运动模糊后的第一图像及消除运动模糊后的第二图像进行融合,以获得具有高动态范围的第一高动态范围图像,在此不作限制。
在一些实施例中,请参阅图5,处理器30在多帧第一缓存图像中选取三帧曝光时长不同的第一缓存图像进行高动态融合处理以获得第一高动态范围图像。具体地,假设处理器30选取三帧第一缓存图像为第一图像、第二图像及第三图像,其中第一图像是由图像传感器30以第一曝光时长L曝光获得的,第二图像是由图像传感器30以第二曝光时长S曝光获得的,第三图像是由图像传感器30以第三曝光时长M曝光获得,第一曝光时长L>第三曝光时长M>第二曝光时长S,且第一曝光时长L、第三曝光时长M及第二曝光时长S均大于预设曝光时长阈值。处理器30对第一图像、第二图像及第三图像进行高动态融合处理以获得第一高动态范围图像,具体的高动态融合过程与上述实施例中对第一图像及第二图像进行高动态融合以获得第一高动态范围图像的过程相同,在此不作赘述。
处理器30在未进行高动态融合处理的第一缓存图像中选取大于预定标定数量的多帧第一缓存图像。示例地,假设预设标定数量为5,处理器30获取了共12帧第一缓存图像并且选取了2帧曝光时长不同的第一缓存图像进行高动态融合处理,则处理器30在未进行高动态融合处理的10帧第一缓存图像中选取大于5帧的图像。例如,处理器30可以在剩余的10帧未进行高动态图像处理的第一缓存图像中选取6帧图像;或者处理器30还可以在剩余的10帧未进行高动态图像处理的第一缓存图像中选取7帧图像;或者处理器30还可以选取所有剩余的未进行高动态图像处理的10帧第一缓存图像,在此不作限制,仅需要选取的第一缓存图像数量大于预设标定数量即可。
处理器30对选取的多帧第一缓存图像(未进行高动态融合处理的第一缓存图像)进行降噪处理以得到第一降噪图像。具体地,处理器30获取选取的多帧第一缓存图像上所有像素的像素值,并求多帧第一缓存图像上对应的像素的均值,以获得第一降噪图像上对应位置上像素的像素值。示例地,请参阅图6,假设处理器20选取了3帧第一缓存图像,这3帧第一缓存图像分别是第一选取图像、第二选取图像及第三选取图像。处理器30对第一选取图像、第二选取图像及第三选取图像进行降噪处理以得到第一降噪图像,其中位于第一降噪图像第0行第0列的像素P0-00的像素值等于位于第一选取图像第0行第0列的像素P1-00的像素值、位于第二选取图像第0行第0列的像素P2-00的像素值及位于第三选取图像第0行第0列的像素P3-00的像素值的均值。
需要说明的是,预设标定数量可以是超级夜景图像生成装置100出厂时由厂商设置的默认的标定数量。具体地,厂商可以根据大量实验数据获得在图像传感器20以预设的感光阈值及预设的曝光时长阈值下获取多帧第一缓存图像,多次选取任意数量的第一缓存图像进行降噪处理以获得多帧第一降噪图像,将多帧第一降噪图像中清晰度最高的第一降噪图像对应的选取第一缓存图像的数量作为标定数量。在抖动参数小于第一抖动阈值A时,即当前终端1000保持静止没有发生抖动时,虽然每帧第一缓存图像均会出现不同程度的噪声且噪点在图像上的分布位置毫无规律,但由于当前终端1000保持静止没有发生抖动,每帧第一缓存图像的画面基本保持一致。也即是说,每帧第一缓存图像上没有受到外界噪声干扰的像素的像素值是相同的,本申请增加用于降噪处理的第一缓存图像的数量,并根据多帧第一缓存图像上对应的像素的均值,以获得第一降噪图像上对应位置上像素的像素值,能够减少第一降噪图像的噪点,从而提高利用第一降噪图像进行后续处理所获得的图像的清晰度。
请参阅图7,处理器30在获得第一高动态范围图像及第一降噪图像后,处理器30对第一高动态范围图像及第一降噪图像进行融合,以获取目标图像。如此能够提升获得的目标图像的动态范围,还能够降低获得的目标图像的噪点以此提高清晰度,从而提升目标图像的成像效果。
在一些实施例中,用于降噪处理的多帧第一缓存图像的曝光时长相同。具体地,处理器30在未进行高动态融合处理的第一缓存图像中选取大于预定标定数量的多帧第一缓存图像,并且选取的多帧第一缓存图像均是由图像传感器20以相同曝光时长获得的。如此,有利于对选取的多帧第一缓存图像进行降噪处理。
在一些实施例中,用于降噪处理的多帧第一缓存图像的曝光时长相同,并且用于高动态融合处理的多帧第一缓存图像中至少一帧的曝光时长与用于降噪处理的多帧第一缓存图像的曝光时长相同。示例地,假设处理器30选取三帧第一缓存图像为第一图像、第二图像及第三图像,其中第一图像是由图像传感器30以第一曝光时长L曝光获得的,第二图像是由图像传感器30以第二曝光时长S曝光获得的,第三图像是由图像传感器30以第三曝光时长M曝光获得,第一曝光时长L>第三曝光时长M>第二曝光时长S,且第一曝光时长L、第三曝光时长M及第二曝光时长S均大于预设曝光时长阈值。处理器30在剩余未进行高动态融合的图像中选取大于预定标定数量的多帧第一缓存图像进行降噪处理,且选取的多帧第一缓存图像均是由图像传感器20以第三曝光时长M曝光获得。如此,有利于第一高动态范围图像及第一降噪图像融合。
当用户发出拍照请求时,获取到的终端1000的抖动参数大于预设的第一抖动阈值A时,即当前终端1000发生抖动,此时图像传感器20采用高于预设的感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像。示例地,假设预设的感光阈值为800iso、预设的曝光时长阈值为1/30秒;则当取到的终端1000的抖动参数大于预设的第一抖动阈值A时,图像传感器20以感光度为1600iso及曝光时长为1/40秒获取多帧第二缓存图像;或者图像传感器20以感光度为3200iso及曝光时长为1/45秒获取多帧第二缓存图像。也即是说,图像传感器20获取每一帧第二缓存图像时的感光度均高于预设的感光阈值(800iso),并且曝光时长均低于预设的曝光时长阈值为1/30秒。在一些实施例中,第二缓存图像均是图像传感器20采用相同的感光度获得的,如此有利于对多帧第二缓存图像进行进一步处理。
由于抖动参数大于第一抖动阈值A时,即当前终端1000发生抖动,若此时图像传感器20仍然采用较长的曝光时长获取第二缓存图像,会导致获取的图像模糊或产生拖影。因此,本申请在抖动参数大于第一抖动阈值A时,即当前终端1000发生抖动时,图像传感器20采用高于预设的感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取缓存图像,即增加感光度及降低曝光时长,如此能够在不降低图像传感器20的进光量的同时避免获得的图像产生模糊或拖影,从而提高最终获取图像的清晰度。
图像传感器20在获取到连续多帧第二缓存图像后,处理器30对多帧第二缓存图像进行第二图像处理以获得目标图像。在一些实施例中,请参阅图1及图8,对多帧第二缓存图像进行第二图像处理以获得目标图像,包括:
031:对至少两帧曝光时长不同的第二缓存图像进行高动态融合处理以获得第二高动态范围图像;
032:在未进行高动态融合处理的第二缓存图像中选取小于预定标定数量的多帧第二缓存图像;
033:对选取的多帧第二缓存图像进行降噪处理以得到第二降噪图像;及
034:融合第二高动态范围图像及第二降噪图像以获取目标图像。
请结合图2及图8,步骤031、步骤032、步骤033及步骤034均可以由处理器30执行。也即是说,处理器30还用于对至少两帧曝光时长不同的第二缓存图像进行高动态融合处理以获得第二高动态范围图像;在未进行高动态融合处理的第二缓存图像中选取小于预定标定数量的多帧第二缓存图像;对选取的多帧第二缓存图像进行降噪处理以得到第二降噪图像;及融合第二高动态范围图像及第二降噪图像以获取目标图像。
对至少两帧曝光时长不同的第二缓存图像进行高动态融合处理以获得第二高动态范围图像的具体实施方式,与上述实施例中对至少两帧曝光时长不同的第一缓存图像进行高动态融合处理以获得第一高动态范围图像的具体实施方式相同,在此不作赘述。
处理器30在未进行高动态融合处理的第二缓存图像中选取小于预定标定数量的多帧第二缓存图像。示例地,假设预设标定数量为5,处理器30获取了共12帧第二缓存图像并且选取了2帧曝光时长不同的第二缓存图像进行高动态融合处理,则处理器30在未进行高动态融合处理的10帧第二缓存图像中选取小于5帧的图像。例如,处理器30可以在剩余的10帧未进行高动态图像处理的第二缓存图像中选取4帧图像;或者处理器30还可以在剩余的10帧未进行高动态图像处理的第二缓存图像中选取3帧图像;或者处理器30还可以选取所有剩余的未进行高动态图像处理的2帧第二缓存图像,在此不作限制,仅需要选取的第二缓存图像数量小于预设标定数量即可。
处理器30对选取的多帧第二缓存图像进行降噪处理以得到第二降噪图像的具体实施方式,与上述实施例中处理器30对选取的多帧第一缓存图像进行降噪处理以得到第一降噪图像的具体实施方式相同,在此不作赘述。
在抖动参数大于第一抖动阈值A时,即当前终端1000发生抖动时,获取的多帧第二缓存图像可能会由于运动出现画面不一致的现象。也即是说,每帧第二缓存图像上即使没有受到外界噪声干扰的像素的像素值也是可能存在差异的。若此时仍然选取数量较多的第二缓存图像进行降噪处理以获得第二降噪图像,反而会降低第二降噪图像的清晰度。而本申请在抖动参数大于第一抖动阈值A时,降低用于降噪处理的第二缓存图像的数量,有利于提高第二降噪图像的清晰度,从而提高利用第二降噪图像进行后续处理所获得的图像的清晰度。
处理器30在获得第二高动态范围图像及第二降噪图像后,处理器30对第二高动态范围图像及第二降噪图像进行融合,以获取目标图像。如此能够提升获得的目标图像的动态范围,还能够降低获得的目标图像的噪点以此提高清晰度,从而提升目标图像的成像效果。
同样地,在一些实施例中,用于降噪处理的多帧第二缓存图像的曝光时长相同。在一些实施例中,用于降噪处理的多帧第二缓存图像的曝光时长相同,并且用于高动态融合处理的多帧第二缓存图像中至少一帧的曝光时长与用于降噪处理的多帧第二缓存图像的曝光时长相同。
在一些实施例中,若抖动参数大于第一抖动阈值A时,即当前终端1000发生抖动,处理器30可以根据终端1000的抖动参数来选择获取第二缓存图像的感光度、曝光时长及用于进行降噪处理的第二缓存图像的数量。具体地,抖动参数越大,获取连续多帧第二缓存图像所采用的感光度越高,曝光时长越短,用于降噪处理的第二缓存图像的数量越少。例如,假设预设的感光阈值为800iso、预设的曝光时长阈值为1/30秒及预设标定数量为5,并且第二抖动参数>第一抖动参数>第一抖动参数阈值A;若终端1000的抖动参数为第一抖动参数时,图像传感器20以感光度为1600iso及曝光时长为1/45秒获取多帧第二缓存图像,并且处理器30在未进行高动态融合处理的第二缓存图像中选取4帧第二缓存图像进行降噪处理;若终端1000的抖动参数为第二抖动参数时,图像传感器20以感光度为3200iso及曝光时长为1/50秒获取多帧第二缓存图像,并且处理器30在未进行高动态融合处理的第二缓存图像中选取3帧第二缓存图像进行降噪处理。
由于抖动参数越大说明终端1000抖动的越厉害,即终端1000保持相对静止的时间越短。因此,需要缩短图像传感器30的曝光时长,才能够避免获取到的第二缓存图像出现模糊或拖影。然而为了弥补由于曝光时长变短导致进光量的减少,因此曝光时长越短,此时需要的感光度越高,并且为了避免图像不清晰,抖动的越厉害进行降噪处理定位第二缓存图像的数量就越少。本申请根据获取到的抖动参数,以获取终端1000的抖动程度,并根据终端1000的抖动程度,选择相对应的感光度、曝光时长及用于降噪处理的图像数量,以此辅助用户拍摄,使用户在多种情况下均能够获得清晰度高、图像质量好的目标图像。
在一些实施例中,当用户发出拍照请求时,获取到的终端1000的抖动参数大于第二抖动阈值B,即当前终端1000抖动且抖动程度为“大抖动”,处理器30控制图像传感器20不获取图像,并向用户发出提示信息。具体地,以终端1000是手机为例,如图9所示,当用户发出拍照请求时,获取到的终端1000的抖动参数大于第二抖动阈值B,即当前终端1000抖动且抖动程度为“大抖动”,此时会在手机上弹出提示框,提示用户“当前设备抖动幅度较大,请稳定后再进行拍摄”。由于终端1000的抖动参数大于第二抖动阈值B,即当前终端1000抖动且抖动程度为“大抖动”,此时即使降低获取缓存图像时的曝光时长,也不能避免最终获得的图像出现模糊或拖影的现象。因此,本申请在检测到终端1000的抖动参数大于第二抖动阈值B,即当前终端1000抖动且抖动程度为“大抖动”时,超级夜景图像生成装置100不获取图像,并提示用户在稳定后再进行拍摄,能够提高获得图像的清晰度,从而提高用户拍照的成片率。
请参阅图10,本申请还提供一种终端1000。本申请实施方式的终端1000包括壳体200及上述任意一项实施方式的超级夜景图像生成装置100。超级夜景图像生成装置100与壳体200结合。终端1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等,在此不作限制。
本申请实施方式的终端1000中的超级夜景图像生成装置100根据终端1000的抖动参数,选择对应的拍摄参数获取缓存图像及选择对应的图像处理方法对缓存图像进行处理以获取目标图像,以能够在终端1000抖动较大时,通过采用低于预设曝光时长阈值的曝光时长来避免手抖带来的降低图像清晰度的问题,并采用高于预设感光阈值的感光度来保证增加进光量,及采用第二图像处理对缓存图像进行处理,以避免图像画面偏黑、噪点偏多等现象,提高图像的清晰度,有利于提高用户拍照成片率,获得品质更好的图像。
请参阅11,本申请还提供一种包含计算机程序的非易失性计算机可读存储介质300,其上存储有计算机程序310。该计算机程序被处理器60执行时,使得处理器60执行上述任意一个实施方式的超级夜景图像生成方法。
例如,请参阅图1、图10及图11,计算机程序被处理器60执行时,使得处理器60执行以下步骤:
01:获取终端1000的抖动参数;
02:在抖动参数小于第一抖动阈值时,采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧第一缓存图像进行第一图像处理以获得目标图像;
03:在抖动参数大于第一抖动阈值时,采用高于预设感光阈值的感光度及低于预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧第二缓存图像进行第二图像处理以获得目标图像。
计算机可读存储介质300可设置在超级夜景图像生成装置100或者终端1000内,也可设置在云端服务器内,此时,超级夜景图像生成装置100或者终端1000能够与云端服务器进行通讯来获取到相应的计算机程序310。
可以理解,计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、以及软件分发介质等。
处理器60可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器60、数字信号处理器230(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。需要说明的是,处理器60可以与设置在超级夜景图像生成装置100中的处理器30为同一处理器,处理器60也可以设置在终端1000中,与设置在超级夜景图像生成装置100中的处理器30不是同一处理器,在此不作限制。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种超级夜景图像生成方法,其特征在于,包括:
获取终端的抖动参数;
在所述抖动参数小于第一抖动阈值时,采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,并对多帧所述第一缓存图像进行第一图像处理以获得目标图像;
在所述抖动参数大于第一抖动阈值时,采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,并对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
2.根据权利要求1所述的超级夜景图像生成方法,其特征在于,所述对多帧所述第一缓存图像进行第一图像处理以获得目标图像,包括:
对至少两帧曝光时长不同的所述第一缓存图像进行高动态融合处理以获得第一高动态范围图像;
在未进行高动态融合处理的所述第一缓存图像中选取大于预定标定数量的多帧所述第一缓存图像;
对选取的多帧所述第一缓存图像进行降噪处理以得到第一降噪图像;及
融合所述第一高动态范围图像及所述第一降噪图像以获取所述目标图像。
3.根据权利要求1所述的超级夜景图像生成方法,其特征在于,所述对多帧所述第二缓存图像进行第二图像处理以获得目标图像,包括:
对至少两帧曝光时长不同的所述第二缓存图像进行高动态融合处理以获得第二高动态范围图像;
在未进行高动态融合处理的所述第二缓存图像中选取小于预定标定数量的多帧所述第二缓存图像;
对选取的多帧所述第二缓存图像进行降噪处理以得到第二降噪图像;及
融合所述第二高动态范围图像及所述第二降噪图像以获取所述目标图像。
4.根据权利要求2或3所述的超级夜景图像生成方法,其特征在于,用于降噪处理的多帧缓存图像的曝光时长相同。
5.根据权利要求4所述的超级夜景图像生成方法,其特征在于,用于高动态融合处理的多帧缓存图像中至少一帧的曝光时长与用于降噪处理的多帧缓存图像的曝光时长相同。
6.根据权利要求3所述的超级夜景图像生成方法,其特征在于,所述抖动参数越大,获取连续多帧第二缓存图像所采用的感光度越高,曝光时长越短,用于降噪处理的第二缓存图像的数量越少。
7.一种超级夜景图像生成装置,其特征在于,包括抖动检测器、图像传感器及处理器;所述抖动检测器用于获取终端的抖动参数;在所述抖动参数小于第一抖动阈值时,所述图像传感器用于采用低于预设的感光阈值的感光度及高于预设曝光时长阈值的曝光时长获取连续多帧第一缓存图像,所述处理器用于对多帧所述第一缓存图像进行第一图像处理以获得目标图像;在所述抖动参数大于第一抖动阈值时,所述图像传感器用于采用高于所述预设感光阈值的感光度及低于所述预设曝光时长阈值的曝光时长获取连续多帧第二缓存图像,所述处理器用于对多帧所述第二缓存图像进行第二图像处理以获得目标图像。
8.根据权利要求7所述的超级夜景图像生成装置,其特征在于,所述处理器还用于:
对至少两帧曝光时长不同的所述第一缓存图像进行高动态融合处理以获得第一高动态范围图像;
在未进行高动态融合处理的所述第一缓存图像中选取大于预定标定数量的多帧所述第一缓存图像;
对选取的多帧所述第一缓存图像进行降噪处理以得到第一降噪图像;及
融合所述第一高动态范围图像及所述第一降噪图像以获取所述目标图像。
9.根据权利要求7所述的超级夜景图像生成装置,其特征在于,所述处理器还用于:
对至少两帧曝光时长不同的所述第二缓存图像进行高动态融合处理以获得第二高动态范围图像;
在未进行高动态融合处理的所述第二缓存图像中选取小于预定标定数量的多帧所述第二缓存图像;
对选取的多帧所述第二缓存图像进行降噪处理以得到第二降噪图像;及
融合所述第二高动态范围图像及所述第二降噪图像以获取所述目标图像。
10.根据权利要求8或9所述的超级夜景图像生成装置,其特征在于,用于降噪处理的多帧缓存图像的曝光时长相同。
11.根据权利要求10所述的超级夜景图像生成装置,其特征在于,用于高动态融合处理的多帧缓存图像中至少一帧的曝光时长与用于降噪处理的多帧缓存图像的曝光时长相同。
12.根据权利要求9所述的超级夜景图像生成装置,其特征在于,所述抖动参数越大,获取连续多帧第二缓存图像所采用的感光度越高,曝光时长越短,用于降噪处理的第二缓存图像的数量越少。
13.一种终端,其特征在于,包括:
壳体;及
权利要求7-12任意一项所述的超级夜景图像生成装置,所述超级夜景图像生成装置与所述壳体结合。
14.一种包含计算机程序的非易失性计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至6任意一项所述的超级夜景图像生成方法。
CN202010819980.3A 2020-08-14 2020-08-14 超级夜景图像生成方法及装置、终端和可读存储介质 Active CN111988523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819980.3A CN111988523B (zh) 2020-08-14 2020-08-14 超级夜景图像生成方法及装置、终端和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819980.3A CN111988523B (zh) 2020-08-14 2020-08-14 超级夜景图像生成方法及装置、终端和可读存储介质

Publications (2)

Publication Number Publication Date
CN111988523A true CN111988523A (zh) 2020-11-24
CN111988523B CN111988523B (zh) 2022-05-13

Family

ID=73435010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819980.3A Active CN111988523B (zh) 2020-08-14 2020-08-14 超级夜景图像生成方法及装置、终端和可读存储介质

Country Status (1)

Country Link
CN (1) CN111988523B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005366A (zh) * 2018-08-22 2018-12-14 Oppo广东移动通信有限公司 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN109040609A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备
CN110062159A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
US20200228696A1 (en) * 2017-10-30 2020-07-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200228696A1 (en) * 2017-10-30 2020-07-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium
CN109005366A (zh) * 2018-08-22 2018-12-14 Oppo广东移动通信有限公司 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN109040609A (zh) * 2018-08-22 2018-12-18 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备
CN110062159A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN111988523B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
EP3624439B1 (en) Imaging processing method for camera module in night scene, electronic device and storage medium
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
CN108933897B (zh) 基于图像序列的运动检测方法及装置
CN109089046B (zh) 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
JP2009099119A (ja) 累積および平均化を用いる適応バッファ値のためのバッファ管理
CN107613190B (zh) 一种拍照方法及终端
US9832382B2 (en) Imaging apparatus and imaging method for outputting image based on motion
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
US11887286B2 (en) Image processing device and image processing method to generate image for object recognition
JP2024524035A (ja) シーン完全性の向上のための時間フィルタリングリスタート
US8488033B2 (en) Photographing apparatus and photographing method
CN111988523B (zh) 超级夜景图像生成方法及装置、终端和可读存储介质
US8928787B2 (en) Photographing apparatus and photographing method
WO2017104102A1 (ja) 撮像装置
JP2006245918A (ja) 撮影装置および撮影装置における減光フィルタの制御方法
JP2018181070A (ja) 画像処理装置および画像処理方法
CN113766124A (zh) 一种拍照处理方法、装置、设备及存储介质
CN114514738A (zh) 延时摄影方法及设备、延时摄影视频生成方法及设备
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
US10567645B2 (en) Method and apparatus for capturing video data
JP7118818B2 (ja) 画像処理方法、画像処理装置、撮像装置、およびプログラム
JP2015204489A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant