CN110248107A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN110248107A
CN110248107A CN201910509690.6A CN201910509690A CN110248107A CN 110248107 A CN110248107 A CN 110248107A CN 201910509690 A CN201910509690 A CN 201910509690A CN 110248107 A CN110248107 A CN 110248107A
Authority
CN
China
Prior art keywords
image
original image
noise
target area
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910509690.6A
Other languages
English (en)
Inventor
邵安宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910509690.6A priority Critical patent/CN110248107A/zh
Publication of CN110248107A publication Critical patent/CN110248107A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种图像处理方法和装置，其中，方法包括：拍摄目标物体的多帧原始图像；检测多帧原始图像中每帧原始图像中目标物体对应的目标区域；对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，仅仅针对目标区域进行降噪处理，大大提高了降噪的效率。

Description

图像处理方法和装置
技术领域
本申请涉及成像技术领域，尤其涉及一种图像处理方法和装置。
背景技术
随着科技的发展，依托于科技的摄像头技术已经越来越成熟，在日常生产和生活中，使用智能移动终端(如智能手机、平板电脑等)的内置摄像头进行拍照已经成为一种常态。因此，随着拍照的需求的常态化发展，如何提高图像的质量成为主要需求。
相关技术中，基于对整张图像的降噪算法实现对图像质量的提高，比如，基于整张图像进行降噪处理计算量较大，尤其是在多帧图像用于高动态合成时，对多帧图像进行均进行整张降噪的数据处理量更大，因此，亟需一种提高降噪的处理速度的方式。
发明内容
本申请提供一种图像处理方法和装置，以解决现有技术中，降噪速度较慢的技术问题。
本申请一方面实施例提供了一种图像处理方法，包括以下步骤：拍摄目标物体的多帧原始图像；检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域；对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；对所有的降噪图像进行高动态合成生成目标图像。
本申请另一方面实施例提供了一种图像处理装置，包括：拍摄模块，用于拍摄目标物体的多帧原始图像；检测模块，用于检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域；降噪模块，用于对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；合成模块，用于对所有的降噪图像进行高动态合成生成目标图像。
本申请又一方面实施例提供了一种电子设备，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如上述实施例描述的图像处理方法。
本申请还一方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的图像处理方法。
本申请提供的图像处理方法实施例，至少包括如下有益技术效果：
拍摄目标物体的多帧原始图像，检测多帧原始图像中每帧原始图像中目标物体对应的目标区域，对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，仅仅针对目标区域进行降噪处理，大大提高了降噪的效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种图像处理方法的流程示意图；
图2为本申请实施例所提供的一种图像处理方法的应用场景示意图；
图3为本申请实施例所提供的另一种图像处理方法的应用场景示意图；
图4为本申请实施例所提供的又一种图像处理方法的应用场景示意图；
图5为本申请实施例所提供的另一种图像处理方法的流程示意图；
图6是根据本申请一个实施例的图像处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
针对上述背景技术中提到的，降噪处理效率较低的问题，本申请提供了一种对图像的噪音水平进行识别，对噪音程度较大的图像进行降噪，由此，大大提高了降噪处理的效率。
为了便于理解本申请，在对本申请实施例的图像处理方法进行说明之前，首先对本申请涉及的技术用于的含义进行定义，定义如下：
曝光量：也可以理解为曝光值(Exposure Value，简称EV)，在曝光值最初的定义中，曝光值并不是指一个准确的数值，而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量，即这些不同组合的EV值是一样的，比如，在感光度相同的情况下，使用1/125秒曝光时长和F/11的光圈组合，与使用1/250秒曝光时间与F/8.0快门的组合，获得的曝光量是相同的，即EV值是相同的。EV值为0时，是指感光度为100、光圈系数为F/1、曝光时长为1秒时获得的曝光量；曝光量增加一档，即曝光时长增加一倍，或者感光度增加一倍，或者光圈增加一档，EV值增加1，也就是说，1EV对应的曝光量是0EV对应的曝光量的两倍。如表1所示，为曝光时长、光圈、感光度分别单独变化时，与EV值的对应关系。
表1
摄影技术进入到数码时代之后，相机内部的测光功能已经非常强大，EV则经常用来表示曝光刻度上的一个级差，许多相机都允许设置曝光补偿，并通常用EV来表示。在这种情况下，EV是指相机测光数据对应的曝光量与实际曝光量的差值，比如+1EV的曝光补偿是指相对于相机测光数据对应的曝光量增加一档曝光，即实际曝光量为相机测光数据对应的曝光量的两倍。
在本申请实施例中，可以将确定的基准曝光量对应的EV值预设为0，+1EV是指增加一档曝光，即曝光量为基准曝光量的2倍，+2EV是指增加两档曝光，即曝光量为基准曝光量的4倍，-1EV是指减少一档曝光，即曝光量为基准曝光量的0.5倍等等。
举例来说，若多帧图像的数量为7帧，则预设的曝光补偿策略对应的EV值范围可以是[+1,+1,+1,+1,0,-3,-6]。其中，曝光补偿策略为+1EV的帧，可以解决噪声问题，通过亮度比较高的帧进行时域降噪，在提升暗部细节的同时抑制噪声；曝光补偿策略为-6EV的帧，可以解决高光过曝的问题，保留高光区域的细节；曝光补偿策略为0EV和-3EV的帧，则可以用于保持高光到暗区之间的过渡，保持较好的明暗过渡的效果。
下面参考附图描述本申请实施例的图像处理方法和装置。
图1为本申请实施例所提供的一种图像处理方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤101，拍摄目标物体的多帧原始图像。
其中，目标物体指的是任意拍摄的主体，可以认为人脸，也可以为建筑物等，其中，可以基于拍摄的场景的结构光调制图案发现是否当前拍摄的图像是都包含目标物体，也可以基于预览图像的图像识别技术保证拍摄到目标物体。
具体地，拍摄目标物体的多帧原始图像，其中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像，其中，RAW图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
可以理解，为了弥补采集的一张图像无法清晰地对图像中每个细节呈现的弊端，采用高动态范围图像(High-Dynamic Range，简称HDR)技术进行拍照，即根据不同的曝光时间拍摄多张图像，并基于多张图像进行合成来提供更多的动态范围和图像细节，在本申请的实施例中，同样基于多张原始图像进行高动态范围合成生成，以保证最后的成像效果。
在本申请的一个实施例中，为了保证高动态范围合成后的图像质量，如图2所示，采集不同曝光量的原始图像进行合成，其中，曝光量，是指电子设备中的感光器件在曝光时长内接受到光的多少，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO 数值越高就说明该感光元器件的感光能力越强，不同曝光量的原始图像可以保留不同亮度下的图像细节，由此，不同曝光量的原始图像互相补偿图像细节，提高最后合成的图像的质量。
在本实施例中，在拍摄原始图像时，获取和环境光线强度，比如，基于光线传感器检测的亮度确定环境光线强度，又比如，根据ISO值等感光参数确定环境光线强度，进而，基于环境光线强度确定基准曝光量，根据基准曝光量采集至少一帧第一原始图像，采集低于基准曝光量的至少一帧第二原始图像，并且采集高于基准曝光量的至少一帧第三原始图像。由此，不同曝光量保证了不同亮度的图像细节。本申请实施例中，基准曝光量，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息后，确定的与当前环境的亮度信息相适应的曝光量，基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。
其中，获取基准曝光量的图像帧数的方式不同，作为一种可能的示例，
可以首先获取预览图像，具体地，可以根据预览图像的成像质量，确定基准曝光量的图像帧数n，以采集符合基准曝光量的n帧原始图像，并采集低于基准曝光量的至少一帧原始图像。其中，n为大于或等于1的自然数。需要说明的是，采集的图像帧数较多时，整个拍摄时长会过长，在拍摄过程中更容易受到外界干扰，因此本申请实施例中，图像帧数n的取值范围可以为3或4，以降低拍摄时长，获得较高质量的第一原始图像。
具体地，可以通过预览图像的画面抖动程度，此外，还可以通过预览图像的信噪比衡量预览图像的成像质量，进而根据预览图像的成像质量，确定基准曝光量的图像帧数n。若预览图像的成像质量越高，则推定拍摄过程中外界干扰程度较轻，拍摄时长可适当延长，采集更多帧原始图像；反之，若预览图像的成像质量越差，则推定拍摄过程中外界干扰程度较大，拍摄时长可适当缩短，采集更少帧第一原始图像。
例如，可以通过电子设备设置的位移传感器，采集得到图像传感器在拍摄过程中的位移信息，进而根据获取的位移信息确定图像传感器当前的抖动程度，根据抖动程度衡量成像质量，进而确定拍摄场景为抖动程度较轻的脚架模式或者抖动程度较大的手持模式。
本申请实施例中，在采集低于基准曝光量的至少一帧原始图像时，可以根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而根据补偿曝光时长和基准感光度，采集至少一帧原始图像。
可以理解为，通过曝光补偿等级，对至少一帧原始图像分别采取不同的曝光补偿策略，使得待采集图像对应于不同的曝光量，以获得具有不同动态范围的图像。
需要说明的是，在曝光量最初的定义中，曝光量并不是指一个准确的数值，而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量。曝光补偿等级是对曝光量进行调整的参数，使得某些图像欠曝光，某些图像过曝光，还可以使得某些图像恰当曝光。本申请实施例中，至少一帧原始图像对应的曝光补偿等级取值范围可以为EV-5至EV+5。
作为一种示例，采集低于基准曝光量的至少一帧第二原始图像，比如，为两帧原始图像，此时两帧原始图像对应不同的曝光补偿等级，且两帧原始图像的曝光补偿等级小于EV0。具体地，根据两帧原始图像对应的曝光补偿等级对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而，根据补偿曝光时长和基准感光度，采集两帧第二原始图像。
采集高于基准曝光量的至少一帧第三原始图像，比如，为两帧原始图像，此时两帧原始图像对应不同的曝光补偿等级，且两帧原始图像的曝光补偿等级大于EV0。具体地，根据两帧原始图像对应的曝光补偿等级对基准曝光时长进行补偿，得到大于基准曝光时长的补偿曝光时长，进而，根据补偿曝光时长和基准感光度，采集两帧第三原始图像。
显然，图像的亮度调整的梯度越多，得到的原始图像可以更全面的还原图像的细节，然而在有些场景下，比如，在场景中均包含了较暗的区域，则显然采用欠曝的曝光补偿量对图像细节的呈现积极影响不高，又比如，在场景中均包含了较亮的区域，则显然过曝的曝光补偿量对图像细节的呈现积极影响也不高，因此，为了提高图像处理效率，在本申请的实施例中，基于环境亮度确定曝光补偿等级，基于曝光补偿等级拍摄原始图像，其中，该曝光补偿等级如图3所示，可能仅仅为EV0和EV+，进一步提高了图像处理效率。
当然，为了照顾到图像中的人脸区域，进一步提升用户的拍照体验，还可检测预览图像检测是否包含人脸区域，如果包含人脸区域，则根据环境光线强度确定人脸拍摄模式，比如，当环境光线强度对应于白天人脸拍照模式时，则确定在包含人脸区域时，该拍摄模式对应的曝光量调整值，根据该曝光量调整值调整示例一中获取的基准曝光量，由此，在保证了整张图像的细节保存的基础上，兼顾了人脸区域的细节保留的质量。其中，本示例中的曝光量调整值可以是预先根据拍摄硬件参数与拍摄模式对应存储设置的。
举例而言，在根据环境光线强度确定的基准曝光量为EV-5时，若检测到预览图像中包含人脸图像，则根据环境光线强度确定当前拍摄模式为夜景人脸拍摄模式，从而，考虑到夜景人脸拍摄模式下人脸区域相对于其他区域较亮，采用更低的曝光量可能保留更多的亮部图像细节，因此，确定降低0.5的曝光量(曝光量调整值)，将基准曝光量调整为EV-5.5。
步骤102，检测多帧原始图像中每帧原始图像中目标物体对应的目标区域。
具体地，可以基于图像识别算法检测多帧原始图像中每帧原始图像中目标物体对应的目标区域，以便于后续针对目标区域进行针对性的处理。
作为一种可能的示例，当目标物体为人脸时，检测每帧原始图像的人脸区域，比如基于人脸特征点的识别确定人脸区域，进而，获取人脸区域中每个像素的像素色彩值，并计算所有像素色彩值的均值，确定像素色彩值与均值的差值在预设范围内的其他肤色区域，确定人脸区域和肤色区域的连通区域为目标区域。
考虑到用户的衣服如果没有得到降噪可能会导致用户体验不高，在本实施例中，还可确定与连通区域连接的衣服区域，比如基于像素位置和像素颜色以及轮廓识别等技术，确定衣服区域和所述连通区域为目标区域。
举例而言，如图4所示，基于人脸技术识别原始图像中的人脸区域并使用人脸矩形框(人脸内接矩形)绘制，接着对于人脸矩形区域的人脸R,G,B信息进行统计，记录其平均值为 Ra,Ga,Ba,然后根据Ra,Ga,Ba,确定肤色区域(为了包含脖子等肤色)，另外为了保护衣服，会对人脸下方的一块区域也做降噪的目标区域。
步骤103，对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像。
容易理解的是，由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此高动态范围图像也必然存在噪声，需要进一步对高动态范围图像进行降噪处理。例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的图像必然会产生噪声。而有些原始图像，可能恰好拍摄时受到的干扰较小，因此，存在的噪声较小，如果在去噪时，仅仅对噪音较大的图像进行处理，就平衡了降噪处理量和图像质量。
具体地，基于以基于人工智能的降噪方法对目标原始图像进行降噪处理，基于人工智能的降噪，是基于噪声特性进行的降噪，本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定，由于基于噪声特定进行降噪，使得不同的噪声特定对应的噪点得到不同的去噪处理，处理后的降噪图像更加真实可以保留更多的动态信息，相对于传统的使用插值法等统一的降噪方法，可以区分不同的噪点，并对不同的噪点适配不同的降噪处理方式，实现了降噪后图像更加生动的效果。
作为一种可能的实现方式，预先训练神经网络模型，该神经网络模型已学习得到原始图像的感光度与噪声特性之间的映射关系，其中，感光度又称为ISO值，是指衡量底片对于光的灵敏程度的指标，ISO值越低，采集的图像质量越高，图像细节表现越细腻，ISO 值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低，即ISO值与噪声特性具有密不可分的关系。
可以理解，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。为了获得更准确的噪声特性识别结果，可以对环境亮度和ISO进行细分，还可以增加样本图像的帧数，以使高动态合成的合成图像输入神经网络模型后，该神经网络能准确的识别出图像的统计特性。可以将上述神经网络模型和降噪处理的功能设计为一个整体模型，实现该降噪功能的模型可以为基于人工智能的降噪模型(AI NoiseReduction， AINR)。
获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对神经网络模型进行训练。将样本图像中标注的统计特性作为模型训练的特性，将经过统计特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的统计特性。当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现。
需要说明的是，在样本图像中标注统计特性对神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将合成图像输入神经网络模型后，能够识别出图像中的统计特性。
进而，基于采用神经网络模型，对原始图像的目标区域进行噪声特性识别，根据识别出的噪声特性，对原始图像的目标区域进行降噪，以得到降噪图像。
步骤104，对所有的降噪图像进行高动态合成生成目标图像。
具体地，根据所有的降噪图像，合成得到高动态范围图像。在本申请的一个实施例中，电子设备的显示器能够处理的图像格式为YUV格式，其中，图像的亮度信号被称作Y，色度信号是由两个互相独立的信号组成，视颜色***和格式不同，两种色度信号经常被称作U和V。在这种情况下，得到RAW格式的所有的降噪图像之后，可通过图像信号处理器 (ImageSignal Processing，ISP)对所有的降噪图像进行格式转换，将RAW格式的降噪图像转换为YUV格式图像。由于显示器的显示界面尺寸有限，为了达到更好的预览效果，可以将转换得到的YUV格式图像压缩至预览尺寸以进行预览显示。
当然，原始图像曝光量均不同，呈现的图像细节也不同，每一张图像的较为清晰地区域可能不同，因此，在高动态合成时，对于夜景拍摄模式下的图像，如果可以提高较亮和较暗的区域的权重，提高非常暗的区域的权重，则能够使得图像在各区域均能够实现恰当曝光效果，提高成像质量。因此，在本申请的一个实施例中，获取与所有的降噪图像输入高动态合成模型，获取相应原始图像中各区域的合成权重；其中，高动态合成模型，已学习得到各区域的特征与合成权重之间的映射关系；特征用于表征曝光量和相应图像区域的图像亮度，根据合成权重，分区域对所有的目标降噪图像和非原始图像进行合成，生成高动态范围图像。
进一步地，为了使得本申请实施例的图像处理方法具有良性循环，可以通过使用不断优化处理效果，还可的基于图像处理的结果对神经网络模型进行不断的反馈以优化对应的参数，即在获取目标图像后，作为一种可能的实现方式，还可以确定高动态范围图像中的多个参考像素点，根据预设梯度函数计算多个参考像素点之间的像素灰度差值，当像素灰度差值大于预设阈值时，对神经网络模型的对应参数进行修正。
综上，本申请实施例的图像处理方法，拍摄目标物体的多帧原始图像，检测多帧原始图像中每帧原始图像中目标物体对应的目标区域，对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，仅仅针对目标区域进行降噪处理，大大提高了降噪的效率。
基于以上实施例应当理解的是，为了提高图像的处理效果，进一步凸显出目标区域，比如，凸显出人像，使得人像看起来更清晰，则还可以非目标区域进行模糊处理。
在本申请的一个实施例中，对每帧原始图像的目标区域进行基于人工智能的降噪时，对每帧原始图像的非目标区域进行模糊处理生成降噪图像。
其中，模糊处理的程度可以由摄像模组和目标物体的距离确定，由此，模糊处理更加自然，即如图5所示，对每帧原始图像的非目标区域进行模糊处理生成降噪图像的步骤可以包括：
步骤201，确定目标物体和拍摄目标物体的摄像模组的距离。
作为一种可能的示例，可以基于红外光线的反馈确定该距离，也可以基于预览图像拍摄得到的目标物体的占比大致估算出该距离。
步骤202，根据距离确定模糊处理系数。
其中，模糊处理系数是对非目标区域的像素点进行模糊处理的程度，该模糊处理系数越大，则模糊处理程度越大。
步骤203，根据模糊处理系数对每帧原始图像的非目标区域进行模糊处理生成降噪图像。
具体的，模糊处理的方式可以是填充颜色或者图案等，也可以是覆盖用户喜欢的其他图案，填充的颜色或图案的透明度可以表示该模糊处理的程度。
综上，本申请实施例的图像处理方法，仅仅针对目标区域进行降噪处理，针对非目标区域进行模糊处理，在保证了降噪速度的同时，凸显了拍摄的目标主体，满足了用户的个性化需求。
为了实现上述实施例，本申请还提出一种图像处理装置。
图6是根据本申请一个实施例的图像处理装置的结构示意图，如图6所示，该装置包括：拍摄模块10、检测模块20、降噪模块30和合成模块40，其中，
拍摄模块10，用于拍摄目标物体的多帧原始图像。
检测模块20，用于检测多帧原始图像中每帧原始图像中目标物体对应的目标区域。
降噪模块30，用于对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像。
合成模块40，用于对所有的降噪图像进行高动态合成生成目标图像。
在本申请的一个实施例中，合成模块40，具体用于对每帧原始图像的目标区域进行基于人工智能的降噪，并对每帧原始图像的非目标区域进行模糊处理生成降噪图像。
需要说明的是，前述对图像处理方法的说明，也适用于本申请实施例的图像处理装置，其实现原理类似，在此不再赘述。
综上，本申请实施例的图像处理装置，拍摄目标物体的多帧原始图像，检测多帧原始图像中每帧原始图像中目标物体对应的目标区域，对每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像，进而，对所有的降噪图像进行高动态合成生成目标图像。由此，一方面，采用基于人工智能的降噪方式对图像降噪，在保证图像纯净度的同时保留了更多的图像细节，另一方面，仅仅针对目标区域进行降噪处理，大大提高了降噪的效率。
为了实现上述实施例，本申请还提出一种电子设备200，参见图7，包括：图像传感器 210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，所述图像传感器210与所述处理器220电连接，所述处理器220执行所述程序时，实现如上述实施例中所述的图像处理方法。
为了实现上述实施例，本申请实施例还提供了一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器执行以下步骤：拍摄目标物体的多帧原始图像；
检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域；
对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；
对所有的降噪图像进行高动态合成生成目标图像。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，其特征在于，包括以下步骤：
拍摄目标物体的多帧原始图像；
检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域；
对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；
对所有的降噪图像进行高动态合成生成目标图像。
2.如权利要求1所述的方法，其特征在于，所述目标物体为人脸，所述检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域，包括：
检测所述每帧原始图像的人脸区域；
获取所述人脸区域中每个像素的像素色彩值，并计算所有像素色彩值的均值；
确定像素色彩值与所述均值的差值在预设范围内的其他肤色区域；
确定所述人脸区域和所述肤色区域的连通区域为所述目标区域。
3.如权利要求2所述的方法，其特征在于，确定所述人脸区域和所述肤色区域的连通区域为所述目标区域之后，还包括：
确定与所述连通区域连接的衣服区域；
根据所述衣服区域修正所述目标区域。
4.如权利要求1所述的方法，其特征在于，所述对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像，包括：
对所述每帧原始图像的目标区域进行基于人工智能的降噪，并对所述每帧原始图像的非所述目标区域进行模糊处理生成所述降噪图像。
5.如权利要求4所述的方法，其特征在于，所述并对所述每帧原始图像的非所述目标区域进行模糊处理生成所述降噪图像，包括：
确定所述目标物体和拍摄所述目标物体的摄像模组的距离；
根据所述距离确定模糊处理系数；
根据所述模糊处理系数对所述每帧原始图像的非所述目标区域进行模糊处理生成所述降噪图像。
6.如权利要求1所述的方法，其特征在于，所述对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像，包括：
采用神经网络模型，对所述原始图像的目标区域进行噪声特性识别；其中，所述神经网络模型，已学习得到所述原始图像的感光度与噪声特性之间的映射关系；
根据识别出的噪声特性，对所述目标区域进行降噪，以得到所述降噪图像。
7.如权利要求6所述的方法，其特征在于，所述神经网络模型，是采用各感光度的样本图像对所述神经网络模型进行训练，直至所述神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，所述神经网络模型训练完成。
8.如权利要求1所述的方法，其特征在于，所述拍摄目标物体的多帧原始图像，包括：
根据拍摄场景的环境亮度确定基准曝光量；
根据所述基准曝光量拍摄至少一帧第一原始图像；
拍摄低于所述基准曝光量的至少一帧第二原始图像；
拍摄高于所述基准曝光量的至少一帧第三原始图像。
9.一种图像处理装置，其特征在于，包括：
拍摄模块，用于拍摄目标物体的多帧原始图像；
检测模块，用于检测所述多帧原始图像中每帧原始图像中所述目标物体对应的目标区域；
降噪模块，用于对所述每帧原始图像的目标区域进行基于人工智能的降噪生成降噪图像；
合成模块，用于对所有的降噪图像进行高动态合成生成目标图像。
10.如权利要求9所述的装置，其特征在于，
所述合成模块，具体用于对所述每帧原始图像的目标区域进行基于人工智能的降噪，并对所述每帧原始图像的非所述目标区域进行模糊处理生成所述降噪图像。
11.一种电子设备，其特征在于，包括：图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述图像传感器与所述处理器电连接，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的图像处理方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的图像处理方法。
CN201910509690.6A 2019-06-13 2019-06-13 图像处理方法和装置 Pending CN110248107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509690.6A CN110248107A (zh) 2019-06-13 2019-06-13 图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509690.6A CN110248107A (zh) 2019-06-13 2019-06-13 图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN110248107A true CN110248107A (zh) 2019-09-17

Family

ID=67886803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509690.6A Pending CN110248107A (zh) 2019-06-13 2019-06-13 图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN110248107A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781899A (zh) * 2019-10-23 2020-02-11 维沃移动通信有限公司 图像处理方法及电子设备
CN111191606A (zh) * 2019-12-31 2020-05-22 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN112287798A (zh) * 2020-10-23 2021-01-29 深圳市商汤科技有限公司 测温方法及装置、电子设备及存储介质
WO2021087848A1 (zh) * 2019-11-07 2021-05-14 华为技术有限公司 一种图像数据处理方法和装置
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
CN112949767A (zh) * 2021-04-07 2021-06-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及***
CN113379609A (zh) * 2020-03-10 2021-09-10 Tcl科技集团股份有限公司 一种图像处理方法、存储介质及终端设备
CN114449181A (zh) * 2020-11-05 2022-05-06 晶晨半导体(上海)股份有限公司 图像和视频处理方法及其***、数据处理设备、介质
CN115131283A (zh) * 2022-04-15 2022-09-30 腾讯科技（深圳）有限公司 目标对象的缺陷检测、模型训练方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404059A (zh) * 2008-09-24 2009-04-08 中国科学院自动化研究所 基于块状纹理采样的虹膜图像数据库合成方法
CN105095881A (zh) * 2015-08-21 2015-11-25 小米科技有限责任公司 人脸识别方法、装置及终端
CN106303250A (zh) * 2016-08-26 2017-01-04 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和***
CN109191469A (zh) * 2018-08-17 2019-01-11 广东工业大学 一种图像自动定焦方法、装置、设备及可读存储介质
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404059A (zh) * 2008-09-24 2009-04-08 中国科学院自动化研究所 基于块状纹理采样的虹膜图像数据库合成方法
CN105095881A (zh) * 2015-08-21 2015-11-25 小米科技有限责任公司 人脸识别方法、装置及终端
CN106303250A (zh) * 2016-08-26 2017-01-04 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和***
CN109191469A (zh) * 2018-08-17 2019-01-11 广东工业大学 一种图像自动定焦方法、装置、设备及可读存储介质
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781899A (zh) * 2019-10-23 2020-02-11 维沃移动通信有限公司 图像处理方法及电子设备
CN114450936A (zh) * 2019-11-07 2022-05-06 华为技术有限公司 一种图像数据处理方法和装置
WO2021087848A1 (zh) * 2019-11-07 2021-05-14 华为技术有限公司 一种图像数据处理方法和装置
CN114450936B (zh) * 2019-11-07 2023-07-21 华为技术有限公司 一种图像数据处理方法和装置
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
WO2021128593A1 (zh) * 2019-12-26 2021-07-01 上海传英信息技术有限公司 人脸图像处理的方法、装置及***
CN111191606A (zh) * 2019-12-31 2020-05-22 Oppo广东移动通信有限公司 图像处理方法及相关产品
CN113379609B (zh) * 2020-03-10 2023-08-04 Tcl科技集团股份有限公司 一种图像处理方法、存储介质及终端设备
CN113379609A (zh) * 2020-03-10 2021-09-10 Tcl科技集团股份有限公司 一种图像处理方法、存储介质及终端设备
TWI779801B (zh) * 2020-10-23 2022-10-01 大陸商深圳市商湯科技有限公司 測溫方法、電子設備及電腦可讀儲存介質
CN112287798A (zh) * 2020-10-23 2021-01-29 深圳市商汤科技有限公司 测温方法及装置、电子设备及存储介质
CN114449181A (zh) * 2020-11-05 2022-05-06 晶晨半导体(上海)股份有限公司 图像和视频处理方法及其***、数据处理设备、介质
CN112949767A (zh) * 2021-04-07 2021-06-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
CN112949767B (zh) * 2021-04-07 2023-08-11 北京百度网讯科技有限公司 样本图像增量、图像检测模型训练及图像检测方法
CN115131283A (zh) * 2022-04-15 2022-09-30 腾讯科技（深圳）有限公司 目标对象的缺陷检测、模型训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110248107A (zh) 图像处理方法和装置
CN108495050B (zh) 拍照方法、装置、终端及计算机可读存储介质
US11403740B2 (en) Method and apparatus for image capturing and processing
CN110246101A (zh) 图像处理方法和装置
CN109068067A (zh) 曝光控制方法、装置和电子设备
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
EP1924966B1 (en) Adaptive exposure control
CN109040609A (zh) 曝光控制方法、装置和电子设备
CN108683862A (zh) 成像控制方法、装置、电子设备及计算机可读存储介质
CN109218628A (zh) 图像处理方法、装置、电子设备及存储介质
CN110445988A (zh) 图像处理方法、装置、存储介质及电子设备
CN109788207A (zh) 图像合成方法、装置、电子设备及可读存储介质
CN109005361A (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
CN110072051A (zh) 基于多帧图像的图像处理方法和装置
CN107241558B (zh) 曝光处理方法、装置和终端设备
CN108900782A (zh) 曝光控制方法、装置以及电子设备
CN109068058A (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
CN108989700A (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN108322646A (zh) 图像处理方法、装置、存储介质及电子设备
CN110166707A (zh) 图像处理方法、装置、电子设备以及存储介质
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
CN110248106A (zh) 图像降噪方法、装置、电子设备以及存储介质
CN107454315B (zh) 逆光场景的人脸区域处理方法和装置
CN109089041A (zh) 拍摄场景的识别方法、装置、电子设备和存储介质
CN109040607A (zh) 成像控制方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication