CN113554658B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113554658B
CN113554658B CN202010327149.6A CN202010327149A CN113554658B CN 113554658 B CN113554658 B CN 113554658B CN 202010327149 A CN202010327149 A CN 202010327149A CN 113554658 B CN113554658 B CN 113554658B
Authority
CN
China
Prior art keywords
picture
sky
target
processed
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010327149.6A
Other languages
English (en)
Other versions
CN113554658A (zh
Inventor
刘晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010327149.6A priority Critical patent/CN113554658B/zh
Priority to JP2022548804A priority patent/JP2023513726A/ja
Priority to PCT/CN2020/127564 priority patent/WO2021212810A1/zh
Publication of CN113554658A publication Critical patent/CN113554658A/zh
Priority to US17/883,165 priority patent/US20220383508A1/en
Application granted granted Critical
Publication of CN113554658B publication Critical patent/CN113554658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质。所述方法包括：对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；初始掩码图包含有待处理图片中各个像素点属于天空区域内像素点的概率值；根据初始掩码图确定待处理图片是否满足预设的天空区域替换条件，若满足天空区域替换条件，以待处理图片的灰度图为导向图对初始掩码图进行导向滤波处理，得到目标掩码图；获取目标天空场景；目标天空场景从预设的天空场景素材中选择得到；根据目标掩码图和目标天空场景对待处理图片中的天空区域进行替换处理，得到第一已处理图片。根据本公开的方案能准确确定出天空区域并进行天空区域的替换，换天效果真实自然，成片率高。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及图像处理方法、装置、电子设备及存储介质。
背景技术
目前AI(人工智能，Artificial Intelligence)抠图技术广泛落地到各个应用场景，如AI人像虚化、AI分区场景识别等等。其中AI换天(将图片中的天空区域替换为特定场景下的天空区域)是AI抠图技术落地的一个典型场景，也是一个比较有挑战性的任务。因为用户实际拍摄的室外照片包罗万象，天空中会有树枝、飞鸟、建筑、电线、彩旗、风车、玻璃等等，如何精准地将天空区域与非天空区域分割开来并非易事，特别是在树枝间的天空、天空中的电线等等细微处。
目前的“换天”功能主要是先通过AI抠图确定出天空区域然后进行后处理。但是传统技术的分割效果差导致天空区域确定不准确，且后处理不完善存在天空边缘过渡不自然等瑕疵，导致成片率不高。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中天空区域替换成片率不高的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值；根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图；获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到；根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片。
在一示例性实施例中,所述以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图的步骤，包括：获取所述待处理图片中各个像素点的蓝通道像素值；将所述初始掩码图中蓝通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的蓝通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；将所述初始掩码图中蓝通道像素值小于目标蓝通道像素值的像素点确定为第二像素点；所述目标蓝通道像素值为第二评价区域中各个像素点的蓝通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到所述目标掩码图。
在一示例性实施例中,所述将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少的步骤，包括：将所述第一像素点的概率值设置为1；将所述第二像素点的概率值减半。
在一示例性实施例中,所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：确定所述待处理图片中的非天空区域，作为前景图；根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
在一示例性实施例中,所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；将所述第一区域替换为所述目标天空图；将所述第二区域替换为所述前景图；根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
在一示例性实施例中,所述根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片的步骤，包括：根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。
在一示例性实施例中,所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤，包括：根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
在一示例性实施例中,在所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤之后，还包括：若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：掩码图确定单元，被配置为执行对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值；导向滤波单元，被配置为执行根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图；天空场景获取单元，被配置为执行获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到；天空区域替换单元，被配置为执行根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片。
在一示例性实施例中,所述导向滤波单元，包括：像素值获取子单元，被配置为执行获取所述待处理图片中各个像素点的蓝通道像素值；第一像素点确定子单元，被配置为执行将所述初始掩码图中蓝通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的蓝通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；第二像素点确定子单元，被配置为执行将所述初始掩码图中蓝通道像素值小于目标蓝通道像素值的像素点确定为第二像素点；所述目标蓝通道像素值为第二评价区域中各个像素点的蓝通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；概率值处理子单元，被配置为执行将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；导向滤波子单元，被配置为执行以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到所述目标掩码图。
在一示例性实施例中,所述导向滤波子单元，包括：第一概率值设置模块，被配置为执行将所述第一像素点的概率值设置为1；第二概率值设置模块，被配置为执行将所述第二像素点的概率值减半。
在一示例性实施例中,所述天空区域替换单元，包括：前景图确定子单元，被配置为执行确定所述待处理图片中的非天空区域，作为前景图；天空素材裁剪子单元，被配置为执行根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；第一前景组合子单元，被配置为执行根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
在一示例性实施例中,所述天空区域替换单元，还包括：区域确定子单元，被配置为执行根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；天空图替换子单元，被配置为执行将所述第一区域替换为所述目标天空图；前景图替换子单元，被配置为执行将所述第二区域替换为所述前景图；通道信息融合子单元，被配置为执行根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；已处理图片获取子单元，被配置为执行根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
在一示例性实施例中,所述天空区域替换单元，还包括：前景图调整子单元，被配置为执行根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；第二前景组合子单元，被配置为执行根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。
在一示例性实施例中,所述导向滤波单元，还被配置为执行根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
在一示例性实施例中,所述图像处理装置，还包括：滤镜处理单元，被配置为执行若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
根据本公开实施例的第三方面，提供一种电子设备，包括处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行如上实施例中的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：对待处理图片进行图像分割处理，根据图像分割处理结果得到包含有待处理图片中各个像素点属于天空区域内像素点概率值的初始掩码图，根据该初始掩码图能准确确定出天空区域；若根据初始掩码图确定待处理图片满足预设的天空区域替换条件，则以待处理图片的灰度图为导向图对初始掩码图进行导向滤波处理得到目标掩码图，该导向滤波实现了对初始掩码图的羽化效果，能有效纠正初始掩码图中相邻图片区域之间的颜色梯度；使得根据目标掩码图得到的已处理图片换天效果真实自然，成片率高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的应用环境图。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种概率图的显示示意图。
图4是根据一示例性实施例示出的一种待处理图片。
图5是根据一示例性实施例示出的一种已处理图片。
图6是根据一示例性实施例示出的另一种已处理图片。
图7是根据另一示例性实施例示出的一种图像处理方法的流程图。
图8是根据又一示例性实施例示出的一种图像处理方法的流程图。
图9是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的图像处理方法可以应用于如图1所示的电子设备中。该电子设备可以是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。参照图1，电子设备100可以包括以下一个或多个组件：处理组件101、存储器102、电源组件103、多媒体组件104、音频组件105、输入/输出(I/O)的接口106、传感器组件107以及通信组件108。
处理组件101通常控制电子设备100的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理***，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件104包括一个前置摄像头和/或后置摄像头。当电子设备100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风(MIC)，当电子设备100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。
I/O接口106为处理组件101和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备100的显示器和小键盘，传感器组件107还可以检测电子设备100或电子设备100一个组件的位置改变，用户与电子设备100接触的存在或不存在，电子设备100方位或加速/减速和电子设备100的温度变化。传感器组件107可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件107还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件107还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法用于图1的电子设备中，包括以下步骤。
在步骤S201中，对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值。
其中，待处理图片指的是需要进行天空区域替换的图片，可以是用户通过客户端中输入的图片(例如，通过客户端下载的图片、通过客户端上的摄像头拍摄的图片等)，可以是预先获取到的图片，也可以是实时获取的图片，因此也可以称为输入图。待处理图片可以是各种格式、各种场景包含有天空区域(天空区域可大可小)的图片。该天空区域指的是属于天空的区域，该天空可以是晴天、阴天、雨后、傍晚、夜晚、彩虹等等场景下的天空，待处理图片中除了天空区域，还可以有建筑物、山丘等其他区域。另外，待处理图片的大小、形状可以是多种类型。
对待处理图片进行的图像分割(image segmentation)处理可以指对图片中像素所属区域的分类，即将图像划分成互不相交的区域。近些年来随着深度学习技术的逐步深入，图像分割技术有了突飞猛进的发展，该技术相关的场景物体分割、人体前背景分割等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。进一步的，本公开中可以通过深度学习的方式对待处理图片进行图像分割处理，例如，通过神经网络模型确定待处理图片中各个像素点属于天空区域的概率值，进而实现对待处理图片的天空区域分割。其中，概率值可以根据实际情况进行取值，取值越高则表示该像素点越可能属于天空区域(即属于天空区域范围内的像素点)，例如，取值为1则表示该像素肯定属于天空区域，取值为0则表示该像素肯定不属于天空区域，取值为0.9则表示该像素有90％的可能属于天空区域。在一些示例性实施例中，概率值可以理解为对应像素点的掩码(mask)信息，因此，概率值可以称为mask值，对应的，初始掩码图也可以称为概率掩码图。
进一步的，在得到各个像素点的概率值之后，可以对各个概率值按照像素点的位置进行排布，得到初始掩码图；另外，也可以将各个像素点的概率值转化为对应的灰度值，例如，概率值为1则转化为灰度值255，概率值为0.5则转化为灰度值127，概率值为0则转化为灰度值0，通过这样的方式就可以输出与概率值对应的灰度图像，电子设备在获取到初始掩码图的灰度值后就能获知其对应的概率值，在界面中显示的初始掩码图可以如图3所示。
在步骤S202中，根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图。
其中，天空区域替换条件可以根据天空区域的大小、是否置信、待处理图片的场景等来确定。具体的，可以在待处理图片符合天空区域太小、待处理图片不置信、夜晚场景、雾天场景中的至少至少一项时认为不满足天空区域替换条件。
由于是初始掩码图经过图像分割处理得到的，而图像分割处理会对各个像素点进行量化处理(对于通过神经网络模型进行图像分割处理的情况，下采样会导致图片分辨率降低，例如一个像素点变为5个像素点)，量化处理可能会使得相邻像素点之间的概率值差别不准确，这样就容易使得图片各个区域之间存在割裂感，而将初始掩码图和灰度图输入到导向滤波的算法中，该算法能够融合初始掩码图和灰度图的信息，例如，如果输入图像中建筑物与天空之间的存在较大的颜色梯度，而初始掩码图中建筑物与天空之间的概率值差别较小，经过导向滤波后就可以纠正初始掩码图中的这种问题，相反，如果输入图像中树叶与天空之间的存在较小的颜色梯度，而初始掩码图中树叶与天空之间的概率值差别较大，经过导向滤波后同样可以纠正初始掩码图中的这种问题，因此经过导向滤波处理可以实现对初始掩码图羽化的效果，使得输出的已处理图片更为接近输入图像，实现更为真实自然的换天效果。导向滤波处理后的初始掩码图可以如图3右侧的局部放大图所示，从该图可以看出算法能融合两个图的信息，达到羽化渐变的效果(从黑色区域逐步过渡到白色区域)，防止出现割裂感，使得得到的图片不会那么生硬。
在步骤S203中，获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到。
其中，目标天空场景指的是所需要替换为的天空类型，天空场景素材可以指晴天、阴天、雨后、彩虹、晚霞、傍晚、夜晚等等场景。本步骤从天空场景素材中选择目标天空场景，以便后续针对性地对待处理图片进行处理。进一步的，该目标天空场景可以根据用户输入的场景选择信息得到。例如：场景选择信息为“晚霞”，则目标天空场景可以为晚霞场景。
在步骤S204中，根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片。
对天空区域进行替换处理的实现过程可以为：确定目标掩码图中的天空区域，获取目标天空场景，根据该目标天空场景获取目标天空图(即需要替换为的天空图片)，通过该目标天空图对该天空区域进行替换，替换后的图片就可以作为已经经过天空区域替换处理的图片，即第一已处理图片。其中，目标天空图可以是根据目标天空场景从天空素材库中获取的天空图片，例如，目标天空场景为晚霞，则目标天空图就可以是晚霞场景下的天空图片。
在一示例性实施例中，目标天空图的形状大小可以根据天空区域的形状大小确定，两者的形状大小可以一致，也可以不一致(例如，目标天空图和天空区域各条边的间隔都为50个像素点，即，目标天空图比天空区域大)。
上述图像处理方法中，对待处理图片进行图像分割处理，根据图像分割处理结果得到包含有待处理图片中各个像素点属于天空区域内像素点概率值的初始掩码图，根据该初始掩码图能准确确定出天空区域；若根据初始掩码图确定待处理图片满足预设的天空区域替换条件，以待处理图片的灰度图为导向图对初始掩码图进行导向滤波处理得到目标掩码图，该导向滤波实现了对初始掩码图的羽化效果，能有效纠正初始掩码图中相邻图片区域之间的颜色梯度；使得根据目标掩码图得到的已处理图片换天效果真实自然，成片率高。
在一示例性实施例中，所述以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图的步骤，包括：获取所述待处理图片中各个像素点的蓝通道像素值；将所述初始掩码图中蓝通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的蓝通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；将所述初始掩码图中蓝通道像素值小于目标蓝通道像素值的像素点确定为第二像素点；所述目标蓝通道像素值为第二评价区域中各个像素点的蓝通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到所述目标掩码图。
其中，第一评价区域可以对应初始掩码图中极有可能是天空区域的区域，因此，第二阈值的大小可以为一个较大的值，以尽可能保证所选取的第一评价区域的准确性。具体的，第二阈值可以为0.9、0.92等。进一步的，在确定第一评价区域后，可以将第一评价区域中各个像素点蓝通道像素值归类到设定区间(可以根据实际情况从0到255中进行区间划分)中，其中数量最多的区间确定为目标分布区间。
更进一步的，第一像素点可以结合目标分布区间和概率值来确定，例如，将初始掩码图中概率值大于预设阈值(可以根据实际情况确定，例如0.5)且蓝通道像素值处于目标分布区间的像素点所在区域确定为第一像素点。通过这样的处理方式，能结合蓝通道像素值和概率值确定出更为准确的第一像素点，进而提高天空区域替换的准确性。其中，蓝通道像素值为RGB值中B(Blue)通道对应的值。
在一示例性实施例中,除了将极有可能是天空区域的区域进行概率值增加处理，还可以对极有可能不是天空区域的区域进行概率值降低处理。其中，第二评价区域可以对应初始掩码图中有可能是天空区域的区域，为防止将非天空区域的像素点归入天空区域中，第三阈值可以取值为一个较高的值(甚至可以大于第二阈值，具体的，第三阈值可以为0.93、0.95等)，以尽可能将区域纳入考虑范围进而从中确定出目标蓝通道像素值，并以目标蓝通道像素值为上限在初始掩码图中确定出第二像素点。第二评价区域对应的目标蓝通道像素值可以理解为天空区域的蓝通道像素值最低临界点，如果某个像素点的蓝通道像素值小于该临界点，则认为该像素点不属于天空区域，则对于进行概率值减少处理。根据该目标蓝通道像素值确定的第二像素点能有效防止遗漏非天空区域而将其归入天空区域中。
当然，在另一些示例性实施例中，第二阈值和第三阈值也可以一样大，甚至第三阈值小于第二阈值。
另一方面，概率值增加处理可以指将概率值赋值为一个更大的值，例如：1、0.99、0.98等；概率值降低处理可以指将概率值赋值为一个更小的值，例如：0.5、0.6等。例如，对于概率值为0.9的像素点，如果根据蓝通道像素值确定其极有可能属于天空区域(例如，蓝色通道B对应的值较高)，则可以将其概率值赋值为1；而对于概率值为0.5的像素点，如果根据颜色通道信息确定其极有可能不属于天空区域，则可以将其概率值减半或者降低为0。
在一些示例性实施例中，对第一像素点的概率值的减半处理也可以换成统一减去某个概率值(例如：统一减去0.1、0.2等)等。
上述实施例通过将极有可能是天空区域的像素点进行概率值增加处理，对极有可能不是天空区域的像素点进行概率值降低处理，能够突出天空区域的概率值，以便后续进行天空区域替换时能准确识别出这一部分区域，进而进行换天处理，以提高换天的准确性。
在一示例性实施例中，所述将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少的步骤，包括：将所述第一像素点的概率值设置为1；将所述第二像素点的概率值减半。
具体的，对像素点进行增加减少处理的实现过程可以为：计算待处理图片在概率值>0.9区域内各个像素点的蓝通道像素值的直方图，根据直方图计算蓝通道像素值在以下哪个区间最多(Q1:0-63、Q2:64-127、Q3:128-191、Q4:192-255)，将其中包含最多像素点的区间作为目标分布区间，记为Qi，将目标分布区间中概率值大于0.5且蓝通道值属于Qi区间的概率值置为1.0。其中对区间进行划分的方式可以根据实际情况调整，例如，可以划分为更大或更小的区间。
上述实施例通过将极有可能是天空区域的第一像素点设置为1，将极有可能不是天空区域的第二像素点进行减半处理，能够突出天空区域的概率值，以便后续进行天空区域替换时能准确识别出这一部分区域，进而进行换天处理，以提高换天的准确性。
在一示例性实施例中，除了根据蓝通道像素值确定第一像素点和第二像素点，也可以根据其他通道像素值来确定，如：红通道像素值、绿通道像素值等。具体的，对于主要进行傍晚天空区域替换处理的场景，可以采用红通道像素值来实现，这样的处理方式能够针对具体的场景确定出更为准确的天空区域，进而实现准确的天空区域替换操作，提高成片率。
另外，在一些示例性实施例中，可以先对第二像素点进行概率值减少处理，之后对概率值减少处理后的概率图进行第一像素点的概率值增加处理，得到候选掩码图；还可以是分别对初始掩码图进行第一像素点的概率值增加处理，对初始掩码图进行第二像素点的概率值减少处理，将两种处理方式得到的概率图进行整合(例如：对于初始掩码图中没有变化的像素点保留其原始的概率值；对于仅进行了概率值增加处理或仅进行了概率值较少处理的，则保留处理后的概率值；对于既进行了概率值增加处理又进行了概率值减少处理的，则可以取两种处理方式得到的概率值的平均值)，得到候选掩码图。之后，以待处理图片的灰度图为导向图对所述候选掩码图进行导向滤波处理，得到所述目标掩码图。
在一示例性实施例中，所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：确定所述待处理图片中的非天空区域，作为前景图；根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
其中，确定待处理图片中的非天空区域可以是将概率值低于0.85(也可以为其他值，或者结合蓝颜色通道值进行确定)的像素点确定为非天空区域像素点，对这些非天空区域像素点进行整合(例如：将零散的点整合为完整的区域)即可以得到非天空区域。
具体的，获取目标天空图的过程可以为：确定天空区域的最小矩形包围盒，从天空素材图中获取与目标天空场景对应的候选天空素材图，在保持长宽比的情况下，在候选天空素材图中裁剪出目标天空图。进一步的，在裁剪目标天空图时可以采用中心裁切的方式(当然，也可以为其他方式)，例如：确定所述候选天空素材图的中心点，以该中心点为中心中心裁切至矩形包围盒大小得到目标天空图。更进一步的，可以对候选天空素材图进行缩放处理后再进行裁切；当然，也可以先在候选天空素材图中进行裁切，对裁切得到的图片再进行尺寸缩放处理，以得到目标天空图。
根据目标掩码图对前景图和目标天空图进行组合得到已处理图片的实现过程可以为：在一个空白区域内确定出一个与待处理图片尺寸一致的区域，作为待填充区域；根据目标掩码图在该待填充区域中确定出天空区域，将目标天空图填充到该天空区域内，将前景图填充到剩下的区域内，得到已处理图片。也可以为，根据目标掩码图在待处理图片中确定出天空区域，将目标天空图填充到该天空区域内，将前景图填充到剩下的区域内，得到已处理图片。如果完成区域填充后，前景图和目标天空图之间存在重合的区域，则可以对重合区域内的概率值进行整合，得到一个最终的概率值，进而根据这个最终的概率值完成区域填充，例如，如果确定是天空区域(例如：概率值大于0.5)则填充目标天空图，如果确定是非天空区域则填充前景图。假设待处理图片为图4所示，其中两个矩形框构成的区域表示天空区域401，天空区域401当前为彩虹场景。将其替换为晴天场景后可以如图5所示，由图5可知，彩虹场景的天空区域401被替换为了晴天场景的天空区域501；将其替换为多云场景后可以如图6所示，由图6可知，彩虹场景的天空区域401被替换为了多云场景的天空区域601。
从上述处理过程可以看出，天空区域已经被替换为了目标天空图，即实现了天空区域的替换处理，而其中的建筑物(前景图)则没有被替换，上述过程将天空区域和前景图进行区分处理，能有效防止图片内容的混叠，在满足用户需求的同时保证所得到的已处理图片的清晰度。
进一步的，在一示例性实施例中,所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；将所述第一区域替换为所述目标天空图；将所述第二区域替换为所述前景图；根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
第一区域可以指极有可能或者肯定是天空区域的区域，第二区域可以指极有可能或者肯定不是天空区域的区域。需要说明的是，上述概率值为1的情况也可以将概率值替换为其他值，例如：0.98、0.99等等；上述概率值为0的情况也可以将概率值替换为其他值，例如：0.02、0.01等等。
颜色通道信息可以指图片在RGB三个通道对应的值，通过这些颜色通道信息可以获知对应像素点的颜色。进一步的，颜色通道信息可以是某一个通道或者多个通道对应的值，具体的，可以包括红通道像素值、绿通道像素值以及蓝通道像素值。对前景图和目标天空图进行融合可以是对这两部分所对应的颜色通道信息进行运算处理，例如：进行正片叠底处理、伽玛变换处理等，将处理后得到的颜色通道信息作为对应像素点的颜色通道信息。该颜色通道信息可以是RGB值中的全部或部分信息。举例如下：正片叠底可以为将前景图和目标天空图对应像素点的RGB值进行相乘处理，伽玛变换处理可以是对前景图和目标天空图对应像素点的RGB值进行幂运算处理。
在一示例性实施例中，所述根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片的步骤，包括：根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。通过这样处理得到的第一已处理图片能够适应目标天空场景的风格。另外，还可以对前景图进行滤镜美化处理，得到该目标前景图。
具体的，本实施例的实现过程可以为：
对于概率值为1.0的区域直接使用目标天空图，对于概率值为0.0的区域直接使用前景图；需要说明的是，上述替换过程中图片的位置、角度要与对应的区域相匹配，例如：处于竖直状态的建筑物再替换到第一已处理图片中后也需要处于竖直状态。
对于概率值为0.0至1.0之间的区域：
首先根据概率值融合目标天空图和前景图，其中融合得到的某一像素点A的mixRGB如下：
即mixRGB＝src*(1.0-mask)+sky*mask；其中，src表示前景图中像素点A的RGB值，mask表示像素点A在参考概率图中的概率值，sky表示目标天空图中像素点A的RGB值。
然后通过正片叠底和伽玛变换处理mixRGB得到tempRGB：
即tempRGB＝sqrt(mixRGB*sky,0.5)；其中，0.5为预设参数，也可以根据需要设置为其他值。
最后，对于概率值介于0.5至1.0之间的像素点使用如下公式融合：
resRGB＝sky*(2.0*mask-1.0)+tempRGB*(2.0-2.0*mask)；
对于概率值介于0.0至0.5之间的使用如下公式融合：
resRGB＝tempRGB*(2.0*mask-1.0)+src*(2.0-2.0*mask)。
其他像素点按照上述同样的方式进行融合。
上述对前景图和目标天空图进行组合的过程，将肯定为天空区域的区域替换为目标天空图，将肯定不是天空区域的区域替换为前景图，经过上述处理过程，前景图和目标天空图之间的区域如果不进行处理则会存在前景突然换到天空区域的割裂感，本实施例将中间部分的区域(既不是前景图也不是目标天空图的区域)进行融合处理，融合后的区域整合了天空部分和非天空部分的颜色通道信息，能保证前景自然地过渡到天空，得到更为真实自然的图片。
在一示例性实施例中，在完成天空区域替换处理后，可以包括对已处理图片进行纠正的步骤，例如，将已处理图片与待处理图片进行比对，如果其中的前景图或者目标天空图存在位置、角度偏差，则可以进行调整，如果存在边缘过渡不自然的情况，则可以进行调整。通过这样的方式，能使得最终输出的已处理图片具有较高的准确性和天空区域替换效果，提高成片率。
在一示例性实施例中,所述对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图的步骤，包括：通过预先训练的神经网络模型对所述待处理图片进行图像分割处理，得到图像分割处理结果；根据图像分割处理结果确定所述待处理图片中各个像素点属于天空区域内像素点的概率值；根据所述待处理图片中各个像素点的所述概率值，得到所述初始掩码图。
其中，神经网络模型可以是CNN(卷积神经网络)模型等。具体的，该神经网络可以为u-net、u-net变体、ic-net、deeplab系列等等。
进一步的，在一示例性实施例中，所述通过预先训练的神经网络模型对所述待处理图片进行图像分割处理的步骤，包括：将所述待处理图片的尺寸缩放至预设尺寸；对尺寸缩放后的待处理图片进行归一化处理；通过预先训练的神经网络模型对经过归一化处理的所述待处理图片进行图像分割处理。
其中，预设尺寸可以根据实际情况设置，例如为：512*512、768*768等。归一化处理可以是：获取图片样本，确定这些图片样本各个像素点RGB值的均值、方差，将待处理图片各个像素点的RGB值减去该均值、除以该方差，以便更好地进行机器学习和进行特征学习，进而对待处理图片中各个像素点是否属于天空区域像素点进行分类，得到概率图。
神经网络模型可以通过预先确定的训练图片训练得到，已训练的神经网络模型可以对待处理图片进行下采样处理，进而提取其中的特征信息，对特征信息进行分析，输出图像分割处理结果，此时计算机设备可以根据图像分割处理结果确定各个像素点属于天空区域的概率值，进而得到初始掩码图。神经网络模型充分分析待处理图片中的特征信息，相对于传统的graph cut的图像分割方法，这种机器学习的方式能更为准确地对待处理图片进行分割处理，进而得到准确的概率图。
上述实施例中，在获取到待处理图片时，先对其进行预处理，然后通过神经网络模型进行分割网络处理得到初始掩码图，进而根据初始掩码图从待处理图片中准确区分出天空区域(可以理解为后处理过程)，将分割网络以及后处理进行结合，保留了神经网络模型准确分割的效果，在此基础上又进行了准确的天空区域和非天空区域后处理，使得最终的天空区域替换处理更为准确。
在一示例性实施例中,所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤，包括：根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
第四、五、六、七、八阈值的大小可以根据实际情况确定，例如，第四阈值可以为0.9，第五阈值可以取值为0.1，第六阈值可以为0.3cd/m2，第七阈值可以取值为0.4，第八阈值可以取值为0.8。
概率值为1的像素点可以理解为肯定属于天空区域，概率值为0的像素点可以理解为肯定不属于天空区域，而对于处于中间概率值(例如：0.5)的像素点，则有可能属于天空区域也有可能不属于天空区域，这部分像素点属于不确定的区域，即不置信区域。具体的，不置信区域可以为概率值落在0.3至0.7之间的区域(区间的边界值也可以为其他值)。需要说明的是，在本公开实施例中，如果需要确定天空区域，则可以从当前步骤已经得到的概率图中提取概率值大于0.9(也可以为其他值)的区域，作为天空区域，不同实施例中的天空区域可以相同也可以不同。
确定待处理图片中天空区域的平均亮度的实现过程可以为：计算初始掩码图中概率值大于0.9的区域对应的原图(待处理图片)区域的平均灰度值。
在确定天空区域的暗通道值(对于RGB图，暗通道值为取RGB三个值中的最小值，例如，R/G/B分别为10/20/30，则暗通道取值为10)后，可以得到暗通道图，然后基于暗通道图判断待处理图片是否为雾天场景(如果暗通道值小于某个阈值的区域占比大于第七阈值，则认为是雾天)。其中，目标暗通道区域的第三占比可以理解为暗通道值的统计信息。
具体的，上述实施例的实现过程可以为：
(1)根据初始掩码图统计待处理图片中天空区域在整图中的第一占比，若第一占比小于0.9则判断为天空区域太小；
(2)根据初始掩码图统计待处理图片中天空区域的平均亮度，若平均亮度小于阈值0.3cd/m2则判断为夜景；
(3)根据初始掩码图统计待处理图片中概率值落在0.3至0.7之间的区域在整图中的第二占比，若第二占比大于阈值0.1则判断为初始掩码图不置信；
(4)根据初始掩码图得到待处理图片中天空区域的暗通道图，然后基于暗通道图的统计信息判断是否为雾天，如果目标暗通道值的第三占比小于0.8，则判断为雾天场景。
如果满足上述任意一个条件，则可以判定待处理图片不适合进行天空区域的替换处理，即不适合换天，否则，如果上述条件均不满足(或者大部分都不满足)，则可以认为适合换天，则进行后续的换天处理。
进一步的，在一示例性实施例中，在所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤之后，还包括：若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
具体的，如果待处理图片不符合天空区域替换条件，则可以进行以下处理：获取预先确定的目标天空场景；选择与所述目标天空场景对应的综合滤镜；通过所述综合滤镜对所述待处理图片进行处理，得到第二已处理图片。
在一示例性实施例中，如图7所示，提供一种图像处理方法，包括以下步骤：
S701、通过预先训练的神经网络模型对待处理图片进行图像分割处理；根据图像分割处理结果确定所述待处理图片中各个像素点属于天空区域内像素点的概率值；根据所述概率值，得到初始掩码图。
S702、根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若符合天空区域替换条件，则执行S703，若不符合天空区域替换条件，则执行S712。
S703、获取所述待处理图片中各个像素点的蓝通道像素值。
S704、将所述初始掩码图中蓝通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点。
S705、将所述初始掩码图中蓝通道像素值小于目标蓝通道像素值的像素点确定为第二像素点。
S706、将所述第一像素点的概率值设置为1，将所述第二像素点的概率值减半，得到参考掩码图。
S707、获取所述待处理图片的灰度图；以所述灰度图中各个像素点的灰度值为导向对所述参考掩码图进行导向滤波处理，得到目标掩码图。
S708、根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域。
S709、根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图。
S710、确定所述待处理图片中的非天空区域，作为前景图。
S711、将所述第一区域替换为所述目标天空图；将所述第二区域替换为所述前景图；根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；根据颜色通道信息融合处理后的所述目标天空图得到第一已处理图片。
S712、根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
上述图像处理方法中，对待处理图片进行图像分割处理，准确得到包含有待处理图片中各个像素点属于天空区域的概率值的初始掩码图；根据待处理图片中各个像素点的蓝通道像素值，对初始掩码图中与该天空区域对应的像素点进行概率值增加处理，得到参考概率图，所得的参考概率图进一步扩大了天空区域和非天空区域之间的概率值差别；根据参考概率图准确识别出待处理图片中的天空区域，因此，根据天空区域替换处理所得的已处理图片具有较高的准确性，且换天效果自然，换天成片率高。
在一示例性实施例中，如图8所示，提供一种图像处理方法，该方法应用于移动端，包括以下步骤：
一、利用CNN分割网络抠图
1、进行图像预处理：将待处理图片缩放至固定大小，然后归一化。
2、送入分割网络处理：将预处理后的待处理图片送入分割网络得到概率图。
二、根据分割网络输出进行后处理：
1、根据概率图确定待处理图片是否适合换天。
2、若不适合换天，则根据目标天空场景选择相对应的综合滤镜作用于待处理图片直接得到已处理图片。
3、若适合换天则：
(1)基于统计信息优化概率图：统计待处理图片在概率值>0.95区域的蓝通道的最小值minBlue；计算待处理图片在概率值>0.9区域的蓝通道的直方图，根据直方图计算蓝通道像素值最多的区间Qi；将概率图中蓝通道小于minBlue的区域对应的概率值减半；将概率图中概率值大于0.5且蓝通道属于Qi区间的概率值置为1.0；
(2)导向滤波羽化：将待处理图片从RGB图转为灰度图，然后以灰度图为导向图对优化后的概率图进行导向滤波得到羽化概率图；
(3)裁剪天空素材：根据羽化概率图计算待处理图片中天空区域的最小矩形包围盒，在保持长宽比的情况下中心裁切和缩放天空素材至矩形包围盒大小；
(4)自适应调整前景：根据目标天空场景调整待处理图片中前景图的亮度、对比度、饱和度以符合素材的风格。然后使用与目标天空场景对应的前景滤镜进行美化得到最终使用的前景图；
(5)分段融合：根据羽化概率图融合调整后的前景图和裁剪后的天空素材；
(6)根据目标天空场景选取相对应的整体滤镜，通过该整体滤镜对融合后的图片进行处理，得到已处理图片。
上述实施例具有以下技术效果：
1)结合AI分割模型和后处理中的分割结果优化，能够更好地完成天空区域的精准抠图，有效避免因抠图错误导致的瑕疵，如天空中电线丢失、树洞中天空未换等；
2)后处理中将新的天空区域与原图背景融合采用分段图层混叠和分段线性融合的方式，使得合成图片在天空与非天空处的过渡真实自然；
3)根据素材类型(目标天空场景)对非天空区域即前景图进行针对性调整，以及最后整体调色，保证了最终效果图的统一和美观；
4)综合以上3点实现了一种高成片率的自然而真实的换天效果，极大提升用户在移动端上处理室外天空照片的一键P图体验。
应该理解的是，虽然图2、7、8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、7、8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图9是根据一示例性实施例示出的一种图像处理装置900的框图。参照图9，该装置包括掩码图确定单元901，导向滤波单元902，天空场景获取单元903和天空区域替换单元904。
掩码图确定单元901，被配置为执行对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值。
导向滤波单元902，被配置为执行根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图。
天空场景获取单元903，被配置为执行获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到。
天空区域替换单元904，被配置为执行根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片。
在一示例性实施例中,所述导向滤波单元，包括：像素值获取子单元，被配置为执行获取所述待处理图片中各个像素点的蓝通道像素值；第一像素点确定子单元，被配置为执行将所述初始掩码图中蓝通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的蓝通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；第二像素点确定子单元，被配置为执行将所述初始掩码图中蓝通道像素值小于目标蓝通道像素值的像素点确定为第二像素点；所述目标蓝通道像素值为第二评价区域中各个像素点的蓝通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；概率值处理子单元，被配置为执行将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；导向滤波子单元，被配置为执行以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到所述目标掩码图。
在一示例性实施例中,所述导向滤波子单元，包括：第一概率值设置模块，被配置为执行将所述第一像素点的概率值设置为1；第二概率值设置模块，被配置为执行将所述第二像素点的概率值减半。
在一示例性实施例中,所述天空区域替换单元，包括：前景图确定子单元，被配置为执行确定所述待处理图片中的非天空区域，作为前景图；天空素材裁剪子单元，被配置为执行根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；第一前景组合子单元，被配置为执行根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
在一示例性实施例中,所述天空区域替换单元，还包括：区域确定子单元，被配置为执行根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；天空图替换子单元，被配置为执行将所述第一区域替换为所述目标天空图；前景图替换子单元，被配置为执行将所述第二区域替换为所述前景图；通道信息融合子单元，被配置为执行根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；已处理图片获取子单元，被配置为执行根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
在一示例性实施例中,所述天空区域替换单元，还包括：前景图调整子单元，被配置为执行根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；第二前景组合子单元，被配置为执行根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。
在一示例性实施例中,所述导向滤波单元，还被配置为执行根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
在一示例性实施例中,所述图像处理装置，还包括：滤镜处理单元，被配置为执行若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器102，上述指令可由设备100的处理器109执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行如上实施例中所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值；
根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，获取所述待处理图片中各个像素点的指定通道像素值，所述指定通道像素值为通过所述待处理图片所对应的天空场景确定的；
将所述初始掩码图中指定通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的指定通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；
将所述初始掩码图中指定通道像素值小于目标指定通道像素值的像素点确定为第二像素点；所述目标指定通道像素值为第二评价区域中各个像素点的指定通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；
将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；
以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到目标掩码图；
获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到；
根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片。
2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少的步骤，包括：
将所述第一像素点的概率值设置为1；
将所述第二像素点的概率值减半。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：
确定所述待处理图片中的非天空区域，作为前景图；
根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；
根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片的步骤，包括：
根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；
将所述第一区域替换为所述目标天空图；
将所述第二区域替换为所述前景图；
根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；
根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
5.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片的步骤，包括：
根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；
根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。
6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤，包括：
根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：
确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；
确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；
确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；
确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
7.根据权利要求6所述的图像处理方法，其特征在于，在所述根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件的步骤之后，还包括：
若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
8.一种图像处理装置，其特征在于，包括：
掩码图确定单元，被配置为执行对待处理图片进行图像分割处理，根据图像分割处理结果得到初始掩码图；所述初始掩码图包含有所述待处理图片中各个像素点属于天空区域内像素点的概率值；
导向滤波单元，被配置为执行根据所述初始掩码图确定所述待处理图片是否满足预设的天空区域替换条件，若满足所述天空区域替换条件，以所述待处理图片的灰度图为导向图对所述初始掩码图进行导向滤波处理，得到目标掩码图；
天空场景获取单元，被配置为执行获取目标天空场景；所述目标天空场景从预设的天空场景素材中选择得到；
天空区域替换单元，被配置为执行根据所述目标掩码图和所述目标天空场景对所述待处理图片中的天空区域进行替换处理，得到第一已处理图片；
其中，所述导向滤波单元，包括：
像素值获取子单元，被配置为执行获取所述待处理图片中各个像素点的指定通道像素值，所述指定通道像素值为通过所述待处理图片所对应的天空场景确定的；
第一像素点确定子单元，被配置为执行将所述初始掩码图中指定通道像素值处于目标分布区间且所述概率值大于第一阈值的像素点确定为第一像素点；其中，所述目标分布区间为预设的多个区间中，第一评价区域中各个像素点的指定通道像素值数量最多的区间，所述第一评价区域为所述初始掩码图中所述概率值大于第二阈值的像素点所在区域；所述第二阈值大于所述第一阈值；
第二像素点确定子单元，被配置为执行将所述初始掩码图中指定通道像素值小于目标指定通道像素值的像素点确定为第二像素点；所述目标指定通道像素值为第二评价区域中各个像素点的指定通道像素值的最小值，所述第二评价区域为所述初始掩码图中所述概率值大于第三阈值的像素点所在区域；所述第三阈值大于所述第二阈值；
概率值处理子单元，被配置为执行将所述第一像素点的概率值增加，并将所述第二像素点的概率值减少，得到参考掩码图；
导向滤波子单元，被配置为执行以所述待处理图片的灰度图为导向图对所述参考掩码图进行导向滤波处理，得到所述目标掩码图。
9.根据权利要求8所述的图像处理装置，其特征在于，所述导向滤波子单元，包括：
第一概率值设置模块，被配置为执行将所述第一像素点的概率值设置为1；
第二概率值设置模块，被配置为执行将所述第二像素点的概率值减半。
10.根据权利要求9所述的图像处理装置，其特征在于，所述天空区域替换单元，包括：
前景图确定子单元，被配置为执行确定所述待处理图片中的非天空区域，作为前景图；
天空素材裁剪子单元，被配置为执行根据所述目标天空场景和所述天空区域的尺寸对天空素材图进行裁剪，得到场景与所述目标天空场景对应且尺寸与所述天空区域的尺寸对应的目标天空图；
第一前景组合子单元，被配置为执行根据所述目标掩码图对所述前景图和所述目标天空图进行组合，得到所述第一已处理图片；其中，所述第一已处理图片中的天空区域被所述目标天空图替换。
11.根据权利要求10所述的图像处理装置，其特征在于，所述天空区域替换单元，还包括：
区域确定子单元，被配置为执行根据所述目标掩码图，从所述待处理图片中确定第一区域、第二区域以及剩余区域；其中，所述第一区域内部所包含的像素点的概率值为1，所述第二区域内部所包含的像素点的概率值为0，所述剩余区域为所述待处理图片中除去所述第一区域和所述第二区域的区域；
天空图替换子单元，被配置为执行将所述第一区域替换为所述目标天空图；
前景图替换子单元，被配置为执行将所述第二区域替换为所述前景图；
通道信息融合子单元，被配置为执行根据所述剩余区域对应的概率值、红通道像素值、绿通道像素值以及蓝通道像素值对所述前景图和所述目标天空图进行像素点的颜色通道信息融合；
已处理图片获取子单元，被配置为执行根据颜色通道信息融合处理后的所述目标天空图得到所述第一已处理图片。
12.根据权利要求10所述的图像处理装置，其特征在于，所述天空区域替换单元，还包括：
前景图调整子单元，被配置为执行根据目标天空场景对所述前景图的亮度、对比度和饱和度中的至少一项进行调整，以得到亮度、对比度和饱和度与所述目标天空场景相匹配的目标前景图；
第二前景组合子单元，被配置为执行根据所述目标掩码图对所述目标前景图和所述目标天空图进行组合，得到所述第一已处理图片。
13.根据权利要求8所述的图像处理装置，其特征在于，所述导向滤波单元，还被配置为执行根据所述初始掩码图确定所述待处理图片是否符合以下至少一个，若符合以下至少一个，判定所述待处理图片不满足天空区域替换条件，若不符合以下任意一个，判定所述待处理图片满足天空区域替换条件：
确定所述待处理图片中天空区域的第一占比，若所述第一占比小于预设的第四阈值，则判定为天空区域太小；
确定所述待处理图片中不置信区域的第二占比，若所述第二占比大于预设的第五阈值，则判定为不置信；其中，所述不置信区域为各个像素点的概率值处于中部区间的区域，所述中部区间由所述概率值的中值以及所述中值的临近值构成；
确定所述待处理图片中天空区域的平均亮度，若所述平均亮度小于预设的第六阈值，则判定为夜晚场景；
确定所述待处理图片中目标暗通道区域的第三占比，若所述第三占比大于预设的第七阈值，则判定为雾天场景；其中，所述目标暗通道区域为天空区域中暗通道值小于第八阈值的像素点所在区域。
14.根据权利要求13所述的图像处理装置，其特征在于，所述图像处理装置，还包括：
滤镜处理单元，被配置为执行若不满足天空区域替换条件，根据所述目标天空场景获取目标滤镜工具，通过所述目标滤镜工具对所述待处理图片进行滤镜处理，得到第二已处理图片。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
16.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。
CN202010327149.6A 2020-04-23 2020-04-23 图像处理方法、装置、电子设备及存储介质 Active CN113554658B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010327149.6A CN113554658B (zh) 2020-04-23 2020-04-23 图像处理方法、装置、电子设备及存储介质
JP2022548804A JP2023513726A (ja) 2020-04-23 2020-11-09 画像処理方法、装置、電子機器及び記録媒体
PCT/CN2020/127564 WO2021212810A1 (zh) 2020-04-23 2020-11-09 图像处理方法、装置、电子设备及存储介质
US17/883,165 US20220383508A1 (en) 2020-04-23 2022-08-08 Image processing method and device, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010327149.6A CN113554658B (zh) 2020-04-23 2020-04-23 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113554658A CN113554658A (zh) 2021-10-26
CN113554658B true CN113554658B (zh) 2024-06-14

Family

ID=78129377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010327149.6A Active CN113554658B (zh) 2020-04-23 2020-04-23 图像处理方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20220383508A1 (zh)
JP (1) JP2023513726A (zh)
CN (1) CN113554658B (zh)
WO (1) WO2021212810A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004834B (zh) * 2021-12-31 2022-04-19 山东信通电子股份有限公司 一种图像处理中的雾天情况分析方法、设备及装置
CN114494298A (zh) * 2022-01-28 2022-05-13 北京字跳网络技术有限公司 对象分割方法、装置、设备及存储介质
US20230368339A1 (en) * 2022-05-13 2023-11-16 Adobe Inc. Object class inpainting in digital images utilizing class-specific inpainting neural networks
CN116363148B (zh) * 2022-06-21 2024-04-02 上海玄戒技术有限公司 图像处理方法、装置、芯片及存储介质
CN115150390B (zh) * 2022-06-27 2024-04-09 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质
CN116600210B (zh) * 2023-07-18 2023-10-10 长春工业大学 基于机器人视觉的图像采集优化***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447638A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种美颜处理方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366011B2 (ja) * 2000-12-21 2009-11-18 キヤノン株式会社 文書処理装置及び方法
CN105761230B (zh) * 2016-03-16 2018-12-11 西安电子科技大学 基于天空区域分割处理的单幅图像去雾方法
US10074161B2 (en) * 2016-04-08 2018-09-11 Adobe Systems Incorporated Sky editing based on image composition
CN107025457B (zh) * 2017-03-29 2022-03-08 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN108280809B (zh) * 2017-12-26 2021-07-30 浙江工商大学 一种基于大气散射物理模型的有雾图像天空区域估计方法
CN109255759B (zh) * 2018-08-02 2021-06-15 辽宁师范大学 基于天空分割和透射率自适应修正的图像去雾方法
CN110533616A (zh) * 2019-08-30 2019-12-03 福建省德腾智能科技有限公司 一种图像天空区域分割的方法
CN110782407B (zh) * 2019-10-15 2021-10-19 北京理工大学 一种基于天空区域概率分割的单幅图像去雾方法
CN111047540B (zh) * 2019-12-27 2023-07-28 嘉应学院 一种基于天空分割的图像去雾方法及其应用***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447638A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种美颜处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于一种图像去雾改进算法的客观评价与识别;宋东辉;刘纹岩;陈虹丽;;实验室研究与探索(第12期) *

Also Published As

Publication number Publication date
WO2021212810A1 (zh) 2021-10-28
CN113554658A (zh) 2021-10-26
US20220383508A1 (en) 2022-12-01
JP2023513726A (ja) 2023-04-03

Similar Documents

Publication Publication Date Title
CN113554658B (zh) 图像处理方法、装置、电子设备及存储介质
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN105323456B (zh) 用于拍摄装置的图像预览方法、图像拍摄装置
EP3125158B1 (en) Method and device for displaying images
CN110663045B (zh) 用于数字图像的自动曝光调整的方法、电子***和介质
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
US10007841B2 (en) Human face recognition method, apparatus and terminal
CN111402135A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108701439B (zh) 一种图像显示优化方法及装置
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
EP3057304B1 (en) Method and apparatus for generating image filter
KR101570290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107622497B (zh) 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN113411498A (zh) 图像拍摄方法、移动终端及存储介质
CN112017137A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112887610A (zh) 拍摄方法、装置、电子设备及存储介质
CN111696058A (zh) 图像处理方法、装置及存储介质
CN111383166B (zh) 处理待显示图像的方法及装置、电子设备、可读存储介质
CN113673474A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113658197A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106469446B (zh) 深度图像的分割方法和分割装置
CN113011328B (zh) 图像处理方法、装置、电子设备及存储介质
CN113610884A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant