CN111768425B - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN111768425B
CN111768425B CN202010718692.9A CN202010718692A CN111768425B CN 111768425 B CN111768425 B CN 111768425B CN 202010718692 A CN202010718692 A CN 202010718692A CN 111768425 B CN111768425 B CN 111768425B
Authority
CN
China
Prior art keywords
image
candidate
region
segmentation
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010718692.9A
Other languages
English (en)
Other versions
CN111768425A (zh
Inventor
张瑞
程培
俞刚
傅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010718692.9A priority Critical patent/CN111768425B/zh
Publication of CN111768425A publication Critical patent/CN111768425A/zh
Priority to PCT/CN2021/104481 priority patent/WO2022017163A1/zh
Priority to EP21846696.9A priority patent/EP4092623A4/en
Application granted granted Critical
Publication of CN111768425B publication Critical patent/CN111768425B/zh
Priority to US17/887,994 priority patent/US20220398742A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置以及设备，属于人工智能中的计算机视觉相关的技术领域。其中，方法包括：采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。通过本申请能够提高图像分割的准确度。

Description

图像处理方法、装置及设备
技术领域
本申请涉及人工智能中的计算机视觉相关的技术领域，具体涉及一种图像处理方法、装置及设备。
背景技术
人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
在基于人工智能的计算机视觉技术中，图像分割是一个重要的研究方向，能够从原始图像中分割出前景图像区域和背景图像区域，以便对前景图像区域或者背景图像区域进行相应的处理，例如人脸识别、替换背景图像区域、添加图像特效等等。目前的图像分割方法分割出的前景图像区域与背景图像区域存在误差，导致准确度比较低。
发明内容
本申请实施例所要解决的技术问题在于，提供一种图像处理方法、装置及设备，能够提高图像分割的准确度。
本申请实施例一方面提供一种图像处理方法，包括：
采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域的具体实现方式包括：
采用所述第一分割模型对所述原始图像进行分割识别，得到所述原始图像中的像素点的候选区域类型概率；
根据所述候选区域类型概率对所述原始图像进行分割处理，得到所述原始图像的候选前景图像区域和候选背景图像区域。
可选的，上述第一分割模型包括特征提取层以及分割层；
上述采用第一分割模型对上述原始图像进行分割识别，得到上述原始图像中的像素点的候选区域类型概率的具体实现方式包括：
采用上述特征提取层对上述原始图像进行特征提取，得到上述原始图像中的像素点的结构特征信息以及语义特征信息；
采用上述分割层对上述结构特征信息以及上述语义特征信息进行分割识别，得到上述原始图像中的像素点的候选区域类型概率。
可选的，上述对上述候选前景图像区域、上述候选背景图像区域以及上述原始图像进行重组，得到重组图像的具体实现方式包括：
对上述候选背景图像区域与上述原始图像进行融合，得到第一融合图像；
对上述候选前景图像区域与上述原始图像进行融合，得到第二融合图像；
对上述候选前景图像区域与上述候选背景图像区域进行融合，得到第三融合图像；
对上述原始图像、上述第一融合图像、上述第二融合图像以及上述第三融合图像进行融合，得到上述重组图像。
可选的，上述根据上述区域分割调整参数以及上述候选区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率；
根据上述目标区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；上述候选区域类型概率包括候选前景概率以及候选背景概率；
上述根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率的具体实现方式包括：
采用上述前景分割调整参数、上述背景分割调整参数，对上述候选前景概率以及上述候选背景概率进行加权求和，得到概率和；
根据上述概率和以及上述偏移值，生成目标前景概率；根据上述目标前景概率获取目标背景概率；
根据上述目标前景概率以及上述目标背景概率，确定上述目标区域类型概率。
可选的，该方法还可包括：
获取背景图像；
根据上述目标背景概率对上述背景图像进行调整，得到背景替换区域；
对上述背景替换区域以及上述目标前景区域进行拼接，得到替换背景后的原始图像。
可选的，上述方法还包括：
获取第一候选分割模型以及样本图像集，上述样本图像集包括样本图像以及上述样本图像中的像素点的标注区域类型概率；
采用上述第一候选分割模型对上述样本图像进行预测，得到上述样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率；
根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整；
将调整后的第一候选分割模型确定为上述第一分割模型。
可选的，上述根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整的具体实现方式包括：
根据上述第一预测区域类型概率以及上述标注区域类型概率，确定上述第一候选分割模型的原始损失值；
获取上述样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率；
获取上述样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率；
根据上述第一梯度变化率以及上述第二梯度变化率，确定上述第一候选分割模型的边界损失值；
根据上述边界损失值以及上述原始损失值确定上述第一候选分割模型的总损失值；
若上述总损失值不满足收敛条件，则根据上述总损失值对上述第一候选分割模型进行调整。
可选的，上述方法还包括：
获取第二候选分割模型，以及目标预测区域类型概率，上述目标预测区域类型概率为上述第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率；
根据上述目标预测区域类型概率对上述样本图像进行分割，得到上述样本图像的前景图像区域以及背景图像区域；
对上述样本图像、上述样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像；
采用上述第二候选分割模型对上述样本重组图像进行预测，得到上述样本重组图像中像素点的预测区域分割调整参数；
采用上述预测区域分割调整参数对上述目标预测区域类型概率进行调整，得到第二预测区域类型概率；
根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整；
将调整后的第二候选分割模型确定为上述第二分割模型。
可选的，上述根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整的具体实现方式包括：
根据上述第二预测区域类型概率以及上述标注区域类型概率，确定上述第二候选分割模型的分割损失值；
若上述分割损失值不满足收敛条件，则根据上述分割损失值对上述第二候选分割模型进行调整。
本申请实施例一方面提供一种图像处理装置，包括：
识别模块，用于采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
重组模块，用于对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
所述识别模块，还用于采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，所述识别模块采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域的具体实现方式包括：
采用所述第一分割模型对所述原始图像进行分割识别，得到所述原始图像中的像素点的候选区域类型概率；
根据所述候选区域类型概率对所述原始图像进行分割处理，得到所述原始图像的候选前景图像区域和候选背景图像区域。
可选的，上述第一分割模型包括特征提取层以及分割层；
可选的，识别模块采用第一分割模型对上述原始图像进行分割识别，得到上述原始图像中的像素点的候选区域类型概率的具体实现方式包括：
采用上述特征提取层对上述原始图像进行特征提取，得到上述原始图像中的像素点的结构特征信息以及语义特征信息；
采用上述分割层对上述结构特征信息以及上述语义特征信息进行分割识别，得到上述原始图像中的像素点的候选区域类型概率。
重组模块对上述候选前景图像区域、上述候选背景图像区域以及上述原始图像进行重组，得到重组图像的具体实现方式包括：
对上述候选背景图像区域与上述原始图像进行融合，得到第一融合图像；
对上述候选前景图像区域与上述原始图像进行融合，得到第二融合图像；
对上述候选前景图像区域与上述候选背景图像区域进行融合，得到第三融合图像；
对上述原始图像、上述第一融合图像、上述第二融合图像以及上述第三融合图像进行融合，得到上述重组图像。
可选的，所述识别模块采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
采用所述第二分割模型对所述重组图像进行区域分割识别，得到所述重组图像中的像素点的区域分割调整参数；
根据所述区域分割调整参数以及所述候选区域类型概率，对所述原始图像进行调整分割处理，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述识别模块根据上述区域分割调整参数以及上述候选区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率；
根据上述目标区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；上述候选区域类型概率包括候选前景概率以及候选背景概率；
上述识别模块根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率的具体实现方式包括：
采用上述前景分割调整参数、上述背景分割调整参数，对上述候选前景概率以及上述候选背景概率进行加权求和，得到概率和；
根据上述概率和以及上述偏移值，生成目标前景概率；根据上述目标前景概率获取目标背景概率；
根据上述目标前景概率以及上述目标背景概率，确定上述目标区域类型概率。
可选的，上述获取模块，还用于获取背景图像；
上述装置还包括：调整模块，用于根据上述目标背景概率对上述背景图像进行调整，得到背景替换区域；
调整模块，用于对上述背景替换区域以及上述目标前景区域进行拼接，得到替换背景后的原始图像。
可选的，上述获取模块，还用于获取第一候选分割模型以及样本图像集，上述样本图像集包括样本图像以及上述样本图像中的像素点的标注区域类型概率；
上述装置还包括：预测模块，用于采用上述第一候选分割模型对上述样本图像进行预测，得到上述样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率；
可选的，上述调整模块，还用于根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整；
确定模块，用于将调整后的第一候选分割模型确定为上述第一分割模型。
可选的，上述调整模块根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整的具体实现方式包括：
根据上述第一预测区域类型概率以及上述标注区域类型概率，确定上述第一候选分割模型的原始损失值；
获取上述样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率；
获取上述样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率；
根据上述第一梯度变化率以及上述第二梯度变化率，确定上述第一候选分割模型的边界损失值；
根据上述边界损失值以及上述原始损失值确定上述第一候选分割模型的总损失值；
若上述总损失值不满足收敛条件，则根据上述总损失值对上述第一候选分割模型进行调整。
可选的，获取模块，还用于获取第二候选分割模型，以及目标预测区域类型概率，上述目标预测区域类型概率为上述第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率；
上述分割模块，还用于根据上述目标预测区域类型概率对上述样本图像进行分割，得到上述样本图像的前景图像区域以及背景图像区域；
上述重组模块，还用于对上述样本图像、上述样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像；
上述预测模块，还用于采用上述第二候选分割模型对上述样本重组图像进行预测，得到第二预测区域类型概率；
上述调整模块，还用于根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整；
上述确定模块，还用于将调整后的第二候选分割模型确定为上述第二分割模型。
可选的，上述预测模块采用所述第二候选分割模型对所述样本重组图像进行预测，得到第二预测区域类型概率的具体方式包括：
采用上述第二候选分割模型对上述样本重组图像进行预测，得到上述样本重组图像中像素点的预测区域分割调整参数；
采用上述预测区域分割调整参数对上述目标预测区域类型概率进行调整，得到第二预测区域类型概率。
可选的，上述调整模块根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整的具体实现方式包括：
根据上述第二预测区域类型概率以及上述标注区域类型概率，确定上述第二候选分割模型的分割损失值；
若上述分割损失值不满足收敛条件，则根据上述分割损失值对上述第二候选分割模型进行调整。
本申请一方面提供了一种计算机设备，包括：处理器及存储器；
其中，上述存储器用于存储计算机程序，上述处理器用于调用上述计算机程序，以执行如下步骤：
采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
本申请实施例一方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令当被处理器执行时，以执行如下步骤：
采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
本申请，通过第一分割模型对原始图像进行候选分割识别，得到原始图像的候选背景图像区域和候选背景图像区域；即通过第一分割模型可实现对原始图像的初步分割处理。进一步，可以通过对原始图像、候选背景图像区域和候选背景图像区域进行重组，得到重组图像，可实现对原始图像在初步分割处理过程所丢失的边界信息进行补偿，有利于对原始图像进行优化分割处理过程提供丰富的信息量；使原始图像的背景图像区域与前景图像区域之间的边界更加平滑、清晰，提高对原始图像分割的准确度。在计算机设备获取到重组图像后，可以采用第二分割模型对该重组图像进行区域分割识别，得到该原始图像的目标前景图像区域和目标背景图像区域。即通过第一分割模型为第二分割模型提供分割先验信息，即此处分割先验信息可以是指候选背景图像区域以及候选前景图像区域，通过第二分割模型对第一分割模型的分割结果进行优化处理，可提高图像分割的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种图像处理***的架构示意图；
图2a是本申请提供的一种图像处理***的各个设备之间交互场景示意图；
图2b是本申请提供的一种图像处理***的各个设备之间交互场景示意图；
图3是本申请实施例提供的一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种获取候选区域类型概率的场景示意图；
图5是本申请实施例提供的一种对原始图像调整分割得到原始图像的目标前景图像区域以及目标背景图像区域的场景示意图；
图6是本申请实施例提供的一种对原始图像调整分割得到原始图像的目标前景图像区域以及目标背景图像区域的场景示意图；
图7是本申请实施例提供的一种对第一候选分割模型进行调整得到第一分割模型的场景示意图；
图8是本申请实施例提供的一种对第二候选分割模型进行调整得到第二分割模型的场景示意图；
图9是本申请实施例提供的一种图像处理装置的结构示意图；
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大图像处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像分割、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中，本申请实施例提供的图像处理方法主要涉及人工智能中的计算机视觉技术，具体涉及计算机视觉技术中的图像分割技术。首先介绍用于实现本申请的图像处理方法的图像处理***，如图1所示，该图像处理***中包括服务器10、至少一个终端11。
其中，终端11可以是指面向用户的终端，即终端11可以是指用户用于获取原始图像，并将图像发送至服务器10。原始图像可以是指需要进行图像分割处理的图像，该原始图像可以是由终端11所拍摄得到的，或者，该原始图像可以是由终端11从网络中下载得到的。服务器10可以是指图像处理的后端服务设备，具体可用于从终端11中获取原始图像，对原始图像进行分割处理，得到原始图像的目标前景图像区域或目标背景图像区域，目标前景图像区域可以是指包括目标对象的区域，目标背景图像区域可以是指不包括目标对象的区域，目标对象可以是指人物、建筑物、动物以及物品等等。
可选的，上述对原始图像的分割处理过程可以由终端11来实现，本申请下面以服务器10对原始图像进行分割处理为例进行说明，终端11对原始图像的分割处理过程可以参考服务器10对原始图像进行分割处理过程，本申请对此不再赘述。
其中，服务器10可以是独立的一个物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端11可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在具体实现中，如图2a中，终端11可以从网络下载图像，或者，拍摄得到图像，将该图像作为原始图像，将原始图像发送至服务器10；该原始图像为人物图像，该原始图像中包括前景图像区域12以及背景图像区域13，前景图像区域12是指包括人物的区域，背景图像区域13是指人物后方的区域，背景图像区域13包括植物。相应地，服务器10可以接收终端11所发送原始图像，将该原始图像输入至第一分割模型，对该原始图像进行候选分割识别得到该原始图像中的像素点的候选区域类型概率；该候选分割识别可以是指对原始图像的初步识别处理，该候选区域类型概率包括用于指示原始图像中的像素点属于背景图像区域的概率，即候选背景概率；或者，候选区域类型概率包括用于指示原始图像中的像素点属于前景图像区域的概率，即候选前景概率；或者，候选区域类型概率包括候选背景概率以及候选前景概率。
在服务器10获取到候选区域类型概率后，可以根据该候选区域类型概率对该原始图像进行分割处理，得到该原始图像的候选背景图像区域以及候选前景图像区域。如图2a中，候选背景图像区域以及候选前景图像区域中缺少部分线条，即候选前景图像区域以及候选背景图像区域中存在信息丢失的问题，即通过第一分割模型得到的分割结果的准确度比较低，因此，需要对第一分割模型的分割结果进行优化处理。具体的，如图2b中，服务器10可对该原始图像、该候选背景图像区域以及候选前景图像区域进行重组，得到重组图像，采用该第二分割模型对该重组图像进行区域分割识别，得到该重组图像中的像素点的区域分割调整参数，即该区域分割调整参数可以是指用于优化第一分割模型的分割结果的参数。进一步，可根据该区域分割调整参数以及候选区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。将图2a中的候选背景图像区域以及候选前景图像区域，与图2b中的目标背景图像区域以及目标前景图像区域相比可知，目标背景图像区域与目标前景图像区域之间的边界更加平滑、更精确。
可见，本申请中，通过第一分割模型对原始图像进行初步分割处理，并通过第二分割模型对第一分割模型的分割结果进行优化，可提高对图像分割的准确度。另外，通过对该原始图像、该候选背景图像区域以及候选前景图像区域进行重组，为第二分割模型的区域分割识别过程提供更多信息量，避免在对原始图像进行分割处理的过程中，导致原始图像的信息丢失的问题，可进一步提高对图像分割的准确度。
基于上述的描述，请参见图3，是本申请实施例提供的一种图像处理方法的流程示意图。该方法可由计算机设备来执行，该计算机设备可以是指图1中的服务设备10或者终端11，如图3所示，该图像处理方法可以包括如下步骤S101～S104。
S101、采用第一分割模型对原始图像进行候选分割识别，得到该原始图像的候选前景图像区域和候选背景图像区域。
计算机设备可以从网络中的下载图像，或者，拍摄得到图像，将该图像作为原始图像。该原始图像可以是指需要进行分割处理的图像，该原始图像可以包括前景图像区域和背景图像区域，该前景图像区域可以是指包括目标对象的区域，该目标对象可以是指人物、建筑、物品、植物、动物等中的至少一种，即目标对象可以是指用户感兴趣的对象；背景图像区域可以是指目标对象的后方的人或物所在的区域，即背景图像区域为用户不感兴趣的对象所在的区域。
在计算机设备获取到原始图像后，可以采用第一分割模型对该原始图像进行候选分割识别，得到该原始图像的候选前景图像区域以及候选背景图像区域；该第一分割模型可以是指用于对原始图像进行初步分割识别的模型，即上述候选分割识别可以是指初步分割识别，该候选前景图像区域以及候选背景图像区域可以是指对该原始图像进行初步分割处理得到的。
可选的，上述步骤S101可包括如下s01～s02。
s01、采用第一分割模型对该原始图像进行分割识别，得到该原始图像中的像素点的候选区域类型概率。
s02、根据该候选区域类型概率对该原始图像进行分割处理，得到该原始图像的候选前景图像区域和候选背景图像区域。
在步骤s01～s02中，在计算机设备获取到原始图像后，可以采用第一分割模型对该原始图像进行分割识别，得到该原始图像中的像素点的候选区域类型概率；即将该原始图像输入至第一分割模型中，对该原始图像进行分割识别，得到该原始图像中的像素点的候选区域类型概率。在计算机设备获取到该原始图像中的像素点的候选区域类型概率后，可以根据该候选区域类型概率对该原始图像进行分割出来，得到该原始图像的候选前景图像区域以及候选背景图像区域。
可选的，该候选区域类型概率包括候选前景概率，候选前景概率用于反映原始图像中对应像素点属于前景图像区域的概率；计算机设备可以将原始图像中候选前景概率大于前景概率阈值的像素点，确定为前景像素点，将原始图像中候选前景概率小于或等于前景概率阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。
可选的，候选区域类型概率包括候选前景概率，计算机设备获取到候选背景概率后，可以获取原始图像中的像素点的候选前景概率之和，作为第一概率值；获取原始图像中的像素点的候选背景概率与第一概率值之间的比值，将比值大于前景比值阈值的像素点，确定为前景像素点，将原始图像中比值小于或等于前景比值阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。其中，原始图像中的像素点的候选背景概率与第一概率值之间的比值可以采用如下公式(1)表示。
Figure BDA0002599159150000141
在公式(1)中，Fi表示原始图像中第i个像素点的候选背景概率与第一概率值之间的比值，K表示原始图像中的像素点的数量，FGi表示原始图像中的像素点的候选背景概率。
可选的，该候选区域类型概率包括候选背景概率，候选背景概率用于反映原始图像中对应像素点属于背景图像区域的概率；计算机设备可以将原始图像中候选背景概率小于背景概率阈值的像素点，确定为前景像素点，将原始图像中候选背景概率大于或等于背景概率阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。
可选的，候选区域类型概率包括候选背景概率，计算机设备获取到候选背景概率后，可以获取原始图像中的像素点的候选背景概率之和，作为第二概率值；获取原始图像中的像素点的候选背景概率与第二概率值之间的比值，将比值大于背景比值阈值的像素点，确定为背景像素点，将原始图像中比值小于或等于背景比值阈值的像素点，确定为前景像素点；进一步，从原始图像中分割属于背景像素点的区域，作为背景图像区域，从原始图像中分割属于前景像素点的区域，作为前景图像区域。
可选的，该候选区域类型概率包括候选背景概率和候选前景概率，计算机设备可以选择候选背景概率和候选前景概率中的一种，根据所选择的概率对原始图像进行分割处理，得到原始图像的候选前景图像区域以及候选背景图像区域。
S102、对该候选前景图像区域、该候选背景图像区域以及该原始图像进行重组，得到重组图像；该重组图像中的像素点与该原始图像中的像素点之间具有一一对应关系。
由于对原始图像进行分割处理过程中，容易导致候选前景图像区域与候选背景图像区域之间的边界信息丢失，因此，计算机设备可以对该候选前景图像区域、该候选背景图像区域以及该原始图像进行重组，得到重组图像，即对该候选前景图像区域、该候选背景图像区域以及该原始图像进行融合处理，将融合处理得到的图像作为重组图像。该重组图像相比原始图像，能够提供更多信息量，即可实现对原始图像在分割处理过程中所丢失的边界信息量进行补偿，有利于提高对图像分割的准确度。其中，该重组图像与原始图像的尺寸相同，即重组图像中的像素点与原始图像中的像素点之间具有一一对应关系，即原始图像和重组图像中具有位置信息的两个像素点之间具有对应关系。例如，均以原始图像和重组图像的左下角为坐标原点建立坐标系，确定原始图像和重组图像中具有相同位置坐标的两个像素点之间具有对应关系，如确定原始图像中位置坐标为(1,2)的像素点，与重组图像中位置坐标为(1,2)的像素点之间具有对应关系。
S103、采用第二分割模型对该重组图像进行区域分割识别，得到该原始图像的目标前景图像区域和目标背景图像区域。
计算机设备可以采用第二分割模型对第一分割模型的分割结果进行优化处理，得到原始图像的目标背景图像区域以及目标前景图像区域；即目标背景图像区域以及目标背景图像区域可以是指对候选前景图像区域以及候选背景图像区域进行优化得到的。
可选的，上述步骤S103可包括如下s03～s04。
s03、采用第二分割模型对该重组图像进行区域分割识别，得到该重组图像中的像素点的区域分割调整参数。
s04、根据该区域分割调整参数以及该候选区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。
步骤s03～s04中，计算机设备可以采用第二分割模型对该重组图像进行区域分割识别，得到该重组图像中的像素点的区域分割调整参数，即将该重组图像输入值该第二分割模型中，对该重组图像进行区域分割识别，得到该重组图像的像素点的区域分割调整参数。该第二分割模型可以是指用于对第一分割模型的分割结果进行优化处理的模型，也可以称为细分割模型，此处分割结果可以是指上述候选区域类型概率。在计算机设备获取到重组图像中的像素点的区域分割调整参数后，可以根据该区域分割调整参数以及该候选区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域，即可以根据该区域分割调整参数以及该候选区域类型概率，对候选背景图像区域以及候选前景图像区域进行调整，将调整后的候选背景图像区域作为原始图像的目标背景图像区域，将调整后的前景图像区域作为原始图像的目标前景图像区域。
其中，第二分割模型可以为深度细化模型，由具有深度可分离卷积为基础结构的多个模块堆叠而成，考虑到第二分割模型的复杂度以及区域分割识别的准确度，该第二分割模型可以是由具有深度可分离卷积为基础结构的三个模块堆叠而成，第二分割模型在区域分割识别过程中特征图(即重组图像)的尺寸大小不变，可避免对重组图像的尺寸大小进行调整，导致重组图像的信息量丢失。
本申请，通过第一分割模型对原始图像进行候选分割识别，得到原始图像中的像素点的候选区域类型概率，根据该候选区域类型概率对原始图像进行分割处理，得到原始图像的候选背景图像区域和候选背景图像区域；即通过第一分割模型可实现对原始图像的初步分割处理。进一步，可以通过对原始图像、候选背景图像区域和候选背景图像区域进行重组，得到重组图像，可实现对原始图像在初步分割处理过程所丢失的边界信息进行补偿，有利于对原始图像进行优化分割处理过程提供丰富的信息量；使原始图像的背景图像区域与前景图像区域之间的边界更加平滑、清晰，提高对原始图像分割的准确度。在计算机设备获取到重组图像后，可以采用第二分割模型对该重组图像进行区域分割识别，得到重组图像中的像素点的区域分割调整参数，可以根据该区域分割调整参数以及该候选区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。即通过第一分割模型为第二分割模型提供分割先验信息，即此处分割先验信息可以是指候选区域类型概率、候选背景图像区域以及候选前景图像区域，通过第二分割模型对第一分割模型的分割结果进行优化处理，可提高图像分割的准确度。
在一个实施例中，该第一分割模型包括特征提取层以及分割层，步骤s01可包括如下步骤s11和s12。
s11、采用该特征提取层对该原始图像进行特征提取，得到该原始图像中的像素点的结构特征信息以及语义特征信息。
s12、采用该分割层对该结构特征信息以及该语义特征信息进行分割识别，得到该原始图像中的像素点的候选区域类型概率。
在步骤s11和s12中，如图4所示，该第一分割模型包括特征提取层以及分割层，该特征提取层可以用于提取原始图像的特征，分割层可用于对原始图像进行候选分割处理。具体的，可采用该特征提取层对该原始图像进行特征提取，得到该原始图像中的像素点的结构特征信息以及语义特征信息，该结构特征信息可以是指原始图像的浅层特征，即结构特征信息可用于反映原始图像中的轮廓信息(即纹理信息)；语义特征信息可以是指原始图像的深层特征，即语义特征信息可用于反映原始图像中的对象信息，对象信息包括对象的类型、尺寸、颜色等等。进一步，计算机设备可采用该分割层对该结构特征信息以及该语义特征信息进行分割识别，得到该原始图像中的像素点的候选区域类型概率；即采用该分割层对该结构特征信息以及该语义特征信息进行融合，对融合后的特征信息进行候选分割识别，得到该原始图像中的像素点的候选区域类型概率。
上述第一分割模型以及第二分割模型均可以是基于CNN(Convolutional NeuralNetworks，卷积神经网络)所构建的模型，例如：VGGNet网络(Visual Geometry GroupNetwork，一种卷积神经网络)、ResNet网络(残差网络)以及AlexNet网络(一种卷积神经网络)，等等；也可以是基于FCN(Fully Convolutional Networks，全神经网络)所构建的模型，对此不作限定。
例如，该第一分割模型可以为具有深度可分离卷积结构，且具有识别前景图像区域和背景图像区域能力的语义分割模型。该第一分割模型可包括特征提取层以及分割识别层，该特征提取层可以为一个编码器，该分割识别层可以为一个解码器。其中，编码器可以是以深度可分离卷积为基础结构的模块堆叠而成，解码器可以是采用反卷积结构构成的，编码器和解码器之间通过跳跃链接进行浅层特征和深层特征的特征传递，使解码器能够融合不同的特征，对浅层特征中的语义特征信息和深层特征中的结构特征信息进行分割识别，得到候选区域类型概率。这样以深度可分离卷积为基础结构的“编码器-解码器”网络结构，使第一分割模型极大地减少了网络的计算量和参数量，同时可确保图像分割效果。
在一个实施例中，步骤S102可包括如下步骤s21～s24。
s21、对该候选背景图像区域与该原始图像进行融合，得到第一融合图像。
s22、对该候选前景图像区域与该原始图像进行融合，得到第二融合图像。
s23、对该候选前景图像区域与该候选背景图像区域进行融合，得到第三融合图像。
s24、对该原始图像、该第一融合图像、该第二融合图像以及该第三融合图像进行融合，得到该重组图像。
在步骤s21～s24中，计算机设备可以对候选背景图像区域、候选前景图像区域以及原始图像进行重组；具体的，计算机设备可以对该候选背景图像区域与该原始图像进行融合，得到第一融合图像，即按照候选背景图像区域在原始图像中的位置，对该候选背景图像区域与该原始图像进行融合，得到第一融合图像。可以按照候选前景图像区域在原始图像中的位置，对该候选前景图像区域与该原始图像进行融合，得到第二融合图像；可以按照候选前景图像区域以及背景图像区域在原始图像中的位置，对该候选前景图像区域与该候选背景图像区域进行融合，得到第三融合图像。然后，对该原始图像、该第一融合图像、该第二融合图像以及该第三融合图像进行融合，得到该重组图像；通过对候选背景图像区域、候选前景图像区域以及原始图像进行重组，可实现对原始图像在初步分割处理过程所丢失的边界信息进行补偿，有利于对原始图像进行优化分割处理过程提供丰富的信息量；使原始图像的背景图像区域与前景图像区域之间的边界更加平滑、清晰，提高对原始图像分割的准确度。
在一个实施例中，步骤s04可包括如下步骤s31～s32。
s31、根据该区域分割调整参数对该候选区域类型概率进行调整，得到目标区域类型概率。
s32、根据该目标区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。
在步骤s31～s32中，计算机设备可以根据第二分割模型的输出结果，对原始图像进行优化分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。具体的，如图5所示，计算机设备可以根据该区域分割调整参数对该候选区域类型概率进行调整，得到目标区域类型概率，即该目标区域类型概率是由第二分割模型对候选区域类型概率进行优化得到的，目标区域类型概率的准确度更高。因此，可以根据该目标区域类型概率，对该原始图像进行调整分割处理，得到该原始图像的目标前景图像区域和目标背景图像区域。
可选的，该目标区域类型概率包括目标前景概率，目标前景概率是用于反映原始图像中对应的像素点属于前景图像区域的概率；计算机设备可以将原始图像中目标前景概率大于前景概率阈值的像素点，确定为前景像素点，将原始图像中目标前景概率小于或等于前景概率阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。
可选的，目标区域类型概率包括目标前景概率，计算机设备获取到目标背景概率后，可以获取原始图像中的像素点的目标前景概率之和，作为第一概率值；获取原始图像中的像素点的目标背景概率与第一概率值之间的比值，将比值大于前景比值阈值的像素点，确定为前景像素点，将原始图像中比值小于或等于前景比值阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。
可选的，该目标区域类型概率包括目标背景概率，目标背景概率是用于反映原始图像中对应的像素点属于背景图像区域的概率；计算机设备可以将原始图像中目标背景概率小于背景概率阈值的像素点，确定为前景像素点，将原始图像中目标背景概率大于或等于背景概率阈值的像素点，确定为背景像素点；进一步，从原始图像中分割属于前景像素点的区域，作为前景图像区域，从原始图像中分割属于背景像素点的区域，作为背景图像区域。
可选的，目标区域类型概率包括目标背景概率，计算机设备获取到目标背景概率后，可以获取原始图像中的像素点的目标背景概率之和，作为第二概率值；获取原始图像中的像素点的目标背景概率与第二概率值之间的比值，将比值大于背景比值阈值的像素点，确定为背景像素点，将原始图像中比值小于或等于背景比值阈值的像素点，确定为前景像素点；进一步，从原始图像中分割属于背景像素点的区域，作为背景图像区域，从原始图像中分割属于前景像素点的区域，作为前景图像区域。
可选的，该目标区域类型概率包括目标背景概率和目标前景概率，计算机设备可以选择目标背景概率和目标前景概率中的一种，根据所选择的概率对原始图像进行调整分割处理，得到原始图像的目标前景图像区域以及目标背景图像区域。
在此实施例中，该区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；该候选区域类型概率包括候选前景概率以及候选背景概率；步骤s31可包括如下步骤s41～s43。
s41、采用该前景分割调整参数、该背景分割调整参数，对该候选前景概率以及该候选背景概率进行加权求和，得到概率和。
s42、根据该概率和以及该偏移值，生成目标前景概率；根据该目标前景概率获取目标背景概率。
s43、根据该目标前景概率以及该目标背景概率，确定该目标区域类型概率。
在步骤s41～s43中，该区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值，该前景分割调整参数用于反映原始图像中对应像素点候选前景概率的准确度(即置信度)，即像素点的前景分割调整参数越大，表明该像素点的候选背景概率的准确度越低，对该像素点的候选背景概率的调整力度越大；像素点的前景分割调整参数越小，表明该像素点的候选背景概率的准确度越高，对该像素点的候选背景概率的调整力度越小。同理，该背景分割调整参数用于反映原始图像中对应像素点候选背景概率的准确度(即置信度)，即像素点的背景分割调整参数越大，表明该像素点的候选背景概率的准确度越低，对该像素点的候选背景概率的调整力度越大；像素点的背景分割调整参数越小，表明该像素点的候选背景概率的准确度越高，对该像素点的候选背景概率的调整力度越小。偏移值可以是指候选背景概率与候选前景概率之间的平衡参数，用于实现对候选背景概率与候选前景概率进行微调。具体应用中，计算机设备可以采用该前景分割调整参数、该背景分割调整参数，对该候选前景概率以及该候选背景概率进行加权求和，得到概率和，即采用该前景分割调整参数对该候选前景概率进行调整，采用背景分割调整参数对该候选背景概率进行调整，将调整后的候选前景概率以及调整后的候选背景概率之间和，确定为概率和。进一步，可根据该概率和以及该偏移值，生成目标前景概率；根据该目标前景概率获取目标背景概率；将该目标前景概率以及该目标背景概率，确定为该目标区域类型概率。
可选的，目标区域类型概率可以采用如下公式(2)表示。
Pr edi＝ai*FGi+bi*BGi+ci (2)
其中，公式(2)中的Pr edi表示原始图像中第i个像素点的目标前景概率，ai、bi、ci分别表示重组图像中的第i个像素点的前景分割调整参数、背景分割调整参数以及偏移值；FGi、BGi分别表示原始图像中第i个像素点的候选前景概率以及候选背景概率。在计算得到原始图像中的第i个像素点的目标前景概率后，可以将1-Pr edi作为原始图像中第i个像素点的目标背景概率。其中，重组图像的第i个像素点与原始图像的第i个像素点相对应，即重组图像的第i个像素点的位置信息与原始图像的第i个像素点的位置信息相同。
在一个实施例中，该方法可包括如下步骤s51～s53。
s51、获取背景图像。
s52、根据该目标背景概率对该背景图像进行调整，得到背景替换区域。
s53、对该背景替换区域以及该目标前景区域进行拼接，得到替换背景后的原始图像。
在步骤s51～s53中，在识别到原始图像的目标背景图像区域和目标前景图像区域之后，采用原始图像替换背景操作。具体的，计算机设备可以获取背景图像，该背景图像可以是指用于替换原始图像的背景图像区域的图像，如图6所示，该背景图像中包括草以及云朵；该背景图像中的像素点与原始图像的中的像素点之间具有一一对应关系，即背景图像和原始图像中具有相同位置信息的像素点之间具有对应关系，即可以将原始图像中像素点的目标背景概率确定为背景图像中对应像素点的目标背景概率。计算机设备可以根据该目标背景概率对该背景图像进行调整，得到背景替换区域，即将背景图像中对应目标背景概率大于背景概率阈值的像素点，作为背景像素点，将背景图像中对应像素点的目标背景概率小于或等于背景概率阈值的像素点，作为前景像素点。可以根据目标前景图像区域的颜色信息对背景图像中的背景像素点的颜色信息进行调整(或者，可以对背景图像中的背景像素点虚化处理，如降低透明度)，并将背景图像中前景像素点移除，得到背景替换区域；可对背景替换区域以及该目标前景区域进行拼接，得到替换背景后的原始图像。通过根据目标背景概率对该背景图像进行调整，得到背景替换区域，使背景替换区域与目标前景区域能够更好的拼接，即使背景替换区域的颜色、大小分别与目标前景区域的颜色、大小更加契合，并使替换背景后的原始图像更加平滑、清晰。如图6中，原始图像中的人物仍然位于替换背景后的原始图像的前景图像区域中，背景图像中的草位于替换背景后的原始图像的背景图像区域中。
可选的，替换背景后的原始图像可以采用如下公式(3)表示。
Pr edfinal＝Pr ed*RAW+(1-Pr ed)*BACK (3)
其中，RAW可以是指原始图像，BACK可以是指背景图像，Predfinal表示替换背景后的原始图像，Pr ed*RAW表示通过原始图像的目标前景概率对原始图像进行分割得到的目标前景图像区域，(1-Pred)*BACK表示通过原始图像的目标背景概率对背景图像进行分割(即调整)得到的背景替换区域；Pr ed表示原始图像中所有像素点的目标前景概率所构成的目标前景概率矩阵。
在一个实施例中，该方法可包括如下步骤s61～s64。
s61、获取第一候选分割模型以及样本图像集，该样本图像集包括样本图像以及该样本图像中的像素点的标注区域类型概率。
s62、采用该第一候选分割模型对上述样本图像进行预测，得到该样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率。
s63、根据该第一预测区域类型概率以及该标注区域类型概率，对该第一候选分割模型进行调整。
s64、将调整后的第一候选分割模型确定为该第一分割模型。
在步骤s61～s64中，计算机设备可以对第一候选分割模型进行训练，得到第一分割模型，具体的，可以获取第一候选分割模型以及样本图像集，该样本图像集包括样本图像以及该样本图像中的像素点的标注区域类型概率；样本图像集中可包括具有多种目标对象的样本图像，如包括具有人物的样本图像、具有动物的样本图像以及具有建筑的样本图像等等；样本图像中的像素点的标注区域类型概率可以是指人工对样本图像进行标注得到的。进一步，可采用该第一候选分割模型对上述样本图像进行预测，得到该样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率，如果该第一预测区域类型概率与该标注区域类型概率比较接近，则表明该第一候选分割模型的预测准确度比较高；如果该第一预测区域类型概率与该标注区域类型概率相差比较大，则表明该第一候选分割模型的预测准确度比较低。因此，计算机设备可以根据该第一预测区域类型概率以及该标注区域类型概率，对该第一候选分割模型进行调整，将调整后的第一候选分割模型确定为该第一分割模型。通过对第一候选分割模型进行调整，可以提高第一候选分割模型的图像分割准确度。
可选的，上述步骤s63可包括如下步骤s71～s76。
s71、根据该第一预测区域类型概率以及该标注区域类型概率，确定该第一候选分割模型的原始损失值。
s72、获取该样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率。
s73、获取该样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率。
s74、根据该第一梯度变化率以及该第二梯度变化率，确定该第一候选分割模型的边界损失值。
s75、根据该边界损失值以及该原始损失值确定该第一候选分割模型的总损失值。
s76、若该总损失值不满足收敛条件，则根据该总损失值对该第一候选分割模型进行调整。
在步骤s71～s76中，如图7中，计算机设备可以根据该第一预测区域类型概率以及该标注区域类型概率，确定该第一候选分割模型的原始损失值，该原始损失值用于反映第一候选分割模型输出第一预测区域类型概率的准确度。进一步，可以获取该样本图像中的相邻像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率，获取该样本图像中相邻像素点的标注区域类型概率之间的变化率，作为第二梯度变化率。第一梯度变化率可用于反映第一预测区域类型概率之间变化快慢，通常样本图像的前景图像区域与背景图像区域之间的边界处的像素点的第一预测区域类型概率之间通常是缓慢变化的；因此，第一梯度变化率可用于体现第一候选分割模型对样本图像中的前景图像区域与背景图像区域之间的边界处的像素点的分割识别准确度。因此，可根据该第一梯度变化率以及该第二梯度变化率，确定该第一候选分割模型的边界损失值，即边界损失值用于反映第一候选分割模型的边界分割识别准确度；进一步，可根据该边界损失值以及该原始损失值确定该第一候选分割模型的总损失值。若该总损失值满足收敛条件，表明该第一候选分割模型的边界分割识别准确度以及输出的第一预测区域类型概率的准确度比较高，则可以将第一候选分割模型作为第一分割模型；若该总损失值不满足收敛条件，表明该第一候选分割模型的边界分割识别准确度以及输出的第一预测区域类型概率的准确度比较低，则根据该总损失值对该第一候选分割模型进行调整。通过边界损失值以及原始损失值对第一候选分割模型进行调整，得到第一分割模型，提高第一分割模型对图像的前景图像区域与背景图像区域的边界分割的准确度、以及清晰度。
可选的，该第一候选分割模型的总损失值可以采用如下公式(4)表示。
L1＝Lce+Lgrad (4)
在公式(4)中，L1表示第一候选分割模型的总损失值，Lce表示第一候选分割模型的原始损失值，Lgrad表示第一候选分割模型的边界损失值，也可以称为梯度损失值。
其中，第一候选分割模型的原始损失值Lce可以采用如下公式(5)表示。
Figure BDA0002599159150000241
在公式(5)中，pi表示样本图像的第i个像素点的标注区域类型概率，qi表示样本图像的第i个像素点的预测区域类型概率，K表示样本图像中的像素点的数量。
其中，第一候选分割模型的边界损失值Lgrad可以采用如下公式(6)表示。
Figure BDA0002599159150000242
在公式(6)中，G(qi)表示第一梯度变化率，即表示该样本图像中像素点的第一预测区域类型概率的梯度，G(pi)表示第二梯度变化率，即表示该样本图像中像素点的标注区域类型概率的梯度，S、ST分别表示样本图像中的像素点在x轴和y轴方向的梯度算子，ST为S的转置，S可以采用如下公式(7)表示。
Figure BDA0002599159150000251
可选的，该方法可包括如下步s81～s86。
s81、获取第二候选分割模型，以及目标预测区域类型概率，该目标预测区域类型概率为该第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率。
s82、根据该目标预测区域类型概率对该样本图像进行分割，得到该样本图像的前景图像区域以及背景图像区域。
s83、对该样本图像、该样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像。
s84、采用该第二候选分割模型对该样本重组图像进行预测，得到第二预测区域类型概率。
s85、根据该第二预测区域类型概率以及该标注区域类型概率对该第二候选分割模型进行调整。
s86、将调整后的第二候选分割模型确定为该第二分割模型。
在步骤s81～s86中，图8所示，在第一候选分割模型训练完成后，可以根据第一候选分割模型对第二候选分割模型进行训练。具体的，计算机设备可以获取第二候选分割模型，以及目标预测区域类型概率；该目标预测区域类型概率为该第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率，即该目标预测区域类型概率为第一候选分割模型的预测准确度比较高时，所输出的第一预测区域类型概率。可以根据该目标预测区域类型概率对该样本图像进行分割，得到该样本图像的前景图像区域以及背景图像区域，对该样本图像、该样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像。采用上述第二候选分割模型对上述样本重组图像进行预测，得到第二预测区域类型概率；如果该第二预测区域类型概率与该标注区域类型概率比较接近，则表明该第二候选分割模型的预测准确度比较高；如果该第二预测区域类型概率与该标注区域类型概率相差比较大，则表明该第二候选分割模型的预测准确度比较低。因此，根据该第二预测区域类型概率以及该标注区域类型概率对该第二候选分割模型进行调整，通过对第二分割模型进行调整，可以提高第二候选分割模型的图像分割准确度。
可选的，上述步骤s84包括如下步骤s88～s89。
s88、采用该第二候选分割模型对该样本重组图像进行预测，得到该样本重组图像中像素点的预测区域分割调整参数。
s89、采用该预测区域分割调整参数对该目标预测区域类型概率进行调整，得到第二预测区域类型概率。
上述步骤s88～s89中，计算机设备可以采用该第二候选分割模型对该样本重组图像进行预测，得到上述样本重组图像中像素点的预测区域分割调整参数；预测区域分割调整参数用于对第一候选分割模型输出的目标预测区域类型概率进行调整。然后，采用该预测区域分割调整参数对该目标预测区域类型概率进行调整，得到第二预测区域类型概率。
可选的，上述步骤s85可包括如下步骤s91～s92。
s91、根据该第二预测区域类型概率以及该标注区域类型概率，确定该第二候选分割模型的分割损失值。
s92、若该分割损失值不满足收敛条件，则根据该分割损失值对该第二候选分割模型进行调整。
在步骤s91～s92中，计算机设备可以根据该第二预测区域类型概率以及该标注区域类型概率，确定该第二候选分割模型的分割损失值，该分割损失值用于反映第二候选分割模型的图像分割准确度。因此，若该分割损失值满足收敛条件，表明第二候选分割模型的图像分割准确度比较高，则将第二候选分割模型作为第二分割模型。若该分割损失值不满足收敛条件，表明第二候选分割模型的图像分割准确度比较低，则根据该分割损失值对该第二候选分割模型进行调整；通过对第二候选分割模型进行调整，可以提高第二候选分割模型的图像分割准确度。
可选的，该第二候选分割模型的分割损失值可以采用如下公式(8)表示。
Figure BDA0002599159150000261
在公式(8)中，wi、pi分别表示样本图像中第i个像素点的第二预测区域类型概率以及标注区域类型概率，L2表示该第二候选分割模型的分割损失值。
请参见图9，是本申请实施例提供的一种图像处理装置的结构示意图。上述图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该图像处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示，该图像处理装置可以包括：识别模块901、分割模块903、重组模块902、调整模块903、预测模块904、确定模块905以及获取模块906。
识别模块901，用于采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
重组模块902，用于对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
所述识别模块901，还用于采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，所述识别模块采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域的具体实现方式包括：
采用所述第一分割模型对所述原始图像进行分割识别，得到所述原始图像中的像素点的候选区域类型概率；
根据所述候选区域类型概率对所述原始图像进行分割处理，得到所述原始图像的候选前景图像区域和候选背景图像区域。
可选的，上述第一分割模型包括特征提取层以及分割层；
可选的，识别模块901采用第一分割模型对上述原始图像进行分割识别，得到上述原始图像中的像素点的候选区域类型概率的具体实现方式包括：
采用上述特征提取层对上述原始图像进行特征提取，得到上述原始图像中的像素点的结构特征信息以及语义特征信息；
采用上述分割层对上述结构特征信息以及上述语义特征信息进行分割识别，得到上述原始图像中的像素点的候选区域类型概率。
重组模块902对上述候选前景图像区域、上述候选背景图像区域以及上述原始图像进行重组，得到重组图像的具体实现方式包括：
对上述候选背景图像区域与上述原始图像进行融合，得到第一融合图像；
对上述候选前景图像区域与上述原始图像进行融合，得到第二融合图像；
对上述候选前景图像区域与上述候选背景图像区域进行融合，得到第三融合图像；
对上述原始图像、上述第一融合图像、上述第二融合图像以及上述第三融合图像进行融合，得到上述重组图像。
可选的，所述识别模块901采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
采用所述第二分割模型对所述重组图像进行区域分割识别，得到所述重组图像中的像素点的区域分割调整参数；
根据所述区域分割调整参数以及所述候选区域类型概率，对所述原始图像进行调整分割处理，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述识别模块901根据上述区域分割调整参数以及上述候选区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率；
根据上述目标区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；上述候选区域类型概率包括候选前景概率以及候选背景概率；
上述识别模块903根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率的具体实现方式包括：
采用上述前景分割调整参数、上述背景分割调整参数，对上述候选前景概率以及上述候选背景概率进行加权求和，得到概率和；
根据上述概率和以及上述偏移值，生成目标前景概率；根据上述目标前景概率获取目标背景概率；
根据上述目标前景概率以及上述目标背景概率，确定上述目标区域类型概率。
可选的，上述获取模块906，还用于获取背景图像；
上述装置还包括：调整模块903，用于根据上述目标背景概率对上述背景图像进行调整，得到背景替换区域；
调整模块903，用于对上述背景替换区域以及上述目标前景区域进行拼接，得到替换背景后的原始图像。
可选的，上述获取模块906，还用于获取第一候选分割模型以及样本图像集，上述样本图像集包括样本图像以及上述样本图像中的像素点的标注区域类型概率；
上述装置还包括：预测模块904，用于采用上述第一候选分割模型对上述样本图像进行预测，得到上述样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率；
可选的，上述调整模块903，还用于根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整；
确定模块905，用于将调整后的第一候选分割模型确定为上述第一分割模型。
可选的，上述调整模块903根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整的具体实现方式包括：
根据上述第一预测区域类型概率以及上述标注区域类型概率，确定上述第一候选分割模型的原始损失值；
获取上述样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率；
获取上述样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率；
根据上述第一梯度变化率以及上述第二梯度变化率，确定上述第一候选分割模型的边界损失值；
根据上述边界损失值以及上述原始损失值确定上述第一候选分割模型的总损失值；
若上述总损失值不满足收敛条件，则根据上述总损失值对上述第一候选分割模型进行调整。
可选的，获取模块906，还用于获取第二候选分割模型，以及目标预测区域类型概率，上述目标预测区域类型概率为上述第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率；
上述分割模块903，还用于根据上述目标预测区域类型概率对上述样本图像进行分割，得到上述样本图像的前景图像区域以及背景图像区域；
上述重组模块902，还用于对上述样本图像、上述样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像；
上述预测模块904，还用于采用上述第二候选分割模型对上述样本重组图像进行预测，得到第二预测区域类型概率；
上述调整模块903，还用于根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整；
上述确定模块905，还用于将调整后的第二候选分割模型确定为上述第二分割模型。
可选的，上述预测模块904采用所述第二候选分割模型对所述样本重组图像进行预测，得到第二预测区域类型概率的具体方式包括：
采用上述第二候选分割模型对上述样本重组图像进行预测，得到上述样本重组图像中像素点的预测区域分割调整参数；
采用上述预测区域分割调整参数对上述目标预测区域类型概率进行调整，得到第二预测区域类型概率。
可选的，上述调整模块903根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整的具体实现方式包括：
根据上述第二预测区域类型概率以及上述标注区域类型概率，确定上述第二候选分割模型的分割损失值；
若上述分割损失值不满足收敛条件，则根据上述分割损失值对上述第二候选分割模型进行调整。
本申请，通过第一分割模型对原始图像进行候选分割识别，得到原始图像的候选背景图像区域和候选背景图像区域；即通过第一分割模型可实现对原始图像的初步分割处理。进一步，可以通过对原始图像、候选背景图像区域和候选背景图像区域进行重组，得到重组图像，可实现对原始图像在初步分割处理过程所丢失的边界信息进行补偿，有利于对原始图像进行优化分割处理过程提供丰富的信息量；使原始图像的背景图像区域与前景图像区域之间的边界更加平滑、清晰，提高对原始图像分割的准确度。在计算机设备获取到重组图像后，可以采用第二分割模型对该重组图像进行区域分割识别，得到该原始图像的目标前景图像区域和目标背景图像区域。即通过第一分割模型为第二分割模型提供分割先验信息，即此处分割先验信息可以是指候选区域类型概率、候选背景图像区域以及候选前景图像区域，通过第二分割模型对第一分割模型的分割结果进行优化处理，可提高图像分割的准确度。
根据本申请的一个实施例，图3所示的图像处理方法所涉及的步骤可由图9所示的图像处理装置中的模块来执行。例如，图3中所示的步骤S101以及S103可由图9中的识别模块901来执行，图3中所示的步骤S102可由图9中的重组模块902来执行。
根据本申请的一个实施例，图9所示的图像处理装置中的模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本申请的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算机设备上运行能够执行如图3以及图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图9中所示的图像处理装置，以及来实现本申请实施例的图像处理方法。上述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
请参见图10，是本申请实施例提供的一种计算机设备的结构示意图。如图10所示，上述计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；
采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域的具体方式包括：
采用第一分割模型对上述原始图像进行分割识别，得到上述原始图像中的像素点的候选区域类型概率；
根据上述候选区域类型概率对上述原始图像进行分割处理，得到上述原始图像的候选前景图像区域和候选背景图像区域。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域的具体实现方式包括：
采用第二分割模型对上述重组图像进行区域分割识别，得到上述重组图像中的像素点的区域分割调整参数；
根据上述区域分割调整参数以及上述候选区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述第一分割模型包括特征提取层以及分割层，上述采用第一分割模型对上述原始图像进行分割识别，得到上述原始图像中的像素点的候选区域类型概率的具体方式包括：
采用上述特征提取层对上述原始图像进行特征提取，得到上述原始图像中的像素点的结构特征信息以及语义特征信息；
采用上述分割层对上述结构特征信息以及上述语义特征信息进行分割识别，得到上述原始图像中的像素点的候选区域类型概率。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述对上述候选前景图像区域、上述候选背景图像区域以及上述原始图像进行重组，得到重组图像的具体方式包括：
对上述候选背景图像区域与上述原始图像进行融合，得到第一融合图像；
对上述候选前景图像区域与上述原始图像进行融合，得到第二融合图像；
对上述候选前景图像区域与上述候选背景图像区域进行融合，得到第三融合图像；
对上述原始图像、上述第一融合图像、上述第二融合图像以及上述第三融合图像进行融合，得到上述重组图像。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述根据上述区域分割调整参数以及上述候选区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域的具体方式包括：
根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率；
根据上述目标区域类型概率，对上述原始图像进行调整分割处理，得到上述原始图像的目标前景图像区域和目标背景图像区域。
可选的，上述区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；上述候选区域类型概率包括候选前景概率以及候选背景概率；处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述根据上述区域分割调整参数对上述候选区域类型概率进行调整，得到目标区域类型概率的具体方式包括：
采用上述前景分割调整参数、上述背景分割调整参数，对上述候选前景概率以及上述候选背景概率进行加权求和，得到概率和；
根据上述概率和以及上述偏移值，生成目标前景概率；根据上述目标前景概率获取目标背景概率；
根据上述目标前景概率以及上述目标背景概率，确定上述目标区域类型概率。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取背景图像；
根据上述目标背景概率对上述背景图像进行调整，得到背景替换区域；
对上述背景替换区域以及上述目标前景区域进行拼接，得到替换背景后的原始图像。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取第一候选分割模型以及样本图像集，上述样本图像集包括样本图像以及上述样本图像中的像素点的标注区域类型概率；
采用上述第一候选分割模型对上述样本图像进行预测，得到上述样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率；
根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整；
将调整后的第一候选分割模型确定为上述第一分割模型。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述根据上述第一预测区域类型概率以及上述标注区域类型概率，对上述第一候选分割模型进行调整的具体方式包括：
根据上述第一预测区域类型概率以及上述标注区域类型概率，确定上述第一候选分割模型的原始损失值；
获取上述样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率；
获取上述样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率；
根据上述第一梯度变化率以及上述第二梯度变化率，确定上述第一候选分割模型的边界损失值；
根据上述边界损失值以及上述原始损失值确定上述第一候选分割模型的总损失值；
若上述总损失值不满足收敛条件，则根据上述总损失值对上述第一候选分割模型进行调整。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取第二候选分割模型，以及目标预测区域类型概率，上述目标预测区域类型概率为上述第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率；
根据上述目标预测区域类型概率对上述样本图像进行分割，得到上述样本图像的前景图像区域以及背景图像区域；
对上述样本图像、上述样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像；
采用上述第二候选分割模型对上述样本重组图像进行预测，得到第二预测区域类型概率；
根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整；
将调整后的第二候选分割模型确定为上述第二分割模型。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述采用上述第二候选分割模型对上述样本重组图像进行预测，得到第二预测区域类型概率的具体实现方式包括：
采用上述第二候选分割模型对上述样本重组图像进行预测，得到上述样本重组图像中像素点的预测区域分割调整参数；
采用上述预测区域分割调整参数对上述目标预测区域类型概率进行调整，得到第二预测区域类型概率。
可选的，处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现上述根据上述第二预测区域类型概率以及上述标注区域类型概率对上述第二候选分割模型进行调整的具体实现方式包括：
根据上述第二预测区域类型概率以及上述标注区域类型概率，确定上述第二候选分割模型的分割损失值；
若上述分割损失值不满足收敛条件，则根据上述分割损失值对上述第二候选分割模型进行调整。
本申请，通过第一分割模型对原始图像进行候选分割识别，得到原始图像的候选背景图像区域和候选背景图像区域；即通过第一分割模型可实现对原始图像的初步分割处理。进一步，可以通过对原始图像、候选背景图像区域和候选背景图像区域进行重组，得到重组图像，可实现对原始图像在初步分割处理过程所丢失的边界信息进行补偿，有利于对原始图像进行优化分割处理过程提供丰富的信息量；使原始图像的背景图像区域与前景图像区域之间的边界更加平滑、清晰，提高对原始图像分割的准确度。在计算机设备获取到重组图像后，可以采用第二分割模型对该重组图像进行区域分割识别，得到该原始图像的目标前景图像区域和目标背景图像区域。即通过第一分割模型为第二分割模型提供分割先验信息，即此处分割先验信息可以是指候选区域类型概率、候选背景图像区域以及候选前景图像区域，通过第二分割模型对第一分割模型的分割结果进行优化处理，可提高图像分割的准确度。
应当理解，本申请实施例中所描述的计算机设备1000可执行前文图3以及所对应实施例中对上述图像处理方法的描述，也可执行前文图9所对应实施例中对上述图像处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且上述计算机可读存储介质中存储有前文提及的图像处理装置所执行的计算机程序，且上述计算机程序包括程序指令，当上述处理器执行上述程序指令时，能够执行前文图3对应实施例中对上述图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
作为示例，上述程序指令可被部署在一个计算机设备上执行，或者被部署位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁盘、光盘、只读存储器(Read-Only Memory，ROM)或随机存储器(Random Access Memory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；所述重组是指对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像中同一位置处的像素点进行叠加；
采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
2.如权利要求1所述的方法，其特征在于，所述采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域，包括：
采用所述第一分割模型对所述原始图像进行分割识别，得到所述原始图像中的像素点的候选区域类型概率；
根据所述候选区域类型概率对所述原始图像进行分割处理，得到所述原始图像的候选前景图像区域和候选背景图像区域。
3.如权利要求2所述的方法，其特征在于，所述第一分割模型包括特征提取层以及分割层，所述采用第一分割模型对所述原始图像进行分割识别，得到所述原始图像中的像素点的候选区域类型概率，包括：
采用所述特征提取层对所述原始图像进行特征提取，得到所述原始图像中的像素点的结构特征信息以及语义特征信息；
采用所述分割层对所述结构特征信息以及所述语义特征信息进行分割识别，得到所述原始图像中的像素点的候选区域类型概率。
4.如权利要求1所述的方法，其特征在于，所述对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像，包括：
对所述候选背景图像区域与所述原始图像进行融合，得到第一融合图像；
对所述候选前景图像区域与所述原始图像进行融合，得到第二融合图像；
对所述候选前景图像区域与所述候选背景图像区域进行融合，得到第三融合图像；
对所述原始图像、所述第一融合图像、所述第二融合图像以及所述第三融合图像进行融合，得到所述重组图像。
5.如权利要求2或3所述的方法，其特征在于，所述采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域，包括：
采用所述第二分割模型对所述重组图像进行区域分割识别，得到所述重组图像中的像素点的区域分割调整参数；
根据所述区域分割调整参数以及所述候选区域类型概率，对所述原始图像进行调整分割处理，得到所述原始图像的目标前景图像区域和目标背景图像区域。
6.如权利要求5所述的方法，其特征在于，所述根据所述区域分割调整参数以及所述候选区域类型概率，对所述原始图像进行调整分割处理，得到所述原始图像的目标前景图像区域和目标背景图像区域，包括：
根据所述区域分割调整参数对所述候选区域类型概率进行调整，得到目标区域类型概率；
根据所述目标区域类型概率，对所述原始图像进行调整分割处理，得到所述原始图像的目标前景图像区域和目标背景图像区域。
7.如权利要求6所述的方法，其特征在于，所述区域分割调整参数包括前景分割调整参数、背景分割调整参数以及偏移值；所述候选区域类型概率包括候选前景概率以及候选背景概率；
所述根据所述区域分割调整参数对所述候选区域类型概率进行调整，得到目标区域类型概率，包括：
采用所述前景分割调整参数、所述背景分割调整参数，对所述候选前景概率以及所述候选背景概率进行加权求和，得到概率和；
根据所述概率和以及所述偏移值，生成目标前景概率；根据所述目标前景概率获取目标背景概率；
根据所述目标前景概率以及所述目标背景概率，确定所述目标区域类型概率。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
获取背景图像；
根据所述目标背景概率对所述背景图像进行调整，得到背景替换区域；
对所述背景替换区域以及所述目标前景区域进行拼接，得到替换背景后的原始图像。
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一候选分割模型以及样本图像集，所述样本图像集包括样本图像以及所述样本图像中的像素点的标注区域类型概率；
采用所述第一候选分割模型对所述样本图像进行预测，得到所述样本图像中的像素点的预测区域类型概率，作为第一预测区域类型概率；
根据所述第一预测区域类型概率以及所述标注区域类型概率，对所述第一候选分割模型进行调整；
将调整后的第一候选分割模型确定为所述第一分割模型。
10.如权利要求9所述的方法，其特征在于，所述根据所述第一预测区域类型概率以及所述标注区域类型概率，对所述第一候选分割模型进行调整，包括：
根据所述第一预测区域类型概率以及所述标注区域类型概率，确定所述第一候选分割模型的原始损失值；
获取所述样本图像中像素点的第一预测区域类型概率之间的变化率，作为第一梯度变化率；
获取所述样本图像中像素点的标注区域类型概率之间的变化率，作为第二梯度变化率；
根据所述第一梯度变化率以及所述第二梯度变化率，确定所述第一候选分割模型的边界损失值；
根据所述边界损失值以及所述原始损失值确定所述第一候选分割模型的总损失值；
若所述总损失值不满足收敛条件，则根据所述总损失值对所述第一候选分割模型进行调整。
11.如权利要求10所述的方法，其特征在于，所述方法还包括：
获取第二候选分割模型，以及目标预测区域类型概率，所述目标预测区域类型概率为所述第一候选分割模型的总损失值处于收敛状态时，所输出的第一预测区域类型概率；
根据所述目标预测区域类型概率对所述样本图像进行分割，得到所述样本图像的前景图像区域以及背景图像区域；
对所述样本图像、所述样本图像的前景图像区域以及背景图像区域进行重组处理，得到样本重组图像；
采用所述第二候选分割模型对所述样本重组图像进行预测，得到第二预测区域类型概率；
根据所述第二预测区域类型概率以及所述标注区域类型概率对所述第二候选分割模型进行调整；
将调整后的第二候选分割模型确定为所述第二分割模型。
12.如权利要求11所述的方法，其特征在于，所述采用所述第二候选分割模型对所述样本重组图像进行预测，得到第二预测区域类型概率，包括：
采用所述第二候选分割模型对所述样本重组图像进行预测，得到所述样本重组图像中像素点的预测区域分割调整参数；
采用所述预测区域分割调整参数对所述目标预测区域类型概率进行调整，得到第二预测区域类型概率。
13.如权利要求11或12所述的方法，其特征在于，所述根据所述第二预测区域类型概率以及所述标注区域类型概率对所述第二候选分割模型进行调整，包括：
根据所述第二预测区域类型概率以及所述标注区域类型概率，确定所述第二候选分割模型的分割损失值；
若所述分割损失值不满足收敛条件，则根据所述分割损失值对所述第二候选分割模型进行调整。
14.一种图像处理装置，其特征在于，包括：
识别模块，用于采用第一分割模型对原始图像进行候选分割识别，得到所述原始图像的候选前景图像区域和候选背景图像区域；
重组模块，用于对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像进行重组，得到重组图像；所述重组图像中的像素点与所述原始图像中的像素点之间具有一一对应关系；所述重组是指对所述候选前景图像区域、所述候选背景图像区域以及所述原始图像中同一位置处的像素点进行叠加；
所述识别模块，还用于采用第二分割模型对所述重组图像进行区域分割识别，得到所述原始图像的目标前景图像区域和目标背景图像区域。
15.一种计算机设备，其特征在于，包括：处理器、存储器以及网络接口；
所述处理器与存储器、网络接口相连，其中，网络接口用于提供数据通信功能，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至13任一项所述的方法。
CN202010718692.9A 2020-07-23 2020-07-23 图像处理方法、装置及设备 Active CN111768425B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010718692.9A CN111768425B (zh) 2020-07-23 2020-07-23 图像处理方法、装置及设备
PCT/CN2021/104481 WO2022017163A1 (zh) 2020-07-23 2021-07-05 图像处理方法、装置、设备及存储介质
EP21846696.9A EP4092623A4 (en) 2020-07-23 2021-07-05 IMAGE PROCESSING APPARATUS AND METHOD, DEVICE AND STORAGE MEDIA
US17/887,994 US20220398742A1 (en) 2020-07-23 2022-08-15 Image processing method and apparatus, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010718692.9A CN111768425B (zh) 2020-07-23 2020-07-23 图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111768425A CN111768425A (zh) 2020-10-13
CN111768425B true CN111768425B (zh) 2021-08-10

Family

ID=72727075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010718692.9A Active CN111768425B (zh) 2020-07-23 2020-07-23 图像处理方法、装置及设备

Country Status (4)

Country Link
US (1) US20220398742A1 (zh)
EP (1) EP4092623A4 (zh)
CN (1) CN111768425B (zh)
WO (1) WO2022017163A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768425B (zh) * 2020-07-23 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置及设备
CN111951157A (zh) * 2020-09-02 2020-11-17 深圳传音控股股份有限公司 图像处理方法、设备及存储介质
CN112966730A (zh) * 2021-03-01 2021-06-15 创新奇智(上海)科技有限公司 车辆伤损识别方法、装置、设备及存储介质
CN113012188A (zh) * 2021-03-23 2021-06-22 影石创新科技股份有限公司 图像融合方法、装置、计算机设备和存储介质
CN113486716B (zh) * 2021-06-04 2022-06-14 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其***
CN113724276B (zh) * 2021-08-04 2024-05-28 香港中文大学（深圳） 一种息肉图像的分割方法和装置
CN114419321B (zh) * 2022-03-30 2022-07-08 珠海市人民医院 一种基于人工智能的ct图像心脏分割方法及***
CN114926491B (zh) * 2022-05-11 2024-07-09 北京字节跳动网络技术有限公司 一种抠图方法、装置、电子设备及存储介质
CN115761152B (zh) * 2023-01-06 2023-06-23 深圳星坊科技有限公司 普通光源下图像处理及三维重建方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846336A (zh) * 2017-02-06 2017-06-13 腾讯科技（上海）有限公司 提取前景图像、替换图像背景的方法及装置
CN108038857A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
CN108734712A (zh) * 2017-04-18 2018-11-02 北京旷视科技有限公司 背景分割的方法、装置及计算机存储介质
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111292333A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、***、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100725192B1 (ko) * 1999-12-28 2007-06-08 소니 가부시끼 가이샤 신호 처리 장치 및 방법, 및 기록 매체
US20030156759A1 (en) * 2002-02-19 2003-08-21 Koninklijke Philips Electronics N.V. Background-foreground segmentation using probability models that can provide pixel dependency and incremental training
US20130308856A1 (en) * 2012-01-12 2013-11-21 Google Inc. Background Detection As An Optimization For Gesture Recognition
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
US10504259B2 (en) * 2017-04-24 2019-12-10 Intel Corporation Separately processing regions or objects or interest from a render engine to a display engine or a display panel
CN110458830B (zh) * 2019-03-08 2021-02-09 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN110544258B (zh) * 2019-08-30 2021-05-25 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质
CN110956654B (zh) * 2019-12-02 2023-09-19 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN111127486B (zh) * 2019-12-25 2023-09-08 Oppo广东移动通信有限公司 图像分割方法、装置、终端及存储介质
CN111768425B (zh) * 2020-07-23 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846336A (zh) * 2017-02-06 2017-06-13 腾讯科技（上海）有限公司 提取前景图像、替换图像背景的方法及装置
CN108734712A (zh) * 2017-04-18 2018-11-02 北京旷视科技有限公司 背景分割的方法、装置及计算机存储介质
CN108038857A (zh) * 2017-12-25 2018-05-15 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
CN111292333A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于分割图像的方法和装置
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111369582A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 图像分割方法、背景替换方法、装置、设备及存储介质
CN111428726A (zh) * 2020-06-10 2020-07-17 中山大学 基于图神经网络的全景分割方法、***、设备及存储介质

Also Published As

Publication number Publication date
EP4092623A1 (en) 2022-11-23
WO2022017163A1 (zh) 2022-01-27
US20220398742A1 (en) 2022-12-15
EP4092623A4 (en) 2023-08-30
CN111768425A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111768425B (zh) 图像处理方法、装置及设备
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
KR20210074360A (ko) 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
US20220222796A1 (en) Image processing method and apparatus, server, and storage medium
EP4137991A1 (en) Pedestrian re-identification method and device
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN111738280A (zh) 一种图像识别方法、装置、设备及可读存储介质
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN110852940A (zh) 一种图像处理方法及相关设备
CN116630514A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN117095019A (zh) 一种图像分割方法及相关装置
CN115171199A (zh) 图像处理方法、装置及计算机设备、存储介质
CN117540221B (zh) 图像处理方法和装置、存储介质及电子设备
CN114972010A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113011320B (zh) 视频处理方法、装置、电子设备及存储介质
CN111597361B (zh) 多媒体数据处理方法、装置、存储介质及设备
CN113409803A (zh) 语音信号处理方法、装置、存储介质及设备
CN113822117B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114333069A (zh) 对象的姿态处理方法、装置、设备及存储介质
CN115965839A (zh) 图像识别方法、存储介质及设备
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
CN118101862B (zh) 图像处理方法、装置、设备及存储介质
CN115564803B (zh) 一种动画处理方法、装置、设备、存储介质及产品
CN115294333A (zh) 一种图像处理方法、相关设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030849

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant