CN114372931A - 一种目标对象虚化方法、装置、存储介质及电子设备 - Google Patents
一种目标对象虚化方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114372931A CN114372931A CN202111666234.6A CN202111666234A CN114372931A CN 114372931 A CN114372931 A CN 114372931A CN 202111666234 A CN202111666234 A CN 202111666234A CN 114372931 A CN114372931 A CN 114372931A
- Authority
- CN
- China
- Prior art keywords
- light spot
- value
- map
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 217
- 230000011218 segmentation Effects 0.000 claims abstract description 73
- 238000009877 rendering Methods 0.000 claims abstract description 42
- 230000001965 increasing effect Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 47
- 238000013459 approach Methods 0.000 abstract description 3
- 230000011514 reflex Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000001502 supplementing effect Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000149 penetrating effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004584 weight gain Effects 0.000 description 2
- 235000019786 weight gain Nutrition 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001139947 Mida Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种目标对象虚化方法、装置、存储介质及电子设备，该目标对象虚化方法包括：获取待虚化的图像；基于所述图像得到所述目标对象的分割图和背景分割图；对所述背景分割图进行光斑点检测得到光斑点检测图，并根据所述光斑点检测图得到光斑点权重图；基于所述光斑点权重图得到背景光斑虚化渲染图；将所述背景光斑虚化渲染图和所述目标对象的分割图进行融合，得到目标对象光斑虚化渲染图。通过本申请的一些实施例的目标对象虚化方法可以使得虚化效果更加自然、光斑更清晰使得模拟的光斑效果逼近单反的拍摄效果。
Description
技术领域
本申请涉及图像虚化领域，具体而言本申请实施例涉及一种目标对象虚化方法、装置、存储介质及电子设备。
背景技术
随着电子设备(例如，手机等移动端电子设备)的更新迭代，用户对电子设备的摄像功能的需求日益增多且对拍摄的图片的质量要求也更高。例如，用户采用手机上的人像虚化拍摄模式拍摄图像时要求拍摄得到的图像具有高质量的虚化效果。
相关技术中基于移动端(例如，手机等电子设备)的人像视频或图像虚化技术是通过计算机视觉算法来对拍摄的图像进行渲染处理，进而使得渲染后的图像能够实现更好的人像虚化拍摄效果。而目前手机等电子设备上的人像虚化效果(或者对其他物品或对象的虚化效果)存在较多技术缺陷，例如，采用计算机算法后得到的人像虚化效果不美观、虚化后图像上光斑模糊不清晰等问题。
因此如何提升电子设备对图像的虚化效果成了亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种目标对象虚化方法、装置、存储介质及电子设备，通过本申请的一些实施例的目标对象虚化方法可以使得电子设备拍摄输出的目标对象图像的虚化效果更加自然、光斑更清晰，使得虚化后模拟的光斑效果逼近单反的拍摄效果。
第一方面，本申请的一些实施例提供一种目标对象虚化方法，所述目标对象虚化方法包括：获取待虚化的图像，其中，所述图像包括目标对象；基于所述图像得到所述目标对象的分割图和背景分割图；对所述背景分割图进行光斑点检测得到光斑点检测图，并根据所述光斑点检测图得到光斑点权重图，其中，所述光斑点检测图包括光斑点和非光斑点，所述光斑点权重图用于表征任一光斑点的权重值和非光斑点的权重值，所述任一光斑点的权重值大于与所述任一光斑点对应邻域内的各非光斑点的权重值；基于所述光斑点权重图得到背景光斑虚化渲染图；将所述背景光斑虚化渲染图和所述目标对象的分割图进行融合，得到目标对象光斑虚化渲染图。
本申请的一些实施例通过基于获取的光斑点权重图来对背景分割图进行光斑渲染，提升得到的目标对象光斑虚化渲染图的光斑显示效果，使图像上的光斑更加清晰、通透和明亮，生成明显的光斑形态具有单反的光斑拍摄效果。
在一些实施例中，所述对所述背景分割图进行光斑点检测得到光斑点检测图，包括：基于所述背景分割图中的每个像素点的多个通道中的最大值得到单通道图；对所述单通道图进行光斑点检测，得到所述光斑点检测图，其中，所述光斑点检测图上与光斑点对应像素点的像素值为所述单通道图上对应像素点的像素值，所述光斑点检测图上与非光斑点对应像素点的像素值为0。
本申请的一些实施例通过从多通道中选取各像素点的最大值得到单通道图，之后再基于该单通道图进行光斑的点筛选检测，可以提升得到的候选光斑点的准确性。
在一些实施例中，所述对所述单通道图进行光斑点检测得到所述光斑点检测图，包括：若所述单通道图上任一像素点的属性值大于或等于第一阈值，且所述单通道图上与所述任一像素点对应的邻域内各像素点的属性值小于或等于第二阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第二阈值小于所述第一阈值，所述属性值包括像素值或者归一化像素值，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
本申请的一些实施例根据光斑属性(即位于显示光斑中心(即光斑点)的像素值或者归一化像素值大而位于该显示光斑边缘部分的点的像素值或者归一化像素值较中心值小)从单通道图上查找候选光斑点(即显示光斑图形的中心点)，提升了得到的光斑点的准确性。
在一些实施例中，所述对所述单通道图进行光斑点检测得到所述光斑点检测图，包括：对所述单通道图上各像素点的像素值进行模糊化处理，得到模糊单通道图像；若所述单通道图上任一像素点的属性值大于第三阈值，且所述模糊单通道图上所述任一像素点的属性值小于第四阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第三阈值大于第四阈值，所述属性值包括像素值或者归一化像素值，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
本申请的一些实施例通过首先对单通道图进行模糊化处理后，再根据同一像素点在模糊图(即模糊单通道图)和非模糊图(即单通道图)上的权重值(即归一化像素值)或者像素值的大小属性来查找光斑点检测图上的光斑点，在提升了得到的候选光斑点准确性的同时还提升了数据处理的速度。
在一些实施例中，所述根据所述光斑点检测图得到所述光斑点权重图，包括：对所述光斑点检测图进行稀疏化操作，得到稀疏化光斑点检测图；根据所述稀疏化光斑点检测图得到所述光斑点权重图。
本申请的一些实施例将得到的整个光斑点检测图进行稀疏化，以防止后续渲染出现大片光斑成团区域出现过曝和没有层次感的问题，有效改善虚化后图像上光斑的显示效果。
在一些实施例中，所述对所述光斑点检测图进行稀疏化操作，包括：对所述光斑点检测图包括的稠密区域进行稀疏化操作。
本申请的一些实施例将光斑点检测图上的光斑点密集聚集区域进行稀疏化，一方面可以防止后续渲染出现大片光斑成团区域出现过曝和没有层次感的问题，有效改善虚化后图像上光斑的显示效果，另一方面可以降低计算量提升数据处理速度。
在一些实施例中，在对所述光斑点检测图包括的稠密区域进行稀疏化操作之前，所述目标对象虚化方法还包括：将所述光斑点检测图分成多个子图；获取所述多个子图中各子图上质心的坐标；在所述光斑点检测图上分别以各质心为中心，求解与各中心对应设置邻域内包括的非零值像素点的总数目；根据所述总数目从所述多个子图中确定所述稠密区域。
本申请的一些实施例根据质心相关的算法确认光斑点检测图上包括的一个或多个稠密区域，之后仅对稠密区域进行稀疏化操作，可以提升稀疏化操作的处理速度。
在一些实施例中，所述根据所述稀疏化光斑点检测图得到所述光斑点权重图，包括：根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值的增大操作，得到孤立点增大光斑点检测图；根据所述孤立点增大光斑点检测图得到所述光斑点权重图。
本申请的一些实施例会对稀疏化光斑检测图上包括的孤立的光斑点(即离散稀疏点)进行补点操作即提升这些点的像素值或者归一化像素值(即权重值)，从而使得离散的光斑更加高亮提升光斑显示效果。
在一些实施例中，所述根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值的增大操作，包括：若确认所述光斑点检测图上至少一个像素点属于离散稀疏点，则增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值，并增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值。
本申请的一些实施例首先通过光斑点检测图识别离散稀疏点(即孤立光斑点)，并增加稀疏化光斑点检测图上的离散稀疏点对应像素点及其邻域内像素点的权重值(即归一化像素值)或者像素值，这样可以提升离散稀疏点对应的光斑显示的层次性，进而提升与离散稀疏点对应光斑的显示效果。
在一些实施例中，针对任一离散稀疏点，所述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值，包括：将所述稀疏化光斑检测图上与所述任一离散稀疏点对应的像素点的值替换为中心增大值，其中，所述中心增大值是在所述光斑点检测图上与所述任一离散稀疏点对应的像素点的值，其中，所述像素点的值包括像素值或者归一化像素值。
本申请的一些实施例将稀疏化光斑点检测图上的离散稀疏点对应像素点的值替换为光斑点检测图上相同像素点的值，实现离散稀疏点的权重值增大操作即对稀疏化的离散点进行权重增益，可以有效避免后续无法回复与离散稀疏点对应的光斑的显示效果。
在一些实施例中，所述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值，包括：将所述稀疏化光斑点检测图上与所述任一离散稀疏点对应邻域内的各像素点的值替换为边缘增大值，其中，所述边缘增大值为小于所述中心增大值且大于零的值。
本申请的一些实施例将稀疏化光斑检测图上对于离散稀疏点邻域内各像素点的值增加至小于该离散稀疏点对应像素点的值，可以有效改善该离散稀疏点对应光斑的显示效果，使得虚化光斑效果更加明亮、通透和锐利。
在一些实施例中，所述根据所述光斑点权重图进行光斑渲染得到背景光斑虚化渲染图，包括：将所述图像进行饱和度增强得到饱和度增强图像；对所述饱和度增强图像进行分割得到饱和度增强背景分割图；对所述饱和度增强背景分割图进行背景拉伸得到拉伸背景分割图；根据所述拉伸背景分割图进行光斑区域亮度增益处理得到待渲染的背景图像；获取深度估计图；根据所述待渲染的背景图像、所述光斑点权重图以及所述深度估计图得到所述背景光斑虚化渲染图。
本申请的一些实施例通过背景拉伸和亮度增益处理能增益光斑的效果，使得虚化后光斑显示效果更好。
第二方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。
第三方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。
第四方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的目标对象虚化***示意图；
图2为本申请实施例提供的目标对象虚化方法的流程图之一；
图3为本申请实施例提供的目标对象虚化方法的流程图之二；
图4为本申请实施例提供的目标对象虚化装置的组成框图；
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
相关技术中，基于移动端(例如，手机等电子设备)的图像虚化技术主要包括人像分割技术和模拟景深渲染技术，人像(即作为目标对象的一个具体示例)分割技术目前主流方法以深度学习模型为主，模拟景深虚化渲染技术主要通过类似高斯模糊的方法来进行仿真，而目前移动端(例如，手机)上的目标对象虚化效果(例如，人像虚化效果)存在较多效果问题，诸如虚化效果不美观、光斑模糊不清晰等问题，本申请的一些实施例至少能够解决目标对象虚化时光斑模糊的问题，也就是说采用本申请的一些实施例的目标对象虚化方法对人像背景进行虚化后生成的图像上显示的光斑更加清晰、通透和明亮。
请参看图1，图1为本申请的一些实施例提供一种目标对象虚化***100，在该***100中包括手机终端10以及服务器20，其中，手机终端10具有图像拍摄单元11，在本申请的一些实施例中可以通过该图像拍摄单元11拍摄一张待虚化的图像21(例如，待虚化人像图像)，之后该手机终端10将待虚化的图像21发送给服务器20。服务器20可以对接收到的待虚化图像进行背景虚化操作，得到具有较好光斑虚化效果的目标对象光斑虚化渲染图并将该图反馈给手机终端10，至此手机终端10就得到一张具有良好光斑显示效果的目标对象光斑虚化渲染图。需要说明的是，手机终端10的摄像头11位于手机的背面，在另一些实施例中该摄像头也可以位于手机终端10的正面等其他位置，本申请实施例并不限定图像拍摄单元11在手机终端10上的具***置。
手机终端10可以为任一类型的具有图像拍摄功能的电子设备，例如，该手机终端10也可以为具有图像拍摄功能的笔记本电脑等，本申请的实施例对此不作限定。
服务器20与手机终端10之间通过有线网络(图中未示出)或者无线网络进行连接，并通过该连接来传输待虚化图像和目标对象光斑虚化渲染图。
需要说明的是，在本申请的一些实施例中，手机终端10也可以利用自身的处理器来执行对待虚化的图像的虚化操作，进而得到目标对象光斑虚化渲染图，可以理解的是，在这些实施例中手机终端10不向用户输出未虚化的图，而是通过手机终端10的处理器对摄像头拍摄的初始图像进行算法处理(即执行本申请一些实施例提供的目标对象虚化方法)并最终向用户输出目标对象光斑虚化渲染图。不难理解的是，此时并不需要独立设置一台服务器20来执行本申请实施例的目标对象虚化方法。
下面结合图2示例性阐述由服务器20或者由手机终端10等电子设备执行的本申请一些实施例的目标对象虚化方法。
如图2所示，本申请的一些实施例提供一种目标对象虚化方法，该目标对象虚化方法包括：S101，获取待虚化的图像，其中，所述图像包括目标对象；S102，基于所述图像得到所述目标对象的分割图和背景分割图；S103，对所述背景分割图进行光斑点检测得到光斑点检测图，并根据所述光斑点检测图得到光斑点权重图，其中，所述光斑点检测图包括光斑点和非光斑点，所述光斑点权重图用于表征任一光斑点的权重值和非光斑点的权重值，所述任一光斑点的权重值大于与所述任一光斑点对应邻域内的各非光斑点的权重值；S104，基于所述光斑点权重图得到背景光斑虚化渲染图；S105，将所述背景光斑虚化渲染图和所述目标对象的分割图进行融合，得到目标对象光斑虚化渲染图。
也就是说，本申请的一些实施例通过基于获取的光斑点权重图来对背景分割图进行光斑渲染，提升得到的目标对象光斑虚化渲染图的光斑显示效果，使图像上的光斑更加清晰、通透和明亮，生成明显的光斑形态具有单反的光斑拍摄效果。
下面示例性阐述上述过程涉及的各步骤。
S101涉及的图像可以是多通道图像，例如，该待虚化的图像是采用手机在人像虚化拍摄模式下拍摄的RGB三通道人像图像。例如，用户对焦人像点击拍照，手机设备获取到待虚化的RGB格式图像Iimage。需要说明的是，S101涉及的图像也可以是多于三通道的多通道图像，本申请的实施例并不限定通道数目。可以理解的是，S101图像中包括的目标对象可以是人或者其他物体。
S101涉及的目标对象可以包括人或者其他物体。在本申请的一些实施例中，S101拍摄的是人像虚化模式下的人像图像，执行S102即基于S101的图像进行图像分割得到人像分割图(属于目标对象分割图的一个具体示例)和背景分割图。在本申请的一些实施例中，S101拍摄的是物体虚化模式下的植物图像，执行S102即对S101的图像进行图像分割得到植物分割图和背景分割图。
在本申请的一些实施例中，S102涉及的获取背景分割图的过程示例性包括：采用深度学习模型(如unet、resnet等框架)对拍摄的待虚化的图像(或称为原图)进行分割，得到目标对象的分割掩码，再根据目标对象的分割掩码得到背景对象分割图。
需要说明的是，S102涉及的目标对象的分割图和背景对象分割图属于非二值图，在目标对象的分割图上目标对象所在区域的各像素点的像素值与拍摄得到的待虚化图像上各像素点的像素值相等(或者与对拍摄得到的待虚化的图像进行饱和处理后各像素点的饱和度增强像素值相等)，而在该目标对象的分割图上除目标对象外的其它区域各像素点的像素值为0。在背景分割图上，除目标对象外的背景区域内包括的各像素点像素值与拍摄得到的待虚化的图像上各像素点的像素值相等，而与目标对象对应的区域的各像素点的像素值为0。可以理解的是，当待化的图像为多通道图像时，则背景分割图的通道数与该待虚化的图像的通道数相同。
下面示例性阐述S103的实现过程，该过程示例性包括如下三个步骤。
需要说明的是，S103涉及的光斑点检测图上包括光斑点和非光斑点，所述光斑点权重图用于表征任一光斑点的权重值和非光斑点的权重值，所述任一光斑点的权重值大于与所述任一光斑点对应邻域内的各非光斑点的权重值。
本申请的一些实施例通过从多通道的背景分割图中选取各像素点的最大值得到单通道图，之后再基于单通道图进行光斑点检测得到光斑点检测图，这样可以提升得到的候选光斑点的准确性。
例如，在本申请的一些实施例中，S103示例性包括：
第一步，基于所述背景分割图中的每个像素点的多个通道中的最大值得到单通道图。也就是说，针对每个像素点，从S102得到的背景分割图的多个通道中选择最大值得到单通道图。
例如，在本申请的一些实施例中，待虚化的图像为RGB三通道图像，因此对该图像进行分割后得到的背景分割图像也是RGB三通道的图像，基于该背景分割图得到的单通道图上任一像素点的值是从与该任一像素点对应的三个通道中选择的最大值。例如，对于背景分割图像上左上角(即坐标点(0,0))像素点对应的RGB三个通道的值为(16,27,37)，则在单通道图上该左上角像素点的值为37，即从三个通道中选择最大值作为单通道图上该左上角像素点的值。对于背景分割图像上坐标为(10，10)的像素点对应的RGB三个通道的值为(254,100,76)，则在单通道图上该像素点的值为254，即从三个通道中选择最大值作为单通道图上该像素点的值。
第二步，对该单通道图进行光斑点检测，得到光斑点检测图，其中，所述光斑点检测图上与光斑点对应像素点的像素值为所述单通道图上对应像素点的像素值，所述光斑点检测图上与非光斑点对应像素点的像素值为0。
例如，在本申请的一些实施例中，可以直接根据光斑区域的属性从单通道图上筛选出光斑点(即得到光斑点检测图)，该光斑区域的属性为在单通道图上位于光斑区域中心(即光斑点)的值比位于该光斑区域其它位置的像素点的值大。例如，在本申请的一些实施例中，上述对所述单通道图进行光斑点检测得到由各光斑点组成的光斑点检测图的过程示例性包括：确认在所述单通道图上任一像素点的属性值大于或等于第一阈值，且确认在所述单通道图上与所述任一像素点对应的邻域内各像素点的属性值小于或等于第二阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第二阈值小于所述第一阈值，所述属性值包括像素值或者归一化像素，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
具体地，在本申请的一些实施例中，上述对所述单通道图进行光斑点检测得到光斑点检测图的过程示例性包括：若所述单通道图上任一像素点的归一化像素值(或称为权重值)大于或等于第一阈值，且所述单通道图上与所述任一像素点对应的邻域内各像素点的归一化像素值(或称为权重值)小于或等于第二阈值，则确认所述任一像素点属于检测得到的光斑点。在本申请的另一些实施例中，上述对所述单通道图进行光斑点检测得到由各光斑点组成的光斑点检测图的过程示例性包括：若所述单通道图上任一像素点的像素值大于或等于第一阈值，且所述单通道图上与所述任一像素点对应的邻域内各像素点的像素值小于或等于第二阈值，则确认所述任一像素点属于检测得到的光斑点。
需要说明的是，上述第一阈值和第二阈值可以是一个数值也可以是一段数值范围，当第一阈值和第二阈值为一个数值范围时则第一阈值包括的最小值必须大于第二阈值包括的最大值。当通过归一化像素值来对单通道图上的光斑点进行检测时，则上述第一阈值是小于或等于1的一个小数或者由多个小于1的小数组成的一个数值范围且第二阈值也是小于1的一个小数或者由多个小于1的小数组成的一个数值范围。
例如，在本申请的一些实施例中，也可以对单通道图上各像素点的值进行模糊化处理，并根据任一像素点在模糊化处理前的图像(即单通道图)和模糊化处理后的图像(即模糊化单通道图)上值的大小属性来确定该像素点是否属于光斑点。例如，在本申请的一些实施例中，上述对所述单通道图进行光斑点检测得到光斑点检测图的过程示例性包括：对所述单通道图上各像素点的像素值进行模糊化处理，得到模糊单通道图像；若所述单通道图上任一像素点的属性值的大于第三阈值，且所述模糊单通道图像上的所述任一像素点的属性值小于第四阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第三阈值大于第四阈值，所述属性值包括像素值或者归一化像素值，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
具体地，在本申请的一些实施例中，对所述单通道图上各像素点的像素值进行模糊化处理，得到模糊单通道图像；若所述单通道图上任一像素点的像素值大于第三阈值，且所述模糊单通道图像上的所述任一像素点的像素值小于第四阈值，则确认所述任一像素点属于检测得到的光斑点。在本申请的另一些实施例中，对所述单通道图上各像素点的像素值进行模糊化处理，得到模糊单通道图像；若所述单通道图上任一像素点的归一化像素值(或称为权重值)大于第三阈值，且所述模糊单通道图像上的所述任一像素点的归一化像素值小于第四阈值，则确认所述任一像素点属于检测得到的光斑点。
需要说明的是，第三阈值和第四阈值可以是一个数值也可以是一段数值范围，当第三阈值和第四阈值为一个数值范围时则第三阈值包括的最小值也需要大于第四阈值包括的最大值。当通过归一化像素值来对单通道图上的光斑点进行检测时，则上述第三阈值是小于或等于1的一个小数或者由多个小于1的小数组成的一个数值范围且第四阈值也是小于1的一个小数或者由多个小于1的小数组成的一个数值范围。
不难理解的是，本申请的一些实施例通过首先对单通道图进行模糊化处理来利用显示光斑图形的属性，即根据同一像素点在模糊图(即模糊单通道图像)和非模糊图(即单通道图)上的权重值或者像素值的大小属性来查找单通道图上的光斑点，在提升了得到的候选光斑点准确性的同时还提升了数据处理的速度。
下面结合具体示例阐述光斑点检测图上各像素点的值是如何确定的。
在本申请的一些实施例中，如上述示例某个单通道图上左上角像素点的值为37，如果对该单通道图进行光斑点检测后确认该左上角光斑点为光斑点，则在光斑检测图上该左上角像素点的值也为37(即与单通道图上相同像素点的值相等)。如果对该通道图像进行光斑点检测后确认像素坐标为(10,9)的像素点为非光斑点，则在光斑检测图上对应于该像素点的值为0。不难理解的是，在光斑点检测图上值为0的像素点属于对单通道图进行检测得到的非光斑点，在光斑点检测图上值为非零的像素点属于对单通道图进行检测得到的光斑点。
第三步，根据所述光斑点检测图得到所述光斑点权重图。
例如，在本申请的一些实施例中，对光斑点检测图进行归一化处理得到光斑点权重图。在本申请的一些实施例中，需要对光斑点检测图进行稀疏化操作，再根据稀疏化操作后得到的稀疏化光斑点检测图得到光斑点权重图。在本申请的另一些实施例中，需要对光斑点检测图依次进行稀疏化操作以及补点(补点的具体含义可参考后文描述)操作，得到补点操作后的光斑点检测图，再根据补点处理后的光斑点检测图得到光斑点权重图。
下面示例性阐述对光斑点检测图进行稀疏化操作得到光斑点权重图的过程。
在本申请的一些实施例中，上述第三步涉及的根据所述光斑点检测图得到所述光斑点权重图的过程示例性包括：
第一子步骤，对所述光斑点检测图或所述光斑点检测图包括的稠密区域进行稀疏化操作，得到稀疏化光斑点检测图。需要说明的是，稀疏化操作会把光斑点检测图上的某些区域的像素点进行部分置零或者像素值进行一定程度的平均，因此在光斑点检测图上局部区域(稠密区域)的光斑点数量会变少或者极大值会变小。
可以理解的是上述第一子步骤至少包括如下两类示例。在本申请的一些实施例中，对光斑点检测图整体进行稀疏化操作，得到稀疏化光斑点检测图。在本申请的另一些实施例中，对所述光斑点检测图包括的稠密区域进行稀疏化操作，得到稀疏化光斑点检测图。不难理解的是，如果是对光斑点检测图上的稠密区域进行稀疏化操作需要首先查找光斑点检测图上的存在的稠密区域，例如，当位于某一区域内的光斑点(例如上述光斑点判定方法可确定)数目大于设置阈值时，则可以将该区域确认为稠密区域，之后再根据对识别到的各稠密区域进行稀疏化操作。例如，在对所述光斑点检测图包括的稠密区域进行稀疏化操作之前，所述目标对象虚化方法还包括：将所述光斑点检测图分成多个子图；获取所述多个子图中各子图上质心的坐标；在所述光斑点检测图上分别以各质心为中心，求解与各中心对应设置邻域内所有像素点包括的非零值的总数目；根据所述总数目从所述多个子图中确定所述稠密区域。
在本申请的一些实施例中，稀疏化操作包括多种实现方式，例如，在本申请的一些实施例中可以在各设定像素区域中保留一个值而该区域的其它像素点的像素值或者归一化像素值为0，完成稀疏化操作。在本申请的另一些实施例中也可以采用双线性插值对原图像进行上下采样(即交底书的具体示例)。例如，上述对光斑点检测图进行稀疏化操作得到稀疏化光斑点检测图的过程示例性包括：根据目标采样倍率，采用双线性插值对所述光斑点检测图进行下采样和上采样，得到所述稀疏化光斑点检测图，其中，所述目标采样倍率是固定值或者是通过光斑点在所述光斑点检测图上的分布密度动态确定的。也就是说，本申请的一些实施例采用利用双线性插值来对光斑点检测图或者光斑点检测图包括的稠密区域做稀疏化处理。
不难理解的是，本申请的一些实施例将光斑点检测图上的光斑点密集聚集区域进行稀疏化，以防止后续渲染出现大片光斑成团区域出现过曝和没有层次感的问题，有效改善光斑的显示效果。
第二子步骤，根据所述稀疏化光斑点检测图得到所述光斑点权重图。
需要说明的是，第二子步骤包括如下多种示例。例如，在本申请的一些实施例中，直接将稀疏化光斑点检测图上各像素点的像素值进行归一化操作得到稀疏化光斑点权重图，即可以将该稀疏化光斑点权重图作为光斑点权重图(例如，当对光斑点检测图包括稠密区域进行稀疏化操作后可以直接将稀疏化光斑点检测图上所有像素点的值归一化即可得到光斑点权重图)。在本申请的另一些实施例中，还需要对得到的稀疏化光斑点检测图进行补点操作(例如，当对光斑点检测图整体进行稀疏化操作后可以先对得到的稀疏化光斑点检测图进行补点操作)，以改善孤立点的光斑虚化效果，将补点操作后得到的权重图作为光斑点权重图。可以理解的是，光斑点权重图上各像素点的值为权重值，该权重值是对图像上各像素点的像素值进行归一化处理后的小于或等于1的值。
下面示例性阐述对稀疏化光斑点检测图进行补点操作的过程。
需要说明的是，需要补点操作的稀疏化光斑点检测图可以是对整个光斑点检测图稀疏化处理后得到图像，也可以是对光斑点检测上包括的稠密区域进行稀疏化处理后得到的图像。例如，由于对整个光斑点检测图进行稀疏化操作会产生副作用，即原本的稀疏离散点也会变少，且权重值也会变小，所以需要对这些光斑点进行补点操作即增大这些点的像素值或者归一化像素值(即权重值)，从而使得离散的光斑更加高亮提升光斑显示效果。
例如，在本申请的一些实施例中，上述第二子步骤涉及的根据所述稀疏化光斑点检测图得到所述光斑点权重图的过程示例性包括：根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值的增大操作，得到孤立点增大光斑点检测图；根据所述孤立点增大光斑点检测图得到所述光斑点权重图(例如，将孤立点增大光斑点检测图进行归一化处理得到光斑点权重图)。
不难理解的是，为了对在稀疏化光斑点检测图上的离散稀疏点对应像素点的值进行增大操作，需要确定稀疏化光斑点检测图上的哪些像素点属于离散稀疏点。例如，本申请的一些实施例首先通过光斑点检测图识别离散稀疏点(即孤立光斑点)，并增加稀疏化光斑点检测图上的离散稀疏点对应像素点及其邻域内像素点的权重值或者像素值，这样可以提升离散稀疏点对应的光斑的显示效果。
具体地，在本申请的一些实施例中，上述根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值(或称为权重值)的增大操作的过程示例性包括如下A)、B)以及C)：
A)确认所述光斑点检测图上至少一个像素点属于离散稀疏点。
例如，在本申请的一些实施例中，上述A)步骤示例性包括：若所述光斑点检测图上目标区域内包括的光斑点的数目小于或等于光斑数阈值，则确认位于所述目标区域中心位置的像素点属于离散稀疏点。也就是说，本申请的一些实施例提供一种如何根据光斑点检测图获取离散稀疏点的方法，使得获取的离散稀疏点更加准确。
B)增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值。需要说明的是，在本申请的一些实施例中可以将这些离散稀疏点对应的像素点的值增大至一个设定值，也可以根据某个参考图像来确定将离散稀疏点对应的像素点的值增大至多少(例如，增大至参考图像上与相应离散稀疏点对应的像素点的值的一半至相同值的范围)。
为了使得离散稀疏点对应的增大值能更真实的反应光斑点原来的亮度，在本申请的一些实施例中可以根据光斑点检测图上像素点的值来对稀疏化光斑点检测图上的离散稀疏点对应像素点的值进行增大操作。例如，在本申请的一些实施例中，上述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值的过程示例性包括：针对任一离散稀疏点，将所述稀疏化光斑检测图上与所述任一离散稀疏点对应的像素点的值替换为中心增大值，其中，所述中心增大值是在所述光斑点检测图上与所述任一离散稀疏点对应的像素点的值。可以理解的是，离散稀疏点对应的像素点的值包括像素点的像素值或者归一化像素值，且本申请实施例中归一化像素值的获取方式相同。
例如，将坐标为(20,25)的像素点确认为属于离散稀疏点，且该离散稀疏点在稀疏化光斑点检测图上的值为120且在光斑点检测图上的值为200，则执行补点操作即将稀疏化光斑点检测图上该像素点的值将替换为200。例如，将坐标为(40,25)的像素点确认为属于离散稀疏点，且该离散稀疏点在稀疏化光斑点检测图上的值为0.3(即归一化像素值)且在光斑点检测图上的值为0.8，则执行补点操作即将稀疏化光斑点检测图上该像素点的值更新为0.8。
C)增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值。需要说明的是，在本申请的一些实施例中可以将这些离散稀疏点对应邻域内的像素点的像素值增大至一个设定值，也可以根据某个参考图像来确定将离散稀疏点对应的像素点的像素值增大至多少。为了使得离散稀疏点具有更好的光斑显示效果，则补点操作后与第一离散稀疏点(属于任意离散稀疏点)对应邻域内的各像素点的值可以小于该第一离散稀疏点对应像素点的值。
例如，为了进一步提升光斑显示效果，本申请的一些实施例将稀疏化光斑检测图上对于离散稀疏点邻域内的像素点的值增加至小于该离散稀疏点对应的增大值，可以有效改善该离散稀疏点对应光斑的显示效果，使得虚化光斑效果更加明亮、通透和锐利。具体地，在本申请的一些实施例中，上述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值的过程示例性包括：将所述稀疏化光斑点检测图上与所述任一离散稀疏点对应邻域内的各像素点的像素值替换为边缘增大值，其中，所述边缘增大值为小于所述中心增大值且大于零的值。例如，边缘增大值大小是中心增大值的一半。
下面示例性阐述S104的实现过程。
本申请的一些实施例通过背景拉伸和亮度增益处理能增益光斑的效果，使得虚化后光斑显示效果更好。例如，在本申请的一些实施例中，S104示例性包括：将拍摄的待虚化的图像进行饱和度增强得到饱和度增强图像；对所述饱和度增强图像进行分割得到饱和度增强背景分割图；对所述饱和度增强背景分割图进行背景拉伸得到拉伸背景分割图；根据所述拉伸背景分割图进行光斑区域亮度增益处理得到待渲染的背景图像；获取深度估计图；根据所述待渲染的背景图像、所述光斑点权重图以及深度估计图得到所述背景光斑虚化渲染图。
下面结合图3以手机端执行的人像虚化方法为例示例性阐述本申请的目标对象虚化方法。
本申请的一些实施例至少能够解决手机端在人像模式下虚化渲染不自然、光斑模糊不清晰的问题，模拟光斑效果逼近单反的拍摄效果。例如，本申请一些实施例的目标对象虚化方法包括：首先利用深度学习模型(例如，unet、resnet框架分割模型)对拍摄的图像进行人像分割(得到背景分割图)，利用深度估计模型得到景深分布图(或称为coc分布图)，并对背景分割图进行预处理，然后利用卷积gather方式进行虚化渲染。通过本申请的一些实施例取得的有益效果包括：人像虚化效果更加自然、虚化光斑效果更加明亮、通透和锐利。
如图3所示，本申请一些实施例的由手机终端执行的人像虚化方法包括：
S201，手机摄像头捕获图像。
用户对焦人像点击拍照，手机设备获取到待虚化的RGB格式图像Iimage，即得到待虚化的图像Iimage。
S202，根据人像分割模型进行前后景分离得到人像二值图像，即根据相关技术的图像分割模型(即深度学习模型)对待虚化的图像进行人像(即前景)和背景分割，得到人像分割掩码。
相关技术的深度学习模型(例如，unet或resnet等网络)对待虚化的图像Iimage进行人像分割，得到单通道人像二值图Imask，其中，在该单通道人像二值图上主体区域(即与人像对应的区域)的所有像素点的值为1，而除人像外的背景区域的所有像素点的值为0。
S203，生成背景的光斑点检测图，即根据人像二值图像生成背景的光斑点检测图。
a)利用Iimage×(1-Imask)得到除人像外的背景分割图Ibg，在该背景分割图上与人像对应的区域需要填充0。
b)基于背景分割图Ibg的R、G和B三个通道，按像素逐个遍历求出三个通道中的最大值，即得到单通道图Imaxch_bg。
c)基于单通道图Imaxch_bg进行光斑点检测，详细流程如下：
i.对单通道图Imaxch_bg做N*N(例如，可以为3*3)的高斯模糊，得到模糊单通道图Ismooth_maxch_bg。
ii.对单通道图Imaxch_bg和模糊单通道图Ismooth_maxch_bg进行遍历，假如位于(x,y)位置的像素点的值满足以下条件，则认为该像素点是一个候选光斑点(即属于一个光斑点)，并得到由所有候选光斑点组成的光斑点检测图Iinit_spots：
上述if语句为C语言的条件判断语句，该判断语句的功能在于：当判断两个不等式同时成立时，则执行分号后边的赋值语句。上述value操作表示对括号内的参量进行归一化操作，具体地，value(Imaxch_bg)(x,y)表示对单通道图上所有像素点的值进行归一化处理后，像素点(x，y)在该归一化图上的值(或称为归一化像素值，也可以称为权重值)，不难理解的是该值是属于大于或等于0且小于或等于1的一个数值。value(Imaxch_smooth_bg)(x,y)表示对模糊单通道图上所有像素点的值归一化处理后，像素点(x，y)在该图上的值(或称为归一化像素值，也可以称为权重值)，不难理解的是该值是属于大于或等于0且小于或等于1的一个数值。上述if语句需要判断，像素点(x，y)在单通道图上的归一化像素值大于设置的第三阈值bokeh_thresh1，且该像素点在模糊单通道图上的归一化像素值小于设置的第四阈值bokeh_thresh2，且结合上述语句不难发现这个两个阈值均属于小于1的两个数值范围，且第四阈值包括的最大值小于第三阈值包括的最小值。另外，通过上述语句可以看出，当像素点(x，y)同时满足判断语句(即if语句)的两个条件时，则确定该像素点属于光斑点，对于该光斑点需要将单通道图上像素点(x，y)的值赋值给光斑点检测图Iinit_spots上相同像素点。需要说明的是，对于不满足上述if语句的两个条件的所有像素点则判定不属于光斑点，在光斑点检测图上这些像素点的值为0，不难理解的是通过光斑点检测图可以确定一张由判定得到的所有光斑点组成的图。
S204，对稠密区域进行稀疏化。
d)对光斑点检测图Iinit_spots或者光斑点检测图Iinit_spots包括的稠密区域进行稀疏化操作得到稀疏光斑点检测图。例如，基于开源库opencv(即Open Source ComputerVision Library)自带的图像放缩操作resize操作，将光斑点检测图Iinit_spots先下采样4倍(即目标采样倍率的一个具体示例)然后再上采样4倍，这样就可以简单直接的利用resize自带的双线性插值来做筛点，将光斑点密集聚集区域进行稀疏化，以防止后续渲染出现大片光斑成团区域出现过曝和没有层次感的问题。
下面示例性阐述获取稠密区域的过程。
判断Iinit_spots图像中光斑点的聚集稠密情况，包括：将待虚化的图像按照宽和高的一半分成尺寸相同的4个小图；求解每个小图的质心坐标，即代表区域内像素集中的中心，具体操作：求解每个小图的零阶矩M00和一阶矩M10、M01；基于如下公式得到质心坐标：
分别以各自的质心坐标点为中心，在100*100范围内计算非零值的个数sum_spots。
求四个小图的稠密区采样阈值thresh＝sum_spots/10000，若其中至少有一个thresh大于10％，则判定为Iinit_spots存在稠密区域，会导致光斑成团过曝等效果问题，需要对Iinit_spots或该图包括的稠密区域进行稀疏化操作。
S205，对离散光斑点进行补点处理得到光斑点权重图。
e)由于对稠密点进行步骤d操作会使原本的稀疏离散点也会变少，且权重值也会变小，所以需要对这些光斑点进行补点操作。补点操作是对步骤d得到的稀疏光斑点检测图I'init_spots进行如下操作：
i.对光斑点检测图Iinit_spots进行像素遍历，若遍历的像素点(x,y)在它半径为M(例如，M取值为3)个像素点的邻域内光斑点(或称为光斑点)的个数不超过L(例如，L取值为8)个，则认为该像素点为离散稀疏点，需要在稀疏光斑点检测图I'init_spots上该位置(x,y)和该像素点周围进行补点。需要说明的是，补点即提升在稀疏化光斑点检测图上这些像素点的值，具体做法如下。
ii.更新稀疏光斑点检测图I'init_spots上的离散稀疏点(x,y)的值(该值的类型包括权重值或者像素值)，例如，将光斑点检测图Iinit_spots上该离散稀疏点对应的像素点的值赋值给稀疏光斑点检测图上相同的像素点，目的是对稀疏化的离散点进行权重增益。
iii.更新稀疏光斑点检测图I'init_spots上的离散稀疏点(x,y)周围点的值(该值的类型包括权重值或者像素值)，在距该离散稀疏点半径为P(例如，P的取值为1)的邻域范围内进行相同权重的赋值，即提升了在稀疏光斑点检测图上与离散稀疏点对应的像素点(x,y)周围的多(例如，当P取值为1时该值为8)个像素点的权重值，目的是为了让离散的光斑更加高亮。
f)基于步骤e便可得到光斑点权重图Ispots，制作该图目的是为了在进行gather卷积虚化时，对产生光斑区域进行权重因子增强，区别于非光斑的普通虚化效果。
S206，对背景进行伽马拉伸。
g)对原图(即待虚化的图像)进行适度的饱和度增强(即执行图3的S230)得到饱和度增强图I'image(即得到S230的色彩增强后的图像)，获取该图的目的是增加背景人像虚化的艳丽程度，以及光斑色彩的多样性。
h)利用饱和度增强图和公式I'image×(1-Imask)得到除人像外的饱和度增强背景分割图I'bg，在该图上人像区域填充0。
i)对饱和度增强背景分割图I'bg进行gamma变换(例如，gamma＝1.6)，将背景的亮度进行非线性拉伸，得到拉伸背景分割图I'gamma_bg。
S207，对背景进行光斑区域亮度增益，得到待渲染的图像。也就是说，根据拉伸背景分割图进行光斑区域亮度增益处理得到待渲染的背景图像。
j)对背景进行如下的光斑区域亮度增益操作：
i.将原图Iimage转为YUV格式图像，其中单通道Y图命名为Igray。
ii.将Igray归一化到[0,1]，得到Ilight_weight，然后整体+1，值域范围在[1，2]。
iii.根据Ilight_weight*I'gamma_bg得到亮度增益后的图像Iimage4render，即得到待渲染的背景图像Iimage4render。
S208，执行光斑渲染方法，得到背景光斑虚化渲染图。也就是说，根据光斑点权重图和待渲染的图像执行光斑渲染方法得到背景光斑虚化渲染图。
需要说明的是，为了执行S208的光斑渲染方法还需要获取景深图像，该过程示例性包括如下操作：基于Iimage进行深度估计，利用深度学习方法(例如，mono depth、midas等模型)得到深度图Idepth，手机摄像头定焦的时会返回图像中人像的坐标位置(x0,y0)，通过以下公式得到景深图像Icoc；
其中，coc表示景深的大小，也就是渲染所需光斑半径的大小。
相应的S208示例性包括：将Ispots、Iimage4render和Icoc作为输入，送入基于gather卷积的光斑渲染方法，并再次进行gamma变换(例如，gamma＝1/1.6)，最终得到背景光斑虚化渲染图。
S209，将饱和度增益后的人像与背景光斑虚化渲染图进行融合merge得到人像光斑虚化渲染图。
需要说明的是，上述S203、S204以及S205包括的a)-f)子步骤、上述S206以及S207包括的g)-j)子步骤以及上述获取景深图像的子步骤属于可以并行处理的三个子线程。综上，上述人像虚化方法包括：用户对准人像点击拍摄，手机设备后台获取所需的原始图像；通过光斑点检测、稠密区域稀疏处理以及离散区域补点操作，得到光斑点权重图；通过基于原图进行gamma变换、背景光斑区域亮度提升等操作，得到待渲染的图像；对原图进行深度估计，得到光斑渲染所需的半径尺寸图；将以上三个数据输入光斑渲染方法，得到背景光斑虚化渲染图；对背景光斑虚化渲染图和人像进行合并，得到最终的人像光斑虚化渲染图。通过上述对光斑点检测方式得到光斑点检测图的过程进行优化，可以有效改善光斑的亮度、边缘锐利程度和美观度；通过对光斑点区域进行权重优化，可以有效改善光斑的亮度、边缘推理程度和美观度。
请参考图4，图4示出了本申请实施例提供的目标对象虚化装置，应理解，该装置与上述图2方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作***中的软件功能模块，该目标对象虚化装置包括：待虚化的图像获取模块410、图像分割模块420、光斑点权重图获取模块430、背景光斑虚化渲染图获取模块440以及目标对象光斑虚化渲染图获取模块450。
待虚化的图像获取模块410，被配置为获取待虚化的图像，其中，所述图像包括目标对象。
图像分割模块420，被配置为基于所述图像得到目标对象分割图和背景分割图。
光斑点权重图获取模块430，被配置为对所述背景分割图进行光斑点检测得到光斑点检测图，并根据所述光斑点检测图得到光斑点权重图，其中，所述光斑点检测图包括光斑点和非光斑点，所述光斑点权重图用于表征任一光斑点的权重值和非光斑点的权重值，所述任一光斑点的权重值大于与所述任一光斑点对应邻域内的各非光斑点的权重值。
背景光斑虚化渲染图获取模块440，被配置为基于所述光斑点权重图得到背景光斑虚化渲染图。
目标对象光斑虚化渲染图获取模块450，被配置为将所述背景光斑虚化渲染图和所述目标对象分割图像进行融合，得到目标对象光斑虚化渲染图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述实施例提供的目标对象虚化方法。
本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如上述实施例提供的目标对象虚化方法。
如图5所示，本申请的一些实施例提供一种电子设备500，该电子设备500包括：存储器510、处理器520以及存储在存储器510上并可在处理器520上运行的计算机程序，其中，处理器520通过总线530从存储器510读取程序并执行所述程序时可实现如上述目标对象虚化方法包括的任意实施例所述的方法。
处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器520可以是微处理器。
存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图2或图3中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (15)
1.一种目标对象虚化方法，其特征在于，所述目标对象虚化方法包括：
获取待虚化的图像，其中，所述图像包括目标对象；
基于所述图像得到所述目标对象的分割图和背景分割图；
对所述背景分割图进行光斑点检测得到光斑点检测图，并根据所述光斑点检测图得到光斑点权重图，其中，所述光斑点检测图包括光斑点和非光斑点，所述光斑点权重图用于表征任一光斑点的权重值和非光斑点的权重值，所述任一光斑点的权重值大于与所述任一光斑点对应邻域内的各非光斑点的权重值；
基于所述光斑点权重图得到背景光斑虚化渲染图；
将所述背景光斑虚化渲染图和所述目标对象的分割图进行融合，得到目标对象光斑虚化渲染图。
2.如权利要求1所述的目标对象虚化方法，其特征在于，所述对所述背景分割图进行光斑点检测得到光斑点检测图，包括：
基于所述背景分割图中的每个像素点的多个通道中的最大值得到单通道图；
对所述单通道图进行光斑点检测，得到所述光斑点检测图，其中，所述光斑点检测图上与光斑点对应像素点的像素值为所述单通道图上对应像素点的像素值，所述光斑点检测图上非光斑点对应像素点的像素值为0。
3.如权利要求2所述的目标对象虚化方法，其特征在于，所述对所述单通道图进行光斑点检测得到所述光斑点检测图，包括：
若所述单通道图上任一像素点的属性值大于或等于第一阈值，且所述单通道图上与所述任一像素点对应的邻域内各像素点的属性值小于或等于第二阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第二阈值小于所述第一阈值，所述属性值包括像素值或者归一化像素值，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
4.如权利要求2所述的目标对象虚化方法，其特征在于，所述对所述单通道图进行光斑点检测得到所述光斑点检测图，包括：
对所述单通道图上各像素点的像素值进行模糊化处理，得到模糊单通道图像；
若所述单通道图上任一像素点的属性值大于第三阈值，且所述模糊单通道图像上所述任一像素点的属性值小于第四阈值，则确认所述任一像素点属于检测得到的光斑点，其中，所述第三阈值大于第四阈值，所述属性值包括像素值或者归一化像素值，所述归一化像素值是将整幅图像上所有像素点的像素值进行归一化处理后得到的各像素点的值。
5.如权利要求1-4任一项所述的目标对象虚化方法，其特征在于，所述根据所述光斑点检测图得到所述光斑点权重图，包括：
对所述光斑点检测图进行稀疏化操作，得到稀疏化光斑点检测图；
根据所述稀疏化光斑点检测图得到所述光斑点权重图。
6.如权利要求5所述的目标对象虚化方法，其特征在于，所述对所述光斑点检测图进行稀疏化操作，包括：对所述光斑点检测图包括的稠密区域进行稀疏化操作。
7.如权利要求6所述的目标对象虚化方法，其特征在于，在对所述光斑点检测图包括的稠密区域进行稀疏化操作之前，所述目标对象虚化方法还包括：
将所述光斑点检测图分成多个子图；
获取所述多个子图中各子图上质心的坐标；
在所述光斑点检测图上分别以各质心为中心，求解与各中心对应设置邻域内包括的非零值像素点的总数目；
根据所述总数目从所述多个子图中确定所述稠密区域。
8.如权利要求5-7任一项所述的目标对象虚化方法，其特征在于，所述根据所述稀疏化光斑点检测图得到所述光斑点权重图，包括：
根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值的增大操作，得到孤立点增大光斑点检测图；
根据所述孤立点增大光斑点检测图得到所述光斑点权重图。
9.如权利要求8所述的目标对象虚化方法，其特征在于，所述根据所述光斑点检测图至少对所述稀疏化光斑点检测图上的离散稀疏点进行像素值或者归一化像素值的增大操作，包括：
若确认所述光斑点检测图上至少一个像素点属于离散稀疏点，则增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值，并增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值，其中，所述像素点的值包括像素值或者归一化像素值。
10.如权利要求9所述的目标对象虚化方法，其特征在于，
针对任一离散稀疏点，所述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的像素点的值，包括：将所述稀疏化光斑检测图上与所述任一离散稀疏点对应的像素点的值替换为中心增大值，其中，所述中心增大值是在所述光斑点检测图上与所述任一离散稀疏点对应的像素点的值，其中，所述像素点的值包括像素值或者归一化像素值。
11.如权利要求10所述的目标对象虚化方法，其特征在于，所述增大所述稀疏化光斑检测图上与所述离散稀疏点对应的邻域内各像素点的值，包括：
将所述稀疏化光斑点检测图上与所述任一离散稀疏点对应邻域内的各像素点的值替换为边缘增大值，其中，所述边缘增大值为小于所述中心增大值且大于零的值。
12.如权利要求1-11任一项所述的目标对象虚化方法，其特征在于，所述基于光斑点权重图得到背景光斑虚化渲染图，包括：
将所述图像进行饱和度增强得到饱和度增强图像；
对所述饱和度增强图像进行分割得到饱和度增强背景分割图；
对所述饱和度增强背景分割图进行背景拉伸得到拉伸背景分割图；
根据所述拉伸背景分割图进行光斑区域亮度增益处理得到待渲染的背景图像；
获取深度估计图；
根据所述待渲染的背景图像、所述光斑点权重图以及所述深度估计图得到所述背景光斑虚化渲染图。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时可实现权利要求1-12中任意一项权利要求所述的方法。
14.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-12中任意一项权利要求所述的方法。
15.一种计算机程序产品，其特征在于，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如权利要求1-12中任意一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111666234.6A CN114372931A (zh) | 2021-12-31 | 2021-12-31 | 一种目标对象虚化方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111666234.6A CN114372931A (zh) | 2021-12-31 | 2021-12-31 | 一种目标对象虚化方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114372931A true CN114372931A (zh) | 2022-04-19 |
Family
ID=81141656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111666234.6A Pending CN114372931A (zh) | 2021-12-31 | 2021-12-31 | 一种目标对象虚化方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114372931A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023245364A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| WO2024114012A1 (zh) * | 2022-12-02 | 2024-06-06 | Oppo广东移动通信有限公司 | 图像景深渲染方法、图像景深渲染装置、终端及存储介质 |
-
2021
- 2021-12-31 CN CN202111666234.6A patent/CN114372931A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023245364A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| WO2024114012A1 (zh) * | 2022-12-02 | 2024-06-06 | Oppo广东移动通信有限公司 | 图像景深渲染方法、图像景深渲染装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| Lu et al. | Multi-scale adversarial network for underwater image restoration | |
| US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
| EP3937481A1 (en) | Image display method and device | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN112446380A (zh) | 图像处理方法和装置 | |
| CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| Liu et al. | Image de-hazing from the perspective of noise filtering | |
| CN113888437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN113781370A (zh) | 图像的增强方法、装置和电子设备 | |
| CN114372932A (zh) | 一种图像处理的方法及计算机程序产品 | |
| CN116797504A (zh) | 图像融合方法、电子设备及存储介质 | |
| CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN114708172A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| US20160140748A1 (en) | Automated animation for presentation of images | |
| CN111738964A (zh) | 一种基于建模的图像数据增强的方法 | |
| Liu et al. | PatchNet: a tiny low-light image enhancement net | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| Li et al. | UStark: underwater image domain-adaptive tracker based on Stark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |