CN113837966A - 人脸深度图的滤波方法、装置、电子设备及存储介质 - Google Patents
人脸深度图的滤波方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113837966A CN113837966A CN202111131981.XA CN202111131981A CN113837966A CN 113837966 A CN113837966 A CN 113837966A CN 202111131981 A CN202111131981 A CN 202111131981A CN 113837966 A CN113837966 A CN 113837966A
- Authority
- CN
- China
- Prior art keywords
- face
- filtering
- depth map
- pixel value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000013441 quality evaluation Methods 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 4
- 210000001061 forehead Anatomy 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 101100314580 Mus musculus Trim2 gene Proteins 0.000 description 1
- 101150107587 Narf gene Proteins 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 101100305528 Xenopus laevis rnf138 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及图像处理领域，公开了一种人脸深度图的滤波方法、装置、电子设备及存储介质。本发明的人脸深度图的滤波方法，包括：从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。应用于人脸深度图的滤波过程，在保证图像质量的同时又提升了滤波效果。
Description
技术领域
本发明实施例涉及图像处理领域，特别涉及一种人脸深度图的滤波方法、装置、电子设备及存储介质。
背景技术
深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。目前深度图像的获取方式主要分为两类，一类是被动测距传感，被动测距传感中最常用的方法是双目立体视觉；另一类是主动测距传感，主动测距传感是设备本身需要发射能量来完成深度信息的采集。主动测距传感中常用的方法有TOF(Time of Flight)相机、结构光、激光扫描等。无论是哪一种方式获取的深度图都会存在误差或噪音，有些是由于设备测量误差造成的，有些是由于算法准确度造成的。
虽然目前会通过滤波算法来解决深度图的误差问题，但是传统的滤波算法对深度图像的平面区域的滤波效果不明显，或者对于强特征区域或边界区域无法保留其细节信息。
发明内容
本发明实施方式的目的在于提供一种人脸深度图的滤波方法、装置、电子设备及存储介质，对于深度图中不同像素值区域采用不同的滤波参数，在保证图像质量的同时又提升了滤波效果。
为解决上述技术问题，本发明的实施方式提供了一种人脸深度图的滤波方法，包括：从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。
本发明的实施方式还提供了一种人脸深度图的滤波装置，包括：
获取模块，用于从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；
处理模块，用于根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的人脸深度图的滤波方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的人脸深度图的滤波方法。
本发明实施方式提供的人脸深度图的滤波方法，从预设的多个像素值范围中识别出目标人脸深度图中各像素点的像素值所属的像素值范围，像素值范围可以反映人脸的不同区域，人脸不同区域对应不同滤波系数，根据预设的多个像素值范围与多个滤波参数的一一对应关系对目标人脸深度图进行滤波处理，可以将人脸特征点突出的部位和人脸特征点不突出的部位作不同滤波处理；直接根据像素值确定滤波系数，在保证图像质量的同时又提升了滤波效果。
另外，本发明实施方式提供的人脸深度图的滤波方法，根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数之前，还包括：获取样本人脸深度图，用预设的多个滤波参数分别对所述样本人脸深度图进行滤波处理，获取多个滤波参数分别对应的滤波后样本人脸深度图；对各所述滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域，并确定各人脸子区域中像素点的像素值；根据所述各人脸子区域中像素点的像素值和预先保存的样本人脸深度图中各像素点的像素值，建立滤波前像素点像素值与滤波后像素点像素值的对应关系；对所述各人脸子区域进行质量评价，得到所述各人脸子区域对应的质量评价结果，并从每个人脸部位对应的多个人脸子区域中，选取质量评价结果满足预设条件的人脸子区域；其中，所述每个人脸部位对应的多个人脸子区域分别属于不同的所述多个滤波后样本人脸深度图；将选取出的人脸子区域中像素点在滤波前的像素值范围与所述选取出的人脸子区域对应的滤波参数建立对应关系。通过对样本人脸深度图进行滤波参数不同的滤波处理，并对滤波后的图像进行人脸分割获取多个人脸子区域，根据对各人脸子区域的质量评价结果可快速准确地确定人脸像素值范围与滤波参数的对应关系。
另外，本发明实施方式提供的人脸深度图的滤波方法，对所述各人脸子区域进行质量评价，得到所述各人脸子区域对应的质量评价结果，并从每个人脸部位对应的多个人脸子区域中，选取质量评价结果满足预设条件的人脸子区域，包括：根据各人脸子区域所属的人脸部位对应的评价指标，对所述各人脸子区域进行质量评价，获取所述各人脸子区域的质量分数；其中，所述质量评价结果为所述质量分数；从每个人脸部位对应的多个人脸子区域中，选取质量分数最高值的人脸子区域，作为所述质量评价结果满足预设条件的人脸子区域。按照各子区域对应的人脸特征选择不同的评价指标进行质量评价，如此既能保证获取的滤波参数达到很好的滤波效果，又能保证人脸的细节信息不丢失。
另外，本发明实施方式提供的人脸深度图的滤波方法，对各所述滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域，包括：获取与所述滤波后样本人脸深度图对应的人脸彩色图；对所述人脸彩色图中的人脸部位进行检测，获取人脸彩色图的关键点位置；将所述人脸彩色图的关键点位置对应到滤波后样本人脸深度图中，获取所述滤波后样本人脸深度图的关键点位置；根据所述滤波后样本人脸深度图的关键点位置对所述滤波后样本人脸深度图的人脸区域进行分割，获取多个人脸子区域。根据人脸彩色图能很容易地确定人脸关键点位置，由于人脸彩色图和人脸深度图具有相同的相机视点，因此两张图片中地像素点位置是一一对应的，如此可精准确定人脸深度图的关键点位置。
另外，本发明实施方式提供的人脸深度图的滤波方法，根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理之后，还包括：将采用同一滤波参数进行滤波的像素点归属于同一个人脸子区域内；获取每个人脸子区域的深度特征信息；对于每个人脸子区域，当所述深度特征信息与预设的深度特征条件不匹配时，对所述人脸子区域对应的滤波参数进行调整。在对目标人脸深度图进行滤波处理后，根据每个滤波子区域的深度信息与预设深度阈值的对应关系确定是否需要调整滤波参数，即对目标人脸深度图进行滤波后，根据滤波结果对滤波参数进行优化反馈进一步精确滤波参数和像素值范围的对应关系。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明的实施方式提供的人脸深度图的滤波方法的流程图一；
图2是本发明的实施方式提供的人脸深度图的滤波方法的流程图二；
图3是本发明的实施方式提供的人脸深度图的滤波方法的流程图三；
图4是本发明的实施方式的提供的人脸深度图的滤波装置的结构示意图；
图5是本发明的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
下面对本实施方式的人脸深度图的滤波方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本发明的实施方式涉及一种人脸深度图的滤波方法，如图1所示，包括：
步骤101，从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围。
具体地说，深度图是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状，那么本领域技术人员可以理解的是，人脸深度图中某一区域像素点的像素值大小和像素值分布状况可以反映人脸的不同区域。比如：对于人脸的额头区域，其像素值相比于鼻子区域普遍较大，且额头区域各像素点之间像素值差异较小；而对于鼻子区域，其鼻梁区域像素值较小，鼻翼区域像素值较大，且鼻子区域各像素点之间像素值差异较大。而对于人脸额头区域、面颊区域、下巴区域等平面区域，一般要求较好的滤波效果而不考虑这些区域的细节特征，因为这些区域对于人脸识别，人脸特征检测等技术贡献不大。而对于鼻子区域、眉眼区域、嘴唇区域等特征较明显的区域，一般要求滤波后能较好地保留这些区域的细节特征。
步骤102，根据预设的多个像素值范围与多个滤波参数的一一对应关系，获取各像素点的像素值所属的像素值范围对应的滤波参数，作为各像素点对应的滤波参数。
具体地说，预设的像素值范围可以反映人脸的不同区域，而人脸不同区域对应不同的滤波系数，也就是说，对特征突出的人脸部位和特征不突出的人脸部位作不同的滤波处理，以此来更好地平衡滤波效果和特征保留之间的关系。
步骤103，根据各像素点对应的滤波参数对目标人脸深度图进行滤波处理。
具体地说，确定出人脸深度图中各像素点的像素值所属的像素值范围对应的滤波参数后，可以获取采用同一滤波参数的各像素点的位置，根据这些像素点的位置对人脸深度图进行分割，属于同一个区域的像素点其滤波参数相同，分区域进行滤波处理以提高处理效率。比如，某一人脸深度图中有1000个像素点(S1、S2、……S1000)，根据预设的多个像素值范围和多个滤波参数的一一对应关系，确定出像素点S1—S547采用同一个滤波参数K1，而这547个像素点中有365个像素点S1—S365根据像素点位置可以划分为一个区域，对这整个区域采用滤波参数K1进行滤波处理，其他像素点与上述处理方法类似。
本发明实施方式提供的人脸深度图的滤波方法，从预设的多个像素值范围中识别出目标人脸深度图中各像素点的像素值所属的像素值范围，像素值范围可以反映人脸的不同区域，人脸不同区域对应不同滤波系数，根据预设的多个像素值范围与多个滤波参数的一一对应关系对目标人脸深度图进行滤波处理，可以将人脸特征点突出的部位和人脸特征点不突出的部位作不同滤波处理；直接根据像素值确定滤波系数，在保证图像质量的同时又提升了滤波效果。
本发明的实施方式涉及一种人脸深度图的滤波方法，如图2所示，包括：
步骤201，获取样本人脸深度图，用预设的多个滤波参数分别对样本人脸深度图进行滤波处理，获取多个滤波参数分别对应的滤波后样本人脸深度图。
具体地说，获取的样本人脸深度图需要是人脸正面图像，能区别出五官位置，对于人脸侧面图像、人脸仰拍图像，其只能显示出人脸部分区域，通过这些图无法获取像素值和滤波参数的对应关系。假设预设有10个滤波参数(K1、K2、……K10)，用K1、K2、……K10这10个滤波参数对样本人脸深度图A0进行滤波处理，获取10张滤波后的样本人脸深度图(A1、A2、……A10)。本实施方式中的滤波处理可以包括中值滤波、均值滤波、高斯滤波、引导滤波、双边滤波等多个现有的图像滤波方法，均值滤波在滤除噪声的同时也会滤掉图像的边缘信息，中值滤波去除椒盐噪声和斑块噪声时效果非常明显。当然此处仅为举例说明，实际应用时还可以包含其他图像滤波方法。
步骤202，对各滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域，并确定各人脸子区域中像素点的像素值。
具体地说，对各滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域具体包括：获取与滤波后样本人脸深度图对应的人脸彩色图；对人脸彩色图中的人脸部位进行检测，获取人脸彩色图的关键点位置；将人脸彩色图的关键点位置对应到滤波后样本人脸深度图中，获取滤波后样本人脸深度图的关键点位置；根据滤波后样本人脸深度图的关键点位置对滤波后样本人脸深度图的人脸区域进行分割，获取多个人脸子区域。
需要说明的是，对于同一个人脸在相同位置分别获取人脸彩色图和人脸深度图，由于两张图片具有相同的照相机视点，因此这两张图片中同一像素点位置是相同的，而滤波前后像素点的位置一般也不会发生改变，因此，可以通过与滤波后样本人脸深度图对应的人脸彩色图获取关键点位置，而人脸彩色图的关键点位置与滤波后样本人脸深度图的关键点位置相同，进而根据关键点位置对样本人脸深度图的人脸区域进行分割，获取多个人脸子区域。
另外，关键点指的是能确定人脸五官位置的关键性点，获取人脸彩色图的关键点位置可以采用基于模型的ASM(Active Shape Model)算法、基于模型的AAM(ActiveAppearnce Model)算法、基于级联形状回归CPR(Cascaded pose regression)算法、基于深度学习的方法等多种人脸关键点检测算法，此处仅为具体的举例说明，实际使用时还可以采用其他人脸关键点检测算法。当然，除了通过人脸彩色图获取人脸关键点位置，还可以直接对人脸深度图进行处理获取关键点位置，一般可以采用NARF(Normal Aligned RadialFeature)关键点提取算法、SIFT(Scale-Invariant Feature Transform)关键点提取算法、HARRIS关键点提取算法等。
另外，对滤波后的每个样本人脸深度图均按照人脸部位进行分割获取多个人脸子区域，对于相同人脸部位，其有多个人脸子区域，多个人脸子区域属于不同的样本人脸深度图。比如：对于10张滤波后的样本人脸深度图A1、A2、……A10，其对应的滤波参数为K1、K2、……K10，对A1、A2、……A10按照人脸部位进行分割，每张图分割为5个人脸子区域(额头区域y1、眉眼区域y2、鼻子区域y3、面颊区域y4、嘴唇区域y5)，对于鼻子部位有10个人脸子区域(A1-y3、A2-y3、A3-y3、A4-y3、A5-y3、A6-y3、A7-y3、A8-y3、A9-y3、A10-y3)。
步骤203，根据各人脸子区域中像素点的像素值和预先保存的样本人脸深度图中各像素点的像素值，建立滤波前像素点像素值与滤波后像素点像素值的对应关系。
具体地说，滤波前后深度图的像素值会发生改变，但其像素点的位置不会发生改变，因此对于同一个像素点根据该像素点的位置坐标可快速建立滤波前像素值和滤波后像素值的对应关系。比如：对于样本人脸深度图A0，采用10个不同的滤波参数K1、K2、……K10进行滤波后，获取10张滤波后的样本人脸深度图A1、A2、……A10，那么样本人脸深度图A0中每一个像素点的像素值和滤波后的人脸深度图A1中每一个像素点的像素值都可以建立对应关系，类似地A0和A2、A0和A3等等都可以建立像素值滤波前后的对应关系。
步骤204，对所述各人脸子区域进行质量评价，得到各人脸子区域对应的质量评价结果，并从每个人脸部位对应的多个人脸子区域中，选取质量评价结果满足预设条件的人脸子区域；其中，每个人脸部位对应的多个人脸子区域分别属于不同的多个滤波后样本人脸深度图。
具体地说，步骤204具体包括：根据各人脸子区域所属的人脸部位对应的评价指标，对各人脸子区域进行质量评价，获取各人脸子区域的质量分数；其中，质量评价结果为质量分数；从每个人脸部位对应的多个人脸子区域中，选取质量分数最高值的人脸子区域，作为所述质量评价结果满足预设条件的人脸子区域。
需要说明的是，对一张人脸深度图采用某一滤波参数进行滤波时，不同人脸子区域对滤波效果的要求是不同的，对于鼻子、眉眼、嘴唇等人脸部位要求滤波后能保留更多的纹理信息、边界信息，同时清晰度也要达到一定的要求，即模糊度要低一些，而对于额头和面颊等人脸部位不要求滤波后保留较多的纹理信息、边界信息等，甚至于可以接收滤波后该区域的轻微模糊。当然，评价指标除了纹理信息、边界信息、模糊度、清晰度外，还可以根据后续需要进行的操作(人脸识别、人脸关键点检测)选择其他评价指标和评价要求。另外，对于不同人脸区域，评价指标可以设置对应的权重系数。
比如：假设采用滤波参数K1、K2对样本人脸深度图A0进行滤波获取滤波后图像A1、A2，对A1、A2按照人脸部位(额头区域y1、眉眼区域y2、鼻子区域y3、面颊区域y4、嘴唇区域y5)进行分割，获取多个人脸子区域，表示为A1(A1-y1、A1-y2、A1-y3、A1-y4、A1-y5)，A2(A2-y1、A2-y2、A2-y3、A2-y4、A2-y5)，对于鼻子区域y3按照对应的评价指标进行质量评价获取质量分数，发现A1-y3的质量分数高于A2-y3，即图像A1采用的滤波参数K1更适合于鼻子区域的滤波。因此将图像A1鼻子区域y3中的像素点滤波前的像素值范围与滤波参数建立对应关系，即存在如下对应关系A0-y3——A1-y3——K1。
另外，若从某一人脸部位对应的多个人脸区域中选取质量分数最高值后，发现该值低于预设的分数阈值，则说明先前选取的滤波参数均不适合该人脸部位的滤波，则对先前选取的滤波参数进行更换，重新滤波进行质量评价。
步骤205，将选取出的人脸子区域中像素点在滤波前的像素值范围与选取出的人脸子区域对应的滤波参数建立对应关系。
步骤206，从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围。
步骤207，根据预设的多个像素值范围与多个滤波参数的一一对应关系，获取各像素点的像素值所属的像素值范围对应的滤波参数，作为各像素点对应的滤波参数。
步骤208，根据各像素点对应的滤波参数对目标人脸深度图进行滤波处理。
本实施方式中的步骤205、步骤206、步骤207、步骤208与步骤101、步骤102、步骤103、步骤104的实施细节基本相同，在此不做赘述。
本发明实施方式提供的人脸深度图的滤波方法，通过对样本人脸深度图进行滤波参数不同的滤波处理，并对滤波后的图像进行人脸分割获取多个人脸子区域，而根据人脸彩色图能很容易地确定人脸关键点位置，由于人脸彩色图和人脸深度图具有相同的相机视点，因此两张图片中地像素点位置是一一对应的，如此可精准快速地确定人脸深度图的关键点位置进而获取人脸子区域。按照各子区域对应的人脸特征选择不同的评价指标进行质量评价，如此既能保证获取的滤波参数达到很好的滤波效果，又能保证人脸的细节信息不丢失。
本发明的实施方式涉及一种人脸深度图的滤波方法，如图3所示，包括：
步骤301，从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围。
步骤302，根据预设的多个像素值范围与多个滤波参数的一一对应关系，获取各像素点的像素值所属的像素值范围对应的滤波参数，作为各像素点对应的滤波参数。
步骤303，根据各像素点对应的滤波参数对目标人脸深度图进行滤波处理。
具体地说，本实施方式中步骤301、302、303的具体实施细节与步骤101、步骤102、步骤103基本相同，在此不作赘述。
步骤304，将采用同一滤波参数进行滤波的像素点归属于同一个人脸子区域内。
具体地说，在根据各像素点对应的滤波参数对目标人脸深度图进行滤波处理后，可以清楚地确定出采用同一滤波参数的像素点，而将这些像素点归属于同一人脸子区域。需要说明的是，若额头区域和面颊区域采用的是同一个滤波参数，则这些区域的像素点被归属于一个人脸子区域，但实际上对应于人脸时，这些像素点是在不同人脸部位的。因此，本步骤中的人脸子区域可以与实际人脸部位对应，也可以与实际人脸部位不对应。
步骤305，获取每个人脸子区域的深度特征信息。
具体地说，本步骤中的深度特征信息包括人脸子区域中所有像素点像素值的总和、人脸子区域中所有像素点像素值的平均值、人脸子区域的梯度值。即通过深度特征信息对滤波后的深度图进行评价。当然，此处仅为具体举例说明，实际应用时还可以包含其他信息。
步骤306，对于每个人脸子区域，当所述深度特征信息与预设的深度特征条件不匹配时，对人脸子区域对应的滤波参数进行调整。
具体地说，当获取的深度特征信息为人脸子区域的梯度值时，深度特征条件可以为预设的梯度阈值，也可以为预设的梯度值范围，即该人脸子区域的梯度值不满足预设的深度特征条件，则说明该人脸子区域滤波效果不符合要求。
本发明实施方式提供的人脸深度图的滤波方法，对目标人脸深度图进行滤波处理后，根据每个滤波子区域的深度信息与预设深度阈值的对应关系确定是否需要调整滤波参数，即对目标人脸深度图进行滤波后，根据滤波结果对滤波参数进行优化反馈进一步精确滤波参数和像素值范围的对应关系。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的实施方式涉及一种人脸深度图的滤波装置，如图4所示，所述装置包括：
获取模块401，用于从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；
处理模块402，用于根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。
不难发现，本实施方式为与上述方法实施方式相对应的装置实施方式，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
本发明的实施方式涉及一种电子设备，如图5所示，包括：
至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的人脸深度图的滤波方法。
该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸深度图的滤波方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的人脸深度图的滤波方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本发明的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种人脸深度图的滤波方法，其特征在于，所述方法包括：
从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；
根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；
根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。
2.根据权利要求1所述的人脸深度图的滤波方法，其特征在于，所述根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数之前，还包括：
获取样本人脸深度图，用预设的多个滤波参数分别对所述样本人脸深度图进行滤波处理，获取多个滤波参数分别对应的滤波后样本人脸深度图；
对各所述滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域，并确定各人脸子区域中像素点的像素值；
根据所述各人脸子区域中像素点的像素值和预先保存的样本人脸深度图中各像素点的像素值，建立滤波前像素点像素值与滤波后像素点像素值的对应关系；
对所述各人脸子区域进行质量评价，得到所述各人脸子区域对应的质量评价结果，并从每个人脸部位对应的多个人脸子区域中，选取质量评价结果满足预设条件的人脸子区域；其中，所述每个人脸部位对应的多个人脸子区域分别属于不同的所述多个滤波后样本人脸深度图；
将选取出的人脸子区域中像素点在滤波前的像素值范围与所述选取出的人脸子区域对应的滤波参数建立对应关系。
3.根据权利要求2所述的人脸深度图的滤波方法，其特征在于，所述对所述各人脸子区域进行质量评价，得到所述各人脸子区域对应的质量评价结果，并从每个人脸部位对应的多个人脸子区域中，选取质量评价结果满足预设条件的人脸子区域，包括：
根据各人脸子区域所属的人脸部位对应的评价指标，对所述各人脸子区域进行质量评价，获取所述各人脸子区域的质量分数；其中，所述质量评价结果为所述质量分数；
从每个人脸部位对应的多个人脸子区域中，选取质量分数最高值的人脸子区域，作为所述质量评价结果满足预设条件的人脸子区域。
4.根据权利要求2所述的人脸深度图的滤波方法，其特征在于，所述对各所述滤波后样本人脸深度图按照人脸部位进行分割，获取多个人脸子区域，包括：
获取与所述滤波后样本人脸深度图对应的人脸彩色图；
对所述人脸彩色图中的人脸部位进行检测，获取人脸彩色图的关键点位置；
将所述人脸彩色图的关键点位置对应到滤波后样本人脸深度图中，获取所述滤波后样本人脸深度图的关键点位置；
根据所述滤波后样本人脸深度图的关键点位置对所述滤波后样本人脸深度图的人脸区域进行分割，获取多个人脸子区域。
5.根据权利要求1所述的人脸深度图的滤波方法，其特征在于，所述根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理之后，还包括：
将采用同一滤波参数进行滤波的像素点归属于同一个人脸子区域内；
获取每个人脸子区域的深度特征信息；
对于每个人脸子区域，当所述深度特征信息与预设的深度特征条件不匹配时，对所述人脸子区域对应的滤波参数进行调整。
6.根据权利要求3所述的人脸深度图的滤波方法，其特征在于，所述评价指标包括：纹理信息、边界信息、模糊度、清晰度。
7.一种人脸深度图的滤波装置，其特征在于，包括：
获取模块，用于从预设的多个像素值范围中，识别出目标人脸深度图中各像素点的像素值所属的像素值范围；
处理模块，用于根据预设的所述多个像素值范围与多个滤波参数的一一对应关系，获取各所述像素点的像素值所属的像素值范围对应的滤波参数，作为各所述像素点对应的滤波参数；根据各所述像素点对应的滤波参数对所述目标人脸深度图进行滤波处理。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的人脸深度图的滤波方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的人脸深度图的滤波方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131981.XA CN113837966A (zh) | 2021-09-26 | 2021-09-26 | 人脸深度图的滤波方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111131981.XA CN113837966A (zh) | 2021-09-26 | 2021-09-26 | 人脸深度图的滤波方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113837966A true CN113837966A (zh) | 2021-12-24 |
Family
ID=78970410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111131981.XA Pending CN113837966A (zh) | 2021-09-26 | 2021-09-26 | 人脸深度图的滤波方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837966A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503451A (zh) * | 2011-05-06 | 2014-01-08 | 西门子公司 | 用于对经编码的图像分区进行滤波的方法和设备 |
| CN105469407A (zh) * | 2015-11-30 | 2016-04-06 | 华南理工大学 | 一种基于改进的引导滤波器的人脸图像图层分解方法 |
| CN106780410A (zh) * | 2016-12-30 | 2017-05-31 | 飞依诺科技(苏州)有限公司 | 一种谐波扫查图像的生成方法及装置 |
-
2021
- 2021-09-26 CN CN202111131981.XA patent/CN113837966A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503451A (zh) * | 2011-05-06 | 2014-01-08 | 西门子公司 | 用于对经编码的图像分区进行滤波的方法和设备 |
| CN105469407A (zh) * | 2015-11-30 | 2016-04-06 | 华南理工大学 | 一种基于改进的引导滤波器的人脸图像图层分解方法 |
| CN106780410A (zh) * | 2016-12-30 | 2017-05-31 | 飞依诺科技(苏州)有限公司 | 一种谐波扫查图像的生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
| KR101856401B1 (ko) | 차선 데이터의 처리 방법, 장치, 저장매체 및 기기 | |
| JP6955783B2 (ja) | 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品 | |
| CN109636732A (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
| CN111723721A (zh) | 基于rgb-d的三维目标检测方法、***及装置 | |
| CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
| EP2733666B1 (en) | Method for superpixel life cycle management | |
| JP2002305667A (ja) | 色調不良を自動的に補正する方法および装置 | |
| CN109685806B (zh) | 图像显著性检测方法及装置 | |
| CN110889817B (zh) | 图像融合质量评价方法及装置 | |
| CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN113128430B (zh) | 人群聚集检测方法、装置、电子设备和存储介质 | |
| CN111369611A (zh) | 图像像素深度值优化方法及其装置、设备和存储介质 | |
| Kallasi et al. | Computer vision in underwater environments: A multiscale graph segmentation approach | |
| CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及*** | |
| CN112614174A (zh) | 点云补全和点云分割方法、装置、电子设备及存储介质 | |
| CN117132503A (zh) | 一种图像局部高亮区域修复方法、***、设备及存储介质 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN114331919B (zh) | 深度恢复方法、电子设备及存储介质 | |
| CN113837966A (zh) | 人脸深度图的滤波方法、装置、电子设备及存储介质 | |
| CN114417906B (zh) | 微观图像标识的识别方法、装置、设备及存储介质 | |
| CN115984178A (zh) | 伪造图像检测方法、电子设备和计算机可读存储介质 | |
| Dimiccoli et al. | Hierarchical region-based representation for segmentation and filtering with depth in single images | |
| CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220513 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Applicant before: Hefei lushenshi Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211224 |
|
| RJ01 | Rejection of invention patent application after publication |