CN113435273B - 数据增广方法、装置、电子设备及存储介质 - Google Patents

数据增广方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113435273B
CN113435273B CN202110658676.XA CN202110658676A CN113435273B CN 113435273 B CN113435273 B CN 113435273B CN 202110658676 A CN202110658676 A CN 202110658676A CN 113435273 B CN113435273 B CN 113435273B
Authority
CN
China
Prior art keywords
data
face
mask
color
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110658676.XA
Other languages
English (en)
Other versions
CN113435273A (zh
Inventor
保长存
陈智超
朱海涛
江坤
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110658676.XA priority Critical patent/CN113435273B/zh
Publication of CN113435273A publication Critical patent/CN113435273A/zh
Application granted granted Critical
Publication of CN113435273B publication Critical patent/CN113435273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例涉及数据处理领域，公开了一种数据增广方法、装置、电子设备及存储介质。数据增广方法包括：获取口罩模板数据和待增广人脸数据集，其中，所述口罩模板数据像包括彩色口罩模板数据和深度口罩模板数据；利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集。使得本发明所获取的人脸数据效果真实且增广性能强。

Description

数据增广方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及数据处理领域，特别涉及一种数据增广方法、装置、电子设备及存储介质。
背景技术
对于人脸识别来说，大规模的人脸数据是重中之重，对戴口罩人脸识别主要依靠深度学习网络对数据进行训练和匹配得到稳定的识别模型，对模型的训练需要前期输入大量的戴口罩人脸数据，考虑到实际缺少大量真实的戴口罩人脸数据，目前戴口罩人脸识别普遍都要采用增广戴口罩人脸数据来用于实际训练。
然而，现有增广戴口罩人脸数据做法是：利用人脸关键点来将带掩模彩色口罩模板粘贴到人脸上，但利用人脸关键点粘贴口罩的效果较粗糙、不真实，且利用人脸关键点粘贴只适用于增广二维戴口罩人脸数据，无法在人脸深度数据上进行增广，使得戴口罩人脸数据增广性能较差。
发明内容
本发明实施方式的目的在于提供一种数据增广方法、装置、电子设备及存储介质，能够通过利用人脸重建网络获取彩色口罩模板数据和深度口罩模板数据，并增广至原始人脸数据上，使得所获取的增广人脸数据效果真实、增广性能强。
本发明的实施方式提供了一种数据增广方法，所述方法包括：获取口罩模板数据和待增广人脸数据集，其中，所述口罩模板数据包括彩色口罩模板数据和深度口罩模板数据；利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集。
本发明的实施方式还提供了一种数据增广装置，所述装置包括：获取模块，用于获取口罩模板数据和待增广人脸数据集，其中，所述口罩模板数据包括彩色口罩模板数据和深度口罩模板数据；增广模块，用于利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的数据增广方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的数据增广方法。
本发明实施方式，在人脸数据增广的过程中，通过获取彩色口罩模板数据和深度口罩模板数据，再利用人脸重建网络将彩色口罩模板数据和深度口罩模板数据增广到待增广的人脸数据上，生成增广人脸数据，从而使得所获取的增广人脸数据的效果真实且增广性能强，解决了现有技术中采用人脸关键点粘贴口罩方法所导致的口罩人脸数据效果粗糙、不真实和增广性能差的技术问题。
另外，本发明实施方式提供的数据增广方法，所述获取口罩模板数据包括：获取样本数据集，其中，所述样本数据集包括多视角人脸彩色数据和多视角人脸深度数据；对所述多视角人脸彩色数据进行分割处理获取多视角口罩数据；利用所述人脸重建网络对所述多视角人脸彩色数据、所述多视角人脸深度数据和所述多视角口罩数据进行重建，获取多视角彩色数据、多视角点云数据和多视角口罩掩膜数据；对所述多视角彩色数据和所述多视角口罩掩膜数据进行融合处理获取所述彩色口罩模板数据；对所述多视角点云数据和所述多视角口罩掩膜数据进行融合处理获取所述深度口罩模板数据。本发明提供的技术方案通过对多视角的人脸彩色数据和人脸深度数据进行处理，并将多视角的数据融合为一个数据，使得所获取的彩色口罩模板数据和深度口罩模板数据更加完整，更符合人脸实际效果。
另外，本发明实施方式提供的数据增广方法，所述利用所述人脸重建网络对所述多视角人脸彩色数据、所述多视角人脸深度数据和所述多视角口罩数据进行重建之前还包括：对所述多视角人脸深度数据进行滤波处理和补洞处理。本发明提供的技术方案可以通过对人脸深度数据进行预处理来提升人脸深度数据的质量，使得本发明所获取的深度口罩模板数据更加真实、完整。
另外，本发明实施方式提供的数据增广方法，所述待增广人脸数据集包括待增广人脸彩色数据和待增广人脸深度数据；所述利用所述人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集包括：利用所述人脸重建网络对所述待增广人脸彩色数据和所述待增广人脸深度数据进行重建处理，获取待增广彩色数据和待增广深度数据；对所述待增广彩色数据和所述彩色口罩模板数据进行融合处理获取彩色口罩数据；对所述待增广深度数据和所述深度口罩模板数据进行融合处理获取深度口罩数据；分别将所述彩色口罩数据和所述深度口罩数据渲染至所述待增广人脸彩色数据和所述待增广人脸深度数据上，生成所述增广人脸数据集，其中，所述增广人脸数据集包括人脸增广彩色数据和人脸增广深度数据。本发明提供的技术方案可以通过分别融合待增广彩色数据和彩色口罩模板数据、待增广深度数据和深度口罩模板数据，使得本发明所获取的增广人脸数据的增广性。
另外，本发明实施方式提供的数据增广方法，所述对所述待增广彩色数据和所述彩色口罩模板数据进行融合处理获取彩色口罩数据之前还包括：对所述待增广彩色数据和所述彩色口罩模板数据进行颜色空间转换处理，获取彩色转换数据和彩色口罩转换数据；根据所述彩色转换数据的亮度对所述彩色口罩转换数据的亮度进行线性处理；根据所述彩色转换数据的饱和度对所述彩色口罩转换数据的饱和度进行线性处理；对所述彩色转换数据和线性处理后的所述彩色口罩转换数据进行加色模式转换处理，获取所述待增广彩色数据和线性彩色口罩模板数据。本发明提供的技术方案可以通过使待增广彩色数据和彩色口罩模板数据的亮度和饱和度保持一致，使得本发明所获取的增广人脸数据更加真实。
另外，本发明实施方式提供的数据增广方法，所述对所述待增广深度数据和所述深度口罩模板数据进行融合处理获取深度口罩数据包括：对所述深度口罩模板数据进行网络化处理，获取所述深度口罩模板数据的边界点数据；利用预设的刚性损失函数、预设的非刚性损失函数对所述深度口罩模板数据的边界点数据进行处理；对处理后的所述深度口罩模板数据的边界点数据和所述待增广深度数据进行融合处理，获取所述深度口罩数据。本发明提供的技术方案可以通过刚性注册和非刚性变形的使用使待增广深度数据和深度口罩模板数据的融合更加贴合，使得本发明所获取的增广人脸数据更加真实。
另外，本发明实施方式提供的数据增广方法，所述利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理之前还包括：获取彩色人脸训练数据，对所述彩色人脸训练数据进行口罩增广处理获取口罩人脸训练数据；利用所述彩色人脸训练数据和所述口罩人脸训练数据训练所述预设的人脸重建网络。本发明提供的技术方案可以通过在使用人脸重建网络之前先对人脸重建网络进行训练，使得所获取的人脸重建网络的性能更佳，对人脸彩色数据和人脸深度数据的重建效果更好，所获取的口罩模板数据更加真实。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明实施方式的数据增广方法的流程图一；
图2是根据本发明实施方式的数据增广方法的流程图二；
图3是根据本发明实施方式的数据增广方法的流程图三；
图4是根据本发明实施方式的数据增广方法的流程图四；
图5是根据本发明实施方式的数据增广方法的流程图五；
图6是根据本发明实施方式的数据增广方法的流程图六；
图7是根据本发明实施方式的数据增广装置的结构图；
图8是根据本发明实施方式的电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明实施方式涉及一种数据增广方法，如图1所示，具体包括：
步骤101，获取口罩模板数据和待增广人脸数据集，其中，口罩模板数据包括彩色口罩模板数据和深度口罩模板数据。
具体的说，所获取的待增广人脸数据集是三原色+深度类型的，包含不带口罩的人脸彩色数据和不带口罩的人脸深度数据的，获取口罩模板数据可以是人脸重建网络从缓存结果处获取的，也可以是人脸重建网络根据所获取的样本数据集获取的。
步骤102，利用预设的人脸重建网络对彩色口罩模板数据、深度口罩模板数据和待增广人脸数据集进行处理，生成增广人脸数据集。
具体的说，由于所获取的待增广人脸数据集也包含待增广人脸彩色数据和待增广人脸深度数据，因此，需要使用人脸重建网络对待增广人脸彩色数据和待增广人脸深度数据进行重建处理，获取待增广彩色数据和待增广深度数据，之后人脸重建网络根据待增广彩色数据和彩色口罩模板数据的各像素对应关系、待增广深度数据和深度口罩模板数据的各像素对应关系进行融合来获取彩色口罩数据和深度口罩数据，最后人脸重建网络根据彩色口罩数据和待增广人脸彩色数据的对应关系、待增广人脸深度数据和深度口罩视觉的对应关系进行渲染处理，来生成口罩人脸数据，所生成的增广人脸数据集也同样包含人脸增广彩色数据和人脸增广深度数据。
此处需要注意的是：由于人脸重建网络可能是三维人脸重建网络，也可能是二维人脸重建网络，当是三维人脸重建网络，所获取的口罩模板数据和增广人脸数据均是三维的，当是二维人脸重建网络，所获取的口罩模板数据和增广人脸数据均是二维的。
本发明实施方式，在人脸数据增广的过程中，通过获取彩色口罩模板数据和深度口罩模板数据，再利用人脸重建网络将彩色口罩模板数据和深度口罩模板数据增广到待增广的人脸数据上，生成增广人脸数据，从而使得所获取的增广人脸数据的效果真实且增广性能强，解决了现有技术中采用人脸关键点粘贴口罩方法所导致的口罩人脸数据效果粗糙、不真实和增广性能差的技术问题。
本发明实施方式涉及一种数据增广方法，如图2所示，具体包括：
步骤201，获取样本数据集和待增广人脸数据集，其中，样本数据集包括多视角人脸彩色数据和多视角人脸深度数据。
具体的说，所获取的样本数据集是三原色+深度类型的，包含多视角人脸彩色数据和多视角人脸深度数据，多视角人脸彩色数据是指以不同的拍摄角度所获取的人脸彩色数据，不同的拍摄角度可以是正脸、左侧脸、右侧脸、45度侧脸等角度，多视角人脸深度数据同样如此，多视角人脸彩色数据和多视角人脸深度数据都是戴口罩的人脸数据，戴口罩的类型可以分为完全遮挡鼻子、半遮挡鼻子和遮挡下巴三种类型，一组样本数据集中可以包含多种戴口罩类型的多视角人脸彩色数据和多视角人脸深度数据；待增广人脸数据集也是三原色+深度类型的，包含不带口罩的人脸彩色数据和不带口罩的人脸深度数据构成的。
此处需要注意的是：人脸彩色数据和人脸深度数据必须是对应着存在的，一张人脸数据必须要同时获取它的人脸彩色数据和人脸深度数据，且人脸彩色数据和人脸深度数据是像素级对齐的，否则需要根据相机参数来将人脸深度数据对齐到人脸彩色数据，而一个样本数据集中的样本数据上的口罩数据最好包含一次性医用口罩、活性炭口罩、N95口罩、棉布口罩多种类型的数据。
步骤202，对多视角人脸彩色数据进行分割处理获取多视角口罩数据。
具体的说，在获取到多视角人脸彩色数据之后，需要对每一个视角的人脸彩色数据进行分割处理，得到每一张人脸彩色数据上的口罩部分，分割处理可以由专用的分割模型或分割网络进行处理，也可以由人脸重建网络调用第三方抠图软件进行处理。
步骤203，利用预设的人脸重建网络对多视角人脸彩色数据、多视角人脸深度数据和多视角口罩数据进行重建，获取多视角彩色数据、多视角点云数据和多视角口罩掩膜数据。
具体的说，此处以多视角人脸彩色数据包括正脸人脸彩色数据、左脸人脸彩色数据、右脸人脸彩色数据；多视角人脸深度数据包括正脸人脸深度数据、左脸人脸深度数据、右脸人脸深度数据；多视角口罩数据包括正脸口罩数据、左脸口罩数据、右脸口罩数据为例进行说明；将上述各个数据输入到人脸重建网络中进行重建处理，来获取正脸彩色数据、左脸彩色数据、右脸彩色数据、正脸点云数据、左脸点云数据、右脸点云数据、正脸口罩掩膜数据、左脸口罩掩膜数据和右脸口罩掩膜数据；其中，彩色数据的各个像素值是根据人脸彩色数据上各人脸区域的彩色纹理数据获取的，点云数据的各个像素值是根据人脸深度数据上的人脸区域的三维点云坐标值获取的，而三维点云坐标值是人脸深度数据根据相机参数转换得到的，口罩掩膜数据的各个像素值表示是否为口罩区域(可以以0和1表示)。
步骤204，对多视角彩色数据和多视角口罩掩膜数据进行融合处理获取彩色口罩模板数据。具体的说，将正脸彩色数据、左脸彩色数据和右脸彩色数据根据各自的可见区域进行融合来获取彩色数据，将正脸口罩掩膜数据、左脸口罩掩膜数据和右脸口罩掩膜数据根据各自的可见区域进行融合来获取口罩掩膜数据之后，根据口罩掩膜数据上用于表示是否是口罩区域的像素值分别增广在彩色数据上，以此来获取彩色口罩模板数据。
步骤205，对多视角点云数据和多视角口罩掩膜数据进行融合处理获取深度口罩模板数据。具体的说，先计算左脸点云数据和右脸点云数据到正面点云数据的刚性变换，之后对左脸点云数据和右脸点云数据每个像素上的三维坐标进行坐标变换使得跟正脸点云数据的坐标在同一个坐标系下，最后将正脸点云数据、左脸点云数据和右脸点云数据根据各自的可见区域进行融合来获取点云数据，将正脸口罩掩膜数据、左脸口罩掩膜数据和右脸口罩掩膜数据根据各自的可见区域进行融合来获取口罩掩膜数据之后，根据口罩掩膜数据上用于表示是否是口罩区域的像素值分别增广在点云数据上，以此来获取深度口罩模板数据。
此处需要注意的是，彩色口罩模板数据和深度口罩模板数据是可以进行保存反复使用的，在保存彩色口罩模板数据和深度口罩模板数据时，需要将彩色数据和口罩掩膜数据存储为unit8 类型的数据，将点云数据进行量化后和口罩掩膜数据存储为unit16类型的数据。本发明所使用的人脸重建网络可以是三维人脸重建网络，也可以是二维人脸重建网络，当使用三维人脸重建网络时，所获取的多视角彩色数据、多视角点云数据和多视角口罩掩膜数据均为三维的；当使用二维人脸重建网络时，所获取的多视角彩色数据、多视角点云数据和多视角口罩掩膜数据均为二维的。
步骤206，利用人脸重建网络对彩色口罩模板数据、深度口罩模板数据和待增广人脸数据集进行处理，生成增广人脸数据集。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过对多视角人脸彩色数据和多视角人脸深度数据进行处理，并将多视角的数据融合为一个数据，使得所获取彩色口罩模板数据和深度口罩模板数据更加完整，更符合人脸实际效果。
本发明实施方式涉及一种数据增广方法，如图3所示，具体包括：
步骤301，获取样本数据集和待增广人脸数据集，其中，样本数据集包括多视角人脸彩色数据和多视角人脸深度数据。
具体的说，本步骤与本发明实施方式中的步骤301大致相同，此处不一一赘述。
步骤302，对多视角人脸深度数据进行滤波处理和补洞处理。
具体的说，在获取到人脸深度数据之后，还可以对人脸深度数据采用滤波算法进行光滑滤波处理，消除人脸深度数据上的一些噪音，也可以对人脸深度数据采用补洞算法进行补洞处理，使得所获取的人脸深度数据更加完整，除此之外，也可对人脸深度数据进行其他的可以提升数据质量的算法，此处并不限制。
步骤303，对多视角人脸彩色数据进行分割处理获取多视角口罩数据。
具体的说，本步骤与本发明实施方式中的步骤202大致相同，此处不一一赘述。
步骤304，利用人脸重建网络对多视角人脸彩色数据、多视角人脸深度数据和多视角口罩数据进行重建，获取多视角彩色数据、多视角点云数据和多视角口罩掩膜数据。
具体的说，本步骤与本发明实施方式中的步骤203大致相同，此处不一一赘述。
步骤305，对多视角彩色数据和多视角口罩掩膜数据进行融合处理获取彩色口罩模板数据。
具体的说，本步骤与本发明实施方式中的步骤204大致相同，此处不一一赘述。
步骤306，对多视角点云数据和多视角口罩掩膜数据进行融合处理获取深度口罩模板数据。
具体的说，本步骤与本发明实施方式中的步骤205大致相同，此处不一一赘述。
步骤307，利用人脸重建网络对彩色口罩模板数据、深度口罩模板数据和待增广人脸数据集进行处理，生成增广人脸数据集。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过对人脸深度数据进行预处理来提升人脸深度数据的质量，使得本发明所获取的深度口罩模板数据更加真实、完整。
本发明实施方式涉及一种数据增广方法，如图4所示，具体包括：
步骤401，获取口罩模板数据和待增广人脸数据集，其中，口罩模板数据包括彩色口罩模板数据和深度口罩模板数据，待增广人脸数据集包括待增广人脸彩色数据和待增广人脸深度数据。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤402，利用预设的人脸重建网络对待增广人脸彩色数据和待增广人脸深度数据进行重建处理，获取待增广彩色数据和待增广深度数据。
具体的说，由于所获取的待增广人脸数据集也是三原色+深度类型的，包含待增广人脸彩色数据和待增广人脸深度数据，待增广人脸彩色数据和待增广人脸深度数据经过人脸重建网络进行处理，得到待增广彩色数据和待增广深度数据。
步骤403，对待增广彩色数据和彩色口罩模板数据进行融合处理获取彩色口罩数据，对待增广深度数据和深度口罩模板数据进行融合处理获取深度口罩数据。
具体的说，在对待增广彩色数据和彩色口罩模板数据进行融合处理前，需要先对待增广彩色数据和彩色口罩模板数据进行颜色空间HSV转换处理，由原来的三原色RGB空间转换到色调饱和度亮度HSV空间，而由于彩色转换数据和彩色口罩转换数据的亮度和饱和度会出现不一致的情况，在不一致的情况下，对二者进行融合，会导致所获取的融合数据出现“脱节”的现象，因此，需要以彩色转换数据的亮度为标准，对彩色口罩转换数据的亮度进行线性处理，需要以彩色转换数据的饱和度为标准，对彩色口罩转换数据的饱和度进行线性处理，使得彩色转换数据和彩色口罩转换数据的亮度和饱和度保持一致；在彩色转换数据和彩色口罩转换数据的亮度和饱和度保持一致之后，需要将色调饱和度亮度HSV类型的彩色转换数据和彩色口罩转换数据再次进行加色模式RGB转换处理，使其恢复到原来的类型，以方便进行融合处理；融合时根据融合函数将待增广彩色数据和彩色口罩模板数据进行融合来获取彩色口罩数据，融合函数UVMAPfuse的表达式为：
UVMAPfuse＝UVMAPface×(1–Imask)+UVMAPmask×Imask
其中，UVMAPfuse彩色口罩数据，UVMAPface待增广彩色数据，UVMAPmask表示彩色口罩模板数据，Imask口罩模板掩模数据。
对待增广深度数据和深度口罩模板数据进行融合处理获取深度口罩数据时，需要使用人脸重建网络对深度口罩模板数据进行刚性变换和非刚性变换，之后再将经历变换之后的深度口罩模板数据与待增广深度数据进行融合处理，来获取深度口罩数据。
步骤404，分别将彩色口罩数据和深度口罩数据渲染至待增广人脸彩色数据和待增广人脸深度数据上，生成增广人脸数据集，其中，增广人脸数据集包括人脸增广彩色数据和人脸增广深度数据。
具体的说，利用人脸重建网络根据彩色口罩数据和待增广人脸彩色数据的对应关系、待增广人脸深度数据和深度口罩数据的对应关系进行渲染处理，来生成增广人脸数据集，所生成的增广人脸数据集也同样包含人脸增广彩色数据和人脸增广深度数据。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过分别融合彩色数据和彩色口罩模板数据、深度数据和深度口罩模板数据，使得本发明所获取的增广人脸数据集的增广性；通过使待增广彩色数据和彩色口罩模板数据的亮度和饱和度保持一致，使得本发明所获取的口罩人脸数据更加真实。
本发明实施方式涉及一种数据增广方法，如图5所示，具体包括：
步骤501，获取口罩模板数据和待增广人脸数据集，其中，口罩模板数据包括彩色口罩模板数据和深度口罩模板数据，待增广人脸数据集包括待增广人脸彩色数据和待增广人脸深度数据。
具体的说，本步骤与本发明实施方式中的步骤401大致相同，此处不一一赘述。
步骤502，利用预设的人脸重建网络对待增广人脸彩色数据和待增广人脸深度数据进行重建处理，获取待增广彩色数据和待增广深度数据。
具体的说，本步骤与本发明实施方式中的步骤402大致相同，此处不一一赘述。
步骤503，对待增广彩色数据和彩色口罩模板数据进行融合处理获取彩色口罩数据。
具体的说，本步骤与本发明实施方式步骤403中提及的彩色口罩数据获取方法大致相同，此处不一一赘述。
步骤504，对深度口罩数据进行网络化处理，获取深度口罩数据的边界点数据。
具体的说，先需要对深度口罩模板数据进行网格化确定出深度口罩模板数据的网格边界点数据，之后由于数据本身是具备语义信息的，相同像素处的待增广深度数据和深度口罩模板数据可直接作为目标数据和来源数据。
步骤505，利用预设的刚性损失函数、预设的非刚性损失函数对深度口罩模板数据的边界点数据进行处理。
具体的说，利用人脸重建网络根据刚性损失函数对深度口罩模板数据先进行带规范的刚性变换，之后在根据非刚性损失函数对刚性变换之后的深度口罩模板数据进行非刚性变换，最后将两次变换之后的深度口罩模板数据和待增广深度模板数据进行融合处理，其中，刚性损失函数LOSSrigid_transform(scale,R,T)的表达式如下：
LOSSrigid_transform(scale,R,T)＝|scale*T*Vsource+T–Vtarget|2
其中，scale表示缩放，R表示旋转矩阵，T表示三维平移，Vsource原始深度口罩模板数据的点云坐标值，Vtarget变形后深度口罩模板数据的点云坐标值。
非刚性损失函数LOSSnon_rigid_deform的表达式如下：
LOSSnon_rigid_deform＝LOSSlap(Vdeform)+LOSScorres(Vdeform)
其中，LOSSlap(Vdeform)＝Σi|Laplace(Vdeform)–Laplace(Vori)|2，
其中，LOSScorres(Vdeform)＝ΣV∈BoundPointSet|Vdeform–Laplace(Vtarget)|2，
其中，LOSSlap(Vdeform)表示约束口罩模板数据变形前后的laplace坐标一致，LOSScorres(Vdeform) 表示约束口罩模板数据变形后的边界点坐标和待增广深度数据上的坐标接近，Laplace()表示数据网格的拉普拉斯坐标值，Vori表示刚性变换后的深度口罩模板数据点云坐标值，Vdeform表示待求解的非刚性变换的深度口罩模板数据点云坐标值，V∈BoundPointSet表示只考虑深度口罩模板数据的网格边界点数据。
步骤506，对处理后的深度口罩模板数据的边界点数据和待增广深度数据进行融合处理，获取深度口罩数据。
具体的说，根据处理后的深度口罩模板数据的边界点数据的各个点云坐标值和待增广深度贴数据的点云坐标值进行融合处理，来获取深度口罩数据。
步骤507，分别将彩色口罩数据和深度口罩数据渲染至待增广人脸彩色数据和待增广人脸深度数据上，生成增广人脸数据集，其中，增广人脸数据集包括人脸增广彩色数据和人脸增广深度数据。
具体的说，本步骤与本发明实施方式中的步骤405大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过刚性注册和非刚性变形的使用使待增广深度数据和深度口罩模板数据的融合更加贴合，使得本发明所获取的增广人脸数据更加真实。
本发明实施方式涉及一种数据增广方法，如图6所示，具体包括：
步骤601，获取彩色人脸训练数据，对彩色人脸训练数据进行口罩增广处理获取口罩人脸训练数据。
具体的说，获取RGB三原色类型的彩色人脸训练数据之后，采用基线Baseline加口罩方法在彩色人脸训练数据上增广模拟口罩，获取口罩人脸训练数据。
步骤602，利用彩色人脸训练数据和口罩人脸训练数据训练预设的人脸重建网络。
具体的说，将彩色人脸训练数据和口罩人脸训练数据输入人脸重建网络，利用重建损失函数训练人脸重建网络，其中，重建损失函数LOSS的表达式如下：
LOSS＝|RecNet(Imasked)–BaselineRecNet(I)|+|RecNet(I)–BaselineRecNet(I)|
其中，I表示彩色人脸训练数据，Imasked表示采用基线Baseline加口罩方法对加模拟口罩之后的口罩人脸训练数据，RecNet(Imasked)表示人脸重建网络对口罩人脸训练数据Imasked重建结果； RecNet(I)表示待训练网络对彩色人脸数据I的重建结果，BaselineRecNet(I)表示人脸重建网络对口罩人脸训练数据Imasked重建结果。
步骤603，获取口罩模板数据和待增广人脸数据集，其中，口罩模板数据包括彩色口罩模板数据和深度口罩模板数据。
具体的说，本步骤与本发明实施方式中的步骤101大致相同，此处不一一赘述。
步骤604，利用人脸重建网络对彩色口罩模板数据、深度口罩模板数据和待增广人脸数据集进行处理，生成增广人脸数据集。
具体的说，本步骤与本发明实施方式中的步骤102大致相同，此处不一一赘述。
本发明实施方式，在其他实施方式所带来的有益效果的基础之上，还可以通过在使用人脸重建网络之前先对人脸重建网络进行训练，使得所获取的人脸重建网络的性能更佳，对人脸彩色数据和人脸深度数据的重建效果更好，所获取的口罩模板数据更加真实。
本发明实施方式涉及一种数据增广装置，如图7所示，具体包括：
模板模块701，用于获取口罩模板数据和待增广人脸数据集，其中，口罩模板数据包括彩色口罩模板数据和深度口罩模板数据。
增广模块702，用于利用预设的人脸重建网络对彩色口罩模板数据、深度口罩模板数据和待增广人脸数据集进行处理，生成增广人脸数据集。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明实施方式涉及一种电子设备，如图8所示，包括：至少一个处理器801；以及，与所述至少一个处理器801通信连接的存储器802；其中，所述存储器802存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器801执行，以使所述至少一个处理器801能够执行本发明以上任一所述的数据增广方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。本发明实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种数据增广方法，其特征在于，所述方法包括：
获取口罩模板数据和待增广人脸数据集，其中，所述口罩模板数据包括彩色口罩模板数据和深度口罩模板数据；
利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集；
其中，所述获取口罩模板数据包括：
获取样本数据集，其中，所述样本数据集包括多视角人脸彩色数据和多视角人脸深度数据；对所述多视角人脸彩色数据进行分割处理获取多视角口罩数据；
利用所述人脸重建网络对所述多视角人脸彩色数据、所述多视角人脸深度数据和所述多视角口罩数据进行重建，获取多视角彩色数据、多视角点云数据和多视角口罩掩膜数据；
对所述多视角彩色数据和所述多视角口罩掩膜数据进行融合处理获取所述彩色口罩模板数据；对所述多视角点云数据和所述多视角口罩掩膜数据进行融合处理获取所述深度口罩模板数据。
2.根据权利要求1所述的数据增广方法，其特征在于，所述利用所述人脸重建网络对所述多视角人脸彩色数据、所述多视角人脸深度数据和所述多视角口罩数据进行重建之前还包括：对所述多视角人脸深度数据进行滤波处理和补洞处理。
3.根据权利要求1所述的数据增广方法，其特征在于，所述待增广人脸数据集包括待增广人脸彩色数据和待增广人脸深度数据；
所述利用所述人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集包括：
利用所述人脸重建网络对所述待增广人脸彩色数据和所述待增广人脸深度数据进行重建处理，获取待增广彩色数据和待增广深度数据；
对所述待增广彩色数据和所述彩色口罩模板数据进行融合处理获取彩色口罩数据；
对所述待增广深度数据和所述深度口罩模板数据进行融合处理获取深度口罩数据；
分别将所述彩色口罩数据和所述深度口罩数据渲染至所述待增广人脸彩色数据和所述待增广人脸深度数据上，生成所述增广人脸数据集，其中，所述增广人脸数据集包括人脸增广彩色数据和人脸增广深度数据。
4.根据权利要求3所述的数据增广方法，其特征在于，所述对所述待增广彩色数据和所述彩色口罩模板数据进行融合处理获取彩色口罩数据之前还包括：
对所述待增广彩色数据和所述彩色口罩模板数据进行颜色空间转换处理，获取彩色转换数据和彩色口罩转换数据；
根据所述彩色转换数据的亮度对所述彩色口罩转换数据的亮度进行线性处理；
根据所述彩色转换数据的饱和度对所述彩色口罩转换数据的饱和度进行线性处理；
对所述彩色转换数据和线性处理后的所述彩色口罩转换数据进行加色模式转换处理，获取所述待增广彩色数据和线性彩色口罩模板数据。
5.根据权利要求3所述的数据增广方法，其特征在于，所述对所述待增广深度数据和所述深度口罩模板数据进行融合处理获取深度口罩数据包括：
对所述深度口罩模板数据进行网络化处理，获取所述深度口罩模板数据的边界点数据；
利用预设的刚性损失函数、预设的非刚性损失函数对所述深度口罩模板数据的边界点数据进行处理；
对处理后的所述深度口罩模板数据的边界点数据和所述待增广深度数据进行融合处理，获取所述深度口罩数据。
6.根据权利要求1所述的数据增广方法，其特征在于，所述利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理之前还包括：获取彩色人脸训练数据，对所述彩色人脸训练数据进行口罩增广处理获取口罩人脸训练数据；利用所述彩色人脸训练数据和所述口罩人脸训练数据训练所述预设的人脸重建网络。
7.一种数据增广装置，其特征在于，所述装置包括：
获取模块，用于获取口罩模板数据和待增广人脸数据集，其中，所述口罩模板数据包括彩色口罩模板数据和深度口罩模板数据；
增广模块，用于利用预设的人脸重建网络对所述彩色口罩模板数据、所述深度口罩模板数据和所述待增广人脸数据集进行处理，生成增广人脸数据集；
其中，所述获取口罩模板数据包括：
获取样本数据集，其中，所述样本数据集包括多视角人脸彩色数据和多视角人脸深度数据；对所述多视角人脸彩色数据进行分割处理获取多视角口罩数据；
利用所述人脸重建网络对所述多视角人脸彩色数据、所述多视角人脸深度数据和所述多视角口罩数据进行重建，获取多视角彩色数据、多视角点云数据和多视角口罩掩膜数据；
对所述多视角彩色数据和所述多视角口罩掩膜数据进行融合处理获取所述彩色口罩模板数据；对所述多视角点云数据和所述多视角口罩掩膜数据进行融合处理获取所述深度口罩模板数据。
8.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的数据增广方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的数据增广方法。
CN202110658676.XA 2021-06-15 2021-06-15 数据增广方法、装置、电子设备及存储介质 Active CN113435273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658676.XA CN113435273B (zh) 2021-06-15 2021-06-15 数据增广方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658676.XA CN113435273B (zh) 2021-06-15 2021-06-15 数据增广方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113435273A CN113435273A (zh) 2021-09-24
CN113435273B true CN113435273B (zh) 2022-03-25

Family

ID=77755912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658676.XA Active CN113435273B (zh) 2021-06-15 2021-06-15 数据增广方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113435273B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837105A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、***、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776983A (zh) * 2018-05-31 2018-11-09 北京市商汤科技开发有限公司 基于重建网络的人脸重建方法和装置、设备、介质、产品
CN108921070A (zh) * 2018-06-22 2018-11-30 北京旷视科技有限公司 图像处理方法、模型训练方法及对应装置
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111914630A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111914629A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111932439A (zh) * 2020-06-28 2020-11-13 深圳市捷顺科技实业股份有限公司 一种戴口罩人脸图像生成方法及相关装置
CN112487923A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种人脸头部姿态训练数据的获取方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法
CN111832745B (zh) * 2020-06-12 2023-08-01 北京百度网讯科技有限公司 数据增广的方法、装置及电子设备
CN111881770B (zh) * 2020-07-06 2024-05-31 上海序言泽网络科技有限公司 一种人脸识别方法及***
CN112232199A (zh) * 2020-10-15 2021-01-15 燕山大学 基于深度学习的佩戴口罩检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776983A (zh) * 2018-05-31 2018-11-09 北京市商汤科技开发有限公司 基于重建网络的人脸重建方法和装置、设备、介质、产品
CN108921070A (zh) * 2018-06-22 2018-11-30 北京旷视科技有限公司 图像处理方法、模型训练方法及对应装置
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111914630A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111914629A (zh) * 2020-06-19 2020-11-10 北京百度网讯科技有限公司 为人脸识别生成训练数据的方法、装置、设备和存储介质
CN111932439A (zh) * 2020-06-28 2020-11-13 深圳市捷顺科技实业股份有限公司 一种戴口罩人脸图像生成方法及相关装置
CN112487923A (zh) * 2020-11-25 2021-03-12 奥比中光科技集团股份有限公司 一种人脸头部姿态训练数据的获取方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAR Image Data Enhancement Method Based on EMD;Haoran R.等;《2020 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA)》;20200901;第1137-1141页 *
基于改进后的SSD人脸口罩佩戴识别方法研究与典型应用;刘子龙 等;《中国安全防范技术与应用》;20210430;第29-34页 *

Also Published As

Publication number Publication date
CN113435273A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
EP3839879B1 (en) Facial image processing method and apparatus, image device, and storage medium
CN111383232B (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN111784818A (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
US11450068B2 (en) Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
Ahmed et al. Deep event stereo leveraged by event-to-image translation
CN113435273B (zh) 数据增广方法、装置、电子设备及存储介质
CN110443839A (zh) 一种骨骼模型空间配准方法及装置
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
CN117593178A (zh) 一种基于特征引导的虚拟试衣方法
CN117274605A (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN112966390A (zh) 基于双重三维距离场的衣服处理方法以及装置
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN112464924A (zh) 一种构建训练集的方法及装置
CN115393241A (zh) 医学图像增强方法、装置、电子设备及可读存储介质
CN116342385A (zh) 文本图像超分辨率网络的训练方法、装置以及存储介质
CN109859306A (zh) 一种基于机器学习的从照片中提取人体模型的方法
CN112818820B (zh) 图像生成模型训练方法、图像生成方法、装置及电子设备
CN113496468B (zh) 深度图像的修复方法、装置和存储介质
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
CN113781653A (zh) 对象模型生成方法、装置、电子设备及存储介质
CN114581389A (zh) 一种基于三维边缘相似度特征的点云质量分析方法
JP2023502813A (ja) モデル訓練方法、画像処理及びレジストレーション方法、装置、デバイス、媒体
CN113781372A (zh) 一种基于深度学习的戏曲脸谱生成方法及***
CN208101077U (zh) 一种基于vr的3d打印***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230411

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right