WO2021042544A1 - 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 - Google Patents

基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021042544A1
WO2021042544A1 PCT/CN2019/117774 CN2019117774W WO2021042544A1 WO 2021042544 A1 WO2021042544 A1 WO 2021042544A1 CN 2019117774 W CN2019117774 W CN 2019117774W WO 2021042544 A1 WO2021042544 A1 WO 2021042544A1
Authority
WO
WIPO (PCT)
Prior art keywords
reticulated
mesh
loss value
face image
training
Prior art date
Application number
PCT/CN2019/117774
Other languages
English (en)
French (fr)
Inventor
罗霄
胡文成
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021042544A1 publication Critical patent/WO2021042544A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the similarity between the de-textured face image feature and the face image feature to be compared is calculated, and when the similarity is greater than a preset threshold, the face verification is successful.
  • an embodiment of the present application provides a face verification device based on a de-texturing model, including:
  • a fifth acquisition module configured to input the face image to be compared without mesh into the feature extraction model to obtain the features of the face image to be compared;
  • a computer device in a third aspect, includes a memory, a processor, and computer-readable instructions that are stored in the memory and can run on the processor, and the processor implements the foregoing when the computer-readable instructions are executed. Steps of face verification method based on de-texturing model.
  • the reticulation of the reticulated face image is removed to generate a de-reticulated face image; then the feature extraction model is used to extract the de-reticulated face image features of the de-reticulated face image, and the comparison of the non-reticulated face image The face image features of the face image; finally, the result of the face verification is confirmed by calculating the similarity between the de-textured face image feature and the face image feature to be compared.
  • the reticulation of a reticulated face image can be accurately removed, which effectively improves the accuracy
  • Fig. 1 is a flowchart of a face verification method based on a de-texturing model in an embodiment of the present application
  • Fig. 1 shows a flow chart of the face verification method based on the de-texturing model in this embodiment.
  • the face verification method based on the de-textured model can be applied to a face verification system, and the face verification system can be used for verification in the face verification of a reticulated face image.
  • the face verification system can be specifically applied to a computer device, where the computer device is a device that can perform human-computer interaction with a user, including but not limited to devices such as computers, smart phones, and tablets.
  • the face verification method based on the de-texturing model includes the following steps:
  • the face image with mesh and the face image to be compared without mesh cannot be directly compared and verified. Due to the interference of the reticulation in the face image to be reticulated, it will have a greater impact when calculating the similarity between the features of the image.
  • the mesh extraction model is specifically used to extract the mesh position information in the mesh face image, so as to remove the interference caused by the mesh in the mesh face image.
  • the reticulated position information and the reticulated face image are input into the de-reticulated model, and a simulated face image can be generated according to the de-reticulated model trained by the generative confrontation network.
  • the face image can realize the de-reticulation function.
  • the reticulated position information and the reticulated face image it can output the de-textured face image with strong reproducibility, which is helpful to improve the human Accuracy of face verification.
  • S60 Calculate the similarity between the features of the de-screened face image and the features of the face image to be compared. When the similarity is greater than a preset threshold, the face verification is successful.
  • an image contains many pixels, and different pixels can contain different pixel values at the same time, such as 2 8 , 2 12 and 2 16 pixel values. Therefore, the amount of calculation in the actual calculation is relatively large.
  • the operation of normalizing the pixel value makes each pixel value compressed in the same range, thereby simplifying the calculation process and helping to speed up the efficiency of face verification.
  • the label difference value is 1
  • the label mesh position information is obtained.
  • the label's reticulated location information conforms to objective facts and can be used to train a deep neural network model to obtain a reticulated extraction model.
  • steps S21-S24 a specific embodiment of the mesh extraction model obtained by training is provided.
  • the mesh extraction model is obtained based on pixel difference training, which can train mesh training samples of different mesh shapes and ensure the extraction accuracy of the mesh extraction model.
  • setting the number of samples to 1:1 can prevent the model from overfitting in the training of the de-reticulate model, and can effectively improve the generalization ability of the de-reticulated model.
  • the first discrimination loss value is the loss value caused by the generator during the training process
  • the second discrimination loss value is the loss value caused by the discriminator itself during the training process.
  • the simulated face image is generated by the generator
  • a part of the generated loss value is the loss value caused by the generator during the training process
  • the loss value of this part is the first discriminant loss value.
  • the loss values related to the generator can be added, and the network parameters of the generator can be updated together, which can improve the accuracy of the de-texturing of the generated de-texturing model. degree.
  • steps S311-S316 a specific implementation method for training to obtain a de-texturing model is provided, which can update the network parameters according to the first generation loss value, the first discriminant loss value, and the second discriminant loss value generated during the training process, Obtain a high-precision de-texturing model.
  • the embodiments of the present application further provide device embodiments that implement the steps and methods in the foregoing method embodiments.
  • the second acquisition module 20 is used to extract the location information of the mesh in the meshed face image by using the mesh extraction model, where the mesh extraction model is obtained by training based on the pixel difference.
  • the face verification device based on the de-texturing model further includes a second processing module, and the second processing module includes:
  • the first update unit is configured to update the network parameters of the generator according to the third generation loss value.
  • the second generation unit is used to input the mesh position information with mesh training samples and the mesh training samples into the generator of the generative confrontation network to generate a simulated face image, and according to the simulated face image and without The reticulated training sample obtains the first generation loss value.
  • the second update unit is used to update the network parameters of the generator according to the third generation loss value.
  • the fourth obtaining module includes:
  • the initialization unit is used to initialize the convolutional neural network, where the initial weight of the convolutional neural network satisfies Among them, n l represents the number of samples input in the lth layer of the convolutional neural network, S() represents the variance operation, and W l represents the weight of the lth layer of the convolutional neural network. Represents arbitrary, l represents the first layer of the convolutional neural network.
  • the eighteenth acquisition unit is used to acquire training samples without mesh.
  • the nineteenth acquisition unit is used to input training samples without mesh into the initialized convolutional neural network to obtain the loss value generated during the training process.
  • the twentieth acquisition unit is used to update the network parameters of the convolutional neural network according to the loss value generated in the training process to obtain a feature extraction model.
  • the computer device 70 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the computer device 70 may include, but is not limited to, a processor 71 and a memory 72.
  • FIG. 3 is only an example of the computer device 70, and does not constitute a limitation on the computer device 70. It may include more or less components than those shown in the figure, or a combination of certain components, or different components.
  • computer equipment may also include input and output devices, network access devices, buses, and so on.
  • the memory 72 may be an internal storage unit of the computer device 70, such as a hard disk or memory of the computer device 70.
  • the memory 72 may also be an external storage device of the computer device 70, such as a plug-in hard disk equipped on the computer device 70, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, and a flash memory card (Flash). Card) and so on.
  • the memory 72 may also include both an internal storage unit of the computer device 70 and an external storage device.
  • the memory 72 is used to store computer readable instructions and other programs and data required by the computer equipment.
  • the memory 72 can also be used to temporarily store data that has been output or will be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：获取带网纹人脸图像和不带网纹的待比对人脸图像；提取带网纹人脸图像中的网纹位置信息；将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像；将去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征；将不带网纹的待比对人脸图像输入到特征提取模型中，得到待比对人脸图像特征；计算去网纹人脸图像特征和待比对人脸图像特征之间的相似度，当相似度大于预设阈值时，人脸验证成功。采用该基于去网纹模型的人脸验证方法能够去除带网纹人脸图像中的网纹，有效提高人脸验证的准确度。

Description

基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
本申请以2019年9月3日提交的申请号为201910827470.8，名称为“人脸验证方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
【技术领域】
本申请涉及人工智能技术领域，尤其涉及一种基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质。
【背景技术】
随着互联网技术的迅速发展，通过人脸验证来保障用户账号安全性也显得尤为重要。人脸验证，是人脸识别领域的一个分支，使用人脸验证算法可全自动对两张人脸照片进行验证，判别是否为同一人。这种方式可用于互联网金融等多个场景下的用户人脸身份核实。
目前，为了保护公民隐私安全，在照片外传时会添加网纹水印，从而得到网纹照片，比如，身份证人脸照、社保卡人脸照、通行证人脸照等证件照片。在对网纹照片进行人脸验证时，需要专业人员用去噪算法从网纹照片中去除网纹，然后再对去除网纹后的照片进行修复等，最后才能对该网纹照片进行验证。
由于现有去除网纹的图像处理方式对操作人员的专业技术要求较高，因此会导致人脸验证的准确度不高。
【发明内容】
有鉴于此，本申请实施例提供了一种基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质，用以解决目前带网纹图像在进行人脸验证时准确度不高的问题。
第一方面，本申请实施例提供了一种基于去网纹模型的人脸验证方法，包括：
获取带网纹人脸图像和不带网纹的待比对人脸图像；
采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
第二方面，本申请实施例提供了一种基于去网纹模型的人脸验证装置，包括：
第一获取模块，用于获取带网纹人脸图像和不带网纹的待比对人脸图像；
第二获取模块，用于采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
第三获取模块，用于将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
第四获取模块，用于将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
第五获取模块，用于将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
验证模块，用于计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于去网纹模型的人脸验证方法的步骤。
第四方面，本申请实施例提供了一种计算机非易失性可读存储介质，包括：计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于去网纹模型的人脸验证方法的步骤。
在本申请实施例中，首先获取带网纹人脸图像和不带网纹的待比对人脸图像，并采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，能够根据生成式对抗网络的仿真功能，利用提取的网纹位置信息精准地除去带网纹人脸图像的网纹，生成去网纹人脸图像；然后采用特征提取模型分别提取去网纹人脸图像的去网纹人脸图像特征，以及不带网纹的待比对人脸图像的 人脸图像特征；最后通过计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，确认人脸验证的结果。本申请实施例中能够精准地去除带网纹人脸图像的网纹，有效提高了人脸验证的准确度。
【附图说明】
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本申请一实施例中基于去网纹模型的人脸验证方法的一流程图；
图2是本申请一实施例中基于去网纹模型的人脸验证装置的一示意图；
图3是本申请一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响 应于检测(陈述的条件或事件)”。
图1示出本实施例中基于去网纹模型的人脸验证方法的一流程图。该基于去网纹模型的人脸验证方法可应用在人脸验证***上，在对带网纹人脸图像进行的人脸验证中可采用该人脸验证***进行验证。该人脸验证***具体可应用在计算机设备上，其中，该计算机设备是可与用户进行人机交互的设备，包括但不限于电脑、智能手机和平板等设备。如图1所示，该基于去网纹模型的人脸验证方法包括如下步骤：
S10：获取带网纹人脸图像和不带网纹的待比对人脸图像。
其中，该带网纹人脸图像和不带网纹的待比对人脸图像用于进行人脸验证，判断两者的人脸图像的来源是否来自同一人脸。
S20：采用网纹提取模型提取带网纹人脸图像中的网纹位置信息，其中，网纹提取模型基于像素差值训练得到。
可以理解地，带网纹人脸图像和不带网纹的待比对人脸图像无法进行直接比对验证。由于待网纹人脸图像中网纹的干扰，在计算图像的特征之间的相似度时，会有较大影响。
在一实施例中，具体采用网纹提取模型提取带网纹人脸图像中的网纹位置信息，以去除带网纹人脸图像中网纹带来的干扰。
S30：将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，去网纹模型是采用生成式对抗网络训练得到的。
其中，生成式对抗网络(GAN,Generative Adversarial Networks)，是一种深度学习模型，是复杂分布上无监督学习的方法之一。该模型通过生成器和判别器互相博弈，学习产生与人们期望相当接近的输出。可以理解地，生成式对抗网络实际上就是根据生成器和判别器之间的博弈而不断地更新优化自身的模型。
在一实施例中，将网纹位置信息和带网纹人脸图像输入到去网纹模型中，可根据由生成式对抗网络训练得到的去网纹模型，生成仿真的人脸图像，该仿真的人脸图像根据输入的网纹位置实现了去网纹的功能，能够根据网纹位置信息和带网纹人脸图像输出图像还原性较强的去网纹人脸图像，有助于提高人脸验证的准确度。
S40：将去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，特征提取模型是采用卷积神经网络训练得到的。
S50：将不带网纹的待比对人脸图像输入到特征提取模型中，得到待比对人脸图像特征。
可以理解地，验证两张图像是否来自同一人脸，可采用卷积神经网络训练得到的特征提取模型对图像进行深层特征的提取，不仅能保证人脸验证的准确度，还可以显著提高人脸验证的 效率。
S60：计算去网纹人脸图像特征和待比对人脸图像特征之间的相似度，当相似度大于预设阈值时，人脸验证成功。
具体地，相似度计算可以有多种相似度比较算法，本实施例中具体采用的可以是余弦相似度的相似度比较算法，该算法表示为
Figure PCTCN2019117774-appb-000001
其中，A表示去网纹人脸图像特征(采用向量的形式表示)，B表示待比对人脸图像特征。采用余弦相似度的相似度比较算法，可以体现去网纹人脸图像和不带网纹的待比对人脸图像在空间分布上的相似程度，具有较高的准确性。
进一步地，在步骤S20中，在步骤采用网纹提取模型提取带网纹人脸图像中的网纹位置信息之前，还包括：
S21：获取网纹训练样本集，其中，在网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像。
在一实施例中，具体可以采用10000张、5000对网纹训练样本作为网纹训练样本集，每一网纹训练样本为同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像，两图像差别仅在于有无网纹。每张图像的尺寸大小一致，网纹的形状没有要求，可以是任意的网纹形状。
S22：读取带网纹人脸训练图像和不带网纹的人脸训练图像中的像素值，并将像素值归一化到[0,1]区间内。
可以理解地，一副图像包含很多个像素，不同的像素又可以同时包含不同的像素值，如2 8、2 12和2 16个像素值，因此在实际计算时的计算量较大，可采用归一化像素值的操作，使各个像素值都压缩在同一个范围区间内，从而简化计算过程，有助于加快人脸验证的效率。
在一实施例中，计算机设备可直接读取得到网纹训练样本中像素的像素值。
S23：采用带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息。
可以理解地，图像由像素组成，每个像素在图像上都有其分布位置。对于同等尺寸的图像，对应像素值相减表示像素在各自图像中相同的分布位置的像素值相减。
在一实施例中，预设临界值具体可以设为0.25。具体地，每个像素分布位置所对应的像素差值小于0.25的将取作0，此时可认为带网纹人脸训练图像和不带网纹的人脸训练图像对应的 像素分布位置上的像素值差别不大，可认为该像素分布位置上不存在网纹；相反地，每个像素分布位置所对应的像素差值不小于0.25的将取为1，此时可认为在带网纹人脸训练图像和不带网纹的人脸训练图像对应的像素分布位置上的像素值存在较大的差别，可认为该像素分布位置上存在网纹，从而，可确定像素差值取为1的所对应的像素分布位置上存在网纹，得到标签网纹位置信息。该标签网纹位置信息符合客观事实，可用于训练深度神经网络模型，以得到网纹提取模型。
S24：根据预先获取的深度神经网络模型的输出与标签网纹位置信息，通过损失函数计算深度神经网络模型在训练过程中产生的损失，利用损失更新深度神经网络模型的网络参数，得到网纹提取模型，其中，损失函数表示为
Figure PCTCN2019117774-appb-000002
其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示标签网纹位置上的第i个像素值。
其中，该深度神经网络模型具体可以是利用迁徙学习预先得到初始网络参数的模型，具备初步的网纹提取能力。对于具备初步网纹提取能力的深度神经网络模型进行网络参数的更新，可以提高网络训练的速度，更快地得到网纹提取模型。
在一实施例中，将根据深度神经网络模型的输出与标签网纹位置信息，计算模型在训练过程中产生的损失，从而根据损失反向更新深度神经网络模型的参数，得到网纹提取模型。
可以理解地，由于模型训练是基于像素差值进行的，与网纹位置的形状无关，只关心像素值层面上的区别，因此该网纹提取模型能够实现提取任意网纹形状的带网纹图像的功能。用户也不必根据不同的网纹形状而分别训练多个对应的网纹提取模型。
在步骤S21-S24中，提供了一种训练得到网纹提取模型的具体实施例。该网纹提取模型基于像素差值训练得到，可以训练不同网纹形状的网纹训练样本，并保证网纹提取模型的提取精度。
进一步地，生成式对抗网络包括生成器和判别器，在步骤S30之前，即在将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，还包括：
S311：获取样本数量相等的带网纹训练样本和不带网纹训练样本。
其中，设置样本数量1:1能够防止训练去网纹模型中出现模型过拟合的情况，能够有效提高去网纹模型的泛化能力。
S312：采用网纹提取模型提取带网纹训练样本的网纹位置信息。
需要说明的是，该带网纹训练样本的网纹位置信息对于不同的带网纹训练样本(如两个不同的人的带网纹人脸图像)，其网纹位置信息可以是不同的，也就是说，带网纹训练样本的网 纹类型可以是不同的。
可以理解地，由于本实施中实现去网纹功能是基于像素点的差值确定的，则对于任意种网纹类型的带网纹训练样本，在训练过程中都是学习像素点的差值的特征，不会受像素点在带网纹训练样本的几何分布所影响。
S313：将带网纹训练样本的网纹位置信息和带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据仿真人脸图像和不带网纹训练样本得到第一生成损失值。
其中，该生成式对抗网络的生成器在训练过程中输出仿真人脸图像，并根据仿真人脸图像和不带网纹训练样本(对照样本)得到第一生成损失值，以基于该第一生成损失值更新生成器的网络参数。其中，第一生成损失值可根据用户预定义的损失函数确定。
可以理解地，在不断的生成器训练中，最终生成器将能够学习到如何去除网纹的深层特征，可根据输入的网纹位置信息和带网纹训练样本，输出去除掉带网纹训练样本的网纹的仿真人脸图像。
S314：将仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据判别结果得到第一判别损失值和第二判别损失值，其中，第一判别损失值是生成器在训练过程中造成的损失值，第二判别损失值是判别器自身在训练过程中造成的损失值。
其中，判别器是对生成器输出的仿真人脸图像进行校验的判别模型。根据生成式对抗网络的网络特点，该判别器可以有效地对生成器的网络参数进行更新，使得生成器输出的仿真人脸图像更加接近对照样本。
同样地，可以根据得到的判别结果，与预先设置的标签(对照结果)得到第一判别损失值和第二判别损失值，判别过程产生的损失值可根据用户预定义的损失函数确定。
需要说明的是，第一判别损失值是生成器在训练过程中造成的损失值，第二判别损失值是判别器自身在训练过程中造成的损失值。可以理解地，由于仿真人脸图像是由生成器生成的，因此有一部分产生的损失值为生成器在训练过程中造成的损失值，这部分的损失值即第一判别损失值。
S315：将第一生成损失值和第一判别损失值进行算术相加，得到第二生成损失值，采用第二生成损失值更新生成器的网络参数。
可以理解地，去网纹模型在训练过程中，与生成器相关的损失值可进行相加，并一起对生成器的网络参数进行更新，能够提高生成的去网纹模型的去网纹的准确度。
S316：采用第二判别损失值更新判别器的网络参数，根据更新后的生成器的网络参数和更新后的判别器的网络参数得到去网纹模型。
在步骤S311-S316中，提供了一种训练得到去网纹模型的具体实施方式，能够根据训练过程中生成的第一生成损失值、第一判别损失值和第二判别损失值更新网络参数，得到精确度较高的去网纹模型。
进一步地，在步骤S30之前，即在将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，还包括：
S321：获取样本数量相等的带网纹训练样本和不带网纹训练样本。
S322：采用网纹提取模型提取带网纹训练样本的网纹位置信息。
S323：将带网纹训练样本的网纹位置信息和带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据仿真人脸图像和不带网纹训练样本得到第一生成损失值。
S324：将仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据判别结果得到第一判别损失值和第二判别损失值，其中，第一判别损失值是生成器在训练过程中造成的损失，第二判别损失值是判别器自身在训练过程中造成的损失。
其中，步骤S321-S324的步骤流程与步骤S311-S314相同，在本实施例中，其区别在于步骤S325-S328中加入了仿真损失值，从而进一步地提高了训练得到的去网纹模型的去网纹精度。
S325：将仿真人脸图像输入到特征提取模型中，根据特征提取模型提取的仿真人脸特征和采用提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值。
具体地，考虑到生成的仿真人脸图像通过特征提取模型也可以得到生成器在训练过程中产生的损失值，以及在判别器判别过程中产生的损失值，则将该仿真损失值加入进来，能够助于去网纹模型训练时网络参数的更新，提高去网纹模型的精确度。
S326：将仿真损失值、第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值。
S327：将仿真损失值和第二判别损失值进行算术相加，得到第三判别损失值。
S328：根据第三生成损失值更新生成器的网络参数。
S329：根据第三判别损失值更新判别器的网络参数，根据更新后的生成器的网络参数和更新后的判别器的网络参数得到去网纹模型。
在步骤S321-S329中提供了又一种训练得到去网纹模型的具体实施方式，该实施方式加入考虑到生成的仿真人脸图像通过特征提取模型也可以得到生成器在训练过程中产生的损失值，以及在判别器判别过程中产生的损失值，能够进一步地优化去网纹模型。
进一步地，在步骤S40之前，即将去网纹人脸图像输入到特征提取模型中，得到去网纹人 脸图像特征，还包括：
S41：初始化卷积神经网络，其中，卷积神经网络初始化的权值满足
Figure PCTCN2019117774-appb-000003
其中，n l表示在卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示卷积神经网络第l层的权值，
Figure PCTCN2019117774-appb-000004
表示任意，l表示卷积神经网络的第l层。
其中，采用该对卷积神经网络的初始化操作，能够加快特征提取模型训练的速度，并能够提高特征提取模型提取特征的准确度。
可以理解地，卷积神经网络的权值的初始化能够影响特征提取模型的训练，在一实施例中，当卷积神经网络初始化的权值满足
Figure PCTCN2019117774-appb-000005
时，可显著提高训练效果。
S42：获取不带网纹训练样本。
S43：将不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值。
具体地，可根据不带网纹训练样本训练卷积神经网络的过程，得到训练过程中产生的损失值
S44：根据训练过程中产生的损失值更新卷积神经网络的网络参数，得到特征提取模型。
具体地，本实施例中更新网络参数的方法具体可以是反向传播算法。
在步骤S41-S44中，提供了一种训练特征提取模型的具体实施方式，对卷积神经网络的权值进行了初始化设置，使得初始化的权值满足
Figure PCTCN2019117774-appb-000006
能够加快特征提取模型训练的速度，并提高特征提取模型提取特征的准确度。
在本申请实施例中，首先获取带网纹人脸图像和不带网纹的待比对人脸图像，并采用网纹提取模型提取带网纹人脸图像中的网纹位置信息，将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，能够根据生成式对抗网络的仿真功能，利用提取的网纹位置信息精准地除去带网纹人脸图像的网纹，生成去网纹人脸图像；然后采用特征提取模型分别提取去网纹人脸图像的去网纹人脸图像特征，以及不带网纹的待比对人脸图像的人脸图像特征；最后通过计算去网纹人脸图像特征和待比对人脸图像特征之间的相似度，确认人脸验证的结果。本申请实施例中能够精准地去除带网纹人脸图像的网纹，有效提高了人脸验证的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于实施例中所提供的基于去网纹模型的人脸验证方法，本申请实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中基于去网纹模型的人脸验证方法一一对应的基于去网纹模型的人脸验证装置的原理框图。如图2所示，该基于去网纹模型的人脸验证装置包括第一获取模块10、第二获取模块20、第三获取模块30、第四获取模块40、第五获取模块50和验证模块60。其中，第一获取模块10、第二获取模块20、第三获取模块30、第四获取模块40、第五获取模块50和验证模块60的实现功能与实施例中基于去网纹模型的人脸验证方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
第一获取模块10，用于获取带网纹人脸图像和不带网纹的待比对人脸图像。
第二获取模块20，用于采用网纹提取模型提取带网纹人脸图像中的网纹位置信息，其中，网纹提取模型基于像素差值训练得到。
第三获取模块30，用于将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，去网纹模型是采用生成式对抗网络训练得到的。
第四获取模块40，用于将去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，特征提取模型是采用卷积神经网络训练得到的。
第五获取模块50，用于将不带网纹的待比对人脸图像输入到特征提取模型中，得到待比对人脸图像特征。
验证模块60，用于计算去网纹人脸图像特征和待比对人脸图像特征之间的相似度，当相似度大于预设阈值时，人脸验证成功。
可选地，该基于去网纹模型的人脸验证装置还包括第一处理模块，该第一处理模块包括：
第一获取单元，用于获取网纹训练样本集，其中，在网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像。
归一化单元，用于读取带网纹人脸训练图像和不带网纹的人脸训练图像中的像素值，并将像素值归一化到[0,1]区间内。
第二获取单元，用于采用带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息。
第三获取单元，用于根据预先获取的深度神经网络模型的输出与标签网纹位置信息，通过损失函数计算深度神经网络模型在训练过程中产生的损失，利用损失更新深度神经网络模型的网络参数，得到网纹提取模型，其中，损失函数表示为
Figure PCTCN2019117774-appb-000007
Figure PCTCN2019117774-appb-000008
其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示标签网纹位置上的第i个像素值。
可选地，该基于去网纹模型的人脸验证装置还包括第二处理模块，该第二处理模块包括：
第四获取单元，用于获取样本数量相等的带网纹训练样本和不带网纹训练样本。
第五获取单元，用于采用网纹提取模型提取带网纹训练样本的网纹位置信息。
第一生成单元，用于将带网纹训练样本的网纹位置信息和带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据仿真人脸图像和不带网纹训练样本得到第一生成损失值。
第六获取单元，用于将仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据判别结果得到第一判别损失值和第二判别损失值，其中，第一判别损失值是生成器在训练过程中造成的损失值，第二判别损失值是判别器自身在训练过程中造成的损失值。
第七获取单元，用于将所述仿真人脸图像输入到所述特征提取模型中，得到仿真损失值。
第八获取单元，用于将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值。
第九获取单元，用于将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值。
第一更新单元，用于根据所述第三生成损失值更新所述生成器的网络参数。
第十获取单元，用于根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
可选地，该基于去网纹模型的人脸验证装置还包括第三处理模块，该第三处理模块包括：
第十一获取单元，用于获取样本数量相等的带网纹训练样本和不带网纹训练样本。
第十二获取单元，用于采用网纹提取模型提取带网纹训练样本的网纹位置信息。
第二生成单元，用于将带网纹训练样本的网纹位置信息和带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据仿真人脸图像和不带网纹训练样本得到第一生成损失值。
第十三获取单元，用于将仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据判别结果得到第一判别损失值和第二判别损失值，其中，第一判别损失值是生成器在训练过程中造成的损失，第二判别损失值是判别器自身在训练过程中造成的损失。
第十四获取单元，用于将仿真人脸图像输入到特征提取模型中，根据特征提取模型提取的仿真人脸特征和采用提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值。
第十五获取单元，用于将仿真损失值、第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值。
第十六获取单元，用于将仿真损失值和第二判别损失值进行算术相加，得到第三判别损失值。
第二更新单元，用于根据第三生成损失值更新生成器的网络参数。
第十七获取单元，用于根据第三判别损失值更新判别器的网络参数，根据更新后的生成器的网络参数和更新后的判别器的网络参数得到去网纹模型。
可选地，第四获取模块包括：
初始化单元，用于初始化卷积神经网络，其中，卷积神经网络初始化的权值满足
Figure PCTCN2019117774-appb-000009
其中，n l表示在卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示卷积神经网络第l层的权值，
Figure PCTCN2019117774-appb-000010
表示任意，l表示卷积神经网络的第l层。
第十八获取单元，用于获取不带网纹训练样本。
第十九获取单元，用于将不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值。
第二十获取单元，用于根据训练过程中产生的损失值更新卷积神经网络的网络参数，得到特征提取模型。
在本申请实施例中，首先获取带网纹人脸图像和不带网纹的待比对人脸图像，并采用网纹提取模型提取带网纹人脸图像中的网纹位置信息，将网纹位置信息和带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，能够根据生成式对抗网络的仿真功能，利用提取的网纹位置信息精准地除去带网纹人脸图像的网纹，生成去网纹人脸图像；然后采用特征提取模型分别提取去网纹人脸图像的去网纹人脸图像特征，以及不带网纹的待比对人脸图像的人脸图像特征；最后通过计算去网纹人脸图像特征和待比对人脸图像特征之间的相似度，确认人脸验证的结果。本申请实施例中能够精准地去除带网纹人脸图像的网纹，有效提高了人脸验证的准确度。
本实施例提供一计算机非易失性可读存储介质，该计算机非易失性可读存储介质上存储有计算机可读指令，该计算机可读指令被处理器执行时实现实施例中基于去网纹模型的人脸验证方法，为避免重复，此处不一一赘述。或者，该计算机可读指令被处理器执行时实现实施例中基于去网纹模型的人脸验证装置中各模块/单元的功能，为避免重复，此处不一一赘述。
图3是本申请一实施例提供的计算机设备的示意图。如图3所示，该实施例的计算机设备70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机可读指令73，该计算机可读指令73被处理器71执行时实现实施例中的基于去网纹模型的人脸验 证方法，为避免重复，此处不一一赘述。或者，该计算机可读指令73被处理器71执行时实现实施例中基于去网纹模型的人脸验证装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备70可包括，但不仅限于，处理器71、存储器72。本领域技术人员可以理解，图3仅仅是计算机设备70的示例，并不构成对计算机设备70的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是计算机设备70的内部存储单元，例如计算机设备70的硬盘或内存。存储器72也可以是计算机设备70的外部存储设备，例如计算机设备70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器72还可以既包括计算机设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机可读指令以及计算机设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种基于去网纹模型的人脸验证方法，其特征在于，所述方法包括：
    获取带网纹人脸图像和不带网纹的待比对人脸图像；
    采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
    将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
    将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
    将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
    计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
  2. 根据权利要求1所述的方法，其特征在于，在所述采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息之前，所述方法还包括：
    获取网纹训练样本集，其中，在所述网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像；
    读取所述带网纹人脸训练图像和所述不带网纹的人脸训练图像中的像素值，并将所述像素值归一化到[0,1]区间内；
    采用所述带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去所述不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将所述像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息；
    根据预先获取的深度神经网络模型的输出与所述标签网纹位置信息，通过损失函数计算所述深度神经网络模型在训练过程中产生的损失，利用所述损失更新所述深度神经网络模型的网络参数，得到所述网纹提取模型，其中，所述损失函数表示为
    Figure PCTCN2019117774-appb-100001
    Figure PCTCN2019117774-appb-100002
    其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示所述标签网纹位置上的第i个像素值。
  3. 根据权利要求1所述的方法，其特征在于，所述生成式对抗网络包括生成器和判别器，在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像 之前，所述方法还包括：
    获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失值，所述第二判别损失值是所述判别器自身在训练过程中造成的损失值；
    将所述第一生成损失值和所述第一判别损失值进行算术相加，得到第二生成损失值，采用所述第二生成损失值更新所述生成器的网络参数；
    采用所述第二判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到所述去网纹模型。
  4. 根据权利要求1所述的方法，其特征在于，所述生成式对抗网络包括生成器和判别器，在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，所述方法还包括：
    获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失，所述第二判别损失值是所述判别器自身在训练过程中造成的损失；
    将所述仿真人脸图像输入到所述特征提取模型中，根据所述特征提取模型提取的仿真人脸特征和采用所述提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值；
    将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值；
    将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值；
    根据所述第三生成损失值更新所述生成器的网络参数；
    根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
  5. 根据权利要求1-4任意一项所述的方法，其特征在于，所述将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，包括：
    初始化卷积神经网络，其中，所述卷积神经网络初始化的权值满足
    Figure PCTCN2019117774-appb-100003
    其中，n l表示在所述卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示所述卷积神经网络第l层的权值，
    Figure PCTCN2019117774-appb-100004
    表示任意，l表示所述卷积神经网络的第l层；
    获取不带网纹训练样本；
    将所述不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值；
    根据所述训练过程中产生的损失值更新所述卷积神经网络的网络参数，得到特征提取模型。
  6. 一种基于去网纹模型的人脸验证装置，其特征在于，所述装置包括：
    第一获取模块，用于获取带网纹人脸图像和不带网纹的待比对人脸图像；
    第二获取模块，用于采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
    第三获取模块，用于将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
    第四获取模块，用于将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
    第五获取模块，用于将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
    验证模块，用于计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
  7. 根据权利要求6所述的装置，其特征在于，所述装置还包括第一处理模块，所述第一处理模块包括：
    第一获取单元，用于获取网纹训练样本集，其中，在所述网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像；
    归一化单元，用于读取所述带网纹人脸训练图像和所述不带网纹的人脸训练图像中的像素值，并将所述像素值归一化到[0,1]区间内；
    第二获取单元，用于采用所述带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去所述不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将所述像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息；
    第三获取单元，用于根据预先获取的深度神经网络模型的输出与所述标签网纹位置信息，通过损失函数计算所述深度神经网络模型在训练过程中产生的损失，利用所述损失更新所述深度神经网络模型的网络参数，得到所述网纹提取模型，其中，所述损失函数表示为
    Figure PCTCN2019117774-appb-100005
    Figure PCTCN2019117774-appb-100006
    其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示所述标签网纹位置上的第i个像素值。
  8. 根据权利要求6所述的装置，其特征在于，所述装置还包括第二处理模块，所述第二处理模块包括：
    第四获取单元，用于获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    第五获取单元，用于采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    第一生成单元，用于将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    第六获取单元，用于将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失，所述第二判别损失值是所述判别器自身在训练过程中造成的损失；
    第七获取单元，用于将所述仿真人脸图像输入到所述特征提取模型中，得到仿真损失值；
    第八获取单元，用于将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值；
    第九获取单元，用于将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值；
    第一更新单元，用于根据所述第三生成损失值更新所述生成器的网络参数；
    第十获取单元，用于根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
  9. 根据权利要求6所述的装置，其特征在于，所述装置还包括第三处理模块，所述第三处理模块包括：
    第十一获取单元，用于获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    第十二获取单元，用于采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    第二生成单元，用于将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    第十三获取单元，用于将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失，所述第二判别损失值是所述判别器自身在训练过程中造成的损失；
    第十四获取单元，用于将所述仿真人脸图像输入到所述特征提取模型中，根据所述特征提取模型提取的仿真人脸特征和采用所述提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值；
    第十五获取单元，用于将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值；
    第十六获取单元，用于将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值；
    第二更新单元，用于根据所述第三生成损失值更新所述生成器的网络参数；
    第十七获取单元，用于根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
  10. 根据权利要求6-9任意一项所述的装置，其特征在于，所述第四获取模块包括：
    初始化单元，用于初始化卷积神经网络，其中，所述卷积神经网络初始化的权值满足
    Figure PCTCN2019117774-appb-100007
    其中，n l表示在所述卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示所述卷积神经网络第l层的权值，
    Figure PCTCN2019117774-appb-100008
    表示任意，l表示所述卷积神经网络的第l层；
    第十八获取单元，用于获取不带网纹训练样本；
    第十九获取单元，用于将所述不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值；
    第二十获取单元，用于根据所述训练过程中产生的损失值更新所述卷积神经网络的网络参数，得到特征提取模型。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取带网纹人脸图像和不带网纹的待比对人脸图像；
    采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
    将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
    将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
    将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
    计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
  12. 根据权利要求11所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令还实现如下步骤：
    在所述采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息之前，获取网纹训练样本集，其中，在所述网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像；
    读取所述带网纹人脸训练图像和所述不带网纹的人脸训练图像中的像素值，并将所述像素值归一化到[0,1]区间内；
    采用所述带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去所述不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将所述像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息；
    根据预先获取的深度神经网络模型的输出与所述标签网纹位置信息，通过损失函数计算所述深度神经网络模型在训练过程中产生的损失，利用所述损失更新所述深度神经网络模型的网络参数，得到所述网纹提取模型，其中，所述损失函数表示为
    Figure PCTCN2019117774-appb-100009
    Figure PCTCN2019117774-appb-100010
    其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示所述标签网纹位置上的第i个像素值。
  13. 根据权利要求11所述的计算机设备，其特征在于，所述生成式对抗网络包括生成器和判别器，所述处理器执行所述计算机可读指令还实现如下步骤：
    在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失值，所述第二判别损失值是所述判别器自身在训练过程中造成的损失值；
    将所述第一生成损失值和所述第一判别损失值进行算术相加，得到第二生成损失值，采用所述第二生成损失值更新所述生成器的网络参数；
    采用所述第二判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到所述去网纹模型。
  14. 根据权利要求11所述的计算机设备，其特征在于，所述生成式对抗网络包括生成器和判别器，所述处理器执行所述计算机可读指令还实现如下步骤：
    在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失，所述第二判别损失值是所述判别器自身在训练过程中造成的损失；
    将所述仿真人脸图像输入到所述特征提取模型中，根据所述特征提取模型提取的仿真人脸特征和采用所述提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值；
    将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值；
    将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值；
    根据所述第三生成损失值更新所述生成器的网络参数；
    根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
  15. 根据权利要求11-14任意一项所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令实现将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征时，包括如下步骤：
    初始化卷积神经网络，其中，所述卷积神经网络初始化的权值满足
    Figure PCTCN2019117774-appb-100011
    其中，n l表示在所述卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示所述卷积神经网络第l层的权值，
    Figure PCTCN2019117774-appb-100012
    表示任意，l表示所述卷积神经网络的第l层；
    获取不带网纹训练样本；
    将所述不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值；
    根据所述训练过程中产生的损失值更新所述卷积神经网络的网络参数，得到特征提取模型。
  16. 一种计算机非易失性可读存储介质，所述计算机非易失性可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如下步骤：
    获取带网纹人脸图像和不带网纹的待比对人脸图像；
    采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息，其中，所述网纹提取模型基于像素差值训练得到；
    将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像，其中，所述去网纹模型是采用生成式对抗网络训练得到的；
    将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征，其中，所述特征提取模型是采用卷积神经网络训练得到的；
    将所述不带网纹的待比对人脸图像输入到所述特征提取模型中，得到待比对人脸图像特征；
    计算所述去网纹人脸图像特征和所述待比对人脸图像特征之间的相似度，当所述相似度大于预设阈值时，人脸验证成功。
  17. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，所述计算机可读指令被所述处理器执行时，使得所述处理器还实现如下步骤：
    在所述采用网纹提取模型提取所述带网纹人脸图像中的网纹位置信息之前，获取网纹训练样本集，其中，在所述网纹训练样本集中每一网纹训练样本包括同一个人的带网纹人脸训练图像和对应的不带网纹的人脸训练图像；
    读取所述带网纹人脸训练图像和所述不带网纹的人脸训练图像中的像素值，并将所述像素值归一化到[0,1]区间内；
    采用所述带网纹人脸训练图像归一化后的像素值，基于像素分布位置，对应减去所述不带网纹的人脸训练图像归一化后的像素值，将差值取绝对值得到像素差值，将所述像素差值小于预设临界值的部分取作0，不小于预设临界值取作1，得到标签网纹位置信息；
    根据预先获取的深度神经网络模型的输出与所述标签网纹位置信息，通过损失函数计算所述深度神经网络模型在训练过程中产生的损失，利用所述损失更新所述深度神经网络模型的网络参数，得到所述网纹提取模型，其中，所述损失函数表示为
    Figure PCTCN2019117774-appb-100013
    Figure PCTCN2019117774-appb-100014
    其中，n表示像素总数，x i表示深度神经网络模型输出的第i个像素值，y i表示所述标签网纹位置上的第i个像素值。
  18. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，所述生成式对抗网络包括生成器和判别器，所述计算机可读指令被所述处理器执行时，使得所述处理器还实现如下步骤：
    在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失值，所述第二判别损失值是所述判别器自身在训练过程中造成的损失值；
    将所述第一生成损失值和所述第一判别损失值进行算术相加，得到第二生成损失值，采用所述第二生成损失值更新所述生成器的网络参数；
    采用所述第二判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到所述去网纹模型。
  19. 根据权利要求16所述的计算机非易失性可读存储介质，其特征在于，所述生成式对抗网络包括生成器和判别器，所述计算机可读指令被所述处理器执行时，使得所述处理器还实现如下步骤：
    在所述将所述网纹位置信息和所述带网纹人脸图像输入到去网纹模型中，得到去网纹人脸图像之前，获取样本数量相等的带网纹训练样本和不带网纹训练样本；
    采用所述网纹提取模型提取所述带网纹训练样本的网纹位置信息；
    将所述带网纹训练样本的网纹位置信息和所述带网纹训练样本输入到生成式对抗网络的生成器中，生成仿真人脸图像，并根据所述仿真人脸图像和所述不带网纹训练样本得到第一生成损失值；
    将所述仿真人脸图像和不带网纹训练样本输入到生成式对抗网络的判别器中，得到判别结果，并根据所述判别结果得到第一判别损失值和第二判别损失值，其中，所述第一判别损失值是所述生成器在训练过程中造成的损失，所述第二判别损失值是所述判别器自身在训练过程中造成的损失；
    将所述仿真人脸图像输入到所述特征提取模型中，根据所述特征提取模型提取的仿真人脸特征和采用所述提取特征提取模型提取到的不带网纹训练样本的特征，得到仿真损失值；
    将所述仿真损失值、所述第一生成损失值和第一判别损失值进行算术相加，得到第三生成损失值；
    将所述仿真损失值和所述第二判别损失值进行算术相加，得到第三判别损失值；
    根据所述第三生成损失值更新所述生成器的网络参数；
    根据所述第三判别损失值更新所述判别器的网络参数，根据更新后的所述生成器的网络参数和更新后的所述判别器的网络参数得到去网纹模型。
  20. 根据权利要求16-19任意一项所述的计算机非易失性可读存储介质，其特征在于，所述计算机可读指令被所述处理器执行实现将所述去网纹人脸图像输入到特征提取模型中，得到去网纹人脸图像特征时，包括如下步骤：
    初始化卷积神经网络，其中，所述卷积神经网络初始化的权值满足
    Figure PCTCN2019117774-appb-100015
    其中，n l表示在所述卷积神经网络第l层输入的样本个数，S()表示方差运算，W l表示所述卷积神经网络第l层的权值，
    Figure PCTCN2019117774-appb-100016
    表示任意，l表示所述卷积神经网络的第l层；
    获取不带网纹训练样本；
    将所述不带网纹训练样本输入到初始化后的卷积神经网络，得到训练过程中产生的损失值；
    根据所述训练过程中产生的损失值更新所述卷积神经网络的网络参数，得到特征提取模型。
PCT/CN2019/117774 2019-09-03 2019-11-13 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 WO2021042544A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910827470.8 2019-09-03
CN201910827470.8A CN110765843B (zh) 2019-09-03 2019-09-03 人脸验证方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021042544A1 true WO2021042544A1 (zh) 2021-03-11

Family

ID=69330204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/117774 WO2021042544A1 (zh) 2019-09-03 2019-11-13 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110765843B (zh)
WO (1) WO2021042544A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469898A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于深度学习的图像去畸变方法及相关设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612799A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对不完整的网纹人脸修复方法、***及存储介质
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN108416343A (zh) * 2018-06-14 2018-08-17 四川远鉴科技有限公司 一种人脸图像识别方法及装置
CN108734673A (zh) * 2018-04-20 2018-11-02 平安科技（深圳）有限公司 去网纹***训练方法、去网纹方法、装置、设备及介质
CN109871755A (zh) * 2019-01-09 2019-06-11 中国平安人寿保险股份有限公司 一种基于人脸识别的身份验证方法
CN110032931A (zh) * 2019-03-01 2019-07-19 阿里巴巴集团控股有限公司 生成对抗网络训练、网纹去除方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930797A (zh) * 2016-04-21 2016-09-07 腾讯科技（深圳）有限公司 一种人脸验证方法及装置
CN108734673A (zh) * 2018-04-20 2018-11-02 平安科技（深圳）有限公司 去网纹***训练方法、去网纹方法、装置、设备及介质
CN108416343A (zh) * 2018-06-14 2018-08-17 四川远鉴科技有限公司 一种人脸图像识别方法及装置
CN109871755A (zh) * 2019-01-09 2019-06-11 中国平安人寿保险股份有限公司 一种基于人脸识别的身份验证方法
CN110032931A (zh) * 2019-03-01 2019-07-19 阿里巴巴集团控股有限公司 生成对抗网络训练、网纹去除方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469898A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于深度学习的图像去畸变方法及相关设备

Also Published As

Publication number Publication date
CN110765843A (zh) 2020-02-07
CN110765843B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
WO2019200702A1 (zh) 去网纹***训练方法、去网纹方法、装置、设备及介质
WO2020199611A1 (zh) 活体检测方法和装置、电子设备及存储介质
CN109583449A (zh) 字符识别方法及相关产品
WO2021232985A1 (zh) 人脸识别方法、装置、计算机设备及存储介质
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
CN107679513B (zh) 图像处理方法、装置及服务器
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
JP2015215876A (ja) ライブネス検査方法と装置、及び映像処理方法と装置
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
WO2023124040A1 (zh) 一种人脸识别方法及装置
CN112101087B (zh) 一种面部图像身份去识别方法、装置及电子设备
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN111931153A (zh) 基于人工智能的身份验证方法、装置和计算机设备
CN111353325A (zh) 关键点检测模型训练方法及装置
JP7141518B2 (ja) 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN113343898B (zh) 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备
WO2022126917A1 (zh) 基于深度学习的人脸图像评估方法、装置、设备及介质
WO2019232844A1 (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN113435264A (zh) 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置
US11335128B2 (en) Methods and systems for evaluating a face recognition system using a face mountable device
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
CN114913860A (zh) 声纹识别方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944241

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19944241

Country of ref document: EP

Kind code of ref document: A1