CN115358916A - 换脸图像的生成方法、装置、计算机设备及可读存储介质 - Google Patents
换脸图像的生成方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN115358916A CN115358916A CN202210789633.XA CN202210789633A CN115358916A CN 115358916 A CN115358916 A CN 115358916A CN 202210789633 A CN202210789633 A CN 202210789633A CN 115358916 A CN115358916 A CN 115358916A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- changing
- images
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000013077 target material Substances 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012508 change request Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 27
- 239000000463 material Substances 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012821 model calculation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种换脸图像的生成方法、装置、计算机设备及可读存储介质，涉及计算机视觉技术领域，采用一对多的模式训练换脸模型，使换脸模型能够同时对多张图像执行换脸操作，无需为每张图像训练换脸模型，降低模型计算的资源消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，提升图像生产效率，有利于生产部署。所述方法包括：获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型；响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像；将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种换脸图像的生成方法、装置、计算机设备及可读存储介质。
背景技术
随着计算机视觉技术的不断发展，换脸技术逐渐兴起，通过换脸技术可以将视频或者图像中的人脸自动替换成另一个人的人脸。最初的换脸需求是因为电影的艺术需要，使用专业的视频剪辑技术和特效技术实现现实中不可能出现的人物场景镜头，近年来，很多不善于或者没有拍摄条件的用户也会借助换脸技术生成图像，在提升图像视觉效果的同时，也能够节省拍摄消耗的资源。
相关技术中，在生成换脸图像时，需要利用生成对抗网络，学习一对一的换脸模式。以A-B两人人脸交互为例，训练时，分别将这两个人的头像作为输入送入到神经网络进行学习，这样，在执行换脸操作时，将B(或A)的图片送入模型，便可输出一张人脸A(或B)的图像。
在实现相关技术的过程中，申请人发现相关技术至少存在以下问题：
当一个人希望与多人进行人脸交互时，比如A希望能和B、C、D、E四个人进行人脸交互，需要分别训练四个用于执行换脸操作的模型，使得模型的计算、存储均消耗大量的资源，导致图像的生产效率不高，不利于图像的生产部署，操作的灵活性较差。
发明内容
有鉴于此，本申请提供了一种换脸图像的生成方法、装置、计算机设备及可读存储介质，主要目的在于解决目前模型的计算、存储均消耗大量的资源，导致图像的生产效率不高，不利于图像的生产部署，操作的灵活性较差的问题。
依据本申请第一方面，提供了一种换脸图像的生成方法，该方法包括：
获取目标素材图像和多个模板图像，基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型；
响应于图像换脸请求，在所述多个模板图像中确定所述图像换脸请求指示的目标模板图像；
将所述目标模板图像输入至所述换脸模型，基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，其中，所述换脸图像中人脸区域的图像与所述目标素材图像中人脸区域的图像一致，且所述换脸图像中除人脸区域外的其他区域的图像与所述目标模板图像中除人脸区域外的其他区域的图像一致。
可选地，所述基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型，包括：
分别在所述目标素材图像及所述多个模板图像中确定人脸区域；
对所述目标素材图像及所述多个模板图像中人脸区域进行图像提取，将在所述多个模板图像中提取到的多个图像作为多个人脸模板，将在所述目标素材图像中提取到的图像作为人脸素材；
将所述多个人脸模板作为第一数据集，将所述人脸素材作为第二数据集，以及将所述第一数据集和所述第二数据集进行存储；
采用神经网络算法对所述第一数据集和所述第二数据集进行训练，使所述第一数据集包括的每个人脸模板的人脸特征分别与所述第二数据集包括的所述人脸素材的人脸特征进行交互，得到所述换脸模型。
可选地，所述基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，包括：
在所述目标模板图像中确定人脸区域，提取所述人脸区域的图像作为待处理人脸图像；
将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，所述新的人脸图像与所述目标素材图像中人脸区域的图像一致；
基于所述换脸模型，采用所述新的人脸图像对所述目标模板图像中人脸区域的图像进行替换，得到所述换脸图像。
可选地，所述将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，包括：
基于所述换脸模型对所述待处理人脸图像进行编码处理，得到所述待处理人脸图像的第一图像特征向量；
对所述目标素材图像中人脸区域的图像进行编码处理，得到第二图像特征向量；
利用所述第二图像特征向量作为向量空间，将所述第一图像特征向量映射至所述向量空间；
对映射在所述向量空间的所述第一图像特征向量进行解码，得到与所述目标素材图像中人脸区域的图像一致的所述新的人脸图像。
可选地，所述基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像之后，所述方法还包括：
对所述换脸图像进行缩小处理，对所述缩小后的所述换脸图像进行超分重建，得到待输出图像；
生成换脸成功反馈，基于所述换脸成功反馈，将所述待输出图像进行传输。
可选地，所述对所述换脸图像进行缩小处理，包括：
获取预设下采样倍数，按照所述预设下采样倍数对所述换脸图像进行下采样处理，将所述换脸图像的图片尺寸缩小至所述预设下采样倍数指示的目标尺寸，得到缩小后的所述换脸图像；
将缩小后的所述换脸图像进行缓存。
可选地，所述对所述换脸图像进行缩小处理，包括：
获取预设下采样倍数，按照所述预设下采样倍数对所述换脸图像进行下采样处理，将所述换脸图像的图片尺寸缩小至所述预设下采样倍数指示的目标尺寸，得到缩小后的所述换脸图像；
将缩小后的所述换脸图像进行缓存。
依据本申请第二方面，提供了一种换脸图像的生成装置，该装置包括：
训练模块，用于获取目标素材图像和多个模板图像，基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型；
确定模块，用于响应于图像换脸请求，在所述多个模板图像中确定所述图像换脸请求指示的目标模板图像；
换脸模块，用于将所述目标模板图像输入至所述换脸模型，基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，其中，所述换脸图像中人脸区域的图像与所述目标素材图像中人脸区域的图像一致，且所述换脸图像中除人脸区域外的其他区域的图像与所述目标模板图像中除人脸区域外的其他区域的图像一致。
可选地，所述训练模块，用于分别在所述目标素材图像及所述多个模板图像中确定人脸区域；对所述目标素材图像及所述多个模板图像中人脸区域进行图像提取，将在所述多个模板图像中提取到的多个图像作为多个人脸模板，将在所述目标素材图像中提取到的图像作为人脸素材；将所述多个人脸模板作为第一数据集，将所述人脸素材作为第二数据集，以及将所述第一数据集和所述第二数据集进行存储；采用神经网络算法对所述第一数据集和所述第二数据集进行训练，使所述第一数据集包括的每个人脸模板的人脸特征分别与所述第二数据集包括的所述人脸素材的人脸特征进行交互，得到所述换脸模型。
可选地，所述换脸模块，用于在所述目标模板图像中确定人脸区域，提取所述人脸区域的图像作为待处理人脸图像；将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，所述新的人脸图像与所述目标素材图像中人脸区域的图像一致；基于所述换脸模型，采用所述新的人脸图像对所述目标模板图像中人脸区域的图像进行替换，得到所述换脸图像。
可选地，所述换脸模块，用于基于所述换脸模型对所述待处理人脸图像进行编码处理，得到所述待处理人脸图像的第一图像特征向量；对所述目标素材图像中人脸区域的图像进行编码处理，得到第二图像特征向量；利用所述第二图像特征向量作为向量空间，将所述第一图像特征向量映射至所述向量空间；对映射在所述向量空间的所述第一图像特征向量进行解码，得到与所述目标素材图像中人脸区域的图像一致的所述新的人脸图像。
可选地，所述装置还包括：
处理模块，用于对所述换脸图像进行缩小处理，对所述缩小后的所述换脸图像进行超分重建，得到待输出图像；
传输模块，用于生成换脸成功反馈，基于所述换脸成功反馈，将所述待输出图像进行传输。
可选地，所述处理模块，用于获取预设下采样倍数，按照所述预设下采样倍数对所述换脸图像进行下采样处理，将所述换脸图像的图片尺寸缩小至所述预设下采样倍数指示的目标尺寸，得到缩小后的所述换脸图像；将缩小后的所述换脸图像进行缓存。
可选地，所述处理模块，用于确定预设上采样倍数，获取超分重建模型；将所述缩小后的所述换脸图像输入至所述超分重建模型，利用所述超分重建模型对所述缩小后的所述换脸图像进行上采样处理，得到图片尺寸与所述预设上采样倍数匹配的图像作为待输出图像；将得到的待输出图像进行缓存。
依据本申请第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述方法的步骤。
依据本申请第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。
借由上述技术方案，本申请提供的一种换脸图像的生成方法、装置、计算机设备及可读存储介质，本申请获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型，响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像，将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，采用一对多的模式训练换脸模型，使换脸模型能够同时对多张图像执行换脸操作，无需为每张图像训练换脸模型，降低模型计算的资源消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，提升图像生产效率，有利于生产部署。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种换脸图像的生成方法流程示意图；
图2A示出了本申请实施例提供的另一种换脸图像的生成方法流程示意图；
图2B示出了本申请实施例提供的一种图像编码重建的流程示意图；
图2C示出了本申请实施例提供的一种换脸图像的生成方法流程示意图；
图3示出了本申请实施例提供的一种换脸图像的生成装置的结构示意图；
图4示出了本申请实施例提供的一种计算机设备的装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供了一种换脸图像的生成方法，如图1所示，该方法包括：
101、获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型。
本申请实施例的方法可以应用在提供换脸功能的APP(Application，应用程序)、网页或平台中，在本申请实施例中，以应用在终端中下载的提供换脸功能的APP为例进行说明，APP搭载有服务器，利用服务器的计算、处理功能，实现图像换脸。
为了实现对图像的换脸操作，服务器中事先训练有换脸模型。在训练换脸模型时，用户需要向服务器提供目标素材图像和多个模板图像，以使服务器获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型。其中，模板图像是充当“模板”的图像，模板图像的人脸图像在后续是会被替换掉的；目标素材图像是充当“脸源”的图像，目标素材图像中的人脸后续会被更新在模板图像中，使得生成的换脸图像中人脸与目标素材图像一致，而背景与模板图像一致。这样，采用目标素材图像和多个模板图像训练的换脸模型，便能够生成用户想要的目标素材图像中的人脸，并将生成的人脸替换到用户选中的模板图像中。
在一个可选地实施方案中，换脸模型可以是基于目标素材图像和多个模板图像训练的GAN(Generative Adversarial Network，生成对抗网络)网络图像换脸模型，通过让两个神经网络相互博弈的方式进行学习，从而使生成的换脸模型输出的结果尽量贴近目标素材图像中的人脸图像。在训练换脸模型时，本申请采用多人交互的方式进行，以目标素材图像为A、多个模板图像分别为BCDE为例，在本申请实施例中，采用A同时与多人进行人脸交互的模型学习方式，即A-BCDE模式。在该模式中，将BCDE四人的人脸图像作为一个整体，A作为一个整体，构成训练集对换脸模型进行训练。在换脸模型的训练阶段，BCDE中的每一张人脸图像都将与A的人脸图像进行交互。因此，在执行换脸操作的时候，向换脸模型输入BCDE任何一个人的图像，都将输出人脸为A的图像，从而达到提升图像生产效率的效果，降低总体计算资源的消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，有利于生产部署。
102、响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像。
其中，APP的前端可以提供换脸图像生成入口，用户通过触发该换脸图像生成入口来使用APP的图像换脸功能。由于换脸模型是采用多个模板图像和目标素材图像训练的，因此，在实际的换脸操作中，多个模板图像中的每个模板图像的人脸都可以被替换为目标素材图像中的人脸。为了使用户自行选择以哪个模板图像为基础执行换脸操作，APP可以在前端将多个模板图像透出给用户，使用户在前端选择想要将哪个模板图像的人脸换成目标素材图像中的人脸。当用户确认了自己的选择后，前端会以图像换脸请求的方式通知服务器，响应于图像换脸请求，服务器会在多个模板图像中确定图像换脸请求指示的目标模板图像，以便后续将目标模板图像中的人脸进行替换。其中，目标模板图像可以是多个模板图像中任意模板图像，本申请对用户具体将多个模板图像中的哪个模板图像作为目标模板图像不进行具体限定。另外，实际应用的过程中，用户也可以选择一个以上的目标模板图像，这样，服务器后续依次对用户选中的这些目标模板图像执行换脸操作并输出即可，从而使用户在APP中能够一次获取到多张同一人脸但是不同背景的换脸图像。
103、将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像。
在本申请实施例中，确定了用户选择的目标模板图像后，服务器将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像。其中，换脸图像中人脸区域的图像与目标素材图像中人脸区域的图像一致，且换脸图像中除人脸区域外的其他区域的图像与目标模板图像中除人脸区域外的其他区域的图像一致。也就是说，换脸图像中的人脸是目标素材图像中的人脸，但是诸如服装、背景等其他区域的图像均是与目标模板图像一致的。
需要说明的是，本申请实施例以一张目标模板图像为例进行的说明，实际应用的过程中，每一张模板图像输入至换脸模型中后，都可以得到一张脸部图像与目标素材图像一致的换脸图像。
本申请实施例提供的方法，获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型，响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像，将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，采用一对多的模式训练换脸模型，使换脸模型能够同时对多张图像执行换脸操作，无需为每张图像训练换脸模型，降低模型计算的资源消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，提升图像生产效率，有利于生产部署。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，本申请实施例提供了另一种换脸图像的生成方法，如图2A所示，该方法包括：
201、分别在目标素材图像及多个模板图像中确定人脸区域，对目标素材图像及多个模板图像中人脸区域进行图像提取，将在多个模板图像中提取到的多个图像作为多个人脸模板，将在目标素材图像中提取到的图像作为人脸素材。
在本申请实施例中，为了实现对图像的换脸操作，服务器需要按照用户想要的人脸训练换脸模型，从而生成能够对旧的人脸进行替换的新的人脸。在一个可选地实施方案中，服务器可以基于前端APP向用户提供人脸素材的上传入口，用户通过触发该上传入口，将自己想要换的人脸的图像作为目标素材图像提供给服务器。进一步，服务器还可以基于前端APP向用户提供可以用于换脸的图像模板，图像模板中的人脸可以被替换为用户提供的人脸。用户可以在服务器提供的图像模板中选择自己喜欢的多个图像模板，使服务器将这些图像模板用于后续的换脸模型训练中，或者用户也可以自己挑选一些图像模板上传给服务器，使服务器将用户上传的图像模板用于后续的换脸模型训练中，本申请对图像模板的来源以及数量不进行具体限定。
获取到目标素材图像及多个模板图像后，服务器开始基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型。其中，图像中的人脸是用于训练换脸模型的主要素材，因此，服务器会分别在目标素材图像及多个模板图像中确定人脸区域，对目标素材图像及多个模板图像中人脸区域进行图像提取，将在多个模板图像中提取到的多个图像作为多个人脸模板，将在目标素材图像中提取到的图像作为人脸素材。
202、将多个人脸模板作为第一数据集，将人脸素材作为第二数据集，以及将第一数据集和第二数据集进行存储，采用神经网络算法对第一数据集和第二数据集进行训练，使第一数据集包括的每个人脸模板的人脸特征分别与第二数据集包括的人脸素材的人脸特征进行交互，得到换脸模型。
在本申请实施例中，获取到多个人脸模板、人脸素材后，服务器将多个人脸模板作为第一数据集，将人脸素材作为第二数据集，以及将第一数据集和第二数据集进行存储。实际应用的过程中，提取到的人脸素材可以存储在命名为“src_imgs”的文件夹下，将该文件夹作为第一数据集，充当“脸源”的角色；提取到的多个人脸模板可以存储在命名为“dst_imgs”的文件夹下，将该文件夹作为第二数据集，充当“模板”的作用。
接着，服务器采用神经网络算法对第一数据集和第二数据集进行训练，也即对命名为“src_imgs”和“dst_imgs”的文件夹进行训练，使第一数据集包括的每个人脸模板的人脸特征分别与第二数据集包括的人脸素材的人脸特征进行交互，得到换脸模型。其中，如上述步骤101所描述的，换脸模型可以是基于第一数据集和第二数据集训练的GAN网络图像换脸模型，此处不再进行赘述。
203、响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像。
在本申请实施例中，用户在前端请求执行换脸操作时，前端会以图像换脸请求的方式通知服务器，响应于图像换脸请求，服务器会在多个模板图像中确定图像换脸请求指示的目标模板图像，以便后续将目标模板图像中的人脸进行替换。其中，目标模板图像可以是多个模板图像中任意模板图像，本申请对用户具体将多个模板图像中的哪个模板图像作为目标模板图像不进行具体限定。
204、将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像。
在本申请实施例中，确定了用户选择的目标模板图像后，服务器将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像。其中，换脸图像中人脸区域的图像与目标素材图像中人脸区域的图像一致，且换脸图像中除人脸区域外的其他区域的图像与目标模板图像中除人脸区域外的其他区域的图像一致。也就是说，换脸图像中的人脸是目标素材图像中的人脸，但是诸如服装、背景等其他区域的图像均是与目标模板图像一致的。在一个可选地实施方案中，生成换脸图像的过程如下：
首先，服务器在目标模板图像中确定人脸区域，提取人脸区域的图像作为待处理人脸图像。
随后，服务器将待处理人脸图像输入至换脸模型进行编码重建，得到新的人脸图像。其中，新的人脸图像与目标素材图像中人脸区域的图像一致，在进行编码重建时，实际上服务器会基于换脸模型对待处理人脸图像进行编码处理，得到待处理人脸图像的第一图像特征向量，并对目标素材图像中人脸区域的图像进行编码处理，得到第二图像特征向量；从向量空间映射的角度来看，利用第二图像特征向量作为向量空间，将第一图像特征向量映射至向量空间，以及对映射在向量空间的第一图像特征向量进行解码，得到与目标素材图像中人脸区域的图像一致的新的人脸图像。实际上编码重建的过程是将特征向量重建为人脸图像的过程，按照流形分布的观点，可以将图像看作向量，在图像空间中，同一类样本将分布在同一个流形上。具体参见图2B，假设目标素材图像为A，目前有4个模板图像，分别为B、C、D、E，则ABCDE的图像数据分别分布在图2B中的五个流形上。ABCDE这5个图像在换脸模型中经过编码器，被编码为特征向量；实际应用的过程中，编码器不仅能够将图像编码为特征向量，还能够如图2B所示，将BCDE这4个图像中人脸的特征向量嵌入到A的流形中，因此，嵌入后的特征向量在换脸模型中经过解码器便可以重建为新的人脸图像。
接着，生成新的人脸图像后，服务器基于换脸模型，采用新的人脸图像对目标模板图像中人脸区域的图像进行替换，便得到了换脸图像。
205、对换脸图像进行缩小处理，对缩小后的换脸图像进行超分重建，得到待输出图像，生成换脸成功反馈，基于换脸成功反馈，将待输出图像进行传输。
在本申请实施例中，换脸完成后，为了提高图像质量，服务器会对换脸图像进行缩小处理，对缩小后的换脸图像进行超分重建，得到待输出图像。其中，对换脸图像执行的缩小处理可以理解为一次下采样，而超分重建可以看作上采样，这样的组合操作能够有效提升换脸图像的清晰度，使换脸图像的图像质量提高，解决面部模糊的问题。
在一个可选地实施方案中，对换脸图像执行的缩小处理的过程如下：服务器获取预设下采样倍数，按照预设下采样倍数对换脸图像进行下采样处理，将换脸图像的图片尺寸缩小至预设下采样倍数指示的目标尺寸，得到缩小后的换脸图像，并将缩小后的换脸图像进行缓存。比如，假设换脸图像的尺寸为1024×1024，则通过下采样处理，将换脸图像的尺寸缩小为512×512即可。
进一步地，在一个可选地实施方案中，对缩小后的换脸图像进行超分重建的过程如下：首先，服务器确定预设上采样倍数，获取超分重建模型；随后，服务器将缩小后的换脸图像输入至超分重建模型，利用超分重建模型对缩小后的换脸图像进行上采样处理，得到图片尺寸与预设上采样倍数匹配的图像作为待输出图像。最后，服务器将得到的待输出图像进行缓存。继续以上面将换脸图像的尺寸缩小为512×512为例进行说明，将在进行上采样时，将尺寸为512×512的图像恢复至1024×1024即可。
需要说明的是，超分重建的过程也即将低分辨率的图像通过一系列的学习生成高分辨率的图像的过程，目的在于将模糊的图像变得更加清晰。具体在进行超分重建时，可以采用双线性插值法、双三次插值法等先将换脸图像直接上采样到高分辨率，再利用深度神经网络进行精调；或者也可以基于深度卷积神经网络的级联，并逐步重建高分辨率图像，该方法一般分几个阶段，在每个阶段，图像被上采样一次，得到更高的分辨率，并且后面接上CNN(Convolutional Neural Networks，卷积神经网络)做一次精调；或者还可以迭代地在上采样之后进行Back-Projection(反向投影)操作并精调，通过计算重建误差来调整图像。本申请对超分重建的具体操作方式和过程不进行限定。
完成上述的操作后，服务器会生成换脸成功反馈，基于换脸成功反馈，将待输出图像进行传输，使用户在前端能够获取到该待输出图像。其中，可以直接在用户上传或者选择目标目标图像的页面将待输出图像展示给用户，或者也可以采用应用内消息、邮件等方式发送到用户的APP账号或者邮箱中等等，便于用户下载清晰的待输出图像，避免待输出图像的清晰度不够。需要说明的是，实际应用的过程中，生成的换脸图像可以用于海报类宣传照的生成，也可以用于公众号视频发布等其他的换脸应用场景中，APP的前端也可以直接为用户提供一些可以生成海报、宣传照等的照片模板，直接协助用户生成海报等，本申请对生成的换脸图像的应用场景不进行具体限定。
实际应用的过程中，生成换脸图像后，可以直接将换脸图像输出给用户，无需执行步骤205中上采样和下采样的过程，从而提升换脸图像的生成效率；或者也可以仅执行一次超分重建的过程，不执行下采样的过程，从而简化换脸图像清晰度提升的过程。本申请对是否对换脸图像执行超分重建或下采样的过程不进行具体限定。
综上所述，本申请提出的换脸图像的生成方法过程总结如下：如图2C所示，假设多个模板图像分别为B-face、C-face、D-face、E-face，目标素材图像为A-face，服务器先基于A-face、B-face、C-face、D-face、E-face进行模型训练，得到换脸模型“Trained model”。随后，服务器将用户选中的B-face或C-face或D-face或E-face输入到换脸模型中，使换脸模型对B-face或C-face或D-face或E-face中的人脸进行替换，得到人脸为A的换脸图像。最后，服务器对人脸为A的换脸图像进行超分重建，得到A-face，完成整个图像的换脸过程。
本申请实施例提供的方法，采用一对多的模式训练换脸模型，使换脸模型能够同时对多张图像执行换脸操作，无需为每张图像训练换脸模型，降低模型计算的资源消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，提升图像生产效率，有利于生产部署。
进一步地，作为图1所述方法的具体实现，本申请实施例提供了一种换脸图像的生成装置，如图3所示，所述装置包括：训练模块301，确定模块302和换脸模块303。
该训练模块301，用于获取目标素材图像和多个模板图像，基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型；
该确定模块302，用于响应于图像换脸请求，在所述多个模板图像中确定所述图像换脸请求指示的目标模板图像；
该换脸模块303，用于将所述目标模板图像输入至所述换脸模型，基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，其中，所述换脸图像中人脸区域的图像与所述目标素材图像中人脸区域的图像一致，且所述换脸图像中除人脸区域外的其他区域的图像与所述目标模板图像中除人脸区域外的其他区域的图像一致。
在具体的应用场景中，该训练模块301，用于分别在所述目标素材图像及所述多个模板图像中确定人脸区域；对所述目标素材图像及所述多个模板图像中人脸区域进行图像提取，将在所述多个模板图像中提取到的多个图像作为多个人脸模板，将在所述目标素材图像中提取到的图像作为人脸素材；将所述多个人脸模板作为第一数据集，将所述人脸素材作为第二数据集，以及将所述第一数据集和所述第二数据集进行存储；采用神经网络算法对所述第一数据集和所述第二数据集进行训练，使所述第一数据集包括的每个人脸模板的人脸特征分别与所述第二数据集包括的所述人脸素材的人脸特征进行交互，得到所述换脸模型。
在具体的应用场景中，该换脸模块303，用于在所述目标模板图像中确定人脸区域，提取所述人脸区域的图像作为待处理人脸图像；将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，所述新的人脸图像与所述目标素材图像中人脸区域的图像一致；基于所述换脸模型，采用所述新的人脸图像对所述目标模板图像中人脸区域的图像进行替换，得到所述换脸图像。
在具体的应用场景中，该换脸模块303，用于基于所述换脸模型对所述待处理人脸图像进行编码处理，得到所述待处理人脸图像的第一图像特征向量；对所述目标素材图像中人脸区域的图像进行编码处理，得到第二图像特征向量；利用所述第二图像特征向量作为向量空间，将所述第一图像特征向量映射至所述向量空间；对映射在所述向量空间的所述第一图像特征向量进行解码，得到与所述目标素材图像中人脸区域的图像一致的所述新的人脸图像。
在具体的应用场景中，该装置还包括：
处理模块，用于对所述换脸图像进行缩小处理，对所述缩小后的所述换脸图像进行超分重建，得到待输出图像；
传输模块，用于生成换脸成功反馈，基于所述换脸成功反馈，将所述待输出图像进行传输。
在具体的应用场景中，该处理模块，用于获取预设下采样倍数，按照所述预设下采样倍数对所述换脸图像进行下采样处理，将所述换脸图像的图片尺寸缩小至所述预设下采样倍数指示的目标尺寸，得到缩小后的所述换脸图像；将缩小后的所述换脸图像进行缓存。
在具体的应用场景中，该处理模块，用于确定预设上采样倍数，获取超分重建模型；将所述缩小后的所述换脸图像输入至所述超分重建模型，利用所述超分重建模型对所述缩小后的所述换脸图像进行上采样处理，得到图片尺寸与所述预设上采样倍数匹配的图像作为待输出图像；将得到的待输出图像进行缓存。
本申请实施例提供的装置，获取目标素材图像和多个模板图像，基于目标素材图像及多个模板图像中人脸区域的图像，训练换脸模型，响应于图像换脸请求，在多个模板图像中确定图像换脸请求指示的目标模板图像，将目标模板图像输入至换脸模型，基于换脸模型对目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，采用一对多的模式训练换脸模型，使换脸模型能够同时对多张图像执行换脸操作，无需为每张图像训练换脸模型，降低模型计算的资源消耗，同时使换脸模型具备整体性，不至于占用过多的存储资源，提升图像生产效率，有利于生产部署。
需要说明的是，本申请实施例提供的一种换脸图像的生成装置所涉及各功能单元的其他相应描述，可以参考图1和图2A至图2C中的对应描述，在此不再赘述。
在示例性实施例中，参见图4，还提供了一种计算机设备，该计算机设备包括总线、处理器、存储器和通信接口，还可以包括输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机程序，处理器，用于执行存储器上所存放的程序，执行上述实施例中的换脸图像的生成方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的换脸图像的生成方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种换脸图像的生成方法，其特征在于，包括：
获取目标素材图像和多个模板图像，基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型；
响应于图像换脸请求，在所述多个模板图像中确定所述图像换脸请求指示的目标模板图像；
将所述目标模板图像输入至所述换脸模型，基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，其中，所述换脸图像中人脸区域的图像与所述目标素材图像中人脸区域的图像一致，且所述换脸图像中除人脸区域外的其他区域的图像与所述目标模板图像中除人脸区域外的其他区域的图像一致。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型，包括：
分别在所述目标素材图像及所述多个模板图像中确定人脸区域；
对所述目标素材图像及所述多个模板图像中人脸区域进行图像提取，将在所述多个模板图像中提取到的多个图像作为多个人脸模板，将在所述目标素材图像中提取到的图像作为人脸素材；
将所述多个人脸模板作为第一数据集，将所述人脸素材作为第二数据集，以及将所述第一数据集和所述第二数据集进行存储；
采用神经网络算法对所述第一数据集和所述第二数据集进行训练，使所述第一数据集包括的每个人脸模板的人脸特征分别与所述第二数据集包括的所述人脸素材的人脸特征进行交互，得到所述换脸模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，包括：
在所述目标模板图像中确定人脸区域，提取所述人脸区域的图像作为待处理人脸图像；
将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，所述新的人脸图像与所述目标素材图像中人脸区域的图像一致；
基于所述换脸模型，采用所述新的人脸图像对所述目标模板图像中人脸区域的图像进行替换，得到所述换脸图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述待处理人脸图像输入至所述换脸模型进行编码重建，得到新的人脸图像，包括：
基于所述换脸模型对所述待处理人脸图像进行编码处理，得到所述待处理人脸图像的第一图像特征向量；
对所述目标素材图像中人脸区域的图像进行编码处理，得到第二图像特征向量；
利用所述第二图像特征向量作为向量空间，将所述第一图像特征向量映射至所述向量空间；
对映射在所述向量空间的所述第一图像特征向量进行解码，得到与所述目标素材图像中人脸区域的图像一致的所述新的人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像之后，所述方法还包括：
对所述换脸图像进行缩小处理，对所述缩小后的所述换脸图像进行超分重建，得到待输出图像；
生成换脸成功反馈，基于所述换脸成功反馈，将所述待输出图像进行传输。
6.根据权利要求5所述的方法，其特征在于，所述对所述换脸图像进行缩小处理，包括：
获取预设下采样倍数，按照所述预设下采样倍数对所述换脸图像进行下采样处理，将所述换脸图像的图片尺寸缩小至所述预设下采样倍数指示的目标尺寸，得到缩小后的所述换脸图像；
将缩小后的所述换脸图像进行缓存。
7.根据权利要求5所述的方法，其特征在于，所述对所述缩小后的所述换脸图像进行超分重建，得到待输出图像，包括：
确定预设上采样倍数，获取超分重建模型；
将所述缩小后的所述换脸图像输入至所述超分重建模型，利用所述超分重建模型对所述缩小后的所述换脸图像进行上采样处理，得到图片尺寸与所述预设上采样倍数匹配的图像作为待输出图像；
将得到的待输出图像进行缓存。
8.一种换脸图像的生成装置，其特征在于，包括：
训练模块，用于获取目标素材图像和多个模板图像，基于所述目标素材图像及所述多个模板图像中人脸区域的图像，训练换脸模型；
确定模块，用于响应于图像换脸请求，在所述多个模板图像中确定所述图像换脸请求指示的目标模板图像；
换脸模块，用于将所述目标模板图像输入至所述换脸模型，基于所述换脸模型对所述目标模板图像中人脸区域的图像进行编码重建，得到换脸图像，其中，所述换脸图像中人脸区域的图像与所述目标素材图像中人脸区域的图像一致，且所述换脸图像中除人脸区域外的其他区域的图像与所述目标模板图像中除人脸区域外的其他区域的图像一致。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210789633.XA CN115358916B (zh) | 2022-07-06 | 2022-07-06 | 换脸图像的生成方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210789633.XA CN115358916B (zh) | 2022-07-06 | 2022-07-06 | 换脸图像的生成方法、装置、计算机设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115358916A true CN115358916A (zh) | 2022-11-18 |
| CN115358916B CN115358916B (zh) | 2023-07-18 |
Family
ID=84030389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210789633.XA Active CN115358916B (zh) | 2022-07-06 | 2022-07-06 | 换脸图像的生成方法、装置、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115358916B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570348A (zh) * | 2019-09-10 | 2019-12-13 | 连尚（新昌）网络科技有限公司 | 一种脸部图像替换方法及设备 |
| CN110796089A (zh) * | 2019-10-30 | 2020-02-14 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
| CN110969572A (zh) * | 2019-11-29 | 2020-04-07 | 广州华多网络科技有限公司 | 换脸模型训练方法、人脸互换方法、装置及电子设备 |
| CN112734631A (zh) * | 2020-12-31 | 2021-04-30 | 北京深尚科技有限公司 | 基于微调模型的视频图像换脸方法、装置、设备及介质 |
| CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
| CN113486785A (zh) * | 2021-07-01 | 2021-10-08 | 深圳市英威诺科技有限公司 | 基于深度学习的视频换脸方法、装置、设备及存储介质 |
-
2022
- 2022-07-06 CN CN202210789633.XA patent/CN115358916B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570348A (zh) * | 2019-09-10 | 2019-12-13 | 连尚（新昌）网络科技有限公司 | 一种脸部图像替换方法及设备 |
| CN110796089A (zh) * | 2019-10-30 | 2020-02-14 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
| WO2021083069A1 (zh) * | 2019-10-30 | 2021-05-06 | 上海掌门科技有限公司 | 用于训练换脸模型的方法和设备 |
| CN110969572A (zh) * | 2019-11-29 | 2020-04-07 | 广州华多网络科技有限公司 | 换脸模型训练方法、人脸互换方法、装置及电子设备 |
| CN112734631A (zh) * | 2020-12-31 | 2021-04-30 | 北京深尚科技有限公司 | 基于微调模型的视频图像换脸方法、装置、设备及介质 |
| CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
| CN113486785A (zh) * | 2021-07-01 | 2021-10-08 | 深圳市英威诺科技有限公司 | 基于深度学习的视频换脸方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 刘德龙: "视频图像中的自动角色变换技术的研究", 《中国优秀硕士学位论文全文数据库》 * |
| 张敬尧: "基于自编码器转换模型的人脸图像替换技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115358916B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| WO2021103698A1 (zh) | 换脸方法、装置、电子设备及存储介质 | |
| WO2022110638A1 (zh) | 人像修复方法、装置、电子设备、存储介质和程序产品 | |
| Liu et al. | Robust single image super-resolution via deep networks with sparse prior | |
| WO2020150686A1 (en) | Systems and methods for face reenactment | |
| CN110570356B (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| CN113870104A (zh) | 超分辨率图像重建 | |
| CN110969572B (zh) | 换脸模型训练方法、人脸互换方法、装置及电子设备 | |
| CN112991171B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20240020810A1 (en) | UNIVERSAL STYLE TRANSFER USING MULTl-SCALE FEATURE TRANSFORM AND USER CONTROLS | |
| CN111402394A (zh) | 三维夸张漫画人脸生成方法及装置 | |
| CN116958326A (zh) | 图像编辑方法、装置、电子设备以及存储介质 | |
| CN114979672A (zh) | 视频编码方法、解码方法、电子设备及存储介质 | |
| Xing et al. | Scale-arbitrary invertible image downscaling | |
| CN115170388A (zh) | 人物线稿生成方法、装置、设备及介质 | |
| CN116977191A (zh) | 画质提升模型的训练方法和视频会议***画质的提升方法 | |
| CN114663274A (zh) | 一种基于gan网络的肖像图像头发去除方法及装置 | |
| CN113763232B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN111833413B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113297933A (zh) | 一种图像生成方法及相关装置 | |
| CN115358916B (zh) | 换脸图像的生成方法、装置、计算机设备及可读存储介质 | |
| JP2011070283A (ja) | 顔画像高解像度化装置、及びプログラム | |
| CN111553961B (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100102 201 / F, block C, 2 lizezhong 2nd Road, Chaoyang District, Beijing Applicant after: Beijing Shuidi Technology Group Co.,Ltd. Address before: 100102 201, 2 / F, block C, No.2 lizezhong 2nd Road, Chaoyang District, Beijing Applicant before: Beijing Health Home Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |