CN107730458A - 一种基于生成式对抗网络的模糊人脸重建方法及*** - Google Patents

一种基于生成式对抗网络的模糊人脸重建方法及*** Download PDF

Info

Publication number
CN107730458A
CN107730458A CN201710791956.1A CN201710791956A CN107730458A CN 107730458 A CN107730458 A CN 107730458A CN 201710791956 A CN201710791956 A CN 201710791956A CN 107730458 A CN107730458 A CN 107730458A
Authority
CN
China
Prior art keywords
face
mrow
fuzzy
picture
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710791956.1A
Other languages
English (en)
Inventor
许靳昌
董远
白洪亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Faceall Co
Original Assignee
Beijing Faceall Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Faceall Co filed Critical Beijing Faceall Co
Priority to CN201710791956.1A priority Critical patent/CN107730458A/zh
Publication of CN107730458A publication Critical patent/CN107730458A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的模糊人脸重建方法及***，人脸重建方法的步骤：获取训练样本和待重建数据；通过训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；从待重建数据中获得模糊人脸，并将其输入生成网络模型进行人脸的去模糊重建，得到清晰人脸。实现了以下有益效果：避免了使用插值法而得到的图像过于平滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；无需采用频率域方法，从而不会出现频域数据缺少相关性的情况；可迅速的对模糊人脸或遮挡的人脸五官重建，清晰度和相似度高。人脸重建***包括：获取单元、模型生成单元和人脸重建单元；实现了重建方法相同的有益效果。

Description

一种基于生成式对抗网络的模糊人脸重建方法及***
技术领域
本发明涉及人脸去模糊重建领域，具体涉及一种基于生成式对抗网络的模糊人脸重建方法及***。
背景技术
随着数码科技的发展，人们对图片清晰度的要求也越来越高。传统的做法是选择高清晰度、高分辨率的相机拍摄得到清晰度高的照片，然而此举并不能解决将模糊的图片转换为高清晰度的图片，因此，去模糊人脸重建的方法应运而生。
现有技术中的去模糊人脸重建的方法有：基于插值法的重建方法、基于学习的重建方法以及频率域重建方法。
插值法如最近元法、双线性内插法和三次内插法等，上述方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到的，缺点为得到的图像过于平滑，丢失了许多高频细节。基于学习的方法：采用大量的高清晰度图像构造学习库产生学习模型，在对模糊图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节；缺点为仅使用图像的表层特征。基于频率域的重建方法，缺点为频域的数据缺乏相关性。
发明内容
本发明的目的是提供一种基于生成式对抗网络的模糊人脸重建方法及***，以解决上述缺点。
为了实现上述目的，本发明提供如下技术方案：
本发明提供了一种基于生成式对抗网络的模糊人脸重建方法，包括以下步骤：
获取训练样本和待重建数据；
通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；
从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
上述模糊人脸重建方法，训练样本的获取包括以下步骤：
采集获得人脸模糊图片，和与其对应的人脸清晰图片；
将上述图片以一一对应的关系归为所述训练样本。
上述模糊人脸重建方法，所述待重建数据为带有所述模糊人脸的图片或视频数据。
上述模糊人脸重建方法，所述生成网络模型的获取包括以下步骤：
将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；
将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；
根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
上述模糊人脸重建方法，所述模糊人脸的获得包括以下步骤：
从所述待重建数据中提取出模糊图片；
通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。
上述技术方案中，本发明提供的模糊人脸重建方法，具有以下有益效果：
1)采用生成式对抗网络进行深度学***滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；
2)采用生成式对抗网络进行深度学习，得到生成网络模型，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况；
3)采用生成式对抗网络进行深度学习，得到生成网络模型，使获得的模型具有较强的模糊图片重建的能力；
4)通过生成网络模型进行图片的去模糊处理，可迅速的对模糊人脸或遮挡的人脸五官重建，清晰度和相似度高。
本发明提供了一种基于生成式对抗网络的模糊人脸重建***，包括：
获取单元，用以获取训练样本和待重建数据；
模型生成单元，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；
人脸重建单元，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
上述模糊人脸重建***，所述训练单元，还用以采集获得人脸模糊图片，和与其对应的人脸清晰图片，并将上述图片以一一对应的关系归为所述训练样本。
上述模糊人脸重建***，所述待重建数据为带有所述模糊人脸的图片或视频数据。
上述模糊人脸重建***，所述模型生成单元包括：重建模块、判别模块以及最优化模块，
所述重建模块，用以将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；
所述判别模块，用以将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；
根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
上述模糊人脸重建***，所述人脸重建单元，还用以从所述待重建数据中提取出模糊图片，通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。
上述技术方案中，本发明提供的模糊人脸重建***，具有以下有益效果：
1)采用生成式对抗网络进行深度学***滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；
2)采用生成式对抗网络进行深度学习，得到生成网络模型，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况；
3)采用生成式对抗网络进行深度学习，得到生成网络模型，使获得的模型具有较强的模糊图片重建的能力；
4)通过生成网络模型进行图片的去模糊处理，可迅速的对模糊人脸或遮挡的人脸五官重建，清晰度和相似度高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的模糊人脸重建方法的流程示意图；
图2为本发明一优选实施例提供的模糊人脸重建方法的流程示意图；
图3为本发明一优选实施例提供的模糊人脸重建方法的流程示意图；
图4为本发明一优选实施例提供的模糊人脸重建方法的流程示意图；
图5为本发明实施例提供的模糊人脸重建***的结构示意图；
图6为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
图7为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
图8为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
图9为本发明实施例提供的模糊人脸重建方法及***的结构示意图之一；
图10为本发明实施例提供的模糊人脸重建方法及***的结构示意图之一。
附图标记说明：
10、获取单元；20、模型生成单元；201、重建模块；202、判别模块；203、最优化模块；30、人脸重建单元。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。
如图1所示，为本发明提供的一种基于生成式对抗网络的模糊人脸重建方法，包括以下步骤：
S101、获取训练样本和待重建数据；
具体的，训练样本为对两个卷积神经网络进行训练所需的图片；其分为模糊的图片以及和该图片对应的清晰的图片。所述待重建数据为带有所述模糊人脸的图片或视频数据；当待重建数据为图片时，逐一输入两个卷积神经网络中进行生成式对抗网络的训练；当待重建数据为视频数据时，将图像按照帧和播放顺序输入神经网络。
如图2所示，在步骤S101中，训练样本的获取包括以下步骤：
S201、采集获得人脸模糊图片，和与其对应的人脸清晰图片；
S202、将上述图片以一一对应的关系归为所述训练样本。
具体的，采集不同种类、不同大小、不同分辨率的人脸模糊、清晰成对的多张图片，并且按照一一对应的关系归为训练样本；通过上述清晰人脸，和模糊人脸两种数据集同时训练两种卷积神经网络，一个是生成式网络，一个是判别式网络。
S102、通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；
如图3所示，在步骤S102中，所述生成网络模型的获取包括以下步骤：
S401、将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；
S402、将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；
S403、根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
其中，D(x)表示x属于分布M的概率，因而，优化D的时候就是让V(D,G)最大，优化G的时候就是让V(D,G)最小。x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
具体的，生成式网络，用以对模糊人脸图片进行重建；通过训练样本训练时，得到模糊人脸照片对应的重建照片；训练后得到的为清晰人脸(图片)，能够使照片更加清晰，五官分明；判别式网络，用以通过对上述重建图片和输入的人脸清晰照片进行判断，来判断图片是真是假，并再判断结束后，使生成式网络捕捉到判断为真的图片的数据分布；如此，上述两个网络之间互相博弈，得到最终的生成网络模型，能够对输入的模糊人脸进行很好的重建。如图9所示，作为本实施例中优选的，首先通过训练样本训练生成式网络，使其能够学习到人脸清晰图片的数据分布，生成式网络的目的是尽量捕捉真实数据也就是清晰人脸样本的数据分布，并生成重建图片；而判别式网络的目的是尽量正确判别输入数据是来自清晰的人脸图片集还是来自生成式网络重建出的人脸数据。为了取得最优的结果，这两个卷积神经网络需要不断优化，分别提高自己的生成能力和判别能力，最终得到最优的生成网络的参数，能够得到对监控视频模糊人脸最好的重建效果。
S103、从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
具体的，首先定位模糊人脸的位置，随后通过生成式网络中最终训练得到的生成网络模型对其进行去模糊重建；如图10所示，作为本实施中优选的，训练结束后，输入一段监控视频，首先使用人脸检测检测出视频中的模糊的小人脸，将检测到的人脸图片截下来作为传入到生成模型的输入，生成模型针对模糊人脸重建出清晰人脸。
如图4所示，在步骤S103中，所述模糊人脸的获得包括以下步骤：
从所述待重建数据中提取出模糊图片；
通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。
具体的，待重建数据包含了清晰的图片和模糊的图片，通过辨识提取所有模糊图片，再通过人脸检测技术在该模糊图片中定位到人脸位置，即将在人脸矩形框内的图像认为是模糊人脸。
上述技术方案中，本发明提供的模糊人脸重建方法，具有以下有益效果：
1)采用生成式对抗网络进行深度学***滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；
2)采用生成式对抗网络进行深度学习，得到生成网络模型，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况；
3)采用生成式对抗网络进行深度学习，得到生成网络模型，使获得的模型具有较强的模糊图片重建的能力；
4)通过生成网络模型进行图片的去模糊处理，可迅速的对模糊人脸或遮挡的人脸五官重建，清晰度和相似度高。
图5为本发明实施例还提供的模糊人脸重建***的结构示意图；
本实施例中的一种基于生成式对抗网络的模糊人脸重建***，包括：获取单元10，用以获取训练样本和待重建数据；模型生成单元20，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；人脸重建单元30，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
具体的，训练样本为对两个卷积神经网络进行训练所需的图片；其分为模糊的图片以及和该图片对应的清晰的图片。所述待重建数据为带有所述模糊人脸的图片或视频数据；当待重建数据为图片时，逐一输入两个卷积神经网络中进行生成式对抗网络的训练；当待重建数据为视频数据时，将图像按照帧和播放顺序输入神经网络。生成式网络，用以对模糊人脸图片进行重建；通过训练样本训练时，得到模糊人脸照片对应的重建照片；训练后得到的为清晰人脸(图片)，能够使照片更加清晰，五官分明；判别式网络，用以通过对上述重建图片和输入的人脸清晰照片进行判断，来判断图片是真是假，并再判断结束后，使生成式网络捕捉到判断为真的图片的数据分布；如此，上述两个网络之间互相博弈，得到最终的生成网络模型，能够对输入的模糊人脸进行很好的重建。首先定位模糊人脸的位置，随后通过生成式网络中最终训练得到的生成网络模型对其进行去模糊重建；如图10所示，作为本实施中优选的，训练结束后，输入一段监控视频，首先使用人脸检测检测出视频中的模糊的小人脸，将检测到的人脸图片截下来作为传入到生成模型的输入，生成模型针对模糊人脸重建出清晰人脸。
图6为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
本实施例中的一种基于生成式对抗网络的模糊人脸重建***，包括：获取单元10，用以获取训练样本和待重建数据；模型生成单元20，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；人脸重建单元30，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。作为本实施例中优选的，所述训练单元，还用以采集获得人脸模糊图片，和与其对应的人脸清晰图片，并将上述图片以一一对应的关系归为所述训练样本。具体的，采集不同种类、不同大小、不同分辨率的人脸模糊、清晰成对的多张图片，并且按照一一对应的关系归为训练样本；通过上述清晰人脸，和模糊人脸两种数据集同时训练两种卷积神经网络，一个是生成式网络，一个是判别式网络。
图7为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
本实施例中的一种基于生成式对抗网络的模糊人脸重建***，包括：获取单元10，用以获取训练样本和待重建数据；模型生成单元20，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；人脸重建单元30，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。作为本实施例中优选的，所述模型生成单元20包括：重建模块201、判别模块202以及最优化模块203，所述重建模块201，用以将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；所述判别模块202，用以将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；所述最优化模块203，用以根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
其中，D(x)表示x属于分布M的概率，因而，优化D的时候就是让V(D,G)最大，优化G的时候就是让V(D,G)最小。x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
具体的，如图9所示，作为本实施例中优选的，首先通过训练样本训练生成式网络，使其能够学习到人脸清晰图片的数据分布，生成式网络的目的是尽量捕捉真实数据也就是清晰人脸样本的数据分布，并生成重建图片；而判别式网络的目的是尽量正确判别输入数据是来自清晰的人脸图片集还是来自生成式网络重建出的人脸数据。为了取得最优的结果，这两个卷积神经网络需要不断优化，分别提高自己的生成能力和判别能力，最终得到最优的生成网络的参数，能够得到对监控视频模糊人脸最好的重建效果。
图8为本发明一优选实施例提供的模糊人脸重建***的结构示意图；
本实施例中的一种基于生成式对抗网络的模糊人脸重建***，包括：获取单元10，用以获取训练样本和待重建数据；模型生成单元20，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；人脸重建单元30，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。作为本实施例中优选的，所述人脸重建单元30，还用以从所述待重建数据中提取出模糊图片，通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。具体的，待重建数据包含了清晰的图片和模糊的图片，通过辨识提取所有模糊图片，再通过人脸检测技术在该模糊图片中定位到人脸位置，即将在人脸矩形框内的图像认为是模糊人脸。
上述技术方案中，本发明提供的模糊人脸重建***，具有以下有益效果：
1)采用生成式对抗网络进行深度学***滑的情况，且通过模型恢复的图片更清晰，高频细节更充分；
2)采用生成式对抗网络进行深度学习，得到生成网络模型，无需采用频率域方法，从而不会出现频域数据缺少相关性的情况；
3)采用生成式对抗网络进行深度学习，得到生成网络模型，使获得的模型具有较强的模糊图片重建的能力；
4)通过生成网络模型进行图片的去模糊处理，可迅速的对模糊人脸或遮挡的人脸五官重建，清晰度和相似度高。
以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种基于生成式对抗网络的模糊人脸重建方法，其特征在于，包括以下步骤：
获取训练样本和待重建数据；
通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；
从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
2.根据权利要求1所述的模糊人脸重建方法，其特征在于，训练样本的获取包括以下步骤：
采集获得人脸模糊图片，和与其对应的人脸清晰图片；
将上述图片以一一对应的关系归为所述训练样本。
3.根据权利要求1所述的模糊人脸重建方法，其特征在于，所述待重建数据为带有所述模糊人脸的图片或视频数据。
4.根据权利要求1所述的模糊人脸重建方法，其特征在于，所述生成网络模型的获取包括以下步骤：
将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；
将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；
根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
<mrow> <munder> <mi>min</mi> <mi>G</mi> </munder> <munder> <mi>max</mi> <mi>D</mi> </munder> <mi>V</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <mi>G</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>X</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>z</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>D</mi> <mo>(</mo> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
5.根据权利要求1所述的模糊人脸重建方法，其特征在于，所述模糊人脸的获得包括以下步骤：
从所述待重建数据中提取出模糊图片；
通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。
6.一种基于生成式对抗网络的模糊人脸重建***，其特征在于，包括：
获取单元，用以获取训练样本和待重建数据；
模型生成单元，用以通过所述训练样本对两个卷积神经网络进行生成式对抗网络的训练，得到基于最优化目标的生成网络模型；
人脸重建单元，用以从所述待重建数据中获得模糊人脸，并将其输入所述生成网络模型进行人脸的去模糊重建，得到清晰人脸。
7.根据权利要求6所述的模糊人脸重建***，其特征在于，所述训练单元，还用以采集获得人脸模糊图片，和与其对应的人脸清晰图片，并将上述图片以一一对应的关系归为所述训练样本。
8.根据权利要求6所述的模糊人脸重建***，其特征在于，所述待重建数据为带有所述模糊人脸的图片或视频数据。
9.根据权利要求6所述的模糊人脸重建***，其特征在于，所述模型生成单元包括：重建模块、判别模块以及最优化模块，
所述重建模块，用以将所述训练样本中的人脸模糊图片输入生成式网络，得到重建图片；
所述判别模块，用以将所述训练样本中的人脸清晰图片和所述重建图片均输入判别式网络进行清晰度判断，并根据判断结果捕捉重建和人脸清晰图片的数据分布；
所述最优化模块，用以根据所述数据分布和最优化目标函数计算最优参数，并据其得到所述生成网络模型，所述最优化目标函数为：
<mrow> <munder> <mi>min</mi> <mi>G</mi> </munder> <munder> <mi>max</mi> <mi>D</mi> </munder> <mi>V</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <mi>G</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>X</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>log</mi> <mi> </mi> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>z</mi> <mo>~</mo> <msub> <mi>p</mi> <mi>z</mi> </msub> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>D</mi> <mo>(</mo> <mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>
其中，D(x)表示x属于分布M的概率，x～pdata(x)表示x取自清晰人脸分布。，z～pz(z)表示z取自重建人脸的分布，G表示生成式网络，D表示判别式网络。
10.根据权利要求6所述的模糊人脸重建***，其特征在于，所述人脸重建单元，还用以从所述待重建数据中提取出模糊图片，通过人脸检测定位所述模糊图片中的人脸框，并据其得到所述模糊人脸。
CN201710791956.1A 2017-09-05 2017-09-05 一种基于生成式对抗网络的模糊人脸重建方法及*** Pending CN107730458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710791956.1A CN107730458A (zh) 2017-09-05 2017-09-05 一种基于生成式对抗网络的模糊人脸重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710791956.1A CN107730458A (zh) 2017-09-05 2017-09-05 一种基于生成式对抗网络的模糊人脸重建方法及***

Publications (1)

Publication Number Publication Date
CN107730458A true CN107730458A (zh) 2018-02-23

Family

ID=61205665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710791956.1A Pending CN107730458A (zh) 2017-09-05 2017-09-05 一种基于生成式对抗网络的模糊人脸重建方法及***

Country Status (1)

Country Link
CN (1) CN107730458A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230278A (zh) * 2018-02-24 2018-06-29 中山大学 一种基于生成对抗网络的图像去雨滴方法
CN108550118A (zh) * 2018-03-22 2018-09-18 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN108926319A (zh) * 2018-08-29 2018-12-04 合肥工业大学 配置高清视像处理模块的移动智能一体化腔镜***
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN109124702A (zh) * 2018-08-29 2019-01-04 合肥工业大学 配置气腹控制和中央控制模块的智能腔镜***
CN109124782A (zh) * 2018-08-29 2019-01-04 合肥工业大学 智能一体化腔镜***
CN109288487A (zh) * 2018-08-29 2019-02-01 合肥德铭电子有限公司 具有高清视像处理和电磁抑制功能的智能腔镜***
CN109350239A (zh) * 2018-08-29 2019-02-19 合肥德易电子有限公司 具有目标定位功能的智能一体化机器人腔镜***
CN109363614A (zh) * 2018-08-29 2019-02-22 合肥德易电子有限公司 具有高清视像增强处理功能的智能一体化机器人腔镜***
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN109857879A (zh) * 2018-12-20 2019-06-07 杭州英歌智达科技有限公司 一种基于gan的人脸检索方法
CN109886873A (zh) * 2019-01-22 2019-06-14 华中科技大学 一种基于深度学习的模拟画像生成方法及装置
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术（北京）有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN110363293A (zh) * 2018-03-26 2019-10-22 腾讯科技（深圳）有限公司 神经网络模型的训练、延时摄影视频的生成方法及设备
WO2019214381A1 (zh) * 2018-05-09 2019-11-14 腾讯科技（深圳）有限公司 一种视频去模糊方法、装置、存储介质和电子装置
CN110472566A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种高精度的模糊人脸识别方法与***
CN110659566A (zh) * 2019-08-15 2020-01-07 重庆特斯联智慧科技股份有限公司 一种遮挡状态下的目标跟踪方法及***
CN110728626A (zh) * 2018-07-16 2020-01-24 宁波舜宇光电信息有限公司 图像去模糊方法和装置及其训练
CN110782402A (zh) * 2019-09-27 2020-02-11 深圳市华付信息技术有限公司 一种***文本去模糊的方法
CN111383172A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 神经网络模型的训练方法、装置及智能终端
CN111986104A (zh) * 2020-07-23 2020-11-24 河海大学 一种基于深度学习的人脸图像去模糊方法
CN112308104A (zh) * 2019-08-02 2021-02-02 杭州海康威视数字技术股份有限公司 异常识别方法、装置及计算机存储介质
CN112329743A (zh) * 2021-01-04 2021-02-05 华东交通大学 一种疫情环境下的异常体温监控方法、装置及介质
CN112990078A (zh) * 2021-04-02 2021-06-18 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN113160061A (zh) * 2021-05-18 2021-07-23 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与***
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
US11475608B2 (en) 2019-09-26 2022-10-18 Apple Inc. Face image generation with pose and expression control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000017642A2 (en) * 1998-09-18 2000-03-30 Massachusetts Institute Of Technology Biological applications of semiconductor nanocrystals
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000017642A2 (en) * 1998-09-18 2000-03-30 Massachusetts Institute Of Technology Biological applications of semiconductor nanocrystals
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、***及设备
CN107103590A (zh) * 2017-03-22 2017-08-29 华南理工大学 一种基于深度卷积对抗生成网络的图像反射去除方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EMILY DENTON 等: "SEMI-SUPERVISED LEARNING WITH CONTEXT-CONDITIONAL GENERATIVE ADVERSARIAL NETWORKS", 《ARXIV》 *
曾凯 等: "图像超分辨率重建的研究进展", 《计算机工程与应用》 *
王坤峰 等: "生成式对抗网络GAN的研究进展与展望", 《自动化学报》 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230278A (zh) * 2018-02-24 2018-06-29 中山大学 一种基于生成对抗网络的图像去雨滴方法
WO2019178893A1 (zh) * 2018-03-22 2019-09-26 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN108550118A (zh) * 2018-03-22 2018-09-18 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN110555527A (zh) * 2018-03-26 2019-12-10 腾讯科技（深圳）有限公司 延时摄影视频的生成方法及设备
CN110363293A (zh) * 2018-03-26 2019-10-22 腾讯科技（深圳）有限公司 神经网络模型的训练、延时摄影视频的生成方法及设备
US12001959B2 (en) 2018-03-26 2024-06-04 Tencent Technology (Shenzhen) Company Limited Neural network model training method and device, and time-lapse photography video generating method and device
WO2019214381A1 (zh) * 2018-05-09 2019-11-14 腾讯科技（深圳）有限公司 一种视频去模糊方法、装置、存储介质和电子装置
US11688043B2 (en) 2018-05-09 2023-06-27 Tencent Technology (Shenzhen) Company Limited Video deblurring method and apparatus, storage medium, and electronic apparatus
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN108711141B (zh) * 2018-05-17 2022-02-15 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN108629753A (zh) * 2018-05-22 2018-10-09 广州洪森科技有限公司 一种基于循环神经网络的人脸图像恢复方法及装置
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN110728626A (zh) * 2018-07-16 2020-01-24 宁波舜宇光电信息有限公司 图像去模糊方法和装置及其训练
CN109288487A (zh) * 2018-08-29 2019-02-01 合肥德铭电子有限公司 具有高清视像处理和电磁抑制功能的智能腔镜***
CN109288487B (zh) * 2018-08-29 2020-12-15 合肥德铭电子有限公司 具有高清视像处理和电磁抑制功能的智能腔镜***
CN108926319A (zh) * 2018-08-29 2018-12-04 合肥工业大学 配置高清视像处理模块的移动智能一体化腔镜***
CN109124702A (zh) * 2018-08-29 2019-01-04 合肥工业大学 配置气腹控制和中央控制模块的智能腔镜***
CN109124782A (zh) * 2018-08-29 2019-01-04 合肥工业大学 智能一体化腔镜***
CN109124702B (zh) * 2018-08-29 2020-09-01 合肥工业大学 配置气腹控制和中央控制模块的智能腔镜***
CN109363614A (zh) * 2018-08-29 2019-02-22 合肥德易电子有限公司 具有高清视像增强处理功能的智能一体化机器人腔镜***
CN109363614B (zh) * 2018-08-29 2020-09-01 合肥德易电子有限公司 具有高清视像增强处理功能的智能一体化机器人腔镜***
CN109350239A (zh) * 2018-08-29 2019-02-19 合肥德易电子有限公司 具有目标定位功能的智能一体化机器人腔镜***
CN108926319B (zh) * 2018-08-29 2020-09-01 合肥工业大学 配置高清视像处理模块的移动智能一体化腔镜***
CN109857879B (zh) * 2018-12-20 2021-04-30 杭州英歌智达科技有限公司 一种基于gan的人脸检索方法
CN109857879A (zh) * 2018-12-20 2019-06-07 杭州英歌智达科技有限公司 一种基于gan的人脸检索方法
CN111383172A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 神经网络模型的训练方法、装置及智能终端
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN109886873A (zh) * 2019-01-22 2019-06-14 华中科技大学 一种基于深度学习的模拟画像生成方法及装置
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术（北京）有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN112308104A (zh) * 2019-08-02 2021-02-02 杭州海康威视数字技术股份有限公司 异常识别方法、装置及计算机存储介质
CN110472566B (zh) * 2019-08-14 2022-04-26 旭辉卓越健康信息科技有限公司 一种高精度的模糊人脸识别方法
CN110472566A (zh) * 2019-08-14 2019-11-19 旭辉卓越健康信息科技有限公司 一种高精度的模糊人脸识别方法与***
CN110659566A (zh) * 2019-08-15 2020-01-07 重庆特斯联智慧科技股份有限公司 一种遮挡状态下的目标跟踪方法及***
US11475608B2 (en) 2019-09-26 2022-10-18 Apple Inc. Face image generation with pose and expression control
CN110782402A (zh) * 2019-09-27 2020-02-11 深圳市华付信息技术有限公司 一种***文本去模糊的方法
CN111986104A (zh) * 2020-07-23 2020-11-24 河海大学 一种基于深度学习的人脸图像去模糊方法
CN112329743A (zh) * 2021-01-04 2021-02-05 华东交通大学 一种疫情环境下的异常体温监控方法、装置及介质
CN112990078B (zh) * 2021-04-02 2022-05-10 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN112990078A (zh) * 2021-04-02 2021-06-18 深圳先进技术研究院 一种基于生成式对抗网络的人脸表情生成方法
CN113160061B (zh) * 2021-05-18 2022-04-19 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与***
CN113160061A (zh) * 2021-05-18 2021-07-23 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与***
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113409207B (zh) * 2021-06-15 2023-12-08 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置

Similar Documents

Publication Publication Date Title
CN107730458A (zh) 一种基于生成式对抗网络的模糊人脸重建方法及***
Wang et al. Large-scale multimodal gesture recognition using heterogeneous networks
CN106407889B (zh) 基于光流图深度学习模型在视频中人体交互动作识别方法
CN106778604A (zh) 基于匹配卷积神经网络的行人再识别方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN106570474A (zh) 一种基于3d卷积神经网络的微表情识别方法
CN106372581A (zh) 构建及训练人脸识别特征提取网络的方法
CN107729872A (zh) 基于深度学习的人脸表情识别方法及装置
CN106203356B (zh) 一种基于卷积网络特征提取的人脸识别方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN106909887A (zh) 一种基于cnn和svm的动作识别方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN102682302A (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN106650694A (zh) 一种以卷积神经网络作为特征提取器的人脸识别方法
CN107025420A (zh) 视频中人体行为识别的方法和装置
CN108596041A (zh) 一种基于视频的人脸活体检测方法
Batchuluun et al. Body-movement-based human identification using convolutional neural network
CN110728183A (zh) 一种基于注意力机制的神经网络的人体动作识别方法
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及***
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN103198330B (zh) 基于深度视频流的实时人脸姿态估计方法
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN110008819A (zh) 一种基于图卷积神经网络的人脸表情识别方法
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223

RJ01 Rejection of invention patent application after publication