CN114820389A - 一种基于无监督解耦表征的人脸图像去模糊方法 - Google Patents

一种基于无监督解耦表征的人脸图像去模糊方法 Download PDF

Info

Publication number
CN114820389A
CN114820389A CN202210714947.3A CN202210714947A CN114820389A CN 114820389 A CN114820389 A CN 114820389A CN 202210714947 A CN202210714947 A CN 202210714947A CN 114820389 A CN114820389 A CN 114820389A
Authority
CN
China
Prior art keywords
image
feature
domain
deblurring
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210714947.3A
Other languages
English (en)
Other versions
CN114820389B (zh
Inventor
刘红敏
夏俊勇
王星
樊彬
曾慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Beijing Electromechanical Engineering Research Institute
Original Assignee
University of Science and Technology Beijing USTB
Beijing Electromechanical Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Beijing Electromechanical Engineering Research Institute filed Critical University of Science and Technology Beijing USTB
Priority to CN202210714947.3A priority Critical patent/CN114820389B/zh
Publication of CN114820389A publication Critical patent/CN114820389A/zh
Application granted granted Critical
Publication of CN114820389B publication Critical patent/CN114820389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于无监督解耦表征的人脸图像去模糊方法，属于计算机视觉中的低质量图像复原技术领域。所述方法包括：获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；利用得到的训练集和总的目标函数，训练所述去模糊生成网络；将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。采用本发明，能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题。

Description

一种基于无监督解耦表征的人脸图像去模糊方法
技术领域
本发明涉及计算机视觉中的低质量图像复原技术领域，特别是指一种基于无监督解耦表征的人脸图像去模糊方法。
背景技术
随着智能手机等电子设备的普及，人脸图片已经成为日常生活中最受欢迎的图片类型之一。拍摄过程中相机的抖动或者人物的行走都会造成模糊的产生。这不仅会降低人脸图像的视觉质量，而且模糊造成的失真会在诸多计算机视觉任务上产生负面影响。为了能够从这些模糊图像中获取关键的信息，需要进行去模糊处理。
由于图像模糊本身的不确定性，需要一定的假设或先验知识以约束解空间，利用最大后验概率估计获得的去模糊图像。目前最常使用的先验知识包括梯度统计、稀疏表达、暗通道先验等。然而这些方法需要大量的时间成本和计算效率，并且去模糊效果并不理想。近些年来，深度卷积网络和生成对抗网络日益广泛地应用到图像处理领域，从低分辨率对应估计高分辨率图像到现在对模糊图像的处理，得到了越来越多研究者的重视。与传统的方法相比，深度学习的方法在保留纹理细节和生成逼真图像方面具有更大的优势。大多数现有深度学习的方法需要成对的训练数据，这种训练方式一定程度上限制了这些方法在真实多媒体数字设备应用的通用性、可扩展性和实用性。另外，强健的监督可能会导致过拟合的训练模型，使得模型在真实拍摄图片的去模糊效果下降。
解耦表征为解决以上问题提供了很好的思路。解耦表征旨在在非成对数据的条件下，编码一组能表征数据独特性和独立性的生成因素，学习数据的条理化和可解释性。人脸去模糊任务也可以被视为解耦表征技术的一个分支。Lu等人提出了一种运动去模糊的端到端无监督解耦神经网络，其运用内容编码器和模糊风格编码器分别处理不同的语义特征，将解耦后得到的内容信息和模糊特征作为生成器的输入，在对抗损失和循环一致性损失的作用下达到去模糊效果。但现有无监督解耦方法在训练过程中会出现域转移和解耦不一致的问题，无法得到令人满意的去模糊效果。
发明内容
本发明实施例提供了基于无监督解耦表征的人脸图像去模糊方法，能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题。所述技术方案如下：
一方面，提供了一种基于无监督解耦表征的人脸图像去模糊方法，包括：
获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；
构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；
利用得到的训练集和总的目标函数，训练所述去模糊生成网络；
将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。
进一步地，所述获取由清晰图像及模糊图像构成的训练集包括：
获取清晰图像并对其进行裁剪及模糊化处理，得到模糊图像；
对裁剪得到的清晰图像和模糊图像进行图像增强处理；
利用增强后的清晰图像和模糊图像构成训练集
Figure 798137DEST_PATH_IMAGE001
，其中，
Figure 177165DEST_PATH_IMAGE002
，
Figure 367975DEST_PATH_IMAGE003
和
Figure 982496DEST_PATH_IMAGE004
分别表示清晰图像和模糊图像，
Figure 575152DEST_PATH_IMAGE005
和
Figure 859502DEST_PATH_IMAGE006
分别表示清晰图像集和模糊图像集。
进一步地，所述构建基于生成对抗网络的去模糊生成网络包括：
构建Half-IN残差卷积模块和IN残差卷积模块；
构建基于Half-IN残差卷积模块的内容域编码器
Figure 537608DEST_PATH_IMAGE007
，其中，所述内容域编 码器包括：清晰内容编码器
Figure 706553DEST_PATH_IMAGE008
和模糊内容编码器
Figure 888135DEST_PATH_IMAGE009
；
构建基于卷积神经网络的清晰特征编码器
Figure 608967DEST_PATH_IMAGE010
，并构建基于IN残差卷积模块的模 糊特征编码器
Figure 508790DEST_PATH_IMAGE011
；其中，清晰特征编码器
Figure 340479DEST_PATH_IMAGE010
和模糊特征编码器
Figure 32361DEST_PATH_IMAGE011
组成特征域编码器
Figure 924093DEST_PATH_IMAGE012
；
构建基于IN残差卷积模块的特征域生成器
Figure 311212DEST_PATH_IMAGE013
；其中，所述特征域生成器包 括：2个清晰特征生成器
Figure 946593DEST_PATH_IMAGE014
、
Figure 243713DEST_PATH_IMAGE015
和2个模糊特征生成器
Figure 306347DEST_PATH_IMAGE016
；
构建基于IN残差卷积模块的特征域鉴别器
Figure 180762DEST_PATH_IMAGE017
，其中，所述特征域鉴别器包 括：清晰特征鉴别器
Figure 354255DEST_PATH_IMAGE018
和模糊特征鉴别器
Figure 766868DEST_PATH_IMAGE019
；
根据构建的所述内容域编码器
Figure 403DEST_PATH_IMAGE020
、特征域编码器
Figure 362114DEST_PATH_IMAGE012
、特征域生成 器
Figure 339298DEST_PATH_IMAGE013
和特征域鉴别器
Figure 611010DEST_PATH_IMAGE017
，构建去模糊生成网络，所述去模糊生成网络包括： 解耦阶段网络和重建阶段网络，其中，所述解耦阶段网络包括：内容域编码器
Figure 281026DEST_PATH_IMAGE007
和 特征域编码器
Figure 254667DEST_PATH_IMAGE012
构成的去模糊的卷积编码网络以及特征域生成器
Figure 35541DEST_PATH_IMAGE013
构成 的去模糊的卷积解码网络。
进一步地，所述Half-IN残差卷积模块由第一卷积分支和第一残差分支并联组成；
所述第一卷积分支由
Figure 20815DEST_PATH_IMAGE021
的卷积层-IN层和ID层
Figure 596152DEST_PATH_IMAGE022
的卷积层-LeakyReLU 函数组成，其中，-表示连接；
所述第一残差分支为
Figure 807822DEST_PATH_IMAGE023
的卷积层。
进一步地，所述IN残差卷积模块由第二卷积分支和第二残差分支并联组成；
所述第二卷积分支由
Figure 126808DEST_PATH_IMAGE021
的卷积层-IN层-LeakyReLU函数组成，其中，-表示连 接；
所述第二残差分支为
Figure 232167DEST_PATH_IMAGE023
的卷积层。
进一步地，所述去模糊生成网络的工作流程包括解耦阶段和重建阶段：
在解耦阶段，对于输入的非成对人脸图像
Figure 978406DEST_PATH_IMAGE024
，使用内容域编码器
Figure 926640DEST_PATH_IMAGE025
、 特征域编码器
Figure 783737DEST_PATH_IMAGE026
和特征域生成器
Figure 743603DEST_PATH_IMAGE027
，输出人脸结构一致，但更加真实的清 晰图像
Figure 926323DEST_PATH_IMAGE028
和模糊图像
Figure 847005DEST_PATH_IMAGE029
：
在重建阶段，对于解耦阶段输出的人脸图像
Figure 507794DEST_PATH_IMAGE030
，使用内容域编码器
Figure 587745DEST_PATH_IMAGE020
、特征域编码器
Figure 675787DEST_PATH_IMAGE026
和特征域生成器
Figure 333033DEST_PATH_IMAGE027
，输出与输入图像
Figure 531933DEST_PATH_IMAGE024
相同的重建图像
Figure 466391DEST_PATH_IMAGE031
。
进一步地，所述在解耦阶段，对于输入的非成对人脸图像
Figure 725334DEST_PATH_IMAGE024
，使用内容域编码 器
Figure 886188DEST_PATH_IMAGE020
、特征域编码器
Figure 623200DEST_PATH_IMAGE026
和特征域生成器
Figure 412165DEST_PATH_IMAGE027
，输出人脸结构一致，但 更加真实的清晰图像
Figure 107588DEST_PATH_IMAGE028
和模糊图像
Figure 614793DEST_PATH_IMAGE029
包括：
对于输入的非成对人脸图像
Figure 280129DEST_PATH_IMAGE024
，使用内容域编码器
Figure 189180DEST_PATH_IMAGE025
、特征域编码器
Figure 789925DEST_PATH_IMAGE026
进行处理，得到语义内容信息
Figure 925371DEST_PATH_IMAGE032
和特征表征
Figure 269765DEST_PATH_IMAGE033
为：
Figure 33322DEST_PATH_IMAGE034
其中，
Figure 70548DEST_PATH_IMAGE035
和
Figure 411399DEST_PATH_IMAGE036
分别表示清晰图像和模糊图像；
Figure 559484DEST_PATH_IMAGE037
和
Figure 177547DEST_PATH_IMAGE038
分别表示清晰图像
Figure 385675DEST_PATH_IMAGE035
的语义 内容信息和模糊图像
Figure 964555DEST_PATH_IMAGE036
的语义内容信息；
Figure 650751DEST_PATH_IMAGE039
和
Figure 388900DEST_PATH_IMAGE040
分别表示清晰图像
Figure 767928DEST_PATH_IMAGE035
的清晰特征表征和 模糊图像
Figure 83372DEST_PATH_IMAGE036
的模糊特征表征；
利用清晰特征生成器
Figure 573259DEST_PATH_IMAGE041
、
Figure 165915DEST_PATH_IMAGE042
和模糊特征生成器
Figure 856790DEST_PATH_IMAGE043
、
Figure 800475DEST_PATH_IMAGE044
对得到的语义内 容信息
Figure 218687DEST_PATH_IMAGE045
和特征表征
Figure 665849DEST_PATH_IMAGE046
进行处理，得到：
Figure 121101DEST_PATH_IMAGE047
其中，
Figure 286503DEST_PATH_IMAGE048
和
Figure 993559DEST_PATH_IMAGE049
分别表示第一次重建清晰图像和第一次重建模糊图像；
Figure 560807DEST_PATH_IMAGE050
和
Figure 186960DEST_PATH_IMAGE051
分 别表示去模糊图像和生成模糊图像，即更加真实的清晰图像
Figure 229872DEST_PATH_IMAGE050
和模糊图像
Figure 130831DEST_PATH_IMAGE051
。
进一步地，所述在重建阶段，对于解耦阶段输出的人脸图像
Figure 287006DEST_PATH_IMAGE052
，使用内容 域编码器
Figure 225006DEST_PATH_IMAGE053
、特征域编码器
Figure 99422DEST_PATH_IMAGE054
和特征域生成器
Figure 538493DEST_PATH_IMAGE055
，输出与输入 图像
Figure 814754DEST_PATH_IMAGE056
相同的重建图像
Figure 172923DEST_PATH_IMAGE057
包括：
在重建阶段，使用内容域编码器
Figure 65792DEST_PATH_IMAGE058
、特征域编码器
Figure 183921DEST_PATH_IMAGE054
对解耦阶 段输出的人脸图像
Figure 580267DEST_PATH_IMAGE052
进行处理，得到语义内容信息
Figure 109338DEST_PATH_IMAGE059
和特征表征
Figure 958345DEST_PATH_IMAGE060
为：
Figure 739219DEST_PATH_IMAGE061
其中，
Figure 865438DEST_PATH_IMAGE062
和
Figure 706355DEST_PATH_IMAGE063
分别表示去模糊图像
Figure 42659DEST_PATH_IMAGE064
的语义内容信息和生成模糊图像
Figure 751858DEST_PATH_IMAGE065
的语 义内容信息；
Figure 857217DEST_PATH_IMAGE066
和
Figure 603456DEST_PATH_IMAGE067
分别表示去模糊图像
Figure 36842DEST_PATH_IMAGE068
的清晰特征表征和生成模糊图像
Figure 159519DEST_PATH_IMAGE069
的模糊 特征表征；
利用清晰特征生成器
Figure 384964DEST_PATH_IMAGE070
和模糊特征生成器
Figure 692318DEST_PATH_IMAGE071
对得到的语义内容信息
Figure 3213DEST_PATH_IMAGE072
和特征表征
Figure 664002DEST_PATH_IMAGE073
进行处理，输出与输入图像
Figure 353740DEST_PATH_IMAGE074
相同的重建图像
Figure 972940DEST_PATH_IMAGE075
:
Figure 505553DEST_PATH_IMAGE076
其中，
Figure 360245DEST_PATH_IMAGE077
和
Figure 29124DEST_PATH_IMAGE078
分别代表第二次重建清晰图像和第二次重建模糊图像。
进一步地，所述总的目标函数
Figure 694592DEST_PATH_IMAGE079
表示为：
Figure 714500DEST_PATH_IMAGE080
其中，
Figure 982671DEST_PATH_IMAGE081
表示散度目标函数，
Figure 896269DEST_PATH_IMAGE082
表示重建目标函数，
Figure 591692DEST_PATH_IMAGE083
表示重建目标函数 的权重，
Figure 98897DEST_PATH_IMAGE084
表示生成对抗的目标函数，
Figure 639600DEST_PATH_IMAGE085
表示语义内容监督函数，
Figure 424016DEST_PATH_IMAGE086
表示语义内 容监督函数的权重，
Figure 24762DEST_PATH_IMAGE087
表示特征表征监督函数，
Figure 19263DEST_PATH_IMAGE088
表示特征表征监督函数的权重，
Figure 363656DEST_PATH_IMAGE089
表示循环一致性的目标函数，
Figure 517426DEST_PATH_IMAGE090
表示循环一致性的目标函数的权重。
进一步地，所述重建目标函数
Figure 289073DEST_PATH_IMAGE082
表示为：
Figure 770870DEST_PATH_IMAGE091
其中，
Figure 794321DEST_PATH_IMAGE092
表示期望值，
Figure 412384DEST_PATH_IMAGE093
和
Figure 620511DEST_PATH_IMAGE094
分别表示清晰图像的分布和模糊图像的分 布，
Figure 324025DEST_PATH_IMAGE095
表示
Figure 146574DEST_PATH_IMAGE096
服从清晰图像的分布，
Figure 884723DEST_PATH_IMAGE097
表示
Figure 998172DEST_PATH_IMAGE098
服从模糊图像的分布；
所述生成对抗的目标函数
Figure 188982DEST_PATH_IMAGE099
表示为：
Figure 554235DEST_PATH_IMAGE100
其中，
Figure 881312DEST_PATH_IMAGE101
表示清晰特征生成对抗函数，
Figure 431242DEST_PATH_IMAGE102
表示模糊特征生成对抗函数；
Figure 109348DEST_PATH_IMAGE103
表示清晰特征鉴别器判定输入
Figure 137347DEST_PATH_IMAGE096
为真实清晰图像的概率，
Figure 709142DEST_PATH_IMAGE104
表示清晰鉴别器 特征判定输入
Figure 429973DEST_PATH_IMAGE105
为真实清晰图像的概率，
Figure 595376DEST_PATH_IMAGE106
表示模糊特征鉴别器判定输入
Figure 427065DEST_PATH_IMAGE107
为真实 模糊图像的概率，
Figure 604100DEST_PATH_IMAGE108
表示模糊特征鉴别器判定输入
Figure 495833DEST_PATH_IMAGE109
为真实模糊图像的概率；
所述语义内容监督函数
Figure 148531DEST_PATH_IMAGE110
表示为：
Figure 518332DEST_PATH_IMAGE111
所述特征表征监督函数
Figure 64720DEST_PATH_IMAGE112
表示为：
Figure 127354DEST_PATH_IMAGE113
所述循环一致性的目标函数
Figure 1769DEST_PATH_IMAGE114
表示：
Figure 440841DEST_PATH_IMAGE115
。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于无监督解耦表征的人脸图像去模糊方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；利用得到的训练集和总的目标函数，训练所述去模糊生成网络；将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。这样，能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于无监督解耦表征的人脸图像去模糊方法的流程示意图；
图2为本发明实施例提供的残差卷积模块的结构示意图；
图3为本发明实施例提供的基于无监督解耦表征的人脸图像去模糊方法的框架示意图；
图4为本发明实施例提供的内容域编码器的结构示意图；
图5为本发明实施例提供的特征域编码器的结构示意图；
图6为本发明实施例提供的特征域生成器的结构示意图；
图7为本发明实施例提供的特征域鉴别器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于无监督解耦表征的人脸图像去模糊方法，包括：
S101，获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；具体可以包括以下步骤：
A1，获取清晰图像并对其进行裁剪及模糊化处理，得到模糊图像；
本实施例中，获取清晰的人脸图像并将其裁剪成分辨率为
Figure 592467DEST_PATH_IMAGE116
大 小，接着使用模糊方法（例如，使用文献Deblurgan: Blind motion deblurring using conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 8183-8192.中的模糊方法）获得模 糊的人脸图像，其中，模糊方法的参数设置除最大运动轨迹为30外，其他参数与Deblurgan 中保持一致。
A2，对裁剪得到的清晰图像和模糊图像进行图像增强处理；
本实施例中，所述图像增强处理包括：随机水平旋转和数据归一化。
A3，利用增强后的清晰图像和模糊图像构成训练集
Figure 91582DEST_PATH_IMAGE001
，其中，
Figure 187714DEST_PATH_IMAGE002
，
Figure 899318DEST_PATH_IMAGE003
和
Figure 420298DEST_PATH_IMAGE004
分别表示清晰图像和模糊图像，
Figure 824735DEST_PATH_IMAGE005
和
Figure 673742DEST_PATH_IMAGE006
分别表示清晰图像集和模糊图像集。
S102，构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；
本实施例中，构建基于生成对抗网络的去模糊生成网络，具体可以包括以下步骤：
B1，构建Half-IN残差卷积模块和IN残差卷积模块；
如图2（a）所示，Half-IN残差卷积模块由一个卷积分支和一个残差分支并联组成； 所述第一卷积分支由
Figure 189037DEST_PATH_IMAGE021
的卷积层-IN层和ID层
Figure 315256DEST_PATH_IMAGE022
的卷积层-LeakyReLU函数组 成，其中，-表示连接；记卷积分支的操作为
Figure 890594DEST_PATH_IMAGE117
；残差分支为
Figure 226897DEST_PATH_IMAGE023
的卷积层，记残差分支的 操作为
Figure 545883DEST_PATH_IMAGE118
。
如图2（b）所示，IN残差卷积模块也由一个卷积分支和一个残差分支并联组成；IN 残差卷积模块与Half-IN残差卷积模块不同之处在于IN残差卷积模块的卷积分支仅由
Figure 775876DEST_PATH_IMAGE021
的卷积层-IN层-LeakyReLU函数组成，记该卷积分支的操作为
Figure 522115DEST_PATH_IMAGE119
。则对通道数为
Figure 80135DEST_PATH_IMAGE120
的输入特征
Figure 202812DEST_PATH_IMAGE121
，Half-IN残差卷积模块的输出
Figure 897099DEST_PATH_IMAGE122
和IN残差卷积模块的输出
Figure 689605DEST_PATH_IMAGE123
分别表示为：
Figure 501DEST_PATH_IMAGE124
其中，
Figure 661289DEST_PATH_IMAGE125
表示取最大值。
B2，构建基于Half-IN残差卷积模块的内容域编码器
Figure 475662DEST_PATH_IMAGE007
，其中，所述内容域 编码器包括：清晰内容编码器
Figure 953916DEST_PATH_IMAGE008
和模糊内容编码器
Figure 486529DEST_PATH_IMAGE009
，如图3所示；
如图3和4所示，两个内容域编码器的结构一致，都由
Figure 685429DEST_PATH_IMAGE126
的卷积层后接Half-IN 残差卷积模块和共享权重卷积层构成，内容域编码器的具体层包括：两个步长为1的
Figure 619887DEST_PATH_IMAGE126
卷积层，五个下采样步长为1的Half-IN残差卷积模块，两个
Figure 19776DEST_PATH_IMAGE021
的共享权重卷积层。
B3，构建基于卷积神经网络的清晰特征编码器
Figure 774105DEST_PATH_IMAGE010
，并构建基于IN残差卷积模块的 模糊特征编码器
Figure 42275DEST_PATH_IMAGE011
；其中，清晰特征编码器
Figure 831240DEST_PATH_IMAGE010
和模糊特征编码器
Figure 385718DEST_PATH_IMAGE011
组成特征域编码器
Figure 892922DEST_PATH_IMAGE026
；
如图5（a）所示，清晰特征编码器由多个卷积层后接自适应池化层和1个卷积层组 成；清晰特征编码器具体层包括：一个步长为1的
Figure 699204DEST_PATH_IMAGE126
卷积层，四个步长为2的
Figure 342675DEST_PATH_IMAGE021
卷积 层后接一个自适应池化层，自适应池化层后接一个步长为1的
Figure 84366DEST_PATH_IMAGE023
卷积层。
如图5（b）所示，模糊特征编码器由
Figure 813288DEST_PATH_IMAGE126
的卷积层、IN残差卷积模块和线性层组 成，模糊特征编码器具体层包括：2个步长为1的
Figure 423261DEST_PATH_IMAGE126
卷积层，四个步长为2的下采样IN残差 卷积模块，后接两个输出通道为8的线性层（即：全连接层）。
B4，构建基于IN残差卷积模块的特征域生成器
Figure 186818DEST_PATH_IMAGE027
；其中，所述特征域生成 器包括：2个清晰特征生成器
Figure 83098DEST_PATH_IMAGE014
、
Figure 564895DEST_PATH_IMAGE015
和2个模糊特征生成器
Figure 712980DEST_PATH_IMAGE016
；
如图6所示，清晰特征生成器和模糊特征生成器都由IN残差卷积模块后接转置卷积层构成。两者结构一致，具体为：两个共享步长为1的IN残差卷积模块, 三个步长为1的IN残差卷积模块，两个步长为2的转置卷积层。
B5，构建基于IN残差卷积模块的特征域鉴别器
Figure 331043DEST_PATH_IMAGE017
，其中，所述特征域鉴别 器包括：清晰特征鉴别器
Figure 148957DEST_PATH_IMAGE018
和模糊特征鉴别器
Figure 586892DEST_PATH_IMAGE019
；
如图7（a）、（b）所示，清晰特征鉴别器和模糊特征鉴别器的结构一致，具体为：一个自适应池化层，后接四个步长为2的IN残差卷积模块，最后接一个卷积层。
B6，根据构建的所述内容域编码器
Figure 538667DEST_PATH_IMAGE020
、特征域编码器
Figure 11237DEST_PATH_IMAGE026
、特征域生 成器
Figure 390266DEST_PATH_IMAGE027
和特征域鉴别器
Figure 705710DEST_PATH_IMAGE017
，构建去模糊生成网络，所述去模糊生成网络包 括：解耦阶段网络和重建阶段网络，其中，所述解耦阶段网络包括：内容域编码器
Figure 195597DEST_PATH_IMAGE020
和特征域编码器
Figure 788252DEST_PATH_IMAGE127
构成的去模糊的卷积编码网络以及特征域生成器
Figure 338182DEST_PATH_IMAGE027
构 成的去模糊的卷积解码网络。
本实施例中，所述去模糊生成网络的工作流程包括解耦阶段和重建阶段：
1）在解耦阶段，对于输入的非成对人脸图像
Figure 626075DEST_PATH_IMAGE024
，使用内容域编码器
Figure 919653DEST_PATH_IMAGE020
、特征域编码器
Figure 366815DEST_PATH_IMAGE026
和特征域生成器
Figure 822067DEST_PATH_IMAGE027
，输出人脸结构一致，但更加真实的清 晰图像
Figure 987469DEST_PATH_IMAGE028
和模糊图像
Figure 943793DEST_PATH_IMAGE029
，具体可以包括以下步骤：
对于输入的非成对人脸图像
Figure 137194DEST_PATH_IMAGE024
，高和宽尺寸均为
Figure 524313DEST_PATH_IMAGE129
，使用内容域 编码器
Figure 35060DEST_PATH_IMAGE020
、特征域编码器
Figure 456814DEST_PATH_IMAGE026
进行处理，得到语义内容信息
Figure 519448DEST_PATH_IMAGE032
和特征 表征
Figure 393863DEST_PATH_IMAGE033
为：
Figure 691989DEST_PATH_IMAGE034
其中，
Figure 968249DEST_PATH_IMAGE035
和
Figure 936206DEST_PATH_IMAGE036
分别表示清晰图像和模糊图像；
Figure 297917DEST_PATH_IMAGE037
和
Figure 275100DEST_PATH_IMAGE038
分别表示清晰图像
Figure 546812DEST_PATH_IMAGE035
的语义 内容信息和模糊图像
Figure 951249DEST_PATH_IMAGE036
的语义内容信息；
Figure 534677DEST_PATH_IMAGE039
和
Figure 315551DEST_PATH_IMAGE040
分别表示清晰图像
Figure 691038DEST_PATH_IMAGE035
的清晰特征表征和 模糊图像
Figure 266376DEST_PATH_IMAGE036
的模糊特征表征；此时语义内容信息
Figure 337100DEST_PATH_IMAGE037
和
Figure 656086DEST_PATH_IMAGE038
的大小为
Figure 636811DEST_PATH_IMAGE130
，特征表 征的大小为
Figure 383050DEST_PATH_IMAGE131
，其中
Figure 941071DEST_PATH_IMAGE132
表示语义内容信息的维度，由最后一个共享权重卷积层的特 征通道数决定；
特征域生成器的输入为卷积编码网络输出的语义内容信息
Figure 798168DEST_PATH_IMAGE045
和特征表 征
Figure 23613DEST_PATH_IMAGE046
，利用清晰特征生成器
Figure 65387DEST_PATH_IMAGE041
、
Figure 110704DEST_PATH_IMAGE042
和模糊特征生成器
Figure 771492DEST_PATH_IMAGE043
、
Figure 851444DEST_PATH_IMAGE044
对卷积编码 网络输出的语义内容信息
Figure 814852DEST_PATH_IMAGE045
和特征表征
Figure 347464DEST_PATH_IMAGE046
进行处理，得到：
Figure 811944DEST_PATH_IMAGE047
其中，
Figure 746401DEST_PATH_IMAGE048
和
Figure 129978DEST_PATH_IMAGE049
分别表示第一次重建清晰图像和第一次重建模糊图像；
Figure 149887DEST_PATH_IMAGE050
和
Figure 152478DEST_PATH_IMAGE051
分 别表示去模糊图像和生成模糊图像，即更加真实的清晰图像
Figure 941442DEST_PATH_IMAGE028
和模糊图像
Figure 371287DEST_PATH_IMAGE029
。
2） 在重建阶段，对于解耦阶段输出的人脸图像
Figure 753858DEST_PATH_IMAGE030
，使用内容域编码器
Figure 560140DEST_PATH_IMAGE020
、特征域编码器
Figure 203611DEST_PATH_IMAGE026
和特征域生成器
Figure 69935DEST_PATH_IMAGE027
，输出与输入图像
Figure 189070DEST_PATH_IMAGE024
相同的重建图像
Figure 799043DEST_PATH_IMAGE031
，具体可以包括以下步骤：
在重建阶段，重复使用内容域编码器
Figure 297020DEST_PATH_IMAGE020
、特征域编码器
Figure 209613DEST_PATH_IMAGE026
和特征 域生成器
Figure 425830DEST_PATH_IMAGE027
构成重建阶段网络，所述重建阶段网络包括：内容域编码器
Figure 573915DEST_PATH_IMAGE133
和特征域编码器
Figure 191978DEST_PATH_IMAGE026
构成的重建阶段的卷积编码网络以及特征域生成器
Figure 524739DEST_PATH_IMAGE027
构成的重建阶段的卷积解码网络；这样，可以使用内容域编码器
Figure 228253DEST_PATH_IMAGE025
、特征域编码器
Figure 180029DEST_PATH_IMAGE026
对解耦阶段输出的人脸图像
Figure 387019DEST_PATH_IMAGE030
（
Figure 766048DEST_PATH_IMAGE028
和
Figure 832224DEST_PATH_IMAGE029
高和宽尺寸均为
Figure 322111DEST_PATH_IMAGE134
进行处理，得到语义内容信息
Figure 914766DEST_PATH_IMAGE072
和特征表征
Figure 199117DEST_PATH_IMAGE073
为：
Figure 13576DEST_PATH_IMAGE061
其中，
Figure 307154DEST_PATH_IMAGE062
和
Figure 754316DEST_PATH_IMAGE063
分别表示去模糊图像
Figure 475147DEST_PATH_IMAGE064
的语义内容信息和生成模糊图像
Figure 250336DEST_PATH_IMAGE065
的语 义内容信息；
Figure 82026DEST_PATH_IMAGE066
和
Figure 649274DEST_PATH_IMAGE067
分别表示去模糊图像
Figure 541006DEST_PATH_IMAGE068
的清晰特征表征和生成模糊图像
Figure 662546DEST_PATH_IMAGE069
的模糊 特征表征；
利用清晰特征生成器
Figure 422560DEST_PATH_IMAGE070
和模糊特征生成器
Figure 844315DEST_PATH_IMAGE071
对重建阶段的卷积编码网络输 出的语义内容信息
Figure 906948DEST_PATH_IMAGE072
和特征表征
Figure 781364DEST_PATH_IMAGE073
进行处理，输出与输入图像
Figure 830222DEST_PATH_IMAGE074
相同的重建图像
Figure 106483DEST_PATH_IMAGE075
：
Figure 340018DEST_PATH_IMAGE076
其中，
Figure 701729DEST_PATH_IMAGE077
和
Figure 803546DEST_PATH_IMAGE078
分别代表第二次重建清晰图像和第二次重建模糊图像。
本实施例中，确定去模糊生成网络总的目标函数，具体可以包括以下步骤；
C1，构建散度目标函数。通过减小语义内容信息与标准正态分布
Figure 934313DEST_PATH_IMAGE135
（其中z表示随机变量，
Figure 338750DEST_PATH_IMAGE136
表示概率密度函数，
Figure 187757DEST_PATH_IMAGE135
表示随机变量z服从均值 为0，方差为1的正态分布）的散度值来拉近清晰图像与模糊图像的语义内容信息分布。将内 容域编码器最后一个共享权重卷积层的输出接2个并联的自适应池化层和输出通道为256 的线性层，分别记这两个自适应池化层和输出通道为256的线性层为
Figure 843997DEST_PATH_IMAGE137
和
Figure 563692DEST_PATH_IMAGE138
，对于输入语 义内容信息
Figure 139030DEST_PATH_IMAGE121
，
Figure 475333DEST_PATH_IMAGE137
和
Figure 794319DEST_PATH_IMAGE138
的输出分别为语义内容信息的均值
Figure 24312DEST_PATH_IMAGE139
和方差
Figure 770551DEST_PATH_IMAGE140
：
Figure 594151DEST_PATH_IMAGE141
将内容域编码器输出的语义内容信息
Figure 451248DEST_PATH_IMAGE037
和
Figure 286480DEST_PATH_IMAGE038
分别都送入
Figure 469200DEST_PATH_IMAGE137
和
Figure 514516DEST_PATH_IMAGE138
，将计算结果 代入散度目标函数
Figure 175305DEST_PATH_IMAGE081
：
Figure 989677DEST_PATH_IMAGE142
其中，
Figure 202352DEST_PATH_IMAGE143
和
Figure 734965DEST_PATH_IMAGE144
分别代表
Figure 199444DEST_PATH_IMAGE145
的均值和方差，
Figure 133902DEST_PATH_IMAGE146
代表
Figure 268211DEST_PATH_IMAGE147
的通道数。
C2，构建重建目标函数
Figure 288120DEST_PATH_IMAGE082
。目标函数
Figure 290711DEST_PATH_IMAGE082
要利用解耦阶段编码得到的语义内容 信息
Figure 79676DEST_PATH_IMAGE045
和特征表征
Figure 899733DEST_PATH_IMAGE046
重建输入图像
Figure 406938DEST_PATH_IMAGE024
，第一次重建图像为
Figure 947640DEST_PATH_IMAGE148
， 重建目标函数
Figure 856691DEST_PATH_IMAGE082
为：
Figure 332802DEST_PATH_IMAGE091
其中，
Figure 327303DEST_PATH_IMAGE092
表示期望值，
Figure 671697DEST_PATH_IMAGE093
和
Figure 169674DEST_PATH_IMAGE094
分别表示清晰图像的分布和模糊图像的分 布，
Figure 206900DEST_PATH_IMAGE095
表示
Figure 547752DEST_PATH_IMAGE096
服从清晰图像的分布，
Figure 695837DEST_PATH_IMAGE097
表示
Figure 313900DEST_PATH_IMAGE107
服从模糊图像的分布。
C3，构建生成对抗的目标函数
Figure 522027DEST_PATH_IMAGE099
。目标函数
Figure 100907DEST_PATH_IMAGE099
的第一部分为清晰特征生成 对抗函数
Figure 787103DEST_PATH_IMAGE101
，要完成对真实清晰图像
Figure 525252DEST_PATH_IMAGE149
和去模糊图像
Figure 904281DEST_PATH_IMAGE105
的鉴别，定义清晰特征鉴 别器为
Figure 219725DEST_PATH_IMAGE150
，则第一部分的清晰特征生成对抗函数
Figure 709612DEST_PATH_IMAGE151
为：
Figure 36688DEST_PATH_IMAGE152
其中，
Figure 586618DEST_PATH_IMAGE103
表示清晰特征鉴别器判定输入
Figure 140090DEST_PATH_IMAGE096
为真实清晰图像的概率，
Figure 433668DEST_PATH_IMAGE104
表 示清晰特征鉴别器判定输入
Figure 880830DEST_PATH_IMAGE105
为真实清晰图像的概率；
目标函数
Figure 336082DEST_PATH_IMAGE151
的第二部分为模糊特征生成对抗函数，要完成对要完成对真实模 糊图像
Figure 626118DEST_PATH_IMAGE153
和生成模糊图像
Figure 457808DEST_PATH_IMAGE109
的鉴别，定义模糊特征鉴别器为
Figure 25056DEST_PATH_IMAGE154
，则第二部分的模糊 特征生成对抗函数
Figure 651209DEST_PATH_IMAGE155
为：
Figure 38328DEST_PATH_IMAGE156
其中，
Figure 549075DEST_PATH_IMAGE106
表示模糊特征鉴别器判定输入
Figure 705250DEST_PATH_IMAGE107
为真实模糊图像的概率，
Figure 767884DEST_PATH_IMAGE108
表示模糊特征鉴别器判定输入
Figure 642299DEST_PATH_IMAGE109
为真实模糊图像的概率；
总的生成对抗目标函数
Figure 206004DEST_PATH_IMAGE099
为：
Figure 482265DEST_PATH_IMAGE157
C4，构建特征域自监督的目标函数。目标函数的第一部分为语义内容监督函数
Figure 715800DEST_PATH_IMAGE110
，目的是为了确保解耦阶段内容域编码器输出的语义内容信息
Figure 77511DEST_PATH_IMAGE032
与重建阶段 相应内容域编码器输出的语义内容信息
Figure 930061DEST_PATH_IMAGE059
保持一致，第一部分的语义内容监督函 数
Figure 60828DEST_PATH_IMAGE110
为：
Figure 465264DEST_PATH_IMAGE111
目标函数的第二部分为特征表征监督函数
Figure 314272DEST_PATH_IMAGE112
，目的是为了确保解耦阶段特征 域编码器输出的特征表征
Figure 563987DEST_PATH_IMAGE046
与重建阶段相应特征域编码器输出的特征表征
Figure 205053DEST_PATH_IMAGE060
保持一致，第二部分的特征表征监督函数
Figure 514812DEST_PATH_IMAGE112
为：
Figure 851115DEST_PATH_IMAGE113
C5，构建循环一致性的目标函数
Figure 170101DEST_PATH_IMAGE114
。目标函数
Figure 150826DEST_PATH_IMAGE114
作用在清晰域和模糊域，目 的是为了确保输入的人脸图片对
Figure 897066DEST_PATH_IMAGE056
在经历解耦阶段和重建阶段两个阶段后能够重新 恢复，一方面能够实现更好的解耦表征，另一方面在一定程度上防止域偏移并且减少训练 过程中解耦不一致情况产生的概率，目标函数为
Figure 455086DEST_PATH_IMAGE114
：
Figure 577763DEST_PATH_IMAGE115
C6，确定去模糊生成网络总的目标函数
Figure 662262DEST_PATH_IMAGE079
为：
Figure 579403DEST_PATH_IMAGE080
其中, 其中，
Figure 890298DEST_PATH_IMAGE081
表示散度目标函数，
Figure 551087DEST_PATH_IMAGE082
表示重建目标函数，
Figure 240825DEST_PATH_IMAGE083
表示重建目 标函数的权重，
Figure 328867DEST_PATH_IMAGE084
表示生成对抗的目标函数，
Figure 861479DEST_PATH_IMAGE085
表示语义内容监督函数，
Figure 325959DEST_PATH_IMAGE086
表示 语义内容监督函数的权重，
Figure 994837DEST_PATH_IMAGE087
表示特征表征监督函数，
Figure 643993DEST_PATH_IMAGE088
表示特征表征监督函数的 权重，
Figure 663902DEST_PATH_IMAGE089
表示循环一致性的目标函数，
Figure 666493DEST_PATH_IMAGE090
表示循环一致性的目标函数的权重，其中， 权重的取值分别为：
Figure 455458DEST_PATH_IMAGE158
Figure 26247DEST_PATH_IMAGE159
。
S103，利用得到的训练集和总的目标函数，训练所述去模糊生成网络；
本实施例中，利用得到的训练集和总的目标函数，训练所述去模糊生成网络，得到 权重文件。在测试过程中，按照步骤A1- A3，获取模糊图像测试集，仅使用模糊图像测试集
Figure 267873DEST_PATH_IMAGE160
作为输入，通过模糊内容编码器
Figure 74155DEST_PATH_IMAGE009
从模糊图像
Figure 983205DEST_PATH_IMAGE036
中提取语义内容信息
Figure 318371DEST_PATH_IMAGE038
，使用训练过 程中得到的清晰特征
Figure 437506DEST_PATH_IMAGE039
代替清晰特征编码器
Figure 781900DEST_PATH_IMAGE010
。语义内容信息
Figure 545456DEST_PATH_IMAGE038
和清晰特征
Figure 317103DEST_PATH_IMAGE039
作为清 晰特征生成器
Figure 674266DEST_PATH_IMAGE041
的输入，最终得到去模糊图像
Figure 822351DEST_PATH_IMAGE064
。
S104，将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。
本发明实施例所述的基于无监督解耦表征的人脸图像去模糊方法，至少具有以下有益效果：
1）本实施例所提出的基于生成对抗网络的去模糊生成网络，能够解耦语义内容信息和域内特性，利用所述去模糊生成网络和其相应的目标函数能够解决其他无监督方法在训练过程中出现的域转移和解耦不一致的问题，例如，人脸图像全局明亮变化、存在局部模糊现象等；
2）清晰特征编码器的存在补偿了因模糊导致人脸图像全局清晰特征的损失，进一步丰富了人脸的细节和纹理信息；
3）本实施例基于无监督解耦表征的方法，使用非成对人脸图像训练去模糊生成网络，使得去模糊生成网络在非成对图像集的条件下能够处理图像去模糊任务，解决了训练集对网络的局限性；
4）通过本实施例提供的基于无监督解耦表征的人脸图像去模糊方法不仅能够生成高质量的去模糊人脸图像，还能同时处理多种模糊类型，例如高斯模糊和运动模糊，特别适用于低质量图像中模糊的消除；
5）测试过程中仅需要模糊图像作为输入，简化了测试流程。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无监督解耦表征的人脸图像去模糊方法，其特征在于，包括：
获取由清晰图像及模糊图像构成的训练集；其中，所述图像为人脸图像；
构建基于生成对抗网络的去模糊生成网络，确定其总的目标函数；其中，通过所述去模糊生成网络解耦语义内容信息和域内特性，所述去模糊生成网络包括：内容域编码器、特征域编码器、特征域生成器、特征域鉴别器；
利用得到的训练集和总的目标函数，训练所述去模糊生成网络；
将待处理的模糊图像作为输入，利用训练好的所述去模糊生成网络生成清晰的人脸图像。
2.根据权利要求1所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所述获取由清晰图像及模糊图像构成的训练集包括：
获取清晰图像并对其进行裁剪及模糊化处理，得到模糊图像；
对裁剪得到的清晰图像和模糊图像进行图像增强处理；
利用增强后的清晰图像和模糊图像构成训练集
Figure DEST_PATH_IMAGE001
，其中，
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
和
Figure DEST_PATH_IMAGE004
分别表示清晰图像和模糊图像，
Figure DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE006
分别表示清晰图像集和模糊图像集。
3.根据权利要求1所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所述构建基于生成对抗网络的去模糊生成网络包括：
构建Half-IN残差卷积模块和IN残差卷积模块；
构建基于Half-IN残差卷积模块的内容域编码器
Figure DEST_PATH_IMAGE007
，其中，所述内容域编码器 包括：清晰内容编码器
Figure DEST_PATH_IMAGE008
和模糊内容编码器
Figure DEST_PATH_IMAGE009
；
构建基于卷积神经网络的清晰特征编码器
Figure DEST_PATH_IMAGE010
，并构建基于IN残差卷积模块的模糊特 征编码器
Figure DEST_PATH_IMAGE011
；其中，清晰特征编码器
Figure 58181DEST_PATH_IMAGE010
和模糊特征编码器
Figure 797467DEST_PATH_IMAGE011
组成特征域编码器
Figure DEST_PATH_IMAGE012
；
构建基于IN残差卷积模块的特征域生成器
Figure DEST_PATH_IMAGE013
；其中，所述特征域生成器包括：2 个清晰特征生成器
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
和2个模糊特征生成器
Figure DEST_PATH_IMAGE016
；
构建基于IN残差卷积模块的特征域鉴别器
Figure DEST_PATH_IMAGE017
，其中，所述特征域鉴别器包括： 清晰特征鉴别器
Figure DEST_PATH_IMAGE018
和模糊特征鉴别器
Figure DEST_PATH_IMAGE019
；
根据构建的所述内容域编码器
Figure DEST_PATH_IMAGE020
、特征域编码器
Figure DEST_PATH_IMAGE021
、特征域生成器
Figure DEST_PATH_IMAGE022
和特征域鉴别器
Figure 546986DEST_PATH_IMAGE017
，构建去模糊生成网络，所述去模糊生成网络包括：解 耦阶段网络和重建阶段网络，其中，所述解耦阶段网络包括：内容域编码器
Figure 702024DEST_PATH_IMAGE020
和特 征域编码器
Figure 846698DEST_PATH_IMAGE021
构成的去模糊的卷积编码网络以及特征域生成器
Figure 428989DEST_PATH_IMAGE022
构成的 去模糊的卷积解码网络。
4.根据权利要求3所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所述Half-IN残差卷积模块由第一卷积分支和第一残差分支并联组成；
所述第一卷积分支由
Figure DEST_PATH_IMAGE023
的卷积层-IN层和ID层
Figure DEST_PATH_IMAGE024
的卷积层-LeakyReLU函数 组成，其中，-表示连接；
所述第一残差分支为
Figure DEST_PATH_IMAGE025
的卷积层。
5.根据权利要求3所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所述IN残差卷积模块由第二卷积分支和第二残差分支并联组成；
所述第二卷积分支由
Figure 541170DEST_PATH_IMAGE023
的卷积层-IN层-LeakyReLU函数组成，其中，-表示连接；
所述第二残差分支为
Figure 562216DEST_PATH_IMAGE025
的卷积层。
6.根据权利要求1所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所述去模糊生成网络的工作流程包括解耦阶段和重建阶段：
在解耦阶段，对于输入的非成对人脸图像
Figure DEST_PATH_IMAGE026
，使用内容域编码器
Figure 295817DEST_PATH_IMAGE020
、特征 域编码器
Figure 314588DEST_PATH_IMAGE021
和特征域生成器
Figure 523853DEST_PATH_IMAGE022
，输出人脸结构一致，但更加真实的清晰图 像
Figure DEST_PATH_IMAGE027
和模糊图像
Figure DEST_PATH_IMAGE028
：
在重建阶段，对于解耦阶段输出的人脸图像
Figure DEST_PATH_IMAGE029
，使用内容域编码器
Figure 676485DEST_PATH_IMAGE020
、 特征域编码器
Figure 654806DEST_PATH_IMAGE021
和特征域生成器
Figure 844478DEST_PATH_IMAGE022
，输出与输入图像
Figure 416405DEST_PATH_IMAGE026
相同的重建图 像
Figure DEST_PATH_IMAGE030
。
7.根据权利要求6所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所 述在解耦阶段，对于输入的非成对人脸图像
Figure 513674DEST_PATH_IMAGE026
，使用内容域编码器
Figure DEST_PATH_IMAGE031
、特征域 编码器
Figure 284184DEST_PATH_IMAGE021
和特征域生成器
Figure 831709DEST_PATH_IMAGE022
，输出人脸结构一致，但更加真实的清晰图像
Figure 953249DEST_PATH_IMAGE027
和模糊图像
Figure 854209DEST_PATH_IMAGE028
包括：
对于输入的非成对人脸图像
Figure 744804DEST_PATH_IMAGE026
，使用内容域编码器
Figure 213963DEST_PATH_IMAGE031
、特征域编码器
Figure 557220DEST_PATH_IMAGE021
进行处理，得到语义内容信息
Figure DEST_PATH_IMAGE032
和特征表征
Figure DEST_PATH_IMAGE033
为：
Figure DEST_PATH_IMAGE034
其中，
Figure DEST_PATH_IMAGE035
和
Figure DEST_PATH_IMAGE036
分别表示清晰图像和模糊图像；
Figure DEST_PATH_IMAGE037
和
Figure DEST_PATH_IMAGE038
分别表示清晰图像
Figure 120925DEST_PATH_IMAGE035
的语义内容 信息和模糊图像
Figure 866027DEST_PATH_IMAGE036
的语义内容信息；
Figure DEST_PATH_IMAGE039
和
Figure DEST_PATH_IMAGE040
分别表示清晰图像
Figure 286513DEST_PATH_IMAGE035
的清晰特征表征和模糊 图像
Figure 117066DEST_PATH_IMAGE036
的模糊特征表征；
利用清晰特征生成器
Figure DEST_PATH_IMAGE041
、
Figure DEST_PATH_IMAGE042
和模糊特征生成器
Figure DEST_PATH_IMAGE043
、
Figure DEST_PATH_IMAGE044
对得到的语义内容信息
Figure DEST_PATH_IMAGE045
和特征表征
Figure DEST_PATH_IMAGE046
进行处理，得到：
Figure DEST_PATH_IMAGE047
其中，
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
分别表示第一次重建清晰图像和第一次重建模糊图像；
Figure DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE051
分别表 示去模糊图像和生成模糊图像，即更加真实的清晰图像
Figure 890987DEST_PATH_IMAGE050
和模糊图像
Figure 21754DEST_PATH_IMAGE051
。
8.根据权利要求7所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所 述在重建阶段，对于解耦阶段输出的人脸图像
Figure DEST_PATH_IMAGE052
，使用内容域编码器
Figure DEST_PATH_IMAGE053
、 特征域编码器
Figure DEST_PATH_IMAGE054
和特征域生成器
Figure DEST_PATH_IMAGE055
，输出与输入图像
Figure DEST_PATH_IMAGE056
相同的重建 图像
Figure DEST_PATH_IMAGE057
包括：
在重建阶段，使用内容域编码器
Figure DEST_PATH_IMAGE058
、特征域编码器
Figure 285245DEST_PATH_IMAGE054
对解耦阶段输 出的人脸图像
Figure DEST_PATH_IMAGE059
进行处理，得到语义内容信息
Figure DEST_PATH_IMAGE060
和特征表征
Figure DEST_PATH_IMAGE061
为：
Figure DEST_PATH_IMAGE062
其中，
Figure DEST_PATH_IMAGE063
和
Figure DEST_PATH_IMAGE064
分别表示去模糊图像
Figure DEST_PATH_IMAGE065
的语义内容信息和生成模糊图像
Figure DEST_PATH_IMAGE066
的语义内容 信息；
Figure DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
分别表示去模糊图像
Figure DEST_PATH_IMAGE069
的清晰特征表征和生成模糊图像
Figure DEST_PATH_IMAGE070
的模糊特征表 征；
利用清晰特征生成器
Figure DEST_PATH_IMAGE071
和模糊特征生成器
Figure DEST_PATH_IMAGE072
对得到的语义内容信息
Figure DEST_PATH_IMAGE073
和特征表征
Figure DEST_PATH_IMAGE074
进行处理，输出与输入图像
Figure DEST_PATH_IMAGE075
相同的重建图像
Figure DEST_PATH_IMAGE076
：
Figure DEST_PATH_IMAGE077
其中，
Figure DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE079
分别代表第二次重建清晰图像和第二次重建模糊图像。
9.根据权利要求1所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于，所 述总的目标函数
Figure DEST_PATH_IMAGE080
表示为：
Figure DEST_PATH_IMAGE081
其中，
Figure DEST_PATH_IMAGE082
表示散度目标函数，
Figure DEST_PATH_IMAGE083
表示重建目标函数，
Figure DEST_PATH_IMAGE084
表示重建目标函数的权 重，
Figure DEST_PATH_IMAGE085
表示生成对抗的目标函数，
Figure DEST_PATH_IMAGE086
表示语义内容监督函数，
Figure DEST_PATH_IMAGE087
表示语义内容监 督函数的权重，
Figure DEST_PATH_IMAGE088
表示特征表征监督函数，
Figure DEST_PATH_IMAGE089
表示特征表征监督函数的权重，
Figure DEST_PATH_IMAGE090
表示循环一致性的目标函数，
Figure DEST_PATH_IMAGE091
表示循环一致性的目标函数的权重。
10.根据权利要求9所述的基于无监督解耦表征的人脸图像去模糊方法，其特征在于， 所述重建目标函数
Figure 367208DEST_PATH_IMAGE083
表示为：
Figure DEST_PATH_IMAGE092
其中，
Figure DEST_PATH_IMAGE093
表示期望值，
Figure DEST_PATH_IMAGE094
和
Figure DEST_PATH_IMAGE095
分别表示清晰图像的分布和模糊图像的分布，
Figure DEST_PATH_IMAGE096
表示
Figure DEST_PATH_IMAGE097
服从清晰图像的分布，
Figure DEST_PATH_IMAGE098
表示
Figure DEST_PATH_IMAGE099
服从模糊图像的分布；
所述生成对抗的目标函数
Figure DEST_PATH_IMAGE100
表示为：
Figure DEST_PATH_IMAGE101
其中，
Figure DEST_PATH_IMAGE102
表示清晰特征生成对抗函数，
Figure DEST_PATH_IMAGE103
表示模糊特征生成对抗函数；
Figure DEST_PATH_IMAGE104
表示清晰特征鉴别器判定输入
Figure 940227DEST_PATH_IMAGE097
为真实清晰图像的概率，
Figure DEST_PATH_IMAGE105
表示清晰鉴别器特征判 定输入
Figure DEST_PATH_IMAGE106
为真实清晰图像的概率，
Figure DEST_PATH_IMAGE107
表示模糊特征鉴别器判定输入
Figure DEST_PATH_IMAGE108
为真实模糊图 像的概率，
Figure DEST_PATH_IMAGE109
表示模糊特征鉴别器判定输入
Figure DEST_PATH_IMAGE110
为真实模糊图像的概率；
所述语义内容监督函数
Figure DEST_PATH_IMAGE111
表示为：
Figure DEST_PATH_IMAGE112
所述特征表征监督函数
Figure DEST_PATH_IMAGE113
表示为：
Figure DEST_PATH_IMAGE114
所述循环一致性的目标函数
Figure DEST_PATH_IMAGE115
表示：
Figure DEST_PATH_IMAGE116
。
CN202210714947.3A 2022-06-23 2022-06-23 一种基于无监督解耦表征的人脸图像去模糊方法 Active CN114820389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210714947.3A CN114820389B (zh) 2022-06-23 2022-06-23 一种基于无监督解耦表征的人脸图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210714947.3A CN114820389B (zh) 2022-06-23 2022-06-23 一种基于无监督解耦表征的人脸图像去模糊方法

Publications (2)

Publication Number Publication Date
CN114820389A true CN114820389A (zh) 2022-07-29
CN114820389B CN114820389B (zh) 2022-09-23

Family

ID=82520500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210714947.3A Active CN114820389B (zh) 2022-06-23 2022-06-23 一种基于无监督解耦表征的人脸图像去模糊方法

Country Status (1)

Country Link
CN (1) CN114820389B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645287A (zh) * 2023-05-22 2023-08-25 北京科技大学 一种基于扩散模型的图像去模糊方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214381A1 (zh) * 2018-05-09 2019-11-14 腾讯科技（深圳）有限公司 一种视频去模糊方法、装置、存储介质和电子装置
CN112446436A (zh) * 2020-12-11 2021-03-05 浙江大学 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN112508817A (zh) * 2020-12-16 2021-03-16 西北工业大学 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112669240A (zh) * 2021-01-22 2021-04-16 深圳市格灵人工智能与机器人研究院有限公司 高清图像修复方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019214381A1 (zh) * 2018-05-09 2019-11-14 腾讯科技（深圳）有限公司 一种视频去模糊方法、装置、存储介质和电子装置
CN112446436A (zh) * 2020-12-11 2021-03-05 浙江大学 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN112508817A (zh) * 2020-12-16 2021-03-16 西北工业大学 一种基于循环生成对抗网络的图像运动盲去模糊方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112669240A (zh) * 2021-01-22 2021-04-16 深圳市格灵人工智能与机器人研究院有限公司 高清图像修复方法、装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOYU LU ETC.: "Unsupervised Domain-Specific Deblurring via Disentangled Representations", 《CVPR2019》 *
JUNG UN YUN ETC.: "Joint Face Super-Resolution and Deblurring Using Generative Adversarial Network", 《IEEE》 *
李烨等: "面向图像复原的残差密集生成对抗网络新方法", 《小型微型计算机***》 *
缪弘等: "基于深度卷积神经网络的视觉SLAM去模糊***", 《中兴通讯技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645287A (zh) * 2023-05-22 2023-08-25 北京科技大学 一种基于扩散模型的图像去模糊方法
CN116645287B (zh) * 2023-05-22 2024-03-29 北京科技大学 一种基于扩散模型的图像去模糊方法

Also Published As

Publication number Publication date
CN114820389B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及***
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN112884671B (zh) 一种基于无监督生成对抗网络的模糊图像复原方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、***、设备及介质
CN110782399A (zh) 一种基于多任务cnn的图像去模糊方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及***
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
Huang et al. A customized convolutional neural network with low model complexity for JPEG steganalysis
Tomosada et al. GAN-based image deblurring using DCT loss with customized datasets
CN114820389B (zh) 一种基于无监督解耦表征的人脸图像去模糊方法
Esmaeilzehi et al. UPDResNN: A deep light-weight image upsampling and deblurring residual neural network
Lim et al. Deep spectral-spatial network for single image deblurring
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN113902647B (zh) 一种基于双闭环网络的图像去模糊方法
Xiao et al. A dive into sam prior in image restoration
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及***
CN116862795A (zh) 一种基于逐像素退化预测网络的多级去运动模糊方法
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant