CN109598695B - 一种基于深度学习网络的无参考图像模糊程度估计方法 - Google Patents

一种基于深度学习网络的无参考图像模糊程度估计方法 Download PDF

Info

Publication number
CN109598695B
CN109598695B CN201710909377.2A CN201710909377A CN109598695B CN 109598695 B CN109598695 B CN 109598695B CN 201710909377 A CN201710909377 A CN 201710909377A CN 109598695 B CN109598695 B CN 109598695B
Authority
CN
China
Prior art keywords
network
fuzzy
clear
training
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710909377.2A
Other languages
English (en)
Other versions
CN109598695A (zh
Inventor
岳涛
索津莉
袁飞
黄华
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201710909377.2A priority Critical patent/CN109598695B/zh
Publication of CN109598695A publication Critical patent/CN109598695A/zh
Application granted granted Critical
Publication of CN109598695B publication Critical patent/CN109598695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习网络的无参考图像模糊程度估计方法。具体步骤如下：(1)对图像进行预处理，生成训练数据；(2)用清晰和模糊图像块训练双通道清晰/模糊感知网络，提取清晰和模糊特征并重建输入；(3)将清晰/模糊感知网络提取的特征作为联合感知网络的输入，用模糊图像块训练联合感知网络，获取模糊的本质特征；(4)训练非线性特征映射和回归网络，将步骤(3)的本质特征映射到模糊程度上；(5)对整个网络进行微调，优化所有参数。本方法在无参考轻微模糊的模糊程度估计准确度取得比较好的效果，可以有效应用于模糊检测、深度估计和景深编辑、去雾等方面。

Description

一种基于深度学习网络的无参考图像模糊程度估计方法
技术领域
本发明涉及计算摄像学和深度学习领域，尤其涉及一种基于深度学习网络的无参考图像模糊程度估计方法。
背景技术
数码相机和网络的实用性促进了摄影的快速发展。大量的图片来自非专业人手，由于摄像机参数的不正确设置产生畸变，特别是模糊。模糊是自然图像中一种普遍的退化，尽管影响了图像的视觉质量和连续的处理，但为解决许多视觉问题和应用(如模糊去除，重调焦距，深度估计，分割)提供了丰富的线索。所以模糊程度的精确估算很重要。然而从单个自然图片中估算非统一的模糊程度是很棘手的。现有的许多模糊程度估算方法都是基于手工的描述特征，它们大都不合理，或者在特定的场景很难区分。因此无参考图像模糊程度估计需要更好的特征提取。
深度学习通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
因此，如何构建并训练出有效的深度学习网络来估算图像模糊程度是当前一个研究方向。
发明内容
针对以上现有模糊程度估算方法的缺陷，本发明的目的在于提出一种基于深度学习网络的无参考图像模糊程度估计方法。
为达上述目的，本发明采用的技术方案如下：
一种基于深度学习网络的无参考图像模糊程度估计方法，包括如下步骤：
步骤1，生成训练数据：对图像进行下采样，截取图像中有结构或有纹理的清晰图像块，用高斯模糊核卷积清晰图像块生成模糊图像块；
步骤2，用清晰图像块和模糊图像块分别训练清晰感知网络和模糊感知网络这两个稀疏自编码器；分别提取清晰和模糊的有效特征，并对输入进行解码重建；
步骤3，将清晰感知网络和模糊感知网络提取的特征作为联合感知网络的输入，用模糊图像块训练联合感知网络，获取模糊的本质特征；
步骤4，训练非线性特征映射和回归网络，将步骤3的本质特征映射到模糊程度上；
步骤5，对整个网络进行微调，优化所有参数。
本发明使用包含三层子网络的深度神经网络：双通道清晰/模糊感知网络、清晰模糊联合感知网络、非线性特征映射和回归网络。采用分层训练的学习策略，利用大量的训练数据，深度网络的内部参数可从前往后逐步获得，作为训练数据的先验信息，能大幅度加快网络参数收敛速度。相比于现有技术，本方法在无参考轻微模糊的模糊程度估计准确度取得比较好的效果，可以有效应用于模糊检测、深度估计和景深编辑、去雾等方面。
附图说明
图1为本发明方法中深度学习网络结构；
图2为本发明方法的流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1和图2，本实施例的一种基于深度学习网络的无参考图像模糊程度估计方法，具体步骤如下：
步骤1，生成训练数据：将彩色图像转为灰度图像；对图像进行下采样，保留最显著的特征；截取图像中有结构或纹理的图像块，大小为13*13，用高斯模糊核卷积这些清晰的图像块生成模糊的图像块。
步骤2，用清晰图像块和模糊度固定的图像块分别训练清晰感知网络和模糊感知子网络两个稀疏自编码器；分别提取清晰和模糊的有效特征，并对输入进行解码重建。
建立两个全连接的三层网络,包含输入层、隐藏层和输出层。本实施例中，输入层节点数为169，隐藏层节点数为100，输出层节点数为169。对输入图像块x，隐藏层提取的特征和输出层重建分别是
h＝f(W1*x+b1)
x'＝f(W2*h+b2)
这里f(x)＝1/(1+exp(-x))是非线性函数，W1，W2代表权重，b1，b2代表偏移。
使用反向传播方法，减小重构误差来调整W1，W2和b1，b2的值。为提取最有效的特征，限制隐藏单元的激活，使其稀疏。增加一个正则项来惩罚隐藏单元激活程度对一个低值的偏离。因此，网络的训练等效为下面的优化问题：
Figure BDA0001424498850000031
SP(ρ||ρj)＝ρlog(ρ/ρj)+(1-ρ)log((1-ρ)/(1-ρj))
这里xi和xi'分别表示输入的图像块和输出的重建结果，p表示输入图像块的个数,SP(ρ||ρj)表示稀疏惩罚项，ρ示隐藏单元的平均激活度，ρj表示稀疏水平，β控制稀疏惩罚项的权重。
给定清晰图像块xS和模糊图像块xB作为输入，提取的清晰特征和模糊特征分别为
Figure BDA0001424498850000032
Figure BDA0001424498850000033
解码重建分别为
Figure BDA0001424498850000034
Figure BDA0001424498850000035
参数
Figure BDA0001424498850000036
代表清晰感知网络(SPN)，参数
Figure BDA0001424498850000037
代表模糊感知网络(BPN)，两个子网络被两组不同数据训练出来了。
步骤3，将清晰/模糊感知网络提取的特征作为联合感知网络的输入，用模糊度不定的图像块训练联合感知网络，获取模糊的本质特征。
将预训练的清晰感知网络(SPN)和模糊感知网络(BPN)联合在一起，提取模糊中的内在特征，这是一个对清晰和模糊的不同特征的非线性映射。将联合感知网络(SBBN)的第一层的输出定为
Figure BDA0001424498850000038
因此联合感知网络(SBBN)的操作是
Figure BDA0001424498850000039
这里h3是联合感知网络的输出层的输出向量，W3表示权重，b3表示偏置。联合感知网络输出层包含169个节点。
为了训练联合感知网络，固定参数
Figure BDA00014244988500000310
通过减小h3和yR间的损失,优化剩余的参数(W3,b3)。损失函数是：
Figure BDA00014244988500000311
这里n是训练图像块的数量，yR是模糊输入和原始清晰图像小块间残渣，代表它们之间的丢失信息。损失函数通过反向传播算法达到最小。
步骤4，训练非线性特征映射和回归网络，将步骤3中的本质特征映射到模糊程度上。
多层神经网络实现非线性特征映射和回归，在非线性特征映射中，每个特征映射层的操作是：
hi＝f(Wi*hi-1+bi)
这里i＝4,5，hi是特征映射层的输出向量。两个特征映射层的节点数分别为100，50。最后的回归层是：
DB＝max(0,W6h5+b5)
这里采用Relu作为激活函数。
训练整个网络，估计所有的网络参数{Wi,bi},i＝1,2，…，6，将参数{W1,W2,W3,b1,b2,b3,}初始化为相应的预训练的参数，其余的参数随即初始化。
步骤5，对整个网络进行微调，优化所有参数。使用反向传播算法来计算所有网络层的梯度，因为该算法适用于任意层数的网络。

Claims (4)

1.一种基于深度学习网络的无参考图像模糊程度估计方法，其特征在于，包括如下步骤：
步骤1，生成训练数据：对图像进行下采样，截取图像中有结构或有纹理的清晰图像块，用高斯模糊核卷积清晰图像块生成模糊图像块；
步骤2，用清晰图像块和模糊图像块分别训练清晰感知网络和模糊感知网络这两个稀疏自编码器；分别提取清晰和模糊的有效特征，并对输入进行解码重建；
步骤3，将清晰感知网络和模糊感知网络提取的特征作为联合感知网络的输入，用模糊图像块训练联合感知网络，获取模糊的本质特征；
步骤4，训练非线性特征映射和回归网络，将步骤3的本质特征映射到模糊程度上；
步骤5，对整个网络进行微调，优化所有参数。
2.根据权利要求1所述的一种基于深度学习网络的无参考图像模糊程度估计方法，其特征在于，所述步骤2中，提取清晰和模糊的有效特征并对输入进行解码重建的具体过程为：
建立两个全连接的三层网络,包含输入层、隐藏层和输出层；对输入图像块x，隐藏层提取的特征和输出层重建分别是
h＝f(W1*x+b1)
x'＝f(W2*h+b2)
这里f(x)＝1/(1+exp(-x))是非线性函数，W1，W2代表权重，b1，b2代表偏移；
使用反向传播方法，减小重构误差来调整权重W1、W2和偏移b1、b2的值；网络的训练等效为下面的优化问题：
Figure FDA0003921937630000011
SP(ρ||ρj)＝ρlog(ρ/ρj)+(1-ρ)log((1-ρ)/(1-ρj))
这里xi和xi'分别表示输入的图像块和输出的重建结果，p表示输入图像块的个数,SP(ρ||ρj)表示稀疏惩罚项，ρ示隐藏单元的平均激活度，ρj表示稀疏水平，β控制稀疏惩罚项的权重；
给定清晰图像块xS和模糊图像块xB作为输入，提取的清晰特征和模糊特征分别为：
Figure FDA0003921937630000012
Figure FDA0003921937630000013
解码重建分别为：
Figure FDA0003921937630000021
Figure FDA0003921937630000022
参数W1 S,
Figure FDA0003921937630000023
代表清晰感知网络，参数W1 B,
Figure FDA0003921937630000024
代表模糊感知网络，两个子网络被两组不同数据训练出来了。
3.根据权利要求2所述的一种基于深度学习网络的无参考图像模糊程度估计方法，其特征在于，所述步骤3的具体过程为：
将预训练的清晰感知网络和模糊感知网络联合在一起，提取模糊中的内在特征，这是一个对清晰和模糊的不同特征的非线性映射，将联合感知网络的第一层的输出定为
Figure FDA0003921937630000025
因此联合感知网络的操作是
Figure FDA0003921937630000026
这里h3是联合感知网络的输出层，W3表示权重，b3表示偏置；
为了训练联合感知网络，固定参数W1 S,
Figure FDA0003921937630000027
W1 B和
Figure FDA0003921937630000028
通过减小h3和yR间的损失,优化剩余参数W3和b3；其中，损失函数是：
Figure FDA0003921937630000029
这里n是训练图像块的数量，实输出yR是模糊输入和原始清晰图像块间残渣，代表它们之间的丢失信息；损失函数通过反向传播算法达到最小。
4.根据权利要求3所述的一种基于深度学习网络的无参考图像模糊程度估计方法，其特征在于，所述步骤4的具体过程为：
多层神经网络实现非线性特征映射和回归，在非线性特征映射中，每个特征映射层的操作是：
hi＝f(Wi*hi-1+bi)
这里i＝4,5，hi是每个特征映射层的输出向量,Wi、bi分别是特征映射层的权重和偏置；
最后的回归层是：
DB＝max(0,W6h5+b5)
这里采用Relu作为激活函数；
训练整个网络，估计所有的网络参数{Wi,bi},i＝1,2，...，6，将参数{W1,W2,W3,b1,b2,b3,}初始化为相应的预训练的参数，其余的参数随即初始化。
CN201710909377.2A 2017-09-29 2017-09-29 一种基于深度学习网络的无参考图像模糊程度估计方法 Active CN109598695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710909377.2A CN109598695B (zh) 2017-09-29 2017-09-29 一种基于深度学习网络的无参考图像模糊程度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710909377.2A CN109598695B (zh) 2017-09-29 2017-09-29 一种基于深度学习网络的无参考图像模糊程度估计方法

Publications (2)

Publication Number Publication Date
CN109598695A CN109598695A (zh) 2019-04-09
CN109598695B true CN109598695B (zh) 2023-04-07

Family

ID=65955301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909377.2A Active CN109598695B (zh) 2017-09-29 2017-09-29 一种基于深度学习网络的无参考图像模糊程度估计方法

Country Status (1)

Country Link
CN (1) CN109598695B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033848B (zh) * 2019-04-16 2021-06-29 厦门大学 一种基于无监督学习的三维医学影像z轴插值方法
CN110517203B (zh) * 2019-08-30 2023-06-23 山东工商学院 一种基于参考图像重建的去雾方法
CN111526357B (zh) * 2020-04-14 2021-06-29 艾瑞思检测技术(苏州)有限公司 一种基于pca学习的显卡接口机器测试方法
CN113436137A (zh) * 2021-03-12 2021-09-24 北京世纪好未来教育科技有限公司 一种图像清晰度识别方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218648B2 (en) * 2009-10-27 2015-12-22 Honeywell International Inc. Fourier domain blur estimation method and system
CN104680491B (zh) * 2015-02-28 2016-03-30 西安交通大学 一种基于深度神经网络的图像非均匀运动模糊去除方法
CN106971378A (zh) * 2016-08-23 2017-07-21 上海海洋大学 一种基于深度去噪自编码器的单幅图像去雨方法

Also Published As

Publication number Publication date
CN109598695A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN109598695B (zh) 一种基于深度学习网络的无参考图像模糊程度估计方法
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN106204468B (zh) 一种基于ReLU卷积神经网络的图像去噪方法
CN110969589B (zh) 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN109859288B (zh) 基于生成对抗网络的图像上色方法及装置
CN109118445B (zh) 一种基于多分支生成对抗网络的水下图像增强方法
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及***
CN116664454B (zh) 一种基于多尺度颜色迁移参数预测的水下图像增强方法
CN116863320B (zh) 基于物理模型的水下图像增强方法及***
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN109685772A (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN112200752B (zh) 一种基于er网络多帧图像去模糊***及其方法
CN112634168A (zh) 一种结合边缘信息的图像修复方法
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN115409721A (zh) 暗光视频增强方法及装置
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant