CN109598695B - 一种基于深度学习网络的无参考图像模糊程度估计方法 - Google Patents
一种基于深度学习网络的无参考图像模糊程度估计方法 Download PDFInfo
- Publication number
- CN109598695B CN109598695B CN201710909377.2A CN201710909377A CN109598695B CN 109598695 B CN109598695 B CN 109598695B CN 201710909377 A CN201710909377 A CN 201710909377A CN 109598695 B CN109598695 B CN 109598695B
- Authority
- CN
- China
- Prior art keywords
- network
- fuzzy
- clear
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习网络的无参考图像模糊程度估计方法。具体步骤如下:(1)对图像进行预处理,生成训练数据;(2)用清晰和模糊图像块训练双通道清晰/模糊感知网络,提取清晰和模糊特征并重建输入;(3)将清晰/模糊感知网络提取的特征作为联合感知网络的输入,用模糊图像块训练联合感知网络,获取模糊的本质特征;(4)训练非线性特征映射和回归网络,将步骤(3)的本质特征映射到模糊程度上;(5)对整个网络进行微调,优化所有参数。本方法在无参考轻微模糊的模糊程度估计准确度取得比较好的效果,可以有效应用于模糊检测、深度估计和景深编辑、去雾等方面。
Description
技术领域
本发明涉及计算摄像学和深度学习领域,尤其涉及一种基于深度学习网络的无参考图像模糊程度估计方法。
背景技术
数码相机和网络的实用性促进了摄影的快速发展。大量的图片来自非专业人手,由于摄像机参数的不正确设置产生畸变,特别是模糊。模糊是自然图像中一种普遍的退化,尽管影响了图像的视觉质量和连续的处理,但为解决许多视觉问题和应用(如模糊去除,重调焦距,深度估计,分割)提供了丰富的线索。所以模糊程度的精确估算很重要。然而从单个自然图片中估算非统一的模糊程度是很棘手的。现有的许多模糊程度估算方法都是基于手工的描述特征,它们大都不合理,或者在特定的场景很难区分。因此无参考图像模糊程度估计需要更好的特征提取。
深度学习通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而最终提升分类或预测的准确性。通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。
因此,如何构建并训练出有效的深度学习网络来估算图像模糊程度是当前一个研究方向。
发明内容
针对以上现有模糊程度估算方法的缺陷,本发明的目的在于提出一种基于深度学习网络的无参考图像模糊程度估计方法。
为达上述目的,本发明采用的技术方案如下:
一种基于深度学习网络的无参考图像模糊程度估计方法,包括如下步骤:
步骤1,生成训练数据:对图像进行下采样,截取图像中有结构或有纹理的清晰图像块,用高斯模糊核卷积清晰图像块生成模糊图像块;
步骤2,用清晰图像块和模糊图像块分别训练清晰感知网络和模糊感知网络这两个稀疏自编码器;分别提取清晰和模糊的有效特征,并对输入进行解码重建;
步骤3,将清晰感知网络和模糊感知网络提取的特征作为联合感知网络的输入,用模糊图像块训练联合感知网络,获取模糊的本质特征;
步骤4,训练非线性特征映射和回归网络,将步骤3的本质特征映射到模糊程度上;
步骤5,对整个网络进行微调,优化所有参数。
本发明使用包含三层子网络的深度神经网络:双通道清晰/模糊感知网络、清晰模糊联合感知网络、非线性特征映射和回归网络。采用分层训练的学习策略,利用大量的训练数据,深度网络的内部参数可从前往后逐步获得,作为训练数据的先验信息,能大幅度加快网络参数收敛速度。相比于现有技术,本方法在无参考轻微模糊的模糊程度估计准确度取得比较好的效果,可以有效应用于模糊检测、深度估计和景深编辑、去雾等方面。
附图说明
图1为本发明方法中深度学习网络结构;
图2为本发明方法的流程图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
参照图1和图2,本实施例的一种基于深度学习网络的无参考图像模糊程度估计方法,具体步骤如下:
步骤1,生成训练数据:将彩色图像转为灰度图像;对图像进行下采样,保留最显著的特征;截取图像中有结构或纹理的图像块,大小为13*13,用高斯模糊核卷积这些清晰的图像块生成模糊的图像块。
步骤2,用清晰图像块和模糊度固定的图像块分别训练清晰感知网络和模糊感知子网络两个稀疏自编码器;分别提取清晰和模糊的有效特征,并对输入进行解码重建。
建立两个全连接的三层网络,包含输入层、隐藏层和输出层。本实施例中,输入层节点数为169,隐藏层节点数为100,输出层节点数为169。对输入图像块x,隐藏层提取的特征和输出层重建分别是
h=f(W1*x+b1)
x'=f(W2*h+b2)
这里f(x)=1/(1+exp(-x))是非线性函数,W1,W2代表权重,b1,b2代表偏移。
使用反向传播方法,减小重构误差来调整W1,W2和b1,b2的值。为提取最有效的特征,限制隐藏单元的激活,使其稀疏。增加一个正则项来惩罚隐藏单元激活程度对一个低值的偏离。因此,网络的训练等效为下面的优化问题:
SP(ρ||ρj)=ρlog(ρ/ρj)+(1-ρ)log((1-ρ)/(1-ρj))
这里xi和xi'分别表示输入的图像块和输出的重建结果,p表示输入图像块的个数,SP(ρ||ρj)表示稀疏惩罚项,ρ示隐藏单元的平均激活度,ρj表示稀疏水平,β控制稀疏惩罚项的权重。
给定清晰图像块xS和模糊图像块xB作为输入,提取的清晰特征和模糊特征分别为
解码重建分别为
步骤3,将清晰/模糊感知网络提取的特征作为联合感知网络的输入,用模糊度不定的图像块训练联合感知网络,获取模糊的本质特征。
将预训练的清晰感知网络(SPN)和模糊感知网络(BPN)联合在一起,提取模糊中的内在特征,这是一个对清晰和模糊的不同特征的非线性映射。将联合感知网络(SBBN)的第一层的输出定为
因此联合感知网络(SBBN)的操作是
这里h3是联合感知网络的输出层的输出向量,W3表示权重,b3表示偏置。联合感知网络输出层包含169个节点。
这里n是训练图像块的数量,yR是模糊输入和原始清晰图像小块间残渣,代表它们之间的丢失信息。损失函数通过反向传播算法达到最小。
步骤4,训练非线性特征映射和回归网络,将步骤3中的本质特征映射到模糊程度上。
多层神经网络实现非线性特征映射和回归,在非线性特征映射中,每个特征映射层的操作是:
hi=f(Wi*hi-1+bi)
这里i=4,5,hi是特征映射层的输出向量。两个特征映射层的节点数分别为100,50。最后的回归层是:
DB=max(0,W6h5+b5)
这里采用Relu作为激活函数。
训练整个网络,估计所有的网络参数{Wi,bi},i=1,2,…,6,将参数{W1,W2,W3,b1,b2,b3,}初始化为相应的预训练的参数,其余的参数随即初始化。
步骤5,对整个网络进行微调,优化所有参数。使用反向传播算法来计算所有网络层的梯度,因为该算法适用于任意层数的网络。
Claims (4)
1.一种基于深度学习网络的无参考图像模糊程度估计方法,其特征在于,包括如下步骤:
步骤1,生成训练数据:对图像进行下采样,截取图像中有结构或有纹理的清晰图像块,用高斯模糊核卷积清晰图像块生成模糊图像块;
步骤2,用清晰图像块和模糊图像块分别训练清晰感知网络和模糊感知网络这两个稀疏自编码器;分别提取清晰和模糊的有效特征,并对输入进行解码重建;
步骤3,将清晰感知网络和模糊感知网络提取的特征作为联合感知网络的输入,用模糊图像块训练联合感知网络,获取模糊的本质特征;
步骤4,训练非线性特征映射和回归网络,将步骤3的本质特征映射到模糊程度上;
步骤5,对整个网络进行微调,优化所有参数。
2.根据权利要求1所述的一种基于深度学习网络的无参考图像模糊程度估计方法,其特征在于,所述步骤2中,提取清晰和模糊的有效特征并对输入进行解码重建的具体过程为:
建立两个全连接的三层网络,包含输入层、隐藏层和输出层;对输入图像块x,隐藏层提取的特征和输出层重建分别是
h=f(W1*x+b1)
x'=f(W2*h+b2)
这里f(x)=1/(1+exp(-x))是非线性函数,W1,W2代表权重,b1,b2代表偏移;
使用反向传播方法,减小重构误差来调整权重W1、W2和偏移b1、b2的值;网络的训练等效为下面的优化问题:
SP(ρ||ρj)=ρlog(ρ/ρj)+(1-ρ)log((1-ρ)/(1-ρj))
这里xi和xi'分别表示输入的图像块和输出的重建结果,p表示输入图像块的个数,SP(ρ||ρj)表示稀疏惩罚项,ρ示隐藏单元的平均激活度,ρj表示稀疏水平,β控制稀疏惩罚项的权重;
给定清晰图像块xS和模糊图像块xB作为输入,提取的清晰特征和模糊特征分别为:
解码重建分别为:
4.根据权利要求3所述的一种基于深度学习网络的无参考图像模糊程度估计方法,其特征在于,所述步骤4的具体过程为:
多层神经网络实现非线性特征映射和回归,在非线性特征映射中,每个特征映射层的操作是:
hi=f(Wi*hi-1+bi)
这里i=4,5,hi是每个特征映射层的输出向量,Wi、bi分别是特征映射层的权重和偏置;
最后的回归层是:
DB=max(0,W6h5+b5)
这里采用Relu作为激活函数;
训练整个网络,估计所有的网络参数{Wi,bi},i=1,2,...,6,将参数{W1,W2,W3,b1,b2,b3,}初始化为相应的预训练的参数,其余的参数随即初始化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710909377.2A CN109598695B (zh) | 2017-09-29 | 2017-09-29 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710909377.2A CN109598695B (zh) | 2017-09-29 | 2017-09-29 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598695A CN109598695A (zh) | 2019-04-09 |
CN109598695B true CN109598695B (zh) | 2023-04-07 |
Family
ID=65955301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710909377.2A Active CN109598695B (zh) | 2017-09-29 | 2017-09-29 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598695B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110033848B (zh) * | 2019-04-16 | 2021-06-29 | 厦门大学 | 一种基于无监督学习的三维医学影像z轴插值方法 |
CN110517203B (zh) * | 2019-08-30 | 2023-06-23 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
CN111526357B (zh) * | 2020-04-14 | 2021-06-29 | 艾瑞思检测技术(苏州)有限公司 | 一种基于pca学习的显卡接口机器测试方法 |
CN113436137A (zh) * | 2021-03-12 | 2021-09-24 | 北京世纪好未来教育科技有限公司 | 一种图像清晰度识别方法、装置、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9218648B2 (en) * | 2009-10-27 | 2015-12-22 | Honeywell International Inc. | Fourier domain blur estimation method and system |
CN104680491B (zh) * | 2015-02-28 | 2016-03-30 | 西安交通大学 | 一种基于深度神经网络的图像非均匀运动模糊去除方法 |
CN106971378A (zh) * | 2016-08-23 | 2017-07-21 | 上海海洋大学 | 一种基于深度去噪自编码器的单幅图像去雨方法 |
-
2017
- 2017-09-29 CN CN201710909377.2A patent/CN109598695B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109598695A (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN109598695B (zh) | 一种基于深度学习网络的无参考图像模糊程度估计方法 | |
CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN106204468B (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
CN110969589B (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及*** | |
CN116664454B (zh) | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 | |
CN116863320B (zh) | 基于物理模型的水下图像增强方法及*** | |
CN111179196A (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
CN109685772A (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
CN112200752B (zh) | 一种基于er网络多帧图像去模糊***及其方法 | |
CN112634168A (zh) | 一种结合边缘信息的图像修复方法 | |
CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
CN115409721A (zh) | 暗光视频增强方法及装置 | |
CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |