CN109087270A - 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 - Google Patents

一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 Download PDF

Info

Publication number
CN109087270A
CN109087270A CN201811026306.9A CN201811026306A CN109087270A CN 109087270 A CN109087270 A CN 109087270A CN 201811026306 A CN201811026306 A CN 201811026306A CN 109087270 A CN109087270 A CN 109087270A
Authority
CN
China
Prior art keywords
image
video
maximum
characteristic response
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811026306.9A
Other languages
English (en)
Other versions
CN109087270B (zh
Inventor
李策
刘瑞莉
杨峰
乔旭
何坦
尚新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN201811026306.9A priority Critical patent/CN109087270B/zh
Publication of CN109087270A publication Critical patent/CN109087270A/zh
Application granted granted Critical
Publication of CN109087270B publication Critical patent/CN109087270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于改进的卷积匹配追踪管道视频图像去雾增强方法。通过对管道内视频帧中中心圆经处理获得雾层模型，根据雾层作为卷积字典的来源进行字典训练；根据前几帧视频低秩矩阵分解训练获取背景图像与前景图像，根据前景图像初始化残差图像并通过残差图像计算特征响应，初始化前景重构图像，计算噪声能量；对特征响应进行极大值搜索；利用极大值和当前最大特征响应进行前景图像重构并利用极大值更新特征响应；更新残差图像，计算残差图像能量，若小于噪声能量，计算最终去雾图像。本发明能有效获取雾层模型，并通过雾层模型作为卷积字典，找到与视频帧中相符合的雾层并将其去除。可用于管道视频图像增强等科学领域。

Description

一种基于改进的卷积匹配追踪管道视频图像去雾增强方法
技术领域
本发明涉及管道视频图像处理技术领域，尤其涉及一种基于改进的卷积匹配追踪管道视频图像去雾增强方法。
背景技术
管道视频图像去雾增强作为管道检测之前的重要环节，成为了当前管道视频图像处理的热点研究问题。管道视频图像去雾增强是按照特定需要突出或抑制图像中的某些信息，达到增强有用信息的目的。在管道检测***中，管道视频图像去雾增强效果对后期管道裂缝检测、破损检测等有着决定性的作用。目前，管道视频图像去雾方法主要包括基于Retinex图像增强方法、直方图均衡化图像增强方法、基于暗原色先验的图像增强方法和基于卷积匹配追踪视频图像增强方法。
目前视频图像增强领域存在一些问题，如空气中的水汽和悬浮颗粒等介质、噪声的类间相似性、缺乏全面准确的去雾模型，导致在实际复杂环境中，去雾模型易受外界环境变化影响，去雾模型获取较差，去雾效果较差。卷积匹配追踪视频图像增强方法关键在于雾层的获取，只有保证获取到的雾层作为卷积字典的准确性，才能去雾彻底。在实际复杂环境中，视频图像易受外界光照变化，温差变化等因素影响，导致视频图像的模糊程度不一致，视频图片部分去雾过度或者去雾不完全。
发明内容
针对目前卷积匹配追踪视频图像增强存在的问题，为克服过度去雾和去雾不完全，提高视频图像的去雾准确性，本发明提出了一种基于改进的卷积匹配追踪管道视频图像去雾增强方法，该方法能有效根据提取到的雾层模型进行全图像去雾，提高雾层模型的鲁棒性和去雾效果的可视性，适用于管道视频图像增强等科学领域。
本发明所采用的技术方案包括一种基于改进的卷积匹配追踪管道视频图像去雾增强方法，包括以下步骤：
步骤(1)、获取管道内部视频，每个视频片段转换为一个三维矩阵，根据十字交叉的方法确定管道内部中心圆心的位置，根据圆心位置估计圆的大小，且根据圆的大小提取其三维矩阵；
步骤(2)、对前N帧圆视频帧图像使用拉普拉斯算子进行锐化；
步骤(3)、对锐化后的图像进行阈值化处理，获得雾层；
步骤(4)、根据雾层作为卷积字典的来源进行字典训练，设定噪声能量门限；
步骤(5)、根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像与前景图像；
步骤(6)、根据前景图像初始化残差图像，初始化前景重构图像，根据残差图像计算特征响应，根据噪声能量门限计算噪声能量；
步骤(7)、对特征响应进行极大值搜索，并记录极大值；
步骤(8)、利用极大值和当前最大特征响应值进行前景图像重构；
步骤(9)、利用极大值更新特征响应；
步骤(10)、利用前景重构图像更新残差图像；
步骤(11)、计算残差图像能量，若残差图像能量大于噪声能量，返回步骤(7)，否则计算最终去雾图像；
本发明的有益效果是，该方法在直接使用管道中心的近乎纯黑的背景圆，求得雾层模型作为卷积字典，可以节省从自然图像中提取卷积字典所需的时间，可以提高去雾的准确率，可用于管道视频图像处理去雾增强。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的总体流程图；
图2为带雾的管道图像；
图3为十字交叉确定管道内部圆心。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，本发明方法的实施流程具体包括以下步骤：
S1010：获取管道内部视频，如图2所示每个视频片段转换为一个Yh×Yw×Yn三维矩阵Y，其中Yh视频帧的高度，Yw为视频帧的宽度，第三维Yn表示视频的帧数，Yh×Yw为视频的每一帧的大小；根据十字交叉的方法确定管道内部圆心的位置，如图3所示；根据圆心位置估计圆的大小并提取圆的三维矩阵Y′为Y′h×Y′w×Y′n。Y′h为圆视频帧的高度，Y′w为圆视频帧的宽度，Y′n代表了圆视频帧的帧数，Y′h×Y′w为圆视频帧的大小；
S1110：对前N帧圆视频帧图像使用拉普拉斯算子进行锐化，其中f(x，y)和分别是输入的圆视频帧图像和锐化后的图像，c为常数，为f(x，y)的二阶导数；
S1120：对锐化后的图像进行阈值化处理，并由公式求出G，其中G表示雾层；B表示背景层；且由于管道内部的特殊性，此时背景层B为黑色；
S1130：初始化卷积字典F为K个滤波器组成的滤波器组，F的大小表示滤波器的大小，K为滤波器个数，表示滤波器高度，表示滤波器宽度，由与整幅图像噪声相符的雾层图像直接作为卷积字典的来源进行字典训练，例如取噪声大于等于整幅图像噪声百分之八十的雾层作为卷积字典的训练样本，能够节省从自然图像库中获取卷积字典所需要的时间，缩短视频图像去雾增强的前期准备工作所需的时间，由于雾层来源于视频帧图像的圆形部分，因此，使用雾层训练得到卷积字典可以提高去雾阶段从字典中匹配的机率，设定噪声能量门限Ce；
S1140：根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像Yl与前景图像Yq；
S1150：根据前景图像初始化残差图像r＝Yq，初始化前景重构图像根据残差图像计算特征响应其中T为矩阵的转置，根据噪声能量门限计算噪声能量ε＝(Ce*σ)2*Yh*Yw、，其中σ为噪声强度；
S1160：对特征响应进行极大值搜索，公式为：m为所有特征响应的非零系数个数，j＝1，2，..，K，为滤波器的标号，k为当前最匹配滤波器标号，(a，b)为当前最大特征响应位置标号，并记录极大值α＝Z(a，b，k)，Z(a，b，k)表示当前最匹配滤波器下的最大特征响应值；
S1170：依据公式利用极大值和当前最大响应值重构前景图像，在寻找到前景重构图像当前最大特征响应位置时，利用极大值与当前所得到的最匹配字典进行去噪处理，结果所得即为重构的前景图像，其中Fk为卷积字典中第k个滤波器，其大小为locate()表示进行位置查找，表示寻找前景重构图像当前最大响应位置，表示当前最大特征响应下的重构前景图像；
S1180：利用极大值更新特征响应Z＝Z-α×locate(Qk，(a，b))，其中这个公式中locate(Qk，(a，b))表示对Qk进行对应最大特征响应位置查找；
S1190：利用重构的前景图像更新残差图像
S1210：计算更新后的残差图像能量r(x，y)为更新后的残差图像(x，y)位置处的像素值，若E≥ε，则返回步骤(7)，否则若E＜ε，计算得到去雾图像
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的。因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (1)

1.一种基于改进的卷积匹配追踪管道视频图像去雾增强方法，其特征在于，包括以下步骤：
步骤(1)、获取管道内部视频，每个视频片段转换为一个Yh×Yw×Yn三维矩阵Y，其中Yh视频帧的高度，Yw为视频帧的宽度，第三维Yn表示视频的帧数，Yh×Yw为视频的每一帧的大小；根据十字交叉的方法确定管道内部圆心的位置，根据圆心位置估计圆的大小并提取圆的三维矩阵Y′为Y′h×Y′w×Y′n；Y′h为圆视频帧的高度，Y′w为圆视频帧的宽度，Y′n代表了圆视频帧的数目，Y′h×Y′w为圆视频帧的大小；
步骤(2)、对前N帧圆视频帧图像使用拉普拉斯算子进行锐化，其中f(x，y)和q(x，y)分别是输入的圆视频帧图像和锐化后的图像
步骤(3)、对锐化后的图像进行阈值化处理，并由公式求出G，其中G表示雾层；B表示背景层；背景层B为黑色；
步骤(4)、初始化卷积字典F为K个滤波器组成的滤波器组，F的大小其中， 表示滤波器的大小，K为滤波器个数，表示滤波器高度。表示滤波器宽度，由与整幅图像噪声相符的雾层图像直接作为卷积字典的来源进行字典训练，，能够节省从自然图像库中获取卷积字典所需要的时间，设定噪声能量门限Ce；
步骤(5)、根据视频帧图像的前N帧使用低秩矩阵分解训练获取背景图像Yl与前景图像Yq；
步骤(6)、根据前景图像初始化残差图像r＝Yq、初始化前景重构图像根据残差图像计算特征响应其中T为矩阵的转置。根据噪声能量门限计算噪声能量ε＝(Ce*σ)2*Yh*Yw、，其中σ为噪声强度；
步骤(7)、对特征响应进行极大值搜索，公式为：m为所有特征响应的非零系数个数。j＝1，2，...，K，为滤波器的标号，k为当前最匹配滤波器标号，(a，b)为当前最大特征响应位置标号，并记录极大值α＝Z(a，b，k)，Z(a，b，k)表示当前最匹配滤波器下的最大特征响应值；
步骤(8)、依据公式利用极大值和当前最大特征响应值重构前景图像。在寻找到前景重构图像当前最大特征响应位置时，利用极大值与当前所得到的最匹配字典进行去噪处理，结果所得即为重构的前景图像，其中Fk为第k个滤波器，其大小为locate()表示进行位置查找，表示寻找前景重构图像当前最大响应位置，表示当前最大特征响应下的重构前景图像；
步骤(9)、利用极大值更新特征响应Z＝Z-α×locate(Qk，(a，b))，其中这个公式中locate(Qk，(a，b))表示对Qk进行对应最大特征响应位置查找；
步骤(10)、利用重构的前景图像更新残差图像
步骤(11)、计算更新后的残差图像能量r(x，y)为更新后的残差图像(x，y)位置处的像素值，，若E≥ε，则返回步骤(7)，否则计算得到去雾图像
CN201811026306.9A 2018-09-04 2018-09-04 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法 Active CN109087270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811026306.9A CN109087270B (zh) 2018-09-04 2018-09-04 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811026306.9A CN109087270B (zh) 2018-09-04 2018-09-04 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法

Publications (2)

Publication Number Publication Date
CN109087270A true CN109087270A (zh) 2018-12-25
CN109087270B CN109087270B (zh) 2019-05-14

Family

ID=64840820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026306.9A Active CN109087270B (zh) 2018-09-04 2018-09-04 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法

Country Status (1)

Country Link
CN (1) CN109087270B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN113298730A (zh) * 2021-05-24 2021-08-24 中国科学院长春光学精密机械与物理研究所 一种基于图像分解的去雾复原方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346782A (zh) * 2014-10-29 2015-02-11 中国科学院深圳先进技术研究院 一种实现单幅图像去雾的方法和装置
CN106886985A (zh) * 2017-04-25 2017-06-23 哈尔滨工业大学 一种减小色偏的自适应低照度图像增强方法
CN106960425A (zh) * 2017-04-05 2017-07-18 上海矽奥微电子有限公司 基于多尺度去卷积滤波的单帧去雾方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及***
CN107958465A (zh) * 2017-10-23 2018-04-24 华南农业大学 一种基于深度卷积神经网络的单幅图像去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346782A (zh) * 2014-10-29 2015-02-11 中国科学院深圳先进技术研究院 一种实现单幅图像去雾的方法和装置
CN106960425A (zh) * 2017-04-05 2017-07-18 上海矽奥微电子有限公司 基于多尺度去卷积滤波的单帧去雾方法
CN106886985A (zh) * 2017-04-25 2017-06-23 哈尔滨工业大学 一种减小色偏的自适应低照度图像增强方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107958465A (zh) * 2017-10-23 2018-04-24 华南农业大学 一种基于深度卷积神经网络的单幅图像去雾方法
CN107749052A (zh) * 2017-10-24 2018-03-02 中国科学院长春光学精密机械与物理研究所 基于深度学习神经网络的图像去雾方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINSHENG XIAO ET.: "Single-image Dehazing Algorithm Based on Convolutional Neural Networks", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
MING LIU ET.: "An Ameliorative Defogging Algorithm Based on the MSR", 《APPLIED MECHANICS & MATERIALS》 *
YONG XU ET.: "Review of video and image defogging algorithms and related studies on image restoration and enhancement", 《IEEE ACCESS》 *
袁保平: "基于卷积神经网络的图像去雾方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN113298730A (zh) * 2021-05-24 2021-08-24 中国科学院长春光学精密机械与物理研究所 一种基于图像分解的去雾复原方法

Also Published As

Publication number Publication date
CN109087270B (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN109087270A (zh) 一种基于改进的卷积匹配追踪管道视频图像去雾增强方法
CN108563975B (zh) 一种基于深度学习的高密度人群人数估计方法
CN105469081B (zh) 一种用于美颜的人脸关键点定位方法及***
CN104023230B (zh) 一种基于梯度关联性的无参考图像质量评价方法
CN103455797A (zh) 航拍视频中运动小目标的检测与跟踪方法
CN109949209B (zh) 一种基于深度学习的绳索检测与去除方法
CN110619647B (zh) 基于边缘点频域空域特征结合图像模糊区域定位方法
CN110070506B (zh) 一种基于多尺度混合指数模型的视频去雨方法
CN104537381B (zh) 一种基于模糊不变特征的模糊图像识别方法
CN113810611B (zh) 一种事件相机的数据模拟方法和装置
CN103778436A (zh) 一种基于图像处理的行人姿态检测方法
CN107742278B (zh) 结合l0范数和空间尺度信息的运动模糊图像盲复原方法
CN102129670A (zh) 电影划痕损伤的检测修复方法
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN106683074B (zh) 一种基于雾霾特性的图像篡改检测方法
CN103310193A (zh) 一种记录体操视频中运动员重要技术动作时刻的方法
CN103914818A (zh) 一种基于全向全变分的全向图像稀疏重构方法
CN105069767B (zh) 基于表征学习与邻域约束嵌入的图像超分辨重构方法
CN111832348B (zh) 基于像素和通道注意力机制的行人重识别方法
CN105098651A (zh) 输电线路绝缘子定位方法及***
Peng et al. Application of deep residual neural network to water meter reading recognition
CN111104965A (zh) 车辆目标识别的方法及装置
Zhang et al. A combined approach to single-camera-based lane detection in driverless navigation
CN110956108B (zh) 一种基于特征金字塔的小频标检测方法
CN112417961B (zh) 一种基于场景先验知识的海面目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant