CN110992288B - 一种用于矿山井筒环境下的视频图像盲去噪方法 - Google Patents

一种用于矿山井筒环境下的视频图像盲去噪方法 Download PDF

Info

Publication number
CN110992288B
CN110992288B CN201911242397.4A CN201911242397A CN110992288B CN 110992288 B CN110992288 B CN 110992288B CN 201911242397 A CN201911242397 A CN 201911242397A CN 110992288 B CN110992288 B CN 110992288B
Authority
CN
China
Prior art keywords
image
block
frame
video
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911242397.4A
Other languages
English (en)
Other versions
CN110992288A (zh
Inventor
邢远秀
李军贤
龚谊承
王文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN201911242397.4A priority Critical patent/CN110992288B/zh
Publication of CN110992288A publication Critical patent/CN110992288A/zh
Application granted granted Critical
Publication of CN110992288B publication Critical patent/CN110992288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于矿井环境下的视频图像盲去噪方法，包括：选取与待去噪视频图像前后相邻的若干图像帧，在每一图像帧中寻找具有典型特征的图像块群，通过在前一帧图像中查找和该图像块群具有最小差异度的块群来确定帧间的精确位移；将待去噪视频图像划分成若干图像块，根据帧间的精确位移快速构建每个图像块的自相似序列集；将自相似序列集对应的二维图像块组合成三维矩阵并进行三维变换，并对变换系数进行自适应阈值滤波；对三维逆变换后的三维矩阵聚合生成去噪图像。本发明在提高算法执行效率的同时，与现有的图像去噪方法相比较，所得去噪图像具有较好的信噪比和视觉效果。

Description

一种用于矿山井筒环境下的视频图像盲去噪方法
技术领域
本发明涉及矿山井安筒全和数字图像处理技术领域，尤其涉及一种用于矿山井筒环境下的视频图像盲去噪方法。
背景技术
随着图像处理技术的发展，对所采集的矿山井筒设施视频图像进行拼接、识别，快速、准确地判断设备是否存在故障引起了重视，然而在复杂的提升井筒环境中，在高速运动的罐笼上，借助摄像技术采集的设施视频图像中包含较多的噪声，从而影响后继井筒设施故障自动分析与识别的精度。对噪声图像进行去噪是数字图像处理和计算机视觉领域中的一个基本而关键的问题。具体而言，噪声在图像上常表现为引起较强视觉效果的孤立像素点或像素块，图像去噪是指减少数字图像中的噪声的过程。
近年来，许多研究人员对图像去噪算法进行了大量的研究，目前图像去噪方法主要有基于深度学***的噪声图像具有较好的去噪效果，但是对于噪声水平未知的矿山井筒视频图像去噪效果并不理想。常出现的情况是当噪声方差估计过小时，噪声则不能较好地被去除，当噪声方差估计过大时，去噪后的图像细节又会出现模糊现象。
另外，从时效方面分析，图像去噪是一个相对耗时的过程，已有传统去噪方法需要对图像中的每个像素点计算它与搜索窗口内若干个像素间的相似度，或者将图像划分成若干个图像块并在搜索窗口内查找若干与之相似的图像块，利用这些像素或图像块进行加权平均实现图像去噪。搜索窗口的大小直接影响算法的时间复杂度，小的搜索区域计算量小但是去噪性能较差，而较大的搜索区域去噪性能较好但是增加了计算量。已有的图像去噪算法由于没有利用井筒视频图像帧间的冗余信息，导致算法复杂度较高并且去噪效果不理想。
发明内容
针对上述存在的技术问题，本发明的目的是提供一种用于矿山井筒环境下的视频图像盲去噪方法，利用视频图像帧间存在的冗余信息，以高信噪比且高效地对噪声方差未知的井筒图像进行有效地盲去噪。
本发明的技术方案为一种用于矿山井筒环境下的视频图像盲去噪方法，包括以下步骤：
步骤1，在待去噪图像上寻找n个典型特征图像块，并根据块群结构构建典型特征块群；
步骤2，利用步骤1所获得的典型特征块群计算视频帧间精确位移；
步骤3，根据步骤2中计算得到的帧间精确位移，对噪声图像帧中的每个图像块构建自相似序列集；
步骤4，对噪声图像的噪声水平进行估计，并在此基础上计算三维变换系数的自适应阈值；
步骤5，根据步骤3所得的相似序列集，使用基于自适应阈值的三维变换和三维逆变换对自相似序列集进行滤波获得对应得三维图像块矩阵，并对三维图像块矩阵进行加权融和，获得最终的去噪图像。
进一步的，步骤1的实现方式为，
对给定大小的图像块，搜索图像块的均方差大于给定阈值的n个图像块为典型特征块，根据预定义的块群结构，构建n个典型特征块群；
设t时刻的待去噪的视频图像为ut，前一帧视频图像为ut-1，确定视频图像帧ut和ut-1的帧间位移时，图像ut中的每个图像块大小为N2×N2，对视频图像帧ut中左上角坐标位于x处的待判别的图像块
Figure BDA0002306625220000021
进行归一化，生成
Figure BDA0002306625220000022
图像块的均值
Figure BDA0002306625220000023
和均方差
Figure BDA0002306625220000024
为：
Figure BDA0002306625220000025
Figure BDA0002306625220000026
Figure BDA0002306625220000027
其中Ωx为图像块
Figure BDA0002306625220000028
中所有像素的坐标集合，k'为图像块中的元素坐标，k'∈Ωx，给定阈值Ts，待判别图像块
Figure BDA0002306625220000031
满足
Figure BDA0002306625220000032
时被判别为典型特征图像块，在视频图像ut中寻找n个典型特征图像块时停止；
以每一个典型特征块为中心，根据块群结构将与其直接相邻并大小相同的邻域图像块一起作为特征块群。
进一步的，步骤2的实现方式为，
通过在前一帧视频图像ut-1中搜索和当前图像帧ut的典型特征块群具有最小差异度的块群定位帧间精确位移，所得精确位移记为
Figure BDA0002306625220000033
设视频图像帧ut中包含N1×N1个像素的参考图像块
Figure BDA0002306625220000034
和第k时刻的视频图像帧uk中的图像块
Figure BDA0002306625220000035
之间的差异度
Figure BDA0002306625220000036
为：
Figure BDA0002306625220000037
其中，下标xR为参考图像块
Figure BDA0002306625220000038
的左上角像素在ut中的二维坐标，下标x为图像块
Figure BDA0002306625220000039
的左上角像素在uk中的二维坐标；
Figure BDA00023066252200000310
为二维欧式距离；T2D为二维离散余弦DCT变换；
Figure BDA00023066252200000311
则
Figure BDA00023066252200000312
和
Figure BDA00023066252200000313
被判别为相似图像块，Tm是指给定的差异度阈值；
设搜索到的第1个典型特征图像块的左上角像素坐标为x10，根据初始给定的帧间位移估计Δini，映射到前一视频图像帧ut-1中的坐标为x10+Δini；在视频帧ut-1中，以坐标x10+Δini为中心，在宽度为2Δini的正方形邻域
Figure BDA00023066252200000314
内，搜索与n个典型特征图像块群具有最小差异度的图像块群，确定帧间的精确位移
Figure BDA00023066252200000315
为：
Figure BDA00023066252200000316
Figure BDA00023066252200000317
其中xij为第i个特征块群中序号为j的图像块的左上角像素坐标；n为图像中典型特征图像块群的个数；m为每个块群中图像块的个数；wij为第i个特征块群中的序号为j的图像块的距离权重，对于每个块群i，其典型特征图像块的块距离di1＝0，而块群直接相邻的上下左右四个图像块距离dij＝1，四个角上的块距离
Figure BDA0002306625220000041
进一步的，步骤3的实现方式为，
将视频图像帧ut以步长为Nstep划分为N1×N1大小的图像块作为参考块，在以ut为中心的前后连续2l+1帧视频图像ut-l,…,ut,…,ut+l上，依次查找每个参考块的自相似图像块并构建相应的自相似序列集；
假设视频是由采集装置自上向下相对匀速运动采集，通过相邻图像帧间的位移
Figure BDA0002306625220000042
快速确定视频图像帧ut中的每个参考图像块
Figure BDA0002306625220000043
在相邻的2l+1图像帧中对应的相似图像块，每个参考图像块
Figure BDA0002306625220000044
的自相似序列集
Figure BDA0002306625220000045
为：
Figure BDA0002306625220000046
其中x为对应的相似图像块在该图像帧中的左上角坐标；
Figure BDA0002306625220000047
保存的是2l+1个视频图像帧中和参考图像块
Figure BDA0002306625220000048
相似的图像块的左上角元素坐标和所在的图像帧序号，
Figure BDA0002306625220000049
表示为
Figure BDA00023066252200000410
的自相似序列集中相似块的个数，取值范围为
Figure BDA00023066252200000411
进一步的，步骤4的实现方式为，
计算三维变换自适应阈值，利用典型特征块群和图像帧间位移，求取视频图像帧ut和ut-1间的差异度对噪声图像的噪声水平进行估计，计算过程为：
Figure BDA00023066252200000412
当2l+1帧的帧间精确位移
Figure BDA00023066252200000413
被确定后，求出视频图像帧ut和其它相邻的2l个视频图像帧的帧间位移，以及相邻的2l个视频图像帧的平均帧间差异度：
Figure BDA00023066252200000414
通过计算多幅不同噪声方差的视频图像帧在最佳去噪效果时对应的阈值λ3D和对应的平均帧间差异度distt，通过对λ3D和distt进行拟合，得到自适应阈值λ3D：
λ3D＝min(0.1824×(distt)2+0.7285×distt+0.0394,6.386)。
进一步的，步骤5的具体实现方式为，
对于参考块
Figure BDA0002306625220000051
的自相似序列集
Figure BDA0002306625220000052
如果
Figure BDA0002306625220000053
则采用基于阈值的离散余弦去噪算法对该图像块进行去噪处理，反之则采用3D滤波变换，对变换后的系数进行阈值处理，从而减弱噪声干扰；将
Figure BDA0002306625220000054
中对应的图像块组合成三维图像矩阵
Figure BDA0002306625220000055
通过3D变换及逆变换后的三维矩阵
Figure BDA0002306625220000056
为：
Figure BDA0002306625220000057
其中T3D为3D变换算子，采用3D傅里叶变换；
Figure BDA0002306625220000058
为3D逆变换算子；Υ为基于阈值λ3D的变换算子，将3D变换系数小于阈值λ3D的系数置为0，而3D变换系数大于阈值λ3D的系数保持不变；
三维图像块矩阵
Figure BDA0002306625220000059
是由
Figure BDA00023066252200000510
个经过3D滤波的二维图像块组成，每个滤波后的二维图像块表示为
Figure BDA00023066252200000511
下标sn表示二维图像块所在的帧序号，同时将每个图像块
Figure BDA00023066252200000512
中所有元素的坐标映射为和参考图像块
Figure BDA00023066252200000513
对应的像素的坐标相同，即每个图像块
Figure BDA00023066252200000514
的左上角像素坐标为xR；每个图像块
Figure BDA00023066252200000515
内的任意坐标x处像素的权重定义为：
Figure BDA00023066252200000516
其中图像块
Figure BDA00023066252200000517
为
Figure BDA00023066252200000518
对应的滤波前的图像块，将这些滤波后的图像块进行融合，每个像素点x去噪后的像素灰度估计值
Figure BDA00023066252200000519
定义为：
Figure BDA00023066252200000520
其中
Figure BDA00023066252200000521
表示保存图像块所在的帧序号，X表示噪声图像的坐标集合。
本发明具有以下优点和积极效果：
(1)本发明利用视频帧间信息冗余，通过典型特征块群快速确定帧间精确位移，从而解决了图像视频采集装置抖动及非匀速运动导致帧间位移存在差异的问题；
(2)本发明仅利用视频帧间精确位移快速构建自相似序列集，避免了对每个图像块进行区域搜索，从而进一步提高了算法的执行效率；
(3)本发明根据帧间信息冗余，利用平均帧间差异度估计待去噪视频图像的噪声的强度，在此基础上构建自适应阈值，从而解决了图像的盲去噪问题；
(4)本发明使用基于自适应阈值的3D变换和3D逆变换对图像滤波，将3D逆变换后的三维矩阵进行加权聚合生成去噪图像，从而使算法处理后的去噪图像具有更好的视觉效果和信噪比。
附图说明
图1为本发明实施例的典型特征块群结构示意图，中间部分为典型特征图像块；
图2为本发明实施例的处理流程图；
图3为本发明实施例的处理效果图，其中(a)为噪声图像，(b)为NL-Means算法去噪后的图像，(c)为FNL-Means算法去噪后的图像，(d)为BM3D算法去噪后的图像，(e)为BM3D-B算法去噪后的图像，(f)为本发明去噪后的图像，箭头后的图像为放大效果图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
本发明技术方案可采用计算机软件技术实现自动运行流程，实施例所提供一种用于矿山井筒环境下的视频图像盲去噪方法的流程依次包括以下步骤：
1、在待去噪图像上寻找典型特征图像块，并根据块群结构构建典型特征块群
本发明利用典型特征图像块构建特征块群，用于快速定位帧间精确位移，以便后继快速构建图像块的自相似序列集，从而提高去噪的时间效率和信噪比。但是在实际应用中，视频采集装置抖动及非匀速运动使得仅依靠采集装置移动速度计算的帧间位移并不准确，需要进一步精确确定帧间位移，为了避免通过典型特征块可以提高视频帧间位移定位的精度。
实施例定义第t时刻的视频图像帧为ut，待判别的图像块大小为N2×N2个像素，实验表明N2取值为16获得较好的效果。以确定视频图像帧ut-1和ut的帧间位移定位为例，为了防止光照等因素影响，对视频图像帧ut中待判别的图像块
Figure BDA0002306625220000061
进行归一化，生成
Figure BDA0002306625220000062
图像块的均值
Figure BDA0002306625220000063
和均方差
Figure BDA0002306625220000064
为：
Figure BDA0002306625220000065
Figure BDA0002306625220000066
Figure BDA0002306625220000067
其中下标x为图像块
Figure BDA0002306625220000068
的左上角像素在图像帧ut中的二维坐标，Ωx为图像块
Figure BDA0002306625220000069
中所有像素的坐标集合，k'为图像块中的元素坐标，k'∈Ωx。
实施例给定阈值Ts，待判别图像块
Figure BDA0002306625220000071
满足
Figure BDA0002306625220000072
时被判别为典型特征图像块，具体实施中，典型特征块阈值Ts在[0.04,0.08]之间取值均可获得较好实验结果，本发明选取Ts＝0.06，Ts本文选取N2＝16。从左到右从上到下顺序搜寻n个彼此不重叠的典型特征图像块，根据实施例给定的如图1所示的包含5个图像块的块群结构，构建n个典型特征图像块群将其联合起来共同确定帧间位移，实验表明n＝2可以获得较好的去噪效果和较高的时间效率。
2、利用典型特征块群计算视频帧间精确位移
本发明利用当前图像帧中搜索到的典型特征块群确定和前一帧视频图像之间的精确帧间位移，实施实例通过在前一帧视频图像中搜索和当前图像帧的典型特征块群具有最小差异度的块群来定位帧间精确位移。
实施例定义第t时刻的视频图像帧ut中包含N1×N1个像素的参考图像块
Figure BDA0002306625220000073
和第k时刻的视频图像帧uk中的图像块
Figure BDA0002306625220000074
之间的差异度
Figure BDA0002306625220000075
为：
Figure BDA0002306625220000076
式中，下标xR为参考图像块
Figure BDA0002306625220000077
的左上角像素在视频图像帧ut中的二维坐标，下标x为图像块
Figure BDA0002306625220000078
的左上角像素在视频图像帧uk中的二维坐标；
Figure BDA0002306625220000079
为二维欧式距离；T2D为二维离散余弦DCT变换。理想情况下，当
Figure BDA00023066252200000710
时，图像块
Figure BDA00023066252200000711
和参考图像块
Figure BDA00023066252200000712
为相似图像块。考虑噪声的影响，给定差异度阈值Tm，满足：
Figure BDA00023066252200000713
则
Figure BDA00023066252200000714
和
Figure BDA00023066252200000715
被判别为相似图像块。
不同的N1值影响算法的实效和去燥图像的信噪比。实验结果表明，当N1取值较小时，去噪后的图像存在块效应现象，当N1取较大值时，图像块内像素的相关性较低，去噪后图像包含较多噪声，并且时间效率降低，N1选取8获得较好结果。具体实施时，当Tm较小时，去噪后图像的平均信噪比随着Tm的增加而增加，而当Tm超过某一值而继续增加时，去噪后图像的平均信噪比随之下降。Tm取值过大，将导致自相似序列集中的图像块间差异度较大，去噪后的图像出现模糊现象，Tm取值过小，将导致自相似序列集中的图像块减少，使得去噪后的图像包含较多噪声。从实验结果中可看出，Tm在区间[0.14,0.26]中取值均可获得较好的去噪结果，本发明在图像的噪声方差小于30时，去Tm＝0.15，大于等于30时取Tm＝0.20。
本发明设搜索到的第1个典型特征图像块的左上角像素坐标为x10，根据初始给定的帧间位移估计Δini，映射到前一视频图像帧ut-1中的坐标为x10+Δini。在视频帧ut-1中，以坐标x10+Δini为中心，在宽度为2Δini的正方形邻域
Figure BDA0002306625220000081
内，搜索与n个典型特征图像块群具有最小差异度的图像块群，确定帧间的精确位移
Figure BDA0002306625220000082
为：
Figure BDA0002306625220000083
其中xij为第i个特征块群中序号为j的图像块的左上角像素坐标；n为图像中典型特征图像块群的个数；m为每个块群中图像块的个数；wij为第i个特征块群中的序号为j的图像块的距离权重，对于每个块群i，其典型特征图像块的块距离di1＝0，而直接相邻的上下左右四个图像块距离dij＝1，四个角上的块距离
Figure BDA0002306625220000084
实施例在实施过程中，实验说明特性特征块群个数n取值为2即可获得较好的运行效果。
实施例在实施过程中对连续多帧视频图像帧进行去燥时，当视频图像帧ut的去噪操作完成时，视频图像帧ut+l之前的帧间精确位移均已获得，在对视频图像帧ut+1进行去噪时，仅需在视频图像帧ut+l+1上进行典型特征块查找来确定视频图像帧ut+l和ut+l+1之间的帧间位移，算法将进一步降低每个视频图像帧去噪的计算量。
3、对于噪声视频图像帧构建每个图像块的自相似序列集
本发明根据帧间精确位移
Figure BDA0002306625220000085
对噪声图像帧中的每个图像块构建自相似序列集。将视频图像帧ut以步长为Nstep划分为N1×N1大小的图像块作为参考块，在以ut为中心的前后连续2l+1帧视频图像ut-l,…,ut,…,ut+l上，依次查找每个参考块的自相似图像块并构建相应的自相似序列集。不同的步长Nstep影响算法的时效，Nstep取值过小，算法的运行时间长，而取值过大，去噪的效果变差。实验表明，Nstep选取3可获得较好的运行结果。
本发明设定视频是由采集装置自上向下相对匀速运动采集，通过相邻图像帧间的位移
Figure BDA0002306625220000091
快速确定视频图像帧ut中的每个参考图像块
Figure BDA0002306625220000092
在相邻的2l+1图像帧中对应的相似图像块。每个参考图像块
Figure BDA0002306625220000093
的自相似序列集
Figure BDA0002306625220000094
为：
Figure BDA0002306625220000095
Figure BDA0002306625220000096
保存的是2l+1个视频图像帧中和参考图像块
Figure BDA0002306625220000097
相似的图像块的左上角元素坐标和所在的图像帧序号，
Figure BDA0002306625220000098
表示为
Figure BDA0002306625220000099
的自相似序列集中相似块的个数，取值范围为
Figure BDA00023066252200000910
本发明中，l取4时信噪比最高，去噪效果最好，但是算法耗时过长；l取1时运行时间最短，但去噪效果稍差，去噪图像细节部分保持稍差。综合信噪比和运行时间，本发明选择l＝3，即在连续7帧视频图像帧上构建自相似序列集。
4、对噪声图像的噪声水平进行估计，在此基础上计算三维变换系数的自适应阈值；
本发明利用典型特征块群和帧间精确位移求取视频图像帧ut和ut-1间的差异度为：
Figure BDA00023066252200000911
当7帧的帧间精确位移
Figure BDA00023066252200000912
被确定后，可求出视频图像帧ut和其它相邻的6个视频图像帧的帧间位移，以及相邻的6个视频图像帧的平均帧间差异度：
Figure BDA00023066252200000913
在没有噪声的情况下distt的值为0，在存在噪声的情况下，distt的大小和噪声的强度相关，可以用来估计图像噪声方差。
本发明通过计算多幅不同噪声方差的视频图像帧在最佳去噪效果时对应的阈值λ3D和对应的平均帧间差异度distt，通过对λ3D和distt进行拟合，得到自适应阈值λ3D为：
λ3D＝min(0.1824×(distt)2+0.7285×distt+0.0394,6.386) (10)
5、对每个图像块的自相似序列集进行自适应阈值的3维滤波，并对滤波后的三位图像块矩阵进行加权融合，生成最终去噪图像。
实施例对于参考块
Figure BDA0002306625220000101
的自相似序列集
Figure BDA0002306625220000102
如果
Figure BDA0002306625220000103
则采用基于阈值的离散余弦(DCT)去噪算法对该图像块进行去噪处理，反之则采用3D滤波变换，对变换后的系数进行阈值处理，从而减弱噪声干扰。将
Figure BDA0002306625220000104
中对应的图像块组合成三维图像矩阵
Figure BDA0002306625220000105
通过3D变换及逆变换后的三维矩阵
Figure BDA0002306625220000106
为：
Figure BDA0002306625220000107
其中T3D为3D变换算子，本发明采用3D傅里叶变换；
Figure BDA0002306625220000108
为3D逆变换算子；Υ为基于阈值λ3D的变换算子，将3D变换系数小于阈值λ3D的系数置为0，而3D变换系数大于阈值λ3D的系数保持不变。
三维图像块矩阵
Figure BDA0002306625220000109
是由
Figure BDA00023066252200001010
个经过3D滤波的二维图像块组成，每个滤波后的二维图像块表示为
Figure BDA00023066252200001011
下标sn表示二维图像块所在的帧序号，同时将每个图像块
Figure BDA00023066252200001012
中所有元素的坐标映射为和参考图像块
Figure BDA00023066252200001013
对应的像素的坐标相同，即每个图像块
Figure BDA00023066252200001014
的左上角像素坐标为xR。每个图像块
Figure BDA00023066252200001015
内的任意坐标x处像素的权重定义为：
Figure BDA00023066252200001016
其中图像块
Figure BDA00023066252200001017
为
Figure BDA00023066252200001018
对应的滤波前的图像块，
Figure BDA00023066252200001019
和参考图像块
Figure BDA00023066252200001020
的差异度越小，所在的视频图像帧usn和待去噪的视频图像帧ut越邻近，块
Figure BDA00023066252200001021
对去噪视频图像的最终估计值贡献也越大。
将这些滤波后的图像块进行融合，噪声图像中的每个像素点x去噪后的像素灰度估计值
Figure BDA00023066252200001022
定义为：
Figure BDA00023066252200001023
其中
Figure BDA00023066252200001024
表示保存图像块所在的帧序号，X表示噪声图像的坐标集合。
本发明在具体实施时，如果对视频中的连续多帧视频图像帧去噪，则当视频图像帧ut的去噪操作完成时，视频图像帧ut+l之前的帧间精确位移均已获得，在对视频图像帧ut +1进行去噪时，仅需在视频图像帧ut+l+1上进行典型特征块查找来确定视频图像帧ut+l和ut +l+1之间的帧间位移，算法将进一步降低每个视频图像帧去噪的计算量。
实验结果表明，通过本技术方案，可以对噪声水平为止的矿山井筒视频图像进行有效的盲去噪，相比于现有的图像去噪算法，本算法具有更高的去噪信噪比和更好的时效。
本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种用于矿山井筒环境下的视频图像盲去噪方法，其特征在于，包括以下步骤：
步骤1，在待去噪图像上寻找n个典型特征图像块，并根据块群结构构建典型特征块群；
步骤1的实现方式为，
对给定大小的图像块，搜索图像块的均方差大于给定阈值的n个图像块为典型特征块，根据预定义的块群结构，构建n个典型特征块群；
设t时刻的待去噪的视频图像为ut，前一帧视频图像为ut-1，确定视频图像帧ut和ut-1的帧间位移时，图像ut中的每个图像块大小为N2×N2，对视频图像帧ut中左上角坐标位于x处的待判别的图像块
Figure FDA0004135801370000011
进行归一化，生成
Figure FDA0004135801370000012
图像块的均值
Figure FDA0004135801370000013
和均方差
Figure FDA0004135801370000014
为：
Figure FDA0004135801370000015
Figure FDA0004135801370000016
Figure FDA0004135801370000017
其中Ωx为图像块
Figure FDA0004135801370000018
中所有像素的坐标集合，k'为图像块中的元素坐标，k'∈Ωx，给定阈值Ts，待判别图像块
Figure FDA0004135801370000019
满足
Figure FDA00041358013700000110
时被判别为典型特征图像块，在视频图像ut中寻找n个典型特征图像块时停止；
以每一个典型特征块为中心，根据块群结构将与其直接相邻并大小相同的邻域图像块一起作为特征块群；
步骤2，利用步骤1所获得的典型特征块群计算视频帧间精确位移；
步骤3，根据步骤2中计算得到的帧间精确位移，对噪声图像帧中的每个图像块构建自相似序列集；
步骤4，对噪声图像的噪声水平进行估计，并在此基础上计算三维变换系数的自适应阈值；
步骤5，根据步骤3所得的相似序列集，使用基于自适应阈值的三维变换和三维逆变换对自相似序列集进行滤波获得对应得三维图像块矩阵，并对三维图像块矩阵进行加权融和，获得最终的去噪图像。
2.根据权利要求1所述一种用于矿山井筒环境下的视频图像盲去噪方法，其特征在于：步骤2的实现方式为，
通过在前一帧视频图像ut-1中搜索和当前图像帧ut的典型特征块群具有最小差异度的块群定位帧间精确位移，所得精确位移记为
Figure FDA0004135801370000021
设视频图像帧ut中包含N1×N1个像素的参考图像块
Figure FDA0004135801370000022
和第k时刻的视频图像帧uk中的图像块
Figure FDA0004135801370000023
之间的差异度
Figure FDA0004135801370000024
为：
Figure FDA0004135801370000025
其中，下标xR为参考图像块
Figure FDA0004135801370000026
的左上角像素在ut中的二维坐标，下标x为图像块
Figure FDA0004135801370000027
的左上角像素在uk中的二维坐标；
Figure FDA0004135801370000028
为二维欧式距离；T2D为二维离散余弦DCT变换；
Figure FDA0004135801370000029
则
Figure FDA00041358013700000210
和
Figure FDA00041358013700000211
被判别为相似图像块，Tm是指给定的差异度阈值；
设搜索到的第1个典型特征图像块的左上角像素坐标为x10，根据初始给定的帧间位移估计Δini，映射到前一视频图像帧ut-1中的坐标为x10+Δini；在视频帧ut-1中，以坐标x10+Δini为中心，在宽度为2Δini的正方形邻域
Figure FDA00041358013700000212
内，搜索与n个典型特征图像块群具有最小差异度的图像块群，确定帧间的精确位移
Figure FDA00041358013700000213
为：
Figure FDA00041358013700000214
Figure FDA00041358013700000215
其中xij为第i个特征块群中序号为j的图像块的左上角像素坐标；n为图像中典型特征图像块群的个数；m为每个块群中图像块的个数；wij为第i个特征块群中的序号为j的图像块的距离权重，对于每个块群i，其典型特征图像块的块距离di1＝0，而块群直接相邻的上下左右四个图像块距离dij＝1，四个角上的块距离
Figure FDA00041358013700000216
3.根据权利要求2所述一种用于矿山井筒环境下的视频图像盲去噪方法，其特征在于：步骤3的实现方式为，
将视频图像帧ut以步长为Nstep划分为N1×N1大小的图像块作为参考块，在以ut为中心的前后连续2l+1帧视频图像ut-l,…,ut,…,ut+l上，依次查找每个参考块的自相似图像块并构建相应的自相似序列集；
假设视频是由采集装置自上向下相对匀速运动采集，通过相邻图像帧间的位移
Figure FDA0004135801370000031
快速确定视频图像帧ut中的每个参考图像块
Figure FDA0004135801370000032
在相邻的2l+1图像帧中对应的相似图像块，每个参考图像块
Figure FDA0004135801370000033
的自相似序列集
Figure FDA0004135801370000034
为：
Figure FDA0004135801370000035
其中x为对应的相似图像块在该图像帧中的左上角坐标；
Figure FDA00041358013700000313
保存的是2l+1个视频图像帧中和参考图像块
Figure FDA0004135801370000036
相似的图像块的左上角元素坐标和所在的图像帧序号，
Figure FDA0004135801370000037
表示为
Figure FDA0004135801370000038
的自相似序列集中相似块的个数，取值范围为
Figure FDA0004135801370000039
4.根据权利要求3所述一种用于矿山井筒环境下的视频图像盲去噪方法，其特征在于：步骤4的实现方式为，
计算三维变换自适应阈值，利用典型特征块群和图像帧间位移，求取视频图像帧ut和ut-1间的差异度对噪声图像的噪声水平进行估计，计算过程为：
Figure FDA00041358013700000310
当2l+1帧的帧间精确位移
Figure FDA00041358013700000311
被确定后，求出视频图像帧ut和其它相邻的2l个视频图像帧的帧间位移，以及相邻的2l个视频图像帧的平均帧间差异度：
Figure FDA00041358013700000312
通过计算多幅不同噪声方差的视频图像帧在最佳去噪效果时对应的阈值λ3D和对应的平均帧间差异度distt，通过对λ3D和distt进行拟合，得到自适应阈值λ3D：
λ3D＝min(0.1824×(distt)2+0.7285×distt+0.0394,6.386)。
5.根据权利要求4所述一种用于矿山井筒环境下的视频图像盲去噪方法，其特征在于：步骤5的具体实现方式为，
对于参考块
Figure FDA0004135801370000041
的自相似序列集
Figure FDA0004135801370000042
如果
Figure FDA0004135801370000043
则采用基于阈值的离散余弦去噪算法对该图像块进行去噪处理，反之则采用3D滤波变换，对变换后的系数进行阈值处理，从而减弱噪声干扰；将
Figure FDA0004135801370000044
中对应的图像块组合成三维图像矩阵
Figure FDA0004135801370000045
通过3D变换及逆变换后的三维矩阵
Figure FDA0004135801370000046
为：
Figure FDA0004135801370000047
其中T3D为3D变换算子，采用3D傅里叶变换；
Figure FDA0004135801370000048
为3D逆变换算子；Υ为基于阈值λ3D的变换算子，将3D变换系数小于阈值λ3D的系数置为0，而3D变换系数大于阈值λ3D的系数保持不变；
三维图像块矩阵
Figure FDA0004135801370000049
是由
Figure FDA00041358013700000410
个经过3D滤波的二维图像块组成，每个滤波后的二维图像块表示为
Figure FDA00041358013700000411
下标sn表示二维图像块所在的帧序号，同时将每个图像块
Figure FDA00041358013700000412
中所有元素的坐标映射为和参考图像块
Figure FDA00041358013700000421
对应的像素的坐标相同，即每个图像块
Figure FDA00041358013700000413
的左上角像素坐标为xR；每个图像块
Figure FDA00041358013700000414
内的任意坐标x处像素的权重定义为：
Figure FDA00041358013700000415
其中图像块
Figure FDA00041358013700000416
为
Figure FDA00041358013700000417
对应的滤波前的图像块，将这些滤波后的图像块进行融合，每个像素点x去噪后的像素灰度估计值
Figure FDA00041358013700000418
定义为：
Figure FDA00041358013700000419
其中
Figure FDA00041358013700000420
表示保存图像块所在的帧序号，X表示噪声图像的坐标集合。
CN201911242397.4A 2019-12-06 2019-12-06 一种用于矿山井筒环境下的视频图像盲去噪方法 Active CN110992288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911242397.4A CN110992288B (zh) 2019-12-06 2019-12-06 一种用于矿山井筒环境下的视频图像盲去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911242397.4A CN110992288B (zh) 2019-12-06 2019-12-06 一种用于矿山井筒环境下的视频图像盲去噪方法

Publications (2)

Publication Number Publication Date
CN110992288A CN110992288A (zh) 2020-04-10
CN110992288B true CN110992288B (zh) 2023-04-28

Family

ID=70090839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911242397.4A Active CN110992288B (zh) 2019-12-06 2019-12-06 一种用于矿山井筒环境下的视频图像盲去噪方法

Country Status (1)

Country Link
CN (1) CN110992288B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583151B (zh) * 2020-05-09 2023-05-12 浙江大华技术股份有限公司 一种视频降噪方法及设备、计算机可读存储介质
CN112055255B (zh) * 2020-09-15 2022-07-05 深圳创维－Rgb电子有限公司 拍摄画质优化方法、装置、智能电视和可读存储介质
CN112529854B (zh) * 2020-11-30 2024-04-09 华为技术有限公司 一种噪声估计方法、装置、存储介质及设备
CN113055670B (zh) * 2021-03-08 2024-03-19 浙江裕瀚科技有限公司 一种基于hevc/h.265的视频编码的方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404148A (zh) * 2011-03-09 2013-11-20 日本电信电话株式会社 图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107172322A (zh) * 2017-06-16 2017-09-15 北京飞识科技有限公司 一种视频降噪方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103404148A (zh) * 2011-03-09 2013-11-20 日本电信电话株式会社 图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序
CN106934775A (zh) * 2017-03-08 2017-07-07 中国海洋大学 一种基于低秩恢复的非局部图像去噪方法
CN107172322A (zh) * 2017-06-16 2017-09-15 北京飞识科技有限公司 一种视频降噪方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kostadin Dabov等.Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering.IEEE TRANSACTIONS ON IMAGE PROCESSING.2007,第16卷(第8期),摘要，正文II、III部分. *

Also Published As

Publication number Publication date
CN110992288A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992288B (zh) 一种用于矿山井筒环境下的视频图像盲去噪方法
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
JP7256902B2 (ja) ビデオノイズ除去方法、装置及びコンピュータ読み取り可能な記憶媒体
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及***
CN107730536B (zh) 一种基于深度特征的高速相关滤波物体追踪方法
CN111612817A (zh) 基于深浅特征自适应融合与上下文信息的目标跟踪方法
CN111753693B (zh) 一种静态场景下目标检测方法
CN104200434B (zh) 一种基于噪声方差估计的非局部均值图像去噪方法
CN111652790A (zh) 一种亚像素图像配准方法
CN115131351A (zh) 基于红外图像的机油散热器检测方法
Abd Manap et al. Disparity refinement based on depth image layers separation for stereo matching algorithms
KR101870700B1 (ko) 3차원 복원을 위한 핸드헬드 비디오로부터 고속 키 프레임 추출 방법
CN108010044A (zh) 一种视频边界检测的方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
Zhang et al. Local stereo matching: An adaptive weighted guided image filtering-based approach
CN107945119B (zh) 基于拜耳模式的图像内相关噪声估计方法
CN107248143B (zh) 一种基于图像分割的深度图像修复方法
CN107993193B (zh) 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法
RU2580466C1 (ru) Устройство восстановления карты глубины сцены
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN112801903B (zh) 一种基于视频降噪的目标跟踪方法、装置和计算机设备
RU2716311C1 (ru) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети
CN110430340B (zh) 一种脉冲阵列信号的降噪方法与***
CN112529815A (zh) 一种雨后真实图像中雨滴去除方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant