CN115564688B - 一种结合矩阵低秩分解和动态目标提取去湍流的方法 - Google Patents

一种结合矩阵低秩分解和动态目标提取去湍流的方法 Download PDF

Info

Publication number
CN115564688B
CN115564688B CN202211445041.2A CN202211445041A CN115564688B CN 115564688 B CN115564688 B CN 115564688B CN 202211445041 A CN202211445041 A CN 202211445041A CN 115564688 B CN115564688 B CN 115564688B
Authority
CN
China
Prior art keywords
image
turbulence
matrix
current
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211445041.2A
Other languages
English (en)
Other versions
CN115564688A (zh
Inventor
彭蓉华
黄飞
余知音
向北海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Chaochuang Electronic Technology Co ltd
Original Assignee
Changsha Chaochuang Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Chaochuang Electronic Technology Co ltd filed Critical Changsha Chaochuang Electronic Technology Co ltd
Priority to CN202211445041.2A priority Critical patent/CN115564688B/zh
Publication of CN115564688A publication Critical patent/CN115564688A/zh
Application granted granted Critical
Publication of CN115564688B publication Critical patent/CN115564688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合矩阵低秩分解和动态目标提取去湍流的方法，包括以下步骤：输入湍流干扰后的图像序列；提取图像序列中的湍流部分：将图像序列进行矩阵低秩分解，得到图像的场景结构图和湍流掩膜图；提取当前图像的运动目标：采用SuBSENSE前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；对当前帧中的湍流部分，在序列图像中选取清晰的图像块融合得到去除湍流的当前图；对上述步骤中的图像进行融合，得到包含当前运动目标的去除了湍流的图。本发明采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合，可消除运动目标的拖影以及运动目标模糊问题。

Description

一种结合矩阵低秩分解和动态目标提取去湍流的方法
技术领域
本发明属于视频图像去湍流技术领域，尤其涉及一种结合矩阵低秩分解和动态目标提取去湍流的方法。
背景技术
大气湍流是大气中一种不规则的随机运动，当存在大气湍流时，会使得成像图像出现不规则的抖动，目标畸变和模糊。智能视频监控、航空航天、激光通信和高分辨率等对地观测等众多应用都受到湍流条件的严重困扰，影响对目标的定位、探测、跟踪，如何去除湍流的影响成为一个亟待解决的问题。
国内外学者从不同方面对大气湍流下的图像复原进行了大量研究，在传统算法中有基于二叉树的小波变换的区域融合算法，有使用Sobolev梯度算子和Laplace算子来减轻湍流带来的波动，再结合幸运区域进行多帧融合的去湍流干扰算法，有基于B样条非刚性配准来校正湍流畸变的算法，还有基于矩阵低秩分解的去湍流算法。在基于深度神经网络的算法中有基于生成对抗网络（TSR-WGAN）的，基于时间通道联合关注度网络的TMT算法等。以上算法多针对静止场景，观察目标是静止的时候可以恢复目标的形态，但当在视频中存在运动目标时去除湍流后的图像中会出现拖影现象，以及运动目标模糊的现象。
发明内容
有鉴于此，针对上述存在的问题，提供了一种运动场景下结合矩阵低秩分解和动态目标提取去湍流的方法，有效解决动态场景下运动目标出现拖影和模糊的问题。
具体的，本发明公开的一种结合矩阵低秩分解和动态目标提取去湍流的方法，包括以下步骤：
步骤一，输入湍流干扰后的序列图像；
步骤二，提取序列图像中的湍流部分：将序列图像进行矩阵低秩分解，得到图像的场景结构图和湍流掩膜图；
步骤三，提取当前图像的运动目标：采用SuBSENSE前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；
步骤四，对当前帧中的湍流部分，在序列图像中选取清晰的图像块融合得到去除湍流的当前图；
步骤五，对步骤三和步骤四中的图像进行融合，得到包含当前运动目标的去除了湍流的图。
进一步的，对序列图像进行矩阵低秩分解，包括：
将宽、高分别为w、h的每帧图像逐行拉伸为一个
Figure 942669DEST_PATH_IMAGE001
的列向量，记为
Figure 208565DEST_PATH_IMAGE002
，然后把这N个列向量组成一个矩阵，记为
Figure 286243DEST_PATH_IMAGE003
，对M进行分解表示为求解下式
Figure 662997DEST_PATH_IMAGE004
Figure 142520DEST_PATH_IMAGE005
式中A 是稀疏湍流矩阵，B是低秩的场景结构矩阵；
Figure 376055DEST_PATH_IMAGE006
是矩阵的Frobenius范数，
Figure 144291DEST_PATH_IMAGE007
是矩阵的核范数，
Figure 324737DEST_PATH_IMAGE008
是正则化参数；
然后用ADM交替方向乘子法对上式进行求解，定义上式的增广拉格朗日公式为：
Figure 924345DEST_PATH_IMAGE009
其中Z是拉格朗日乘子，
Figure 532044DEST_PATH_IMAGE010
是惩罚因子，
Figure 115472DEST_PATH_IMAGE011
表示矩阵的内积。
进一步的，增广拉格朗日公式的求解步骤为：
更新A，得到：
Figure 302871DEST_PATH_IMAGE012
=
Figure 553724DEST_PATH_IMAGE013
，
其中P表示欧几里得投影；k是迭代次数；
计算矩阵
Figure 332324DEST_PATH_IMAGE014
的奇异值分解结果得到:
Figure 606311DEST_PATH_IMAGE015
，
Figure 128559DEST_PATH_IMAGE016
其中U，V是奇异值分解里的正交矩阵，
Figure 437180DEST_PATH_IMAGE017
是奇异值；
更新B，得到：
Figure 407190DEST_PATH_IMAGE018
更新Z，得到：
Figure 434052DEST_PATH_IMAGE019
当达到迭代停止条件时：
Figure 494411DEST_PATH_IMAGE020
停止迭代优化，最后得到稀疏湍流矩阵A，低秩的场景结构矩阵B。
进一步的，步骤四具体步骤如下：
取当前稀疏湍流矩阵A中像素值为1的所有像素，记为Y个；
计算每个位置上，历史序列的图像块和当前序列图像块的相似度值：
Figure 923119DEST_PATH_IMAGE021
其中r表示
Figure 43522DEST_PATH_IMAGE022
中的第r个图像块，
Figure 292100DEST_PATH_IMAGE023
，
Figure 156151DEST_PATH_IMAGE024
表示输入的第i幅图像，
Figure 439365DEST_PATH_IMAGE025
为当前序列图像块；
计算每个位置上，历史序列图像块的清晰度值：
Figure 465090DEST_PATH_IMAGE026
其中
Figure 466544DEST_PATH_IMAGE027
表示求梯度运算；
计算第H时刻，图像块的权重：
Figure 868706DEST_PATH_IMAGE028
其中，
Figure 272006DEST_PATH_IMAGE029
是常数，Vg为清晰度值，Vs为相似度值；
计算融合图像块：
Figure 468632DEST_PATH_IMAGE030
把步骤三的输出按照奇异值分解公式获取当前帧保留运动目标的图像,记为
Figure 691803DEST_PATH_IMAGE031
，再对
Figure 163235DEST_PATH_IMAGE031
和
Figure 155462DEST_PATH_IMAGE032
进行图像融合处理，得到保留了运动目标的去除湍流的影响的融合图
Figure 785639DEST_PATH_IMAGE033
：
Figure 496106DEST_PATH_IMAGE034
Figure 505651DEST_PATH_IMAGE035
是运动目标掩膜；
融合的公式为：
Figure 352384DEST_PATH_IMAGE036
图像增强：采用多尺度方法对图像进行细节增强。
进一步的，所述细节增强的具体步骤为：
对步骤五得到的融合图像进行基础层图像和细节层图像分离，即用三次高斯滤波，得到原图的三张基础层图像：
Figure 421971DEST_PATH_IMAGE037
其中
Figure 354155DEST_PATH_IMAGE038
分别为标准差为1.0,2.0,4.0的高斯核；
通过原图和基础图相减得到原图的细节图：
Figure 167390DEST_PATH_IMAGE039
，
Figure 868630DEST_PATH_IMAGE040
，
Figure 109118DEST_PATH_IMAGE041
将原图和三种细节图进行加权融合得到细节增强图像：
Figure 528598DEST_PATH_IMAGE042
其中w1，w2，w3分别为加权系数。
本发明的有益效果在于：
采用矩阵低秩分解和清晰图像块融合得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合来去除运动目标的拖影以及运动目标模糊问题。
附图说明
图1本发明的流程示意图；
图2细节增强流程图；
图3本发明的去湍流效果图（静态目标）；（a）原图；（b）本发明去湍流后的图；
图4本发明的去湍流效果图（飞翔的小鸟）；（a）原图；（b）本发明去湍流后的图；（c）原图；（d）本发明去湍流后的图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
为了实现上述目的，本发明采用了如下技术方案：
一种结合矩阵低秩分解和动态目标提取去湍流的方法，包括如下步骤:
（1）输入湍流干扰后的序列图像；
（2）提取序列图像中的湍流部分：将序列图像进行矩阵低秩分解，得到图像的场景结构图和湍流掩膜图；
（3）提取当前图像的运动目标：采用SuBSENSE前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；
（4）对当前帧中的湍流部分，在序列图像中选取清晰的图像块融合得到去除湍流的当前图；
（5）对步骤4和步骤3中的运动区域进行融合，得到包含当前运动目标的去除了湍流的图。
实施例1
如图1至图4所示，本发明构建了一种结合矩阵低秩分解和动态目标提取去湍流的方法，其基本思想是利用矩阵低秩分解思想将湍流干扰序列图像分解为场景结构图像和湍流图像，获取到湍流部分后在序列图像中对应位置选取清晰的图像块融合而得到去除湍流的图像块，为了保持场景里的运动目标，采用SuBSENSE前景提取算法，获取到运动目标掩膜，再将运动目标和平滑湍流后的图进行融合，最后再用多尺度细节增强算法对图像细节进行增强，可以得到清晰的去除湍流后的图像。
其中，SuBSENSE前景提取算法是针对自适应敏感度分割(self-balancedsensitivity segmenter，SuBSENSE)算法在真实复杂场景下距离阈值更新适应性差，导致检测效果不佳的问题，提出一种基于背景复杂度自适应距离阈值修正的SuBSENSE算法。本算法优于对比算法，在动态场景下具有更高的鲁棒性和检测精度。
具体包括如下步骤:
（1）获取输入的湍流干扰序列图像(
Figure 879945DEST_PATH_IMAGE043
),N取值为10,可根据场景进调整。
（2）对湍流序列进行矩阵低秩分解，设图像宽高分别为w、h,将每帧图像逐行拉伸为一个
Figure 701271DEST_PATH_IMAGE001
的列向量，记为
Figure 112661DEST_PATH_IMAGE044
，然后把这N个列向量组成一个矩阵，记为
Figure 19437DEST_PATH_IMAGE045
，对M进行分解可表示为求解式（1）
Figure 174474DEST_PATH_IMAGE046
（1）
Figure 850306DEST_PATH_IMAGE047
式（1）中A 是稀疏湍流矩阵，B是低秩的场景结构矩阵；
Figure 229335DEST_PATH_IMAGE048
是矩阵的Frobenius范数，
Figure 620478DEST_PATH_IMAGE049
是矩阵的核范数，
Figure 313627DEST_PATH_IMAGE050
是正则化参数。然后用ADMM交替方向乘子法对式（1）进行求解，定义式（1）的增广拉格朗日公式为：
Figure 109545DEST_PATH_IMAGE051
(2)
式（2）中Z是拉格朗日乘子，
Figure 597158DEST_PATH_IMAGE052
是惩罚因子，
Figure 478526DEST_PATH_IMAGE053
表示矩阵的内积。
其中，交替方向乘子法 (Alternating Direction Methodof Multipliers，ADMM)是一种求解具有可分离性的凸优化问题的计算框架，由于其是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性，处理速度快。ADMM适用于求解分布式凸优化问题，主要应用在解空间规模很大的情况，可以进行分块求解，而且解的绝对精度要求不是太高。
ADMM以先分解再结合的形式求解问题，即先把原问题分解成若干个相对原问题较简单的子问题，再把子问题的解结合起来得到原问题的全局解。
其求解步骤为：
更新A,得到
Figure 975367DEST_PATH_IMAGE054
=
Figure 625791DEST_PATH_IMAGE055
, (3)
其中P表示欧几里得投影。
计算矩阵
Figure 549885DEST_PATH_IMAGE056
的奇异值分解结果得到:
Figure 652970DEST_PATH_IMAGE057
， (4)
Figure 687922DEST_PATH_IMAGE016
更新B,得到
Figure 192853DEST_PATH_IMAGE058
(5)
更新Z,得到
Figure 553427DEST_PATH_IMAGE059
(6)
当达到迭代停止条件时：
Figure 878229DEST_PATH_IMAGE060
(7)
停止迭代优化，最后得到稀疏湍流矩阵A，低秩的场景结构矩阵B。
（3）获取运动目标掩膜：输入序列图像，采用SuBSENSE前景提取算法，获取到当前帧的运动目标掩膜，记为
Figure 982451DEST_PATH_IMAGE061
。
（4）对湍流图像进行清晰图像块融合得到去湍流图像：在步骤二获取到稀疏湍流矩阵后可以获得湍流的位置信息，然后在相应的位置上在序列图像中依据清晰度和相似度的进行图像块融合，形成去湍流的图像。具体步骤如下：
取当前稀疏湍流矩阵A中像素值为1的所有像素，记为Y个
计算每个位置上，历史序列的图像块和当前序列图像块的相似度值：
Figure 341888DEST_PATH_IMAGE062
(8)
其中r表示
Figure 607785DEST_PATH_IMAGE022
中的第r个图像块，
Figure 682532DEST_PATH_IMAGE063
，
Figure 59287DEST_PATH_IMAGE064
表示输入的第i幅图像。
计算每个位置上，历史序列图像块的清晰度值：
Figure 538810DEST_PATH_IMAGE065
(9)
其中
Figure 975608DEST_PATH_IMAGE066
表示求梯度运算。
计算第H时刻，图像块的权重：
Figure 540581DEST_PATH_IMAGE028
(10)
其中，
Figure 721027DEST_PATH_IMAGE029
是常数，Vg为清晰度值，Vs为相似度值；
计算融合图像块：
Figure 55056DEST_PATH_IMAGE067
(11)
（5）把步骤三的输出按照公式（4）获取到当前帧保留运动目标的图像,记为
Figure 662755DEST_PATH_IMAGE068
，再对
Figure 715025DEST_PATH_IMAGE068
和
Figure 495899DEST_PATH_IMAGE069
进行图像融合处理，得到保留了运动目标的去除湍流的影响的融合图
Figure 887697DEST_PATH_IMAGE070
。
Figure 666297DEST_PATH_IMAGE071
(12)
融合的公式为：
Figure 205863DEST_PATH_IMAGE072
(13)
（6）图像增强：采用多尺度方法对图像进行细节增强，具体步骤为：
对步骤五得到的融合图像进行基础层图像和细节层图像分离，即用三次高斯滤波，三次高斯滤波采用的标准差
Figure 524849DEST_PATH_IMAGE073
，依次为1.0,2.0,4.0。得到原图的三张基础层图像。
Figure 833470DEST_PATH_IMAGE074
(14)
其中
Figure 782972DEST_PATH_IMAGE075
分别为标准差为1.0,2.0,4.0的高斯核。
通过原图和基础图相减得到原图的细节图。
Figure 809834DEST_PATH_IMAGE076
，
Figure 70526DEST_PATH_IMAGE077
，
Figure 233654DEST_PATH_IMAGE078
(15)
原图和三种细节图进行加权融合得到细节增强图像。
Figure 416374DEST_PATH_IMAGE079
(16)
本发明的有益效果在于：
采用矩阵低秩分解和清晰图像块融合得到去湍流图像；采用运动目标提取算法，将运动目标部分与去湍流的图像进行融合来去除运动目标的拖影以及运动目标模糊问题。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件（例如元件等）执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件（除非另外指示），即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或***，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种结合矩阵低秩分解和动态目标提取去湍流的方法，其特征在于，包括以下步骤：
步骤一，输入湍流干扰后的序列图像；
步骤二，提取序列图像中的湍流部分：将序列图像进行矩阵低秩分解，得到图像的场景结构图和湍流掩膜图；
所述序列图像进行矩阵低秩分解，包括：
将宽、高分别为w、h的每帧图像逐行拉伸为一个(w×h，1)的列向量，记为vec(Ii)，i＝1，2，…，N，N为输入的湍流干扰序列图像个数，Ii为第i个列向量，然后把这N个列向量组成一个矩阵，记为M＝{vec(I1)，…，vec(IN)}，对M进行如下分解：
minA，Bγ||A||F+||B||*
s.t.A+B＝M
式中A是稀疏湍流矩阵，B是低秩的场景结构矩阵；|| ||F是矩阵的Frobenius范数，|| ||*是矩阵的核范数，γ是正则化参数；
用ADMM交替方向乘子法对上式进行求解，定义公式minA，Bγ||A||F+||B||*、s.t.A+B＝M的增广拉格朗日公式为：
Figure FDA0004058564190000011
其中Z是拉格朗日乘子，β＞0是惩罚因子，<·，·>表示矩阵的内积；
增广拉格朗日公式的求解步骤为：
更新A，得到：
Figure FDA0004058564190000012
其中P表示欧几里得投影，k是迭代次数；
计算矩阵
Figure FDA0004058564190000021
的奇异值分解结果得到：
Figure FDA0004058564190000022
Figure FDA0004058564190000023
其中U，V是奇异值分解里的正交矩阵，
Figure FDA0004058564190000024
是奇异值；
更新B，得到：
Figure FDA0004058564190000025
更新Z，得到：
Zk+1＝Zk-β(Ak+1+Bk+1-M)
当达到迭代停止条件时：
Figure FDA0004058564190000026
停止迭代优化，最后得到稀疏湍流矩阵A，低秩的场景结构矩阵B；
步骤三，提取当前图像的运动目标：采用SuBSENSE前景提取算法提取场景中的运动目标部分，形成运动目标掩膜；
步骤四，对当前帧中的湍流部分，在序列图像中选取清晰的图像块融合得到去除湍流的当前图；
取当前稀疏湍流矩阵A中像素值为1的所有像素，记为Y个；
计算每个位置上，历史序列的图像块和当前序列图像块的相似度值：
Vs＝||Ii(r)-Icurrent(r)||2
其中r表示1，…，M中的第r个图像块，i∈(1，N)，Ii()表示输入的第i幅图像，Icurrent为当前序列图像块；
计算每个位置上，历史序列图像块的清晰度值：
Figure FDA0004058564190000027
其中
Figure FDA0004058564190000031
表示求梯度运算；
计算第H时刻，图像块的权重：
WH，r＝exp(-αVs)×exp(βVg)
其中，α是常数，Vg为清晰度值，Vs为相似度值；
计算融合图像块：
Figure FDA0004058564190000032
将步骤三输出的运动目标掩膜按照奇异值分解公式获取当前帧保留运动目标的图像，记为Iwm，再对Iwm和Imerge进行图像融合处理，得到保留了运动目标的去除湍流的影响的融合图Im：
Iwm＝Icurrent*ImaskB
ImaskB是运动目标掩膜；
融合的公式为：Im＝Imerge*(1-ImaskB)+Iwm
图像增强：采用多尺度方法对图像进行细节增强；
步骤五，对步骤三和步骤四中的图像进行融合，得到包含当前运动目标的去除了湍流的图。
2.根据权利要求1所述的结合矩阵低秩分解和动态目标提取去湍流的方法，其特征在于，所述细节增强的具体步骤为：
对步骤五得到的融合图像进行基础层图像和细节层图像分离，即用三次高斯滤波，得到原图的三张基础层图像：
Ibase1＝G1*Im，IbasP2＝G2*Im，Ibase3＝G3*Im
其中G1，G2，G3分别为标准差为1.0，2.0，4.0的高斯核；
通过原图和基础图相减得到原图的细节图：
Id1＝Im-Ibase1，Id2＝Im-Ibase2，Id3＝Im-Ibase3
将原图和三种细节图进行加权融合得到细节增强图像：
Ie＝w1×Id1+w2×Id2+w3×Id3+Icurrent
其中w1，w2，w3分别为加权系数。
CN202211445041.2A 2022-11-18 2022-11-18 一种结合矩阵低秩分解和动态目标提取去湍流的方法 Active CN115564688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211445041.2A CN115564688B (zh) 2022-11-18 2022-11-18 一种结合矩阵低秩分解和动态目标提取去湍流的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211445041.2A CN115564688B (zh) 2022-11-18 2022-11-18 一种结合矩阵低秩分解和动态目标提取去湍流的方法

Publications (2)

Publication Number Publication Date
CN115564688A CN115564688A (zh) 2023-01-03
CN115564688B true CN115564688B (zh) 2023-03-21

Family

ID=84769655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211445041.2A Active CN115564688B (zh) 2022-11-18 2022-11-18 一种结合矩阵低秩分解和动态目标提取去湍流的方法

Country Status (1)

Country Link
CN (1) CN115564688B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358953A (zh) * 2022-10-21 2022-11-18 长沙超创电子科技有限公司 一种基于图像配准和动态目标融合的去湍流方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122082B (zh) * 2011-03-23 2012-11-07 中国科学院光电技术研究所 一种稀疏光学合成孔径成像***的相位平移误差校正装置
CN106408530A (zh) * 2016-09-07 2017-02-15 厦门大学 基于稀疏与低秩矩阵逼近的高光谱图像恢复方法
US10600158B2 (en) * 2017-12-04 2020-03-24 Canon Kabushiki Kaisha Method of video stabilization using background subtraction
CN110874827B (zh) * 2020-01-19 2020-06-30 长沙超创电子科技有限公司 湍流图像复原方法、装置、终端设备及计算机可读介质
US11928811B2 (en) * 2021-03-30 2024-03-12 Rtx Corporation System and method for structural vibration mode identification
CN113963301A (zh) * 2021-11-04 2022-01-21 西安邮电大学 一种时空特征融合的视频火灾烟雾探测方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358953A (zh) * 2022-10-21 2022-11-18 长沙超创电子科技有限公司 一种基于图像配准和动态目标融合的去湍流方法

Also Published As

Publication number Publication date
CN115564688A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
Casser et al. Depth prediction without the sensors: Leveraging structure for unsupervised learning from monocular videos
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN109685045B (zh) 一种运动目标视频跟踪方法及***
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机***
CN110910421B (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN115358953B (zh) 一种基于图像配准和动态目标融合的去湍流方法
EP3186787A1 (en) Method and device for registering an image to a model
Ye et al. Gaussian grouping: Segment and edit anything in 3d scenes
CN113657387B (zh) 基于神经网络的半监督三维点云语义分割方法
CN113111751B (zh) 一种自适应融合可见光与点云数据的三维目标检测方法
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN107705295B (zh) 一种基于稳健主成分分析法的图像差异检测方法
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
CN115953513A (zh) 一种可驱动三维人头模型重建方法、装置、设备及介质
Zhou et al. PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes
Precioso et al. B-spline active contour with handling of topology changes for fast video segmentation
Sun et al. Adaptive image dehazing and object tracking in UAV videos based on the template updating Siamese network
CN115564688B (zh) 一种结合矩阵低秩分解和动态目标提取去湍流的方法
CN113421210A (zh) 一种基于双目立体视觉的表面点云重建方法
Mathew et al. Self-attention dense depth estimation network for unrectified video sequences
CN117073669A (zh) 一种飞行器定位方法
CN115187768A (zh) 一种基于改进YOLOv5的鱼眼图像目标检测方法
CN111951191A (zh) 一种视频图像去雪方法、装置及存储介质
CN106550173A (zh) 基于surf与模糊聚类的视频稳像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant