CN113222863B - 基于高速铁路运行环境视频自适应去模糊方法及装置 - Google Patents

基于高速铁路运行环境视频自适应去模糊方法及装置 Download PDF

Info

Publication number
CN113222863B
CN113222863B CN202110625709.0A CN202110625709A CN113222863B CN 113222863 B CN113222863 B CN 113222863B CN 202110625709 A CN202110625709 A CN 202110625709A CN 113222863 B CN113222863 B CN 113222863B
Authority
CN
China
Prior art keywords
coordinate system
camera
image
matrix
initial coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110625709.0A
Other languages
English (en)
Other versions
CN113222863A (zh
Inventor
王凡
赵宏伟
刘俊博
王胜春
赵鑫欣
武斯全
苏文婧
曹佳伟
方玥
王乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Infrastructure Inspection Institute of CARS
Beijing IMAP Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Infrastructure Inspection Institute of CARS, Beijing IMAP Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202110625709.0A priority Critical patent/CN113222863B/zh
Publication of CN113222863A publication Critical patent/CN113222863A/zh
Application granted granted Critical
Publication of CN113222863B publication Critical patent/CN113222863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于高速铁路运行环境视频自适应去模糊方法及装置，其中该方法包括：获得摄像机运动参数；基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；获得模糊图像；基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。本发明能够复原出质量较高的图像，有利于提升车载高速铁路运行环境视频的质量，为高速铁路运行环境安全检查任务提供有效数据保障。

Description

基于高速铁路运行环境视频自适应去模糊方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及基于高速铁路运行环境视频自适应去模糊方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
我国高速铁路里程长，跨度大，沿线自然环境非常复杂，定期地进行高速铁路运行环境安全检查，有利于及时地发现线路安全隐患，保障高速列车的安全运行。目前，利用计算机视觉、人工智能等技术基于视频数据进行自动化检测是高速铁路运行环境安全检查的主要技术手段。高速铁路运行环境视频的采集方式分为2种：
(1)利用高速铁路路旁安装的摄像机对特定场景进行全天候监控。这种方式获取的视频图像质量较高，有利于后续的安全检查任务。然而，高速铁路沿线自然环境复杂，部分区段不具备架设摄像机的条件，导致无法获取全线路的运行环境信息；
(2)利用车载摄像机在高速列车行驶过程中拍摄境视频。这种方式能够获取全线路的运行环境信息，但高速列车行驶速度快，拍摄的视频图像存在运动模糊，模糊程度与列车速度正相关，对后续的运行环境安全检测任务造成很大困难。此外，受轨道平顺性影响，高速列车行驶过程中不可避免的会产生振动，同时导致车载摄像机振动，造成散焦模糊。
为了自适应地去除高速行车条件下车载摄像机运动所导致的运动模糊和散焦模糊，使用现有的图像运动模糊复原方法进行处理，以实现采集高质量的高速铁路运行环境视频的目的。去卷积方法是经典的图像运动模糊复原方法，根据点扩散函数(Point SpreadFunction，PSF)是否已知，该类方法又可分为盲去卷积方法和非盲去卷积方法。盲去卷积方法通常是基于贝叶斯框架的随机性方法，利用图像局部内容的统计特性和成像***的先验知识，采用贝叶斯推导方法求解PSF和复原图像，如：最小均方误差法、隐变量法、最大后验概率法和变分法。非盲去卷积方法通常先基于强边缘预测、图像频域和图像内容先验迭代估计图像的PSF，再利用Richardson-Lucy、一阶原始对偶优化和Hyper-Laplacian等算法进行去卷积处理，从而得到复原图像。
近年来，深度卷积神经网络(Deep Convolutional Neural Network，DCNN)在图像去模糊领域取得了许多优秀的成果，如，DeblurGAN系列、EDVR、和PSS-NSC。该类方法的基本原理是先利用条件生成式对抗网络(Conditional Generative Adversarial Networks，C-GAN)从模糊图像重建复原图像，然后，度量复原图像与清晰参考图像的相似度作为网络损失值，迭代更新网络模型各层参数，直至复原图像与清晰图像的相似度达到最优。
然而，现有方法应用于车载高速铁路运行环境视频时，存在以下2个方面的问题：
(1)经典的图像去模糊方法通常假设空间不变的图像模糊，针对特定的图像场景、图像内容等先验知识估计PSF，进而得到复原图像。然而，高速铁路沿线环境不断变化，视频图像的模糊程度也受到列车行驶速度和轨道平顺性的影响，产生的图像模糊是空间变化的，现有方法难以实现自适应地去模糊；
(2)基于DCNN的图像去模糊方法需要人工地构建大量清晰-模糊图像样本对，作为训练网络模型的样本数据。然而，高速行车条件下，很难获得清晰的参考图像用于构建训练样本集。
发明内容
本发明实施例提供一种基于高速铁路运行环境视频自适应去模糊方法，该方法包括：
获得摄像机运动参数；
基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
获得模糊图像；
基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。
本发明实施例还提供一种基于高速铁路运行环境视频自适应去模糊装置，该装置包括：
摄像机运动参数获得模块，用于获得摄像机运动参数；
摄像机的旋转矩阵和平移矩阵确定模块，用于基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
稀疏重采样矩阵确定模块，用于根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
模糊图像获得模块，用于获得模糊图像；
复原图像获得模块，用于基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于高速铁路运行环境视频自适应去模糊方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于高速铁路运行环境视频自适应去模糊方法的步骤。
本发明实施例中，通过获得摄像机运动参数；基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；获得模糊图像；基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像，可以复原空间变化的模糊图像，为高速铁路运行环境安全检查提供有效数据保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中基于高速铁路运行环境视频自适应去模糊方法流程图；
图2为本发明实施例中高速铁路运行环境视频原始图像；
图3为本发明实施例中具体的高速铁路运行环境视频自适应去模糊方法流程图；
图4为本发明实施例中高速铁路运行环境视频去模糊效果对比图；
图5为本发明实施例中原始图像和复原图像的BRISQUE指标对比试验结果；
图6为本发明实施例中基于高速铁路运行环境视频自适应去模糊装置结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1为本发明实施例中基于高速铁路运行环境视频自适应去模糊方法流程图，如图1所示，该方法包括：
步骤101：获得摄像机运动参数；
步骤102：基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
步骤103：根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
步骤104：获得模糊图像；
步骤105：基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。
具体的，本发明提出的基于高速铁路运行环境视频自适应去模糊方法的具体处理流程如图2所示，该方法利用惯性测量单元测量摄像机运动参数，从而解计算摄像机运动轨迹得到平移矩阵和旋转矩阵，然后，计算稀疏重采样矩阵，并与模糊图像共同输入到空间变化的去卷积算法，得到复原图像。
在本发明实施例中，空间变化的图像模糊模型：
通常，空间不变的图像模糊被看作是点扩散函数和加性高斯白噪声共同作用于清晰图像的结果，可形式化为下式：
其中，I表示潜在的清晰图像，K表示点扩散函数，N表示噪声，B表示已知的模糊图像，表示卷积。
然而，摄像机在曝光时间内的运动会导致空间变化的图像模糊，例如：(1)由于图像平面的焦距变化而产生的散焦模糊；(2)由于摄像机平移运动导致的运动模糊；(3)由于摄像机的滚动、偏航和俯仰运动导致的运动模糊。
真实场景中，点(X,Y,Z)在时刻t的光强度经过与摄像机投影矩阵Pt的变换，投影到图像平面的(ut,vt)处的结果为像素值，该过程可表示为：
(ut,vt，1)T＝Pt(X,Y,Z,1)T (2)
在曝光时间内，如果摄像机发生平移或旋转运动，则Pt会随时间而变化，导致场景中同一点每个时刻投影到图像平面的不同位置，产生图像模糊。该点的投影轨迹即是PSF。
摄像机投影矩阵Pt可表示为摄像机内参矩阵A、标准透视投影矩阵C和外参矩阵Et的乘积：
Pt＝ACEt (3)
其中，Et是由摄像机旋转矩阵Rt和平移矩阵Tt组成的时间相关的外参矩阵。根据平面单应性，在t＝0时刻，点(u0,v0)可以映射到其他时刻t：
(ut,vt，1)T＝Ht(d)(u0,v0，1)T (4)
其中，d表示深度值，M是与图像平面正交的单位向量。
因此，给定t＝0时刻的图像I0，其后续t时刻的图像It可表示为：
It＝Ft(d)I0 (6)
式中，Ft(d)表示稀疏重采样矩阵(模糊采样矩阵)，用于实现由平面单应性引起的图像扭曲和重采样。Ft(d)每行包含权重参数，可使用双线性插值算法计算图像平面(ut,vt)处的值作为点(u0,v0，1)T＝Ht(d)-1(ut,vt，1)T的插值。
由此，空间变化的图像模糊模型可表示如下：
其中，S表示积分区间，公式(7)对时刻t积分，S表示总时间；
对于步骤103：公式(4)和(5)是根据旋转矩阵和平移矩阵计算单个点从t0到t的映射关系Ht(d)。Ft(d)则是整幅图像的映射。
基于惯性测量单元的摄像机运动轨迹测量方法：
基于上述空间变化的图像模糊模型，去除空间变化的图像模糊需要求解4个未知量，即曝光时间内的摄像机旋转矩阵Rt、平移矩阵Tt、场景深度d和摄像机内参矩阵A，其中，A可通过摄像机标定获得。
车载高速铁路运行环境视频的模糊是由摄像机运动所导致，因此，可根据曝光时间内摄像机的运动轨迹来计算旋转矩阵Rt和平移矩阵Tt。基于此，本发明提出了一种基于惯性测量单元的摄像机运动轨迹测量方法，根据惯性测量单元测量的运动参数，计算摄像机旋转矩阵和平移矩阵。
惯性测量单元是一种捷联惯导装置，一般由3轴陀螺仪和3轴加速度计组成，用于测量载体在空间3个坐标轴的角速度和加速度，即运动参数。车载高速铁路运行环境视频采集***中，摄像机和惯性测量单元是通过螺栓固定于列车车体，可看作是刚性连接，即惯性测量单元测量的运动参数同时表示列车车体和车载摄像机的运动参数。
惯性测量单元测量的角速度是t时刻坐标系摄像机旋转的角速度，测量的加速度是t时刻坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。具体来说，在曝光时刻[0，t]内，惯性测量单元测量的运动参数如下：
式中，为测量的t时刻坐标系(即当前坐标系)t时刻的角速度，tRi表示从初始坐标系(由i表示)到t时刻坐标系的旋转矩阵，/>为初始坐标系t时刻的角速度，/>为测量的t时刻坐标系下的加速度，/>为初始坐标系下t时刻的角加速度，/>为摄像机重力加速度，/>为初始坐标系下t时刻的加速度，/>为加速度计到旋转中心的向量。
将测量的角速度依次积分并旋转到初始坐标系，即可计算每个时刻初始坐标系的角度位置从而得到摄像机旋转矩阵。
式中，表示初始坐标系下t时刻的角度位置；iRt-1表示从t-1时刻坐标系到初始坐标系的旋转矩阵；/>表示t-1时刻坐标系下t-1时刻的角速度；Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的角度位置；f(·)表示将角度位置转换为旋转矩阵。
然后，可根据旋转矩阵计算初始坐标系加速度：
其中，表示初始坐标系下的加速度；/>表示测量的t时刻坐标系下的加速度。
再将测量的加速度依次积分并旋转到初始坐标系，即可计算每个时刻初始坐标系的相对速度和相对位置/>
其中，表示初始坐标系t时刻的相对位置，/>表示初始坐标系下t-1时刻的加速度，/>表示摄像机重力加速度，Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的相对速度，/>表示初始坐标系t-1时刻的相对位置。
本发明中，由于摄像机运动频率高，可将测量的加速度视为关于恒定重力的正态分布，则加速度的平均值即为重力加速度：
其中，表示初始坐标系下t时刻的加速度。
因此，根据下式计算每个时刻摄像机在初始坐标系的位置，从而得到摄像机平移矩阵Tt。
注意，在t＝0时刻，初始角度位置初始速度/>和初始位置/>均设置为0，初始旋转矩阵为单位矩阵。
空间变化的去卷积算法：
本发明基于贝叶斯框架进行图像去卷积，利用已知的模糊图像B、重采样矩阵F和噪声水平σ2，求解最优的复原图像I′。根据贝叶斯准则，求解过程可表示为后验概率分布的最大化，其等价于最小化负对数似然的总和：
P(I′|B,F)＝P(B|I′)P(I′)/P(B) (17)
arg maxI′P(I′|B)＝arg minI′(L(B|I′)+L(I′)) (18)
其中，P(I′|B,F)表示清晰图像关于模糊图像和重采样矩阵的后验概率；P(B|I′)表示模糊图像关于清晰图像的后验概率；P(I′)表示清晰图像的后验概率；P(B)表示模糊图像的后验概率；P(I′|B)表示清晰图像关于模糊图像的后验概率；L(B|I′)表示模糊图像关于清晰图像的负对数似然；L(I′)表示清晰图像的负对数似然。
根据空间变化的图像模糊模型，模糊图像关于清晰图像的负对数似然可重写为：
L(B|I′)＝||B-F(d)I′||2/σ2 (19)
为了保证稀疏性，L(I′)需要满足超拉普拉斯分布，即，稀疏梯度惩罚项：
其中，λ表示惩罚项权重系数，此惩罚项保证复原图像梯度的稀疏性；表示复原图像I′的梯度。
需要注意的是，场景深度d仍为未知量。因此，在求解最优复原图像I′的过程中，需要隐式地计算场景深度d。具体来说，对于图像平面中某一点(u,v)，在图像空间中搜索其潜在的投影结束点(u′,v′),该点处深度d可根据下式计算：
d＝u/u′＝v/v′ (21)
最后，采样用最小二乘法进行优化，即可求得最优复原图像。优化目标函数可重写为：
通过具体的实例来说明本发明。
车载高速铁路运行环境视频采集***的视频图像分辨率为2048×1536，帧率为25FPS，拍摄的原始视频图像如图3所示。显然，检测列车时速为301Km/h时，图像存在较严重的运动模糊，需要进行去模糊处理。
基于图1和图2所示的基于高速铁路运行环境视频自适应去模糊方法，得到复原图像，以高速综合检测列车为平台，在实际的高速铁路线路进行试验验证，并选用统计特性去模糊方法与本发明方法进行比较，以验证本发明方法的有效性和优越性。
对比结果如图4所示，其中，第1行为50-100km/h速度的视频图像，第2行为100-200km/h速度的视频图像，第3行为200-300km/h速度的视频图像，第4行为300km/h以上速度的视频图像，不同速度等级视频图像的模糊程度不同。为便于观察去模糊效果，将图像的局部区域进行了放大显示。
观察对比结果可知，本方法能够有效地去除不同速度等级视频图像的运动模糊。与统计特性去模糊方法相比，本方法能够更好地去除图像模糊，更多地复原图像的细节信息，更有利于高速铁路运行环境安全检查任务。
由于无法获取清晰的参考图像，无法使用PSNR、RMS等常见的图像评价指标来评价本方法的去模糊效果。因此，采用无需参考图像的BRISQUE指标来评价复原图像的质量，并与统计特性去模糊方法进行比较。具体来说，选取20幅原始视频图像，每种速度等级各5幅，分别使用本方法和统计特性去模糊方法进行去模糊，得到复原图像，然后，计算每幅图像的BRISQUE指标。对比结果如图5所示，其中，BRISQUE值越低，表示图像质量越好。
根据对比试验结果可知，不同速度等级原始图像的质量存在巨大差异，速度等级越低，图像的模糊程度越低，图像质量越好。在低速度时，本方法与统计特性去模糊方法的去模糊效果差异不显著，但在高速度时，本方法仍然能够继续保持较低的BRISQUE指标，复原出质量较高的图像，充分证明了本方法的有效性和优越性。
两次对比试验结果表明，本方法更适合去除车载高速铁路运行环境视频图像的运动模糊，实现了采集高质量运行环境视频数据的目的。
与现有方法相比，本方法的计算复杂度更低，且能够自适应地去不同速度等级的图像模糊，在高速度时，本方法仍然能够继续保持较低的BRISQUE指标，复原出质量较高的图像，有利于提升车载高速铁路运行环境视频的质量，为高速铁路运行环境安全检查任务提供有效数据保障。
本发明实施例中还提供了一种基于高速铁路运行环境视频自适应去模糊装置，如下面的实施例所述。由于该装置解决问题的原理与基于高速铁路运行环境视频自适应去模糊方法相似，因此该装置的实施可以参见基于高速铁路运行环境视频自适应去模糊方法的实施，重复之处不再赘述。
图6为本发明实施例中基于高速铁路运行环境视频自适应去模糊装置结构框图，如图6所示，该装置包括：
摄像机运动参数获得模块02，用于获得摄像机运动参数；
摄像机的旋转矩阵和平移矩阵确定模块04，用于基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
稀疏重采样矩阵确定模块06，用于根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
模糊图像获得模块08，用于获得模糊图像；
复原图像获得模块10，用于基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像。
在本发明实施例中，所述摄像机运动参数包括角速度和加速度；
所述角速度为当前坐标系摄像机旋转的角速度；
所述加速度为当前坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。
在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：
将角速度依次积分并旋转到初始坐标系后，计算每个时刻初始坐标系的角度位置，根据角度位置确定摄像机的旋转矩阵。
在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：
按照如下公式基于摄像机运动参数确定摄像机的旋转矩阵：
其中，其中，表示初始坐标系下t时刻的角度位置；iRt-1表示从t-1时刻坐标系到初始坐标系的旋转矩阵；/>表示t-1时刻坐标系下t-1时刻的角速度；Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的角度位置；tRi表示从初始坐标系到t时刻坐标系的旋转矩阵；f(·)表示将角度位置转换为旋转矩阵，/>表示t时刻坐标系下t时刻的角速度；为初始坐标系下t时刻的角速度。
在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：
根据摄像机的旋转矩阵和摄像机运动参数中的加速度确定初始坐标系加速度；
将初始坐标系加速度依次积分并旋转到初始坐标系，确定每个时刻初始坐标系的相对速度和相对位置；
根据每个时刻初始坐标系的相对速度和相对位置确定摄像机的平移矩阵。
在本发明实施例中，摄像机的旋转矩阵和平移矩阵确定模块04具体用于：
按照如下公式基于摄像机运动参数确定摄像机的平移矩阵：
其中，表示初始坐标系下t时刻的相对位置；tRi表示从初始坐标系到t时刻坐标系的旋转矩阵，/>为初始坐标系t时刻的角速度，/>表示初始坐标系t时刻的相对位置，/>表示初始坐标系下t-1时刻的加速度，/>表示摄像机重力加速度，Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的相对速度，/>表示初始坐标系t-1时刻的相对位置；/>表示初始坐标系下t时刻的加速度，/>表示初始坐标系下的加速度；iRt表示t时刻坐标系到初始坐标系的旋转矩阵；/>表示测量的t时刻坐标系下的加速度，/>表示初始坐标系下t时刻的加速度，/>表示加速度计到旋转中心的向量；/>为初始坐标系下t时刻的角加速度。
在本发明实施例中，复原图像获得模块10具体用于：
按照如下公式基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像：
其中，L(B|I′)表示模糊图像关于清晰图像的负对数似然；B表示模糊图像；I′表示复原图像；F(d)表示基于场景深度d的稀疏重采样矩阵；σ2表示噪声水平；L(I′)表示清晰图像的负对数似然；d表示场景深度；λ表示惩罚项权重系数；▽I′表示复原图像I′的梯度；(u,v)表示模糊图像中的坐标点；(u′,v′)表示模糊图像在图像空间中的投影结束点。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于高速铁路运行环境视频自适应去模糊方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述基于高速铁路运行环境视频自适应去模糊方法的步骤。
本发明实施例中，通过获得摄像机运动参数；基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；获得模糊图像；基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像，可以复原空间变化的模糊图像，为高速铁路运行环境安全检查提供有效数据保障。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于高速铁路运行环境视频自适应去模糊方法，其特征在于，包括：
获得摄像机运动参数；
基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
获得模糊图像；
基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像；
按照如下公式基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像：
其中，L(B|I′)表示模糊图像关于清晰图像的负对数似然；B表示模糊图像；I′表示复原图像；F(d)表示基于场景深度d的稀疏重采样矩阵；σ2表示噪声水平；L(I′)表示清晰图像的负对数似然；d表示场景深度；λ表示惩罚项权重系数；表示复原图像I′的梯度；(u,v)表示模糊图像中的坐标点；(u′,v′)表示模糊图像在图像空间中的投影结束点。
2.如权利要求1所述的基于高速铁路运行环境视频自适应去模糊方法，其特征在于，所述摄像机运动参数包括角速度和加速度；
所述角速度为当前坐标系摄像机旋转的角速度；
所述加速度为当前坐标系下平移加速度、旋转产生的向心加速度和重力加速度之和。
3.如权利要求2所述的基于高速铁路运行环境视频自适应去模糊方法，其特征在于，基于摄像机运动参数确定摄像机的旋转矩阵包括：
将角速度依次积分并旋转到初始坐标系后，计算每个时刻初始坐标系的角度位置，根据角度位置确定摄像机的旋转矩阵。
4.如权利要求3所述的基于高速铁路运行环境视频自适应去模糊方法，其特征在于，按照如下公式基于摄像机运动参数确定摄像机的旋转矩阵：
其中，表示初始坐标系下t时刻的角度位置；iRt-1表示从t-1时刻坐标系到初始坐标系的旋转矩阵；/>表示t-1时刻坐标系下t-1时刻的角速度；Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的角度位置；tRi表示从初始坐标系到t时刻坐标系的旋转矩阵；f(·)表示将角度位置转换为旋转矩阵，/>表示t时刻坐标系下t时刻的角速度；/>为初始坐标系下t时刻的角速度。
5.如权利要求2所述的基于高速铁路运行环境视频自适应去模糊方法，其特征在于，基于摄像机运动参数确定摄像机的平移矩阵包括：
根据摄像机的旋转矩阵和摄像机运动参数中的加速度确定初始坐标系加速度；
将初始坐标系加速度依次积分并旋转到初始坐标系，确定每个时刻初始坐标系的相对速度和相对位置；
根据每个时刻初始坐标系的相对速度和相对位置确定摄像机的平移矩阵。
6.如权利要求5所述的基于高速铁路运行环境视频自适应去模糊方法，其特征在于，按照如下公式基于摄像机运动参数确定摄像机的平移矩阵：
其中，表示初始坐标系下t时刻的相对位置；tRi表示从初始坐标系到t时刻坐标系的旋转矩阵，/>为初始坐标系t时刻的角速度，/>表示初始坐标系t时刻的相对位置，表示初始坐标系下t-1时刻的加速度，/>表示摄像机重力加速度，Δt表示对时间t进行积分；/>表示初始坐标系下t-1时刻的相对速度，/>表示初始坐标系t-1时刻的相对位置；/>表示初始坐标系下t时刻的加速度，/>表示初始坐标系下的加速度；iRt表示t时刻坐标系到初始坐标系的旋转矩阵；/>表示测量的t时刻坐标系下的加速度，/>表示初始坐标系下t时刻的加速度，/>表示加速度计到旋转中心的向量；/>为初始坐标系下t时刻的角加速度。
7.一种基于高速铁路运行环境视频自适应去模糊装置，其特征在于，包括：
摄像机运动参数获得模块，用于获得摄像机运动参数；
摄像机的旋转矩阵和平移矩阵确定模块，用于基于摄像机运动参数确定摄像机的旋转矩阵和平移矩阵；
稀疏重采样矩阵确定模块，用于根据摄像机的旋转矩阵和平移矩阵确定稀疏重采样矩阵；
模糊图像获得模块，用于获得模糊图像；
复原图像获得模块，用于基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像；
复原图像获得模块，具体用于按照如下公式基于稀疏重采样矩阵和模糊图像，采用空间变化的去卷积算法，获得复原图像：
其中，L(B|I′)表示模糊图像关于清晰图像的负对数似然；B表示模糊图像；I′表示复原图像；F(d)表示基于场景深度d的稀疏重采样矩阵；σ2表示噪声水平；L(I′)表示清晰图像的负对数似然；d表示场景深度；λ表示惩罚项权重系数；表示复原图像I′的梯度；(u,v)表示模糊图像中的坐标点；(u′,v′)表示模糊图像在图像空间中的投影结束点。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述基于高速铁路运行环境视频自适应去模糊方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一所述基于高速铁路运行环境视频自适应去模糊方法的步骤。
CN202110625709.0A 2021-06-04 2021-06-04 基于高速铁路运行环境视频自适应去模糊方法及装置 Active CN113222863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110625709.0A CN113222863B (zh) 2021-06-04 2021-06-04 基于高速铁路运行环境视频自适应去模糊方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110625709.0A CN113222863B (zh) 2021-06-04 2021-06-04 基于高速铁路运行环境视频自适应去模糊方法及装置

Publications (2)

Publication Number Publication Date
CN113222863A CN113222863A (zh) 2021-08-06
CN113222863B true CN113222863B (zh) 2024-04-16

Family

ID=77082955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110625709.0A Active CN113222863B (zh) 2021-06-04 2021-06-04 基于高速铁路运行环境视频自适应去模糊方法及装置

Country Status (1)

Country Link
CN (1) CN113222863B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
KR101181161B1 (ko) * 2011-05-19 2012-09-17 한국과학기술원 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체
US9007490B1 (en) * 2013-03-14 2015-04-14 Amazon Technologies, Inc. Approaches for creating high quality images
CN109272456A (zh) * 2018-07-25 2019-01-25 大连理工大学 基于视觉先验信息的模糊图像高精度还原方法
CN110677556A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种基于相机定位的图像去模糊方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
US8264553B2 (en) * 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
KR101181161B1 (ko) * 2011-05-19 2012-09-17 한국과학기술원 카메라 자체 움직임에 의한 이미지 블러를 제거하는 장치 및 방법, 그리고 그러한 방법이 컴퓨터상에서 실행하는 프로그램이 수록된 컴퓨터로 판독 가능한 기록매체
US9007490B1 (en) * 2013-03-14 2015-04-14 Amazon Technologies, Inc. Approaches for creating high quality images
CN109272456A (zh) * 2018-07-25 2019-01-25 大连理工大学 基于视觉先验信息的模糊图像高精度还原方法
CN110677556A (zh) * 2019-08-02 2020-01-10 杭州电子科技大学 一种基于相机定位的图像去模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁棒的非线性优化的立体视觉-惯导SLAM;林辉灿;吕强;王国胜;卫恒;梁冰;;机器人(06);全文 *

Also Published As

Publication number Publication date
CN113222863A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
Li et al. Aod-net: All-in-one dehazing network
CN110097509B (zh) 一种局部运动模糊图像的复原方法
JP5865552B2 (ja) 動画に含まれたヘーズを除去する映像処理装置及びその方法
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
Nair et al. At-ddpm: Restoring faces degraded by atmospheric turbulence using denoising diffusion probabilistic models
US9589328B2 (en) Globally dominant point spread function estimation
CN112597864B (zh) 一种监控视频异常检测方法及装置
CN113034634B (zh) 基于脉冲信号的自适应成像方法、***及计算机介质
US9008453B2 (en) Blur-kernel estimation from spectral irregularities
CN109743495A (zh) 视频图像电子增稳方法及装置
CN107220945B (zh) 多重退化的极模糊图像的复原方法
CN108876807B (zh) 一种实时星载卫星图像运动对象检测跟踪方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和***
CN113222863B (zh) 基于高速铁路运行环境视频自适应去模糊方法及装置
CN111031258A (zh) 月球车导航相机曝光参数确定方法及装置
CN114972081A (zh) 一种基于盲复原的复杂光学成像条件下图像复原方法
Carbajal et al. Single image non-uniform blur kernel estimation via adaptive basis decomposition
CN114399532A (zh) 一种相机位姿确定方法和装置
CN113379821B (zh) 一种基于深度学习的稳定单目视频深度估计方法
CN111369592A (zh) 一种基于牛顿插值的快速全局运动估计方法
Gao et al. Aero-optical image and video restoration based on mean filter and adversarial network
Zheng A Survey on Single Image Deblurring
CN114723611B (zh) 图像重建模型训练方法、重建方法、装置、设备及介质
Chan et al. Image deblurring using a hybrid optimization algorithm
Hu et al. Multi-scale feature fusion algorithm based on generative adversarial network for motion deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant