CN114519832A - 基于仿射逆变换模型的视频全局运动补偿方法 - Google Patents

基于仿射逆变换模型的视频全局运动补偿方法 Download PDF

Info

Publication number
CN114519832A
CN114519832A CN202210145390.6A CN202210145390A CN114519832A CN 114519832 A CN114519832 A CN 114519832A CN 202210145390 A CN202210145390 A CN 202210145390A CN 114519832 A CN114519832 A CN 114519832A
Authority
CN
China
Prior art keywords
image
point
pixel
points
global motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210145390.6A
Other languages
English (en)
Inventor
夏星宇
刘伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210145390.6A priority Critical patent/CN114519832A/zh
Publication of CN114519832A publication Critical patent/CN114519832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及基于仿射逆变换模型的视频全局运动补偿方法。本发明结合SURF和MSAC方法处理，得到视频序列全局运动的仿射变换模型，对视频序列的全局运动进行估计，提出仿射变换的逆变换模型，用于对全局运动的补偿，实现视频序列动态背景到静态背景的转换。首先，在动态背景下的视频序列提取各相邻帧间特征点匹配对，然后剔除不满足运动变换的特征点匹配对，拟合得到描述视频序列全局运动变化的仿射变换矩阵，最后做逆变换，依次作用于各相邻帧，对全局运动进行补偿，并由第一帧图像为标准创建输出视图，输出经全局运动补偿后的视频序列，用于目标检测。本发明方法全局运动补偿后的图像帧失真程度小，具有更好的鲁棒性和准确性。

Description

基于仿射逆变换模型的视频全局运动补偿方法
技术领域
本发明属于数字图像处理技术领域，尤其是数字图像处理和目标检测领域，具体涉及一种基于仿射逆变换模型的视频全局运动补偿方法。
背景技术
利用视频对运动目标进行检测、识别、跟踪以及人的行为分析等智能分析技术目前已经广泛运用于军事、智能交通、医学等领域，其中运动目标的检测是最基础和最关键的环节。在视频序列中，根据摄录设备自身的运动与否，主要分为静态背景下的目标检测和动态背景下的目标检测，其中背景的运动通常是由摄录设备位置的变化造成的，称为全局运动；而前景的运动是运动对象相对于摄录设备的运动，为局部运动。静态背景下的目标检测主要有帧差法、背景差分法等，这些方法在静态背景下取得了明显的效果，且方法成熟准确性高。然而相比于静态背景下的目标检测，由于全局运动的存在，使得对动态背景下的视频序列进行目标检测的虚警大大增加，因此在对动态背景下的目标进行检测之前，有必要将全局运动进行估计和补偿，以消除全局运动带来的影响。
传统的全局运动补偿方法，通过SIFT(Scale-invariant feature transform)、SURF(Speed Up Robust Features)等图像间的特征点匹配方法，获取视频序列图像帧间的运动模型，对全局运动进行估计，并将图像做模型变换实现对后一帧图像的预测，得到补偿帧图像。当运动目标运动缓慢时，连续两帧图像中的运动目标和背景运动差异度小，运动目标容易被补偿成背景，造成运动目标的提取不完整。为了更好的提取运动目标，本发明着手于视频序列动态背景到静态背景的转换，建立仿射变换的逆变换模型依次作用于各帧图像，对全局运动进行补偿，并用特定视图输出经全局运动补偿后的视频序列，该视频序列可直接利用帧差法获取较为完整的运动目标。
发明内容
本发明的目的就是提供一种基于仿射逆变换模型的视频全局运动补偿方法。
本发明方法将SURF方法结合MSAC(M-Estimate Sample Consensus)方法，获得能够较为准确描述动态背景下视频序列全局运动的仿射变换模型，在此基础上建立仿射变换的逆变换模型依次作用于各帧图像，对全局运动进行补偿，并用特定视图输出经全局运动补偿后的视频序列，实现视频序列动态背景到静态背景的转换。本发明方法具体步骤是：
步骤(1)动态背景下的视频序列V为一个由N帧图像组成的有序集合VN(ΘN)：
VN(ΘN)＝{I1(θ1),I2(θ2),…,IN(θN)}；第n帧图像In(θn)＝Inb(θnb)∪Ino(θno)，n＝1,2,…,N，Inb(θnb)表示组成第n帧图像中组成背景的像素点集，Ino(θno)表示第n帧图像中所有的运动目标的像素点集，且共有M个运动目标，
Figure BDA0003508676940000021
第n帧图像背景像素点的运动状态θnb＝[an,bn,tn]T，其中的运动参数an、bn、tn分别描述了背景的缩放、旋转以及平移状态，T表示转置；以第n帧图像的第m个运动目标形心为标准的前景运动目标的运动状态
Figure BDA0003508676940000022
该运动状态叠加了此时的背景运动状态θnb和自身的运动状态
Figure BDA0003508676940000026
步骤(2)结合SURF和MSAC方法生成描述全局运动的仿射变换模型：
(2.1)建立动态背景下的视频序列V中各相邻帧图像间的特征点匹配对集，具体如下：
(2.1.1)利用Hessian矩阵生成图像中所有的兴趣点：
在构建Hessian矩阵前需要对图像进行高斯滤波，在第n帧图像对应的灰度图像中像素点P(u,v)处建立Hessian矩阵H：
Figure BDA0003508676940000023
L(P,σ)是像素点P处的图像In(P)和二阶高斯模板的卷积，即：
Figure BDA0003508676940000024
σ为高斯模糊系数，下标uu、uv、vu、vv为二阶导数标记；中间参数
Figure BDA0003508676940000025
每个像素点的Hessian矩阵行列式为：det(H)＝LuuLvv-(0.9Luv)2，如果行列式的值不为0，则判定该像素点为可能的极值点，即为兴趣点。
(2.1.2)兴趣点筛选：
在每个兴趣点d×d×d的邻域处，利用大小为d×d的滤波器，进行非极值抑制：将每一个兴趣点与其尺度空间和二维图像空间邻域内的d3-1个像素点进行比较，若不为极大值或极小值则剔除，留下的关键点作为特征点保存。
(2.1.3)特征点匹配：
以每个特征点为中心建立g×g的区块，且每个区块包含h×h个像素，然后将区块旋转到特征方向。对每个小区块利用Haar小波计算响应值，然后用特征向量D＝[∑dx,∑|dx|,∑dy,∑|dy|]表示该小区块的特征，∑dx和∑dy分别表示相对于特征方向的水平方向和垂直方向Haar小波响应值，∑|dx|和∑|dy|分别表示相对于特征方向的水平方向和垂直方向Haar小波响应绝对值之和。将g×g个区块的特征向量进行组合，得到该特征点的Z维特征描述子，Z＝4×g×g。
由上述方法分别对动态背景下的视频序列V中相邻两帧图像Ik(θk)、Ik+1(θk+1)的特征点建立特征点集：
Figure BDA0003508676940000031
E为Ik(θk)的特征点数量，F为Ik+1(θk+1)的特征点数量。
与特征点集αk对应的描述子集为
Figure BDA0003508676940000032
与特征点集αk+1对应的描述子集为
Figure BDA0003508676940000033
且R(αk)和R(αk+1)中的描述子均具有Z维特征。
由两个描述子集中各描述子的比对，完成对图像Ik(θk)和Ik+1(θk+1)特征点的匹配：采用欧式距离衡量其相似度，欧氏距离越短，表示两个特征点的匹配度越好，最终挑选出最佳的特征点匹配点：
Figure BDA0003508676940000034
Figure BDA0003508676940000035
其中，
Figure BDA0003508676940000036
表示图像Ik(θk)的特征点描述子集R(αk)中第e个特征点的描述子，
Figure BDA0003508676940000037
表示该描述子的第z维特征，z＝1,2,…,Z；
Figure BDA0003508676940000038
表示图像Ik+1(θk+1)的特征点描述子集
Figure BDA0003508676940000039
中的第f个特征点的描述子，
Figure BDA00035086769400000310
表示该描述子的第z维特征；
Figure BDA00035086769400000311
表示描述子
Figure BDA00035086769400000312
和
Figure BDA00035086769400000313
相似性的度量，当度量的值小于设定阈值λ，便将对应的特征点
Figure BDA00035086769400000314
和
Figure BDA00035086769400000315
作为特征点匹配对。
将满足上述条件的所有特征点匹配对组成图像Ik(θk)和Ik+1(θk+1)间的特征点匹配对集：
Figure BDA0003508676940000041
(2.2)全局运动估计：
相邻图像间的特征点匹配对集S中的大多数特征点匹配对都可以由一个模型生成，且至少有ns个点对能够用来拟合模型参数，而这些参数按照以下迭代方式进行拟合，ns≤min(E,F)：
(2.2.1)从特征点匹配对集S中随机选取nk个特征点，nk≤ns，用这nk个特征点拟合一个模型Mk；
(2.2.2)对于S中剩余的特征点，计算每个点的变换误差，如果误差超过阈值，则将其标识为局外点，否则被识别为局内点，将局内点进行扩充记录到当前局内点集IS中；
(2.2.3)如果当前局内点集IS的代价函数
Figure BDA0003508676940000042
小于最优局内点集ISbest的代价函数Cbest，则将最优局内点集更新为ISbest＝IS；其中，W为误差函数，
Figure BDA0003508676940000043
为估计的模型参数，s为特征点匹配对集S中的一对匹配点；L为损失函数，
Figure BDA0003508676940000044
式中γ为误差函数W计算得到的误差，T为误差阈值，用于区分局内点；
(2.2.4)迭代操作，如果达到迭代次数
Figure BDA0003508676940000045
则结束，否则，迭代次数加一重复上述操作。其中，w为G次迭代后ns个点作为局内点的概率，ω为S中局内点的比例。
将经过MSAC方法得到图像Ik(θk)和Ik+1(θk+1)间的局内点匹配对组成新的匹配对集Si，同时由迭代过程得到图像Ik(θk)和Ik+1(θk+1)间全局运动的拟合模型——仿射变换矩阵：
Figure BDA0003508676940000046
式中，
Figure BDA0003508676940000047
表示两特征点坐标平移量，
Figure BDA0003508676940000048
反映了两特征点之间对应的旋转变化，
Figure BDA0003508676940000049
反映了两特征点之间对应的放缩变化，这六个参数共同作为图像Ik+1(θk+1)的全局运动状态估计量
Figure BDA00035086769400000410
的参数。
在经过上述方法获得动态背景下的视频序列V中，对于所有描述相邻帧图像间的全局运动估计的仿射变换矩阵
Figure BDA00035086769400000411
由其中运动参数(a,b,t)的变化对整个视频序列背景运动的变化过程进行估计。
步骤(3)全局运动补偿：
(3.1)创建输出视图：
以视频序列中第一帧图像I1(θ1)的左上角为原点定义直角坐标系u1-v1，图像中每一个像素(u,v)的坐标分别表示该像素在图像数组中的列数和行数，其值为该像素点的灰度，建立以厘米为单位的成像平面坐标系x1-y1，该坐标系以图像的中心为原点。将成像平面坐标系x1-y1作为输出视图的成像平面坐标系，并将I1(θ1)在成像平面上的像素坐标范围作为输出视图的像素范围，建立输出视图。
(3.2)对全局运动进行补偿：
对第k+1帧图像Ik+1(θk+1)进行全局运动补偿，以其补偿过程为例：首先对仿射变换矩阵{M1,M2,…,Mk}做逆变换得到逆变换矩阵
Figure BDA0003508676940000051
再将仿射变换的逆变换矩阵作用于Ik+1(θk+1)的每个像素：
Figure BDA0003508676940000052
得到新的第k+1帧图像
Figure BDA0003508676940000053
(uk+1,vk+1)表示Ik+1(θk+1)的像素坐标，
Figure BDA0003508676940000054
表示像
Figure BDA0003508676940000055
的像素坐标。将经图像
Figure BDA0003508676940000056
通过以第一帧图像为标准建立的输出视图输出，得到全局运动补偿后的第k+1帧图像
Figure BDA0003508676940000057
其中，因原视频序列V中存在着全局运动，导致不同帧图像捕获的场景不完全一致，即出现在前一帧图像中的某些像素点不一定会出现在后一帧图像当中。所以当
Figure BDA0003508676940000058
在坐标系x1-y1上的像素坐标超出输出视图像素坐标范围时(如图2中图像的非阴影部分)，表示由该像素点所构成的场景并未出现在第一帧图像之中，于是该像素点不会被包含在输出视图中，如图2所示，输出视图中阴影部分的像素值为图像
Figure BDA0003508676940000059
中的相应位置的像素值，其余部分(输出视图的非阴影部分)的像素值赋值为0。
至此，第k+1帧图像I′k+1(θ′k+1)中，标记为i的运动目标的运动状态为：
Figure BDA00035086769400000510
其中，θ(k+1)b为图像Ik+1(θk+1)中全局运动的状态量，
Figure BDA00035086769400000512
为图像Ik+1(θk+1)中标记为i的运动目标自身的运动状态，
Figure BDA00035086769400000511
为图像Ik+1(θk+1)中全局运动状态的估计量。
对{I2(θ2),I3(θ3),…,IN(θN)}依次按照上述仿射变换的逆变换模型进行全局运动补偿，并将补偿后的图像按顺序连接成新的视频视频序列V′：
VN′(ΘN)＝{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}；
其中{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}的图像坐标系以及成像平面坐标系均一致，都是以图像I1(θ1)为标准建立的，且视频序列V′只存在前景运动目标的运动。
对视频序列V′相邻的两帧灰度图像用帧差法作差Dk(x,y)＝|I′k+1(x,y)-I′k(x,y)|，将差值Dk(x,y)大于等于设定阈值的像素点归为运动物体的像素点，而插值Dk(x,y)小于设定阈值的像素点归为背景像素点，其中I′k(x,y)和I′k+1(x,y)为视频序列V′中相邻两帧图像I′k(θ′k)和I′k+1(θ′k+1)中像素点的灰度值。
本发明采用一种评价图像的客观标准——峰值信噪比(Peak Signal to NoiseRatio，PSNR)，来证明文中方法的有效性，其中PSNR值越大，就代表图像失真越少。将组成动态背景下的视频序列V的所有图像中，相邻两帧图像的灰度图计算PSNR值；传统全局运动估计算法得到的补偿帧图像与原灰度图像计算PSNR值。本文发明方法得到的全局运动补偿后的相邻两帧灰度图像计算PSNR值。对以上三种方法所得的PSNR值进行比较，可发现本发明方法得到的PSNR值均最大，说明本发明方法得到的全局运动补偿后的图像帧失真程度最小，即本发明方法具有更好的鲁棒性和准确性。
附图说明
图1为本发明方法流程图；
图2为视频序列输出视图的示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
基于仿射逆变换模型的视频全局运动补偿方法，具体步骤如图1所示：
步骤(1)动态背景下的视频序列V为一个由N帧图像组成的有序集合VN(ΘN)，本实施例N＝280：
VN(ΘN)＝{I1(θ1),I2(θ2),…,IN(θN)}；第n帧图像In(θn)＝Inb(θnb)∪Ino(θno)，n＝1,2,…,N，Inb(θnb)表示组成第n帧图像中组成背景的像素点集，Ino(θno)表示第n帧图像中所有的运动目标的像素点集，且共有两个运动目标，
Figure BDA0003508676940000071
第n帧图像背景像素点的运动状态θnb＝[an,bn,tn]T，其中的运动参数an、bn、tn分别描述了背景的缩放、旋转以及平移状态，T表示转置；以第n帧图像的两个运动目标形心为标准的前景运动目标的运动状态
Figure BDA0003508676940000072
该运动状态叠加了此时的背景运动状态θnb和自身的运动状态
Figure BDA0003508676940000073
步骤(2)结合SURF和MSAC方法生成描述全局运动的仿射变换模型：
(2.1)建立动态背景下的视频序列V中各相邻帧图像间的特征点匹配对：
SURF是一种常用特征点匹配算法，在匹配同一场景中的两幅图像时，首先利用Hessian矩阵生成图像中所有的兴趣点，然后经过剔除不合理兴趣点后提取出特征点，生成它们的描述子，并通过描述子的比对获得特征点匹配对。
(2.1.1)利用Hessian矩阵生成图像中所有的兴趣点：
Hessian矩阵是一共多元函数的二阶偏导构成的方阵，描述了各方向上的灰度梯度变化，获得所有“可疑”的极值点，生成兴趣点。在构建Hessian矩阵前需要对图像进行高斯滤波，在第n帧图像对应的灰度图像中像素点P(u,v)处建立Hessian矩阵H：
Figure BDA0003508676940000074
L(P,σ)是像素点P处的图像In(P)和二阶高斯模板的卷积，即：
Figure BDA0003508676940000075
σ为高斯模糊系数，下标uu、uv、vu、vv为二阶导数标记；中间参数
Figure BDA0003508676940000076
每个像素点的Hessian矩阵行列式为：det(H)＝LuuLvv-(0.9Luv)2，该式也为Hessian矩阵的辨别式，其中0.9为权重系数，如果行列式的值不为0，则判定该像素点为可能的极值点，即为兴趣点。
(2.1.2)兴趣点筛选：
为了获得In(θn)中真正可以用于特征匹配的特征点，需要对兴趣点进行筛选。在每个兴趣点3×3×3的邻域处，利用大小为3×3的滤波器，进行非极值抑制：将每一个兴趣点与其尺度空间和二维图像空间邻域内的26个像素点进行比较，若不为极大值或极小值则剔除，留下的关键点作为特征点保存。
(2.1.3)特征点匹配：
为了获得特征点匹配对需要生成特征点的描述子，以每个特征点为中心建立4×4的区块，且每个区块包含5×5个像素，然后将区块旋转到特征方向。对每个小区块利用Haar小波计算响应值，然后用特征向量D＝[∑dx,∑|dx|,∑dy,∑|dy|]表示该小区块的特征，∑dx和∑dy分别表示相对于特征方向的水平方向和垂直方向Haar小波响应值，∑|dx|和∑|dy|分别表示相对于特征方向的水平方向和垂直方向Haar小波响应绝对值之和。将4×4个区块的特征向量进行组合，得到该特征点的Z维特征描述子，Z＝64。
由上述方法分别对动态背景下的视频序列V中相邻两帧图像Ik(θk)、Ik+1(θk+1)的特征点建立特征点集：
Figure BDA0003508676940000081
E为Ik(θk)的特征点数量，F为Ik+1(θk+1)的特征点数量；
与特征点集αk对应的描述子集为
Figure BDA0003508676940000082
与特征点集αk+1对应的描述子集为
Figure BDA0003508676940000083
且R(αk)和R(αk+1)中的描述子均具有64维特征；
由两个描述子集中各描述子的比对，完成对图像Ik(θk)和Ik+1(θk+1)特征点的匹配：采用欧式距离衡量其相似度，欧氏距离越短，表示两个特征点的匹配度越好，最终挑选出最佳的特征点匹配点：
Figure BDA0003508676940000084
Figure BDA0003508676940000085
其中，
Figure BDA0003508676940000086
表示图像Ik(θk)的特征点描述子集R(αk)中第e个特征点的描述子，
Figure BDA0003508676940000087
表示该描述子的第z维特征，z＝1,2,…,Z；
Figure BDA0003508676940000088
表示图像Ik+1(θk+1)的特征点描述子集
Figure BDA0003508676940000089
中的第f个特征点的描述子，
Figure BDA00035086769400000810
表示该描述子的第z维特征；
Figure BDA00035086769400000811
表示描述子
Figure BDA00035086769400000812
和
Figure BDA00035086769400000813
相似性的度量，当度量的值小于设定阈值λ，便将对应的特征点
Figure BDA00035086769400000814
和
Figure BDA00035086769400000815
作为特征点匹配对。
将满足上述条件的所有特征点匹配对组成图像Ik(θk)和Ik+1(θk+1)间的特征点匹配对集：
Figure BDA0003508676940000091
(2.2)全局运动估计：
为了获得动态背景下的视频序列V中相邻帧图像Ik(θk)和Ik+1(θk+1)间精确运动参数，并实现对背景运动的估计，需要尽可能剔除特征点匹配对集S中一部分不满足运动变换的特征点匹配对，本发明结合MSAC算法尽可能去除SURF所得特征点匹配对集S中的局外点。
图像间的特征点匹配对集S中的大多数特征点匹配对都可以由一个模型生成，且至少有ns个点对能够用来拟合模型参数，而这些参数按照以下迭代方式进行拟合，ns≤min(E,F)：
(2.2.1)从特征点匹配对集S中随机选取nk个特征点，nk≤ns，用这nk个特征点拟合一个模型Mk；
(2.2.2)对于S中剩余的特征点，计算每个点的变换误差，如果误差超过阈值，则将其标识为局外点，否则被识别为局内点，将局内点进行扩充记录到当前局内点集IS中；
(2.2.3)如果当前局内点集IS的代价函数
Figure BDA0003508676940000092
小于最优局内点集ISbest的代价函数Cbest，则将最优局内点集更新为ISbest＝IS；其中，W为误差函数，
Figure BDA0003508676940000093
为估计的模型参数，s为特征点匹配对集S中的一对匹配点；L为损失函数，
Figure BDA0003508676940000094
式中γ为误差函数W计算得到的误差，T为误差阈值，用于区分局内点；
(2.2.4)迭代操作，如果达到迭代次数
Figure BDA0003508676940000095
则结束，否则，迭代次数加一重复上述操作。其中，w为G次迭代后ns个点作为局内点的概率，一般取值为0.99；ω为S中局内点的比例。
由于前景目标和背景的运动速度不一致，且相比于背景，前景目标上的特征点要少得多，于是在反复迭代最终得到运动模型的过程中，会因前景目标特征点间的变换误差超过阈值而作为局外点被剔除。
将经过MSAC方法得到图像Ik(θk)和Ik+1(θk+1)间的局内点匹配对组成新的匹配对集Si，同时由迭代过程得到图像Ik(θk)和Ik+1(θk+1)间全局运动的拟合模型——仿射变换矩阵：
Figure BDA0003508676940000101
式中，
Figure BDA0003508676940000102
表示两特征点坐标平移量，
Figure BDA0003508676940000103
反映了两特征点之间对应的旋转变化，
Figure BDA0003508676940000104
反映了两特征点之间对应的放缩变化，这六个参数共同作为图像Ik+1(θk+1)的全局运动状态估计量
Figure BDA0003508676940000105
的参数。
在经过上述方法获得动态背景下的视频序列V中，所有描述相邻帧图像间的全局运动估计的仿射变换矩阵
Figure BDA0003508676940000106
后，由其中运动参数(a,b,t)的变化可对整个视频序列背景运动的变化过程进行估计。
步骤(3)全局运动补偿：
(3.1)创建输出视图：
以视频序列中第一帧图像I1(θ1)的左上角为原点定义直角坐标系u1-v1，图中每一个像素(u,v)的坐标分别表示该像素在图像数组中的列数和行数，其值为该像素点的灰度，并称u1-v1是以像素为单位的图像坐标系。因为图像坐标系无法表示出该像素在图像中的物理位置，建立以厘米为单位的成像平面坐标系x1-y1，该坐标系以图像的中心为原点。将成像平面坐标系x1-y1作为输出视图的成像平面坐标系，并将I1(θ1)在成像平面上的像素坐标范围作为输出视图的像素范围，建立输出视图，如图2所示。
(3.2)对全局运动进行补偿：
在获得相邻帧图像运动参数的基础上，本发明提出一种基于仿射逆变换模型的全局运动补偿算法，对动态背景下的视频序列V逐帧进行运动补偿。为了方便描述，对第k+1帧图像Ik+1(θk+1)进行全局运动补偿，以其补偿过程为例：首先对仿射变换矩阵{M1,M2,…,Mk}做逆变换得到逆变换矩阵
Figure BDA0003508676940000107
再将仿射变换的逆变换矩阵作用于Ik+1(θk+1)的每个像素：
Figure BDA0003508676940000108
得到新的第k+1帧图像
Figure BDA0003508676940000109
(uk+1,vk+1)表示Ik+1(θk+1)的像素坐标，
Figure BDA00035086769400001010
表示像
Figure BDA00035086769400001011
的像素坐标。由于是由的像素坐标经过参数计算得到的，导致图像在其成像平面内的位置发生改变，且每帧图像都有不同的成像平面坐标系，导致图像的成像标准各异。为了解决这个问题，本发明将经图像
Figure BDA00035086769400001012
通过以第一帧图像为标准建立的输出视图输出，得到全局运动补偿后的第k+1帧图像I′k+1(θ′k+1)。其中，因原视频序列V中存在着全局运动，导致不同帧图像捕获的场景不完全一致，即出现在前一帧图像中的某些像素点不一定会出现在后一帧图像当中。所以当
Figure BDA0003508676940000111
在坐标系x1-y1上的像素坐标超出输出视图像素坐标范围时(如图2中图像的非阴影部分)，表示由该像素点所构成的场景并未出现在第一帧图像之中，于是该像素点不会被包含在输出视图中，如图2所示，输出视图中阴影部分的像素值为图像
Figure BDA0003508676940000112
中的相应位置的像素值，其余部分(输出视图的非阴影部分)的像素值赋值为0。
至此，第k+1帧图像I′k+1(θ′k+1)中，标记为i的运动目标的运动状态为：
Figure BDA0003508676940000113
其中，θ(k+1)b为图像Ik+1(θk+1)中全局运动的状态量，
Figure BDA0003508676940000115
为图像Ik+1(θk+1)中标记为i的运动目标自身的运动状态，
Figure BDA0003508676940000114
为图像Ik+1(θk+1)中全局运动状态的估计量。
对{I2(θ2),I3(θ3),…,IN(θN)}依次按照上述仿射变换的逆变换模型进行全局运动补偿，并将补偿后的图像按顺序连接成新的视频视频序列V′：
V′N(ΘN)＝{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}；
其中{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}的图像坐标系以及成像平面坐标系均一致，都是以图像I1(θ1)为标准建立的，且视频序列V′只存在前景运动目标的运动。
对视频序列V′相邻的两帧灰度图像用帧差法作差Dk(x,y)＝|I′k+1(x,y)-I′k(x,y)|，将差值Dk(x,y)大于等于设定阈值的像素点归为运动物体的像素点，而插值Dk(x,y)小于设定阈值的像素点归为背景像素点，由此来确定图像序列中有无运动物体，其中I′k(x,y)和I′k+1(x,y)为视频序列V′中相邻两帧图像I′k(θ′k)和I′k+1(θ′k+1)中像素点的灰度值。以此确定图像序列中一直存在着两个运动物体，且属于运动物体像素点集的像素值不为0，而属于背景的像素点值均为0，由此可在图像中清楚地提取出运动物体。

Claims (4)

1.基于仿射逆变换模型的视频全局运动补偿方法，其特征在于，该方法具体是：
步骤(1)动态背景下的视频序列V为一个由N帧图像组成的有序集合VN(ΘN)：
VN(ΘN)＝{I1(θ1),I2(θ2),…,IN(θN)}；第n帧图像In(θn)＝Inb(θnb)∪Ino(θno)，n＝1,2,…,N，Inb(θnb)表示组成第n帧图像中组成背景的像素点集，Ino(θno)表示第n帧图像中所有的运动目标的像素点集，且共有M个运动目标，
Figure FDA0003508676930000011
步骤(2)结合SURF和MSAC方法生成描述全局运动的仿射变换模型：
(2.1)建立动态背景下的视频序列V中各相邻帧图像间的特征点匹配对集S：
(2.2)相邻图像间的特征点匹配对集S中随机选取点对拟合模型参数，对于所有描述相邻帧图像间的全局运动估计的仿射变换矩阵
Figure FDA0003508676930000012
由其中运动参数(a,b,t)的变化对整个视频序列背景运动的变化过程进行估计；
步骤(3)全局运动补偿；
(3.1)创建输出视图：
以视频序列中第一帧图像I1(θ1)的左上角为原点定义直角坐标系u1-v1，图中每一个像素(u,v)的坐标分别表示该像素在图像数组中的列数和行数，其值为该像素点的灰度，建立以厘米为单位的成像平面坐标系x1-y1，该坐标系以图像的中心为原点；将成像平面坐标系x1-y1作为输出视图的成像平面坐标系，并将I1(θ1)在成像平面上的像素坐标范围作为输出视图的像素范围，建立输出视图；
(3.2)对全局运动进行补偿：
对第k+1帧图像Ik+1(θk+1)进行全局运动补偿，以其补偿过程为例：首先对仿射变换矩阵{M1,M2,…,Mk}做逆变换得到逆变换矩阵
Figure FDA0003508676930000013
再将仿射变换的逆变换矩阵作用于Ik+1(θk+1)的每个像素：
Figure FDA0003508676930000014
得到新的第k+1帧图像
Figure FDA0003508676930000015
(uk+1,vk+1)表示Ik+1(θk+1)的像素坐标，
Figure FDA0003508676930000016
表示像
Figure FDA0003508676930000017
的像素坐标；将经图像
Figure FDA0003508676930000018
通过以第一帧图像为标准建立的输出视图输出，得到全局运动补偿后的第k+1帧图像I′k+1(θ′k+1)；当
Figure FDA0003508676930000021
在坐标系x1-y1上的像素坐标超出输出视图像素坐标范围时，表示由该像素点所构成的场景并未出现在第一帧图像之中，该像素点不会被包含在输出视图中，输出的像素值为图像
Figure FDA0003508676930000022
中的相应位置的像素值，其余部分的像素值赋值为0；
第k+1帧图像I′k+1(θ′k+1)中，标记为i的运动目标的运动状态为：
Figure FDA0003508676930000026
其中，θ(k+1)b为图像Ik+1(θk+1)中全局运动的状态量，
Figure FDA0003508676930000027
为图像Ik+1(θk+1)中标记为i的运动目标自身的运动状态，
Figure FDA0003508676930000023
为图像Ik+1(θk+1)中全局运动状态的估计量；
对{I2(θ2),I3(θ3),…,IN(θN)}依次按照上述仿射变换的逆变换模型进行全局运动补偿，并将补偿后的图像按顺序连接成新的视频视频序列V′：
V′N(ΘN)＝{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}；
其中{I1(θ1),I′2(θ′2),…,I′k(θ′k),I′k+1(θ′k+1),…,I′N(θ′N)}的图像坐标系以及成像平面坐标系均一致，都是以图像I1(θ1)为标准建立的，且视频序列V′只存在前景运动目标的运动；
对视频序列V′相邻的两帧灰度图像用帧差法作差Dk(x,y)＝|I′k+1(x,y)-I′k(x,y)|，将差值Dk(x,y)大于等于设定阈值的像素点归为运动物体的像素点，而插值Dk(x,y)小于设定阈值的像素点归为背景像素点，其中I′k(x,y)和I′k+1(x,y)为视频序列V′中相邻两帧图像I′k(θ′k)和I′k+1(θ′k+1)中像素点的灰度值。
2.如权利要求1所述的基于仿射逆变换模型的视频全局运动补偿方法，其特征在于，步骤(1)中第n帧图像背景像素点的运动状态θnb＝[an,bn,tn]T，其中的运动参数an、bn、tn分别描述了背景的缩放、旋转以及平移状态，T表示转置；以第n帧图像的第m个运动目标形心为标准的前景运动目标的运动状态
Figure FDA0003508676930000024
m＝1,2,…,M；该运动状态叠加了此时的背景运动状态θnb和自身的运动状态
Figure FDA0003508676930000025
3.如权利要求1所述的基于仿射逆变换模型的视频全局运动补偿方法，其特征在于，(2.1)建立特征点匹配对集具体方法是：
(2.1.1)利用Hessian矩阵生成图像中所有的兴趣点：
在构建Hessian矩阵前需要对图像进行高斯滤波，在第n帧图像对应的灰度图像中像素点P(u,v)处建立Hessian矩阵H：
Figure FDA0003508676930000031
L(P,σ)是像素点P处的图像In(P)和二阶高斯模板的卷积，即：
Figure FDA0003508676930000032
σ为高斯模糊系数，下标uu、uv、vu、vv为二阶导数标记；中间参数
Figure FDA0003508676930000033
每个像素点的Hessian矩阵行列式为：det(H)＝LuuLvv-(0.9Luv)2，如果行列式的值不为0，则判定该像素点为可能的极值点，即为兴趣点；
(2.1.2)兴趣点筛选：
在每个兴趣点d×d×d的邻域处，利用大小为d×d的滤波器，进行非极值抑制：将每一个兴趣点与其尺度空间和二维图像空间邻域内的d3-1个像素点进行比较，若不为极大值或极小值则剔除，留下的关键点作为特征点保存；
(2.1.3)特征点匹配：
以每个特征点为中心建立g×g的区块，且每个区块包含h×h个像素，然后将区块旋转到特征方向；对每个小区块利用Haar小波计算响应值，然后用特征向量D＝[∑dx,∑|dx|,∑dy,∑|dy|]表示该小区块的特征，∑dx和∑dy分别表示相对于特征方向的水平方向和垂直方向Haar小波响应值，∑|dx|和∑|dy|分别表示相对于特征方向的水平方向和垂直方向Haar小波响应绝对值之和；将g×g个区块的特征向量进行组合，得到该特征点的Z维特征描述子，Z＝4×g×g；
由上述方法分别对动态背景下的视频序列V中相邻两帧图像Ik(θk)、Ik+1(θk+1)的特征点建立特征点集：
Figure FDA0003508676930000034
E为Ik(θk)的特征点数量，F为Ik+1(θk+1)的特征点数量；
与特征点集αk对应的描述子集为
Figure FDA0003508676930000035
与特征点集αk+1对应的描述子集为
Figure FDA0003508676930000036
且R(αk)和R(αk+1)中的描述子均具有Z维特征；
由两个描述子集中各描述子的比对，完成对图像Ik(θk)和Ik+1(θk+1)特征点的匹配：采用欧式距离衡量其相似度，欧氏距离越短，表示两个特征点的匹配度越好，最终挑选出最佳的特征点匹配点：
Figure FDA0003508676930000041
Figure FDA0003508676930000042
其中，
Figure FDA0003508676930000043
表示图像Ik(θk)的特征点描述子集R(αk)中第e个特征点的描述子，
Figure FDA0003508676930000044
表示该描述子的第z维特征，z＝1,2,…,Z；
Figure FDA0003508676930000045
表示图像Ik+1(θk+1)的特征点描述子集
Figure FDA0003508676930000046
中的第f个特征点的描述子，
Figure FDA0003508676930000047
表示该描述子的第z维特征；
Figure FDA0003508676930000048
表示描述子
Figure FDA0003508676930000049
和
Figure FDA00035086769300000410
相似性的度量，当度量的值小于设定阈值λ，便将对应的特征点
Figure FDA00035086769300000411
和
Figure FDA00035086769300000412
作为特征点匹配对；
将满足上述条件的所有特征点匹配对组成图像Ik(θk)和Ik+1(θk+1)间的特征点匹配对集：
Figure FDA00035086769300000413
4.如权利要求2所述的基于仿射逆变换模型的视频全局运动补偿方法，其特征在于，(2.2)中，图像间的特征点匹配对集S中至少有ns个点对能够用来拟合模型参数，这些参数按照以下迭代方式进行拟合，ns≤min(E,F)：
(2.2.1)从特征点匹配对集S中随机选取nk个特征点，nk≤ns，用这nk个特征点拟合一个模型Mk；
(2.2.2)对于S中剩余的特征点，计算每个点的变换误差，如果误差超过阈值，则将其标识为局外点，否则被识别为局内点，将局内点进行扩充记录到当前局内点集IS中；
(2.2.3)如果当前局内点集IS的代价函数
Figure FDA00035086769300000414
小于最优局内点集ISbest的代价函数Cbest，则将最优局内点集更新为ISbest＝IS；其中，W为误差函数，
Figure FDA00035086769300000415
为估计的模型参数，s为特征点匹配对集S中的一对匹配点；L为损失函数，
Figure FDA00035086769300000416
式中γ为误差函数W计算得到的误差，T为误差阈值，用于区分局内点；
(2.2.4)迭代操作，如果达到迭代次数
Figure FDA0003508676930000051
则结束，否则，迭代次数加一重复上述操作；其中，w为G次迭代后ns个点作为局内点的概率，ω为S中局内点的比例；
将经过MSAC方法得到图像Ik(θk)和Ik+1(θk+1)间的局内点匹配对组成新的特征点匹配对集，同时由迭代过程得到图像Ik(θk)和Ik+1(θk+1)间全局运动的拟合模型——仿射变换矩阵：
Figure FDA0003508676930000052
式中，
Figure FDA0003508676930000053
表示两特征点坐标平移量，
Figure FDA0003508676930000054
反映了两特征点之间对应的旋转变化，
Figure FDA0003508676930000055
反映了两特征点之间对应的放缩变化，这六个参数共同作为图像Ik+1(θk+1)的全局运动状态估计量
Figure FDA0003508676930000056
的参数。
CN202210145390.6A 2022-02-17 2022-02-17 基于仿射逆变换模型的视频全局运动补偿方法 Pending CN114519832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210145390.6A CN114519832A (zh) 2022-02-17 2022-02-17 基于仿射逆变换模型的视频全局运动补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210145390.6A CN114519832A (zh) 2022-02-17 2022-02-17 基于仿射逆变换模型的视频全局运动补偿方法

Publications (1)

Publication Number Publication Date
CN114519832A true CN114519832A (zh) 2022-05-20

Family

ID=81599260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210145390.6A Pending CN114519832A (zh) 2022-02-17 2022-02-17 基于仿射逆变换模型的视频全局运动补偿方法

Country Status (1)

Country Link
CN (1) CN114519832A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114963029A (zh) * 2022-06-20 2022-08-30 天津精仪精测科技有限公司 一种基于负压波监测的多径管网泄漏检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114963029A (zh) * 2022-06-20 2022-08-30 天津精仪精测科技有限公司 一种基于负压波监测的多径管网泄漏检测方法
CN114963029B (zh) * 2022-06-20 2024-04-02 天津精仪精测科技有限公司 一种基于负压波监测的多径管网泄漏检测方法

Similar Documents

Publication Publication Date Title
CN109190581B (zh) 图像序列目标检测识别方法
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
Younus et al. Effective and fast deepfake detection method based on haar wavelet transform
CN104867111B (zh) 一种基于分块模糊核集的非均匀视频盲去模糊方法
US9247139B2 (en) Method for video background subtraction using factorized matrix completion
CN107688829A (zh) 一种基于支持向量机的识别***及识别方法
CN104933678B (zh) 一种基于像素强度的图像超分辨率重建方法
TW201629904A (zh) 目標獲取方法及設備
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN108764368B (zh) 一种基于矩阵映射的图像超分辨率重建方法
US10110846B2 (en) Computationally efficient frame rate conversion system
CN110910421A (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN111402237A (zh) 基于时空级联自编码器的视频图像异常检测方法及***
CN105931189B (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN114519832A (zh) 基于仿射逆变换模型的视频全局运动补偿方法
Sun et al. A hybrid demosaicking algorithm for area scan industrial camera based on fuzzy edge strength and residual interpolation
CN112990234A (zh) 基于改进孪生网络检测超分辨率小样本数据的方法
Molina et al. Gibbs random field models for model-based despeckling of SAR images
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN111275687A (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
Sonawane et al. Image quality assessment techniques: An overview
CN112801903B (zh) 一种基于视频降噪的目标跟踪方法、装置和计算机设备
CN112348853B (zh) 基于红外显著性特征融合的粒子滤波跟踪的方法
CN114187198A (zh) 一种基于模糊矩阵的图像去条纹方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination