CN112949428B - 基于视频卫星对地观测数据的关键帧提取方法和*** - Google Patents

Abstract

本发明涉及一种基于视频卫星的对地观测数据的关键帧提取方法和***，视频数据变化信息提取主要依托于对地观测视频数据中各连续帧之间的光流场，本申请中，通过设置预设条件以保证非连续两帧待分析图像对应的光流场的精度，保证能准确提取关键帧，即通过提取的关键帧能准确描述对地观测视频的全过程，普适性强，进而能提供实时地物变化信息，为灾害救援、环境实时监测等提供及时的数据支持以及决策支撑。

Description

基于视频卫星对地观测数据的关键帧提取方法和***

技术领域

本发明涉及关键帧提取技术领域，尤其涉及一种基于视频卫星对地观测数据的关键帧提取方法和***。

背景技术

关键帧提取技术能够用较少的图像序列来表征全部视频内容，不仅可以减少信息冗余度，还能提高对视频数据的处理效率。因此，关键帧提取技术一直以来都是国内外研究的热点话题。

随着航空航天技术的发展，尤其是视频卫星的出现，对地观测的时间分辨率提升到了秒级，能将自然场景中地物微小的运动变化和累积的最终外观变化全部记录，在自然灾害应急响应、军事侦察、资源调查和污染监测等领域具有重要应用潜力。

视频卫星数据关键帧的提取直接制约着变化信息获取的高效性，对于灾害应急救援、空中异物目标入侵和环境实时监测研究是十分必要的，目前关键帧提取技术主要分为四种，具体地：

1)基于镜头边界的方法,：是依据镜头边界将完整的视频分成众多众多的镜头片段，然后分别在单独的视频镜头中选出一些能代表当前镜头信息的帧，比如镜头的第一帧，最后一帧或者是中间帧，作为关键帧；

2)基于视觉内容的方法：依据视频帧中颜色、形状、纹理等视觉特征的显著变化来选择关键帧，通过设定一定的阈值利用直方图平均，相似性测量等找到能够满足特定视觉特征的图像来描述视频的全过程；

3)基于运动分析的方法：是利用背景建模技术检测前景目标，对前景目标提取特征，计算其运动信息，依据该信息，按照一定策略进行关键帧的选择；

4)基于聚类的方法：采用聚类的方法将相似的视频帧分为一簇，然后将簇中的中心视频帧作为关键帧；

上述四种关键帧提取技术中，存在如下问题：

1)基于镜头的方法是最先发展起来的，这种方法实施起来很简单而且计算量很小，但是当视频内容变化大、场景复杂时，单纯选取镜头中的首尾两帧无法代表视频的全部，所以算法存在局限性；

2)基于图像信息的方法需要依据不同场景选择合适的特征提取方法进行特征选择，而且需要人工设定阈值来判断，上述两点的选择都会影响关键帧选择的不稳定性。

3)基于运动分析的方法鲁棒性较差，对于噪声和光照变化非常敏感，会产生相应大量的冗余关键帧，而且计算过程复杂，时间代价较大；

4)基于聚类的方法需要人工参与依据视频长度和内容事先设定聚类数目，数目的选取会直接影响视频关键帧选取的质量，而且聚类的方法没有考虑帧之间的变化顺序，因此该方法的普适性会受到限制；

也就是说，上述四种关键帧提取技术都存在各自的弊端，只能适用于针对某些拍摄场景和研究目的，因此不存在普适性极强的算法。尤其是对地观测场景，比如自然灾害，发生变化的地物类型较为丰富，而且呈现出多样的变化态势，因此如何在保证地物变化信息提取精度的前提下，快速准确提取视频关键帧是对地观测研究中面临的重大挑战。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供了一种基于视频卫星对地观测数据的关键帧提取方法和***。

本发明的一种基于视频卫星对地观测数据的关键帧提取方法的技术方案如下：

S1、根据视频卫星所获取的对地观测数据得到连续多帧规格相同的待分析图像；

S2、利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

S3、当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2直至得到全部的关键帧并提取。

在上述方案的基础上，本发明的一种基于视频卫星对地观测数据的关键帧提取方法还可以做如下改进。

进一步，所述S1包括：

按照光流场计算模型FlowNet 2.0的要求，根据视频卫星所获取的对地观测视频数据得到连续多帧规格均为1920×1024的待分析图像。

进一步，所述利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，包括：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

其中，u_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_m+1→m+2直至u_n-1→n，v_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_m+1→m+2直至v_n-1→n，m和n均为正整数；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

其中，u_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在水平方向的位移，v_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在竖直方向的位移。

进一步，所述计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，包括：

通过第三公式计算该两个光流场中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

通过第四公式计算该两个光流场中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

其中，N表示待分析图像中的像素点个数，u′_m→n表示：f′_m→n中每个像素点在水平方向的位移，u″_m→n表示：f″_m→n中每个像素点在水平方向的位移，v′_m→n表示：f′_m→n每个像素点在竖直方向的位移，v″_m→n表示：f″_m→n中每个像素点在竖直方向的位移。

进一步，所述预设条件为：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围为[0.18，0.2]，单位为像素，以及，在竖直方向的位移的均方根误差取值范围为[0.08，0.1]，单位为像素。

本发明的一种基于视频卫星对地观测数据的关键帧提取方法的有益效果如下：

视频数据变化信息提取主要依托于对地观测视频数据中各连续帧之间的光流场，本申请中，通过设置预设条件以保证非连续两帧待分析图像对应的光流场的精度，保证能准确提取关键帧，即通过提取的关键帧能准确描述对地观测视频的全过程，普适性强，进而能提供实时地物变化信息，为灾害救援、环境实时监测等提供及时的数据支持以及决策支撑。

本发明实施例的一种基于视频卫星对地观测数据的关键帧提取***的技术方案如下：

包括获取模块、计算判断模块和关键帧提取模块；

所述获取模块用于根据视频卫星所获取的对地观测数据得到连续多帧规格相同的待分析图像；

所述计算判断模块用于：利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

所述关键帧提取模块用于：当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块，直至得到全部的关键帧并提取。

在上述方案的基础上，本发明的一种基于视频卫星对地观测数据的关键帧提取***还可以做如下改进。

进一步，所述获取模块具体用于：按照光流场计算模型FlowNet 2.0的要求，根据视频卫星所获取的对地观测数据得到连续多帧规格均为1920×1024的待分析图像。

进一步，所述计算判断模块包括第一计算模块，所述第一计算模块用于：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

其中，u_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_m+1→m+2直至u_n-1→n，v_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_m+1→m+2直至v_n-1→n，m和n均为正整数；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

其中，u_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在水平方向的位移，v_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在竖直方向的位移。

进一步，所述计算判断模块包括第二计算模块，所述第二计算模块用于：

通过第三公式计算该两个光流场中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

通过第四公式计算该两个光流场中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

其中，N表示待分析图像中的像素点个数，u′_m→n表示：f′_m→n中每个像素点在水平方向的位移，u″_m→n表示：f″_m→n中每个像素点在水平方向的位移，v′_m→n表示：f′_m→n每个像素点在竖直方向的位移，v″_m→n表示：f″_m→n中每个像素点在竖直方向的位移。

进一步，所述预设条件为：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差范围为不小于0.18同时不超过0.2个像素，以及，在竖直方向的位移的均方根误差范围为不小于0.08同时不超过0.1个像素。

本发明的一种基于视频卫星对地观测数据的关键帧提取***的有益效果如下：

视频数据变化信息提取主要依托于地观测视频数据中各连续帧之间的光流场，本申请中，通过设置预设条件以保证非连续两帧待分析图像对应的光流场的精度，保证能准确提取关键帧，即通过提取的关键帧能准确描述对地观测视频的全过程，普适性强，进而能提供实时地物变化信息，为灾害救援、环境实时监测等提供及时的数据支持以及决策支撑。本发明的一种电子设备的技术方案如下：

包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如上述任一项所述的一种基于视频卫星对地观测数据的关键帧提取方法的步骤。

附图说明

图1为本发明实施例的一种基于视频卫星对地观测数据的关键帧提取方法的流程示意图；

图2为光流场示意图；

图3为本发明实施例的一种基于视频卫星对地观测数据的关键帧提取***的结构示意图；

具体实施方式

如图1所示，本发明实施例的一种基于视频卫星对地观测数据的关键帧提取方法，包括如下步骤：

S1、根据视频卫星所获取的对地观测数据得到连续多帧规格相同的待分析图像；

S2、利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

S3、当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2直至得到全部的关键帧并提取。

视频数据变化信息提取主要依托于对地观测视频数据中各连续帧之间的光流场，本申请中，通过设置预设条件以保证非连续两帧待分析图像对应的光流场的精度，保证能准确提取关键帧，即通过提取的关键帧能准确描述对地观测视频的全过程，普适性强，进而能提供实时地物变化信息，为灾害救援、环境实时监测等提供及时的数据支持以及决策支撑。

其中，为便于借助光流场计算模型FlowNet 2.0计算光流场，光流场计算模型FlowNet 2.0要求的图片尺寸为1920×1024，因此，按照光流场计算模型FlowNet 2.0的要求，将视频卫星所获取的对地观测视频数据同一裁剪为连续多帧规格均为1920×1024的待分析图像，规格相同的待分析图像具体指每个图像均为1920×1024个像素点；

以连续100帧规格相同的待分析图像为例进行说明，那么：

S10、假设，非连续两帧待分析图像为第1帧待分析图像和第5帧待分析图像，利用两种不同的计算方式第1帧待分析图像和第5帧待分析图像对应的光流场，具体地：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

那么：将m＝1、n＝5带入第一公式，得到非连续两帧待分析图像即第1帧待分析图像和第5帧待分析图像对应的第一光流场：

其中，u_1→2表示：第1帧待分析图像和第2帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_2→3、u_3→4、u_4→5，v_1→2表示：第1帧待分析图像和第2帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_2→3、v_3→4和v_4→5；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

将m＝1、n＝5带入第二公式，得到非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场

其中，u_1→5表示第1帧待分析图像和第5帧待分析图像之间的每个像素点在水平方向的位移，v_1→5表示第1帧待分析图像和第5帧待分析图像之间之间的每个像素点在竖直方向的位移。

S11、计算该两个光流场即f′_1→5和f″_1→5中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，具体地：

通过第三公式计算该两个光流场即f′_1→5和f″_1→5中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

将m＝1、n＝5带入第三公式，得到该两个光流场即f′_1→5和f″_1→5中像素点在水平方向的位移的均方根误差RMSE_u，u′_1→5表示：f′_1→5中每个像素点在水平方向的位移，u″_1→5表示：f″_1→5中每个像素点在水平方向的位移；N表示待分析图像中的像素点个数；

通过第四公式计算该两个光流场即f′_1→5和f″_1→5中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

将m＝1、n＝5带入第四公式，得到该两个光流场即f′_1→5和f″_1→5中像素点在竖直方向的位移的均方根误差RMSE_v，v″_1→5表示：f″_1→5中每个像素点在竖直方向的位移，v″_1→5表示f″_1→5中每个像素点在竖直方向的位移。N表示待分析图像中的像素点个数；

S12、判断该两个均方根误差是否符合预设条件时，得到判断结果，其中，预设条件为：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围为[0.18，0.2]，单位为像素，以及，在竖直方向的位移的均方根误差取值范围[0.08，0.1]，单位为像素；那么：

当f′_1→5和f″_1→5对应的像素点在水平方向的位移的均方根误差为0.19，且当f′_1→5和f″_1→5对应的像素点在竖直方向的位移的均方根误差为0.09时，判断结果为是；则将该非连续两帧待分析图像即第1帧待分析图像和第5帧待分析图像确定为关键帧；以该非连续两帧待分析图像中的最终帧待分析图像即第5帧待分析图像作为起始帧待分析图像，该起始帧待分析图像第5帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像如第7帧、第8帧或第10帧待分析图像等组成新的非连续两帧待分析图像，重复执行S2，例如，当选定的待分析图像为第9帧时，则利用两种不同的计算方式计算第5帧待分析图像和第9帧待分析图像对应的光流场，然后再进行后续判断；

当f′_1→5和f″_1→5对应的像素点在水平方向的位移的均方根误差为0.14，且当f′_1→5和f″_1→5对应的像素点在竖直方向的位移的均方根误差为0.05时，判断结果为否；则从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像即选取第6帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像即第1帧待分析图像和该选取的待分析图像第6帧待分析图像组成新的非连续两帧待分析图像，重复执行S2，也就是说，利用两种不同的计算方式计算第1帧待分析图像和第6帧待分析图像对应的光流场，然后再进行后续判断；直至从连续100帧规格相同的待分析图像提取出所有的关键帧。

当f₁′_→5和f₁″_→5对应的像素点在水平方向的位移的均方根误差为0.19，且当f₁′_→5和f₁″_→5对应的像素点在竖直方向的位移的均方根误差为0.15时，判断结果为否；则从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像即选取第4帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像即第1帧待分析图像和该选取的待分析图像第4帧待分析图像组成新的非连续两帧待分析图像，重复执行S2，也就是说，利用两种不同的计算方式计算第1帧待分析图像和第4帧待分析图像对应的光流场，然后再进行后续判断；直至从连续100帧规格相同的待分析图像提取出所有的关键帧。其中，阈值的设定主要是依据对地观测视频数据如海啸视频数据等像素点在水平方向的位移相较于竖直方向的位移变化较大，因此，设定像素点在水平方向的位移的均方根误差范围为不小于0.18同时不超过0.2个像素，以及，在竖直方向的位移的均方根误差的范围为不小于0.08同时不超过0.1个像素；

可以理解的是，上述预设条件可根据实际情况进行调整。

可以理解的是，从理论上分析，f′_1→5和f″_1→5相同，即f′_1→5＝f″_1→5，虽然基于光流场计算模型FlowNet2.0计算的光流精度比较高，但是也不可避免地会有一些误差。如果连续多个累加即采用第一公式计算出光流场，不仅会导致误差的累积，而且会给直接计算光流场即采用第一公式计算出光流场带来极大的挑战，故通过“计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差”的方式来表征利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场之间的误差。

针对对地观测视频数据的特点，利用光流的可累加性，提出了本发明的一种基于视频卫星对地观测数据关键帧提取方法。但是对于视频卫星的对地观测数据，其中提取关键帧的前提是必须保证光流场的精度即各个像素运动估计的准确率，否则直接影响地物变化信息的提取准确率。

然而光流场表征的是像素点的运动矢量信息，如附图2中图2(a)、图2(b)、图2(c)、图2(d)、图2(e)和图2(f)所示，同一张图像上各个像素的运动变化千差万别；

图2(b)中的箭头图以及图2(c)、图2(d)、图2(e)和图2(f)中相应放大区域代表的是各个像素点的光流结果即光流场，箭头的方向表示像素点的运动方向，箭头的大小代表像素点的移动距离即位移值，不同的箭头代表不同的运动。本申请中提到的像素点的位移为矢量，包括运动方向和移动距离，基于时序图像即连续多帧图像之间像素的变化与非变化是比较容易通过目视来判定并勾绘出相应的真值，但是像素的运动矢量信息却是难以直接标注，需要借助第三方软件ArcMap软件通过人工目视找到视频帧之间同名点进行手动标注并获取坐标信息，极其耗时耗力，无法满足应急救援和环境实时监测的需求。因此本文依据光流的可累加性，设计两种不同计算方式来完成光流场的精度评定，从而实现关键帧的提取。

其中，本申请的一种基于视频卫星对地观测数据的关键帧提取方法中对应的算法可定义为关键帧提取算法CLKFS(Closed-loop detection for key frame selection,)算法。

印尼海啸视频数据作为对地观测视频数据，分析本申请的一种基于视频卫星对地观测数据的关键帧提取方法的技术效果，具体地：

选择代表此次海啸发生初期即灾害初期、海啸发生中期即灾害中期以及海啸发生末期即灾害末期变化的共63帧有效图像来完成对本申请的一种基于视频卫星对地观测数据的关键帧提取方法的验证，其中所选数据的描述信息见表1；

表1

数据特征	所选视频帧	总视频帧数
			灾害初期	150-170	21
灾害中期	280-300	21
			灾害末期	430-450	21

表1中，所选视频帧可理解为选取的连续多帧图像，如灾害初期为第150帧图像，第151帧图像至第170图像，共21帧即总视频帧数为21帧；

首先，利用本申请的一种基于视频卫星对地观测数据的关键帧提取方法CLKFS对第150帧图像至第170帧图像、第280帧图像至第300帧图像以及第430帧图像至第450帧图像分别进行关键帧提取，结果表明上述三个时期即灾害初期、灾害中期和灾害末期的关键帧提取都是等间隔帧数为4，可理解为：灾害初期的第150帧图像至第170帧图像中，每隔4帧的图像为关键帧，即第150帧图像、第155帧图像、第160帧图像、第165帧图像和第170帧图像为关键帧；

灾害中期的第280帧图像至第300帧图像中，每隔4帧的图像为关键帧，即第280帧图像、第285帧图像、第290帧图像、第295帧图像和第300帧图像为关键帧；

灾害末期的第430帧图像至第450帧图像中，每隔4帧的图像为关键帧，即第430帧图像、第435帧图像、第440帧图像、第445帧图像和第450帧图像为关键帧；

利用ArcMap选择均匀分布的特征点，计算XY方向的坐标差来获得真值数据，与光流场计算模型FlowNet 2.0计算结果对比来验证本申请的合理性。针对灾害前期的验证选择第160帧图像、165帧图像和170帧图像这三帧图像均匀设定特征点，特征点个数为140；灾害中期选择第290帧图像、第295帧图像和第300帧图像这三帧图像均匀布设特征点，灾害末期选择的三帧图像分别为第440帧图像、第445帧图像和第450帧图像，其中灾害中期和末期的特征点个数分别为130和135。利用光流场计算模型FlowNet2.0分别计算出上述实验数据的光流场，然后依据每组实验数据特征点的坐标信息提取这些特征点水平和竖直方向的光流值来和真值数据做对比，依然选用均方根误差RMSE来做精度评价，得到下表2；

表2：

根据表2可知，CLKFS结果中选择的实验数据光流结果和真值数据的精度对比结果不完全相同。表2中的实验结果表明：三组实验数据水平方向的误差大约在0.30-0.43个像素点之间，竖直方向的误差集中在0.2附近，误差都不足半个像素点，这样的光流计算精度可以满足实验要求，说明本申请能保证提取关键帧的准确性，即通过提取的关键帧能准确描述海啸灾害视频的全过程，普适性强，进而能提供实时灾变信息，为灾害救援提供及时的数据支持以及决策支撑。

在上述各实施例中，虽然对步骤进行进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图2所示，本发明实施例的一种基于视频卫星对地观测数据的关键帧提取***200，包括获取模块210、计算判断模块220和关键帧提取模块230；

所述获取模块210用于根据视频卫星所获取的对地观测数据得到连续多帧规格相同的待分析图像；

所述计算判断模块220用于：利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

所述关键帧提取模块230用于：当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块220；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块220；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块220，直至得到全部的关键帧并提取。

视频数据变化信息提取主要依托于对地观测视频数据中各连续帧之间的光流场，本申请中，通过设置预设条件以保证非连续两帧待分析图像对应的光流场的精度，保证能准确提取关键帧，即通过提取的关键帧能准确描述对地观测视频的全过程，普适性强，进而能提供实时地物变化信息，为灾害救援、环境实时监测等提供及时的数据支持以及决策支撑。

较优地，在上述技术方案中，所述获取模块210具体用于：按照光流场计算模型FlowNet 2.0的要求，根据视频卫星所获取的对地观测数据得到连续多帧规格均为1920×1024的待分析图像。

进一步，所述计算判断模块220包括第一计算模块，所述第一计算模块用于：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

其中，u_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_m+1→m+2直至u_n-1→n，v_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_m+1→m+2直至v_n-1→n，m和n均为正整数；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

其中，u_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在水平方向的位移，v_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在竖直方向的位移。

较优地，在上述技术方案中，所述计算判断模块220包括第二计算模块，所述第二计算模块用于：

通过第三公式计算该两个光流场中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

通过第四公式计算该两个光流场中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

其中，N表示待分析图像中的像素点个数，u′_m→n表示：f′_m→n中每个像素点在水平方向的位移，u″_m→n表示：f″_m→n中每个像素点在水平方向的位移，v′_m→n表示：f′_m→n每个像素点在竖直方向的位移，v″_m→n表示：f″_m→n中每个像素点在竖直方向的位移。

较优地，在上述技术方案中，所述预设条件为：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差范围为不小于0.18同时不超过0.2个像素，以及，在竖直方向的位移的均方根误差范围为不小于0.08同时不超过0.1个像素。

上述关于本发明的一种基于视频卫星对地观测数据的关键帧提取***200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种基于视频卫星对地观测数据的关键帧提取方法的实施例中的各参数和步骤，在此不做赘述。

本发明实施例的一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述任一实施的一种基于视频卫星对地观测数据的关键帧提取方法的步骤。

其中，电子设备可以选用电脑、手机等，相对应地，其程序为电脑软件或手机APP等，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种基于视频卫星对地观测数据的关键帧提取方法的实施例中的各参数和步骤，在此不做赘述。

所属技术领域的技术人员知道，本发明可以实现为***、方法或计算机程序产品。

因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“***”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于视频卫星对地观测数据的关键帧提取方法，其特征在于，包括：

S1、根据视频卫星所获取的对地观测数据得到连续多帧规格相同的待分析图像；

S2、利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

S3、当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复执行S2直至得到全部的关键帧并提取。

2.根据权利要求1所述的一种基于视频卫星对地观测数据的关键帧提取方法，其特征在于，所述S1包括：

按照光流场计算模型FlowNet 2.0的要求，根据视频卫星所获取的对地观测视频数据得到连续多帧规格均为1920×1024的待分析图像。

3.根据权利要求1或2所述的一种基于视频卫星对地观测数据的关键帧提取方法，其特征在于，所述利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，包括：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

其中，u_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_m+1→m+2直至u_n-1→n，v_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_m+1→m+2直至v_n-1→n，m和n均为正整数；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

其中，u_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在水平方向的位移，v_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在竖直方向的位移。

4.根据权利要求3所述的一种基于视频卫星对地观测数据的关键帧提取方法，其特征在于，所述计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，包括：

通过第三公式计算该两个光流场中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

通过第四公式计算该两个光流场中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

其中，N表示待分析图像中的像素点个数，u′_m→n表示：f′_m→n中每个像素点在水平方向的位移，u″_m→n表示：f″_m→n中每个像素点在水平方向的位移，v′_m→n表示：f′_m→n每个像素点在竖直方向的位移，v″_m→n表示：f″_m→n中每个像素点在竖直方向的位移。

5.根据权利要求1或2所述的一种基于视频卫星对地观测数据的关键帧提取方法，其特征在于，所述预设条件中：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围为[0.18，0.2]，单位为像素，以及，在竖直方向的位移的均方根误差取值范围为[0.08，0.1]，单位为像素。

6.一种基于视频卫星对地观测数据的关键帧提取***，其特征在于，包括获取模块、计算判断模块和关键帧提取模块；

所述获取模块用于根据视频卫星所获取的对地观测视频数据得到连续多帧规格相同的待分析图像；

所述计算判断模块用于：利用两种不同的计算方式分别计算非连续两帧待分析图像对应的光流场，并根据该非连续两帧待分析图像对应的两个光流场，计算该两个光流场中像素点在水平方向的位移的均方根误差和在竖直方向的位移的均方根误差，判断该两个均方根误差是否符合预设条件，得到判断结果；其中，所述预设条件为利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差取值范围，以及，在竖直方向的位移的均方根误差取值范围；

所述关键帧提取模块用于：当所述判断结果为是时，则将该非连续两帧待分析图像确定为关键帧，以该非连续两帧待分析图像中的最终帧待分析图像作为起始帧待分析图像，该起始帧待分析图像与从连续多帧规格相同的待分析图像中顺序选取的与该起始帧待分析图像不连续的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块；当所述判断结果为否时，分成两种情况：当计算的水平方向的位移的均方根误差小于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差小于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中顺序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块；当计算的水平方向的位移的均方根误差大于预设条件的水平方向的位移的均方根误差取值范围，或者当计算的竖直方向的位移的均方根误差大于预设条件的竖直方向的位移的均方根误差取值范围时，从连续多帧规格相同的待分析图像中逆序选取一帧待分析图像，该非连续两帧待分析图像中的起始帧待分析图像和该选取的待分析图像组成新的非连续两帧待分析图像，重复调用所述计算判断模块，直至得到全部的关键帧并提取。

7.根据权利要求6所述的一种基于视频卫星对地观测数据的关键帧提取***，其特征在于，所述获取模块具体用于：按照光流场计算模型FlowNet2.0的要求，根据视频卫星所获取的对地观测数据得到连续多帧规格均为1920×1024的待分析图像。

8.根据权利要求6或7所述的一种基于视频卫星对地观测数据的关键帧提取***，其特征在于，所述计算判断模块包括第一计算模块，所述第一计算模块用于：

通过第一公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第一光流场f′_m→n，所述第一公式为：

其中，u_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在水平方向的位移，以此类推u_m+1→m+2直至u_n-1→n，v_m→m+1表示：第m帧待分析图像和第m+1帧待分析图像之间的每个像素点在竖直方向的位移，以此类推v_m+1→m+2直至v_n-1→n，m和n均为正整数；

通过第二公式计算非连续两帧待分析图像即第m帧待分析图像和第n帧待分析图像对应的第二光流场f″_m→n，所述第二公式为：

其中，u_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在水平方向的位移，v_m→n表示第m帧待分析图像和第n帧待分析图像之间的每个像素点在竖直方向的位移。

9.根据权利要求8所述的一种基于视频卫星对地观测数据的关键帧提取***，其特征在于，所述计算判断模块包括第二计算模块，所述第二计算模块用于：

通过第三公式计算该两个光流场中像素点在水平方向的位移的均方根误差RMSE_u，所述第三公式为：

通过第四公式计算该两个光流场中像素点在竖直方向的位移的均方根误差RMSE_v，所述第四公式为：

其中，N表示待分析图像中的像素点个数，u′_m→n表示：f′_m→n中每个像素点在水平方向的位移，u″_m→n表示：f″_m→n中每个像素点在水平方向的位移，v′_m→n表示：f′_m→n每个像素点在竖直方向的位移，v″_m→n表示：f″_m→n中每个像素点在竖直方向的位移。

10.根据权利要求6或7所述的一种基于视频卫星对地观测数据的关键帧提取***，其特征在于，所述预设条件为：利用两种不同的计算方式分别计算出的非连续两帧待分析图像对应的光流场中像素点在水平方向的位移的均方根误差范围为不小于0.18同时不超过0.2个像素，以及，在竖直方向的位移的均方根误差范围为不小于0.08同时不超过0.1个像素。

Images