CN114339395A - 视频抖动检测方法、检测装置、电子设备和可读存储介质 - Google Patents
视频抖动检测方法、检测装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114339395A CN114339395A CN202111529901.6A CN202111529901A CN114339395A CN 114339395 A CN114339395 A CN 114339395A CN 202111529901 A CN202111529901 A CN 202111529901A CN 114339395 A CN114339395 A CN 114339395A
- Authority
- CN
- China
- Prior art keywords
- video
- foreground
- adjacent
- background
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims description 49
- 230000009466 transformation Effects 0.000 claims description 32
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 description 9
- 238000005311 autocorrelation function Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009439 industrial construction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种视频抖动检测方法、检测装置、电子设备和可读存储介质，该方法包括：从视频数据中提取出至少两个相邻的第一视频帧，确定每个第一视频帧中的前景区域；获得每个第一视频帧中前景区域以外的背景区域；基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值；基于多个图像偏移值确定视频数据的视频抖动检测结果。上述方案，能够提高对视频数据进行抖动检测的准确率。
Description
技术领域
本申请涉及视频图像处理技术领域，特别是涉及一种视频抖动检测方法、检测装置、电子设备和可读存储介质。
背景技术
随着监控设备在城市安全、民生管控、工业建设等各个方面的作用不断增强，视频数据中的异常检测也逐渐受到关注，其中，视频抖动这样的异常情况由于其存在突发性以及持续时间不长的特点，因此，发现视频抖动的难度很大，面对海量的视频数据基于人力审查很难对突发的视频抖动做出准确的反馈。有鉴于此，如何提高对视频数据进行抖动检测的准确率成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种视频抖动检测方法、检测装置、电子设备和可读存储介质，能够提高对视频数据进行抖动检测的准确率。
为解决上述技术问题，本申请第一方面提供一种视频抖动检测方法，包括：从视频数据中提取出至少两个相邻的第一视频帧，确定每个所述第一视频帧中的前景区域；获得每个所述第一视频帧中所述前景区域以外的背景区域；基于每两个相邻的所述第一视频帧中的所述背景区域，确定每两个相邻的所述第一视频帧之间的图像偏移值；基于多个所述图像偏移值确定所述视频数据的视频抖动检测结果。
为解决上述技术问题，本申请第二方面提供一种视频抖动检测装置，包括：前景区域确定模块、背景区域提取模块、偏移值确定模块和结果确定模块，其中，前景区域确定模块用于从视频数据中提取出至少两个相邻的第一视频帧，确定每个所述第一视频帧中的前景区域；背景区域提取模块用于获得每个所述第一视频帧中所述前景区域以外的背景区域；偏移值确定模块用于基于每两个相邻的所述第一视频帧中的所述背景区域，确定每两个相邻的所述第一视频帧之间的图像偏移值；结果确定模块用于基于多个所述图像偏移值确定所述视频数据的视频抖动检测结果。
为解决上述技术问题，本申请第三方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。
为解决上述技术问题，本申请第四方面提供一种计算机存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。
上述方案，从视频数据中提取出至少两个相邻的第一视频帧，从第一视频帧中确定出其中的前景区域，获取前景区域以外的背景区域，降低因前景区域内的物体本身的移动对视频抖动检测的影响，从而基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值，基于多个图像偏移值来确定对应的时间段内的视频抖动检测结果，从而能够以更多的样本来挖掘图像偏移值变化的规律，提高对视频数据进行抖动检测的准确率，降低监控设备视角移动时对检测结果的影响，提高检测结果的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请视频抖动检测方法一实施方式的流程示意图；
图2是本申请视频抖动检测方法另一实施方式的流程示意图；
图3是本申请视频抖动检测装置一实施方式的结构示意图；
图4是本申请电子设备一实施方式的结构示意图；
图5是本申请计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请视频抖动检测方法一实施方式的流程示意图，该方法包括：
S101：从视频数据中提取出至少两个相邻的第一视频帧，确定每个第一视频帧中的前景区域。
具体地，获得监控设备采集的视频数据，从视频数据中提取出至少两个相邻的视频帧作为第一视频帧，对第一视频帧进行解析，确定每个第一视频帧中的前景区域。
在一应用方式中，从视频数据中提取出至少部分第一视频帧，且提取出的第一视频帧为连续的视频帧，对每个第一视频帧进行前景物体检测，确定每个第一视频帧中的前景物体，将前景物体对应的区域作为前景区域，从而确定第一视频帧中的前景区域。
在另一应用方式中，从视频数据中确定起始视频帧，以起始视频帧为起点提取出连续的第一视频帧，对提取出的第一视频帧进行前景物体检测，确定每个第一视频帧中的前景物体，将前景物体对应的区域作为前景区域，从而确定第一视频帧中的前景区域。
在一具体应用场景中，利用前景物体检测模型对第一视频帧进行前景物体检测，其中，前景物体检测模型经过预先训练能够识别出预设类别的前景物体，将第一视频帧输入至前景物体检测模型中，以使前景物体检测模型输出第一视频帧中的前景物体，将第一视频帧中的前景物体对应的区域作为前景区域。
S102：获得每个第一视频帧中前景区域以外的背景区域。
具体地，从第一视频帧中获得前景区域以外的背景区域，从而确定第一视频帧中发生运动概率极小的背景物体。
在一应用方式中，将每个第一视频帧中前景区域对应的像素消除，从而获得第一视频帧中的背景区域。
S103：基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值。
具体地，比对每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间背景区域变化后的图像偏移值，降低因前景区域内的物体本身的移动对视频抖动检测的影响。
在一应用方式中，第一视频帧转换为第二视频帧，其中，第二视频帧只保留有背景区域，基于每两个相邻的第二视频帧生成相邻视频帧之间的变换矩阵，通过变换矩阵表示相邻的两个第二视频帧之间在水平和竖直方向的变化，基于变换矩阵和对应的第二视频帧，确定时序在后的视频帧相对时序在前的视频帧之间的图像偏移值。
S104：基于多个图像偏移值确定视频数据的视频抖动检测结果。
具体地，确定多个相邻的视频帧之间是否存在图像偏移值的周期性变化，从而统计周期性变化出现的频率，基于周期性变化出现的频率确定对应的时间段内视频数据对应的抖动检测结果。
在一应用方式中，获取一段时间内连续视频帧中的每两个相邻视频帧随时间变化的图像偏移值，对于未发生抖动或位移的视频帧，其水平与竖直方向的偏移量基本为0，如果图像偏移值大于偏移阈值，则截取从变化起始点到终止点的变化段，判断变化段内是否存在周期性变化并统计出现的频率，当出现的频率大于频率阈值，则判定对应的变化段内视频数据发生了抖动，否则视频数据为正常，降低将监控设备的视角移动也判定为视频抖动的概率，提高检测结果的鲁棒性和准确率。
上述方案，从视频数据中提取出至少两个相邻的第一视频帧，从第一视频帧中确定出其中的前景区域，获取前景区域以外的背景区域，降低因前景区域内的物体本身的移动对视频抖动检测的影响，从而基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值，基于多个图像偏移值来确定对应的时间段内的视频抖动检测结果，从而能够以更多的样本来挖掘图像偏移值变化的规律，提高对视频数据进行抖动检测的准确率，降低监控设备视角移动时对检测结果的影响，提高检测结果的鲁棒性。
请参阅图2，图2是本申请视频抖动检测方法另一实施方式的流程示意图，该方法包括：
S201：从视频数据中提取出至少两个相邻的第一视频帧，确定每个第一视频帧中的前景区域。
具体地，获取监控设备拍摄的视频数据，从视频数据中提取出至少两个相邻的第一视频帧，确定每个第一视频帧中的前景区域。其中，前景区域为前景物体所对应的区域，前景物体包括但不限于人、动物、车辆等会发生实际运动的物体。
在一应用方式中，确定每个第一视频帧中的前景区域的步骤，包括：将每个第一视频帧输入至前景分割模型，以使前景分割模型基于第一视频帧上的像素，确定第一视频帧中的前景区域和背景区域。
具体地，前景区域包括第一视频帧中的前景物体所对应的像素，背景区域包括第一视频帧中前景物体之外的背景物体所对应的像素。此外，前景分割模型基于多个第二训练图像预先训练后获得，多个第二训练图像包括多种前景物体。
进一步地，将每个第一视频帧输入至前景分割模型，前景分割模型对第一视频帧进行检测，确定第一视频帧中的前景物体，将前景物体对应的像素作为前景区域，通过训练后的前景分割模型对第一视频帧中的前景区域进行批量化的判断，从而确定出其中的前景区域，以便降低前景物体的位移对抖动检测准确率的影响。
在一应用场景中，前景分割模型的训练过程包括：获取包括多种类别的第二训练图像并在第二训练图像上标注出前景物体对应的标签，其中，前景物体的类别包括行人、交通工具和动物，将第二训练图像输入待训练的前景分割模型，以使前景分割模型输出对于前景物体的分割结果，利用交叉熵损失函数确定分割结果与第二训练图像上的标签之间的预测损失，基于预测损失对前景分割模型中的参数进行调整，直至预测损失收敛，获得训练后的前景分割模型。上述损失函数利用公式表示如下：
其中，M表示前景的类别数，yc是像素对应的类别，pc是预测样本属于类别c的概率。
在一具体应用场景中，训练后的前景分割模型用于确定图像上的像素所对应的像素类别，其中，像素类别包括前景和背景。其中，基于第一视频帧上的像素，确定第一视频帧中的前景区域和背景区域的步骤，包括：将前景物体的像素对应的像素类别判定为前景，将背景物体的像素对应的像素类别判定为背景，从而确定第一视频帧中的前景区域和背景区域。
具体地，像素类别分为前景和背景，将至少两个第一视频帧输入前景分割模型，以使前景分割模型判断第一视频帧中每个像素的像素类别，基于像素类别将前景物体的像素对应的像素类别判定为前景，确定第一视频帧中的前景区域，将背景物体的像素对应的像素类别判定为背景，确定第一视频帧中的背景区域，从而将第一视频帧中的像素必然分成前景或背景，以使第一视频帧中的前景和背景明确区分。
S202：将第一视频帧中前景区域之外的区域中的像素设置为预设数值或清除，得到背景区域。
具体地，将第一视频帧中的前景像素设置为预设数值或消除，以确定第一视频帧中的背景区域。其中，背景区域中前景区域内的像素设置为预设数值或已清除。
在一应用方式中，对第一视频帧中前景区域对应的像素进行零值填充，以使第一视频帧中前景区域对应的像素消除，从而只保留背景区域对应的像素，以确定第一视频帧中的背景区域。上述过程利用公式表示如下：
其中，其中，IR代表结果图像，C为前景物体的像素种类，ci,j为在图像i,j位置的像素，Ii,j为原始图像的像素，当ci,j不属于前景C的时候，则为背景，该位置的像素等于原始图像的像素。当ci,j属于前景C的时候，则为前景，对该位置的像素进行零值填充。
可选地，将第一视频帧中前景区域对应的像素设置为预设数值，从而将第一视频帧中的前景区域与背景区域明确区分，以确定第一视频帧中的背景区域，将第一视频帧中所能关注的目标变成背景物体，降低前景物体运动对抖动检测结果的影响。
S203：将每两个相邻的背景区域分别输入配准模型，以使配准模型输出每两个相邻的背景区域各自对应的仿射变换矩阵。
具体地，配准模型基于多个第一训练图像预先训练后获得，且多个第一训练图像包括多组相邻的视频帧，训练后的配准模型能够基于两个输入的视频帧输出两者对应的仿射变换矩阵。
进一步地，配准模型的训练过程包括：获得多个第一训练图像，其中，第一训练图像是从视频数据中提取出的至少部分相邻的视频帧，标注相邻的第一训练图像对应的标签矩阵，其中，标签矩阵为仿射变换矩阵，将第一训练图像输入至待训练的配准模型，以使配准模型输出预测矩阵，基于预测矩阵和标签矩阵之间的误差对配准模型中的参数进行调整，直至误差收敛，获得训练后的配准模型。其中，仿射变换矩阵利用公式表示如下：
其中，a11,a12,a21,a22代表仿射变换参数，用于反馈图像是否发生旋转，tx,ty代表平移变换参数，x,y分别代表水平与竖直方向的平移比例，用于反馈图像是否发生平移。
具体地，仿射变换保持了二维图像的平直性和平行性，其中，平直性表示直线经仿射变换后还是直线，圆弧经仿射变换后还是圆弧，平行性表示直线之间的相对位置关系保持不变平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化，其中，配准网络能够挖掘视频帧之间的深度特征，生成两个相邻视频帧之间的仿射变换矩阵，从而后续基于仿射变换矩阵生成的图像偏移值更准确，且基于图像偏移获得的检测结果更具鲁棒性。
S204：基于各个仿射变换矩阵与对应的背景区域，确定每两个相邻的视频帧之间的图像偏移值。
具体地，获得每两个相邻的背景区域对应的仿射变换矩阵后，基于仿射变换矩阵和对应的背景区域即可确定每两个相邻的视频帧之间的图像偏移值。
在一应用场景中，将两个相邻的背景区域中时序在前的背景区域与对应的仿射变换矩阵相乘，获得时序在后的背景区域相对时序在前的背景区域的图像偏移值；遍历每两个相邻的背景区域，确定每两个相邻的视频帧之间的图像偏移值。
具体地，由于监控设备的抖动近似于刚体变换，因此仿射变换矩阵的水平方向与竖直方向的偏移量即为视频画面抖动的位移比例，将仿射变换矩阵与对应的时序在前的背景区域的宽高相乘，即可得到时序在后的背景区域相对时序在前的背景区域在水平与竖直方向的位移量，从而确定两个相邻的视频帧之间的图像偏移值，当包括多个背景区域时，遍历每两个相邻的背景区域，从而确定一段时间内每两个相邻的视频帧之间的图像偏移值。
在一具体应用场景中，当相邻的两个视频帧没有发生抖动时，则仿射变换矩阵为
当相邻的两个视频帧之间发生抖动时，则仿射变换矩阵必然发生变化，因此，仿射变换矩阵能够反馈出相邻的视频帧之间深度特征的变化，基于仿射变换矩阵和对应的背景区域即可准确获得相邻的两个视频帧之间的图像偏移值。
S205：获取至少两个相邻的第一视频帧对应的多个图像偏移值。
具体地，获取从视频数据中提取出的至少两个相邻的第一视频帧中，每两个相邻的视频帧之间对应的图像偏移值，以获得多个图像偏移值，降低随机数值对抖动检测结果的影响。
S206：基于多个图像偏移值生成变化趋势图，其中，变化趋势图中的信号点分布与第一视频帧的时序相关。
具体地，按照连续的视频帧中每个时序在后的视频帧相对时序在前的视频帧的图像偏移值，生成变化趋势图，其中，变化趋势图随时间变化而变化，变化趋势图中的信号点分布与第一视频帧的时序相关。
在一应用场景中，获取预设时间段内连续相邻的视频帧随时间变化的多个图像偏移值，生成图像偏移值随时间变化的信号图，对于未发生抖动或位移的相邻视频帧，相邻视频帧在水平方向和竖直方向的偏移量基本为0，则信号图上的偏移量为0。
S207：基于多个图像偏移值、变化趋势图和图像偏移值对应的偏移阈值，确定视频数据的视频抖动检测结果。
具体地，在变化趋势图中确定图像偏移值超过偏移阈值的位置，并统计变化频率，当变化频率超过频率阈值时，则判定视频抖动检测结果为发生抖动，当变化频率未超过频率阈值时，则判定视频抖动检测结果为未发生抖动，此时视频数据中图像的变化通常由视角移动导致。
在一应用方式中，基于多个图像偏移值、变化趋势图和图像偏移值对应的偏移阈值，确定视频数据的视频抖动检测结果的步骤，包括：按时序从变化趋势图中提取至少一个变化段；其中，每个变化段的起始点为图像偏移值大于偏移阈值的信号点，每个变化段的终止点为对应的起始点之后首个图像偏移值小于偏移阈值的信号点；基于各个变化段确定图像偏移值对应的变化频率；基于变化频率及其对应的频率阈值，确定预设时间段内的视频抖动检测结果。
具体地，在变化趋势图中按时序从前到后确定大于偏移阈值的图像偏移值对应的起始点，以及小于或等于偏移阈值的图像偏移值对应的终止点，将起始点和终止点之间作为变化段，从而在变化趋势图中获得至少一个变化段，每个变化段的起始点对应的图像偏移值超过偏移阈值，每个变化段的终止点按时序从起始点向后所获得的首个图像偏移值小于偏移阈值的信号点，基于自相关函数确定各个变化段中的图像偏移值是否存在周期性变化并统计周期性变化出现的频率，当出现的频率超过频率阈值，则判定变化段内的视频抖动检测结果为发生抖动，当出现的频率未超过频率阈值时，则判定变化段内的视频抖动检测结果为未发生抖动。
在一具体应用场景中，获取预设时间段内连续相邻的视频帧随时间变化的多个图像偏移值，生成图像偏移值随时间变化的信号图，其中，预设时间段为连续的第一视频帧对应的时间段，若信号偏移量大于偏移阈值，则截取从变化起始点和终止点之间的变化段，利用自相关函数对变化段进行判断是否存在周期性变化并统计出现的频率，如果出现大于频率阈值，则判定变化段对应的视频帧发生了视频抖动，否则为正常。其中自相关函数公式如下：
其中，其中E为期望值，Xi为在时间序列t(i)时的随机变量值，μi为在时间序列t(i)时的预期值，Xi+k为在时间序列t(i+k)时的随机变量值，μi+k为在时间序列t(i+k)时的预期值，σ2为方差，所得的自相关值R(k)的取值范围为[-1,1]，1为最大的正相关值，-1为最大负相关值，0为不相关。信号处理中的自相关函数，反映的是同一个信号在不同时刻取值间的相关程度，若信号呈周期性，则当k取相应的周期值时，自相关函数可以取得最大值，因此，自相关函数能够分析出信号的周期性，通过自相关函数来统计抖动发生时水平与竖直方向的偏移周期，避免监控设备单方向移动这类非抖动状态对检测结果的影响。
在本实施例中，通过提取相邻视频帧的背景区域，然后利用配准模型进行深度特征匹配得到仿射变换矩阵，基于仿射变换矩阵得到相邻视频帧之间的水平与竖直方向的偏移量，得到相邻视频帧之间的图像偏移值，基于多个图像偏移值生成变化趋势图，在变化趋势图中基于自相关函数确定更准确的视频抖动检测结果。
请参阅图3，图3是本申请视频抖动检测装置一实施方式的结构示意图，该视频抖动检测装置30包括前景区域确定模块301、背景区域提取模块302、偏移值确定模块303和结果确定模块304。其中，前景区域确定模块301用于从视频数据中提取出至少两个相邻的第一视频帧，确定每个第一视频帧中的前景区域；背景区域提取模块302用于获得每个第一视频帧中前景区域以外的背景区域；偏移值确定模块303用于基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值；结果确定模块304用于基于多个图像偏移值确定视频数据的视频抖动检测结果。
需要说明的是，本实施例中的视频抖动检测装置应用于上述任一实施例中的视频抖动检测方法，其中，前景区域确定模块301、背景区域提取模块302、偏移值确定模块303和结果确定模块304适用于上述任一实施例中的视频抖动检测方法。
上述方案，前景区域确定模块301从视频数据中提取出至少两个相邻的第一视频帧，从第一视频帧中确定出其中的前景区域，背景区域提取模块302获取前景区域以外的背景区域，降低因前景区域内的物体本身的移动对视频抖动检测的影响，从而偏移值确定模块303基于每两个相邻的第一视频帧中的背景区域，确定每两个相邻的第一视频帧之间的图像偏移值，结果确定模块304基于多个图像偏移值来确定对应的时间段内的视频抖动检测结果，从而能够以更多的样本来挖掘图像偏移值变化的规律，提高对视频数据进行抖动检测的准确率，降低监控设备视角移动时对检测结果的影响，提高检测结果的鲁棒性。
请参阅图4，图4是本申请电子设备一实施方式的结构示意图，该电子设备40包括相互耦接的存储器401和处理器402，其中，存储器401存储有程序数据(图未示)，处理器402调用程序数据以实现上述任一实施例中的视频抖动检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图5，图5是本申请计算机存储介质一实施方式的结构示意图，该计算机存储介质50存储有程序数据500，该程序数据500被处理器执行时实现上述任一实施例中的视频抖动检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种视频抖动检测方法，其特征在于，所述方法包括：
从视频数据中提取出至少两个相邻的第一视频帧，确定每个所述第一视频帧中的前景区域；
获得每个所述第一视频帧中所述前景区域以外的背景区域；
基于每两个相邻的所述第一视频帧中的所述背景区域，确定每两个相邻的所述第一视频帧之间的图像偏移值；
基于多个所述图像偏移值确定所述视频数据的视频抖动检测结果。
2.根据权利要求1所述的视频抖动检测方法，其特征在于，所述获得每个所述第一视频帧中所述前景区域以外的背景区域的步骤，包括：
将所述第一视频帧中所述前景区域之外的区域中的像素设置为预设数值或清除，得到所述背景区域。
3.根据权利要求1所述的视频抖动检测方法，其特征在于，所述基于每两个相邻的所述第一视频帧中的所述背景区域，确定每两个相邻的所述第一视频帧之间的图像偏移值的步骤，包括：
将每两个相邻的所述背景区域分别输入配准模型，以使所述配准模型输出每两个相邻的所述背景区域各自对应的仿射变换矩阵；
基于各个所述仿射变换矩阵与对应的所述背景区域，确定每两个相邻的视频帧之间的所述图像偏移值；
其中，所述配准模型基于多个第一训练图像预先训练后获得，且所述多个第一训练图像包括多组相邻的视频帧。
4.根据权利要求2所述的视频抖动检测方法，其特征在于，所述基于各个所述仿射变换矩阵与对应的所述背景区域，确定每两个相邻的视频帧之间的所述图像偏移值的步骤，包括：
将两个相邻的所述背景区域中时序在前的所述背景区域与对应的所述仿射变换矩阵相乘，获得时序在后的所述背景区域相对时序在前的所述背景区域的图像偏移值；
遍历每两个相邻的所述背景区域，确定每两个相邻的视频帧之间的所述图像偏移值。
5.根据权利要求1所述的视频抖动检测方法，其特征在于，所述基于多个所述图像偏移值确定所述视频数据的视频抖动检测结果的步骤，包括：
获取所述至少两个相邻的第一视频帧对应的多个图像偏移值；
基于多个所述图像偏移值生成变化趋势图；其中，所述变化趋势图中的信号点分布与所述第一视频帧的时序相关；
基于多个所述图像偏移值、所述变化趋势图和所述图像偏移值对应的偏移阈值，确定所述视频数据的视频抖动检测结果。
6.根据权利要求5所述的视频抖动检测方法，其特征在于，所述基于多个所述图像偏移值、所述变化趋势图和所述图像偏移值对应的偏移阈值，确定所述视频数据的视频抖动检测结果的步骤，包括：
按时序从所述变化趋势图中提取至少一个变化段；其中，每个所述变化段的起始点为图像偏移值大于所述偏移阈值的信号点，每个所述变化段的终止点为对应的起始点之后首个图像偏移值小于所述偏移阈值的信号点；
基于各个所述变化段确定所述图像偏移值对应的变化频率；
基于所述变化频率及其对应的频率阈值，确定所述预设时间段内的视频抖动检测结果。
7.根据权利要求1所述的视频抖动检测方法，其特征在于，所述确定每个所述第一视频帧中的前景区域的步骤，包括：
将每个所述第一视频帧输入至前景分割模型，以使所述前景分割模型基于所述第一视频帧上的像素，确定所述第一视频帧中的前景区域和背景区域；
其中，所述前景区域包括所述第一视频帧中的前景物体所对应的像素，所述背景区域包括所述第一视频帧中所述前景物体之外的背景物体所对应的像素；所述前景分割模型基于多个第二训练图像预先训练后获得，所述多个第二训练图像包括多种所述前景物体。
8.根据权利要求7所述的视频抖动检测方法，其特征在于，训练后的所述前景分割模型用于确定图像上的像素所对应的像素类别，其中，所述像素类别包括前景和背景；
所述基于所述第一视频帧上的像素，确定所述第一视频帧中的前景区域和背景区域的步骤，包括：
将所述前景物体的像素对应的像素类别判定为前景，将所述背景物体的像素对应的像素类别判定为背景，从而确定所述第一视频帧中的所述前景区域和所述背景区域。
9.一种视频抖动检测装置，其特征在于，所述检测装置包括：
前景区域确定模块，用于从视频数据中提取出至少两个相邻的第一视频帧，确定每个所述第一视频帧中的前景区域；
背景区域提取模块，用于获得每个所述第一视频帧中所述前景区域以外的背景区域；
偏移值确定模块，用于基于每两个相邻的所述第一视频帧中的所述背景区域，确定每两个相邻的所述第一视频帧之间的图像偏移值；
结果确定模块，用于基于多个所述图像偏移值确定所述视频数据的视频抖动检测结果。
10.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111529901.6A CN114339395A (zh) | 2021-12-14 | 2021-12-14 | 视频抖动检测方法、检测装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111529901.6A CN114339395A (zh) | 2021-12-14 | 2021-12-14 | 视频抖动检测方法、检测装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114339395A true CN114339395A (zh) | 2022-04-12 |
Family
ID=81051628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111529901.6A Pending CN114339395A (zh) | 2021-12-14 | 2021-12-14 | 视频抖动检测方法、检测装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339395A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036831A (zh) * | 2023-10-09 | 2023-11-10 | 视睿（杭州）信息科技有限公司 | 一种基于时序特征建模闪屏检测方法、***及介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076982A1 (en) * | 2005-09-30 | 2007-04-05 | Petrescu Doina I | System and method for video stabilization |
| JP2009260671A (ja) * | 2008-04-17 | 2009-11-05 | Canon Inc | 画像処理装置及び撮像装置 |
| EP2180446A1 (en) * | 2008-10-27 | 2010-04-28 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US20100104217A1 (en) * | 2008-10-27 | 2010-04-29 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2013047954A1 (ko) * | 2011-09-30 | 2013-04-04 | 고려대학교 산학협력단 | 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법 |
| US20150146022A1 (en) * | 2013-11-25 | 2015-05-28 | Canon Kabushiki Kaisha | Rapid shake detection using a cascade of quad-tree motion detectors |
| CN104881640A (zh) * | 2015-05-15 | 2015-09-02 | 华为技术有限公司 | 一种获取向量的方法及装置 |
| CN105374051A (zh) * | 2015-10-29 | 2016-03-02 | 宁波大学 | 智能移动终端防镜头抖动视频运动目标检测方法 |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| JP2019021297A (ja) * | 2017-07-14 | 2019-02-07 | 富士通株式会社 | 画像処理装置及び方法、電子機器 |
| CN110753181A (zh) * | 2019-09-29 | 2020-02-04 | 湖北工业大学 | 一种基于特征跟踪和网格路径运动的视频稳像方法 |
| CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
| CN112887708A (zh) * | 2021-01-22 | 2021-06-01 | 北京锐马视讯科技有限公司 | 视频抖动检测方法和装置、设备及存储介质 |
| WO2021115136A1 (zh) * | 2019-12-10 | 2021-06-17 | 闻泰科技(深圳)有限公司 | 视频图像的防抖方法、装置、电子设备和存储介质 |
| CN112995678A (zh) * | 2021-02-22 | 2021-06-18 | 深圳创维－Rgb电子有限公司 | 一种视频运动补偿方法、装置及计算机设备 |
| CN113284134A (zh) * | 2021-06-17 | 2021-08-20 | 张清坡 | 一种地质勘测用无人机飞行平台 |
| CN113691733A (zh) * | 2021-09-18 | 2021-11-23 | 北京百度网讯科技有限公司 | 视频抖动检测方法、装置、电子设备和存储介质 |
-
2021
- 2021-12-14 CN CN202111529901.6A patent/CN114339395A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070076982A1 (en) * | 2005-09-30 | 2007-04-05 | Petrescu Doina I | System and method for video stabilization |
| JP2009260671A (ja) * | 2008-04-17 | 2009-11-05 | Canon Inc | 画像処理装置及び撮像装置 |
| EP2180446A1 (en) * | 2008-10-27 | 2010-04-28 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US20100104217A1 (en) * | 2008-10-27 | 2010-04-29 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2013047954A1 (ko) * | 2011-09-30 | 2013-04-04 | 고려대학교 산학협력단 | 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법 |
| US20150146022A1 (en) * | 2013-11-25 | 2015-05-28 | Canon Kabushiki Kaisha | Rapid shake detection using a cascade of quad-tree motion detectors |
| CN104881640A (zh) * | 2015-05-15 | 2015-09-02 | 华为技术有限公司 | 一种获取向量的方法及装置 |
| CN105374051A (zh) * | 2015-10-29 | 2016-03-02 | 宁波大学 | 智能移动终端防镜头抖动视频运动目标检测方法 |
| CN105872370A (zh) * | 2016-03-31 | 2016-08-17 | 深圳中兴力维技术有限公司 | 视频去抖动方法和装置 |
| JP2019021297A (ja) * | 2017-07-14 | 2019-02-07 | 富士通株式会社 | 画像処理装置及び方法、電子機器 |
| CN111193923A (zh) * | 2019-09-24 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 视频质量评估方法、装置、电子设备及计算机存储介质 |
| CN110753181A (zh) * | 2019-09-29 | 2020-02-04 | 湖北工业大学 | 一种基于特征跟踪和网格路径运动的视频稳像方法 |
| WO2021115136A1 (zh) * | 2019-12-10 | 2021-06-17 | 闻泰科技(深圳)有限公司 | 视频图像的防抖方法、装置、电子设备和存储介质 |
| CN112887708A (zh) * | 2021-01-22 | 2021-06-01 | 北京锐马视讯科技有限公司 | 视频抖动检测方法和装置、设备及存储介质 |
| CN112995678A (zh) * | 2021-02-22 | 2021-06-18 | 深圳创维－Rgb电子有限公司 | 一种视频运动补偿方法、装置及计算机设备 |
| CN113284134A (zh) * | 2021-06-17 | 2021-08-20 | 张清坡 | 一种地质勘测用无人机飞行平台 |
| CN113691733A (zh) * | 2021-09-18 | 2021-11-23 | 北京百度网讯科技有限公司 | 视频抖动检测方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 司红伟;全蕾;张杰;: "基于背景估计的运动检测算法", 计算机工程与设计, no. 01, 16 January 2011 (2011-01-16) * |
| 屠礼芬;彭祺;仲思东;: "一种适应相机抖动的运动目标检测方法", 电子与信息学报, no. 08, 15 August 2013 (2013-08-15) * |
| 李佳希: "基于时序图像的面部表情识别算法研究", 计算机与数字工程, 20 December 2020 (2020-12-20), pages 3 - 4 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036831A (zh) * | 2023-10-09 | 2023-11-10 | 视睿（杭州）信息科技有限公司 | 一种基于时序特征建模闪屏检测方法、***及介质 |
| CN117036831B (zh) * | 2023-10-09 | 2024-03-22 | 视睿（杭州）信息科技有限公司 | 一种基于时序特征建模闪屏检测方法、***及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| CN112837303A (zh) | 一种用于模具监视的缺陷检测方法、装置、设备及介质 | |
| Ma et al. | Towards a universal model for cross-dataset crowd counting | |
| EP2858008A2 (en) | Target detecting method and system | |
| CN112669349A (zh) | 一种客流统计方法、电子设备及存储介质 | |
| CN106971401B (zh) | 多目标跟踪装置和方法 | |
| CN103955930B (zh) | 基于灰度积分投影互相关函数特征的运动参数估计方法 | |
| CN112215794B (zh) | 一种双目adas摄像头脏污检测的方法及装置 | |
| CN107220647B (zh) | 一种叶片交叉条件下作物中心点定位方法及*** | |
| US20150178573A1 (en) | Ground plane detection | |
| CN112367474A (zh) | 一种自适应光场成像方法、装置及设备 | |
| CN111178193A (zh) | 一种车道线的检测方法、检测装置及计算机可读存储介质 | |
| US11669978B2 (en) | Method and device for estimating background motion of infrared image sequences and storage medium | |
| CN111402293A (zh) | 面向智能交通的一种车辆跟踪方法及装置 | |
| CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
| CN103500454A (zh) | 一种抖动视频运动目标提取方法 | |
| CN114339395A (zh) | 视频抖动检测方法、检测装置、电子设备和可读存储介质 | |
| CN113256683B (zh) | 目标跟踪方法及相关设备 | |
| CN113542868A (zh) | 视频关键帧选取方法、装置、电子设备、存储介质 | |
| CN114022531A (zh) | 图像处理方法、电子设备和存储介质 | |
| JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
| CN110059695B (zh) | 一种基于垂直投影的字符分割方法及终端 | |
| Okarma et al. | A fast image analysis technique for the line tracking robots | |
| JPWO2019003709A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN111161304B (zh) | 一种快速背景估计的遥感视频目标轨迹跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |