CN117274138A - 检测视频抖动的方法、装置、电子设备和可读存储介质 - Google Patents

检测视频抖动的方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN117274138A
CN117274138A CN202210667821.5A CN202210667821A CN117274138A CN 117274138 A CN117274138 A CN 117274138A CN 202210667821 A CN202210667821 A CN 202210667821A CN 117274138 A CN117274138 A CN 117274138A
Authority
CN
China
Prior art keywords
motion information
video
frames
optical flow
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667821.5A
Other languages
English (en)
Inventor
陈敏杰
万明阳
马国俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210667821.5A priority Critical patent/CN117274138A/zh
Publication of CN117274138A publication Critical patent/CN117274138A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种检测视频抖动的方法、装置、电子设备和可读存储介质，属于视频处理领域。所述方法包括：提取视频序列中多个视频帧的光学三原色光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。

Description

检测视频抖动的方法、装置、电子设备和可读存储介质
技术领域
本公开属于视频处理领域，具体涉及一种检测视频抖动的方法、装置、电子设备和可读存储介质。
背景技术
近年来随着各种视频技术的发展和推广，用户的视频创作需求日益增长。由于拍摄经验不成熟或设备质量导致拍摄的视频中存在抖动，影响视频质量。
相关方案通过密集帧采样对特征点进行检测跟踪或通过光流，估计摄像头运动轨迹，再通过评估运动轨迹来判断一段视频序列是否存在抖动。其中检测准确率依赖于特征点匹配的效果，但特征点匹配受多种因素影响，往往很难达到良好的效果，导致目前视频抖动的检测准确率不高。
发明内容
本公开实施例的目的是提供一种检测视频抖动的方法、装置、电子设备和可读存储介质，能够解决视频抖动的检测准确率不高的问题。
为了解决上述技术问题，本公开是这样实现的：
第一方面，本公开实施例提供了一种检测视频抖动的方法，所述方法包括：提取视频序列中多个视频帧的光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
第二方面，本公开实施例提供了一种检测视频抖动的装置，所述装置包括：第一提取模块，用于提取视频序列中多个视频帧的光学三原色光学色彩图；第二提取模块，提取所述多个视频帧的光流图；确定模块，用于根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；判断模块，用于根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
第三方面，本公开实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本公开实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本公开实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本公开实施例通过提取视频序列中多个视频帧的光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，能够结合光学色彩图和光流图进行检测，避免了逐帧计算稠密点的大量计算，并且基于关键点运动信息进行抖动判断，提高视频抖动检测的准确性。
附图说明
图1是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
图2是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
图3是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
图4是本公开实施例提供的一种检测视频抖动的方法的示意性流程图；
图5是本公开实施例提供的一种检测视频抖动的装置的结构示意图；
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本公开实施例提供的检测视频抖动的方法进行详细地说明。
图1是本公开实施例提供的一种检测视频抖动的方法的示意性流程图，该方法可以由终端设备和/或服务器执行，换言之，该方法可以由安装在终端设备和/或服务器的软件或硬件来执行，该方法包括如下步骤：
S102：提取视频序列中多个视频帧的光学色彩图。
光学色彩图为以预定色彩空间模型编码的光学图像，预定色彩空间模型可以包括RGB色彩空间模型、YUV色彩空间模型或十六进制色彩空间模型等。具体的，光学色彩图可以包括三原色(Red Green Blue,RGB)图，RGB分别代表红色(Red)、绿色(Green)、蓝色(Blue)，三种颜色通道合在一起可以还原视频帧中存在的各种颜色。光学色彩图还可以包括YUV图，其中“Y”表示明亮度(Luminance)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance)，用于描述影像色彩及饱和度。
S104：提取所述多个视频帧的光流图。
当物体运动时，图像上对应点的亮度模式也在运动，光流图能够展示这种图像亮度模式的运动，由此，可以基于对光流图的分析，恢复图像亮度模式的运动，而图像亮度模式的运动包括视频中发生的抖动。
S106：根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息。
将光学色彩图和光流图这两者输入预定模型，并通过预定模型输出前后至少两帧图像中的关键点运动信息。其中的“前后”包括按照制作视频时获取到图像帧的顺序，先获取的图像帧为“前”，后获取的图像帧为“后”，该前后至少两帧图像可以为连续获取的前后至少两帧，即该前后至少两帧相邻，也可以为非连续获取的前后至少两帧，即该前后至少两帧不相邻。例如，按照录制视频时获取到图像帧的顺序，将图像帧排序为图像帧1-10，其中，图像帧1为其中最先获取的图像帧，图像帧10为其中最后获取的图像帧，该前后至少两帧图像可以为连续获取的图像帧1、2，或图像帧1、2、3等，也可以为非连续获取的图像帧1、4，或者图像帧2、4、7等。该关键点运动信息可以为矢量信息，例如包括运动方向和运动速度。本步骤中确定图像中的关键点运动信息，能够提高检测抖动的准确性。该前后至少两帧图像为连续获取的图像帧时，能够获得更准确的检测结果。关键点可以采用非人工标注的弱标注数据，成本低，检测效果好。
该预定模型还可以输出关键点信息，该关键点信息用于表示图像中所包含的一个或多个关键点。其中，如何输出关键点信息的方式可以有多种，本方案可以不进行具体限定。
若仅根据光学色彩图判断视频是否存在抖动，则逐帧计算稠密点，计算量大，而本步骤根据所述多个视频帧的光学色彩图和光流图这两者，确定前后至少两帧图像中的关键点运动信息，并基于此于后续步骤中判断视频是否存在抖动，能够避免逐帧计算稠密点的大量计算。
S108：根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
例如，前后至少两帧图像中的关键点P的关键点运动信息显示P向上发生1毫米位移，则可以判断视频存在抖动。或者，例如，前后至少两帧图像中的关键点P的关键点运动信息显示P未发生位移，则可以判断视频不存在抖动。
由此，本公开实施例提供的一种检测视频抖动的方法，通过提取视频序列中多个视频帧的光学三原色光学色彩图；提取所述多个视频帧的光流图；根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，能够结合光学色彩图和光流图进行检测，避免了逐帧计算稠密点的大量计算，并且基于关键点运动信息进行抖动判断，提高视频抖动检测的准确性。
图2是本公开实施例提供的一种检测视频抖动的方法的示意性流程图，该方法可以由终端设备和/或服务器执行，换言之，该方法可以由安装在终端设备和/或服务器的软件或硬件来执行，该方法包括如下步骤：
S202：提取视频序列中多个视频帧的光学色彩图。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S204：提取所述多个视频帧的光流图。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S206：根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S208：根据背景运动轨迹信息，判断视频是否存在抖动。相比于逐帧计算稠密点的方案，基于关键点的抖动判断方案，由于关键点相较于稠密点分布较稀疏，不同的关键点运动信息矢量，包括方向和速度等，往往不一致，有必要剔除背景深度变化对抖动检测的干扰。
在本步骤中，确定所述多个视频帧中背景深度信息；从所述背景运动信息中，剔除所述背景深度信息，以确定背景运动轨迹信息；根据所述背景运动轨迹信息，判断视频是否存在抖动。由此，可以剔除背景深度变化对抖动检测的干扰。
其中，所述确定所述多个视频帧中背景深度信息，可以具体包括：在至少一个所述视频帧中，划分多个网格，其中网格可以等大小且较为密集；基于所述网格内的关键点运动信息，通过滤波处理，例如中值滤波，以确定所述网格的预定点运动信息，预定点可以例如网格的一个或多个顶点等。一个网格可以有一个或多个预定点。根据所述预定点运动信息，确定背景深度信息，由此可以增加鲁棒性，获得精确的背景运动轨迹信息。
本步骤还可以采用与图1实施例对应步骤相同或相似的描述，对于重复内容在此不再赘述。
图3是本公开实施例提供的一种检测视频抖动的方法的示意性流程图，该方法可以由终端设备和/或服务器执行，换言之，该方法可以由安装在终端设备和/或服务器的软件或硬件来执行，该方法包括如下步骤：
S302：提取视频序列中多个视频帧的光学色彩图。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S304：提取所述多个视频帧的光流图。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S306：根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，在此不再赘述。
S308：根据背景运动信息，判断视频是否存在抖动。
相比于逐帧计算稠密点的方案，基于关键点的抖动判断方案，由于关键点相较于稠密点分布较稀疏，不同的关键点运动信息矢量，包括方向和速度等，往往不一致，尤其是分布在前景和背景的关键点，因此有必要剔除前景运动对抖动检测的干扰。
在本步骤中，确定所述多个视频帧中前景运动信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定背景运动信息；根据所述背景运动信息，判断视频是否存在抖动，由此，可以剔除前景运动变化对抖动检测的干扰。
在一种实现方式中，可以将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络，其中，所述目标卷积神经网络的样本集中包含前景运动信息与背景运动信息之间的对应关系。通过所述目标卷积神经网络输出所述关键点运动信息是否为前景运动信息的判断结果；根据所述判断结果，确定所述多个视频帧中前景运动信息。
例如，样本集中大量样本图像记录有背景人物与前景花朵之间的对应关系。将与人物和花朵对应的关键点运动信息输入目标卷积神经网络时，通过所述目标卷积神经网络输出“花朵”为前景运动信息的判断结果，由此，可以剔除“花朵”的运动信息，以确定背景“人物”的运动信息，通过“人物”的运动信息，判断视频是否存在抖动。
上述图2实施例与图3实施例可以分别执行，也可以相互结合。
在一种实现方式中，可以先剔除前景运动的干扰，再剔除背景深度的干扰。具体来讲，可以确定所述多个视频帧中前景运动信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定第一背景运动信息，而后确定所述多个视频帧中背景深度信息；从所述第一背景运动信息中，剔除所述背景深度信息，以确定第一背景运动轨迹信息；根据所述第一背景运动轨迹信息，判断视频是否存在抖动。
在另一种实现方式中，可以先剔除背景深度的干扰，再剔除前景运动的干扰。具体来讲，可以确定所述多个视频帧中背景深度信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述背景深度信息，以确定第二背景运动轨迹信息；确定所述多个视频帧中前景运动信息；从所述第二背景运动轨迹信息中，剔除所述前景运动信息，以确定第二背景运动信息；根据所述第二背景运动信息，判断视频是否存在抖动。
图1-3实施例中的至少一者，均可以结合以下实现方式。在一种实现方式中，可以将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动；其中，所述目标卷积神经网络包括多层结构，并支持所述前后至少两帧图像中的关键点运动信息跨过所述多层结构中的至少一层。即所述前后至少两帧图像中的关键点运动信息经过目标卷积神经网络中的至少两层，所述至少两层中包括所述全连接层。例如，目标卷积神经网络包括三层结构，关键点运动信息可以跨过或绕过第二层，通过第三层全连接层判断所述视频是否存在抖动，由此，相比于人工判断是否发生抖动，提高了视频抖动判断的效率和准确性。
由此，本公开实施例提供的一种检测视频抖动的方法，通过确定所述多个视频帧中背景深度信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述背景深度信息，能够进一步排除背景干扰，提高视频抖动检测的准确性。
本公开实施例提供的一种检测视频抖动的方法，通过将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动，提高了视频抖动判断的效率和准确性。
图4是本公开实施例提供的一种检测视频抖动的方法的示意性流程图，该方法可以由终端设备和/或服务器执行，换言之，该方法可以由安装在终端设备和/或服务器的软件或硬件来执行，该方法包括如下步骤：
S402：提取视频序列中多个视频帧的光学色彩图。
本步骤可以采用与图1实施例对应步骤相同或相似的描述，对于重复内容在此不再赘述。
S404：根据第一光流信息和第二光流信息，确定多个视频帧的光流图。
基于目标光流估计网络，例如PWCNet网络，通过图像分辨率由低到高的顺序，类似多层次的金字塔结构，从低分辨率的图像不断提高到高分辨率图像估计光流，估计所述多个视频帧的光流；通过较低图像分辨率的视频帧对应的第一光流信息，确定较高图像分辨率的视频帧对应的第二光流信息，由网络上一层的光流信息指导下层局部细节光流信息的提取。并且，根据第一光流信息和第二光流信息，确定多个视频帧的光流图。
其中，在一种实现方式中，所述目标光流估计网络的训练期间按时间顺序划分为前期、稳定期和后期，所述稳定期内所述目标光流估计网络的学习率高于所述前期内所述目标光流估计网络的学习率，所述稳定期内所述目标光流估计网络的学习率高于所述后期内所述目标光流估计网络的学习率。目标光流估计网络的目标函数会有多个局部最优解，陷入局部极值影响最后模型的效果。训练前期学习率先逐渐减少，等训练稳定后学习率再增大，最后减少。这样尽可能增大跳出局部极值的概率。
S406：根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息。
本步骤还可以采用与图1-3实施例对应步骤相同或相似的描述，对于重复内容在此不再赘述。
S408：根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
本步骤还可以采用与图1-3实施例对应步骤相同或相似的描述，对于重复内容在此不再赘述。
由此，本公开实施例提供的一种检测视频抖动的方法，能够基于目标光流估计网络高效提取视频序列的光流图。
需要说明的是，本公开实施例提供的检测视频抖动的方法，执行主体可以为检测视频抖动的装置，或者该检测视频抖动的方法装置中的用于执行加载检测视频抖动的方法的控制模块。本公开实施例中以检测视频抖动的装置执行加载检测视频抖动的方法为例，说明本公开实施例提供的检测视频抖动的方法。
图5实施例是本公开实施例中的检测视频抖动的装置的结构示意图，如图所示，该检测视频抖动的装置500包括：第一提取模块510、第二提取模块520、确定模块530、判断模块540。
第一提取模块510用于提取视频序列中多个视频帧的光学三原色光学色彩图。第二提取模块520提取所述多个视频帧的光流图。确定模块530用于根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息。判断模块540用于根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
在一种实现方式中，判断模块540用于确定所述多个视频帧中前景运动信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定背景运动信息；根据所述背景运动信息，判断视频是否存在抖动。
在一种实现方式中，判断模块540用于将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络，其中，所述目标卷积神经网络的样本集中包含前景运动信息与背景运动信息之间的对应关系；通过所述目标卷积神经网络输出所述关键点运动信息是否为前景运动信息的判断结果；根据所述判断结果，确定所述多个视频帧中前景运动信息。
在一种实现方式中，判断模块540用于：确定所述多个视频帧中背景深度信息；从所述背景运动信息中，剔除所述背景深度信息，以确定背景运动轨迹信息；根据所述背景运动轨迹信息，判断视频是否存在抖动。。
在一种实现方式中，判断模块540用于：在至少一个所述视频帧中，划分多个网格；基于至少一个所述网格内的关键点运动信息，通过滤波处理以确定多个所述网格的预定点运动信息；根据所述预定点运动信息，确定所述背景深度信息。
在一种实现方式中，所述判断模块540用于：在至少一个所述视频帧中，划分多个网格；基于至少一个所述网格内的关键点运动信息，通过滤波处理以确定多个所述网格的预定点运动信息；根据所述预定点运动信息，确定所述背景深度信息。
在一种实现方式中，所述判断模块540用于：将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动；其中，所述目标卷积神经网络包括多层结构，并支持所述前后至少两帧图像中的关键点运动信息跨过所述多层结构中的至少一层。
在一种实现方式中，所述第二提取模块520用于：通过目标光流估计网络，通过图像分辨率由低到高的顺序，来估计所述多个视频帧的光流；通过较低图像分辨率的视频帧对应的第一光流信息，确定较高图像分辨率的视频帧对应的第二光流信息；根据所述第一光流信息和所述第二光流信息，确定所述多个视频帧的光流图。
在一种实现方式中，所述目标光流估计网络的训练期间按时间顺序划分为前期、稳定期和后期，所述稳定期内所述目标光流估计网络的学习率高于所述前期内所述目标光流估计网络的学习率，所述稳定期内所述目标光流估计网络的学习率高于所述后期内所述目标光流估计网络的学习率。
本公开实施例中的检测视频抖动的装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本公开实施例不作具体限定。
本公开实施例中的检测视频抖动的装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本公开实施例不作具体限定。
本公开实施例提供的检测视频抖动的装置能够实现图1至图3的方法实施例中检测视频抖动的装置实现的各个过程，为避免重复，这里不再赘述。
可选地，如图6所示，本公开实施例另提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述检测视频抖动的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述检测视频抖动的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本公开实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述检测视频抖动的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本公开实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本公开实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。

Claims (18)

1.一种检测视频抖动的方法，其特征在于，所述方法包括：
提取视频序列中多个视频帧的光学色彩图；
提取所述多个视频帧的光流图；
根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；
根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
2.根据权利要求1所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：
确定所述多个视频帧中前景运动信息；
从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定背景运动信息；
根据所述背景运动信息，判断视频是否存在抖动。
3.根据权利要求2所述的方法，其特征在于，所述确定所述多个视频帧中前景运动信息，包括：
将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络，其中，所述目标卷积神经网络的样本集中包含前景运动信息与背景运动信息之间的对应关系；
通过所述目标卷积神经网络输出所述关键点运动信息是否为前景运动信息的判断结果；
根据所述判断结果，确定所述多个视频帧中前景运动信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：
确定所述多个视频帧中背景深度信息；
从所述背景运动信息中，剔除所述背景深度信息，以确定背景运动轨迹信息；
根据所述背景运动轨迹信息，判断视频是否存在抖动。
5.根据权利要求4所述的方法，其特征在于，所述确定所述多个视频帧中背景深度信息，包括：
在至少一个所述视频帧中，划分多个网格；
基于至少一个所述网格内的关键点运动信息，通过滤波处理以确定所述网格的预定点运动信息；
根据所述预定点运动信息，确定所述背景深度信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动，包括：
将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；
通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动；
其中，所述目标卷积神经网络包括多层结构，并所述前后至少两帧图像中的关键点运动信息经过所述多层结构中的至少两层，所述至少两层中包括所述全连接层。
7.根据权利要求1所述的方法，其特征在于，所述提取所述多个视频帧的光流图，包括：
基于目标光流估计网络，通过图像分辨率由低到高的顺序，来估计所述多个视频帧的光流；
通过较低图像分辨率的视频帧对应的第一光流信息，确定较高图像分辨率的视频帧对应的第二光流信息；
根据所述第一光流信息和所述第二光流信息，确定所述多个视频帧的光流图。
8.根据权利要求7所述的方法，其特征在于，所述目标光流估计网络的训练期间按时间顺序划分为前期、稳定期和后期，所述稳定期内所述目标光流估计网络的学习率高于所述前期内所述目标光流估计网络的学习率，所述稳定期内所述目标光流估计网络的学习率高于所述后期内所述目标光流估计网络的学习率。
9.一种检测视频抖动的装置，其特征在于，所述装置包括：
第一提取模块，用于提取视频序列中多个视频帧的光学三原色光学色彩图；
第二提取模块，提取所述多个视频帧的光流图；
确定模块，用于根据所述多个视频帧的光学色彩图和光流图，确定前后至少两帧图像中的关键点运动信息；
判断模块，用于根据所述前后至少两帧图像中的关键点运动信息，判断视频是否存在抖动。
10.根据权利要求9所述的装置，其特征在于，所述判断模块用于：确定所述多个视频帧中前景运动信息；从所述前后至少两帧图像中的关键点运动信息中，剔除所述前景运动信息，以确定背景运动信息；根据所述背景运动信息，判断视频是否存在抖动。
11.根据权利要求10所述的装置，其特征在于，所述判断模块用于：将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络，其中，所述目标卷积神经网络的样本集中包含前景运动信息与背景运动信息之间的对应关系；通过所述目标卷积神经网络输出所述关键点运动信息是否为前景运动信息的判断结果；根据所述判断结果，确定所述多个视频帧中前景运动信息。
12.根据权利要求10所述的装置，其特征在于，所述判断模块用于：确定所述多个视频帧中背景深度信息；从所述背景运动信息中，剔除所述背景深度信息，以确定背景运动轨迹信息；根据所述背景运动轨迹信息，判断视频是否存在抖动。
13.根据权利要求12所述的装置，其特征在于，所述判断模块用于：在至少一个所述视频帧中，划分多个网格；基于至少一个所述网格内的关键点运动信息，通过滤波处理以确定所述网格的预定点运动信息；根据所述预定点运动信息，确定所述背景深度信息。
14.根据权利要求9所述的装置，其特征在于，所述判断模块用于：
将所述前后至少两帧图像中的关键点运动信息，输入目标卷积神经网络；
通过所述目标卷积神经网络的全连接层，判断所述视频是否存在抖动；
其中，所述目标卷积神经网络包括多层结构，并支持所述前后至少两帧图像中的关键点运动信息跨过所述多层结构中的至少一层。
15.根据权利要求9所述的装置，其特征在于，所述第二提取模块用于：
通过目标光流估计网络，通过图像分辨率由低到高的顺序，来估计所述多个视频帧的光流；
通过较低图像分辨率的视频帧对应的第一光流信息，确定较高图像分辨率的视频帧对应的第二光流信息；
根据所述第一光流信息和所述第二光流信息，确定所述多个视频帧的光流图。
16.根据权利要求15所述的装置，其特征在于，所述目标光流估计网络的训练期间按时间顺序划分为前期、稳定期和后期，所述稳定期内所述目标光流估计网络的学习率高于所述前期内所述目标光流估计网络的学习率，所述稳定期内所述目标光流估计网络的学习率高于所述后期内所述目标光流估计网络的学习率。
17.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8中任一项所述的检测视频抖动的方法的步骤。
18.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8中任一项所述的检测视频抖动的方法的步骤。
CN202210667821.5A 2022-06-14 2022-06-14 检测视频抖动的方法、装置、电子设备和可读存储介质 Pending CN117274138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667821.5A CN117274138A (zh) 2022-06-14 2022-06-14 检测视频抖动的方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667821.5A CN117274138A (zh) 2022-06-14 2022-06-14 检测视频抖动的方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN117274138A true CN117274138A (zh) 2023-12-22

Family

ID=89214687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667821.5A Pending CN117274138A (zh) 2022-06-14 2022-06-14 检测视频抖动的方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN117274138A (zh)

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN107704797B (zh) 基于安防视频中行人和车辆的实时检测方法和***及设备
CN112132130B (zh) 一种面向全场景的实时性车牌检测方法及***
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN110796664A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN104202448A (zh) 一种解决移动终端摄像头拍照亮度不均的***及其方法
CN112766028A (zh) 人脸模糊处理方法、装置、电子设备及存储介质
CN114511696A (zh) 控件定位方法、装置、电子设备及可读存储介质
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
CN113688820A (zh) 频闪条带信息识别方法、装置和电子设备
CN113628259A (zh) 图像的配准处理方法及装置
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN111160240A (zh) 图像对象的识别处理方法、装置及智能设备、存储介质
CN117274138A (zh) 检测视频抖动的方法、装置、电子设备和可读存储介质
CN113793358B (zh) 一种目标跟踪定位方法、装置及计算机可读介质
CN112598692A (zh) 基于标记像素矩阵的遥感影像分割后处理算法
CN111160265A (zh) 文件转换方法、装置、存储介质及电子设备
CN111008555A (zh) 一种无人机图像弱小目标增强提取方法
CN115984865B (zh) 文本识别方法、装置、电子设备和存储介质
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
CN117710876A (zh) 停车事件判断方法、设备以及存储介质
CN113657412A (zh) 显著物体检测方法、装置、设备及存储介质
CN116980695A (zh) 视频处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination