CN112995678B - 一种视频运动补偿方法、装置及计算机设备 - Google Patents

一种视频运动补偿方法、装置及计算机设备 Download PDF

Info

Publication number
CN112995678B
CN112995678B CN202110199719.2A CN202110199719A CN112995678B CN 112995678 B CN112995678 B CN 112995678B CN 202110199719 A CN202110199719 A CN 202110199719A CN 112995678 B CN112995678 B CN 112995678B
Authority
CN
China
Prior art keywords
foreground
compensation
background
video frames
compensation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110199719.2A
Other languages
English (en)
Other versions
CN112995678A (zh
Inventor
孙爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Skyworth Institute Of Information Technology Co ltd
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Nanjing Skyworth Institute Of Information Technology Co ltd
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Skyworth Institute Of Information Technology Co ltd, Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Nanjing Skyworth Institute Of Information Technology Co ltd
Priority to CN202110199719.2A priority Critical patent/CN112995678B/zh
Publication of CN112995678A publication Critical patent/CN112995678A/zh
Application granted granted Critical
Publication of CN112995678B publication Critical patent/CN112995678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频运动补偿方法、装置及计算机设备。该视频运动补偿方法包括：首先提取视频帧序列中两个相邻视频帧的前景目标和背景区域，然后根据每两个相邻视频帧的前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的背景区域的像素点坐标变换参数得到背景补偿数据。再将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。本发明通过将视频帧区分为前景目标和背景区域，对二者分别进行运动补偿，融合后得到高质量图像运动补偿数据，优化了运动补偿的数据处理过程，减少了视频拖影和抖动的情况，极大地提高了智能电视用户的使用舒适度。

Description

一种视频运动补偿方法、装置及计算机设备
技术领域
本发明涉及图像处理领域，尤其涉及一种视频运动补偿方法、装置及计算机设备。
背景技术
随着互联网络的大面积普及以及人工智能技术的发展，智能电视等智能终端设备已代替了传统播放设备成为市场主流。与此同时，智能电视等终端设备快速普及也带动了运动补偿技术(Motion Estimate and Motion Compensation，简称MEMC)的发展。MEMC技术主要体现在用于对抖动视频进行运动补偿，进而修复视频的抖动。
对于背景抖动并同时出现高频度运动目标的场景，例如，摄像机抖动情况下拍摄的赛场运动员比赛的视频，传统的MEMC技术无法有效克服背景抖动，得到高质量的补偿帧数据，会出现部分残影和防抖效果不佳的问题，极大地影响视频修复的质量和用户观影体验。
因此，传统MEMC技术存在防抖动效果差，补偿质量低的问题。
发明内容
为了解决上述技术问题，本发明提供了一种视频运动补偿方法、装置及计算机设备，具体方案如下：
第一方面，本申请实施例提供了一种视频运动补偿方法，所述方法包括：
提取视频帧序列中两个相邻视频帧的前景目标和背景区域；
根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据；
将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。
根据本申请公开的一种具体实施方式，提取视频帧的前景目标的步骤，包括；
通过预先训练的前景提取模型从所述视频帧中提取所述前景目标，其中，所述前景提取模型为多尺度全卷积神经网络模型。
根据本申请公开的一种具体实施方式，所述根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据的步骤，包括：
获取所述前景目标的像素点信息和质心坐标，利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据；
利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数，基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据。
根据本申请公开的一种具体实施方式，所述像素点信息包括每个像素点的坐标和像素值，所述获取所述前景目标的像素点信息和质心坐标的步骤，包括：
获取所述前景目标每个像素点的坐标和像素值；
根据所述每个像素点的坐标和像素值计算得到所述前景目标的质心坐标；其中，计算所述质心坐标的公式为：
Figure BDA0002947698390000031
Figure BDA0002947698390000032
其中，X为质心在x轴方向上的坐标，xi为前景目标的第i个像素点在x方向上的坐标，pi为所述第i个像素点的像素值，Y为质心在y轴方向上坐标，yi为所述第i个像素点在y方向上的坐标。
根据本申请公开的一种具体实施方式，所述利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据的步骤，包括：
基于所述两个相邻视频帧中前景目标对应的所有边缘像素点的坐标和质心坐标进行欧几里得变换，得到第一欧氏距离值；
将每个所述第一欧氏距离值存储到对应的坐标数组，并根据全部坐标数组计算得到原始运动轨迹；
采用滤波器对所述原始运动轨迹进行平滑处理，得到平滑运动轨迹模型；
将所述前景目标对应的像素点信息输入所述平滑运动轨迹模型中，得到相邻两个视频帧的所述前景补偿数据。
根据本申请公开的一种具体实施方式，所述利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数的步骤，包括：
在所述背景区域中选择N个互不重叠的矩形区域作为匹配区域，N为正整数；
检测每个所述匹配区域中所有的特征点；
将所述两个相邻视频帧的特征点进行匹配，得到两个相邻视频帧之间对应的关联特征点组合，所述关联特征点组合包括所述两个相邻视频帧之间特征值相同的两个特征点；
根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合；
求解两个相邻视频帧之间的所述最优特征点组合进行仿射变换的变换参数。
根据本申请公开的一种具体实施方式，所述根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合的步骤，包括：
计算每个所述关联特征点组合内的两个特征点之间的第二欧氏距离值和汉明距离值；
从全部所述第二欧氏距离值中确定最小欧氏距离值R1，并从全部所述汉明距离值中确定最小汉明距离值R2；
将第二欧氏距离值不超过2*R1且汉明距离值不超过2*R2的关联特征点组合进行聚类分析，得到最优特征点组合。
根据本申请公开的一种具体实施方式，所述基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据的步骤，包括：
根据所述变换参数构建背景区域补偿模型，所述变换参数包括平移量、缩放量、翻转量、旋转量和剪切量中的至少一种；
将所述背景区域包含的像素点信息输入到所述背景区域补偿模型中，得到所述背景补偿数据。
根据本申请公开的一种具体实施方式，所述将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像的步骤，包括：
利用图像金字塔模型将所述前景补偿数据和所述背景补偿数据进行不同尺度的融合，得到不同尺度的补偿图像；
根据用户触发的选择指令从所述不同尺度的补偿图像中选择目标补偿图像，其中，所述目标补偿图像为全部不同尺度的补偿图像中的任一个。
第二方面，本申请实施例提供了一种视频运动补偿装置，所述装置包括：
提取模块，用于提取视频帧序列中两个相邻视频帧的前景目标和背景区域；
补偿模块，用于根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据；
融合模块，用于将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现第一方面中任一项实施例所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现第一方面中任一项实施例所述的方法。
相对于现有技术而言，本申请具有以下有益效果：
本发明提供一种视频运动补偿方法、装置及计算机设备。该视频运动补偿方法包括：首先提取视频帧序列中两个相邻视频帧的前景目标和背景区域，然后根据每两个相邻视频帧的前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的背景区域的像素点坐标变换参数得到背景补偿数据。再将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。本发明通过将视频帧区分为前景目标和背景区域，对二者分别进行运动补偿，得到高质量图像运动补偿数据，优化了运动补偿的数据处理过程，减少了视频拖影和抖动的情况，极大地提高了智能电视用户的使用舒适度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1为本申请实施例提供的一种视频运动补偿方法的流程示意图；
图2为本申请实施例提供的一种图像金字塔模型的结构示意图；
图3为本申请实施例提供的一种视频运动补偿装置的模块框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
参见图1，为本申请实施例提供的一种视频运动补偿方法的流程示意图，如图1所示，所述方法主要包括：
步骤S101，提取视频帧序列中两个相邻视频帧的前景目标和背景区域。
在过去胶片年代，每秒显示胶片数大约为24Hz，如果在电视或者其他终端设备上还是用24Hz，也就是每秒24张画面的显示方式，画面中就会出现闪烁。因此，电视显示频率调整到了50Hz/60Hz，而针对24Hz拍摄的电影，在更高上显示频率的终端设备上显示时就要插帧才能让画面更流畅。
运动补偿是如今普遍运用于液晶电视的一项运动画质补偿技术，就是在传统的两帧图像之间加插一帧运动补偿帧。如此一来，可以让断断续续的高速运动画面变得连贯平滑。
本申请中的视频运动补偿方法是提取两个相邻视频帧的前景目标和背景区域，通过分别估算前景目标和背景区域的运动轨迹，智能化在画面当中不断插帧，从而使得运动图像顺畅，画面的清晰度也更好。需要说明的是，本实施例提供的方案，可以在视频中的每两个相邻视频帧之间进行补偿插帧，也可以在部分相邻帧视频之间，尤其是涉及运动场景的相邻视频帧之间。
提取视频帧的前景目标的步骤，包括；
通过预先训练的前景提取模型从所述视频帧中提取所述前景目标，其中，所述前景提取模型为多尺度全卷积神经网络模型。
具体实施时，提取任一视频帧的前景目标后，可以将该视频帧余下部分的帧数据作为背景区域，不需要额外识别当前视频帧的背景区域，也可以通过其他背景提取模型提取当前视频帧的背景区域，此处不作限定。
步骤S102，根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据。
对于背景抖动并同时出现高频度运动目标的视频，传统的运动补偿技术无法有效克服背景抖动，得到高质量的补偿帧数据，极大影响视频修复的质量。例如，摄像机抖动情况下拍摄的赛场运动员比赛的视频，传统的全局运动补偿参数无法有效克服抖动得到高质量补偿数据，从而影响视频质量，极大地影响用户观影体验。
前景补偿和背景补偿是分别提取两个相邻视频帧的前景目标和背景区域，通过视频帧中的像素点信息得到两个相邻视频帧的前景目标和背景区域的运动轨迹。再根据上述运动轨迹计算得到需要***到相邻视频帧之间的前景目标和背景区域对应的像素点信息，即分别进行不同程度的运动补偿，可以得到高质量图像运动补偿数据。
具体实施时，所述根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据的步骤，包括：
获取所述前景目标的像素点信息和质心坐标，利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据；
利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数，基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据。
需要说明的是，本实施例提供的方案中，针对前景补偿数据和背景补偿数据的获取动作，并没有先后的限定，可以同时处理或者分别先后处理均可。
本实施方式主要针对前景补偿数据和背景补偿数据的获取过程作进一步限定。其中，前景补偿数据主要通过前景目标的边缘像素点信息和质心坐标构建运动轨迹方程，通过运动轨迹方程进行预测，生成前景目标的补偿数据。而背景补偿数据是通过相邻帧背景区域进行的仿射变化进一步计算背景区域的运动矢量，从而对当前两个视频帧中的背景区域进行运动补偿。
其中，变换参数是指每两个相邻视频帧的背景区域进行仿射变换的参数。仿射变换是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”和“平行性”。平直性即变换后直线还是直线不会打弯，圆弧还是圆弧，平行性是指保二维图形间的相对位置关系不变，平行线还是平行线，相交直线的交角不变。仿射变换是能最佳拟合每两个相邻视频帧之间变化的几何变换模型。
具体实施时，所述像素点信息包括每个像素点的坐标和像素值，所述获取所述前景目标的像素点信息和质心坐标的步骤，包括：
获取所述前景目标每个像素点的坐标和像素值；
根据所述每个像素点的坐标和像素值计算得到所述前景目标的质心坐标；其中，计算所述质心坐标的公式为：
Figure BDA0002947698390000101
Figure BDA0002947698390000102
其中，X为质心在x轴方向上的坐标，xi为前景目标的第i个像素点在x方向上的坐标，pi为所述第i个像素点的像素值，Y为质心在y轴方向上坐标，yi为所述第i个像素点在y方向上的坐标。
具体地，图像的质心，也称为图像的重心。可以将传统质心的概念扩展到图像上面。图像中每一点的像素值可以理解成此点处的质量，不同之处是图像是2维的，解决的方法是在X方向和Y方向上分别独立地找出质心。即对于X方向的质心，图像在质心左右两边像素和相等,对于Y方向的质心，图像在质心上下两边像素和相等。
具体实施时，所述利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据的步骤，包括：
基于所述两个相邻视频帧中前景目标对应的所有边缘像素点的坐标和质心坐标进行欧几里得变换，得到第一欧氏距离值；
将每个所述第一欧氏距离值存储到对应的坐标数组，并根据全部坐标数组计算得到原始运动轨迹；
采用滤波器对所述原始运动轨迹进行平滑处理，得到平滑运动轨迹模型；
将所述前景目标对应的像素点信息输入所述平滑运动轨迹模型中，得到相邻两个视频帧的所述前景补偿数据。
具体地，欧氏距离值是指在m维空间中两个点之间的真实距离，或者向量的自然长度，即该点到原点的距离。在二维和三维空间中的欧氏距离就是两点之间的实际距离。欧氏距离值拓展到n维空间时，其求解公式为：
Figure BDA0002947698390000121
其中，d为欧氏距离值，xi为坐标系中第i个点在X轴方向上的坐标，yi为坐标系中第i个点在Y轴方向上的坐标。
具体实施时，基于两个相邻视频帧中前景目标对应的所有边缘像素点的坐标和质心坐标进行欧几里得变换，得到第一欧氏距离值后，将每个第一欧氏距离值分解成横坐标值、纵坐标值和角度值，并存储到对应的坐标数组中。然后依据上述数组数据进行微分并累积得到原始运动轨迹曲线，再使用滤波器平滑原始运动轨迹曲线，滤除原始运动轨迹曲线中的非正常波段，得到平滑运动轨迹模型。采用滤波器进行滤波能够有效地抑制和防止干扰。
所述利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数的步骤，包括：
在所述背景区域中选择N个互不重叠的矩形区域作为匹配区域，N为正整数；
检测每个所述匹配区域中所有的特征点；
将所述两个相邻视频帧的特征点进行匹配，得到两个相邻视频帧之间对应的关联特征点组合，所述关联特征点组合包括所述两个相邻视频帧之间特征值相同的两个特征点；
根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合；
求解两个相邻视频帧之间的所述最优特征点组合进行仿射变换的变换参数。
具体实施时，可以对每个匹配区域采用harris角点检测和SURF关键点检测,找到每个匹配区域中所有的特征点。
汉明距离是指表示两个等长字符串在对应位置上不同字符的数目，可以用d(x,y)表示字符串x和y之间的汉明距离。从另外一个方面看，汉明距离度量了通过替换字符的方式将字符串x变成y所需要的最小的替换次数。换句话说，汉明距离值就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如，1011101与1001001之间的汉明距离是2，2143896与2233796之间的汉明距离是3，"toned"与"roses"之间的汉明距离是3。
所述根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合的步骤，包括：
计算每个所述关联特征点组合内的两个特征点之间的第二欧氏距离值和汉明距离值；
从全部所述第二欧氏距离值中确定最小欧氏距离值R1，并从全部所述汉明距离值中确定最小汉明距离值R2；
将第二欧氏距离值不超过2*R1且汉明距离值不超过2*R2的关联特征点组合进行聚类分析，得到最优特征点组合。
具体实施时，对于两个相邻视频帧之间的关联特征点组合，分别选择对应的最小距离值作为阈值，当关联特征点组合的第二欧氏距离和汉明距离均大于对应的两倍预设阈值时，删除对应的关联特征点组合，反之则保留对应的关联特征点组合。此外，上述筛选条件中的两倍预设阈值只是一个优选值，可以根据实际应用，将上述筛选条件中的两倍预设阈值合理地设置为任意倍数的预设阈值。然后将第二欧氏距离值不超过2*R1且汉明距离值不超过2*R2的关联特征点组合进行聚类分析，得到最优特征点组合，再求解两个相邻视频帧之间的最优特征点组合进行仿射变换的变换参数。
所述基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据的步骤，包括：
根据所述变换参数构建背景区域补偿模型，所述变换参数包括平移量、缩放量、翻转量、旋转量和剪切量中的至少一种；
将所述背景区域包含的像素点信息输入到所述背景区域补偿模型中，得到所述背景补偿数据。
具体地，基于最优特征点组合进行仿射变换的变换参数，构建整个背景区域补偿模型，可以使得计算量大幅减少，也能达到最优的变换效果。最优特征点组合进行仿射变换的变换参数可以通过如下的变换矩阵进行表示：
Figure BDA0002947698390000141
其中，(tx,ty)表示平移量，参数a1、a2、a3和a4表示缩放量、翻转量、旋转量和剪切量，x和y分别表示仿射变换前的特征点横坐标和纵坐标，x'和y'分别表示仿射变换后的特征点横坐标和纵坐标。
步骤S103，将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。
传统的全局运动补偿技术，是将整个视频帧进行统一补偿，会出现视频帧局部图像补偿不清晰的情况。而步骤S103通过区分视频帧的前景目标和背景区域，并进行不同程度上的运动补偿，可以得到两个高质量的补偿数据，能够有效完成视频运动补偿和图像修复，优化了运动补偿数据的处理过程，减少了出现视频拖影和抖动的情况，极大提高了智能电视用户的使用舒适度。
所述将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像的步骤，包括：
利用图像金字塔模型将所述前景补偿数据和所述背景补偿数据进行不同尺度的融合，得到不同尺度的补偿图像；
根据用户触发的选择指令从所述不同尺度的补偿图像中选择目标补偿图像，其中，所述目标补偿图像为全部不同尺度的补偿图像中的任一个。
参见图2，图2为本申请实施例提供的一种图像金字塔的模型结构示意图。图像金字塔是一种以多分辨率来解释图像的结构，通过对原始图像进行多尺度像素采样的方式，生成N个不同分辨率的图像。把具有最高级别分辨率的图像放在底部，以金字塔形状排列，往上是一系列像素逐渐降低的图像，一直到金字塔的顶部只包含一个像素点的图像。从图2来看，由Level 0→Level 1→Level 2→Level 3→Level 4是图像分辨率不断降低的过程。
使用图像金字塔模型将不同分辨率的前景补偿数据和背景补偿数据融合，得到多种不同尺度的补偿图像，再从中选择出融合效果与原视频视觉效果最符合、更真实的补偿图像，从而模拟更真实的帧数据，并将其***视频序列中。
本发明提供的视频运动补偿方法，通过区分视频前景和背景并采用不同方法进行不同程度上的运动补偿，可以得到高质量补偿帧数据，能够高效地完成视频运动补偿和图像修复，优化运动补偿数据的处理过程，减少出现视频拖影和抖动的情况。
与上述方法实施例相对应，参见图3，本发明还提供一种视频运动补偿装置300，所述视频运动补偿装置300包括：
提取模块301，用于提取视频帧序列中两个相邻视频帧的前景目标和背景区域；
补偿模块302，用于根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据；
融合模块303，用于将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。
此外，还提供一种计算机设备，计算机设备包括处理器和存储器，存储器存储有计算机程序，计算机程序在处理器上执行时实现上述视频运动补偿方法。
此外，还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序在处理器上执行时实现上述视频运动补偿方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种视频运动补偿方法，其特征在于，所述方法包括：
提取视频帧序列中两个相邻视频帧的前景目标和背景区域；
根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据；
将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间;
所述根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据的步骤，包括：
获取所述前景目标的像素点信息和质心坐标，利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据；
利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数，基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据。
2.根据权利要求1所述的方法，其特征在于，提取视频帧的前景目标的步骤，包括;
通过预先训练的前景提取模型从所述视频帧中提取所述前景目标，其中，所述前景提取模型为多尺度全卷积神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述像素点信息包括每个像素点的坐标和像素值，所述获取所述前景目标的像素点信息和质心坐标的步骤，包括：
获取所述前景目标每个像素点的坐标和像素值；
根据所述每个像素点的坐标和像素值计算得到所述前景目标的质心坐标；其中，计算所述质心坐标的公式为：
Figure F_220824105744686_686817001
Figure F_220824105744767_767374002
，
其中，X为质心在x轴方向上的坐标，
Figure F_220824105744845_845511003
为前景目标的第
Figure F_220824105744923_923631004
个像素点在x方向上的坐标，
Figure F_220824105745001_001752005
为所述第
Figure F_220824105745112_112566006
个像素点的像素值，Y为质心在y轴方向上坐标，
Figure F_220824105745191_191207007
为所述第
Figure F_220824105745253_253729008
个像素点在y方向上的坐标。
4.根据权利要求1所述的方法，其特征在于，所述利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据的步骤，包括：
基于所述两个相邻视频帧中前景目标对应的所有边缘像素点的坐标和质心坐标进行欧几里得变换，得到第一欧氏距离值；
将每个所述第一欧氏距离值存储到对应的坐标数组，并根据全部坐标数组计算得到原始运动轨迹；
采用滤波器对所述原始运动轨迹进行平滑处理，得到平滑运动轨迹模型；
将所述前景目标对应的像素点信息输入所述平滑运动轨迹模型中，得到相邻两个视频帧的所述前景补偿数据。
5.根据权利要求1所述的方法，其特征在于，所述利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数的步骤，包括：
在所述背景区域中选择N个互不重叠的矩形区域作为匹配区域，N为正整数；
检测每个所述匹配区域中所有的特征点；
将所述两个相邻视频帧的特征点进行匹配，得到两个相邻视频帧之间对应的关联特征点组合，所述关联特征点组合包括所述两个相邻视频帧之间特征值相同的两个特征点；
根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合；
求解两个相邻视频帧之间的所述最优特征点组合进行仿射变换的变换参数。
6.根据权利要求5所述的方法，其特征在于，所述根据每个所述关联特征点组合对应的第二欧氏距离值和汉明距离值从全部所述关联特征点组合中选择最优特征点组合的步骤，包括：
计算每个所述关联特征点组合内的两个特征点之间的第二欧氏距离值和汉明距离值；
从全部所述第二欧氏距离值中确定最小欧氏距离值R1，并从全部所述汉明距离值中确定最小汉明距离值R2；
将第二欧氏距离值不超过2*R1且汉明距离值不超过2*R2的关联特征点组合进行聚类分析，得到最优特征点组合。
7.根据权利要求1所述的方法，其特征在于，所述基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据的步骤，包括：
根据所述变换参数构建背景区域补偿模型，所述变换参数包括平移量、缩放量、翻转量、旋转量和剪切量中的至少一种；
将所述背景区域包含的像素点信息输入到所述背景区域补偿模型中，得到所述背景补偿数据。
8.根据权利要求1所述的方法，其特征在于，所述将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像的步骤，包括：
利用图像金字塔模型将所述前景补偿数据和所述背景补偿数据进行不同尺度的融合，得到不同尺度的补偿图像；
根据用户触发的选择指令从所述不同尺度的补偿图像中选择目标补偿图像，其中，所述目标补偿图像为全部不同尺度的补偿图像中的任一个。
9.一种视频运动补偿装置，其特征在于，所述装置包括：
提取模块，用于提取视频帧序列中两个相邻视频帧的前景目标和背景区域；
补偿模块，用于根据每两个相邻视频帧的所述前景目标的像素点信息，得到前景补偿数据，并根据每两个相邻视频帧的所述背景区域的像素点坐标变换参数得到背景补偿数据；其中具体包括，用于获取所述前景目标的像素点信息和质心坐标，利用所述像素点信息和所述质心坐标对所述前景目标进行补偿，得到前景补偿数据；利用每相邻两个视频帧内背景区域的特征点距离求解所述背景区域进行仿射变换的变换参数，基于所述变换参数对所述背景区域进行补偿，得到背景补偿数据；
融合模块，用于将所述前景补偿数据和所述背景补偿数据进行融合，得到目标补偿图像，并将目标补偿图像***到两个相邻视频帧之间。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现权利要求1至8中任一项所述的视频运动补偿方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现权利要求1至8中任一项所述的视频运动补偿方法。
CN202110199719.2A 2021-02-22 2021-02-22 一种视频运动补偿方法、装置及计算机设备 Active CN112995678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110199719.2A CN112995678B (zh) 2021-02-22 2021-02-22 一种视频运动补偿方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110199719.2A CN112995678B (zh) 2021-02-22 2021-02-22 一种视频运动补偿方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112995678A CN112995678A (zh) 2021-06-18
CN112995678B true CN112995678B (zh) 2022-10-25

Family

ID=76349536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110199719.2A Active CN112995678B (zh) 2021-02-22 2021-02-22 一种视频运动补偿方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112995678B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079725B (zh) * 2020-08-13 2023-02-07 华为技术有限公司 视频防抖方法、终端设备和计算机可读存储介质
CN114205672A (zh) * 2021-12-13 2022-03-18 浙江湖州兆龙网络科技有限公司 一种运动补偿技术的视频压缩处理器
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质
CN115297313B (zh) * 2022-10-09 2023-04-25 南京芯视元电子有限公司 微显示动态补偿方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032688A (ja) * 2001-07-18 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478678B (zh) * 2008-12-30 2011-06-01 西安交通大学 基于感兴趣区域运动补偿时域滤波方法
CN101621693B (zh) * 2009-07-31 2011-01-05 重庆大学 一种结合目标分割和不规则块补偿的帧频提升方法
CN103167304B (zh) * 2013-03-07 2015-01-21 海信集团有限公司 立体视频帧率提升方法和装置
CN107968946B (zh) * 2016-10-18 2021-09-21 深圳万兴信息科技股份有限公司 视频帧率提升方法及装置
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制***及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032688A (ja) * 2001-07-18 2003-01-31 Nippon Telegr & Teleph Corp <Ntt> 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法

Also Published As

Publication number Publication date
CN112995678A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112995678B (zh) 一种视频运动补偿方法、装置及计算机设备
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
US11095833B2 (en) Automatic composition of composite images or videos from frames captured with moving camera
US9430817B2 (en) Blind image deblurring with cascade architecture
Koh et al. Video stabilization based on feature trajectory augmentation and selection and robust mesh grid warping
CN110223236B (zh) 用于增强图像序列的方法
CN111951325B (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
KR20200128378A (ko) 이미지 생성 네트워크의 훈련 및 이미지 처리 방법, 장치, 전자 기기, 매체
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
Li et al. A maximum a posteriori estimation framework for robust high dynamic range video synthesis
Wu et al. Global motion estimation with iterative optimization-based independent univariate model for action recognition
Li et al. Video retargeting with multi-scale trajectory optimization
CN110309721A (zh) 视频处理方法、终端和存储介质
Qiao et al. Temporal coherence-based deblurring using non-uniform motion optimization
CN113989460B (zh) 用于增强现实场景的实时天空替换特效控制方法及装置
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer
Lee Novel video stabilization for real-time optical character recognition applications
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN114387290A (zh) 图像处理方法、图像处理装置、计算机设备和存储介质
CN113516674A (zh) 一种图像数据检测方法、装置、计算机设备和存储介质
Zhen et al. Inertial sensor aided multi-image nonuniform motion blur removal based on motion decomposition
Yu et al. Animation line art colorization based on the optical flow method
CN117456097B (zh) 一种三维模型构建方法及装置
CN113962964B (zh) 基于时序图像数据的指定对象擦除方法及装置
Zhang et al. Context-based video frame interpolation via depthwise over-parameterized convolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant