CN112995677B - 一种基于像素语义匹配的视频帧率上转换方法 - Google Patents
一种基于像素语义匹配的视频帧率上转换方法 Download PDFInfo
- Publication number
- CN112995677B CN112995677B CN202110169892.8A CN202110169892A CN112995677B CN 112995677 B CN112995677 B CN 112995677B CN 202110169892 A CN202110169892 A CN 202110169892A CN 112995677 B CN112995677 B CN 112995677B
- Authority
- CN
- China
- Prior art keywords
- frame
- reference frame
- pixel
- block
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明涉及基于像素语义匹配的视频帧率上转换方法,有效解决现有技术中采用块间语义所造成抑制BME块失配能力受限,严重影响内插帧预测质量的问题,将视频序列中第t帧F t 作为待插帧、视频序列中第t‑1帧F t‑1作为待插帧F t 的前向的参考帧、视频序列中第t+1帧F t+1作为待插帧F t 的后向的参考帧,针对前向的参考帧F t‑1、后向的参考帧F t+1,逐像素提取语义特征,生成前向的参考帧F t‑1的前语义层L t‑1、后向的参考帧F t+1的后语义层L t+1;将L t‑1、L t+1分别作为F t‑1、F t+1的新通道,合并计为X t‑1、X t+1,以F t 为中心,根据F t‑1新通道X t‑1、F t+1新通道X t+1实施双向块匹配,生成待插帧F t 的运动向量场V t ;根据相邻F t‑1、F t+1及F t 的运动向量场V t 进行重叠块运动补偿内插,获取待插帧F t 。
Description
技术领域
本发明涉及视频编码技术领域,特别是一种基于像素语义匹配的视频帧率上转换方法。
背景技术
帧率上转换(Frame Rate Up-Conversion,FRUC)是一种视频后处理技术,其通过在相 邻帧***中间帧的方式,提升视频帧率。帧率是决定视频视觉质量的重要指标,然而,落后 的成像技术、行业标准造成低帧率普及于各视觉媒体之中。当前,5G技术飞速发展,其高传 输带宽极大刺激了大众对高帧率视频的需求,这给予FRUC以新的挑战。在普及的低速成像 设备中,如何发掘蕴含在视频序列中的潜在时空相关性,利用FRUC技术尽最大可能输出逼 近真实的高帧率视频,是目前亟待解决的难题。
简单有效的FRUC技术是帧复制或帧平均,其直接通过复制或平均相邻帧提升视频帧率, 该方法适用范围较窄,对含有复杂运动的视频序列,会产生画面模糊、抖动等现象。为了更 好地复原物体运动细节,运动补偿概念引入到FRUC,提出了运动补偿FRUC(MotionCompensated FRUC,MC-FRUC),相比于帧复制或帧平均,其可有效抑制运动模糊。MC-FRUC主要由运动估计(Motion Estimation,ME)和运动补偿插值(Motion CompensatedInterpolation, MCI)组成,其中ME用于计算相邻帧间的运动向量场(Motion VectorField,MVF),而MCI 根据ME输出的MVF由相邻帧内插出中间帧。大多数MC-FRUC实施方案采用文献 “Motion-Compensated Frame Interpolation Using Bilateral MotionEstimation and Adaptive Overlapped Block Motion Compensation(Byung-Doo Choi,Jong-Woo Han,Chang-su Kim and Sung-JeaKo,IEEE Transactions on Circuits andSystems for Video Technology,2007,vol.17,no.4, pp.407-416.)”提出的双向ME(Bilateral ME,BME),其直接在内插帧上实施块匹配(Block Matching Algorithm,BMA),根据运动对称性假设,为内插帧各块分配唯一运动向量(Motion Vector,MV)。BME的优势在于执行快速高效,且可避免内插帧中出现像素重叠、空洞。在 BME中,BMA采用双向绝对误差和(Sum of Bidirectional Absolute Differences,SBAD)作 为匹配准则,然而,受运动对称性假设影响,内插块的真实MV并不总是具有最小SBAD值, 尤其在遮挡、纹理区域,块失配现象较严重。为了解决该问题,现有技术“Con-Patch:When a Patch Meets Its Context(Yaniv Romano and MichaelElad,IEEE Transactions on Image Processing, 2016,vol.25,no.9,pp.3967-3978.)”提出构造出语义子块(Context Patch,Con-Patch),利用自相似描述子表示各块的语义特征,度量各块与其周围块间的相似性,并将其作为匹配项融 入BMA,以增强各块的区分特征,从而缓解由运动对称性假设失效带来的块失配,改善BME 准确度。然而,由于Con-Patch仅表达出各块的语义关联,而忽略了像素间的语义关联,导 致提升FRUC性能仍存在不足。
综上所述,为了进一步提升FRUC技术的性能,有待于设计像素语义特征匹配,而现有 FRUC技术仅是提取块间语义特征,不足以提升各块区分度,造成抑制BME中的块失配能力 受限,严重影响内插帧的预测质量。
发明内容
针对上述情况,为克服现有技术之缺陷,本发明之目的就是提供一种基于像素语义匹配 的视频帧率上转换方法,可有效解决现有技术中采用块间语义所造成抑制BME块失配能力 受限,严重影响内插帧预测质量的问题。
本发明解决的技术方案是,一种基于像素语义匹配的视频帧率上转换方法,包括以下步 骤:
(1)、将视频序列中第t帧Ft作为待插帧、视频序列中第t-1帧Ft-1作为待插帧Ft的前向的参考帧、视频序列中第t+1帧Ft+1作为待插帧Ft的后向的参考帧,待插帧Ft是位于前向的参考帧Ft-1、后向的参考帧Ft+1之间的中间帧,针对前向的参考帧Ft-1、后向的参考帧Ft+1,逐像素提取语义特征,生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1;
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的 新通道,合并计为Xt-1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行 重叠块运动补偿内插,获取待插帧Ft,实现基于像素语义匹配的视频帧率上转换。
本发明方法新颖独特,易操作,可有效解决现有技术中采用块间语义所造成抑制BME 块失配能力受限,严重影响内插帧预测质量的问题,显著提升内插视频帧的客观质量效果和 有效抑制块失配,显著改善内插质量,是视频编码技术上的一大创新,有显著的经济和社会 效益。
附图说明
图1为本发明方法流程框示图。
图2为本发明参考帧、待插帧排列关系图。
图3为本发明新通道与待插帧的转换关系图。
图4为本发明中重叠块运动补偿模块实施示例图。
图5、图6为本发明图像处理对比图。
具体实施方式
以下结合具体情况和附图对本发明的具体实施方式作详细说明。
本发明在具体实施中,一种基于像素语义匹配的视频帧率上转换方法,包括以下步骤:
(1)、针对待插帧Ft前向的参考帧Ft-1和后向的参考帧Ft+1,待插帧Ft是位于前向的参 考帧Ft-1(又称前向帧,以下同)、后向的参考帧Ft+1(又称后向帧,以下同)之间的中间帧,逐像素提取语义特征,生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1,具体包括以下步骤:
步骤a5、将二维相关前平面二维相关后平面的取值范围[0,1]等间隔划分为bin 份,分别统计二维相关前平面二维相关后平面的取值在各等间隔上的出现次数,并 除以相关平面取值总数h2,生成相应的归一化的前直方图后直方图
步骤a7、遍历前向的参考帧Ft-1、后向的参考帧Ft+1的所有像素,即m由1取至M,n 由1取至N,按式(3)、式(4)计算各像素对应的偏度,将所有偏度组成尺寸为M×N的前 语义层Lt-1、后语义层Lt+1,公式为:
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的 新通道,合并计为Xt-1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;具体包括以下步骤:
步骤b1、前向的参考帧Ft-1与前语义层Lt-1合并成尺寸为M×N×2的Xt-1,后向的参考帧 Ft+1与后语义层Lt+1合并成尺寸为M×N×2的Xt+1,即:
式中(m,n)为块内任一像素在Ft内的坐标位置,Xt-1(m+vx,n+vy,1)、Xt-1(m+vx,n+vy,2)分别 为在Xt-1内坐标位置(m+vx,n+vy,1)、(m+vx,n+vy,2)的取值,Xt+1(m-vx,n-vy,1)、Xt+1(m-vx,n-vy,2) 分别为在Xt+1内坐标位置(m-vx,n-vy,1)、(m-vx,n-vy,2)的取值,α为正则化因子;
步骤b6、遍历Ft内所有非重叠块,即r由1取至M/b,c由1取至N/b,按式(9)生成 所有块的运动向量,组成Ft的运动向量场Vt;
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行 重叠块运动补偿内插,获取待插帧Ft,实现重叠块运动补偿内插,方法是:
根据待插帧Ft的运动向量场Vt,利用参考帧Ft-1、Ft+1,实施重叠块运动补偿生成待插帧 Ft,对于Ft中任一块B4,其与左上角3个相邻块B1、B2、B3重叠,而B1、B2、B3、B4各自 具有运动向量v1、v2、v3、v4;对于O1区域,B1、B2、B3、B4四个块在此重叠(见图4),则 该区域执行内插公式:
对于O2区域,B3、B4两个块在此重叠,则该区域执行内插公式:
对于O3区域,其完全包含在B4块内,则执行内插公式:
其中,式(10)-(12)中s为像素坐标,Ft(s)、Ft-1(s)、Ft+1(s)分别代表Ft、Ft-1、Ft+1位于像素坐标s处的亮度值。对于B4与右上角、左下角、右下角相邻块的四块重叠区域按式(10) 计算,而两块重叠区域按式(11)计算,实现基于像素语义匹配的视频帧率上转换。
由上述可以看出,本发明公开了一种基于像素语义匹配的视频帧率上转换方法,涉及视 频编码技术领域,该基于像素语义匹配的视频帧率上转换方法,包括:针对待插帧Ft的前向 帧Ft-1和后向帧Ft+1,逐像素提取语义特征,生成前向帧Ft-1的语义层Lt-1、后向帧Ft+1的语 义层Lt+1;将语义层Lt-1、Lt+1分别作为Ft-1、Ft+1的新通道,合并为Xt-1、Xt+1,以待插帧Ft为中心,根据Xt-1、Xt+1实施双向块匹配,生成Ft的运动向量场Vt;根据相邻参考帧Ft-1、Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插,获取待插帧Ft。本发明通过逐像素提取语义特征,构造语义层融入双向块匹配过程,有效抑制双向运动估计中块失配问题,显著提升上转视频的视觉质量。并经实验和测试,效果非常好,有关资料如下:
本发明采用CIF格式的13组测试视频序列,实验和测试本发明技术效果,具体是:
1)文献“Motion-Compensated Frame Interpolation Using Bilateral MotionEstimation and Adaptive Overlapped Block Motion Compensation(Byung-Doo Choi,Jong-Woo Han,Chang-su Kim and Sung-JeaKo,IEEE Transactions on Circuits andSystems for Video Technology,2007,vol. 17,no.4,pp.407-416.”提出的基于双向运动估计的视频帧率上转换方法,记作BME,其块尺 寸b设置为16,搜索窗尺寸w设置为21;
2)文献“Con-Patch:When a Patch Meets Its Context(Yaniv Romano andMichaelElad,IEEE Transactions on Image Processing,2016,vol.25,no.9,pp.3967-3978.)提出的基于语义子块的视 频帧率上转换方法,记作Con-Patch,块尺寸b设为16,搜索窗尺寸w设为21,邻域尺寸h 设为21,尺度因子设为10,间隔数bin设为10,正则化因子设为1.69。
采用本发明方法和对比方法从测试视频序列前100帧中的偶数帧内插出奇数帧,计算内 插奇数帧与原始奇数帧间的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性 (Structural SIMilarity,SSIM),作为内插帧的客观质量评价性能指标。对于本发明,块尺寸 b设为16,子块尺寸p设为3,搜索窗尺寸w设为21,邻域尺寸h设为21,尺度因子设为 10,间隔数bin设为10,正则化因子设为4。硬件平台为主频3.10GHz、内存4GB的酷睿i5CPU计算机,软件平台为Windows 7 64位操作***和MatlabR2014b仿真实验软件。
表1列出不同帧率上转换技术内插视频帧的平均PSNR、SSIM值。对比PSNR值,可看到对于任何序列本发明均优于BME、Con-Patch,其中在上转Mobile序列时,相比于BME、Con-Patch,均产生了3.70dB、3.64dB的最大PSNR增幅。对于所有序列的平均PSNR值, 本发明分别比BME、Con-Patch高出0.88dB、1.12dB。对比SSIM值,可看到对于任何序列 Con-Cube依旧保持优势,对于所有序列的平均SSIM值,本发明分别比BME、Con-Patch高 出0.0110、0.0144。由表1所示PSNR、SSIM值的结果可知,相比于对比方法BME,本发明 提升内插视频帧的客观质量效果显著。
表1不同帧率上转换技术内插视频帧的平均PSNR、SSIM值对比
*数值表示测试结果对比中的最高值。
经图像对比,见图5、图6,图5清楚地显示本发明方法与对比方法内插生成CIF格式的 foreman测试视频序列第78帧、mobile测试视频序列第50帧的主观质量对比情况。foreman 测试视频序列第78帧包含了大面积的静止背景、头部移动以及面部表情的变化,BME、 Con-Patch的内插结果在面部与背景的边界和鼻部区域产生了严重的块效应,而本发明复原出 了清晰的面部,且人物与背景的交界区域也不存在任何模糊。mobile测试视频序列第50帧包 含了画面的整体平移、火车运动及球体滚动。由图6可看出,在台历的数字区域,BME、 Con-Patch的内插结果产生了严重的错乱,且滚动的球体也出现重影,而本发明产生了清晰的 数字,且火车、球体均有良好的复原质量。由此可知,本发明采用像素语义匹配,可有效抑 制块失配,显著改善内插质量。
上述给出的仅是实施例,是为了说明本发明的具体实施方式,而不是用于限定本发明的 保护范围,凡是采用等同、等效替代手段所作出在本质上与本发明相同的技术方案,尽管已 描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这 些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入 本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范 围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则 本发明也意图包含这些改动和变型在内,均属于本发明的保护范围。
以上清楚表明,本发明方法新颖独特,易操作,可有效解决现有技术中采用块间语义所 造成抑制BME块失配能力受限,严重影响内插帧预测质量的问题,显著提升内插视频帧的 客观质量效果和有效抑制块失配,显著改善内插质量,是视频编码技术上的一大创新,有显 著的经济和社会效益。
Claims (2)
1.一种基于像素语义匹配的视频帧率上转换方法,其特征在于,包括以下步骤:
(1)、将视频序列中第t帧Ft作为待插帧、视频序列中第t-1帧Ft-1作为待插帧Ft的前向的参考帧、视频序列中第t+1帧Ft+1作为待插帧Ft的后向的参考帧,待插帧Ft是位于前向的参考帧Ft-1、后向的参考帧Ft+1之间的中间帧,针对前向的参考帧Ft-1、后向的参考帧Ft+1,逐像素提取语义特征,生成前向的参考帧Ft-1的前语义层Lt-1、后向的参考帧Ft+1的后语义层Lt+1;具体是:
步骤a5、将二维相关前平面二维相关后平面的取值范围[0,1]等间隔划分为bin份,分别统计二维相关前平面二维相关后平面的取值在各等间隔上的出现次数,并除以相关平面取值总数h2,生成相应的归一化的前直方图后直方图
步骤a7、遍历前向的参考帧Ft-1、后向的参考帧Ft+1的所有像素,即m由1取至M,n由1取至N,按式(3)、式(4)计算各像素对应的偏度,将所有偏度组成尺寸为M×N的前语义层Lt-1、后语义层Lt+1,公式为:
(2)、将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的新通道,合并计为Xt-1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;
(3)、根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插,获取待插帧Ft,实现基于像素语义匹配的视频帧率上转换。
2.根据权利要求1所述的基于像素语义匹配的视频帧率上转换方法,其特征在于,包括以下步骤:
将前语义层Lt-1、后语义层Lt+1分别作为前向的参考帧Ft-1、后向的参考帧Ft+1的新通道,合并计为Xt-1、Xt+1,以待插帧Ft为中心,根据前向的参考帧Ft-1新通道Xt-1、后向的参考帧Ft+1新通道Xt+1实施双向块匹配,生成待插帧Ft的运动向量场Vt;具体包括以下步骤:
步骤b1、前向的参考帧Ft-1与前语义层Lt-1合并成尺寸为M×N×2的Xt-1,后向的参考帧Ft+1与后语义层Lt+1合并成尺寸为M×N×2的Xt+1,即:
式中(m,n)为块内任一像素在Ft内的坐标位置,Xt-1(m+vx,n+vy,1)、Xt-1(m+vx,n+vy,2)分别为在Xt-1内坐标位置(m+vx,n+vy,1)、(m+vx,n+vy,2)的取值,Xt+1(m-vx,n-vy,1)、Xt+1(m-vx,n-vy,2)分别为在Xt+1内坐标位置(m-vx,n-vy,1)、(m-vx,n-vy,2)的取值,α为正则化因子;
步骤b6、遍历Ft内所有非重叠块,即r由1取至M/b,c由1取至N/b,按式(9)生成所有块的运动向量,组成Ft的运动向量场Vt;
根据相邻前向的参考帧Ft-1、后向的参考帧Ft+1及待插帧Ft的运动向量场Vt进行重叠块运动补偿内插,获取待插帧Ft,实现重叠块运动补偿内插,方法是:
根据待插帧Ft的运动向量场Vt,利用参考帧Ft-1、Ft+1,实施重叠块运动补偿生成待插帧Ft,对于Ft中任一块B4,其与左上角3个相邻块B1、B2、B3重叠,而B1、B2、B3、B4各自具有运动向量v1、v2、v3、v4;对于O1区域,B1、B2、B3、B4四个块在此重叠,则该区域执行内插公式:
对于O2区域,B3、B4两个块在此重叠,则该区域执行内插公式:
对于O3区域,其完全包含在B4块内,则执行内插公式:
其中,式(10)-(12)中s为像素坐标,Ft(s)、Ft-1(s)、Ft+1(s)分别代表Ft、Ft-1、Ft+1位于像素坐标s处的亮度值;对于B4与右上角、左下角、右下角相邻块的四块重叠区域按式(10)计算,而两块重叠区域按式(11)计算,实现基于像素语义匹配的视频帧率上转换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110169892.8A CN112995677B (zh) | 2021-02-08 | 2021-02-08 | 一种基于像素语义匹配的视频帧率上转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110169892.8A CN112995677B (zh) | 2021-02-08 | 2021-02-08 | 一种基于像素语义匹配的视频帧率上转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112995677A CN112995677A (zh) | 2021-06-18 |
CN112995677B true CN112995677B (zh) | 2022-05-31 |
Family
ID=76349081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110169892.8A Active CN112995677B (zh) | 2021-02-08 | 2021-02-08 | 一种基于像素语义匹配的视频帧率上转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112995677B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107483960A (zh) * | 2017-09-15 | 2017-12-15 | 信阳师范学院 | 一种基于空间预测的运动补偿帧率上转换方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200625964A (en) * | 2004-07-20 | 2006-07-16 | Qualcomm Inc | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
US8837591B2 (en) * | 2007-01-26 | 2014-09-16 | Telefonaktiebolaget L M Ericsson (Publ) | Image block classification |
KR101431046B1 (ko) * | 2013-02-13 | 2014-08-22 | 서강대학교산학협력단 | Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체 |
CN109788297B (zh) * | 2019-01-31 | 2022-10-18 | 信阳师范学院 | 一种基于元胞自动机的视频帧率上转换方法 |
-
2021
- 2021-02-08 CN CN202110169892.8A patent/CN112995677B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107483960A (zh) * | 2017-09-15 | 2017-12-15 | 信阳师范学院 | 一种基于空间预测的运动补偿帧率上转换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112995677A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105517671B (zh) | 一种基于光流法的视频插帧方法及*** | |
Wang et al. | Frame rate up-conversion using trilateral filtering | |
Jeong et al. | Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization | |
KR100530223B1 (ko) | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 | |
CN101448077B (zh) | 一种自适应视频图像3d降噪方法 | |
Huang et al. | Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation | |
US7860167B2 (en) | Apparatus and method for adaptive 3D artifact reducing for encoded image signal | |
CN100479495C (zh) | 采用运动检测和自适应加权滤波的去隔行方法 | |
CN104219533B (zh) | 一种双向运动估计方法和视频帧率上转换方法及*** | |
US8781253B2 (en) | Method and apparatus for video object segmentation | |
CN107483960B (zh) | 一种基于空间预测的运动补偿帧率上转换方法 | |
CN108574844B (zh) | 一种时空显著感知的多策略视频帧率提升方法 | |
SG183888A1 (en) | Method and device for video predictive encoding | |
Kaviani et al. | Frame rate upconversion using optical flow and patch-based reconstruction | |
Cho et al. | Temporal frame interpolation based on multiframe feature trajectory | |
Huang et al. | Algorithm and architecture design of multirate frame rate up-conversion for ultra-HD LCD systems | |
Guo et al. | Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing | |
CN112995677B (zh) | 一种基于像素语义匹配的视频帧率上转换方法 | |
Zhang et al. | A real-time time-consistent 2D-to-3D video conversion system using color histogram | |
Zhao et al. | Multiframe joint enhancement for early interlaced videos | |
CN109788297B (zh) | 一种基于元胞自动机的视频帧率上转换方法 | |
Zhao et al. | Frame rate up-conversion based on edge information | |
Lu et al. | An artifact information based motion vector processing method for motion compensated frame interpolation | |
Chiu et al. | Voting-based depth map refinement and propagation for 2D to 3D conversion | |
thi Tran et al. | Frame rate converter with pixel-based motion vectors selection and halo reduction using preliminary interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |