CN106993108B - 一种确定视频图像在运动估计中的随机量的方法和装置 - Google Patents

一种确定视频图像在运动估计中的随机量的方法和装置 Download PDF

Info

Publication number
CN106993108B
CN106993108B CN201710225477.3A CN201710225477A CN106993108B CN 106993108 B CN106993108 B CN 106993108B CN 201710225477 A CN201710225477 A CN 201710225477A CN 106993108 B CN106993108 B CN 106993108B
Authority
CN
China
Prior art keywords
motion vector
sum
pixel point
current pixel
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710225477.3A
Other languages
English (en)
Other versions
CN106993108A (zh
Inventor
刘国卿
田广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shunjiu Electronic Technology Co ltd
Original Assignee
Shanghai Shunjiu Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shunjiu Electronic Technology Co ltd filed Critical Shanghai Shunjiu Electronic Technology Co ltd
Priority to CN201710225477.3A priority Critical patent/CN106993108B/zh
Publication of CN106993108A publication Critical patent/CN106993108A/zh
Application granted granted Critical
Publication of CN106993108B publication Critical patent/CN106993108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种确定视频图像在运动估计中的随机量的方法和装置,所述方法包括:针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum;依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量,使得运动变化快的像素点和运动变化慢的像素点都能被设定到合适的随机量,从而迅速的收敛到正确的结果,提高了视频帧率转换时运动估计的效率,避免了由于为所有像素点设定相同的随机量而造成的视频画面破碎的问题。

Description

一种确定视频图像在运动估计中的随机量的方法和装置
技术领域
本申请涉及视频处理技术领域,特别是涉及一种确定视频图像在运动估计中的随机量的方法和一种确定视频图像在运动估计中的随机量的装置。
背景技术
基于运动估计和运动补偿的视频帧率转换是把低的输入视频帧率转换为高的视频帧率,以适应液晶电视的需求。运动估计是视频帧率转换中的一个重要技术,如果运动估计不够准确或者运动估计的速度不够快,很容易对视频画面产生影响。已有技术中常用的运动估计方法有很多,其中三维递归搜索法是一种广泛应用的运动估计方法。这种方法可以用于视频压缩中的视频编码等各种需要运动估计的领域。
三维递归搜索法对于运动突变的估计是依靠在递归的候选运动矢量中增加随机量来实现的。但是,已有技术中通常是对整张图像设定同一个随机量,这对于运动变化有快有慢的复杂运动场景来说,如果随机量设定太强,运动变化慢的部分画面容易出错,如果随机量设定太弱,运动变化快的部分画面又很难在短时间内收敛到正确的结果。因此,按照已有技术对整张图像设定同一个随机量会给后续处理带来极大的困扰,造成视频画面破碎,影响用户观看体验。
发明内容
鉴于上述问题,提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种确定视频图像在运动估计中的随机量的方法和相应的一种确定视频图像在运动估计中的随机量的装置。
为了解决上述问题,本申请实施例公开了一种确定视频图像在运动估计中的随机量的方法,包括:
针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum;
依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量。
可选地,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum的步骤包括:
分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块;
累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
可选地,计算当前像素点和邻域内像素点的运动矢量的绝对差的和mv_diff_sum的步骤包括:
分别计算所述当前像素点的邻域内所有像素点的运动矢量;
分别计算所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值;
累加所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值,获得mv_diff_sum。
可选地,所述运动矢量包括水平方向运动矢量和垂直方向运动矢量,所述分别计算所述当前像素点的邻域内所有像素点的运动矢量的步骤包括:
分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值;
累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。
可选地,所述为每个像素点设置不同大小等级的随机量的步骤包括:
若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
否则,将第二预设值作为所述当前像素点的随机量;
其中,所述第三预设阈值小于第四预设阈值,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
为了解决上述问题,本申请实施例公开了一种确定视频图像在运动估计中的随机量的装置,包括:
计算模块,用于针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum;
设置模块,用于依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量。
可选地,所述计算模块包括:
运动矢量评价参数计算子模块,用于分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块;
运动矢量评价参数累加子模块,用于累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
可选地,所述计算模块包括:
运动矢量计算子模块,用于分别计算所述当前像素点的邻域内所有像素点的运动矢量;
运动矢量的差的绝对值计算子模块,用于分别计算所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值;
运动矢量的差的绝对值累加子模块,用于累加所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值,获得mv_diff_sum。
可选地,所述运动矢量包括水平方向运动矢量和垂直方向运动矢量,所述运动矢量计算子模块包括:
运动矢量计算单元,用于分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值;
运动矢量的绝对值累加单元,用于累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。
可选地,所述设置模块包括:
第一设置子模块,用于若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
第二设置子模块,用于若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
第三设置子模块,用于否则,将第二预设值作为所述当前像素点的随机量;
其中,所述第三预设阈值小于第四预设阈值,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
与背景技术相比,本申请实施例包括以下优点:
本申请实施例,针对视频图像中的每个像素点,通过计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum,然后依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量,使得运动变化快的像素点和运动变化慢的像素点都能被设定到合适的随机量,从而迅速的收敛到正确的结果,提高了视频帧率转换时运动估计的效率,避免了由于为所有像素点设定相同的随机量而造成的视频画面破碎的问题。
附图说明
图1是本申请的一种确定视频图像在运动估计中的随机量的方法实施例一的步骤流程图;
图2是本申请的一种确定视频图像在运动估计中的随机量的方法实施例二的步骤流程图;
图3是本申请的一种确定视频图像在运动估计中的随机量的装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本申请的一种确定视频图像在运动估计中的随机量的方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤101,针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum;
运动估计(Motion Estimation)是视频编码和视频处理中广泛使用的一种技术,其基本思想是将图像序列的每一帧分成许多互不重叠的宏块,并认为宏块内所有像素的位移量都相同,然后针对每个宏块,确定出对应的匹配块,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块,匹配块与当前块的相对位移即为运动矢量。
通常,可以使用绝对差和(sad,the sum of absolute difference)作为评价运动矢量的评价参数。sad是指运动矢量在前后两张图像上所有像素的差的绝对值之和。sad越大,表明当前的运动矢量越差;sad越小,表明当前的运动矢量越好。
在本申请实施例中,为了针对不同的像素点分别使用不同的随机量进行运动估计,可以首先确定当前像素点和邻域内像素点的运动矢量评价参数的和,即邻域内所有像素点的运动矢量的sad的和sad_sum,所述sad_sum可以用于评价当前像素点的运动矢量的收敛情况,所述邻域内所有像素点包括当前像素点与所述领域内的其他像素点。当然,本领域技术人员可以根据实际需要具体设定邻域的大小和范围,本申请实施例对此不作限定。
通常,可以采用当前像素点运动矢量与邻域内其他像素点的运动矢量的绝对差的和mv_diff_sum评价当前像素点运动矢量的收敛情况。一般地,mv_diff_sum越大,表明当前像素点的运动矢量可信度越低;而mv_diff_sum越小,则表明当前像素点的运动矢量可信度越高。
因此,在确定出当前像素点邻域内所有像素点的运动矢量的sad的和sad_sum之后,还可以进一步确定所述当前像素点的运动矢量与所述邻域内其他像素点的运动矢量的绝对差的和mv_diff_sum。具体地,可以分别计算当前像素点的运动矢量与邻域内其他像素点的运动矢量的差的绝对值,然后通过累加当前像素点与其他全部的像素点之间的差的绝对值,获得所述mv_diff_sum。
步骤102,依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量。
在本申请实施例中,在通过步骤101获得每个像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum后,可以结合每个像素点的运动矢量,确定每个像素点在下一次收敛中需要用到的随机量的强度。
在具体实现中,当确定出当前像素点邻域内所有像素点的运动矢量的sad的和sad_sum之后,可以将所述sad_sum与第一预设阈值进行比较,根据所述sad_sum与所述第一预设阈值之间的大小关系,生成第一评价结果。例如,当sad_sum小于第一预设阈值时,可以为所述第一评价结果赋值为第一数值,而当sad_sum大于等于第一预设阈值时,可以为所述第一评价结果赋值为第二数值,其中,第一数值与第二数值为不同的数值。
然后,将所述mv_diff_sum与第二预设阈值进行比较,根据所述mv_diff_sum与所述第二预设阈值之间的大小关系,生成第二评价结果。例如,当mv_diff_sum小于第二预设阈值时,可以为所述第二评价结果赋值为第一数值,而当mv_diff_sum大于等于第二预设阈值时,可以为所述第二评价结果赋值为第二数值。
在确定出第一评价结果和第二评价结果后,可以进一步依据第一评价结果和第二评价结果生成第三评价结果。具体地,当第一评价结果和第二评价结果均为第一数值时,即sad_sum小于第一预设阈值,且mv_diff_sum小于第二预设阈值,可以认为在采用sad_sum和mv_diff_sum两种评价方式时,当前像素点的运动矢量的可信度均较高或收敛较好,此时,同样可以为第三评价结果赋值为第一数值。
而对于其他情形,第一评价结果或第二评价结果中至少存在一个评价结果不为第一数值时,即sad_sum或mv_diff_sum中至少存在一个结果是大于等于相应的预设阈值时,可以认为当前像素点的运动矢量的可信度均较低或收敛较不好,进而可以为第三评价结果赋值为第二数值。
当当前像素点的第三评价结果被赋值为第一数值时,可以认为当前像素点的运动矢量收敛较好,从而可以为当前像素点设定一相对较弱的随机量;而当第三评价结果被赋值为第二数值时,可以认为当前像素点的运动矢量收敛不好,此时,如果当前像素点的运动矢量还大于某预设阈值,则可以为当前像素点设定一相对较强的随机量。当然,本领域技术人员可以根据实际需要,选定不同强度的随机量的具体大小,本申请实施例对此不作限定。
在本申请实施例中,针对视频图像中的每个像素点,通过计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum,然后依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量,使得运动变化快的像素点和运动变化慢的像素点都能被设定到合适的随机量,从而迅速的收敛到正确的结果,提高了视频帧率转换时运动估计的效率,避免了由于为所有像素点设定相同的随机量而造成的视频画面破碎的问题。
参照图2,示出了本申请的一种确定视频图像在运动估计中的随机量的方法实施例二的步骤流程图,具体可以包括如下步骤:
步骤201,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum;
通常,可以使用绝对差和(sad,the sum of absolute difference)作为评价运动矢量的评价参数。sad是指运动矢量在前后两张图像上所有像素的差的绝对值之和。sad越大,表明当前的运动矢量越差;sad越小,表明当前的运动矢量越好。具体地,可以采用如下公式计算sad:
Figure BDA0001265068960000081
其中,Pixelcur表示当前图像中属于匹配块的像素点;Pixelpre表示上一张图像中属于匹配块的像素点,Usad表示匹配块的范围。
在本申请实施例中,为了针对不同的像素点分别使用不同的随机量进行运动估计,可以首先确定当前像素点的邻域内所有像素点的运动矢量评价参数的和,即邻域内所有像素点的运动矢量的sad的和sad_sum;所述sad_sum可以用于评价当前像素点的运动矢量的收敛情况。
在具体实现中,可以分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,然后通过累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
例如,可以采用如下公式计算sad_sum:
Figure BDA0001265068960000082
其中,sadmvnei表示运动矢量mvnei的sad;mvnei表示邻域内像素点的运动矢量;Unei表示当前像素点的邻域。
步骤202,计算当前像素点和邻域内像素点的运动矢量的绝对差的和mv_diff_sum;
通常,还可以采用当前像素点运动矢量与邻域内其他像素点的运动矢量的绝对差的和mv_diff_sum评价当前像素点运动矢量的收敛情况。一般地,mv_diff_sum越大,表明当前像素点的运动矢量可信度越低;而mv_diff_sum越小,则表明当前像素点的运动矢量可信度越高。
因此,在确定出当前像素点邻域内所有像素点的运动矢量的sad的和sad_sum之后,还可以进一步确定所述当前像素点的运动矢量与所述邻域内其他像素点的运动矢量的绝对差的和mv_diff_sum。
在具体实现中,可以首先分别计算所述当前像素点的邻域内所有像素点的运动矢量。通常,每个像素点地运动矢量可以包括有水平方向运动矢量mvx和垂直方向运动矢量mvy,因此,可以分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值,然后累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。即,可以采用如下公式计算每个像素点的运动矢量:
mv=|mvx|+|mvy|
其中,mv为像素点的运动矢量,和分别为水平方向运动矢量mvx和垂直方向运动矢量mvy的绝对值。
在分别计算出每个像素点的运动矢量后,可以进一步分别计算所述当前像素点的运动矢量与邻域内其他像素点的运动矢量的差的绝对值,通过累加所述当前像素点的运动矢量与邻域内其他像素点的运动矢量的差的绝对值,获得mv_diff_sum。
例如,可以采用如下公式计算mv_diff_sum:
Figure BDA0001265068960000091
其中,mvcur表示当前像素点的运动矢量;mvnei表示邻域内其他像素点的运动矢量;Unei表示当前像素点的邻域。
步骤203,若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
步骤204,若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
步骤205,否则,将第二预设值作为所述当前像素点的随机量。
在具体实现中,可以设定第一预设阈值THsad,通过比较所述sad_sum与所述THsad之间的大小关系,生成第一评价结果。
当sad_sum小于THsad时,可以为所述第一评价结果赋值为第一数值(例如,可以设定第一数值为1),而当sad_sum大于等于THsad时,可以为所述第一评价结果赋值为第二数值(例如,可以设定第二设置为0),即:
Figure BDA0001265068960000101
其中,SAD为第一评价结果的表达式。
类似地,可以设定第二预设阈值THmvdiff,通过比较所述mv_diff_sum与所述THmvdiff之间的大小关系,生成第二评价结果。
当mv_diff_sum小于THmvdiff时,可以为所述第二评价结果赋值为第一数值(例如,可以设定第一数值为1),而当mv_diff_sum大于等于THmvdiff时,可以为所述第二评价结果赋值为第二数值(例如,可以设定第二设置为0),即:
Figure BDA0001265068960000102
其中,MVDIFF为第二评价结果的表达式。
当第一评价结果和第二评价结果均为第一数值时,即sad_sum小于THsad,且mv_diff_sum小于THmvdiff,可以认为在采用sad_sum和mv_diff_sum两种评价方式时,当前像素点的运动矢量的可信度均较高或收敛较好,此时,同样可以为第三评价结果赋值为第一数值(例如1)。
而对于其他情形,第一评价结果或第二评价结果中至少存在一个评价结果不为第一数值时,即sad_sum或mv_diff_sum中至少存在一个结果是大于等于相应的预设阈值时,可以认为当前像素点的运动矢量的可信度均较低或收敛较不好,进而可以为第三评价结果赋值为第二数值(例如0)。可以采用如下公式表示第三评价结果:
Figure BDA0001265068960000111
其中,COV为第三评价结果的表达式。
在本申请实施例中,可以设定第三预设阈值THmvlow和第四预设阈值THmvhigh,在获得当前像素点的第三评价结果后,可以结合当前像素点的运动矢量与THmvlow和THmvhigh之间的大小关系,确定当前像素点在下一次收敛中需要用到的随机量的强度,其中,第三预设阈值THmvlow小于第四预设阈值THmvhigh
在具体实现中,可以在所述第三评价结果为第一数值或所述当前像素点的运动矢量小于第三预设阈值时,确定所述当前像素点的随机量为第一预设值;在所述第三评价结果为第二数值且所述当前像素点的运动矢量大于第四预设阈值时,确定所述当前像素点的随机量为第三预设值;而对于除上述两种情况外地其他情况时,即所述第三评价结果为第二数值且所述当前像素点的运动矢量大于等于第三预设阈值;或所述第三评价结果为第二数值且所述当前像素点的运动矢量小于等于第四预设阈值时,确定所述当前像素点的随机量为第二预设值。其中,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
具体地,可以采用如下公式表示第一预设值、第二预设值和第三预设值的确定:
Figure BDA0001265068960000112
其中,rand_st为预设值的表达式,1、2、3分别表示第一预设值、第二预设值和第三预设值。
当然,以上将随机量划分为第一预设值、第二预设值和第三预设值共三个档次仅为一种示例,本领域技术人员还可以根据实际需要将随机量扩展为更多个档次,从而实现更加精细的调整运动变化时运动矢量的收敛速度。
在本申请实施例中,当确定出当前像素点的随机量后,便可以采用所述随机量在下一次收敛中对所述当前像素点执行运动估计操作,以使当前像素点能够迅速的收敛到正确的结果。
例如,在按照上述方法确定出当前像素点的第三评价结果为第一数值时,可以认为在采用sad_sum和mv_diff_sum两种评价方式时,当前像素点的运动矢量的可信度均较高或收敛较好,从而可以选定第一预设值,即相对较弱的随机量在下一次收敛时使用;而如果第三评价结果为第二数值,且当前像素点的运动矢量大于第四阈值时,可以认为当前像素点的运动矢量可信度较低,从而可以选定第三预设值,即相对较强的随机量在下一次收敛时使用。
本申请实施例,通过计算运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum,来判断当前像素点的运动矢量的收敛情况,并结合当前像素点的运动矢量的大小,从而在下一次收敛过程中设定合适的随机量,可以加速运动矢量收敛到正确的结果,提高了视频帧率转换时运动估计的效率,避免了由于为所有像素点设定相同的随机量而造成的视频画面破碎的问题。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图3,示出了本申请的一种确定视频图像在运动估计中的随机量的装置实施例的结构框图,具体可以包括如下模块:
计算模块301,用于针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及运动矢量的绝对差的和mv_diff_sum;
设置模块302,用于依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量。
在本申请实施例中,所述计算模块301具体可以包括如下子模块:
运动矢量评价参数计算子模块,用于分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块;
运动矢量评价参数累加子模块,用于累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
在本申请实施例中,所述计算模块301还可以包括如下子模块:
运动矢量计算子模块,用于分别计算所述当前像素点的邻域内所有像素点的运动矢量;
运动矢量的差的绝对值计算子模块,用于分别计算所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值;
运动矢量的差的绝对值累加子模块,用于累加所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值,获得mv_diff_sum。
在本申请实施例中,所述运动矢量包括水平方向运动矢量和垂直方向运动矢量,所述运动矢量计算子模块具体可以包括如下单元:
运动矢量计算单元,用于分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值;
运动矢量的绝对值累加单元,用于累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。
在本申请实施例中,所述设置模块302具体可以包括如下子模块:
第一设置子模块,用于若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
第二设置子模块,用于若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
第三设置子模块,用于否则,将第二预设值作为所述当前像素点的随机量;
其中,所述第三预设阈值小于第四预设阈值,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种确定视频图像在运动估计中的随机量的方法和一种确定视频图像在运动估计中的随机量的装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种确定视频图像在运动估计中的随机量的方法,其特征在于,包括:
针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及当前像素点和邻域内像素点的运动矢量的绝对差的和mv_diff_sum;
依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量;
计算当前像素点和邻域内像素点的运动矢量的绝对差的和mv_diff_sum的步骤包括:
分别计算所述当前像素点的邻域内所有像素点的运动矢量;
分别计算所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值;
累加所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值,获得mv_diff_sum。
2.根据权利要求1所述的方法,其特征在于,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum的步骤包括:
分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块;
累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
3.根据权利要求1所述的方法,其特征在于,所述运动矢量包括水平方向运动矢量和垂直方向运动矢量,所述分别计算所述当前像素点的邻域内所有像素点的运动矢量的步骤包括:
分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值;
累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。
4.根据权利要求1-3任一所述的方法,其特征在于,所述为每个像素点设置不同大小等级的随机量的步骤包括:
若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
否则,将第二预设值作为所述当前像素点的随机量;
其中,所述第三预设阈值小于第四预设阈值,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
5.一种确定视频图像在运动估计中的随机量的装置,其特征在于,包括:
计算模块,用于针对视频图像中的每个像素点,计算当前像素点和邻域内像素点的运动矢量评价参数的和sad_sum,以及当前像素点和邻域内像素点的运动矢量的绝对差的和mv_diff_sum;
设置模块,用于依据每个像素点的运动矢量,以及根据每个像素点计算得到的所述sad_sum和mv_diff_sum,为每个像素点设置不同大小等级的随机量;
所述计算模块包括:
运动矢量计算子模块,用于分别计算所述当前像素点的邻域内所有像素点的运动矢量;
运动矢量的差的绝对值计算子模块,用于分别计算所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值;
运动矢量的差的绝对值累加子模块,用于累加所述当前像素点的运动矢量与邻域内像素点的运动矢量的差的绝对值,获得mv_diff_sum。
6.根据权利要求5所述的装置,其特征在于,所述计算模块包括:
运动矢量评价参数计算子模块,用于分别计算当前像素点的邻域内所有像素点在相邻两张图像的匹配块中的像素的差的绝对值作为每个像素点的运动矢量评价参数,所述匹配块为按照预设规则在参考帧的特定搜索范围内进行匹配所获得的相似度最大的宏块;
运动矢量评价参数累加子模块,用于累加所述每个像素点的运动矢量评价参数,获得运动矢量评价参数的和sad_sum。
7.根据权利要求5所述的装置,其特征在于,所述运动矢量包括水平方向运动矢量和垂直方向运动矢量,所述运动矢量计算子模块包括:
运动矢量计算单元,用于分别计算每个像素点的水平方向运动矢量和垂直方向运动矢量的绝对值;
运动矢量的绝对值累加单元,用于累加所述水平方向运动矢量和垂直方向运动矢量的绝对值,获得所述像素点的运动矢量。
8.根据权利要求5-7任一所述的装置,其特征在于,所述设置模块包括:
第一设置子模块,用于若所述sad_sum小于第一预设阈值,且所述mv_diff_sum小于第二预设阈值;或,所述当前像素点的运动矢量小于第三预设阈值,则将第一预设值作为所述当前像素点的随机量;
第二设置子模块,用于若所述sad_sum大于等于所述第一预设阈值,或所述mv_diff_sum大于等于所述第二预设阈值;且,所述当前像素点的运动矢量大于第四预设阈值,则将第三预设值作为所述当前像素点的随机量;
第三设置子模块,用于否则,将第二预设值作为所述当前像素点的随机量;
其中,所述第三预设阈值小于第四预设阈值,所述第一预设值小于所述第二预设值,所述第二预设值小于所述第三预设值。
CN201710225477.3A 2017-04-07 2017-04-07 一种确定视频图像在运动估计中的随机量的方法和装置 Active CN106993108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710225477.3A CN106993108B (zh) 2017-04-07 2017-04-07 一种确定视频图像在运动估计中的随机量的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710225477.3A CN106993108B (zh) 2017-04-07 2017-04-07 一种确定视频图像在运动估计中的随机量的方法和装置

Publications (2)

Publication Number Publication Date
CN106993108A CN106993108A (zh) 2017-07-28
CN106993108B true CN106993108B (zh) 2020-08-28

Family

ID=59415466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710225477.3A Active CN106993108B (zh) 2017-04-07 2017-04-07 一种确定视频图像在运动估计中的随机量的方法和装置

Country Status (1)

Country Link
CN (1) CN106993108B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147787B (zh) * 2019-12-27 2021-05-04 Oppo广东移动通信有限公司 插帧处理方法及相关设备
CN111462170B (zh) 2020-03-30 2023-08-25 Oppo广东移动通信有限公司 运动估计方法、运动估计装置、存储介质与电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
US8265158B2 (en) * 2007-12-20 2012-09-11 Qualcomm Incorporated Motion estimation with an adaptive search range
US9641861B2 (en) * 2008-01-25 2017-05-02 Mediatek Inc. Method and integrated circuit for video processing
US20140010307A1 (en) * 2011-12-30 2014-01-09 Marat Ravilevich Gilmutdinov Method of and apparatus for complexity scalable frame rate up-conversion
CN104811726B (zh) * 2015-04-24 2018-12-18 宏祐图像科技(上海)有限公司 帧率转换中运动估计的候选运动矢量选择方法
CN105007495B (zh) * 2015-08-20 2018-07-20 上海玮舟微电子科技有限公司 一种基于多层3drs的差异估计方法及装置
CN105657319B (zh) * 2016-03-09 2018-12-04 宏祐图像科技(上海)有限公司 Me中基于特征动态控制候选矢量惩罚值的方法及***
CN105681806B (zh) * 2016-03-09 2018-12-18 宏祐图像科技(上海)有限公司 ME中基于logo检测结果控制零矢量SAD的方法及***

Also Published As

Publication number Publication date
CN106993108A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
EP3488388B1 (en) Video processing method and apparatus
US8810692B2 (en) Rolling shutter distortion correction
CN109791695B (zh) 基于图像块的运动向量确定所述块的方差
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN111294644A (zh) 视频拼接方法、装置、电子设备及计算机存储介质
US8503732B2 (en) Image generating device, static text detecting device and method thereof
US8774276B2 (en) Image processing method for determining motion vectors of interpolated picture and related apparatus
US10346960B2 (en) Apparatus and method for correcting a flicker in a video, and video device
CN104284192A (zh) 图像处理设备和图像处理方法
US9706104B2 (en) Image auto-focusing method and camera using same
US20130279590A1 (en) Image processing circuit and image processing method
CN106993108B (zh) 一种确定视频图像在运动估计中的随机量的方法和装置
US9900550B1 (en) Frame rate up-conversion apparatus and method
US10757438B2 (en) Motion estimation
US20180278848A1 (en) Image processing apparatus, method of controlling the same, and storage medium
CN105338362B (zh) 运动目标检测方法和运动目标检测装置
CN112532907A (zh) 一种视频帧频提升方法、装置、设备及介质
US20170280193A1 (en) Method and device for processing a streaming media file
TWI466550B (zh) 多媒體裝置及其移動偵測方法
CN107124611B (zh) 一种视频帧率的转换方法和装置
JP2006279413A (ja) 動きベクトル検出装置、画像表示装置、画像撮像装置、動きベクトル検出方法、プログラムおよび記録媒体
US10965905B2 (en) Image processing method and associated image processing circuit
US20120008867A1 (en) Image processing apparatus and image processing method
JP5824937B2 (ja) 動きベクトル導出装置および方法
US9591220B2 (en) Selection apparatus, selection method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant