CN113067960B - 影像插补方法、装置和存储介质 - Google Patents

影像插补方法、装置和存储介质 Download PDF

Info

Publication number
CN113067960B
CN113067960B CN202110283113.7A CN202110283113A CN113067960B CN 113067960 B CN113067960 B CN 113067960B CN 202110283113 A CN202110283113 A CN 202110283113A CN 113067960 B CN113067960 B CN 113067960B
Authority
CN
China
Prior art keywords
image
layered
interpolation
images
equalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110283113.7A
Other languages
English (en)
Other versions
CN113067960A (zh
Inventor
王宇光
许焙凯
黄文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongguoxin Technology Shenzhen Co ltd
Original Assignee
Hefei Hexin Microelectronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Hexin Microelectronic Technology Co ltd filed Critical Hefei Hexin Microelectronic Technology Co ltd
Priority to CN202110283113.7A priority Critical patent/CN113067960B/zh
Publication of CN113067960A publication Critical patent/CN113067960A/zh
Application granted granted Critical
Publication of CN113067960B publication Critical patent/CN113067960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种影像插补方法、装置和存储介质,影像插补方法包括以下步骤:获取第一影像和第二影像,其中,第一影像和第二影像为待处理视频源中两相邻帧的影像;根据待处理视频源的帧率和/或待处理视频源中的影像来源,分别对第一影像和第二影像进行分割处理,得多个第一分割影像和多个第二分割影像;对各第一分割影像及其对应第二分割影像做影像插补处理,得到各第一分割影像对应的区域插补影像;将各第一分割影像对应的区域插补影像进行合成处理,得到第一影像和第二影像的插帧影像。该影像插补方法,在根据待处理视频源的帧率和/或影像来源对影像进行分割后进行影像插补,得到的插补影像可使视频更流畅,进而可提升用户对视频的观看体验。

Description

影像插补方法、装置和存储介质
技术领域
本发明涉及视频处理技术领域,尤其涉及一种影像插补方法、装置和存储介质。
背景技术
随着消费性多媒体产品的盛行,取像或显像相关的电子装置成为重要的产业项目,如平面显示器、数字相机等。以平面显示器为例,不仅尺寸与分辨率的提高,帧率的提高也是目前平面显示器追求的目标,但是旧有的影片帧率都是相对较低的,如果在新式高帧率的平面显示器观看旧的低帧率影片,无法体现出高帧率平面显示器带来的流畅效果。
为此,相关技术中提出了一种将画面切块进行模板匹配的方式进行影像插补处理,但是该技术只适用于单一帧率视频源的处理,对于视频源中存在两种或两种以上帧率(例如,视频源中同时包含25Hz和30Hz的帧率)时,得到的插补结果会产生异常,甚至是比视频源更不利于观看。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种影像插补方法,以提升视频观感。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种影像插补装置。
为达到上述目的,本发明第一方面提出了一种影像插补方法,包括以下步骤:获取第一影像和第二影像,其中,所述第一影像和所述第二影像为待处理视频源中两相邻帧的影像;根据所述待处理视频源的帧率和/或所述待处理视频源中的影像来源,分别对所述第一影像和所述第二影像进行分割处理,得多个第一分割影像和多个第二分割影像;对各第一分割影像及其对应第二分割影像做影像插补处理,得到各第一分割影像对应的区域插补影像;将各第一分割影像对应的区域插补影像进行合成处理,得到所述第一影像和所述第二影像的插帧影像。
本发明实施例的影像插补方法,在根据待处理视频源的帧率和/或影像来源对影像进行分割后进行影像插补,并将对分割后影像的区域插补影像进行合成,得到的插补影像可使视频更流畅,提升了用户对视频的观看体验。
为达到上述目的,本发明第二方面提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述的影像插补方法。
为达到上述目的,本发明第三方面提出了一种影像插补装置,包括存储器、处理器和存储在所述存储器上的计算机程序,所述计算机程序被处理器执行时,实现上述的影像插补方法。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明第一实施例的影像插补方法的流程图;
图2是本发明第二实施例的影像插补方法的流程图;
图3是本发明一个具体实施例的图像分割方法的示意图;
图4是本发明一个具体实施例的影像插补处理的流程图;
图5是本发明一个示例的分层处理效果图;
图6是本发明一个示例的插帧影像的示意图;
图7(a)、图7(b)是本发明一个示例的得到插帧影像的示意图;
图8(a)、图8(b)、图8(c)是本发明一个具体示例的影像插补处理的效果比对示意图;
图9是本发明实施例的影像插补处理装置的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图1-9描述本发明实施例的影像插补方法、装置和存储介质。
图1是本发明实施例的影像插补方法的流程图。
如图1所示,影像插补方法包括以下步骤:
S1,获取第一影像和第二影像,其中,第一影像和第二影像为待处理视频源中两相邻帧的影像。
其中,待处理视频源可以是包含多个正在进行视频播放的播放窗口的视频,也可以是视频通话界面中的视频,还可以是显示弹幕或可移动字幕的视频。当然,待处理视频源也可以是常规的视频。
S2,根据待处理视频源的帧率和/或待处理视频源中的影像来源,分别对第一影像和第二影像进行分割处理,得多个第一分割影像和多个第二分割影像。
作为一个示例,如图3所示。在该示例中,A0为第一影像,A1、A2、A3、A4为正在播放视频的视频播放窗口,进而可以根据上述特征部分对影像A0进行分割,得到第一分割影像B1、B2、B3、B4。
S3,对各第一分割影像及其对应第二分割影像做影像插补处理,得到各第一分割影像对应的区域插补影像。
具体地,可分别对各第二分割影像进行分块处理,进而根据分块进行匹配,得到对应的区域插补影像。
S4,将各第一分割影像对应的区域插补影像进行合成处理,得到第一影像和第二影像的插帧影像。
其中,合成处理可相当于图3中分割的反过程。
由此,该影像插补方法,在根据待处理视频源的帧率和/或影像来源对影像进行分割后进行影像插补,得到区域插补影像,并将区域插补影像进行合成,得到的插补影像可使视频更流畅,进而可提升用户对视频的观看体验。
在本发明的一个实施例中,如图2所示,上述对第一分割影像及其对应第二分割影像做影像插补处理的流程可以包括:
S31,利用预设的多种分层模式,分别对第一分割影像和第二分割影像进行分层处理,得到多个第一分层影像组和多个第二分层影像组。
其中,第一分层影像组包括多个第一分层影像,第二分层影像组包括多个第二分层影像。预设的分层模式可以有x种,x为大于等于2的整数,利用预设的分层模式可以将影像分成m层,m=1时,分层影像组中的分层影像有一个,m=2时,分层影像组中的分层影像有两个,m=3时,分层影像组中的分层影像有三个,依次类推。
在一个可行的实施例中,如图4所示,预设三种分层模式,分别记为第一分层模式、第二分层模式和第三分层模式。
作为一个示例,利用第一分层模式对第一分割影像进行分层处理,可包括:获取第一分割影像的R、G、B值;根据R、G、B值得到第一分割影像的亮度值;将第一分割影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;根据比较结果将第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
具体地,第一分割影像为RGB影像,第一分割影像的亮度值Y可为:Y=0.30R+0.59G+0.11B。若R、G、B值最小为0,最大为1,则对应的Y最小为0,最大为1。可设置一个预设亮度阈值,例如0.95(该0.95为可调整参数),如图5所示,将第一分割影像Fn中Y值大于0.95的像素点归类为一层(如图5所示的字幕层Fn_L1T),将Y值小于或等于0.95的归类为另一层(如图5所示的影像层Fn_L1V),由此得到两张第一分层影像,这两张分层影像也均为RGB影像。对应地,利用第一分层模式对第二分割影像Fn+1进行分层处理,可得到两张第二分层影像,分别为Fn+1_L1T和Fn+1_L1V。
作为另一个示例,利用第二分层模式对第一分割影像进行分层处理,可包括:将第一分割影像进行RGB转YUV处理,得到第一变换影像;对第一变换影像进行直方图统计,并根据直方图统计结果对第一分割影像进行等化处理,得到第一等化影像;获取第一等化影像的R、G、B值;根据第一等化影像的R、G、B值得到第一等化影像的亮度值;将第一等化影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;根据比较结果将第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
具体地,先将第一分割影像进行RGB转YUV处理,得到第一变换影像,并取Y值做影像亮度评估,Y=0.30R+0.59G+0.11B。然后将Y值影像(即第一变换影像)做直方图统计,并根据直方图统计结果对第一分割影像做等化处理(即直方图均衡化),得到第一等化影像,以使较暗的影像,灰阶层次会聚集在数值低的区域;整体看起来明亮的影像,灰阶层次会聚集在数值高的区域,即使得灰阶层次平均分散于第一等化影像所有范围。
进一步地,对第一等化影像的处理方式与上述利用第一分层模式对第一分割影像的分层方式相同。即,获取第一等化影像的R、G、B值,第一等化影像的亮度值Y可为:Y=0.30R+0.59G+0.11B。若R、G、B值最小为0,最大为1,则对应的Y最小为0,最大为1。可设置一个预设亮度阈值,例如0.95,将第一分割影像Fn中对应Y值大于0.95的像素点归类为一层(如字幕层Fn_L2T),将Y值小于或等于0.95的归类为另一层(如影像层Fn_L2V),由此得到两张第一分层影像,这两张分层影像也均为RGB影像。对应地,利用第二分层模式对第二分割影像Fn+1进行分层处理,可得到两张第二分层影像,分别为Fn+1_L2T和Fn+1_L2V
作为另一个示例,利用第三分层模式对第一分割影像进行分层处理,可包括:将第一分割影像进行RGB转YUV处理,得到第一变换影像;将第一变换影像分割成N×N个区块;对每个区块分别进行直方图统计,并根据每个区块的直方图统计结果对第一分割影像进行等化处理,得到第一等化影像;获取第一等化影像的R、G、B值;根据第一等化影像的R、G、B值得到第一等化影像的亮度值;将第一等化影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;根据比较结果将第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
具体地,与第二分层模式相同,也是先将第一分割影像进行RGB转YUV处理,得到第一变换影像,并取Y值做影像亮度评估,Y=0.30R+0.59G+0.11B。然后不同的是,第三分层模式增加了将Y值影像(即第一变换影像)先分割成N×N个区块,再做直方图统计,N可以是50、100等可调的值。根据每个区块的直方图统计结果对第一分割影像对应区块做等化处理(即直方图均衡化),得到区块化的第一等化影像。
进一步地,对第一等化影像的处理方式与上述利用第一、第二分层模式对第一分割影像的分层方式相似。即,获取第一等化影像的R、G、B值,第一等化影像的亮度值Y可为:Y=0.30R+0.59G+0.11B。若R、G、B值最小为0,最大为1,则对应的Y最小为0,最大为1。可设置一个预设亮度阈值,例如0.8,将第一分割影像Fn中对应Y值大于0.8的像素点归类为一层(如字幕层Fn_L3T),将Y值小于或等于0.8的归类为另一层(如影像层Fn_L3V),由此得到两张第一分层影像,这两张分层影像也均为RGB影像。对应地,利用第三分层模式对第二分割影像Fn+1进行分层处理,可得到两张第二分层影像,分别为Fn+1_L3T和Fn+1_L3V。
需要说明的是,不同的分层模式对同一影像进行分层,得到的分层影像组中的分层影像数可以不同,例如,第一分层模式可将第一分割影像分成三层,第二分层模式可将第一分割影像分成两层;但同一分层模式对两相邻帧影像进行分层,得到的分层影像组中的分层影像数一定相同,前提是两相邻帧影像中包含至少一个相同的目标,例如,视频通话中各视频通话终端显示的影像,又如,以弹幕模式观看视频时,视频中的弹幕。当然,如果待处理视频源中存在相邻两帧的影像中没有相同的目标,则对这两帧影像可不做插帧处理。
S32,分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估,以确定最佳分层模式。
在一个可行的实施例中,对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估,以确定最佳分层模式,可包括:将第一分层影像组中的第一分层影像分割成M×M个区块,并将第二分层影像组中的第二分层影像分割成M×M个区块;将各相同分层模式下,第一分层影像中的M×M个区块与对应的第二分层影像中的M×M个区块进行比对,得到第一分层影像中包含目标的区块的运动向量;计算第一分层影像中包含目标的区块按照对应的运动向量运动后得到的影像,与对应的第二分层影像之间的差异值,三个分层模式可对应得到三个差异值;将最小差异值对应的分层模式作为最佳分层模式。其中,M可与上述的N取值相同,如为50、100等值。
具体地,以第一分层模式分层得到的第一、第二分层影像为例进行动态评估,可将第一分层影像Fn_L1T、Fn_L1V中的区块与第二分层影像Fn+1_L1T、Fn+1_L1V中的区块,相对位置做周围多个像素点的媒合,即找到相同的目标,并使第一分层影像中的该目标以其所在区块进行运动,例如可以做±15°的旋转+平移,在对应的第二分层影像中找到差异最小的位置角度,基于该运动过程或者起点和终点,可得到运动向量。由此,可对第一分层影像中的每个目标做如是处理,进而将第一分层影像中的区块均按对应的运动向量运动后得到的影像与对应的第二分层影像做差,得到差异值。对应地,参见图2,对第二、三分层模式得到的分层影像进行动态评估,得到第二、三分层模式对应的差异值,通过动态评估媒合筛选器将三个差异值进行比较,得到最小的差异值,并将该最小的差异值对应的分层模式作为最佳分层模式。
S33,根据最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像。
由此,利用最佳分层模式对应的第一分层影像组和第二分层影像组确定插帧影像,相对于其他分层模式,确定的插帧影像观感更好。
在一个可行的实施例中,根据第一分层影像组和第二分层影像组确定插帧影像,可包括:获取第一影像与第二影像的时间间隔,并获取第一影像源的帧率;根据时间间隔和帧率确定插帧数目;根据第一分层影像、第一分层影像中包含目标的区块的运动向量和插帧数目确定插帧影像的插帧分层影像;将同一插帧对应的所有插帧分层影像进行合成,得到插帧影像。
具体地,参见图4,若动态评估媒合筛选器确定第一影像Xn和第二影像Xn+1有差异,则插帧数评估器可获取两帧影像之间的时间间隔,并获取待处理视频源中的视频帧率,根据时间间隔和帧率确定Xn和Xn+1需插补的帧数K,如图6所示。基于该帧数K和最佳分层模式分层得到的分层影像,可进行动态补偿插帧。
作为一个示例,可通过如下公式得到插帧分层影像中包含目标的区块的向量:
Fint_i_B0=Fn_B0+i×[Mt/(K+1)],
其中,1≤i≤K,且i为整数,B0为包含目标的区块,Fint_i_B0为第i个插帧影像中区块B0的向量,Fn_B0为第一分层影像中区块B0的向量,Mt为运动向量,K为插帧数目。
可选地,插帧分层影像中包含目标的区块的向量还可未Fint_i_B0=Fn_B0+Mt/10×fix(i×10/(K+1)),即对i×10/(K+1)取整,例如,K=2,则可得插帧影像为Fn+0.3和Fn+0.6。当然,该取整用fix还可替换为round、floor等。
进一步地,如图7(a)所示,对于第一分割影像Fn的一个第一分层影像,其中的区块B0在对应的第二分层影像的位置发生了改变,运动向量为Mt;若K取值为1,则插帧影像的分层插帧影像中区块B0的位置如图7(b)所示。下面结合图8(a)、(b)、(c),通过一个具体示例说明本发明实施例的的有益效果:
图8(a)所示,第一分割影像Fn与第二分割影像Fn+1的关系是球往左移、字往上移,期望得到的插帧影像Fn+0.5应为图8(a)中的中间图示。如图8(b)所示,传统的BlockMatching(模板匹配)插补方法,字CD会因球的特征多导致字跟著球跑。而本发明的影像插补方法,引入了分层的方式,将字和球分开,并分别做Block Matching,最后再合成,如图8(c)所示。显然,本发明的方法得到的插补结果更符合期望。
需要说明的是,在对分割影像进行插补处理时,可直接采用一种预设的分层模式进行分层处理,进而直接根据分层影像采用上述的插补处理方式得到分层影像的插补影像,并将插补影像合成,得到对应分割影像的区域插补影像。最后,对所有分割影像的区域插补影像对应合成,最终得到洗衣影像和第二影像的插补影像。该插补处理方式相较于上述的采用多种分层模式进行插补处理的方式,处理复杂度低,但相对插补准确性可能降低。
综上所述,本发明实施例的影像插补方法,通过对影像先根据帧率或***进行分割处理,再对分割后的影像进行插补处理,如将分割影像进行分层处理,并对各分层影像分别进行分块匹配,再进行分层合成和分割合成,得到的插补影像可使视频更流畅,提升了用户对视频的观看体验。
进一步地,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现上述的影像插补方法。
本发明实施例的计算机可读存储介质,在其上存储的与上述影像插补方法对应的计算机程序被处理器执行时,得到的插补影像可使视频更流畅,提升了用户对视频的观看体验。
图9是本发明实施例的影像插补装置的结构框图。
如图9所示,该影像插补装置100,包括存储器110、处理器120和存储在存储器110上的计算机程序130,其特征在于,计算机程序130被处理器120执行时,实现上述的影像插补方法。
在该实施例中,影像插补装置100可以是一种芯片产品,该芯片产品可嵌入在各种显示器(如电脑显示器、电视机等)、投影仪等中,影像插补装置100还可以作为一个独立的产品,该产品可与多种视频播放终端(如电脑、智能手机、平板等)配合使用。
本发明实施例的影像插补装置,在其存储器上存储的与上述影像插补方法对应的计算机程序被处理器执行时,得到的插补影像可使视频更流畅,提升了用户对视频的观看体验。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种影像插补方法,其特征在于,包括以下步骤:
获取第一影像和第二影像,其中,所述第一影像和所述第二影像为待处理视频源中两相邻帧的影像;
根据所述待处理视频源的帧率和/或所述待处理视频源中的影像来源,分别对所述第一影像和所述第二影像进行分割处理,得多个第一分割影像和多个第二分割影像;
对各第一分割影像及其对应第二分割影像做影像插补处理,得到各第一分割影像对应的区域插补影像;
将各第一分割影像对应的区域插补影像进行合成处理,得到所述第一影像和所述第二影像的插帧影像;
对第一分割影像及其对应第二分割影像做影像插补处理,包括:
利用预设的多种分层模式,分别对所述第一分割影像和所述第二分割影像进行分层处理,得到多个第一分层影像组和多个第二分层影像组;
分别对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估,以确定最佳分层模式;
根据所述最佳分层模式对应的第一分层影像组和第二分层影像组得到对应的区域插补影像;
根据第一分层影像组和第二分层影像组确定插帧影像,包括:
获取所述第一影像与所述第二影像的时间间隔,并获取所述第一影像源的帧率;
根据所述时间间隔和所述帧率确定插帧数目;
根据所述第一分层影像组中的第一分层影像、所述第一分层影像中包含目标的区块的运动向量和所述插帧数目确定插帧影像的插帧分层影像;
将同一插帧对应的所有插帧分层影像进行合成,得到插帧影像。
2.如权利要求1所述的影像插补方法,其特征在于,预设三种分层模式,分别记为第一分层模式、第二分层模式和第三分层模式。
3.如权利要求2所述的影像插补方法,其特征在于,利用所述第一分层模式对所述第一分割影像进行分层处理,包括:
获取所述第一分割影像的R、G、B值;
根据所述R、G、B值得到所述第一分割影像的亮度值;
将所述第一分割影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;
根据比较结果将所述第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
4.如权利要求2所述的影像插补方法,其特征在于,利用所述第二分层模式对所述第一分割影像进行分层处理,包括:
将所述第一分割影像进行RGB转YUV处理,得到第一变换影像;
对所述第一变换影像进行直方图统计,并根据直方图统计结果对所述第一分割影像进行等化处理,得到第一等化影像;
获取所述第一等化影像的R、G、B值;
根据所述第一等化影像的R、G、B值得到所述第一等化影像的亮度值;
将所述第一等化影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;
根据比较结果将所述第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
5.如权利要求2所述的影像插补方法,其特征在于,利用所述第三分层模式对所述第一分割影像进行分层处理,包括:
将所述第一分割影像进行RGB转YUV处理,得到第一变换影像;
将所述第一变换影像分割成N×N个区块;
对每个区块分别进行直方图统计,并根据每个区块的直方图统计结果对所述第一分割影像进行等化处理,得到第一等化影像;
获取所述第一等化影像的R、G、B值;
根据所述第一等化影像的R、G、B值得到所述第一等化影像的亮度值;
将所述第一等化影像的亮度值与n个预设亮度阈值进行比较,其中,n为大于0的整数;
根据比较结果将所述第一分割影像分成m张第一分层影像,其中,m为大于0的整数。
6.如权利要求2所述的影像插补方法,其特征在于,对采用相同分层模式得到的第一分层影像组和第二分层影像组进行动态评估,以确定最佳分层模式,包括:
将所述第一分层影像组中的第一分层影像分割成M×M个区块,并将所述第二分层影像组中的第二分层影像分割成M×M个区块;
将所述第一分层影像中的M×M个区块与对应的第二分层影像中的M×M个区块进行比对,得到所述第一分层影像中包含目标的区块的运动向量;
计算所述第一分层影像中包含目标的区块按照对应的运动向量运动后得到的影像,与对应的第二分层影像之间的差异值;
将最小差异值对应的分层模式作为所述最佳分层模式。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-6中任一项所述的影像插补方法。
8.一种影像插补装置,包括存储器、处理器和存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1-6中任一项所述的影像插补方法。
CN202110283113.7A 2021-03-16 2021-03-16 影像插补方法、装置和存储介质 Active CN113067960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110283113.7A CN113067960B (zh) 2021-03-16 2021-03-16 影像插补方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110283113.7A CN113067960B (zh) 2021-03-16 2021-03-16 影像插补方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113067960A CN113067960A (zh) 2021-07-02
CN113067960B true CN113067960B (zh) 2022-08-12

Family

ID=76560778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110283113.7A Active CN113067960B (zh) 2021-03-16 2021-03-16 影像插补方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113067960B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216959A (ja) * 2010-03-31 2011-10-27 Renesas Electronics Corp 映像処理装置及び映像処理装置におけるフレーム補間処理パラメータ生成方法
WO2012107985A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 映像信号処理装置および映像信号処理方法
US9197891B1 (en) * 2012-01-02 2015-11-24 Marvell International Ltd. Systems and methods for periodic structure handling for motion compensation
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN111369557A (zh) * 2020-03-31 2020-07-03 浙江大华技术股份有限公司 图像处理方法、装置、计算设备和存储介质
CN112184575A (zh) * 2020-09-16 2021-01-05 华为技术有限公司 图像渲染的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216959A (ja) * 2010-03-31 2011-10-27 Renesas Electronics Corp 映像処理装置及び映像処理装置におけるフレーム補間処理パラメータ生成方法
WO2012107985A1 (ja) * 2011-02-10 2012-08-16 パナソニック株式会社 映像信号処理装置および映像信号処理方法
US9197891B1 (en) * 2012-01-02 2015-11-24 Marvell International Ltd. Systems and methods for periodic structure handling for motion compensation
CN111356026A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN111369557A (zh) * 2020-03-31 2020-07-03 浙江大华技术股份有限公司 图像处理方法、装置、计算设备和存储介质
CN112184575A (zh) * 2020-09-16 2021-01-05 华为技术有限公司 图像渲染的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Motion-Compensated Frame Rate Up-Conversion—Part II: New Algorithms for Frame Interpolation》;Demin Wang; André Vincent; Philip Blanchfield; Robert Klepko;《IEEE Transactions on Broadcasting ( Volume: 56, Issue: 2, June 2010)》;20100402;第56卷(第2期);全文 *
AI补帧技术的影像化应用探析;谢辛;《现代电影技术》;20200811(第08期);全文 *
Guo Lu ; Xiaoyun Zhang ; Li Chen ; Zhiyong Gao.《A novel frame rate up conversion using iterative non-local means interpolation》.《2017 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB)》.2017, *
一种带图像修补的运动补偿视频插帧方法;贾茜等;《四川大学学报(工程科学版)》;20150520(第03期);全文 *

Also Published As

Publication number Publication date
CN113067960A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
JP5075195B2 (ja) 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
CN102394051A (zh) 图像显示装置及方法
US20100085478A1 (en) Image displaying device and method, and image processing device and method
US8576341B2 (en) Occlusion adaptive motion compensated interpolator
WO2008152951A1 (en) Method of and apparatus for frame rate conversion
JP2003524949A (ja) 動きの補償およびフレーム速度の変換を行うシステムと方法
US8289446B2 (en) Intermediate frame occlusion estimation system using projected vectors
US10096093B2 (en) Object speed weighted motion compensated interpolation
US20070171302A1 (en) De-interlacing of video data
US9013584B2 (en) Border handling for motion compensated temporal interpolator using camera model
JP2008078857A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4949463B2 (ja) アップスケーリング
US7197075B2 (en) Method and system for video sequence real-time motion compensated temporal upsampling
EP1815441B1 (en) Rendering images based on image segmentation
US8542322B2 (en) Motion compensated interpolation system using combination of full and intermediate frame occlusion
US20120257113A1 (en) Filter for Video Stream
CN101895674B (zh) 一种针对监控视频的去隔行的方法及其装置
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
CN113067960B (zh) 影像插补方法、装置和存储介质
CN113067959B (zh) 影像插补方法、装置和存储介质
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
US8115865B2 (en) De-interlacing system with an adaptive edge threshold and interpolating method thereof
CN112118439A (zh) 视频品质检测方法与影像处理电路
JP3156247B2 (ja) 画像変換装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230412

Address after: 1903, Yaohua Creation Building, 6023 Shennan Avenue, Tian'an Community, Shatou Street, Futian District, Shenzhen City, Guangdong Province, 518000

Patentee after: Hongguoxin Technology (Shenzhen) Co.,Ltd.

Address before: 230088 room 1006, F1 building, phase II, innovation industrial park, 2800 innovation Avenue, high tech Zone, Hefei City, Anhui Province

Patentee before: HEFEI HEXIN MICROELECTRONIC TECHNOLOGY CO.,LTD.