CN104871545B - 高位深度视频的可扩展编码中的高精度上采样 - Google Patents
高位深度视频的可扩展编码中的高精度上采样 Download PDFInfo
- Publication number
- CN104871545B CN104871545B CN201380066796.4A CN201380066796A CN104871545B CN 104871545 B CN104871545 B CN 104871545B CN 201380066796 A CN201380066796 A CN 201380066796A CN 104871545 B CN104871545 B CN 104871545B
- Authority
- CN
- China
- Prior art keywords
- parameter
- rounding
- bit depth
- data
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
当对具有高位深度的视频数据进行操作时,分层编码***中的上采样操作的精度被保持。响应于视频编码或解码***的位深度要求,针对可分离的向上扩展的滤波器,确定缩放和舍入参数。首先,使用第一舍入参数在第一空间方向上对输入数据进行滤波以生成第一上采样数据。通过使用第一偏移参数缩放第一上采样数据来生成第一中间数据。然后使用第二舍入参数在第二空间方向上对中间数据进行滤波以生成第二上采样数据。通过使用第二偏移参数缩放第二上采样数据来生成第二中间数据。通过修剪第二中间数据可以生成最终的上采样数据。
Description
相关申请的交叉引用
本申请要求于2012年12月21日提交的美国临时专利申请No.61/745050的优先权,其全部内容通过引用并入于此。
技术领域
本发明总体上涉及图像。更特别地,本发明的实施例涉及用于高位深度视频的可扩展(scalable)视频编解码器中的高精度上采样。
背景技术
音频和视频压缩是多媒体内容的开发、存储、分发和消费的关键组成部分。对压缩方法的选择涉及编码效率、编码复杂度和延迟之间的权衡。当处理能力对计算成本的比率增加时,允许发展允许更高效的压缩的更复杂的压缩技术。例如,在视频压缩中,来自国际标准化组织(ISO)的运动图像专家组(MPEG)通过发布MPEG-2、MPEG-4(第2部分)和H.264/AVC(或MPEG-4,第10部分)编码标准来持续改进最初的MPEG-1视频标准。
尽管H.264的压缩效率和成功,被称为高效视频编码(HEVC)的新一代视频压缩技术目前正在开发当中。HEVC被期望提供相对于现有的H.264(也称为AVC)标准有所提升的压缩能力,HEVC的草案可获于“High efficiency video coding(HEVC)text specificationdraft 9”,ITU-T/ISO/IEC视频编码联合组(JCT-VC)文档JCTVC-K1003,2012年10月,作者B.Bros,W.-J.Han,G.J.Sullivan,J.-R.Ohm和T.Wiegand,其全部内容通过引用并入于此,而H.264标准被发布为“Advanced Video Coding for generic audio-visual services”,ITU T Rec.H.264和ISO/IEC 14496-10,其全部内容通过引用并入于此。
视频信号可以由诸如位深度、色彩空间、色域和分辨率之类的多个参数表征。现代电视和视频回放设备(例如,蓝光播放器)支持各种分辨率,包括标准清晰度(例如,720×480i)和高清晰度(HD)(例如,1090×1080p)。超高清晰度(UHD)是具有至少3840×2160分辨率的下一代分辨率格式。超高清晰度也可以称为超HD、UHDTV或超高清。如在此所使用的,UHD表示高于HD分辨率的任何分辨率。
视频信号特性的另一方面是它的动态范围。动态范围(Dynamic range,DR)是指图像中的例如从最暗至最亮的强度(例如,亮度,luma)的范围。如在此所使用的,术语“动态范围”(DR)可以与人类精神性视觉***(HVS)感知图像中的例如从最暗至最亮的强度(例如亮度,luma)的范围的能力有关。在这种意义上,DR与“涉及场景”(scene-referred)的强度有关。DR还可以与用于充分地或近似地呈现特定宽度的强度范围的显示设备的能力有关。在这种意义上,DR与“涉及显示器”的强度有关。除非在本描述中的任何点处明确地指定特定意义具有特定含义,否则,应当推断该术语可以例如可互换地在任一种意义上使用。
如在此所使用的,术语高动态范围(HDR)与横跨人类视觉***(HVS)的某14至15个量级的DR宽度有关。例如,基本正常的适应性好的人(例如,在统计学、生物计量学和眼科学意义中的一个或更多个上)具有横跨大约15个量级的强度范围。适应的人可以感知到少至只有少量光子的微弱光源。然而,同样这些人可以感知到沙漠、大海或雪地的正午太阳的几乎引起痛感的耀眼的强度(或者甚至直视太阳,但要短暂以避免伤害)。但是这种跨度可用于“适应的”人,例如,那些其HVS具有重置和调整时间段的人。
相反,与HDR相比,在其上人可以同时感知强度范围的广阔宽度的DR在一定程度上被截断。如在此所使用的,术语“增强的动态范围”(EDR)、“可视的动态范围”或“可变的动态范围”(VDR)可以单独地或者可互换地与能由HVS同时感知的DR有关。如在此所使用的,EDR可以涉及横跨5至6个量级的DR。因此,尽管与涉及真实场景的HDR相比也许有些狭窄,但是EDR表示宽的DR宽度。如在此所使用的,术语“同时的动态范围”可以涉及EDR。
如在此所使用的,术语图像或视频“位深度”表示用于代表或存储图像或视频信号的色彩分量的像素值的位数。例如,术语N位视频(例如,N=8)表示该视频信号中的色彩分量(例如R、G或B)的像素值可以取范围0至2N-1内的值。
如在此所使用的,术语“高位深度”表示任何大于8位(例如,N=10位)的位深度值。注意,当HDR图像和视频信号典型地与高位深度相关联时,高位深度的图像不一定具有高动态范围。因此,如在此所使用的,高位深度成像可以与HDR和SDR这两者都有关联。
为了支持与传统回放设备和新显示技术的向后兼容,可以使用多个层来将UHD和HDR(或SDR)视频数据从上游设备传递到下游设备。给定这种多层的流,传统的解码器可以使用基本层来重构内容的HD SDR版本。先进的解码器可以使用基本层和增强层这两者来重构内容的UHD EDR版本以将其呈现在更有能力的显示器上。如发明人在此所领会的,用于使用可扩展编解码器来对高位深度的视频进行编解码的改进技术是所希望的。
在本部分中所述的方法是可获得的方法,但不一定是之前已设想或获得的方法。因此,除非另有表明,否则不应当仅仅因为在本部分中所述的任何方法被包括在本部分中而将它们认定为现有技术。类似地,除非另有表明,否则关于一种或更多种方法所识别的问题不应当基于本部分而认为已经在任何现有技术中已经发现。
附图说明
在附图的图中以举例的方式而非以限制的方式例示了本发明的实施例,在附图中相同的附图标记表示相似的元件,其中:
图1描述了根据本发明实施例的可扩展编码***的示例性实现;
图2描绘了根据本发明实施例的可扩展解码***的示例性实现;
图3描绘了根据本发明实施例的图像数据上采样的示例性过程。
具体实施方式
在此描述了具有高位深度的视频输入的可扩展编码中的高精度上采样。给定与中间结果的位深度、内部输入位深度以及滤波器精度位深度相关的参数,可确定缩放(scaling)和舍入(rounding)因子,以保持操作的精度并防止溢出。
在下面的描述中,出于解释的目的,阐述了许多具体细节以便提供对本发明的透彻理解。但是,显然本发明可以在没有这些具体细节的情况下实施。在其它实例中,没有详尽地描述熟知的结构和设备,以避免不必要地使本发明晦涩难懂。
综述
在此描述的示例性实施例涉及具有高位深度的视频信号的分层编码和解码中的高精度采样。响应于视频编码和解码***的位深度需求,针对可分离的向上扩展(up-scaling)的滤波器,确定输入数据、滤波系数以及缩放和舍入参数。首先,使用第一舍入参数在第一空间方向上对输入数据进行滤波,以生成第一上采样数据。通过使用第一偏移参数对第一上采样数据进行缩放而生成第一中间数据。然后,使用第二舍入参数在第二空间方向上对中间数据进行滤波,以生成第二上采样数据。通过使用第二偏移参数对第二上采样数据进行缩放而生成第二中间数据。可以通过对第二中间数据进行修剪来生成最终的上采样数据。
高精度可分离上采样
现有的诸如HDTV、机顶盒或蓝光播放器之类的显示和回放设备典型地支持高达1080p HD分辨率(例如1920×1080,每秒60帧)的信号。对于消费者应用,现在典型地按照亮度-色度色彩格式中的每个色彩分量、每个像素使用8位的位深度来压缩这种信号,在该格式中典型地,色度分量具有比亮度分量更低的分辨率(例如,YCbCr或YUV 4:2:0的色彩格式)。由于8位深度和相应的低动态范围,这种信号典型地被称为具有标准动态范围(SDR)的信号。
随着诸如超高清晰度(UHD)之类的新电视标准正在开发,以可扩展的格式对具有提高的分辨率和/或更高的位深度的信号进行编码是可取的。
图1描绘了可扩展编码***的示例性实现的实施例。在示例性实施例中,基本层(base layer,BL)输入信号104可以代表HD SDR信号,增强层(enhancement layer,EL)输入102可以代表高位深度的UHD HDR(或SDR)信号。使用BL编码器105来压缩(或编码)BL输入104,以生成编码的BL位流107。BL编码器105可以使用诸如MPEG-2、MPEG-4第2部分、H.264、HEVC、VP8等之类的已知或未来的视频压缩算法中的任何一种来对BL输入信号104进行压缩或编码。
假定BL输入104,编码***100不仅生成编码的BL位流107,还生成BL信号112,其中BL信号112代表将由相应的接收器解码的BL信号107。在一些实施例中,可以通过BL编码器105之后的单独的BL解码器(110)来生成信号112。在一些其它的实施例中,可以从用于在BL编码器105中执行运动补偿的反馈回路生成信号112。如图1中所示,可以通过层间处理单元115来处理信号112,以生成适合由层间预测过程120使用的信号。在一些实施例中,层间处理单元115可以向上扩展信号112,以匹配EL输入102的空间分辨率(例如,从HD分辨率到UHD分辨率)。在层间预测120之后,残差127被计算,随后被EL编码器132编码以生成编码的EL位流132。BL位流107和EL位流132典型地被多路复用到单个编码的位流中,该单个编码的位流被发送给合适的接收器。
术语SHVC表示被称为高效视频编码(HEVC)[1]的新一代视频压缩技术的可扩展延伸,所述HEVC能实现显著高于现有的AVC(H.264)标准[2]的压缩能力。SHVC目前正在由ISO/IEC MPEG和ITU-T WP3/16组联合开发。SHVC的关键方面之一是空间可扩展性,其中层间纹理预测(例如,120或210)提供最重要的增益。在图2中示出了SHVC解码器的示例。作为层间预测的一部分,上采样过程(220)对来自基本层(215)的像素数据进行上采样或向上转换(up-convert),以匹配在增强层(例如202或230)中接收到的数据的像素分辨率。在实施例中,可以通过应用上采样或内插滤波器来执行上采样过程。在H.264(SVC)的可扩展延伸或SHVCSMuC0.1.1软件[3]中,应用了可分离的多相上采样/内插滤波器。当这些滤波器对具有标准位深度的输入数据(例如,每个色彩分量每个像素使用8位的图像)执行良好时,对于具有高位深度的输入数据(例如,每个色彩分量每个像素使用10位或更多位的图像),它们可能会溢出。
在2D上采样或内插处理过程中,普通惯例是应用可分离的滤波器以减少处理复杂度。这种滤波器首先在一个空间方向(例如,水平或垂直方向)上对图像进行上采样,然后是另一方向(例如,垂直或水平方向)。在不损失共性的情况下,在以下描述中,假设水平上采样之后是垂直上采样。然后,滤波过程可以被描述为:
水平上采样:
tempArray[x,y]=∑i,j(eF[xPhase,i]*refSampleArray[xRef+j,y]) (1)
垂直上采样
predArray[x,y=Clip((∑i,j(eF[yPhase,i]*tempArray[x,yRef+j])+offset)>>nshift) (2)
其中,eF存储多相上采样滤波器系数,refSampleArray包含来自重构的基本层的参考采样值,tempArray存储第一次1D滤波后的中间值,predArray存储第二次1D滤波后的最终值,xRef和yRef对应于上采样的相对像素位置,nshift表示缩放或归一化参数,offset表示舍入参数,以及Clip()表示修剪函数。例如,假定数据x和阈值A和B,在示例性实施例中,函数y=Clip(x,A,B)表示
例如,对于N位的图像数据,A和B的示例值可以包括A=0和B=2Ν-1。
在方程(2)中,运算a=b>>c表示通过将b的二进制表示向右偏移c位而使b除以2c(例如,a=b/2c)。注意,在方程(1)中,对于第一阶段滤波,没有应用修剪或偏移操作。还应注意,在本实现下,水平滤波和垂直滤波的顺序并不重要。先应用垂直滤波再应用水平滤波产生的结果和先应用水平滤波再应用垂直滤波的结果相同。
在SMuCO.01[3]中,eF的滤波精度(表示为US_FILTER_PREC)被设为6位。当refSampleArray的内部位深度是8位时,则tempArray可以保持在目标实现位深度(例如14或16位)以内。但是当refSampleArray的内部位深度超过8位时,则方程(1)的输出可能溢出。
在实施例中,这种溢出可以通过以下避免:(a)固定上采样过程中的操作顺序,以及(b)包含中间缩放操作。在实施例中,当在水平滤波之后垂直滤波时,上采样可以如下实现:
水平上采样:
tempArray[x,y]=∑i,j(eF[xPhase,i]*refSampleArray[xRef+j,iOffset1))>>nShift1 (3)
垂直上采样
predArray[x,y]=Clip((∑i,j(eF[yPhase,i]*tempArray[x,yRef+j])+iOffset2)>>nshift2) ,(4)
在不损失共性的情况下,令INTERM_BITDEPTH表示中间滤波处理的位深度(或位分辨率)要求;即,没有结果可以用多于INTERM_BITDEPTH的位来表示(例如INTERM_BITDEPTH=16)。令INTERNAL_INPUT_BITDEPTH表示用于在处理器中代表输入视频信号的位深度。注意,INTERNAL_INPUT_BITDEPTH可以等于或者大于输入信号的原始位深度。例如,在一些实施例中,8位输入视频数据可以内部地用INTERN AL_INPUT_BITDEPTH=10来表示。可替代地,在另一个示例中,可以用INTERNAL_INPUT_BITDEPTH=14表示14位的输入视频。
在一个实施例中,方程(3)和(4)中的缩放参数可以计算为
nShift1=(US_FILTER_PREC+INTERNAL_INPUT_BITDEPTH)-INTERM_BITDEPTH, (5)
nShift2=2*US_FILTER_PREC-nShiftl. (6)
在实施例中,nShiftl和nShift2的值不能为负数。例如,nShiftl的负值指示中间结果所允许的位分辨率比足以防止溢出更高;因此,当其为负数时,nShiftl可以设为0。
如果在(3)和(4)中都使用舍入(最高复杂度,最高精度):
iOffset1=1<<(nShift1-1), (7)
iOffset2=1<<(nShift2-1), (8)
其中a=1<<c表示“1”的二进制左偏移c位,即a=2c。
可替代地,如果在(3)和(4)中都未使用舍入(最低复杂度,最低精度):
iOffsetl=0, (9)
iOffset2=0。 (10)
可替代地,如果在(3)使用舍入而在(4)中未使用舍入:
iOffsetl=1<<(nShiftl-1), (11)
iOffset2=0。 (12)
可替代地,如果在(4)使用舍入而在(3)中未使用舍入(这是常见的):
iOffsetl=0, (13)
iOffset2=1<<(nShift2-1); (14)
在示例性实施例中,令INTERM_BITDEPTH=14,US_FILTER_PREC=6,且INTERNAL_INPUT_BITDEPTH=8,则通过方程(5)和(6),nShiftl=0且nShift2=12。在另一个示例中,对于US_FILTER_PREC=6,如果INTERNAL_INPUT_BITDEPTH=10,并且INTERM_BITDEPTH=14,则根据所选择的舍入模式,nShiftl=2且iOffsetl=0or 2。此外,根据所选择的舍入模式,nShift2=10且iOffset2=0或29。
注意,使用方程(3)和(4)中所示的实施,在垂直滤波之后水平滤波可能产生与在水平滤波之后垂直滤波不同的结果,因此,在解码器中,要么可以由所有解码器来固定和预先确定适当的滤波(例如,通过解码标准或规范),要么在一些实施例中可以由编码器在元数据使用适当的标示来向解码器发信号告知适当的顺序。
图3描绘了根据本发明的实施例的用于图像数据上采样的示例性过程。首先(305),分层编码***中的编码器或解码器确定适当的滤波顺序(例如,在水平滤波之后垂直滤波)以及缩放和舍入参数。在实施例中,基于中间存储(例如,INTERM_BITDEPTH)、滤波器系数(例如,US_FILTER_PREC)和内部输入表示(例如,INTERN AL_INPUT_B ITDEPTH)所需的位深度,可以根据方程(5)-(14)来确定缩放和舍入参数。在步骤310中,在第一方向(例如,水平方向)上对图像数据进行上采样。在中间存储之前使用第一偏移参数(例如,nShiftl)和第一舍入参数(例如,iOffsetl)来对该阶段的输出结果进行舍入和缩放。接下来(315),在第二方向(例如,垂直方向)上对中间结果进行上采样。使用第二偏移参数(例如,nShift2)和第二舍入参数(例如,iOffset2)来对该阶段的输出结果进行舍入和缩放。最后(320),在最终输出或存储之前对第二阶段的输出数据进行修剪。
在此描述的方法也可应用于利用对高位深度的图像数据的可分离的滤波的其它成像应用,诸如向下扩展(down-scaling)、噪声滤波或频率变换。
示例性的计算机***实现
本发明的实施例可以用计算机***、在电子电路和部件中配置的***、诸如微控制器、现场可编程门阵列(FPGA)或其它可配置的或可编程的逻辑器件(PLD)之类的集成电路(IC)器件、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这种***、器件或部件中的一个或更多个的装置来实现。计算机和/或IC可以实行、控制或执行关于高精度上采样的指令,诸如在此所描述的那些。计算机和/或IC可以计算与在此所描述的高精度上采样有关的各种参数或值中的任何一个。编码和解码的实施例可以以硬件、软件、固件及其各种组合来实现。
本发明的某些实施包括执行软件指令的计算机处理器,所述软件指令使处理器执行本发明的方法。例如,显示器、编码器、机顶盒、转码器等中的一个或更多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的关于高精度上采样的方法。本发明还可以以程序产品的形式提供。程序产品可以包括携带有一组包含指令的计算机可读信号的任何介质,当所述指令被数据处理器执行时,使数据处理器执行本发明的方法。根据本发明的程序产品可以具有各种形式中的任何一种。例如,程序产品可以包括诸如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪存RAM的电子数据存储介质等之类的物理介质。程序产品上的计算机可读信号可以可选地被压缩或加密。
在上面提到部件(如软件模块、处理器、组件、器件、电路等)之处,除非另有表明,否则对该部件引用(包括对“装置”的引用)应当被解释为包括执行所述部件的功能的、作为该部件的等效物(如在功能上等效)的任何部件,包括与执行本发明的所例示的示例性实施例的功能的公开结构在构造上不等效的部件。
等效、扩展、替代和混合
如此描述了与高位深度视频的可扩展编码的高精度上采样有关的示例性实施例。在以上说明书中,已经参考可根据实现方式而不同的许多具体细节来描述本发明的实施例。因此,本发明是什么以及申请人意欲本发明是什么的唯一且独有的标志是如本申请发布的权利要求书中以该权利要求书发布的具体形式记载的集合,包括任何后续改正。针对该权利要求书中包含的术语,本文明确阐述的任何定义应当支配在权利要求书中所使用的该术语的意义。因此,未在权利要求中明确记载的限制、要素、性质、特征、优点或属性不应当以任何方式限制这该权利要求的范围。因此,说明书和附图应当认为是例示性的,而非限制性的。
参考文献
[1]B.Bross,W.-J.Han,G.J.Sullivan,J.-R.Ohm,and T.Wiegand,"Highefficiency video coding(HEVC)text specification draft 9,"ITU-T/ISO/IEC视频编码联合组(JCT-VC)文档JCTVC-K1003,2012年10月.
[2]ITU-T and ISO/IEC JTC 1,"Advanced Video Coding for generic audio-visual services,"ITU T Rec.H.264与ISO/IEC 14496-10(AVC)
[3]用于SHVCS(HEVC的可扩展延伸)的SMuCO.1.1软件:https:/hevc.hhi.fraunhofer.de/svn/svn_SMuCSoftware/tags/0.1.1/
Claims (13)
1.一种用于在可扩展视频***中从第一层到第二层对图像数据进行上采样的方法,该方法包括:
响应于可扩展视频***的位深度要求,用处理器确定缩放和舍入参数,其中所述可扩展视频***的位深度要求包括中间值位深度、内部输入位深度、以及滤波系数精度位深度;
通过对来自第一层的图像数据进行滤波来生成第一上采样数据,其中使用第一舍入参数在第一空间方向上执行对图像数据的滤波;
通过以第一偏移参数缩放第一上采样数据来生成第一中间数据;
通过对第一中间数据进行滤波来生成第二上采样数据,其中使用第二舍入参数在第二空间方向上执行对第一中间数据的滤波;
通过以第二偏移参数缩放第二上采样数据来生成第二中间数据;以及,
通过修剪第二中间数据来生成用于第二层的输出上采样数据,其中确定第一偏移参数包括:使内部输入位深度与滤波系数精度位深度的位深度值相加,并从它们的和中减去中间值位深度,并且其中,确定第二偏移参数包括从两倍的滤波系数精度位深度中减去第一偏移参数。
2.根据权利要求1所述的方法,其中所述可扩展视频***包括视频编码器。
3.根据权利要求1所述的方法,其中所述可扩展视频***包括视频解码器。
4.根据权利要求1所述的方法,其中确定第一舍入参数和第二舍入参数包括计算:
iOffsetl=1<<(nShiftl-1),和
iOffset2=1<<(nShift2-1),
其中iOffsetl为第一舍入参数,iOffset2为第二舍入参数,nShiftl为第一偏移参数,并且nShift2为第二偏移参数。
5.根据权利要求1所述的方法,其中第一舍入参数和第二舍入参数被确定为等于零。
6.根据权利要求1所述的方法,其中确定第一舍入参数和第二舍入参数包括计算
iOffsetl=1<<(nShiftl-1),和
iOffset2=0,
其中iOffsetl为第一舍入参数,iOffset2为第二舍入参数,并且nShiftl为第一偏移参数。
7.根据权利要求1所述的方法,其中确定第一舍入参数和第二舍入参数包括计算
iOffsetl=0,和
iOffset2=1<<(nShift2-1),
其中iOffsetl为第一舍入参数,iOffset2为第二舍入参数,nShift2为第二偏移参数。
8.根据权利要求1所述的方法,其中第一空间方向为水平方向,第二空间方向为垂直方向。
9.根据权利要求1所述的方法,其中第一空间方向为垂直方向,第二空间方向为水平方向。
10.根据权利要求1所述的方法,其中第一空间方向由视频解码标准的规范来固定和预先确定。
11.根据权利要求1所述的方法,其中第一空间方向由编码器确定并由编码器传送给解码器。
12.一种用于在可扩展视频***中从第一层到第二层对图像数据进行上采样的装置,包括处理器,该处理器被配置为执行权利要求1中所述的方法。
13.一种非暂时性计算机可读存储介质,其上已存储有用于执行根据权利要求1所述的方法的计算机可执行指令。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810143517.4A CN108055542B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
CN201810143518.9A CN108055543B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261745050P | 2012-12-21 | 2012-12-21 | |
US61/745,050 | 2012-12-21 | ||
PCT/US2013/073006 WO2014099370A1 (en) | 2012-12-21 | 2013-12-04 | High precision up-sampling in scalable coding of high bit-depth video |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810143518.9A Division CN108055543B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
CN201810143517.4A Division CN108055542B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104871545A CN104871545A (zh) | 2015-08-26 |
CN104871545B true CN104871545B (zh) | 2018-02-23 |
Family
ID=50031497
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810143517.4A Active CN108055542B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
CN201810143518.9A Active CN108055543B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
CN201380066796.4A Active CN104871545B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810143517.4A Active CN108055542B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
CN201810143518.9A Active CN108055543B (zh) | 2012-12-21 | 2013-12-04 | 高位深度视频的可扩展编码中的高精度上采样 |
Country Status (12)
Country | Link |
---|---|
US (6) | US10165288B2 (zh) |
EP (2) | EP2936820B1 (zh) |
JP (2) | JP6034983B2 (zh) |
KR (4) | KR101985647B1 (zh) |
CN (3) | CN108055542B (zh) |
BR (2) | BR122017002044B1 (zh) |
HK (1) | HK1208577A1 (zh) |
IN (1) | IN2015MN01331A (zh) |
MY (2) | MY202235A (zh) |
RU (4) | RU2610589C2 (zh) |
TW (3) | TWI521946B (zh) |
WO (1) | WO2014099370A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9924166B2 (en) * | 2012-08-06 | 2018-03-20 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
JP5926465B2 (ja) * | 2013-01-02 | 2016-05-25 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 向上ダイナミックレンジをもつ超高精細度ビデオ信号のための後方互換な符号化 |
US9497473B2 (en) * | 2013-10-03 | 2016-11-15 | Qualcomm Incorporated | High precision explicit weighted prediction for video coding |
MX358934B (es) * | 2014-06-26 | 2018-09-10 | Panasonic Ip Man Co Ltd | Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos. |
BR112017013624B1 (pt) | 2015-02-17 | 2019-10-29 | Dolby Laboratories Licensing Corp | predição intercamada para sinais com uma faixa dinâmica aprimorada |
US10257524B2 (en) * | 2015-07-01 | 2019-04-09 | Mediatek Inc. | Residual up-sampling apparatus for performing transform block up-sampling and residual down-sampling apparatus for performing transform block down-sampling |
CN107852502B (zh) | 2015-07-28 | 2021-07-20 | 杜比实验室特许公司 | 用于增强视频信号的位深的方法、编码器、解码器和*** |
US11115868B2 (en) | 2017-05-15 | 2021-09-07 | Samsung Electronics Co., Ltd. | Method and apparatus for control resource set configuration and monitoring of downlink control channel in wireless communication system |
US10609372B2 (en) * | 2017-09-29 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Up-conversion to content adaptive perceptual quantization video signals |
US20200322656A1 (en) * | 2019-04-02 | 2020-10-08 | Nbcuniversal Media, Llc | Systems and methods for fast channel changing |
US11375219B2 (en) * | 2019-09-24 | 2022-06-28 | Tencent America LLC | Coding method and system with improved dynamic internal bit depth |
US11082473B1 (en) * | 2020-03-15 | 2021-08-03 | Tfi Digital Media Limited | Method for complexity reduction in video coding by coding parameters reuse |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227895B1 (en) * | 2000-12-12 | 2007-06-05 | Sony Corporation | System and method for generating decoded digital video image data |
US7929610B2 (en) * | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
WO2002089046A1 (en) * | 2001-04-26 | 2002-11-07 | Georgia Tech Research Corporation | Video enhancement using multiple frame techniques |
US7305034B2 (en) | 2002-04-10 | 2007-12-04 | Microsoft Corporation | Rounding control for multi-stage interpolation |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
NO319629B1 (no) * | 2003-11-28 | 2005-09-05 | Tandberg Telecom As | Fremgangsmate for korrigering av interpolerte pikselverdier |
US7379587B2 (en) * | 2004-02-12 | 2008-05-27 | Xerox Corporation | Systems and methods for identifying regions within an image having similar continuity values |
KR100679022B1 (ko) | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
US7961963B2 (en) * | 2005-03-18 | 2011-06-14 | Sharp Laboratories Of America, Inc. | Methods and systems for extended spatial scalability with picture-level adaptation |
US8175168B2 (en) * | 2005-03-18 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for picture up-sampling |
CN101213590B (zh) * | 2005-06-29 | 2011-09-21 | 松下电器产业株式会社 | 可扩展解码装置及丢失数据插值方法 |
US7561478B2 (en) | 2005-06-30 | 2009-07-14 | Seiko Epson Corporation | Integrated circuit device and electronic instrument |
JP2007028393A (ja) * | 2005-07-20 | 2007-02-01 | Matsushita Electric Ind Co Ltd | 双方向予測符号化ピクチャの直接モードブロックの動きベクトルを求める方法 |
KR100718135B1 (ko) * | 2005-08-24 | 2007-05-14 | 삼성전자주식회사 | 멀티 포맷 코덱을 위한 영상 예측 장치 및 방법과 이를이용한 영상 부호화/복호화 장치 및 방법 |
CN101568036A (zh) * | 2005-10-11 | 2009-10-28 | 华为技术有限公司 | 对空间分层编码视频图像的上采样方法及其*** |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US7956930B2 (en) * | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
JP2009522971A (ja) * | 2006-01-10 | 2009-06-11 | ノキア コーポレイション | 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構 |
US8880571B2 (en) * | 2006-05-05 | 2014-11-04 | Microsoft Corporation | High dynamic range data format conversions for digital media |
WO2008007792A1 (en) * | 2006-07-10 | 2008-01-17 | Sharp Kabushiki Kaisha | Methods and systems for combining layers in a multi-layer bitstream |
EP3484154A1 (en) * | 2006-10-25 | 2019-05-15 | GE Video Compression, LLC | Quality scalable coding |
US20080101467A1 (en) * | 2006-10-27 | 2008-05-01 | Radiospire Networks, Inc. | Method and system for secure and efficient wireless transmission of HDCP-encrypted HDMI/DVI signals |
KR20080067922A (ko) * | 2007-01-17 | 2008-07-22 | 삼성전자주식회사 | 영상 축소 기능을 갖는 영상 복호화 방법 및 장치 |
US8107571B2 (en) * | 2007-03-20 | 2012-01-31 | Microsoft Corporation | Parameterized filters and signaling techniques |
WO2009003499A1 (en) * | 2007-06-29 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
DK2279622T3 (en) * | 2008-04-16 | 2015-01-12 | Fraunhofer Ges Forschung | Bit depth scalability |
US9571856B2 (en) * | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
TWI383684B (zh) | 2008-11-18 | 2013-01-21 | Univ Nat Taiwan | 多媒體串流之動態視訊編碼系統與方法 |
JP5688773B2 (ja) * | 2009-02-03 | 2015-03-25 | トムソン ライセンシングThomson Licensing | ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置 |
CN101827264A (zh) * | 2009-03-06 | 2010-09-08 | 刘永 | 分层式自适应的视频帧采样方法 |
US9112618B2 (en) | 2009-07-02 | 2015-08-18 | Qualcomm Incorporated | Coding latency reductions during transmitter quieting |
US9161057B2 (en) * | 2009-07-09 | 2015-10-13 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
TW201119396A (en) | 2009-11-24 | 2011-06-01 | Hon Hai Prec Ind Co Ltd | Multi-standard video decoding system and method |
WO2011084918A1 (en) * | 2010-01-06 | 2011-07-14 | Dolby Laboratories Licensing Corporation | High performance rate control for multi-layered video coding applications |
WO2011127964A2 (en) * | 2010-04-13 | 2011-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction |
US9185422B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Variable localized bit-depth increase for fixed-point transforms in video coding |
US9532059B2 (en) * | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
US20120082243A1 (en) * | 2010-10-05 | 2012-04-05 | General Instrument Corporation | Method and Apparatus for Feature Based Video Coding |
US8880573B2 (en) * | 2010-10-12 | 2014-11-04 | Dolby Laboratories Licensing Corporation | System and method of dynamic precision operations |
US9137539B2 (en) * | 2010-12-22 | 2015-09-15 | Panasonic Corporation | Image coding apparatus, image decoding apparatus, image coding method, and image decoding method |
CN103621081B (zh) * | 2011-06-10 | 2016-12-21 | 寰发股份有限公司 | 可伸缩视频编码方法及装置 |
US9674521B2 (en) * | 2011-06-28 | 2017-06-06 | Samsung Electronics Co., Ltd. | Prediction method and apparatus for chroma component of image using luma component of image |
US9055304B2 (en) * | 2011-07-01 | 2015-06-09 | Qualcomm Incorporated | Reduced resolution pixel interpolation |
US10616581B2 (en) * | 2012-01-19 | 2020-04-07 | Huawei Technologies Co., Ltd. | Modified coding for a transform skipped block for CABAC in HEVC |
US10136144B2 (en) * | 2012-05-21 | 2018-11-20 | Mediatek Singapore Pte. Ltd. | Method and apparatus of inter-layer filtering for scalable video coding |
US9420280B2 (en) * | 2012-06-08 | 2016-08-16 | Qualcomm Incorporated | Adaptive upsampling filters |
CN102740078B (zh) * | 2012-07-12 | 2014-10-22 | 北方工业大学 | 基于hevc标准的自适应空间可伸缩编码 |
RU2015104944A (ru) | 2012-07-16 | 2016-09-10 | Формулатрикс, Инк. | Аппарат, способ и система подачи жидкости |
-
2013
- 2013-11-26 TW TW102143014A patent/TWI521946B/zh active
- 2013-11-26 TW TW106115654A patent/TWI618397B/zh active
- 2013-11-26 TW TW104138553A patent/TWI597968B/zh active
- 2013-12-04 KR KR1020177014064A patent/KR101985647B1/ko active IP Right Grant
- 2013-12-04 CN CN201810143517.4A patent/CN108055542B/zh active Active
- 2013-12-04 CN CN201810143518.9A patent/CN108055543B/zh active Active
- 2013-12-04 BR BR122017002044-7A patent/BR122017002044B1/pt active IP Right Grant
- 2013-12-04 KR KR1020157016476A patent/KR101694139B1/ko active IP Right Grant
- 2013-12-04 CN CN201380066796.4A patent/CN104871545B/zh active Active
- 2013-12-04 KR KR1020197013074A patent/KR102052876B1/ko active IP Right Grant
- 2013-12-04 EP EP13826802.4A patent/EP2936820B1/en active Active
- 2013-12-04 RU RU2015123238A patent/RU2610589C2/ru active
- 2013-12-04 WO PCT/US2013/073006 patent/WO2014099370A1/en active Application Filing
- 2013-12-04 RU RU2017102758A patent/RU2017102758A/ru not_active Application Discontinuation
- 2013-12-04 MY MYPI2019002165A patent/MY202235A/en unknown
- 2013-12-04 US US14/649,198 patent/US10165288B2/en active Active
- 2013-12-04 JP JP2015549434A patent/JP6034983B2/ja active Active
- 2013-12-04 MY MYPI2015701858A patent/MY181150A/en unknown
- 2013-12-04 EP EP20176417.2A patent/EP3734975A1/en active Pending
- 2013-12-04 BR BR112015014277-0A patent/BR112015014277B1/pt active IP Right Grant
- 2013-12-04 IN IN1331MUN2015 patent/IN2015MN01331A/en unknown
- 2013-12-04 KR KR1020167024774A patent/KR20160110546A/ko active Application Filing
-
2015
- 2015-09-17 HK HK15109134.1A patent/HK1208577A1/zh unknown
-
2016
- 2016-09-07 JP JP2016174431A patent/JP6272419B2/ja active Active
-
2018
- 2018-10-23 US US16/168,644 patent/US10516889B2/en active Active
-
2019
- 2019-09-24 US US16/580,820 patent/US10958922B2/en active Active
- 2019-11-08 RU RU2019135853A patent/RU2718159C1/ru active
-
2020
- 2020-03-11 RU RU2020110114A patent/RU2728738C1/ru active
-
2021
- 2021-03-19 US US17/206,843 patent/US11284095B2/en active Active
-
2022
- 2022-02-16 US US17/673,646 patent/US11570455B2/en active Active
-
2023
- 2023-01-23 US US18/158,417 patent/US11792416B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104871545B (zh) | 高位深度视频的可扩展编码中的高精度上采样 | |
CN104885457B (zh) | 用于视频信号的向后兼容编码和解码的方法和装置 | |
EP2524505B1 (en) | Edge enhancement for temporal scaling with metadata | |
US9036715B2 (en) | Video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1208577 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1208577 Country of ref document: HK |