CN115917611B - 使用参考区域的视频编解码的方法和*** - Google Patents

使用参考区域的视频编解码的方法和*** Download PDF

Info

Publication number
CN115917611B
CN115917611B CN202180028644.XA CN202180028644A CN115917611B CN 115917611 B CN115917611 B CN 115917611B CN 202180028644 A CN202180028644 A CN 202180028644A CN 115917611 B CN115917611 B CN 115917611B
Authority
CN
China
Prior art keywords
picture
region
decoder
sub
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180028644.XA
Other languages
English (en)
Other versions
CN115917611A (zh
Inventor
H.卡尔瓦
B.富尔赫特
V.阿齐克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OP Solutions LLC
Original Assignee
OP Solutions LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OP Solutions LLC filed Critical OP Solutions LLC
Publication of CN115917611A publication Critical patent/CN115917611A/zh
Application granted granted Critical
Publication of CN115917611B publication Critical patent/CN115917611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

解码器包括电路,该电路被配置为接收比特流,识别第一帧,定位第一帧内的第一独立参考区域,从第一帧提取第一独立参考区域,使用第一独立参考区域作为第二帧的参考来解码第二帧。

Description

使用参考区域的视频编解码的方法和***
相关申请的交叉引用
本申请要求于2021年4月14日提交的标题为“METHODS AND SYSTEMS OF VIDEOCODING USING REFERENCE REGIONS”的美国非临时申请序列号17/229,957的优先权权益,其全部内容通过引用并入本文,并且要求于2020年4月14日提交的标题为“METHODS ANDSYSTEMS OF VIDEO CODING USING REFERENCE REGIONS”的美国临时专利申请序列号63/009,978的优先权权益,其全部内容通过引用并入本文。
技术领域
本发明一般涉及视频压缩领域。具体地,本发明涉及使用参考区域的视频编解码的方法和***。
背景技术
视频编解码器可以包括压缩或解压缩数字视频的电子电路或软件。它可以将未压缩的视频转换为压缩格式,反之亦然。在视频压缩的上下文中,压缩视频(和/或执行其某一功能)的设备通常可称为编码器,且解压缩视频(和/或执行其某一功能)的设备可称为解码器。
压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的,因为压缩视频缺少原始视频中存在的一些信息。其结果可能包括解压缩视频可能具有比原始未压缩视频更低的质量,因为没有足够的信息来准确地重建原始视频。
视频质量、用于表示视频的数据量(例如,由比特率确定)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑的容易性、随机访问、端到端延迟(例如,延时)等之间可能存在复杂的关系。
运动补偿可以包括在给定参考帧(诸如先前帧和/或未来帧)的情况下,通过考虑视频中的相机和/或对象的运动来预测视频帧或其一部分的方法。它可以在用于视频压缩的视频数据的编码和解码中使用,例如在使用运动图片专家组(MPEG)的高级视频编解码(AVC)标准(也称为H.264)的编码和解码中使用。运动补偿可以根据参考图片到当前图片的变换来描述图片。参考图片在与当前图片相比时在时间上可以是先前的,在与当前图片相比时可以是未来的。当可以从先前传输和/或存储的图像准确地合成图像时,可以提高压缩效率。
发明内容
在一个方面中,解码器包含电路,所述电路被配置为:接收经编解码的视频比特流,所述经编解码的视频流包括具有第一尺寸的经编解码的参考图片和经编解码的当前图片;解码所述参考图片;从所述比特流识别所述参考图片的子区域,所述子区域具有第二尺寸,其中所述第二尺寸不同于所述第一尺寸;将所述子区域重新缩放到第三尺寸以形成重新缩放的参考图片,其中所述第三尺寸等于所述第一尺寸;以及使用所述重新缩放的参考图片解码所述当前图片。
在另一方面中,解码器包括电路,所述电路被配置为:接收经编解码的视频比特流,所述经编解码的视频流包括经编解码的第一图片和经编解码的当前图片;解码所述参考图片;从所述比特流识别所述参考图片的第一子区域;变换所述第一子区域以形成第二参考图片;以使用所述第二参考图片解码所述当前图片。
在另一方面中,一种使用参考区域的视频编解码的方法包括:由解码器接收经编解码的视频比特流,所述经编解码的视频比特流包括具有第一尺寸的经编解码的参考图片和经编解码的当前图片;由所述解码器解码所述参考图片;由所述解码器且从所述比特流识别所述参考图片的子区域,所述子区域具有第二尺寸,其中所述第二尺寸不同于所述第一尺寸;由所述解码器将所述子区域重新缩放到第三尺寸以形成重新缩放的参考图片,其中所述第三尺寸等于所述第一尺寸;以及由所述解码器使用重新缩放的参考图片解码所述当前图片。
在另一方面中,解码器包括电路,所述电路被配置为:接收比特流,识别第一帧,定位所述第一帧内的第一独立参考区域,从所述第一帧提取所述第一独立参考区域,以及使用所述第一独立参考区域作为第二帧的参考来解码所述第二帧。
在另一方面中,一种使用参考区域的视频编解码方法包括:接收比特流,识别第一帧,定位所述第一帧内的第一独立参考区域,从所述第一帧提取所述第一独立参考区域,以及使用所述第一独立参考区域作为第二帧的参考来解码所述第二帧。
在结合附图审阅本发明的特定非限制性实施例的以下描述时,本发明的非限制性实施例的这些和其他方面和特征对于本领域技术人员将变得显而易见。
附图说明
出于说明本发明的目的,附图示出了本发明的一个或多个实施例的各方面。然而,应当理解,本发明不限于图中所示的精确布置和手段,其中:
图1是示出使用参考帧进行解码的实施例的框图;
图2是具有独立参考区域的参考帧的示例性实施例的图示;
图3是独立参考区域和预测帧的示例性实施例的图示;
图4是独立参考区域和预测帧的示例性实施例的图示;
图5是独立参考区域和预测帧的示例性实施例的图示;
图6是LTR缓冲器的示例性实施例的图示;
图7是示出根据当前主题的一些实施方式的对视频进行解码的示例过程的过程流程图
图8是示出根据当前主题的一些实施方式的能够解码比特流的示例解码器的***框图;
图9是示出根据当前主题的一些实施方式的对视频进行编码的示例过程的过程流程图;
图10是示出根据当前主题的一些实施方式的示例视频编码器的***框图;以及
图11是可用于实现本文公开的任何一种或多种方法及其任何一个或多个部分的计算***的框图。
附图不一定按比例绘制,并且可以通过虚线、图解表示和局部视图来示出。在某些情况下,可能已经省略了对于理解实施例不是必需的或使得其他细节难以感知的细节。
具体实施方式
在传统的视频编解码***中,视频序列被划分为图片组(GOP)。在时间和空间预测的意义上,每个GOP是自包含的。通常,组中的第一图片被用作后续图片的参考图片。图片之间的时间和空间关系允许使用预测编解码进行非常有效的压缩。
现在参考图1,每个GOP可以包括用作参考的参考帧104或帧内(I帧),以及可用于从参考预测其他帧108的信息;可用于预测的信息可以包括但不限于全局和/或局部运动矢量和/或变换以及残余,如进一步描述的。参考帧104或I帧的传输可以表示在GOP的传输中使用的带宽的实质部分。
在一些实施例中,可以使用长期参考(LTR)帧来减少传输带宽和/或提高解码和/或编码效率。如本公开中所使用的,LTR帧是在一个或多个图片组(GOP)中用于创建预测帧和/或图片的帧和/或图片,但是其本身可以不显示在视频图片中。在视频比特流中被标记为LTR帧的帧可用作参考,直到其被比特流信令明确移除。LTR帧可以提高在延长时段内具有静态背景(例如,视频会议或停车场监视的视频中的背景)的场景中的预测和压缩效率。
诸如H.264和H.265的当前标准允许通过发信号通知新解码的帧被保存并使其可用作参考帧104来更新类似的帧,诸如LTR帧。这样的更新由编码器发信号通知,并且更新整个帧。但是更新整个帧可能是昂贵的,特别是在静态背景的仅一小部分已改变的情况下。
现在参考图2,本文公开的实施例通过使用参考帧104的至少一个参考区域作为当前帧的参考来执行预测,提高了上述预测过程的效率和灵活性,其中参考区域或“子区域”具有可以包括比参考帧104的面积(例如以像素定义)小的面积的尺寸。与从整个参考帧104生成预测帧的当前编解码标准相反,上述方法可以使解码器能够更有效地并且以更大的变化来执行解码操作。在GOP内的任何位置处,至少一个子区域204可以用于任何数量的帧,从而消除了对I帧重新编解码和/或重传的要求。
继续参考图2,示出了具有表示视频视图的裁剪部分的子区域204的参考帧104的示例性实施例。子区域204可以例如由如下面进一步详细描述的解码器在参考帧104内识别。子区域204可以以类似于使用裁剪参考帧104的方式用作参考区域,而不需要对裁剪参考帧104进行单独传输。
作为非限制性和说明性示例,并且仍然参考图2,参考帧104可以具有由第一宽度D1和第一高度D2定义的第一分辨率,其中D1和D2可以是但不限于诸如像素和/或像素分数的测量单位的数量;参考帧104的面积可以被定义为测量单元D1和D2的矩形阵列的面积,其被定义为分辨率D1×D2。子区域204可以具有宽度W和高度H,其定义了面积或分辨率W×H。子区域204可以定义参考图片内具有相同或更小维度的子图片204,其中“更小维度”表示W和H中的至少一个小于参考帧104的相应维度;换句话说,W小于D1或H小于D2。结果,分辨率或面积W×H可以小于分辨率或面积D1×D2。子区域204可以由四元组(X,Y,W,H)定义,其中X,Y是子区域204的左上角相对于参考图片的左上角的坐标,并且W,H是以测量单位表示的子区域204的宽度和高度。应当注意,可以选择替代四元组来定义子区域204,例如但不限于子区域204的替代角的坐标、一组两个对角相对的顶点和/或到任何定义点的矢量。定义子区域204的数据在GOP上可以是静态的;例如,四元组(X,Y,W,H)或等效物在GOP上可以是静态的。可替代地或附加地,定义子区域204的数据可以是动态的。例如但不限于,子区域204在GOP的后续图片之间改变,以跟随视频图片中感兴趣的对象和/或人的移动;这可以与通常在视频编解码中使用的运动矢量和/或变换类似地进行编解码。针对图片组中的每个图片,可以提供定义子区域204的数据;这可以通过但不限于定义子区域204的数据集(例如,如上所述,针对图片组中的每个图片)、定义一个图片中的子区域204的数据集、以及描述子区域204从一个图片到先前或后续图片的移动的其他数据等来实现。定义子区域204的数据可以在序列参数集(SPS)中指定和/或发信号通知;定义子区域204的更新数据可以在用于GOP的一个或多个所选图片和/或帧的图片参数集(PPS)中提供。
继续参考图2,解码器可能正在接收、即将接收或已经接收分辨率为D1×D2的参考帧104,并且可以使用如上所述的四元组来选择子区域204。在一些实施方式中,编码器可使用比特流中的额外比特将子区域204的几何特性发信号通知给解码器。信令比特可以指示缓冲器(诸如下面进一步详细描述的LTR缓冲器和/或参考缓冲器)内的参考帧104索引和/或标识GOP的索引,标识解码器处的图片索引,以及子区域204四元组。然后,解码器可以提取子区域204作为独立参考区域。可以从提取的独立参考区域预测后续帧。如上所述,在定义子区域204的数据是动态的情况下,可以使用这样的数据和参考区域来进一步预测后续帧;有利地,单个参考区域可以用于相对于图片移动的子区域204,而不需要重新传输参考区域。子区域204、参考帧104等的尺寸和/或位置可替代地或附加地可以使用参数来表征,该参数可在比特流中发信号通知,例如高度偏移、高度、长度偏移和/或长度。
仍然参考图2,可以使用至少一垂直偏移和至少一水平偏移来发信号通知子区域204;例如但不限于,如上所述的四元组可以指定从帧的顶部边缘的垂直偏移、从帧的底部边缘的垂直偏移、从帧的左边缘的水平偏移以及从帧的右边缘的水平偏移,其中可以在重新缩放之前或之后以帧的像素来测量偏移,如下面进一步详细描述的。作为非限制性示例,至少一垂直偏移可以包括sps_conf_win_top_offset和sps_conf_win_bottom_offset,其可以在SPS中发信号通知,并且可以分别识别从帧的顶部边缘的垂直偏移和从帧的底部边缘的垂直偏移。作为另一个非限制性示例,至少一水平偏移可以包括sps_conf_win_left_offset和sps_conf_win_right_offset,其可以在SPS中发信号通知,并且可以分别识别从帧的左边缘的水平偏移和从帧的右边缘的水平偏移。
继续参考图2,子区域204可以替代地或附加地通过要包括在子区域204中和/或从子区域204中排除的一个或多个图块或切片的规范来识别。可以在图片报头中发信号通知帧内的图块数量及位置。在一实施例中,信令可以是显式的;可替代地或附加地,PPS可以发信号通知图块行、列、行高度和/或列宽度,其中的任一者或全部可由解码器组合和/或利用以确定图块计数和/或数量。例如但不限于,被表示为pps_num_exp_tile_columns_minus1的PPS参数(其中添加1)可以指定明确提供的图块列宽度的数量。作为另一个非限制性示例,参数pps_tile_column_width_minus1[i](其中添加1)可以指定第i图块列的宽度,例如以0到pps_num_exp_tile_columns_minus1(包括端点)范围内的i的编解码树块(CTB)为单位。参数pps_tile_row_height_minus1[i]加1(其中添加1)可以指定第i个图块行的高度,例如以i的CTB为单位。发信号通知的参数替代地或附加地可以指定一个或多个图块内的切片的数量和/或维度。例如,被表示为pps_num_exp_slices_in_tile[i]的参数可以指定含有第i个切片的图块中的切片的明确提供的切片高度的数量。被表示为pps_slice_width_in_tiles_minus1[i]的参数(其中添加1)可以指定以图块列为单位的第i个矩形切片的宽度。例如,当pps_num_exp_slices_in_tiles[i]等于0时,被表示为pps_slice_height_in_tiles_minus1[i]的参数(其中添加1)可以指定以图块行为单位的第i个矩形切片的高度。本领域技术人员在审阅本公开的全部内容时将了解可以在比特流和/或报头参数中和/或从其中用信号通知和/或确定图块和/或切片参数的各种替代或附加方式,无论是隐式地还是显式地。
仍然参考图2,在子区域204的变换包括重新缩放的子区域204的情况下,可以通过将子区域204的宽度和高度乘以任意重新缩放常数(Rc)(也称为缩放因子和/或常数,其可以替代地或附加地用诸如RefPicScale的变量名称来指代)来获得较小和/或较大子区域204的宽度和高度。在较小的子区域204的情况下,Rc可以具有在0和1之间的值。在较大帧的情况下,Rc可以具有大于1的值;例如,Rc可以具有在1和4之间的值。其他值也是可能的。一个分辨率维度的重新缩放常数可以与另一分辨率维度不同;例如,可以使用重新缩放常数Rch来对高度进行重新缩放,而可以使用另一个重新缩放常数Rcw来对宽度进行重新缩放。
仍然参考图2,重新缩放可以被实现为模式。在一些实施方式中,编码器可以例如根据诸如pps_pic_width_in_luma_samples参数、pps_scaling_win_right_offset参数和/或pps_scaling_win_left_offset参数的图片参数向解码器发信号通知使用哪一重新缩放常数。可以在对应于包含当前图片的GOP的序列参数集(SPS)中和/或在对应于当前图片的图片参数集(PPS)中执行信令。例如而非限制,编码器可以使用诸如pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples、pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、pps_scaling_win_bottom_offset和/或sps_num_subpics_minus1等的字段来发信号通知重新缩放的参数。诸如pps_scaling_window_explicit_signalling_flag的参数等于1可以指定缩放窗口偏移参数存在于PPS中;pps_scaling_window_explicit_signalling_flag等于0可以指示缩放窗口偏移参数不存在于PPS中。当sps_ref_pic_resampling_enabled_flag等于0时,pps_scaling_window_explicit_signalling_flag的值可以等于0。pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset和pps_scaling_win_bottom_offset可以指定应用于图片尺寸以进行缩放比率计算的偏移。当不存在时,可以推断pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset及pps_scaling_win_bottom_offset的值分别等于pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset及pps_conf_win_bottom_offset。
进一步参考图2,可以分别使用变量CurrPicScalWinWidthL和CurrPicScalWinHeightL(并非作为限制)来表示如上所述的W和H参数;可以使用发信号通知的参数和变量之间的一个或多个数学关系从如上所述的发信号通知的参数导出这些变量。例如而非限制,CurrPicScalWinWidthL可以根据以下等式导出:
CurrPicScalWinWidthL=pps_pic_width_in_luma_samples-SubWidthC*(pps_scaling_win_right_offset+pps_scaling_win_left_offset)
作为另一非限制性示例,可以根据以下等式导出CurrPicScalWinHeightL:
CurrPicScalWinWidthL=pps_pic_width_in_luma_samples-SubWidthC*(pps_scaling_win_right_offset+pps_scaling_win_left_offset)
可以在编码帧和/或子区域204的块级别上执行重新缩放操作。例如,可以首先重新缩放要用作参考帧104的子区域204,并且随后可以执行预测。可以对经缩放的参考帧104(具有经缩放的分辨率)而非原始参考帧104执行块预测过程。重新缩放参考帧104和/或子区域204可以包括根据由如上所述的编码器发信号通知的任何参数进行重新缩放;例如而非限制,在例如经由对与参考帧104相关联的索引值的参考等发信号通知将与当前图片一起使用的参考帧104的情况下,可以在预测之前根据上文所描述的重新缩放的任何方法重新缩放发信号通知的参考帧104。重新缩放的参考帧104可以存储在存储器和/或缓冲器中,其可以包括但不限于通过索引识别包含在其中的帧的缓冲器,根据该索引可以执行帧检索;缓冲器可以包括解码图片缓冲器(DCB)和/或由解码器实现的一个或多个附加缓冲器。预测过程可以包括(例如)包含运动补偿的图片间预测。
仍然参照图2,基于块的重新缩放的一些实施方式可实现对每一个块应用最优滤波器而非对整个帧应用相同滤波器的灵活性。在一些实施方式中,跳过重新缩放模式可以是可能的,使得一些块(例如基于像素的均匀性和比特率成本)可以处于跳过重新缩放模式(使得重新缩放不会改变比特率)。可以在比特流中发信号通知跳过重新缩放模式;例如而非限制,可以在PPS参数中发信号通知跳过重新缩放模式。可替代地或附加地,解码器可以基于由解码器设置和/或在比特流中发信号通知的一或多个参数而确定跳过重新缩放模式是激活的。
仍然参考图2,重新缩放可以包括上采样或以其他方式使用空间滤波器。在重新缩放中使用的空间滤波器可以包括但不限于应用双三次插值的双三次空间滤波器、应用双线性解释的双线性空间滤波器、使用Lanczos滤波和/或Lanczos重采样的Lanczos滤波器等等,Lanczos滤波和/或Lanczos重采样使用sinc滤波器、sinc函数插值和/或信号重建技术的组合;本领域技术人员在审阅本公开的全部内容后将了解与本公开一致的可以用于插值的各种滤波器。作为非限制性示例,插值滤波器可以包括上文所描述的任何滤波器、低通滤波器,其可以但不限于通过上取样过程来使用,借此可将缩放之前的块和/或帧的像素之间的像素初始化为零,并且然后用低通滤波器的输出来填充。可替代地或附加地,可以使用任何亮度样本插值滤波过程。亮度样本解释可以包含计算半样本插值滤波器索引处的插值值,其落在未经缩放的样本阵列的两个连续样本值之间。可以通过从查找表检索系数和/或权重来执行插值值的计算,但不限于此;查找表的选择可以作为编解码单元的运动模型和/或缩放比率量的函数来执行,例如,如使用如上所述的缩放常数确定的。计算可以包括但不限于执行相邻像素值的加权和,其中从查找表检索权重。计算值可以替代地或附加地被移位;例如而非限制,值可以移位Min(4,BitDepth-8)、6、Max(2,14-BitDepth)等。所属领域的技术人员在审阅本发明的全部内容后将了解可用于插值滤波器的各种替代或额外的实施方式。
现在参考图3,预测图片108可以具有与提取的独立参考区域304相同或相似的分辨率和/或尺寸。该方法可以用于降低视频分辨率,从而降低比特率;聚焦于观看者的感兴趣区域;和/或聚焦于由自动或用户促进的检测识别为包含与一些目的和/或任务更相关的视觉数据的区域;可替代地或附加地,该方法可以允许在网络速度受损的情况下继续显示视频。这种方法带来的优点可以包括节省用于视频传输的带宽、节省用于视频编码的资源和/或节省解码和播放视频所需的时间。结果可以是优异的用户体验以及实现所公开的实施例的设备和/或网络中的资源的更有效使用。
仍然参考图3,可以随后将预测图片108重新缩放到较小或较大图片。可以通过将W和H乘以任意重新缩放常数(Rc)(也称为缩放因子)来获得较小和较大图片的宽度和高度。在较小图片的情况下,作为非限制性示例,Rc可具有在0与1之间的值。在较大帧的情况下,并且作为另一非限制性示例,Rc可以具有在1和4之间的值。其他值也是可能的。重新缩放操作可以作为终端用户的选项,和/或在向终端用户显示视频的计算设备上操作的另一程序和/或模块,其在一个示例中可以重新缩放图片以适合显示分辨率。
现在参考图4,解码器可以重新缩放独立参考区域304,例如使用如上所述的重新缩放常数来产生重新缩放区域404,以匹配原始视频图片的全分辨率和/或目标分辨率;例如,W和H可以各自乘以Rc,Rc被选择为将W和H缩放到与如上所述的D1和D2相同的尺寸,诸如而非限制,Rc=D1/W。可以执行预测和其他操作以使用重新缩放的子区域获得预测图片。
现在参考图5,独立参考区域204可以用于预测图片的一部分而不是整个图片。例如而非限制,诸如360视频图片和/或在虚拟现实中使用的视频图片的图片可以延伸超出用户的视野;在这种情况下,视频图片的给定帧可以用与预测和/或检测到的用户的当前视野相对应的独立参考区域204来渲染。在其他实施例中,独立参考区域可以对应于第一帧的重要、高细节和/或高运动部分。可以使用任何其他合适的预测和/或解码方法来生成预测的帧的剩余部分;像素可以不被编码,可以以默认颜色(例如但不限于黑色)被编码,和/或可以被给予相邻像素的色度和/或亮度值,例如将色度和亮度值从独立参考区域的边缘扩展到填充屏幕。可以替代地或附加地从参考帧、残差、运动矢量等的其他部分预测部分。
仍然参考图5,解码器可以通过变换第一独立参考区域204(这里出于示例性目的表示为“1”)来解码第二帧的全部或部分。变换第一独立参考区域204可以包括缩放第一独立参考区域204,例如如上所述。可替代地或附加地,变换第一独立参考区域204可以包括相对于视频图片中的位置移动第一独立参考区域204;视频图片中的位置可以包括视频图片中的边缘和/或任何坐标。作为非限制性示例,并且如图5中出于示例性目的所示,第一独立参考区域204可以例如使用诸如仿射变换的线性变换,从视频图片坐标系中的原始位置和/或相对于边缘和/或像素计数移位到新位置,其中本公开中使用的“仿射运动变换”是诸如描述在视频图片和/或图片中表示的一组像素或点的均匀位移的矩阵和/或矢量的变换,诸如示出对象在视频中的视图上移动而在运动期间不改变表观形状的一组像素。可以与本公开一致地使用任何变换,包括可使用矩阵或其他数学描述符描述的任何变换,以移动或以其他方式变换第一独立参考区域。例如而非限制,变换第一独立参考区域可以包括相对于视频图片中的位置旋转第一独立参考区域、翻转第一独立参考区域等。
仍然参考图5,解码可以包括使用第二独立参考区域204,这里出于示例性目的表示为“2”。在一实施例中,解码器可以定位第一帧中的第二独立参考区域204,这可以以上面针对第一独立参考区域204描述的任何方式执行。可替代地或附加地,第二独立参考区域204可以从另一参考帧中提取和/或从诸如参考缓冲器和/或LTR缓冲器的缓冲器中检索,如下面进一步详细描述的。可以使用如上面针对第一独立参考区域描述的任何方法和/或方法步骤来执行从第二独立参考区域204的解码。可以以各种方式使用第一独立参考区域204和第二独立参考区域204的组合;例如,第一独立参考区域204可以向用户描绘尺寸超出用户视野的图片的第一视野,而第二独立参考区域204可以描绘可以是连续的另一视野。附加的独立参考区域204也可以用于提供解码的帧的其他部分;可以提取和/或检索多个独立参考区域以对图片进行解码,并且多个独立参考区域可以是连续的、通过使用上述任何方法预测的像素连接、或以其他方式组合。多个独立参考区域204可以替代地或附加地被顺序地用于帧序列。
现在参考图6,一个或多个独立参考区域204可以存储在诸如参考缓冲器和/或LTR缓冲器604的缓冲器中。LTR缓冲器604可以包括多个帧。在一实施例中,LTR缓冲器604可以包含多个帧和/或独立参考区域204;多个帧和/或独立参考区域中的每一个可以具有允许检索的对应索引和/或用于检索的信令,例如,如下面进一步详细描述的。参考缓冲器和/或LTR缓冲器604可以周期性地更新和/或修改,例如通过添加和/或移除帧和/或独立参考区域。
仍然参考图6,独立参考区域204和/或参考帧104的使用可以例如由编码器在比特流中发信号通知。例如而非限制,独立参考区域的使用、图片中独立参考区域的存在可由编码器在视频序列的报头中(例如在序列参数集中等)发信号通知。单个标志可以用于指示独立区域的存在;不存在标志可以被解释为缺少任何独立区域。还可以在序列报头中发信号通知独立区域的总数量。独立参考区域的几何特性、独立参考区域的标识符(例如,如上所述用于从缓冲器检索)也可以在序列报头中发信号通知。可替代地或附加地,可以在图片报头中(例如在图片参数集中)提供一个或多个信号。在一实施例中,图片报头中的信令可以扩展解码器的灵活性,从而允许在图片级别上进行决策。区域ID的列表可以包括以规定顺序表示区域ID的连续数字序列。解码器可以使用发信号通知的列表来重新定位及重新组合独立区域和从独立区域预测的图片区域。
现在参考图7,示出了使用参考区域的视频编解码方法700的示例性实施例。在步骤705处,解码器接收比特流,例如,如下面进一步详细描述的。比特流可以包括经编解码的视频比特流。比特流可以包括至少一个经编解码的参考图片和/或LTR帧,其可以替代地被称为“参考图片”和/或“LTR图片”,以及至少一个经编解码的当前图片。经编解码的当前图片可以具有第一尺寸,其可以包括如上文所描述的任何尺寸,其包括面积。在步骤710处,解码器解码参考图片和/或LTR帧;这可以根据如本公开中所描述的用于解码的任何过程来执行。解码器可以识别比特流中的参考帧和/或LTR帧。可替代地,可以不解码参考帧和/或LTR帧,并且可以仅解码独立参考区域。
在步骤715处,并且仍然参考图7,解码器定位参考帧和/或LTR帧内的第一子区域;这可如上文参考图1到图6所描述的实现且不限于此。例如而非限制,定位第一子区域可以包括:在比特流中识别参考帧和/或LTR帧内的独立参考区域的几何表征;比特流可以如上所述的由编码器发信号通知。作为非限制性示例,第一子区域可以是矩形的,并且几何表征可以包括表征第一子区域的顶点的数字的四元组。作为另一非限制性示例,几何表征可以包括和/或子区域204可以由高度偏移、高度、长度偏移和长度来表征。第一子区域具有第二尺寸;第二尺寸可以不同于第一尺寸,或者换句话说,可以大于或小于第一尺寸。识别第一子区域可以包括在所述比特流中接收存在所述第一子区域的指示。在一实施例中,通过发信号通知图片内存在零个区域或定义与原始图片具有相同尺寸的一个区域,仍可支持使用参考帧的传统预测。可以通过允许指定一个或多个区域来提供灵活性,该一个或多个区域被提取并且因此被认为是用于未来预测的独立参考图片。
继续参考图7,在步骤720处,解码器变换第一子区域204。变换可以产生第二和/或重新缩放的参考图片和/或其一部分。变换第一子区域可以包括对本公开中描述的任何子区域的任何变换和/或修改。变换第一子区域可以包括但不限于平移第一子区域。作为另一示例,解码器可以被配置为通过应用仿射变换来变换第一子区域,该仿射变换可以包括如上所述的任何仿射变换。作为附加的非限制性示例,解码器可以将第一子区重新缩放到第三尺寸,以形成重新缩放的参考图片;第三尺寸可以等于第一尺寸。换句话说,解码器可以重新缩放子区域以匹配当前帧的当前和/或发信号通知的尺寸。可替代地或附加地,第一子区域可以保持在第一子区域的当前尺寸;解码器可以不变换第一子区域。解码器可以从参考帧和/或LTR帧中提取第一子区域;这可以如上面参考图1至图6所描述的那样执行且不限于此。在步骤725处,解码器使用第一子区域作为当前帧的参考来解码当前帧;这可以如上面参考图1至图6所描述的那样实现且不限于此。例如,解码当前帧可以包括解码具有与第一子区域相同尺寸的当前帧。解码第二帧可以包括变换第一子区域。变换第一子区域可以包括缩放第一子区域、翻转第一子区域、相对于视频图片中的位置移动第一子区域,和/或相对于视频图片中的位置旋转第一子区域。
仍然参考图7,解码器可以将参考帧和/或LTR帧存储在缓冲器中;缓冲器可以包括长期参考缓冲器和/或参考图片缓冲器。解码器还可以被配置为在参考帧和/或LTR帧中定位第二子区域。解码器可以使用第一子区域和/或第二子区域来解码第二当前帧。解码器可以将第二独立参考区域存储在缓冲器中。解码器可以使用第一子区域和/或第二子区域和/或参考帧来解码第二当前帧,参考帧可以从缓冲器检索、从另一帧提取等。
图8是示出能够解码比特流的示例解码器800的***框图,包括通过使用由邻近块利用的全局运动矢量候选者构造运动矢量候选者列表。解码器800可以包括熵解码器处理器804、逆量化和逆变换处理器808、去块滤波器812、帧缓冲器816、运动补偿处理器820和/或帧内预测处理器824。
在操作中,并且仍然参考图8,比特流828可以由解码器800接收并输入到熵解码器处理器804,熵解码器处理器804可以将比特流的部分熵解码为量化系数。量化系数可以被提供给逆量化和逆变换处理器808,逆量化和逆变换处理器808可以执行逆量化和逆变换以创建残差信号,残差信号可以根据处理模式被添加到运动补偿处理器820或帧内预测处理器824的输出。运动补偿处理器820和帧内预测处理器824的输出可以包括基于先前解码的块的块预测。预测和残差的总和可以由去块滤波器812处理并存储在帧缓冲器816中。
在实施例中,并且仍然参考图8,解码器800可以包括电路,该电路被配置为以任何顺序并且以任何重复程度实现如上所述的任何实施例中的如上所述的任何操作。例如,解码器800可以被配置为重复地执行单个步骤或序列,直到实现期望的或命令的结果;可以迭代地和/或递归地执行步骤或步骤序列的重复,其使用先前重复的输出作为后续重复的输入,聚合重复的输入和/或输出以产生聚合结果,减少或递减一个或多个变量(诸如全局变量),和/或将较大的处理任务划分成一组迭代寻址的较小处理任务。解码器可以并行地执行如本公开中描述的任何步骤或步骤序列,诸如使用两个或更多个并行线程、处理器核等同时和/或基本上同时执行步骤两次或更多次;可以根据适合于在迭代之间划分任务的任何协议来执行并行线程和/或进程之间的任务划分。本领域技术人员在审阅本公开的全部内容时将了解可以使用迭代、递归和/或并行处理来细分、共享或以其他方式处理步骤、步骤序列、处理任务和/或数据的各种方式。
继续参考图8,解码器800和/或其电路可以被设计和/或被配置为以任何顺序并且以任何重复程度执行本公开中所描述的任何实施例中的任何方法、方法步骤或方法步骤序列。例如,解码器800和/或其电路可以被配置为重复地执行单个步骤或序列,直到实现期望的或命令的结果;可以迭代地和/或递归地执行步骤或步骤序列的重复,其使用先前重复的输出作为后续重复的输入,聚合重复的输入和/或输出以产生聚合结果,减少或递减一个或多个变量(诸如全局变量),和/或将较大的处理任务划分成一组迭代寻址的较小处理任务。解码器800和/或其电路可并行地执行如本公开中所描述的任何步骤或步骤序列,例如使用两个或两个以上并行线程、处理器核心等同时和/或基本上同时执行步骤两次或更多次;可以根据适合于在迭代之间划分任务的任何协议来执行并行线程和/或进程之间的任务划分。本领域技术人员在审阅本公开的全部内容后将了解可以使用迭代、递归和/或并行处理来细分、共享或以其他方式处理步骤、步骤序列、处理任务和/或数据的各种方式。
图9是示出利用自适应裁剪对视频进行编码的示例过程900的过程流程图,其可以实现视频编码器/解码器的附加的灵活性,从而允许在各种用例下节省比特率。在步骤905处,视频帧可以经历初始块分区,例如,使用可以包括将图片帧分割成CTU和CU的树结构宏块分割方案。
在步骤910处,并且仍然参考图9,可以执行第一参考区域的识别,包括选择帧或其部分的子区域。可以通过自动或专家输入的方式来选择区域。作为非限制性示例,可以通过检测某些对象的计算机视觉算法来实现自动选择;对象检测可以包括诸如对象分类等的进一步处理。可以使用人工干预来实现专家输入选择,但不限于此,例如选择视频中感兴趣的人和/或对象的特写,例如监视视频中的人。另一种可能的用例可以是选择对比特率降低贡献最大的最大显著区域。自适应裁剪还可以包括选择子区域的几何表征;例如而非限制,子区域的几何表征的选择可以包括选择如上所述的四元组,例如但不限于(X,Y,W,H)。子区域的几何表征的选择可以包括更新信息和/或指示定义子区域的数据从一个帧到另一个帧的变化的信息,如上面关于定义子区域的动态数据所描述的。
仍然参考图9,在步骤915处,可以对块进行编码并将其包括在比特流中。例如,编码可以包括利用帧间预测和帧内预测模式。编码可以包括将比特添加到表征(X,Y,W,H)、标识自适应裁剪模式等的比特流,例如如上所述。编码可以包括编码更新信息和/或指示定义子区域的数据从一个帧到另一个帧的变化的信息,如上面关于定义子区域的动态数据所描述的。
图10是示出能够进行自适应裁剪的示例视频编码器1000的***框图,其可以实现视频编码器/解码器的附加的灵活性,从而允许在各种用例下节省比特率。示例视频编码器1000接收输入视频1005,输入视频1005可以根据诸如树结构宏块分割方案(例如,四叉树加二叉树)的处理方案被初始分区或划分。树结构宏块分割方案的示例可以包括将图片帧分割成被称为编解码树单元(CTU)的较大块元素。在一些实施方式中,每一个CTU可以被一次或多次地进一步分割成被称作编解码单元(CU)的多个子块。该分割的最终结果可以包括可以被称为预测单元(PU)的一组子块。也可以利用变换单元(TU)。
仍然参考图10,示例视频编码器1000包括帧内预测处理器1015、能够支持自适应裁剪的运动估计/补偿处理器1020(也称为帧间预测处理器)、变换/量化处理器1025、逆量化/逆变换处理器1030、环内滤波器1035、解码图片缓冲器1040和熵编解码处理器1045。比特流参数可以被输入到熵编解码处理器1045以包括在输出比特流1050中。
在操作中,并且继续参考图10,对于输入视频1005的帧的每个块,可以确定是经由图片内预测还是使用运动估计/补偿来处理块。可以将块提供给帧内预测处理器1010或运动估计/补偿处理器1020。如果要经由帧内预测来处理块,则帧内预测处理器1010可以执行处理以输出预测符。如果要经由运动估计/补偿来处理块,则运动估计/补偿处理器1020可以执行包括使用自适应裁剪(如果适用的话)的处理。
仍然参考图10,可以通过从输入视频中减去预测符来形成残差。残差可以由变换/量化处理器1025接收,变换/量化处理器1025可以执行变换处理(例如,离散余弦变换(DCT))以产生可以被量化的系数。可以将量化系数和任何相关联的信令信息提供给熵编解码处理器1045以进行熵编码并包括在输出比特流1050中。熵编码处理器1045可以支持与编码当前块相关的信令信息的编码。另外,量化系数可以被提供给逆量化/逆变换处理器1030,逆量化/逆变换处理器1030可以再现像素,该像素可以与预测符组合并由环内滤波器1035处理,环内滤波器1035的输出被存储在解码图片缓冲器1040中,以供能够自适应裁剪的运动估计/补偿处理器1020使用。
继续参考图10,尽管上面已经详细描述了一些变型,但是其他修改或添加是可能的。例如,在一些实施方式中,当前块可以包括任何对称块(8×8、16×16、32×32、64×64、128×128等)以及任何不对称块(8×4、16×8等)。
仍然参考图10,在一些实施方式中,可以实现四叉树加二叉决策树(QTBT)。在QTBT中,在编解码树单元级别,动态地导出QTBT的分割参数以适应局部特性而不传输任何开销。随后,在编解码单元级别,联合分类器决策树结构可以消除不必要的迭代并控制错误预测的风险。在一些实施方式中,LTR帧块更新模式可以用作在QTBT的每个叶节点处可用的附加选项。
在一些实施方式中,并且继续参考图10,可以在比特流的不同层次级别处发信号通知附加的语法元素。例如,可以通过包括被编解码在序列参数集(SPS)中的启用标志而针对整个序列启用标志。此外,可以在编码树单元(CTU)级别对CTU标志进行编码。
仍然参考图10,编码器1000可以包括电路,该电路被配置为在任何实施例中以任何顺序并且以任何重复程度实现如上面参考图8或图10描述的任何操作。例如,编码器1000可以被配置为重复地执行单个步骤或序列,直到实现期望的或命令的结果;可以迭代地和/或递归地执行步骤或步骤序列的重复,其使用先前重复的输出作为后续重复的输入,聚合重复的输入和/或输出以产生聚合结果,减少或递减一个或多个变量(诸如全局变量),和/或将较大的处理任务划分成一组迭代寻址的较小处理任务。编码器1000可以并行地执行如本公开中描述的任何步骤或步骤序列,诸如使用两个或更多个并行线程、处理器核等同时和/或基本上同时执行步骤两次或更多次;可以根据适合于在迭代之间划分任务的任何协议来执行并行线程和/或进程之间的任务划分。本领域技术人员在审阅本公开的全部内容后将了解可以使用迭代、递归和/或并行处理来细分、共享或以其他方式处理步骤、步骤序列、处理任务和/或数据的各种方式。
继续参考图10,非暂时性计算机程序产品(即,物理地体现的计算机程序产品)可以存储指令,该指令在由一个或多个计算***的一个或多个数据处理器执行时,使得至少一个数据处理器执行本公开中描述的操作和/或其步骤,包括但不限于上述任何操作和/或解码器700和/或编码器1000可以被配置为执行的任何操作。类似地,还描述了可以包括一个或多个数据处理器和耦合到一个或多个数据处理器的存储器的计算机***。存储器可以临时或永久地存储使至少一个处理器执行本文描述的一个或多个操作的指令。另外,方法可以由单个计算***内的或分布在两个或更多个计算***之间的一个或多个数据处理器来实现。这样的计算***可以经由一个或多个连接(包括通过网络(例如,互联网、无线广域网、局域网、广域网、有线网络等)的连接)、经由多个计算***中的一个或多个之间的直接连接等来连接并且可以交换数据和/或命令或其他指令等。
继续参考图10,编码器1000和/或其电路可以被设计和/或配置为以任何顺序和任何重复程度执行本公开中描述的任何实施例中的任何方法、方法步骤或方法步骤序列。例如,编码器1000和/或其电路可以被配置为重复地执行单个步骤或序列,直到实现期望的或命令的结果;可以迭代地和/或递归地执行步骤或步骤序列的重复,其使用先前重复的输出作为后续重复的输入,聚合重复的输入和/或输出以产生聚合结果,减少或递减一个或多个变量(诸如全局变量),和/或将较大的处理任务划分成一组迭代寻址的较小处理任务。编码器1000和/或其电路可以并行地执行如本公开中描述的任何步骤或步骤序列,诸如使用两个或更多个并行线程、处理器核等同时和/或基本上同时执行步骤两次或更多次;可以根据适合于在迭代之间划分任务的任何协议来执行并行线程和/或进程之间的任务划分。本领域技术人员在审阅本公开的全部内容后将了解可以使用迭代、递归和/或并行处理来细分、共享或以其他方式处理步骤、步骤序列、处理任务和/或数据的各种方式。
在一些实施例中,解码器包括电路,该电路被配置为:接收经编解码的视频比特流,经编解码的视频流包括具有第一尺寸的经编解码的参考图片和经编解码的当前图片;解码参考图片;从比特流中识别参考图片的子区域,子区域具有第二尺寸,其中第二尺寸不同于第一尺寸;将子区域重新缩放为第三尺寸,以形成重新缩放的参考图片,其中第三尺寸等于第一尺寸;以及使用重新缩放的参考图片解码当前图片。
子区域可以由顶部偏移、底部偏移、右偏移和左偏移来表征。识别子区域可以包括在比特流中接收存在子区域的指示。
在一些实施例中,解码器包括电路,该电路被配置为接收包括经编解码的第一参考图片和经编解码的当前图片的经编解码的视频比特流,解码参考图片,从比特流中识别参考图片的第一子区域,变换第一子区域以形成第二参考图片,以及使用第二参考图片解码当前图片。
当前图片可以具有第一尺寸,第一子区域可以具有不同于第一尺寸的第二尺寸,且解码器可以被配置为通过将第一子区域缩放到等于第一尺寸的第三尺寸来变换子区域。解码器可以被配置为通过平移第一子区域来变换第一子区域。解码器可以被配置为通过应用仿射变换来变换第一子区域。解码器还可以被配置为将第一参考图片存储在缓冲器中。缓冲器可以包括长期参考缓冲器。缓冲器可以包括参考图片缓冲器。解码器还可以被配置为定位第一参考图片中的第二子区域。解码器还可以被配置为使用第一参考区域和第二独立参考区域对第二帧进行解码。解码器还可以被配置为将第二独立参考区域存储在缓冲器中。当前图片可以为第一图片,并且解码器还可以被配置为使用第一子区域及第二子区域解码第二图片。
在一些实施例中,一种使用参考区域的视频编解码方法包括:由解码器接收经编解码的视频比特流,经编解码的视频比特流包括具有第一尺寸的经编解码的参考图片和经编解码的当前图片;由解码器解码参考图片;由解码器从比特流识别参考图片的子区域,子区域具有第二尺寸,其中第二尺寸不同于第一尺寸;由解码器将子区域重新缩放为第三尺寸以形成重新缩放的参考图片,其中第三尺寸等于第一尺寸;以及由解码器使用重新缩放的参考图片对当前图片进行解码。
子区域可以由高度偏移、高度、长度偏移和长度来表征。识别子区域可以包括在比特流中接收存在子区域的指示。该方法可以包括将参考帧存储在缓冲器中。缓冲器可以包括长期参考缓冲器。缓冲器可以包括参考图片缓冲器。
在一些实施例中,解码器包括电路,该电路被配置为接收比特流,识别第一帧,定位第一帧内的第一独立参考区域,从第一帧提取第一独立参考区域,以及使用第一独立参考区域作为第二帧的参考来解码第二帧。
解码器还可以被配置为通过在比特流中识别第一帧内的独立参考区域的几何表征来定位第一独立参考区域。第一独立参考区域可以是矩形的,并且几何表征可以包括表征第一独立参考区域的顶点的数字的四元组。识别第一独立参考区域可以包括在比特流中接收存在第一独立参考区域的指示。第一独立参考区域可以具有尺寸,并且解码器可以被配置为通过解码具有与第一独立参考区域相同尺寸的第二帧来解码第二帧。解码器可以被配置为通过变换第一独立参考区域来解码第二帧。变换第一独立参考区域可以包括缩放第一独立参考区域。变换第一独立参考区域可以包括翻转第一独立参考区域。变换第一独立参考区域可以包括相对于视频图片中的位置移动第一独立参考区域。变换第一独立参考区域可以包括相对于视频图片中的位置旋转第一独立参考区域。
解码器还可以被配置为将第一帧存储在缓冲器中。缓冲器可以包括长期参考缓冲器。缓冲器可以包括参考图片缓冲器。解码器还可以被配置为定位第一帧中的第二参考区域。解码器还可以被配置为使用第一参考区域和第二独立参考区域来解码第二帧。解码器还可以被配置为将第二独立参考区域存储在缓冲器中。解码器还可以被配置为使用第一参考区域和第二参考区域解码第二帧。
在一些实施例中,使用参考区域的视频编解码方法包括接收比特流,识别第一帧,定位第一帧内的第一独立参考区域,从第一帧提取第一独立参考区域,以及使用第一独立参考区域作为第二帧的参考来解码第二帧。
定位第一独立参考区域可以包括在比特流中识别第一帧内的独立参考区域的几何表征。第一独立参考区域可以是矩形的,并且几何表征可以包括表征第一独立参考区域的顶点的数字的四元组。识别第一独立参考区域可以包括在比特流中接收存在第一独立参考区域的指示。第一独立参考区域可以具有尺寸,并且解码第二帧可以包括解码具有与第一独立参考区域相同尺寸的第二帧。该方法可以包括通过变换第一独立参考区域来解码第二帧。变换第一独立参考区域可以包括缩放第一独立参考区域。变换第一独立参考区域可以包括翻转第一独立参考区域。变换第一独立参考区域可以包括相对于视频图片中的位置移动第一独立参考区域。变换第一独立参考区域可以包括相对于视频图片中的位置旋转第一独立参考区域。
该方法可以包括将第一帧存储在缓冲器中。缓冲器可以包括长期参考缓冲器。缓冲器可以包括参考图片缓冲器。解码器还可以被配置为定位第一帧中的第二参考区域。该方法可以包括使用第一参考区域和第二独立参考区域对第二帧进行解码。该方法可以包括将第二独立参考区域存储在缓冲器中。该方法可以包括使用第一参考区域和第二参考区域解码第二帧。
应当注意,本文描述的任何一个或多个方面和实施例可以使用根据本说明书的教导编程的一个或多个机器(例如,被用作用于电子文档的用户计算设备的一个或多个计算设备、诸如文档服务器的一个或多个服务器设备等)来方便地实现,这对于计算机领域的普通技术人员来说是显而易见的。如对于软件领域的普通技术人员将显而易见的,基于本公开的教导,熟练的程序员可以容易地准备适当的软件编解码。上面讨论的采用软件和/或软件模块的方面和实现方式还可以包括用于辅助实现软件和/或软件模块的机器可执行指令的适当硬件。
这样的软件可以是采用机器可读存储介质的计算机程序产品。机器可读存储介质可以是能够存储和/或编码由机器(例如,计算设备)执行的指令序列并且使机器执行本文描述的方法和/或实施例中的任何一个的任何介质。机器可读存储介质的示例包括但不限于磁盘、光盘(例如,CD、CD-R、DVD、DVD-R等)、磁光盘、只读存储器“ROM”设备、随机存取存储器“RAM”设备、磁卡、光卡、固态存储器设备、EPROM、EEPROM及其任何组合。如本文所使用的,机器可读介质旨在包括单个介质以及物理上分离的介质的集合,诸如例如与计算机存储器组合的光盘或一个或多个硬盘驱动器的集合。如本文所使用的,机器可读存储介质不包括暂时形式的信号传输。
这样的软件还可以包括作为数据信号在数据载体(诸如载波)上携带的信息(例如,数据)。例如,机器可执行信息可以被包括为体现在数据载体中的数据承载信号,其中信号对指令序列或其部分进行编码以供机器(例如,计算设备)执行;以及使机器执行本文描述的方法和/或实施例中的任何一个的任何相关信息(例如,数据结构和数据)。
计算设备的示例包括但不限于电子书阅读设备、计算机工作站、终端计算机、服务器计算机、手持设备(例如,平板计算机、智能电话等)、网络设备、网络路由器、网络交换机、网桥、能够执行指定要由该机器采取的动作的指令序列的任何机器,及其任何组合。在一个示例中,计算设备可以包括自助服务终端和/或被包括在自助服务终端中。
图11示出了以计算机***1100的示例性形式的计算设备的一个实施例的图形表示,其中可以执行用于使控制***执行本公开的任何一个或多个方面和/或方法的指令集。还可以设想,可以利用多个计算设备来实现用于使一个或多个设备执行本公开的任何一个或多个方面和/或方法的专门配置的指令集。计算机***1100包括经由总线1112彼此通信以及与其他组件通信的处理器1104和存储器1108。总线1112可以包括若干类型的总线结构中的任何一种,包括但不限于使用各种总线架构中的任何一种的存储器总线、存储器控制器、***总线、本地总线及其任何组合。
处理器1104可以包括任何合适的处理器,诸如但不限于并入用于执行算术和逻辑操作的逻辑电路的处理器,诸如算术和逻辑单元(ALU),其可以用状态机调节并由来自存储器和/或传感器的操作输入引导;作为非限制性示例,可以根据冯诺依曼和/或哈佛架构来组织处理器1104。处理器1104可以包括、并入和/或被并入但不限于微控制器、微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)、通用GPU、张量处理单元(TPU)、模拟或混合信号处理器、可信平台模块(TPM)、浮点单元(FPU)和/或片上***(SoC)。
存储器1108可以包括各种组件(例如,机器可读介质),包括但不限于随机存取存储器组件、只读组件及其任何组合。在一个示例中,包括诸如在启动期间帮助在计算机***1100内的元件之间传递信息的基本例程的基本输入/输出***1116(BIOS)可以存储在存储器1108中。存储器1108还可以包括(例如,存储在一个或多个机器可读介质上)体现本公开的方面和/或方法中的任何一个或多个的指令(例如,软件)1120。在另一示例中,存储器1108还可以包括任何数量的程序模块,包括但不限于操作***、一个或多个应用程序、其他程序模块、程序数据及其任何组合。
计算机***1100还可以包括存储设备1124。存储设备(例如,存储设备1124)的示例包括但不限于硬盘驱动器、磁盘驱动器、与光学介质组合的光盘驱动器、固态存储器设备及其任何组合。存储设备1124可以通过适当的接口(未示出)连接到总线1112。示例接口包括但不限于SCSI、高级技术附件(ATA)、串行ATA、通用串行总线(USB)、IEEE 1394(FIREWIRE)及其任何组合。在一个示例中,存储设备1124(或其一个或多个组件)可以与计算机***1100可移除地对接(例如,经由外部端口连接器(未示出))。特别地,存储设备1124和相关联的机器可读介质1128可以为计算机***1100提供机器可读指令、数据结构、程序模块和/或其他数据的非易失性和/或易失性存储。在一个示例中,软件1120可以完全或部分地驻留在机器可读介质1128内。在另一示例中,软件1120可以完全或部分地驻留在处理器1104内。
计算机***1100还可以包括输入设备1132。在一个示例中,计算机***1100的用户可以经由输入设备1132将命令和/或其他信息输入到计算机***1100中。输入设备1132的示例包括但不限于字母数字输入设备(例如,键盘)、指针设备、操纵杆、游戏手柄、音频输入设备(例如,麦克风、语音响应***等)、光标控制设备(例如,鼠标)、触摸板、光学扫描仪、视频捕获设备(例如,静态相机、视频相机)、触摸屏及其任何组合。输入设备1132可以经由各种接口(未示出)中的任何一种接口连接到总线1112,各种接口包括但不限于串行接口、并行接口、游戏端口、USB接口、FIREWIRE接口、到总线1112的直接接口及其任何组合。输入设备1132可以包括触摸屏界面,该触摸屏界面可以是显示器1136的一部分或与显示器1136分离,如下面进一步讨论的。输入设备1132可以用作用于选择如上所述的图形界面中的一个或多个图形表示的用户选择设备。
用户还可以经由存储设备1124(例如,可移动磁盘驱动器、闪存驱动器等)和/或网络接口设备1140向计算机***1100输入命令和/或其他信息。网络接口设备(诸如网络接口设备1140)可以用于将计算机***1100连接到各种网络(诸如网络1144)中的一个或多个以及与其连接的一个或多个远程设备1148。网络接口设备的示例包括但不限于网络接口卡(例如,移动网络接口卡、LAN卡)、调制解调器及其任何组合。网络的示例包括但不限于广域网(例如,互联网、企业网络)、局域网(例如,与办公室、建筑物、校园或其他相对小的地理空间相关联的网络)、电话网络、与电话/语音提供商相关联的数据网络(例如,移动通信提供商数据和/或语音网络)、两个计算设备之间的直接连接及其任何组合。诸如网络1144的网络可以采用有线和/或无线通信模式。通常,可以使用任何网络拓扑。信息(例如,数据、软件1120等)可以经由网络接口设备1140传送到计算机***1100和/或从计算机***1100传送。
计算机***1100还可以包括用于将可显示图像传送到显示设备(诸如显示设备1136)的视频显示适配器1152。显示设备的示例包括但不限于液晶显示器(LCD)、阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器及其任何组合。显示适配器1152和显示设备1136可以与处理器1104结合使用,以提供本公开的各方面的图形表示。除了显示设备之外,计算机***1100可以包括一个或多个其他***输出设备,包括但不限于音频扬声器、打印机及其任何组合。这样的***输出设备可以经由***接口1156连接到总线1112。***接口的示例包括但不限于串行端口、USB连接、FIREWIRE连接、并行连接及其任何组合。
以上是本发明的说明性实施例的详细描述。在不脱离本发明的精神和范围的情况下,可以进行各种修改和添加。上述各种实施例中的每一个的特征可以适当地与其他描述的实施例的特征组合,以便在相关联的新实施例中提供多种多样的特征组合。此外,虽然前面描述了多个单独的实施例,但是本文所描述的仅仅是对本发明原理的应用的说明。另外,尽管本文的特定方法可以被示出和/或描述为以特定顺序执行,但是该顺序在普通技术范围内是高度可变的,以实现根据本公开的方法、***和软件。因此,该描述旨在仅作为示例,而不是以其他方式限制本发明的范围。
以上已经公开了示例性实施例并且在附图中示出了示例性实施例。本领域技术人员将理解,在不脱离本发明的精神和范围的情况下,可以对本文具体公开的内容进行各种改变、省略和添加。

Claims (10)

1.一种解码器,所述解码器包括电路,所述电路被配置为:
接收比特流,所述比特流包括序列参数集和第一经编解码图片;
在与所述第一经编解码图片相关联的所述序列参数集中检测在所述第一经编解码图片中存在经编解码子图片、以及所述经编解码子图片在所述第一经编解码图片中的位置;
从所述第一经编解码图片中提取并解码所述经编解码子图片以形成参考图片;
使用缩放常数从所述参考图片确定预测符,所述缩放常数是从所述比特流中的信息确定的;以及
使用所述预测符来解码所述比特流中的后续图片。
2.根据权利要求1所述的解码器,其中所述比特流中用于获得所述缩放常数的所述信息包括索引。
3.根据权利要求1所述的解码器,其中所述预测符是使用插值滤波器形成的。
4.根据权利要求1所述的解码器,其中所述后续图片是后续独立子图片。
5.根据权利要求1所述的解码器,其中所述预测符是使用运动矢量候选者列表确定的。
6.一种解码器,所述解码器包括电路,所述电路被配置为:
接收比特流,所述比特流包括序列参数集和第一经编解码图片;
在与所述第一经编解码图片相关联的所述序列参数集中检测第一经编解码子图片在所述第一经编解码图片中的位置、以及第二经编解码子图片在所述第一经编解码图片中的位置;
提取并解码所述第一经编解码子图片以形成第一参考图片;
提取并解码所述第二经编解码子图片以形成第二参考图片;
使用从所述比特流中的信息确定的第一缩放常数来确定所述第一参考图片中的第一预测符;以及
使用从所述比特流中的信息确定的第二缩放常数来确定所述第二参考图片中的第二预测符。
7.根据权利要求6所述的解码器,其中所述第一预测符用于解码第一后续图片。
8.根据权利要求7所述的解码器,其中所述第二预测符用于解码第二后续图片。
9.根据权利要求8所述的解码器,其中,所述第一后续图片和所述第二后续图片是从相同图片提取的子图片。
10.一种视频解码方法,所述方法包括:
由解码器接收比特流,所述比特流包括序列参数集和第一经编解码图片;
由所述解码器在与所述第一经编解码图片相关联的所述序列参数集中检测在所述第一经编解码图片中存在经编解码子图片区域、以及所述经编解码子图片区域在所述第一经编解码图片中的位置;
由所述解码器从第一经编解码图片中提取所述经编解码子图片区域,以形成用作参考图片的经解码独立图片;
由所述解码器使用缩放常数从所述参考图片确定预测符,所述缩放常数是根据所述比特流中的信息确定的;以及
由所述解码器使用所述预测符来解码所述比特流中的后续图片。
CN202180028644.XA 2020-04-14 2021-04-14 使用参考区域的视频编解码的方法和*** Active CN115917611B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063009978P 2020-04-14 2020-04-14
US63/009,978 2020-04-14
PCT/US2021/027183 WO2021211651A1 (en) 2020-04-14 2021-04-14 Methods and systems of video coding using reference regions

Publications (2)

Publication Number Publication Date
CN115917611A CN115917611A (zh) 2023-04-04
CN115917611B true CN115917611B (zh) 2024-04-26

Family

ID=78006600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180028644.XA Active CN115917611B (zh) 2020-04-14 2021-04-14 使用参考区域的视频编解码的方法和***

Country Status (8)

Country Link
US (1) US11356660B2 (zh)
EP (1) EP4136577A4 (zh)
JP (1) JP2023522845A (zh)
KR (1) KR20230003491A (zh)
CN (1) CN115917611B (zh)
BR (1) BR112022020770A2 (zh)
MX (1) MX2022012430A (zh)
WO (1) WO2021211651A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616955B2 (en) * 2020-07-14 2023-03-28 Avago Technologies International Sales Pte. Limited Signaling of rectangular slices in the VVC video compression standard

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141602A (zh) * 2015-09-25 2018-06-08 华为技术有限公司 视频运动补偿装置和方法
CN110730354A (zh) * 2018-07-17 2020-01-24 腾讯美国有限责任公司 视频编解码的方法、装置、计算机设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408696A4 (en) * 2002-07-02 2008-04-09 Matsushita Electric Ind Co Ltd METHOD FOR EVALUATING MOTION VECTORS, METHOD FOR CYCLING A DYNAMIC IMAGE, METHOD FOR DECODING A DYNAMIC IMAGE
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
CN102036070A (zh) * 2005-12-08 2011-04-27 维德约股份有限公司 用于视频通信***中的差错弹性和随机接入的***和方法
KR100900294B1 (ko) * 2006-11-09 2009-05-29 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN107277542B (zh) * 2011-02-10 2019-12-10 太阳专利托管公司 动态图像解码方法、动态图像解码装置
WO2013111994A1 (en) * 2012-01-26 2013-08-01 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3d video
US20150085939A1 (en) * 2012-04-13 2015-03-26 Sharp Kabushiki Kaisha Devices for sending and receiving a long-term reference picture indicator
WO2014006854A1 (en) * 2012-07-01 2014-01-09 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
CN105284115B (zh) * 2013-04-05 2018-11-23 三星电子株式会社 用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US10469864B2 (en) * 2014-11-27 2019-11-05 Kt Corporation Method and apparatus for video signal coding using current picture reference flag
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
CN114531592A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
WO2020185879A1 (en) * 2019-03-11 2020-09-17 Dolby Laboratories Licensing Corporation Video coding using reference picture resampling supporting region of interest
US11206404B2 (en) * 2019-07-08 2021-12-21 Fastvdo Llc Adaptive resolution change in video streams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141602A (zh) * 2015-09-25 2018-06-08 华为技术有限公司 视频运动补偿装置和方法
CN110730354A (zh) * 2018-07-17 2020-01-24 腾讯美国有限责任公司 视频编解码的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US11356660B2 (en) 2022-06-07
WO2021211651A1 (en) 2021-10-21
BR112022020770A2 (pt) 2022-11-29
EP4136577A1 (en) 2023-02-22
MX2022012430A (es) 2022-11-30
US20210321088A1 (en) 2021-10-14
KR20230003491A (ko) 2023-01-06
CN115917611A (zh) 2023-04-04
EP4136577A4 (en) 2024-05-01
JP2023522845A (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
EP3089453A1 (en) Image coding and decoding methods and devices
JP2022544164A (ja) フレームタイプに基づく適応分解能管理の暗示的信号伝達
JP2022544160A (ja) 適応分解能管理信号伝達
JP2022529508A (ja) インタ予測における大域的運動制約運動ベクトル
JP2022544156A (ja) ブロックベースの適応分解能管理
CN114450956A (zh) 自适应分辨率管理中的帧缓冲
JP2022523309A (ja) 指数関数的分割におけるインター予測
JP2022544159A (ja) サブフレームを使用した適応分解能管理
US20240137532A1 (en) Methods and systems for adaptive cropping
JP2022529735A (ja) 大域的運動ベクトルの効率的なコーディング
JP2022523697A (ja) 適応的な数の領域を伴う幾何学的分割におけるインター予測
CN115917611B (zh) 使用参考区域的视频编解码的方法和***
JP2022544157A (ja) 適応分解能管理予測再スケーリング
US20230388483A1 (en) Methods and Systems of Video Coding Using Reference Regions
CN104581186B (zh) 一种图像压缩中对帧内移动矢量进行编码和解码的方法
CN115956361A (zh) 用于组合无损和有损编解码的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant