CN106134196A - 在视频译码中用于帧内块复制的搜索区域确定 - Google Patents
在视频译码中用于帧内块复制的搜索区域确定 Download PDFInfo
- Publication number
- CN106134196A CN106134196A CN201580013316.7A CN201580013316A CN106134196A CN 106134196 A CN106134196 A CN 106134196A CN 201580013316 A CN201580013316 A CN 201580013316A CN 106134196 A CN106134196 A CN 106134196A
- Authority
- CN
- China
- Prior art keywords
- search
- region
- block
- video
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频译码器可确定用于使用帧内块复制(帧内BC)译码当前视频数据块的搜索区域。在一些实例中,所述视频译码器确定所述搜索区域的中心点,且基于所述搜索区域的所述中心点和经界定大小来确定所述当前块的所述搜索区域。所述视频译码器基于所确定的搜索区域而将来自包括所述当前块的当前图片的所述视频数据的经重构块存储在存储器中。所述视频译码器译码用以识别所述搜索区域内的所述经重构块中的一者的信息,且根据帧内BC基于所述经重构块中所识别的一者而译码所述当前块。
Description
本申请案要求2014年3月21日申请的美国临时申请案第61/968,999号的权益,所述美国临时申请案的完整内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码,并且更确切地说,涉及用于对视频数据进行预测的技术。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置以及其类似者。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、最近开发的高效视频译码(HEVC)标准以及此类标准的扩展中描述的那些技术,以便更高效地发射、接收和存储数字视频信息。
视频压缩技术包含空间预测和/或时间预测,以减少或去除视频序列中所固有的冗余。对于基于块的视频译码,视频图片或切片可以分割成多个块。每一块可被进一步分割。使用相对于同一图片或切片中的相邻块中的参考样本的空间预测来对经帧内译码(I)的图片或切片中的块进行编码。经帧间译码(P或B)图片或切片中的块可以使用相对于同一图片或切片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。
经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据编码。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可以对残余变换系数进行量化。
发明内容
本发明描述与确定用于帧内块复制(帧内BC)的搜索区域相关的实例技术。帧内BC为译码模式,其中基于同一图片内的预测性视频数据块来预测当前图片中的当前视频数据块。搜索区域包含根据当前图片的先前经重构的视频数据块,且块向量识别搜索区域内的预测性块。
在根据本发明的技术的一些实例中,视频译码器(例如,视频编码器和/或视频解码器)确定搜索区域的中心点,且基于搜索区域的中心点和经界定的大小和/或形状而确定当前块的搜索区域。如果所确定的搜索区域的一部分不可用,那么视频译码器可修改搜索区域。对搜索区域的修改可包含(作为实例)填充、移位或限制搜索区域。本发明的搜索区域确定技术在界定搜索区域时可提供更大灵活性,此在一些状况下可支持较大搜索区域,且可产生更高译码效率。
在一个实例中,译码视频数据的方法包括确定对当前视频数据块的搜索区域的中心点;基于搜索区域的中心点和经界定的大小确定对所述当前块的搜索区域;以及基于所确定的搜索区域而将来自包含所述当前块的当前图片的经重构的视频数据块存储在存储器中。所述方法进一步包括译码用以识别搜索区域内经重构块中的一个的信息;且基于经重构块中所识别的一个而译码所述当前块。所述方法可由视频编码器或视频解码器执行。
在另一实例中,装置包括视频译码器,且视频译码器包括经配置以存储视频数据的存储器和一或多个处理器。一或多个处理器经配置以确定对于当前视频数据块的搜索区域的中心点;基于搜索区域的中心点和经界定的大小确定对于所述当前块的搜索区域;以及基于所确定的搜索区域而将来自包含所述当前块的当前图片的经重构的视频数据块存储在存储器中。所述一或多个处理器进一步经配置以译码用以识别搜索区域内经重构块中的一个的信息,且基于经重构块中所识别的一个而译码所述当前块。视频译码器可为视频编码器或视频解码器。
在另一实例中,用于译码视频数据的装置包括用于确定对当前视频数据块的搜索区域的中心点的装置;用于基于搜索区域的中心点和经界定的大小确定对所述当前块的搜索区域的装置;以及用于基于所确定的搜索区域而将来自包含所述当前块的当前图片的经重构的视频数据块存储在存储器中的装置。所述装置进一步包括用于译码用以识别搜索区域内经重构块中的一个的信息的装置,和用于基于经重构块中所识别的一个译码所述当前块的装置。
在另一实例中,计算机可读存储媒体具有存储于其上的指令,所述指令在执行时使得视频译码器的一或多个处理器确定对于当前视频数据块的搜索区域的中心点;基于搜索区域的中心点和经界定的大小确定对于所述当前块的搜索区域;以及基于所确定的搜索区域而将来自包含所述当前块的当前图片的经重构的视频数据块存储在存储器中。所述指令进一步使得一或多个处理器译码用以识别搜索区域内经重构块中的一个的信息,且基于经重构块中所识别的一个译码所述当前块。
在附图和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将根据描述和图式且根据权利要求书而显而易见。
附图说明
图1是说明可以实施本发明的技术的实例视频编码和解码***的框图。
图2为说明用于根据帧内块复制(BC)模式译码当前视频数据块的实例搜索区域的概念图。
图3A和3B是说明当搜索区域的一部分跨越边界时帧内BC模式的搜索区域的移位的概念图。
图4是说明当波前并行处理(WPP)用于译码当前图片时对搜索区域的限制的概念图。
图5是说明可实施本发明的技术的实例视频编码器的框图。
图6是说明可实施本发明的技术的实例视频解码器的框图。
图7是说明用于根据本发明的技术确定用于根据帧内BC模式编码当前视频数据块的搜索区域的实例方法的流程图。
图8是说明用于根据本发明的技术确定用于根据帧内BC模式解码当前视频数据块的搜索区域的实例方法的流程图。
具体实施方式
视频序列一般表示为图片序列。通常,使用基于块的译码技术译码个别图片中的每一者。也就是说,将每一图片划分成块,且个别地译码所述块中的每一者。在本发明中,术语译码(code)、译码器和译码(coding)分别用于大体上指代以下各者中的任一者或两者:(1)编码(encode)、编码器和编码(encoding);以及(2)解码(decode)、解码器和解码(decoding)。
译码视频数据块一般涉及形成块的预测值及译码残余值,残余值为原始块与预测值之间的差。具体来说,原始视频数据块包含像素值矩阵,且预测值包含经预测像素值矩阵。残余值对应于原始块的像素值与经预测像素值之间的逐像素差。
用于视频数据块的预测技术一般分类为帧内预测或帧间预测。帧内预测或空间预测一般涉及根据同一图片中的相邻像素值预测块。帧间预测或时间预测一般涉及根据不同的、经先前译码图片的经先前译码块预测块。
例如远程桌面、远程游戏、无线显示器、汽车信息娱乐、云计算及其它等许多应用的视频内容通常包含自然内容、文字和人造图形的组合。在文字和人造图形区域中,常常存在重复图案,例如字符、图标、符号或其类似者。因此,可基于同一图片或帧内的像素值(但未必是通常用于帧内预测的相邻像素值)高效预测这些区域中的块。
帧内块复制(帧内BC)为用于根据同一图片内的未必与当前块相邻的预测性视频数据块来预测当前视频数据块的技术。帧内BC可使得视频译码器能够改进例如图片的文字和人造图形区域的图片内译码效率。对于帧内BC,预测性视频数据块是与当前视频数据块在同一图片内的经重构视频数据块。预测性视频数据块在当前图片内的搜索区域内。通过块向量(其可为二维向量)识别预测性视频数据块相对于当前块的位置。
在根据本发明的技术的一些实例中,视频译码器(例如,视频编码器和/或视频解码器)确定搜索区域的中心点,且基于搜索区域的中心点和经界定的大小和/或形状来确定对于所述当前块的搜索区域。在一些实例中,视频译码器基于先前使用帧内BC译码的块的块向量确定对于所述当前块的搜索区域的中心点。搜索区域的大小和/或形状可经预先界定且为静态的,或可改变且在块、切片、图片、序列或其它层级处用信号发送。
如果所确定的搜索区域的一部分不可用,那么视频译码器可修改搜索区域。如果搜索区域的一部分尚未经重构、经帧间预测或跨越边界(例如,切片边界、图块边界或图片边界),那么搜索区域的一部分可为不可用的。在一些实例中,视频译码器通过使用经复制或固定像素值填充搜索区域而修改搜索区域。在具有经界定大小和形状的搜索区域的一部分跨越边界的一些实例中,视频译码器例如在不改变搜索区域的大小和形状的情况下移位搜索区域,使得整个搜索区域在边界的一侧上。在使用波前并行处理(WPP)并行地处理当前图片的各行的一些实例中,视频译码器通过将搜索区域限制于将根据WPP重构的区域而修改所确定的搜索区域。本发明的搜索区域确定技术在界定搜索区域时可提供更大灵活性,此在一些状况下可支持较大搜索区域,且可产生帧内BC的更高译码效率。本发明的搜索区域确定技术还可克服当较大搜索区域用于帧内BC时可产生的低效率。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。最近,已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)完成新的视频译码标准(即,高效率视频译码(HEVC))的设计。最新HEVC草案规范(且在下文中被称作HEVC WD)从2014年3月21日起可从http://phenix.int-evry.fr/jct/doc_end_ user/documents/15_Geneva/wg11/JCTVC-O1003-v2.zip获得。最终标准可作为2014年10月的建议ITU-T H.265而经参考。
对HEVC的范围扩展(即RExt)也正由JCT-VC开发。HEVC范围扩展的最新工作草案(WD)(在下文中被称作“RExt WD6”或仅“RExt”)从2014年3月21日起可从http:// phenix.int-evry.fr/jct/doc_end_user/documents/16_San%20Jose/wg11/JCTVC- P1005-v1.zip获得。一般来说,对HEVC的范围扩展可支持并不专门由基础HEVC规范支持的视频格式,例如高位深度,例如大于8位;和高色度取样格式,例如4:4:4和4:2:2。对HEVC的范围扩展包含各种视频译码过程,包含帧内BC。本发明的技术可适用于根据对HEVC的范围扩展的译码,且还可适用于屏幕内容译码。然而,应理解,本发明的技术不限于这些情形,且一般可适用于包含基于标准或并非基于标准的视频译码的视频译码技术。
图1是说明可实施本发明的技术的实例视频编码和解码***10的框图。如图1中所展示,***10包含源装置12,其提供稍后待由目的地装置14解码的经编码视频数据。具体来说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一者,包含台式计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些状况下,源装置12和目的地装置14可以经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。经编码视频数据可根据例如无线通信协议等通信标准加以调制,且传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如,局域网、广域网或全球网络,例如,因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中,可将经编码数据从源装置12的输出接口22输出到存储装置32。类似地,可通过目的地装置14的输入接口28从存储装置32存取经编码数据。存储装置32可包含各种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置32可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。
目的地装置14可经由流式传输或下载从存储装置32存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含万维网服务器(例如,用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。
本发明的技术不一定限于无线应用或环境。所述技术可以应用于支持各种多媒体应用中的任一者的视频译码,例如空中电视广播、有线电视传输、***传输、因特网流视频传输(例如,HTTP动态自适应流式传输(DASH))、被编码到数据存储媒体上的数字视频,对存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,***10可经配置以支持单向或双向视频传输,以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置31。根据本发明,源装置12的视频编码器20和目的地装置14的视频解码器30可经配置以应用用于确定用于根据帧内BC编码或解码视频块的搜索区域的技术。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可以从外部视频源18(例如,外部相机)接收视频数据。同样地,目的地装置14可以与外部显示装置接口连接,而不是包含集成显示装置。
图1的所说明的***10只是一个实例。可通过任何数字视频编码和/或解码装置来执行用于确定用于根据帧内BC编码或解码视频块的搜索区域的技术。虽然大体上本发明的技术是通过视频编码或解码装置执行,但是所述技术还可以通过视频编解码器执行。此外,本发明的技术还可通过视频预处理器执行。源装置12和目的地装置14仅为此类译码装置的实例,其中源装置12产生经译码视频数据以供传输到目的地装置14。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,***10可支持视频装置12、14之间的单向或双向视频传输以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些状况下,如果视频源18是摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提到,本发明中所描述的技术一般可适用于视频译码,且可应用于无线和/或有线应用。在每一状况下,可由视频编码器20编码所捕获的、预捕获的或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16和/或存储装置32上。
目的地装置14的输入接口28从计算机可读媒体16或存储装置32接收信息。计算机可读媒体16或存储装置32的信息可包含由视频编码器20界定的语法信息(其还由视频解码器30使用),所述语法信息包含描述块和其它经译码单元的特性和/或处理的语法元素。显示装置31将经解码视频数据显示给用户,且可包括各种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可以经实施为可适用的各种合适的编码器或解码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时,装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中,并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可以包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为组合视频编码器/解码器(编解码器)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置,例如蜂窝式电话。
虽然图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当多路复用器-多路分用器单元或其它硬件和软件,以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用的话,多路复用器-多路分用器单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
本发明可大体上涉及视频编码器20,其将某些信息“用信号发送”到例如视频解码器30的另一装置。然而,应理解,视频编码器20可通过使某些语法元素与视频数据的各种经编码部分相关联来用信号发送信息。也就是说,视频编码器20可以通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号发送”数据。在一些状况下,这些语法元素可在由视频解码器30接收和解码之前进行编码和存储(例如,存储到存储装置32)。因此,术语“用信号发送”可大体指语法或用于解码经压缩的视频数据的其它数据的通信,不管此通信实时还是几乎实时或是在一段时间内发生,例如,可当在编码时将语法元素存储到媒体时发生,接着所述语法元素可在被存储到此媒体之后的任何时间由解码装置检索。
视频编码器20和视频解码器30可根据视频压缩标准(例如,HEVC标准)操作。虽然本发明的技术不限于任何特定译码标准,但所述技术可与HEVC标准相关,并且尤其与HEVC标准的扩展(例如,RExt扩展或屏幕内容译码)相关。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。
一般来说,HM的工作模型描述可将视频图片划分成包含亮度和色度样本两者的译码树单元(CTU)序列。位流内的语法数据可界定最大译码单元(LCU)大小,其为就像素数目来说CTU可具有的最大大小,例如64×64。CTU的大小可介于HEVC主层次中的16×16到64×64的范围(尽管技术上可支持8×8CTU大小)。可将视频图片分割成一或多个切片,其中的每一者可包含多个连续CTU。CTU中的每一者可包括亮度样本的CTB、色度样本的两个对应CTB,和用以译码CTB的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中,CTU可包括单一CTB和用以译码CTB的样本的语法结构。
每一CTU可根据四叉树而***成译码单元(CU)。一般来说,四叉树数据结构包含每个CU一个节点,其中根节点对应于CTB。如果CU***成四个子CU,那么对应于CU的节点包含四个叶节点,其中叶节点中的每一者对应于所述子CU中的一者。CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块,以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中,CU可包括单个译码块和用于对所述译码块的样本进行译码的语法结构。译码块为CTB的样本的N×N块。每一CU以一个模式译码,例如帧内预测、帧间预测或帧内BC中的一者。
四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,四叉树中的节点可包含***旗标,从而指示对应于所述节点的CU是否***成子CU。用于CU的语法元素可以递归式定义,且可取决于CU是否***成子CU。如果CU未经进一步***,那么将其称作叶CU。在本发明中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的明确***时也是如此。举例来说,如果16x16大小的CU不进一步***,那么所述四个8x8子CU将也被称作叶CU,尽管16x16CU从未***。
CU具有与H.264标准的宏块类似的目的,但CU不具有大小区别。举例来说,CU可***成四个子节点(还被称作子CU),且每一子节点又可为父节点,且***成另外四个子节点。最终的未经***子节点(被称作四叉树的叶节点)包括译码节点,也被称作叶CU。与经译码位流相关联的语法数据可界定CTB可***的最大次数(被称作最大CU深度),且还可界定译码节点的最小大小。因此,位流还可界定最小译码单元(SCU)。本发明使用术语“块”、“视频块”、“视频数据块”或其类似者以指代在HEVC的情形下的CTU、CTB、CU、译码块、预测单元(PU)或变换单元(TU)中的任一者或在其它标准的情形下的类似数据结构(例如,H.264/AVC中的宏块和其子块)。
CU包含译码节点和与译码节点相关联的PU和TU。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小范围可从8×8像素直到具有最大64×64个像素或更大的CTB的大小。每一CU可以含有一或多个PU和一或多个TU。每一CU以一个模式译码,例如帧内预测、帧间预测或帧内BC中的一者。
一般来说,PU表示对应于对应的CU的全部或一部分的空间区,且可包含用于检索PU的预测性样本的数据。此外,PU包含与预测有关的数据。举例来说,当CU经帧内模式编码时,一或多个PU的数据可包含于残余四叉树(RQT)中,所述残余四叉树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例,当CU经帧间模式编码时,一或多个PU可包含界定PU的一或多个运动向量的数据。作为另一实例,当根据帧内BC编码CU时,一或多个PU可包含界定PU的一或多个块向量的数据。
预测块可为应用相同预测的样本的矩形(即,正方形或非正方形)块。CU的PU可包括图片的亮度样本的预测块、图片的色度样本的两个对应的预测块,以及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中,PU可包括单个预测块,和用以对预测块样本进行预测的语法结构。当两个PU存在于一个CU中时,其可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。
在将变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后,TU可包含变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU,并且接着变换TU以产生用于CU的变换系数。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块和用于对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中,TU可包括单个变换块,和用以对变换块样本进行变换的语法结构。
在变换之后,视频编码器20可以执行变换系数的量化。量化一般指代量化变换系数以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说,n位值可在量化期间被向下舍入到m位值,其中n大于m。
视频编码器20可以扫描变换系数,从而从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(且因此较低频率)系数放置在阵列的前面,且将较低能量(且因此较高频率)系数放置在阵列的后面。在一些实例中,视频编码器20可利用预先界定的扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器20可以执行自适应扫描。
在扫描经量化变换系数以形成一维向量之后,视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率间隔分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码,以供视频解码器30在解码视频数据时使用。
另外,视频编码器20可例如通过对残余数据进行反量化和反变换,且将残余数据与预测数据进行组合而重构经预测图片。以此方式,视频编码器20可模拟由视频解码器30执行的重构过程。因此,视频编码器20和视频解码器30两者将可存取实质上相同的经重构视频数据(例如,图片或来自图片的块)以供用于图片内、图片间或帧内BC预测中。
除经编码视频数据之外,视频编码器20可在经编码视频位流中包含告知视频解码器如何对特定视频数据块或其分组进行解码的语法元素。视频编码器20可包含各种语法结构中的语法元素,例如取决于其涉及的视频结构的类型(例如,序列、图片、切片、块)以及其值可改变的频繁程度。举例来说,视频编码器20可在参数集,例如视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)中包含语法元素。作为其它实例,视频编码器20可在SEI消息和切片标头中包含语法元素。
一般来说,视频解码器30可执行解码过程,其为与由视频编码器执行的编码过程相反的过程。举例来说,视频解码器30可使用由视频编码器用于对经量化视频数据进行熵编码的熵编码技术的相反过程来执行熵解码。视频解码器30可进一步使用由视频编码器20使用的量化技术的相反过程来反量化所述视频数据,且可执行由视频编码器20用于产生经量化的变换系数的变换的相反过程。视频解码器30可接着将所得残余块应用于邻近参考视频数据(帧内预测)、来自另一图片的预测性块(帧间预测)或来自同一图片的预测性块(帧内BC)以产生用于最终显示的视频块。视频解码器30可经配置、经指令、经控制或经引导以基于由视频解码器30接收的位流中的由视频编码器20与经编码视频数据一起提供的语法元素执行由视频编码器20执行的各种过程的相反过程。
每一图片可包括亮度分量和一或多个色度分量。因此,本文中所描述的基于块的编码和解码操作可同样适用于包含亮度或色度像素值或与其相关联的块。
图2是说明用于根据帧内BC模式译码当前视频数据块40的实例搜索区域48的概念图。如由图2所说明,对于当前块40的搜索区域48与当前块40在同一图片42(即,当前图片42)内。搜索区域48包含当前图片42内的多个先前经重构视频数据块,包含预测性块46。视频译码器(例如,视频编码器20和/或视频解码器30)可根据帧内BC模式使用预测性块46预测或重构当前块40。
视频编码器20选择预测性块46以用于根据当前图片42中的先前经重构视频数据块的集合预测当前块40。视频编码器20通过反量化和反变换也包含于经编码视频位流中的视频数据,且求和所得残余块与用于预测经重构视频数据块的预测性块来重构视频数据块。视频编码器20可以多种方式界定图片42内的搜索区域48,如下文更详细描述。视频编码器20可基于对基于搜索区域48内的各种视频块预测和译码当前视频块40的相对效率和准确度的分析而从搜索区域48中的多个视频块之中选择预测性块46以预测当前视频块40。视频译码器(例如,视频编码器20和/或视频解码器30)可在环路内滤波(例如,解块和样本自适应偏移(SAO)滤波)之前将搜索区域48内的经重构块存储在缓冲器或存储器中,使得预测信号尚未经受环路内滤波。使用尚未经环路内滤波的预测性块可提高帧内BC的预测准确度和译码效率。
视频编码器20确定块向量50,其也可被称作偏移向量、位移向量或运动向量,且其表示预测性视频块46相对于当前视频块40的位置或位移。视频编码器20可包含识别或界定经编码视频位流中的块向量50的一或多个语法元素。视频解码器30可解码一或多个语法元素以确定块向量50,且使用所确定的向量以识别当前视频块40的预测性视频块46。视频编码器还可对经编码视频位流中预测性块46与当前块40之间的残余差进行编码。视频解码器30可解码来自位流的残余差以及信息以识别预测性块46,且对残余与预测性块进行求和以重构当前块40。
在一些实例中,块向量50的分辨率可为整数像素,例如经约束以具有整数像素分辨率。在这些实例中,视频编码器20和视频解码器30无需内插预测性视频块46的像素值以确定当前视频块40的预测值。在其它实例中,块向量50的水平位移分量和垂直位移分量中的一者或两者的分辨率可为子像素,例如提供分数像素精确度。
在一些实例中,为了进一步提高译码效率,视频编码器20和视频解码器30可预测块向量50。在一些实例中,视频译码器在每一CTB的开始处将块向量预测值设置为(-w,0),其中w为当前视频数据块的宽度。视频译码器将块向量预测值更新为以帧内BC模式译码的最新CU的块向量。如果并未以帧内BC译码CU,那么块向量预测值保持不变。在块向量预测之后,使用运动向量差译码方法(例如,HEVC规范中所指定)译码块向量差。
当前视频块40可为CU或CU的PU,且更确切地说,可为对应于CU或PU的亮度或色度样本块。在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可将根据帧内BC经预测的CU***成多个PU。在这些实例中,视频译码器可确定CU的PU中的每一者的相应(例如,不同)块向量50。举例来说,视频译码器可将2Nx2N CU***为两个2NxN PU、两个Nx2N PU,或四个NxN PU。
视频编码器20和视频解码器30根据本发明的技术确定当前块40的搜索区域48,例如搜索区域的位置、大小和形状。本发明的技术可为视频编码器20提供在界定搜索区域48时的更大灵活性,此可提高译码效率,同时尤其在视频解码器30处限制实施和处理复杂度的提高。在一些状况下,当放大用于帧内BC的搜索区域时,视频译码器可应用本文中所描述的限制或其它技术以限制实施和处理复杂度的提高。
如图2中所说明,当前块40在当前CTU 44内。虽然为了易于说明未展示于图2中,但搜索区域48可包含当前CTU 44的任何经重构部分。另外或替代地,搜索区域48可包含一或多个相邻经重构CTU和/或一或多个相邻CTU的经重构部分。
在一些实例中,如图2中所说明,视频译码器基于搜索区域的经界定的大小(其可为当前CTU 44的相邻W x H矩形区域的经界定大小)确定搜索区域48。举例来说,视频译码器可确定搜索区域48包含W x H矩形区域的经重构部分。如图2中所说明,由于CTU高度×当前CTU 44左边的宽度WL的区域已经重构,因此视频译码器在搜索区域48中包含那个区域。另一方面,由于CTU高度×当前CTU 44右边的宽度WR的区域52尚未经重构,因此视频译码器并不在搜索区域48中包含区域52。视频译码器还可在搜索区域48中包含当前CTU 44上方的W×HT区域内的任何部分。
在一些实例中,搜索区域48的大小和/或形状(例如,区域的大小和/或形状,所述区域中的经重构部分为搜索区域48,例如图2中所说明的W×H矩形区域)经预先界定、固定且对于视频编码器20和视频解码器30两者来说已知。在其它实例中,视频编码器20可改变区域的大小和/或形状,且将信息用信号发送到视频解码器30以使得视频解码器30能够确定搜索区域的大小和/或形状。在这些实例中,视频编码器20可在每个块、每个切片、每个图片或每个序列基础上改变区域的大小和/或形状,且在对应语法结构(例如,切片标头、PPS、VPS、SEI消息或视频可用信息(VUI)语法结构)中用信号发送大小和/或形状。在一些实例中,以对于视频编码器20和视频解码器30两者已知的方式基于图片42内当前CTU 44的位置而改变搜索区域48的大小和/或形状,且视频译码器基于CTU位置确定搜索区域48的大小和/或形状。
在任何状况下,可依据CTU或LCU大小或像素单元来界定大小。举例来说,W×H矩形区域的大小可经界定为CTU或LCU宽度的倍数,例如5*LCUWidth,且矩形区域的高度可经界定为CTB或LCU高度的倍数,例如4*LCUHeight。作为另一实例,W×H矩形区域的大小可经界定为320×256个像素单元。在一些实例中,可由视频编码器20用信号发送大小(例如,CTU或LCU高度和/或宽度的倍数)以用于视频解码器30。
如图2中所说明,W×H矩形区域包含中心点54。在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)确定中心点54,且基于搜索区域48的中心点54和经界定的大小和/或形状确定当前块40的搜索区域48。虽然在图2中经说明为相对于当前CTU 44水平地居中且延伸到包含当前CTU 44的CTU行的底部,但在这些实例中,搜索区域可取决于中心点54的所确定的位置而在任一方向上水平地移位和/或垂直地在包含当前CTU 44的CTU行的底部上方移位。改变中心点54相对于当前CTU 44或当前块40的位置可允许识别更准确的预测性块46,此可提高译码效率。
在一些实例中,视频译码器基于经先前译码视频块的前一块向量确定中心点54。举例来说,视频译码器可识别当前CTU 44的第一块向量,且基于所述第一块向量指向的位置确定中心点54。当前CTU 44的第一块向量可为使用帧内BC模式经译码的当前CTU44的第一CU的块向量。
作为另一实例,视频译码器可识别相邻块的块向量,且基于相邻块的块向量指向的位置确定中心点54。相邻块可为当前块40或当前CTU 44的空间或时间相邻块。在一些实例中,哪一相邻块用于确定当前块40的搜索区域48的中心点54为固定的且对于视频编码器20和视频解码器30两者已知。在其它实例中,视频编码器20和视频解码器30可使用经界定过程构建候选相邻块列表,且视频编码器20可在经编码视频位流中将候选相邻块(其块向量用于确定中心点54)用信号发送到视频解码器。
在一些实例中,视频编码器20将中心点54在当前图片42内的位置在经编码视频位流内用信号发送到视频解码器30。在这些实例中,视频编码器20可在每个块或每个切片的基础上改变中心点54的位置,且在语法结构(例如,切片标头)中用信号发送所述位置。视频译码器基于所确定的搜索区域48而将经重构视频块(例如,尚未经环路内滤波)存储在缓冲器或另一存储器内。在搜索区域48的中心位置54和/或大小或形状在每个块或每个切片的基础上改变的实例中,视频译码器可需要存储并不是一个块的搜索区域的一部分的经重构视频块,以使得所述经重构视频块仍然可供用于随后经译码块的搜索区域。
在一些状况下,有可能搜索区域的一部分(例如,根据关于图2所描述的技术而确定)不可用于帧内BC预测。举例来说,搜索区域的跨越切片、图块或包含当前块的图片的边界的一部分可能不可用。作为另一实例,当WPP用于并行地译码图片中的CTU行时,根据WPP的CTU延迟而尚未经处理的较高CTU行中的CTU可能不可用。作为另一实例,搜索区域的尚未经重构的任何部分不可用;或当启用经约束的帧内预测时,搜索区域的经帧间预测的任何部分不可用。
在一些实例中,当视频译码器确定搜索区域的一部分不可用于对当前视频块的帧内BC译码时,视频译码器可应用本文中所描述的技术中的一或多者中的任一者以修改所确定的搜索区域。在一些实例中,视频译码器通过将所确定的搜索区域限制于可用区域而修改所确定的搜索区域。在一些实例中,视频译码器通过填充搜索区域的不可用部分而修改所确定的搜索区域。
视频译码器可通过例如将HEVC规范中所描述的填充技术用于帧间参考帧来填充不可用部分。在一些实例中,视频译码器可通过对样本的水平和/或垂直复制(例如,复制接近(例如,最近)的可用样本)来填充不可用部分。在一些实例中,视频译码器可通过使用固定样本值(例如,根据0,1<<(B-1),例如来自此集合的样本,其中B为样本位深度)填满不可用部分来填充不可用部分。在一些实例中,视频译码器可共同使用复制和填满以填充当前块的搜索区域,例如视频译码器可在接近样本不可用于复制时使用通过固定值来填满。
图3A和3B是说明当搜索区域的一部分跨越边界时用于帧内BC的搜索区域的移位的概念图。在一些实例中,搜索区域的一部分可由于其在例如切片边界、图块边界或图片边界等边界的不同于当前视频块的侧上而不可用。搜索区域的跨越切片和图块边界的各部分可归因于对不同切片或图块的单独和/或并行处理或由于不同切片或图块的视频数据可在不同网络抽象层单元中传输,从而增大另一切片或图块的数据可丢失(作为实例)的可能性而被视为不可用的。
在一些实例中,当视频译码器确定搜索区域的一部分(例如,根据关于图2所描述的技术而确定)在边界的不同于当前块的侧上时,视频译码器可移位搜索区域使得整个搜索区域在边界的与当前块相同的侧上。在一些实例中,视频译码器可移位搜索区域而不会更改搜索区域的大小和/或形状,例如不会更改W×H矩形区域的大小和形状。一般来说,移位搜索区域并不指代移位图片内的像素值,而是可包含在移位之后根据搜索区域的新位置而将不同块存储在当前图片的经重构块的缓冲器中或从所述缓冲器检索不同的所存储块。
图3A的实例说明当前CTU 64内的对当前视频块的搜索区域68。与图2的搜索区域48相同,视频译码器可基于以关于图2的当前CTU 44所说明的方式相对于当前CTU 64居中的W×H矩形而确定搜索区域68。然而,以关于图2的当前CTU 44所说明的方式使搜索区域68居中将搜索区域68的一部分放置越过边界60,其可为切片边界、图块边界或图片边界。
在这些实例中,如图3A所说明,视频译码器(例如,视频编码器20和/或视频解码器30)可向右移位搜索区域68使得整个搜索区域68位于边界60的右侧。如图3A中所说明,由于当前CTU 64右边的CTU高度×(WR+WL)宽度的区域72尚未经重构,因此视频译码器并不在搜索区域68中包含区域72。视频译码器还可在搜索区域68中包含当前CTU 64上方的具有W×HT区域的任何部分。
图3B的实例说明当前CTU 84内的对当前视频块的搜索区域88。与图2的搜索区域48相同,视频译码器可基于以关于图2的当前CTU 44所说明的方式相对于当前CTU 84居中的W×H矩形而确定搜索区域88。然而,以关于图2的当前CTU 44所说明的方式使搜索区域88居中将搜索区域88的一部分放置越过边界80,其可为切片边界、图块边界或图片边界。在这些实例中,如图3B所说明,视频译码器(例如,视频编码器20和/或视频解码器30)可向左移位搜索区域88使得整个搜索区域88位于边界80左侧。
如上文所描述,当WPP用于并行地译码图片中的CTU行时,尚未根据WPP的CTU延迟而经处理的较高CTU行中的CTU可能不可用。一般来说,当启用WPP时,视频译码器将切片划分成CTU行,且在垂直方向上逐行滞后的情况下并行地处理所述行。举例来说,视频译码器可处理第一或顶行,且仅在延迟之后(例如,在已经处理第一行中的两个CTU之后)开始处理第二行。视频译码器可仅在延迟之后(例如,在已经处理第二行中的两个CTU之后)处理第三行,以此类推。每一行中的熵译码器的上下文模型根据具有两个CTU处理滞后的前一行中的那些模型推断。WPP提供在相当精细粒度层级下(例如,在切片内)的处理并行性形式。WPP常常可提供比图块更好的压缩性能,且避免可由于使用图块引起的一些视觉假象。
图4是说明当波前并行处理(WPP)用于译码当前图片92时将对当前视频块的搜索区域98限制在当前CTU 94L内的概念图。图4说明布置成行96A到96C(统称为“行96”)的CTU94A到94L(统称为“CTU 94”)。行96中的每一者中所说明的CTU 94的数目还说明对于图片92的WPP从行96A直到行96C的垂直逐行的两个CTU滞后。当使用WPP时,归因于滞后或归因于不同行的不同处理速度,可存在可或不可用于预测的搜索区域(例如,根据图2的技术基于矩形区域而确定)的区。
在一些实例中,视频译码器(例如,视频编码器20和/或视频解码器30)可确定WPP被用于译码当前图片92,且基于WPP被用于译码当前图片的确定将对当前块的搜索区域98限制在当前CTU 94L中。举例来说,视频译码器可将搜索区域98限制于在包含当前块的当前CTU 94L左边和在所述CTU 94L的当前行96C中的CTU,即CTU 94K。作为另一实例,视频译码器可将搜索区域98限制于相对于当前CTU 94L在左边、对角左上方或上方的CTU,例如CTU94A、94B、94G、94H和94K。作为另一实例,如图4中所说明,视频译码器可将搜索区域98限制于相对于当前CTU在左边、对角左上方或上方的CTU;和对于当前行上方的行,根据WPP的译码延迟在当前行上方的每行的额外两个右方CTU,即CTU 94A到94K。
在根据本发明的技术的一些实例中,用于帧内BC译码当前图片中的任何块的搜索区域为所述图片的整个经重构部分,其实质上可为整个经重构图片。如果以此方式放大搜索区域,那么可需要另一存储器以提供足以存储图片的经重构块的缓冲区。存储整个经重构图片以供帧内BC的另一存储器对于视频译码器(例如,视频编码器20,且尤其视频解码器30)可为繁重的。
图片或帧缓冲器已经用于帧间预测。为了避免用于帧内BC的另一帧缓冲器,视频译码器可重新运用用于存储帧间帧的一个参考帧的一个缓冲器以替代地存储用于帧内BC预测的经重构图片。视频译码器可以各种方式中的任一者来处置此帧缓冲器的相冲突的用途。
举例来说,视频译码器可禁用也执行帧间预测的帧的帧内BC。然而,禁用帧间帧的帧内BC就性能来说可具有一些损失。在另一实例中,为了减小此些损失,视频译码器可对于并未执行帧间预测的帧,将全帧用作帧内BC的搜索区域,且对于执行帧间预测的帧,使用较小搜索区域,例如根据参考图2到4在上文中所描述的技术而确定。在其它实例中,对于所有帧(包含执行帧间预测的那些帧),参考帧的数目减小1,且视频译码器可仅使用剩余参考帧以供帧间预测。
图5是说明可使用本发明中所描述的用于确定帧内BC的搜索区域的技术的视频编码器20的实例的框图。出于说明的目的将在HEVC译码的情形下描述视频编码器20,但关于其它译码标准并不限制本发明。此外,视频编码器20可经配置以实施根据对HEVC的范围扩展(RExt)或屏幕内容译码(SCC)扩展的技术。
视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频图片内的视频中的空间冗余。帧间译码依赖于时间预测或视图间预测以减少或去除视频序列的邻近图片内的视频中的时间冗余或减少或去除其它视图中的视频冗余。帧内模式(I模式)可以指若干基于空间的压缩模式中的任一者。帧间模式(例如,单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。视频编码器20还可以被配置成帧内BC模式以基于来自同一图片的视频数据的其它经重构块而预测视频数据块,如本文中所描述。
在图5的实例中,视频编码器20可包含视频数据存储器140、预测处理单元142、搜索区域存储器164、滤波器处理单元166、参考图片存储器168、求和器150、变换处理单元152、量化处理单元154和熵编码单元156。预测处理单元142又包含运动估计单元144、运动补偿单元146、帧内预测处理单元148和帧内BC处理单元149。为了视频块重构,视频编码器20还包含反量化处理单元158,反变换处理单元160和求和器162。
在各种实例中,可给视频编码器20的单元分派任务以执行本发明的技术。并且,在一些实例中,本发明的技术可被划分在视频编码器20的单元中的一或多者当中。举例来说,帧内BC处理单元149可单独执行或与视频编码器20的其它单元(例如,运动估计单元144、运动补偿单元146、帧内预测处理单元148、搜索区域存储器164和熵编码单元156)组合执行本发明的技术。
视频数据存储器140可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器140中的视频数据。搜索区域存储器164和参考图片存储器168为存储供用于通过视频编码器20编码视频数据(例如,在帧内或帧间译码模式下,还被称作帧内或帧间预测译码模式以及帧内BC模式)中的参考视频数据的缓冲器的实例。视频数据存储器140、搜索区域存储器164和参考图片存储器168可由各种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器140、搜索区域存储器164和参考图片存储器168可由同一存储器装置或独立存储器装置提供。在各种实例中,视频数据存储器140可与视频编码器20的其它组件一起在芯片上,或相对于所述组件在芯片外。
在编码过程期间,视频编码器20接收待译码的视频图片或切片。所述图片或切片可被划分成多个视频块。虽然并未在图5中说明,但视频编码器20可包含将数据分割成视频块的分割单元。此分割还可包含分割成切片、图块或其它较大单元,以及例如根据CTU和CU的四叉树结构的视频块分割。
运动估计单元144和运动补偿单元146相对于一或多个参考图片中的一或多个块执行所接收到的视频块的帧间预测性译码以提供时间压缩或提供视图间压缩。帧内预测处理单元148可替代地相对于与待译码的块在同一图片或切片中的一或多个相邻块执行所接收到的视频块的帧内预测性译码以提供空间压缩。视频编码器20可执行多个译码遍次(例如,以为每一视频数据块选择适当的译码模式)。
预测处理单元142可基于误差结果选择例如帧内、帧间或帧内BC的译码模式中的一个,以及将所得经译码块提供到求和器150以产生残余块数据且提供到求和器162以重构经编码块以供用于搜索区域内和/或用作参考图片。预测处理单元142还将语法信息(例如,运动向量、帧内模式指示符、分区信息、块向量和任何其它语法信息)提供到熵编码单元156。
运动估计单元144与运动补偿单元146可高度集成,但出于概念目的分开加以说明。运动估计单元144所执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举例来说,运动向量可指示当前视频图片内的视频块的PU相对于参考图片(或其它经译码单元)内的与当前图片(或其它经译码单元)内正被译码的当前块有关的预测性块的位移。预测性块是被发现就像素差来说与待译码的块紧密匹配的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中,视频编码器20可计算存储于参考图片存储器168中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元144可执行相对于全像素位置和分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元144通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算所述PU的运动向量。参考图片可从第一参考图片列表(列表0)或第二参考图片列表(列表1)中选出,所述列表中的每一者识别存储在参考图片存储器168中的一或多个参考图片。运动估计单元144向熵编码单元156和运动补偿单元146发送计算出的运动向量。
由运动补偿单元146执行的运动补偿可涉及基于由运动估计单元144确定的运动向量来获取或产生预测性块。同样,在一些实例中,运动估计单元144与运动补偿单元146可在功能上集成。在接收到当前视频块的PU的运动向量后,运动补偿单元146可即刻在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器150通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块,如下文所论述。一般来说,运动估计单元144相对于亮度分量执行运动估计,且运动补偿单元146将基于亮度分量计算出的运动向量用于色度分量和亮度分量两者。预测处理单元142还可产生供视频解码器30在解码视频切片的视频块时使用的与视频块和视频切片相关联的语法元素。
作为如上文所描述由运动估计单元144和运动补偿单元146执行的帧间预测的替代方案,帧内预测处理单元148可以对当前块进行帧内预测。具体来说,帧内预测处理单元148可确定用以对当前块进行编码的帧内预测模式。在一些实例中,帧内预测处理单元148可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块,且帧内预测单元148可从经测试模式中选择适当帧内预测模式来使用。
举例来说,帧内预测处理单元148可以使用速率失真分析计算各种经测试帧内预测模式的速率失真值,并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量,以及用以产生经编码块的位速率(即,位数目)。帧内预测处理单元148可以根据各种经编码块的失真和速率计算比率,以确定哪种帧内预测模式展现所述块的最佳速率失真值。
在一些实例中,帧内BC处理单元149可以类似于上文关于运动向量、运动估计单元144和运动补偿单元146所描述的方式产生块向量且获取预测性块,但其中预测性块与当前块处于同一图片或帧中,且更确切地说,在当前图片内的搜索区域内。类似于帧间和帧内预测,对于帧内BC,预测性块可为被发现就像素差来说与待译码的块紧密匹配的块,其可通过SAD、SSD或其它差度量确定,且对所述块的识别可包含对子整数像素位置的值的计算。在一些实例中,视频编码器20的预测处理单元142可基于每一模式的结果(例如如由SAD、SSD或其它差异或译码效率度量值所反映)选择使用帧间、帧内或帧内BC预测中的哪一者预测给定块。在预测处理单元142经由帧间预测、帧内预测或帧内BC预测产生当前视频块的预测性块之后,视频编码器20例如经由求和器150通过从当前视频块减去预测性块而形成残余视频块。
残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元152。变换处理单元152将例如离散余弦变换(DCT)或在概念上类似的变换等变换应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元152可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下,变换处理单元152将变换应用于残余块,从而产生残余变换系数块。所述变换可将残余信息从像素值域转换到变换域(例如,频域)。
变换处理单元152可将所得变换系数发送到量化处理单元154。量化处理单元154量化所述变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调节量化参数来修改量化的程度。在一些实例中,量化处理单元154可接着执行对包含经量化变换系数的矩阵的扫描。替代地,熵编码单元156可执行所述扫描。
在量化之后,熵编码单元156对经量化变换系数进行熵编码。举例来说,熵编码单元156可执行CAVLC、CABAC、SBAC、PIPE译码或另一熵译码技术。在基于上下文的熵译码的状况下,上下文可基于相邻块。在由熵编码单元156进行熵译码之后,可以将经编码位流传输到另一装置(例如,视频解码器30),或者将所述经编码位流存档以用于稍后传输或检索。
反量化处理单元158和反变换处理单元160分别应用反量化和反变换以重构像素域中的残余块。求和器162将经重构残余块添加到预测性块以产生经重构视频块以供存储在搜索区域存储器164和参考图片存储器168中的一者或两者中。经重构视频块可被运动估计单元144和运动补偿单元146用作预测性块以对后续视频图片中的块进行帧间译码;或被帧内BC处理单元149用作预测性块以供对当前图片中的后续块的帧内BC译码。
搜索区域存储器164根据由视频编码器20(例如,帧内BC处理单元149)使用本文中所描述的技术中的任一者对用于当前视频块的帧内BC的搜索区域的界定或确定而存储经重构视频块。搜索区域存储器164可存储尚未被滤波器处理单元166环路内滤波的经重构视频块。求和器162可将经重构视频块并行地提供到滤波器处理单元166与搜索区域存储器164。帧内BC处理单元149可搜索搜索区域存储器164中的经重构视频块以寻找与当前视频块在同一图片内的预测性视频块,从而根据帧内BC预测模式预测当前视频块。在一些实例中,如上文所论述,可将足以缓冲实质上整个图片或帧的经重构视频数据的存储器从参考图片存储器168分配为搜索区域存储器164。
滤波器处理单元166可对经重构视频块执行环路内滤波。环路内滤波可包含解块滤波以对块边界进行滤波以从经重构视频去除成块假象。环路内滤波还可包含SAO滤波以改进经重构视频。其中一些可经环路内滤波的经重构块可作为参考图片存储在参考图片存储器168中。参考图片可包含可由运动估计单元144和运动补偿单元144用作预测性块以帧间预测后续视频帧或图片中的块的经重构块。虽然滤波器处理单元166在图7中说明为从搜索区域存储器164接收信息,但滤波器处理单元166不一定从搜索区域存储器接收经重构视频块,且可接收不同于搜索区域存储器的块或不同于搜索区域存储器的日期,例如从未包含于搜索区域存储器164中的块。
以此方式,视频编码器20可经配置以实施本发明中所描述的一或多个实例技术。举例来说,视频编码器20(例如,帧内BC处理单元149)可经配置以确定用于帧内块复制译码当前视频数据块的搜索区域的中心点;基于搜索区域的中心点和经界定大小确定当前块的搜索区域;以及基于所确定的搜索区域将来自包含当前块的当前图片的视频数据的经重构块存储在存储器中,例如存储在搜索区域存储器164内。视频编码器20可经配置以在包含视频数据的经编码视频位流中编码用以识别搜索区域内的经重构块中的一个的信息;且根据帧内块复制基于经重构块中所识别的一个对当前块进行编码。
图6是说明可实施本发明中描述的技术的视频解码器30的实例的框图。同样,出于说明的目的将在HEVC译码的情形下描述视频编码器30,但关于其它译码标准并不限制本发明。此外,视频解码器30可经配置以实施根据范围扩展(RExt)或屏幕内容译码(SCC)扩展的技术。
在图6的实例中,视频解码器30可包含视频数据存储器169、熵解码单元170、预测处理单元171、反量化处理单元176、反变换处理单元178、求和器180、搜索区域存储器182、滤波器处理单元184和参考图片存储器186。预测处理单元171包含运动补偿单元172、帧内预测单元174和帧内BC处理单元175。在一些实例中,视频解码器30可执行一般与根据图5关于视频编码器20所描述的编码遍次互反的解码遍次。
在各种实例中,可给视频解码器30的单元分派任务以执行本发明的技术。并且,在一些实例中,本发明的技术可被划分在视频解码器30的单元中的一或多者当中。举例来说,帧内BC处理单元175可单独执行或与视频解码器30的其它单元(例如,运动补偿单元172、帧内预测处理单元174、搜索区域存储器182和熵解码单元170)组合执行本发明的技术。
视频数据存储器169可以存储待通过视频解码器30的组件进行解码的视频数据,例如经编码视频位流。存储在视频数据存储器169中的视频数据可以例如从存储装置32获得;经由视频数据的有线或无线网络通信从本地视频源(例如,相机)获得;或通过存取物理数据存储媒体来获得。视频数据存储器169可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。
搜索区域存储器182和参考图片存储器186为存储供视频解码器30用于解码视频数据(例如,在帧内译码、帧间译码或帧内BC模式下)的参考视频数据的经解码图片缓冲器(DPB)的实例。视频数据存储器169、搜索区域存储器182和参考图片存储器186可由各种存储器装置中的任一者形成,例如动态随机存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器169、搜索区域存储器182和参考图片存储器186可由同一存储器装置或独立存储器装置提供。在各种实例中,视频数据存储器169可与视频解码器30的其它组件一起在芯片上,或相对于那些组件在芯片外。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元170对位流进行熵解码以产生经量化系数、运动向量、块向量或帧内预测模式指示符和在本文中关于本发明的技术所描述的任何其它语法元素。熵解码单元170将语法元素转发到预测处理单元171。视频解码器30可接收在视频切片层级、视频块层级或更高层级(例如,图片或序列层级)处的语法元素。
当将视频切片译码为经帧内译码(I)切片时,帧内预测处理单元174可基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频图片译码为经帧间译码(即,B或P)切片时,运动补偿单元172基于从熵解码单元170接收的运动向量和其它语法元素产生当前视频切片的视频块的预测性块。所述预测性块可由参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器186中的参考图片使用默认构建技术构建参考图片列表(列表0和列表1)。
运动补偿单元172通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息,并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说,运动补偿单元172使用所接收到的语法元素中的一些语法元素确定用于对视频切片的视频块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片或P切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态,和用以解码当前视频切片中的视频块的其它信息。
运动补偿单元172还可基于内插滤波器执行内插。运动补偿单元172可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下,运动补偿单元172可根据所接收到的语法元素确定由视频编码器20使用的内插滤波器,且使用内插滤波器产生预测性块。
当根据本文中所描述的帧内BC模式译码视频块时,预测处理单元171的帧内BC处理单元175基于从熵解码单元170接收的块向量和其它语法元素而产生当前视频块的预测性块。所述预测性块可在与当前视频块相同的图片内的搜索区域内,且可被从搜索区域存储器182检索。帧内BC处理单元175可使用本文中所描述的技术中的任一者确定搜索区域。
反量化处理单元176对在位流中提供且通过熵解码单元170解码的经量化变换系数进行反量化,即解量化。反量化过程可包含将通过视频解码器30计算出的量化参数QPY用于视频切片中的每一视频块以确定量化的程度,以及同样地,应该应用的反量化的程度。
反变换处理单元178对变换系数应用反变换,例如反DCT、反整数变换或概念上类似的反变换过程,以便产生像素域中的残余块。视频解码器30通过求和来自反变换处理单元178的残余块与由预测处理单元171产生的对应预测性块而形成经解码视频块。求和器180表示执行此求和操作的一或多个组件。
搜索区域存储器182根据使用本文中所描述的技术确定用于由帧内BC处理单元175进行的当前视频块的帧内BC译码的搜索区域而存储经重构视频块。举例来说,帧内BC处理单元175可确定当前视频数据块的搜索区域的中心点,且基于搜索区域的中心点和经界定大小确定当前块的搜索区域。搜索区域存储器182可基于所确定的搜索区域存储来自包含当前块的当前图片的视频数据的经重构块。搜索区域存储器182可存储尚未被滤波器处理单元184环路内滤波的经重构视频块。求和器180可将经重构视频块并行地提供到滤波器处理单元184与搜索区域存储器182。帧内BC处理单元175从搜索区域存储器182检索当前视频块的预测性视频块。
滤波器处理单元184可对经重构视频块执行环路内滤波。环路内滤波可包含解块滤波以对块边界进行滤波以从经重构视频去除成块假象。环路内滤波还可包含SAO滤波以改进经重构视频。其中一些可经环路内滤波的经重构块可作为参考图片存储在参考图片存储器186中。参考图片可包含可由运动补偿单元172用作预测性块以帧间预测后续视频帧或图片中的块的经重构块。参考图片存储器186还存储经解码视频以供稍后呈现在显示装置(例如,图1的显示装置31)上。
以此方式,视频解码器30可经配置以实施本发明中所描述的一或多个实例技术。举例来说,视频解码器30(例如,帧内BC处理单元175)可经配置以确定用于帧内块复制译码当前视频数据块的搜索区域的中心点;基于搜索区域的中心点和经界定大小确定当前块的搜索区域;以及基于所确定的搜索区域将来自包含当前块的当前图片的视频数据的经重构块存储在存储器(例如,搜索区域存储器182)中。视频解码器30还可经配置以从包含视频数据的经编码视频位流解码用以识别搜索区域内的经重构块中的一个的信息;且根据帧内块复制基于经重构块中所识别的一个重构当前块。
图7是说明用于根据本发明的技术确定用于根据帧内BC模式编码当前视频数据块的搜索区域的实例方法的流程图。图7的实例技术可通过视频编码器实施,例如包含帧内BC处理单元149的视频编码器20。
根据图7的实例,视频编码器20确定用于使用帧内BC编码当前视频块的搜索区域的中心点54(200)。举例来说,视频编码器20可基于先前使用帧内BC译码的视频块(例如,使用帧内BC经译码的当前CTU的第一块)的块向量50或当前CTU或当前视频块的空间或时间相邻块的块向量50而确定中心点。视频编码器20基于搜索区域的中心点以及经界定的大小和/或形状确定当前块的搜索区域(202)。在一些实例中,视频编码器20可确定所要搜索区域;确定所要搜索区域的中心点;以及在经编码视频位流中用信号发送信息,例如位置或相邻块,由此视频解码器30可确定中心点。
根据图7的实例,视频编码器20确定所确定的搜索区域的一部分是否不可用于根据帧内BC对当前视频块的预测(204)。如果搜索区域的一部分不可用,那么视频编码器20可例如通过根据本文中所描述的技术中的任一者限制、填充或移位搜索区域而修改搜索区域(206)。如本文中所描述,限制可包含将搜索区域限制于确定已根据WPP处理的块;移位可包含移位到边界的一侧而不改变搜索区域的大小或形状;以及填充可包含使用经复制的值或固定值填充。无论搜索区域是否经修改,视频编码器20基于所确定的(和在一些状况下,经修改的)搜索区域而将经重构块存储在例如搜索区域存储器164内(208)。
视频编码器20从搜索区域选择预测性块46(210)。视频编码器20确定所述预测性块的块向量50,且基于当前块和预测性块确定残余块。视频编码器20在经编码视频位流中编码语法信息(根据所述语法信息,视频解码器30可确定块向量和残余块)和与本发明的技术相关的任何其它语法信息,例如视频解码器可由此确定搜索区域的语法信息(例如,中心点的位置、根据其块向量可确定中心点的相邻块,或搜索区域的大小和/或形状)(212)。
图8是说明用于根据本发明的技术确定用于根据帧内BC模式解码当前视频数据块的搜索区域的实例方法的流程图。图8的实例技术可通过视频解码器实施,例如包含帧内BC处理单元175的视频解码器30。
根据图8的实例,视频解码器30确定用于使用帧内BC编码当前视频块的搜索区域的中心点54(220)。举例来说,视频解码器30可基于先前使用帧内BC译码的视频块(例如,使用帧内BC经译码的当前CTU的第一块)的块向量50或当前CTU或当前视频块的空间或时间相邻块的块向量50而确定中心点。视频解码器30基于搜索区域的中心点以及经界定的大小和/或形状确定当前块的搜索区域(222)。在一些实例中,视频解码器30可从经编码视频位流解码指定搜索区域的中心点(例如,坐标或向量)和/或大小或形状的语法信息,例如用信号发送像素值或已知值,例如LCU大小的倍数。
根据图8的实例,视频解码器30确定所确定的搜索区域的一部分是否不可用于根据帧内BC对当前视频块的预测(224)。如果搜索区域的一部分不可用,那么视频解码器30可例如通过根据本文中所描述的技术中的任一者限制、填充或移位搜索区域而修改搜索区域(226)。无论搜索区域是否经修改,视频解码器30基于所确定的(和在一些状况下,经修改的)搜索区域而将经重构块存储在例如搜索区域存储器182内(228)。
视频解码器30例如基于经编码视频位流中的识别当前视频块的块向量50的语法信息而从搜索区域识别预测性块46(230)。块向量指向当前图片中的与当前块有关的预测性块的位置,例如所述预测性块的左上方、右上方、左下方、右下方或中心像素。视频解码器30还基于经编码视频位流确定残余块,且求和预测性块与残余块以重构当前视频块(232)。
出于说明的目的,已相对于HEVC标准和其扩展而描述了本发明的某些方面。然而,本发明中描述的技术可适用于其它视频译码过程,包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述,视频译码器可以指视频编码器或视频解码器。类似地,视频译码单元可以指视频编码器或视频解码器。同样地,在适用时,视频译码可指代视频编码或视频解码。
应认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可用不同序列来执行,可添加、合并或全部省略所述动作或事件(例如,实践所述技术未必需要所有所描述动作或事件)。此外,在某些实例中,可同时(例如,经由多线程处理、中断处理或多个处理器)而非依序地执行动作或事件。
在一或多个实例中,描述的功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施,那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输,并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体;或包含任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。
以此方式,计算机可读媒体一般可对应于(1)有形计算机可读存储媒体,其为非暂时性的,或(2)通信媒体,例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码并且可由计算机存取的任何其它媒体。并且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。
然而,应理解,计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘,其中磁盘通常是以磁性方式再现数据,而光盘是用激光以光学方式再现数据。以上各者的组合也应该包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行,所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或者并入于组合式编解码器中。并且,可以将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。相反地,如上文所描述,各种单元可以组合在编解码器硬件单元中,或者通过结合合适的软件和/或固件的互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。
Claims (30)
1.一种对视频数据进行译码的方法,所述方法包括:
确定对所述视频数据的当前块的搜索区域的中心点;
基于所述搜索区域的所述中心点和经界定的大小确定对所述当前块的所述搜索区域;
基于所述确定的搜索区域而将来自包含所述当前块的当前图片的所述视频数据的经重构块存储在存储器中;
译码用以识别所述搜索区域内的所述经重构块中的一者的信息;以及
基于所述经重构块中的所述识别的一者译码所述当前块。
2.根据权利要求1所述的方法,其中确定所述搜索区域的所述中心点包括:
识别包含所述当前块的当前译码树单元CTU的块向量;以及
基于所述识别的块向量确定所述搜索区域的所述中心点。
3.根据权利要求1所述的方法,其中确定所述搜索区域的所述中心点包括:
识别所述当前块或包含所述当前块的当前译码树单元CTU中的至少一者的相邻块的块向量;以及
基于所述识别的块向量确定所述搜索区域的所述中心点。
4.根据权利要求1所述的方法,其中在包含所述视频数据的经编码视频位流中用信号发送所述当前图片内所述中心点的位置。
5.根据权利要求1所述的方法,其中所述搜索区域的所述大小是经预先界定或在包含所述视频数据的经编码视频位流中用信号发送中的一者。
6.根据权利要求5所述的方法,其中所述搜索区域的所述大小由宽度和高度界定,其中所述宽度经界定为译码树单元CTU宽度的倍数,且所述高度经界定为CTU高度的倍数。
7.根据权利要求5所述的方法,其中所述搜索区域的所述大小由以像素为单位的宽度和高度界定。
8.根据权利要求1所述的方法,其进一步包括:
识别所述确定的搜索区域的不可用于译码所述当前块的一部分;以及
通过以下各者中的至少一者以样本值填充所述搜索区域的所述不可用部分:
复制接近于所述搜索区域的所述不可用部分的样本值,或
使用固定样本值。
9.根据权利要求8所述的方法,其中使用固定样本值包括根据0,1,<<(B-1)确定所述固定样本值,其中B为样本位深度。
10.根据权利要求1所述的方法,其进一步包括:
确定所述确定的搜索区域的一部分在边界的不同于所述当前块的侧上,其中所述边界包括切片边界、图块边界或所述当前图片的边界中的至少一者;以及
移位所述确定的搜索区域使得所述整个搜索区域在所述边界的与所述当前块相同的侧上。
11.根据权利要求1所述的方法,其进一步包括:
确定波前并行处理WPP被用于译码所述当前图片;以及
基于WPP被用于译码所述当前图片的所述确定而限制对所述当前块的所述确定的搜索区域。
12.根据权利要求11所述的方法,其中基于WPP被用于译码所述当前图片的所述确定而限制对所述当前块的所述确定的搜索区域包括将所述确定的搜索区域限制于以下各者中的一者:
在包含所述当前块的当前译码树单元CTU左边且在包含所述当前块的当前CTU的当前行中的CTU;
相对于所述当前CTU在左边、对角左上方或上方的CTU;或
相对于所述当前CTU在左边、对角左上方或上方的CTU,和对于所述当前行上方的行,根据WPP的熵译码延迟在所述当前行上方的每行的额外两个右方CTU。
13.根据权利要求1所述的方法,
其中确定所述搜索区域的所述中心点包括确定用于解码所述视频数据的所述当前块的所述搜索区域的所述中心点,
其中译码用以识别所述搜索区域内的所述经重构块中的一者的信息包括解码来自包含所述视频数据的经编码视频位流的所述信息;以及
其中基于所述经重构块中的所述识别的一者译码所述当前块包括基于所述经重构块中的所述识别的一者重构所述当前块。
14.根据权利要求1所述的方法,
其中确定所述搜索区域的所述中心点包括确定用于编码所述视频数据的所述当前块的所述搜索区域的所述中心点,
其中译码用以识别所述搜索区域内的所述经重构块中的一者的信息包括在包含所述视频数据的经编码视频位流中编码所述信息;以及
其中基于所述经重构块中的所述识别的一者译码所述当前块包括基于所述经重构块中的所述识别的一者编码所述当前块。
15.一种装置,其包括视频译码器,所述视频译码器包括:
存储器,其经配置以存储视频数据;以及
一或多个处理器,其经配置以:
确定对所述视频数据的当前块的搜索区域的中心点;
基于所述搜索区域的所述中心点和经界定的大小确定对所述当前块的所述搜索区域;
基于所述确定的搜索区域而将来自包含所述当前块的当前图片的所述视频数据的经重构块存储在所述存储器中;
译码用以识别所述搜索区域内的所述经重构块中的一者的信息;以及
基于所述经重构块中的所述识别的一者译码所述当前块。
16.根据权利要求15所述的装置,其中所述一或多个处理器经配置以:
识别包含所述当前块的当前译码树单元CTU的块向量;以及
基于所述识别的块向量确定所述搜索区域的所述中心点。
17.根据权利要求15所述的装置,其中所述一或多个处理器经配置以:
识别所述当前块或包含所述当前块的当前译码树单元CTU中的至少一者的相邻块的块向量;以及
基于所述识别的块向量确定所述搜索区域的所述中心点。
18.根据权利要求15所述的装置,其中在包含所述视频数据的经编码视频位流中用信号发送所述当前图片内所述中心点的位置。
19.根据权利要求15所述的装置,其中所述搜索区域的所述大小是经预先界定或在包含所述视频数据的经编码视频位流中用信号发送中的一者。
20.根据权利要求19所述的装置,其中所述搜索区域的所述大小由宽度和高度界定,
其中所述宽度经界定为译码树单元CTU宽度的倍数,且所述高度经界定为CTU高度的倍数。
21.根据权利要求19所述的装置,其中所述搜索区域的所述大小由以像素为单位的宽度和高度界定。
22.根据权利要求15所述的装置,其中所述一或多个处理器经配置以:
识别所述确定的搜索区域的不可用于译码所述当前块的一部分;以及
通过以下各者中的至少一者以样本值填充所述搜索区域的所述不可用部分:
复制接近于所述搜索区域的所述不可用部分的样本值,或
使用固定样本值。
23.根据权利要求22所述的装置,其中所述一或多个处理器经配置以根据0,1,<<(B-1)确定所述固定样本值,其中B为样本位深度。
24.根据权利要求15所述的装置,其中所述一或多个处理器经配置以:
确定所述确定的搜索区域的一部分在边界的不同于所述当前块的侧上,其中所述边界包括切片边界、图块边界或所述当前图片的边界中的至少一者;以及
移位所述确定的搜索区域使得所述整个搜索区域在所述边界的与所述当前块相同的侧上。
25.根据权利要求15所述的装置,其中所述一或多个处理器经配置以:
确定波前并行处理WPP被用于译码所述当前图片;以及
基于WPP被用于译码所述当前图片的所述确定而限制对所述当前块的所述确定的搜索区域。
26.根据权利要求25所述的装置,其中所述一或多个处理器经配置以基于WPP被用于译码所述当前图片的所述确定而将对所述当前块的所述确定的搜索区域限制于以下各者中的一者:
在包含所述当前块的当前译码树单元CTU左边且在包含所述当前块的当前CTU的当前行中的CTU;
相对于所述当前CTU在左边、对角左上方或上方的CTU;或
相对于所述当前CTU在左边、对角左上方或上方的CTU,和对于所述当前行上方的行,根据WPP的熵译码延迟在所述当前行上方的每行的额外两个右方CTU。
27.根据权利要求15所述的装置,其中所述视频译码器包括视频解码器,且所述一或多个处理器经配置以:
确定用于解码所述视频数据的所述当前块的所述搜索区域的所述中心点;
解码来自包含所述视频数据的经编码视频位流的用以识别所述搜索区域内的所述经重构块中的一者的所述信息;以及
基于所述经重构块中的所述识别的一者重构所述当前块。
28.根据权利要求15所述的装置,其中所述视频译码器包括视频编码器,且所述一或多个处理器经配置以:
确定用于编码所述视频数据的所述当前块的所述搜索区域的所述中心点;
在包含所述视频数据的经编码视频位流中编码用以识别所述搜索区域内的所述经重构块中的一者的所述信息;以及
基于所述经重构块中的所述识别的一者编码所述当前块。
29.一种用于译码视频数据的装置,所述装置包括:
用于确定对所述视频数据的当前块的搜索区域的中心点的装置;
用于基于所述搜索区域的所述中心点和经界定的大小确定对所述当前块的所述搜索区域的装置;
用于基于所述确定的搜索区域而存储来自包含所述当前块的当前图片的所述视频数据的经重构块的装置;
用于译码用以识别所述搜索区域内的所述经重构块中的一者的信息的装置;以及
用于基于所述经重构块中的所述识别的一者译码所述当前块的装置。
30.一种计算机可读存储媒体,其具有存储在其上的指令,所述指令在执行时致使视频译码器的一或多个处理器:
确定对视频数据的当前块的搜索区域的中心点;
基于所述搜索区域的所述中心点和经界定的大小确定对所述当前块的所述搜索区域;
基于所述确定的搜索区域而将来自包含所述当前块的当前图片的所述视频数据的经重构块存储在存储器中;
译码用以识别所述搜索区域内的所述经重构块中的一者的信息;以及
基于所述经重构块中的所述识别的一者译码所述当前块。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461968999P | 2014-03-21 | 2014-03-21 | |
US61/968,999 | 2014-03-21 | ||
US14/663,161 | 2015-03-19 | ||
US14/663,161 US10477232B2 (en) | 2014-03-21 | 2015-03-19 | Search region determination for intra block copy in video coding |
PCT/US2015/021789 WO2015143346A1 (en) | 2014-03-21 | 2015-03-20 | Search region determination for intra block copy in video coding |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106134196A true CN106134196A (zh) | 2016-11-16 |
Family
ID=54143335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580013316.7A Pending CN106134196A (zh) | 2014-03-21 | 2015-03-20 | 在视频译码中用于帧内块复制的搜索区域确定 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10477232B2 (zh) |
EP (1) | EP3120558A1 (zh) |
JP (1) | JP2017513361A (zh) |
KR (1) | KR20160135226A (zh) |
CN (1) | CN106134196A (zh) |
BR (1) | BR112016023401A2 (zh) |
WO (1) | WO2015143346A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110365987A (zh) * | 2018-04-09 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种运动矢量确定方法、装置及其设备 |
CN110754089A (zh) * | 2017-06-29 | 2020-02-04 | 高通股份有限公司 | 减少360度视频中的接缝伪影 |
CN111684806A (zh) * | 2018-02-08 | 2020-09-18 | 高通股份有限公司 | 用于视频译码的块内复制 |
CN112913245A (zh) * | 2018-10-27 | 2021-06-04 | 高通股份有限公司 | 视频译码中的块内复制预测限制 |
CN113196775A (zh) * | 2018-12-20 | 2021-07-30 | 高通股份有限公司 | 用于当前图片参考(cpr)和帧内块复制(ibc)的虚拟搜索区 |
CN114666602A (zh) * | 2019-03-09 | 2022-06-24 | 腾讯美国有限责任公司 | 视频解码方法、装置及介质 |
CN114666604A (zh) * | 2018-09-21 | 2022-06-24 | 腾讯美国有限责任公司 | 视频编码的方法、装置及计算机可读介质 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10582213B2 (en) | 2013-10-14 | 2020-03-03 | Microsoft Technology Licensing, Llc | Features of intra block copy prediction mode for video and image coding and decoding |
US11109036B2 (en) | 2013-10-14 | 2021-08-31 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
CA2925183C (en) | 2013-10-14 | 2020-03-10 | Microsoft Technology Licensing, Llc | Features of base color index map mode for video and image coding and decoding |
KR102353787B1 (ko) | 2014-01-03 | 2022-01-19 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 |
US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
US10432928B2 (en) | 2014-03-21 | 2019-10-01 | Qualcomm Incorporated | Using a current picture as a reference for video coding |
EP3158734A1 (en) | 2014-06-19 | 2017-04-26 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
MY180962A (en) * | 2014-06-20 | 2020-12-14 | Sony Corp | Image encoding apparatus and method, and image decoding apparatus and method |
EP3917146A1 (en) * | 2014-09-30 | 2021-12-01 | Microsoft Technology Licensing, LLC | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
GB2531001B (en) * | 2014-10-06 | 2019-06-05 | Canon Kk | Method and apparatus for vector encoding in video coding and decoding |
GB2531003A (en) * | 2014-10-06 | 2016-04-13 | Canon Kk | Method and apparatus for vector encoding in video coding and decoding |
US10165292B2 (en) * | 2015-02-02 | 2018-12-25 | Mediatek Inc. | Method and apparatus for intra block copy mode in video coding system with pipeline architecture |
US10045038B2 (en) * | 2015-05-28 | 2018-08-07 | Hfi Innovation Inc. | Method and apparatus for using a current picture as a reference picture |
KR20180016348A (ko) * | 2015-06-05 | 2018-02-14 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법 |
US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
US10368073B2 (en) * | 2015-12-07 | 2019-07-30 | Qualcomm Incorporated | Multi-region search range for block prediction mode for display stream compression (DSC) |
US10645362B2 (en) * | 2016-04-11 | 2020-05-05 | Gopro, Inc. | Systems, methods and apparatus for compressing video content |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US10506230B2 (en) * | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
WO2018146151A1 (en) * | 2017-02-08 | 2018-08-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Predictive coding concept using template matching |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
KR102257829B1 (ko) * | 2017-04-13 | 2021-05-28 | 엘지전자 주식회사 | 영상의 부호화/복호화 방법 및 이를 위한 장치 |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
WO2019107994A1 (ko) * | 2017-11-29 | 2019-06-06 | 한국전자통신연구원 | 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치 |
US11349753B2 (en) * | 2017-12-28 | 2022-05-31 | Intel Corporation | Converged routing for distributed computing systems |
US10607484B2 (en) | 2017-12-28 | 2020-03-31 | Intel Corporation | Privacy-preserving distributed visual data processing |
US10778412B2 (en) | 2017-12-28 | 2020-09-15 | Intel Corporation | Multi-domain convolutional neural network |
US10986349B2 (en) * | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
WO2019199045A1 (ko) * | 2018-04-11 | 2019-10-17 | 엘지전자 주식회사 | 제한된 참조 영역이 설정된 인터 예측을 이용한 영상 코딩 방법 및 그 장치 |
WO2019246535A1 (en) | 2018-06-22 | 2019-12-26 | Op Solutions, Llc | Block level geometric partitioning |
US11019331B2 (en) * | 2018-07-16 | 2021-05-25 | Tencent America LLC | Method and apparatus for video coding with prediction information |
US11477476B2 (en) | 2018-10-04 | 2022-10-18 | Qualcomm Incorporated | Affine restrictions for the worst-case bandwidth reduction in video coding |
US20200112717A1 (en) * | 2018-10-05 | 2020-04-09 | Qualcomm Incorporated | Intra block copy prediction restrictions in video coding |
US11509919B2 (en) * | 2018-10-17 | 2022-11-22 | Tencent America | Reference sample memory size restrictions for intra block copy |
WO2020113156A1 (en) * | 2018-11-30 | 2020-06-04 | Tencent America LLC | Method and apparatus for video coding |
KR20210118154A (ko) | 2019-01-28 | 2021-09-29 | 오피 솔루션즈, 엘엘씨 | 적응형 개수의 영역들을 갖는 기하학적 파티셔닝에서의 인터 예측 |
CN113597757A (zh) * | 2019-01-28 | 2021-11-02 | Op方案有限责任公司 | 具有区域数自适应的几何划分的形状自适应离散余弦变换 |
CN113383549A (zh) * | 2019-02-02 | 2021-09-10 | 北京字节跳动网络技术有限公司 | 使用用于视频编解码中的帧内块复制的帧内缓冲区样点的预测 |
EP3915265A4 (en) | 2019-03-01 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING |
CN117640927A (zh) | 2019-03-04 | 2024-03-01 | 北京字节跳动网络技术有限公司 | 视频编解码中的帧内块复制中的实施方式方面 |
WO2020197264A1 (ko) * | 2019-03-25 | 2020-10-01 | 엘지전자 주식회사 | 비디오 신호를 처리하기 위한 방법 및 장치 |
US11070816B2 (en) | 2019-06-18 | 2021-07-20 | Tencent America LLC | Conversion of decoded block vector for intra picture block compensation |
JP7338262B2 (ja) * | 2019-06-21 | 2023-09-05 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
AU2020312053B2 (en) | 2019-07-10 | 2023-09-14 | Beijing Bytedance Network Technology Co., Ltd. | Sample identification for intra block copy in video coding |
EP4104447A4 (en) | 2020-03-17 | 2023-08-16 | ByteDance Inc. | USE OF A VIDEO PARAMETER SET IN VIDEO CODING |
WO2022114770A1 (ko) * | 2020-11-24 | 2022-06-02 | 현대자동차주식회사 | 기하학적 변환에 기반하는 블록 복사를 이용하는 인트라 예측방법과 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7440500B2 (en) * | 2003-07-15 | 2008-10-21 | Lsi Logic Corporation | Supporting motion vectors outside picture boundaries in motion estimation process |
US20110293012A1 (en) * | 2010-05-27 | 2011-12-01 | The Hong Kong University Of Science And Technology | Motion estimation of images |
CN103299620A (zh) * | 2010-12-22 | 2013-09-11 | 高通股份有限公司 | 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码 |
US20130272370A1 (en) * | 2012-04-11 | 2013-10-17 | Qualcomm Incorporated | Wavefront parallel processing for video coding |
CN103404144A (zh) * | 2011-03-04 | 2013-11-20 | 高通股份有限公司 | 视频译码中的经量化脉码调制 |
US20140064360A1 (en) * | 2012-08-31 | 2014-03-06 | Qualcomm Incorporated | Intra prediction improvements for scalable video coding |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0220988A (ja) | 1988-07-08 | 1990-01-24 | Fujitsu Ltd | 動画像符号化装置における動ベクトル検出方式 |
US7120196B2 (en) * | 2002-04-29 | 2006-10-10 | Ess Technology, Inc. | Intra-prediction using intra-macroblock motion compensation |
US9693070B2 (en) * | 2011-06-24 | 2017-06-27 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
US10904551B2 (en) * | 2013-04-05 | 2021-01-26 | Texas Instruments Incorporated | Video coding using intra block copy |
TWI536811B (zh) * | 2013-12-27 | 2016-06-01 | 財團法人工業技術研究院 | 影像處理方法與系統、解碼方法、編碼器與解碼器 |
US20150264383A1 (en) * | 2014-03-14 | 2015-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Block Copy Modes for Image and Video Coding |
US9591325B2 (en) * | 2015-01-27 | 2017-03-07 | Microsoft Technology Licensing, Llc | Special case handling for merged chroma blocks in intra block copy prediction mode |
-
2015
- 2015-03-19 US US14/663,161 patent/US10477232B2/en active Active
- 2015-03-20 JP JP2016558077A patent/JP2017513361A/ja active Pending
- 2015-03-20 KR KR1020167026922A patent/KR20160135226A/ko unknown
- 2015-03-20 BR BR112016023401A patent/BR112016023401A2/pt not_active Application Discontinuation
- 2015-03-20 WO PCT/US2015/021789 patent/WO2015143346A1/en active Application Filing
- 2015-03-20 EP EP15715039.2A patent/EP3120558A1/en not_active Withdrawn
- 2015-03-20 CN CN201580013316.7A patent/CN106134196A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7440500B2 (en) * | 2003-07-15 | 2008-10-21 | Lsi Logic Corporation | Supporting motion vectors outside picture boundaries in motion estimation process |
US20110293012A1 (en) * | 2010-05-27 | 2011-12-01 | The Hong Kong University Of Science And Technology | Motion estimation of images |
CN103299620A (zh) * | 2010-12-22 | 2013-09-11 | 高通股份有限公司 | 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码 |
CN103404144A (zh) * | 2011-03-04 | 2013-11-20 | 高通股份有限公司 | 视频译码中的经量化脉码调制 |
US20130272370A1 (en) * | 2012-04-11 | 2013-10-17 | Qualcomm Incorporated | Wavefront parallel processing for video coding |
US20140064360A1 (en) * | 2012-08-31 | 2014-03-06 | Qualcomm Incorporated | Intra prediction improvements for scalable video coding |
Non-Patent Citations (1)
Title |
---|
MADHUKAR BUDAGAVI,DO-KYOUNG KWON: ""Intra motion compensation and entropy coding"", 《2013 PICTURE CODING SYMPOSIUM(PCS),IEEE,8 DECEMBER 2013》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110754089A (zh) * | 2017-06-29 | 2020-02-04 | 高通股份有限公司 | 减少360度视频中的接缝伪影 |
CN110754089B (zh) * | 2017-06-29 | 2023-11-07 | 高通股份有限公司 | 减少360度视频中的接缝伪影 |
CN111684806A (zh) * | 2018-02-08 | 2020-09-18 | 高通股份有限公司 | 用于视频译码的块内复制 |
CN111684806B (zh) * | 2018-02-08 | 2024-03-15 | 高通股份有限公司 | 用于视频译码的块内复制 |
CN110365987A (zh) * | 2018-04-09 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 一种运动矢量确定方法、装置及其设备 |
CN110365987B (zh) * | 2018-04-09 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 一种运动矢量确定方法、装置及其设备 |
CN114666604A (zh) * | 2018-09-21 | 2022-06-24 | 腾讯美国有限责任公司 | 视频编码的方法、装置及计算机可读介质 |
US12010340B2 (en) | 2018-09-21 | 2024-06-11 | Tencent America LLC | Intra block copy search range |
CN112913245A (zh) * | 2018-10-27 | 2021-06-04 | 高通股份有限公司 | 视频译码中的块内复制预测限制 |
CN113196775B (zh) * | 2018-12-20 | 2024-05-28 | 高通股份有限公司 | 用于当前图片参考(cpr)和帧内块复制(ibc)的虚拟搜索区 |
CN113196775A (zh) * | 2018-12-20 | 2021-07-30 | 高通股份有限公司 | 用于当前图片参考(cpr)和帧内块复制(ibc)的虚拟搜索区 |
CN114666607A (zh) * | 2019-03-09 | 2022-06-24 | 腾讯美国有限责任公司 | 视频解码方法、装置及介质 |
CN114666602A (zh) * | 2019-03-09 | 2022-06-24 | 腾讯美国有限责任公司 | 视频解码方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2017513361A (ja) | 2017-05-25 |
KR20160135226A (ko) | 2016-11-25 |
US10477232B2 (en) | 2019-11-12 |
US20150271517A1 (en) | 2015-09-24 |
BR112016023401A2 (pt) | 2018-06-19 |
WO2015143346A1 (en) | 2015-09-24 |
EP3120558A1 (en) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106134196A (zh) | 在视频译码中用于帧内块复制的搜索区域确定 | |
CN106576171B (zh) | 一种对视频数据进行编码、解码的方法以及装置 | |
CN105191310B (zh) | 用于视频译码的并行处理 | |
CN104221377B (zh) | 一种视频译码方法、装置和计算机可读存储媒体 | |
CN106105206A (zh) | 用于使用置零系数的低复杂度正变换的***和方法 | |
CN109716774A (zh) | 用于视频译码的可变数目的帧内模式 | |
CN106105204A (zh) | 在颜色空间变换译码中修改位深度 | |
CN107592972A (zh) | 用于视频数据中特定图片内的帧间译码的搜索区域确定 | |
CN108781282A (zh) | 在视频译码中以单独亮度-色度框架将亮度信息用于色度预测 | |
CN108141605A (zh) | 帧内块复制合并模式及不可用帧内块复制参考区域的填充 | |
CN107211144A (zh) | 用于预测残差的增强型多重变换 | |
CN108464001A (zh) | 用于视频译码的多类型树框架 | |
CN106664420A (zh) | 用于帧内块复制的块向量译码 | |
CN105393536A (zh) | 使用位移向量从预测性块的帧内预测 | |
CN106464904A (zh) | 用于视频译码的帧内块复制块向量信令 | |
CN106464918A (zh) | 用信号表示用于位流分区的hrd参数 | |
CN106464919A (zh) | 视频译码中用于第0个输出层集合的简档、层次、层级 | |
CN105874797A (zh) | 从预测性块的帧内预测 | |
CN109587479A (zh) | 视频图像的帧间预测方法、装置及编解码器 | |
CN103563378A (zh) | 存储器高效的上下文建模 | |
CN105247867A (zh) | 用于不同层间预测类型的参考图片的独立重新采样及选择 | |
CN105580365A (zh) | Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计 | |
CN105432085A (zh) | 对多层视频译码的层间预测信令的优化 | |
CN105637878A (zh) | 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信 | |
CN104221381A (zh) | 用于视频译码的波前并行处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161116 |