CN108141586A - 经更新的视频区域的信令 - Google Patents
经更新的视频区域的信令 Download PDFInfo
- Publication number
- CN108141586A CN108141586A CN201680057760.3A CN201680057760A CN108141586A CN 108141586 A CN108141586 A CN 108141586A CN 201680057760 A CN201680057760 A CN 201680057760A CN 108141586 A CN108141586 A CN 108141586A
- Authority
- CN
- China
- Prior art keywords
- updated
- region
- present frame
- frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种用于解码视频数据的装置和方法,其包含解码所述视频数据以产生所述视频数据的当前帧的经解码视频数据,且从所述经解码视频数据提取经更新的区域消息,且基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息。基于所述经更新的区域位置信息而识别所述当前帧的经更新的区域,所述经更新的区域小于所述当前帧的总大小,且经识别的所述经更新的区域和所述当前帧中尚未被更新的经解码视频数据都被传输以用于所述视频数据的所述当前帧的显示。
Description
本申请案主张2015年10月8日申请的第62/239,228号美国临时申请案的权益,所述申请案的全部内容以引用的方式并入本文中。
技术领域
本公开涉及视频数据的视频译码(即,编码和/或解码)。
背景技术
数字视频能力可以并入到多种多样的装置中,包含数字电视、数字直播***、无线广播***、个人数字助理(personal digital assistant,PDA)、手提式计算机或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话,所谓的“智能电话”、视频电话会议装置、视频流式传输装置和其类似者。数字视频装置实施视频译码技术,例如描述于以下各者中的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(Advanced Video Coding,AVC)定义的标准、高效视频译码(High Efficiency VideoCoding,HEVC)标准,和这类标准的扩展。视频装置可通过实施此类视频译码技术来更有效率地传输、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说,视频片段(例如,视频帧或视频帧的一部分)可被分割成视频块,视频块还可被称作树块、译码单元(coding unit,CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的帧内译码(intra-coded,I)片段中的视频块进行编码。图片的帧间译码(P或B)片段中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测,或关于其它参考图片中的参考样本的时间预测。图片可以被称为帧,且参考图片可以被称为参考帧。
空间或时间预测产生用于将译码块的预测块。残余数据表示将译码原始块与预测块之间的像素差。帧间译码块是根据指向形成预测性块的参考样本块的运动矢量和指示经译码块与预测性块之间的差的残余数据来编码。帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩,可将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可以将残余变换系数量化。可扫描一开始按二维阵列排列的经量化变换系数,以便产生变换系数的一维矢量,且可应用熵译码以达成甚至更多压缩。
发明内容
一般而言,本公开描述用于传信已经被后续图片更新过的图片区域的指示的技术。通过传信已经被更新的图片区域,显示器装置(或帧合成装置)可例如通过重复基于先前所显示的图像数据的用于未更新区域的数据,来避免更新显示器的未更新区域。源装置,例如视频编码器,可例如,在辅助增强信息(supplemental enhancement information,SEI)消息中编码指示哪些区域已被更新的信令数据。客户端装置,例如视频解码器,可搜索信令数据且传递信令数据到显示器装置和/或帧合成装置。
在一个实例中,解码视频数据的方法包括:解码所述视频数据以产生包含当前帧的经解码视频数据;从所述视频数据提取经更新的区域消息;基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;以及输出所述经更新的区域位置信息和所述当前帧。
在另一个实例中,用于解码视频数据的装置包括:存储器,其被配置成存储视频数据;以及视频解码器,其包括实施在数字逻辑电路***中的一个或多个处理器,所述视频解码器被配置成:解码所述视频数据以产生包含当前帧的经解码视频数据;从所述视频数据提取经更新的区域消息;基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;以及输出所述经更新的区域位置信息和所述当前帧。
在另一个实例中,计算机可读媒体,例如非暂时性计算机可读存储媒体,其上存储在被执行时导致一个或多个处理器进行以下操作的指令:解码所述视频数据以产生视频数据的当前帧的经解码视频数据;从所述经解码视频数据提取经更新的区域消息,且基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;基于所述经更新的区域位置信息识别所述当前帧的经更新的具有,所述经更新的区域小于所述当前帧的总大小;以及传输所述经识别的经更新的区域和所述当前帧的所述经解码视频数据两者。
在另一个实例中,用于产生将被显示的帧的装置包括:被配置成为一个或多个帧缓冲视频数据的存储器;以及一个或多个包括数字逻辑电路***的处理器,所述处理器被配置成:存储前一帧到所述存储器;从视频解码器接收当前帧;从所述视频解码器接收经更新的区域位置信息;生成帧,其包含通过所述经更新的区域位置信息来识别的所述当前帧的经更新的区域,以及在所述经更新的区域以外的来自所述前一帧的重复区域;以及存储所述被产生的帧到所述存储器,以致使所述被产生的帧被发送到显示器。
随附图式和以下描述中阐述一个或多个实例的细节。其它特征、目标和优势将从所述描述和所述图式以及从权利要求书显而易见。
附图说明
图1为说明实例视频编码和解码***的框图,所述实例视频编码和解码***可被配置成或以其它方式操作以实施或以其它方式利用本公开中所描述的一种或多种技术。
图2为说明视频编码器的实例的框图,所述视频编码器可被配置成或可以其它方式操作以实施或者利用本公开中所描述的一种或多种技术。
图3为说明视频解码器的实例的框图,所述视频解码器可被配置成或可以其它方式操作以实施或者利用本公开中所描述的一种或多种技术。
图4为说明显示器装置的实例的框图,所述显示器装置可根据本公开的一个或多个方面实施用于呈现视频数据的技术。
图5A和5B为说明根据本公开的技术辨识当前帧的经更新的区域的方块图。
图6说明根据本公开中所描述的一种或多种技术的用于传达信息的实例方法,其由例如智能显示器面板的目的装置使用,以仅显示帧经更新的部分。
图7说明实例视频源,其具有有单一经更新的区域的帧,所述视频源输出视频信息到具有根据本公开中所描述的一种或多种技术的显示器装置的目的装置。
图8说明另一实例视频源,其具有有单一经更新的区域的帧,所述视频源输出视频信息到具有根据本公开中所描述的一种或多种技术的显示器装置的目的装置。
图9为流程图,其说明用于根据本公开中所描述的一种或多种技术输出指示帧中的经更新的区域的位置的信息的实例方法。
图10为流程图,其说明用于根据本公开中所描述的一种或多种技术呈现帧的经更新的区域的实例方法。
图11为根据本公开的技术解码视频数据的方法的流程图。
图12为由根据本公开的技术的显示器装置产生画面的方法的流程图。
具体实施方式
本公开描述用于更新智能显示器面板上的帧的部分的各种技术。在一些应用中,源可仅需要传输帧的一部分到显示器。智能显示器面板能够组成局部帧;此能力可用于在智能显示器面板内仅组成视频帧的经更新区域。但目前视频编码技术不可用于更新智能显示器面板的部分;编码视频信号遗失可能帮助智能显示器面板显示经更新的区域的信息。
举例来说,在屏幕共用、屏幕录制,和无线镜像处理(例如,游戏)中,仅用户界面(user interface,UI)层可被编码且被传输到智能显示器面板。在许多情况下,UI层倾向于具有一个或多个较小的经更新的区域。目前,不存在用于传输经更新的区域所述智能显示器面板的机制。因此,当仅较小区域被更新时,智能显示器面板必须连续地组成完整视频层。此导致对硬件资源的低效使用。
本文中所描述的用于更新智能显示器面板上的帧的部分的各种技术可以用于高级视频编解码器的内容,例如HEVC的扩展,或用于下一代视频译码标准。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC),包含其可缩放视频译码(Scalable Video Coding,SVC)和多视图视频译码(Multi-view Video Coding,MVC)扩展。被命名为高效视频译码(HEVC)的视频译码国际标准最近由ITU-T WP3/16和ISO/IEC JTC1/SC 29/WG 11的视频译码联合合作小组(Joint Collaborative Team on Video Coding,JCT-VC)建立。下文被称作HEVC规格的最新HEVC规范可从http://www.itu.int/rec/T-REC-H.265获得。
图1是说明可利用本公开中描述的技术的实例视频编码和解码***10的框图。如图1中所展示,***10包含源装置12,其产生稍后将由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括多种多样装置中的任一种,包含台式计算机、笔记本型(即,手提式计算机)计算机、平板计算机、机顶盒、电话手持机,例如所谓的“智能”电话、所谓的“智能”平板机、电视机、相机、显示器装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下,可装备源器件12和目的地器件14以用于无线通信。
目的地装置14可经由链接16接收将解码的经编码视频数据。链接16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,链接16可包括通信媒体,其用于使得源装置12能够直接将经编码视频数据实时地传输到目的地装置14。可根据通信标准,例如无线通信协议,调制经编码的视频数据,并将其传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(radiofrequency,RF)频谱或一个或多个实体传输线。通信媒体可形成分组网络的部分,所述网络例如局域网、广域网或例如因特网等全球网络。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
替代地,经编码数据可从输出界面22被输出到存储装置31。类似地,经编码数据可通过输入界面从存储装置31被存取。存储装置31可包含多种分布式或本地存取式数据存储媒体中的任一种,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一个实例中,存储装置31可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置31经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络连接存储(network attached storage,NAS)装置和本地磁盘驱动器。目的地装置14可经由包含因特网连接的任何标准数据连接来存取经编码的视频数据。所述数据连接可包含无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),,或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置31的传输可为流式传输、下载传输或两者的组合。
本公开的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用,例如空中电视广播、有线电视传输、***传输、流式视频传输(例如,经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据,或其它应用。在一些实例中,***10可被配置成支持单向或双向视频传输,从而支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出界面22。在一些情况下,输出界面22可包含调制器/解调器(调制解调器)和/或传输器。在源装置12中,视频源18可以包含例如视频采集装置(例如,摄像机)、包含先前所采集的视频的视频存档、用于从视频内容提供者接收视频的视频馈入界面和/或用于产生计算机图形数据以作为源视频的计算机图形***,或此类源的组合等的源。作为一个实例,如果视频源18是摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,本公开中所描述的技术一般来说可适用于视频译码,且可应用于无线和/或有线应用。
经采集、预先采集或由计算机产生的视频可由视频编码器20编码。可经由源装置12的输出界面22将经编码视频数据直接传输到目的地装置14。经编码视频数据还可(或替代地)存储在存储装置31上以供稍后由目的地装置14或其它装置存取,用于解码和/或回放。
目的地装置14包含输入界面28、视频解码器30及显示器装置32。在一些情况下,输入界面28可包含接收器和/或调制解调器。目的地装置14的输入界面28经由链接16接收经编码视频数据。经由链接16传达或提供到存储装置31上的经编码视频数据可包含由视频编码器20产生以供视频解码器,例如视频解码器30,用于解码视频数据的多种语法元素。此类语法元素可与在通信媒体上传输、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示器装置32可与目的地装置14整合在一起或在目的地装置14的外部。在一些实例中,目的地装置14可以包含整合式显示器装置且还可被配置成与外部显示器装置接合。在其它实例中,目的地装置14可以是显示器装置。一般来说,显示器装置32将经解码视频数据显示给用户,且可包含多种显示器装置中的任一者,例如液晶显示器(liquid crystaldisplay,LCD)、等离子显示器、有机发光二极管(organic light emitting diode,OLED)显示器或另一类型的显示器装置。在一些实例方法中,目的地装置14是容纳显示器装置32的智能显示器面板。
根据本公开的技术,视频源18和/或视频编码器20可被配置成确定将被目的地装置14的显示器装置32显示的图片的哪些部分已经被更新。举例来说,视频源18可被配置成采集或生成将在由显示器装置32界定的用户界面窗口内显示的数据,其中由显示器装置32显示的其它数据将不被更新。另外或替代地,将被视频编码器20编码的视频数据的特定部分可以不变,例如后台数据或不变的用户界面元素。因此,视频编码器20可自动确定数据是否已改变(例如,使用运动估计和/或运动补偿),且当用于例如一个或多个视频数据块的数据在图片之间保持不变时,视频编码器20可生成指示经编码图片的哪些部分变化且哪些部分不变的数据。另外或替代地,源装置12可包含一个或多个用户界面,用户可通过其手动限定被更新的图片区域。
此外,视频编码器20可被配置成生成将被包含在位流中的数据,所述数据包含代表了位流的图片的经更新的部分的经编码的视频数据。位流的经译码视频片段可经组织为NAL单元,其提供“网络友好的”视频表示从而解决例如视频电话、存储、广播或流式传输等应用。NAL单元可分类为视频译码层(Video Coding Layer,VCL)NAL单元和非VCL NAL单元。VCL单元可含有来自核心压缩引擎的输出且可包含块、宏块,译码单元(coding unit,CU)和/或片段级数据。其它NAL单元可以为非VCL的NAL单元。在一些实例中,一个时间例子中的经译码图片,通常呈现为初级经译码图片,可包含在存取单元中,所述存取单元可包含一个或多个NAL单元。
非VCL的NAL单元可包含参数集NAL单元和SEI NAL单元等等。参数集可以含有序列等级标头信息(在序列参数集(sequence parameter set,SPS)中)和不频繁改变的图片等级标头信息(在图片参数集(picture parameter set,PPS)中)。对于参数集(例如,PPS和SPS),不频繁改变的信息不需要对于每一序列或图片被重复,因此可改进译码效率。另外,使用参数集可以实现重要标头信息的频带外传输,避免了对于用于错误恢复的冗余传输的需要。在频带外传输实例中,参数集NAL单元可以在与其它NAL单元(例如SEI NAL单元)不同的信道上传输。
辅助增强信息(SEI)消息可含有不必要用于解码来自VCL NAL单元的经译码图片样本,但可辅助与解码、显示、错误恢复以及其它目的相关的过程的信息。非VCL NAL单元中可以含有SEI消息。SEI消息是一些标准规范的规范性部分,且因而其对于标准的适应解码器实施方案并非始终是必选的。SEI消息可以是序列等级SEI消息或图片等级SEI消息。SEI消息中可以含有一些序列水平信息,所述消息例如是SVC的实例中的可缩放性信息SEI消息,和MVC中的视图可缩放性信息SEI消息。这些实例SEI消息可传达关于例如操作点的提取及操作点的特性的信息。
根据本公开的技术,视频编码器20可形成包含用于一个或多个图片的经更新的区域信息的SEI消息。举例来说,视频编码器20可确定经编码图片的哪些区域是经更新的,也就是说,包含相对于先前编码的图片相异的数据。如上文所论述,视频编码器20可自动确定所述经更新的区域和/或从接收的用户输入确定经更新的区域。视频编码器20可随后形成SEI消息以包含代表对应图片的(如果SEI消息代表超过一个图片,那么代表对应图片集合的)经更新的区域的数据。
举例来说,经更新的区域可被界定为图片内的矩形。视频编码器20可确定经更新的区域的顶点,且构建包含代表经更新的区域的矩形的四个顶点,例如,{(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2)}中的每一个的数据的SEI消息,其中{x1,x2}和{y1,y2}在图片的边界内。在此实例中,x1和x2值可限定顶点的水平坐标,而y1和y2值可限定顶点的垂直坐标。视频编码器20可确定一个或多个图片的一个或多个经更新的区域,且构建SEI消息来表示经更新的区域中的每一个。在另一个实例中,经更新的区域可由用户经由一个或多个用户界面手动限定。
类似地,视频解码器30可被配置成处理这类SEI消息。具体地说,视频解码器30可对经编码帧进行解码,且接收伴随的SEI消息以用于所述帧中的一个或多个。视频解码器30可从SEI消息提取经更新的区域信息,其同样可限定相对于在显示次序上的前一帧更新过的一个或多个经解码帧的一个或多个矩形区域的顶点。也就是说,SEI消息的数据可指示当前帧的经更新的区域不同于在显示次序上的前一帧。经更新的区域以外的数据可从先前显示的帧重放。
视频解码器30可被配置成从包含在位流中的SEI消息提取经更新的区域位置信息(例如,界定一个或多个经更新的区域的顶点),所述位流也包含经编码的视频数据。视频解码器30可随后将提取的经更新的区域位置信息变换为可由显示器装置32使用的不同格式。显示器装置32可包含如下文更详细地参照图2所论述的帧合成单元,且因此,显示器装置32还可被称作帧合成装置。具体地说,显示器装置32可被配置成生成(或组成)包含来自在显示次序上的前一帧的数据(其在当前帧中未被更新)和来自在显示次序上的当前帧(其相对于前一帧已被更新)的数据的帧。
更具体地说,显示器装置32(或在一些例子中,中间帧合成单元,其在图1的实例中未展示)可生成将被显示的帧。为产生帧,显示器装置32可从视频解码器30接收经解码的当前帧和经更新的区域位置信息。显示器装置32也可包含帧缓冲器,将被显示的帧从其中被搜索。显示器装置32可将来自包含在由经更新的区域位置信息识别的经更新的区域中的经解码的当前帧的视频数据存储到帧缓冲器,以及将来自(在显示次序上的)前一帧的经更新的区域外部范围的视频数据存储到帧缓冲器。以此方式,产生的帧可包含来自经解码的当前帧(确切地说,经更新的区域)的数据以及来自前一帧(经更新的区域以外的区域)的数据两者。因此,显示器装置32最终可显示这一产生的帧。
视频编码器20及视频解码器30可根据例如高效视频译码(HEVC)标准等视频压缩标准操作,并且可符合HEVC测试模型(HEVC Test Model,HM)。替代地,视频编码器20及视频解码器30可以根据其它专有或业界标准来操作,所述标准例如ITU-T H.264标准(替代地被称作MPEG-4第10部分高级视频译码(AVC)),或此类标准的扩展。然而,本公开的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1中未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当MUX-DEMUX单元或其它硬件和软件,以处置对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中,如果适用的话,那么MUX-DEMUX单元可以符合ITU H.223多路复用器协议,或例如用户数据报协议(user datagramprotocol,UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者,例如一个或多个微处理器、数字信号处理器(digital signal processor、DSP)、专用集成电路(application specific integrated circuit、ASIC)、现场可编程门阵列(fieldprogrammable gate array、FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一个或多个处理器以硬件执行所述指令以执行本公开的技术。视频编码器20和视频解码器30中的每一个可以包含在一个或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编解码器)的部分。
HEVC标准是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码裝置根据例如ITU-T H.264/AVC相对于现有装置的几个额外能力。举例来说,虽然H.264提供了九个帧内预测编码模式,但HM可提供多达三十三个帧内预测编码模式。
一般来说,HM的工作模型描述视频帧或图片可划分成包含明度和色度样本两者的一序列树块或最大译码单元(largest coding unit,LCU)。树块具有与H.264标准的宏块相似的用途。片段包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一个或多个片段。每一树块可根据四叉树而被***成译码单元(CU)。举例来说,作为四叉树的根节点的树块可***成四个子节点,且每一子节点又可为父节点且***成另外四个子节点。作为四叉树的叶节点的最后的未经***的子节点包括译码节点,即,经译码的视频块。与经译码位流相关联的语法数据可界定树块可***的最大次数,且还可界定译码节点的最小大小。
CU可包含明度译码块及两个色度译码块。CU可具有相关联的预测单元(prediction unit,PU)和变换单元(transform unit,TU)。PU中的每一者可包含一个明度预测块及两个色度预测块,且TU中的每一者可包含一个明度变换块及两个色度变换块。可将译码块中的每一个分割成一个或多个预测块,所述预测块包含到被应用相同预测的样本的块。还可将译码块中的每一个分割在一个或多个变换块中,所述变换块包括被应用相同变换的样本的块。
CU的大小总体上对应于译码节点的大小,且通常必须为正方形形状。CU的大小范围可从8×8像素到具有最大64×64像素或更大的树块的大小。每一CU可定义一个或多个PU和一个或多个TU。包含于CU中的语法数据可描述例如译码块到一个或多个预测块的分割。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。可将预测块的形状分割成正方形或非正方形。包含于CU中的语法数据还可描述例如根据四叉树将译码块分割成一个或多个变换块。可将变换块的形状分割成正方形或非正方形。
HEVC标准允许根据TU的变换,TU可针对不同CU而有所不同。TU通常是基于针对经分割LCU定义的给定CU内的PU的大小而定大小,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可使用一种被称为“残余四叉树”(residual quad tree,RQT)的四叉树结构来细分成较小单元。RQT的叶节点可表示TU。可变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。
一般来说,PU包含与预测程序有关的数据。举例来说,当对PU进行帧内模式编码时,PU可包含描述用于PU的帧内预测模式的数据。作为另一实例,当对PU进行帧间模式编码时,PU可以包含界定PU的运动矢量的数据。定义PU的运动矢量的数据可描述例如运动矢量的水平分量、运动矢量的垂直分量、运动矢量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动矢量所指向的参考图片,及/或运动矢量的参考图片列表(例如,列表0、列表1或列表C)。
一般来说,TU用于变换和量化程序。具有一个或多个PU的给定CU还可包含一个或多个TU。在预测后,视频编码器20可根据PU从由译码节点识别的视频块计算残余值。所述译码节点随后经更新以参考除原始视频块之外的残余值。残余值包括像素差值,所述像素差值可使用TU中所指定的变换和其它变换信息来变换为变换系数、经量化且经扫描以产生串行化变换系数以用于熵译码。可再次更新译码节点,以参考这些串行化变换系数。本公开通常使用术语“视频块”来指CU的译码节点。在一些特定情形中,本公开也可以使用术语「视频块」指代树块,即LCU,或CU,其包含译码节点和PU以及TU。
视频序列通常包含一系列视频帧或图片。图片群组(group of picture,GOP)大体上包括一系列视频图片中的一个或多个。GOP可包含GOP的标头、图片中的一个或多个的标头或其它处的语法数据,其描述GOP中所包含的多个图片。图片的每一片段可包含描述用于相应片段的编码模式的片段语法数据。视频编码器20通常对各个视频片段内的视频块进行操作以便对视频数据进行编码。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小,并且可以根据指定译码标准而有不同大小。
作为一实例,HM支持各种PU大小的预测。假定特定CU的大小为2N×2N,那么HM支持2N×2N或N×N的PU大小的帧内预测,和2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×x2N的PU大小的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,但是将另一方向分割成25%和75%。CU的对应于25%分区的部分通过“n”后面跟着“上”、“下”、“左”或“右”的指示来指示。因此,例如,“2NxnU”指代经水平分割的2Nx2N CU,其中顶部为2Nx0.5N PU,而底部为2Nx1.5N PU。
在本公开中,“NxN”及“N乘N”可互换使用来指在垂直及水平尺寸方面的视频块的像素尺寸,例如,16x16像素或16乘16像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,NxN块总体上在垂直方向上具有N个像素,并且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可按行和列布置。此外,块未必需要在水平方向与垂直方向上具有相同数目个像素。例如,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码后,视频编码器20可计算应用由CU的TU所指定的变换的残余数据。残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成用于CU的残余数据且接着变换残余数据以产生变换系数。
在任何用以产生变换系数的变换之后,视频编码器20可执行变换系数的量化。量化一般是指变换系数经量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。举例来说,可在量化期间将n位值向下舍入到m位值,其中n大于m。
在一些实例中,视频编码器20可利用预定义扫描顺序来扫描经量化变换系数以产生可被熵编码的串行化矢量。在其它实例中,视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维矢量之后,视频编码器20可例如根据上下文自适应可变长度译码(context adaptive variable length coding,CAVLC)、上下文自适应二进制算术译码(context adaptive binary arithmetic coding,CABAC)、基于语法的上下文自适应二进制算术译码(syntax-based context-adaptive binary arithmetic coding,SBAC)、概率区间分割熵(Probability Interval Partitioning Entropy,PIPE)译码或另一熵编码方法对一维矢量进行熵编码。视频编码器还20可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指派给将传输的符号。所述上下文可例如与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码器20可选择用于将传输的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能符号,而较长码对应于不太可能符号。以此方式,使用VLC可较之于例如对将传输的每一符号使用等长码字而实现位节省。概率判定可基于指配给符号的上下文。
图2是根据本公开的一个或多个方面说明可实施用于编码视频数据的技术的视频编码器20的实例的框图。视频编码器20可执行视频片段内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一种。例如单向预测(uni-directionalprediction,P模式)或双向预测(bi-prediction,B模式)等帧间模式可指代若干基于时间的译码模式中的任一种。
如图2中所示,视频编码器20接收将编码视频帧内的当前视频块。在图2的实例中,视频编码器20包含预测处理单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54、经更新区域建构单元66,和熵编码单元56。预测处理单元41又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图2中未图示)以对块边界进行滤波,从而从经重构视频移除成块性假影。在需要时,解块滤波器将通常滤波求和器62的输出。除了解块滤波器外,还可使用额外滤波器(回路中或回路后)。为简洁起见未图示这些滤波器,但是必要时,这些滤波器可对求和器62的输出进行滤波(作为环路内滤波器)。
在编码过程期间,视频编码器20接收将译码的视频帧或片段。帧或片段为通过预测处理单元41来分成多个视频块。运动估计单元42及运动补偿单元44相对于一个或多个参考帧中的一个或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与将译码块相同的帧或片段中的一个或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可执行例如多个译码遍次,以针对每一视频数据块选择适当的译码模式。
此外,分割单元48可基于前述译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说,分割单元48可首先将帧或片段分割成LCU,并且基于速率失真分析(例如,速率失真优化)将LCU中的每一者分割成子CU。预测处理单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可以包含一个或多个PU和一个或多个TU。
预测处理单元40可例如基于误差结果选择帧内或帧间译码模式中的一种,并且将所得帧内译码或帧间译码块提供到求和器50以产生残余块数据,且将所述块提供到求和器62以重构经编码块供用作参考帧。预测处理单元40还提供语法元素,例如运动矢量、帧内模式指示器、分割信息,和其它此类语法信息,到熵编码单元56。预测处理单元40可使用速率失真分析来选择一种或多种帧间模式。
运动估计单元42及运动补偿单元44可高度集成,但出于概念的目的分别加以说明。运动估计单元42执行的运动估计是生成运动矢量的过程,所述过程估计视频块的运动。举例来说,运动矢量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是被发现在像素差方面与将被译码的块紧密匹配的块,所述像素差可以通过绝对差总和(sum of absolute difference,SAD)、平方差总和(sum of square difference,SSD)或其它差异度量来确定。在一些实例中,视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。例如,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可相对于全像素位置及分数像素位置执行运动搜索并且输出具有分数像素精度的运动矢量。
运动估计单元42通过比较帧间译码片段中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动矢量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一者识别存储在参考图片存储器64中的一个或多个参考图片。运动估计单元42将所计算的运动矢量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动矢量来撷取或产生预测性区块。再次,在一些实例中,运动估计单元42与运动补偿单元44可在功能上整合。在接收到当前视频块的PU的运动矢量后,运动补偿单元44可在参考图片列表中的一个中定位所述运动矢量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块,如下文所论述。一般来说,运动估计单元42相对于明度译码块执行运动估计,并且运动补偿单元44对于色度译码块及明度译码块两者使用基于明度译码块计算的运动矢量。预测处理单元40还可产生与供视频解码器30在解码视频片段的视频块时使用的视频块及视频片段相关联的语法元素。
在本公开的一个实例中,运动估计单元42判定小于当前帧的实际大小的当前帧的一部分是否需要被更新,并且经更新的区域建构单元66产生经更新的区域位置信息,其被输送到目的地装置14来允许目的地装置14识别对应于帧的仅需要被更新的小于所述帧的实际大小的部分的当前帧经更新的区域,如下文所描述。经更新的区域建构单元66所产生的经更新的区域位置信息可作为经编码视频位流的部分,在图片等级辅助增强信息(SEI)消息、片段标头、图片标头,或参数集中被输送。替代地,信息可例如在时间元数据轨迹中,作为根据ISO基础媒体文件格式的文件格式元数据的部分被输送。进一步替代地,信息可作为实时传输协议(Real-time Transport Protocol,RTP)包的部分被输送,例如在RTP标头扩展中或在基于RTP的通信中的RTP有效负载数据中被输送。在一个实例中,经更新的区域建构单元66可直接从用户经由一个或多个界面,或经由外部源装置,接收关于经识别的经更新的区域的数据信息。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可对当前块进行帧内预测。明确地说,帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中,帧内预测处理单元46可以例如在单独的编码编次期间使用各种帧内预测模式对当前块进行编码,并且帧内预测处理单元46(或在一些实例中,模式选择单元40)可以从经测试模式中选择适当帧内预测模式来使用。
举例来说,帧内预测单元46可使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值,并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(也就是说,位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率,以确定哪种帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式后,帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在所传输的位流中包含配置数据,所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的定义,及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20通过从正译码的原始视频块减去来自预测处理单元40的预测数据而形成残余视频块。求和器50表示可执行此减法运算的一个或多个组件。变换处理单元52将例如离散余弦变换(discrete cosine transform,DCT)或概念上类似的变换等变换应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下,变换处理单元52将变换应用于残余块,从而产生残余变换系数块。所述变换可以将残余信息从像素值域转换到变换域,例如,频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着对包含经量化变换系数的矩阵执行扫描。替代地,熵编码单元56可执行扫描。
在量化后,熵编码单元56熵译码经量化变换系数。举例来说,熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下,上下文可基于相邻块。在由熵编码单元56进行熵译码之后,可以将经编码位流传输到另一装置(例如,视频解码器30),或者将所述经编码位流存档以用于稍后传输或检索。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块添加到参考图片存储器64的一个帧的预测性区块来计算参考块。运动补偿单元44还可将一个或多个内插滤波器应用于经重建构的残余块来计算用于在运动估计中使用的次整数像素值。求和器62将经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块,以产生经重构的视频块以用于存储于参考图片存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
图3为说明视频解码器30的实例的框图,所述视频解码器可被配置成实施根据本公开的一个或多个方面的用于解码视频数据的技术。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、逆变换单元78、求和器80、参考图片存储器82,和经更新的区域提取单元84。在图3的实例中,视频解码器30包含预测单元71,所述预测单元又包含运动补偿单元72和帧内预测单元74。在一些实例中,视频解码器30可执行总体上与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动矢量产生预测数据,而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频块的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动矢量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动矢量和其它语法元素转发到运动补偿单元72,并且将经更新的区域位置信息转发到经更新的区域提取单元84。视频解码器30可在视频片段层面和/或视频块层面接收语法元素。
当视频片段经译码为帧内译码(I)片段时,帧内预测单元74可以基于用信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频片段的视频块的预测数据。当视频帧经译码为帧间译码(即,B、P或GPB)片段时,运动补偿单元72产生用于基于从熵解码单元70接收的运动矢量和其它语法元素的目前视频片段的视频块的预测块。可从参考图片列表中的一个内的参考图片中的一个产生预测性块。视频解码器30可以基于存储在参考图片存储器82中的参考图片使用默认构造技术构造参考帧列表,即列表0及列表1。
运动补偿单元72通过剖析运动矢量和其它语法元素来确定用于当前视频片段的视频块的预测信息,且使用所述预测信息来产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元72使用接收到的语法元素中的一部分来确定:用于译码视频片段的视频块的预测模式(例如,帧内预测或帧间预测)、帧间预测片段类型(例如,B片段、P片段,或GPB片段)建构用于片段的参考图片列表中的一个或多个的信息、用片段的各帧间编码视频块的运动矢量、用于片段的各帧间译码视频块的帧间预测状态,以及其它信息,来对目前视频片段中的视频块进行解码。
运动补偿单元72还可以基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下,运动补偿单元72可根据所接收的语法元素来确定由视频编码器20使用的内插滤波器,且使用所述内插滤波器来产生预测性块。
逆量化单元76将在位流中提供且由熵解码单元70解码的经量化变换系数逆量化,即去量化。逆量化过程可包含使用由视频解码器30针对视频片段中的每一视频块计算以确定应应用的量化程度及同样的逆量化程度的量化参数QPY。
逆变换单元78对变换系数应用逆变换,例如,逆DCT、逆整数变换,或概念上类似的逆变换过程,以便产生像素域中的残余块。
在运动补偿单元72基于运动矢量及其它语法元素产生当前视频块的预测性块后,视频解码器30通过对来自逆变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一个或多个组件。必要时,还可应用解块滤波器以对经解码块进行滤波以便去除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中,所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示器装置,例如图1的显示器装置32上。如上所述,源装置12可仅需要传输帧的经更新的部分到显示器。智能显示器面板能够组成局部帧;此能力可用于在智能显示器面板内仅组成视频帧的经更新区域。但目前视频编码技术不可用于更新智能显示器面板的部分;编码视频信号遗失可能帮助智能显示器面板显示经更新的区域的信息。因此,当仅较小区域被更新时,智能显示器面板必须连续地组成完整视频层。此引起对硬件资源的低效使用。
根据本公开的实例,视频解码器30的经更新的区域提取单元84接收经更新的区域位置信息(例如,图2的视频编码器20的经更新的区域建构单元66所产生的信息)、提取经更新的区域信息,并且输出(例如,传输)用于标识当前帧中的一个或多个经更新的区域的经更新的区域布局信息到视频显示器装置32,外加由视频解码器30通过求和来自逆变换单元78的残余块与运动补偿单元72所产生的对应预测块来形成的经解码视频块。
图4为说明显示器装置的实例的框图,所述显示器装置可根据本公开的一个或多个方面实施用于呈现视频数据的技术。如图4中所说明,在一个实例中,显示器装置32可包含处理单元85、存储器或缓冲器装置87,和显示器处理单元88。处理单元85和显示器处理单元88可包含一个或多个处理器。在一个实例中,显示器装置32的处理单元85接收用于当前帧的经解码的图像信息和来自视频解码器30的经更新的区域信息两者。处理单元85通过在缓冲器87内存储经更新的区域信息来将经解码的图像信息与经更新的区域信息隔开。显示器处理单元88接收来自处理单元85的经解码的图像信息以及来自缓冲器87的经更新的区域信息两者,并且产生具有一个或多个所得经更新的区域的当前帧的显示,其基于所存储的经更新的区域信息和经解码的图像信息,例如在下文在图7和8中所说明。
图5A和5B为说明根据本公开的技术辨识当前帧的经更新的区域的方块图。如图5A中所说明,在本公开的一个实例中,在视频数据的当前帧的编码期间,视频编码器20的运动估计单元42判定当前帧是否包含需要被更新的小于帧的实际大小的帧的一部分以及帧的内容并不需要被更新的帧的一部分两者。举例来说,可作出关于当前帧86是否包含仅包含零值运动矢量89,即,等于零的运动矢量,以及仅包含非零值运动矢量90,即,不等于零的运动矢量的区域两者的判定。如果仅包含零值运动矢量89的区域和仅包含非零值运动矢量90的区域两者都未被确定定位于当前帧86内,那么经更新的区域不被识别。如果当前帧86内包含仅包含零值运动矢量89的区域和仅包含非零值运动矢量90的区域两者,那么仅包含非零值运动矢量的当前帧86部分可被经更新的区域建构单元66识别为当前帧86的经更新的区域92区域,并且仅包含零值矢量的帧的部分可被识别为当前帧86的未更新区域。
如图5B中所说明,在本公开的一个实例中,在当前帧86内包含仅包含零值运动矢量89的区域和仅包含非零值运动矢量90的区域两者的实例中,包含仅非零值运动矢量90的当前帧86的超过一个部分可由经更新的区域建构单元66确定为当前帧86的经更新的区域92区域。
如上文参看图4所述,视频解码器30的经更新的区域提取单元84接收由视频编码器20的经更新的区域建构单元66所产生的经更新的区域位置信息,提取经更新的区域信息并且传输用于标识当前帧中的一个或多个经更新的区域的经更新的区域布局信息到视频显示器装置32,外加由视频解码器30通过求和来自逆变换单元78的残余块与运动补偿单元72所产生的对应预测块来形成的经解码视频块。
随后将论述各种用于标识帧的经更新的区域,以产生用于智能显示器面板上的显示器面板的显示的技术。虽然参照智能面板论述,但是技术可具有对其它显示器或视频译码设定的申请,其包含用于更多常规显示器的设定。如上所述,可由目的地装置14使用来仅显示帧的经更新的部分的信息可从源装置12被输送到目的地装置14。举例来说,信息可作为经编码视频位流的部分,以图片等级辅助增强信息(SEI)消息、片段标头、图片标头,或参数集的形式被输送。替代地,信息可例如在时间元数据轨迹中,作为根据ISO基础媒体文件格式的文件格式元数据的部分被输送。进一步替代地,信息可作为实时传输协议(RTP)包的部分被输送,例如在RTP标头扩展中或在基于RTP的通信中的RTP有效负载数据中被输送。
图6中展示用于输送由目的地装置14,例如智能显示器面板使用的信息,来仅显示帧的经更新的部分的实例方法。在图6的实例方法中,经更新的区域SEI消息可由经更新的区域建构单元66产生来传输目的地装置14处的智能显示器面板需要的信息。
SEI消息可用于帮助关于例如解码和显示的过程。然而,在HEVC规范中,通过解码过程来构建明度或色度样本不需要这些消息。此外,处理这些信息来使输出次序符合HEVC规范不需要符合解码器。在一些实例方法中,检验比特流符合性以及输出时序解码器符合性需要SEI消息信息。
SEI消息可经由比特流被发送到目的地装置14,或可经由HEVC规范中未规定的其它构件被传输到目的地装置14。当SEI消息存在于位流中时,其必须遵从条项7.3.5和附录D中规定的语法和语义。当SEI消息的内容时以除比特流内存在之外的某种手段被输送以用于应用时,SEI消息的内容的表示不需要使用附录D中规定的相同语法。
在图6中所说明的经更新的区域SEI消息100的实例中,经更新的区域SEI消息100指示相关联的图片中的矩形区域,其中样本相较于按输出次序的先前图片中的相同位置样本,具有不同的经解码采样值。不在指示的矩形区域中的相关联的图片的样本与按输出次序的先前图片中的相同位置样本具有相同的经解码采样值。
在展示于图6中的实例中,updated_regions_cancel_flag 102等于1指示SEI消息抵消适用于当前层的按输出次序的先前经更新的区域SEI消息的持续性。Updated_regions_cancel_flag 102等于0指示经更新的区域信息沿循。
在展示于图6中的实例中,updated_region_cnt_minus1 104指定由经更新的区域SEI消息规定的经更新的矩形区域的数目。在一个实例方法中,updated_region_cnt_minus1 104的值可在0到15范围内,且包含端值。
在展示于图6中的实例中,updated_region_left_offset[i]106、updated_region_top_offset[i]108、updated_region_width[i]110和updated_region_height[i]112,作为相对于明度取样栅格的样本间距单元中的无符号整数量,限定第i个经更新的矩形区域的位置。
在一个实例方法中,updated_region_rect_left_offset[i]106的值可在0到pic_width_in_luma_samples-1的范围内且包含端值。updated_region_top_offset[i]108的值可在0到pic_height_in_luma_samples-1的范围内且包含端值。updated_region_width[i]110的值可在1到pic_width_in_luma_samples-updated_region_left_offset[i]的范围内,且包含端值。updated_region_height[i]112的值应在1到pic_height_in_luma_samples-updated_region_top_offset[i]的范围内,且包含端值。
在一个实例方法中,第i个矩形经更新区域在相对于明度取样栅格的样本间距单元中被规定为具有从updated_region_left_offset[i]106到pic_width_in_luma_samples-updated_region_right_offset[i]-1的水平坐标和从updated_region_rect_top_offset[i]108到pic_height_in_luma_samples-pan_scan_rect_bottom_offset[i]-1的垂直坐标,且包含端值的区域。
在展示于图4中的实例中,updated_regions_persistence_flag 114指定用于当前层的经更新的区域SEI消息的持续性。当updated_regions_persistence_flag 114等于0时,其指定经更新的区域信息仅适用于目前解码图像。
假设picA为当前图片。那么updated_regions_persistence_flag等于1指定经更新的区域信息对于按输出次序的当前层持续,直至以下条件中的任一种为真:
-当前层的新CLVS开始。
-比特流结束。
-输出含有经更新的区域SEI消息且适用于当前层的存取单元中的当前层中的图片picB,其中PicOrderCnt(picB)大于PicOrderCnt(picA),其中紧接在调用用于picB的图片次序计数的解码过程之后,PicOrderCnt(picB)和PicOrderCnt(picA)分别为picB和picA的PicOrderCntVal值。
在一个实例中,视频编码器20接收指示当前帧已经相对于在显示次序上的前一帧更新的一个或多个区域的数据。如果经更新的区域与先前经更新的区域相同,那么视频编码器20设定updated_regions_cancel_flag的值为假。在设定updated_region_cancel_flag的值为假之后,视频编码器20避免编码其他标记中的任一种的值,这是因为用于当前图像的经更新的区域将与用于在显示次序上的先前呈现的图像的经更新的区域相同。
如果对于当前图像的经更新的区域相对于在显示次序上的先前图像的经更新的区域不同,那么视频编码器20设定updated_regions_cancel_flag的值为真(例如,“1”),确定若干经更新的区域并且设定updated_region_cnt_minus1的值等于经更新的区域的数目减去一。如上文所述,在一个实例中,对于各区域,视频编码器20可确定从图片的左边边缘到更新区域的左边边缘的左侧偏移(例如,以样本/像素单位)、从图片的顶部边缘到更新区域的顶部边缘的顶部偏移,更新区域的宽度,以及更新区域的高度,并且相应地在SEI消息中设定这些值。在另一个实例中,源装置12可包含一个或多个用户界面,用户可通过其手动限定随后被用于生成SEI消息的被更新的图片区域,而不是使那些区域直接被视频编码器20确定且被用以产生SEI消息。
视频编码器20设定updated_region_left_offset[i]中的每一个的值为代表第i个区域的所测定的左侧偏移的值、设定updated_region_top_offset[i]中的每一个的值为代表第i个区域的所测定的顶部偏移的值、updated_region_width[i]中的每一个的值为代表第i个区域的所测定的宽度的值,并且设定updated_region_height[i]中的每一个的值为代表第i个区域的所测定的高度的值。此外,视频编码器20对于多个经更新的区域中的每一个重复这一过程。最终,视频编码器20基于目前SEI消息的经更新的区域信息是否在当前图像之外持续,设定updated_regions_persistence_flag的值。
类似地,在一个实例中,视频解码器30接收SEI消息并且提供在SEI消息内的信息到显示器装置32。举例来说,视频解码器30可首先确定目前SEI消息是否抵消基于updated_regions_cancel_flag的值的先前经更新的区域SEI消息的经更新的区域。如果updated_regions_cancel_flag具有为假的值,那么视频解码器30可确定经更新的区域对于先前接收的经更新的区域SEI消息保持相同,并且因此确定比特流的后续数据对应于不同的数据结构。
另一方面,如果updated_regions_cancel_flag的值为真,那么视频解码器30可继续基于updated_region_cnt_minus1的值确定在SEI消息中经识别的若干经更新的区域。具体地说,视频解码器30确定SEI消息中经识别的区域数目为等于updated_region_cnt_minus1加1。对于各区域i,视频解码器30可从updated_region_left_offset[i]的值确定左侧偏移、从updated_region_top_offset[i]的值确定顶部偏移、从updated_region_width[i]的值确定宽度,以及从updated_region_height[i]的值确定高度。
此外,视频解码器30可基于updated_regions_persistence_flag的值确定SEI消息是否适用于超出当前图像的图像。举例来说,如果updated_regions_persistence_flag具有为真的值,那么视频解码器30可在存储器中保存SEI消息以供处理后续图像时使用。替代地,如果updated_regions_persistence_flag具有为假的值,那么视频解码器30可简单地在完成当前图像的处理之后立即从存储器抛弃SEI消息。
在一个实例中,视频解码器30可随后发送代表这些值的数据到显示器装置32。替代地,视频解码器30可转译这些信息为界定对应于经更新的区域的矩形的顶点,并且将界定顶点的信息发送到显示器装置32。替代地,视频解码器30可转译这些信息为左上顶点、宽度,以及高度(或任何其它预先确定的顶点),并且将经转译的这些信息提供到显示器装置32。
图7说明视频源18,其具有帧200,所述帧200具有单一经更新的区域202,其可在输出视频信息到具有显示器装置32的目的地装置14时被包含。在一个实例方法中,SEI消息传输用于经更新的区域的位置信息到显示器装置32。视频解码器30接收SEI消息,提取经更新的区域位置信息,并且将对应于经更新的区域的位置信息和对应于帧的未更新的区域的视频数据两者呈递到显示器装置32。在一个实例方法中,显示器装置32可以是智能显示器面板。智能板显示器接收经更新的区域显示信息以及对应于非经更新的区域的视频数据两者,并且呈递经更新的区域206和对应于现存帧204内的未更新区域内的视频数据两者。
图8为输出经更新的区域的另一实例。在展示于图8中的实例中,视频源18包含具有单一经更新的区域202的帧200。在一个实例方法中,SEI消息传输用于经更新的区域的位置信息到显示器装置32。视频解码器30可接收SEI消息和对应于到更新区域的视频数据、提取经更新的区域位置信息以及呈递位置信息以及对应于经更新的区域的经更新的视频数据以及对应于未更新区域的视频数据到显示器装置32。在一个实例方法中,显示器装置32为智能显示器面板。智能面板接收经更新的区域显示信息和对应于经更新的区域的视频,并且在现存帧204内显示经更新的区域206。
图9中展示输出指示帧中的经更新的区域的位置的信息的实例方法。在图9的实例方法中,产生帧的一个或多个经更新的区域,其中各经更新的区域小于全帧的大小。(300)经更新的区域消息由经更新的区域建构单元66产生且被传输到显示器装置中的视频解码器30。(306)在一个实例方法中,源装置12判定是否合并经更新的区域中的一个或多个进入结合区域。(302)如果源装置12判定合并经更新的区域中的一个或多个进入结合区域,那么产生结合区域(304),并且关于结合区域的位置信息被传输。(306)
在一个实例方法中,输出经更新的区域消息包含在视频位流中编码经更新的区域消息。
在一个实例方法中,经更新的区域消息为图片等级辅助增强信息(SEI)消息。在一个实例方法中,输出经更新的区域消息包含在视频位流中编码SEI消息。
在一些实例方法中,位置信息经由片段标头、图片标头,或参数集被传输。替代地,信令亦可例如在时间元数据轨迹中,作为根据ISO基础媒体文件格式的文件格式元数据的部分被输送。进一步替代地,信令可为实时传输协议(RTP)包的部分,例如在RTP标头扩展中或基于RTP的通信的RTP有效负载数据中。
在一个实例方法中,产生经更新的区域消息包含合并帧的两个或超过两个经更新的区域为结合的经更新的区域,并且写入对应于结合的经更新的区域的区域布局信息到经更新的区域消息。
图10中展示呈现帧的经更新的区域的实例方法。在图10的实例方法中,视频解码器30的经更新的区域提取单元84可接收由视频编码器20的经更新的区域建构单元66所产生的经更新的区域位置信息、提取经更新的区域信息并且传输经更新的区域布局信息以用于标识当前帧中的一个或多个经更新的区域到视频显示器装置32,外加由视频解码器30通过求和来自逆变换单元78的残余块与运动补偿单元72所产生的对应预测块来形成的经解码视频块。(400)。显示器装置32基于来自对应于帧内的经更新的区域的视频位流的数据,和经更新的区域布局信息,更新目前显示(402)。
在一个实例方法中,定期作出检验以确定是否应作出全屏幕更新。(404)如果是,那么作出全屏幕更新。(406)在一个实例方法中,处理程序如下:
-渲染引擎产生用于UI层的经更新的矩形。
-任选地,组成器合并全部经更新的矩形成为一个更大的经更新的区域。
-编码器编码经更新的区域SEI消息为视频位流。
-解码器通过求和来自逆变换单元78的残余块与运动补偿单元72所产生的对应的预测块来解析经更新的区域SEI消息和由视频解码器30形成的经解码视频块和并且获取经更新的区域上的信息,以及将更新区域和经解码视频块转发到显示器子***。
-显示器子***仅组成/传递经更新的区域中的样本。
-任选地,显示器定期刷新全帧以补偿可能存在的任何误差。
图11为根据本公开的技术解码视频数据的方法的流程图。如图11中所说明,在一个实例中,解码视频数据的方法包含视频解码器30解码视频数据以产生视频数据的当前帧的经解码视频数据(500)。经更新的区域消息由经更新的区域提取单元84从经解码视频数据提取(502),并且当前帧的经更新的区域位置信息基于经更新的区域消息被确定;(504)。当前帧的经更新的区域基于经更新的区域位置信息被识别(506),经更新的区域小于当前帧的总大小,并且经识别的经更新的区域和当前帧的经解码视频数据两者是通过视频解码器30来传输(508)。
举例来说,视频解码器30可从视频编码器20接收SEI消息,并且提供SEI消息内的信息到显示器装置32。举例来说,视频解码器30可简单地从SEI提取顶部偏移、左侧偏移、宽度,以及高度信息(502-506),并且发送代表这些值的数据到显示器装置32(508)。替代地,视频解码器30可转译SEI消息内的信息为界定对应于经更新的区域的矩形的顶点。替代地,视频解码器30可转译SEI消息内的信息为左上顶点、宽度,以及高度(或任何其它预先确定的顶点),并且将这些信息提供到显示器装置32。
图12为由根据本公开的技术的显示器装置产生画面的方法的流程图。如图12中所说明,在一个实例中,解码视频数据的方法包含在视频解码器30内的显示器装置32的处理单元85接收经识别的经更新的区域和当前帧的经解码视频数据两者(600),并且在缓冲器86中存储经更新的区域(602)。显示器处理单元88随后接收所存储的经更新的区域和经解码视频数据(604),并且更新对应于经更新的区域的当前帧的经解码视频数据(606),并且不更新不对应于经更新的区域的当前帧的经解码视频数据(608)。显示器处理单元88随后显示对应于经更新的区域的当前帧的经更新的经解码视频数据,以及对应于未更新的帧的区域的当前帧的经解码视频数据(610),举例来说,如图7和8中所说明。
在一个实例中,视频解码器30可被配置成从包含在也包含经编码的视频数据的比特流中的SEI消息提取经更新的区域位置信息(例如,界定一个或多个经更新的区域的顶点)。视频解码器30可随后将提取的经更新的区域位置信息变换为可由显示器装置32使用的不同格式。如上文所论述,显示器装置32可包含帧合成单元,且因此,显示器装置32还可被称作帧合成装置。具体地说,显示器装置32可被配置成生成(或组成)包含来自在显示次序上的前一帧的数据(其在当前帧中未被更新)和来自在显示次序上的当前帧(其相对于前一帧已被更新)的数据的帧。
更具体地说,显示器装置32可生成将被显示的帧。为产生帧,显示器装置32可从视频解码器30接收经解码的当前帧和经更新的区域位置信息。显示器装置32可将来自包含在由经更新的区域位置信息识别的经更新的区域中的经解码的当前帧的视频数据存储到帧缓冲器86,以及将来自(在显示次序的上)前一帧的经更新的区域以外的范围的视频数据存储到帧缓冲器86。以此方式,产生的帧可包含来自经解码的当前帧(确切地说,经更新的区域)的数据以及来自前一帧(经更新的区域以外的区域)的数据两者。因此,显示器装置32的显示器处理单元88可最终显示这一产生的帧。
应认识到,取决于实例,本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行,可添加、合并或全部省略所述动作或事件(例如,实践所述技术未必需要所有所描述动作或事件)。此外,在某些实例中,可例如通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
在一个或多个实例中,所描述功能可用硬件、软件、固件或其任何组合来实施。如果在软件中实施,那么所述功能可作为一个或多个指令或代码在计算机可读媒体上存储或传输,并且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体,其对应于例如数据存储媒体或通信媒体等有形媒体,通信媒体例如根据通信协议包含促进将计算机程序从一处传送到另一处的任何媒体。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如,信号或载波。数据存储媒体可以是可由一个或多个计算机或一个或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。如本文所使用,术语“信令”可包含存储或以其它方式包含具有经编码位流的数据。换句话说,在根据本公开的各种实例中,术语“信令”可与数据的实时通信或者并非实时执行的通信相关联。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且,适当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(digital subscriber line,DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对非暂时性的有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(compact disc,CD)、激光光盘、光学光盘、数字多功能光盘(digital versatile disc,DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
指令可以由一个或多个处理器执行,所述一个或多个处理器例如是一个或多个数字信号处理器(digital signal processor,DSP)、通用微处理器、专用集成电路(application specific integrated circuit,ASIC)、现场可编程逻辑阵列(fieldprogrammable logic array,FPGA)或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可在被配置成用于编码和解码的专用硬件和/或软件模块内提供,或并入在组合编解码器中。并且,所述技术可完全实施于一个或多个电路或逻辑元件中。
本公开的技术可被实施在多种多样的装置或设备中,包含无线手机、集成电路(integrated circuit,IC)或一组IC(例如,芯片组)。各种组件、模块或单元描述于本公开中以强调被配置成执行所揭示的技术的装置的功能方面,但未必需要通过不同硬件单元实现。确切地,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或由互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一个或多个处理器。
已描述了各种实例。这些以及其它实例在所附权利要求书的范围内。
Claims (27)
1.一种解码视频数据的方法,所述方法包括:
解码所述视频数据以产生包含当前帧的经解码视频数据;
从所述视频数据提取经更新的区域消息;
基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;以及
输出所述经更新的区域位置信息和所述当前帧。
2.根据权利要求1所述的方法,其中所述当前帧包括一个或多个仅具有零值运动矢量的区域和仅具有非零值运动矢量的区域,且其中所述经更新的区域包括所述一个或多个仅具有非零值运动矢量的区域且不包含所述一个或多个仅具有所述零值运动矢量的区域。
3.根据权利要求1所述的方法,其进一步包括基于所述经更新的区域位置信息显示所述当前帧。
4.根据权利要求3所述的方法,其中基于所述所识别的经更新的区域和所述当前帧的所述经解码视频数据而显示所述当前帧包括:
在通过所述经更新的区域位置信息来识别的经更新的区域中,存储所述当前帧的所述视频数据到帧缓冲器的帧;
存储在所述经更新的区域以外的所述帧缓冲器的前一帧的视频数据到所述帧缓冲器的所述帧;以及
显示所述帧。
5.根据权利要求1所述的方法,其中所述经更新的区域消息包括从以下中的至少一种提取所述经更新的区域消息:图片等级辅助增强信息SEI消息、包含在所述当前帧中的片段的片段标头、用于当前帧的图片标头、编码在包含所述当前帧的视频位流中的参数集、在符合ISO基础媒体文件格式且包含所述当前帧的文件中传输的元数据、用于包含所述当前帧的RTP传输的实时协议RTP标头扩展的数据,或包含所述当前帧的RTP有效负载。
6.根据权利要求1所述的方法,其中基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息包括:
确定在所述当前帧内的经更新的区域的左侧偏移;
确定在所述当前帧内的所述经更新的区域的顶部偏移;
确定在所述当前帧内的所述经更新的区域的高度;以及
确定在所述当前帧内的所述经更新的区域的宽度。
7.根据权利要求1所述的方法,其中所述经更新的区域消息是图片等级辅助增强信息SEI消息,其包括:
updated_region_left_offset,其具有代表所述当前图像的经更新的区域的左侧边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_top_offset,其具有代表所述当前图像的经更新的区域的顶部边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_width,其具有代表所述当前图像的经更新的区域的宽度的值,对应于所述经更新的区域位置信息;以及
updated_region_height,其具有代表所述当前图像的经更新的区域的高度的值,对应于所述经更新的区域位置信息。
8.根据权利要求7所述的方法,其中所述updated_region_left_offset在0到pic_width_in_luma_samples-1范围内且包含端值,所述updated_region_top_offset在0到pic_height_in_luma_samples-1范围内且包含端值,所述updated_region_width在1到pic_width_in_luma_samples-updated_region_left_offset范围内且包含端值,并且所述updated_region_height在1到pic_height_in_luma_samples-updated_region_top_offset范围内且包含端值。
9.一种用于解码视频数据的装置,其包括:
存储器,其被配置成存储视频数据;和
视频解码器,其包括实施在数字逻辑电路***中的一个或多个处理器,所述视频解码器被配置成:
解码所述视频数据以产生包含当前帧的经解码视频数据;
从所述视频数据提取经更新的区域消息;
基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;以及
输出所述经更新的区域位置信息和所述当前帧。
10.根据权利要求9所述的装置,其中所述当前帧包括一个或多个仅具有零值运动矢量的区域和仅具有非零值运动矢量的区域两种,且其中所述经更新的区域包括所述一个或多个仅具有非零值运动矢量的区域。
11.根据权利要求9所述的装置,其进一步包括显示单元,所述显示单元包括被配置成基于所述经识别的经更新的区域和所述当前帧的所述经解码视频数据而显示所述当前帧的一个或多个处理器。
12.根据权利要求11所述的装置,其中所述显示器包括存储装置,且其中所述显示单元的所述一个或多个处理器被配置成在所述存储装置中存储所述经识别的经更新的区域,更新所述当前帧的对应于所述所存储的经识别的经更新的区域的经解码视频数据,且不更新所述当前帧的不对应于所述经更新的区域的经解码视频数据。
13.根据权利要求9所述的装置,其中提取所述经更新的区域消息包括从以下中的至少一种提取所述经更新的区域消息:图片等级辅助增强信息SEI消息、包含在所述当前帧中的片段的片段标头、用于所述当前帧的图片标头、编码在包含所述当前帧的视频位流中的参数集、在符合ISO基础媒体文件格式且包含所述当前帧的文件中传输的元数据、用于包含所述当前帧的RTP传输的实时协议RTP标头扩展的数据,或包含所述当前帧的RTP有效负载。
14.根据权利要求9所述的装置,其中所述视频解码器被配置成:
确定在所述当前帧内的经更新的区域的左侧偏移;
确定在所述当前帧内的所述经更新的区域的顶部偏移;
确定在所述当前帧内的经更新的区域的高度;以及
确定在所述当前帧内的所述经更新的区域的宽度。
15.根据权利要求9所述的装置,其中所述经更新的区域消息是图片等级辅助增强信息SEI消息,其包括:
updated_region_left_offset,其具有代表所述当前图像的经更新的区域的左侧边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_top_offset,其具有代表所述当前图像的经更新的区域的顶部边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_width,其具有代表所述当前图像的经更新的区域的宽度的值,对应于所述经更新的区域位置信息;以及
updated_region_height,其具有代表所述当前图像的经更新的区域的高度的值,对应于所述经更新的区域位置信息。
16.根据权利要求15所述的装置,其中所述updated_region_left_offset在0到pic_width_in_luma_samples-1范围内且包含端值,所述updated_region_top_offset在0到pic_height_in_luma_samples-1范围内且包含端值,所述updated_region_width在1到pic_width_in_luma_samples-updated_region_left_offset范围内且包含端值,并且所述updated_region_height在1到pic_height_in_luma_samples-updated_region_top_offset范围内且包含端值。
17.一种计算机可读媒体,其存储在被执行时致使一个或多个处理器进行以下操作的指令:
解码视频数据以产生所述视频数据的当前帧的经解码视频数据;
从所述经解码视频数据提取经更新的区域消息,且基于所述经更新的区域消息确定所述当前帧的经更新的区域位置信息;
基于所述经更新的区域位置信息识别所述当前帧的经更新的区域,所述经更新的区域小于所述当前帧的总大小;以及
传输所述经识别的经更新的区域和所述当前帧的所述经解码视频数据两者。
18.根据权利要求17所述的计算机可读媒体,其中所述当前帧包括一个或多个仅具有零值运动矢量的区域和仅具有非零值运动矢量的区域两种,且其中所述经更新的区域包括所述一个或多个仅具有非零值运动矢量的区域。
19.根据权利要求17所述的计算机可读媒体,其进一步包括基于所述经识别的经更新的区域和所述当前帧的所述经解码视频数据而显示所述当前帧。
20.根据权利要求19所述的计算机可读媒体,其中基于所述经识别的经更新的区域和所述当前帧的所述经解码视频数据而显示所述当前帧包括:
存储所述经识别的经更新的区域;且
更新所述当前帧的对应于所述经更新的区域的经解码视频数据,且不更新所述当前帧的不对应于所述经更新的区域的经解码视频数据。
21.根据权利要求17所述的计算机可读媒体,其中提取所述经更新的区域消息包括从以下中的至少一种提取所述经更新的区域消息:图片等级辅助增强信息SEI消息、包含在所述当前帧中的片段标头、用于当前帧的图片标头、编码在包含所述当前帧的视频位流中的参数集、在符合ISO基础媒体文件格式且包含所述当前帧的文件中传输的元数据、用于包含所述当前帧的RTP传输的实时协议RTP标头扩展的数据,或包含所述当前帧的RTP有效负载。
22.根据权利要求17所述的计算机可读媒体,其中所述计算机可读媒体进一步致使所述一个或多个处理器:
确定在所述当前帧内的经更新的区域的左侧偏移;
确定在所述当前帧内的所述经更新的区域的顶部偏移;
确定在所述当前帧内的所述经更新的区域的高度;以及
确定在所述当前帧内的所述经更新的区域的宽度。
23.根据权利要求17所述的计算机可读媒体,其中所述经更新的区域消息是图片等级辅助增强信息SEI消息,其包括:
updated_region_left_offset,其具有代表所述当前图像的经更新的区域的左侧边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_top_offset,其具有代表所述当前图像的经更新的区域的顶部边缘的位置的值,对应于所述经更新的区域位置信息;
updated_region_width,其具有代表所述当前图像的经更新的区域的宽度的值,对应于所述经更新的区域位置信息;以及
updated_region_height,其具有代表所述当前图像的经更新的区域的高度的值,对应于所述经更新的区域位置信息。
24.根据权利要求23所述的计算机可读媒体,其中所述updated_region_left_offset在0到pic_width_in_luma_samples-1范围内且包含端值,所述updated_region_top_offset在0到pic_height_in_luma_samples-1范围内且包含端值,所述updated_region_width在1到pic_width_in_luma_samples-updated_region_left_offset范围内且包含端值,并且所述updated_region_height在1到pic_height_in_luma_samples-updated_region_top_offset范围内且包含端值。
25.一种用于产生待显示的帧的装置,所述装置包括:
被配置成为一个或多个帧缓冲视频数据的存储器;以及
一个或多个包括数字逻辑电路***的处理器,所述处理器被配置成:
存储前一帧到所述存储器;
从视频解码器接收当前帧;
从所述视频解码器接收经更新的区域位置信息;
产生帧,其包含来自通过所述经更新的区域位置信息来识别的所述当前帧的经更新的区域,以及在所述经更新的区域以外的来自所述前一帧的重复区域;以及
存储所述所产生的帧到所述存储器,以致使所述所产生的帧被发送到显示器。
26.根据权利要求25所述的装置,其中所述处理器被进一步配置成发送所述所产生的帧到所述显示器。
27.根据权利要求25所述的装置,其中所述经更新的区域位置信息相对于所述当前帧的顶部边缘指定经更新的区域的顶部边缘、相对于所述当前帧的顶部边缘指定所述经更新的区域的左侧边缘、指定所述经更新的区域的宽度,以及指定所述经更新的区域的高度。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562239228P | 2015-10-08 | 2015-10-08 | |
US62/239,228 | 2015-10-08 | ||
US15/287,007 | 2016-10-06 | ||
US15/287,007 US20170105023A1 (en) | 2015-10-08 | 2016-10-06 | Signaling of updated video regions |
PCT/US2016/056083 WO2017062828A1 (en) | 2015-10-08 | 2016-10-07 | Signaling of updated video regions |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108141586A true CN108141586A (zh) | 2018-06-08 |
Family
ID=57200118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680057760.3A Pending CN108141586A (zh) | 2015-10-08 | 2016-10-07 | 经更新的视频区域的信令 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20170105023A1 (zh) |
EP (1) | EP3360327A1 (zh) |
KR (1) | KR20180066084A (zh) |
CN (1) | CN108141586A (zh) |
BR (1) | BR112018006946A2 (zh) |
WO (1) | WO2017062828A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109862366A (zh) * | 2019-02-18 | 2019-06-07 | 上海兆芯集成电路有限公司 | 图像压缩方法以及图像处理*** |
CN109862360A (zh) * | 2019-02-18 | 2019-06-07 | 上海兆芯集成电路有限公司 | 图像压缩方法以及图像处理*** |
US11044474B2 (en) | 2019-02-18 | 2021-06-22 | Glenfly Technology Co., Ltd. | Image compression method and image processing system |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3429204B1 (en) * | 2016-03-07 | 2020-04-15 | Sony Corporation | Encoding device and encoding method |
US10446071B2 (en) * | 2016-03-31 | 2019-10-15 | Samsung Electronics Co., Ltd. | Device and method of using slice update map |
US10630976B2 (en) | 2018-08-17 | 2020-04-21 | Qualcomm Incorporated | Display refresh blocks determination for video coding |
CN110062244B (zh) * | 2019-04-29 | 2023-05-19 | 努比亚技术有限公司 | VoLTE视频补偿方法、终端及可读存储介质 |
US11785239B2 (en) * | 2021-06-29 | 2023-10-10 | Tencent America LLC | Independent coded region output supplementary enhancement information message |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070242749A1 (en) * | 2006-04-14 | 2007-10-18 | Sung Chih-Ta S | Image frame compression of video stream with fast random accessing and decompressing |
US20140043358A1 (en) * | 2012-08-07 | 2014-02-13 | Intel Corporation | Media encoding using changed regions |
CN104662900A (zh) * | 2012-09-19 | 2015-05-27 | 日本电气株式会社 | 视频图像编码设备 |
CN104754336A (zh) * | 2015-04-13 | 2015-07-01 | 成都华迈通信技术有限公司 | 基于统计分析图像优先级的编码方法及编码码流控制装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3748554B2 (ja) * | 2003-02-05 | 2006-02-22 | コナミ株式会社 | 画像生成装置、画像生成方法、及びプログラム |
KR101879519B1 (ko) * | 2013-07-29 | 2018-07-17 | 코닌클리즈케 케이피엔 엔.브이. | 타일 비디오 스트림을 클라이언트에게 제공하는 방법 |
WO2015104451A1 (en) * | 2014-01-07 | 2015-07-16 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
JP6305279B2 (ja) * | 2014-08-26 | 2018-04-04 | 株式会社東芝 | 映像圧縮装置および映像再生装置 |
-
2016
- 2016-10-06 US US15/287,007 patent/US20170105023A1/en not_active Abandoned
- 2016-10-07 CN CN201680057760.3A patent/CN108141586A/zh active Pending
- 2016-10-07 WO PCT/US2016/056083 patent/WO2017062828A1/en active Application Filing
- 2016-10-07 BR BR112018006946A patent/BR112018006946A2/pt not_active Application Discontinuation
- 2016-10-07 EP EP16785633.5A patent/EP3360327A1/en not_active Withdrawn
- 2016-10-07 KR KR1020187009920A patent/KR20180066084A/ko unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070242749A1 (en) * | 2006-04-14 | 2007-10-18 | Sung Chih-Ta S | Image frame compression of video stream with fast random accessing and decompressing |
US20140043358A1 (en) * | 2012-08-07 | 2014-02-13 | Intel Corporation | Media encoding using changed regions |
CN104662900A (zh) * | 2012-09-19 | 2015-05-27 | 日本电气株式会社 | 视频图像编码设备 |
CN104754336A (zh) * | 2015-04-13 | 2015-07-01 | 成都华迈通信技术有限公司 | 基于统计分析图像优先级的编码方法及编码码流控制装置 |
Non-Patent Citations (1)
Title |
---|
SAID BENIERBAH AND MOHAMMED KHAMADJA: "A New Technique for Quality Scalable Video Coding With H.264", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109862366A (zh) * | 2019-02-18 | 2019-06-07 | 上海兆芯集成电路有限公司 | 图像压缩方法以及图像处理*** |
CN109862360A (zh) * | 2019-02-18 | 2019-06-07 | 上海兆芯集成电路有限公司 | 图像压缩方法以及图像处理*** |
US11044474B2 (en) | 2019-02-18 | 2021-06-22 | Glenfly Technology Co., Ltd. | Image compression method and image processing system |
CN109862366B (zh) * | 2019-02-18 | 2021-07-13 | 格兰菲智能科技有限公司 | 图像压缩方法以及图像处理*** |
CN109862360B (zh) * | 2019-02-18 | 2021-09-14 | 格兰菲智能科技有限公司 | 图像压缩方法以及图像处理*** |
Also Published As
Publication number | Publication date |
---|---|
US20170105023A1 (en) | 2017-04-13 |
EP3360327A1 (en) | 2018-08-15 |
KR20180066084A (ko) | 2018-06-18 |
WO2017062828A1 (en) | 2017-04-13 |
BR112018006946A2 (pt) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106576171B (zh) | 一种对视频数据进行编码、解码的方法以及装置 | |
CN106464917B (zh) | 用信号表示用于位流分区的hrd参数 | |
CN104969555B (zh) | 一种编码或解码视频数据的方法及装置 | |
CN104885469B (zh) | 用于处理视频数据的方法和设备 | |
CN104718752B (zh) | 在可缩放视频译码中减少取样相位信息的发信 | |
CN104823449B (zh) | 在视频译码中用信号表示关注区和逐渐解码刷新 | |
CN105191310B (zh) | 用于视频译码的并行处理 | |
CN104247430B (zh) | 标记视频序列中具有断链图片的参考图片 | |
CN104205829B (zh) | 合并信令及环路滤波器开/关信令 | |
CN104885460B (zh) | 在视频译码中具有时间可扩缩性支持的逐渐解码刷新 | |
CN104704843B (zh) | 视频性质的指示 | |
CN105493507B (zh) | 用于帧内块复制的残余预测 | |
CN104685875B (zh) | 用于视频译码的方法、设备、计算机可读存储媒体 | |
CN103444177B (zh) | 在视频译码中的变换 | |
CN103947210B (zh) | 视频译码中借助高级经解码图片缓冲器(dpb)管理的随机存取 | |
CN104025602B (zh) | 三维视频译码中用信号通知视图合成预测支持 | |
CN104471942B (zh) | 重新使用参数集用于视频译码 | |
CN103563378B (zh) | 存储器高效的上下文建模 | |
CN104365106B (zh) | 发信用于视频译码的长期参考图片的数据 | |
CN105075258B (zh) | 针对具有不同纵横比的空间可缩放性的层间参考图片建构 | |
CN108141586A (zh) | 经更新的视频区域的信令 | |
CN109076230A (zh) | 二值化二次变换指数 | |
CN108353167A (zh) | 译码视频数据的正负号信息 | |
CN105874788B (zh) | 对3d视频译码中较大预测块的逐段dc译码的简化 | |
CN104429072B (zh) | 自适应差域空间和时间参考重构及平滑 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180608 |
|
WD01 | Invention patent application deemed withdrawn after publication |