CN110063055A - 用于减少时间可伸缩视频层中的伪像的***和方法 - Google Patents

用于减少时间可伸缩视频层中的伪像的***和方法 Download PDF

Info

Publication number
CN110063055A
CN110063055A CN201780076429.0A CN201780076429A CN110063055A CN 110063055 A CN110063055 A CN 110063055A CN 201780076429 A CN201780076429 A CN 201780076429A CN 110063055 A CN110063055 A CN 110063055A
Authority
CN
China
Prior art keywords
frame
video
value
weighted value
equal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780076429.0A
Other languages
English (en)
Inventor
乔恩·阿瑟·费尔赫斯特
克里斯托弗·安德鲁·西格尔
萨钦·G·德施潘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110063055A publication Critical patent/CN110063055A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种设备，可以被配置为接收包括帧序列的视频数据。该视频帧序列可以具有高帧速率。高帧速率可以包括120Hz或更高的帧速率。在一个示例中，对于包括在帧序列中的每隔一帧，设备可以产生修改的帧。修改的帧可以包括基于当前帧和前一帧的加权平均的帧。

Description

用于减少时间可伸缩视频层中的伪像的***和方法
技术领域
本公开涉及视频编码，并且更具体地，涉及用于时间可伸缩性的技术。
背景技术
数字视频功能可被集成到广泛范围的设备之中，其包括数字电视——包括所谓的智能电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话——包括所谓的“智能”电话、医疗成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准的示例包括ISO/IEC MPEG-4Visual、ITU-T H.264(还被称ISO/IEC MPEG-4 AVC)、高效视频编码(HEVC)、ITU-T H.265、以及ISO/IEC 23008-2 MPEG-H。目前正在开发HEVC的扩展和改进。例如，视频编码专家组(VCEG)将某些主题指定为关键技术领域(KTA)以供进一步调查。响应于KTA调查而开发的技术可以包含在将来的视频编码标准中(例如“H.266”)。视频编码标准可以包含视频压缩技术。
视频压缩技术使得能够减少用于存储和传输视频数据的数据需求。视频压缩技术可以通过利用视频序列中的固有冗余来减少数据需求。视频压缩技术可以将视频序列细分为连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的切片，切片内的编码树单元(或宏块)、编码树单元内的编码块、编码块内的编码单元)。空间技术(即帧内编码)和/或时间技术(即帧间编码)可以用于产生要编码的编码单元与参考编码单元之间的差值。该差值可以被称为残差数据。可以将该残差数据编码为量化变换系数。语法元素(例如参考图片索引、运动向量、以及块向量)可以使残差数据与参考编码单元有关。可以对残差数据和语法元素进行熵编码。
视频编码标准可以支持时间可伸缩性。也就是说，视频编码标准可以使得能够以不同帧(或图片)速率(例如60Hz或120Hz)对编码的视频数据的比特流进行解码。例如，HEVC描述了子比特流提取处理，其中编码的视频数据序列内的编码的视频帧包括相应时间标识符，使得可提取编码的视频帧的特定子集以用于解码。可以对所提取的帧进行解码并使其用于提供具有比原始编码的视频数据序列的帧速率要低的帧速率的输出视频。然而，具有较低帧速率的输出视频可能包括基于运动的伪像。
发明内容
在一个示例中，用于修改视频数据的方法包括：接收包括帧序列的视频数据；对于包含在帧序列中的每N帧，产生修改的帧；利用对应的所修改的帧来替换包括在帧序列中的每N帧，以产生修改的帧序列；以及输出包括所修改的帧序列的视频数据。
在一个示例中，用于重建修改的视频数据的方法包括：接收包括帧序列的视频数据，其中每N帧包括修改的帧；对于包括在帧序列中的每N帧，产生重建帧；利用对应的重建帧来替换包括在帧序列中的每N帧，以产生帧序列；以及输出包括该帧序列的视频数据。
在一个示例中，用于重建修改的视频数据的设备包括：一个或多个处理器，该一个或多个处理器被配置为：接收包括帧序列的视频数据，其中每N帧包括修改的帧；对于包括在帧序列中的每N帧，产生重建帧；利用对应的重建帧替换包括在帧序列中的每N帧，以产生帧序列；以及输出包括该帧序列的视频数据。
附图说明
图1是示出了根据预测视频编码技术所编码的一组图片的示例的概念图。
图2是用于对根据预测视频编码技术的子比特流提取处理的示例进行说明的概念图。
图3是用于对根据本公开的一个或多个技术的可以被配置为对视频数据进行编码和解码的***的示例进行说明的方框图。
图4是用于对根据本公开的一个或多个技术的对视频数据进行处理的示例进行说明的概念图。
图5是用于对根据本公开的一个或多个技术的可以被配置为对视频数据进行编码的视频编码器的示例进行说明的方框图。
图6是用于对根据本公开的一个或多个技术的子比特流提取处理的示例进行说明的概念图。
图7是用于对根据本公开的一个或多个技术的可以被配置为对视频数据进行解码的视频解码器的示例进行说明的方框图。
图8是用于对根据本公开的一个或多个技术的对视频数据进行处理的示例进行说明的概念图。
图9是用于对根据本公开的一个或多个技术的内容递送协议模型的示例进行说明的概念图。
具体实施方式
总体上，本公开描述了用于时间可伸缩性的各种技术。特别地，本公开描述了用于对具有特定帧速率(例如120Hz)的视频数据序列进行修改以便改善较低帧速率(例如60Hz)提取的视频数据序列的质量的技术。应该注意的是，帧或图片速率可以以赫兹(Hz)或每秒帧数(fps)来指定。这里所述的技术可以用于对当从较高帧速率层提取较低帧速率子层时可能在视频中所发生的基于运动的伪像进行补偿。应当注意的是，尽管在一些示例中就ITU-T H.264标准和ITU-T H.265标准而言描述了本公开的技术，但是本公开的技术通常适用于任何视频编码标准，其包括目前正在开发的视频编码标准(例如“H.266”)。此外，应该注意的是，通过引用而并入本文中的文档是出于描述的目的并且不应该被认为限制和/或产生就这里所使用的术语而言的歧义。例如，在一个引用的参考文献提供了与另一引入的参考文献和/或如这里所使用的术语不同的定义的情况下，该术语应该以广泛地包括每个相应定义的方式和/或以包括替代方案中的每个特定定义的方式解释。
在一个示例中，用于修改视频数据的设备包括：一个或多个处理器，这一个或多个处理器被配置为接收包括帧序列的视频数据；对于包括在帧序列中的每N帧，产生修改的帧；利用对应的修改帧替换包括在帧序列中的每N帧以产生修改的帧序列；并且输出包括修改帧序列的视频数据。
在一个示例中，一种非暂时性计算机可读存储介质包括存储在其上的指令，所述指令当被执行时使得用于对视频数据进行编码的设备的一个或多个处理器：接收包括帧序列的视频数据；对于包括在帧序列中的每N帧，产生修改的帧；利用对应的修改帧替换包括在帧序列中的每N帧以产生修改的帧序列；并且输出包括修改帧序列的视频数据。
在一个示例中，一种用于修改视频数据的装置包括：装置，用于接收包括帧序列的视频数据；用于对包括在帧序列中的每N帧产生修改的帧的装置；用于利用对应的修改帧替换包括在帧序列中的每N帧以产生修改的帧序列的装置；以及用于输出包括修改帧序列的视频数据的装置。
在一个示例中，一种非暂时性计算机可读存储介质包括存储在其上的指令，所述指令当被执行时使得设备的一个或多个处理器：接收包括帧序列的视频数据，其中每N帧包括修改的帧；对包括在帧序列中的每N帧产生重建帧；利用对应的重建帧替换包括在帧序列中的每N帧以产生帧序列；并且输出包括该帧序列的视频数据。
在一个示例中，一种装置包括：用于接收包括帧序列的视频数据的装置，其中每N帧包括修改的帧；用于对包括在帧序列中的每N帧产生重建帧的装置；用于利用对应的重建帧替换包括在帧序列中的每N帧以产生帧序列的装置；以及用于输出包括该帧序列的视频数据的装置。
在附图和以下描述中阐述了一个或多个示例的细节。从说明书和附图以及权利要求将显而易见地得知其他特征、目的、以及优点。
可以根据视频编码标准对数字视频进行编码。一个示例性视频编码标准包括高效视频编码(HEVC)、ITU-T H.265、以及ISO/IEC 23008-2 MPEG-H，其在ITU-T、“高效视频编码”、推荐ITU-T H.265(10/2014)中描述，其通过引用而被整体并入本文。视频内容典型地包括由一系列帧所组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括多个切片，其中切片包括多个视频块。视频块可以被定义为可以被预测性编码的最大像素值阵列(也称为样本)。如这里所使用的，术语视频块(video block)可以至少是指可以被预测性编码的最大像素值阵列、其子划分、和/或对应结构。可以根据扫描模式(例如光栅扫描)对视频块进行排序。视频编码器可对视频块及其子划分执行预测性编码。HEVC指定编码树单元(CTU)结构，其中图片可以被分成相同大小的CTU并且每个CTU可以包括具有16×16、32×32、或64×64亮度样本的编码树块(CTB)。在图1中说明了将一组图片分割成CTBs的示例。
如图1所示，一组图片(GOP)包括图片Pic0-Pic3。在图1所示的示例中，将Pic3分割成切片1和切片2，其中切片1和切片2中的每一个根据从左到右从上到下的光栅扫描而包括连续的CTU。在HEVC中，每个切片可以与视频编码层(VCL)网络抽象层(NAL)单元(即VCL NAL单元)相关联。在图1所示的示例中，切片1与NAL单元1相关联，切片2与NAL单元2相关联。HEVC支持多层扩展，其包括格式范围扩展(RExt)、可伸缩性扩展(SHVC)、以及多视图扩展(MV-HEVC)。可伸缩性扩展可以包括时间可伸缩性。在HEVC中，为了支持时间可伸缩性，每个VCL NAL单元可以与时间标识符(即HEVC中的TemporalId变量)相关联。HEVC定义子比特流提取处理，其中从比特流中去除由目标最高TemporalId和目标层标识符列表所确定的比特流中的不属于目标集合的NAL单元，其中输出子比特流是由比特流中的属于目标集合的NAL单元组成的。图2是用于对子比特流提取处理的示例进行说明的概念图。
在图2所示的示例中，帧速率为120Hz的视频数据的示例性编码层包括Pic0-Pic7，其中Pic0、Pic2、Pic4、以及Pic6包括与为0的TemporalId相关联的VCL NAL单元(即切片)，并且其中Pic1、Pic3、Pic5、以及Pic7包括与为1的TemporalId相关联的VCL NAL单元(即切片)。在图2所示的示例中，为子比特流提取提供为0的目标最高TemporalId。也就是说，在解码之前提取Pic1、Pic3、Pic5、以及Pic7。按照这种方式，具有120Hz帧速率的视频的编码比特流在解码之前被降低为具有60Hz视频帧速率的视频的子比特流。视频解码器可以接收子比特流并解码并且输出具有60Hz帧速率的视频。
典型地，当以特定帧速率捕获视频序列时，根据帧速率来选择快门间隔以便提供具有可接受屏闪的清晰图像。也就是说，没有可感知运动的图像模糊或抖动。例如，以120Hz所捕获的视频可能已经以50％(即180度)的快门间隔(即对于120Hz帧速率为1/240秒)捕获。根据视频内物体的运动，该快门间隔可以提供具有可接受屏闪的清晰图像。在该示例中，如果从所捕获的视频提取每隔一帧以创建具有60Hz帧速率的视频，则快门间隔保持1/240秒并且60Hz视频将有效地仅具有25％(90度)的快门间隔。当60Hz视频被解码并被输出到显示器时，该有效快门间隔可以引起基于运动的伪像(例如可见屏闪)。因而，在HEVC中所描述的子比特流提取处理以及其他传统时间可伸缩性技术可能不对每个可伸缩帧速率的非理想快门间隔进行补偿。如下面更详细描述的，这里所述的技术可以用于对所提取的较低帧速率视频的非理想快门间隔进行补偿并且从而减少基于运动的伪像。
应当注意的是，对于以特定帧速率所捕获的视频，可以选择快门间隔以便减少由子比特流提取所产生的视频序列中的基于运动的伪像，然而，如下所述，这可能导致当没有发生子比特流提取时(例如以最高可用帧速率对视频进行解码并输出)视频质量降低。例如，可以以120Hz的帧速率以100％(即360度)的快门间隔(即1/120秒)捕获视频，以便使60Hz提取的视频序列具有有效的50％(即180度)的快门间隔。在这种情况下，120Hz视频可能无法在较低帧速率版本上获得任何清晰度或清楚度。在另一示例中，可以以120Hz以75％(270度)快门间隔(1/160秒)捕获视频。在该示例中，60Hz提取的视频的有效快门角度将是37.5％(即135度)。该示例表示视频的两个帧速率版本之间的折衷并且可以在一定程度上减轻60Hz视频序列中的屏闪效应以及120Hz视频序列中的任何过度运动模糊，但是这两个视频序列都不具有理想质量。如下文所详细描述的，这里所述的技术可减轻使用子比特流提取所产生的较低帧速率视频序列中的运动伪影(例如屏闪效应)，同时保持对应较高帧速率视频序列的质量。应当注意的是，尽管就120Hz和60Hz的帧速率描述了这里所述的示例，但是这里所述的技术通常可以适用于各种可伸缩性帧速率(例如24Hz、30Hz、40Hz、48Hz、60Hz、120Hz、240Hz等)。此外，除了1/2分数帧速率之外，降低的帧速率还可以包括其他分数帧速率(1/4、1/3、2/3、3/4等)。
图3是用于对根据本发明的一个或多个技术的可被配置为对视频数据进行处理和编码(即编码和/或解码)的***的示例进行说明的方框图。***100表示根据本公开的一个或多个技术的可以减轻时间可伸缩视频中的伪像的***的示例。如图3所示，***100包括源设备102、通信介质110、以及目的地设备120。在如图3中所示的示例中，源设备102可以包括其被配置为对视频数据进行处理和/或编码并将编码的视频数据发送到通信介质110的任何设备。目的地设备120可以包括其被配置为通过通信介质110来接收编码的视频数据并对编码的视频数据进行解码的任何设备。源设备102和/或目的地设备120可以包括配备用于有线和/或无线通信的计算设备并且可以包括例如机顶盒、数字视频记录器、电视、台式机、膝上型或平板计算机、游戏控制台、移动设备——包括例如“智能”电话、蜂窝电话、个人游戏设备、以及医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任何组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线传送器和接收器、路由器、交换机、中继器、基站、或者可以用于便于各种设备与站点之间进行通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括其被配置为允许访问万维网(例如因特网)的网络。网络可以根据一个或多个电信协议的组合进行操作。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视***委员会(ATSC)标准——包括目前正在开发的所谓的ATSC 3.0标准套件、综合业务数字广播(ISDB)标准、线缆数据业务接口规范(DOCSIS)标准、全球***移动通信(GSM)标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准、以及IEEE标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂时性计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器、或任何其他适当数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器并且在其他示例中存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、以及静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存、或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如安全数字(SD)存储卡)、内部/外部硬盘驱动器、和/或内部/外部固态驱动器。可以根据诸如例如由国际标准化组织(ISO)所定义的标准化媒体文件格式的定义的文件格式将数据存储在存储设备上。
再次参考图3，源设备102包括视频源104、视频处理单元105、视频编码器106、以及接口108。视频源104可以包括其被配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括视频摄像机以及可操作地耦合到此的存储设备。在一个示例中，视频源104可以包括视频捕获设备，该视频捕获设备能够以这里所述的任何帧速率以0-100％的快门间隔来捕获视频。视频处理单元105可被配置为接收来自视频源的视频数据并且将所接收到的视频数据转换为视频编码器106所支持的格式(例如可编码的格式)。此外，视频处理单元105可以被配置为执行处理技术以便优化视频编码。在一些示例中，可以将这些处理技术称为预处理技术。
在一个示例中，视频处理单元105可以被配置为修改具有特定帧速率的视频数据序列，以便改善较低帧速率提取的视频数据序列的质量。如上所述，传统的时间可伸缩性技术可能不对每个可伸缩帧速率的非理想快门间隔进行补偿。图4是用于对根据本发明的一个或多个技术的对视频数据进行处理的示例进行说明的概念图。视频处理单元105可以被配置为根据关于图4所描述的技术来对视频数据进行处理。在一个示例中，可以将关于图4所描述的处理技术称为多快门处理技术。在图4所示的示例中，视频处理单元105接收来自视频源(例如视频源104)的视频并将所处理的视频输出到视频编码器(例如视频编码器106)。
在图4所示的示例中，从视频源所接收到的源视频具有全帧速率，并且视频处理单元105所输出的处理视频保持全帧速率。如上所述，视频帧速率可以包括24Hz、30Hz、40Hz、48Hz、60Hz、120Hz、240Hz等的帧速率。在图4所示的示例中，视频处理包括利用修改帧来替换源视频序列中的每隔一帧。如图4中所示，已处理的视频包括来自源视频和偶数帧Pic0、Pic2、Pic4、Pic6以及修改帧Pic1*、Pic3*、Pic5*、Pic7*。应当注意的是在一个示例中，可以根据这里所述的技术对Pic0、Pic2、Pic4、Pic6进行编码，并且其重建版本可以包括在已处理的视频当中。当视频解码器(例如视频解码器124)重建帧Pic0、Pic2、Pic4、Pic6时，这可以使噪声最小化。
在图4所示的示例中，修改的帧是原始视频帧和前一帧的像素值的加权和。也就是说：
PicN*＝(w2×PicN)+(w1×PicN-1)，
其中w1和w2是应用于相应帧中的每个像素值的加权因子(即加权值)；
PicN*是修改的帧；
PicN是源视频序列中的原始帧；并且
PicN-1是源视频序列中的前一帧。
在一个示例中，w1和w2的值可以在0.0到1.0的范围内。在一个示例中，w1的值可以在0.0到0.5的范围内并且w2的值可以在0.5到1.0的范围内。在一个示例中，w1和w2之和可以等于1.0(例如w2＝1-w1)。在一个示例中，w1的值可以等于0.25并且w2的值可以等于0.75。在一个示例中，w1和w2可以相等(例如w1＝0.5并且w2＝0.5)。应当注意的是在一些示例中，w1和w2可随着视频帧的区域而变化。例如，对于帧的边缘区域和帧的中心区域，w1和w2可以具有不同的值。在一个示例中，像素值的加权和可以包括各个像素值的每个分量(例如Y、Cb、Cr)的加权和。应当注意的是，像素值的加权和可以应用于各种像素表示，例如具有4：4：4采样的RGB、具有4：4：4采样的YCbCr、具有4：2：0采样的YCbCr。在一个示例中，像素值的加权和可以包括像素值的亮度分量的加权和。例如，对于具有4：2：0采样的YCbCr，加权和可以仅应用于亮度分量。在每个像素包括10比特亮度分量值并且w1和w2等于0.5的情况下，756亮度分量值和892亮度分量值的平均值的结果将是824。如在下面进一步详细描述的，可以根据一个或多个技术将加权因子w1和w2的值传递到视频解码设备，以便在视频解码设备处重建源视频。此外，可以用信号通知关于像素表示的信息，其包括与其相关联的特定加权技术。
如图4中进一步所示的，在已处理的视频中，Pic1*、Pic3*、Pic5*、以及Pic7*与第一时间子层(例如基层)相关联，并且Pic0、Pic2、Pic4、以及Pic6与第二时间层(例如增强层)相关联。也就是说，在HEVC的示例中，对于Pic1*、Pic3*、Pic5*、以及Pic7*，TemporalId等于0，并且对于Pic0、Pic2、Pic4、以及Pic6，TemporalId等于1。应当注意的是，在其他示例中，与Pic0、Pic2、Pic4、以及Pic6相关联的时间标识符可以包括大于与ic1*、Pic3*、Pic5*、以及Pic7*相关联的时间标识符的任何时间标识符。如上所述以及在下面关于图6的进一步详述中，根据子比特流提取处理可以在解码之前提取Pic1*、Pic3*、Pic5*、以及Pic7*。按照这种方式，视频处理单元105表示设备的示例，该设备被配置为：接收包括帧序列的视频数据；对于包括在该帧序列中的每N帧，产生修改的帧；利用对应的修改帧替换包括在帧序列中的每N帧，以产生修改的帧序列；以及输出包括所修改的帧序列的视频数据。
再次参考图3，视频编码器106可以包括其被配置为接收视频数据并产生用于表示该视频数据的符合比特流的任何设备。符合比特流(complaint bitstream)可以是指视频解码器可接收并且可从其再现视频数据的比特流。可以根据诸如例如在Rec.ITU-T H.265v2(10/2014)和/或其扩展中所述的ITU-T H.265(HEVC)的视频编码标准来定义符合比特流的各方面。此外，可以根据当前正在开发的视频编码标准来定义符合比特流。当产生符合比特流时，视频编码器106可以对视频数据进行压缩。压缩可能是(可辨别的或不可辨别的)有损的或无损的。
如上所述，在HEVC中，每个CTU可以包括具有16×16、32×32、或者64×64亮度样本的CTB。可以根据对应的四叉树数据结构将CTU的CTB分割为编码块(CB)。根据HEVC，将一个亮度CB与两个相应色度CBs和相关的语法元素一起称为编码单元(CU)。CU与用于定义CU的一个或多个预测单元(PU)的预测单元(PU)结构相关联，其中PU与对应的参考样本相关联。例如，CU的PU可以是根据帧内预测模式所解码的样本阵列。特定帧内预测模式数据(例如帧内预测语法元素)可以使PU与相应参考样本相关联。在HEVC中，PU可以包括亮度和色度预测块(PB)，其中支持方形PB以用于图片内预测并且支持矩形PB以用于图片间预测。可以将包含在PU及相关参考样本之中的样本值之间的差称为残差数据。
残差数据可以包括与视频数据的每个分量(例如亮度(Y)和色度(Cb和Cr))相对应的各个差值阵列。残差数据可以在像素域中。诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换、重叠变换、或者概念上类似的变换的变换可以应用于像素差值以产生变换系数。应当注意的是，在HEVC中，可以进一步将PU子划分为变换单元(TU)。也就是说，为了产生变换系数的目的，可以对像素差值阵列进行子划分(例如可以将四个8×8变换应用于16×16残差值阵列)，可以将这种子划分称为变换块(TB)。可以根据量化参数(QP)对变换系数进行量化。可以根据熵编码技术(例如内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、或概率区间分割熵编码(PIPE))对量化的变换系数进行熵编码。此外，还可以对诸如用于定义预测模式的语法元素的语法元素进行熵编码。熵编码的量化变换系数及对应熵编码语法元素可以形成可用于再现视频数据的符合比特流。
如上所述，预测语法元素可以使视频块及其PU与相应参考样本相关联。例如，对于帧内预测编码而言，帧内预测模式可以指定参考样本的位置。在HEVC中，用于亮度分量的可能的帧内预测模式包括平面预测模式(predMode：0)、DC预测(predMode：1)、以及33种角度预测模式(predMode：2-34)。一个或多个语法元素可以标识35种帧内预测模式中的一种。对于帧间预测编码，运动向量(MV)标识除了要编码的视频块的图片之外的图片中的参考样本，并且从而利用视频中的时间冗余。例如，可以从位于先前编码的帧中的参考块预测当前视频块，并且可以使用运动向量来指示出参考块的位置。运动向量和相关数据可以描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如四分之一像素精度)、预测方向和/或参考图片索引值。应当注意的是，参考图片索引值可以参考另一时间层中的图片。例如，120Hz帧速率增强子层中的帧可以参考60Hz帧速率基层中的帧。此外，诸如例如HEVC的编码标准可以支持运动向量预测。运动向量预测使得能够使用相邻块的运动向量来指定运动向量。
图5是用于对可以实现这里所述的对视频数据进行编码的技术的视频编码器的示例进行说明的方框图。应当注意的是尽管示例性视频编码器400被示为具有不同功能块，但是这样的说明是出于描述的目的并且不将视频编码器400和/或其子组件限制为特定硬件或软件架构。可以使用硬件、固件、和/或软件实现的任何组合来实现视频编码器400的功能。
视频编码器400可以执行对视频切片内的视频块的帧内预测编码和帧间预测编码，并且因而，在一些示例中可被称为混合视频编码器。在图5所示的示例中，视频编码器400接收已根据编码结构所划分的源视频块。例如，源视频数据可以包括宏块、CTUs、其子划分、和/或另一等效编码单元。在一些示例中，视频编码器400可被配置为执行源视频块的额外子划分。应当注意的是这里所述的技术通常适用于视频编码，而不管在编码之前和/或编码期间如何分割源视频数据。在图5所示的示例中，视频编码器400包括加法器402、变换系数产生器404、系数量化单元406、逆量化/变换处理单元408、加法器410、帧内预测处理单元412、运动补偿单元414、运动估计单元416、解块滤波器单元418、样本自适应偏移(SAO)滤波器单元419、以及熵编码单元420。如图5所示，视频编码器400接收源视频块并输出比特流。
在图5所示的示例中，视频编码器400可以通过从源视频块减去预测视频块来产生残差数据。下面详细描述对预测视频块的选择。加法器402表示其被配置为执行该减法操作的组件。在一个示例中，视频块的减法发生在像素域中。变换系数产生器404将诸如离散余弦变换(DCT)、离散正弦变换(DST)、或概念上类似的变换这样的变换应用于其残差块或子划分(例如四个8×8变换可以应用于16×16的残差值阵列)以生成残差变换系数集。变换系数产生器404可以将残差变换系数输出到系数量化单元406。
系数量化单元406可以被配置为执行对变换系数的量化。量化处理可以减小与一些或所有系数相关联的比特深度。量化程度可以改变编码视频数据的速率-失真(即比特率vs.视频质量)。可以通过调节量化参数(QP)来修改量化程度。在HEVC中，可以对每个CU更新量化参数并且可以对亮度(Y)和色度(Cb和Cr)分量中的每一个导出量化参数。将量化的变换系数输出到逆量化/变换处理单元408。逆量化/变换处理单元408可以被配置为应用逆量化和逆变换以产生重建的残差数据。如图5中所示，在加法器410，可以将重建的残差数据添加到预测视频块。按照这种方式，可以重建已编码的视频块并且可以使用最终重建的视频块来评估给定预测、变换、和/或量化的编码质量。视频编码器400可被配置为执行多个编码通道(例如在改变预测、变换参数、以及量化参数中的一个或多个的同时执行编码)。可以根据对重建的视频块的评估来优化比特流或其他***参数的速率-失真。此外，可以存储重建的视频块并使其用作用于预测后续块的参考。
如上所述，可以使用帧内预测来对视频块进行编码。帧内预测处理单元412可以被配置为对要编码的视频块选择帧内预测。帧内预测处理单元412可以被配置为评估帧并确定用于对当前块进行编码的帧内预测模式。如上所述，可能的帧内预测模式可以包括平面预测模式、DC预测模式、以及角度预测模式。此外，应当注意的是，在一些示例中，可以从用于亮度预测模式的帧内预测模式推断出用于色度分量的预测模式。帧内预测处理单元412可以在执行一个或多个编码通道之后选择帧内预测模式。此外，在一个示例中，帧内预测处理单元412可以基于速率-失真分析来选择预测模式。
再次参考图5，运动补偿单元414和运动估计单元416可以被配置为对当前视频块执行帧间预测编码。应当注意的是，尽管示出为不同，但运动补偿单元414和运动估计单元416可以高度集成。运动估计单元416可以被配置为接收源视频块并且计算视频块的PU的运动向量。运动向量可以指示当前视频帧内的视频块的PU相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考帧。此外，运动预测可以是单预测(使用一个运动向量)或双预测(使用两个运动向量)。运动估计单元416可以被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)、或其他差异度量所确定的像素差来选择预测块。
如上所述，可以根据运动向量预测来确定并指定运动向量。运动估计单元416可以被配置为执行如上所述的运动向量预测以及其他所谓的高级运动向量预测(AMVP)。例如，运动估计单元416可被配置为执行时间运动向量预测(TMVP)，支持“合并”模式，并且支持“跳过”和“直接”运动推断。例如，时间运动向量预测(TMVP)可以包括从先前帧继承运动向量。
如图5中所示，运动估计单元416可以将用于所计算的运动向量的运动预测数据输出到运动补偿单元414和熵编码单元420。运动补偿单元414可被配置为接收运动预测数据并且使用运动预测数据产生预测块。例如，一旦从当前视频块的PU的运动估计单元416接收到运动向量，运动补偿单元414可以定位帧缓冲器内的对应预测视频块(图5中未示出)。应当注意的是在一些示例中，运动估计单元416相对于亮度分量执行运动估计，并且运动补偿单元414使根据亮度分量所计算的运动向量用于色度分量和亮度分量这两者。应当注意的是，运动补偿单元414可以进一步被配置为将一个或多个内插滤波器应用于重建的残值块以计算在运动估计的过程中所使用的子整数像素值。
如图5中所示，运动补偿单元414和运动估计单元416可以经由解块滤波器单元418和SAO滤波单元419来接收重建的视频块。解块滤波器单元418可被配置为执行解块技术。解块(deblocking)是指使重建视频块的边界平滑的处理(例如使得使观看者不易察觉到边界)。SAO滤波单元419可以被配置为执行SAO滤波。SAO滤波是非线性幅度映射，该非线性幅度映射可以用于通过向重建的视频数据添加偏移来改善重建。通常在应用解块之后应用SAO滤波。
再次参考图5，熵编码单元420接收量化的变换系数和预测语法数据(即帧内预测数据和运动预测数据)。应当注意的是，在一些示例中，系数量化单元406可以在将系数输出到熵编码单元420之前执行对包括量化的变换系数的矩阵的扫描。在其他示例中，熵编码单元420可执行扫描。熵编码单元420可以被配置为根据这里所述的一个或多个技术来执行熵编码。熵编码单元420可以被配置为输出符合比特流，即视频解码器可接收并可从其再现视频数据的比特流。
如上所述，可以根据熵编码技术对语法元素进行熵编码。为了将CABAC编码应用于语法元素，视频编码器可以对语法元素执行二值化。二值化(binarization)是指将语法值转换为一系列一个或多个比特的处理。这些比特可以被称为“bin”。例如，二值化可以包括用于使用8比特固定长度技术将整数值5表示为00000101或者使用一元编码技术将整数值5表示为11110。二值化是无损处理并且可以包括以下编码技术中的一个或组合：固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码、以及Golomb-Rice编码。如这里所使用的，术语固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码、以及Golomb-Rice编码中的每一个可以是指这些技术的一般实现和/或这些编码技术的更多特定实现。例如，可以根据视频编码标准(例如HEVC)来具体地定义Golomb-Rice编码实现。在一些示例中，这里所述的技术通常可以应用于使用任何二值化编码技术所产生的bin值。在二值化之后，CABAC熵编码器可以选择上下文模型。对于特定bin，可以从与该bin相关联的可用上下文模型集中选择上下文模型。应当注意的是，在HEVC中，可以根据先前的bin和/或语法元素来选择上下文模型。上下文模型可以标识bin是特定值的概率。例如，上下文模型可以指示编码0值bin的概率为0.7并且编码1值bin的概率为0.3。在选择了可用上下文模型之后，CABAC熵编码器可以基于所标识的上下文模型来对bin进行算术编码。
再次参考图3，接口108可以包括其被配置为接收符合视频比特流并且将符合视频比特流发送和/或存储到通信介质的任何设备。此外，接口108可以包括其被配置为发送和/或存储与符合视频比特流相关联的数据的任何设备。接口108可以包括诸如以太网卡的网络接口卡，并且可以包括光学收发器、射频收发器、或者可发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机***接口，该计算机***接口可以使得能够将符合视频比特流及与符合比特流相关联的数据存储在存储设备上。例如，接口108可以包括支持PCI和PCIe总线协议、专有总线协议、通用串行总线(USB)协议、I2C、或者可以用于使对等设备互连的任何其他逻辑和物理结构的芯片组。
如图3中所示，目的地设备120包括接口122、视频解码器124、视频处理单元125、以及显示器126。接口122可以包括其被配置为接收来自通信介质的符合视频比特流及相关数据的任何设备。接口122可以包括诸如以太网卡的网络接口卡，并且可以包括光学收发器、射频收发器、或者可接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括计算机***接口，该计算机***接口使得能够从存储设备检索出符合视频比特流。例如，接口122可以包括支持PCI和PCIe总线协议、专有总线协议、通用串行总线(USB)协议、I2C、或者可以用于使对等设备互连的任何其他逻辑和物理结构的芯片组。视频解码器124可以包括其被配置为接收符合比特流和/或其可接受变型并从其再现出视频数据的任何设备。
如上所述，在解码之前从比特流中去除不属于目标集合的比特流中的NAL单元。在一个示例中，视频解码器124可被配置为在对帧进行解码之前去除比特流中的帧。图6是用于对根据本公开的一个或多个技术的子比特流提取处理的示例进行说明的概念图。在图6所示的示例中，视频解码器124接收来自接口(例如接口122)的已编码的视频数据。在图6所示的示例中，视频数据包括关于图4所描述的已由视频编码器编码的处理视频。如图6中所示，视频数据的示例性编码层包括与第一时间子层(例如TemporalId等于0)相关联的Pic1*、Pic3*、Pic5*、以及Pic7*，并且Pic0、Pic2、Pic4、以及Pic6与第二时间层相关联(例如TemporalId等于1)。在图6所示的示例中，提供为0的目标最高TemporalId以用于子比特流提取并且在解码之前提取Pic1*、Pic3*、Pic5*、以及Pic7*。按照这种方式，具有全帧速率(例如240Hz、120Hz、60Hz等)的视频的编码比特流在解码之前降低为具有半帧速率(例如120Hz、60Hz、30Hz等)的视频的子比特流。视频解码器124对所提取的编码视频进行解码并将所解码的视频输出到视频处理单元(例如视频处理单元125)。应当注意的是，在其他示例中可以发生其他分数帧速率降低(例如1/4、1/3、2/3、3/4等)。
如上所述，子比特流提取处理可能不对每个可伸缩帧速率的非理想快门间隔进行补偿。然而，在图6中所示的示例中，在所提取的帧包括已根据这里所述的一个或多个技术(例如上面关于图4所描述的技术)所处理的视频数据的情况下，可以减少解码的视频序列中的基于运动的伪像。此外，如下面所详细描述的，在视频解码器124不执行子比特流提取的情况下，视频处理单元125可以被配置为重建上面关于图4所描述的源视频。如下所述，可以用信号通知对视频数据是否包括已处理的视频的指示。按照这种方式，视频解码器124可基于与第一时间子层相关联的视频数据的编码层是否包括修改帧来确定是否执行子比特流提取。例如，视频解码器124可以确定包括修改帧的第一时间子层提供(例如与不包括修改帧的第一时间子层相比)足够的质量水平并且可以在这种情况下执行子比特流提取。此外，在一些情况下，如果视频解码器不能按照能够重建源视频的有效方式重建源视频，或者如果显示设备不能以较高的帧速率显示视频内容，则如果第一时间子层包括修改帧，视频解码器可以执行子比特流提取。
再次参考图3，如上所述，视频解码器124被配置为对视频数据的符合比特流(包括子比特流)进行解码。图7是用于对根据本发明的一个或多个技术的被配置为对视频数据进行解码的视频解码器的示例进行说明的方框图。视频解码器500可以被配置为执行帧内预测解码和帧间预测解码，并且因而可以被称为混合解码器。在图7所示的示例中，视频解码器500包括熵解码单元502、逆量化单元504、逆变换处理单元506、帧内预测处理单元508、运动补偿单元510、加法器512、解块滤波器单元514、SAO滤波器单元515、以及参考缓冲器516。视频解码器500可以被配置为按照与视频编码标准一致的方式对视频数据进行解码。视频解码器500可以被配置为接收比特流，该比特流包括在其中用信号通知的变量。应当注意的是，尽管示例性视频解码器500被示为具有不同的功能块，但是这样的说明是出于描述的目的并且不将视频解码器500和/或其子组件限制为特定硬件或软件架构。可以使用硬件、固件、和/或软件实现的任何组合来实现视频解码器500的功能。
如图5中所示，熵解码单元502接收熵编码的比特流。熵解码单元502可以被配置为根据与熵编码处理互逆的处理来对来自比特流的量化语法元素及量化系数进行解码。熵解码单元502可以被配置为根据上文所述的任何熵编码技术来执行熵解码。熵解码单元502可以按照与视频编码标准一致的方式来解析编码的比特流。如图5中所示，逆量化单元504接收来自熵解码单元502的量化变换系数。逆量化单元504可以被配置为应用逆量化。逆变换处理单元506可以被配置为执行逆变换以产生重建的残差数据。由逆量化单元504和逆变换处理单元506分别执行的技术可以类似于由上述逆量化/变换处理单元408所执行的技术。如图5中所示，可以将重建的残差数据提供给加法器512。加法器512可以将所重建的残差数据添加到预测视频块并产生重建的视频数据。可以根据预测视频技术(即帧内预测和帧间预测)来确定预测视频块。
帧内预测处理单元508可以被配置为接收来自参考缓冲器516的帧内预测语法元素并且检索预测视频块。参考缓冲器516可以包括其被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可以标识帧内预测模式，诸如上文所述的帧内预测模式。运动补偿单元510可以接收帧间预测语法元素并且产生运动向量以标识存储在参考缓冲器516中的一个或多个参考帧中的预测块。运动补偿单元510可以生成运动补偿块，其可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以包括在语法元素之中。运动补偿单元510可以使用内插滤波器来计算参考块的子整数像素的内插值。解块滤波器单元514可以被配置为对重建的视频数据执行滤波。例如，解块滤波器单元514可以被配置为执行如上面关于解块滤波器单元418所描述的解块。SAO滤波器单元515可以被配置为对重建的视频数据执行滤波。例如，SAO滤波器单元515可以被配置为执行如上面关于SAO滤波器单元419所描述的SAO滤波。如图7中所示，视频块可以由视频解码器500输出。按照这种方式，视频解码器500可以被配置为产生重建的视频数据。
再次参考图3，视频处理单元125可以被配置为接收视频数据并将所接收到的视频数据转换为显示器支持的格式，例如可渲染的格式。显示器126可以包括其被配置为显示视频数据的任何设备。显示器126可以包括诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或者其他类型的显示器的各种显示设备中的一种。显示器126可以包括高清显示器或超高清显示器。在一个示例中，显示器126可以包括能够以240Hz或更高的速率渲染视频数据的视频渲染设备。此外，在一些示例中，显示器126可以包括能够以小于240Hz(例如60Hz或120Hz)的速率渲染视频数据的视频渲染设备。视频处理单元125可以进一步被配置为根据这里所述的一个或多个技术来重建源视频。图8是用于对根据本公开的一个或多个技术来对视频数据进行处理的示例进行说明的概念图。视频处理单元125可以被配置为根据关于图8所描述的技术来对视频数据进行处理。在图8所示的示例中，视频处理单元125接收来自视频解码器(例如视频解码器124)的视频并将所处理的视频输出到显示器(例如显示器126)。应当注意的是，视频处理单元可以将处理视频数据输出到除显示器126之外的设备(例如存储设备、接收设备等)。
在图8所示的示例中，已解码的视频数据具有全帧速率并且视频处理单元125所输出的已处理视频保持全帧速率。在图8所示的示例中，视频处理包括对解码视频序列中的每隔一帧执行逆修改操作。如图8中所示的，解码视频包括偶数帧Pic0、Pic2、Pic4、Pic6以及修改帧Pic1*、Pic3*、Pic5*、Pic7*。应当注意的是，在图8所示的示例中不对Pic0、Pic2、Pic4、Pic6执行逆修改。在一些示例中，可以根据时间标识符值来确定是否执行逆修改。在图8所示的示例中，修改帧是原始视频帧和前一帧的像素值的加权和。也就是说，在图8中所示的示例中包括上面关于图4所描述的修改帧。按照这种方式，可以通过对每个修改帧执行逆修改操作来重建源视频。也就是说：
PicN＝((PicN*)-(w1x PicN-1))/w2
其中w1和w2是应用于相应帧中的每个像素值的加权因子；
PicN*是修改帧；
PicN是源视频序列中的原始帧；以及
PicN-1是解码视频序列中的前一帧。
应当注意的是，在例如由于使用有限比特深度执行编码而没有量化噪声并且没有编码噪声的最佳情况下，可以完全恢复原始源帧。应当注意的是，在一些示例中，逆修改操作可以产生原始源帧的可接受变化。例如，如下面进一步详细描述的，可以将加权因子的值w1和w2传递到视频解码设备。然而，在一些情况下，w1和w2对视频处理单元125来说可能是不可用的。在这些情况下，视频处理单元125可以被配置为使用w1和w2的默认值和/或基于解码的视频数据的属性导出权重值。按照类似的方式，视频处理单元105可以被配置为基于视频数据的属性来导出权重值。应当注意的是，在一些示例中对于权重可能没有明确定义的关系(例如可以基于视频属性独立地导出权重)。按照这种方式，视频处理单元125表示其被配置为接收包括帧序列的视频数据的设备的示例，其中每N帧包括修改的帧；对于包括在帧序列之中的每N帧，产生重建帧；用对应的重建帧替换包括在帧序列中的每N帧以产生帧序列；以及输出包括该帧序列的视频数据。
在一个示例中，可以使用在视频编码标准中所定义的机制将w1和w2传递到视频解码设备。例如，HEVC包括视频可用性信息(VUI)，该视频可用性信息可以用于用信号通知颜色空间、动态范围、以及其他视频数据属性。在HEVC中，可以包括VUI和其他信息以作为补充增强信息(SEI)消息的一部分。在一个示例中，视频可用性信息，包括视频可用性信息和包含在未来视频编码标准中的类似结构，可以用于传递w1和w2。此外，HEVC定义切片报头、序列参数集(SPS)、图片参数集(PPS)、以及视频参数集(VPS)结构。在一个示例中，可以在切片报头、序列参数集(SPS)、图片参数集(PPS)、以及视频参数集(VPS)结构或任何其他适当位置——包括未来视频编码标准中的类似结构——中用信号通知w1和w2。
再次参考图3，如上所述，通信介质110可以根据当前正在开发的所谓的ATSC 3.0标准套件进行操作。在该示例中，源设备102可以包括服务分发引擎，并且目的地设备120可以被包括以作为接收器设备的一部分。此外，在该示例中，源设备102、通信介质110、以及目的地设备120可以基于包括一个或多个抽象层的模型来操作，其中根据例如分组结构、调制方案等的特定结构来表示每个抽象层处的数据。包括定义的抽象层的模型的示例是图9所示的所谓开放***互连(OSI)模型。OSI模型定义了7层堆栈模型，该7层堆栈模型包括应用层、表示层、会话层、传输层、网络层、数据链路层、以及物理层。物理层可以通常是指电信号形成数字数据的层。例如，物理层可以是指用于定义已调制的射频(RF)符号如何形成数字数据帧的层。数据链路层(也可以称为链路层)可以是指在发送侧的物理层处理之前且在接收侧的物理层接收之后所使用的抽象。应当注意的是，发送侧和接收侧是逻辑角色并且单个设备可以在一个实例中作为发送侧并且在另一实例中作为接收侧这两者进行操作。应用层、表示层、会话层、传输层、以及网络层中的每一个可以定义如何递送数据以供用户应用使用。
ATSC候选标准(***发现和信令(Doc.A/321第1部分)，Doc.S32-231r4，2015年5月6日(下文中称为“A/321”)，其通过引用而被整体并入本文)描述了ATSC 3.0单向物理层实施方式的具体提议的方面。此外，目前正在开发用于ATSC 3.0单向物理层实施方式的相应链路层。所提议的链路层将封装在特定分组类型(例如MPEG-传输流(TS)分组、IPv4分组等)之中的各种类型的数据抽象为单个通用格式以供物理层处理。另外，链路层支持将单个上层分组分段为多个链路层分组并将多个上层分组级联成单个链路层分组。单向物理层实施方式支持所谓的服务通告。应当注意的是，服务通告可以具体是指根据电信协议所定义的特定服务通告或者可以通常是指源设备与目的地设备之间的通信。
所提议的ATSC 3.0标准套件还支持所谓的宽带物理层和数据链路层以使得能够支持混合视频服务。较高层协议可以描述如何使包括在混合视频服务之中的多个视频服务同步以用于呈现。应当注意的是，尽管ATSC 3.0使用术语“广播”来指代单向空中传输物理层，但是所谓的ATSC 3.0广播物理层支持通过流传输或文件下载的视频递送。因而，这里所使用的术语广播不应该用于限制根据本公开的一种或多种技术可以传输视频和相关数据的方式。
再次参考图9，说明了示例性内容递送协议模型。在图9所示的示例中，出于说明目的，内容递送协议模型900通常与7层OSI模型保持一致。应当注意的是然而这样的说明不应被解释为限制内容递送协议模型900和/或这里所述的技术的实现。内容递送协议模型900通常可以与对ATSC 3.0标准套件所提议的当前内容递送协议模型相对应。内容传递协议模型900包括用于通过ATSC广播物理层支持流传输和/或文件下载的两个选项：(1)用户数据报协议(UDP)和因特网协议(IP)上的MPEG媒体传输协议(MMTP)以及(2)通过UDP和IP上的单向传输进行实时对象递送(ROUTE)。在ISO/IEC：ISO/IEC 23008-1，“Informationtechnology-High efficiency coding and media delivery in heterogeneousenvironments-Part 1:MPEG media transport(MMT)”中描述了MMTP，其通过引用而被整体并入到本文。在MMTP用于流传输视频数据的情况下，可以将视频数据封装在媒体处理单元(MPU)中。MMTP将MPU定义为“可由MMT实体处理的且由呈现引擎独立于其他MPU使用的媒体数据项”。MPU的逻辑分组可以形成MMT资产，其中MMTP将资产定义为“将用于构建多媒体呈现的任何多媒体数据”。资产是共享用于承载编码媒体数据的相同资产标识符的MPU的逻辑分组。一个或多个资产可以形成MMT包，其中MMT包是多媒体内容的逻辑集合。
ATSC 3.0标准套件旨在支持包括多个视频元素的多媒体呈现，该多媒体呈现包括时间可伸缩视频呈现(例如基本帧速率视频呈现和增强帧速率视频呈现)。因而，可以使用关于ATSC 3.0标准套件所描述的数据结构来用信号通知w1和w2。如上所述，ATSC 3.0标准套件可以支持服务通告。在一个示例中，可以定义包括用于高帧率(HFR)视频(例如120Hz或更高)内容的能力代码的服务通告。在一个示例中，可以将能力代码定义为如表1中所提供的，其中下面描述包括对相应能力代码的定义的示例性章节A.2.v2和A.2.v3。
Capability_code 含义 参考
… … …
0x051B ATSC 3.0 HEVC HFR视频1 章节A.2.v2
0x051C ATSC 3.0 SHVC HFR视频2 章节A.2.v3
… … …
表格1
章节A.2.v2的示例提供如下：
A.2.v2能力代码0x051B：ATSC 3.0 HEVC HFR视频1
capability_code值0x051B应表示接收器能够支持符合ATSC规范的利用多快门处理所编码的HEVC高帧率视频的能力。
多快门处理可以是指这里所述的处理技术的任何组合，其包括例如关于图4和图8所描述的那些。
章节A.2.v3的示例提供如下：
A.2.v3能力代码0x051C：ATSC 3.0 SHVC HFR视频1
capability_code值0x051B应表示接收器支持符合ATSC规范的利用多快门处理所编码的SHVC高帧率视频的能力。
SHVC可以是指根据HEVC和/或其未来变型所定义的可伸缩性扩展(SHVC)。
在一个示例中，可以利用各种语法元素来完成高帧速率视频内容的服务信令。下面的表2和表3提供了可用于用信号通知高帧率视频内容的各种元素和语义。
表格2
在表2中，bslbf是指比特串左位第一数据类型。在一个示例中，包含在表2中的hfr_info_present语法元素可以基于以下示例性定义：
hfr_info_present-当被设置为'1'时，该1位布尔标志应指示hfr_info()结构中的元素存在。当被设置为“0”时，该标志应指示出hfr_info()结构中的元素不存在。
如表2所示，在表3中提供了hfr_info()语义的示例。
表格3
在表3中，uimsbf是指无符号整数最高有效位第一数据类型并且bslbf是指位串左位第一数据类型。在一个示例中，包含在表3中的hfr_info_present multishutter_indicator、num_weights_minus2、以及ms_weight语法元素可以基于以下示例性定义：
multishutter_indicator-当被设置为'1'时，应指示通过多快门处理处理对第二最高时间子层的视频帧进行处理。当被设置为“0”时，应指示不通过多快门处理对第二最高时间子层的视频帧进行处理。
num_weights_minus2-加2指定在第二最高时间子层处对视频帧的多快门处理所用信号通知的权重数。
ms_weight[i]-指定应用于时间上在前的第(i-1)个原始视频帧的多快门权重。权重值如下：'00'＝.25、'01'＝0.5、'10'＝0.75、'11'＝1.0。可能要求在0到(num_weights_minus2+1)的范围内的i的ms_weight[i]值之和应该等于1.0。
应当注意的是，根据multishutter_indicator、num_weights_minus2、以及ms_weight的示例性定义，可以用信号通知两个(例如w1和w2)或三个权重值，其中可能的权重值包括0.25、0.5、0.75、以及1.0的值。应当注意的是，在其他示例中，可以用信号通知其他数量的权重值和/或可以使用其他可能的权重值。例如，在一个示例中，ms_weight可以基于以下示例性定义：
ms_weight[i]-指定应用于时间上在前的第i个原始视频帧的多快门权重。权重值如下：'00'＝1.0、'01'＝0.8、'10'＝0.667、'11'＝0.5。
此外
ms_weight[num_weight_minus2+1]可以计算为：
在另一示例中，ms_weight可以基于以下示例性定义：
ms_weight[i]-指定应用于在时间上在前的第i个接收视频帧的多快门权重。权重值如下：'00'＝1.0、'01'＝0.8、'10'＝0.667、'11'＝0.5....
此外，应当注意的是，可以从用信号通知的权重值导出在平均操作中所使用的w1和w2或其他权重值。也就是说，具有用信号通知的权重值作为输入的函数可以用于产生w1和w2。在一个示例中，该函数可以基于视频数据的属性。
如表2所示，在表4中提供了hfr_info()语义的示例。
表格4
在表4中，uimsbf是指无符号整数最高有效位第一数据类型并且bslbf是指比特串左位第一数据类型。在一个示例中，包含在表4中的语法元素multishutter_indicator和ms_weight可以基于以下示例性定义：
multishutter_indicator-当被设置为'1'时，将指示通过多快门处理对最高时间子层处的视频帧进行处理。当被设置为“0”时，将指示不通过多快门处理对最高时间子层处的视频帧进行处理。
msweight-指定应用于当前原始视频帧的多快门权重。权重值如下：'00'＝1.0、'01'＝0.8、'10'＝0.667、'11'＝0.5。应用于时间上在前的原始视频帧的多快门权重被计算为(1.0-msweight)。
此外，在另一示例中，可以使用多于2比特来用信号通知msweight语法元素以用信号通知更多候选权重值。例如，对于语法元素msweight，可以使用3比特而不是2比特。
在另一示例中，msweight可能基于以下示例性定义：
msweight-指定应用于时间上在前所接收到的视频帧及所接收到的视频帧的多快门权重。重量值如表A中所定义的。
在下表5和表6中提供了与msweight的示例性定义相关联的表A的示例：
msweight w<sub>2</sub>/w<sub>1</sub> 1/w<sub>1</sub>
‘00’ 0.25 1.25
‘01’ 0.5 1.5
‘10’ 0.75 1.75
‘11’ 1 2
表格5
msweight w<sub>2</sub>/w<sub>1</sub> 1/w<sub>1</sub>
‘00’ 0.25 1
‘01’ 0.5 1.25
‘10’ 0.75 1.5
‘11’ 1 1.75
表格6
如图9中所示，ATSC 3.0标准套件可以支持HTTP协议上的动态自适应流传输(DASH)。在一个示例中，可以使用DASH信令机制——包括例如DASH工业论坛(DASH-IF)正在开发的那些机制——来用信号通知权重值。附录A提供了使用DASH及接收器设备的示例性行为来用信号通知权重值的示例。此外，在一个示例中，为了支持对于MMT和DASH共有的信令，可以将包含在hfr_info()中的语法元素封装在SEI消息中。按照这种方式，源设备表示其被配置为用信号通知第一权重值和第二权重值以作为服务通告的一部分的设备的示例。应当注意的是，尽管关于ATSC描述了权重值的示例性信令，但是这里所述的用于用信号通知权重值的技术通常可适用于其包括DVB标准、ISDB标准、无线电工业和商业协会(ARIB)标准等的其他电信协议。
在一个或多个示例中，所描述的功能可以是以硬件、软件、固件、或其任何组合来实现的。如果是以软件实现的，则该功能可以作为一个或多个指令或代码而存储于计算机可读介质上或者藉其进行传送并且由基于硬件的处理单元来执行。计算机可读介质可以包括与诸如数据存储介质的有形介质相对应的计算机可读存储介质或者包括包含便于例如根据通信协议将计算机程序从一个地方传输到另一个地方的任何介质的通信介质。按照这种方式，计算机可读介质通常可以对应于(1)其是非暂时性的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或者一个或多个处理器访问以检索用于实现在本公开中所描述的技术的指令、代码、和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM、或其他光盘存储器、磁盘存储器、或其他磁存储设备、闪存、或者用于以指令或数据结构的形式存储期望的程序代码并可由计算机访问的任何其他介质。此外，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)、或者诸如红外线、无线电、以及微波的无线技术从网站、服务器、或者其他远程源传送指令，则同轴电缆、光纤电缆、双绞线、DSL、或者诸如红外线、无线电、以及微波的无线技术都包含在介质的定义中。然而，应该理解的是计算机可读存储介质和数据存储介质不包括连接、载波、信号、或其他暂时性介质，而是指非暂时性有形存储介质。这里所使用的盘和碟包括压缩盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘、以及蓝光盘，其中盘通常磁性地再现数据，而碟利用激光光学地再现数据。上述的组合也应包含在计算机可读介质的范围之内。
可以由诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或者其他等效集成或离散逻辑电路的一个或多个处理器来执行指令。因此，这里所使用的术语“处理器”可以指任何前述结构或者适合于实现这里所述技术的任何其他结构。另外，在一些方面中，这里所述的功能可以提供于其被配置为用于编码和解码的专用硬件和/或软件模块之内或者并入在组合的编解码器中。此外，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以是在其包括无线手持机、集成电路(IC)、或一组IC(例如芯片组)的各种各样的设备或装置中实现的。在本公开中描述了各种组件、模块、或单元以强调其被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，可以将各种单元组合在编解码器硬件单元中或者由其包括如上所述的一个或多个处理器的互操作硬件单元的集合结合适当软件和/或固件来提供。
此外，在上述每个实施例中使用的基站设备和终端设备(视频解码器和视频编码器)的每个功能块或各种特征可以由电路实现或执行，该电路通常是集成电路或多个集成电路。设计用于执行本说明书中描述的功能的电路可以包括通用处理器，数字信号处理器(DSP)，专用或通用应用集成电路(ASIC)，现场可编程门阵列(FPGA)，或者其他可编程逻辑器件，离散门或晶体管逻辑，或分立硬件组件，或其组合。通用处理器可以是微处理器，或者，处理器可以是传统处理器，控制器，微控制器或状态机。上述通用处理器或每个电路可以由数字电路配置，或者可以由模拟电路配置。此外，当由于半导体技术的进步而出现当前集成电路取代集成电路的技术时，也能够使用通过该技术的集成电路。
此外，在每个上述实施例中所使用的基站设备和终端设备(视频解码器和视频编码器)的每个功能块或各种特征可以由电路实现或执行，该电路典型地是集成电路或多个集成电路。被设计成执行在本说明书中所述的功能的电路可以包括通用处理器、数字信号处理器(DSP)、专用或通用应用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者其他可编程逻辑设备、离散门或晶体管逻辑、或分立硬件组件、或其组合。通用处理器可以是微处理器，或者替代地，处理器可以是传统处理器、控制器、微控制器、或状态机。上述通用处理器或每个电路可以是由数字电路来配置的或者可以是由模拟电路来配置的。此外，当由于半导体技术的进步而出现了制成用于取代当前集成电路的集成电路的技术时，也能够使用通过该技术的集成电路。
已经描述了各种示例。这些和其他示例在以下权利要求的范围之内。

Claims (20)

1.一种用于修改视频数据的方法，所述方法包括：
接收包括帧序列的视频数据；
对于包括在所述帧序列中的每N帧，通过将第一权重值应用于前一帧并且将第二权重值应用于所述N帧并且相加加权像素值来对所述视频序列中的所述N帧和所述前一帧执行像素平均操作；
利用对应的修改帧替换包括在所述帧序列中的每N帧，以产生修改的帧序列；并且
使用存在于表示之中的描述符来用信号通知所述第一权重值和所述第二权重值，其中，所述描述符包括指示2比特字段的属性值，所述2比特字段指示所述第一权重值的值及所述第二权重值的值。
2.根据权利要求1所述的方法，其中，所述2比特字段被表达为表示2个二进制比特的2字符串。
3.根据权利要求1所述的方法，其中，属性值00指示所述第一权重值等于1/5并且所述第二权重值等于4/5。
4.根据权利要求3所述的方法，其中，属性值01指示所述第一权重值等于1/3并且所述第二权重值等于2/3。
5.根据权利要求4所述的方法，其中，属性值10指示所述第一权重值等于3/7并且所述第二权重值等于4/7。
6.根据权利要求5所述的方法，其中，属性值11指示所述第一权重值等于1/2并且所述第二权重值等于1/2。
7.根据权利要求1所述的方法，其中，所述描述符包括等于http://dashif.org/guidelines/dash-atsc-multiframerate-temporal-filtering的标识符集合。
8.一种用于重建修改的视频数据的方法，所述方法包括：
接收包括帧序列的视频数据，其中每N帧包括修改的帧；
根据指示2比特字段的属性值来确定第一权重值的值和第二权重值的值，其中，所述属性包括在存在于表示中的描述符中；
对于包括在所述帧序列中的每N帧，通过将所述第一权重值应用于前一帧的像素值，从所述N帧中减去得到的加权的前一帧，并且使得到的差值除以所述第二权重值，产生重建帧；并且
利用对应的重建帧替换包括在所述帧序列中的每N帧，以产生帧序列。
9.根据权利要求8所述的方法，其中，所述2比特字段被表达为表示2个二进制比特的2字符串。
10.根据权利要求8所述的方法，其中，属性值00指示所述第一权重值等于1/5并且所述第二权重值等于4/5。
11.根据权利要求10所述的方法，其中，属性值01指示所述第一权重值等于1/3并且所述第二权重值等于2/3。
12.根据权利要求11所述的方法，其中，属性值10指示所述第一权重值等于3/7并且所述第二权重值等于4/7。
13.根据权利要求12所述的方法，其中，属性值11指示所述第一权重值等于1/2并且所述第二权重值等于1/2。
14.根据权利要求8所述的方法，其中，所述描述符包括等于http://dashif.org/guidelines/dash-atsc-multiframerate-temporal-filtering的标识符集。
15.一种用于重建修改的视频数据的设备，所述设备包括一个或多个处理器，所述一个或多个处理器被配置为：
接收包括帧序列的视频数据，其中每N帧包括修改的帧；
根据指示2比特字段的属性值确定第一权重值的值和第二权重值的值，其中，所述属性包括在存在于表示中的描述符中；
对于包括在所述帧序列中的每N帧，通过将所述第一权重值应用于前一帧的像素值，从所述N帧中减去得到的加权的前一帧，并且使得到的差值除以所述第二权重值，产生重建帧；并且
利用对应的重建帧替换包括在所述帧序列中的每N帧，以产生帧序列。
16.根据权利要求15所述的设备，其中，所述2比特字段被表达为表示2个二进制比特的2字符串。
17.根据权利要求15所述的设备，其中，属性值00指示所述第一权重值等于1/5并且所述第二权重值等于4/5。
18.根据权利要求17所述的设备，其中，属性值01指示所述第一权重值等于1/3并且所述第二权重值等于2/3。
19.根据权利要求18所述的设备，其中，属性值10指示所述第一权重值等于3/7并且所述第二权重值等于4/7。
20.根据权利要求19所述的设备，其中，属性值11指示所述第一权重值等于1/2并且所述第二权重值等于1/2。
CN201780076429.0A 2016-12-13 2017-12-13 用于减少时间可伸缩视频层中的伪像的***和方法 Pending CN110063055A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662433397P 2016-12-13 2016-12-13
US62/433,397 2016-12-13
PCT/JP2017/044661 WO2018110583A1 (en) 2016-12-13 2017-12-13 Systems and methods for reducing artifacts in temporal scalable layers of video

Publications (1)

Publication Number Publication Date
CN110063055A true CN110063055A (zh) 2019-07-26

Family

ID=62559492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076429.0A Pending CN110063055A (zh) 2016-12-13 2017-12-13 用于减少时间可伸缩视频层中的伪像的***和方法

Country Status (5)

Country Link
US (1) US20200092603A1 (zh)
CN (1) CN110063055A (zh)
CA (1) CA3046598A1 (zh)
TW (1) TWI670964B (zh)
WO (1) WO2018110583A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115702564A (zh) * 2019-03-11 2023-02-14 杜比实验室特许公司 帧速率可伸缩视频编码

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11588876B2 (en) * 2020-06-16 2023-02-21 T-Mobile Usa, Inc. Device-side playback restrictions on high throughput networks

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040005004A1 (en) * 2001-07-11 2004-01-08 Demos Gary A. Interpolation of video compression frames
CN102088608A (zh) * 2011-02-28 2011-06-08 浙江大学 一种基于部分重建的可伸缩视频编码质量优化方法
JP4797446B2 (ja) * 2005-05-26 2011-10-19 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US20160234500A1 (en) * 2013-11-22 2016-08-11 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040005004A1 (en) * 2001-07-11 2004-01-08 Demos Gary A. Interpolation of video compression frames
JP4797446B2 (ja) * 2005-05-26 2011-10-19 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
CN102088608A (zh) * 2011-02-28 2011-06-08 浙江大学 一种基于部分重建的可伸缩视频编码质量优化方法
US20160234500A1 (en) * 2013-11-22 2016-08-11 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115702564A (zh) * 2019-03-11 2023-02-14 杜比实验室特许公司 帧速率可伸缩视频编码
CN116668696A (zh) * 2019-03-11 2023-08-29 杜比实验室特许公司 帧速率可伸缩视频编码
CN115702564B (zh) * 2019-03-11 2023-10-31 杜比实验室特许公司 非暂态处理器可读介质
US11818372B2 (en) 2019-03-11 2023-11-14 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US11871015B2 (en) 2019-03-11 2024-01-09 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US11936888B1 (en) 2019-03-11 2024-03-19 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US11979588B2 (en) 2019-03-11 2024-05-07 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US11979589B2 (en) 2019-03-11 2024-05-07 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
CN116668696B (zh) * 2019-03-11 2024-05-10 杜比实验室特许公司 用于生成快门间隔元数据的装置和传输视频比特流的方法
US12003741B1 (en) 2019-03-11 2024-06-04 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding
US12015793B1 (en) 2019-03-11 2024-06-18 Dolby Laboratories Licensing Corporation Frame-rate scalable video coding

Also Published As

Publication number Publication date
CA3046598A1 (en) 2018-06-21
WO2018110583A1 (en) 2018-06-21
TWI670964B (zh) 2019-09-01
US20200092603A1 (en) 2020-03-19
TW201826785A (zh) 2018-07-16

Similar Documents

Publication Publication Date Title
JP7368414B2 (ja) 画像予測方法および装置
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN109691102A (zh) 跨分量滤波器
CN103404144B (zh) 视频译码中的经量化脉码调制
CN105493507B (zh) 用于帧内块复制的残余预测
WO2020068599A1 (en) Adaptive multiple transform coding
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN109804630A (zh) 对视频数据编码执行运动补偿的***以及方法
CN109155848A (zh) 用于高动态范围及宽色域视频译码的环路内样本处理
CN109196863A (zh) 用于改变量化参数的***和方法
CN109314782A (zh) 用于帧内预测编码的***和方法
CN110506421B (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的***和方法
JP7018447B2 (ja) 仮想現実アプリケーション用の、動き制約タイルセットのシグナリングのためのシステム及び方法
CN109964482A (zh) 视频译码中的双边滤波器使用的指示
TW202046722A (zh) 用於框內預測模式推導之基於區塊之量化剩餘域脈碼調變指派
CN114902661A (zh) 用于跨分量线性模型预测的滤波方法和装置
US10313690B2 (en) Systems and methods for reducing artifacts in temporal scalable layers of video
WO2017204109A1 (en) Systems and methods for signaling scalable video in a media application format
CN115398920A (zh) 用于颜色格式支持的自适应环路滤波
WO2018123542A1 (en) Systems and methods for reducing artifacts in temporal scalable layers of video
US9706228B2 (en) Support for large numbers of views in multi-layer coding
CN110063055A (zh) 用于减少时间可伸缩视频层中的伪像的***和方法
WO2024004978A1 (en) Systems and methods for signaling neural network post-filter parameter information in video coding
WO2024004811A1 (en) Systems and methods for signaling neural network post-filter parameter information in video coding
CN113766227B (zh) 用于图像编码和解码的量化和反量化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190726