CN114009030A - 用于发信号通知和识别存取单元边界的技术 - Google Patents
用于发信号通知和识别存取单元边界的技术 Download PDFInfo
- Publication number
- CN114009030A CN114009030A CN202080044541.8A CN202080044541A CN114009030A CN 114009030 A CN114009030 A CN 114009030A CN 202080044541 A CN202080044541 A CN 202080044541A CN 114009030 A CN114009030 A CN 114009030A
- Authority
- CN
- China
- Prior art keywords
- nal
- nal units
- information
- unit
- header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000011664 signaling Effects 0.000 title description 5
- 238000012545 processing Methods 0.000 description 10
- 239000010410 layer Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种识别已编码视频码流中的存取单元(AU)边界的方法和装置，包括：使至少两个网络抽象层(NAL)单元的每一个的至少一个字段的信息相关联。
Description
相关申请的交叉引用
本申请要求2020年2月24日提交的美国临时专利申请第62/980,659号和2020年9月21日提交的美国专利申请第17/026,781号的优先权，这些专利申请的全部内容并入本文。
技术领域
所公开的主题涉及用于在IP网络上传送视频的网络协议，更具体地，涉及存取单元(帧)的边界信息的信令，该信令用于支持视频负载格式的帧的单独访问。
背景技术
参考图1，网络连接***可以包括一个或多个端点(101、102、103)。端点使用诸如语音、视频和/或其它媒体的实时媒体，在诸如因特网的IP网络(104)上彼此通信。该***可以进一步包括一个或多个媒体感知网络元件(105)，例如，所述一个或多个媒体感知网络元件(105)被配置为在将由一端点发送的媒体转发到另一端点之前操作该媒体。
在某些这种***设计中，一个或多个端点和/或移动自组织网络仿真器(MobileAd-hoc Network Emulator，MANE)可以包括实时传输协议(Real-time TransportProtocol，RTP)打包器，该RTP打包器在网络上将RTP包发送到位于例如另一端点或另一MANE中的RTP接收器。在一些情况下，发送端点可以包括功能上耦合到视频编码器的视频摄像机，该视频摄像机又可以耦合到打包器，从而使得由视频摄像机捕获的视频可以使用RTP包在网络(104)上从例如端点(101)的发送端点传输到例如端点102)的接收端点。
在一些情况下，发送端点可以不包括视频编码器。作为替代，可以从存储在与端点(101)耦合的硬盘驱动器等(106)上的文件中获得视频。
在因特网和其它IP网络上用于视频的某些实时通信技术，可以依赖于RFC 3550中规定的实时传输协议(RTP)。在一些情况下，RTP包可以在IP上的用户数据报协议(UDP)上从一个端点或MANE传输到另一端点或MANE。参考图2，示出了如RFC3550中规定的RTP头结构。这里，每个RTP包可以从RTP包头开始。图2图示了RFC3550中规定的RTP头的格式。
如图2所示，版本(V)字段(201)可以说明RTP的版本并且可以等于2。填充(P)字段(202)可以指定数据包是否在末端处包含一个或多个附加填充的八位字节。扩展(X)字段(203)可以指示固定头之后是否正好跟随一个头扩展。CSRC计数(CC)字段(204)可以包含固定头之后的CSRC标识符的数量。标记(M)字段(205)可以允许标记重要事件，诸如包流(packet stream)中的AU边界。负载类型(PT)字段可以指示负载类型(206)-使用中的媒体的类型，媒体诸如是根据ITU-T建议H.264，使用RTP负载格式RFC 6184以某组RFC3984参数编码的视频。PT可以在许多情况下由呼叫控制协议选择。对于每个发送的RTP包，RTP序列号(207)可以增加一，直到绕回为止。RTP时间戳(208)可以指示包的第一样本已经被采样的时刻(捕获时间)，并且普遍可以用作呈现时间。用于至少一些视频编解码器的时间戳可以是90kHz，而对于许多音频编解码器，时间戳可以等于采样速率，诸如8kHz、44.1kHz或48kHz。以下介绍同步源(synchronization source，SSRC)(209)和贡献源(contributing source，CSRC)(210)。
RTP可以遵循应用层成帧的通用方法，因此对某些负载的适配，例如根据某些视频编解码标准指定的已编码视频格式，可以由称为RTP负载格式的主RTP规范之外的辅助规范指定。某些RTP负载格式可以重新使用如网络抽象头的比特作为这些RTP负载格式的负载头，网络抽象头存在于某些视频编解码标准诸如H.264或H.265中。在这种RTP负载格式和视频编解码标准中，网络抽象层单元(Network Abstraction Layer Unit，NAL单元或NALU)可以是有限大小的码流，覆盖一个已编码图片或已编码图片的明确定义的部分，诸如，例如切片、图块、块组(group of block，GOB)等等。
码流可以在其开始处包括例如长度为8或16比特的相对短的数据结构，该数据结构包含与所包括的码流的类型相关的最小信息，并且在一些情况下，该数据结构包含分层信息。
至少一些视频编解码标准认可存取单元(Access Unit，AU)的概念。在单层情况下，存取单元可以由单个已编码图片组成。在其它情况下，特别是那些涉及分层编解码和多视图编解码的情况下，AU可以包括共享某些定时信息的多个已编码图片。多个已编码图片例如具有相同的呈现时间。
RTP头可以包括所谓的“标记”比特(M比特)(205)。根据约定，在识别AU的概念的基本上所有RTP负载格式中，对于携带AU的最后码流的RTP包，M比特被指定为等于一，否则可以被设置为零。当接收器接收到设置了M比特的RTP包时，接收器通常知道该RTP包是AU的最后的包，并且可以相应地处理该RTP包。这种处理的一些细节可以在RTP规范中找到。
再次简要参考图1，假设发送端点(101)从存储设备/硬盘驱动器(106)获得其要发送的视频码流，这种文件可能不包括关于存取单元边界的容易存取的元信息，例如因为码流可以例如以通常称为“附录B码流”的格式存储。在这种情况下，可能不存在可用的从编码器到RTP打包器的应用程序员接口(Application Programmer’s Interface，API)信息，该信息发信号通知该码流的码流是AU的最终码流。反而，RTP打包器可能必须识别包括AU的末端的码流，而该码流没有通常可由编码器获得的辅助信息。
发明内容
本申请公开了以视频RTP负载格式，发信号通知和识别存取单元边界的技术。
附图说明
通过以下详细描述和附图，所公开主题的进一步特征、性质和各种优点将更加明显，其中：
图1是使用RTP的媒体传输***的示意图。
图2是RTP报头的示意图。
图3是具有比特边界实施例的VVC的NAL单元报头的示意图。
图4是存取单元边界检测的简化框图的示意图。
图5是根据实施例的计算机***的示意图。
要解决的问题
实时传输协议(RTP)可以在利用流媒体的通信***中使用。用于承载视频数据的RTP负载格式最近受到关注，该视频数据符合编码标准ITU-T建议[H.266]，和ISO/IEC国际标准[ISO23090-3]，这两种标准也称为通用视频编解码(Versatile Video Coding，VVC)，并且由联合视频专家组(Joint Video Experts Team，JVET)开发。RTP负载格式允许对每个RTP包负载中的一个或多个网络抽象层(Network Abstraction Layer，NAL)单元进行打包，以及将单个NAL单元分割成多个RTP包。VVC视频编解码可以作为一个长码流存储在文件中，在起始码之外没有成帧信息。如果没有解析这个码流的基本上所有细节，RTP打包器不能按照RTP和RTP负载规范的要求正确地设置M比特。
具体实施方式
在实施例中，当标记比特被设置为等于1时，它可以指示当前包是当前RTP流中的存取单元(AU)的最后的包。当标记比特被设置为等于0时，它可以指示当前包不是存取单元的最后的包。这种标记比特的使用与基本上所有当前指定的，视频RTP负载格式中的标记比特的普遍用法一致。
参考图3，在相同或另一实施例中，VVC NAL单元头可以由两个字节(16比特)组成。这里，5个比特表示NAL单元类型(304)。因此，可以存在多达32种类型的NAL单元。视频编解码层(VCL)NAL单元可以具有数值范围在0和12之间的类型，并且非VCL NAL单元可以具有范围在13和31之间的类型。为了防止起始码仿真，需要将forbidden_zero_bit(F比特，301)设置为零。需要将nuh-reserved-bit(Z比特，302)设置为零，并保留供ITU和ISO/IEC将来扩展。nuh-layer-id(层标识，LayerID，303)可以用于识别NAL单元所属的层，诸如空间可缩放层或质量可缩放层。nal-unit-type(类型，Type，304)字段可以指定基于VVC规范的NAL类型和语义。最后的nuh-temporal-id-plus1(时间标识，TID，305)字段可以是TemporalId加1的值，因为TID值为0可能是非法的。这是为了确保一个NAL必须至少是用于代码仿真的一个比特。
在相同或另一实施例中，NAL单元的内容可能无法判断该NAL单元是否是AU的解码顺序中的最后NAL单元，至少在没有解析潜在地许多其它NAL单元的情况下无法判断。因此，在没有附加信息的情况下，打包器不能孤立地从视频码流中轻易获得该信息。在例如实时编码上下文中，RTP发送器的实现可以通过例如API从视频编码器或其它一个或多个***元件获得该信息。然而，也可能存在没有这种API可用的情况，包括一个上面提到的在流传输之前附录B码流被存储在硬驱动器上的情况。当不能从编码器或其它***元件明确地获得该信息时，则在解码时，可能需要发送器的实现解释NAL单元头(并且可能还有NAL单元的负载数据)，以便确定该NAL单元是否是存取单元的最后NAL单元。下面描述用于获得这种信息的这种技术和其它新技术。
图4中示出了用于发信号通知和识别存取单元边界的技术。参考图4，在相同或另一实施例中，如果一个NAL单元是码流的最后NAL单元，则该NAL单元可以被确定为AU的最后NAL单元。
继续参考图4，示出了用于确定NAL单元是否是AU的最后NAL单元的实施例。这里，当解码队列(402)中存在两个NAL单元(nalX单元和nalY单元)时，该方法可以开始(401)。这里，目标是决定nalX是否是AU的最后码流，或者nalY是否是下一个AU的开始。如果nalX单元是该码流的最后NAL单元(～d03)，则可以得出结论(407)nalX是当前AU的最后NAL单元。然而，如果不是这种情况，则可以进行以下方法。
具体地，如果nalX的类型是AUD_NUT(404)，且NAL单元类型值为20，则确定nalX是当前AU的最后NAL单元。如果nalX不是AUD_NUT NAL类型，并且nalY具有图片头类型单元，并且nalX和nalY之间的所有NAL单元都是参数集NAL类型或SEI NAL类型，则确定nalX是当前AU的最后NAL单元，否则确定nalX不是最后NAL单元(406)。
如果以下两个条件都为真，则还可以将NAL单元naluX确定为AU的最后NAL单元：1)解码顺序中的下一个VCL NAL单元naluY在其NAL单元头等于1或者nal_unit_type(304)等于19之后具有第一字节的高阶比特，以及2)naluX和naluY之间的所有NAL单元在存在时，具有在13到17(包括端值)的范围内的nal_unit_type(304)、等于20的nal_unit_type(304)、等于23的nal_unit_type(304)或等于26的nal_unit_type(304)。
在相同或不同的实施例中，如果以下两个条件都为真，则还可以将NAL单元naluX确定为存取单元的最后NAL单元：1)解码顺序中的下一个VCL NAL单元naluY具有在切片段头中等于1的picture_header_in_slice_header_flag或者nal_unit_type被设置为等于PH_NUT，以及2)naluX和naluY之间的所有NAL单元在存在时，具有被设置为等于DCI_NUT、VPS_NUT、SPS_NUT、PPS_NUT、PREFIX_APS_NUT、AUD_NUT、PREFIX_SEI_NUT的nal_unit_type集。
在相同或另一实施例中，当解码顺序中的下一VCL NAL单元naluY具有等于AUD_NUT的nal_unit_type时，NAL单元naluX也可以被确定为存取单元的最后NAL单元。
上述识别已编码视频码流中存储单元(AU)边界的技术，可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图5示出了计算机***500，其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
指令可在各种类型的计算机或其组件上执行，包括例如个人计算机、平板计算机、服务器、智能手机、游戏设备、物联网设备等。
可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，这些机器代码或计算机语言可能受汇编、编译、链接或类似机制的约束，以创建包含可由计算机中央处理单元(CPU)直接执行或通过解释、微代码执行等方式执行的指令的代码，图形处理单元(GPU)等。
所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图5所示的用于计算机***～～500的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机***500的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机***500可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘501、鼠标502、触控板503、触摸屏510、数据手套504、操纵杆505、麦克风506、扫描仪507、照相机508。
计算机***500还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏510、数据手套504或操纵杆505的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器509、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕510，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机***500还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)520或类似介质521的光学介质、拇指驱动器522、可移动硬盘驱动器或固体状态驱动器523，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。
本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不是必须包括传输介质、载波或其它瞬时信号。
计算机***500还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、***、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或***总线549(例如，计算机***500的USB端口)；其它***通常通过连接到如下所述的***总线集成到计算机***500的核心(例如，以太网接口集成到PC计算机***或蜂窝网络接口集成到智能电话计算机***)。通过使用这些网络中的任何一个，计算机***500可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机***。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机***500的核心540。
核心540可包括一个或多个中央处理单元(CPU)541、图形处理单元(GPU)542、以现场可编程门阵列(FPGA)543形式的专用可编程处理单元、用于特定任务的硬件加速器544等。这些设备以及只读存储器(ROM)545、随机存取存储器546、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)547等可通过***总线548进行连接。在某些计算机***中，可以以一个或多个物理插头的形式访问***总线548，以便可通过额外的中央处理单元、图形处理单元等进行扩展。***装置可直接附接到核心的***总线548，或通过***总线549进行连接。***总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。
CPU541、GPU542、FPGA 543和加速器544可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 545或RAM 546中。过渡数据也可以存储在RAM 546中，而永久数据可以存储在例如内部大容量存储器547中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 541、GPU 542、大容量存储器547、ROM 545、RAM 546等紧密关联。
所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制，计算机***500，特别是核心540，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心540的特定存储器，例如核心内部大容量存储器547或ROM 545。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心540执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心540特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 546中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机***可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器544)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。
虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解，本领域技术人员能够设计多种***和方法，所述***和方法虽然未在本文中明确示出或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。
Claims (20)
1.一种识别已编码视频码流中的存取单元(AU)边界的方法，其特征在于，包括：
使至少两个网络抽象层(NAL)单元的每一个的至少一个字段的信息相关联。
2.根据权利要求1所述的方法，进一步包括：使所述至少两个NAL单元的图片头和切片头中的至少一个的信息相关联。
3.根据权利要求1所述的方法，进一步包括：在使所述至少两个NAL单元中的每一个的所述至少一个字段的所述信息相关联之前，解析所述至少两个NAL单元的NAL单元头。
4.根据权利要求2所述的方法，进一步包括：在使所述至少两个NAL单元中的每一个的所述至少一个字段的所述信息相关联，和所述至少两个NAL单元的所述图片头和所述切片头中的至少一个的所述信息相关联之前，解析所述至少两个NAL单元的NAL单元头。
5.根据权利要求1所述的方法，进一步包括：在使所述至少两个NAL单元中的每一个的所述至少一个字段的所述信息相关联之前，解析所述至少两个NAL单元中的至少一个的图片头或切片头中的至少一个。
6.根据权利要求2所述的方法，进一步包括：在使所述至少NAL单元中的每一个的所述至少一个字段的所述信息相关联，和所述至少两个NAL单元的所述图片头和所述切片头中的至少一个的所述信息相关联之前，解析所述至少两个NAL单元中的所述至少一个的所述图片头和所述切片头中的所述至少一个。
7.根据权利要求3所述的方法，进一步包括：在使来自所述至少两个NAL单元中的每一个的所述至少一个字段的所述信息相关联之前，解析所述至少两个NAL单元中的至少一个的图片头或切片头中的至少一个。
8.根据权利要求4所述的方法，进一步包括：在使所述至少两个NAL单元中的每一个的所述至少一个字段的所述信息相关联，和所述至少两个NAL单元的所述图片头和所述切片头中的至少一个的所述信息相关联之前，解析所述至少两个NAL单元中的所述至少一个的所述图片头和所述切片头中的所述至少一个。
9.根据权利要求1所述的方法，其中，所述至少两个NAL单元包括nalX单元和nalY单元。
10.根据权利要求9所述的方法，进一步包括：确定所述nalX单元是否为所述已编码视频码流中的最后NAL单元。
11.一种用于识别已编码视频码流中的存取单元(AU)边界的装置，其特征在于，包括：
至少一个存储器，被配置为存储程序代码；
至少一个处理器，被配置为读取所述程序代码并按照所述程序代码的指示操作，所述程序代码包括：
第一关联代码，被配置为使至少两个网络抽象层(NAL)单元的每一个的至少一个字段的信息相关联。
12.根据权利要求11所述的装置，其中，所述程序代码进一步包括第二关联代码，被配置为使所述至少两个NAL单元的图片头和切片头中的至少一个的信息相关联。
13.根据权利要求11所述的装置，其中，所述程序代码进一步包括第一解析代码，被配置为解析所述至少两个NAL单元的NAL单元头。
14.根据权利要求12所述的装置，其中，所述程序代码进一步包括第一解析代码，被配置为解析所述至少两个NAL单元的NAL单元头。
15.根据权利要求11所述的装置，其中，所述程序代码进一步包括解析代码，被配置为解析所述至少两个NAL单元中的至少一个的图片头或切片头中的至少一个。
16.根据权利要求12所述的装置，其中，所述程序代码进一步包括解析代码，被配置为解析所述至少两个NAL单元中的所述至少一个的所述图片头和所述切片头中的所述至少一个。
17.根据权利要求13所述的装置，其中，所述程序代码进一步包括第二解析代码，被配置为解析所述至少两个NAL单元中的至少一个的图片头或切片头中的至少一个。
18.根据权利要求14所述的装置，其中，所述程序代码进一步包括第二解析代码，被配置为解析所述至少两个NAL单元中的所述至少一个的所述图片头和所述切片头中的所述至少一个。
19.根据权利要求11所述的装置，其中，所述至少两个NAL单元包括nalX单元和nalY单元。
20.一种非暂时性计算机可读介质，其特征在于，存储有指令，所述指令包括一个或多个指令，所述一个或多个指令当由设备的一个或多个处理器执行时，使所述一个或多个处理器：
使至少两个网络抽象层(NAL)单元的每一个的至少一个字段的信息相关联。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062980659P | 2020-02-24 | 2020-02-24 | |
| US62/980,659 | 2020-02-24 | ||
| US17/026,781 US11792432B2 (en) | 2020-02-24 | 2020-09-21 | Techniques for signaling and identifying access unit boundaries |
| US17/026,781 | 2020-09-21 | ||
| PCT/US2020/054246 WO2021173190A1 (en) | 2020-02-24 | 2020-10-05 | Techniques for signaling and identifying access unit boundaries |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114009030A true CN114009030A (zh) | 2022-02-01 |
Family
ID=77367197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080044541.8A Pending CN114009030A (zh) | 2020-02-24 | 2020-10-05 | 用于发信号通知和识别存取单元边界的技术 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11792432B2 (zh) |
| EP (1) | EP4111682A4 (zh) |
| JP (1) | JP7493533B2 (zh) |
| KR (1) | KR20210138074A (zh) |
| CN (1) | CN114009030A (zh) |
| WO (1) | WO2021173190A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4388749A1 (en) * | 2021-08-17 | 2024-06-26 | Nokia Technologies Oy | A method, an apparatus and a computer program product for video encoding and video decoding |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006295568A (ja) * | 2005-04-11 | 2006-10-26 | Toshiba Corp | 動画像復号装置及びピクチャ境界判定方法 |
| US20130114735A1 (en) * | 2011-11-04 | 2013-05-09 | Qualcomm Incorporated | Video coding with network abstraction layer units that include multiple encoded picture partitions |
| EP3346709A1 (en) * | 2017-01-05 | 2018-07-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| EP3349467A1 (en) * | 2017-01-10 | 2018-07-18 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3177020B1 (en) | 2002-07-16 | 2023-04-19 | Nokia Technologies Oy | A method for random access and gradual picture refresh in video coding |
| EP1968063B1 (en) * | 2004-04-28 | 2010-06-16 | Panasonic Corporation | Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus |
| KR101089072B1 (ko) | 2006-11-14 | 2011-12-09 | 퀄컴 인코포레이티드 | 채널 전환용 시스템 및 방법 |
| EP2094015A4 (en) * | 2006-12-11 | 2011-09-28 | Panasonic Corp | MOVABLE PICTURE DECODER, SEMICONDUCTOR DEVICE, VIDEO DEVICE, AND MOBILE PICTURE DECODING PROCESS |
| JP2009171294A (ja) * | 2008-01-17 | 2009-07-30 | Hitachi Ltd | 映像配信システム、映像中継装置、及び映像中継方法 |
| EP2265026A1 (en) * | 2009-06-16 | 2010-12-22 | Canon Kabushiki Kaisha | Method and device for deblocking filtering of SVC type video streams during decoding |
| RU2584501C1 (ru) * | 2012-04-16 | 2016-05-20 | Нокиа Текнолоджиз Ой | Способ и устройство для видеокодирования |
| US9641834B2 (en) * | 2013-03-29 | 2017-05-02 | Qualcomm Incorporated | RTP payload format designs |
| US20150264404A1 (en) * | 2014-03-17 | 2015-09-17 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
| US9800898B2 (en) * | 2014-10-06 | 2017-10-24 | Microsoft Technology Licensing, Llc | Syntax structures indicating completion of coded regions |
| EP3254471A1 (en) * | 2015-02-05 | 2017-12-13 | Cisco Technology, Inc. | Pvr assist information for hevc bitstreams |
| US10623755B2 (en) * | 2016-05-23 | 2020-04-14 | Qualcomm Incorporated | End of sequence and end of bitstream NAL units in separate file tracks |
| CN109565611B (zh) * | 2016-05-26 | 2021-12-21 | 弗劳恩霍夫应用研究促进协会 | 针对交互式客户端的全景视频的广播流 |
| WO2018011042A1 (en) | 2016-07-14 | 2018-01-18 | Koninklijke Kpn N.V. | Video coding |
| JP6244447B2 (ja) * | 2016-12-26 | 2017-12-06 | アスモ株式会社 | ラバーホルダ及びワイパブレード |
| CN111052748B (zh) * | 2017-07-06 | 2022-05-17 | 弗劳恩霍夫应用研究促进协会 | 客户端设备和操作客户端设备的方法 |
| BR112021012679A2 (pt) * | 2018-12-27 | 2021-09-08 | Huawei Technologies Co., Ltd. | Codificador de vídeo, decodificador de vídeo e métodos correspondentes |
-
2020
- 2020-09-21 US US17/026,781 patent/US11792432B2/en active Active
- 2020-10-05 EP EP20920993.1A patent/EP4111682A4/en active Pending
- 2020-10-05 KR KR1020217033401A patent/KR20210138074A/ko not_active Application Discontinuation
- 2020-10-05 CN CN202080044541.8A patent/CN114009030A/zh active Pending
- 2020-10-05 JP JP2021561992A patent/JP7493533B2/ja active Active
- 2020-10-05 WO PCT/US2020/054246 patent/WO2021173190A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006295568A (ja) * | 2005-04-11 | 2006-10-26 | Toshiba Corp | 動画像復号装置及びピクチャ境界判定方法 |
| US20130114735A1 (en) * | 2011-11-04 | 2013-05-09 | Qualcomm Incorporated | Video coding with network abstraction layer units that include multiple encoded picture partitions |
| EP3346709A1 (en) * | 2017-01-05 | 2018-07-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| EP3349467A1 (en) * | 2017-01-10 | 2018-07-18 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4111682A1 (en) | 2023-01-04 |
| JP2022529355A (ja) | 2022-06-21 |
| JP7493533B2 (ja) | 2024-05-31 |
| KR20210138074A (ko) | 2021-11-18 |
| US11792432B2 (en) | 2023-10-17 |
| US20210266599A1 (en) | 2021-08-26 |
| EP4111682A4 (en) | 2024-03-20 |
| WO2021173190A1 (en) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11638066B2 (en) | Method, device and computer program for encapsulating media data into a media file | |
| CN110870282B (zh) | 使用网络内容的文件轨处理媒体数据 | |
| TW201714456A (zh) | 傳輸經寫碼音訊資料 | |
| CN113287323A (zh) | 用于流媒体数据的多解码器接口 | |
| JP2018509060A5 (zh) | ||
| CN113661692B (zh) | 接收媒体数据的方法、装置和非易失性计算机可读存储介质 | |
| TW201813411A (zh) | 用於媒體資料串流之補充增強資訊軌跡之系統級發信 | |
| CN110996160A (zh) | 视频处理方法、装置、电子设备及计算机可读取存储介质 | |
| CN112771876B (zh) | 检索媒体数据的方法和设备以及发送媒体数据的方法和设备 | |
| US9872062B1 (en) | Enforcing synchronization by embedding audio within video frame data | |
| US11792432B2 (en) | Techniques for signaling and identifying access unit boundaries | |
| CN113453006B (zh) | 一种图片封装方法、设备以及存储介质 | |
| US11539820B2 (en) | Signaling and identifying picture boundary in video payload format over IP network | |
| US20240129537A1 (en) | Method and apparatus for signaling cmaf switching sets in isobmff | |
| US11882170B2 (en) | Extended W3C media extensions for processing dash and CMAF inband events | |
| US11588870B2 (en) | W3C media extensions for processing DASH and CMAF inband events along with media using process@append and process@play mode | |
| US20230336602A1 (en) | Addressable resource index events for cmaf and dash multimedia streaming | |
| KR20230101907A (ko) | 미디어 플레이백 동안 프리롤 및 미드롤 콘텐츠를 지원하기 위한 mpeg dash를 위한 방법 및 장치 | |
| JP2004312713A (ja) | データ送信装置 | |
| CN114667738A (zh) | Mpd有效期到期处理模型 | |
| CN114503599A (zh) | 使用gltf2场景描述中的扩展来支持视频和音频数据 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40065294 Country of ref document: HK |