CN115379221B - 一种流媒体数据传输方法和*** - Google Patents
一种流媒体数据传输方法和*** Download PDFInfo
- Publication number
- CN115379221B CN115379221B CN202211309842.6A CN202211309842A CN115379221B CN 115379221 B CN115379221 B CN 115379221B CN 202211309842 A CN202211309842 A CN 202211309842A CN 115379221 B CN115379221 B CN 115379221B
- Authority
- CN
- China
- Prior art keywords
- data packet
- streaming media
- layer
- media data
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013139 quantization Methods 0.000 claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 7
- 102100035115 Testin Human genes 0.000 claims 2
- 101710070533 Testin Proteins 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种流媒体数据传输方法和***,涉及流媒体技术领域,所述方法包括:发布后端服务器接收发布终端上传的原始流媒体数据包进行解码处理,确定并根据音频、视频流数据的量化等级进行可伸缩视频编码处理和音频编码处理后打包发送至分发后端服务器;分发后端服务器对接收到的传输流媒体数据包进行解码获得SVC视频流数据包和音频流数据包,根据网络情况和接收终端能力将音频流数据和对应层数的解码视频数据包分发给接收终端。通过本发明使流媒体数据根据业务类型进行量化并根据用户增益进行SVC编码层数的选择,在服务器上解码后发送给终端,减少服务器计算压力,减少传输带宽,降低了终端处理要求,节省了终端功耗。
Description
技术领域
本发明属于流媒体技术领域,尤其涉及一种流媒体数据传输方法和***。
背景技术
随着5G的发展,提供给用户业务的移动网络带宽不断增加,人们使用手机的时间也越来越长,视频解码通常需要大量的计算量,导致终端耗电量过大,同时,过高的计算量通常会导致计算芯片复杂量过大,造成手机卡顿、发烫、掉电快的问题。
网络带宽的增加可以使得后端对视频解码再发送的方式有可行性,同时运营商也在边缘化部署业务下沉的云服务器,使得业务处理可以在下层网络侧得以实现。
虽然空口端的资源丰富,但由于海量数据的不断产生和传输,网络对带宽的需求仍然十分紧张,在此情形下,需要提出一种对于当前网络架构下减少终端解码处理的方法。
发明内容
针对上述现有技术中存在的缺陷,本发明提供一种流媒体数据传输方法,所述方法包括:
发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;
发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看所述流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在视频流数据包的编码层数为n时使用第层的解码数据播放视频数据包的接收终端的数量,和之间的关系为,
其中,所述量化等级是发布后端服务器对所述流媒体数据包进行解码分析后确定的,所述发布后端服务器根据所述流媒体数据包业务的内容类型确定量化等级。
其中,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对原始流媒体数据包内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当原始流媒体数据包业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当原始流媒体数据包业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当原始流媒体数据包业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当原始流媒体数据包业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
其中,所述原始流媒体数据包和所述传输流媒体数据包的包头中都包含有相同的时间序列信息,分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
其中,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
本发明还提出了一种基于上述方法的流媒体数据传输***,所述***包括:
发布终端,所述发布终端上传的原始流媒体数据包;
发布后端服务器,所述发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;所述发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器,所述分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
接收终端,所述接收终端接收音频流数据与接收终端处理能力对应层数的解码后的视频流数据包并播放。
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看所述流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在视频流数据包的编码层数为n时使用第层的解码数据播放视频数据包的接收终端的数量,和之间的关系为,
其中,所述量化等级是发布后端服务器对所述流媒体数据包进行解码分析后确定的,所述发布后端服务器根据所述流媒体数据包业务的内容类型确定所述量化等级。
其中,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对原始流媒体数据包内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当原始流媒体数据包业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当原始流媒体数据包业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当原始流媒体数据包业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当原始流媒体数据包业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
其中,所述原始流媒体数据包和所述传输流媒体数据包的包头中都包含有相同的时间序列信息,所述分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
其中,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
与现有技术相比,通过本发明的方法使流媒体数据根据业务类型进行量化同时根据用户增益进行SVC编码层数的选择,并在服务器上解码后发送给终端,减少服务器对编解码的计算压力,减少流媒体数据的传输带宽,降低了终端解码的处理要求节省了终端功耗。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本发明实施例的一种流媒体数据传输方法流程图;
图2是示出根据本发明实施例的一种流媒体数据传输***的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……,但这些……不应限于这些术语。这些术语仅用来将……区分开。例如,在不脱离本发明实施例范围的情况下,第一……也可以被称为第二……,类似地,第二……也可以被称为第一……。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例一、
如图1所示,本发明公开了本发明提供一种流媒体数据传输方法,所述方法包括:
发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;
发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看所述流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在视频流数据包的编码层数为n时使用第层的解码数据播放视频数据包的接收终端的数量,和之间的关系为,
由于至少使用基础层对流媒体数据包进行编码,所以在计算增益数据时从第二层的增益开始计算。
所述为总增益(n)和改善增益(n)对应的权重,所述为根据业务策略确定的权重系数,所述。例如,当平台对该业务的目标倾向于为增长总用户数时,会被设置为更高的值如分别为0.9和0.1,当平台对该业务的目标倾向于为增长总用户数同时提升用户体验时,的设置会相对均衡,如0.65和0.35。
在某一实施例中,所述量化等级是发布后端服务器对所述流媒体数据包进行解码分析后确定的,所述发布后端服务器根据所述流媒体数据包业务的内容类型确定量化等级。
在某一实施例中,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对原始流媒体数据包内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当原始流媒体数据包业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当原始流媒体数据包业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当原始流媒体数据包业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当原始流媒体数据包业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
例如,当业务场景为风景欣赏,那么用户对颗粒度可接受程度比较低,应当设置更高的量化级,当业务场景为直播带货日用品时,用户由于对产品的内容较为熟悉,对颗粒度的可接受程度较高,此时可以用低位数量化级进行残差编码,当业务场景为直播带货服装或者饰品时,产品的细节清晰度不同用户的感受差别较大,对颗粒度的可接受程度较低,此时用高位数量化级进行残差编码较为合适,此外还可以对流媒体数据的特效进行分析,是否使用磨皮,人像美化等功能,通常这类流媒体视频数据的清晰度不是很高,低量化等级的使用不会对用户观感造成过大的影响。
例如当识别音频为采访等仅存在人声的场景下,用户对噪声不敏感,对音质要求也不敏感,可以使用低位数量化级进行音频编码。当识别音频和场景为音乐会,用户对音质要求高,使用高位数量化级进行音频编码。
在某一实施例中,所述原始流媒体数据包和所述传输流媒体数据包的包头中都包含有相同的时间序列信息,分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
在某一实施例中,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
与现有技术相比,通过本发明的方法使流媒体数据根据业务类型进行量化同时根据用户增益进行SVC编码层数的选择,并在服务器上解码后发送给终端,减少服务器对编解码的计算压力,减少流媒体数据的传输带宽,降低了终端解码的处理要求节省了终端功耗。
实施例二、
本发明提出的一种基于上述方法的一种流媒体数据传输***,所述***包括:
发布终端,所述发布终端上传的原始流媒体数据包;
发布后端服务器,所述发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;所述发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器,所述分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
接收终端,所述接收终端接收音频流数据与接收终端处理能力对应层数的解码后的视频流数据包并播放;
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看所述流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在视频流数据包的编码层数为n时使用第层的解码数据播放视频数据包的接收终端的数量,和之间的关系为,
在某一实施例中,所述量化等级是发布后端服务器对所述流媒体数据包进行解码分析后确定的,所述发布后端服务器根据所述流媒体数据包业务的内容类型确定量化等级。
在某一实施例中,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对原始流媒体数据包内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当原始流媒体数据包业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当原始流媒体数据包业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当原始流媒体数据包业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当原始流媒体数据包业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
在某一实施例中,所述原始流媒体数据包和所述传输流媒体数据包的包头中都包含有相同的时间序列信息,分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
在某一实施例中,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
编码层数越高的数据层的数据量会比较低层级的解码数据量大。因此网络拥塞程度较高时,分发后端服务器需要根据网络情况调整发送解码数据量大小以提高用户体验。例如,当接收终端处理能力对应三层,但发送第三层的解码数据延迟过高影响了用户体验,如超过了用户体验阈值,则分发后端服务器判断发送第二层对应的解码数据是否延迟较高,如果网络情况不佳拥塞程度较高导致第二层对应的解码数据到达延迟依然超过用户体验阈值,则直接发送基础层对应的解码数据。
此外,如果服务器预存的终端处理能力高于数据流最高编码层的解码数据流所需的处理能力,向该终端发送该数据流最高编码层的解码数据流。
与现有技术相比,通过本发明的方法使流媒体数据根据业务类型进行量化同时根据用户增益进行SVC编码层数的选择,并在服务器上解码后发送给终端,减少服务器对编解码的计算压力,减少流媒体数据的传输带宽,降低了终端解码的处理要求节省了终端功耗。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式,旨在使得本发明的精神更加清楚和便于理解,并不是为了限制本发明,凡在本发明的精神和原则之内,所做的修改、替换、改进,均应包含在本发明所附的权利要求概括的保护范围之内。
Claims (10)
1.一种流媒体数据传输方法,所述方法包括:
发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;
所述发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的SVC视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据包和与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看相应的流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在流媒体数据里的视频流数据包的编码层数为n时使用第层的解码数据播放流媒体数据里的视频流数据包的接收终端的数量,和之间的关系为,
2.如权利要求1所述方法,其特征在于,所述量化等级是所述发布后端服务器对所述原始流媒体数据包进行解码分析后确定的,所述发布后端服务器根据解码后的原始流媒体数据包的业务的内容类型确定所述量化等级。
3.如权利要求1所述方法,其特征在于,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对解码后的原始流媒体数据包的内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当所述解码后的原始流媒体数据包的业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当所述解码后的原始流媒体数据包的业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当所述解码后的原始流媒体数据包的业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当所述解码后的原始流媒体数据包的业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
4.如权利要求1所述的方法,其特征在于,所述原始流媒体数据包和所述传输流媒体数据包的包头中包含有相同的时间序列信息,分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据包和与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
5.如权利要求1所述的方法,其特征在于,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据包和与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
6.一种流媒体数据传输***,所述***包括:
发布终端,所述发布终端上传的原始流媒体数据包;
发布后端服务器,所述发布后端服务器接收发布终端上传的原始流媒体数据包,对所述原始流媒体数据包进行解码处理;所述发布后端服务器对解码后的所述原始流媒体数据包进行分析后确定其中音频流数据和视频流数据的量化等级,根据量化等级对所述视频流数据进行可伸缩视频编码SVC处理,以及根据所述量化等级对所述音频流数据进行编码处理,将编码后的视频流数据和音频流数据打包成传输流媒体数据包发送至分发后端服务器;
分发后端服务器,所述分发后端服务器对接收到的传输流媒体数据包进行解码,获得SVC视频流数据包和音频流数据包,根据网络情况和预先获取的接收终端的处理能力,将音频流数据包和与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端;
接收终端,所述接收终端接收音频流数据包和与接收终端处理能力对应层数的解码后的视频流数据包并播放;
其中,所述SVC视频流数据包的编码层数是根据以下方式确定的:
在压力测试下,从基础层开始,使用递增的编码层数对流媒体视频数据进行编码,统计压力测试下编码层数为n时观看相应的流媒体数据的各层用户数量之和,以及压力测试下编码层数为n时解码层分别在k层的各层用户数量,其中为1至n层中的任一解码层的层数,表明在流媒体数据里的视频流数据包的编码层数为n时使用第层的解码数据播放流媒体数据里的视频流数据包的接收终端的数量,和之间的关系为,
7.如权利要求6所述***,其特征在于,所述量化等级是发布后端服务器对所述原始流媒体数据包进行解码分析后确定的,所述发布后端服务器根据解码后的原始流媒体数据包的业务的内容类型确定所述量化等级。
8.如权利要求6所述***,其特征在于,发布后端服务器对解码后的所述原始流媒体数据包进行分析,包括对解码后的原始流媒体数据包的内容的场景、背景、特征物体、特效以及声音类型进行识别和分类;
当所述解码后的原始流媒体数据包的业务的内容类型为颗粒度敏感业务类型时,使用高位数量化等级对视频流数据中SVC基础层中的残差进行量化编码,当所述解码后的原始流媒体数据包的业务的内容类型为颗粒度不敏感业务类型时,使用低位数量化等级对视频流数据中SVC基础层中的残差进行量化编码;
当所述解码后的原始流媒体数据包的业务的内容类型为噪声敏感业务类型时,使用高位数量化等级进行音频流量化编码,当所述解码后的原始流媒体数据包的业务的内容类型为噪声不敏感业务类型时,使用低位数量化等级进行音频流量化编码。
9.如权利要求6所述的***,其特征在于,所述原始流媒体数据包和所述传输流媒体数据包的包头中包含有相同的时间序列信息,所述分发后端服务器对接收到的多个传输流媒体数据包解码后,根据包头中的时间序列,按序将多个音频流数据包和与无线侧终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端。
10.如权利要求6所述的***,其特征在于,分发后端服务器对根据网络情况和预先获取的接收终端的处理能力,将音频流数据包和与接收终端处理能力对应层数的解码后的视频流数据包直接分发给对应接收终端,包括:
先确定接收终端处理能力的对应层数,再判断网络拥塞情况,若当前网络发送该层对应的解码数据延迟超过用户体验阈值时,判断低一层的解码数据延迟是否超过用户体验阈值,若低一层为基础层,则无需进行判断直接向接收终端发送基础层的解码后的视频流数据包;
若确定的接收终端处理能力对应层数的解码层为基础层时,直接向接收终端发送基础层的解码后的视频流数据包。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211309842.6A CN115379221B (zh) | 2022-10-25 | 2022-10-25 | 一种流媒体数据传输方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211309842.6A CN115379221B (zh) | 2022-10-25 | 2022-10-25 | 一种流媒体数据传输方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115379221A CN115379221A (zh) | 2022-11-22 |
CN115379221B true CN115379221B (zh) | 2022-12-20 |
Family
ID=84073352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211309842.6A Active CN115379221B (zh) | 2022-10-25 | 2022-10-25 | 一种流媒体数据传输方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115379221B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311599A (ja) * | 2004-04-20 | 2005-11-04 | Keio Gijuku | 通信システム、通信方法およびストリーミングサーバ |
CN1851776A (zh) * | 2006-05-19 | 2006-10-25 | 沈阳鼎通科技有限公司 | 网络电视宽带业务终端***与提供宽带业务的方法 |
WO2008108379A1 (ja) * | 2007-02-28 | 2008-09-12 | Nec Corporation | メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム |
CN101355522A (zh) * | 2008-09-18 | 2009-01-28 | 中兴通讯股份有限公司 | 一种媒体服务器的控制方法和*** |
CN101399980A (zh) * | 2007-09-26 | 2009-04-01 | 华为技术有限公司 | 流媒体服务实现方法、***和策略与控制服务器 |
CN102137047A (zh) * | 2011-03-21 | 2011-07-27 | 华中科技大学 | 一种多参数媒体适配网关及其适配方法 |
CN106686409A (zh) * | 2015-11-09 | 2017-05-17 | ***通信集团公司 | 一种流媒体码率自适应方法及装置、服务器、终端 |
CN113287323A (zh) * | 2019-01-08 | 2021-08-20 | 高通股份有限公司 | 用于流媒体数据的多解码器接口 |
CN114640653A (zh) * | 2022-03-04 | 2022-06-17 | 杭州东信北邮信息技术有限公司 | 一种视频会议中的流媒体分发***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002297496A (ja) * | 2001-04-02 | 2002-10-11 | Hitachi Ltd | メディア配信システム及びマルチメディア変換サーバ |
-
2022
- 2022-10-25 CN CN202211309842.6A patent/CN115379221B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005311599A (ja) * | 2004-04-20 | 2005-11-04 | Keio Gijuku | 通信システム、通信方法およびストリーミングサーバ |
CN1851776A (zh) * | 2006-05-19 | 2006-10-25 | 沈阳鼎通科技有限公司 | 网络电视宽带业务终端***与提供宽带业务的方法 |
WO2008108379A1 (ja) * | 2007-02-28 | 2008-09-12 | Nec Corporation | メディア配信システム、配信サーバ装置及びそれらに用いるメディア配信方法並びにそのプログラム |
CN101399980A (zh) * | 2007-09-26 | 2009-04-01 | 华为技术有限公司 | 流媒体服务实现方法、***和策略与控制服务器 |
CN101355522A (zh) * | 2008-09-18 | 2009-01-28 | 中兴通讯股份有限公司 | 一种媒体服务器的控制方法和*** |
CN102137047A (zh) * | 2011-03-21 | 2011-07-27 | 华中科技大学 | 一种多参数媒体适配网关及其适配方法 |
CN106686409A (zh) * | 2015-11-09 | 2017-05-17 | ***通信集团公司 | 一种流媒体码率自适应方法及装置、服务器、终端 |
CN113287323A (zh) * | 2019-01-08 | 2021-08-20 | 高通股份有限公司 | 用于流媒体数据的多解码器接口 |
CN114640653A (zh) * | 2022-03-04 | 2022-06-17 | 杭州东信北邮信息技术有限公司 | 一种视频会议中的流媒体分发***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115379221A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210035608A1 (en) | Variable Speed Playback | |
KR100987232B1 (ko) | 인코딩 장치 내에서의 레이트 제어 방법 및 시스템 | |
US8825188B2 (en) | Methods and systems for identifying content types | |
CN1941908B (zh) | 用于基于多媒体节目类型进行速率转换的***和方法 | |
US20080247460A1 (en) | Method and Apparatus For Scalable Video Adaption Using Adaption Operators For Scalable Video | |
AU2008202703B2 (en) | Apparatus and method for providing multimedia content | |
JP5314825B2 (ja) | Cpuの負荷を安定させるためにスケーラブルビデオを動的に適応復号化するためのシステム及び方法 | |
US11915144B2 (en) | Apparatus, a method and a computer program for running a neural network | |
CN102144256B (zh) | 用于针对矢量量化器的快速最近邻搜索的方法和设备 | |
KR20120052336A (ko) | 미디어 스트림 내의 디지털 오디오 샘플들에 대한 적응 이득 제어 | |
US20150063445A1 (en) | Method and apparatus for layered compression of multimedia signals for storage and transmission over heterogeneous networks | |
JP5140952B2 (ja) | コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ再生端末、プログラム、コンテンツ配信方法 | |
KR20070029105A (ko) | 비디오 콘텐트 및 은닉 의존성 에러 보호 및 스케줄링알고리즘을 제공하는 시스템 및 방법 | |
US9294789B2 (en) | Enhanced live multibitrate video encoding | |
US20070133619A1 (en) | Apparatus and method of processing bitstream of embedded codec which is received in units of packets | |
CN115379221B (zh) | 一种流媒体数据传输方法和*** | |
Le et al. | A novel adaptation method for HTTP streaming of VBR videos over mobile networks | |
CN111798858A (zh) | 音频播放方法、装置、电子设备及存储介质 | |
US20150149593A1 (en) | Virtual desktop infrastructure server, computer implemented video streaming method, and non-transitory computer readable storage medium thereof | |
CN116259322A (zh) | 音频数据压缩方法及相关产品 | |
US8289846B2 (en) | Statistical sub-multiplexer for centrally formatted broadcast programming | |
CN113016032A (zh) | 信息处理装置和方法以及程序 | |
US20230360661A1 (en) | Hierarchical spatial resolution codec | |
WO2022242534A1 (zh) | 编解码方法、装置、设备、存储介质及计算机程序 | |
Cha et al. | Adaptive scheme for streaming MPEG-4 contents to various devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |