CN113676404A - 数据传输方法、装置、设备、存储介质及程序 - Google Patents

数据传输方法、装置、设备、存储介质及程序 Download PDF

Info

Publication number
CN113676404A
CN113676404A CN202110967138.9A CN202110967138A CN113676404A CN 113676404 A CN113676404 A CN 113676404A CN 202110967138 A CN202110967138 A CN 202110967138A CN 113676404 A CN113676404 A CN 113676404A
Authority
CN
China
Prior art keywords
physical transmission
media data
transmission path
image frames
transmission paths
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110967138.9A
Other languages
English (en)
Inventor
施澍
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202110967138.9A priority Critical patent/CN113676404A/zh
Publication of CN113676404A publication Critical patent/CN113676404A/zh
Priority to PCT/CN2022/108052 priority patent/WO2023024802A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/302Route determination based on requested QoS
    • H04L45/306Route determination based on the nature of the carried application
    • H04L45/3065Route determination based on the nature of the carried application for real time traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例提供一种数据传输方法、装置、设备、存储介质及程序,该方法包括:云端服务器获取待向终端设备发送的目标媒体数据,确定由所述云端服务器通向所述终端设备的至少两条物理传输路径,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。通过上述过程,实现了多径传输,当其中一条物理传输路径发生网络拥塞时,其他物理传输路径传输的媒体数据不受影响,终端设备还可以根据通过其他物理传输路径接收到的媒体数据进行显示,从而保证较低的响应时延,提升用户体验。

Description

数据传输方法、装置、设备、存储介质及程序
技术领域
本公开实施例涉及云技术领域,尤其涉及一种数据传输方法、装置、设备、存储介质及程序。
背景技术
随着网络技术的发展,流媒体应用得到广泛使用。常见的流媒体应用包括但不限于:网络直播应用、影视应用、云游戏应用等。以云游戏应用为例,云端服务器上运行游戏程序,用户通过终端设备发出游戏指令以对云端服务器上的游戏程序进行控制,云端服务器根据游戏指令渲染出游戏画面,并将游戏画面发送给终端设备进行显示。
云游戏应用对于响应时延要求严格。响应时延是指从用户通过终端设备发出游戏指令开始,到用户在终端设备的屏幕上看到游戏画面之间的时间。当响应时延较大时会使用户感受到游戏卡顿。相关技术中,可以通过减少数据缓冲区、优化传输协议等方式来降低响应时延。
然而,发明人发现上述相关技术至少存在以下技术问题:在云端服务器与终端设备之间发生网络拥塞的情况下,依然存在响应时延较高的问题。
发明内容
本公开实施例提供一种数据传输方法、装置、设备、存储介质及程序,以解决响应时延较高的问题。
第一方面,本公开实施例提供一种数据传输方法,包括:
获取待向终端设备发送的目标媒体数据;
确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
第二方面,本公开实施例提供一种数据传输装置,包括:
获取模块,用于获取待向终端设备发送的目标媒体数据;
确定模块,用于确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
传输模块,用于通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
第三方面,本公开实施例提供一种电子设备,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述计算机执行指令,实现如第一方面以及第一方面各种可能的设计所述的数据传输方法。
第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的数据传输方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如以及第一方面各种可能的设计所述的数据传输方法。
本公开实施例提供的数据传输方法、装置、设备、存储介质及程序,云端服务器获取待向终端设备发送的目标媒体数据,确定由所述云端服务器通向所述终端设备的至少两条物理传输路径,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。通过上述过程,实现了多径传输,当其中一条物理传输路径发生网络拥塞时,其他物理传输路径传输的媒体数据不受影响,终端设备还可以根据通过其他物理传输路径接收到的媒体数据进行显示,从而保证较低的响应时延,提升用户体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的云游戏场景的示意图;
图2为本公开实施例提供的云游戏场景中响应时延的示意图;
图3为本公开实施例提供的一种数据传输方法的流程示意图;
图4为本公开实施例提供的多条物理传输路径的示意图;
图5为本公开实施例提供的一种多径传输的示意图;
图6为本公开实施例提供的另一种多径传输的示意图;
图7为本公开实施例提供的又一种多径传输的示意图;
图8为本公开实施例提供的又一种多径传输的示意图;
图9为本公开实施例提供的一种数据传输装置的结构示意图;
图10为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
首先对本公开实施例中涉及的概念和术语进行解释说明。
分层视频编码(Scaled Video Coding,SVC):是一种用来兼容不同终端设备和链路带宽的技术,它的特点是对码流分层,低层码流可以单独解码,高层码流能增强视频的质量。常用的分级方法包括:时域分级、空间分级、质量分级等。SVC是一种能将视频流分割为多个分辨率、质量和帧速率层的技术,是对当今大多数视频会议设备所采用的H.264视频编解码标准的扩展。视频会议设备采用SVC技术来收发由一个小的基本层和多个可提高分辨率、帧速率和质量的其它可选层组成的多层视频流。这种分层方式可以大大提高误码弹性和视频质量,而且对带宽没有很高的要求。此外,一个多层SVC视频流可以支持多种设备和网络。
I帧(I Frame),又称为内部画面(Intra Picture)或者关键帧。I帧是帧间压缩编码里的重要帧,它是一个全帧压缩的编码帧,解码时仅用I帧的数据就可重构完整图像;I帧不需要参考其他画面而生成。动态图像专家组(Moving Picture Experts Group,MPEG)编码将画面(即帧)分为I帧、P帧、B帧三种。其中,I帧是内部编码帧,P帧是前向预测帧,B帧是双向内插帧。简单地讲,I帧是关键帧,可以理解为一个完整的画面,而P帧和B帧记录的是相对于I帧的变化,P帧表示跟前一帧的差别,B帧表示前后帧差别。没有I帧,P帧和B帧就无法解码。
画面组(Group of Pictures,GOP):一个GOP就是一组连续的画面。GOP的第一个图像必须为I帧。
帧率(Frame Rate):是以帧为单位的图像连续出现在显示器上的频率。帧率通常为每秒传输帧数(Frames Per Second,fps)为单位。每秒钟帧数越多,所显示的动作就会越流畅。在游戏过程中一般人眼能接受的最低帧率为30fps,基本流畅等级则需要>60fps。
本公开实施例可应用于涉及流媒体应用的场景,包括但不限于:网络直播应用、影视应用、云游戏应用等。为了便于理解,下面以云游戏场景为例,对本公开实施例的应用场景进行介绍。
图1为本公开实施例提供的云游戏场景的示意图。如图1所示,该应用场景包括终端设备10和云端服务器20。终端设备10和云端服务器20通过网络连接。云端服务器20上运行游戏程序,用户通过终端设备10发出游戏指令以对云端服务器20上的游戏程序进行控制,云端服务器20根据游戏指令渲染生成游戏画面,并将游戏画面发送给终端设备10进行显示,从而用户通过终端设备10观看到游戏画面。图1所示的应用场景中,由于游戏程序运行在云端服务器,用户可以随时随地的利用云端服务器提供的硬件资源来享受高质量的游戏,而不需要为终端设备购置昂贵的游戏硬件资源,降低对终端设备的硬件要求。
其中,上述的终端设备10是指提供与用户交互功能的电子设备,包括但不限于:智能手机、平台电脑、笔记本电脑、智能电视、游戏手柄、智能穿戴设备等。
云游戏应用场景对于响应时延要求严格。响应时延是指从用户通过终端设备发出游戏指令开始,到用户在终端设备的屏幕上看到游戏画面之间的时间。图2为本公开实施例提供的云游戏场景中响应时延的示意图。如图2所示,假设,在T1时刻用户通过终端设备发出游戏指令,在T2时刻云端服务器接收到游戏指令,在T3时刻云端服务器渲染出游戏画面,在T4时刻终端设备的屏幕上显示游戏画面。
上述过程中,T1时刻和T2时刻之间的时长Δt1,即为游戏指令从终端设备传输至云端服务器所需时长。T2时刻与T3时刻之间的时长Δt2,即为云端服务器根据游戏指令渲染游戏画面所需时长。T3时刻与T4时刻之间的时长Δt3,即为游戏画面从云端服务器传输至终端设备所需时长。这样,响应时延等于上述Δt1、Δt2、Δt3三个时长之和。由图2可见,响应时延中的很大一部分来自于Δt3,即,将游戏画面从云端服务器传输至终端设备所需时长。
当响应时延较大时会使用户感受到游戏卡顿。通常,响应时延需要控制在100ms以内才不会使用户感受到卡顿。相关技术中,可以采用如下几种方式来降低响应时延:
(1)要求用户使用高带宽低延迟的高质量的网络接入服务。
(2)合理布局云端服务器,使得用户终端设备与云端服务器之间的网络连接具有较低延迟。
(3)对数据传输过程进行优化,例如,减少数据传输过程中使用的数据缓存区、优化传输协议等尽量减少传输时延。
然而,发明人在研究过程中发现,终端设备和云端服务器之间的网络路径可能发生网络拥塞,上述相关技术在发生网络拥塞的情况下,依然存在响应时延较高的问题。举例而言,终端设备和云端服务器之间的网络路径上的路由器,可能会在任何时间因为背景流量的变化而产生拥塞,这样的拥塞既不可控,也不可预测。因此,一旦发生网络拥塞,用户很容易感受到游戏画面的卡顿或者游戏指令的响应不及时,影响用户的游戏体验。
为了解决上述技术问题,本公开实施例提供一种数据传输方法、装置、设备、存储介质及程序,云端服务器可以通过至少两条物理传输路径向终端设备传输目标媒体数据,这样,在一条物理传输路径发生网络拥塞的情况下,通过其他物理传输路径传输的媒体数据不受影响,终端设备还可以根据通过其他物理传输路径接收到的媒体数据进行显示,从而保证较低的响应时延,提升用户体验。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3为本公开实施例提供的一种数据传输方法的流程示意图。本实施例的方法可以由云端服务器执行。如图3所示,本实施例的方法包括:
S301:获取待向终端设备发送的目标媒体数据。
本实施例中,云端服务器和终端设备之间采用流媒体技术传输目标媒体数据。也就是说,云端服务器将目标媒体数据以流的方式在网络中分段传送至终端设备,以实现终端设备对目标媒体数据进行实时播放显示。
目标媒体数据可以为视频形式的数据。换言之,目标媒体数据中可以包括多个图像帧。目标媒体数据还可以为音频形式的数据。
在不同的应用场景中,目标媒体数据的形式和内容可能不同。示例性的,在网络直播场景中,目标媒体数据可以是直播视频数据。在影视应用场景中,目标媒体数据可以为影视画面。在云游戏场景中,目标媒体数据可以是游戏画面数据。
可选的,在云游戏场景中,S301之前还可以包括:从终端设备接收游戏指令。S301可以包括:根据游戏指令,渲染生成游戏画面,该游戏画面即为待向终端设备发送的目标媒体数据。
S302:确定由所述云端服务器通向所述终端设备的至少两条物理传输路径。
S303:通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
本实施例中,通过至少两条物理传输路径向终端设备传输目标媒体数据的方式可以称为“多径传输”。在现有的云游戏场景中,通常的做法是采用单径传输,即只建立一条物理传输路径。云端服务器通过这一条物理传输路径向终端设备传输目标媒体数据。因此,当这一条物理传输路径发生网络拥塞时,不可避免的导致响应时延过高。本公开实施例中,通过采用多径传输,当其中一条物理传输路径发生网络拥塞时,其他物理传输路径传输的媒体数据不受影响,终端设备还可以根据通过其他物理传输路径接收到的媒体数据进行显示,从而保证较低的响应时延,提升用户体验。
在本实施例执行之前,可以事先建立多条由云端服务器通向终端设备的物理传输路径(即,创建多径)。这样,在本实施例执行时,可以从上述多条物理传输路径中选择至少两条物理传输路径,并通过选择出的至少两条物理传输路径向终端设备传输目标媒体数据。
应理解,上述选择出的至少两条物理传输路径,可以是上述事先建立的多条物理传输路径中的全部,还可以是上述事先建立的多条物理传输路径中中部分。举例而言,假设事先建立3条由云端服务器通向终端设备的物理传输路径,在本实施例执行过程中,可以通过上述3条物理传输通路向终端设备传输目标媒体数据,还可以通过其中的任意两条物理传输通路向终端设备传输目标媒体数据。
本实施例中,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据时,通过每条物理传输路径传输的媒体数据可以为目标媒体数据的部分或者全部。
举例而言,以两条物理传输路径为例,分别为第一物理传输路径和第二物理传输路径。一个示例中,可以通过第一物理传输路径传输目标媒体数据中的一部分,通过第二物理传输路径传输目标媒体数据的另一部分。另一个示例中,可以通过第一物理传输路径传输目标媒体数据的全部,通过第二物理传输路径传输目标媒体数据的全部。又一个示例中,可以通过第一物理传输路径传输目标媒体数据的一部分,通过第二物理传输路径传输目标媒体数据的全部。
需要特别说明的是,本公开实施例中的物理传输路径,是指物理层面的传输路径,而不是逻辑层面的传输路径。“物理层面的传输路径”指的是在不同的网络设备(例如:路由器、服务器等)之间通过网络传输介质(例如:光纤、网线、无线传输路径等)连接而成的网络通路。“逻辑层面的传输路径”指的是在应用层面建立的基于不同网络传输协议的网络通路。
举例而言,在云端服务器和终端设备之间建立两个基于传输控制协议(Transmission Control Protocol,TCP)的连接,或者,建立一个基于TCP的连接和一个基于用户数据报协议(User Datagram Protocol,UDP)的连接,这样建立的两条传输路径属于逻辑层面的传输路径,而不是物理层面的传输路径。这样建立的两条传输路径尽管逻辑上相互独立,互不干涉,但是这两条传输路径依然是在同一条物理传输路径中传输数据,因此,不能称之为两条物理传输路径。
实际应用中,在云端服务器和终端设备之间创建多条物理传输路径的方式可以有多种,本实施例对此不作限定。下面以几种可能的实现方式为例进行介绍。
一种可能的实现方式中,可以借助中转服务器来创建多条物理传输路径。图4为本公开实施例提供的多条物理传输路径的示意图。如图4所示,借助中转服务器A、中转服务器B和中转服务器C可以创建3条物理传输路径。第一条物理传输路径为:由云端服务器通向中转服务器A,再由中转服务器A通向终端设备。第二条物理传输路径为:由云端服务器通向中转服务器B,再由中转服务器B通向终端设备。第三条物理传输路径为:由云端服务器通向中转服务器C,再由中转服务器C通向终端设备。这样,云端服务器可以通过上述3条物理传输路径中的至少两条向终端设备传输目标媒体数据。
另一种可能的实现方式中,可以采用基于网际互连协议(Internet Protocol,IP)的路由寻址技术,创建多条物理传输路径。需要说明的是,该方式通常需要网络运营商的特殊支持,才能保证得到多条物理传输路径。
又一种可能的实现方式中,在无法得到网络运营商特殊支持的情况下,还可以将上述基于IP的路由寻址技术和借助中转服务器两种方式向结合,来创建多条物理传输路径。
再一种可能的实现方式中,如果终端设备同时支持不同的网络接口,例如,同时支持无线保真(Wireless Fidelity,Wi-Fi)接口和第五代移动通信技术(5th GenerationMobile Communication Technology,5G)接口,或者,同时支持Wi-Fi接口和4G接口,则可以利用不同的网络接口来创建多条物理传输路径。这样建立的多条物理传输路径重合的可能性较低,且实现起来较为方便。
在建立多条物理传输路径之后,通常需要对每条物理传输路径的带宽和时延进行探测,以确保每条物理传输路径都能满足应用场景的要求。另外,需要说明的是,本实施例中,不同物理传输路径中允许存在部分重合,但是不能完全重合。可选的,在建立多条物理传输路径之后,还可以对各条物理传输路径的重合度进行分析。这样,在需要进行多径传输时,在其他条件类似的情况下,尽量选取重合度低的物理传输路径来使用。
另外,需要说明的是,一些应用场景中,终端设备向云端服务端传输方向(以下简称下载方向)的传输通路和云端服务端向终端设备传输方向(以下简称上传方向)的传输通路并不相同,这种情况也不是本公开中的“多径”。本公开中的“多径”是指在下载方向存在至少两条物理传输路径。本公开对于上传方向的传输路径不作限定。上传方向的传输路径可以复用下载方向的部分或者全部传输路径,还可以使用另外的传输路径,本公开实施例对此不作限定。
本实施例提供的数据传输方法,包括:云端服务器获取待向终端设备发送的目标媒体数据,确定由所述云端服务器通向所述终端设备的至少两条物理传输路径,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。通过上述过程,实现了多径传输,当其中一条物理传输路径发生网络拥塞时,其他物理传输路径传输的媒体数据不受影响,终端设备还可以根据通过其他物理传输路径接收到的媒体数据进行显示,从而保证较低的响应时延,提升用户体验。
一些应用场景中,由于目标媒体数据通常为视频形式或者音频形式的数据,因此,目标媒体数据的数据量较大。为了便于传输,需要对目标媒体数据进行编码压缩后发送。
具体而言,云端服务器采用预设的编码算法对目标媒体数据进行编码处理,得到编码数据,并将编码数据传输至终端设备。终端设备接收到编码数据后,采用对应的解码算法对编码数据进行解码处理得到目标媒体数据,进而对目标媒体数据进行显示。
在单径传输方式中,由于目标媒体数据都在同一条物理传输路径中传输,在编码时只需要对目标媒体数据中的图像帧进行顺序编码即可。而在本公开实施例提供的多径传输方式中,目标媒体数据可能会被分为多个部分,不同的部分通过不同的物理传输路径进行传输,因此,云端服务器还需要对目标媒体数据的编码方式进行调整,以适配多径传输方式。
本公开实施例中,云端服务器可以采用如下方式实现多径传输:
(1)根据目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据。
当目标媒体数据包括多个图像帧时,需要从多个图像帧中,确定每条物理传输路径对应的图像帧。
可选的,不同物理传输路径对应的图像帧可以完全相同,例如,每条物理传输路径对应的图像帧包括所述多个图像帧中的全部图像帧。
可选的,不同物理传输路径对应的图像帧可以部分相同。以第一物理传输路径和第二物理传输路径为例,第一物理传输路径对应的图像帧包括所述多个图像帧中的全部图像帧,第二物理传输路径对应的图像帧包括所述多个图像帧中的部分图像帧。
可选的,不同物理传输路径对应的图像帧可以完全不同。以第一物理传输路径和第二物理传输路径为例,可以将多个图像帧划分为第一组图像帧和第二组图像帧,第一物理传输路径对应的图像帧包括第一组图像帧,第二物理传输路径对应的图像帧包括第二组图像帧。
(2)对每条物理传输路径对应的待传输媒体数据进行编码处理,得到该条物理传输路径对应的编码数据。
应理解的是,本实施例对于编码算法不作限定,可以采用现有的视频编码算法。
(3)通过所述至少两条物理传输路径向终端设备传输各自对应的编码数据。
上述过程中,由于是针对每条物理传输路径对应的待传输媒体数据进行独立编码处理,使得不同物理传输路径对应的编码数据相互独立,终端设备可针对每条物理传输路径对应的编码数据进行独立解码,不需要依赖其他物理传输路径对应编码数据。这样,当其中一条物理传输路径发生网络拥塞时,其他的物理传输路径所传输的媒体数据不受影响,终端设备依然可以对其他物理传输路径传输的媒体数据进行解码显示,从而保证较低的响应时延,提升用户体验。
下面结合几个具体的示例,对本公开提供的多径传输方案进行更详细的介绍。
多径传输方案一:
云端服务器将目标媒体数据,分别确定为每条物理传输路径对应的待传输媒体数据。换言之,云端服务器对目标媒体数据进行编码处理,得到第一编码数据,通过每条物理传输路径向终端设备发送所述第一编码数据。这样,多条物理传输路径中传输的是完全相同的数据。
图5为本公开实施例提供的一种多径传输的示意图。如图5所示,以三条物理传输路径为例进行示意,云端服务器对目标媒体数据进行编码处理,得到第一编码数据,通过每条物理传输路径向终端设备发送所述第一编码数据。该实现方式中,每条物理传输路径中均传输了全部的目标媒体数据,这样,多条物理传输路径实现了冗余备份的效果。当其中一条物理传输路径发生网络拥塞时,终端设备可以根据其他物理传输路径所传输的第一编码数据进行解码显示,从而保证较低的响应时延,提升用户体验。
需要说明的是,该实现方式中,云端服务器对目标媒体数据的编码方式可以采用单径传输中的编码方式,即,对目标媒体数据中的各图像帧依次进行顺序编码即可。
能够理解的是,图5所示的多径传输方式,适用于音频形式的媒体数据,或者,适用于码率较低、带宽充裕的视频形式的媒体数据。
多径传输方案二:
假设采用两条物理传输路径进行多径传输,两条物理传输路径分别为第一物理传输路径和第二物理传输路径。云端服务器可以将多个图像帧中的全部图像帧,确定为第一物理传输路径对应的图像帧,将多个图像帧中的部分图像帧,确定为第二物理传输路径对应的图像帧。这样,两条物理传输路径传输的图像帧中存在部分相同。
图6为本公开实施例提供的另一种多径传输的示意图。如图6所示,以两条物理传输路径为例进行示意,云端服务器将目标媒体数据中的全部图像帧通过第一物理传输路径传输,并将目标媒体数据中的部分图像帧通过第二物理传输路径传输。
一种可能的实现方式中,可以采用SVC分级编码的方式,对目标媒体数据包括的多个图像帧进行分层处理,得到不同层级,例如,分为L1和L2两层。其中,L1层对应底层码流,对L1层可以单独解码得到基本视频数据,L2层对应高层码流,对L2层进行解码可以增强视频质量。这样,可以在第一物理传输路径中传输L1层和L2层的图像帧,在第二物理传输路径中传输L1层的图像帧。假设第一物理传输路径发生网络拥塞,终端设备基于第二物理传输路径中传输的L1层数据可以解码得到基本视频数据。假设第二物理传输路径发生网络拥塞,终端设备基于第一物理传输路径传输的L1+L2层数据可以解码得到高质量视频数据。可见,无论哪条物理传输路径发生网络拥塞,均不会对响应时延造成影响。
多径传输方案三:
云端服务器根据物理传输路径的数量,对目标媒体数据包括的多个图像帧进行间隔分组,每条物理传输路径传输一组图像帧。这样,多条物理传输路径中传输的图像帧互不相同。
一种可能的实现方式中,假设物理传输路径的数量为K,针对第i条物理传输路径,可以确定第i条物理传输路径对应的图像帧包括:所述多个图像帧中的第i个、第i+K个、第i+2*K个……、第i+n*K个图像帧;其中,n为满足i+n*K≤L的最大值,L为所述多个图像帧的数量。
作为一个示例,图7为本公开实施例提供的又一种多径传输的示意图。如图7所示,假设目标媒体数据中包括12个图像帧。若物理传输路径的数量为3,则:
物理传输路径1对应的图像帧包括:第1个、第4个、第7个、第10个图像帧。对上述4个图像帧进行编码后通过物理传输路径1传输。
物理传输路径2对应的图像帧包括:第2个、第5个、第8个、第11个图像帧。对上述4个图像帧进行编码后通过物理传输路径2传输。
物理传输路径3对应的图像帧包括:第3个、第6个、第9个、第12个图像帧。对上述4个图像帧进行编码后通过物理传输路径3传输。
作为另一个示例,图8为本公开实施例提供的又一种多径传输的示意图。如图8所示,假设目标媒体数据中包括12个图像帧,若物理传输路径的数量为2,可以按照图像帧序号的奇偶进行分组。即,
物理传输路径1对应的图像帧包括:第1个、第3个、第5个、第7个、第9个、第11个图像帧。对上述6个图像帧进行编码后通过物理传输路径1传输。
物理传输路径2对应的图像帧包括:第2个、第4个、第6个、第8个、第10个、第12个图像帧。对上述6个图像帧进行编码后通过物理传输路径2传输。
上述图7和图8所示的示例中,在每条物理传输路径的网络都处于正常状态时,从各条物理传输路径传输的图像帧会按序到达终端设备,终端设备对从各条物理传输路径接收到的图像帧分别解码后按序播出即可,用户体验与现有的单径传输方案没有任何区别。
当其中一条物理传输路径发生网络拥塞时,例如,图8中的物理传输路径1发生网络拥塞,使得物理传输路径1对应的图像帧未按时发送至终端设备。但是,物理传输路径2的网络状态正常,物理传输路径2对应的图像帧都按时被终端设备接收,那么,终端设备可以不用等待物理传输路径1对应的图像帧,而只按序播放物理传输路径2接收到的图像帧。这样从用户体验的角度,并不会体验到视频画面的卡顿。如果原始视频的帧率有60fps,那么仅从单条物理传输路径恢复的视频帧率也能达到30fps。在绝大多数场景中,用户不太容易感受到掉帧带来的不流畅。
可见,通过对目标媒体数据中的图像帧进行间隔分组,使得目标媒体数据中的图像帧均匀分散在各条物理传输路径上,一方面保证了各条物理传输路径的数据量均衡,另一方面,当其中一条物理传输路径发生网络拥塞时,终端设备根据其他物理传输路径中的数据进行解码显示,也不会发生明显的卡顿。
在上述多径传输方案三的基础上,每条物理传输路径对应的编码数据中包括关键帧和非关键帧,不同物理传输路径对应的所述关键帧的位置不同。其中,上述关键帧可以为I帧,上述非关键帧可以包括P帧和B帧。
结合图8进行举例,在对物理传输路径1对应的图像帧、物理传输路径2对应的图像帧进行独立编码时,需要尽量让两条物理传输路径对应的I帧错开。例如,GOP通常取值为30,即每30帧产生一个I帧。可以通过调整编码器,使得物理传输路径1中的图像帧1、61、121等作为I帧,并使得物理传输路径2中的图像帧16、76、136等作为I帧。这样的错位可以使两条物理传输路径不会同时接收到I帧,从而避免两条物理传输路径同时接收到较大的I帧而产生额外的延时。即使一条物理传输路径因为接收I帧而错过播放窗口,另一条物理传输路径也可以直接播放下一帧,从而避免因为I帧过大而带来的卡顿。
一种可能的实现方式中,云端服务器还可以确定所述至少两条物理传输路径对应的网络质量,进而,根据所述至少两条物理传输路径对应的网络质量,从目标媒体数据包括的多个图像帧中,分别确定每条物理传输路径对应的图像帧。
可选的,假设所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径,当第一物理传输路径对应的网络质量优于第二物理传输路径对应的网络质量时,第一物理传输路径对应的图像帧的数量大于第二物理传输路径对应的图像帧的数量。
也就是说,在实际应用过程中,如果各物理传输路径对应的网络质量存在差异时,例如某条物理传输路径更容易产生抖动或者丢包,则可以调整各条物理传输路径对应的图像帧的数量,使得向网络质量较优的物理传输路径中发送更多的图像帧。这样,通过上述动态调整过程,能够最大程度降低由于网络拥塞导致的响应时延过高的可能性。
另外,需要说明的是,本实施例中,尽管针对每条物理传输路径对应的图像帧进行独立编码,但是,编码器需要对不同物理传输路径对应的编码参数进行协调。例如,编码器进行编码时,需要保证各物理传输路径对应的量化参数(Quantization Parameter,QP)的值尽可能相近。这样,可以确保最终在终端设备呈现的画质,不会因为图像帧来自于不同物理传输路径而产生太大的跳跃。
图9为本申请实施例提供的一种数据传输装置的结构示意图。该装置可以为软件和/或硬件的形式,该装置可以为云端服务器或者是设置为云端服务器中的装置。如图9所示,本实施例提供的数据传输装置900,可以包括:获取模块901、确定模块902和传输模块903。
其中,获取模块901,用于获取待向终端设备发送的目标媒体数据;
确定模块902,用于确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
传输模块903,用于通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
一种可能的实现方式中,所述传输模块903具体用于:
根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据;
对每条物理传输路径对应的待传输媒体数据进行编码处理,得到该条物理传输路径对应的编码数据;
通过所述至少两条物理传输路径向所述终端设备传输各自对应的编码数据。
一种可能的实现方式中,所述目标媒体数据包括多个图像帧;所述传输模块903具体用于:
从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
一种可能的实现方式中,所述至少两条物理传输路径的数量为K,针对第i条物理传输路径,所述i为小于或等于K的整数,所述传输模块903具体用于:
确定所述第i条物理传输路径对应的图像帧包括:所述多个图像帧中的第i个、第i+K个、第i+2*K个……、第i+n*K个图像帧;其中,n为满足i+n*K≤L的最大值,L为所述多个图像帧的数量。
一种可能的实现方式中,每条物理传输路径对应的编码数据中包括关键帧和非关键帧,不同物理传输路径对应的编码数据中所述关键帧的位置不同。
一种可能的实现方式中,所述传输模块903具体用于:
确定所述至少两条物理传输路径对应的网络质量;
根据所述至少两条物理传输路径对应的网络质量,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
一种可能的实现方式中,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;
当所述第一物理传输路径对应的网络质量优于所述第二物理传输路径对应的网络质量时,所述第一物理传输路径对应的图像帧的数量大于所述第二物理传输路径对应的图像帧的数量。
一种可能的实现方式中,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;所述传输模块903具体用于:
将所述多个图像帧中的全部图像帧,确定为所述第一物理传输路径对应的图像帧;
将所述多个图像帧中的部分图像帧,确定为所述第二物理传输路径对应的图像帧。
一种可能的实现方式中,所述传输模块903具体用于:
将所述目标媒体数据,分别作为每条物理传输路径对应的待传输媒体数据。
本实施例提供的数据传输装置,可用于执行上述任一方法实施例提供的数据传输方法,其实现原理和技术效果类似,此处不作赘述。
为了实现上述实施例,本公开实施例还提供了一种电子设备。
参考图10,其示出了适于用来实现本公开实施例的电子设备1000的结构示意图,该电子设备1000可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant,简称PDA)、平板电脑(Portable Android Device,简称PAD)、便携式多媒体播放器(PortableMedia Player,简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001,其可以根据存储在只读存储器(Read Only Memory,简称ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(Random Access Memory,简称RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有电子设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常,以下装置可以连接至I/O接口1005:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006;包括例如液晶显示器(Liquid CrystalDisplay,简称LCD)、扬声器、振动器等的输出装置1007;包括例如磁带、硬盘等的存储装置1008;以及通信装置1009。通信装置1009可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备1000,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1009从网络上被下载和安装,或者从存储装置1008被安装,或者从ROM1002被安装。在该计算机程序被处理装置1001执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network,简称LAN)或广域网(Wide Area Network,简称WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面,根据本公开的一个或多个实施例,提供了一种数据传输方法,应用于云端服务器,该方法包括:
获取待向终端设备发送的目标媒体数据;
确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
根据本公开的一个或多个实施例,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据,包括:
根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据;
对每条物理传输路径对应的待传输媒体数据进行编码处理,得到该条物理传输路径对应的编码数据;
通过所述至少两条物理传输路径向所述终端设备传输各自对应的编码数据。
根据本公开的一个或者多个实施例,所述目标媒体数据包括多个图像帧;根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据,包括:
从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
根据本公开的一个或多个实施例,所述至少两条物理传输路径的数量为K,针对第i条物理传输路径,所述i为小于或等于K的整数,从所述多个图像帧中,确定所述第i条物理传输路径对应的图像帧,包括:
确定所述第i条物理传输路径对应的图像帧包括:所述多个图像帧中的第i个、第i+K个、第i+2*K个……、第i+n*K个图像帧;其中,n为满足i+n*K≤L的最大值,L为所述多个图像帧的数量。
根据本公开的一个或多个实施例,每条物理传输路径对应的编码数据中包括关键帧和非关键帧,不同物理传输路径对应的编码数据中所述关键帧的位置不同。
根据本公开的一个或多个实施例,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧,包括:
确定所述至少两条物理传输路径对应的网络质量;
根据所述至少两条物理传输路径对应的网络质量,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
根据本公开的一个或多个实施例,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;
当所述第一物理传输路径对应的网络质量优于所述第二物理传输路径对应的网络质量时,所述第一物理传输路径对应的图像帧的数量大于所述第二物理传输路径对应的图像帧的数量。
根据本公开的一个或多个实施例,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧,包括:
将所述多个图像帧中的全部图像帧,确定为所述第一物理传输路径对应的图像帧;
将所述多个图像帧中的部分图像帧,确定为所述第二物理传输路径对应的图像帧。
根据本公开的一个或多个实施例,根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据,包括:
将所述目标媒体数据,分别作为每条物理传输路径对应的待传输媒体数据。
第二方面,根据本公开的一个或多个实施例,提供了一种数据传输装置,应用于云端服务器,该装置包括:
获取模块,用于获取待向终端设备发送的目标媒体数据;
确定模块,用于确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
传输模块,用于通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
根据本公开的一个或多个实施例,所述传输模块具体用于:
根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据;
对每条物理传输路径对应的待传输媒体数据进行编码处理,得到该条物理传输路径对应的编码数据;
通过所述至少两条物理传输路径向所述终端设备传输各自对应的编码数据。
根据本公开的一个或多个实施例,所述目标媒体数据包括多个图像帧;所述传输模块具体用于:
从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
根据本公开的一个或多个实施例,所述至少两条物理传输路径的数量为K,针对第i条物理传输路径,所述i为小于或等于K的整数,所述传输模块具体用于:
确定所述第i条物理传输路径对应的图像帧包括:所述多个图像帧中的第i个、第i+K个、第i+2*K个……、第i+n*K个图像帧;其中,n为满足i+n*K≤L的最大值,L为所述多个图像帧的数量。
根据本公开的一个或多个实施例,每条物理传输路径对应的编码数据中包括关键帧和非关键帧,不同物理传输路径对应的编码数据中所述关键帧的位置不同。
根据本公开的一个或多个实施例,所述传输模块具体用于:
确定所述至少两条物理传输路径对应的网络质量;
根据所述至少两条物理传输路径对应的网络质量,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
根据本公开的一个或多个实施例,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;
当所述第一物理传输路径对应的网络质量优于所述第二物理传输路径对应的网络质量时,所述第一物理传输路径对应的图像帧的数量大于所述第二物理传输路径对应的图像帧的数量。
根据本公开的一个或多个实施例,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;所述传输模块具体用于:
将所述多个图像帧中的全部图像帧,确定为所述第一物理传输路径对应的图像帧;
将所述多个图像帧中的部分图像帧,确定为所述第二物理传输路径对应的图像帧。
根据本公开的一个或多个实施例,所述传输模块具体用于:
将所述目标媒体数据,分别作为每条物理传输路径对应的待传输媒体数据。
第三方面,根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据传输方法。
第四方面,根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的数据传输方法。
第五方面,根据本公开的一个或多个实施例,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面以及第一方面各种可能的设计所述的数据传输方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种数据传输方法,其特征在于,应用于云端服务器,所述方法包括:
获取待向终端设备发送的目标媒体数据;
确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
2.根据权利要求1所述的方法,其特征在于,通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据,包括:
根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据;
对每条物理传输路径对应的待传输媒体数据进行编码处理,得到该条物理传输路径对应的编码数据;
通过所述至少两条物理传输路径向所述终端设备传输各自对应的编码数据。
3.根据权利要求2所述的方法,其特征在于,所述目标媒体数据包括多个图像帧;根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据,包括:
从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
4.根据权利要求3所述的方法,其特征在于,所述至少两条物理传输路径的数量为K,针对第i条物理传输路径,所述i为小于或等于K的整数,从所述多个图像帧中,确定所述第i条物理传输路径对应的图像帧,包括:
确定所述第i条物理传输路径对应的图像帧包括:所述多个图像帧中的第i个、第i+K个、第i+2*K个……、第i+n*K个图像帧;其中,n为满足i+n*K≤L的最大值,L为所述多个图像帧的数量。
5.根据权利要求4所述的方法,其特征在于,每条物理传输路径对应的编码数据中包括关键帧和非关键帧,不同物理传输路径对应的编码数据中所述关键帧的位置不同。
6.根据权利要求3所述的方法,其特征在于,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧,包括:
确定所述至少两条物理传输路径对应的网络质量;
根据所述至少两条物理传输路径对应的网络质量,从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧。
7.根据权利要求6所述的方法,其特征在于,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;
当所述第一物理传输路径对应的网络质量优于所述第二物理传输路径对应的网络质量时,所述第一物理传输路径对应的图像帧的数量大于所述第二物理传输路径对应的图像帧的数量。
8.根据权利要求3所述的方法,其特征在于,所述至少两条物理传输路径包括第一物理传输路径和第二物理传输路径;从所述多个图像帧中,分别确定所述至少两条物理传输路径各自对应的图像帧,包括:
将所述多个图像帧中的全部图像帧,确定为所述第一物理传输路径对应的图像帧;
将所述多个图像帧中的部分图像帧,确定为所述第二物理传输路径对应的图像帧。
9.根据权利要求2所述的方法,其特征在于,根据所述目标媒体数据,确定所述至少两条物理传输路径各自对应的待传输媒体数据,包括:
将所述目标媒体数据,分别作为每条物理传输路径对应的待传输媒体数据。
10.一种数据传输装置,其特征在于,应用于云端服务器,所述装置包括:
获取模块,用于获取待向终端设备发送的目标媒体数据;
确定模块,用于确定由所述云端服务器通向所述终端设备的至少两条物理传输路径;
传输模块,用于通过所述至少两条物理传输路径向所述终端设备传输所述目标媒体数据;其中,通过每条物理传输路径传输的媒体数据为所述目标媒体数据的部分或者全部。
11.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述计算机执行指令,实现如权利要求1至9任一项所述的数据传输方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1至9任一项所述的数据传输方法。
13.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的数据传输的方法。
CN202110967138.9A 2021-08-23 2021-08-23 数据传输方法、装置、设备、存储介质及程序 Pending CN113676404A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110967138.9A CN113676404A (zh) 2021-08-23 2021-08-23 数据传输方法、装置、设备、存储介质及程序
PCT/CN2022/108052 WO2023024802A1 (zh) 2021-08-23 2022-07-26 数据传输方法、装置、设备、存储介质及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967138.9A CN113676404A (zh) 2021-08-23 2021-08-23 数据传输方法、装置、设备、存储介质及程序

Publications (1)

Publication Number Publication Date
CN113676404A true CN113676404A (zh) 2021-11-19

Family

ID=78544985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967138.9A Pending CN113676404A (zh) 2021-08-23 2021-08-23 数据传输方法、装置、设备、存储介质及程序

Country Status (2)

Country Link
CN (1) CN113676404A (zh)
WO (1) WO2023024802A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390291A (zh) * 2022-01-17 2022-04-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
WO2023024802A1 (zh) * 2021-08-23 2023-03-02 北京字节跳动网络技术有限公司 数据传输方法、装置、设备、存储介质及程序
WO2023173269A1 (zh) * 2022-03-15 2023-09-21 华为技术有限公司 数据处理方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646218A (zh) * 2009-08-14 2010-02-10 南京工业大学 一种基于gop的多路径源路由协议实现方法
CN103580773A (zh) * 2012-07-18 2014-02-12 中兴通讯股份有限公司 数据帧的传输方法及装置
CN105324966A (zh) * 2014-05-29 2016-02-10 华为技术有限公司 负载传输的控制方法及装置
CN105656774A (zh) * 2016-01-12 2016-06-08 东北大学 一种网络实时视频会话媒体数据多径混合冗余传输方法
CN109039935A (zh) * 2018-08-22 2018-12-18 中国电建集团成都勘测设计研究院有限公司 基于时延的多路径数据调度方法
CN111147606A (zh) * 2020-01-06 2020-05-12 北京字节跳动网络技术有限公司 数据传输的方法、装置、终端及存储介质
CN111699666A (zh) * 2018-02-06 2020-09-22 德国电信股份有限公司 用于高效多径传输的技术
CN112752115A (zh) * 2020-12-29 2021-05-04 广州博冠信息科技有限公司 直播数据传输方法、装置、设备及介质
CN113194512A (zh) * 2019-09-27 2021-07-30 荣耀终端有限公司 一种数据传输方法及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10015068B2 (en) * 2013-11-13 2018-07-03 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices for media processing in distributed cloud
CN108282671B (zh) * 2015-02-13 2020-08-25 海信集团有限公司 一种流媒体数据传输方法
US10491758B2 (en) * 2017-08-16 2019-11-26 Wipro Limited Method and system for optimizing image data for data transmission
CN109729007B (zh) * 2017-10-28 2022-07-22 华为技术有限公司 一种传输数据的方法、装置和设备
CN109768926B (zh) * 2019-01-10 2021-07-20 维沃移动通信有限公司 一种数据处理方法、终端设备及计算机可读存储介质
CN111866956B (zh) * 2019-04-28 2023-07-14 华为技术有限公司 一种数据传输方法及对应的设备
CN110533584B (zh) * 2019-09-03 2023-10-20 深圳市迪威码半导体有限公司 一种图像重构方法、***及终端设备
CN111954046B (zh) * 2020-07-10 2022-06-21 浙江联控技术有限公司 一种车载应用数据传输方法和***
CN113676404A (zh) * 2021-08-23 2021-11-19 北京字节跳动网络技术有限公司 数据传输方法、装置、设备、存储介质及程序

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646218A (zh) * 2009-08-14 2010-02-10 南京工业大学 一种基于gop的多路径源路由协议实现方法
CN103580773A (zh) * 2012-07-18 2014-02-12 中兴通讯股份有限公司 数据帧的传输方法及装置
CN105324966A (zh) * 2014-05-29 2016-02-10 华为技术有限公司 负载传输的控制方法及装置
CN105656774A (zh) * 2016-01-12 2016-06-08 东北大学 一种网络实时视频会话媒体数据多径混合冗余传输方法
CN111699666A (zh) * 2018-02-06 2020-09-22 德国电信股份有限公司 用于高效多径传输的技术
US20210014153A1 (en) * 2018-02-06 2021-01-14 Deutsche Telekom Ag Techniques for efficient multipath transmission
CN109039935A (zh) * 2018-08-22 2018-12-18 中国电建集团成都勘测设计研究院有限公司 基于时延的多路径数据调度方法
CN113194512A (zh) * 2019-09-27 2021-07-30 荣耀终端有限公司 一种数据传输方法及电子设备
CN111147606A (zh) * 2020-01-06 2020-05-12 北京字节跳动网络技术有限公司 数据传输的方法、装置、终端及存储介质
CN112752115A (zh) * 2020-12-29 2021-05-04 广州博冠信息科技有限公司 直播数据传输方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024802A1 (zh) * 2021-08-23 2023-03-02 北京字节跳动网络技术有限公司 数据传输方法、装置、设备、存储介质及程序
CN114390291A (zh) * 2022-01-17 2022-04-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
CN114390291B (zh) * 2022-01-17 2023-12-22 广州市奥威亚电子科技有限公司 视频编码流传输方法及装置
WO2023173269A1 (zh) * 2022-03-15 2023-09-21 华为技术有限公司 数据处理方法和装置

Also Published As

Publication number Publication date
WO2023024802A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
Shi et al. Mobile VR on edge cloud: A latency-driven design
US8649426B2 (en) Low latency high resolution video encoding
JP5746392B2 (ja) モバイルデバイスからワイヤレスディスプレイにコンテンツを送信するシステムおよび方法
WO2023024802A1 (zh) 数据传输方法、装置、设备、存储介质及程序
JP6226490B2 (ja) 小待ち時間レート制御システムおよび方法
US10116970B1 (en) Video distribution, storage, and streaming over time-varying channels
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
CN114600468B (zh) 将复合视频流中的视频流与元数据组合的组合器***、接收器设备、计算机实现的方法和计算机可读介质
Nguyen et al. A client-based adaptation framework for 360-degree video streaming
JP2017520940A (ja) 階層符号化されたコンテンツを多重化するための方法および装置
JP2022141586A (ja) 低遅延のために統合nicと共有フレームバッファアクセスとを有するクラウドゲーミングgpu
US20140321556A1 (en) Reducing amount of data in video encoding
CN112040234B (zh) 视频编码、解码方法和装置、电子设备及存储介质
CN109862400A (zh) 一种流媒体传输方法、装置及其***
US11871079B2 (en) Client and a method for managing, at the client, a streaming session of a multimedia content
US20210203987A1 (en) Encoder and method for encoding a tile-based immersive video
JP7408798B2 (ja) 遠隔端末用の没入型テレビ会議およびテレプレゼンスのためのrtcpビューポートのシグナリングにおけるイベントベースのトリガ間隔
CN114513658B (zh) 一种视频加载方法、装置、设备及介质
Wan et al. Research and Implementation of Low-Latency Streaming Media Transmission System
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
HASHEMIZADEHNAEINI Transcoding H. 264 Video via FFMPEG encoder
Lawan Adaptive intra refresh for robust wireless multi-view video
CN117768669A (zh) 一种数据传输的方法、装置、电子设备及存储介质
CN115250383A (zh) 一种流媒体数据传输的方法及相关设备
Psannis et al. MPEG-4 interactive video streaming over wireless networks.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination