CN116918337A - 数据处理方法和设备 - Google Patents

数据处理方法和设备 Download PDF

Info

Publication number
CN116918337A
CN116918337A CN202180094540.9A CN202180094540A CN116918337A CN 116918337 A CN116918337 A CN 116918337A CN 202180094540 A CN202180094540 A CN 202180094540A CN 116918337 A CN116918337 A CN 116918337A
Authority
CN
China
Prior art keywords
information
media data
frame
buffer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180094540.9A
Other languages
English (en)
Inventor
潘奇
黄正磊
倪慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116918337A publication Critical patent/CN116918337A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/30Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/32Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/34Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种数据处理方法和设备,使能满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,提高实时媒体业务数据传输的实时性和准确性。该方法在无线接入网RAN设备中执行,包括:RAN获取第一媒体数据的第一信息,所述第一信息用于指示所述第一媒体数据的大小(S210);根据所述第一信息确定对所述第一媒体数据的播放策略,所述播放策略用于指示缓存大小或者播放速率(S220);向终端设备UE发送所述播放策略(S230)。

Description

数据处理方法和设备 技术领域
本申请涉及通信领域,特别是涉及一种数据处理方法和设备。
背景技术
随着通信技术的不断发展,具有大量数据的实时媒体业务随之兴起,尤其是超高清视频、虚拟现实(virtual reality,VR)全景视频以及增强现实(augmented reality,AR)视频等媒体业务获得了长足发展。这些媒体业务对画质和交互的实时性要求都比较高,目前为了保障端到端的低交互时延,现有媒体业务往往采用基于用户数据报协议(user datagram protocol,UDP)的实时传输协议(real-time transport protocol,RTP)以及实时传输控制协议(real-time transport control protocol,RTCP)等,其尽力而为的传输方式造成了数据包传输的乱序与丢包。针对这个问题目前采用的技术方案是抖动缓存技术,例如静态抖动缓存。然而,静态抖动缓存由于需要在用户设备设置固定的缓存会使得交互时延无法保障,影响用户体验,实时性和准确性不高,无法满足AR/VR这种画质和交互的实时性要求都比较高的媒体业务的需求。因此,如何优化抖动缓存以满足具有大量数据的实时媒体业务的需求成为亟待解决的问题。
发明内容
本申请提供一种数据处理方法,使能满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,提高实时媒体业务数据传输的实时性和准确性。
第一方面,提供了一种数据处理方法,其特征在于,在无线接入网RAN设备中执行,包括:获取第一媒体数据的第一信息,该第一信息用于指示该第一媒体数据的大小;根据该第一信息确定对该第一媒体数据的播放策略,该播放策略用于指示缓存大小或者播放速率;向终端设备UE发送该播放策略。
本申请实施例中,RAN获取第一媒体数据的第一信息可以在获取该第一媒体数据之前,也可以与该第一媒体数据同时获取,本申请不作限定。RAN根据该第一媒体数据的大小辅助UE可以提前确定用来缓存该第一媒体数据的缓存大小,以及辅助UE决策对等待播放的与该第一媒体数据属于同一业务的媒体数据的播放策略,该播放策略可以是UE是否对等待播放的媒体数据在播放时进行跳帧处理或者UE的跳帧数,使能UE满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,并且由于根据数据量进行的缓存实时调整可避免由于缓存不够而导致的丢帧提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
结合第一方面,在第一方面的某些实现方式中,该第一信息为帧类型信息,或者,该第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
本申请实施例中,RAN根据帧类型信息,进一步地,RAN自身可以有感知该第一媒 体数据的大小的能力,或者可直接根据帧类型对应的标识信息和帧类型对应的数据量信息,在上述效果的基础上,RAN可以结合帧类型信息和感知的该第一媒体数据的大小辅助UE决策跳哪些帧(RAN根据实时监测的UE的缓存中帧的状况以及该第一媒体数据的帧类型,可以明确UE缓存中等待播放的数据中,哪些帧UE可以跳过不用播放),使能UE进一步提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
结合第一方面,在第一方面的某些实现方式中,该获取第一媒体数据的第一信息,包括:获取该第一媒体数据的参数信息,该参数信息包括第一信息,该参数信息还包括以下一项或多项:该第一媒体数据的流描述信息、该第一媒体数据的帧率FPS信息、该UE的缓存状况信息、网络状况信息、或者该第一媒体数据的缓存门限,该缓存门限用于指示该UE播放媒体数据的缓存大小。
本申请实施例中,该第一媒体数据的缓存门限指的是,UE为了保证实时媒体数据播放的质量,在播放媒体数据之前首先要缓存的媒体数据量(初始缓存门限),达到这个数据量才会开始播放该媒体数据。RAN根据以上参数信息可进一步地辅助UE确定用来缓存该第一媒体数据的缓存大小,以及辅助UE决策对等待播放的与该第一媒体数据属于同一业务的媒体数据的播放策略,进一步提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
结合第一方面,在第一方面的某些实现方式中,该根据该第一信息确定对该第一媒体数据的播放策略,包括:根据该参数信息确定对该第一媒体数据的播放策略。
结合第一方面,在第一方面的某些实现方式中,该缓存状况信息包括以下一项或多项:该UE等待播放的媒体数据所占用的缓存大小、该UE可用于存储该第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
结合第一方面,在第一方面的某些实现方式中,该向终端设备UE发送该播放策略还包括:该播放策略信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中;该RAN向该UE发送该播放策略信息。
第二方面,提供了一种数据处理方法,其特征在于,在无线接入网RAN设备中执行,包括:获取第一媒体数据的第一信息和终端设备UE的缓存状况信息,该第一信息用于指示该第一媒体数据的大小;根据该第一信息和该缓存状况信息确定对该第一媒体数据的传输策略,该传输策略用于指示该第一媒体数据的传输速率和/或该第一媒体数据的传输优先级,或者是否丢弃该第一媒体数据。
本申请实施例中,RAN通过该第一信息和UE上报的缓存状况信息,可确定是否需要为该第一媒体数据的传输分配更多的传输资源来加快传输速率,或者判断该第一媒体数据到达UE时,UE是否已经不需要该第一媒体数据了(例如已经播放过该第一媒体数据的后续帧),或者当有多个UE时,RAN可根据各个UE的缓存状况决定是否对该第一媒体数据进行高优先级传输,以保证该UE媒体数据播放的质量,提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
结合第二方面,在第二方面的某些实现方式中,该第一信息为帧类型信息,或者,该第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
RAN根据帧类型信息,进一步地,RAN自身可以有感知该第一媒体数据的大小的能 力,或者可直接根据帧类型对应的标识信息和帧类型对应的数据量信息,确定对该第一媒体数据的传输策略,进一步提高具有大量数据的实时媒体数据播放的流畅度和准确性,提升用户媒体业务的实时体验。
结合第二方面,在第二方面的某些实现方式中,该获取第一媒体数据的第一信息和终端设备UE的缓存状况信息,包括:获取该第一媒体数据的参数信息,该参数信息包括第一信息和终端设备UE的缓存状况信息,该参数信息还包括以下一项或多项:该第一媒体数据的流描述信息、该第一媒体数据的帧率FPS信息、该第一媒体数据的缓存门限,该缓存门限用于指示该UE播放媒体数据的缓存大小、网络状况信息、可容忍时延信息,该可容忍时延信息用于指示该UE等待当前播放的帧的下一帧到达的时间。
本申请实施例中,该第一媒体数据的缓存门限指的是,UE为了保证实时媒体数据播放的质量,在播放媒体数据之前首先要缓存的媒体数据量(初始缓存门限),达到这个数据量才会开始播放该媒体数据。
结合第二方面,在第二方面的某些实现方式中,该缓存状况信息包括以下一项或多项:该UE等待播放的媒体数据所占用的缓存大小、该UE可用于存储该第一媒体数据的最大缓存信息或者待播放媒体数据的帧状况信息。
结合第二方面,在第二方面的某些实现方式中,该缓存状况信息包括:该缓存状况信息承载于从该UE接收的无线资源控制RRC信息或分组数据汇聚协议PDCP信息中。
结合第一方面或第二方面,在第一方面或第二方面的某些实现方式中,该第一媒体数据的帧类型对应的标识信息承载于该第一媒体数据的通用无线分组业务隧道协议GTP信息中。
第三方面,提供一种数据处理方法,在用户面功能UPF网元中执行,包括:接收第一参数信息,该第一参数信息用于指示第一媒体数据的类型;接收该第一媒体数据;根据该第一参数信息确定第一标识信息,该第一标识信息用于标识该第一媒体数据的帧类型;向无线接入网RAN设备发送第二媒体数据,该第二媒体数据包括该第一标识信息和该第一媒体数据。
本申请实施例中,UPF通过对第一媒体数据进行标识,帮助RAN识别第一媒体数据的帧类型,提升用户媒体业务的实时体验。
结合第三方面,在第三方面的某些实现方式中,该第一参数信息包括:该第一媒体数据的数据类型信息,或者,该第一媒体数据的数据类型对应的标识信息,或者,该第一媒体数据的画面组GOP帧顺序信息和该第一媒体数据的实时传输协议RTP信息。
本申请实施例中,该数据类型可以指例如视频流中的帧内编码帧(I帧)、预测帧(P帧)、双向预测帧(B帧)这种数据类型,其中,I帧通过离散余弦变换来简单地编码帧而不使用运动估计/补偿;P帧在涉及I帧或者其它P帧时做运动估计/补偿,然后通过离散余弦变换来编码剩余数据;B帧像P帧一样做运动补偿,但从时间轴上的两个帧执行运动估计/补偿,也可以指其它类似的数据类型,本申请不作限定。
结合第三方面,在第三方面的某些实现方式中,该第一标识信息承载于该第二媒体数据的通用无线分组业务隧道协议GTP层的信息中。
第四方面,提供一种数据处理方法,在终端设备UE中执行,包括:向无线接入网RAN发送该UE的缓存状况信息,该缓存状况信息用于对该UE的播放策略的确定,该播 放策略用于指示缓存大小或者播放速率;从该RAN接收该播放策略。
本申请实施例中,UE通过向RAN发送缓存状况信息,帮助RAN制定UE播放媒体数据的策略,提升用户媒体业务的实时体验。
结合第四方面,在第四方面的某些实现方式中,该缓存状况信息包括以下一项或多项:该UE等待播放的媒体数据所占用的缓存大小、该UE可用于存储该第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
结合第四方面,在第四方面的某些实现方式中,该缓存状况信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中。
第五方面,提供一种数据处理方法,在第一媒体服务器中执行,包括:确定第一业务信息,该第一业务信息包括以下至少一种:第一媒体数据的流描述信息、该第一媒体数据的类型信息、该第一媒体数据的帧率信息、该第一媒体数据的画面组GOP的帧顺序信息、该第一媒体数据的类型对应的数据量信息、该第一媒体数据的抖动缓存初始门限信息、该第一媒体数据的可容忍时延信息或者该第一媒体数据的类型对应的标识信息;发送该第一业务信息;发送该第一媒体数据。
本申请实施例中,媒体服务器通过第一业务信息的下发,帮助核心网设备制定第一媒体数据的传输策略和UE的播放策略,提升用户媒体业务的实时体验。
第六方面,提供一种数据处理方法,在终端设备UE中执行,包括:获取第一媒体数据的第一信息,该第一信息用于指示该第一媒体数据的大小;根据该第一信息确定该第一媒体数据对应的播放策略,该播放策略用于指示缓存大小或者播放速率;执行该播放策略。
本申请实施例中,UE在接收该第一媒体数据之前获取第一媒体数据的第一信息,UE根据该第一媒体数据的大小可以提前确定用来缓存该第一媒体数据的缓存大小,以及决策对等待播放的与该第一媒体数据属于同一业务的媒体数据的播放策略,该播放策略可以是UE是否对等待播放的媒体数据在播放时进行跳帧处理或者UE的跳帧数,使能UE满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,并且由于根据数据量进行的缓存实时调整可避免由于缓存不够而导致的丢帧提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
结合第六方面,在第六方面的某些实现方式中,该第一信息为帧类型信息,或者,该第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
结合第六方面,在第六方面的某些实现方式中,该获取第一媒体数据的第一信息,包括:获取该第一媒体数据的参数信息,该参数信息包括第一信息,该参数信息还包括以下一项或多项:该第一媒体数据的流描述信息、该第一媒体数据的帧率FPS信息、该第一媒体数据的缓存门限,该缓存门限用于指示该UE播放媒体数据的缓存大小、该UE的缓存状况信息、网络状况信息、该第一媒体数据的画面组GOP的帧顺序信息、该第一媒体数据的可容忍时延信息,该可容忍时延信息用于指示该UE等待当前播放的帧的下一帧到达的时间、第一传输速率信息,该第一传输速率信息用于指示该UE与无线接入网RAN之间的网络传输速率。
结合第六方面,在第六方面的某些实现方式中,该根据该第一信息确定该第一媒体数据对应的播放策略,包括:根据该参数信息确定对该第一媒体数据的播放策略。
结合第六方面,在第六方面的某些实现方式中,该第一媒体数据的帧类型对应的标识 信息承载于该第一媒体数据的通用无线分组业务隧道协议GTP层的信息中。
结合第六方面,在第六方面的某些实现方式中,该缓存状况信息包括以下一项或多项:该UE等待播放的媒体数据所占用的缓存大小、该UE可用于存储该第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
第七方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第一方面或第一方面任一种可能的实现方式的方法。
第八方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第二方面或第二方面任一种可能的实现方式的方法。
第九方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第三方面或第三方面任一种可能的实现方式的方法。
第十方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第四方面或第四方面任一种可能的实现方式的方法。
第十一方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第五方面或第五方面任一种可能的实现方式的方法。
第十二方面,提供一种数据处理的装置,该装置包括至少一个处理器和通信接口,该至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得该数据处理装置执行上述第六方面或第六方面任一种可能的实现方式的方法。
第十三方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当该计算机程序运行时,使得装置执行实现第一方面或第一方面任一种可能的实现方式的方法,或者,使得装置执行实现第二方面或第二方面任一种可能的实现方式的方法,或者,使得装置执行实现第三方面或第三方面任一种可能的实现方式的方法,或者,使得装置执行实现第四方面或第四方面任一种可能的实现方式的方法,或者,使得装置执行实现第五方面或第五方面任一种可能的实现方式的方法,或者,使得装置执行实现第六方面或第六方面任一种可能的实现方式的方法。
第十四方面,提供一种芯片***,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片***的通信装置执行实现第一方面或第一方面任一种可能的实现方式的方法;或者,使得安装有该芯片***的通信装置实现第二方面或第二方面任一种可能的实现方式的方法;或者,使得安装有该芯片***的通信装置执行实现第三方面或第三方面任一种可能的实现方式的方法;或者,使得安装有该芯片***的通信装置执行实现第四方面或第四方面任一种可能的实现方式的方法;或者,使得安装有该芯片***的通信装置执行实现第五方面或第五方面任一种可能的实现方式的方法;或者,使得安装有该芯片***的通信装置执行实现第六方面或第六方面任一种可能的实现方式的方法。
第十五方面,提供一种通信***,包括:网络设备,用于执行实现第一方面或第一方面任一种可能的实现方式的方法,或者,用于执行实现第二方面或第二方面任一种可能的 实现方式的方法,或者,用于执行实现第三方面或第三方面任一种可能的实现方式的方法,或者,用于执行实现第五方面或第五方面任一种可能的实现方式的方法;终端设备,用于执行实现第四方面或第四方面任一种可能的实现方式的方法,或者,用于执行实现第六方面或第六方面任一种可能的实现方式的方法。
第十一方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码被网络设备运行时,使得该网络设备执行如上述第一方面或第一方面任一种可能实现方式中的方法、第二方面或第二方面任一种可能实现方式中的方法、第三方面或第三方面任一种可能实现方式中的方法、或者第五方面或第五方面任一种可能的实现方式的方法。
第十二方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码被终端设备运行时,使得该终端设备执行如上述第四方面的方法或第四方面任一种可能的实现方式,或者第六方面或第六方面任一种可能实现方式中的方法。
附图说明
图1示出了本申请实施例应用的5G通信***示意图;
图2是本申请实施例提供的一种数据处理方法的一例示意性流程图;
图3示出了根据本申请实施例的会话建立方法的一例示意性流程;
图4是根据本申请实施例的数据处理方法的又一例示意性流程图;
图5是根据本申请实施例的数据处理方法的再一例示意性流程图;
图6是根据本申请实施例的网络设备的一例的示意性框图;
图7是根据本申请实施例的终端设备的一例的示意性框图;
图8是根据本申请实施例的网络设备的另一例的示意性框图;
图9是根据本申请实施例的终端设备的另一例的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例的方法可以应用于长期演进技术(long term evolution,LTE)***,长期演进高级技术(long term evolution-advanced,LTE-A)***,增强的长期演进技术(enhanced long term evolution-advanced,eLTE),第五代(the 5th Generation,5G)移动通信***新空口(new radio,NR)***,也可以扩展到类似的无线通信***中,如无线保真(wireless-fidelity,WiFi),全球微波互联接入(worldwide interoperability for microwave access,WIMAX),未来的第六代(6th generation,6G)***,以及第三代合作伙伴计划(3rd generation partnership project,3gpp)相关的蜂窝***。
本申请实施例中,网络设备是一种部署在无线接入网中用以为终端设备提供无线通信功能的装置。网络设备可以包括各种形式的基站、宏基站,微基站(也称为小站),中继站,接入点等,或者核心网(core network,CN)中的各种网元设备。在采用不同的无线接入技术的***中,具备基站功能的设备的名称可能会有所不同。例如,网络设备可以是 无线局域网(wireless local area networks,WLAN)中的接入点(access point,AP),也可以是全球移动通信***(global system for mobile communication,GSM)或码分多址(code division multiple access,CDMA)中的基站(base transceiver station,BTS)。还可以是5G***中的节点B(5G nodeB,gNB)或者LTE***中的演进的节点B(evolved nodeB,eNB或者eNodeB)。或者,网络设备还可以是第三代(3rd generation,3G)***的节点B(Node B),另外,该网络设备还可以是中继站或接入点,或者车载设备、可穿戴设备以及第五代通信(fifth-generation,5G)网络中的(无线)接入网络(radio access network,(R)AN)网络设备或者未来演进的公共陆地移动网络(public land mobile network,PLMN)网络中的网络设备等。
本申请实施例中的终端设备,也可以称为用户设备(user equipment,UE)、接入终端、终端设备单元(subscriber unit)、终端设备站、移动站、移动台(mobile station,MS)、远方站、远程终端、移动设备、用户终端、终端(terminal)、无线通信设备、终端设备代理或终端设备装置。终端设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。还可以包括用户单元、蜂窝电话(cellular phone)、智能手机(smart phone)、无线数据卡、个人数字助理(personal digital assistant,PDA)电脑、平板型电脑、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptop computer)、机器类型通信(machine type communication,MTC)终端、无线局域网(wireless local area networks,WLAN)中的站点(station,ST)。可以是蜂窝电话、无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站以及下一代通信***,例如,5G网络中的终端设备或者未来演进的PLMN网络中的终端设备等。
以5G核心网为例对本申请的实施例进行说明。图1示出了本申请实施例应用的5G通信***100示意图,该通信***至少包括终端设备110、(无线)接入网络(radio access network,(R)AN)网元120、用户面网元130、应用功能网元140、接入管理网元150、会话管理网元160和策略控制网元170。
需要说明的是,在本申请所有实施例中,“网元”也可以称为实体、设备、装置或模块等,本申请并未特别限定。为了便于理解和说明,在对部分描述中省略“网元”这一描述,例如,将(R)AN网元简称(R)AN,此情况下,该“(R)AN网元”应理解为(R)AN网元或(R)AN实体,以下,省略对相同或相似情况的说明。
如图1所示,终端设备110可参考上述有关终端设备的说明,在此不再赘述。
如图1所示,(无线)接入网络(radio access network,(R)AN)网元120可参考上述有关网络设备的说明,在此不再赘述。
如图1所示,用户面网元130:可连接至相同或不同的数据网络,从而实现业务的数据传输。可选的,还可用于分组路由和转发以及用户面数据的服务质量(quality of service,QoS)处理等。
在5G通信***中,该用户面网元可以是用户面功能(user plane function,UPF)网元。在未来通信***中,用户面网元仍可以是UPF网元,或者,还可以有其它的名称,本申请不做限定。
如图1所示,应用功能网元(application function,AF)140:用于实现外部服务器与 3GPP网络的信息交互。
如图1所示,接入管理网元150:主要用于移动性管理和接入管理等。可以用于实现移动性管理实体(mobility management entity,MME)功能中除会话管理之外的其它功能,例如,合法监听以及接入授权/鉴权等功能,终端设备的附着、移动性管理、跟踪区更新流程等。
在5G通信***中,该接入管理网元可以是接入管理功能(access and mobility management function,AMF)网元。在未来通信***中,接入管理网元仍可以是AMF网元,或者,还可以有其它的名称,本申请不做限定。
如图1所示,会话管理网元160:用于会话管理。例如,会话管理包括用户面设备的选择、用户面设备的重选、网络协议地址分配、服务质量(quality of service,QoS)控制,以及会话的建立、修改或释放,终端设备的网络互连协议(internet protocol,IP)地址分配和管理、选择可管理用户平面功能、策略控制和收费功能接口的终结点以及下行数据通知等。
在5G通信***中,该会话管理网元可以是会话管理功能(session management function,SMF)网元。在未来通信***中,会话管理网元仍可以是SMF网元,或者,还可以有其它的名称,本申请不做限定。
如图1所示,策略控制网元170:用于指导网络行为的统一策略框架,包含策略控制和基于流计费控制的功能。例如,可以为控制面功能网元(例如AMF,SMF网元等)提供策略规则信息,实现用户签约数据管理功能、策略控制功能、计费策略控制功能、QoS控制等。
如图1所示,应用服务器(application service,AS)180:用于确定并发送媒体业务数据。
在4G通信***中,该策略控制网元可以是策略和计费规则功能(policy and charging rules function,PCRF)网元。在5G通信***中,该策略控制网元可以是策略控制功能(policy control function,PCF)网元。在未来通信***中,策略控制网元仍可以是PCF网元,或者,还可以有其它的名称,本申请不做限定。
上述各网元既可以是在专用硬件上实现的网络元件,也可以是在专用硬件上运行的软件实例,或者是在虚拟化平台上虚拟化功能的实例。例如,上述虚拟化平台可以为云平台。
此外,本申请实施例还可以适用于面向未来的其他通信技术。本申请描述的网络架构以及业务场景是为了更加清楚的说明本申请的技术方案,并不构成对本申请提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
图2是本申请实施例提供的一种数据处理方法200的流程图。该方法可用于上述5G通信***中AR/VR业务等其它大量数据实时交互的场景。该方法可以包括:
S210,RAN获取第一媒体数据的第一信息,该第一信息用于指示该第一媒体数据的大小。
在一种可能的实施方式中,该第一信息包括以下信息的一种或多种:
帧类型,其中,帧类型可以是视频流中的帧内编码帧(I帧)、预测帧(P帧)、双向预测帧(B帧)这种数据类型,其中,I帧通过离散余弦变换来简单地编码帧而不使用 运动估计/补偿;P帧在涉及I帧或者其它P帧时做运动估计/补偿,然后通过离散余弦变换来编码剩余数据;B帧像P帧一样做运动补偿,但从时间轴上的两个帧执行运动估计/补偿,或者其它标识数据类型的方式,也可以用GOP帧顺序表示帧类型,例如一个画面组(group of pictures,GOP)内有9帧,顺序为I、B、B、P、B、B、P、B、B,则RAN可根据该规律记录媒体数据到达的顺序,以获取帧类型,也可使帧携带上帧序号(标识#A),然后将帧序号除以9的余数再对应GOP内的顺序获取帧类型。假设帧序号从0开始,那么余数为0时,该帧类型是I帧,余数为1时,该帧类型是B帧,以此类推,其它余数依次代表帧的类型;
帧类型对应的标识信息,该标识信息用于标识不同的帧类型,例如,用2bit位“00”表示I帧,“01”表示P帧,“10”表示B帧,应理解,标识信息的类型本申请不作限定,该标识信息可承载于第一媒体数据的通用无线分组业务隧道协议GTP信息中;
帧类型对应的数据量信息,其中数据量指的是帧类型的数据大小,例如I帧的数据量也就是数据大小为5KB,其中该数据量可以是统计值,例如可以是利用取平均值的方法统计的I帧的数据量,也可以通过其他计算方法,本申请不作限制。
在一种可能的实施方式中,RAN获取第一媒体数据的参数信息,该参数信息包括该第一信息,该参数信息除了第一信息外还可包括以下信息的一种或多种:
流描述信息(可以为IP三元组信息,可对应该第一媒体数据所属的业务),能够表征应用服务器的IP地址,应用服务器发送该媒体数据的端口号以及发送该媒体数据使用的协议等内容,该媒体数据可以是超高清视频流、VR视频流、语音数据等媒体数据,不同的流描述信息对应不同的媒体服务器;
帧率(frames per second,FPS)信息,即该第一媒体数据每秒钟传输的帧数,或者编码器每秒钟编码输出的帧数,或者播放端每秒钟播放的帧数;
抖动缓存初始门限信息,即该UE的媒体播放器首次播放属于该业务的媒体数据前要缓存的数据大小;
可容忍时延信息,即UE的媒体播放器等待当前播放帧的下一帧到达的时间,例如UE在播放第5帧时,在5ms内没有接收到第6帧,则跳过第6帧播放第7帧,该5ms即为可容忍时延,超过该可容忍时延,对应帧将不再有播放的必要;
UE的缓存状况信息,该缓存状况信息包括以下一项或多项:UE等待播放的媒体数据所占用的缓存大小、UE可用于存储第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息,其中,待播放媒体数据与第一媒体数据属于同一业务,并且待播放媒体数据为在UE的缓存中等待播放的媒体数据,该缓存状况信息可承载于UE发送的无线资源控制RRC信息或分组数据汇聚协议PDCP信息中;
网络状况信息,该网络状况信息为RAN与UE之间的传输速率。
S220,RAN根据该第一信息确定对该第一媒体数据的播放策略,所述播放策略用于指示缓存大小或者播放速率。
其中播放策略可以用来指示终端设备用来缓存该第一媒体数据的缓存大小,或者用来指示终端设备在播放待播放的媒体数据时是否需要跳帧,或者如果需要跳帧,那么需要跳帧的数目或者跳哪些帧。该播放策略信息可承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中。
RAN根据第一信息确定对第一媒体数据的播放策略可以有以下几种方式:
方式一
RAN根据第一媒体数据的帧类型信息,确定UE的播放策略。例如:第一媒体数据帧类型为I帧,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,跳过一些其他帧不播放(丢弃一些帧不播放)并没有实质性的影响)。
方式二
RAN根据第一媒体数据的GTP层的帧类型的标识,确定UE的播放策略。例如:第一媒体数据中的GTP层的标识为“00”,该标识对应的帧类型为I帧,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式三
RAN根据第一媒体数据的数据量大小,确定UE的播放策略。例如第一媒体数据的数据量为5M,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。又例如第一媒体数据的数据量为10M,则播放策略为指示UE的缓存大小为80M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
RAN根据参数信息确定对第一媒体数据的播放策略可以有以下几种方式:
方式四
RAN根据第一媒体数据的帧率信息,确定UE的播放策略。例如第一媒体数据的帧率为25FPS,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。又例如第一媒体数据的帧率为30FPS,则播放策略为指示UE的缓存大小为80M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式五
RAN根据第一媒体数据的抖动缓存初始门限信息,确定UE的播放策略。例如该第一媒体数据的抖动缓存初始门限为5M,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。又例如第一媒体数据的抖动缓存初始门限为10M,则播放策略为指示UE的缓存大小为80M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式六
RAN根据第一媒体数据的可容忍时延信息,确定UE的播放策略。例如该第一媒体数据的可容忍时延为5ms,则播放策略为指示UE的缓存大小为50M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。又例如第一媒体数据的可容忍时延为2ms,则播放策略为指示UE的缓存大小为80M;和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式七
RAN根据UE的缓存状况信息,确定UE的播放策略。例如,根据UE空闲的缓存是否超过50M,如果超过50M,则播放策略为指示UE#A的缓存大小为60M,并且不跳帧;如果没有超过50M,则播放策略为指示UE#A的缓存大小为80M,和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。
方式八
RAN根据UE的网络状况信息,确定UE的播放策略。例如,根据RAN和UE之间的传输速率是否超过50Mbps,如果超过50Mbps,则播放策略为指示UE#A的缓存大小为50M,或者不跳帧;如果超过50Mbps,则播放策略为指示UE#A的缓存大小为80M,和/或对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧)。
应理解,RAN还可以对上述方式进行组合来确定UE的播放策略,例如根据第一媒体数据的帧类型的标识以及该帧类型对应的数据量确定UE的播放策略,确定播放策略的方式参考上述方式一和方式三。其它方式以此类推,本申请在此不再赘述。
S230,向终端设备UE发送该播放策略。
本申请实施例中,RAN获取第一媒体数据的第一信息可以在获取该第一媒体数据之前,也可以与该第一媒体数据同时获取,本申请不作限定。RAN根据该第一媒体数据的大小辅助UE可以提前确定用来缓存该第一媒体数据的缓存大小,以及辅助UE决策对等待播放的与该第一媒体数据属于同一业务的媒体数据的播放策略,使能UE满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,并且由于根据数据量进行的缓存实时调整可避免由于缓存不够而导致的丢帧提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验。
本申请以UE#A、RAN#A、AMF#A、SMF#A、UPF#A、PCF#A以及AF#A为上述网元的示例进行实施例的说明。
图3示出了根据本申请实施例的会话建立方法300的一例示意性流程。
如图3所示,S301中,AF#A确定信息#A,该信息#A用于指示本申请实施例的相关参数。
作为示例而非限定,该信息#A的参数信息包括以下信息至少一种:流描述信息、帧率信息、抖动缓存初始门限信息、可容忍时延信息、GOP内的帧顺序信息、帧类型和标识#A以及他们的对应关系信息、帧类型信息、或者帧类型以及帧类型对应的数据量信息。以上信息的描述参照方法200中的说明,在此不再赘述。
具体的信息#A来自于AS#A,AS#A通过AF#A与3GPP网络进行交互;信息#A可以是AF#A最终确定也可以是AS#A确定后发往AF#A,在此不做限定。
在一种可能的实施方式中,应用服务器AS#A还可以确定媒体数据信息#F并向UPF#A发送该媒体数据信息#F。该媒体数据信息#F包括媒体数据#A,该媒体数据#A可以是视频流或者语音数据等媒体数据,还可以包括标识#A。例如,媒体数据#A1的标识#A为“00”,代表为I帧,媒体数据#A2的标识#A为“01”,代表为P帧,应理解,标识#A的类型本申请不作限定;或者,采用帧序号的方法标识帧类型(即标识#A为帧序号),例如一个画面组(group of pictures,GOP)内有9帧,顺序为I、B、B、P、B、B、P、B、B,则可使帧携带上帧序号(标识#A),然后将帧序号除以9的余数再对应GOP内的顺序得出帧类型。假设帧序号从0开始,那么余数为0时,该帧类型是I帧,余数为1时,该帧类型 是B帧,以此类推,其它余数依次代表帧的类型。在该方式中,媒体数据#A和标识#A可同时发往UPF#A,UPF#A即可对媒体数据#A进行识别并进行处理。
应理解,上述媒体数据的类型除了可以“I帧”“B帧”“P帧”表示数据的类型,也可以一个GOP内的帧序号表示数据的类型,也可以是其他编码技术中对应的不同帧类型,如VP8/VP9编码技术中的P帧,Golden帧与AltRef帧,本申请对媒体数据的类型不作限定。
S302,AF#A通过应用功能网元请求AF Request向PCF#A发送信息#A,PCF#A接收该信息#A。
可选地,S303中,PCF#A向AF#A发送响应信息,用于指示成功接收指示信息#A,AS#A接收该响应信息。
S304中,UE#A将协议数据单元(protocol data unit,PDU)会话建立/修改请求信息PDU Session Establishment/Modification Request通过非接入层(non-access stratum,NAS)消息发往AMF侧,AMF侧将该请求信息发往SMF#A,SMF#A接收该请求信息。
S305中,SMF#A向PCF#A发起会话管理策略关联请求。
具体地,SMF#A通过AMF服务化接口PDU会话创建/更新会话管理内容Namf_PDUSession_Create/UpdateSMContext向PCF#A发起会话管理策略关联请求,
S306中,PCF#A确定信息#B。
具体地,PCF#A根据信息#A确定信息#B,该信息#B的参数信息可以是信息#A的部分参数信息也可以是全部参数信息,本申请在此不再赘述。
在一种可能的实施方式中,流描述信息可以承载于策略与计费控制规则(Policy and Charging Control Rule,PCC)中,即PCF根据流描述信息确定PCC规则中的业务流模板,帧类型和标识#A的对应关系信息也可以承载于PCC中。
S307中,PCF#A向SMF#A发送信息#B,SMF接收该信息#B。
具体地,PCF#A通过会话管理策略关联建立/修改SM Policy Association Establishment/Modification信息发送信息#B。
在一种可能的实施方式中,PCF#A根据流描述信息确定业务流模板信息(Service Data Flow template)(信息#B),然后将业务流模板信息发给SMF#A,以便于SMF#A根据该业务流模板信息确定对应的包检测规则PDR发给UPF#A。
可选地,S308中,SMF#A向PCF#A发送响应信息,用于指示成功接收该信息#B,PCF#A接收该响应信息。
S309中,SMF#A确定信息#C,并向UPF#A发送信息#C。
具体地,SMF#A根据信息#B通过N4会话建立N4Session Establishment向UPF#A发送信息#C,该信息#C的参数信息可以是信息#B的部分参数信息也可以是全部参数信息,本申请在此不再赘述。例如,PCF#A根据流描述信息确定业务流模板信息(信息#B),然后将业务流模板信息发给SMF#A,SMF#A根据该业务流模板信息确定对应的包检测规则(packet detection rules,PDR)(信息#C),帧类型和标识#A以及他们的对应关系信息,也可以承载于PDR中。
信息#C还可以包括执行规则指示信息,用于指示UPF#A识别媒体数据的帧类型的方式,例如,根据RTP中的时间戳和序列号以及GOP帧顺序信息识别媒体数据的帧类型的方式,或者,根据帧类型和标识#A以及他们的对应关系信息识别媒体数据的帧类型的方 式,或者UPF#A增强对媒体数据包进行解析从而明确不同数据的帧类型。应当理解,该执行规则指示信息也可以强化UPF#A的方式配置在UPF#A中。
S310中,UPF#A检测接收的媒体数据的帧类型。
具体地,UPF#A根据信息#C检测接收的媒体数据的帧类型,该信息#C包括RTP中的时间戳和序列号以及GOP帧顺序信息或者标识#A的一种或多种。
S311中,SMF#A确定信息#D,并向AMF#A发送信息#D。
具体地,SMF#A通过AMF服务化接口通信N1N2信息传输Namf_CommunicationN1N2MessageTransfer根据信息#B确定信息#D,该信息#D的参数信息可以是信息#B的部分参数信息也可以是全部参数信息,本申请在此不再赘述。
信息#D还可以包括执行规则指示信息,用于指示RAN#A识别媒体数据的帧类型的方式,该方式可以是根据RTP中的时间戳和序列号以及GOP帧顺序信息识别媒体数据的帧类型的方式,或者,也可以是根据帧类型和标识#A以及他们的对应关系信息识别媒体数据的帧类型的方式,或者根据标识#H进行媒体数据的帧类型识别(即在识别到哪些数据包属于同一帧后,可感知该帧的数据量的大小)(本申请中有关RAN#A识别媒体数据的帧类型可以理解为:识别属于同一帧的媒体数据的类型,从而根据该类型获知该帧数据的大小,或者直接感知属于同一帧的媒体数据的大小而不需要识别该帧数据的类型)。应当理解,该执行规则指示信息也可以强化RAN#A的方式配置在RAN#A中。
可选地,S312中,AMF#A向SMF#A发送响应信息,用于指示成功接收信息#D,SMF#A接收该响应信息。
S313中,AMF#A向RAN#A转发信息#D,RAN#A接收该信息#D。
具体地,AMF#A通过N2 PDU会话请求N2 PDU Session Request信息或者通过N2会话管理N2 SM信息向RAN#A转发信息#D。
S314中,RAN#A根据信息#D检测该媒体数据#A的通用无线分组业务隧道协议(general packet radio service tunneling protocol),GTP)层的扩展信息,该GTP层的扩展信息包括该媒体数据#A的帧类型信息。
可选的,RAN#A保存信息#D。
可选地,S315中,SMF#A确定信息#E,并向UE#A发送信息#E。
具体地,SMF#A根据信息#B确定信息#E,该信息#E的参数信息可以是信息#B的部分参数信息也可以是全部参数信息,本申请在此不再赘述。信息#E还可以包括执行规则指示信息,用于指示UE#A根据RAN#A下发的策略信息作出缓存的相应调整,应当理解,该信息也可作为配置信息配置在UE#A中,本申请不作限制。
S316中,UE#A与核心网建立PDU会话。
本申请实施例,在UE#A的PDU会话建立过程中,能够将来自服务器侧AS#A的关于对应媒体流的相关编码信息,如帧率、帧类型对应的数据量、可容忍时延、GOP内帧顺序或者UE侧的抖动缓存初始门限等信息下发至UE#A/RAN#A/UPF#A这几个用户面数据传输过程中的必经节点,并为后续针对大量数据的实时传输的优化方案的实施实现参数的发送。应理解,上述参数可以在媒体数据传输之前下发,也可以在媒体传输的过程中下发,本申请对此不作限定。
图4是根据本申请实施例的数据处理方法400的一例示意性流程图。
S401中,UE#A与核心网建立PDU会话。具体过程参见方法300,本申请在此不再赘述。
S402中,AS#A确定媒体数据信息#F,该媒体数据信息#F的内容已经在方法300中说明,在此不再赘述。
S403中,AS#A向UPF#A发送媒体数据信息#F,UPF#A接收该媒体数据信息#F。
S404中,UPF#A确定媒体数据#A的帧类型信息。
具体地,UPF#A根据该媒体数据#A的RTP头信息以及GOP内帧顺序,或者根据标识#A识别该媒体业务数据对应的帧类型信息,或者根据该媒体业务数据的RTP头信息确定哪些媒体业务数据属于一组帧。
其中,UPF#A根据该媒体业务数据的实时传输协议(real-time transport protocol,RTP)头信息以及GOP内帧顺序识别该媒体业务数据对应的帧类型信息具体方式可以是:
UPF#A根据该媒体业务数据的RTP头信息中的时间戳和序列号确定该媒体业务的哪些数据包属于同一个帧内(例如,帧#f1),其中RTP头信息中的时间戳代表该帧数据被采样的时间信息,如果带有相同的时间戳则意味着这些数据属于相同的帧;然后根据在PDU会话建立过程中保存的GOP内帧顺序信息,确定帧#f1的类型,例如,第一个帧#f1是该业务流的第一个GOP的第一个I帧,则属于该帧#f1的数据包的帧类型为I帧,后续的帧类型根据GOP顺序以及RTP头部进行确定。
S405中,UPF#A对该媒体数据#A进行处理,确定媒体数据信息#I。
具体地,首先,UPF#A根据该媒体数据的实时传输协议(real-time transport protocol,RTP)头信息以及GOP内帧顺序,或者根据该标识#A识别该媒体数据对应的帧类型信息,或者根据该媒体数据的RTP头信息确定哪些媒体数据属于一组帧。
其中,UPF#A根据该媒体数据的RTP头信息以及GOP内帧顺序识别该媒体数据对应的帧类型信息具体方式可以是:
UPF#A根据该媒体数据的RTP头信息中的时间戳和序列号确定该媒体数据的哪些数据包属于同一个帧内(例如,帧#f1),其中RTP头信息中的时间戳代表该帧数据被采样的时间信息,如果带有相同的时间戳则意味着这些数据属于相同的帧;然后根据在PDU会话建立过程中保存的GOP内帧顺序信息,确定帧#f1的类型,例如,第一个帧#f1是该业务流的第一个GOP的第一个I帧,则属于该帧#f1的数据包的帧类型为I帧。
然后,UPF#A根据识别到的媒体数据的帧类型信息,在GTP层添加对应的标识信息#H,该标识信息#H用于标识属于同一帧的数据包或者用于标识该媒体数据的帧类型,并确定媒体数据信息#I。
具体地,UPF#A在识别到的该媒体数据的属于帧#f1的一组数据包(例如p1、p2和p3)的帧类型为I帧后,在p1、p2和p3的GTP层添加“00”作为标识信息#H,并根据p1、p2和p3以及各自GTP层的标识信息#H确定媒体数据信息#I。
或者,UPF#A根据RTP头信息以及GOP内帧顺序,将属于同一帧的一组数据包用相同的标识表示,例如,用“00”表示I帧,用“01”表示P帧,用“10”表示B帧。
或者,UPF#A将该媒体数据包的RTP头信息中的序列号复制到该数据包的GTP层。
在一种可能的实施方式中,UPF#A在同一个帧内的数据包上添加序号信息,以保证属于同一个帧的数据包在传输时不会乱序。
在一种可能的实施方式中,UPF#A添加在数据包上的序号信息是在帧间排序的,即多个帧的数据包统一排序,以保证属于同种类型帧的数据包在传输时不会乱序。
S406中,UPF#A向RAN#A发送媒体数据信息#I。
可选地,S407中,UE#A向RAN#A发送抖动缓存状况信息#J。
具体地,抖动缓存状况信息#J可以是在k时刻(此处的k时刻指的是第k个帧间隔,也可理解为当前正在播放的帧为第k个帧,k为整数)的抖动缓存大小信息#J1(即缓存的该业务的待播放媒体数据),或者UE#A可以用来存储该媒体数据的最大缓存信息#J2。
在一种可能的实施方式中,UE#A发送的抖动缓存情况信息#J还包括在k时刻的抖动缓存中所有帧的序号信息,该序列号可以是GOP序列号也可以是帧序号。
在一种可能的实施方式中,UE#A发送的抖动缓存情况信息#J还包括在k时刻的抖动缓存中所有帧的类型信息。例如I帧、B帧或P帧的类型信息。
在一种可能的实施方式中,UE#A可以周期性地通过无线资源控制(radio resource control,RRC)信息或分组数据汇聚协议(packet data convergence protocol,PDCP)层告知RAN#A侧UE#A的抖动缓存情况,其中可以通过PDCP层扩展位告知也可以复用PDCP层其它信息位告知。
S408中,RAN#A确定调整信息#M,该调整信息#M用于指示UE#A作出相应调整。
具体地,RAN#A根据信息#D和/或媒体数据信息#I和/或根据UE#A发送的信息#J和/或k时刻UE#A的抖动缓存#B1和/或网络状况信息(该网络状况信息指的的RAN#A和UE#A之间链路的第一传输速率),确定针对UE#A的k+n(n为k时刻的偏移量,n为整数)时刻的缓存调整信息#M。该缓存调整信息#M用于指示UE#A的缓存大小或者播放速率。
具体地,RAN#A可以根据信息#D确定缓存调整信息#M的方式有以下几种:
方式一
RAN#A根据编码信息,确定k+n时刻的UE#A的缓存大小。该编码信息包括以下至少一种:该媒体数据的帧率、该媒体数据的帧类型、属于同一帧的媒体数据的数据量大小,该媒体数据为k时刻到达RAN#A的媒体数据。例如:对帧率为30FPS的媒体数据设置k+n时刻的UE#A的缓存大小为100M,对帧率为25FPS的媒体数据设置k+n时刻的UE#A的缓存大小为50M;对帧类型为I帧的媒体数据设置k+n时刻的UE#A的缓存大小为20M,对帧类型为P帧的媒体数据设置k+n时刻的UE#A的缓存大小为15M;还可以通过感知属于同一帧的媒体数据的数据量大小设置k+n时刻的UE#A的缓存大小,例如在k时刻感知的属于同一帧的媒体数据的数据量为5M,则设置k+n时刻的UE#A的缓存大小为50M,或者在k时刻感知的属于同一帧的媒体数据的数据量为10M,则设置k+n时刻的UE#A的缓存大小为80M。
RAN#A根据编码信息,确定k+n时刻的UE#A的播放速率。该编码信息包括以下至少一种:该媒体数据的帧率、该媒体数据的帧类型、属于同一帧的媒体数据的数据量大小,该媒体数据为k时刻到达RAN#A的媒体数据。例如:对帧率为30FPS的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,丢弃一些其他帧 并没有实质性的影响),对帧率为25FPS的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧);对帧类型为I帧的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧),对帧类型为P帧的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧);还可以通过感知属于同一帧的媒体数据的数据量大小设置k+n时刻的UE#A的播放速度,例如在k时刻感知的属于同一帧的媒体数据的数据量为5M,则设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧),或者在k时刻感知的属于同一帧的媒体数据的数据量为10M,则设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式二
RAN#A根据抖动缓存初始门限信息,确定k+n时刻的UE#A的缓存大小。例如:对抖动缓存初始门限为5M的媒体数据设置k+n时刻的UE#A的缓存大小为20M,对抖动缓存初始门限为10M的媒体数据设置k+n时刻的UE#A的缓存大小为50M。
RAN#A根据抖动缓存初始门限信息,确定k+n时刻的UE#A的播放速率。例如:对抖动缓存初始门限为5M的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳2帧),对抖动缓存初始门限为10M的媒体数据设置k+n时刻的UE#A对播放缓存中除了I帧以外,剩余类型的帧进行一定数目的跳帧(例如,可跳4帧)。
方式三
RAN#A根据可容忍时延信息,确定k+n时刻的UE#A的缓存大小。例如:对于可容忍时延为5ms的媒体数据,设置k+n时刻的UE#A的缓存大小为20M,对于可容忍时延为2ms的媒体数据,设置k+n时刻的UE#A的缓存大小为40M。
RAN#A根据可容忍时延信息,确定k+n时刻的UE#A的播放速率可参考上述方式一或方式二,在此不再赘述。
具体地,RAN#A可以根据媒体数据信息#I确定缓存调整信息#M,有以下几种方式:
方式四
RAN#A根据媒体数据信息#I中的GTP层的帧类型的标识,确定k+n时刻的UE#A的缓存大小。例如:媒体数据信息#I中的GTP层的标识为“00”,该标识对应的帧类型为I帧,则设置k+n时刻的UE#A的缓存大小为50M。
RAN#A根据媒体数据信息#I中的GTP层的帧类型的标识,确定k+n时刻的UE#A的播放速率可参考上述方式一或方式二,在此不再赘述。
方式五
RAN#A根据媒体数据信息#I的数据量大小,确定k+n时刻的UE#A的缓存大小。例如:在k时刻到达RAN#A的媒体数据信息#I的数据量为1M,则设置k+n时刻的UE#A的缓存大小为20M。
RAN#A根据媒体数据信息#I中的数据量大小,确定k+n时刻的UE#A的播放速率可参考上述方式一或方式二,在此不再赘述。
具体地,RAN#A可以根据缓存情况信息#J确定缓存调整信息#M,有以下几种方式:
方式六
RAN#A根据k时刻UE#A用来存储媒体数据的空闲的缓存大小,确定k+n时刻的UE#A的缓存大小。例如:根据UE#A空闲的缓存是否超过50M,如果超过50M,则设置k+n时刻的UE#A的缓存大小为60M,如果没有超过50M,则设置k+n时刻的UE#A的缓存大小为80M。
RAN#A根据k时刻UE#A用来存储媒体数据的空闲的缓存大小,确定k+n时刻的UE#A的播放速率可参考上述方式一或方式二,在此不再赘述。
RAN#A根据k时刻UE#A用来存储待播放的媒体数据的缓存大小(待播放的媒体数据指的是已经存储到UE#A的缓存中,但是还没有播放的媒体数据),确定k+n时刻的UE#A的缓存大小。例如:根据UE#A用来存储待播放的媒体数据的缓存是否超过30M,如果超过30M,则设置k+n时刻的UE#A的缓存大小为70M,如果没有超过30M,则设置k+n时刻的UE#A的缓存大小为50M。
方式七
RAN#A根据k时刻的第一传输速率,确定k+n时刻的UE#A的缓存大小。例如:根据第一传输速率是否超过50Mbps,如果超过50Mbps,则设置k+n时刻的UE#A的缓存大小为80M,如果没有超过50Mbps,则设置k+n时刻的UE#A的缓存大小为60M。
RAN#A根据k时刻的第一传输速率,确定k+n时刻的UE#A的播放速率可参考上述方式一或方式二,在此不再赘述。
应理解,上述方式仅为举例说明,RAN#A根据信息#D的其他内容或者媒体数据信息#I的其它内容或者缓存情况信息#J的其它内容或者第一传输速率信息,确定针对UE#A的k+n(n为k时刻的偏移量,n为整数)时刻的缓存调整信息#M,均在本申请保护的范围内容。
应理解,RAN#A还可以对上述方式进行组合来确定k+n时刻的UE#A的缓存调整信息#M,例如根据抖动缓存初始门限信息和帧率信息,设置k+n时刻的UE#A针对该媒体数据#A的缓存大小或播放速率。例如对帧率为25FPS并且抖动缓存初始门限为5M的媒体数据,设置k+n时刻的UE#A针对该媒体数据#A的缓存大小为20M。其它方式以此类推,本申请在此不再赘述。
应理解,UE#A也可以利用上述方式或者上述方式的组合来确定k+n时刻的UE#A的缓存大小,并作出相应调整,本申请在此不再赘述。
在一种可能的实施方式中,RAN#A根据媒体数据信息#I,确定k时刻的UE#A的抖动缓存#B1,并计算k+1或k+n时刻UE#A的抖动缓存#B2,根据抖动缓存#B2和抖动缓存#B1,还可以结合最大缓存信息#J2确定目标抖动缓存#B3,或者确定UE#A的播放速度,并确定相应的调整信息#M。其中,计算抖动缓存#B2的方式有以下几种:
方式a
RAN#A根据媒体数据信息#I中标识信息#H确定帧的类型或哪些数据包属于同一帧,然后确定k时刻的UE#A的抖动缓存#B1,并计算k+1时刻UE#A的抖动缓存#B2的步骤为(此处的k时刻指的是第k个帧间隔,也可理解为当前正在播放的帧为第k个帧,k为整数):
(1)以抖动缓存初始门限值threshold=5为例,首先,RAN#A根据threshold的值向 UE#A发送5个帧,此时确定抖动缓存#B1=5,k=5,另外,RAN#A可以获知UE#A的播放速度为每秒FPS个帧的播放速度;
(2)根据公式(1)计算在第6个帧间隔(k+1=6)时,UE#A所需的抖动缓存#B2的大小:
或者
B(k)={X k,1,X k,2,...,X k,Q1} (2)
B(k+1)={X k+1,1,X k+1,2,...,X k+1,Q2} (3)
公式(1)中,B(k+1)是UE#A在k+1时刻缓存的帧集合,L B(k+1)是UE#A在k+1时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),可选地,RAN#A根据最大缓存信息#J2保证L B(k+1)不超过最大缓存的值,同理,B(k)是UE#A在k时刻缓存的帧集合,L B(k)是UE#A在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),a_frames是帧的类型(例如可以是I帧,P帧或者是B帧),V a_frames是到达RAN#A的帧的帧类型对应的数据量大小,V是RAN#A通过到达的该媒体数据包的GTP层的标识信息获知哪些数据包属于同一帧后,统计的这些数据包的数据量大小,Δt为UE#A播放一帧所用的时间,即AS#A传输一帧所用的时间,R k为k时刻RAN#A和UE#A之间链路的传输速率,可选地,R k可以是RAN#A和UE#A之间链路在一段时间内的统计平均值。可选地,L B(k)可以是UE#A上报的在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),例如,UE#A周期性的上报在k时刻的帧集合所占的缓存大小。
公式(2)中,X k,1是UE#A在k时刻的缓存中的某个帧,Q1个帧构成了帧集合B(k),同理,公式(3)中,X k+1,1是UE#A在k+1时刻的缓存中的某个帧,Q2个帧构成了帧集合B(k+1)。
(3)RAN#A根据抖动缓存#B2和抖动缓存#B1,还可以结合最大缓存信息#J2确定目标抖动缓存#B3,或者确定UE#A的播放速度,并确定相应的调整信息#M。
在一种可能的实施方式中,根据抖动缓存#B2和抖动缓存#B1的大小关系,或者还可以结合最大缓存信息#J2来确定目标抖动缓存#B3,并根据目标抖动缓存#B3确定相应的调整信息#M,具体为:
如果抖动缓存#B2=抖动缓存#B1,则调整信息#M为维持UE#A的抖动缓存#B1;
如果抖动缓存#B2<抖动缓存#B1,则调整信息#M为调整UE#A的缓存值为抖动缓存#B2,或者,调整信息#M为维持UE#A的抖动缓存#B1;
如果最大缓存信息#J2的最大缓存值为抖动缓存#B5,并且抖动缓存#B5≥抖动缓存#B2>抖动缓存#B1,则调整信息#M为调整UE#A的缓存值为抖动缓存#B2,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如调整信息#M包括指示UE#A丢弃某些帧不播放,即跳帧数(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,丢弃一些其他帧并没有实质性的影响);
如果抖动缓存#B2≥抖动缓存#B5,则调整信息#M为调整UE#A的缓存值为抖动缓存#B5,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如调整信息#M包括指示 UE#A丢弃某些帧不播放,即跳帧数。
在一种可能的实施方式中,RAN#A可以通过RRC信息或PDCP层扩展位信息向UE#A发送调整信息#M。
方式b
RAN#A根据媒体数据信息#I中标识信息#H确定帧的类型或哪些数据包属于同一帧,然后确定k时刻的UE#A的抖动缓存#B1,并计算k+n时刻UE#A的抖动缓存#B2的步骤为(此处的k时刻指的是第k个帧间隔,也可理解为当前正在播放的帧为第k个帧,k为整数,n为整数):
(1)以k=0时,L B(k=0)=0为例,RAN#A可以获知UE#A的播放速度;
(2)RAN#A根据公式(4)计算在第(k+n)个帧间隔时,UE#A所需的抖动缓存#B2的大小:
或者
B(k)={X k,1,X k,2,...,X k,Q1} (5)
B(k+n)={X k+n,1,X k+n,2,...,X k+n,Q2} (6)
公式(4)中,B(k+n)是UE#A在k+n时刻缓存的帧集合,L B(k+n)是UE#A在k+n时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),可选地,RAN#A根据最大缓存信息#J2保证L B(k+n)不超过最大缓存的值,同理,B(k)是UE#A在k时刻缓存的帧集合,L B(k)是UE#A在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),n为大于或等于0的整数,a_frames是帧的类型(例如可以是I帧,P帧或者是B帧),V a_frames,k是达到RAN#A的帧的帧类型对应的数据量大小,V k是RAN#A通过到达的该媒体数据包的GTP层的标识信息获知哪些数据包属于同一帧后,统计的这些数据包的数据量大小,Δt为UE#A播放一帧所用的时间,即AS#A传输一帧所用的时间,R k为k时刻RAN#A和UE#A之间链路的传输速率,可选地,R k可以是RAN#A和UE#A之间链路在一段时间内的统计平均值。可选地,L B(k)可以是UE#A上报的在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),例如,UE#A周期性的上报在k时刻的帧集合所占的缓存大小。
公式(2)中,X k,1是UE#A在k时刻的缓存中的某个帧,Q1个帧构成了帧集合B(k),同理,公式(3)中,X k+n,1是UE#A在k+n时刻的缓存中的某个帧,Q2个帧构成了帧集合B(k+n)。
(3)RAN#A根据抖动缓存#B2和抖动缓存#B1,还可以结合最大缓存信息#J2确定目标抖动缓存#B3,或者确定UE#A的播放速度,并确定相应的调整信息#M。
在一种可能的实施方式中,根据抖动缓存#B2和抖动缓存#B1的大小关系,或者还可以结合最大缓存信息#J2来确定目标抖动缓存#B3,并根据目标抖动缓存#B3确定相应的调整信息#M,具体为:
如果抖动缓存#B2=抖动缓存#B1,则调整信息#M为维持UE#A的抖动缓存#B1;
如果抖动缓存#B2<抖动缓存#B1,则调整信息#M为调整UE#A的缓存值为抖动缓存 #B2,或者,调整信息#M为维持UE#A的抖动缓存#B1;
如果最大缓存信息#J2的最大缓存值为抖动缓存#B5,并且抖动缓存#B5≥抖动缓存#B2>抖动缓存#B1,则调整信息#M为调整UE#A的缓存值为抖动缓存#B2,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如调整信息#M包括指示UE#A丢弃某些帧不播放,即跳帧数(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,丢弃一些其他帧并没有实质性的影响);
如果抖动缓存#B2≥抖动缓存#B5,则调整信息#M为调整UE#A的缓存值为抖动缓存#B5,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如调整信息#M包括指示UE#A丢弃某些帧不播放,即跳帧数。
在一种可能的实施方式中,RAN#A可以通过RRC信息或PDCP层扩展位信息向UE#A发送调整信息#M。
可选地,S409中,RAN#A对该媒体数据的传输进行优化。
具体地,RAN#A根据媒体数据信息#I和/或根据UE#A发送的信息#J,作出资源调整和/或传输速度的优化,或者确定当前帧是否丢弃。
RAN#A侧作出传输速度的优化的方式为,根据UE#A的播放门限需求和/或综合考虑网络状况,计算所需的R k,调整媒体数据的传输速度或优先级。例如,为了保证流畅的播放需求或应对当前不稳定的网络状况,并且在限定UE#A的缓存中的帧不小于3帧的情况下,则可根据条件L B(k+1)≥3,计算所需的R k;或者,当UE#A中的缓存中的帧数量小于其他UE,在网络状况不稳定的情况下,优先对UE#A进行媒体数据的传输。
RAN#A侧作出资源调整的方式为,可综合考虑多个UE的需求进行灵活资源调度,例如,UE#1的缓存中有100个帧,UE#2的缓存中只有1个帧,并且在给UE#2传一组帧的时间内,UE#1的缓存中的100个帧满足播放需求,则可利用较多资源加速给UE#2传输,或给UE#2进行媒体数据的高优先级传输。
RAN#A侧确定当前到达的帧是否丢弃的方式为,根据当前到达的帧类型或帧序号,和/或UE#A侧的播放速度,和/或可容忍时延和/或R k,确定当前到达RAN#A侧的帧的后续帧是否已经开始播放或预计在当前到达RAN#A侧的帧到达UE#A侧时该后续帧已经开始播放,则丢弃该媒体帧,否则传输该媒体帧。
例如,RAN#A侧从开始传输该媒体数据时记录帧序号,假设UE#A侧的播放速度为1FPS,根据统计与计算,当前UE#A播放的帧序号为10,而此时到达RAN#A侧的帧序号为9,则丢弃该帧序号为9的帧。
又例如,RAN#A侧从开始传输该媒体数据时记录每个GOP内发送的帧的顺序,假设UE#A侧的播放速度为1FPS,根据统计与计算,当前UE#A播放的帧为第二个GOP内的P帧,而此时到达RAN#A侧的帧为第二个GOP内的B帧,根据帧顺序(例如IBPBP…)可知,该B帧不需再播放且不需要用作其他帧的参考帧,则判断丢弃该B帧。
再例如,RAN#A侧还可根据UE#A侧的播放速度、当前到达RAN#A的帧类型和对应的帧的数据大小以及R k计算当前帧到达UE#A时,UE#A是否已经播放该帧的后续帧,或者是否已经超出了可容忍时延,则可判断是否丢弃该帧。具体为:假设UE#A的播放速度为1FPS,RAN#A根据统计与计算确定UE#A当前正在播放第5帧,可容忍时延为50ms, 当前到达RAN#A的帧类型为I帧,数据大小为5KB,帧序号为7,R k为2.5KB/s,则传输当前帧的时间为2s,而UE#A播放第6帧加上可容忍时延需要1.05s,小于2s,则可判断该帧无法在可容忍时间之前到达UE#A,则可判断丢弃该帧。
S410中,RAN#A向UE#A发送调整信息#M,UE#A接收该调整信息#M。
S411中,RAN#A确定并发送媒体数据信息#N。
具体地,RAN#A根据媒体数据信息#I确定媒体数据信息#N,并向UE#A发送该媒体数据信息#N。
在一种可能的实施方式中,当媒体数据信息#I中带有标识#A时,RAN#A需要去掉该标识#A来确定媒体数据信息#N。
在一种可能的实施方式中,可以根据一个帧内数据包的序列号(此时的序列号只在一个帧内排序),保证帧类型的按序传输,例如,保证属于I帧类型的数据包传完后,再传后续的其他帧类型,具体根据帧的解码顺序进行传输,帧的解码顺序可能与GOP一致也可能不一致。
在一种可能的实施方式中,可以根据多个帧的数据包上的序列号(此时的序列号是跨多个帧排序的,即帧间的数据包排序的序列号),在保证帧类型的按序传输的同时,还能保证相同帧类型的数据包也能按序传输,例如同属于B帧类型的f1 B和f2 B,传完顺序在前的f1 B后,再传f2 B
S412中,UE#A根据调整信息#M作出相应调整。
具体地,UE#A根据调整信息#M确定目标抖动缓存#B4,或者相应的确定播放速度(例如,跳帧数,具体跳过的帧的序号)。
例如,调整信息#M指示UE#A的目标抖动缓存#B4为100M,则UE#A根据该指示将缓存调整为100M来存储媒体数据#N。
又例如,调整信息#M指示UE#A跳4帧除了I帧以外其它类型的帧,则UE#A根据该指示跳过4帧不播放,并且这4帧是除了I帧以外其它类型的帧。
其它UE#A根据调整信息#M作出相应调整的方式以此类推,本申请不再赘述。
本申请实施例中,RAN#A根据与该媒体数据#A相关的参数,结合该媒体数据#A的帧类型和/或媒体数据#A的数据量的大小辅助UE确定用来缓存该媒体数据#A的缓存大小,以及辅助UE决策对等待播放的与该媒体数据#A属于同一业务的媒体数据的播放策略,该播放策略可以是UE是否对等待播放的媒体数据在播放时进行跳帧处理或者UE的跳帧数,使能UE满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,并且由于根据数据量进行的缓存实时调整可避免由于缓存不够而导致的丢帧提高了具有大量数据的实时媒体数据播放的流畅度和准确性。另一方面,RAN#A还可以根据上述参数和/或该媒体数据#A优化媒体数据#A的传输速率,或者多个UE传输数据的时候,调整与多个UE对应的媒体数据传输的优先级,提升了用户媒体业务的实时体验。
图5是根据本申请实施例的数据处理方法500的一例示意性流程图。
S501中,UE#A根据与核心网建立PDU会话。建立PDU会话的过程参见方法300的,本申请在此不再赘述。
S502中,AS#A确定媒体数据信息#F。该媒体数据信息#F包括媒体数据#A,其它内容在方法300中已经说明,在此不再赘述。
S503中,AS#A向UPF#A发送媒体数据信息#F,UPF#A接收该媒体数据信息#F。
S504中,UPF#A确定媒体数据#A的帧类型信息,具体过程参见方法S404。
S505中,UPF#A对媒体数据#A进行处理,并确定媒体数据信息#I。具体过程参见方法S405。
S506中,UPF#A向RAN#A发送媒体数据信息#I,RAN#A接收该媒体数据信息#I。
S507中,RAN#A确定信息#T,该信息#T用于辅助UE#A确定播放策略。
具体地,RAN#A根据媒体数据信息#I和/或该媒体数据包的数据量和/或网络速率确定信息#T,该信息#T包括:向UE#A发送的该媒体数据包的数据量或者帧类型,和/或最小帧序列号和/或网络速率(RAN#A与UE#A之间的第一传输速率)。
在一种可能的实施方式中,S508中,RAN#A向UE#A发送信息#T,UE#A接收该信息#T。
在一种可能的实施方式中,RAN#A可以通过RRC信息或PDCP层向UE#A发送信息#T。
S509中,UE#A确定播放策略,并作出相应调整。
具体地,该播放策略包括目标抖动缓存的大小或者播放速率的调整,UE#A则根据目标抖动缓存的大小设置用来存储该媒体数据的缓存,或者对待播放的媒体数据进行跳帧处理。
具体地,UE#A根据信息#T和/或k时刻的UE#A的抖动缓存#B1,计算k+1或k+n时刻UE#A的抖动缓存#B2,根据抖动缓存#B2和抖动缓存#B1,还可以结合UE#A的最大缓存信息#J2确定目标抖动缓存#B3,并根据该目标抖动缓存#B3设置用来存储该媒体数据的缓存,其中,计算抖动缓存#B2的方式有以下几种:
方式a
UE#A确定k时刻的UE#A的抖动缓存#B1,然后根据信息#T中的数据量信息和网络速率信息,计算k+1时刻UE#A的抖动缓存#B2的步骤为(此处的k时刻指的是第k个帧间隔,也可理解为当前正在播放的帧为第k个帧,k为整数):
(1)以抖动缓存初始门限值threshold=5为例,此时确定抖动缓存#B1=5,k=5;
(2)根据公式(1)计算在第6个帧间隔(k+1=6)时,UE#A所需的抖动缓存#B2的大小:
或者
B(k)={X k,1,X k,2,...,X k,Q1} (2)
B(k+1)={X k+1,1,X k+1,2,...,X k+1,Q2} (3)
公式(1)中,B(k+1)是UE#A在k+1时刻缓存的帧集合,L B(k+1)是UE#A在k+1时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),可选地,UE#A根据最大缓存信息#J2保证L B(k+1)不超过最大缓存的值,同理,B(k)是UE#A在k时刻缓存的帧集合,L B(k)是UE#A在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),a_frames是帧的类型(例如可以是I帧,P帧或者是B帧),V a_frames是到达RAN#A的帧的帧类型对应的数据量大小,V是RAN#A通过到达的该媒体数据包的GTP层的标识信息获知哪些数据包属于同一帧后,统计的这些数据包的数据量大小,Δt 为UE#A播放一帧所用的时间,即AS#A传输一帧所用的时间,R k为k时刻RAN#A和UE#A之间链路的传输速率,可选地,R k可以是RAN#A和UE#A之间链路在一段时间内的统计平均值。
公式(2)中,X k,1是UE#A在第k时刻的缓存中的某个帧,Q1个帧构成了帧集合B(k),同理,公式(3)中,X k+1,1是UE#A在第k+1时刻的缓存中的某个帧,Q2个帧构成了帧集合B(k+1)。
(3)UE#A根据抖动缓存#B2和抖动缓存#B1确定目标抖动缓存#B3,或者确定UE#A的播放速度,并作出相应调整。
在一种可能的实施方式中,根据抖动缓存#B2和抖动缓存#B1的大小关系来确定目标抖动缓存#B3,具体为:
如果抖动缓存#B2=抖动缓存#B1,则维持UE#A的抖动缓存#B1;
如果抖动缓存#B2<抖动缓存#B1,则调整UE#A的缓存值为抖动缓存#B2,或者,维持UE#A的抖动缓存#B1;
如果最大缓存信息#J2的最大缓存值为抖动缓存#B5,并且抖动缓存#B5≥抖动缓存#B2>抖动缓存#B1,则调整UE#A的缓存值为抖动缓存#B2,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如丢弃某些帧不播放,即跳帧数(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,丢弃一些其他帧并没有实质性的影响);
如果抖动缓存#B2≥抖动缓存#B5,则调整UE#A的缓存值为抖动缓存#B5,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如丢弃某些帧不播放,即跳帧数。
方式b
UE#A确定k时刻的UE#A的抖动缓存#B1,然后根据信息#T中的数据量信息和网络速率信息,计算k+n时刻UE#A的抖动缓存#B2的步骤为(此处的k时刻指的是第k个帧间隔,也可理解为当前正在播放的帧为第k个帧,k为整数):
(1)以k=0为例,此时L B(k=0)=0;
(2)UE#A根据公式(4)计算在第(k+n)个帧间隔时,UE#A所需的抖动缓存#B2的大小:
或者
B(k)={X k,1,X k,2,...,X k,Q1} (5)
B(k+n)={X k+n,1,X k+n,2,...,X k+n,Q2} (6)
公式(4)中,B(k+n)是UE#A在k+n时刻缓存的帧集合,L B(k+n)是UE#A在k+n时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),可选地,RAN#A根据最大缓存信息#J2保证L B(k+n)不超过最大缓存的值,同理,B(k)是UE#A在k时刻缓存的帧集合,L B(k)是UE#A在k时刻的帧集合所占的缓存大小(以帧集合的长度即帧集合中帧的个数来表示),n为大于或等于0的整数,a_frames是帧的类型(例如可以是I帧,P帧或者是B帧),V a_frames,k是到达RAN#A的帧的帧类型对应的数据量大小, V k是RAN#A通过到达的该媒体数据包的GTP层的标识信息获知哪些数据包属于同一帧后,统计的这些数据包的数据量大小,Δt为UE#A播放一帧所用的时间,即AS#A传输一帧所用的时间,R k为k时刻RAN#A和UE#A之间链路的传输速率,可选地,R k可以是RAN#A和UE#A之间链路在一段时间内的统计平均值。
公式(2)中,X k,1是UE#A在k时刻的缓存中的某个帧,Q1个帧构成了帧集合B(k),同理,公式(3)中,X k+n,1是UE#A在k+n时刻的缓存中的某个帧,Q2个帧构成了帧集合B(k+n)。
(3)UE#A根据抖动缓存#B2和抖动缓存#B1确定目标抖动缓存#B3,或者确定UE#A的播放速度,并作出相应调整。
在一种可能的实施方式中,根据抖动缓存#B2和抖动缓存#B1的大小关系来确定目标抖动缓存#B3,具体为:
如果抖动缓存#B2=抖动缓存#B1,则维持UE#A的抖动缓存#B1;
如果抖动缓存#B2<抖动缓存#B1,则调整UE#A的缓存值为抖动缓存#B2,或者,维持UE#A的抖动缓存#B1;
如果最大缓存信息#J2的最大缓存值为抖动缓存#B5,并且抖动缓存#B5≥抖动缓存#B2>抖动缓存#B1,则调整UE#A的缓存值为抖动缓存#B2,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如丢弃某些帧不播放,即跳帧数(人眼识别连贯图像的速度是24帧/秒,只要播放速度大于24帧/秒,就不会影响图像的连贯性,并且由于GOP图像编码的特点,除了关键帧以外,丢弃一些其他帧并没有实质性的影响);
如果抖动缓存#B2≥抖动缓存#B5,则调整UE#A的缓存值为抖动缓存#B5,也可以在调整UE#A的缓存时加快UE#A的播放速度,例如丢弃某些帧不播放,即跳帧数。
S510中,RAN#A确定媒体数据信息#N,并向UE#A发送。
RAN#A根据媒体数据信息#I确定并发送媒体数据信息#N。具体地,当媒体数据信息#I中带有标识#A时,需要删除该标识#A确定媒体数据信息#N,UE#A接收该媒体数据信息#N。
在一种可能的实施方式中,可以根据一个帧内数据包的序列号(此时的序列号只在一个帧内排序),保证帧类型的按序传输,例如,保证属于I帧类型的数据包传完后,再传后续解码的帧,根据解码顺序进行传输。
在一种可能的实施方式中,可以根据多个帧的数据包上的序列号(此时的序列号是跨多个帧排序的,即帧间的数据包排序的序列号),在保证帧类型的按序传输的同时,还能保证相同帧类型的数据包也能按序传输,例如同属于B帧类型的f1 B和f2 B,传完顺序在前的f1 B后,再传f2 B
在一种可能的实施方式中,S511中,UE#A根据信息#T优化媒体数据的播放速率。
具体地,UE#A根据信息#T中的最小帧序号和已播放的最大帧序号判断否丢弃媒体数据信息#N中的最小帧。例如,如果信息#T的最小帧序号小于已播放的最大帧序号,则可在接收RAN#A发送的该媒体数据时,丢弃该信息#T的最小帧序号的帧。
本申请实施例中,UE#A根据与该媒体数据#A相关的参数,结合该媒体数据#A的帧类型和/或媒体数据#A的数据量的大小确定用来缓存该媒体数据#A的缓存大小,以及辅助决策对等待播放的与该媒体数据#A属于同一业务的媒体数据的播放策略,该播放策略可 以是UE是否对等待播放的媒体数据在播放时进行跳帧处理或者UE的跳帧数,使能UE满足具有大量数据的实时媒体业务在播放时的抖动缓存需求,并且由于根据数据量进行的缓存实时调整可避免由于缓存不够而导致的丢帧提高了具有大量数据的实时媒体数据播放的流畅度和准确性,提升了用户媒体业务的实时体验
应理解,本申请以上实施例的媒体数据不限于视频,并且上述方法同样适用于音频业务,本申请不再作赘述。
以上,结合图1至图5描述了根据本申请实施例的数据处理的方法,以下,结合图6至图9描述根据本申请实施例的设备。
图6是根据本申请实施例的网络设备的一例的示意性框图。如图6所示,网络设备600包括:
接收单元610,用于获取第一媒体数据的第一信息,该第一信息用于指示该第一媒体数据的大小;或者,
用于获取第一媒体数据的第一信息和终端设备UE的缓存状况信息,该第一信息用于指示该第一媒体数据的大小;或者
用于接收第一参数信息,该第一参数信息用于指示第一媒体数据的类型;用于接收该第一媒体数据;
处理单元620,用于根据该第一信息确定对该第一媒体数据的播放策略,该播放策略用于指示缓存大小或者播放速率;或者,
用于根据该第一信息和该缓存状况信息确定对该第一媒体数据的传输策略,该传输策略用于指示该第一媒体数据的传输速率和/或该第一媒体数据的传输优先级,或者是否丢弃该第一媒体数据;或者,
根据该第一参数信息确定第一标识信息,该第一标识信息用于标识该第一媒体数据的帧类型;
发送单元630,用于向终端设备UE发送该播放策略;或者,
用于向无线接入网RAN设备发送第二媒体数据,该第二媒体数据包括该第一标识信息和该第一媒体数据。
在一种可能的实施方式中,该第一信息为帧类型信息,或者,该第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
在一种可能的实施方式中,该参数信息还包括以下一项或多项:
该第一媒体数据的流描述信息、该第一媒体数据的帧率FPS信息、该第一媒体数据的缓存门限,该缓存门限用于指示该UE播放媒体数据的缓存大小、该UE的缓存状况信息、网络状况信息、可容忍时延信息,该可容忍时延信息用于指示该UE等待当前播放的帧的下一帧到达的时间。
在一种可能的实施方式中,根据该参数信息确定对该第一媒体数据的播放策略。
在一种可能的实施方式中,该播放策略信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中;该RAN向该UE发送该播放策略信息。
在一种可能的实施方式中,该缓存状况信息包括:该UE等待播放的媒体数据所占用的缓存大小、该UE可用于存储该第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
在一种可能的实施方式中,该缓存状况信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中,由该UE发往该RAN。
在一种可能的实施方式中,该第一媒体数据的帧类型对应的标识信息承载于该第一媒体数据的通用无线分组业务隧道协议GTP信息中。
在一种可能的实施方式中,该第一参数信息包括:
该第一媒体数据的数据类型信息,或者,
该第一媒体数据的数据类型对应的标识信息,或者,
该第一媒体数据的画面组GOP帧顺序信息和该第一媒体数据的实时传输协议RTP信息。
在一种可能的实施方式中,该第一标识信息承载于该第二媒体数据的通用无线分组业务隧道协议GTP层的信息中。
图7是根据本申请实施例的终端设备的一例的示意性框图。如图7所示,终端设备700包括:
发送单元730:向无线接入网RAN发送该UE的缓存状况信息,该缓存状况信息用于该RAN针对该UE的播放策略的确定,该播放策略用于指示缓存大小或者播放速率;
接收单元710:从RAN接收该播放策略。
处理单元720:执行该播放策略。
图8是根据本申请实施例的网络设备的另一例的示意性框图。如图8所示,所述网络设备800包括收发机810以及处理器820,所述处理器820被配置为支持网络设备执行上述方法中网络设备相应的功能。可选的,所述网络设备还可以包括存储器830,所述存储器830用于与处理器820耦合,保存网络设备必要的程序指令和数据。处理器820具体用于执行存储器830中存储的指令,当指令被执行时,所述网络设备执行上述方法中网络设备所执行的方法。
需要说明的是,图6中所示的网络设备600可以通过图8中所示的网络设备800来实现。例如,图6中所示接收单元610和发送单元630可以由收发机810实现,处理单元620可以由处理器820实现。
图9是根据本申请实施例的终端设备的另一例的示意性框图。如图9所示,所述终端设备900包括收发机910以及处理器920,所述处理器920被配置为支持终端设备执行上述方法中终端设备相应的功能。可选的,所述终端设备还可以包括存储器930,所述存储器930用于与处理器920耦合,保存终端设备必要的程序指令和数据。处理器920具体用于执行存储器930中存储的指令,当指令被执行时,所述终端设备执行上述方法中终端设备所执行的方法。
需要说明的是,图7中所示的终端设备700可以通过图9中所示的终端设备900来实现。例如,图7中所示接收单元710和发送单元730可以由收发机910实现,处理单元920可以由处理器920实现。
需要说明是,本申请以网络设备和终端设备为例,描述本申请实施例的数据处理方法和设备。应理解,本申请实施例的数据处理方法还可以由基带芯片实现,该基带芯片用于实现本申请实施例中上述网络设备或上述终端设备的相关操作。
还需要说明是,该基带芯片的输入/输出电路能够用于实现上文网络设备或者终端设 备的收发机的相关操作。
应理解,本申请实施例中,该处理器可以为中央处理单元(central processing unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random access memory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质。半导体介质可以是固态硬盘。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装 置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (26)

  1. 一种数据处理方法,其特征在于,在无线接入网RAN设备中执行,包括:
    获取第一媒体数据的第一信息,所述第一信息用于指示所述第一媒体数据的大小;
    根据所述第一信息确定对所述第一媒体数据的播放策略,所述播放策略用于指示缓存大小或者播放速率;
    向终端设备UE发送所述播放策略。
  2. 如权利要求1所述的方法,其特征在于,所述第一信息为帧类型信息,或者,
    所述第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
  3. 如权利要求1或2所述的方法,其特征在于,所述获取第一媒体数据的第一信息,包括:
    获取所述第一媒体数据的参数信息,所述参数信息包括第一信息,所述参数信息还包括以下一项或多项:所述第一媒体数据的流描述信息、所述第一媒体数据的帧率FPS信息、所述UE的缓存状况信息、网络状况信息、或者所述第一媒体数据的缓存门限,所述缓存门限用于指示所述UE播放媒体数据的缓存大小。
  4. 如权利要求3所述的方法,其特征在于,所述根据所述第一信息确定对所述第一媒体数据的播放策略,包括:
    根据所述参数信息确定对所述第一媒体数据的播放策略。
  5. 如权利要求3或4所述的方法,其特征在于,所述缓存状况信息包括以下一项或多项:所述UE等待播放的媒体数据所占用的缓存大小、所述UE可用于存储所述第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
  6. 如权利要求1-5中任一项所述的方法,其特征在于,所述向终端设备UE发送所述播放策略还包括:
    所述播放策略信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中;
    所述RAN向所述UE发送所述播放策略信息。
  7. 一种数据处理方法,其特征在于,在无线接入网RAN设备中执行,包括:
    获取第一媒体数据的第一信息和终端设备UE的缓存状况信息,所述第一信息用于指示所述第一媒体数据的大小;
    根据所述第一信息和所述缓存状况信息确定对所述第一媒体数据的传输策略,所述传输策略用于指示所述第一媒体数据的传输速率和/或所述第一媒体数据的传输优先级,或者是否丢弃所述第一媒体数据。
  8. 如权利要求7所述的方法,其特征在于,所述第一信息为帧类型信息,或者,
    所述第一媒体数据的帧类型对应的标识信息和帧类型对应的数据量信息。
  9. 如权利要求7或8所述的方法,其特征在于,所述获取第一媒体数据的第一信息和终端设备UE的缓存状况信息,包括:
    获取所述第一媒体数据的参数信息,所述参数信息包括第一信息和终端设备UE的缓存状况信息,所述参数信息还包括以下一项或多项:
    所述第一媒体数据的流描述信息、所述第一媒体数据的帧率FPS信息、所述第一媒体数据的缓存门限,所述缓存门限用于指示所述UE播放媒体数据的缓存大小、网络状况信 息、可容忍时延信息,所述可容忍时延信息用于指示所述UE等待当前播放的帧的下一帧到达的时间。
  10. 如权利要求7-9中任一项所述的方法,其特征在于,所述缓存状况信息包括一下一项或多项:所述UE等待播放的媒体数据所占用的缓存大小、所述UE可用于存储所述第一媒体数据的最大缓存信息、或者待播放媒体数据的帧状况信息。
  11. 如权利要求7-10中任一项所述的方法,其特征在于,所述缓存状况信息包括:
    所述缓存状况信息承载于从所述UE接收的无线资源控制RRC信息或分组数据汇聚协议PDCP信息中。
  12. 如权利要求2或8所述的方法,其特征在于,所述第一媒体数据的帧类型对应的标识信息承载于所述第一媒体数据的通用无线分组业务隧道协议GTP信息中。
  13. 一种数据处理方法,其特征在于,在用户面功能UPF网元中执行,包括:
    接收第一参数信息,所述第一参数信息用于指示第一媒体数据的类型;
    接收所述第一媒体数据;
    根据所述第一参数信息确定第一标识信息,所述第一标识信息用于标识所述第一媒体数据的帧类型;
    向无线接入网RAN设备发送第二媒体数据,所述第二媒体数据包括所述第一标识信息和所述第一媒体数据。
  14. 如权利要求13所述的方法,其特征在于,所述第一参数信息包括:
    所述第一媒体数据的数据类型信息,或者,
    所述第一媒体数据的数据类型对应的标识信息,或者,
    所述第一媒体数据的画面组GOP帧顺序信息和所述第一媒体数据的实时传输协议RTP信息。
  15. 如权利要求13或14所述的方法,其特征在于,所述第一标识信息承载于所述第二媒体数据的通用无线分组业务隧道协议GTP层的信息中。
  16. 一种数据处理方法,其特征在于,在终端设备UE中执行,包括:
    向无线接入网RAN发送所述UE的缓存状况信息,所述缓存状况信息用于对所述UE的播放策略的确定,所述播放策略用于指示缓存大小或者播放速率;
    从所述RAN接收所述播放策略。
  17. 如权利要求16所述的方法,其特征在于,所述缓存状况信息包括以下一项或多项:所述UE等待播放的媒体数据所占用的缓存大小、所述UE可用于存储所述第一媒体数据的最大缓存信息或者待播放媒体数据的帧状况信息。
  18. 如权利要求16或17所述的方法,其特征在于,所述缓存状况信息承载于无线资源控制RRC信息或分组数据汇聚协议PDCP信息中。
  19. 一种数据处理的装置,其特征在于,所述装置包括至少一个处理器和通信接口,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得所述装置实现如权利要求1至6中任一项所述的方法。
  20. 一种数据处理的装置,其特征在于,所述装置包括至少一个处理器和通信接口,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得所述装置实现如权利要求7至12中任一项所述的方法。
  21. 一种数据处理的装置,其特征在于,所述装置包括至少一个处理器和通信接口,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得所述装置实现如权利要求13至15中任一项所述的方法。
  22. 一种数据处理的装置,其特征在于,所述装置包括至少一个处理器和通信接口,所述至少一个处理器用于调用至少一个存储器中存储的计算机程序,以使得所述装置实现如权利要求16至18中任一项所述的方法。
  23. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,当所述计算机程序运行时,
    使得装置执行如权利要求1至6中任一项所述的方法,或者
    使得装置执行如权利要求7至12中任一项所述的方法,或者
    使得装置执行如权利要求13至15中任一项所述的方法,或者
    使得装置执行如权利要求16至18中任一项所述的方法。
  24. 一种芯片***,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,
    使得安装有所述芯片***的通信装置执行如权利要求1至6中任一项所述的方法;或者
    使得安装有所述芯片***的通信装置执行如权利要求7至12中任一项所述的方法;或者
    使得安装有所述芯片***的通信装置执行如权利要求13至15中任一项所述的方法;
    或者
    使得安装有所述芯片***的通信装置执行如权利要求16至18中任一项所述的方法。
  25. 一种通信***,其特征在于,包括:
    网络设备,用于执行如权利要求1至6中任一项所述的方法,或者
    用于执行如权利要求7至12中任一项所述的方法,或者
    用于执行如权利要求13至15中任一项所述的方法;
    终端设备,用于执行如权利要求16至18中任一项所述的方法。
  26. 一种计算机程序产品,其特征在于,当所述计算机程序产品在处理器上运行时,以实现权利要求1-18任一项所述的方法。
CN202180094540.9A 2021-03-04 2021-03-04 数据处理方法和设备 Pending CN116918337A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/079055 WO2022183431A1 (zh) 2021-03-04 2021-03-04 数据处理方法和设备

Publications (1)

Publication Number Publication Date
CN116918337A true CN116918337A (zh) 2023-10-20

Family

ID=83153851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180094540.9A Pending CN116918337A (zh) 2021-03-04 2021-03-04 数据处理方法和设备

Country Status (4)

Country Link
US (1) US20230412662A1 (zh)
EP (1) EP4294023A4 (zh)
CN (1) CN116918337A (zh)
WO (1) WO2022183431A1 (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081607A1 (en) * 2001-10-30 2003-05-01 Alan Kavanagh General packet radio service tunneling protocol (GTP) packet filter
US7496086B2 (en) * 2002-04-30 2009-02-24 Alcatel-Lucent Usa Inc. Techniques for jitter buffer delay management
US8036122B2 (en) * 2003-04-03 2011-10-11 Alcatel Lucent Initiation of network treatment for data packet associated with real-time application different from network treatment applicable to data packet non-associated with the real-time application
WO2006026635A2 (en) * 2004-08-30 2006-03-09 Qualcomm Incorporated Adaptive de-jitter buffer for voice over ip
CN101431720A (zh) * 2007-11-09 2009-05-13 华为技术有限公司 一种流媒体的传输方法和设备
CN102771134B (zh) * 2010-01-18 2016-04-13 瑞典爱立信有限公司 用于支持播放内容的方法及装置
CN102595199A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种流媒体数据包的封装、传输方法及流媒体处理装置
EP2869513A1 (en) * 2013-10-30 2015-05-06 Telefonaktiebolaget L M Ericsson (Publ) Method and network node for controlling sending rates
US11444850B2 (en) * 2016-05-02 2022-09-13 Huawei Technologies Co., Ltd. Method and apparatus for communication network quality of service capability exposure
CN113133122A (zh) * 2016-08-12 2021-07-16 华为技术有限公司 业务数据传输的方法、网络设备和终端设备
US10447619B2 (en) * 2017-03-15 2019-10-15 Verizon Patent And Licensing Inc. Dynamic application buffer adaptation for proxy based communication
US10819763B2 (en) * 2017-03-31 2020-10-27 At&T Intellectual Property I, L.P. Apparatus and method of video streaming
US11032590B2 (en) * 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
US20200120211A1 (en) * 2018-10-10 2020-04-16 Avaya Inc. Dynamic agent media type selection based on communication session quality of service parameters
WO2020034464A1 (en) * 2018-11-14 2020-02-20 Zte Corporation Methods, apparatus and systems for satisfying a time control requirement in a wireless communication

Also Published As

Publication number Publication date
EP4294023A4 (en) 2024-04-10
EP4294023A1 (en) 2023-12-20
US20230412662A1 (en) 2023-12-21
WO2022183431A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US20210410168A1 (en) Service data transmission method, network device, and terminal device
US20200068652A1 (en) Data transmission processing method and apparatus
US10567465B2 (en) Streaming video over a network
KR101831082B1 (ko) 실시간 비디오 애플리케이션용 라우터를 위한 체감 품질 기반 큐 관리
CN109068187B (zh) 实时流量传送***和方法
US9930388B2 (en) Differential and distributive queuing of video frames
JP2016526317A (ja) ビデオアプリケーションのためのQoE−AWAREWiFiエンハンスメント
EP4216603A1 (en) Data processing method, device, readable storage medium, and program product
US20150341594A1 (en) Systems and methods for implementing model-based qoe scheduling
CN102223218B (zh) 媒体报文重传抑制方法和设备
JP4930589B2 (ja) 中継装置および出力制御方法
US20110067072A1 (en) Method and apparatus for performing MPEG video streaming over bandwidth constrained networks
US20240031870A1 (en) Media data transmission method and communication apparatus
WO2022183431A1 (zh) 数据处理方法和设备
TW202032986A (zh) 基於歷史之運動向量預測
EP4277289A1 (en) Media parameter adjustment method and apparatus
CN116711370A (zh) 一种通信方法与装置
CN114928554B (zh) 视频传输方法、装置和存储介质
US20230371060A1 (en) Resource scheduling method and apparatus
WO2022198464A1 (zh) 一种数据传输的方法、相关设备以及通信***
WO2023142774A1 (zh) 一种通信方法及设备
WO2024087585A9 (en) Method and apparatus of data transmission using protocol data unit set discard timers
WO2024033902A1 (en) Drift compensation of configured scheduling
WO2015085525A1 (zh) 体验质量QoE的实现方法及装置
CN116866983A (zh) 一种媒体单元传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination