CN115484505A - 视频传输方法、装置、设备、***以及计算机存储介质 - Google Patents

视频传输方法、装置、设备、***以及计算机存储介质 Download PDF

Info

Publication number
CN115484505A
CN115484505A CN202110604743.XA CN202110604743A CN115484505A CN 115484505 A CN115484505 A CN 115484505A CN 202110604743 A CN202110604743 A CN 202110604743A CN 115484505 A CN115484505 A CN 115484505A
Authority
CN
China
Prior art keywords
video
code rate
target
network
user equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110604743.XA
Other languages
English (en)
Inventor
汪伊明
罗勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110604743.XA priority Critical patent/CN115484505A/zh
Priority to PCT/CN2022/092470 priority patent/WO2022252953A1/zh
Publication of CN115484505A publication Critical patent/CN115484505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种视频传输方法、装置、设备、***以及计算机存储介质,属于通信技术领域。解决了视频播放质量较差的问题。所述方法包括:网关设备获取与用户设备之间的网络的网络质量;所述网关设备基于所述网络质量获取视频分片集合,获取到的所述视频分片集合包括多个目标视频分片;所述网关设备向所述用户设备发送所述视频分片集合。本申请可以提升用户设备的播放质量,本申请用于网关设备和用户设备之间传输视频。

Description

视频传输方法、装置、设备、***以及计算机存储介质
技术领域
本申请涉及通信技术领域,特别涉及一种视频传输方法、装置、设备、***以及计算机存储介质。
背景技术
网关设备获取视频分片,再将视频分片发送至用户设备,由用户设备进行播放,是一种广泛应用的视频播放方式。
目前,一种视频传输方法中,由用户设备确定当前的下载速度,再基于该下载速度来向网关设备发送视频分片集合获取请求,该请求用于请求获取未来一段时间需要播放的视频分片。网关设备向用户设备发送该请求所请求的视频分片集合。后续用户设备可以对这多个视频分片依次进行播放。
由于网络质量的波动,视频分片集合获取请求所请求的视频分片可能难以有效的传输至用户设备,导致用户设备在播放视频时发生卡顿等问题,影响播放质量。
发明内容
本申请实施例提供了一种视频传输方法、装置、设备、***以及计算机存储介质。解决了视频播放质量较差的问题,所述技术方案如下:
第一方面,提供了一种视频传输方法,该方法包括:
网关设备获取与用户设备之间的网络的网络质量;网关设备基于网络质量获取视频分片集合,获取到的视频分片集合包括多个目标视频分片;网关设备向用户设备发送视频分片集合。
本申请实施例中,网关设备基于网络质量获取包括多个目标视频分片的视频分片集合,使得网关设备可以基于网络质量来灵活地确定视频分片集合,可以避免由于网络波动导致的播放卡顿的问题的发生,可以提升用户设备的播放质量。
可选地,网关设备基于网络质量获取视频分片集合,包括:
网关设备基于网络质量和基准码率确定至少两种目标码率,该至少两种目标码率包括基于基准码率确定的第一目标码率,以及基于基准码率和网络质量确定的第二目标码率;网关设备基于这至少两种目标码率和多个目标视频分片的标识获取具有至少两种目标码率的多个目标视频分片。
其中,目标视频分片可以由视频源设备提供。目标视频分片的标识可以用于确定目标视频分片的内容。
网关设备基于网络质量以及基准码率获取至少两种目标码率的视频分片,进而便可以对用户设备播放的视频分片的码率进行灵活地确定。该基准码率可以是预先存储在网关设备中的一个码率,也可以是网关设备通过预定的方式所获取的码率。该基准码率可以便于对后续要发送的视频分片集合中视频分片的码率进行控制。
在实际实现时,基准码率的获取方式可以有多种,根据基准码率获取方式的不同,本申请实施例以以下两种可选实现方式为例进行说明。
在第一种实现方式中,网关设备接收用户设备发送的码率,基于用户设备发送的码率确定基准码率。
该用户设备发送的码率可以是用户设备基于自身的网络质量确定的码率。网关设备将该码率确定为基准码率,使得根据该基准码率以及网关设备的网络质量确定的至少两种目标码率可以与用户设备的网络质量以及网关设备的网络质量均相关。
在一种可选示例中,当用户设备发送的码率为一种码率时,网关设备可以将该种码率确定为基准码率。
在另一种可选示例中,用户设备发送的码率包括至少两种码率。网关设备可以基于这至少两种码率来确定基准码率。例如,网关设备可以将这至少两种码率中的一种码率确定为基准码率,或者,可以将这至少两种码率均确定为基准码率。
其中,将这至少两种码率中的一种码率确定为基准码率的方式中,根据网络质量的不同,基于用户设备发送的码率确定基准码率的步骤可以包括下面两种情况:
第一种情况:当网络质量低于质量阈值时,网关设备将用户设备发送的码率中的最小的码率确定为基准码率。网络质量低于质量阈值时,表明当前的网络状态较差。网关设备可以将用户设备发送的码率中的最小的码率确定为基准码率,以降低后续确定的视频分片集合中至少部分视频分片的码率,进而可以便于网关设备在网络质量较差时,将目标视频分片有效传输至用户设备。
第二种情况:当网络质量高于质量阈值时,网关设备将用户设备发送的码率中的最大的码率确定为基准码率。网络质量高于质量阈值时,表明当前的网络状态较好。网关设备可以将用户设备发送的码率中的最大的码率确定为基准码率,以提高后续确定的视频分片集合中至少部分视频分片的码率。以使得后续获得的目标视频分片的码率较高,进而在网络状态良好的时候进一步提高目标视频分片的传输效率,实现通信资源的有效利用。
在第二种实现方式中,网关设备将上次向用户设备发送的最后一个视频分片的目标码率确定为基准码率。该上次向用户设备发送的最后一个视频分片,可以是指网关设备在本次向用户设备发送的视频分片集合之前,向用户设备发送的视频分片集合中的最后一个视频分片。该最后一个视频分片是与本次要发送的视频分片集合最接近的视频分片,进而可以更为准确的反应当前时刻的网络状态。
前述网关设备确定的基准码率的数量不同,最终获取至少两种目标码率的方式也不同。本申请实施例以以下两种方式为例进行说明:
在第一种方式中,网关设备将一种或多种码率确定为基准码率。此种情况下,网关设备可以将基准码率作为第一目标码率;当网络质量低于质量阈值时,使第二目标码率小于基准码率(也即是第二目标码率小于第一目标码率)。如此可以保证至少部分目标视频分片的码率较小,便于在网络状态较差时,向用户设备有效传输目标视频分片。当网络质量高于质量阈值时,使第二目标码率大于基准码率(也即是第二目标码率大于第一目标码率)。如此可以保证至少部分目标视频分片的码率较大,便于在网络状态较好时,实现通信资源的有效利用,提升目标码率的目标视频分片在播放时的清晰度。
前述第一种方式均以第二目标码率基于基准码率和网络质量确定为例进行说明。本申请实施例中,第二目标码率还可以基于第一目标码率和网络质量确定。例如,当网络质量低于质量阈值时,使第二目标码率小于第一目标码率;当网络质量高于质量阈值时,使第二目标码率大于第一目标码率。
第二种方式,网关设备将至少两种码率确定为基准码率。此种情况下,当网络质量低于质量阈值时,第一目标码率和第二目标码率均小于基准码率;当网络质量高于质量阈值时,第一目标码率和第二目标码率均大于基准码率。
其中,网络质量低于质量阈值时,表明网络状态较差。此时可以使第一目标码率和第二目标码率均小于基准码率(另外,若该至少两种目标码率还包括其它目标码率,该其它目标码率也可以均小于该基准码率),如此后续获得码率较小的目标视频分片,进而可以便于网关设备在网络质量较差时,将目标视频分片有效传输至用户设备。
当网络质量高于质量阈值时,表明网络状态较好。此时可以使目标码率均大于基准码率(另外,若该至少两种目标码率还包括其它目标码率,该其它目标码率也可以均大于该基准码率),以使得后续获得的目标视频分片的码率较高,进而在网络状态良好的时候进一步提高目标视频分片的传输效率,实现通信资源的有效利用。
其中,质量阈值可以是一个预先设置的值,可以根据预先进行的测试得到。例如,当网络质量低于某个阈值时,用户设备播放视频卡顿的现象较为严重,则可以将该阈值确定为质量阈值。
可选地,网关设备基于至少两种目标码率和多个目标视频分片的标识获取多个目标视频分片,包括:
对于每个目标视频分片的标识,网关设备基于标识获取多个备选视频分片,多个备选视频分片的标识相同,码率不同。
其中,视频源设备可以通过组播或者广播的方式发送一种码率的视频分片,该视频分片的标识为一个目标视频分片的标识,网关设备可以对该视频分片进行处理,以获取多种码率的备选视频分片。
之后,获取目标视频分片可以包括两种可选实现方式,在一种可选地方式中:
网关设备从多个备选视频分片中获取码率为标识对应的目标码率的备选视频分片作为目标视频分片。
在另一种可选地方式中,当网络质量低于质量阈值时,网关设备从多个备选视频分片中获取码率大于标识对应的目标码率的目标备选视频分片,去除目标备选视频分片中的目标帧得到码率为目标码率的目标视频分片,目标帧包括B帧或非关键P帧。去掉B帧和非关键P帧后,对视频分片的影响较小,而且能够降低视频分片的码率,便于网络质量较低时,传输视频分片。
可选地,获取与用户设备之间的网络的网络质量,包括:基于网络参数,确定网络质量,网络参数包括以下的一种或多种:
网关设备与用户设备之间的网络的丢包率或丢包数量;网关设备与用户设备之间的网络的传输时延;网关设备与用户设备之间的网络的传输速率;网关设备与用户设备之间的网络的干扰指数;网关设备与视频源设备之间的网络的丢包率或丢包数量。
可选地,网关设备获取与用户设备之间的网络的网络质量,包括:
网关设备获取当前时刻之前的目标时长内,网关设备与用户设备之间的网络的网络质量。此种方式可以获取历史时间段内的网络质量的变化趋势,以便于可以基于该变化趋势来确定目标码率。
或者,网关设备实时获取网关设备与用户设备之间的网络的网络质量。此种方式获取的网络质量,更能够反映当前时刻的网络状态。
可选地,网关设备与用户设备之间的网络为无线局域网。例如可以为无线保真(Wireless Fidelity,WiFi)网络。
第二方面,本申请提供一种视频传输方法,该方法包括:
用户设备接收网关设备发送的视频分片集合,视频分片集合是网关设备基于网关设备与用户设备之间的网络的网络质量获取的,接收到的视频分片集合包括多个目标视频分片;用户设备播放视频分片集合。
用户所播放的视频分片集合包括多个视频分片,且这些视频分片由网关设备基于网络质量获取,进而可以灵活的对用户设备播放的视频分片进行确定,可以避免由于网络波动导致的播放卡顿的问题的发生,可以提升用户设备的播放质量。
可选地,在用户设备接收视频分别集合之前,用户设备向网关设备发送至少两种码率,至少两种码率用于供网关设备获取视频分片集合。也即是用户设备也可以通过向网关设备发送码率的方式来控制视频分片的码率。
第三方面,本申请提供一种视频传输装置,该视频传输装置可以包括至少一个模块,该至少一个模块可以用于实现上述第一方面或者第一方面的各种可能实现提供的视频传输方法。
第四方面,本申请提供一种视频传输装置,该视频传输装置可以包括至少一个模块,该至少一个模块可以用于实现上述第二方面或者第二方面的各种可能实现提供的视频传输方法。
第五方面,本申请提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,该计算机指令指示该计算机设备执行上述第一方面或者第一方面的各种可能实现提供的方法,或者,执行上述第二方面或者第二方面的各种可能实现提供的方法。
第六方面,提供一种视频传输***,包括:网关设备和用户设备,所述网关设备包括第三方面所述视频传输装置,所述用户设备包括第四方面所述视频传输装置。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机存储介质中。计算机设备的处理器可以从计算机存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可能实现提供的方法,或者,使得该计算机设备执行上述第二方面或者第二方面的各种可能实现提供的方法。
第八方面,本申请提供一种芯片,该芯片可以包括可编程逻辑电路和/或程序指令,当该芯片运行时用于实现如第一方面或第二方面任一所述的视频传输方法。
第九方面,本申请提供一种网关设备,包括:处理器和存储器;
所述存储器存储计算机指令;所述处理器执行所述存储器存储的计算机指令,使得所述网关设备执行第一方面或者第一方面的各种可能实现提供的视频传输方法。
第十方面,本申请提供一种用户设备,包括:处理器和存储器;所述存储器存储计算机指令;所述处理器执行所述存储器存储的计算机指令,使得所述用户设备执行第二方面或者第二方面的各种可能实现提供的视频传输方法。
本申请实施例中,网关设备基于网络质量获取视频分片集合,进而网关设备也可以灵活的对用户设备播放的视频分片集合进行确定,可以避免由于网络波动导致的播放卡顿的问题的发生,可以提升用户设备的播放质量。
附图说明
图1是本申请实施例提供的一种视频传输方法所涉及应用环境示意图;
图2是本申请实施例提供的一种视频传输方法的流程示意图;
图3是本申请实施例提供的一种目标时长内的网络质量示意图;
图4是本申请实施例提供的一种获取视频分片集合的流程示意图;
图5是本申请本实施例提供的一种视频分片集合中视频分片和基准码率的对应示意图;
图6是本申请本实施例提供的一种获取多个目标视频分片的流程图;
图7是相关技术提供的一种网关设备向用户设备发送的视频分片集合;
图8是本申请实施例提供的一种视频分片集合的示意图;
图9是本申请实施例提供一种视频传输装置的结构示意图;
图10是本申请实施例提供的一种视频获取模块的结构示意图;
图11是本申请实施例提供的另一种视频获取模块的结构示意图;
图12是本申请实施例提供的一种视频传输装置的结构示意图;
图13是本申请实施例提供的另一种视频传输装置的结构示意图;
图14是本申请实施例提供的一种视频传输设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种视频传输方法所涉及应用环境示意图。该应用环境包括用户设备10、网关设备20以及视频源设备30。
用户设备10和网关设备20之间可以通过有线网络或无线网络连接。例如,用户设备与网关设备之间的网络为局域网。例如,无线局域网,或者,有线局域网。该无线局域网可以为无线保真(Wireless Fidelity,WiFi)网络。网关设备20和视频源设备30之间可以通过有线网络或无线网络连接。
示例的,用户设备10可以包括手机、平板电脑、电视机、笔记本电脑或台式电脑。网关设备20可以包括路由器(如光网络终端(Optical Network Terminal,ONT))、数字用户线(Digital Subscriber Line,DSL)用户驻地设备(Customer-Premises Equipment,CPE)、接入点(Access Point,AP)设备或电缆调制解调器(Cable modem)等。视频源设备30用于向网关设备20提供视频资源。可选地,视频源设备30可以通过广播或者组播的方式向网关设备20提供视频资源。视频源设备30可以为一个服务器或一个服务器集群。
在该应用环境中,用户设备10和网关设备20之间进行视频传输的过程如下:用户设备10可以先确定要播放的视频(如一个短视频、一部电影或一集电视剧)。之后用户设备10可以每隔一定时间间隔(如10秒),基于用户设备10和网关设备20之间的网络状态确定一个码率以及需要播放的视频中视频分片(video segment file)的标识,并向网关设备20发送一个视频分片集合获取请求,该视频分片集合获取请求携带文件列表,该文件列表中可以包括多个视频分片的标识以及视频分片对应的码率。网关设备20在获取该视频分片集合获取请求后,可以基于与用户设备10之间的网络质量获取视频分片集合,并向用户设备10发送该视频分片集合,该视频分片集合包括具有至少两种目标码率的多个目标视频分片。
其中,文件列表可以为m3u8(m3u8是UTF-8编码格式的m3u文件)列表,视频分片的格式可以为传送流(Transport Stream,TS)格式。本申请实施例中所涉及的视频分片,可以包括图像数据以及音频数据,或者,也可以仅包括图像数据,本申请实施例对此不进行限制。
图2是本申请实施例提供的一种视频传输方法的流程示意图。该方法可以应用于图1所示的应用环境中。如图2所示,该方法包括:
S201、用户设备向网关设备发送视频分片集合获取请求。
例如,当用户设备和网关设备之间的网络为WiFi网络时,用户设备可以通过该WiFi网络向网关设备发送视频分片集合获取请求。
该视频分片集合获取请求可以包括用户设备要播放的视频分片集合(该视频分片集合可以由用户操作用户设备来确定,也可以由用户设备基于预设的推荐方式来确定)中多个视频分片的标识以及该多个视频分片的码率。该多个视频分片的码率可以相同,也可以不同。也即是该视频分片集合获取请求中可以包括一种码率,或者,包括至少两种码率。此外,该视频分片集合获取请求中多个视频分片的标识是按照对应的视频分片的播放顺序排列的,或者,该视频分片集合获取请求可以记录有该多个视频分片的标识对应的视频分片的播放顺序。
当视频分片集合获取请求中包括一种码率时,该码率可以为用户设备基于自身的网络质量来确定的码率(例如可以是用户设备基于自适应比特率流式处理(AdaptiveBitrate Streaming,ABR)技术或组播自适应比特率流式处理(multicast AdaptiveBitrate Streaming,mABR)技术确定的码率)。
可选地,该视频分片集合获取请求携带文件列表,用户设备在未来一段时间要播放的多个视频分片的标识以及该多个视频分片的码率可以记录在该文件列表中。例如,视频分片集合获取请求中文件列表包括一种码率时,可以如下表1所示。
表1
标识 码率
0 256kbps
1 256kbps
2 256kbps
3 256kbps
表1中,0、1、2、3、4为视频分片的标识,这些标识对应不同内容的视频分片,且每个标识对应的视频分片的码率均为256kbps,如此,该文件列表包括256kbps这一种码率。
视频分片集合获取请求中文件列表包括至少两种码率时,可以如下表2所示。
表2
Figure BDA0003093958580000061
Figure BDA0003093958580000071
表2中,标识0和3对应的视频分片码率为256kbps,标识1对应的视频分片的码率为64kbps,标识2对应的视频分片的码率为128kbps,如此,该文件列表包括256kbps、64kbps和128kbps这3种码率。
可选地,用户设备可以周期性的向网关设备发送视频分片集合获取请求,该周期的长度可以等于视频分片集合中多个视频分片的播放时长。
S202、网关设备获取与用户设备之间的网络的网络质量。
其中,网络质量是用于反应网关设备获取与用户设备之间的网络状态的一个指标。该网络质量可以由数值(或打分)表示,也可以由档位表示。例如,可以为高或低这两个档位。
可选地,网关设备可以基于至少一个网络参数,来确定网络质量。在一种示例中,当该网络质量由数值表示时,网关设备可以将至少一个网络参数的参数值的加权和作为反映网络质量的数值;或者,网关设备可以将至少一个网络参数的参数值进行归一化处理,得到相同量纲的参数值,之后将处理后的至少一个网络参数的加权和作为反映网络质量的数值。可选地,该网络质量还可以由自适应流分数(Adaptive Streaming Score)来表示,该自适应流分数的范围可以为0-100,数值越大,表明网络质量越好。
在另一种示例中,当该网络质量由档位表示时,可以为每个网络参数设定阈值,将每个网络参数的参数值与对应的阈值进行比较,基于比较结果来确定目标档位。例如,获取低于对应阈值的参数值(或高于对应阈值的参数值)的个数,将该个数与预先设置的多个档位范围进行比较,将该个数所在的档位范围对应的档位确定为目标档位。例如,预先设置的多个档位范围包括低档位范围和高档位范围,若低于对应阈值的参数值的个数位于低档位范围内,则将该低档位范围对应的低档位确定为目标档位。
假设网关设备与用户设备之间的网络为第一网络,网关设备与视频源设备之间的网络为第二网络,则该网络参数可以包括以下一种或多种:
第一种网络参数:第一网络的丢包率或丢包数量。其中,第一网络的丢包率或丢包数量和网络质量负相关。
第二种网络参数:第一网络的传输时延。第一网络的传输时延和网络质量负相关。
第三种网络参数:第一网络的传输速率。第一网络的传输速率和网络质量正相关。
第四种网络参数:第一网络的干扰指数。干扰指数可以用于反应第一网络受到的外界干扰的强度,其与网络质量负相关。
第五种网络参数:第二网络的丢包率或丢包数量。第二网络的网络状态也会对第一网络的网络质量产生影响,而第二网络的丢包率或丢包数量是较为反映第二网络的网络状态的参数,该第二网络的丢包率或丢包数量和网络质量负相关。当网关设备为光网络终端时,可以通过光网络终端的无源光网络(Passive Optical Network,PON)接口来获知第二网络的丢包率或丢包数量。
此外,网络参数还可以包括其它参数,例如网络流量、传输控制协议(Transmission Control Protocol,TCP)连接统计、TCP同步序列标号(SynchronizeSequence Numbers,SYN)/确认字符(Acknowledge character,ACK)时间统计、往返时延(Round Trip Time,RTT)统计、TCP重传超时统计、TCP收到第一个数据包的时间统计、估算服务器响应时间统计、TCP校验和错误(Checksum fail)、错误标题长度(Bad headerlength)、错误数据长度(Bad data length)、重传(Duplicate)统计、失序(Out ofsequence)统计以及超时时间(Timeout)统计等参数中的一种或多种。本申请实施例对网络参数的类型不做限定。
当第一网络为WiFi网络时,网关设备可以通过感知WiFi空口(WiFi空口可以认为是网关设备与用户设备之间的虚拟逻辑端口)的状态(如感知是否存在块确认字符(BlockACK)的丢失)来获取前述第一种至第四种网络参数。
需要说明的是,前述实施例所涉及的A与B“正相关”,是指A和B的变动方向相同,即A增大时,B随之增大,A减小时,B随之减小。A与B“负相关”,是指A和B的变动方向相反,即A增大时,B随之减小,A减小时,B随之增大。其中,A和B为本申请所涉及的名词。
在S202中,网关设备获取网络质量的时机可以有多种,本申请实施例以以下两种可选实现方式为例进行说明:
第一种可选实现方式:网关设备获取当前时刻之前的目标时长内,网关设备与用户设备之间的网络的网络质量。
该当前时刻之前的目标时长(也即是历史时间段)内的网络质量,可以反映网络质量的变化趋势。图3是本申请实施例提供的一种目标时长内的网络质量示意图。如图3所示,该示意图中,横坐标为时间t,纵坐标为网络质量,该目标时长内的网络质量可以由网络质量曲线表示。可以看出,随着时间的变化,该目标时长内的网络质量先变高,后变低。
示例的,前述当前时刻可以为网关设备接收到用户设备发送的视频分片集合获取请求(该请求可以包括上述的文件列表)的时刻,则网关设备可以在接收到用户设备发送的视频分片集合获取请求后,获取接收到该视频分片集合获取请求时之前的目标时长内,网关设备与用户设备之间的网络的网络质量。其中,目标时长可以小于或等于用户设备向网关设备发送视频分片集合获取请求的周期的时长相同。
此种实现方式确定的网络质量,可以反映历史时间段中网络质量的变化趋势,便于后续网关设备基于该变化趋势来确定视频分片的码率。
第二种可选实现方式:网关设备实时获取网关设备与用户设备之间的网络的网络质量。也即是网关设备也可以获取当前时刻与用户设备之间的网络的网络质量。示例的,当前时刻可以为网关设备接收到用户设备发送的视频分片集合获取请求的时刻,则网关设备可以在接收到用户设备发送的视频分片集合获取请求时,获取网关设备与用户设备之间的网络的网络质量。此种实现方式获取的网络质量,更能够反映当前时刻的网络状态,便于后续网关设备基于该实时的网络状态来确定视频分片的码率。
S203、网关设备基于网络质量获取视频分片集合,获取到的视频分片集合包括多个目标视频分片。
可选地,网关设备可以在网络质量较高时,获取码率较高的视频分片集合,以提高用户设备播放的视频的清晰度;在网络质量较低时,获取码率较低的视频分片集合,以降低用户设备播放视频时发生卡顿的风险。图4是本申请实施例提供的一种获取视频分片集合的流程示意图。如图4所示,该过程可以包括:
S2031、网关设备确定基准码率。
基准码率是网关设备获取视频分片集合的码率时所参考的码率。基准码率的获取方式可以有多种,本申请实施例以以下三种可选实现方式为例进行说明。
在第一种实现方式中,网关设备接收用户设备发送的码率,基于用户设备发送的码率确定基准码率。
网关设备将该码率确定为基准码率,使得根据该基准码率以及网关设备的网络质量确定的至少两种目标码率可以与用户设备的网络质量以及网关设备的网络质量均适应性匹配,进而可以降低用户设备在播放视频时发生卡顿的可能性,提升播放质量。
用户设备发送的码率可以包括一种,也可以包括至少两种。当用户设备发送的码率包括一种码率时,网关设备可以直接将该一种码率确定为基准码率。当用户设备发送的码率包括至少两种码率时,网关设备可以基于这至少两种码率来确定基准码率。例如,网关设备可以将这至少两种码率中的一种码率确定为基准码率,或者,可以将这至少两种码率均确定为基准码率。
在一种可选示例中,若网关设备将这至少两种码率中的一种码率确定为基准码率,则根据网络质量的不同,基于用户设备发送的码率确定基准码率的步骤可以包括下面两种情况:
第一种情况:当网络质量低于质量阈值时,网关设备将用户设备发送的码率中的最小的码率确定为基准码率。网络质量低于质量阈值时,表明当前的网络状态较差。网关设备可以将用户设备发送的码率中的最小的码率确定为基准码率,以使得后续网关设备获取视频分片集合的码率时参考该码率,从而可以保证至少部分目标视频分片的码率较小,降低用户设备在播放视频时发生卡顿的可能性。例如:用户设备发送的码率包括64千比特每秒(kbps)、128kbps和256kbps,则网络质量低于质量阈值时,网关设备可以将基准码率确定为64kbps。
本申请实施例中,当该网络质量由数值表示时,质量阈值可以是一个预先设置的数值,其可以根据预先进行的网络通信测试得到。例如,当网络质量低于某个阈值时,用户设备播放视频卡顿的现象较为严重,则可以将该阈值确定为质量阈值。
或者,当该网络质量由档位表示时,该质量阈值可以由多个档位中的阈值档位表示,当获取的网络质量的档位高于阈值档位时,确定网络质量大于质量阈值,当获取的网络质量的档位低于阈值档位时,则确定网络质量小于质量阈值。例如,网络质量可以包括高、中、低三个档位,则该质量阈值为高和低之间的中这个档位。当网络质量为高档位时,则确定网络质量大于质量阈值,当网络质量为低档位时,则确定网络质量小于质量阈值。
第二种情况:当网络质量高于质量阈值时,网关设备将用户设备发送的码率中的最大的码率确定为基准码率。网络质量高于质量阈值时,表明当前的网络状态较好。网关设备可以将用户设备发送的码率中的最大的码率确定为基准码率,使得后续网关设备获取视频分片集合的码率时参考的该码率,从而保证至少部分目标视频分片的码率较大,便于在网络状态较好时,实现通信资源的有效利用,以提高用户设备所播放视频的清晰度,提升用户体验。例如:用户设备发送的码率包括64kbps、128kbps和256kbps,则网络质量高于质量阈值时,网关设备可以将基准码率确定为256kbps。
此外,网络质量还可以等于质量阈值,此种情况下,网关设备可以将用户设备发送的码率中的中位数的码率或者平均码率确定为基准码率。
需要说明的是,本申请实施例中,所涉及的码率以64kbps、128kbps和256kbps为例进行说明,但码率还可以为其它,如1兆比特每秒(Mbps)、1.5Mbps、15Mbps和18Mbps等。
在另一种可选示例中,若网关设备将这至少两种码率均确定为基准码率。则网关设备可以将这至少两种码率与网关设备要发送的视频分片集合中不同的视频分片进行对应。例如,视频分片集合中的不同的一个或多个视频分片分别对应用户设备发送的不同的码率,如此后续过程中,网关设备可以基于网络质量以及每个视频分片对应的基准码率来确定每个视频分片的目标码率。
图5是本申请实施例提供的一种视频分片集合中视频分片和基准码率的对应示意图。如图5所示,视频分片集合中,具有按照播放顺序排列的多个视频分片1、2、3、4、5、6、7、8和9,这多个视频分片的标识不同。其中,视频分片1和2对应的基准码率为64kbps,视频分片3、4和5对应的基准码率为128kbps,视频分片6对应的基准码率为64kbps,视频分片3、4和5对应的基准码率为256kbps。
在第二种实现方式中,网关设备将上次向用户设备发送的最后一个视频分片的目标码率确定为基准码率。该上次向用户设备发送的最后一个视频分片,可以是指网关设备在本次向用户设备发送的视频分片集合之前,向用户设备发送的视频分片集合中的最后一个视频分片。该最后一个视频分片是与本次要发送的视频分片集合发送时间最接近的视频分片,将该最后一个视频分片的码率确定为基准码率,使得后续网关设备获取视频分片集合的码率时参考该码率,从而提高连续的两个视频分片集合的码率的关联性和连贯性,提升播放质量。
在第三种实现方式中,网关设备将预设的码率确定为基准码率。该预设的码率可以是用户在网关设备中预先配置的,也可以是网关设备根据网络环境预先确定的码率。该网络环境包括通信环境和/或自然环境。
S2032、网关设备基于网络质量和基准码率确定至少两种目标码率。
示例的,该至少两种目标码率包括基于基准码率确定的第一目标码率,以及基于基准码率和网络质量确定的第二目标码率。第一目标码率为视频分片集合中至少一个目标视频分片的码率,第二目标码率也为视频分片集合中另外的至少一个目标视频分片的码率。其中,第一目标码率和第二目标码率可以不同。此外,该至少两种目标码率还可以包括其它基于基准码率确定的目标码率,和/或,其它基于基准码率和网络质量确定的目标码率。
如前所述,该基准码率可以作为当前要发送的视频分片集合中视频分片的码率的基准,以便于对当前要发送的视频分片集合中视频分片的码率进行控制。
在第一种可选示例中,当网关设备将一种或多种码率确定为基准码率时,则根据网络质量的不同,该确定至少两种目标码率的过程可以包括:
网关设备在基于网络质量和基准码率确定至少两种目标码率时,可以将基准码率作为第一目标码率,当网络质量低于质量阈值时,使第二目标码率小于该基准码率(也即是小于第一目标码率)。例如:基准码率确定为128kbps,当网络质量低于质量阈值时,网关设备可以将至少两种码率中的第二目标码率确定为64kbps。另外,若该至少两种目标码率还包括其它目标码率,该其它目标码率也可以小于基准码率。在此基础上,后续网关设备获取的视频分片集合中的目标视频分片中,一部分视频分片的码率为基准码率,另一部分视频分片的码率小于基准码率。如此可以保证至少部分目标视频分片的码率较小,便于在网络状态较差时,向用户设备有效传输目标视频分片。
网关设备在基于网络质量和基准码率确定至少两种目标码率时,可以将基准码率作为第一目标码率,当网络质量高于质量阈值时,使第二目标码率大于基准码率(也即是大于第一目标码率)。例如:基准码率确定为128kbps,当网络质量低于质量阈值时,网关设备可以将第二目标码率确定为256kbps。另外,若该至少两种目标码率还包括其它目标码率,该其它目标码率也可以大于该基准码率。在此基础上,后续网关设备获取的视频分片集合中的目标视频分片中,一部分视频分片的码率为基准码率,另一部分视频分片的码率大于基准码率。如此可以保证至少部分目标视频分片的码率较大,便于在网络状态较好时,实现通信资源的有效利用,提升目标码率的目标视频分片在播放时的清晰度。
前述第一种可选示例中,均以第一目标码率与基准码率相同为例进行说明,实际实现时,第一目标码率也可以与基准码率不同,其基于网络质量和基准码率确定。例如,当网络质量低于质量阈值时,第一目标码率小于基准码率;当网络质量高于质量阈值时,第一目标码率大于基准码率。
在第二种可选示例中,网关设备将至少两种码率确定为基准码率时,则当网络质量低于质量阈值时,基于基准码率确定的第一目标码率和基于基准码率以及网络质量确定的第二目标码率均小于基准码率。如此可以使得至少两种目标码率整体较低,便于在网络质量较低时,有效的传输后续得到的视频分片。例如,视频分片集合前两个视频分片对应的基准码率为64kbps,第二个和第三个视频分片对应的基准码率为128kbps,则当网络质量低于质量阈值时,可以确定出前两个视频分片对应的第一目标码率为32kbps,第二个和第三个视频分片对应的第二目标码率为64kbps。此外,若该至少两种目标码率还包括其它目标码率,该其它目标码率也可以小于基准码率。
当网络质量高于质量阈值时,第一目标码率和第二目标码率均大于基准码率。例如,视频分片集合前两个视频分片对应的基准码率为64kbps,第二个和第三个视频分片对应的基准码率为128kbps,则当网络质量低于质量阈值时,可以确定出前两个视频分片对应的第一目标码率为128kbps,第二个和第三个视频分片对应的第二目标码率为256kbps。此外,若该至少两种目标码率还包括其它目标码率也可以大于基准码率。
需要说明的是,当网关设备获得的网络质量为当前时刻之前的目标时长内的网络质量时,网关设备在将网络质量与质量阈值进行比较的方法可以包括一下几种:
第一种,质量阈值的个数为一,则网关设备可以先确定该目标时长内的网络质量的平均值,并将该平均值与质量阈值进行比较,当该平均值大于质量阈值时,确定网络质量大于质量阈值,当该平均值小于质量阈值时,确定网络质量小于质量阈值;或者,可以将该目标时长内的网络质量的最小值与质量阈值进行比对,当该最小值大于该质量阈值时,确定网络质量大于质量阈值,当该最小值小于质量阈值时,确定网络质量小于质量阈值。
第二种,质量阈值包括目标时长内的一组质量阈值。该组质量阈值也可以表示为一条质量阈值曲线,可以在网络质量所表示的网络质量曲线整***于质量阈值曲线上方时,确定网络质量大于质量阈值,在网络质量曲线整***于质量阈值曲线下方,或者网络质量曲线与质量阈值曲线相交时,确定网络质量小于质量阈值。前述步骤S2022至S2023提供了一种基于网络质量和基准码率确定至少两种目标码率的方式。本申请在实际实现时,网关设备还可以仅基于网络质量来确定至少两种目标码率。可选地,网关设备可以预设***率和网络质量的对应列表。例如,该对应列表可以如表3所示:
表3
Figure BDA0003093958580000111
Figure BDA0003093958580000121
该列表中存储有多个对应关系(表1示出了3个对应关系),每个对应关系记录了至少两种目标码率(表3示出的每个对应关系中,每个网络质量对应的码率可以包括第一目标码率和第二目标码率)以及该至少两种目标码率对应的网络质量,且任意两个对应关系中的至少两种目标码率不完全相同。如此便可以基于网络质量来确定至少两种目标码率。
网关设备所确定的至少两种目标码率,为后续向用户设备发送的多个目标视频分片的码率。当上述网关设备获取的网络质量为历史时间段的网络质量时,若该历史时间段的长度和用户设备向网关设备请求视频分片的周期的长度相同,则该至少两种目标码率的变化趋势可以与该历史时间段中网络质量的变化趋势相同或相近。进而后续向用户设备发送的多个目标视频分片的码率的变化趋势也和该历史时间段中网络质量的变化趋势相同或相近,如此便可以基于网络质量的变化趋势来传输视频分片,提高视频分片的传输灵活性。
前述S2032中,均以第二目标码率基于基准码率和网络质量确定为例进行说明。本申请实施例中,第二目标码率还可以基于第一目标码率和网络质量确定。例如,当网络质量低于质量阈值时,使第二目标码率小于第一目标码率;当网络质量高于质量阈值时,使第二目标码率大于第一目标码率。
S2033、网关设备基于该至少两种目标码率和多个目标视频分片的标识获取多个目标视频分片。
其中,目标视频分片的标识可以由用户设备提供,目标视频分片的标识可以用于确定目标视频分片的内容,标识相同的视频分片的内容相同。
可选地,图6是本申请实施例提供的一种获取多个目标视频分片的流程图,如图6所示,S2033中网关设备获取多个目标视频分片的过程包括:
S20331、对于每个目标视频分片的标识,网关设备基于该标识获取多个备选视频分片,多个备选视频分片的标识相同,码率不同。
视频源设备可以通过组播(Multicast)或者广播(Broadcast)的方式发送视频分片,网关设备可以基于视频源设备提供的视频分片建立多个备选分片集合,每个备选分片集合对应一个标识,每个备选分片集合包括多个标识相同,但码率不同的视频分片。对于每个目标视频分片的标识,网关设备基于该标识获取相应的备选分片集合,并将该备选分片集合中的视频分片作为该标识对应的多个备选视频分片。
示例的,网关设备具有视频编解码功能,例如,视频动态编解码功能,其能够进行各种码率的视频分片的解码、编码和封装。假设第一视频分片为网关设备接收的视频源设备发送的任一视频分片,则基于视频源设备提供的视频分片建立多个备选分片集合的过程包括:网关设备通过对该第一视频分片进行编解码得到该第一视频分片对应的第一备选分片集合,该多个视频分片的标识与该第一视频分片的标识相同,该第一备选分片集合中的多个视频分片可以包括该第一视频分片。可选地,视频源设备提供的视频分片的码率可以为视频源设备所支持的最大码率,如此可以保证网关设备高效地编解码,从而实现多个备选分片集合的建立。
S20332、网关设备基于获取的多个备选视频分片,确定目标视频分片。
在一种可选方式中,网关设备从多个备选视频分片中获取码率为标识对应的目标码率的备选视频分片作为目标视频分片。
例如,标识为x1的目标视频分片的目标码率为128kbps。网关设备获取的标识为x1的备选视频分片包括码率为64kbps、128kbps和256kbps的三个备选视频分片,则网关设备可以将其中128kbps的备选视频分片确定为目标视频分片。
在另一种可选地方式中,当网络质量低于质量阈值时,网关设备可以通过重新编解码的方式获取目标视频分片。例如,从多个备选视频分片中获取码率大于标识对应的目标码率的目标备选视频分片,去除目标备选视频分片中的目标帧得到码率为目标码率的目标视频分片,该目标帧包括B帧或非关键P帧。
其中,I帧、P帧和B帧是视频编码时所涉及到的三种视频帧。I帧为描述了图像背景和运动主体的关键帧。I帧可以不参考其它画面生成,且I帧是P帧和B帧的参考帧(I帧的质量直接影响到相邻各帧的质量)。P帧为前向预测编码帧,P帧是以其前面的I帧或P帧为参考帧,基于预定的算法生成的帧。B帧是由前面的I或P帧和后面的P帧来进行预测得到的帧。P帧包括关键P帧和非关键P帧,关键P帧和后续帧的关联较大,非关键P帧和后续帧的关联较小,进而删除非关键P帧对后续视频画面的影响也会较小,肉眼可能难以察觉。可选地,关键P帧与后续关联的帧的关联程度大于预设阈值,非关键P帧与后续关联的帧的关联程度小于这个预设阈值。该关联程度可以与关联帧数正相关。
可以看出,去掉B帧和非关键P帧后,对视频分片的影响较小,因而在网络质量较差时,可以去除目标备选视频分片中的部分或全部的B帧和非关键P帧,以降低视频分片的码率。便于网络质量较低时传输视频分片,降低传输时延,避免用户设备播放视频时发生卡顿等问题。
可选地,网关设备去除目标备选视频分片中的目标帧,得到码率为目标码率的目标视频分片的过程可以包括:
A1、对目标备选视频分片进行解码,得到目标备选视频数据。
A2、对目标备选视频数据重新进行编码,以去除目标帧。
A3、对去除目标帧的目标备选视频数据进行重新封装,得到目标码率的目标视频分片。
可选地,网关设备可以基于与用户设备之间的约定的目标视频编码方式来去除目标备选视频分片中的目标帧。该目标视频编码方式可以支持多种预设码率,网关设备可以去除目标备选视频分片中的目标帧,以使得到的目标视频分片的目标码率为多种预设码率中的一种。如此,便于该目标视频分片的传输以及在用户设备侧的播放。例如,目标视频编码方式可以支持的预设码率包括64kbps、128kbps和256kbps,目标备选视频分片的码率为128kbps,则网关设备在去除其目标帧后,得到的目标视频分片的目标码率为64kbps。
可选地,当网络质量低于质量阈值,且网关设备获取的多个备选视频分片的码率均大于目标码率时,网关设备可以获取码率大于标识对应的目标码率的目标备选视频分片,并执行上述A2,去除该目标备选视频分片的目标帧,进行降帧处理。但是,若该码率大于标识对应的目标码率的目标备选视频分片为重传的视频分片,则网关设备可以不去除该目标备选视频分片的目标帧,以保证数据传输的稳定性。
需要说明的是,前述S2032和S2033是以网关设备基于网络质量和基准码率确定至少两种目标码率为例进行说明的,如此,视频分片集合中码率的使用灵活性较高。实际实现时,网关设备也可以基于网络质量和基准码率确定一种目标码率。例如,假设网关设备将一种码率确定为基准码率,则当网络质量低于质量阈值时,网关设备将小于该基准码率的码率确定为一种目标码率;当网络质量高于质量阈值时,网关设备将大于该基准码率的码率确定为一种目标码率。假设网关设备将至少两种码率确定为基准码率,则当网络质量低于质量阈值时,网关设备将小于或等于基准码率中最小码率的码率确定为一种目标码率;当网络质量高于质量阈值时,网关设备将大于或等于基准码率中最大码率的码率确定为一种目标码率。相应的,网关设备获取多个目标视频分片的过程参考前述S20331至S20332,本申请实施例对此不做赘述。
S204、网关设备向用户设备发送视频分片集合。
网关设备可以通过单播(Unicast)的方式向用户设备发送上述视频分片集合。
网关设备可以通过周期性地执行S201至S204来向用户设备发送视频分片集合,该周期可以为视频分片集合的播放时长。例如,每个视频分片集合的播放时长为10秒,则网关设备可以通过每隔10秒执行一次S201至S204来向用户设备发送一次视频分片集合。
一种用户设备发生卡顿的情况为:网关设备在第n次向用户设备发送视频分片集合时,用户设备正在播放的视频分片集合可以为网关设备第n-1次向用户设备发送的视频分片集合。但若由于网络的原因,网关设备还未能将第n次向用户设备发送的视频分片集合发送完成,用户设备已经将第n-1次向用户设备发送的视频分片集合播放完毕,则用户设备会发生卡顿等问题。其中,n为大于1的整数。相关技术中,难以对一个周期发送的视频分片集合中的视频分片的码率进行调整,一个周期发送的视频分片集合中的视频分片的码率是一个固定值。如图7所示,图7是相关技术提供的一种网关设备向用户设备发送的视频分片集合,该视频分片集合具有按照播放顺序f排列的9个视频分片,分别为视频分片1、2、3、4、5、6、7、8和9,这多个视频分片的标识不同。其中,这9个视频分片的码率均为128kbps,无法基于网络质量的改变而改变,灵活性较差。且仅能够在一个周期发送的视频分片集合发送完成后,再根据用户设备发送的码率来调整视频分片的码率。
但本申请实施例提供的方法,一个周期发送的视频分片集合中的视频分片的码率可以包括多种不同的码率,该码率可以随着网络质量的变化而变化,灵活性较高。
S205、用户设备播放视频分片集合。
用户设备接收到网关设备发送的视频分片集合后,可以依次播放视频分片集合中的多个视频分片。该用户设备支持对不同码率的视频分片进行解码以及播放。例如,用户设备可以支持对不同码率的TS格式的文件进行解码以及播放。
由于该视频分片集合中的视频分片具有至少两种码率,因而用户设备所播放的视频的码率也会在播放的过程中发生变化。例如,用户设备接收到网关设备发送的视频分片集合可以如图8所示,图8是本申请实施例提供的一种视频分片集合的示意图,该视频分片集合中,具有按照播放顺序f排列的视频分片1、2、3、4、5、6、7、8和9,这多个视频分片的标识不同。其中,视频分片1和2的码率为64kbps,视频分片3、4和5的码率为256kbps,视频分片6的码率为128kbps,视频分片7、8和9的码率为64kbps。可以看出,该视频分片集合中,视频分片的码率变化趋势与图3所示的网络质量的变化趋势类似,如此可以降低用户设备播放视频分片集合时,发生卡顿的风险。
传统的视频传输方法中,用户设备每次向网关设备发送的视频分片获取请求中仅携带一种码率,每次请求的码率单一,码率的使用灵活性低。
参考前述S201,本申请实施例中,用户设备每次向网关设备发送的视频分片获取请求可以包括至少两种码率,每次请求的码率种类不同,码率的使用灵活性高。其中,用户设备确定至少两种码率的方式可以参考前述网关设备确定至少两种目标码率的方式。示例的,用户设备获取与网关设备之间的网络的网络质量,基于该网络质量确定至少两种码率。可选地,用户设备基于该网络质量和基准码率确定至少两种码率。前述网络质量的确定方式可以参考S202,与S202不同的是,反映网络质量的网络参数为用户设备可以获取的网络参数,如传输速率。前述基于该网络质量和基准码率确定至少两种码率的方式可以参考S2032。另外,用户设备确定基准码率的方式与前述网关设备确定基准码率的方式不同。示例的,用户设备将上次向网关设备发送的最后一个视频分片的标识的码率确定为基准码率,或者,将预设的码率确定为基准码率。
综上所述,本申请实施例提供的视频传输方法,网关设备基于网络质量获取多个视频分片,进而可以灵活的对用户设备播放的视频分片进行确定,可以避免由于网络波动导致的播放卡顿的问题的发生,从而提升用户设备的播放质量。
传统的视频传输方法中,网关设备根据用户设备的请求直接获取该请求携带的码率的多个视频分片,并将该多个视频分片发送至用户设备,而不考虑网关设备和用户设备之间的网络质量,这可能使得网关设备难以有效的将多个视频分片发送至用户设备,进而导致用户设备播放视频卡顿。另外,传统的视频传输方法中,由于用户设备每次向网关设备发送的视频分片获取请求中仅携带一种码率,相应的,网关设备向用户设备发送的视频分片集合也仅包括一种码率的多个视频分片。视频分片集合的码率单一,码率的使用灵活性低。
本申请实施例中,网关设备可以基于网络质量对于视频传输的影响,来获取向用户设备发送的视频分片集合,进而提升该视频分片集合有效传输至用户设备的概率。在此种情况下,用户设备向网关设备发送的视频分片获取请求中的码率,也可以为用户设备基于网络质量确定的码率,如此便可以通过用户设备以及网关设备两端共同基于网络质量来确定视频分片集合中的码率,进一步提升该视频分片集合有效传输并播放的概率。
另外,向用户设备发送的视频分片集合也包括至少两种目标码率的多个目标视频分片。视频分片集合的码率种类不同,码率的使用灵活性高。
并且,前述实施例中,当网络质量低于质量阈值时,网关设备确定出的目标码率至少部分小于基准码率(如第二目标码率小于基准码率)。如此后续获得至少部分码率较小的目标视频分片,进而可以便于网关设备在网络质量较差时,将目标视频分片有效传输至用户设备。
当网络质量高于质量阈值时,网关设备确定出的目标码率至少部分大于基准码率(如第二目标码率大于基准码率)。网络质量高于质量阈值时,表明网络状态较好。此时可以使得后续获得至少部分码率较高的目标视频分片,进而在网络状态良好的时候进一步提高目标视频分片的传输效率,实现通信资源的有效利用。
由此可知,本申请实施例提供的视频传输方法,能够基于网络质量灵活确定基准码率,并基于基准码率,灵活确定目标码率,从而实现视频分片的灵活有效传输。
需要说明的是,本申请实施例提供的视频传输方法步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
图9是本申请实施例提供一种视频传输装置的结构示意图,该装置90包括:质量获取模块901,用于网关设备获取与用户设备之间的网络的网络质量;视频获取模块902,用于网关设备基于网络质量获取视频分片集合,获取到的视频分片集合包括多个目标视频分片;发送模块903,用于向用户设备发送视频分片集合。
综上所述,本申请实施例提供的视频传输装置,基于网络质量获取包括多个视频分片的视频分片集合,进而可以灵活的对用户设备播放的视频分片进行确定,可以避免由于网络波动导致的播放卡顿的问题的发生,从而提升用户设备的播放质量。
可选地,如图10所示,图10是本申请实施例提供的一种视频获取模块的结构示意图,视频获取模块902,包括:目标码率确定单元9021,用于基于网络质量和基准码率确定至少两种目标码率,至少两种目标码率包括基于基准码率确定的第一目标码率,以及基于基准码率和网络质量确定的第二目标码率;分片获取单元9022,用于基于至少两种目标码率和多个目标视频分片的标识获取具有至少两种目标码率的多个目标视频分片。
如图11所示,图11是本申请实施例提供的另一种视频获取模块的结构示意图。可选地,视频获取模块902还包括:第一基准确定单元9023,用于接收用户设备发送的码率,基于用户设备发送的码率确定基准码率;第二基准确定单元9024,用于将上次向用户设备发送的最后一个视频分片的目标码率确定为基准码率。
可选地,用户设备发送的码率包括至少两种码率,第一基准确定单元9023,用于:当网络质量低于质量阈值时,网关设备将用户设备发送的码率中的最小的码率确定为基准码率;当网络质量高于质量阈值时,网关设备将用户设备发送的码率中的最大的码率确定为基准码率。
可选地,第一目标码率与基准码率相同;在一种可选地方式中,当网络质量低于质量阈值时,第二目标码率小于基准码率;在另一种可选地方式中,当网络质量高于质量阈值时,第二目标码率大于基准码率。
可选地,目标码率确定单元9021,用于:将至少两种码率作为基准码率;当网络质量低于质量阈值时,第一目标码率和第二目标码率均小于基准码率;当网络质量高于质量阈值时,第一目标码率和第二目标码率均大于基准码率。
可选地,分片获取单元9022,用于:对于每个目标视频分片的标识,基于标识获取多个备选视频分片,多个备选视频分片的标识相同,码率不同;从多个备选视频分片中获取码率为标识对应的目标码率的备选视频分片作为目标视频分片,或者,当网络质量低于质量阈值时,从多个备选视频分片中获取码率大于标识对应的目标码率的目标备选视频分片,去除目标备选视频分片中的目标帧得到码率为目标码率的目标视频分片,目标帧包括B帧或非关键P帧。
可选地,质量获取模块901,用于:基于网络参数,确定网络质量,网络参数包括以下的一种或多种:网关设备与用户设备之间的网络的丢包率或丢包数量;网关设备与用户设备之间的网络的传输时延;网关设备与用户设备之间的网络的传输速率;网关设备与用户设备之间的网络的干扰指数;网关设备与视频源设备之间的网络的丢包率或丢包数量。
可选地,质量获取模块901,用于:获取当前时刻之前的目标时长内,网关设备与用户设备之间的网络的网络质量;或者,实时获取网关设备与用户设备之间的网络的网络质量。
可选地,网关设备与用户设备之间的网络为无线局域网。
图12是本申请实施例提供的一种视频传输装置120的结构示意图,该装置120包括:接收模块121,用于接收网关设备发送的视频分片集合,视频分片集合是网关设备基于网关设备与视频传输装置120之间的网络的网络质量获取的,接收到的视频分片集合包括多个目标视频分片;播放模块122,用于播放视频分片集合。
综上所述,本申请实施例提供的视频传输装置,网关设备基于网络质量获取包括多个视频分片的视频分片集合,进而可以灵活的对用户设备播放的视频分片进行确定,可以避免由于网络波动导致视频分片集合播放时卡顿的问题的发生,从而提升用户设备的播放质量。
可选地,如图13所示,图13是本申请实施例提供的另一种视频传输装置的结构示意图,该视频传输装置120还包括:码率发送模块123,用于向网关设备发送至少两种码率,至少两种码率用于供网关设备获取视频分片集合。
图14是本申请实施例提供的一种视频传输设备的结构示意图,该视频传输设备可以是上述实施例所涉及的网关设备或者用户设备,该视频传输设备140包括:处理器141、存储器142、通信接口143和总线144。
视频传输设备140中,处理器141的数量可以是一个或多个,图10仅示意了其中一个处理器141。可选地,处理器141,可以是中央处理器(Central Processing Unit,CPU)。如果网关设备具有多个处理器141,多个处理器141的类型可以不同,或者可以相同。可选地,网关设备的多个处理器141还可以集成为多核处理器。
存储器142存储计算机指令和数据;存储器142可以存储实现本申请提供的视频传输方法所需的计算机指令和数据,例如,存储器142存储用于实现视频传输方法的步骤的指令。存储器142可以是以下存储介质的任一种或任一种组合:非易失性存储器(例如只读存储器(ROM)、固态硬盘(SSD)、硬盘(HDD)、光盘),易失性存储器。
通信接口143可以是以下器件的任一种或任一种组合:网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
通信接口143用于网关设备与其它计算机设备或者终端进行数据通信。
总线144可以将处理器141与存储器142和通信接口143连接。这样,通过总线144,处理器141可以访问存储器142,还可以利用通信接口143与其它计算机设备或者终端进行数据交互。
可选地,当该视频传输设备为网关设备时,处理器141还具有包括视频处理功能,可以对视频分片进行解码、编码以及封装。当该视频传输设备为用户设备时,处理器141还支持对各种码率的视频分片进行解码和播放。
在本申请中,视频传输设备执行存储器142中的计算机指令,使得视频传输设备140实现本申请提供的视频传输方法。
本申请实施例还提供一种视频传输***,该视频传输***包括本申请实施例提供的网关设备和用户设备。该视频传输***还可以包括视频源设备。该视频传输***的结构可以参考前述图1中应用环境的结构,本申请实施例对此不做赘述。
在示例性实施例中,还提供了一种包括指令的非临时性计算机存储介质,例如包括指令的存储器,上述指令可由视频源设备的处理器执行以完成本申请各个实施例所示的视频传输方法。例如,该非临时性计算机存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
需要说明的是:上述实施例提供的视频传输装置在实现视频传输方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频传输装置与视频传输方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (24)

1.一种视频传输方法,其特征在于,所述方法包括:
网关设备获取与用户设备之间的网络的网络质量;
所述网关设备基于所述网络质量获取视频分片集合,获取到的所述视频分片集合包括多个目标视频分片;
所述网关设备向所述用户设备发送所述视频分片集合。
2.根据权利要求1所述的方法,其特征在于,所述网关设备基于所述网络质量获取视频分片集合,包括:
所述网关设备基于所述网络质量和基准码率确定至少两种目标码率,所述至少两种目标码率包括基于所述基准码率确定的第一目标码率,以及基于所述基准码率和所述网络质量确定的第二目标码率;
所述网关设备基于所述至少两种目标码率和所述多个目标视频分片的标识获取具有所述至少两种目标码率的所述多个目标视频分片。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述网关设备接收所述用户设备发送的码率,基于所述用户设备发送的码率确定所述基准码率;
或者,所述网关设备将上次向所述用户设备发送的最后一个视频分片的目标码率确定为所述基准码率。
4.根据权利要求3所述的方法,其特征在于,所述用户设备发送的码率包括至少两种码率,所述基于所述用户设备发送的码率确定所述基准码率,包括:
当所述网络质量低于质量阈值时,所述网关设备将所述用户设备发送的码率中的最小的码率确定为所述基准码率;
当所述网络质量高于所述质量阈值时,所述网关设备将所述用户设备发送的码率中的最大的码率确定为所述基准码率。
5.根据权利要求2至4任一所述的方法,其特征在于,所述第一目标码率与所述基准码率相同;
当所述网络质量低于质量阈值时,所述第二目标码率小于所述基准码率;
当所述网络质量高于所述质量阈值时,所述第二目标码率大于所述基准码率。
6.根据权利要求4所述的方法,其特征在于,所述网关设备基于所述网络质量和基准码率确定至少两种目标码率,包括:
所述网关设备将所述至少两种码率作为基准码率;
当所述网络质量低于质量阈值时,所述第一目标码率和所述第二目标码率均小于所述基准码率;
当所述网络质量高于所述质量阈值时,所述第一目标码率和所述第二目标码率均大于所述基准码率。
7.根据权利要求2至6任一所述的方法,其特征在于,所述网关设备基于所述至少两种目标码率和所述多个目标视频分片的标识获取具有所述至少两种目标码率的所述多个目标视频分片,包括:
对于每个所述目标视频分片的标识,所述网关设备基于所述标识获取多个备选视频分片,所述多个备选视频分片的标识相同,码率不同;
所述网关设备从所述多个备选视频分片中获取码率为所述标识对应的目标码率的所述备选视频分片作为所述目标视频分片,
或者,当所述网络质量低于质量阈值时,所述网关设备从所述多个备选视频分片中获取码率大于所述标识对应的目标码率的目标备选视频分片,去除所述目标备选视频分片中的目标帧得到码率为所述目标码率的目标视频分片,所述目标帧包括B帧或非关键P帧。
8.根据权利要求1至7任一所述的方法,其特征在于,所述网关设备获取与用户设备之间的网络的网络质量,包括:
所述网关设备获取当前时刻之前的目标时长内,所述网关设备与用户设备之间的网络的网络质量;
或者,所述网关设备实时获取所述网关设备与用户设备之间的网络的网络质量。
9.一种视频传输方法,其特征在于,所述方法包括:
用户设备接收网关设备发送的视频分片集合,所述视频分片集合是所述网关设备基于所述网关设备与所述用户设备之间的网络的网络质量获取的;
所述用户设备播放所述视频分片集合。
10.根据权利要求9所述的方法,其特征在于,在所述用户设备接收所述视频分别集合之前,所述方法还包括:
所述用户设备向所述网关设备发送至少两种码率,所述至少两种码率用于供所述网关设备获取所述视频分片集合。
11.一种视频传输装置,其特征在于,所述视频传输装置包括:
质量获取模块,用于获取与用户设备之间的网络的网络质量;
视频获取模块,用于基于所述网络质量获取视频分片集合,获取到的所述视频分片集合包括多个目标视频分片;
发送模块,用于向所述用户设备发送所述视频分片集合。
12.根据权利要求11所述的视频传输装置,其特征在于,所述视频获取模块,包括:
目标码率确定单元,用于基于所述网络质量和基准码率确定至少两种目标码率,所述至少两种目标码率包括基于所述基准码率确定的第一目标码率,以及基于所述基准码率和所述网络质量确定的第二目标码率;
分片获取单元,用于基于所述至少两种目标码率和所述多个目标视频分片的标识获取具有所述至少两种目标码率的所述多个目标视频分片。
13.根据权利要求12所述的视频传输装置,其特征在于,所述视频获取模块还包括:
第一基准确定单元,用于接收所述用户设备发送的码率,基于所述用户设备发送的码率确定所述基准码率;
第二基准确定单元,用于将上次向所述用户设备发送的最后一个视频分片的目标码率确定为所述基准码率。
14.根据权利要求13所述的视频传输装置,其特征在于,所述用户设备发送的码率包括至少两种码率,所述第一基准确定单元,用于:
当所述网络质量低于质量阈值时,将所述用户设备发送的码率中的最小的码率确定为所述基准码率;
当所述网络质量高于所述质量阈值时,将所述用户设备发送的码率中的最大的码率确定为所述基准码率。
15.根据权利要求12至14任一所述的视频传输装置,其特征在于,所述第一目标码率与所述基准码率相同;
当所述网络质量低于质量阈值时,所述第二目标码率小于所述基准码率;
当所述网络质量高于所述质量阈值时,所述第二目标码率大于所述基准码率。
16.根据权利要求14所述的视频传输装置,其特征在于,所述目标码率确定单元,用于:
将所述至少两种码率作为基准码率;
当所述网络质量低于质量阈值时,所述第一目标码率和所述第二目标码率均小于所述基准码率;
当所述网络质量高于所述质量阈值时,所述第一目标码率和所述第二目标码率均大于所述基准码率。
17.根据权利要求12至16任一所述的视频传输装置,其特征在于,所述分片获取单元,用于:
对于每个所述目标视频分片的标识,基于所述标识获取多个备选视频分片,所述多个备选视频分片的标识相同,码率不同;
从所述多个备选视频分片中获取码率为所述标识对应的目标码率的所述备选视频分片作为所述目标视频分片,
或者,当所述网络质量低于质量阈值时,从所述多个备选视频分片中获取码率大于所述标识对应的目标码率的目标备选视频分片,去除所述目标备选视频分片中的目标帧得到码率为所述目标码率的目标视频分片,所述目标帧包括B帧或非关键P帧。
18.根据权利要求11至17任一所述的视频传输装置,其特征在于,所述质量获取模块,用于:
获取当前时刻之前的目标时长内,与用户设备之间的网络的网络质量;
或者,实时获取与用户设备之间的网络的网络质量。
19.一种视频传输装置,其特征在于,所述视频传输装置包括:
接收模块,接收网关设备发送的视频分片集合,所述视频分片集合是所述网关设备基于所述网关设备与所述视频传输装置之间的网络的网络质量获取的,接收到的所述视频分片集合包括多个目标视频分片;
播放模块,用于播放所述视频分片集合。
20.根据权利要求19所述的视频传输装置,其特征在于,所述视频传输装置还包括:
码率发送模块,用于向所述网关设备发送至少两种码率,所述至少两种码率用于供所述网关设备获取所述视频分片集合。
21.一种视频传输***,其特征在于,包括:网关设备和用户设备,所述网关设备包括权利要求11至18任一所述视频传输装置,所述用户设备包括权利要求19或20所述视频传输装置。
22.一种网关设备,其特征在于,包括:
处理器和存储器;
所述存储器存储计算机指令;所述处理器执行所述存储器存储的计算机指令,使得所述网关设备执行权利要求1至8任一所述的视频传输方法。
23.一种用户设备,其特征在于,包括:
处理器和存储器;
所述存储器存储计算机指令;所述处理器执行所述存储器存储的计算机指令,使得所述用户设备执行权利要求9或10所述的视频传输方法。
24.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至8中任一项所述的视频传输方法,或者,实现如权利要求9或10所述的视频传输方法。
CN202110604743.XA 2021-05-31 2021-05-31 视频传输方法、装置、设备、***以及计算机存储介质 Pending CN115484505A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110604743.XA CN115484505A (zh) 2021-05-31 2021-05-31 视频传输方法、装置、设备、***以及计算机存储介质
PCT/CN2022/092470 WO2022252953A1 (zh) 2021-05-31 2022-05-12 视频传输方法、装置、设备、***以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604743.XA CN115484505A (zh) 2021-05-31 2021-05-31 视频传输方法、装置、设备、***以及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115484505A true CN115484505A (zh) 2022-12-16

Family

ID=84322776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604743.XA Pending CN115484505A (zh) 2021-05-31 2021-05-31 视频传输方法、装置、设备、***以及计算机存储介质

Country Status (2)

Country Link
CN (1) CN115484505A (zh)
WO (1) WO2022252953A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795264A (zh) * 2009-12-30 2010-08-04 北京新岸线网络技术有限公司 一种视频数据传送方法及***
CN102118357B (zh) * 2009-12-31 2014-12-17 华为技术有限公司 一种流媒体处理方法、设备和***
EP2696552A1 (en) * 2012-08-07 2014-02-12 NTT DoCoMo, Inc. Method, system and network for transmitting multimedia data to a plurality of clients
CN105052166B (zh) * 2013-04-05 2018-11-20 索尼公司 控制器、控制方法、计算机可读存储介质和视频发送***
CN105898408A (zh) * 2016-04-28 2016-08-24 乐视控股(北京)有限公司 视频播放方法及装置
CN107800665B (zh) * 2016-08-31 2020-08-25 华为技术有限公司 多媒体传输方法、接入网设备及终端
CN109729396B (zh) * 2017-10-31 2022-03-11 华为技术有限公司 视频分片数据传输方法和装置
CN110677727B (zh) * 2019-09-10 2022-05-10 北京奇艺世纪科技有限公司 音视频播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022252953A1 (zh) 2022-12-08

Similar Documents

Publication Publication Date Title
CN110536179B (zh) 一种内容分发***和方法
CN107210993B (zh) 无线网络中的多媒体内容流的动态速率调整的方法与***
US6757735B2 (en) Method for distributing multiple description streams on servers in fixed and mobile streaming media systems
US9125073B2 (en) Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
CA2846013C (en) Generating a plurality of streams
WO2019038738A1 (en) SYSTEM AND METHOD FOR PROVIDING RAPID ABR START WITH SELECTIVE ABR SEGMENT DISTRIBUTION
US20140241699A1 (en) Content playback information estimation apparatus and method and program
KR20060115216A (ko) 멀티미디어 스트리밍 송신 장치 및 방법
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
US11172267B2 (en) Method and system for scheduling resources for streaming video services in mobile communication networks
WO2020199929A1 (zh) 分发数据的方法和网络设备
EP3238406B1 (fr) Procédé de traitement d'une requête de livraison de données
KR20150067233A (ko) 하나 이상의 사용자 디바이스에의 콘텐츠의 스트리밍에 관한 장치 및 방법
Tappayuthpijarn et al. HTTP-based scalable video streaming over mobile networks
CN115484505A (zh) 视频传输方法、装置、设备、***以及计算机存储介质
WO2021164405A1 (zh) 数据编解码方法、相关设备及***
Wei et al. Prioritized retransmission for error protection of video streaming over WLANs
CN115623155A (zh) 视频数据处理方法、视频数据处理装置、存储介质
CN113438519B (zh) 一种视频传输方法、装置、电子设备及存储介质
Chhangte et al. Index coding at the WiFi edge: An implementation study for video delivery
Shin et al. An efficient MAC layer packet fragmentation scheme with priority queuing for real-time video streaming
WO2019120532A1 (en) Method and apparatus for adaptive bit rate control in a communication network
JP7485018B2 (ja) コンテンツ配信システム
CN115037701B (zh) 视频处理方法、装置、服务器及介质
WU et al. Adaptive Mobile Video Delivery Based on Fountain Codes and DASH: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination