CN113766252A - 直播视频处理方法、装置、设备、集群和***及存储介质 - Google Patents

直播视频处理方法、装置、设备、集群和***及存储介质 Download PDF

Info

Publication number
CN113766252A
CN113766252A CN202010496855.3A CN202010496855A CN113766252A CN 113766252 A CN113766252 A CN 113766252A CN 202010496855 A CN202010496855 A CN 202010496855A CN 113766252 A CN113766252 A CN 113766252A
Authority
CN
China
Prior art keywords
live
video frame
live broadcast
super
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010496855.3A
Other languages
English (en)
Inventor
罗先桂
周济
黄浩填
孟冬伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010496855.3A priority Critical patent/CN113766252A/zh
Publication of CN113766252A publication Critical patent/CN113766252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供的直播视频处理方法、装置、设备、集群和***及存储介质,涉及直播技术领域。在本申请中,首先,获得接入服务器转发的直播视频帧,其中,该直播视频帧基于直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器。其次,对直播视频帧进行超分重建处理得到超分辨率的目标视频帧。然后,将目标视频帧发送给接入服务器,其中,该接入服务器用于将该目标视频帧转发给直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。通过上述方法,可以改善现有的直播技术中存在画质不高的问题。

Description

直播视频处理方法、装置、设备、集群和***及存储介质
技术领域
本申请涉及直播技术领域,具体而言,涉及一种直播视频处理方法、装置、设备、集群和***及存储介质。
背景技术
随着直播技术的发展,其应用领域也越来越广,如舞蹈、歌唱才艺表演、知识分享、游戏分享等。如此,使得直播平台的用户也越来越多,同时也使得用户对直播的需求也越来越高,如对直播画质的要求逐步在提高。
现有技术中,为了提高直播的画质,一般会采用较高的图像采集设备,以采集高清的直播视频,或对编解码技术进行改进,以降低转码而带来的图像数据失真程度,从而保证直播视频的画质。但是,基于现有的直播技术,在终端设备上向用户显示的直播视频,仍然存在着画质不高的问题。
发明内容
有鉴于此,本申请的目的在于提供一种直播视频处理方法、装置、设备、集群和***及存储介质,以改善现有直播技术中存在画质不高的问题。
为实现上述目的,本申请实施例采用如下技术方案:
一种直播视频处理方法,应用于直播视频处理集群中的***服务器,该直播视频处理集群还包括与该***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,所述方法包括:
获得所述接入服务器转发的直播视频帧,其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器;
对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
将所述目标视频帧发送给所述接入服务器,其中,该接入服务器用于将该目标视频帧转发给所述直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
在本申请实施例较佳的选择中,在上述直播视频处理方法中,所述对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧的步骤,包括:
对所述直播视频帧进行去噪处理,得到去噪视频帧;
对所述去噪视频帧进行超分重建处理,得到超分辨率视频帧;
对所述超分辨率视频帧进行图像增强处理,得到目标视频帧。
在本申请实施例较佳的选择中,在上述直播视频处理方法中,所述***服务器还连接有包括至少一个超分服务器的超分服务集群,每一个超分服务器部署有至少一个容器,且每一个容器中部署有超分服务应用程序;
所述对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧的步骤,包括:
调用所述超分服务应用程序,以使该超分服务应用程序对所述直播视频帧进行去噪处理、超分重建处理和图像增强处理,得到目标视频帧。
本申请实施例还提供了另一种直播视频处理方法,应用直播服务器,该直播服务器连接有直播发起设备和直播接收设备,所述方法包括:
获得所述直播发起设备发送的直播视频帧,其中,该直播视频帧基于该直播发起设备响应第一直播用户的操作生成;
对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
将所述目标视频帧发送给所述直播接收设备,其中,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
本申请实施例还提供了一种直播视频处理装置,应用于直播视频处理集群中的***服务器,该直播视频处理集群还包括与该***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,所述装置包括:
第一视频帧获得模块,用于获得所述接入服务器转发的直播视频帧,其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器;
第一视频帧重建模块,用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
第一视频帧发送模块,用于将所述目标视频帧发送给所述接入服务器,其中,该接入服务器用于将该目标视频帧转发给所述直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
本申请实施例还提供了另一种直播视频处理装置,应用直播服务器,该直播服务器连接有直播发起设备和直播接收设备,所述装置包括:
第二视频帧获得模块,用于获得所述直播发起设备发送的直播视频帧,其中,该直播视频帧基于该直播发起设备响应第一直播用户的操作生成;
第二视频帧重建模块,用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
第二视频帧发送模块,用于将所述目标视频帧发送给所述直播接收设备,以使该直播接收设备基于第二直播用户的操作显示该目标视频帧。
在上述基础上,本申请实施例还提供了一种直播视频处理设备,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现上述的直播视频处理方法。
在上述基础上,本申请实施例还提供了一种直播视频处理集群,包括:
***服务器,用于执行上述的直播视频处理方法;
与所述***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,用于将该直播发起设备发送的直播视频帧转发给该***服务器,并将该***服务器发送的目标视频帧转发给该直播接收设备。
在上述基础上,本申请实施例还提供了一种直播视频处理***,包括:
上述的直播视频处理集群;
与所述直播视频处理集群中的接入服务器连接的直播发起设备,用于将响应第一直播用户的操作生成的直播视频帧,发送给该接入服务器;
与所述直播视频处理集群中的接入服务器连接的直播接收设备,用于基于第二直播用户的操作显示该目标视频帧。
在上述基础上,本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被执行时,实现上述的直播视频处理方法。
本申请提供的直播视频处理方法、装置、设备、集群和***及存储介质,在获得直播发起设备生成的直播视频帧之后,通过服务器对该直播视频帧进行超分重建处理,以得到超分辨率的目标视频帧,并将该目标视频帧发送给直播接收设备,以向直播观众展示具有超分辨率的目标视频帧。如此,在避免因通过直播接收设备对直播视频帧进行超分重建处理而导致超分重建处理的时间较长,从而导致直播的时延较大的问题的基础上,还能够保证可以向直播观众展示具有超分辨率的视频帧,以满足直播观众对直播画质的高要求,从而改善现有的直播技术中存在画质不高的问题,进而可以使得直播观众对直播的粘性增强,实用价值较高。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本申请实施例提供的直播视频处理***的***交互示意图。
图2为本申请实施例提供的直播视频处理集群的应用交互示意图。
图3为本申请实施例提供的直播视频处理设备的结构框图。
图4为本申请实施例提供的应用于***服务器的直播视频处理方法包括的各步骤的流程示意图。
图5为图4中步骤S120包括的各子步骤的流程示意图。
图6为本申请实施例提供的***服务器与超分服务集群之间的交互示意图。
图7为本申请实施例提供的未经过超分处理的视频帧与经过超分处理的视频帧的对比效果示意图。
图8为本申请实施例提供的应用于直播服务器的直播视频处理方法包括的各步骤的流程示意图。
图9为本申请实施例提供的第一直播视频处理装置包括的各功能模块的方框示意图。
图10为本申请实施例提供的第二直播视频处理装置包括的各功能模块的方框示意图。
图标:10-直播视频处理设备;100-第一直播视频处理装置;110-第一视频帧获得模块;120-第一视频帧重建模块;130-第一视频帧发送模块;200-第二直播视频处理装置;210-第二视频帧获得模块;220-第二视频帧重建模块;230-第二视频帧发送模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在直播领域中,由于直播观众对直播实时性的要求明显高于对直播画质的要求,使得在现有的直播技术中,关于超分重建技术(SR,Super-Resolution)存在着一种难以应用、难以结合的技术偏见:
服务器在获得直播发起设备发送的直播视频帧之后,一般会将该直播视频帧转发给直播接收设备,然而,直播接收设备的数据处理能力有限,在直播接收设备获得直播视频帧之后,若为了向直播观众展示具有较高画质的直播视频,选择对该直播视频帧进行超分重建处理,将由于超分重建处理的时间过长,而难以满足直播观众对直播实时性的要求。
基于此,使得直播领域的技术人员,一般都会直接忽略超分重建技术与直播技术的结合应用。
但是,本申请的发明人,在当前5G网络技术逐渐成熟的基础上,克服了上述的技术偏见,创造性地提出了一种通过服务器先对直播视频帧进行处理,再将得到的超分辨率的目标视频帧发送给直播接收设备的技术方案。
如此,既可以避免由直播接收设备进行超分重建处理而导致直播出现较大时延的问题(服务器的数据处理能力明显优于直播接收设备的数据处理能力),也可以避免在通过传统的网络技术对超分辨率的视频帧进行传输的过程中,由于网络传输资源的局限性而导致直播出现较大时延的问题。
基于此,如图1所示,本申请实施例提供了一种直播视频处理***。其中,该直播视频处理***可以包括直播发起设备和直播接收设备。
详细地,所述直播发起设备可以用于,响应第一直播用户(如主播)的操作生成直播视频帧(如录制屏幕以生成游戏视频帧,或通过摄像头采集主播的视频帧和音频帧等)。所述直播接收设备可以用于,基于第二直播用户(如直播观众)的操作(如开启直播软件后,进入所述第一直播用户的直播见等)显示超分辨的目标视频帧。
其中,在上述示例的基础上,基于不同的需求,所述直播视频处理***还可以包括不同的其它设备,如不同的服务器,用于对所述直播视频帧进行超分重建处理,得到所述超分辨率的目标视频帧。
例如,在一种可以替代的示例中,为了避免所述直播视频处理***的***架构过于复杂,所述直播视频处理***还可以包括一个或多个直播服务器,且每一个直播服务器的作用可以相同,如都可以用于:
获得所述直播发起设备发送的直播视频帧,对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧,将所述目标视频帧发送给所述直播接收设备。
又例如,在另一种可以替代的示例中,为了提高超分重建处理的效率以提高直播的实时性,所述直播视频处理***还可以包括直播视频处理集群,且该直播视频处理集群可以用于:
获得所述直播发起设备发送的直播视频帧,对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧,将所述目标视频帧发送给所述直播接收设备。
结合图2,本申请实施例还提供了一种可应用于上述直播视频处理***的直播视频处理集群。其中,该直播视频处理集群可以包括一个或多个接入服务器和一个或多个***服务器。其中,每一个***服务器的作用可以相同,如都可以用于:
获得一个所述接入服务器转发的所述直播发起设备发送的直播视频帧,对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧,将所述目标视频帧发送给一个所述接入服务器,以使该接入服务器将该目标视频帧转发给所述直播接收设备。
其中,在所述接入服务器为多个时,多个接入服务器可以形成一个接入服务器集群,以基于预设规则分别通过不同的接入服务器对不同的直播发起设备发送的直播视频帧进行接收、通过不同的接入服务器将所述目标视频帧发送给不同的直播接收设备。
并且,在所述***服务器为多个时,多个***服务器也可以形成一个***服务集群,以基于预设规则分别通过不同的***服务器对所述接入服务器转发的直播视频帧进行超分重建处理、通过不同的***服务器将所述目标视频帧发送给不同的直播接收设备。
可以理解的是,上述的预设规则的具体内容不受限制,可以根据实际应用需求进行选择。例如,在一种可以替代的示例中,可以基于负载均衡的策略,选择接入服务器对直播视频帧和目标视频帧进行转发,也可以基于负载均衡的策略,选择***服务器对直播视频帧进行超分重建处理。
并且,在上述的描述以及后文的描述中,“多个”可以是指,两个及两个以上,例如,多个接入服务器可以是指,两个或两个以上的接入服务器;多个***服务器可以是指,两个或两个以上的***服务器。
结合图3,本申请实施例还提供了一种直播视频处理设备10。其中,该直播视频处理设备10可以包括存储器、处理器和直播视频处理装置。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述直播视频处理装置可以包括,至少一个可以软件或固件(firmware)的形式存储于所述存储器中的软件功能模块。所述处理器用于执行所述存储器中存储的可执行的计算机程序,例如,所述直播视频处理装置所包括的软件功能模块及计算机程序等,以实现本申请实施例提供的直播视频处理方法。
可选地,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
并且,所述处理器可以是一种通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)、片上***(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图3所示的结构仅为示意,所述直播视频处理设备10还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置,例如,还可以包括用于与其它设备(如上述的直播发起设备、直播接收设备,或接入服务器)进行信息交互的通信单元。
其中,所述直播视频处理设备10可以是一种服务器,例如,既可以是作为上述的直播服务器,也可以是作为所述直播视频处理集群中的***服务器。也就是说,该直播视频处理设备10可以用于对直播视频帧进行超分重建处理,得到超分辨率的目标视频帧。
结合图4,本申请实施例还提供一种直播视频处理方法,可应用于上述直播视频处理集群中的***服务器。其中,所述直播控制方法有关的流程所定义的方法步骤可以由所述***服务器实现。下面将对图4所示的具体流程,进行详细阐述。
步骤S110,获得所述接入服务器转发的直播视频帧。
在本实施例中,所述***服务器可以先获得所述接入服务转发的直播视频帧。其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且通过该直播发起设备发送给该接入服务器。
步骤S120,对所述直播视频帧进行超分重建处理,得到超分辨率的目标视频帧。
在本实施例中,在基于步骤S110获得所述直播视频帧之后,所述***服务器可以对该直播视频帧进行超分重建处理,如此,可以得到超分辨率的目标视频帧。
步骤S130,将所述目标视频帧发送给所述接入服务器。
在本实施例中,在基于步骤S120得到所述目标视频帧之后,所述***服务器可以将该目标视频帧。
如此,在所述接入服务器将所述目标视频帧转发给所述直播接收设备之后,该直播接收设备可以基于第二直播用户的操作显示该目标视频帧。
基于上述方法,可以在避免因通过直播接收设备对直播视频帧进行超分重建处理而导致超分重建处理的时间较长,从而避免导致直播的时延较大的问题的基础上,还能够保证可以向第二直播用户(如直播观众)展示具有超分辨率的视频帧,以满足第二直播用户对直播画质的高要求,从而改善现有的直播技术中存在画质不高的问题,进而可以使得第二直播用户对直播的粘性增强。
第一方面,对于步骤S110需要说明的是,获得所述直播视频帧的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,若所述直播发起设备发送的直播视频帧是未经过编码的视频帧,那么,所述***服务器可以直接获得该直播视频。或者,若所述直播发起设备发送的直播视频帧是经过编码的视频帧,但是,所述接入服务器可以对该直播视频帧进行解码处理,如此,所述***服务器也可以直接获得接入服务器发送的直播视频帧。
又例如,在另一种可以替代的示例中,为了避免直接传输未经编码的视频帧而导致对网络传输资源产生较大的消耗,所述直播发起设备可以将直播视频帧经过编码之后,再发送给所述接入服务器。如此,该接入服务器也可以直接将该直播视频帧转发给所述***服务器,使得该***服务器可以通过对该直播视频帧进行解码处理,以获得解码后的直播视频帧。
其中,所述***服务器对所述直播视频帧进行解码处理的具体方式也不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,所述***服务器可以通过部署于该***服务器的解码程序,对所述直播视频帧进行解码处理。
又例如,在另一种可以替代的示例中,所述***服务器还可以通过调用部署于其它服务器上的解码程序,对所述直播视频帧进行解码处理。
第二方面,对于步骤S120需要说明的是,对所述直播视频帧进行超分重建处理的具体方式也不受限制,也可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,为了降低进行超分重建处理的时耗,可以直接对获得的未经编码或已经解码的直播视频帧进行超分重建处理,以得到超分辨率的目标视频帧。
又例如,在另一种可以替代的示例中,为了提高进行超分重建处理得到的目标视频帧的图像质量,在进行超分重建处理的过程中,还可以进行去噪处理和图像增强处理等。在此示例的基础上,基于不同的需求,对所述直播视频帧进行处理的具体方式,也不受限制。
例如,在一种可以替代的示例中,为了便于所述直播视频处理集群的部署、简化该集群的架构,结合图5,步骤S120可以包括步骤S121、步骤S122和步骤S123,具体内容如下所述。
步骤S121,对所述直播视频帧进行去噪处理,得到去噪视频帧。
在本实施例中,在基于步骤S110获得未经编码或已经解码的直播视频帧之后,所述***服务器还可以先对该直播视频帧进行去噪处理,以得到相应的去噪视频帧。
步骤S122,对所述去噪视频帧进行超分重建处理得到超分辨率视频帧。
在本实施例中,在基于步骤S121得到所述去噪视频帧之后,所述***服务器还可以对该去噪视频帧进行超分重建处理,以得到相应的超分辨率视频帧。
步骤S123,对所述超分辨率视频帧进行图像增强处理得到目标视频帧。
在本实施例中,在基于步骤S122得到所述超分辨率视频帧之后,所述***服务器还可以对该超分辨率视频帧进行图像增强处理,以得到相应的超分辨率的目标视频帧。
也就是说,在上述的示例中,对直播视频帧进行去噪处理、超分重建处理和图像增强处理,都是在所述***服务器上执行。
其中,可以理解的是,在所述***服务器为多个时,上述的去噪处理、超分重建处理和图像增强处理,针对一帧直播视频帧,各处理既可以是在一个***服务器上进行处理,也可以是在不同的***服务器上处理。
详细地,在一种具体的应用示例中,***服务器A可以先获得接入服务器转发的直播视频帧,然后,在对该直播视频帧进行去噪处理之后,可以将得到的去噪视频帧发送给***服务器B,***服务器B在对去噪视频帧进行超分重建处理之后,可以将得到的超分辨率视频帧发送给***服务器C,***服务器C在对超分辨率视频帧进行图像增强处理之后,可以将得到的目标视频帧发送给接入服务器。
又例如,在另一种可以替代的示例中,为了提高对所述直播视频帧进行处理以得到目标视频帧的效率,结合图6,所述***服务器还连接有包括至少一个超分服务器的超分服务集群,每一个超分服务器可以部署有至少一个容器,且每一个容器中可以部署有超分服务应用程序。
基于此,步骤S120也可以包括以下步骤:
调用所述超分服务应用程序,以使该超分服务应用程序对所述直播视频帧进行去噪处理、超分重建处理和图像增强处理,得到目标视频帧。
其中,调用所述超分服务应用程序的具体方式也不受限制,可以根据实际应用需求进行选择。例如,在一种可以替代的示例中,可以基于进城内的函数调用方式,对所述超分服务应用程序进行调用。
详细地,在一种具体的应用示例中,所述***服务器可以是通过应用程序接口(API,Application Programming Interface)调用所述超分服务器应用程序,以对所述直播视频帧进行去噪处理、超分重建处理和图像增强处理,从而得到目标视频帧。
可以理解的是,所述超分服务应用程序可以包括多个子程序,如去噪处理子程序、超分重建处理子程序和图像增强处理子程序。其中,多个子子程序可以部署于一个容器,也可以部署于不同的容器。
并且,所述去噪处理子程序、所述超分重建处理子程序和所述图像增强处理子程序的具体内容,即所述去噪处理、所述超分重建处理和所述图像增强处理的具体方式,也不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,所述去噪处理可以是基于高斯滤波算法完成,所述超分重建处理可以是基于深度学习得到的神经网络模型(例如,可以包括,特征提取网络层、非线性映射网络层、超分重建网络层)完成,所述图像增强处理可以是基于统计直方图的增强处理(例如,可以包括,直方图的计算、基于直方图的累计分布曲线的计算,基于累计分布曲线的图像变换处理等)。
第三方面,对于步骤S130需要说明的是,向所述接入服务器发送所述目标视频帧的具体方式也不受限制,也可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,为了保证所述直播接收设备获得的目标视频帧不会出现失真的情况,所述***服务器可以直接将所述目标视频帧发送给所述接入服务器,且该接入服务器可以直接将该目标视频帧转发给所述直播接收设备。
又例如,在另一种可以替代的示例中,为了保证对网络传输资源有较小的消耗,且降低所述***服务器的数据处理量,所述***服务器可以直接将所述目标视频帧发送给所述接入服务器,且该接入服务器可以在对该目标视频帧进行编码之后,再将编码之后的目标视频帧转发给所述直播接收设备,以使该直播接收设备在获得目标视频帧之后,需要先进行解码处理,才能显示该目标视频帧。
再例如,在另一种可以替代的示例中,为了充分利用所述***服务器具有的较高数据处理能力,所述***服务器也可以先对所述目标视频帧进行编码处理,然后,再将编码之后的目标视频帧发送给所述接入服务器,使得该接入服务器可以直接将该编码之后的目标视频帧转发给所述直播发起设备,以使该直播接收设备在获得目标视频帧之后,需要先进行解码处理,才能显示该目标视频帧。
并且,在此示例中,所述***服务器对所述目标视频帧进行编码处理的具体方式也不受限制,也可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,所述***服务器可以基于自身部署的编码程序,对所述目标视频帧进行编码处理。
又例如,在另一种可以替代的示例中,所述***服务器还连接有包括至少一个编码服务器的编码服务集群,每一个编码服务器可以部署有至少一个容器,且每一个容器中可以部署有编码服务应用程序。
如此,所述***服务器可以通过调用所述编码服务应用程序,对所述目标视频帧进行编码处理,以得到编码后的目标视频帧,从而提高对目标视频帧进行编码的效率。
其中,所述编码服务应用程序的具体内容,即对所述目标视频帧进行编码处理的具体方式也不受限制,也可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,为了保证所述目标视频帧的图像质量,降低由于编码而导致的图像失真程度,可以基于H264的编码技术,实现20M码率和60fps(Frames PerSecond,每秒传输帧数)的编码。
如此,可以使得所述直播接收设备实现4K超高清的视频直播。结合图7,分别为1080P的直播视频帧直接在4K显示屏上显示的效果图和经过超分重建处理之后在4K显示屏上显示的效果图。
其中,在经过超分重建处理之后,可以使得视频帧的峰值信噪比(PSNR,PeakSignal to Noise Ratio)从36dB提高到了39.8dB,还可以使得视频帧的视频质量多方法评价融合参数(VMAF,Video Multimethod Assessment Fusion)从82提高到了98。
结合图8,本申请实施例还提供一种直播视频处理方法,可应用于上述直播视频处理***中的直播服务器。其中,所述直播控制方法有关的流程所定义的方法步骤可以由所述直播服务器实现。下面将对图7所示的具体流程,进行详细阐述。
步骤S210,获得所述直播发起设备发送的直播视频帧。
在本实施例中,所述直播服务器可以直接与所述直播发起设备连接,以获得该直播发起设备发送的直播视频帧。
其中,所述直播视频帧可以基于所述直播发起设备响应第一直播用户(如主播)的操作生成,并通过该直播发起设备发送给所述直播服务器。
步骤S220,对所述直播视频帧进行超分重建处理,得到超分辨率的目标视频帧。
在本实施例中,在基于步骤S210获得所述直播视频帧之后,所述直播服务器可以对该直播视频帧进行超分重建处理,从而得到超分辨率的目标视频帧。
步骤S230,将所述目标视频帧发送给所述直播接收设备。
在本实施例中,所述直播服务器可以直接与所述直播接收设备连接,如此,在基于步骤S220获得所述目标视频帧之后,可以将该直播视频帧发送给所述直播接收设备。
其中,所述直播接收设备用于基于第二直播用户的操作显示该目标视频帧。例如,所述直播接收设备可以在第二直播用户(如直播观众)打开直播软件进入所述第一直播用户的直播间时,显示该目标视频帧。
对于步骤S220需要说明的是,所述直播服务器对所述直播视频帧进行超分重建处理的具体方式,可以参照前文对***服务器进行超分重建处理的描述,例如,既可以是该直播服务器通过自身部署的应用程序进行超分重建处理,也可以通过调用部署于其它设备的应用程序进行超分处理,在此不在一一赘述。
结合图9,本申请实施例还提供一种第一直播视频处理装置100,可以应用于上述直播视频处理集群的***服务器。其中,所述第一直播视频处理装置100可以包括第一视频帧获得模块110、第一视频帧重建模块120和第一视频帧发送模块130。
所述第一视频帧获得模块110,可以用于获得所述接入服务器转发的直播视频帧,其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器。在本实施例中,所述第一视频帧获得模块110可用于执行图2所示的步骤S110,关于所述第一视频帧获得模块110的相关内容可以参照前文对步骤S110的描述。
所述第一视频帧重建模块120,可以用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧。在本实施例中,所述第一视频帧重建模块120可用于执行图2所示的步骤S120,关于所述第一视频帧重建模块120的相关内容可以参照前文对步骤S120的描述。
所述第一视频帧发送模块130,可以用于将所述目标视频帧发送给所述接入服务器,其中,该接入服务器用于将该目标视频帧转发给所述直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。在本实施例中,所述第一视频帧发送模块130可用于执行图2所示的步骤S130,关于所述第一视频帧发送模块130的相关内容可以参照前文对步骤S130的描述。
结合图10,本申请实施例还提供一种第二直播视频处理装置200,可以应用于上述直播视频处理***的直播服务器。其中,所述第二直播视频处理装置200可以包括第二视频帧获得模块210、第二视频帧重建模块220和第二视频帧发送模块230。
所述第二视频帧获得模块210,可以用于获得所述直播发起设备发送的直播视频帧,其中,该直播视频帧基于该直播发起设备响应第一直播用户的操作生成。在本实施例中,所述第二视频帧获得模块210可用于执行图8所示的步骤S210,关于所述第二视频帧获得模块210的相关内容可以参照前文对步骤S210的描述。
所述第二视频帧重建模块220,可以用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧。在本实施例中,所述第二视频帧重建模块220可用于执行图8所示的步骤S220,关于所述第二视频帧重建模块220的相关内容可以参照前文对步骤S220的描述。
所述第二视频帧发送模块230,可以用于将所述目标视频帧发送给所述直播接收设备,以使该直播接收设备基于第二直播用户的操作显示该目标视频帧。在本实施例中,所述第二视频帧发送模块230可用于执行图8所示的步骤S230,关于所述第二视频帧发送模块230的相关内容可以参照前文对步骤S230的描述。
在本申请实施例中,对应于上述的直播视频处理方法,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序运行时执行上述直播视频处理方法的各个步骤。
其中,前述计算机程序运行时执行的各步骤,在此不再一一赘述,可参考前文对所述直播视频处理方法的解释说明。
综上所述,本申请提供的直播视频处理方法、装置、设备、集群和***及存储介质,在获得直播发起设备生成的直播视频帧之后,通过服务器对该直播视频帧进行超分重建处理,以得到超分辨率的目标视频帧,并将该目标视频帧发送给直播接收设备,以向直播观众展示具有超分辨率的目标视频帧。如此,在避免因通过直播接收设备对直播视频帧进行超分重建处理而导致超分重建处理的时间较长,从而导致直播的时延较大的问题的基础上,还能够保证可以向直播观众展示具有超分辨率的视频帧,以满足直播观众对直播画质的高要求,从而改善现有的直播技术中存在画质不高的问题,进而可以使得直播观众对直播的粘性增强,实用价值较高。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种直播视频处理方法,其特征在于,应用于直播视频处理集群中的***服务器,该直播视频处理集群还包括与该***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,所述方法包括:
获得所述接入服务器转发的直播视频帧,其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器;
对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
将所述目标视频帧发送给所述接入服务器,其中,该接入服务器用于将该目标视频帧转发给所述直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
2.根据权利要求1所述的直播视频处理方法,其特征在于,所述对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧的步骤,包括:
对所述直播视频帧进行去噪处理,得到去噪视频帧;
对所述去噪视频帧进行超分重建处理,得到超分辨率视频帧;
对所述超分辨率视频帧进行图像增强处理,得到目标视频帧。
3.根据权利要求1所述的直播视频处理方法,其特征在于,所述***服务器还连接有包括至少一个超分服务器的超分服务集群,每一个超分服务器部署有至少一个容器,且每一个容器中部署有超分服务应用程序;
所述对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧的步骤,包括:
调用所述超分服务应用程序,以使该超分服务应用程序对所述直播视频帧进行去噪处理、超分重建处理和图像增强处理,得到目标视频帧。
4.一种直播视频处理方法,其特征在于,应用直播服务器,该直播服务器连接有直播发起设备和直播接收设备,所述方法包括:
获得所述直播发起设备发送的直播视频帧,其中,该直播视频帧基于该直播发起设备响应第一直播用户的操作生成;
对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
将所述目标视频帧发送给所述直播接收设备,其中,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
5.一种直播视频处理装置,其特征在于,应用于直播视频处理集群中的***服务器,该直播视频处理集群还包括与该***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,所述装置包括:
第一视频帧获得模块,用于获得所述接入服务器转发的直播视频帧,其中,该直播视频帧基于所述直播发起设备响应第一直播用户的操作生成,且发送给该接入服务器;
第一视频帧重建模块,用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
第一视频帧发送模块,用于将所述目标视频帧发送给所述接入服务器,其中,该接入服务器用于将该目标视频帧转发给所述直播接收设备,该直播接收设备用于基于第二直播用户的操作显示该目标视频帧。
6.一种直播视频处理装置,其特征在于,应用直播服务器,该直播服务器连接有直播发起设备和直播接收设备,所述装置包括:
第二视频帧获得模块,用于获得所述直播发起设备发送的直播视频帧,其中,该直播视频帧基于该直播发起设备响应第一直播用户的操作生成;
第二视频帧重建模块,用于对所述直播视频帧进行超分重建处理得到超分辨率的目标视频帧;
第二视频帧发送模块,用于将所述目标视频帧发送给所述直播接收设备,以使该直播接收设备基于第二直播用户的操作显示该目标视频帧。
7.一种直播视频处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现权利要求1-4任意一项所述的直播视频处理方法。
8.一种直播视频处理集群,其特征在于,包括:
***服务器,用于执行权利要求1-3任一项所述的直播视频处理方法;
与所述***服务器连接的接入服务器,该接入服务器连接有直播发起设备和直播接收设备,用于将该直播发起设备发送的直播视频帧转发给该***服务器,并将该***服务器发送的目标视频帧转发给该直播接收设备。
9.一种直播视频处理***,其特征在于,包括:
权利要求8所述的直播视频处理集群;
与所述直播视频处理集群中的接入服务器连接的直播发起设备,用于将响应第一直播用户的操作生成的直播视频帧,发送给该接入服务器;
与所述直播视频处理集群中的接入服务器连接的直播接收设备,用于基于第二直播用户的操作显示该目标视频帧。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,该计算机程序被执行时,实现权利要求1-4任意一项所述的直播视频处理方法。
CN202010496855.3A 2020-06-03 2020-06-03 直播视频处理方法、装置、设备、集群和***及存储介质 Pending CN113766252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010496855.3A CN113766252A (zh) 2020-06-03 2020-06-03 直播视频处理方法、装置、设备、集群和***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010496855.3A CN113766252A (zh) 2020-06-03 2020-06-03 直播视频处理方法、装置、设备、集群和***及存储介质

Publications (1)

Publication Number Publication Date
CN113766252A true CN113766252A (zh) 2021-12-07

Family

ID=78783350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010496855.3A Pending CN113766252A (zh) 2020-06-03 2020-06-03 直播视频处理方法、装置、设备、集群和***及存储介质

Country Status (1)

Country Link
CN (1) CN113766252A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422852A (zh) * 2021-12-16 2022-04-29 阿里巴巴(中国)有限公司 视频播放方法、存储介质、处理器和***
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、***、计算机设备及计算机可读存储介质
WO2023193524A1 (zh) * 2022-04-08 2023-10-12 腾讯科技(深圳)有限公司 直播视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086193A1 (en) * 2013-12-12 2015-06-18 Alcatel Lucent Process for managing the exchanges of video streams between users of a video conference service
WO2015086222A1 (en) * 2013-12-12 2015-06-18 Alcatel Lucent Process for increasing the resolution and the visual quality of video streams exchanged between users of a video conference service
US20170339431A1 (en) * 2016-05-23 2017-11-23 Massachusetts lnstitute of Technology System and Method for Providing Real-Time Super-Resolution for Compressed Videos
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技(深圳)有限公司 图片处理的方法、装置、计算机设备及存储介质
CN110992260A (zh) * 2019-10-15 2020-04-10 网宿科技股份有限公司 一种视频超分辨率重建的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086193A1 (en) * 2013-12-12 2015-06-18 Alcatel Lucent Process for managing the exchanges of video streams between users of a video conference service
WO2015086222A1 (en) * 2013-12-12 2015-06-18 Alcatel Lucent Process for increasing the resolution and the visual quality of video streams exchanged between users of a video conference service
US20170339431A1 (en) * 2016-05-23 2017-11-23 Massachusetts lnstitute of Technology System and Method for Providing Real-Time Super-Resolution for Compressed Videos
CN107967669A (zh) * 2017-11-24 2018-04-27 腾讯科技(深圳)有限公司 图片处理的方法、装置、计算机设备及存储介质
CN110992260A (zh) * 2019-10-15 2020-04-10 网宿科技股份有限公司 一种视频超分辨率重建的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422852A (zh) * 2021-12-16 2022-04-29 阿里巴巴(中国)有限公司 视频播放方法、存储介质、处理器和***
WO2023193524A1 (zh) * 2022-04-08 2023-10-12 腾讯科技(深圳)有限公司 直播视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、***、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
US9013536B2 (en) Augmented video calls on mobile devices
CN113766252A (zh) 直播视频处理方法、装置、设备、集群和***及存储介质
EP2936814B1 (en) Encoding perceptually-quantized video content in multi-layer vdr coding
CN102625106B (zh) 场景自适应的屏幕编码码率控制方法及其***
US11445201B2 (en) Video encoding and decoding method, device, and system, and storage medium
US9386319B2 (en) Post-process filter for decompressed screen content
CN112929624B (zh) 一种编码方法、装置、电子设备及计算机可读存储介质
CN110072119B (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
US20150092847A1 (en) Hardware Efficient Sparse FIR Filtering in Video Codec
CN109151481B (zh) 图片的传输和接收的方法、装置、***、设备和介质
CN109587558B (zh) 视频处理方法、装置、电子设备以及存储介质
CN106162174B (zh) 一种视频多分辨率编码方法和装置
CN104782119B (zh) 带宽降低***和方法
CN111970565A (zh) 视频数据处理方法、装置、电子设备及存储介质
CN110545432A (zh) 一种图像编码、解码方法、相关装置及存储介质
CN109151574B (zh) 视频处理方法、装置、电子设备以及存储介质
Saha et al. Perceptual video quality assessment: The journey continues!
WO2021057477A1 (zh) 视频编解码方法和相关装置
CN111200693A (zh) 一种图像数据传输方法、装置及***
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN112533029B (zh) 一种视频分时传输方法、摄像装置、***和存储介质
US20160057431A1 (en) Method and device for transmitting a sequence of pictures, and corresponding method and device for reception, computer program and recording medium
CN113613024A (zh) 视频预处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination