CN113207016B - 一种虚拟机图像帧率控制方法及网络设备、存储介质 - Google Patents

一种虚拟机图像帧率控制方法及网络设备、存储介质 Download PDF

Info

Publication number
CN113207016B
CN113207016B CN202110336922.XA CN202110336922A CN113207016B CN 113207016 B CN113207016 B CN 113207016B CN 202110336922 A CN202110336922 A CN 202110336922A CN 113207016 B CN113207016 B CN 113207016B
Authority
CN
China
Prior art keywords
image
virtual machine
frame rate
client
fps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110336922.XA
Other languages
English (en)
Other versions
CN113207016A (zh
Inventor
方杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202110336922.XA priority Critical patent/CN113207016B/zh
Publication of CN113207016A publication Critical patent/CN113207016A/zh
Application granted granted Critical
Publication of CN113207016B publication Critical patent/CN113207016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种虚拟机图像帧率控制方法及网络设备、存储介质,其中,虚拟机图像帧率控制方法包括:保存虚拟机配置文件;接收虚拟机的显卡指令并记录显卡指令时间;解析显卡指令,获取虚拟机图像及图像的surface;判断虚拟机发送图像的帧率是否高于设定的最高帧率max_fps;若帧率在设定范围内,则按压缩编码方式发送图像给客户机;若帧率高于设定范围,则启动定时器,以时间间隔=1/max_fps,定时以图像的全屏流模式发送图像给客户机。本申请实施例通过设置最高帧率,图像在不同帧率下采用不同的图像传输方式。高帧率的图像直接通过全屏流模式进行视频图像传输,解决了传输高帧率图片到客户机解码堵塞和延迟卡顿的问题。

Description

一种虚拟机图像帧率控制方法及网络设备、存储介质
技术领域
本说明书涉及通信技术领域,尤其涉及一种虚拟机图像帧率控制方法及网络设备、存储介质。
背景技术
虚拟机(云桌面)是基于虚拟桌面基础架构,能够将用户的桌面环境以云桌面的形式托管至高性能服务器上,给用户提供与物理计算机几乎相同的用户体验。比较广泛的应用于如日常办公、学校教学等云桌面的解决方案。
当虚拟机(云桌面)上的图像处于快速更新时,若采用通用压缩编码的方式将图片发给客户机,将占用大量的带宽,造成终端解码拥堵的问题。
发明内容
为克服相关技术中存在的问题,本说明书提供了一种虚拟机图像帧率控制方法及网络设备、存储介质。
根据本说明书实施例的第一方面一种虚拟机图像帧率控制方法,
保存虚拟机的配置文件,配置文件至少包括图像发送的最高帧率max_fps;
接收虚拟机的显卡指令,记录显卡指令时间;
解析显卡指令,获取到虚拟机的图像以及图像的surface;
判断接收到虚拟机发送图像的帧率是否高于设定的最高帧率max_fps;
若帧率在设定范围内,则按压缩编码方式发送图像给客户机;
若帧率高于设定范围,则启动定时器,以时间间隔=1/max_fps,定时以图像的全屏流模式发送图像给客户机。
优选的,配置文件还包括定时器定时获取图像的超时时间timeout,
若超过时间间隔1/max_fps未接收到虚拟机发送的显卡指令,则开启定时器,判断定时器当前记录时间和接收到最后一条显卡指令时间的差值;
若差值小于timeout,获取图像的全屏流模式图像并发送给客户机;
若差值大于等于timeout,则图像不作更新,定时器关闭,以压缩编码方式发送图像给客户机。
优选的,在差值小于timeout条件下,将全屏流模式图像传输给客户机,并且重新设置定时器,时间间隔=1/max_fps。
进一步地,判断接收到虚拟机发送图像的帧率是否高于设定的最高帧率max_fps,包括:
通过surface中的图像存储地址找到虚拟机共享存储上对应的图像数据;
判断当前找到的图像的帧率是否高于设定的最高帧率max_fps。
优选的,接收虚拟机的显卡指令,记录显卡指令时间之前,与虚拟机建立协议连接,并获取虚拟机的识别信息。
进一步地,识别信息至少包括虚拟机的ip和端口信息。
本申请实施例还提供了一种网络设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时执行上述一种虚拟机图像帧率控制方法。
本申请实施例最后还提供了一种存储介质,其上存储有计算机程序指令,所述程序指令被处理器执行时用于实现上述一种虚拟机图像帧率控制方法。
本说明书的实施例提供的技术方案可以包括以下有益效果:
本说明书实施例通过设置最高帧率,图像在不同帧率下采用不同的图像传输方式。高帧率的图像直接通过全屏流模式进行视频图像传输,解决了传输高帧率图片到客户机时解码堵塞和延迟卡顿的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本申请实施例组网示意图;
图2是本申请虚拟机帧率控制方法流程图;
图3是本申请实施例虚拟机未定时发送图像流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
为了解决背景技术中存在的问题,本申请提供了一种虚拟机图像帧率控制方法,客户机通过宿主机获取虚拟机上的图像信息。在该组网中,客户机首先需要和宿主机建立链路连接,宿主机需要和虚拟机之间建立协议连接,宿主机获取到虚拟机的识别信息。宿主机通常下挂多台虚拟机(虚拟机1、虚拟机2和虚拟机3),且宿主机与多台客户机(客户机1、客户机2和客户机3)相连接,如图1。本申请实施例以客户机1通过宿主机请求获取虚拟机1上的图像为例进行举例说明。另外上述实施例中提到的在宿主机和虚拟机之间建立的协议可以是例如现有的RDP或spice等协议,当然也可以是自定义的协议。因为不是本申请发明点,在此不在赘述。宿主机与每台虚拟机客户端只有一个协议连接进程,通过进程连接至宿主机的服务端,用于图像传输。本申请实施例宿主机与虚拟机建立协议连接以后,宿主机获取到虚拟机的识别信息,识别信息至少包括了虚拟机的ip和端口信息,实现宿主机服务端与虚拟机进程一对一的连接以及图像信息交互。宿主机上保存有每台虚拟机的配置文件。配置文件主要是图像发送的最高帧率max_fps,以及定时器定时获取图像的超时时间timeout。解析显卡指令得到对应虚拟机的图像以及图像存储地址信息等。
如图2所示,具体交互过程如下:
客户机1向宿主机请求虚拟机1的图像,因此宿主机接到请求后向虚拟机1发出图像请求;
宿主机接收虚拟机1的显卡指令,并记录下显卡指令到达的时间;
宿主机解析显卡指令,获取到对应的虚拟机的图像以及图像的surface;判断接收到来自虚拟机1发送图像的帧率是否高于设定的最高帧率max_fps;若帧率在设定范围内,则按压缩编码方式发送图像给客户机1;若帧率高于设定范围,则启动定时器,以时间间隔=1/max_fps,定时以图像的全屏流模式发送图像给客户机1。这里需要说明全屏流模式指的是以全屏视频形式发送图像。而通用的压缩编码方式发送的图像是以普通图片或照片形式发送。
本申请中surface指宿主机服务端保存虚拟机当前显示发送图像的存储地址。这里的存储地址指图像存储在宿主机所有下挂虚拟机的共享存储上的存储地址。
由于虚拟机1有可能没有在设定时间间隔1/max_fps向宿主机发送显卡指令,启动宿主机服务端进程的定时器,判断定时器当前记录时间和接收到最后一条先看指令时间的差值,若差值小于timeout,获取图像的全屏流模式图像并发送给客户机1;若差值大于等于timeout,则图像不作更新,定时器关闭,以压缩编码方式发送图像给所述客户机1,如图3所示。
在上述实施例中,判断接收到虚拟机1发送图像的帧率是否高于设定的最高帧率max_fps的方法,包括:
通过surface中的图像存储地址找到所有虚拟机的共享存储上对应的图像数据;
判断当前找到的图像的帧率是否高于设定的最高帧率max_fps。
本申请实施例通过设置最高帧率,图像在不同帧率下采用不同的图像传输方式。高帧率的图像直接通过全屏流模式进行视频图像传输,解决了传输高帧率图片到客户机时解码堵塞和延迟卡顿的问题。
本申请实施例还提供一种网络设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述程序时执行上述实施例的一种虚拟机图像帧率控制方法。
本申请实施例还提供了一种存储介质,其上存储有计算机程序指令,程序指令被处理器执行时用于实现上述实施例的一种虚拟机图像帧率控制方法。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。

Claims (8)

1.一种虚拟机图像帧率控制方法,其特征在于,
保存虚拟机的配置文件,所述配置文件至少包括图像发送的最高帧率max_fps;
接收虚拟机的显卡指令,记录所述显卡指令时间;所述显卡指令时间为所述显卡指令到达的时间;
解析所述显卡指令,获取到所述虚拟机的图像以及图像的surface;所述surface为保存的虚拟机当前显示发送图像的存储地址,所述存储地址指图像存储在所有下挂虚拟机的共享存储上的存储地址;
判断接收到所述虚拟机发送图像的帧率是否高于设定的最高帧率max_fps;
若帧率在设定范围内,则按压缩编码方式发送图像给客户机;
若帧率高于设定范围,则启动定时器,以时间间隔=1/max_fps,定时以图像的全屏流模式发送图像给客户机。
2.根据权利要求1所述的虚拟机图像帧率控制方法,其特征在于,配置文件还包括定时器定时获取图像的超时时间timeout,
若超过时间间隔1/max_fps未接收到所述虚拟机发送的显卡指令,则开启所述定时器,判断定时器当前记录时间和接收到最后一条显卡指令时间的差值;
若差值小于timeout,获取图像的全屏流模式图像并发送给所述客户机;
若差值大于等于timeout,则图像不作更新,所述定时器关闭,以压缩编码方式发送图像给所述客户机。
3.根据权利要求2所述的虚拟机图像帧率控制方法,其特征在于,在差值小于timeout条件下,将所述全屏流模式图像传输给所述客户机,并且重新设置所述定时器,时间间隔=1/max_fps。
4.根据权利要求1所述的虚拟机图像帧率控制方法,其特征在于,判断接收到所述虚拟机发送图像的帧率是否高于设定的最高帧率max_fps,包括:
通过surface中的图像存储地址找到虚拟机共享存储上对应的图像数据;
判断当前找到的图像的帧率是否高于设定的最高帧率max_fps。
5.根据权利要求1所述的虚拟机图像帧率控制方法,其特征在于,接收所述虚拟机的显卡指令,记录所述显卡指令时间之前,与所述虚拟机建立协议连接,并获取所述虚拟机的识别信息。
6.根据权利要求5所述的虚拟机图像帧率控制方法,其特征在于,所述识别信息至少包括所述虚拟机的ip和端口信息。
7.一种网络设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行权利要求1-6任意一项所述的一种虚拟机图像帧率控制方法。
8.一种存储介质,其上存储有计算机程序指令,其特征在于,所述程序指令被处理器执行时用于实现权利要求1-6任一项中所述的一种虚拟机图像帧率控制方法。
CN202110336922.XA 2021-03-29 2021-03-29 一种虚拟机图像帧率控制方法及网络设备、存储介质 Active CN113207016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336922.XA CN113207016B (zh) 2021-03-29 2021-03-29 一种虚拟机图像帧率控制方法及网络设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336922.XA CN113207016B (zh) 2021-03-29 2021-03-29 一种虚拟机图像帧率控制方法及网络设备、存储介质

Publications (2)

Publication Number Publication Date
CN113207016A CN113207016A (zh) 2021-08-03
CN113207016B true CN113207016B (zh) 2022-05-27

Family

ID=77025865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336922.XA Active CN113207016B (zh) 2021-03-29 2021-03-29 一种虚拟机图像帧率控制方法及网络设备、存储介质

Country Status (1)

Country Link
CN (1) CN113207016B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973224B (zh) * 2021-09-18 2024-05-28 阿里巴巴(中国)有限公司 媒体信息的传输方法、计算设备及存储介质
CN117640627B (zh) * 2024-01-25 2024-04-09 微网优联科技(成都)有限公司 通过云电脑实现的协同工作方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170694A (zh) * 2007-10-19 2008-04-30 上海广电(集团)有限公司中央研究院 一种用于编码装置信号实时监测的方法
CN103747077A (zh) * 2013-12-31 2014-04-23 华为技术有限公司 一种传输机制调整方法和服务端、客户端
CN105611213A (zh) * 2016-01-04 2016-05-25 京东方科技集团股份有限公司 一种图像处理方法、播放方法及相关的装置和***
CN109168013A (zh) * 2018-09-19 2019-01-08 广州华多网络科技有限公司 一种抽帧的方法、装置、设备及计算机可读存储介质
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架
CN110519633A (zh) * 2019-08-02 2019-11-29 广州视源电子科技股份有限公司 无线传屏方法、装置、***和智能交互平板

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777274B2 (ja) * 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170694A (zh) * 2007-10-19 2008-04-30 上海广电(集团)有限公司中央研究院 一种用于编码装置信号实时监测的方法
CN103747077A (zh) * 2013-12-31 2014-04-23 华为技术有限公司 一种传输机制调整方法和服务端、客户端
CN105611213A (zh) * 2016-01-04 2016-05-25 京东方科技集团股份有限公司 一种图像处理方法、播放方法及相关的装置和***
CN109168013A (zh) * 2018-09-19 2019-01-08 广州华多网络科技有限公司 一种抽帧的方法、装置、设备及计算机可读存储介质
CN110519633A (zh) * 2019-08-02 2019-11-29 广州视源电子科技股份有限公司 无线传屏方法、装置、***和智能交互平板
CN110493596A (zh) * 2019-09-02 2019-11-22 西北工业大学 一种基于神经网络的视频编码框架

Also Published As

Publication number Publication date
CN113207016A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
US7640358B2 (en) Methods and systems for HTTP streaming using an intelligent HTTP client
CN111399964B (zh) 一种基于视频串流技术的云桌面平台
CN108810636B (zh) 视频播放方法、虚拟现实设备、服务器、***及存储介质
US8108577B1 (en) Method and apparatus for providing a low-latency connection between a data processor and a remote graphical user interface over a network
RU2368940C2 (ru) Синхронизированные графические данные и данные области для систем дистанционной работы с графическими данными
US7051110B2 (en) Data reception/playback method and apparatus and data transmission method and apparatus for providing playback control functions
CN113207016B (zh) 一种虚拟机图像帧率控制方法及网络设备、存储介质
EP3503570A1 (en) Method of transmitting video frames from a video stream to a display and corresponding apparatus
JP7496022B2 (ja) クライアント、サーバ、受信方法及び送信方法
CN105867870B (zh) 拼接墙窗口的回显方法和装置
KR101942270B1 (ko) 재생 지연 방지 시스템을 포함하는 미디어 재생 장치 및 방법
CN105025294A (zh) 一种视频传输控制装置及方法
US10404606B2 (en) Method and apparatus for acquiring video bitstream
JP2001092752A (ja) 画像データ配信システムおよびそれに用いる記録媒体
CN102439935A (zh) 媒体适配的方法和装置
CN103686077A (zh) 应用于3g无线网络实时音视频数据传输的双缓冲方法
JP2001242876A (ja) データ受信再生方法、データ受信再生装置、データ送信方法、およびデータ送信装置
CN106686635B (zh) 基于无线接入点的控制和配置协议的数据传输方法和装置
EP3440842B1 (en) Media stream prioritization
JP3967443B2 (ja) 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体
CN113254130B (zh) 一种自适应调整云桌面分辨率的方法
CN114827692A (zh) 一种基于智能电视操作云桌面的***
US11140442B1 (en) Content delivery to playback systems with connected display devices
CN113301438A (zh) 一种基于底层虚拟化技术的云桌面视频播放方法
CN110636348B (zh) 视频播放方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant