CN111669648B - 一种视频倍频的方法 - Google Patents

一种视频倍频的方法 Download PDF

Info

Publication number
CN111669648B
CN111669648B CN202010565581.9A CN202010565581A CN111669648B CN 111669648 B CN111669648 B CN 111669648B CN 202010565581 A CN202010565581 A CN 202010565581A CN 111669648 B CN111669648 B CN 111669648B
Authority
CN
China
Prior art keywords
video
module
frequency doubling
output
memory area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010565581.9A
Other languages
English (en)
Other versions
CN111669648A (zh
Inventor
李锋林
宋晓伟
刘雄
高国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Esso Information Co ltd
Original Assignee
Esso Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Esso Information Co ltd filed Critical Esso Information Co ltd
Priority to CN202010565581.9A priority Critical patent/CN111669648B/zh
Publication of CN111669648A publication Critical patent/CN111669648A/zh
Application granted granted Critical
Publication of CN111669648B publication Critical patent/CN111669648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种视频倍频的方法,视频输入接口芯片接收计算机主机输出HDMI视频信号,将其转换为标准VESA时序信号,FPGA通过视频采集模块,接收视频像素信号经过一个FIFO缓存后送入视频倍频模块,视频倍频模块接收任意帧率的视频信号,然后固定以60HZ的频率输出视频帧信号,视频输出模块接收视频倍频模块输出的视频信号,将其转换为标准VESA时序信号输出给视频输出接口芯片进行输出显示。本视频倍频模块使用简单,可以用于基于FPGA的视频处理***。

Description

一种视频倍频的方法
技术领域
本发明属于视频处理领域,涉及一种视频倍频的方法。
背景技术
随着视频显示终端工艺技术和制造技术的快速发展,视频显示的分辨率和帧率有了很大的提高,意味着视频显示效果得到了提升。然而,有些视频源的帧率较低,显示效果大打折扣,甚至有些显示终端设备不支持原始视频源的帧率,为解决该问题,需要对原始视频源的帧率作倍频提升。
发明内容
本发明是为解决现有视频倍频实时性差,成本高,灵活性低的问题。
本发明提出一种视频倍频的方法,该方法的具体步骤为:
步骤一,FPGA(Field-Programmable Gate Array),即现场可编程门阵列]根据VESA标准接口时序采集视频接收芯片输出的原始视频信号,通过一个FIFO模块(FIFO,First Input First Output),即先进先出队列]缓存原始视频信号并进行时钟域转换,以200MHZ的时钟将数据输出视频倍频模块;
步骤二,视频倍频模块接收任意帧率的视频信号,然后以60HZ的帧率输出视频信号;
步骤三,视频输出模块接收视频倍频模块输出的信号,然后将其转换为标准VESA信号进行输出显示。
所述视频采集模块接收外部视频数据。
所述视频倍频模块可以接收任意帧率的视频源。
所述视频倍频模块以固定60HZ帧率输出视频信号。
所述视频倍频模块输入的最大分辨率为1920x1080。
所述视频倍频模块用于FPGA平台,其具体设计方法是:
1)在内存中开辟两块固定大小为1920x1080x3大小的内存区域,第一块内存区域记为A,第二块内存区域记录B;
2)倍频模块对输入的视频数据进行行列计数,根据帧号控制视频数据存入具体哪一块内存区域;
3)倍频模块控制第一帧图像存入内存区域0,第一帧图像存完后输出一个有效信号,同时将下一帧图像存在内存区域1,倍频模块不断检测有效信号,检测到有效信号后开始不断从内存区域0以60HZ的帧率输出视频信号,当内存区域1填满第二帧图像数据后,输出一个内存区域1有效信号,此时,倍频模块又以60HZ的帧率从内存区域1输出视频信号,同时将第三帧视频信号存入内存区域0,如此重复就能实现任意帧率视频倍频至60HZ的功能。
所述视频倍频模块可以直接用于FPGA开发平台上。
本发明解决了视频帧率低、显示效果不理想的问题,本发明的视频倍频模块可以接收任意帧率的视频信号,输入帧率可以大于输出帧率也可以小于输出帧率,内部数据流全流水线处理,降低了逻辑资源的使用,该模块只有一帧图像的延迟,输入图像分辨率可调,可用于需要视频倍频功能的设计。
附图说明
图1是一种视频倍频的方法***框图;
图2 是视频倍频模块原理框图;
图3是原始视频接收信号的时序图;
图4为视频倍频模块的处理方法流程图一;
图5为视频倍频模块的处理方法流程图二。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
实施方式一:
本实施方式公开了一种视频倍频的方法,包括以下步骤:
步骤一、视频采集模块采集原始视频信号并进行时钟域转换,以200MHZ的时钟将经过转化的视频数据输出给视频倍频模块;
步骤二、视频倍频模块将接收的视频数据以60HZ的帧率输出视频信号;
步骤三、视频输出模块接收视频倍频模块输出的信号,然后将其转换为标准VESA信号进行输出显示。
在上述步骤中,步骤一的具体过程为:FPGA根据VESA标准接口时序采集视频接收芯片输出的原始视频信号,通过一个FIFO模块缓存原始视频信号并进行时钟域转换,以200MHZ的时钟将数据输出视频倍频模块。视频采集模块接收外部视频数据。视频倍频模块可以接收任意帧率的视频源。视频倍频模块以固定60HZ帧率输出视频信号。
在上述步骤中,如图4和图5所示,视频倍频模块的处理方法为:
1)在内存模块中开辟出两块内存区域,第一块内存区域记为A,第二块内存区域记录B;
2)视频倍频模块对输入的视频数据进行行列计数,控制模块根据帧号控制视频数据具体存入哪一块内存区域;
3)在视频倍频模块的控制下第一帧图像存入第一块内存区域A,第一帧图像存完后输出给控制模块一个有效信号,同时控制模块将下一帧图像存入第二块内存区域B,与此同时,控制模块向视频倍频模块输出有效信号,视频倍频模块检测到有效信号后开始不断从第一块内存区域A以60HZ帧率向视频输出模块输出视频信号;
当第二块内存区域B填满第二帧图像数据后,控制模块将下一帧图像存入第一块内存区域A,与此同时,控制模块向视频倍频模块输出有效信号,视频倍频模块检测到有效信号后开始不断从第二块内存区域B以60HZ帧率向视频输出模块输出视频信号;
当第二块内存区域B填满第二帧图像数据后,将第三帧视频信号存入第一内存区域A,如此重复就能实现任意帧率视频倍频至60HZ的功能。
在上述步骤中,视频倍频模块输入的最大分辨率为1920x1080。视频倍频模块可以直接用于FPGA开发平台上。
本实施方式解决了视频帧率低、显示效果不理想的问题,本实施方式的视频倍频模块可以接收任意帧率的视频信号,输入帧率可以大于输出帧率也可以小于输出帧率,内部数据流全流水线处理,降低了逻辑资源的使用,该模块只有一帧图像的延迟,输入图像分辨率可调,可用于需要视频倍频功能的设计。
实施方式二:
参照图1所示,本实施方式公开了一种视频倍频的方法,包括:视频采集模块,视频倍频模块,视频输出模块,其中,
参数配置模块根据分辨率要求完成对HDMI接收芯片,视频采集模块,视频倍频模块,视频显示模块,HDMI发射芯片的配置。
HDMI接收芯片完成HDMI视频接收,将其转换为RGB24位视频信号供FPGA采集。
视频采集模块根据检测到的视频帧行场同步信号完成RGB24位数据的采集。
视频倍频模块接收视频采集模块的图像数据,将图像数据按帧存入内存区域,然后以固定60HZ帧率输出视频信号。
视频显示模块接收视频倍频模块输出的视频数据,将其转换为RGB24位时序信号发送给HDMI发射芯片。
HDMI发射芯片在视频显示模块的控制下输出标准显示器可接收的HDMI信号。
一种视频倍频的方法,具体工作包括以下步骤:
1)HDMI视频接收芯片采集电脑主机输出的1920x1080分辨率的视频数据,通过RGB24数据总线以148.5MHZ时钟速度输出视频数据;
2)参数配置模块,通过I2C接口向HDMI接收芯片内部寄存器写入初始化参数,将其初始化成1920x1080分辨率,输出时序初始化成RGB24为单边沿输出;将视频倍频模块的分辨率设置成1920x1080;将HDMI发射芯片初始化成1920x1080的分辨率,将其输入接收初始化成RGB24为单边沿输入接口。
3)视频采集模块,需要实现RGB24采集接口和FIFO输出接口,RGB24位视频接口包括CLK,HS,VS,DE,DATA[24]信号线,CLK时钟为148.5MHZ,HS为行同步信号,VS为场同步信号,DE为有效输出信号,DATA[24]为数据信号,视频采集模块根据HS和VS信号检测每一帧视频信号的起始,然后根据DE有效信号采集视频有效数据,具体时序参考图2,最后通过FIFO接口将视频数据输出给下一级数据缓存模块。
4)视频倍频模块,在DDR3中开辟两块固定大小为1920x1080x3大小的内存区域,第一块内存区域记为0,第二块内存区域记录1;倍频模块对输入的视频数据进行行列计数,根据帧号控制视频数据存入具体哪一块内存区域;在倍频模块的控制下第一帧图像存入内存区域0,第一帧图像存完后输出一个有效信号,同时将下一帧图像存在内存区域1,倍频模块不断检测有效信号,检测到有效信号后开始不断从内存区域0以60HZ帧率输出视频信号,当内存区域1填满第二帧图像数据后,输出一个内存区域1有效信号,此时,倍频模块又以60HZ帧率从内存区域1输出视频信号,同时将第三帧视频信号存入内存区域0,如此重复就能实现任意帧率视频倍频至60HZ的功能。
实施方式三:
在实施方式一和实施方式二公开方案的基础上,本实施方式在视频倍频模块与视频显示模块之间还具有视频叠加模块。具体地,多路视频倍频模块分别通过一个视频无极缩放模块缩放后,统一在视频叠加模块依据叠加参数完成叠加,视频叠加模块把叠加视频发送给视频显示模块。
视频叠加模块在M路图像数据叠加时,根据参数配置模块的配置参数和叠加坐标点,分别截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。
视频叠加模块在两帧图像叠加之前,先获取叠加坐标点,接下来获取一帧图像中横坐标-1的第一新坐标点像素信息、另一帧图像中横坐标-1的第二新坐标点像素信息,然后根据第一新坐标点像素信息和第二新坐标点像素信息调整叠加坐标点的像素信息;最后截取不同路的两帧图像数据后再进行当前这两帧图像数据的叠加。
视频叠加模块调取M路缩放数据之前,先把每路缩放数据转换成若干帧图像数据,M路的若干帧图像数据在视频叠加模块叠加。一个视频缓存模块对应一个视频无极缩放模块;视频缓存模块与视频无极缩放模块之间具有一个视频倍频模块;视频倍频模块调取视频缓存模块中的视频数据,将该视频数据以60HZ的帧率输出给视频无极缩放模块。
视频叠加模块通过AXI-STREAM接口接收四路视频数据,根据参数配置模块设置的输入输出分辨率完成对一帧视频数据的叠加处理,然后通过AXI-STREAM接口输出叠加后的视频数据。视频显示模块接收视频缩放模块输出的视频数据,将其转换为RGB24位时序信号发送给HDMI发射芯片。HDMI发射芯片在视频显示模块的控制下输出标准显示器可接收的HDMI信号。
视频叠加模块,视频缩放模块采用C语言开发,算法采用双线性插值算法,通过优化指令对C代码进行优化,具体优化步骤包括:A)首先完成视频缩放模块的C语言代码编写;B)将视频缩放模块输入和输出变量优化成AXI-STREAM接口,数据位宽为24位;C)将算法中的外层循环结构做pipeline优化,保证模块内部流水线处理,提高算法效率;D)将最内层循环作展开优化,保证每个时钟周期内完成一个像素的输出;E)对模块时钟作约束处理,时钟周期定位6.73ns。F)视频缩放模块代码完成后首先进行C语言仿真,保证算法没有问题;G)C仿真通过后对代码进行综合,转换成FPGA逻辑代码,然后再对综合后的代码进行仿真。H)仿真成功后导出视频缩放模块IP,之后就可在FPGA开发中使用该IP进行设计。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只限于这些说明。对于本申请所属技术领域的普通人员,在不脱离本申请发明构思的前提下,还可以做出若干简单替换。

Claims (7)

1.一种视频倍频的方法,其特征在于,包括以下步骤:
步骤一、视频采集模块采集原始视频信号并进行时钟域转换,以200MHZ的时钟将经过转化的视频数据输出给视频倍频模块;
步骤二、视频倍频模块将接收的所述视频数据以固定60HZ的帧率输出视频信号;
步骤三、视频输出模块接收视频倍频模块输出的信号,然后将其转换为标准VESA信号进行输出显示;
视频倍频模块的处理方法为:
1)在内存模块中开辟出两块内存区域,第一块内存区域记为A,第二块内存区域记录B;
2)视频倍频模块对输入的视频数据进行行列计数,控制模块根据帧号控制视频数据具体存入哪一块内存区域;
3)在视频倍频模块的控制下第一帧图像存入第一块内存区域A,第一帧图像存完后输出给控制模块一个有效信号,同时控制模块将下一帧图像存入第二块内存区域B,与此同时,控制模块向视频倍频模块输出有效信号,视频倍频模块检测到有效信号后开始不断从第一块内存区域A以60HZ帧率向视频输出模块输出视频信号;
当第二块内存区域B填满第二帧图像数据后,控制模块将下一帧图像存入第一块内存区域A,与此同时,控制模块向视频倍频模块输出有效信号,视频倍频模块检测到有效信号后开始不断从第二块内存区域B以60HZ帧率向视频输出模块输出视频信号;
当第二块内存区域B填满第二帧图像数据后,将第三帧视频信号存入第一内存区域A,如此重复就能实现任意帧率视频倍频至60HZ的功能。
2.根据权利要求1所述的视频倍频的方法,其特征在于,所述步骤一的具体过程为:FPGA根据VESA标准接口时序采集视频接收芯片输出的原始视频信号,通过一个FIFO模块缓存原始视频信号并进行时钟域转换,以200MHZ的时钟将数据输出视频倍频模块。
3.根据权利要求1所述的一种视频倍频的方法,其特征在于,所述视频采集模块接收外部视频数据。
4.根据权利要求1所述的一种视频倍频的方法,其特征在于,所述视频倍频模块可以接收任意帧率的视频源。
5.根据权利要求1所述的一种视频倍频的方法,其特征在于,所述视频倍频模块以固定60HZ帧率输出视频信号。
6.根据权利要求1所述的一种视频倍频的方法,其特征在于,所述视频倍频模块输入的最大分辨率为1920x1080。
7.根据权利要求1所述的一种视频倍频的方法,其特征在于,所述视频倍频模块可以直接用于FPGA开发平台上。
CN202010565581.9A 2020-06-19 2020-06-19 一种视频倍频的方法 Active CN111669648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010565581.9A CN111669648B (zh) 2020-06-19 2020-06-19 一种视频倍频的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010565581.9A CN111669648B (zh) 2020-06-19 2020-06-19 一种视频倍频的方法

Publications (2)

Publication Number Publication Date
CN111669648A CN111669648A (zh) 2020-09-15
CN111669648B true CN111669648B (zh) 2022-03-25

Family

ID=72388831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010565581.9A Active CN111669648B (zh) 2020-06-19 2020-06-19 一种视频倍频的方法

Country Status (1)

Country Link
CN (1) CN111669648B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501096A (zh) * 2020-10-27 2022-05-13 西安钛铂锶电子科技有限公司 图像显示方法、图像显示装置和图像显示***
TWI761064B (zh) * 2021-02-04 2022-04-11 瑞昱半導體股份有限公司 應用於顯示面板的控制電路及控制方法
CN115209024A (zh) * 2022-07-18 2022-10-18 湖南华南光电(集团)有限责任公司 一种基于fpga电子变倍前置ddr的相机***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522365B1 (en) * 2000-01-27 2003-02-18 Oak Technology, Inc. Method and system for pixel clock recovery
CN102006696A (zh) * 2009-09-02 2011-04-06 北京京东方光电科技有限公司 发光二极管背光驱动电路、方法及其恒流源
CN103475842A (zh) * 2013-09-25 2013-12-25 武汉精立电子技术有限公司 Lvds视频信号转换为mipi视频信号方法
CN104717442A (zh) * 2013-12-12 2015-06-17 中国航空工业集团公司第六三一研究所 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法
CN104954723A (zh) * 2015-06-29 2015-09-30 武汉精测电子技术股份有限公司 Lvds视频信号转换为1lane dp视频信号的方法及***
CN105023549A (zh) * 2015-07-15 2015-11-04 武汉精测电子技术股份有限公司 分辨率自适应的mipi图形信号产生装置及方法
CN108010476A (zh) * 2017-11-29 2018-05-08 武汉精立电子技术有限公司 一种视频信号传输时钟发生装置及方法
CN108924561A (zh) * 2018-07-30 2018-11-30 西安安国软件有限公司 基于h.264视频压缩标准的实时视频快速压缩方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
US7558326B1 (en) * 2001-09-12 2009-07-07 Silicon Image, Inc. Method and apparatus for sending auxiliary data on a TMDS-like link
KR100670134B1 (ko) * 2004-10-08 2007-01-16 삼성에스디아이 주식회사 전류 구동형 디스플레이 소자의 데이터 구동 장치
JP2017005611A (ja) * 2015-06-15 2017-01-05 富士通株式会社 動画像復号装置及び動画像復号方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522365B1 (en) * 2000-01-27 2003-02-18 Oak Technology, Inc. Method and system for pixel clock recovery
CN102006696A (zh) * 2009-09-02 2011-04-06 北京京东方光电科技有限公司 发光二极管背光驱动电路、方法及其恒流源
CN103475842A (zh) * 2013-09-25 2013-12-25 武汉精立电子技术有限公司 Lvds视频信号转换为mipi视频信号方法
CN104717442A (zh) * 2013-12-12 2015-06-17 中国航空工业集团公司第六三一研究所 多视频格式向VESA协议1600X1200分辨率60Hz帧率视频的自动转换方法
CN104954723A (zh) * 2015-06-29 2015-09-30 武汉精测电子技术股份有限公司 Lvds视频信号转换为1lane dp视频信号的方法及***
CN105023549A (zh) * 2015-07-15 2015-11-04 武汉精测电子技术股份有限公司 分辨率自适应的mipi图形信号产生装置及方法
CN108010476A (zh) * 2017-11-29 2018-05-08 武汉精立电子技术有限公司 一种视频信号传输时钟发生装置及方法
CN108924561A (zh) * 2018-07-30 2018-11-30 西安安国软件有限公司 基于h.264视频压缩标准的实时视频快速压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Hybrid Broadcasting With Small Buffer Demand and Waiting Time for Video-on-Demand Applications》;Hsiang-Fu Yu;《IEEE Transactions on Broadcasting》;20080523;第54卷(第2期);全文 *
《数字视频接口(DVI)发送器的设计与实现》;马俊;《中国优秀硕士学位论文全文数据库》;20140615;全文 *

Also Published As

Publication number Publication date
CN111669648A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111669648B (zh) 一种视频倍频的方法
CN111669517B (zh) 一种视频叠加方法
US10282805B2 (en) Image signal processor and devices including the same
CN107249101B (zh) 一种高分辨率图像采集与处理装置
US8749667B2 (en) System and method for maintaining maximum input rate while up-scaling an image vertically
CN109743515B (zh) 一种基于软核平台的异步视频融合叠加***及方法
CN103581505B (zh) 一种数字视频信号处理装置及方法
CN107948546B (zh) 一种低延迟视频混合装置
CN110225316B (zh) 一种软硬协同的多路视频处理装置及***
CN114302087A (zh) 一种mipi数据传输模式转换方法、装置及电子设备
CN111641823B (zh) 一种基于mipi接口的图像算法验证***
CN111770342A (zh) 一种视频无级缩放方法
CN109068023B (zh) 超大面阵图像传感器的读出电路同步控制***及控制方法
CN102497514B (zh) 一种三通道视频转发设备和转发方法
CN115955589A (zh) 基于mipi的优化视频拼接方法、***和存储介质
CN101499245A (zh) 异步先入先出存储器、液晶显示控制器及其控制方法
Gong et al. Design of high-speed real-time sensor image processing based on FPGA and DDR3
CN102685439A (zh) 一种使用fpga实现图像数据传输控制的装置及方法
CN108989730B (zh) 视频格式转换方法及其装置、现场可编程门阵列
CN106780288B (zh) 一种多边形填充的硬件加速电路
CN205005137U (zh) Fpga的实时图像采集和去噪处理的装置
CN114071038B (zh) 一种图像处理***及方法
CN113962842B (zh) 一种基于大规模集成电路高层次综合的动态无极消旋***及方法
CN117880437A (zh) 一种基于fpga机载显示***低功耗的帧同步平台
CN108632499B (zh) 一种图像信号处理器及其时序产生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant