CN108174198A - 一种视频图像质量诊断分析检测设备及应用*** - Google Patents

一种视频图像质量诊断分析检测设备及应用*** Download PDF

Info

Publication number
CN108174198A
CN108174198A CN201810187333.8A CN201810187333A CN108174198A CN 108174198 A CN108174198 A CN 108174198A CN 201810187333 A CN201810187333 A CN 201810187333A CN 108174198 A CN108174198 A CN 108174198A
Authority
CN
China
Prior art keywords
image
video
edge
module
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810187333.8A
Other languages
English (en)
Other versions
CN108174198B (zh
Inventor
唐祥
李阳
黄频
苏志亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Soft Intelligent System Co Ltd
Original Assignee
Jiangsu Soft Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Soft Intelligent System Co Ltd filed Critical Jiangsu Soft Intelligent System Co Ltd
Priority to CN201810187333.8A priority Critical patent/CN108174198B/zh
Publication of CN108174198A publication Critical patent/CN108174198A/zh
Application granted granted Critical
Publication of CN108174198B publication Critical patent/CN108174198B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种视频图像质量诊断分析检测设备及应用***,包括视频采集模块、图像抽取模块、图像分析模块和警告模块,所述视频采集模块用于采集视频数据;所述图像抽取模块用于对采集到的视频数据进行抽帧,得到单帧视频图像;所述图像分析模块包括图像转换单元和图像分析单元,所述图像转换单元用于将单帧视频图像进行边缘提取处理得到边缘图像,图像分析单元用于对边缘图像进行分析;所述警告模块用于输出图像分析结果及遇到不合格图像时对用户进行提示。所述的视频图像质量诊断分析检测设备及应用***能够快速对视频图像进行分析,判断出图像质量是否合格,当出现视频图像质量不好的情况时发出警告。

Description

一种视频图像质量诊断分析检测设备及应用***
技术领域
本发明涉及视频图像分析技术领域,具体是一种视频图像质量诊断分析检测设备及应用***。
背景技术
视频监控是安全防范***的重要组成部分,它是一种防范能力较强的综合***。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。信息的记录和存贮是安防***的基本功能要求,而它真正的价值所在是记录信息的完整和真实。视频监控***所记录的信息是安防***中最完整和真实的内容,是可以作为证据和为事后的调查提供依据的东西。这是其它技术***作不到的。它不仅可以记录事件发生时的状态,还可以记录事件发展的过程和处置的结果,为改进***提供有意义的参考。视频监控摄像头所记录下来的图像的质量好坏直接影响了其所记录的信息是否具有价值。
我国的视频监控应用行业非常普遍,视频监控摄像头的数量十分庞大,其监控难度也不断增加,设备故障、镜头遮挡等一些问题直接影响了监控摄像头所记录的视频质量,现在的监控***中多是由工作人员观看摄像头所记录的视频通过人眼判断视频质量好坏,但面对不断延长的监控时间和数量不断增长的摄像头,单纯依靠人眼对数量庞大视频进行诊断已经不现实了。为此, 基于计算机视觉和人工智能技术, 借助计算机强大处理能力的视频质量诊断***应运而生。
视频质量诊断***是一种智能化视频故障分析与预警***, 在网络视频监控***的基础上叠加视频分析的功能, 充分挖掘抽取视频图像资源中的关键信息, 它通过分析视频内容从而对视频图像出现的色偏、 清晰度异常、 无信号等常见摄像头故障做出准确判断并发出报警信息, 有效预防因硬件导致的图像质量问题及所带来的不必要的损失,并及时检测破坏监控设备的不法行为。其中, 检测视频清晰度是否异常是非常重要的功能之一。
视频清晰度异常的原因主要是由于焦距不当、 镜头损坏或异物遮蔽引起的视频主体部分的图像模糊。目前主要通过人工来关注监控视频图像的清晰度是否异常, 效率低下而且很费时间和精力。这样, 在发生异常后, 设备得不到及时的维护, 大大降低了视频监控***的可信度。
Kirsch算子是R.Kirsch提出来一种边缘检测新算法,它采用8个模板对图像上的每一个像素点进行卷积求导数,这8个模板代表8个方向,对图像上的8个特定边缘方向作出最大响应,运算中取最大值作为图像的边缘输出。
发明内容
发明目的:本发明的目的是针对目前技术中的不足,提供一种视频图像质量诊断分析检测设备及应用***,能够快速对视频图像进行分析,判断出图像质量是否合格,当出现视频图像质量不好的情况时发出警告。
技术方案:为实现上述目的,本发明提供一种视频图像质量诊断分析检测设备及应用***,包括视频采集模块、图像抽取模块、图像分析模块和警告模块,所述视频采集模块用于采集视频数据;所述图像抽取模块用于对采集到的视频数据进行抽帧,得到单帧视频图像;所述图像分析模块包括图像转换单元和图像分析单元,所述图像转换单元用于将单帧视频图像进行边缘提取处理得到边缘图像,图像分析单元用于对边缘图像进行分析;所述警告模块用于输出图像分析结果及遇到不合格图像时对用户进行提示;所述视频图像质量诊断分析检测设备及应用***进行图像分析具体步骤如下:
a、采集视频数据;
b、对步骤a中采集得到的视频数据进行抽帧处理,得到单帧图像,获得单帧图像时可以不间断连续获取也可间隔至少一帧图像连续进行获取;
c、对步骤b中获得的单帧图像进行边缘提取处理,得到边缘图像;
d、对步骤c中得到的边缘图像进行分析,分析内容为通过遍历边缘图像像素点的方式获得边缘图像中处于图像边缘的像素点总数量Nk,进一步得到边缘像素点比例φ=Nk/Nsum,Nsum为单帧图像总像素点数量;
e、记录步骤d中单帧图像的边缘像素点比例φ,实时将得到的新一帧的边缘像素点比例φn与前一帧的边缘像素点比例φn-1进行对比,得到图像变化率β=φn/φn-1,当0.5<β<2时,输出图像正常的结果,否则输出图像不合格结果。
作为本方案的一种改进,所述警告模块还包括无线单元和通信单元,警告模块可通过2G、3G、4G及wifi网络向移动设备发送信息。
作为本方案的一种改进,所述步骤b中对图像进行抽帧处理时,抽取的相邻两帧图像之间所间隔的图像帧数小于视频0.5s时长所包含的帧数。
作为本方案的一种改进,所述步骤c中对单帧图像使用Kirsch算子进行边缘提取处理,得到边缘图像。
作为本方案的一种改进,所述视频获取模块采用多路同步轮询的方式获取视频数据。
有益效果:本发明所述的一种视频图像质量诊断分析检测设备及应用***,提供了一种新的图片分析方式,通过Kirsch算子对图片进行处理,将图片处理为具有图案边缘的黑白图片,在利用遍历像素点的方式获得经过处理的图片中边缘像素点的总数量,并得到边缘像素点比例,在实际的监控录像中摄像头所拍摄的位置一般是固定不动的,所以当视频质量较高且稳定时,视频单帧图像经过处理后边缘像素点比例是一定的,数值变化很小,当对街道等公共区域的视频图像进行处理时,由于图像中出现的行人、车辆等物体为规则的物体,当图片经过边缘提取处理后其增加的边缘像素点数量较少,相邻两帧画面的边缘像素点比例变化较小,但是如果由于摄像头故障等原因导致图像模糊或者雪花点等问题时,有问题的视频图像经过处理后会边缘像素点的数量会大幅度增加,导致边缘像素点比例增大;当摄像头镜头被遮挡时,此时图像会出现大面积黑色区域,图像进过边缘化处理后,边缘像素点数量会大幅度减少,进而导致边缘像素点比例大幅度减小,因此,通过对比相邻两帧图片的边缘像素点比例的值即可对新一帧的视频图像质量得到一个快速的评估,经过反复测试和调整,当0.5<图像变化率β<2时,输出图像正常的结果,否则输出图像不合格结果。
警告***括无线单元和通信单元,警告模块可通过2G、3G、4G及wifi网络向移动设备发送信息,操作人员可以实时接收到图像的不合格信息,便于操作人员及时做出处理。
步骤b中对图像进行抽帧处理时,抽取的相邻两帧图像之间所间隔的图像帧数小于视频0.5s时长所包含的帧数,保证进行检测的相邻两帧画面的图像具有连贯性,特别时对于公共区域所拍摄的录像画面,具有良好的连贯性可以保证边缘像素点数量的变化具有连续性,而不是突增和突减,进而保证图像变化率的数值不会出现较大的波动,保证所述视频图像质量诊断分析检测设备及应用***对视频图像诊断分析的准确性。
所述的视频图像质量诊断分析检测设备及应用***,可以大大减少人工的投入,通过计算机处理对数量庞大的视频信息进行处理,且相比于传统的视频信息处理,本发明采用了全新的分析方法,大大减少了视频分析的计算量,进而大大减少视频图像处理时间。
附图说明
图1、所述视频图像质量诊断分析检测设备及应用***框架图;
图2、正常原始视频图像;
图3、正常原始视频图像进行边缘提取处理后的边缘图片;
图4、模糊的原始视频图像;
图5、模糊的原始视频图像进行边缘提取处理后的边缘图片。
具体实施方式
下面结合附图和具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是,下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向,词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
如图1所示是一种视频图像质量诊断分析检测设备及应用***的框架图,包括视频采集模块、图像抽取模块、图像分析模块和警告模块,视频采集模块用于采集视频数据,视频获取模块采用多路同步轮询的方式获取视频数据;图像抽取模块用于对采集到的视频数据进行抽帧,得到单帧视频图像;图像分析模块包括图像转换单元和图像分析单元,图像转换单元用于对单帧视频图像使用Kirsch算子进行边缘提取处理,得到边缘图像,图像分析单元用于对边缘图像进行分析;警告模块用于输出图像分析结果及遇到不合格图像时对用户进行提示,警告模块还包括无线单元和通信单元,警告模块可通过2G、3G、4G及wifi网络向移动设备发送信息。
所述视频图像质量诊断分析检测设备及应用***进行图像分析具体步骤如下:
a、采集视频数据;
b、对步骤a中采集得到的视频数据进行抽帧处理,得到单帧图像,获得单帧图像时可以不间断连续获取也可间隔至少一帧图像连续进行获取;
c、对步骤b中获得的单帧图像进行边缘提取处理,得到边缘图像;
d、对步骤c中得到的边缘图像进行分析,分析内容为通过遍历边缘图像像素点的方式获得边缘图像中处于图像边缘的像素点总数量Nk,进一步得到边缘像素点比例φ=Nk/Nsum,Nsum为单帧图像总像素点数量;
e、记录步骤d中单帧图像的边缘像素点比例φ,实时将得到的新一帧的边缘像素点比例φn与前一帧的边缘像素点比例φn-1进行对比,得到图像变化率β=φn/φn-1,当0.5<β<2时,输出图像正常的结果,否则输出图像不合格结果。
为了保证视频图像质量诊断分析结果的准确性,步骤b中对图像进行抽帧处理时,抽取的相邻两帧图像之间所间隔的图像帧数小于视频0.5s时长所包含的帧数。
Kirsch算子程序如下:
clear all close all
A = imread('cameraman.GIF'); % 读入图像
imshow(A);
title('原图');
mask1=[-3,-3,-3;-3,0,5;-3,5,5]; % 建立方向模板
mask2=[-3,-3,5;-3,0,5;-3,-3,5];
mask3=[-3,5,5;-3,0,5;-3,-3,-3];
mask4=[-3,-3,-3;-3,0,-3;5,5,5];
mask5=[5,5,5;-3,0,-3;-3,-3,-3];
mask6=[-3,-3,-3;5,0,-3;5,5,-3];
mask7=[5,-3,-3;5,0,-3;5,-3,-3];
mask8=[5,5,-3;5,0,-3;-3,-3,-3];
I = im2double(A); % 将数据图像转化为双精度
d1 = imfilter(I, mask1); % 计算8个领域的灰度变化
d2 = imfilter(I, mask2);
d3 = imfilter(I, mask3);
d4 = imfilter(I, mask4);
d5 = imfilter(I, mask5);
d6 = imfilter(I, mask6);
d7 = imfilter(I, mask7);
d8 = imfilter(I, mask8);
dd = max(abs(d1),abs(d2)); % 取差值变化最大的元素组成灰度变化矩阵
dd = max(dd,abs(d3));
dd = max(dd,abs(d4));
dd = max(dd,abs(d5));
dd = max(dd,abs(d6));
dd = max(dd,abs(d7));
dd = max(dd,abs(d8));
grad = mat2gray(dd); % 将灰度变化矩阵转化为灰度图像
level = graythresh(grad); % 计算灰度阈值
BW = im2bw(grad,level); % 用阈值分割梯度图像
figure, imshow(BW); % 显示分割后的图像,即边缘图像
title('Kirsch')
利用遍历像素点的方式对边缘图像上像素点进行计数的程序如下:
clear;
Img_Init=imread('p6-07.GIF');
[M,N]=size(Img_Init);
Nk=0; %初始化像素点总数数值
for i=1:M
for j=1:N
if(Img_Edge(i,j)) %遍历边缘图像求取边缘像素点总数
Nk=Nk+1;
end
end
end
如图2所示为清晰的食品图像,经过Kirsch算子处理后所获得的边缘图像如图3所示,图2的总像素点数量为72090像素,图3中白色像素点即边缘像素点总数量为1784,则图2经过处理分析后得到的边缘像素点比例φn-1=1784/72090X100%=2.47%。
如图4所示为对焦不准确拍摄的食品图像,经过Kirsch算子处理后所获得的边缘图像如图5所示,图4的总像素点数量为72090像素,图5中白色像素点即边缘像素点总数量为18977,则图2经过处理分析后得到的边缘像素点比例φn=18977/72090X100%=26.32%。
图4即可看做摄像头出现故障后摄像头所拍摄的图像,通过计算即可得到图像变化率β=φn/φn-1=10.66>2,即可判定图4为存在问题的图像,进而警告模块可发出警告通知工作人员进行查看。由于实际摄像头安装过程中会对图像进行调试,所以摄像头初始拍摄的图像均是合格清晰的图像,当摄像头后续工作过程中,若出现问题,本发明所使用的分析方法可以准确的诊断出图像是否存在问题。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。

Claims (5)

1.一种视频图像质量诊断分析检测设备及应用***,其特征在于,包括视频采集模块、图像抽取模块、图像分析模块和警告模块,所述视频采集模块用于采集视频数据;所述图像抽取模块用于对采集到的视频数据进行抽帧,得到单帧视频图像;所述图像分析模块包括图像转换单元和图像分析单元,所述图像转换单元用于将单帧视频图像进行边缘提取处理得到边缘图像,图像分析单元用于对边缘图像进行分析;所述警告模块用于输出图像分析结果及遇到不合格图像时对用户进行提示;所述视频图像质量诊断分析检测设备及应用***进行图像分析具体步骤如下:
a、采集视频数据;
b、对步骤a中采集得到的视频数据进行抽帧处理,得到单帧图像,获得单帧图像时可以不间断连续获取也可间隔至少一帧图像连续进行获取;
c、对步骤b中获得的单帧图像进行边缘提取处理,得到边缘图像;
d、对步骤c中得到的边缘图像进行分析,分析内容为通过遍历边缘图像像素点的方式获得边缘图像中处于图像边缘的像素点总数量Nk,进一步得到边缘像素点比例φ=Nk/Nsum,Nsum为单帧图像总像素点数量;
e、记录步骤d中单帧图像的边缘像素点比例φ,实时将得到的新一帧的边缘像素点比例φn与前一帧的边缘像素点比例φn-1进行对比,得到图像变化率β=φn/φn-1,当0.5<β<2时,输出图像正常的结果,否则输出图像不合格结果。
2.如权利要求1所述的一种视频图像质量诊断分析检测设备及应用***,其特征在于:所述警告模块还包括无线单元和通信单元,警告模块可通过2G、3G、4G及wifi网络向移动设备发送信息。
3.如权利要求2所述的一种视频图像质量诊断分析检测设备及应用***,其特征在于:所述步骤b中对图像进行抽帧处理时,抽取的相邻两帧图像之间所间隔的图像帧数小于视频0.5s时长所包含的帧数。
4.如权利要求3所述的一种视频图像质量诊断分析检测设备及应用***,其特征在于:所述步骤c中对单帧图像使用Kirsch算子进行边缘提取处理,得到边缘图像。
5.如权利要求4所述的一种视频图像质量诊断分析检测设备及应用***,其特征在于:所述视频获取模块采用多路同步轮询的方式获取视频数据。
CN201810187333.8A 2018-03-07 2018-03-07 一种视频图像质量诊断分析检测设备及应用*** Expired - Fee Related CN108174198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810187333.8A CN108174198B (zh) 2018-03-07 2018-03-07 一种视频图像质量诊断分析检测设备及应用***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810187333.8A CN108174198B (zh) 2018-03-07 2018-03-07 一种视频图像质量诊断分析检测设备及应用***

Publications (2)

Publication Number Publication Date
CN108174198A true CN108174198A (zh) 2018-06-15
CN108174198B CN108174198B (zh) 2021-02-23

Family

ID=62511982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810187333.8A Expired - Fee Related CN108174198B (zh) 2018-03-07 2018-03-07 一种视频图像质量诊断分析检测设备及应用***

Country Status (1)

Country Link
CN (1) CN108174198B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003425A (zh) * 2018-08-10 2018-12-14 北京车和家信息技术有限公司 一种预警方法及相关设备
CN110708568A (zh) * 2019-10-30 2020-01-17 北京奇艺世纪科技有限公司 一种视频内容突变检测方法及装置
CN111027398A (zh) * 2019-11-14 2020-04-17 深圳市有为信息技术发展有限公司 行车记录仪视频遮挡检测方法
CN113822860A (zh) * 2021-08-30 2021-12-21 上海明略人工智能(集团)有限公司 视频质量判断方法、***、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175056A1 (en) * 2003-03-07 2004-09-09 Chulhee Lee Methods and systems for objective measurement of video quality
CN1633175A (zh) * 2005-01-13 2005-06-29 大唐微电子技术有限公司 一种远程监控的方法及***
CN101950418A (zh) * 2010-08-26 2011-01-19 北京中创信测科技股份有限公司 一种图像质量评价方法和装置
CN104506850A (zh) * 2014-12-16 2015-04-08 北京中星微电子有限公司 一种视频遮挡判断方法和装置
CN106228568A (zh) * 2016-10-11 2016-12-14 北京京东尚科信息技术有限公司 模糊图片检测方法和装置
CN106454330A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号的模糊异常检测方法
CN106454331A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号质量检测***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040175056A1 (en) * 2003-03-07 2004-09-09 Chulhee Lee Methods and systems for objective measurement of video quality
CN1633175A (zh) * 2005-01-13 2005-06-29 大唐微电子技术有限公司 一种远程监控的方法及***
CN101950418A (zh) * 2010-08-26 2011-01-19 北京中创信测科技股份有限公司 一种图像质量评价方法和装置
CN104506850A (zh) * 2014-12-16 2015-04-08 北京中星微电子有限公司 一种视频遮挡判断方法和装置
CN106228568A (zh) * 2016-10-11 2016-12-14 北京京东尚科信息技术有限公司 模糊图片检测方法和装置
CN106454330A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号的模糊异常检测方法
CN106454331A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号质量检测***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003425A (zh) * 2018-08-10 2018-12-14 北京车和家信息技术有限公司 一种预警方法及相关设备
CN110708568A (zh) * 2019-10-30 2020-01-17 北京奇艺世纪科技有限公司 一种视频内容突变检测方法及装置
CN111027398A (zh) * 2019-11-14 2020-04-17 深圳市有为信息技术发展有限公司 行车记录仪视频遮挡检测方法
CN113822860A (zh) * 2021-08-30 2021-12-21 上海明略人工智能(集团)有限公司 视频质量判断方法、***、存储介质及电子设备

Also Published As

Publication number Publication date
CN108174198B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN108174198A (zh) 一种视频图像质量诊断分析检测设备及应用***
CN109711318B (zh) 一种基于视频流的多人脸检测与跟踪方法
DE602005005583T2 (de) Videoüberwachungssysteme im allgemeinen und speziell eine Vorrichtung und Verfahren zur automatischen Echtzeiterfassung abnormaler Bewegung in Videoströmen
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN106056079B (zh) 一种图像采集设备及人脸五官的遮挡检测方法
CN110826538A (zh) 一种用于电力营业厅的异常离岗识别***
CN105791774A (zh) 一种基于视频内容分析的监控视频传输方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN110233991A (zh) 一种用于视频监控中视频遮挡的检测方法及***
CN104539936A (zh) 一种监测监控视频出现雪花噪声的***和方法
CN103093179A (zh) 视频条纹量化计算方法
CN115802027B (zh) 基于图像处理的在线监控设备运行异常检测方法
CN111178241A (zh) 一种基于视频分析的智能监控***及方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN111223011A (zh) 一种基于视频分析的餐饮企业食品***方法及***
CN113989711A (zh) 一种配电施工安全工器具使用识别方法及***
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN102456129B (zh) 一种安检图像纠偏方法和***
CN107507214A (zh) 获取货物图像的方法和装置
CN111432172A (zh) 基于图像融合的围栏报警方法及***
CN111416960A (zh) 一种基于云服务的视频监控***
CN115914676A (zh) 一种超高清视频信号的实时监测比对方法及***
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、***及电子设备
CN109193935B (zh) 一种基于图像处理的配电房监测方法及***
CN114529497A (zh) 老化的屏幕的检测方法、***、存储介质以及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210223