CN111862152B - 一种基于帧间差分与超像素分割的动目标检测方法 - Google Patents

一种基于帧间差分与超像素分割的动目标检测方法 Download PDF

Info

Publication number
CN111862152B
CN111862152B CN202010614370.XA CN202010614370A CN111862152B CN 111862152 B CN111862152 B CN 111862152B CN 202010614370 A CN202010614370 A CN 202010614370A CN 111862152 B CN111862152 B CN 111862152B
Authority
CN
China
Prior art keywords
image
super
pixel
images
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010614370.XA
Other languages
English (en)
Other versions
CN111862152A (zh
Inventor
朱磊
蒙晓宇
王鑫
张博
潘杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010614370.XA priority Critical patent/CN111862152B/zh
Publication of CN111862152A publication Critical patent/CN111862152A/zh
Application granted granted Critical
Publication of CN111862152B publication Critical patent/CN111862152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于帧间差分与超像素分割的动目标检测方法,在超像素分割之前对图像中值滤波和灰度化处理,可减少了彩色信息传输的影响,再通过超像素分割对其中一幅图像分割,然后对两帧图像对应的区域块差分处理,最后通过阈值处理,减少了细小区域的检测,提高了检测方法的准确率。本发明使用超像素分割算法避免了检测不完整的问题,减小了检测过程中的漏检率,因此本发明解决了现有技术中存在的运动目标检测不准确和不完整的问题。

Description

一种基于帧间差分与超像素分割的动目标检测方法
技术领域
本发明属于图像分割技术领域,涉及一种基于帧间差分与超像素分割的动目标检测方法
背景技术
运动目标的检测是计算机图像处理与图像理解领域里一个重要研究课题,在智能监控、交通控制、军事战场等领域应用越来越广泛。目前,运动目标检测方法主要有光流分析法、帧间差分法和背景差分法三种。针对机器视觉上的运动目标检测问题,帧间差分存在复杂的场景中提取运动的目标提取的结果不完整。当时间间隔较长,或物体移动的速度过快时,图像上出现“重影”现象;当时间间隔短并且运动目标表面有大面积灰度值相似区域的情况下,做差分图像会出现孔洞的现象,由于以上原因导致帧间差法提取目标只能是大概轮廓,还可能导致漏检和误检。
帧间差分法是是一种检测邻近帧变化量的一种方法,通过序列图相邻的两帧或三帧进行一定图像运算来检测目标。针对帧间差分在检测运动目标时产生的“重影”、目标检测不完整以及对目标检测过程中产生干扰造成运动目标误检的问题,因此在帧间差分的的基础上提出一种新的方法超像素分割。
发明内容
本发明的目的是提供一种基于帧间差分与超像素分割的动目标检测方法,解决了现有技术中存在的缺陷检测不准确的问题。
本发明所采用的技术方案是,一种基于帧间差分与超像素分割的动目标检测方法,具体步骤按照以下步骤实施:
步骤1,输入视频帧序列,取连续的两帧图像第n帧和第n-1帧作为动目标检测图像,将动目标检测图像灰度化处理,然后中值滤波,得到滤波后的图像fn-1和图像fn
步骤2,采用LSC超像素分割对图像fn进行超像素分割,找出图像fn每个超像素块的信息;
步骤3,将步骤2的所得的图像fn的每个超像素块的信息与图像fn-1进行差分处理,得到差分图Dn(x,y),对差分图像阈值处理最终得到Dn’(x,y);
步骤4,利用边缘检测中的canny算子检测Dn’(x,y),即目标区域。
本发明的特点还在于:
步骤1具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1
步骤2具体按照以下步骤实施:
步骤2.1,对图像fn进行LSC超像素分割,超像素块数分为1000块;
步骤2.2,找出步骤2.1所得的每一块超像素块的位置信息以及超像素块像素点的个数;
步骤2.3,将步骤2.2所得的每个超像素块中的像素点的个数进行求和;公式如下:
其中fn(x,y)是LSC超像素分割法分割后的超像素块内的像素点。
步骤3具体按照以下步骤实施:
步骤3.1,将图像fn的每个超像素块分别点乘图像fn-1帧图像,得到图像fn-1的每个超像素块;
步骤3.2,将图像fn的每个超像素块信息与图像fn-1的每个超像素块信息/>进行帧间差分法处理,得到差分图像Dn(x,y),公式如下:
其中a是LSC超像素分割的区域块内总像素点的个数;
步骤3.3,对步骤3.2所得差分图像Dn(x,y)阈值化处理,最终对所有阈值后的差分图像求和;
步骤3.4,将步骤3.3得到的图像进行数学形态学开运算处理;即得到目标区域。
步骤4的主要步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值、滞后边界跟踪。
步骤3.4具体运算方式为:
其中SE为开运算的结构元素,B为二值图像。
步骤3.3具体为:
步骤3.3.1,将图像fn与图像fn-1对应位置的区域块进行差分处理,阈值设置为100,当阈值小于100时,视区域块为背景,即对应的两个区域块中不存在运动目标;当区域块大于100时,视区域块为前景,即图像fn与图像fn-1的差异部分,具体操作如下:
其中h(x,y)是初始设置的变量,放置两帧图像的差异区域块;threshold是设置的阈值;
步骤3.3.2,对步骤3.3.1阈值后处理的区域块进行求和,公式如下:
其中b是LSC超像素分割的总区域块的个数。
本发明的有益效果是:
1、本发明在对帧间差法进行之前,将图像使用超像素分割,使得两帧图像在做帧差时是对应的区域块进行相减,避免了差分法中点对点相减。
2、本发明对每个区域块差分完成后进行阈值分割,一方面为了对每个图像块做前、背景区域判断;另一方面提取出连续两帧图像对应区域块的前景目标,进一步提高检测的准确性。
附图说明
图1是本发明一种基于帧间差分与超像素分割的动目标检测方法的流程图;
图2是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像1;
图3是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像2;
图4是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一的模板图像1超像素分割图;
图5是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一动目标区域的图;
图6是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一动目标区域开运算图;
图7是本发明一种基于帧间差分与超像素分割的动目标检测方法实例一在原图标记的动目标区域图;
图8是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像1;
图9是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像2;
图10是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二的模板图像1超像素分割图;
图11是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二动目标区域的图;
图12是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二动目标区域开运算图;
图13是本发明一种基于帧间差分与超像素分割的动目标检测方法实例二在原图标记的动目标区域图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于帧间差分与超像素分割的动目标检测方法,流程如图1所示,具体步骤按照以下步骤实施:
步骤1,输入视频帧序列,取连续的两帧图像第n帧和第n-1帧作为动目标检测图像,将动目标检测图像灰度化处理,然后中值滤波,得到滤波后的图像fn-1和图像fn
步骤2,采用LSC超像素分割对图像fn进行超像素分割,找出图像fn每个超像素块的信息;
步骤3,将步骤2的所得的图像fn的每个超像素块的信息与图像fn-1进行差分处理,得到差分图Dn(x,y),对差分图像阈值处理最终得到Dn’(x,y);
步骤4,利用边缘检测中的canny算子检测Dn’(x,y),即目标区域。
步骤1具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1
步骤2具体按照以下步骤实施:
步骤2.1,对图像fn进行LSC超像素分割,超像素块数分为1000块;LSC超像素分割算法中有两个重要原则,即推论和法则;
当满足(2)式和(3)式的条件时,加权K-means和Ncuts算法的目标函数的优化方向一致,公式如下:
法则要求亲和度关系W(m,n)必须满足正值性条件。只有当满足这两个条件时,对十维特征空间的加权K-means聚类才等价于对原始图像进行Ncuts分割,并实现线性谱聚类;公式如下:
其中Fkm为加权K-means的目标函数;FNcuts为K-means划分Ncuts的目标函数;C为一个常量;W(m,n)为图像中任意两点的相似度;
步骤2.2,找出步骤2.1所得的每一块超像素块的位置信息以及超像素块像素点的个数;
步骤2.3,将步骤2.2所得的每个超像素块中的像素点的个数进行求和;公式如下:
其中fn(x,y)是LSC超像素分割法分割后的超像素块内的像素点。
步骤3具体按照以下步骤实施:
步骤3.1,将图像fn的每个超像素块分别点乘图像fn-1帧图像,得到图像fn-1的每个超像素块;
步骤3.2,将图像fn的每个超像素块信息与图像fn-1的每个超像素块信息/>进行帧间差分法处理,得到差分图像块Dn(x,y),公式如下:
其中a是LSC超像素分割的区域块内总像素点的个数;
步骤3.3,对步骤3.2所得差分图像Dn(x,y)阈值化处理,最终对所有阈值后的差分图像求和;
步骤3.4,将步骤3.3得到的图像进行数学形态学开运算处理;即得到目标区域。
步骤4的主要步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值、滞后边界跟踪。
步骤3.4具体运算方式为:
其中SE为开运算的结构元素,B为二值图像。
所述步骤3.3具体为:
步骤3.3.1,将图像fn与图像fn-1对应位置的区域块进行差分处理,阈值设置为100,当阈值小于100时,视区域块为背景,即对应的两个区域块中不存在运动目标;当区域块大于100时,视区域块为前景,即图像fn与图像fn-1的差异部分,具体操作如下:
其中h(x,y)是初始设置的变量,放置两帧图像的差异区域块;threshold是设置的阈值;
步骤3.3.2,对步骤3.3.1阈值后处理的区域块进行求和,公式如下:
其中b是LSC超像素分割的总区域块的个数。
以下为利用本发明一种基于帧间差分与超像素分割的动目标检测方法进行动目标检测的2个实施例,以下2个实施例中所用图像为使用图像采集平台采集的运动目标图像,其中实施例1中的输入图像为多目标图像,实施例1中的背景是基本不动的,但背景图像中有条绳子,在天气的影响下,比如有风的情况下,绳子会随着风晃动,因此在检测的过程中,将绳子检测为前景目标;实施例2中的输入图像为单目标图像,其中实施例2中的背景为静态背景。
实施例1
执行步骤1,输入连续的两帧图像如图1和图2,经过滤波、灰度化处理后,获得灰度图像A1和灰度图像A2
执行步骤2,对灰度图像A1超像素分割,设置分割区域块为1000,分割结果图如图4,
执行步骤3,将图像A1的每个区域块二值化后分别与图像A2点乘,然后将其结果与图像A1的每个区域块差分处理和阈值分割后得到Dn(x,y),阈值threshold设置为100,并对差分结果块求和提取差异块,如图5所示,因为图5中部分前景目标没有提取完全,所以在经过形态学操作处理后,将动态的前景目标显示完整,如图6;
执行步骤4,针对步骤3中提取到连续两帧图像的前景目标利用边缘检测算法canny检测算子,将两帧图像有差异的部分标记出来,如图7。
实施例2
执行步骤1,输入连续的两帧图像如图8和图9,经过滤波、灰度化处理后,获得灰度图像A1和灰度图像A2
执行步骤2,对灰度图像A1超像素分割,设置分割区域块为1000,分割结果图如图10,
执行步骤3,将图像A1的每个区域块二值化后分别与图像A2点乘,然后将其结果与图像A1的每个区域块差分处理和阈值分割后得到Dn(x,y),阈值threshold设置为80,并对差分结果块求和提取差异块,如图11所示,因为图5中部分前景目标没有提取完全,所以在经过形态学操作处理后,将动态的前景目标显示完全,如图12;
执行步骤4,针对步骤3中提取到连续两帧图像的前景目标利用边缘检测算法canny检测算子,将两帧图像有差异的部分标记出来,如图13。
本发明在帧间差分检测动目标的基础上,提出了一种基于超像素分割的检测方法,在超像素分割之前对图像中值滤波和灰度化处理,可减少了彩色信息传输的影响,再通过超像素分割对其中一幅图像分割,然后对每个块像素点求和,最后通过阈值处理处理,减少了细小区域的检测,提高了检测方法的准确率。

Claims (2)

1.一种基于帧间差分与超像素分割的动目标检测方法,其特征在于,具体步骤按照以下步骤实施:
步骤1,输入视频帧序列,取连续的两帧图像第n帧和第n-1帧作为动目标检测图像,将所述动目标检测图像灰度化处理,然后中值滤波,得到滤波后的图像fn-1和图像fn;具体按照以下步骤实施:
步骤1.1对连续的两帧图像第n帧图像和第n-1帧图像灰度化处理,使用加权平均法,将彩色像的R、G、B三分量以不同的权重进行加权平均,公式如下:
Gray=0.114B(i,j)+0.587G(i,j)+0.299R(i,j) (1)
步骤1.2对灰度图像做中值滤波处理,得到滤波图像fn和fn-1
步骤2,采用LSC超像素分割对图像fn进行超像素分割,找出图像fn每个超像素块的信息;具体按照以下步骤实施:
步骤2.1,对图像fn进行LSC超像素分割,超像素块数分为1000块;
步骤2.2,找出步骤2.1所得的每一块超像素块的位置信息以及超像素块像素点的个数;
步骤2.3,将步骤2.2所得的每个超像素块中的像素点的个数进行求和;
步骤3,将步骤2的所得的图像fn的每个超像素块的信息与图像fn-1的每个超像素块的信息进行差分处理,得到差分图Dn(x,y),对差分图像阈值处理最终得到Dn’(x,y);具体按照以下步骤实施:
步骤3.1,将图像fn的每个超像素块分别点乘图像fn-1帧图像,得到图像fn-1的每个超像素块;
步骤3.2,将图像fn的每个超像素块信息与图像fn-1的每个超像素块信息进行帧间差分法处理,得到差分图像Dn(x,y);
步骤3.3,对步骤3.2所得差分图像Dn(x,y)阈值化处理,最终对所有阈值后的差分图像求和;具体为:
步骤3.3.1,将图像fn与图像fn-1对应位置的区域块进行差分处理,阈值设置为100,当阈值小于100时,视区域块为背景,即对应的两个区域块中不存在运动目标;当区域块大于100时,视区域块为前景,即图像fn与图像fn-1的差异部分;
步骤3.3.2,对步骤3.3.1阈值后处理的区域块进行拼接;
步骤3.4,将步骤3.3得到的图像进行数学形态学开运算处理;即得到目标区域Dn’(x,y);
具体运算方式为:
其中SE为开运算的结构元素,B为二值图像;
步骤4,利用边缘检测中的canny算子检测Dn’(x,y),即目标区域。
2.如权利要求1所述的一种基于帧间差分与超像素分割的动目标检测方法,其特征在于,所述步骤4的步骤有:高斯模糊、计算梯度幅值和方向、非最大值抑制、双阈值、滞后边界跟踪。
CN202010614370.XA 2020-06-30 2020-06-30 一种基于帧间差分与超像素分割的动目标检测方法 Active CN111862152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010614370.XA CN111862152B (zh) 2020-06-30 2020-06-30 一种基于帧间差分与超像素分割的动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010614370.XA CN111862152B (zh) 2020-06-30 2020-06-30 一种基于帧间差分与超像素分割的动目标检测方法

Publications (2)

Publication Number Publication Date
CN111862152A CN111862152A (zh) 2020-10-30
CN111862152B true CN111862152B (zh) 2024-04-05

Family

ID=72988824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010614370.XA Active CN111862152B (zh) 2020-06-30 2020-06-30 一种基于帧间差分与超像素分割的动目标检测方法

Country Status (1)

Country Link
CN (1) CN111862152B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991381B (zh) * 2021-03-15 2022-08-02 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN105741277A (zh) * 2016-01-26 2016-07-06 大连理工大学 基于ViBe算法与SLIC超像素的背景差分法
CN108229316A (zh) * 2017-11-28 2018-06-29 浙江工业大学 一种基于超像素分割的车辆轮廓提取方法
CN108537819A (zh) * 2017-03-03 2018-09-14 防城港市港口区思达电子科技有限公司 超像素运动目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595771B (zh) * 2016-10-20 2017-08-11 聚晶半導體股份有限公司 影像深度資訊的優化方法與影像處理裝置
CN106952269B (zh) * 2017-02-24 2019-09-20 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN105741277A (zh) * 2016-01-26 2016-07-06 大连理工大学 基于ViBe算法与SLIC超像素的背景差分法
CN108537819A (zh) * 2017-03-03 2018-09-14 防城港市港口区思达电子科技有限公司 超像素运动目标检测方法
CN108229316A (zh) * 2017-11-28 2018-06-29 浙江工业大学 一种基于超像素分割的车辆轮廓提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Improving the Efficiency of Background Subtraction using Super pixel Extraction and Midpoint for Centroid;K.Suganya Devi 等;《International Journal of Computer Applications》;第43卷(第10期);1-5 *
Superpixel Based Depth Propagation for Semi-Automatic 2D-to-3D Video Conversion;Jie Feng 等;《2012 Third International Conference on Networking and Distributed Computing》;157-160 *
基于空时多线索融合的超像素运动目标检测方法;宋涛;李鸥;刘广怡;;《电子与信息学报》;第38卷(第06期);1503-1511 *

Also Published As

Publication number Publication date
CN111862152A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN110163219B (zh) 基于图像边缘识别的目标检测方法
CN110766676B (zh) 基于多源传感器融合的目标检测方法
CN111062355A (zh) 一种人体动作识别方法
CN108389216B (zh) 面向在线铁谱图像磨粒识别的局部自适应阈值分割方法
CN109472788B (zh) 一种飞机铆钉表面的伤痕检测方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN113111878B (zh) 一种复杂背景下的红外弱小目标检测方法
CN109255799B (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及***
CN111539980A (zh) 一种基于可见光的多目标追踪方法
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN111862152B (zh) 一种基于帧间差分与超像素分割的动目标检测方法
CN113205494B (zh) 基于自适应尺度图像块加权差测量的红外小目标检测方法和***
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN111028263A (zh) 一种基于光流颜色聚类的运动物体分割方法及其***
CN111161308A (zh) 一种基于关键点匹配的双波段融合目标提取方法
CN108491796B (zh) 一种时域周期点目标检测方法
CN113902694A (zh) 一种基于动静结合的目标检测方法
Fu et al. Infrared small dim target detection under maritime near sea-sky line based on regional-division local contrast measure
CN105139358A (zh) 一种结合形态学和模糊c聚类的视频雨滴去除方法及其***
CN110415275B (zh) 一种基于点对点的运动目标检测与跟踪方法
CN111724319A (zh) 视频监控***中的图像处理方法
CN107886524B (zh) 一种电梯门运动轨迹识别方法
Aung et al. Study for license plate detection
Xu et al. Moving target tracking based on adaptive background subtraction and improved camshift algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant