CN109039797A - 基于强化学习的大流检测方法 - Google Patents

基于强化学习的大流检测方法 Download PDF

Info

Publication number
CN109039797A
CN109039797A CN201810594740.0A CN201810594740A CN109039797A CN 109039797 A CN109039797 A CN 109039797A CN 201810594740 A CN201810594740 A CN 201810594740A CN 109039797 A CN109039797 A CN 109039797A
Authority
CN
China
Prior art keywords
stream
state
big
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810594740.0A
Other languages
English (en)
Other versions
CN109039797B (zh
Inventor
王雄
潘志豪
任婧
徐世中
王晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810594740.0A priority Critical patent/CN109039797B/zh
Publication of CN109039797A publication Critical patent/CN109039797A/zh
Application granted granted Critical
Publication of CN109039797B publication Critical patent/CN109039797B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了基于强化学习的大流检测方法，包括以下步骤：S1：对数据流进行检测得到流检测数据；S2：采用历史样本缓冲池对检测数据模型进行优化；S3：采用优化后的检测数据模型对流检测数据进行大流判断，并对大流进行再次检测；S4：将流检测数据放入历史样本缓冲池，并再次依次执行S2、S3和S4直至检测结束。本发明将网络的链路状态和流的历史测量信息作为状态，将流的测量大小作为奖励值，采用基于强化学习的大流检测方法对网络中的大流进行检测，能充分提取流的相关性等特征，能提高大流检测的准确度。

Description

基于强化学习的大流检测方法
技术领域
本发明涉及计算机技术领域，具体涉及基于强化学习的大流检测方法。
背景技术
数据中心的规划、运营管理、计费和安全审计都需要细粒度的网络流量测量。NetFlow和sFlow都是基于流的测量方式，他们能提供细粒度的网络流量测量，但是他们需要特定网络设备或特定的功能支持，比如NetFlow只能在思科的设备上使用。另外一方面，由于实际网络中待测量的流量信息数据巨大，基于流的测量方法通常需要耗费大量网络资源(网络带宽、节点存储和计算等)，其可扩展性很差。对Netflow来说，网络资源的限制每个包的处理时间，当高速交换机中，每个数据包的处理时间有限。而在SDN(软件定义网络)中，交换机受限的资源是三态内容寻址存TCAM资源，每一条TCAM资源只能测量一条流。由于资源的不足，NetFlow会采用一种采样的方式进行测量，这会降低测量的准确性。FlowRadar提供了一种在交换机资源限制条件下，实时细粒度地测量每一条流的方法，它通过将每条流的计数器进行压缩进而减少包的处理时间和网络负载的占用，它的缺点就是需要对交换机进行更改，无法在现有的网络中进行部署，同时也会增加网络部署代价。
iSTAMP提出一种流量聚合和解耦的方法，通过流量聚合减少TCAM资源的使用，通过流量解耦为流量较大的流提供细粒度的测量。由于流量的大小是变化的，因此被解耦的流也是需要经常变化的，这需要算法能实时地找出当前网络中流量较大的流，并进行测量。
上述问题本质上一个多臂***MAB(multi-armed bandit)的问题，在这个问题模型中，有许多外表一摸一样的***，每个老虎中奖的概率不同，并且会随着时间的变化而变化。一个赌徒每次摇***都会花费一定的成本，如何最大化收益就是多臂***要求解的问题。当赌徒找到一个中奖概率较高的***时，它可以选择继续摇该***，以获得稳定的收益。但是有可能会存在中奖率更高的***，或者该***的中奖概率会随着时间下降，因此另外一个比较长远的打算是——损失一部分当前奖励，探索其他的***。在贪心的选择当前最优和探索其他可能性之间如何平衡是多臂***要解决的主要问题。
解决MAB的算法目前已经有许多，其中较为直接的就是贪心策略，按照一定的概率，比如0.95的概率进行贪心选择当前最优，留下0.05的概率机会去探索其他更优的解。贪心策略的明显缺点就是没有充分利用上下文的信息，比如有可能多个***之前存在相关性。根据这个思想，基于上下文的多臂***算法应运而生。基于上下文的多臂***算法会记录一个d维的特征数组，每次迭代做出选择时，都会更新维特征数组，这个d维特征数组记录的就是上下文相关的数据。算法的目的是收集足够多的信息，以便于发现上下文和奖励之间的相关性，这样每次可以做出最优选择，进而获得最大的收益。常见的基于上下文的多臂***算法有上置信界算法UCB(Upper Confidence Bound)、神经网络和随机森林。
iSTAMP使用MUCB(modifiedUpper Confidence Bound)来检测大流，但是其没有利用流的相关性，准确度较低。
目前对于网络流量测量的多种算法均存在检测测量准确度较低的问题。
发明内容
本发明所要解决的技术问题是目前对于网络流量测量的多种算法均存在检测测量准确度较低的问题，目的在于提供基于强化学习的大流检测方法，解决上述问题。
本发明通过下述技术方案实现：
基于强化学习的大流检测方法，包括以下步骤：S1：对数据流进行检测得到流检测数据；S2：采用历史样本缓冲池对检测数据模型进行优化；S3：采用优化后的检测数据模型对流检测数据进行大流判断，并对大流进行再次检测；S4：将流检测数据放入历史样本缓冲池，并再次依次执行S2、S3和S4直至检测结束。
进一步的，步骤S3包括以下子步骤：S31：检测数据模型根据当前状态对数据流进行评分；S32：选取k个流进行检测，得到新的流检测数据和新的网络状态；S33：根据新的流检测数据和新的网络状态得到当前检测的奖励值。
进一步的，步骤S32包括以下子步骤：设置概率门限epsilonthreshold；当随机概率小于epsilonthreshold时，随机选取k个流进行检测；当随机概率大于epsilonthreshold时，对流的评分进行倒序排序，并选取得分最高的k个流进行检测。
进一步的，所述epsilonthreshold通过下式得到：
式中steps为检测的次数；εs为概率上限；εe为概率下限；εdelay为速率参数。
进一步的，步骤S33包括以下子步骤：将检测到的网络流量比例占所有网络流量的比例作为奖励值reward；reward通过下式得到：
式中，action为当前应该检测流的集合；last为上一次检测到流的大小的集合；measure为当前检测到流的大小的集合。
进一步的，步骤S4包括以下子步骤：放入历史样本缓冲池的流检测数据包括：当前网络的状态state；根据当前网络状态state做出的决策aciton；做出决策后的转移到的状态next_state；每一条流的奖励值reward。
进一步的，步骤S2还包括以下子步骤：根据当前网络状态state和出决策后的转移到的状态next_state得到检测值和模型值的误差；根据检测值和模型值的误差对模型进行优化。
进一步的，所述模型采用神经网络模型。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明将网络的链路状态和流的历史测量信息作为状态，将流的测量大小作为奖励值，采用基于强化学习的大流检测方法对网络中的大流进行检测，能充分提取流的相关性等特征，能提高大流检测的准确度。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明方法步骤示意图；
图2为本发明***结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1和图2所示，本发明基于强化学习的大流检测方法，包括以下步骤：S1：对数据流进行检测得到流检测数据；S2：采用历史样本缓冲池对检测数据模型进行优化；S3：采用优化后的检测数据模型对流检测数据进行大流判断，并对大流进行再次检测；S4：将流检测数据放入历史样本缓冲池，并再次依次执行S2、S3和S4直至检测结束。
步骤S3包括以下子步骤：S31：检测数据模型根据当前状态对数据流进行评分；S32：选取k个流进行检测，得到新的流检测数据和新的网络状态；S33：根据新的流检测数据和新的网络状态得到当前检测的奖励值。
强化学习的理论基础时马尔科夫决策过程，在马尔科夫决策过程中，在不同的状态st下，做出不同的行动at，会得到不同的奖励r(st,at)。在不同的状态st下，做出不同的行动at，环境会动态的按照概率p(st+1|st,at)改变到一个新的状态st+1。而强化学习的目标就是学习出一个策略πθ(st,at)，即在当前的状态st下，应该做出什么行动at，其中的θ就是我们的策略参数，强化学习目标就是不断优化策略参数θ。行动at不仅会直接影响当前的收益，由于下一个状态也是收到该行动的影响，因此该行动还会对未来的收益产生影响，这被称为延迟收益。
步骤S32包括以下子步骤：设置概率门限epsilonthreshold；当随机概率小于epsilonthreshold时，随机选取k个流进行检测；当随机概率大于epsilonthreshold时，对流的评分进行倒序排序，并选取得分最高的k个流进行检测。
所述epsilonthreshold通过下式得到：
式中steps为检测的次数；εs为概率上限；εe为概率下限；εdelay为速率参数。
一开始对所有的流进行一次测量，得到当前所有流的大小。在算法运行的初期，我们应该更多的探索，以收集信息，而在算法后期，可以减少探索的概率，以获得很高的收益。为此，我们设定一个概率门限epsilonthreshold，当低于epsilonthreshold时，我们随机选取k个要观测的流。如果高于epsilonthreshold，那么我们根据算法对每条流的评分进行倒序排序，选取其中得分最高的k个流进行观测。概率门限的公式为：
随着算法的运行，门限值逐渐从εs降低到εe，典型的取值为εs＝0.95，εe＝0.05，算法刚开始运行时，会有很大的概率随机选择进行探索，在算法后期，算法会以很大概率选择当前的最优策略，但是仍然会留下很小的概率进行探索。在这个阶段我们得到了当前应该测量流的集合action。通过调节εdelay的值可以调节降低速率。
步骤S33包括以下子步骤：将检测到的网络流量比例占所有网络流量的比例作为奖励值reward；reward通过下式得到：
式中，action为当前应该检测流的集合；last为上一次检测到流的大小的集合；measure为当前检测到流的大小的集合。
步骤S4包括以下子步骤：放入历史样本缓冲池的流检测数据包括：当前网络的状态state；根据当前网络状态state做出的决策aciton；做出决策后的转移到的状态next_state；每一条流的奖励值reward。
保留了每一条流上一次测量时的大小，如果重新测量了该流，就用新值替代更新，如果没有就保留上一次的值。将测量到的网络流量比例占所有网络流量的比例作为选取结果的好坏，使用当前测量到的流量之和除以对每一条流的估计值之和，可以得到当前策略的一个估计得分reward。计算公式为：
选取过去k个测量周期内的每条流的大小。将之前k个周期内的所有测量值都保存了下来，模型可以提取出更多的上下文信息。通过调整k的大小，我们可以提取不同时间尺度的特征。将当前策略下的测量情况保存下来，将(state,aciton,next_state,reward)保存到一个历史样本缓冲池，state是当前网络的状态，具体为过去k个测量周期内每条流的大小；aciton是根据当前状态state做出的决策，保存选取哪些流量进行测量；next_state是做出决策后的转移到的状态，即更细之后的流量测量数据；reward是对每一条流的奖励值估计，如果该条流被测量就为流量占总流量的大小，否则为0。
步骤S2还包括以下子步骤：根据当前网络状态state和出决策后的转移到的状态next_state得到检测值和模型值的误差；根据检测值和模型值的误差对模型进行优化。
使用历史样本缓冲池里面的数据对模型进行优化。模型根据state得到state_values，根据next_state得到next_state_values。实际环境对state得到的奖励值是reward。target＝next_state_values*γ+(1-γ)*reward中的γ是一个0到1的数，用于控制潜在汇报的衰减。理想情况下，state_values和target的差值应该很小。将losss(state_values,target)得到的误差对模型进行优化。
所述模型采用神经网络模型。
使用到的模型是一个神经网络，输入为过去k个周期的测量值组成的状态action，输出为对应每条流的估计奖励值reward，是softmax归一化之后的值，softmax归一化的公式为损失评价函数我们采用smooth l1loss，如下所示：
将网络的链路状态和流的历史测量信息作为状态，将流的测量大小作为奖励值，每次的策略为选取k个最大的流进行测量；采用基于强化学习的大流检测方法对网络中的大流进行检测，能充分提取流的相关性等特征，能提高大流检测的准确度。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于强化学习的大流检测方法，其特征在于，包括以下步骤：
S1：对数据流进行检测得到流检测数据；
S2：采用历史样本缓冲池对检测数据模型进行优化；
S3：采用优化后的检测数据模型对流检测数据进行大流判断，并对大流进行再次检测；
S4：将流检测数据放入历史样本缓冲池，并再次依次执行S2、S3和S4直至检测结束。
2.根据权利要求1所述的基于强化学习的大流检测方法，其特征在于，步骤S3包括以下子步骤：
S31：检测数据模型根据当前状态对数据流进行评分；
S32：选取k个流进行检测，得到新的流检测数据和新的网络状态；
S33：根据新的流检测数据和新的网络状态得到当前检测的奖励值。
3.根据权利要求2所述的基于强化学习的大流检测方法，其特征在于，步骤S32包括以下子步骤：
设置概率门限epsilonthreshold；
当随机概率小于epsilonthreshold时，随机选取k个流进行检测；
当随机概率大于epsilonthreshold时，对流的评分进行倒序排序，并选取得分最高的k个流进行检测。
4.根据权利要求3所述的基于强化学习的大流检测方法，其特征在于，所述epsilonthreshold通过下式得到：
式中steps为检测的次数；εs为概率上限；εe为概率下限；εdelay为速率参数。
5.根据权利要求2所述的基于强化学习的大流检测方法，其特征在于，步骤S33包括以下子步骤：
将检测到的网络流量比例占所有网络流量的比例作为奖励值reward；
reward通过下式得到：
式中，action为当前应该检测流的集合；last为上一次检测到流的大小的集合；measure为当前检测到流的大小的集合。
6.根据权利要求1所述的基于强化学习的大流检测方法，其特征在于，步骤S4包括以下子步骤：
放入历史样本缓冲池的流检测数据包括：当前网络的状态state；根据当前网络状态state做出的决策aciton；做出决策后的转移到的状态next_state；每一条流的奖励值reward。
7.根据权利要求6所述的基于强化学习的大流检测方法，其特征在于，步骤S2还包括以下子步骤：
根据当前网络状态state和出决策后的转移到的状态next_state得到检测值和模型值的误差；
根据检测值和模型值的误差对模型进行优化。
8.根据权利要求1～7任意一项权利要求所述的基于强化学习的大流检测方法，其特征在于，所述模型采用神经网络模型。
CN201810594740.0A 2018-06-11 2018-06-11 基于强化学习的大流检测方法 Expired - Fee Related CN109039797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810594740.0A CN109039797B (zh) 2018-06-11 2018-06-11 基于强化学习的大流检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810594740.0A CN109039797B (zh) 2018-06-11 2018-06-11 基于强化学习的大流检测方法

Publications (2)

Publication Number Publication Date
CN109039797A true CN109039797A (zh) 2018-12-18
CN109039797B CN109039797B (zh) 2021-11-23

Family

ID=64612503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810594740.0A Expired - Fee Related CN109039797B (zh) 2018-06-11 2018-06-11 基于强化学习的大流检测方法

Country Status (1)

Country Link
CN (1) CN109039797B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351166A (zh) * 2019-08-12 2019-10-18 电子科技大学 一种基于流量统计特性的网络级细粒度流测量方法
CN112256739A (zh) * 2020-11-12 2021-01-22 同济大学 一种基于多臂***的动态流大数据中数据项筛选方法
CN113746947A (zh) * 2021-07-15 2021-12-03 清华大学 基于强化学习的IPv6活跃地址探测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821002A (zh) * 2011-06-09 2012-12-12 ***通信集团河南有限公司信阳分公司 网络流量异常检测方法和***
CN103840988A (zh) * 2014-03-17 2014-06-04 湖州师范学院 一种基于rbf神经网络的网络流量测量方法
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及***
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821002A (zh) * 2011-06-09 2012-12-12 ***通信集团河南有限公司信阳分公司 网络流量异常检测方法和***
CN103840988A (zh) * 2014-03-17 2014-06-04 湖州师范学院 一种基于rbf神经网络的网络流量测量方法
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及***
CN107682317A (zh) * 2017-09-06 2018-02-09 中国科学院计算机网络信息中心 建立数据检测模型的方法、数据检测方法及设备
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351166A (zh) * 2019-08-12 2019-10-18 电子科技大学 一种基于流量统计特性的网络级细粒度流测量方法
CN110351166B (zh) * 2019-08-12 2021-08-17 电子科技大学 一种基于流量统计特性的网络级细粒度流测量方法
CN112256739A (zh) * 2020-11-12 2021-01-22 同济大学 一种基于多臂***的动态流大数据中数据项筛选方法
CN112256739B (zh) * 2020-11-12 2022-11-18 同济大学 一种基于多臂***的动态流大数据中数据项筛选方法
CN113746947A (zh) * 2021-07-15 2021-12-03 清华大学 基于强化学习的IPv6活跃地址探测方法和装置

Also Published As

Publication number Publication date
CN109039797B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
WO2020207214A1 (zh) 一种数据处理方法、装置、电子设备及存储介质
WO2019179403A1 (zh) 基于序列宽深学习的欺诈交易检测方法
WO2021128805A1 (zh) 一种基于生成对抗强化学习的无线网络资源分配方法
CN106446959A (zh) 一种云计算资源动态匹配方法及装置
CN109039797A (zh) 基于强化学习的大流检测方法
Zhang et al. Workload prediction for cloud cluster using a recurrent neural network
CN107103332A (zh) 一种面向大规模数据集的相关向量机分类方法
CN108052387B (zh) 一种移动云计算中的资源分配预测方法及***
CN104102700A (zh) 一种面向因特网不平衡应用流的分类方法
CN105224872A (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN102075352A (zh) 一种网络用户行为预测的方法和装置
CN109067586A (zh) DDoS攻击检测方法及装置
CN113489674B (zh) 一种面向物联网***的恶意流量智能检测方法及应用
CN108564592A (zh) 基于动态多种群集成差分进化算法的图像分割方法
CN107483473A (zh) 一种云环境的低速拒绝服务攻击数据流检测方法
CN109034194A (zh) 基于特征分化的交易欺诈行为深度检测方法
CN108805193A (zh) 一种基于混合策略的电力缺失数据填充方法
CN107506350A (zh) 一种识别信息的方法和设备
CN113691594B (zh) 一种基于二阶导数解决联邦学***衡问题的方法
CN109829494A (zh) 一种基于加权相似性度量的聚类集成方法
CN111782700B (zh) 基于双层结构的数据流频次估计方法、***及介质
Zhang et al. A scalable network intrusion detection system towards detecting, discovering, and learning unknown attacks
CN114970886A (zh) 一种基于聚类的自适应鲁棒协作学习方法和装置
Tan et al. An Internet Traffic Identification Approach Based on GA and PSO-SVM.
Wang et al. SDN traffic anomaly detection method based on convolutional autoencoder and federated learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211123

CF01 Termination of patent right due to non-payment of annual fee