CN114527666B - 基于注意力机制的cps***强化学习控制方法 - Google Patents
基于注意力机制的cps***强化学习控制方法 Download PDFInfo
- Publication number
- CN114527666B CN114527666B CN202210221958.8A CN202210221958A CN114527666B CN 114527666 B CN114527666 B CN 114527666B CN 202210221958 A CN202210221958 A CN 202210221958A CN 114527666 B CN114527666 B CN 114527666B
- Authority
- CN
- China
- Prior art keywords
- sensor
- environment
- state
- strategy
- control object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供了基于注意力机制的CPS***强化学习控制方法,包括以下步骤:控制对象通过策略网络选择一个合适的策略,并且对环境进行执行;环境在策略的执行下产生变化和回应,生成一个奖励;预设的多个传感器对环境进行一个探测,获得了多个传感器探测信息;将传感器探测信息传入自注意力网络,将获取的传感器信息的奖励和当前的状态同时输入策略网络,更新策略网络的梯度,并且作为策略网络的输入去选择下一时间段的策略,重复进行即可完成学习控制方法。本发明在使用强化学习算法解决实际的控制问题的时候,该方法对于奖励的设计要求更加的宽松和便利,即部分信息可以通过传感器的隐知识学到。
Description
技术领域
本发明属于CPS***学习控制方法技术领域,具体涉及基于注意力机制的CPS***强化学习控制方法。
背景技术
在当前的CPS***中,如何结合传感器的感知信息,设计一个对于CPS***的合理的智能的控制算法已经成为了一个大家关注许久的问题了。在智能算法的设计中,强化学习作为一种位于学术最前沿的算法,收到了广泛的关注。虽然比起传统的pid控制等控制方法,强化学习,尤其是q学习,是基于机器学习的算法的黑盒模型,导致其可解释性弱于传统模型,但强化学习不需要根据模型重新设计,适应性强,可以更容易的训练,效果更好更智能等一系列特性使其备受喜爱。
但是存在一个很重要的问题,就是传统的强化学习模型本质上是对于学习的一种解释模型,而没有考虑到应用到CPS***时所需要的修改,而且由于复杂的CPS***中具有大量的传感器,让强化学习模型的训练本身更加的困难,从而影响模型能获得的提升效果。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足,提供基于注意力机制的CPS***强化学习控制方法,以解决上述背景技术中提出的问题。
为解决上述技术问题,本发明采用的技术方案是:基于注意力机制的CPS***强化学习控制方法,包括以下步骤:
S1、控制对象通过策略网络选择一个合适的策略,并且对环境进行执行;
S2、环境在策略的执行下产生变化和回应,生成一个奖励;
S3、预设的多个传感器对环境进行一个探测,获得了多个传感器探测信息;
S4、将传感器探测信息传入自注意力网络,同时自注意力网络自动获取控制对象上一步的行为,以传感器探测信息和控制对象上一步的行为作为基准,计算需要的传感器信息;
S5、将获取的传感器信息的奖励和当前的状态同时输入策略网络,更新策略网络的梯度,并且作为策略网络的输入去选择下一时间段的策略,重复进行即可完成学习控制方法。
进一步的,学习控制方法还分为训练模式和执行模式。
进一步的,所述执行模式包括以下步骤:
S101、在时间k时,控制对象的状态为环境的状态采取行为uk∈A;
S102、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S103、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S104、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S105、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S106、执行动作u(k+1),回到S101中;
其中,Senv代表环境的状态;Sagent代表控制对象的状态;Ssensor代表传感器获得的各项参数的状态;
A代表有限的动作集,即控制对象可以采取的行动;P代表转移概率,即采取一个动作后,转移到/>的概率;R为奖励函数;γ代表折扣因子;
传感器读取环境:Fsensor:Senv→Ssensor;
环境发生变化:Fenv:Senv×A→Senv;
奖励函数:Freward:Sagent×A→R;
状态变化函数:Fstate:Sagent×A→Sagent;
还设置有能通过机器学习获得的端对端模型:自注意力机制的神经网络:σattention:Ssensor×A→Satt_sensor;控制对象选取行为策略的神经网络:σagent:Satt_sensor×Sagent→A
Ssensor代表传感器感应外部环境获得的信息;
Satt_sensor代表通过自注意力机制之后留下来的传感器信息。
进一步的,所述训练模式包括以下步骤:
S201、在时间k时,控制对象的状态为环境的状态/> 采取行为uk∈A;
S202、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S203、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S204、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S205、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S206、执行动作u(k+1),回到S101中,收集每次的数据配对:
S207、将数据配对作为数据集,对于神经网络σattention和σagent进行联合梯度下降,将下降后的参数作为新的神经网络,回到第一步,直到收敛。
本发明与现有技术相比具有以下优点:
本发明通过先把自注意力机制引入传感器的信息筛选中,并且把上一个时间段的动作也作为筛选的一部分,对其进行考虑,在使用强化学习算法解决实际的控制问题的时候,该方法对于奖励的设计要求更加的宽松和便利,即部分信息可以通过传感器的隐知识学到;同时由于设置了传感器属于的注意力机制的筛选,从而可以在构建CPS***时增加大量的传感器,使其适应更多的应用场景,拓宽了其使用范围。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种技术方案:基于注意力机制的CPS***强化学习控制方法,包括以下步骤:
S1、控制对象通过策略网络选择一个合适的策略,并且对环境进行执行;
S2、环境在策略的执行下产生变化和回应,生成一个奖励;
S3、预设的多个传感器对环境进行一个探测,获得了多个传感器探测信息;
S4、将传感器探测信息传入自注意力网络,同时自注意力网络自动获取控制对象上一步的行为,以传感器探测信息和控制对象上一步的行为作为基准,计算需要的传感器信息;
S5、将获取的传感器信息的奖励和当前的状态同时输入策略网络,更新策略网络的梯度,并且作为策略网络的输入去选择下一时间段的策略,重复进行即可完成学习控制方法。
具体的,包括一个主要的控制对象agent,该控制对象包含一个自动选取控制策略的策略选择器网络,包括一个外界环境,主要为该控制方法应用的外界场景;
当控制对象agent在环境中执行策略的时候,会与环境产生一些交互,例如走过一些障碍物,拿走场景中的一些物体,这些变化会对环境产生一些刺激,对控制对象的状态和环境的状态同时产生影响,让他们发生一定的变化;
在这些变化发生后,奖励机制会判断整体环境以及控制对象与最终目标之间还有多少部分需要完成;
对比控制对象执行策略之前与目标的距离,以及控制对象执行策略之后与目标的距离,就可以知道该策略对于整体控制来说起到了正向作用或者反向作用,然后根据该作用定义奖励reward;
如果对于整体控制起正向作用,则给予正向奖励,如果起到了负面作用,则为惩罚。
该奖励根据具体的应用场景可以随时定义,例如在机器人路径规划任务中可以定义为机器人与目标之间的距离;
在算法应用的场景中,可以包含大量的传感器,例如红外传感器,距离传感器,温度传感器,压力传感器等一系列用来实时构建外部环境状况的传感器,用于获得环境的状态,从而在环境与控制对象交互产生变化后可以敏锐的捕捉到变化。
该外界环境中的大量传感器形成了一个传感器集群,该传感器***连接的,是一个由自注意力机制构建成的筛选网络,主要作用是结合控制对象上一步的执行策略,通过动作与环境交互的相关性和传感空间的自注意力来对于大量的传感器信息进行筛选,通过筛选网络和自注意力算法直接进行基于机器学习的端对端的算法筛选,获得需要的传感器信息。
自注意力机制的网络和来自于环境的奖励,会在进行数据归一和耦合之后输入控制对象agent的策略选择网络,去选择合适的策略,该策略需要根据不同的场景具体设计策略空间,该策略空间可以是连续的或是离散的,离散行为空间包括各种离散的行为,例如开关设备,拿取物体等;连续行为空间包括一个行为的连续数值,例如控制机器人以什么速度和角度进行移动。
学习控制方法还分为训练模式和执行模式。
所述执行模式包括以下步骤:
所述执行模式包括以下步骤:
S101、在时间k时,控制对象的状态为环境的状态采取行为uk∈A;
S102、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S103、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S104、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S105、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S106、执行动作u(k+1),回到S101中;
其中,Senv代表环境的状态;Sagent代表控制对象的状态;Ssensor代表传感器获得的各项参数的状态;
A代表有限的动作集,即控制对象可以采取的行动;P代表转移概率,即采取一个动作后,转移到/>的概率;R为奖励函数;γ代表折扣因子;
传感器读取环境:Fsensor:Senv→Ssensor;
环境发生变化:Fenv:Senv×A→Senv;
奖励函数:Freward:Sagent×A→R;
状态变化函数:Fstate:Sagent×A→Sagent;
还设置有能通过机器学习获得的端对端模型:自注意力机制的神经网络:σattention:Ssensor×A→Satt_sensor;控制对象选取行为策略的神经网络:σagent:Satt_sensor×Sagent→A
Ssensor代表传感器感应外部环境获得的信息;
Satt_sensor代表通过自注意力机制之后留下来的传感器信息。
所述训练模式包括以下步骤:
S201、在时间k时,控制对象的状态为环境的状态/> 采取行为uk∈A;
S202、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S203、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S204、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S205、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S206、执行动作u(k+1),回到S101中,收集每次的数据配对:
S207、将数据配对作为数据集,对于神经网络σattention和σagent进行联合梯度下降,将下降后的参数作为新的神经网络,回到第一步,直到收敛。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.基于注意力机制的CPS***强化学习控制方法,其特征在于,包括以下步骤:
S1、控制对象通过策略网络选择一个合适的策略,并且对环境进行执行;
S2、环境在策略的执行下产生变化和回应,生成一个奖励;
S3、预设的多个传感器对环境进行一个探测,获得了多个传感器探测信息;
S4、将传感器探测信息传入自注意力网络,同时自注意力网络自动获取控制对象上一步的行为,以传感器探测信息和控制对象上一步的行为作为基准,计算需要的传感器信息;
S5、将获取的传感器信息的奖励和当前的状态同时输入策略网络,更新策略网络的梯度,并且作为策略网络的输入去选择下一时间段的策略,重复进行即可完成学习控制方法,学习控制方法还分为训练模式和执行模式;
所述执行模式包括以下步骤:
S101、在时间k时,控制对象的状态为环境的状态采取行为uk∈A;
S102、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S103、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S104、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S105、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S106、执行动作u(k+1),回到S101中;
其中,Senv代表环境的状态;Sagent代表控制对象的状态;Ssensor代表传感器获得的各项参数的状态;
A代表有限的动作集,即控制对象可以采取的行动;P代表转移概率,即采取一个动作后,转移到/>的概率;R为奖励函数;γ代表折扣因子;
传感器读取环境:Fsensor:Senv→Ssensor;
环境发生变化:Fenv:Senv×A→Senv;
奖励函数:Freward:Sagent×A→R;
状态变化函数:Fstate:Sagent×A→Sagent;
还设置有能通过机器学习获得的端对端模型:自注意力机制的神经网络:σattention:Ssensor×A→Satt_sensor;控制对象选取行为策略的神经网络:σagent:Satt_sensor×Sagent→A
Ssensor代表传感器感应外部环境获得的信息;
Satt_sensor代表通过自注意力机制之后留下来的传感器信息;
所述训练模式包括以下步骤:
S201、在时间k时,控制对象的状态为环境的状态/>∈Senv;采取行为uk∈A;
S202、在该行为的影响下,环境的状态:控制对象的状态:/>奖励值:/>
S203、对于此时间k+1的环境状态传感器捕捉环境中的信息,获得:
S204、基于此时间段的传感器信息与上一时间段的行为uk,使用自注意力机制的模型获得筛选过之后的传感器信息:/>
S205、结合上面的信息,控制对象开始推测下一时间段应该执行的行动:
S206、执行动作u(k+1),回到S101中,收集每次的数据配对:
S207、将数据配对作为数据集,对于神经网络σattention和σagent进行联合梯度下降,将下降后的参数作为新的神经网络,回到第一步,直到收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221958.8A CN114527666B (zh) | 2022-03-09 | 2022-03-09 | 基于注意力机制的cps***强化学习控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210221958.8A CN114527666B (zh) | 2022-03-09 | 2022-03-09 | 基于注意力机制的cps***强化学习控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114527666A CN114527666A (zh) | 2022-05-24 |
CN114527666B true CN114527666B (zh) | 2023-08-11 |
Family
ID=81626389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210221958.8A Active CN114527666B (zh) | 2022-03-09 | 2022-03-09 | 基于注意力机制的cps***强化学习控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114527666B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110824917A (zh) * | 2019-10-29 | 2020-02-21 | 西北工业大学 | 基于注意力机制强化学习的半导体晶片测试路径规划方法 |
CN111881772A (zh) * | 2020-07-06 | 2020-11-03 | 上海交通大学 | 基于深度强化学习的多机械臂协同装配方法和*** |
CN113255936A (zh) * | 2021-05-28 | 2021-08-13 | 浙江工业大学 | 基于模仿学习和注意力机制的深度强化学习策略保护防御方法和装置 |
CN113255054A (zh) * | 2021-03-14 | 2021-08-13 | 南京晓庄学院 | 一种基于异构融合特征的强化学习自动驾驶方法 |
CN113283169A (zh) * | 2021-05-24 | 2021-08-20 | 北京理工大学 | 一种基于多头注意力异步强化学习的三维群体探索方法 |
CN113313267A (zh) * | 2021-06-28 | 2021-08-27 | 浙江大学 | 一种基于值分解和注意力机制的多智能体强化学习方法 |
CN113392935A (zh) * | 2021-07-09 | 2021-09-14 | 浙江工业大学 | 基于注意力机制的多智能体深度强化学习策略优化方法 |
CN113641192A (zh) * | 2021-07-06 | 2021-11-12 | 暨南大学 | 一种基于强化学习的无人机群智感知任务的路径规划方法 |
CN114038212A (zh) * | 2021-10-19 | 2022-02-11 | 南京航空航天大学 | 基于双阶段注意力机制和深度强化学习的信号灯控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3827092B2 (ja) * | 2003-10-22 | 2006-09-27 | オムロン株式会社 | 制御システム設定装置および制御システム設定方法ならびに設定プログラム |
-
2022
- 2022-03-09 CN CN202210221958.8A patent/CN114527666B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110824917A (zh) * | 2019-10-29 | 2020-02-21 | 西北工业大学 | 基于注意力机制强化学习的半导体晶片测试路径规划方法 |
CN111881772A (zh) * | 2020-07-06 | 2020-11-03 | 上海交通大学 | 基于深度强化学习的多机械臂协同装配方法和*** |
CN113255054A (zh) * | 2021-03-14 | 2021-08-13 | 南京晓庄学院 | 一种基于异构融合特征的强化学习自动驾驶方法 |
CN113283169A (zh) * | 2021-05-24 | 2021-08-20 | 北京理工大学 | 一种基于多头注意力异步强化学习的三维群体探索方法 |
CN113255936A (zh) * | 2021-05-28 | 2021-08-13 | 浙江工业大学 | 基于模仿学习和注意力机制的深度强化学习策略保护防御方法和装置 |
CN113313267A (zh) * | 2021-06-28 | 2021-08-27 | 浙江大学 | 一种基于值分解和注意力机制的多智能体强化学习方法 |
CN113641192A (zh) * | 2021-07-06 | 2021-11-12 | 暨南大学 | 一种基于强化学习的无人机群智感知任务的路径规划方法 |
CN113392935A (zh) * | 2021-07-09 | 2021-09-14 | 浙江工业大学 | 基于注意力机制的多智能体深度强化学习策略优化方法 |
CN114038212A (zh) * | 2021-10-19 | 2022-02-11 | 南京航空航天大学 | 基于双阶段注意力机制和深度强化学习的信号灯控制方法 |
Non-Patent Citations (1)
Title |
---|
Yantao Lu等.Efficient Human Activity Classification from Egocentric Videos Incorporating Actor-Critic Reinforcement Learning.《2019 IEEE International Conference on Image Processing (ICIP)》.2019,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN114527666A (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114818515A (zh) | 一种基于自注意力机制和图卷积网络的多维时序预测方法 | |
Wang et al. | Cell selection with deep reinforcement learning in sparse mobile crowdsensing | |
CN108846199A (zh) | 基于时空一体化的特高拱坝变形时空序列预测方法 | |
CN113325721B (zh) | 一种工业***无模型自适应控制方法及*** | |
CN109344992B (zh) | 一种融合时空因素的智能家居用户操控行为习惯建模方法 | |
CN106444379A (zh) | 基于物联网推荐的智能烘干远程控制方法及*** | |
EP3502978A1 (en) | Meta-learning system | |
CN113077052A (zh) | 用于稀疏奖励环境的强化学习方法、装置、设备及介质 | |
CN113723757A (zh) | 决策生成模型训练方法、决策生成方法及装置 | |
Zhou et al. | Time-varying trajectory modeling via dynamic governing network for remaining useful life prediction | |
CN116560239B (zh) | 一种多智能体强化学习方法、装置及介质 | |
CN114781248A (zh) | 基于状态偏移矫正的离线强化学习方法及装置 | |
CN115099606A (zh) | 一种电网调度模型的训练方法及终端 | |
CN116562514A (zh) | 基于神经网络的企业生产状况即时分析方法及*** | |
CN114527666B (zh) | 基于注意力机制的cps***强化学习控制方法 | |
JP7438365B2 (ja) | 学習活用システム、活用装置、学習装置、プログラム及び学習活用方法 | |
Kuo et al. | Generalized part family formation through fuzzy self-organizing feature map neural network | |
CN113505305A (zh) | 基于解耦式双通道超图神经网络的协同过滤推荐方法和*** | |
CN115816466B (zh) | 一种提升视觉观测机器人控制稳定性的方法 | |
Mabu et al. | Adaptability analysis of genetic network programming with reinforcement learning in dynamically changing environments | |
CN113743572A (zh) | 一种基于Fuzz的人工神经网络测试方法 | |
CN113821974A (zh) | 基于多故障模式的发动机剩余寿命预测方法 | |
CN115459982A (zh) | 一种电力网络虚假数据注入攻击检测方法 | |
CN114911157A (zh) | 基于部分可观测强化学习的机器人导航控制方法及*** | |
Burger et al. | ARX model of a residential heating system with backpropagation parameter estimation algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |