CN112100019B - 面向大规模***的多源故障协同分析定位方法 - Google Patents

面向大规模***的多源故障协同分析定位方法 Download PDF

Info

Publication number
CN112100019B
CN112100019B CN201910863431.3A CN201910863431A CN112100019B CN 112100019 B CN112100019 B CN 112100019B CN 201910863431 A CN201910863431 A CN 201910863431A CN 112100019 B CN112100019 B CN 112100019B
Authority
CN
China
Prior art keywords
fault
list
analysis
faults
monitoring module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910863431.3A
Other languages
English (en)
Other versions
CN112100019A (zh
Inventor
高剑刚
龚道永
宋长明
钱宇
李伟东
张宏宇
刘沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Jiangnan Computing Technology Institute
Original Assignee
Wuxi Jiangnan Computing Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Jiangnan Computing Technology Institute filed Critical Wuxi Jiangnan Computing Technology Institute
Priority to CN201910863431.3A priority Critical patent/CN112100019B/zh
Publication of CN112100019A publication Critical patent/CN112100019A/zh
Application granted granted Critical
Publication of CN112100019B publication Critical patent/CN112100019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3058Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种面向大规模***的多源故障协同分析定位方法,包括以下步骤:S1、对各故障监测模块采集到的故障进行统一分类,给每个故障定义一个故障编码Fid,给每个故障定义上下关联列表Fuplist和Fdownlist,上关联列表Fuplist包含一组会诱发该故障的故障编码Fid,下关联列表Fdownlist包含一组该故障会诱发的故障的Fid;S2、故障分析***接收来自各故障监测模块发送过来的故障,形成一个当前故障列表;S3、故障分析***对当前故障列表进行上下关联分析;S10、故障分析***实现对一个故障Fk的精确定位,跳转S4。本发明提高了***故障自动分析定位能力,解决了大规模并行***故障的准确定位难题。

Description

面向大规模***的多源故障协同分析定位方法
技术领域
本发明涉及一种面向大规模***的多源故障协同分析定位方法,属于大规模并行***可用性管理技术领域。
背景技术
随着高性能计算技术的不断发展,大规模并行***规模日益扩大,资源种类多、数量大,软硬件结构复杂、元器件数量增多,导致大规模***平均故障间隔时间(mean timebetween failures,MTBF)显著降低,部件故障已经成为***运行过程中的常态事件,容错***已成为***稳定可靠运行的基础支撑***。***故障的快速发现与准确定位是***故障处理与容错运行的基础。
在大规模并行***中,由于***结构复杂,故障涉及管理资源、计算资源、网络资源、操作***、运行环境等方方面面,故障的多样性与隐蔽性导致表现在外的故障现场较为复杂,同时由于***故障经常造成相关软硬件环境的大面积异常,难以实现对故障的精确定位,传统的故障检测方法主要基于节点心跳监测、IPMI信息监测和SNMP协议监测等对计算资源和网络资源进行监测,一般只能发现和定位***中常规的显式硬件故障和节点宕机故障,对于各类***深层次故障,由于故障影响范围广、故障现场表现复杂,一般很难精确定位故障源头,经常需要在发生故障时由人工介入来进行故障的定位与分析,极大的影响了***的可用性与用户使用体验。
发明内容
本发明的目的是提供一种面向大规模***的多源故障协同分析定位方法,该面向大规模***的多源故障协同分析定位方法提高了***故障自动分析定位能力,解决了大规模并行***故障的准确定位难题。
为达到上述目的,本发明采用的技术方案是:一种面向大规模***的多源故障协同分析定位方法,基于以下模块:
IPMI协议故障监测模块,用于对商用服务器进行故障采集;
SNMP协议故障监测模块,用于对网络设备进行故障采集;
节点心跳故障监测模块,用于对专用设备软件进行故障采集;
维护通路故障监测模块,用于专用设备硬件进行故障采集;
***核心故障监测模块,用于监测各类***环境故障和Panic信息,并通过寄存器方式通知维护***服务入库登记;
资源管理故障监测模块,用于监测软硬件状态,并通过资源管理服务入库登记;
作业启动运行故障监测模块,用于进行作业启动运行时的服务状态检查,检测文件***、运行环境的各类故障,并通过作业***服务入库登记;
运行时环境异常检测模块,用于检测各类使用的部件服务的故障和异常,并通过作业***提供的接口向外传递并入库登记;
定制的带外维护***模块,用于对计算资源硬件故障进行监测,并通过维护***服务入库登记;
故障分析***,用于对各个故障监测模块采集的数据进行排重、筛选和归并分析;
***信息库,用于存储各个故障监测模块采集的数据和故障分析***分析产生的数据;
所述分析定位方法包括以下步骤:
S1、故障分析***对各故障监测模块采集到的故障进行统一分类,给每个故障定义一个故障编码Fid,给每个故障定义上下关联列表Fuplist和Fdownlist,上关联列表Fuplist包含一组会诱发该故障的故障编码Fid,下关联列表Fdownlist包含一组该故障会诱发的故障的Fid;
S2、故障分析***接收来自各故障监测模块发送过来的故障,形成一个当前故障列表;
S3、故障分析***对当前故障列表进行上下关联分析;
S4、故障分析***从当前故障列表中读取一个故障Fk,读取成功,进入S5,读取失败,跳转S2;
S5、故障分析***分析Fk的上下关联列表,如果均为空,则跳转S10,否则进入S6;
S6、故障分析***读取Fk的下关联列表Fdownlist,如果为空,跳转S8,否则进入S7;
S7、故障关联***根据Fid,检查当前故障列表中是否存在Fk的下关联列表Fdownlist中的故障,如果存在这类故障,则从当前故障列表中删除该类故障,并把该类故障的故障现场信息合并到Fk的故障现场中;
S8、故障分析***读取Fk的上关联列表Fuplist,如果为空,跳转S10,否则进入S9;
S9、故障关联***根据Fid,检查当前故障列表中是否存在Fk的上关联列表Fuplist中的故障,如果存在这类故障,则把Fk的故障现场合并到该类故障的故障现场中,并把Fk从故障列表中删除,跳转S4;
S10、故障分析***完成对一个故障Fk的精确定位,跳转S4。
由于上述技术方案的运用,本发明与现有技术相比具有下列优点:
本发明面向大规模***的多源故障协同分析定位方法,其提高了***故障自动分析定位能力,解决了大规模并行***故障的准确定位难题;在传统基于IPMI、SNMP和心跳等方式进行故障检测的基础上,在***运行异常时,通过结合定制的带外维护故障监测、操作***异常监测、资源管理服务故障监测、作业启动与运行检测、运行时环境异常检测等多种故障监测手段,实现大规模并行***故障和异常的感知发现,通过对故障统一分类并设置故障上下关联特性,基于软硬件协同控制的信息交互机制,进行多层次协同的故障分析定位,最终实现故障的排重和筛选,去除衍生故障与异常,实现故障的精确定位,解决传统的故障检测定位方法很难快速全面的准确定位***中的各类深层次故障源头问题,为***容错处理提供基础支撑,提升***可用性和用户体验。
附图说明
附图1为本发明面向大规模***的多源故障协同分析定位方法原理示意图;
附图2为本发明面向大规模***的多源故障协同分析定位方法流程图。
具体实施方式
实施例:一种面向大规模***的多源故障协同分析定位方法,基于大规模异构***,基于以下模块:
IPMI协议故障监测模块,用于对商用服务器进行故障采集;
SNMP协议故障监测模块,用于对网络设备进行故障采集;
节点心跳故障监测模块,用于对专用设备软件进行故障采集;
维护通路故障监测模块,用于专用设备硬件进行故障采集;
***核心故障监测模块,用于监测各类***环境故障和Panic信息,并通过寄存器方式通知维护***服务入库登记;
资源管理故障监测模块,用于监测软硬件状态,并通过资源管理服务入库登记;
作业启动运行故障监测模块,用于进行作业启动运行时的服务状态检查,检测文件***、运行环境的各类故障,并通过作业***服务入库登记;
运行时环境异常检测模块,用于检测各类使用的部件服务的故障和异常,并通过作业***提供的接口向外传递并入库登记;
定制的带外维护***模块,用于对计算资源硬件故障进行监测,并通过维护***服务入库登记;
故障分析***,用于对各个故障监测模块采集的数据进行排重、筛选和归并分析;
***信息库,用于存储各个故障监测模块采集的数据和故障分析***分析产生的数据;
所述分析定位方法包括以下步骤:
S1、故障分析***对各故障监测模块采集到的故障进行统一分类,给每个故障定义一个故障编码Fid,给每个故障定义上下关联列表Fuplist和Fdownlist,上关联列表Fuplist包含一组会诱发该故障的故障编码Fid,下关联列表Fdownlist包含一组该故障会诱发的故障的Fid;
S2、故障分析***接收来自各故障监测模块发送过来的故障,形成一个当前故障列表;
S3、故障分析***对当前故障列表进行上下关联分析;
S4、故障分析***从当前故障列表中读取一个故障Fk,读取成功,进入S5,读取失败,跳转S2;
S5、故障分析***分析Fk的上下关联列表,如果均为空,则跳转S10,否则进入S6;
S6、故障分析***读取Fk的下关联列表Fdownlist,如果为空,跳转S8,否则进入S7;
S7、故障关联***根据Fid,检查当前故障列表中是否存在Fk的下关联列表Fdownlist中的故障,如果存在这类故障,则从当前故障列表中删除该类故障,并把该类故障的故障现场信息合并到Fk的故障现场中;
S8、故障分析***读取Fk的上关联列表Fuplist,如果为空,跳转S10,否则进入S9;
S9、故障关联***根据Fid,检查当前故障列表中是否存在Fk的上关联列表Fuplist中的故障,如果存在这类故障,则把Fk的故障现场合并到该类故障的故障现场中,并把Fk从故障列表中删除,跳转S4;
S10、故障分析***完成对一个故障Fk的精确定位,跳转S4。
所述故障现场就是故障发生时由各故障监测模块采集的数据。
实施例进一步解释如下:
面向大规模***的多源故障协同分析定位方法主要由***多路径故障感知和多层次协同的故障分析定位两部分构成,处理示意如图1所示。
(1)***多路径故障感知
故障感知主要包括以下方式:
a)支持传统基于IPMI、SNMP等协议、节点心跳的计算资源、网络资源故障发现;
b)通过定制带外维护***,实现计算资源硬件故障的监测,并通过维护服务入库登记;
c)通过操作***核心监测各类***环境故障和Panic信息,通过寄存器方式通知维护***入库登记;
d)通过资源管理轮询状态检查监测软硬件状态,并通过资源管理服务入库登记;
e)通过作业启动运行时的服务状态检查,检测文件***、运行环境的各类故障,并通过作业***服务入库登记;
f)***运行时在作业运行过程中基于运行状态检测各类使用的部件服务的故障和异常,并通过作业***提供的接口向外传递并入库登记。
(2)多层次协同的故障分析定位
当***发生部件故障时,可能在多个层次报出,如节点硬件故障可能导致维护监测、节点心跳、运行控制***均上报故障。此时,通过监测分析节点和网络等资源状态,并结合操作***、作业资源管理、运行时***等软件,建立多层次软硬件协同控制的信息交互机制,通过对故障统一分类并设置故障上下关联特性,进行故障排重和筛选,去除衍生故障与异常,实现故障的精确定位。多层次协同的故障分析定位处理流程主要如下。
a)***运行过程中监测到有运行故障/异常发生,启动分析定位处理流程;
b)故障分析***驱动故障现场相关部位进行故障与运行状态深入检测、查询是否发生确定性故障;
c)***各部位进行局部状态故障检测,检测时如发现存在异常但不能准确定位时,可以根据异常类别驱动相关部位进行深入检测(如运行时检测发现消息传输异常时,可以驱动网络部件状态检查);
d)故障分析***收集各部位发来的深层次检测结果,基于故障上下关联特性,对故障现场进行归并分析;
e)故障分析***在故障现场分析的基础上进行故障排重和筛选,去除衍生故障与异常,实现故障的精确定位。
采用上述面向大规模***的多源故障协同分析定位方法时,其提高了***故障自动分析定位能力,解决了大规模并行***故障的准确定位难题;在传统基于IPMI、SNMP和心跳等方式进行故障检测的基础上,在***运行异常时,通过结合定制的带外维护故障监测、操作***异常监测、资源管理服务故障监测、作业启动与运行检测、运行时环境异常检测等多种故障监测手段,实现大规模并行***故障和异常的感知发现,通过对故障统一分类并设置故障上下关联特性,基于软硬件协同控制的信息交互机制,进行多层次协同的故障分析定位,最终实现故障的排重和筛选,去除衍生故障与异常,实现故障的精确定位,解决传统的故障检测定位方法很难快速全面的准确定位***中的各类深层次故障源头问题,为***容错处理提供基础支撑,提升***可用性和用户体验。
为了便于更好的理解本发明,下面将对本文中使用的术语进行简要的解释:
并行计算(Parallel Computing):并行计算是指同时使用多种计算资源解决计算问题的过程,通过多节点/处理器来并发协同求解同一问题,以提高计算速度和处理能力。
并行作业:一般指由MPI等并行语言编写,运行于并行计算机计算资源上的任务进程集合,由作业***启动和控制,通过进程间协同完成同一问题求解。
资源管理***:指运行于并行计算机中,用于进行资源状态监测、资源分配与回收等功能的管理控制***。
作业管理***:指运行于并行计算机中,用于进行并行作业调度、任务启动、控制与回收等功能的管理控制***。
IPMI:智能平台管理接口(Intelligent Platform Management Interface),是管理服务器设备采用的一种工业标准,用户可以利用IPMI进行服务器状态监测。
故障上下关联特性:***中的各类故障存在衍生关系。
上述实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰,都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种面向大规模***的多源故障协同分析定位方法,其特征在于:基于以下模块:
IPMI协议故障监测模块,用于对商用服务器进行故障采集;
SNMP协议故障监测模块,用于对网络设备进行故障采集;
节点心跳故障监测模块,用于对专用设备软件进行故障采集;
维护通路故障监测模块,用于专用设备硬件进行故障采集;
***核心故障监测模块,用于监测各类***环境故障和Panic信息,并通过寄存器方式通知维护***服务入库登记;
资源管理故障监测模块,用于监测软硬件状态,并通过资源管理服务入库登记;
作业启动运行故障监测模块,用于进行作业启动运行时的服务状态检查,检测文件***、运行环境的各类故障,并通过作业***服务入库登记;
运行时环境异常检测模块,用于检测各类使用的部件服务的故障和异常,并通过作业***提供的接口向外传递并入库登记;
定制的带外维护***模块,用于对计算资源硬件故障进行监测,并通过维护***服务入库登记;
故障分析***,用于对各个故障监测模块采集的数据进行排重、筛选和归并分析;
***信息库,用于存储各个故障监测模块采集的数据和故障分析***分析产生的数据;
所述分析定位方法包括以下步骤:
S1、故障分析***对各故障监测模块采集到的故障进行统一分类,给每个故障定义一个故障编码Fid,给每个故障定义上下关联列表Fuplist和Fdownlist,上关联列表Fuplist包含一组会诱发该故障的故障编码Fid,下关联列表Fdownlist包含一组该故障会诱发的故障的Fid;
S2、故障分析***接收来自各故障监测模块发送过来的故障,形成一个当前故障列表;
S3、故障分析***对当前故障列表进行上下关联分析;
S4、故障分析***从当前故障列表中读取一个故障Fk,读取成功,进入S5,读取失败,跳转S2;
S5、故障分析***分析Fk的上下关联列表,如果均为空,则跳转S10,否则进入S6;
S6、故障分析***读取Fk的下关联列表Fdownlist,如果为空,跳转S8,否则进入S7;
S7、故障关联***根据Fid,检查当前故障列表中是否存在Fk的下关联列表Fdownlist中的故障,如果存在这类故障,则从当前故障列表中删除该类故障,并把该类故障的故障现场信息合并到Fk的故障现场中;
S8、故障分析***读取Fk的上关联列表Fuplist,如果为空,跳转S10,否则进入S9;
S9、故障关联***根据Fid,检查当前故障列表中是否存在Fk的上关联列表Fuplist中的故障,如果存在这类故障,则把Fk的故障现场合并到该类故障的故障现场中,并把Fk从故障列表中删除,跳转S4;
S10、故障分析***完成对一个故障Fk的精确定位,跳转S4。
CN201910863431.3A 2019-09-12 2019-09-12 面向大规模***的多源故障协同分析定位方法 Active CN112100019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863431.3A CN112100019B (zh) 2019-09-12 2019-09-12 面向大规模***的多源故障协同分析定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863431.3A CN112100019B (zh) 2019-09-12 2019-09-12 面向大规模***的多源故障协同分析定位方法

Publications (2)

Publication Number Publication Date
CN112100019A CN112100019A (zh) 2020-12-18
CN112100019B true CN112100019B (zh) 2021-03-23

Family

ID=73748895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863431.3A Active CN112100019B (zh) 2019-09-12 2019-09-12 面向大规模***的多源故障协同分析定位方法

Country Status (1)

Country Link
CN (1) CN112100019B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764907B (zh) * 2021-01-26 2024-05-10 网易(杭州)网络有限公司 一种任务处理方法、装置、电子设备和存储介质
CN113190278B (zh) * 2021-03-18 2023-03-17 山东英信计算机技术有限公司 一种多场景故障处理方法、***及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101614781A (zh) * 2009-07-20 2009-12-30 浙江大学 一种基于空间规则索引的广电设备故障智能诊断方法
CN103427417A (zh) * 2013-07-31 2013-12-04 国电南瑞科技股份有限公司 基于多源信息融合的配电网故障处理方法
WO2018168873A1 (ja) * 2017-03-17 2018-09-20 株式会社フジキン 流体制御機器の動作分析システム、方法、及びコンピュータプログラム
CN109656793A (zh) * 2018-11-22 2019-04-19 安徽继远软件有限公司 一种基于多源异构数据融合的信息***性能立体监测方法
CN109766334A (zh) * 2019-01-07 2019-05-17 国网湖南省电力有限公司 用于电力设备在线监测异常数据的处理方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107786994B (zh) * 2016-08-26 2021-01-12 卓望数码技术(深圳)有限公司 端到端无线业务的用户感知质差分析方法和***
CN109783313B (zh) * 2018-12-18 2023-03-14 平安科技(深圳)有限公司 一种***异常处理方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101614781A (zh) * 2009-07-20 2009-12-30 浙江大学 一种基于空间规则索引的广电设备故障智能诊断方法
CN103427417A (zh) * 2013-07-31 2013-12-04 国电南瑞科技股份有限公司 基于多源信息融合的配电网故障处理方法
WO2018168873A1 (ja) * 2017-03-17 2018-09-20 株式会社フジキン 流体制御機器の動作分析システム、方法、及びコンピュータプログラム
CN109656793A (zh) * 2018-11-22 2019-04-19 安徽继远软件有限公司 一种基于多源异构数据融合的信息***性能立体监测方法
CN109766334A (zh) * 2019-01-07 2019-05-17 国网湖南省电力有限公司 用于电力设备在线监测异常数据的处理方法及***

Also Published As

Publication number Publication date
CN112100019A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
EP3036633B1 (en) Cloud deployment infrastructure validation engine
CN109213675B (zh) 软件分析平台
Zheng et al. Co-analysis of RAS log and job log on Blue Gene/P
CN107544839B (zh) 虚拟机迁移***、方法及装置
EP3591485B1 (en) Method and device for monitoring for equipment failure
CN110716842B (zh) 集群故障检测方法和装置
WO2016188100A1 (zh) 信息***故障场景信息收集方法及***
JP2001188765A (ja) 分散コンピューティング環境で複数の関係する障害を表す障害情報を参照する技法
CN112100019B (zh) 面向大规模***的多源故障协同分析定位方法
CN111046011A (zh) 日志收集方法、***、节点、电子设备及可读存储介质
JP2016115352A (ja) 生産システムの監視方法及び監視システム
US8554908B2 (en) Device, method, and storage medium for detecting multiplexed relation of applications
Li et al. Conan: Diagnosing batch failures for cloud systems
CN107453888B (zh) 高可用性的虚拟机集群的管理方法及装置
CN103995759B (zh) 基于核内外协同的高可用计算机***故障处理方法及装置
CN113672452A (zh) 一种数据采集任务的运行监控方法、***
KR20220060871A (ko) 데이터 센터용 인공지능 통합 자원 관리 시스템
Sosnowski et al. Monitoring event logs within a cluster system
CN114167181B (zh) 监测本地和异地线路故障溯源的方法及***
WO2022160141A1 (en) Industrial network-based codeless tracking analytics method and apparatus for industrial software
Narayanan et al. Towards' integrated'monitoring and management of DataCenters using complex event processing techniques
Wang et al. Log data modeling and acquisition in supporting SaaS software performance issue diagnosis
CN113031969A (zh) 设备部署巡检方法、装置、计算机设备及存储介质
Sloper et al. Dynamic error recovery in the ATLAS TDAQ system
CN112181759A (zh) 一种微服务性能监视及异常诊断的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information

Inventor after: Gao Jiangang

Inventor after: Gong Daoyong

Inventor after: Song Changming

Inventor after: Qian Yu

Inventor after: Li Weidong

Inventor after: Zhang Hongyu

Inventor after: Liu Sha

Inventor before: Gong Daoyong

Inventor before: Song Changming

Inventor before: Qian Yu

Inventor before: Li Weidong

Inventor before: Zhang Hongyu

Inventor before: Liu Sha

CB03 Change of inventor or designer information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant