CN109684257B - 一种远程内存扩展管理*** - Google Patents

一种远程内存扩展管理*** Download PDF

Info

Publication number
CN109684257B
CN109684257B CN201811585043.5A CN201811585043A CN109684257B CN 109684257 B CN109684257 B CN 109684257B CN 201811585043 A CN201811585043 A CN 201811585043A CN 109684257 B CN109684257 B CN 109684257B
Authority
CN
China
Prior art keywords
memory
expansion chip
memory expansion
chip
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811585043.5A
Other languages
English (en)
Other versions
CN109684257A (zh
Inventor
王振江
王朝辉
满宏涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Inspur Smart Computing Technology Co Ltd
Original Assignee
Guangdong Inspur Big Data Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Inspur Big Data Research Co Ltd filed Critical Guangdong Inspur Big Data Research Co Ltd
Priority to CN201811585043.5A priority Critical patent/CN109684257B/zh
Publication of CN109684257A publication Critical patent/CN109684257A/zh
Application granted granted Critical
Publication of CN109684257B publication Critical patent/CN109684257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4027Coupling between buses using bus bridges
    • G06F13/404Coupling between buses using bus bridges with address mapping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明公开了一种远程内存扩展管理***,包括CPU处理器、主内存扩展芯片、多个远端内存扩展芯片、多个内存控制器及多个内存组;所述CPU处理器与所述主内存扩展芯片连接,所述主内存扩展芯片与多个所述远端内存扩展芯片分别连接,每个所述远端内存扩展芯片与至少一个所述内存控制器连接,每个所述内存控制器与一个所述内存组连接;其中,所述主内存扩展芯片用于与所述CPU处理器通信及对所述内存组对应内存空间的映射管理,所述远端内存扩展芯片用于与对应内存控制器通信及对对应内存组的内存空间的映射管理。本申请不仅能够避免内存资源的浪费,且能够根据实际需要实现内存资源的容量扩展。

Description

一种远程内存扩展管理***
技术领域
本发明涉及内存管理技术领域,更具体地说,涉及一种远程内存扩展管理***。
背景技术
当前,处理器的计算能力、内存容量和输入/输出接口的带宽是对服务器***进行评价的三个重要的性能评价指标。目前处理器的多核工艺和CPU处理器集群方案较为成熟保证了计算性能的持续提升,为了提高输入、输出接口带宽业界不断推出PCI Express、100G以太网等高速接口。但是相应的内存依旧是采用旧有设计,虽然随着工艺的翻转单片内存的容量得到提升,但是从整个***上来看,内存容量依然是***的一个瓶颈。
具体来说,现有技术中的服务器***由多个刀片主板组成,每个刀片主板的结构示意图如图1所示,其中,在一个刀片主板上集成CPU处理器(CentralProcessing Unit,中央处理器)处理器、内存控制器芯片(简称内存控制器)和内存存储组(简称内存组)。CPU处理器和内存控制器连接,内存控制器对内存组进行管理。这种方案在刀片主板制作完成后,能够提供的容量已经确定,无法根据实际需要进行容量扩展。
综上所述,现有技术中的内存实现方案存在无法根据实际需要进行容量扩展的问题。
发明内容
本发明的目的是提供一种远程内存扩展管理***,能够解决现有技术中的内存实现方案存在的无法根据实际需要进行容量扩展的问题。
为了实现上述目的,本发明提供如下技术方案:
一种远程内存扩展管理***,包括CPU处理器、主内存扩展芯片、多个远端内存扩展芯片、多个内存控制器及多个内存组;所述CPU处理器与所述主内存扩展芯片连接,所述主内存扩展芯片与多个所述远端内存扩展芯片分别连接,每个所述远端内存扩展芯片与至少一个所述内存控制器连接,每个所述内存控制器与一个所述内存组连接;其中,所述主内存扩展芯片用于与所述CPU处理器通信及对所述内存组对应内存空间的映射管理,所述远端内存扩展芯片用于与对应内存控制器通信及对对应内存组的内存空间的映射管理。
优选的,还包括至少一个转接内存扩展芯片,所述主内存扩展芯片通过至少一个所述转接内存扩展芯片与对应的远端内存扩展芯片连接;所述转接内存扩展芯片用于实现所述主内存扩展芯片及对应远端内存扩展芯片之间的数据传输。
优选的,内存扩展芯片之间采用光纤高速接口实现数据传输,所述内存扩展芯片包括所述主内存扩展芯片、所述转接内存扩展芯片及所述远端内存扩展芯片。
优选的,所述远端内存扩展芯片包括通知单元,用于在连接的内存组出现故障时,将对应的故障信息通知给所述主内存扩展芯片;对应的,所述主内存扩展芯片包括管理单元,用于在接收到故障信息时确定对应的内存组为故障内存组,并确定所述故障内存组对应的内存空间为无法使用的失效内存空间。
优选的,所述CPU处理器包括提示单元,用于接收所述主内存扩展芯片发送的故障信息,并将所述故障信息输出,以指示工作人员对对应的内存组进行维修或更换。
优选的,所述内存组均为DDR内存组。
优选的,所述DDR内存组均设置于同一机柜内。
本发明提供的一种远程内存扩展管理***,包括CPU处理器、主内存扩展芯片、多个远端内存扩展芯片、多个内存控制器及多个内存组;所述CPU处理器与所述主内存扩展芯片连接,所述主内存扩展芯片与多个所述远端内存扩展芯片分别连接,每个所述远端内存扩展芯片与至少一个所述内存控制器连接,每个所述内存控制器与一个所述内存组连接;其中,所述主内存扩展芯片用于与所述CPU处理器通信及对所述内存组对应内存空间的映射管理,所述远端内存扩展芯片用于与对应内存控制器通信及对对应内存组的内存空间的映射管理。本申请公开的技术方案,通过内存扩展芯片(包括主内存扩展芯片及远端内存扩展芯片)连接实现了物理分离CPU处理器和连接有内存组的内存控制器的连接,由于内存扩展芯片可以连接多个内存控制器,因此在需要实现容量扩展时能够通过内存扩展芯片接入对应数量的内存控制器及内存组,而在需要较小容量时拔除由内存扩展芯片接入的对应数量的内存控制器及内存组即可,由此不仅能够避免了内存资源的浪费,且能够根据实际需要实现内存资源的容量扩展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中刀片主板的结构示意图;
图2为本发明实施例提供的一种远端内存扩展***的第一种结构示意图;
图3为本发明实施例提供的一种云端内存扩展***的第二种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种远程内存扩展管理***,可以包括CPU处理器、主内存扩展芯片、多个远端内存扩展芯片、多个内存控制器及多个内存组;CPU处理器与主内存扩展芯片连接,主内存扩展芯片与多个远端内存扩展芯片分别连接,每个远端内存扩展芯片与至少一个内存控制器连接,每个内存控制器与一个内存组连接;其中,主内存扩展芯片用于与CPU处理器通信及对内存组对应内存空间的映射管理,远端内存扩展芯片用于与对应内存控制器通信及对对应内存组的内存空间的映射管理。
当内存控制器及内存组的数量均为三个、远端内存扩展芯片的数量为一个时本发明提供的一种远程内存扩展管理***的结构示意图可以如图2所示。其中,CPU处理器及对应的内存扩展芯片可以位于同一主板上,而位于该主板上的内存扩展芯片称为主内存扩展芯片,主要负责和CPU处理器的通信以及对连接的内存组对应内存空间的映射管理;内存控制器及对应的内存组一般位于同一子主板上,而内存控制器对应的内存扩展芯片可以称为远端内存扩展芯片,主要负责连接内存控制器及对应的内存组,并对对应内存组进行映射管理,将对应内存组的信息及数据传输给主内存扩展芯片,由主内存扩展芯片将其传输给CPU处理器。本实施例中的CPU处理器、内存控制器及内存组与现有技术中对应概念的含义及需实现的功能相同,在此不再赘述;而内存扩展芯片需要加载实现数据传输及相应映射管理功能的协议,该协议可以由工作人员根据实际需要内存扩展芯片实现的功能设定;具体来说,内存扩展芯片除了需要实现数据传输的功能外,远端内存扩展芯片可以通过对应的内存控制器实时监控连接的内存组的工作状态,如果内存组的工作状态正常,则允许CPU处理器对其进行使用,否则则拒绝CPU处理器对其进行使用;而主内存扩展芯片可以由远端内存扩展芯片获取对应内存组的工作状态,进而确定能够使用的内存组及无法使用的内存组,以保证数据存储功能的顺利实现。
另外,内存扩展芯片具有多个实现连接的端口,由此,主内存扩展可以与多个远端内存控制芯片连接,而每个远端内存控制芯片可以与多个内存控制器连接,从而实现内存容量的扩展。
本申请公开的技术方案,通过内存扩展芯片(包括主内存扩展芯片及远端内存扩展芯片)连接实现了物理分离CPU处理器和连接有内存组的内存控制器的连接,由于内存扩展芯片可以连接多个内存控制器,因此在需要实现容量扩展时能够通过内存扩展芯片接入对应数量的内存控制器及内存组,而在需要较小容量时拔除由内存扩展芯片接入的对应数量的内存控制器及内存组即可,由此不仅能够避免了内存资源的浪费,且能够根据实际需要实现内存资源的容量扩展。
另外,由于现有技术中CPU处理器、内存控制器及内存组均位于同一主板上,当内存组内某一内存出现故障时,整个内存组都不可用,***发生宕机,容错性差。而本申请中可以通过内存扩展芯片连接多个内存组,即使某个内存组发生故障,还可以基于其他内存组实现数据存储功能,从而提高了***容错性。并且现有技术中当内存组和内存控制器升级时,由于内存组、内存控制器及CPU处理器位于同一主板,因此只能购买新的主板,而本申请中由于内存组、内存控制器均与CPU处理器实现了物理分离,因此当需要实现内存组和内存控制器的升级时,直接更换内存控制器及内存组对应零件即可,大大降低了升级维护成本。可见本申请不仅可以通过容量扩展解决现有技术中存在的内存容量瓶颈问题,同时提高了***的容错性和安全性,降低了后期***更新的成本。
本发明实施例提供了一种远程内存扩展管理***,还可以包括至少一个转接内存扩展芯片,主内存扩展芯片通过至少一个转接内存扩展芯片与对应的远端内存扩展芯片连接;转接内存扩展芯片用于实现主内存扩展芯片及对应远端内存扩展芯片之间的数据传输。
需要说明的是,实现不同内存扩展芯片之间连接以实现对应数据传输功能的内存扩展芯片可以称为转接内存扩展芯片,内存控制器及内存组的数量均为六个、转接内存扩展芯片的数量为一个时结构示意图可以如图3所示。需要说明的是,远端内存扩展芯片可以直接与主内存扩展芯片连接,而为了进一步增加可扩展的内存容量,本实施例中在主内存扩展芯片及远端内存扩展芯片之间加入至少一个转接内存扩展芯片,由于每个转接内存扩展芯片可以连接多个远端内存扩展芯片,由此在需要实现容量扩展时,一个主内存扩展芯片可以连接多个转接内存扩展芯片,一个转接内存扩展芯片可以连接多个远端内存扩展芯片,从而通过这种多级扩展的方式保证了扩展的内存容量的最大化。当然,加入转接内存扩展芯片的前提条件为对数据传输时的延时要求不高,因此多级芯片之间进行数据传输必然会降低数据传输速度,因此在延时要求不高时可以根据实际需要通过转接内存扩展芯片实现内存容量的扩展。
本发明实施例提供了一种远程内存扩展管理***,内存扩展芯片之间可以采用光纤高速接口实现数据传输,内存扩展芯片包括主内存扩展芯片、转接内存扩展芯片及远端内存扩展芯片。
需要说明的是,为了保证数据的高速传输,本实施例中采用光纤高速接口作为不同内存扩展芯片之间的数据传输接口,从而使得本申请公开的技术方案能够根据实际需要实现内存容量扩展的同时,保证了较高的数据传输速度,提升了***性能。
本发明实施例提供了一种远程内存扩展管理***,远端内存扩展芯片可以包括通知单元,用于在连接的内存组出现故障时,将对应的故障信息通知给主内存扩展芯片;对应的,主内存扩展芯片可以包括管理单元,用于在接收到故障信息时确定对应的内存组为故障内存组,并确定故障内存组对应的内存空间为无法使用的失效内存空间。
需要说明的是,主内存扩展芯片可以默认内存组均为正常状态的内存组进而对内存组的内存空间进行使用;而在远端内存扩展芯片在通过内存控制器获知对应的内存组出现故障时,可以通过通知单元将包括对应的故障信息发送给主内存控制芯片;主内存控制芯片的管理单元可以基于发送故障信息发送的端口定位出现故障的内存组,并且确定故障内存组的内存空间为无法使用的失效内存空间,而仅利用其他正常工作状态下的内存组实现数据存储功能,从而在任一内存组失效时能够继续基于正常工作的内存组实现数据存储功能,保证了数据存储的有效性及可靠性。
本发明实施例提供了一种远程内存扩展管理***,CPU处理器可以包括提示单元,用于接收主内存扩展芯片发送的故障信息,并将故障信息输出,以指示工作人员对对应的内存组进行维修或更换。
需要说明的是,在主内存扩展芯片获知到故障信息后,可以由提示单元将故障信息进行输出,从而工作人员可以通过故障信息定位到出现故障的内存组,进而实现对应的维修或者更换等操作,当然还可以在故障内存组能够使用时将其重新接入对应的远端内存扩展芯片,从而保证了坏件的及时维修更换,保证了有足够的内存组供使用。
本发明实施例提供了一种远程内存扩展管理***,内存组均可以为DDR内存组。
DDR(SDRAMDouble Data Rate SDRAM,双倍速率同步动态随机存取存储器)具有较高的数据存取速率,因此本实施例中采用DDR内存组实现数据存储功能,能够进一步提升***性能。另外,DDR内存组均可以设置于同一机柜内。由此实现内存组在物理上的池化,方便了工作人员对其进行相应的管理。当然还可以根据实际需要进行其他设置,均在本发明的保护范围之内。
需要说明的是,本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种远程内存扩展管理***,其特征在于,包括CPU处理器、主内存扩展芯片、多个远端内存扩展芯片、多个内存控制器及多个内存组;所述CPU处理器与所述主内存扩展芯片连接,所述主内存扩展芯片与多个所述远端内存扩展芯片分别连接,每个所述远端内存扩展芯片与至少一个所述内存控制器连接,每个所述内存控制器与一个所述内存组连接;其中,所述主内存扩展芯片用于与所述CPU处理器通信及对所述内存组对应内存空间的映射管理,所述远端内存扩展芯片用于与对应内存控制器通信及对对应内存组的内存空间的映射管理;
所述远端内存扩展芯片包括通知单元,用于在连接的内存组出现故障时,将对应的故障信息通知给所述主内存扩展芯片;对应的,所述主内存扩展芯片包括管理单元,用于在接收到故障信息时确定对应的内存组为故障内存组,并确定所述故障内存组对应的内存空间为无法使用的失效内存空间。
2.根据权利要求1所述的***,其特征在于,还包括至少一个转接内存扩展芯片,所述主内存扩展芯片通过至少一个所述转接内存扩展芯片与对应的远端内存扩展芯片连接;所述转接内存扩展芯片用于实现所述主内存扩展芯片及对应远端内存扩展芯片之间的数据传输。
3.根据权利要求2所述的***,其特征在于,内存扩展芯片之间采用光纤高速接口实现数据传输,所述内存扩展芯片包括所述主内存扩展芯片、所述转接内存扩展芯片及所述远端内存扩展芯片。
4.根据权利要求3所述的***,其特征在于,所述CPU处理器包括提示单元,用于接收所述主内存扩展芯片发送的故障信息,并将所述故障信息输出,以指示工作人员对对应的内存组进行维修或更换。
5.根据权利要求4所述的***,其特征在于,所述内存组均为DDR内存组。
6.根据权利要求5所述的***,其特征在于,所述DDR内存组均设置于同一机柜内。
CN201811585043.5A 2018-12-24 2018-12-24 一种远程内存扩展管理*** Active CN109684257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585043.5A CN109684257B (zh) 2018-12-24 2018-12-24 一种远程内存扩展管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585043.5A CN109684257B (zh) 2018-12-24 2018-12-24 一种远程内存扩展管理***

Publications (2)

Publication Number Publication Date
CN109684257A CN109684257A (zh) 2019-04-26
CN109684257B true CN109684257B (zh) 2022-08-12

Family

ID=66188218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585043.5A Active CN109684257B (zh) 2018-12-24 2018-12-24 一种远程内存扩展管理***

Country Status (1)

Country Link
CN (1) CN109684257B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868155B (zh) * 2021-11-30 2022-03-08 苏州浪潮智能科技有限公司 一种内存空间扩展方法、装置及电子设备和存储介质
CN115686153B (zh) * 2022-12-29 2023-03-31 浪潮电子信息产业股份有限公司 一种内存模组及一种电子设备
CN116225177B (zh) * 2023-05-06 2023-08-15 苏州浪潮智能科技有限公司 内存***、内存资源调节方法、装置、电子设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872308A (zh) * 2009-04-25 2010-10-27 鸿富锦精密工业(深圳)有限公司 内存条控制***及其控制方法
CN102520768A (zh) * 2011-12-29 2012-06-27 曙光信息产业股份有限公司 一种刀片服务器主板及***
CN103019324A (zh) * 2012-12-26 2013-04-03 无锡江南计算技术研究所 内存能力增强的可重构微服务器
CN104484021A (zh) * 2014-12-23 2015-04-01 浪潮电子信息产业股份有限公司 一种可扩展内存的服务器***
CN106959893A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 加速器、用于加速器的内存管理方法以及数据处理***
CN107844433A (zh) * 2017-11-24 2018-03-27 郑州云海信息技术有限公司 一种异构混合内存服务器架构

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872308A (zh) * 2009-04-25 2010-10-27 鸿富锦精密工业(深圳)有限公司 内存条控制***及其控制方法
CN102520768A (zh) * 2011-12-29 2012-06-27 曙光信息产业股份有限公司 一种刀片服务器主板及***
CN103019324A (zh) * 2012-12-26 2013-04-03 无锡江南计算技术研究所 内存能力增强的可重构微服务器
CN104484021A (zh) * 2014-12-23 2015-04-01 浪潮电子信息产业股份有限公司 一种可扩展内存的服务器***
CN106959893A (zh) * 2017-03-31 2017-07-18 联想(北京)有限公司 加速器、用于加速器的内存管理方法以及数据处理***
CN107844433A (zh) * 2017-11-24 2018-03-27 郑州云海信息技术有限公司 一种异构混合内存服务器架构

Also Published As

Publication number Publication date
CN109684257A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US10642704B2 (en) Storage controller failover system
CN102449621B (zh) 一种节点控制器链路的切换方法、处理器***和节点
CN100470494C (zh) 集群可用性管理方法和***
CN109684257B (zh) 一种远程内存扩展管理***
CN103199972B (zh) 基于soa、rs485总线实现的双机热备份切换方法及热备份***
CN103207841B (zh) 基于键值对缓存的数据读写方法及装置
CN101776983B (zh) 磁盘阵列中双控制器信息的同步方法、及磁盘阵列***
CN105279133A (zh) 基于SoC在线重构的VPX并行DSP信号处理板卡
CN102622279B (zh) 冗余控制***、方法及管理控制器
CN105159798A (zh) 一种虚拟机的双机热备方法、双机热备管理服务器和***
CN103188157B (zh) 一种路由器设备
CN102402395A (zh) 基于仲裁磁盘的高可用***不间断运行方法
CN103180817A (zh) 存储扩展装置及服务器
CN109918230A (zh) 一种业务板卡异常恢复方法及***
CN116881053B (zh) 数据处理方法及交换板、数据处理***、数据处理装置
CN105577430A (zh) 一种高端容错服务器的节点管理方法
CN104408014A (zh) 一种计算***之间处理单元互连的***及方法
CN113867226A (zh) 一种面向工控***的冗余数据采集***
CN105763488B (zh) 数据中心汇聚核心交换机及其背板
WO2021012169A1 (zh) 一种提高存储***可靠性的方法和相关装置
CN103984390A (zh) 一种刀片及刀片服务器
CN104252416A (zh) 一种加速器以及数据处理方法
CN110806989A (zh) 一种存储服务器
EP3355525B1 (en) Computing apparatus, node device, and server
CN109995597B (zh) 一种网络设备故障处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant