CN109240609A - 一种基于aep内存的数据空间读写方法及*** - Google Patents

一种基于aep内存的数据空间读写方法及*** Download PDF

Info

Publication number
CN109240609A
CN109240609A CN201810969087.1A CN201810969087A CN109240609A CN 109240609 A CN109240609 A CN 109240609A CN 201810969087 A CN201810969087 A CN 201810969087A CN 109240609 A CN109240609 A CN 109240609A
Authority
CN
China
Prior art keywords
dimmid
data space
value
aep memory
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810969087.1A
Other languages
English (en)
Other versions
CN109240609B (zh
Inventor
贠雄斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810969087.1A priority Critical patent/CN109240609B/zh
Publication of CN109240609A publication Critical patent/CN109240609A/zh
Application granted granted Critical
Publication of CN109240609B publication Critical patent/CN109240609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0679Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于AEP内存的数据空间读写方法及***包括如下步骤:自动检索AEP内存的DimmID值,生成DimmID的列表库;依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;将写入成功的数据空间进行显示。步骤自动检索AEP内存的DimmID值,生成DimmID的列表库之前还包括:检索AEP内存的数据空间,如果存在退出,否则准备写入。步骤自动检索AEP内存的DimmID值,生成DimmID的列表库包括:Ndctl list–R模块输出json格式空间表;ipmctl工具读取所有的AEP内存;检索第一列的DimmID值,生成DimmID的列表库dimmIDList。

Description

一种基于AEP内存的数据空间读写方法及***
技术领域
本发明涉及服务器存储技术领域,具体涉及一种基于AEP内存的数据空间读写方法及***。
背景技术
AEP内存简称Apache Pass DIMMs,为高性能和灵活性而设计的革命性的SCM,称Optane NVMe SSD为Clodstream,为世界上最快、可用性和可服务性最好的SSD;ApachePass DIMM比DRAM高出8-10倍,其成本优势明显;与DRAM相比,其具有非易失性的另一大优势。与Flash Flash相比,由于写入方式不同,Apache Pass DIMM也比Flash NAND更耐用,从应用场景分析,Clodstream SSD主要用在NAND Flash SSD之上,对***日志、Memory Page和***元数据进行加速;然而Apache Pass DIMM主要定位是用于替代DRAM,支撑持久Memory或In-Memory应用。
目前一般通过手动的方式挨个查看服务器中AEP内存的DimmID,然而获取DimmID的方法仅有两种,一种是ixpdimm-cli读取;第二种是ipmctl读取;但是Intel已经发表声明使用ipmctl 工具取代ixpdimm-cli工具,也就是不在认可和维护,可以目前ipmctl工具不支持AEP内存的namespace(数据空间)的创建。由于每台服务器中将会有24条以上的大容量内存,如512GB、256GB,甚至更大容量的内存,使得我们在手动创建AEP 内存空间数据时,需要多条命令操作,耗时耗力,容易错误,容量越大操作时间将会越长。
发明内容
为了克服上述现有技术中的不足,本发明提供一种基于AEP内存的数据空间读写方法及***,以解决上述技术问题。
本发明的技术方案是:
一种基于AEP内存的数据空间读写方法 ,包括如下步骤:
自动检索AEP内存的DimmID值,生成DimmID的列表库;
依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
将写入成功的数据空间进行显示。
进一步的,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库之前还包括:
检索AEP内存的数据空间,如果存在退出,否则准备写入。
进一步的,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库包括:
Ndctl list –R模块输出json格式空间表;
ipmctl 工具读取所有的AEP内存;
检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,步骤检索第一列的DimmID值,生成DimmID的列表库dimmIDList包括:
通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,步骤依次扫描服务器中AEP内存的DimmID值创建数据空间包括:
依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间。
进一步的,步骤将写入成功的数据空间进行显示包括:
写入成功则数据空间创建成功,将显示命名空间的ID,否则返回异常显示。
本发明技术方案还提供一种基于AEP内存的数据空间读写*** ,包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示。
进一步的,该***还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出***,否则处理模块控制准备写入。
进一步的,列表生成模块包括Ndctl list –R单元、ipmctl 工具单元和列表检索单元;
Ndctl list –R单元,用于输出json格式空间表;
ipmctl 工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
进一步的,数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
从以上技术方案可以看出,本发明具有以下优点:本发明为一种基于AEP内存的数据空间读写方法可以在服务器上检测是否存在数据空间,依次扫描机器中AEP内存的DimmID值如(0x0001),在根据DimmID依次顺序创建数据空间,也就写入内存数据空间,当内存数据空间创建成功后,会返回提醒。对服务器中AEP内存的数据空间进行自动化创建,实现无人值守的操作,节省人力成本。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著地进步,其实施的有益效果也是显而易见的。
附图说明
图1为一种基于AEP内存的数据空间读写方法流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述,以下实施例是对本发明的解释,而本发明并不局限于以下实施方式。
实施例一
如图1所示,一种基于AEP内存的数据空间读写方法 ,包括如下步骤:
S1:检索AEP内存的数据空间,如果存在退出,否则准备写入;
S2:自动检索AEP内存的DimmID值,生成DimmID的列表库,其中,
Ndctl list –R模块输出json格式空间表;
ipmctl 工具读取所有的AEP内存;
通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList;
S3:依次扫描服务器中AEP内存的DimmID值创建数据空间;
S4:写入判定,若写入成功,命名数据空间信息,否则返回异常信息;
S5:重复步骤S2-S4,直到所有AEP类型内存测试结束,退出。
本实施例中,ndctl列出可能存在的数据空间,如下:
Ndctl list –R输出json格式空间表
[
{
"dev":"region1",
"size":268435456000,
"available_size":268435456000,
"type":"pmem",
"iset_id":5796113720718926916,
"persistence_domain":"memory_controller"
},
{
"dev":"region0",
"size":268435456000,
"available_size":268435456000,
"type":"pmem",
"iset_id":7511422227652879428,
"persistence_domain":"memory_controller"
}
]
由于上述得出的额是不存在数据空间的信息格式,进行如下步骤进行转换:
dimmIDList=$(ipmctl show -dimm |grep 'Healthy'|awk '{print $1}'),使用工具ipmctl 读取所有的AEP内存,在通过关键值'Healthy'检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间,
function namespace(){
ndn=$(ndctl list -R |grep 'region'|wc -l)
#ndn 代表DimmID列表库
for((n=0;n<=$ndn-1;n++)) #按顺序读取
do
#n 代表 DimmID值
ndctl create-namespace -r $n -m fsdax –f #逐步写入数据空间
done
}
这行ndctl create-namespace -r $n -m fsdax –f ,如果创建成功,将显示命名空间的ID,否则返回异常显示。
通过以上解决方案的整合,从而AEP内存的自动化数据空间读写方法。
#!/bin/bash
#****************************************************************#
# ScriptName: namespacev1.0.sh
dimmIDList=$(ipmctl show -dimm |grep 'Healthy'|awk '{print $1}')
function namespace(){
ndn=$(ndctl list -R |grep 'region'|wc -l)
for((n=0;n<=$ndn-1;n++))
do
ndctl create-namespace -r $n -m fsdax -f
done
}
namespace。
实施例二
本发明技术方案还提供一种基于AEP内存的数据空间读写*** ,包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示。
该***还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出***,否则处理模块控制准备写入。
获取模块包括Ndctl list –R单元、ipmctl 工具单元和列表检索单元;
Ndctl list –R单元,用于输出json格式空间表;
ipmctl 工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于AEP内存的数据空间读写方法 ,其特征在于包括如下步骤:
自动检索AEP内存的DimmID值,生成DimmID的列表库;
依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
将写入成功的数据空间进行显示。
2.根据权利要求1所述的一种基于AEP内存的数据空间读写方法 ,其特征在于,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库之前还包括:
检索AEP内存的数据空间,如果存在退出,否则准备写入。
3.根据权利要求1所述的一种基于AEP内存的数据空间读写方法 ,其特征在于,步骤自动检索AEP内存的DimmID值,生成DimmID的列表库包括:
Ndctl list –R模块输出json格式空间表;
ipmctl 工具读取所有的AEP内存;
检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
4.根据权利要求2所述的一种基于AEP内存的数据空间读写方法 ,其特征在于,步骤检索第一列的DimmID值,生成DimmID的列表库dimmIDList包括:
通过关键值Healthy检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
5.根据权利要求1所述的一种基于AEP内存的数据空间读写方法 ,其特征在于,步骤依次扫描服务器中AEP内存的DimmID值创建数据空间包括:
依据DimmID列表库,按照顺序读取AEP内存的DimmID值,逐步写入数据空间。
6.根据权利要求1所述的一种基于AEP内存的数据空间读写方法 ,其特征在于,步骤将写入成功的数据空间进行显示包括:
写入成功则数据空间创建成功,将显示命名空间的ID,否则返回异常显示。
7.一种基于AEP内存的数据空间读写*** ,其特征在于包括列表生成模块、数据空间创建模块和命名显示模块;
列表生成模块,用于自动检索AEP内存的DimmID值,生成DimmID的列表库;
数据空间创建模块,用于依次扫描服务器中AEP内存的DimmID值创建数据空间,写入判定;
命名显示模块,用于将写入成功的数据空间命名并进行显示。
8.根据权利要求7所述的一种基于AEP内存的数据空间读写*** ,其特征在于,该***还包括检索模块和处理模块;
检索模块,用于检索AEP内存的数据空间;
处理模块,用于处理检索模块的输出信息,若检索模块输出数据空间存在返回值,处理模块,用于控制退出***,否则处理模块控制准备写入。
9.根据权利要求7所述的一种基于AEP内存的数据空间读写*** ,其特征在于,列表生成模块包括Ndctl list –R单元、ipmctl 工具单元和列表检索单元;
Ndctl list –R单元,用于输出json格式空间表;
ipmctl 工具单元,用于读取所有的AEP内存;
列表检索单元,用于检索第一列的DimmID值,生成DimmID的列表库dimmIDList。
10.根据权利要求7所述的一种基于AEP内存的数据空间读写*** ,其特征在于,数据空间创建模块包括读取单元和写入单元:
读取单元,用于依据DimmID列表库,按照顺序读取AEP内存的DimmID值;
写入单元,用于逐步写入数据空间。
CN201810969087.1A 2018-08-23 2018-08-23 一种基于aep内存的数据空间读写方法及*** Active CN109240609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810969087.1A CN109240609B (zh) 2018-08-23 2018-08-23 一种基于aep内存的数据空间读写方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810969087.1A CN109240609B (zh) 2018-08-23 2018-08-23 一种基于aep内存的数据空间读写方法及***

Publications (2)

Publication Number Publication Date
CN109240609A true CN109240609A (zh) 2019-01-18
CN109240609B CN109240609B (zh) 2022-02-18

Family

ID=65068938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810969087.1A Active CN109240609B (zh) 2018-08-23 2018-08-23 一种基于aep内存的数据空间读写方法及***

Country Status (1)

Country Link
CN (1) CN109240609B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833295A (zh) * 2011-06-17 2012-12-19 南京中兴新软件有限责任公司 分布式缓存***中的数据操作方法和装置
CN104216659A (zh) * 2013-05-30 2014-12-17 中兴通讯股份有限公司 一种离线消息的存储方法及服务器
US20150006768A1 (en) * 2013-06-27 2015-01-01 Silicon Laboratories Inc. Immediate direct memory access descriptor-based write operation
US20160149882A1 (en) * 2014-11-25 2016-05-26 Oracle International Corporation Multi-tenancy support in a cloud based data grid
CN105844689A (zh) * 2016-03-29 2016-08-10 浪潮(苏州)金融技术服务有限公司 一种使用维度空间技术进行多维数据同步管理的方法
CN106371761A (zh) * 2015-07-23 2017-02-01 株式会社东芝 内存***以及非易失性内存的控制方法
CN106528001A (zh) * 2016-12-05 2017-03-22 北京航空航天大学 一种基于非易失性存储器和软件raid的缓存***
WO2017058231A1 (en) * 2015-10-01 2017-04-06 Hewlett-Packard Development Company, L.P. Automatic persistent memory management
US20170185293A1 (en) * 2015-12-28 2017-06-29 Intel Corporation Interleaved direct access mode in byte addressible memory and related devices and systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833295A (zh) * 2011-06-17 2012-12-19 南京中兴新软件有限责任公司 分布式缓存***中的数据操作方法和装置
CN104216659A (zh) * 2013-05-30 2014-12-17 中兴通讯股份有限公司 一种离线消息的存储方法及服务器
US20150006768A1 (en) * 2013-06-27 2015-01-01 Silicon Laboratories Inc. Immediate direct memory access descriptor-based write operation
US20160149882A1 (en) * 2014-11-25 2016-05-26 Oracle International Corporation Multi-tenancy support in a cloud based data grid
CN106371761A (zh) * 2015-07-23 2017-02-01 株式会社东芝 内存***以及非易失性内存的控制方法
WO2017058231A1 (en) * 2015-10-01 2017-04-06 Hewlett-Packard Development Company, L.P. Automatic persistent memory management
US20170185293A1 (en) * 2015-12-28 2017-06-29 Intel Corporation Interleaved direct access mode in byte addressible memory and related devices and systems
CN105844689A (zh) * 2016-03-29 2016-08-10 浪潮(苏州)金融技术服务有限公司 一种使用维度空间技术进行多维数据同步管理的方法
CN106528001A (zh) * 2016-12-05 2017-03-22 北京航空航天大学 一种基于非易失性存储器和软件raid的缓存***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN LIU等: "ONFS: a hierarchical hybrid file system based on memory, SSD, and HDD for high performance computers", 《FRONTIERS OF INFORMATION TECHNOLOGY & ELECTRONIC ENGINEERING 》 *
温杰: "Android3.0内存管理机制分析", 《电子制作》 *

Also Published As

Publication number Publication date
CN109240609B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN102063943B (zh) Nand闪存参数自动检测***
US20080195833A1 (en) Systems, methods and computer program products for operating a data processing system in which a file system's unit of memory allocation is coordinated with a storage system's read/write operation unit
CN103279406B (zh) 一种内存的隔离方法和装置
US20100057979A1 (en) Data transmission method for flash memory and flash memory storage system and controller using the same
US7730358B2 (en) Stress testing method of file system
US8892812B2 (en) Flash memory device and data writing method for a flash memory
US20080002469A1 (en) Non-volatile memory
CN110489052B (zh) 数据储存装置
TW200941499A (en) Hybrid flash memory storage device and method of controlling the same
WO2020083367A1 (en) Chip testing method, device, electronic apparatus and computer readable medium
CN109358908B (zh) 一种获取内存条的spd信息的方法、装置及存储介质
CN101308701A (zh) 管理非易失性存储器的映射表的设备和方法
US11978522B2 (en) Chip test method, apparatus, and device, and storage medium
CN102306127A (zh) 一种新型ddriii内存识别和初始化方法
CN103309619A (zh) 一种闪存数据存储方法
CN109240609A (zh) 一种基于aep内存的数据空间读写方法及***
CN117577163A (zh) 一种ssd坏块检测方法、装置、计算机设备及存储介质
US20090138633A1 (en) Computer, external storage and method for processing data information in external storage
US20100250837A1 (en) Method for Addressing Page-Oriented Non-Volatile Memories
CN113590566B (zh) 基于堆结构的SequenceFile存储优化方法、装置、设备及存储介质
CN101354660A (zh) 嵌入式软件程序的运行方法、装置及其***
CN103927134A (zh) 硬盘负载均衡方法、操作***及存储控制设备
CN114360628A (zh) 闪存的检测方法以及装置
CN111367460B (zh) 一种***数据处理的方法以及装置
CN111949558B (zh) 一种垃圾数据回收方法、装置和存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant