CN115543185A - 数据存储管理方法及***、装置、计算机可读存储介质 - Google Patents

数据存储管理方法及***、装置、计算机可读存储介质 Download PDF

Info

Publication number
CN115543185A
CN115543185A CN202210325563.2A CN202210325563A CN115543185A CN 115543185 A CN115543185 A CN 115543185A CN 202210325563 A CN202210325563 A CN 202210325563A CN 115543185 A CN115543185 A CN 115543185A
Authority
CN
China
Prior art keywords
data
storage
type
hard disk
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210325563.2A
Other languages
English (en)
Other versions
CN115543185B (zh
Inventor
苟浩淞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Sichuan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Sichuan Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210325563.2A priority Critical patent/CN115543185B/zh
Publication of CN115543185A publication Critical patent/CN115543185A/zh
Application granted granted Critical
Publication of CN115543185B publication Critical patent/CN115543185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据存储管理方法及***、装置、计算机可读存储介质，本申请提供的方案包括：接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中。

Description

数据存储管理方法及***、装置、计算机可读存储介质
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据存储管理方法及***、装置、计算机可读存储介质。
背景技术
大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上。目前在使用的储存设备多数为硬盘储存，集中储存，除了用电量、散热、读写损耗和初期设备购买成本，大规模采用昂贵的硬盘进行储存，一方面不利于扩大大数据管理***扩容，另外一方面运营的成本较大。所以引用了大容量但是读写速度较低的磁带硬盘，但是此类数据的分类储存一直是大数据管理***的难点，无法进行兼顾。
发明内容
本申请实施例的目的是提供一种数据存储管理方法及***、装置、计算机可读存储介质，用于解决现有大数据存储管理存在的效率低问题。
为了解决上述技术问题，本说明书是这样实现的：
第一方面，提供了一种数据存储管理方法，包括：
接收云平台传输的数据并进行预存储；
根据预存储数据类型对应的提取频率确定所述数据的存储类型；
将所述数据存储到所述存储类型对应的存储硬盘中。
可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
确定所述数据的类型；
根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；
在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，其中，
在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；
根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
可选的，所述计算所述数据使用非固态硬盘存储的费效比，包括：
根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
可选的，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
可选的，该方法还包括：
根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；
根据统计的提取频率和对应的数据类型确定所述映射关系。
可选的，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：
将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
第二方面，提供了一种数据存储管理***，包括数据中转模块、存储类型确定模块和多个不同类型的存储硬盘，
所述数据中转模块，与云平台连接，用于接收云平台传输的数据并进行预存储；
所述存储类型确定模块，与所述数据中转模块连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块将所述数据中转到所述存储类型对应的存储硬盘中；
存储硬盘，与所述数据中转模块连接，用于存储所述数据中转模块中转的数据。
第三方面，提供了一种数据存储管理装置，包括存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，通过接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中，由此可实现对不同提取频率的数据进行分类存储，将数据存储到合适的存储硬盘中，提高数据存储管理的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的数据存储管理方法的流程示意图。
图2是本申请实施例的数据存储管理***的架构示意图。
图3是本申请实施例的云平台的网关模块的结构示意图。
图4至图5是本申请实施例的网关模块的电路结构示意图。
图6是本申请实施例的数据存储管理装置的结构方框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
为了解决现有技术中存在的问题，本申请实施例提供一种数据存储管理方法，图1是本申请实施例的数据存储管理方法的流程示意图。
如图1所示，包括以下步骤：
步骤102，接收云平台传输的数据并进行预存储；
步骤104，根据预存储数据类型对应的提取频率确定所述数据的存储类型；
步骤106，将所述数据存储到所述存储类型对应的存储硬盘中。
在步骤102中，云平台收集到的大数据可通过对应网关模块传输到中转数据库进行预储存。
在步骤104中，可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：确定所述数据的类型；根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
数据的类型包括但不限于客户数据、业务前端数据、日常数据等数据源，相同类型数据是运维分组的，每组数据为一份。接收到数据后，即可根据数据的类型标识直接得知该数据的数据类型。
提取频率表示单位时间内同一份数据被提取的次数，不同类型的数据的提取频率可以预先确定并存储，后续在接收到云平台传输的数据后，可根据该数据的类型进行对应提取频率的获取。
可选的，该方法还包括：根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；根据统计的提取频率和对应的数据类型确定所述映射关系。
在一个实施例中，采用单位时间内(例如365天)同一份数据的提取次数确定其对应的提取频率。
预设频率可以是确定当前接收的数据的存储类型的阈值，通过数据类型与预先统计的提取频率的映射关系确定该数据的提取频率，并与预设的频率阈值进行比对，即可以确定该当前接收的数据对应的存储类型。
在一个实施例中，预设频率为100-150次。高于预设频率的数据判断为常用数据，等于或低于预设频率的数据判断为非常用数据。对于不同提取频率的数据，对应的存储类型可能会存在不同。
以预设频率为110次为例，如果当前接收数据的提取频率超过110次，确定为常用数据；提取次数超过365次，确定为日常数据。由此，可直接确定上述数据的存储类型为固态硬盘存储。
固态硬盘不用磁头，寻道时间几乎为0，持续写入的速度非常惊人，固态硬盘持续读写速度超过了500MB/s，可达到2000MB/s、甚至4000MB/s以上，固态硬盘的快体现于持续读写上和随机读写速度上，与之相关的还有极低的存取时间，固态硬盘可以达到0.1毫秒甚至更低。固态硬盘具有的上述特点，适用于存储高提取频率的常用数据。
在步骤104中，可选的，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型。其中，在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
在该实施例中，对于提取频率相对低或者说中长时间内不会提取的非常用数据，可以进一步结合磁带硬盘和机械硬盘等非固态硬盘存储的费效比，来综合确定当前接收数据的最佳存储类型。
仍以预设频率为110次为例，如果当前接收数据的提取频率低于110次，但是不低于1次，则确定为较少使用的数据，可以采用机械硬盘储存。如果单位时间内的提取频率低于1次时，确定是不常用数据，可结合非固态硬盘存储的费效比进行判断，选取该数据在磁带硬盘和机械硬盘中存储的费效比最低的方式进行储存。
磁带硬盘以磁带为存储介质，由磁带机及其控制器组成的存储设备，是计算机的一种辅助存储器，磁带机由磁带传动机构和磁头等组成，能驱动磁带相对磁头运动，用磁头进行电磁转换，在磁带上顺序地记录或读出数据。磁带硬盘是计算机***设备之一，磁带控制器是中央处理器在磁带机上存取数据用的控制电路装置，磁带硬盘以顺序方式存取数据，存储数据的磁带可脱机保存和互换读出，读写速度快，采用闪存作为存储介质，读取速度相对机械硬盘更快。一般来说磁带硬盘的容量大，运营成本低。
机械硬盘即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作，信息通过离磁性表面很近的磁头，由电磁流来改变极性方式被电磁流写到磁盘上，信息可以通过相反的方式读取，硬盘作为精密设备，尘埃会影响其性能，所以进入硬盘的空气必须过滤。
可选的，所述计算所述数据使用非固态硬盘存储的费效比，包括：
根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
存储单价是指磁带硬盘和机械硬盘的每千字节(KB)的储存单价，复写速率对应各硬盘的数据存储速率。存储的费效比与存储数据的大小、存储速率和存储总价有关，即存储时间和存储总价的比值。
可选的，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
例如10M-20M等小容量的数据存储，存储时间本身不会太长，存储成本低的硬盘对应的费效比较低，则可以为降低成本从磁带硬盘和机械硬盘中选择存储成本低的硬盘。对应更大容量的数据，如果选择存储成本低的硬盘，但是存储速率小导致存储时间太长，则费效比性价比高，存储速率大的硬盘对应的费效比较低，则可以综合考虑从磁带硬盘和机械硬盘中选择存储速率大的硬盘。
通过计算不同磁盘对应存储同一份数据量大小数据的费效比，可以为低提取频率的数据确定更合适的存储类型，提高数据存储的效率。
可选的，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
在数据存储到对应硬盘中之后，通过删除数据的服务器源文件、加密数据和数据的无损压缩，结合备份避免在正常的数据迁移过程，产生丢失的问题。由此，可以实现存储数据的高效数据操作。
在本申请实施例中，通过接收云平台传输的数据并进行预存储；根据预存储数据类型对应的提取频率确定所述数据的存储类型；将所述数据存储到所述存储类型对应的存储硬盘中，由此可实现对不同提取频率的数据进行分类存储，将数据存储到合适的存储硬盘中，提高数据存储管理的效率。
在本申请的一个实施例中，还提供了一种数据存储管理***，图2是本申请实施例的数据存储管理***的架构示意图。
需要说明的是，本申请实施例所提供的数据存储管理***，其包含的数据存储管理的过程的基本原理及产生的技术效果和上述数据存储管理方法的实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
如图2所示，本申请实施例的数据存储管理***1000包括数据中转模块1060、存储类型确定模块1040和多个不同类型的存储硬盘，例如固态硬盘1082、磁带硬盘1084和机械硬盘1086。
所述数据中转模块1060，与云平台1020连接，用于接收云平台1020传输的数据并进行预存储；
所述存储类型确定模块1040，与所述数据中转模块1060连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块1060将所述数据中转到所述存储类型对应的存储硬盘中；
存储硬盘1082、1084、1086，与所述数据中转模块1060连接，用于存储所述数据中转模块1060中转的数据。
此外，如图2所示，数据存储管理***1000还包括数据操作模块1100、数据管理中心平台1120和提取频率统计模块1140。
数据操作模块1100，用于在数据中转模块1060将所述数据存储到存储类型对应的存储硬盘中之后，将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
数据管理中心平台1120，用于对所述数据的存储过程进行监控以进行异常报错。
提取频率统计模块1140，用于根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；根据统计的提取频率和对应的数据类型确定二者之间的映射关系。
数据管理中心平台1210与云平台1020之间双向信号连接，可以实现对数据进行管理，保证传输的稳定性和列表管理。数据管理中心平台1210与存储类型确定模块1040之间双向信号连接，可以保证储存成本的计算和处理。数据管理中心平台1210与数据调取统计模块1140之间双向信号连接，可以实现对大数据的提取频率进行计算，提取数据的电力、网速和设备折算费用进行计算。数据管理中心平台1210与存储类型确定模块1040之间双向信号连接，用于对大数据的储存方式进行确定。数据中转模块1060分别与固态硬盘1082、磁带硬盘1084、机械硬盘1086之间双向信号连接，用于对数据进行暂时备份处理。数据操作模块1100分别与固态硬盘1082、磁带硬盘1084、机械硬盘1086之间双向信号连接，可以实现对数据进行转储存处理。
在一个实施例中，云平台1020包括网关模块，可以实现高效的数据传输。
参见图3至图5，网关模块为一种基于ARM的边缘计算网关模块，其包括CPU及分别与所述CPU电连接的存储器芯片、内存芯片、电源芯片、板对板连接器，所述CPU通过所述板对板连接器引出串口、以太网接口、USB接口、IIC接口、SPI接口、数字量输入接口、数字量输出接口、存储接口及扩展总线接口。
该基于ARM的边缘计算网关模块支持更换不同性能的ARM CPU(单核、双核、四核)及不同大小的内存(512MB、1GB、2GB)，以满足不同成本、不同计算需求的应用，引脚全兼容，用户基于模块设计的硬件和软件无需更改，更换软硬件完全兼容的模块即可实现不同性能等级的网关产品。
边缘计算网关模块仅80mm*60mm，扩展外设或其他功能接口极为方便，基于模块能够快速设计不同种类边缘计算网关。板对板连接器具有四组，每组所述板对板连接器具有80根信号管脚，四组所述板对板连接器具有的320根管脚一共引出1路千兆以太网接口、2路USB3.0接口、5路串口接口、1路PCIe接口、2路CAN接口、2路SD卡接口、4路IIC接口、3路SPI接口、70路GPIO接口、1路CSI接口、1路HDMI接口、1路LVDS接口、1路LCD接口、1路MIPI接口、1路扩展总线接口，这样在紧凑的空间上提供了更丰富的接口资源，支持了扩展总线(16位地址总线、32位数据总线)、USB、IIC、SPI，能够灵活扩展各种接口资源，解决了扩展性、集成度、稳定性的问题，从而使模块的功能扩展更方便。本实施例优选板对板连接器为DF30FC-80DP芯片。
如图4所示，基于ARM的边缘计算网关模块还包括复位电路，复位电路包括TPS3838芯片U1、74HC125芯片U2、按键S1、电阻R1、电阻R2；TPS3838芯片U1的
Figure BDA0003573302190000101
引脚经按键S1接地，3.3V电源依次经电阻R1、74HC125芯片U2的输出端、74HC125芯片U2的输入端接地，74HC125芯片U2的控制端与TPS3838芯片U1的
Figure BDA0003573302190000102
引脚相连，TPS3838芯片U1的
Figure BDA0003573302190000103
引脚还经电阻R3接地，电阻R1、74HC125芯片U2的公共端与所述CPU的复位引脚相连。
本实施例的CPU在上电过程中，电源电压未达到正常工作电压时，逻辑电路会发生工作混乱。上电复位电路在电源电压上升过程中首先输出无效复位电平，直到电源电压达到***规定的正常工作电压后才迅速产生一个有效复位电平，以对数字电路进行复位操作。
本实施例采用了电压监控芯片TPS3838，其复位延时为10ms或200ms，延时时间可选。3.3V电源也为CPU的电源，当TPS3838芯片U1的VDD电压低于复位门槛电压或TPS3838芯片U1的
Figure BDA0003573302190000104
引脚为低电平时
Figure BDA0003573302190000105
引脚输出有效复位电平。
本实施例中，按下按键S1，
Figure BDA0003573302190000106
引脚接地，
Figure BDA0003573302190000107
引脚输出有效复位低电平对CPU进行复位，从而提供了CPU的手动复位功能。TPS3838芯片U1的VDD电压低于复位门槛电压时，
Figure BDA0003573302190000108
引脚输出有效复位低电平至74HC125芯片U2的控制端，74HC125芯片U2的输入端接地，从而74HC125芯片U2的输出端输出低电平对CPU进行复位，这样本实施例的复位电路可对CPU进行手动和自动复位，可靠性高。
可选的，如图4所示，所述复位电路还包括74HC125芯片U3、电阻R2，所述3.3V电源还依次经电阻R2、74HC125芯片U3的输出端、74HC125芯片U3的输入端接地，TPS3838芯片U1的
Figure BDA0003573302190000111
引脚还与74HC125芯片U3的控制端相连，电阻R2、74HC125芯片U3的公共端与以太网控制器相连。以太网控制器一般同样采用3.3V供电，与CPU共用同一个3.3V电源，这样本实施例的复位电路还可对以太网控制器进行手动和自动复位，从而单个复位电路可同时对多个芯片进行复位操作，扩展性强。
如图4所示，所述复位电路还包括电容C1，3.3V电源经电容C1接地。电容C1用于对TPS3838芯片U1的供电电压进行滤波，以提高电压监控的准确性。
可选的，如图4所示，TPS3838芯片U1的CT引脚与所述3.3V电源相连。TPS3838芯片U1的复位延时通过CT引脚控制，若CT引脚接地，则复位延时10ms，若CT引脚与3.3V电源相连，则复位延时200ms，本实施例选择复位延时200m，以保证CPU充分完成上电过程。
可选的，如图5所示，所述复位电路还包括AMS1117芯片U4、电容C2、电容C3、电容C4、电容C5，AMS1117芯片U4的IN引脚接入5V电源，AMS1117芯片U4的IN引脚还分别经电容C2、电容C3接地，AMS1117芯片U4的OUT引脚输出所述3.3V电源，AMS1117芯片U4的OUT引脚还分别经电容C4、电容C5接地。
一般的，开关电源通常输出5V电压，而本实施例中CPU、以太网控制器均采用3.3V供电，需要将5V电压转化为3.3V。本实施例采用AMS1117-33芯片将5V电压转化为3.3V，以对CPU、以太网控制进行供电，从而提供复位电路的监控输入电压。其中，电容C2、电容C3为电压转化电压的输入滤波电容，电容C4、电容C5为电压转化电压的输出滤波电容，电容C2、电容C4为低频滤波电容，可为电解电容，电容C3、电容C5为高频滤波电容，可为瓷片电容。
可选的，如图5所示，所述复位电路还包括电感L1、电感L2，AMS1117芯片U4的OUT引脚经电感L1输出所述3.3V电源，电容C4、电容C5并联后经电感L2接地。电感L1、电感L2为隔离滤波电感，以输出稳定的3.3V电压供模拟电路使用。所述复位电路还包括二极管D1，二极管D1接入所述5V电源与AMS1117芯片U4的IN引脚之间，二极管D1的正极与所述5V电源相连。二极管D1用于防止电路反接。所述复位电路还包括发光二极管D2、电阻R4，所述5V电源经发光二极管D2的正极、发光二极管D2的负极、电阻R4接地。发光二极管D2用于直观的指示***的上电状态，电阻R4用于对流经发光二极管D2的电流进行限流，起到保护作用。
可选的，本申请实施例还提供一种数据存储管理装置，如图6所示，数据存储管理装置2000包括存储器2200和与所述存储器2200电连接的处理器2400，所述存储器2200存储有可在所述处理器2400运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任意一种数据存储管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种数据存储管理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种数据存储管理方法，其特征在于，包括：
接收云平台传输的数据并进行预存储；
根据预存储数据类型对应的提取频率确定所述数据的存储类型；
将所述数据存储到所述存储类型对应的存储硬盘中。
2.如权利要求1所述的方法，其特征在于，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
确定所述数据的类型；
根据所述数据的类型和提取频率的映射关系，获取所述数据对应的提取频率；
在所述提取频率超出预设频率的情况下，确定所述数据的存储类型为固态硬盘存储。
3.如权利要求1所述的方法，其特征在于，所述根据预存储数据类型对应的提取频率确定所述数据的存储类型，包括：
根据预存储数据的提取频率和非固态硬盘存储的费效比，确定所述数据的存储类型，其中，
在所述提取频率未超出预设频率的情况下，计算所述数据使用非固态硬盘存储的费效比，非固态硬盘包括磁带硬盘和机械硬盘；
根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型。
4.如权利要求3所述的方法，其特征在于，所述计算所述数据使用非固态硬盘存储的费效比，包括：
根据所述数据的数据量大小和各非固态硬盘存储对应的存储单价、复写速率，计算所述数据对应的各非固态硬盘存储的费效比。
5.如权利要求3所述的方法，其特征在于，所述根据所述数据对应的各非固态硬盘存储的费效比，确定所述数据的存储类型，包括：
确定各非固态硬盘存储的费效比中的最低值；
确定所述最低值对应的非固态硬盘存储为所述数据的存储类型。
6.如权利要求2所述的方法，其特征在于，还包括：
根据各类型的数据在单位时间内的提取次数，统计各类型的数据的提取频率；
根据统计的提取频率和对应的数据类型确定所述映射关系。
7.如权利要求1所述的方法，其特征在于，所述将所述数据存储到所述存储类型对应的存储硬盘中之后，还包括：
将所述存储硬盘中存储的所述数据对应的源文件进行删除以及将所述数据进行加密、压缩及备份。
8.一种数据存储管理***，其特征在于，包括数据中转模块、存储类型确定模块和多个不同类型的存储硬盘，
所述数据中转模块，与云平台连接，用于接收云平台传输的数据并进行预存储；
所述存储类型确定模块，与所述数据中转模块连接，用于根据预存储数据类型对应的提取频率确定所述数据的存储类型，并指示所述数据中转模块将所述数据中转到所述存储类型对应的存储硬盘中；
存储硬盘，与所述数据中转模块连接，用于存储所述数据中转模块中转的数据。
9.一种数据存储管理装置，其特征在于，包括：存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202210325563.2A 2022-03-30 2022-03-30 数据存储管理方法及***、装置、计算机可读存储介质 Active CN115543185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210325563.2A CN115543185B (zh) 2022-03-30 2022-03-30 数据存储管理方法及***、装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210325563.2A CN115543185B (zh) 2022-03-30 2022-03-30 数据存储管理方法及***、装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115543185A true CN115543185A (zh) 2022-12-30
CN115543185B CN115543185B (zh) 2023-12-19

Family

ID=84723657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210325563.2A Active CN115543185B (zh) 2022-03-30 2022-03-30 数据存储管理方法及***、装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115543185B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116483287A (zh) * 2023-06-21 2023-07-25 宝德计算机***股份有限公司 一种互联网用户的数据安全存储方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029782A (ja) * 1998-07-14 2000-01-28 Canon Inc メモリ制御方法及び装置
US20080263143A1 (en) * 2007-04-20 2008-10-23 Fujitsu Limited Data transmission method, system, apparatus, and computer readable storage medium storing program thereof
US20100306288A1 (en) * 2009-05-26 2010-12-02 International Business Machines Corporation Rebalancing operation using a solid state memory device
CN105608016A (zh) * 2015-08-05 2016-05-25 上海磁宇信息科技有限公司 Dram与mram结合的固态硬盘及使用mram的存储卡
CN105630705A (zh) * 2015-06-10 2016-06-01 上海磁宇信息科技有限公司 数据存储装置及使用块替换表的读写方法
CN107506146A (zh) * 2017-08-29 2017-12-22 郑州云海信息技术有限公司 一种数据存储***
CN110543430A (zh) * 2018-05-28 2019-12-06 上海磁宇信息科技有限公司 一种使用mram的存储装置
US20200073573A1 (en) * 2018-08-30 2020-03-05 SK Hynix Inc. Data storage device, operation method thereof and storage system having the same
WO2020098654A1 (zh) * 2018-11-13 2020-05-22 杭州海康威视***技术有限公司 基于云存储的数据存储方法、装置和存储介质
CN112463074A (zh) * 2020-12-14 2021-03-09 苏州浪潮智能科技有限公司 一种数据分类存储方法、***、终端及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029782A (ja) * 1998-07-14 2000-01-28 Canon Inc メモリ制御方法及び装置
US20080263143A1 (en) * 2007-04-20 2008-10-23 Fujitsu Limited Data transmission method, system, apparatus, and computer readable storage medium storing program thereof
US20100306288A1 (en) * 2009-05-26 2010-12-02 International Business Machines Corporation Rebalancing operation using a solid state memory device
CN105630705A (zh) * 2015-06-10 2016-06-01 上海磁宇信息科技有限公司 数据存储装置及使用块替换表的读写方法
CN105608016A (zh) * 2015-08-05 2016-05-25 上海磁宇信息科技有限公司 Dram与mram结合的固态硬盘及使用mram的存储卡
CN107506146A (zh) * 2017-08-29 2017-12-22 郑州云海信息技术有限公司 一种数据存储***
CN110543430A (zh) * 2018-05-28 2019-12-06 上海磁宇信息科技有限公司 一种使用mram的存储装置
US20200073573A1 (en) * 2018-08-30 2020-03-05 SK Hynix Inc. Data storage device, operation method thereof and storage system having the same
WO2020098654A1 (zh) * 2018-11-13 2020-05-22 杭州海康威视***技术有限公司 基于云存储的数据存储方法、装置和存储介质
CN112463074A (zh) * 2020-12-14 2021-03-09 苏州浪潮智能科技有限公司 一种数据分类存储方法、***、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116483287A (zh) * 2023-06-21 2023-07-25 宝德计算机***股份有限公司 一种互联网用户的数据安全存储方法及***
CN116483287B (zh) * 2023-06-21 2024-02-06 宝德计算机***股份有限公司 一种互联网用户的数据安全存储方法及***

Also Published As

Publication number Publication date
CN115543185B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN104424113B (zh) 存储设备及数据处理方法
US20220326872A1 (en) Method for selecting a data block to be collected in gc and storage device thereof
US20130166791A1 (en) Output device, log collecting method for output device, and storage medium
CN109144885B (zh) 固态存储设备的垃圾回收方法与固态存储设备
CN109558334B (zh) 垃圾数据回收方法及固态存储设备
CN105094709A (zh) 一种固态盘存储***的动态数据压缩方法
CN115543185A (zh) 数据存储管理方法及***、装置、计算机可读存储介质
CN109977032A (zh) 垃圾数据回收控制方法及其装置
CN101957802B (zh) 具有驱动程序的usb设备
CN109918221B (zh) 一种硬盘报错解析方法、***、终端及存储介质
CN108874639A (zh) 日志归档方法、电子装置及可读存储介质
CN103778024A (zh) 服务器***及其讯息处理方法
CN207851170U (zh) 变频器黑匣子***
CN108762681A (zh) 一种固态硬盘及其读写方法和装置
CN109840048A (zh) 存储命令处理方法及其存储设备
CN109521954B (zh) 一种配网ftu定点文件管理方法及装置
US20050114570A1 (en) Portable data storage device
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
CN211149251U (zh) 多路数据采集***
CN112637602B (zh) 一种jpeg接口及数字图像处理***
CN105631965B (zh) 车载wtb报文记录仪
CN206757813U (zh) 一种金税盘抽取盒及开票盘组
CN115905146A (zh) 数据处理方法、装置、计算设备及存储***
CN107506283B (zh) 一种主机向san存储推送信息的方法和***
CN115495024B (zh) 基于NandFlash的录波文件存储方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant