CN111447275A - 存储***和存储装置 - Google Patents

存储***和存储装置 Download PDF

Info

Publication number
CN111447275A
CN111447275A CN202010225029.5A CN202010225029A CN111447275A CN 111447275 A CN111447275 A CN 111447275A CN 202010225029 A CN202010225029 A CN 202010225029A CN 111447275 A CN111447275 A CN 111447275A
Authority
CN
China
Prior art keywords
storage
data
virus
area
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010225029.5A
Other languages
English (en)
Other versions
CN111447275B (zh
Inventor
高进福
陈恭祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongsheng Ruida Technology Co ltd
Original Assignee
Shenzhen Zhongsheng Ruida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongsheng Ruida Technology Co ltd filed Critical Shenzhen Zhongsheng Ruida Technology Co ltd
Priority to CN202010225029.5A priority Critical patent/CN111447275B/zh
Publication of CN111447275A publication Critical patent/CN111447275A/zh
Application granted granted Critical
Publication of CN111447275B publication Critical patent/CN111447275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/561—Virus type analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G06F21/568—Computer malware detection or handling, e.g. anti-virus arrangements eliminating virus, restoring damaged files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Virology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了存储***包括：接收模块，用于接收客户端发送的存储数据；建立模块，用于基于分布式文件***建立与客户端一一对应的存储块来存储存储数据，且每个存储块一一对应设置有元数据服务器；元数据服务器，用于缓存和同步分布元数据，并建立元数据与对应的存储数据的关联关系；集群服务器，用于接收客户端发送的访问请求，并将访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；集群服务器，还用于根据建立的关联关系，对存储块中的存储数据进行分域存储，并依据合格访问集群，实现有效数据分配。通过基于分布式文件***和建立的关联关系、合格访问集群，实现存储块对存储数据的有效存储，且保证对应存储数据的安全可靠性。

Description

存储***和存储装置
技术领域
本发明涉及数据存储技术领域，特别涉及存储***和存储装置。
背景技术
分布式文件***由元数据服务器、数据服务器和客户端组成。一般来说，一个文件的操作首先进行元数据操作，其后是文件数据操作，且Ceph是开源的统一分布式存储***，是目前最主流的开源存储项目之一。Ceph具备突出的优势，例如可以提供对象/块/文件***三种存储访问方式，满足多种应用需求；支持PB级及以上的数据存储、多备份、无中心结构、无单点故障、有良好的可扩展性等，但是在使用该分布式文件***，且基于存储块进行数据存储的过程中，可能会导致存储块存储存储数据时出现杂乱现象，如重叠存储、存储数据安全可靠性低等。
发明内容
本发明提供存储***，用以通过基于分布式文件***和建立的关联关系、合格访问集群，实现存储块对存储数据的有效存储，且保证对应存储数据的安全可靠性。
本发明实施例提供一种存储***，包括：
接收模块，用于接收客户端发送的需要存储的存储数据；
建立模块，用于基于分布式文件***建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；
所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；
集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；
所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。
在一种可能实现的方式中，还包括：
第一记录模块，用于记录所述元数据服务器缓存和同步分布元数据的元时间以及与元时间对应的元文件大小，并获得元速度；
第二记录模块，用于记录所述集群服务器的写入与所述元数据对应的数据流的写入时间和写入文件大小，获得写入速度；
判断模块，用于当所述第一记录模块记录的元速度大于所述第二记录模块记录的写入速度，且两者差值绝对值大于预设差值时，发送第一报警警示；
当所述第一记录模块记录的元速度小于所述第二记录模块记录的写入速度，且两者差值绝对值小于预设差值时，发送第二报警警示。
在一种可能实现的方式中，
所述集群服务器，还用于将所述存储数据存储到存储块之前，对所述存储数据进行正误归类处理，根据所述存储数据的数据属性，对正误归类处理后的所述存储数据进行属性归类处理；
所述集群服务器，还用于将属性归类处理后的存储数据暂存到基于分布式文件***的存储节点中，同时，根据所述存储节点的节点属性，向对应的存储块发送目标请求指令，来将所述存储数据存储到对应的存储块中。
在一种可能实现的方式中，
所述集群服务器，还用于基于设定的时间轴且对所述存储数据进行正误归类处理之前，获取传输所述存储数据对应的目标网络的网络数据；
所述集群服务器，还用于将所述存储数据标志在标志轴的第一位置，同时将获取的所述网络数据标志在所述标志轴的第二位置，并基于预先建立的标志集合，确定所述第一位置与第二位置是否存在重叠区域，若不存在，确定所述第一位置是否在所述标志轴的目标区域；
若在，保持所述第一位置不变；
否则，将所述第一位置及第一位置对应的存储数据，移动到所述目标区域的空闲子区域；
同时，确定所述所述第二位置是否在所述标志轴的网络区域；
若在，保持所述第二位置不变；
否则，将所述第二位置及第二位置对应的网络数据移动到所述网络区域的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第一重叠区域时，且所述第一重叠区域是在所述目标区域时，对所述第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠网络数据的所有第一网络属性；
通过对所有第一网络属性进行优先级排序，获取第二网络属性，并将所述第二网络属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第二重叠区域时，且所述第二重叠区域是在所述网络区域时，对所述第二重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠存储数据的所有第一目标属性；
通过对所有第一目标属性进行优先级排序，获取第二目标属性，并将所述第二目标属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域，获得最终标志轴。
在一种可能实现的方式中，还包括：
第一诊断模块，用于对所述分布式文件***中的暂存节点进行预诊断；
所述集群服务器，用于根据所述第一诊断模块的诊断处理结果判断所述暂存节点是否合格；
若是，对所述暂存节点进行保留，并继续存储使用；
否则，将所述暂存节点对应的存储映射区域进行预设切割处理，并对切割处理后的每个子切割区域进行存储性能的验证；
若所述子切割区域的存储性能符合预设标准，则将所述子切割区域保留，并进行第一标注；
若所述子切割区域的存储性能不符合预设标准，则将所述子切割区域进行第二标注；
所述集群服务器，还用于确定所述暂存节点中进行第一标注的所有子区域的总存储容量，并判断所述总存储容量是否小于对应的待存储的存储数据的目标容量；
若是，在所述分布式文件***中的剩余存储节点中，寻找与所述暂存节点相关值大于预设值，且容量值大于对应的待存储的存储数据的目标容量的第一存储节点；
若存在所述第一存储节点，则建立所述第一存储节点与对应的待存储的存储数据的存储关系，并进行存储；
否则，寻找与所述暂存节点相关值大于预设值的第二存储节点，并将对应的待存储的存储数据存储到所述暂存节点和第二存储节点中。
在一种可能实现的方式中，还包括：
第二诊断模块，用于诊断所述接收模块接收的所述存储数据中的病毒数据；
所述集群服务器，还用于当所述第二诊断模块诊断出存在病毒数据时，确定所述病毒数据的病毒种类，同时，基于预先存储的病毒清理数据库，并根据所述病毒种类，将对应的病毒数据进行清除处理，并对病毒清除处理后的存储数据进行后续操作；
当所述第二诊断模块未诊断出病毒数据时，对存储数据进行后续操作。
在一种可能实现的方式中，还包括：
定位模块，用于当所述集群服务器根据病毒种类，将对应的病毒数据进行清除处理时，定位所述病毒数据的存储位置；
处理模块，用于对所述定位模块定位的所述存储位置的病毒数据进行病毒种类分类，并将同种类的病毒数据进行显著性标注；
并根据预先存储的病毒属性值，选择显著性标注的同种类的病毒数据进行病毒清理，且当病毒清理完毕后，选择下一显著性标注的同种类病毒数据进行病毒清理，直到清除完毕。
在一种可能实现的方式中，
所述集群服务器接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群的过程中，为了保证建立的合格访问集群的安全性，需要对存储块同步接收所述访问请求的安全性进行验证，其验证步骤包括：
步骤1：确定所述访问请求的访问等级，同时根据所述访问等级，从混合算法数据库中，随机摘取加密算法集合对所述访问请求进行加密处理，同时，基于随机摘取结果，在每个所述存储块中设置对应的解密算法集合；
步骤2：建立发送所述访问请求的客户端与接收所述访问请求的存储块之间的传输链路，确定每个传输链路的安全值F1；
Figure BDA0002427354320000051
其中，P表示第i条传输链路的被攻击概率；Q表示第i条传输链路的品质因素；li表示第i条传输链路的链路长度，其中，i＝1,2,3...n；max{Δl}表示第i条传输链路与其他传输链路之间的最大链路长度差值；χi表示第i条传输链路的链路长度修正因子；
并基于链路安全等级表，确定安全值F1对应的所述传输链路的链路等级；
步骤3：确定所述步骤1中，每个存储块基于所述解密算法集合，对接收的加密处理后的访问请求的解密效率；
步骤4：根据所述链路等级和对应的解密效率，确定每个存储块同步接收所述访问请求的安全等级；
Figure BDA0002427354320000061
其中，所述Di表示第i个传输链路的链路等级；vi表示第i个存储块的解密效率；βi表示第i个存储块的被威胁因子；qi表示第i个存储块的品质因素；
将安全等级F2大于或等于预设等级的存储块对应的访问请求进行统计，获得每个存储块对应的合格访问集群。
本发明实施例提供一种存储装置，其特征在于，包括：
存储介质和前述权利要求中任一项所述的存储***。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中存储***的结构图；
图2为本发明实施例中标志集合的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供存储***，如图1所示，包括：
接收模块，用于接收客户端发送的需要存储的存储数据；
建立模块，用于基于分布式文件***建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；
所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；
集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；
所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。
上述客户端，可以是智能手机端、电脑端等，对应的存储数据，例如是商业机密信息等；
其中，建立元数据与对应的存储数据的关联关系，是因为元数据服务器是控制流，而存储块等是数据流，需要建立控制流与数据流之间的联系，如:通过控制流a可以控制一段数据流数据；
上述访问请求同步到每个存储块，一是为了确定每个存储块与该访问请求的安全连接关系，二是为了确定该访问请求是否可以作为该存储块中对应的合格访问集群中的一个；
例如，每个客户端都有其一一对应的存储块，首先将对应的存储数据存储到存储块中，根据关联关系，对其存储数据存储到对应的存储块的分域中，并根据合格访问集群，如访问的综合安全等级，对分域中的数据进行有效数据分配，如综合安全等级越高，代表访问的数据安全等级越高，便于有效的对分域中的有效数据进行随机分配等，且合格访问集群是为了可以访问一些安全性高的数据，作为除去合格访问集群的其他访问请求，可以被视为是一般访问请求，其访问的数据是大众数据。
上述技术方案的有益效果是：基于分布式文件***和建立的关联关系、合格访问集群，实现存储块对存储数据的有效存储，且保证对应存储数据的安全可靠性。
本发明实施例提供存储***，其特征在在于，还包括：
第一记录模块，用于记录所述元数据服务器缓存和同步分布元数据的元时间以及与元时间对应的元文件大小，并获得元速度；
第二记录模块，用于记录所述集群服务器的写入与所述元数据对应的数据流的写入时间和写入文件大小，获得写入速度；
判断模块，用于当所述第一记录模块记录的元速度大于所述第二记录模块记录的写入速度，且两者差值绝对值大于预设差值时，发送第一报警警示；
当所述第一记录模块记录的元速度小于所述第二记录模块记录的写入速度，且两者差值绝对值小于预设差值时，发送第二报警警示。
上述元速度，可以是缓存和同步元文件大小/元时间，得到的。
同理，写入速度，可以是写入文件大小/写入时间，得到的。
上述预设差值绝对值，就是两者的速度按照一定的标准相减之后获得的，且预设差值，也是按照分布式文件***的标准进行相应确定的。
上述第一报警警示可以为：集群服务器写入速度异常；
上述第二报警警示可以为：元数据服务器元速度异常。
上述技术方案的有益效果是：通过对元数据服务器和集群服务器进行速度比较，便于进行及时报警，便于提高建立关联关系、合格访问集群的效率，不仅提高存储的安全性，还提高存储的效率。
本发明实施例提供存储***，所述集群服务器，还用于将所述存储数据存储到存储块之前，对所述存储数据进行正误归类处理，根据所述存储数据的数据属性，对正误归类处理后的所述存储数据进行属性归类处理；
所述集群服务器，还用于将属性归类处理后的存储数据暂存到基于分布式文件***的存储节点中，同时，根据所述存储节点的节点属性，向对应的存储块发送目标请求指令，来将所述存储数据存储到对应的存储块中。
上述正误归类处理，是对存储数据的正误进行判断，并将存储数据归类为正确数据和错误数据；
同时，对正确数据和错误数据分别进行属性归类处理，其属性归类处理，例如是按照用户的访问领域进行分类的，如，按照访问金融领域、访问教育领域等进行分类；
并且，当对正确数据进行属性分类之后，获得属性数据1、属性数据2、属性数据3，并根据节点属性(例如与上述按照访问领域一致)将其属性数据存储到对应的存储节点1、存储节点2和存储节点3中。
上述根据对应的节点属性，如只传输正确数据，向对应的存储块发送目标请求指令，是为了将其正确数据传输到存储块进行存储。
其中，由于一个客户端对应一个存储块，因此，在对同一个客户端传输的存储数据进行属性归类处理后，将获取的正确数据，进行领域标注，并集中传输到与之对应的存储块。
上述技术方案的有益效果是：通过对存储数据进行属性归类处理，是为了判断该存储数据所属的领域，同时进行正误判断，是为了保证存储块即将存储的数据的准确性，进一步实现存储块对存储数据的有效存储，为后续提高访问该有效存储的数据提高基础。
本发明实施例提供存储***，
所述集群服务器，还用于基于设定的时间轴且对所述存储数据进行正误归类处理之前，获取传输所述存储数据对应的目标网络的网络数据；
所述集群服务器，还用于将所述存储数据标志在标志轴的第一位置，同时将获取的所述网络数据标志在所述标志轴的第二位置，并基于预先建立的标志集合，确定所述第一位置与第二位置是否存在重叠区域，若不存在，确定所述第一位置是否在所述标志轴的目标区域；
若在，保持所述第一位置不变；
否则，将所述第一位置及第一位置对应的存储数据，移动到所述目标区域的空闲子区域；
同时，确定所述所述第二位置是否在所述标志轴的网络区域；
若在，保持所述第二位置不变；
否则，将所述第二位置及第二位置对应的网络数据移动到所述网络区域的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第一重叠区域时，且所述第一重叠区域是在所述目标区域时，对所述第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠网络数据的所有第一网络属性；
通过对所有第一网络属性进行优先级排序，获取第二网络属性，并将所述第二网络属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第二重叠区域时，且所述第二重叠区域是在所述网络区域时，对所述第二重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠存储数据的所有第一目标属性；
通过对所有第一目标属性进行优先级排序，获取第二目标属性，并将所述第二目标属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域，获得最终标志轴。
上述基于时间轴，来获取相应的网络数据，是为了确保在获取存储数据的可靠性，同时也是是为了避免因为是网络数据的问题，导致对存储数据的正误判断出错；
上述标志轴类似存储轴线，将存储数据和网络数据都暂存在其上边，且通过确定存储数据的第一位置和网络数据的第二位置，是为了方便根据网络数据确定传输的存储数据；
如图2所示，标志集合为轴线a，其中，包括标志的区域a1和区域a2，且区域a1表示网络数据应该暂存的区域，区域a2表示存储数据应该暂存的区域；
而，对应的第一位置和第二位置，是其轴线a的一部分；
上述当第一位置和第二位置不存在重叠区域时，表示两者处于独立区域，此时，基于独立区域，对第一位置和第二位置所处的区域进行快速定位，确定第一位置和第二位置是否在正确区域，便于对数据进行处理的高效性；
且第一位置和第二位置不在其正确的区域时，将其位置及其数据移动到对应的空闲子区域，如，在区域a2的网络数据，移动到区域a1中的空闲子区域中；
且当第一位置和第二位置存在重叠区域时，表示两者有数据覆盖，通过将覆盖的数据进行数据区域区分，并标志在对应的区域，可进一步提高数据的分析能力，为后续进行数据存储，提供便利；
上述第一重叠区域a3是在目标区域，即为区域a2中，对第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，即为将存储数据在该位置保持不变，分离出网络数据，通过确定分离出的网络数据的所有第一网络属性，如网络吞吐量、存储速度、针对传输的存储数据等，并通过对所有第一网络属性进行优先级排序，获取第二网络属性，是为了获取具有代表性的网络数据，并将其对应移动到区域a1中；当上述第二重叠区域a4是在网络区域时，其原理与上述类似，此处不再赘述。
上述最终标志轴，是为了是对最终标志轴中存在的存储数据进行正误归类处理和属性归类处理的。
上述技术方案的有益效果是：通过对存储数据和网络数据的第一位置和第二位置进行标志，且通过对第一位置和第二位置进行调整，方便对存储数据进行管理，同时，为后续进行数据存储，提供便利，确保存储数据的准确性。
本发明实施例提供存储***，还包括：
第一诊断模块，用于对所述分布式文件***中的暂存节点进行预诊断；
所述集群服务器，用于根据所述第一诊断模块的诊断处理结果判断所述暂存节点是否合格；
若是，对所述暂存节点进行保留，并继续存储使用；
否则，将所述暂存节点对应的存储映射区域进行预设切割处理，并对切割处理后的每个子切割区域进行存储性能的验证；
若所述子切割区域的存储性能符合预设标准，则将所述子切割区域保留，并进行第一标注；
若所述子切割区域的存储性能不符合预设标准，则将所述子切割区域进行第二标注；
所述集群服务器，还用于确定所述暂存节点中进行第一标注的所有子区域的总存储容量，并判断所述总存储容量是否小于对应的待存储的存储数据的目标容量；
若是，在所述分布式文件***中的剩余存储节点中，寻找与所述暂存节点相关值大于预设值，且容量值大于对应的待存储的存储数据的目标容量的第一存储节点；
若存在所述第一存储节点，则建立所述第一存储节点与对应的待存储的存储数据的存储关系，并进行存储；
否则，寻找与所述暂存节点相关值大于预设值的第二存储节点，并将对应的待存储的存储数据存储到所述暂存节点和第二存储节点中。
上述对暂存节点进行预诊断，一般是确定暂存节点是否具备有识别数据的能力，若具有，说明暂存节点是合格的，否则，说明暂存节点是不合格的；
上述对暂存节点的存储映射区域进行预设切割处理，如，对存储节点b进行预设切割处理后，获得区域b1、区域b2、区域b3等；
其中，预设切割处理，是按照存储映射区域的设定好的区域字节来进行切割的，避免随意切割，导致存储节点被损坏；
上述存储性能，可以是子切割区域的区域存储能力是否损坏，即是否具备有存储数据的能力，对应的预设标准是指，存储数据的能力指数，如在1s钟内存储10万字节等数据；
上述第一存储节点，是可以代替暂存节点的，且便于一次性将其存储数据进行存储，保证数据的完整性，同时提高数据调用效率；
当不存在第一存储节点时，寻找与第二存储节点，来将存储数据存储到暂存节点和第二存储节点中，是为了保证同属性的调用效率。
上述相关值，是按照其数据属性进行确定的，且存储关系例如是指，目标数据可存储到第一存储节点中。
上述技术方案的有益效果是：通过进行第一标注和第二标注，是为了将暂存节点的子切割区域进行精确划分，通过预设切割处理，便于对存储映射区域的进行切割的，避免随意切割，导致暂存节点被损坏，避免后续将存储数据存储到存储块的过程中带来失误，通过确定第一标注的子区域的总存储容量，并通过寻找第一存储节点和第二存储节点，是为了便于将存储数据进行有效存储。
本发明实施例提供存储***，还包括：
第二诊断模块，用于诊断所述接收模块接收的所述存储数据中的病毒数据；
所述集群服务器，还用于当所述第二诊断模块诊断出存在病毒数据时，确定所述病毒数据的病毒种类，同时，基于预先存储的病毒清理数据库，并根据所述病毒种类，将对应的病毒数据进行清除处理，并对病毒清除处理后的存储数据进行后续操作；
当所述第二诊断模块未诊断出病毒数据时，对存储数据进行后续操作。
上述病毒数据一般木马病毒、网络病毒、计算机病毒等。
上述技术方案的有益效果是：通过确定病毒数据，并对病毒数据进行清理，为后续对存储数据的存储提供方便，降低数据存储失败的风险。
本发明实施例提供存储***，还包括：
在一种可能实现的方式中，还包括：
定位模块，用于当所述集群服务器根据病毒种类，将对应的病毒数据进行清除处理时，定位所述病毒数据的存储位置；
处理模块，用于对所述定位模块定位的所述存储位置的病毒数据进行病毒种类分类，并将同种类的病毒数据进行显著性标注；
并根据预先存储的病毒属性值，选择显著性标注的同种类的病毒数据进行病毒清理，且当病毒清理完毕后，选择下一显著性标注的同种类病毒数据进行病毒清理，直到清除完毕。
上述病毒数据一般是存储在某些磁盘中的；
上述进行显著性标注，是为了便于确定同类型的病毒；
上述病毒属性值，是为了对不同类型的先后清理顺序进行确定，其病毒的毒性越高，对应的清理顺序越靠前。
上述技术方案的有益效果是：通过确定病毒的位置，且通过对同类型的病毒进行先清理，对其他类型的病毒进行后处理，降低处理病毒转换机制，提高清理效率，可有效的降低因为病毒数据给存储数据带来的损失。
本发明实施例提供存储***，所述集群服务器接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群的过程中，为了保证建立的合格访问集群的安全性，需要对存储块同步接收所述访问请求的安全性进行验证，其验证步骤包括：
步骤1：确定所述访问请求的访问等级，同时根据所述访问等级，从混合算法数据库中，随机摘取加密算法集合对所述访问请求进行加密处理，同时，基于随机摘取结果，在每个所述存储块中设置对应的解密算法集合；
步骤2：建立发送所述访问请求的客户端与接收所述访问请求的存储块之间的传输链路，确定每个传输链路的安全值F1；
Figure BDA0002427354320000151
其中，P表示第i条传输链路的被攻击概率；Q表示第i条传输链路的品质因素；li表示第i条传输链路的链路长度，其中，i＝1,2,3...n；max{Δl}表示第i条传输链路与其他传输链路之间的最大链路长度差值；χi表示第i条传输链路的链路长度修正因子；
并基于链路安全等级表，确定安全值F1对应的所述传输链路的链路等级；
步骤3：确定所述步骤1中，每个存储块基于所述解密算法集合，对接收的加密处理后的访问请求的解密效率；
步骤4：根据所述链路等级和对应的解密效率，确定每个存储块同步接收所述访问请求的安全等级；
Figure BDA0002427354320000152
其中，所述Di表示第i个传输链路的链路等级；vi表示第i个存储块的解密效率；βi表示第i个存储块的被威胁因子；qi表示第i个存储块的品质因素；
将安全等级F2大于或等于预设等级的存储块对应的访问请求进行统计，获得每个存储块对应的合格访问集群。
上述技术方案的有益效果是：通过为访问请求和对应的存储块设置随机加密解密算法，提高其加密解密的灵活性，提高其的安全性，通过确定不同传输链路的链路安全等级、不同存储块的解密效率，进而确定每个访问请求的安全等级，通过其安全等级，确定合格的访问请求，并构建合格访问集群，提高安全访问对应的存储块的安全性和可靠性。
本发明实施例提供存储装置，包括：
存储介质和前述权利要求中任一项所述的存储***。
上述存储介质是指存储数据的载体。比如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、xD卡等。
上述技术方案的有益效果是：便于提高存储存储数据的位置精准性，提高调用已存储数据的效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.存储***，其特征在于，包括：
接收模块，用于接收客户端发送的需要存储的存储数据；
建立模块，用于基于分布式文件***建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；
所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；
集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；
所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。
2.如权利要求1所述的存储***，其特征在于，还包括：
第一记录模块，用于记录所述元数据服务器缓存和同步分布元数据的元时间以及与元时间对应的元文件大小，并获得元速度；
第二记录模块，用于记录所述集群服务器的写入与所述元数据对应的数据流的写入时间和写入文件大小，获得写入速度；
判断模块，用于当所述第一记录模块记录的元速度大于所述第二记录模块记录的写入速度，且两者差值绝对值大于预设差值时，发送第一报警警示；
当所述第一记录模块记录的元速度小于所述第二记录模块记录的写入速度，且两者差值绝对值小于预设差值时，发送第二报警警示。
3.如权利要求1所述的存储***，其特征在于，
所述集群服务器，还用于将所述存储数据存储到存储块之前，对所述存储数据进行正误归类处理，根据所述存储数据的数据属性，对正误归类处理后的所述存储数据进行属性归类处理；
所述集群服务器，还用于将属性归类处理后的存储数据暂存到基于分布式文件***的存储节点中，同时，根据所述存储节点的节点属性，向对应的存储块发送目标请求指令，来将所述存储数据存储到对应的存储块中。
4.如权利要求3所述的存储***，其特征在于，
所述集群服务器，还用于基于设定的时间轴且对所述存储数据进行正误归类处理之前，获取传输所述存储数据对应的目标网络的网络数据；
所述集群服务器，还用于将所述存储数据标志在标志轴的第一位置，同时将获取的所述网络数据标志在所述标志轴的第二位置，并基于预先建立的标志集合，确定所述第一位置与第二位置是否存在重叠区域，若不存在，确定所述第一位置是否在所述标志轴的目标区域；
若在，保持所述第一位置不变；
否则，将所述第一位置及第一位置对应的存储数据，移动到所述目标区域的空闲子区域；
同时，确定所述所述第二位置是否在所述标志轴的网络区域；
若在，保持所述第二位置不变；
否则，将所述第二位置及第二位置对应的网络数据移动到所述网络区域的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第一重叠区域时，且所述第一重叠区域是在所述目标区域时，对所述第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠网络数据的所有第一网络属性；
通过对所有第一网络属性进行优先级排序，获取第二网络属性，并将所述第二网络属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第二重叠区域时，且所述第二重叠区域是在所述网络区域时，对所述第二重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠存储数据的所有第一目标属性；
通过对所有第一目标属性进行优先级排序，获取第二目标属性，并将所述第二目标属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域，获得最终标志轴。
5.如权利要求3所述的存储***，其特征在于，还包括：
第一诊断模块，用于对所述分布式文件***中的暂存节点进行预诊断；
所述集群服务器，用于根据所述第一诊断模块的诊断处理结果判断所述暂存节点是否合格；
若是，对所述暂存节点进行保留，并继续存储使用；
否则，将所述暂存节点对应的存储映射区域进行预设切割处理，并对切割处理后的每个子切割区域进行存储性能的验证；
若所述子切割区域的存储性能符合预设标准，则将所述子切割区域保留，并进行第一标注；
若所述子切割区域的存储性能不符合预设标准，则将所述子切割区域进行第二标注；
所述集群服务器，还用于确定所述暂存节点中进行第一标注的所有子区域的总存储容量，并判断所述总存储容量是否小于对应的待存储的存储数据的目标容量；
若是，在所述分布式文件***中的剩余存储节点中，寻找与所述暂存节点相关值大于预设值，且容量值大于对应的待存储的存储数据的目标容量的第一存储节点；
若存在所述第一存储节点，则建立所述第一存储节点与对应的待存储的存储数据的存储关系，并进行存储；
否则，寻找与所述暂存节点相关值大于预设值的第二存储节点，并将对应的待存储的存储数据存储到所述暂存节点和第二存储节点中。
6.如权利要求1所述的存储***，其特征在于，还包括：
第二诊断模块，用于诊断所述接收模块接收的所述存储数据中的病毒数据；
所述集群服务器，还用于当所述第二诊断模块诊断出存在病毒数据时，确定所述病毒数据的病毒种类，同时，基于预先存储的病毒清理数据库，并根据所述病毒种类，将对应的病毒数据进行清除处理，并对病毒清除处理后的存储数据进行后续操作；
当所述第二诊断模块未诊断出病毒数据时，对存储数据进行后续操作。
7.如权利要求6所述的存储***，其特征在于，还包括：
定位模块，用于当所述集群服务器根据病毒种类，将对应的病毒数据进行清除处理时，定位所述病毒数据的存储位置；
处理模块，用于对所述定位模块定位的所述存储位置的病毒数据进行病毒种类分类，并将同种类的病毒数据进行显著性标注；
并根据预先存储的病毒属性值，选择显著性标注的同种类的病毒数据进行病毒清理，且当病毒清理完毕后，选择下一显著性标注的同种类病毒数据进行病毒清理，直到清除完毕。
8.如权利要求1所述的存储***，其特征在于，所述集群服务器接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群的过程中，为了保证建立的合格访问集群的安全性，需要对存储块同步接收所述访问请求的安全性进行验证，其验证步骤包括：
步骤1：确定所述访问请求的访问等级，同时根据所述访问等级，从混合算法数据库中，随机摘取加密算法集合对所述访问请求进行加密处理，同时，基于随机摘取结果，在每个所述存储块中设置对应的解密算法集合；
步骤2：建立发送所述访问请求的客户端与接收所述访问请求的存储块之间的传输链路，确定每个传输链路的安全值F1；
Figure FDA0002427354310000051
其中，P表示第i条传输链路的被攻击概率；Q表示第i条传输链路的品质因素；li表示第i条传输链路的链路长度，其中，i＝1,2,3...n；max{Δl}表示第i条传输链路与其他传输链路之间的最大链路长度差值；χi表示第i条传输链路的链路长度修正因子；
并基于链路安全等级表，确定安全值F1对应的所述传输链路的链路等级；
步骤3：确定所述步骤1中，每个存储块基于所述解密算法集合，对接收的加密处理后的访问请求的解密效率；
步骤4：根据所述链路等级和对应的解密效率，确定每个存储块同步接收所述访问请求的安全等级；
Figure FDA0002427354310000052
其中，所述Di表示第i个传输链路的链路等级；vi表示第i个存储块的解密效率；βi表示第i个存储块的被威胁因子；qi表示第i个存储块的品质因素；
将安全等级F2大于或等于预设等级的存储块对应的访问请求进行统计，获得每个存储块对应的合格访问集群。
9.存储装置，其特征在于，包括：
存储介质和所述权利要求1-8中任一项所述的存储***。
CN202010225029.5A 2020-03-26 2020-03-26 存储***和存储装置 Active CN111447275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225029.5A CN111447275B (zh) 2020-03-26 2020-03-26 存储***和存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225029.5A CN111447275B (zh) 2020-03-26 2020-03-26 存储***和存储装置

Publications (2)

Publication Number Publication Date
CN111447275A true CN111447275A (zh) 2020-07-24
CN111447275B CN111447275B (zh) 2021-01-01

Family

ID=71650918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225029.5A Active CN111447275B (zh) 2020-03-26 2020-03-26 存储***和存储装置

Country Status (1)

Country Link
CN (1) CN111447275B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010528B2 (en) * 2002-05-23 2006-03-07 International Business Machines Corporation Mechanism for running parallel application programs on metadata controller nodes
CN101449275A (zh) * 2006-06-05 2009-06-03 国际商业机器公司 用于存储装置的安全访问控制的***、方法和计算机程序产品
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的***和方法
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法
CN102437925A (zh) * 2011-12-01 2012-05-02 中兴通讯股份有限公司 分布式***中的数据备份方法、装置及***
CN102833346A (zh) * 2012-09-06 2012-12-19 上海海事大学 基于存储元数据的云敏感数据安全保护***及方法
CN103020255A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 分级存储方法和装置
CN103049220A (zh) * 2012-12-19 2013-04-17 华为技术有限公司 存储控制方法、存储控制装置和固态存储***
CN104123359A (zh) * 2014-07-17 2014-10-29 江苏省邮电规划设计院有限责任公司 一种分布式对象存储***的资源管理方法
CN104517067A (zh) * 2014-12-30 2015-04-15 华为技术有限公司 访问数据的方法、装置及***
CN104994168A (zh) * 2015-07-14 2015-10-21 苏州科达科技股份有限公司 分布式存储方法及分布式存储***
CN107025409A (zh) * 2017-06-27 2017-08-08 中经汇通电子商务有限公司 一种数据安全存储平台
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法
SG11201809880RA (en) * 2017-09-19 2019-04-29 Ping An Technology Shenzhen Co Ltd Data access authority management method, apparatus, terminal device and storage medium
US20190318068A1 (en) * 2018-04-17 2019-10-17 Adp, Llc Information access in a graph database

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010528B2 (en) * 2002-05-23 2006-03-07 International Business Machines Corporation Mechanism for running parallel application programs on metadata controller nodes
CN101449275A (zh) * 2006-06-05 2009-06-03 国际商业机器公司 用于存储装置的安全访问控制的***、方法和计算机程序产品
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的***和方法
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法
CN102437925A (zh) * 2011-12-01 2012-05-02 中兴通讯股份有限公司 分布式***中的数据备份方法、装置及***
CN102833346A (zh) * 2012-09-06 2012-12-19 上海海事大学 基于存储元数据的云敏感数据安全保护***及方法
CN103049220A (zh) * 2012-12-19 2013-04-17 华为技术有限公司 存储控制方法、存储控制装置和固态存储***
CN103020255A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 分级存储方法和装置
CN104123359A (zh) * 2014-07-17 2014-10-29 江苏省邮电规划设计院有限责任公司 一种分布式对象存储***的资源管理方法
CN104517067A (zh) * 2014-12-30 2015-04-15 华为技术有限公司 访问数据的方法、装置及***
CN104994168A (zh) * 2015-07-14 2015-10-21 苏州科达科技股份有限公司 分布式存储方法及分布式存储***
CN107025409A (zh) * 2017-06-27 2017-08-08 中经汇通电子商务有限公司 一种数据安全存储平台
SG11201809880RA (en) * 2017-09-19 2019-04-29 Ping An Technology Shenzhen Co Ltd Data access authority management method, apparatus, terminal device and storage medium
US20190318068A1 (en) * 2018-04-17 2019-10-17 Adp, Llc Information access in a graph database
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王乐春等: "国家图书馆存储体系架构研究与设计", 《数字图书馆论坛》 *

Also Published As

Publication number Publication date
CN111447275B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN107015872A (zh) 监控数据的处理方法及装置
US20070005556A1 (en) Probabilistic techniques for detecting duplicate tuples
CN113132311A (zh) 异常访问检测方法、装置和设备
WO2020143181A1 (zh) 数据存储方法、装置、计算机设备及存储介质
CN110674008B (zh) Ssd的问题盘日志信息收集方法、装置、设备及介质
CN111694852B (zh) 基于分布式事务的数据处理方法、装置、终端及存储介质
EP3890312B1 (en) Distributed image analysis method and system, and storage medium
US8140671B2 (en) Apparatus and method for sampling security events based on contents of the security events
CN106529281B (zh) 一种可执行文件处理方法及装置
CN114880285A (zh) 基于关联数据分析的计算机安全存储***及方法
CN111447275B (zh) 存储***和存储装置
CN107729182B (zh) 数据存储和访问的方法及装置
CN112068979A (zh) 一种业务故障确定方法及装置
CN116643704A (zh) 存储管理方法、装置、电子设备及存储介质
CN110928484A (zh) 一种基于软件定义存储的混合云存储方法
CN115562934A (zh) 基于人工智能的业务流量切换方法及相关设备
CN113572744A (zh) 一种基于大数据的数据安全处理方法
CN112395119B (zh) 异常数据处理方法、装置、服务器及存储介质
CN114155578A (zh) 人像聚类方法、装置、电子设备和存储介质
CN111385511A (zh) 一种视频数据处理方法、装置和视频录制设备
CN111258788A (zh) 磁盘故障预测方法、装置及计算机可读存储介质
CN112564928A (zh) 服务分类方法及设备、互联网***
CN117540369B (zh) 用于安全分析的数值行为安全基线生成方法及装置
CN115809466B (zh) 基于stride模型的安全需求生成方法、装置、电子设备及介质
CN109416661A (zh) 对策验证辅助***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant