CN110187838A - 数据io信息处理方法、分析方法、装置和相关设备 - Google Patents

数据io信息处理方法、分析方法、装置和相关设备 Download PDF

Info

Publication number
CN110187838A
CN110187838A CN201910463849.5A CN201910463849A CN110187838A CN 110187838 A CN110187838 A CN 110187838A CN 201910463849 A CN201910463849 A CN 201910463849A CN 110187838 A CN110187838 A CN 110187838A
Authority
CN
China
Prior art keywords
data
information
file
format
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910463849.5A
Other languages
English (en)
Other versions
CN110187838B (zh
Inventor
崔嘉诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910463849.5A priority Critical patent/CN110187838B/zh
Publication of CN110187838A publication Critical patent/CN110187838A/zh
Priority to US16/866,423 priority patent/US11210014B2/en
Application granted granted Critical
Publication of CN110187838B publication Critical patent/CN110187838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G06F11/3636—Software debugging by tracing the execution of the program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种数据IO信息处理方法、分析方法、装置和相关设备，该方法包括：通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。本发明实施例可以降低存储节点的复杂度，以及避免给存储引擎增加负载。

Description

数据IO信息处理方法、分析方法、装置和相关设备
技术领域
本发明涉及互联网技术领域，尤其涉及一种数据IO(读写)信息处理方法、分析方法、装置和相关设备。
背景技术
目前数据存储支持海量分布式存储***，该存储***中包括多个分布式存储节点，每个存储节点有独立的存储引擎。另外，分布式存储技术中为了提升缓存效果，往往需要对存储节点进行数据IO(读写)的收集和分析，例如：收集数据的访问模式、访问热度和生命周期等数据IO信息，之后对收集的信息进行分析，得出量化的数据，再进行针对性的设计，以提升缓存效果。然而，目前是将收集和分析的功能集成到每个存储节点的存储引擎的架构中，这样需要对存储引擎的构架进行改进，以及需要在***中所有IO流程中增加收集代码，从而导致存储节点的复杂度比较高。
发明内容
本发明实施例提供一种数据IO信息处理方法、分析方法、装置和相关设备，以解决存储节点的复杂度比较高的问题。
第一方面，本发明实施例提供一种数据IO信息处理方法，包括：
通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
可选的，所述向目标节点发送所述进程收集到的数据IO信息，包括：
将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
可选的，所述对所述进程进行调整，包括：
暂停所述进程，并记录断点数据文件；
所述方法还包括：
通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
可选的，所述通过所述进程依据所述断点数据文件继续进行数据IO信息收集，包括：
若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
第二方面，本发明实施例提供一种数据IO信息分析方法，包括：
接收多个存储节点发送的数据IO信息；
在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
对所述统一格式的数据IO信息进行分析。
可选的，所述在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息，包括：
在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
第二方面，本发明实施例提供一种数据IO信息处理装置，包括：
第一收集模块，用于通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
调整模块，用于若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
发送模块，用于向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
可选的，所述发送模块用于将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
可选的，所述调整模块用于若监控到所述存储节点的资源使用变化量超出阈值时，暂停所述进程，并记录断点数据文件；
所述装置还包括：
第二收集模块，用于通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
可选的，所述第二收集模块用于若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
第四方面，本发明实施例还提供一种数据IO信息分析装置，包括：
接收模块，用于接收多个存储节点发送的数据IO信息；
转换模块，用于在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
分析模块，用于对所述统一格式的数据IO信息进行分析。
可选的，所述转换模块用于在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
第五方面，本发明实施例还提供一种存储设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的数据IO信息处理方法的步骤。
第六方面，本发明实施例还提供一种智能设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例提供的数据IO信息分析方法的步骤。
第七方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的数据IO信息处理方法的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供的数据IO信息分析方法的步骤。
本发明实施例中，通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。这样采用上述进程进行数据IO信息以及将收集的数据IO信息发送给目标节点进行分析，从而可以降低存储节点的复杂度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据IO信息处理方法的流程图；
图2是本发明实施例提供的一种数据IO信息收集和传输的示意图；
图3是本发明实施例提供的一种数据IO信息分析方法的流程图；
图4是本发明实施例提供的一种数据IO信息分析的示意图；
图5是本发明实施例提供的一种数据IO信息处理装置的结构图；
图6是本发明实施例提供的另一种数据IO信息处理装置的结构图；
图7是本发明实施例提供的一种数据IO信息分析装置的结构图；
图8是本发明实施例提供的一种存储设备的结构图；
图9是本发明实施例提供的一种智能设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，说明书以及权利要求中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B，表示包含单独A，单独B，以及A和B都存在三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
请参见图1，图1是本发明实施例提供的一种数据IO信息处理方法的流程图，如图1所示，包括以下步骤：
步骤101、通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集。
其中，上述独立于存储引擎之外的进程可以理解为，上述进程与存储引擎是相互独立的或者完成解耦的。
而上述对所述存储引擎中的数据进行数据IO信息收集可以是，对存储引擎中的数据收集包括但不限于如下至少一项：
数据的访问模式、数据的访问热度和数据的生命周期。
也就是说，本发明实施例中，数据IO信息可以包括但不限于数据的访问模式、数据的访问热度和数据的生命周期中的至少一项。具体可以根据分析需求收集不同的数据IO信息，对此本发明实施例不作限定。
步骤102、若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量。
其中，上述资源使用变化量可以包括但不限于如下至少一项的使用变化量：
CPU、内存、磁盘IO、磁盘空闲空间、网卡带宽和***负载。
当包括多项时，则任一项的资源使用变化量超出阈值时，可以对所述进程进行调整。
进一步的，本发明实施例可以是周期性对存储节点的资源进行监控，而上述资源使用变化量超出阈值可以是在一个或者多个周期内监控到的资源使用变化量超出阈值。
上述调整可以是降低上述进程收集的任务数量或者暂停收集等能够降低所述进程的资源占用量的调整。且这里的资源占用量可以是CPU、内存、磁盘IO、磁盘空闲空间、网卡带宽和***负载中的一项或者多项的占用量。
通过步骤102可以实现对上述进程对存储节点上的资源消耗进行控制，以避免或者降低上述进程对上述存储引擎的影响。
作为一种可选的实施方式，上述对所述进程进行调整，包括：
暂停所述进程，并记录断点数据文件；
所述方法还包括：
通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
其中，上述断点数据文件可以是暂停上述进程时最后完成数据IO信息收集的数据文件，或者可以是暂停上述进程时完成最后写成数据IO信息收集的数据文件的下一个数据文件。上述通过所述进程依据所述断点数据文件继续进行数据IO信息收集可以是，以上述断点数据文件的下一个数据文件为新起点继续进行数据IO信息收集，或者可以是，以上述断点数据文件为新起点继续进行数据IO信息收集。
该实施方式中，可以实现对存储节点的资源实时感知，使得上述进程对资源的消耗可控，例如：在业务的高峰期间自动暂停收集任务，实现对存储引擎的业务的避让，并能够根据***资源和负载自动调整对资源的消耗，以消除或者降低对存储引擎业务的影响。
可选的，上述通过所述进程依据所述断点数据文件继续进行数据IO信息收集，可以包括：
若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
该实施方式，在暂停所述进程时启动一个定时器，若该定时器超时，则上述进程继续进行数据IO信息收集，这样及时地避免业务的高峰期间对存储引擎的影响，且可以自动恢复数据IO信息收集。
下面以图2对上述实施方式进行举例说明：
资源监控模块监控并记录CPU、内存、磁盘IO、磁盘空闲空间和网卡带宽及***负载等使用信息，当某个监控项连续一个或者多个采样周期内的变化量超出阈值时，将变化量上报给调度模块；
调度模块根据当前收集模块收到的资源占用情况，计算出进行数据IO信息收集的进程需要调整的资源量，将发送调整消息给收集模块；收集模块进行调整，在完成调整后，将调整后的资源占用情况返回给调度模块进行记录。
调度模块根据启动时间设置定时器，当定时器超时后，回调调度模块给收集模块发送启动命令；之后，收集模块读取断点文件列表，查找待处理的数据，并根据自己的资源分配情况进行文件压缩和传输，完成后保存断点文件信息。
需要说明的是，图2所示的模块均可以是虚拟模块，这些模块仅是一个举例示意，本发明实施例中并不限定存储节点的内部结构。
步骤103、向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
其中，上述向目标节点发送的数据IO信息可以是上述进程收集到的所有或者部分数据IO信息。而上述目标节点可以是分布式存储***中的集中分析节点，且该节点可以是某一存储节点。若上述目标节点是某一存储节点时，则该节点可以通过独立于存储引擎之外的进程进行分析。
需要说明的是，本发明实施例中，并不限定对数据IO信息的分析方式，具体可以根据实际需求进行相应的分析。例如：本发明实施例中的分析可以是，分析各存储节点或者分布存储***的热数据(即访问频度较高)的占比或者数量等，或者可以是分析各存储节点或者分布存储***中按照顺序进行IO操作的数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***中随机进行IO操作的数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***中生命周期较短数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***的IO性能等等，具体可以根据实际需求进行不同的分析操作。
本发明实施例中，采用上述进程进行数据IO信息以及将收集的数据IO信息发送给目标节点进行分析，从而可以降低存储节点的复杂度，以实现轻量级的数据IO收集和分析框架，且不会给存储引擎带来额外的负载。
作为一种可选的实施方式，所述向目标节点发送所述进程收集到的数据IO信息，包括：
将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
其中，上述将数据IO信息压缩成的压缩文件可以是压缩成上述存储节点对应的压缩格式的压缩文件。或者，上述将数据IO信息压缩成的压缩文件可以是根据上述进程的资源分配情况进行压缩，其中，压缩的速度或者压缩的格式等与进程的资源分配情况对应的，例如：当上述进程分配较多的资源时，则采用快速地压缩方式进行压缩，当上述进程分配较多的资源时，采用压缩比较大的压缩格式进行压缩等，以实现灵活的压缩。
上述实施方式中，由于传输的压缩文件，从而可以减少传输开销，以及提高传输速率。
需要说明的是，本发明实施例中存储节点也可以称作存储设备，即分布式存储***中不同的存储节点可以是不同的存储设备，当然，一个存储设备上也可以包括多个存储节点，对此本发明实施例不作限定。
本发明实施例中，通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。这样采用上述进程进行数据IO信息以及将收集的数据IO信息发送给目标节点进行分析，从而可以降低存储节点的复杂度。
请参见图3，图3是本发明实施例提供的一种数据IO信息分析方法的流程图，如图3所示，包括：
步骤301、接收多个存储节点发送的数据IO信息。
需要说明的是，本实施例提供的上述数据IO信息分析方法可以应用于图1所示的实施例中的目标节点，且本实施例中的数据IO信息可以参见图1所示的实施例的相关说明，此处不作赘述。
步骤302、在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息。
其中，上述存在不同格式的数据IO信息可以是多个存储节点发送的数据IO信息中存在不同格式的数据IO信息，例如：10个存储节点中有3个存储节点发送第一格式的数据IO信息，另外，3个存储节点发送的第二格式的数据IO信息，还有其余4个存储节点发送第三格式的数据IO信息。
另外，上述不同格式的数据IO信息可以是不同文本格式的数据IO信息和/或不同压缩格式的数据IO信息。进一步的，各存储节点发送的数据IO信息的格式也可以是该存储节点的文件存储格式对应的数据格式。
将所述接收到的数据IO信息转换成统一格式的数据IO信息可以是，将接收到数据IO信息转换目标格式的数据IO信息，其中，该目标格式可以是上述接收到的数据IO信息中的某一格式，或者上述目标格式可以是上述接收到的数据IO信息中不存在的格式，对此不作限定。进一步的，上述将所述接收到的数据IO信息转换成统一格式的数据IO信息可以理解为，通过对不同格式的数据IO信息进行归一化处理，以得到统一格式的数据IO信息。
作为一种可选的实施方式，上述在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息，包括：
在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
需要说明的是，上述接收的数据IO信息中存在多种压缩格式的数据IO信息可以是，接收到的数据IO信息中只存在多种压缩格式的数据IO信息，或者可以是，接收到的数据IO信息除了存在多种压缩格式的数据IO信息之外，还存在其他格式的数据IO信息，例如：还存在文本格式的数据IO信息，且在该情况下，是将多种压缩格式的数据IO信息和其他格式的数据IO信息转换成统一格式的数据IO信息。
上述对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息可以是，不对压缩格式的数据IO信息进行解压缩处理，而是直接在读取时进行格式的转换，从而减少磁盘IO的同时，有效地提升了分析工作的性能。例如：在内存中完成压缩格式的数据IO信息的读取以及转换，而在转换过程中不需要将压缩格式的数据IO信息解压至磁盘，以及不再从磁盘中读取进行转换，减少磁盘IO。
以图4为例，接收到的数据IO信息包括：文本格式、gz压缩格式、xz压缩格式、bz2压缩格式和izma压缩格式，通过格式归一化处理，得到统一格式的数据IO信息，并由分析后端进行分析。
在实际应用中，在进行数据IO分析的处理时，不同文件存储格式对应的数据格式不一致，如果对每一种格式进行一种特殊处理，那么处理逻辑会非常复杂，导致扩展性非常差。本实施例中，可以实现在进行分析前端，把所有的文件存储格式统一成一致的格式，这样所有文件格式共享一个分析后端，后续增加新的文件格式时，只需要在前端将新的格式转换成统一格式即可，很好保证了扩展性。
另外，可以实现在处理压缩文件时，不对压缩文件进行解压缩处理，而是直接在读取时进行格式的转换，减少磁盘IO的同时，有效地提升了分析工作的性能。
步骤303、对所述统一格式的数据IO信息进行分析。
需要说明的是，本实施例中，并不限定对数据IO信息的分析方式，具体可以根据实际需求进行相应的分析。例如：本发明实施例中的分析可以是，分析各存储节点或者分布存储***的热数据(即访问频度较高)的占比或者数量等，或者可以是分析各存储节点或者分布存储***中按照顺序进行IO操作的数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***中随机进行IO操作的数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***中生命周期较短数据的占比或者数量等，或者可以是分析各存储节点或者分布存储***的IO性能等等，具体可以根据实际需求进行不同的分析操作。
通过上述步骤可以实现由一个节点统一对多个存储节点的数据IO信息进行分析，从而可以降低存储节点的复杂度。另外，上述数据IO信息分析方法可以由分布式存储***中的某一存储节点来执行，且进行上述分析的进程可以是独立于存储引擎之外的进程，这样不会给存储引擎带来额外的负载，或者，上述数据IO信息分析方法可以由非存储节点来执行。
本发明实施例中，接收多个存储节点发送的数据IO信息；在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；对所述统一格式的数据IO信息进行分析。这样由一个节点统一对多个存储节点的数据IO信息进行分析，从而可以降低存储节点的复杂度。另外，由于将不同的格式的数据IO信息转换成统一格式的数据IO信息，消除了不同数据格式带来的分析差异化，以及还可以避免对压缩文件先进行解压缩再处理，使得数据IO信息的分析的可扩展性和性能得到有效提升。
请参见图5，图5是本发明实施例提供的一种数据IO信息处理装置的结构图，如图5所示，数据IO信息处理装置500包括：
第一收集模块501，用于通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
调整模块502，用于若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
发送模块503，用于向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
可选的，所述发送模块503用于将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
可选的，所述调整模块502用于若监控到所述存储节点的资源使用变化量超出阈值时，暂停所述进程，并记录断点数据文件；
如图6所示，所述装置还包括：
第二收集模块504，用于通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
可选的，所述第二收集模块504用于若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
需要说明的是，本发明实施例中数据IO信息处理方法实施例中任意实施方式都可以被本实施例中的上述数据IO信息处理装置所实现，以及达到相同的有益效果，此处不再赘述。
请参见图7，图7是本发明实施例提供的一种数据IO信息分析装置的结构图，如图7所示，数据IO信息分析装置700包括：
接收模块701，用于接收多个存储节点发送的数据IO信息；
转换模块702，用于在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
分析模块703，用于对所述统一格式的数据IO信息进行分析。
可选的，所述转换模块702用于在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
需要说明的是，本发明实施例中数据IO信息分析方法实施例中任意实施方式都可以被本实施例中的上述数据IO信息分析装置所实现，以及达到相同的有益效果，此处不再赘述。
请参见图8，图8是本发明实施例提供的一种存储设备的结构图，如图8所示，存储设备800包括处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序。
其中，所述计算机程序被所述处理器801执行时实现如下步骤：
通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
可选的，所述向目标节点发送所述进程收集到的数据IO信息，包括：
将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
可选的，所述对所述进程进行调整，包括：
暂停所述进程，并记录断点数据文件；
所述方法还包括：
通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
可选的，所述通过所述进程依据所述断点数据文件继续进行数据IO信息收集，包括：
若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
需要说明的是，本实施例中上述存储设备也可以称作存储节点。
本发明实施例提供的存储设备能够实现图1所示的方法实施例中存储设备实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。
请参见图9，图9是本发明实施例提供的一种智能设备的结构图，如图9所示，智能设备900包括处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序。
其中，所述计算机程序被所述处理器801执行时实现如下步骤：
接收多个存储节点发送的数据IO信息；
在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
对所述统一格式的数据IO信息进行分析。
可选的，所述在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息，包括：
在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
需要说明的是，本实施例中上述智能设备可以是分布式存储***中的存储节点，或者可以是其他智能设备，例如：计算机等。
本发明实施例提供的智能设备能够实现图3所示的方法实施例中智能设备实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的数据IO信息处理方法的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供的数据IO信息分析方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (15)

1.一种数据读写IO信息处理方法，其特征在于，包括：
通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
2.如权利要求1所述的方法，其特征在于，所述向目标节点发送所述进程收集到的数据IO信息，包括：
将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
3.如权利要求1所述的方法，其特征在于，所述对所述进程进行调整，包括：
暂停所述进程，并记录断点数据文件；
所述方法还包括：
通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
4.如权利要求3所述的方法，其特征在于，所述通过所述进程依据所述断点数据文件继续进行数据IO信息收集，包括：
若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
5.一种数据IO信息分析方法，其特征在于，包括：
接收多个存储节点发送的数据IO信息；
在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
对所述统一格式的数据IO信息进行分析。
6.如权利要求5所述的方法，其特征在于，所述在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息，包括：
在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
7.一种数据IO信息处理装置，其特征在于，包括：
第一收集模块，用于通过存储节点中独立于存储引擎之外的进程，对所述存储引擎中的数据进行数据IO信息收集；
调整模块，用于若监控到所述存储节点的资源使用变化量超出阈值时，对所述进程进行调整，所述调整用于降低所述进程的资源占用量；
发送模块，用于向目标节点发送所述进程收集到的数据IO信息，以使得所述目标节点对所述数据IO信息进行分析。
8.如权利要求7所述的装置，其特征在于，所述发送模块用于将所述进程收集到的数据IO信息压缩成的压缩文件，并向所述目标节点发送所述压缩文件。
9.如权利要求7所述的装置，其特征在于，所述调整模块用于若监控到所述存储节点的资源使用变化量超出阈值时，暂停所述进程，并记录断点数据文件；
所述装置还包括：
第二收集模块，用于通过所述进程依据所述断点数据文件继续进行数据IO信息收集。
10.如权利要求9所述的装置，其特征在于，所述第二收集模块用于若定时器超时，则通过所述进程依据所述断点数据文件继续进行数据IO信息收集，其中，所述定时器是在暂停所述进程时启动的。
11.一种数据IO信息分析装置，其特征在于，包括：
接收模块，用于接收多个存储节点发送的数据IO信息；
转换模块，用于在所述接收的数据IO信息中存在不同格式的数据IO信息的情况下，将所述接收到的数据IO信息转换成统一格式的数据IO信息；
分析模块，用于对所述统一格式的数据IO信息进行分析。
12.如权利要求11所述的装置，其特征在于，所述转换模块用于在所述接收的数据IO信息中存在多种压缩格式的数据IO信息的情况下，对所述多种压缩格式的数据IO信息分别进行读取，以及将读取到的数据IO信息转换成统一格式的数据IO信息。
13.一种存储设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的数据IO信息处理方法的步骤。
14.一种智能设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求5或6所述的数据IO信息分析方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的数据IO信息处理方法的步骤，或者，所述计算机程序被处理器执行时实现如权利要求5或6所述的数据IO信息分析方法的步骤。
CN201910463849.5A 2019-05-30 2019-05-30 数据io信息处理方法、分析方法、装置和相关设备 Active CN110187838B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910463849.5A CN110187838B (zh) 2019-05-30 2019-05-30 数据io信息处理方法、分析方法、装置和相关设备
US16/866,423 US11210014B2 (en) 2019-05-30 2020-05-04 Method and apparatus for processing I/O information of data, method and apparatus for analyzing I/O information of data, and related devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910463849.5A CN110187838B (zh) 2019-05-30 2019-05-30 数据io信息处理方法、分析方法、装置和相关设备

Publications (2)

Publication Number Publication Date
CN110187838A true CN110187838A (zh) 2019-08-30
CN110187838B CN110187838B (zh) 2023-06-20

Family

ID=67719005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910463849.5A Active CN110187838B (zh) 2019-05-30 2019-05-30 数据io信息处理方法、分析方法、装置和相关设备

Country Status (2)

Country Link
US (1) US11210014B2 (zh)
CN (1) CN110187838B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306681A (zh) * 2020-10-27 2021-02-02 中思博安科技（北京）有限公司 一种资源控制方法、装置及电子设备
CN115102972A (zh) * 2022-07-15 2022-09-23 济南浪潮数据技术有限公司 一种存储nfs文件的方法、装置、设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134767B (zh) * 2021-03-11 2024-02-09 上海大唐移动通信设备有限公司 提升信令软采集设备性能的方法、装置及存储介质
CN117251275B (zh) * 2023-11-17 2024-01-30 北京卡普拉科技有限公司 多应用异步i/o请求的调度方法及***、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127713A (zh) * 2007-09-05 2008-02-20 华为技术有限公司 通用流量控制装置及流量控制方法
US20130318297A1 (en) * 2012-05-24 2013-11-28 Netapp, Inc. Network storage systems having clustered raids for improved redundancy and load balancing
US20150106578A1 (en) * 2013-10-15 2015-04-16 Coho Data Inc. Systems, methods and devices for implementing data management in a distributed data storage system
CN104683446A (zh) * 2015-01-29 2015-06-03 广州杰赛科技股份有限公司 一种云存储集群节点服务状态实时监控方法和***
CN105024880A (zh) * 2015-07-17 2015-11-04 哈尔滨工程大学 一种面向关键任务计算机集群的弹性监控方法
US20170104663A1 (en) * 2015-10-13 2017-04-13 Netapp, Inc. Methods and systems for monitoring resources of a networked storage environment
US20170201434A1 (en) * 2014-05-30 2017-07-13 Hewlett Packard Enterprise Development Lp Resource usage data collection within a distributed processing framework
CN107431643A (zh) * 2015-02-03 2017-12-01 Netapp股份有限公司 监测存储集群元件
CN108108289A (zh) * 2018-01-11 2018-06-01 郑州云海信息技术有限公司 一种集群资源统计方法、***、装置及可读存储***
CN108616421A (zh) * 2018-04-13 2018-10-02 郑州云海信息技术有限公司 一种多节点集群的状态检测方法、装置及设备
US20190005066A1 (en) * 2017-06-29 2019-01-03 International Business Machines Corporation Multi-tenant data service in distributed file systems for big data analysis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631538B (zh) * 2013-12-05 2017-04-05 华为技术有限公司 冷热数据识别门限值计算方法、装置和***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127713A (zh) * 2007-09-05 2008-02-20 华为技术有限公司 通用流量控制装置及流量控制方法
US20130318297A1 (en) * 2012-05-24 2013-11-28 Netapp, Inc. Network storage systems having clustered raids for improved redundancy and load balancing
US20150106578A1 (en) * 2013-10-15 2015-04-16 Coho Data Inc. Systems, methods and devices for implementing data management in a distributed data storage system
US20170201434A1 (en) * 2014-05-30 2017-07-13 Hewlett Packard Enterprise Development Lp Resource usage data collection within a distributed processing framework
CN104683446A (zh) * 2015-01-29 2015-06-03 广州杰赛科技股份有限公司 一种云存储集群节点服务状态实时监控方法和***
CN107431643A (zh) * 2015-02-03 2017-12-01 Netapp股份有限公司 监测存储集群元件
CN105024880A (zh) * 2015-07-17 2015-11-04 哈尔滨工程大学 一种面向关键任务计算机集群的弹性监控方法
US20170104663A1 (en) * 2015-10-13 2017-04-13 Netapp, Inc. Methods and systems for monitoring resources of a networked storage environment
US20190005066A1 (en) * 2017-06-29 2019-01-03 International Business Machines Corporation Multi-tenant data service in distributed file systems for big data analysis
CN108108289A (zh) * 2018-01-11 2018-06-01 郑州云海信息技术有限公司 一种集群资源统计方法、***、装置及可读存储***
CN108616421A (zh) * 2018-04-13 2018-10-02 郑州云海信息技术有限公司 一种多节点集群的状态检测方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306681A (zh) * 2020-10-27 2021-02-02 中思博安科技（北京）有限公司 一种资源控制方法、装置及电子设备
CN115102972A (zh) * 2022-07-15 2022-09-23 济南浪潮数据技术有限公司 一种存储nfs文件的方法、装置、设备及介质

Also Published As

Publication number Publication date
US11210014B2 (en) 2021-12-28
CN110187838B (zh) 2023-06-20
US20200379671A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN110187838A (zh) 数据io信息处理方法、分析方法、装置和相关设备
EP2503733B1 (en) Data collecting method, data collecting apparatus and network management device
CN102799514B (zh) 一种日志记录管理方法和***
CN109284251A (zh) 日志管理方法、装置、计算机设备以及存储介质
CN109918349A (zh) 日志处理方法、装置、存储介质和电子装置
CN109922315A (zh) 一种基于Spark与OpenCV的实时视频行为分析方法
CN112118174B (zh) 软件定义数据网关
CN110175154A (zh) 一种日志记录的处理方法、服务器及存储介质
CN103942210A (zh) 海量日志信息的处理方法、装置与***
CN106326461B (zh) 一种基于网络信令记录的实时处理保障方法及***
CN103631873B (zh) 一种数据压缩方法及存储***
CN101695034A (zh) 一种web服务监控参数的调整装置和方法
CN103425568A (zh) 日志信息处理方法及装置
CN107346270B (zh) 基于实时计算的基数估计的方法和***
CN106789431A (zh) 一种超时监控方法及装置
CN109408341A (zh) 分布式存储***性能监控方法、装置、设备及可读存储介质
CN109344034A (zh) 一种用于管理日志的方法和装置
CN109831316A (zh) 海量日志实时分析***、实时分析方法及可读存储介质
CN109165045A (zh) 一种调整服务器的硬件配置的方法和装置
CN111970151A (zh) 虚拟及容器网络的流量故障定位方法及***
CN105763384A (zh) 银行卡交换中心的运营保障***
CN111339052A (zh) 一种非结构化日志数据处理方法及装置
CN108090186A (zh) 一种大数据平台上的电力数据去重方法
CN113422808A (zh) 物联网平台http信息推送方法、***、装置及介质
CN117076195A (zh) 参数的调整方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant