CN109857703B - 一种基于minio文件***的bucket空间占比统计方法及其装置 - Google Patents

一种基于minio文件***的bucket空间占比统计方法及其装置 Download PDF

Info

Publication number
CN109857703B
CN109857703B CN201910034312.7A CN201910034312A CN109857703B CN 109857703 B CN109857703 B CN 109857703B CN 201910034312 A CN201910034312 A CN 201910034312A CN 109857703 B CN109857703 B CN 109857703B
Authority
CN
China
Prior art keywords
file
module
socket
generating
traversing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910034312.7A
Other languages
English (en)
Other versions
CN109857703A (zh
Inventor
郭申
马力
黎健钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xishanju Interactive Entertainment Technology Co Ltd
Zhuhai Kingsoft Digital Network Technology Co Ltd
Original Assignee
Chengdu Xishanju Interactive Entertainment Technology Co Ltd
Zhuhai Kingsoft Digital Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xishanju Interactive Entertainment Technology Co Ltd, Zhuhai Kingsoft Digital Network Technology Co Ltd filed Critical Chengdu Xishanju Interactive Entertainment Technology Co Ltd
Priority to CN201910034312.7A priority Critical patent/CN109857703B/zh
Publication of CN109857703A publication Critical patent/CN109857703A/zh
Application granted granted Critical
Publication of CN109857703B publication Critical patent/CN109857703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于minio文件***的bucket空间占比统计方法，包括连接远程文件控制***；识别并生成bucket列表；提取bucket单元信息；遍历bucket单元并生成层级列表；提取层级信息；遍历层级并生成文件列表；提取文件信息；遍历文件并生成配置信息；生成一级报表；分析一级报表并生成参考列表；上传参考列表至服务器。一种基于minio文件***的bucket空间占比统计装置，包括：载入模块、总遍历模块、Bucket调用模块、Bucket遍历模块、层级调用模块、层级遍历模块、文件调用模块、文件遍历模块、预处理模块、分析模块以及上传模块。本发明可以在minio文件***的存储空间内针对bucket空间进行有效的空间占比统计，极大地方便了工作人员对文件***的管理，提高了工作效率。

Description

一种基于minio文件***的bucket空间占比统计方法及其装置
技术领域
本发明涉及一种基于minio文件***的bucket空间占比统计方法及其装置，属于服务端测试领域。
背景技术
在现有大业务场景下，Minio文件***的使用越来越广泛。作为一种开源的多平台文件***，Minio可以提供用于文件上传、下载以及修改等的诸多接口，实现轻量级的文件操作；而基于Apache License v2.0开源协议的对象存储服务，可以兼容亚马逊S3云存储服务接口，非常适合于存储大容量且非结构化的数据，例如图片、视频、日志文件、备份数据以及虚拟机镜像等；对于对象文件的大小也没有明确限制，从几kb到最大5T不等。同时，Minio作为一个非常轻量的服务,可以轻松实现与NodeJS,Redis或者MySQL等的结合。
但当后台压测平台使用minio文件***作为文件储存介质时，会存在一个问题，即如何有效获取空间占用统计信息；若想统计所有bucket单元的占用空间，源***不提供相关手段。现阶段的技术手段是进入机器内文件的根目录，通过输入du-sh命令查看空间使用情况。
然而作为文件***，必然涉及数据清理；而若要实现有效的数据清理，至少需要获取各个文件的占用空间以及最新修改时间，这样才能够针对性的清理磁盘空间，而如何实现这种效果是当下需要解决的问题。
发明内容
针对现有技术的不足，本发明提供了一种基于minio文件***的bucket空间占比统计方法，包括以下步骤：
S1、连接远程文件控制***；
S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；
S3、调用bucket列表并提取bucket单元信息；
S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；
S5、调用不同层级列表并提取相应层级信息；
S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；
S7、调用不同文件列表并提取相应文件信息；
S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；
S9、对所有配置信息进行预处理并生成一级报表；
S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；
S11、上传参考列表至服务器。
进一步，所述存储空间至少包括一个bucket单元。
进一步，所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以及最新修改时间。
进一步，所述bucket单元至少包括一个层级。
进一步，所述层级信息至少包括层级名、层次地址以及所占存储空间量。
进一步，所述层级至少包括一个文件。
进一步，所述文件信息至少包括文件名、文件地址以及所占存储空间量。
进一步，一级列表的生成具体指按遍历时间对存储空间中所有的bucket单元、不同bucket单元的相应层级以及不同层级的相应文件信息的进行的排序。
进一步，所述预设信息至少包括存储时间的排序、占用存储空间量的排序以及占用存储空间量的占比。
一种基于minio文件***的bucket空间占比统计装置，包括：
载入模块，用于连接远程文件控制***；
总遍历模块，用于对存储空间进行遍历，识别bucket单元并生成bucket列表；
Bucket调用模块，用于调用bucket列表并提取bucket单元信息；
Bucket遍历模块，用于对不同bucket单元分别进行遍历并生成相应层级列表；
层级调用模块，用于调用不同层级列表并提取相应层级信息；
层级遍历模块，用于对不同层级分别进行遍历并生成相应文件列表；
文件调用模块，用于调用不同文件列表并提取相应文件信息；
文件遍历模块，用于对不同文件分别进行遍历并生成相应配置信息；
预处理模块，用于对所有配置信息进行预处理并生成一级报表；
分析模块，用于对一级报表进行进一步数据处理并生成参考列表；以及
上传模块，用于上传参考列表至服务器。
本发明的有益效果为：可以在minio文件***的存储空间内针对bucket空间进行有效的空间占比统计，极大地方便了工作人员对文件***的管理，提高了工作效率。
附图说明
图1所示为根据本发明的总体流程图；
图2所示为根据本发明的装置连接图；
图3所示为根据本发明实施例A的示意图；
图4所示为根据本发明实施例B的示意图。
具体实施方式
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
需要说明的是，如无特殊声明，在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个的所列项目的任意的组合。
应当理解，本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
接下来结合附图对本发明的具体实施例作进一步说明：
参照图1所示为根据本发明的总体流程图，具体包括以下步骤：
S1、连接远程文件控制***；
S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；所述存储空间至少包括一个bucket单元；
S3、调用bucket列表并提取bucket单元信息；所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以及最新修改时间；
S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；所述bucket单元至少包括一个层级；
S5、调用不同层级列表并提取相应层级信息；所述层级信息至少包括层级名、层次地址以及所占存储空间量；
S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；
S7、调用不同文件列表并提取相应文件信息；所述层级至少包括一个文件；
S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；所述文件信息至少包括文件名、文件地址以及所占存储空间量；
S9、对所有配置信息进行预处理并生成一级报表；一级列表的生成具体指按遍历时间对存储空间中所有的bucket单元、不同bucket单元的相应层级以及不同层级的相应文件信息的进行的排序；
S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；所述预设信息至少包括存储时间的排序、占用存储空间量的排序以及占用存储空间量的占比；
S11、上传参考列表至服务器。
参照图2所示为根据本发明的装置连接图，具体包括以下部分：
载入模块，与总遍历模块连接实现交互，用于连接远程文件控制***；
总遍历模块，与Bucket调用模块连接实现交互，用于对存储空间进行遍历，识别bucket单元并生成bucket列表；
Bucket调用模块，与Bucket遍历模块连接实现交互，用于调用bucket列表并提取bucket单元信息；
Bucket遍历模块，与层级调用模块连接实现交互，用于对不同bucket单元分别进行遍历并生成相应层级列表；
层级调用模块，与层级遍历模块连接实现交互，用于调用不同层级列表并提取相应层级信息；
层级遍历模块，与文件调用模块连接实现交互，用于对不同层级分别进行遍历并生成相应文件列表；
文件调用模块，与文件遍历模块连接实现交互，用于调用不同文件列表并提取相应文件信息；
文件遍历模块，与预处理模块连接实现交互，用于对不同文件分别进行遍历并生成相应配置信息；
预处理模块，与分析模块连接实现交互，用于对所有配置信息进行预处理并生成一级报表；
分析模块，与上传模块连接实现交互，用于对一级报表进行进一步数据处理并生成参考列表；以及
上传模块，用于上传参考列表至服务器。
参照图3所示为根据本发明实施例A的示意图，实施例A展示的是minio文件***内不同bucket单元的列表，可以按照其占用空间大小或最新修改时间进行排序，通过这种列表的形式可以一目了然的展示存储空间的存储状况；在实际使用环境中，程序可以以一定周期或次数进行数据获取，适用于服务器的长期维护。
参照图4所示为根据本发明实施例B的示意图，实施例B展示的是基于实施例A中的列表进行进一步美化的表格，在实际使用环境中，工作人员可以定期通过这种形式向运维或其他相关从业人员发送bucket的磁盘占用情况。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于minio文件***的bucket空间占比统计方法，包括以下步骤：
S1、连接远程文件控制***；
S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；
S3、调用bucket列表并提取bucket单元信息；
S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；
S5、调用不同层级列表并提取相应层级信息；
S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；
S7、调用不同文件列表并提取相应文件信息；
S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；
S9、对所有配置信息进行预处理并生成一级报表；
S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；
S11、上传参考列表至服务器。
2.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述存储空间至少包括一个bucket单元。
3.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以及最新修改时间。
4.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述bucket单元至少包括一个层级。
5.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述层级信息至少包括层级名、层次地址以及所占存储空间量。
6.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述层级至少包括一个文件。
7.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述文件信息至少包括文件名、文件地址以及所占存储空间量。
8.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述一级报表的生成具体指按遍历时间对存储空间中所有的bucket单元、不同bucket单元的相应层级以及不同层级的相应文件信息进行排序。
9.根据权利要求1所述的基于minio文件***的bucket空间占比统计方法，其特征在于，所述预设信息至少包括存储时间的排序、占用存储空间量的排序以及占用存储空间量的占比。
10.一种基于minio文件***的bucket空间占比统计装置，包括：载入模块，用于连接远程文件控制***；
总遍历模块，用于对存储空间进行遍历，识别bucket单元并生成bucket列表；Bucket调用模块，用于调用bucket列表并提取bucket单元信息；
Bucket遍历模块，用于对不同bucket单元分别进行遍历并生成相应层级列表；层级调用模块，用于调用不同层级列表并提取相应层级信息；
层级遍历模块，用于对不同层级分别进行遍历并生成相应文件列表；
文件调用模块，用于调用不同文件列表并提取相应文件信息；
文件遍历模块，用于对不同文件分别进行遍历并生成相应配置信息；
预处理模块，用于对所有配置信息进行预处理并生成一级报表；
分析模块，用于对一级报表进行进一步数据处理并生成参考列表；以及
上传模块，用于上传参考列表至服务器。
CN201910034312.7A 2019-01-15 2019-01-15 一种基于minio文件***的bucket空间占比统计方法及其装置 Active CN109857703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910034312.7A CN109857703B (zh) 2019-01-15 2019-01-15 一种基于minio文件***的bucket空间占比统计方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910034312.7A CN109857703B (zh) 2019-01-15 2019-01-15 一种基于minio文件***的bucket空间占比统计方法及其装置

Publications (2)

Publication Number Publication Date
CN109857703A CN109857703A (zh) 2019-06-07
CN109857703B true CN109857703B (zh) 2023-05-12

Family

ID=66894615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910034312.7A Active CN109857703B (zh) 2019-01-15 2019-01-15 一种基于minio文件***的bucket空间占比统计方法及其装置

Country Status (1)

Country Link
CN (1) CN109857703B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380163A (zh) * 2020-10-20 2021-02-19 广州西山居世游网络科技有限公司 S3文件***空间占用监控方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014201942A1 (en) * 2013-06-19 2014-12-24 Tencent Technology (Shenzhen) Company Limited Method, server and system for managing content in content delivery network
CN105046162A (zh) * 2014-03-12 2015-11-11 阿普赛尔有限公司 在内容可寻址存储***中维护并使用子对父映射的缓存
CN106156289A (zh) * 2016-06-28 2016-11-23 北京百迈客云科技有限公司 一种读写对象存储***中的数据的方法以及装置
CN107844271A (zh) * 2017-10-27 2018-03-27 郑州云海信息技术有限公司 一种分级存储的方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014201942A1 (en) * 2013-06-19 2014-12-24 Tencent Technology (Shenzhen) Company Limited Method, server and system for managing content in content delivery network
CN105046162A (zh) * 2014-03-12 2015-11-11 阿普赛尔有限公司 在内容可寻址存储***中维护并使用子对父映射的缓存
CN106156289A (zh) * 2016-06-28 2016-11-23 北京百迈客云科技有限公司 一种读写对象存储***中的数据的方法以及装置
CN107844271A (zh) * 2017-10-27 2018-03-27 郑州云海信息技术有限公司 一种分级存储的方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN109857703A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN103154905B (zh) 用于组合应用的自动化分析的装置和方法
US10949583B2 (en) System and method for thermo-fluid management of conditioned space
US10032086B2 (en) Method and system for automated datacenter floor volume calculation applied to datacenter thermal management
CN107733735B (zh) 一种植入于压测宝中的脚本录制***及方法
RU2707407C1 (ru) Способ управления жизненным циклом сложного инженерного объекта и система для его осуществления
CN107508722A (zh) 一种业务监控方法和装置
US20170269911A1 (en) Stream operator management
CN111064712A (zh) 一种游戏资源打包方法及***
CN109885310A (zh) 一种降低***Shader模块内存占用的方法及装置
CN104915902A (zh) 一种基于云平台的外卖在线派送实现方法
CN109857703B (zh) 一种基于minio文件***的bucket空间占比统计方法及其装置
KR20220107053A (ko) 맞춤형 통합 플로 템플레이트들의 제공
CN109669915A (zh) 一种计算机任务管理方法、装置及相关设备
CN110134381B (zh) 一种用于报警主机智能生成源代码配置的***及方法
WO2016033744A1 (en) Screen-image based classification
CN110278101A (zh) 一种资源管理方法及设备
CN108280147A (zh) 一种数据管理方法和装置
CN108897613A (zh) 数据处理方法、***及计算机设备
CN103914304B (zh) 一种基于sap平台的不同结构类型参数转换方法
CN111107062A (zh) 一种基于贪婪算法的游戏资源打包方法及***
CN109800136A (zh) 一种远程redis性能数据采样方法及其***
CN114911479A (zh) 基于配置化的界面生成方法、装置、设备及存储介质
CN109977007B (zh) 一种plm模具测试管理方法及其***
JP2022087042A (ja) 異常物を除去するための方法、システム、コンピュータ・プログラム、及びコンピュータ可読ストレージ媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519080 Room 102, 202, 302, 402 Room 327 Room 102, 202 Room 329 Room 302, 325 Qiandao Ring Road, Tangjiawan Town, High-tech Zone, Zhuhai City, Guangdong Province

Applicant after: Zhuhai Jinshan Digital Network Technology Co.,Ltd.

Applicant after: CHENGDU XISHANJU INTERACTIVE ENTERTAINMENT TECHNOLOGY Co.,Ltd.

Address before: Building 3, Jinshan Software Park, 325 Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai, Guangdong 519000

Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.

Applicant before: CHENGDU XISHANJU INTERACTIVE ENTERTAINMENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant