CN112380163A - S3文件***空间占用监控方法及*** - Google Patents
S3文件***空间占用监控方法及*** Download PDFInfo
- Publication number
- CN112380163A CN112380163A CN202011122246.8A CN202011122246A CN112380163A CN 112380163 A CN112380163 A CN 112380163A CN 202011122246 A CN202011122246 A CN 202011122246A CN 112380163 A CN112380163 A CN 112380163A
- Authority
- CN
- China
- Prior art keywords
- file
- attribute data
- monitoring
- service
- space occupation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007619 statistical method Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了S3文件***空间占用监控方法及***，该方法包括以下步骤：S100，基于S3文件服务的访问配置表构建若干监控进程，所述监控进程采集所述S3文件服务的文件属性数据，将所述文件属性数据推送到所述监控进程相应的采集数据管道；S200，获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。本发明至少具有以下有益效果：配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。
Description
技术领域
本发明涉及游戏服务端测试技术领域，特别涉及一种S3文件***空间占用监控方法及***。
背景技术
S3是Simple Storage Service的缩写，即简单存储服务,其具有高可用、分布式、跨区域复制、事件通知、加密、灵活的存储选项等诸多优点。随着S3存储服务的应用越来越广泛，随之而来的，对其***的监控也越来越重要。S3存储服务仅仅提供了简单的客户端和部分***相关的api，在监控方面做得不是很友好，目前市面上也没有专门针对s3的监控服务。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种S3文件***空间占用监控方法，能够监控S3存储服务。
本发明还提出一种具有上述S3文件***空间占用监控方法的S3文件***空间占用监控***。
本发明还提出一种具有上述S3文件***空间占用监控方法的计算机可读存储介质。
根据本发明的第一方面实施例的S3文件***空间占用监控方法，包括以下步骤：S100，基于S3文件服务的访问配置表构建若干监控进程，所述监控进程采集所述S3文件服务的文件属性数据，将所述文件属性数据推送到所述监控进程相应的采集数据管道；S200，通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。
根据本发明实施例的S3文件***空间占用监控方法，至少具有如下有益效果：按配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。
根据本发明的一些实施例，所述访问配置表包括：服务名、服务区域、服务访问地址、访问ID及访问密码。
根据本发明的一些实施例，所述监控进程按预设的配置定时采集所述文件属性数据。
根据本发明的一些实施例，所述文件属性数据包括：Bucket名称、Bucket占用空间、Bucket下的文件名称及文件占用空间。
根据本发明的一些实施例，所述S200包括：根据所述文件属性数据获取Bucket总数量、Bucket下的文件数量、文件总数量以及总体空间占用。
根据本发明的一些实施例，所述S200还包括：按空间占用从大到小获取第一数量的Bucket，以及，按空间占用从大到小获取单个Bucket下的第二数量的文件。
根据本发明的一些实施例，还包括：基于预设展示类型，根据所述空间占用分析结果生成图文报表。
根据本发明的第二方面实施例的S3文件***空间占用监控***，包括：监控采集模块，用于采集S3文件服务的文件属性数据，推送到本模块相应的采集数据管道；总控制模块，用于基于所述S3文件服务的访问配置表管理若干监控采集模块；统计分析模块，用于通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。
根据本发明实施例的S3文件***空间占用监控***，至少具有如下有益效果：配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。
根据本发明的一些实施例，还包括：配置管理模块，用于提供交互界面编辑所述S3文件服务的访问属性数据，保存至所述访问配置表；报表生成模块，用于基于预设展示类型，根据所述空间占用分析结果生成图文报表。
根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例的的方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：配置拆分进程与数据管道对S3文件服务的空间占用进行监控，可获取分布在不同地理位置的S3文件属性数据，降低数据采集的复杂度，有效避免拥堵与延迟。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的方法的流程示意图；
图2为本发明实施例的方法中的数据交互示意图；
图3为本发明实施例的***的模块示意框图。
附图标记：
监控采集模块100、总控制模块200、统计分析模块300、配置管理模块400、报表生成模块500。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
参照图1，本发明的实施例的方法包括：S100，基于S3文件服务的访问配置表构建若干监控进程，监控进程采集S3文件服务的文件属性数据，将文件属性数据推送到监控进程相应的采集数据管道；S200，获取采集数据管道中的文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。
在本发明的实施例之一中，需预先配置访问配置表，表中可包括若干个S3文件服务的访问属性，每项S3文件服务的访问属性包括服务名、服务所属区域、访问地址、用于连接S3文件服务的访问ID及访问密码等。参照图2，监控程序根据访问配置表，启动多个监控进程，每个监控进程根据配置访问对应的S3文件服务(每个监控进程访问一个对应的S3文件服务)，采集该S3文件服务的文件属性数据，该文件属性数据被推送至本监控进程相应的数据采集管道。文件属性数据包括：该S3文件服务下的所有Bucket的名称、单个Bucket的占用空间、单个Bucket下的所有文件名称及每个文件占用空间。在本发明的实施例中，监控进程可以设定工作起止时间(或工作周期)、采集频率等配置，根据预设配置定期执行文件属性数据的采集。应理解的是，本发明的实施例的多个监控进程也可将采集数据推送到同一数据采集管道；例如，同一区域但工作时间完全不重叠的两个监控进行就可以将数据推送到同一数据采集管道。分布式进程从数据采集管道中获取文件属性数据，根据文件属性数据获得以下统计内容：Bucket总数量、Bucket下的文件数量、文件总数量以及总体空间占用；并依据空间占用从大到小的顺序，获取第一数量的Bucket(例如：bucket占用空间top10)，获取单个Bucket下的第二数量的文件(例如：单个bucket下文件的占用空间top10)。这些空间占用分析结果将被存放于数据库中，用于根据需要提供图文报表展示。例如：以曲线图的形式展示单个Bucket随时间变化的占用空间的大小变化；以曲线图的形式展示单个Bucket随时间变化的文件数量的变化；以曲线图展示S3服务中Bucket总数量随时间的变化等。又如：以饼状图显示S3服务中各Bucket的空间占用比例；以柱形图展示单个Bucket下文件的占用空间top10。应理解的是，可提供交互界面用于预设展示类型，选择查看的统计项，根据空间占用分析结果生成图文报表。在本发明的一些实施例中，还提供展示样式，包括各项分析结果的展示类型；选择样式即生成用户所需要的各种图表分析结果。在本发明的一些实施例中，还提供文件属性数据下载功能，文件属性数据以json的格式下载到本地，供进一步分析与使用。
本发明实施例的***，参照图3，包括：监控采集模块100、总控制模块200和统计分析模块300。监控采集模块100，用于采集S3文件服务的文件属性数据，推送到本模块相应的采集数据管道；总控制模块200，用于基于S3文件服务的访问配置表管理若干监控采集模块；统计分析模块300，用于获取采集数据管道中的文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。总控制模块200控制生成若干监控采集模块100，统计分析模块300对这些监控采集模块100获取的文件属性数据进行分析。
参照图3，本发明的实施例的***还包括：配置管理模块400和报表生成模块500。配置管理模块400，用于提供交互界面编辑S3文件服务的访问属性数据，保存至访问配置表；报表生成模块500，用于基于预设展示类型，根据空间占用分析结果生成图文报表。配置管理模块400可将不同的访问属性数据统一存储到一个访问配置表，并同步给所有用户，便于统计一管理。本发明的另一些实施例中，不包括配置管理模块400或报表生成模块500其中的至少一项。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的***、方法、***和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机***或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作***平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作***或其它软件组件执行，而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种S3文件***空间占用监控方法，其特征在于，包括以下步骤：
S100，基于S3文件服务的访问配置表构建若干监控进程，所述监控进程采集所述S3文件服务的文件属性数据，将所述文件属性数据推送到所述监控进程相应的采集数据管道；
S200，通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。
2.根据权利要求1所述的S3文件***空间占用监控方法，其特征在于，所述访问配置表包括：服务名、服务区域、服务访问地址、访问ID及访问密码。
3.根据权利要求1所述的S3文件***空间占用监控方法，其特征在于，所述监控进程按预设的配置定时采集所述文件属性数据。
4.根据权利要求1所述的S3文件***空间占用监控方法，其特征在于，所述文件属性数据包括：Bucket名称、Bucket占用空间、Bucket下的文件名称及文件占用空间。
5.根据权利要求1所述的S3文件***空间占用监控方法，其特征在于，所述S200包括：根据所述文件属性数据获取Bucket总数量、Bucket下的文件数量、文件总数量以及总体空间占用。
6.根据权利要求1所述的S3文件***空间占用监控方法，其特征在于，所述S200还包括：按空间占用从大到小获取第一数量的Bucket，以及，按空间占用从大到小获取单个Bucket下的第二数量的文件。
7.根据权利要求5所述的S3文件***空间占用监控方法，其特征在于，还包括：基于预设展示类型，根据所述空间占用分析结果生成图文报表。
8.一种S3文件***空间占用监控***，使用权利要求1至7中任一项的方法，其特征在于，包括：
监控采集模块，用于采集S3文件服务的文件属性数据，推送到本模块相应的采集数据管道；
总控制模块，用于基于所述S3文件服务的访问配置表管理若干监控采集模块；
统计分析模块，用于通过分布式进程获取所述采集数据管道中的所述文件属性数据，进行统计分析，得到空间占用分析结果并存入数据库。
9.根据权利要求8所述的S3文件***空间占用监控***，其特征在于，还包括：
配置管理模块，用于提供交互界面编辑所述S3文件服务的访问属性数据，保存至所述访问配置表；
报表生成模块，用于基于预设展示类型，根据所述空间占用分析结果生成图文报表。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011122246.8A CN112380163A (zh) | 2020-10-20 | 2020-10-20 | S3文件***空间占用监控方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011122246.8A CN112380163A (zh) | 2020-10-20 | 2020-10-20 | S3文件***空间占用监控方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380163A true CN112380163A (zh) | 2021-02-19 |
Family
ID=74581673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011122246.8A Pending CN112380163A (zh) | 2020-10-20 | 2020-10-20 | S3文件***空间占用监控方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380163A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130041872A1 (en) * | 2011-08-12 | 2013-02-14 | Alexander AIZMAN | Cloud storage system with distributed metadata |
| CN104390660A (zh) * | 2014-11-10 | 2015-03-04 | 深圳市利恩信息技术有限公司 | 一种远程容器监控***及方法 |
| CN105122243A (zh) * | 2013-03-15 | 2015-12-02 | 亚马逊科技公司 | 用于半结构化数据的可扩展分析平台 |
| CN107911410A (zh) * | 2017-10-17 | 2018-04-13 | 珠海金山网络游戏科技有限公司 | 分布式服务进程资源耗用统计方法和装置 |
| CN109857703A (zh) * | 2019-01-15 | 2019-06-07 | 珠海金山网络游戏科技有限公司 | 一种基于minio文件***的bucket空间占比统计方法及其装置 |
| CN110377595A (zh) * | 2019-07-24 | 2019-10-25 | 浙江吉利汽车研究院有限公司 | 一种车辆数据管理*** |
| CN110968482A (zh) * | 2019-12-18 | 2020-04-07 | 上海良鑫网络科技有限公司 | 企业服务及应用智能监控*** |
| CN111488321A (zh) * | 2020-03-05 | 2020-08-04 | 北京联创信安科技股份有限公司 | 一种对存储卷的管理*** |
-
2020
- 2020-10-20 CN CN202011122246.8A patent/CN112380163A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130041872A1 (en) * | 2011-08-12 | 2013-02-14 | Alexander AIZMAN | Cloud storage system with distributed metadata |
| CN105122243A (zh) * | 2013-03-15 | 2015-12-02 | 亚马逊科技公司 | 用于半结构化数据的可扩展分析平台 |
| CN104390660A (zh) * | 2014-11-10 | 2015-03-04 | 深圳市利恩信息技术有限公司 | 一种远程容器监控***及方法 |
| CN107911410A (zh) * | 2017-10-17 | 2018-04-13 | 珠海金山网络游戏科技有限公司 | 分布式服务进程资源耗用统计方法和装置 |
| CN109857703A (zh) * | 2019-01-15 | 2019-06-07 | 珠海金山网络游戏科技有限公司 | 一种基于minio文件***的bucket空间占比统计方法及其装置 |
| CN110377595A (zh) * | 2019-07-24 | 2019-10-25 | 浙江吉利汽车研究院有限公司 | 一种车辆数据管理*** |
| CN110968482A (zh) * | 2019-12-18 | 2020-04-07 | 上海良鑫网络科技有限公司 | 企业服务及应用智能监控*** |
| CN111488321A (zh) * | 2020-03-05 | 2020-08-04 | 北京联创信安科技股份有限公司 | 一种对存储卷的管理*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7676474B2 (en) | Systems and methods for finding log files generated by a distributed computer | |
| CN110310034B (zh) | 一种应用于SaaS的服务编排、业务流程处理方法和装置 | |
| US20140201717A1 (en) | Simulation environment for distributed programs | |
| CN107040578B (zh) | 数据同步方法、装置和*** | |
| US10120886B2 (en) | Database integration of originally decoupled components | |
| US8046638B2 (en) | Testing of distributed systems | |
| CN105468720A (zh) | 集成分布式数据处理***的方法、相应***及其数据处理方法 | |
| CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、***及存储介质 | |
| CN112711512A (zh) | 一种Prometheus监控方法、装置及设备 | |
| US9575772B2 (en) | Model-based user interface | |
| CN112073511B (zh) | 一种应用页面的生成***及方法 | |
| CN112035207A (zh) | 基于数据库的页面菜单动态加载方法及装置 | |
| CN112380163A (zh) | S3文件***空间占用监控方法及*** | |
| CN110909072B (zh) | 一种数据表建立方法、装置及设备 | |
| US20230061780A1 (en) | Automated end-to-end testing platform with dynamic container configuration | |
| US9059992B2 (en) | Distributed mobile enterprise application platform | |
| CN111459484B (zh) | 网页前后端分离开发时后端数据模拟方法 | |
| EP3214549A1 (en) | Information processing device, method, and program | |
| CN110928895B (zh) | 一种数据查询、数据表建立方法、装置及设备 | |
| CN112507193A (zh) | 数据更新方法、装置、设备和存储介质 | |
| CN117762967A (zh) | 数据重分布的发起方法、装置、电子设备及存储介质 | |
| CN111221551B (zh) | 数据库升级方法及装置 | |
| CN116340363B (zh) | 一种基于关系型数据库的数据存储、加载方法及相关装置 | |
| US20220382236A1 (en) | Shared automated execution platform in cloud | |
| CN117725079A (zh) | 数据库的数据存储方法、介质与计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 4th Floor, No. 6, 8, Jianzhong Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 Room No. 406 Applicant after: Guangzhou Xishanju Network Technology Co.,Ltd. Address before: 3-04-1, No. 309, Huangpu Avenue, Tianhe District, Guangzhou, Guangdong 510000 Applicant before: GUANGZHOU SEASUN ENTERTAINMENT NETWORK TECHNOLOGY Co.,Ltd. |