CN116610649A - 存储量计量方法、装置及*** - Google Patents
存储量计量方法、装置及*** Download PDFInfo
- Publication number
- CN116610649A CN116610649A CN202210118735.9A CN202210118735A CN116610649A CN 116610649 A CN116610649 A CN 116610649A CN 202210118735 A CN202210118735 A CN 202210118735A CN 116610649 A CN116610649 A CN 116610649A
- Authority
- CN
- China
- Prior art keywords
- metering
- storage
- file
- data
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000015654 memory Effects 0.000 title claims description 32
- 238000004590 computer program Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种存储量计量方法、装置及***，涉及存储技术领域，对象存储服务中的API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据，并将计量数据写入预设的日志文件中，由对象存储服务中的数据服务器将日志文件中的计量数据发送至客户端。这样采用API服务器写本地日志方式进行对象存储服务的存储量计量，减小了客户端异常、服务端异常或客户端与服务端之间的网络异常对计量数据的影响，减少了计量数据丢失，并且可以实现实时存储量计量。
Description
技术领域
本发明涉及存储技术领域，尤其是涉及一种存储量计量方法、装置及***。
背景技术
对象存储服务(Object Storage Service，简称OSS)是一种海量、安全、低成本、高可靠的云存储服务。目前对象存储服务的存储量计量方式主要包括Nginx服务器写日志方式和API服务器计量数据写数据库方式。
Nginx服务器写日志方式的缺陷是：客户端异常、服务端异常或客户端与服务端之间的网络异常均导致计量数据丢失。API服务器计量数据写数据库方式的缺陷是：数据库的读写压力大，无法实现实时存储量计量。
发明内容
本发明的目的在于提供一种存储量计量方法、装置及***，以减少计量数据丢失，实现实时存储量计量。
第一方面，本发明实施例提供了一种存储量计量方法，应用于对象存储服务中的API服务器，所述存储量计量方法包括：
当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述日志文件中的计量数据发送至所述客户端。
进一步地，所述日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段；所述获取与所述文件操作请求对应的计量数据，包括：
从所述文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，所述操作类型包括上传操作、删除操作或存储类型转换操作，所述存储类型包括标准存储、低频存储或归档存储；
根据所述操作类型确定计量类型，并计算得到所述对象文件的文件大小；
将所述用户标识、所述计量类型、所述文件大小、所述存储类型和所述时间戳确定为与所述文件操作请求对应的计量数据。
第二方面，本发明实施例还提供了一种存储量计量方法，应用于对象存储服务中的数据服务器，所述存储量计量方法包括：
实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
将所述计量数据发送至相应的客户端。
进一步地，所述存储量计量方法还包括：
按照设定的时间粒度对获取的计量数据进行存储量统计，并将统计结果发送至相应的客户端。
第三方面，本发明实施例还提供了一种存储量计量装置，应用于对象存储服务中的API服务器，所述存储量计量装置包括：
第一获取模块，用于当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
日志写入模块，用于将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述计量数据发送至所述客户端。
第四方面，本发明实施例还提供了一种存储量计量装置，应用于对象存储服务中的数据服务器，所述存储量计量装置包括：
第二获取模块，用于实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
数据发送模块，用于将所述计量数据发送至相应的客户端。
第五方面，本发明实施例还提供了一种API服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的存储量计量方法。
第六方面，本发明实施例还提供了一种数据服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的存储量计量方法。
第七方面，本发明实施例还提供了一种存储量计量***，包括至少一个第五方面所述的API服务器，还包括第六方面所述的数据服务器，所述数据服务器用于获取至少一个所述API服务器写入预设的日志文件中的计量数据。
第八方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面或第二方面所述的存储量计量方法。
本发明实施例提供的存储量计量方法、装置及***中，对象存储服务中的API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据，并将计量数据写入预设的日志文件中，由对象存储服务中的数据服务器将日志文件中的计量数据发送至客户端。这样采用API服务器写本地日志方式进行对象存储服务的存储量计量，减小了客户端异常、服务端异常或客户端与服务端之间的网络异常对计量数据的影响，并且可以实现实时存储量计量。因此，本发明实施例提供的存储量计量方法、装置及***，与Nginx服务器写日志方式相比，减少了计量数据丢失，与API服务器计量数据写数据库方式相比，提升了存储量计量的实时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为对象存储服务采用Nginx服务器写日志方式的通信示意图；
图1b为对象存储服务采用API服务器计量数据写数据库方式的通信示意图；
图2为本发明实施例提供的一种存储量计量***的***架构示意图；
图3为本发明实施例提供的一种存储量计量方法的流程示意图；
图4为本发明实施例提供的另一种存储量计量方法的流程示意图；
图5为本发明实施例提供的一种存储量计量装置的结构示意图；
图6为本发明实施例提供的另一种存储量计量装置的结构示意图；
图7为本发明实施例提供的一种服务端设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1a所示，Nginx服务器写日志方式涉及客户端101、Nginx服务器102和API服务器103，以用户上传文件为例，Nginx服务器写日志方式的通信过程如下：客户端101发送文件上传请求给Nginx服务器102；Nginx服务器102将文件上传请求转发给对象存储服务后端的API服务器103；API服务器103执行与文件上传请求对应的文件上传操作后，进行存储量计量的业务逻辑计算(即计算与文件上传请求对应的计量数据)，并将执行结果(如上传成功)和计量数据返回给Nginx服务器102；Nginx服务器102将接收到的计量数据写入日志文件，并将执行结果和计量数据转发给客户端101。
Nginx服务器写日志方式下，当Nginx服务器102与API服务器103之间的网络存在问题时，如网络不通或存在丢包情况，客户端101就无法接收到完整的计量数据；当API服务器103在发送计量数据之前发生崩溃时，无法将计量数据发给Nginx服务器102，导致客户端101无法接收到计量数据；当API服务器103发送计量数据之前，客户端101将与Nginx服务器102之间的长连接关闭时，Nginx服务器102无法接收到API服务器103发送的与该客户端101对应的计量数据，导致客户端101无法接收到计量数据。可见，Nginx服务器写日志方式下，客户端异常、服务端异常或客户端与服务端之间的网络异常均导致计量数据丢失。
如图1b所示，API服务器计量数据写数据库方式涉及客户端101、Nginx服务器102、API服务器103和数据库104，仍以用户上传文件为例，API服务器计量数据写数据库方式的通信过程如下：客户端101发送文件上传请求给Nginx服务器102；Nginx服务器102将文件上传请求转发给对象存储服务后端的API服务器103；API服务器103执行与文件上传请求对应的文件上传操作后，进行存储量计量的业务逻辑计算(即计算与文件上传请求对应的计量数据)，将执行结果返回给Nginx服务器102，并将计量数据写入数据库104中；Nginx服务器102将执行结果转发给客户端101。
API服务器计量数据写数据库方式下，由于数据库104的读写压力大，因此无法实现实时存储量计量。
基于此，本发明实施例提供的一种存储量计量方法、装置及***，可以减少计量数据丢失，实现实时存储量计量。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种存储量计量***进行详细介绍。
参见图2所示的一种存储量计量***的***架构示意图，该存储量计量***主要包括API服务器201和数据服务器203，还可以包括日志采集器202，其中API服务器201的数量可以为一个或多个。
在一种可能的实现方式中，如图2所示，上述存储量计量***的数据处理流程可以如下：
1、API服务器201接收到用户发送的文件上传请求时，依次写数据、写元数据、写计量日志。写数据指将对象文件保存在对象存储服务的数据层，写元数据指将对象文件的元数据(如文件名、操作者、操作时间、权限等)保存在元数据层，写计量日志指将与文件上传请求对应的计量数据写入本地日志文件中。
2、日志采集器202实时采集本地日志文件中的计量数据，并将采集到的计量数据发送至数据服务器203。
3、数据服务器203接收到计量数据后，将计量数据发送至相应的客户端，并根据设定的时间粒度对接收到的计量数据进行聚合计算(统计计算)。其中，时间粒度可以根据实际需求设置，例如时间粒度为分钟、小时、天、月、季度或年等。
为了便于理解，本发明实施例还提供了如下表1所示的日志文件中日志字段的说明：
表1
上述Bucket(桶)是OSS上的命名空间，也是计费、权限控制、日志记录等高级功能的管理实体，Bucket名称在整个OSS中具有全局唯一性，且不能修改。
上述OpType说明如下：
1.用户首次上传一个对象文件时，OpType标记为putNew；
2.用户再次上传一个对象文件时，OpType标记为putOverride；
3.用户删除一个存在的对象文件时，OpType标记为delete；
4.用户之前有一个标准类型的对象文件，现改为归档类型，则OpType标记为putNewAndDelete，归档对象为首次上传、同时删除标准类型。
上述UploadSize说明如下：
1.用户首次上传一个大小为100byte的对象文件，uploadSize记作100；
2.用户再次上传一个大小为110bype的对象文件，uploadSize记作10。
以时间粒度为天为例，上述数据服务器203可以通过如下方式进行统计计算：
1.当天总存储量＝前一天总存量+当天上传量–当天删除量；
2.当天上传量取uploadSize，时间uploadTime；
3.当天删除量取deleteSize，时间deleteTime。
本发明实施例提供的存储量计量***，采用API服务器201写本地日志方式，通过日志采集器202实时采集日志文件中的计量数据到数据服务器203做聚合计算，可以做到几乎不丢失计量数据，且可以实现实时存储量的计量和统计，与相关现有技术相比，提高了计量数据的可靠性，提升了存储量计量的实时性。
对应于上述的存储量计量***，本发明实施例还提供了一种存储量计量方法，参见图3所示的一种存储量计量方法的流程示意图，该存储量计量方法包括如下步骤：
步骤S302，API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据。
步骤S304，API服务器将计量数据写入预设的日志文件中。
步骤S306，数据服务器实时获取预设的日志文件中的计量数据。
步骤S308，数据服务器将计量数据发送至相应的客户端。
在一些可能的实施例中，日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段，基于此，上述步骤S302可以通过如下过程实现：API服务器从文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，操作类型包括上传操作、删除操作或存储类型转换操作，存储类型包括标准存储、低频存储或归档存储；根据操作类型确定计量类型，并计算得到对象文件的文件大小；将用户标识、计量类型、文件大小、存储类型和时间戳确定为与文件操作请求对应的计量数据。上述用户标识可以是用户ID，计量类型包括新上传、覆盖上传、删除或类型转换。
进一步地，API服务器还可以从文件操作请求中解析得到桶ID和桶名称，将桶ID和桶名称也作为与文件操作请求对应的计量数据。
在一些可能的实施例中，上述步骤S306可以通过如下过程实现：数据服务器接收日志采集器发送的计量数据，计量数据为日志采集器从预设的日志文件中实时采集得到的。
在一些可能的实施例中，日志文件与客户端一一对应，基于此，上述步骤S308可以通过如下过程实现：数据服务器将计量数据发送至与日志文件对应的客户端。
在一些可能的实施例中，一个日志文件对应多个客户端，计量数据中包括用户标识，基于此，上述步骤S308可以通过如下过程实现：数据服务器将计量数据发送至与计量数据中的用户标识对应的客户端。
本发明实施例提供的存储量计量方法，采用API服务器写本地日志方式进行对象存储服务的存储量计量，减小了客户端异常、服务端异常或客户端与服务端之间的网络异常对计量数据的影响，并且可以实现实时存储量计量。因此，本发明实施例提供的存储量计量方法、装置及***，与Nginx服务器写日志方式相比，减少了计量数据丢失，与API服务器计量数据写数据库方式相比，提升了存储量计量的实时性。
本发明实施例还提供了另一种存储量计量方法，该存储量计量方法还可以实现存储量统计，参见图4所示的另一种存储量计量方法的流程示意图，该存储量计量方法包括如下步骤：
步骤S402，API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据。
步骤S404，API服务器将计量数据写入预设的日志文件中。
步骤S406，数据服务器实时获取预设的日志文件中的计量数据。
步骤S408，数据服务器将计量数据发送至相应的客户端。
步骤S410，数据服务器按照设定的时间粒度对获取的计量数据进行存储量统计，并将统计结果发送至相应的客户端。
在一些可能的实施例中，上述时间粒度为天，上述步骤S410可以通过如下过程实现：通过如下公式统计当天总存储量：
当天总存储量＝前一天总存储量+当天上传量-当天删除量。
上述图4所示的各个步骤中未详细描述的部分可以参见前述实施例中的相应内容，这里不再赘述。
本发明实施例提供的存储量计量方法，采用API服务器写本地日志方式进行对象存储服务的存储量计量，数据服务器可以按照设定的时间粒度对获取的计量数据进行存储量统计，实现了实时存储量的计量和统计。
本发明实施例还提供了一种存储量计量装置，应用于对象存储服务中的API服务器，参见图5所示的一种存储量计量装置的结构示意图，该存储量计量装置包括：
第一获取模块52，用于当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据；
日志写入模块54，用于将计量数据写入预设的日志文件中，以使对象存储服务中的数据服务器将计量数据发送至客户端。
进一步地，上述日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段；上述第一获取模块52具体用于：从文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，操作类型包括上传操作、删除操作或存储类型转换操作，存储类型包括标准存储、低频存储或归档存储；根据操作类型确定计量类型，并计算得到对象文件的文件大小；将用户标识、计量类型、文件大小、存储类型和时间戳确定为与文件操作请求对应的计量数据。上述用户标识可以是用户ID，计量类型包括新上传、覆盖上传、删除或类型转换。
本发明实施例还提供了一种存储量计量装置，应用于对象存储服务中的数据服务器，参见图6所示的另一种存储量计量装置的结构示意图，该存储量计量装置包括：
第二获取模块62，用于实时获取预设的日志文件中的计量数据，该计量数据为对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
数据发送模块64，用于将计量数据发送至相应的客户端。
进一步地，上述存储量计量装置还包括：分别与第二获取模块62和数据发送模块64连接的统计模块，用于按照设定的时间粒度对获取的计量数据进行存储量统计；上述数据发送模块64还用于将统计结果发送至相应的客户端。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种服务端设备，该服务端设备可以是对象存储服务中的API服务器或数据服务器。如图7所示，本发明实施例提供的一种服务端设备700，包括处理器701、存储器702和总线，存储器702中存储有可在处理器701上运行的计算机程序，当服务端设备700运行时，处理器701与存储器702之间通过总线通信，处理器701执行该计算机程序时，实现如上述存储量计量方法的步骤。
具体地，上述存储器702和处理器701能够为通用的存储器和处理器，这里不做具体限定，当处理器701运行存储器702存储的计算机程序时，能够执行上述存储量计量方法。
本实施例所提供的服务端设备，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，服务端设备实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的存储量计量方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种存储量计量方法，其特征在于，应用于对象存储服务中的API服务器，所述存储量计量方法包括：
当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述日志文件中的计量数据发送至所述客户端。
2.根据权利要求1所述的存储量计量方法，其特征在于，所述日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段；所述获取与所述文件操作请求对应的计量数据，包括：
从所述文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，所述操作类型包括上传操作、删除操作或存储类型转换操作，所述存储类型包括标准存储、低频存储或归档存储；
根据所述操作类型确定计量类型，并计算得到所述对象文件的文件大小；
将所述用户标识、所述计量类型、所述文件大小、所述存储类型和所述时间戳确定为与所述文件操作请求对应的计量数据。
3.一种存储量计量方法，其特征在于，应用于对象存储服务中的数据服务器，所述存储量计量方法包括：
实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
将所述计量数据发送至相应的客户端。
4.根据权利要求3所述的存储量计量方法，其特征在于，所述存储量计量方法还包括：
按照设定的时间粒度对获取的计量数据进行存储量统计，并将统计结果发送至相应的客户端。
5.一种存储量计量装置，其特征在于，应用于对象存储服务中的API服务器，所述存储量计量装置包括：
第一获取模块，用于当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
日志写入模块，用于将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述计量数据发送至所述客户端。
6.一种存储量计量装置，其特征在于，应用于对象存储服务中的数据服务器，所述存储量计量装置包括：
第二获取模块，用于实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
数据发送模块，用于将所述计量数据发送至相应的客户端。
7.一种API服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1或2所述的方法。
8.一种数据服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求3或4所述的方法。
9.一种存储量计量***，其特征在于，包括至少一个权利要求7所述的API服务器，还包括权利要求8所述的数据服务器，所述数据服务器用于获取至少一个所述API服务器写入预设的日志文件中的计量数据。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210118735.9A CN116610649A (zh) | 2022-02-08 | 2022-02-08 | 存储量计量方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210118735.9A CN116610649A (zh) | 2022-02-08 | 2022-02-08 | 存储量计量方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116610649A true CN116610649A (zh) | 2023-08-18 |
Family
ID=87673374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210118735.9A Pending CN116610649A (zh) | 2022-02-08 | 2022-02-08 | 存储量计量方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116610649A (zh) |
-
2022
- 2022-02-08 CN CN202210118735.9A patent/CN116610649A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
| CN110321387B (zh) | 数据同步方法、设备及终端设备 | |
| CN104410692A (zh) | 一种用于重复文件上传的方法和*** | |
| CN101277272B (zh) | 一种海量广播数据入库的实现方法 | |
| CN105824744A (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| US20140095708A1 (en) | Rule-based system for client-side quality-of-service tracking and reporting | |
| CN112559475B (zh) | 数据实时捕获和传输方法及*** | |
| CN111030888B (zh) | 域名***dns容量测量方法、装置、设备及介质 | |
| CN112019605B (zh) | 数据流的数据分发方法和*** | |
| US11012955B2 (en) | Synchronization of host and client log timestamps | |
| CN108762984B (zh) | 一种连续性数据备份的方法及装置 | |
| US10346281B2 (en) | Obtaining and analyzing a reduced metric data set | |
| JP2022553130A (ja) | 温度データを格納及び収集するための方法、システム、電子機器及び記憶媒体 | |
| WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
| CN116610649A (zh) | 存储量计量方法、装置及*** | |
| US8331270B2 (en) | In-band communication of network statistics over a FICON network | |
| US9930116B2 (en) | Method and system for selecting a transport mechanism and a storage process | |
| CN110619080A (zh) | 可提高数据加载速率的实时数据显示***及方法 | |
| CN110896408A (zh) | 一种数据处理方法及服务器集群 | |
| CN106921536B (zh) | 基于客户端版本信息的数据处理方法及装置 | |
| CN105610921A (zh) | 一种集群下基于数据缓存的纠删码归档方法 | |
| CN114579416A (zh) | 一种指标确定方法、装置、服务器和介质 | |
| CN112688905B (zh) | 数据传输方法、装置、客户端、服务器及存储介质 | |
| CN113064869B (zh) | 日志处理方法、装置、发送端、接收端设备及存储介质 | |
| CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |