CN104765774A - 一种资源占用的统计方法及装置 - Google Patents

一种资源占用的统计方法及装置 Download PDF

Info

Publication number
CN104765774A
CN104765774A CN201510114365.1A CN201510114365A CN104765774A CN 104765774 A CN104765774 A CN 104765774A CN 201510114365 A CN201510114365 A CN 201510114365A CN 104765774 A CN104765774 A CN 104765774A
Authority
CN
China
Prior art keywords
data
user
storage space
index
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510114365.1A
Other languages
English (en)
Other versions
CN104765774B (zh
Inventor
王阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sina Technology China Co Ltd
Original Assignee
Sina Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sina Technology China Co Ltd filed Critical Sina Technology China Co Ltd
Priority to CN201510114365.1A priority Critical patent/CN104765774B/zh
Publication of CN104765774A publication Critical patent/CN104765774A/zh
Application granted granted Critical
Publication of CN104765774B publication Critical patent/CN104765774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种资源占用的统计方法及装置,该方法包括:确定用户的各数据标识,根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识,根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。由于索引中包含的每个数据标识均对应固定大小的存储空间,因此,只要在用户的数据标识中,确定出包含在索引中的数据标识,就可确定出用户占用的存储空间,而无需全盘扫描数据库中的数据,从而可提高统计资源占用的效率,尤其是在要对大量用户所占用的资源进行统计时,可大大的缩短统计时间。

Description

一种资源占用的统计方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种资源占用的统计方法及装置。
背景技术
随着网络的不断发展,为用户提供服务的方法已经由软件即服务(softwareas a service,saas)的方式转变为平台即服务(platform as a service,paas)的方式,hbase数据库就是建立paas之上的,主要用于为用户提供存储空间。
在实际应用中,服务提供方经常需要获知各用户在hbase数据库中所占用的存储空间的大小,以便管理用户和服务器。在现有技术中,统计用户占用的存储空间的方法一般是:统计设备针对一个用户,根据该用户的用户标识,确定该用户所使用的自定义标识(数据标识具体可以由用户自行定义),再根据用户标识和自定义标识,确定该用户所使用的数据标识,最后根据确定的各数据标识,扫描数据库中相应的各数据,得到各数据所占用的存储空间,这样就得到了该用户所占用的存储空间。
例如,假设数据库预先为某个用户分配的用户标识为ABC,而该用户自行定义的自定义标识分别为aaa、bbb和ccc,则统计设备确定该用户所使用的数据标识为ABC_aaa、ABC_bbb、ABC_ccc,每个数据标识均对应一个数据。统计设备可采用这三个数据标识,扫描数据库中与这三个数据标识对应的数据。假设得到的每个数据所占用的空间都是1M,则可确定该用户总共占用的存储空间为3M。
但是,如果要确定大量的用户所占用的存储空间,那么统计设备几乎相当于要全盘扫描数据库中存放的全部数据,这就会耗费大量的时间,统计效率较低。
发明内容
本发明实施例提供一种资源占用的统计方法及装置,用以解决现有技术中确定在统计大量的用户所占用的存储空间时,统计效率较低的问题。
本发明实施例提供的一种资源占用的统计方法,包括:
确定用户的各数据标识;
根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识;其中,所述索引中包含的每个数据标识对应固定大小的存储空间;
根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
本发明实施例提供的一种资源占用的统计装置,包括:
确定模块,用于确定用户的各数据标识;
扫描模块,用于根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识;其中,所述索引中包含的每个数据标识对应固定大小的存储空间;
统计模块,用于根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
本发明实施例提供一种资源占用的统计方法及装置,该方法针对要统计资源占用的用户,确定该用户的各数据标识,根据预先为数据库中的各数据建立的索引,在该用户的各数据标识中,确定包含在索引中的数据标识,根据包含在索引中的数据标识,确定该用户占用的存储空间。在上述方法中,由于索引中包含的每个数据标识均对应固定大小的存储空间,因此,只要在用户的数据标识中,确定出包含在索引中的数据标识,就可确定出用户占用的存储空间,而无需全盘扫描数据库中的数据,从而可提高统计资源占用的效率,尤其是在要对大量用户所占用的资源进行统计时,可大大的缩短统计时间。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的资源占用的统计方法的过程示意图;
图2为本发明实施例提供的对第一存储区域和第二存储区域中的数据建立索引的示意图;
图3为本发明实施例提供的将用户数据划分为数据块时随机组合建立索引的示意图;
图4为本发明实施例提供的对数据进行排列建立索引的第一种示意图;
图5为本发明实施例提供的对数据进行排列建立索引的第二种示意图
图6为本发明实施例提供的资源占用的统计装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的资源占用的统计过程,具体包括以下步骤:
S101:确定用户的各数据标识。
在本发明实施例中,统计设备针对要统计资源占用的用户,首先要确定该用户的数据标识。
用户在向数据库中存放数据时,为了便于管理数据(查询、更改),数据库都给数据一个数据标识,而这个数据标识在数据库中是唯一的。一般数据库中,数据标识=用户标识+自定义标识,用户标识是数据库给每个用户随机分配的长度固定的字符串,如:数据库给用户一随机分配的字符串为:ABCDEFGHIJ、aa、bb等。自定义标识是用户在存放数据时为数据自行定义的标识。
例如,假设在某一数据库中,该数据库为某一用户分配的用户标识为:DC,该用户定义数据标识AA,则所述用户的数据标识为DC_AA,另一个用户的用户标识EF,他定义数据标识也是AA,则所述用户的数据标识为EF_AA。
在数据库中,不同用户的自定义标识可能是一样的,如用户一的自定义标识为AA,用户二的自定义标识也为AA,但是不同用户的用户标识是唯一确定的,因此在数据库中用户的数据标识也是唯一的,如用户一的数据标识为DC_AA,用户二的数据标识为EF_AA。
S102:根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识。
其中,所述索引中包含的每个数据标识对应固定大小的存储空间。
在本发明实施例中,所述的数据库,包括但不限于:db2,oracle,sql,access,hbase等数据库,索引相当于是数据库中各数据的目录,数据库中存放了大量的用户数据,数据库在存储这些用户数据时,以不同的存储区域进行存储,现有技术中,数据库对数据的查询或统计方式,必须遍历该数据库中不同的存储区域,这样就会耗费大量的时间,统计效率较低。
所以,在本发明实施例中,可以在统计用户的资源占用存储空间时直接扫描该数据库的索引。例如:在图2中,用户一的数据分别存储在第一存储区域和第二存储区域中,其中,这里的第一存储区域和第二存储区域,假设为某存储设备中的扇区,具体地,第一个存储区域中存储的数据的数据标识为:aa_A,aa_B,aa_C。第二个存储区域中存储的数据的数据标识为:aa_D,aa_E,aa_F。从而,可以将aa_A提取出来作为第一个存储区域的数据标识,可以将aa_D提取出来作为第二个存储区域的数据标识。
通过上例可见,在对用户一的数据进行扫描时,可以是接扫描索引中的两个数据标识,而不用对存储区域一和二进行扫描,显然,这样的方式有效地提升了对数据扫描的效率。
S103:根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
由于索引中包含的每个数据标识,分别对应着不同的存储区域,而存储区域的存储空间(也可以称为存储容量)通常是固定的,并且,数据标识中含有用户标识,那么,数据标识所对应的存储区域,也就是相应的用户数据对应的存储区域。那么,通过索引中的数据标识,和该数据标识对应的存储区域的存储空间,就可以确定用户数据所占用的存储空间。
沿用上例,假设,第一存储区域和第二存储区域的存储空间的大小均为1MB,那么,通过图2中的索引,其中的数据标识aa_A对应第一存储区域,数据标识aa_D对应第二存储区域,那么,用户一的数据所占的存储空间为2MB。
通过上述方法,统计设备直接扫描数据库中建立起来的索引,确定出包含在所述索引中的数据标识,再根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定用户占用的资源,由于索引的数据量远远小于数据库中存放的全部数据的数据量,因此,通过扫描索引来统计用户占用的资源的方法可有效提高统计效率。
正是由于现有技术中,数据库对其中存储的数据进行统计或检索时,只能通过全盘扫描的方式,导致统计或检索的效率较低。
因此,对于上述步骤S102而言,预先为数据库中的各数据建立索引,具体为:预先将数据库中的各数据划分为若干数据块,每个数据块的存储空间相等,提取每个数据块中的一个数据的数据标识,作为该数据块的索引。
作为本发明的一种优选方式,所述数据块,通常其存储空间为64K,当然,该数据块的存储空间将根据实际应用时的需要进行调整,如:将所述数据块的存储空间调整为1MB等等,在此不作出具体限定。
在本发明实施例中,通常将数据块中的第一个数据的数据标识作为该数据块的索引。
例如,在某一数据库中,数据库内只存储了两个用户(包括:用户一和用户二)的数据,并且,该数据库中用户一和用户二对应的数据被划分成存储空间相等的两个数据块,包括:第一数据块和第二数据块。具体地,第一数据块中存储用户一对应的数据,这些数据的数据标识分别为:aa_AA,aa_AB,aa_AC;第二数据块中存储用户二对应的数据,这些数据的数据标识分别为:bb_11,bb_22,bb_33。
假设,对于第一数据块而言,将其中的数据标识“aa_AA”作为该第一数据块的索引;相应的,对于第二数据块而言,将其中存储的数据标识“bb_22”作为该第二数据块的索引。
从上例中可见,从预先划分的数据块中提取某一数据标识作为该数据块中索引的方式,可以直接对不同数据块的索引进行扫描,而不用对数据块中存储的大量数据进行扫描,从而有效减少在对数据进行扫描时,所扫描的数据量,提升了对数据扫描的效率。
但是,由于上述建立索引的方式中,将各用户的数据划分为数据块时,通常为随机组合,若仅采用上述建立索引的方式,仍存在较严重的缺陷,具体来说:
如图3所示,假设用户一、用户二以及用户三的数据均存储在某一数据库中,其中,用户一的数据的数据标识为:aa_A和aa_D,用户二的数据的数据标识为:bb_B和bb_D,用户三的数据的数据标识为cc_C和cc_F,该数据库将上述三个用户的数据分别划分成如图3所示的两个数据块中。假设数据库分别将两个数据块中的第一个数据的数据标识提取出来,分别作为第一数据块和第二数据块的索引,也即,将数据标识aa_A和aa_D分别作为第一数据块和第二数据块的索引。
那么,在对用户占用的存储空间进行统计时,则会将该第一数据块和第二数据块均算作用户一的存储空间,而不会算作用户二或用户三所占用的存储空间。但显然,两个数据块中,用户一的数据所占的存储空间只有整个数据块的存储空间的三分之一。从而造成对各用户所占用的存储空间的误差。
因此,在本发明实施例中,对于上述步骤而言,将数据库中的各数据划分为若干数据块,具体为:对数据库中的各数据进行排序,使得所述数据库中同一个用户的数据相邻,将排序后的各数据划分为若干数据块。
对各数据进行排序,也就是对各数据所对应的数据标识进行排序,又因为数据标识中包含有用户标识,那么,通过数据标识就可以唯一确定某一用户,从而,可以将不同用户的各数据,按照这些数据所属的用户,排列在一起。
具体来说,例如:如图4所示,假设,用户一的数据的数据标识为:aa_AA,aa_BB,aa_CC,aa_DD;用户二的数据的数据标识为:bb_11,bb_22。
那么,对上述六个数据按照数据标识进行排列后,形成的数据序列如下:
aa_AA,aa_BB,aa_CC,aa_DD,bb_11,bb_22。
可见,用户一的四个数据相邻,用户二的两个数据相邻。从而,可将用户一的两个数据aa_AA,aa_BB划分成一个数据块(第一数据块),aa_CC,aa_DD划分成另一个数据块(第二数据块),将用户二的两个数据bb_11,bb_22划分成一个数据块(第三数据块)。当然,第一至第三数据块对应的存储空间相同。
如图4所示,从第一数据块中提取数据标识aa_AA,以及,从第二数据块中提取数据标识aa_CC,作为该用户一对应的索引。从第三数据块中提取数据标识bb_11,作为该用户二对应的索引。
可见,通过上述方式建立索引,便可以直接扫描该索引,查找到用户一以及用户二的所有数据。也就保证了扫描到的数据的同一性,从而提升对某一用户的数据进行扫描的效率,也有效地减小统计用户占用存储空间时的误差。
需要说明的是,在如图4所示的示例中,若要统计用户一和用户二所占用的存储空间,那么,只需确定各用户对应的索引中的数据标识的数量,根据数据标识所对应的数据块的存储空间,就可以确定出用户一和用户二所占用的存储空间。也即,假设第一至第三数据块所占的存储空间均为64K,统计设备在对数据库中的索引进行扫描的过程中,扫描索引一时检索出aa_AA和aa_CC两个索引,扫描索引二时检索出bb_11一个索引,aa_AA和aa_CC两个索引属于用户一的数据标识,也即,索引中包含的用户一的数据标识的数量就为2个,因此统计设备统计出的用户一所占的存储空间为该数量2与固定大小的存储空间64IK的乘积,即128K。bb_11这一个索引属于用户二的数据标识,索引中包含的用户二的数据标识的数量就为1个,类似的,统计设备统计出的用户二所占的存储空间为64K。
在这里需要进一步说明的是,在如图5所示的实例中,若要统计用户一和用户二所占用的存储空间,直接通过扫描索引,确定出索引中包含的各用户的数据标识的数量,根据数据标识所对应的数据块的存储空间,就可以确定出用户一和用户二所占用的存储空间。但是,如图5所示,很显然索引一是分别从第一数据块和第二数据块中提取了用户一的数据标识aa_AA和aa_CC作为两个数据块的索引,而第二数据块中明显包含了用户二的数据bb_11,假设第一至第三数据块所占的存储空间均为64K,统计设备在对数据库中的索引进行扫描的过程中,扫描索引一时检索出aa_AA和aa_CC两个索引,扫描索引二时检索出bb_22一个索引,aa_AA和aa_CC两个索引属于用户一的数据标识,索引中包含的用户一的数据标识的数量就为2个,因此统计设备统计出的用户一所占的存储空间为128K,bb_22这一个索引属于用户二的数据标识,索引中包含的用户二的数据标识的数量就为1个,因此统计设备统计出的用户二所占的存储空间为64K,但是从图可以明显的看出第二数据块包含了用户二中的数据bb_11,但数据bb_11却算到了用户一的存储空间中了,因此统计出的用户一的存储空间会多于用户一的实际存储空间,统计出用户二的存储空间而统计出的用户二的存储空间会少于用户二的实际存储空间。可以看出,统计出的用户的存储空间与用户的实际存储空间相比,误差会在0K到64K之间,但在实际应用中,既包含某一用户的数据同时又包含除该用户以外的其他用户数据的数据块的数量最多为两个,最少为一个,因此统计出的用户的存储空间与该用户的实际存储空间相比,误差会在0K到128K之间。
通过上述示例中可以看出统计设备在通过扫描索引的方式来统计用户所占的存储空间时,与用户的实际存储空间相比会产生一些误差,其误差范围在0K到128K之间,即使在实际测试中,产生的最大误差也不超过7%—8%,但是用户存储的数据容量都在MB和GB以上的数据量级上,这些误差与用户数据的存储容量相比,产生的误差可以忽略不计,不影响该技术在实际应用中的使用。
因此,根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间,具体为:确定包含在所述索引中的数据标识的数量,确定所述数量与所述固定大小的存储空间的乘积,作为所述用户占用的存储空间。
考虑到实际应用中,数据库的存储空间有限,而数据库在工作时将为百万级甚至是千万级的用户提供数据存储服务,用户不断地向数据库中写入数据,若不对用户所使用的存储空间进行限制,那么,数据库的存储空间在一定时间内将饱和,严重影响对数据的存储服务。
因此,在本发明实施例中,数据库在存放用户的数据时,预先就为用户在该数据库中的存储空间进行了限定,也即,对于上述步骤S101而言,所述方法具体还包括:根据预先为所述用户分配的指定存储空间,判断确定的所述用户占用的存储空间是否大于所述指定存储空间,若是,禁止所述用户向所述数据库写入数据,否则,允许所述用户向所述数据库写入数据。
例如:数据库为每个用户分配的存储空间为100MB,如果用户当前在数据库中的存储空间不大于100MB,则该用户可以继续在数据库中存放数据,如果用户当前在数据库中的存储空间大于100MB,则数据库就需要禁止该用户再向数据库内写入任何数据。为了不影响对数据的存储服务,因此数据库要实时的进行对用户数据的扫描,进行判断该用户是否还能继续向数据库内存放数据。
而在实际测试中,如在对hbase数据库进行测试时,选取用户数据的大小为20GB,通过最终的测试发现用扫描索引的方式统计出来的用户所占的存储空间与用户的实际存储空间相比,产生的最大误差在7%—8%左右(其误差具体约为1.4GB-1.6GB),其产生的误差会对数据库进行判断该用户是否还能继续向数据库内存放数据产生一定的影响。
因此,作为实际应用时的一种优选方式,具体可以在数据库为用户分配的实际存储空间大小的基础上为用户提高10%的存储空间,如:为用户分配的存储空间的大小为100GB,也即,当用户的写入量达到100GB后就禁止该用户再向数据库中写入数据,但是实际在后台操作的时,会将禁止该用户再向数据库中写入数据的存储空间大小提高到110GB,这样就可以避开这个误差了。
以上为本发明实施例提供的资源占用的统计方法,基于同样的思路,本发明实施例还提供一种资源占用的统计装置。
如图6所示,本发明实施例提供的一种资源占用的统计装置包括:
确定模块601,用于确定用户的各数据标识;
扫描模块602,用于根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识;其中,所述索引中包含的每个数据标识对应固定大小的存储空间;
统计模块603,用于根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
在本发明实施例中,确定模块601,具体用于,根据所述用户的用户标识,确定所述用户所使用的自定义标识,根据所述用户标识和确定的自定义标识,确定所述用户的数据标识。
所述装置还包括:
索引建立模块604,用于预先将数据库中的各数据划分为若干数据块,每个数据块的存储空间相等,提取每个数据块中的一个数据的数据标识,作为该数据块的索引。
具体地,该索引建立模块604,用于对数据库中的各数据进行排序,使得所述数据库中同一个用户的数据相邻,将排序后的各数据划分为若干数据块。
所述统计模块603,具体用于,确定包含在所述索引中的数据标识的数量,确定所述数量与所述固定大小的存储空间的乘积,作为所述用户占用的存储空间。
所述装置还包括:
禁用模块605,根据预先为所述用户分配的指定存储空间,判断确定的所述用户占用的存储空间是否大于所述指定存储空间,若是,禁止所述用户向所述数据库写入数据,否则,允许所述用户向所述数据库写入数据。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、***或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种资源占用的统计方法,其特征在于,包括:
确定用户的各数据标识;
根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识;其中,所述索引中包含的每个数据标识对应固定大小的存储空间;
根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
2.如权利要求1所述的方法,其特征在于,确定用户的各数据标识,具体包括:
根据所述用户的用户标识,确定所述用户所使用的自定义标识;
根据所述用户标识和确定的自定义标识,确定所述用户的数据标识。
3.如权利要求1所述的方法,其特征在于,预先为数据库中的各数据建立索引,具体包括:
预先将数据库中的各数据划分为若干数据块,每个数据块的存储空间相等;
提取每个数据块中的一个数据的数据标识,作为该数据块的索引;
其中,将数据库中的各数据划分为若干数据块,具体包括:
对数据库中的各数据进行排序,使得所述数据库中同一个用户的数据相邻;
将排序后的各数据划分为若干数据块。
4.如权利要求1所述的方法,其特征在于,根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间,具体包括:
确定包含在所述索引中的数据标识的数量;
确定所述数量与所述固定大小的存储空间的乘积,作为所述用户占用的存储空间。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据预先为所述用户分配的指定存储空间,判断确定的所述用户占用的存储空间是否大于所述指定存储空间;
若是,禁止所述用户向所述数据库写入数据;
否则,允许所述用户向所述数据库写入数据。
6.一种资源占用的统计装置,其特征在于,包括:
确定模块,用于确定用户的各数据标识;
扫描模块,用于根据预先为数据库中的各数据建立的索引,在确定的所述各数据标识中,确定包含在所述索引中的数据标识;其中,所述索引中包含的每个数据标识对应固定大小的存储空间;
统计模块,用于根据包含在所述索引中的数据标识和所述固定大小的存储空间,确定所述用户占用的存储空间。
7.如权利要求6所述的装置,其特征在于,所述确定模块具体用于,根据所述用户的用户标识,确定所述用户所使用的自定义标识,根据所述用户标识和确定的自定义标识,确定所述用户的数据标识;
和/或,
所述统计模块具体用于,确定包含在所述索引中的数据标识的数量,确定所述数量与所述固定大小的存储空间的乘积,作为所述用户占用的存储空间。
8.如权利要求6所述的装置,其特征在于,所述装置还包括:
索引建立模块,用于预先将数据库中的各数据划分为若干数据块,每个数据块的存储空间相等,提取每个数据块中的一个数据的数据标识,作为该数据块的索引。
9.如权利要求8所述的装置,其特征在于,所述索引建立模块具体用于,对数据库中的各数据进行排序,使得所述数据库中同一个用户的数据相邻,将排序后的各数据划分为若干数据块。
10.如权利要求6所述的装置,其特征在于,所述装置还包括:
禁用模块,根据预先为所述用户分配的指定存储空间,判断确定的所述用户占用的存储空间是否大于所述指定存储空间,若是,禁止所述用户向所述数据库写入数据,否则,允许所述用户向所述数据库写入数据。
CN201510114365.1A 2015-03-16 2015-03-16 一种资源占用的统计方法及装置 Active CN104765774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510114365.1A CN104765774B (zh) 2015-03-16 2015-03-16 一种资源占用的统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510114365.1A CN104765774B (zh) 2015-03-16 2015-03-16 一种资源占用的统计方法及装置

Publications (2)

Publication Number Publication Date
CN104765774A true CN104765774A (zh) 2015-07-08
CN104765774B CN104765774B (zh) 2018-07-31

Family

ID=53647605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510114365.1A Active CN104765774B (zh) 2015-03-16 2015-03-16 一种资源占用的统计方法及装置

Country Status (1)

Country Link
CN (1) CN104765774B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180042A (zh) * 2016-03-09 2017-09-19 阿里巴巴集团控股有限公司 搜索引擎的流量统计方法、装置及***
CN109508318A (zh) * 2018-11-15 2019-03-22 北京金山云网络技术有限公司 一种存储量统计方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184720A1 (en) * 2005-02-16 2006-08-17 Sinclair Alan W Direct data file storage in flash memories
CN103795811A (zh) * 2014-03-06 2014-05-14 焦点科技股份有限公司 一种基于元数据保存存储信息及统计管理数据的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184720A1 (en) * 2005-02-16 2006-08-17 Sinclair Alan W Direct data file storage in flash memories
CN103795811A (zh) * 2014-03-06 2014-05-14 焦点科技股份有限公司 一种基于元数据保存存储信息及统计管理数据的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180042A (zh) * 2016-03-09 2017-09-19 阿里巴巴集团控股有限公司 搜索引擎的流量统计方法、装置及***
CN107180042B (zh) * 2016-03-09 2020-12-15 创新先进技术有限公司 搜索引擎的流量统计方法、装置及***
CN109508318A (zh) * 2018-11-15 2019-03-22 北京金山云网络技术有限公司 一种存储量统计方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN104765774B (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
US10339123B2 (en) Data management for tenants
CN104462141B (zh) 一种数据存储与查询的方法、***及存储引擎装置
CN105631003A (zh) 支持海量数据分组统计的智能索引构建、查询及维护方法
CN103473239A (zh) 一种非关系型数据库数据更新方法和装置
CN103577440A (zh) 一种非关系型数据库中的数据处理方法和装置
CN104281701A (zh) 分布式多尺度空间数据查询方法及***
CN106407303A (zh) 数据存储、查询方法及装置
CN101763415B (zh) 一种数据库的b树索引的生成方法及装置
CN104239377A (zh) 跨平台的数据检索方法及装置
CN104750826A (zh) 一种结构化数据资源元数据自动甄别与动态注册方法
CN102890714A (zh) 数据索引方法及装置
CN104486777A (zh) 一种实现数据处理的方法及装置
CN111104457A (zh) 基于分布式数据库的海量时空数据管理方法
CN104834650A (zh) 一种有效查询任务生成方法及***
CN102253985B (zh) 一种文件***数据的管理方法及***
WO2021016050A1 (en) Multi-record index structure for key-value stores
CN104714957A (zh) 一种表结构的变更方法及装置
CN110399096A (zh) 分布式文件***元数据缓存重删的方法、装置以及设备
CN103092886B (zh) 一种数据查询操作的实现方法、装置及***
CN109828975A (zh) 一种基于区块链的大规模快速账本存取***
CN113297171A (zh) 数据库迁移方法及装置、数据库集群
Xanthakis et al. Parallax: Hybrid key-value placement in lsm-based key-value stores
CN110597805B (zh) 一种内存索引结构处理方法
Li et al. Efficient implementation of a multi-dimensional index structure over flash memory storage systems
CN106503054A (zh) 一种数据查询方法及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230308

Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193

Patentee after: Sina Technology (China) Co.,Ltd.

Address before: 100080, International Building, No. 58 West Fourth Ring Road, Haidian District, Beijing, 20 floor

Patentee before: Sina.com Technology (China) Co.,Ltd.