CN110769025A - 一种加快面向多租户云存储***数据索引的方法 - Google Patents

一种加快面向多租户云存储***数据索引的方法 Download PDF

Info

Publication number
CN110769025A
CN110769025A CN201910840769.7A CN201910840769A CN110769025A CN 110769025 A CN110769025 A CN 110769025A CN 201910840769 A CN201910840769 A CN 201910840769A CN 110769025 A CN110769025 A CN 110769025A
Authority
CN
China
Prior art keywords
index
user
information
substep
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910840769.7A
Other languages
English (en)
Other versions
CN110769025B (zh
Inventor
戴元顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU ZHONGYUN TECHNOLOGY Co Ltd
Original Assignee
JIANGSU ZHONGYUN TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU ZHONGYUN TECHNOLOGY Co Ltd filed Critical JIANGSU ZHONGYUN TECHNOLOGY Co Ltd
Priority to CN201910840769.7A priority Critical patent/CN110769025B/zh
Publication of CN110769025A publication Critical patent/CN110769025A/zh
Application granted granted Critical
Publication of CN110769025B publication Critical patent/CN110769025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种加快面向多租户云存储***数据索引的方法，包括下列步骤：步骤1：索引初始化阶段，该阶段会根据用户信息初始化全局索引和本地索引；步骤2：新用户加入***阶段，该阶段用来建立新用户在全局索引中的信息；步骤3：用户数据索引阶段，该阶段用来索引用户数据；步骤4：索引销毁阶段，该阶段用来销毁用户元数据信息。本发明实现了元数据按用户进行分类和按照用户在线情况进行动态挂载该用户索引信息，具备了多租户下数据快速访问和元数据服务器低负载的优点。

Description

一种加快面向多租户云存储***数据索引的方法
技术领域
本发明涉及数据索引领域，尤其涉及一种加快面向多租户云存储***数据索引的方法。
背景技术
信息技术的出现扩大了每天产生大量数据的信息***的规模和范围，开启了大数据处理和分析领域。基于虚拟化的云计算环境不仅可以满足日益增长的数据存储需求，还可以满足大数据应用的繁重和大规模计算需求。云资源访问效率问题是一个非常重要的问题，它直接影响用户对云供应商提供的服务质量的体验。然而，由于云计算数据量的增大，传统的数据索引方式并不适合大数据背景下多租户对数据的索引。因此，需要一种新的索引方式来提高多租户对数据的访问效率。
目前现有相关技术方案一是把存储***中的所有数据按照相同的规则建立统一的全局索引；但是这种方案对多租户数据索引进行统一的组织，***运行时，需要加载整个全局索引信息，增加了元数据服务器的负载。当用户索引数据时，这种组织方式会检索全局索引，增加了用户的索引时间。所以并不适用于大数据背景下多租户对数据的索引。
现有相关技术方案二中广东技术师范学院，魏文国等发明的《一种云存储***》于2017-12-30日向中国国家知识产权局申请专利并获得批准，于2019-03-01日公开，公开号：109413130A。上述发明只是从元数据方面着手解决云存储的性能问题，并没有针对多租户用户索引效率给出方案，无法保证云环境下多租户的服务质量。
本发明要解决的技术问题在于：
1、针对相关方案一用户数据索引信息统一组织导致元服务器负载增大及数据索引效率低下的问题；
2、针对相关方案二存储***中没有区分用户统一组织用户数据索引的问题。
发明内容
针对现有技术的不足，本发明提供一种加快面向多租户云存储***数据索引的方法，包括下列步骤：
步骤1：索引初始化阶段，该阶段会根据用户信息初始化全局索引和本地索引；
步骤2：新用户加入***阶段，该阶段用来建立新用户在全局索引中的信息；
步骤3：用户数据索引阶段，该阶段用来索引用户数据；
步骤4：索引销毁阶段，该阶段用来销毁用户元数据信息。
本发明的进一步改进在于：所述步骤1包括以下子步骤：
子步骤1-1：初始化全局索引根节点；
子步骤1-2：根据当前在线用户信息从本地元数据文件中获取相应信息，并把该信息挂载到全局索引中；
子步骤1-3：在线用户客户端保存该用户索引信息在全局索引中的位置；
本发明的进一步改进在于：所述步骤2包括以下子步骤：
子步骤2-1：为新用户创建索引节点；
子步骤2-2：把新用户的索引节点挂载到全局索引中；
本发明的进一步改进在于：所述步骤3包括以下子步骤：
子步骤3-1：用户根据本地索引找到该用户在全局索引中索引信息的位置；
子步骤3-2：访问全局索引获取所需数据的真实位置；
本发明的进一步改进在于：所述步骤4包括以下子步骤：
子步骤4-1：用户下线时，把该用户索引信息更新到元数据文件中，并且把该用户对应的索引信息从全局索引中卸载掉；
子步骤4-2：用户注销时，该用户对应的索引信息会从全局索引中卸载掉，并且删除本地元数据文件中对应的索引信息。
本发明实现了元数据按用户进行分类和按照用户在线情况进行动态挂载该用户索引信息，具备了多租户下数据快速访问和元数据服务器低负载的优点。
提供数据索引按用户进行分类组织，并且根据用户在线情况进行动态挂载的思想，有效地解决了用户数据索引效率问题和元数据服务器负载过大的问题，能够实现保障多租户服务质量的基础上，具备使用户能够快速有效访问数据的特点。
本发明公开了一种云存储***，包括元数据服务器、数据存储服务器和客户端。其中，元数据服务器、数据存储服务器、客户端分别通过TCP/ IP网络协议一一对应连接；元数据服务器采用集中式的架构进行构建，用于存储和管理云存储***内所有文件的元数据信息；数据存储服务器采用集群式的架构进行构建，用于存储文件数据块，向客户端提供数据的读写服务；客户端用于供用户输入操作指令，以实现文件的写入、读取及删除。本发明技术方案将文件的控制流和数据流分离，支持存储资源的负载均衡和数据冗余策略，提高***性能。
附图说明
图1是本发明的流程图；
图2是使用本发明方法的云存储***架构图；
图3是使用本发明方法的云存储***读流程；
图4是使用本发明方法的云存储***写流程；
图5是步骤2中把用户相应的索引信息挂载到全局索引中对应用户信息节点示意图。
具体实施方式
下面将结合附图就本发明的发明目的、技术方案、发明优点作进一步详细说明。
如图1-4，本实施例提供一种加快面向多租户云存储***数据索引的方法，其包括下列步骤：
步骤1：索引初始化阶段，该阶段会根据用户信息初始化全局索引和本地索引；子步骤1-1：初始化全局索引根节点；
子步骤1-2：根据当前在线用户信息从本地元数据文件中获取相应信息，并把该信息挂载到全局索引中；
子步骤1-3：在线用户客户端保存该用户索引信息在全局索引中的位置；
步骤2：新用户加入***阶段，该阶段用来建立新用户在全局索引中的信息；子步骤2-1：为新用户创建索引节点；
子步骤2-2：把新用户的索引节点挂载到全局索引中；
步骤3：用户数据索引阶段，该阶段用来索引用户数据；
子步骤3-1：用户根据本地索引找到该用户在全局索引中索引信息的位置；
子步骤3-2：访问全局索引获取所需数据的真实位置；
步骤4：索引销毁阶段，该阶段用来销毁用户元数据信息。
子步骤4-1：用户下线时，把该用户索引信息更新到元数据文件中，并且把该用户对应的索引信息从全局索引中卸载掉；
子步骤4-2：用户注销时，该用户对应的索引信息会从全局索引中卸载掉，并且删除本地元数据文件中对应的索引信息。
实施例1
如图1，一种加快面向多租户云存储***数据索引的方法，包括以下步骤：
步骤1： 全局索引根节点初始化；
子步骤1-1：元数据管理服务器申请内存，创建一个索引信息节点；
子步骤1-2：初始化该节点为全局索引根节点root；
步骤2： 用户索引信息初始化
子步骤2-1：元数据管理服务器获取在线用户id信息；
子步骤2-2：根据在线用户id信息，创建对应用户信息节点，并挂载到全局索引中；
子步骤2-3：根据在线用户id信息，从本地元数据文件中获取对应用户的索引信息；
子步骤2-4：把用户相应的索引信息挂载到全局索引中对应用户信息节点下，如图5所示.
步骤3： 本地索引初始化
子步骤3-1：获取到用户在全局索引中的信息节点地址；
子步骤3-2：把相应用户的信息节点地址返回给相应的客户端；
子步骤3-3：客户端收到该用户信息节点位置后，保存在本地，作为本地索引信息；
步骤4： 索引访问
子步骤4-1：用户访问本地索引，获取该用户数据索引在全局索引中的起始位置；
子步骤4-2：根据本地索引信息访问全局索引，并最终获取数据的位置信息；
步骤5： 索引销毁
子步骤5-1：用户退出***，向***发出退出指令0或1；
子步骤5-2：元数据管理服务器接收到退出指令后，判断指令类别；
子步骤5-3：指令为0表示仅退出***，元数据管理服务器则把该用户索引信息更新到本地元数据文件，然后把该用户索引信息从全局索引中卸载；
子步骤5-4：指令为1表示用户注销，元数据管理服务器把该用户的索引信息更新到本地源数据文件，并做用户已注销的标记，然后卸载掉该用户索引信息，超过一定时间阈值后，删除元数据文件中的用户信息,。
本实施例能够通过把数据索引信息按照用户进行分类以及动态的挂载卸载用户索引信息的方法，使得用户能够对数据进行快速索引并且减轻了元数据服务器的负载，***具备了多租户下数据快速访问和存储***低负载。
以上仅是本发明的优选实施方式，应当指出，以上实施列对本发明不构成限定，相关工作人员在不偏离本发明技术思想的范围内，所进行的多样变化和修改，均落在本发明的保护范围内。

Claims (5)

1.一种加快面向多租户云存储***数据索引的方法，其特征在于： 包括下列步骤：
步骤1：索引初始化阶段，该阶段会根据用户信息初始化全局索引和本地索引；
步骤2：新用户加入***阶段，该阶段用来建立新用户在全局索引中的信息；
步骤3：用户数据索引阶段，该阶段用来索引用户数据；
步骤4：索引销毁阶段，该阶段用来销毁用户元数据信息。
2.如权利要求1所述一种加快面向多租户云存储***数据索引的方法，其特征在于：所述步骤1包括以下子步骤：
子步骤1-1：初始化全局索引根节点；
子步骤1-2：根据当前在线用户信息从本地元数据文件中获取相应信息，并把该信息挂载到全局索引中；
子步骤1-3：在线用户客户端保存该用户索引信息在全局索引中的位置。
3.如权利要求1所述一种加快面向多租户云存储***数据索引的方法，其特征在于：所述步骤2包括以下子步骤：
子步骤2-1：为新用户创建索引节点；
子步骤2-2：把新用户的索引节点挂载到全局索引中。
4.如权利要求1所述一种加快面向多租户云存储***数据索引的方法，其特征在于：所述步骤3包括以下子步骤：
子步骤3-1：用户根据本地索引找到该用户在全局索引中索引信息的位置；
子步骤3-2：访问全局索引获取所需数据的真实位置。
5.如权利要求1所述一种加快面向多租户云存储***数据索引的方法，其特征在于：所述步骤4包括以下子步骤：
子步骤4-1：用户下线时，把该用户索引信息更新到元数据文件中，并且把该用户对应的索引信息从全局索引中卸载掉；
子步骤4-2：用户注销时，该用户对应的索引信息会从全局索引中卸载掉，并且删除本地元数据文件中对应的索引信息。
CN201910840769.7A 2019-09-06 2019-09-06 一种加快面向多租户云存储***数据索引的方法 Active CN110769025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840769.7A CN110769025B (zh) 2019-09-06 2019-09-06 一种加快面向多租户云存储***数据索引的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840769.7A CN110769025B (zh) 2019-09-06 2019-09-06 一种加快面向多租户云存储***数据索引的方法

Publications (2)

Publication Number Publication Date
CN110769025A true CN110769025A (zh) 2020-02-07
CN110769025B CN110769025B (zh) 2022-04-22

Family

ID=69330285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840769.7A Active CN110769025B (zh) 2019-09-06 2019-09-06 一种加快面向多租户云存储***数据索引的方法

Country Status (1)

Country Link
CN (1) CN110769025B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276801A1 (en) * 2004-03-31 2007-11-29 Lawrence Stephen R Systems and methods for constructing and using a user profile
US20080235106A1 (en) * 1994-05-31 2008-09-25 Twintech E.U., Limited Liability Company Software and Method That Enables Selection of One of A Plurality of Online Service Providers
CN101777057A (zh) * 2004-04-02 2010-07-14 易享信息技术（上海）有限公司 多租户数据库***中为多个租户存储自定义字段的方法和***
US7788274B1 (en) * 2004-06-30 2010-08-31 Google Inc. Systems and methods for category-based search
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制***
CN103455512A (zh) * 2012-05-31 2013-12-18 上海博腾信息科技有限公司 Saas平台多租户数据管理模型
CN105808240A (zh) * 2016-03-01 2016-07-27 北京量邦信息科技股份有限公司 一种在线编程环境下实现用户隔离的方法
CN106960020A (zh) * 2017-03-09 2017-07-18 星环信息科技（上海）有限公司 一种创建索引表的方法及设备
CN109413130A (zh) * 2017-12-30 2019-03-01 广东技术师范学院 一种云存储***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235106A1 (en) * 1994-05-31 2008-09-25 Twintech E.U., Limited Liability Company Software and Method That Enables Selection of One of A Plurality of Online Service Providers
US20070276801A1 (en) * 2004-03-31 2007-11-29 Lawrence Stephen R Systems and methods for constructing and using a user profile
CN101777057A (zh) * 2004-04-02 2010-07-14 易享信息技术（上海）有限公司 多租户数据库***中为多个租户存储自定义字段的方法和***
US7788274B1 (en) * 2004-06-30 2010-08-31 Google Inc. Systems and methods for category-based search
CN103455512A (zh) * 2012-05-31 2013-12-18 上海博腾信息科技有限公司 Saas平台多租户数据管理模型
CN103218175A (zh) * 2013-04-01 2013-07-24 无锡成电科大科技发展有限公司 多租户的云存储平台访问控制***
CN105808240A (zh) * 2016-03-01 2016-07-27 北京量邦信息科技股份有限公司 一种在线编程环境下实现用户隔离的方法
CN106960020A (zh) * 2017-03-09 2017-07-18 星环信息科技（上海）有限公司 一种创建索引表的方法及设备
CN109413130A (zh) * 2017-12-30 2019-03-01 广东技术师范学院 一种云存储***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGWEI LI: "Enabling Efficient Multi-Keyword Ranked Search Over Encrypted Mobile Cloud Data Through Blind Storage", 《IEEE》 *
张涛等: "提高SQL Server数据库访问速度的方法", 《计算机时代》 *

Also Published As

Publication number Publication date
CN110769025B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US11005717B2 (en) Storage capacity evaluation method based on content delivery network application and device thereof
CN104537076B (zh) 一种文件读写方法及装置
US10652330B2 (en) Object storage in cloud with reference counting using versions
US20130097130A1 (en) Method and system for resolving data inconsistency
US20180063055A1 (en) Repartitioning a topic in a publish-subscribe message system
CN108572991A (zh) 数据库处理方法、装置和存储介质
US11657025B2 (en) Parallel processing of filtered transaction logs
CN111083179B (zh) 物联网云平台、基于物联网云平台的设备交互方法及装置
CN105677251A (zh) 基于Redis集群的存储***
US10817203B1 (en) Client-configurable data tiering service
CN113032099B (zh) 云计算节点、文件管理方法及装置
CN109885577A (zh) 数据处理方法、装置、终端及存储介质
CN106021566A (zh) 一种提高单台数据库并发处理能力的方法、装置及***
US11080239B2 (en) Key value store using generation markers
CN105187565A (zh) 一种利用网络存储数据的方法
CN105068875A (zh) 一种智能数据处理方法及装置
CN114896215A (zh) 元数据的存储方法及装置
CN109446167A (zh) 一种日志数据存储、提取方法及装置
US11290397B2 (en) Systems and methods for efficiently storing a distributed ledger of records
CN110769025B (zh) 一种加快面向多租户云存储***数据索引的方法
CN116226250A (zh) 针对发电领域海量时序数据管理的汇聚式管理方法及***
US10452488B1 (en) Systems and methods for efficient archiving of related electronic messages
CN115878042A (zh) 一种数据存储***、数据处理方法及存储介质
US9852164B2 (en) Task handling in a multisystem environment
US9258269B1 (en) Methods and systems for managing delivery of email to local recipients using local reputations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant