CN107526530B - 数据处理方法和设备 - Google Patents

数据处理方法和设备 Download PDF

Info

Publication number
CN107526530B
CN107526530B CN201610453751.8A CN201610453751A CN107526530B CN 107526530 B CN107526530 B CN 107526530B CN 201610453751 A CN201610453751 A CN 201610453751A CN 107526530 B CN107526530 B CN 107526530B
Authority
CN
China
Prior art keywords
data
remote system
remote
request
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610453751.8A
Other languages
English (en)
Other versions
CN107526530A (zh
Inventor
黄刚
曹逾
高雯雯
袁丹
崔妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201610453751.8A priority Critical patent/CN107526530B/zh
Priority to US15/628,624 priority patent/US20170364293A1/en
Publication of CN107526530A publication Critical patent/CN107526530A/zh
Application granted granted Critical
Publication of CN107526530B publication Critical patent/CN107526530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0661—Format or protocol conversion arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及数据处理方法和设备。例如，提出了一种方法，包括：获取待处理的数据在中间***中的中间标识；基于所述中间***与远程***之间的标识映射，将所述中间标识转换为在所述远程***中的第一标识；以及至少部分地基于所述第一标识，与所述远程***相关联地处理所述数据。还公开了相应的设备和计算机程序产品。

Description

数据处理方法和设备
技术领域
本发明的实施方式总体上涉及数据处理，并且更具体地，涉及数据处理方法和设备。
背景技术
当前，对于数据存储的需求日益增多。广泛使用的存储***包括例如文件***、块存储和对象存储。相对于其它存储***，例如将数据作为文件层级进行管理的文件***，以及将数据作为块进行管理的块存储，对象存储是将数据作为对象进行管理的存储架构。
以对象存储为例，这种方式适用于非结构化数据的存储，并且允许相对便宜、可扩展和大量数据的自愈保留(Self-Healing Retention)。已经提出了一些公有云对象存储服务的解决方案。此外，还存在目的在于提供私有云对象存储服务的解决方案。这些已知方案具有某些共性，例如基于HTTP/HTTPS协议、以REST风格的简单的读/写应用编程接口(API)、基于特定的API，等等。当用户使用现有对象存储服务时，通常会遭遇效率和安全性较低等的问题，这直接降低了用户体验。
发明内容
本公开的实施例提供了数据处理方法、设备和相应的计算机程序产品。
根据本公开的第一方面，提供了一种数据处理方法。该方法包括：获取待处理的数据在中间***中的中间标识；基于该中间***与远程***之间的标识映射，将该中间标识转换为在该远程***中的第一标识；以及至少部分地基于该第一标识，与该远程***相关联地处理该数据。
在某些实施例中，获取该中间标识包括：从客户端接收用于在该远程***处操作该数据的用户请求；以及从该用户请求中提取该数据的该中间标识。
在某些实施例中，与该远程***相关联地处理该数据包括：基于该用户请求生成用于在该远程***执行该操作的第一请求，该第一请求包含该第一标识；以及向该远程***发送该第一请求。
在某些实施例中，该用户请求中的该操作包括对该数据的读取，并且与该远程***相关联地处理该数据还包括：从该远程***接收该数据；以及将该数据发送给该客户端。
在某些实施例中，该远程***是第一远程***，并且该用户请求中的该操作包括对该数据在该第一远程***的更新，其中与该远程***相关联地处理该数据还包括：基于该中间***与第二远程***之间的标识映射，将该数据的该中间标识转换为该数据在该第二远程***的第二标识；生成用于在该第二远程***处对该数据进行该更新的第二请求，该第二请求包含该第二标识；以及向该第二远程***发送该第二请求。
在某些实施例中，该更新包括以下至少一项：创建、删除、修改。
在某些实施例中，生成该第一请求包括：利用与该用户请求不同的语法来生成该第一请求。
在某些实施例中，该用户请求和该第一请求中的至少一个包括与该数据相关联的秘钥。
在某些实施例中，该远程***是第一远程***，并且与所述远程***相关联地处理所述数据包括：基于所述中间***与第三远程***之间的标识映射，将所述中间标识符转换为所述数据在该第三远程***中的第三标识，所述第三远程***不同于所述第一远程***；利用所述第三标识从所述第三远程***获取所述数据；以及利用所述第一标识将数据存储到所述第一远程***。
在某些实施例中，与该远程***相关联地处理该数据还包括：响应于以下至少一项而从该第三远程***删除该数据：确定该数据已被完整地存储在该第一远程***，以及针对该数据的未决请求的处理完成。
根据本公开的第二方面，提供了一种电子设备。该电子设备包括：至少一个处理单元；以及至少一个存储器，其耦合至该至少一个处理单元并且存储有机器可执行指令，当该指令由该至少一个处理单元执行时，使得该至少一个处理单元被配置为：获取待处理的数据在中间***中的中间标识；基于该中间***与远程***之间的标识映射，将该中间标识转换为在该远程***中的第一标识；以及至少部分地基于该第一标识，与该远程***相关联地处理该数据。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了传统解决方案中的存储***的示意图；
图2示出了根据本公开的实施例的存储***的示意图；
图3示出了根据本公开的实施例的中间***中的标识映射的示意图；
图4示出了根据本公开的实施例的中间***与远程***相关联地读取数据的示意图；
图5示出了根据本公开的实施例的中间***与远程***相关联地更新数据的示意图；
图6示出了根据本公开的实施例的中间***与远程***相关联地迁移数据的示意图；
图7示出了根据本公开的实施例的数据处理过程或方法的流程图；
图8示出了根据本公开的实施例的用于数据处理的装置的示意性框图；以及
图9示出了适合于用来实现本公开实施例的设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
图1示出了传统解决方案中的存储***100的示意图。存储***100可以包括客户端110以及远程***130-1,…,130-N,130-(N+1)(统称为“远程***130”),其中N为自然数。远程***130-1,…,130-N,130-(N+1)可以对海量数据进行存储，以为客户端110提供存储服务。该远程***130-1,…,130-N,130-(N+1)可以提供对象存储服务、文件***存储服务、块存储服务等，远程***130-1,…,130-N,130-(N+1)的类型不构成对本公开实施例的限制，只要其能够提供存储服务即可。该客户端110可以是台式计算机、笔记本计算机、平板计算机、智能手机、个人数字助理、阅读器、音频播放器、相机等，客户端110的类型不构成对本公开实施例的限制。
如图1所示，客户端110连接到远程***130-1,…,130-N，并将其数据存储到远程***130-1,…,130-N。然而，当客户端110希望将数据迁移到例如远程***130-(N+1)的其它远程***时，客户端110难以将其在远程***130-1,…,130-N上存储的数据迁移到其它远程***，因此客户端110不得不面临被锁定到远程***130-1,…,130-N风险。
此外，在某些情况下，客户端110希望其在远程***130-1,…,130-N上存储的数据可以在不同远程***之间按需流动。然而，由于不同远程***配置不同，使数据在不同远程***之间流动，通常需要用户进行单独的配置，使得难以简单地实现数据流动。
此外，用户在决定是否存储数据之前，需要一种在诸如成本、性能和SLA(服务水平协议)等的多个方面中测量不同远程***的方法。例如，企业用户对远程***的性能和SLA要求较高，而对成本控制的要求较低，通过该测量，企业用户可以选择用于例如企业应用的特定存储需求的最佳选择。然而，在现有存储***100中，用户无法对远程***130-1,…,130-N的多个方面进行测量，因此无法做出最佳选择。
因此，当用户使用现有存储***时，将会面临被锁定到特定对象存储服务风险，难以实现不同远程***之间的数据流动，并且难以对远程***进行测量以做出最佳选择，使得现有存储***的效率和安全性得不到保证，直接降低了用户体验。
为了解决上述以及其他潜在的问题和缺陷，本公开的实施例提供了一种数据处理方案。图2示出了根据本公开的实施例的存储***200的示意图。以下将对比图1来详细描述根据本公开的实施例的存储***200与现有解决方案中的存储***100之间的不同。
特别地，在下文的讨论中，将主要以数据对象作为待操作对象的示例来加以描述。但是应当理解，这仅仅是示例性的，无意以任何方式限制本公开的范围。在其他实施例中，数据可以以任何适当的方式存储，不论是目前已知的还是将来开发的。
与图1所示的存储***100类似，如图2所示的存储***200可以包括客户端110以及远程***130-1,…,130-N。与图1所示的存储***100不同，如图2所示的存储***200还可以包括中间***220。如图2所示，客户端110通过中间***220连接到远程***130-1,…,130-N。
中间***220可以使得客户端110透明地对远程***130-1,…,130-N上的数据进行操作。具体地，中间***220可以提供一组与远程***130-1,…,130-N兼容的接口，使得对于客户端110来说，中间***220表现得与远程***130-1,…,130-N相同。此外，中间***220可以为数据(例如，每个数据对象)生成通用的中间标识，这种中间标识独立于远程***130。相应地，中间***220可以维持记录数据的中间标识和其在远程***130-1,…,130-N中的远程标识之间的映射关系，称为“标识映射”。在某些实施例中，中间***220还可以存储数据的元数据(metadata)，该元数据可以用于识别数据，并且可以包括诸如中间标识、远程标识以及用于描述数据的其他信息。而且，中间***220可以测量远程***130-1,…,130-N的诸如成本、性能和SLA(服务水平协议)等的多个方面，以有助于用户做出最佳选择。
以下将结合图4-图6描述中间***220的若干示例操作/功能。首先参考图3，其示出了根据本公开的实施例的中间***中的标识映射300的示意图。如上所述，中间***200存储有数据在中间***220中的中间标识符和远程***130的标识映射。在图3的示例中，这种标识映射借助于映射表300来实现。当然，这仅仅是示例性的，标识映射可以利用任何适当的数据结构和/或格式来存储。
如图3中所示，映射表300中的第310列表示数据的中间标识，并且其他列表示相应远程***130-1,…,130-N中与中间标识对应的远程标识。例如，单元(2,2)中记录中的值表示中间标识为#1的数据在远程***130-1上的远程标识为#1-130-1。中间***220可以通过查询映射表300来实现中间标识和远程标识之间的转换。
图4示出了根据本公开的实施例的中间***220与远程***130-1相关联地读取数据的过程400的示意图。如图4所示，中间***220可以从客户端110接收(410)用于在远程***130-1处读取数据的用户请求。假设用户请求所针对的目标数据将从第一远程***130-1被读取。
响应于该请求，中间***220将用户请求中包含的数据在中间***220中的中间标识转换(420)为该数据在目标远程***(在此例中是第一远程***130-1)中的标识，称为“第一标识”。在某些实施例中，中间标识被包含在用户请求中。在这样的实施例中，中间***220可以从用户请求中提取中间标识，并且基于标识映射(例如图3所示的映射表300)将中间标识转换为第一标识。
在某些实施例中，为了读取第一远程***130-1中存储的数据，用户请求中还可以包括访问第一远程***130-1所需的秘钥。在这样的实施例中，中间***220还可以从用户请求中提取秘钥。
接下来，中间***200向作为目标的第一远程***130-1发送(430)用于读取数据的请求，称为“第一请求”。该第一请求至少包含第一标识。此外，如上所述，在某些实施例中中间***220可以从用户请求中提取访问数据所需的秘钥。在这样的实施例中，提取出的秘钥也可以被包括在第一请求中。此外，在某些实施例中，访问数据所需的秘钥可以被存储在中间***220中，中间***220可以自动将秘钥包括在第一请求中。
特别地，在某些实施例中，中间***220可以执行请求格式/语法的转换，以便适应目的地远程***的特性和/或要求。例如，中间***220可以依据第一远程***130-1的要求来生成第一请求。该第一请求可以具有不同于原始用户请求的语法和/或格式，但是保持用户请求的语义不变。以此方式，远程***130之间的差异由中间***220来处理，使其对于客户端110而言是透明的。这有利于简化客户端的操作。
在接收到第一请求之后，第一***130-1将会把待读取的数据返回给中间***220。相应地，中间***220从第一远程***130-1接收(440)该数据。在某些实施例中，接收到的数据可以包括其在第一远程***130-1中的第一标识，以用于错误检查、日志处理等。当然这并不是必须的，接收的数据可以不包括第一标识，或者是包含可用于类似目的的其他信息。继而，中间***220将数据提供(460)给客户端110。
如图所示，在所接收的数据包含第一标识的那些实施例中，中间***220例如可以基于标识映射310将数据的第一标识转换(450)回中间标识。在这样的实施例中，在向客户端110发送(460)数据时，中间***220可以将中间标识包含于其中。这样，客户端110可以确认所获得的数据确实是所请求的数据。当然，这不是必须的。在其他实施例中，动作450可被忽略。
以上描述了客户端110通过中间***220从第一远程***130-1读取数据的过程400。在某些实施例中，当数据的多个副本被存储在多个远程***中时，中间***220可以选择多个远程***中的全部副本中的任一个，因为每一个副本都具有相同的值。在某些实施例中，中间***220还可以测量多个远程***的多个方面，以选择最佳的远程***。在一个示例中，当中间***220检测到多个远程***中的一个不可用时，中间***220可以将来自客户端110的用户请求发送到其它可用远程***，以提高存储***的可用性。在另一示例中，中间***220可以测量多个远程***的网络延迟，并且将来自客户端110的用户请求发送到具有最低延迟的远程***，以提高存储***的性能。
图5示出了根据本公开的实施例的中间***220与远程***130-1和130-2相关联地更新数据的过程500的示意图。如图5所示，中间***220可以从客户端110接收(510)用于在远程***130-1和130-2处更新数据的用户请求。假设用户请求所针对的目标数据将在第一远程***130-1和第二远程***130-2处被更新。
响应于该请求，中间***220将用户请求中包含的数据在中间***220中的中间标识转换(520)为该数据在目标远程***(在此例中是第一远程***130-1)中的标识，称为“第一标识”。在某些实施例中，中间标识被包含在用户请求中。在这样的实施例中，中间***220可以从用户请求中提取中间标识，并且基于标识映射(例如图3所示的映射表300)将中间标识转换为第一标识。
在某些实施例中，为了更新第一远程***130-1中存储的数据，用户请求中还可以包括访问第一远程***130-1所需的秘钥。在这样的实施例中，中间***220还可以从用户请求中提取秘钥。
接下来，中间***200向作为目标的第一远程***130-1发送(530)用于更新数据的请求，称为“第一请求”。该第一请求至少包含第一标识。此外，如上所述，在某些实施例中中间***220可以从用户请求中提取访问数据所需的秘钥。在这样的实施例中，提取出的秘钥也可以被包括在第一请求中。此外，在某些实施例中，访问数据所需的秘钥可以被存储在中间***220中，中间***220可以自动将秘钥包括在第一请求中。
进一步地，响应于该请求，中间***220将用户请求中包含的数据在中间***220中的中间标识转换(540)为该数据在目标远程***(在此例中是第二远程***130-2)中的标识，称为“第二标识”。在某些实施例中，中间标识被包含在用户请求中。在这样的实施例中，中间***220可以从用户请求中提取中间标识，并且基于标识映射(例如图3所示的映射表300)将中间标识转换为第二标识。
在某些实施例中，为了更新第二远程***130-2中存储的数据，用户请求中还可以包括访问第二远程***130-2所需的秘钥。在这样的实施例中，中间***220还可以从用户请求中提取秘钥。
接下来，中间***200向作为目标的第二远程***130-2发送(550)用于更新数据的请求，称为“第二请求”。该第二请求至少包含第二标识。此外，如上所述，在某些实施例中中间***220可以从用户请求中提取访问数据所需的秘钥。在这样的实施例中，提取出的秘钥也可以被包括在第二请求中。此外，在某些实施例中，访问数据所需的秘钥可以被存储在中间***220中，中间***220可以自动将秘钥包括在第二请求中。
特别地，在某些实施例中，中间***220可以执行请求格式/语法的转换，以便适应目的地远程***的特性和/或要求。例如，中间***220可以依据第一远程***130-1的要求来生成第一请求，并且依据第二远程***130-2的要求来生成第二请求。该第一请求和第二请求可以具有不同于原始用户请求的语法和/或格式，但是保持用户请求的语义不变。以此方式，远程***130之间的差异由中间***220来处理，使其对于客户端110而言是透明的。这有利于简化客户端的操作。
以上描述了客户端110通过中间***220更新第一远程***130-1和第二远程***130-2中的数据的过程500。该更新可以包括创建、删除和修改中的一个。在一个示例中，当客户端110通过中间***220创建数据时，客户端110在中间***220中定义数据，并且配置用于该数据的多个远程***。如果中间***220从客户端110接收到创建数据的用户请求，并且识别出该数据被定义为具有多个远程***中的多个副本，则向多个远程***分别发送多个用户请求，以在多个远程***上创建数据。在另一个示例中，当客户端110通过中间***220修改或删除数据时，如果中间***220从客户端110接收到修改或删除数据的用户请求，并且识别出该数据被存储在多个远程***中，则向多个远程***分别发送多个用户请求，以在多个远程***上修改或删除数据。通过中间***220管理数据在多个远程***中的多个副本的优点在于，用户不必对每一个远程***进行单独的配置，这减少了用户的工作量，提高了效率。其还可以提高存储***的安全性，例如如果数据在某个远程***中的副本被损毁，数据在其他远程***中的副本仍然是可用的。
图6示出了根据本公开的实施例的中间***220与远程***130-1和130-3相关联地迁移数据的过程600的示意图。如图6所示，中间***220可以从客户端110接收(610)用于将数据从远程***130-3迁移到远程***130-1的用户请求。假设用户请求所针对的目标数据从第三远程***130-3迁移到第一远程***130-1。
响应于该请求，中间***220将用户请求中包含的数据在中间***220中的中间标识转换(620)为该数据在目标远程***(在此例中是第一远程***130-1)中的标识，称为“第一标识”。此外，中间***220将用户请求中包含的数据在中间***220中的中间标识转换为该数据在目标远程***(在此例中是第三远程***130-3)中的标识，称为“第三标识”。在某些实施例中，中间标识被包含在用户请求中。在这样的实施例中，中间***220可以从用户请求中提取中间标识，并且基于标识映射(例如图3所示的映射表300)将中间标识转换为第一标识和第三标识。
在某些实施例中，为了将数据从第三远程***130-3迁移到第一远程***130-1，用户请求中还可以包括访问第一远程***130-1和第三远程***130-3所需的秘钥。在这样的实施例中，中间***220还可以从用户请求中提取秘钥。此外，在某些实施例中，访问数据所需的秘钥可以被存储在中间***220中。
接下来，中间***220利用第三标识从第三远程***130-3获取(630)数据，并且利用第一标识将从第三远程***130-3返回的数据存储(640)到第一远程***130-1。
以上描述了中间***220从客户端110接收迁移数据的用户请求的过程600。在迁移数据期间，从远程***130的角度来看，中间***220是正常的客户端，中间***220仍然可以从远程***获取数据。进一步地，中间***220还可以在确定所迁移的数据被完整地存储在第一远程***130-1中之后，将对于该数据的新的请求发送到第一远程***130-1。更进一步地，中间***220还可以在确定在第三远程***130-3中对于所迁移的数据的现有请求处理完成之后，向第三远程***130-3发送从第三远程***130-3删除数据的请求。
通过使用中间***220，客户端110可以使数据按需在不同远程***之间迁移，改进了数据访问的可用性和性能，提高了数据保护的安全性，消除了客户端110被锁定到特定远程***的风险，使得用户对于他们的数据将具有完全的控制。
除了图6中所述的实现方式之外，在某些实施例中，中间***220可以根据测量多个远程***130的多个方面的结果，自动确定将数据从一个远程***迁移到另一个远程***。中间***220所进行的迁移操作对用户来说是透明的，因此可以在不增加用户工作量的情况下，自动为用户做出最佳选择。也就是说，在这样的实施例中，数据在远程***130之间的迁移是由中间***220触发的，而不是基于来自于客户端110的请求。
在另一些实现中，中间***220还可以从一个或多个远程***130接收将数据在远程***之间迁移的***请求。例如，中间***220可以从远程***130-3接收用于将数据从远程***130-3迁移到远程***130-1的***请求。中间***220可以从***请求中提取数据的在远程***130-3中的第三标识。中间***220可以基于标识映射，将第三标识转换为在中间***220中的中间标识，并且进一步将中间标识转换为在远程***130-1中的第一标识。中间***220利用第三标识从远程***130-3获取数据，并且利用第一标识将数据存储到远程***130-1。通过使用中间***220，不仅使得客户端获益，还简化了远程***之间互操作，提高了整个存储***的灵活性。
图7示出了根据本公开的实施例的方法700的流程图。在某些实施例中，方法700可以在中间***220处被实施。在步骤710中，获取待处理的数据在中间***中的中间标识。在某些实施例中，在步骤710，可以从客户端接收用于在该远程***处操作该数据的用户请求；以及从该用户请求中提取该数据的该中间标识。
接下来，在步骤720中，基于该中间***与远程***之间的标识映射，将该中间标识转换为在该远程***中的第一标识。标识映射例如可以借助于图3所示的映射表300和/或任何其他适当的结构来实现。
在步骤730中，至少部分地基于该第一标识，与该远程***相关联地处理该数据。在某些实施例中，与该远程***相关联地处理该数据包括：基于该用户请求生成用于在该远程***执行该操作的第一请求，该第一请求包含该第一标识；以及向该远程***发送该第一请求。在某些实施例中，生成该第一请求包括：利用与该用户请求不同的语法来生成该第一请求。在某些实施例中，该用户请求和该第一请求中的至少一个包括与该数据相关联的秘钥。
在某些实施例中，该用户请求中的该操作包括对该数据的读取。此时，在步骤730，可以从该远程***接收该数据；以及将该数据发送给该客户端。
例如，在某些实施例中，该远程***是第一远程***，并且该用户请求中的该操作包括对该数据在该第一远程***的更新。在某些实施例中，更新例如可以包括以下至少一项：创建、删除、修改。在这样的实施例中，在步骤730，可以基于该中间***与第二远程***之间的标识映射，将该数据的该中间标识转换为该数据在该第二远程***的第二标识；生成用于在该第二远程***处对该数据进行该更新的第二请求，该第二请求包含该第二标识；以及向该第二远程***发送该第二请求。
在某些实施例中，该远程***是第一远程***。在这样的实施例中，在步骤730，可以基于中间***与第三远程***之间的标识映射，将中间标识符转换为数据在该第三远程***中的第三标识，第三远程***不同于第一远程***；利用第三标识从第三远程***获取数据；以及利用第一标识将数据存储到第一远程***。
在某些实施例中，在步骤730，还可以响应于以下至少一项而从该第三远程***删除该数据：确定该数据已被完整地存储在该第一远程***，以及针对该数据的未决请求的处理完成。
图8示出了根据本公开的实施例的装置800的示意性框图。装置800例如可以在中间***220处实施，或者直接充当中间***220本身。如图所示，装置800包括标识获取单元810、标识映射单元820和数据处理单元830。
标识获取单元810被配置为从客户端接收的用户请求中提取待处理的数据的中间标识。
标识映射单元820被配置为基于中间***与远程***之间的标识映射，将中间标识转换为在远程***中的第一标识。数据处理单元830被配置为至少部分地基于第一标识而与远程***相关联地处理数据。
在某些实施例中，标识获取单元810被配置为从客户端接收用于在该远程***处操作该数据的用户请求；以及从该用户请求中提取该数据的该中间标识。
在某些实施例中，数据处理单元830被配置为基于该用户请求生成用于在该远程***执行该操作的第一请求，该第一请求包含该第一标识；以及向该远程***发送该第一请求。例如，在某些实施例中，数据处理单元830被配置为利用与该用户请求不同的语法来生成该第一请求。备选地或附加地，在某些实施例中，该用户请求和该第一请求中的至少一个包括与该数据相关联的秘钥。
在某些实施例中，该用户请求中的该操作包括对该数据的读取。在这样的实施例中，数据处理单元830被配置为从该远程***接收该数据；以及将该数据发送给该客户端。
在某些实施例中，该远程***是第一远程***，并且该用户请求中的该操作包括对该数据在该第一远程***的更新。在这样的实施例中，数据处理单元830被配置为：基于该中间***与第二远程***之间的标识映射，将该数据的该中间标识转换为该数据在该第二远程***的第二标识；生成用于在该第二远程***处对该数据进行该更新的第二请求，该第二请求包含该第二标识；以及向该第二远程***发送该第二请求。
在某些实施例中，该远程***是第一远程***。在这样的实施例中，数据处理单元830被配置为：基于中间***与第三远程***之间的标识映射，将中间标识符转换为数据在该第三远程***中的第三标识，第三远程***不同于第一远程***；利用第三标识从第三远程***获取数据；以及利用第一标识将数据存储到第一远程***。
在某些实施例中，数据处理单元830还被配置为响应于以下至少一项而从该第三远程***删除该数据：确定该数据已被完整地存储在该第一远程***，以及针对该数据的未决请求的处理完成。
装置800中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一个实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置800中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图9示出了适于用来实现本公开实施例的电子设备900的意性框图。如图所示，设备900包括中央处理单元(CPU)910，其可以根据存储在只读存储器(ROM)920中的计算机程序指令或者从存储单元980加载到随机访问存储器(RAM)930中的计算机程序指令，来执行各种适当的动作和处理。在RAM 930中，还可存储设备900操作所需的各种程序和数据。CPU910、ROM 920以及RAM 930通过总线940彼此相连。输入/输出(I/O)接口950也连接至总线940。
设备900中的多个部件连接至I/O接口950，包括：输入单元960，例如键盘、鼠标等；输出单元970，例如各种类型的显示器、扬声器等；存储单元980，例如磁盘、光盘等；以及通信单元990，例如网卡、调制解调器、无线通信收发机等。通信单元990允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如过程/方法400、500、600和700，可由处理单元910执行。例如，在一些实施例中，方法/方法400、500、600和700可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元980。在一些实施例中，计算机程序的部分或者全部可以经由ROM 920和/或通信单元990而被载入和/或安装到设备900上。当计算机程序被加载到RAM 930并由CPU910执行时，可以执行上文描述的方法400、500、600和700的一个或多个步骤。备选地，在其他实施例中，CPU 901也可以以其他任何适当的方式被配置以实现上述过程/方法。
通过以上描述和相关附图中所给出的教导，这里所给出的本公开的许多修改形式和其它实施方式将被本公开相关领域的技术人员所意识到。因此，所要理解的是，本公开的实施方式并不局限于所公开的具体实施方式，并且修改形式和其它实施方式意在包括在本公开的范围之内。此外，虽然以上描述和相关附图在部件和/或功能的某些示例组合形式的背景下对示例实施方式进行了描述，但是应当意识到的是，可以由备选实施方式提供部件和/或功能的不同组合形式而并不背离本公开的范围。就这点而言，例如，与以上明确描述的有所不同的部件和/或功能的其它组合形式也被预期处于本公开的范围之内。虽然这里采用了具体术语，但是它们仅以一般且描述性的含义所使用而并非意在进行限制。

Claims (17)

1.一种数据处理方法，包括：
获取待处理的数据在中间***中的中间标识，其中获取所述中间标识包括：
从客户端接收用于从多个远程***读取所述数据的用户请求，其中所述数据被复制在所述多个远程***上；以及
从所述用户请求中提取所述数据的所述中间标识；
经由所述中间***来测量与所述多个远程***相关联的多个性能方面；
至少部分地基于与所述多个远程***相关联的经测量的所述多个性能方面，经由所述中间***来从所述多个远程***中选择用于读取所述数据的第一远程***；
基于由映射表定义的在所述中间***与所述多个远程***中的所述第一远程***之间的标识映射，将所述中间标识转换为在所述第一远程***中的第一标识，所述映射表被存储在所述中间***内；以及
至少部分地基于所述第一标识，与所述远程***相关联地处理所述数据，其中与所述远程***相关联地处理所述数据包括：
基于所述用户请求，生成用于从所述多个远程***的所述第一远程***读取所述数据的第一请求，其中所述第一请求包括所述第一标识；以及
向所述远程***传输所述第一请求。
2.根据权利要求1所述的方法，其中与所述远程***相关联地处理所述数据还包括：
从所述远程***接收所述数据；以及
将所述数据发送给所述客户端。
3.根据权利要求1所述的方法，其中所述远程***是第一远程***，并且所述用户请求还包括对所述数据在所述第一远程***的更新，其中与所述远程***相关联地处理所述数据还包括：
基于所述中间***与第二远程***之间的标识映射，将所述数据的所述中间标识转换为所述数据在所述第二远程***的第二标识；
生成用于在所述第二远程***处对所述数据进行所述更新的第二请求，所述第二请求包含所述第二标识；以及
向所述第二远程***发送所述第二请求。
4.根据权利要求3所述的方法，其中所述更新包括以下至少一项：创建、删除、修改。
5.根据权利要求1所述的方法，其中生成所述第一请求包括：
利用与所述用户请求不同的语法来生成所述第一请求。
6.根据权利要求1所述的方法，其中所述用户请求和所述第一请求中的至少一个包括与所述数据相关联的秘钥。
7.根据权利要求1所述的方法，其中所述远程***是第一远程***，并且与所述远程***相关联地处理所述数据包括：
基于所述中间***与第三远程***之间的标识映射，将所述中间标识符转换为所述数据在所述第三远程***中的第三标识，所述第三远程***不同于所述第一远程***；
利用所述第三标识从所述第三远程***获取所述数据；以及
利用所述第一标识将数据存储到所述第一远程***。
8.根据权利要求7所述的方法，还包括：
响应于以下至少一项而从所述第三远程***删除所述数据：
确定所述数据已被完整地存储在所述第一远程***，以及
针对所述数据的未决请求的处理完成。
9.一种电子设备，包括：
至少一个处理单元；以及
至少一个存储器，其耦合至所述至少一个处理单元并且存储有机器可执行指令，当所述指令由所述至少一个处理单元执行时，使得所述至少一个处理单元被配置为：
获取待处理的数据在中间***中的中间标识，其中获取所述中间标识包括：
从客户端接收用于从多个远程***读取所述数据的用户请求，其中所述数据被复制在所述多个远程***上；以及
从所述用户请求中提取所述数据的所述中间标识；
经由所述中间***来测量与所述多个远程***相关联的多个性能方面；
至少部分地基于与所述多个远程***相关联的经测量的所述多个性能方面，经由所述中间***来从所述多个远程***中选择用于读取所述数据的第一远程***；
基于由映射表定义的在所述中间***与所述多个远程***中的所述第一远程***之间的标识映射，将所述中间标识转换为在所述第一远程***中的第一标识，所述映射表被存储在所述中间***内；以及
至少部分地基于所述第一标识，与所述远程***相关联地处理所述数据，其中与所述远程***相关联地处理所述数据包括：
基于所述用户请求，生成用于从所述多个远程***的所述第一远程***读取所述数据的第一请求，其中所述第一请求包括所述第一标识；以及
向所述远程***传输所述第一请求。
10.根据权利要求9所述的设备，其中所述至少一个处理单元被配置为：
从所述远程***接收所述数据；以及
将所述数据发送给所述客户端。
11.根据权利要求9所述的设备，其中所述远程***是第一远程***，并且所述用户请求还包括对所述数据在所述第一远程***的更新，其中所述至少一个处理单元被配置为：
基于所述中间***与第二远程***之间的标识映射，将所述数据的所述中间标识转换为所述数据在所述第二远程***的第二标识；
生成用于在所述第二远程***处对所述数据进行所述更新的第二请求，所述第二请求包含所述第二标识；以及
向所述第二远程***发送所述第二请求。
12.根据权利要求11所述的设备，其中所述更新包括以下至少一项：创建、删除、修改。
13.根据权利要求9所述的设备，其中所述至少一个处理单元被配置为：
利用与所述用户请求不同的语法来生成所述第一请求。
14.根据权利要求9所述的设备，其中所述用户请求和所述第一请求中的至少一个包括与所述数据相关联的秘钥。
15.根据权利要求9所述的设备，其中所述远程***是第一远程***，并且所述至少一个处理单元被配置为：
基于所述中间***与第三远程***之间的标识映射，将所述中间标识符转换为所述数据在所述第三远程***中的第三标识，所述第三远程***不同于所述第一远程***；
利用所述第三标识从所述第三远程***获取所述数据；以及
利用所述第一标识将数据存储到所述第一远程***。
16.根据权利要求15所述的设备，其中所述至少一个处理单元还被配置为包括：
响应于以下至少一项而从所述第三远程***删除所述数据：
确定所述数据已被完整地存储在所述第一远程***，以及
针对所述数据的未决请求的处理完成。
17.一种计算机可读存储介质，其上存储有程序代码，所述程序代码被配置为在执行时使装置执行根据权利要求1至8中任一项所述的方法的步骤。
CN201610453751.8A 2016-06-21 2016-06-21 数据处理方法和设备 Active CN107526530B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610453751.8A CN107526530B (zh) 2016-06-21 2016-06-21 数据处理方法和设备
US15/628,624 US20170364293A1 (en) 2016-06-21 2017-06-20 Method and apparatus for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610453751.8A CN107526530B (zh) 2016-06-21 2016-06-21 数据处理方法和设备

Publications (2)

Publication Number Publication Date
CN107526530A CN107526530A (zh) 2017-12-29
CN107526530B true CN107526530B (zh) 2021-02-19

Family

ID=60660186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610453751.8A Active CN107526530B (zh) 2016-06-21 2016-06-21 数据处理方法和设备

Country Status (2)

Country Link
US (1) US20170364293A1 (zh)
CN (1) CN107526530B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209098A1 (en) * 2018-06-15 2021-07-08 Micro Focus Llc Converting database language statements between dialects
JP2022180956A (ja) * 2021-05-25 2022-12-07 富士通株式会社 情報処理装置，プログラム及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置
CN104239122A (zh) * 2014-09-04 2014-12-24 华为技术有限公司 一种虚拟机迁移方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285681B2 (en) * 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US9348840B2 (en) * 2012-12-14 2016-05-24 Intel Corporation Adaptive data striping and replication across multiple storage clouds for high availability and performance
US9280678B2 (en) * 2013-12-02 2016-03-08 Fortinet, Inc. Secure cloud storage distribution and aggregation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180852A (zh) * 2012-08-09 2013-06-26 华为技术有限公司 分布式数据处理方法及装置
CN104239122A (zh) * 2014-09-04 2014-12-24 华为技术有限公司 一种虚拟机迁移方法和装置

Also Published As

Publication number Publication date
CN107526530A (zh) 2017-12-29
US20170364293A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6381776B2 (ja) コンテンツアイテムの共有のための未登録ユーザアカウントの生成
US10210191B2 (en) Accelerated access to objects in an object store implemented utilizing a file storage system
US9952940B2 (en) Method of operating a shared nothing cluster system
US10656972B2 (en) Managing idempotent operations while interacting with a system of record
WO2019166940A2 (en) Transactional operations in multi-master distributed data management systems
CN110019080B (zh) 数据访问方法和装置
CN110413595B (zh) 一种应用于分布式数据库的数据迁移方法和相关装置
CN107103011B (zh) 终端数据搜索的实现方法和装置
KR20220038827A (ko) 데이터 저장소를 파티셔닝하고 리밸런싱하는 기법
US10262024B1 (en) Providing consistent access to data objects transcending storage limitations in a non-relational data store
CN108093026B (zh) 多租户请求的处理方法及装置
US11494403B2 (en) Method and apparatus for storing off-chain data
US10783073B2 (en) Chronologically ordered out-of-place update key-value storage system
CN113395340A (zh) 一种信息更新方法、装置、设备、***和可读存储介质
CN115840956A (zh) 一种文件处理方法、装置、服务器及介质
US20220035844A1 (en) Centralized database system with geographically partitioned data
CN111371851A (zh) 一种连接方法、装置及电子设备和存储介质
CN107526530B (zh) 数据处理方法和设备
US9948694B2 (en) Addressing application program interface format modifications to ensure client compatibility
US11394748B2 (en) Authentication method for anonymous account and server
US11151110B2 (en) Identification of records for post-cloning tenant identifier translation
US11205049B2 (en) Method for managing semantic information on M2M/IoT platform
KR20120073799A (ko) 클라우드 스토리지 기반의 데이터 동기화 및 서비스 제공 장치와 방법
US11526446B1 (en) Modifying caching amongst services from a history of requests and responses
US20220075830A1 (en) Resumable ordered recursive traversal of an unordered directory tree

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200413

Address after: Massachusetts, USA

Applicant after: EMC IP Holding Company LLC

Address before: Ma Sazhusaizhou

Applicant before: EMC Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant