CN106708435A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN106708435A
CN106708435A CN201611153402.0A CN201611153402A CN106708435A CN 106708435 A CN106708435 A CN 106708435A CN 201611153402 A CN201611153402 A CN 201611153402A CN 106708435 A CN106708435 A CN 106708435A
Authority
CN
China
Prior art keywords
data
hard disk
buffer zone
utilization rate
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611153402.0A
Other languages
English (en)
Inventor
金帅
李伟
马鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201611153402.0A priority Critical patent/CN106708435A/zh
Publication of CN106708435A publication Critical patent/CN106708435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本公开提供了数据处理方法及装置，其中，所述方法包括：在第一类硬盘存储的数据中确定使用率最低的第一目标数据；将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。本公开可以将第一类硬盘存储的数据中使用率最低的第一目标数据存储到第二类硬盘中，即将常用数据存放在数据读写速度较快的第一类硬盘上，将不常用数据存放在数据读写速度较慢的第二类硬盘上。在提高部分成本的情况下，提高了数据读写速度，从而在硬盘的成本和数据读写性能上达到平衡。

Description

数据处理方法及装置
技术领域
本公开涉及通信领域，尤其涉及数据处理方法及装置。
背景技术
目前，电子商务的需求日益增加，电商数据库***的操作响应速度，直接影响到电子商务***的响应速度，对用户体验有直接影响。
相关技术中，可以采用固态硬盘或机械硬盘存储数据库的数据。如果采用固态硬盘，虽然数据读写速度较快，但是价格较为昂贵。如果采用机械硬盘，虽然成本较低，但数据读写速度较慢。即无法在硬盘的成本和数据读写速度方面达到平衡。
发明内容
有鉴于此，本公开提供了数据处理方法及装置，以解决相关技术中的不足。
根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：
在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
可选地，所述在第一类硬盘存储的数据中确定使用率最低的第一目标数据，包括：
将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。
可选地，采用以下方式确定第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据：
根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据；
统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据；
将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
可选地，所述缓存区域的数目为多个时，还包括：
在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据；
将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据；
其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
可选地，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
可选地，还包括：
存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。
根据本公开实施例的第二方面，提供一种数据处理装置，所述装置包括：
第一确定模块，被配置为在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
第一数据处理模块，被配置为将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
可选地，所述第一确定模块包括：
确定子模块，被配置为将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。
可选地，所述确定子模块包括：
标记单元，被配置为根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据；
统计单元，被配置为统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据；
确定单元，被配置为将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
可选地，还包括：
第二确定模块，被配置为在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据；
第二数据处理模块，被配置为将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据；
其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
可选地，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
可选地，还包括：
数据存储模块，被配置为存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。
根据本公开实施例的第三方面，提供一种数据处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，可以在第一类硬盘存储的数据中确定使用率最低的第一目标数据，进而将所述第一目标数据存储到第二类硬盘上，并在所述第一类硬盘上删除所述第一目标数据。其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。通过上述过程，可以将第一类硬盘存储的数据中使用率最低的第一目标数据存储到第二类硬盘中，即将常用数据存放在数据读写速度较快的第一类硬盘上，将不常用数据存放在数据读写速度较慢的第二类硬盘上。在提高部分成本的情况下，提高了数据读写速度，从而在硬盘的成本和数据读写性能上达到平衡。
本公开实施例中，可以将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。可选地，可以根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据。统计预设周期内每个缓存区域存储的数据中被标记次数最少的数据，即第二数据。本公开实施例中，所述第二数据即为相应的缓存区域存储的数据中使用率最低的数据。实现简便，可用性高。
本公开实施例中，考虑到在对数据库进行全表扫描时，采用上述近期最少使用算法，会将原本存储在第一类硬盘上的大量数据改为存储到第二类硬盘上，导致高速数据读写区域被污染。为了避免上述情况，可以将第一类硬盘划分为多个缓存区域，并按照使用率将数据存放在不同的缓存区域中。
本公开实施例中，可以将第一缓存区域存储的数据中满足数据交换条件的第二目标数据，改为存储到第二缓存区域中。其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率，所述数据交换条件为在第二预设时间段内被访问次数达到预设值。通过在第二预设时间段内被访问次数来衡量使用率，实现了按照使用率将数据存放在不同的缓存区域中的目的。
本公开实施例中，电子商务***规模较小时，数据库的联表查询概率也较低电子商务***，此时可以将存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。进一步地，将常用数据存放在数据读写速度较快的第一类硬盘上，将不常用数据存放在数据读写速度较慢的第二类硬盘上。在提高部分成本的情况下，提高了数据读写速度，从而在硬盘的成本和数据读写性能上达到平衡。
本公开实施例中，可以通过调整第一类硬盘在全部硬盘中所占比例，来相应调整数据读写速度。同时，引入数据读写速度较慢但成本较低的第二类硬盘，从而在硬盘的成本和数据读写性能上找到平衡点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种数据处理方法流程图；
图2是本公开根据一示例性实施例示出的另一种数据处理方法流程图；
图3A至3B是本公开根据一示例性实施例示出的数据处理场景示意图；
图4是本公开根据一示例性实施例示出的另一种数据处理方法流程图；
图5是本公开根据一示例性实施例示出的一种数据处理场景示意图；
图6是本公开根据一示例性实施例示出的另一种数据处理场景示意图；
图7是本公开根据一示例性实施例示出的一种数据处理装置框图；
图8是本公开根据一示例性实施例示出的另一种数据处理装置框图；
图9是本公开根据一示例性实施例示出的另一种数据处理装置框图；
图10是本公开根据一示例性实施例示出的另一种数据处理装置框图；
图11是本公开根据一示例性实施例示出的另一种数据处理装置框图；
图12是本公开根据一示例性实施例示出的一种用于数据处理装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供的数据处理方法可以用于电子商务***。如图1所示，图1是根据一示例性实施例示出的一种数据处理方法，包括以下步骤：
在步骤101中，在第一类硬盘存储的数据中确定使用率最低的第一目标数据。
本公开实施例中，可选地，所述第一类硬盘可以是数据读写速度较快的硬盘，例如固态硬盘。所述第一类硬盘包括至少一个缓存区域。
本步骤中，电子商务***可以将所述第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。可选地，确定第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据的过程，如图2所示，图2是在前述图1所示实施例的基础上示出的另一种数据处理方法，包括以下步骤：
在步骤101-1中，根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据。
本步骤中，每个缓存区域可以采用列队方式对数据进行存储，如图3A所示。根据近期最少使用算法，相关技术可以在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据，可选地，可以将所述第一数据移动到队列头部，例如图3B所示，且将所述第一数据被标记的次数增加一次。
在步骤101-2中，统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据。
本步骤中，可以在预设周期内统计每个缓存区域存储的数据中被标记次数最少的数据，即第二数据。
例如缓存区域1存储的数据包括数据1、数据2、……数据n。在预设周期内统计出缓存区域1存储的上述数据中被标记的次数最少的，假设数据m被标记的次数最少，则数据m为所述第二数据。
在步骤101-3中，将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
本步骤中，可以将每个缓存区域中的第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
例如，第一类硬盘包括2个缓存区域，缓存区域1中确定的第二数据为数据m1，缓存区域2中确定的第二数据为数据m2，则m1和m2分别为缓存区域1和缓存区域2存储的数据中使用率最低的数据。
在步骤102中，将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据。
本公开实施例中，可选地，所述第二类硬盘可以是数据读写速度低于所述第一类硬盘的数据读写速度的硬盘，例如机械硬盘。所述第一类硬盘包括至少一个缓存区域。一般情况下，读写速度快的硬盘成本较高，即所述第一类硬盘的成本高于第二类硬盘的成本。
本步骤中，可以按照相关技术将所述第一目标数据存储到第二类硬盘中，且在所述第一类硬盘中删除所述第一目标数据。所述第一目标数据就是第一类硬盘存储的数据中使用率最低的数据。其中，如果所述第一类硬盘包括不止一个缓存区域，则每个缓存区域对应的第一目标数据均改为存放到第二类硬盘上。
通过上述过程将第一类硬盘存储的数据中使用率最低的第一目标数据存储到第二类硬盘中，从而将常用数据存放在数据读写速度较快的第一类硬盘上，将不常用数据存放在数据读写速度较慢的第二类硬盘上。
上述实施例中，可以在第一类硬盘存储的数据中确定使用率最低的第一目标数据，进而将所述第一目标数据存储到第二类硬盘上，并在所述第一类硬盘上删除所述第一目标数据。其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。通过上述过程，可以将第一类硬盘存储的数据中使用率最低的第一目标数据存储到第二类硬盘中，即将常用数据存放在数据读写速度较快的第一类硬盘上，将不常用数据存放在数据读写速度较慢的第二类硬盘上。在提高部分成本的情况下，提高了数据读写速度，从而在硬盘的成本和数据读写性能上达到平衡。
应当注意地是，在对数据库进行全表扫描时，采用上述近期最少使用算法，会将原本存储在第一类硬盘上的大量的数据改为存储到第二类硬盘上，导致高速数据读写区域被污染。其中，所述全表扫描是搜寻数据列表的每一条记录的过程，直到查找到所有符合给定条件的记录返回为止。为了避免上述情况，可以将第一类硬盘划分为多个缓存区域，并按照使用率将数据存放在不同的缓存区域中。
因此，本公开实施例中，上述数据处理方法如图4所示，图4是根据一实施例示出的另一种数据处理方法，还包括以下步骤：
在步骤201中，在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据。
其中，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
本公开实施例中，所述第一缓存区域中存储的数据的使用率较低。
本步骤中，可以通过在所述第二预设时间段内数据的被访问次数来衡量数据的使用率。在确定所述第二目标数据时，可以将所述第一缓存区域存储的数据中在第二预设时间段内被访问次数达到预设值的数据作为所述第二目标数据。
可选地，所述第二预设时间段的时长和所述预设值可以根据实际情况进行调整。
在步骤202中，将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据。
本步骤中，将第一缓存区域中使用率满足数据交换条件的第二目标数据改为存储到第二缓存区域中。即将所述第二目标数据按照相关技术存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据。
例如，图5所示，第一缓存区域中数据在第二预设时间段内被访问次数达到预设值，则将数据k改为存储到第二缓存区域中。
上述实施例中，需要维护在每个缓存区域中的数据列表，从而达到按照使用率将数据存放在不同的缓存区域的目的。
本公开实施例中，可以将存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。所述列存储是按字段进行存储。
例如数据表1如下：
表1
购买时间 用户名 购买商品
时间1 张三 商品a
时间2 李四 商品b
…… …… ……
如果按照列存储就变为时间1，时间2，……；张三，李四，……；商品a，商品b，……。
列存储方式一般情况下不适用于联机事务处理，即不适用于记录即时的增加、删除、修改和查询等，如果电子商务***规模较大，则列存储方式就不再适用。因此，本公开实施例提供的上述数据处理方法适用于联表查询概率较低的情况，联表查询是指查询数据库中所有数据列表，通过一次查询获得所需要结果的查询。即电子商务***规模较小的情况。此时，可以将数据按照列存储方式进行存储。
本公开实施例中，可以看出如果第一类硬盘的数目越多，数据读写速度也就越快，电子商务***就可以越快响应用户请求。但是第一类硬盘所占比例过多时，数据读写速度的增加就变得不太明显，而成本却会增多很多。因此，需要调整所有硬盘中第一类硬盘所占比例，引入数据读写速度较慢但成本较低的第二类硬盘，从而在硬盘的成本和数据读写性能上找到平衡点。
下面对上述数据处理方法进一步举例说明如下。
本公开实施例提供的上述数据处理方法适用于数据库联表查询概率较低的情况，即电子商务***规模较小的情况。假设第一类硬盘为固态硬盘，第二类硬盘为机械硬盘，固态硬盘的数据读写速度高于机械硬盘的数据读写速度，且固态硬盘的成本高于机械硬盘的成本。所有数据按照列存储方式进行存储。
固态硬盘被划分为两个缓存区域，分别为第一缓存区域和第二缓存区域，其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
如果检测到第一缓存区域存储的数据中的某一数据，在第二预设时间段内被访问次数达到预设值，则将该数据作为第二目标数据，并存放到第二缓存区域中，例如图5所示。
每个缓存区域中均采用近期最少使用算法，每间隔第一预设时间段就标记出两个缓存区域存储的数据中使用率最高的第一数据，进一步地，统计预设周期内上述两个缓存区域存储的数据中被标记次数最少的第二数据，将其作为第一目标数据改为存储到机械硬盘中，例如图6所示。
上述实施例需要维护在两个缓存区域内的数据列表，且需要根据实际情况调整第一预设时间段和第二预设时间段的时长，避免因上述预设时间段的时长配置不当，造成数据读写速度低于只采用近期最少使用算法时的数据读写速度。另外，可以通过调整第一类硬盘在全部硬盘中所占比例，来相应调整数据读写速度。同时，引入数据读写速度较慢但成本较低的第二类硬盘，从而在硬盘的成本和数据读写性能上找到平衡点。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图7所示，图7是本公开根据一示例性实施例示出的一种数据处理装置框图，所述装置包括：
第一确定模块310，被配置为在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
第一数据处理模块320，被配置为将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
如图8所示，图8本公开根据一示例性实施例示出的另一种数据处理装置框图，该实施例在前述图7实施例的基础上，所述第一确定模块310包括：
确定子模块311，被配置为将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。
如图9所示，图9本公开根据一示例性实施例示出的另一种数据处理装置框图，该实施例在前述图8实施例的基础上，所述确定子模块311包括：
标记单元3111，被配置为根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据；
统计单元3112，被配置为统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据；
确定单元3113，被配置为将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
如图10所示，图10本公开根据一示例性实施例示出的另一种数据处理装置框图，该实施例在前述图7实施例的基础上，还包括：
第二确定模块330，被配置为在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据；
第二数据处理模块340，被配置为将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据；
其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
可选地，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
如图11所示，图11本公开根据一示例性实施例示出的另一种数据处理装置框图，该实施例在前述图7实施例的基础上，还包括：
数据存储模块350，被配置为存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本公开还提供一种数据处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
如图12所示，图12是根据一示例性实施例示出的一种数据处理装置1200的一结构示意图。例如，装置1200可以被提供为电子商务***。参照图12，装置1200包括处理组件1222，其进一步包括一个或多个处理器，以及由存储器1232所代表的存储器资源，用于存储可由处理组件1222的执行的指令，例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1222被配置为执行指令，以执行上述数据处理方法。
装置1200还可以包括一个电源组件1226被配置为执行装置1200的电源管理，一个有线或无线网络接口1250被配置为将装置1200连接到网络，和一个输入输出(I/O)接口1258。装置1200可以操作基于存储在存储器1232的操作***，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：
在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
2.根据权利要求1所述的方法，其特征在于，所述在第一类硬盘存储的数据中确定使用率最低的第一目标数据，包括：
将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。
3.根据权利要求2所述的方法，其特征在于，采用以下方式确定第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据：
根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据；
统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据；
将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
4.根据权利要求3所述的方法，其特征在于，所述缓存区域的数目为多个时，还包括：
在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据；
将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据；
其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
5.根据权利要求4所述的方法，其特征在于，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：
存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。
7.一种数据处理装置，其特征在于，所述装置包括：
第一确定模块，被配置为在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
第一数据处理模块，被配置为将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：
确定子模块，被配置为将第一类硬盘所包括的至少一个缓存区域存储的数据中使用率最低的数据作为第一目标数据。
9.根据权利要求8所述的装置，其特征在于，所述确定子模块包括：
标记单元，被配置为根据近期最少使用算法，在每个缓存区域存储的数据中每间隔第一预设时间段标记出使用率最高的第一数据；
统计单元，被配置为统计预设周期内所述每个缓存区域存储的数据中被标记次数最少的第二数据；
确定单元，被配置为将所述第二数据作为相应的缓存区域存储的数据中使用率最低的数据。
10.根据权利要求9所述的装置，其特征在于，还包括：
第二确定模块，被配置为在第一缓存区域存储的数据中确定满足数据交换条件的第二目标数据；
第二数据处理模块，被配置为将所述第二目标数据存储到第二缓存区域后，在所述第一缓存区域中删除所述第二目标数据；
其中，所述第一缓存区域中存储的数据的使用率低于所述第二缓存区域中存储的数据的使用率。
11.根据权利要求10所述的装置，其特征在于，所述数据交换条件包括：
在第二预设时间段内被访问次数达到预设值。
12.根据权利要求7-11任一项所述的装置，其特征在于，还包括：
数据存储模块，被配置为存储在所述第一类硬盘或所述第二类硬盘中的数据采用列存储方式进行存储。
13.一种数据处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
在第一类硬盘存储的数据中确定使用率最低的第一目标数据；
将所述第一目标数据存储到第二类硬盘后，在所述第一类硬盘中删除所述第一目标数据；
其中，所述第一类硬盘的数据读写速度高于所述第二类硬盘的数据读写速度。
CN201611153402.0A 2016-12-14 2016-12-14 数据处理方法及装置 Pending CN106708435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611153402.0A CN106708435A (zh) 2016-12-14 2016-12-14 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611153402.0A CN106708435A (zh) 2016-12-14 2016-12-14 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN106708435A true CN106708435A (zh) 2017-05-24

Family

ID=58937106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611153402.0A Pending CN106708435A (zh) 2016-12-14 2016-12-14 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106708435A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045925A (zh) * 2019-03-05 2019-07-23 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN110688350A (zh) * 2018-06-19 2020-01-14 阿里巴巴集团控股有限公司 一种存储日志的方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存***和在缓存***中缓存数据的方法
US20120054421A1 (en) * 2010-08-25 2012-03-01 Hitachi, Ltd. Information device equipped with cache memories, apparatus and program using the same device
CN102520885A (zh) * 2011-12-15 2012-06-27 清华大学 一种混合硬盘的数据管理***
CN103927129A (zh) * 2014-03-14 2014-07-16 汉柏科技有限公司 数据存储方法
CN104008075A (zh) * 2014-05-26 2014-08-27 华中科技大学 一种分布式存储***请求的处理方法
CN104731523A (zh) * 2013-12-24 2015-06-24 国际商业机器公司 非易失性分级存储***中的协同管理的方法及其控制器
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054421A1 (en) * 2010-08-25 2012-03-01 Hitachi, Ltd. Information device equipped with cache memories, apparatus and program using the same device
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存***和在缓存***中缓存数据的方法
CN102520885A (zh) * 2011-12-15 2012-06-27 清华大学 一种混合硬盘的数据管理***
CN104731523A (zh) * 2013-12-24 2015-06-24 国际商业机器公司 非易失性分级存储***中的协同管理的方法及其控制器
CN103927129A (zh) * 2014-03-14 2014-07-16 汉柏科技有限公司 数据存储方法
CN104008075A (zh) * 2014-05-26 2014-08-27 华中科技大学 一种分布式存储***请求的处理方法
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688350A (zh) * 2018-06-19 2020-01-14 阿里巴巴集团控股有限公司 一种存储日志的方法、装置
CN110688350B (zh) * 2018-06-19 2023-05-09 阿里巴巴集团控股有限公司 一种存储日志的方法、装置
CN110045925A (zh) * 2019-03-05 2019-07-23 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US8793427B2 (en) Remote memory for virtual machines
JP6498767B2 (ja) データベースの口座に関連する取引要求の効率的な処理のためのシステム
JP2020513176A5 (zh)
EP3640813B1 (en) Cluster-based random walk method and apparatus
CN106547784A (zh) 一种数据拆分存储方法及装置
CN103995674A (zh) 访问请求处理方法、装置和设备
CN110287152B (zh) 一种数据管理的方法以及相关装置
CN107402950A (zh) 基于分库分表的文件处理方法和装置
US20230205925A1 (en) Generating hash values for input strings
CN106888381A (zh) 一种数据资源存储方法及装置
CN107577787A (zh) 关联数据信息入库的方法及***
CN105224560A (zh) 缓存数据的查找方法和装置
CN106708435A (zh) 数据处理方法及装置
CN109542612A (zh) 一种热点关键字获取方法、装置及服务器
US20190149478A1 (en) Systems and methods for allocating shared resources in multi-tenant environments
CN109145621A (zh) 文档管理方法及装置
CN107483565B (zh) 一种服务后台识别方法、代理服务器及计算机存储介质
CN107807793A (zh) 分布式计算机存储***中数据副本异构存储与访问方法
CN107896194A (zh) 一种路由查找方法、装置和存储介质
US9406083B2 (en) Ranked navigation element
CN117076341A (zh) 数据存储方法、装置、计算机设备及计算机可读存储介质
CN104298614B (zh) 数据块在存储设备中存储方法和存储设备
CN106339183A (zh) 数据检索的方法及服务器
US10558634B2 (en) Multi-user probabalistic array
CN107562533A (zh) 一种数据加载处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524

RJ01 Rejection of invention patent application after publication