CN109656485A - 区分热数据和冷数据的方法 - Google Patents

区分热数据和冷数据的方法 Download PDF

Info

Publication number
CN109656485A
CN109656485A CN201811585889.9A CN201811585889A CN109656485A CN 109656485 A CN109656485 A CN 109656485A CN 201811585889 A CN201811585889 A CN 201811585889A CN 109656485 A CN109656485 A CN 109656485A
Authority
CN
China
Prior art keywords
data
queue
cold
clicks
dsc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811585889.9A
Other languages
English (en)
Inventor
李皓智
朱啟傲
张静
张洋
胡健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Core Electronics Co Ltd
Original Assignee
Hefei Core Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Core Electronics Co Ltd filed Critical Hefei Core Electronics Co Ltd
Priority to CN201811585889.9A priority Critical patent/CN109656485A/zh
Publication of CN109656485A publication Critical patent/CN109656485A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种区分热数据和冷数据的方法，包括以下步骤：(1)将设备分为N份数据，编号为0～N‑1，用队列进行管理这些数据，队列的长度为L，1≤L≤N，队列中每个节点记录一份数据的点击次数；(2)每次刷新数据时，其中第i份数据被点击到，就把第i份数据放到队列的第一个位置；(3)一段时间之后，取队列中前M个数据的点击次数与计数阈值作比较，点击次数大于计数阈值的节点作为热数据，否则作为冷数据。本发明可以用少量的RAM，搭配一些权重机制来有效地区分热/冷数据，在主机写入的当下就可以精确预测是否为热/冷数据。

Description

区分热数据和冷数据的方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种区分热数据和冷数据的方法。
背景技术
目前有很多方法区分热/冷数据，但是都需要用很大的表来记录LBA点击的次数，设备尺寸越大，需要的表也就越大；有些则是不够精确，譬如只参考删除次数来决定是否为冷数据。
发明内容
基于背景技术存在的技术问题，本发明提出了一种区分热数据和冷数据的方法，本方法提出如何用少量的RAM，搭配一些权重机制来有效地区分热/冷数据，在主机写入的当下就可以精确预测是否为热/冷数据。
本发明采用的技术方案是：
区分热数据和冷数据的方法，其特征在于，包括以下步骤：
(1)将设备分为N份数据，编号为0～N-1，用队列进行管理这些数据，队列的长度为L，1≤L≤N，队列中每个节点记录一份数据的点击次数；
(2)每次刷新数据时，其中第i份数据被点击到，就把第i份数据放到队列的第一个位置；
(3)一段时间之后，取队列中前M个数据的点击次数与计数阈值作比较，点击次数大于计数阈值的节点作为热数据，否则作为冷数据。
本发明的原理是：
本发明将设备分为N份数据，每份数据涵盖一个LBA范围，若主机写入的LBA在队列里，则判断为击中并且移动队列的前面；若没有在队列里，则直接放到队列的前面；随着时间，***会将点击次数较高的LBA范围放在前面的热数据区域，而很少或者没有被击中的LBA范围就会逐渐地被排挤出去。
本发明的优点是：
本发明可以用少量的RAM，搭配一些权重机制来有效地区分热/冷数据，在主机写入的当下就可以精确预测是否为热/冷数据。
附图说明
图1为本发明的流程图。
图2为热/数据区分前后的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例。
如图1，区分热数据和冷数据的方法，包括以下步骤：
(1)将设备分为N份数据，编号为0～N-1，用队列进行管理这些数据，队列的长度为L，1≤L≤N，队列中每个节点记录一份数据的点击次数；
(2)每次刷新数据时，其中第i份数据被点击到，就把第i份数据放到队列的第一个位置；
(3)一段时间之后，取队列中前M个数据的点击次数与计数阈值作比较，点击次数大于计数阈值的节点作为热数据，否则作为冷数据。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.区分热数据和冷数据的方法，其特征在于，包括以下步骤：
(1)将设备分为N份数据，编号为0～N-1，用队列进行管理这些数据，队列的长度为L，1≤L≤N，队列中每个节点记录一份数据的点击次数；
(2)每次刷新数据时，其中第i份数据被点击到，就把第i份数据放到队列的第一个位置；
(3)一段时间之后，取队列中前M个数据的点击次数与计数阈值作比较，点击次数大于计数阈值的节点作为热数据，否则作为冷数据。
CN201811585889.9A 2018-12-24 2018-12-24 区分热数据和冷数据的方法 Pending CN109656485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585889.9A CN109656485A (zh) 2018-12-24 2018-12-24 区分热数据和冷数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585889.9A CN109656485A (zh) 2018-12-24 2018-12-24 区分热数据和冷数据的方法

Publications (1)

Publication Number Publication Date
CN109656485A true CN109656485A (zh) 2019-04-19

Family

ID=66116591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585889.9A Pending CN109656485A (zh) 2018-12-24 2018-12-24 区分热数据和冷数据的方法

Country Status (1)

Country Link
CN (1) CN109656485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554838A (zh) * 2019-06-27 2019-12-10 中南大学 一种基于联合优化回声状态网络的热数据预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554838A (zh) * 2019-06-27 2019-12-10 中南大学 一种基于联合优化回声状态网络的热数据预测方法

Similar Documents

Publication Publication Date Title
US20200034431A1 (en) Method, computer device and readable medium for user's intent mining
KR101894226B1 (ko) Ｉｐ 어드레스에 대응하는 위치를 결정하기 위한 방법, 장치, 및 시스템
US9870364B2 (en) Intelligently categorizing data to delete specified amounts of data based on selected data characteristics
JP6741110B2 (ja) イベント発見方法、装置、機器及びプログラム
US10803137B2 (en) Method and apparatus for grouping web page labels in a web browser
CN108846091B (zh) 资讯推荐方法、装置及设备
US10489447B2 (en) Method and apparatus for using business-aware latent topics for image captioning in social media
CN108292257B (zh) 用于注解客户端-服务器事务的***和方法
CN105653201A (zh) 读取平均化方法及使用读取平均化方法的存储器装置
CN109189693A (zh) 一种对lba信息进行预测的方法及ssd
US9158463B2 (en) Control program of storage control device, control method of storage control device and storage control device
CN105487823A (zh) 一种数据迁移的方法及装置
US9201825B1 (en) Data storage methods and apparatus
CN106547454A (zh) 显示方法及装置
CN109656485A (zh) 区分热数据和冷数据的方法
CN108572932B (zh) 多平面nvm命令融合方法与装置
JP6877467B2 (ja) 情報処理方法及び装置、並びに動的情報を表示するための方法及び装置
Kunneman et al. Event detection in Twitter: A machine-learning approach based on term pivoting
CN104915088A (zh) 一种信息处理方法和电子设备
WO2019096176A1 (zh) 数据处理学习方法、***以及电子设备
CN108628759B (zh) 乱序执行nvm命令的方法与装置
CN104503868A (zh) 数据同步方法、装置以及***
WO2015176624A1 (zh) 突发时效性查询词识别方法和***
JP5939587B2 (ja) アノテーションの相関を計算する装置及び方法
CN111147778B (zh) 基于数字视频录像机的轨迹录像方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190419

WD01 Invention patent application deemed withdrawn after publication