CN109656485A - 区分热数据和冷数据的方法 - Google Patents
区分热数据和冷数据的方法 Download PDFInfo
- Publication number
- CN109656485A CN109656485A CN201811585889.9A CN201811585889A CN109656485A CN 109656485 A CN109656485 A CN 109656485A CN 201811585889 A CN201811585889 A CN 201811585889A CN 109656485 A CN109656485 A CN 109656485A
- Authority
- CN
- China
- Prior art keywords
- data
- queue
- cold
- clicks
- dsc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区分热数据和冷数据的方法,包括以下步骤:(1)将设备分为N份数据,编号为0~N‑1,用队列进行管理这些数据,队列的长度为L,1≤L≤N,队列中每个节点记录一份数据的点击次数;(2)每次刷新数据时,其中第i份数据被点击到,就把第i份数据放到队列的第一个位置;(3)一段时间之后,取队列中前M个数据的点击次数与计数阈值作比较,点击次数大于计数阈值的节点作为热数据,否则作为冷数据。本发明可以用少量的RAM,搭配一些权重机制来有效地区分热/冷数据,在主机写入的当下就可以精确预测是否为热/冷数据。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种区分热数据和冷数据的方法。
背景技术
目前有很多方法区分热/冷数据,但是都需要用很大的表来记录LBA点击的次数,设备尺寸越大,需要的表也就越大;有些则是不够精确,譬如只参考删除次数来决定是否为冷数据。
发明内容
基于背景技术存在的技术问题,本发明提出了一种区分热数据和冷数据的方法,本方法提出如何用少量的RAM,搭配一些权重机制来有效地区分热/冷数据,在主机写入的当下就可以精确预测是否为热/冷数据。
本发明采用的技术方案是:
区分热数据和冷数据的方法,其特征在于,包括以下步骤:
(1)将设备分为N份数据,编号为0~N-1,用队列进行管理这些数据,队列的长度为L,1≤L≤N,队列中每个节点记录一份数据的点击次数;
(2)每次刷新数据时,其中第i份数据被点击到,就把第i份数据放到队列的第一个位置;
(3)一段时间之后,取队列中前M个数据的点击次数与计数阈值作比较,点击次数大于计数阈值的节点作为热数据,否则作为冷数据。
本发明的原理是:
本发明将设备分为N份数据,每份数据涵盖一个LBA范围,若主机写入的LBA在队列里,则判断为击中并且移动队列的前面;若没有在队列里,则直接放到队列的前面;随着时间,***会将点击次数较高的LBA范围放在前面的热数据区域,而很少或者没有被击中的LBA范围就会逐渐地被排挤出去。
本发明的优点是:
本发明可以用少量的RAM,搭配一些权重机制来有效地区分热/冷数据,在主机写入的当下就可以精确预测是否为热/冷数据。
附图说明
图1为本发明的流程图。
图2为热/数据区分前后的对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例。
如图1,区分热数据和冷数据的方法,包括以下步骤:
(1)将设备分为N份数据,编号为0~N-1,用队列进行管理这些数据,队列的长度为L,1≤L≤N,队列中每个节点记录一份数据的点击次数;
(2)每次刷新数据时,其中第i份数据被点击到,就把第i份数据放到队列的第一个位置;
(3)一段时间之后,取队列中前M个数据的点击次数与计数阈值作比较,点击次数大于计数阈值的节点作为热数据,否则作为冷数据。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (1)
1.区分热数据和冷数据的方法,其特征在于,包括以下步骤:
(1)将设备分为N份数据,编号为0~N-1,用队列进行管理这些数据,队列的长度为L,1≤L≤N,队列中每个节点记录一份数据的点击次数;
(2)每次刷新数据时,其中第i份数据被点击到,就把第i份数据放到队列的第一个位置;
(3)一段时间之后,取队列中前M个数据的点击次数与计数阈值作比较,点击次数大于计数阈值的节点作为热数据,否则作为冷数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585889.9A CN109656485A (zh) | 2018-12-24 | 2018-12-24 | 区分热数据和冷数据的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585889.9A CN109656485A (zh) | 2018-12-24 | 2018-12-24 | 区分热数据和冷数据的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109656485A true CN109656485A (zh) | 2019-04-19 |
Family
ID=66116591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811585889.9A Pending CN109656485A (zh) | 2018-12-24 | 2018-12-24 | 区分热数据和冷数据的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109656485A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110554838A (zh) * | 2019-06-27 | 2019-12-10 | 中南大学 | 一种基于联合优化回声状态网络的热数据预测方法 |
-
2018
- 2018-12-24 CN CN201811585889.9A patent/CN109656485A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110554838A (zh) * | 2019-06-27 | 2019-12-10 | 中南大学 | 一种基于联合优化回声状态网络的热数据预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200034431A1 (en) | Method, computer device and readable medium for user's intent mining | |
KR101894226B1 (ko) | Ip 어드레스에 대응하는 위치를 결정하기 위한 방법, 장치, 및 시스템 | |
US9870364B2 (en) | Intelligently categorizing data to delete specified amounts of data based on selected data characteristics | |
JP6741110B2 (ja) | イベント発見方法、装置、機器及びプログラム | |
US10803137B2 (en) | Method and apparatus for grouping web page labels in a web browser | |
CN108846091B (zh) | 资讯推荐方法、装置及设备 | |
US10489447B2 (en) | Method and apparatus for using business-aware latent topics for image captioning in social media | |
CN108292257B (zh) | 用于注解客户端-服务器事务的***和方法 | |
CN105653201A (zh) | 读取平均化方法及使用读取平均化方法的存储器装置 | |
CN109189693A (zh) | 一种对lba信息进行预测的方法及ssd | |
US9158463B2 (en) | Control program of storage control device, control method of storage control device and storage control device | |
CN105487823A (zh) | 一种数据迁移的方法及装置 | |
US9201825B1 (en) | Data storage methods and apparatus | |
CN106547454A (zh) | 显示方法及装置 | |
CN109656485A (zh) | 区分热数据和冷数据的方法 | |
CN108572932B (zh) | 多平面nvm命令融合方法与装置 | |
JP6877467B2 (ja) | 情報処理方法及び装置、並びに動的情報を表示するための方法及び装置 | |
Kunneman et al. | Event detection in Twitter: A machine-learning approach based on term pivoting | |
CN104915088A (zh) | 一种信息处理方法和电子设备 | |
WO2019096176A1 (zh) | 数据处理学习方法、***以及电子设备 | |
CN108628759B (zh) | 乱序执行nvm命令的方法与装置 | |
CN104503868A (zh) | 数据同步方法、装置以及*** | |
WO2015176624A1 (zh) | 突发时效性查询词识别方法和*** | |
JP5939587B2 (ja) | アノテーションの相関を計算する装置及び方法 | |
CN111147778B (zh) | 基于数字视频录像机的轨迹录像方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190419 |
|
WD01 | Invention patent application deemed withdrawn after publication |