CN105512293A - 基于HBase的Map任务进度计算方法 - Google Patents

基于HBase的Map任务进度计算方法 Download PDF

Info

Publication number
CN105512293A
CN105512293A CN201510910410.4A CN201510910410A CN105512293A CN 105512293 A CN105512293 A CN 105512293A CN 201510910410 A CN201510910410 A CN 201510910410A CN 105512293 A CN105512293 A CN 105512293A
Authority
CN
China
Prior art keywords
rowkey
map task
progress
map
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510910410.4A
Other languages
English (en)
Inventor
庞晓曦
杨伟锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Original Assignee
TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD filed Critical TIANJIN HYLANDA INFORMATION TECHNOLOGY CO LTD
Priority to CN201510910410.4A priority Critical patent/CN105512293A/zh
Publication of CN105512293A publication Critical patent/CN105512293A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度，进而将Map的进度对外显示出来，使用者能够通过该进度实时了解任务的完成情况，从而获知程序的执行瓶颈，便于对程序进行优化。

Description

基于HBase的Map任务进度计算方法
技术领域
本发明涉及数据处理的技术领域，具体说是一种基于HBase的Map任务进度计算方法。
背景技术
HBase是基于Hadoop大数据平台的一种开源分布式列数据库，主要用来存储数据和随机查询，同时也支持MapReduce的计算模式。MapReduce提供了一个Job（作业）进度计算的基本功能，但其实现方式只是用已经完成的MapTask的任务总数除以该总的MapTask数，但每个MapTask也会处理一定数据量的记录，这些进度并没有反应出来，而只有0%和100%两个进度状态。因而，外部使用者通过进度状态无法了解MapTask的精确进度，也无法准确预估任务的完成时间，所以对于任务执行中的效率高低情况，也不能快速了解，从而对程序的进一步优化造成障碍。
发明内容
本发明要解决的技术问题是提供一种基于HBase的Map任务进度计算方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是:
本发明的基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。
本发明还可以采用以下技术措施：
Map任务执行过程中，每一时刻都具有唯一的rowkey。
构造rowkey时，使用一个long类型的随机数作为rowkey的前八个字节，将数据平均分布。
本发明具有的优点和积极效果是:
本发明的基于HBase的Map任务进度计算方法中，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度，进而将Map的进度对外显示出来，使用者能够通过该进度实时了解任务的完成情况，从而获知程序的执行瓶颈，便于对程序进行优化。
具体实施方式
以下通过具体实施例对本发明进行详细说明。
本发明的基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。
Map任务执行过程中，每一时刻都具有唯一的rowkey，从而可依据该rowkey确定当下时刻的任务执行位置。
构造rowkey时，使用一个long类型的随机数作为rowkey的前八个字节，将数据平均分布，从而使rowkey反应的任务进度更为精确。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (3)

1.一种基于HBase的Map任务进度计算方法，其特征在于：在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。
2.根据权利要求1所述的基于HBase的Map任务进度计算方法，其特征在于：Map任务执行过程中，每一时刻都具有唯一的rowkey。
3.根据权利要求1或2所述的基于HBase的Map任务进度计算方法，其特征在于：构造rowkey时，使用一个long类型的随机数作为rowkey的前八个字节，将数据平均分布。
CN201510910410.4A 2015-12-10 2015-12-10 基于HBase的Map任务进度计算方法 Pending CN105512293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510910410.4A CN105512293A (zh) 2015-12-10 2015-12-10 基于HBase的Map任务进度计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510910410.4A CN105512293A (zh) 2015-12-10 2015-12-10 基于HBase的Map任务进度计算方法

Publications (1)

Publication Number Publication Date
CN105512293A true CN105512293A (zh) 2016-04-20

Family

ID=55720274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510910410.4A Pending CN105512293A (zh) 2015-12-10 2015-12-10 基于HBase的Map任务进度计算方法

Country Status (1)

Country Link
CN (1) CN105512293A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774393A (zh) * 2016-09-22 2017-05-31 重庆零度智控智能科技有限公司 一种任务进度计算方法、装置及无人机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964087A (zh) * 2010-09-29 2011-02-02 用友软件股份有限公司 任务进度计算方法和装置
CN103631646A (zh) * 2013-11-29 2014-03-12 北京京东尚科信息技术有限公司 一种计算任务进度的方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964087A (zh) * 2010-09-29 2011-02-02 用友软件股份有限公司 任务进度计算方法和装置
CN103631646A (zh) * 2013-11-29 2014-03-12 北京京东尚科信息技术有限公司 一种计算任务进度的方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOLIU6: "HBase模式设计之ID顺序增长（rowkey顺序增长）", 《HTTPS://BLOG.CSDN.NET/DOLIU6/ARTICLE/DETAILS/11958403》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774393A (zh) * 2016-09-22 2017-05-31 重庆零度智控智能科技有限公司 一种任务进度计算方法、装置及无人机

Similar Documents

Publication Publication Date Title
CN103336758B (zh) 一种采用带有局部信息的压缩稀疏行的稀疏矩阵存储方法及基于该方法的SpMV实现方法
CN104102696A (zh) 一种内容推荐方法及装置
CN105022729B (zh) 一种用户偏好确定方法及装置
CN104216961A (zh) 一种数据处理方法和装置
CN102968281A (zh) 一种数据迁移的方法及装置
CN105095162A (zh) 文本相似度确定方法、装置、电子设备及***
CN104111936A (zh) 数据查询方法和***
CN112214472A (zh) 气象格点数据的存储及查询方法、装置及存储介质
CN104699946A (zh) 一种游戏场景的管理方法及装置
CN106844312B (zh) 一种数据表转换方法、装置、可读介质及存储控制器
CN110309496B (zh) 数据汇总方法、电子装置及计算机可读存储介质
US11030714B2 (en) Wide key hash table for a graphics processing unit
CN104571946A (zh) 一种支持逻辑电路快速查询的存储器装置及其访问方法
CN103544729A (zh) 一种动画数据处理方法及***
CN106575296B (zh) 用于托管的分析的动态n维立方体
CN105512293A (zh) 基于HBase的Map任务进度计算方法
CN103713953A (zh) 一种内存数据的搬移装置及方法
CN104794237A (zh) 网页信息处理方法及装置
CN109376120A (zh) 一种内存优化的数据文件格式转化方法、装置及存储介质
WO2015165112A1 (en) Validating analytics results
CN111507430A (zh) 基于矩阵乘法的特征编码方法、装置、设备及介质
CN103902693A (zh) 一种读优化的内存数据库t树索引结构的方法
CN104519082A (zh) 一种云计算的扩容方法和装置
CN106156162A (zh) 数据库查询量统计方法和设备
CN104572951A (zh) 一种能力标签的确定方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant after: Tianjin mass information technology Limited by Share Ltd

Address before: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat

Applicant before: Tianjin Hylanda Information Technology Co.,Ltd.

COR Change of bibliographic data
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160420