CN105512293A - 基于HBase的Map任务进度计算方法 - Google Patents
基于HBase的Map任务进度计算方法 Download PDFInfo
- Publication number
- CN105512293A CN105512293A CN201510910410.4A CN201510910410A CN105512293A CN 105512293 A CN105512293 A CN 105512293A CN 201510910410 A CN201510910410 A CN 201510910410A CN 105512293 A CN105512293 A CN 105512293A
- Authority
- CN
- China
- Prior art keywords
- rowkey
- map task
- progress
- map
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于HBase的Map任务进度计算方法,在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度,进而将Map的进度对外显示出来,使用者能够通过该进度实时了解任务的完成情况,从而获知程序的执行瓶颈,便于对程序进行优化。
Description
技术领域
本发明涉及数据处理的技术领域,具体说是一种基于HBase的Map任务进度计算方法。
背景技术
HBase是基于Hadoop大数据平台的一种开源分布式列数据库,主要用来存储数据和随机查询,同时也支持MapReduce的计算模式。MapReduce提供了一个Job(作业)进度计算的基本功能,但其实现方式只是用已经完成的MapTask的任务总数除以该总的MapTask数,但每个MapTask也会处理一定数据量的记录,这些进度并没有反应出来,而只有0%和100%两个进度状态。因而,外部使用者通过进度状态无法了解MapTask的精确进度,也无法准确预估任务的完成时间,所以对于任务执行中的效率高低情况,也不能快速了解,从而对程序的进一步优化造成障碍。
发明内容
本发明要解决的技术问题是提供一种基于HBase的Map任务进度计算方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是:
本发明的基于HBase的Map任务进度计算方法,在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中,将当前读取到数据的rowkey记为rx;通过以下公式计算即可得到该Map任务的进度:。
本发明还可以采用以下技术措施:
Map任务执行过程中,每一时刻都具有唯一的rowkey。
构造rowkey时,使用一个long类型的随机数作为rowkey的前八个字节,将数据平均分布。
本发明具有的优点和积极效果是:
本发明的基于HBase的Map任务进度计算方法中,在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度,进而将Map的进度对外显示出来,使用者能够通过该进度实时了解任务的完成情况,从而获知程序的执行瓶颈,便于对程序进行优化。
具体实施方式
以下通过具体实施例对本发明进行详细说明。
本发明的基于HBase的Map任务进度计算方法,在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中,将当前读取到数据的rowkey记为rx;通过以下公式计算即可得到该Map任务的进度:。
Map任务执行过程中,每一时刻都具有唯一的rowkey,从而可依据该rowkey确定当下时刻的任务执行位置。
构造rowkey时,使用一个long类型的随机数作为rowkey的前八个字节,将数据平均分布,从而使rowkey反应的任务进度更为精确。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例公开如上,然而,并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰,成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均属于本发明技术方案的范围内。
Claims (3)
1.一种基于HBase的Map任务进度计算方法,其特征在于:在存储中构造rowkey时,对应每个Map任务给定一段连续递增的rowkey范围;将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中,将当前读取到数据的rowkey记为rx;通过以下公式计算即可得到该Map任务的进度:。
2.根据权利要求1所述的基于HBase的Map任务进度计算方法,其特征在于:Map任务执行过程中,每一时刻都具有唯一的rowkey。
3.根据权利要求1或2所述的基于HBase的Map任务进度计算方法,其特征在于:构造rowkey时,使用一个long类型的随机数作为rowkey的前八个字节,将数据平均分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510910410.4A CN105512293A (zh) | 2015-12-10 | 2015-12-10 | 基于HBase的Map任务进度计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510910410.4A CN105512293A (zh) | 2015-12-10 | 2015-12-10 | 基于HBase的Map任务进度计算方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105512293A true CN105512293A (zh) | 2016-04-20 |
Family
ID=55720274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510910410.4A Pending CN105512293A (zh) | 2015-12-10 | 2015-12-10 | 基于HBase的Map任务进度计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105512293A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106774393A (zh) * | 2016-09-22 | 2017-05-31 | 重庆零度智控智能科技有限公司 | 一种任务进度计算方法、装置及无人机 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964087A (zh) * | 2010-09-29 | 2011-02-02 | 用友软件股份有限公司 | 任务进度计算方法和装置 |
CN103631646A (zh) * | 2013-11-29 | 2014-03-12 | 北京京东尚科信息技术有限公司 | 一种计算任务进度的方法和*** |
-
2015
- 2015-12-10 CN CN201510910410.4A patent/CN105512293A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964087A (zh) * | 2010-09-29 | 2011-02-02 | 用友软件股份有限公司 | 任务进度计算方法和装置 |
CN103631646A (zh) * | 2013-11-29 | 2014-03-12 | 北京京东尚科信息技术有限公司 | 一种计算任务进度的方法和*** |
Non-Patent Citations (1)
Title |
---|
DOLIU6: "HBase模式设计之ID顺序增长(rowkey顺序增长)", 《HTTPS://BLOG.CSDN.NET/DOLIU6/ARTICLE/DETAILS/11958403》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106774393A (zh) * | 2016-09-22 | 2017-05-31 | 重庆零度智控智能科技有限公司 | 一种任务进度计算方法、装置及无人机 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103336758B (zh) | 一种采用带有局部信息的压缩稀疏行的稀疏矩阵存储方法及基于该方法的SpMV实现方法 | |
CN104102696A (zh) | 一种内容推荐方法及装置 | |
CN105022729B (zh) | 一种用户偏好确定方法及装置 | |
CN104216961A (zh) | 一种数据处理方法和装置 | |
CN102968281A (zh) | 一种数据迁移的方法及装置 | |
CN105095162A (zh) | 文本相似度确定方法、装置、电子设备及*** | |
CN104111936A (zh) | 数据查询方法和*** | |
CN112214472A (zh) | 气象格点数据的存储及查询方法、装置及存储介质 | |
CN104699946A (zh) | 一种游戏场景的管理方法及装置 | |
CN106844312B (zh) | 一种数据表转换方法、装置、可读介质及存储控制器 | |
CN110309496B (zh) | 数据汇总方法、电子装置及计算机可读存储介质 | |
US11030714B2 (en) | Wide key hash table for a graphics processing unit | |
CN104571946A (zh) | 一种支持逻辑电路快速查询的存储器装置及其访问方法 | |
CN103544729A (zh) | 一种动画数据处理方法及*** | |
CN106575296B (zh) | 用于托管的分析的动态n维立方体 | |
CN105512293A (zh) | 基于HBase的Map任务进度计算方法 | |
CN103713953A (zh) | 一种内存数据的搬移装置及方法 | |
CN104794237A (zh) | 网页信息处理方法及装置 | |
CN109376120A (zh) | 一种内存优化的数据文件格式转化方法、装置及存储介质 | |
WO2015165112A1 (en) | Validating analytics results | |
CN111507430A (zh) | 基于矩阵乘法的特征编码方法、装置、设备及介质 | |
CN103902693A (zh) | 一种读优化的内存数据库t树索引结构的方法 | |
CN104519082A (zh) | 一种云计算的扩容方法和装置 | |
CN106156162A (zh) | 数据库查询量统计方法和设备 | |
CN104572951A (zh) | 一种能力标签的确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat Applicant after: Tianjin mass information technology Limited by Share Ltd Address before: 300020 Tianjin Heping District, South Road, No. 11 International Building 23 purchase of Wheat Applicant before: Tianjin Hylanda Information Technology Co.,Ltd. |
|
COR | Change of bibliographic data | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160420 |