CN103631792B - 海量资料索引建立***及方法 - Google Patents

海量资料索引建立***及方法 Download PDF

Info

Publication number
CN103631792B
CN103631792B CN201210300880.5A CN201210300880A CN103631792B CN 103631792 B CN103631792 B CN 103631792B CN 201210300880 A CN201210300880 A CN 201210300880A CN 103631792 B CN103631792 B CN 103631792B
Authority
CN
China
Prior art keywords
tabulation
date
data
index
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210300880.5A
Other languages
English (en)
Other versions
CN103631792A (zh
Inventor
王久立
潘瑜青
张煦
曹麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huacai Accounting Co ltd
Guangdong Gaohang Intellectual Property Operation Co ltd
Original Assignee
Beijing Hua Finance Accounting Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hua Finance Accounting Ltd By Share Ltd filed Critical Beijing Hua Finance Accounting Ltd By Share Ltd
Priority to CN201210300880.5A priority Critical patent/CN103631792B/zh
Publication of CN103631792A publication Critical patent/CN103631792A/zh
Application granted granted Critical
Publication of CN103631792B publication Critical patent/CN103631792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种海量资料索引建立***及方法，该***安装并运行于计算装置中，该计算装置包括存储设备。该***包括：资料分配模块，用于从资料列表池中获取资料列表，在存储设备中建立多个资料队列，并将资料列表分配到资料队列中。索引建立模块，用于针对每一个资料队列中的资料列表建立一个资料子索引，并将该资料列表从相应的资料队列中移除。优先处理模块，用于当资料列表需要优先处理时将优先权级别最高的该资料列表移入资料队列中优先处理。索引合并模块，用于将资料子索引进行合并成资料列表池的资料根索引。本发明能够同时监控多个建立索引进程，排配建立索引的优先级，并依照当前***的可用运算资源的多少来动态调整建立索引的速度。

Description

海量资料索引建立***及方法
技术领域
本发明涉及一种资料索引管理***及方法，特别是关于一种海量资料索引建立***及方法。
背景技术
在资料处理过程中，建立资料索引是一种常见的管理资料需求。当资料具有相当规模的海量资料时，如何为海量资料建立索引是一件较为困难的课题。然而，利用传统索引建立方法，无法启动多个建索引程序为多笔资料同时建立索引，无法弹性地排配建立索引的优先级，也无法依照当前计算机***的可用运算资源多少来动态调整建立索引的速度。
发明内容
鉴于以上内容，有必要提供一种海量资料索引建立***及方法，能够同时监控多个建立索引进程，排配建立索引的优先级，并依照当前***的可用运算资源的多少来动态调整建立索引的速度。
所述的海量资料索引建立***安装并运行于计算装置中，该计算装置包括存储设备。该海量资料索引建立***包括：资料分配模块，用于从存储设备的资料列表池中获取需要建立索引的资料列表，为每一个资料列表设定一个优先权级别，在存储设备中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中；索引建立模块，用于针对每一个资料队列中的资料列表建立一个资料子索引，将已建立的资料子索引保存在存储设备中，并将该资料列表从相应的资料队列中移除；优先处理模块，用于检查资料列表池中是否有资料列表需要优先处理，当资料列表需要优先处理时，从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理；索引合并模块，用于将所有建立的资料子索引合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备中。
所述的海量资料索引建立方法应用于计算装置中，该计算装置包括存储设备。该方法包括步骤：从存储设备的资料列表池中获取需要建立索引的资料列表，并为每一个资料列表设定一个优先权级别；在存储设备中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中；针对每一个资料队列中的资料列表建立一个资料子索引；将已建立的资料子索引保存在存储设备中，并将该资料列表从相应的资料队列中移除；检查资料列表池中是否有资料列表需要优先处理；当资料列表需要优先处理时，从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理；将所有建立的资料子索引合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备中。
相较于现有技术，本发明所述的海量资料索引建立***及方法，能够弹性地同时监控多个建立索引进程，弹性地排配建立索引的优先级，也能依照当前***的可用运算资源的多少来动态调整建立索引的速度。
附图说明
图1是本发明海量资料索引建立***较佳实施例的架构图。
图2是本发明海量资料索引建立方法较佳实施例的流程图。
图3是一种建立海量资料索引的示意图。
图4是一种优先处理资料索引的示意图。
主要元件符号说明
计算装置 100
资料索引建立*** 10
资料分配模块 101
索引建立模块 102
优先处理模块 103
索引合并模块 104
存储设备 11
处理器 12
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
如图1所示，是本发明海量资料索引建立***10较佳实施例的架构图。在本实施例中，所述的资料索引建立***10安装并运行于计算装置100中，能够同时监控多个建立索引进程，弹性地排配建立索引的优先级，也能够依照当前***的可用运算资源的多少来动态调整建立资料索引的速度。在本实施例中，所述的计算装置100还包括，但不仅限于，存储设备11以及处理器12。该计算装置100可以为个人计算机、或者服务器之一种。
所述的存储设备11可以为一种磁盘或网络存储装置，用于存储资料列表池、资料队列以及海量资料。所述的资料列表池包括多个资料列表，参考图3所示的资料列表List0、List1、List2、…、ListN。所述的资料队列用于存储资料列表，每一资料列表存储有用于识别不同类别资料的资料序号，例如序号S00a101、S00a102等。每一资料序号分别对应有存储在存储设备11中的资料。
在本实施例中，将生产物料视为海量资料，生产机台视为资料序号，生产成品视为索引，从而为大量的生产物料建立资料索引。利用一些简单的手段就能进行大批量的工单排程，若有更多的机台资源，也能以类似于扩产能的方式增加产量。
在本实施例中，所述的资料索引建立***10包括资料分配模块101、索引建立模块102、优先处理模块103以及索引合并模块104。本发明所称的模块系指一种能够被处理器12所执行并且能够完成固定功能的一系列程序指令段，其存储于所述的存储设备11中。
所述的资料分配模块101用于从存储设备11的资料列表池中获取需要建立索引的资料列表，并为每一个资料列表设定一个优先权级别。例如，资料列表List0中的资料需要优先处理，则资料分配模块101将资料列表List0的优先权级别设为最高级，并按照资料列表的文件名称依次设置资料列表池中资料列表的优先权级别。
所述的资料分配模块101还用于在存储设备11中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中。参考图4所示，资料分配模块101建立了两个资料队列，其中，资料队列1用于存放资料列表List1和资料列表List3，以及资料队列2用于存放资料列表List2和资料列表List4。
所述的索引建立模块102用于针对每一个资料队列中的资料列表建立一个资料子索引。参考图3所示，索引建立模块102为资料队列1建立资料子索引1，为资料队列2建立资料子索引2，以及为资料队列3建立资料子索引3。
所述的索引建立模块102还用于将已建立的资料子索引保存在存储设备11中，并将该资料列表从相应的资料队列中移除。参考图4所示，当资料队列1中的资料列表List1已建立了资料子索引1时，索引建立模块102将资料列表List1从资料队列1中移除，以便释放***运算资源。
所述的优先处理模块103用于检查资料列表池中是否有资料列表需要优先处理。当资料列表需要优先处理，优先处理模块103从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理。参考图4所示，资料列表List0需要优先处理，其优先权级别为最高，优先处理模块103将资料列表List0移入资料队列1中，并***资料列表List3的前优先处理。
所述的索引合并模块104用于将所有建立的资料子索引进行合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备11中。参考图3所示，索引合并模块104将资料队列1的资料子索引1、资料队列2的资料子索引2、以及资料队列3的资料子索引3进行合并，从而为资料列表池建立一个资料根索引。
参考图2所示，是本发明海量资料索引建立方法较佳实施例的流程图。在本实施例中，该方法能够同时监控多个建立索引进程，弹性地排配建立索引的优先级，也能够依照当前***的可用运算资源的多少来动态调整建立索引的速度。
步骤S21，资料分配模块101从存储设备11的资料列表池中获取需要建立索引的资料列表，并为每一个资料列表设定一个优先权级别。例如，资料列表List0中的资料需要优先处理，则资料分配模块101将资料列表List0的优先权级别设为最高级，并按照资料列表的文件名称依次设置资料列表池中资料列表的优先权级别。
步骤S22，资料分配模块101在存储设备11中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中。参考图4所示，资料分配模块101建立了两个资料队列，其中，资料队列1用于存放资料列表List1和资料列表List3，以及资料队列2用于存放资料列表List2和资料列表List4。
步骤S23，索引建立模块102针对每一个资料队列中的资料列表建立一个资料子索引。参考图3所示，索引建立模块102为资料队列1建立资料子索引1，为资料队列2建立资料子索引2，以及为资料队列3建立资料子索引3。
步骤S24，索引建立模块102将已建立的资料子索引保存在存储设备11中，并将该资料列表从相应的资料队列中移除。参考图4所示，当资料队列1中的资料列表List1已建立了资料子索引1时，索引建立模块102将资料列表List1从资料队列1中移除，以便释放***运算资源。
步骤S25，优先处理模块103检查资料列表池中是否有资料列表需要优先处理。若资料列表池中有需要优先处理的资料列表，则流程执行步骤S26；若资料列表池中没有优先处理的资料列表，则流程执行步骤S28。
步骤S26，优先处理模块103从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理。参考图4所示，资料列表List0的需要优先处理，其优先权级别为最高，优先处理模块103将资料列表List0移入资料队列1中，并***资料列表List3的前优先处理。
步骤S27，优先处理模块103检查资料队列中是否还有资料列表。若资料队列中还有资料列表，则流程返回步骤S23；若资料队列中没有资料列表，则流程执行步骤S28。
步骤S28，索引合并模块104将所有建立的资料子索引进行合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备11中。参考图3所示，索引合并模块104将资料队列1的资料子索引1、资料队列2的资料子索引2、以及资料队列3的资料子索引3进行合并，从而为资料列表池建立一个资料根索引。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (10)

1.一种海量资料索引建立***，安装并运行于计算装置中，该计算装置包括存储设备，其特征在于，所述的海量资料索引建立***包括：
资料分配模块，用于从存储设备的资料列表池中获取需要建立索引的资料列表，为每一个资料列表设定一个优先权级别，在存储设备中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中；
索引建立模块，用于针对每一个资料队列中的资料列表建立一个资料子索引，将已建立的资料子索引保存在存储设备中，并将该资料列表从相应的资料队列中移除；
优先处理模块，用于检查资料列表池中是否有资料列表需要优先处理，当有资料列表需要优先处理时，从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理；以及
索引合并模块，用于将所有建立的资料子索引合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备中。
2.如权利要求1所述的海量资料索引建立***，其特征在于，所述的优先处理模块还用于判断资料队列中是否还有资料列表需要建立索引。
3.如权利要求1所述的海量资料索引建立***，其特征在于，所述的资料分配模块将资料列表池中需要优先处理的资料列表的优先权级别设为最高级，并按照资料列表的文件名称依次设置资料列表池中资料列表的优先权级别。
4.如权利要求1所述的海量资料索引建立***，其特征在于，所述的资料列表池包括多个资料列表，每一资料列表存储有用于识别不同类别资料的资料序号，并分别对应于存储在存储设备中的资料。
5.如权利要求1所述的海量资料索引建立***，其特征在于，所述的存储设备为一种磁盘或网络存储装置，用于存储资料列表池、资料队列以及海量资料。
6.一种海量资料索引建立方法，应用于计算装置中，该计算装置包括存储设备，其特征在于，该方法包括步骤：
从存储设备的资料列表池中获取需要建立索引的资料列表，并为每一个资料列表设定一个优先权级别；
在存储设备中建立多个资料队列，并按照优先权级别将获取的资料列表分配到资料队列中；
针对每一个资料队列中的资料列表建立一个资料子索引；
将已建立的资料子索引保存在存储设备中，并将该资料列表从相应的资料队列中移除；
检查资料列表池中是否有资料列表需要优先处理；
当有资料列表需要优先处理时，从资料列表池中获取优先权级别最高的资料列表，并将该资料列表移入空闲的资料队列中优先处理；以及
将所有建立的资料子索引合并成一个资料列表池的资料根索引，并将该资料根索引保存在存储设备中。
7.如权利要求6所述的海量资料索引建立方法，其特征在于，该方法还包括步骤：
判断资料队列中是否还有资料列表需要建立索引；
当资料队列中还有资料列表需要建立索引时，针对该资料队列中的资料列表建立一个资料子索引。
8.如权利要求6所述的海量资料索引建立方法，其特征在于，所述的需要优先处理的资料列表的优先权级别设为最高级，资料列表池中剩余资料列表的优先权级别按照资料列表的文件名称来设置。
9.如权利要求6所述的海量资料索引建立方法，其特征在于，所述的资料列表池包括多个资料列表，每一资料列表存储有用于识别不同类别资料的资料序号，并分别对应于存储在存储设备中的资料。
10.如权利要求6所述的海量资料索引建立方法，其特征在于，所述的存储设备为一种磁盘或网络存储装置，用于存储资料列表池、资料队列以及海量资料。
CN201210300880.5A 2012-08-22 2012-08-22 海量资料索引建立***及方法 Active CN103631792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210300880.5A CN103631792B (zh) 2012-08-22 2012-08-22 海量资料索引建立***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210300880.5A CN103631792B (zh) 2012-08-22 2012-08-22 海量资料索引建立***及方法

Publications (2)

Publication Number Publication Date
CN103631792A CN103631792A (zh) 2014-03-12
CN103631792B true CN103631792B (zh) 2017-01-25

Family

ID=50212865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210300880.5A Active CN103631792B (zh) 2012-08-22 2012-08-22 海量资料索引建立***及方法

Country Status (1)

Country Link
CN (1) CN103631792B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291768B (zh) * 2016-04-11 2021-03-05 创新先进技术有限公司 一种索引建立的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067826A (zh) * 2007-06-08 2007-11-07 威盛电子股份有限公司 数据分散存取方法
CN101114285A (zh) * 2006-07-25 2008-01-30 腾讯科技（深圳）有限公司 一种互联网主题文件搜索方法、爬虫***和搜索引擎
CN101196935A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种创建索引库的***及其方法
CN101755251A (zh) * 2007-05-21 2010-06-23 亚马逊技术股份有限公司 管理手持式书阅读器设备中的搜索索引生成状态
CN102163199A (zh) * 2010-02-24 2011-08-24 富士通株式会社 构造索引库的方法和设备以及查询方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778977B1 (en) * 2001-04-19 2004-08-17 Microsoft Corporation Method and system for creating a database table index using multiple processors
US7240069B2 (en) * 2003-11-14 2007-07-03 Microsoft Corporation System and method for building a large index

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114285A (zh) * 2006-07-25 2008-01-30 腾讯科技（深圳）有限公司 一种互联网主题文件搜索方法、爬虫***和搜索引擎
CN101755251A (zh) * 2007-05-21 2010-06-23 亚马逊技术股份有限公司 管理手持式书阅读器设备中的搜索索引生成状态
CN101067826A (zh) * 2007-06-08 2007-11-07 威盛电子股份有限公司 数据分散存取方法
CN101196935A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种创建索引库的***及其方法
CN102163199A (zh) * 2010-02-24 2011-08-24 富士通株式会社 构造索引库的方法和设备以及查询方法

Also Published As

Publication number Publication date
CN103631792A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
CN106649378B (zh) 一种数据同步方法及装置
CN102279730B (zh) 一种并行的数据处理方法、装置和并行的数据处理***
ATE479287T1 (de) Verfahren zur verwaltung von betriebsmitteln in einer plattform für telekommunikationsdienst und/oder netzverwaltung, entsprechende plattform und computerprogrammprodukt dafür
EP1577770A3 (en) Method and system for grid-enabled virtual machines with distributed management of applications
CN106919449B (zh) 一种计算任务的调度控制方法及电子设备
TWI459223B (zh) 海量資料索引建立系統及方法
CN102999385A (zh) 计算设备中多处理器协同处理方法
Auffray et al. IMAGE: molecular integration of the analysis of the human genome and its expression
CN103984726A (zh) 一种数据库执行计划的局部修正方法
CN102629207A (zh) 一种多租户环境运行实例分时更新的方法
CN105488134A (zh) 大数据处理方法及大数据处理装置
CN103631792B (zh) 海量资料索引建立***及方法
CN108509603B (zh) 一种数据仓库的自适应动态调度方法及***
CN104484262A (zh) It数据中心服务器***自动化管理方法
CN104378239A (zh) 基于集群框架的快速可靠性指标统计***及方法
CN106897807A (zh) 一种业务风险控制方法及设备
CN102508720B (zh) 一种提高前处理模块和后处理模块效率的方法及***
CN107153679A (zh) 一种针对半结构化大数据的提取统计方法及***
TW200609830A (en) Adaptive scheduler using inherent knowledge of operating system subsystems for managing resources in a data processing system
RU2012122603A (ru) Способ слияния данных и обеспечения информации в компьютерной системе
CN104572291A (zh) 一种处理器的调用方法及电子设备
CN108876157B (zh) 调配生产资源的方法及其管理***
Hirai et al. Operations management software for the K computer
CN106445772A (zh) 一种多数据关联分析方法及***
CN111080081A (zh) 电力在线客服接待分配方法、***及电力在线客服***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160918

Address after: 518000 Guangdong Province, Shenzhen New District of Longhua City, Dalang street, Hua Sheng Lu Yong Jingxuan commercial building 1608

Applicant after: Jinyang Shenzhen sea Network Intelligent Technology Co.,Ltd.

Address before: 518109 Guangdong city of Shenzhen province Baoan District Longhua Town Industrial Zone tabulaeformis tenth East Ring Road No. 2 two

Applicant before: HONG FU JIN PRECISION INDUSTRY (SHENZHEN) Co.,Ltd.

Applicant before: HON HAI PRECISION INDUSTRY Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
CB03 Change of inventor or designer information

Inventor after: Wang Jiuli

Inventor after: Pan Yuqing

Inventor after: Zhang Xiu

Inventor after: Cao Qi

Inventor before: Li Zhongyi

Inventor before: Ye Jianfa

Inventor before: Cai Chengfeng

Inventor before: Lu Junqi

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20161125

Address after: 100000 Beijing city Xicheng District Xizhimen Street No. 1 Building No. 2 hospital 9 9C8 (Desheng Park)

Applicant after: Beijing Huacai Accounting Co.,Ltd.

Address before: Tianhe District Tong East Road Guangzhou city Guangdong province 510665 B-101 No. 5, room B-118

Applicant before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20161125

Address after: Tianhe District Tong East Road Guangzhou city Guangdong province 510665 B-101 No. 5, room B-118

Applicant after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518000 Guangdong Province, Shenzhen New District of Longhua City, Dalang street, Hua Sheng Lu Yong Jingxuan commercial building 1608

Applicant before: Jinyang Shenzhen sea Network Intelligent Technology Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant