WO2018072250A1 - 一种数据分拣***及其实现方法 - Google Patents

一种数据分拣***及其实现方法 Download PDF

Info

Publication number
WO2018072250A1
WO2018072250A1 PCT/CN2016/106008 CN2016106008W WO2018072250A1 WO 2018072250 A1 WO2018072250 A1 WO 2018072250A1 CN 2016106008 W CN2016106008 W CN 2016106008W WO 2018072250 A1 WO2018072250 A1 WO 2018072250A1
Authority
WO
WIPO (PCT)
Prior art keywords
sorting
subset
scheduling
result set
data
Prior art date
Application number
PCT/CN2016/106008
Other languages
English (en)
French (fr)
Inventor
郑葵荣
李勇波
季统凯
Original Assignee
国云科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国云科技股份有限公司 filed Critical 国云科技股份有限公司
Priority to US16/342,502 priority Critical patent/US11386110B2/en
Publication of WO2018072250A1 publication Critical patent/WO2018072250A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Definitions

  • the invention relates to the technical field of computer applications, in particular to a data sorting system based on HC-TABLE and an implementation method thereof.
  • the technical problem solved by the present invention is to provide a data sorting system based on HC-TABLE. For the problem of repeating similar data requirements and the sorting work, it takes a lot of time. Through the maintenance of the rule base, the detailed management of sorting data requirements can be realized, and the business needs can be split and data sorting can be realized in a short time. At the same time, the rules of the rules are stored in the HC-TABLE mode to ensure the diversification and scalability of the system.
  • Another technical problem solved by the present invention is to provide an implementation method of a data sorting system based on HC-TABLE.
  • the system consists of a rule base and a sorting scheduling module, and provides corresponding development and integration interfaces;
  • the rule base includes a sorting configuration library constituting HC-TABLE, a sorting rule base based on HC-TABLE, and a sorting result set;
  • the sorting configuration library provides a set of unit components constituting HC-TABLE, including an HC-TABLE subset component, a dictionary translation component, and an HC-TABLE relationship maintenance module;
  • the HC-TABLE subset component is a unit constituting HC-TABLE; each subset has a unique identifier and its characteristics, and exists as an attribute of HC-TABLE, and the unique identifier of the HC-TABLE subset can be customized.
  • code and translated through the dictionary translation component;
  • the dictionary translation component provides code translation involved in the sorting process, and supports translation of the code into code and non-code
  • the HC-TABLE relationship maintenance module is responsible for maintaining an association relationship between HC-TABLEs, and the association relationship may be composed of unique identifiers of one or more subsets, and the relationship between HC-TABLEs is dynamically associated by the maintenance, which is a sorting rule.
  • the library provides the basis of the rules;
  • the sorting rule base provides a specific sorting business rule, and the HC-TABLE relationship set maintained by a certain business rule provides a sorting basis for the sorting result set;
  • the sorting result set is a set of services, which is a polymorphic form based on the sorting rule base; the sorting result set provides input and output control means for performing the output and input HC-TABLE subsets. Control then produces different sets of results;
  • the sorting scheduling module provides a scheduling and distribution function, and the scheduling function converts the structured query language of the result set into an actual data file in the form of a task, and the distribution function distributes the data file.
  • the HC-TABLE is a highly configurable structured watch that can be assembled and assembled through a sorting configuration library; HC-TABLE consists of one or more HC-TABLE subsets.
  • the sorting result set filters the sorting result through the control input; through the control output,
  • the polymorphic form generates sorting results; each result set is generated in a structured query language representation as the basis for the scheduling of the sorting scheduling module.
  • the sorting result set filters the sorting result through the control input end; generates the sorting result in a polymorphic manner through the control output end; generates each result set in a structured query language representation, and uses the sorting scheduling module to schedule Foundation.
  • the rule base provides a CRUD access interface for querying and maintaining configuration information of the HC-TABLE subset component, the dictionary translation component, and the HC-TABLE relationship maintenance module.
  • the first step is to select the HC-TABLE subset generation method to create or reuse the original subset.
  • the HC-TABLE subset is selected to uniquely identify the generation mode, customization or system allocation
  • the third step is to add a subset matching library, a table and its corresponding field, and verify whether the subset is available;
  • the fourth step is to add a subset to match the English name in the field
  • the fifth step is to add a subset display order, size, line length and horizontal and vertical position
  • the sixth step is to add a subset of the optional data processing methods, including the precision, interception and splicing functions;
  • the seventh step log records, save the HC-TABLE subset
  • the steps to configure the dictionary translation component are:
  • the first step is to create a new dictionary translation breakdown
  • the second step is to select an identifier that already exists in the HC-TABLE subset
  • the third step is to add a translation item corresponding to the identifier
  • the fourth step is to save the detailed records
  • the fifth step is to add a ⁇ K, V> key value item existing in the subset
  • the sixth step is to save the key value item
  • the seventh step the log record, is completed
  • the flow of the HC-TABLE relationship maintenance module is:
  • the first step is to create a new HC-TABLE
  • the second step is to add one or more HC-TABLE subset soft links
  • the third step is to save HC-TABLE
  • the fourth step is to add the relationship between the HC-TABLE and other TABLEs, including the left connection, the right connection, and the full connection, and associate the subset relationship between the TABLEs to form a one-to-one or one-to-many mapping relationship;
  • the fifth step is to save the relationship
  • the sixth step, the log record, is completed.
  • the sorting rule base maintenance process is:
  • the first step is to create a new sorting service category and generate a unique identifier.
  • the second step is to create a new rule and generate a rule identifier.
  • one or more HC-TABLEs are selected to form a rule body
  • the fourth step is to select a subset of the selected HC-TABLE as an output item
  • the fifth step is to save the rules
  • the sixth step, the log record, is completed.
  • the sorting result set management process is:
  • the first step is to create a new sorting result set category and generate a unique identifier
  • the second step is to select one or more sorting rules
  • the third step is to determine whether there is an association relationship when multiple sorting rules are selected.
  • the fourth step is to manage the configuration output and the input item through the data processing mode of the subset
  • the fifth step is to select a data file output path
  • the sixth step is to save the result set and generate a structured query language
  • the seventh step the log record, is completed.
  • the process of the sorting scheduling module is:
  • the first step is to create a new scheduling task
  • the third step is to add an execution cycle and time
  • the fourth step is to perform data distribution according to the file server output path configured by the result set after the task scheduling is completed;
  • the fifth step, the log record, is completed.
  • the invention solves the problem of complicated business requirements and many uncertain factors, and decomposes the data requirements and customizes them in the form of rules.
  • the HC-TABLE subset stores rule details and supports multi-dimensional data processing; HC-TABLE manages subsets in a unified manner and provides a basis for rule implementation.
  • the sorting result set realizes the polymorphism of the rules through input and output control.
  • the components in the rule base are closely combined, and the data sorting requirements are truly realized by dynamic split processing, which ensures the flexibility and scalability of the system.
  • Figure 1 is a general structural view of the present invention
  • FIG. 2 is a configuration activity diagram of a sorting rule base of the present invention
  • 3 is a sequence diagram of the sorting scheduling module of the present invention.
  • the present invention provides a data sorting system based on HC-TABLE for the problem of repeating similar data requirements and the need for more time for sorting work.
  • the detailed management of sorting data requirements is realized, and the business requirements can be split and data sorting can be realized in a short time.
  • Figure 1 shows a general structural diagram of the present invention, consisting of a rule base and a sorting scheduling module.
  • HC-TABLE is a highly configurable structured table that can be assembled by the sorting configuration library; consisting of one or more HC-TABLE subsets.
  • Rule base It includes three parts: the sorting configuration library, the sorting rule base, and the sorting result set.
  • the sorting configuration library provides a set of unit components constituting HC-TABLE, including an HC-TABLE subset component, a dictionary translation component, and an HC-TABLE relationship maintenance module.
  • the HC-TABLE subset component is a unit that constitutes HC-TABLE; each subset has a unique identifier and its characteristics, and exists as an attribute of HC-TABLE.
  • the unique identifier of the HC-TABLE subset can be customized as a code.
  • the dictionary translation component provides code translation involved in the sorting process, and supports translation of code into code and non-code.
  • the HC-TABLE relationship maintenance module is responsible for maintaining the association relationship between HC-TABLEs.
  • the association relationship may be composed of unique identifiers of one or more subsets.
  • the association relationship may be composed of unique identifiers of one or more subsets.
  • the sorting rule base provides a specific sorting business rule, and the HC-TABLE relationship set maintained by a certain business rule provides a sorting basis for the sorting result set.
  • the sorting result set is a collection of business, which is a polymorphic form based on the sorting rule base; the sorting result set provides input and output control means, and controls the output and input HC-TABLE subset to generate Different result sets; filtering the sorting result through the control input; generating the sorting result in polymorphic form through the control output; generating each result set in a structured query language representation, as the basis for the scheduling of the sorting scheduling module .
  • the sorting scheduling module provides scheduling and distribution functions, and the scheduling function combines the result sets in the form of tasks.
  • the structured query language is converted to an actual data file, and the distribution function distributes the data file.
  • rule base provides a CRUD access interface for querying and maintaining HC-TABLE subset components, dictionary translation components, and HC-TABLE relationship maintenance module configuration information.
  • Figure 2 shows the configuration activity diagram of the sorting rule base
  • Figure 3 shows the sequence diagram of the sorting scheduling module. The relevant implementation steps are as follows.
  • the first step is to select the HC-TABLE subset generation method to create or reuse the original subset.
  • the HC-TABLE subset is selected to uniquely identify the generation mode, customization or system allocation
  • the third step is to add a subset matching library, a table and its corresponding field, and verify whether the subset is available;
  • the fourth step is to add a subset to match the English name in the field
  • the fifth step is to add a subset display order, size, line length and horizontal and vertical position
  • the sixth step is to add a subset of the optional data processing methods, including the precision, interception and splicing functions;
  • the seventh step log records, save the HC-TABLE subset
  • the steps to configure the dictionary translation component are:
  • the first step is to create a new dictionary translation breakdown
  • the second step is to select an identifier that already exists in the HC-TABLE subset
  • the third step is to add a translation item corresponding to the identifier
  • the fourth step is to save the detailed records
  • the fifth step is to add a ⁇ K, V> key value item existing in the subset
  • the sixth step is to save the key value item
  • the seventh step the log record, is completed
  • the flow of the HC-TABLE relationship maintenance module is:
  • the first step is to create a new HC-TABLE
  • the second step is to add one or more HC-TABLE subset soft links
  • the third step is to save HC-TABLE
  • the fourth step is to add the relationship between the HC-TABLE and other TABLEs, including the left connection, the right connection, and the full connection, and associate the subset relationship between the TABLEs to form a one-to-one or one-to-many mapping relationship;
  • the fifth step is to save the relationship
  • the sixth step, the log record, is completed.
  • the sorting rule base maintenance process is:
  • the first step is to create a new sorting service category and generate a unique identifier.
  • the second step is to create a new rule and generate a rule identifier.
  • one or more HC-TABLEs are selected to form a rule body
  • the fourth step is to select a subset of the selected HC-TABLE as an output item
  • the fifth step is to save the rules
  • the sixth step, the log record, is completed.
  • the sorting result set management process is:
  • the first step is to create a new sorting result set category and generate a unique identifier
  • the second step is to select one or more sorting rules
  • the third step is to determine whether there is an association relationship when multiple sorting rules are selected.
  • the fourth step is to manage the configuration output and the input item through the data processing mode of the subset
  • the fifth step is to select a data file output path
  • the sixth step is to save the result set and generate a structured query language
  • the seventh step the log record, is completed.
  • the process of the sorting scheduling module is:
  • the first step is to create a new scheduling task
  • the third step is to add an execution cycle and time
  • the fourth step is to perform data distribution according to the file server output path configured by the result set after the task scheduling is completed;
  • the fifth step, the log record, is completed.
  • the invention performs the sorting customization processing of the data, has the characteristics of good expansibility and wide application range, and can be effectively applied to various business type systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

一种基于HC-TABLE的数据分拣***及其实现方法。所述***由规则库和分拣调度模块组成。规则库，包括构成HC-TABLE的分拣配置库、基于HC-TABLE的分拣规则库以及分拣结果集。分拣调度模块提供调度和分发功能，调度功能以任务的形式将结果集的结构化查询语言转换为实际数据文件，分发功能将数据文件进行分发。通过本方法将数据进行分拣定制化处理，具有扩展性好、适用范围广等特点，可有效地应用于多种业务型***中。

Description

一种数据分拣***及其实现方法 技术领域
本发明涉及计算机应用技术领域，特别涉及一种基于HC-TABLE的数据分拣***及其实现方法。
背景技术
随着计算机应用技术的发展，用户涉及到的数据需求愈趋向于多样化。伴随着业务的复杂化及不确定因素，重复类似的数据需求及其分拣工作需要花费较多时间。在传统业务***内，往往无法对数据分拣工作进行统一定制化。这时候更需要一种灵活度高和适用范围广的方法，可以在快速响应业务需求，并实现统一规则管理。
发明内容
本发明解决的技术问题在于提供一种基于HC-TABLE的数据分拣***。针对重复类似的数据需求及其分拣工作需要花费较多时间的问题，通过规则库的维护，实现分拣数据需求细化管理，可以在短时间内将业务需求拆分并实现数据分拣。同时，以HC-TABLE的方式存放规则细目，保证***的多元化及可扩展性。
本发明解决的另一技术问题在于提供一种基于HC-TABLE的数据分拣***的实现方法。
本发明解决上述技术问题之一的技术方案是：
所述的***由规则库和分拣调度模块组成，并提供相应的开发和集成接口；
所述的规则库，包括构成HC-TABLE的分拣配置库、基于HC-TABLE的分拣规则库以及分拣结果集；
所述的分拣配置库，提供构成HC-TABLE的单元组件集合，包括HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块；
所述的HC-TABLE子集组件，是构成HC-TABLE的单元；每一个子集都具备唯一标识及其特性，作为HC-TABLE的一个属性存在，HC-TABLE子集的唯一标识可以自定义为代码的形式，并通过字典翻译组件进行翻译；
所述的字典翻译组件，提供分拣过程中涉及到的代码翻译，支持代码转换为代码以及非代码两种方式的翻译；
所述的HC-TABLE关系维护模块，负责维护HC-TABLE间的关联关系，关联关系可由一个或多个子集的唯一标识组成，通过维护，将HC-TABLE间的关系动态关联，为分拣规则库提供规则基础；
所述的分拣规则库，提供具体的分拣业务规则，以一定业务规则维护的HC-TABLE关系集合，为分拣结果集提供分拣依据；
所述的分拣结果集，是业务的集合，是建立在分拣规则库基础上的一种多态形式；分拣结果集提供输入输出控制手段，对输出及输入的HC-TABLE子集进行控制进而产生不同的结果集；
所述的分拣调度模块提供调度和分发功能，调度功能以任务的形式将结果集的结构化查询语言转换为实际数据文件，分发功能将数据文件进行分发。
所述的HC-TABLE是高可配的结构化表，可通过分拣配置库进行配置组装；HC-TABLE由一个或多个HC-TABLE子集组成。
所述的分拣结果集通过控制输入端，过滤分拣结果；通过控制输出端，以 多态的形式生成分拣结果；生成每一个结果集可用结构化查询语言表示，作为分拣调度模块调度的基础。
所述的分拣结果集通过控制输入端，过滤分拣结果；通过控制输出端，以多态的形式生成分拣结果；生成每一个结果集可用结构化查询语言表示，作为分拣调度模块调度的基础。
所述的规则库提供CRUD访问接口，用于查询及维护HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块配置信息。
本发明解决上述技术问题之二的技术方案是：
配置HC-TABLE子集组件步骤是：
第一步，选择HC-TABLE子集生成方式，新建或者复用原有子集；
第二步，选择HC-TABLE子集唯一标识生成方式，自定义或者***分配；
第三步，添加子集匹配库、表及其对应栏位，并校验该子集是否可用；
第四步，添加子集匹配栏位中英文名称；
第五步，添加子集展示次序、大小、占行长度及横竖位置；
第六步，添加子集可选的数据处理方式，包括求精度、截取和拼接功能；
第七步，日志记录，保存HC-TABLE子集；
配置字典翻译组件的步骤是：
第一步，新建字典翻译细目；
第二步，选择HC-TABLE子集已存在的标识；
第三步，添加标识对应的翻译项；
第四步，保存细目记录；
第五步，添加子集存在的<K，V>键值项；
第六步，保存键值项；
第七步，日志记录，完成；
HC-TABLE关系维护模块的流程是：
第一步，新建HC-TABLE；
第二步，添加一个或多个HC-TABLE子集软链接；
第三步，保存HC-TABLE；
第四步，添加HC-TABLE与其他TABLE存在的关联关系，包括左连接、右连接和全连接，并关联TABLE间的子集关系，形成一对一或一对多的映射关系；
第五步，保存关联关系；
第六步，日志记录，完成。
分拣规则库维护流程是：
第一步，新建分拣业务类别，生成唯一标识；
第二步，新建规则，产生规则标识；
第三步，选择一个或多个HC-TABLE组成规则主体；
第四步，选择已选HC-TABLE下的子集作为输出项；
第五步，保存规则；
第六步，日志记录，完成。
分拣结果集管理流程是：
第一步，新建分拣结果集类别，生成唯一标识；
第二步，选择一个或多个分拣规则；
第三步，当选择多个分拣规则时，判断是否存在关联关系；
第四步，通过子集的数据处理方式管理配置输出及输入项；
第五步，选择数据文件输出路径；
第六步，保存结果集，并生成结构化查询语言；
第七步，日志记录，完成。
分拣调度模块的流程是：
第一步，新建调度任务；
第二步，选择已配置完成的分拣结果集；
第三步，添加执行周期及时间；
第四步，任务调度完成后根据结果集配置的文件服务器输出路径进行数据分发；
第五步，日志记录，完成。
本发明针对业务需求的复杂化及不确定因素多的问题，通过对数据需求进行分解，并以规则的形式进行定制。HC-TABLE子集存放了规则细节，支持多维度数据处理；HC-TABLE统一管理子集，并为规则实现提供依据。分拣结果集通过输入输出控制，实现了规则的多态。规则库内各个组件紧密结合，将数据分拣需求真正地实现了动态拆分处理，保证了***的灵活性和扩展性。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明的总体结构图；
图2是本发明分拣规则库的配置活动图；
图3是本发明分拣调度模块的序列图。
具体实施方式
本发明针对重复类似的数据需求及其分拣工作需要花费较多时间的问题，提供了一种基于HC-TABLE的数据分拣***。实现了分拣数据需求细化管理，可以在短时间内将业务需求拆分并实现数据分拣。
图1表示了本发明的总体结构图，由规则库和分拣调度模块组成。
HC-TABLE：是高可配的结构化表，可通过分拣配置库进行配置组装；由一个或多个HC-TABLE子集组成。
规则库：包括分拣配置库、分拣规则库以及分拣结果集三部分。
分拣配置库，提供构成HC-TABLE的单元组件集合，包括HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块。HC-TABLE子集组件，是构成HC-TABLE的单元；每一个子集都具备唯一标识及其特性，作为HC-TABLE的一个属性存在，HC-TABLE子集的唯一标识可以自定义为代码的形式，并通过字典翻译组件进行翻译。字典翻译组件，提供分拣过程中涉及到的代码翻译，支持代码转换为代码以及非代码两种方式的翻译。HC-TABLE关系维护模块，负责维护HC-TABLE间的关联关系，关联关系可由一个或多个子集的唯一标识组成，通过维护，将HC-TABLE间的关系动态关联，为分拣规则库提供规则基础。分拣规则库，提供具体的分拣业务规则，以一定业务规则维护的HC-TABLE关系集合，为分拣结果集提供分拣依据。分拣结果集，是业务的集合，是建立在分拣规则库基础上的一种多态形式；分拣结果集提供输入输出控制手段，对输出及输入的HC-TABLE子集进行控制进而产生不同的结果集；通过控制输入端，过滤分拣结果；通过控制输出端，以多态的形式生成分拣结果；生成每一个结果集可用结构化查询语言表示，作为分拣调度模块调度的基础。
分拣调度模块提供调度和分发功能，调度功能以任务的形式将结果集的结 构化查询语言转换为实际数据文件，分发功能将数据文件进行分发。
此外，规则库提供CRUD访问接口，用于查询及维护HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块配置信息。
图2表示了分拣规则库的配置活动图，图3表示了分拣调度模块的序列图，有关的实现步骤分别如下。
配置HC-TABLE子集组件步骤是：
第一步，选择HC-TABLE子集生成方式，新建或者复用原有子集；
第二步，选择HC-TABLE子集唯一标识生成方式，自定义或者***分配；
第三步，添加子集匹配库、表及其对应栏位，并校验该子集是否可用；
第四步，添加子集匹配栏位中英文名称；
第五步，添加子集展示次序、大小、占行长度及横竖位置；
第六步，添加子集可选的数据处理方式，包括求精度、截取和拼接功能；
第七步，日志记录，保存HC-TABLE子集；
配置字典翻译组件的步骤是：
第一步，新建字典翻译细目；
第二步，选择HC-TABLE子集已存在的标识；
第三步，添加标识对应的翻译项；
第四步，保存细目记录；
第五步，添加子集存在的<K，V>键值项；
第六步，保存键值项；
第七步，日志记录，完成；
HC-TABLE关系维护模块的流程是：
第一步，新建HC-TABLE；
第二步，添加一个或多个HC-TABLE子集软链接；
第三步，保存HC-TABLE；
第四步，添加HC-TABLE与其他TABLE存在的关联关系，包括左连接、右连接和全连接，并关联TABLE间的子集关系，形成一对一或一对多的映射关系；
第五步，保存关联关系；
第六步，日志记录，完成。
分拣规则库维护流程是：
第一步，新建分拣业务类别，生成唯一标识；
第二步，新建规则，产生规则标识；
第三步，选择一个或多个HC-TABLE组成规则主体；
第四步，选择已选HC-TABLE下的子集作为输出项；
第五步，保存规则；
第六步，日志记录，完成。
分拣结果集管理流程是：
第一步，新建分拣结果集类别，生成唯一标识；
第二步，选择一个或多个分拣规则；
第三步，当选择多个分拣规则时，判断是否存在关联关系；
第四步，通过子集的数据处理方式管理配置输出及输入项；
第五步，选择数据文件输出路径；
第六步，保存结果集，并生成结构化查询语言；
第七步，日志记录，完成。
分拣调度模块的流程是：
第一步，新建调度任务；
第二步，选择已配置完成的分拣结果集；
第三步，添加执行周期及时间；
第四步，任务调度完成后根据结果集配置的文件服务器输出路径进行数据分发；
第五步，日志记录，完成。
本发明将数据进行分拣定制化处理，具有扩展性好、适用范围广等特点，可有效地应用于多种业务型***中。

Claims (10)

  1. 一种数据分拣***，其特征在于：所述的***由规则库和分拣调度模块组成，并提供相应的开发和集成接口；
    所述的规则库，包括构成HC-TABLE的分拣配置库、基于HC-TABLE的分拣规则库以及分拣结果集；
    所述的分拣配置库，提供构成HC-TABLE的单元组件集合，包括HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块；
    所述的HC-TABLE子集组件，是构成HC-TABLE的单元；每一个子集都具备唯一标识及其特性，作为HC-TABLE的一个属性存在，HC-TABLE子集的唯一标识可以自定义为代码的形式，并通过字典翻译组件进行翻译；
    所述的字典翻译组件，提供分拣过程中涉及到的代码翻译，支持代码转换为代码以及非代码两种方式的翻译；
    所述的HC-TABLE关系维护模块，负责维护HC-TABLE间的关联关系，关联关系可由一个或多个子集的唯一标识组成，通过维护，将HC-TABLE间的关系动态关联，为分拣规则库提供规则基础；
    所述的分拣规则库，提供具体的分拣业务规则，以一定业务规则维护的HC-TABLE关系集合，为分拣结果集提供分拣依据；
    所述的分拣结果集，是业务的集合，是建立在分拣规则库基础上的一种多态形式；分拣结果集提供输入输出控制手段，对输出及输入的HC-TABLE子集进行控制进而产生不同的结果集；
    所述的分拣调度模块提供调度和分发功能，调度功能以任务的形式将结果 集的结构化查询语言转换为实际数据文件，分发功能将数据文件进行分发。
  2. 根据权利要求1所述的数据分拣***，其特征在于：所述的HC-TABLE是高可配的结构化表，可通过分拣配置库进行配置组装；HC-TABLE由一个或多个HC-TABLE子集组成。
  3. 根据权利要求1所述的数据分拣***，其特征在于：所述的分拣结果集通过控制输入端，过滤分拣结果；通过控制输出端，以多态的形式生成分拣结果；生成每一个结果集可用结构化查询语言表示，作为分拣调度模块调度的基础。
  4. 根据权利要求1所述的数据分拣***，其特征在于：所述的分拣结果集通过控制输入端，过滤分拣结果；通过控制输出端，以多态的形式生成分拣结果；生成每一个结果集可用结构化查询语言表示，作为分拣调度模块调度的基础。
  5. 根据权利要求1至4任一项所述的数据分拣***，其特征在于：所述的规则库提供CRUD访问接口，用于查询及维护HC-TABLE子集组件、字典翻译组件和HC-TABLE关系维护模块配置信息。
  6. 一种权利要求1-5任一项所述的数据分拣***的实现方法，其特征在于：
    配置HC-TABLE子集组件步骤是：
    第一步，选择HC-TABLE子集生成方式，新建或者复用原有子集；
    第二步，选择HC-TABLE子集唯一标识生成方式，自定义或者***分配；
    第三步，添加子集匹配库、表及其对应栏位，并校验该子集是否可用；
    第四步，添加子集匹配栏位中英文名称；
    第五步，添加子集展示次序、大小、占行长度及横竖位置；
    第六步，添加子集可选的数据处理方式，包括求精度、截取和拼接功能；
    第七步，日志记录，保存HC-TABLE子集；
    配置字典翻译组件的步骤是：
    第一步，新建字典翻译细目；
    第二步，选择HC-TABLE子集已存在的标识；
    第三步，添加标识对应的翻译项；
    第四步，保存细目记录；
    第五步，添加子集存在的<K,V>键值项；
    第六步，保存键值项；
    第七步，日志记录，完成；
    HC-TABLE关系维护模块的流程是：
    第一步，新建HC-TABLE；
    第二步，添加一个或多个HC-TABLE子集软链接；
    第三步，保存HC-TABLE；
    第四步，添加HC-TABLE与其他TABLE存在的关联关系，包括左连接、右连接和全连接，并关联TABLE间的子集关系，形成一对一或一对多的映射关系；
    第五步，保存关联关系；
    第六步，日志记录，完成。
  7. 一种权利要求6所述的数据分拣***的实现方法，其特征在于：
    分拣规则库维护流程是：
    第一步，新建分拣业务类别，生成唯一标识；
    第二步，新建规则，产生规则标识；
    第三步，选择一个或多个HC-TABLE组成规则主体；
    第四步，选择已选HC-TABLE下的子集作为输出项；
    第五步，保存规则；
    第六步，日志记录，完成。
  8. 一种权利要求6或7所述的数据分拣***的实现方法，其特征在于：
    分拣结果集管理流程是：
    第一步，新建分拣结果集类别，生成唯一标识；
    第二步，选择一个或多个分拣规则；
    第三步，当选择多个分拣规则时，判断是否存在关联关系；
    第四步，通过子集的数据处理方式管理配置输出及输入项；
    第五步，选择数据文件输出路径；
    第六步，保存结果集，并生成结构化查询语言；
    第七步，日志记录，完成。
  9. 一种权利要求6或7所述的数据分拣***的实现方法，其特征在于：
    分拣调度模块的流程是：
    第一步，新建调度任务；
    第二步，选择已配置完成的分拣结果集；
    第三步，添加执行周期及时间；
    第四步，任务调度完成后根据结果集配置的文件服务器输出路径进行数据分发；
    第五步，日志记录，完成。
  10. 一种权利要求8所述的数据分拣***的实现方法，其特征在于：
    分拣调度模块的流程是：
    第一步，新建调度任务；
    第二步，选择已配置完成的分拣结果集；
    第三步，添加执行周期及时间；
    第四步，任务调度完成后根据结果集配置的文件服务器输出路径进行数据分发；
    第五步，日志记录，完成。
PCT/CN2016/106008 2016-10-18 2016-11-16 一种数据分拣***及其实现方法 WO2018072250A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/342,502 US11386110B2 (en) 2016-10-18 2016-11-16 Data sorting system and implementation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016109076382 2016-10-18
CN201610907638.2A CN106503118B (zh) 2016-10-18 2016-10-18 一种基于hc-table的数据分拣***及其实现方法

Publications (1)

Publication Number Publication Date
WO2018072250A1 true WO2018072250A1 (zh) 2018-04-26

Family

ID=58295411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/106008 WO2018072250A1 (zh) 2016-10-18 2016-11-16 一种数据分拣***及其实现方法

Country Status (3)

Country Link
US (1) US11386110B2 (zh)
CN (1) CN106503118B (zh)
WO (1) WO2018072250A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073692B (zh) * 2017-12-06 2021-09-21 国云科技股份有限公司 一种企业排名***的实现方法
CN116485427B (zh) * 2022-10-14 2024-07-19 南京贝特威信息技术有限公司 一种面向全球民航客票燃油附加费实时计算的预处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061228A1 (en) * 2001-06-08 2003-03-27 The Regents Of The University Of California Parallel object-oriented decision tree system
CN101702205A (zh) * 2009-11-17 2010-05-05 湖南大学 一种订单快速分拣方法
CN102141912A (zh) * 2010-06-04 2011-08-03 华为技术有限公司 一种处理多类引擎Widget的方法及装置
CN105528361A (zh) * 2014-09-30 2016-04-27 北京中邮绿卡金融网络有限责任公司 一种智能地址匹配方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560592B1 (en) * 1998-03-19 2003-05-06 Micro Data Base Systems, Inc. Multi-model computer database storage system with integrated rule engine
CN102193948A (zh) * 2010-03-16 2011-09-21 华为技术有限公司 特征匹配方法和装置
US9244989B2 (en) * 2011-02-25 2016-01-26 Oracle International Corporation Setting and displaying primary objects for one or more purposes in a table for enterprise business applications
CN104572685B (zh) * 2013-10-17 2018-01-30 纬创资通股份有限公司 数据排序方法
CN104199814A (zh) * 2014-02-24 2014-12-10 无锡天脉聚源传媒科技有限公司 一种资源分拣方法及装置
US10664759B2 (en) * 2014-10-23 2020-05-26 Fair Isaac Corporation Dynamic business rule creation using scored sentiments
CN105354324B (zh) * 2015-11-17 2018-06-08 国云科技股份有限公司 一种基于hc-sql的树状结构***及其实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061228A1 (en) * 2001-06-08 2003-03-27 The Regents Of The University Of California Parallel object-oriented decision tree system
CN101702205A (zh) * 2009-11-17 2010-05-05 湖南大学 一种订单快速分拣方法
CN102141912A (zh) * 2010-06-04 2011-08-03 华为技术有限公司 一种处理多类引擎Widget的方法及装置
CN105528361A (zh) * 2014-09-30 2016-04-27 北京中邮绿卡金融网络有限责任公司 一种智能地址匹配方法

Also Published As

Publication number Publication date
CN106503118B (zh) 2019-06-21
US20190272278A1 (en) 2019-09-05
US11386110B2 (en) 2022-07-12
CN106503118A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN102012945B (zh) 一种面向用户的数据库管理***
WO2018103109A1 (zh) 一种web页面管理***及其实现方法
CN104035754A (zh) 一种基于xml的自定义代码生成方法及生成器
CN103412868B (zh) 文书生成方法及装置
CN105022615A (zh) 一种界面的生成方法和***
CN109492012A (zh) 一种数据实时统计和检索的方法、装置及存储介质
CN107368503A (zh) 基于Kettle的数据同步方法和***
CN107679071B (zh) 一种面向关系数据库的通用数据服务定制化封装方法
CN111078702B (zh) 一种sql语句分类管理及统一查询方法和装置
CN114981775B (zh) 用于api综合管理的基于云的api元数据管理方法及***
US20150066977A1 (en) Method and system for managing digital resources
CN103914290A (zh) 一种操作命令处理方法及装置
CN111008020B (zh) 将逻辑表达式解析为通用查询语句的方法
CN102650995A (zh) 多维数据分析模型生成***及方法
CN110750553A (zh) 一种在业务管理***中对数据进行自定义导出的方法
CN113010154B (zh) 基于动态加载的二级数据管理界面可视化开发配置方法
CN103886085A (zh) 一种通用的可行列变换交叉报表方法
WO2018072250A1 (zh) 一种数据分拣***及其实现方法
CN102707948A (zh) 一种源代码生成方法
CN108121579B (zh) 修改规则文件的方法及装置
CN106776644B (zh) 一种报表***配置方法和装置
CN102402515A (zh) 通用自定义查询***及方法
CN105589840A (zh) 一种通用excel/pdf报表导出组件
CN103186384A (zh) 一种面向业务组件的软件设计分析***及其使用方法
CN109343835A (zh) 一种基于模板的快速构建业务脚手架代码工具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919034

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16919034

Country of ref document: EP

Kind code of ref document: A1