CN101388009A - 用动态表名优化超大数据量处理能力的方法 - Google Patents
用动态表名优化超大数据量处理能力的方法 Download PDFInfo
- Publication number
- CN101388009A CN101388009A CNA2007101216018A CN200710121601A CN101388009A CN 101388009 A CN101388009 A CN 101388009A CN A2007101216018 A CNA2007101216018 A CN A2007101216018A CN 200710121601 A CN200710121601 A CN 200710121601A CN 101388009 A CN101388009 A CN 101388009A
- Authority
- CN
- China
- Prior art keywords
- data
- name
- table name
- divide
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明为用动态表名优化超大数据量处理能力的方法。该方法的主要特征是将超大数据量分成多个表进行存储及处理，通过指针对照表来定位数据所在的表，以动态表名的方法实现程序处理不确定目标表的数据，达到优化超大数据量处理能力的目的。本发明能够在中小型数据库上实现与大型数据库相当的超大数据量的处理能力。
Description
技术领域：
本发明涉及软件设计，特别是使用中小型数据库***处理超大数据量的应用软件设计。
背景技术：
中小型数据库***具有价格低廉、布署容易等优点，被广泛应用。但是，在处理十万行以上的超大数据量时，中小型数据库的性能明显下降，甚至能导致***崩溃而无法继续运行。
通常，中小型数据库应用软件设计时，对表的的划分以内容或功能为标准，个别表数据量很大时，也只能依靠中小型数据库的处理能力，无其他方法可以优化超大数据量的处理能力。
少数中小型数据库应用软件的设计，按数据的时间特征对数据库进行划分，不同时间段的数据库具有名称、结构、功能相同的表。例如，部分财务软件将每年的数据做为一个数据库进行划分。但这种设计也限制了数据的处理范围，即一次处理只能在一个数据库内完成。例如，部分财务软件每次只能登录一个年度，处理一个年度内的数据。这种设计虽然在一定程度上能够避免数据量不断增长会形成超大数据量的情况，部分地分散了数据处理能力的压力，但是会产生大量的数据冗余，并因限制数据处理范围而导致软件功能不能完整实现。
发明内容：
本发明的主要目的是针对应用中小型数据库处理十万行以上的超大数据量的软件设计，提出的一种用动态表名来优化中小型数据库处理能力的方法。
本发明的目的是这样实现的：对超大数据量分成多个表进行存储及处理，通过指针对照表来定位数据所在的表，以动态表名的方法实现程序处理不确定目标表的数据，达到优化超大数据量处理能力的目的。
所述的对超大数据量分成多个表进行存储及处理，包括对超大数据量的划分、存储所用多个表的命名规则。
所述的超大数据量的划分，至少可以有以下三种方式或其组合：
1、按固定时间间隔进行划分，通常以日、周、月、年来划分。
2、按自动序列标识的固定间隔进行划分。
3、按某一列值进行划分。
所述的存储所用多个表的命名规则，可以分为前后两部分。前部分是特征性命名部分，可适用软件设计时所遵从的一般命名规则或特别约定的命名规则。后部分是序列性命名部分，应为可与数据划分相匹配的一固定长度的数字型字符串或其他方式构成。后部分可根据应用习惯置前或置中。
所述的通过指针对照表来定位数据所在的表，可以是一个实际存在的表，也可以用一种相对简单的规则来替代实际存在的表。
所述的通过指针对照表来定位数据所在的表，是指在对数据进行查询、***、更新、删除处理时，可以用指定划分标识通过在指针对照表里进行比对来确定指定数据行所存储的表名。如果是按自动序列标识的固定间隔进行划分的，且是执行***操作时，则需要有一种预处理机制确定最后一个表名，即***数据所存储的表名。
所述的以动态表名的方法实现程序处理不确定目标表的数据，包括动态表名方法和处理不确定目标表数据的方法。
所述的动态表名是指程序中使用一变量表名，用动态执行语句或其他方式来替换为实际的表名的处理方法。
所述的处理不确定目标表数据的方法，是指因为对数据进行分表处理，目标结果集可能跨表存储，所以在有必要的情况下需要对多个表进行检索和处理。通常使用循环处理和临时表的方法进行处理。
所述的在有必要的情况下是指通过指针对照表所定位出的数据不在同一个表内的情况。
所述的使用循环处理的方法是指使用同样的语句在已经定位数据所在的表中进行同样的处理操作。
所述的使用临时表的方法是指如果需要对结果集进行进一步的加工处理时，可将循环处理方法每次所产生的结果输入到同一临时表中，再对临时表的数据进行进一步的加工处理。
本发明能够在中小型数据库上实现与大型数据库相当的超大数据量的处理能力。
附图说明：
附图为本发明一个简化实例的流程图。
具体实施方式：
参见附图，我们将以一简化实例来说明本发明的具体实施方式。
步骤一，确定要处理的数据。要处理的数据必须包括指针对照表所需的指定划分标识。如果按自动序列标识的固定间隔进行划分的表，且是执行***操作时，则不需要。
步骤二，定位数据所在的表。用指定划分标识通过在指针对照表里进行比对来确定指定数据行所存储的表名。所得到的表可能是一个，也可能是多个，如果是多个表，就需要循环进行处理。
步骤三，在数据所在的表中筛选出需要处理的数据行。如果是多个表，就需要循环进行筛选。可将筛选出的结果存储于临时表中，以便后续处理。
步骤四，进行处理。如果是多个表，就需要循环进行处理。
Claims (8)
1、一种用动态表名优化超大数据量处理能力的方法，其特征在于：对超大数据量分成多个表进行存储及处理，通过指针对照表来定位数据所在的表，以动态表名的方法实现程序处理不确定目标表的数据。
2、根据权利要求1所述的对超大数据量分成多个表进行存储及处理，其特征在于：对超大数据量的划分至少可以有以下三种方式或其组合：
a、按固定时间间隔进行划分，通常以日、周、月、年来划分。
b、按自动序列标识的固定间隔进行划分。
c、按某一列值进行划分。
3、根据权利要求1所述的对超大数据量分成多个表进行存储及处理，其特征在于：存储所用多个表的命名规则，前部分是特征性命名部分，可适用软件设计时所遵从的一般命名规则或特别约定的命名规则。后部分是序列性命名部分，应为可与数据划分相匹配的一固定长度的数字型字符串或其他方式构成。后部分可根据应用习惯置前或置中。
4、根据权利要求1所述的通过指针对照表来定位数据所在的表，其特征在于：可以是一个实际存在的表，也可以用一种相对简单的规则来替代实际存在的表。
5、根据权利要求1所述的通过指针对照表来定位数据所在的表，其特征在于：在对数据进行查询、***、更新、删除处理时，可以用指定划分标识通过在指针对照表里进行比对来确定指定数据行所存储的表名。如果是按自动序列标识的固定间隔进行划分的，且是执行***操作时，则需要有一种预处理机制确定最后一个表名，即***数据所存储的表名。
6、根据权利要求1所述的以动态表名的方法实现程序处理不确定目标表的数据，其特征在于：程序中使用一变量表名，用动态执行语句或其他方式来替换为实际的表名。
7、根据权利要求1所述的以动态表名的方法实现程序处理不确定目标表的数据，其特征在于：如果目标结果集跨表存储，则使用同样的语句在已经定位数据所在的表中进行同样的处理操作。
8、根据权利要求1所述的以动态表名的方法实现程序处理不确定目标表的数据，其特征在于：可将循环处理方法每次所产生的结果输入到同一临时表中，再对临时表的数据进行进一步的加工处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101216018A CN101388009A (zh) | 2007-09-11 | 2007-09-11 | 用动态表名优化超大数据量处理能力的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101216018A CN101388009A (zh) | 2007-09-11 | 2007-09-11 | 用动态表名优化超大数据量处理能力的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101388009A true CN101388009A (zh) | 2009-03-18 |
Family
ID=40477435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007101216018A Pending CN101388009A (zh) | 2007-09-11 | 2007-09-11 | 用动态表名优化超大数据量处理能力的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101388009A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103258035A (zh) * | 2013-05-15 | 2013-08-21 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN103377211A (zh) * | 2012-04-20 | 2013-10-30 | 上海梅山钢铁股份有限公司 | 一种热连轧生产过程中高频数据的存储和读取方法 |
| CN104239362A (zh) * | 2013-06-24 | 2014-12-24 | 上海梅山钢铁股份有限公司 | 冷轧生产过程中高频数据的检索与存储方法 |
| CN108268517A (zh) * | 2016-12-30 | 2018-07-10 | 希姆通信息技术（上海）有限公司 | 数据库中标签的管理方法及*** |
| CN111327532A (zh) * | 2020-01-21 | 2020-06-23 | 南京贝伦思网络科技股份有限公司 | 一种网络设备超大转发策略表容量的实现方法 |
-
2007
- 2007-09-11 CN CNA2007101216018A patent/CN101388009A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103377211A (zh) * | 2012-04-20 | 2013-10-30 | 上海梅山钢铁股份有限公司 | 一种热连轧生产过程中高频数据的存储和读取方法 |
| CN103258035A (zh) * | 2013-05-15 | 2013-08-21 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN103258035B (zh) * | 2013-05-15 | 2017-02-08 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN104239362A (zh) * | 2013-06-24 | 2014-12-24 | 上海梅山钢铁股份有限公司 | 冷轧生产过程中高频数据的检索与存储方法 |
| CN108268517A (zh) * | 2016-12-30 | 2018-07-10 | 希姆通信息技术（上海）有限公司 | 数据库中标签的管理方法及*** |
| CN111327532A (zh) * | 2020-01-21 | 2020-06-23 | 南京贝伦思网络科技股份有限公司 | 一种网络设备超大转发策略表容量的实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2007317574B2 (en) | Managing storage of individually accessible data units | |
| US8078570B2 (en) | Versioning data warehouses | |
| US8161001B2 (en) | Relational database page-level schema transformations | |
| US10262049B2 (en) | Shipping of data through ETL stages | |
| US20070078909A1 (en) | Database System | |
| US8880463B2 (en) | Standardized framework for reporting archived legacy system data | |
| CN103902698A (zh) | 一种数据存储***和存储方法 | |
| CN103473229A (zh) | 一种内存检索***和方法、以及实时检索***和方法 | |
| CN101452487A (zh) | 一种数据加载的方法、***及数据加载装置 | |
| CN103678408A (zh) | 一种查询数据的方法及装置 | |
| CN101388009A (zh) | 用动态表名优化超大数据量处理能力的方法 | |
| US20150234712A1 (en) | Methods of synchronizing files including synchronized hash map linked lists and related data processing nodes | |
| US11176111B2 (en) | Distributed database management system with dynamically split B-tree indexes | |
| CN101855620A (zh) | 数据处理设备和数据处理方法 | |
| CN103559300B (zh) | 数据的查询方法和查询装置 | |
| CN101840400A (zh) | 一种多级分类检索方法及*** | |
| CN106709851B (zh) | 大数据检索方法及装置 | |
| CN101546318A (zh) | 一种基于版本的数据存储方法 | |
| US10990573B2 (en) | Fast index creation system for cloud big data database | |
| CN102902763A (zh) | 关联、检索信息处理数据和处理信息任务的方法及装置 | |
| US7925665B2 (en) | Using query persistence for efficient subquery evaluation in federated databases | |
| CN102469127A (zh) | 一种密集型数据通用处理方法 | |
| CN110580255A (zh) | 一种存储并检索数据的方法以及*** | |
| CN102467544A (zh) | 基于空间模糊编码的信息智能搜索方法及*** | |
| US7725439B2 (en) | Handling column renaming as part of schema evolution in a data archiving tool |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090318 |