CN112579836A - 一种多数据库数据处理方法及*** - Google Patents

一种多数据库数据处理方法及*** Download PDF

Info

Publication number
CN112579836A
CN112579836A CN202110222448.8A CN202110222448A CN112579836A CN 112579836 A CN112579836 A CN 112579836A CN 202110222448 A CN202110222448 A CN 202110222448A CN 112579836 A CN112579836 A CN 112579836A
Authority
CN
China
Prior art keywords
data
database
sequence
databases
traversal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110222448.8A
Other languages
English (en)
Other versions
CN112579836B (zh
Inventor
马利伟
刘海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Land Public Network Technology Co ltd
Original Assignee
Shenzhen Land Public Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Land Public Network Technology Co ltd filed Critical Shenzhen Land Public Network Technology Co ltd
Priority to CN202110222448.8A priority Critical patent/CN112579836B/zh
Publication of CN112579836A publication Critical patent/CN112579836A/zh
Application granted granted Critical
Publication of CN112579836B publication Critical patent/CN112579836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多数据库数据处理方法及***，包括以下步骤：每个数据库的多个子单元按照二维平面坐标系的方式存储每年采集的终端数据；建立多个数据库的三维存储***，多个数据库按照叠加方式依次排列在三维存储***内并按照叠加顺序依次存储每年采集的终端数据；区分每个数据库存储数据的开始子单元和终止子单元，每个数据库的多个所述子单元内存储的数据按照时间顺序建立双向转接关系；按照三维存储***的层叠顺序设定所有数据库的数据处理顺序，多个数据库按照单向转接关系顺序进行下一个数据筛选操作；本发明实现提高数据筛选速度或者增加筛选数据在输出时的时序规律性。

Description

一种多数据库数据处理方法及***
技术领域
本发明涉及数据处理技术领域，具体涉及一种多数据库数据处理方法及***。
背景技术
当前，数据资源的共享和基于网络的异构数据源数据信息的获取技术已经成为一个热门话题。传统的数据集成技术，已无法适应人们及时获取更多更新更全面数据的需要，多数据库技术提供了一种集成多个异构数据源、实现信息共享的有效方法，随着数据量的迅猛增加、信息共享范围的不断扩大，多数据库***的研究已经转向无缝集成多种数据源的体系结构。
对多个数据库内存储的数据进行处理时，为了提高数据处理的效率，大多通过数据关联的方式来提高数据检索的效率，因此现有的技术大多研究多数据库的数据交互方式和数据关联方式，以提高数据共享的效率，但是而数据的存储顺序和筛选顺序也与后期数据处理的效率息息相关，且直接影响数据处理的时间和数据处理难易度。
因此需要一种集成数据存储和筛选功能的多数据库数据处理方法，更改多数据库的数据存储方式和筛选方式以适应不同的数据处理需求。
发明内容
本发明的目的在于提供一种多数据库数据处理方法及***，以解决现有技术中缺乏用于实现不同数据处理需求且具有数据存储和筛选功能的多数据库的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种多数据库数据处理方法，包括以下步骤：
步骤100、将每个数据库划分多个子单元，且每个所述子单元用于存储每天采集的数据，每个数据库的多个所述子单元按照二维平面坐标系的方式存储每年采集的终端数据；
步骤200、在二维平面坐标系的基础上增加年份时间维度，建立多个数据库的三维存储***，多个所述数据库按照叠加方式依次排列在所述三维存储***内并按照叠加顺序依次存储每年采集的终端数据；
步骤300、区分每个所述数据库存储数据的开始子单元和终止子单元，两个相邻的所述数据库的终止子单元和所述开始子单元按照层叠顺序分别建立单向转接关系，且每个所述数据库的多个所述子单元内存储的数据按照时间顺序建立双向转接关系；
步骤400、按照所述三维存储***的层叠顺序设定所有数据库的数据处理顺序，且每个所述数据库的所述子单元按照双向转接关系依次对多个所述子单元进行时序筛选，且多个所述数据库按照单向转接关系顺序进行下一个数据筛选操作。
作为本发明的一种优选方案，在步骤100中，每个所述数据库先按照每年的月份拆分为多个栈道存储单元，且多个所述栈道存储单元的空间容量互补以实现每个所述栈道存储单元的存储容量可扩展，每个所述栈道存储单元按照每天采集的数据容量划分为多个所述子单元，且多个所述子单元的空间容量互补实现每个所述子单元的存储容量可扩展。
作为本发明的一种优选方案，每个所述数据库的所述栈道存储单元对应所述二维平面坐标系的Y轴，且每个所述栈道存储单元的所述子单元对应所述二维平面坐标系的X轴，每个所述数据库的数据在所述三维存储***内不同时间维度高度所在的二维平面内平铺保存一年的终端数据；
所述二维平面坐标系的每个坐标点用于保存每个所述子单元采集的每天数据，且所述栈道存储单元对应一天结束和后一天开始的时间点自动截取一个所述子单元并自动生成下一个所述子单元。
作为本发明的一种优选方案，在步骤200中，每年的数据在不同的时间维度内平面保存，在所述三维存储***内按照时间维度和二维平面坐标系的原点位置依次查询多个年份的数据；
所述三维存储***内在X轴坐标为零时的任一排所述栈道存储单元存储的数据均设有数据检索入口，所述三维存储***根据检索条件同时对多个所述数据库按照同步插序遍历模式进行数据检索以实现数据快速处理。
作为本发明的一种优选方案，在所述步骤400中，每个所述数据库根据双向转接关系生成两种数据遍历模式，分别为数据顺序遍历模式和顺倒序组合遍历模式；
所述数据顺序遍历模式按照多个所述数据库在所述三维存储***的层叠顺序以及每个所述数据库的存储时序进行检索，以按照采集终端数据的顺序对应输出相应的检索数据并直接进行与时序相关的数据处理；
所述顺倒序组合遍历模式分别以每个所述数据库的开始子单元和终止子单元作为遍历起点，在所述遍历起点按照所述双向转接关系依次对每个所述数据库的多个所述子单元进行数据检索，且对一个所述数据库检索完成后按照所述数据库在所述三维存储***的层叠顺序顺次对下一个所述数据库按照所述顺倒序组合遍历模式进行数据检索，以将多个所述数据库的数据按序输出并将每个所述数据库的数据分为顺序和倒序两个部分数据。
作为本发明的一种优选方案，所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的数据检索时长依次增大，且所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的与时序相关的数据处理复杂度依次降低。
作为本发明的一种优选方案，所述数据顺序遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库按照从所述开始子单元和所述终止子单元的单向顺序进行数据检索；
当数据检索到所述终止子单元时，按照多个所述数据库的单向转接关系确定下一个进行数据检索的所述数据库，以实现按照数据顺序遍历模式进行数据检索。
作为本发明的一种优选方案，所述数据顺序遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库以所述开始子单元和所述终止子单元分别作为遍历起点，且两个遍历起点分别按照所述双向转接关系的相反顺序进行数据检索；
当数据遍历检索到同一个所述子单元时和遍历的数据重合时，按照固定固定顺序转接到下一个所述数据库进行双向遍历操作。
作为本发明的一种优选方案，所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式输出的所述数据均设有标签，且所述标签的内容具体为所述数据所在子单元对应的三维坐标值，输出的所述数据通过所述标签直接区分所述数据的采集时间。
为解决上述技术问题，本发明还进一步提供下述技术方案：一种多数据库数据处理方法的数据处理***，包括：
数据库，每个所述数据库的容量用于采集终端一年产生的数据，每个所述数据库分别若干个栈道存储单元，且每个所述栈道存储单元分为若干个子单元，每个所述子单元用于存储每天采集的终端数据，且所述栈道存储单元用于存储每月采集的所述终端数据；
三维存储***，分别以采集天数、采集月份和采集年份作为X轴、Y轴和Z轴，每个所述数据库的所述子单元按照采集天数-采集月份对应的二维平面坐标系进行平面存储，且多个所述数据库按照上下层叠的方式依次分布在每年的坐标点上；
数据遍历模块，包括同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式，分别对所述三维存储***内的每个数据库的终端数据按照采集时间进行插序、顺倒序和插序进行数据检索操作。
本发明与现有技术相比较具有如下有益效果：
本发明的多数据库对数据存储的模式，支持多种数据筛选操作，存储简单有序，同时遍历入口多且遍历操作速度快，用户根据特定需求选择的数据遍历方式，从而可实现提高数据筛选速度或者增加筛选数据在输出时的时序规律性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的多数据库的结构示意图；
图2为本发明实施例提供的多数据库数据处理***的结构框图；
图3为本发明实施例提供的多数据库数据处理方法的流程示意图。
图中的标号分别表示如下：
1-数据库；2-三维存储***；3-数据遍历模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明提供了一种多数据库数据处理方法及***，对多个数据库内存储的数据进行处理时，为了提高数据处理的效率，大多通过数据关联的方式来提高数据检索的效率，而数据的存储顺序也与后期数据处理的效率息息相关，且影响数据处理的时间和数据处理难易度。
因此基于上述，本实施方式提供了一种影响数据处理的多数据库存储模式，通过设计数据存储的模式以及数据检索的模式，来调整数据处理的效率和数据处理的基础步骤。
多数据库数据处理***包括：数据库1，三维存储***2和数据遍历模块3
每个所述数据库1的容量用于采集终端一年产生的数据，每个所述数据库1分为若干个栈道存储单元，且每个所述栈道存储单元分为若干个子单元，每个所述子单元用于存储每天采集的终端数据，且所述栈道存储单元用于存储每月采集的所述终端数据；
三维存储***2分别以采集天数、采集月份和采集年份作为X轴、Y轴和Z轴，每个所述数据库1的所述子单元按照采集天数-采集月份对应的二维平面坐标系进行平面存储，且多个所述数据库按照上下层叠的方式依次分布在每年的坐标点上；
数据遍历模块3包括同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式，分别对所述三维存储***2内的每个数据库1的终端数据按照采集时间进行插序、顺倒序和插序进行数据检索操作。
另外，如图3所示，多数据库数据处理方法包括以下步骤：
步骤100、将每个数据库划分多个子单元，且每个所述子单元用于存储每天采集的数据，每个数据库的多个所述子单元按照二维平面坐标系的方式存储每年采集的终端数据。
在步骤100中，每个所述数据库先按照每年的月份拆分为多个栈道存储单元，且多个所述栈道存储单元的空间容量互补以实现每个所述栈道存储单元的存储容量可扩展，每个所述栈道存储单元按照每天采集的数据容量划分为多个所述子单元，且多个所述子单元的空间容量互补实现每个所述子单元的存储容量可扩展。
也就是说，一个数据库的总空间容量一定的情况下，每个栈道存储单元的容量不均等，可以根据每个月的存储数据容量而调整，而每个栈道存储单元内的子单元容量也不均等，而是根据每天的存储数据容量调整，从而保证数据库冗余的容量可以循环利用。
每个所述数据库的所述栈道存储单元对应所述二维平面坐标系的Y轴，且每个所述栈道存储单元的所述子单元对应所述二维平面坐标系的X轴，每个所述数据库的数据在所述三维存储***内不同时间维度高度所在的二维平面内平铺保存一年的终端数据。
所述二维平面坐标系的每个坐标点用于保存每个所述子单元采集的每天数据，且所述栈道存储单元对应一天结束和后一天开始的时间点自动截取一个所述子单元并自动生成下一个所述子单元。
所述二维平面坐标系的X轴每个坐标点对应每年的月份，比如说一月份、二月份、三月份……，所述二维平面坐标系的Y轴每个坐标点对应每年不同月份的天数，比如说一号、二号、三号……，因此二维平面坐标系内的数据库用于存储一年的终端数据。
且由于终端数据按照栈道存储单元和子单元的行列组合方式保存在所述二维平面坐标系内，从而数据库内的数据保存顺序按照时间排列，提高数据的有序性以方便数据的检索。
进一步的，每个子单元的结束端与下一个子单元的开始端存在时间上的连续，因此在遍历每个子单元内存储的终端数据时，通过连续时间可直接找到对下一个子单元内的数据的遍历起点。
步骤200、在二维平面坐标系的基础上增加年份时间维度，建立多个数据库的三维存储***，多个所述数据库按照叠加方式依次排列在所述三维存储***内并按照叠加顺序依次存储每年采集的终端数据。
每年的数据在不同的年份时间维度内平面保存，在所述三维存储***内按照时间维度和二维平面坐标系的原点位置依次查询多个年份的数据，也就是说，在三维存储***内，XY轴组成的二维平面坐标系用于储存一年的终端数据，而年份时间维度作为Z轴，用于存储多个年份对应的终端数据，从而提高数据存储的便捷性，且通过三维存储***的Z轴可以快捷准确的查找不同年份的终端数据。
所述三维存储***内在X轴坐标为零时的任一排所述栈道存储单元存储的数据均设有数据检索入口，所述三维存储***根据检索条件同时对多个所述数据库按照同步插序遍历模式进行数据检索以实现数据快速处理。
同步插序遍历模式可以同时对所有的数据库，以及对每个数据库的每个栈道存储单元进行同步的数据检索，这样检索的速度非常快，区别于现有的数据库存储模式和数据检索模式。
步骤300、区分每个所述数据库存储数据的开始子单元和终止子单元，两个相邻的所述数据库的终止子单元和所述开始子单元按照层叠顺序分别建立单向转接关系，且每个所述数据库的多个所述子单元内存储的数据按照时间顺序建立双向转接关系；
步骤400、按照所述三维存储***的层叠顺序设定所有数据库的数据处理顺序，且每个所述数据库的所述子单元按照双向转接关系依次对多个所述子单元进行时序筛选，且多个所述数据库按照单向转接关系顺序进行下一个数据筛选操作。
每个所述数据库根据双向转接关系生成两种数据遍历模式，分别为数据顺序遍历模式和顺倒序组合遍历模式；
所述数据顺序遍历模式按照多个所述数据库在所述三维存储***的层叠顺序以及每个所述数据库的存储时序进行检索，以按照采集终端数据的顺序对应输出相应的检索数据并直接进行与时序相关的数据处理；
所述顺倒序组合遍历模式分别以每个所述数据库的开始子单元和终止子单元作为遍历起点，在所述遍历起点按照所述双向转接关系依次对每个所述数据库的多个所述子单元进行数据检索，且对一个所述数据库检索完成后按照所述数据库在所述三维存储***的层叠顺序顺次对下一个所述数据库按照所述顺倒序组合遍历模式进行数据检索，以将多个所述数据库的数据按序输出并将每个所述数据库的数据分为顺序和倒序两个部分数据。
所述数据顺序遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库按照从所述开始子单元和所述终止子单元的单向顺序进行数据检索；
当数据检索到所述终止子单元时，按照多个所述数据库的单向转接关系确定下一个进行数据检索的所述数据库，以实现按照数据顺序遍历模式进行数据检索。
所述数据顺序遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库以所述开始子单元和所述终止子单元分别作为遍历起点，且两个遍历起点分别按照所述双向转接关系的相反顺序进行数据检索；
当数据遍历检索到同一个所述子单元时和遍历的数据重合时，按照固定固定顺序转接到下一个所述数据库进行双向遍历操作。
所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的数据检索时长依次增大，且所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的与时序相关的数据处理复杂度依次降低。
使用顺倒序组合遍历模式对数据库进行数据筛选时，按照三维存储***年份时间维度的层叠顺序依次对不同的数据库进行数据筛选工作，但是对每个数据库的筛选时，分别以开始子单元和所述终止子单元作为遍历起点进行相向数据检索，直至遍历至同一个所述子单元，则自动停止一个遍历过程而持续另一个遍历过程，且在遍历完成后自动按照数据库层叠顺序跳转到下一个数据库的开始子单元和所述终止子单元进行数据筛选工作。
从而可提高数据遍历的效率，但是这样的遍历方式输出数据进行处理时，需要对输出数据按时序重新整理，因此顺倒序组合遍历模式的筛选速度大于数据顺序遍历模式的筛选速度且小于同步插序遍历模式，但是顺倒序组合遍历模式的筛选数据的数据处理步骤也同样的大于数据顺序遍历模式的筛选数据的数据处理步骤。
相反的，使用数据顺序遍历模式对数据库进行数据筛选时，按照三维存储***年份时间维度的层叠顺序依次对不同的数据库进行数据筛选工作，且对每个数据库的筛选时，分别以开始子单元为遍历起点向所述终止子单元进行单向数据检索，从而对多个数据库的数据遍历的效率降低，但是这样的遍历方式输出数据进行处理时，无需对输出数据按时序重新整理，数据顺序遍历模式的筛选数据进行关于时序操作的数据处理时，无需进行二次处理，操作方式简单迅速。
另外，所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式输出的所述数据均设有标签，且所述标签的内容具体为所述数据所在子单元对应的三维坐标值，输出的所述数据通过所述标签直接区分所述数据的采集时间。
因此综上所述，本实施方式的多数据库对数据存储的模式，支持多种数据筛选操作，存储简单有序，同时遍历入口多且遍历操作速度快，用户根据特定需求选择的数据遍历方式，从而可实现提高数据筛选速度或者增加筛选数据在输出时的时序规律性。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种多数据库数据处理方法，其特征在于，包括以下步骤：
步骤100、将每个数据库划分多个子单元，且每个所述子单元用于存储每天采集的数据，每个数据库的多个所述子单元按照二维平面坐标系的方式存储每年采集的终端数据；
步骤200、在二维平面坐标系的基础上增加年份时间维度，建立多个数据库的三维存储***，多个所述数据库按照叠加方式依次排列在所述三维存储***内并按照叠加顺序依次存储每年采集的终端数据；
步骤300、区分每个所述数据库存储数据的开始子单元和终止子单元，两个相邻的所述数据库的终止子单元和所述开始子单元按照层叠顺序分别建立单向转接关系，每个所述数据库的多个所述子单元内存储的数据按照时间顺序建立双向转接关系；
步骤400、按照所述三维存储***的层叠顺序设定所有数据库的数据处理顺序，且每个所述数据库的所述子单元按照双向转接关系依次对多个所述子单元进行时序筛选，且多个所述数据库按照单向转接关系顺序进行下一个数据筛选操作。
2.根据权利要求1所述的一种多数据库数据处理方法，其特征在于：在步骤100中，每个所述数据库先按照每年的月份拆分为多个栈道存储单元，且多个所述栈道存储单元的空间容量互补以实现每个所述栈道存储单元的存储容量可扩展，每个所述栈道存储单元按照每天采集的数据容量划分为多个所述子单元，且多个所述子单元的空间容量互补实现每个所述子单元的存储容量可扩展。
3.根据权利要求2所述的一种多数据库数据处理方法，其特征在于：每个所述数据库的所述栈道存储单元对应所述二维平面坐标系的Y轴，且每个所述栈道存储单元的所述子单元对应所述二维平面坐标系的X轴，每个所述数据库的数据在所述三维存储***内不同时间维度高度所在的二维平面内平铺保存一年的终端数据；
所述二维平面坐标系的每个坐标点用于保存每个所述子单元采集的每天数据，且所述栈道存储单元对应一天结束和后一天开始的时间点自动截取一个所述子单元并自动生成下一个所述子单元。
4.根据权利要求2所述的一种多数据库数据处理方法，其特征在于：在步骤200中，每年的数据在不同的时间维度内平面保存，在所述三维存储***内按照时间维度和二维平面坐标系的原点位置依次查询多个年份的数据；
所述三维存储***内在X轴坐标为零时的任一排所述栈道存储单元存储的数据均设有数据检索入口，所述三维存储***根据检索条件同时对多个所述数据库按照同步插序遍历模式进行数据检索以实现数据快速处理。
5.根据权利要求4所述的一种多数据库数据处理方法，其特征在于：在所述步骤400中，每个所述数据库根据双向转接关系生成两种数据遍历模式，分别为数据顺序遍历模式和顺倒序组合遍历模式；
所述数据顺序遍历模式按照多个所述数据库在所述三维存储***的层叠顺序以及每个所述数据库的存储时序进行检索，以按照采集终端数据的顺序对应输出相应的检索数据并直接进行与时序相关的数据处理；
所述顺倒序组合遍历模式分别以每个所述数据库的开始子单元和终止子单元作为遍历起点，在所述遍历起点按照所述双向转接关系依次对每个所述数据库的多个所述子单元进行数据检索，且对一个所述数据库检索完成后按照所述数据库在所述三维存储***的层叠顺序顺次对下一个所述数据库按照所述顺倒序组合遍历模式进行数据检索，以将多个所述数据库的数据按序输出并将每个所述数据库的数据分为顺序和倒序两个部分数据。
6.根据权利要求5所述的一种多数据库数据处理方法，其特征在于，所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的数据检索时长依次增大，且所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式对应的与时序相关的数据处理复杂度依次降低。
7.根据权利要求5所述的一种多数据库数据处理方法，其特征在于，所述数据顺序遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库按照从所述开始子单元和所述终止子单元的单向顺序进行数据检索；
当数据检索到所述终止子单元时，按照多个所述数据库的单向转接关系确定下一个进行数据检索的所述数据库，以实现按照数据顺序遍历模式进行数据检索。
8.根据权利要求5所述的一种多数据库数据处理方法，其特征在于，所述顺倒序组合遍历模式的具体实现方法为：
根据所有数据库的层叠顺序确定第一存储的数据库，且在确定第一存储的所述数据库后按照固定顺序对多个数据库进行数据处理；
对第一存储的所述数据库以所述开始子单元和所述终止子单元分别作为遍历起点，且两个遍历起点分别按照所述双向转接关系的相反顺序进行数据检索；
当数据遍历检索到同一个所述子单元时和遍历的数据重合时，按照固定顺序转接到下一个所述数据库进行双向遍历操作。
9.根据权利要求6所述的一种多数据库数据处理方法，其特征在于，所述同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式输出的所述数据均设有标签，且所述标签的内容具体为所述数据所在子单元对应的三维坐标值，输出的所述数据通过所述标签直接区分所述数据的采集时间。
10.一种基于权利要求1-9任一项所述多数据库数据处理方法的数据处理***，其特征在于，包括：
数据库（1），每个所述数据库（1）的容量用于采集终端一年产生的数据，每个所述数据库（1）分别若干个栈道存储单元，且每个所述栈道存储单元分为若干个子单元，每个所述子单元用于存储每天采集的终端数据，且所述栈道存储单元用于存储每月采集的所述终端数据；
三维存储***（2），分别以采集天数、采集月份和采集年份作为X轴、Y轴和Z轴，每个所述数据库（1）的所述子单元按照采集天数-采集月份对应的二维平面坐标系进行平面存储，且多个所述数据库按照上下层叠的方式依次分布在每年的坐标点上；
数据遍历模块（3），包括同步插序遍历模式、顺倒序组合遍历模式和数据顺序遍历模式，分别对所述三维存储***（2）内的每个数据库（1）的终端数据按照采集时间进行插序、顺倒序和插序进行数据检索操作。
CN202110222448.8A 2021-03-01 2021-03-01 一种多数据库数据处理方法及*** Active CN112579836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110222448.8A CN112579836B (zh) 2021-03-01 2021-03-01 一种多数据库数据处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110222448.8A CN112579836B (zh) 2021-03-01 2021-03-01 一种多数据库数据处理方法及***

Publications (2)

Publication Number Publication Date
CN112579836A true CN112579836A (zh) 2021-03-30
CN112579836B CN112579836B (zh) 2021-05-25

Family

ID=75114072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110222448.8A Active CN112579836B (zh) 2021-03-01 2021-03-01 一种多数据库数据处理方法及***

Country Status (1)

Country Link
CN (1) CN112579836B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516894A (zh) * 2013-09-27 2015-04-15 国际商业机器公司 用于管理时间序列数据库的方法和装置
CN104915421A (zh) * 2015-06-10 2015-09-16 湖南菜鸟网络科技有限公司 体检数据处理***和方法
CN106250389A (zh) * 2016-07-15 2016-12-21 西安测绘研究所 一种面向动态增量更新的地理空间数据版本管理方法
US20170116308A1 (en) * 2015-10-23 2017-04-27 Oracle International Corporation System and method for aggregating values through risk dimension hierarchies in a multidimensional database environment
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法
CN106815355A (zh) * 2017-01-22 2017-06-09 济南浪潮高新科技投资发展有限公司 一种用于NANDflash阵列的文件***实现方法
US20200004782A1 (en) * 2007-06-18 2020-01-02 Gracenote, Inc. Method and Apparatus for Multi-Dimensional Content Search and Video Identification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200004782A1 (en) * 2007-06-18 2020-01-02 Gracenote, Inc. Method and Apparatus for Multi-Dimensional Content Search and Video Identification
CN104516894A (zh) * 2013-09-27 2015-04-15 国际商业机器公司 用于管理时间序列数据库的方法和装置
CN104915421A (zh) * 2015-06-10 2015-09-16 湖南菜鸟网络科技有限公司 体检数据处理***和方法
US20170116308A1 (en) * 2015-10-23 2017-04-27 Oracle International Corporation System and method for aggregating values through risk dimension hierarchies in a multidimensional database environment
CN106250389A (zh) * 2016-07-15 2016-12-21 西安测绘研究所 一种面向动态增量更新的地理空间数据版本管理方法
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法
CN106815355A (zh) * 2017-01-22 2017-06-09 济南浪潮高新科技投资发展有限公司 一种用于NANDflash阵列的文件***实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周苏等: "《大数据时代管理信息***》", 31 January 2017, 中国铁道出版社 *

Also Published As

Publication number Publication date
CN112579836B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN105447174A (zh) 一种报表生成方法及装置
WO2003054739A3 (en) Hybrid search memory for network processor and computer systems
CN103150397B (zh) 一种数据索引创建方法、数据检索方法和***
CN102890722A (zh) 应用于时序历史数据库的索引方法
CN104636349A (zh) 一种索引数据压缩以及索引数据搜索的方法和设备
CN105740264A (zh) 一种分布式xml数据库的排序方法及装置
CN103914483B (zh) 文件存储方法、装置及文件读取方法、装置
CN105843933B (zh) 分布式内存列式数据库的索引建立方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN102622434A (zh) 数据存储方法、查找方法及装置
CN101466082A (zh) 矢量地图数据的多级切片处理方法
CN101021814A (zh) 存储、查询方法及存储控制器和查询***
CN102722566A (zh) 社交网络中潜在好友查询方法
CN105515997B (zh) 基于bf_tcam实现零范围扩张的高效范围匹配方法
CN102855260A (zh) 处理图片的方法及***
CN114647716B (zh) 一种适用于泛化数据仓库的***
CN112988702A (zh) 异构数据源实时数据传输方法及***、存储介质及终端
CN104615684A (zh) 一种海量数据通信并发处理方法及***
CN104268158A (zh) 一种结构化数据分布式索引及检索方法
CN112579836B (zh) 一种多数据库数据处理方法及***
CN110928900B (zh) 多表数据的查询方法、装置、终端以及计算机存储介质
CN114372097A (zh) 一种数据集列序列化的高效连接比对实现方法及装置
CN110109948A (zh) 数据查询方法、计算机设备及计算机可读存储介质
CN103425694B (zh) 关系型数据的搜索方法和装置
CN110008030A (zh) 一种元数据访问的方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant