CN108287889A - 一种基于弹性表模型的多源异构数据存储方法和*** - Google Patents

一种基于弹性表模型的多源异构数据存储方法和*** Download PDF

Info

Publication number
CN108287889A
CN108287889A CN201810046272.3A CN201810046272A CN108287889A CN 108287889 A CN108287889 A CN 108287889A CN 201810046272 A CN201810046272 A CN 201810046272A CN 108287889 A CN108287889 A CN 108287889A
Authority
CN
China
Prior art keywords
data
facet
information
table model
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810046272.3A
Other languages
English (en)
Other versions
CN108287889B (zh
Inventor
***
黄向东
龙明盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810046272.3A priority Critical patent/CN108287889B/zh
Publication of CN108287889A publication Critical patent/CN108287889A/zh
Application granted granted Critical
Publication of CN108287889B publication Critical patent/CN108287889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于弹性表模型的多源异构数据存储方法和***，所述方法包括：获取数据的对象信息和数据的属性信息；基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；基于所述弹性表模型对所述数据进行存储。分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，能不断增加异构数据类型和一种数据中的属性数量，在多个维度上、每个维度内具有弹性。

Description

一种基于弹性表模型的多源异构数据存储方法和***
技术领域
本发明涉及计算机数据管理技术领域，更具体地，涉及一种基于弹性表模型的多源异构数据存储方法和***。
背景技术
随着大数据应用的普及，人们需要管理数据的种类和数量在不断增长，这些数据不仅包括传统的结构化数据，还包括文本、图像、视频等非结构化数据，以及基于这些数据提取和挖掘的二次加工数据等。此外，数据的来源也变得更加多样，例如对于一个设备工作状况的对象信息既包括设备上的传感器采集到的时序数据，还包括用户录入***的巡查、检修等数据。
多源异构数据的使用对现有的数据管理***提出了巨大挑战，其中主要的问题就在于，现有的以关系模型为主的数据管理***无法应对这些多源异构数据的两大特性：(1)同一对象的具有多种异构数据，且在不断演化；(2)一个对象的一种数据的属性值在不断演化。
传统关系数据库不得不使用代价高昂的外键关联来将多源异构数据进行关联，并采用模式的变化语句来实现数据种类、数据属性的演化，这使得关系数据模型下的多源异构统一管理不仅不方便、并且效率较差。传统的对象模型数据库则主要在考虑类之间的继承关系、对象引用等，也难以处理异构数据不断演化的需求。此外，现有Hadoop、MongoDB、DynamoDB等专用***仅支持文档、键值等单一数据模型，通用性弱，因而存储多类型数据需要集成多个***，平台构建与运维代价高，寻求通过统一数据模型实现多类型数据一体化存储已经成为非结构化数据技术的必然发展趋势。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于弹性表模型的多源异构数据存储方法和***，解决了现有技术中存储***仅支持文档、通用性弱，且平台构建、运维代价高的问题。
根据本发明的一个方面，提供一种多源异构数据存储方法，包括：
获取数据的对象信息和数据的属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
作为优选的，基于所述对象信息和所述属性信息建立弹性表模型具体包括：
建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；
在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据。
作为优选的，建立刻面列表后还包括：
定义每个刻面中数据按属性信息的排序方式，若未有定义排序方式，则对数据进行随机排序。
作为优选的，基于所述弹性表模型对所述数据进行存储具体包括：
判断所述弹性表模型中是否存在新数据所属的对象分组；
若存在，则判断所述对象分组中是否存在所述新数据所属的刻面，若存在匹配的刻面，则将所述新数据添加至所述刻面中，若不存在，则新建刻面，对所述新数据进行存储；
若不存在则新建对象分组和刻面，对所述新数据进行存储。
作为优选的，所述属性信息包括时序信息、元数据信息、原始数据信息、关联关系信息。
一种多源异构数据存储***，包括：
数据获取模块，用于在获取数据时，同时获取数据的对象信息和属性信息；
存储模块，用于建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，并根据所述属性信息对各对象分组中的数据进行分类存储；基于所述弹性表模型对所述数据进行存储。
作为优选的，所述存储模块包括：
弹性表模型，用于建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据；
数据存储单元，用于在弹性表模型中添加或移除刻面，在刻面中添加或移除属性；
查询单元，用于对弹性表模型中的属性列表、刻面列表进行查询。
一种多源异构数据弹性存储设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的多源异构数据存储方法。
一种多源异构数据存储设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的多源异构数据存储方法。
一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述的多源异构数据存储方法。
本发明提出一种基于弹性表模型的多源异构数据存储方法和***，分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，允许数据模型随应用的演化而不断增加异构数据类型和一种数据中的属性数量，使得其更加切合实际应用需求，在多个维度上、且在每个维度内具有弹性，使得模型可以支持应用收集数据类型的不断变化，弹性表模型在刻面内允许属性动态增减，使得模型可以支持大规模数据应用。
附图说明
图1为根据本发明实施例的多源异构数据存储方法流程框图；
图2为根据本发明实施例的弹性表模型的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，图中示出了一种基于弹性表模型的多源异构数据存储方法，包括：
获取数据的对象信息和属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
在本实施例中，所述对象信息即表示数据所述的对象，所述属性信息包括时序信息、元数据信息、原始数据信息、关联关系信息等。
在本实施例中，获取数据的对象信息和属性信息后还包括：
建立弹性表模型，建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据。
具体的，弹性表模型将所有的数据按照其所描述的对象分组，即对于数据集合数据集合D＝{d0,d1,…,dn}，可以分组为D＝{O0,O1,…,Om}，其中Qi＝{di0,di1,…,dik}；
每个对象中的数据按属性分组，每组称之为一个刻面，每个刻面内包含若干相关属性，不同刻面中属性的组织排序方式不同。即给定对象Qi＝{di0,di1,…,dik}，有Oi＝{Fi0,Fi1,…,Fik}，其中刻面Fij＝Sortij＝({dij0,dij1,…,dijt})，其中Sortij是一个排序函数；
上述各对象实例之间的刻面的类型和数量可以各不相同，每个刻面的属性的数量可以各不相同；在本实施例中，刻面的数量可以动态增减，刻面内的属性数量可以动态增减。
在本实施例中，建立刻面列表后还包括：
定义每个刻面中属性的排序方式，即上述中的排序函数的设定。
在上述弹性表模型的基础上，可以支持如下操作：
1、扩展刻面操作addFacet(Oi,Fj)：将刻面Fj添加到对象Oi上；
2、收缩刻面操作rmFacet(Oi,Fj)：将刻面Fj从对象Oi上移除；
3、扩展属性操作addProp(Oi,Fj,Pk)：将属性Pk添加到刻面Fj中；
4、收缩属性操作rmProp(Oi,Fj,Pk)：将属性Pk从刻面Fj中移除；
5、查询刻面列表listFacets(Oi)：得到对象Oi的全部刻面；
6、查询属性列表listProps(Oi,Fj)：得到对象Oi的刻面Fj的所有属性；
7、查询单一属性getProps(Oi,Fj,Pk)：得到对象Oi的刻面Fj的属性Pk的详细信息。
本实施例中，提出与关系模型、对象模型等常见数据模型的新模型：弹性表模型，实现多源异构数据的统一管理；弹性表模型在刻面间允许动态增减，使得模型可以支持应用收集数据类型的不断变化；弹性表模型在刻面内允许用户自定义排序，使得模型可以适应各种数据类型和多种应用负载；弹性表模型在刻面内允许属性动态增减，使得模型可以支持大规模数据应用。
在本实施例中，基于所述弹性表模型对所述数据进行存储具体包括：
判断所述弹性表模型中是否存在新数据所属的对象分组；
若存在，则判断所述对象分组中是否存在所述新数据所属的刻面，若存在匹配的刻面，则将所述新数据添加至所述刻面中，若不存在，则新建刻面，对所述新数据进行存储；
若不存在则新建对象分组和刻面，对所述新数据进行存储。
具体的，根据应用需求，定义每类对象的刻面类型和刻面中属性的排序方式；
1)当新数据d到达时，判断d所属的刻面F以及其所属的对象分组O以及对象类别：
2)若对象类别不存在且对象分组O不存在，则新建对象分组O，并转步骤4)；
若对象类别存在，但对象分组O不存在，则新建对象分组O，然后转步骤3)；否则直接转步骤3)；
3)若刻面F的定义存在，则转步骤5)；
4)若刻面F的定义不存在，则转用户应指定F的排序函数，若不指定，默认按照二进制数据的升序排序，然后新建刻面，并将F添加到对象分组O上；
5)将d添加到刻面F中。
如图2所示，以工业设备为对象，多源异构数据包括了传感器采集到的设备上发动机的转速数据、相机拍摄的设备图片数据、设备的业主信息等注册信息数据、设备的配件数据。其中传感器采集的转速数据属于时序数据，设备图片数据是典型的非结构化数据，注册信息数据是结构化的元数据，设备的配件则与设备之间形成了关联关系。
按照本发明的弹性表模型构建方法，可以如下组织数据：
(1)定义工业设备对象，包括时序信息、元数据、原始数据、关联关系数据四个刻面，其中原始数据即图片数据。其中时序信息数据按照时间戳顺序排序；
(2)设备1的第一个时序信息数据到达时，创建设备1对象，增加该数据到时序信息刻面；
(3)设备1的第二个时序信息数据到达时，增加该数据到时序信息刻面；
(4)设备1的第一个图片数据到达时，增加该图片数据到原始数据刻面；
(5)假设业务应用希望对图片建立索引以便进行相似性检索，则需要提取每个图片的特征值，这些特征可以分为高层语义特征和底层特征。
(6)由于工业设备的初始定义中不存在高层语义特征和底层特征刻面，因此需要新建这两个刻面并添加到设备1上，并将提取的特征值增加到这两个可面上；
(7)设备2的图片数据到达时，假设不需要对设备2的图片进行相似性检索，则不需要对设备2的图片提取特征，此时设备2不包含高层语义特征和底层特征这两个刻面。
在上述步骤中，步骤(2)和(3)体现了刻面内的弹性；步骤(6)和(7)则体现了刻面间的弹性；且步骤(7)中可以看出，不同的对象的刻面可以完全不同，这与传统的整齐的关系表模型或对象模型形成了鲜明差距。
一种基于弹性表模型的多源异构数据存储***，包括：
数据获取模块，用于在获取数据时，同时获取数据的对象信息和属性信息；
存储模块，用于建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储。
在本实施例中，所述存储模块包括：
弹性表模型，用于建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据；
数据存储单元，用于在弹性表模型中添加或移除刻面，在刻面中添加或移除属性；
查询单元，用于对弹性表模型中的属性列表、刻面列表进行查询。
查询单元的具体查询方法包括：
1、扩展刻面操作addFacet(Oi,Fj)：将刻面Fj添加到对象Oi上；
2、收缩刻面操作rmFacet(Oi,Fj)：将刻面Fj从对象Oi上移除；
3、扩展属性操作addProp(Oi,Fj,Pk)：将属性Pk添加到刻面Fj中；
4、收缩属性操作rmProp(Oi,Fj,Pk)：将属性Pk从刻面Fj中移除；
5、查询刻面列表listFacets(Oi)：得到对象Oi的全部刻面；
6、查询属性列表listProps(Oi,Fj)：得到对象Oi的刻面Fj的所有属性；
7、查询单一属性getProps(Oi,Fj,Pk)：得到对象Oi的刻面Fj的属性Pk的详细信息。
本实施例中，提出与关系模型、对象模型等常见数据模型的新模型：弹性表模型，实现多源异构数据的统一管理；弹性表模型在刻面间允许动态增减，使得模型可以支持应用收集数据类型的不断变化；弹性表模型在刻面内允许用户自定义排序，使得模型可以适应各种数据类型和多种应用负载；弹性表模型在刻面内允许属性动态增减，使得模型可以支持大规模数据应用。
本实施例中还示出了一种多源异构数据弹性存储设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的基于弹性表模型的多源异构数据存储方法。
本实施例中还示出了多源异构数据弹性存储设备，包括：处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；
其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；
所述处理器用于调用所述存储器中的程序指令，以执行上述各方法实施例所提供的基于弹性表模型的多源异构数据存储方法，例如包括：
获取数据的对象信息和属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多源异构数据弹性存储方法，例如包括：
获取数据的对象信息和属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的基于弹性表模型的多源异构数据存储方法，例如包括：
获取数据的对象信息和属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明提出一种基于弹性表模型的多源异构数据存储方法和***，分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，允许数据模型随应用的演化而不断增加异构数据类型和一种数据中的属性数量，使得其更加切合实际应用需求，在多个维度上、且在每个维度内具有弹性，使得模型可以支持应用收集数据类型的不断变化，弹性表模型在刻面内允许属性动态增减，使得模型可以支持大规模数据应用。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多源异构数据存储方法，其特征在于，包括：
获取数据的对象信息和数据的属性信息；
基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；
基于所述弹性表模型对所述数据进行存储。
2.根据权利要求1所述的多源异构数据存储方法，其特征在于，基于所述对象信息和所述属性信息建立弹性表模型，具体包括：
建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；
在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据。
3.根据权利要求2所述的多源异构数据存储方法，其特征在于，建立刻面列表后还包括：
获取数据的按属性信息的排序方式，若未有排序方式，则对数据进行随机排序。
4.根据权利要求2所述的多源异构数据存储方法，其特征在于，基于所述弹性表模型对所述数据进行存储具体包括：
判断所述弹性表模型中是否存在新数据所属的对象分组；
若存在，则判断所述对象分组中是否存在所述新数据所属的刻面，若存在匹配的刻面，则将所述新数据添加至所述刻面中，若不存在，则新建刻面，对所述新数据进行存储；
若不存在则新建对象分组和刻面，对所述新数据进行存储。
5.根据权利要求1所述的多源异构数据存储方法，其特征在于，所述属性信息包括时序信息、元数据信息、原始数据信息、关联关系信息。
6.一种多源异构数据存储***，其特征在于，包括：
数据获取模块，用于在获取数据时，同时获取数据的对象信息和属性信息；
存储模块，用于建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储。
7.根据权利要求6所述的多源异构数据存储***，其特征在于，所述存储模块包括：
弹性表模型，用于建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据；
数据存储单元，用于在弹性表模型中添加或移除刻面，在刻面中添加或移除属性；
查询单元，用于对弹性表模型中的属性列表、刻面列表进行查询。
8.一种多源异构数据存储设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
9.一种多源异构数据存储设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至5任一所述的方法。
CN201810046272.3A 2018-01-17 2018-01-17 一种基于弹性表模型的多源异构数据存储方法和*** Active CN108287889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810046272.3A CN108287889B (zh) 2018-01-17 2018-01-17 一种基于弹性表模型的多源异构数据存储方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810046272.3A CN108287889B (zh) 2018-01-17 2018-01-17 一种基于弹性表模型的多源异构数据存储方法和***

Publications (2)

Publication Number Publication Date
CN108287889A true CN108287889A (zh) 2018-07-17
CN108287889B CN108287889B (zh) 2019-06-18

Family

ID=62835277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810046272.3A Active CN108287889B (zh) 2018-01-17 2018-01-17 一种基于弹性表模型的多源异构数据存储方法和***

Country Status (1)

Country Link
CN (1) CN108287889B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213758A (zh) * 2018-07-24 2019-01-15 中国联合网络通信集团有限公司 数据存取方法、装置、设备及计算机可读存储介质
CN109446204A (zh) * 2018-11-27 2019-03-08 北京微播视界科技有限公司 一种即时通信的数据存储方法、装置、电子设备和介质
CN111538871A (zh) * 2020-07-08 2020-08-14 北京东方通科技股份有限公司 一种支持不同数据类型的一体化检索方法
CN111723245A (zh) * 2019-03-18 2020-09-29 阿里巴巴集团控股有限公司 数据存储***中建立不同类型存储对象关联关系的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083656A (zh) * 2007-07-05 2007-12-05 上海交通大学 基于数据流技术的多源异构数据集成***
US20090248698A1 (en) * 2008-03-31 2009-10-01 Stephan Rehmann Managing Consistent Interfaces for Internal Service Request Business Objects Across Heterogeneous Systems
CN105760449A (zh) * 2016-02-03 2016-07-13 浙江工业大学 一种面向多源异构数据的云推送方法
CN106897462A (zh) * 2017-03-13 2017-06-27 榆林学院 数据统计分析平台***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083656A (zh) * 2007-07-05 2007-12-05 上海交通大学 基于数据流技术的多源异构数据集成***
US20090248698A1 (en) * 2008-03-31 2009-10-01 Stephan Rehmann Managing Consistent Interfaces for Internal Service Request Business Objects Across Heterogeneous Systems
CN105760449A (zh) * 2016-02-03 2016-07-13 浙江工业大学 一种面向多源异构数据的云推送方法
CN106897462A (zh) * 2017-03-13 2017-06-27 榆林学院 数据统计分析平台***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄弘: "国土资源一张图云存储关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213758A (zh) * 2018-07-24 2019-01-15 中国联合网络通信集团有限公司 数据存取方法、装置、设备及计算机可读存储介质
CN109213758B (zh) * 2018-07-24 2021-03-30 中国联合网络通信集团有限公司 数据存取方法、装置、设备及计算机可读存储介质
CN109446204A (zh) * 2018-11-27 2019-03-08 北京微播视界科技有限公司 一种即时通信的数据存储方法、装置、电子设备和介质
CN111723245A (zh) * 2019-03-18 2020-09-29 阿里巴巴集团控股有限公司 数据存储***中建立不同类型存储对象关联关系的方法
CN111723245B (zh) * 2019-03-18 2024-04-26 阿里巴巴集团控股有限公司 数据存储***中建立不同类型存储对象关联关系的方法
CN111538871A (zh) * 2020-07-08 2020-08-14 北京东方通科技股份有限公司 一种支持不同数据类型的一体化检索方法

Also Published As

Publication number Publication date
CN108287889B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN108287889B (zh) 一种基于弹性表模型的多源异构数据存储方法和***
US10719560B2 (en) System for identifying, associating, searching and presenting documents based on relation combination
US9256665B2 (en) Creation of inverted index system, and data processing method and apparatus
JP6964384B2 (ja) 異種データソース混在環境におけるフィールド間の関係性の自動的発見のための方法、プログラム、および、システム
US20170132219A1 (en) System for identifying, associating, searching and presenting documents based on time sequentialization
CN106126601A (zh) 一种社保大数据分布式预处理方法及***
CN104951512A (zh) 一种基于互联网的舆情数据采集方法及***
US20190205342A1 (en) Identifying and structuring related data
CN108446391A (zh) 数据的处理方法、装置、电子设备和计算机可读介质
CN106503274A (zh) 一种数据整合与搜索方法及服务器
CN111611266A (zh) 知识驱动的联合大数据查询和分析平台
CN103631922A (zh) 基于Hadoop集群的大规模Web信息提取方法及***
CN107391502A (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
CN102508919A (zh) 数据处理方法及***
CN103425257A (zh) 一种生僻字符信息的提示方法和装置
Bayraktar et al. A hybrid image dataset toward bridging the gap between real and simulation environments for robotics: Annotated desktop objects real and synthetic images dataset: ADORESet
CN105677763A (zh) 一种基于Hadoop的图像质量评估***
CN111611448A (zh) 知识驱动的联合大数据查询和分析平台
CN103914488A (zh) 文档的采集、标识、关联、搜索及展现的***
CN108427709B (zh) 一种多源海量数据处理***及方法
CN105095436A (zh) 数据源数据自动建模方法
CN112765150A (zh) 大数据异构融合提取方法及装置
CN103914486A (zh) 文档的搜索及展现的***
CN109271479A (zh) 一种简历结构化处理方法
CN102945270A (zh) 并行化分布式网络舆情数据管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant