CN110019440A - 数据的处理方法及装置 - Google Patents
数据的处理方法及装置 Download PDFInfo
- Publication number
- CN110019440A CN110019440A CN201710764963.2A CN201710764963A CN110019440A CN 110019440 A CN110019440 A CN 110019440A CN 201710764963 A CN201710764963 A CN 201710764963A CN 110019440 A CN110019440 A CN 110019440A
- Authority
- CN
- China
- Prior art keywords
- data
- configurable interface
- module
- interface file
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种数据的处理方法及装置，涉及信息处理技术领域，主要目的在于解决传统数据仓库可扩展性差及可维护性降低的问题。本发明的技术方案包括：获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据；调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；根据获取的所述处理方法对所述待处理数据进行处理；调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
Description
技术领域
本发明涉及信息处理技术领域，特别是涉及一种数据的处理方法及装置。
背景技术
传统的数据仓库是以单一的数据资源为中心进行事务处理，而数据仓库的数据和信息从不同的数据源提取，具有分析处理的特点，是决策支持***(Decision SupportSystem，DSS)和联机分析处理(On-Line Analysis Processing，OLAP)的结构化数据环境，可以提供所有类型数据支持。随着使用时间增长，数据仓库需要支持更多的数据处理和更复杂的用户查询，所以数据仓库在保持原有***能力的同时，还需要具有添加新功能组件的能力。但是，由于传统数据仓库***内部的机构耦合程度高，决策支持***与数据挖掘的功能组件结合紧密，导致数据仓库的可扩展性和可维护性差，不能满足添加新功能组件的需求。
为了提高传统数据仓库的可拓展性和可维护性，现有技术中主要采取以下两种方法：第一种方法是采用分层策略，对***内的各层进行扩展，在每层增加组件，通过将***的部件模块化来提高数据仓库的可扩展性；第二种方法是利用高性能的硬件，将组件放在不同的硬件上，通过可扩展的软件并行和硬件并行来提高数据仓库的可扩展性。
发明人在实现上述发明过程中，发现现有技术中，若采用上述第一种方法，则会导致***单一模块不断增加，各层的内部耦合性不断提高，降低***的可维护性；若采用上述第二种方法，则需要建立高性能的平台运行，高性能的软件并行和硬件并行，而***中性能较弱的组件会降低数据仓库的整体性能水平，增加了数据仓库的开发和维护难度。因此，现有技术无法实现，在保障数据仓库可维护性的同时，提高传统数据仓库的可扩展性。
发明内容
有鉴于此，本发明提供的一种数据的处理方法及装置，主要目的在于解决传统数据仓库可扩展性差及可维护性降低的问题。
为了解决上述问题，本发明主要提供如下技术方案：
第一方面，本发明提供一种数据仓库，包括：
数据管理层，所述数据管理层中设置有元数据控制中心，所述元数据控制中心通过多个可配置接口文件与多个不同的功能模块进行数据交互；
其中，每个所述可配置接口文件与一个所述功能模块存在映射关系，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；
所述数据存储模块，用于存储数据；
所述数据处理模块，用于记录所述数据对应的处理方法；
所述数据应用模块，用于记录处理后的数据的应用样式。
第二方面，本发明提供了一种数据的处理方法，所述方法应用于数据仓库中，所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；
获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
根据获取的所述处理方法对所述待处理数据进行处理；
调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
可选的，在通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据之前，所述方法还包括：
分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
将所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
可选的，所述方法还包括：
对所述分类数据组件进行实时监控，确定所述分类数据组件是否存在更新；
若存在，则基于更新后的分类数据组件对可配置接口文件进行更新。
可选的，基于元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据包括：
获取待处理数据的数据名称，并确定所述第一可配置接口文件中是否存在所述数据名称；
若确定存在，则从所述数据存储模块中获取所述数据名称对应的待处理数据。
第三方面，本发明还提供一种数据的处理装置，所述装置应用于数据仓库中，所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；包括：
第一获取单元，用于获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
第一调用单元，用于调用所述第一可配置接口文件；
第二获取单元，用于在所述第一调用单元调用所述第一可配置接口文件之后，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
第二调用单元，用于调用所述第二可配置接口文件；
第三获取单元，用于在所述第二调用单元调用所述第二可配置接口文件之后，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
处理单元，用于根据所述第三获取单元获取的所述处理方法对所述待处理数据进行处理；
第三调用单元，用于调用所述第三可配置接口文件；
第一确定单元，用于在所述第三调用单元调用所述第三可配置接口文件之后，从所述数据应用模块中确定与所述数据名称对应的数据应用样式；
展示单元，用于在所述第一确定单元确定数据应用样式之后，基于所述数据应用样式展示处理后的待处理数据。
可选的，所述装置还包括：
第四获取单元，用于在所述第二获取单元从所述数据存储模块中获取待处理数据之前，分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
记录单元，用于将所述第四获取单元获取的所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
可选的，所述装置还包括：
监控单元，用于对所述分类数据组件进行实时监控；
第二确定单元，用于在所述监控单元对所述分类数据组件进行监控后确定所述分类数据组件是否存在更新；
更新单元，用于当确定所述分类数据组件存在更新时，基于更新后的分类数据组件对可配置接口文件进行更新。
可选的，所述第二获取单元包括：
第一获取模块，用于获取待处理数据的数据名称；
确定模块，用于在所述第一获取模块获取的所述待处理数据的名称之后，确定所述第一可配置接口文件中是否存在所述数据名称；
第二获取模块，用户当所述确定模块确定所述第一可配置接口文件中存在所述数据名称时，从所述数据存储模块中获取所述数据名称对应的待处理数据。
第四方面，本发明还提供一种存储介质，该存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第二方面所述的任意一项所述的数据的处理方法。
第五方面，本发明还提供一种处理器，该处理器用于运行程序，其中，所述程序运行时执行第二方面所述的任意一项所述的数据的处理方法。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供的数据的处理方法及装置，在获取数据处理请求后，通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取与数据名称对应的待处理数据，通过调用第二可配置接口文件，从数据处理模块中获取与数据名称对应的所述待处理数据对应的处理方法，通过调用第三可配置接口文件，从数据应用模块中确定与数据名称对应的数据应用样式，并展示处理后的待处理数据，与现有技术相比，本发明根据数据仓库中的数据层规范，给元数据控制中心添加对应的数据接口，通过数据接口来控制各数据层中各组件的扩展和维护，实现元数据控制中心与数据层的数据交换，进而提高数据仓库的可扩展性和易维护性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了现有技术中的一种原始的数据仓库的组成框图；
图2示出了本发明实施例提供的一种数据仓库的架构示意图；
图3示出了本发明实施例提供的一种数据的处理方法的流程图；
图4示出了本发明实施例提供的第二种数据的处理方法的流程图；
图5示出了本发明实施例提供一种数据仓库的组成框图；
图6示出了本发明实施例提供的一种数据的处理装置的组成框图；
图7示出了本发明实施例提供的第二种数据的处理装置组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
现有技术中，为了让数据仓库***满足更多的用户需求，支持更多的数据处理和查询处理，需要在保持***内原有功能模块的同时添加新的功能模块，通常采用分层策略的方法或者是增加高性能组件的方法。如图1所示，为现有技术中的一种原始的数据仓库包括数据管理层和数据层A、数据层B、数据层C，各个数据层中又分别包含若干个组件。当用户需要一个新的应用功能Ⅰ时，需要在所述原始的数据仓库中添加新的功能组件，分层策略的方法是，在数据A层增加组件a4、在数据B层增加组件b4、在数据C层增加组件c4，用以实现各个数据层需要对所述新功能Ⅰ的实现执行的相应操作，通过将***的部件模块化来提高数据仓库的可扩展性；增加高性能组件的方法是，在***中添加数据D层，将可以实现应用功能Ⅰ的组件d1、组件d2、组件d3添加到数据D层中，并将数据D层放在新的硬件设备中运行，通过可扩展的软件并行和硬件并行来提高数据仓库的可扩展性。
但是当后续需要添加更多的应用功能，例如，应用功能Ⅱ、应用功能Ⅲ以及应用功能Ⅳ等时，若继续采用分层策略的方法，数据层A、数据层B、数据层C的组件个数会不断增加，各层内部的耦合性不断提高，导致***的可维护性降低；若继续采用增加高性能组件的方法，需要建立性能高的平台，原始的数据仓库的性能较低的数据层A、数据层B、数据层C会对整个数据仓库性能产生阻碍作用，此外，针对多个硬件开发软件，增加了数据仓库的开发和维护的难度。
为解决上述问题，本发明实施例通过传统数据仓库的结构体系进行改造，以解决传统数据仓库可扩展性差及可维护性降低的问题。如图2所示，本发明实施例提供的一种数据仓库的架构示意图，本发明实施例所述的数据仓库，包括：
数据管理层，所述数据管理层中设置有元数据控制中心，所述元数据控制中心通过多个可配置接口文件与多个不同的功能模块进行数据交互；
其中，每个所述可配置接口文件与一个所述功能模块存在映射关系，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；
所述数据存储模块，用于存储数据；
所述数据处理模块，用于记录所述数据对应的处理方法；
所述数据应用模块，用于记录处理后的数据的应用样式。
需要说明的是，本发明实施例中是以数据仓库中包含三个模块(数据存储模块、数据处理模块、数据应用模块)为例进行的说明，但是，应当明确的是，该种说明并非意在限定元数据控制中心只能与上述三个模块进行交互，在实际应用中，可增加一个或者至少两个的功能模块，同时，增加第三可配置接口文件、第四可配置文件…通过可配置文件建立新增功能模块与元数据控制中心之间的交互关系，相较于现有技术而言，通过图2所示的数据仓库结构进行数据存储、处理，使数据仓库更易于扩展、维护。
在进行数据模块扩展时，可以进行不同模块的扩展，也可以进行同一模块中数据存储量的扩展。对于扩展不同模块而言，在增加一个模块的同时，在元数据控制中心中在增加一个数据接口，该接口与新增的模块进行数据交互，具体交互内容记录于随数据接口新增对应的可配置接口文件(假设为第四课配置接口文件)。对于扩展同一模块而言，只需要在可配置接口文件对更新新增数据的数据名称即可，对于硬件存储地址有修改的，也可在可配置接口文件中同步更新。由此可以看出，本发明实施例提供的数据仓库易于扩展、易于维护。
上述实施例中，提及第一可配置接口文件、第二可配置接口文件、第三可配置接口文件、第四可配置接口文件，所述的第一、第二、第三…仅仅是为了区分元数据控制中心在与数据模块交互时的数据类型，可配置接口文件在本发明实施例中起的作用均相同，即记录有不同功能模块下所包含数据的数据名称、数据存储地址、数据量大小、修改时间等等。
本发明实施例提供一种数据的处理方法，所述方法应用于如图2所示的数据仓库中，如图3所示，该方法包括：
101、获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称。
数据仓库获取的所述数据处理请求，可以是但不限于来自前端的查询数据的请求、分析数据的请求、或者更新数据的请求，接收的方式可以是实时接收，只要前端发送一个数据处理请求，立即处理所述数据处理请求；也可以是分批接收，前端发送数据处理请求，定时或定量一个批次接收所述数据处理请求，每一批次接收的所述数据处理请求的数量不限。
例如，用户在基于数据仓库进行数据查询、数据处理、数据更新时，会通过搜索引擎向数据仓库发送数据处理请求，该数据请求中包含待处理数据的数据名称，例如，用户的需求为1+1的数据计算处理时，表示待处理数据为1、1，执行加法运算，上述示例仅是为了便于理解给出的，实际应用中要根据用户的实际需求做更加复杂的数据操作处理。
102、调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据。
请继续参阅图2，本发明实施例中所述的数据仓库，包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称。
在接收到数据处理请求后，通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据。
所述元数据控制中心的元数据的类型可以是技术元数据，为开发和管理数据仓库的数据工程师使用，描述了与数据仓库开发、管理和维护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规则、数据映射和访问权限等；也可以是业务元数据，为管理层和业务分析人员服务，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。此外，所述元数据控制中心包含至少三个可配置接口文件，并且至少有一个可以与数据仓库交换的可配置接口文件，至少有一个可以与数据处理模块交换的可配置接口文件，其中，所述可配置接口文件与所述功能模块唯一关联，所述可配置接口文件的内容包含但不限于类存在的包名、接口的类名、类里面的方法名、以及参数和返回值等，用以指导数据的交换，调用接口文件的方式可以是隐式实现接口方法，或者是显式实现接口方法。
103、调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法。
可以采用隐式实现接口方法或者是显式实现接口方法调用所述第二可配置接口文件，所述第二接口文件对数据处理接口操作进行规范，指导数据接口如何根据数据处理模块中的各个组件性能获取相应的数据，或输出相应的数据到所述元控制中心。
所述数据处理模块中包含的所述数据处理方法包括但不限于以下几种的一种或两种及其以上：
(1)数据的聚合，是指基于特定需求的简单聚合(基于多维数据的聚合体现在多维数据模型中)，可以是网站的总Pageviews、Visits、Unique Visitors等汇总数据，也可以是Avg.time on page、Avg.time on site等平均数据，具体数据聚合的方式不限。
(2)构建多维数据模型，进行多角度多层次的分析应用，具体处理方法可以是基于时间维、地域维等构建的销售星形模型、雪花模型，也可以是在各时间维度和地域维度的交叉查询，还可以是基于时间维和地域维的细分。
(3)构建业务模型，是指基于某些数据分析和决策支持而建立起来的数据模型，可以是用户评价模型、关联推荐模型、RFM分析模型等其中的一种或两种及其以上，或者是决策支持的线性规划模型、库存模型等等其中的一种或两种及其以上。
104、根据所述处理方法对所述待处理数据进行处理。
采用步骤103所述的数据处理方法对所述步骤102获取待处理数据进行数据处理，具体的数据类型包括但不限于：bit、int、smallint、tinyint、numeric、decimal、money、smallmoney、float、datetime、smalldatetime、cursor、timestamp、uniqueidentifier、char、text、binary、image等。
在进行数据处理之前可以对所述待处理数据进行预处理，方法包括但不限于：对数据进行有效性检查、对数据进行完整性检查。具体的处理方式可以是以下的一种及其两种或以上：
(1)对重复数据的清理，可以是从数据存储表或存储链中直接删除所述重复数据，或者，在删掉重复数据的同时将所述删掉的重复数保留到另外的数据表或数据链中，便于以后对重复数据的查找；
(2)对无用字段的清理，可以包括：采用ALTER TABLE字段实现，或直接利用UPDATE语句实现，具体清理的方法或采用的语句不做限定；
(3)数据的转换，可以包含但不局限于：数据类型的转换、对象名的转换、数据编码的转换、表结构的转化等其中的一种或多种。
此外，所述数据处理模块执行的具体顺序可以是各个数据处理组件同时分别执行相应的处理处理任务，也可以是根据处理任务的执行步骤各组件一次执行相应的任务。
105、调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
可以采用隐式实现接口方法或者是显式实现接口方法调用所述第三可配置接口文件，所述第三接口文件对数据应用接口操作进行规范，指导数据接口如何根据数据应用模块中的各个组件性能获取相应的数据。
所述数据模块中提供的数据应用样式的组件包括但不限于：查询工具组件、报表工具组件、OLAP组件、数据挖掘工具组件等。具体得到的展示结果的形式可以是但不限于以下的任意一种或多种：
(1)高性能的MAPP包括但不限于：全/增量数据加载、异构数据源支持、分布式并行计算等；
(2)可视化建模包括但不限于：拖拽式建模、跨数据仓库的表关联、数据字典、计算字段、模型筛选器、格式转换等；
(3)自助式分析包括但不限于：智能问答、透视分析、图表联动、动态参考线、What-If分析、个性化主题、度量预计等；
(4)数据填报包括但不限于：线下数据收集、审批与发布、自定义表单等。
本发明实施例提供的数据的处理方法，在获取数据处理请求后，通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取与数据名称对应的待处理数据，通过调用第二可配置接口文件，从数据处理模块中获取与数据名称对应的所述待处理数据对应的处理方法，通过调用第三可配置接口文件，从数据应用模块中确定与数据名称对应的数据应用样式，并展示处理后的待处理数据，与现有技术相比，本发明实施例根据数据仓库中的数据层规范，给元数据控制中心添加对应的数据接口，通过数据接口来控制各数据层中各组件的扩展和维护，实现元数据控制中心与数据层的数据交换，进而提高数据仓库的可扩展性和易维护性。
本发明实施例还提供另一种数据的处理方法，如图4所示，该方法包括：
201、在所述数据仓库中添加数据管理层，并在所述数据管理层中构建元数据控制中心。
所述的数据仓库可以适用于企业的计算机应用***存在着不同主机和操作***、异构网络、异构数据仓库等计算机环境，所述数据管理层作为整个***的核心，包含了元数据的获取、管理、存储等功能，控制元数据的各种服务接口。在***的整个过程中完成了任务的接收、分发、和管理等“大脑”性的功能，可以实现事务管理，即对多个用户提供正确、同时访问数据仓库的能力，可也可以实现访问控制，即限制未被授权用户对数据的访问能力，以及检测数据有效性的能力等不限制于上述作用的其他作用，所述数据管理层可以由以下三个部分构成：数据描述语言(Data Description Language，DDL)、数据操纵语言(DataManipulation Language，DML)、数据仓库例行程序组成，但不限制为上述组成方式。
可以采用包含但不限于MDC的OIM标准和OMG的CWM标准构建元数据控制中心。所述元控制中心可以实现存储和维护元数据仓库中的元数据，也可以实现数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模块和工具之间的工作等。
202、根据数据层规范，为所述元数据控制中心添加对应的数据接口，并基于所述数据接口建立所述元数据控制中心分别与数据存储模块、数据处理模块、数据应用模块之间的通信连接。
在所述元数据控制中心通过各种途径形成后，为了让所述元数据控制中心与所述数据存储模块、所述数据处理模块、所述数据应用模块建立联系，使得所述元数据控制中心可以对所述模块中的内容进行内容的添加、删除、更新等涉及内容改变的操作和元数据内容检索、查询、放置、组织等常规性元数据操作，在所述元数据控制中心添加分别与所述数据存储模块、所述数据处理模块、所述数据应用模块对应的数据接口。其中，需要根据层规范进行设置，所述层规范描述相应的层的功能，所述层的功能大于与所述层中的各个分类数据组件的功能相加总和。
所述元数据控制中心与所述模块建立连接关系后，所述模块可以采取以下管理模式中的任意一种：
(1)***管理模式，是面向数据仓库的，由数据仓库管理***专业人员完成，数据用户具有使用权，但没有元数据的操作权，数据应用项目中新生成的数据集的元数据也有应用***传递给数据仓库管理员，然后由数据仓库管理员统一管理；
(2)用户管理模式，是面向应用项目的，即允许某些数据用户在数据应用元数据的变动信息直接反馈给元数据仓库，这样则能保证元数据的动态更新和新生成数据集元数据的及时捕获及写入元数据文件；
(3)***管理模式与用户管理模式的结合。
203、分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据。
其中，所述数据存储模块可以包含但不限于，源数据组件、综合数据组件、历史数据组件及当前数据组件等其中的任意一种过两种及其以上。所述数据处理模块可以包含但不限于，算法组件、工具组件、建模组件及分析组件等其中的任意一种过两种及其以上。所述数据应用模块可以包含但不限于，展示应用组件、查询应用组件及报表应用组件等其中的任意一种过两种及其以上。具体的获取方式不作下定，可以是依次单个获取，也可以是分次获取多个。
此外，在获取所述分类数据组件后，还可以对所述分类数据组件进行实时监控，确定所述分类数据组件是否存在更新。所述分类数据组件的具体出现的更新形式可能是但不限于：删除已有的分类数据组件、添加新的分类数据组件或者是更改已有的分类数据组件。更新所述数据组件的具体方式，可以是即时更新，也可以是按照预设的时间按时更新，还可以是根据需要更新的分类数据组件进行分批次更新。
若分类数据组件存在更新，则基于更新后的分类数据组件对可配置接口文件进行更新，对可配置文件进行更新，能够确保数据仓库***中存储数据、处理数据的最新性、准确性。具体对可配置文件进行更新的方式是，可以是在数据源设计时可能加入了触发器，在数据新增，修改或者删除的过程中就做出了有效更新，或者加入了一些审核表，在数据的增删改过程中记录并跟踪了数据的操作细节，还可以是自增长列，时间日期戳等。
204、将所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
首先在获取所述待处理数据名称前，所述第一可配置接口文件、所述第二可配置接口文件、所述第三可配置接口文件中会记录与所述数据存储模块、所述数据处理模块和所述数据应用功能模块对应的数据名称。记录的数据的阶段可以在设计和建模的过程中，可以在数据转换、清洗和过滤的过程中，也可以在数据移植的过程中，还可以从数据存储软件，和前端展示工具中得到元数据。其中，所述数据名称为数据的唯一标识。
当获取到所述待处理数据名称后，确定所述第一可配置接口文件中是否存在所述数据名称，确定的方式可以是采用遍历数据表或数据链的形式，具体方式不作要求。当确定所述第一可配置接口文件中存在所述数据名称后，则从所述数据存储模块中获取所述数据名称对应的待处理数据。
本发明实施例提供的数据的处理方法，在获取数据处理请求后，通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取与数据名称对应的待处理数据，通过调用第二可配置接口文件，从数据处理模块中获取与数据名称对应的所述待处理数据对应的处理方法，通过调用第三可配置接口文件，从数据应用模块中确定与数据名称对应的数据应用样式，并展示处理后的待处理数据，与现有技术相比，本发明根据数据仓库中的数据层规范，给元数据控制中心添加对应的数据接口，通过数据接口来控制各数据层中各组件的扩展和维护，实现元数据控制中心与数据层的数据交换，进而提高数据仓库的可扩展性和易维护性，方便各个数据功能模块之间的数据传输和交换。
进一步的，作为对上述图3及图4所示方法的实现，本发明另一实施例还提供了一种数据的处理装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
进一步的，本发明实施例还提供一种数据仓库，如图5所示，包括：
数据管理层31，所述数据管理层中设置有元数据控制中心，所述元数据控制中心通过多个可配置接口文件与多个不同的功能模块进行数据交互；
其中，每个所述可配置接口文件与一个所述功能模块存在映射关系，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块
所述数据存储模块33，用于存储数据；
所述数据处理模块34，用于记录所述数据对应的处理方法；
所述数据应用模块35，用于记录处理后的数据的应用样式。
本发明实施例提供一种数据的处理装置，如图6所示，所述装置应用于数据仓库中，所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；包括：
第一获取单元401，用于获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
第一调用单元402，用于调用所述第一可配置接口文件；
第二获取单元403，用于在所述第一调用单元402调用所述第一可配置接口文件之后，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
第二调用单元404，用于调用所述第二可配置接口文件；
第三获取单元405，用于在所述第二调用单元调用所述第二可配置接口文件之后，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
处理单元406，用于根据所述第三获取单元405获取的所述处理方法对所述待处理数据进行处理；
第三调用单元407，用于调用所述第三可配置接口文件；
第一确定单元408，用于在所述第三调用单元407调用所述第三可配置接口文件之后，从所述数据应用模块中确定与所述数据名称对应的数据应用样式；
展示单元409，用于在所述第一确定单元408确定数据应用样式之后，基于所述数据应用样式展示处理后的待处理数据。
进一步的，如图7所示，所述装置还包括：
第四获取单元410，用于在所述第二获取单元403从所述数据存储模块中获取待处理数据之前，分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
记录单元411，用于将所述第四获取单元410获取的所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
进一步的，如图7所示，所述装置还包括：
监控单元412，用于对所述分类数据组件进行实时监控；
第二确定单元413，用于在所述监控单元对所述分类数据组件进行监控后确定所述分类数据组件是否存在更新；
更新单元414，用于当确定所述分类数据组件存在更新时，基于更新后的分类数据组件对可配置接口文件进行更新。
进一步的，如图7所示，所述第二获取单元403包括：
第一获取模块4031，用于获取待处理数据的数据名称；
确定模块4032，用于在所述第一获取模块获取的所述待处理数据的名称之后，确定所述第一可配置接口文件中是否存在所述数据名称；
第二获取模块4033，用户当所述确定模块确定所述第一可配置接口文件中存在所述数据名称时，从所述数据存储模块中获取所述数据名称对应的待处理数据。
所述数据的处理装置包括处理器和存储器，上述第一获取单元401、第一调用单元402、第二获取单元403、第二调用单元404、第三获取单元405、处理单元406、第三调用单元407、第一确定单元408和展示单元409等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决传统数据仓库可扩展性差及可维护性降低的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据的处理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据的处理方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；
获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
根据获取的所述处理方法对所述待处理数据进行处理；
调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
可选的，在通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据之前，所述方法还包括：
分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
将所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
可选的，所述方法还包括：
对所述分类数据组件进行实时监控，确定所述分类数据组件是否存在更新；
若存在，则基于更新后的分类数据组件对可配置接口文件进行更新。
可选的，基于元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据包括：
获取待处理数据的数据名称，并确定所述第一可配置接口文件中是否存在所述数据名称；
若确定存在，则从所述数据存储模块中获取所述数据名称对应的待处理数据。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
根据获取的所述处理方法对所述待处理数据进行处理；
调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种数据仓库，其特征在于，包括：
数据管理层，所述数据管理层中设置有元数据控制中心，所述元数据控制中心通过多个可配置接口文件与多个不同的功能模块进行数据交互；
其中，每个所述可配置接口文件与一个所述功能模块存在映射关系，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；
所述数据存储模块，用于存储数据；
所述数据处理模块，用于记录所述数据对应的处理方法；
所述数据应用模块，用于记录处理后的数据的应用样式。
2.一种数据的处理方法，所述方法应用于数据仓库中，其特征在于，所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；
获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
调用所述第一可配置接口文件，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
调用所述第二可配置接口文件，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
根据获取的所述处理方法对所述待处理数据进行处理；
调用所述第三可配置接口文件，从所述数据应用模块中确定与所述数据名称对应的数据应用样式，并基于所述数据应用样式展示处理后的待处理数据。
3.根据权利要求2所述的方法，其特征在于，在通过调用元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据之前，所述方法还包括：
分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
将所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述分类数据组件进行实时监控，确定所述分类数据组件是否存在更新；
若存在，则基于更新后的分类数据组件对可配置接口文件进行更新。
5.根据权利要求2所述的方法，其特征在于，基于元数据控制中心的第一可配置接口文件，从数据存储模块中获取待处理数据包括：
获取待处理数据的数据名称，并确定所述第一可配置接口文件中是否存在所述数据名称；
若确定存在，则从所述数据存储模块中获取所述数据名称对应的待处理数据。
6.一种数据的处理装置，所述装置应用于数据仓库中，其特征在于，所述数据仓库包括数据管理层、多个可配置接口文件和多个不同的功能模块；所述数据管理层中设置有元数据控制中心，所述多个可配置接口文件包括：第一可配置接口文件、第二可配置接口文件、第三可配置接口文件；所述多个不同的功能模块包括：数据存储模块、数据处理模块、数据应用模块；所述元数据控制中心通过多个可配置接口文件与所述数据仓库中的多个不同的功能模块进行数据交互，每个所述可配置接口文件与所述数据仓库中的一个功能模块存在映射关系，每个所述可配置接口文件中记录有对应的功能模块所包含数据的数据名称；所述装置包括：
第一获取单元，用于获取数据处理请求，所述数据处理请求中包含待处理数据的数据名称；
第一调用单元，用于调用所述第一可配置接口文件；
第二获取单元，用于在所述第一调用单元调用所述第一可配置接口文件之后，从所述数据存储模块中获取与所述数据名称对应的待处理数据；
第二调用单元，用于调用所述第二可配置接口文件；
第三获取单元，用于在所述第二调用单元调用所述第二可配置接口文件之后，从所述数据处理模块中获取与所述数据名称对应的所述待处理数据对应的处理方法；
处理单元，用于根据所述第三获取单元获取的所述处理方法对所述待处理数据进行处理；
第三调用单元，用于调用所述第三可配置接口文件；
第一确定单元，用于在所述第三调用单元调用所述第三可配置接口文件之后，从所述数据应用模块中确定与所述数据名称对应的数据应用样式；
展示单元，用于在所述第一确定单元确定数据应用样式之后，基于所述数据应用样式展示处理后的待处理数据。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第四获取单元，用于在所述第二获取单元从所述数据存储模块中获取待处理数据之前，分别获取所述数据存储模块、数据处理模块、数据应用模块中包含的分类数据组件，所述分类数据组件用于记录不同功能模块中分类后的数据；
记录单元，用于将所述第四获取单元获取的所述分类数据组件中的数据名称记录于所述第一可配置接口文件、第二可配置接口文件、第三可配置接口文件中，其中，所述数据存储模块对应所述第一可配置接口文件，所述数据处理模块对应所述第二可配置接口文件，所述数据应用模块对应所述第三可配置接口文件。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
监控单元，用于对所述分类数据组件进行实时监控；
第二确定单元，用于在所述监控单元对所述分类数据组件进行监控后确定所述分类数据组件是否存在更新；
更新单元，用于当确定所述分类数据组件存在更新时，基于更新后的分类数据组件对可配置接口文件进行更新。
9.根据权利要求6所述的装置，其特征在于，所述第二获取单元包括：
第一获取模块，用于获取待处理数据的数据名称；
确定模块，用于在所述第一获取模块获取的所述待处理数据的名称之后，确定所述第一可配置接口文件中是否存在所述数据名称；
第二获取模块，用户当所述确定模块确定所述第一可配置接口文件中存在所述数据名称时，从所述数据存储模块中获取所述数据名称对应的待处理数据。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求2至权利要求5中任意一项所述的数据的处理方法。
11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求2至权利要求5中任意一项所述的数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710764963.2A CN110019440B (zh) | 2017-08-30 | 2017-08-30 | 数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710764963.2A CN110019440B (zh) | 2017-08-30 | 2017-08-30 | 数据的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110019440A true CN110019440A (zh) | 2019-07-16 |
| CN110019440B CN110019440B (zh) | 2021-06-08 |
Family
ID=67186162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710764963.2A Active CN110019440B (zh) | 2017-08-30 | 2017-08-30 | 数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019440B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143453A (zh) * | 2019-12-24 | 2020-05-12 | 济宁昊瀛天成大数据信息技术有限公司 | 一种工业大数据异构数据的并行处理方法 |
| CN111858467A (zh) * | 2020-07-22 | 2020-10-30 | 平安证券股份有限公司 | 基于人工智能的文件数据处理方法、装置、设备和介质 |
| CN115167891A (zh) * | 2022-07-07 | 2022-10-11 | 北京蓝天航空科技股份有限公司 | 接口控制文件的数据更新方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101535965A (zh) * | 2005-10-14 | 2009-09-16 | 塞门铁克操作公司 | 用于提高存储管理***的可伸缩性和可移植性的技术 |
| CN103902671A (zh) * | 2014-03-19 | 2014-07-02 | 北京科技大学 | 一种异构多源数据的动态集成方法及*** |
| CN104572456A (zh) * | 2014-12-30 | 2015-04-29 | 北京锐安科技有限公司 | 数据采集方法和装置 |
| US20150178367A1 (en) * | 2013-12-20 | 2015-06-25 | Infosys Limited | System and method for implementing online analytical processing (olap) solution using mapreduce |
| CN105867932A (zh) * | 2016-04-07 | 2016-08-17 | 浙江工业大学 | 基于元数据反射链的游戏云设计方法 |
| CN105893063A (zh) * | 2016-06-13 | 2016-08-24 | 积成电子股份有限公司 | 一种基于xml格式配置文件的应用程序界面及其构建方法 |
| CN106202361A (zh) * | 2016-07-07 | 2016-12-07 | 上海携程商务有限公司 | 数据查询方法及*** |
| CN106462545A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 可缩放文件存储服务 |
| US20170116228A1 (en) * | 2015-10-23 | 2017-04-27 | Oracle International Corporation | System and method for automatic inference of a cube schema from a tabular data for use in a multidimensional database environment |
| CN106649734A (zh) * | 2016-12-23 | 2017-05-10 | 中国科学院南京地理与湖泊研究所 | 一种模型可配置的水质目标管理方法和*** |
-
2017
- 2017-08-30 CN CN201710764963.2A patent/CN110019440B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101535965A (zh) * | 2005-10-14 | 2009-09-16 | 塞门铁克操作公司 | 用于提高存储管理***的可伸缩性和可移植性的技术 |
| US20150178367A1 (en) * | 2013-12-20 | 2015-06-25 | Infosys Limited | System and method for implementing online analytical processing (olap) solution using mapreduce |
| CN103902671A (zh) * | 2014-03-19 | 2014-07-02 | 北京科技大学 | 一种异构多源数据的动态集成方法及*** |
| CN106462545A (zh) * | 2014-03-31 | 2017-02-22 | 亚马逊科技公司 | 可缩放文件存储服务 |
| CN104572456A (zh) * | 2014-12-30 | 2015-04-29 | 北京锐安科技有限公司 | 数据采集方法和装置 |
| US20170116228A1 (en) * | 2015-10-23 | 2017-04-27 | Oracle International Corporation | System and method for automatic inference of a cube schema from a tabular data for use in a multidimensional database environment |
| CN105867932A (zh) * | 2016-04-07 | 2016-08-17 | 浙江工业大学 | 基于元数据反射链的游戏云设计方法 |
| CN105893063A (zh) * | 2016-06-13 | 2016-08-24 | 积成电子股份有限公司 | 一种基于xml格式配置文件的应用程序界面及其构建方法 |
| CN106202361A (zh) * | 2016-07-07 | 2016-12-07 | 上海携程商务有限公司 | 数据查询方法及*** |
| CN106649734A (zh) * | 2016-12-23 | 2017-05-10 | 中国科学院南京地理与湖泊研究所 | 一种模型可配置的水质目标管理方法和*** |
Non-Patent Citations (1)
| Title |
|---|
| 刘志宽: ""分级存储***中元数据管理的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111143453A (zh) * | 2019-12-24 | 2020-05-12 | 济宁昊瀛天成大数据信息技术有限公司 | 一种工业大数据异构数据的并行处理方法 |
| CN111858467A (zh) * | 2020-07-22 | 2020-10-30 | 平安证券股份有限公司 | 基于人工智能的文件数据处理方法、装置、设备和介质 |
| CN111858467B (zh) * | 2020-07-22 | 2024-05-03 | 平安证券股份有限公司 | 基于人工智能的文件数据处理方法、装置、设备和介质 |
| CN115167891A (zh) * | 2022-07-07 | 2022-10-11 | 北京蓝天航空科技股份有限公司 | 接口控制文件的数据更新方法、装置、设备及存储介质 |
| CN115167891B (zh) * | 2022-07-07 | 2023-09-05 | 北京蓝天航空科技股份有限公司 | 接口控制文件的数据更新方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110019440B (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7574379B2 (en) | Method and system of using artifacts to identify elements of a component business model | |
| US20190102447A1 (en) | System and method for metadata sandboxing and what-if analysis in a multidimensional database environment | |
| Tole | Big data challenges. | |
| CN103299267B (zh) | 用于执行多租户存储中的交叉存储连接的方法和*** | |
| CN107766568B (zh) | 使用列式数据库中的直方图进行有效查询处理 | |
| US9946989B2 (en) | Management and notification of object model changes | |
| US11487745B2 (en) | Workflow dependency management system | |
| CN105339941B (zh) | 针对etl映射设计使用投影器和选择器组件类型 | |
| KR101944973B1 (ko) | 사용자 정의 erp 펑션 공유 방법 및 시스템 | |
| CN109033113B (zh) | 数据仓库和数据集市的管理方法及装置 | |
| CN105956087A (zh) | 数据及代码版本管理***及方法 | |
| Schmutz et al. | Service-oriented architecture: an integration blueprint: a real-world SOA strategy for the integration of heterogeneous enterprise systems: successfully implement your own enterprise integration architecture using the trivadis integration architecture blueprint | |
| CN110019440A (zh) | 数据的处理方法及装置 | |
| Chen et al. | Estimating the simulation workload for factory simulation as a cloud service | |
| US9875278B2 (en) | Modified data query function instantiations | |
| US20160232235A1 (en) | Data virtualization for workflows | |
| Soldatos et al. | A reference architecture model for big data systems in the finance sector | |
| CN112084177B (zh) | 基于数据采集治理及挖掘分析的数据池应用方法及装置 | |
| CN110781430B (zh) | 互联网新型虚拟数据中心***及其构造方法 | |
| CN111708895A (zh) | 一种知识图谱***的构建方法及装置 | |
| US11615061B1 (en) | Evaluating workload for database migration recommendations | |
| NOVIKOV et al. | Improving the enterprise resource planning system based on digital modules of the industry 4.0 concept | |
| CN108959309B (zh) | 数据分析的方法和装置 | |
| US20140149186A1 (en) | Method and system of using artifacts to identify elements of a component business model | |
| US20160162821A1 (en) | Comparative peer analysis for business intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |