CN112783887A - 一种基于数据仓库的数据处理方法及装置 - Google Patents
一种基于数据仓库的数据处理方法及装置 Download PDFInfo
- Publication number
- CN112783887A CN112783887A CN201911083470.8A CN201911083470A CN112783887A CN 112783887 A CN112783887 A CN 112783887A CN 201911083470 A CN201911083470 A CN 201911083470A CN 112783887 A CN112783887 A CN 112783887A
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- virtual
- layer
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000010354 integration Effects 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 101100371857 Caenorhabditis elegans unc-71 gene Proteins 0.000 description 13
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于数据仓库的数据处理方法及装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表；根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；根据所述层级关联关系指示的计算关系以及所述多个第二数据表中分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。该实施方式降低了数据仓库消耗的存储资源。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于数据仓库的数据处理方法及装置。
背景技术
数据仓库经过数十年的发展，已基本形成了如下层级架构：基础层、整合层、汇总层和应用层；其中，基础层用于存储长期的基础数据；整合层整合基础数据，并形成宽表形式的整合数据；汇总层对整合数据进行汇总加工，以降低数据量；应用层则根据具体的应用需求对汇总的数据进行加工，加工后的数据可直接供前端报表工具展示使用，或者推送到其他***做相关的数据支撑。
在传统的数据仓库中，数据仓库会将各层级的数据落地进行存储，例如，基础层存储有100T的订单类基础数据，整合层对这100T基础数据整合后形成80T的整合数据，汇总层对整合数据整合汇总后形成约20T的汇总数据，由此，原100T的基础数据将占用约200T的存储资源，从而使得数据仓库消耗大量的存储资源。
发明内容
有鉴于此，本发明实施例提供一种基于数据仓库的数据处理方法，能够降低数据仓库消耗的存储资源。
为实现上述目的，根据本发明实施例的一个方面，提供了一种基于数据仓库的数据处理方法。
本发明实施例的一种基于数据仓库的数据处理方法包括：
获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表；
根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；
根据所述层级关联关系指示的计算关系以及所述多个第二数据表中分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
可选地，
所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层；所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；
所述从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的第二数据表，包括：
根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
可选地，
所述计算所述第一数据表中用于响应所述数据请求的第一数据，包括：
根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据；
根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
可选地，该方法还包括：
将所述第一数据以及所述第一数据表对应存储于所述应用层中。
可选地，
在所述计算所述第一数据表中用于响应所述数据请求的第一数据之后，还包括：删除所述第三数据。
可选地，所述虚拟实体层包括：虚拟整合层和/或虚拟汇总层。
为实现上述目的，根据本发明实施例的又一方面，提供了一种基于数据仓库的数据处理装置。
本发明实施例的一种基于数据仓库的数据处理装置包括：请求获取模块、确定模块和计算模块；其中，
所述请求获取模块，用于获取数据请求，所述数据请求指示了待访问的、存储于所述数据库的应用层的第一数据表；
所述确定模块，用于根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；
所述计算模块，用于根据所述层级关联关系指示的计算关系以及所述多个第二数据表分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
可选地，
所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层，所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；
所述确定模块，用于根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
可选地，
所述计算模块，用于根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据；根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
可选地，该装置还包括：存储模块；其中，
所述存储模块，还用于将所述第一数据以及所述第一数据表对应存储于所述应用层中。
可选地，该装置还包括：删除模块；其中，
所述删除模块，用于删除所述第三数据。
为实现上述目的，根据本发明实施例的又一方面，提供了一种数据处理的电子设备。
本发明实施例的一种数据处理的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种基于数据仓库的数据处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。
本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种基于数据仓库的数据处理方法。
上述发明中的一个实施例具有如下优点或有益效果：在获取到数据请求时，可根据数据仓库中存储的层级关联关系，从数据仓库的基础层确定与数据请求指示的应用层的第一数据表相关的第二数据表，然后根据层级关联关系指示的计算关系、以及第二数据表中的第二数据计算出第一数据表中用于响应数据请求的第一数据。由此，在数据仓库中，以存储的层级关联关系替代整合层和汇总层存储的数据，在接收到数据请求时，根据层级关联关系以及基础层存储的数据计算出应用层中用于响应数据请求的数据，也就是说，在数据仓库的整合层和汇总层不再存储与基础数据相对应的整合数据和汇总数据，从而降低数据仓库消耗的存储资源。并且，在数据仓库中的基础层和应用层存储相应的数据，使得基础层作为数据仓库的数据根基，长期保留数据以方便数据回溯。
进一步地，对于整合层和/或汇总层，以存储虚拟数据表形式的虚拟实体层存储虚拟数据表与应用层的第一数据表、以及与基础层的第二数据表之间的对应关系和计算关系，在计算第一数据表中用于响应所述数据请求的第一数据时，可根据虚拟实体层中的虚拟数据表与第一数据表和第二数据表之间的对应关系和计算关系，先从虚拟实体层确定与第二数据表相对应的虚拟数据表，并根据第二数据表中的第二数据计算与第二数据表相对应的第二数据，接着根据虚拟数据表与第一数据表之间的对应关系和计算关系以及计算出的第二数据，计算用于响应数据请求的第一数据。由此，以虚拟实体层的形式保留原数据仓库中整合层及汇总层的数据架构、以及虚拟数据表与应用层及基础层中的数据表之间的对应关系和计算关系，在进行数据运算时，可根据存储的对应关系和计算关系，逐层进行运算，以提高数据运算的效率和准确性。
并且，在生成第一数据之后，将第二数据从虚拟数据层删除，使得虚拟数据层不存储实体数据，从而可节约大量的存储资源。
另外，在计算出用于响应数据请求的第一数据之后，可将第一数据以及第一数据表对应存储于应用层中，以在接收到针对第一数据的业务请求时，可直接从应用层输出存储有第一数据的第一数据表，从而提高数据使用效率，以更有效且更快速地响应业务需求。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是现有技术中数据仓库的层级架构示意图；
图2是根据本发明实施例的一种基于数据仓库的数据处理方法的主要步骤的示意图；
图3是根据本发明实施例的数据仓库的层级架构示意图；
图4是根据本发明实施例的一种层级关联关系的示意图；
图5是根据本发明实施例的另一种基于数据仓库的数据处理方法的主要步骤的示意图；
图6是根据本发明实施例的一种基于数据仓库的数据处理装置的主要模块的示意图；
图7是本发明实施例可以应用于其中的示例性***架构图；
图8是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。
数据仓库经过数十年的发展，已基本形成了如下层级架构：基础层、整合层、汇总层和应用层；其中，基础层用于存储长期的基础数据；整合层整合基础数据，并形成宽表形式的整合数据；汇总层对整合数据进行汇总加工，以降低数据量；应用层则根据具体的应用需求对汇总的数据进行加工，加工后的数据可直接供前端报表工具展示使用，或者推送到其他***做相关的数据支撑。
例如，业务平台A对应的数据仓库的层级架构及每个层级存储数据的类型如表1所示：
表1
由表1可知，传统的数据仓库的数据链路可如图1所示，其依次通过基础层、整合层、汇总层和应用层构建数据，并在每个层级保留大量的实体数据，包括历史数据。由于数据架构和层级复杂且数据增长迅速，经过各级汇总存储数据，数据仓库会将各层次加工数据落地进行存储，久而久之，各数据层次占用了大量的冗余存储，数据存储的瓶颈成为了很多公司企业级数据发展的阻碍。例如，基础层存储有100T的订单类基础数据，整合层对这100T基础数据整合后形成80T的整合数据，通常情况下为了提升数据的易用性，维度数据会适当的冗余，约占冗余数据的25％，那么整合层会占用约100T空间，汇总层对这100T整合数据整合汇总后形成约20T的汇总数据，由此，原本100T的空间被放大2.2倍，存储到了220T，从而使得数据仓库消耗大量的存储资源。
随着大数据技术的不断发展，衍生出了各种类型(基于缓存或基于内存)的计算框架，数据计算不再成为大数据、数据仓库中的瓶颈。相反的，由于在大数据、数据仓库***中，保留了各个层级的长期历史数据，导致经常出现存储资源不够的情况，本发明实施例提出了一种基于数据仓库的数据处理方法，可基于虚拟数据存储的数据仓库，在基础层(fdm)、整合层(gdm)、汇总层(adm)和应用层(app)中，只保留基础层fdm的第二数据和应用层数据app的第一数据，对于整合层gdm及汇总层adm的数据，以虚拟实体结合层级关联关系加以替换，并不实际落地保留其数据，由此大幅节约存储资源，降低数据仓库的存储资源消耗，有利于为企业的数据仓库建设节约资源。
图2是根据本发明实施例的一种基于数据仓库的数据处理方法的主要步骤的示意图。
如图2所示，本发明实施例的一种基于数据仓库的数据处理方法主要包括以下步骤：
步骤S201：获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表。
其中，数据请求可以指示应用层中的第一数据表，例如，数据请求select*fromapp.app1指示的第一数据表为app1。该数据请求可以为终端发起，也可根据设定时间发起，例如，设定时间可以为夜间或其他业务平台的业务量较少的时间，使得本发明实施例提供的基于数据仓库的数据处理方法可在夜间或其他业务平台的业务量较少的时候进行，以提前在应用层中形成用于响应业务需求的第一数据，以在接收到业务需求时，更快更有效地响应业务需求。
步骤S202：根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系。
为了提高查找与第一数据表相关的第二数据表的准确性，且保留数据仓库的模型设计架构，在本发明一个实施方式中，所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层；所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；然后可根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
其中，虚拟实体层可以为虚拟整合层和/或虚拟汇总层。当虚拟实体层为虚拟整合层时，数据仓库的汇总层与传统数据仓库的汇总层相同，也就是说，当虚拟实体层为虚拟整合层时，数据仓库的汇总层存储实体数据。类似的，当虚拟实体层为虚拟汇总层时，数据仓库的整合层与传统数据仓库的整合层相同，也就是说，当虚拟实体层为虚拟整合层时，数据仓库的整合层存储实体数据。另外，当虚拟实体层为虚拟整合层和虚拟汇总层时，数据仓库的虚拟整合层和虚拟汇总层均不存储实体数据。
可以理解的是，虚拟实体层对应的层级(虚拟整合层和/或虚拟汇总层)不同，仅表示在数据仓库中存储实体数据的层级有所不同，对数据仓库本身的层级架构不会有影响，因此，为了便于描述，下面将以虚拟实体层对应的层级为虚拟整合层和虚拟汇总层为例，对本发明实施例提供的基于数据仓库的数据处理方法进行详细说明。在此例中，虚拟整合层和虚拟汇总层均不存储实体数据，其对应的数据链路可如图3所示。
在虚拟实体层中存储虚拟数据表，其中，虚拟数据表可以为对应有标识信息、但未存储实体数据的空白数据表，也可以为仅存在标识信息的数据表的一种概念，也就是说，在虚拟实体层中不存在与数据表的标识信息相对应的真实的数据表，而仅在虚拟实体层定义不同数据表所对应的标识信息。例如，在虚拟整合层，定义订单整合虚拟数据表为gdm_ord(gdm1)，其中，gdm1为订单整合虚拟数据表的标识信息；类似的，定义商品整合虚拟数据表为gdm_sku(gdm2)、定义用户整合虚拟数据表为gdm_user(gdm3)、定义配送整合虚拟数据表为gdm_ship(gdm4)。在虚拟汇总层，也可以做类似设计，例如，定义用户订单商品汇总虚拟数据报表为adm_user_ord_sku(adm1)，定义用户配送汇总虚拟实体adm_user_ship(adm2)。
虽然在虚拟实体层不存储实体数据，但在数据仓库建设时，仍需对虚拟整合层和虚拟汇总层进行模型设计工作，相应地，也会保留虚拟整合层和虚拟汇总层所对应的层级关联关系。在本发明实施例中，可通过数据计算规则器统一存储管理数据仓库中各个层级的数据表之间的层级关联关系，该层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系。在数据计算规则器中，可采用路径图、索引或者表格等多种方式存储层级关联关系。例如，订单商品汇总虚拟数据报表adm1所对应的数据是根据整合层中的订单整合虚拟数据表gdm1、商品整合虚拟数据表gdm2和用户整合虚拟数据表gdm3所对应的数据得到的，则层级关联关系指示adm1与gdm1、gdm2和gdm3之间的对应关系和计算关系，如表示为adm1＝gdm1*gdm2*gdm3。换句话说，层级关联关系指示数据仓库中每个数据表所对应的父子关系以及各个数据表之间的计算关系，例如，adm1来源于gdm1、gdm2和gdm3，则adm1对应的子节点为gdm1、gdm2和gdm3，相应地，gdm1、gdm2和gdm3对应的父节点为adm1。
另外，也可分级存储数据仓库中每个层级的层级关联关系，例如，在虚拟实体层存储各个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系。而在基础层中，不仅存储第二数据表与虚拟整合层中的虚拟数据表的对应关系和计算关系，第二数据表中还存储第二数据(实体数据)。在应用层中，不仅存储第一数据表与虚拟汇总层中的虚拟数据表的对应关系和计算关系，第一数据表中还存储第一数据(实体数据)。
无论通过何种方式存储层级关联关系，在接收到数据请求时，即可根据层级关联关系确定出与数据请求指示的第一数据表相关的第二数据表。下面以层级关联关系分级存储于数据仓库为例，结合数据仓库中每层具体的关联关系，对确定与第一数据表相关的第二数据表进行详细说明。
在此例中，如图4所示，应用层中存储用户全链路应用请求app1对应的层级关联关系(app1的数据来源于adm1、adm2以及app1、adm1、adm2之间的计算关系)。虚拟汇总层中存储用户订单商品汇总虚拟数据表adm1对应的层级关联关系(adm1的数据来源于gdm1、gdm2和gdm3以及adm1、gdm1、gdm2和gdm3之间的计算关系)，以及用户配送汇总虚拟数据表gdm2对应的层级关联关系(adm2来源于gdm3和gdm4，以及adm2、gdm3和gdm4之间的计算关系)。虚拟整合层中存储订单整合虚拟数据表gdm1对应的层级关联关系(gdm1来源于第二数据表fdm1和第二数据表fdm2，以及gdm1、fdm1和fdm2之间的计算关系)，商品整合虚拟数据表gdm2对应的层级关联关系(gdm2来源于第二数据表fdm3和第二数据表fdm4，以及gdm2、fdm3和fdm4之间的计算关系)，用户整合虚拟数据表gdm3对应的层级关联关系(gdm3来源于第二数据表fdm5，以及gdm3和fdm5之间的计算关系)，配送整合虚拟数据表gdm4对应的层级关联关系(gdm4来源于第二数据表fdm6，以及gdm4和fdm6之间的计算关系)。
当数据请求指示的应用层的第一数据表为app1时，可根据如图4所示的层级关联关系，确定出与app1相关的第二数据表为fdm1、fdm2、fdm3、fdm4、fdm5和fdm6。
可以理解的是，在存储层级关联关系时，可直接存储应用层中的第一数据表与基础层中的第二数据表之间的对应关系和计算关系，如存储app1的数据来源于fdm1、fdm2、fdm3、fdm4、fdm5和fdm6，以及app1、fdm1、fdm2、fdm3、fdm4、fdm5以及fdm6之间的计算关系，则在获取到指示第一数据表app1的数据请求时，根据存储的关联关系，确定与app1相关的第二数据表。也就是说，在本发明一个实施方式中，在数据仓库中可省略虚拟实体层，而直接通过应用层与基础层存储相应的层级关联关系和实体数据。
由于数据仓库中存在大量的数据表，为了更清楚明了的表示各层级的数据表之间的对应关系和计算关系，在本发明一个优选的实施方式中，在基础层和应用层之间，采用虚拟实体层的形式保留原整合层和汇总层的层级架构，并利用虚拟实体层记录虚拟数据表与第一数据表和第二数据表之间的层级关联关系，从而便于逐层查找与第一数据表相关的数据表，以提高查找数据表的效率和准确性。
步骤S203：根据所述层级关联关系指示的计算关系以及所述多个第二数据表中分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
当数据仓库中包括虚拟实体层时，可根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据，然后根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
当利用路径图记录数据仓库中各层级的数据表之间的数据关联关系时，在确定出与第一数据表相关的第二数据表以及虚拟数据表之后，可从记录全部数据表的总路径图中得到关于第一数据表、虚拟数据表和第二数据表的计算路径图，该计算路径图如图4所示，然后可进一步根据如图4所示的计算路径图中基础层的第二数据表，依次计算虚拟整合层和虚拟汇总层中的虚拟数据表所对应的第三数据，最后再根据第三数据计算应用层中的第一数据表对应的第一数据。
当然，在本发明一个实施例中，也可通过索引或表格等其他形式记录各层级数据表之间的层级关联关系，在确定与数据请求指示的第一数据表相关的虚拟数据表和第二数据表之后，再根据第一数据表、虚拟数据表和第二数据表之间的对应关系，生成如图4所示的计算关系图，以便于后期根据如图4所示的计算关系图，计算第一数据表对应的第一数据，从而便于提高第一数据的计算效率。
为了节约数据仓库消耗的存储资源，在本发明一个实施例中，在计算所述第一数据表中用于响应所述数据请求的第一数据之后，删除虚拟实体层中的虚拟数据表所对应的第三数据。
具体地，在根据第一数据表、虚拟数据表和第二数据表之间的对应关系和计算关系，按虚拟整合层、虚拟汇总层和应用层的顺序逐层计算第三数据和第一数据的过程中，每层计算出相应的数据之后，会通知上层的数据层，以使上层的数据层根据其计算的数据继续计算，例如，虚拟整合层根据第二数据表中存储的第二数据计算出相应的第三数据之后，通知其上层的虚拟汇总层，然后虚拟汇总层根据虚拟整合层计算出的第三数据计算计算，在虚拟汇总层计算出相应虚拟数据表对应的第三数据之后，再通知应用层，使得应用层根据虚拟汇总层计算出的第三数据计算与第一数据表对应的第一数据。
在最终生成第一数据之后，应用层才通知虚拟汇总层和虚拟整合层释放相应第三数据，也就是删除第三数据，由此可保证计算过程中的数据完整性，有利于提高计算第一数据的效率和准确性。
进一步地，由于应用层是直接面向业务需求进行设计的层次，该层级也实际落地为数据存储实体表，以更有效快速地响应业务需求。因此，在计算出第一数据之后，将所述第一数据以及所述第一数据表对应存储于所述应用层中，也就是说，应用层存储实体数据而不进行虚拟化，以在接收到业务需求时，快速反馈相应的第一数据。
综上所述，本发明实施例提供的基于数据仓库的处理方法可以包括如图5所示的步骤：
步骤S501：获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表。
参照图4，数据请求指示的为应用层的第一数据表app1。
步骤S502：根据数据仓库的层级关联关系，从数据仓库的虚拟汇总层确定与第一数据表相关的第一虚拟数据表。
其中，如图4所示，层级关联关系指示了虚拟数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系，例如虚拟整合层的虚拟数据表与基础层第二数据表之间的对应关系和计算关系，再比如虚拟汇总层的虚拟数据表与应用层的第一数据表之间的对应关系和计算关系。在此例中，参照图4，与第一数据表app1相关的第一虚拟数据表为adm1和adm2。
步骤S503：根据数据仓库的层级关联关系，从数据仓库的虚拟整合层确定与第一虚拟数据表相关的第二虚拟数据表。
在此例中，参照图4，与第一虚拟数据表adm1相关的第二虚拟数据表为gdm1、gdm2和gdm3，与第一虚拟数据表adm2相关的第二虚拟数据表为gdm2和gdm4。
步骤S504：根据数据仓库的层级关联关系，从数据仓库的基础层确定与第二虚拟数据表相关的第二数据表。
在此例中，参照图4，与第二虚拟数据表gdm1相关的第二数据表为fdm1和fdm2，与第二虚拟数据表gdm2相关的第二数据表为fdm3和fdm4，与第二虚拟数据表gdm3相关的第二数据表为fdm5，与第二虚拟数据表gdm4相关的第二数据表为fdm6。
步骤S505：根据层级关联关系指示的计算关系以及第二数据表中的第二数据，计算第二虚拟数据表所对应的第三数据，并根据第三数据计算第一虚拟数据表对应的第四数据。
步骤S506：根据第一虚拟数据表对应的第四数据，计算应用层的第一数据表所对应的第一数据。
步骤S507：将第一数据与第一数据表对应存储于数据仓库的应用层中，并删除虚拟整合层的第三数据和虚拟汇总层的第四数据。
在对应存储时，可将第一数据填充至第一数据表中，然后对第一数据表进行存储。
根据本发明实施例的基于数据仓库的数据处理方法可以看出，在获取到数据请求时，可根据数据仓库中存储的层级关联关系，从数据仓库的基础层确定与数据请求指示的应用层的第一数据表相关的第二数据表，然后根据层级关联关系指示的计算关系、以及第二数据表中的第二数据计算出第一数据表中用于响应数据请求的第一数据。由此，在数据仓库中，以存储的层级关联关系替代整合层和汇总层存储的数据，在接收到数据请求时，根据层级关联关系以及基础层存储的数据计算出应用层中用于响应数据请求的数据，也就是说，在数据仓库的整合层和汇总层不再存储与基础数据相对应的整合数据和汇总数据，从而降低数据仓库消耗的存储资源。并且，在数据仓库中的基础层和应用层存储相应的数据，使得基础层作为数据仓库的数据根基，长期保留数据以方便数据回溯。并且，应用层作为直接面向业务需求进行设计的层次，该层次也实际落地为数据存储实体表，对应存储第一数据表以及第一数据(实体数据)，而不进行虚拟化，从而更有效快速地响应业务需求。
图6是根据本发明实施例的基于数据仓库的数据处理装置的主要模块的示意图。
如图6所示，本发明实施例的基于数据仓库的数据处理装置600包括：请求获取模块601、确定模块602和计算模块603；其中，
所述请求获取模块601，用于获取数据请求，所述数据请求指示了待访问的、存储于所述数据库的应用层的第一数据表；
所述确定模块602，用于根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；
所述计算模块603，用于根据所述层级关联关系指示的计算关系以及所述多个第二数据表分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
在本发明一个实施例中，所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层，所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；
所述确定模块602，用于根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
在本发明一个实施例中，所述计算模块603，用于根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据；根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
继续参考图6，在本发明一个实施例中，该数据处理装置还可以包括：存储模块604；其中，
所述存储模块604，还用于将所述第一数据以及所述第一数据表对应存储于所述应用层中。
继续参考图6，在本发明一个实施例中，该数据处理装置还可以包括：删除模块605；其中，所述删除模块605，用于删除所述第三数据。
根据本发明实施例的基于数据仓库的数据处理装置可以看出，在获取到数据请求时，可根据数据仓库中存储的层级关联关系，从数据仓库的基础层确定与数据请求指示的应用层的第一数据表相关的第二数据表，然后根据层级关联关系指示的计算关系、以及第二数据表中的第二数据计算出第一数据表中用于响应数据请求的第一数据。由此，在数据仓库中，以存储的层级关联关系替代整合层和汇总层存储的数据，在接收到数据请求时，根据层级关联关系以及基础层存储的数据计算出应用层中用于响应数据请求的数据，也就是说，在数据仓库的整合层和汇总层不再存储与基础数据相对应的整合数据和汇总数据，从而降低数据仓库消耗的存储资源。并且，在数据仓库中的基础层和应用层存储相应的数据，使得基础层作为数据仓库的数据根基，长期保留数据以方便数据回溯。并且，应用层作为直接面向业务需求进行设计的层次，该层次也实际落地为数据存储实体表，对应存储第一数据表以及第一数据(实体数据)，而不进行虚拟化，从而更有效快速地响应业务需求。
图7示出了可以应用本发明实施例的基于数据仓库的数据处理方法或基于数据仓库的数据处理装置的示例性***架构700。
如图7所示，***架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的基于数据仓库的数据处理方法一般由服务器705执行，相应地，基于数据仓库的数据处理装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机***800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机***800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有***800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括请求获取模块、确定模块和计算模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，请求模块还可以被描述为“获取数据请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表；根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；根据所述层级关联关系指示的计算关系以及所述多个第二数据表中分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
根据本发明实施例的技术方案，在获取到数据请求时，可根据数据仓库中存储的层级关联关系，从数据仓库的基础层确定与数据请求指示的应用层的第一数据表相关的第二数据表，然后根据层级关联关系指示的计算关系、以及第二数据表中的第二数据计算出第一数据表中用于响应数据请求的第一数据。由此，在数据仓库中，以存储的层级关联关系替代整合层和汇总层存储的数据，在接收到数据请求时，根据层级关联关系以及基础层存储的数据计算出应用层中用于响应数据请求的数据，也就是说，在数据仓库的整合层和汇总层不再存储与基础数据相对应的整合数据和汇总数据，从而降低数据仓库消耗的存储资源。并且，在数据仓库中的基础层和应用层存储相应的数据，使得基础层作为数据仓库的数据根基，长期保留数据以方便数据回溯。并且，应用层作为直接面向业务需求进行设计的层次，该层次也实际落地为数据存储实体表，对应存储第一数据表以及第一数据(实体数据)，而不进行虚拟化，从而更有效快速地响应业务需求。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (13)
1.一种基于数据仓库的数据处理方法，其特征在于，包括：
获取数据请求，所述数据请求指示了待访问的、存储于所述数据仓库的应用层的第一数据表；
根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；
根据所述层级关联关系指示的计算关系以及所述多个第二数据表中分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
2.根据权利要求1所述的方法，其特征在于，所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层；所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；
所述从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的第二数据表，包括：
根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
3.根据权利要求2所述的方法，其特征在于，所述计算所述第一数据表中用于响应所述数据请求的第一数据，包括：
根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据；
根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
4.根据权利要求1所述的方法，其特征在于，还包括：
将所述第一数据以及所述第一数据表对应存储于所述应用层中。
5.根据权利要求3所述的方法，在所述计算所述第一数据表中用于响应所述数据请求的第一数据之后，还包括：
删除所述第三数据。
6.根据权利要求2所述的方法，其特征在于，
所述虚拟实体层包括：虚拟整合层和/或虚拟汇总层。
7.一种基于数据仓库的数据处理装置，其特征在于，包括：请求获取模块、确定模块和计算模块；其中，
所述请求获取模块，用于获取数据请求，所述数据请求指示了待访问的、存储于所述数据库的应用层的第一数据表；
所述确定模块，用于根据所述数据仓库的层级关联关系，从所述数据仓库的基础层确定与所述第一数据表相关的、且存储有第二数据的多个第二数据表；所述层级关联关系指示了所述数据仓库中的数据表与非同层的数据表之间的对应关系及计算关系；
所述计算模块，用于根据所述层级关联关系指示的计算关系以及所述多个第二数据表分别存储的所述第二数据，计算所述第一数据表中用于响应所述数据请求的第一数据。
8.根据权利要求7所述的装置，其特征在于，
所述数据仓库还包括存储有至少一个虚拟数据表的虚拟实体层，所述层级关联关系指示了所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系和计算关系；
所述确定模块，用于根据所述至少一个虚拟数据表分别与所述第一数据表和所述第二数据表之间的对应关系，从所述数据仓库的虚拟实体层确定与所述第一数据表相关的多个虚拟数据表，并从所述基础层确定与所述多个虚拟数据表分别对应的所述多个第二数据表。
9.根据权利要求8所述的装置，其特征在于，
所述计算模块，用于根据所述多个第二数据表中分别存储的所述第二数据以及所述虚拟数据表与所述第二数据表之间的计算关系，分别计算与各个所述虚拟数据表相对应的第三数据；根据所述第三数据以及所述虚拟数据表与所述第一数据表之间的计算关系，计算所述第一数据。
10.根据权利要求8所述的装置，其特征在于，还包括：存储模块；其中，
所述存储模块，还用于将所述第一数据以及所述第一数据表对应存储于所述应用层中。
11.根据权利要求9所述的装置，其特征在于，还包括：删除模块；其中，
所述删除模块，用于删除所述第三数据。
12.一种数据处理的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911083470.8A CN112783887A (zh) | 2019-11-07 | 2019-11-07 | 一种基于数据仓库的数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911083470.8A CN112783887A (zh) | 2019-11-07 | 2019-11-07 | 一种基于数据仓库的数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112783887A true CN112783887A (zh) | 2021-05-11 |
Family
ID=75747991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911083470.8A Pending CN112783887A (zh) | 2019-11-07 | 2019-11-07 | 一种基于数据仓库的数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112783887A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422169A (zh) * | 2022-11-04 | 2022-12-02 | 暨南大学 | 基于商业广告场景的数据仓库构建方法及装置 |
| CN115934746A (zh) * | 2023-02-28 | 2023-04-07 | 江西省旅游集团文旅科技有限公司 | 一种旅游数据处理方法、***、电子设备及可读存储介质 |
| CN116662414A (zh) * | 2023-07-27 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7461086B1 (en) * | 2006-01-03 | 2008-12-02 | Symantec Corporation | Run-time application installation application layered system |
| CN101563929A (zh) * | 2006-12-22 | 2009-10-21 | 高通股份有限公司 | 基础层与增强层之间的多媒体数据重组 |
| CN103019691A (zh) * | 2012-11-20 | 2013-04-03 | 北京思特奇信息技术股份有限公司 | 一种etl作业关系图的转化方法及其实现*** |
| CN103902582A (zh) * | 2012-12-27 | 2014-07-02 | ***通信集团湖北有限公司 | 一种减少数据仓库数据冗余的方法和装置 |
| US9075635B1 (en) * | 2010-07-26 | 2015-07-07 | Symantec Corporation | Systems and methods for merging virtual layers |
| CN106875110A (zh) * | 2017-02-06 | 2017-06-20 | 泰康保险集团股份有限公司 | 业务指标分层计算方法及装置、分布式计算方法及*** |
| US20180157731A1 (en) * | 2016-12-05 | 2018-06-07 | Business Objects Software Ltd. | Hierarchy member selections in queries based on relational databases |
| CN108427711A (zh) * | 2018-01-31 | 2018-08-21 | 北京三快在线科技有限公司 | 实时数据仓库、实时数据处理方法、电子设备及存储介质 |
| CN108628894A (zh) * | 2017-03-21 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 数据仓库中的数据指标查询方法及装置 |
| CN110245270A (zh) * | 2019-05-09 | 2019-09-17 | 重庆天蓬网络有限公司 | 基于图模型的数据血缘关系存储方法、***、介质和设备 |
-
2019
- 2019-11-07 CN CN201911083470.8A patent/CN112783887A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7461086B1 (en) * | 2006-01-03 | 2008-12-02 | Symantec Corporation | Run-time application installation application layered system |
| CN101563929A (zh) * | 2006-12-22 | 2009-10-21 | 高通股份有限公司 | 基础层与增强层之间的多媒体数据重组 |
| US9075635B1 (en) * | 2010-07-26 | 2015-07-07 | Symantec Corporation | Systems and methods for merging virtual layers |
| CN103019691A (zh) * | 2012-11-20 | 2013-04-03 | 北京思特奇信息技术股份有限公司 | 一种etl作业关系图的转化方法及其实现*** |
| CN103902582A (zh) * | 2012-12-27 | 2014-07-02 | ***通信集团湖北有限公司 | 一种减少数据仓库数据冗余的方法和装置 |
| US20180157731A1 (en) * | 2016-12-05 | 2018-06-07 | Business Objects Software Ltd. | Hierarchy member selections in queries based on relational databases |
| CN106875110A (zh) * | 2017-02-06 | 2017-06-20 | 泰康保险集团股份有限公司 | 业务指标分层计算方法及装置、分布式计算方法及*** |
| CN108628894A (zh) * | 2017-03-21 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 数据仓库中的数据指标查询方法及装置 |
| CN108427711A (zh) * | 2018-01-31 | 2018-08-21 | 北京三快在线科技有限公司 | 实时数据仓库、实时数据处理方法、电子设备及存储介质 |
| CN110245270A (zh) * | 2019-05-09 | 2019-09-17 | 重庆天蓬网络有限公司 | 基于图模型的数据血缘关系存储方法、***、介质和设备 |
Non-Patent Citations (1)
| Title |
|---|
| 拜亚萌;张燕玲;: "虚拟化技术在智慧校园云服务平台IaaS层中的应用", 焦作大学学报, no. 01 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422169A (zh) * | 2022-11-04 | 2022-12-02 | 暨南大学 | 基于商业广告场景的数据仓库构建方法及装置 |
| CN115422169B (zh) * | 2022-11-04 | 2023-07-14 | 暨南大学 | 基于商业广告场景的数据仓库构建方法及装置 |
| CN115934746A (zh) * | 2023-02-28 | 2023-04-07 | 江西省旅游集团文旅科技有限公司 | 一种旅游数据处理方法、***、电子设备及可读存储介质 |
| CN116662414A (zh) * | 2023-07-27 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109189835B (zh) | 实时生成数据宽表的方法和装置 | |
| US9372880B2 (en) | Reclamation of empty pages in database tables | |
| CN109614402B (zh) | 多维数据查询方法和装置 | |
| CN107229718B (zh) | 处理报表数据的方法和装置 | |
| CN110689268B (zh) | 一种提取指标的方法和装置 | |
| CN107480205B (zh) | 一种进行数据分区的方法和装置 | |
| CN112783887A (zh) | 一种基于数据仓库的数据处理方法及装置 | |
| US10873552B2 (en) | Large data management in communication applications through multiple mailboxes | |
| CN112835904A (zh) | 一种数据处理方法和数据处理装置 | |
| CN111400304A (zh) | 一种获取截面日期全量数据的方法、装置、电子设备及存储介质 | |
| CN110764796A (zh) | 更新缓存的方法和装置 | |
| CN112925859A (zh) | 数据存储方法和装置 | |
| CN111753019A (zh) | 一种应用于数据仓库的数据分区方法和装置 | |
| CN110110184B (zh) | 信息查询方法、***、计算机***及存储介质 | |
| CN108985805B (zh) | 一种选择性执行推送任务的方法和装置 | |
| CN115905322A (zh) | 业务处理方法、装置、电子设备及存储介质 | |
| CN115454971A (zh) | 数据迁移方法、装置、电子设备及存储介质 | |
| CN112711572B (zh) | 适用于分库分表的在线扩容方法和装置 | |
| CN113704242A (zh) | 一种数据处理方法和装置 | |
| CN112699116A (zh) | 一种数据处理方法和*** | |
| CN112783914A (zh) | 优化语句的方法和装置 | |
| CN110727672A (zh) | 数据映射关系查询方法、装置、电子设备及可读介质 | |
| CN112783925B (zh) | 分页检索方法和装置 | |
| US10896193B2 (en) | Cache fetching of OLAP based data using client to client relationships and data encoding | |
| US20240028593A1 (en) | In-memory graph query engine with persisted storage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |