CN114357088A - 核电工业数据仓库*** - Google Patents
核电工业数据仓库*** Download PDFInfo
- Publication number
- CN114357088A CN114357088A CN202111526722.7A CN202111526722A CN114357088A CN 114357088 A CN114357088 A CN 114357088A CN 202111526722 A CN202111526722 A CN 202111526722A CN 114357088 A CN114357088 A CN 114357088A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- nuclear power
- directory
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000012384 transportation and delivery Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000011161 development Methods 0.000 claims description 56
- 238000004519 manufacturing process Methods 0.000 claims description 56
- 238000013499 data model Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 7
- 239000010410 layer Substances 0.000 description 89
- 238000012550 audit Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000012432 intermediate storage Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开属于核电技术领域，具体涉及一种核电工业数据仓库***。本公开核电工业数据仓库***包括：数据交换层，存放数据资源配置相关的元数据；原始数据层，保存业务***源数据；数据明细层根据字段标准，进行数据清洗、格式转换，数据标准层按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；数据汇总层以业务为导向，根据业务需求开发模型，输出数据交付物；数据集市层对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；公共维表层存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。
Description
技术领域
本发明属于核电技术领域，具体涉及一种核电工业数据仓库***。
背景技术
中国核电大核源平台(DHP)平台，作为数字核电的依托平台和神经中枢，集成中国核电海量工业***与设备的数据，构建可扩展的开放式核电工业互联网平台，同步开展面向各种场景和可复用的核电工业应用开发生态***，来提高核电厂硬件、服务、数据的使用效率和共享范围，实现中国核电业务与资源的智能管理及运营优化，并驱动一系列面向核电全产业链的创新核电工业应用，保障运行机组的安全、可靠、高效运行。
DHP数据平台需要接入来自不同电厂不同业务***的关系型数据，如何处理接入的数据，成为亟待解决的问题。
发明内容
为克服相关技术中存在的问题，提供了一种核电工业数据仓库***。
根据本公开实施例的一方面，提供一种核电工业数据仓库***，所述核电工业数据仓库***包括：
数据交换层：用于存放数据资源配置相关的元数据；
原始数据层，用于保存业务***源数据，并和业务***源数据库保持同步更新；
数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务***中来自不同电厂的数据整合到对应的数据表中；
数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；
数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；
数据集市层：用于对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；
公共维表层，用于存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。
在一种可能的实现方式中，所述核电工业数据仓库***在元数据目录层级下为用户分配开发环境目录和生产环境目录，所述开发环境目录和生产环境目录中均设有所述数据明细层、所述数据标准层、所述数据汇总层、所述数据集市层以及所述公共维表层，且所述开发环境目录还包括开发加工任务目录以及开发应用交付数据目录；所述生产环境目录还包生产加工任务目录以及生产应用交付数据目录；所述核电工业数据仓库***获取外部需求，将数据从源数据库抽取到原始数据层后，在开发环境目录下完成作业开发并测试通过后在生产环境目录下对外发布。
在一种可能的实现方式中，所述开发环境目录用于将数据迁移、加工、稽核的工作流程运行通过并验证结果数据是否符合预期；所述生产环境目录用于将开发环境目录中验证通过的数据模型和加工任务迁移到生产环境目录并对外提供服务。
在一种可能的实现方式中，所述开发环境目录和所述生产环境目录使用不同的数据库进行数据隔离。
在一种可能的实现方式中，基于Hive数据库构建数据仓库，不同的数仓分层对应不同的Hive数据库。
在一种可能的实现方式中，所述数据交换层的元数据目录包括：
数据源连接，用于业务***接入数据的特点、提供的访问权限和账号类型，建立各类型数据源的接入连接配置信息，维护DHP数据平台与业务数据库、消息队列或服务器的连接，以及保存进行数据处理和服务分发所配置的代理信息；
数据源元数据信息，用于存放扫描到的源***中的元数据信息；
数据仓库资源，用于保存数据仓库存储的连接信息，为各层物理模型和业务数据落地提供存储资源。
在一种可能的实现方式中，所述原始数据层的元数据目录包括：
业务***数据库实例或Schema，用于根据接入的不同电厂不同业务***源数据库实例和Schema，建立对应的目录，以及根据源数据库中表信息建立对应的物理模型；
手工导入的数据库实例或Schema，用于存放手动从业务***数据库实例或Schema导入的数据；以及根据导入数据来源的数据库实例和Schema名称建立对应的目录，目录下存放导入的手工落地表。
在一种可能的实现方式中，数据明细层中包括：
数据格式化处理层：用于对数据交换层中各个电厂不同业务***的数据根据字段约束分别进行数据清洗、格式转换、去除空值操作，以形成格式化数据；
数据整合层：按照核电主题域和业务子领域的分类，进行数据领域建模，将不同电厂的数据整合到统一的数据表中。
在一种可能的实现方式中，所述数据汇总层的数据模型包括主题表、多级汇总表、应用宽表、公共指标库中的一种或多种组合。
本公开的有益效果在于：本公开的核电工业数据仓库***采用分层分主题域的方式构建数据中心，以接入来自不同电厂不同业务***的关系型数据，按照核电数据标准和应用需求，经过分层加工、整合、转换，形成不同层次的数据集，提供给外部应用，便于数据的开发和分析，追踪数据血缘，提高数据模型的复用性。
附图说明
图1是根据一示例性实施例示出的一种核电工业数据仓库***的示意图。
图2是根据一示例性实施例示出的一种核电工业数据仓库在元数据目录层级下为用户分配开发环境目录和生产环境目录。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本公开提供了一种核电工业数据仓库***，该种核电工业数据仓库***包括：
数据交换层：用于存放数据资源配置相关的元数据。
原始数据层，用于保存业务***源数据，并和业务***源数据库保持同步更新；
数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务***中来自不同电厂的数据整合到对应的数据表中；
数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；
数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；
数据集市层：用于对DWD(Data Warehouse Detail)、STD(Standard)、DWS(DataWarehouse Summary)层中数据进行行列级处理后，对外提供应用；
以及公共维表层：DIM(Dimension)，用于存放各个业务所使用的公共字典编码表、公共维度表等映射信息，用于其他各分层数据的维度关联，方便业务人员查询数据字段含义。
本实施例中，DHP数据仓库划分为如下7个层次：
1)数据交换层：Exchange，存放数据资源配置相关的元数据。该层的元数据目录主要包括：
a)数据源连接：保存数据库资源、代理资源等信息。根据业务***接入数据的特点、提供的访问权限和账号类型，建立各类型数据源的接入连接配置信息，维护DHP数据平台与业务数据库、消息队列或服务器的连接。也可以保存进行数据处理和服务分发所配置的代理信息。
b)数据源元数据信息：存放扫描到的源***中的元数据信息，如：数据表、视图、存储过程、函数。
c)数据仓库资源：保存数据仓库存储的连接信息，为各层物理模型和业务数据落地提供存储资源。
2)原始数据层：ODS(Operational Data Store)，又称贴源数据层，用于保存业务***源数据，将业务***的原始数据抽取到ODS层保存，并和业务***源数据库保持同步更新，作为后续各层数据加工和分析的基础。该层的元数据目录主要包括：a)业务***数据库实例或Schema：根据接入的不同电厂不同业务***源数据库实例和Schema，建立对应的目录；根据源数据库中表信息建立对应的物理模型，物理模型表和源数据库中数据表保持相同的表结构、表逻辑关系、字段信息。
b)手工导入的数据库实例或Schema：存放手动从业务***数据库实例或Schema导入的数据。根据导入数据来源的数据库实例和Schema名称建立对应的目录，目录下存放导入的手工落地表。
3)数据明细层：DWD，根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务***中来自不同电厂的数据整合到对应的数据表中。DWD层数据表的字段数根据不同电厂业务情况进行扩充，字段的类型和ODS层保持一致。DWD层用于源***数据在数据平台的永久保存，解决不同电厂数据质量问题、数据的完整度问题以及数据格式不统一的问题。
该分层中主要包含如下处理流程：
a)数据格式化处理：对ODS层中各个电厂不同业务***的数据根据字段约束分别进行数据清洗、格式转换、去除空值等操作，形成格式化数据。
b)数据整合：按照核电主题域和业务子领域的分类，进行数据领域建模，将不同电厂的数据整合到统一的数据表中，字段数根据业务***情况进行扩充。实现业务***数据的轻度加工处理，将不同电厂业务功能相同的多个数据表进行融合，从而得到供后续分析使用的基础数据。
以上各个处理流程可以根据业务数据情况、处理效率等因素，将加工后的中间数据落地到物理存储；也可以不落地，将加工逻辑、工作流进行字段关联和调度编排后，直接生成最终的整合数据。根据处理流程、主题域建立对应的元数据目录。
4)数据标准层：STD，按照核电领域的数据标准，将DWD层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据。
5)数据汇总层：DWS，以业务为导向，根据业务需求开发模型，输出数据交付物，所有的汇总层数据表都绑定业务，以满足业务任务为宗旨。DWS层的建设基于标准化处理后的数据进行汇总或者多模型加工，形成服务数据模型，将常用信息进行共同沉淀和处理。可以根据业务需求将DWD和STD层中的字段汇总形成主题表和宽表，从而简化业务***复杂的逻辑关系，形成业务人员容易理解的数据结构。
该层数据模型包括：主题表、多级汇总表、应用宽表、公共指标库等。该层数据可以支撑跨域企业级的数据分析、数据挖掘、即席查询。
6)数据集市层：DM(Data Mart)，面向应用，可以对DWD、STD、DWS层中数据进行行列级处理后，对外进行服务。通过建立数据资产视图、提供数据访问接口，对外部应用提供数据分发服务，给各个应用提供数据，用以支撑业务的数据需求；也可以针对特定或常用的报表涉及的数据模型做过滤或逻辑处理，并设置输入参数，为应用提供报表数据；也可以生成数据产品中个性化的统计指标数据。
7)公共维表层：DIM(Dimension)，存放各个业务所使用的公共字典编码表、公共维度表等映射信息，用于其他各分层数据的维度关联，方便业务人员查询数据字段含义。
如图2所示，所述DHP数据仓库在元数据目录层级下为用户分配开发环境目录和生产环境目录；其中，所述开发环境目录和生产环境目录中均设有数据明细层数据标准层、数据汇总层、数据集市层以及公共维表层。且上述开发环境目录和生产环境目录共用数据交换层以及原始数据层。
每个用户下通过目录隔离生产环境/开发环境，根据每个用户的组织结构对相应的环境和目录资源进行授权，保证数据隔离性。从开发环境向生产环境的提交，需要按规定的流程进行操作，在数据资源开发过程中，严格要求在开发环境下的相关目录下测试通过后才能在生产环境目录下发布。严格禁止直接在生产环境修改作业流程，所有生产环境线上作业流程必须经过测试，并确认测试通过。
创建元数据目录是为了更好的管理项目中的数据模型、映射信息、流程等资源。本发明所示的DHP数据仓库根据项目情况，由DHP管理方在DHP中心租户已有元数据目录层级下为项目分配对应的开发和生产环境目录。为更好的实现上述操作，本实施例中，DHP中心租户的资源目录层次结构如下：
数据交换层(EXCH)：存放数据资源的连接配置、源表结构信息等元数据。
1)资源：包括数据库资源、代理资源、FTP资源和Kafka资源。数据库资源：存放源***数据库的连接信息，以及数据中台内使用的Hive存储库、MPP数据库、RDS等资源的连接信息。为了避免数据抽取对数据源业务库造成过多影响，DHP中心租户内通常只维持到某个源业务库的一个连接，在该目录下统一管理。
代理资源：管理工作流、稽核任务、数据服务中使用到的数据中台
代理服务资源，负责流程和服务的调度执行。
FTP资源：管理文件方式进行数据导入导出时使用的FTP服务器资源。
Kafka资源：管理实时传输、计算、分析中用到的Kafka资源。
2)数据采集源：存放从源***数据库中扫描到的数据表信息，以便在数据抽取时根据源数据表信息建立相同字段结构的目的表。
原始数据层(ODS)：将业务***的原始数据抽取到ODS层保存，并和业务***源数据库保持同步更新，作为后续数据加工和分析的基础。为保证数据的一致性，避免数据冗余，由DHP平台管理方对DHP中心租户内源数据进行统一抽取和管理，根据项目需要，提供给对应的生产和开发用户使用，并根据项目管理要求授予用户对其中的数据表的访问权限。
1)表：ODS层没有逻辑模型，只建立和数据源表字段一致的物理表，根据数据更新的频率，分别划分为按天、周、月进行数据抽取更新。
2)加工任务：存放实现ODS层数据抽取的迁移映射、加工映射、工作流、稽核任务。
迁移映射：可以实现同源或者异构数据库之间的数据迁移。
加工映射：实现同源数据表之间的数据加工。来源表中的数据加工处理后落地到目的表。
工作流：对映射进行加载并调度执行的作业任务，工作流中可以增加若干在执行过程中调度的处理节点。
稽核任务：调度执行稽核规则的作业任务，针对指定了稽核规则的表中数据进行校验。
开发环境，该目录存放用于开发和测试的元数据、结果数据涉及的数据表、加工任务，可用来验证数据表结构的合理性、加工逻辑的有效性，并生成一些测试用的临时数据。
划分如下子目录：
1)开发数据明细层(开发DWD)：按照主题域分类，将ODS层中来自不同电厂的数据汇总整合到对应的数据表中。
2)开发数据标准层(开发STD)：按照主题域分类，根据核电领域的数据标准，加工形成统一的核电标准数据。
3)开发数据汇总层(开发DWS)：按照主题域分类，将下层中数据进行汇总、加工，形成多级汇总表、公共指标库、标签库。
4)开发数据集市层(开发DM)：将下层中数据进行行列级处理后，建立数据资产视图，对外进行服务。
5)开发公共维表层(开发DIM)：按照主题域分类，存放业务所使用的数据字典、编码表、维度表等映射信息，用于其他各分层数据的维度关联。
6)开发应用测试：将加工好的、用于测试的结果数据导入到指定中间存储，通常是查询性能较高的数据库，如MPP、MySQL，提供给应用，测试结果数据是否符合预期。
7)开发加工任务：存放用于数据导入、加工、质量检查的迁移映射、加工映射、工作流、稽核任务。
生产环境目录，该目录存放提供给生产使用的元数据、数据交付涉及的数据表、加工任务，产生的结果数据对业务应用进行支撑。
为避免数据变更以及人为误操作影响生产应用的正常运行，不直接在生产环境中新建数据模型、加工任务，而是在开发环境中开发并测试完成后，将开发环境的数据模型和加工任务迁移到生产环境。且生产环境中的任何变更都需要审核批准，并进行记录。
生产环境下的目录结构设计和开发环境下的目录结构设计基本相同，都包含：生产数据明细层(生产DWD)、生产数据标准层(生产STD)、生产数据汇总层(生产DWS)、生产数据集市层(生产DM)、生产公共维表层(生产DIM)、生产加工任务目录。
生产应用交付数据：该目录用于将加工好的用于生产运行的结果数据导入到指定中间存储，对应用提供实时查询。
在开发环境中将数据迁移、加工、稽核的工作流程运行通过，并验证结果数据符合预期，就可以将开发环境中的这些数据模型、映射、稽核、工作流等元数据导入到生产环境。包括：
数据模型导入：将开发环境的逻辑设计器导出，然后导入到生产环境中。通过逻辑设计器物化生成物理设计器和物理模型。
映射导入：将开发环境的迁移映射、加工映射导出，然后导入到生产环境，导入时要重新命名，因为一个租户内映射的名称必须保证唯一性，映射重名会导致流程调度的时候有两个名称一模一样的映射而无法区分执行哪个映射。
稽核规则导入：将开发环境的稽核规则批量导出，然后导入到生产环境相关目录下。
工作流导入：将开发环境的工作流批量导出，然后导入到生产环境相关目录下。稽核任务可以配置在工作流程中调度执行，因此开发环境中的
生产环境中的工作流程调度执行后，产生的结果数据可以通过数据服务的方式提供给应用。先将数据仓库中的交付数据使用迁移映射同步到MPP数据库，通过数据服务接口API的方式向应用提供数据。也可以将数据分发到指定的中间存储，如RDS、Redis、Kafka，向应用提供数据。
同时，作为一优选方案，本实施例中，数据仓库中使用主题域对数据模型进行分类管理，主题域的划分是为了从数据资产管理、识别、分类的角度更好的维护数据，不同主题域间的数据模型彼此分离，在业务使用层面上没有交集，高内聚低耦合；在主题域内部对包含的数据模型进行拆分、关联。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (9)
1.一种核电工业数据仓库***，其特征在于，所述核电工业数据仓库***包括：
数据交换层：用于存放数据资源配置相关的元数据；
原始数据层，用于保存业务***源数据，并和业务***源数据库保持同步更新；
数据明细层：用于根据字段标准，进行数据清洗、格式转换，并按照业务领域和主题域分类，将业务***中来自不同电厂的数据整合到对应的数据表中；
数据标准层：用于按照核电领域的数据标准，将数据明细层中经过处理后的数据进行加工和汇总，将与业务相关的字段和属性进行关联，形成统一的核电标准数据；
数据汇总层：用于以业务为导向，根据业务需求开发模型，输出数据交付物；
数据集市层：用于对数据明细层、数据标准层、数据汇总层中数据进行行列级处理后，对外提供应用；
公共维表层，用于存放各个业务所使用的公共字典编码表、公共维度表映射信息，还用于其他各分层数据的维度关联。
2.根据权利要求1所述的核电工业数据仓库***，其特征在于，所述核电工业数据仓库***在元数据目录层级下为用户分配开发环境目录和生产环境目录，所述开发环境目录和生产环境目录中均设有所述数据明细层、所述数据标准层、所述数据汇总层、所述数据集市层以及所述公共维表层，且所述开发环境目录还包括开发加工任务目录以及开发应用交付数据目录；所述生产环境目录还包生产加工任务目录以及生产应用交付数据目录；所述核电工业数据仓库***获取外部需求，将数据从源数据库抽取到原始数据层后，在开发环境目录下完成作业开发并测试通过后在生产环境目录下对外发布。
3.根据权利要求2所述的核电工业数据仓库***，其特征在于，所述开发环境目录用于将数据迁移、加工、稽核的工作流程运行通过并验证结果数据是否符合预期；所述生产环境目录用于将开发环境目录中验证通过的数据模型和加工任务迁移到生产环境目录并对外提供服务。
4.根据权利要求1所述的核电工业数据仓库***，其特征在于，所述开发环境目录和所述生产环境目录使用不同的数据库进行数据隔离。
5.根据权利要求4述的核电工业数据仓库***，其特征在于，基于Hive数据库构建数据仓库，不同的数仓分层对应不同的Hive数据库。
6.根据权利要求2所述的核电工业数据仓库***，其特征在于，所述数据交换层的元数据目录包括：
数据源连接，用于业务***接入数据的特点、提供的访问权限和账号类型，建立各类型数据源的接入连接配置信息，维护DHP数据平台与业务数据库、消息队列或服务器的连接，以及保存进行数据处理和服务分发所配置的代理信息；
数据源元数据信息，用于存放扫描到的源***中的元数据信息；
数据仓库资源，用于保存数据仓库存储的连接信息，为各层物理模型和业务数据落地提供存储资源。
7.根据权利要求2所述的核电工业数据仓库***，其特征在于，所述原始数据层的元数据目录包括：
业务***数据库实例或Schema，用于根据接入的不同电厂不同业务***源数据库实例和Schema，建立对应的目录，以及根据源数据库中表信息建立对应的物理模型；
手工导入的数据库实例或Schema，用于存放手动从业务***数据库实例或Schema导入的数据；以及根据导入数据来源的数据库实例和Schema名称建立对应的目录，目录下存放导入的手工落地表。
8.根据权利要求1所述的核电工业数据仓库***，其特征在于，数据明细层中包括：
数据格式化处理层：用于对数据交换层中各个电厂不同业务***的数据根据字段约束分别进行数据清洗、格式转换、去除空值操作，以形成格式化数据；
数据整合层：按照核电主题域和业务子领域的分类，进行数据领域建模，将不同电厂的数据整合到统一的数据表中。
9.根据权利要求1所述的核电工业数据仓库***，其特征在于，所述数据汇总层的数据模型包括主题表、多级汇总表、应用宽表、公共指标库中的一种或多种组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111526722.7A CN114357088B (zh) | 2021-12-14 | 2021-12-14 | 核电工业数据仓库*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111526722.7A CN114357088B (zh) | 2021-12-14 | 2021-12-14 | 核电工业数据仓库*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114357088A true CN114357088A (zh) | 2022-04-15 |
| CN114357088B CN114357088B (zh) | 2024-02-27 |
Family
ID=81098683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111526722.7A Active CN114357088B (zh) | 2021-12-14 | 2021-12-14 | 核电工业数据仓库*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114357088B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115033646A (zh) * | 2022-08-11 | 2022-09-09 | 深圳联友科技有限公司 | 一种基于Flink&Doris构建实时数仓***的方法 |
| CN115098477A (zh) * | 2022-06-23 | 2022-09-23 | 中核核电运行管理有限公司 | 核电站生产数据的数据标准管理方法及装置 |
| CN115510021A (zh) * | 2022-06-29 | 2022-12-23 | 江苏昆山农村商业银行股份有限公司 | 一种构建数据仓库标准层的方法和*** |
| CN115794929A (zh) * | 2023-01-13 | 2023-03-14 | 中企云链（北京）金融信息服务有限公司 | 数据集市的数据管理***和数据管理方法 |
| CN116401254A (zh) * | 2023-04-17 | 2023-07-07 | 广东数果科技有限公司 | 一种指标结果数据统一存储的方法及装置 |
| CN117390054A (zh) * | 2023-12-08 | 2024-01-12 | 先进操作***创新中心(天津)有限公司 | 一种国产化生态适配数据的数据治理方法及*** |
| CN117407456A (zh) * | 2023-12-11 | 2024-01-16 | 中核武汉核电运行技术股份有限公司 | 一种核电服务的结构化数据共享*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030204487A1 (en) * | 2002-04-26 | 2003-10-30 | Sssv Muni Kumar | A System of reusable components for implementing data warehousing and business intelligence solutions |
| US20150347542A1 (en) * | 2010-07-09 | 2015-12-03 | State Street Corporation | Systems and Methods for Data Warehousing in Private Cloud Environment |
| CN110019462A (zh) * | 2017-11-14 | 2019-07-16 | 南方电网科学研究院有限责任公司 | 电力科研生产数据分析方法、装置、***及存储介质 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析*** |
| CN112182091A (zh) * | 2020-12-03 | 2021-01-05 | 光大科技有限公司 | 多源数据整合方法、***、存储介质和电子装置 |
| CN112181940A (zh) * | 2020-08-25 | 2021-01-05 | 天津农学院 | 全国工商大数据处理***的构建方法 |
| CN112232854A (zh) * | 2020-09-25 | 2021-01-15 | 北京三快在线科技有限公司 | 业务处理方法、装置、设备及存储介质 |
| CN113254544A (zh) * | 2021-04-29 | 2021-08-13 | 西安交通大学 | 一种基于维度建模的数据处理装置及方法 |
-
2021
- 2021-12-14 CN CN202111526722.7A patent/CN114357088B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030204487A1 (en) * | 2002-04-26 | 2003-10-30 | Sssv Muni Kumar | A System of reusable components for implementing data warehousing and business intelligence solutions |
| US20150347542A1 (en) * | 2010-07-09 | 2015-12-03 | State Street Corporation | Systems and Methods for Data Warehousing in Private Cloud Environment |
| CN110019462A (zh) * | 2017-11-14 | 2019-07-16 | 南方电网科学研究院有限责任公司 | 电力科研生产数据分析方法、装置、***及存储介质 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析*** |
| CN112181940A (zh) * | 2020-08-25 | 2021-01-05 | 天津农学院 | 全国工商大数据处理***的构建方法 |
| CN112232854A (zh) * | 2020-09-25 | 2021-01-15 | 北京三快在线科技有限公司 | 业务处理方法、装置、设备及存储介质 |
| CN112182091A (zh) * | 2020-12-03 | 2021-01-05 | 光大科技有限公司 | 多源数据整合方法、***、存储介质和电子装置 |
| CN113254544A (zh) * | 2021-04-29 | 2021-08-13 | 西安交通大学 | 一种基于维度建模的数据处理装置及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115098477A (zh) * | 2022-06-23 | 2022-09-23 | 中核核电运行管理有限公司 | 核电站生产数据的数据标准管理方法及装置 |
| CN115510021A (zh) * | 2022-06-29 | 2022-12-23 | 江苏昆山农村商业银行股份有限公司 | 一种构建数据仓库标准层的方法和*** |
| CN115510021B (zh) * | 2022-06-29 | 2023-12-22 | 江苏昆山农村商业银行股份有限公司 | 一种构建数据仓库标准层的方法和*** |
| CN115033646A (zh) * | 2022-08-11 | 2022-09-09 | 深圳联友科技有限公司 | 一种基于Flink&Doris构建实时数仓***的方法 |
| CN115033646B (zh) * | 2022-08-11 | 2023-01-13 | 深圳联友科技有限公司 | 一种基于Flink&Doris构建实时数仓***的方法 |
| CN115794929A (zh) * | 2023-01-13 | 2023-03-14 | 中企云链（北京）金融信息服务有限公司 | 数据集市的数据管理***和数据管理方法 |
| CN116401254A (zh) * | 2023-04-17 | 2023-07-07 | 广东数果科技有限公司 | 一种指标结果数据统一存储的方法及装置 |
| CN117390054A (zh) * | 2023-12-08 | 2024-01-12 | 先进操作***创新中心(天津)有限公司 | 一种国产化生态适配数据的数据治理方法及*** |
| CN117407456A (zh) * | 2023-12-11 | 2024-01-16 | 中核武汉核电运行技术股份有限公司 | 一种核电服务的结构化数据共享*** |
| CN117407456B (zh) * | 2023-12-11 | 2024-03-19 | 中核武汉核电运行技术股份有限公司 | 一种核电服务的结构化数据共享*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114357088B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114357088A (zh) | 核电工业数据仓库*** | |
| CN112685385B (zh) | 一种用于智慧城市建设的大数据平台 | |
| US11360950B2 (en) | System for analysing data relationships to support data query execution | |
| CN110300963B (zh) | 大规模数据储存库中的数据管理*** | |
| US10878064B2 (en) | Clinical data management system | |
| US11003645B1 (en) | Column lineage for resource dependency system and graphical user interface | |
| CN110781236A (zh) | 一种构建政务大数据治理体系的方法 | |
| US11893046B2 (en) | Method and apparatus for implementing a set of integrated data systems | |
| US8484255B2 (en) | Automatic conversion of multidimentional schema entities | |
| CN112199433A (zh) | 一种用于城市级数据中台的数据治理*** | |
| CN106682096A (zh) | 一种日志数据的管理方法和装置 | |
| US20110153562A1 (en) | Error prevention for data replication | |
| CN115617776A (zh) | 一种数据管理***及方法 | |
| WO2012130489A1 (en) | Method, system, and computer program product for maintaining data consistency between two databases | |
| US20080294673A1 (en) | Data transfer and storage based on meta-data | |
| US20190065535A1 (en) | Mining of policy data source description based on file, storage and application meta-data | |
| CN103069382A (zh) | 在面向服务的架构储存库之间的迁移工件 | |
| CN115599840A (zh) | 一种复杂业务数据治理方法和*** | |
| US10430413B2 (en) | Data information framework | |
| US20140143248A1 (en) | Integration to central analytics systems | |
| CN115952160B (zh) | 一种数据盘点方法 | |
| Schulz et al. | Read Code quality assurance: from simple syntax to semantic stability | |
| US20150363711A1 (en) | Device for rapid operational visibility and analytics automation | |
| KR100796905B1 (ko) | 데이터베이스 품질관리 시스템 | |
| CN111143322A (zh) | 一种数据标准治理***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |