CN117874111A - 基于矿山大数据的数据治理*** - Google Patents

Abstract

本申请提出一种基于矿山大数据的数据治理***，包括数据采集模块、数据处理模块、数据存储模块和数据管理模块，数据采集模块包括多种数据采集接口对应采集多种异构数据源的业务数据；数据处理模块基于数据描述标准得到标准业务数据；数据存储模块将标准业务数据按照数据类型对应存储于多种数据库中形成数据资产；数据管理模块用于基于数据质量校验规则对多种异构数据源采集的业务数据进行质量校验；还用于管理数据标准、数据资产目录、元数据和主数据以及提供数据资产的数据检索服务、数据发布服务和数据订阅服务。通过标准化的数据采集、处理、存储、质量管控和共享，实现数据的规范管理，实现数据价值。

Description

基于矿山大数据的数据治理***

技术领域

本申请涉及数据治理技术领域，尤其涉及一种基于矿山大数据的数据治理***。

背景技术

煤矿数据的管理和使用还存在很多问题，致使数据不能很好地利用起来，从而让煤矿的数据没能成为数据资产，反而变成了拖累的包袱。煤矿***多而杂，数据分散凌乱，存在着以下问题：(1)黑暗数据问题：黑暗数据也叫睡眠数据，指被收集和处理但又不用于任何用途的数据。各***的数据中可能存在有大量的睡眠数据，始终无人知晓。(2)数据孤岛问题：想利用好数据，就必须打通数据孤岛。打通数据孤岛是一项复杂的工程，其困难不仅在于技术，还来自业务。数据本身是因业务和流程而产生的，只有对业务和流程进行细致梳理和深度理解，才能真正实现数据的打通。(3)数据标准问题：各业务、各***之间的数据标准不一致，数据打通、整合过程、使用过程中都会出现很多问题。(4)数据质量问题：数据的可信性是影响数据分析和管理决策的重要因素，然而数据普遍存在着不一致、不完整、不准确、不正确、不及时等问题。

目前煤矿的数据被业务模块割裂，数据定义不清晰，数据口径不统一，数据业务价值低下，多种智能的应用都需要数据的支撑。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的目的在于提出一种基于矿山大数据的数据治理***，包括：

数据采集模块，包括多种数据采集接口，所述多种数据采集接口基于数据采集标准对应采集多种异构数据源的业务数据；

数据处理模块，用于对所述业务数据进行预处理，并基于数据描述标准，统一所述预处理之后的业务数据，得到标准业务数据；

数据存储模块，用于基于数据存储标准，将所述标准业务数据按照数据类型对应存储于多种数据库中，形成数据资产；

数据管理模块，包括数据质量管理单元、数据资产管理单元和数据服务管理单元，其中，

所述数据质量管理单元用于管理数据质量校验规则，并基于所述数据质量校验规则对从所述多种异构数据源采集的业务数据进行质量校验；

所述数据资产管理单元用于管理数据标准、管理所述数据资产的数据资产目录、管理所述数据资产的元数据和主数据；其中，所述数据标准包括所述数据采集标准、所述数据描述标准和所述数据存储标准；

所述数据服务管理单元用于提供所述数据资产的数据检索服务、数据发布服务和数据订阅服务。

在一些实现方式中，所述***的技术架构为分布式***，包括多个服务，每个所述服务通过独立的进程运行，所述服务之间采用轻量级的通信机制。

在一些实现方式中，所述多种数据采集接口包括关系型数据库数据采集接口、非关系型数据库数据采集接口、时序数据库数据采集接口和消息队列数据采集接口。

在一些实现方式中，所述数据采集模块包括可视化的数据源管理界面和数据采集监视界面，所述数据源管理界面用于配置所述数据源，所述数据采集监视界面用于呈现所述数据源的采集过程执行状态。

在一些实现方式中，所述数据处理模块包括：

数据清洗单元，所述数据清洗单元包括可视化的数据清洗规则配置界面；

数据聚合单元，所述数据聚合单元用于聚合所述数据清洗单元处理之后的数据。

在一些实现方式中，所述数据类型包括业务数据、缓存数据、文件数据和时序数据，所述多个数据库包括关系型数据库、缓存数据库、分布式文件存储***和时序数据库。

在一些实现方式中，所述数据服务管理单元包括多个数据共享程序接口，所述数据共享程序接口用于提供数据共享服务。

在一些实现方式中，所述数据采集模块通过多任务并行的方式采集所述多种异构数据源的业务数据。

在一些实现方式中，所述数据资产管理单元包括可视化的元数据管理界面，用于记录和管理所述数据处理模块和所述数据存储模块分别在数据计算和数据存储过程中涉及的数据源、数据库、表和维度。

在一些实现方式中，所述数据资产管理单元还用于管理所述数据资产的数据模型。

本申请提供的基于矿山大数据的数据治理***，通过多种数据采集接口采集多种业务模块对应的异构数据源的数据，并基于统一的数据描述标准和数据存储标准处理并存储数据，形成可用于共享的数据资产。补足了当前智慧矿山平台在数据治理、数据标准等方面的短板，通过标准化的ETL过程处理，实现数据的规范管理，实现数据价值，对煤矿提供帮助，实现煤矿业务模式创新。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种基于矿山大数据的数据治理***的整体功能结构框图。

图2为本申请实施例提供的数据标准字典界面示意图。

图3为本申请实施例提供的数据校验质量规则编辑界面示意图。

图4为本申请实施例提供的数据共享API管理界面示意图。

图5为本申请实施例所提供的一种基于矿山大数据的数据治理***的技术架构图。

图6为本申请实施例提供的***主界面示意图。

图7为本申请实施例提供的数据源管理界面示意图。

图8为本申请实施例提供的元数据管理界面示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

术语解释：

平台：指***架构。

相关技术中，由于煤矿数据被业务模块割裂，数据定义不清晰，数据口径不统一，数据业务价值低下，多种智能的应用都需要数据的支撑。为了解决此问题，本申请实施例提供了一种基于矿山大数据的数据治理***。

下面参考附图描述本申请实施例的基于矿山大数据的数据治理***。

图1为本申请实施例所提供的一种基于矿山大数据的数据治理***的整体功能结构框图。

如图1所示，该基于矿山大数据的数据治理***，包括数据采集模块、数据处理模块、数据存储模块和数据管理模块。

其中，数据采集模块包括多种数据采集接口，所述多种数据采集接口基于数据采集标准对应采集多种异构数据源的业务数据。

数据采集标准用于指示根据各业务***的数据源种类，采用对应的数据采集接口进行采集等。

可选的，所述多种数据采集接口包括关系型数据库数据采集接口、非关系型数据库数据采集接口、时序数据库数据采集接口和消息队列数据采集接口。

示例性的，数据采集接口例如包括各种主流的关系型数据库如MySQL、SQLServer等，NoSQL数据库如：PostgreSQL、HBase，时序数据库TDengine，消息队列Kafka等。可以采集排水***、通风***、安全监控***、人员定位***等的业务数据，采集排水***、通风***、安全监控***、人员定位***属于不同种类的数据源。

数据处理模块用于对所述业务数据进行预处理，并基于数据描述标准，统一所述预处理之后的业务数据，得到标准业务数据。

示例性的，预处理可以包括数据过滤、去重、清洗、复杂条件过滤等，实现数据的标准化。

数据存储模块用于基于数据存储标准，将所述标准业务数据按照数据类型对应存储于多种数据库中，形成数据资产。

示例性的，数据类型包括业务数据、缓存数据、文件数据和时序数据，所述多个数据库包括关系型数据库、缓存数据库、分布式文件存储***和时序数据库。

数据管理模块包括数据质量管理单元、数据资产管理单元和数据服务管理单元，其中，所述数据质量管理单元用于管理数据质量校验规则，并基于所述数据质量校验规则对从所述多种异构数据源采集的业务数据进行质量校验。所述数据资产管理单元用于管理数据标准、管理所述数据资产的数据资产目录、管理所述数据资产的元数据和主数据；其中，所述数据标准包括所述数据采集标准、所述数据描述标准和所述数据存储标准。所述数据服务管理单元用于提供所述数据资产的数据检索服务、数据发布服务和数据订阅服务。

由此，数据管理模块通过数据资产管理单元通过数据采集标准、数据描述标准和数据存储标准提供标准化的规范约束，保障数据的内外部使用和交换达到一致性和准确性。平台内置基础的标准规范，可以结合外部自定义的扩展标准，在数据处理过程中实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据资产管理提供经管理依据。数据管理模块的数据质量管理单元提供多种质量检查规则，可自定义组合质量检查方案，在数据加工处理的过程中，对接入的各异构数据源的数据按配置规则进行质量校验，保证数据能满足业务场景的具体需求，可以真实准确地反映实际发生的业务。基于数据质量校验规则对从多种异构数据源采集的业务数据进行质量校验，将发生错误的数据记录到相应的错误表中，过滤不符合规范的数据并且捕获这些数据。

数据标准可以通过数据标准字典根据数据标准类型进行查询，示例性的，如图2所示，每个数据标准类别中包括标准编码和标准名称，通过数据标准字典界面可以对每个数据标准进行修改和删除操作。

示例性的，通过数据质量校验规则对数据进行质量检测，如图3所示，数据校验质量规则可以通过可视化的数据校验质量规则编辑界面进行各个规则类型下的每个规则进行修改和删除等操作，还可以呈现质量规则报告。

数据治理***基于浏览器面向不同的终端客户，主要提供的功能包括：***管理、数据集成、元数据管理、数据标准管理、数据质量管理、数据共享等服务。

本申请提供的基于矿山大数据的数据治理***，通过多种数据采集接口采集多种业务模块对应的异构数据源的数据，完善了数据多元化的数据采集。并基于统一的数据描述标准和数据存储标准处理并存储数据，形成可用于共享的数据资产，多协议的数据解析，实现了与数据标准、数据质量的联动，提供了适合智能化矿山平台的数据标准，补足了当前智慧矿山平台在数据治理、数据标准等方面的短板，通过标准化的ETL过程处理，实现数据的规范管理。对外提供了标准化的API接口，为各个业务***提供更加规范、更安全、更通用高效的高质量数据，实现了数据的价值，对煤矿提供帮助，实现煤矿业务模式创新。

示例性的，如图4所示，通过数据共享API管理界面管理数据共享接口。

在一些实施例中，如图5所示，所述***的技术架构为分布式***，包括多个服务，每个所述服务通过独立的进程运行，所述服务之间采用轻量级的通信机制。

也就是说，基于矿山大数据的数据治理平台***设计为分布式***，由各自独立的小服务组成。服务之间互相协调、互相配合，每个服务运行在其独立的进程中，服务和服务间采用轻量级的通信机制互相沟通，每个服务都可以被独立地部署到生产环境中，有很强的扩展性、复用性，平台***具备良好的性能。***具有统一的作业调度及监控功能，***前台提供多种任务逻辑的组合处理及配置功能。

在一些实施例中，所述数据采集模块包括可视化的数据源管理界面和数据采集监视界面，所述数据源管理界面用于配置所述数据源，所述数据采集监视界面用于呈现所述数据源的采集过程执行状态。由此，***具备灵活的数据源管理能力，允许以统一方式进行配置并获取访问。

示例性的，如图6所示，***提供了数据采集量统计和数据源数据量监测的***主界面，如图7所示，通过数据源管理界面管理各数据源的接入状态。

在一些实施例中，所述数据采集模块通过多任务并行的方式采集所述多种异构数据源的业务数据。

由此，***支持灵活配置多种主流数据源的功能，同时平台集成了分布式的任务调度功能，可通过多任务并行的方式高效的采集各异构数据源的数据。***通过多样化的采集技术、优化的加载技术，支持大批量数据高效加载，支持秒级以内数据实时采集传输，满足高效传输要求。

在一些实施例中，所述数据处理模块包括数据清洗单元和数据聚合单元，其中，数据清洗单元包括可视化的数据清洗规则配置界面。由此，图形化的数据清洗规则配置界面，可实现灵活的数据清洗规则配置，支持记录级的多字段的混合运算、过滤、去重、清洗、复杂条件过滤等，实现数据的标准化。

数据聚合单元用于聚合所述数据清洗单元处理之后的数据。

在一些实施例中，所述数据服务管理单元包括多个数据共享程序接口，所述数据共享程序接口用于提供数据共享服务。

也就是说，***提供数据资产的数据共享服务，通过多种协议的共享API、API审核、安全访问控制、可靠的数据传输，对外发布提供数据共享服务，数据的共享减少了各业务***与平台***对接接口的沟通成本。

在一些实施例中，所述数据资产管理单元包括可视化的元数据管理界面，用于记录和管理所述数据处理模块和所述数据存储模块分别在数据计算和数据存储过程中涉及的数据源、数据库、表和维度。

由此，通过可视化的方式对数据存储、计算过程中涉及的数据源、数据库、表、维度等进行记录和管理，自动化更新相关元数据，高效保证元数据的准确度，便于追踪数据问题，能够极大地提升工作的效率。

示例性的，如图8所示，通过可视化的元数据管理界面可以实现各数据源的元数据同步、元数据清理和导出等操作。

在一些实施例中，所述数据资产管理单元还用于管理所述数据资产的数据模型，通过数据模型管理各业务数据之间的关联关系，即***通过数据模型体现数据资产中数据之间的血缘关系。

本申请实施例的基于矿山大数据的数据治理***通过数据处理技术，对海量矿山数据进行采集、计算、存储、加工，同时统一标准和口径，形成标准数据，再将标准化后的数据进行存储，形成数据资产。通过对数据的规范管理，让企业的数据从不可控、不可用、不好用到可控、方便易用。数据资产是企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

本申请中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，来自用户的个人信息应当被收集用于合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享，包括但不限于在用户使用该功能前，通知用户阅读用户协议/用户通知，并签署包括授权相关用户信息的协议/授权。此外，还需采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。

本申请预期可提供用户选择性阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件和/或软件，以防止或阻止对此类个人信息数据的访问。一旦不再需要个人信息数据，通过限制数据收集和删除数据可最小化风险。此外，在适用时，对此类个人信息去除个人标识，以保护用户的隐私。

在前述各实施例描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于矿山大数据的数据治理***，其特征在于，包括：

数据采集模块，包括多种数据采集接口，所述多种数据采集接口基于数据采集标准对应采集多种异构数据源的业务数据；

数据处理模块，用于对所述业务数据进行预处理，并基于数据描述标准，统一所述预处理之后的业务数据，得到标准业务数据；

数据存储模块，用于基于数据存储标准，将所述标准业务数据按照数据类型对应存储于多种数据库中，形成数据资产；

数据管理模块，包括数据质量管理单元、数据资产管理单元和数据服务管理单元，其中，

所述数据质量管理单元用于管理数据质量校验规则，并基于所述数据质量校验规则对从所述多种异构数据源采集的业务数据进行质量校验；

所述数据资产管理单元用于管理数据标准、管理所述数据资产的数据资产目录、管理所述数据资产的元数据和主数据；其中，所述数据标准包括所述数据采集标准、所述数据描述标准和所述数据存储标准；

所述数据服务管理单元用于提供所述数据资产的数据检索服务、数据发布服务和数据订阅服务。

2.根据权利要求1所述的***，其特征在于，所述***的技术架构为分布式***，包括多个服务，每个所述服务通过独立的进程运行，所述服务之间采用轻量级的通信机制。

3.根据权利要求1所述的***，其特征在于，所述多种数据采集接口包括关系型数据库数据采集接口、非关系型数据库数据采集接口、时序数据库数据采集接口和消息队列数据采集接口。

4.根据权利要求1所述的***，其特征在于，所述数据采集模块包括可视化的数据源管理界面和数据采集监视界面，所述数据源管理界面用于配置所述数据源，所述数据采集监视界面用于呈现所述数据源的采集过程执行状态。

5.根据权利要求1所述的***，其特征在于，所述数据处理模块包括：

数据清洗单元，所述数据清洗单元包括可视化的数据清洗规则配置界面；

数据聚合单元，所述数据聚合单元用于聚合所述数据清洗单元处理之后的数据。

6.根据权利要求1所述的***，其特征在于，所述数据类型包括业务数据、缓存数据、文件数据和时序数据，所述多个数据库包括关系型数据库、缓存数据库、分布式文件存储***和时序数据库。

7.根据权利要求1所述的***，其特征在于，所述数据服务管理单元包括多个数据共享程序接口，所述数据共享程序接口用于提供数据共享服务。

8.根据权利要求1所述的***，其特征在于，所述数据采集模块通过多任务并行的方式采集所述多种异构数据源的业务数据。

9.根据权利要求1所述的***，其特征在于，所述数据资产管理单元包括可视化的元数据管理界面，用于记录和管理所述数据处理模块和所述数据存储模块分别在数据计算和数据存储过程中涉及的数据源、数据库、表和维度。

10.根据权利要求1所述的***，其特征在于，所述数据资产管理单元还用于管理所述数据资产的数据模型。