CN116702902A - 一种水文数据图谱推理与知识库构建方法 - Google Patents

Abstract

本发明提供一种水文数据图谱推理与知识库构建方法，包括构建水文数据图谱推理机和构建水文数据图谱知识库；所述构建水文数据图谱推理机包括：构建水文分析计算推理机、水文数据生产链推理机和***停止运行影响推理机；所述构建水文数据图谱知识库包括：构建***与数据、模型、测站数据、人员数据和事务管理数据；在水文数据图谱基础上构建水文分析计算推理机，以模型描述语言为中转，将模型引入知识库，能无视模型所属***的壁垒，以目的为导向驱动多***相关模型进行计算。

Description

一种水文数据图谱推理与知识库构建方法

技术领域

本发明涉及水文领域，尤其涉及一种水文数据图谱推理与知识库构建方法。

背景技术

水文数据是支持水利各项事业的重要数据，反映了江河湖泊变化的情况。目前，由于前期短平快的水文信息化建设方式，水文业务割据严重，不同业务分别建立了独立的***，相互之间难以交互，形成合力，对水文综合分析、管理、应用造成极大阻力，难以满足多业务联合管理、调度的需求。对于处理生产过程复杂的水文数据，由于涉及的数据较多，经手人员也多，当发现问题时，往往溯源困难，难以找到发生问题的环节，只能采用将错就错或抛弃错误数据的方式来解决数据问题，然而这种方式往往会造成由于数据量不足或数据精度不够，而导致分析结果有偏差。

发明内容

本发明的目的在于针对上述现有技术的不足，提供了一种水文数据图谱推理与知识库构建方法，构建水文数据图谱知识库，进行一体化的水文数据处理与管理。

为实现上述目的，本发明采用了如下技术方案：

本发明提供了一种水文数据图谱推理与知识库构建方法，包括构建水文数据图谱推理机和构建水文数据图谱知识库；

所述构建水文数据图谱推理机包括：构建水文分析计算推理机、水文数据生产链推理机和***停止运行影响推理机；

所述构建水文数据图谱知识库包括：构建***与数据、模型、测站数据、人员数据和事务管理数据。

进一步，所述水文分析计算推理机为：

DC＝{d_i,modle,D_i+1,S_i,a_i}{i∈[0,n]}

其中，d_i为当前推理节点数据，构成为{st,tm,d,sl}，st为测站；tm为时间；d为数值；sl为存储位置；modle_i为获得当前推理节点数据的计算模型；D_i+1为modle_i的输入参数集合当集合中存在数据/>无法获取到数值时，则将数据作为下一个推理节点数据；s_i为生产d_i的***；ai为s_i的业务管理人员；

当i＝0时，表示计算目标数据；

当i＝n时，表示所述水文分析计算推理机停止推理。

进一步，所述水文分析计算推理机停止推理的条件包括：

D_i+1中所有参数均获得数值，直接进行计算；

modle_i不存在，数据无法通过推理计算获得，需联系***s_i的业务管理员a_i，核实情况，获取数据。

进一步，所述水文数据生产链推理机为：

DP＝{d_j,modle,D_j+1,S_j+1,H_j+1}(j∈[0,n])

其中，S_j+1为与D_j+1数据一一对应的生产系数的集合

H_j+1为从***运行日志中提取的，与D_j+1数据一一对应的生产***的集合

当D_j+1中的数据异常时，联系H_j+1中/>的生产人员联系核对状况；

当j＝0时，表示最初发现异常的数据；

当j＝n时，表示所述水文数据生产链推理机停止推理。

进一步，所述水文数据生产链推理机停止推理的条件包括：

modle_j为空，表示d_j并非计算获得，而为监测获得，已无下一项数据回溯，此时D_j+1、s_j+1和H_j+1也均为空。

进一步，所述***停止运行影响推理机为：

SO＝{S_k,D_k,S_k+1,A_k+1}(k∈[0,n])

其中，S_k为停止运行的***，表示***功能或表示数据库；D_k为无法生产或保存的数据集合A_k+1为与s_k+1一一对应的业务管理人员集合应及时通知业务管理人员相应的情况；s_k+1集合内的每一个参数将分别作为下一次推理的初始条件；

当k＝0时，表示最初停止运行的***；

当k＝n时，表示当前***的停止运行不对其它***造成影响，停止推理。

进一步，所述***与数据是利用数据治理中的元数据管理工具，以生产***为主线，将各***、***与数据之间的关系组织起来，通过元数据的组合关系和元数据的依赖关系，最后将所述元数据管理信息抽取到知识库中，形成***、数据实体，通过组合、依赖关系形成实体间的关系。

进一步，所述模型封装为接口服务，接着利用接口描述语言对所述模块接口进行描述，形成模型描述数据；并将模型描述数据抽取到知识库中，形成模型实体。

进一步，所述测站数据是指利用数据治理中的主数据管理工具，将不同业务中，同一测站的数据进行一致性处理，所述一致性处理对象包括测站基本信息属性的定义与属性值，所述一致性处理方式为以优先级高的数据为准，抛弃优先级低的数据；最后提取不同业务测站基本属性的最大交集，形成测站数据，指定统一编码，抽取到知识库中，形成测站实体。

进一步，所述人员数据是指将机构统一用户信息抽取到知识图谱中，形成人员实体；

所述事务管理数据是指利用数据治理中的数据集管理工具，形成事务数据集。

本发明的有益效果为：在水文数据图谱基础上构建水文分析计算推理机，以模型描述语言为中转，将模型引入知识库，能无视模型所属***的壁垒，以目的为导向驱动多***相关模型进行计算。

在水文数据处理管理知识图谱基础上构建水文数据生产链推理机，在多业务***的复杂生产链条下，针对数据异常，辅助回溯生产流程，辅助问题环节的定位，减少水文数据将错就错，或抛弃重要数据的情况。

在水文数据处理管理知识图谱基础上构建***停止运行影响推理机，当遇到***、数据库停止运行，导致重大数据问题时，进行主动预警，辅助相关人员提前准备，而非问题产生后被动解决。

在水文数据的基础上，将入人与***引入知识库，知识图谱进行水文数据处理与管理一体化推理，保证各项水文数据处理管理工作，能及时追溯到相关负责人，提高管理效能。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种水文数据图谱推理与知识库构建方法，其特征在于，包括构建水文数据图谱推理机和构建水文数据图谱知识库；

所述构建水文数据图谱推理机包括：构建水文分析计算推理机、水文数据生产链推理机和***停止运行影响推理机；

水文数据处理管理的核心是进行水文分析计算，本方法构造了水文分析计算推理机，实现驱动跨***的模型、数据的联合计算，对于计算中产生的数据异常问题，构造数据生产链推理机，回溯生产链，定位异常，解决问题，对于***、数据库停止运行导致重大数据问题的事件(如大范围数据丢失)，构造***停止运行影响推理机，及时分析数据影响，辅助相关人员进行主动预警告警。

所述构建水文数据图谱知识库包括：构建***与数据、模型、测站数据、人员数据和事务管理数据。

当需要计算某项数据，自动推理参与计算的所有数据并计算，如果因缺少必要数据导致无法计算，即时寻找责任人完成相关数据的生产与准备。

所述水文分析计算推理机为：

DC＝{d_i,modle,D_i+1,S_i,a_i}{i∈[0,n]}

其中，d_i为当前推理节点数据，构成为{st,tm,d,sl}，st为测站；tm为时间；d为数值；sl为存储位置；modle_i为获得当前推理节点数据的计算模型；D_i+1为modle_i的输入参数集合当集合中存在数据/>无法获取到数值时，则将数据作为下一个推理节点数据；s_i为生产d_i的***；a_i为s_i的业务管理人员；

当i＝0时，表示计算目标数据；

当i＝n时，表示所述水文分析计算推理机停止推理。

所述水文分析计算推理机停止推理的条件包括：

D_i+1中所有参数均获得数值，直接进行计算；

modle_i不存在，数据无法通过推理计算获得，需联系***s_i的业务管理员a_i，核实情况，获取数据。

数据异常时，通过推理数据生产链条，回溯生产过程中可能出错误的环节。

所述水文数据生产链推理机为：

DP＝{d_j,modle,D_j+1,S_j+1,H_j+1}(j∈[0,n])

其中，S_j+1为与D_j+1数据一一对应的生产系数的集合

H_j+1为从***运行日志中提取的，与D_j+1数据一一对应的生产***的集合

当D_j+1中的数据异常时，联系H_j+1中/>的生产人员联系核对状况；

当j＝0时，表示最初发现异常的数据；

当j＝n时，表示所述水文数据生产链推理机停止推理。

所述水文数据生产链推理机停止推理的条件包括：

modle_j为空，表示d_j并非计算获得，而为监测获得，已无下一项数据回溯，此时D_j+1、s_j+1和H_j+1也均为空。

当需要对维护或故障导致***需要停止运行时，通过推理其影响的业务，辅助维护人员进行维护与恢复。

所述***停止运行影响推理机为：

SO＝{S_k,D_k,S_k+1,A_k+1}(k∈[0,n])

其中，S_k为停止运行的***，表示***功能或表示数据库；D_k为无法生产或保存的数据集合A_k+1为与s_k+1一一对应的业务管理人员集合应及时通知业务管理人员相应的情况；s_k+1集合内的每一个参数将分别作为下一次推理的初始条件；

当k＝0时，表示最初停止运行的***；

当k＝n时，表示当前***的停止运行不对其它***造成影响，停止推理。

***停止运行影响推理机具体实施方式，见下表：

所述***与数据是利用数据治理中的元数据管理工具，以生产***为主线，将各***、***与数据之间的关系组织起来，通过元数据的组合关系和元数据的依赖关系，最后将所述元数据管理信息抽取到知识库中，形成***、数据实体，通过组合、依赖关系形成实体间的关系。

元数据的组合关系，表示***与数据库、数据库与数据表、数据表与数据属性等相邻层级之间的关系。

元数据的依赖关系，表示***之间、数据库之间、数据表之间、数据属性之间的关系。

模型是水文计算中的重要内容，知识图谱优势在于关系管理与推理，而难以将计算模型直接引入知识库中。本方法以模型描述方式将模型引入知识库。

所述模型封装为接口服务，接着利用接口描述语言对所述模块接口进行描述，包括模型名称、功能说明、输入输出参数、模型来源，调用方式等。

形成模型描述数据；并将模型描述数据抽取到知识库中，形成模型实体。即不直接将模型作为知识图谱的实体节点，而是将模型描述数据作为实体节点，通过模型描述数据进一步调用模型接口。知识图谱通过模型描述数据中对于输入数据参数的描述，建立起模型与业务数据之间的关系。

所述测站数据是指利用数据治理中的主数据管理工具，将不同业务中，同一测站的数据进行一致性处理，所述一致性处理对象包括测站基本信息属性的定义与属性值，所述一致性处理方式为以优先级高的数据为准，抛弃优先级低的数据；即当能从优先级高的业务数据中抽取到信息时，可直接抽取，而不在乎优先级低的业务数据中的信息。依据水文行业的关注度和数据可靠性，优先级从高到低依次为：水文水位信息、降水蒸发信息、实时水雨情信息、水质信息、地下水信息。

最后提取不同业务测站基本属性的最大交集，形成测站数据，指定统一编码，抽取到知识库中，形成测站实体。

建立统一编码与各业务编码之间的关系，以统一编码为纽带，建立不同业务数据之间的实体关系。

所述人员数据是指将机构统一用户信息抽取到知识图谱中，形成人员实体；

所述事务管理数据是指利用数据治理中的数据集管理工具，形成事务数据集。事务数据集包括工作流、用户日志、考勤、人事、财务、合同管理等。事务数据引入知识库，从而建立起人与水文分析计算、水文数据生产、***运维管理等业务工作之间的实体关系。

实施例一

水文数据图谱体系构建总体上包括确定本体的领域与范畴、图谱抽取、推理机构建三个方面。

通过数据治理确定本体的领域和范畴。

目前水利行业确定本体的领域和范畴主要采用自上而下的方式，通过专家经验确定，这种方式难免发生遗漏，在业务实际应用中，缺陷会主键保留。因此我们采用自下而上的方法，确定本体的领域和范畴。自下而上的方法通常由于数据量大导致分析、整理、提取难度大，本文采用数据治理的方式，将繁杂、异构、分散的数据，治理为一个有序、规范、可管理的整体，从而使自下而上的分析整理过程更科学，降低难度。

利用元数据确定数据域

以生产***为主线，将各***生产的数据以及使用其他***生产的数据组织起来，通过组合关系，表示***生产、维护的数据，通过依赖关系，表示***生产需要输入使用的数据。水文元数据主要包含的数据包括业务数据、文件元数据、模型元数据，业务数据为各业务***直接生产的可直接用于计算、分析的数据项，包括水文监测数据，水文预报数据，水文分析数据，设备工况数据等。文件元数据是各业务文件数据进行管理的信息，文件包括数据分析报告、数据分布图、档案、工作影像等，管理信息包括文件名称、关键内容，存储位置，文件时间等。模型元数据是模型管理***中描述模型的信息，模型包括水文机理模型、数学模型、机器学习模型等，描述信息包括模型名称、功能说明、输入输出参数、模型来源，调用方式等。通过对文件元数据和模型元数据的元数据管理，能从数据的角度，将文件、模型一并引入管理。

本发明的一个元数据组织示例如下表：

利用主数据确定测站域与人员域

测站域

以测站为主线，将不同业务中，统一测站的站码建立站码关系，确定一个测站在不同业务中的标识。接着以唯一站码作为纽带，将不同业务中的测站基本信息属性的定义与属性值进行一致性处理，采用顺序为水文水位信息、降水蒸发信息、实时水雨情信息、水质信息、地下水信息。然后提取不同业务测站基本属性的最大交集，以唯一测站标识，作为主数据，交集内属性包括名、流域水系、行政区划、管理单位、地理位置，其余数据均不纳入主数据管理。最后，以测站为单位，按数据库表逐一抽取测站资料系列目录，目录内容包括资料名、来源、资料年月范围，以及有资料累计年、月数量。某测站资料系列目录如下：

人员域

以机构统一用户为主线，将不同业务***中的用户信息建立对应关系。以同一用户编码为纽带，将不同业务中的用户信息进行一致性处理。

利用主题数据确定主题域

以数据业务主题为主线，无视数据的生产来源、存储位置、存储格式，将同一主题的数据集合起来，形成方便分析挖掘的不同主题域。

以业务主题为主线，按数据加工过程，将数据分为基础数据、整编数据、监测数据、业务加工数据、事务数据等五大核心主题域。接着逐步细化各主题集，基础数据包括测站基本信息、站码对应关系、水利对象信息、机构信息、特征值与指标信息以及其他不同业务中涉及到的支撑业务的基本信息主题集；整编数据包括基础水文整编数据、水质分析评价数据、地下水整编数据等经过整理的核心水文数据主题集；监测数据包括水文监测数据、水质监测数据、地下水监测数据等自动或人工监测的原始数据主题集；业务加工数据包括预报数据、水资源分析评价数据、监测过程数据、设备工况数据、跨业务融合数据等主题集；事务数据包括工作流、用户日志、考勤、人事、财务、合同管理等数据集。

基于数据治理资源库抽取知识图谱

经过数据治理，产生的治理目录、治理条目、治理描述信息，共同形成了数据治理资源库，基于数据治理资源库，抽取知识图谱。

本体及本体关系抽取

经过挑选，来源于元数据管理的本体包括：生产***、数据库、数据资源、文件、模型、关键属性。来源于主数据管理的本体包括：测站、流域、水系、河流、省、市、管理单位、监测单位、测站资料、人员。来源于主题数据管理的本体包括：基础数据、整编数据、监测数据、业务加工数据、事务数据。

水文本体关系包括：数据库与业务***的“被生产”关系，数据库与数据资源、文件、模型之间的“包含”关系，测站与其他水利对象的“关联”关系，测站、人员与组织机构的“隶属”关系，不同层级机构之间的“隶属”关系，不同水利对象之间的“关联”关系、测站与测站资料之间的“隶属”关系。不同层级的数据类型之间的“属于”关系，数据资源与模型之间的“输入”、“输出”关系。

实体及实体关系抽取

利用Java开发知识抽取器，提供本体提取、实体提取功能。本体提取支持用户从数据治理资源库中，从表中选定本体和本体关系，并在Neo4j中，将本体中创建为“标签”，将本体关系创建为“关系”。实体提取功能支持用户从选定本体的表中，抽取记录，对应存入Neo4j中创建的“标签”和“关系”中。同时，支持用户手工创建本体，导入实体及实体关系。最终数据图谱通过Neo4j存储与查询。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种水文数据图谱推理与知识库构建方法，其特征在于，包括构建水文数据图谱推理机和构建水文数据图谱知识库；

所述构建水文数据图谱推理机包括：构建水文分析计算推理机、水文数据生产链推理机和***停止运行影响推理机；

所述构建水文数据图谱知识库包括：构建***与数据、模型、测站数据、人员数据和事务管理数据。

2.根据权利要求1所述的一种水文数据图谱推理与知识库构建方法，其特征在于，所述水文分析计算推理机为：

DC＝{di,modle,Di+1,Si,ai}{i∈[0,n]}

其中，di为当前推理节点数据，构成为{st,tm,d,sl}，st为测站；tm为时间；d为数值；sl为存储位置；modle_i为获得当前推理节点数据的计算模型；D_i+1为modle_i的输入参数集合当集合中存在数据/>无法获取到数值时，则将数据作为下一个推理节点数据；s_i为生产d_i的***；ai为s_i的业务管理人员；

当i＝0时，表示计算目标数据；

当i＝n时，表示所述水文分析计算推理机停止推理。

3.根据权利要求2所述的一种水文数据图谱推理与知识库构建方法，其特征在于，所述水文分析计算推理机停止推理的条件包括：

D_i+1中所有参数均获得数值，直接进行计算；

modle_i不存在，数据无法通过推理计算获得，需联系***s_i的业务管理员ai，核实情况，获取数据。

4.根据权利要求2所述的一种水文数据图谱推理与知识库构建方法，其特征在于：所述水文数据生产链推理机为：

DP＝{dj,modle,Dj+1,Sj+1,Hj+1}(j∈[0,n])其中，S_j+1为与D_j+1数据一一对应的生产系数的集合H_j+1为从***运行日志中提取的，与D_j+1数据一一对应的生产***的集合/>

当D_j+1中的数据异常时，联系H_j+1中/>的生产人员联系核对状况；

当j＝0时，表示最初发现异常的数据；

当j＝n时，表示所述水文数据生产链推理机停止推理。

5.根据权利要求4所述的一种水文数据图谱推理与知识库构建方法，其特征在于，所述水文数据生产链推理机停止推理的条件包括：

modle_j为空，表示d_j并非计算获得，而为监测获得，已无下一项数据回溯，此时D_j+1、s_j+1和H_j+1也均为空。

6.根据权利要求5所述的一种水文数据图谱推理与知识库构建方法，其特征在于，所述***停止运行影响推理机为：SO＝{S_k,D_k,S_k+1,A_k+1}(k∈[0,n])

其中，S_k为停止运行的***，表示***功能或表示数据库；D_k为无法生产或保存的数据集合A_k+1为与s_k+1一一对应的业务管理人员集合应及时通知业务管理人员相应的情况；s_k+1集合内的每一个参数将分别作为下一次推理的初始条件；

当k＝0时，表示最初停止运行的***；

当k＝n时，表示当前***的停止运行不对其它***造成影响，停止推理。

7.根据权利要求6所述的一种水文数据图谱推理与知识库构建方法，其特征在于：所述***与数据是利用数据治理中的元数据管理工具，以生产***为主线，将各***、***与数据之间的关系组织起来，通过元数据的组合关系和元数据的依赖关系，最后将所述元数据管理信息抽取到知识库中，形成***、数据实体，通过组合、依赖关系形成实体间的关系。

8.根据权利要求7所述的一种水文数据图谱推理与知识库构建方法，其特征在于：所述模型封装为接口服务，接着利用接口描述语言对所述模块接口进行描述，形成模型描述数据；并将模型描述数据抽取到知识库中，形成模型实体。

9.根据权利要求8所述的一种水文数据图谱推理与知识库构建方法，其特征在于：所述测站数据是指利用数据治理中的主数据管理工具，将不同业务中，同一测站的数据进行一致性处理，所述一致性处理对象包括测站基本信息属性的定义与属性值，所述一致性处理方式为以优先级高的数据为准，抛弃优先级低的数据；最后提取不同业务测站基本属性的最大交集，形成测站数据，指定统一编码，抽取到知识库中，形成测站实体。

10.根据权利要求9所述的一种水文数据图谱推理与知识库构建方法，其特征在于：所述人员数据是指将机构统一用户信息抽取到知识图谱中，形成人员实体；

所述事务管理数据是指利用数据治理中的数据集管理工具，形成事务数据集。