CN117349478B - 一种基于数字化转型企业的资源数据重构整合*** - Google Patents

Abstract

本发明公开了一种基于数字化转型企业的资源数据重构整合***，本发明涉及数据整合技术领域，解决了在数据重构整合完毕后，其数据很容易出现丢失情况的问题，本发明通过在数据重构整合过程中，将不同属性的数据进行提前分类，在分类完成后，根据不同的模型，确认不同属性数据的特征向量，再将不同的特征向量进行合并分析，确认相似度，将相似度高的属性数据进行整合，确认目标数据整合包，依次确认后续的目标整合包，采用此种方式，便是为了将整合数据的整体容量进行缩减，降低并缩减对应的存储空间，对存储空间进行合理利用。

Description

一种基于数字化转型企业的资源数据重构整合***

技术领域

本发明涉及数据整合技术领域，具体为一种基于数字化转型企业的资源数据重构整合***。

背景技术

电力资源的数字化企业，是指整合数字营销+数字技术+大数据+电力资源数据,基于SAAS云擎平台，为企业建立以多种形态的软件矩阵为长期载体的数字资产，其电力资源是指能够转化为电能的原始能源，包括化石燃料、水能、风能、核能等，且对应的电力资源数据错综复杂，在进行实际的重构整合时，其复杂程度较高。

专利申请号为CN114238468A的申请实施例公开了一种公路多源异构数据重构整合***，具体涉及公路路网管理技术领域，其包括：多源数据采集模块：其包括公路基础管理信息采集模块和实时信息采集模块；多源数据传输模块：其用于将采集的信息进行异地同步传输输送至多源数据管理模块；多源数据管理模块：其包括数据资源目录管理、数据资源安全管理和数据资源质量管理；以及数据管理中心：所述数据管理中心包括公路数据管理子***、区域应急数据管理子***和数据储存模块。本发明所述的一种公路多源异构数据重构整合***，将公路数据管理子***、区域应急数据管理子***整合，能够结合实时情况，给公路路网的养护带来极大帮助，在公路路网管理技术领域具有广阔的应用前景。

原有的电力资源数字化转型企业在进行资源数据重构整合过程中，一般根据数据的整体属性，优先去除冗余数据，再进行数据整合，但在整合过程中，并未分析数据之间是否存在相似度，其整合方式无规律，导致整合后的数据质量不高，且在数据重构整合完毕后，其数据很容易出现丢失情况，后期，进行溯源时，极其困难，无法快速有效的找到对应所丢失的数据，及时对原始的数据进行修正填补。

发明内容

针对现有技术的不足，本发明提供了一种基于数字化转型企业的资源数据重构整合***，解决了在数据重构整合完毕后，其数据很容易出现丢失情况的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于数字化转型企业的资源数据重构整合***，包括整合中心和溯源中心；

其中整合中心包括目标属性确认单元、相似特征确认单元以及整合单元；

目标属性确认单元，对参与数据重构整合的目标数据属性进行确认，将同一属性的目标数据划分至同一分区，针对于不同属性的数据，采用不同的模型来确定对应数据的特征向量，并将所确定的特征向量传输至相似特征确认单元内；

相似特征确认单元，对同一分区的不同目标数据对应的不同特征向量进行确认，并一一进行特征向量相似度分析，后续，整合单元将相似度分析结果满足整合条件的目标数据进行整合，生成目标数据整合包，并传输至溯源中心内；

其中溯源中心包括关联度分析单元、数据库、图谱确认单元、波形构建单元以及溯源填补单元；数据库，对所接收的目标数据整合包直接进行存储，其存储过程需要一定的时间，且关联度分析单元，对同一分区的目标数据整合包进行关联度分析，确认存在相互关联的目标数据整合包，并确认对应目标数据整合包之间的关联度参数，并进行记录；

图谱确认单元，根据若干组不同目标数据整合包之间的关联度参数，构建若干组目标数据整合包的关联树状图，其中，将初始目标整合包置于初始阶段，根据关联关系，依次将后续的目标数据整合包进行排序，构建对应的关联树状图，并将所构建的关联树状图传输至波形构建单元内；

波形构建单元，根据所构建的关联树状图，确认对应分区的特征波形图，并对特征波形图进行记忆，并将所构建的特征波形图传输至溯源填补单元内；

溯源填补单元，对所确认的特征波形图进行接收，并进行记录，当数据库对指定分区的若干组目标整合包存储完毕后，再进行数据分析，确认特征波形图是否一致，并根据分析结果，判定是否需要进行数据修正工作；

具体方式为：

当数据库对指定分区的若干组目标整合包存储完毕后，生成分区分析指令，根据此分区分析指令，依次通过关联度分析单元，图谱确认单元以及波形构建单元，构建属于此分区的比对波形图；

将比对波形图与特征波形图进行比对，判定对应的波形图是否一致，若一致，则不进行任何处理，若不一致，则确定存在差异的异常点位；

根据对应的异常点位的横向坐标值，确认所属阶段，再对此所属阶段的关联度参数进行分析比对，根据比对结果，便可快速确认出存在异常的目标整合包；

后续，根据此目标整合包的原始数据，进行溯源，并进行数据修正。

有益效果

本发明提供了一种基于数字化转型企业的资源数据重构整合***。与现有技术相比具备以下有益效果：

本发明通过在数据重构整合过程中，将不同属性的数据进行提前分类，在分类完成后，根据不同的模型，确认不同属性数据的特征向量，再将不同的特征向量进行合并分析，确认相似度，将相似度高的属性数据进行整合，确认目标数据整合包，依次确认后续的目标整合包，采用此种方式，便是为了将整合数据的整体容量进行缩减，降低并缩减对应的存储空间，对存储空间进行合理利用；

数据重构整合完成后，采用关联度分析，并确认后续波形的方式，可快速确认出存在异常的数据，并确认出异常数据的所处位置，快速进行溯源，采用上述的层层递进的方式，便可快速确定出存在数据异常的阶段，便可缩小溯源范围，加快溯源速度，同时，便可快速的对数据进行修正，提升修正效率，缩减修正时间。

附图说明

图1为本发明原理框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本申请提供了一种基于数字化转型企业的资源数据重构整合***，包括整合中心和溯源中心；

其中整合中心包括目标属性确认单元、相似特征确认单元以及整合单元，其中目标属性确认单元与相似特征确认单元输入节点电性连接，所述相似特征确认单元与整合单元输入节点电性连接，所述溯源中心包括关联度分析单元、数据库、图谱确认单元、波形构建单元以及溯源填补单元，其中关联度分析单元与数据库以及图谱确认单元输入节点电性连接，所述图谱确认单元与波形构建单元输入节点电性连接，所述波形构建单元与溯源填补单元输入节点电性连接；

所述目标属性确认单元，对参与数据重构整合的目标数据属性进行确认，将同一属性的目标数据划分至同一分区，针对于不同属性的数据，采用不同的模型来确定对应数据的特征向量，并将所确定的特征向量传输至相似特征确认单元内，其中，确认对应数据特征向量的具体方式为：

根据目标数据的具体属性，确定目标数据的待提取转换模型，其中具体属性包括：词袋数据、数值数据、图像数据或时间序列数据；

根据所确定的待提取转换模型，将目标数据的特征向量输出，并将所输出的特征向量传输至相似特征确认单元内，其中待提取转换模型为预设模型，针对于不同属性的目标数据，提前构建，具体构建方式，由操作人员自行构建。

其中，还包括特征向量的输出方式：

针对于词袋数据，待提取转换模型为词袋模型：通过考虑单词在整个语料库中的重要性来给每个单词赋予权重。

针对于数值数据，待提取转换模型为原始数值特征模型：对于数值型数据，可以直接使用原始数值作为向量的一个维度进行表示；归一化：对于具有不同数值范围的数值数据，可以进行归一化处理，将其缩放到统一的范围。

针对于图像数据，待提取转换模型为图像特征提取模型：对于图像数据，可以使用各种特征提取算法，例如SI FT、HOG、CNN等，提取图像的特征向量表示。

针对于时间序列数据，待提取转换模型为统计特征模型：对于时间序列数据，可以根据时间间隔选择各种统计特征，如平均值、方差、最大值、最小值等作为向量的维度。

所述相似特征确认单元，对同一分区的不同目标数据对应的不同特征向量进行确认，并一一进行特征向量相似度分析，后续，整合单元将相似度分析结果满足整合条件的目标数据进行整合，生成目标数据整合包，并传输至溯源中心内，其中，进行整合的具体方式为：

随机选取两组目标数据的特征向量，并构建一组二维坐标系，将特征向量的一端与二维坐标系的原点结合，故两组特征向量便形成一组夹角，其夹角参数为X_i，其中i代表不同特征向量所形成的夹角；

采用F(X_i)＝COSX_i得到对应夹角的核定参数F(X_i)，且F(X_i)∈[-1，1]；

再将核定参数F(X_i)与预设值Y1进行比对，其中Y1的具体取值由操作人员根据经验拟定，且Y1一般取值0.5，当F(X_i)≥Y1，将两组特征向量所对应的目标数据进行整合，确认一组目标数据整合包，反之，则不进行整合。

具体的，在二维坐标里两个特征向量之间的角度X_i只会小于或等于180°，故对应的核定参数F(X_i)只会属于[-1，1]，不会超出这个范围值，且F(X_i)越接近1，两个特征向量之间的相似度越高，角度越一致，故代表两个目标数据之间的相似度较高，便可进行整合，确认对应的目标数据整合包；

且进行目标数据整合时，只考虑两两一组的情况，将相似度最高的两组目标数据进行整合，整合后，再对剩余的数据进行两两分析整合，依次确认后续的目标整合包，采用此种方式，便是为了将整合数据的整体容量进行缩减，降低并缩减对应的存储空间，对存储空间进行合理利用。

所述溯源中心内部的数据库，对所接收的目标数据整合包直接进行存储，其存储过程需要一定的时间，且关联度分析单元，对同一分区的目标数据整合包进行关联度分析，确认存在相互关联的目标数据整合包，并确认对应目标数据整合包之间的关联度参数，并进行记录，其中，确认对应目标数据整合包关联度参数的具体方式为：

将若干组目标数据整合包进行关联度分析，随机选取一组目标数据整合包，确认此目标数据整合包内部的数据来源，根据数据来源，确认上一组目标数据整合包，并确认与上一组目标数据整合包的关联度参数，且关联度参数＝来源数据容量÷目标数据整合包的整体容量；

依次确认若干组不同目标数据整合包之间的关联度参数，并将确认后的关联度参数传输至图谱确认单元内。

所述图谱确认单元，根据若干组不同目标数据整合包之间的关联度参数，构建若干组目标数据整合包的关联树状图，其中，将初始目标整合包置于初始阶段，根据关联关系，依次将后续的目标数据整合包进行排序，构建对应的关联树状图，并将所构建的关联树状图传输至波形构建单元内；

所述波形构建单元，根据所构建的关联树状图，确认对应分区的特征波形图，并对特征波形图进行记忆，并将所构建的特征波形图传输至溯源填补单元内，直至对应的分区内所有的数据整合包全部存储完毕后，再进行比对分析，若无误，则进行删除，若有误，则根据此特征波形图，进行数据追溯，及时解决数据库内对应数据缺失或异常的问题，其中，确认对应分区特征波形图的具体方式为：

根据所构建的关联树状图，以初始目标整合包作为初始阶段，将其作为初始点，再确认后续第一阶段所出现的目标整合包的个数，并将其标记为G1，再确认第一阶段所出现的若干个关联度参数的均值，并将其标记为J1，再依次对后续阶段所出现的目标整合包的个数Gt进行确认，同时对后续阶段所出现的均值Jt进行确认，其中t＝1、2、……、n，具体的，其树状图内，按照从上至下的走向，存在若干组不同阶段的不同关联对象和所产生的关联参数，其中，关联对象的个数可作为横向坐标，关联参数的均值可作为竖向坐标，便能确定对应的波形点位坐标，便可确定对应的波形曲线；

根据所确认的若干个点位坐标，在二维坐标系内确定对应的点位，并将所确定的若干个点位进行相连，确认对应的特征波形图，并将此分区的特征波形图进行标记，标记后传输至溯源填补单元内；

所述溯源填补单元，对所确认的特征波形图进行接收，并进行记录，当数据库对指定分区的若干组目标整合包存储完毕后，再进行数据分析，确认特征波形图是否一致，并根据分析结果，判定是否需要进行数据修正工作，其中，进行数据分析的具体方式为：

当数据库对指定分区的若干组目标整合包存储完毕后，生成分区分析指令，根据此分区分析指令，依次通过关联度分析单元，图谱确认单元以及波形构建单元，构建属于此分区的比对波形图；

将比对波形图与特征波形图进行比对，判定对应的波形图是否一致，若一致，则不进行任何处理，若不一致，则确定存在差异的异常点位；

根据对应的异常点位的横向坐标值，确认所属阶段，再对此所属阶段的关联度参数进行分析比对，根据比对结果，便可快速确认出存在异常的目标整合包；

后续，根据此目标整合包的原始数据，进行溯源，并进行数据修正，对数据进行填补。

具体的，目标数据在进行重构整合后，会进行存储，其存储过程中，需要一定的时长，在存储过程中，由于外部干扰因素的存在，会导致部分数据丢失，因存储的为一个整体，后续，对所丢失的部分数据进行溯源时，其困难程度相对较高，采用上述的层层递进的方式，便可快速确定出存在数据异常的阶段，便可缩小溯源范围，加快溯源速度，同时，便可快速的对数据进行修正，提升修正效率，缩减修正时间。

上述公式中的部分数据均是去其纲量进行数值计算，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (4)

1.一种基于数字化转型企业的资源数据重构整合***，其特征在于，包括整合中心和溯源中心；

其中整合中心包括目标属性确认单元、相似特征确认单元以及整合单元；

目标属性确认单元，对参与数据重构整合的目标数据属性进行确认，将同一属性的目标数据划分至同一分区，针对于不同属性的数据，采用不同的模型来确定对应数据的特征向量，并将所确定的特征向量传输至相似特征确认单元内；

相似特征确认单元，对同一分区的不同目标数据对应的不同特征向量进行确认，并一一进行特征向量相似度分析，后续，整合单元将相似度分析结果满足整合条件的目标数据进行整合，生成目标数据整合包，并传输至溯源中心内；

其中溯源中心包括关联度分析单元、数据库、图谱确认单元、波形构建单元以及溯源填补单元；数据库，对所接收的目标数据整合包直接进行存储，其存储过程需要一定的时间，且关联度分析单元，对同一分区的目标数据整合包进行关联度分析，确认存在相互关联的目标数据整合包，并确认对应目标数据整合包之间的关联度参数，并进行记录；

图谱确认单元，根据若干组不同目标数据整合包之间的关联度参数，构建若干组目标数据整合包的关联树状图，其中，将初始目标整合包置于初始阶段，根据关联关系，依次将后续的目标数据整合包进行排序，构建对应的关联树状图，并将所构建的关联树状图传输至波形构建单元内；

波形构建单元，根据所构建的关联树状图，确认对应分区的特征波形图，并对特征波形图进行记忆，并将所构建的特征波形图传输至溯源填补单元内；

所述波形构建单元，确认对应分区特征波形图的具体方式为：

根据所构建的关联树状图，以初始目标整合包作为初始阶段，将其作为初始点，再确认后续第一阶段所出现的目标整合包的个数，并将其标记为G1，再确认第一阶段所出现的若干个关联度参数的均值，并将其标记为J1，再依次对后续阶段所出现的目标整合包的个数Gt进行确认，同时对后续阶段所出现的均值Jt进行确认，其中t＝1、2、……、n；

根据所确认的若干个点位坐标，在二维坐标系内确定对应的点位，并将所确定的若干个点位进行相连，确认对应的特征波形图，并将此分区的特征波形图进行标记，标记后传输至溯源填补单元内；

溯源填补单元，对所确认的特征波形图进行接收，并进行记录，当数据库对指定分区的若干组目标整合包存储完毕后，再进行数据分析，确认特征波形图是否一致，并根据分析结果，判定是否需要进行数据修正工作；

所述溯源填补单元，进行数据分析的具体方式为：

当数据库对指定分区的若干组目标整合包存储完毕后，生成分区分析指令，根据此分区分析指令，依次通过关联度分析单元，图谱确认单元以及波形构建单元，构建属于此分区的比对波形图；

将比对波形图与特征波形图进行比对，判定对应的波形图是否一致，若一致，则不进行任何处理，若不一致，则确定存在差异的异常点位；

根据对应的异常点位的横向坐标值，确认所属阶段，再对此所属阶段的关联度参数进行分析比对，根据比对结果，便可快速确认出存在异常的目标整合包；

后续，根据此目标整合包的原始数据，进行溯源，并进行数据修正。

2.根据权利要求1所述的一种基于数字化转型企业的资源数据重构整合***，其特征在于，所述目标属性确认单元，确认对应数据特征向量的具体方式为：

根据目标数据的具体属性，确定目标数据的待提取转换模型，其中具体属性包括：词袋数据、数值数据、图像数据或时间序列数据；

根据所确定的待提取转换模型，将目标数据的特征向量输出，并将所输出的特征向量传输至相似特征确认单元内，其中待提取转换模型为预设模型，针对于不同属性的目标数据提前构建。

3.根据权利要求1所述的一种基于数字化转型企业的资源数据重构整合***，其特征在于，所述相似特征确认单元，生成目标数据整合包的具体方式为：

随机选取两组目标数据的特征向量，并构建一组二维坐标系，将特征向量的一端与二维坐标系的原点结合，故两组特征向量便形成一组夹角，其夹角参数为X_i，其中i代表不同特征向量所形成的夹角；

采用F(X_i)＝COSX_i得到对应夹角的核定参数F(X_i)，且F(X_i)∈[-1，1]；

再将核定参数F(X_i)与预设值Y1进行比对，当F(X_i)≥Y1，将两组特征向量所对应的目标数据进行整合，确认一组目标数据整合包，反之，则不进行整合。

4.根据权利要求1所述的一种基于数字化转型企业的资源数据重构整合***，其特征在于，所述关联度分析单元，确认对应目标数据整合包关联度参数的具体方式为：

将若干组目标数据整合包进行关联度分析，随机选取一组目标数据整合包，确认此目标数据整合包内部的数据来源，根据数据来源，确认上一组目标数据整合包，并确认与上一组目标数据整合包的关联度参数，且关联度参数＝来源数据容量÷目标数据整合包的整体容量；

依次确认若干组不同目标数据整合包之间的关联度参数，并将确认后的关联度参数传输至图谱确认单元内。