CN116049766A - 基于数字孪生的多源数据异常监测*** - Google Patents

基于数字孪生的多源数据异常监测*** Download PDF

Info

Publication number
CN116049766A
CN116049766A CN202310124265.1A CN202310124265A CN116049766A CN 116049766 A CN116049766 A CN 116049766A CN 202310124265 A CN202310124265 A CN 202310124265A CN 116049766 A CN116049766 A CN 116049766A
Authority
CN
China
Prior art keywords
data
encryption
sub
acquisition
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310124265.1A
Other languages
English (en)
Inventor
张学银
王尚文
郭群浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongxun Wanglian Technology Co ltd
Original Assignee
Shenzhen Zhongxun Wanglian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongxun Wanglian Technology Co ltd filed Critical Shenzhen Zhongxun Wanglian Technology Co ltd
Priority to CN202310124265.1A priority Critical patent/CN116049766A/zh
Publication of CN116049766A publication Critical patent/CN116049766A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了基于数字孪生的多源数据异常监测***，涉及数字孪生技术领域，为了解决对数据的异常检测和数据安全性能的问题。本基于数字孪生的多源数据异常监测***，包括孪生数据采集***、采集数据提取***、异常监测***和数据加密存储***，对采集数据进行压缩可以有效的缩减数据量以减少存储空间，同时压缩过后可以提高传输、存储和处理效率，减小数据的受损率，通过局部检测模块、临近检测模块、融合检测模块和混合异常检测模块可以对数据分别进行异常检测，层层加密使正常数据在最后进行传输的过程中安全性能更佳，不会因为在传输时位置的变化而加大泄漏风险，加密后可以对数据的机密信息的得到更好的存储，有效的保护了数据的安全性。

Description

基于数字孪生的多源数据异常监测***
技术领域
本发明涉及数字孪生技术领域，具体为基于数字孪生的多源数据异常监测***。
背景技术
数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。在现有的数字孪生数据的异常数据检测时还存在以下问题：
1.对孪生数据进行数据采集时，由于采集的方式过于单一，导致数据采集的不准确，以及在数据采集完成后，对数据没有进行处理，导致采集数据受损。
2.当多源数据进行异常检测时，由于检测的方法对参数的依赖性过强以及数据视图偏离建模样本，导致检测出的异常数据不准确。
3.对没有异常的多源数据进行异常检测后，在此进行传输时，由于数据的层层处理导致数据的安全性降低，从而使正常数据最后传输时出现数据泄漏。
发明内容
本发明的目的在于提供基于数字孪生的多源数据异常监测***，对采集数据进行压缩可以有效的缩减数据量以减少存储空间，同时压缩过后可以提高传输、存储和处理效率，减小数据的受损率，通过局部检测模块、临近检测模块、融合检测模块和混合异常检测模块可以对数据分别进行异常检测，层层加密使正常数据在最后进行传输的过程中安全性能更佳，不会因为在传输时位置的变化而加大泄漏风险，加密后可以对数据的机密信息的得到更好的存储，有效的保护了数据的安全性，可以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
基于数字孪生的多源数据异常监测***，包括孪生数据采集***、采集数据提取***、异常监测***和数据加密存储***；
孪生数据采集***，用于通过不同的采集方式对不同种类的孪生数据进行数据采集，并且将采集的不同类别的数据进行数据处理；
采集数据提取***，用于将基于孪生数据采集***中处理完成的不同种类的数据，分别进行提取；
异常监测***，用于将基于采集数据提取***中提取的不同的数据集，分别进行检测，并将有异常的数据和没有异常的数据分别进行存储；
数据加密存储***，用于将基于异常监测***中，没有监测到异常的子数据集进行接收，并对没有异常的子数据集进行加密处理。
优选的，所述孪生数据采集***，包括：
数据采集模块，用于：
根据不同种类的创建方式，对数据进行采集，其中，创建方式包括采集线程、压缩线程、重组线程、网络传输线程四种类型的线程；
数据缓冲模块，用于：
根据基于数据采集模块中的采集线程的采集数据，对其进行多种类的初始化缓冲，其中包括采集缓冲区、压缩缓冲区、发送缓冲区三种类型的数据缓冲区，多线程之间使用数据缓冲区进行数据的共享，数据缓冲区通过加锁的方式保证多线程访问的互斥性；
数据压缩模块，用于：
基于数据缓冲模块中在缓冲区的多组数据进行读取，根据多组读取的缓冲数据对其赋予不同的子数据集，然后将赋予的不同的子数据集压缩区中进行压缩，
其中压缩区中包含与数据采集种类相同数量的压缩线程，在压缩线程主循环中，从采集缓冲区获取采集数据，对采集数据进行压缩得到压缩数据；
压缩重组模块，用于：
基于数据压缩模块中压缩完成的不用种类的子数据集进行打包，并将打包完成的子数据集进行子数据集进行压缩重组；
一类存储模块，用于：
将压缩重组完成的数据集进行保存。
优选的，所述采集数据提取***，包括：
多数据接收模块，用于：
基于孪生数据采集***中压缩完成的多个子数据集进行接收；
分类模块，用于：
基于多数据接收模块中接收的多个压缩子数据集，将其进行分类。并且每个分类完成的压缩子数据集都有独立的处理模块。
优选的，所述异常监测***，包括：
分类数据接收模块，用于：
根据中的不同分类的子数据集进行接收；
检测模块，用于：
根据不用种类分子数据集，分别进行不同类别的异常检测。
优选的，分类数据接收模块，包括：
数据分类甄别子模块，用于：
对接收到的子数据集的分类进行甄别，作为待存储分类数据；
存储区域感知子模块，用于：
获取各分类数据的存储区域的容量系数，存储区域的容量系数表征存储区域已使用的空间，找寻可用的目标存储区域；
设置控件子模块，用于：
设置进行分类数据存储时的副本数及存储感知策略；存储感知策略包括确定分类数据存储区域的数据节点用于存储分类数据；
执行存储子模块，用于：
将待存储分类数据及副本数存储到目标存储区域中，并记录待存储操作行为数据及副本数的存储信息。
优选的，所述检测模块，包括：
局部检测模块，用于：
将子数据集中每个样本看作是图中的一个节点,构造节点之间的连边时只考虑每个节点的局部邻域,在待检测数据集上构造一个非对称的带权有向图；
其中，将一个自定义的随机游走过程应用在该图上,使得随机游走点以较大概率从正常样本对应的节点跳转到异常样本对应的节点。
同时,考虑到局部信息图中的非对称关系可能造成随机游走过程无法正常收敛的问题,基于异常样本应该以更高的权重被访问的原则,提出了两种不同类型的重启向量,保证了随机游走点在重启时会以较大概率选择异常样本在局部信息图中对应的节点；
临近检测模块，用于：
根据子数据集中的数据模型为样本所分配的数据样本的参数进行分析,发现不同类型的样本在使用不同临近度图时获取的评分呈现出不同的变化模式。
基于参数的变化模式构造了参数差数值。
其中，在对不同类型数据集中样本间关系进行刻画时,该数据模型可以自由地选择所需要的临近度度量；
融合检测模块，用于：
将多个子数据集进行融合检测，融合为一个扩展的特征空间；
其中，在该空间中使用模糊聚类计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画了样本在不同视图中对于各个聚类结构的隶属行为。
根据模糊聚类计算将不同视图中行为不一致的样本标记为异常对象；
混合异常检测模块，用于：
根据子数据集自身作为字典通过低秩表示学习样本之间的相互表征关系,利用该关系构造样本之间的相似度矩阵。
其中在总体特征空间中和不同视图对应的相似度矩阵上应用亲和传播聚类获得每个样本对应的聚类代表点。
将样本与聚类中心的偏离定义为其属性异常评分,而样本在不同视图上行为的不一致性定义为类别异常评分。同时使用属性异常评分和行为异常评分来共同确定样本的异常度。
优选的，所述数据加密存储***对没有异常的数据进行加密的过程，包括：
将没有异常的数据作为原始数据并将其划分为预设长度的待加密段，基于所述待加密段建立加密序列；
根据所述待加密段的数量，将所述加密序列作为矩阵的第一列，建立第一加密矩阵；
基于预设干扰因子调节每一待加密段在所述第一加密矩阵对应行上的第一位置，调节完毕后对其进行第一加密；
基于所述干扰次数在预设密码集中获取对应的干扰密码，同时利用加密骰子掷出随机数；
在所述第一加密矩阵的每一行中标记与所述第一位置相隔随机数的第二位置；
将所述干扰密码依次输入到所述第二位置进行第二加密，建立第二加密矩阵；
当所述第二加密矩阵中的空白位置的第一数量大于非空白位置的第二数量时，确定当前加密程度不足；
依次剔除所述第二矩阵的最***位置，生成若干个子加密矩阵；
分别计算每一子加密矩阵的加密秩，基于所有的加密秩生成秩密码；
将所述秩密码输入到所述第二加密矩阵中进行第三加密，获取第三加密矩阵；
基于所述第三加密矩阵的规格，随机生成一个同型矩阵；
在所述第三加密矩阵上标记剩余空白位置，并将标记后的所述第三加密矩阵与所述同型矩阵进行叠加，获取标记位置产生的叠加数；
将所述叠加数输入到所述剩余空白位置上，获取全加密矩阵；
提取所述第全加密矩阵中每一位置对应的数据，获取加密数据。
优选的，对于包含m个样本的数据集构成的特征空间，刻画样本在不同视图中具有n个聚类结构；
则各样本的隶属度采用以下公式计算：
Figure BDA0004081250950000061
其中，
Figure BDA0004081250950000062
上式中，ωj表示第j个样本的隶属度；n表示聚类结构的数量；m表示样本数量；γij表示第j个样本与第i个聚类结构的聚类数；k表示类内模糊加权的平滑指数；dij表示第j个样本与第i个聚类结构的距离差异；
根据计算，若样本的隶属度小于预设的隶属度阈值，则将该样本作为不同视图中行为不一致的样本，并标记为异常对象。
与现有技术相比，本发明的有益效果如下：
1.本发明提供基于数字孪生的多源数据异常监测***，通过采集线程、压缩线程、重组线程、网络传输线程四种类型的线程，对采集的数据进行线程采集，并对其进行多种类的初始化缓冲，其中包括采集缓冲区、压缩缓冲区、发送缓冲区三种类型的数据缓冲区，多线程之间使用数据缓冲区进行数据的共享，数据缓冲区通过加锁的方式保证多线程访问的互斥性，再对缓冲区域的数据进行压缩，其中压缩区中包含与数据采集种类相同数量的压缩线程，在压缩线程主循环中，从采集缓冲区获取采集数据，对采集数据进行压缩得到压缩数据，对采集数据进行压缩可以有效的缩减数据量以减少存储空间，同时压缩过后可以提高传输、存储和处理效率，减小数据的受损率。
2.本发明提供基于数字孪生的多源数据异常监测***，通过局部检测模块可以在数据中传统的基础图模型中不只是关注图中节点、连边或者它们之间的相互关系，也加强了样本的局部邻域信息的检测，构造节点之间的连边时只考虑每个节点的局部邻域,在待检测数据集上构造一个非对称的带权有向图，将一个自定义的随机游走过程应用在该图上,使得随机游走点以较大概率从正常样本对应的节点跳转到异常样本对应的节点，临近检测模块子数据集中的数据模型为样本所分配的数据样本的参数进行分析,发现不同类型的样本在使用不同临近度图时获取的评分呈现出不同的变化模式，对不同类型数据集中样本间关系进行刻画时,该数据模型可以自由地选择所需要的临近度度量，不同模型可以使用不同的临近度度量来计算样本之间的相似或者距离关系,这使得相应的模型在面对不同类型的数据集时更具有灵活性，融合检测模块，使用模糊聚类计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画了样本在不同视图中对于各个聚类结构的隶属行为。根据模糊聚类计算将不同视图中行为不一致的样本标记为异常对象，使不同来源的数据之间存在的关联和不一致关系检测时有效适应，并有效提高有效性，混合异常检测模块在总体特征空间中和不同视图对应的相似度矩阵上应用亲和传播聚类获得每个样本对应的聚类代表点。将样本与聚类中心的偏离定义为其属性异常评分,而样本在不同视图上行为的不一致性定义为类别异常评分，使得该模型比单纯使用不一致性定义异常度的算法具有更优的性能，同时在分析多源数据中的异常对象时重点关注了样本在不同视图中行为的不一致性,同样关注了视图中都发生严重偏离的样本。
3.本发明提供基于数字孪生的多源数据异常监测***，第一加密矩阵建立完成后，在第一加密矩阵对应行上的第一位置，调节完毕后对其进行第一加密，第一加密矩阵的每一行中标记与所述第一位置相隔随机数的第二位置，将干扰密码依次输入到所述第二位置进行第二加密，并建立第二加密矩阵，第二加密矩阵中的空白位置的第一数量大于非空白位置的第二数量时，确定当前加密程度不足，并依次剔除所述第二矩阵的最***位置，生成若干个子加密矩阵，并分别计算每一子加密矩阵的加密秩，并生成秩密码，将秩密码输入到所述第二加密矩阵中进行第三加密，获取第三加密矩阵，层层的加密可以使正常数据在最后进行传输的过程中安全性能更佳，不会因为在传输时位置的变化而加大泄漏风险，同时加密后可以对数据的机密信息的得到更好的存储，有效的保护了数据的安全性。
附图说明
图1为本发明的整体流程示意图；
图2为本发明的孪生数据采集***模块示意图；
图3为本发明的采集数据提取***模块示意图；
图4为本发明的异常监测***模块示意图；
图5为本发明的检测模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，对孪生数据进行数据采集时，由于采集的方式过于单一，导致数据采集的不准确，以及在数据采集完成后，对数据没有进行处理，导致采集数据受损的问题，请参阅图1和图3，本实施例提供以下技术方案：
基于数字孪生的多源数据异常监测***，包括孪生数据采集***、采集数据提取***、异常监测***和数据加密存储***；孪生数据采集***，用于通过不同的采集方式对不同种类的孪生数据进行数据采集，并且将采集的不同类别的数据进行数据处理；采集数据提取***，用于将基于孪生数据采集***中处理完成的不同种类的数据，分别进行提取；异常监测***，用于将基于采集数据提取***中提取的不同的数据集，分别进行检测，并将有异常的数据和没有异常的数据分别进行存储；数据加密存储***，用于将基于异常监测***中，没有监测到异常的子数据集进行接收，并对没有异常的子数据集进行加密处理。
所述孪生数据采集***，包括：数据采集模块，用于：根据不同种类的创建方式，对数据进行采集，其中，创建方式包括采集线程、压缩线程、重组线程、网络传输线程四种类型的线程；数据缓冲模块，用于：根据基于数据采集模块中的采集线程的采集数据，对其进行多种类的初始化缓冲，其中包括采集缓冲区、压缩缓冲区、发送缓冲区三种类型的数据缓冲区，多线程之间使用数据缓冲区进行数据的共享，数据缓冲区通过加锁的方式保证多线程访问的互斥性；数据压缩模块，用于：基于数据缓冲模块中在缓冲区的多组数据进行读取，根据多组读取的缓冲数据对其赋予不同的子数据集，然后将赋予的不同的子数据集压缩区中进行压缩，其中压缩区中包含与数据采集种类相同数量的压缩线程，在压缩线程主循环中，从采集缓冲区获取采集数据，对采集数据进行压缩得到压缩数据；压缩重组模块，用于：基于数据压缩模块中压缩完成的不用种类的子数据集进行打包，并将打包完成的子数据集进行子数据集进行压缩重组；一类存储模块，用于：将压缩重组完成的数据集进行保存。
所述采集数据提取***，包括：多数据接收模块，用于：基于孪生数据采集***中压缩完成的多个子数据集进行接收；分类模块，用于：基于多数据接收模块中接收的多个压缩子数据集，将其进行分类。并且每个分类完成的压缩子数据集都有独立的处理模块。
具体的，通过采集线程、压缩线程、重组线程、网络传输线程四种类型的线程，对采集的数据进行线程采集，并对其进行多种类的初始化缓冲，其中包括采集缓冲区、压缩缓冲区、发送缓冲区三种类型的数据缓冲区，多线程之间使用数据缓冲区进行数据的共享，数据缓冲区通过加锁的方式保证多线程访问的互斥性，再对缓冲区域的数据进行压缩，其中压缩区中包含与数据采集种类相同数量的压缩线程，在压缩线程主循环中，从采集缓冲区获取采集数据，对采集数据进行压缩得到压缩数据，再通过分类模块对采集的多个数量进行不同的分类，并且每个分类完成的压缩子数据集都有独立的处理模块。
为了解决现有技术中，当多源数据进行异常检测时，由于检测的方法对参数的依赖性过强以及数据视图偏离建模样本，导致检测出的异常数据不准确的问题，请参阅图4和图5，本实施例提供以下技术方案：
所述异常监测***，包括：分类数据接收模块，用于：根据中的不同分类的子数据集进行接收；检测模块，用于：根据不用种类分子数据集，分别进行不同类别的异常检测。
所述检测模块，包括：局部检测模块，用于：将子数据集中每个样本看作是图中的一个节点,构造节点之间的连边时只考虑每个节点的局部邻域,在待检测数据集上构造一个非对称的带权有向图；其中，将一个自定义的随机游走过程应用在该图上,使得随机游走点以较大概率从正常样本对应的节点跳转到异常样本对应的节点。同时,考虑到局部信息图中的非对称关系可能造成随机游走过程无法正常收敛的问题,基于异常样本应该以更高的权重被访问的原则,提出了两种不同类型的重启向量,保证了随机游走点在重启时会以较大概率选择异常样本在局部信息图中对应的节点；临近检测模块，用于：根据子数据集中的数据模型为样本所分配的数据样本的参数进行分析,发现不同类型的样本在使用不同临近度图时获取的评分呈现出不同的变化模式。基于参数的变化模式构造了参数差数值。其中，在对不同类型数据集中样本间关系进行刻画时,该数据模型可以自由地选择所需要的临近度度量；融合检测模块，用于：将多个子数据集进行融合检测，融合为一个扩展的特征空间；其中，在该空间中使用模糊聚类计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画了样本在不同视图中对于各个聚类结构的隶属行为。根据模糊聚类计算将不同视图中行为不一致的样本标记为异常对象；混合异常检测模块，用于：根据子数据集自身作为字典通过低秩表示学习样本之间的相互表征关系,利用该关系构造样本之间的相似度矩阵。其中在总体特征空间中和不同视图对应的相似度矩阵上应用亲和传播聚类获得每个样本对应的聚类代表点。将样本与聚类中心的偏离定义为其属性异常评分,而样本在不同视图上行为的不一致性定义为类别异常评分。同时使用属性异常评分和行为异常评分来共同确定样本的异常度。
具体的，通过局部检测模块可以在数据中传统的基础图模型中不只是关注图中节点、连边或者它们之间的相互关系，也加强了样本的局部邻域信息的检测，构造节点之间的连边时只考虑每个节点的局部邻域,在待检测数据集上构造一个非对称的带权有向图，将一个自定义的随机游走过程应用在该图上,使得随机游走点以较大概率从正常样本对应的节点跳转到异常样本对应的节点，临近检测模块，子数据集中的数据模型为样本所分配的数据样本的参数进行分析,发现不同类型的样本在使用不同临近度图时获取的评分呈现出不同的变化模式，对不同类型数据集中样本间关系进行刻画时,该数据模型可以自由地选择所需要的临近度度量，不同模型可以使用不同的临近度度量来计算样本之间的相似或者距离关系,这使得相应的模型在面对不同类型的数据集时更具有灵活性，融合检测模块，使用模糊聚类计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画了样本在不同视图中对于各个聚类结构的隶属行为。根据模糊聚类计算将不同视图中行为不一致的样本标记为异常对象，使不同来源的数据之间存在的关联和不一致关系检测时有效适应，并有效提高有效性，混合异常检测模块在总体特征空间中和不同视图对应的相似度矩阵上应用亲和传播聚类获得每个样本对应的聚类代表点。将样本与聚类中心的偏离定义为其属性异常评分,而样本在不同视图上行为的不一致性定义为类别异常评分，使得该模型比单纯使用不一致性定义异常度的算法具有更优的性能，同时在分析多源数据中的异常对象时重点关注了样本在不同视图中行为的不一致性,同样关注了视图中都发生严重偏离的样本。
为了解决现有技术中，对分类数据接收后，进行分类存储和管理，从而提高数据安全性，本实施例提供以下技术方案：
分类数据接收模块，包括：数据分类甄别子模块用于对接收到的子数据集的分类进行甄别，作为待存储分类数据；存储区域感知子模块用于获取各分类数据的存储区域的容量系数，存储区域的容量系数表征存储区域已使用的空间，找寻可用的目标存储区域；设置控件子模块用于设置进行分类数据存储时的副本数及存储感知策略；存储感知策略包括确定分类数据存储区域的数据节点用于存储分类数据；执行存储子模块用于将待存储分类数据及副本数存储到目标存储区域中，并记录待存储操作行为数据及副本数的存储信息。
接收到一条数据，即可获得进行分类操作的所有过程性数据，确保了分类数据接收与存储的全面性，使用时能按照分类进行数据调取，防止不同分类数据的干扰，使得数据调取更精确，操作更简便；通过设置分类数据存储时的副本数，确保了分类数据的安全性，防止分类数据丢失导致数据不完整，增强***的可靠性和实用性。
为了解决现有技术中，对没有异常的多源数据进行异常检测后，在此进行传输时，由于数据的层层处理导致数据的安全性降低，从而使正常数据最后传输时出现数据泄漏的问题，请参阅图1，本实施例提供以下技术方案：
所述数据加密存储***对没有异常的数据进行加密的过程，包括：将没有异常的数据作为原始数据并将其划分为预设长度的待加密段，基于所述待加密段建立加密序列；根据所述待加密段的数量，将所述加密序列作为矩阵的第一列，建立第一加密矩阵；基于预设干扰因子调节每一待加密段在所述第一加密矩阵对应行上的第一位置，调节完毕后对其进行第一加密；基于所述干扰次数在预设密码集中获取对应的干扰密码，同时利用加密骰子掷出随机数；在所述第一加密矩阵的每一行中标记与所述第一位置相隔随机数的第二位置；将所述干扰密码依次输入到所述第二位置进行第二加密，建立第二加密矩阵；当所述第二加密矩阵中的空白位置的第一数量大于非空白位置的第二数量时，确定当前加密程度不足；依次剔除所述第二矩阵的最***位置，生成若干个子加密矩阵；分别计算每一子加密矩阵的加密秩，基于所有的加密秩生成秩密码；将所述秩密码输入到所述第二加密矩阵中进行第三加密，获取第三加密矩阵；基于所述第三加密矩阵的规格，随机生成一个同型矩阵；在所述第三加密矩阵上标记剩余空白位置，并将标记后的所述第三加密矩阵与所述同型矩阵进行叠加，获取标记位置产生的叠加数；将所述叠加数输入到所述剩余空白位置上，获取全加密矩阵；提取所述第全加密矩阵中每一位置对应的数据，获取加密数据。
具体的，第一加密矩阵建立完成后，在第一加密矩阵对应行上的第一位置，调节完毕后对其进行第一加密，第一加密矩阵的每一行中标记与所述第一位置相隔随机数的第二位置，将干扰密码依次输入到所述第二位置进行第二加密，并建立第二加密矩阵，第二加密矩阵中的空白位置的第一数量大于非空白位置的第二数量时，确定当前加密程度不足，并依次剔除所述第二矩阵的最***位置，生成若干个子加密矩阵，并分别计算每一子加密矩阵的加密秩，并生成秩密码，将秩密码输入到所述第二加密矩阵中进行第三加密，获取第三加密矩阵，层层的加密可以使正常数据在最后进行传输的过程中安全性能更佳，不会应为在传输时位置的变化而加大泄漏风险，同时加密后可以对数据的机密信息的得到更好的存储，有效的保护了数据的安全性。
前述的样本对于数据集中隐含的多个聚类结构的隶属度，对于包含m个样本的数据集构成的特征空间，刻画样本在不同视图中具有n个聚类结构；
则各样本的隶属度采用以下公式计算：
Figure BDA0004081250950000141
其中，
Figure BDA0004081250950000142
上式中，ωj表示第j个样本的隶属度；n表示聚类结构的数量；m表示样本数量；γij表示第j个样本与第i个聚类结构的聚类数；k表示类内模糊加权的平滑指数；dij表示第j个样本与第i个聚类结构的距离差异；
根据计算，若样本的隶属度小于预设的隶属度阈值，则将该样本作为不同视图中行为不一致的样本，并标记为异常对象。
通过使用上述公式计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画了样本在不同视图中对于各个聚类结构的隶属行为；若隶属度偏离预设和阈值范围，则表示样本行为不一致，由此将不同视图中行为不一致的样本标记为异常对象；采用上述公式能够实现样本的量化分析，提高分析的精确性，从而准确找出异常样本。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.基于数字孪生的多源数据异常监测***，包括孪生数据采集***、采集数据提取***、异常监测***和数据加密存储***；
孪生数据采集***，用于通过不同的采集方式对不同种类的孪生数据进行数据采集，并且将采集的不同类别的数据进行数据处理；
采集数据提取***，用于将基于孪生数据采集***中处理完成的不同种类的数据，分别进行提取；
异常监测***，用于将基于采集数据提取***中提取的不同的数据集，分别进行检测，并将有异常的数据和没有异常的数据分别进行存储；
数据加密存储***，用于将基于异常监测***中，没有监测到异常的子数据集进行接收，并对没有异常的子数据集进行加密处理。
2.根据权利要求1所述的基于数字孪生的多源数据异常监测***，其特征在于：所述孪生数据采集***，包括：
数据采集模块，用于：
根据不同种类的创建方式，对数据进行采集，其中，创建方式包括采集线程、压缩线程、重组线程、网络传输线程四种类型的线程；
数据缓冲模块，用于：
根据基于数据采集模块中的采集线程的采集数据，对其进行多种类的初始化缓冲，其中包括采集缓冲区、压缩缓冲区、发送缓冲区三种类型的数据缓冲区，多线程之间使用数据缓冲区进行数据的共享；
数据压缩模块，用于：
基于数据缓冲模块中在缓冲区的多组数据进行读取，根据多组读取的缓冲数据对其赋予不同的子数据集，然后将赋予的不同的子数据集压缩区中进行压缩；
其中压缩区中包含与数据采集种类相同数量的压缩线程，在压缩线程主循环中，从采集缓冲区获取采集数据，对采集数据进行压缩得到压缩数据；
压缩重组模块，用于：
基于数据压缩模块中压缩完成的不用种类的子数据集进行打包，并将打包完成的子数据集进行子数据集进行压缩重组；
一类存储模块，用于：
将压缩重组完成的数据集进行保存。
3.根据权利要求1所述的基于数字孪生的多源数据异常监测***，其特征在于：所述采集数据提取***，包括：
多数据接收模块，用于：
基于孪生数据采集***中压缩完成的多个子数据集进行接收；
分类模块，用于：
基于多数据接收模块中接收的多个压缩子数据集，将其进行分类,每个分类完成的压缩子数据集都有独立的处理模块。
4.根据权利要求1所述的基于数字孪生的多源数据异常监测***，其特征在于：所述异常监测***，包括：
分类数据接收模块，用于：
根据中的不同分类的子数据集进行接收；
检测模块，用于：
根据不用种类分子数据集，分别进行不同类别的异常检测。
5.根据权利要求4所述的基于数字孪生的多源数据异常监测***，其特征在于：分类数据接收模块，包括：
数据分类甄别子模块，用于：
对接收到的子数据集的分类进行甄别，作为待存储分类数据；
存储区域感知子模块，用于：
获取各分类数据的存储区域的容量系数，存储区域的容量系数表征存储区域已使用的空间，找寻可用的目标存储区域；
设置控件子模块，用于：
设置进行分类数据存储时的副本数及存储感知策略；存储感知策略包括确定分类数据存储区域的数据节点用于存储分类数据；
执行存储子模块，用于：
将待存储分类数据及副本数存储到目标存储区域中，并记录待存储操作行为数据及副本数的存储信息。
6.根据权利要求4所述的基于数字孪生的多源数据异常监测***，其特征在于：所述检测模块，包括：
局部检测模块，用于：
将子数据集中每个样本看作是图中的一个节点,构造节点之间的连边时只考虑每个节点的局部邻域,在待检测数据集上构造一个非对称的带权有向图；
其中，将一个自定义的随机游走过程应用在该图上,使得随机游走点以较大概率从正常样本对应的节点跳转到异常样本对应的节点；
临近检测模块，用于：
根据子数据集中的数据模型为样本所分配的数据样本的参数进行分析；
其中，对不同类型数据集中样本间关系进行刻画时,该数据模型自由地选择所需要的临近度度量；
融合检测模块，用于：
将多个子数据集进行融合检测，融合为一个扩展的特征空间；
其中，在该空间中使用模糊聚类计算样本对于数据集中隐含的多个聚类结构的隶属度,刻画样本在不同视图中对于各个聚类结构的隶属行为；
根据模糊聚类计算将不同视图中行为不一致的样本标记为异常对象；
混合异常检测模块，用于：
根据子数据集自身作为字典通过低秩表示学习样本之间的相互表征关系,利用该关系构造样本之间的相似度矩阵；
其中在总体特征空间中和不同视图对应的相似度矩阵上应用亲和传播聚类获得每个样本对应的聚类代表点；
将样本与聚类中心的偏离定义为其属性异常评分,样本在不同视图上行为的不一致性定义为类别异常评分,同时使用属性异常评分和行为异常评分来共同确定样本的异常度。
7.根据权利要求1所述的基于数字孪生的多源数据异常监测***，其特征在于：所述数据加密存储***对没有异常的数据进行加密的过程，包括：
将没有异常的数据作为原始数据并将其划分为预设长度的待加密段，基于所述待加密段建立加密序列；
根据所述待加密段的数量，将所述加密序列作为矩阵的第一列，建立第一加密矩阵；
基于预设干扰因子调节每一待加密段在所述第一加密矩阵对应行上的第一位置，调节完毕后对其进行第一加密；
基于所述干扰次数在预设密码集中获取对应的干扰密码，同时利用加密骰子掷出随机数；
在所述第一加密矩阵的每一行中标记与所述第一位置相隔随机数的第二位置；
将所述干扰密码依次输入到所述第二位置进行第二加密，建立第二加密矩阵；
当所述第二加密矩阵中的空白位置的第一数量大于非空白位置的第二数量时，确定当前加密程度不足；
依次剔除所述第二矩阵的最***位置，生成若干个子加密矩阵；
分别计算每一子加密矩阵的加密秩，基于所有的加密秩生成秩密码；
将所述秩密码输入到所述第二加密矩阵中进行第三加密，获取第三加密矩阵；
基于所述第三加密矩阵的规格，随机生成一个同型矩阵；
在所述第三加密矩阵上标记剩余空白位置，并将标记后的所述第三加密矩阵与所述同型矩阵进行叠加，获取标记位置产生的叠加数；
将所述叠加数输入到所述剩余空白位置上，获取全加密矩阵；
提取所述第全加密矩阵中每一位置对应的数据，获取加密数据。
8.根据权利要求6所述的基于数字孪生的多源数据异常监测***，其特征在于：对于包含m个样本的数据集构成的特征空间，刻画样本在不同视图中具有n个聚类结构；
则各样本的隶属度采用以下公式计算：
Figure FDA0004081250940000051
其中，
Figure FDA0004081250940000052
上式中，ωj表示第j个样本的隶属度；n表示聚类结构的数量；m表示样本数量；γij表示第j个样本与第i个聚类结构的聚类数；k表示类内模糊加权的平滑指数；dij表示第j个样本与第i个聚类结构的距离差异；
根据计算，若样本的隶属度小于预设的隶属度阈值，则将该样本作为不同视图中行为不一致的样本，并标记为异常对象。
CN202310124265.1A 2023-02-16 2023-02-16 基于数字孪生的多源数据异常监测*** Withdrawn CN116049766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310124265.1A CN116049766A (zh) 2023-02-16 2023-02-16 基于数字孪生的多源数据异常监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310124265.1A CN116049766A (zh) 2023-02-16 2023-02-16 基于数字孪生的多源数据异常监测***

Publications (1)

Publication Number Publication Date
CN116049766A true CN116049766A (zh) 2023-05-02

Family

ID=86120060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310124265.1A Withdrawn CN116049766A (zh) 2023-02-16 2023-02-16 基于数字孪生的多源数据异常监测***

Country Status (1)

Country Link
CN (1) CN116049766A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078048A (zh) * 2023-10-17 2023-11-17 深圳市福山自动化科技有限公司 基于数字孪生的智慧城市资源管理方法及***
CN117657186A (zh) * 2023-12-08 2024-03-08 无锡梁溪智慧环境发展有限公司 一种车载发送端智能调控方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078048A (zh) * 2023-10-17 2023-11-17 深圳市福山自动化科技有限公司 基于数字孪生的智慧城市资源管理方法及***
CN117078048B (zh) * 2023-10-17 2024-01-26 深圳市福山自动化科技有限公司 基于数字孪生的智慧城市资源管理方法及***
CN117657186A (zh) * 2023-12-08 2024-03-08 无锡梁溪智慧环境发展有限公司 一种车载发送端智能调控方法及***

Similar Documents

Publication Publication Date Title
Wu et al. Accurate Markov boundary discovery for causal feature selection
CN116049766A (zh) 基于数字孪生的多源数据异常监测***
Rodriguez et al. Patent clustering and outlier ranking methodologies for attributed patent citation networks for technology opportunity discovery
CN112528035A (zh) 基于关系注意力的知识图谱推理方法、装置和计算机设备
CN111292008A (zh) 一种基于知识图谱的隐私保护数据发布风险评估方法
Jiang et al. A family of joint sparse PCA algorithms for anomaly localization in network data streams
CN106060008A (zh) 一种网络入侵异常检测方法
Ejiyi et al. Comparative analysis of building insurance prediction using some machine learning algorithms
Wang et al. An improved data characterization method and its application in classification algorithm recommendation
Wang et al. Application of fuzzy c-means clustering algorithm based on particle swarm optimization in computer forensics
CN117972783A (zh) 基于联邦学习的大数据隐私保护方法及***
Wang et al. Towards a hierarchical Bayesian model of multi-view anomaly detection
Loganathan et al. Development of machine learning based framework for classification and prediction of students in virtual classroom environment
Jha et al. Criminal behaviour analysis and segmentation using k-means clustering
He et al. Learning informative representation for fairness-aware multivariate time-series forecasting: A group-based perspective
CN113822336A (zh) 一种云硬盘故障预测方法、装置、***及可读存储介质
CN116881687B (zh) 一种基于特征提取的电网敏感数据识别方法及装置
CN110135196B (zh) 一种基于输入数据压缩表示关联分析的数据融合防篡改方法
Liu et al. Correlation-based feature partition regression method for unsupervised anomaly detection
CN110874601B (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
Marian et al. Software defect detection using self-organizing maps
Muruzábal et al. On the visualization of outliers via self-organizing maps
Fornells et al. Unsupervised case memory organization: Analysing computational time and soft computing capabilities
Bond et al. An unsupervised machine learning approach for ground‐motion spectra clustering and selection
Rahman Supervised machine learning algorithms for credit card fraudulent transaction detection: A comparative survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230502