CN117938885A - 基于智能合约的数据去重方法及装置 - Google Patents

Abstract

本发明公开了一种基于智能合约的数据去重方法及装置。其中，该方法包括：确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力；生成区块链的智能合约，其中，智能合约用于筛选重复数据；接收上位机下发的数据包，并将数据包分发至网络结构的各个节点；利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据；将标识为非重复数据的数据存储在区块链中。本发明解决了相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的技术问题。

Description

基于智能合约的数据去重方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种基于智能合约的数据去重方法及装置、计算机可读存储介质、处理器。

背景技术

随着物联网技术的不断发展，越来越多的设备被接入到网络中，并产生海量的数据。在这些设备中，往往存在大量的重复数据，这些数据不仅占用了网络带宽和存储资源，而且在数据处理和分析过程中也会产生很大的负担。

传统的数据去重和筛选方法通常是在中心化的数据管理***中进行，需要将所有的数据收集到一个中心节点进行处理。这种方法存在着数据传输和存储的成本高、数据安全性差等问题。

针对上述相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于智能合约的数据去重方法及装置、计算机可读存储介质、处理器，以至少解决相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的技术问题。

根据本发明实施例的一个方面，提供了一种基于智能合约的数据去重方法，包括：确定区块链的网络结构，其中，所述网络结构中的每个节点都对应一个物联网设备，所述区块链用于为所述物联网设备提供分布式存储和数据共享的能力；生成所述区块链的智能合约，其中，所述智能合约用于筛选重复数据；接收上位机下发的数据包，并将所述数据包分发至所述网络结构的各个节点；利用所述智能合约中的去重规则对所述数据包中的数据进行筛选，得到所述数据的标识，其中，所述标识用于将所述数据标识为重复数据或非重复数据；将所述标识为所述非重复数据的数据存储在所述区块链中。

可选地，确定区块链的网络结构，包括：获取所述区块链的网络需求；基于所述网络需求选择相应的网络拓扑结构；基于所述物联网设备的计算能力、存储能力、网络连接性和位置信息为所述网络拓扑结构中的各个所述节点分配角色；在为各所述节点分配角色后，配置各所述节点的网络参数，以得到所述区块链的所述网络结构。

可选地，生成所述区块链的智能合约，包括以下内容：生成对所述数据的所述去重规则；生成对所述重复数据和所述非重复数据的第一处理规则；生成对特定事件的第二处理规则，其中，所述特定事件表示与设备状态、环境条件或交互相关的任何显著变化；生成对所述物联网设备的权限控制规则。

可选地，生成对所述数据的所述去重规则，包括以下之一：在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据；在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将所述差值大于所述偏差阈值的所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据。

可选地，生成对所述重复数据和所述非重复数据的第一处理规则，包括：在所述数据标识为所述非重复数据时，通过所述智能合约将所述非重复数据存储在所述区块链中；在所述数据标识为所述重复数据时，通过所述智能合约清除所述重复数据。

可选地，生成对特定事件的第二处理规则，包括：获取所述特定事件的类型；基于所述类型生成指示信息，其中，所述指示信息包括：指示对象和指示动作；基于所述指示信息指示所述指示对象执行相应的所述指示动作。

可选地，生成对所述物联网设备的权限控制规则，包括：获取所述物联网设备的认证信息，在根据所述认证信息确定所述物联网设备认证通过时，赋予所述物联网设备访问所述区块链的第一访问权限，其中，所述第一访问权限表示所述物联网设备是否被允许访问所述区块链；为具备第一访问权限的所述物联网设备赋予第二访问权限，其中，所述第二访问权限表示所述物联网设备被允许访问的特定资源，所述特定资源表示所述物联网设备被允许访问的资源。

根据本发明实施例的另一方面，还提供了一种基于智能合约的数据去重装置，包括：确定单元，用于确定区块链的网络结构，其中，所述网络结构中的每个节点都对应一个物联网设备，所述区块链用于为所述物联网设备提供分布式存储和数据共享的能力；生成单元，用于生成所述区块链的智能合约，其中，所述智能合约用于筛选重复数据；接收单元，用于接收上位机下发的数据包，并将所述数据包分发至所述网络结构的各个节点；获取单元，用于利用所述智能合约中的去重规则对所述数据包中的数据进行筛选，得到所述数据的标识，其中，所述标识用于将所述数据标识为重复数据或非重复数据；存储单元，用于将所述标识为所述非重复数据的数据存储在所述区块链中。

可选地，所述确定单元，包括：获取模块，用于获取所述区块链的网络需求；选择模块，用于基于所述网络需求选择相应的网络拓扑结构；分配模块，用于基于所述物联网设备的计算能力、存储能力、网络连接性和位置信息为所述网络拓扑结构中的各个所述节点分配角色；配置模块，用于在为各所述节点分配角色后，配置各所述节点的网络参数，以得到所述区块链的所述网络结构。

可选地，所述生成单元，包括以下内容：第一生成模块，用于生成对所述数据的所述去重规则；第二生成模块，用于生成对所述重复数据和所述非重复数据的第一处理规则；第三生成模块，用于生成对特定事件的第二处理规则，其中，所述特定事件表示与设备状态、环境条件或交互相关的任何显著变化；第四生成模块，用于生成对所述物联网设备的权限控制规则。

可选地，所述第一生成模块，包括以下之一：第一标识子模块，用于在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据；第二标识子模块，用于在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将所述差值大于所述偏差阈值的所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据。

可选地，所述第二生成模块，包括：存储子模块，用于在所述数据标识为所述非重复数据时，通过所述智能合约将所述非重复数据存储在所述区块链中；清除子模块，用于在所述数据标识为所述重复数据时，通过所述智能合约清除所述重复数据。

可选地，所述第三生成模块，包括：获取子模块，用于获取所述特定事件的类型；生成子模块，用于基于所述类型生成指示信息，其中，所述指示信息包括：指示对象和指示动作；指示子模块，用于基于所述指示信息指示所述指示对象执行相应的所述指示动作。

可选地，所述第四生成模块，包括：第一赋予子模块，用于获取所述物联网设备的认证信息，在根据所述认证信息确定所述物联网设备认证通过时，赋予所述物联网设备访问所述区块链的第一访问权限，其中，所述第一访问权限表示所述物联网设备是否被允许访问所述区块链；第二赋予子模块，用于为具备第一访问权限的所述物联网设备赋予第二访问权限，其中，所述第二访问权限表示所述物联网设备被允许访问的特定资源，所述特定资源表示所述物联网设备被允许访问的资源。

根据本发明实施例的另一方面，还提供了一种基于智能合约的数据去重***，所述基于智能合约的数据去重***使用上述任一种所述的基于智能合约的数据去重方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行上述任意一种所述的基于智能合约的数据去重方法。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一种所述的基于智能合约的数据去重方法。

在本发明实施例中，确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力；生成区块链的智能合约，其中，智能合约用于筛选重复数据；接收上位机下发的数据包，并将数据包分发至网络结构的各个节点；利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据；将标识为非重复数据的数据存储在区块链中。通过以上技术方案，达到了通过智能合约技术对区块链接收到的数据进行快速、准确地筛选，以筛选出重复数据，并存储非重复数据的目的，实现了对物联网网络中存在的大量数据进行去重的技术效果，避免了设备重复处理数据，提高了数据处理和分析的效率，降低了数据管理和存储的成本，进而解决了相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种基于智能合约的数据去重方法的移动终端的硬件结构框图；

图2是根据本发明实施例的基于智能合约的数据去重方法的流程图；

图3是根据本发明实施例的基于智能合约的数据去重***的示意图；

图4是根据本发明实施例的基于智能合约的数据去重装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本发明实施例涉及的部分名词或术语进行说明：

区块链：区块链是一种去中心化的数据库技术，它将数据以区块的形式连接在一起，并使用密码学技术确保数据的安全和完整性。每个区块包含了一定数量的交易记录，而且每个区块都包含了前一个区块的哈希值，这样就形成了一个不可篡改的数据链。

区块链的最大特点是去中心化，即没有中央机构控制整个数据库，数据存储在网络中的多个节点上，每个节点都有权对数据进行验证和记录。这种去中心化的特点使得区块链在安全性和透明度方面具有很大优势，使得它成为了一种理想的分布式数据库技术。

智能合约：智能合约是一种基于区块链技术的自动化合约，它能够自动执行合约条款并记录交易信息。智能合约可以在没有第三方介入的情况下执行交易和协议，从而提高交易的效率和安全性。智能合约通常使用智能合约语言编写，如Solidity、Vyper等。智能合约的应用包括数字货币交易、物联网、供应链管理等领域。

正如背景技术中所介绍的，相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据。针对以上缺陷，在本发明的实施例中提供了一种基于智能合约的数据去重方法及装置、计算机可读存储介质、处理器。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种基于智能合约的数据去重方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于智能合约的数据去重方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network InterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

根据本发明实施例，提供了一种基于智能合约的数据去重方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的基于智能合约的数据去重方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力。

下面结合图3对本发明上述实施例进行详细说明，图3是根据本发明实施例的基于智能合约的数据去重***的示意图。如图3所示，首先选择一个适合物联网应用的区块链平台，在选择时需要考虑物联网平台具有高吞吐量和低延迟的特点，还要考虑实际场景下的隐私保护和性能优化问题。IOTA区块链属于私有区块链，使用DAG技术允许不同的交易并行处理，适合大量小数据包传输的物联网应用，这里可以选择IOTA区块链作为本发明实施例中适合物联网应用的区块链平台，当然，也可以选择其他区块链作为本发明实施例中适合物联网应用的区块链平台，这里不做具体限制。

根据本发明上述实施例，在上述步骤S202中，确定区块链的网络结构，包括：获取区块链的网络需求；基于网络需求选择相应的网络拓扑结构；基于物联网设备的计算能力、存储能力、网络连接性和位置信息为网络拓扑结构中的各个节点分配角色；在为各节点分配角色后，配置各节点的网络参数，以得到区块链的网络结构。

在设计区块链的网络结构时，可以先对物联网设备的能力进行评估，具体的能力评估主要包括以下几个方面：1)计算能力：设备执行计算任务的能力，包括处理数据、执行智能合约和进行加密操作等；2)处理能力：设备的CPU速度和多核处理能力，这影响设备处理交易和智能合约的速度；3)存储能力：设备的内存和存储空间大小，这决定了设备能够存储多少交易历史和区块链数据；4)网络连接性：设备的网络接口(如Wi-Fi,Ethernet,LTE等)以及网络速度，这影响设备与区块链网络其他节点通信的效率；4)能耗：设备运行时的能量消耗，对于电池供电的设备尤为重要；5)安全性：设备的安全特性，包括加密硬件和软件的能力，以及防御外部攻击的能力；具体的评估方法如下：1)硬件规格分析：通过查阅设备的技术规格手册，可以获取处理器速度、内存大小、存储容量等硬件信息；2)基准测试：运行特定的测试程序，测量设备在特定任务(如数据处理、加密解密)上的性能；3)实时监控：通过监控软件实时跟踪设备的CPU和内存使用情况，网络吞吐量等；4)历史数据分析：分析设备在过去运行时的表现数据，包括故障率、响应时间等；5)网络测试：检测设备的网络接口的带宽和延迟，以及其在不同网络条件下的性能。

进而再根据设备的分布位置和能力设计具体网络拓扑结构，设计区块链的网络结构时，需要采取一系列的手段和方法来确保网络的高效、安全和可扩展性。下面对展开描述详细的设计步骤：1)需求分析：首先明确网络需要满足的具体需求，包括交易吞吐量、延迟、安全性、去中心化程度等；2)网络拓扑设计：选择合适的网络拓扑结构，如星型、网状、树型或混合型结构，以优化网络通信和数据传输；3)节点分布和角色定义：基于物联网设备的计算能力、存储能力和网络连接性，决定节点的分布和角色(全节点、轻节点、超级节点等)；4)网络参数配置：设定网络参数，如区块大小、区块生成时间、网络难度调整等，以平衡安全性和性能；5)数据分片技术：为了提高大规模网络的扩展性和性能，可以采用数据分片技术，将网络分为多个较小的片段。

在全屋智能场景中采用去中心化节点分布，使用核心设备(路由器或者智能中控等)作为主节点，其他设备(灯泡或传感器等)作为子节点连接，以确保网络的稳定性力。

步骤S204，生成区块链的智能合约，其中，智能合约用于筛选重复数据。

如上图3所示，智能合约是一种基于区块链技术的自动化合约，它能够自动执行合约条款并记录交易信息；在所生成的智能合约中，还需要定义智能家居设备生成的数据结构，包括以下内容：1)数据类型：温度、湿度、光照强度、空气质量、运动检测等；2)时间戳：数据生成的时间；3)设备ID：标识生成数据的设备；4)用户ID：标识使用设备的用户；5)其他相关元数据：例如设备位置、设备状态等；定义这样的数据结构可以帮助智能合约识别和处理数据，因为它们提供了数据的基本信息和上下文。智能合约可以根据数据类型进行相应的处理，比如对温度数据进行温度控制，对运动检测数据进行安防处理等。同时，设备ID和用户ID可以帮助智能合约将数据与特定的设备和用户关联起来，实现个性化的智能控制和管理。通过时间戳，智能合约还可以对数据进行时间序列分析，实现更加智能和精准的控制和预测。因此，定义智能家居设备生成的数据结构可以为智能合约提供更加丰富和准确的数据信息，从而实现更加智能化和个性化的智能家居服务。

需要说明的是，这里的智能家居设备同样属于物联网设备，在全屋智能***中，主要围绕智能家居设备这样物联网设备建立区块链，以及智能家居设备上传或接收的数据做去重处理。

根据本发明上述实施例，在上述步骤S204中，生成区块链的智能合约，包括以下内容：生成对数据的去重规则；生成对重复数据和非重复数据的第一处理规则；生成对特定事件的第二处理规则，其中，特定事件表示与设备状态、环境条件或交互相关的任何显著变化；生成对物联网设备的权限控制规则。

智能合约中还包括以下内容：1)如何判断什么样的数据可以被认为是重复的；2)对于非重复数据和重复数据的处理方法；3)在处理数据的过程中可能遇到的特定事件和处理方法；4)需要包含哪些权限控制。

在本发明上述实施例中，生成对数据的去重规则，包括以下之一：在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据；在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将差值大于偏差阈值的数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据。

例如，1)时间窗口内的数据去重：如果在一定时间内(如5分钟)收到多个来自同一设备的相同类型的数据，只保留第一个数据点；2)数据值去重：如果连续的数据点值没有变化或变化不显著(如温度变化小于0.5℃)，则认为是重复数据，只保留变化显著的数据点。

在本发明上述实施例中，生成对重复数据和非重复数据的第一处理规则，包括：在数据标识为非重复数据时，通过智能合约将非重复数据存储在区块链中；在数据标识为重复数据时，通过智能合约清除重复数据。

例如，对于非重复的数据，智能合约将其存储在区块链上，并更新任何相关的状态或统计信息；对于重复数据，则可以选择丢弃或记录为重复，但不进行进一步处理。

在本发明上述实施例中，生成对特定事件的第二处理规则，包括：获取特定事件的类型；基于类型生成指示信息，其中，指示信息包括：指示对象和指示动作；基于指示信息指示指示对象执行相应的指示动作。

可选的，上述特定事件通常指的是与设备状态、环境条件或用户交互相关的任何显著变化。

下面对一些可能的特定事件进行举例：1)传感器数据更新：传感器读取的数据超过或低于预设阈值时，比如温度、湿度、压力、光照、运动等；2)设备状态改变：IoT设备从一种状态转变到另一种状态，如开/关状态、活动/静止状态、连接/断开状态；3)位置变更：基于GPS或其他定位技术的设备发生位置改变，这在物流和追踪应用中尤为重要；4)安全警报：检测到潜在的安全问题，如未授权的访问、疑似入侵或数据泄露；5)设备故障或异常：设备发生故障、性能下降或检测到异常行为时触发事件；6)用户交互：用户与设备的直接交互，如按钮按压、触摸屏幕、使用移动应用控制设备等。

在处理数据时，智能合约可以触发特定的事件或通知，以便其他***组件或用户可以采取相应的行动。例如，如果检测到异常数据(如温度突然升高)，智能合约可以触发一个警报事件。

在本发明上述实施例中，生成对物联网设备的权限控制规则，包括：获取物联网设备的认证信息，在根据认证信息确定物联网设备认证通过时，赋予物联网设备访问区块链的第一访问权限，其中，第一访问权限表示物联网设备是否被允许访问区块链；为具备第一访问权限的物联网设备赋予第二访问权限，其中，第二访问权限表示物联网设备被允许访问的特定资源，特定资源表示物联网设备被允许访问的资源。

可以通过以下方法进行权限控制：1)身份认证：①设备认证：确保只有经过认证的设备可以加入网络和进行通信，这通常通过证书、预共享密钥(PSK)或设备指纹等方式实现；②用户认证：确保只有拥有正确凭据的用户可以访问***，常见的用户认证方式包括用户名和密码、多因素认证和生物识别技术；2)访问控制列表(ACL)：使用ACL来定义哪些用户或设备可以访问网络中的特定资源，ACL可以根据预先定义的规则来允许或拒绝特定用户、组织或网络的访问；ACL通常用于路由器、防火墙和操作***中，以控制网络流量、文件访问和其他资源的访问权限；ACL可以基于源IP地址、目的IP地址、端口号、协议类型等条件来进行筛选和控制；通过ACL，网络管理员可以有效地管理和保护网络资源，确保只有授权的用户或设备能够访问特定的资源；3)角色基于访问控制(RBAC)：为不同的用户或设备分配不同的角色，每个角色具有不同的访问权限，用户的权限和访问控制列表是通过与角色关联来管理的，而不是直接分配给用户，这可以使得权限管理更为集中和一致；4)属性基访问控制(ABAC)：根据设备、用户或环境的属性(如位置、时间或设备类型)来动态地授予或拒绝访问权限，其核心思想是通过对主体的属性和资源的属性进行匹配，来确定是否允许主体对资源进行访问，这种方式可以更加灵活地定义访问控制策略，因为可以根据不同的属性组合来动态调整访问权限，也即是，可以根据实际情况和需求来灵活定义访问策略，而不是简单地依靠固定的角色和权限。

智能合约中需要包含必要的权限控制，以防止未授权的访问和数据篡改。如上图3所示，不论是子设备上传数据还是子设备接收数据，只有授权的设备和用户才能提交数据或访问存储的数据。

步骤S206，接收上位机下发的数据包，并将数据包分发至网络结构的各个节点。

在上位机下发数据包后，数据包首先会通过区块链网络进行分发给各个子设备，以确保数据的安全和可靠的传输。

步骤S208，利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据。

然后经过智能合约进行数据包的筛选和去重，筛选出非重复的数据，以避免子设备重复处理数据包，大大了减少数据处理和分析的时间和成本。

步骤S210，将标识为非重复数据的数据存储在区块链中。

经过智能合约的去重和筛选后，数据可以被存储在区块链网络中，并供其他子设备或应用程序进行处理和分析。

另外，在处理过程中还需要检查数据的信息安全，避免数据泄露带来的风险。

由上述可知，通过以上步骤，可以确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力；生成区块链的智能合约，其中，智能合约用于筛选重复数据；接收上位机下发的数据包，并将数据包分发至网络结构的各个节点；利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据；将标识为非重复数据的数据存储在区块链中，达到了通过智能合约技术对区块链接收到的数据进行快速、准确地筛选，以筛选出重复数据，并存储非重复数据的目的，实现了对物联网网络中存在的大量数据进行去重的技术效果，避免了设备重复处理数据，提高了数据处理和分析的效率，降低了数据管理和存储的成本。

因此，通过本发明上述实施例提供的技术方案，解决了相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

根据本发明实施例，还提供了一种用于实施上述基于智能合约的数据去重方法的基于智能合约的数据去重装置，图4是根据本发明实施例的基于智能合约的数据去重装置的示意图，如图4所示，该装置包括：确定单元41，生成单元43，接收单元45，获取单元47以及存储单元49。下面对该基于智能合约的数据去重装置进行详细说明。

确定单元41，用于确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力。

生成单元43，用于生成区块链的智能合约，其中，智能合约用于筛选重复数据。

接收单元45，用于接收上位机下发的数据包，并将数据包分发至网络结构的各个节点。

获取单元47，用于利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据。

存储单元49，用于将标识为非重复数据的数据存储在区块链中。

此处需要说明的是，上述确定单元41，生成单元43，接收单元45，获取单元47以及存储单元49对应于上述实施例中的步骤S202至步骤S210，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。

由上可知，本发明上述实施例记载的方案中，可以利用确定单元确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力；然后利用生成单元生成区块链的智能合约，其中，智能合约用于筛选重复数据；之后利用接收单元接收上位机下发的数据包，并将数据包分发至网络结构的各个节点；再利用获取单元利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据；最后利用存储单元将标识为非重复数据的数据存储在区块链中，达到了通过智能合约技术对区块链接收到的数据进行快速、准确地筛选，以筛选出重复数据，并存储非重复数据的目的，实现了对物联网网络中存在的大量数据进行去重的技术效果，避免了设备重复处理数据，提高了数据处理和分析的效率，降低了数据管理和存储的成本。

因此，通过本发明上述实施例提供的技术方案，解决了相关技术中由于当前物联网网络中存在大量重复数据，不仅占用大量的网络资源，而且子设备也会重复处理数据的技术问题。

可选地，确定单元，包括：获取模块，用于获取区块链的网络需求；选择模块，用于基于网络需求选择相应的网络拓扑结构；分配模块，用于基于物联网设备的计算能力、存储能力、网络连接性和位置信息为网络拓扑结构中的各个节点分配角色；配置模块，用于在为各节点分配角色后，配置各节点的网络参数，以得到区块链的网络结构。

可选地，生成单元，包括以下内容：第一生成模块，用于生成对数据的去重规则；第二生成模块，用于生成对重复数据和非重复数据的第一处理规则；第三生成模块，用于生成对特定事件的第二处理规则，其中，特定事件表示与设备状态、环境条件或交互相关的任何显著变化；第四生成模块，用于生成对物联网设备的权限控制规则。

可选地，第一生成模块，包括以下之一：第一标识子模块，用于在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据；第二标识子模块，用于在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将差值大于偏差阈值的数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据。

可选地，第二生成模块，包括：存储子模块，用于在数据标识为非重复数据时，通过智能合约将非重复数据存储在区块链中；清除子模块，用于在数据标识为重复数据时，通过智能合约清除重复数据。

可选地，第三生成模块，包括：获取子模块，用于获取特定事件的类型；生成子模块，用于基于类型生成指示信息，其中，指示信息包括：指示对象和指示动作；指示子模块，用于基于指示信息指示指示对象执行相应的指示动作。

可选地，第四生成模块，包括：第一赋予子模块，用于获取物联网设备的认证信息，在根据认证信息确定物联网设备认证通过时，赋予物联网设备访问区块链的第一访问权限，其中，第一访问权限表示物联网设备是否被允许访问区块链；第二赋予子模块，用于为具备第一访问权限的物联网设备赋予第二访问权限，其中，第二访问权限表示物联网设备被允许访问的特定资源，特定资源表示物联网设备被允许访问的资源。

根据本发明实施例的另一方面，还提供了一种基于智能合约的数据去重***，基于智能合约的数据去重***使用上述任一种的基于智能合约的数据去重方法。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述任意一种的基于智能合约的数据去重方法。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于通信设备群中的任意一个通信设备中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：确定区块链的网络结构，其中，网络结构中的每个节点都对应一个物联网设备，区块链用于为物联网设备提供分布式存储和数据共享的能力；生成区块链的智能合约，其中，智能合约用于筛选重复数据；接收上位机下发的数据包，并将数据包分发至网络结构的各个节点；利用智能合约中的去重规则对数据包中的数据进行筛选，得到数据的标识，其中，标识用于将数据标识为重复数据或非重复数据；将标识为非重复数据的数据存储在区块链中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取区块链的网络需求；基于网络需求选择相应的网络拓扑结构；基于物联网设备的计算能力、存储能力、网络连接性和位置信息为网络拓扑结构中的各个节点分配角色；在为各节点分配角色后，配置各节点的网络参数，以得到区块链的网络结构。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：生成对数据的去重规则；生成对重复数据和非重复数据的第一处理规则；生成对特定事件的第二处理规则，其中，特定事件表示与设备状态、环境条件或交互相关的任何显著变化；生成对物联网设备的权限控制规则。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据；在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将差值大于偏差阈值的数据标识为非重复数据，并将除标识为非重复数据的数据以外的数据标识为重复数据。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在数据标识为非重复数据时，通过智能合约将非重复数据存储在区块链中；在数据标识为重复数据时，通过智能合约清除重复数据。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取特定事件的类型；基于类型生成指示信息，其中，指示信息包括：指示对象和指示动作；基于指示信息指示指示对象执行相应的指示动作。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取物联网设备的认证信息，在根据认证信息确定物联网设备认证通过时，赋予物联网设备访问区块链的第一访问权限，其中，第一访问权限表示物联网设备是否被允许访问区块链；为具备第一访问权限的物联网设备赋予第二访问权限，其中，第二访问权限表示物联网设备被允许访问的特定资源，特定资源表示物联网设备被允许访问的资源。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一种的基于智能合约的数据去重方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于智能合约的数据去重方法，其特征在于，包括：

确定区块链的网络结构，其中，所述网络结构中的每个节点都对应一个物联网设备，所述区块链用于为所述物联网设备提供分布式存储和数据共享的能力；

生成所述区块链的智能合约，其中，所述智能合约用于筛选重复数据；

接收上位机下发的数据包，并将所述数据包分发至所述网络结构的各个节点；

利用所述智能合约中的去重规则对所述数据包中的数据进行筛选，得到所述数据的标识，其中，所述标识用于将所述数据标识为重复数据或非重复数据；

将所述标识为所述非重复数据的数据存储在所述区块链中。

2.根据权利要求1所述的基于智能合约的数据去重方法，其特征在于，确定区块链的网络结构，包括：

获取所述区块链的网络需求；

基于所述网络需求选择相应的网络拓扑结构；

基于所述物联网设备的计算能力、存储能力、网络连接性和位置信息为所述网络拓扑结构中的各个所述节点分配角色；

在为各所述节点分配角色后，配置各所述节点的网络参数，以得到所述区块链的所述网络结构。

3.根据权利要求1所述的基于智能合约的数据去重方法，其特征在于，生成所述区块链的智能合约，包括以下内容：

生成对所述数据的所述去重规则；

生成对所述重复数据和所述非重复数据的第一处理规则；

生成对特定事件的第二处理规则，其中，所述特定事件表示与设备状态、环境条件或交互相关的任何显著变化；

生成对所述物联网设备的权限控制规则。

4.根据权利要求3所述的基于智能合约的数据去重方法，其特征在于，生成对所述数据的所述去重规则，包括以下之一：

在预定时长内接收到的数据均来自同一个设备时，将接收到的第一个所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据；

在接收到的数据中任意两个数据之间的差值小于偏差阈值时，将所述差值大于所述偏差阈值的所述数据标识为所述非重复数据，并将除标识为所述非重复数据的所述数据以外的所述数据标识为所述重复数据。

5.根据权利要求3所述的基于智能合约的数据去重方法，其特征在于，生成对所述重复数据和所述非重复数据的第一处理规则，包括：

在所述数据标识为所述非重复数据时，通过所述智能合约将所述非重复数据存储在所述区块链中；

在所述数据标识为所述重复数据时，通过所述智能合约清除所述重复数据。

6.根据权利要求3所述的基于智能合约的数据去重方法，其特征在于，生成对特定事件的第二处理规则，包括：

获取所述特定事件的类型；

基于所述类型生成指示信息，其中，所述指示信息包括：指示对象和指示动作；

基于所述指示信息指示所述指示对象执行相应的所述指示动作。

7.根据权利要求3所述的基于智能合约的数据去重方法，其特征在于，生成对所述物联网设备的权限控制规则，包括：

获取所述物联网设备的认证信息，在根据所述认证信息确定所述物联网设备认证通过时，赋予所述物联网设备访问所述区块链的第一访问权限，其中，所述第一访问权限表示所述物联网设备是否被允许访问所述区块链；

为具备第一访问权限的所述物联网设备赋予第二访问权限，其中，所述第二访问权限表示所述物联网设备被允许访问的特定资源，所述特定资源表示所述物联网设备被允许访问的资源。

8.一种基于智能合约的数据去重装置，其特征在于，包括：

确定单元，用于确定区块链的网络结构，其中，所述网络结构中的每个节点都对应一个物联网设备，所述区块链用于为所述物联网设备提供分布式存储和数据共享的能力；

生成单元，用于生成所述区块链的智能合约，其中，所述智能合约用于筛选重复数据；

接收单元，用于接收上位机下发的数据包，并将所述数据包分发至所述网络结构的各个节点；

获取单元，用于利用所述智能合约中的去重规则对所述数据包中的数据进行筛选，得到所述数据的标识，其中，所述标识用于将所述数据标识为重复数据或非重复数据；

存储单元，用于将所述标识为所述非重复数据的数据存储在所述区块链中。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的基于智能合约的数据去重方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的基于智能合约的数据去重方法。