CN116149872A - 数据处理***和数据处理方法 - Google Patents

Abstract

本申请实施例提供了一种数据处理***和数据处理方法，该数据处理***包括存储计算一体化集群，存储计算一体化集群包括至少一个存储计算引擎节点；各存储计算引擎节点包括本地内存和计算引擎，针对任一个存储计算引擎节点：本地内存用于存储计算规则和待处理数据；计算引擎用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中。由此可见，本申请直接采用本地内存存储数据，可以提高数据处理***整体的数据能读写能力。同时，节省了部署存储设备所需的设备资源和网络资源，避免了网络波动和通信带宽对高并发数据计算的限制，提高了数据处理效率。

Description

数据处理***和数据处理方法

技术领域

本申请涉及大数据分析技术领域，尤其涉及一种数据处理***和数据处理方法。

背景技术

随着信息化建设的发展，大规模低延迟物联网数据的采集、存储、计算和管理成为信息数字化的核心。

相关技术中，大规模低延迟物联网数据的计算处理采用存储计算分离架构。在该架构中，数据采集引擎对原始数据进行序列化处理，并将序列化处理后的数据发送给消息队列(Message queue)服务；消息队列服务将序列化处理后的数据转发至计算引擎，计算引擎接收序列化处理后的数据，并对其进行反序列化处理，得到原始数据。进一步地，计算引擎将原始数据存储至存储设备的内存中，并定时从存储设备中获取数据计算规则和待处理数据，开启计算任务，并将数据处理结果存储至存储层，以完成整个数据处理过程。

然而，上述架构中计算引擎和存储设备的内存之间通过网络通信来实现数据写入和读取，导致数据处理过程需要更多的网络资源和服务器资源；同时，网络波动和通信带宽也会成为高并发数据计算的瓶颈，导致计算任务的整体运行时间更长。

发明内容

本申请提供了一种数据处理***和数据处理方法，能够降低***复杂度，减少***运行所需资源；并且能够及时响应计算任务，提高了***的数据处理效率。

第一方面，本申请提供一种数据处理***，该数据处理***包括存算一体化集群，存算一体化集群包括至少一个存算一体化节点；各存算一体化节点均包括本地内存和计算引擎，针对任一个存算一体化节点：

本地内存，用于存储计算规则和待处理数据；

计算引擎，用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中。

在一种可能的实现方式中，该数据处理***还包括消息队列服务；

存算一体化节点，还用于将数据处理结果发送给消息队列服务；

消息队列服务，用于将数据处理结果转发给关联***；关联***为在消息队列服务中订阅数据处理结果的外部***。

在一种可能的实现方式中，该存算一体化集群还包括数据查询接口；

数据查询接口，用于供至少一个关联***在存算一体化集群中进行计算结果查询，以获取至少一个存算一体化节点的数据处理结果。

在一种可能的实现方式中，若存算一体化集群包括多个存算一体化节点，该存算一体化集群还用于采用预设的任务分配算法为各存算一体化节点分配相应的计算任务；

其中，任务分配算法用于在多个存算一体化节点中均衡分配计算任务。

在一种可能的实现方式中，若存算一体化集群包括多个存算一体化节点，则该存算一体化集群还包括集群节点清单；

集群节点清单，用于记录存算一体化集群中处于启用状态的存算一体化节点；

各存算一体化节点，还用于将本地内存中存储的数据同步至集群节点清单中的其他存算一体化节点。

在一种可能的实现方式中，该存算一体化集群还用于查询集群节点清单，确定处于启用状态的存算一体化节点，并通过任务分配算法为处于启用状态的存算一体化节点均衡分配计算任务。

在一种可能的实现方式中，该计算引擎包括：规则配置单元；

规则配置单元用于配置计算任务信息和计算规则，并将计算任务信息和计算规则写入至本地内存中；计算任务信息包括计算点位、计算逻辑、计算模式中的至少一种。

在一种可能的实现方式中，该计算引擎还包括：规则查询单元、数据查询单元、计算单元和结果存储单元；

规则查询单元，用于从本地内存中读取计算规则；

数据查询单元，用于根据计算点位，在本地内存中读取待处理数据；

计算单元，用于按照计算规则对待处理数据进行计算处理，得到数据处理结果；

结果存储单元，用于将数据处理结果存储至本地内存中。

第二方面，本申请还提供了一种数据处理方法，该方法应用于数据处理***中的存算一体化集群，存算一体化集群包括至少一个存算一体化节点；方法包括：

获取原始数据；原始数据包括数据采集引擎从至少一个物联网设备中采集的多条数据；

从存算一体化集群所包括的至少一个存算一体化节点中确定目标节点；

将原始数据发送给目标节点，以使目标节点对原始数据进行存储和计算处理。

在一种可能的实现方式中，从存算一体化集群所包括的至少一个存算一体化节点中确定目标节点，包括：

获取存算一体化集群的集群节点清单；集群节点清单用于记录存算一体化集群中处于启用状态的存算一体化节点；

基于集群节点清单，从存算一体化集群中处于启用状态的存算一体化节点中确定目标节点。

第三方面，本申请提供了一种电子设备，该电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述第二方面中的数据处理方法的步骤。

第四方面，本申请提供了一种计算机存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面中的数据处理方法的步骤。

第五方面，本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述第二方面中的数据处理方法的步骤。

本申请提供的技术方案至少可以达到以下有益效果：

数据处理***包括存储计算一体化集群，该存储计算一体化集群包括至少一个存储计算引擎节点；各存储计算引擎节点包括本地内存和计算引擎，针对任一个存储计算引擎节点：本地内存用于存储计算规则和待处理数据；计算引擎用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中；其中，待处理数据包括本地内存中存储的至少一条原始数据。由此可见，本申请直接采用存算一体化节点的本地内存存储数据，以及数据处理结果。由于内存存储的读写性能更高，因此，使用各节点的本地内存存储节点数据，可以提高数据处理***整体的数据能读写能力。进一步地，该数据处理***去除了独立设置的存储设备，节省了部署存储设备所需的设备资源和网络资源，避免了网络波动和通信带宽对高并发数据计算的限制，提高了数据处理效率，降低了计算任务的整体运行时长。

附图说明

图1是本申请一示例性实施例示出的一种传统数据处理***的架构图；

图2是本申请一示例性实施例示出的一种数据处理***的***架构图；

图3是本申请一示例性实施例示出的一种存算一体化节点的结构示意图；

图4是本申请一示例性实施例示出的一种数据查询方式示意图；

图5是本申请一示例性实施例示出的另一种数据查询方式示意图；

图6是本申请一示例性实施例示出的一种数据处理方法的流程示意图；

图7是本申请一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，下面将结合附图及实施例，对本申请的技术方案做进一步详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

目前大规模低延迟物联网数据的计算处理场景中，主要采用存储层和计算层分离的架构，以实现数据的并行计算，以及计算结果的存储。

具体地，参见图1所示的***架构图，数据处理***100包括数据采集引擎110、消息队列服务120、计算引擎130和存储设备140。其中，数据采集引擎调110用多个采集服务，从边缘部署的多个物理网设备中获取原始数据；并对原始数据进行序列化处理，将序列化处理后的数据发送给消息队列服务120。消息队列服务120将序列化处理后的数据转发至计算引擎130，计算引擎130对接收到的数据进行反序列化处理，得到原始数据。进一步地，计算引擎130将原始数据发送至存储设备140中进行存储；并根据计算任务，从存储设备140中获取数据计算规则和待处理数据，并行执行数据计算处理，得到数据处理结果。另外，计算引擎130还用于将数据处理结果存储至存储设备140中。

然而，通过上述存储计算层分离架构构建数据处理***时，可能存在以下至少一个问题：

(1)需要额外部部署存储设备所需的网络资源和设备资源；

由于需要经过实时计算的物联网数据规模较大、且计算频率较高，因此，为了保证数据处理***整体运行的稳定性，规划独立的计算引擎和存储设备的设备资源，且计算引擎和存储设备之间的通讯需要采用万兆带宽，以保证数据交互稳定高效。

(2)网络波动和带宽会成为高并发实时计算的瓶颈，计算任务整体运行时间延长；

由于计算引擎和存储设备采用网络通讯，网络的波动和带宽的限制会成为高并发实时计算的瓶颈。比如，网络的偶发性堵塞可能导致计算引擎无法正常在存储设备中读写数据，造成计算任务无法正常完成，从而导致高并发计算任务栈出现雪崩，从而诱发数据处理***整体宕机。

且由于网络传输速度远低于计算机设备内部的通讯速度，每次计算任务所需要执行的读取操作和写入操作需要更多的时间用于网络传输开销，导致计算任务执行周期更长。

(3)无法充分利用内存存储的高性能读写能力；

为了保证数据存储的一致性，内存存储数据大多采用单线程执行数据读写任务的策略，最大优势就是读写性能比磁盘存储更高。而通过网络传输原始数据至独立部署的存储设备中进行存储，或者，通过网络传输从独立部署的存储设备中读取数据，均无法充分利用计算机设备内存存储的高性能读写能力。

针对上述至少一个技术缺陷，本申请在数据处理***中去除了传统的存储设备，采用存算一体化模型实现数据存储和计算。该存算一体化模型将内存存储和计算引擎放置在一个应用内，使得该应用同时具备数据存储能力，以及基于存储数据进行数据计算处理的能力。

在此架构下，原始数据从消息队列服务流入存算一体化模型后，该存算一体化模型将原始数据存入本地内存，并响应于定时触发的计算任务，从本地内存中读取计算规则和待处理数据，执行数据计算，并将数据处理结果存储在本地内存中。

如此，数据写入、数据读取和数据处理均在存算一体化模型中实现，无需跨设备传输数据，设备内读写数据无需进行序列化处理，降低了网络传输数据的延时，也减少网络资源和设备资源的开销。

进一步地，为了保证数据处理***可以横向扩展，避免单点故障，提升***算力和***稳定性，本申请基于上述结构，组建了存算一体化集群，以通过该存算一体化集群实现分布式存储和计算。

如此，采用集群实现数据存储和计算，还可以随时增加处理存储和计算的分布式计算引擎节点，增强了数据处理***整体的扩展性。

在一个示例性实施例中，如图2所示，本申请提供了一种数据处理***，该数据处理***200传统的数据采集引擎210和消息队列服务220；且在此基础上，本申请通过存算一体化集群230实现数据存储和计算。

其中，存算一体化集群230包括至少一个存算一体化节点231；各存算一体化节点231均包括本地内存和计算引擎，针对任一个存算一体化节点：本地内存用于存储计算规则和待处理数据；计算引擎用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中。

应该理解的是，对于各存算一体化节点，其本地内存中可以仅存储最新数据，也可以存储历史数据，本申请实施例对此不做限制，只要存储的数据可以满足该节点的计算任务需求即可。因此，本申请中的待处理数据可以是该节点的本地内存中存储的部分或全部数据。

作为一个示例，待处理数据包括本地内存中存储的至少一条原始数据。

对于上述存算一体化集群，其中部署的存算一体化节点的数目，可以根据分布式计算的数据量和节点设备的数据处理性能来确定，本申请实施例对此不做限制。

可选地，数据处理流程的可以通过定时器来启动。即在定时器中设置数据处理周期后，由定时器定时触发各存储计算引擎节点进行数据处理。

其中，数据处理周期可以为预先设置的任意数值，比如，30s、50s、1min等，本申请实施例对此不做限制。

具体地，对于各存算一体化节点231，预先为各节点配置对应的计算规则，并将计算规则存储至该节点设备的本地内存中。在到达相应的数据处理周期后，计算引擎响应于分配的计算任务，从节点设备的本地内存中读取计算规则和待处理数据，然后按照计算规则对待处理数据进行计算处理，得到数据处理结果，再将数据处理结果存储至本地内存中。

进一步地，针对各存算一体化节点，其在执行数据计算之前，必须先为各存算一体化节点配置相应的计算规则。

在一种可能的实现方式中，如图3所示，各存算一体化节点231中，计算引擎包括规则配置单元；该规则配置单元用于配置计算任务信息和计算规则，并将计算任务信息和计算规则写入到本地内存中。

其中，计算任务信息包括计算点位、计算逻辑、计算模式中的至少一种。计算规则包括根据计算要求形成的四则运算公式、数值上下限判断、其他数学变换至少一种。

作为一个示例，计算点位用于指示待处理数据在本地内存中的存储位置，计算逻辑包括数据处理顺序和数据处理算法等，计算模式包括实时计算和定时计算。

需要说明的是，可以在创建存算一体化集群的过程中，为每个存算一体化节点配置对应的计算规则；也可以在***处理数据之前，为处于启用状态的存算一体化节点配置对应的计算规则；还可以在数据引擎接收到原始数据后，实时配置计算规则。本申请实施例对于计算规则的配置时机不做限制，不影响数据计算即可。

继续参见图3，基于配置的计算规则，该计算引擎还包括规则查询单元、数据查询单元、计算单元和结果存储单元。

其中，规则查询单元用于从本地内存中读取计算规则；数据查询单元用于根据计算点位，在本地内存中读取待处理数据；计算单元用于按照计算规则对待处理数据进行计算处理，得到数据处理结果；结果存储单元用于将数据处理结果存储至本地内存中。

基于图3所示的计算引擎，若存算一体化集群包括多个存算一体化节点，则该存算一体化集群可以采用多个引擎并行执行计算任务，以提高数据处理效率。

在一种可能的实现方式中，存算一体化集群还用于基于预设的任务分配算法为各存算一体化节点分配相应的计算任务。任务分配算法用于在多个存算一体化节点中均衡分配计算任务。

作为一个示例，存算一体化集群可以根据数据包数目和数据包大小，为各存算一体化节点分配对应的计算任务。比如，根据数据包大小，确定可以正常处理该数据包的存算一体化节点，进而将该数据包分配给可以正常处理数据的任一个存算一体化节点。

作为另一个示例，存算一体化集群可以根据各存算一体化节点中计算引擎的数据处理能力，为各存算一体化节点分配对应的计算任务。比如，根据各存算一体化节点中的可用计算

资源，确定各存算一体化节点中计算引擎的数据处理能力，以此来为各存算一体化节点分配5计算任务。

进一步地，在存算一体化集群包括多个存算一体化节点的情况下，该存算一体化集群还包括集群节点清单；该集群节点清单用于记录存算一体化集群中处于启用状态的存算一体化节点。

作为一个示例，该集群节点清单可以包括该存算一体化集群中各存算一体化节点的节点0标识、节点状态、节点设备参数和节点存储数据中的一种或多种。

其中，节点标识用于指示一个唯一的存算一体化节点；节点状态用于描述该存算一体化节点的启用状态，可以包括启用和失效两种状态；节点设备参数用于指示该存算一体化节点所在容器、虚拟机或物理机的可用运行资源和存储资源；节点存储数据可以为该存算一体化节点中本地内存中存储的最新数据和/或历史数据。

5基于该集群节点清单，还可以执行以下两种操作：

(1)节点数据同步；

为避免存算一体化集群中单点故障，影响***计算进度，各存算一体化节点还用于将本地内存中存储的数据同步至集群节点清单中的其他存算一体化节点。

具体地，可以采用分布式通讯技术，将单个存算一体化节点的本地内存中所存储数据同0步至其他存算一体化节点。如此，可以保证每个存算一体化节点存储的数据的幂等性。

(2)计算任务分配；

存算一体化集群还用于查询集群节点清单，确定处于启用状态的存算一体化节点，并通过任务分配算法为处于启用状态的存算一体化节点均衡分配计算任务。

如此，通过查询各存算一体化节点的节点状态，在分配计算任务时，仅将计算任务分配5给处于启用状态，可以生成执行计算处理操作的存算一体化节点，以保证数据处理的及时性

和有效性。

在该示例性实施例中，数据处理***直接采用存算一体化节点的本地内存存储数据，以及数据处理结果。由于内存存储的读写性能更高，因此，使用各节点的本地内存存储节点数

据，可以提高数据处理***整体的数据能读写能力。进一步地，该数据处理***去除了独立0设置的存储设备，节省了部署存储设备所需的设备资源和网络资源，也避免网络波动和通信带宽对高并发数据计算的限制，提高了数据处理效率，降低了计算任务的整体运行时长。

在一个示例性实施例中，数据处理***200完成计算任务后，外部***还可以在该数据处理***200中进行计算结果查询，以获取至少一个存算一体化节点231中存储的原始数据和/或数据处理结果。

其中，计算结果查询包括以下两种方式：

在一种可能的实现方式中，如图4所示，存算一体化集群230还包括：数据查询接口232。数据查询接口232用于供至少一个关联***300在存算一体化集群230中进行计算结果查询，以获取至少一个存算一体化节点231的数据处理结果。

其中，关联***可以为允许在数据处理***中执行数据查询操作的任一外部***，本申请实施例对外部***的数目不做限制。

具体地，若关联***300因业务需求，需要借助数据处理***200中的目标数据的数据处理结果进行业务分许，则通过调用数据查询接口，访问存算一体化集群中存储的数据处理结果，进而从至少一个存算一体化节点中获取到目标数据的数据处理结果。

在数据处理***中，由于消息队列服务具备数据转发功能，因此，关联***还可以通过消息队列服务获取数据处理结果。

在另一种可能的实现方式中，如图5所示，在本申请提供的数据处理***中，存算一体化节点231还用于将数据处理结果发送给消息队列服务220；消息队列服务220用于将数据处理结果转发给关联***300。

其中，关联***为在消息队列服务中订阅数据处理结果的外部***。

具体地，存算一体化节点执行计算任务，对待处理数据进行计算处理，得到数据处理结果后，并将该数据处理结果反馈给消息队列服务。再由消息队列服务基于***订阅关系，将数据处理结果发送给关联***。

需要说明的是，对于上述两种实现方式，在实际应用时，可以两者均部署，以便于关联***可以通过任一方式获取到数据处理结果；当然，也可以部署其中的任一种，外部***均通过该方式获取数据处理结果。本申请实施例对此不做限制。

在该示例性实施例中，数据处理***可以通过数据查询接口和/或消息队列服务，为外部的关联***提供数据处理结果，以使关联***可以利用数据处理***的数据处理结果，完成自身的业务处理过程，减少了关联***的数据处理负荷。

在一个示例性实施例中，基于相同的技术构思，如图6所示，本申请还提供了一种数据处理方法，该方法可以应用于上述任一实施例所示的数据处理***中的存算一体化集群，该存算一体化集群包括至少一个存算一体化节点，该方法包括以下步骤：

步骤610：获取原始数据；原始数据包括数据采集引擎从至少一个物联网设备中采集的多条数据。

其中，物联网设备用于采集监控环境中的数据，得到原始数据。

可选地，数据采集引擎可以包括多个数据采集服务，并行地从边缘部署的物联网设备中获取原始数据。

步骤620：从存算一体化集群所包括的至少一个存算一体化节点中确定目标节点。

其中，目标节点可以为存算一体化集群中的一个或多个节点，本申请实施例对目标节点的数目不做限制。

在一种可能的实现方式中，步骤620的实现过程可以为：获取存算一体化集群的集群节点清单；基于集群节点清单，从存算一体化集群中处于启用状态的存算一体化节点中确定目标节点。

其中，集群节点清单用于记录存算一体化集群中处于启用状态的存算一体化节点。

如此，通过集群节点清单确定目标节点，可以保证分配给目标节点的计算任务可以及时有效的执行，提高了数据处理***整体的数据处理效率。

步骤630：将原始数据发送给目标节点，以使目标节点对原始数据进行存储和计算处理。

在一种可能的实现方式中，目标节点均包括本地内存和计算引擎，本地内存用于存储计算规则和原始数据；计算引擎用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中。

其中，待处理数据包括本地内存中存储的至少一条原始数据。

进一步地，若目标节点包括多个存算一体化节点，则将原始数据发送给目标节点进行存储和计算时，可以采用预设的任务分配算法为各存算一体化节点分配相应的计算任务。

作为一个示例，任务分配算法包括轮询策略、随机策略、负载均衡策略等任一种。

需要说明的是，本实施例提供的数据处理方法的实现原理和有益效果，可以参见上文中关于数据处理***200的具体限定和详细解释，在此不再赘述。

在一个示例性实施例中，本申请实施例还提供了一种电子设备。该电子设备可以作为数据处理***中任一个存算一体化节点，以实现本申请实施例提供的数据处理方法。如图7所示，该电子设备包括一个或多个处理器710、存储器720、***总线730和通信接口740，且处理器710、存储器720和通信接口740通过***总线730连接。

其中，处理器可以是中央处理单元(Central Processing Units，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

可选地，处理器中装置有具备数据分析、数据处理、信息汇总等相关的应用软件。

存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。其中，易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。作为一个示例，该非易失性存储器可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在该计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行程序指令，以实现上文示出的各实施例中的数据处理方法和/或其他期望的功能。

该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。

在一些实施例中，电子设备还可以包括：输入装置和输出装置(图7中未示出)，这些组件通过总线***和/或其他形式的连接机构(图7中未示出)互连。该输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该输出装置可以向外部输出各种信息。例如，显示器/显示屏、扬声器、以及通信网络及其所连接的远程输出设备等。

当然，为了简化，图7中仅示出了该电子设备中与本申请实施例有关的组件中的一些，除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

在一个示例性实施例中，本申请还提供了一种计算机可读存储介质。其中，该计算机可读存储介质可存储有计算机程序，该计算机程序被电子设备中的处理器调用并运行时，可实现本申请提供的数据处理方法中的部分或全部步骤。

作为一个示例，该计算机可读存储介质可以为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

应该理解的时，本申请实施例中的技术方案可借助软件加必需的通用硬件平台的方式来实现。因此，本申请实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品可以存储在计算机可读存储介质中。

在一个示例性实施例中，本申请还提供了一种计算机程序产品。其中，该计算机程序产品包括计算机程序，该计算机程序被电子设备中的处理器调用并运行时，可实现本申请提供的数据处理方法中的部分或全部步骤。

以上仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (10)

1.一种数据处理***，其特征在于，所述数据处理***包括存算一体化集群，所述存算一体化集群包括至少一个存算一体化节点；各所述存算一体化节点均包括本地内存和计算引擎，针对任一个所述存算一体化节点：

所述本地内存，用于存储计算规则和待处理数据；

所述计算引擎，用于按照预设的数据处理周期，从所述本地内存中读取所述计算规则和所述待处理数据，并按照所述计算规则对所述待处理数据进行计算处理，以将数据处理结果存储至所述本地内存中。

2.根据权利要求1所述的***，其特征在于，所述数据处理***还包括消息队列服务；

所述存算一体化节点，还用于将所述数据处理结果发送给所述消息队列服务；

所述消息队列服务，用于将所述数据处理结果转发给关联***；所述关联***为在所述消息队列服务中订阅数据处理结果的外部***。

3.根据权利要求1所述的***，其特征在于，所述存算一体化集群还包括数据查询接口；

所述数据查询接口，用于供至少一个关联***在所述存算一体化集群中进行计算结果查询，以获取至少一个所述存算一体化节点的数据处理结果。

4.根据权利要求1至3中任一项所述的***，其特征在于，若存算一体化集群包括多个所述存算一体化节点，所述存算一体化集群还用于采用预设的任务分配算法为各所述存算一体化节点分配相应的计算任务；

其中，所述任务分配算法用于在所述多个存算一体化节点中均衡分配计算任务。

5.根据权利要求4所述的***，其特征在于，若所述存算一体化集群包括多个所述存算一体化节点，则所述存算一体化集群还包括集群节点清单；

所述集群节点清单，用于记录所述存算一体化集群中处于启用状态的存算一体化节点；

各所述存算一体化节点，还用于将本地内存中存储的数据同步至所述集群节点清单中的其他存算一体化节点。

6.根据权利要求5所述的***，其特征在于，所述存算一体化集群还用于查询所述集群节点清单，确定所述处于启用状态的存算一体化节点，并通过所述任务分配算法为所述处于启用状态的存算一体化节点均衡分配计算任务。

7.根据权利要求1至3中任一项所述的***，其特征在于，所述计算引擎包括：规则配置单元；

所述规则配置单元用于配置计算任务信息和计算规则，并将所述计算任务信息和所述计算规则写入至所述本地内存中；所述计算任务信息包括计算点位、计算逻辑、计算模式中的至少一种。

8.根据权利要求7所述的***，其特征在于，所述计算引擎还包括：规则查询单元、数据查询单元、计算单元和结果存储单元；

所述规则查询单元，用于从所述本地内存中读取所述计算规则；

所述数据查询单元，用于根据所述计算点位，在所述本地内存中读取所述待处理数据；

所述计算单元，用于按照所述计算规则对所述待处理数据进行计算处理，得到数据处理结果；

所述结果存储单元，用于将所述数据处理结果存储至所述本地内存中。

9.一种数据处理方法，其特征在于，应用于数据处理***中的存算一体化集群，所述存算一体化集群包括至少一个存算一体化节点；所述方法包括：

获取原始数据；所述原始数据包括数据采集引擎从至少一个物联网设备中采集的多条数据；

从所述存算一体化集群所包括的至少一个存算一体化节点中确定目标节点；

将所述原始数据发送给所述目标节点，以使所述目标节点对所述原始数据进行存储和计算处理。

10.根据权利要求9所述的方法，其特征在于，所述从所述存算一体化集群所包括的至少一个存算一体化节点中确定目标节点，包括：

获取所述存算一体化集群的集群节点清单；所述集群节点清单用于记录所述存算一体化集群中处于启用状态的存算一体化节点；

基于所述集群节点清单，从所述存算一体化集群中处于启用状态的存算一体化节点中确定目标节点。

Images