CN116170445A - 一种基于云计算的工业数据处理*** - Google Patents

一种基于云计算的工业数据处理*** Download PDF

Info

Publication number
CN116170445A
CN116170445A CN202310112522.XA CN202310112522A CN116170445A CN 116170445 A CN116170445 A CN 116170445A CN 202310112522 A CN202310112522 A CN 202310112522A CN 116170445 A CN116170445 A CN 116170445A
Authority
CN
China
Prior art keywords
data
cloud computing
processing
industrial data
industrial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310112522.XA
Other languages
English (en)
Inventor
郑霁
郭雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310112522.XA priority Critical patent/CN116170445A/zh
Publication of CN116170445A publication Critical patent/CN116170445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于云计算的工业数据处理***，属于数据处理领域，解决了如何通过云计算对工业数据进行高效率的数据传输和数据处理的问题；本发明中选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转，发送至云平台；从而使得工业数据在被采集后能够快速传输至云平台，同时数据采集终端也可以减少与云平台的网络连接次数，减少云平台服务器的瘫痪概率；数据传输控制服务器的设置能够合理分配各个处理服务器节点获取和处理工业数据，以及各个存储服务器节点对经过处理后的工业数据的存储，使得云平台能够实时合理的调整服务器和网络资源对工业数据进行处理和存储。

Description

一种基于云计算的工业数据处理***
技术领域
本发明属于数据处理领域，具体是一种基于云计算的工业数据处理***。
背景技术
随着互联网信息技术的发展，工业数据呈现海量式增长，传统的数据处理方式主要是通过集中处理，容易造成服务器瘫痪和数据丢包。
专利(201811553127.0)公开了一种基于云计算平台的数据处理***，包括：数据采集终端、数据分类模块、云计算平台、计费模块、后台管理终端、数据加密模块、非法入侵报警模块和显示终端。不仅能够处理多个不同行业或公司的大量数据，节省公司的运营成本，提高公司办公效率，而且能够保护公司数据安全，防止被盗，发现非法入侵后也能及时报警，既适用于客户上传数据进行处理，也适用于直接通过采集终端采集数据进行处理，适用范围广，非常适合用于基于云计算平台的数据处理。但该现有技术只是在一定程度上提高公司的办公效率和保护了数据的安全，但并未解决如何高效率的数据传输以及数据处理。
为此，本发明提出了一种基于云计算的工业数据处理***。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于云计算的工业数据处理***，该种基于云计算的工业数据处理***解决了如何通过云计算对工业数据进行高效率的数据传输和数据处理的问题。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于云计算的工业数据处理***，包括：多个数据采集终端、云计算平台、多个用户终端以及监控管理后台；
多个所述数据采集终端用于对不同类型的工业数据进行实时采集，并发送至云计算平台；
所述云计算平台用于对获取的工业数据进行处理和存储；所述云计算平台包括分布式处理服务器集群、分布式存储服务器集群以及数据传输控制服务器；所述数据传输控制服务器根据分布式处理服务器集群中多个处理服务器节点上传的数据处理进程的列表信息、CPU利用率、内存使用率以及网络使用率计算处理分析值，选取其中处理分析值小于预设阈值以及距离数据汇总终端最近的处理服务器节点获取工业数据并进行处理；同时，数据传输控制服务器还选取分布式存储服务器集群中剩余存储空间大于预设阈值，且距离分布式处理服务器集群最近的一个或几个存储服务器节点获取经过分析处理后的工业数据进行存储；
所述用户终端用于对分布式存储服务器集群中存储的工业数据进行搜索和查看；
所述监控管理后台用于对数据采集终端、云计算平台、以及用户终端的数据传输和数据处理的过程进行监控管理。
进一步地，工业数据的类型为文字类型、图片类型、视频类型以及音频类型。
进一步地，多个数据采集终端互相连接；多个数据采集终端对自身的运行速率、信号强度以及实时采集数据量进行实时检测，并选取其中自身运行速率高、信号强度强以及实时采集数据量低的数据采集终端作为数据汇总终端；选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转。
进一步地，多个数据采集终端将采集获取的工业数据传输至距离最近的数据汇总终端。
进一步地，所述数据传输控制服务器将同一个处理服务器节点的数据处理进程的数量标记为Ai，将CPU利用率标记为Ci，将内存使用率标记为Ni，将网络使用率标记为Wi；其中i表示处理服务器节点编号，i＝1,2……i；
根据计算公式Pi＝α×Ai+β×Ci+γ×Ni+δ×Wi；获取第i处理服务器节点的处理分析值；其中α、β、γ以及δ为修正系数。
进一步地，用户终端为手机移动终端、PC端或者平板端。
进一步地，所述用户终端设置有授权登录单元，用于对用户的身份进行认证，认证成功之后访问分布式存储服务器集群中存储的工业数据。
进一步地，所述监控管理后台实时监测各个服务器是否遭受攻击，并对出现卡顿的服务器进行实时处理。
与现有技术相比，本发明的有益效果是：
1、本发明中多个数据采集终端通过检测自身的运行速率、信号强度以及实时采集数据量，选取其中运行速率高、信号强度强以及实时采集数据量低的数据采集终端作为数据汇总终端，并选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转，发送至云平台；从而使得工业数据在被采集后能够快速传输至云平台，同时数据采集终端也可以减少与云平台的网络连接次数，减少云平台服务器的瘫痪概率。
2、本发明中数据传输控制服务器根据分布式处理服务器集群中多个处理服务器节点上传的数据处理进程的列表信息、CPU利用率、内存使用率以及网络使用率计算处理分析值，选取其中处理分析值小以及距离数据汇总终端最近的处理服务器节点获取工业数据并进行处理；同时，数据传输控制服务器还选取剩余存储空间大，且距离分布式处理服务器集群较近的一个或几个存储服务器节点获取经过分析处理后的工业数据；从而合理分配各个处理服务器节点获取和处理工业数据，以及各个存储服务器节点对经过处理后的工业数据的存储，使得云平台能够实时合理的调整服务器和网络资源对工业数据进行处理和存储。
附图说明
图1为本发明的***结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于云计算的工业数据处理***，包括：多个数据采集终端、云计算平台、多个用户终端以及监控管理后台；
在本申请中，所述数据采集终端设置在工业生产现场，用于对工业数据进行实时采集，并将获取的工业数据发送至云计算平台；
在工业生产过程中，根据生产产品工艺的类型，以及生产过程中的安全监控管理，工业数据的类型可以为文字类型、图片类型、视频类型以及音频类型等；
多个数据采集终端用于对不同类型的工业数据进行采集，多个数据采集终端互相连接；多个数据采集终端对自身的运行速率、信号强度以及实时采集数据量进行实时检测，并选取其中自身运行速率高于预设运行速率阈值、信号强度高于预设信号强度阈值以及实时采集数据量低于预设采集数据量阈值的数据采集终端作为数据汇总终端，并选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转；需要说明的是，多个数据采集终端将采集获取的工业数据传输至距离最近的数据汇总终端，多个数据汇总终端将获取的工业数据进行汇总，并发送至距离云计算平台最近的数据汇总终端进行数据中转；
在本申请中，所述云计算平台用于对获取的工业数据进行处理和存储；所述云计算平台包括分布式处理服务器集群、分布式存储服务器集群以及数据传输控制服务器；
所述分布式处理服务器集群用于对获取的工业数据进行分析处理；并将分析处理后的工业数据传输至分布式存储服务器集群；所述分布式处理服务器集群包括至少一个处理服务器节点；多个处理服务器节点相互连接；多个处理服务器节点将自身的多个数据处理进程的列表信息上传至数据传输控制服务器；以及多个处理服务器节点还将自身的CPU利用率、内存使用率以及网络使用率的信息上传至数据传输控制服务器；
所述分布式存储服务器集群用于对经过分布式处理服务器集群分析处理后的工业数据进行分布式存储；所述分布式存储服务器集群包括至少一个存储服务器节点；多个存储服务器节点相互连接；多个所述存储服务器节点将自身的存储空间利用情况信息和剩余存储空间信息上传至数据传输控制服务器；
所述数据传输控制服务器用于对分布式处理服务器集群的多个处理服务器节点获取工业数据进行控制；具体地，所述数据传输控制服务器获取多个处理服务器节点上传的数据处理进程的列表信息、CPU利用率、内存使用率以及网络使用率；
将同一个处理服务器节点的数据处理进程的数量标记为Ai，将CPU利用率标记为Ci，将内存使用率标记为Ni，将网络使用率标记为Wi；其中i表示处理服务器节点编号，i＝1,2……i；
根据计算公式Pi＝α×Ai+β×Ci+γ×Ni+δ×Wi；获取第i处理服务器节点的处理分析值；其中α、β、γ以及δ为修正系数；
数据传输控制服务器预设处理分析值阈值，选取其中处理分析值小于处理分析阈值的处理服务器节点以及距离数据汇总终端最近的处理服务器节点获取传输过来的工业数据并进行数据处理；
另外，所述数据传输控制服务器还用于对分布式处理服务器集群处理完毕输出的工业数据的存储进行分配；
具体地，所述数据传输控制服务器获取多个存储服务器节点上传的剩余存储空间，预设剩余存储空间阈值，选取剩余存储空间大于剩余存储空间阈值，并且距离分布式处理服务器集群较近的一个或几个存储服务器节点获取经过分析处理后的工业数据；
在本申请中，所述用户终端用于对分布式存储服务器集群中存储的工业数据进行搜索和查看；
具体地，用户终端可以为手机移动终端、PC端或者平板端；
所述用户终端设置有授权登录单元，用于对用户的身份进行认证，认证成功之后可以访问分布式存储服务器集群中存储的工业数据；
在本申请中，所述监控管理后台用于对数据采集终端、云计算平台、以及用户终端的数据传输和数据处理的过程进行监控管理；
其中，监控管理后台实时监测各个服务器是否遭受攻击，并对出现卡顿的服务器进行实时处理。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
本发明的工作原理：本发明中多个数据采集终端对工业数据进行采集，多个数据采集终端通过检测自身的运行速率、信号强度以及实时采集数据量，选取其中运行速率高、信号强度强以及实时采集数据量低的数据采集终端作为数据汇总终端，并选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转，发送至云平台；云平台中的分布式处理服务器集群对获取的工业数据进行处理，分布式存储服务器集群对处理后的工业数据进行分布式存储；其中数据传输控制服务器根据分布式处理服务器集群中多个处理服务器节点上传的数据处理进程的列表信息、CPU利用率、内存使用率以及网络使用率计算处理分析值，选取其中处理分析值小以及距离数据汇总终端最近的处理服务器节点获取工业数据并进行处理；同时，数据传输控制服务器还选取剩余存储空间大，且距离分布式处理服务器集群较近的一个或几个存储服务器节点获取经过分析处理后的工业数据；多个用户终端对分布式存储服务器集群中存储的工业数据进行搜索和查看；以及监控管理后台对数据采集终端、云计算平台、以及用户终端的数据传输和数据处理的过程进行全程的监控管理。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (8)

1.一种基于云计算的工业数据处理***，其特征在于，包括：多个数据采集终端、云计算平台、多个用户终端以及监控管理后台；
多个所述数据采集终端用于对不同类型的工业数据进行实时采集，并发送至云计算平台；
所述云计算平台用于对获取的工业数据进行处理和存储；所述云计算平台包括分布式处理服务器集群、分布式存储服务器集群以及数据传输控制服务器；所述数据传输控制服务器根据分布式处理服务器集群中多个处理服务器节点上传的数据处理进程的列表信息、CPU利用率、内存使用率以及网络使用率计算处理分析值，选取其中处理分析值小于预设阈值以及距离数据汇总终端最近的处理服务器节点获取工业数据并进行处理；同时，数据传输控制服务器还选取分布式存储服务器集群中剩余存储空间大于预设阈值，且距离分布式处理服务器集群最近的一个或几个存储服务器节点获取经过分析处理后的工业数据进行存储；
所述用户终端用于对分布式存储服务器集群中存储的工业数据进行搜索和查看；
所述监控管理后台用于对数据采集终端、云计算平台、以及用户终端的数据传输和数据处理的过程进行监控管理。
2.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，工业数据的类型为文字类型、图片类型、视频类型以及音频类型。
3.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，多个数据采集终端互相连接；多个数据采集终端对自身的运行速率、信号强度以及实时采集数据量进行实时检测，并选取其中自身运行速率高、信号强度强以及实时采集数据量低的数据采集终端作为数据汇总终端；选择其中与云计算平台最近的数据汇总终端进行其他数据汇总终端或数据采集终端发送的工业数据的中转。
4.根据权利要求3所述的一种基于云计算的工业数据处理***，其特征在于，多个数据采集终端将采集获取的工业数据传输至距离最近的数据汇总终端。
5.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，所述数据传输控制服务器将同一个处理服务器节点的数据处理进程的数量标记为Ai，将CPU利用率标记为Ci，将内存使用率标记为Ni，将网络使用率标记为Wi；其中i表示处理服务器节点编号，i＝1,2……i；
根据计算公式Pi＝α×Ai+β×Ci+γ×Ni+δ×Wi；获取第i处理服务器节点的处理分析值；其中α、β、γ以及δ为修正系数。
6.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，用户终端为手机移动终端、PC端或者平板端。
7.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，所述用户终端设置有授权登录单元，用于对用户的身份进行认证，认证成功之后访问分布式存储服务器集群中存储的工业数据。
8.根据权利要求1所述的一种基于云计算的工业数据处理***，其特征在于，所述监控管理后台实时监测各个服务器是否遭受攻击，并对出现卡顿的服务器进行实时处理。
CN202310112522.XA 2023-02-14 2023-02-14 一种基于云计算的工业数据处理*** Pending CN116170445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310112522.XA CN116170445A (zh) 2023-02-14 2023-02-14 一种基于云计算的工业数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310112522.XA CN116170445A (zh) 2023-02-14 2023-02-14 一种基于云计算的工业数据处理***

Publications (1)

Publication Number Publication Date
CN116170445A true CN116170445A (zh) 2023-05-26

Family

ID=86412882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310112522.XA Pending CN116170445A (zh) 2023-02-14 2023-02-14 一种基于云计算的工业数据处理***

Country Status (1)

Country Link
CN (1) CN116170445A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891614A (zh) * 2024-03-14 2024-04-16 山西泓禾惜贤科贸有限公司 一种基于云服务的大数据分析平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891614A (zh) * 2024-03-14 2024-04-16 山西泓禾惜贤科贸有限公司 一种基于云服务的大数据分析平台
CN117891614B (zh) * 2024-03-14 2024-05-14 山西泓禾惜贤科贸有限公司 一种基于云服务的大数据分析平台

Similar Documents

Publication Publication Date Title
CN111740860B (zh) 日志数据传输链路监控方法及装置
CN107040608A (zh) 一种数据处理方法及***
CN111611254B (zh) 设备能耗异常监测方法、装置、终端设备及存储介质
CN106101264A (zh) 内容分发网络日志推送方法、装置和***
CN111611129B (zh) PaaS云平台的性能监控方法及装置
CN114358106A (zh) ***异常检测方法、装置、计算机程序产品及电子设备
CN116170445A (zh) 一种基于云计算的工业数据处理***
CN112463422A (zh) 物联网故障运维方法、装置、计算机设备及存储介质
CN111338247A (zh) 一种基于物联网的模拟控制***及方法
CN111444072A (zh) 客户端的异常识别方法、装置、计算机设备和存储介质
CN107306200B (zh) 网络故障预警方法和用于网络故障预警的网关
CN116628774A (zh) 一种基于云计算的数据存储完整性监管***
CN115208604B (zh) 一种ami网络入侵检测的方法、装置及介质
CN117201501B (zh) 一种智慧工程共享管理***及运行方法
CN109753009A (zh) 一种液位监测数据在线管理***
CN102970768A (zh) 基于td-lte公网的气象监控***
CN112969172A (zh) 一种基于云手机的通讯流量控制方法
CN112291303A (zh) 一种基于边缘计算的多方位距离动态监测及预警方法
CN115222181B (zh) 机器人运营状态监控***及方法
CN114745616A (zh) 一种地下热信息远程监控预警***和方法
CN115333917A (zh) 一种cdn异常检测方法及装置
CN114157577B (zh) 一种物联网综合管理分析***
Peng et al. Anomaly detection based on multiple streams clustering for train real-time ethernet
CN114666093B (zh) ***安全管控方法和装置、存储介质及电子设备
CN117112039B (zh) 一种数据中心的传输优化***及运行方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination