CN111596628B - 一种海量工业数据的采集方法和采集*** - Google Patents
一种海量工业数据的采集方法和采集*** Download PDFInfo
- Publication number
- CN111596628B CN111596628B CN202010477319.9A CN202010477319A CN111596628B CN 111596628 B CN111596628 B CN 111596628B CN 202010477319 A CN202010477319 A CN 202010477319A CN 111596628 B CN111596628 B CN 111596628B
- Authority
- CN
- China
- Prior art keywords
- data
- server
- module
- opc
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005540 biological transmission Effects 0.000 claims abstract description 168
- 230000006854 communication Effects 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000003993 interaction Effects 0.000 claims abstract description 17
- 230000010354 integration Effects 0.000 claims abstract description 12
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 206010033799 Paralysis Diseases 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31282—Data acquisition, BDE MDE
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出了一种海量工业数据的采集方法和采集***，所述方法包括：采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；利用OPC‑UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；对采集到的数据进行数据清洗、数据编解码以及数据集成。所述***包括与方法步骤对应的模块。
Description
技术领域
本发明提出一种海量工业数据的采集方法和采集***，属于互联网技术领域。
背景技术
工业网络是指安装在工业生产环境中的一种全数字化、双向、多站的通信***，主要分为专用封闭型工业网络、开放型工业网络和标准工业网络，工业网络***是现在大型企业或工厂在生产运营过程中不可缺少的办公及监控网络，网络技术的产生对工业控制来说有以下优点：(1)安装布线方便；(2)模块化；(3)易于诊断；(4)自我建构；(5)企业化管理。虽然工业控制网络有这些优点，但实际上，工业控制网络的在实际运行过程中，由于采集数据过于繁多，常常出现数据传输错误和失败的问题。
发明内容
本发明提供了一种海量工业数据的采集方法和采集***，用以解决采集数据传输错误率和失败率高的问题，所采取的方法如下：
一种海量工业数据的采集方法，所述采集方法包括：
采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
对采集到的数据进行数据清洗、数据编解码以及数据集成。
进一步地，所述利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互，包括：
接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
进一步地，所述在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输，包括：
指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
与会话进行关联；其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
进一步地，在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输，包括：
获得服务器提供的传输方式；
获取所述客户端与服务器所要建立的会话的描述信息；
在所述客户端与服务器之间建立会话，并确立数据传输模式；
所述控制客户端向服务器发起关闭会话的请求；
所述控制客户端向服务器发起播放相关数据内容的请求。
进一步地，所述获得服务器提供的传输方式，包括：
利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值，所述公式(1)为；
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
根据服务器的所述能力最大值指定服务器；
利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
一种海量工业数据的采集***，所述***包括：
数据采集模块，用于采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
OPC-UA协议模块，用于利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
MQTT协议模块，用于在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
RTSP协议模块，用于在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
数据预处理模块，用于对采集到的数据进行数据清洗、数据编解码以及数据集成。
其中，数据清洗是指将数据中混有的缺失数据、噪声数据等不符合标准的数据转换为符合标准的数据；数据编解码用于降低数据维度；数据集成是指互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。
进一步地，所述OPC-UA协议模块包括：
接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
读写模块，用于通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
OPC Item模块，用于存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
OPC Group模块，用于存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
OPC Server模块，用于利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
其中，OPC Item是指与管理进行变量有关的对象，OPC Group是指管理进程变量；OPC Server是指OPC服务接口；OPC是指OLE for Process Control，为了给工业控制***应用程序之间的通信建立的一个接口标准。
进一步地，所述MQTT协议模块包括：
信息传输模块，用于指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
MQTT服务器，用于接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
订阅模块，用于与会话进行关联；
其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
进一步地，所述RTSP协议模块包括：
方法获取模块，用于获得服务器提供的传输方式；
信息获取模块，用于获取所述客户端与服务器所要建立的会话的描述信息；
请求建立模块，用于在所述客户端与服务器之间建立会话，并确立数据传输模式；
关闭请求模块，用于所述控制客户端向服务器发起关闭会话的请求；
播放请求模块，用于所述控制客户端向服务器发起播放相关数据内容的请求。
进一步地，所述方法获取模块包括：
能力获取模块，用于利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值；，其中，公式(1)为：
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
服务器分配模块，用于根据服务器的所述能力最大值指定服务器；
数据量获取模块，用于利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
服务器方法确定模块，用于对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
本发明有益效果：
本发明提出的一种海量工业数据的采集方法和采集***，极大程度上提高了数据通信过程中的正确率和成功率，通过多种些协议方式有针对性的传输具体类别的数据，有效提高了数据传输效率，防止因数据量大而导致传输效率低的情况发生。同时，通过对传输的数据进行处理，能够有效还原失效或者带噪声的数据，提高数据传输质量。另一方面，根据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述***的***框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种海量工业数据的采集方法和采集***，用以解决采集数据传输错误率和失败率高的问题，所采取的方法如下：
一种海量工业数据的采集方法，如图1所示，所述采集方法包括：
S1、采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
S2、利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
S3、在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
S4、在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
S5、对采集到的数据进行数据清洗、数据编解码以及数据集成。
上述方案的工作原理：首先，对数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据进行采集；然后，利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；随后，在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；最后，对采集到的数据进行数据清洗、数据编解码以及数据集成。
上述方案的技术效果：极大程度上提高了数据通信过程中的正确率和成功率，通过多种些协议方式有针对性的传输具体类别的数据，有效提高了数据传输效率，防止因数据量大而导致传输效率低的情况发生。同时，通过对传输的数据进行处理，能够有效还原失效或者带噪声的数据，提高数据传输质量。另一方面，根据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。
本发明的一个实施例，所述利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互，包括：
S201、接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
S202、通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
S203、存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
S204、存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
S205、利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
上述方案的工作原理：工业物联网对设备状况进行监控；其PLC(可编程序控制器)等数据源与OPC采集器之间通信使用OPC-UA协议进行。OPC-UA协议提供了一套标准的数据源和数据描述方案，按照此方案可以将工业物联网中的数字数据、文本数据和图形数据按照规则进行传输交互。通过OPC-UA自定义接口来实现客户端数据得读取。在使用OPC-UA进行读写操作的时候，需要使用Custom接口和Automation接口。Custom接口开发中涉及到三个关键对象：OpcServer、OpcGroup、OpcItem。这三个关键对象的处理过程为：存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPCGroup类对象。
上述方案的技术效果：提高传输效率和数据传输质量，避免数据传输过程中出现错误和失败的现象发生，极大程度上提高了数据传输的正确率和成功率。
本发明的一个实施例，所述在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输，包括：
S301、指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
S302、接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
S303、与会话进行关联；
其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
上述方案的工作原理：首先，指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；然后，S302、接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；最后，与会话进行关联。其中，本实施例中，MQTT协议的消息发布模式为:
对于传感器自身的工作状态信息，采用至多一次的发送形式发送至服务器；
对于传感器监控的数据采样信息，采用至少一次的发送模式发送至服务器；
所述MQTT通过订阅消息模式获得传感器工作故障和信息变更数据，采用至少一次的获取形式，获取传感器信息。
上述方案的技术效果：通过MQTT协议建立采集数据的工业传感器与网络之间的数据传输并结合上述消息发布模式能够有效提高数据传输的成功率，防止因为输出传输不成功造成的数据监控遗漏的问题。
本发明的一个实施例，在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输，包括：
S401、获得服务器提供的传输方式；
S402、获取所述客户端与服务器所要建立的会话的描述信息；
S403、在所述客户端与服务器之间建立会话，并确立数据传输模式；
S404、所述控制客户端向服务器发起关闭会话的请求；
S405、所述控制客户端向服务器发起播放相关数据内容的请求。
上述方案的工作原理：RTSP是一种基于文本的协议，用CRLF(回车换行)作为每一行的结束符，其使用过程中可以方便地增加自定义参数，并方便抓包分析。从消息传送方向上来分，RTSP的报文有两类：请求报文和响应报文。请求报文是指从客户端向服务器发送的请求(也有少量从服务器向客户端发送的请求)，响应报文是指从服务器到客户端的回应。本实施例中，通过获取指定的服务器传输方式，建立所述客户端与服务器之间的数据传输。
上述方案的技术效果：通过服务器提供的传输方式进行数据传输能够提高服务器与客户端数据传输的效率和数据兼容性，同时，根据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。
本发明的一个实施例，所述获得服务器提供的传输方式，包括：
S4011、利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值，所述公式(1)为；
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
S4012、根据服务器的所述能力最大值指定服务器；
S4013、利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
S4014、对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
上述方案的工作原理：通过服务器能够被调用的最大能力值来指定用于数据传输的服务器，并结合所要传输的数据的总量还确定述客户端与所述服务器之间的传输方式。
上述方案的技术效果：通过服务器能够被调用的最大能力值来指定用于数据传输的服务器可以提高服务器运用的合理性，避免频繁出现数据传输饱和过高的服务器，影响数据传输效率；同时，根据上述公式(1)进行服务器最大能力的计算，能够有效提高服务器最大能力计算的准确率，提高服务器分配的效率和准确性。同时，通过将描述信息和数据传输量值结合的方式来确定传输方式能够提高传输方式与数据量的配合度，避免因为传输方式与数据传输量不匹配导致的数据传输失败或错误，极大程度上提高了数据传输正确率和成功率。
一种海量工业数据的采集***，如图2所示，所述***包括：
数据采集模块，用于采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
OPC-UA协议模块，用于利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
MQTT协议模块，用于在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
RTSP协议模块，用于在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
数据预处理模块，用于对采集到的数据进行数据清洗、数据编解码以及数据集成。
其中，数据清洗是指将数据中混有的缺失数据、噪声数据等不符合标准的数据转换为符合标准的数据；数据编解码用于降低数据维度；数据集成是指互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。
上述方案的工作原理：利用数据采集模块采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；然后，通过OPC-UA协议模块、MQTT协议模块和RTSP协议模块根据自身的不同协议方式，分别对指定数据类型的采集数据进行传输。
上述方案的技术效果：极大程度上提高了数据通信过程中的正确率和成功率，通过多种些协议方式有针对性的传输具体类别的数据，有效提高了数据传输效率，防止因数据量大而导致传输效率低的情况发生。同时，通过对传输的数据进行处理，能够有效还原失效或者带噪声的数据，提高数据传输质量。另一方面，根据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。
本发明的一个实施例，所述OPC-UA协议模块包括：
接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
读写模块，用于通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
OPC Item模块，用于存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
OPC Group模块，用于存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
OPC Server模块，用于利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
其中，OPC Item是指与管理进行变量有关的对象，OPC Group是指管理进程变量；OPC Server是指OPC服务接口；OPC是指OLEforProcessControl，为了给工业控制***应用程序之间的通信建立的一个接口标准。
上述方案的工作原理：首先，利用接口定义模块对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；然后，采用读写模块通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；最后，分别利用OPC Item模块、OPC Group模块和OPCServer模块分别对OpcServer、OpcGroup和OpcItem这三个关键对象进行处理。
上述方案的技术效果：提高传输效率和数据传输质量，避免数据传输过程中出现错误和失败的现象发生，极大程度上提高了数据传输的正确率和成功率。
本发明的一个实施例，所述MQTT协议模块包括：
信息传输模块，用于指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
MQTT服务器，用于接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
订阅模块，用于与会话进行关联；
其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
上述方案的工作原理：利用信息传输模块指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；然后，利用MQTT服务器接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；最后，通过订阅模块与会话进行关联。
上述方案的技术效果：通过MQTT协议建立采集数据的工业传感器与网络之间的数据传输并结合上述消息发布模式能够有效提高数据传输的成功率，防止因为输出传输不成功造成的数据监控遗漏的问题。
本发明额一个实施例，所述RTSP协议模块包括：
方法获取模块，用于获得服务器提供的传输方式；
信息获取模块，用于获取所述客户端与服务器所要建立的会话的描述信息；
请求建立模块，用于在所述客户端与服务器之间建立会话，并确立数据传输模式；
关闭请求模块，用于所述控制客户端向服务器发起关闭会话的请求；
播放请求模块，用于所述控制客户端向服务器发起播放相关数据内容的请求。
上述方案的工作原理：首先通过方法获取模块和信息获取模块分别获取服务器提供的传输方式和所述客户端与服务器所要建立的会话的描述信息；然后，利用请求建立模块在所述客户端与服务器之间建立会话，并确立数据传输模式；最后，通过关闭请求模块和播放请求模块，所述客户端分别发起关闭会话的请求和播放相关数据内容的请求。
上述方案的技术效果：通过服务器提供的传输方式进行数据传输能够提高服务器与客户端数据传输的效率和数据兼容性，同时，根据服务器的传输能力判断，指定服务器对相关数据进行传输，能够在服务器工作量处理能力和数据传输中进行平衡，防止服务器瘫痪，影响数据传输质量和效率。
本发明的一个实施例，所述方法获取模块包括：
能力获取模块，用于利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值；，其中，公式(1)为：
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
服务器分配模块，用于根据服务器的所述能力最大值指定服务器；
数据量获取模块，用于利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
服务器方法确定模块，用于对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
上述方案的工作原理：
步骤1，通过能力获取模块利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值，所述公式(1)为；
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
步骤2、通过服务器分配模块根据服务器的所述能力最大值指定服务器；
步骤3、采用数据量获取模块，利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
步骤4、利用服务器方法确定模块对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
上述方案的技术效果：通过服务器能够被调用的最大能力值来指定用于数据传输的服务器可以提高服务器运用的合理性，避免频繁出现数据传输饱和过高的服务器，影响数据传输效率；同时，根据上述公式(1)进行服务器最大能力的计算，能够有效提高服务器最大能力计算的准确率，提高服务器分配的效率和准确性。同时，通过将描述信息和数据传输量值结合的方式来确定传输方式能够提高传输方式与数据量的配合度，避免因为传输方式与数据传输量不匹配导致的数据传输失败或错误，极大程度上提高了数据传输正确率和成功率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种海量工业数据的采集方法，其特征在于，所述采集方法包括：
采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
对采集到的数据进行数据清洗、数据编解码以及数据集成；
其中，在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输，包括：
获得服务器提供的传输方式；
获取所述客户端与服务器所要建立的会话的描述信息；
在所述客户端与服务器之间建立会话，并确立数据传输模式；
所述控制客户端向服务器发起关闭会话的请求；
所述控制客户端向服务器发起播放相关数据内容的请求；
所述获得服务器提供的传输方式，包括：
利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值，所述公式(1)为；
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
根据服务器的所述能力最大值指定服务器；
利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
2.根据权利要求1所述采集方法，其特征在于，所述利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互，包括：
接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
3.根据权利要求1所述采集方法，其特征在于，所述在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输，包括：
指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
与会话进行关联；其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
4.一种海量工业数据的采集***，其特征在于，所述***包括：
数据采集模块，用于采集数字数据、文档数据、视频数据、图像数据、音频数据、结构化数据和半结构化数据；
OPC-UA协议模块，用于利用OPC-UA协议建立所述结构化数据、半结构化数据、文本数据和图像数据的数据传输交互；
MQTT协议模块，用于在所述工业数据采集过程中，建立采集所述工业数据的传感器与服务器之间的MQTT通讯协议，并进行所述传感器采集的工业数据的通讯传输；
RTSP协议模块，用于在客户端与服务器之间建立基于文本的协议，并进行文本数据、视频数据、图像数据和音频数据的传输；
数据预处理模块，用于对采集到的数据进行数据清洗、数据编解码以及数据集成；
其中，所述RTSP协议模块包括：
方法获取模块，用于获得服务器提供的传输方式；
信息获取模块，用于获取所述客户端与服务器所要建立的会话的描述信息；
请求建立模块，用于在所述客户端与服务器之间建立会话，并确立数据传输模式；
关闭请求模块，用于所述控制客户端向服务器发起关闭会话的请求；
播放请求模块，用于所述控制客户端向服务器发起播放相关数据内容的请求；
所述方法获取模块包括：
能力获取模块，用于利用公式(1)计算服务器的在剩余能量中能够被调用的能力最大值；，其中，公式(1)为：
其中，Gmax表示服务器的在剩余能量中能够被调用的能力最大值，n表示服务器数量；C表示常数，C＝1.5；Hmax表示数据传输中所需要的最大带宽，Hmin表示数据传输时所用最小带宽；
服务器分配模块，用于根据服务器的所述能力最大值指定服务器；
数据量获取模块，用于利用公式(2)对客户端将要传输的数据量进行计算，获得数据传输量值；
其中，M表示数据传输量值；所述mi表示服务器传输客户端第i个数据文件时的数据传输量，k表示客户端传输的数据所包含的文件数；
服务器方法确定模块，用于对所述客户端请求建立会话时所要传输的数据信息进行描述，得到描述信息，结合所述描述信息和数据传输量值作为回应，确定所述客户端与所述服务器之间的传输方式。
5.根据权利要求4所述采集***，其特征在于，所述OPC-UA协议模块包括：
接口定义模块，用于对接口进行自定义，并利用定义好的所述接口对所述数据采集模块采集到的结构化数据、半结构化数据、文本数据和图像数据进行读取；
读写模块，用于通过OPC-UA协议对所述结构化数据、半结构化数据、文本数据和图像数据进行读写操作；
OPC Item模块，用于存储具体Item的定义、数据值和状态值，生成OPC Item类的对象；
OPC Group模块，用于存储由若干所述OPC Item类的对象组成的Group信息，并返回所述OPC Item模块生成的OPC Item类对象；
OPC Server模块，用于利用OPC启动服务器，获得除OPC Group类对象以外的其他对象和服务的起始类，并返回OPC Group模块生成的OPC Group类对象。
6.根据权利要求4所述采集***，其特征在于，所述MQTT协议模块包括：
信息传输模块，用于指定所述传感器将机器的指定信息以Topic和Payload的形式传送出来；其中，Topic相当于数据类型，Payload相当于数据的内容；
MQTT服务器，用于接收所述传感器发送过来的数据，并将接收到的所述数据发送至订阅模块；
订阅模块，用于与会话进行关联；
其中，每个所述传感器与所述MQTT服务器连接后视为一个会话，用于表示所述传感器与服务器之间的状态交互；一个会话包含多个订阅，每个会话中的每个订阅都有一个不同的主题筛选器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477319.9A CN111596628B (zh) | 2020-05-29 | 2020-05-29 | 一种海量工业数据的采集方法和采集*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010477319.9A CN111596628B (zh) | 2020-05-29 | 2020-05-29 | 一种海量工业数据的采集方法和采集*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111596628A CN111596628A (zh) | 2020-08-28 |
| CN111596628B true CN111596628B (zh) | 2021-07-30 |
Family
ID=72185837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010477319.9A Active CN111596628B (zh) | 2020-05-29 | 2020-05-29 | 一种海量工业数据的采集方法和采集*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111596628B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947290B (zh) * | 2021-05-16 | 2021-08-20 | 北京赛博联物科技有限公司 | 基于边云协同的设备状态监测方法、监测***及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006058983A (ja) * | 2004-08-18 | 2006-03-02 | Yokogawa Electric Corp | プロセスデータ収集装置 |
| CN101026633A (zh) * | 2007-03-01 | 2007-08-29 | 江西省电力科学研究院 | 基于iec 61850和opc的异构电能质量监测设备集成方法和网关 |
| CN101719153A (zh) * | 2009-12-09 | 2010-06-02 | 中国工商银行股份有限公司 | 对海量数据文件进行传输处理的装置及方法 |
| CN102520655A (zh) * | 2011-12-05 | 2012-06-27 | 大连海事大学 | 一种基于opc 技术的船舶机舱数据采集与监测*** |
| CN105205687A (zh) * | 2015-08-24 | 2015-12-30 | 浪潮通用软件有限公司 | 一种海量数据采集的方法 |
| CN206077446U (zh) * | 2016-08-30 | 2017-04-05 | 重庆钢铁集团电子有限责任公司 | 工业实时数据采集*** |
| CN106773978A (zh) * | 2016-12-28 | 2017-05-31 | 武汉科技大学 | 一种基于opc ua协议的设备数据采集*** |
| CN107437153A (zh) * | 2017-08-14 | 2017-12-05 | 长沙变化率信息技术有限公司 | 地下综合管廊大数据可视化运维云平台 |
| CN107992949A (zh) * | 2017-11-09 | 2018-05-04 | 北京许继电气有限公司 | 工业数据分析方法和*** |
| CN109740908A (zh) * | 2018-12-27 | 2019-05-10 | 广州联达信息科技有限公司 | 一种多数据源的数据采集方法、装置及*** |
| CN111142487A (zh) * | 2019-12-30 | 2020-05-12 | 浪潮通用软件有限公司 | 一种基于opc ua统一架构协议的设备数据采集*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801690B (zh) * | 2011-05-25 | 2015-09-30 | 华为技术有限公司 | 流媒体的处理方法、分发服务器、客户端及*** |
| CN105245410A (zh) * | 2015-11-18 | 2016-01-13 | 四川神琥科技有限公司 | 一种数据编码传输方法 |
| CN109302623B (zh) * | 2018-11-01 | 2020-06-09 | 南京大学 | 一种基于QoE模型动态自适应视频的传输方法 |
-
2020
- 2020-05-29 CN CN202010477319.9A patent/CN111596628B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006058983A (ja) * | 2004-08-18 | 2006-03-02 | Yokogawa Electric Corp | プロセスデータ収集装置 |
| CN101026633A (zh) * | 2007-03-01 | 2007-08-29 | 江西省电力科学研究院 | 基于iec 61850和opc的异构电能质量监测设备集成方法和网关 |
| CN101719153A (zh) * | 2009-12-09 | 2010-06-02 | 中国工商银行股份有限公司 | 对海量数据文件进行传输处理的装置及方法 |
| CN102520655A (zh) * | 2011-12-05 | 2012-06-27 | 大连海事大学 | 一种基于opc 技术的船舶机舱数据采集与监测*** |
| CN105205687A (zh) * | 2015-08-24 | 2015-12-30 | 浪潮通用软件有限公司 | 一种海量数据采集的方法 |
| CN206077446U (zh) * | 2016-08-30 | 2017-04-05 | 重庆钢铁集团电子有限责任公司 | 工业实时数据采集*** |
| CN106773978A (zh) * | 2016-12-28 | 2017-05-31 | 武汉科技大学 | 一种基于opc ua协议的设备数据采集*** |
| CN107437153A (zh) * | 2017-08-14 | 2017-12-05 | 长沙变化率信息技术有限公司 | 地下综合管廊大数据可视化运维云平台 |
| CN107992949A (zh) * | 2017-11-09 | 2018-05-04 | 北京许继电气有限公司 | 工业数据分析方法和*** |
| CN109740908A (zh) * | 2018-12-27 | 2019-05-10 | 广州联达信息科技有限公司 | 一种多数据源的数据采集方法、装置及*** |
| CN111142487A (zh) * | 2019-12-30 | 2020-05-12 | 浪潮通用软件有限公司 | 一种基于opc ua统一架构协议的设备数据采集*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111596628A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11252115B2 (en) | Conversation interface agent for manufacturing operation information | |
| CN111708667B (zh) | 一种业务边缘计算方法及*** | |
| US7142929B2 (en) | Process data management | |
| CN111142487A (zh) | 一种基于opc ua统一架构协议的设备数据采集*** | |
| CN112969058B (zh) | 一种具有云储存功能的工业视频实时监管平台及方法 | |
| WO2022143402A1 (zh) | 基于网关的数据处理方法、数据处理方法、边缘网关及控制*** | |
| KR102345082B1 (ko) | 클라우드 기반 iec61850 정보 처리 방법 | |
| CN111596628B (zh) | 一种海量工业数据的采集方法和采集*** | |
| KR20210098219A (ko) | 브로커 기반 OPC UA PubSub을 이용한 제조 장비 시스템의 고도화 운용 방법 | |
| CN114401284A (zh) | 固定污染源治理工况实时数据采集与传输***及方法 | |
| CN109392192B (zh) | 用于快速通信的scada***的装置连接的方法以及*** | |
| CN114024801A (zh) | 一种工业边缘计算服务网关 | |
| CN111711675B (zh) | 一种针对局域网内并发消息传递的解决方法 | |
| CN116506300A (zh) | 一种网站流量数据统计方法和*** | |
| CN115695090A (zh) | 数据传输方法、物联网网关设备及计算机可读存储介质 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN117376346A (zh) | 基于边缘计算与分布式计算的设备数据处理方法及装置 | |
| Deveci et al. | A Thorough Analysis and Comparison of Data Communication Protocols Used in Industry 4.0: The Case of Smart-CNC | |
| CN112579675A (zh) | 数据的处理方法及装置 | |
| CN113988051B (zh) | 一种车辆数据的处理*** | |
| CN115023925B (zh) | 度量和事件基础设施 | |
| US11632417B2 (en) | IoT gateway with configurable data transmission mode | |
| US20050256927A1 (en) | System and method for direct communication between automation appliances | |
| JP4756130B2 (ja) | データ収集管理システム | |
| CN114064391A (zh) | 一种分布式报警或事件信息处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |