CN114401284A - 固定污染源治理工况实时数据采集与传输***及方法 - Google Patents
固定污染源治理工况实时数据采集与传输***及方法 Download PDFInfo
- Publication number
- CN114401284A CN114401284A CN202111463135.8A CN202111463135A CN114401284A CN 114401284 A CN114401284 A CN 114401284A CN 202111463135 A CN202111463135 A CN 202111463135A CN 114401284 A CN114401284 A CN 114401284A
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- interface machine
- source database
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000003908 quality control method Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004140 cleaning Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/60—Arrangements in telecontrol or telemetry systems for transmitting utility meters data, i.e. transmission of data from the reader of the utility meter
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种固定污染源治理工况实时数据采集与传输***,包括数据采集传输仪器、外网接口机和监控中心,监控中心包括内网接口机、采集器集群、贴源数据库集群、工业操作***和多个监控子***:通过数据采集传输仪采集监控数据经过加密处理后由内外网接口机发送到采集器集群进行解密;再接入贴源数据库,通过标准数据服务将数据推送到工业操作***的时序数据库中,根据各监控子***的业务要求,按照业务规则对数据进行计算处理后,存入业务数据库中,工业操作***提供开放接口供监控子***调用数据。本申请的***是基于工业操作***实现的,实现了固定污染源治理工况数据从现场端到监控中心的从采集到传输的整个数据流高效可靠的处理过程。
Description
技术领域
本申请涉及工业互联网技术领域,尤其涉及一种基于工业操作***的固定污染源治理工况实时数据采集与传输***及方法。
背景技术
工业操作***作为工业互联网的心脏,是工业企业中工业大数据、工业软件应用汇聚的基础底座,是工厂的联通器,向下对接海量工业装备、仪器、产品,向上支撑工业智能化应用的快速开发与部署。
但是目前,工业互联网操作***针对排污单位从数据采集再到传输至监控中心的方案并不多见,且在排污领域监测数据有效传输率较低。为此针对重点排污企业,提出了一种固定污染源治理工况实时数据采集与传输方法。
发明内容
本申请提供了一种固定污染源治理工况实时数据采集与传输***及方法,以提高采集传输排污单位治理工况实时数据的可靠性和传输性能。本申请的技术方案如下:
第一方面,本申请实施例提供了一种固定污染源治理工况实时数据采集与传输***,包括数据采集传输仪器、外网接口机和监控中心,所述监控中心包括内网接口机、采集器集群、贴源数据库集群、工业操作***和多个监控子***:
多个所述数据采集传输仪器分别用于采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口;
所述外网接口机用于将接收的报文数据进行数据加密,并将加密后的报文数据推送到所述内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;
所述内网接口机用于将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
所述采集器集群用于将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入所述贴源数据库集群;
所述贴源数据库集群用于对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,所述贴源数据库集群还用于将经过质量控制后的数据推送至所述工业操作***;
所述工业操作***,包括数据湖和数据服务单元,所述数据湖包括时序数据库中和业务数据库,所述工业操作***用于向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到所述时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,所述工业操作***还用于按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入所述业务数据库中;所述数据服务单元为所述监控子***提供用于对所述业务数据库中的数据进行查询的API接口。
第二方面,本申请实施例提供了一种固定污染源治理工况实时数据采集与传输方法,包括:
通过多个所述数据采集传输仪器分别采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并将分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口;
通过所述外网接口机将接收的报文数据进行数据加密,并将加密后的报文数据推送到内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;
通过所述内网接口机将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
通过所述采集器集群将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入贴源数据库集群;
通过所述贴源数据库集群对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,通过所述贴源数据库集群将经过质量控制后的数据推送至所述工业操作***;
通过所述工业操作***向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,通过所述工业操作***按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入业务数据库中;通过数据服务单元为监控中心的监控子***提供的对所述业务数据库中的数据进行查询的API接口。
本申请的固定污染源治理工况实时数据采集与传输***及方法,是基于工业操作***实现的,实现了固定污染源治理工况数据从现场端到监控中心的从采集到传输的整个数据流高效可靠的处理过程。通过数据采集传输仪器设计对应数据格式的数据接口来采集工况监测设备输出的实时监测数据,提到数据传输的正确性;源数据库集群到工业操作***采用分布式消息队列的方式,更加高速、可靠、稳定的传输数据。采集器集群和贴源数据库集群采用Linux虚拟服务器的负载均衡技术对包括末端、工况、用电等的贴源数据进行存储,能够实现对海量数据进行高效率存储和访问,同时对数据进行质量控制,减轻工业操作***中台数据计算负载压力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1为本申请实施例的固定污染源治理工况实时数据采集与传输***的框架示意图。
图2为本申请实施例的固定污染源治理工况实时数据采集与传输***的内外网网络通讯示意图。
图3为本申请实施例的固定污染源治理工况实时数据采集与传输***的内网数据传输框图。
图4为本申请实施例的贴源数据库集群的LVS架构图。
图5为本申请实施例的贴源数据库集群的调试流程图。
图6为本申请实施例的贴源数据库集群的质量控制的流程图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提供了一种固定污染源治理工况实时数据采集与传输***,如图1所示,包括数据采集传输仪器(简称数采仪)、外网接口机和监控中心,所述监控中心包括内网接口机、采集器集群、贴源数据库集群(简称贴源数据库)、工业操作***和多个监控子***:
多个所述数据采集传输仪器分别用于采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口。
需要说明的是,固定污染源治理工况数据包括用电监控数据、工况监控数据、末端监控数据,分别简称为用电数据、工况数据、末端数据。
传统的对现场端的数据采集的方式为:现场端的工况监测设备经由传输网络直接将212标准数据以数据包形式直接上送到监控中心。这种方式的缺点是容易产生数据传输错误。
为了保证现场端的监测数据能够正确进入整个传输网络,本申请采用的是通过多个数据采集传输仪器分别采集现场端的工况监测设备的工况监测设备输出的工况数据、用电数据和末端数据等。针对工况数据、用电数据和末端数据不同的数据结构,对应的数据采集传输仪器设置对应数据结构的数据接口。数据接口以TCP协议的方式将数据包上送到监控中心所在的内网中。
所述外网接口机用于将接收的报文数据进行数据加密,并将加密后的报文数据推送到所述内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;其中,外网接口机设置端口转发服务器。
可选的,外网接口机对HJ212报文数据进行TLS数据加密。
所述内网接口机用于将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
所述采集器集群用于将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入所述贴源数据库集群;
所述贴源数据库集群用于对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,所述贴源数据库集群还用于将经过质量控制后的数据推送至所述工业操作***;
所述工业操作***,包括数据湖和数据服务单元,所述数据湖包括时序数据库中和业务数据库,所述工业操作***用于向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到所述时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,所述工业操作***还用于按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入所述业务数据库中;所述数据服务单元为所述监控子***提供用于对所述业务数据库中中的数据进行查询的API接口。
工业操作***向贴源数据库集群订阅数据,存到时序数据库,并根据监控中心的监控子***的业务需求,开放openAPI接口供监控子***进行数据查询。
工业操作***将接收到的贴源数据库集群中的数据转存到时序数据库中。监控中心的各监控子***按照各自的业务需求向工业操作***中台提出数据要求,例如需要向工业操作***中台按ST、MN为单位查询出接入监测点包含相关属性的当前值和历史值,工业操作***中台按照该业务需求,整理业务规则,开发openAPI接口供监控子***调用。
在本实施例中,监控子***包括工况监控子***、用电监控子***和末端监控子***等。
本申请的工业操作***将获取的固定污染源在线监控***的实时数据,分别通过数据采集、数据预处理、数据服务等功能,将末端监控、工况监控、用电监控等***的监控数据整合为数据资产,再分别为各监控子***提供“一站式”数据服务。
工况监测设备:即监控仪器仪表,用于采集现场端的监测因子的数据,并具有数字输出接口,连接到数据采集传输仪。
数据采集传输仪:工作在公网环境,对内连接工况监测设备,对外通过各治理工况数据接口连接到外网接口机,发送标准212协议数据。
环境保护部出台的《HJ 212-2017污染物在线监控(监测)***数据传输标准》规定了排污单位从企业端到监控中心的数据上送标准。(HJ 212-2017)(以下简称《传输标准》)。
上述工况监控仪表将采集的监测因子(工况数据、用电数据和末端数据)上送给数采仪212标准数据采用通用的协议,其通讯包数据结构依次为包头、数据段长度、数据段、CRC校验、包尾组成。
数据段结构组成如下表所示(详见《传输标准》)
字段与其值用“=”等于来连接;在数据区中,同一项目的不同分类值间用‘,’来分隔,不同项目之间用“:”分号来分隔。另监测因子编码规则和其它细节详见《传输标准》,在此不再赘述。
本申请的固定污染源治理工况实时数据采集与传输***,是基于工业操作***实现的,实现了固定污染源治理工况数据从现场端到监控中心的从采集到传输的整个数据流高效可靠的处理过程。通过数据采集传输仪器设计对应数据格式的数据接口来采集工况监测设备输出的实时监测数据,提到数据传输的正确性;源数据库集群到工业操作***采用分布式消息队列的方式,更加高速、可靠、稳定的传输数据。采集器集群和贴源数据库集群采用Linux虚拟服务器的负载均衡技术对包括末端、工况、用电等的贴源数据进行存储,能够实现对海量数据进行高效率存储和访问,同时对数据进行质量控制,减轻工业操作***中台数据计算负载压力。
如图2所示,外网接口机和内网接口机分别设置代理服务器和代理客户端,并通过端口转发的方式基于TCP协议进行报文数据的交换传输。
在本实施例中,在外网接口机设置代理服务器,配置端口转发功能,对多数据源配置多转发功能,可以通过配置文件来进行批量配置。同理,在内网接口机上设置代理服务器客户端,端口转发也进行相似配置。在内网安装采集器软件,完成必要的驱动配置和工况配置后运行采集器集群的服务。
现场端的数采仪所在的公网通过外网接口机与外网做端口转发,以实现外网接口机与位于公网的数据源设备即数采仪的通信。
位于外网的外网接口机作为数据代理服务器同时接收来自数采仪、数据代理客户端的TCP连接请求,根据两者连接的标识符,将对外端口上的连接和对内端口上的连接一一配对,进行TLS数据加密并转发两个连接中的212数据,将数据上送到内网接口机。
本实施例通过内网的采集器集群控制整个数据的收发,向内网接口机请求接收数据,内网接口机再向外网接口机请求数据,外网接口机向数采仪请求数据,从而打通数据从公网到内网的传输工作。
如图3所示,内网的采集器集群除了提供数据采集服务,还将对数据进行解密,并将数据传给贴源数据库集群,为工业操作***的数据计算服务、数据存储服务提供基础数据来源。同时为了满足从采集器集群到贴源数据库集群的数据传输的高效性,采用Linux虚拟服务器(Linux Virtual Server,LVS)技术进行部署采集器集群服务器和贴源数据库集群服务器。贴源数据库集群以标准数据服务WebAPI接口通过HTTP协议将所述贴源数据库集群质量控制过的数据同步到所述工业操作***的时序数据库。
为了对海量数据进行高效率存储和访问,减轻工业操作***的压力。将采集器集群和贴源数据库集群安装到多个服务器中,并采用LVS技术进行负载均衡技术管理,实现一个高性能,高可用的服务器群集。
可选的,贴源数据库集群被安装于由多个服务器组成的服务器集群***上,所述服务器集群***包括最前端的负载均衡层,中间的服务器群组层,最底层的数据共享存储层;所述负载均衡层安装Linux虚拟服务器并含有用于完成Linux虚拟服务器功能所设定的路由表,所述路由表用于将用户的请求通过轮询的方式分发到中间的服务器群组层。
以贴源数据库集群为例,如图4所示,LVS架设的服务器集群***有三个部分组成:最前端的负载均衡层(Loader Balancer),中间的服务器群组层,最底层的数据共享存储层,在用户看来所有的应用都是透明的,用户只是在使用一个虚拟服务器提供的高性能服务。LVS安装在带有负载调度器的服务器上,负载调度器含有完成LVS功能所设定的路由表,按照这些路由表把用户的请求通过轮询(PR)的方式分发给到中间的贴源数据库群组上。
同理,采集器集群也采用同样的方式进行LVS管理,在此不再赘述。
为了确保贴源数据库集群能够正确接收到监测数据,本申请实施例在所述外网接口机处设置反向代理,用于贴源数据库集群的调试,如图5所示,调试步骤如下:
在外网环境下,使用网络调试助手软件代理所述外网接口机连接所述内网接口机,若连接失败,则修正反向代理配置;若连接成功,则填写所述采集器集群的地址,并通过TCP协议向所述内网接口机发送标准212报文,该报文经由所述内网接口机分发给所述采集器集群;其中,报文遵循上文所述《传输标准》,格式如下:
##0168QN=20210111155207176;ST=52;CN=2011;PW=889101;MN=320802000005888888889101;Flag=5;CP=&&DataTime=20210111155207;DeviceStatus=1;DataType=rtd;e10162-Rtd=0.28,e10162-Flag=N&&2580。
所述采集器集群收到报文后,向所述外网接口机发送应答信号,若所述外网接口机未收到该应答信号,则修正所述采集器集群的组态配置;若所述外网接口机收到该应答信号,则所述采集器集群登录标准数据服务;若无法登录,则修正所述标准数据服务的网络配置;若成功登录,则测试调用所述标准数据服务中的API接口,并判断是否有正确的返回值格式,若无正确的返回值格式,则修正所述标准数据服务中的API接口的配置;若有正确的返回值格式,则通过所述贴源数据库集群提供的API接口向所述贴源数据库集群查询之前所述采集器集群发送的212报文数据,若查询不到,则修正所述贴源数据库集群的程序配置;若查询到所述外网接口机发送的212报文数据,则完成调试。
如图6所示,贴源数据库集群需要对数据进行质量控制后再传给工业操作***,以减轻工业操作***的数据计算的压力,质量控制方案如下:
针对采集器集群采集的监测点数据对脏数据进行数据质量分类,主要分为不完整数据(数据缺失等)、不一致数据(曰期格式不一致等)和相似重复数据清洗三个模块;对脏数据按照分类自动完成清洗操作,得到满足要求的数据。
可选的,贴源数据库集群包括质量控制模块,所述质量控制模块根据预先对脏数据进行的数据质量分类,设置对应的不完整数据清洗模块、不一致数据清洗模块和相似重复数据清洗模块,分别用于清洗对应分类的数据。
工业操作***与贴源数据库采用分布式消息队列的方式,通过分布式发布-订阅消息***Apache Kafka进行数据传输。
Kafka是由Apache软件基金会开发的一个开源流处理平台,Kafka是一种高吞吐量的分布式发布订阅消息***,它可以处理消费者在网站中的所有动作流数据。比起大多数的消息***来说,Kafka有更好的吞吐量,内置的分区,冗余及容错性,这让Kafka成为了一个很好的大规模消息处理应用的解决方案。每条发布到Kafka集群的消息都有一个类别,这个类别被称为话题(topic)。每个topic包含一个或多个分区(partition),每个分区(partition)是一个有序的、不可变的消息序列,这个序列可以被连续地追加。在分区内的每条消息都有一个有序的id号,这个id号被称为偏移(offset),这个偏移量可以唯一确定每条消息在分区内的位置。Kafka集群包含一个或多个服务器,这种服务器被称为broker。
本实施例中贴源数据库作为Kafka的Producer(生产者),工业操作***作为Consumer(消费者)。贴源数据库作为数据的发布者,将消息发布到Kafka的topic中,工业操作***可以选择多种消费方式消费(订阅)Kafka中的数据,步骤如下:
Kafka将数据以partition的方式存储到broker上。其中,Kafka支持数据均衡,例如,贴源数据库生成了两条消息,topic有两个partition,那么Kafka将在两个partition上分别存储一条消息;
工业操作***订阅指定topic的数据,Kafka将当前的offset发给消费者,消费者以特定的间隔(如100ms)向Kafka请求数据;
当Kafka接收到贴源数据库发送的数据时,Kafka将这些数据推送给工业操作***,操作***作为中台受到Kafka推送的数据,并进行处理;
当工业操作***处理完该条消息后,会向Kafka broker发送一个该消息已被消费的反馈,接到反馈后,Kafka更新offset。
以上过程一直重复,直到工业操作***停止请求数据。
以上对本申请所提供的固定污染源治理工况实时数据采集与传输***进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想,不作为本方案的限制。
对应上述固定污染源治理工况实时数据采集与传输***,本申请实施例提供了一种固定污染源治理工况实时数据采集与传输方法,包括:
通过多个所述数据采集传输仪器分别采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并将分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口;
通过所述外网接口机将接收的报文数据进行数据加密,并将加密后的报文数据推送到内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;
通过所述内网接口机将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
通过所述采集器集群将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入贴源数据库集群;
通过所述贴源数据库集群对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,通过所述贴源数据库集群将经过质量控制后的数据推送至所述工业操作***;
通过所述工业操作***向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,通过所述工业操作***按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入业务数据库中;通过数据服务单元为监控中心的监控子***提供的对所述业务数据库中的数据进行查询的API接口。
本申请的固定污染源治理工况实时数据采集与传输方法,实现了固定污染源治理工况数据从现场端到监控中心的从采集到传输的整个数据流高效可靠的处理过程。通过数据采集传输仪器设计对应数据格式的数据接口来采集工况监测设备输出的实时监测数据,提到数据传输的正确性;源数据库集群到工业操作***采用分布式消息队列的方式,更加高速、可靠、稳定的传输数据。采集器集群和贴源数据库集群采用Linux虚拟服务器的负载均衡技术对包括末端、工况、用电等的贴源数据进行存储,能够实现对海量数据进行高效率存储和访问,同时对数据进行质量控制,减轻工业操作***中台数据计算负载压力。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或***。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种固定污染源治理工况实时数据采集与传输***,其特征在于,包括数据采集传输仪器、外网接口机和监控中心,所述监控中心包括内网接口机、采集器集群、贴源数据库集群、工业操作***和多个监控子***:
多个所述数据采集传输仪器分别用于采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口;
所述外网接口机用于将接收的报文数据进行数据加密,并将加密后的报文数据推送到所述内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;
所述内网接口机用于将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
所述采集器集群用于将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入所述贴源数据库集群;
所述贴源数据库集群用于对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,所述贴源数据库集群还用于将经过质量控制后的数据推送至所述工业操作***;
所述工业操作***,包括数据湖和数据服务单元,所述数据湖包括时序数据库中和业务数据库,所述工业操作***用于向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到所述时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,所述工业操作***还用于按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入所述业务数据库中;所述数据服务单元为所述监控子***提供用于对所述业务数据库中的数据进行查询的API接口。
2.根据权利要求1所述的***,其特征在于,所述外网接口机设置用于调试所述贴源数据库集群的反向代理,所述调试过程包括:
使用网络调试助手软件代理所述外网接口机连接所述内网接口机,若连接失败,则修正反向代理配置;若连接成功,则填写所述采集器集群的地址,并通过TCP协议向所述内网接口机发送标准212报文,该报文经由所述内网接口机分发给所述采集器集群;
所述采集器集群收到报文后,向所述外网接口机发送应答信号,若所述外网接口机未收到该应答信号,则修正所述采集器集群的组态配置;若所述外网接口机收到该应答信号,则所述采集器集群登录标准数据服务;若无法登录,则修正所述标准数据服务的网络配置;若成功登录,则测试调用所述标准数据服务中的API接口,并判断是否有正确的返回值格式,若无正确的返回值格式,则修正所述标准数据服务中的API接口的配置;若有正确的返回值格式,则通过所述贴源数据库集群提供的API接口向所述贴源数据库集群查询之前所述采集器集群发送的212报文数据,若查询不到,则修正所述贴源数据库集群的程序配置;若查询到所述外网接口机发送的212报文数据,则完成调试。
3.根据权利要求1所述的***,其特征在于,所述外网接口机和内网接口机分别设置代理服务器和代理客户端,并通过端口转发的方式基于TCP协议进行报文数据的交换传输。
4.根据权利要求1所述的***,其特征在于,所述贴源数据库集群以标准数据服务WebAPI接口通过HTTP协议将所述贴源数据库集群质量控制过的数据同步到所述工业操作***的时序数据库。
5.根据权利要求1所述的***,其特征在于,所述工业操作***与所述贴源数据库集群采用分布式消息队列的方式,通过分布式发布-订阅消息***Apache Kafka进行数据传输;所述贴源数据库集群作为数据的发布者,将消息发布到Kafka的话题中,所述工业操作***订阅Kafka中的数据。
6.根据权利要求1所述的***,其特征在于,所述贴源数据库集群被安装于由多个服务器组成的服务器集群***上,所述服务器集群***包括最前端的负载均衡层,中间的服务器群组层,最底层的数据共享存储层;所述负载均衡层安装Linux虚拟服务器并含有用于完成Linux虚拟服务器功能所设定的路由表,所述路由表用于将用户的请求通过轮询的方式分发到中间的服务器群组层。
7.根据权利要求1所述的***,其特征在于,所述贴源数据库集群包括质量控制模块,所述质量控制模块根据预先对脏数据进行的数据质量分类,设置对应的不完整数据清洗模块、不一致数据清洗模块和相似重复数据清洗模块,分别用于清洗对应分类的数据。
8.一种固定污染源治理工况实时数据采集与传输方法,其特征在于,包括:
通过多个所述数据采集传输仪器分别采集固定污染源监测点的工况监测设备输出的工况数据、用电数据和末端数据,并将分别将所述工况数据、用电数据和末端数据以标准HJ212数据格式向外网接口机推送报文数据;其中,多个所述数据采集传输仪器分别设有对应工况数据、用电数据和末端数据的数据格式的数据接口;
通过所述外网接口机将接收的报文数据进行数据加密,并将加密后的报文数据推送到内网接口机;其中,所述外网接口机根据TCP连接请求的连接标识符,将对外端口上的连接和对内端口上的连接一一配对;
通过所述内网接口机将接收的加密后的报文数据通过数据分发服务,分发给预先部署好的采集器集群;
通过所述采集器集群将所述内网接口机分发的数据包解密后得到的标准HJ212实时数据包接入贴源数据库集群;
通过所述贴源数据库集群对接收的所述实时数据包中的数据进行质量控制;当接收到工业操作***发送的数据订阅请求后,通过所述贴源数据库集群将经过质量控制后的数据推送至所述工业操作***;
通过所述工业操作***向所述贴源数据库集群发送数据订阅请求,并将接收到的数据存储到时序数据库中;针对存于所述时序数据库中的工况、用电以及末端实时监控数据,通过所述工业操作***按照各个监控子***的业务规则进行相应的计算或处理,将计算或处理结果存入业务数据库中;通过数据服务单元为监控中心的监控子***提供的对所述业务数据库中的数据进行查询的API接口。
9.根据权利要求8所述的方法,其特征在于,所述外网接口机设置用于调试所述贴源数据库集群的反向代理,通过所述反向代理调试所述贴源数据库集群的方法,包括:
使用网络调试助手软件代理所述外网接口机连接所述内网接口机,若连接失败,则修正反向代理配置;若连接成功,则填写所述采集器集群的地址,并通过TCP协议向所述内网接口机发送标准212报文,该报文经由所述内网接口机分发给所述采集器集群;
所述采集器集群收到报文后,向所述外网接口机发送应答信号,若所述外网接口机未收到该应答信号,则修正所述采集器集群的组态配置;若所述外网接口机收到该应答信号,则所述采集器集群登录标准数据服务;若无法登录,则修正所述标准数据服务的网络配置;若成功登录,则测试调用所述标准数据服务中的API接口,并判断是否有正确的返回值格式,若无正确的返回值格式,则修正所述标准数据服务中的API接口的配置;若有正确的返回值格式,则通过所述贴源数据库集群提供的API接口向所述贴源数据库集群查询之前所述采集器集群发送的212报文数据,若查询不到,则修正所述贴源数据库集群的程序配置;若查询到所述外网接口机发送的212报文数据,则完成调试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111463135.8A CN114401284B (zh) | 2021-12-02 | 2021-12-02 | 固定污染源治理工况实时数据采集与传输***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111463135.8A CN114401284B (zh) | 2021-12-02 | 2021-12-02 | 固定污染源治理工况实时数据采集与传输***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114401284A true CN114401284A (zh) | 2022-04-26 |
CN114401284B CN114401284B (zh) | 2023-09-29 |
Family
ID=81225675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111463135.8A Active CN114401284B (zh) | 2021-12-02 | 2021-12-02 | 固定污染源治理工况实时数据采集与传输***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114401284B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114844898A (zh) * | 2022-04-29 | 2022-08-02 | 中国光大银行股份有限公司 | 一种互联网接入方法、装置及*** |
CN114978683A (zh) * | 2022-05-20 | 2022-08-30 | 深圳市艾迪思特信息技术有限公司 | 一种基于mqtt协议的反向代理*** |
CN117176680A (zh) * | 2023-11-02 | 2023-12-05 | 智业软件股份有限公司 | 一种基于事件驱动的时限质控***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206772344U (zh) * | 2017-03-30 | 2017-12-19 | 广东中联兴环保科技有限公司 | 气体预警监测数据采集*** |
WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
CN110109996A (zh) * | 2019-05-15 | 2019-08-09 | 浪潮通用软件有限公司 | 一种工业互联网设备实时数据采集与存储方法及*** |
CN209328206U (zh) * | 2019-03-05 | 2019-08-30 | 苏州中芸智能科技有限公司 | 一种智能环境监测数据采集仪 |
-
2021
- 2021-12-02 CN CN202111463135.8A patent/CN114401284B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
CN206772344U (zh) * | 2017-03-30 | 2017-12-19 | 广东中联兴环保科技有限公司 | 气体预警监测数据采集*** |
CN209328206U (zh) * | 2019-03-05 | 2019-08-30 | 苏州中芸智能科技有限公司 | 一种智能环境监测数据采集仪 |
CN110109996A (zh) * | 2019-05-15 | 2019-08-09 | 浪潮通用软件有限公司 | 一种工业互联网设备实时数据采集与存储方法及*** |
Non-Patent Citations (2)
Title |
---|
冼国华: "基于物联网技术的污染源在线监控平台设计与分析", 广东化工, vol. 45, no. 372 * |
黎刚: "基于污染源自动监控数据的企业污染物排放负荷分析方法研究", 江苏科技信息 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114844898A (zh) * | 2022-04-29 | 2022-08-02 | 中国光大银行股份有限公司 | 一种互联网接入方法、装置及*** |
CN114844898B (zh) * | 2022-04-29 | 2024-06-11 | 中国光大银行股份有限公司 | 一种互联网接入方法、装置及*** |
CN114978683A (zh) * | 2022-05-20 | 2022-08-30 | 深圳市艾迪思特信息技术有限公司 | 一种基于mqtt协议的反向代理*** |
CN117176680A (zh) * | 2023-11-02 | 2023-12-05 | 智业软件股份有限公司 | 一种基于事件驱动的时限质控***及方法 |
CN117176680B (zh) * | 2023-11-02 | 2024-02-23 | 智业软件股份有限公司 | 一种基于事件驱动的时限质控***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114401284B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114401284B (zh) | 固定污染源治理工况实时数据采集与传输***及方法 | |
CN112799789B (zh) | 一种节点集群管理方法、装置、设备及存储介质 | |
CN109118347B (zh) | 一种自动化协作方法及*** | |
CN108769121A (zh) | 智能工业装备物联网数据采集***及采集数据的上传方法 | |
CN103248645B (zh) | Bt离线数据下载***及方法 | |
CN110009201B (zh) | 一种基于区块链技术的电力数据链接***及方法 | |
CN101662484B (zh) | 一种基于rfc1867规范的http协议的文件上传方法 | |
CN108989358B (zh) | 一种基于tcp/ip协议纺机运行数据获取方法 | |
CN112925646A (zh) | 一种电力数据边缘计算***以及计算方法 | |
CN101741885A (zh) | 分布式***及分布式***处理任务流的方法 | |
US6487577B1 (en) | Distributed compiling | |
CN108833267A (zh) | 智能工业网关 | |
CN107025222A (zh) | 一种分布式日志采集方法及装置 | |
CN111225069A (zh) | 一种分布式行情数据处理***及方法 | |
CN110995859A (zh) | 一种基于泛在物联网的变电站智能支撑平台*** | |
US20200174435A1 (en) | Energy Information System, and Method and Device for Processing Energy Information | |
CN101404630B (zh) | 互联网业务接入网关的实现方法和*** | |
CN101808051A (zh) | 应用整合网关及其控制方法 | |
CN110445697A (zh) | 视频大数据云平台设备接入服务方法 | |
CN100452704C (zh) | 一种发布博客文章的方法和*** | |
CN102904967A (zh) | 一种基于五金机电领域的智能物联网数据交换平台方案 | |
CN101764761B (zh) | 限制业务提供商接口的发送流量的方法及多媒体业务网关 | |
CN112351106B (zh) | 一种含事件网格的服务网格平台及其通信方法 | |
CN117615043A (zh) | 一种边缘网关上服务间通信方法及*** | |
CN111242492A (zh) | 一种基于WebService的资源聚合商调控信息交互***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |