CN110780134B - 一种提升工控类数据采集***可靠性的***优化方法 - Google Patents

一种提升工控类数据采集***可靠性的***优化方法 Download PDF

Info

Publication number
CN110780134B
CN110780134B CN201911044225.6A CN201911044225A CN110780134B CN 110780134 B CN110780134 B CN 110780134B CN 201911044225 A CN201911044225 A CN 201911044225A CN 110780134 B CN110780134 B CN 110780134B
Authority
CN
China
Prior art keywords
reliability
server
nodes
industrial control
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911044225.6A
Other languages
English (en)
Other versions
CN110780134A (zh
Inventor
刘丕洲
武延年
李魁雨
孙永明
魏本海
王祥
赵成文
那辰星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
China Gridcom Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
China Gridcom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd, China Gridcom Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN201911044225.6A priority Critical patent/CN110780134B/zh
Publication of CN110780134A publication Critical patent/CN110780134A/zh
Application granted granted Critical
Publication of CN110780134B publication Critical patent/CN110780134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/003—Environmental or reliability tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种提升工控类数据采集***可靠性的***优化方法，该方法将承载各功能的服务器及网络设备视为***的逻辑节点，基于节点的***可靠性改造设计，遵照保障业务不间断运行的原则，不考虑***受攻击以及安全设计，将承载各功能的服务器及网络设备分为高可靠性保障和一般可靠性保障两个级别，可靠性要求高的节点，采用高可靠性保障策略；中低要求可靠性的节点，采用一般可靠性保障策略。***经过本方法优化后，所提升的能力包括：防止网络局部拥塞、防止信息网络瘫痪、防止业务数据丢失、防止关键节点冗余过低、防止单点故障、防止服务器负载过高和防止服务器时差过大，保证了数据存储的可靠性，确保了***服务不间断运行。

Description

一种提升工控类数据采集***可靠性的***优化方法
技术领域
本发明涉及工业控制技术领域，具体涉及一种提升工控类数据采集***可靠性的***优化方法。
背景技术
随着科学技术的进步和能源发展格局的变化，工业控制***已涵盖多种类型的控制***，包括监控和数据采集***，分布式控制***等；针对数据采集类***，数据在终端设备生成，通过公网或专网传至通信前置服务器，后通过采集前置服务器、数据库服务器、应用服务器等完成数据采集入库和数据应用过程。目前的工业控制***通常使用于电力，水利，石油和天然气等行业，而数据采集是工控***一种应用类别，相关功能一般可包括可视化的报表定义、审核关系的定义、报表的审批和发布、数据填报、数据预处理、数据评审、综合查询统计等。随着目前物联网技术不断发展，工控类数据量不断增多，对数据处理的时效性要求不断提高，同时工控***作为底层数据获取入口，又支撑了大量高级应用***，是实现物联网应用的基础性***，因此保障工控类数据采集***的可靠运行尤为重要。
但现在仍普遍采用传统信息***建设方式建设工控类数据采集***，对***可靠性研究不够深入，可靠性保障手段仍有所不足，没有筛选出***中关键节点设备并对不同设备采用不同可靠性策略，***的软、硬件架构容错能力较差，当工控类数据采集***出现故障时，难以及时恢复，在***出现处理压力过高而不能提供全部服务时，无法及时断开部分业务或对业务进行降级处理，以减轻***压力，保证核心业务不间断。
发明内容
本发明的目的是针对现有技术中存在的缺陷，提供一种提升工控类数据采集***可靠性的***优化方法，解决上述现有技术问题中的一个或者多个。
根据本发明提供的一种提升工控类数据采集***可靠性的***优化方法，包括以下步骤：
将工控***中承载各功能的服务器及网络设备视为工控***的各个逻辑节点；
判断各个所述节点故障时是否影响所述工控***的运行；若所述节点出现故障影响所述工控***运行，则将该所述节点视为高可靠性要求的节点；反之，则将该所述节点视为一般可靠性要求的节点；
高可靠性要求的节点采用高可靠性保障策略，使***数据、文件损坏或丢失后，***可以自动将这些数据恢复到以前的状态，使***能够继续正常运行；
一般可靠性要求的节点采用一般可靠性保障策略，使***在运行过程中部分组件出现故障时，***仍然不会失效，可以继续运行。
本方法提高了***的容错能力，增强了***的可靠性。
在一些实施方式中，对于高可靠性保障要求节点，根据从节点可靠性及相关节点自适应两方面进行设计；对于一般可靠性保障要求节点，可根据***状况自定义可靠性保障策略。
在一些实施方式中，节点可靠性对于某一设备节点，使用动态负载均衡的，采用n+2原则，其中，n为满足正常业务开展至少需要使用的设备台数，2为冗余设备，适度增加冗余设备，还可以使用集群等高可用技术，实现故障设备自动切换或业务自动接管。
在一些实施方式中，相关节点自适应主要通过相关节点自主调整业务来实现，即通过对节点运行的各项业务预先进行分类分级，在节点性能压力较大时，采用延迟甚至暂停部分低级别业务以保证更高级别业务正常运行的策略。
在一些实施方式中，工控类数据采集***包括采集主站层、通信信道层和终端设备层，采集主站层又包括存储区、应用区和安全接入区。
在一些实施方式中，存储区由生产库集群、应用库集群、数据挖掘库集群、接口库集群和存储模块组成，应用区由性能监测服务器、主站密码机、接口服务器、采集前置集群、Web应用服务器和任务服务器集群组成，安全接入区主要为通信前置集群，通信前置集群连接有负载均衡器和多串口设备，负载均衡器与3A认证服务器相通。
在一些实施方式中，高可靠性要求的服务器及网络设备节点有：通信服务器、采集服务器、任务服务器、Web应用服务器、密码机、应用库、接口服务器、生产库和接口库；中低可靠性要求的服务器及网络设备节点有：数据挖掘库和性能监测服务器。
综上所述，***经过本方法优化后，所提升的能力包括：防止网络局部拥塞、防止信息网络瘫痪、防止业务数据丢失、防止关键节点冗余过低、防止单点故障、防止服务器负载过高和防止服务器时差过大，保证了数据存储的可靠性，确保了***服务不间断运行。
本发明的有益效果：
1、针对不同的设备集群，采取不同的可靠性设计策略，在提升***整体可靠性的同时，避免资源浪费；
2、***自身容错能力提升，从而提升指令下发正确率、***年可用率，增加***各类设备平均无故障时间，降低***故障发生频次，减少***故障恢复时间；
3、在业务高峰期，***运行压力较大时，可优先保障重点业务正常运行，降低重点业务中断、出错风险，避免造成较大损失。
附图说明
图1为本发明一种提升工控类数据采集***可靠性的***优化方法的***逻辑架构图；
图2为本发明一种提升工控类数据采集***可靠性的***优化方法的物理逻辑架构图。
具体实施方式
下面结合说明书附图，对本发明进行进一步详细的说明。
如图1所示，本发明提供的一种提升工控类数据采集***可靠性的***优化方法，在一些实施方式中，将承载各功能的服务器及网络设备视为***的逻辑节点，基于逻辑节点的***可靠性改造设计，遵照保障业务不间断运行的原则，不考虑***受攻击以及安全设计，将承载各功能的服务器及网络设备分为高可靠性保障和一般可靠性保障两个级别，可靠性要求高的设备节点，采用高可靠性保障策略；中低要求可靠性的设备节点，采用一般可靠性保障策略。
在一些实施方式中，工控类数据采集***包括采集主站层、通信信道层和终端设备层，采集主站层又包括存储区、应用区和安全接入区。
存储区由生产库集群、应用库集群、数据挖掘库集群、接口库集群和存储模块组成。其中，生产库主要承担前置采集数据入库应用，侧重数据写操作，数据来源于前置程序，通过底层复制技术(OGG、DSG等)实时向应用库同步数据；应用库主要承担***功能应用需求，用于数据查询、统计分析等，侧重于数据读操作，数据来源于生产库和其他***，向接口库推送发布数据；数据挖掘库主要用于存储全量数据，同时可承担时间跨度较长的查询分析应用，数据来源于应用库，可基于Oracle、分布式存储方式实现；接口库主要用于***对外数据服务应用，数据来源于应用库，并经过相应的数据校验。
应用区由性能监测服务、主站密码机、接口服务器、采集前置集群、Web应用服务器和任务服务器集群组成，接口服务器和Web应用服务器均连接有负载均衡器来分担流量，而接口服务器在满足业务量的前提下可不采用负载均衡模式。其中，主站密码机为终端设备通信提供加密和证书服务，只允许采集前置服务器访问；接口服务器实现与其他***交互的管理，承担***统一接口服务平台任务，承担***发布数据接入、数据发布、数据订阅等应用；采集前置集群负责处理通信前置机接收到的原始数据，实现对原始数据的解析和数据加工并完成将采集数据写入***数据库；Web应用服务是工控***一种应用类别，相关功能一般可包括可视化的报表定义、审核关系的定义、报表的审批和发布、数据填报、数据预处理、数据评审、综合查询统计等；任务服务器负责发起和执行***各类型的数据采集功能，如日采集数据任务、月采集数据任务。
安全接入区主要为通信前置集群，通信前置集群是前置***的重要组成部分，用于与终端保持连接和通信，负责与终端设备之间的通信链路管理和原始通讯报文的收发，处理终端的登录与心跳报文；通信前置集群连接有负载均衡器和多串口设备，负载均衡器与3A认证服务器相通，***通过3A认证***实现对所有将要接入到***中的通信卡(SIM卡)进行档案资料的统一管理，并在终端用户接入前校验认证接入用户是否合法，只有通过认证通信卡才能接入***，另外3A认证***还为采集***提供个性化服务、业务的运行管理、监控、统计以及用户数据库管理等服务；通信信道层主要由光纤专网信道、公网网络信道和串口通信信道组成，其中，光纤专网使用双网模式，无线专网和无线公网使用虚拟专用网络VPN；公网网络信道包括GPRS、CDMA、ADSL等；串口通信信道包括230MHZ无线专网、PSTN、RS232专线等；
终端设备层设置有工控终端设备，针对数据采集类***，数据在终端设备生成，通过公网或专网传至通信前置服务器，后通过采集前置服务器、数据库服务器和应用服务器来完成数据采集入库和数据应用。
如图2本发明一种提升工控类数据采集***可靠性的***优化方法的物理逻辑架构图，所有主干线路全部使用双线路接入，实线代表主链路，虚线代表备用链路，使用备用链路可给数据进行备份。
在一些实施方式中，工控类数据采集***增强逻辑可靠性后的采用的主要硬件有：通信前置服务器、采集前置服务器、主站密码机、3A认证***、数据库服务器、Web应用服务器和接口服务器。
通信前置服务器采用动态算法进行动态负载均衡的部署方式，例如用F5设备，实现服务器宕机后，其余服务器自动接管宕机服务器业务；考虑通信前置的可靠性要求，服务器采用n+2原则进行冗余。计算公式如下：
通信前置机数量＝公司全覆盖终端总量(万台)/单台接入量(万台)+2(2台冗余)
采集前置服务器采用动态算法进行动态负载均衡的部署方式，例如用F5设备，实现服务器宕机后，其余服务器自动接管宕机服务器业务；考虑采集前置的可靠性要求，服务器采用n+2原则进行冗余。计算公式如下：
采集前置机数量＝每秒需要处理报文业务总量/单台秒处理量+2(2台冗余)
主站密码机采用集群方式，密码机数量N＝1+M*((峰值*(1+20％))/18000。其中M为每笔业务调用密码机的次数,峰值为业务高峰期的总业务数,冗余值按10％-20％计算,密码机性能按照18000次/s计算,故障率按高峰期出现一台密码机故障计算为1/N，一般为1台。
3A认证***署采用集群方式，硬件配置采用N+1原则进行冗余，计算公式如下：
采集前置机数量＝每秒需要处理认证总量/单台秒认证处理量+1(1台冗余)
数据库服务器包括生产库、应用库、数据挖掘库、接口库，它们均为2节点集群部署，各数据库使用独立存储方式。
在一些实施方式中，数据库还采用备份策略：生产库开启归档模式，采用Rman备份方式，周日对生产库进行全备，周一至周六每天对生产库做增量备份；应用库开启归档模式，使用备库DataGuard技术进行备份，对应用库中特别重要的表单独采用逻辑备份方式；应用库完成一次历史数据迁移，数据挖掘库执行一次全量备份，使用NetBackup等工具进行备份；接口库使用RMAN或NetBackup工具进行备份，每周一次全量备份，每天增量备份。当数据丢失时，使用上述备份策略产生的备份文件进行数据恢复，可保证数据库恢复到任意时间点。
Web应用服务器采用weblogic集群部署，通过F5进行负载均衡；也可以用双集群部署，每个服务器上可部署2个受管节点，对应部署2个管理节点，做weblogic双集群处理，部署完成后可用的受管节点为服务器数量的2倍，可有效的利用资源。考虑web的可靠性要求，服务器采用N+1原则进行冗余。计算公式如下：
Web服务器数量＝最大用户登录数/单台会话处理量+1(1台冗余)
接口服务器在物理部署时，为保障接口服务在高并发业务场景下依旧稳定运行，加入负载均衡服务器，所有接口请求经由负载均衡服务器派工至接口服务器处理，其中，负载均衡和接口服务器均集群部署。
以上所述仅是本发明的优选方式，应当指出，对于本领域普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干相似的变形和改进，这些也应视为本发明的保护范围之内。

Claims (5)

1.一种提升工控类数据采集***可靠性的***优化方法，其特征在于，包括以下步骤：
将工控***中承载各功能的服务器及网络设备视为工控***的各个逻辑节点；
判断各个所述节点故障时是否影响所述工控***的运行；若所述节点出现故障影响所述工控***运行，则将该所述节点视为高可靠性要求的节点；反之，则将该所述节点视为一般可靠性要求的节点；
高可靠性要求的节点采用高可靠性保障策略，使***数据、文件损坏或丢失后，***可以自动将这些数据恢复到以前的状态，使***能够继续正常运行；
一般可靠性要求的节点采用一般可靠性保障策略，使***在运行过程中部分组件出现故障时，***仍然不会失效，可以继续运行；
所述节点可靠性对于某一设备节点，使用动态负载均衡的，采用n+2原则，其中，n为满足正常业务开展至少需要使用的设备台数，2为冗余设备，适度增加冗余设备，还可以使用集群等高可用技术，实现故障设备自动切换或业务自动接管；
工控类数据采集***包括采集主站层、通信信道层和终端设备层，所述采集主站层又包括存储区、应用区和安全接入区。
2.根据权利要求1所述的一种提升工控类数据采集***可靠性的***优化方法，其特征在于：对于高可靠性保障要求节点，根据从节点可靠性及相关节点自适应两方面进行设计；对于一般可靠性保障要求节点，可根据***状况自定义可靠性保障策略。
3.根据权利要求2所述的一种提升工控类数据采集***可靠性的***优化方法，其特征在于：所述相关节点自适应主要通过相关节点自主调整业务来实现，即通过对节点运行的各项业务预先进行分类分级，在节点性能压力较大时，采用延迟甚至暂停部分低级别业务以保证更高级别业务正常运行的策略。
4.根据权利要求1所述的一种提升工控类数据采集***可靠性的***优化方法，其特征在于：所述存储区由生产库集群、应用库集群、数据挖掘库集群、接口库集群和存储模块组成，所述应用区由性能监测服务器、主站密码机、接口服务器、采集前置集群、Web应用服务器和任务服务器集群组成，所述安全接入区主要为通信前置集群，所述通信前置集群连接有负载均衡器和多串口设备，所述负载均衡器与3A认证服务器相通。
5.根据权利要求1所述的一种提升工控类数据采集***可靠性的***优化方法，其特征在于：高可靠性要求的服务器及网络设备节点有：通信服务器、采集服务器、任务服务器、Web应用服务器、密码机、应用库、接口服务器、生产库和接口库；中低可靠性要求的服务器及网络设备节点有：数据挖掘库和性能监测服务器。
CN201911044225.6A 2019-10-30 2019-10-30 一种提升工控类数据采集***可靠性的***优化方法 Active CN110780134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911044225.6A CN110780134B (zh) 2019-10-30 2019-10-30 一种提升工控类数据采集***可靠性的***优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911044225.6A CN110780134B (zh) 2019-10-30 2019-10-30 一种提升工控类数据采集***可靠性的***优化方法

Publications (2)

Publication Number Publication Date
CN110780134A CN110780134A (zh) 2020-02-11
CN110780134B true CN110780134B (zh) 2022-04-26

Family

ID=69387656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911044225.6A Active CN110780134B (zh) 2019-10-30 2019-10-30 一种提升工控类数据采集***可靠性的***优化方法

Country Status (1)

Country Link
CN (1) CN110780134B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6920194B2 (en) * 2001-05-29 2005-07-19 Tioga Technologies, Ltd. Method and system for detecting, timing, and correcting impulse noise
CN103024369A (zh) * 2011-09-20 2013-04-03 中兴通讯股份有限公司 分级编码复用的发送端、终端、***及方法
CN103226661A (zh) * 2013-04-24 2013-07-31 国家电网公司 市场环境下电力用户可靠性需求的计算机评估方法
CN107360235A (zh) * 2017-07-17 2017-11-17 广东工业大学 一种基于可靠性分级的任务迁移方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174960A (zh) * 2006-10-30 2008-05-07 丹东华通测控有限公司 冗余式智能型网络通讯控制器
CN102480162B (zh) * 2010-11-29 2014-10-22 马勇 全冗余式高可靠性风光互补电源***
CN105138441B (zh) * 2015-06-30 2018-05-08 中标软件有限公司 高可用集群***及基于该***的告警方法、告警***
CN105262640A (zh) * 2015-09-17 2016-01-20 北京汉柏科技有限公司 一种提升云平台服务器可靠性的***、方法及其部署框架

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6920194B2 (en) * 2001-05-29 2005-07-19 Tioga Technologies, Ltd. Method and system for detecting, timing, and correcting impulse noise
CN103024369A (zh) * 2011-09-20 2013-04-03 中兴通讯股份有限公司 分级编码复用的发送端、终端、***及方法
CN103226661A (zh) * 2013-04-24 2013-07-31 国家电网公司 市场环境下电力用户可靠性需求的计算机评估方法
CN107360235A (zh) * 2017-07-17 2017-11-17 广东工业大学 一种基于可靠性分级的任务迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于IP44的民用直升机维修可靠性优化技术应用研究》;孔维定;《航空维修与工程》;20190620 *

Also Published As

Publication number Publication date
CN110780134A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN107193490B (zh) 一种基于区块链的分布式数据存储***及方法
CN109901949B (zh) 双活数据中心的应用灾备***及方法
EP1698143B1 (en) Apparatus, system, and method for grid based data storage
CN112817791B (zh) 一种工作面集群开采状态的移动端监控方法
CN101094051A (zh) 数据一致性比对同步的***和方法
CN105224637A (zh) 一种基于PostgreSQL数据库的主备/集群应用的综合性方法
CN101964795A (zh) 日志采集***、日志采集方法和日志回收服务器
CN112235142B (zh) 一种可实现关键业务容灾的用电信息采集***及其运行方法
CN108874590A (zh) 一种云主机自动备份与恢复的***
CN113821376B (zh) 一种基于云灾备的一体化备份容灾方法及***
CN104660386A (zh) 一种基于安腾平台下提高db2容灾高可用性的方法
CN109117310A (zh) 实现数据备份的容灾***、方法及装置
CN107590029A (zh) 用于水电站的计算机监控***数据备份及恢复***方法
CN107395771A (zh) 全冗余负荷平衡生产过程数据采集***
CN105872024A (zh) 容灾设备、***及方法
CN109165122B (zh) 一种提升基于区块链技术实现的应用***同城多园区部署灾备能力的方法
CN115473908A (zh) 一种区块链节点故障恢复方法及区块链***
CN108445857B (zh) 一种scada***的1+n冗余机制设计方法
CN110912755A (zh) 一种云环境下网卡故障监控与自动恢复的***及方法
CN102916830A (zh) 一种资源服务优化配置容错管理实现***
CN113127499B (zh) 一种基于区块链的微服务方法、设备及介质
CN110780134B (zh) 一种提升工控类数据采集***可靠性的***优化方法
CN115599600A (zh) 一种灾备切换方法、装置、存储介质及电子设备
CN109144781B (zh) 一种提升基于区块链技术实现的应用***单园区部署灾备能力的方法
CN115314596A (zh) 一种高可用热线电话客服应答***、方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant