CN113220968B - 基于群集化网络爬虫的电力技术标准自动查新***及方法 - Google Patents

Abstract

本发明公开了一种基于群集化网络爬虫的电力技术标准自动查新***及方法，该***包括用户端设备群、虚拟专用网络、服务端中心调度设备群、内部专有网络、服务端数据爬虫设备群、弹性安全公网和公共标准服务平台；服务端中心调度设备群分别通过虚拟专用网络和内部专有网络与用户端设备群和服务端数据爬虫设备群相连，公共标准服务平台是一些公网目标网站的集合，是群集化网络爬虫需要爬取的目标网站，是群集化网络爬虫的数据源，公共标准服务平台通过弹性安全公网与服务端数据爬虫设备群相连；本发明实现电力技术标准查新无人化，提升查新准确率，并通过变更触发自查新及高频定时自查新机制解决现有技术因查新频次过低而造成的过标难以控制的问题。

Description

基于群集化网络爬虫的电力技术标准自动查新***及方法

技术领域

本发明涉及电力技术监督领域，具体为一种基于群集化网络爬虫的标准自动查新***及方法。

背景技术

电力技术监督是保障电力生产设备安全，促进电力企业经济运行的重要技术手段。按照国家***电力技术监督导则的要求，我国境内电力***中所有发电企业、电网企业和重要电力用户每年均必须严格开展技术监督相关专业工作，相应地，我国各大技术监督归口单位业已建立了涵盖电网企业绝缘、电测、电能、继电保护、节能、环保、化学、热工等8项，发电企业绝缘、电测、继电保护、电能、励磁、节能、环保、金属、化学、热工、供热、汽(水)轮机、水工、海工、风力机、光伏能效、监控自动化等17项，重要电力用户绝缘，防污闪，过电压保护及接地、继电保护，安全自动装置，通信及自动化***、电能计量装置，电能质量等3项的技术监督体系和技术监督网络。

众所周知，电力技术监督的执行依据是国家、行业、企业的各项标准、规程和制度，确保电力技术标准的时效性，防止参考使用废止、过期标准，是保障电力技术监督工作执行效果的关键所在。但就目前来看，国内各大技术监督归口单位更多的是每年年末集中组织专业人员以人工方式开展标准查新工作一次，并于次年初将技术监督体系的电力技术标准更替情况及标准库光盘寄送给下属各家成员单位。随着电力技术监督在国内电力***的全面铺开，现有电力标准查新技术手段已不能满足技术监督工作对标准查新时效性、准确性以及低人工成本期望的实际需求，并逐渐暴露出了以下问题：

一)现有技术手段下，电力技术标准查新频次过低，无法有效防止年中某一时期出现电力技术标准库中标准过期情况的发生，不利于技术监督工作的过标控制；

二)现有技术手段下，电力技术标准查新工作过度依赖人工，突击高强度的环境下，专业技术人员的注意力难以长时间集中，疏忽出错时有发生，标准查新的准确性难以保障；

三)现有技术手段下，电力技术标准查新工作需要投入大量人力，以每个专业部安排1至2名专业技术人员，依照三点法估算，完成一次查新的工作量约为168个人·日左右，耗时耗力且技术含量低下，专业技术人员无法通过此项工作中获得成长。

发明内容

有鉴于此，本发明提供了一种基于群集化网络爬虫的电力技术标准自动查新***及方法，以实现电力技术标准查新的无人化，可靠提升查新准确率，并通过变更触发自查新及高频定时自查新机制有效地解决现有技术手段下，因查新频次过低而造成的过标难以控制的问题。

为实现上述目的，本发明的技术方案是：一种基于群集化网络爬虫的电力技术标准自动查新***，包括用户端设备群、虚拟专用网络、服务端中心调度设备群、内部专有网络、服务端数据爬虫设备群、弹性安全公网、公共标准服务平台；

所述服务端中心调度设备群分别通过虚拟专用网络和内部专有网络与用户端设备群和服务端数据爬虫设备群相连，所述公共标准服务平台是一些公网目标网站的集合，是群集化网络爬虫的数据源，其通过弹性安全公网与服务端数据爬虫设备群相连；

进一步地，所述用户端设备群包括用户端电力技术标准数据库、数据同步服务器、人机交互终端、用户端设备交换机等，其中电力技术标准数据库、数据同步服务器、人机交互终端通过用户端设备交换机相互连接，用于标准库的维护上传和查新结果的发布展示；

进一步地，所述服务端中心调度设备群包括增量适配服务器、过程控制服务器、任务调度服务器、业务中台数据库、单向隔离装置、邮件网关、调度设备群接入交换机等，其中增量适配服务器通过虚拟专用网络与用户终端设备群的数据同步服务器相连，任务调度服务器通过内部专有网络与服务端数据爬虫设备群的任务协同服务器相连，分别用于本发明所述***用户端电力技术标准库的变更同步和群集化爬虫服务的任务管理；

进一步地，所述服务端数据爬虫设备群包括任务协同服务器、HTTP报文交互服务器、文本解析服务器、文本数据库、结果回写工作站、爬虫设备群接入交换机等，其中HTTP报文交互服务器配置双网卡且具有独立的互联网访问权限，可通过弹性安全公网访问公共标准服务平台的目标网址；

进一步地，所述虚拟专用网络包括通信加解密装置、路由器及FTTB光通信配套设备等，其中通信加解密装置与路由器连接后，再通过FTTB光通信配套设备与运营商光纤专网相连；

进一步地，所述内部专有网络包括核心交换机和汇聚交换机，其中不同的汇聚交换机分别与不同设备群组的接入交换机连接后，再通过虚拟局域网与核心交换机相连；

进一步地，所述弹性安全公网包括公网接入交换机、入侵防御***IPS、公网防火墙等，其中公网防火墙与电信运营商通信网络相连，公网接入交换机与服务端数据爬虫设备群的HTTP报文交互服务器相连，入侵防御***IPS则部署在公网防火墙与公网接入交换机之间，为本发明所述***提供安全防护，具备的防护功能包括但不限于流量监测、DDoS攻击阻断、日志审计等；

进一步地，所述公共标准服务平台即本发明所述网络爬虫需要爬取的目标网站，是爬虫的数据源，具体涉及包括但不限于全国标准信息公共服务平台、工标网、万方、中国标准服务网等；

进一步地，所述服务端中心调度设备群的业务中台数据库与增量适配服务器相连；过程控制服务器分别通过服务端中心调度设备群的接入交换机和单向隔离装置与增量适配服务器、任务调度服务器及邮件网关相连；

进一步地，所述服务端数据爬虫设备群的HTTP报文交互服务器通过服务端数据爬虫设备群的接入交换机分别与任务协同服务器、文本数据库相连，文本数据库分别与本文解析服务器和结果回写工作站相连接，任务协同服务器和结果回写工作站则分别再与服务端数据爬虫设备群的接入交换机相连。

本发明的有益效果是：一、本发明通过数据采集监测和增量匹配实现了用户端电力技术标准库与服务端业务中台数据库的实时变更同步；二、本发明通过服务端的过程控制实现了变更触发和定时触发两种查新机制下的爬虫任务自动化调度；三、本发明基于群集化网络爬虫技术实现了既定搜索目标下公共标准服务平台的并发数据爬取；四、本发明以关系存储的形式实现了标准编号、标准名称、标准状态、更替情况、发布时间的长效数据存储，并可依据状态变动通过邮件网关向***用户自动推动查新报告。综上，本发明实现了电力技术标准查新的无人化、自动化，极大地降低了标准查新工作的人力投入，可按需调整查新标准机制，有效地保障了技术监督用电力标准的查新频次和时效性，为电力技术监督工作执行的效果和质量提供了有力支撑。

附图说明

为了使本发明的目的、技术方案更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明的总体结构示意图；

图2为本发明用户端设备群的单元结构示意图；

图3为本发明虚拟专用网络的单元结构示意图；

图4为本发明服务端中心调度设备群的单元结构示意图；

图5为本发明内部专有网络的单元结构示意图；

图6为本发明服务端数据爬虫设备群的单元结构示意图；

图7为本发明弹性安全公网的单元结构示意图。

具体实施方式

下面参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

一种基于群集化网络爬虫的电力技术标准自动查新***，如图1所示，它包括用户端设备群100、虚拟专用网络200、服务端中心调度设备群300、内部专有网络400、服务端数据爬虫设备群500、弹性安全公网600和公共标准服务平台700。

所述用户端设备群100，如图2所示，它包括电力技术标准数据库101、数据同步服务器102、人机交互终端103和用户端设备交换机104；其中，电力技术标准数据库101、人机交互终端103分别通过Cat.5网线与用户端设备交换机104的100M/Base-T以太网端口相连；数据同步服务器102安装有独立的双千兆网卡，并分别通过Cat.5网线和Cat.6A屏蔽网线与用户端设备交换机104和虚拟专用网络200的用户端通信加解密装置(201)相连。

所述虚拟专用网络200，如图3所示，它包括用户端通信加解密装置201、用户端路由器202、用户端FTTB光通信配套设备203以及服务端通信加解密装置206、服务端路由器205、服务端FTTB光通信配套设备204；其中，用户端通信加解密装置201、服务端通信加解密装置206分别通过Cat.6A屏蔽网线与用户端路由器202、服务端路由器205的GE电端口相连；用户端路由器202、服务端路由器205分别通过E1线与用户端FTTB光通信配套设备203、服务端FTTB光通信配套设备204的BNC接口相连；用户端FTTB光通信配套设备203、服务端FTTB光通信配套设备204采用GPON技术以光纤作为传输介质进行***的双端数据通信。

所述服务端中心调度设备群300，如图4所示，它包括增量适配服务器301、过程控制服务器302、任务调度服务器303、业务中台数据库304、单向隔离装置305、邮件网关306以及调度设备群接入交换机307；其中，增量适配服务器301和过程控制服务器302安装有独立的双千兆网卡，增量适配服务器301的两张千兆网卡分别通过Cat.6A屏蔽网线和Cat.5网线与虚拟专用网络200的服务端通信加解密装置204以及调度设备群接入交换机307已划定VLAN60的100M/Base-T以太网端口相连；过程控制服务器302的两张千兆网卡分别通过Cat.5网线与单向隔离装置305的内网口以及调度设备群接入交换机307已划定VLAN80的100M/Base-T以太网端口相连；任务调度服务器303、业务中台数据库304分别通过Cat.5网线与调度设备群接入交换机307已划定VLAN80的指定100M/Base-T以太网端口以及VLAN40的指定100M/Base-T以太网端口相连；邮件网关306通过Cat.5网线一端连接单向隔离装置305外网口，另一端通过无线上网卡连接运营商无线通信网络。

所述内部专有网络400，如图5所示，它包括核心交换机401、调度设备群汇聚交换机402和爬虫设备群汇聚交换机403；其中，核心交换机401通过两根Cat.6A屏蔽网线分别与调度设备群汇聚交换机402和爬虫设备群汇聚交换机403的GE电端口相连；调度设备群汇聚交换机402以及爬虫设备群汇聚交换机403分别通过Cat.5网线与服务端中心调度设备群300、服务端数据爬虫设备群500接入交换机已划定VLAN90的100M/Base-T以太网端口连接。

所述服务端数据爬虫设备群500，如图6所示，它包括任务协同服务器501、HTTP报文交互服务器502、文本解析服务503、文本数据库504、结果回写工作505和爬虫设备群接入交换机506；其中，HTTP报文交互服务器502、文本解析服务503均采用群集化模式下多台协同方式进行配置，且HTTP报文交互服务器502安装独立的有双千兆网卡；任务协同服务器501、HTTP报文交互服务器502通过Cat.5网线分别与爬虫设备群接入交换机506已划定VLAN10的指定100M/Base-T以太网端口相连；文本数据库504通过Cat.5网线与爬虫设备群接入交换机506已划定VLAN30的指定100M/Base-T以太网端口相连；文本解析服务503、结果回写工作505均通过Cat.5网线与爬虫设备群接入交换机506已划定VLAN50的指定100M/Base-T以太网端口相连。

所述弹性安全公网600，如图7所示，它包括公网接入交换机601、入侵防御***IPS602和公网防火墙603；其中，公网接入交换机601通过Cat.5网线与群集化的各台HTTP报文交互服务器502连接；入侵防御***IPS 602一端通过Cat.5网线与公网接入交换机601的100M/Base-T以太网端口连接，另一端通过公网防火墙603与运营商宽带连接。

所述公共标准服务平台700是群集化网络爬虫执行爬虫搜索的目标网站，是获取电力技术标准动态信息的数据源，具体涉及包括但不限于全国标准信息公共服务平台、工标网、万方、中国标准服务网等。

进一步地，所述调度设备群接入交换机307内已划定VLAN间的通信规则是，VLAN90可访问VLAN80、VLAN60、VLAN40，VLAN80可访问VLAN40和VLAN60，VLAN60可访问VLAN40。

进一步地，所述爬虫设备群接入交换机506内已划定VLAN间的通信规则是，VLAN90可访问VLAN50、VLAN30、VLAN10，VLAN10和VLAN50均可以访问VLAN30。

更进一步地，图1中所示，用户端设备群100、服务端中心调度设备群300、服务端数据爬虫设备群500包含的各类服务器、工作站是通过其上配套的程序软件相互配合进行工作的，其共同作用实现电力技术标准库变更的监测和自触发查新的详细作业流程如下：

1)使用人机交互终端103，用户可对电力技术标准数据库101进行编辑和维护；

2)通过监测电力技术标准数据库101的状态，数据同步服务器102可实时发现变更并向增量适配服务器301发送增量变更数据包；

3)增量适配服务器301负责增量变更数据包处理和ETL，在完成数据包的清洗后增量适配服务器301以结构化方式向服务端业务中台数据库304提交增量更新操作，完成数据同步并将该消息事件推送至过程控制服务器302；

4)过程控制服务器302负责***后台作业的自动化调度，它具有变更触发和定时触发两种调度机制；在变更触发机制下，接收到增量适配服务器301发送的变更消息事件后，过程控制服务器302根据事件消息构造查询语句进行服务端业务中台数据库304变更检索以生成任务，并将其以TCP/IP结构封装发送至任务调度服务器303；在定时触发机制下，过程控制服务器302会以***配置的定值进行循环倒计时，每当计时结束便检索服务端业务中台数据库304全部记录，逐一生成任务并将其封装发送至任务调度服务器303；

5)任务是由任务总数、任务序号、标准编号、标准名称构成的结构体，任务调度服务器303接收到任务后将其放入Key-Value字典形成任务队列，待收到任务协同服务器501异步消息通知后，向空闲的HTTP报文交互服务器502发送任务并在其完成后销毁任务队列中的相应记录；

6)任务协同服务器501实时轮询各台HTTP报文交互服务器502进行算力监测，发现空闲的HTTP报文交互服务器502便将其内网地址封装为数据发送至任务调度服务器303；

7)基于任务结构体中的标准编号，HTTP报文交互服务器502构造请求URL并以GET方式向公共标准服务平台700发出，接收到的HTTP响应报文则以全文方式保存到文本数据库504；

8)文本解析服务器503按照时间先后顺序不断从文本数据库504中抽取HTTP响应报文，通过XPath方式解析其中的标准编号、标准名称、标准状态、标准替代情况等信息，并将其封装后一并发送至结果回写工作站505；

9)结果回写工作站505以标准编号构造查询语句获取业务中台数据库304中相应标准编号的标准名称，将其与文本解析服务器503解析获得的标准名称进行核对确认，若完全一致则以标准编号作为条件，以标准状态、标准替代情况作为增量数据，构造更新语句将其提交至业务中台数据库304；

10)过程控制服务器302通过查询任务调度服务器303的任务队列长度判断自触发作业是否处于运行中，在每次自触发作业完全结束后，过程控制服务器302都将执行一次完整的服务端业务中台数据库304导出，并将导出的Excel文件作为附件经单向隔离后通过邮件网关306发送至***用户。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，所述***包括用户端设备群、虚拟专用网络、服务端中心调度设备群、内部专有网络、服务端数据爬虫设备群、弹性安全公网和公共标准服务平台；所述服务端中心调度设备群分别通过虚拟专用网络和内部专有网络与用户端设备群和服务端数据爬虫设备群相连，所述公共标准服务平台是一些公网目标网站的集合，是群集化网络爬虫需要爬取的目标网站，是群集化网络爬虫的数据源，公共标准服务平台通过弹性安全公网与服务端数据爬虫设备群相连；

其特征在于：所述自动查新方法包括如下步骤：

1)使用人机交互终端，用户可对电力技术标准数据库进行编辑和维护；

2)通过监测电力技术标准数据库的状态，数据同步服务器能够实时发现变更并向增量适配服务器发送增量变更数据包；

3)增量适配服务器负责增量变更数据包处理和ETL，在完成数据包的清洗后增量适配服务器以结构化方式向服务端业务中台数据库提交增量更新操作，完成数据同步并将变更消息事件推送至过程控制服务器；

4)过程控制服务器负责***后台作业的自动化调度，它具有变更触发和定时触发两种调度机制；在变更触发机制下，接收到增量适配服务器发送的变更消息事件后，过程控制服务器根据事件消息构造查询语句进行服务端业务中台数据库变更检索以生成任务，并将其以TCP/IP结构封装发送至任务调度服务器；在定时触发机制下，过程控制服务器会以***配置的定值进行循环倒计时，每当计时结束便检索服务端业务中台数据库全部记录，逐一生成任务并将其封装发送至任务调度服务器；

5)任务是由任务总数、任务序号、标准编号、标准名称构成的结构体，任务调度服务器接收到任务后将其放入Key-Value字典形成任务队列，待收到任务协同服务器异步消息通知后，向空闲的HTTP报文交互服务器发送任务并在其完成后销毁任务队列中的相应记录；

6)任务协同服务器实时轮询各台HTTP报文交互服务器进行算力监测，发现空闲的HTTP报文交互服务器便将其内网地址封装为数据发送至任务调度服务器；

7)基于任务结构体中的标准编号，HTTP报文交互服务器构造请求URL并以GET方式向公共标准服务平台发出，接收到的HTTP响应报文则以全文方式保存到文本数据库；

8)文本解析服务器按照时间先后顺序不断从文本数据库中抽取HTTP响应报文，通过XPath方式解析其中的标准编号、标准名称、标准状态、标准替代情况信息，并将其封装后一并发送至结果回写工作站；

9)结果回写工作站以标准编号构造查询语句获取业务中台数据库中相应标准编号的标准名称，将其与文本解析服务器解析获得的标准名称进行核对确认，若完全一致则以标准编号作为条件，以标准状态、标准替代情况作为增量数据，构造更新语句将其提交至业务中台数据库；

10)过程控制服务器通过查询任务调度服务器的任务队列长度判断自触发作业是否处于运行中，在每次自触发作业完全结束后，过程控制服务器都将执行一次完整的服务端业务中台数据库导出，并将导出的Excel文件作为附件经单向隔离后通过邮件网关发送至***用户。

2.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述用户端设备群包括电力技术标准数据库、数据同步服务器、人机交互终端和用户端设备交换机，其中电力技术标准数据库、数据同步服务器、人机交互终端通过用户端设备交换机相互连接，用于电力技术标准数据库的维护上传和查新结果的发布展示。

3.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述服务端中心调度设备群包括增量适配服务器、过程控制服务器、任务调度服务器、业务中台数据库、单向隔离装置、邮件网关和调度设备群接入交换机，其中增量适配服务器通过虚拟专用网络与用户终端设备群的数据同步服务器相连，任务调度服务器通过内部专有网络与服务端数据爬虫设备群的任务协同服务器相连，分别用于用户端电力技术标准数据库的变更同步和群集化爬虫服务的任务管理；所述业务中台数据库与增量适配服务器相连；过程控制服务器分别通过调度设备群接入交换机和单向隔离装置与增量适配服务器、任务调度服务器及邮件网关相连。

4.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述服务端数据爬虫设备群包括任务协同服务器、HTTP报文交互服务器、文本解析服务器、文本数据库、结果回写工作站和爬虫设备群接入交换机，其中HTTP报文交互服务器配置双网卡且具有独立的互联网访问权限，通过弹性安全公网访问公共标准服务平台的目标网址；所述HTTP报文交互服务器通过爬虫设备群接入交换机分别与任务协同服务器、文本数据库相连，文本数据库分别与文本解析服务器和结果回写工作站相连接，任务协同服务器和结果回写工作站则分别再与爬虫设备群接入交换机相连。

5.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述虚拟专用网络包括通信加解密装置、路由器及FTTB光通信配套设备，其中通信加解密装置与路由器连接后，再通过FTTB光通信配套设备与运营商光纤专网相连。

6.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述内部专有网络包括核心交换机和汇聚交换机，其中不同的汇聚交换机分别与不同设备群组的接入交换机连接后，再通过虚拟局域网与核心交换机相连。

7.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述弹性安全公网包括公网接入交换机、入侵防御***IPS和公网防火墙，其中公网防火墙与电信运营商通信网络相连，公网接入交换机与服务端数据爬虫设备群的HTTP报文交互服务器相连，入侵防御***IPS则部署在公网防火墙与公网接入交换机之间，为所述***提供安全防护。

8.根据权利要求7所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：提供的安全防护功能包括流量监测、DDoS攻击阻断和日志审计。

9.根据权利要求1所述的一种基于群集化网络爬虫的电力技术标准自动查新***的自动查新方法，其特征在于：所述公网目标网站包括全国标准信息公共服务平台、工标网、万方和中国标准服务网。

Images