CN103793749A - 安全生产综合监管平台数据传输方法 - Google Patents

Abstract

本发明公开了一种安全生产综合监管平台数据传输方法，用于实现客户端与中心服务器即服务端之间的数据传输，包括以下步骤：客户端读取配置文件，解析安全生产综合数据，在获取客户端位置标志字段值或根据服务端返回的位置标志字段值更新后，将解析后的数据生成文本信息数据并加密，然后通过Socket通信发往服务端；服务端接收到数据后，把数据内容解析为目标数据格式后判断是否满足写入条件，将未写入的位置标志字段值返回客户端，或者写入数据后将处理成功的位置标志字段值返回客户端，同时保存位置标志字段值进行并更新服务端位置标志字段值。本发明支持目前流行的多种主流数据库、各种文本协议和数据接口调用等，能跨平台和进行分布式部署。

Description

安全生产综合监管平台数据传输方法

技术领域

本发明涉及一种安全生产综合监管平台数据传输方法，尤其涉及一种能兼容多种传输协议的安全生产综合监管平台数据传输方法。

背景技术

安全生产综合监管平台是一种用于安全生产综合监管过程中底层数据抽取的软件产品，便于实现对煤矿、非煤矿山、危化企业等***的数据抽取。

传统的安全生产综合监管平台缺少数据中间件，各个厂家自行开发数据接口程序，数据格式私有，未制定标准的数据采集标准，接口协议封闭，无法实现不同厂家之间数据的通信。所以，传统的安全生产综合监管平台的传输方式单一，具体存在以下缺点：不能提供多种可以选择的传输机制，不能兼容多种传输协议，不支持跨平台和分布式部署，通用型、移植性、可扩展性差，效率一般，不够稳定；对消息的发送和接收没有反馈机制；部分通过消息中间件的传输机制来实现***之间的消息数据的交互，但是消息中间件不适宜用来实现***之间的大数据量的传输。

发明内容

本发明的目的就在于为了解决上述问题而提供一种能兼容多种传输协议的安全生产综合监管平台数据传输方法。

本发明通过以下技术方案来实现上述目的：

一种安全生产综合监管平台数据传输方法，用于实现客户端与中心服务器即服务端之间的数据传输，包括以下步骤：

（1）客户端读取配置文件，解析安全生产综合数据，在获取客户端位置标志字段值后，将解析后的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端；所述客户端位置标志字段值根据服务端返回的位置标志字段值进行实时更新；

（2）服务端接收到数据后，把数据内容解析为目标数据格式后判断是否满足写入条件，如果不满足，则将未写入的位置标志字段值返回客户端；如果满足，则写入数据后将处理成功的位置标志字段值返回客户端，同时将处理成功的位置标志字段值进行保存并更新服务端位置标志字段值。

上述方法中，Socket通常也称作“套接字”，用于描述IP地址和端口，是一个通信链的句柄，应用程序通常通过“套接字”向网络发出请求或者应答网络请求。Socket通信是网络中计算机进行通信的一种方法，应用程序通过调用***提供的Socket库函数很容易实现网络里计算机的通信。

具体地，所述步骤（1）包括以下步骤：

①客户端读取配置文件；

②获取客户端名称目标地址；

③获取安全生产综合数据；

④如果该数据为文本信息数据，则转到步骤⑤；如果该数据为数据库数据，则转到步骤⑦；

⑤获取配置的标准文件名；

⑥读取标准协议文件内容作为需要传输的数据，然后转到步骤

；

⑦获取数据库地址及表名；

⑧获取或根据服务端返回的位置标志字段值更新客户端位置标志字段值；

⑨获取设置的传输条件；

1⑩获取安全生产综合数据的字段；

查询该字段中是否有需要传输的数据，如果没有，则转到步骤⑨，如果有，则转到步骤

；

将需要传输的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端，结束；

所述步骤（2）包括以下步骤：

A、收到客户端发来的加密数据，解析数据并获取来源客户端和表名或文件名；

B、读取配置文件查找对应客户端和目标数据写入的相关配置，并获取对应写入表的位置标志字段值；

C、收到数据与标志字段值，比较是否满足写入条件，如果不满足，则直接向客户端返回位置标志字段值，结束；如果满足，则转到步骤D；

D、获取存放的数据库位置以及写入的对应字段；

E、判断是否需要更新表内容，如果需要，则转到步骤F，如果不需要，则转到步骤I；

F、获取更新表的唯一字段名称；

G、查询数据库表中是否存在此数据值，如果存在，则转到步骤H，如果不存在，则转到步骤I；

H、更新数据库中对应的值；

I、判断数据值中是否包含主键，如果包含，则转到步骤J，如果不包含，则转到步骤K；

J、组装sql，将值写入数据库，然后转到步骤L；

K、获取对应写入表的主键名称和生成方式，并生成主键，然后转到步骤J；

L、写入数据并向客户端返回处理成功的位置标志字段值，同时将处理成功的位置标志字段值进行保存并更新服务端位置标志字段值，结束。

上述sql（Structured Query Language）是结构化查询语言的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库***。

本发明的有益效果在于：

本发明所述数据传输方法采用多通道传输、多线程方式，实现了高效率传输，对传输结果进行实时校验，保证了传输的稳定性，同时采用加密方式保证了传输过程的安全性；本发明所述数据传输方法支持目前流行的多种主流数据库、各种文本协议，同时还支持异构***的数据接口调用等，能跨平台和进行分布式部署，并且能根据用户需求灵活配置客户端数量以及合并多个客户端，减少客户端程序的部署数量，从而达到共享资源、节省内存和CPU资源占用。本发明所述数据传输方法的使用为安全生产综合监管平台的数据来源提供了有力保障，从而给日常安监工作提供了理论依据，也为用户的安全生产提供指导和帮助，预防和减少安全事故的发生，实现更好的经济效益。

附图说明

图1是本发明所述安全生产综合监管平台数据传输方法的总体示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明：

如图1所示，本发明所述安全生产综合监管平台数据传输方法用于实现客户端与中心服务器即服务端之间的数据传输，整体上包括以下步骤：

（1）客户端读取配置文件即抽取源数据后，解析安全生产综合数据（即图1中的源数据，可以为数据库、文本数据或接口），在获取客户端位置标志字段值后，将解析后的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端；所述客户端位置标志字段值根据服务端返回的位置标志字段值（即图1中的返回成功标示）进行实时更新；

（2）服务端接收到数据后，把数据内容解析为目标数据格式后判断是否满足写入条件，如果不满足，则将未写入的位置标志字段值返回客户端；如果满足，则写入数据（即图1中的目标数据）后将处理成功（即图1中的写入成功）的位置标志字段值返回客户端，同时将处理成功的位置标志字段值进行保存并更新服务端位置标志字段值。

具体地，所述步骤（1）包括以下步骤：

①客户端读取配置文件；

②获取客户端名称目标地址；

③获取安全生产综合数据；

④如果该数据为文本信息数据，则转到步骤⑤；如果该数据为数据库数据，则转到步骤⑦；

⑤获取配置的标准文件名；

⑥读取标准协议文件内容作为需要传输的数据，然后转到步骤

；

⑦获取数据库地址及表名；

⑧获取或根据服务端返回的位置标志字段值更新客户端位置标志字段值；

⑨获取设置的传输条件；

⑩获取安全生产综合数据的字段；

查询该字段中是否有需要传输的数据，如果没有，则转到步骤⑨，如果有，则转到步骤

；

将需要传输的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端，结束；

所述步骤（2）包括以下步骤：

A、收到客户端发来的加密数据，解析数据并获取来源客户端和表名或文件名；

B、读取配置文件查找对应客户端和目标数据写入的相关配置，并获取对应写入表的位置标志字段值；

C、收到数据与标志字段值，比较是否满足写入条件，如果不满足，则直接向客户端返回位置标志字段值，结束；如果满足，则转到步骤D；

D、获取存放的数据库位置以及写入的对应字段；

E、判断是否需要更新表内容，如果需要，则转到步骤F，如果不需要，则转到步骤I；

F、获取更新表的唯一字段名称；

G、查询数据库表中是否存在此数据值，如果存在，则转到步骤H，如果不存在，则转到步骤I；

H、更新数据库中对应的值；

I、判断数据值中是否包含主键，如果包含，则转到步骤J，如果不包含，则转到步骤K；

J、组装sql，将值写入数据库，然后转到步骤L；

K、获取对应写入表的主键名称和生成方式，并生成主键，然后转到步骤J；

L、写入数据并向客户端返回处理成功的位置标志字段值，同时将处理成功的位置标志字段值进行保存并更新服务端位置标志字段值，结束。

下面结合上述客户端和服务端的具体方法，以客户端解析的安全生产综合数据分别为数据库数据和文本信息数据这两种情况的具体数据传输方法和程序为例进一步具体描述，其中，客户端的处理方法分为实施例1和2，服务端的处理方法则相同：

客户端：

实施例1：

客户端数据类型为数据库：

1.1客户端需要配置内容：客户端名称、传输方式、数据库地址、用户名密码、传输的实体名（表或视图），目标服务器地址、端口；对应实体名的配置信息包括传输间隔时间、每次传输的数据量、传输标志字段、传输起点值、传输的条件、传输的字段名称等。

1.2客户端首先读取配置文件sys.properties中的信息，获取客户端名称，数据类型、数据库地址、需要传输数据的表名、服务器地址端口号等信息。

1.3根据配置的传输表名获取对应表的配置信息（格式：表名.xml），内容包括轮询表的时间<Refreshtime>以秒为单位;每次发送的数据行数<sendnums>;数据传输位置字段<endfield>;传输位置字段的比较符号<comparator>值为greaterthan表示大于、值为lessthan表示小于、值为equal表示等于;传输位置字段的值<endfieldvalue>;数据传输条件<condition>;传输的字段列表<fieldname>。

1.4客户端将会把数据库表中满足传输条件和传输位置字段的数据以文本的方式传输，数据格式中包括客户端名称、表名、数据，相互之间以Δ隔开，每条数据间同样以Δ隔开，各字段之间是以ζ分开；各字段的值都加上单引号；如果有值为空，则设为null，不加单引号。

数据格式形如:

YanbΔdevice_ws_alert_recordΔ

'100'ζ'3577a784-83b8-11e1-8549-782bcb576790'ζ'零级报警'ζ''ζ'2012-09-2015:59:51.0'ζnullζ’’ζ’52’Δ

’101’ζ’4577a784-83b8-11e1-8549-782bcb576796'ζ'一级报警'ζ''ζ'2012-09-2215:59:51.0'ζnullζ’’ζ’53’

1.5将生成的格式发送给服务端，等待服务器端处理,服务器端处理后将处理成功的位置字段值返回，如果处理失败则返回错误信息给客户端，客户端收到返回信息做相应的处理。

1.6客户端配置文件详解：

1.6.1首先根据***配置文件sys.properties获取客户端的配置信息。

#客户端名称

clientname=yanb

#传输类型1表示客户端数据来源为文本文件2表示数据来源为数据库3为第三方接口

sendtype=2

#客户端的数据库类型mysql、sqlserver、oracle

datatype=mysql

#数据库地址

url=192.168.23.210

#数据库用户

user=root

#数据库密码

pwd=79718190

#数据库名称

databasename=wscmpc

#需要传输数据库表名

tablename=device_ws_alert_record,device_rydw_alert_record,device_wkk_alert_record,device_wh_alert_record

#服务器地址

serverurl=192.168.23.139

#服务器端口

serverport=8821

1.6.2对应的数据库表的配置信息

比如传输瓦斯报警表device_ws_alert_record的信息，配置文件格式如下：

<device_ws_alert_record>

#刷新时间

<refreshtime>10</refreshtime>

#每次传输的数据行数

<sendnums>1</sendnums>

#位置字段名称

<endfield>uploadDateTime</endfield>

#位置字段比较符号

<comparator>greaterthan</comparator>

#位置字段值

<endfieldvalue>2012-09-2109:50:17</endfieldvalue>

#数据传输条件

<condition>alertLevel='二级报警'</condition>

#传输字段名称

<fieldname>enterpriseId,deviceId,alertLevel,alertDemo,alertBeginTime,alertEndTime,currentValue,uploadDateTime,actioned,actionResult</fieldname></device_ws_alert_record>

1.7日志信息记录

客户端运行重要信息以及错误信息都将以日志的形式记录到日志中。

实施例2：

客户端数据类型为文本文件

2.1客户端根据配置信息，读取相应文本文件，加上数据头再传输到服务器端，客户端收到写入成功的消息后，再删除本地文本文件。

读取客户端数据时,每个数据文件的配置中，<datahead>为1的表示有数据头的，就将数据头以客户端名称clientname加对应配置文件名<configname>替换,如果没有则以客户端名称和配置名称***到第一行。服务器端收到数据后根据第一行数据调用对应配置文件中的存储过程进行处理。

2.2首先根据***配置文件sys.properties获取客户端的配置信息

#客户端名称

clientname=23

#传输类型1表示客户端数据来源为文本文件2表示数据来源为数据库

sendtype=1

#需要传输文件路径名

pathname=d:\client

#需要传输文件名?表示以前面字符开头的文件都要进行传输

filename=device.txt,realtimedata.txt,palert?.txt

#服务器地址

serverurl=192.168.23.139

#服务器端口

serverport=8821

2.3对应传输文件的配置信息

文件device.txt对应的配置文件Device.xml、palert?.txt对应的配置文件palert.xml

比如device.txt对应的配置文件Device.xml内容为：

<device>

<configname>wkk_device</configname>

<refreshtime>5</refreshtime>

<onlyfield>矿编码</onlyfield>

<datahead>1</datahead>

<fieldname>矿编码,设备编码,设备名称,位置描述,设备类型名称,测量上限,测量下限,测量名称,测量单位,更新时间</fieldname>

</device>

服务端处理逻辑：

服务器端配置内容：接收端口号、接收方式：方式为2表示数据库，则需要配置数据库类型、地址、用户名和密码，如果接收方式为3表示为第三方接口，需要配置接口地址等。与客户端对应的服务器端数据接收配置信息:如果类型为2表示数据库，则需要配置接收的表名以及各表接收的对应字段、是否更新、主键字段、主键生成方式、记录客户端的字段。

3.1首先读取参数配置sys.properties，获取存放数据库的地址、用户名、密码、数据库名称等信息。

3.2读取相应的传输数据客户端及对应的表名信息clientparameter.xml，包括客户端名称、传输类型、客户端传输数据的表名。

3.3根据配置的客户端以及对应表名读取服务器端对应配置的写入服务器端的表的相关信息。比如从客户端yanb上传了表device_ws_alert_record的信息，那么在服务器端就必须存在yanb_device_ws_alert_record.xml文件，其中保存有写入数据库的表名<targettable>,位置字段名称<endfield>，位置字段类型<endfieldtype>，位置字段值<endfieldvalue>,客户端名称写入的对应字段<clientnametofield>，当数据存在时是否需要更新原有数据<isupdate>1为需要、0为不需要,唯一字段<onlyfield>用于当在更新时，以此字段判断是否存在此记录，主键字段名称<priamryid>如果filedname中没有找到priamryid中配置的名称字段，则需要生成主键值，如果主键字段类型<priamrytype>值为varchar，则各种类型的数据库都生成uuid作为主键，如果值是Integer则mysql和sqlserver使用自增主键，如果是oracle则根据<sequencename>中的序列名称来获取，对应写入的字段名称<fieldname>。

3.4收到数据后根据配置的客户端配置文件信息，与当前配置的位置字段值进行比较，如果大于当前值，则再判断isupdate是否值为1，如果值为1，则根据onlyfield的值查找当前数据库中是否存在此记录，存在则更新数据库记录，不存在则新增记录；如果isupdate值为0则只新增记录；在新增时，判断主键字段priamryid是否在fieldname列表中存在，如果存在，则表示客户端传输的数据存在主键值，则直接将主键字段加入后写入数据库中，如果不存在则判断priamrytype的值，如果为varchar且数据库类型为mysql则生成uuid作为主键值***数据库中，如果为Integer且类型为mysql、sqlserver则采用自增主键方式由数据库自动处理主键，如果是oracle则要根据配置的。Sequencename名称来获取主键值。另外由于oracle对于时间类型的数据，写入和更新时必须使用时间函数进行转换，因此在加载配置时，需要先到数据库中获取<fieldname>中各字段对应的数据类型。

3.5***参数配置sys.properties文件：

sendtype=2

datatype=mysql

url=192.168.23.210

user=root

pwd=79718190

databasename=wscmpp

3.6接收的客户端配置文件信息clientparameter.xml

如果多个客户端，则存在多个client节点

<result>

<client>

<clientname>yanb</clientname>

<sendtype>2</sendtype>

<tablename>device_ws_alert_record,device_rydw_alert_record,device_wh_alert_record,device_wkk_alert_record,enterprise_base</tablename>

</client>

</result>

3.7对应写入数据库的表配置信息

比如yanb_device_ws_alert_record.xml

<result>

<receivetype>1</receivetype>

<targettable>device_ws_alert_record</targettable>

<endfield>uploadDateTime</endfield>

<endfieldtype>date</endfieldtype>

<endfieldvalue>2012-01-1512:40:20.0</endfieldvalue>

<isupdate>0</isupdate>

<onlyfield></onlyfield>

<priamryid>id</priamryid>

<priamrytype>varchar</priamrytype>

<fieldname>enterpriseId,deviceId,alertLevel,alertDemo,alertBeginTime,alertEndTime,currentValue,uploadDateTime,actioned,actionResult</fieldname>

</result>

3.8日志信息记录

服务端运行的重要信息以及错误信息都将以日志的形式记录到日志中。

3.9服务端数据类型为调用webservice进行处理

客户端filedname配置来源数据是否是新增还是更新的标志字段，

服务端收到客户端数据后，调用第三方的webservice进行数据处理。

服务端设置sendtype=3,服务器端根据配置文件中的methodfiled配置的字段查找对应的值，如果值为1则为新增那么调用targetmethod中的第一个方法，否则为更新则调用targetmethod的第二个方法。然后读取parametertype的值，取得参数类型，如果是xml文件，则读取对应的xml文件，将xml文件中的ζ替换为方法名，而filedname中字段与客户端对应，而且字段名是与xml文件中的内容对应，根据字段的值循环替换xml中对应的γ?值，其中问号表示filedname中的顺序值(比如γ1、γ2、γ3…),然后生成调用webservice的对应参数，最后调用webservice，如果成功，返回结果中<ResultErrMsg=""Value="1"/>的value为1表示处理成功，则将endfiled字段的值返回给客户端

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (2)

1.一种安全生产综合监管平台数据传输方法，用于实现客户端与中心服务器即服务端之间的数据传输，其特征在于：包括以下步骤： 

（1）客户端读取配置文件，解析安全生产综合数据，在获取客户端位置标志字段值后，将解析后的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端；所述客户端位置标志字段值根据服务端返回的位置标志字段值进行实时更新； 

（2）服务端接收到数据后，把数据内容解析为目标数据格式后判断是否满足写入条件，如果不满足，则将未写入的位置标志字段值返回客户端；如果满足，则写入数据后将处理成功的位置标志字段值返回客户端，同时将处理成功的位置标志字段值进行保存并更新服务端位置标志字段值。 

2.根据权利要求1所述的安全生产综合监管平台数据传输方法，其特征在于：所述步骤（1）包括以下步骤： 

①客户端读取配置文件； 

②获取客户端名称目标地址； 

③获取安全生产综合数据； 

④如果该数据为文本信息数据，则转到步骤⑤；如果该数据为数据库数据，则转到步骤⑦； 

⑤获取配置的标准文件名； 

⑥读取标准协议文件内容作为需要传输的数据，然后转到步骤

⑦获取数据库地址及表名； 

⑧获取或根据服务端返回的位置标志字段值更新客户端位置标志字段值； 

⑨获取设置的传输条件； 

⑩获取安全生产综合数据的字段； 

查询该字段中是否有需要传输的数据，如果没有，则转到步骤⑨，如果有，则转到步骤

将需要传输的数据按设置的传输条件生成文本信息数据并加密，然后通过Socket通信发往服务端，结束； 

所述步骤（2）包括以下步骤： 

A、收到客户端发来的加密数据，解析数据并获取来源客户端和表名或文件名； 

B、读取配置文件查找对应客户端和目标数据写入的相关配置，并获取对应写入表的位置标志字段值； 

C、收到数据与标志字段值，比较是否满足写入条件，如果不满足，则直接向客户端返回位置标志字段值，结束；如果满足，则转到步骤D； 

D、获取存放的数据库位置以及写入的对应字段； 

E、判断是否需要更新表内容，如果需要，则转到步骤F，如果不需要，则转到步骤I； 

F、获取更新表的唯一字段名称； 

G、查询数据库表中是否存在此数据值，如果存在，则转到步骤H，如果不存在，则转到步骤I； 

H、更新数据库中对应的值； 

I、判断数据值中是否包含主键，如果包含，则转到步骤J，如果不包含，则转到步骤K； 

J、组装sql，将值写入数据库，然后转到步骤L； 

K、获取对应写入表的主键名称和生成方式，并生成主键，然后转到步骤J； 

L、写入数据并向客户端返回处理成功的位置标志字段值，同时将处理成功 的位置标志字段值进行保存并更新服务端位置标志字段值，结束。 

Images