CN103795803B - 一种跨网络环境远程部署分布式数据采集节点的方法 - Google Patents
一种跨网络环境远程部署分布式数据采集节点的方法 Download PDFInfo
- Publication number
- CN103795803B CN103795803B CN201410051160.9A CN201410051160A CN103795803B CN 103795803 B CN103795803 B CN 103795803B CN 201410051160 A CN201410051160 A CN 201410051160A CN 103795803 B CN103795803 B CN 103795803B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- acquisition
- node
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000006835 compression Effects 0.000 claims abstract description 4
- 238000007906 compression Methods 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 7
- 230000006837 decompression Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 6
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000012856 packing Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 20
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种跨网络环境远程部署分布式数据采集节点的方法，该方法用于针对数据采集***与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议SFTP的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议SFTP把文件传输到数据采集***中，在保证数据安全性的同时，实现了边采集边传输。
Description
技术领域
本发明涉及一种计算机应用技术领域, 具体地说是一种跨网络环境远程部署分布式数据采集节点的方法。
背景技术
在信息行业快速发展的今天，数据采集已经被广泛应用于各个行业领域，如电信、教育、医药卫生、交通运输等等。尤其是在电信领域中，有很多业务支撑***，例如网络性能管理***（NPM）、设备管理***（FM）等，都是通过数据采集来获取原始数据。
上述数据采集具有下列特点：
1）数据源分布地域广阔，与数据采集***相距很远，从数据源到数据采集***之间路由经过的网络环境复杂，存在网速不稳定、网络易掉线等情况，对数据传输质量产生很大影响；
2）数据源数量众多，并且每个数据源在单位时间内需要输出的原始数据量很大，直接导致采集节点采集到数据量巨大，最终汇总到数据采集***的数据量为海量数据；
3）采集节点采集的原始数据需要及时传回到后端的数据采集***中，以确保采集数据的时效性，并且在远程文件传输过程中，需要确保不会造成文件内容的丢失，被窃取或篡改，保证采集数据的完整性；
因此，当前迫切需要一种全新的数据采集机制，来解决远程跨网络采集、海量数据传输、数据时效性和完整性要求高等难题。
发明内容
本发明的目的是提供一种跨网络环境远程部署分布式数据采集节点的方法。
本发明的目的是按以下方式实现的，如图1所示。数据采集***基于安全文件传送协议（SFTP）向各个前置采集节点下发采集任务（包括数据采集规则、数据采集周期等），前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议（SFTP）上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集***接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用。
按照上述描述的技术方案，具体的执行步骤如图2所示，说明如下：
步骤101：数据采集***定期将各个采集节点的采集任务，以安全文件传送协议（SFTP方式下发到各个节点上，采集任务内容包括数据采集规则、数据采集周期等。
步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率。
步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，如果有，进入到步骤104；如果没有，进入到步骤109。
步骤104：将待上传的数据文件进行压缩，然后通过安全文件传送协议（SFTP）传输方式上传到数据采集***的指定目录下。在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件。如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集***中。
步骤105：数据采集***检测到有新上传的采集数据压缩文件后，对压缩文件进行解压处理。
步骤106：数据采集***将解压后的原始数据文件，存放到指定目录下，供其他上层应用***使用。
步骤107：前置采集节点将成功上传的原始数据文件名称，记录到已上传文件列表中。
步骤108：前置采集节点根据已采集数据文件列表，判断本次数据采集任务是否已经完成，如果已完成，则进入到步骤109；如果未完成，则进入到步骤103。
步骤109：前置采集节点完成本次采集任务后，会将本次采集到的原始数据文件名称，全部记录到已采集文件列表，供下次采集任务过滤使用。
从上面具体处理过程可以看出，通过采集节点前置，数据采集过程边采集边上传，上传失败的文件能跟随下次采集任务自动上传，以及利用网络空闲通过均匀上传数据文件等措施，可以有效解决跨网络远程采集数据的难题。
本发明的有益效果如下：
本数据采集机制，是针对电信、教育、医药卫生等行业领域的采集特点，如数据源分布地域广阔、数据源数量众多、海量数据传输、数据实时性、安全性、完整性要求高等，提供了一种充分利用现有互联网（internet）网络优势，通过远程分布式部署采集节点，利用安全文件传送协议（SFTP）来上传数据文件的采集机制，比较完善的解决跨网络远程数据采集问题的方法。针对跨网络远程数据采集的问题，针对数据源的位置远程分布式部署采集节点，充分利用现有互联网（internet）网络覆盖面广的优势，通过安全文件传送协议（SFTP）传输文件来保障信息安全，支持文件断点续传，支持大数据量的传输，支持边采集边传输来提高数据的时效性。基于跨网络远程部署分布式数据采集机制，具有的优势是：
1）分布式部署采集节点，拉近与数据源的距离，提高数据采集效率；
2）基于互联网（internet）网络进行安全文件传送协议（SFTP）的文件传输方式，一方面保证文件内容的安全性，另一方面充分利用互联网（internet）网络资源优势，免去了网络专线建设费用；
3）文件上传支持中断续传，能够适应跨网络环境恶劣，网速不稳定的情况；
4）充分利用网络空闲，均匀上传数据文件，避免了文件集中上传带来的网络拥挤；
5）通过边采集边上传原始数据文件，缩短了从数据源到数据采集***之间的时延，提高采集数据的时效性。
附图说明
图1是本发明的示意框架图；
图2是本发明的具体处理步骤流程图；
图3是本发明针对电信网络的性能管理***的数据采集的具体实施方式。
具体实施方式：
该方法用于针对数据采集***与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议（Secure File TransferProtocol，简称SFTP）的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议（SFTP）把文件传输到数据采集***中，在保证数据安全性的同时，实现了边采集边传输。由此带来的好处，一方面保证了采集数据的时效性，使已采集的原始数据能及早进入到数据采集***中，另一方面充分利用网络带宽空闲，使原始数据以比较均匀的传输速率传输到数据采集***中，避免了文件集中传输时造成的网络拥挤，从总体上提高数据采集可用性、时效性、安全性、完整性。
以电信领域综合网络管理的性能管理***（PM***）为例，来说明本发明的具体应用。性能管理***是用于对电信网络全网承载的网络负荷管理为基础的管理***。管理内容包括网络负荷的流量流向管理、网络运行的效率管理、网络资源的配置使用情况管理、呼叫失败的原因分析等。电信网络具有全网覆盖地域广阔，网络设备众多等特点，性能管理***为了实现对电信网络的有效管理，就必须通过数据采集***，对网络设备的工作状态包括流量负荷、资源分配、呼叫失败等指标数据进行采集，并将采集数据及时汇总到性能管理***中，由性能管理***加工处理后，以监控窗口、报表、告警等方式呈现给网络管理人员。而对于电信网络设备性能指标数据的采集要求，完全符合跨网络环境远程部署分布式数据采集的特征。
如图3所示，针对电信网络的跨网络环境远程部署分布式数据采集的具体实施方式如下：
步骤201：电信网络设备在大多数情况下由设备厂商提供的网元管理***（简称EMS***）进行管理，而采集节点需要和EMS***进行对接，来采集性能数据。所以首先需要和EMS***制定性能数据文件命名格式、北向文件接口协议。
步骤202：在获取性能文件命名格式和北向文件接口（提供给其他厂家或运营商进行接入和管理的接口）协议之后，需要针对具体的EMS***，来制定性能数据的采集规则，而采集规则将指导前置采集节点正确的完成性能数据的采集任务。需要注意的是，不同设备厂商的EMS***要求不同，对应的采集规则也不同相同，甚至同一设备厂商的设备，由于EMS***的版本不同，也会存在采集规则不相同的情况。
步骤203：安装数据采集的主服务，数据采集主服务器一般都是安装在中心机房，开启安全文件传送协议（SFTP）服务，为各个前置采集节点设置安全外壳协议（SecureShell，简称SSH）鉴权证书，并且确保主服务器的IP地址能穿过防火墙。
步骤204：安装前置采集节点的应用服务，前置采集服务器一般与EMS***的服务器相距比较近，开启安全文件传送协议（SFTP）服务，确保能够穿过防火墙。
通过上面的实施方式，完成跨网络环境远程部署分布式数据采集的实施，一旦数据采集***，下发采集任务到前置采集节点，则采集节点会采集任务进行性能数据文件的采集，并最终完成性能数据文件上传，由数据采集***汇集所有性能文件，转交给性能管理***的上层应用模块继续进行处理。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (3)
1.一种跨网络环境远程部署分布式数据采集节点的方法, 其特征在于内容包括：
数据采集***基于安全文件传送协议SFTP向各个前置采集节点下发采集任务，任务包括：数据采集规则、数据采集周期，前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，前置采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议SFTP上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，前置采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集***接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用；
具体的执行步骤说明如下：
步骤101：数据采集***定期将各个前置采集节点的采集任务，以安全文件传送协议SFTP方式下发到各个前置采集节点上，采集任务内容包括数据采集规则、数据采集周期；
步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率；
步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，有，进入到步骤104；没有，进入到步骤109；
步骤104：前置采集节点将待上传的数据文件进行压缩，然后通过安全文件传送协议SFTP传输方式上传到数据采集***的指定目录下，在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件，如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集***中；
步骤105：数据采集***检测到有新上传的采集数据压缩文件后，对压缩文件进行解压处理；
步骤106：数据采集***将解压后的原始数据文件，存放到指定目录下，供其他上层应用***使用；
步骤107：前置采集节点将成功上传的原始数据文件名称，记录到已上传文件列表中；
步骤108：前置采集节点根据已采集数据文件列表，判断本次数据采集任务是否已经完成，如果已完成，则进入到步骤109；如果未完成，则进入到步骤103；
步骤109：前置采集节点完成本次采集任务后，会将本次采集到的原始数据文件名称，全部记录到已采集文件列表，供下次采集任务过滤使用。
2.根据权利要求1所述的方法，其特征在于，前置采集节点与数据源对接。
3.根据权利要求1所述的方法，其特征在于，前置采集节点上传数据文件时，先核对已上传文件列表，对已上传文件不再重新上传。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410051160.9A CN103795803B (zh) | 2014-02-14 | 2014-02-14 | 一种跨网络环境远程部署分布式数据采集节点的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410051160.9A CN103795803B (zh) | 2014-02-14 | 2014-02-14 | 一种跨网络环境远程部署分布式数据采集节点的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103795803A CN103795803A (zh) | 2014-05-14 |
| CN103795803B true CN103795803B (zh) | 2018-10-26 |
Family
ID=50671071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410051160.9A Active CN103795803B (zh) | 2014-02-14 | 2014-02-14 | 一种跨网络环境远程部署分布式数据采集节点的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103795803B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630900A (zh) * | 2015-12-18 | 2016-06-01 | 浪潮(北京)电子信息产业有限公司 | 一种数据存储方法与*** |
| CN106250273B (zh) * | 2016-08-01 | 2019-04-09 | 浪潮软件集团有限公司 | 一种基于Hadoop文件***实现数据异地容灾的方法 |
| CN106130801B (zh) * | 2016-08-30 | 2019-03-19 | 成都科来软件有限公司 | 大数据分布式数据采集器部署、升级、监控解决方法 |
| CN108241528B (zh) * | 2017-01-19 | 2020-10-09 | 上海直真君智科技有限公司 | 一种用户自定义海量网络安全数据动态采集方法 |
| CN109327279A (zh) * | 2017-08-01 | 2019-02-12 | 徐州天荣医疗通讯设备有限公司 | 一种用于医疗的低质量移动通信网络数据包大小控制方法 |
| CN108833490A (zh) * | 2018-05-24 | 2018-11-16 | 郑州云海信息技术有限公司 | 一种分布式数据采集***及其方法 |
| CN109507922B (zh) * | 2018-11-26 | 2021-11-23 | 佛山市明睿达科技有限公司 | 一种基于智能物联网的港口数据采集方法 |
| CN109858266B (zh) * | 2019-01-25 | 2023-09-05 | 上海倍通医药科技咨询有限公司 | 医药流通数据验证方法 |
| CN110209731A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、及存储介质、电子装置 |
| CN112015798B (zh) * | 2020-09-24 | 2023-12-05 | 中盈优创资讯科技有限公司 | 一种保证数据不重复和延迟监控的数据处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534415A (zh) * | 2009-04-23 | 2009-09-16 | 天柏宽带网络科技（北京）有限公司 | 一种文件实时传输的方法和*** |
| JP2010191600A (ja) * | 2009-02-17 | 2010-09-02 | Nec Corp | 分散データ収集システム及び分散データ収集方法 |
| CN102098170A (zh) * | 2009-12-09 | 2011-06-15 | 中兴通讯股份有限公司 | 一种数据采集优化方法及*** |
| CN102281331A (zh) * | 2011-08-30 | 2011-12-14 | 锐视软件（大连）有限公司 | 一种用于工业现场的远程监控***及其监控方法 |
| CN102904744A (zh) * | 2012-03-06 | 2013-01-30 | 中兴通讯股份有限公司 | 性能数据的采集方法及*** |
-
2014
- 2014-02-14 CN CN201410051160.9A patent/CN103795803B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010191600A (ja) * | 2009-02-17 | 2010-09-02 | Nec Corp | 分散データ収集システム及び分散データ収集方法 |
| CN101534415A (zh) * | 2009-04-23 | 2009-09-16 | 天柏宽带网络科技（北京）有限公司 | 一种文件实时传输的方法和*** |
| CN102098170A (zh) * | 2009-12-09 | 2011-06-15 | 中兴通讯股份有限公司 | 一种数据采集优化方法及*** |
| CN102281331A (zh) * | 2011-08-30 | 2011-12-14 | 锐视软件（大连）有限公司 | 一种用于工业现场的远程监控***及其监控方法 |
| CN102904744A (zh) * | 2012-03-06 | 2013-01-30 | 中兴通讯股份有限公司 | 性能数据的采集方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103795803A (zh) | 2014-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103795803B (zh) | 一种跨网络环境远程部署分布式数据采集节点的方法 | |
| WO2019184433A1 (zh) | 一种网络数据的监测方法及装置 | |
| CN103945443B (zh) | 一种td-lte无线网络业务性能测试方法及*** | |
| CN105868040A (zh) | 日志采集方法及采集终端 | |
| WO2015127603A1 (zh) | 一种接口管理服务实体、功能服务实体及网元管理方法 | |
| WO2022088791A1 (zh) | 分流设备性能测试方法、装置、***、电子设备以及介质 | |
| CN102571451A (zh) | 一种网元及其上传mr消息的方法 | |
| WO2020228689A1 (zh) | 一种数据传输方法、装置及设备 | |
| CN113194550B (zh) | 数据通道的构建方法、服务器及数据集群*** | |
| WO2014056345A1 (zh) | 监控任务的管理方法及装置 | |
| CN105554099A (zh) | 一种采集服务器负载均衡的方法及装置 | |
| CN101616023A (zh) | 一种通过短信对集群实施监控的方法 | |
| JP2011034181A (ja) | 遠隔監視又は遠隔操作のための異種通信サーバーシステム | |
| CN102307194B (zh) | 一种通用协议进程平滑重启方法和装置 | |
| CN102739415A (zh) | 确定网络故障数据、记录网络瞬时状态数据方法及装置 | |
| JP3425871B2 (ja) | ネットワーク管理システム及びその管理方法 | |
| CN112584398A (zh) | 数据处理方法、装置及存储介质 | |
| CN101022364A (zh) | Trap报文上报方法及***、告警信息源/告警代理服务装置 | |
| CN100568825C (zh) | 电信网中监控服务质量的方法、***及组件和计算机产品 | |
| CN105592485A (zh) | 一种基于snmp网管协议实时采集并处理消息的方法 | |
| CN103957127B (zh) | 异构厂家传输网络接口适配方法 | |
| CN109361915A (zh) | 一种有线网络摄像机安装测试***和方法 | |
| CN109446086A (zh) | 一种App内部抓包的方法 | |
| CN109743214A (zh) | 一种报文关口局控制器 | |
| CN102624753B (zh) | 企业服务总线的分布式文件传输方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Applicant after: Tianyuan Communication Information System Co., Ltd. Address before: No. 1036, Shun Ya Road, Ji'nan high tech Zone, Shandong Province Applicant before: Langchao Communication Information System Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Patentee before: INSPUR TIANYUAN COMMUNICATION INFORMATION SYSTEM Co.,Ltd. |