CN109302723B - 一种基于互联网的多节点实时无线电监测控制方法 - Google Patents
一种基于互联网的多节点实时无线电监测控制方法 Download PDFInfo
- Publication number
- CN109302723B CN109302723B CN201711383999.2A CN201711383999A CN109302723B CN 109302723 B CN109302723 B CN 109302723B CN 201711383999 A CN201711383999 A CN 201711383999A CN 109302723 B CN109302723 B CN 109302723B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- monitoring
- calculation
- spark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 238000012806 monitoring device Methods 0.000 claims abstract description 4
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/345—Interference values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明属于无线电监测技术领域，尤其涉及一种基于互联网的多节点实时无线电监测控制方法，具体步骤如下：步骤1，监测任务开始后，多个监测设备同时监测，服务收集实时采集的数据，对采集的数据进行处理计算，并将结果保存下来，为后续的数据分析提供支撑；步骤2，计算数据分析时，根据数据类型的不同调用不同的处理逻辑；步骤3，将处理逻辑封装成一个服务，调用计算服务前需要注册服务，计算完成后注销服务；本发明与现有技术相比具有以下有益效果：提高了***的稳定性，降低了维护的成本；实现了数据共享，增加了用户体验；增加了软件对设备监测控制的数量；优化了对大数据量的处理和计算。
Description
本发明涉及无线电监测技术领域，具体指一种基于互联网的多节点实时无线电监测控制方法。
背景技术
随着城乡建设的加快，人们周围的电磁环境变得错综复杂，随之而来的电磁环境监测点也在不断地增多和革新。通过监测电磁环境反映的数据，可以清晰地了解人口分布情况、该地无线电信号的分布、监测和发现不明信号等。为了保障人们的正常生活需要和电子信息设备的正常工作，维护一个良好的电磁环境，密切监测社会的电磁环境是一种必然的趋势。
电磁环境的组成是复杂的，例如：有人为产生的如非法使用设备进行数据通讯、也有设备异常如照明大灯接地不良、赛事时很多人使用通讯设备、微波通信、无线电广播等
由于监测的范围广，需要布置多个节点来进行监测，也就是需要多个设备来监测和采集数据，设备过多必然会影响服务器接收性能，从而影响这要求在监测中服务器能管理多个设备。
7*24小时的监测采集了大量的数据，要求设备的性能高，后台设备处理大数据的能力强，这要求监测中具有处理大数据的能力。
在多设备和大数据量的情况下，监测中容易出现服务器宕机、卡顿的情况，这就要求监测中后台协同工作。
绝大部分现有技术是运行于单机***之上的，它们的用户界面、应用的业务流程以及持久化数据都会驻留于同一台使用总线或电缆来连接外部设备的计算机上。多个设备之间的数据不能互通，对于大数据不能高速处理。
现有的监控技术会因设备过多，大数据，而造成软件的处理的性能降低，甚至出现假死和崩溃的现象，一旦出现这些情况则会造成数据的丢失，以及监测***的无法使用。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于互联网的多节点实时无线电监测控制方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于互联网的多节点实时无线电监测控制方法，具体步骤如下：
步骤1，监测任务开始后，多个监测设备同时监测，服务收集实时采集的数据，对采集的数据进行处理计算，并将结果保存下来，为后续的数据分析提供支撑；
步骤2，计算数据分析时，根据数据类型的不同调用不同的处理逻辑；
步骤3，将处理逻辑封装成一个服务，调用计算服务前需要注册服务，计算完成后注销服务；
在步骤1中，获取可以使用的服务，并根据每台服务的剩余计算资源进行排序，确定一个阀值，超过该阀值的服务中进行随机选择，没有就选取剩余计算资源最多的服务；
在步骤2中，历史数据保存在MongoDB中，封装Spark算法，调用服务开始计算，计算结果保存在MongoDB中，并通知服务使用者，从MongoDB中获取结果数据，展示到页面。
作为本发明一种优选技术方案，在对历史大量数据分析时，由于数据量大，需要采用通用，快速，适用于大规模数据的Spark；Spark整合Zookeeper，Spark，MongoDB实现基于SOA架构的通用处理大数据***。
本发明与现有技术相比具有以下有益效果：
1、提高了***的稳定性，降低了维护的成本；
2、实现了数据共享，增加了用户体验；
3、增加了软件对设备监测控制的数量；
4、优化了对大数据量的处理和计算。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1是本发明的***框架图。
图2是本发明的工作流程图。
图3是本发明多个服务器协同工作流程图。
图4是本发明大数据服务处理流程图。
图5是本发明Spark框架图。
图6是本发明批处理计算流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为应用本发明的基于互联网的多节点实时无线电监测控制***，包括：
访问层：多用户需要实时查看一个任务数据，或多个用户查看多个实时数据；显示计算的结果数据；
服务和计算层：接收设备采集的数据，并处理后返回给访问层B/S架构，整个服务采用SOA架构，使用ZOOKEEPER同一服务管理，数据分析可以在不同的服务器上一起协同计算，并返回结果。能处理多设备并发运行采集数据和分析数据，并且能够更加***性能添加或删除服务，灵活部署，计算速度快；
设备层：接受服务端命令，采集实时数据传递到服务层C/S架构，动态稳定连接。中心服务器实时监测设备的连接和中断，设备连接和中断不影响服务。
如图2-3所示，工作流程如下：监测任务开始后，多个监测设备同时监测，服务收集实时采集的数据，对采集的数据进行处理计算，并将结果保存下来，为后续的数据分析提供支撑；
计算数据分析时，根据数据类型的不同调用不同的处理逻辑；
将处理逻辑封装成一个服务，调用计算服务前需要注册服务，计算完成后注销服务；
一个数据分析任务，其处理逻辑可以在一个服务器上，也可以在多个服务器上。
一个任务需要多个计算逻辑时，将处理计算逻辑分配到一个或多个服务器上，处理完后返回结果。
一个计算任务由多个服务器完成，能保证数据的快速处理需求。
总分配原则：获取可以使用的服务，并根据每台服务的剩余计算资源进行排序，确定一个阀值，超过该阀值的服务中进行随机选择(随机法)，没有就选取剩余计算资源最多的服务(最大值法)。
服务容错机制：获取服务到使用服务有一定延迟，如果服务的扩展，宕机，断电等情况，获取的服务无法使用时，则重新需要可用的服务。
出发点：每台服务的配置和性能不同导致其计算资源和计算速度不同，根据计算资源分配能很好利用计算机资源，避免浪费及提高性能。
如图4所示，在对历史大量数据分析时，由于数据量大，需要采用分布式处理。Spark是一个通用，快速，适用于大规模数据的处理引擎。整合Zookeeper，Spark，MongoDB实现基于SOA架构的通用处理大数据***，能快速处理分析无线电***的实时数据和历史大数据。
历史数据保存在MongoDB中，封装Spark算法，调用服务开始计算，计算结果保存在MongoDB中，并通知服务使用者，从MongoDB中获取结果数据，展示到页面。
如图5所示，Spark是以SparkContext为程序运行的总入口，在SparkContext的初始化过程中，Spark会分别创建DAGScheduler作业调度和TaskScheduler任务调度两级调度模块。其中作业调度模块是基于任务阶段的高层调度模块，它为每个Spark作业计算具有依赖关系的多个调度阶段(通常根据shuffle来划分)，然后为每个阶段构建出一组具体的任务(通常会考虑数据的本地性等)，然后以TaskSets(任务组)的形式提交给任务调度模块来具体执行。而任务调度模块则负责具体启动任务、监控和汇报任务运行情况。
图6是Spark计算任务的流程图，需要计算的任务，比如一年内数据的统计分析并获取数据报表，数据事先已经存放到数据库里面。
任务递交到master，然后预先加载所需参考数据，Broadcast就是把这些在内存里的数据复制到每一个Spark计算节点的JVM，然后所有计算节点多线程并发执行，调用自己的计算逻辑，得出结果以后，并保存回数据库(MongoDB)中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种基于互联网的多节点实时无线电监测控制方法，其特征在于，包括以下步骤：
S1)监测任务开始后，多个监测设备同时监测，服务收集实时采集的数据，对采集的数据进行处理计算，并将结果保存下来，为后续的数据分析提供支撑；
S2)计算数据分析时，根据数据类型的不同调用不同的处理逻辑；
S3)将处理逻辑封装成一个服务，调用计算服务前需要注册服务，计算完成后注销服务；
在步骤S1)中，获取可以使用的服务，并根据每台服务的剩余计算资源进行排序，确定一个阀值，超过该阀值的服务中进行随机选择，没有就选取剩余计算资源最多的服务；
在步骤S2)中，历史数据保存在MongoDB中，封装Spark算法，调用服务开始计算，计算结果保存在MongoDB中，并通知服务使用者，从MongoDB中获取结果数据，展示到页面。
2.根据权利要求1所述的一种基于互联网的多节点实时无线电监测控制方法，其特征在于，在对历史大量数据分析时，由于数据量大，需要采用通用，快速，适用于大规模数据的Spark；Spark整合Zookeeper，Spark，MongoDB实现基于SOA架构的通用处理大数据***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711383999.2A CN109302723B (zh) | 2017-12-20 | 2017-12-20 | 一种基于互联网的多节点实时无线电监测控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711383999.2A CN109302723B (zh) | 2017-12-20 | 2017-12-20 | 一种基于互联网的多节点实时无线电监测控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109302723A CN109302723A (zh) | 2019-02-01 |
| CN109302723B true CN109302723B (zh) | 2024-03-29 |
Family
ID=65168181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711383999.2A Active CN109302723B (zh) | 2017-12-20 | 2017-12-20 | 一种基于互联网的多节点实时无线电监测控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109302723B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110996337A (zh) * | 2019-03-29 | 2020-04-10 | 国家无线电监测中心检测中心 | 支持移动监测站的无线电监测方法 |
| CN111882887B (zh) * | 2020-07-16 | 2021-11-23 | 浙江工业大学 | 同步展示scats相位信号及整合流量设备监测数据的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268230A (zh) * | 2013-05-31 | 2013-08-28 | 重庆大学 | 用于构建可拓展服务的云计算信息管理平台的方法 |
| CN104320477A (zh) * | 2014-10-31 | 2015-01-28 | 上海许继电气有限公司 | 基于分布式服务器实现光伏电站数据处理的方法及*** |
| CN104767641A (zh) * | 2015-04-01 | 2015-07-08 | 北京京东尚科信息技术有限公司 | 调流方法、设备和*** |
| CN105430091A (zh) * | 2015-12-11 | 2016-03-23 | 山东科大机电科技股份有限公司 | 基于云存储的远程设备健康管理方法及使用该方法的*** |
| CN105488610A (zh) * | 2015-11-23 | 2016-04-13 | 国网山东省电力公司信息通信公司 | 一种电力应用***故障实时分析诊断***及方法 |
| CN105894206A (zh) * | 2016-04-06 | 2016-08-24 | 四川隧唐科技股份有限公司 | 一种基础设施建设移动互联网端服务平台及其实现方法 |
-
2017
- 2017-12-20 CN CN201711383999.2A patent/CN109302723B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103268230A (zh) * | 2013-05-31 | 2013-08-28 | 重庆大学 | 用于构建可拓展服务的云计算信息管理平台的方法 |
| CN104320477A (zh) * | 2014-10-31 | 2015-01-28 | 上海许继电气有限公司 | 基于分布式服务器实现光伏电站数据处理的方法及*** |
| CN104767641A (zh) * | 2015-04-01 | 2015-07-08 | 北京京东尚科信息技术有限公司 | 调流方法、设备和*** |
| CN105488610A (zh) * | 2015-11-23 | 2016-04-13 | 国网山东省电力公司信息通信公司 | 一种电力应用***故障实时分析诊断***及方法 |
| CN105430091A (zh) * | 2015-12-11 | 2016-03-23 | 山东科大机电科技股份有限公司 | 基于云存储的远程设备健康管理方法及使用该方法的*** |
| CN105894206A (zh) * | 2016-04-06 | 2016-08-24 | 四川隧唐科技股份有限公司 | 一种基础设施建设移动互联网端服务平台及其实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孟莲蓉 ; .某广电单位大数据平台架构设计.科技资讯.2016,(07),第2节. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109302723A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10558498B2 (en) | Method for scheduling data flow task and apparatus | |
| CN111049705B (zh) | 一种监控分布式存储***的方法及装置 | |
| CN102667724B (zh) | 用于动态管理加速器资源的方法和*** | |
| CN107908536B (zh) | Cpu-gpu异构环境中对gpu应用的性能评估方法及*** | |
| CN113762906B (zh) | 任务周期延迟的告警方法、装置、设备及存储介质 | |
| CN113971066A (zh) | 一种Kubernetes集群资源动态调整方法及电子设备 | |
| CN113918314A (zh) | 任务处理方法、边缘计算设备、计算机设备、介质 | |
| CN109302723B (zh) | 一种基于互联网的多节点实时无线电监测控制方法 | |
| CN108776589B (zh) | 雷达信号处理软件组件的部署方法 | |
| CN114896166A (zh) | 场景库构建方法、装置、电子设备及存储介质 | |
| WO2020206699A1 (en) | Predicting virtual machine allocation failures on server node clusters | |
| CN110728372B (zh) | 一种人工智能模型动态加载的集群设计方法及集群*** | |
| CN115981808A (zh) | 调度方法、装置、计算机设备和存储介质 | |
| CN113055126B (zh) | 一种飞行数据译码方法、装置及终端设备 | |
| CN111124834B (zh) | 云计算环境下监控数据的接入方法、装置和计算机设备 | |
| CN114296872A (zh) | 用于容器集群管理***的调度方法及装置 | |
| CN113722141A (zh) | 数据任务的延迟原因确定方法、装置、电子设备及介质 | |
| CN112883110A (zh) | 一种基于nifi的终端大数据分发方法、存储介质及*** | |
| CN111861012A (zh) | 一种测试任务执行时间预测方法及最优执行节点选择方法 | |
| CN115858309B (zh) | 面向分布式***的数据监控方法、装置和电子设备 | |
| Kim | Toward globally optimal resource management in large-scale real-time distributed computer systems | |
| CN115774800B (zh) | 基于numa架构的时变图处理方法、电子设备、介质 | |
| CN116821175A (zh) | 数据查询、索引服务创建方法、装置及电子设备 | |
| CN207854192U (zh) | 一种基于互联网的多节点实时无线电监测控制*** | |
| CN114610575B (zh) | 应用于计算分支的更新峰值的方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |