CN114844562A - 一种基于不同区域的光纤信号关联分析方法 - Google Patents
一种基于不同区域的光纤信号关联分析方法 Download PDFInfo
- Publication number
- CN114844562A CN114844562A CN202210477988.5A CN202210477988A CN114844562A CN 114844562 A CN114844562 A CN 114844562A CN 202210477988 A CN202210477988 A CN 202210477988A CN 114844562 A CN114844562 A CN 114844562A
- Authority
- CN
- China
- Prior art keywords
- data
- area
- optical fiber
- information
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010219 correlation analysis Methods 0.000 title claims abstract description 35
- 239000013307 optical fiber Substances 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims description 30
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012098 association analyses Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 239000000835 fiber Substances 0.000 claims description 7
- 238000000547 structure data Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012097 association analysis method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
- H04B10/0793—Network aspects, e.g. central monitoring of transmission parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
- H04B10/0795—Performance monitoring; Measurement of transmission parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/16—Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
- H04J3/1605—Fixed allocated frame structures
- H04J3/1652—Optical Transport Network [OTN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于不同区域的光纤信号关联分析方法，包括如下步骤：采集各区域的光纤线路数据；将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点；将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，本发明技术方案实现不同区域光纤信号的自动关联分析。
Description
技术领域
本发明涉及数据通信技术领域，特别涉及一种基于不同区域的光线信号关联分析方法。
背景技术
现有的光纤线路关联分析方法大多数是手动分析，现有的光纤线路分析流程大致如下：各地分别对光纤线路进行信号的采集、各地分别把采集到的帧结构数据汇总，并手动导入到分析库中、通过汇总到分析库中的所有帧结构数据进行对比，计算出可能相同的光纤线路、再次把可能相同的光纤线路进行帧结构的归属地对比、在帧结构与对应的归属地一致的情况下，找到关联的光纤线路，但是，现有的分析流程存在如下缺陷：现有的关联分析流程比较低效，整体上流程没有全面自动化、关联分析流程涉及到不同区域的光纤线路数据采集，由于光纤信号采集设备的硬件或网张环境的不同导致采集信号有出入，原有的技术很难满足不同区域同时采集的需要、帧结构信号的对比与归属地信号对比都是通过人工统计方式处理。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明的主要目的是提出一种基于不同区域的光线信号关联分析方法，旨在实现不同区域光纤信号的自动关联分析。
为实现上述目的，本发明提出的一种基于不同区域的光纤信号关联分析方法，包括如下步骤：
S1：采集各区域的光纤线路数据，具体包括：从数据源中获取需要采集的地区与线路信息，生成各区域的关联分析任务，并将关联分析任务分发至各区域；
S2：将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点，具体包括：获取各区域的信息，并与各区域数据源建立通讯；获取需要同步的业务数据元数据，根据业务数据元数据信息开始同步业务数据；
S3：将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，具体包括：获取各区域的信息，根据各区域的信息从本地数据仓库中获取对应区域的业务信息，并进行初步关联分析；根据初步关联分析后的数据从本地数据仓库中获取线路的流量数据，并产生关联分析记录。
优选地，获取各区域的信息包括ID、服务器IP、端口、鉴权信息。
优选地，步骤S1中，各区域光纤线路在进行信号分析前需要将采集的线路通过硬件设备进行换线，当各区域的换线完成后，各区域进行时间同步，时间同步完成后，开始采集信号。
优选地，步骤S2中，通过多线程技术与各区域数据源建立通讯，其中，光纤线路信息的同步包括各区域的原始光纤、合波、单波、帧结构数据、IP流量数据。
优选地，步骤S2中，取得业务数据后，依据区域ID生成业务数据的全局ID，全局ID的生产规则主要由8个字节组成，第1个字节表示地区，第2个字节表示部门，第3个字节表示组，第4个字节保留，第5到第8个字节表示自增ID，通过全局ID数据的生成可保证全区域的数据不重复。
优选地，步骤S2中，若数据同步反馈失败，则实时记录日志信息，并尝试重试机制，重试机制包括的异常有：数据不一致异常、超时异常、断点异常。
优选地，步骤S3中，首先获取区域的合波、单波以及帧结构数据，进行初步的关联，关联逻辑主要是以递归的方式去对比各线路及各层次帧结构的信号类型，不同线路之间的相同信号类型。
优选地，步骤S3中，获取线路的流量数据后，根据流量IP的归属地以及帧结构电层分析出关联分析记录，根据IP流量的归属地存在相同的比例关系来进行深度分析。
与现有技术相比，本发明的有益效果是：
本方案解决了不同区域同步业务数据时ID冲突的问题；
本方案解决了不同区域在保持时间一致的情况下采集数据的问题；
本方案在一定的使用场景上满足了关联分析全自动化的要求；
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明整体技术架构示意图；
图2为本发明分析调度组件处理流程示意图；
图3为本发明任务控制组件处理流程示意图；
图4为本发明数据同步组件处理流程示意图；
图5为本发明关联分析组件处理流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本实施例提出的一种基于不同区域的光纤信号关联分析方法，参考图1，本方法中包括用于执行步骤S1的任务控制组件、用于执行步骤S2的数据同步组件、用于执行步骤S3的关联分析组件，还包括一个用于整体调度的分析调度组件。
参考图2，分析调度组件负责关联分析功能的总体调度，通过分析调度组件实现任务的控制、数据同步、关联分析等一系列有序的流程管理，扮演着关联分析功能的总调度角色。分析调度组件是光纤线路关联分析方法的总调度中心，通常在特定的条件下开始启动，如每天特定的时间点运行，具体的流程说明如下：
分析调度组件在准备运行之前针对相关的组件进行自检，主要目的是检查各组件是否运行正常；
各组件准备就绪后，分析调度组件从数据库中获取所有的区域信息，记录下各区域的ID、服务器IP、端口以及鉴权信息；
各区域信息加载完毕后，调用任务控制组件准备开始采集数据；
任务控制组件采集完数据后，数据同步组件运行数据同步功能，分析调度组件处于挂起状态；
分析调度组件在得到数据同步组件的反馈后进入下一步操作：如反馈失败：分析调度组件实时记录下日志信息，并尝试重试机制；如反馈成功：分析调度组件调用关联分析组件开始对不同区域的数据进行关联分析；
分析调度组件的重试机制包括的异常主要是以下几种：数据不一致异常、超时异常、断点异常，在超时异常重试机制下，分析调度组件会根据配置好的重试机制偿试重试，如重试失败则记录日志并进入人工干预状态，在断点异常重试机制下，分析调度组件会根据已同步数据的状态点开始断点续传，在数据不致异常下通常是业务数据错误导致，需要人工干预；
关联分析组件处于工作状态时，分析调度组件处于挂起状态；
关联分析完成后，分析调度组件判断是否存在已关联的线路，如存在则调用任务控制组件开始数据采集，如不存在则分析调度组件运行结束；
进一步地，参考图3，任务控制组件从数据源中获取需要采集的地区与线路信息，生成各区域的关联分析任务，并将关联分析任务分发至各区域；具体地：
分析调度组件通知任务控制组件开始处理信息采集；
任务控制组件从数据源中获取需要采集的地区与线路信息；
任务控制组件收到各区域可处理关联分析任务的信号后，开始生成各区域的任务；
任务控制组件会分发任务至各区域的任务采集处理器，告知准备处理关联分析任务；
任务控制组件收到各区域的任务采集准备就绪的指令后，会异步的同时下发指令，告知各区域开始采集；
由于各区域的光纤线路不同，在进行线路信号分析之前需要将采集的线路通过硬件设备换线，因此不同区域的切换线路时长也不同；任务控制组件会不断的监控各区域的换线过程是否完成，直到各区域反馈换线完成的指令后，任务控制组件会告知各区域进行时间的同步；
任务控制组件在收到各区域时间同步完成的指令后，会同时下发采集指令让各区域开始采集信号；
任务控制组件等待各区域完成信号采集后，通知分析调度组件完成任务的调度；
任务控制组件在各种异常处理机制下有自恢复功能，如换线、采集的失败与超时处理。
进一步地，参考图4，数据同步组件将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点，包括：获取各区域的信息，并与各区域数据源建立通讯；获取需要同步的业务数据元数据，根据业务数据元数据信息开始同步业务数据；具体过程如下：
从总调度处获取区域信息，包括IP、端口以及鉴权信息；
数据同步组件采用多线程技术分别与各区域数据源建立通讯；
各区域建连后，数据同步组件从配置中获取需要同步的业务数据元数据；根据业务数据元数据信息开始同步业务数据；
针对光纤线路信息的同步，主要涉及到各区域的原始光纤、合波、单波、帧结构数据、IP流量数据等；数据同步组件根据元数据信息获取到业务数据后，依据区域ID生成业务数据的全局ID，全局ID的生产规则主要由8个字节组成，第1个字节表示地区，第2个字节表示部门，第3个字节表示组，第4个字节保留，第5到第8个字节表示自增ID，通过全局ID数据的生成可保证全区域的数据不重复；
数据同步组件完成同步后，反馈成功或失败信息给分析调度组件，进入下一步操作。
进一步地，参考图5，关联分析组件将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，具体包括：获取各区域的信息，根据各区域的信息从本地数据仓库中获取对应区域的业务信息，并进行初步关联分析；首先获取区域的合波、单波以及帧结构数据，进行初步的关联，关联逻辑主要是以递归的方式去对比各线路及各层次帧结构的信号类型，不同线路之间的相同信号类型如占总线路信号类型的一定比例(比例关系可根据业务场景的需要配置)，则初步关联成功。
根据初步关联分析后的数据从本地数据仓库中获取线路的流量数据，根据流量IP的归属地以及帧结构电层分析出关联分析记录；深度分析的数据量大，主要根据IP流量的归属地存在相同的比例关系来确定；关联分析组件完成后，反馈给分析调度组件并保存深度分析后的关联分析记录。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于不同区域的光纤信号关联分析方法，其特征在于，包括如下步骤：
S1：采集各区域的光纤线路数据，具体包括：从数据源中获取需要采集的地区与线路信息，生成各区域的关联分析任务，并将关联分析任务分发至各区域；
S2：将采集的各区域的光纤线路数据进行同步，并将该数据统一汇总到关联处理节点，具体包括：获取各区域的信息，并与各区域数据源建立通讯；获取需要同步的业务数据元数据，根据业务数据元数据信息开始同步业务数据；
S3：将统一汇总的各区域的光纤线路数据按照一定的策略进行对比，产生关联分析记录，具体包括：获取各区域的信息，根据各区域的信息从本地数据仓库中获取对应区域的业务信息，并进行初步关联分析；根据初步关联分析后的数据从本地数据仓库中获取线路的流量数据，并产生关联分析记录。
2.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，获取各区域的信息包括ID、服务器IP、端口、鉴权信息。
3.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S1中，各区域光纤线路在进行信号分析前需要将采集的线路通过硬件设备进行换线，当各区域的换线完成后，各区域进行时间同步，时间同步完成后，开始采集信号。
4.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S2中，通过多线程技术与各区域数据源建立通讯，其中，光纤线路信息的同步包括各区域的原始光纤、合波、单波、帧结构数据、IP流量数据。
5.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S2中，取得业务数据后，依据区域ID生成业务数据的全局ID，全局ID的生产规则主要由8个字节组成，第1个字节表示地区，第2个字节表示部门，第3个字节表示组，第4个字节保留，第5到第8个字节表示自增ID，通过全局ID数据的生成可保证全区域的数据不重复。
6.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S2中，若数据同步反馈失败，则实时记录日志信息，并尝试重试机制，重试机制包括的异常有：数据不一致异常、超时异常、断点异常。
7.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S3中，首先获取区域的合波、单波以及帧结构数据，进行初步的关联，关联逻辑主要是以递归的方式去对比各线路及各层次帧结构的信号类型，不同线路之间的相同信号类型。
8.如权利要求1所述的基于不同区域的光纤信号关联分析方法，其特征在于，步骤S3中，获取线路的流量数据后，根据流量IP的归属地以及帧结构电层分析出关联分析记录，根据IP流量的归属地存在相同的比例关系来进行深度分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477988.5A CN114844562A (zh) | 2022-04-28 | 2022-04-28 | 一种基于不同区域的光纤信号关联分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210477988.5A CN114844562A (zh) | 2022-04-28 | 2022-04-28 | 一种基于不同区域的光纤信号关联分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114844562A true CN114844562A (zh) | 2022-08-02 |
Family
ID=82567111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210477988.5A Pending CN114844562A (zh) | 2022-04-28 | 2022-04-28 | 一种基于不同区域的光纤信号关联分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114844562A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404255A (zh) * | 2015-11-03 | 2016-03-16 | 成都天衡电科科技有限公司 | 工业数据网的数据同步方法 |
| CN109151090A (zh) * | 2018-04-13 | 2019-01-04 | 国家计算机网络与信息安全管理中心 | 基于互联网基础资源的ip地址关联分析方法和分析*** |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN113688288A (zh) * | 2021-09-02 | 2021-11-23 | 广州广电运通金融电子股份有限公司 | 数据关联分析方法、装置、计算机设备和存储介质 |
-
2022
- 2022-04-28 CN CN202210477988.5A patent/CN114844562A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404255A (zh) * | 2015-11-03 | 2016-03-16 | 成都天衡电科科技有限公司 | 工业数据网的数据同步方法 |
| CN109151090A (zh) * | 2018-04-13 | 2019-01-04 | 国家计算机网络与信息安全管理中心 | 基于互联网基础资源的ip地址关联分析方法和分析*** |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN113688288A (zh) * | 2021-09-02 | 2021-11-23 | 广州广电运通金融电子股份有限公司 | 数据关联分析方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王晓红;: "光网络FTTx设备监控和维护策略", 通信与信息技术, no. 04, 25 July 2013 (2013-07-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347746B (zh) | 一种异构数据库同步数据一致性校验方法及装置 | |
| US20130117226A1 (en) | Method and A System for Synchronizing Data | |
| CN110990432B (zh) | 一种跨机房同步分布式缓存集群的装置和方法 | |
| CN110019312B (zh) | 读写数据分离调度方法、装置、设备及介质 | |
| CN103067230A (zh) | 一种通过植入监控代码实现对http服务监控的方法 | |
| CN110347747A (zh) | 数据库间数据同步方法、***、计算机设备及存储介质 | |
| CN108140035B (zh) | 分布式***的数据库复制方法及装置 | |
| CN111913933A (zh) | 基于统一支撑平台的电网历史数据管理方法及*** | |
| CN111782618B (zh) | 一种数据同步*** | |
| CN114844562A (zh) | 一种基于不同区域的光纤信号关联分析方法 | |
| CN108900497B (zh) | 一种异构***间的数据同步方法及*** | |
| CN112422349B (zh) | 面向nfv的网管***、方法、设备及介质 | |
| CN113543185B (zh) | 基于自动开站助力5g高密度基站快速运营方法及*** | |
| CN113094398B (zh) | 一种基于区块链技术的数据链路追踪的方法 | |
| CN112286918B (zh) | 数据快速接入转换的方法、装置、电子设备及存储介质 | |
| CN115220992A (zh) | 接口变更监控方法、装置、计算机设备和存储介质 | |
| CN111861641A (zh) | 基于通信行业的多渠道订单集成管理***及方法 | |
| CN116737834B (zh) | 经销商多租户分库分表场景数据实时同步*** | |
| CN112564953B (zh) | 一种对局远端设备管理的方法和装置及设备 | |
| CN115391463A (zh) | 数据同步方法、装置及服务器集群 | |
| CN108494859B (zh) | 网络数据的同步方法及*** | |
| CN111143280B (zh) | 一种数据调度方法、***、装置及存储介质 | |
| CN118035253A (zh) | 一种数据库同步更新的方法和*** | |
| CN114443747A (zh) | 一种基于区块链的大数据仓库***及数据存储方法 | |
| CN115348487A (zh) | 一种实时数据库*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |