CN101621535A - 一种实时监控***网络通讯方法和装置 - Google Patents
一种实时监控***网络通讯方法和装置 Download PDFInfo
- Publication number
- CN101621535A CN101621535A CN200910065232A CN200910065232A CN101621535A CN 101621535 A CN101621535 A CN 101621535A CN 200910065232 A CN200910065232 A CN 200910065232A CN 200910065232 A CN200910065232 A CN 200910065232A CN 101621535 A CN101621535 A CN 101621535A
- Authority
- CN
- China
- Prior art keywords
- message
- pool
- pond
- data
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012544 monitoring process Methods 0.000 title claims abstract description 19
- 230000015654 memory Effects 0.000 claims abstract description 55
- 238000013508 migration Methods 0.000 claims description 24
- 230000005012 migration Effects 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 21
- 230000002567 autonomic effect Effects 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种实时监控***网络通讯方法和装置，该方法步骤为：内存报文池中设工作池、备份池和镜像池，***中至少设置主备两台通讯服务器；数据源分别向主备通讯服务器发送数据报文；主通讯服务器将接收到的数据报文投递至它的工作池，同时向备通讯服务器的镜像池投递；备通讯服务器将接收到的数据报文投递至备它的备份池；上层访问接口按时对内存报文池进行查询，并从它的工作池中读取报文，再返回报文到上层访问接口进行数据应用，完毕后删除相应的已读报文；进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：分别按先后将备份池和镜像池中存储的数据报文搬移至工作池；该发明能够解决通讯通道切换时报文丢失的问题。
Description
技术领域
本发明涉及网络通讯技术，具体涉及一种实时监控***网络通讯方法和装置。
背景技术
网络通讯是自动化实时监控***中很重要的一部分，传统的实时网络通讯无论采用何种通讯介质，其通讯方式一般都是在数据采集方(发送者)将采集到的数据进行发送的同时，数据应用方(接收者)同步接收并处理这些数据，为了避免由于不同步而造成通讯数据的丢失，无论是发送方或接收方都需要在自己的内存中建立缓存，以暂时保存那些无法及时通讯的数据。但由于这些缓存都是利用程序进程的内存建立的，容量有限，当某一时段数据量较大或应用程序忙于其它事务来不及接收数据，报文量超出了缓存的限制时，就会造成通讯数据的丢失。
在较为复杂的大型实时监控***中，为了提高***运行的可靠性和通讯容量，常常需要部署主备冗余的双通讯主机，或者建立数量更多的通讯服务集群以满足***的要求。由于每个通讯主机只是处理本机的数据通讯，彼此之间没有联系，而主备的切换又需要一个过程，不可能瞬间即时完成，这就造成了长期困扰业界的一个问题，即：从本机或自己的通讯通道出现问题，到***成功切换至另一个通讯主机或通道这一时间段的通讯数据往往会丢失掉。
发明内容
本发明的目的是提供一种解决通讯通道切换时报文丢失问题的实时监控***网络通讯方法。
本发明的另一目的是提供一种高效率的解决因短期内报文量过大而造成通讯数据被丢弃和通讯通道切换时报文丢失问题的实时监控***网络通讯装置。
本发明的实时监控***网络通讯方法的技术方案是：该方法包括如下步骤：
(1)内存报文池中设有工作池、备份池和镜像池，***中至少设置主备两台通讯服务器；
(2)数据源分别向主备通讯服务器发送数据报文；
主通讯服务器将接收到的数据源的数据报文投递至主通讯服务器的工作池，同时自动向备通讯服务器的镜像池投递一份；
备通讯服务器将接收到的数据源数据报文投递至备通讯服务器的备份池；
(3)上层访问接口按时对内存报文池进行查询，并从内存报文池的工作池中读取报文，然后将其传递至相关应用，待数据处理完毕，报文池删除这些已被读取的报文；
若主通讯服务器崩溃或者主通讯服务器与数据源的通讯通道中断进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：先将备份池中存储的数据报文搬移至工作池；然后将镜像池中数据报文搬移至工作池。
所述将镜像池中的数据搬移至工作池具体为：备通讯服务器的内存报文池自动基于报文索引对镜像池中的数据报文进行合并与过滤，然后搬移至工作池。
报文池将读入的数据源的数据报文先存入内存，若内存已满则迁移至磁盘。
报文池将读入的数据源的数据报文存入内存之前，报文池需对下层访问接口进行动态身份认证；上层访问接口按时对内存报文池进行查询之前，报文池需对上层访问接口进行动态身份认证。
在生命周期时间之内，生命周期管理模块定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移；生命周期临界时，生命周期管理模块删除包括磁盘文件在内的所有生命临界的报文。
若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。
所述生命周期的时间由使用者设定。
本发明的实时监控***网络通讯装置的技术方案是：该通讯装置包括设于内存中的报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：
分布式并发访问接口模块，用于与客户端进行通讯；
报文池间数据迁移接口模块，用于报文池间报文的传输；
报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；
工作池存储空间，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；
备份池存储空间，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；
镜像池模块存储空间，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；
所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。
本发明中报文池能够自动完成磁盘与内存之间的迁移，使得真正的通讯只是针对内存的操作，从而保证了通讯的实时与高速性能，并且能够进行海量存储，必要时可存入磁盘；工作池与备份池、镜像池数据报文的自动迁移使得来自主备通道的数据能够自动迁移至相应通讯主机，并加以编号给予缓存，当双机主备通道切换时，发送方或者接收方无需作出额外的处理，报文池即可自动给予报文索引进行合并与过滤，保证了这一时刻通讯数据的唯一性和完整性；在生命周期临界时能够自动实现报文的删除，避免无效通讯数据的干扰；报文池的远程高速访问接口隔离了数据采集模块与后台处理模块之间直接的数据交互，通过其动态的身份认证功能，使得***可以根据实际需要进行模块的部署，并可以在运行过程中在线动态地增加发送者或接收者，从而大大提高了***的灵活性与开放性。
附图说明
图1是本发明报文池及生命周期管理模块图；
图2是本发明报文池访问及生命周期管理序列图；
图3是双机配置下本发明的工作池、镜像池、备份池的运行状态示意图；
图4是本发明主备切换时的报文自动迁移及运行状态示意图。
具体实施方式
以变电站远动通讯为例来说明实时监控***网络通讯方法和装置。
设变电站远动通讯***配置了两台通讯服务器，其工作方式是它们要通过主备冗余通道接入数据源Y的数据，然后将这些数据报文传递至后台应用程序X进行处理。在开始的时候，通讯服务器A针对数据源作为主机进行工作，通讯服务器B作为冗余的备机运行。
首先在通讯服务器A和B上安装如图1所示的“报文池及生命周期管理模块”。
报文池及生命周期管理模块包括报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：分布式并发访问接口模块，用于与客户端进行通讯；报文池间数据迁移接口模块，用于报文池间数据报文的传输；并发访问及远程通讯管理模块，用于多客户端同时并发产生远程或本地访问；报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；工作池模块，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；备份池模块，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；镜像池模块，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。
报文池及生命周期管理模块将按照图2的报文池访问及生命周期管理序列进行工作。***开始运行，则数据采集模块通过下层访问接口所加载的报文池的分布式并发访问接口将自动向通讯服务器A和通讯服务器B的内存报文池进行登录，在通过了并发访问及远程通讯管理模块的动态身份认证后，数据采集模块就可以把来自数据源Y的数据提交至分布式并发访问接口，它不用关心这些数据报文是如何处理的，被存储到通讯服务器A还是通讯服务器B，最终又将被投递到哪里；报文池将收到的数据源Y的数据报文存入内存，若内存已满，则存入磁盘；后台应用程序X通过上层访问接口所加载的分布式并发访问接口将自动向通讯服务器A和通讯服务器B的报文池进行动态身份认证，然后就将从该访问接口在设定的时间间隔或在设定时间对内存报文池中的数据进按时池中来自数据源Y的报文，它也不用关心这些报文到底是来自通讯服务器A还是通讯服务器B；报文池中的报文都是只从内存中读取的，然后返回报文到上层访问接口的后台应用程序X，上层访问数据接口后台应用程序X进行数据应用，完毕后删除相应的已读报文，同时报文池删除已经被读取的报文；生命周期管理模块会在使用者设定的生命周期时间之内，定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移，在生命周期临界时自动删除包括磁盘文件在内的所有生命期临界的报文；若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。
上文所述的报文池将收到的数据源Y的数据报文存入内存报文池运行状态为：数据源Y分别向通讯服务器A和通讯服务器B发送数据报文，通讯服务器A将接收到的数据源Y的数据报文投递至通讯服务器A的工作池，同时也自动将该报文向通讯服务器B的镜像池投递一份；通讯服务器B接收到的数据源Y的数据投递至通讯服务器B报文池的备份池，参见图3双机配置下本发明的工作池、镜像池、备份池的运行状态示意图。
若通讯服务器A崩溃或者通讯服务器A与数据源Y的通讯通道中断需要进行主备切换时，如图4所示，通讯服务器B的报文池将自动进行报文迁移：先将备份池中存储的数据源Y的数据搬移至工作池，然后将镜像池中数据源Y的数据依据报文的索引进行相关重复报文的过滤、合并再搬移至工作池。正是因为在切换之前后台应用程序X还没来得及接收的，来自通讯服务器A接收的数据源Y的数据存储在通讯服务器B的镜像池中，而在切换开始至切换完成的这段时间内，来自通讯服务器B接收的数据源Y的数据存储在通讯服务器B的备份池中，所以这就保证了在针对数据源Y的整个主备切换的过程中，数据报文不会丢失；同时在镜像数据搬移到工作池的过程中，因为有了依据报文池自动添加的索引进行数据过滤的功能，也保证了来自数据源Y的报文不会发生重复。后台应用程序X并不会感知针对数据源Y的通讯主机的切换，但它所加载的报文池访问接口将会自动由通讯服务器A切换至通讯服务器B进行数据报文的读取。
Claims (8)
1.一种实时监控***网络通讯方法，其特征在于：该方法包括如下步骤：
(1)内存报文池中设有工作池、备份池和镜像池，***中至少设置主备两台通讯服务器；
(2)数据源分别向主备通讯服务器发送数据报文；
主通讯服务器将接收到的数据源的数据报文投递至主通讯服务器的工作池，同时自动向备通讯服务器的镜像池投递一份；
备通讯服务器将接收到的数据源数据报文投递至备通讯服务器的备份池；
(3)上层访问接口按时对内存报文池进行查询，并从内存报文池的工作池中读取报文，然后将其传递至相关应用，待数据处理完毕，报文池删除这些已被读取的报文；
若主通讯服务器崩溃或者主通讯服务器与数据源的通讯通道中断进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：先将备份池中存储的数据报文搬移至工作池；然后将镜像池中数据报文搬移至工作池。
2.根据权利要求1所述的实时监控***网络通讯方法，其特征在于：所述将镜像池中的数据搬移至工作池具体为：备通讯服务器的内存报文池自动基于报文索引对镜像池中的数据报文进行合并与过滤，然后搬移至工作池。
3.根据权利要求1或2所述的实时监控***网络通讯方法，其特征在于：报文池将读入的数据源的数据报文先存入内存，若内存已满则迁移至磁盘。
4.根据权利要求3所述的实时监控***网络通讯方法，其特征在于：报文池将读入的数据源的数据报文存入内存之前，报文池需对下层访问接口进行动态身份认证；上层访问接口按时对内存报文池进行查询之前，报文池需对上层访问接口进行动态身份认证。
5.根据权利要求3所述的实时监控***网络通讯方法，其特征在于：在生命周期时间之内，生命周期管理模块定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移；生命周期临界时，生命周期管理模块删除包括磁盘文件在内的所有生命临界的报文。
6.根据权利要求3所述的实时监控***网络通讯方法，其特征在于：若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。
7.根据权利要求5所述的报文池及生命周期的管理方法，其特征在于：所述生命周期的时间由使用者设定。
8.一种实时监控***网络通讯装置，其特征在于：该通讯装置包括设于内存中的报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：
分布式并发访问接口模块，用于与客户端进行通讯；
报文池间数据迁移接口模块，用于报文池间报文的传输；
报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；
工作池存储空间，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；
备份池存储空间，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；
镜像池模块存储空间，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；
所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910065232A CN101621535B (zh) | 2009-06-19 | 2009-06-19 | 一种实时监控***网络通讯方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910065232A CN101621535B (zh) | 2009-06-19 | 2009-06-19 | 一种实时监控***网络通讯方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101621535A true CN101621535A (zh) | 2010-01-06 |
| CN101621535B CN101621535B (zh) | 2012-09-19 |
Family
ID=41514576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910065232A Expired - Fee Related CN101621535B (zh) | 2009-06-19 | 2009-06-19 | 一种实时监控***网络通讯方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101621535B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997727A (zh) * | 2010-12-16 | 2011-03-30 | 广州智光电气股份有限公司 | 一种通讯管理机主备机无缝切换的装置及其方法 |
| CN102215134A (zh) * | 2011-06-30 | 2011-10-12 | 成都驰通数码***有限公司 | Ip码流热备份切换器 |
| CN102456049A (zh) * | 2010-10-28 | 2012-05-16 | 无锡江南计算技术研究所 | 数据迁移方法、装置及面向对象的分布式文件*** |
| CN103684717A (zh) * | 2013-11-25 | 2014-03-26 | 许继电气股份有限公司 | 一种配电***网络通讯方法和装置 |
| CN105487880A (zh) * | 2015-06-25 | 2016-04-13 | 哈尔滨安天科技股份有限公司 | 一种基于业务请求的镜像分发与使用方法及*** |
| CN109302319A (zh) * | 2018-10-26 | 2019-02-01 | 许继集团有限公司 | 报文池分布式集群及其管理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1180543C (zh) * | 2001-02-12 | 2004-12-15 | 华为技术有限公司 | 一种交换设备数据备份方法 |
| CN101163036B (zh) * | 2006-10-10 | 2011-08-10 | 中兴通讯股份有限公司 | 实现网络设备管理软件双机热备份的方法 |
-
2009
- 2009-06-19 CN CN200910065232A patent/CN101621535B/zh not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102456049A (zh) * | 2010-10-28 | 2012-05-16 | 无锡江南计算技术研究所 | 数据迁移方法、装置及面向对象的分布式文件*** |
| CN101997727A (zh) * | 2010-12-16 | 2011-03-30 | 广州智光电气股份有限公司 | 一种通讯管理机主备机无缝切换的装置及其方法 |
| CN102215134A (zh) * | 2011-06-30 | 2011-10-12 | 成都驰通数码***有限公司 | Ip码流热备份切换器 |
| CN102215134B (zh) * | 2011-06-30 | 2013-04-03 | 成都驰通数码***有限公司 | Ip码流热备份切换器 |
| CN103684717A (zh) * | 2013-11-25 | 2014-03-26 | 许继电气股份有限公司 | 一种配电***网络通讯方法和装置 |
| CN105487880A (zh) * | 2015-06-25 | 2016-04-13 | 哈尔滨安天科技股份有限公司 | 一种基于业务请求的镜像分发与使用方法及*** |
| CN109302319A (zh) * | 2018-10-26 | 2019-02-01 | 许继集团有限公司 | 报文池分布式集群及其管理方法 |
| CN109302319B (zh) * | 2018-10-26 | 2022-02-25 | 许继集团有限公司 | 报文池分布式集群及其管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101621535B (zh) | 2012-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101621535B (zh) | 一种实时监控***网络通讯方法和装置 | |
| CN101535965B (zh) | 用于提高存储管理***的可伸缩性和可移植性的技术 | |
| CN102411637B (zh) | 分布式文件***的元数据管理方法 | |
| CN103780638B (zh) | 数据同步方法及*** | |
| CN103138912B (zh) | 数据同步方法及*** | |
| CN103095769B (zh) | 跨机房的数据同步方法以及*** | |
| CN107045422A (zh) | 分布式存储方法和设备 | |
| CN102833352A (zh) | 分布式缓存管理***和实现分布式缓存管理的方法 | |
| CN103207841A (zh) | 基于键值对缓存的数据读写方法及装置 | |
| CN105472002A (zh) | 基于集群节点间即时拷贝的会话同步方法 | |
| CN111400312B (zh) | 一种基于改进lsm树的边缘存储数据库 | |
| CN103488546A (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
| CN102761528A (zh) | 数据管理***及方法 | |
| CN104092717A (zh) | 消息处理方法及***、消息目的端设备与分布式消息*** | |
| CN105404679A (zh) | 数据处理方法和装置 | |
| CN101771548A (zh) | 文件同步方法及*** | |
| CN110196818A (zh) | 缓存数据的方法、缓存设备和存储*** | |
| CN107870734A (zh) | 一种分布式文件***的交互方法及装置 | |
| CN100508500C (zh) | 板间通信方法及接口板 | |
| CN108009029A (zh) | 基于Ignite网格缓存数据解耦持久化的方法及*** | |
| CN105760398A (zh) | 一种日志记录***及日志记录操作方法 | |
| CN103559198A (zh) | 一种数据同步的方法及设备 | |
| CN102916902A (zh) | 数据存储方法及装置 | |
| CN108140035A (zh) | 分布式***的数据库复制方法及装置 | |
| CN103500129A (zh) | 一种备份对象的发送、备份方法、生产端、灾备端及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: XUJI ELECTRIC CO., LTD. STATE GRID CORPORATION OF Free format text: FORMER OWNER: XUJI ELECTRIC CO., LTD. Effective date: 20121128 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20121128 Address after: No. 1298 Xuchang City, Henan province 461000 XJ Avenue Patentee after: Xuji Group Co., Ltd. Patentee after: Xuji Electric Co., Ltd. Patentee after: State Grid Corporation of China Address before: No. 1298 Xuchang City, Henan province 461000 XJ Avenue Patentee before: Xuji Group Co., Ltd. Patentee before: Xuji Electric Co., Ltd. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120919 Termination date: 20190619 |