CN102968360B - 具有n+1冗余功能的存储***及方法 - Google Patents
具有n+1冗余功能的存储***及方法 Download PDFInfo
- Publication number
- CN102968360B CN102968360B CN201210494172.XA CN201210494172A CN102968360B CN 102968360 B CN102968360 B CN 102968360B CN 201210494172 A CN201210494172 A CN 201210494172A CN 102968360 B CN102968360 B CN 102968360B
- Authority
- CN
- China
- Prior art keywords
- storage
- redundancy
- plan
- video
- memory device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种具有N+1冗余功能的存储***和方法,所述***包括摄像机、存储设备和存储转发服务器,存储转发服务器接收摄像机发送的视频码流并将其存储至存储设备,所述存储设备包括N个存储设备和一个冗余存储设备,所述存储转发服务器包括:转发缓存模块、存储管理模块、冗余切换模块、冗余恢复模块和数据备份模块。本发明有效解决了存储设备损坏后视频大量丢失的情况。冗余期间数据的自动备份,保证了冗余恢复后的数据完整性以及无障碍的后续冗余切换。冗余切换及恢复时的计划保护,保证了***正常运行。转发时的码流缓存,保证了冗余切换及恢复时的视频存储不丢失,确保***的无损存储。
Description
技术领域
本发明涉及一种视频监控及视频存储技术领域,具体地说,是涉及一种具有N+1冗余功能的存储***。
背景技术
随着高清IP摄像机的发展,网络高清监控应用成为发展的重要方向;随着视频监控规模的不断扩大,已经不可能同时查看所有的摄像机实时视频,历史视频成为了视频监控行业的重要数据。同时随着监控数量的增加,存储容量也将快速地增加,对于大规模的历史视频数据,如何保证视频数据的完整与保证视频数据的图像质量显得一样重要。
在现有的视频存储***中,大都依赖于IP-SAN阵列支持的RAID、热备盘以及定时备份进行数据安全保护;但其保护的数据为已经存储的历史数据,对于即将发生的数据起不到保护。由于阵列需要全天候的进行视频存储,长时间的反复读写后,一旦IP-SAN阵列出现故障,将会导致后续视频数据丢失。在维护人员发现并修复之前丢失的视频数据将无法找回,在此期间发生的重大事件也将无法追溯,从而造成的巨大损失。
现有的基于节能磁盘阵列的视频监控***,视频存储模块采用适于连续数据存储的节能磁盘阵列;满足了视频监控***的海量存储与数据保护需求。虽克服了普通磁盘全天候并行工作,导致能耗高与磁盘寿命短的缺点,但对于磁盘阵列出现故障后没有冗余处理,会导致故障后丢失视频数据。
还有一种数据备份方法及其装置,应用于视频监控***,数据备份任务启动后,存储设备在接收到编码器发送的视频监控数据后,将所述视频监控数据分别写入所述存储设备的写缓存和读缓存;存储设备接收到视频管理服务器发送的读取数据以进行数据备份的请求后,将其读缓存中的数据发送给视频管理服务器进行数据备份。虽然可提高视频监控***数据备份性能,但对于磁盘阵列出现故障后没有冗余处理,会导致故障后丢失视频数据。
发明内容
本发明提供了一种具有N+1冗余功能的存储***,解决了现有视频存储过程中存储设备出现故障时视频数据丢失的技术问题。
为了解决上述技术问题,本发明采用以下技术方案予以实现:
一种具有N+1冗余功能的存储***,包括摄像机、存储设备和存储转发服务器,存储转发服务器接收摄像机发送的视频码流并将其存储至存储设备,所述存储设备包括N个存储设备和一个冗余存储设备,所述存储转发服务器包括:
转发缓存模块,用于接收摄像机发送的视频码流,接收的码流按照指定格式进行转发并缓存;
存储管理模块,用于存储计划的配置、执行及视频的存储;在存储计划执行过程中检测执行情况,若计划变化则重启计划,并实时检测存储过程中的故障,将故障上报监控平台;
冗余切换模块,用于存储设备故障时的逻辑卷分析及判断,当逻辑卷故障超过阈值时启动冗余切换,切换时通知存储管理模块切换至冗余存储设备;
冗余恢复模块,用于在故障设备修复后恢复至原有存储设备;
数据备份模块,用于冗余切换及恢复时,备份转发缓存中的视频数据,同时在切换时备份冗余期间的视频数据。
优选的,所述存储设备为IP-SAN网络存储设备。
基于上述具有N+1冗余功能的存储***,本发明还提出了一种具有N+1冗余功能的存储方法,所述方法包括如下步骤:
步骤201,配置转发码流,转发缓存模块接收摄像机发送的视频码流,进行转发并缓存;
步骤202,配置存储计划,存储管理模块按照存储计划进行存储,实时检测计划执行情况,异常时重启计划;
步骤203,存储管理模块检测存储设备故障,检测故障后及时上报监控平台,同时统计逻辑卷损坏情况,确定逻辑卷损坏比例;
步骤204,逻辑卷损坏比例超过阈值时启动冗余切换模块,切换至冗余存储设备;
步骤205,故障存储设备修复后,下发新的存储计划至修复的存储设备,同时删除冗余存储设备的备份计划;
步骤206,在切换或恢复时备份缓存数据,同时备份冗余期间的数据。
进一步的,在所述步骤201中,用户配置转发码流后,转发缓存模块检测码流是否合法,若合法,开辟缓冲区进行缓存并转发码流。
进一步的,在所述步骤202中,配置存储计划后,存储管理模块检测逻辑卷是否可用,若可用则进行存储;存储时检测存储是否异常,若存储异常则记录故障信息;存储时还对存储计划执行情况进行跟踪,若计划变化则重启计划。
进一步的,在所述步骤204中,切换过程如下:
1)、启动冗余切换后,将冗余存储设备状态置为使用,原故障存储设备状态置为故障;
2)、读取原有存储设备上的存储计划,将存储计划进行备份;
3)、在冗余存储设备上重新分配逻辑卷,修改故障存储设备上的存储计划,将存储计划指向冗余存储设备;
4)、读取共享目录信息,启动冗余存储设备的备份计划。
进一步的,在所述步骤205中,恢复过程如下:
1)、故障存储设备修复后,发送冗余恢复指令,冗余恢复模块读取冗余前备份的存储计划;
2)、修改存储计划,将存储指向修复后的存储设备;
3)、删除冗余设备上的备份计划;
4)、将冗余设备置为未用状态,修复后的存储设备重新置为使用状态。
进一步的,在所述步骤206中,数据备份模块读取共享目录信息,将冗余期间的数据备份至共享目录,将切换恢复时缓存的数据备份至共享目录。
与现有技术相比,本发明的优点和积极效果是:本发明提供的具有N+1冗余功能的存储***,有效解决了存储设备损坏后视频大量丢失的情况。冗余期间数据的自动备份,保证了冗余恢复后的数据完整性以及无障碍的后续冗余切换。冗余切换及恢复时的计划保护,保证了***正常运行。转发时的码流缓存,保证了冗余切换及恢复时的视频存储不丢失,确保***的无损存储。对于已经部署的监控***,仅需要进行存储***升级增加一台存储设备,极大的减少了项目改造成本;对于新建的大中型视频监控项目,仅增加一台存储设备的成本却保证了历史视频的数据完整,大大提高了视频存储的完整性。
结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
附图说明
图1是本发明具体实施例的***框图。
图2是本发明具体实施例的存储转发服务器的框图。
图3是本发明具体实施例的流程图。
图4是本发明具体实施例步骤201的流程图。
图5是本发明具体实施例步骤202的流程图。
图6是本发明具体实施例步骤204的流程图。
图7是本发明具体实施例步骤205的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细地说明:
参见图1所示,本实施例提出了一种具有N+1冗余功能的存储***,包括摄像机、IP-SAN阵列和存储转发服务器,存储转发服务器接收摄像机发送的视频码流并将其存储至存储设备,存储设备包括N个存储设备和一个冗余存储设备。
各部分的构成和作用如下:
摄像机:此处泛指能将视频通过网络传输至监控中心的设备,可以是模拟摄像机与编码器的组合,也可以是网络摄像机。摄像机视频传输方式不限,单播、组播、点播、流媒体转发均可。摄像机的作用在于采集前端视频,对视频进行编码压缩,并将视频以流媒体的形式发出。
IP-SAN阵列: 网络存储设备,主要用于视频数据的存放,备份数据的存放。
存储转发服务器:本***的核心数据处理单元,采用集中管理、分布式转发存储方式,支持高清视频和标清视频的转发存储管理和检索服务,支持标准的IP-SAN和NAS存储设备,能给客户提供稳定的存储转发服务和快速的视频检索及历史视频回放服务。
其中,视频转发服务器包括如下模块:
转发缓存模块110,用于接收摄像机发送的视频码流,接收的码流按照指定格式进行转发并缓存。
存储管理模块120,用于存储计划的配置、执行及视频的存储;在存储计划执行过程中自动检测执行情况,对于计划变化及时重启,并实时检测存储过程中的故障,将故障及时上报监控平台。
冗余切换模块130,用于存储设备故障时的逻辑卷分析及判断,当逻辑卷故障超过阈值时启动冗余切换。切换时通知存储管理模块切换至冗余存储设备。
冗余恢复模块140,用于在故障设备修复后恢复至原有存储设备。
数据备份模块150,用于冗余切换及恢复时,备份转发缓存中的视频数据,同时在切换时备份冗余期间的视频数据。
为了实现N+1冗余存储***,本专利采用视频码流转发及缓存、冗余切换恢复时的数据备份和缓存数据备份的方法。此方法包括以下操作步骤,参见图3:
步骤201,用户通过实时流转发页面配置转发信息,主要包括码流格式、码流接收类型、码流接收地址。转发缓存模块检测码流合法后,开辟缓冲区进行缓存并转发,缓冲区采用循环擦写方式进行,如图4所示。
步骤202,用户通过存储计划管理界面配置摄像机的存储计划,主要包括存储设备的逻辑卷、登录逻辑卷的用户名及密码、存储天数。存储管理模块根据计划检测逻辑卷权限及容量,然后接收码流进行存储;存储时检测码流是否中断、逻辑卷是否异常,发生故障时及时进行记录;存储时同时还对存储计划执行情况进行跟踪,发现计划变化时及时重启,特别在计划切换时确保了任一路视频存储不丢失,如图5所示。
步骤203,检测IP-SAN阵列故障,在发生故障时及时上报监控平台,以确保维护人员及时了解存储***运行情况;同时统计逻辑卷损坏情况,分析确定逻辑卷损坏比例。
步骤204,逻辑卷损坏比例超过阈值时启动冗余切换,如图6所示。
1)、启动冗余切换后,将冗余设备状态置为使用,原故障阵列状态置为故障。
2)、读取原有存储设备上的存储计划,将存储计划进行备份。
3)、在冗余设备上重新分配逻辑卷,修改故障阵列上的存储计划,将存储计划指向冗余设备。
4)、读取NAS共享目录信息,启动冗余设备的备份计划。
步骤205,故障阵列修复后,下发新的存储计划至原阵列,同时删除冗余设备的备份计划,如图7所示。
1)、维护人员修复故障阵列后,发送冗余恢复指令,冗余恢复模块读取冗余前备份的存储计划。
2)、修改存储计划,将存储指向修复后的阵列。
3)、删除冗余设备上的备份计划。
4)、将冗余设备置为未用状态,原设备重新置为使用状态,确保后续的冗余检测及切换能够及时进行。
步骤206,在切换或恢复时备份缓存数据,同时备份冗余期间的数据。
备份模块读取NAS共享目录信息,将冗余期间的数据备份至NAS共享目录。此过程确保了后续的冗余切换不会导致此次冗余未过期的数据丢失。
备份模块将切换恢复时缓存的数据备份至NAS共享目录。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (4)
1.一种具有N+1冗余功能的存储方法,其特征在于:所述方法包括如下步骤:
步骤201,配置转发码流,转发缓存模块接收摄像机发送的视频码流,进行转发并缓存;
步骤202,配置存储计划,存储管理模块按照存储计划进行存储,实时检测计划执行情况,异常时重启计划;
步骤203,存储管理模块检测存储设备故障,检测故障后及时上报监控平台,同时统计逻辑卷损坏情况,确定逻辑卷损坏比例;
步骤204,逻辑卷损坏比例超过阈值时启动冗余切换模块,切换至冗余存储设备;切换过程如下:
1)、启动冗余切换后,将冗余存储设备状态置为使用,原故障存储设备状态置为故障;
2)、读取原有存储设备上的存储计划,将存储计划进行备份;
3)、在冗余存储设备上重新分配逻辑卷,修改故障存储设备上的存储计划,将存储计划指向冗余存储设备;
4)、读取共享目录信息,启动冗余存储设备的备份计划;
步骤205,故障存储设备修复后,下发新的存储计划至修复的存储设备,同时删除冗余存储设备的备份计划;恢复过程如下:
1)、故障存储设备修复后,发送冗余恢复指令,冗余恢复模块读取冗余前备份的存储计划;
2)、修改存储计划,将存储指向修复后的存储设备;
3)、删除冗余设备上的备份计划;
4)、将冗余设备置为未用状态,修复后的存储设备重新置为使用状态;
步骤206,在切换或恢复时备份缓存数据,同时备份冗余期间的数据。
2.根据权利要求1所述的具有N+1冗余功能的存储方法,其特征在于:在所述步骤201中,用户配置转发码流后,转发缓存模块检测码流是否合法,若合法,开辟缓冲区进行缓存并转发码流。
3.根据权利要求1所述的具有N+1冗余功能的存储方法,其特征在于:在所述步骤202中,配置存储计划后,存储管理模块检测逻辑卷是否可用,若可用则进行存储;存储时检测存储是否异常,若存储异常则记录故障信息;存储时还对存储计划执行情况进行跟踪,若计划变化则重启计划。
4.根据权利要求1所述的具有N+1冗余功能的存储方法,其特征在于:在所述步骤206中,数据备份模块读取共享目录信息,将冗余期间的数据备份至共享目录,将切换恢复时缓存的数据备份至共享目录。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210494172.XA CN102968360B (zh) | 2012-11-28 | 2012-11-28 | 具有n+1冗余功能的存储***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210494172.XA CN102968360B (zh) | 2012-11-28 | 2012-11-28 | 具有n+1冗余功能的存储***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102968360A CN102968360A (zh) | 2013-03-13 |
CN102968360B true CN102968360B (zh) | 2015-08-05 |
Family
ID=47798513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210494172.XA Active CN102968360B (zh) | 2012-11-28 | 2012-11-28 | 具有n+1冗余功能的存储***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102968360B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103294574B (zh) * | 2013-06-25 | 2015-11-25 | 浙江宇视科技有限公司 | 一种快速实现业务存储切换的装置和方法 |
CN104699566B (zh) * | 2013-12-16 | 2018-01-19 | 杭州海康威视数字技术股份有限公司 | 基于云存储的数据冗余备份方法、***及存储节点服务器 |
CN106339297B (zh) * | 2016-09-14 | 2020-10-02 | 郑州云海信息技术有限公司 | 一种存储***故障实时告警的方法及*** |
CN115442571A (zh) * | 2016-09-23 | 2022-12-06 | 伊姆西Ip控股有限责任公司 | 用于视频监控***的故障恢复方法和装置 |
CN108509606A (zh) * | 2018-03-30 | 2018-09-07 | 湖南电灯泡信息技术服务有限公司 | 一种基于大数据的信息技术教学*** |
CN109491609B (zh) * | 2018-11-02 | 2022-04-22 | 郑州云海信息技术有限公司 | 一种缓存数据处理方法、装置、设备及可读存储介质 |
CN111787284A (zh) * | 2020-07-16 | 2020-10-16 | 济南浪潮数据技术有限公司 | 一种数据采集*** |
CN112911185B (zh) * | 2021-01-18 | 2022-10-18 | 浙江大华技术股份有限公司 | 一种双控设备故障处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101873462A (zh) * | 2009-08-07 | 2010-10-27 | 杭州海康威视数字技术股份有限公司 | Dvr的数据备份恢复方法、***及dvr |
CN101887351A (zh) * | 2010-06-22 | 2010-11-17 | 杭州华三通信技术有限公司 | 一种磁盘阵列容错方法及其*** |
US8060630B1 (en) * | 2002-11-27 | 2011-11-15 | Symantec Operating Corporation | Creating and configuring virtual fabrics in storage area networks |
CN102723094A (zh) * | 2012-06-15 | 2012-10-10 | 杭州海康威视数字技术股份有限公司 | 高可靠易扩展的录像存储、检索方法及其*** |
-
2012
- 2012-11-28 CN CN201210494172.XA patent/CN102968360B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8060630B1 (en) * | 2002-11-27 | 2011-11-15 | Symantec Operating Corporation | Creating and configuring virtual fabrics in storage area networks |
CN101873462A (zh) * | 2009-08-07 | 2010-10-27 | 杭州海康威视数字技术股份有限公司 | Dvr的数据备份恢复方法、***及dvr |
CN101887351A (zh) * | 2010-06-22 | 2010-11-17 | 杭州华三通信技术有限公司 | 一种磁盘阵列容错方法及其*** |
CN102723094A (zh) * | 2012-06-15 | 2012-10-10 | 杭州海康威视数字技术股份有限公司 | 高可靠易扩展的录像存储、检索方法及其*** |
Non-Patent Citations (2)
Title |
---|
基于IP-SAN的视频监控存储***关键技术研究;何矩;《中国优秀硕士论文电子期刊网》;20111231;45-54 * |
基于无线网络技术的数字视频监控***;曹贝贞等;《计算机工程》;20070105(第01期);247-249 * |
Also Published As
Publication number | Publication date |
---|---|
CN102968360A (zh) | 2013-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102968360B (zh) | 具有n+1冗余功能的存储***及方法 | |
CN100504795C (zh) | 一种计算机raid阵列预警***及方法 | |
CN101741536B (zh) | 数据级容灾方法、***和生产中心节点 | |
CN102880522B (zh) | 面向硬件故障的***关键文件故障纠正方法及装置 | |
CN102394774B (zh) | 一种云计算操作***的控制器服务状态监控和故障恢复方法 | |
CN102033786B (zh) | 一种对象存储***中修复副本一致性的方法 | |
CN102355368B (zh) | 一种网络设备的故障处理方法及*** | |
CN100426247C (zh) | 数据恢复方法 | |
CN102752093B (zh) | 基于分布式文件***的数据处理方法、设备和*** | |
CN100525440C (zh) | 一种用于视频监控***热备份的方法 | |
CN105430327A (zh) | 一种nvr集群备份方法及装置 | |
CN103037203B (zh) | 一种基于块存储的索引恢复方法和装置 | |
CN102761615A (zh) | 一种实现远程复制***数据同步的方法及装置 | |
CN105607973B (zh) | 一种虚拟机***中设备故障处理的方法、装置及*** | |
CN102609327B (zh) | 提高多核处理器的可靠性的方法及装置 | |
CN104407940A (zh) | 一种快速恢复cdp***的方法 | |
WO2014114089A1 (zh) | 分布式文件***优化负载均衡的方法及*** | |
CN102571845A (zh) | 一种分布式存储***的数据存储方法及装置 | |
CN104679623A (zh) | 一种服务器硬盘的维护方法、***及服务器监控设备 | |
CN103384266A (zh) | 一种基于文件级实时同步的Parastor200管理节点高可用方法 | |
CN111240903A (zh) | 数据恢复方法及相关设备 | |
CN102314322A (zh) | 一种基于raid阵列的数据处理方法和设备 | |
US20060212669A1 (en) | Control method for storage system, storage system, storage control apparatus, control program for storage system, and information processing system | |
CN101714064A (zh) | 数据存取方法及服务器 | |
CN102325171A (zh) | 一种监控***中数据的存储方法及其*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |