CN101626499B - 数据存储方法和*** - Google Patents

数据存储方法和*** Download PDF

Info

Publication number
CN101626499B
CN101626499B CN2009101629518A CN200910162951A CN101626499B CN 101626499 B CN101626499 B CN 101626499B CN 2009101629518 A CN2009101629518 A CN 2009101629518A CN 200910162951 A CN200910162951 A CN 200910162951A CN 101626499 B CN101626499 B CN 101626499B
Authority
CN
China
Prior art keywords
data
management server
strategy
memory device
core layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101629518A
Other languages
English (en)
Other versions
CN101626499A (zh
Inventor
李晓
荆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN2009101629518A priority Critical patent/CN101626499B/zh
Publication of CN101626499A publication Critical patent/CN101626499A/zh
Application granted granted Critical
Publication of CN101626499B publication Critical patent/CN101626499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种数据存储方法和***。该方法应用于包括接入层、汇聚层和核心层的数据存储***中。本发明提供的上述方法和***中,上层服务器根据预设的策略,通过主动获取方式从下层存储设备中获取存储数据,上层服务器可以先根据预设策略对存储数据进行筛选后再进行存储,使得存储数据的获取和处理更加灵活。

Description

数据存储方法和***
技术领域
本发明涉及网络技术领域,尤其涉及一种数据存储方法和***。 
背景技术
现有的视频监控***中,如图1所示,主要由视频源部分、传输及交换部分、存储部分、显示部分以及控制及管理部分组成。各部分组成与工作原理的介绍如下: 
(1)视频源部分: 
用于完成视频信号的输入功能,视频源除了包括各种固定摄像机、半球摄像机、球形摄像机、高速智能球机等前端模拟摄像器材设备外,还包括编码器(Encoder)。 
(2)传输及交换部分: 
用于完成视频流的传送及交换功能,传输及交换部分包括路由器、接入交换机、核心交换机、EPON(Ethernet Passive Optical Network,以太网无源光网络)传输设备、信息安全产品等。 
由于IP技术的标准化程度高、应用广泛且部署简单,因此以IP(InternetProtocol,因特网协议)网络代替传统的***传输是必然趋势。IP网络可同时具备传输和交换的功能,同时,IP领域的新技术层出不穷,都可能推动监控技术的发展。如EPON技术,可在同一根光纤上传送多路视频图像,多个监控点共享同一根光纤,从而大大节约光纤部署成本,同时其无源技术大大提高了网络的可靠性和安全性。 
(3)存储部分: 
用于完成视频数据的存储功能,随着监控应用的不断深化,大量视频信息经常需要进行一定时期的存储。IP SAN(Storage Area Network,存储区域网络)存储技术是现有技术中的主要选择。存储部分包括存储设备,主要功 能是接收编码器发送过来的基于TCP(Transmission Control Protocol,传输控制协议)/IP iSCSI(internet Small Computer System Interface,Internet小型计算机***接口)存储视频数据流并进行存储。 
(4)显示部分: 
用于完成视频信号的解码及输出显示,主要包括监控解码终端,还包括电视墙、多媒体大屏幕、调音台、功放等模拟视音频设备。 
监控解码终端同时具备视音频解码、输出和网络接入功能,可以前端编码器发送的单播/组播IP数据包进行解码,还原成模拟视音频信号后输入到电视墙、大屏幕、调音台、功放等模拟视音频设备。 
(5)控制及管理部分: 
用于完成对所有监控设备、业务的管理及控制,包括视频管理服务器、数据管理服务器等组件。其中视频管理服务器是监控业务管理中心和控制中心,授权用户可以在任意一台PC管理终端上完成全网的设备管理、资源调度、云台控制和硬解码输出控制,所有的控制指令由VM集中处理和发送。数据管理服务器作为存储设备的管理者,从复杂的存储设备管理信息中抽象出与监控业务相关的信息,实现了对***内大量存储设备的集中管理以及存储资源的动态分配。 
现有的视频监控***中,录像回放是一个非常重要的功能。对于中大型IP监控***的录像,主要使用的是中心存储方式。如图2所示,具体的,前端编码器通过iSCSI协议直接写入中心IP SAN,或前端编码器输出实况码流RTP(Real-time Transport Protocol,实时传送协议)/TS(Transport Stream,传送流)等写入IP SAN。录像可通过任务下发、事件等机制触发。 
总体来说,对于中大型IP监控***,录像过程是前端通过Push(推送)的方式存入中心的,录像过程为前端编码器主动,中心管理服务器只负责制定存储计划和录像触发事件的下发。 
现有技术中的实现方式存在的问题在于: 
当前端编码器的数量较多时,如果同时向中心Push录像,可能导致中心网络的拥塞。且对于告警触发的录像,警前录像也非常重要,现有技术中警前录像只能靠内存缓冲区来保存,警前录像保存期很短,通常为十秒数量级。 
发明内容
本发明提供一种数据存储方法和***,用于完善现有数据存储***中数据的获取和存储方法。 
为达到上述目的,本发明提供一种数据存储方法,应用于包括接入层、汇聚层和核心层的数据存储***中,所述方法包括: 
所述接入层中的数据采集设备将采集到的数据保存在接入层的存储设备中,所述存储设备中的存储空间循环使用; 
所述汇聚层中的数据管理服务器按照下发给它的第一策略,从所述接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中; 
所述核心层中的数据管理服务器按照下发给它的第二策略,从所述汇聚层的存储设备中获取待存储的数据,并保存在核心层的存储设备中。 
其中,还包括: 
所述核心层中的中心管理服务器制定第一策略和第二策略,具体的: 
所述核心层中的中心管理服务器根据计划存储任务或手动存储任务,制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述计划存储任务或手动存储任务所需的数据;和/或 
所述核心层中的中心管理服务器接收到所述接入层中的数据采集设备发送的告警事件时,根据告警事件类型制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述告警事件发生前后特定时间的数据;和/或 
所述核心层中的中心管理服务器接收到所述核心层中第三方分析设备的数据存储通知时,根据所述数据存储通知制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述第三方分析设备所需的数据。 
其中,对于根据不同内容制定的第一策略和第二策略,具有不同的执行 优先级。 
其中,还包括: 
所述核心层中的中心管理服务器接收到数据调阅请求时,在所述接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到所述数据调阅请求的发送方; 
所述检索得到的数据为多份时,按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到所述数据调阅请求的发送方;其中: 
所述汇聚层的存储设备中存储的数据相对于所述接入层的存储设备中存储的数据,留存期较长;所述核心层的存储设备中存储的数据相对于所述汇聚层的存储设备中存储的数据,留存期较长。 
其中,还包括: 
所述核心层中的中心管理服务器根据所述接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器;和/或 
所述核心层中的中心管理服务器根据网络状况,确定从所述接入层中的数据采集设备获取数据的速率并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器。 
本发明还提供一种数据存储***,其特征在于,划分为接入层、汇聚层和核心层,包括: 
位于所述接入层中的数据采集设备和存储设备,所述接入层中的数据采集设备,用于采集数据,该采集来的数据将被保存在接入层的存储设备中,所述存储设备中的存储空间循环使用; 
位于所述汇聚层中的数据管理服务器和存储设备,所述汇聚层中的数据管理服务器,用于按照下发给它的第一策略,从所述接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中; 
位于所述核心层中的数据管理服务器和存储设备,所述核心层中的数据管理服务器,用于按照下发给它的第二策略,从所述汇聚层的存储设备中获 取待存储的数据,并保存在核心层的存储设备中。 
其中,还包括: 
位于所述核心层中的中心管理服务器,所述核心层中的中心管理服务器包括: 
策略制定单元,用于制定第一策略和第二策略,具体的: 
根据计划存储任务或手动存储任务,制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述计划存储任务或手动存储任务所需的数据;和/或 
接收到所述接入层中的数据采集设备发送的告警事件时,根据告警事件类型制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述告警事件发生前后特定时间的数据;和/或 
接收到所述核心层中第三方分析设备的数据存储通知时,根据所述数据存储通知制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述第三方分析设备所需的数据; 
策略通知单元,用于将所述策略制定单元制定的第一策略发送到所述汇聚层中的数据管理服务器,将所述策略制定单元制定的第二策略发送到所述核心层中的数据管理服务器。 
其中,所述策略制定单元根据不同内容制定的第一策略和第二策略,具有不同的执行优先级。 
其中,所述中心管理服务器还包括: 
调阅请求处理单元,用于接收到数据调阅请求时,在所述接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到所述数据调阅请求的发送方;所述检索得到的数据为多份时,按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到所述数据调阅请求的发送方;其中,所述汇聚层的存储设备中存储的数据相对于所述接入层的存储设备中存储的数据,留存期较长;所述核心层的存储设备中存储的数据相对于所述汇聚层的存储设备中存储的数据,留存期较长。 
其中,所述中心管理服务器还包括: 
时间确定单元,用于根据所述接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器;和/或 
速率确定单元,用于根据网络状况,确定从所述接入层中的数据采集设备获取数据的速率并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器。 
与现有技术相比,本发明具有以下优点: 
上层服务器根据预设的策略,通过主动获取方式从下层存储设备中获取存储数据,上层服务器可以先根据预设策略对存储数据进行筛选后再进行存储,使得存储数据的获取和处理更加灵活。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 
图1是现有技术中视频监控***的结构示意图; 
图2是现有技术中视频监控***的数据存储实现原理示意图; 
图3是本发明中数据存储方法的流程图; 
图4是本发明中数据存储方法应用于视频监控***的示意图; 
图5是本发明中基于第三方分析设备的数据存储通知获取数据的示意图; 
图6是本发明中提供的位于核心层的中心管理服务器的结构示意图。 
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
本发明提供了一种数据存储方法,应用于包括接入层、汇聚层和核心层的数据存储***中,该方法如图3所示,包括: 
步骤s301、接入层中的数据采集设备将采集到的数据保存在接入层的存储设备中,存储设备中的存储空间为循环使用; 
步骤s302、汇聚层中的数据管理服务器按照下发给它的第一策略,从接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中; 
步骤s303、核心层中的数据管理服务器按照下发给它的第二策略,从汇聚层的存储设备中获取待存储的数据,并保存在核心层的存储设备中。 
以下以将本发明中提供的方法应用于视频监控***为例,说明本发明中提供的数据存储方法的具体实施方式。将本发明提供的方法应用于视频监控***中时,将整个视频监控***划分为三个层次。分别为:接入层、汇聚层、核心层。其中,如图4所示: 
接入层,包括前端编码器(即数据采集设备)、前端存储器和解码终端,前端编码器连接摄像头; 
汇聚层,根据地域、网络情况等原则将一组前端编码器汇聚到一个位于汇聚层的数据管理服务器,此位于汇聚层的数据管理服务器可以对其下属的前端编码器所产生的录像数据进行中间管理; 
核心层,核心层包括中心管理服务器(负责整个视频监控***的业务控制和管理)以及核心层的数据管理服务器,用于对整个视频监控***中的录像数据进行管理。 
以下首先对视频监控***中的录像功能的实现进行介绍: 
本发明应用场景中描述的视频监控***中,将数据存储划分为三层,分别为接入层存储、汇聚层存储以及核心层存储。 
对于接入层,前端编码器将前端摄像头采集到的视频数据进行编码后,保存在本地的前端存储器如本地硬盘或CF(Compact Flash,压缩闪存)卡等 存储介质中,前端存储器的存储空间存满之后,从前端存储器的存储空间的开始位置进行循环覆盖。例如一个8G的CF卡可以保存约9个小时的2M视频码流,可保证本地存储器中始终具有最新的9小时的视频媒体数据。即在前端编码器中保存的视频数据的生命周期为9小时。编码器将本地存储器通过网络共享方式(如:iSCSI、共享目录等)开放给汇聚层的数据管理服务器和核心层的数据管理服务器。 
对于汇聚层,数据管理服务器根据预设的第一策略,从位于接入层的前端编码器的存储器中调取接入层的视频媒体数据,并保存到位于汇聚层的存储设备中;该调取过程也可以描述为数据管理服务器根据预设的第一策略,对接入层的前端编码器的存储器中存储的视频媒体数据进行筛选,将筛选后符合预设的第一策略的视频媒体数据保存到位于汇聚层的存储设备中。汇聚层的数据管理服务器通过网络共享方式将位于汇聚层的存储设备中的存储空间共享给位于核心层的数据管理服务器。通常情况下,位于汇聚层的数据管理服务器的存储空间采用存储区域网络技术如IP SAN、FC(Fiber Channel,光纤通道)SAN等,且其留存期较位于接入层的存储设备中存储的数据的留存期长,较位于核心层的存储设备中存储的数据的留存期核心层短。 
对于核心层,数据管理服务器根据预设的第二策略,从位于汇聚层的存储设备中调取相应的视频媒体数据,并保存到核心层的存储设备中;该调取过程也可以描述为数据管理服务器根据预设的第二策略,对汇聚层的存储设备中存储的视频媒体数据进行筛选,将筛选后符合预设的第二策略的视频媒体数据保存到位于核心层的存储设备中。通常情况下,位于核心层的数据管理服务器的存储空间采用存储区域网络技术如IP SAN、FC SAN等。核心层中还具有中心管理服务器,用于制定第一策略和第二策略,将第一策略发送到汇聚层中的数据管理服务器,将第二策略发送到核心层中的数据管理服务器。 
以下对汇聚层的数据管理服务器根据第一策略、以及核心层的数据管理服务器根据第二策略获取数据的方式进行说明。 
(1)基于计划存储任务或手动存储任务的数据获取 
核心层的中心管理服务器根据预先设置的计划存储任务或手动存储任务,制定第一策略和第二策略,将第一策略发送到汇聚层中的数据管理服务器,将第二策略发送到核心层中的数据管理服务器。汇聚层中的数据管理服务器根据第一策略,从接入层的存储设备中获取计划存储任务或手动存储任务所需的数据,存储到汇聚层的存储设备中;核心层中的数据管理服务器根据第二策略,从汇聚层的存储设备中获取计划存储任务或手动存储任务所需的数据,存储到核心层的存储设备中。从而完成计划存储任务或手动存储任务。该计划存储任务或手动存储任务的一个实例可以为:将接入层的前端编码器在按计划设置的特定时段或者管理人员手动控制的时间段内采集到的视频媒体数据存储到汇聚层的存储设备、和/或核心层的存储设备。所以这里的中心管理服务器下发的第一策略和第二策略是按照预设的时间段来设置的(计划存储)策略或者按照临时的时间段由管理人员手动设置的(手动存储)策略。汇聚层中的数据管理服务器可以在获取时间到达的情况下,根据第一策略,从接入层的存储设备中获取所需的数据存储到汇聚层的存储设备中;核心层中的数据管理服务器可以在获取时间到达的情况下,根据第二策略,从汇聚层的存储设备中获取所需的数据存储到核心层的存储设备中。在计划存储的情况下,第一策略下的时间段长度和第二策略下的时间段长度可以相等也可以不等。同样,在手动情况下,第一策略下的时间段长度和第二策略下的时间段长度也可以相等或者不等。可以说按照时间段来设置存储任务是非常灵活的,可以根据不同的场景按照需要来设置。 
如果汇聚层的数据管理服务器或核心层的数据管理服务器发生故障,则当故障恢复后,汇聚层的数据管理服务器和核心层的数据管理服务器从故障前已经完成存储的数据开始继续获取数据进行存储。 
(2)基于告警事件的数据获取 
接入层中的前端编码器(即数据采集设备)检测到告警事件发生时,向核心层的中心管理服务器发送关于告警事件的通知。核心层的中心管理服务器接收到接入层中的前端编码器(即数据采集设备)发送的告警事件时,根据告警事件类型制定第一策略和第二策略,将第一策略发送到汇聚层中的数 据管理服务器,将第二策略发送到核心层中的数据管理服务器。使得汇聚层中的数据管理服务器根据第一策略,从接入层的存储设备中获取告警事件发生前、和/或告警事件发生后的特定时间的数据并存储在汇聚层的存储设备中;使得核心层中的数据管理服务器根据第二测量,从汇聚层的存储设备中获取告警事件发生前、和/或告警事件发生后的特定时间的数据并存储在核心层的存储设备中。根据告警事件类型制定第一策略和第二策略的一个实例可以为:将接入层的前端编码器在告警事件发生时刻的前后特定时段所采集到的视频媒体数据存储到汇聚层的存储设备、和/或核心层的存储设备。中心管理服务器下发的第一策略和第二策略是按照告警事件发生时刻的前后特定时段来设置的策略,第一策略下的时间段长度和第二策略下的时间段长度可以相等也可以不相等。.汇聚层中的数据管理服务器可以立即根据第一策略,从接入层的存储设备中获取所需的数据存储到汇聚层的存储设备中;核心层中的数据管理服务器可以立即根据第二策略,从汇聚层的存储设备中获取所需的数据存储到核心层的存储设备中。 
(3)基于第三方分析设备的数据存储通知的数据获取 
如图5所示,在核心层中部署有第三方分析设备(如智能识别功能、人工监控功能),第三方分析设备可以直接访问接入层的存储设备中存储的录像、或直接调用接入层中的前端编码器(即数据采集设备)正在存储的实时录像,对录像进行智能分析。如果分析后判断有重要信息需要保存,则通知位于核心层中的中心管理服务器进行数据存储。核心层中的中心管理服务器接收到第三方分析设备的数据存储通知时,根据数据存储通知制定第一策略和第二策略,将第一策略发送到汇聚层中的数据管理服务器,将第二策略发送到核心层中的数据管理服务器。使得汇聚层中的数据管理服务器根据第一策略,从接入层的存储设备中获取第三方分析设备所需的数据并存储在汇聚层的存储设备中;使得核心层中的数据管理服务器根据第二策略,从汇聚层的存储设备中获取第三方分析设备所需的数据并存储在核心层的存储设备中。根据第三方分析设备的数据存储通知制定第一策略和第二策略的一个实例可以为:处于监控解码终端处的工作人员临时决定将接入层的前端编码器 在某个时段所采集到的视频媒体数据存储到汇聚层的存储设备、和/或核心层的存储设备。中心管理服务器下发的第一策略和第二策略是按照第三方分析设备选择的前后特定时段来设置的策略,第一策略下的时间段长度和第二策略下的时间段长度可以相等也可以不相等。汇聚层中的数据管理服务器可以立即根据第一策略或在预设的获取时间到达时,从接入层的存储设备中获取所需的数据存储到汇聚层的存储设备中;同理,核心层中的数据管理服务器可以立即根据第二策略或在预设的获取时间到达时,从汇聚层的存储设备中获取所需的数据存储到核心层的存储设备中。 
对于上述根据不同情况制定的第一策略和第二策略,可以制定不同的执行优先级。对于执行优先级较高的策略(如根据告警事件制定的策略),可以立即执行;对于执行优先级较低的策略(如根据计划存储任务制定的策略),可以在预先配置的数据获取时间到达时执行;对于执行优先级中等的策略,可以根据需要立即执行或在预先配置的数据获取时间到达时执行。不同策略的执行优先级可以在下发策略时通过携带优先级指示等方式实现。本发明对策略执行优先级的划分方式以及不同执行优先级的策略的实施方式并不进行限定。 
以下对视频监控***中的录像回放功能的实现进行介绍: 
用户向核心网中的中心管理服务器发送对之前录像内容的数据调阅请求,数据调阅请求中指明需要回放的前端编码器(即数据采集设备)和时间段。核心网中的中心管理服务器接收到该数据调阅请求时,在接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到请求进行数据调阅的用户。当检索得到的数据为多份时,中心管理服务器按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到所述数据调阅请求的发送方。 
本发明中,核心网中的中心管理服务器除了用于制定第一策略和第二策略时外,还可以根据组网结构、网络状况等,对汇聚层中的数据管理服务器和核心层中的数据管理服务器获取数据的时间和速率进行配置。具体的: 
(1)对于数据获取时间的配置 
当接入层中的前端编码器(即数据采集设备)的数量为多个时,为了避免多个前端编码器同时上传数据导致的网络拥塞,中心管理服务器可以对获取数据的时间进行合理安排,实现错时获取(例如:每一前端编码器约可保持9小时录像,则可以9小时为周期轮流获取每一前端编码器在接入层的存储设备中存储的数据)。具体的,核心网中的中心管理服务器根据接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知汇聚层中的数据管理服务器和核心层中的数据管理服务器,即控制汇聚层中的数据管理服务器在不同的时间段获取来自不同的前端编码器(即数据采集设备)的数据。这里的时间配置考虑的是有多个编码器的情况,而前面的策略在描述的时候都是以一个编码器为例来说明的。所以当有多个编码器需要考虑这里的时间配置的时候,需要注意和前述策略之间的影响。比如说对于告警事件,即便有时间配置也可以不受其制约。所以在有多个编码器的情况下,中心管理服务器针对多个编码器数据获取时间配置时要综合考虑针对每个编码器本身制订的策略。可以考虑的一个实现办法就是在数据获取时间和策略之间也设置优先级关系。 
(2)关于数据获取速率的配置 
核心网中的中心管理服务器可以根据网络状况、数据管理服务器处理能力情况等,确定从接入层中的数据采集设备获取数据的速率并通知汇聚层中的数据管理服务器和核心层中的数据管理服务器。通过设置合适的数据获取速率,可以避免网络和数据管理服务器处理能力恶化。 
以上以包括三层的视频监控***为例,描述了本发明中数据存储方法的具体实施方式。可以理解的是,以上三个层次的划分只是本发明中的一种具体实施方式,根据相似的方式,可以将整个视频监控***划分为其他多层结构,其具体实施方式与三层结构中的实施方式相似,在此不进行重复描述。另外,本发明中提供的方法除应用于视频监控***外,同样可以应用于其他涉及数据存储的场景中。 
本发明提供的上述方法中,上层服务器根据预设的策略,通过主动获取 方式从下层存储设备中获取存储数据,上层服务器可以先根据预设策略对存储数据进行筛选后再进行存储,使得存储数据的获取和处理更加灵活。由于采用分层存储且可对各层存储数据的留存期进行差异设置,因此对于告警事件能保证可以回溯告警事件发生之前较长时间的录像;同时如果核心层或汇聚层设备发生故障,前端可以保持相对较长的容许故障持续时间。另外,可以根据需要调用存储在不同层存储设备中的存储数据,随时查看未在上层存储设备保存的有限时间内的历史录像。最后,通过合理分配从各下层存储设备获取存储数据的时间,避免了由于多个存储设备同时上传存储数据造成的网络拥塞和网络状况恶化。 
本发明还提供一种数据存储***,划分为接入层、汇聚层和核心层,该数据存储***包括: 
位于接入层中的数据采集设备和存储设备,接入层中的数据采集设备,用于将采集到的数据保存在接入层的存储设备中,存储设备中的存储空间为循环使用; 
位于汇聚层中的数据管理服务器和存储设备,汇聚层中的数据管理服务器,用于按照下发给它的第一策略,从接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中; 
位于核心层中的数据管理服务器和存储设备,核心层中的数据管理服务器,用于按照下发给它的第二策略,从汇聚层的存储设备中获取待存储的数据,并保存在核心层的存储设备中。 
以及位于核心网中的中心管理服务器,核心网中的中心管理服务器,用于制定第一策略和第二策略,将第一策略发送到汇聚层中的数据管理服务器,将第二策略发送到核心层中的数据管理服务器。 
如图6所示,中心管理服务器1包括: 
策略制定单元10,用于制定第一策略和第二策略,具体的: 
根据计划存储任务或手动存储任务,制定第一策略和第二策略,使得汇聚层中的数据管理服务器和核心层中的数据管理服务器分别存储计划存储任务或手动存储任务所需的数据;和/或 
接收到接入层中的数据采集设备发送的告警事件时,根据告警事件类型制定第一策略和第二策略,使得汇聚层中的数据管理服务器和核心层中的数据管理服务器分别存储告警事件发生前后特定时间的数据;和/或 
接收到核心网中第三方分析设备的数据存储通知时,根据数据存储通知制定第一策略和第二策略,使得汇聚层中的数据管理服务器和核心层中的数据管理服务器分别存储第三方分析设备所需的数据。 
该策略制定单元10根据不同内容制定的第一策略和第二策略,具有不同的执行优先级。 
策略通知单元20,用于将策略制定单元10制定的第一策略发送到汇聚层中的数据管理服务器,将策略制定单元10制定的第二策略发送到核心层中的数据管理服务器。 
调阅请求处理单元30,用于接收到数据调阅请求时,在接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到数据调阅请求的发送方;检索得到的数据为多份时,按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到数据调阅请求的发送方。其中,汇聚层的存储设备中存储的数据相对于接入层的存储设备中存储的数据,留存期较长;核心层的存储设备中存储的数据相对于汇聚层的存储设备中存储的数据,留存期较长。 
时间确定单元40,用于根据接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知汇聚层中的数据管理服务器和核心层中的数据管理服务器;和/或 
速率确定单元50,用于根据网络状况,确定从接入层中的数据采集设备获取数据的速率并通知汇聚层中的数据管理服务器和核心层中的数据管理服务器。 
本发明提供的上述***和设备中,上层服务器根据预设的策略,通过主动获取方式从下层存储设备中获取存储数据,上层服务器可以先根据预设策略对存储数据进行筛选后再进行存储,使得存储数据的获取和处理更加灵活。 对于告警时间,能保证可以回溯事件或告警发生之前较长时间的录像;如果核心层或汇聚层设备发生故障,前端可以保持相对较长的容故障时间。另外,可以根据需要调用存储在不同层存储设备中的存储数据,随时查看未在上层存储设备保存的有限时间内的历史录像。最后,通过合理分配从各下层存储设备获取存储数据的时间,避免了由于多个存储设备同时上传存储数据造成的网络拥塞和网络状况恶化。 
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。 
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的单元或流程并不一定是实施本发明所必须的。 
本领域技术人员可以理解实施例中的装置中的单元可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元。 
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。 

Claims (10)

1.一种数据存储方法,其特征在于,应用于包括接入层、汇聚层和核心层的数据存储***中,所述方法包括:
所述接入层中的数据采集设备将采集到的数据保存在接入层的存储设备中,所述存储设备中的存储空间循环使用;
所述汇聚层中的数据管理服务器按照下发给它的第一策略,从所述接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中;
所述核心层中的数据管理服务器按照下发给它的第二策略,从所述汇聚层的存储设备中获取待存储的数据,并保存在核心层的存储设备中;
其中,所述第一策略和所述第二策略制定的依据包括以下之一或任意组合:计划存储任务或手动存储任务,告警事件发生前后的特定时间段,根据第三方分析设备所发送的数据存储通知所选择的特定时间段。
2.如权利要求1所述的方法,其特征在于,所述核心层中的中心管理服务器制定第一策略和第二策略,具体的:
所述核心层中的中心管理服务器根据计划存储任务或手动存储任务,制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述计划存储任务或手动存储任务所需的数据;和/或
所述核心层中的中心管理服务器接收到所述接入层中的数据采集设备发送的告警事件时,根据告警事件类型制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述告警事件发生前后特定时间的数据;和/或
所述核心层中的中心管理服务器接收到所述核心层中第三方分析设备的数据存储通知时,根据所述数据存储通知制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述第三方分析设备所需的数据。
3.如权利要求2所述的方法,其特征在于,
对于根据不同内容制定的第一策略和第二策略,具有不同的执行优先级。
4.如权利要水1至3中任一项所述的方法,其特征在于,还包括:
所述核心层中的中心管理服务器接收到数据调阅请求时,在所述接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到所述数据调阅请求的发送方;
所述检索得到的数据为多份时,按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到所述数据调阅请求的发送方;其中:
所述汇聚层的存储设备中存储的数据相对于所述接入层的存储设备中存储的数据,留存期较长;所述核心层的存储设备中存储的数据相对于所述汇聚层的存储设备中存储的数据,留存期较长。
5.如权利要求1至3中任一项所述的方法,其特征在于,还包括:
所述核心层中的中心管理服务器根据所述接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器;和/或
所述核心层中的中心管理服务器根据网络状况,确定从所述接入层中的数据采集设备获取数据的速率并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器。
6.一种数据存储***,其特征在于,划分为接入层、汇聚层和核心层,包括:
位于所述接入层中的数据采集设备和存储设备,所述接入层中的数据采集设备,用于采集数据,该采集来的数据将被保存在接入层的存储设备中,所述存储设备中的存储空间循环使用;
位于所述汇聚层中的数据管理服务器和存储设备,所述汇聚层中的数据管理服务器,用于按照下发给它的第一策略,从所述接入层的存储设备中获取待存储的数据,并保存在汇聚层的存储设备中;
位于所述核心层中的数据管理服务器和存储设备,所述核心层中的数据管理服务器,用于按照下发给它的第二策略,从所述汇聚层的存储设备中获取待存储的数据,并保存在核心层的存储设备中;
其中,所述第一策略和所述第二策略制定的依据包括以下之一或任意组合:计划存储任务或手动存储任务,告警事件发生前后的特定时间段,根据第三方分析设备所发送的数据存储通知所选择的特定时间段。
7.如权利要求6所述的***,其特征在于,还包括:
位于所述核心层中的中心管理服务器,所述核心层中的中心管理服务器包括:
策略制定单元,用于制定第一策略和第二策略,具体的:
根据计划存储任务或手动存储任务,制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述计划存储任务或手动存储任务所需的数据;和/或
接收到所述接入层中的数据采集设备发送的告警事件时,根据告警事件类型制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述告警事件发生前后特定时间的数据;和/或
接收到所述核心层中第三方分析设备的数据存储通知时,根据所述数据存储通知制定所述第一策略和第二策略,使得所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器分别存储所述第三方分析设备所需的数据;
策略通知单元,用于将所述策略制定单元制定的第一策略发送到所述汇聚层中的数据管理服务器,将所述策略制定单元制定的第二策略发送到所述核心层中的数据管理服务器。
8.如权利要求7所述的***,其特征在于,所述策略制定单元根据不同内容制定的第一策略和第二策略,具有不同的执行优先级。
9.如权利要求7至8中任一项所述的***,其特征在于,所述中心管理服务器还包括:
调阅请求处理单元,用于接收到数据调阅请求时,在所述接入层、汇聚层和核心层的存储设备中分别进行检索,将检索得到的数据发送到所述数据调阅请求的发送方;所述检索得到的数据为多份时,按照接入层的存储设备中存储的数据、汇聚层的存储设备中存储的数据、核心层的存储设备中存储的数据的优先级顺序,将检索得到的数据发送到所述数据调阅请求的发送方;其中,所述汇聚层的存储设备中存储的数据相对于所述接入层的存储设备中存储的数据,留存期较长;所述核心层的存储设备中存储的数据相对于所述汇聚层的存储设备中存储的数据,留存期较长。
10.如权利要求7至8中任一项所述的***,其特征在于,所述中心管理服务器还包括:
时间确定单元,用于根据所述接入层中的数据采集设备的数量,确定从不同接入层中的数据采集设备获取数据的时间并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器;和/或
速率确定单元,用于根据网络状况,确定从所述接入层中的数据采集设备获取数据的速率并通知所述汇聚层中的数据管理服务器和所述核心层中的数据管理服务器。
CN2009101629518A 2009-08-21 2009-08-21 数据存储方法和*** Active CN101626499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101629518A CN101626499B (zh) 2009-08-21 2009-08-21 数据存储方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101629518A CN101626499B (zh) 2009-08-21 2009-08-21 数据存储方法和***

Publications (2)

Publication Number Publication Date
CN101626499A CN101626499A (zh) 2010-01-13
CN101626499B true CN101626499B (zh) 2012-07-11

Family

ID=41522141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101629518A Active CN101626499B (zh) 2009-08-21 2009-08-21 数据存储方法和***

Country Status (1)

Country Link
CN (1) CN101626499B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300082A (zh) * 2011-09-20 2011-12-28 中广核工程有限公司 一种核电站数字视频监控***及方法
CN109962944B (zh) * 2017-12-22 2020-09-25 杭州海康威视***技术有限公司 一种媒体数据存储方法、存储装置及电子设备
CN111479095B (zh) * 2020-06-24 2020-10-02 腾讯科技(深圳)有限公司 一种业务处理控制***、方法及装置

Also Published As

Publication number Publication date
CN101626499A (zh) 2010-01-13

Similar Documents

Publication Publication Date Title
EP2792123B1 (en) Remote storage digital video recorder and related operating methods
CN101068155B (zh) 一种对等连接流媒体直播***及其采集服务器
CN102740159B (zh) 媒体文件存储格式和自适应传送***
US7859571B1 (en) System and method for digital video management
US10104442B2 (en) Social delivery of IPTV streams
US10038872B2 (en) Systems and methods for managing video data
US11523088B2 (en) Computer implemented systems frameworks and methods configured for enabling review of incident data
CN102439578A (zh) 动态可变速率媒体传送***
US10887363B1 (en) Streaming decision in the cloud
CN100574432C (zh) 一种监控***中的视频编码的存储方法及设备
CN104159086A (zh) 一种省域路网数字化视频监控平台
CN102572215A (zh) 城市级可视化视频分析方法及服务器
CN105025391A (zh) 视频播放方法和装置
CN102186061A (zh) 一种基于云计算模式的、网络远程监控***的实现方法
CN101626499B (zh) 数据存储方法和***
CN114125377A (zh) 具有分布式视频分析的分布式监视***
CN113938640A (zh) 分布式监视***中的摄像头的选择性使用
US20140375818A1 (en) Distributing network camera system and method for operating same
CN112601052B (zh) 一种应用于内部共享平台的视频资源整合***
CN113473165A (zh) 直播控制***、直播控制方法、装置、介质与设备
CN201550138U (zh) 提供移动流媒体服务的***
CN110557391B (zh) 一种面向多场景整合应急移动视频交互***
CN101511007B (zh) 一种网络视频监控***中的录像实现方法、设备和***
CN107181929A (zh) 用于视频监控的方法和装置
CN109040640A (zh) 一种分布式视频存储回放***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Patentee after: Xinhua three Technology Co., Ltd.

Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base

Patentee before: Huasan Communication Technology Co., Ltd.