CN105100716B - 一种用于网络视频监控的安全存储单元及其*** - Google Patents

Abstract

本发明提供了一种安全存储单元，以及基于安全存储单元构建的网络视频监控***。本发明所述安全存储单元，应用于网络视频监控的数据存储，包括：数据组织单元、索引生成单元、物理分配单元、IO单元、寻址单元。本发明采用了“时间索引+数据块”的数据存储组织结构，支持基于数据块的磁盘直接读写，因而不会带来文件***的碎片问题，彻底避免文件***原因而导致的录像丢失问题，提高了数据的可管理性和安全性，大幅度提高录像数据的管理效率和检索速度，支持秒级定位与秒级时移回放。

Description

一种用于网络视频监控的安全存储单元及其***

技术领域

本发明涉及与视频监控相关的信息技术领域，尤其涉及一种用于网络视频监控的安全存储单元及其***。

背景技术

九十年代末，随着网络带宽、计算机处理能力和存储容量的快速提高，以及各种实用视频处理技术的出现，视频监控和存储步入了全数字化的网络时代。通过中心业务平台进行集中管理和控制，以DVS/DVR为代表的第一代存储技术(前端存储)得到广泛部署。由于架构合理、扩展灵活、层次清晰，网络视频监控给用户带来全新的安防应用体验，从而迅速成为构建新一代网络视频监控***的主要形式。

由于近年来IPC尤其是高清IPC的蓬勃发展，前端存储已经无法满足用户日常的业务需求。分布式的前端和平台架构、集中化的管理和控制以及灵活便捷的用户访问，使得网络视频监控***的存储部分也开始走向网络化。网络化存储给视频监控带来了全新的存储架构，一方面，用户在存储的部署上更加灵活，访问管理也更简单；另一方面，构建需要实现大容量存储的视频监控***也更为便捷。同时，视频录像的管理、检索、回放得到了有效的统一调度。第二代存储技术，即以NAS和iSCSI为代表的IP存储成为目前业界主要的存储模式。

NAS和iSCSI是目前业界IP存储的两种主要存储模式，可根据需要随时扩容，可分布在网络的任何地方，可以灵活地制定存储备份策略。

NAS(网络访问存储)是专用的数据存储服务器，包括存储器件和内嵌***软件，可提供跨平台文件共享功能。NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等)，而且能够支持各种操作***。NAS实现的是文件级的数据共享，因此NAS设备通常作为文件服务的设备，由工作站或服务器通过网络协议(如TCP/IP)和应用程序(如网络文件***NFS或者通用Internet文件***CIFS)来进行文件访问。

iSCSI技术是IETF一种新的标准协议，它将现有SCSI接口与以太网技术结合，使服务器可与使用IP网络的储存设备交换数据。iSCSI实现的是网络存储设备中数据块的共享，使SCSI数据包在以太网中传输成为可能，摆脱了SAN昂贵的光纤网络，降低了管理复杂度又降低了成本。iSCSI的这些特点非常契合现在的网络视频监控发展的现状和方向，特别是在运营级视频监控领域，存储的规模大、投入高，iSCSI技术无疑是一个比较好的参考。

然而，在视频监控领域中，存储***有其自身的几个特点：1、视频监控***一般摄像头数量多，存储容量需求巨大，因此视频监控***存储必须支持大容量，且可扩展，满足长时间大容量视频图像存储的需求；2、数据读写操作持续时间长，这就要求存储具有超强的长时间工作能力，保持长时间的稳定性；3、数据保存周期短，数据循环覆盖，一般的监控场所数据保存一定时间(如15天～1个月)以后便可以删除。

随着视频监控行业应用的发展，通用IP存储不能适应视频监控的上述存储特点，因而弊端逐渐显现：

NAS采用文件共享模式，使用***的文件***方式实现数据的存储；长时间的高速读写容易导致碎片，导致读写性能随着时间的推移持续下降。同时海量的文件容易导致效率较低，安全性得不到保障。由于NAS是构架在操作***的文件***之上的，意外断电或者文件***本身的bug导致数据损坏。

iSCSI的空间分配采用专属化管理，要预先进行分配，很难动态扩展，容易导致空间资源的浪费；iSCSI模式需要前端设备或存储管理服务器进行磁盘空间的管理，容易导致管理的不一致，格式无法统一，从而无法实现数据的共享。

随着高清监控的普及，高带宽、大容量的码流对存储带来了新的挑战，采用先进的存储架构对非结构化、海量、高并发、高可靠的高清数据进行有效管理已显得非常重要。这也就提出了存储***智能化和高速存取方面的需求。

存储***的智能化应该使***在信息的存储、读取、共享、保护各等各方面更方便、更灵活。智能化包括很多方面：后台自我维护***，全面先进的自我监测、自我诊断和自我修复。这样可以在用户发现***故障前主动识别内部的一些错误进行修复，若不能进行修复就可以通过email、拨号或短信方式通知技术人员。存储的智能化不仅仅是其本身的使用上，更大的是体现在和监控***的整合应用。

智能化的存储方式下，网络视频监控***要求能够实现更好的存储、检索和回放，必然对存取的响应速度提出比较高的要求。而目前一般的存储都是传统的文件模式存储，需要将流数据切成一个个文件进行存储。由于流媒体服务器的IO操作都需要经过文件***层形成瓶颈，降低了存取速度，从而造成海量的文件信息难以有效检索，而且也难以实现历史图像信息的秒级监控。

发明内容

为了克服上述现有技术存在的缺陷，满足网络视频监控所带来的智能化存储需要，本发明提供了一种安全存储单元，以及基于安全存储单元构建的网络视频监控***。

本发明所述安全存储单元，应用于网络视频监控的数据存储，其特征在于，包括：

数据组织单元，用于接收网络视频监控产生的流数据，并且将所述流数据划分为预定大小以内的数据块；

索引生成单元，用于根据流数据自身具有的时间信息，为所划分的数据块生成索引信息；

物理分配单元，用于为所述数据块顺序分配物理存储空间地址，并且在所述索引信息中建立该索引信息到物理存储空间地址的映射；

IO单元，用于从所述数据组织单元顺序接收所述数据块，并且将数据块按照所分配的物理存储空间地址，直接写入相应的物理存储空间；并且根据物理存储空间地址，从物理存储空间当中读取数据块并直接输出；

寻址单元，在执行数据读取时，根据接收到的时间信息，查询所述索引信息获得对应的物理存储空间地址，将物理存储空间地址提供给IO单元。

优选的是，所述数据组织单元将流数据的若干帧连续的视频帧归入一个帧组，并将该帧组的数据从流数据中切分出来形成所述数据块。

进一步优选的是，所述索引生成单元将帧组中的特定视频帧所携带的时间信息作为所述数据块对应的时间，并且利用时间为数据块生成索引信息。

优选的是，物理分配单元按照所述索引信息表示的时间顺序为各数据块顺序分配连续的物理存储空间地址。

优选的是，物理分配单元为索引信息分配物理存储空间地址，且索引信息与流数据的数据块保存在物理上完全独立的存储空间上。

优选的是，所述安全存储单元进一步包括属性配置单元，用于根据用户或***指令，对安全存储单元自身的属性信息以及针对数据块的属性配置进行修改。

进一步优选的是，所述安全存储单元自身的属性信息包括读写属性，并且所述数据块的属性配置包括只读属性。

优选的是，所述安全存储单元进一步包括冗余电源、冗余风扇以及RAID冗余；并且，安全存储单元具有电源故障检测电路，用于在非安全关闭期间，通过安全存储单元固件中的例行程序对电源中断做出响应，确保临时缓冲区中的用户数据和***数据写入介质。

本发明进而提供了一种网络视频监控***，包括：至少一台如上文所述的安全存储设备，至少一台视频监控摄像设备、媒体转发服务器以及客户端；所述至少一台安全存储设备与至少一台视频监控摄像设备建立固定的映射对应，并且所述视频监控摄像设备通过网络链接通道直接连接与其映射对应的安全存储设备；所述客户端通过网络链接通道直接连接安全存储设备；并且，所述媒体转发服务器通过网络连接所述至少一台所述安全存储设备、至少一台视频监控摄像设备以及客户端。

优选的是，网络视频监控***还包括存储管理中心平台，用于支持通过网络对安全存储设备的运行状态进行监控，并且通过配置安全存储单元的属性信息，实现统一网络管理与统一调度。

为了满足智能化存储对数据存取的时效性要求，本发明所述的安全存储单元提供了基于数据块的存储模式。在该模式下，对于网络视频监控所产生的数据流，按照数据块直接将数据流写入存储***，并且根据流数据的时间定位到存储单元的物理存储位置，这种模式下视频索引的循序就是数据的物理存储循序。由于放弃了需要形成文件的传统数据组织形式，而是支持数据块的直接读写，因此大大缩短了***的存取时间，特别是图像回放响应时间，支持智能化存储应用，可以实现历史图像信息的秒级监控。

附图说明

图1为本发明实施例的安全存储单元内部结构示意图；

图2是本发明实施例的“时间索引+数据块”的数据存储组织结构示意图；

图3是本发明实施例的网络视频监控***结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。

图1是本发明实施例的安全存储单元内部结构示意图。本发明所述安全存储单元应用于网络视频监控的数据存储，包括如下结构：

数据组织单元101，用于接收网络视频监控产生的流数据，并且将所述流数据划分为预定大小以内的数据块。网络视频监控可产生视频帧为主体的流数据，现有技术当中一般将流数据以事先设定的文件允许大小进行分隔，进而再进行必要的封装打包，并且在***文件层执行命名、注册、生成描述信息等操作，形成完整的媒体文件，然后在存储空间中进行存储。如背景技术中所述，现有技术会降低存取效率，形成数据瓶颈，难以支持高速和高精度应用。相反，本发明是将所述流数据划分为预定大小以内的数据块。数据组织单元101对于流数据一般是按照帧组进行数据块划分的，即将若干帧连续的视频画面归入一个帧组，并将该帧组的数据从流数据中切分出来形成所述数据块。由于后续的处理都是以该数据块为基本单元的作业，因此帧组也作为本发明中数据存储的组织单元。由于预先设定了数据块所允许的预定大小，因此对于帧组当中帧数量的选择要根据每帧画面的实际数据量来确定，保证不超过该预定大小，以免造成数据块臃肿，降低直接读写操作的速度。数据组织单元101在帧组划分的过程中监测每帧视频所带来的数据量增量，一旦接近该预定大小即停止增加本帧组所包含的视频帧。通过控制帧组的规模，使得数据组织单元101所划分出来的数据块的大小明显小于现有技术中文件数据的大小，而且在后续的作业中支持对数据块的直接写入和读取操作，不再执行打包、封装以及文件***层的各个操作。并且，数据块大小也决定了后续读取的精细读，例如为了支持逐秒级别的应用，可以将每秒拍摄的视频帧(通常每秒为12帧至24帧)合成为一个帧组，并对应帧组进行数据块的划分。

索引生成单元102，用于根据流数据自身具有的时间信息，为所划分的数据块生成索引信息。在以视频帧为主的流数据中，各帧均携带有时间信息，以便确定其播放顺序。本发明所划分出来的数据块对应流数据当中连续的视频画面，因此可以将帧组所携带的时间信息(可以取帧组中的首帧时间信息等)作为该数据块对应的时间，并且利用时间为数据块生成索引信息。将时间作为索引信息，将会为数据块的查找和读取提供足够的便利，由于时间直接对应到数据块，相比于对应到文件，基于时间索引的信息查找所达到的精确度更高，命中速度更快。

物理分配单元103，用于为所述数据块顺序分配物理存储空间地址，并且在所述索引信息中建立该索引信息到物理存储空间地址的映射。对于通过分割帧组所形成的一系列数据块，物理分配单元103按照时间索引标志的时间顺序依次为各数据块分配物理存储空间地址，地址分配尽可能保证地址的连续性，从而保障在数据存取过程中尽可能实现IO顺序读写。并且，在索引信息中记录了该索引信息对应的数据块所分配的物理存储空间地址，从而建立了索引信息到物理存储空间地址之间的映射，这样实现了根据流数据的时间定位到物理存储位置，从而可以直接将流数据写入物理存储空间，并且按视频时间顺序建立的索引的循序就是数据的物理存储循序。

进一步来说，物理分配单元103还为索引信息分配物理存储空间地址，索引信息与流数据的数据块保存在物理上完全独立的存储空间上，从而在保障了索引数据存储可靠性的同时，大幅度提高了数据块的管理效率和检索速度。

IO单元104，用于从所述数据组织单元101顺序接收所述数据块，并且将数据块按照所分配的物理存储空间地址，直接写入相应的物理存储空间。IO单元以数据块为单位，将其直接写入磁盘的物理存储空间，实现了磁盘直写，提高了写入的实时性，即接收到数据块之后立即就可以进行写入操作，这样优化的磁盘使用模式，提升了吞吐量，减少了因异常关机、***断电以及文件***崩溃造成数据丢失等安全问题。

IO单元104还从索引生成单元102接收索引信息，并且根据物理分配单元103为索引信息所分配的物理存储空间地址，将索引信息写入对应的物理存储空间。可将数据块及其对应的索引信息依次传输至IO单元104，由IO单元104进行串行写入。或者，在IO单元104支持并行读写作业的前提下，可将数据块及其对应的索引信息通过不同的通道并行传输给IO单元104，执行并行的写入操作。

当需要从安全存储单元执行数据读取的时候，首先确定所需读取数据的时间信息，并且寻址单元105根据所收到的时间信息，查询索引信息获得对应的物理存储空间地址。IO单元104根据寻址单元所提供的地址，从物理存储空间当中读取数据块并直接输出。由于直接针对数据块进行读取输出，实现了磁盘直读，省略了文件***下打开、缓存、定位等步骤，大幅度提高了读取速度。

从而，如图2所示的“时间索引+数据块”的数据存储组织结构，索引存储空间当中的时间索引直接映射到数据块存储空间中的各数据块。安全存储单元内部这种块式的数据组织形式没有文件***，因而不会带来文件***的碎片问题，彻底避免文件***原因而导致的录像丢失问题，提高了数据的可管理性和安全性。这种全新的数据结构采用帧组对应的数据块作为存储组织单元，帧组时间作为该存储组织单元的索引，并且把索引数据和数据块保存在物理上完全独立的存储空间。从而在保障索引数据可靠性的同时，大幅度提高录像数据的管理效率和检索速度。

安全存储单元所采用的磁盘直写技术，优化磁盘使用模式，通过针对数据块的顺序地址分配，保障IO为顺序读写、极高提升吞吐量，减少了因异常关机、***断电以及文件***崩溃等造成的录像数据安全问题。***减少数据传输环节，抛弃传统的流媒体服务器和通用存储技术，比如NAS或iSCSI，极大简化存储的***结构，提高IO处理能力和读写效率。

以时间索引直接映射到物理存储空间地址是本发明面向网络视频监控应用而采取的特有方式，能够支持以时间为检索项的各种视频回放或者下载应用，因而可以方便实现快放、慢放、拖放、单帧播放，支持秒级定位与秒级时移回放。

安全存储单元具有自身的属性信息，属性配置单元106可根据用户或***指令，对安全存储单元自身的属性信息进行修改，从而配置安全存储单元的工作模式。可配置的属性信息包括读写属性，包括“可读可写”与“只读”选项，属性配置单元106可响应外部指令，选择读写属性。例如，对于一些突发情况需要对整台安全存储单元的数据进行保护时，可以通过一个指令简单地将该安全存储单元配置为“只读”，以维护全局安全。

属性配置单元106还支持针对数据块的属性配置功能。例如，对于重要的视频内容，支持通过对相关数据块进行“只读”属性配置，确保其不可删除覆盖，避免循环录像过程中对重要内容的破坏。

安全存储单元设置硬件冗余配置，包括冗余电源、冗余风扇以及RAID冗余。通过硬件冗余支持硬件级和固件级的电源故障数据保护功能。安全存储单元具有电源故障检测电路，在非安全关闭期间，安全存储单元固件中的例行程序对电源中断做出响应，确保临时缓冲区中的用户数据和***数据写入介质。

进而，本发明提供了基于上述安全存储单元构建的网络视频监控***。该***的主要特点是利用上述安全存储单元能够实现基于时间索引的数据块磁盘直写的优势，建立视频监控摄像头与安全存储单元的统一映射管理，视频监控数据直接写入安全存储单元，因而***无存储管理服务器，无***性能瓶颈，易实现全局共享管理。并且，支持安全存储***的统一调度管理和统一网管，实现海量数据的全局管控。

如图3所示，本发明所述的网络视频监控***包括：至少一台所述安全存储设备1，至少一台视频监控摄像设备2、媒体转发服务器3以及客户端4；所述至少一台安全存储设备1与至少一台视频监控摄像设备2建立固定的映射对应，并且所述视频监控摄像设备2通过网络链接通道直接连接与其映射对应的安全存储设备1；所述客户端4通过网络链接通道直接连接安全存储设备1；并且，所述媒体转发服务器3通过网络连接所述至少一台所述安全存储设备1、至少一台视频监控摄像设备2以及客户端4。

如上文所述，由于本发明的安全存储设备不采用文件***，而是支持针对数据块的直接读写，并且以时间索引对应物理存储空间，使基于时间的查询、回放、寻址都变得极为简便，因此，所述网络视频监控***可以直持摄像设备以及客户端对安全存储设备的直接读写操作，一般不需要再借助实现文件存储管理的服务器***。本***具有自动路由功能，视频监控摄像设备优先通过网络链接通道直接连接与其映射对应的安全存储设备并直接执行数据写入；如果视频监控摄像设备到安全存储设备的连接不能建立，则再借助媒体转发服务器4进行转发存储。在客户端需要访问存储的数据进行回放或下载时，客户端优先直接连接安全存储设备进行读取，如果链路不通，则基于媒体转发服务器进行自动路由转发。

***支持一定数量的安全存储设备冗余热备份。如果与视频监控摄像设备映射对应的安全存储设备发生故障，则直接切换到备用的安全存储设备进行直接存取。当主安全存储设备恢复后，则重新切换回主安全存储设备进行录像。另外，由于不依赖服务器，如果监控录像过程中导致连接中断，只要视频监控摄像设备与安全存储设备之间的直接连接保留，就可以不中止监控录像。

***通过存储管理中心平台5，支持通过网络对安全存储设备的运行状态进行监控，并且通过配置安全存储单元的属性信息，实现统一网络管理与统一调度。

可见，为了满足智能化存储对数据存取的时效性要求，本发明所述的安全存储单元提供了基于数据块的存储模式。在该模式下，对于网络视频监控所产生的数据流，按照数据块直接将数据流写入存储***，并且根据流数据的时间定位到存储单元的物理存储位置，实现数据块到物理存储空间的直接写入，不经过文件***，也不通过实现视频文件管理的服务器。由于放弃了需要形成文件的传统数据组织形式，而是支持数据块的直接读写，因此大大缩短了***的存取时间，特别是图像回放响应时间，而且简化了***结构，实现监控前端、客户端与安全存储设备的直接联通数据传输，从而支持各种智能化存储应用，可以实现历史图像信息的秒级监控等高精确度的应用场景。

以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (7)

1.一种安全存储单元，应用于网络视频监控的数据存储，其特征在于，包括：

数据组织单元，用于接收网络视频监控产生的流数据，将流数据的若干帧连续的视频帧归入一个帧组，并将该帧组的数据从流数据中切分出来，形成预定大小以内的数据块；数据组织单元在帧组划分的过程中监测每帧视频所带来的数据量增量，根据每帧画面的实际数据量来确定帧组当中的帧数量，接近该预定大小即停止增加本帧组所包含的视频帧；

索引生成单元，用于将帧组中的特定视频帧所携带的时间信息作为所述数据块对应的时间，利用该时间信息为所划分的数据块生成索引信息；

物理分配单元，用于为所述数据块顺序分配物理存储空间地址，并且在所述索引信息中建立该索引信息到物理存储空间地址的映射，根据该时间信息定位到物理存储空间地址；以及，用于为索引信息分配物理存储空间地址，索引信息与流数据的数据块保存在物理上完全独立的存储空间上；

IO单元，用于从所述数据组织单元顺序接收所述数据块，并且将数据块按照所分配的物理存储空间地址，直接写入相应的物理存储空间；并且根据物理存储空间地址，从物理存储空间当中读取数据块并直接输出；

寻址单元，在执行数据读取时，根据接收到的时间信息，查询所述索引信息获得对应的物理存储空间地址，将物理存储空间地址提供给IO单元。

2.根据权利要求1所述的安全存储单元，其特征在于，物理分配单元按照所述索引信息表示的时间顺序为各数据块顺序分配连续的物理存储空间地址。

3.根据权利要求1所述的安全存储单元，其特征在于，所述安全存储单元进一步包括属性配置单元，用于根据用户或***指令，对安全存储单元自身的属性信息以及针对数据块的属性配置进行修改。

4.根据权利要求3所述的安全存储单元，其特征在于，所述安全存储单元自身的属性信息包括读写属性，并且所述数据块的属性配置包括只读属性。

5.根据权利要求1所述的安全存储单元，其特征在于，所述安全存储单元进一步包括冗余电源、冗余风扇以及RAID冗余；并且，安全存储单元具有电源故障检测电路，用于在非安全关闭期间，通过安全存储单元固件中的例行程序对电源中断做出响应，确保临时缓冲区中的用户数据和***数据写入介质。

6.一种网络视频监控***，包括：至少一台如以上权利要求1-5的任意一项所述的安全存储单元 ，至少一台视频监控摄像设备、媒体转发服务器以及客户端；所述至少一台安全存储单元 与至少一台视频监控摄像设备建立固定的映射对应，并且所述视频监控摄像设备通过网络链接通道直接连接与其映射对应的安全存储单元 ；所述客户端通过网络链接通道直接连接安全存储单元 ；并且，所述媒体转发服务器通过网络连接所述至少一台所述安全存储单元 、至少一台视频监控摄像设备以及客户端。

7.根据权利要求6所述的网络视频监控***，其特征在于，网络视频监控***还包括存储管理中心平台，用于支持通过网络对安全存储单元 的运行状态进行监控，并且通过配置安全存储单元的属性信息，实现统一网络管理与统一调度。