CN103037203B - 一种基于块存储的索引恢复方法和装置 - Google Patents

Abstract

本发明提供一种基于块存储的索引恢复方法和装置，属于视频监控技术领域。所述方法包括：当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取数据的结束时间；根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间。本发明能够在视频编码设备离线后，对相应的索引数据进行及时的恢复，从而保证索引数据的完整性。

Description

一种基于块存储的索引恢复方法和装置

技术领域

本发明涉及视频监控技术领域，尤其涉及一种基于块存储的索引恢复方法和装置。

背景技术

目前，在视频监控***中使用互联网协议存储区域网络（InternetProtocolStorageAreaNetwork，IPSAN）作为存储普遍应用。监控编码设备将获取到的监控数据存储到IPSAN中，当用户需要查看历史监控数据时，可以从IPSAN中读取相应的监控数据。

图1为一种现有的视频监控***的典型组网结构示意图，其中，视频编码器（Encoder，EC）通过互联网小型计算机***接口（internetSmallComputerSystemInterface，iSCSI）与IPSAN连接，并将监控摄像机获取到的监控数据进行编码后存储在IPSAN中。当用户需要查看历史监控数据时，可以通过视频监控客户端（VideoClient，VC）或者视频解码器（Decoder，DC）向视频监控服务器（VideoManagement，VM）发送回放请求，VM接收到该回放请求后，向数据管理服务器（DataManagement，DM）发送指示消息，指示DM读取IPSAN中存储的相应监控数据，并返回给VC或者DC。

在上述的组网结构中，IPSAN将多个磁盘组成独立磁盘冗余阵列（RAID）后，将RAID分成一系列逻辑单元，每个逻辑单元都有一个逻辑单元号（LUN），然后将LUN分配给EC进行存储。EC录像数据的一种存储格式可以如图2所示，其中，该存储格式是基于块的存储格式，包括超级块、主索引区和多个数据区，每个数据区对应一个数据块，数据块的大小可以为256M，每个数据块包括副索引区和多个I帧组，可选地，所述数据块中还包括有填充区。

EC按照图2所示的索引结构将录像数据存入IPSAN，每次数据写入都需要更改索引区，因此索引区数据读写频繁。回放录像时，首先是读取主索引区（一级索引），然后找到指定的数据区，再从数据区中根据副索引（二级索引）查找到指定时间的I帧组数据，然后读取I帧组数据发给客户端进行播放。其中，主索引区和副索引区的结构如图3所示，包括索引描述和索引项，索引项的内容为时间和/或空间信息，根据索引项的内容可以查询指定时刻的录像数据所在的位置。

为了避免频繁的读写索引区域，现有的一种解决方案为，EC将索引区存于自身的缓存中，设定一个索引缓存时间（例如16秒），当索引缓存时间到达时进行一次索引区数据的写入，I帧组数据则是持续的写入数据区。

在上述解决方案中，由于索引数据非即时写入物理硬盘，当EC发生故障或被人为损坏时，录像数据已经写入存储设备，但缓存中的索引数据可能还没有写入存储设备，导致一部分录像数据无法查看。

发明内容

有鉴于此，本发明的目的是提供一种基于块存储的索引恢复方法和装置，能够在视频编码设备离线后，对索引数据进行及时的恢复，从而保证索引数据的完整性。

为实现上述目的，本发明提供技术方案如下：

一种基于块存储的索引恢复方法，应用于视频监控***中，所述索引恢复方法包括：

当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取数据的结束时间；

根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；

从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间。

一种基于块存储的索引恢复装置，应用于视频监控***中，所述索引恢复装置包括：

结束时间获取模块，用于当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取索引的结束时间；

结束帧组获取模块，用于根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；

索引更新模块，用于从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间。

根据本发明的上述技术方案，在视频编码设备离线后需要进行索引恢复时，从与该视频编码设备对应的存储资源的超级块中获取索引的结束时间，并根据所述存储资源的索引获取所述结束时间对应的I帧组，根据所述I帧组就能够获取后续的I帧组，并根据获取到的I帧组的信息对所述存储资源的索引进行更新，如此，实现了对索引数据的及时恢复，从而保证了索引数据的完整性，使得客户端可以根据完整的索引数据查看任意时刻的录像数据。

附图说明

图1为现有的视频监控***的典型组网结构示意图；

图2为是录像数据的一种存储格式示意图；

图3为主索引区和副索引区的结构示意图；

图4为本发明实施例的基于块存储的索引恢复方法流程图；

图5为本发明实施例的基于块存储的索引恢复装置结构图。

图6为本发明实施例中超级索引块的结构图。

图7为本发明实施例中一级索引中的索引描述的数据结构图。

图8为本发明实施例中一级索引中的索引项的数据结构图。

图9为本发明实施例中二级索引中的索引描述的数据结构图。

图10为本发明实施例中二级索引中的索引项的数据结构图。

具体实施方式

为解决现有技术中存在的录像数据已经写入存储设备，但缓存中的索引数据可能还没有写入存储设备，导致一部分录像数据无法查看的问题，本发明实施例提供的一种解决方案为，从离线的视频编码设备对应的存储资源的超级块中获取索引的结束时间，然后，根据所述存储资源的索引获取所述结束时间对应的I帧组，根据所述I帧组从所述存储资源中获取后续的I帧组，每获取一个I帧组，并根据该I帧组的信息对所述存储资源的索引进行更新。

以下结合附图对本发明进行详细描述。

在本发明的下述实施例中，是以图2所示的存储格式为例来描述索引数据的恢复，需要说明的是，本发明实施例的方案也可以适用于基于块存储方式的其他存储格式。

图4为本发明实施例的基于块存储的索引恢复方法流程图，所述索引恢复方法应用于视频监控***中，所述视频监控***可以包括视频监控服务器、视频监控客户端、视频编码设备、IPSAN等，视频监控服务器包括数据管理服务器DM和视频管理服务器VM等，所述视频编码设备可以是网络摄像机IPC和视频编码器EC等。其中，所述索引恢复方法可以由视频监控服务器例如DM执行，也可以由视频编码设备执行。下面以所述索引恢复方法由DM执行，且视频编码设备为EC为例进行说明。

参照图4，所述索引恢复方法可以包括如下步骤：

步骤401，当满足索引恢复条件时，从待进行索引恢复的视频编码器对应的存储资源的超级块中获取数据的结束时间；

所述索引恢复条件可以为：视频编码设备离线后，所述数据管理服务器的巡检时间间隔到达；或者，视频编码设备离线后，用户手动查询视频编设备对应的存储资源；或者，视频编码设备重新上线。

具体地，EC的网络异常或被人为破坏之后，VM在一段时间内将检测到EC离线，然后，VM可以查询该EC是否配置存储计划，如果已配置存储计划，则可以将该EC的存储计划做一个“待恢复”标记，并查询该EC对应的DM，将EC离线的信息通知给该DM。其中，VM记录有各个EC的索引缓存时间（Tc，如果全局统一，则记入全局参数）。DM在巡检时间间隔到达或者当有用户手动查询该编码器上通道录像时，DM向VM获取该编码器对应通道的索引缓存时间Tc，然后对该录像数据进行索引恢复过程。

另外，当EC上线时，VM收到EC的注册消息后，检测该EC对应的存储计划状态，如果处于“待恢复”状态，则马上进行录像恢复过程，同时通知EC存储计划暂停，直到下述的所述恢复过程结束后，再通知EC开始存储。

DM在确定需要进行索引恢复时，首先获取对该EC的存储资源的读写权限，具体地，是将EC通道对应的存储资源以读写方式挂载（即在存储设备上将iSCSItarget设置成读写，同时重新通过iSCSI连接存储磁盘）；然后，查询该存储资源的超级块信息，获取当前超级块中索引的结束时间。

例如，对于图2所示的存储格式，其中的超级块数据结构可以参考图6所示，可以获取其中的end_time作为索引的结束时间。

在上述数据结构中，units是静态配置的，也就是说，其值是固定的，具体值与EC对应的存储资源的大小有关。对于end_time，其对应于有索引信息的最后一个I帧组的时间。

步骤402，根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；

首先，根据所述存储资源的一级索引定位所述结束时间对应的数据块；然后，根据定位到的数据块中的二级索引获取所述结束时间对应的I帧组。

具体地，DM在获取到所述结束时间后，通过查询一级索引项中的时间信息找出该结束时间对应的数据块（一级索引项的时间信息为每个数据块中第一个I帧组的时间，这里的查询过程可以用二分法实现）。

例如，对于图2所示的存储格式，其一级索引中的索引描述的数据结构可以参考图7所示。其一级索引中的索引项的数据结构可以参考图8所示。

索引项中包括如下时间信息：year为年，month为月，day为日，hour为小时，minute为分钟，second为秒。将所述结束时间与索引项中的时间信息进行比较，可以确定该结束时间对应的数据块。

在定位到所述结束时间对应的数据块后，就可以从该数据块中的二级索引获取所述结束时间对应的I帧组。例如，对于图2所示的存储格式，其二级索引中的索引描述的数据结构可以参考图9所示；而其二级索引中的索引项的数据结构可以参考图10所示。

在块存储方案中，可以以例如16k作为一个存储单元，且以存储单元作为最小单位存储接收到的数据。为区别于一级索引中的数据块，将二级索引中的存储单元称为二级数据块。

在上述数据结构中，pos表示一个数据块（256M）中最后一个二级数据块（16K）的结束位置，items表示当前写完的二级数据块的索引号；year为年，month为月，day为日，hour为小时，minute为分钟，second为秒；block_offset表示该索引项对应的I帧组的开始位置相对于256M的数据块的开始位置所偏移的二级数据块的数目。

根据二级索引项可以定位到所述结束时间对应的I帧组，从所述I帧组中获取时间戳信息TM_Last。

例如，对于图2所示的存储格式，每个I帧组的数据结构如下：

其中，20字节头的数据结构如下：

可以看出，20字节头中带有时间戳信息。在本发明实施例中，TM_Last是I帧组中起始I帧数据包对应的20字节头中的时间戳信息。

步骤403，从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新；当TM-TM_Last＞Tc，或者，TM-TM_Last≤0时，结束索引恢复过程。

对于后续的I帧组，在索引区中没有这些I帧组的信息，因此根据索引查询不到这些I帧组。由于I帧组数据在存储资源中是连续存储的，因此，在本发明实施例中，通过获取有索引记录的最后一个I帧组的结束位置，并可以根据该结束位置获取后续的没有索引信息的I帧组，具体地，根据该结束位置可以获取下一个I帧组，根据下一个I帧组的结束位置可以获取再下一个I帧组，依此类推，可以获取后续的多个I帧组。之后，根据这些I帧组的信息就可以对索引进行更新，从而能够保证索引数据是完整的。

在本发明实施例中，还设置了索引恢复的结束条件。具体地，EC进行索引数据写入的周期为Tc，那么，即使由于某种原因导致EC离线，对于TM-TM_Last＞Tc的I帧组数据（EC上线后，在没有完成索引恢复时已经开始数据存储的情况下，会出现TM-TM_Last＞Tc的情况），在索引区中会存在对应的索引数据，因此，设置索引恢复的一个结束条件为TM-TM_Last＞Tc；由于对存储资源是重复写入的，即当存储资源的存储空间被写满，会对存储资源进行覆写，因此，设置索引恢复的另一个结束条件为TM-TM_Last≤0。

根据该I帧组的信息对所述存储资源的索引进行更新的具体过程为：

（1）根据该I帧组的大小、位置以及时间戳信息，更新二级索引；

具体地，可以将该I帧组的时间戳对应的时间写入二级索引项的时间字段中，将I帧组的位置和大小（即包括的二级数据块数目）分别写入二级索引项的block_offset和block_num中，并相应更新二级索引描述中的items值和pos值。

（2）如果该I帧组为数据块中的第一个I帧组，还更新一级索引；

具体地，可以将该I帧组的时间戳对应的时间写入一级索引项中，同时更新一级索引描述中的items值为当前写入的数据块的索引号。

（3）更新超级块中索引的结束时间为该I帧组对应的时间戳信息。

进一步，DM在完成索引恢复后，还可以向VM发送消息，VM收到消息后清除对应EC的存储计划的“待恢复”标记，然后，VM检测对应的EC通道是否在线，如果在线，则可以通知其恢复存储。

进一步，DM在完成索引恢复后，还可以将EC故障前预定时长（例如，最后1秒）的录像数据发送给VM，由VM将其与EC的离线告警绑定。

与上述基于块存储的索引恢复方法相对应，本发明实施例还提供一种实现该方法的装置。

图5为本发明实施例的基于块存储的索引恢复装置图，所述索引恢复装置应用于视频监控***中，具体地，所述索引恢复装置可以设置在视频监控服务器例如数据管理服务器DM上，也可以设置在视频编码设备例如网络摄像机IPC或视频编码器EC上。

参照图5，所述索引恢复装置可以包括结束时间获取模块10、结束帧组获取模块20和索引更新模块30。其中：

结束时间获取模块10，用于当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取数据的结束时间。所述索引恢复条件可以为：视频编码设备离线后，所述数据管理服务器的巡检时间间隔到达；或者，视频编码设备离线后，用户手动查询视频编设备对应的存储资源；或者，视频编码设备重新上线。

结束帧组获取模块20，用于根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last。具体地，可以根据所述存储资源的一级索引定位所述结束时间对应的数据块，然后，根据定位到的数据块中的二级索引获取所述结束时间对应的I帧组。

索引更新模块30，用于从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间；当TM-TM_Last＞Tc，或者，TM-TM_Last≤0时，结束索引恢复过程。具体地，可以按照如下方式进行索引更新：根据该I帧组的大小、位置以及时间戳信息，更新二级索引；更新超级块中索引的结束时间为该I帧组对应的时间戳信息；如果该I帧组为数据块中的第一个I帧组，还更新一级索引。

综上所述，根据本发明实施例的技术方案，在视频编码设备离线后，从与该视频编码设备对应的存储资源的超级块中获取索引的结束时间，并从所述存储资源的索引中获取所述结束时间对应的I帧组，根据所述I帧组就能够获取后续的I帧组，并根据获取到的I帧组的信息对所述存储资源的索引进行更新，如此，实现了对索引数据的及时恢复，从而保证了索引数据的完整性，使得客户端可以根据完整的索引数据查看任意时刻的录像数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种基于块存储的索引恢复方法，应用于视频监控***中，其特征在于，所述索引恢复方法包括：

当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取数据的结束时间；

根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；

从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间；当TM-TM_Last＞Tc，或者，TM-TM_Last≤0时，结束索引恢复过程；

其中，所述根据该I帧组的信息对所述存储资源的索引进行更新，包括：

根据该I帧组的大小、位置以及时间戳信息，更新二级索引；

更新超级块中索引的结束时间为该I帧组对应的时间戳信息；

如果该I帧组为数据块中的第一个I帧组，更新一级索引。

2.如权利要求1所述的索引恢复方法，其特征在于，所述索引恢复条件为：

视频编码设备离线后，视频监控服务器的巡检时间间隔到达；或者

视频编码设备离线后，用户手动查询视频编码设备对应的存储资源；或者

视频编码设备重新上线。

3.如权利要求1所述的索引恢复方法，其特征在于，所述根据所述存储资源的索引获取所述结束时间对应的I帧组，包括：

根据所述存储资源的一级索引定位所述结束时间对应的数据块；

根据定位到的数据块中的二级索引获取所述结束时间对应的I帧组。

4.一种基于块存储的索引恢复装置，应用于视频监控***中，其特征在于，所述索引恢复装置包括：

结束时间获取模块，用于当满足索引恢复条件时，从待进行索引恢复的视频编码设备对应的存储资源的超级块中获取索引的结束时间；

结束帧组获取模块，用于根据所述存储资源的索引获取所述结束时间对应的I帧组，并从所述I帧组中获取时间戳信息TM_Last；

索引更新模块，用于从所述存储资源中获取所述I帧组的后续I帧组，每获取一个I帧组，从该I帧组中获取时间戳信息TM，当0＜TM-TM_Last≤Tc时，根据该I帧组的信息对所述存储资源的索引进行更新，其中，Tc为所述视频编码设备对应的索引缓存时间；当TM-TM_Last＞Tc，或者，TM-TM_Last≤0时，结束索引恢复过程；

其中，所述索引更新模块进一步用于：

根据该I帧组的大小、位置以及时间戳信息，更新二级索引；

更新超级块中索引的结束时间为该I帧组对应的时间戳信息；

如果该I帧组为数据块中的第一个I帧组，更新一级索引。

5.如权利要求4所述的索引恢复装置，其特征在于，所述索引恢复条件为：

视频编码设备离线后，视频监控服务器的巡检时间间隔到达；或者

视频编码设备离线后，用户手动查询视频编码设备对应的存储资源；或者

视频编码设备重新上线。

6.如权利要求4所述的索引恢复装置，其特征在于，所述结束帧组获取模块进一步用于：

根据所述存储资源的一级索引定位所述结束时间对应的数据块；

根据定位到的数据块中的二级索引获取所述结束时间对应的I帧组。