CN117150059B - 一种基于nvr设备的碎片化图像数据存储方法 - Google Patents

Abstract

本发明公开了一种基于NVR设备的碎片化图像数据存储方法，包括以下步骤：S1、将待存储的碎片化图像按宽度大小进行排序，形成队列Q；S2、将队列Q中的碎片化图像按照宽度从大到小的顺序，以竖列拼接的形式依次放入空白图像框架；当竖列无法容纳Q中的图像时，开启新的竖列，将Q中剩余碎片化图像按宽度从大到小的顺序以竖列拼接的方式放入新的竖列；S3、当空白图像框架中存在一个及以上竖列，且空白图像框架无法再容纳Q中的碎片化图像时，开启一个新的空白图像框架，继续放入Q中的碎片化图像，直到Q中的所有碎片化图像放入空白图像框架，即完成Q中碎片化图像的存储。

Description

一种基于NVR设备的碎片化图像数据存储方法

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于NVR设备的碎片化图像数据存储方法。

背景技术

在目前的视频监控工作中，主要存储方法是采用网络硬盘录像机进行大数据的存储，利用大容量硬盘将视频流按时间顺序连续的把视频流存储在磁盘的磁轨上。磁轨可以理解成一条记录数据的磁带，其特点是时间上连续，物理存储空间连续，适合于对视频的存储。随着AI深度神经网络算法越来越多地用于视频监控场景的大规模视觉分析，原有的简单储存的视频，通过神经网络算法处理后，已经提取出了画面当中的有效信息，以人脸抓拍图像为例，一个人在经过视频画面中经过时，会停留1～3秒的时间，其人脸画面比例在画面中所占面积比例约为1/20左右，以每秒25帧率的抓拍，会产生约25*3 = 75张人脸视频，以及用于判断显示位置的关系的场景总体画面截图一张，整个过程产生了非常多的碎片化数据。

随着AI深度神经网络算法越来越多地用于视频监控场景的大规模视觉分析，如果依旧使用传统的存储方法和设备来表示和储存图像数据，在储存大量基本一致的数据时会浪费大量的存储空间，对于资源的消耗不可计量，存储此类碎片化信息，需专用的图片存储装置，如以x86架构为基础的硬盘矩阵，成本非常高。更重要的，在对这些碎片化数据进行检索时，需要二次处理此类图片序列，会导致许多问题出现，例如由于图片的大小不统一、数据随机分布在硬盘当中导致无法顺序存储，在循环删除存取的过程当中，磁盘的磁道碎片会快速增长,导致寻址时间增加、工作成本增加，反复寻址的过程更是会导致硬盘物理损坏。

发明内容

本发明提供了一种基于NVR设备的碎片化图像数据存储方法，用以解决AI深度神经网络算法用于视频监控场景的大规模视觉分析后，碎片化数据存储成本大及检索难度大的技术问题。

为实现上述目的，本发明提供了一种基于NVR设备的碎片化图像数据存储方法，包括以下步骤：

S1、将待存储的碎片化图像按宽度大小进行排序，形成队列Q。

S2、将队列Q中的碎片化图像按照宽度从大到小的顺序，以竖列拼接的形式依次放入空白图像框架；当竖列无法容纳Q中的图像时，开启新的竖列，将Q中剩余碎片化图像按宽度从大到小的顺序以竖列拼接的方式放入新的竖列。

S3、当空白图像框架中存在一个及以上竖列，且空白图像框架无法再容纳Q中的碎片化图像时，开启一个新的空白图像框架，继续放入Q中的碎片化图像，直到Q中的所有碎片化图像放入空白图像框架，即完成Q中碎片化图像的存储。

优选的，在S2中，以竖列形式将Q中的碎片化图像依次放入空白图像框架时，第一个竖列的初始起始位置为空白图像框架的左上角、左下角、右上角和右下角中任意一角，初始起始位置即放入第一张碎片化图像的位置。

在开启新的竖列时，新的竖列的起始位置为上一个竖列中第一张碎片化图像的顶角，顶角靠近空白图像框架的空白区域且与位于空白图像框架边缘线上；空白图像框架的空白区域为空白图像框架中未放置碎片化图像的区域。

优选的，在S2中，以竖列拼接的形式将碎片化图像依次放入空白图像框架时，在同一个竖列中，当竖列中放入的碎片化图像高度大于空白图像框架的可容纳高度时，将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列。

优选的，将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列时，将碎片化图像以横排拼接的方式放入竖列中的子横排，当竖列中的子横排无法容纳Q中的图像时，在同一竖列中开启新的子横排，将Q中剩余碎片化图像按宽度从小到大的顺序以横排拼接的方式放入新的子横排。

当放入的碎片化图像高度大于空白图像框架的可容纳高度时，跳过本次碎片化图像，继续放入下一张碎片化图像。

优选的，在存储后续的碎片化图像队列Q1时，将Q1中的碎片化图像放入存储Q中碎片化图像的空白图像框架的空隙进行存储，若存储Q中碎片化图像的空白图像框架的空隙无法再存入Q1中的碎片化图像，则开启新的空白图像框架放入Q1中的碎片化图像进行存储，后续的碎片化图像队列均采取先插空隙再开新空白图像框架的方式进行存储。

优选的，在存储后续碎片化图像队列Q1时，将Q1中的碎片化图像按宽度大小进行排序，按照宽度从小到大的顺序，将Q1中的图像放入存储Q的空白图像框架的空隙。

当存储Q的空白图像框架空隙无法再放入Q1中的图像时，开启新的空白图像框架，将Q1中的碎片化图像按照S1至S3的步骤进行存储。

优选的，每个碎片化图像均由图像区域和信息区域组成，信息区域位于图像区域的上端，并与图像区域宽度相同；信息区域用于存储图像区域的序号、宽、高、类型和时间戳信息。

优选的，信息区域采取色块式的存储方式进行存储，色块为2*2大小的像素体；其中用于标注开始和结束的信息区域色块为黑色块和白色块；中间用于存储目标信息的存储色块为红色块和绿色块；红色块和绿色块中储存的目标信息包括序号、宽、高、类型和时间戳信息。

优选的，在对存储的碎片化图像数据进行搜索时，基于NVR可以读取到帧序列当中的时间戳机制，搜索碎片化图像数据对应的索引时间跳转到对应的扇区，再搜索I帧的包头，判断是否出现I帧。

若图像数据中有I帧出现，即可判断为有目标出现，对连续I帧解码即可获取到目标的信息。

本发明具有以下有益效果：

本发明的基于NVR设备的碎片化图像数据存储方法，基于NVR设备，图像数据的存储空间相对于原始数据已经巨幅缩小；本发明将AI识别的碎片化图像采用多图拼接的方式同步保存到空白图像框架中，使得本发明能够兼顾对存储空间的合理使用；通过将碎片化图像按照从大到小的顺序进行竖列拼接放入空白图像框架，使得碎片化图片在空白图像框架中能够高效地利用空间进行存储；通过将碎片化图像存储进空白图像框架，并对后续图像数据进行插空存储的方式，使得本发明的方法对存储空间有较高的利用率；在使用本发明的方法对碎片化图像数据进行储存后，可以搜索碎片化图像数据对应的索引时间跳转到对应的扇区，再搜索I帧的包头，无需解码，直接判断是否出现I帧；根据I帧即可判断目标是否出现，对I帧进行解码即可获得目标信息；本方法在现有的NVR的传统技术实现了数据的连续存储和检索，在节约资源方面有较高的可用性，解决了碎片化数据存储成本大及检索难度大的问题。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的碎片化图像存储示意图。

图2是本发明优选实施例的开启新的空白图像框架存储碎片化图像示意图。

图3是本发明优选实施例的存储后续新的碎片化图像队列时插空存储示意图。

图4是本发明优选实施例的碎片化图像组成部分示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

数字化视频流采集技术，可以看做是对场景的连续拍照并记录的一种模数转化技术，由于图像本身的数据量巨大，需要较大的磁盘空间进行存储，H.264/H.265图像压缩技术均是以场景细节变化为核心思想的图像数据压缩技术，在视频流连续采集过程，很多帧与前后帧在相同场景下均是没有变化的，压缩技术将整个视场内的图像分成了M*N个宏块，在每个宏块的位置判断当前帧与前帧是否有图像上的内容变化，如光影变化，运动变化，纹理变化等，根据变化的内容赋予宏块对应的信息，如场景未发生变化，则该信息的数据量极小，即便是某一部分发生了变化，其剧烈的变化的数据也仅限于该宏块所处的区域，信息数据量最大也为1/(M*N)*整个场景，再配合辅助的运动侦测，ROI增强等附加的场景预测方式，将视频流的所需的存储空间相对于原始数据成百倍的缩小。现有的NVR（Network VideoRecorder，网络视频录像机）存储技术也是建立在H.264/H.265压缩技术方式上的。

在视频存储过程中有I,P,SEI帧的概念，I帧为关键帧，可以理解为对整个场景进行编码的视频帧，数据量较大；P帧为参考帧，即参考前帧的场景与之相应的变化，数据量较小；SEI帧为用户帧，可以放置一些二进制数据，对视频画面没有影响。常见的视频流存储为IPPPPPPPPPPPPIPPPPPPPPPP，即每个I帧后均为P帧，P以前一帧进行参考，通过连续解码后可以还原图像。

在AI采集设备中，显然不需要这样连续的视频流存储方式，因为经过AI处理后的视频数据只会保留场景数据，需要存储的数据包括两类:场景图片，连续的目标图片。编码器采集一张没有人脸的图像做为I帧，在后续参考帧中，由AI算法对场景中的目标进行连续识别，当没有目标出现时，此时控制编码器中的宏块信息M*N部分均至无变话状态（PFrame_Skip），此时产生的码流可以理解为是完全静止的画面，连续存储时其数据量也非常小。

AI算法检测到目标时，假设目标存在时间为3秒，可采集到75个面积较小的图像，将这一系列的小图片以一定方式构成一幅新的I帧，对I帧进行编码后，传输给NVR进行存储，此时的帧序列如下：IPPPPPP....I；因为P帧都是用与之前相同的内容，如果有新的图像需要存储，就必须对画面进行完整编码，新的完整编码则为I帧，解码器在解码信号的时候，遇到I帧就一定是新的内容出现，I帧即表示有AI识别数据出现。

由于目标图片一般由大小不一的小图片构成，但其大小构不成一张完整的图像，参见图1，本发明优选实施例中，采取拼接的方式对图片就行处理，即尽可能的在较少的整图当中放置所有的目标图片。本发明优选实施例中，一张空白图像框架（即一张整图）即对应一个I帧。

本发明优选实施例中，每一帧图像都会有一个时间戳代表着编码的时间。

本发明优选实施例中，当一个目标的所有碎片化图像没有完全填满一个空白图像框架时，不会触发I帧编码，等到下一个目标出现产生碎片化图像并填满空白图像框架时，才触发I帧编码，此刻可以搜索到该画面。

本发明优选实施例中，触发I帧编码的方式包括两种情况，第一种情况是整个画面都放置满了，无法再放置新的目标画面，此时触发I帧编码；第二种情况是超过预设的时间阈值，不管画面是否填满，触发I帧编码。

参见图1，本发明优选实施例中，提供了一种基于NVR设备的碎片化图像数据存储方法，包括以下步骤：

S1、将待存储的碎片化图像按宽度大小进行排序，形成队列Q；

S2、将队列Q中的碎片化图像按照宽度从大到小的顺序，以竖列拼接的形式依次放入空白图像框架；当竖列无法容纳Q中的图像时，开启新的竖列，将Q中剩余碎片化图像按宽度从大到小的顺序以竖列拼接的方式放入新的竖列；

在S2中，以竖列形式将Q中的碎片化图像依次放入空白图像框架时，第一个竖列的初始起始位置为空白图像框架的左上角、左下角、右上角和右下角中任意一角，初始起始位置即放入第一张碎片化图像的位置；

在开启新的竖列时，新的竖列的起始位置为上一个竖列中第一张碎片化图像的顶角，顶角靠近空白图像框架的空白区域且与位于空白图像框架边缘线上；空白图像框架的空白区域为空白图像框架中未放置碎片化图像的区域。

在S2中，以竖列拼接的形式将碎片化图像依次放入空白图像框架时，在同一个竖列中，当竖列中放入的碎片化图像高度大于空白图像框架的可容纳高度时，将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列。

将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列时，将碎片化图像以横排拼接的方式放入竖列中的子横排，当竖列中的子横排无法容纳Q中的图像时，在同一竖列中开启新的子横排，将Q中剩余碎片化图像按宽度从小到大的顺序以横排拼接的方式放入新的子横排；

当放入的碎片化图像高度大于空白图像框架的可容纳高度时，跳过本次碎片化图像，继续放入下一张碎片化图像。

本发明优选实施例中，在同一个竖列中，当竖列中放入的碎片化图像高度大于空白图像框架的可容纳高度时，将Q中剩余碎片化图像按宽度从小到大的顺序以竖列中子横排的方式继续放入竖列，使得本方法能够有效地节约和利用碎片化图像的存储空间，将碎片化图像空隙进行了最大化的使用。

S3、参见图2，当空白图像框架中存在一个及以上竖列，且空白图像框架无法再容纳Q中的碎片化图像时，开启一个新的空白图像框架，继续放入Q中的碎片化图像，直到Q中的所有碎片化图像放入空白图像框架，即完成Q中碎片化图像的存储。

在本发明优选实施例的图1至图3中，q表示来自队列Q中的碎片化图像；在图2和图3中，A表示空白图像框架；B表示新的空白图像框架。

参见图3，在存储后续的碎片化图像队列Q1时，将Q1中的碎片化图像放入存储Q中碎片化图像的空白图像框架的空隙进行存储，若存储Q中碎片化图像的空白图像框架的空隙无法再存入Q1中的碎片化图像，则开启新的空白图像框架放入Q1中的碎片化图像进行存储，后续的碎片化图像队列均采取先插空隙再开新空白图像框架的方式进行存储。图3中标注q1的碎片化图像表示这些碎片化图像是来自后续的碎片化图像队列Q1的碎片化图像。

在存储后续碎片化图像队列Q1时，将Q1中的碎片化图像按宽度大小进行排序，按照宽度从小到大的顺序，将Q1中的图像放入存储Q的空白图像框架的空隙；

当存储Q的空白图像框架空隙无法再放入Q1中的图像时，开启新的空白图像框架，将Q1中的碎片化图像按照S1至S3的步骤进行存储。

本发明优选实施例中，在存储后续的碎片化图像时，将后续的碎片化图像插进了已经存储过碎片化图像的空白图像框架的空隙，进一步地提升了本方法对于碎片化图像存储空间的利用率，使得碎片化图像存储效率最大化。

参见图4，每个碎片化图像均由图像区域和信息区域组成，图4中X表示碎片化图像的信息区域，Y表示碎片化图像的图像区域。信息区域位于图像区域的上端，并与图像区域宽度相同；信息区域用于存储图像区域的序号、宽、高、类型和时间戳信息。

本发明优选实施例中，由于每个碎片化图像均包含信息区域，使得在检索使用本方法存储的碎片化图像时，可以较为方便的检索，直接检索信息区域，即可找到对应的数据。

信息区域采取色块式的存储方式进行存储，色块为2*2大小的像素体；其中用于标注开始和结束的信息区域色块为黑色块和白色块；中间用于存储目标信息的存储色块为红色块和绿色块；红色块和绿色块中储存的目标信息包括序号、宽、高、类型和时间戳数据。

在对存储的碎片化图像数据进行搜索时，基于NVR可以读取到帧序列当中的时间戳机制，搜索碎片化图像数据对应的索引时间跳转到对应的扇区，再搜索I帧的包头，判断是否出现I帧；

在标准的264码流中搜索I帧的包头，即可获取到目标的位置，若图像数据中有I帧出现，即可判断为有目标出现，对连续I帧解码即可获取到目标的信息，进而获得目标的数据截图和包含目标的场景图。

综上可知，本发明优选实施例的基于NVR设备的碎片化图像数据存储方法，基于NVR设备，图像数据的存储空间相对于原始数据已经巨幅缩小；本发明将AI识别的碎片化图像采用多图拼接的方式同步保存到空白图像框架中，使得本发明能够兼顾对存储空间的合理使用；通过将碎片化图像按照从大到小的顺序进行竖列拼接放入空白图像框架，使得碎片化图片在空白图像框架中能够高效地利用空间进行存储；通过将碎片化图像存储进空白图像框架，并对后续图像数据进行插空存储的方式，使得本发明的方法对存储空间有较高的利用率；在使用本发明的方法对碎片化图像数据进行储存后，可以搜索碎片化图像数据对应的索引时间跳转到对应的扇区，再搜索I帧的包头，无需解码，直接判断是否出现I帧；根据I帧即可判断目标是否出现，对I帧进行解码即可获得目标信息；本方法在现有的NVR的传统技术实现了数据的连续存储和检索，在节约资源方面有较高的可用性，解决了碎片化数据存储成本大及检索难度大的问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于NVR设备的碎片化图像数据存储方法，其特征在于，包括以下步骤：

S1、将待存储的碎片化图像按宽度大小进行排序，形成队列Q；

S2、将所述队列Q中的碎片化图像按照宽度从大到小的顺序，以竖列拼接的形式依次放入空白图像框架；当竖列无法容纳Q中的图像时，开启新的竖列，将Q中剩余碎片化图像按宽度从大到小的顺序以竖列拼接的方式放入新的竖列；

S3、当所述空白图像框架中存在一个及以上竖列，且所述空白图像框架无法再容纳Q中的碎片化图像时，开启一个新的空白图像框架，继续放入Q中的碎片化图像，直到Q中的所有碎片化图像放入空白图像框架，即完成Q中碎片化图像的存储；

每个碎片化图像均由图像区域和信息区域组成，所述信息区域位于所述图像区域的上端，并与所述图像区域宽度相同；所述信息区域用于存储所述图像区域的序号、宽、高、类型和时间戳信息。

2.根据权利要求1所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，在S2中，以竖列形式将Q中的碎片化图像依次放入空白图像框架时，第一个竖列的初始起始位置为所述空白图像框架的左上角、左下角、右上角和右下角中任意一角，所述初始起始位置即放入第一张碎片化图像的位置；

在开启新的竖列时，所述新的竖列的起始位置为上一个竖列中第一张碎片化图像的顶角，所述顶角靠近所述空白图像框架的空白区域且与位于所述空白图像框架边缘线上；所述空白图像框架的空白区域为空白图像框架中未放置碎片化图像的区域。

3.根据权利要求2所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，在S2中，以竖列拼接的形式将碎片化图像依次放入空白图像框架时，在同一个竖列中，当竖列中放入的碎片化图像高度大于所述空白图像框架的可容纳高度时，将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列。

4.根据权利要求3所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，将Q中剩余碎片化图像按宽度从小到大的顺序继续放入竖列时，将碎片化图像以横排拼接的方式放入竖列中的子横排，当竖列中的子横排无法容纳Q中的图像时，在同一竖列中开启新的子横排，将Q中剩余碎片化图像按宽度从小到大的顺序以横排拼接的方式放入新的子横排；

当放入的碎片化图像高度大于所述空白图像框架的可容纳高度时，跳过本次碎片化图像，继续放入下一张碎片化图像。

5.根据权利要求4所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，在存储后续的碎片化图像队列Q1时，将Q1中的碎片化图像放入存储Q中碎片化图像的空白图像框架的空隙进行存储，若存储Q中碎片化图像的空白图像框架的空隙无法再存入Q1中的碎片化图像，则开启新的空白图像框架放入Q1中的碎片化图像进行存储，后续的碎片化图像队列均采取先插空隙再开新空白图像框架的方式进行存储。

6.根据权利要求5所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，在存储后续碎片化图像队列Q1时，将Q1中的碎片化图像按宽度大小进行排序，按照宽度从小到大的顺序，将Q1中的图像放入存储Q的空白图像框架的空隙；

当存储Q的空白图像框架空隙无法再放入Q1中的图像时，开启新的空白图像框架，将Q1中的碎片化图像按照S1至S3的步骤进行存储。

7.根据权利要求1所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，所述信息区域采取色块式的存储方式进行存储，色块为2*2大小的像素体；其中用于标注开始和结束的信息区域色块为黑色块和白色块；中间用于存储目标信息的存储色块为红色块和绿色块；所述红色块和绿色块中储存的目标信息包括序号、宽、高、类型和时间戳信息。

8.根据权利要求7所述的基于NVR设备的碎片化图像数据存储方法，其特征在于，在对存储的碎片化图像数据进行搜索时，基于NVR可以读取到帧序列当中的时间戳机制，搜索碎片化图像数据对应的索引时间跳转到对应的扇区，再搜索I帧的包头，判断是否出现I帧；

若图像数据中有I帧出现，即可判断为有目标出现，对连续I帧解码即可获取到目标的信息。