CN103761056A - 一种视频监控应用中流式数据的存储方法 - Google Patents
一种视频监控应用中流式数据的存储方法 Download PDFInfo
- Publication number
- CN103761056A CN103761056A CN201410022146.6A CN201410022146A CN103761056A CN 103761056 A CN103761056 A CN 103761056A CN 201410022146 A CN201410022146 A CN 201410022146A CN 103761056 A CN103761056 A CN 103761056A
- Authority
- CN
- China
- Prior art keywords
- video
- data
- frame
- recording
- raw device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明提供一种视频监控应用中流式数据的存储方法，以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件***进行录像数据的文件级管理，在每帧数据的开始、结束位置记录此帧数据的长度，由于一秒内可能包含多帧数据，在数据库中记录每一秒第一帧数据的偏移位置，后续帧数据可以根据磁盘上记录的帧长度依次进行计算读取。该一种视频监控应用中流式数据的存储方法和现有技术相比，避免了基于文件***存储的碎片化问题，且支持录像数据的秒级检索；实用性强，易于推广。
Description
技术领域
本发明涉及计算机数据存储技术领域，具体的说是一种视频监控应用中流式数据的存储方法。
背景技术
在视频监控领域，通常采用文件***的方式进行录像文件的存储，但是在使用传统文件***时，存在以下缺点：
1）视频文件通常为几百兆的大文件件，传统文件***为兼顾小文件读写的应用，通常对大文件不能提供最好的性能支持。
2）目前的视频监控应用中，前端通常具有几十、上百路摄像头，在后端每路摄像头对应一个视频文件，传统文件***在多路并发写的情况下效率较低。
3）在文件***写满时，需要删除老的录像文件，传统文件***在边删除边写入的情况下效率较低，且造成视频文件出现大量的碎片。
4）基于传统的文件***进行存储，不便于对视频数据实现秒级检索。
基于此，现提供一种以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件***进行录像数据的文件级管理，避免了文件***存储的碎片化问题，且支持录像数据的秒级检索的流式数据存储方法。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种视频监控应用中流式数据的存储方法。
本发明的技术方案是按以下方式实现的，该一种视频监控应用中流式数据的存储方法，其具体存储过程为：
1)在进行录像存储之前，首先进行裸设备存储池的初始化，将裸设备逐个添加到存储池中，构成存储池的线性存储空间；
2)将每个裸设备按固定大小划分为一个个的分配块，在进行录像时以一个分配块为单位进行存储空间的申请和管理；
3）在摄像头进行写入时，首先对当前正在使用的裸设备进行查询，获取当前裸设备上的下一个空闲块，并将此摄像头ID、裸设备路径、空闲块的编号作为索引信息存入数据库中；
4）在摄像头进行录像时，视频数据以帧为单位进行接收，首先将每路的视频数据写入缓存，待缓存填充完毕后，将多帧数据批量异步写入磁盘；
5）以每一小时为一条记录进行数据库的更新，记录中记载摄像头ID、录像的开始时间、结束时间、录像数据所在的分配块编号、每一秒的第一帧数据在分配块上的位置偏移；
6）在存储池写满之后，在数据库中根据摄像头ID检索其最早的录像数据所在的裸设备编号及分配块编号，然后根据查询的分配块进行录像的循环写，并将覆盖掉的录像数据所对应的数据库索引信息进行清除。
所述步骤2）中的分配块的大小在256MB～1GB中进行指定。
在步骤4）中，根据存储设备的内存配置情况，每路视频的缓存大小设置为4M～16MB。
所述步骤4）中为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录此帧数据的长度，根据帧长完成后续帧的连续读取。
本发明与现有技术相比所产生的有益效果是：
本发明的一种视频监控应用中流式数据的存储方法以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件***进行录像数据的文件级管理，避免了基于文件***存储的碎片化问题，且支持录像数据的秒级检索；在存储空间已满需要继续录像时，不需要传统文件***的删除操作，直接裸设备上进行最早录像数据的覆盖即可，保证了覆盖写时的IO稳定性；解决了基于传统的文件***方式进行录像数据管理存在的缺点，提高了录像的效率和稳定性，实用性强，易于推广。
附图说明
附图1为本发明的录像数据帧在磁盘上的存储格式示意图。
具体实施方式
下面结合附图对本发明的一种视频监控应用中流式数据的存储方法作以下详细说明。
如附图1所示，一种面向对象的视频监控应用中流式数据的存储方法, 采用面向对象的方式开发自动化测试脚本。编写测试脚本时，首先明确所有的自动化控制对象，然后以这些自动化控制对象为模板制作类库，之后就可以对这些类库进行初始化，获得实例化的自动化控制对象，至此，自动化测试脚本的基础便搭建完成，而顶层执行脚本的编写也就变得非常简单，按测试流程罗列这些自动化控制对象的方法即可。其具体存储过程为：
1)在进行录像存储之前，首先进行裸设备存储池的初始化，将裸设备逐个添加到存储池中，构成存储池的线性存储空间。
2)将每个裸设备按固定大小划分为一个个的分配块，分配块的大小可以按256MB～1GB进行指定。在进行录像时以一个分配块为单位进行存储空间的申请和管理，相对传统文件***以4KB大小的数据块管理减少了碎片数量和空间申请的次数。
3）在摄像头进行写入时，首先对当前正在使用的裸设备进行查询，获取当前裸设备上的下一个空闲块，并将此摄像头ID、裸设备路径、空闲块的编号作为索引信息存入数据库中。
4）在摄像头进行录像时，视频数据以帧为单位进行接收，通常一帧视频数据大小为1K～2KB,为提高写入效率，首先将每路的视频数据写入缓存，根据存储设备的内存配置情况，每路视频的缓存设置为4MB～16MB的大小，待缓存填充完毕后，将多帧数据批量异步写入磁盘。
为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录了此帧数据的长度，根据帧长可以完成后续帧的连续读取。
5）为便于对某一时段的录像进行秒级检索，以每一小时为一条记录进行数据库的更新，
记录中描述了摄像头ID、录像的开始时间、结束时间、录像数据所在的分配块编号、每一秒的第一帧数据在分配块上的位置偏移。由于一秒内可能包含多帧数据，记录每一秒第一帧数据的偏移位置，可以完成录像的秒级检索，后续帧数据可以根据帧长度进行计算读取。
6）在存储池写满之后，为继续写入新的录像数据，需要对最早的录像数据进行覆盖，首先在数据库中根据摄像头ID检索其最早的录像数据所在的裸设备编号及分配块编号，然后根据查询的分配块进行录像的循环写，并将覆盖掉的录像数据所对应的数据库索引信息进行清除。
由于视频数据在存储时并不依赖于文件***，只是以视频数据帧为单位进行磁盘裸写，录像的检索借助于数据库完成，所以避免了传统的文件***上录像文件删除操作，降低了磁盘IO，保证了录像进行覆盖写时的稳定性。
本发明以视频数据帧为单位在磁盘裸设备上进行读写，不再依赖于传统的文件***进行录像数据的文件级管理，避免了基于文件***存储的碎片化问题，且在存储空间已满需要继续录像时，不需要传统文件***的删除操作，直接裸设备上进行最早录像数据的覆盖即可，保证了覆盖写时的IO稳定性。
以上所述仅为本发明的实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种视频监控应用中流式数据的存储方法，其特征在于其具体存储过程为：
1)在进行录像存储之前，首先进行裸设备存储池的初始化，将裸设备逐个添加到存储池中，构成存储池的线性存储空间；
2)将每个裸设备按固定大小划分为一个个的分配块，在进行录像时以一个分配块为单位进行存储空间的申请和管理；
3）在摄像头进行写入时，首先对当前正在使用的裸设备进行查询，获取当前裸设备上的下一个空闲块，并将此摄像头ID、裸设备路径、空闲块的编号作为索引信息存入数据库中；
4）在摄像头进行录像时，视频数据以帧为单位进行接收，首先将每路的视频数据写入缓存，待缓存填充完毕后，将多帧数据批量异步写入磁盘；
5）以每一小时为一条记录进行数据库的更新，记录中记载摄像头ID、录像的开始时间、结束时间、录像数据所在的分配块编号、每一秒的第一帧数据在分配块上的位置偏移；
6）在存储池写满之后，在数据库中根据摄像头ID检索其最早的录像数据所在的裸设备编号及分配块编号，然后根据查询的分配块进行录像的循环写，并将覆盖掉的录像数据所对应的数据库索引信息进行清除。
2.根据权利要求1所述的一种视频监控应用中流式数据的存储方法，其特征在于：所述步骤2）中的分配块的大小在256MB～1GB中进行指定。
3.根据权利要求1或2所述的一种视频监控应用中流式数据的存储方法，其特征在于：在步骤4）中，根据存储设备的内存配置情况，每路视频的缓存大小设置为4M～16MB。
4.根据权利要求3所述的一种视频监控应用中流式数据的存储方法，其特征在于：所述步骤4）中为便于在进行录像下载和播放时进行帧边界的划分，在每一帧数据的开始结束位置记录此帧数据的长度，根据帧长完成后续帧的连续读取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410022146.6A CN103761056A (zh) | 2014-01-17 | 2014-01-17 | 一种视频监控应用中流式数据的存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410022146.6A CN103761056A (zh) | 2014-01-17 | 2014-01-17 | 一种视频监控应用中流式数据的存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103761056A true CN103761056A (zh) | 2014-04-30 |
Family
ID=50528301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410022146.6A Pending CN103761056A (zh) | 2014-01-17 | 2014-01-17 | 一种视频监控应用中流式数据的存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103761056A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104159058A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 一种多路媒体流同时录像的高效方法 |
| CN104469234A (zh) * | 2014-12-05 | 2015-03-25 | 浪潮集团有限公司 | 一种数字视频数据的硬盘存储方法 |
| CN105100716A (zh) * | 2015-07-23 | 2015-11-25 | 浙江立元通信技术股份有限公司 | 一种用于网络视频监控的安全存储单元及其*** |
| CN106055663A (zh) * | 2016-06-03 | 2016-10-26 | 广东工业大学 | 一种基于双机热备份的视频存储方法 |
| CN106227583A (zh) * | 2016-07-18 | 2016-12-14 | 青岛科信安全技术有限公司 | 一种多线程视频数据实时处理方法和装置 |
| WO2017015891A1 (zh) * | 2015-07-29 | 2017-02-02 | 深圳市锐明技术股份有限公司 | 一种监控数据的写入方法及装置 |
| CN106504242A (zh) * | 2016-10-25 | 2017-03-15 | Tcl集团股份有限公司 | 目标检测方法及*** |
| CN106951183A (zh) * | 2017-02-27 | 2017-07-14 | 南京杰迈视讯科技有限公司 | 一种高效可靠的网络摄像机数据存储方法 |
| CN108763465A (zh) * | 2018-05-25 | 2018-11-06 | 广州钱柜软件科技有限公司 | 一种基于大数据的视频存储分配方法 |
| CN109542842A (zh) * | 2018-11-02 | 2019-03-29 | 安徽创世科技股份有限公司 | 一种兼容fat32文件***的视频顺序存储和查询方法及其装置 |
| CN110457541A (zh) * | 2019-06-28 | 2019-11-15 | 卓尔智联(武汉)研究院有限公司 | 数据的处理方法、服务平台、终端设备及存储介质 |
| CN111726584A (zh) * | 2020-06-24 | 2020-09-29 | 陈侠 | 视频监控*** |
| WO2020228128A1 (zh) * | 2019-05-16 | 2020-11-19 | 罗普特科技集团股份有限公司 | 一种用于存储流媒体数据的方法、装置、存储介质 |
| CN112380165A (zh) * | 2020-11-09 | 2021-02-19 | 北京电子工程总体研究所 | 一种检索记录数据文件的方法 |
| CN113703667A (zh) * | 2021-07-14 | 2021-11-26 | 深圳市有为信息技术发展有限公司 | 实时存储数据的文件***处理方法、装置、车载终端及商用车 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020114610A1 (en) * | 1999-11-05 | 2002-08-22 | Fujitsu Limited | Audio-video stream data recording, replaying, and editing system |
| CN101008919A (zh) * | 2007-01-31 | 2007-08-01 | 浙江大学 | 基于裸设备的音视频数据存取方法和装置 |
| CN102096698A (zh) * | 2010-12-14 | 2011-06-15 | 青岛海信网络科技股份有限公司 | 一种视频数据存储格式、存储方法及检索方法 |
-
2014
- 2014-01-17 CN CN201410022146.6A patent/CN103761056A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020114610A1 (en) * | 1999-11-05 | 2002-08-22 | Fujitsu Limited | Audio-video stream data recording, replaying, and editing system |
| CN101008919A (zh) * | 2007-01-31 | 2007-08-01 | 浙江大学 | 基于裸设备的音视频数据存取方法和装置 |
| CN102096698A (zh) * | 2010-12-14 | 2011-06-15 | 青岛海信网络科技股份有限公司 | 一种视频数据存储格式、存储方法及检索方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104159058A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 一种多路媒体流同时录像的高效方法 |
| CN104469234A (zh) * | 2014-12-05 | 2015-03-25 | 浪潮集团有限公司 | 一种数字视频数据的硬盘存储方法 |
| CN105100716B (zh) * | 2015-07-23 | 2018-09-18 | 浙江立元通信技术股份有限公司 | 一种用于网络视频监控的安全存储单元及其*** |
| CN105100716A (zh) * | 2015-07-23 | 2015-11-25 | 浙江立元通信技术股份有限公司 | 一种用于网络视频监控的安全存储单元及其*** |
| WO2017015891A1 (zh) * | 2015-07-29 | 2017-02-02 | 深圳市锐明技术股份有限公司 | 一种监控数据的写入方法及装置 |
| CN106055663A (zh) * | 2016-06-03 | 2016-10-26 | 广东工业大学 | 一种基于双机热备份的视频存储方法 |
| CN106055663B (zh) * | 2016-06-03 | 2019-07-02 | 广东工业大学 | 一种基于双机热备份的视频存储方法 |
| CN106227583A (zh) * | 2016-07-18 | 2016-12-14 | 青岛科信安全技术有限公司 | 一种多线程视频数据实时处理方法和装置 |
| CN106227583B (zh) * | 2016-07-18 | 2019-08-27 | 青岛科信安全技术有限公司 | 一种多线程视频数据实时处理方法和装置 |
| CN106504242A (zh) * | 2016-10-25 | 2017-03-15 | Tcl集团股份有限公司 | 目标检测方法及*** |
| CN106951183A (zh) * | 2017-02-27 | 2017-07-14 | 南京杰迈视讯科技有限公司 | 一种高效可靠的网络摄像机数据存储方法 |
| CN108763465A (zh) * | 2018-05-25 | 2018-11-06 | 广州钱柜软件科技有限公司 | 一种基于大数据的视频存储分配方法 |
| CN109542842A (zh) * | 2018-11-02 | 2019-03-29 | 安徽创世科技股份有限公司 | 一种兼容fat32文件***的视频顺序存储和查询方法及其装置 |
| CN109542842B (zh) * | 2018-11-02 | 2022-07-26 | 安徽创世科技股份有限公司 | 一种兼容fat32文件***的视频顺序存储和查询方法及其装置 |
| WO2020228128A1 (zh) * | 2019-05-16 | 2020-11-19 | 罗普特科技集团股份有限公司 | 一种用于存储流媒体数据的方法、装置、存储介质 |
| CN110457541A (zh) * | 2019-06-28 | 2019-11-15 | 卓尔智联(武汉)研究院有限公司 | 数据的处理方法、服务平台、终端设备及存储介质 |
| CN111726584A (zh) * | 2020-06-24 | 2020-09-29 | 陈侠 | 视频监控*** |
| CN112380165A (zh) * | 2020-11-09 | 2021-02-19 | 北京电子工程总体研究所 | 一种检索记录数据文件的方法 |
| CN113703667A (zh) * | 2021-07-14 | 2021-11-26 | 深圳市有为信息技术发展有限公司 | 实时存储数据的文件***处理方法、装置、车载终端及商用车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103761056A (zh) | 一种视频监控应用中流式数据的存储方法 | |
| CN107346290B (zh) | 使用并行化日志列表重放分区逻辑到物理数据地址转换表 | |
| US10580495B2 (en) | Partial program operation of memory wordline | |
| US9747202B1 (en) | Storage module and method for identifying hot and cold data | |
| CN102799534B (zh) | 基于固态存储介质的存储***及方法、冷热数据识别方法 | |
| TWI506430B (zh) | 映射資訊記錄方法、記憶體控制器與記憶體儲存裝置 | |
| CN106527969B (zh) | 一种寿命均衡的NandFlash存储器读写方法 | |
| US10482969B2 (en) | Programming to a correctable amount of errors | |
| CN102063943B (zh) | Nand闪存参数自动检测*** | |
| US8886884B2 (en) | System and method for increasing read and write speeds of hybrid storage unit | |
| CN106354662B (zh) | 一种nand flash数据存储方法 | |
| KR20210096133A (ko) | 구역화된 네임스페이스들에서의 기록 커맨드들의 유지 | |
| JP2012503234A (ja) | メモリ装置のための組み込みマッピング情報 | |
| Manzanares et al. | {ZEA}, A Data Management Approach for {SMR} | |
| EP3292463B1 (en) | Media region management for data storage device | |
| CN103135940A (zh) | 在迭瓦式盘驱动器中实施增强的碎片流处理 | |
| CN103150395B (zh) | 基于ssd的文件***目录路径解析方法 | |
| KR101374065B1 (ko) | 칩 레벨 평행 플래시 메모리를 위한 정보 분별 방법 및 장치 | |
| CN102339254A (zh) | 用于智能电能表的flash数据存储方法 | |
| CN103970669A (zh) | 用于加速在固态设备中的回收操作的物理到逻辑地址映射 | |
| KR20120072228A (ko) | 플래시 메모리의 파일 시스템 | |
| JP2009003934A (ja) | データ管理システム及びデータ管理方法、並びにデータ管理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN104166627B (zh) | 一种基于单片机的nand‑flash写操作方法 | |
| US9710504B2 (en) | Data processing and writing method and related apparatus | |
| CN104391804A (zh) | 一种nand flash数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140430 |