CN112969068B - 一种监控视频数据存储播放方法及装置 - Google Patents

一种监控视频数据存储播放方法及装置 Download PDF

Info

Publication number
CN112969068B
CN112969068B CN202110542891.3A CN202110542891A CN112969068B CN 112969068 B CN112969068 B CN 112969068B CN 202110542891 A CN202110542891 A CN 202110542891A CN 112969068 B CN112969068 B CN 112969068B
Authority
CN
China
Prior art keywords
sampling
sound
picture
video
pointed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110542891.3A
Other languages
English (en)
Other versions
CN112969068A (zh
Inventor
王又锐
雷雪萍
曾麟钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Shangtou Information Technology Co Ltd
Original Assignee
Sichuan Shangtou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Shangtou Information Technology Co Ltd filed Critical Sichuan Shangtou Information Technology Co Ltd
Priority to CN202110542891.3A priority Critical patent/CN112969068B/zh
Publication of CN112969068A publication Critical patent/CN112969068A/zh
Application granted granted Critical
Publication of CN112969068B publication Critical patent/CN112969068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种监控视频的存储播放方法以及存储播放装置，包括对视频段提取声音，对声音进行第一频率采样；对视频段提取画面，对画面进行第二频率采样；其中，第一频率为第二频率的N倍；每N个采样声音依次对应一帧采样画面，并具有一指针，指针用于指向其对应的采样画面；比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面；存储采样声音及采样声音指针指向的采样画面；处理完后，对剩余视频重复上述步骤。本发明可解决监控视频保持声音进行高清压缩以及声音卡不同步、卡顿等问题。

Description

一种监控视频数据存储播放方法及装置
技术领域
本发明涉及数据存储领域，尤其是一种监控视频数据存储播放方法及装置。
背景技术
监控视频的特点：路数多，数据量非常大，画面长时间固定等特点，目前的监控视频的存储至少存在如下问题：
1、监控视频数据量巨大，为了能够长期存储，目前的存储方式通常会以低码率、低分辨方法进行存储，但使用此种存储方式存储的视频，在调取时画面通常不够清晰，放大后无法体现细节。
2、为了解决上述技术问题，目前有一种存储方式是对视频进行运动检测，如果前后两帧视频存在运动对象，则存储该视频，否则不存储。但此种解决方案又会引入新的问题，一方面，由于只存储了运动视频，存储数据都是分段的，管理人员在查看视频时需要一段段地打开，无法做到连续地播放，操作不方面；另一方面，由于没有存储无运动画面的视频段，无运动画面时的背景声音就没有存储，而背景声音通常有重要作用，如视频中两人在谈话，但无动作，如果只存储运动画面，则谈话内容无法记录。
3、目前有一些可以根据运动检测进行视频压缩的标准，以H.265为例，其通过帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等步骤，可以大幅压缩视频，但该标准带的一个严重问题是计算量巨大，对于高清电影播放、单路视频处理尚能应付，而监控视频的特征是路数特别多，一个小型园区通常会有几十甚至上百路的监控视频，如果同时对这些视频进行H.265编码会对服务器造成巨大的压力，导致硬件成功急剧上升并且很容易出现服务器资源被占用完，影响其它业务的正常运行；同时由于处理视频的速度较慢，在监控场景下还容易出现视频溢出的问题，例如拍摄了一段一分钟的视频，但处理该视频用了两分钟，监控视频流会源源不断的来，导致无法及时处理后继视频造成存储溢出。
4、目前视频文件多采用时间同步的方式存储音频和画面信息，使用相同的时间轴对应音频信息和视频画面信息，运动检测类的压缩算法通常需要参考前帧或后帧，时间同步过程复杂，因此对于路线较多的视频同时处理或服务器性能较低极容易出现同步异常的问题，如声音延迟或提前、声音卡顿等问题，目前市面上出售的很多使用H.265压缩技术的监控方案有声音不同步问题。
发明内容
为了解决背景技术中的问题，针对监控视频的特点，本申请对现有技术进行了改进，提供一种监控视频数据的存储和播放方法以及存储和播放设备。
根据本发明的一个方面，提供一种监控视频数据存储方法，其特征在于所述方法包括如下步骤：缓存一时间段的监控视频，得到第一视频段；对所述第一视频段提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音；对所述第一视频段提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；其中，所述第一频率为第二频率的N倍，其中N为正整数；初始化第一个采样声音对应第一个采样画面，每N个采样声音依次对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面；存储采样声音及采样声音指针指向的采样画面；处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述步骤。
根据本发明的一个方面，将所述采样画面分成X*Y格画面，其中X、Y为大于1的正整数；所述每N个采样声音具有X*Y个指针，每个指针指向一格采样画面；所述遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化，具体为：当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y个指针中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化；；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音X*Y个指针中有变化的对应项指向第i个采样声音指针对应项的采样画面。
根据本发明的一个方面，如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化；如果有变化，则第i+N个采样声音指向不变。
根据本发明的一个方面，本发明提供一种监控视频数据播放方法，其特征在于：用于播放本申请所述的监控视频数据存储方法存储的视频；具体包括：读取以本申请的视频存储方法存储的监控视频；以所述采样声音为基准，读取对应的采样画面，并根据声音信息反推视频时间轴；根据时间轴、采样声音以及采样画面播放视频。
根据本发明的一个方面，本发明提供一种监控视频数据存储装置，包括：缓存模块，用于缓存一时间段的监控视频，得到第一视频段；第一采样模块，用于对所述第一视频段提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音；第二采样模块，用于对所述第一视频段提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；其中，所述第一频率为第二频率的N倍，其中N为正整数；初始化模块，用于初始化第一个采样声音对应第一个采样画面，每N个采样声音依次对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；遍历模块，用于遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面；存储模块，用于存储采样声音及采样声音指针指向的采样画面；循环模块，用于处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述步骤。
根据本发明的一个方面，所述监控视频数据存储装置还包括分块模块，用于将所述采样画面分成X*Y格画面，其中X、Y为大于1的正整数，所述每N个采样声音具有X*Y个指针，每个指针指向一格采样画面；遍历模块，用于遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化，具体为：当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y个指针中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音X*Y个指针中有变化的对应项指向第i个采样声音指针对应项的采样画面。
根据本发明的一个方面，所述监控视频数据存储装置还包括检测模块，用于如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化，如果有变化，则第i+N个采样声音指向不变。
根据本发明的一个方面，本发明还提供一种监控视频数据播放装置，所述装置用于播放本申请所述的监控视频数据存储方法存储的视频；具体包括：读取模块，用于读取以本申请视频存储方法存储的监控视频；计算模块，用于以所述采样声音为基准，读取对应的采样画面，并根据声音信息反推视频时间轴；播放模块，用于根据时间轴、采样声音以及采样画面播放视频。
在本发明提供的技术方案中，通过删除无变化的画面帧可在保持动作画面清晰的情况下大大减少监控视频的体积；通过以声音采样信号为控制轴保留了全部的背景声音；通过简单的前后帧对比大大减少了算法的复杂度；通过时间采样与画面采样的指针式对应关系解决了声音不同步、卡顿等问题。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1示出了声音采样帧与画面采样帧的对应关系；
图2示出了将声音采样帧指针指向未变动画面；
图3示出了删除重复画面帧后的情形；
图4示出了将画面帧进行分格指向的情形；
图5示出了删除重复分格画面的情形；
图6示出了根据存储的数据还原出视频。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
在一种实施试中，本申请提供一种监控视频数据存储方法。
步骤S100，缓存一时间段的监控视频。
这里所述的监控视频可以是如学校、商场等使用的CCTV监控***产生的监控视频，也可以是用于道路、环境等监测***产生的视频，对于拍摄视频的具体***本发明不做具体限制。
此步骤应用于服务器，视频由监控摄像头提供，由于监控视频通常都是视频流的形式，为了方便处理，我们可以对视频流按时间进行一段段地存储，如一分钟一分钟地存储或十分钟十分钟地存储，具体时间本发明不做限制，可根据实际需求设定。在读取一段时间的视频后，将其缓存就形成了一小段视频文件。
步骤S110，提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音。
监控视频的声音通常是以音轨的形式与视频进行同步，在对S100的缓存的小段视频进行处理时先将其音轨提取出来。并对所述声音进行第一频率采样，为了方便后续处理，我们对所述声音进行第一频率采样；另外，有些音轨中的声音已是采样后的音频，我们可以直接使用此采样后的音频，此时所述声音进行第一频率采样的意义可以是直接使用已采样后的音频，当然我们也可以对已采样的音频进行重采样，得到目标频率的采样声音。对于第一频率，可以采用视频、音频编码中使用的常规频率，如10KHZ，其意义为每秒采样10000次。
步骤S120，提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；控制视频的画面通常也是有一定的帧率的，如常规的30帧、60帧视频，其意义为每秒30或60幅画面，当视频中的原始帧率符合要求时，对所述画面进行第二频率采样，得到采样画面可以是直接使用原始的帧率，当然如果帧率不便于处理，我们也可以进行重采样得到新的采样画面。
步骤S130，初始化所述第一频率为第二频率的N倍，其中N为正整数，每N个采样声音对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；通常声音的帧率是远远大于图像的帧率的，为了方便处理，我们将声音的帧率取值为图像的N倍，为了方便描述声音采用100HZ采样，视频采用10HZ采样，如图1所示，第一个采样声音指向了第一帧画面，第11个采样声音指向了第二帧画面，此时N为10，在第1以及第11个声音帧都开辟一个指针空间，分别指向第1和第2帧画面（图1仅为示例性地参考，未严格示出数量关系），在初始化对应关系后即可开始进行后续的处理。
目前的视频多数是以时间戳来进行编码和播放的，即在编码时根据时间轴对画面和音频分析进行编码，在播放时将带有时间轴的画面和声音分别送到显卡和声卡进行处理，显示和声卡根据时间轴分别处理画面和声音，当显卡或声卡处理器繁忙时容易出现累积误差，并且无法自动修复。例如，在视频的第1分钟，声音延迟了1秒，在视频的第5分钟声音延迟了1秒，那么在后续视频会一直有2秒的声音延迟，不能自动修复，只有重启播放才能解决。
对声音进抽样，将声音做为控制轴，每次推送出一段视频，在播放时通过声音抽样信息反推时间轴，并将时间轴显示在播放界面，例如，每段视频为5分钟，第一段视频播放的视频是从00：00-04：59，第二段视频的起点就是05：00，时间轴依次类推，并且第二段视频的声音和画面是对应的，可以根据抽样频率确定播放过程中的时间轴信息，以10HZ画面为例，当第一段视频播放第100个画面时时间为00：10，当第二段视频播放第200个画面时，时间为05：20。由于又经过了一次同步，因此，在第二段视频中不会保留第一段时间的声音延迟，从而消除了累积误差。例如，首先推送第1-5分钟的视频，如果在第1-5分钟的视频中有1秒的声音延迟，在第6-10分钟推出第二段视频，第二段视频的中显示的时间轴是由声音轴与画面轴对应反推出来的，消除了画面声音不同步的问题。上述分段时间只是一种示例，很显然，如果将视频段分得更小，例如10秒一段，那么用户在播放时几乎不会感觉到声音的异常，具体参数本领域技术人员可根据需要选择。
在本步骤中，由于使用了音频采样信号做为控制轴，一方面，存储的视频保存了完整的音频信息，解决了存储动态画面无法保存完整音频信息的问题。别一方面，使用采样音频为控制轴，严格地控制了音频和画面之间的同步，在播放时不会出现声音不同步的问题，同时声音轴是完整的也不会有声音卡顿的问题。
步骤S140、遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面。
需要指出的是这里的“变化”并不是只任意细微的变化都属于有变化，图像处理领域中，图像是否变化通常是以一定变化阈值衡量的，如有的规定变化大于5%的才属于有变化，否则判断为无变化。
为了能够方便快速地判断哪些画面可以丢弃，我们引入了声音画面指针，当画面无变化时直接将声音对应的画面指向前面的画面。
如图2所示，当遍历到第11个采样声音，即第2个画面帧对应的声音时，发现第2画面相对于第1画面有变化，则要保存此帧画面，指针不变，而第3-5帧画面都没有变化，则对应的指针都修改至第2帧画面，到第6帧画面又有变化则相应的指针不变，依次类推，直接所的视频和声音都处理完成。如图3所示，在处理完成之后第3-5、7-8帧的画面都可以丢弃，而保存了第1、2、6帧的高清画面。
当然，由于中间的声音信号中无指针信息，这里所述的遍历是可以直接跳转至第i+N个采声音的，而无需每一个都进行处理。
在一种更优的方案中，为了进一步提高压缩的效果，在一种更佳的方案中，当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y中指名中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化，其中X、Y可以取大于1的正整数。
如图4所示，画面被分成了2*2的格子。第一画面帧至第二画面帧的变化过程中，只有右上角的画面有变动，则在下一个音频指针中，将未变化的三个指针指向前一个画面中的这三个没有变化的块，将变化了的指针修改为指上右上角。
在本步骤中，不存储没有变化的画面，因此大大节省了存储空间，同时不需要对存储的画面帧进行低分辨编码，在进行视频放大时能够反应出更多的细节。
在播放时，由于以音频为控制轴，每N个采样音频之间都有一个对应的画面，因此播放是连续的，解决了只存储运动画面时播放不连结的技术问题。
在存储时，由于只采用简单的画面变化对比，因此算法简单，相比H.26X有一定的压缩率损失，但处理速度要快上几倍，解决了视频溢出以及服务器压力过大等问题。
在一种较优的方案中，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化，如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化，如果有变化，则第i+N个采样声音指向不变；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面。
由于目前的运动检测主要采用差分法或光流法，差分法或光流法都对光影变化不敏感，同时对于画面的“变化”本领域常规的做法并不是判断完全无变化才确定无变化，而是以一定的变化率阈值来确定画面是否变化，如只有画面变化超过1%才认为画面是有变化的，如果以固定时间进行检测，如五分钟检测一次，或者以固定的帧间隔进行检测，可能会产生累积误差。
例如早上9点的画面和早上10点之间的画面，在主要物体上都是一致的，但可能存在阴影的不同，当9点-9点59分的画面都无运动物体时，每一分钟和上一分钟的变化可能都不会超过1%，只存在一些阴影的小变化，则无法被运动检测算法检测到。在10点检测到有人进入画面，如果依然采用上述处理方法可能出现第9点-9点59分的画面都是一样的，但在10点的时候不但会出现人物，画面的阴影也会突然变化，例如树的影子突然变短，给人非常不连贯的感觉，让观众觉得视频可能在造假，对监控视频的真实性产生怀疑。
为了解决上述问题，如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化。例如，在9：
00至9：10中每一分钟都检查一次画面变化，由于只有轻微的阴影变化，每一次和上一次的比较都被认为无变化，但如果直接比较9：00和9：10的画面，则可以比较出更明显的阴影变化，达到“变化”的阈值，此时则不能用9：00画面代替9：10，而应该直接使用9：10的画面，以将阴影变化显示在视频上。
步骤S150、存储采样声音及采样声音指针指向的采样画面；在修改完指针后，没有被指针指到的画面为重复画面，此时可以再一次以采样声为控制轴，依次遍历，存储采样声音、被采样声音所指向的采样画面以及指针的具体信息。以图3为例，存储的是第1、2、6帧的画面，以图5为例，存储的是第1帧以及第2帧右上角的画面。
步骤S160、处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述步骤。
由于监控视频是视频流的形式，在处理一段时间的视频后后续还会有继续拍摄的视频，因此只需要重复上述步骤即可。
基于上述方法存储的控制视频，本发明还公开了一种监控视频数据播放方法。
在另一种实施试中，本申请提供一种监控视频的播放方法。
步骤S200、读取以上述方法存储的监控视频。
上述方法中，视频被处理后都存储于服务器，经用户的查看请求，服务器读取用户指定时间的视频信息。例如用户指定的视频信息为2020年1月1日10：00，则将相应时间段的视频读取一段。需要说明的时，此步骤可以在服务器进行，也可以客户端进行，在服务器进行时，由服务器直接读取，在客户端进行时，由服务器将相关的数据传输至客户端。
步骤S210、以所述采样声音为基准，读取对应的采样画面，还原出视频，并根据声音信息反推视频时间轴。
在本步骤中，需要将用户指定的视频进行组合，例如用户指定的视频信息为2020年1月1日10：00，服务器则将相应时间段的视频读取后根据声音的采样信息将视频进行还原，如图6所示，并将反推播放开始时间为10：00，然后根据采样规律合成时间轴用于后续的播放。需要说明的时此步骤可以在服务器进行，也可以在客户端进行。
步骤S220、根据时间轴、采样声音以及采样画面播放视频。
此步骤在客户端进行，在获取到时间轴后，将声音、和画面分别推送至声卡和显卡即可进行视频播放。
在另一种实施试中，本申请提供一种监控视频数据存储装置，其包括：
缓存模块，用于缓存一时间段的监控视频。
这里所述的监控视频可以是如学校、商场等使用的CCTV监控***产生的监控视频，也可以是用于道路、环境等监测***产生的视频，对于拍摄视频的具体***本发明不做具体限制。
此模块应用于服务器，视频由监控摄像头提供，由于监控视频通常都是视频流的形式，为了方便处理，我们可以对视频流按时间进行一段段地存储，如一分钟一分钟地存储或十分钟十分钟地存储，具体时间本发明不做限制，可根据实际需求设定。在读取一段时间的视频后，将其缓存就形成了一小段视频文件。
第一采样模块，用于提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音。
监控视频的声音通常是以音轨的形式与视频进行同步，在对S100的缓存的小段视频进行处理时先将其音轨提取出来。并对所述声音进行第一频率采样，为了方便后续处理，我们对所述声音进行第一频率采样；另外，有些音轨中的声音已是采样后的音频，我们可以直接使用此采样后的音频，此时所述声音进行第一频率采样的意义可以是直接使用已采样后的音频，当然我们也可以对已采样的音频进行重采样，得到目标频率的采样声音。对于第一频率，可以采用视频、音频编码中使用的常规频率，如10KHZ，其意义为每秒采样10000次。
第二采样模块，用于提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；控制视频的画面通常也是有一定的帧率的，如常规的30帧、60帧视频，其意义为每秒30或60幅画面，当视频中的原始帧率符合要求时，对所述画面进行第二频率采样，得到采样画面可以是直接使用原始的帧率，当然如果帧率不便于处理，我们也可以进行重采样得到新的采样画面。
初始化模块，用于初始化所述第一频率为第二频率的N倍，其中N为正整数，每N个采样声音对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；通常声音的帧率是远远大于图像的帧率的，为了方便处理，我们将声音的帧率取值为图像的N倍，为了方便描述声音采用100HZ采样，视频采用10HZ采样，如图1所示，第一个采样声音指向了第一帧画面，第11个采样声音指向了第二帧画面，此时N为10，在第1以及第11个声音帧都开辟一个指针空间，分别指向第1和第2帧画面（图1仅为示例性地参考，未严格示出数量关系），在初始化对应关系后即可开始进行后续的处理。
目前的视频多数是以时间戳来进行编码和播放的，即在编码时根据时间轴对画面和音频分析进行编码，在播放时将带有时间轴的画面和声音分别送到显卡和声卡进行处理，显示和声卡根据时间轴分别处理画面和声音，当显卡或声卡处理器繁忙时容易出现累积误差，并且无法自动修复。例如，在视频的第1分钟，声音延迟了1秒，在视频的第5分钟声音延迟了1秒，那么在后续视频会一直有2秒的声音延迟，不能自动修复，只有重启播放才能解决。
对声音进抽样，将声音做为控制轴，每次推送出一段视频，在播放时通过声音抽样信息反推时间轴，并将时间轴显示在播放界面，例如，每段视频为5分钟，第一段视频播放的视频是从00：00-04：59，第二段视频的起点就是05：00，时间轴依次类推，并且第二段视频的声音和画面是对应的，可以根据抽样频率确定播放过程中的时间轴信息，以10HZ画面为例，当第一段视频播放第100个画面时时间为00：10，当第二段视频播放第200个画面时，时间为05：20。由于又经过了一次同步，因此，在第二段视频中不会保留第一段时间的声音延迟，从而消除了累积误差。例如，首先推送第1-5分钟的视频，如果在第1-5分钟的视频中有1秒的声音延迟，在第6-10分钟推出第二段视频，第二段视频的中显示的时间轴是由声音轴与画面轴对应反推出来的，消除了画面声音不同步的问题。上述分段时间只是一种示例，很显然，如果将视频段分得更小，例如10秒一段，那么用户在播放时几乎不会感觉到声音的异常，具体参数本领域技术人员可根据需要选择。
在本模块中，由于使用了音频采样信号做为控制轴，一方面，存储的视频保存了完整的音频信息，解决了存储动态画面无法保存完整音频信息的问题。别一方面，使用采样音频为控制轴，严格地控制了音频和画面之间的同步，在播放时不会出现声音不同步的问题，同时声音轴是完整的也不会有声音卡顿的问题。
遍历模块，用于遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化；如果有变化，则继续遍历；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面。
需要指出的是这里的“变化”并不是只任意细微的变化都属于有变化，图像处理领域中，图像是否变化通常是以一定变化阈值衡量的，如有的规定变化大于5%的才属于有变化，否则判断为无变化。
为了能够方便快速地判断哪些画面可以丢弃，我们引入了声音画面指针，当画面无变化时直接将声音对应的画面指向前面的画面。
如图2所示，当遍历到第11个采样声音，即第2个画面帧对应的声音时，发现第2画面相对于第1画面有变化，则要保存此帧画面，指针不变，而第3-5帧画面都没有变化，则对应的指针都修改至第2帧画面，到第6帧画面又有变化则相应的指针不变，依次类推，直接所的视频和声音都处理完成。如图3所示，在处理完成之后第3-5、7-8帧的画面都可以丢弃，而保存了第1、2、6帧的高清画面。
当然，由于中间的声音信号中无指针信息，这里所述的遍历是可以直接跳转至第i+N个采声音的，而无需每一个都进行处理。
在一种更优的方案中，为了进一步提高压缩的效果，在一种更佳的方案中，当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y中指名中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化，其中X、Y可以取大于1的正整数。
如图4所示，画面被分成了2*2的格子。第一画面帧至第二画面帧的变化过程中，只有右上角的画面有变动，则在下一个音频指针中，将未变化的三个指针指向前一个画面中的这三个没有变化的块，将变化了的指针修改为指上右上角。
在本步骤中，不存储没有变化的画面，因此大大节省了存储空间，同时不需要对存储的画面帧进行低分辨编码，在进行视频放大时能够反应出更多的细节。
在播放时，由于以音频为控制轴，每N个采样音频之间都有一个对应的画面，因此播放是连续的，解决了只存储运动画面时播放不连结的技术问题。
在存储时，由于只采用简单的画面变化对比，因此算法简单，相比H.26X有一定的压缩率损失，但处理速度要快上几倍，解决了视频溢出以及服务器压力过大等问题。
在一种较优的方案中，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样帧指向的画面是否有变化，如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化，如果有变化，则第i+N个采样声音指向不变；如果没有有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面。
由于目前的运动检测主要采用差分法或光流法，差分法或光流法都对光影变化不敏感，同时对于画面的“变化”本领域常规的做法并不是判断完全无变化才确定无变化，而是以一定的变化率阈值来确定画面是否变化，如只有画面变化超过1%才认为画面是有变化的，如果以固定时间进行检测，如五分钟检测一次，或者以固定的帧间隔进行检测，可能会产生累积误差。
例如早上9点的画面和早上10点之间的画面，在主要物体上都是一致的，但可能存在阴影的不同，当9点-9点59分的画面都无运动物体时，每一分钟和上一分钟的变化可能都不会超过1%，只存在一些阴影的小变化，则无法被运动检测算法检测到。在10点检测到有人进入画面，如果依然采用上述处理方法可能出现第9点-9点59分的画面都是一样的，但在10点的时候不但会出现人物，画面的阴影也会突然变化，例如树的影子突然变短，给人非常不连贯的感觉，让观众觉得视频可能在造假，对监控视频的真实性产生怀疑。
为了解决上述问题，如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样帧指向的画面是否有变化。例如，在9：
00至9：10中每一分钟都检查一次画面变化，由于只有轻微的阴影变化，每一次和上一次的比较都被认为无变化，但如果直接比较9：00和9：10的画面，则可以比较出更明显的阴影变化，达到“变化”的阈值，此时则不能用9：00画面代替9：10，而应该直接使用9：10的画面，以将阴影变化显示在视频上。
存储模块，用于存储采样声音及采样声音指针指向的采样画面；在修改完指针后，没有被指针指到的画面为重复画面，此时可以再一次以采样声为控制轴，依次遍历，存储采样声音、被采样声音所指向的采样画面以及指针的具体信息。以图3为例，存储的是第1、2、6帧的画面，以图5为例，存储的是第1帧以及第2帧右上角的画面。
循环模块，用于处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述步骤。
由于监控视频是视频流的形式，在处理一段时间的视频后后续还会有继续拍摄的视频，因此只需要重复上述步骤即可。
基于第一实施例方法存储的控制视频，本发明还公开了一种监控视频数据播放装置。
读取模块，用于读取以本申请视频存储方法存储的监控视频。
上述模块中，视频被处理后都存储于服务器，经用户的查看请求，服务器读取用户指定时间的视频信息。例如用户指定的视频信息为2020年1月1日10：00，则将相应时间段的视频读取一段。需要说明的时，此步骤可以在服务器进行，也可以客户端进行，在服务器进行时，由服务器直接读取，在客户端进行时，由服务器将相关的数据传输至客户端。
计算模块，用于以所述采样声音为基准，读取对应的采样画面，并根据声音信息反推视频时间轴。
在本模块中，需要将用户指定的视频进行组合，例如用户指定的视频信息为2020年1月1日10：00，服务器则将相应时间段的视频读取后根据声音的采样信息将反推播放开始时间为10：00，然后根据采样规律合成时间轴用于后续的播放。需要说明的时此步骤可以在服务器进行，也可以在客户端进行。
播放模块，用于根据时间轴、采样声音以及采样画面播放视频。
此步骤在客户端进行，在获取到时间轴后，将声音、和画面分别推送至声卡和显卡即可进行视频播放。
在本申请中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种监控视频数据存储方法，其特征在于所述方法包括如下步骤：
缓存一时间段的监控视频，得到第一视频段；
对所述第一视频段提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音；
对所述第一视频段提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；
其中，所述第一频率为第二频率的N倍，其中N为正整数；
初始化第一个采样声音对应第一个采样画面，每N个采样声音依次对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；
遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样声音指向的画面是否有变化；如果有变化，则继续遍历；如果没有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面；
存储采样声音及采样声音指针指向的采样画面；
处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述步骤。
2.根据权利要求1所述的监控视频数据存储方法，其特征在于：
将所述采样画面分成X*Y格画面，其中X、Y为大于1的正整数；
所述每N个采样声音具有X*Y个指针，每个指针指向一格采样画面；
所述遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样声音指向的画面是否有变化，具体为：当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y个指针中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化；如果有变化，则继续遍历；如果没有变化，则将第i+N个采样声音X*Y个指针中有变化的对应项指向第i个采样声音指针对应项的采样画面。
3.如权利要求1或2所述的监控视频数据存储方法，其特征在于：如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样声音指向的画面是否有变化；如果有变化，则第i+N个采样声音指向不变。
4.一种监控视频数据播放方法，其特征在于：用于播放如权利要求1或2所述的监控视频数据存储方法存储的视频；具体包括：读取如权利要求1或2所述的监控视频数据存储方法存储的视频；以所述采样声音为基准，读取对应的采样画面，还原出视频，并根据声音信息反推视频时间轴；根据时间轴、采样声音以及采样画面播放视频。
5.一种监控视频数据存储装置，其特征在于所述装置包括如下模块：
缓存模块，用于缓存一时间段的监控视频，得到第一视频段；
第一采样模块，用于对所述第一视频段提取所述监控视频的声音，对所述声音进行第一频率采样，得到采样声音；
第二采样模块，用于对所述第一视频段提取所述监控视频的画面，对所述画面进行第二频率采样，得到采样画面；其中，所述第一频率为第二频率的N倍，其中N为正整数；
初始化模块，用于初始化第一个采样声音对应第一个采样画面，每N个采样声音依次对应一帧采样画面，每N个采样声音具有一指针，所述指针用于指向其对应的采样画面；
遍历模块，用于遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样声音指向的画面是否有变化；如果有变化，则继续遍历；如果没有变化，则将第i+N个采样声音指向第i个采样声音指向的采样画面；
存储模块，用于存储采样声音及采样声音指针指向的采样画面；
循环模块，用于处理完当前缓存的监控视频后继续将后续监控视频读入缓存，重复上述各模块的操作。
6.根据权利要求5所述的监控视频数据存储装置，其特征在于所述装置包括：
分块模块，用于将所述采样画面分成X*Y格画面，其中X、Y为大于1的正整数，
所述每N个采样声音具有X*Y个指针，每个指针指向一格采样画面；
遍历模块，用于遍历所述采样声音，当遍历到第i+N个采样声音时，比较第i+N个采样声音指向的采样画面与第i个采样声音指向的画面是否有变化，具体为：当遍历到第i+N个采样声音时，比较第i+N个采样声音X*Y个指针中每一个指针指向的采样画面与第i个采样声音X*Y个指针中对应的指针指向的画面是否有变化；如果有变化，则继续遍历；如果没有变化，则将第i+N个采样声音X*Y个指针中有变化的对应项指向第i个采样声音指针对应项的采样画面。
7.如权利要求5或6所述的监控视频数据存储装置，其特征在于：检测模块，用于如果已连续检测到K次无变化时，则比较第i+N个采样声音指向的采样画面与第i-K*N个采样声音指向的画面是否有变化，如果有变化，则第i+N个采样声音指向不变。
8.一种监控视频数据播放装置，其特征在于：所述装置用于播放如权利要求1或2所述的监控视频数据存储方法存储的视频；具体包括：读取模块，用于读取以权利要求1或2所述的监控视频数据存储方法存储的监控视频；计算模块，用于以所述采样声音为基准，读取对应的采样画面，还原出视频，并根据声音信息反推视频时间轴；播放模块，用于根据时间轴、采样声音以及采样画面播放视频。
CN202110542891.3A 2021-05-19 2021-05-19 一种监控视频数据存储播放方法及装置 Active CN112969068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110542891.3A CN112969068B (zh) 2021-05-19 2021-05-19 一种监控视频数据存储播放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110542891.3A CN112969068B (zh) 2021-05-19 2021-05-19 一种监控视频数据存储播放方法及装置

Publications (2)

Publication Number Publication Date
CN112969068A CN112969068A (zh) 2021-06-15
CN112969068B true CN112969068B (zh) 2021-08-03

Family

ID=76275631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110542891.3A Active CN112969068B (zh) 2021-05-19 2021-05-19 一种监控视频数据存储播放方法及装置

Country Status (1)

Country Link
CN (1) CN112969068B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597657A (zh) * 2023-07-17 2023-08-15 四川省商投信息技术有限责任公司 基于人工智能的城市交通预测方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951155A (en) * 1987-11-23 1990-08-21 Stokes Imaging Services Apparatus and method for synchronizing videodisc images with audio signals
CN1240293A (zh) * 1998-06-23 2000-01-05 Lg电子株式会社 在可重写存储介质中生成/记录静止图像管理数据的方法
JP2011182274A (ja) * 2010-03-03 2011-09-15 Hitachi Consumer Electronics Co Ltd 映像記録再生装置
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理***中同步音频和视频数据的技术
CN105074821A (zh) * 2013-04-05 2015-11-18 杜比国际公司 音频编码器和解码器
CN107360386A (zh) * 2016-05-09 2017-11-17 杭州登虹科技有限公司 减小多媒体档案大小的方法
CN108769572A (zh) * 2018-04-26 2018-11-06 国政通科技股份有限公司 监控视频文件生成、装置及终端设备
CN109587489A (zh) * 2019-01-11 2019-04-05 杭州富阳优信科技有限公司 一种数字视频压缩方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100563668B1 (ko) * 2001-12-22 2006-03-28 엘지전자 주식회사 재기록 가능 고밀도 기록매체의 더빙 오디오 기록방법
CA2707705A1 (en) * 2007-12-05 2009-06-11 Onlive, Inc. System and method for compressing video based on detected intraframe motion
US9113132B2 (en) * 2009-07-13 2015-08-18 Genesys Telecommunications Laboratories, Inc. System and methods for recording a compressed video and audio stream
US8780978B2 (en) * 2009-11-04 2014-07-15 Qualcomm Incorporated Controlling video encoding using audio information
JP6287315B2 (ja) * 2014-02-20 2018-03-07 富士通株式会社 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム
CN103905843B (zh) * 2014-04-23 2017-05-03 无锡天脉聚源传媒科技有限公司 一种规避连续i帧的分布式音视频处理装置和处理方法
US9877056B1 (en) * 2016-11-10 2018-01-23 Google Inc. Compressed media with still images selected from a video stream
CN107295284B (zh) * 2017-08-03 2020-08-25 浙江大学 一种由音频和图片组成的视频文件的生成和检索播放方法、装置
CN111726684B (zh) * 2019-03-22 2022-11-04 腾讯科技（深圳）有限公司 一种音视频处理方法、装置及存储介质
CN110944225B (zh) * 2019-11-20 2022-10-04 武汉长江通信产业集团股份有限公司 一种基于html5的不同帧率音视频的同步方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951155A (en) * 1987-11-23 1990-08-21 Stokes Imaging Services Apparatus and method for synchronizing videodisc images with audio signals
CN1240293A (zh) * 1998-06-23 2000-01-05 Lg电子株式会社 在可重写存储介质中生成/记录静止图像管理数据的方法
JP2011182274A (ja) * 2010-03-03 2011-09-15 Hitachi Consumer Electronics Co Ltd 映像記録再生装置
CN102572443A (zh) * 2010-09-30 2012-07-11 苹果公司 用于在图像信号处理***中同步音频和视频数据的技术
CN105074821A (zh) * 2013-04-05 2015-11-18 杜比国际公司 音频编码器和解码器
CN107360386A (zh) * 2016-05-09 2017-11-17 杭州登虹科技有限公司 减小多媒体档案大小的方法
CN108769572A (zh) * 2018-04-26 2018-11-06 国政通科技股份有限公司 监控视频文件生成、装置及终端设备
CN109587489A (zh) * 2019-01-11 2019-04-05 杭州富阳优信科技有限公司 一种数字视频压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于DM6467T音视频同步压缩传输监控***的设计与研究";孟祥飞;《中国优秀硕士学位论文全文数据库》;20190915(第09期);全文 *
"基于时间轴模型的音视频同步的研究与实现";刘芳;《中国优秀硕士学位论文全文数据库》;20090315(第3期);全文 *
Selection of Key Frames Through the Analysis and Calculation of the Absolute Difference of Histograms;Jorge Michel Diaz Rodriguez;《2018 International Conference on Audio, Language and Image Processing (ICALIP)》;20180906;全文 *

Also Published As

Publication number Publication date
CN112969068A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
US20210350828A1 (en) Reference and Non-Reference Video Quality Evaluation
CN100589567C (zh) 视频数据的处理方法及存储设备
KR101203243B1 (ko) 상호작용적 시점 비디오 시스템 및 프로세스
KR102010513B1 (ko) 레코딩된 비디오를 재생하기 위한 방법 및 장치
KR102146042B1 (ko) 녹화된 비디오를 재생하기 위한 방법 및 시스템
US10911817B2 (en) Information processing system
WO2012019417A1 (zh) 在线视频浓缩装置、***及方法
DE69932297T2 (de) Informationsaufzeichnungssystem und Informationsaufzeichnungsverfahren
CN112969068B (zh) 一种监控视频数据存储播放方法及装置
JPH03216089A (ja) 予測符号化装置及び復号化装置
US20100254455A1 (en) Image processing apparatus, image processing method, and program
WO2017121020A1 (zh) 动画图像生成方法及装置
CN101658039B (zh) 动态图像解码方法、动态图像解码装置以及电子设备
JP2006340066A (ja) 動画像符号化装置、動画像符号化方法及び記録再生方法
CN115665493A (zh) 支持录播的大屏拼接装置、拼接器、播放控制方法及***
JPH09154097A (ja) 映像処理装置
JP3067043B2 (ja) 動画のカット自動分割方法
WO2013183978A1 (ko) 영상 처리 장치 및 방법
GB2541713A (en) Processing of high frame rate video data
JP3104776B2 (ja) 画像再生装置及び画像復号装置
JP3177366B2 (ja) 高速画像再生システム
KR20190101579A (ko) 초고해상도 다채널 영상처리를 위한 재구성 가능한 영상 시스템
KR100485946B1 (ko) 프레임 레이트 변환을 이용한 동영상 정보 압축 처리 장치및 그 방법
JP4315521B2 (ja) 動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化／復号化システム
KR100217751B1 (ko) 동영상정보 압축/복원장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Yourui

Inventor after: Lei Xueping

Inventor after: Zeng Linjun

Inventor before: Lei Xueping

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant