CN102724386A - 一种实时视频智能***及其处理方法 - Google Patents

Abstract

本发明涉及一种实时视频智能***及其处理方法。目前通用性的图像增强软件需要将视频中的图像截取后再进行处理，不但步骤繁琐，且一些动态的信息无法依靠静态的图像来展现。本发明包括以下功能模块：播放控制模块、解码模块，区域选择跟踪模块：用于选择用户关心的目标，并对目标运动进行跟踪；场景处理模块：对视频的降质进行恢复；无级放大模块：利用高级样条插值方法，对视频内容进行连续放大，并可跟随区域移动；显示模块：将原视频经区域、处理、放大后的结果显示；录制编码模块：将结果视频进行录制导出；同步模块：利用池原理，将各个模块处理的流程同步。本发明对监控视频各种降质进行有效恢复，相较传统的截取图像、导入第三方软件处理、继续查看过程，本***更为简单便捷。

Description

一种实时视频智能***及其处理方法

技术领域

本发明涉及一种实时视频智能***及其处理方法。

背景技术

现有的监控视频在侦查领域的应用日益频繁，目前对监控视频增强、处理的需求非常迫切。由于监控视频拍摄环境场景复杂及设备本身、布设等因素，导致往往出现各种降质，如雨雾、风沙、低照度、逆光、对比不足、色偏、镜头变形等等。现有的视频浏览工具往往只提供简单的回放，对各种降质没有针对性的恢复工具；通用性的图像增强软件需要将视频中的图像截取后再进行处理，不但步骤繁琐，且一些动态的信息无法依靠静态的图像来展现，如步态、行为、习惯等特征。

发明内容

本发明针对现有技术存在的缺陷，提供一种实时视频智能***及其处理方法，能有效完成视频降质恢复，与视频影像播放同步进行，可一站式解决多种问题，使用方便。

为此，本发明采取如下技术方案：一种实时视频智能***，其特征在于包括以下功能模块：

播放控制模块：具备视频播放，暂停、快进、快退、拖拽、步进、步退的控制方式；

解码模块：负责视频解码；

区域选择跟踪模块：用于选择用户关心的目标，并对目标运动进行跟踪；

场景处理模块：对视频的降质进行恢复；

无级放大模块：利用高级样条插值方法，对视频内容进行连续放大，并可跟随区域移动；

显示模块：将原视频经区域、处理、放大后的结果显示；

录制编码模块：将结果视频进行录制导出；

同步模块：利用池原理，将各个模块处理的流程同步。

所述的场景处理模块包括雨雾去除、夜景恢复、逆光曝光修正、噪声抑制、编码块噪声恢复、焦距修正、色偏校正和鱼眼变形校正。

首先由解码模块将视频源解码出帧，由区域选择跟踪模块对存在区域的帧进行判断，如有区域，则将区域内部分裁切后作为进一步处理的数据源，如无区域则将整个帧作为源，然后进入场景处理模块对帧进行处理恢复，处理后的影像进入显示模块进行显示，如需录制则利用编码模块，将影像重新编码为视频。

场景处理模块的具体处理方案如下：视频解码时利用缓存池进行速度同步调节。采用对比度、亮度、颜色综合调整的改进Retinex 算法，自适应校正光照问题。利用增强去噪、边缘去噪算法以减少低照度下的强噪声。将传统单帧NLM算法推广为多帧算法，对视频中的随机噪声进行自动恢复。结合8×8编码块先验知识，对视频中的编码块噪声进行针对性恢复。利用空域锐化算法，增强视频中的各种细节、轮廓部分，消弱焦距不准带来的模糊效应。研究建立鱼眼变形模型，逆推出变形恢复算法。

本发明具有如下优点：

1.对监控视频各种降质，如低照度、雨雾、噪声、压缩块、色偏等问题进行有效恢复。

2.视频播放、处理同步进行，相较传统的截取图像、导入第三方软件处理、继续查看过程，本***更为简单便捷。

3.在恢复影像质量的同时，不会损失动作、行为等动态信息，有助于刑侦应用。

4.设有简单易用的放大镜功能，放大效果良好，可随意进行拖动漫游，方便局部重点查看。

5.***具备播放器全部功能，另有录制等功能，方便保存各种处理结果以备后用。

附图说明

图1为本发明的***结构示意图。

图2为本发明的***处理流程示意图。

具体实施方式

下面通过实施例，对本发明的技术方案作进一步具体的说明。

如图1所示的实时视频智能***，包括以下功能模块：

播放控制模块：具备视频播放，暂停、快进、快退、拖拽、步进、步退的控制方式。

解码模块：负责视频解码。

区域选择跟踪模块：用于选择用户关心的目标，并对目标运动进行跟踪。

场景处理模块：对视频的降质进行恢复；场景处理模块包括雨雾去除、夜景恢复、逆光曝光修正、噪声抑制、编码块噪声恢复、焦距修正、色偏校正和鱼眼变形校正。

无级放大模块：利用高级样条插值方法，对视频内容进行连续放大，并可跟随区域移动。

显示模块：将原视频经区域、处理、放大后的结果显示。

录制编码模块：将结果视频进行录制导出。

如图2所示，实时视频智能***的处理流程如下：

1.视频解码：

将视频流进行解码，并到帧。由于解码速度与后处理速度不一致，可利用缓存池进行速度同步调节。

2.带区域的视频帧数据

解码出的帧如有区域，则将区域内部分裁切后作为进一步处理的数据源，如无区域则可将整个帧作为源。

3.多算法处理

对上一步的数据源进行处理，根据用户的选择可有多个算法，顺序由用户指定。如数据源为帧的部分区域，则需将处理后的部分与原帧进行融合，得到部分处理的影像（即带ROI的处理效果）。

4.漫游显示

区域放大存在一定局限性。以单一方向为例研究。设视频显示范围为[0,W]，此时用户指定区域大小为Wroi，则区域内可显示的内容为[x-Wroi/2, x+Wroi/2]，考虑将区域内内容放大n倍，则区域内实际内容范围扩展到[x-n*Wroi/2, x+n*Wroi/2]，为原来的n倍。由于区域本身的显示大小未变，则[x-n*Wroi/2, x-Wroi/2]和[x+Wroi/2, x+n*Wroi/2]间的内容就无法显示了。如上所述，为解决这一问题，增加了漫游功能，即在区域位置固定的基础上，可用鼠标拖动图像内容在区域内移动，移动范围(n-1)*Wroi/2。

5.无死角区域放大显示

为使区域放大后在视频中移动时无死角，需允许区域超出视频显示范围，超出部分最大为横向Wroi，纵向Hroi，其中Wroi、Hroi分别为区域的宽和高。

6.解码完成检验

视频全部解码完成后需通知处理步骤，处理步骤接到处理结束通知且缓存内无帧即可结束。

7.视频编码

本发明的视频播放与影像恢复同步进行，实时处理保证动态信息不丢失；利用同步模块，在一般影像播放过程“解码→显示→释放”的基础上增加场景恢复处理步骤，利用池原理同步解码到显示的过程，使得处理过程不影响正常播放。首创区域放大浏览模式

由于屏幕尺度有限，而刑侦关心目标往往是特定的人或物，因此提出区域放大处理模式，在有限的显示范围内更突出重点目标，同时对运算处理的负荷也减小；目标跟踪查看

用户还可框选感兴趣目标为区域，并可对区域进行放大、处理等操作，视频播放过程中，***会自动令区域跟随该目标的运动，本功能很好的克服了目标运动时频繁操作移动区域的繁琐。

需要特别指出的是，上述实施例的方式仅限于描述实施例，但本发明不止局限于上述方式，且本领域的技术人员据此可在不脱离本发明的范围内方便的进行修饰，因此本发明的范围应当包括本发明所揭示的原理和新特征的最大范围。

Claims (10)

1.一种实时视频智能***，其特征在于包括以下功能模块：

播放控制模块：具备视频播放，暂停、快进、快退、拖拽、步进、步退的控制方式；

解码模块：负责视频解码；

区域选择跟踪模块：用于选择用户关心的目标，并对目标运动进行跟踪；

场景处理模块：对视频的降质进行恢复；

无级放大模块：利用高级样条插值方法，对视频内容进行连续放大，并可跟随区域移动；

显示模块：将原视频经区域、处理、放大后的结果显示；

录制编码模块：将结果视频进行录制导出；

同步模块：利用池原理，将各个模块处理的流程同步。

2.根据权利要求1所述的一种实时视频智能***，其特征在于所述的场景处理模块包括雨雾去除、夜景恢复、逆光曝光修正、噪声抑制、编码块噪声恢复、焦距修正、色偏校正和鱼眼变形校正。

3.根据权利要求1或2所述的一种实时视频智能***的处理方法，其特征在于首先由解码模块将视频源解码出帧，由区域选择跟踪模块对存在区域的帧进行判断，如有区域，则将区域内部分裁切后作为进一步处理的数据源，如无区域则将整个帧作为源，然后进入场景处理模块对帧进行处理恢复，处理后的影像进入显示模块进行显示，如需录制则利用编码模块，将影像重新编码为视频。

4.根据权利要求3所述的一种实时视频智能***的处理方法，其特征在于视频解码时利用缓存池进行速度同步调节。

5.根据权利要求4所述的一种实时视频智能***的处理方法，其特征在于采用对比度、亮度、颜色综合调整的改进Retinex 算法，自适应校正光照问题。

6.根据权利要求5所述的一种实时视频智能***的处理方法，其特征在于利用增强去噪、边缘去噪算法以减少低照度下的强噪声。

7.根据权利要求6所述的一种实时视频智能***的处理方法，其特征在于将传统单帧NLM算法推广为多帧算法，对视频中的随机噪声进行自动恢复。

8.根据权利要求7所述的一种实时视频智能***的处理方法，其特征在于结合8×8编码块先验知识，对视频中的编码块噪声进行针对性恢复。

9.根据权利要求8所述的一种实时视频智能***的处理方法，其特征在于利用空域锐化算法，增强视频中的各种细节、轮廓部分，消弱焦距不准带来的模糊效应。

10.根据权利要求9所述的一种实时视频智能***的处理方法，其特征在于研究建立鱼眼变形模型，逆推出变形恢复算法。

Images