CN102902819B - 一种视频智能分析方法及装置 - Google Patents

Abstract

本发明提供一种视频智能分析方法及装置，属于视频监控技术领域。所述方法包括：A、对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；B、根据所述多种特征信息，获取所述视频帧的信任度；C、将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储。本发明能够在不增加硬件成本的前提下，提高视频分析的效率和搜索结果的完整性。

Description

一种视频智能分析方法及装置

技术领域

本发明涉及视频监控领域，尤其涉及一种视频智能分析方法及装置。

背景技术

随着高清视频的广泛应用，当前的视频图像搜索，更多的是依赖于视频智能分析。要想从海量的录像数据中搜索到目标图像，并且达到快速、完整的目的，对视频分析算法提出了更高的要求。

目前的视频分析算法受限于硬件资源、算法复杂度等因素，对海量的高清视频进行智能分析，需要较长的时间。解决的主要手段是通过不断优化视频分析算法，来提高不同场景的适应能力，从而快速、准确的搜索目标。但是，对视频分析算法进行优化，提高算法准确度，常常以更高的算法复杂度为代价，相应的增加了性能负荷，一定程度上影响到了快速搜索的性能要求；而且，每种视频分析算法都有其限制和适用场景，无法保证搜索结果的完整性。同时，硬件的计算能力和成本也是无法回避的因素。

发明内容

有鉴于此，本发明的目的是提供一种视频智能分析方法及装置，在不增加硬件成本的前提下，能够提高视频分析的效率和搜索结果的完整性。

为实现上述目的，本发明提供技术方案如下：

一种视频智能分析方法，应用于视频监控***中，包括如下步骤：

A、对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

B、根据所述多种特征信息，获取所述视频帧的信任度；

C、将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储。

一种视频智能分析装置，应用于视频监控***中，包括：

视频分析单元，用于对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

信任度评估单元，用于根据所述多种特征信息，获取所述视频帧的信任度；

存储单元，用于将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储。

与现有技术中相比，本发明的技术方案通过对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，并根据所述多种特征信息，获取所述视频帧的信任度，在此基础上进行目标图像的搜索，能够提高搜索速度和搜索结果的完整性，并且，还可以节省监控数据的存储空间。

附图说明

图1是本发明实施例的视频智能分析方法流程图；

图2是本发明实施例中移动量信任度的应用模型示意图；

图3是本发明实施例中移动量信任度评估的一种具体流程图；

图4是本发明实施例中移动量信任度评估的另一种具体流程图。

具体实施方式

以下结合附图对本发明进行详细描述。

本发明在现有智能监控方案的基础上，充分利用开放***中多维度的各种数据（即视频帧的多种特征信息），通过对多维度的数据的综合信任度评估，为保证搜索结果的完整性奠定了基础，并可以用于提高二次搜索速度和节省监控存储空间。

图1为本发明实施例的视频智能分析方法流程图，所述方法应用于视频监控***中，例如，应用于视频监控***中的后端服务器上，或者，应用于视频监控***中的前端编码器或者前端网络摄像机以及后端服务器上。参照图1，所述视频智能分析方法可以包括如下步骤：

步骤101，对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

本步骤中，所述视频流可以是输入到前端编码器或者网络摄像机采集到的原始视频帧，也可以是前端编码器或者网络摄像机和/或后端服务器对视频流进行预处理后存储在视频存储设备中的视频流，例如，通过预处理提取视频流中视频帧的底层视觉信息和图像特征信息，并根据预处理结果筛选出满足预设条件的视频帧后存储到视频存储设备中，然后，再对视频存储设备中的视频帧进行所述多种类型的视频分析。

其中，所述多种类型的视频分析可以包括目标检测和运动检测，所述目标检测对应的特征信息为视频帧中目标尺寸大于目标尺寸阈值的目标数目，所述运动检测对应的特征信息为视频帧感兴趣区域的亮度变化率。

步骤102，根据所述多种特征信息，获取所述视频帧的信任度；

步骤103，将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储。

本步骤中，如果是将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，则后续进行目标图像的检索时，就不需要对所述视频流中的所有视频帧进行检索，而仅对视频中信任度大于预设的信任度阈值的视频帧进行检索，从而能够提高搜索速度和节省监控存储空间。

如果是将所述视频流中的视频帧以及对应的信任度进行存储，则后续进行目标图像的检索时，也可以结合视频帧的信任度进行检索，从而能够提高搜索速度。

在开放式的监控***中，包含了海量的数据信息，例如告警信息、移动侦测信息、目标检测和跟踪信息、目标识别信息等等。要搜索到具有某一特征信息的视频图像，并进行存储，需要保证搜索结果的完整性。本发明实施例的上述方法采用的是一种信任度模型，该信任度模型利用多种信息或者单一信息的时空等多维度数据，来获取每帧图像的信任度评估值，通过信任度来保证完整性，为进一步浓缩存储和快速搜索奠定了基础。

下面以目标运动的移动量信息为例进行说明，即用移动量信任度来表征视频帧的信任度。图2是本发明实施例中移动量信任度的应用模型示意图，参照图2，此种情况下，对视频流中的视频帧进行多种类型的视频分析可以包括：拌线检测、目标检测和运动检测。其中，拌线检测、目标检测和运动检测可以采用现有技术中的各种检测算法，本发明对此不做限制。

图3是本发明实施例中移动量信任度评估的一种具体流程图。参照图3，该评估方法可以包括如下步骤：

步骤301，对视频帧进行拌线检测，根据拌线检测结果以及预设的训练机制对视频帧进行训练，获取目标尺寸阈值以及亮度变化率阈值；

这里的视频帧是从训练视频流中选取的视频帧，该训练视频流可以不同于后续的待检测视频流，当然，该训练视频流也可以是从所述待检测视频流中选取的一段或多段视频流。一般而言，亮度变化率阈值是指视频帧中感兴趣区域的亮度变化率阈值。

拌线检测结果包括触发拌线和为触发拌线，根据多个视频帧的视频内容和对应的拌线检测结果，通过预设的训练机制进行训练，就可以获取到目标尺寸阈值和亮度变化率阈值。本领域技术人员可以根据具体的需要选择相应的训练机制。

需要说明的是，本步骤为可选步骤。实际上，可以直接根据经验确定目标尺寸阈值以及亮度变化率阈值。

步骤302，对视频帧进行目标检测，获取视频帧中的目标信息，并获取目标尺寸大于目标尺寸阈值的目标数目；

通过目标检测，可以获取视频帧中的目标信息，所述目标信息可以包括目标尺寸、纹理、类型等信息。在得到了视频中的个目标的目标尺寸后，将目标尺寸与目标尺寸阈值进行比较，便可获取到目标尺寸大于目标尺寸阈值的目标数目。也就是说，目标尺寸大于目标尺寸阈值的目标才被用于后续的运行检测。

步骤303，对目标数目大于0的视频帧进行运动检测，获取视频帧中感兴趣区域的亮度变化率；

步骤304，获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T=n/N；

这里，统计窗口中包括的是当前视频帧的前N个视频帧，其中，N为大于1的整数。

步骤305，获取当前视频帧的移动量信任度C=L*T，所述移动量信任度用于所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。

图4是本发明实施例中移动量信任度评估的另一种具体流程图。图4与图3的区别在于，在移动量信任度中还考虑了目标空间信任度。参照图4，该评估方法可以包括如下步骤：

步骤401，对视频帧进行拌线检测，根据拌线检测结果以及预设的训练机制对视频帧进行训练，获取目标尺寸阈值以及亮度变化率阈值；

这里的视频帧是从训练视频流中选取的视频帧，该训练视频流可以不同于后续的待检测视频流，当然，该训练视频流也可以是从所述待检测视频流中选取的一段或多段视频流。一般而言，亮度变化率阈值是指视频帧中感兴趣区域的亮度变化率阈值。

拌线检测结果包括触发拌线和为触发拌线，根据多个视频帧的视频内容和对应的拌线检测结果，通过预设的训练机制进行训练，就可以获取到目标尺寸阈值和亮度变化率阈值。本领域技术人员可以根据具体的需要选择相应的训练机制。

需要说明的是，本步骤为可选步骤。实际上，可以直接根据经验确定目标尺寸阈值以及亮度变化率阈值。

步骤402，对视频帧进行目标检测，获取视频帧中的目标信息，并获取目标尺寸大于目标尺寸阈值的目标数目；

通过目标检测，可以获取视频帧中的目标信息，所述目标信息可以包括目标尺寸、纹理、类型等信息。在得到了视频中的个目标的目标尺寸后，将目标尺寸与目标尺寸阈值进行比较，便可获取到目标尺寸大于目标尺寸阈值的目标数目。也就是说，目标尺寸大于目标尺寸阈值的目标才被用于后续的运行检测。

步骤403，对目标数目大于0的视频帧进行运动检测，获取视频帧中感兴趣区域的亮度变化率；

步骤404，获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T=n/N；

这里，统计窗口中包括的是当前视频帧的前N个视频帧，其中，N为大于1的整数。

步骤405，获取当前视频帧的目标空间信任度R＝（V-S）/S；

其中，V为目标尺寸（可以是视频帧中预定目标的尺寸，也可以是视频帧中多个目标的尺寸的平均值），S为目标尺寸阈值。

步骤406，获取当前视频帧的移动量信任度C=L*T*R，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。

根据上述移动量信任度评估方法得到了视频流中各视频帧的移动量信任度之后，就可以将移动量信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储，例如，可以将视频帧的标识与信任度的对应关系息存储到数据库（后文称之为信任度数据库）中，对应视频帧存储到视频存储设备中，以供后续的目标图像检索应用，如此，能够提供搜索速度和搜索结果的完整性，并能够节省视频数据的存储空间。其中，所述结构化信息是指视频帧的特征信息。

例如，在卡口***中的，要搜索某种颜色的车辆，则可以直接在上述信任度数据库中进行检索匹配，具体可以包括如下步骤：

步骤S1，用户提交某种特征（例如车辆的红色特征）进行查询操作；

步骤S2，从存储设备或数据库中获取待分析，并且已经经过移动量信任度评估的源数据信息。

步骤S3，进行目标的特征相似度匹配搜索评估（例如车辆的颜色特征），得到相似度评估结果；

步骤S4，对相似度评估结果进行升降排序，并呈现给用户。

与上述视频智能分析方法相对应，本发明实施例还提供一种视频智能分析装置，所述装置应用于视频监控***中，例如，应用于视频监控***中的后端服务器上，或者，应用于视频监控***中的前端编码器或者网络摄像机以及后端服务器上。具体地，所述视频智能分析装置可以包括：

视频分析单元，用于对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

信任度评估单元，用于根据所述多种特征信息，获取所述视频帧的信任度；

存储单元，用于将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储。

当用移动量信任度来表征视频帧的信任度时，所述视频分析单元可以包括：

拌线检测单元，用于对视频帧进行拌线检测，根据拌线检测结果以及预设的训练机制对视频帧进行训练，获取目标尺寸阈值以及亮度变化率阈值；

目标检测单元，用于对视频帧进行目标检测，获取视频帧中的目标信息，并获取目标尺寸大于目标尺寸阈值的目标数目；

运动检测单元，用于对目标数目大于0的视频帧进行运动检测，获取视频帧中感兴趣区域的亮度变化率。

在一种实现方式中，所述信任度评估单元可以包括：

时间轴信任度获取单元，用于获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T=n/N，其中，N为大于1的整数；

移动量信任度获取单元，用于获取当前视频帧的移动量信任度C=L*T，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。

在另一种实现方式中，所述信任度评估单元可以包括：

时间轴信任度获取单元，用于获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T=n/N，其中，N为大于1的整数；

空间信任度获取单元，用于获取当前视频帧的目标空间信任度R＝（V-S）/S，其中，V为目标尺寸，S为目标尺寸阈值；

移动量信任度获取单元，用于获取当前视频帧的移动量信任度C=L*T*R，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。

综上所述，本发明的技术方案通过对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，并根据所述多种特征信息，获取所述视频帧的信任度，在此基础上进行目标图像的搜索，能够提高搜索速度和搜索结果的完整性，并且，还可以节省监控数据的存储空间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种视频智能分析方法，应用于视频监控***中，其特征在于，包括如下步骤：

A、对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

B、根据所述多种特征信息，获取所述视频帧的信任度，所述信任度包括：所述视频帧的亮度变化率、时间轴信任度；

C、将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储；

所述步骤B包括：

获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T＝n/N，其中，N为大于1的整数；获取当前视频帧的移动量信任度C＝L*T，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率；

所述亮度变化率阈值由预设的训练机制训练得到。

2.如权利要求1所述的视频智能分析方法，其特征在于：所述多种类型的视频分析包括目标检测和运动检测，所述目标检测对应的特征信息为视频帧中目标尺寸大于目标尺寸阈值的目标数目，所述运动检测对应的特征信息为视频帧感兴趣区域的亮度变化率。

3.如权利要求2所述的视频智能分析方法，其特征在于，所述步骤A包括：

对视频帧进行目标检测，获取视频帧中的目标信息，并获取目标尺寸大于目标尺寸阈值的目标数目；

对目标数目大于0的视频帧进行运动检测，获取视频帧中感兴趣区域的亮度变化率。

4.如权利要求3所述的视频智能分析方法，其特征在于，所述步骤A还包括：

对视频帧进行拌线检测，根据拌线检测结果以及预设的训练机制对视频帧进行训练，获取目标尺寸阈值以及亮度变化率阈值。

5.如权利要求3所述的视频智能分析方法，其特征在于，

所述步骤B，还包括：获取当前视频帧的目标空间信任度R＝(V-S)/S，其中，V为目标尺寸，S为目标尺寸阈值；

所述当前视频帧的移动量信任度C＝L*T*R，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。

6.一种视频智能分析装置，应用于视频监控***中，其特征在于，包括：

视频分析单元，用于对视频流中的视频帧进行多种类型的视频分析，得到所述视频帧的多种特征信息，其中，每种特征信息对应一种类型的视频分析；

信任度评估单元，用于根据所述多种特征信息，获取所述视频帧的信任度，所述信任度包括：所述视频帧的亮度变化率、时间轴信任度；

存储单元，用于将所述视频流中信任度大于预设的信任度阈值的视频帧进行存储，或者，将所述视频流中的视频帧以及对应的信任度进行存储；

所述信任度评估单元包括：

时间轴信任度获取单元，用于获取统计周期为N帧的统计窗口中，视频帧的亮度变化率大于亮度变化率阈值的视频帧数目n，并获取时间轴信任度T＝n/N，其中，N为大于1的整数；

移动量信任度获取单元，用于获取当前视频帧的移动量信任度C＝L*T，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率；

所述亮度变化率阈值由预设的训练机制训练得到。

7.如权利要求6所述的视频智能分析装置，其特征在于：

所述多种类型的视频分析包括目标检测和运动检测，所述目标检测对应的特征信息为视频帧中目标尺寸大于目标尺寸阈值的目标数目，所述运动检测对应的特征信息为视频帧感兴趣区域的亮度变化率。

8.如权利要求7所述的视频智能分析装置，其特征在于，所述视频检测单元包括：

目标检测单元，用于对视频帧进行目标检测，获取视频帧中的目标信息，并获取目标尺寸大于目标尺寸阈值的目标数目；

运动检测单元，用于对目标数目大于0的视频帧进行运动检测，获取视频帧中感兴趣区域的亮度变化率。

9.如权利要求8所述的视频智能分析装置，其特征在于所述视频检测单元还包括：

拌线检测单元，用于对视频帧进行拌线检测，根据拌线检测结果以及预设的训练机制对视频帧进行训练，获取目标尺寸阈值以及亮度变化率阈值。

10.如权利要求8所述的视频智能分析装置，其特征在于，

所述信任度评估单元，还包括：空间信任度获取单元，用于获取当前视频帧的目标空间信任度R＝(V-S)/S，其中，V为目标尺寸，S为目标尺寸阈值；

所述移动量信任度获取单元，用于获取当前视频帧的移动量信任度C＝L*T*R，所述移动量信任度用于表征视频帧的信任度，其中，L为当前视频帧的亮度变化率。