CN106934363A - 应用于视频品牌识别***的实时跟踪模块 - Google Patents

Abstract

本发明公开了一种应用于视频品牌识别***的实时跟踪模块，实时跟踪模块包含算法调度模块、通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块；输入视频帧通过调度模块，之后进入基于简单工厂模式，算法通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块默认配置为使能的部分，当算法调度模块没有被使能的时候，默认是执行的这个部分，即默认的配置。经由前处理处理过后的帧输入到检测识别模块中后，对品牌LOGO的检测和识别，如果在某一帧中检测和识别到了LOGO，那么在这一帧就初始化***，在接下来的视频序列中对这个检测到的LOGO通过申请方案进行跟踪。

Description

应用于视频品牌识别***的实时跟踪模块

技术领域

本发明涉及一种在一段视频中自动地检测品牌LOGO空间位置的品牌识别技术，具体地说是一种应用于视频品牌识别***的实时跟踪模块。

背景技术

视频内品牌识别技术是在一段视频中自动地检测品牌LOGO的空间位置，并且在接下来的时间里，自动地跟踪该LOGO的运动轨迹，并且识别出该LOGO所属品牌的一种技术，涉及到图像处理、计算机视觉、模式识别、人工智能等前沿技术。本发明提供了一种实时跟踪模块，本实时跟踪模块应用在视频品牌识别***中。

发明内容

本发明为解决上述技术问题而采用的技术方案是提供一种应用于视频品牌识别***的实时跟踪模块，其中，具体技术方案为：

实时跟踪模块包含算法调度模块、通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块；输入视频帧通过调度模块，之后进入基于简单工厂模式，算法通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块默认配置为使能的部分，当算法调度模块没有被使能的时候，默认是执行的这个部分，即默认的配置。

上述的应用于视频品牌识别***的实时跟踪模块，其中：算法调度模块，1)根据XML进行默认值配置；2)由于不同跟踪算法的优势劣势互不相同，根据场景识别或者提前XML配置，在程序中进行动态的***选取。

上述的应用于视频品牌识别***的实时跟踪模块，其中：通用的高效多线程调度模块，支持多进程，需要一个参数的配置，只需要根据XML配置文件进行一个FLAG的配置，***当前默认是设置成多线程的，根据实验数据，多线程调度比多进程调度效率快3-4％。。

上述的应用于视频品牌识别***的实时跟踪模块，其中：

基于简单工厂模式的跟踪算法模块包含四种；

TLD-Lite；

M-Kernel Tracker；

ASMS based；

Face Tracker；

1)M-Kernel Tracker，在原算法的基础上加入了7个Scale的跟踪，并且进行了优化，包括根据目标大小动态resize，浮点转定点；Tracker算法是基于KCF；

a加入了对被跟踪物体Scale变化的支持

b给原图像加扰动，以提高其在跟踪过程中对环境的适应能力；

c对算法进行了优化，包括根据目标大小动态Resize，浮点转定点，采用了快速傅里叶变换(FFT)进行加速，部分关键代码使用了Intel的SSE2指令集进行了加速；

2)TLD-Lite，去掉了学习和检测模块，利用TLD的跟踪模块，将tracking point的选取由阵列式选取该为先根据梯度的模值大小来提取特征点，然后再进行跟踪，降低选取到无效的特征点的可能性；

3)ASMS based，基于Meanshift的算法，支持单scale的跟踪；

4)Face Tracker，基于人脸特征点的跟踪，在Face Tracker中加入了速度极快的人脸检测，从而使得其具备了跟踪分数过低时候，自动使用Face Detection进行re-detect，从而对跟踪轨迹进行了纠正，如果无法检测到人脸，若干帧后，即判断为目标丢失。

上述的应用于视频品牌识别***的实时跟踪模块，其中：高性能镜头切换检测算法模块：

有两个核心模块，直方图匹配模块与S-Kernel(S Means Single Scale)跟踪模块，首先，进行前后两帧的直方图匹配，得到一个分数，如果这个分数过低或者图像本身的灰度极低，为了支持两个镜头之间***黑色帧则立即判断为镜头切换。否则，根据直方图匹配的分数对S-Kernel全场景跟踪模块的学习率进行调整：直方图匹配分数高，则调高S-KernelTracker学习率；反之，亦然；这样做的原理是如果直方图分数匹配较高，那么说明当前可能没有发生镜头切换，这个时候调高了S-Kernel。

本发明相对于现有技术具有如下有益效果：

经由前处理处理过后的帧输入到检测识别模块中后，对品牌LOGO的检测和识别，如果在某一帧中检测和识别到了LOGO，那么在这一帧就初始化***，在接下来的视频序列中对这个检测到的LOGO通过申请方案进行跟踪，直到发生跟踪丢失的情况或者发生了镜头切换，至此一个跟踪序列结束。

附图说明

图1为本发明提供的应用于视频品牌识别***的实时跟踪模块的***示意图。

图2为高性能镜头切换算法模块的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

本发明提供了一种应用于视频品牌识别***的实时跟踪模块，可广泛应用于需要实现实时跟踪功能的***，本申请方案不限定其应用范围，在于保护其实现功能的具体技术方案。

本发明提供了一种应用于视频品牌识别***的实时跟踪模块包括实时跟踪模块包含算法调度模块、通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块；输入视频帧通过调度模块，之后进入基于简单工厂模式，算法通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块默认配置为使能的部分，当算法调度模块没有被使能的时候，默认是执行的这个部分，即默认的配置。

算法调度模块：

1)根据XML进行默认值配置；2)由于不同跟踪算法的优势劣势互不相同，根据场景识别或者提前XML配置，在程序中进行动态的***选取。

通用的高效多线程调度模块，支持多进程，需要一个参数的配置，只需要根据XML配置文件进行一个FLAG的配置，***当前默认是设置成多线程的，根据实验数据，多线程调度比多进程调度效率快3-4％。。

基于简单工厂模式的跟踪算法模块包含四种；

TLD-Lite；

M-Kernel Tracker；

ASMS based；

Face Tracker；

1)M-Kernel Tracker，在原算法的基础上加入了7个Scale的跟踪，并且进行了优化，包括根据目标大小动态resize，浮点转定点；Tracker算法是基于KCF；

a加入了对被跟踪物体Scale变化的支持

b给原图像加扰动，以提高其在跟踪过程中对环境的适应能力；

c对算法进行了优化，包括根据目标大小动态Resize，浮点转定点，采用了快速傅里叶变换(FFT)进行加速，部分关键代码使用了Intel的SSE2指令集进行了加速；

2)TLD-Lite，去掉了学习和检测模块，利用TLD的跟踪模块，将tracking point的选取由阵列式选取该为先根据梯度的模值大小来提取特征点，然后再进行跟踪，降低选取到无效的特征点的可能性；

3)ASMS based，基于Meanshift的算法，支持单scale的跟踪；

4)Face Tracker，基于人脸特征点的跟踪，在Face Tracker中加入了速度极快的人脸检测，从而使得其具备了跟踪分数过低时候，自动使用Face Detection进行re-detect，从而对跟踪轨迹进行了纠正，如果无法检测到人脸，若干帧后，即判断为目标丢失。

高性能镜头切换检测算法模块：

有两个核心模块，直方图匹配模块与S-Kernel(S Means Single Scale)跟踪模块，首先，进行前后两帧的直方图匹配，得到一个分数，如果这个分数过低或者图像本身的灰度极低，为了支持两个镜头之间***黑色帧则立即判断为镜头切换。否则，根据直方图匹配的分数对S-Kernel全场景跟踪模块的学习率进行调整：直方图匹配分数高，则调高S-KernelTracker学习率；反之，亦然；这样做的原理是如果直方图分数匹配较高，那么说明当前可能没有发生镜头切换，这个时候调高了S-Kernel。

本发明提供了一种应用于视频品牌识别***的实时跟踪模块，在视频中品牌识别***其实现方法为：

当视频输入进来时，首先进行了视频前处理，进行视频解码、视频图像处理、包括Resize、直方图均衡化、去噪操作，目的是为了将解码出来的视频帧以一种合适的方式送入检测识别模块和实时跟踪模块；

其次，经由前处理处理过后的帧输入到检测识别模块中，对品牌LOGO的检测和识别是同时进行，如果在某一帧中检测和识别到了LOGO，即得到了其位置信息，那么在这一帧就初始化***，并且在接下来的视频序列中对这个检测到的LOGO进行跟踪，直到发生跟踪丢失的情况或者发生了镜头切换，至此一个跟踪序列结束；

同一帧的画面中同时跟踪多个目标，每检测识别一次却需要150ms，并采用了加速方法，每隔十帧才检测识别一次；

接下来，在每十帧的时候有可能既有检测结果又有跟踪结果，那么就牵扯到融合，在融合之后，便得到了一个个LOGO序列，每一个序列都包含如下信息：序列开始帧号、序列结束帧号、帧数、位置、识别的类别号、识别的置信度或者说分数；于是，为了得到最终的识别结果，需要一个投票操作；经过了这个投票操作后，对于每一个序列均会得到一个统一的Label、一个统一的分数；至此经过对整个视频的扫描后，对这个视频内的品牌信息已经分析完毕；

最后，将结构化的视频数据写入到JSON文件中或者数据库中，输入一个视频，经过***，输出一个结构化的识别结果。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (5)

1.一种应用于视频品牌识别***的实时跟踪模块，其特征在于：实时跟踪模块包含算法调度模块、通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块；输入视频帧通过调度模块，之后进入基于简单工厂模式，算法通用的高性能多线程调度模块、基于简单工厂模式封装的各种算法模块、高性能镜头切换检测模块默认配置为使能的部分，当算法调度模块没有被使能的时候，默认是执行的这个部分，即默认的配置。

2.如权利要求1所述的应用于视频品牌识别***的实时跟踪模块，其特征在于：算法调度模块，1)根据XML进行默认值配置；2)由于不同跟踪算法的优势劣势互不相同，根据场景识别或者提前XML配置，在程序中进行动态的***选取。

3.如权利要求1所述的应用于视频品牌识别***的实时跟踪模块，其特征在于：通用的高效多线程调度模块，支持多进程，需要一个参数的配置，只需要根据XML配置文件进行一个FLAG的配置，***当前默认是设置成多线程的，根据实验数据，多线程调度比多进程调度效率快3-4％。

4.如权利要求2-3中任一项所述的应用于视频品牌识别***的实时跟踪模块，其特征在于：

基于简单工厂模式的跟踪算法模块包含四种；

TLD-Lite；

M-Kernel Tracker；

ASMS based；

Face Tracker；

1)M-Kernel Tracker，在原算法的基础上加入了7个Scale的跟踪，并且进行了优化，包括根据目标大小动态resize，浮点转定点；Tracker算法是基于KCF；

a加入了对被跟踪物体Scale变化的支持

b给原图像加扰动，以提高其在跟踪过程中对环境的适应能力；

c对算法进行了优化，包括根据目标大小动态Resize，浮点转定点，采用了快速傅里叶变换(FFT)进行加速，部分关键代码使用了Intel的SSE2指令集进行了加速；

2)TLD-Lite，去掉了学习和检测模块，利用TLD的跟踪模块，将tracking point的选取由阵列式选取该为先根据梯度的模值大小来提取特征点，然后再进行跟踪，降低选取到无效的特征点的可能性；

3)ASMS based，基于Meanshift的算法，支持单scale的跟踪；

4)Face Tracker，基于人脸特征点的跟踪，在Face Tracker中加入了速度极快的人脸检测，从而使得其具备了跟踪分数过低时候，自动使用Face Detection进行re-detect，从而对跟踪轨迹进行了纠正，如果无法检测到人脸，若干帧后，即判断为目标丢失。

5.如权利要求4所述的应用于视频品牌识别***的实时跟踪模块，其特征在于：高性能镜头切换检测算法模块：

有两个核心模块，直方图匹配模块与S-Kernel(S Means Single Scale)跟踪模块，首先，进行前后两帧的直方图匹配，得到一个分数，如果这个分数过低或者图像本身的灰度极低，为了支持两个镜头之间***黑色帧则立即判断为镜头切换。否则，根据直方图匹配的分数对S-Kernel全场景跟踪模块的学习率进行调整：直方图匹配分数高，则调高S-KernelTracker学习率；反之，亦然；这样做的原理是如果直方图分数匹配较高，那么说明当前可能没有发生镜头切换，这个时候调高了S-Kernel。