CN108520047B - 一种视频特征信息检索方法 - Google Patents

Abstract

本发明公开一种视频信息检索方法，通过从视频的所有帧中提取出能够反映视频内容信息的某些帧的特征信息，将这些特征信息作为视频的标识，通过对某几个连续特征信息的检索实现视频的片段检索，有效地降低视频分析时的数据量，通过建立两套数据集，将样例视频ID和样例视频特征信息进行相互映射，从而有效地提高视频信息检索效率。

Description

一种视频特征信息检索方法

技术领域

本发明属于信息安全技术领域，涉及视频内容信息的检索，具体来说，是一种视频特征信息检索方法。

背景技术

随着Internet的应用和普及，多媒体信息检索***对社会各领域产生越来越大的影响。传统的信息检索采用基于文本的检索方式，查询时需要说明文本特征，要求用户对文本特征的描述具有一定的准确性和规范性。但由于视频数据的丰富内涵以及人们对视频内容进行抽取的主观性，视频信息难以用几个关键词描述。因此，基于内容的视频检索应运而生。

发明内容

本发明针对上述背景技术中提出的技术问题，提供一种视频特征信息检索方法。

本发明具体采用以下技术方案：一种视频特征信息检索方法，通过从视频的所有帧中提取出能够反映视频内容信息的某些帧的特征信息，将所述特征信息作为视频的标识，通过对某几个连续的特征信息的检索实现视频的片段检索，并建立两套数据集，将样例视频ID和样例视频特征信息进行相互映射；

具体步骤如下：

步骤一：建立原始视频的特征信息集，作为检索的总数据集，总数据集包括视频集和特征集；

步骤二：载入视频集的数据集；

步骤三：建立HASH索引，用于快速查找和管理待检索视频信息；

步骤四：对视频的片段的检索，若数据集中存在该视频片段，则检索成功，输出该视频ID和对应数据集中被匹配中的视频ID，否则检索失败，清空关联空间的前5个帧信息，保留后5个帧信息，继续接收视频的帧信息；

步骤五：在执行步骤三和步骤四的同时，并行地执行视频信息管理的操作。

进一步地，所述步骤一中具体包括以下过程：

步骤101：从视频解码后的所有帧信息中找到能反映视频内容信息的特征帧，提取每一个特征帧的32位特征值和像素数据，按视频播放顺序存放，作为该视频的特征信息；

步骤102：每个视频均有一个唯一ID，将视频的特征信息与对应ID关联，写入检索数据库的视频集中，以ID作为检索索引；

步骤103：统计所有视频样例的特征值，将每个特征值与包含该特征值的所有视频ID相关联，并且关联ID由小到大顺序排列作为一个ID列表，将特征值连同关联ID列表逐条写入检索数据库的特征集中，以特征值作为检索索引。

进一步地，所述步骤二中具体包括以下过程：

步骤201：将视频集中的数据逐条写入视频信息数组，以视频ID为一条视频信息头；

步骤202：读取特征集中的数据，建立HASH表，以32位特征值作为KEY，映射一块内存空间，用于存储特征值关联的视频ID列表。

进一步地，所述步骤三中具体包括以下过程：

步骤301：初始化一块HASHMAP空间，以输入的检索视频ID为KEY，将KEY与视频帧信息的关联空间形成一一映射，帧信息包括视频ID、帧在视频中的位置信息、特征值、像素数据，关联空间最多容纳10个含有不同特征值的帧信息；

步骤302：对待检索视频进行解码获得帧信息，以ID为KEY，获得该视频信息在HASHMAP中的位置，若视频的帧信息中的特征值在关联空间中已存在，则舍弃该帧信息，否则将帧信息写入到对应KEY的关联空间中；

步骤303：当某一视频在HASHMAP中的关联空间被填满10个帧信息后，将这10个帧信息以帧位置从前到后排序，排好序的帧信息作为该视频的片段信息进行检索。

进一步地，所述步骤五中具体包括以下过程：

步骤501：每隔5秒轮询一遍输入的视频队列，查看每个视频的信息接收情况，如果发现在连续的6次轮询中，始终未接收到某个视频的任何一个帧信息，则视为该视频已接收完毕；

步骤502：当判断某个视频完毕时，若该视频的关联空间从未被填满，且关联空间包含5个以上的帧信息，则将现有片段信息进行片段检索，检索完成后进入下一步骤，若该视频关联空间有被填满，则直接进入下一步骤；

步骤503：从视频队列中删除该视频ID，同时删除该视频在HASHMAP中的KEY和关联空间。

本发明的优点及带来的有益效果在于：无需获取完整的视频帧信息就可实现检索，实时性强，对于多视频并发可实现高效地信息管理，运用运用两套数据集的相互关联实现高效地信息查找。

附图说明

图1为本发明整体结构图；

图2为本发明检索数据集的视频集和特征集结构图；

图3为本发明的片段信息检索流程结构图；

图4为本发明的片段检索实现原理结构图；

图5为本发明的视频信息管理模块结构图。

具体实施方式

如图1是一种高性能的视频信息检索方法的整体结构图，一种视频信息检索方法，通过从视频的所有帧中提取出能够反映视频内容信息的某些帧的特征信息，将这些特征信息作为视频的标识，通过对某几个连续特征信息的检索实现视频的片段检索，有效地降低视频分析时的数据量，通过建立两套数据集，将样例视频ID和样例视频特征信息进行相互映射，从而有效地提高视频信息检索效率。

具体步骤如下：

步骤一：建立原始视频的特征信息集，作为检索的总数据集，总数据集包括视频集和特征集；

所述步骤一包括以下步骤，如图2所示：步骤101：从视频解码后的所有帧信息中找到能反映视频内容信息的特征帧，提取每一个特征帧的32位特征值和像素数据，按视频播放顺序存放，作为该视频的特征信息；

步骤102：每个视频均有一个唯一ID，将视频的特征信息与对应ID关联，写入检索数据库的视频集中，以ID作为检索索引；

步骤103：统计所有视频样例的特征值，将每个特征值与包含该特征值的所有视频ID相关联，并且关联ID由小到大顺序排列作为一个ID列表，将特征值连同关联ID列表逐条写入检索数据库的特征集中，以特征值作为检索索引。

步骤二：载入视频集的数据集；

所述步骤二中具体包括以下过程：

步骤201：将视频集中的数据逐条写入视频信息数组，以视频ID为一条视频信息头；

步骤202：读取特征集中的数据，建立HASH表，以32位特征值作为KEY，映射一块内存空间，用于存储特征值关联的视频ID列表。

步骤三：建立HASH索引，用于快速查找和管理待检索视频信息；所述步骤三中具体包括以下过程：步骤301、开启多通道，并行地获取视频信息队列中的数据，实现并行检索；

步骤302：当获取到一条视频帧信息，先在通过其ID判断该视频是否在之前已经被检索成功，若已被检索成功，则跳过该帧信息的处理，重新获取下一条帧信息，否则进入下一步；

步骤303：将帧信息的ID作为KEY，在HASHMAP中查找是否存在关联空间，若不存在关联空间，则建立KEY与一块存储空间的映射关系，在进入下一步，若存在，则直接下一步；

步骤304：若在关联空间中存在特征值与该帧信息的相同的帧信息，则跳过该帧信息，进入步骤301，继续接收新的帧信息，否则将该帧信息写入关联空间，进入下一步；

步骤305：判断关联空间是否被写满，若未被写满，则返回到步骤301接收帧信息，否则进入下一步；

步骤306、将关联空间中的10个帧信息，按照对应的帧位置，以播放顺序排列。

步骤四：将排序好的10个帧信息作为一个视频信息片段，把该片段送入片段检索模块进行检索匹配。若该片段匹配中数据集中的某个样例视频，则视为该片段所在的视频被检索成功，输出该视频ID和对应样例视频ID，同时删除该视频在视频信息队列中的资源，删除该视频在HASHMAP中的KEY与关联空间，将该视频ID记录为已检索成功视频，返回到步骤301，继续接收新信息。若该片段未匹配中数据集中的任一样例视频，则清空该片段所在关联空间的前5个帧信息，保留后5个帧信息，返回到步骤301，继续接收新信息。步骤三和步骤四中检索服务具体实现如图3所示，图3展示了片段信息检索的流程结构。

步骤五：在执行步骤三和步骤四的同时，并行地执行视频信息管理的操作。

所述步骤五中具体包括以下过程：

步骤501：每隔5秒轮询一遍输入的视频队列，查看每个视频的信息接收情况，如果发现在连续的6次轮询中，始终未接收到某个视频的任何一个帧信息，则视为该视频已接收完毕；

步骤502：当判断某个视频完毕时，若该视频的关联空间从未被填满，且关联空间包含5个以上的帧信息，则将现有片段信息进行片段检索，检索完成后进入下一步骤，若该视频关联空间有被填满，则直接进入下一步骤；

步骤503：从视频队列中删除该视频ID，同时删除该视频在HASHMAP中的KEY和关联空间。

其中，对步骤三中对片段检索功能模块的原理做具体说明，原理结构图如图4所示，主要通过视频集和特征集的相互关联，查找出可能包含该片段信息的样例视频，具体说明如下：

步骤307、从输入的帧信息序列提取出对应的特征值，通过特征集找出每个特征值对应的样例视频ID序列，例如，10个特征值，对应10条样例视频ID序列；

步骤308、将所有样例视频ID序列中重复出现的样例视频ID做统计，挑选出重复出现5次及以上的样例视频ID，即这类视频均包含了片段信息中5个及以上的帧信息；

步骤309、若统计结果未出现满足条件的样例视频，则输出未检索到匹配信息，退出该模块，若存在满足条件的样例视频，则将这类样例视频组成序列，作为待检测匹配候选视频，进入下一步；

步骤310、遍历待检视频序列，通过各自ID在视频集中找出对应的帧信息序列，从帧信息序列中提取出对应特征值序列；

步骤311、对每个视频相应特征值序列要进行与输入帧信息的匹配测试，遍历所有特征值序列后得出目标视频是否与数据集中的某些样例视频匹配，若满足匹配条件，则输出目标视频ID和对应样例视频ID，退出该模块；

对某一个视频的特征序列做匹配所要做的工作如下：

步骤312、在该序列中找出与输入帧信息特征值相等的帧的位置，判断这些帧在视频中的彼此相对位置是否与输入的帧信息中对应帧相对位置一致，若不一致，则说明该序列与输入的片段信息不匹配，若一致，则进入下一步；

步骤313、找出序列中满足上述条件的帧对应的帧信息中的像素信息，与对应输入帧信息中的像素信息做拟合计算，具体是求对应像素点的均方值，若满足条件的帧均方值均小于阈值，则说明片段信息所在的目标视频与该帧序列对应的样例视频匹配，否则不匹配；

对步骤三中关于信息管理端服务做具体说明，模块结构图如图5所示，信息管理模块主要功能是清空超时视频在视频信息队列中的资源和对部分视频做片段检索，具体说明如下：

步骤314、视频信息管理模块每隔五秒对视频信息队列做一次轮询；

步骤315、若发现某个视频在连续的6次轮询时间内（共30秒）均未收到一个新信息，则视为该视频已接收结束，进入下一步判断，若未出现该种情况，则等待五秒继续轮询；

步骤316、当判定某视频接收结束时，先查看其对应关联空间内容，若该空间曾今被填满并经过片段检测，则清空该视频在视频信息队列中的信息，同时删除在HASHMAP中的KEY和关联空间，若该空间从未被填满且空间中存在不少于5个帧信息，则将该片段信息进行片段检索（即步骤308~314），不论是否匹配成功，均要清空该视频在视频信息队列中的信息，删除在HASHMAP中的KEY和关联空间，若检索有匹配成功，还要输出匹配结果；

步骤317、清理完视频空间后，等待五秒继续轮询。

Claims (4)

1.一种视频特征信息检索方法，其特征在于，通过从视频的所有帧中提取出能够反映视频内容信息的某些帧的特征信息，将所述特征信息作为视频的标识，通过对某几个连续的特征信息的检索实现视频的片段检索，并建立两套数据集，将样例视频ID和样例视频特征信息进行相互映射；

具体步骤如下：

步骤一：建立原始视频的特征信息集，作为检索的总数据集，总数据集包括视频集和特征集；

步骤二：载入视频集的数据集；

步骤三：建立HASH索引，用于快速查找和管理待检索视频信息；

步骤四：对视频的片段检索，若数据集中存在该视频片段，则检索成功，输出该视频ID和对应数据集中被匹配中的视频ID，否则检索失败，清空关联空间的前5个帧信息，保留后5个帧信息，继续接收视频的帧信息；

步骤五：在执行步骤三和步骤四的同时，并行地执行视频信息管理的操作；

所述步骤三中具体包括以下过程：步骤301、开启多通道，并行地获取视频信息队列中的数据，实现并行检索；

步骤302：当获取到一条视频帧信息，先在通过其ID判断该视频是否在之前已经被检索成功，若已被检索成功，则跳过该帧信息的处理，重新获取下一条帧信息，否则进入下一步；

步骤303：将帧信息的ID作为KEY，在HASHMAP中查找是否存在关联空间，若不存在关联空间，则建立KEY与一块存储空间的映射关系，在进入下一步，若存在，则直接下一步；

步骤304：若在关联空间中存在特征值与该帧信息的相同的帧信息，则跳过该帧信息，进入步骤301，继续接收新的帧信息，否则将该帧信息写入关联空间，进入下一步；

步骤305：判断关联空间是否被写满，若未被写满，则返回到步骤301接收帧信息，否则进入下一步；

步骤306、将关联空间中的10个帧信息，按照对应的帧位置，以播放顺序排列。

2.根据权利要求1所述的一种视频特征信息检索方法，其特征在于，所述步骤一中具体包括以下过程：

步骤101：从视频解码后的所有帧信息中找到能反映视频内容信息的特征帧，提取每一个特征帧的32位特征值和像素数据，按视频播放顺序存放，作为该视频的特征信息；

步骤102：每个视频均有一个唯一ID，将视频的特征信息与对应ID关联，写入检索数据库的视频集中，以ID作为检索索引；

步骤103：统计所有视频样例的特征值，将每个特征值与包含该特征值的所有视频ID相关联，并且关联ID由小到大顺序排列作为一个ID列表，将特征值连同关联ID列表逐条写入检索数据库的特征集中，以特征值作为检索索引。

3.根据权利要求1所述的一种视频特征信息检索方法，其特征在于，所述步骤二中具体包括以下过程：

步骤201：将视频集中的数据逐条写入视频信息数组，以视频ID为一条视频信息头；

步骤202：读取特征集中的数据，建立HASH表，以32位特征值作为KEY，映射一块内存空间，用于存储特征值关联的视频ID列表。

4.根据权利要求1所述的一种视频特征信息检索方法，其特征在于，所述步骤五中具体包括以下过程：

步骤501：每隔5秒轮询一遍输入的视频队列，查看每个视频的信息接收情况，如果发现在连续的6次轮询中，始终未接收到某个视频的任何一个帧信息，则视为该视频已接收完毕；

步骤502：当判断某个视频完毕时，若该视频的关联空间从未被填满，且关联空间包含5个以上的帧信息，则将现有片段信息进行片段检索，检索完成后进入下一步骤，若该视频关联空间有被填满，则直接进入下一步骤；

步骤503：从视频队列中删除该视频ID，同时删除该视频在HASHMAP中的KEY和关联空间。

Images