CN110942002B - 一种基于旋转不变感知哈希的无人机航拍视频帧定位方法 - Google Patents

Abstract

本发明提供一种基于旋转不变感知哈希的无人机航拍视频帧定位方法，该方法有一定的平移不变形(pooling原理)；编码时使用差分编码，使得光照天气条件无关；再加上起点无关的圆周编码顺序使具有旋转不变性；圆周编码顺序时不编码边角部分，因为边角部分会因为视角不同差异大，从而排除了旋转时边角的其他景物不同影响。通过在真实无人机视频上的实验表明，本发明对比之前的感知哈希方法，成功解决了传统感知哈希不具有旋转不变的特性。

Description

一种基于旋转不变感知哈希的无人机航拍视频帧定位方法

技术领域

本发明涉及视频图像处理算法领域，更具体地，涉及一种基于旋转不变感知哈希的无人机航拍视频帧定位方法。

背景技术

近年来，随着无人机的普及，利用无人机航拍视频来完成一些任务已经越来越受到工业界的关注。但在无人机河道异常巡航的任务中，需要对同一条河道的不同时间段无人机视频进行逐帧的定位，即找到一个视频上的一帧在另一个视频上同一个位置的一帧。这样的任务仍未有相关的研究。

比较相关的技术有基于深度学习的图片检索，但是不符合无人机视频帧定位的应用，因为深度学习的图片检索旨在找到图片之间的语义匹配，而我们一整段视频的语义信息基本相同并且深度学习耗时过大，而一个短视频具有的帧数巨大。所以我们采用感知哈希(Perceptual Hashing)这样一种简单又快速的相似图片搜索技术。感知哈希是多媒体数据集到感知摘要集的一类单向映射，即将具有相同感知内容的多媒体数字表示唯一地映射为一段数字摘要，并满足感知鲁棒性和安全性。感知哈希为多媒体内容识别、检索、认证等信息服务方式提供安全可靠的技术支撑。

哈希函数(Hash Functions)是不可逆的提取原始数据的数字摘要(Digest)，具有单向性、脆弱性等特点，可保证原始数据的唯一性与不可篡改性。各种哈希函数已在信息检索与管理、数据认证等领域中得到了成功的应用。但是,传统哈希函数已无法满足不同时间的俩段无人机航拍视频的帧定位功能，因为即使在同一个地方不同时间拍摄出来的视频他们之间存在一些镜头旋转的差异，而这样的细微差异使得哈希映射不正确(同一张图片旋转哈希值完全不相同)。

发明内容

本发明提供一种基于旋转不变感知哈希的无人机航拍视频帧定位方法，该方法实现了排除了旋转时边角的其他景物不同影响。

为了达到上述技术效果，本发明的技术方案如下：

一种基于旋转不变感知哈希的无人机航拍视频帧定位方法，包括以下步骤：

S1：对需要定位的视频帧-参考帧和需要检索的视频帧-目标帧进行旋转不变的哈希值计算；

S2：将参考帧和目标帧与另一个时间的无人机视频所有帧对比哈希值差异找到差异最小的一帧。

进一步地，所述步骤S1的具体过程是：

S11：将参考帧和目标帧进行图片缩放；

S12：将缩放后的图片进行灰度图转换；

S13：将灰度图进行获取哈希值的圆周编码顺序；

S14：对S13处理后的图片进行获取哈希值的二进制形式进而获取旋转不变的哈希值；

S15：根据S14的结果得出信息指纹。

进一步地，所述步骤S11的过程是：

把图片统一缩放到8*8，共64个像素的图片，这样操作具有一定的平移不变性，当平移量在缩放范围时，缩略图基本会一致。

进一步地，所述步骤S12的过程是：把缩放后的图片转化为256阶的灰度图。

进一步地，所述步骤S13的过程是：

根据圆周的方式编码哈希使其有旋转不变性，根据图片的长H，取长度为r(1～H/2)作为圆周的半径，每一个半径长度用极坐标的方式x＝rcosθ+x₀，y＝rsinθ+y₀，计算每一个圆周的坐标序列，其中θ为按0～360^°的各个取值，(x₀,y₀)为缩放图片的中心，这样就可以得到r＝1时的一个圆周序列(x¹ ₁,y¹ ₁)(x¹ ₂,y¹ ₂)(x¹ ₃,y¹ ₃).....其中，x^r _i表示半径为r的圆周下按照0°,1°,2°...～360°的度数计算出来的第i个不重复的坐标索引，那么就可以得到S¹＝I(x¹ ₁,y¹ ₁),I(x¹ ₂,y¹ ₂),I(x¹ ₃,y¹ ₃).....一个圆周坐标索引得到的像素值序列，可以得到r个这样的序列记为S(第r个序列为S^r)，这样的编码顺序还会自动把边角影响去除，因为实际的拍摄视频中带有旋转差异的俩帧他们在边角部分会完全不一样。

进一步地，所述步骤S14中获取哈希值的二进制形式的过程是：

采用差分的方式对每一个S^r序列进行编码，遍历灰度图片每一个像素，前一个值大于当前值记录为1，否则为0，最后一个像素值和投一个像素比较，使得它首尾相连，构成圆周，最终获得r个这样的二进制序列记为B，其中第r个序列为B^r。

进一步地，所述步骤S14中获取获取旋转不变的哈希值的过程是：

把B^r做循环移位，把循环移位之后二进制序列值最小的那一个序列作为该圆周的最终序列，最终获得r个这样的与起点无关二进制序列记为Z，其中第r个序列为Z^r。

进一步地，所述步骤S15的过程是：

按照r从1到H/2的顺序，将Z^r组合起来，构成最终的信息指纹X＝Z¹Z²Z³...Z^H/2。

进一步地，所述步骤S2的过程是：

对需要对比的参考帧和目标帧的指纹，计算汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同，在目标帧上所有视频帧都做一次比较，找到汉明距离最小的前20帧，在做进一步的SSIM对比，相似度最高的为所需要的帧。

与现有技术相比，本发明技术方案的有益效果是：

本发明的旋转不变感知哈希通过将图像变换成缩略图，有一定的平移不变形(pooling原理)；编码时使用差分编码，使得光照天气条件无关；再加上起点无关的圆周编码顺序使具有旋转不变性；圆周编码顺序时不编码边角部分，因为边角部分会因为视角不同差异大，从而排除了旋转时边角的其他景物不同影响。通过在真实无人机视频上的实验表明，本发明对比之前的感知哈希方法，成功解决了传统感知哈希不具有旋转不变的特性。

附图说明

图1为本发明算法旋转不变编码方式示意图；

图2为本发明的旋转不变感知哈希的计算示意图；

图3为本发明的视频帧定位应用流程示意图；

图4为经典的Lena图；

图5为实拍视频的帧定位应用结果对比图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1-2所示，一种基于旋转不变感知哈希的无人机航拍视频帧定位方法，包括以下步骤：

S1：对需要定位的视频帧-参考帧和需要检索的视频帧-目标帧进行旋转不变的哈希值计算；

S2：将参考帧和目标帧与另一个时间的无人机视频所有帧对比哈希值差异找到差异最小的一帧。

步骤S1的具体过程是：

S11：将参考帧和目标帧进行图片缩放；

S12：将缩放后的图片进行灰度图转换；

S13：将灰度图进行获取哈希值的圆周编码顺序；

S14：对S13处理后的图片进行获取哈希值的二进制形式进而获取旋转不变的哈希值；

S15：根据S14的结果得出信息指纹。

步骤S11的过程是：

把图片统一缩放到8*8，共64个像素的图片，这样操作具有一定的平移不变性，当平移量在缩放范围时，缩略图基本会一致。

步骤S12的过程是：把缩放后的图片转化为256阶的灰度图。

如图3所示，步骤S13的过程是：

根据圆周的方式编码哈希使其有旋转不变性，根据图片的长H，取长度为r(1～H/2)作为圆周的半径，每一个半径长度用极坐标的方式x＝rcosθ+x₀，y＝rsinθ+y₀，计算每一个圆周的坐标序列，其中θ为按0～360°的各个取值，(x₀,y₀)为缩放图片的中心，这样就可以得到r＝1时的一个圆周序列(x¹ ₁,y¹ ₁)(x¹ ₂,y¹ ₂)(x¹ ₃,y¹ ₃).....其中，x^r _i表示半径为r的圆周下按照0°,1°,2°...～360°的度数计算出来的第i个不重复的坐标索引，那么就可以得到S¹＝I(x¹ ₁,y¹ ₁),I(x¹ ₂,y¹ ₂),I(x¹ ₃,y¹ ₃).....一个圆周坐标索引得到的像素值序列，可以得到r个这样的序列记为S(第r个序列为S^r)，这样的编码顺序还会自动把边角影响去除，因为实际的拍摄视频中带有旋转差异的俩帧他们在边角部分会完全不一样。

步骤S14中获取哈希值的二进制形式的过程是：

采用差分的方式对每一个S^r序列进行编码，遍历灰度图片每一个像素，前一个值大于当前值记录为1，否则为0，最后一个像素值和投一个像素比较，使得它首尾相连，构成圆周，最终获得r个这样的二进制序列记为B，其中第r个序列为B^r。

步骤S14中获取获取旋转不变的哈希值的过程是：

把B^r做循环移位，把循环移位之后二进制序列值最小的那一个序列作为该圆周的最终序列，最终获得r个这样的与起点无关二进制序列记为Z，其中第r个序列为Z^r。

步骤S15的过程是：

按照r从1到H/2的顺序，将Z^r组合起来，构成最终的信息指纹X＝Z¹Z²Z³...Z^H/2。

步骤S2的过程是：

对需要对比的参考帧和目标帧的指纹，计算汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同，在目标帧上所有视频帧都做一次比较，找到汉明距离最小的前20帧，在做进一步的SSIM对比，相似度最高的为所需要的帧。

实验选定了经典的Lena图和对Lena图做旋转之后的图像(如图4)，与传统的哈希phash方法作比较。对比结果如表1。

表1Lena图做旋转之后的图像，与传统的哈希phash方法作比较结果

实验表明我们的旋转不变哈希在Lena图中不论旋转不旋转，他的哈希值都比传统的方法中哈希值更鲁棒。

采用实际的无人机航拍视频。随机选定一个视频帧，在另一个时间段的视频中使用传统的感知哈希phash等方法。全部过程和图3一样。因为没有ground true，我们对最终搜索出来的帧做主观对比。图5为实拍视频的帧定位应用结果对比。

从结果可以看出我们的发明相较于以前的哈希方法有较大的提升，使得带有旋转的帧也能被准确定位。图5中由于整个视频不存在相同的视角帧，所以phash搜索出来的结果十分差。但在本申请方法中准确找到了。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于旋转不变感知哈希的无人机航拍视频帧定位方法，其特征在于，包括以下步骤：

S1：对需要定位的视频帧-参考帧和需要检索的视频帧-目标帧进行旋转不变的哈希值计算；

所述步骤S1的具体过程是：

S11：将参考帧和目标帧进行图片缩放；

S12：将缩放后的图片进行灰度图转换；

S13：将灰度图进行获取哈希值的圆周编码顺序；所述步骤S13的过程是：

根据圆周的方式编码哈希使其有旋转不变性，根据图片的长H，取长度为r（1~H/2）作为圆周的半径，每一个半径长度用极坐标的方式，/>，计算每一个圆周的坐标序列，其中/>为按/>的各个取值，/>为缩放图片的中心，这样就得到r = 1时的一个圆周序列/>其中，/>表示半径为r的圆周下按照/>的度数计算出来的第i个不重复的坐标索引，那么就得到/>一个圆周坐标索引得到的像素值序列，得到r个这样的序列记为/>，第r个序列为/>，这样的编码顺序还会自动把边角影响去除，因为实际的拍摄视频中带有旋转差异的俩帧他们在边角部分会完全不一样；

S14：对S13处理后的图片进行获取哈希值的二进制形式进而获取旋转不变的哈希值；

所述步骤S14中获取哈希值的二进制形式的过程是：

采用差分的方式对每一个序列进行编码，遍历灰度图片每一个像素，前一个值大于当前值记录为1，否则为0，最后一个像素值和投一个像素比较，使得它首尾相连，构成圆周，最终获得r个这样的二进制序列记为/>，其中第r个序列为/>；

所述步骤S14中获取旋转不变的哈希值的过程是：

把做循环移位，把循环移位之后二进制序列值最小的那一个序列作为该圆周的最终序列，最终获得r个这样的与起点无关二进制序列记为/>，其中第r个序列为/>；

S15：根据S14的结果得出信息指纹；

所述步骤S15的过程是：

按照r从1到H/2的顺序，将组合起来，构成最终的信息指纹/>；

S2：将参考帧和目标帧与另一个时间的无人机视频所有帧对比哈希值差异找到差异最小的一帧。

2.根据权利要求1所述的基于旋转不变感知哈希的无人机航拍视频帧定位方法，其特征在于，所述步骤S11的过程是：

把图片统一缩放到8*8，共64个像素的图片，这样操作具有一定的平移不变性，当平移量在缩放范围时，缩略图基本会一致。

3.根据权利要求2所述的基于旋转不变感知哈希的无人机航拍视频帧定位方法，其特征在于，所述步骤S12的过程是：把缩放后的图片转化为256阶的灰度图。

4.根据权利要求3所述的基于旋转不变感知哈希的无人机航拍视频帧定位方法，其特征在于，所述步骤S2的过程是：

对需要对比的参考帧和目标帧的指纹，计算汉明距离，汉明距离越大则说明图片越不一致，反之，汉明距离越小则说明图片越相似，当距离为0时，说明完全相同，在目标帧上所有视频帧都做一次比较，找到汉明距离最小的前20帧，在做进一步的SSIM对比，相似度最高的为所需要的帧。