CN109146833A - 一种视频图像的拼接方法、装置、终端设备及存储介质 - Google Patents
一种视频图像的拼接方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN109146833A CN109146833A CN201810874779.8A CN201810874779A CN109146833A CN 109146833 A CN109146833 A CN 109146833A CN 201810874779 A CN201810874779 A CN 201810874779A CN 109146833 A CN109146833 A CN 109146833A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic point
- matched
- frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000005304 joining Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000003708 edge detection Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 238000011946 reduction process Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 239000003643 water by type Substances 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种视频图像的拼接方法、装置、终端设备及存储介质，方法包括：从待处理视频中提取两个相邻的视频图像帧，并对视频图像帧进行降噪处理，得到两个特定视频图像帧；采用边缘检测法检测特定视频图像帧，确定视频图像帧的匹配区域；查找并提取待匹配图像各自的特征点；采用光流法对特征点进行筛选，根据筛选出的特征点对的空间变换关系，对前后两帧待匹配图像进行空间变换；标定图像的重合区域，并根据重合区域进行图像拼接，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术发现并定位河道，运用视频图像融合技术进行图像的融合拼接，以实现对视频图像中非水域区域的图像进行精确、快速且高效地自动拼接融合。
Description
技术领域
本发明涉及视频图像处理技术领域，尤其涉及一种视频图像的拼接方法、装置、终端设备及存储介质。
背景技术
目前常用的视频图像拼接方法主要有基于区域的图像拼接方法和基于特征的图像拼接方法。基于区域的图像拼接方法又可分为基于空间像素匹配的拼接算法和基于频域的拼接算法；基于特征的拼接方法主要根据采取采集特征的不同进行区分，比如早期的轮廓特征以及后来出现的SIFT特征、SURF特征、ORB特征等。
基于区域的图像拼接方法中，基于像素匹配的拼接算法，主要通过两幅图像像素间的灰度关系来确定图像间的变化参数。早期的匹配方法是通过在相邻重叠部分进行平移，然后比较两幅图像的匹配度，需要测试所有的平移情况。这种方法运算量极大，而且不能解决旋转和尺度变换问题。还有采用基于金字塔结构的多分辨率匹配进行最优匹配搜索，可以在一定程度上解决尺度变换问题，但是对于旋转问题解决的不理想。基于频域的拼接方法，是通过对两幅图像做二维离散傅里叶变换，通过频域内的相关关系反变换得到空间域的相关关系。
基于特征的图像拼接方法中，不是利用图像的全部信息，而是首先在图像中提取特征，通过比较两幅图像的特征得到图像间的变化关系。采用轮廓提取的方法，首先对图像进行卷积增强，检测图像中像素符号变化的点(过零点)作为边界点，提取轮廓后进行特征描述。采用SIFT(Scale Invariant and Feature Transform)，这种方法首先通过建立拉普拉斯金字塔未消除尺度变化的影响，然后在尺度空间内进行特征检测，并根据关键点邻域的梯度方向确定特征点的方向，进而解决尺度及旋转问题。对于基于特征点的图像拼接算法，对拼接质量及速度影响最大的主要在与特征选取，随后出现的SURF特征、ORB特征等都在保证一定质量的情况下更加侧重速度的提升。
现有技术中，视频图像拼接普遍依赖于无人机遥测数据的解析，例如经纬度、高度、速度、俯仰、横滚等信息，需要参考这些数据来执行图像匹配操作，而实际飞行中遥测数据可能与视频不同步，或出现某些无人机遥测数据无法获取的情况，导致传统的视频图像拼接方法无法实现真正的实时拼接。因此，现有技术在追求拼接精度时很难达到实时的效果，而在追求实时的情况下对于上述复杂情况考虑不周全，难以兼顾精度和速度。
在对现有技术的研究和实践过程，本发明的发明人发现，虽然技术人员己经从多种不同的方向对视频图像拼接技术进行了不同程度的改进与优化，但是，目前的视频图像拼接方法仍然普遍存在如下问题:
(1)现有技术采用的特征大都很难达到实时的效果，但是对于拼接连续性及尺度变换效果较差；
(2)现有技术存在过度依赖GPS位置信息的情况，可能导致拼接完全失败。
发明内容
本发明实施例所要解决的技术问题在于，提供基于一种视频图像的拼接方法、装置、终端设备及存储介质，能够仅依靠图像本身，运用视频图像识别技术与视频图像视角变换技术发现并定位河道，以实现对视频图像中水域区域的图像进行实时、快速且稳定地自动拼接融合。
为解决上述问题，一方面，本发明的一个实施例提供一种视频图像的拼接方法，适于在计算设备中执行，包括：
从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
对所述前后两帧待匹配图像分别进行特征点查找，提取各自的特征点；
采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对；
从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
对经过空间变换后的前后两帧待匹配图像的重合区域进行标定，并根据所述重合区域进行图像拼接，得到目标视频图像。
进一步地，所述从待处理视频中提取两个相邻的视频图像帧，并对所述视频帧进行降噪处理，得到两个特定视频帧，具体为：
分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧；
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧；其中，所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
进一步地，所述采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像，具体为：
采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域；
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理；
将优化后的匹配区域的图像作为待匹配图像。
进一步地，所述对前后两帧待匹配图像分别进行特征点查找，提取各自的特征点，具体为：
采用ORB算法、AKAZE算法和BRISK算法，对前后两帧待匹配的图像特征点进行查找，并提取各自的ORB特征点、AKAZE特征点和BRISK特征点。
进一步地，所述采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对，具体为：
采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点；
计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离；
判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
进一步地，所述空间变换关系包括缩放变换关系、平移变换关系和旋转变换关系；
所述从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换，具体为：
根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度；
根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置；
根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
另一方面，本发明的一个实施例还提供了一种视频图像的拼接装置，包括：
预处理模块，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
匹配区域确定模块，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
特征点检测模块，用于对所述前后两帧待匹配图像分别进行特征点查找，提取各自的特征点；
筛选模块，用于运用基本特征点匹配方法对所述特征点进行匹配，得到基本特征点对；采用光流法对所述基本特征点对进行筛选，得到筛选后特征点对；
变换模块，用于根据所述特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
拼接模块，用于根标记经过空间变换后的所述前后两帧待匹配图像的重合区域，根据所述重合区域进行图像拼接，得到目标视频图像。
进一步地，所述筛选模块，具体用于运用基本特征点匹配方法对所述特征点进行匹配，得到基本特征点对，并采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点，然后计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离，并进一步判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
又一方面，本发明的一个实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的视频图像的拼接方法。
又一方面，本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6任一项所述的视频图像的拼接方法。
实施本发明实施例，具有如下有益效果：本发明能够仅依靠图像本身，运用视频图像识别技术发现并定位河道，运用视频图像融合技术进行图像的融合拼接，以实现对视频图像中非水域区域的图像进行精确、快速且高效地自动拼接融合。
附图说明
图1是本发明的一个实施例提供的一种视频图像的拼接方法的流程示意图；
图2是本发明的一个实施例提供的一种视频图像的拼接方法的另一流程示意图；
图3是图1中步骤S106的具体流程示意图；
图4是本发明的另一个施例提供的一种视频图像的拼接装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一实施例：
请参阅图1-3。
如图1-2所示，本实施例提供的一种视频图像的拼接方法，适于在计算设备中执行，至少包括如下步骤：
S101、从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧。
具体的，分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧。
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧，其中，所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
在本实施例中，以无人机航拍的河道图像的拼接为例，所述待处理视频为无人机航拍的河道视频。
可以理解的是，所述二值化处理，指的是将图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。经过二值化处理后，两个特定视频图像帧为黑白灰度的图像。
S102、采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像。
具体的，采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域。
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理。
将优化后的匹配区域的图像作为待匹配图像。
在本实施例中，以无人机航拍的河道图像的拼接为例，边缘检测法是图像处理和计算机视觉中的基本问题，通过边缘检测法能标识数字图像中亮度变化明显的点，进而能检测出图像的所有可能边缘。匹配区域为无人机航拍视频中的非水面区域，即河道两岸区域，其可以根据视频图像河道检测得到的河道水面与期望得到的河岸轮廓之间形状相似的关系进行判断。最后利用边缘优化法对河道两岸区域进行优化。
S103、对所述前后两帧待匹配图像分别进行特征点查找，提取各自的特征点。
具体的，采用ORB算法、AKAZE算法和BRISK算法，对前后两帧待匹配的图像特征点进行查找，并提取各自的ORB特征点、AKAZE特征点和BRISK特征点
在本实施例中，ORB算法、AKAZE算法和BRISK算法三种算法对于高斯模糊、角度旋转、尺度变换和亮度变化等情况下保持良好的性能,而且处理时间较短,实现了有效的特征点查找和图像拼接。
S104、采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对。
具体的：采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点，计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离。
判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
在本实施例中，光流是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。基于特征的光流法不断对目标主要特征进行定位和跟踪，对目标的运动和亮度变化有鲁棒性。
S105、从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
其中，所述空间变换关系包括缩放变换关系、平移变换关系和旋转变换关系。具体的。根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度。根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置。其中，偏差来源于无人机不同时刻在平移方向上的变换引起的。根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点对的空间变换关系，并根据所述特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
在本实施例中，筛选出的三个特征对组合具有相似三角形的特征，而且三个特征点中任意两点连成的直线不水平也不垂直，以消除无人机拍摄角度引起的形变误差问题。对前后两帧待匹配图像进行空间变换，加强了对图像内容的描述区分能力,使其更容易拼接融合。
S106、对经过空间变换后的前后两帧待匹配图像的重合区域进行标定，并根据所述重合区域进行图像融合拼接，得到目标视频图像。
在本实施例中，根据所述特征点对得出其特征点的空间变换参数，根据空间变换参数对前后两帧待匹配图像进行编号，根据编号对图像进行特征点对的匹配。重合区域即为特征点上下边界所围成的区域。图像融合拼接是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。
在本实施例中，重合区域的叠加融合方法的使用比平常的切割拼接方法，更好的将两张图片拼接起来。所拼接得到的目标图像拼接痕迹不明显，具有较强的准确性和兼容性。
本实施例提供的一种视频图像的拼接方法，从待处理视频中提取两个相邻的视频图像帧，并降噪处理，得到两个特定视频图像帧；采用边缘检测法检测特定视频图像帧，确定视频图像帧的匹配区域，并将匹配区域的图像作为待匹配图像并提取特征点；根据特征点的空间变换关系，对前后两帧待匹配图像进行空间变换并且进行特征点匹配，并根据匹配结果标定前后两帧待匹配图像的重合区域；根据重合区域，进行图像拼接融合，得到目标视频图像。本发明能够仅依靠图像本身，运用视频图像识别技术发现并定位河道，运用视频图像融合技术进行图像的融合拼接，以实现对视频图像中非水域区域的图像进行精确、快速且高效地自动拼接融合。
本发明第二实施例：
请参阅图4。
如图4所示，本实施例提供的一种视频图像的拼接装置，包括：
预处理模块201，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧。
具体的，分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的的两个相邻的视频图像帧。
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧，其中，所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
在本实施例中，以无人机航拍的河道图像的拼接为例，所述待处理视频为无人机航拍的河道视频。
可以理解的是，所述二值化处理，指的是将图像上的点的灰度值置为0或255，也就是将整个图像呈现出明显的黑白效果，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阀值的像素被判定为属于特定物体，其灰度值用255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。经过二值化处理后，两个特定视频图像帧为黑白灰度的图像。
匹配区域确定模块202，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像。
具体的，采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域。
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理。
将优化后的匹配区域的图像作为待匹配图像。
在本实施例中，以无人机航拍的河道图像的拼接为例，边缘检测法是图像处理和计算机视觉中的基本问题，通过边缘检测法能标识数字图像中亮度变化明显的点，进而能检测出图像的所有可能边缘。匹配区域为无人机航拍视频中的非水面区域，即河道两岸区域，其可以根据视频图像河道检测得到的河道水面与期望得到的河岸轮廓之间形状相似的关系进行判断。最后利用边缘优化法对河道两岸区域进行优化。
特征点查找模块203，用于对前后两帧待匹配图像分别进行特征点查找，提取各自的特征点。
具体的，采用ORB算法、AKAZE算法和BRISK算法，对前后两帧待匹配的图像特征点进行查找，并提取各自的ORB特征点、AKAZE特征点和BRISK特征点。
在本实施例中，ORB算法、AKAZE算法和BRISK算法三种算法对于高斯模糊、角度旋转、尺度变换和亮度变化等情况下保持良好的性能,而且处理时间较短,实现了有效的特征点查找和图像拼接。
筛选模块204，采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对。
具体的：采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点，计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离。
判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
在本实施例中，光流是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。基于特征的光流法不断对目标主要特征进行定位和跟踪，对目标的运动和亮度变化有鲁棒性。
变换模块205，从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
其中，所述空间变换关系包括缩放变换关系、平移变换关系和旋转变换关系。
具体的，根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度。根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置。其中，偏差来源于无人机不同时刻在平移方向上的变换引起的。根据前后两帧待匹配图像的特征点的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点对的空间变换关系，并根据所述特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
在本实施例中，筛选出的三个特征对组合具有相似三角形的特征，而且三个特征点中任意两点连成的直线不水平也不垂直，以消除无人机拍摄角度引起的形变误差问题。对前后两帧待匹配图像进行空间变换，加强了对图像内容的描述区分能力，使其更容易拼接融合。
拼接模块206，对经过空间变换后的前后两帧待匹配图像的重合区域进行标定，并根据所述重合区域进行图像拼接，得到目标视频图像。
其中，所述筛选模块，具体用于运用基本特征点匹配方法对所述特征点进行匹配，得到基本特征点对，并采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点，然后计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离，并进一步判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
在本实施例中，重合区域即为特征点上下边界所围成的区域。图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。
在本实施例中，重合区域的叠加融合方法的使用比平常的切割拼接方法，更好的将两张图片拼接起来。所拼接得到的目标图像拼接痕迹不明显，具有较强的准确性和兼容性。
在本实施例中，如图3所示，前一帧匹配三个特征点对，后一帧匹配三个特征点对。对特征点对进行空间变换，空间变换包括：特征点对缩放变换，特征点对旋转变换，特征点对平移变换。对经过空间变换后的图像进行拼接融合，具体的，对待匹配视频进行重合区域的标注，重合区域即为特征点上下界所围成的区域。
进一步地，通过图像融合方法对重合区域进行图像的拼接和融合。
在本实施例中，重合区域的叠加融合方法的使用比平常的切割拼接方法，更好的将两张图片拼接起来。所拼接得到的目标图像拼接痕迹不明显，具有较强的准确性和兼容性。
本实施例提供的一种视频图像的拼接装置，通过运用视频图像识别技术与视频图像视角变换技术发现并定位河道，能快速而且稳定地自动拼接视频图像中非水面区域的图像。
本发明的一个实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的视频图像的拼接方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的视频图像的拼接方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种视频图像的拼接方法，适于在计算设备中执行，其特征在于，包括：
从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
对所述前后两帧待匹配图像分别进行特征点查找，提取各自的特征点；
采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对；
从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
对经过空间变换后的前后两帧待匹配图像的重合区域进行标定，并根据所述重合区域进行图像拼接，得到目标视频图像。
2.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述从待处理视频中提取两个相邻的视频图像帧，并对所述视频帧进行降噪处理，得到两个特定视频帧，具体为：
分别计算待处理视频中每一个视频图像帧的锐度和色彩平滑度，并根据所述锐度和所述色彩平滑度提取满足视频图像的拼接条件的两个相邻的视频图像帧；
根据所述视频图像帧的图像清晰度动态选择特定的滤波器进行滤波，并作二值化处理，得到两个特定视频图像帧；其中，所述特定的滤波器包括高斯滤波器、中值滤波器和双边滤波器。
3.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像，具体为：
采用边缘检测法查找所述特定视频图像帧的所有可能边缘，并根据所有可能边缘确定所述特定视频图像帧的连通域；
根据所述连通域确定匹配区域的边缘，并进一步根据所述匹配区域的边缘，对所述匹配区域进行优化处理；
将优化后的匹配区域的图像作为待匹配图像。
4.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述对前后两帧待匹配图像分别进行特征点查找，提取各自的特征点，具体为：
采用ORB算法、AKAZE算法和BRISK算法，对前后两帧待匹配的图像特征点进行查找，并提取各自的ORB特征点、AKAZE特征点和BRISK特征点。
5.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述采用光流法对所述特征点进行筛选，以得到满足图像拼接融合条件的特征点对，具体为：
采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点；
计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离；
判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
6.根据权利要求1所述的视频图像的拼接方法，其特征在于，所述空间变换关系包括缩放变换关系、平移变换关系和旋转变换关系；
所述从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换，
具体为：根据无人机的不同时刻的高度信息，将前后两帧待匹配图像做缩放变换，即将前后两帧待匹配图像统一到相同的高度；
根据无人机的不同时刻拍摄的视频图像帧中匹配区域的位置信息，将前后两帧待匹配图像做平移变换，即将前后两帧待匹配图像统一到匹配区域在图像中间位置；
根据前后两帧待匹配图像的特征点对的匹配特性，得出图像的旋转变换关系，进一步得出前后两帧待匹配图像的特征点的空间变换关系，并根据所述特征点的空间变换关系，对所述前后两帧待匹配图像进行空间变换。
7.一种视频图像的拼接装置，其特征在于，包括：
预处理模块，用于从待处理视频中提取两个相邻的视频图像帧，并对所述视频图像帧进行降噪处理，得到两个特定视频图像帧；
匹配区域确定模块，用于采用边缘检测法检测所述特定视频图像帧，确定所述视频图像帧的匹配区域，并将所述匹配区域的图像作为待匹配图像；
特征点检测模块，用于对所述前后两帧待匹配图像分别进行特征点查找，提取各自的特征点；
筛选模块，用于运用基本特征点匹配方法对所述特征点进行匹配，得到基本特征点对，并采用光流法对所述基本特征点对进行筛选，得到筛选后特征点对；
变换模块，用于从所述的特征点对筛选出三个特征点对组合，根据所述三个特征点对组合中的特征点对的空间变换关系，对所述前后两帧待匹配图像进行空间变换；
拼接模块，用于根标记经过空间变换后的所述前后两帧待匹配图像的重合区域，根据所述重合区域进行图像拼接，得到目标视频图像。
8.根据权利要求7所述的视频图像的拼接装置，其特征在于，
所述筛选模块，具体用于运用基本特征点匹配方法对所述特征点进行匹配，得到基本特征点对，并采用光流法提取前一帧待匹配图像的特征点对应的后一帧待匹配图像的特征点，然后计算前一帧待匹配图像的特征点与对应的后一帧待匹配图像的特征点之间的距离，并进一步判断所述距离是否等于或小于预设阈值，若是，则筛选得到满足图像拼接融合条件的特征点对。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的视频图像的拼接方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6任一项所述的视频图像的拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874779.8A CN109146833A (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874779.8A CN109146833A (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109146833A true CN109146833A (zh) | 2019-01-04 |
Family
ID=64791406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810874779.8A Pending CN109146833A (zh) | 2018-08-02 | 2018-08-02 | 一种视频图像的拼接方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109146833A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859104A (zh) * | 2019-01-19 | 2019-06-07 | 创新奇智(重庆)科技有限公司 | 一种视频生成图片的方法、计算机可读介质及转换*** |
| CN109948602A (zh) * | 2019-01-21 | 2019-06-28 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别*** |
| CN110264406A (zh) * | 2019-05-07 | 2019-09-20 | 威盛电子股份有限公司 | 图像处理装置及图像处理的方法 |
| CN111062984A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111639658A (zh) * | 2020-06-03 | 2020-09-08 | 北京维盛泰科科技有限公司 | 图像匹配中动态特征点检测与剔除的方法和装置 |
| CN111723713A (zh) * | 2020-06-09 | 2020-09-29 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及*** |
| CN111915587A (zh) * | 2020-07-30 | 2020-11-10 | 北京大米科技有限公司 | 视频处理方法、装置、存储介质和电子设备 |
| CN112614051A (zh) * | 2020-12-08 | 2021-04-06 | 上海裕芮信息技术有限公司 | 一种建筑物外立面图像拼接方法、***、设备及存储介质 |
| CN112884817A (zh) * | 2019-11-29 | 2021-06-01 | 中移物联网有限公司 | 稠密光流计算方法、装置、电子设备以及存储介质 |
| CN112906710A (zh) * | 2021-03-26 | 2021-06-04 | 北京邮电大学 | 一种基于bakaze-magsac的视觉图像特征提取方法 |
| WO2023237095A1 (zh) * | 2022-06-09 | 2023-12-14 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013507A1 (en) * | 2003-07-15 | 2005-01-20 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
| CN101504761A (zh) * | 2009-01-21 | 2009-08-12 | 北京中星微电子有限公司 | 一种图像拼接的方法和装置 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟***中航拍视频的快速自动拼接技术 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| CN104301630A (zh) * | 2014-09-10 | 2015-01-21 | 天津航天中为数据***科技有限公司 | 一种视频图像拼接方法及装置 |
| CN105787870A (zh) * | 2016-02-21 | 2016-07-20 | 郑州财经学院 | 一种图形图像拼接融合*** |
-
2018
- 2018-08-02 CN CN201810874779.8A patent/CN109146833A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050013507A1 (en) * | 2003-07-15 | 2005-01-20 | Samsung Electronics Co., Ltd. | Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor |
| CN101504761A (zh) * | 2009-01-21 | 2009-08-12 | 北京中星微电子有限公司 | 一种图像拼接的方法和装置 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟***中航拍视频的快速自动拼接技术 |
| CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
| CN104301630A (zh) * | 2014-09-10 | 2015-01-21 | 天津航天中为数据***科技有限公司 | 一种视频图像拼接方法及装置 |
| CN105787870A (zh) * | 2016-02-21 | 2016-07-20 | 郑州财经学院 | 一种图形图像拼接融合*** |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859104A (zh) * | 2019-01-19 | 2019-06-07 | 创新奇智(重庆)科技有限公司 | 一种视频生成图片的方法、计算机可读介质及转换*** |
| CN109948602A (zh) * | 2019-01-21 | 2019-06-28 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别*** |
| CN109948602B (zh) * | 2019-01-21 | 2023-03-03 | 创新奇智(南京)科技有限公司 | 一种识别商品的方法、计算机可读介质及识别*** |
| CN110264406A (zh) * | 2019-05-07 | 2019-09-20 | 威盛电子股份有限公司 | 图像处理装置及图像处理的方法 |
| CN110264406B (zh) * | 2019-05-07 | 2023-04-07 | 威盛电子(深圳)有限公司 | 图像处理装置及图像处理的方法 |
| CN112884817A (zh) * | 2019-11-29 | 2021-06-01 | 中移物联网有限公司 | 稠密光流计算方法、装置、电子设备以及存储介质 |
| CN112884817B (zh) * | 2019-11-29 | 2022-08-02 | 中移物联网有限公司 | 稠密光流计算方法、装置、电子设备以及存储介质 |
| CN111062984A (zh) * | 2019-12-20 | 2020-04-24 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111062984B (zh) * | 2019-12-20 | 2024-03-15 | 广州市鑫广飞信息科技有限公司 | 视频图像区域面积的测量方法、装置、设备及存储介质 |
| CN111639658A (zh) * | 2020-06-03 | 2020-09-08 | 北京维盛泰科科技有限公司 | 图像匹配中动态特征点检测与剔除的方法和装置 |
| CN111723713A (zh) * | 2020-06-09 | 2020-09-29 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及*** |
| CN111723713B (zh) * | 2020-06-09 | 2022-10-28 | 上海合合信息科技股份有限公司 | 一种基于光流法的视频关键帧提取方法及*** |
| CN111915587A (zh) * | 2020-07-30 | 2020-11-10 | 北京大米科技有限公司 | 视频处理方法、装置、存储介质和电子设备 |
| CN111915587B (zh) * | 2020-07-30 | 2024-02-02 | 北京大米科技有限公司 | 视频处理方法、装置、存储介质和电子设备 |
| CN112614051A (zh) * | 2020-12-08 | 2021-04-06 | 上海裕芮信息技术有限公司 | 一种建筑物外立面图像拼接方法、***、设备及存储介质 |
| CN112906710A (zh) * | 2021-03-26 | 2021-06-04 | 北京邮电大学 | 一种基于bakaze-magsac的视觉图像特征提取方法 |
| WO2023237095A1 (zh) * | 2022-06-09 | 2023-12-14 | 咪咕视讯科技有限公司 | 一种基于环绕视角的视频合成方法、控制器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146833A (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN109146832A (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| Cheng et al. | FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images | |
| CN103679636B (zh) | 基于点、线双重特征的快速图像拼接方法 | |
| GB2569751A (en) | Static infrared thermal image processing-based underground pipe leakage detection method | |
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN105654091B (zh) | 海面目标检测方法及装置 | |
| CN103606139A (zh) | 一种声纳图像拼接方法 | |
| CN112734761B (zh) | 工业品图像边界轮廓提取方法 | |
| Lipschutz et al. | New methods for horizon line detection in infrared and visible sea images | |
| Zhang et al. | Robust visual odometry in underwater environment | |
| CN111597930A (zh) | 一种基于遥感云平台的海岸线提取方法 | |
| CN113177929B (zh) | 一种基于全卷积网络的海面溢油检测方法及其***和应用 | |
| CN109858527A (zh) | 一种图像融合方法 | |
| CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及*** | |
| CN103679694A (zh) | 一种基于全景视觉的舰船小目标检测方法 | |
| CN110021029A (zh) | 一种适用于rgbd-slam的实时动态配准方法及存储介质 | |
| CN106650663A (zh) | 建筑物真伪变化的判定方法及含此方法的伪变化去除方法 | |
| CN113763274B (zh) | 一种联合局部相位锐度定向描述的多源图像匹配方法 | |
| CN117611996A (zh) | 基于深度特征融合的葡萄种植区遥感影像变化检测方法 | |
| CN114359149A (zh) | 基于实时图像边缘增强的坝岸险***检测方法及*** | |
| Tian et al. | Pedestrian detection based on laplace operator image enhancement algorithm and faster R-CNN | |
| CN106169086B (zh) | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 | |
| CN106991682B (zh) | 自动港口货船的提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |