CN113327198A - 一种远距离双目视频拼接方法及*** - Google Patents
一种远距离双目视频拼接方法及*** Download PDFInfo
- Publication number
- CN113327198A CN113327198A CN202110625647.3A CN202110625647A CN113327198A CN 113327198 A CN113327198 A CN 113327198A CN 202110625647 A CN202110625647 A CN 202110625647A CN 113327198 A CN113327198 A CN 113327198A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- splicing
- video
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 19
- 210000003746 feather Anatomy 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000032669 eclosion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
Abstract
一种远距离双目视频拼接方法及***,方法包括:配准:输入双目视频,读取两视频的第一帧,作为配准模块的输入进行配准处理,获得配准参数;视频拼接:依次读取两视频中对应的每一帧,基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果;保存每一帧的拼接结果,将每一帧的拼接结果依次写入最终的结果视频中。本发明公开了一种远距离双目视频拼接算法,采用单应估计和最优缝合线方法,实现双摄像头拍摄图像的拼接,从而得到视觉效果良好的无缝拼接全景图像。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种远距离双目视频拼接方法及***。
背景技术
近年来,随着摄像技术的发展以及摄像机配置成本的下降,越来越多的领域开始使用摄像头监控来代替人眼观察。如安全防护领域的防盗监控、车载摄像头辅助驾驶人员后视以及应用更为广泛的无人机领域。在无人机上架设摄像头可以实现多种情况下的数据采集,而这些情况往往是不适合工作人员直接处理的,比如高空作业、极端天气等情况,摄像头的使用可以大大减少人力物力的消耗。
而由于单个摄像头的视角有限,在实际应用中,单个摄像头进行拍摄往往不能满足需要。通常使用多个摄像头同时拍摄,以提供更大范围的视野,甚至可以得到360度的全景视野。而双摄像头的应用,即双目摄像,在实际应用中较为常见。
理想情况下摄像头安装位置是共光心的。在这种情况下,只要简单地将多个摄像头拍摄的图像按序排列即可,而且视觉效果与单个摄像头拍摄无异。而多个摄像头绝对共光心是无法实现的,只能近似地达到共光心效果,这就要求多个摄像头的拍摄位置相近。而实际应用中,摄像头之间的距离往往较远,比如飞机的机翼两端各安装一个摄像头。这时就必须使用图像拼接算法来得到较好的最终结果。多摄像头拍摄虽然能提供更广泛的视野,但若只是简单地将两路拍摄图像拼合在一起,则不能提供良好地视觉效果。为此,图像拼接技术被提出用以将两幅(或多幅)图像无缝地拼接在一起,使得拼接结果就像单个广角摄像头拍摄的一样,而且没有广角摄像头的图像畸变问题,因此可以提供较好的视觉效果,方便观察。由此可见,图像拼接技术将长期处于计算机视觉领域的研究热点和进一步发展的重要方向。
为实现图像拼接,需根据摄像原理设计图像拼接算法。而图像拼接算法的设计直接决定了最终输出结果的视觉效果。一般的图像拼接算法往往只针对最简单的拍摄情景,不能对复杂的情况做出调整,以至于拼接效果差强人意。而双目摄像的拼接问题中,两个摄像头之间的距离对整个拼接流程有较大影响。对于间距较短的情况,一般的拼接算法就能满足需要,得到几乎无缝的拼接结果。而当实际情况不允许时,即两个摄像头之间的间距较大时,由于大视差问题的存在,一般的拼接算法往往就不能得到满足需要的最终效果。
同时,图像拼接算法应用于实际时,往往还需要考虑视频拼接,而非简单的,只考虑两幅图像间的拼接。若考虑视频拼接,往往从两个方面入手。其一,考虑一个视频的多张连续帧之间的关系,不仅从横向上考虑多个视频输入源之间的空间关系,同时也要从纵向上考虑单个视频输入源的帧序列之间的时间关系。其二,为简化算法复杂度,忽略以上提到的时间关系,单单考虑多视频输入源之间的关系,然后简单的将拼接结果合成为帧序列,形成最终的结果视频。第一种考虑虽然能在视频拼接流程中考虑更多的输入信息,因此也能得到更好的输出效果,但因其算法复杂度过高,在实际应用中并不符合需求。所以第二种考虑方式更加切合实际,也便于实现。
发明内容
鉴于现有技术中存在的技术缺陷和技术弊端,本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种远距离双目视频拼接方法及***,具体方案如下:
作为本发明的第一方面,提供一种远距离双目视频拼接方法,所述方法包括:
步骤1,配准:输入双目视频,读取两视频的第一帧,作为配准模块的输入进行配准处理,获得配准参数,其中,所述配准参数包括投影变换后图像的左上角坐标、投影变换后图像的尺寸、投影变换的坐标映射矩阵、曝光补偿系数以及融合权重等;
步骤2,视频拼接:依次读取两视频中对应的每一帧,基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果;
步骤3,保存每一帧的拼接结果,将每一帧的拼接结果依次写入最终的结果视频中。
进一步地,步骤1中还包括:配准处理后,获取第一帧配准后的拼接结果尺寸,将结果视频的尺寸设定为第一帧的拼接结果尺寸;步骤3中,在将每一帧的拼接结果依次写入最终的结果视频时,将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸,从而使每一帧拼接结果的尺寸相同。
进一步地,步骤2还包括:设置计数器,设置计数阈值,并置计数初始值,每拼接完一帧后对计数器值进行加或减1,并判断计数值是否达到计数阈值;
若计数值未达到计数阈值,则继续进行下一帧的拼接;
若计数值达到计数阈值,则重置计数器值至初始值,并通过步骤1的方法对下一帧进行再配准,获取新的配准参数,并通过新的配准参数对后续帧进行拼接处理。
进一步地,通过配准模块的对输入图像进行配准具体包括:
步骤1.1,令双目摄像得到两个视频中,左侧视频为left-video,右侧视频为right-video,首先将所有的配准参数清空,以保证后续对参数的更新不会出错,然后分别读入left-video一帧图像和right-video对应的一帧图像,作为输入图像,其中left-video一帧图像为左图像,right-video的一帧图像为右图像;
步骤1.2,创建特征提取器:根据特征类型,创建SURF、SIFT或ORB特征提取器,之后根据预设比例参数缩放输入图像,减小输入图像的尺寸,以此加快特征提取的速度,特征提取完成后将提取到的特征点的位置信息和特征信息保存,最后恢复输入图像尺寸;
步骤1.3,匹配特征点:根据预设参数,设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取,当匹配相似度超过该阈值时,保留该匹配点对,否则舍弃该匹配点对;
步骤1.4,配准,即相机标定,根据步骤3.3的匹配信息估计出(计算出)相机的内外参数,具体包括:首先按照预设参数,选定基于单应性的相机标定方法,然后依据步骤3.3的匹配点对的坐标信息估计相机的内外参数,完成标定,之后将左右图像分别对应的焦距focal1和focal2单独取出,以focal1和focal2的中位数作为后续图像缩放的参数,最后进行水平波形校正,改变相机参数中的旋转矩阵;
步骤1.5,图像变形:根据预设参数,采用平面投影的方式进行左右图像变形,并采用步骤4得到的缩放参数缩放图像,图像变形完成之后,保留左右两帧图像变形后的位置和尺寸信息;实际的图像变形操作仍在帧拼接模块中,此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。
步骤1.6,根据预设参数创建分块补偿曝光补偿器,之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器;此时不对图像应用曝光补偿,只是根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器;
步骤1.7,寻找最优缝合线:根据预设参数,创建动态规划缝合线估计器,之后对左右两帧图像寻找最优缝合线,并将找到的缝合线以图像掩码的形式保存。
进一步地,步骤1.7中,使用单侧特征点保留策略,具体包括:在寻找最优缝合线之前,找到左或右图像中的所有经过匹配筛选的特征点,从特征点开始,向左或右开始,直至图像边缘,将沿途所有特征点对应的像素点改为固定颜色,从而寻找最优缝合线,即得到单帧拼接所需的所有配准参数;
得到拼接所需的所有配准参数之后,转入帧拼接模块,开始步骤2所述的视频拼接。
进一步地,步骤2所述的视频拼接具体包括:
步骤2.1,根据预设的缩放参数,恢复图像至原始大小,同时将相机标定参数恢复至与原始图像对应的大小;
步骤2.2,图像变形:按照步骤1.5的方法,将左右图像进行投影变换;
步骤2.3,应用步骤1.6的曝光补偿器对左右图像进行曝光补偿;
步骤2.4,创建羽化融合器,将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器,通过羽化融合器对左右图像进行融合;
步骤2.5,得到当前帧的拼接结果,将拼接结果写入最终的拼接结果视频中,单帧拼接完成。
作为本发明的第二方面,提供一种远距离双目视频拼接***,所述***包括配准模块、拼接模块和结果保存模块;
所述配准模块用于进行图像配准,获得配准参数,具体为:输入双目视频,读取两视频的第一帧,作为配准模块的输入进行配准处理,从而获得配准参数;
所述拼接模块用于进行视频拼接,具体为:依次读取两视频中对应的每一帧,基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果;
所述结果保存模块用于保存每一帧的拼接结果,将每一帧的拼接结果依次写入最终的结果视频中。
其中,所述配准模块还用于在配准处理后,获取第一帧配准后的拼接结果尺寸,将结果视频的尺寸设定为第一帧的拼接结果尺寸;所述结果保存模块在将每一帧的拼接结果依次写入最终的结果视频时,将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸,从而使每一帧拼接结果的尺寸相同。
进一步地,所系***还包括拼接控制模块,所述拼接控制模块用于设置计数器,设置计数阈值,并置计数初始值,每拼接完一帧后对计数器值进行加或减1,并判断计数值是否达到计数阈值;若计数值未达到计数阈值,则继续进行下一帧的拼接;若计数值达到计数阈值,则重置计数器值至初始值,并通过配准模块对下一帧进行再配准,获取新的配准参数,并通过新的配准参数对后续帧进行拼接处理。
进一步地,配准模块的对输入图像进行配准具体包括:
令双目摄像得到两个视频中,左侧视频为left-video,右侧视频为right-video,首先将所有的配准参数清空,以保证后续对参数的更新不会出错,然后分别读入left-video一帧图像和right-video对应的一帧图像,作为输入图像,其中left-video一帧图像为左图像,right-video的一帧图像为右图像;
创建特征提取器:根据预设参数,创建SURF特征提取器,之后根据预设参数缩放输入图像,减小输入图像的尺寸,以此加快特征提取的速度,特征提取完成后将提取到的特征点的位置信息和特征信息保存,最后恢复输入图像尺寸;
匹配特征点:根据预设参数,设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取,当匹配相似度超过该阈值时,保留该匹配点对,否则舍弃该匹配点对;
配准:根据匹配特征点的匹配信息估计出(计算出)相机的内外参数,具体包括:首先按照预设参数,选定基于单应性的相机标定方法,然后依据匹配特征点中的匹配点对的坐标信息估计相机的内外参数,完成标定,之后将左右图像分别对应的焦距focal1和focal2单独取出,以focal1和focal2的中位数作为后续图像缩放的参数,最后进行水平波形校正,改变相机参数中的旋转矩阵;
图像变形:根据预设参数,采用平面投影的方式进行左右图像变形,并采用配准得到的缩放参数缩放图像,图像变形完成之后,保留左右两帧图像变形后的位置和尺寸信息;实际的图像变形操作仍在帧拼接模块中,此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。
根据预设参数创建分块补偿曝光补偿器,之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器;此时不对图像应用曝光补偿,只是根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器;
寻找最优缝合线:根据预设参数,创建动态规划缝合线估计器,之后对左右两帧图像寻找最优缝合线,并将找到的缝合线以图像掩码的形式保存;
其中,使用单侧特征点保留策略,具体包括:在寻找最优缝合线之前,找到左或右图像中的所有经过匹配筛选的特征点,从特征点开始,向左或右开始,直至图像边缘,将沿途所有特征点对应的像素点改为固定颜色,从而寻找最优缝合线,即得到单帧拼接所需的所有配准参数;
得到拼接所需的所有配准参数之后,转入帧拼接模块,开始步骤2所述的视频拼接。
进一步地,视频拼接具体包括:
根据预设的缩放参数,恢复图像至原始大小,同时将相机标定参数恢复至与原始图像对应的大小;
图像变形,将左右图像都变形至相应的位置和形状;
应用曝光补偿器对左右图像进行曝光补偿;
创建羽化融合器,将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器,通过羽化融合器对左右图像进行融合;
得到当前帧的拼接结果,将拼接结果写入最终的拼接结果视频中,单帧拼接完成。
本发明具有以下有益效果:
本发明利用双目摄像头之间的投影变换关系实现了双目视频拼接算法,采取帧计数阈值的方法使得视频拼接结果可根据实际情况在高效稳定和低效率高效果之间权衡,并采用单侧特征点保留的策略提高了双目拼接在远距离情况下的拼接效果。
附图说明
图1为本发明实施例提供的一种远距离双目视频拼接方法的总流程图;
图2为本发明实施例提供的配准模块的流程图;
图3为本发明实施例提供的拼接模块的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明提供的一种远距离双目视频拼接方法能够用计算机软件技术实现流程。实施例以SURF特征、单应变换相机参数估计、平面投影、羽化融合等策略为例对本发明的流程进行一个具体的阐述,如下:
首先,定义预设参数如下:
特征类型:SURF;相机参数估计类型:基于单应性估计;是否采用波形校正:是;波形校正方向:水平;图像变形类型:平面投影;图像融合类型:羽化融合;配准计数阈值:60次。
如图1所示,本发明的具体步骤如下:
步骤1,视频读入,设双目摄像得到两段视频中,左侧视频为left-video,右侧视频为right-video,同时读入left-video和right-video,检测视频文件读入是否出错,若文件丢失或损坏造成读入出错,则提示错误信息:检查输入视频,否则提示读入成功信息,视频读入成功;
步骤2,确定帧数与频率,根据读入视频,获取视频帧率以及视频帧数。默认left-video和right-video的帧率相同而帧数不同,设两视频的帧率为fps,设帧数为frame-num,frame-num为left-video和right-video的帧数的两者之间的较小值;
步骤3,预配准:在正式视频拼接之前,先以left-video和right-video的第一帧进行一次预配准;预配准与正式配准时的操作完全一致,首先进行特征提取、特征点匹配,然后根据匹配信息估计相机参数(即相机标定),之后根据相机参数,选择平面投影变换视频第一帧,最终根据变形后的两帧图像的位置和大小计算出最终视频拼接结果的大小;
例如,设left-video的第一帧经过变换后的图像的左上角坐标为(x1,y1),大小为(w1,h1),同样的,right-video的第一帧经过变换后的图像的左上角坐标为(x2,y2),大小为(w2,h2),则最终拼接结果的尺寸大小为(max(x1+w1,x2+w2)-min(x1,x2),max(y1+h1,y2+h2)-min(y1,y2)),将计算出的尺寸大小信息保存,并且,该大小信息在之后的配准步骤中不再更新,固定为初始值始终不变。
步骤4,创建最终视频拼接结果:将该视频帧率设定为步骤2所求得的fps,将尺寸设定为步骤3求得的最终拼接结果的大小。
步骤5,开始视频拼接:在这一步骤开始时设定一计数值count,初始化为1,之后根据步骤2中求得的视频帧数,重复执行单帧拼接frame-num次。在每次单帧拼接执行中,根据计数值count的值,确定是否在这次拼接之前执行配准模块以更新配准参数;具体情况如下:若count%配准计数阈值=0,则先进行配准,再拼接当前帧,同时count加1。否则直接沿用旧的配准参数拼接当前帧,同时count加1;其中,若配准失败,则仍沿用旧的配准参数拼接当前帧,不过count保持原值不变,这使得下一次帧拼接会继续做配准,以确保定期的配准参数更新不会被跳过。当前帧拼接完成后,随即写入结果视频中;但在写入之前需要调整单帧拼接结果的尺寸大小为步骤3中的最终拼接结果大小;
当所有帧都被读入、拼接并写入结果视频后,整体双目视频拼接流程完成。
其中,配准模块的具体实施过程说明如下:
步骤1.1,首先,将所有的配准参数清空,以保证后续对参数的更新不会出错,然后分别读入left-video和right-video的一帧。
步骤1.2,创建特征提取器,根据特征类型,创建SURF、SIFT或ORB特征提取器,之后根据预设比例参数缩放输入图像,减小输入图像的尺寸,以此加快特征提取的速度,特征提取完成后将提取到的特征点的位置信息和特征信息保存,最后恢复输入图像尺寸。
步骤1.3,匹配特征点:根据预设参数,设定匹配阈值;按照该阈值进行特征点的匹配和选取,当匹配相似度超过该阈值时,保留该匹配点对,否则舍弃该匹配点对。
步骤1.4,配准,即相机标定,根据上一步的匹配信息估计出相机的内外参数。首先,按照预设参数,选定基于单应性的相机标定方法,然后依据上一步的匹配点对的坐标信息估计相机的内外参数,完成标定,之后将左右图像分别对应的焦距focal1和focal2单独取出,以focal1和focal2的中位数作为后续图像缩放的参数;最终,进行水平波形校正,改变相机参数中的旋转矩阵。
步骤1.5,图像变形:根据预设参数,采用平面投影的方式进行图像变形,此时采用步骤1.4得到的缩放参数缩放图像,以加快投影变换的速度,同时也加快了后续步骤的执行速度,图像变形完成之后,保留两帧图像变形后的位置和尺寸信息;实际的图像变形操作仍在帧拼接模块中,此处对图像进行变形操作只是为了后续曝光补偿和寻找最优缝合线做准备。
步骤1.6,根据预设参数创建分块补偿曝光补偿器,之后将变形后的图像、位置信息以及掩码信息输入曝光补偿器,此时不对图像应用曝光补偿,只是根据当前帧预先配置曝光补偿器。
步骤1.7,寻找最优缝合线:根据预设参数,创建动态规划缝合线估计器,之后对当前帧寻找最优缝合线,并将找到的缝合线以图像掩码的形式保存;
其中,此处使用单侧特征点保留策略,具体实施如下:
在寻找最优缝合线之前,找到左或右图像中的所有经过匹配筛选的特征点,从特征点开始,向左或右开始,直至图像边缘,将沿途所有像素点改为任意固定颜色,该策略只用于寻找最优缝合线这一步,在找到缝合线后则舍弃此步骤中做出的改动,将图像恢复原状。
至此,单帧拼接所需的所有配准参数都已经获得,之后转入帧拼接模块,开始正式拼接。
其中,帧拼接模块的具体实施过程说明如下:
步骤2.1,根据预设的缩放参数,恢复图像至原始大小,同时,也将相机标定参数恢复至与原始图像对应的大小。
步骤2.2,基于步骤1.5的方法进行图像变形,将左右两图进行投影变。
步骤2.3,应用步骤1.6的曝光补偿器对左右图像进行曝光补偿。
步骤2.4,创建羽化融合器,将变形后的两图、分别对应的位置以及对应的掩码反馈至羽化融合器,羽化融合器对图像进行融合。
步骤2.5,得到当前帧的拼接结果,将结果写入最终的拼接结果视频中,单帧拼接完成。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种远距离双目视频拼接方法,其特征在于,所述方法包括:
步骤1,配准:输入双目视频,读取两视频的第一帧,作为配准模块的输入进行配准处理,获得配准参数;
步骤2,视频拼接:依次读取两视频中对应的每一帧,基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果;
步骤3,保存每一帧的拼接结果,将每一帧的拼接结果依次写入最终的结果视频中。
2.根据权利要求1所述的远距离双目视频拼接方法,其特征在于,
步骤1中还包括:配准处理后,获取第一帧配准后的拼接结果尺寸,将结果视频的尺寸设定为第一帧的拼接结果尺寸;步骤3中,在将每一帧的拼接结果依次写入最终的结果视频时,将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸,从而使每一帧拼接结果的尺寸相同。
3.根据权利要求1所述的远距离双目视频拼接方法,其特征在于,步骤2还包括:设置计数器,设置计数阈值,并置计数初始值,每拼接完一帧后对计数器值进行加或减1,并判断计数值是否达到计数阈值;
若计数值未达到计数阈值,则继续进行下一帧的拼接;
若计数值达到计数阈值,则重置计数器值至初始值,并通过步骤1的方法对下一帧进行再配准,获取新的配准参数,并通过新的配准参数对后续帧进行拼接处理。
4.根据权利要求1所述的远距离双目视频拼接方法,其特征在于,通过配准模块的对输入图像进行配准具体包括:
步骤1.1,令双目摄像得到两个视频中,左侧视频为left-video,右侧视频为right-video,首先将所有的配准参数清空,然后分别读入left-video一帧图像和right-video对应的一帧图像,作为输入图像,其中left-video一帧图像为左图像,right-video的一帧图像为右图像;
步骤1.2,创建特征提取器:根据特征类型,创建特征提取器,之后根据预设比例参数缩放输入图像,减小输入图像的尺寸,以此加快特征提取的速度,特征提取完成后将提取到的特征点的位置信息和特征信息保存,最后恢复输入图像尺寸;
步骤1.3,匹配特征点:根据预设参数,设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取,当匹配相似度超过该阈值时,保留该匹配点对,否则舍弃该匹配点对;
步骤1.4,配准,即相机标定,根据步骤3.3的匹配信息估计出(计算出)相机的内外参数,具体包括:首先按照预设参数,选定基于单应性的相机标定方法,然后依据步骤3.3的匹配点对的坐标信息估计相机的内外参数,完成标定,之后将左右图像分别对应的焦距focal1和focal2单独取出,以focal1和focal2的中位数作为后续图像缩放的参数,最后进行水平波形校正,改变相机参数中的旋转矩阵;
步骤1.5,图像变形:根据预设参数,采用平面投影的方式进行左右图像变形,并采用步骤4得到的缩放参数缩放图像,图像变形完成之后,保留左右两帧图像变形后的位置和尺寸信息;
步骤1.6,根据预设参数创建分块补偿曝光补偿器,之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器,根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器;
步骤1.7,寻找最优缝合线:根据预设参数,创建动态规划缝合线估计器,之后对左右两帧图像寻找最优缝合线,并将找到的缝合线以图像掩码的形式保存。
5.根据权利要求4所述的远距离双目视频拼接方法,其特征在于,步骤1.7中,使用单侧特征点保留策略,具体包括:在寻找最优缝合线之前,找到左或右图像中的所有经过匹配筛选的特征点,从特征点开始,向左或右开始,直至图像边缘,将沿途所有特征点对应的像素点改为固定颜色,从而寻找最优缝合线,即得到单帧拼接所需的所有配准参数;
得到拼接所需的所有配准参数之后,转入帧拼接模块,开始步骤2所述的视频拼接。
6.根据权利要求4所述的远距离双目视频拼接方法,其特征在于,步骤2所述的视频拼接具体包括:
步骤2.1,根据预设的缩放参数,恢复图像至原始大小,同时将相机标定参数恢复至与原始图像对应的大小;
步骤2.2,图像变形:按照步骤1.5的方法,将左右图像进行投影变换;
步骤2.3,应用步骤1.6的曝光补偿器对左右图像进行曝光补偿;
步骤2.4,创建羽化融合器,将左右两图像以及左右两图像分别对应的位置和掩码反馈至羽化融合器,通过羽化融合器对左右图像进行融合;
步骤2.5,得到当前帧的拼接结果,将拼接结果写入最终的拼接结果视频中,单帧拼接完成。
7.一种远距离双目视频拼接***,其特征在于,所述***包括配准模块、拼接模块和结果保存模块;
所述配准模块用于进行图像配准,获得配准参数,具体为:输入双目视频,读取两视频的第一帧,作为配准模块的输入进行配准处理,从而获得配准参数;
所述拼接模块用于进行视频拼接,具体为:依次读取两视频中对应的每一帧,基于所述配准参数依次对两视频中对应的每一帧进行拼接处理得到拼接结果;
所述结果保存模块用于保存每一帧的拼接结果,将每一帧的拼接结果依次写入最终的结果视频中。
其中,所述配准模块还用于在配准处理后,获取第一帧配准后的拼接结果尺寸,将结果视频的尺寸设定为第一帧的拼接结果尺寸;所述结果保存模块在将每一帧的拼接结果依次写入最终的结果视频时,将每一帧拼接结果的尺寸设置为第一帧拼接结果的尺寸,从而使每一帧拼接结果的尺寸相同。
8.根据权利要求7所述的远距离双目视频拼接***,其特征在于,所系***还包括拼接控制模块,所述拼接控制模块用于设置计数器,设置计数阈值,并置计数初始值,每拼接完一帧后对计数器值进行加或减1,并判断计数值是否达到计数阈值;若计数值未达到计数阈值,则继续进行下一帧的拼接;若计数值达到计数阈值,则重置计数器值至初始值,并通过配准模块对下一帧进行再配准,获取新的配准参数,并通过新的配准参数对后续帧进行拼接处理。
9.根据权利要求7所述的远距离双目视频拼接***,其特征在于,配准模块的对输入图像进行配准具体包括:
令双目摄像得到两个视频中,左侧视频为left-video,右侧视频为right-video,首先将所有的配准参数清空,然后分别读入left-video一帧图像和right-video对应的一帧图像,作为输入图像,其中left-video一帧图像为左图像,right-video的一帧图像为右图像;
创建特征提取器:根据预设参数,创建SURF特征提取器,之后根据预设参数缩放输入图像,减小输入图像的尺寸,以此加快特征提取的速度,特征提取完成后将提取到的特征点的位置信息和特征信息保存,最后恢复输入图像尺寸;
匹配特征点:根据预设参数,设定匹配阈值,按照该阈值对输入图像进行特征点的匹配和选取,当匹配相似度超过该阈值时,保留该匹配点对,否则舍弃该匹配点对;
配准:根据匹配特征点的匹配信息估计出(计算出)相机的内外参数,具体包括:首先按照预设参数,选定基于单应性的相机标定方法,然后依据匹配特征点中的匹配点对的坐标信息估计相机的内外参数,完成标定,之后将左右图像分别对应的焦距focal1和focal2单独取出,以focal1和focal2的中位数作为后续图像缩放的参数,最后进行水平波形校正,改变相机参数中的旋转矩阵;
图像变形:根据预设参数,采用平面投影的方式进行左右图像变形,并采用配准得到的缩放参数缩放图像,图像变形完成之后,保留左右两帧图像变形后的位置和尺寸信息;
根据预设参数创建分块补偿曝光补偿器,之后将变形后的左右两帧图像以及左右两帧图像对应的位置信息以及掩码信息输入曝光补偿器,根据左右两帧图像的位置信息以及掩码信息预先配置曝光补偿器;
寻找最优缝合线:根据预设参数,创建动态规划缝合线估计器,之后对左右两帧图像寻找最优缝合线,并将找到的缝合线以图像掩码的形式保存;
其中,使用单侧特征点保留策略,具体包括:在寻找最优缝合线之前,找到左或右图像中的所有经过匹配筛选的特征点,从特征点开始,向左或右开始,直至图像边缘,将沿途所有特征点对应的像素点改为固定颜色,从而寻找最优缝合线,即得到单帧拼接所需的所有配准参数;
得到拼接所需的所有配准参数之后,转入帧拼接模块,开始步骤2所述的视频拼接。
10.根据权利要求9所述的远距离双目视频拼接***,其特征在于,视频拼接具体包括:
根据预设的缩放参数,恢复图像至原始大小,同时将相机标定参数恢复至与原始图像对应的大小;
图像变形,将左右图像都变形至相应的位置和形状;
应用曝光补偿器对左右图像进行曝光补偿;
创建羽化融合器,将左右两图像以及左右两图像分别对应的位置以及对应的掩码反馈至羽化融合器,通过羽化融合器对左右图像进行融合;
得到当前帧的拼接结果,将拼接结果写入最终的拼接结果视频中,单帧拼接完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110625647.3A CN113327198A (zh) | 2021-06-04 | 2021-06-04 | 一种远距离双目视频拼接方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110625647.3A CN113327198A (zh) | 2021-06-04 | 2021-06-04 | 一种远距离双目视频拼接方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113327198A true CN113327198A (zh) | 2021-08-31 |
Family
ID=77419741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110625647.3A Pending CN113327198A (zh) | 2021-06-04 | 2021-06-04 | 一种远距离双目视频拼接方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113327198A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
CN103442180A (zh) * | 2013-08-27 | 2013-12-11 | 桂林电子科技大学 | 基于sopc的双目视频拼装置及双目视频拼接方法 |
CN107154014A (zh) * | 2017-04-27 | 2017-09-12 | 上海大学 | 一种实时彩色及深度全景图像拼接方法 |
CN109658366A (zh) * | 2018-10-23 | 2019-04-19 | 平顶山天安煤业股份有限公司 | 基于改进ransac和动态融合的实时视频拼接方法 |
CN110717936A (zh) * | 2019-10-15 | 2020-01-21 | 哈尔滨工业大学 | 一种基于相机姿态估计的图像拼接方法 |
CN111242848A (zh) * | 2020-01-14 | 2020-06-05 | 武汉大学 | 基于区域特征配准的双目相机图像缝合线拼接方法及*** |
CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
CN111639530A (zh) * | 2020-04-24 | 2020-09-08 | 国网浙江宁海县供电有限公司 | 一种输电线路的输电塔和绝缘子的检测和识别方法及*** |
CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
CN112330761A (zh) * | 2020-08-31 | 2021-02-05 | 北京航空航天大学 | 基于混合精度训练的深度ect图像增强方法 |
CN112862674A (zh) * | 2020-12-07 | 2021-05-28 | 西安电子科技大学 | 一种基于AutoStitch算法的多图像自动拼接方法和*** |
-
2021
- 2021-06-04 CN CN202110625647.3A patent/CN113327198A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
CN103442180A (zh) * | 2013-08-27 | 2013-12-11 | 桂林电子科技大学 | 基于sopc的双目视频拼装置及双目视频拼接方法 |
CN107154014A (zh) * | 2017-04-27 | 2017-09-12 | 上海大学 | 一种实时彩色及深度全景图像拼接方法 |
CN109658366A (zh) * | 2018-10-23 | 2019-04-19 | 平顶山天安煤业股份有限公司 | 基于改进ransac和动态融合的实时视频拼接方法 |
CN110717936A (zh) * | 2019-10-15 | 2020-01-21 | 哈尔滨工业大学 | 一种基于相机姿态估计的图像拼接方法 |
CN111242848A (zh) * | 2020-01-14 | 2020-06-05 | 武汉大学 | 基于区域特征配准的双目相机图像缝合线拼接方法及*** |
CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
CN111639530A (zh) * | 2020-04-24 | 2020-09-08 | 国网浙江宁海县供电有限公司 | 一种输电线路的输电塔和绝缘子的检测和识别方法及*** |
CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
CN112330761A (zh) * | 2020-08-31 | 2021-02-05 | 北京航空航天大学 | 基于混合精度训练的深度ect图像增强方法 |
CN112862674A (zh) * | 2020-12-07 | 2021-05-28 | 西安电子科技大学 | 一种基于AutoStitch算法的多图像自动拼接方法和*** |
Non-Patent Citations (4)
Title |
---|
甘俊英;黄聿;翟懿奎;姜开永;: "基于轻量级卷积神经网络的人脸美丽预测" * |
程德强 等: "基于改进随机抽样一致算法的视频拼接算法", 《工矿自动化》 * |
管增伦等: "基于改进加速鲁棒特征的井下视频拼接算法", 《工矿自动化》 * |
都伊林: "《智能安防新发展与应用》", 31 July 2018 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
CN106899781B (zh) | 一种图像处理方法及电子设备 | |
CN101309367B (zh) | 成像装置 | |
CN101616310B (zh) | 可变视角及分辨率的双目视觉***目标图像稳定化方法 | |
WO2019031873A1 (en) | CONTINUOUS IMAGE ASSEMBLY | |
WO2014023231A1 (zh) | 宽视场超高分辨率光学成像***及方法 | |
US10489885B2 (en) | System and method for stitching images | |
CN110536057A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US20190166344A1 (en) | Method and device for image white balance, storage medium and electronic equipment | |
CN112261387B (zh) | 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端 | |
WO2021184302A1 (zh) | 图像处理方法、装置、成像设备、可移动载体及存储介质 | |
TWI602154B (zh) | 環景影像的拼接方法及其系統 | |
CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
KR100790887B1 (ko) | 영상 처리장치 및 방법 | |
CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
KR102674601B1 (ko) | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 | |
US11393076B2 (en) | Blurring panoramic image blurring method, terminal and computer readable storage medium | |
CN110276714B (zh) | 快速扫描式全景图图像合成方法及装置 | |
WO2020257999A1 (zh) | 图像处理方法、装置、云台和存储介质 | |
CN112465702A (zh) | 一种多路超高清视频同步自适应拼接显示处理方法 | |
CN107330856A (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
US20210027439A1 (en) | Orientation adjustment of objects in images | |
CN116109484A (zh) | 前景信息保留的图像拼接方法、装置、设备及存储介质 | |
CN113327198A (zh) | 一种远距离双目视频拼接方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210831 |