CN113160053B - 一种基于位姿信息的水下视频图像复原与拼接方法 - Google Patents

一种基于位姿信息的水下视频图像复原与拼接方法 Download PDF

Info

Publication number
CN113160053B
CN113160053B CN202110354434.1A CN202110354434A CN113160053B CN 113160053 B CN113160053 B CN 113160053B CN 202110354434 A CN202110354434 A CN 202110354434A CN 113160053 B CN113160053 B CN 113160053B
Authority
CN
China
Prior art keywords
pose information
frame
key frame
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110354434.1A
Other languages
English (en)
Other versions
CN113160053A (zh
Inventor
丁泉龙
张权
韦岗
曹燕
王一歌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110354434.1A priority Critical patent/CN113160053B/zh
Publication of CN113160053A publication Critical patent/CN113160053A/zh
Application granted granted Critical
Publication of CN113160053B publication Critical patent/CN113160053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于位姿信息的水下视频图像复原与拼接方法，该方法过程如下：通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；将水下视频图像的视频帧和位姿信息进行一一对应；利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原；结合位姿信息将复原后的关键帧划分为多个子模块；将子模块拼接成子模块图像后，再将多个子模块图像合成一张最终的全景图。本发明结合位姿信息，能快速得到清晰的水下全景图。

Description

一种基于位姿信息的水下视频图像复原与拼接方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于位姿信息的水下视频图像复原与拼接方法。
背景技术
网箱所在的水底底质、水位、水流、浮游藻类丰富程度等都会影响网箱养殖的容量。一个好的网箱选址可以为海水养殖提供优越的生存和生长条件,并且在一定程度内提高该水域的养殖容量。对近海浅水区域(一般水深为3到10米)使用无人船搭载水下摄影相机，进行水下视频拍摄后进行全景拼接，可以得到水下地形地貌，有利于辅助网箱选址，从而进行科学布局。
水下视频图像由水下摄影相机获取，在对视频复原和拼接前，需要通过从视频中提取关键帧用以减少视频采集过程中产生的信息冗余，减少数据处理量。常见的关键帧提取方法有:基于采样、帧间差、累积帧间差、聚类和运动信息等方法。基于采样的关键帧提取方法速度块、实现简单，但是较依赖于采样间隔的设置，当间隔过小时，得到的关键帧之间存在较大的冗余，当间隔过大时，有可能得到的相邻关键帧之间没有重叠区域。基于聚类的关键帧提取方法存在对初始参数敏感和计算复杂度大的缺点。这些方法直接对视频进行关键帧提取，没有充分考虑水下摄影相机的姿态以及地理位置信息。若能将视频结合位置(GPS)信息以及姿态信息，简称位姿信息(可以通过无人船上的位姿信息记录模块获取)，则能很好的解决该问题。
由于受到水中微粒和杂质的散射以及水介质的吸收作用而产生强烈的衰减，水下图像一般存在偏色、模糊以及视场范围小的问题；此外，由于人工光源的影响，水下图像还存在光照不均匀的问题。直接使用获取到的水下图像进行图像拼接容易导致拼接失败，所以需要对水下图像进行匀光和去雾处理。传统的水下图像复原方法有基于暗通道的去雾算法，基于直方图均衡化的算法，基于同态滤波的算法，基于小波变换的算法以及基于图像融合的算法。这些方法对于因人工光源带来的光照不均的情况下，处理的结果并不理想。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于位姿信息的水下视频图像复原与拼接方法。该方法首先将水下视频图像的视频帧和位姿信息结合在一起，使得水下视频图像的每一视频帧对应一条位姿信息，并对其进行时间校准；根据位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧；提出一种改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法对水下视频图像进行复原；结合位姿信息将经过复原后的关键帧划分为多个子模块；将子模块拼接成子模块图像后，再将子模块图像拼接成一张最终的全景图。
本发明的目的可以通过采取如下技术方案达到：
一种基于位姿信息的水下视频图像复原与拼接方法，所述水下视频图像复原与拼接方法包括以下步骤：
S1、通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；
S2、将水下视频图像的视频帧和位姿信息进行一一对应；
S3、利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；
S4、采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原，得到复原后的关键帧；
S5、结合位姿信息将复原后的关键帧划分为多个子模块；
S6、将子模块拼接成子模块图像后，再将多个子模块图像拼接成一张最终的全景图。
进一步地，所述水下视频图像采集装置包括相机模块和位姿信息记录模块，其中，所述相机模块，由相机、第一SD卡组成，相机用于拍摄水下视频图像，第一SD卡用于保存带有同步校准信号的水下视频图像；所述位姿信息记录模块，由主控制器、陀螺仪、GPS、水下超声测距传感器、信号灯以及第二SD卡组成，主控制器用于控制其他单元的工作，陀螺仪用于获取相机的姿态信息，GPS用于获取相机的位置信息，水下超声测距传感器用于获取相机距离水底的高度，信号灯用于给相机模块发送光信号，第二SD卡用于保存相机的位姿信息。
进一步地，因为水下视频图像和位姿信息不是同一个***采集得到的，要将两者结合起来需要一种通信方式；常用的通信方式有声、光、电等信号；其中，光信号传播速度快，导致的误差小，且实现简单，所以使用光信号作为视频帧和位姿信息的开始和时间校准信号，所述步骤S1过程如下：
首先启动相机模块开始拍摄水下视频图像，然后启动位姿信息记录模块，位姿信息记录模块在开始记录位姿信息之前，先控制信号灯给相机一个灯光信号1，然后开始记录位姿信息，此后每隔一段时间，控制信号灯给相机一个灯光信号2，并将当前位姿信息的Flag置为1。
其中，灯光信号1用于作为后期数据处理时视频帧和位姿信息的开始信号；灯光信号2用于作为后期数据处理时视频帧和位姿信息的时间校准信号。
进一步地，所述步骤S2过程如下：
读取经过步骤S1获取的水下视频图像，以检测到含灯光的视频帧作为信号帧，以连续检测到一定数目的信号帧作为开始信号，以检测到的所有信号帧中的最后一帧作为对应第一条位姿信息的视频帧，此后依次将每一帧视频帧与每一条位姿信息进行一一对应；
其中，判断当前视频帧是否为信号帧的过程如下：把当前视频帧均匀分为上、下、左、右四个区域，分别统计每个区域中通道R的数值大于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2，以及通道G、B的数值小于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2；如果有一个区域中R、G、B三个通道的数值分布满足以上条件，则当前视频帧是信号帧；否则当前视频帧不是信号帧。
进一步地，在提取关键帧时，利用位姿信息结合相机成像原理求得视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧；相较于基于采样的关键帧提取方法，能快速提取出关键帧的同时，保证关键帧之间的重叠面积在一个合理的范围内；相较于基于聚类的关键帧提取方法，计算复杂度小，所述步骤S3过程如下：
S301、以对应第一条位姿信息的视频帧作为当前帧，以第一条位姿信息作为当前帧的位姿信息；
S302、判断当前帧的位姿信息的Flag是否为1，如果为1则执行步骤S303，如果不为1则执行步骤S305；
S303、判断当前帧是否为信号帧，如果是，则说明没有发生时间偏差，执行步骤S309，如果不是，则说明有发生时间偏差，执行步骤S304；
S304、分别往前和往后检测N帧，如果有检测到信号帧，则把该信号帧置为当前帧，执行步骤S309，如果没有检测到信号帧，则结束步骤S3；
S305、判断当前帧的翻滚角和俯仰角的绝对值是否小于阈值beta1，如果不小于阈值beta1则执行步骤S309，如果小于阈值beta1则执行步骤S306；
S306、判断关键帧缓存队列是否为空，如果为空则执行步骤S308，如果不为空则执行步骤S307；
S307、结合位姿信息计算当前帧和关键帧缓存队列里的最后一帧的重叠面积，并判断重叠面积与当前帧面积的比例是否在beta2范围内，如果在beta2范围内则执行步骤S308，如果不在beta2范围则执行步骤S309；
S308、将当前帧作为关键帧进行提取，然后存入关键帧缓存队列，执行步骤S309；
S309、判断是否还有下一视频帧和下一条位姿信息，如果有则读取下一视频帧作为当前帧，读取下一条位姿信息作为当前帧的位姿信息，重复执行步骤S302-步骤S309，如果没有则结束步骤S3。
进一步地，所述步骤S307中计算重叠面积的过程如下：
S3071、将关键帧缓存队列里的最后一帧作为上一关键帧，以上一关键帧的拍摄位置作为坐标原点，以正西为X轴正方向，正北为Y轴正方向，正地为Z轴正方向建立坐标系，结合位姿信息计算当前帧到上一关键帧的单应矩阵H，H为3×3的矩阵，计算公式如下：
Figure BDA0003003151170000051
其中，H1为上一关键帧到投影平面的单应矩阵，
Figure BDA0003003151170000052
为H1的逆矩阵，H2为当前帧到投影平面的单应矩阵；
其中，因为以上一关键帧的拍摄位置作为坐标原点，平移向量为零向量，所以H1的计算公式如下：
H1＝KR1K-1 (2)
其中，K为相机的内参数矩阵，通过相机标定得到，R1为3×3的旋转矩阵；
Figure BDA0003003151170000061
其中，f表示相机的焦距；dx和dy分别表示关键帧上每一个像素在坐标轴方向的物理尺寸，单位为mm/pixel；(u0，v0)为相机光轴与关键帧平面交点的坐标，位于关键帧的中心处；
Figure BDA0003003151170000062
其中，
Figure BDA0003003151170000063
θ1、ψ1分别为上一关键帧拍摄时相机的翻滚角、俯仰角、航向角；
H2的计算公式如下：
Figure BDA0003003151170000064
其中，R2为3×3的旋转矩阵，I为单位矩阵，t为三维平移向量，d为坐标原点到水底平面的距离，n为水底平面的单位法向量[0，0，-1]，nT表示向量n的转置；
Figure BDA0003003151170000065
其中，
Figure BDA0003003151170000066
θ2、ψ2分别为当前帧拍摄时相机的翻滚角、俯仰角、航向角；
t＝[x2-x1，y2-y1，z2-z1]T (7)
x2-x1＝(lon2-lon1)×111110×cos(lat1×π/180) (8)
y2-y1＝(lat2-lat1)×111110 (9)
z2-z1＝h2-h1 (10)
其中，(x1，y1，z1)表示上一关键帧拍摄位置的坐标，(x2，y2，z2)表示当前帧拍摄位置的坐标，lon1、lat1、h1分别为上一关键帧拍摄位置的经度、维度和距离水底的高度，lon2、lat2、h2分别为当前帧拍摄位置的经度、维度和距离水底的高度；
S3072、计算当前帧经过单应变换后的四个顶点的坐标位置position，计算公式如下：
Figure BDA0003003151170000071
position＝vertex./vertex(3，：) (12)
其中，width表示当前帧的宽度，height表示当前帧的高度，vertex./vertex(3，：)表示对齐次坐标进行归一化处理，得到二维平面的坐标；
S3073、统计当前帧经过单应变换后的四边形的顶点在上一关键帧表示的矩形内的顶点；
S3074、计算当前帧经过单应变换后的四边形的每条边与上一关键帧的每条边的交点；
S3075、对上述求得的顶点和交点进行顺时针或者逆时针排序；
S3076、求出重叠区域的多边形的面积，以多边形的任一顶点为固定点，将其划分为多个三角形，分别计算每一个三角形的面积并求和，得到重叠面积的大小。
进一步地，在对关键帧进行水下图像复原时，使用伽马函数来对亮通道进行较正，代替原算法中对亮通道进行线性滑动拉伸，对存在光照不均匀的水下视频图像有更好的匀光处理效果，所述步骤S4过程如下：
S401、将关键帧从RGB颜色模型转换为HSV颜色模型；
S402、对亮通道V用不同尺度的高斯函数进行卷积并加权，得到光照分量的估计值I(x，y)；
Figure BDA0003003151170000072
Figure BDA0003003151170000073
其中，(x，y)表示亮通道的坐标，V(x，y)表示亮通道，G(xg，yg)表示高斯函数，ωl表示第l个尺度高斯函数对亮通道V卷积得到的光照分量的加权系数；Nl为不同尺度高斯函数的总个数，l＝1，2，...，Nl，σ为高斯函数的标准差，(xg，yg)表示高斯函数的模板坐标，模板中心位置为原点；
S403、使用二维伽马函数对亮通道V进行校正，其中二维伽马函数的公式如下：
Figure BDA0003003151170000081
Figure BDA0003003151170000082
其中，VO(x，y)为校正后的亮通道的值，γ为用于亮度增强的指数值，该指数值包含关键帧的光照分量特性，m为光照分量的亮度均值；
S404、将经过步骤S402和S403处理后的关键帧从HSV颜色模型转换为RGB颜色模型，求通道G、B的色彩均衡系数θg、θb，并且对通道G、B的像素值分别乘以色彩均衡系数θg、θb进行色彩均衡，得到均衡后的RGB颜色模型；其中θg、θb的计算公式如下：
Figure BDA0003003151170000083
Figure BDA0003003151170000084
Figure BDA0003003151170000085
Figure BDA0003003151170000086
其中，Gavg、Bavg分别为通道G、B恢复后的归一化平均值，M为关键帧的高度，N为关键帧的宽度，Ig(i，j)为通道G在(i，j)处的值，Ib(i，j)为通道B在(i，j)处的值，i表示通道G、B的第i列，j表示通道G、B的第j行；
S405、对均衡后的R、G、B三通道进行全局直方图拉伸，计算公式如下：
Figure BDA0003003151170000087
其中，Pin为输入像素值，Pout为进行直方图拉伸后的像数值，Imin的大小为对该通道的像素值按照从小到大排序后位于0.5％位置的像数值，Imax的大小为对该通道的像素值按照从小到大排序后位于99.5％位置的像数值，Omax为255，Omin为0；
S406、将步骤S405处理后的关键帧从RGB颜色模型转换到CIELab颜色模型，对CIELab颜色模型中的通道a、b的颜色等级进行修改，计算公式如下：
Figure BDA0003003151170000091
其中，
Figure BDA0003003151170000092
表示输入通道的颜色值，
Figure BDA0003003151170000093
表示输出颜色值，
Figure BDA0003003151170000094
表示最优实验值，
Figure BDA0003003151170000095
取经验值，
Figure BDA0003003151170000099
取值为通道a或通道b；
S407、将步骤S406处理后的关键帧从CIELab颜色模型转换回RGB颜色模型，得到复原后的关键帧。
进一步地，所述步骤S5过程如下：
遍历所有关键帧，计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小，以位姿信息的绝对值变化累加起来值最小的关键帧作为参考图像；找到全局最优的关键帧，以全局最优的关键帧作为全局的参考图像；在全局最优的关键帧两侧，继续递归找到所有局部最优的关键帧，以局部最优的关键帧作为局部的参考图像；以全局最优的关键帧为根节点，以局部最优的关键帧为子节点，将所有的关键帧按照二叉树的结构划分为多个子模块。
进一步地，所述计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小的公式如下：
Figure BDA0003003151170000096
其中，iτ∈[1，N]，
Figure BDA0003003151170000097
分别表示第iτ张关键帧的翻滚角、俯仰角和距离水底的高度，
Figure BDA0003003151170000098
分别表示第jτ张关键帧的翻滚角、俯仰角和距离水底的高度，α、β分别表示角度变化和高度变化带来的影响所占的权重，Nτ表示关键帧的总数。
进一步地，所述步骤S6过程如下：先拼接二叉树最底层的子模块，逐层的向上拼接，得到最终的全景图；其中，在子模块内，以局部最优的关键帧作为参考图像，完成所有相邻两张图像的拼接和融合；
相邻两张图像的拼接的过程如下：利用位姿信息来计算相邻两张图像的大致重叠区域，在重叠区域内使用尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法求取特征点，使用最佳优先搜索(Best Bin First,BBF)算法来进行特征点的粗匹配，然后使用渐进一致采样(Progressive Sample Consensus,PROSAC)算法来进行特征点的精匹配，使用直接线性变换(Direct Linear Transform,DLT)算法来计算相邻两张图像之间的单应矩阵，以其中一张图像作为参考图像，另一张图像作为目标图像，利用单应矩阵将目标图像投影到参考图像，完成相邻两张图像的拼接；
相邻两张图像的融合的过程如下：在两张待拼接图像的重叠区域使用基于动态规划的最佳缝合线算法求得最佳缝合线；以参考图像中的整个重叠区域部分作为背景图像，以目标图像中的靠近目标图像部分的缝合线一侧的重叠区域部分作为待克隆图像区域，对重叠区域部分进行泊松融合，完成最终的图像融合。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明将从不同***采集的视频帧和位姿信息结合在一起的方法，使得水下视频图像的每一视频帧对应一条位姿信息，并对视频帧和位姿信息进行时间校准。
(2)本发明利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，避免提取出的相邻关键帧之间重叠面积过小导致拼接失败，或者重叠面积过大增加运算时间，能够快速提取出关键帧。
(3)本发明提出一种改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强方法，对存在光照不均匀的水下视频图像有很好的匀光和去雾效果。
(4)本发明结合位姿信息从关键帧中选取全局和局部的投影平面，将关键帧按照二叉树的结构划分为多个子模块，采用先局部拼接再整体拼接的方法，能减小多图拼接产生的累计误差。
(5)本发明在特征点提取过程中，利用位姿信息计算出重叠区域，在重叠区域内提取特征点，缩小特征点提取范围，有效减少提取特征点和特征点匹配的时间。
附图说明
图1是本发明中公开的一种基于位姿信息的水下视频图像复原与拼接装置的结构框图；
图2是本发明中公开的一种基于位姿信息的水下视频图像复原与拼接方法的工作流程图；
图3是本发明中获取带有同步校准信号的水下视频图像和相机的位姿信息的流程图；
图4是本发明中将从不同***采集的视频帧和位姿信息进行对应的流程图；
图5是本发明中结合位姿信息获取关键帧的流程图；
图6是本发明中利用位姿信息计算两张图像的重叠面积的流程图；
图7是本发明中水下图像复原的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图2所示，本实施例提出的一种基于位姿信息的水下视频图像复原与拼接方法。
S1、通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息，
其中，水下视频图像采集装置的结构如图1所示，包括相机模块和位姿信息记录模块，其中，相机模块，由相机、第一SD卡组成，相机用于拍摄水下视频图像，第一SD卡用于保存带有同步校准信号的视频文件；位姿信息记录模块，由主控制器、陀螺仪、GPS、水下超声测距传感器、信号灯以及第二SD卡组成，主控制器用于控制其他单元的工作，陀螺仪用于获取相机的姿态信息，GPS用于获取相机的位置信息，水下超声测距传感器用于获取相机距离水底的高度，信号灯用于给相机模块发送光信号，第二SD卡用于保存位姿信息
该步骤S1的流程如图3所示；
S101、启动相机模块开始拍摄水下视频图像；
S102、启动位姿信息记录模块，控制红色(考虑到水下图像呈现出蓝绿色偏，信号灯光的颜色选择红色)信号灯亮6个周期(相机和位姿信息记录模块采用相同的频率)的时间，然后灭1个周期的时间；
S103、位姿信息记录模块控制红色信号灯亮1个周期的时间，同时记录位姿信息，将当前位姿信息的Flag置为1，周期数n置为0；
S104、周期数n＝n+1；
S105、判断是否过去3000个周期，如果是则执行步骤S103，如果不是则执行步骤S106；
S106、位姿信息记录模块记录当前位姿信息，执行步骤S107；
S107、是否停止采集数据，如果不是则执行步骤S104，如果是则结束步骤S1。
S2、将水下视频图像的视频帧和位姿信息进行一一对应，该步骤S2的流程如图4所示；
S201、读取经过步骤S1获取的水下视频图像，以视频的第一帧作为当前视频帧；
S202、判断当前视频帧是否是信号帧，如果是则执行步骤S203；如果不是则执行步骤S204；
S203、分别往前和往后检测5帧，计算连续检测到信号帧的总数，如果总数大于等于6，则执行步骤S204，否则执行步骤S205；
S204、以连续检测到信号帧的第1帧往后的第7帧为当前视频帧，判断当前视频帧是否为信号帧，如果不是，则执行步骤S205，如果是，则当前视频帧是对应第一条位姿信息的视频帧，此后的每一帧视频帧与每一条位姿信息一一对应，结束步骤S2；
S205、判断当前视频帧后面的第6帧是否存在，如果存在，则读取当前视频帧后面的第6帧作为当前视频帧，重复执行步骤S202-步骤S205，如果不存在，结束步骤S2；
其中，判断当前视频帧是否是信号帧的过程如下：
把当前视频帧均匀分为上、下、左、右四个区域，分别计算每个区域中通道R中数值大于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2，以及通道G、B中数值小于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2；如果有一个区域中R、G、B三个通道的数值分布满足以上条件，则当前视频帧是信号帧；否则当前视频帧不是信号帧；
本实施例中，上述阈值alpha1的取值为150，阈值alpha2的取值为0.8。
S3、利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；该步骤的流程如图5所示；
S301、以对应第一条位姿信息的视频帧作为当前帧，以第一条位姿信息作为当前帧的位姿信息；
S302、判断当前帧的位姿信息的Flag是否为1，如果为1则执行步骤S303，如果不为1则执行步骤S305；
S303、判断当前帧是否为信号帧，如果是，则说明没有发生时间偏差，执行步骤S309，如果不是，则说明有发生时间偏差，执行步骤S304；
S304、分别往前和往后检测N帧，如果有检测到信号帧，则把该信号帧置为当前帧，执行步骤S309，如果没有检测到信号帧，则结束步骤S3；
S305、判断当前帧的翻滚角和俯仰角的绝对值是否小于阈值beta1，如果不小于阈值beta1则执行步骤S309，如果小于阈值beta1则执行步骤S306；
S306、判断关键帧缓存队列是否为空，如果为空则执行步骤S308，如果不为空则执行步骤S307；
S307、结合位姿信息计算当前帧和关键帧缓存队列里的最后一帧的重叠面积，并判断重叠面积与当前帧面积的比例是否在beta2范围内，如果在beta2范围内则执行步骤S308，如果不在beta2范围则执行步骤S309；
S308、将当前帧作为关键帧进行提取，然后存入关键帧缓存队列，执行步骤S309；
S309、判断是否还有下一视频帧和下一条位姿信息，如果有则读取下一视频帧作为当前帧，读取下一条位姿信息作为当前帧的位姿信息，重复执行步骤S302-步骤S309，如果没有则结束步骤S3。
本实施例中，上述阈值beta1取值为3，beta2取值范围为0.3-0.8，N取值为5。
该步骤S307中计算重叠面积的流程如图6所示，过程如下：
S3071、将关键帧缓存队列里的最后一帧作为上一关键帧，以上一关键帧的拍摄位置作为坐标原点，以正西为X轴正方向，正北为Y轴正方向，正地为Z轴正方向建立坐标系，结合位姿信息计算当前帧到上一关键帧的单应矩阵H，H为3×3的矩阵，计算公式如下：
Figure BDA0003003151170000151
其中，H1为上一关键帧到投影平面的单应矩阵，
Figure BDA0003003151170000152
为H1的逆矩阵，H2为当前帧到投影平面的单应矩阵；
H1的计算公式如下：
H1＝KR1K-1 (2)
其中，K为相机的内参数矩阵，通过相机标定得到，R1为3×3的旋转矩阵；
Figure BDA0003003151170000153
其中，f表示相机的焦距；dx和dy分别表示关键帧上每一个像素在坐标轴方向的物理尺寸，单位为mm/pixel；(u0，v0)为相机光轴与关键帧平面交点的坐标，位于关键帧的中心处；
Figure BDA0003003151170000154
其中，
Figure BDA0003003151170000155
θ1、ψ1分别为上一关键帧拍摄时相机的翻滚角、俯仰角、航向角；
H2的计算公式如下：
Figure BDA0003003151170000156
其中，R2为3×3的旋转矩阵，I为单位矩阵，t为三维平移向量，d为坐标原点到水底平面的距离，n为水底平面的单位法向量[0，0，-1]，nT表示向量n的转置；
Figure BDA0003003151170000157
其中，
Figure BDA0003003151170000161
θ2、ψ2分别为当前帧拍摄时相机的翻滚角、俯仰角、航向角；
t＝[x2-x1，y2-y1，z2-z1]T (7)
x2-x1＝(lon2-lon1)×111110×cos(lat1×π/180) (8)
y2-y1＝(lat2-lat1)×111110 (9)
z2-z1＝h2-h1 (10)
其中，(x1，y1，z1)表示上一关键帧拍摄位置的坐标，(x2，y2，z2)表示当前帧拍摄位置的坐标，lon1、lat1、h1分别为上一关键帧拍摄位置的经度、维度和距离水底的高度，lon2、lat2、h2分别为当前帧拍摄位置的经度、维度和距离水底的高度；
S3072、计算当前帧经过单应变换后的四个顶点的坐标位置position，计算公式如下：
Figure BDA0003003151170000162
position＝vertex./vertex(3，：) (12)
其中，width表示当前帧的宽度，height表示当前帧的高度，vertex./vertex(3，：)表示对齐次坐标进行归一化处理，得到二维平面的坐标；
S3073、统计当前帧经过单应变换后的四边形的顶点在上一关键帧表示的矩形内的顶点；
S3074、计算当前帧经过单应变换后的四边形的每条边与上一关键帧的每条边的交点；
S3075、对上述求得的顶点和交点进行顺时针或者逆时针排序；
S3076、求出重叠区域的多边形的面积，以多边形的任一顶点为固定点，将其划分为多个三角形，分别计算每一个三角形的面积并求和，得到重叠面积的大小，计算任意三角形面积的计算公式如下：
Figure BDA0003003151170000163
其中，SABC表示三角形ABC面积，
Figure BDA0003003151170000164
表示向量的叉乘。
S4、采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原，得到复原后的关键帧，该步骤S4的流程如图7所示；
S401、将关键帧从RGB颜色模型转换为HSV颜色模型；
S402、对亮通道V用不同尺度的高斯函数进行卷积并加权，得到光照分量的估计值I(x，y)；
Figure BDA0003003151170000171
Figure BDA0003003151170000172
其中，(x，y)表示亮通道的坐标，V(x，y)表示亮通道，G(xg，yg)表示高斯函数，ωl表示第l个尺度高斯函数对亮通道V卷积得到的光照分量的加权系数；Nl为不同尺度高斯函数的总个数，l＝1，2，...，Nl，σ为高斯函数的标准差，(xg，yg)表示高斯函数的模板坐标，模板中心位置为原点；
S403、使用二维伽马函数对亮通道V进行校正，其中二维伽马函数的公式如下：
Figure BDA0003003151170000173
Figure BDA0003003151170000174
其中，VO(x，y)为校正后的亮通道的值，γ为用于亮度增强的指数值，该指数值包含关键帧的光照分量特性，m为光照分量的亮度均值；
S404、将经过步骤S402和S403处理后的关键帧从HSV颜色模型转换为RGB颜色模型，求通道G、B的色彩均衡系数θg、θb，并且对通道G、B的像素值分别乘以色彩均衡系数θg、θb进行色彩均衡，得到均衡后的RGB颜色模型；其中θg、θb的计算公式如下：
Figure BDA0003003151170000175
Figure BDA0003003151170000176
Figure BDA0003003151170000181
Figure BDA0003003151170000182
其中，Gavg，Bavg分别为通道G、B恢复后的归一化平均值，M为关键帧的高度，N为关键帧的宽度，Ig(i，j)为通道G在(i，j)处的值，Ib(i，j)为通道B在(i，j)处的值，i表示通道G、B的第i列，j表示通道G、B的第j行；
S405、对均衡后的R、G、B三通道进行全局直方图拉伸，计算公式如下：
Figure BDA0003003151170000183
其中，Pin为输入像素值，Pout为进行直方图拉伸后的像数值，Imin的大小为对该通道的像素值按照从小到大排序后位于0.5％位置的像数值，Imax的大小为对该通道的像素值按照从小到大排序后位于99.5％位置的像数值，Omax为255，Omin为0；
S406、将步骤S405处理后的关键帧从RGB颜色模型转换到CIELab颜色模型，对CIELab颜色模型中的通道a、b的颜色等级进行修改，计算公式如下：
Figure BDA0003003151170000184
其中，
Figure BDA0003003151170000185
表示输入通道的颜色值，
Figure BDA0003003151170000186
表示输出颜色值，
Figure BDA0003003151170000187
表示最优实验值，
Figure BDA0003003151170000188
取经验值，
Figure BDA0003003151170000189
取值为通道a或通道b；
S407、将步骤S406处理后的关键帧从CIELab颜色模型转换回RGB颜色模型，得到复原后的关键帧。
S5、结合位姿信息将复原后的关键帧划分为多个子模块；
遍历所有关键帧，计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小，以位姿信息的绝对值变化累加起来值最小的关键帧作为参考图像；找到全局最优的关键帧，以全局最优的关键帧作为全局的参考图像；在全局最优的关键帧两侧，继续递归找到所有局部最优的关键帧，以局部最优的关键帧作为局部的参考图像；以全局最优的关键帧为根节点，以局部最优的关键帧为子节点，将所有的关键帧按照二叉树的结构划分为多个子模块。
计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小的公式如下：
Figure BDA0003003151170000191
其中，iτ∈[1，N]，
Figure BDA0003003151170000192
分别表示第iτ张关键帧的翻滚角、俯仰角和距离水底的高度，
Figure BDA0003003151170000193
分别表示第jτ张关键帧的翻滚角、俯仰角和距离水底的高度，α、β分别表示角度变化和高度变化带来的影响所占的权重，Nτ表示关键帧的总数。
S6、将子模块拼接成子模块图像后，再将多个子模块图像拼接成一张最终的全景图；
先拼接二叉树最底层的子模块，逐层的向上拼接，得到最终的全景图；其中，在子模块内，以局部最优的关键帧作为参考图像，完成所有相邻两张图像的拼接和融合；
相邻两张图像的拼接的过程如下：利用位姿信息来计算相邻两张图像的大致重叠区域，在重叠区域内使用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法求取特征点，使用最佳优先搜索(Best Bin First，BBF)算法来进行特征点的粗匹配，然后使用渐进一致采样(Progressive Sample Consensus，PROSAC)算法来进行特征点的精匹配，使用直接线性变换(Direct Linear Transform，DLT)算法来计算相邻两张图像之间的单应矩阵，以其中一张图像作为参考图像，另一张图像作为目标图像，利用单应矩阵将目标图像投影到参考图像，完成相邻两张图像的拼接；
相邻两张图像的融合的过程如下：在两张待拼接图像的重叠区域使用基于动态规划的最佳缝合线算法求得最佳缝合线；以参考图像中的整个重叠区域部分作为背景图像，以目标图像中的靠近目标图像部分的缝合线一侧的重叠区域部分作为待克隆图像区域，对重叠区域部分进行泊松融合，完成最终的图像融合。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述水下视频图像复原与拼接方法包括以下步骤：
S1、通过水下视频图像采集装置获取带有同步校准信号的水下视频图像和相机的位姿信息；
S2、将水下视频图像的视频帧和位姿信息进行一一对应；
S3、利用位姿信息计算视频帧之间的单应矩阵，进而求得视频帧之间的重叠面积，通过重叠面积所占的比例提取关键帧，并对视频帧和位姿信息进行时间校准；
S4、采用改进的基于自适应参数获取的相对全局直方图拉伸的浅水图像增强算法进行水下视频图像复原，得到复原后的关键帧；所述步骤S4过程如下：
S401、将关键帧从RGB颜色模型转换为HSV颜色模型；
S402、对亮通道V用不同尺度的高斯函数进行卷积并加权，得到光照分量的估计值I(x，y)；
Figure FDA0003591153110000011
Figure FDA0003591153110000012
其中，(x，y)表示亮通道的坐标，V(x，y)表示亮通道，G(xg，yg)表示高斯函数，ωl表示第l个尺度高斯函数对亮通道V卷积得到的光照分量的加权系数；Nl为不同尺度高斯函数的总个数，l＝1，2，...，Nl，σ为高斯函数的标准差，(xg，yg)表示高斯函数的模板坐标，模板中心位置为原点；
S403、使用二维伽马函数对亮通道V进行校正，其中二维伽马函数的公式如下：
Figure FDA0003591153110000021
Figure FDA0003591153110000022
其中，VO(x，y)为校正后的亮通道的值，γ为用于亮度增强的指数值，该指数值包含关键帧的光照分量特性，m为光照分量的亮度均值；
S404、将经过步骤S402和S403处理后的关键帧从HSV颜色模型转换为RGB颜色模型，求通道G、B的色彩均衡系数θg、θb，并且对通道G、B的像素值分别乘以色彩均衡系数θg、θb进行色彩均衡，得到均衡后的RGB颜色模型；其中θg、θb的计算公式如下：
Figure FDA0003591153110000023
Figure FDA0003591153110000024
Figure FDA0003591153110000025
Figure FDA0003591153110000026
其中，Gavg、Bavg分别为通道G、B恢复后的归一化平均值，M为关键帧的高度，N为关键帧的宽度，Ig(i，j)为通道G在(i，j)处的值，Ib(i，j)为通道B在(i，j)处的值，i表示通道G、B的第i列，j表示通道G、B的第j行；
S405、对均衡后的R、G、B三通道进行全局直方图拉伸，计算公式如下：
Figure FDA0003591153110000027
其中，Pin为输入像素值，Pout为进行直方图拉伸后的像数值，Imin的大小为对该通道的像素值按照从小到大排序后位于0.5％位置的像数值，Imax的大小为对该通道的像素值按照从小到大排序后位于99.5％位置的像数值，Omax为255，Omin为0；
S406、将步骤S405处理后的关键帧从RGB颜色模型转换到CIELab颜色模型，对CIELab颜色模型中的通道a、b的颜色等级进行修改，计算公式如下：
Figure FDA0003591153110000031
其中，
Figure FDA0003591153110000035
表示输入通道的颜色值，
Figure FDA0003591153110000036
表示输出颜色值，
Figure FDA0003591153110000032
表示最优实验值，
Figure FDA0003591153110000033
取经验值，
Figure FDA0003591153110000034
取值为通道a或通道b；
S407、将步骤S406处理后的关键帧从CIELab颜色模型转换回RGB颜色模型，得到复原后的关键帧；
S5、结合位姿信息将复原后的关键帧划分为多个子模块；
S6、将子模块拼接成子模块图像后，再将多个子模块图像拼接成一张最终的全景图。
2.根据权利要求1所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述水下视频图像采集装置包括相机模块和位姿信息记录模块，其中，所述相机模块，由相机、第一SD卡组成，相机用于拍摄水下视频图像，第一SD卡用于保存带有同步校准信号的水下视频图像；所述位姿信息记录模块，由主控制器、陀螺仪、GPS、水下超声测距传感器、信号灯以及第二SD卡组成，主控制器用于控制其他单元的工作，陀螺仪用于获取相机的姿态信息，GPS用于获取相机的位置信息，水下超声测距传感器用于获取相机距离水底的高度，信号灯用于给相机模块发送光信号，第二SD卡用于保存相机的位姿信息。
3.根据权利要求2所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S1过程如下：
首先启动相机模块开始拍摄水下视频图像，然后启动位姿信息记录模块，位姿信息记录模块在开始记录位姿信息之前，先控制信号灯给相机一个灯光信号1，然后开始记录位姿信息，此后每隔一段时间，控制信号灯给相机一个灯光信号2，并将当前位姿信息的Flag置为1。
4.根据权利要求1所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S2过程如下：
读取经过步骤S1获取的水下视频图像，以检测到含灯光的视频帧作为信号帧，以连续检测到一定数目的信号帧作为开始信号，以检测到的所有信号帧中的最后一帧作为对应第一条位姿信息的视频帧，此后依次将每一帧视频帧与每一条位姿信息进行一一对应；
其中，判断当前视频帧是否为信号帧的过程如下：把当前视频帧均匀分为上、下、左、右四个区域，分别统计每个区域中通道R的数值大于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2，以及通道G、B的数值小于阈值alpha1的像素个数占整个区域总像素的比例是否大于阈值alpha2；如果有一个区域中R、G、B三个通道的数值分布满足以上条件，则当前视频帧是信号帧；否则当前视频帧不是信号帧。
5.根据权利要求4所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S3过程如下：
S301、以对应第一条位姿信息的视频帧作为当前帧，以第一条位姿信息作为当前帧的位姿信息；
S302、判断当前帧的位姿信息的Flag是否为1，如果为1则执行步骤S303，如果不为1则执行步骤S305；
S303、判断当前帧是否为信号帧，如果是，则说明没有发生时间偏差，执行步骤S309，如果不是，则说明有发生时间偏差，执行步骤S304；
S304、分别往前和往后检测N帧，如果有检测到信号帧，则把该信号帧置为当前帧，执行步骤S309，如果没有检测到信号帧，则结束步骤S3；
S305、判断当前帧的翻滚角和俯仰角的绝对值是否小于阈值beta1，如果不小于阈值beta1则执行步骤S309，如果小于阈值beta1则执行步骤S306；
S306、判断关键帧缓存队列是否为空，如果为空则执行步骤S308，如果不为空则执行步骤S307；
S307、结合位姿信息计算当前帧和关键帧缓存队列里的最后一帧的重叠面积，并判断重叠面积与当前帧面积的比例是否在beta2范围内，如果在beta2范围内则执行步骤S308，如果不在beta2范围则执行步骤S309；
S308、将当前帧作为关键帧进行提取，然后存入关键帧缓存队列，执行步骤S309；
S309、判断是否还有下一视频帧和下一条位姿信息，如果有则读取下一视频帧作为当前帧，读取下一条位姿信息作为当前帧的位姿信息，重复执行步骤S302-步骤S309，如果没有则结束步骤S3。
6.根据权利要求5所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S307中计算重叠面积的过程如下：
S3071、将关键帧缓存队列里的最后一帧作为上一关键帧，以上一关键帧的拍摄位置作为坐标原点，以正西为X轴正方向，正北为Y轴正方向，正地为Z轴正方向建立坐标系，以水底平面为投影平面，结合位姿信息计算当前帧到上一关键帧的单应矩阵H，H为3×3的矩阵，计算公式如下：
Figure FDA0003591153110000051
其中，H1为上一关键帧到投影平面的单应矩阵，
Figure FDA0003591153110000052
为H1的逆矩阵，H2为当前帧到投影平面的单应矩阵；
H1的计算公式如下：
H1＝KR1K-1 (2)
其中，K为相机的内参数矩阵，通过相机标定得到，R1为3×3的旋转矩阵；
Figure FDA0003591153110000061
其中，f表示相机的焦距；dx和dy分别表示关键帧上每一个像素在坐标轴方向的物理尺寸，单位为mm/pixel；(u0，v0)为相机光轴与关键帧平面交点的坐标，位于关键帧的中心处；
Figure FDA0003591153110000062
其中，
Figure FDA0003591153110000063
θ1、ψ1分别为上一关键帧拍摄时相机的翻滚角、俯仰角、航向角；
H2的计算公式如下：
Figure FDA0003591153110000064
其中，R2为3×3的旋转矩阵，I为单位矩阵，t为三维平移向量，d为坐标原点到水底平面的距离，n为水底平面的单位法向量，nT表示向量n的转置；
Figure FDA0003591153110000065
其中，
Figure FDA0003591153110000066
θ2、ψ2分别为当前帧拍摄时相机的翻滚角、俯仰角、航向角；
t＝[x2-x1，y2-y1，z2-z1]T (7)
x2-x1＝(lon2-lon1)×111110×cos(lat1×π/180) (8)
y2-y1＝(lat2-lat1)×111110 (9)
z2-z1＝h2-h1 (10)
其中，(x1，y1，z1)表示上一关键帧拍摄位置的坐标，(x2，y2，z2)表示当前帧拍摄位置的坐标，lon1、lat1、h1分别为上一关键帧拍摄位置的经度、维度和距离水底的高度，lon2、lat2、h2分别为当前帧拍摄位置的经度、维度和距离水底的高度；
S3072、计算当前帧经过单应变换后的四个顶点的坐标位置position，计算公式如下：
Figure FDA0003591153110000071
position＝vertex./vertex(3，：) (12)
其中，width表示当前帧的宽度，height表示当前帧的高度，vertex./vertex(3，：)表示对齐次坐标进行归一化处理，得到二维平面的坐标；
S3073、统计当前帧经过单应变换后的四边形的顶点在上一关键帧表示的矩形内的顶点；
S3074、计算当前帧经过单应变换后的四边形的每条边与上一关键帧的每条边的交点；
S3075、对上述求得的顶点和交点进行顺时针或者逆时针排序；
S3076、求出重叠区域的多边形的面积，以多边形的任一顶点为固定点，将其划分为多个三角形，分别计算每一个三角形的面积并求和，得到重叠面积的大小。
7.根据权利要求1所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S5过程如下：
遍历所有关键帧，计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小，以位姿信息的绝对值变化累加起来值最小的关键帧作为参考图像；找到全局最优的关键帧，以全局最优的关键帧作为全局的参考图像；在全局最优的关键帧两侧，继续递归找到所有局部最优的关键帧，以局部最优的关键帧作为局部的参考图像；以全局最优的关键帧为根节点，以局部最优的关键帧为子节点，将所有的关键帧按照二叉树的结构划分为多个子模块。
8.根据权利要求7所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述计算任意一关键帧的位姿信息到其他关键帧的位姿信息的绝对值变化大小的公式如下：
Figure FDA0003591153110000081
其中，iτ∈[1，N]，
Figure FDA0003591153110000082
分别表示第iτ张关键帧的翻滚角、俯仰角和距离水底的高度，
Figure FDA0003591153110000083
分别表示第jτ张关键帧的翻滚角、俯仰角和距离水底的高度，α、β分别表示角度变化和高度变化带来的影响所占的权重，Nτ表示关键帧的总数。
9.根据权利要求7所述的一种基于位姿信息的水下视频图像复原与拼接方法，其特征在于，所述步骤S6过程如下：先拼接二叉树最底层的子模块，逐层的向上拼接，得到最终的全景图；其中，在子模块内，以局部最优的关键帧作为参考图像，完成所有相邻两张图像的拼接和融合；
相邻两张图像的拼接的过程如下：利用位姿信息来计算相邻两张图像的大致重叠区域，在重叠区域内使用SIFT算法求取特征点，使用BBF算法来进行特征点的粗匹配，然后使用PROSAC算法来进行特征点的精匹配，使用DLT算法来计算相邻两张图像之间的单应矩阵，以其中一张图像作为参考图像，另一张图像作为目标图像，利用单应矩阵将目标图像投影到参考图像，完成相邻两张图像的拼接；
相邻两张图像的融合的过程如下：在两张待拼接图像的重叠区域使用基于动态规划的最佳缝合线算法求得最佳缝合线；以参考图像中的整个重叠区域部分作为背景图像，以目标图像中的靠近目标图像部分的缝合线一侧的重叠区域部分作为待克隆图像区域，对重叠区域部分进行泊松融合，完成最终的图像融合。
CN202110354434.1A 2021-04-01 2021-04-01 一种基于位姿信息的水下视频图像复原与拼接方法 Active CN113160053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354434.1A CN113160053B (zh) 2021-04-01 2021-04-01 一种基于位姿信息的水下视频图像复原与拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354434.1A CN113160053B (zh) 2021-04-01 2021-04-01 一种基于位姿信息的水下视频图像复原与拼接方法

Publications (2)

Publication Number Publication Date
CN113160053A CN113160053A (zh) 2021-07-23
CN113160053B true CN113160053B (zh) 2022-06-14

Family

ID=76885917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354434.1A Active CN113160053B (zh) 2021-04-01 2021-04-01 一种基于位姿信息的水下视频图像复原与拼接方法

Country Status (1)

Country Link
CN (1) CN113160053B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449130B (zh) * 2022-03-07 2022-09-09 北京拙河科技有限公司 一种多摄像头的视频融合方法及***
CN115131213A (zh) * 2022-07-27 2022-09-30 成都市晶林科技有限公司 一种实时红外双目图像拼接方法及***
CN115861079B (zh) * 2023-02-24 2023-05-12 和普威视光电股份有限公司 一种无重叠区域的全景图像拼接方法、***及拼接终端
CN117132728B (zh) * 2023-10-26 2024-02-23 毫末智行科技有限公司 构建地图的方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067386A (zh) * 2017-04-24 2017-08-18 上海海洋大学 一种基于相对全局直方图拉伸的浅海水下图像增强方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN111161154A (zh) * 2019-12-31 2020-05-15 航天图景（北京）科技有限公司 一种无人机视频实时快速正射拼接***及其拼接方法
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN112399188A (zh) * 2020-11-04 2021-02-23 贝壳技术有限公司 图像帧拼接方法和装置、可读存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678748B (zh) * 2015-12-30 2019-01-15 清华大学 三维监控***中基于三维重构的交互式标定方法和装置
CN110736472A (zh) * 2019-10-10 2020-01-31 武汉理工大学 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法
CN110727009B (zh) * 2019-10-10 2023-04-11 武汉理工大学 一种基于车载环视图像的高精视觉地图构建和定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067386A (zh) * 2017-04-24 2017-08-18 上海海洋大学 一种基于相对全局直方图拉伸的浅海水下图像增强方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN111951201A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN111161154A (zh) * 2019-12-31 2020-05-15 航天图景（北京）科技有限公司 一种无人机视频实时快速正射拼接***及其拼接方法
CN112399188A (zh) * 2020-11-04 2021-02-23 贝壳技术有限公司 图像帧拼接方法和装置、可读存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
水下光学图像中目标探测关键技术研究综述;林森等;《激光与光电子学进展》(第06期) *

Also Published As

Publication number Publication date
CN113160053A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN110570371B (zh) 一种基于多尺度残差学习的图像去雾方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN110473221B (zh) 一种目标物体自动扫描***及方法
US20060078214A1 (en) Image processing based on direction of gravity
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
WO2003069558A1 (en) Method for producing cloud free, and cloud-shadow free, images
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
CN113298810A (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN112184604A (zh) 一种基于图像融合的彩色图像增强方法
CN102982524B (zh) 玉米果穗有序图像的拼接方法
CN112348775B (zh) 基于车载环视的路面坑塘检测***及方法
CN113221665A (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN112633274A (zh) 一种声呐图像目标检测方法、装置、电子设备
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及***
CN115619623A (zh) 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法
CN116091314A (zh) 一种基于多尺度深度单应性的红外图像拼接方法
Huang et al. Enhancing object detection in the dark using U-Net based restoration module
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant