CN107580175A - 一种单镜头全景拼接的方法 - Google Patents
一种单镜头全景拼接的方法 Download PDFInfo
- Publication number
- CN107580175A CN107580175A CN201710617305.0A CN201710617305A CN107580175A CN 107580175 A CN107580175 A CN 107580175A CN 201710617305 A CN201710617305 A CN 201710617305A CN 107580175 A CN107580175 A CN 107580175A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic point
- point
- carried out
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种单镜头全景拼接的方法，包括：单镜头监控设备步长设置，启动设置好的监控设备，依次采集与预设数量相符的图像序列，将采集到的图像进行尺寸缩放，对采集到的原始图像序列进行特征提取，然后进行特征点匹配，粗略估计并计算出旋转矩阵，进一步精确估计旋转矩阵，利用进行了尺寸缩放的图像查找最佳缝合线，对图像进行拼接操作，对图像拼接重叠区域进行光照补偿，对光照补偿后的图像进行图像融合，最后图像修正。本发明采用设定好步长的单镜头就可以达到固定的多镜头采集原始图像的功能，改进了全景拼接的流程方法，满足低成本、高效率的全景拼接监控需求。
Description
技术领域
本发明属于数字视频图像技术领域，具体涉及一种单镜头全景拼接的方法。
背景技术
随着监控行业的发展，需要进行监控的场景及监控的范围越来越大，由最初的小区、商铺等小范围监控场景发展到机场、桥梁、高层建筑等大范围场景，而大多数单纯的普通摄像机的视角范围达不到这个需求，随着这种监控需求的增加，全景拼接作为一种可行性的解决方案开始出现。
中国专利申请号CN201310665407.1公开了一种多镜头全景拼接控制方法及装置，使用的全景监控摄像机为多镜头，这种多镜头的形式不仅造价成本高，而且为了确保拼接顺序，采集原始图像时仍按照顺序依次采集。中国专利申请号CN201410667610公开了一种全景拼接的方法及装置，使用的全景监控摄像机也是多镜头，虽然同时采集原始图像，但在全景拼接的实现上，需要确认采集到的多路图像的位置顺序问题；同时在寻找图像顺序时，由于需要提取相关特征以查找图像衔接部分的相似度，所以处理过程会耗费时间较长。
发明内容
为弥补现有技术的不足，本发明提供一种单镜头全景拼接的方法，用具有旋转定位功能的单镜头监控摄像机采集原始图像信息，并改进全景拼接的流程方法，满足低成本、高效率的全景拼接监控需求。
本发明是通过如下技术方案实现的：
一种单镜头全景拼接的方法，其特殊之处在于：包括以下步骤：
（1）单镜头监控设备步长设置
根据用户设置的采集图像数量和视野范围对单镜头监控设备进行步长计算并设置；
（2）启动设置好步长的单镜头监控设备，依次采集与预设数量相符的图像序列
启动步骤（1）中设定好的监控设备，由监控设备自动采集与用户设定好的参数相符的图像序列；
（3）将采集到的图像进行尺寸缩放备用
采用等间隔采样的图像缩小方法将采集到的图像进行尺寸缩放；
（4）对采集到的原始图像序列进行特征提取
提取ORB特征点，所述ORB特征提取是FAST特征点检测方法和BRIEF特征描述子的结合与改进；
（5）对特征提取后的图像进行特征点匹配
采用最近邻和次近邻特征匹配算法对特征提取后的图像进行特征点匹配；
（6）粗略估计并计算出旋转矩阵
利用步骤（5）中求出的匹配的特征点对摄像机参数进行粗略估计并计算出旋转矩阵；
（7）进一步精确估计旋转矩阵
利用光束平差法对摄像机参数进行校正并对旋转矩阵做进一步精确估计旋转矩阵；
（8）利用步骤（3）中进行了尺寸缩放的图像查找最佳缝合线，对图像进行拼接操作
用进行了尺寸缩放的序列图像，统一利用旋转矩阵及其他摄像机内参数矩阵进行投影变换，再对进行了尺寸缩放的图像查找最佳缝合线，生成图像最佳缝合线的掩膜，计算并按缩放比例统一重新计算原图大小上的对应变换和图像掩膜，并利用最佳缝合线的掩膜对图像进行拼接操作；
（9）对图像拼接重叠区域进行光照补偿
对图像拼接重叠区域进行光照补偿以提高重叠区域较暗部分亮度，达到整体亮度平衡；
（10）对光照补偿后的图像进行图像融合
采用多波段融合方法对光照补偿后的图像进行图像融合，将图像分解为不同频率的图像的叠加，在低频部分使用波长较宽的加权信号进行融合，在高频部分使用波长较窄的加权信号进行融合；
（11）图像修正
对进行融合后的拼接图像进行边缘查找，去除多余黑边，保证拼接图像填充满矩形视图的四角，得到无黑边的矩形全景拼接图。
本发明的一种单镜头全景拼接的方法，步骤（3）中等间隔采样图像缩小需满足以下要求：对原图像像素进行均匀采样，保持所选择的像素可以反映原图像的概貌特征。
本发明的一种单镜头全景拼接的方法，步骤（4）中ORB特征点提取过程包括以下步骤：
041）、采用FAST特征点检测的方法来检测特征点，首先对图像进行粗提取，选取出若干候选点，对候选点进一步计算选出特征点；
042）、采用非极大值抑制算法去除临近位置上多个特征点，保留响应值较大的特征点；
043）、通过构建高斯金字塔，在每一层金字塔图像上检测角点，实现特征点的尺度不变性；
044）、使用矩法确定特征点的方向，假设特征点的灰度与质心之间存在一个偏移向量，该向量作为特征点的方向，实现特征点的旋转不变性；
045）、采用BRIEF特征描述法对已检测到的特征点进行描述。
本发明的一种单镜头全景拼接的方法，步骤（5）中特征点匹配算法为：采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配，其中最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点，次近邻特征点是指具有比最近邻距离稍长的`欧几里德距离的特征点，设置一个特征点检测置信阈值，小于该阈值即判断特征点和样本特征点匹配。
本发明的一种单镜头全景拼接的方法，步骤（7）中光束平差法具体做法为：将步骤（4）中提取的每一个特征点都映射到其他的图像中，计算出使误差的平方和最小的相机参数，得到最小化的映射误差值，对步骤（6）中所有特征点加上该误差值，并进一步精确估计出旋转矩阵。
本发明的一种单镜头全景拼接的方法，步骤（10）中多波段图像融合步骤如下：
101）、计算输入图像的高斯金字塔，假设输入图像是A,B，则计算GA0，GA1，GA2，GA3，…和GB0，GB1，GB2，GB3，……
102）、将处于同一级的高斯金字塔进行融合，在拼接缝两侧使用线性融合，记输出图像为C，则可以得到GC0，GC1，GC2，GC3，……；
103）、将高层的高斯金字塔依次扩展直至和GC0相同分辨率，记做GC00，GC11，GC22，GC33，……
104）、将103）中得到的图像GC00，GC11，GC22，GC33，……依次叠加，则得到最终的输出图像C，即为多波段融合图像结果。
本发明的一种单镜头全景拼接的方法，步骤（11）中对进行融合后的拼接图像进行边缘查找采用边缘跳变点查找法，即设定一个阈值，从图像上下左右边缘开始往内靠拢扫描，当相邻两个像素点之差大于所设定的阈值时停止查找，并以此点作为边界。
本发明的有益效果是：
（1）本发明只需使用设定好步长的单镜头就可以达到固定的多镜头采集原始图像的功能，并且比多镜头采集更能自由操控采集图像的数量及需要监控的范围，相比多镜头带来的制造成本压力，单镜头在成本方面也大大缩减了所需开支。
（2）本发明在全景拼接实现方法上，省略了对采集图像进行重新排序的步骤，由于重新排序需要计算图像间重合部分的相似度，因而本专利避免了判断图像是否相邻的过程以及当场景内容单一时导致的错误排序。
（3）本发明的方法对采集图像进行的处理，有利于拼接出视觉效果良好且细节完美、能反映真实场景内容的全景图像。
附图说明
附图1是本发明的流程示意图；
附图2是实施例1中单镜头监控设备步长设置示意图；
附图3是实施例1中ORB特征点提取过程中图像进行粗提取示意图；
附图4是是实施例1中ORB特征点提取过程中特征点的多尺度不变性的示意图；
附图5是实施例1中ORB特征点提取过程中特征点的旋转不变性的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解，本发明的保护范围包括但不限于以下实施例，在不偏离本申请的精神和范围的前提下任何对本发明的技术方案的细节和形式所做出的修改均落入本发明的保护范围内。
实施例1
一种单镜头全景拼接的方法，包括以下步骤：
S1、单镜头监控设备步长设置
根据用户设置的采集图像数量和视野范围对单镜头监控设备进行步长计算并设置，包括由用户确定最终视野角度范围和设备采集图像的数量，固定摄像头并由此确定设备每次旋转的角度，如附图2所示，采集图像数量为8，视野范围为360°。
S2、启动设置好步长的单镜头监控设备，依次采集与预设数量相符的图像序列
具体的，包括启动在S1中由用户设定好的监控设备，由监控设备自动采集与用户设定好的参数相符的图像序列。
S3、将采集到的图像进行尺寸缩放备用
采用等间隔采样的图像缩小方法，将采集到的图像进行尺寸缩放，具体步骤为：
等间隔采样的图像缩小方法是通过对原图像像素进行均匀采样，来保持所选择到的像素仍旧可以反映原图像的概貌特征。
设原图为F（i，j），大小为M×N（i=1，2，…，M；j= 1，2，…，N）；缩小后的图像为G（i，j），大小为k1M×k2N，当k1= k2时为按比例缩小，当k1≠k2时为不按比例缩小，且k1＜1， k2＜1（i=1，2，…，k1M；=j 1，2，…，k2N）。则有：
公式（1）
公式（2）
由上述公式（1）、（2）可得：
g（i，j）=f（Δi×i，Δj×j） 公式（3）
举例说明图像缩小过程，设原图像为：
图像矩阵的大小为4×6，将其进行缩小，缩小的倍数k1=0.7，k2=0.6则缩小图像的大小为3×4。由公式（1）、（2）计算得Δi =1/k1=1.4，Δj =1/ k2=1.7。上述式子可得到缩小后的图像矩阵为：
S4、对采集到的原始图像序列进行特征提取
提取ORB特征点，所述ORB特征提取实际上是由FAST特征点检测方法和BRIEF特征描述子结合起来改进的，提取ORB特征点步骤为：
1）、对图像进行粗提取。从图像中选取一点P，如附图3所示。以P为圆心画一个半径为3个像素的圆，圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点。为了加快特征点的提取，快速排除非特征点，可以首先检测1、9、5、13位置上的灰度值，如果这四个位置上有3个或3个以上的灰度值都大于或者小于P点的灰度值，则P点作为候选点。如果不满足，则直接排除此点；
2）、若P点是候选点，则计算周围16个点与中心P点的像素差，若它们有至少9个或9个以上的灰度值都大于或者小于P点的灰度值，则是特征点，否则，则直接排除此点；
3）、非极大值抑制去除局部较密集特征点。使用非极大值抑制算法去除临近位置多个特征点的问题，为每一个特征点计算出其响应大小。非极大值抑制的计算方式是计算特征点P和其周围16个特征点偏差的绝对值总和。在比较临近的特征点中，保留响应值较大的特征点，删除其余的特征点；
4）、特征点的尺度不变形。如附图4所建立的金字塔，实现特征点的多尺度不变性。设置一个比例因子scaleFactor和金字塔的层数nlevels。将原图像按比例因子缩小成nlevels幅图像。缩放后的图像为：I’= I/scaleFa(k=1，2，……， nlevels)。nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；
5）、特征点的旋转不变性。ORB使用矩法来确定特征点的方向。也就是说通过矩来计算特征点以r为半径范围内的质心，如附图5所示，P为某特征点，每个小格子代表一个像素。如果把这块圆心区域看做一块木板，木板上每个点的质量等于其对应的像素值。即可求出这个密度不均匀木板的质心Q。P点坐标到质心Q形成一个向量作为该特征点的方向。矩定义如下：
公式（4）
其中，I（x，y）为图像灰度表达式。该矩的质心为：
公式（5）
则向量的角度计算公式如下：
公式（6）
6）、对已检测到的特征点进行描述，采用了BRIEF特征描述法，主要步骤如下：
a）、为减少噪声干扰，对图像进行高斯滤波（9×9）；
b）、以特征点为中心，取S×S（31×31）的邻域窗口。在窗口内随机选取一对（两个）点，比较二者像素的大小，进行如下二进制赋值：
公式（7）
其中，p(x)，p(y)分别是随机点x=(u1,v1),y=(u2,v2)的像素值；
c）、在窗口中随机选取N（一般N=256）对随机点，重复步骤b的二进制赋值，形成一个二进制编码，这个编码就是对特征点的描述，即特征描述子。
S5、对特征提取后的图像进行特征点匹配
对特征提取后的图像进行特征点匹配，所采用的特征匹配算法为最近邻和次近邻法，其方法为：
采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配，其中最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点，次近邻特征点是指具有比最近邻距离稍长的欧几里德距离的特征点，设置一个特征点检测置信阈值，小于该阀值即判断特征点和样本特征点匹配。
S6、粗略估计并计算出旋转矩阵
利用所有S5中求出的匹配的特征点对摄像机参数进行粗略估计并计算出旋转矩阵，具体步骤为：
1）、根据求出的任意两幅图的匹配以及两幅图的单应性矩阵H，求出符合条件的焦距f，（如4幅图，16个匹配，可求出8个符合条件的焦距f），然后用所有焦距f的均值或者中值当成所有图形的粗略估计的f；
2）、粗略估计出焦距f后，设宽高比aspect = 1.0，图片的宽ppx以及图片的高ppy等于0，则摄像机内参数K矩阵的值为：
3）、求出内参数K矩阵后，可利用单应矩阵H和K矩阵得到旋转矩阵R，具体计算为：
公式（8）
S7、进一步精确估计旋转矩阵
利用光束平差法对摄像机参数进行校正并对旋转矩阵做进一步精确估计。所述的光束平差法具体方法为：
将每一个S4中提取的特征点都映射到其他的图像中，计算出使误差的平方和最小的相机参数，具体计算公式为：
公式（9）
其中：
a）、向量Xij是图像上的第i个点的映射（坐标）；
b）、值vij为如果点i在图像上有映射，则vij=1； 否则vij=0；
c）、向量aj为每张图像的参数化， bi为每个3D点的参数化；
d）、Q(ai，bj)为点i在图像上的预测投影，是理想点坐标；
e）、d（x，y）为向量x，y的欧式距离。
利用光束平差法计算出误差后，对S6中的所有特征点加上这个误差值，并且进一步精确估计出旋转矩阵R。
S8、利用S3中进行了尺寸缩放的图像查找最佳缝合线，对图像进行拼接操作
用进行了尺寸缩放的序列图像，统一利用旋转矩阵R及其他摄像机内参数K矩阵进行投影变换，再对进行了尺寸缩放的图像查找最佳缝合线，生成图像最佳缝合线的掩膜，计算并按缩放比例统一重新计算原图大小上的对应变换和图像掩膜，并利用最佳缝合线的掩膜对图像进行拼接操作，具体步骤为：
1）、利用S3中进行了尺寸缩放的图像序列，统一进行投影，例如源图像的点（x，y，z=1），图像的旋转矩阵R，图像的相机内参数K矩阵，经过变换后的同一坐标（x_，y_，z_），然后映射到坐标（u，v，w），他们之间的关系如下：
公式（10）
公式（11）
公式（12）
公式（13）
根据映射公式，对图像的上下左右四个边界求映射后的坐标，然后确定变换后图像的左上角和右上角的坐标，统一图像序列的坐标系，最后因为正投影会有黑点空隙锯齿等问题，可以利用反投影将变换后的像素点反投影到图像上，并且利用插值算法平滑图像；
2）、新建与待拼接图像序列数量相等的矩阵向量（全白），按上述步骤1）中的方法对这一系列图像进行投影，得到一系列图像掩膜；
3）、对尺寸缩放后的图像进行最佳缝合线查找。利用S5中求出的匹配的特征点进行能量计算，定义一个能量函数为：
公式（14）
其中，Ecolor表示两幅原始图像上匹配像素点的颜色值之差,而Egeometry表示两幅原始图像上匹配像素点的结构差值，Egeometry是通过修改梯度计算Sobel算子实现的。利用Sobel算子进行梯度计算时，计算在x方向和y方向的梯度分别采用模板：
假定两幅原始图像为f1 和f2，则可以得到能量函数的式子中的Egeometry计算公式为：
公式（15）
Diff的求解是通过计算两幅图像f1和f2在x和y方向的梯度之差的积得到。
根据此准则，将两幅图像匹配的部分作差运算生成具有差值匹配点的图像，然后对此差值图像运用动态规划的思想寻找一个最佳的缝合线，具体步骤如下：
Step1：初始化。将所在行位置最小的匹配像素点的强度值初始化为各个点的准则值；
Step2：扩展。向下一组匹配点扩展。直到最后一组为止。扩展的方法是将当前点与该点紧邻的下3组匹配点中的像素准则值相加进行比较，取最小强度值所对该缝合线的扩展方向，更新此缝合线的强度值为最小强度值，以此类推即可得到最佳缝合线；
4）、求出最佳缝合线后，取其位置，更新2）中的图像掩膜，得到最佳缝合线图像掩膜；
5）、将4）中的最佳缝合线图像掩膜按缩放比例放大，并用原图重新计算投影后的图像序列，利用最佳缝合线图像掩膜将图像序列拼接起来。
S9、对图像拼接重叠区域进行光照补偿
为提高重叠区域较暗部分亮度，达到整体亮度平衡，对图像拼接重叠区域进行光照补偿。
S10、对光照补偿后的图像进行图像融合
采用多波段融合方法对光照补偿后的图像进行图像融合，具体为将图像分解为不同频率的图像的叠加，以达到融合的目的，并且在不同的频率上，应该使用不同的权重来进行融合，在低频部分应该使用波长较宽的加权信号（如高斯核函数中sigma比较大），在高频部分应该使用较窄的加权信号（如高斯核函数的sigma比较小），具体步骤如下：
1）、计算输入图像的高斯金字塔。如果输入图像是A,B，则计算GA0，GA1，GA2，GA3，…和GB0，GB1，GB2，GB3，……
2）、将处于同一级的高斯金字塔进行融合。例如在拼接缝两侧可以使用简单的线性融合。记输出图像为C，则可以得到GC0，GC1，GC2，GC3，……
3）、将高层的高斯金字塔依次扩展直至和GC0相同分辨率。我们记做GC00，GC11，GC22，GC33，……
4）、将3）中得到的图像GC00，GC11，GC22，GC33，……依次叠加，则得到最终的输出图像C
图像C即为多波段融合图像结果。
S11、图像修正
对进行融合后的拼接图像进行边缘查找，去除多余黑边，保证拼接图像填充满矩形视图的四角。本专利中使用的是边缘跳变点查找法，即设定一个阈值，从图像上下左右边缘开始往内靠拢扫描，当相邻两个像素点之差大于所设定的阈值时停止查找，并以此点作为边界。最终输出一张无黑边的矩形全景拼接图。
Claims (7)
1. 一种单镜头全景拼接的方法，其特征在于：包括以下步骤：
（1）单镜头监控设备步长设置
根据用户设置的采集图像数量和视野范围对单镜头监控设备进行步长计算并设置；
（2）启动设置好步长的单镜头监控设备，依次采集与预设数量相符的图像序列
启动步骤（1）中设定好的监控设备，由监控设备自动采集与用户设定好的参数相符的图像序列；
（3）将采集到的图像进行尺寸缩放备用
采用等间隔采样的图像缩小方法将采集到的图像进行尺寸缩放；
（4）对采集到的原始图像序列进行特征提取
提取ORB特征点，所述ORB特征提取是FAST特征点检测方法和BRIEF特征描述子的结合与改进；
（5）对特征提取后的图像进行特征点匹配
采用最近邻和次近邻特征匹配算法对特征提取后的图像进行特征点匹配；
（6）粗略估计并计算出旋转矩阵
利用步骤（5）中求出的匹配的特征点对摄像机参数进行粗略估计并计算出旋转矩阵；
（7）进一步精确估计旋转矩阵
利用光束平差法对摄像机参数进行校正并对旋转矩阵做进一步精确估计旋转矩阵；
（8）利用步骤（3）中进行了尺寸缩放的图像查找最佳缝合线，对图像进行拼接操作
用进行了尺寸缩放的序列图像，统一利用旋转矩阵及其他摄像机内参数矩阵进行投影变换，再对进行了尺寸缩放的图像查找最佳缝合线，生成图像最佳缝合线的掩膜，计算并按缩放比例统一重新计算原图大小上的对应变换和图像掩膜，并利用最佳缝合线的掩膜对图像进行拼接操作；
（9）对图像拼接重叠区域进行光照补偿
对图像拼接重叠区域进行光照补偿以提高重叠区域较暗部分亮度，达到整体亮度平衡；
（10）对光照补偿后的图像进行图像融合
采用多波段融合方法对光照补偿后的图像进行图像融合，将图像分解为不同频率的图像的叠加，在低频部分使用波长较宽的加权信号进行融合，在高频部分使用波长较窄的加权信号进行融合；
（11）图像修正
对进行融合后的拼接图像进行边缘查找，去除多余黑边，保证拼接图像填充满矩形视图的四角，得到无黑边的矩形全景拼接图。
2.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（3）中等间隔采样图像缩小需满足以下要求：对原图像像素进行均匀采样，保持所选择的像素可以反映原图像的概貌特征。
3.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（4）中ORB特征点提取过程包括以下步骤：
041）、采用FAST特征点检测的方法来检测特征点，首先对图像进行粗提取，选取出若干候选点，对候选点进一步计算选出特征点；
042）、采用非极大值抑制算法去除临近位置上多个特征点，保留响应值较大的特征点；
043）、通过构建高斯金字塔，在每一层金字塔图像上检测角点，实现特征点的尺度不变性；
044）、使用矩法确定特征点的方向，假设特征点的灰度与质心之间存在一个偏移向量，该向量作为特征点的方向，实现特征点的旋转不变性；
045）、采用BRIEF特征描述法对已检测到的特征点进行描述。
4.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（5）中特征点匹配算法为：采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配，其中最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点，次近邻特征点是指具有比最近邻距离稍长的欧几里德距离的特征点，设置一个特征点检测置信阈值，小于该阈值即判断特征点和样本特征点匹配。
5.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（7）中光束平差法具体做法为：将步骤（4）中提取的每一个特征点都映射到其他的图像中，计算出使误差的平方和最小的相机参数，得到最小化的映射误差值，对步骤（6）中所有特征点加上该误差值，并进一步精确估计出旋转矩阵。
6.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（10）中多波段图像融合步骤如下：
101）、计算输入图像的高斯金字塔，假设输入图像是A,B，则计算GA0，GA1，GA2，GA3，…和GB0，GB1，GB2，GB3，……
102）、将处于同一级的高斯金字塔进行融合，在拼接缝两侧使用线性融合，记输出图像为C，则可以得到GC0，GC1，GC2，GC3，……；
103）、将高层的高斯金字塔依次扩展直至和GC0相同分辨率，记做GC00，GC11，GC22，GC33，……
104）、将103）中得到的图像GC00，GC11，GC22，GC33，……依次叠加，则得到最终的输出图像C，即为多波段融合图像结果。
7.根据权利要求1所述的一种单镜头全景拼接的方法，其特征在于：步骤（11）中对进行融合后的拼接图像进行边缘查找采用边缘跳变点查找法，即设定一个阈值，从图像上下左右边缘开始往内靠拢扫描，当相邻两个像素点之差大于所设定的阈值时停止查找，并以此点作为边界。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710617305.0A CN107580175A (zh) | 2017-07-26 | 2017-07-26 | 一种单镜头全景拼接的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710617305.0A CN107580175A (zh) | 2017-07-26 | 2017-07-26 | 一种单镜头全景拼接的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107580175A true CN107580175A (zh) | 2018-01-12 |
Family
ID=61034172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710617305.0A Pending CN107580175A (zh) | 2017-07-26 | 2017-07-26 | 一种单镜头全景拼接的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107580175A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389563A (zh) * | 2018-10-08 | 2019-02-26 | 天津工业大学 | 一种基于sCMOS相机的随机噪声自适应检测与校正方法 |
| CN109640090A (zh) * | 2018-12-18 | 2019-04-16 | 深圳市丰巢科技有限公司 | 图片压缩方法及装置、设备和存储介质 |
| CN109859104A (zh) * | 2019-01-19 | 2019-06-07 | 创新奇智(重庆)科技有限公司 | 一种视频生成图片的方法、计算机可读介质及转换*** |
| CN110044374A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种基于图像特征的单目视觉测量里程的方法及里程计 |
| CN110111278A (zh) * | 2019-04-30 | 2019-08-09 | 北京理工大学 | 一种修复拼接图像黑色无数据区域的图像处理方法 |
| CN110866863A (zh) * | 2018-08-27 | 2020-03-06 | 天津理工大学 | 汽车a柱透视算法 |
| CN110926333A (zh) * | 2019-11-28 | 2020-03-27 | 上海华力集成电路制造有限公司 | 电子扫描方法以及电子扫描装置 |
| CN111193879A (zh) * | 2020-03-17 | 2020-05-22 | 东莞市鑫泰仪器仪表有限公司 | 一种单镜头多波段复用成像装置及其成像方法 |
| CN111398295A (zh) * | 2020-04-24 | 2020-07-10 | 上海御微半导体技术有限公司 | 一种缺陷检测装置及其方法 |
| CN112070674A (zh) * | 2020-09-04 | 2020-12-11 | 北京伟杰东博信息科技有限公司 | 一种图像合成方法及装置 |
| CN112308782A (zh) * | 2020-11-27 | 2021-02-02 | 深圳开立生物医疗科技股份有限公司 | 一种全景图像拼接方法、装置及超声设备和存储介质 |
| CN112614051A (zh) * | 2020-12-08 | 2021-04-06 | 上海裕芮信息技术有限公司 | 一种建筑物外立面图像拼接方法、***、设备及存储介质 |
| CN114007014A (zh) * | 2021-10-29 | 2022-02-01 | 北京环境特性研究所 | 一种生成全景图像的方法、装置、电子设备和存储介质 |
| CN114066731A (zh) * | 2021-11-11 | 2022-02-18 | 百度在线网络技术（北京）有限公司 | 生成全景图的方法、装置、电子设备及存储介质 |
| CN114240758A (zh) * | 2021-12-24 | 2022-03-25 | 柳州市侗天湖农业生态旅游投资有限责任公司 | 一种以四边形地块为参照物的山区茶园低空图像拼接方法 |
| CN116523809A (zh) * | 2023-07-03 | 2023-08-01 | 首都医科大学附属北京口腔医院 | 一种图像融合装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020063725A1 (en) * | 2000-11-30 | 2002-05-30 | Virtuallylisted Llc | Method and apparatus for capturing and presenting panoramic images for websites |
| CN101719986A (zh) * | 2009-12-30 | 2010-06-02 | 湖北莲花山计算机视觉和信息科学研究院 | 基于多层次全景建模的ptz跟踪方法和*** |
| US20110292166A1 (en) * | 2010-05-28 | 2011-12-01 | Qualcomm Incorporated | North Centered Orientation Tracking in Uninformed Environments |
| US20120242780A1 (en) * | 2009-10-09 | 2012-09-27 | Noriyuki Yamashita | Image processing apparatus and method, and program |
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| CN103516995A (zh) * | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
| CN103618881A (zh) * | 2013-12-10 | 2014-03-05 | 深圳英飞拓科技股份有限公司 | 多镜头全景拼接控制方法及装置 |
| CN105100640A (zh) * | 2015-01-23 | 2015-11-25 | 武汉智源泉信息科技有限公司 | 一种局部配准并行视频拼接方法及*** |
| CN105205853A (zh) * | 2014-06-20 | 2015-12-30 | 西安英诺视通信息技术有限公司 | 一种用于全景视图管理的3d图像拼接合成方法 |
| CN105608667A (zh) * | 2014-11-20 | 2016-05-25 | 深圳英飞拓科技股份有限公司 | 一种全景拼接的方法及装置 |
| CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
| CN105825475A (zh) * | 2016-04-01 | 2016-08-03 | 西安电子科技大学 | 基于单摄像头的360度全景影像生成方法 |
| CN106023086A (zh) * | 2016-07-06 | 2016-10-12 | 中国电子科技集团公司第二十八研究所 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
-
2017
- 2017-07-26 CN CN201710617305.0A patent/CN107580175A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020063725A1 (en) * | 2000-11-30 | 2002-05-30 | Virtuallylisted Llc | Method and apparatus for capturing and presenting panoramic images for websites |
| US20120242780A1 (en) * | 2009-10-09 | 2012-09-27 | Noriyuki Yamashita | Image processing apparatus and method, and program |
| CN101719986A (zh) * | 2009-12-30 | 2010-06-02 | 湖北莲花山计算机视觉和信息科学研究院 | 基于多层次全景建模的ptz跟踪方法和*** |
| US20110292166A1 (en) * | 2010-05-28 | 2011-12-01 | Qualcomm Incorporated | North Centered Orientation Tracking in Uninformed Environments |
| CN103516995A (zh) * | 2012-06-19 | 2014-01-15 | 中南大学 | 一种基于orb特征的实时全景视频拼接方法和装置 |
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| CN103618881A (zh) * | 2013-12-10 | 2014-03-05 | 深圳英飞拓科技股份有限公司 | 多镜头全景拼接控制方法及装置 |
| CN105205853A (zh) * | 2014-06-20 | 2015-12-30 | 西安英诺视通信息技术有限公司 | 一种用于全景视图管理的3d图像拼接合成方法 |
| CN105608667A (zh) * | 2014-11-20 | 2016-05-25 | 深圳英飞拓科技股份有限公司 | 一种全景拼接的方法及装置 |
| CN105761233A (zh) * | 2014-12-15 | 2016-07-13 | 南京理工大学 | 一种基于fpga的实时全景图像拼接方法 |
| CN105100640A (zh) * | 2015-01-23 | 2015-11-25 | 武汉智源泉信息科技有限公司 | 一种局部配准并行视频拼接方法及*** |
| CN105825475A (zh) * | 2016-04-01 | 2016-08-03 | 西安电子科技大学 | 基于单摄像头的360度全景影像生成方法 |
| CN106023086A (zh) * | 2016-07-06 | 2016-10-12 | 中国电子科技集团公司第二十八研究所 | 一种基于orb特征匹配的航拍影像及地理数据拼接方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110044374A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种基于图像特征的单目视觉测量里程的方法及里程计 |
| CN110044374B (zh) * | 2018-01-17 | 2022-12-09 | 宽衍(北京)科技发展有限公司 | 一种基于图像特征的单目视觉测量里程的方法及里程计 |
| CN110866863A (zh) * | 2018-08-27 | 2020-03-06 | 天津理工大学 | 汽车a柱透视算法 |
| CN109389563A (zh) * | 2018-10-08 | 2019-02-26 | 天津工业大学 | 一种基于sCMOS相机的随机噪声自适应检测与校正方法 |
| CN109640090A (zh) * | 2018-12-18 | 2019-04-16 | 深圳市丰巢科技有限公司 | 图片压缩方法及装置、设备和存储介质 |
| CN109859104A (zh) * | 2019-01-19 | 2019-06-07 | 创新奇智(重庆)科技有限公司 | 一种视频生成图片的方法、计算机可读介质及转换*** |
| CN110111278A (zh) * | 2019-04-30 | 2019-08-09 | 北京理工大学 | 一种修复拼接图像黑色无数据区域的图像处理方法 |
| CN110926333A (zh) * | 2019-11-28 | 2020-03-27 | 上海华力集成电路制造有限公司 | 电子扫描方法以及电子扫描装置 |
| CN111193879A (zh) * | 2020-03-17 | 2020-05-22 | 东莞市鑫泰仪器仪表有限公司 | 一种单镜头多波段复用成像装置及其成像方法 |
| CN111398295A (zh) * | 2020-04-24 | 2020-07-10 | 上海御微半导体技术有限公司 | 一种缺陷检测装置及其方法 |
| CN112070674B (zh) * | 2020-09-04 | 2021-11-02 | 北京康吉森技术有限公司 | 一种图像合成方法及装置 |
| CN112070674A (zh) * | 2020-09-04 | 2020-12-11 | 北京伟杰东博信息科技有限公司 | 一种图像合成方法及装置 |
| CN112308782A (zh) * | 2020-11-27 | 2021-02-02 | 深圳开立生物医疗科技股份有限公司 | 一种全景图像拼接方法、装置及超声设备和存储介质 |
| CN112614051A (zh) * | 2020-12-08 | 2021-04-06 | 上海裕芮信息技术有限公司 | 一种建筑物外立面图像拼接方法、***、设备及存储介质 |
| CN114007014A (zh) * | 2021-10-29 | 2022-02-01 | 北京环境特性研究所 | 一种生成全景图像的方法、装置、电子设备和存储介质 |
| CN114007014B (zh) * | 2021-10-29 | 2023-06-16 | 北京环境特性研究所 | 一种生成全景图像的方法、装置、电子设备和存储介质 |
| CN114066731A (zh) * | 2021-11-11 | 2022-02-18 | 百度在线网络技术（北京）有限公司 | 生成全景图的方法、装置、电子设备及存储介质 |
| CN114240758A (zh) * | 2021-12-24 | 2022-03-25 | 柳州市侗天湖农业生态旅游投资有限责任公司 | 一种以四边形地块为参照物的山区茶园低空图像拼接方法 |
| CN116523809A (zh) * | 2023-07-03 | 2023-08-01 | 首都医科大学附属北京口腔医院 | 一种图像融合装置 |
| CN116523809B (zh) * | 2023-07-03 | 2023-10-17 | 首都医科大学附属北京口腔医院 | 一种图像融合装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107580175A (zh) | 一种单镜头全景拼接的方法 | |
| Huijuan et al. | Fast image matching based-on improved SURF algorithm | |
| Shao et al. | Car detection from high-resolution aerial imagery using multiple features | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN104867134B (zh) | 一种用于无人机巡检输电线路杆塔的识别方法 | |
| CN107346414B (zh) | 行人属性识别方法和装置 | |
| CN103020941A (zh) | 基于全景拼接的旋转摄像头背景建立法及运动物体检测法 | |
| CN108876723A (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
| CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
| CN111783523A (zh) | 一种遥感影像旋转目标检测方法 | |
| CN104134200A (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN107945111A (zh) | 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法 | |
| CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
| Cai et al. | Guided attention network for object detection and counting on drones | |
| CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
| CN112560619A (zh) | 一种基于多聚焦图像融合的多距离鸟类精准识别方法 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| CN110288511A (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| CN101561316B (zh) | 一种基于感兴趣区域(roi)的在线检测视觉数据处理*** | |
| CN109993718A (zh) | 一种多通道投影图像融合方法及装置 | |
| CN104978558B (zh) | 目标的识别方法及装置 | |
| CN106228560B (zh) | 一种复杂场景下的人数统计方法 | |
| CN106469435A (zh) | 图像处理方法、装置及设备 | |
| CN110430400B (zh) | 一种双目可运动摄像机的地平面区域检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |
|
| RJ01 | Rejection of invention patent application after publication |