CN103971378A - 一种混合视觉***中全景图像的三维重建方法 - Google Patents

一种混合视觉***中全景图像的三维重建方法 Download PDF

Info

Publication number
CN103971378A
CN103971378A CN201410233096.6A CN201410233096A CN103971378A CN 103971378 A CN103971378 A CN 103971378A CN 201410233096 A CN201410233096 A CN 201410233096A CN 103971378 A CN103971378 A CN 103971378A
Authority
CN
China
Prior art keywords
point
vision system
rgb
camera
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410233096.6A
Other languages
English (en)
Other versions
CN103971378B (zh
Inventor
何炳蔚
林昌
邹诚
刘丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Qishan Lake Medical Technology Co ltd
Unnamed Fujian Investment Group Co ltd
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201410233096.6A priority Critical patent/CN103971378B/zh
Publication of CN103971378A publication Critical patent/CN103971378A/zh
Application granted granted Critical
Publication of CN103971378B publication Critical patent/CN103971378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种混合视觉***中全景图像的三维重建方法,该混合视觉***包括RGB-D摄像机和全景摄像机。所述方法:首先对混合视觉***进行标定,得到混合视觉***的内外参数;其次根据混合视觉***的空间关系和内外参数确定混合视觉***的共同视场;然后基于SIFT+RANSAC(随机采样一致性)获得混合视觉***共同视场的特征匹配点;最后基于RGB-D摄像机的深度信息,对全景摄像机中匹配特征点进行三维重建。本发明能够获混合视觉***中全景图像内共同视场内特征点的三维信息,实现低复杂度高质量的全景图像三维重建。

Description

一种混合视觉***中全景图像的三维重建方法
技术领域
本发明属于机器视觉技术领域,特别涉及到一种新型混合视觉***中全景图像的高效、准确三维重建的技术,即一种混合视觉***中全景图像的三维重建方法。
背景技术
随着RGB-D摄像机的发明,RGB-D摄像机为实时获取深度信息提供了便利。RGB-D摄像机由RGB摄像机和IR深度摄像机组成。RGB-D不仅价格低廉而且还能同时采集视场的深度图和纹理图。国内外专家学者对RGB-D摄像机的研究越来越关注,其中由RGB-D摄像机和全景视觉构成的新型混合视觉***吸引了很多学者的关注。它集合了RGB-D摄像机实时获取深度信息,成像清晰,分辨率大的优点和全景摄像机视场大,获取场景信息量大的长处,同时克服了RGB-D摄像机市场小和全景摄像机分辨率低的缺点,具有广泛的应用前景。在移动机器人中,通常将全景摄像机安装在机器人顶部,RGB-D摄像机安装在前端,实现如物体识别、物体跟踪、3D建模和姿态识别等功能。混合视觉还在医学上用于病人康复训练,手语识别和盲人引导***等。
一般情况下,图像特征点的三维重建算法是利用特定目标自身的特征进行立体匹配。这些匹配算法包含一些特殊的匹配策略或人工步骤,影响了三维重建鲁棒性和自动化程度;如果对象改变,可能会对算法的效能产生负面影响;重建精度方面,由于双目***的主要采用立体匹配算法,所以导致***非常依赖像素的可靠视差,最终这些匹配中的问题导致图像特征点的三维重建质量不高。
发明内容
本发明的目的在于提供一种可以快速准确的重建全景图像特征点的三维信息,实现低复杂度高质量的全景图像三维重建的混合视觉***中全景图像的三维重建方法。
为实现上述目的,本发明的技术方案是:一种混合视觉***中全景图像的三维重建方法,该混合视觉***包括RGB-D摄像机和全景摄像机,包括如下步骤,
步骤S01:对混合视觉***进行标定,得到混合视觉***的内外参数;
步骤S02:根据混合视觉***的空间关系和内外参数确定混合视觉***的共同视场;
步骤S03:利用SIFT特征匹配算法,获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配;
步骤S04:采用RANSAC算法剔除粗匹配中的误匹配点,得到精确匹配点;
步骤S05:利用RGB-D摄像机获得的深度信息,结合混合视觉***的内外参数,得到全景摄像机中匹配特征点的三维信息,从而完成三维重建目的。
在本发明实施例中,所述步骤S01中对混合视觉***进行标定的方法,包括如下步骤,
步骤S21:分别对RGB-D摄像机的RGB摄像机和全景摄像机进行标定,得到RGB摄像机和全景摄像机的内参数K pK m
步骤S22:调整棋盘格标定板的位置使其在两个摄像机中都成像,分别拍摄两幅棋盘格图像,根据棋盘格图像对混合视觉***外参数进行标定,获得外参数矩阵[R p2m ,T p2m ]。
在本发明实施例中,所述步骤S02,具体包括如下步骤,
步骤S31:场景图像获得:保持混合视觉***中两摄像机位置不变,拍摄场景图像,获得全景图像和RGB图像;
步骤S32:混合视觉***共同视场区域获得:所述RGB图像边界点像素坐标 的归一化坐标 ,其中,Kp为RGB摄像机的内参数矩阵;计算RGB摄像机图像边界点对应的二次曲线,4条边界曲线包围出两个月牙形的区域,RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围,则根据对极几何知识和全景摄像机成像原理,它们在全景摄像机图像上的投影必然位于月牙形区域内;因RGB摄像机只能观察到前方的图像,故将月牙形区域中对应的部分保留下来,成为混合视觉***共同视场区域。
在本发明实施例中,所述步骤S03,具体包括以下步骤,
步骤S41:特征点检测:在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点,DoG算子定义为两个不同尺度的高斯核的差分,其中,DoG算子:
步骤S42:在检测DoG尺度空间极值时,一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素,即总共26个像素进行比较,以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值;
步骤S43:特征点描述,即建立特征向量:每个关键点由2×2共4个种子点构成,每个种子点包含8个方向向量信息;为了增强匹配稳定性,对每个关键点采用4×4共16个种子点来描述,对于每个关键点能够产生128个数据,即最后每个关键点建立128维的SIFT特征向量;
步骤S44:进行特征匹配以获取候选匹配点:当所述全景图像和RGB图像的SIFT特征向量生成后,采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量;取所述全景图像和RGB图像中欧式距离最近的前两对关键点,若最近的距离除以次近的距离少于预设比例阈值,则接受这一对匹配点。
在本发明实施例中,所述步骤S04采用RANSAC剔除粗匹配中的误匹配点,得到精确匹配点,具体实现过程如下:
采用RANSAC算法去除外点,即通过多次随机抽取匹配点的样本对参数进行估计,得出初始参数模型,然后根据估计参数将所有匹配点数据进行分类,若分类后的匹配点数据在设定误差范围内,则称为内点,反之称为外点,并经过多次迭代计算出最优参数模型。
在本发明实施例中,所述步骤S05,具体实现过程如下,
所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息;通过提取RGB图像特征点,并根据该RGB图像特征点在深度点云空间中相应的深度信息,结合得到全景图像匹配点的深度信息,
为RGB-D摄像机坐标系下RGB图像特征点的坐标,并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为;根据混合视觉***坐标变换原理以及混合视觉***外参数矩阵[R p2m ,T p2m ],可得:
式中,为全景图像中对应匹配点的Z轴坐标,即RGB图像特征点的深度信息;
是全景摄像机坐标系下全景图像特征点的坐标,由上述分析可得;根据全景图像成像原理,有:
其中,为全景摄像机的内参数矩阵,其中为摄像机水平方向和垂直方向的有效焦距,为倾斜因子,为摄像机中心轴线在图像平面的投影点坐标;为点的在图像平面的投影点坐标。
相较于现有技术,本发明具有以下有益效果:
1、改进图像特征点匹配方法,引入RANSAC算法提出粗匹配中的误匹配点,提高图像特征点的匹配精度;
2、确定混合视觉中共同视场;
3、采用基于RGB-D摄像机获得的深度信息,完成全景图像的三维重建;
4、本发明采用基于RGB-D摄像机获得的深度信息完成全景图像的三维重建,与传统的双目重建方法相比,该方法更加简便有效,重建精度满足实际要求。
附图说明
图1是本发明总体流程图。
图2是本发明实施例RGB摄像机图像边界点示意图。
图3是本发明实施例混合视觉***共同视场确定示意图。
图4 是本发明实施例RGB摄像机图像边界点对应二次曲线。
图5是本发明实施例混合视觉***共同视场。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
如图1所示,本发明一种混合视觉***中全景图像的三维重建方法,该混合视觉***包括RGB-D摄像机和全景摄像机,包括如下步骤,
步骤S01:对混合视觉***进行标定,得到混合视觉***的内外参数;
步骤S02:根据混合视觉***的空间关系和内外参数确定混合视觉***的共同视场;
步骤S03:利用SIFT特征匹配算法,获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配;
步骤S04:采用RANSAC算法剔除粗匹配中的误匹配点,得到精确匹配点;
步骤S05:利用RGB-D摄像机获得的深度信息,结合混合视觉***的内外参数,得到全景摄像机中匹配特征点的三维信息,从而完成三维重建目的。
所述步骤S01中对混合视觉***进行标定的方法,包括如下步骤,
步骤S21:分别对Kinect摄像机的RGB摄像机和全景摄像机进行标定,得到RGB摄像机和全景摄像机的内参数K pK m
步骤S22:调整棋盘格标定板的位置使其在两个摄像机中都成像,分别拍摄两幅棋盘格图像,根据棋盘格图像对混合视觉***外参数进行标定,获得外参数矩阵[R p2m ,T p2m ]。
所述步骤S02,具体包括如下步骤,
步骤S31:场景图像获得:保持混合视觉***中两摄像机位置不变,拍摄场景图像,获得全景图像和RGB图像;
步骤S32:混合视觉***共同视场区域获得:所述RGB图像边界点像素坐标的归一化坐标 ,其中,Kp为RGB摄像机的内参数矩阵;计算RGB摄像机图像边界点对应的二次曲线,4条边界曲线包围出两个月牙形的区域,RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围,则根据对极几何知识和全景摄像机成像原理,它们在全景摄像机图像上的投影(二次曲线)必然位于月牙形区域内;因RGB摄像机只能观察到前方的图像,故将月牙形区域中对应的部分保留下来,成为新型混合视觉***共同视场区域。
所述步骤S03,具体包括以下步骤,
步骤S41:特征点检测:在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点,DoG算子定义为两个不同尺度的高斯核的差分,其中,DoG算子:
步骤S42:在检测DoG尺度空间极值时,一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素,即总共26个像素进行比较,以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值;
步骤S43:特征点描述,即建立特征向量:每个关键点由2×2共4个种子点构成,每个种子点包含8个方向向量信息;为了增强匹配稳定性,对每个关键点采用4×4共16个种子点来描述,对于每个关键点能够产生128个数据,即最后每个关键点建立128维的SIFT特征向量;
步骤S44:进行特征匹配以获取候选匹配点:当所述全景图像和RGB图像的SIFT特征向量生成后,采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量;取所述全景图像和RGB图像中欧式距离最近的前两对关键点,若最近的距离除以次近的距离少于预设比例阈值,则接受这一对匹配点。
所述步骤S04采用RANSAC剔除粗匹配中的误匹配点,得到精确匹配点,具体实现过程如下:
采用RANSAC算法去除外点,即通过多次随机抽取匹配点的样本对参数进行估计,得出初始参数模型,然后根据估计参数将所有匹配点数据进行分类,若分类后的匹配点数据在设定误差范围内,则称为内点,反之称为外点,并经过多次迭代计算出最优参数模型。
所述步骤S05,具体实现过程如下,
所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息;通过提取RGB图像特征点,并根据该RGB图像特征点在深度点云空间中相应的深度信息,结合得到全景图像匹配点的深度信息,
为RGB-D摄像机坐标系下RGB图像特征点的坐标,并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为;根据混合视觉***坐标变换原理以及混合视觉***外参数矩阵[R p2m ,T p2m ],可得:
式中,为全景图像中对应匹配点的Z轴坐标,即RGB图像特征点的深度信息;
是全景摄像机坐标系下全景图像特征点的坐标,由上述分析可得;根据全景图像成像原理,有:
其中,为全景摄像机的内参数矩阵,其中为摄像机水平方向和垂直方向的有效焦距,为倾斜因子,为摄像机中心轴线在图像平面的投影点坐标。为点的在图像平面的投影点坐标。
以下为本发明的具体实施例。
制作一块格数为,单位尺寸为的黑白棋盘格图,在本实例中所使用的标定板的尺寸为:棋盘格的格数为,每小格单位尺寸为。分别利用RGB-D摄像机的RGB摄像机和全景摄像机拍摄不同摆放位置的棋盘格,对摄像机的内参进行标定,得到RGB摄像机和全景摄像机的内参数,
调整棋盘格标定板的位置使其在两个摄像机中尽可能大的成像,分别拍摄棋盘格图像,根据上面标定的摄像机内参数,对得到图像进行校正,得到矫正棋盘格图像。然后利用矫正后的棋盘格图像对混合视觉***外参数进行标定,得到混合视觉***的外参数矩阵[R p2m ,T p2m ]。
保持混合视觉***中两摄像机位置不变,拍摄场景图像。得到全景图像和RGB图像,同时RGB-D摄像机可获得RGB图像所对应的深度信息。
如图3所示是本发明实施例混合视觉***共同视场确定示意图,该混合视觉***共同视场过程具体为:所述RGB图像边界点像素坐标的归一化坐标 ,如图2所示;其中,为RGB摄像机的内参数矩阵。计算RGB摄像机图像边界点对应的二次曲线,4条边界曲线包围出两个月牙形的区域,RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围,则根据对极几何知识和全景摄像机成像原理,它们在全景摄像机图像上的投影 (二次曲线) 必然位于月牙形区域内。因RGB摄像机只能观察到前方的图像,故将月牙形区域中对应的部分保留下来,成为混合视觉***共同视场区域,如图4。
根据标定结果,向量在全景图像中的投影以为定点,以为方向向量的射线,如图5而由向量的延长线和S包围的区域即为全景图像的重叠部分。
利用SIFT特征匹配算法,获得两图像中的粗特征点匹配,并使用RANSAC算法(随机采样一致性)剔除粗匹配中的误匹配点,得到精确匹配点;具体步骤如下。
1)特征点检测:在图像二维平面空间和DoG(Difference-of-Gaussian)尺度空间中同时检测局部极值以作为特征点,DoG算子定义为两个不同尺度的高斯核的差分,DoG算子如下式所示:
在检测尺度空间极值时,某个像素需要跟同一尺度的周围领域的8个像素以及相邻尺度对应位置的领域9×2个像素总共26个像素进行比较,以确保在尺度空间和2维图像空间都能检测到局部极值。
2)特征点描述,即建立特征向量:每个关键点由2×2共4个种子点构成,每个种子点包含8个方向向量信息。为了增强匹配稳定性,Lowe[1]对每个关键点采用4×4共16个种子点来描述,这样对于每个关键点就可以产生128个数据,即最后每个关键点建立128维的SIFT特征向量。
3)进行特征匹配以获取候选匹配点:当两幅图像的SIFT特征向量生成后,下一步采用关键点特征向量间的欧式距离来作为两幅图像中关键点的相似性判定度量。取两幅图像欧式距离最近的前两对关键点,在这两对关键点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点。
4)消除误匹配:本文采用RANSAC算法[2]去除外点,RANSAC算法是通过多次随机抽取一定的样本对参数进行估计,先得出初始参数模型,然后根据估计参数将所有数据进行分类,一部分数据在设定误差范围内,则称为内点,反之称为外点,经过多次迭代计算出最优模型参数。
5)特征点三维重建:利用RGB-D摄像机获得的深度信息,结合混合视觉***的内外参数,可得到全景摄像机中匹配特征点的深度信息,从而完成特征点的三维重建。具体步骤如下:
RGB-D摄像机获得RGB图像的时候同时获得对应点的深度信息。通过提取RGB图像特征点,根据特征点在深度点云空间中相应的深度信息,并结合,可得全景图像匹配点的深度信息。
为RGB-D摄像机坐标系下特征点的坐标,与该特征点在全景摄像机坐标系下的点的坐标为。根据混合视觉***坐标变换原理,混合视觉***外参数矩阵[R p2m ,T p2m ],可得:
式中即为全景图像中对应匹配点的Z轴坐标,即特征点的深度信息。
是全景摄像机坐标系下全景图像特征点的坐标,由上面分析可的到。根据全景图像成像原理,有:
其中,为全景摄像机的内参数矩阵,其中为摄像机水平方向和垂直方向的有效焦距,为倾斜因子,为摄像机中心轴线在图像平面的投影点坐标。为点的在图像平面的投影点坐标。
本文引用参考文献:
[1]Lowe D G.Object recognition from local scale-invariant features. IEEE International Conference on Computer Vision, Piscataway, NJ, USA, pp. 130-132, 1999.
[2] Wang Wei,Hong Jun,Tang Yiping.Image matching for geomorphic measurement based on sift and RANSAC methods[C].International Conference on Computer Science and Software Engineering. Wuhan, Hubei, IEEE, 2008,317-320.。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (6)

1.一种混合视觉***中全景图像的三维重建方法,该混合视觉***包括RGB-D摄像机和全景摄像机,其特征在于:包括如下步骤,
步骤S01:对混合视觉***进行标定,得到混合视觉***的内外参数;
步骤S02:根据混合视觉***的空间关系和内外参数确定混合视觉***的共同视场;
步骤S03:利用SIFT特征匹配算法,获得全景摄像机和RGB-D摄像机的RGB摄像机拍摄获得的全景图像和RGB图像的粗特征点匹配;
步骤S04:采用RANSAC算法剔除粗匹配中的误匹配点,得到精确匹配点;
步骤S05:利用RGB-D摄像机获得的深度信息,并结合混合视觉***的内外参数,得到全景摄像机中匹配特征点的三维信息,从而完成三维重建目的。
2.根据权利要求1所述的一种混合视觉***中全景图像的三维重建方法,其特征在于:所述步骤S01中对混合视觉***进行标定的方法,包括如下步骤,
步骤S21:分别对RGB-D摄像机的RGB摄像机和全景摄像机进行标定,得到RGB摄像机和全景摄像机的内参数K pK m
步骤S22:调整棋盘格标定板的位置使其在两个摄像机中都成像,分别拍摄两幅棋盘格图像,根据棋盘格图像对混合视觉***外参数进行标定,获得外参数矩阵[ , ]。
3.根据权利要求2所述的一种混合视觉***中全景图像的三维重建方法,其特征在于:所述步骤S02,具体包括如下步骤,
步骤S31:场景图像获得:保持混合视觉***中两摄像机位置不变,拍摄场景图像,获得全景图像和RGB图像;
步骤S32:混合视觉***共同视场区域获得:所述RGB图像边界点像素坐标的归一化坐标 ,其中,Kp为RGB摄像机的内参数矩阵;计算RGB摄像机图像边界点对应的二次曲线,4条边界曲线包围出两个月牙形的区域,RGB摄像机图像上的其他点的归一化坐标向量被确定的四角锥所包围,则根据对极几何知识和全景摄像机成像原理,它们在全景摄像机图像上的投影必然位于月牙形区域内;因RGB摄像机只能观察到前方的图像,故将月牙形区域中对应的部分保留下来,成为混合视觉***的共同视场区域。
4.根据权利要求3所述的一种混合视觉***中全景图像的三维重建方法,其特征在于:所述步骤S03,具体包括以下步骤,
步骤S41:特征点检测:在图像二维平面空间和DoG尺度空间中同时检测局部极值以作为特征点,DoG算子定义为两个不同尺度的高斯核的差分,其中,DoG算子:
步骤S42:在检测DoG尺度空间极值时,一个像素需要跟同一尺度周围领域的8个像素以及相邻尺度对应位置领域的9×2个像素,即总共26个像素进行比较,以确保在DoG尺度空间和图像二维平面空间都能检测到局部极值;
步骤S43:特征点描述,即建立特征向量:每个关键点由2×2共4个种子点构成,每个种子点包含8个方向向量信息;为了增强匹配稳定性,对每个关键点采用4×4共16个种子点来描述,对于每个关键点能够产生128个数据,即最后每个关键点建立128维的SIFT特征向量;
步骤S44:进行特征匹配以获取候选匹配点:当所述全景图像和RGB图像的SIFT特征向量生成后,采用关键点特征向量间的欧式距离来作为所述全景图像和RGB图像中关键点的相似性判定度量;取所述全景图像和RGB图像中欧式距离最近的前两对关键点,若最近的距离除以次近的距离少于预设比例阈值,则接受这一对匹配点。
5.根据权利要求4所述的一种混合视觉***中全景图像的三维重建方法,其特征在于:所述步骤S04采用RANSAC剔除粗匹配中的误匹配点,得到精确匹配点,具体实现过程如下:
采用RANSAC算法去除外点,即通过多次随机抽取匹配点的样本对参数进行估计,得出初始参数模型,然后根据估计参数将所有匹配点数据进行分类,若分类后的匹配点数据在设定误差范围内,则称为内点,反之称为外点,并经过多次迭代计算出最优参数模型。
6.根据权利要求5所述的一种混合视觉***中全景图像的三维重建方法,其特征在于:所述步骤S05,具体实现过程如下,
所述RGB-D摄像机获得RGB图像的同时获得RGB图像对应点的深度信息;通过提取RGB图像特征点,并根据该RGB图像特征点在深度点云空间中相应的深度信息,结合得到全景图像匹配点的深度信息,
为RGB-D摄像机坐标系下RGB图像特征点的坐标,并设该RGB图像特征点在全景摄像机坐标系下的点的坐标为;根据混合视觉***坐标变换原理以及混合视觉***外参数矩阵[ , ],可得:
式中,为全景图像中对应匹配点的Z轴坐标,即RGB图像特征点的深度信息;
是全景摄像机坐标系下全景图像特征点的坐标,由上述分析可得;根据全景图像成像原理,有:
其中,为全景摄像机的内参数矩阵,其中为摄像机水平方向和垂直方向的有效焦距,为倾斜因子,为摄像机中心轴线在图像平面的投影点坐标;为点的在图像平面的投影点坐标。
CN201410233096.6A 2014-05-29 2014-05-29 一种混合视觉***中全景图像的三维重建方法 Active CN103971378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410233096.6A CN103971378B (zh) 2014-05-29 2014-05-29 一种混合视觉***中全景图像的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410233096.6A CN103971378B (zh) 2014-05-29 2014-05-29 一种混合视觉***中全景图像的三维重建方法

Publications (2)

Publication Number Publication Date
CN103971378A true CN103971378A (zh) 2014-08-06
CN103971378B CN103971378B (zh) 2016-06-29

Family

ID=51240827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410233096.6A Active CN103971378B (zh) 2014-05-29 2014-05-29 一种混合视觉***中全景图像的三维重建方法

Country Status (1)

Country Link
CN (1) CN103971378B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105374067A (zh) * 2015-10-10 2016-03-02 长安大学 一种基于pal相机的三维重建方法及其重建***
CN106097248A (zh) * 2016-06-16 2016-11-09 哈尔滨工程大学 一种基于高分辨率图像知识先验的压缩感知方法及其混合视觉***
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106447705A (zh) * 2016-11-24 2017-02-22 华南理工大学 应用于室内场景虚拟现实直播的多目立体视觉***及方法
WO2017091927A1 (zh) * 2015-11-30 2017-06-08 华为技术有限公司 图像处理方法和双摄像头***
CN107257494A (zh) * 2017-01-06 2017-10-17 深圳市纬氪智能科技有限公司 一种体育赛事拍摄方法及其拍摄***
CN107408429A (zh) * 2015-03-31 2017-11-28 株式会社自动网络技术研究所 电线组加工用的图像取得***
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
CN107644394A (zh) * 2016-07-21 2018-01-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN108510537A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 3d建模方法和装置
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN110070571A (zh) * 2019-04-28 2019-07-30 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN113163189A (zh) * 2021-04-20 2021-07-23 中国海洋大学 一种双目视觉的水下三维全景成像***与成像方法
CN113689331A (zh) * 2021-07-20 2021-11-23 中国铁路设计集团有限公司 一种复杂背景下的全景图像拼接方法
CN114022570A (zh) * 2022-01-05 2022-02-08 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638653B (zh) * 2012-03-01 2014-04-16 北京航空航天大学 一种基于Kinect的自动面部追踪方法
CN202582585U (zh) * 2012-03-07 2012-12-05 陶重犇 一种室内多用途移动机器人实验平台
CN103077524A (zh) * 2013-01-25 2013-05-01 福州大学 混合视觉***标定方法
CN103593854A (zh) * 2013-12-02 2014-02-19 福州大学 一种混合视觉***标定中虚拟摄像机的确定方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
CN107408429A (zh) * 2015-03-31 2017-11-28 株式会社自动网络技术研究所 电线组加工用的图像取得***
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105005999B (zh) * 2015-08-12 2018-08-10 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105374067A (zh) * 2015-10-10 2016-03-02 长安大学 一种基于pal相机的三维重建方法及其重建***
WO2017091927A1 (zh) * 2015-11-30 2017-06-08 华为技术有限公司 图像处理方法和双摄像头***
US10445890B2 (en) 2015-11-30 2019-10-15 Huawei Technologies Co., Ltd. Dual camera system and image processing method for eliminating an alignment vector of an occlusion area in an image alignment vector field
CN106127115A (zh) * 2016-06-16 2016-11-16 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106127115B (zh) * 2016-06-16 2020-01-31 哈尔滨工程大学 一种基于全景和常规视觉的混合视觉目标定位方法
CN106097248B (zh) * 2016-06-16 2019-12-10 哈尔滨工程大学 一种基于高分辨率图像知识先验的压缩感知方法及其混合视觉***
CN106097248A (zh) * 2016-06-16 2016-11-09 哈尔滨工程大学 一种基于高分辨率图像知识先验的压缩感知方法及其混合视觉***
CN107644394A (zh) * 2016-07-21 2018-01-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置
CN107644394B (zh) * 2016-07-21 2021-03-30 完美幻境(北京)科技有限公司 一种3d图像的处理方法及装置
CN106447705A (zh) * 2016-11-24 2017-02-22 华南理工大学 应用于室内场景虚拟现实直播的多目立体视觉***及方法
CN106447705B (zh) * 2016-11-24 2019-07-16 华南理工大学 应用于室内场景虚拟现实直播的多目立体视觉***及方法
CN107257494A (zh) * 2017-01-06 2017-10-17 深圳市纬氪智能科技有限公司 一种体育赛事拍摄方法及其拍摄***
CN108510537A (zh) * 2017-02-28 2018-09-07 深圳市掌网科技股份有限公司 3d建模方法和装置
CN108510537B (zh) * 2017-02-28 2020-06-12 深圳市掌网科技股份有限公司 3d建模方法和装置
CN107545537A (zh) * 2017-08-21 2018-01-05 嘀拍信息科技南通有限公司 一种从稠密点云生成3d全景图片的方法
CN108305281A (zh) * 2018-02-09 2018-07-20 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN108305281B (zh) * 2018-02-09 2020-08-11 深圳市商汤科技有限公司 图像的校准方法、装置、存储介质、程序产品和电子设备
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN109202912B (zh) * 2018-11-15 2020-09-11 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法
CN110070571A (zh) * 2019-04-28 2019-07-30 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法
CN110070571B (zh) * 2019-04-28 2020-10-16 安徽农业大学 一种基于深度相机的毛竹形态参数检测方法
CN113163189A (zh) * 2021-04-20 2021-07-23 中国海洋大学 一种双目视觉的水下三维全景成像***与成像方法
CN113689331A (zh) * 2021-07-20 2021-11-23 中国铁路设计集团有限公司 一种复杂背景下的全景图像拼接方法
CN114022570A (zh) * 2022-01-05 2022-02-08 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN114022570B (zh) * 2022-01-05 2022-06-17 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随***
CN117062280B (zh) * 2023-08-17 2024-03-08 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随***

Also Published As

Publication number Publication date
CN103971378B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN103971378A (zh) 一种混合视觉***中全景图像的三维重建方法
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN106570899B (zh) 一种目标物体检测方法及装置
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN107886547B (zh) 一种鱼眼相机标定方法及***
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和***
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN103886611A (zh) 一种适合于航空摄影飞行质量自动检查的影像匹配方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN103473771A (zh) 一种摄相机标定方法
CN103902953B (zh) 一种屏幕检测***及方法
CN103852060A (zh) 一种基于单目视觉的可见光图像测距方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN109255818A (zh) 一种新型标靶及其亚像素级角点的提取方法
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN102999895A (zh) 利用两个同心圆线性求解摄像机内参数
CN103679713A (zh) 一种针对部分匹配图像的二维图像配准方法
CN103489165B (zh) 一种面向视频拼接的小数查找表生成方法
Somanath et al. Stereo+ kinect for high resolution stereo correspondences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230314

Address after: 350100 Room 501, Floor 5, Building 14, Phase I, "Haixi High-tech Industrial Park", High-tech Zone, Fuzhou City, Fujian Province (located at No. 3, Keji East Road, Shangjie Town, Minhou County)

Patentee after: Unnamed (Fujian) Investment Group Co.,Ltd.

Address before: 350108 new campus of Fuzhou University, No. 2, Xue Yuan Road, University Town, Minhou street, Minhou, Fujian.

Patentee before: FUZHOU University

Effective date of registration: 20230314

Address after: Room 501-3, Floor 5, Building 14, Phase I, Innovation Park, No. 3, Keji East Road, High-tech Zone, Fuzhou, Fujian 350100

Patentee after: Fujian Qishan Lake Medical Technology Co.,Ltd.

Address before: 350100 Room 501, Floor 5, Building 14, Phase I, "Haixi High-tech Industrial Park", High-tech Zone, Fuzhou City, Fujian Province (located at No. 3, Keji East Road, Shangjie Town, Minhou County)

Patentee before: Unnamed (Fujian) Investment Group Co.,Ltd.

TR01 Transfer of patent right