CN107154014A - 一种实时彩色及深度全景图像拼接方法 - Google Patents

一种实时彩色及深度全景图像拼接方法 Download PDF

Info

Publication number
CN107154014A
CN107154014A CN201710286461.3A CN201710286461A CN107154014A CN 107154014 A CN107154014 A CN 107154014A CN 201710286461 A CN201710286461 A CN 201710286461A CN 107154014 A CN107154014 A CN 107154014A
Authority
CN
China
Prior art keywords
msub
mrow
depth
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710286461.3A
Other languages
English (en)
Other versions
CN107154014B (zh
Inventor
夏瑞隆
刘航
李恒宇
丁长权
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710286461.3A priority Critical patent/CN107154014B/zh
Publication of CN107154014A publication Critical patent/CN107154014A/zh
Application granted granted Critical
Publication of CN107154014B publication Critical patent/CN107154014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种实时彩色及深度全景图像拼接方法，将深度传感器生成的深度图像和彩色图像对齐，利用彩色图像的配准信息来对深度图像进行图像变换和图像融合，进而生成彩色及深度全景图像；对图像拼接流程进行优化，在同一场景下，对同种组型的配准参数只进行一次估计，后续图像直接利用此配准参数进行变换和融合，大大削减了图像拼接时间，实现了全景图像拼接的实时性。本发明拼接的深度全景图畸变更小，拼接方法的灵活性更大，且可以同时完成彩色全景图和深度全景图的生成。本发明提出了基于平均结构相似度的评价标准，对生成的拼接图的几何质量和光度质量进行评价，使***能够始终以最优的拼接参数进行拼接，图像拼接的质量更高。

Description

一种实时彩色及深度全景图像拼接方法
技术领域
本发明涉及一种实时彩色及深度全景图像拼接方法，可对以Kinect为代表的视场角较小的RGBD(Red-Green-Blue-Depth)传感器阵列生成的图像序列进行高效快速拼接，同时生成彩色全景图和深度全景图。
背景技术
随着计算机视觉的发展，传统的基于二维彩色图像处理的计算机视觉技术已经无法满足人们将计算机视觉应用于三维物理世界中的要求。深度图像作为一种可以直接反映物体距离信息的图像，受到越来越多的关注。深度图像是将从图像传感器到场景中各点的距离作为像素值的图像。与彩色图像相比，其不会受到环境中光照变化的影响。近年来，随着以Microsoft Kinect为代表的能同时获取彩色和深度信息的传感器的推出，人们可以以较低的成本实时获取较高分辨率的深度图像，这大大推动了深度图像在计算机视觉技术中的应用。在物体的检测、分割、追踪和识别，三维重建，SLAM等领域，深度图像都有十分重要的作用。
传统上深度图像的获取方法有：激光雷达深度成像技术、结构光技术、立体视觉技术等。激光雷达虽然可以获得高精度的深度图像，但其价格昂贵；结构光技术只能用于测量静止物体的三维深度数据；立体视觉技术获得的深度信息较为粗糙。因此很长世间以来，人们很难以较为低廉的成本，获得较高分辨率的深度图像，这在很大程度上限制了深度图像在计算机视觉领域中的应用。这种局面被微软于2010年发布的革命性产品Kinect所打破。Kinect通过匹配编码光模板来获得场景的深度图像，并能提供30fps的分辨率为640×480的深度图像。此后也出现了各种同类型的深度相机，诸如ASUS的Xtion、Intel的RealSense、Microsoft的二代Kinect，它们的出现大大推动了深度图像在计算机视觉领域中的应用。
然而与传统激光雷达的360°深度图相比，以Kinect为代表的消费级深度相机的视场相对狭小，一代Kinect的视场角仅为57°，单个深度相机狭小的场景覆盖范围极大地限制了其在诸如物体检测追踪、三维重建、SLAM等计算机视觉领域中的应用。目前拓展相机视场角的方法主要有两种：一种是利用单个相机拍摄的序列图像，然后将其拼接成全景图像；另一种是通过相机阵列同时拍摄，生成多幅同一场景的具有一定交叠区域的图像序列，拼接后生成全景图像。后一种方法虽然需要使用的相机较多，但其可以实时获得360°空间的多幅图像，更符合实际应用中的需要，因而被广泛采用。
在经典的图像拼接算法中，不同视角拍摄的图片需要根据对应的特征点的匹配信息来计算变换矩阵，从而将图像序列变化至同一坐标系下进行拼接。然而，目前由图像序列生成全景图像的拼接算法只适用于彩色图像的拼接。因为拼接算法所依赖的图像配准技术需要通过匹配相邻序列图像重叠区域中的特征点来完成图像序列的配准，从而创建一幅无错位的全景图。深度信息缺乏有效的特征点信息，因此现有的拼接算法无法直接拼接深度图像。经典的全景拼接流程包括图像预处理、图像配准和图像融合。其算法耗时长，无法满足实时处理的需求。因此，找到一种有效的，能满足实时图像处理要求的深度图像拼接技术，从而拓展以Kinect为代表的低成本RGBD传感器的视场角，对于提升深度图像在计算机领域中应用的深度和广度具有重要意义。
发明内容
本发明的目的在于针对现有技术存在的问题，提出一种实时彩色及深度全景图像拼接方法，能实现实时彩色及深度全景图拼接。
为了达到上述目的，本发明的构思如下：
针对深度图缺少特征点，无法应用彩色图像的拼接方法的缺陷，本发明先将每一个Kinect的深度图像和彩色图像对齐，再利用彩色图像的配准信息来对深度图像进行配准，进而完成深度图像的拼接；图像拼接过程中的图像配准步骤十分耗时，为了实现全景图的实时拼接，本发明对图像拼接流程进行优化：在同一场景下，相对位置关系相同的Kinect间的配准参数只进行一次估计优选，后续图像直接利用此配准参数进行变换和融合。
根据上述发明构思，本发明所采用的技术方案是：
一种实时彩色及深度全景图像拼接方法，包括如下步骤：
1)将每个Kinect捕获的彩色图和深度图对齐；
2)对任意一组X型Kinect组的彩色图进行拼接，根据平均结构相似度(MeanStructural Similarity Index，MSSIM)优选X型Kinect组的配准参数；
3)根据步骤2)所选的配准参数，对其余所有X型Kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；
4)对任意一组V型Kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选V型Kinect组的配准参数；
5)根据步骤4)所选的配准参数，对其余所有V型Kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩色全景图和深度全景图。
所述步骤1)中的深度图和彩色图对齐方法，具体为：
a)经推导，得到Kinect的深度相机坐标系到彩色相机坐标系之间的转换关系如下式所示：
r＝RcolorR-1 depth
t＝Tcolor-RTdepth
其中，R为旋转矩阵，T为平移矩阵，H为相机内参矩阵，p为空间点在二维图像平面的投影点坐标，Z为图像在p点处的像素值，参数下标color和depth分别标识该参数是和彩色相机坐标相关，还是和深度相机坐标相关；r和t是联系Kinect彩色相机和深度相机的外参，即旋转矩阵和平移矩阵。
b)分别对Kinect的彩色相机和深度相机进行标定，获取彩色相机的内参矩阵Hcolor，深度相机的内参矩阵Hdepth。
c)对同一个Kinect的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵Rcolor、平移矩阵Tcolor和深度相机的旋转矩阵Rdepth、平移矩阵Tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图Zdepthpdepth代入上述公式，得到的Zcolorpcolor即为所需的与彩色图配准后的深度图像，实现Kinect深度图与彩色图的对齐。
所述步骤2)和步骤4)中的基于平均结构相似度的配准参数优选方法，具体为：
结构相似度(Structural Similarity Index，SSIM)分别从亮度、对比度、结构这三个方面来衡量图像的相似性，假设X、Y是要进行相似度评判的两幅图像，则它们之间的亮度、对比度、结构这三个方面的相似性表达式如下：
其中，μX和μY分别表示图像X和Y的均值，σX和σY分别表示图像X和Y的方差，σXY表示图像X和Y的协方差。C1、C2、C3为常数，为避免分母为0的情况，通常取C1＝(K1×L)2，C2＝(K2×L)2，C3＝C2/2，一般取K1＝0.01,K2＝0.03,L＝255，则：
SSIM(X，Y)＝l(X，Y)×c(X，Y)×s(X，Y)
SSIM取值范围为[0,1]，取值越大，则图像间的失真越小，相似度越高；在实际应用中利用滑动窗口将图像分为N块，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差和协方差，然后再计算SSIM，最后取平均值作为两图像结构相似性的度量，即MSSIM：
在计算MSSIM的过程中，利用配准参数变换后的图像和原始图像的大小会存在差异，因此需要先将原始图像的大小变换至对应的变换后的图像的大小；对于彩色图，将所有图像通路BGR三个通道的MSSIM的均值作为最终的评价结果；当拼接算法在初始化拼接参数的时候会产生多组拼接参数，利用MSSIM的评价标准取得MSSIM估值最大的一组拼接参数作为配准参数。
与现有技术相比，本发明具有如下突出的实质性特点和显著的进步：
1)与直接依靠深度传感器之间的集合关系进行深度图像拼接的方法相比，本发明拼接的深度全景图畸变更小，拼接方法的灵活性更大，且可以同时完成彩色全景图和深度全景图的生成。
2)本发明优化了图像拼接的流程，同一场景下，相对位置关系相同的Kinect间的配准参数只进行一次估计优选，后续图像直接利用此配准参数进行变换和融合，这样做大大削减了图像拼接时间，实现了全景图像拼接的实时性。
3)本发明提出了基于平均结构相似度的评价标准，对生成的拼接图的几何质量和光度质量进行评价，使***能够始终以最优的拼接参数进行拼接，图像拼接的质量更高。
附图说明
图1为本发明的实时彩色及深度全景图像拼接算法的流程图。
图2(a)为X型Kinect组的放置示意图，两个Kinect交叠放置，其所夹的锐角为50°；图2(b)为V型Kinect组的放置示意图，两个Kinect相邻放置，其所夹的钝角为140°；图2(c)为Kinect环形全景拍摄阵列的摆放示意图。
具体实施方式
为了使本发明的技术方案和要点更加明晰，下面结合附图，对本发明的实施步骤做详细说明：
如图2所示，采用8个Kinect：两个上下交叠放置的Kinect，构成X型Kinect组；两个相邻放置的成钝角的Kinect，构成V型Kinect组。分别进行X型Kinect组内图像拼接生成广角图，V型Kinect组内的广角图拼接生成全景图，最终同时生成深度全景图和彩色全景图。
如图1所示，一种实时彩色及深度全景图像拼接方法，包括如下步骤：
1)如图2(c)所示，分别获得Kinect 1-8号捕获的彩色图和深度图。
2)分别对Kinect 1的深度相机和彩色相机进行标定，获取彩色相机的内参矩阵Hcolor，深度相机的内参矩阵Hdepth。
3)对Kinect 1的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵Rcolor、平移矩阵Tcolor和深度相机的旋转矩阵Rdepth、平移矩阵Tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图Zdepthpdepth代入下述公式，得到的Zcolorpcolor即为所需的与彩色图配准后的深度图像：
4)对Kinect 2-8重复步骤2)、3)，完成所有Kinect的深度图与彩色图的对齐。
5)对Kinect 1和Kinect 2组成的X型Kinect组获得的彩色图进行拼接，在拼接初始化时会得到多组拼接参数，进而得到多幅彩色广角图。
6)利用前述MSSIM评估方法，对由不同拼接参数得到的多幅彩色广角图和原始彩色图之间的相似性进行评估，选取MSSIM评估值最大的一组拼接参数作为全局最优X型Kinect组拼接参数。
7)利用步骤6)所得的最优拼接参数，对Kinect 1和Kinect 2组成的X型Kinect组获得的深度图进行图像变换和图像融合，得到深度广角图。
8)利用步骤6)所得的最优拼接参数，完成其余所有X型Kinect组的彩色广角图和深度广角图的生成。
9)对于Kinect 2和Kinect 3组成的V型Kinect组，将Kinect 2所在的X型Kinect组生成的彩色广角图，和Kinect 3所在的X型Kinect组生成的彩色广角图进行拼接，在拼接初始化时会得到多组拼接参数，进而得到多幅彩色广角图拼接结果。
10)利用前述MSSIM评估方法，对由不同拼接参数得到的多幅彩色广角图拼接结果和原始的彩色广角图之间的相似性进行评估，选取MSSIM评估值最大的一组拼接参数作为全局最优V型Kinect组拼接参数。
11)利用步骤10)所得的最优拼接参数，对Kinect 2所在的X型Kinect组生成的深度广角图，和Kinect 3所在的X型Kinect组生成的深度广角图进行图像变换和图像融合，得到深度广角图拼接结果。
12)利用步骤10)所得的最优拼接参数，对于其余所有V型Kinect组所涉及的彩色广角图和深度广角图进行图像变换和图像融合，最终得到彩色全景图和深度全景图。

Claims (3)

1.一种实时彩色及深度全景图像拼接方法，其特征在于，包括如下步骤：
1)将每个Kinect捕获的彩色图和深度图对齐；
2)对任意一组X型Kinect组的彩色图进行拼接，根据平均结构相似度，即MSSIM，优选X型Kinect组的配准参数；
3)根据步骤2)所选的配准参数，对剩下的所有X型Kinect组获得的彩色图像和深度图像进行图像变换、图像融合，得到彩色广角图和深度广角图；
4)对任意一组V型Kinect组所对应的彩色广角图进行拼接，根据平均结构相似度优选V型Kinect组的配准参数；
5)根据步骤4)所选的配准参数，对剩下的所有V型Kinect组所对应的彩色广角图和深度广角图进行图像变换、图像融合，得到彩色全景图和深度全景图。
2.根据权利要求1所述的实时彩色及深度全景图像拼接方法，其特征在于，所述步骤1)中的深度图和彩色图对齐方法，具体为：
a)经推导，得到Kinect的深度相机坐标系到彩色相机坐标系之间的转换关系如下式所示：
<mrow> <msub> <mi>Z</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <msub> <mi>p</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>H</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <msubsup> <mi>rH</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>p</mi> <mi>t</mi> <mi>h</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>Z</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>p</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <msub> <mi>p</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>p</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>t</mi> <mo>&amp;rsqb;</mo> </mrow>
r＝RcolorR-1 depth
t＝Tcolor-RTdepth
其中，R为旋转矩阵，T为平移矩阵，H为相机内参矩阵，p为空间点在二维图像平面的投影点坐标，Z为图像在p点处的像素值，参数下标color和depth分别标识该参数是和彩色相机坐标相关，还是和深度相机坐标相关；r和t是联系Kinect彩色相机和深度相机的外参，即旋转矩阵和平移矩阵；
b)分别对Kinect的彩色相机和深度相机进行标定，获取彩色相机的内参矩阵Hcolor，深度相机的内参矩阵Hdepth；
c)对同一个Kinect的深度相机和彩色相机进行双目标定，获取彩色相机的旋转矩阵Rcolor、平移矩阵Tcolor和深度相机的旋转矩阵Rdepth、平移矩阵Tdepth，进而获得旋转矩阵r和平移矩阵t，将相机参数和未对齐的深度图Zdepthpdepth代入上述公式，得到的Zcolorpcolor即为所需的与彩色图配准后的深度图像。
3.根据权利要求1所述的实时彩色及深度全景图像拼接方法，其特征在于，所述步骤2)和步骤4)中的基于平均结构相似度的配准参数优选方法，具体为：
结构相似度，即SSIM，分别从亮度、对比度、结构这三个方面来衡量图像的相似性，假设X、Y是要进行相似度评判的两幅图像，则它们之间的亮度、对比度、结构这三个方面的相似性表达式如下：
<mrow> <mi>l</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>&amp;mu;</mi> <mi>X</mi> </msub> <msub> <mi>&amp;mu;</mi> <mi>Y</mi> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>1</mn> </msub> </mrow> <mrow> <msub> <msup> <mi>&amp;mu;</mi> <mn>2</mn> </msup> <mi>X</mi> </msub> <mo>+</mo> <msub> <msup> <mi>&amp;mu;</mi> <mn>2</mn> </msup> <mi>Y</mi> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>,</mo> <mi>c</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>&amp;sigma;</mi> <mi>X</mi> </msub> <msub> <mi>&amp;sigma;</mi> <mi>Y</mi> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>2</mn> </msub> </mrow> <mrow> <msub> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> <mi>X</mi> </msub> <mo>+</mo> <msub> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> <mi>Y</mi> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>2</mn> </msub> </mrow> </mfrac> <mo>,</mo> <mi>s</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>X</mi> <mi>Y</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>3</mn> </msub> </mrow> <mrow> <msub> <mi>&amp;sigma;</mi> <mi>X</mi> </msub> <msub> <mi>&amp;sigma;</mi> <mi>Y</mi> </msub> <mo>+</mo> <msub> <mi>C</mi> <mn>3</mn> </msub> </mrow> </mfrac> </mrow>
其中，μX和μY分别表示图像X和Y的均值，σX和σY分别表示图像X和Y的方差，σXY表示图像X和Y的协方差，C1、C2、C3为常数，为避免分母为0的情况，通常取C1＝(K1×L)2，C2＝(K2×L)2，C3＝C2/2，一般取K1＝0.01,K2＝0.03,L＝255，则：
SSIM(X，Y)＝l(X，Y)×c(X，Y)×s(X，Y)
SSIM取值范围为[0,1]，取值越大，则图像间的失真越小，相似度越高；在实际应用中利用滑动窗口将图像分为N块，考虑到窗口形状对分块的影响，采用高斯加权计算每一窗口的均值、方差和协方差，然后再计算SSIM，最后取平均值作为两图像结构相似性的度量，即MSSIM：
<mrow> <mi>M</mi> <mi>S</mi> <mi>S</mi> <mi>I</mi> <mi>M</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>,</mo> <mi>Y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>S</mi> <mi>S</mi> <mi>I</mi> <mi>M</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>k</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow>
在计算MSSIM的过程中，利用配准参数变换后的图像和原始图像的大小会存在差异，因此需要先将原始图像的大小变换至对应的变换后的图像的大小；对于彩色图，将所有图像通路BGR三个通道的MSSIM的均值作为最终的评价结果；当拼接算法在初始化拼接参数的时候会产生多组拼接参数，利用MSSIM的评价标准取得MSSIM估值最大的一组拼接参数作为配准参数。
CN201710286461.3A 2017-04-27 2017-04-27 一种实时彩色及深度全景图像拼接方法 Active CN107154014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710286461.3A CN107154014B (zh) 2017-04-27 2017-04-27 一种实时彩色及深度全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710286461.3A CN107154014B (zh) 2017-04-27 2017-04-27 一种实时彩色及深度全景图像拼接方法

Publications (2)

Publication Number Publication Date
CN107154014A true CN107154014A (zh) 2017-09-12
CN107154014B CN107154014B (zh) 2020-06-26

Family

ID=59792781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286461.3A Active CN107154014B (zh) 2017-04-27 2017-04-27 一种实时彩色及深度全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN107154014B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680140A (zh) * 2017-10-18 2018-02-09 江南大学 一种基于Kinect相机的深度图像高分辨率重构方法
CN108228807A (zh) * 2017-12-29 2018-06-29 上海与德科技有限公司 一种图像处理方法、***及存储介质
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN109448035A (zh) * 2018-11-14 2019-03-08 重庆邮电大学 基于深度学习的红外图像与可见光图像配准方法
CN109754373A (zh) * 2018-12-18 2019-05-14 太原理工大学 面向移动端的全景图像色彩纠正方法
WO2020038330A1 (en) * 2018-08-22 2020-02-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, computer-readable storage medium, and electronic apparatus
CN111008985A (zh) * 2019-11-07 2020-04-14 贝壳技术有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备
CN112106105A (zh) * 2017-12-22 2020-12-18 兹威达公司 生成物体三维图像的方法和***
CN112419383A (zh) * 2020-10-30 2021-02-26 中山大学 一种深度图的生成方法、装置及存储介质
CN112422848A (zh) * 2020-11-17 2021-02-26 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
CN113327198A (zh) * 2021-06-04 2021-08-31 武汉卓目科技有限公司 一种远距离双目视频拼接方法及***
WO2021184302A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置、成像设备、可移动载体及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142644A1 (en) * 2014-11-17 2016-05-19 Industrial Technology Research Institute Surveillance systems and image processing methods thereof
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及***
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106600654A (zh) * 2017-01-24 2017-04-26 浙江四点灵机器人股份有限公司 一种大视角的深度相机拼接装置及拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142644A1 (en) * 2014-11-17 2016-05-19 Industrial Technology Research Institute Surveillance systems and image processing methods thereof
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN105869160A (zh) * 2016-03-28 2016-08-17 武汉理工大学 利用Kinect实现三维建模和全息显示的方法及***
CN106600654A (zh) * 2017-01-24 2017-04-26 浙江四点灵机器人股份有限公司 一种大视角的深度相机拼接装置及拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王涛 等: "一种双目视觉传感器的快速自标定方法", 《计算机工程》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680140A (zh) * 2017-10-18 2018-02-09 江南大学 一种基于Kinect相机的深度图像高分辨率重构方法
CN107680140B (zh) * 2017-10-18 2020-03-27 江南大学 一种基于Kinect相机的深度图像高分辨率重构方法
CN112106105A (zh) * 2017-12-22 2020-12-18 兹威达公司 生成物体三维图像的方法和***
CN112106105B (zh) * 2017-12-22 2024-04-05 兹威达公司 生成物体三维图像的方法和***
CN108228807A (zh) * 2017-12-29 2018-06-29 上海与德科技有限公司 一种图像处理方法、***及存储介质
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN108398139B (zh) * 2018-03-01 2021-07-16 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
US11145071B2 (en) 2018-08-22 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
WO2020038330A1 (en) * 2018-08-22 2020-02-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, computer-readable storage medium, and electronic apparatus
CN109448035A (zh) * 2018-11-14 2019-03-08 重庆邮电大学 基于深度学习的红外图像与可见光图像配准方法
CN109754373A (zh) * 2018-12-18 2019-05-14 太原理工大学 面向移动端的全景图像色彩纠正方法
CN109754373B (zh) * 2018-12-18 2022-12-30 太原理工大学 面向移动端的全景图像色彩纠正方法
CN111008985A (zh) * 2019-11-07 2020-04-14 贝壳技术有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备
CN111008985B (zh) * 2019-11-07 2021-08-17 贝壳找房(北京)科技有限公司 全景图拼缝检测方法、装置、可读存储介质及电子设备
WO2021184302A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置、成像设备、可移动载体及存储介质
CN112419383A (zh) * 2020-10-30 2021-02-26 中山大学 一种深度图的生成方法、装置及存储介质
CN112419383B (zh) * 2020-10-30 2023-07-28 中山大学 一种深度图的生成方法、装置及存储介质
CN112422848A (zh) * 2020-11-17 2021-02-26 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
CN112422848B (zh) * 2020-11-17 2024-03-29 深圳市歌华智能科技有限公司 一种基于深度图和彩色图的视频拼接方法
CN113327198A (zh) * 2021-06-04 2021-08-31 武汉卓目科技有限公司 一种远距离双目视频拼接方法及***

Also Published As

Publication number Publication date
CN107154014B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN107154014A (zh) 一种实时彩色及深度全景图像拼接方法
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN106886979B (zh) 一种图像拼接装置及图像拼接方法
CN104685513B (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN106878687A (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
CN107833179A (zh) 一种红外图像的快速拼接方法及***
CN109544628B (zh) 一种指针式仪表的准确读数识别***及方法
CN106780297B (zh) 场景和光照变化条件下的图像高精度配准方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
CN206611521U (zh) 一种基于多传感器的车载环境识别***及全方位视觉模块
CN114067197B (zh) 一种基于目标检测及双目视觉的管道缺陷识别与定位方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN104584032A (zh) 混合式精确跟踪
CN106856000A (zh) 一种车载全景图像无缝拼接处理方法及***
CN109712232A (zh) 一种基于光场的物体表面轮廓三维成像方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN109596054A (zh) 长条形工件的尺寸检测识别方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
Gao et al. Sparse dense fusion for 3d object detection
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant