CN110689476A - 全景图像拼接方法及其装置、可读存储介质和电子设备 - Google Patents

全景图像拼接方法及其装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN110689476A
CN110689476A CN201810724980.8A CN201810724980A CN110689476A CN 110689476 A CN110689476 A CN 110689476A CN 201810724980 A CN201810724980 A CN 201810724980A CN 110689476 A CN110689476 A CN 110689476A
Authority
CN
China
Prior art keywords
images
overlapping area
panoramic
pixel point
curved surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810724980.8A
Other languages
English (en)
Inventor
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810724980.8A priority Critical patent/CN110689476A/zh
Publication of CN110689476A publication Critical patent/CN110689476A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全景图像拼接方法及其装置，该方法包括：利用相机参数构建全景曲面模型；获取相机采集至少两幅相邻的全景分区图像；得到非重叠区域曲面图像；基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像。该方法可以改善各全景分区图像在拼接过程中重叠区域图像与非重叠区域图像产生的拼接缝隙，改善拼接效果。

Description

全景图像拼接方法及其装置、可读存储介质和电子设备
技术领域
本发明涉及图像识别技术领域，尤其涉及全景图像拼接方法及其装置、计算机可读存储介质和电子设备。
背景技术
全景拼接指将设置在不同位姿多个相机采集到的图像拼接成一幅完整的全景图像。
通常相邻的相机拍摄的图像具有重叠区域，重叠区域的拼接效果直接影响最终全景图像的效果，现有的全景拼接方法，在重叠区域容易产生拼接缝隙，影响拼接效果。
发明内容
本发明提供一种全景图像拼接方法及其装置、计算机可读存储介质和电子设备，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种全景图像拼接方法，包括：
利用相机参数构建全景曲面模型，所述全景曲面模型包括相邻的两幅全景分区图像的重叠区域和非重叠区域；
获取相机采集至少两幅相邻的全景分区图像；
将获取的相机采集的所述全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；
根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；
将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像。
可选的，所述基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
获取相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息；
基于所述深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
根据所述位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
可选的，所述根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
可选的，所述根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
以所述全景曲面模型的重叠区域和非重叠区域交界处为基准，计算所述交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
以所述标定距离与所述实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
可选的，所述根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面，包括：
根据两个重叠区域图像中各像素点的所述空间位置信息，分别拟合出与位于两重叠区域图像所在重叠区域两侧的非重叠区域的边缘分别连接的两个重叠区域曲面。
可选的，所述将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像，包括：
根据两个重叠区域曲面上各点与位于其两侧的非重叠区域的边缘的距离分别确定各点的加权系数；
将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，得到第一重叠区域曲面图像和第二重叠区域曲面图像；
根据各点的所述加权系数对第一重叠区域曲面图像中各像素点的像素值和第二重叠区域曲面图像中各像素点的像素值进行加权计算，得到融合后的重叠区域曲面图像。
根据本发明实施例的第二方面，提供一种全景图像拼接装置，包括：
全景曲面模型构建单元，用于利用相机参数构建全景曲面模型，所述全景曲面模型包括相邻的两幅全景分区图像的重叠区域和非重叠区域；
全景分区图像获取单元，用于获取相机采集至少两幅相邻的全景分区图像；
非重叠区域图像投影单元，用于将获取的相机采集的所述全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
空间位置信息确定单元，用于基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；
重叠区域曲面拟合单元，用于根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；
重叠区域图像投影单元，用于将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像，所述重叠区域曲面图像与所述非重叠区域曲面图像拼接成全景图像。
可选的，所述空间位置信息确定单元具体用于：
获取相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息；
基于所述深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
根据所述位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
可选的，所述根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
可选的，所述根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
以所述全景曲面模型的重叠区域和非重叠区域交界处为基准，计算所述交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
以所述标定距离与所述实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一项所述方法。
根据本发明实施例的第四方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行上述任一项所述方法。
根据上述技术方案可知，该全景图像拼接方法，对于重叠区域，深度信息进行修正后，重新构建了重叠区域的曲面模型，该修正后的全景曲面模型可以更加准确的反应各全景分区图像中各像素点的实际位置，特别是通过深度信息对重叠区域的曲面模型进行优化后，使重叠区域各像素在深度上具有一致性，可以改善各全景分区图像在拼接过程中在重叠区域与非重叠区域产生的拼接缝隙，改善拼接效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一实施例提供的全景图像拼接方法的工作流程图；
图2是根据本发明另一实施例提供的全景图像拼接方法的工作流程图；
图3是根据本发明又一实施例提供的全景图像拼接方法的工作流程图；
图4A是根据本发明一实施例提供的三维曲面的立体图；
图4B是图4A所示立体图的在x-y平面上的投影平面图；
图4C是经过拟合后的三维曲面的前视图或后视图在x-y平面上的投影平面图；
图4D是经过拟合后的三维曲面的左视图或右视图在x-y平面上的投影平面图；
图4E是对两重叠区域图像进行融合后在x-y平面上的投影平面图；
图5是根据本发明一实施例提供的拼接后的全景图像的立体图；
图6是根据本发明又一实施例提供的全景图像拼接装置的方框图；
图7是根据本发明一实施例提供的电子设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
针对现有的全景拼接方法中，在相邻的两幅全景分区图像的重叠区域容易产生拼接缝隙，影响拼接效果的问题，本发明实施例提供一种全景图像拼接方法，如图1所示，该方法包括：
步骤S10、利用相机标定参数构建全景曲面模型，全景曲面模型包括相邻的两全景分区图像的重叠区域和非重叠区域；
步骤S20、获取相机采集至少两幅相邻的全景分区图像；
步骤S30、将获取的相机采集的全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
步骤S40、基于获取到的相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息；
步骤S50、根据两个重叠区域图像中各像素点的空间位置信息分别拟合两个重叠区域曲面；
步骤S60、将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像。
在视频监控、展示展览、远程视频会议、视觉娱乐等领域，为了得到更大视角范围的图像，可采用位于不同方向的相机分别采集不同视角的图像，各个位于不同角度的相机采集到的图像作为上述的全景分区图像，然后将各全景分区图像进行拼接得到一幅全景拼接图像，通过图像拼接的方法可得到更大视角范围的图像，例如，360度视角范围内的全景图像。
以全景泊车***为例，可以在车辆的前后左右四个方向分别设置四个相机，通过四个相机分别采集车辆四周场景的全景分区图像，然后将四幅全景分区图像拼接成一幅全景图像，该全景图像为车辆所在位置的360度场景的画面，可以展示出车辆四周的全部场景，可将该全景图像输出到设置在车辆内的显示装置中，车辆的司机可在车辆内看到整个车辆前后左右各个方向的情况，没有死角和盲区，可以为司机泊车过程和行车安全带来极大方便。
本实施例中，将不同相机采集的用于全景拼接的每幅图像称为全景分区图像，在图像拼接过程中，为了实现更好的拼接效果，全景分区图像分为重叠区域图像和非重叠区域图像，重叠区域图像指相邻位置的两个相机均可采集到区域的图像，即相邻位置的两个相机的视角在一定范围内具有重合，两个相机均可采集到该一定范围内场景的图像；非重叠区域图像指每个相机采集到的与其他相机在不重合的视角范围内场景的图像。
每幅全景分区图像可具有分别位于左右两侧的两个重叠区域图像，或者只具有位置左侧或者右侧的一个重叠区域图像，重叠区域图像之外的区域为非重叠区域图像。
上述的相机指具有采集图像功能的设备，例如为摄像机、摄像头或者其他具有图像采集功能的设备，该相机较佳的为广角相机，广角相机可以采集到较大视角范围的图像，以拼接得到更大视角范围的全景图像。相机标定参数可包括内参和外参；内参指与相机自身特性相关的参数，例如，相机的焦距、像素大小、中心点坐标和畸变系数等；外参指与相机设置位置相关的参数，可以用相机在世界坐标系中的位置表示，例如，相机的设置位置坐标、旋转方向等。
通过内参可以去除相机本身产生的图像畸变，通过外参可以表示各相机采集的全景分区图像的在全景图像中的拼接位置。
构建的全景曲面模型为模拟目标(例如车辆或者十字路口等)所在一定视角范围内场景的三维曲面图，该三维曲面图中各空间点的位置与图像中像素点的位置具有映射关系。具体如何利用相机参数构建全景曲面模型可以采用已有的方法实现，本发明对此并不限定。
本实施例中，为了改善重叠区域的拼接效果，全景曲面模型分为重叠区域和非重叠区域，对非重叠区域和重叠区域分别进行处理，对于非重叠区域可根据上述的映射关系将各全景分区图像中非重叠区域图像中各像素点对应投影到全景曲面模型中的空间点，进而得到非重叠区域曲面图像。
而对于重叠区域，首先根据相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息拟合两个重叠区域曲面，也即通过实时采集的全景分区图像中各像素点的深度信息对初始全景模型中的重叠区域的初始曲面进行修正，然后再将两个重叠区域图像分别投影到拟合的重叠区域曲面中，进行融合后得到重叠区域曲面图像，该重叠区域曲面图像与非重叠区域曲面图像组成拼接后的全景图像。
具体而言，利用获取到的相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息，确定该两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息，即根据各像素点的深度信息，确定两个重叠区域图像中各像素点投影到全景曲面模型中对应的空间位置信息，由于两个重叠区域图像中各像素点的深度信息是根据相机实时采集的全景分区图像获取的，因此，该空间位置信息可以反映像素点投影到全景曲面模型中的实际位置，根据两个重叠区域图像中各像素点对应的空间位置信息(空间位置信息例如为三维坐标)可分别拟合两个重叠区域曲面，该拟合的两个重叠区域曲面可对全景曲面模型中的重叠区域进行修正，而全景曲面模型中非重叠区域的曲面不变将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后可得到重叠区域曲面图像。
该深度信息指物体(物体可看做一个点)到成像平面的距离，例如，在相机坐标系中，以相机成像平面为X轴和Y轴所在平面，以穿过相机光轴中心的直线为Z轴，建立三维相机坐标系，若物体在三维相机坐标系的坐标为(x，y，z)，则z的值即为物体到该相机成像平面的距离，即物体(某个点)的深度信息。
位于两相邻位置的相机均可采集到重叠区域图像，而两相机位于不同位置，可设置一基准平面，例如以世界三维坐标系中地面所在平面作为基准平面，利用相机内参和外参，将两相机采集的全景分区图像投影到基准平面上，根据相机安装高度，把投影图进行缩放到同一尺度，对于基准平面上重叠区域图像的各像素点深度相同，可保证拼接效果。对于非基准平面上的重叠区域图像各像素点，如果将两相机采集的重叠区域图像直接投影到全景曲面模型中对应的重叠区域，得到的全景图像在重叠区域各像素点的深度会不同，因此，拼接缝隙明显。
本实施例中，对于重叠区域，相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息，重新拟合两个重叠区域曲面，该两个重叠区域曲面可以更加准确的反应重叠区域图像中各像素点的投影位置，各像素点在深度上具有一致性，可以改善各全景分区图像在拼接过程中重叠区域图像与非重叠区域图像产生的拼接缝隙，改善拼接效果。
在一些例子中，如图2所示，上述步骤S30所述的基于获取到的相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息，包括：
步骤S31、获取相邻两幅全景分区图像的两个重叠区域图像中各像素点的深度信息；
步骤S32、基于深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
步骤S33、根据位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
步骤S34、根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
步骤S35、根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息。
对于获取各相机采集的全景分区图像，可以确定出重叠区域图像，在相机采集过程中，根据相机内参和外参可以确定重叠区域图像中各像素点的位置信息，例如三维坐标，该位置信息中包括深度信息，深度信息即像素点的深度值，可以提取出各像素点的深度值，据此可以获取两个重叠区域图像中各像素点的深度信息，当然位置信息还可以包括各像素点在全景分区图像中水平方向的位置信息和竖直方向的位置信息等。
基于各像素点的深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵，具体而言，假设某一像素点的坐标例如为(w，h，d)，其中，w表示该像素点在全景分区图像中水平方向的坐标值，h表示该像素点在全景分区图像中竖直方向的坐标值，d表示该像素点在全景分区图像中的深度值，即该像素点对应现实物体到相机成像平面的距离。
像素点的坐标(w，h，d)在相机坐标系下的空间位置信息，例如三维坐标(xc，yc，zc)满足下述关系：
Figure BDA0001719435670000111
其中a为系数，
Figure BDA0001719435670000112
为像素点的三维齐次坐标，K为相机内参矩阵，可以为一个3x3的已知矩阵，上述关系中像素点的w值、h值和深度值d是已知的，其中矩阵K中的第三行分别例如(0,0,1)，据此可确定上述公式中的系数a等于深度值d，则通过上述公式可知空间位置坐标该公式中dK-1称为各像素点在相机坐标系下的位置变换矩阵。
根据上述位置变换矩阵对重叠区域图像中各像素点进行位置变换，具体而言，位置变换矩阵为已知的，将各像素点的三维齐次坐标分别代入上述公式中，可以得到各像素点在相机坐标系下的空间位置信息，该空间位置信息例如为三维坐标(xc，yc，zc)。
在根据各像素点在相机坐标系下的空间位置信息和相机外部参数矩阵，确定各像素点在世界坐标下的空间位置信息，具体而言，以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
举例来说，像素点在相机坐标系下的三维坐标(xc，yc，zc)与其在世界坐标系下的三维坐标(xw，yw，zw)，满足下述公式：即
Figure BDA0001719435670000115
Figure BDA0001719435670000116
其中，R和T为相机的外参矩阵。
进一步的，根据各像素点在世界坐标下的空间位置信息确定各像素点在全景曲面模型中的空间位置信息，具体而言，像素点在世界坐标系下的三维坐标(xw，yw，zw)与其在全景曲面模型中的三维坐标(xr，yr，zr)，满足下述公式：
Figure BDA0001719435670000121
其中M为变换矩阵，该变换矩阵可以为重叠区域图像中各像素点在世界坐标系下的位置与各像素点在全景曲面模型中的相对位置关系的矩阵。
由上述描述可知，上述实施例中基于各像素点的深度信息对相机采集的全景分区图像中重叠区域各像素点进行不同坐标下的转换，最终可以确定出两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息。
在一些例子中，上述步骤S35所述的根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
步骤S351、以全景曲面模型中的重叠区域和非重叠区域交界处为基准，计算交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
步骤S352、以标定距离与实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息。
为防止重叠区域与非重叠区域的深度值突变，淡化拼接缝隙，以重叠区域与非重叠区域交界处作为基准，计算不同的距离，交界处全景曲面模型中的点到全景曲面模型中心的标定距离为dz，在世界坐标系下，重叠区域图像中像素点对应空间位置信息到世界坐标系中心(为了计算方便，该世界坐标系中心可与全景曲面模型中心重合)的实际距离为d′z。
以标定距离和实际距离的比值构建空间变换矩阵，该空间变换矩阵例如为一个3x3的矩阵：
Figure BDA0001719435670000122
则各像素点在世界坐标系下的三维坐标(xw，yw，zw)与其在全景曲面模型中的三维坐标(xr，yr，zr)，满足下述线性关系公式：
Figure BDA0001719435670000131
根据上述公式可以确定两个重叠区域图像中各像素点在全景曲面模型中的空间位置信息，通过该方法可以防止重叠区域图像与非重叠区域图像的深度值突变，淡化拼接缝隙，使相邻的全景分区图像中的前景与前景拼接在一起，背景与背景拼接在一起，改善全景图像的拼接效果。
在一个可选的实施方式中，如图3所示，上述步骤S50所述的根据两个重叠区域图像中各像素点的空间位置信息分别拟合两个重叠区域曲面，包括：
步骤S51、根据两个重叠区域图像中各像素点的空间位置信息，分别拟合出与位于两重叠区域图像所在重叠区域两侧的非重叠区域的边缘分别连接的两个重叠区域曲面。
位于两相邻位置的相机均可采集到重叠区域图像，而两相机位于不同位置，对于相邻两幅全景分区图像的各重叠区域图像而言，根据上述实施例可以确定出两个重叠区域图像中各像素点在全景曲面模型中的两组空间位置信息，称为第一空间位置信息和第二空间位置信息，根据第一空间位置信息和第二空间位置信息可以分别拟合出两个重叠区域曲面，称为第一重叠区域曲面和第二重叠区域曲面，具体而言，可根据第一空间位置信息和第二空间位置信息构建曲面模型，分别得到两个重叠区域曲面。
第一重叠区域曲面和第二重叠区域曲面分别与位于两重叠区域图像所在重叠区域两侧的非重叠区域的边缘连接。
具体而言，全景曲面模型例如为如图4A所示的全景曲面图，该全景曲面图为三维坐标下的三维曲面，该三维曲面在x-y平面上的投影如图4B所示，由图4B可以看出该全景曲面模型在x-y平面上的投影为连续分布的椭圆平面。
对于该三维曲面左上角的一定区域、右上角的一定区域、左下角的一定区域和右下角的一定区域均为重叠区域，对于各重叠区域根据上述方法拟合出第一重叠区域曲面和第二重叠区域曲面，经过拟合后的三维曲面的前视图和后视图在x-y平面上的投影参照如图4C所示，拟合后的三维曲面的左视图和右视图在x-y平面上的投影参照如图4D所示。
由图4C和4D可以看出，该三维曲面包括四个重叠区域，分别位于左上角、右上角、左下角和右下角，如图4C所示，对于每个重叠区域，第一重叠区域曲面分别在一侧连续以及一侧断开，例如图4C所示的位于左上角的第一重叠区域曲面与位于左上角的重叠区域左侧的非重叠区域的边缘断开，而与位于左上角的重叠区域右侧的非重叠区域的边缘连接；位于左上角的第二重叠区域曲面与位于左上角的重叠区域左侧的非重叠区域的边缘连接，而与位于左上角的重叠区域右侧的非重叠区域的边缘断开，即由于重叠区域与非重叠区域交界处在三维曲面中的空间点与其对应在世界坐标系下的像素点的线性关系被打破，因此，使第一重叠区域曲面和第二重叠区域曲面与其相邻的非重叠区域在断开处存在拼接缝隙。
为消除拼接缝隙，将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中后，对得到的两个重叠区域曲面图像进行融合，融合后的重叠区域曲面图像与两侧的非重叠区域图像的边缘均相互连接，例如，位于左上角的第一重叠区域曲面图像和第二重叠区域曲面图像进行融合后可得到如图4E所示的与位于该重叠区域两侧的非重叠区域边缘均连接的重叠区域曲面图像。
同样的，对于位于右上角、左下角和右下角的重叠区域分别拟合第一重叠区域曲面图像和第二重叠区域曲面图像，将对应位置的两个第一重叠区域曲面图像和第二重叠区域曲面图像进行融合后，最后得到无拼缝的三维曲面全景图像，例如得到如图5所示的三维曲面全景图像，如图5所示，该三维曲面全景图像仅示出了一个重叠区域图像，该重叠区域图像为图中所示的相互交叉曲线组成的区域，其中曲线可代表各像素点的深度信息。
在一些例子中，如图3所示，上述步骤S60所述的将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像，包括：
步骤S61、根据两个重叠区域曲面上各点与位于其两侧的非重叠区域的边缘的距离分别确定各点的加权系数；
步骤S62、将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，得到第一重叠区域曲面图像和第二重叠区域曲面图像；
步骤S63、根据各点的加权系数对第一重叠区域曲面图像中各像素点的像素值和第二重叠区域曲面图像中各像素点的像素值进行加权计算，得到融合后的重叠区域曲面图像。
本实施例中，根据两个重叠区域曲面上各点与位于其两侧的非重叠区域的边缘的距离确定各点的加权系数，例如图4C所示的位于左上角的第一重叠区域曲面，该第一重叠区域曲面中与右侧的非重叠区域的边缘连接位置的各点，距离该非重叠区域的边缘的距离最小，而该第一重叠区域曲面中与左侧的非重叠区域的边缘断开位置的各点，距离右侧的非重叠区域的边缘的距离最大，可确定上述连接位置的各点的加权系数为1，随着距离右侧的非重叠区域的边缘距离的增大，逐步缩小加权系数，直到断开位置的各点的加权系数为0。
相应的对于如图4D所示的位于左上角的第二重叠区域曲面，该第二重叠区域曲面中与其左侧的非重叠区域的边缘连接位置的各点，距离该非重叠区域的边缘的距离最小，而该第二重叠区域曲面中与右侧的非重叠区域的边缘断开位置的各点，距离左侧的非重叠区域的边缘的距离最大，可确定上述连接位置的各点的加权系数为1，随着距离左侧的非重叠区域的边缘距离的增大，逐步缩小加权系数，直到断开位置的各点的加权系数为0。
通过上述方法确定出两个重叠区域曲面上各点的加权系数后，根据各点的加权系数对第一重叠区域曲面图像和第二重叠区域曲面图像中各像素点的像素值信息进行加权计算，即可得到分别与两侧的非重叠区域的边缘连续的重叠区域曲面图像。
由上述实施例的描述可知，该全景图像拼接方法，基于深度信息拟合重叠区域曲面，相对现有的拼接方法相比，可实现无缝拼接，优化全景图像的拼接效果，并且该拼接方法具有实时性，且计算量小，效率高，资源消耗少。
对于构建全景曲面模型时，可以根据相机外参，以地面所在平面为基准平面，保证基准平面上图像无缝拼接，获得全景曲面模型中各位置点与全景分区图像中各像素点的映射关系查找表，根据该查找表将全景分区图像的投影到全景曲面模型中时，得到的全景图像在地面上各点的拼接效果较好，但对于地面以外的其他区域的各像素点由于深度信息无法保证一致，拼接效果无法保证。
上述实施例中，基于深度信息拟合重叠区域曲面对重叠区域图像进行投影并融合后，可以进一步的保证重叠区域图像中各像素点的拼接效果。
本发明实施例还提供一种全景图像拼接装置，如图6所示，该全景图像拼接装置06包括：
全景曲面模型构建单元61，用于利用相机参数构建全景曲面模型，所述全景曲面模型包括相邻的两幅全景分区图像的重叠区域和非重叠区域；
全景分区图像获取单元62，用于获取相机采集至少两幅相邻的全景分区图像；
非重叠区域图像投影单元63，用于将获取的相机采集的所述全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
空间位置信息确定单元64，用于基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；
重叠区域曲面拟合单元65，用于根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；
重叠区域图像投影单元66，用于将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像。
在一个可选的实施方式中，所述空间位置信息确定单元具体用于：
获取相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息；
基于所述深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
根据所述位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
在一些例子中，所述根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
在一个可选的实施方式中，所述根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
以所述全景曲面模型的重叠区域和非重叠区域交界处为基准，计算所述交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
以所述标定距离与所述实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
与前述全景图像拼接方法的实施例相对应，本发明提供的全景图像拼接装置，可以改善各全景分区图像在拼接过程中重叠区域图像与非重叠区域图像产生的拼接缝隙，改善拼接效果。
对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上；上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。
通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的设备所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述方法的步骤。
参见图7，本发明还提供一种电子设备的硬件架构图，该电子设备包括：通信接口101、处理器102、机器可读存储介质103和总线104；其中，通信接口101、处理器102和机器可读存储介质103通过总线104完成相互间的通信。处理器102通过读取并执行机器可读存储介质102中与全景图像拼接方法的控制逻辑对应的机器可执行指令，可执行上文描述的全景图像拼接方法。
本文中提到的机器可读存储介质103可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
此外，电子设备可以为各种终端设备或者后端设备，例如摄像机、服务器、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (12)

1.一种全景图像拼接方法，其特征在于，包括：
利用相机参数构建全景曲面模型，所述全景曲面模型包括相邻的两幅全景分区图像的重叠区域和非重叠区域；
获取相机采集至少两幅相邻的全景分区图像；
将获取的相机采集的所述全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；
根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；
将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像。
2.根据权利要求1所述的方法，其特征在于，所述基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
获取相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息；
基于所述深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
根据所述位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
3.根据权利要求2所述的方法，其特征在于，所述根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
4.根据权利要求2所述的方法，其特征在于，所述根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
以所述全景曲面模型的重叠区域和非重叠区域交界处为基准，计算所述交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
以所述标定距离与所述实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面，包括：
根据两个重叠区域图像中各像素点的所述空间位置信息，分别拟合出与位于两重叠区域图像所在重叠区域两侧的非重叠区域的边缘分别连接的两个重叠区域曲面。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像，包括：
根据两个重叠区域曲面上各点与位于其两侧的非重叠区域的边缘的距离分别确定各点的加权系数；
将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，得到第一重叠区域曲面图像和第二重叠区域曲面图像；
根据各点的所述加权系数对第一重叠区域曲面图像中各像素点的像素值和第二重叠区域曲面图像中各像素点的像素值进行加权计算，得到融合后的重叠区域曲面图像。
7.一种全景图像拼接装置，其特征在于，包括：
全景曲面模型构建单元，用于利用相机参数构建全景曲面模型，所述全景曲面模型包括相邻的两幅全景分区图像的重叠区域和非重叠区域；
全景分区图像获取单元，用于获取相机采集至少两幅相邻的全景分区图像；
非重叠区域图像投影单元，用于将获取的相机采集的所述全景分区图像的非重叠区域投影到全景曲面模型的非重叠区域，得到非重叠区域曲面图像；
空间位置信息确定单元，用于基于获取到的相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息，分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息；
重叠区域曲面拟合单元，用于根据两个重叠区域图像中各像素点的所述空间位置信息分别拟合两个重叠区域曲面；
重叠区域图像投影单元，用于将两个重叠区域图像分别投影到拟合的两个重叠区域曲面中，并进行融合后得到重叠区域曲面图像，所述重叠区域曲面图像与所述非重叠区域曲面图像拼接成全景图像。
8.根据权利要求7所述的装置，其特征在于，
所述空间位置信息确定单元具体用于：
获取相邻两幅所述全景分区图像的两个重叠区域图像中各像素点的深度信息；
基于所述深度信息及相机内参构建两个重叠区域图像中各像素点在相机坐标系下的位置变换矩阵；
根据所述位置变换矩阵对两个重叠区域图像中各像素点进行位置变换，得到两个重叠区域图像中各像素点在相机坐标系下的空间位置信息；
根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息；
根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
9.根据权利要求8所述的装置，其特征在于，所述根据两个重叠区域图像中各像素点在相机坐标系下的空间位置信息和相机外参数矩阵，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息，包括：
以相机外参数矩阵作为坐标变换矩阵，对两个重叠区域图像中各像素点在相机坐标系下的空间位置信息进行坐标变换，确定两个重叠区域图像中各像素点在世界坐标下的空间位置信息。
10.根据权利要求8或9所述的装置，其特征在于，所述根据两个重叠区域图像中各像素点在世界坐标下的空间位置信息分别确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息，包括：
以所述全景曲面模型的重叠区域和非重叠区域交界处为基准，计算所述交界处全景曲面模型中各空间点到全景曲面模型中心的标定距离，以及交界处各像素点在世界坐标下的空间位置信息到世界坐标系中心的实际距离；
以所述标定距离与所述实际距离的比值构建空间变换矩阵，对两个重叠区域图像中各像素点在世界坐标下的空间位置信息进行空间变换，确定两个重叠区域图像中各像素点在所述全景曲面模型中的空间位置信息。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6任一项所述方法。
12.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行如权利要求1至6任一项所述方法。
CN201810724980.8A 2018-07-04 2018-07-04 全景图像拼接方法及其装置、可读存储介质和电子设备 Pending CN110689476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810724980.8A CN110689476A (zh) 2018-07-04 2018-07-04 全景图像拼接方法及其装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810724980.8A CN110689476A (zh) 2018-07-04 2018-07-04 全景图像拼接方法及其装置、可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN110689476A true CN110689476A (zh) 2020-01-14

Family

ID=69106849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810724980.8A Pending CN110689476A (zh) 2018-07-04 2018-07-04 全景图像拼接方法及其装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN110689476A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445518A (zh) * 2020-03-25 2020-07-24 贝壳技术有限公司 图像转换方法和装置、深度图预测方法和装置
CN112017111A (zh) * 2020-08-28 2020-12-01 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN113139480A (zh) * 2021-04-28 2021-07-20 艾拉物联网络(深圳)有限公司 一种基于改进vibe的手势检测方法
CN113890976A (zh) * 2021-09-26 2022-01-04 温州大学大数据与信息技术研究院 一种全景道路目标检测的移动终端
CN114332078A (zh) * 2022-03-02 2022-04-12 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接***与方法
CN108200360A (zh) * 2018-01-12 2018-06-22 深圳市粒视界科技有限公司 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN108205799A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
US20110158509A1 (en) * 2008-09-10 2011-06-30 Huawei Device Co., Ltd. Image stitching method and apparatus
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接***与方法
CN108205799A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 一种图像拼接方法及装置
CN108200360A (zh) * 2018-01-12 2018-06-22 深圳市粒视界科技有限公司 一种多鱼眼镜头全景摄像机的实时视频拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡社教: "基于序列图像的全景图像拼接", 《合肥工业大学学报(自然科学版)》 *
韦虎等: "基于SIFT图像特征匹配的多视角深度图配准算法", 《计算机辅助设计与图形学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445518A (zh) * 2020-03-25 2020-07-24 贝壳技术有限公司 图像转换方法和装置、深度图预测方法和装置
CN111445518B (zh) * 2020-03-25 2023-04-18 如你所视(北京)科技有限公司 图像转换方法和装置、深度图预测方法和装置
CN112017111A (zh) * 2020-08-28 2020-12-01 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN112017111B (zh) * 2020-08-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种全景图的合成方法、装置及电子设备
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN114972019B (zh) * 2021-04-14 2024-05-24 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN113139480A (zh) * 2021-04-28 2021-07-20 艾拉物联网络(深圳)有限公司 一种基于改进vibe的手势检测方法
CN113890976A (zh) * 2021-09-26 2022-01-04 温州大学大数据与信息技术研究院 一种全景道路目标检测的移动终端
CN114332078A (zh) * 2022-03-02 2022-04-12 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法
CN114332078B (zh) * 2022-03-02 2022-06-10 山东华硕汽车配件科技有限公司 一种汽车发动机金属磨损智能修复控制方法

Similar Documents

Publication Publication Date Title
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US11330172B2 (en) Panoramic image generating method and apparatus
CN109348119B (zh) 一种全景监控***
JP6561216B2 (ja) 光学フローを使用した中間ビューの生成
JP4512584B2 (ja) イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP2022528659A (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
US8077906B2 (en) Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
US20180018807A1 (en) Method and apparatus for generating panoramic image with texture mapping
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN108805807B (zh) 环景图像的拼接方法及其***
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN108629829A (zh) 一种球幕相机与深度相机结合的三维建模方法和***
CN111866523A (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN106485781A (zh) 基于实时视频流的三维场景构建方法及其***
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
US20090059018A1 (en) Navigation assisted mosaic photography
CN114926612A (zh) 空中全景图像处理与沉浸式显示***
CN114549666A (zh) 一种基于agv的环视图像拼接标定方法
CN110675482A (zh) 虚拟三维场景的球面斐波那契像素点阵全景画面渲染与显示方法
JP6563300B2 (ja) 自由視点画像データ生成装置および自由視点画像データ再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication