CN107169924A - 三维全景图像的建立方法和*** - Google Patents

三维全景图像的建立方法和*** Download PDF

Info

Publication number
CN107169924A
CN107169924A CN201710448347.6A CN201710448347A CN107169924A CN 107169924 A CN107169924 A CN 107169924A CN 201710448347 A CN201710448347 A CN 201710448347A CN 107169924 A CN107169924 A CN 107169924A
Authority
CN
China
Prior art keywords
image
user
panorama sketch
panorama
center position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710448347.6A
Other languages
English (en)
Other versions
CN107169924B (zh
Inventor
张超
仇璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710448347.6A priority Critical patent/CN107169924B/zh
Publication of CN107169924A publication Critical patent/CN107169924A/zh
Application granted granted Critical
Publication of CN107169924B publication Critical patent/CN107169924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了三维全景图像的建立方法和***，涉及虚拟现实技术领域，由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置由外向内从不同角度同时对半球形中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。可以解决现有技术中观察者可活动的区域非常局限和体验效果较差的问题。

Description

三维全景图像的建立方法和***
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种三维全景图像的建立方法和***。
背景技术
三维全景图像是通过相机捕捉整个环境场景的图像信息，使用软件进行图像的拼接整合，将平面图像进行处理得到三维全景图像。三维全景图像能够实现把二维的平面图像模拟成真实的三维空间，达到模拟和再现真实环境场景的效果。
随着计算机软硬件技术的发展，智能可穿戴设备的日渐普及，头戴式虚拟现实设备通过图像显示屏将虚拟的环境图像展现在观察者眼前，为观察者营造一种置身于虚拟环境中的体验。
然而，目前用于头戴式虚拟现实设备中的三维全景图像的视角都是观察者的位置不动，以观察者所在位置为中心，原地旋转360°向外观察，同时头部可以仰视和俯视观察。这种观察视角下所呈现的场景使得观察者可活动的区域非常局限，体验效果较差。
发明内容
为了解决上述问题，本发明提供一种三维全景图像的建立方法和***，可以扩大观察视角，增加用户的沉浸感。
本发明提供一种三维全景图像的建立方法，包括：
多个拍照装置，彼此成球面位置关系对称均匀布置在半球面上，同时朝向半球形的中心方向进行拍照，其中，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；
图像拼接装置，分别与多个拍照装置连接，接收多个拍照装置发送的图像，并将多个拍照装置发送的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；
虚拟现实设备，与图像拼接装置连接，接收图像拼接装置拼接处理后的全景图，将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。
可选地，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。
可选地，所述的***还包括：
图像压缩装置，将图像拼接装置拼接处理后的全景图进行压缩处理，所述图像压缩装置布置在图像拼接装置中，或外置于图像拼接装置且与图像拼接装置连接；
图像解压装置，对图像压缩装置压缩处理后的全景图进行解压处理，并将解压处理后的全景图发送给虚拟现实设备进行贴图显示，所述图像解压装置可以布置在虚拟现实设备中。
可选地，图像拼接装置，采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下，对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对，对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个拍照装置拍摄的图像拼接成全景图。
可选地，虚拟现实设备，在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。
本发明还提供一种三维全景图像的建立方法，包括：
获取多个拍照装置朝向半球形的中心方向同时拍摄的图像，其中，所述多个拍照装置彼此成球面位置关系对称均匀布置在半球面上，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；
将多个拍照装置拍摄的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；
将拼接处理后的全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。
可选地，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。
可选地，所述的方法还包括：
采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下；
对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对；
对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个图像拼接成全景图。
可选地，所述的方法还包括：
在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；
当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；
当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。
可选地，所述的方法还包括：
当监测到位于虚拟现实设备上触发视点高度调整指令的按钮被触发时，触发视点高度调整指令；或者
当监测到佩戴虚拟现实设备的用户连续蹦跳触发视点高度调整指令的预设次数时，触发视点高度调整指令。
本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向(场景)进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的三维全景图像的建立***架构图；
图2为本发明实施例提供的一种拍照装置布置示意图；
图3为本发明一实施例提供的三维全景图像的建立方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
本发明通过多个拍照装置从不同角度同时拍摄同一场景，实时获取重叠覆盖整个场景的多个图像，获得更加密集的图像覆盖度，使得能够根据实时用户朝向要求来向该用户提供对应的图像，使得用户获取实时立体视觉效果体验。
图1为本发明一实施例提供的三维全景图像的建立***架构图，如图1所示，本发明实施例提供的***包括：
N个拍照装置，彼此成球面位置关系对称均匀布置在半球面上，同时对半球形的中心方向进行拍照，其中，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；其中，N大于3。
本实施例中，半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。在一种可选的实现方式中，可以用球面维度线沿着球半径中心点将半球面划分2份，用球面经度线将半球面划分4份，有相邻两条经度线和相邻两条维度线相交得到八个交点，在八个交点处各布置有广角摄像机，有相邻两条经度线在球面北极相交的交点处布置有广角摄像机。
图2为本发明实施例提供的一种拍照装置布置示意图，如图2所示，使用9个广角摄像机对称均匀布置在半球面上，该9个广角摄像机均朝向半球形的中心方向拍摄，也就是说，每个广角摄像机由外向内从不同角度同时对半球形的中心方向进行拍摄，相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。
本实施例的***还包括：图像拼接装置，分别与多个拍照装置连接，接收多个拍照装置发送的图像，并将多个拍照装置发送的图像拼接成全景图，所述全景图为球中心位置处的物体的全景图；
图像拼接装置在具体实现图像拼接时，可以采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下，对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对，对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个拍照装置拍摄的图像拼接成全景图。
本实施例的***还包括：虚拟现实设备，与图像拼接装置连接，接收图像拼接装置拼接处理后的全景图，将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。
具体地，虚拟现实设备在进行三维全景图时，当监测到用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；当监测到用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰且不失真。
为此，虚拟现实设备上设置有传感器，可以监测用户的位置和视角的变换。
在一种可选的实现方式中，本实施例的***还包括：
图像压缩装置，将图像拼接装置拼接处理后的全景图进行压缩处理，所述图像压缩装置布置在图像拼接装置中，或外置于图像拼接装置且与图像拼接装置连接；
图像解压装置，对图像压缩装置压缩处理后的全景图进行解压处理，并将解压处理后的全景图发送给虚拟现实设备进行贴图显示，所述图像解压装置可以布置在虚拟现实设备中。
本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。
基于图1所示的***架构图，图3为本发明一实施例提供的三维全景图像的建立方法流程示意图，如图3所示，包括：
101、获取彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置针对半球形的中心方向同时拍摄的图像。
其中，所述多个拍照装置彼此成球面位置关系对称均匀布置在半球面上，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；
其中，多个拍照装置在半球面的具体布置包括：半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。如图2所示，使用9个广角摄像机对称均匀布置在半球面上，该9个广角摄像机均朝向半球形的中心方向拍摄，也就是说，每个广角摄像机由外向内从不同角度同时对半球形的中心方向进行拍摄，这样，相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。
本发明实施例中，每个拍照装置与图像拼接装置连接，可以将拍摄到的图片发送给图像拼接装置。
102、将多个拍照装置拍摄的图像拼接成全景图。
具体地，图像拼接装置接收到每个拍照装置传来的图像之后，需要对图像进行如下处理：投影平面一致化，特征提取，特征匹配，图像配准和融合，曝光补偿，去鬼影，最终得到一个能够覆盖一个半球面模型外表面的全景图贴图。
其中，投影平面一致化处理包括：采用平面投影之间的单应性变换，将每个拍照装置拍摄的不同投影平面下的图像转换到同一个平面下。
其中，特征提取包括：对每个图像进行特征点检测提取，例如可以采用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法提取每个图像的Sift特征点，对每个图像进行若干次连续滤波得到第一尺度组图像，把原始图像宽高缩小一半，再进行若干次连续滤波得到第二尺度组图像，不断重复该过程，直至图像宽高小于等于设定的阈值为止；对每个尺度中的高斯图像进行差分，形成高斯差分尺度组图像；求解计算这些高斯差分尺度组图像的局部极值点，即为Sift特征点。其中，Sift特征点是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。
特征匹配包括：由于相邻的广角摄像机拍摄的图像彼此部分重叠(局部重叠度高)，因此对于有重叠区域的两个图像，先使用RANSAC(RANdom Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法)算法对特征点筛选，再使用Sift/KD-Tree(k-dimensional树的简称，是一种分割k维数据空间的数据结构)建立两个图像之间匹配的特征点对。
图像配准和融合包括：图像配准是通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准；图像融合可使用非多分辨率技术或多分辨率技术来提高图像信息的利用率、改善计算机解译精度和可靠性、提升图像的空间分辨率和光谱分辨率。
曝光补偿和去鬼影包括：根据光学透视几何原理，两个不同拍照装置拍摄的图像，总会存在一定的视差，例如重影、鬼影，最终会导致拼接的图像在视觉上出现难以接受的瑕疵，因此需要对图像进行去鬼影处理；另外，由于摄像头具有不同的拍摄角度，例如有的位于向光面，有的位于背光面，从而导致所拍摄的图像出现曝光程度不一致的情况。所以本发明实施例中需要对每个图像进行曝光补偿和去鬼影处理，其中，曝光补偿可以根据目标直方图曲线对图像进行曝光调整。
图像拼接装置重复以上步骤将每个拍摄装置拍摄的图像拼接成全景图。
103、将拼接处理后的全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。
本发明实施例中的虚拟半球面模型是虚拟现实设备通过科学技术模拟仿真现实中的半球面后再叠加到虚拟现实世界被用户所感知的模型，是将虚拟化技术加到使用者感官上再来观察世界的方式。因此，虚拟半球面模型与半球面之间存在位置映射关系。
本发明实施例中，为了提高传输效率，减少网络传输资源，图像拼接装置将每个拍摄装置拍摄的图像拼接成全景图之后，可以对拼接成的全景图进行轻量级的无损压缩再通过网络传输给虚拟现实设备。
虚拟现实设备首先对接收到的全景图进行解压，然后将解压后的全景图对应贴图到虚拟半球面模型的外表面上，形成基于虚拟现实的三维全景图。
本发明实施例中，由于每个拍照装置是由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。
具体地，在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示。
当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；其中，视点高度调整指令的触发情况包括但不限于如下举例：当监测到位于虚拟现实设备上触发视点高度调整指令的按钮被触发时，触发视点高度调整指令；或者当监测到佩戴虚拟现实设备的用户连续蹦跳触发视点高度调整指令的预设次数时，触发视点高度调整指令。
当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。如图2所示，当用户沿着半径走近场景中心点时，为了在不同的景深下让虚拟现实设备中能够以高分辨率清晰细致的显示虚拟现实的三维图像，在用户视点针对场景中心点距离拉近时将1080P的分辨率进行升高分辨率处理，例如通过神经网络将分辨率提升指定的倍数，指定的倍数一般设置为2-4倍，视点距离场景中心点越近，设置倍数越高，以此保证图像的清晰和不失真。
需要说明的是，本发明实施例中，虚拟现实设备中设置有传感器，用于对用户头部追踪以确定用户头部在现实世界中的位置和姿态，从而可以确定虚拟世界的观察视角。
本发明实施例通过由彼此成球面位置关系对称均匀布置在半球面上的多个拍照装置同时对半球形的中心方向进行拍照，将多个拍照装置拍摄的图像拼接成全景图并发送给虚拟现实设备将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示。由于每个拍照装置拍摄的图像彼此部分重叠(局部重叠度高)，图像覆盖的密集度较高，能够实现全角度的全景图像覆盖，使得局部重叠的图像拼接为三维全景图像时，效果更圆滑，更接近真实场景。进一步地，由于每个拍照装置由外向内从不同角度同时对半球形的中心方向进行拍摄，因此，可以实现用户围绕半球形的中心方向环行时实时显示用户观察角度对应的三维全景视图，这样用户可以随意改变观察位置，大大增大了用户的观察活动区域的范围，提高用户体验度。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维全景图像的建立***，其特征在于，包括：
多个拍照装置，彼此成球面位置关系对称均匀布置在半球面上，同时朝向半球形的中心方向进行拍照，其中，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；
图像拼接装置，分别与多个拍照装置连接，接收多个拍照装置发送的图像，并将多个拍照装置发送的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；
虚拟现实设备，与图像拼接装置连接，接收图像拼接装置拼接处理后的全景图，将全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。
2.根据权利要求1所述的***，其特征在于：
半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。
3.根据权利要求1所述的***，其特征在于，还包括：
图像压缩装置，将图像拼接装置拼接处理后的全景图进行压缩处理，所述图像压缩装置布置在图像拼接装置中，或外置于图像拼接装置且与图像拼接装置连接；
图像解压装置，对图像压缩装置压缩处理后的全景图进行解压处理，并将解压处理后的全景图发送给虚拟现实设备进行贴图显示，所述图像解压装置可以布置在虚拟现实设备中。
4.根据权利要求1所述的***，其特征在于：
图像拼接装置，采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下，对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对，对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个拍照装置拍摄的图像拼接成全景图。
5.根据权利要求1所述的***，其特征在于：
虚拟现实设备，在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。
6.一种三维全景图像的建立方法，其特征在于，包括：
获取多个拍照装置朝向半球形的中心方向同时拍摄的图像，其中，所述多个拍照装置彼此成球面位置关系对称均匀布置在半球面上，空间位置相邻的各个拍照装置拍摄的图像彼此部分重叠；
将多个拍照装置拍摄的图像拼接成全景图，所述全景图为半球形的中心方向的全景图；
将拼接处理后的全景图贴图到对应的虚拟半球面模型的外表上进行三维全景图的显示，所述虚拟半球面模型与半球面对应。
7.根据权利要求6所述的方法，其特征在于：
半球面由球面维度线和球面经度线划分为多个部分，每个部分由相邻的经度线和维度线相交得到至少3个交点，所述多个拍照装置包括设于每个交点处的广角摄像机。
8.根据权利要求6所述的方法，其特征在于，还包括：
采用平面投影之间的单应性变换，将多个拍照装置发送的不同投影平面下的图像转换到同一个平面下；
对投影平面一致化后的每个图像进行特征点监测提取，对于有重叠区域的两个图像进行特征点的匹配筛选，建立有重叠区域的两个图像之间的匹配点对；
对特征点匹配后的图像进行图像配准和融合、曝光补偿和去鬼影处理，将多个图像拼接成全景图。
9.根据权利要求6所述的方法，其特征在于，还包括：
在用户围绕半球形的中心方向环行时，获取用户的位置和视角信息，根据用户的位置和视角信息将对应位置和视角下的半球面模型上的图像进行三维图像显示；
当触发视点高度调整指令时，升高对应的视点高度位置，将对应的视点高度、水平定位以及视角方向下的半球面模型上的图像进行三维图像显示；
当用户向半球形的中心方向靠近时，将显示的三维图像的分辨率提升预设的倍数，保证显示的三维图像清晰不失真。
10.根据权利要求9所述的方法，其特征在于，还包括：
当监测到位于虚拟现实设备上触发视点高度调整指令的按钮被触发时，触发视点高度调整指令；或者
当监测到佩戴虚拟现实设备的用户连续蹦跳触发视点高度调整指令的预设次数时，触发视点高度调整指令。
CN201710448347.6A 2017-06-14 2017-06-14 三维全景图像的建立方法和*** Active CN107169924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710448347.6A CN107169924B (zh) 2017-06-14 2017-06-14 三维全景图像的建立方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710448347.6A CN107169924B (zh) 2017-06-14 2017-06-14 三维全景图像的建立方法和***

Publications (2)

Publication Number Publication Date
CN107169924A true CN107169924A (zh) 2017-09-15
CN107169924B CN107169924B (zh) 2020-10-09

Family

ID=59819323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710448347.6A Active CN107169924B (zh) 2017-06-14 2017-06-14 三维全景图像的建立方法和***

Country Status (1)

Country Link
CN (1) CN107169924B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833265A (zh) * 2017-11-27 2018-03-23 歌尔科技有限公司 一种图像切换展示方法和虚拟现实设备
CN108096836A (zh) * 2017-12-20 2018-06-01 深圳市百恩互动娱乐有限公司 一种真人实拍制作游戏的方法
CN108124193A (zh) * 2017-12-25 2018-06-05 中兴通讯股份有限公司 视频处理方法及装置
CN108153412A (zh) * 2017-12-11 2018-06-12 虚拟现实(深圳)智能科技有限公司 局域网vr直播方法及***
CN108200330A (zh) * 2017-12-11 2018-06-22 虚拟现实(深圳)智能科技有限公司 双8k图像虚拟现实处理方法及***
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN109099902A (zh) * 2018-06-29 2018-12-28 中国航空规划设计研究总院有限公司 一种基于Unity 3D的虚拟现实全景导航***
WO2019061020A1 (zh) * 2017-09-26 2019-04-04 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
CN110458964A (zh) * 2019-08-21 2019-11-15 四川大学 一种现实环境动态光照的实时计算方法
CN111160377A (zh) * 2020-03-07 2020-05-15 深圳移动互联研究院有限公司 一种自带密钥机制的图像采集***及其佐证方法
CN111292424A (zh) * 2018-12-06 2020-06-16 珀斯特传媒有限公司 多视点360度vr内容提供***
CN111669568A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN112073669A (zh) * 2020-09-18 2020-12-11 三星电子（中国）研发中心 一种视频通信的实现方法和装置
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***
CN114762353A (zh) * 2019-11-29 2022-07-15 株式会社阿尔法空间 实时播放由多个摄像头输入的虚拟现实影像的装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841188A (zh) * 2005-03-30 2006-10-04 北京大学 一种自动球形全景图的生成方法
CN103530907A (zh) * 2013-10-21 2014-01-22 深圳市易尚展示股份有限公司 基于图像的复杂三维模型绘制方法
CN104268939A (zh) * 2014-09-28 2015-01-07 国家电网公司 基于三维全景视图的变电站虚拟现实管理***及其实现方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
WO2016163342A1 (ja) * 2015-04-06 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841188A (zh) * 2005-03-30 2006-10-04 北京大学 一种自动球形全景图的生成方法
CN103530907A (zh) * 2013-10-21 2014-01-22 深圳市易尚展示股份有限公司 基于图像的复杂三维模型绘制方法
CN104268939A (zh) * 2014-09-28 2015-01-07 国家电网公司 基于三维全景视图的变电站虚拟现实管理***及其实现方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
WO2016163342A1 (ja) * 2015-04-06 2016-10-13 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邓非，吴幼丝，胡玉雷，崔红霞: "球形全景影像位姿估计的改进ＥＰｎＰ算法", 《测绘学报》 *
马向英，杜威，袁晓君，李华: "基于图象的室内虚拟漫游***", 《中国图象图形学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019061020A1 (zh) * 2017-09-26 2019-04-04 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
CN107833265B (zh) * 2017-11-27 2021-07-27 歌尔光学科技有限公司 一种图像切换展示方法和虚拟现实设备
CN107833265A (zh) * 2017-11-27 2018-03-23 歌尔科技有限公司 一种图像切换展示方法和虚拟现实设备
CN108153412A (zh) * 2017-12-11 2018-06-12 虚拟现实(深圳)智能科技有限公司 局域网vr直播方法及***
CN108200330A (zh) * 2017-12-11 2018-06-22 虚拟现实(深圳)智能科技有限公司 双8k图像虚拟现实处理方法及***
CN108096836A (zh) * 2017-12-20 2018-06-01 深圳市百恩互动娱乐有限公司 一种真人实拍制作游戏的方法
CN108096836B (zh) * 2017-12-20 2021-05-04 深圳市百恩互动娱乐有限公司 一种真人实拍制作游戏的方法
WO2019128342A1 (zh) * 2017-12-25 2019-07-04 中兴通讯股份有限公司 视频处理方法及装置
CN108124193A (zh) * 2017-12-25 2018-06-05 中兴通讯股份有限公司 视频处理方法及装置
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN109099902A (zh) * 2018-06-29 2018-12-28 中国航空规划设计研究总院有限公司 一种基于Unity 3D的虚拟现实全景导航***
CN111292424A (zh) * 2018-12-06 2020-06-16 珀斯特传媒有限公司 多视点360度vr内容提供***
CN111669568A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN111669568B (zh) * 2019-03-07 2024-05-28 阿里巴巴集团控股有限公司 多角度自由视角交互方法及装置、介质、终端、设备
CN110458964A (zh) * 2019-08-21 2019-11-15 四川大学 一种现实环境动态光照的实时计算方法
CN114762353A (zh) * 2019-11-29 2022-07-15 株式会社阿尔法空间 实时播放由多个摄像头输入的虚拟现实影像的装置及方法
CN114762353B (zh) * 2019-11-29 2023-01-24 株式会社阿尔法空间 实时播放由多个摄像头输入的虚拟现实影像的装置及方法
CN111160377A (zh) * 2020-03-07 2020-05-15 深圳移动互联研究院有限公司 一种自带密钥机制的图像采集***及其佐证方法
CN112073669A (zh) * 2020-09-18 2020-12-11 三星电子（中国）研发中心 一种视频通信的实现方法和装置
CN113014871A (zh) * 2021-02-20 2021-06-22 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助***

Also Published As

Publication number Publication date
CN107169924B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107169924A (zh) 三维全景图像的建立方法和***
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
CN109076172B (zh) 从中间视图生成有效画布视图的方法和***
CN105809701B (zh) 全景视频姿态标定方法
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
WO2018014601A1 (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN107079141A (zh) 用于三维视频的图像拼接
CN104392045B (zh) 一种基于智能移动终端的实时增强虚拟现实***及方法
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN108846796B (zh) 图像拼接方法及电子设备
CN106357976A (zh) 一种全方位全景图像生成的方法和装置
CN109448105B (zh) 基于多深度图像传感器的三维人体骨架生成方法及***
CN107665506A (zh) 实现增强现实的方法及***
CN107844190B (zh) 基于虚拟现实vr设备的图像展示方法及装置
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
CN109754461A (zh) 图像处理方法及相关产品
CN107005689B (zh) 数字视频渲染
CN114442805A (zh) 一种监控场景展示方法、***、电子设备及存储介质
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN110807413B (zh) 目标显示方法以及相关装置
KR101233948B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN108765292A (zh) 基于空间三角面片拟合的图像拼接方法
CN109166079A (zh) 一种混合合成运动矢量与亮度聚类的去遮挡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201015

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221124

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right