CN110874818A - 图像处理和虚拟空间构建方法、装置、***和存储介质 - Google Patents
图像处理和虚拟空间构建方法、装置、***和存储介质 Download PDFInfo
- Publication number
- CN110874818A CN110874818A CN201811008171.3A CN201811008171A CN110874818A CN 110874818 A CN110874818 A CN 110874818A CN 201811008171 A CN201811008171 A CN 201811008171A CN 110874818 A CN110874818 A CN 110874818A
- Authority
- CN
- China
- Prior art keywords
- image
- points
- feature
- determining
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 claims abstract description 45
- 230000036544 posture Effects 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 48
- 230000000875 corresponding effect Effects 0.000 claims description 25
- 230000006399 behavior Effects 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 33
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000005070 sampling Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像处理和虚拟空间构建方法、装置、***和存储介质。该方法包括：确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对；利用多个特征点对，确定图像采集设备在每个拍摄点的运动姿态，根据运动姿态，确定不同拍摄点的相对位置；基于运动姿态、不同拍摄点的相对位置和多个特征点对，构建物体对象的三维模型。根据本发明实施例提供的图像处理方法，可以精确构建三维立体环境。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及图像处理和虚拟空间构建方法、装置、***和存储介质。
背景技术
虚拟现实(Virtual Reality，VR)技术在娱乐、医学、房地产、旅游等领域具有广泛的应用。以旅游领域为例，用户通过照片和文字内容很难直观体会到景点或者酒店等旅行产品的风貌。利用虚拟现实技术，构建虚拟的三维立体环境，使用户置身于虚拟的三维立体环境中，轻松直观地了解三维景观。
现有的三维立体环境，通常通过单张图像的展现方式，仅能表现一个拍摄位置的三维场景，展示内容非常有限，且难以精确体现三维立体环境。
发明内容
本发明实施例提供一种图像处理和虚拟空间构建方法、装置、***和存储介质，可以利用不同拍摄点获取的图像构建三维场景，以精确构建三维立体环境。
第一方面，本发明实施例提供一种图像处理方法，包括：
确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；
对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对；
利用多个特征点对，确定图像采集设备在每个拍摄点的运动姿态，根据运动姿态，确定不同拍摄点的相对位置；
基于运动姿态、不同拍摄点的相对位置和多个特征点对，构建物体对象的三维模型。
第二方面，本发明实施例提供一种图像处理装置，包括：
图像特征点确定模块，用于确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；
图像特征点匹配模块，用于对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对；
拍摄点位置确定模块，用于利用多个特征点对，确定图像采集设备在每个拍摄点的运动姿态，根据运动姿态，确定不同拍摄点的相对位置；
三维模型构建模块，用于基于运动姿态、不同拍摄点的相对位置和多个特征点对，构建物体对象的三维模型。
第三方面，本发明实施例提供一种图像处理设备，包括：存储器和处理器；该存储器用于存储程序；该处理器用于读取存储器中存储的可执行程序代码以执行上述的图像处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的图像处理方法。
第五方面，本发明实施例提供一种虚拟空间构建方法，包括：
通过图像采集设备在不同拍摄点采集的旅行场景的全景图像，利用上述各方面描述的图像处理方法，构建旅行场景的三维模型；
通过图像采集设备在不同拍摄点采集的业务对象的全景图像，利用图像处理方法，构建业务对象的三维模型；
利用旅行场景的三维模型和业务对象的三维模型，构建虚拟空间的三维模型。
第六方面，本发明实施例提供一种虚拟空间构建装置，包括：
旅行场景构建模块，用于通过图像采集设备在不同拍摄点采集的旅行场景的全景图像，利用权利要求1的图像处理方法，构建旅行场景的三维模型；
业务对象构建模块，用于通过图像采集设备在不同拍摄点采集的业务对象的全景图像，利用图像处理方法，构建业务对象的三维模型；
三维空间构建模块，用于利用旅行场景的三维模型和业务对象的三维模型，构建虚拟空间的三维模型。
第七方面，本发明实施例提供一种虚拟空间构建***，包括存储器和处理器；存储器用于储存有可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行上述各方面描述的虚拟空间构建方法。
第八方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的虚拟空间构建方法。
根据本发明实施例中的图像处理和虚拟空间构建方法、装置、***和存储介质，克服了只能重建单点流量场景的问题，利用不同拍摄点获取的物体对象的图像进行三维重建，得到精确的三维立体环境。
并且，根据本发明实施例中的虚拟空间构建方法、装置、***和存储介质，真实再现旅行产品，并将与旅行目的地相关的旅行产品嵌入到虚拟场景中，使用户在更精确的三维立体环境中直观体会旅行场景和旅行产品的风貌。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的多拍摄点下获取的图像进行图像处理的基本原理示意图；
图2a示出了根据本发明实施例的第一全景图示意图；
图2b示出了根据本发明实施例的第二全景图示意图；
图2c示出了根据本发明实施例的第一全景图和第二全景图的图像匹配示意图；
图2d示出了根据本发明实施例的全景图之间的拍摄点关联示意图；
图2e示出了根据本发明实施例的全景图三维模型示意图；
图2f示出了根据本发明一实施例的添加旅游产品信息的全景图三维模型示意图；
图3是示出根据本发明一实施例的图像处理方法的流程图；
图4是根据本发明一实施例的图像处理装置的结构示意图；
图5是示出根据本发明一实施例的虚拟空间构建方法的流程图；
图6是示出根据本发明一实施例的虚拟空间构建装置的结构示意图；
图7是示出了可以实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图；
图8是示出了可以实现根据本发明实施例的虚拟空间构建方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中，虚拟现实(Virtual Reality，简称VR)技术是一种计算机仿真***，在该***中可以创建和体验虚拟世界。本质上，该***利用计算机生成一种模拟环境，该模拟环境包括多源信息融合的交互式三维动态视景和对实体行为的***仿真，可以达到沉浸式体验。
三维全景虚拟现实，是一种基于真实场景全景图像的虚拟现实技术。三维全景(Three Dimensional Panorama)可以将图像采集设备在指定拍摄位置拍摄的物体对象所在空间场景的全景范围内的多张照片，拼接成一张全景图像，并利用该全景图像构建物体对象的三维空间场景，以进行真实场景还原和三维全景展示。作为一个示例，全景范围可以是物体对象所在空间场景的水平方向360度范围内，或者所在空间场景的水平方向360度和垂直方向180度范围内。
在本发明实施例中，可以采用普通图像拼接、鱼眼图像拼接或者RGBD图像拼接等多种方法获取物体对象的全景图。在一个实施例中，获取物体对象的全景图可以包括以下步骤：
首先，在指定相机位置利用图像采集设备采集物体对象的一组或多组图像。
在一个实施例中，可以使用普通相机、摄像机等图像采集设备拍摄可以覆盖物体对象所在景物空间的一组或多组图像。
在一个实施例中，可以使用配备较大视域的镜头，例如使用带鱼眼镜头的图像采集设备，拍摄包含物体对象的景物空间的一组或多组图像。鱼眼镜头是一种超广角镜头，镜头视角可以达到或超过180度。因此采用例如鱼眼镜头时，可以只需要拍摄两张物体对象的图像，即可覆盖物体对象所在的景物空间。
在一个实施例中，可以使用RGBD图像采集设备例如RGBD相机，拍摄物体对象所在景物空间的一组或多组图像。RGBD相机是一种可以同时获取物体对象的颜色信息和深度信息的图像采集设备，相比于可以获取物体对象表面深度颜色信息和深度信息的传统三维扫描设备，具有结构小巧，成本低廉且使用方便的优点。
其次，对物体对象的一组或多组图像进行拼接，得到物体对象的全景图像。
可以利用图像拼接软件，对物体对象的一组或多组图像进行拼合处理，制作物体对象的全景图像。图像拼接软件例如可以包括全景图制作软件PanoramaMaker、图片变形修正软件PTLens等。使用图像拼接软件可以将物体对象的一组或多组图像的重叠区域进行拼接，得到物体对象的全景图像。
本领域技术人员可以理解到，可以通过多种方式获得物体对象的全景图像。例如，预先为物体对象准备的全景图像、实时图像采集设备实时拍摄的物体对象的全景图像。在本发明实施例中，全景图像可以包括场景彩色和场景亮度等信息。
通过上述实施例可知，物体对象的单张全景照片，通常是通过位于固定拍摄点的图像采集设备采集得到的。拍摄点，即拍摄物体对象的全景图像的相机位置。因此，物体对象的单张全景照片仅能表示一个拍摄位置的物体对象的全景图像，可以展示的内容非常有限，且难以精确体现物体对象的三维立体环境。
通过上述实施例可知，图像采集设备可以包括普通相机、摄像头、带鱼眼镜头的相机、RGBD相机等。
由于图像采集设备基于相同的成像原理采集物体对象的全景图像，以获取目标建模对象的二维全景图像。为了便于理解，本发明实施例以图像采集设备是普通相机(如下可以简称为相机)为例，介绍如何通过相机在不同的拍摄位置和角度获得的物体对象在场景中的图像，构建物体对象的三维模型，实现三维全景漫游，即在由全景图构建的全景空间中进行位置切换，达到从不同位置浏览各个不同场景的目的。
为了更好的理解本发明，以具体应用场景为旅游场景为例，利用不同拍摄位置获取的全景图像进行拍摄点的重建，确定不同拍摄点之间的关联关系，利用拍摄点之间的关联关系和对应拍摄点上获取的全景图形，构建三维空间场景，以实现场景内漫游。应理解，该描述不应被解读为限制本方案的范围或实施可能性，对于旅游场景以外的应用场景中获取的全景图像的图像处理方法，结合图1、图2a至图2f描述的数据处理方法的具体实现方式保持一致。
图1示出了根据本发明实施例的多拍摄点下获取的图像进行图像处理的基本原理示意图。下面首先结合图1，详细描述通过图像采集设备在不同拍摄点对同一物体对象采集的图像，确定该图像采集设备的位置和姿态的方法。
如图1所示，可以使用一个或多个相机，在不同的拍摄点以全景模式拍摄三维场景中的物体对象。
在图1中，P(X，Y，Z)表示真实场景中物体对象的三维点，S1表示相对于物体对象的第一相机位置，S2表示相对于物体对象的第二相机位置，p1表示在第一相机位置拍摄物体对象得到的第一图像中的三维点P对应的图像点，p2表示在第二相机位置拍摄物体对象得到的第二图像中三维点P对应的图像点。p1和p2为第一图像和第二图像中匹配的图像点。
在一个实施例中，为确定空间物体表面特征点与该特征点在纹理图像中对应点的位置关系，需要建立相机成像的几何模型，该几何模型可以表示为相机参数，通过相机参数可以确定空间物体使用的三维坐标系与纹理图像使用的相机图像坐标系的映射关系，通过相机参数将一个三维空间的点映射到图像空间，或者，将一个图像空间的点映射到三维空间。
在一个实施例中，相机外参包括旋转矩阵R和平移向量t，用于表示相机在世界坐标系中的旋转方向和相机位置，相机外参可以用于描述世界坐标系和相机坐标系的转换关系。
根据***成像模型，真实场景中的三维点通过投影变换映射到图像上的二维点，该变换过程可以表示为下述表达式(1)：
p＝K[R t]P (1)
在上述表达式(1)中，P表示该物体上的特征点在真实场景中的三维坐标，矩阵K表征摄像机镜头焦距和成像焦点的内参数矩阵；[R t]是根据物体的三维姿态扩展成的3×4的投影矩阵，R表示旋转分量，使用一个3×3矩阵表示虚拟物体在AR***中的旋转方向，t为位移分量，通过矩阵[x y z 1]T表示物体在三维场景中的三维坐标，p＝[x y 1]T是图像上特征点的对应点的二维齐次图像坐标。
在一个实施例中，相机内参数包括与相机自身特性相关的参数，例如相机焦距、像素大小和光心位置等，相机内参数可以用于描述相机坐标系和图像坐标系之间的转换关系，即相机坐标系中的三维点是如何经过摄像机的镜头、针孔成像和电子转化而成为图像坐标系中的二维像素点。
在本发明实施例中，对于真实场景中物体对象的三维点P，假设以第一拍摄点的相机中心作为世界坐标系的坐标原点，则第一个相机相对于自身坐标系没有发生旋转和平移，与三维点P对应的第一图像中的图像点p1和第二图像中的图像点p2，可以表示为下述表达式(2)：
p1＝KP，p2＝K(RP+t) (2)
在上述表达式(2)中，K为相机的内参数矩阵，R和t为投影矩阵的旋转分量和位移分量。
在一个实施例中，真实场景中同一空间点在第一图像中的图像点p1和第二图像中的图像点p2之间的几何约束关系。作为一个示例，该几何约束关系可以理解为是：对于真实场景中物体对象的三维点P，该同一空间点在第一图像中的图像点p1和第二图像中的图像点p2满足：如果将第一相机位置S1与三维点在第一图像中的像素点p1的连线记为L1，将第二相机位置S2与三维点P在第二图像中的像素点p2的连线记为L2，则L1和L2相交于空间三维点P。
因此，在本发明实施例中，根据不同拍摄点的相对位置、特征点对的特征点之间的空间位置关系，利用该几何约束关系，可以确定物体对象的与特征点对中的特征点对应的三维点的空间位置，以利用该物体对象的三维点的空间位置，构建所述物体对象的三维模型。
在一个实施例中，对上述表达式(2)进行几何和代数变换，得到真实场景中同一空间点在第一图像中的图像点p1和第二图像中的图像点p2之间的几何约束关系，该几何约束关系可以表示为下述表达式(3)：
在上述表达式(3)中，K为相机的内参数矩阵，K-T表示矩阵K的逆的转置矩阵，t×表示矩阵t的反对称矩阵，K-1表示的矩阵K的逆矩阵，F为基础矩阵。
通过上述表达式(3)可知，已知一个三维点在第一图像中的图像坐标p1，通过基础矩阵F可以得到该三维点在第二图像中的图像坐标p2。因此，基础矩阵F可以用于表征相机的相对位置和相机内参数。
在本发明实施例中，可以通过基本矩阵F表征真实场景中物体对象的空间点P的三维坐标与不同拍摄位置获取的图像中的图像点的二维坐标之间的几何约束条件。
下面描述如何通过不同拍摄位置获取的第一图像和第二图像中的匹配的图像点对，确定相机位置和相机姿态的方法。
在一个实施例中，基础矩阵F是一个3×3矩阵，理论上有9个未知参数，由于在上述表达式(3)中的相机外参数中的平移向量t使用了齐次坐标(包含一个常数因子)，基础矩阵F可以只包含8个未知参数。
在该实施例中，可以根据同一物体对象的第一图像和第二图像中的多个特征点对，例如至少8个特征点对中的每个特征点对的图像坐标，构建如上述表达式(3)描述的线性方程组，求解该线性方程组，得到基础矩阵F，对基础矩阵F进行矩阵分解，可以得到投影矩阵中旋转分量和平移分量。
对于每个特征点对中特征点的图像坐标，可以以第一图像和第二图像中任一图像中，选择一个图像点的图像坐标作为坐标原点，确定第一图像和第二图像中其他图像点的图像坐标。
在本发明实施例中，计算投影矩阵中旋转分量和平移分量的过程可以称为相机运动恢复，即相机从第一相机位置到第二相机位置的运动位移和姿态变化。在已知相机运动位移和姿态变化的情况下，可以将不同拍摄点获取的图像关联起来。
下面结合图2a至2f，以旅游场景为例，对本发明实施例图像处理方法的处理过程进行详细的说明和示意性的效果展示。
图2a示出了根据本发明实施例的第一全景图示意图；图2b示出了根据本发明实施例的第二全景图示意图；图2c示出了根据本发明实施例的第一全景图和第二全景图的图像匹配示意图；图2d示出了根据本发明实施例的全景图之间的拍摄点关联示意图；图2e示出了根据本发明实施例的全景图三维模型示意图；图2e示出了根据本发明实施例的添加旅游产品信息的全景图三维模型示意图。
如图2a和2b所示，根据上述实施例中描述的获取全景图的方法，获取与不同拍摄位置对应的物体对象的多张全景图像。
作为一个示例，首先，利用相机和鱼眼镜头，使用全景拍摄模式，均匀转动相机方向，在第一相机位置拍摄物体对象的第一张鱼眼图像；接着，保持相机位置不变，使用同样的方法拍摄物体对象的第二张鱼眼图像，两张鱼眼图像包含重叠部分。接着，采用图像拼接技术，将物体对象的多张具有重叠区域的图像进行拼接，得到物体对象的与第一相机位置对应的第一全景图像。
在本发明实施例中，可以从与不同拍摄位置对应的物体对象的多张全景图像中，选择两张全景图像，例如图1a所示的与第一相机位置对应的第一图像和与第二相机位置对应的第二图像，以执行本发明实施例图像处理方法。
在一个实施例中，可以根据本发明实施例的第一全景图和第二全景图的进行图像特征匹配。在该实施例中，图像处理方法100可以包括：
步骤S110，确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是在不同拍摄点拍摄物体对象获取的。
在一个实施例中，首先，可以对物体对象的第一图像进行图像特征提取，以及对物体对象的第二图像进行图像特征提取；接着，可以通过提取到的第一图像的图像特征，确定第一图像中的特征点，以及根据提取到的第二图像的图像特征，确定第二图像中的特征点。
在一个实施例中，图像特征可以是纹理特征，纹理特征至少可以包括物体对象表面图像采样点的亮度或灰度。通过提取第一图像中的纹理特征，确定第一图像中的特征点。
作为一个示例，可以利用第一图像的采样点的亮度变化程度，提取第一图像中的特征点。
具体地，获取第一图像中的采样点；计算第一图像中的采样点的亮度值；计算第一图像中采样点的亮度值的梯度，亮度值的梯度可以用于表示当前采样点的亮度变化最快的方向，当采样点的亮度的梯度取得极值时，表示第一图像在当前采样点的亮度发生突变，则可以将该采样点作为第一图像中的特征点。
作为一个示例，可以利用第一图像的采样点的灰度变化程度，提取第一图像中的特征点，该处理过程与利用第一图像的采样点的亮度变化程度，提取第一图像中的特征点的原理和步骤基本一致，在此不再赘述。
步骤S120，对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对。
在一个实施例中，特征匹配条件为：基于相同的指定图像特征，第一图像中特征点的特征值与第二图像中特征点的特征值的差值最小，或该差值在预设的特征阈值范围内。
在本发明实施例中，利用第一图像和第二图像中匹配的特征点进行三维重建，由于匹配得到的特征点对中的特征点之间灰度变化程度和亮度变化程度相当，三维重建得到的模型中该特征点不会发生灰度值或亮度值的跳变，减少了自然光的影响，从而可以兼顾室内和室外场景。
步骤S130，根据第一图像和第二图像中的多个特征点对，确定图像采集设备的空间位置和三维姿态，并利用多个特征点对以及图像采集设备的空间位置和三维姿态，构建物体对象的三维模型。
在一个实施例中，通过上述实施例描述的方法，根据每个特征点对中的特征点的图像坐标，利用上述表达式(3)构建方程，求解得到图像采集设备的投影矩阵，得到投影矩阵中的旋转分量和平移分量，从而确定利用该旋转分量和平移分量表示的图像采集设备的空间位置和三维姿态。
在一个实施例中，以第一图像对应的相机位置和相机姿态作为初始位置和初始姿态，根据图像采集设备的空间位置和三维姿态，可以确定第二图像用相机的相机位置和相机姿态。迭代获取相机在新的拍摄点获取的新的图像，通过上述实施例描述的方法，根据第一图像和新的图像中的多个特征点对，确定相机在新的拍摄点的相机位置和相机姿态。
如图2d所示，确定图像采集设备的空间位置和三维姿态的步骤，可以理解为是重建拍摄点的过程。通过确定图像采集设备的空间位置和三维姿态，可以重建每个拍摄点的相对位置关系。
下面描述本发明实施例中构建三维模型的具体步骤。在一个实施例中，多个特征点对中的一个或多个特征点对的特征点之间形成特征线段，可以根据特征点对中的特征点之间的对应关系，或者特征点对中的特征线段之间的对应关系，重建物体对象的三维模型。
在一个实施例中，根据图像采集设备的空间位置和三维姿态，以及特征点对中的特征点的图像坐标，可以确定第一图像和第二图像之间特征点对中的特征点的三维坐标。
在该实施例中，根据第一图像和第二图像之间特征点对中的特征点的三维坐标，可以得到物体对象表面特征点的点数据的集合，即物体对象的点云(Point Cloud)数据。点云数据可以包括三维坐标和颜色信息。
其次，如果将第一图像中特征点的点云数据作为第一点云数据，将第二图像中特征点的点云数据作为第二点云数据，通过坐标变换对第一点云数据和第二点云数据进行数据配准。
在一个实施例中，该数据配准包括：对特征点对中特征点的三维坐标进行统一坐标系的操作，将不同位置拍摄的图像中特征点对的三维坐标，通过旋转和/或平移操作进行坐标转换，实现第一点云数据在统一坐标系下的一致对准，形成完整的三维点云数据模型。
如图2e所示，根据每个拍摄点的相对位置关系，可以将不同拍摄点获取的图像之间的特征点对的三维坐标，统一在相同坐标系下，从而利用相同坐标系下特征点的三维坐标，构建物体对象的三维模型。
在一个实施例中，由于不同拍摄点获取的物体对象的二维图像之间根据特征点匹配得到的点云数据中，点数量较少且点云间距相对稀疏，为了构建高精度的三维模型，需要将图像中的特征点扩展到相邻像素点，得到密集点云，以构建物体对象的稠密三维模型。
在本发明实施例中，为了实现虚拟环境中的三维场景漫游，由多幅全景图像构建的全景空间里，根据拍摄点进行切换，达到浏览不同场景的目的。本发明实施例的图像处理方法，可以根据不同图像之间多个特征点对的对应关系，对相机运动进行建模，确定相机的运动位置和姿态，在已知相机位置和姿态的情况下，不同相机位置获取的图像即可关联起来，从而在同一坐标系内，构建物体对象的三维模型。
在本发明实施例中，第一图像和第二图像可以是在不同拍摄点采集的物体对象的全景图像，通过上述实施例描述的方法，将不同拍摄点获取的第一图像和第二图像进行关联，得到关联图像，将该关联图像作为新的第一图像，并迭代获取三维场景中物体对象的新的全景图像，利用相机在每个拍摄点的位置和姿态，将所有拍摄点关联起来，直到物体对象的全部全景图像完成关联，得到全部全景图像对应的三维模型。
在一个实施例中，如图2f所示，可以在构建的三维场景中物体对象的三维模型上放置特定物品，该特定物品可以和构建的三维模型的具体应用场景相关。例如，该特定物品可以是旅行商品，例如旅游场景中的普通商品、旅行商品、以及景点相关信息等。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的图像处理方法、装置、***和存储介质，应注意，这些实施例并不是用来限制本发明公开的范围。
图3是示出根据本发明实施例的图像处理方法的流程图。如图3所示，图像处理方法300，包括以下步骤：
步骤S310，确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像。
步骤S320，对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对。
在一个实施例中，步骤S320具体可以包括：
步骤S321，获取第一图像中的第一特征点，利用第一特征点的特征值，查找第二图像中的第二特征点，第二特征点的特征值与第一特征点的特征值之间满足特征值阈值条件；
步骤S322，利用第二特征点的特征值，查找第一图像中的第三特征点，第三特征点的特征值与第二特征点的特征值之间满足特征值阈值条件；
步骤S323，当第一特征点与第三特征点重合时，确定第一特征点和第二特征点为符合特征匹配条件的特征点，构成多个特征点对。
步骤S330，利用多个特征点对，确定图像采集设备在每个拍摄点的运动姿态，根据运动姿态，确定不同拍摄点的相对位置。
在一个实施例中，步骤S330中，确定图像采集设备在每个拍摄点的运动姿态的步骤，具体可以包括：
步骤S331，根据多个特征点对，确定特征点对中的特征点之间的基础矩阵，基础矩阵用于表征特征点对中的特征点之间的射影映射关系。
步骤S332，对基础矩阵进行矩阵分解，得到图像采集设备在不同拍摄点之间的相对位移和姿态变化。
步骤S333，根据相对位移和姿态变化，确定图像采集设备在每个拍摄点的运动姿态。
步骤S340，基于运动姿态、不同拍摄点的相对位置和多个特征点对，构建物体对象的三维模型。
在一个实施例中，步骤S340具体可以包括：
步骤S341，根据运动姿态，确定空间三维坐标系和摄像机坐标系的空间转换矩阵。
步骤S342，对于多个特征点对中的一个或多个特征点对，根据空间转换矩阵，确定相同摄像机坐标系下特征点对的空间位置关系。
步骤S343，利用不同拍摄点的相对位置和特征点对的空间位置关系，确定物体对象的与特征点对中的特征点对应的三维点的空间位置，以构建物体对象的稀疏三维模型。
在一个实施例中，图像处理方法300还可以包括：
步骤S350，利用不同拍摄点的相对位置，关联第一图像和第二图像，得到物体对象的关联图像；
步骤S351，根据运动姿态和不同拍摄点的相对位置，确定关联图像中的图像点对应的三维点的空间位置，以构建物体对象的稠密三维模型。
在一个实施例中，图像处理方法300还可以包括：
步骤S360，利用不同拍摄点的相对位置，关联第一图像和第二图像，得到物体对象的关联图像。
步骤S361，将关联图像作为第一图像，重新确定第一图像中的特征点，直到物体对象的全部全景图像完成关联，得到全部全景图像对应的三维模型。
在一个实施例中，图像处理方法300还可以包括：
步骤S371，确定特定物品对象的空间三维坐标，根据特定物品对象的空间三维坐标，在物体对象的三维模型中添加特定物品
根据本发明实施例的图像处理方法，可以使用二维全景图重建出完整的室内室外环境，通过特征点的匹配过程可以减少自然光的影响，并且克服了单点流量场景的问题，可以根据不同拍摄点的运动位置和姿态实现三维场景的漫游。
在本发明实施例中，将全景图和物体对象的三维模型相结合，可以构建虚拟现实的场景，从而将景点/酒店等转化为可以交互的空间。
下面结合附图，详细介绍根据本发明实施例的图像处理装置。
图4示出了根据本发明一实施例提供的图像处理装置的结构示意图。如图4所示，图像处理装置400包括：
图像特征点确定模块410，用于确定第一图像中的特征点和第二图像中的特征点，第一图像和第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；
图像特征点匹配模块420，用于对第一图像和第二图像进行特征匹配，确定第一图像和第二图像之间符合特征匹配条件的特征点，构成多个特征点对；
拍摄点位置确定模块430，用于利用多个特征点对，确定图像采集设备在每个拍摄点的运动姿态，根据运动姿态，确定不同拍摄点的相对位置；
三维模型构建模块440，用于基于运动姿态、不同拍摄点的相对位置和多个特征点对，构建物体对象的三维模型。
在一个实施例中，图像特征点匹配模块420，具体可以包括：
第一特征点查找单元，用于获取第一图像中的第一特征点，利用第一特征点的特征值，查找第二图像中的第二特征点，第二特征点的特征值与第一特征点的特征值之间满足特征值阈值条件；
第二特征点查找单元，用于利用第二特征点的特征值，查找第一图像中的第三特征点，第三特征点的特征值与第二特征点的特征值之间满足特征值阈值条件；
特征点对确定单元，用于当第一特征点与第三特征点重合时，确定第一特征点和第二特征点为符合特征匹配条件的特征点，构成多个特征点对。
在一个实施例中，拍摄点位置确定模块430，具体可以包括：
基础矩阵确定单元，用于根据多个特征点对，确定特征点对中的特征点之间的基础矩阵，基础矩阵用于表征特征点对中的特征点之间的射影映射关系；
拍摄点位姿确定单元，用于对基础矩阵进行矩阵分解，得到图像采集设备在不同拍摄点之间的相对位移和姿态变化；
拍摄点运动姿态单元，用于根据相对位移和姿态变化，确定图像采集设备在每个拍摄点的运动姿态。
在一个实施例中，三维模型构建模块440，具体可以包括：
空间转换矩阵确定单元，用于根据运动姿态，确定空间三维坐标系和摄像机坐标系的空间转换矩阵；
空间位置关系确定单元，用于对于多个特征点对中的一个或多个特征点对，根据空间转换矩阵，确定相同摄像机坐标系下特征点对的空间位置关系；
三维模型构建模块，还用于利用不同拍摄点的相对位置和特征点对的空间位置关系，确定物体对象的与特征点对中的特征点对应的三维点的空间位置，以构建物体对象的稀疏三维模型。
在一个实施例中，图像处理装置400，还可以包括：
图像关联模块，用于利用不同拍摄点的相对位置，关联第一图像和第二图像，得到物体对象的关联图像；
三维模型构建模块，还用于根据运动姿态和不同拍摄点的相对位置，确定关联图像中的图像点对应的三维点的空间位置，以构建物体对象的稠密三维模型。
在一个实施例中，图像处理装置400，还可以包括：
图像关联模块，用于利用不同拍摄点的相对位置，关联第一图像和第二图像，得到物体对象的关联图像；
三维模型构建模块，用于将关联图像作为第一图像，重新确定第一图像中的特征点，直到物体对象的全部全景图像完成关联，得到全部全景图像对应的三维模型。
在一个实施例中，图像处理装置400，还可以包括：
特定物品添加模块，用于确定特定物品对象的空间三维坐标，根据特定物品对象的空间三维坐标，在物体对象的三维模型中添加特定物品。
根据本发明实施例的图像处理装置的其他细节与以上结合图1至图3描述的根据本发明实施例的图像处理方法类似，在此不再赘述。
下面结合附图，描述根据本发明实施例的虚拟空间构建方法。图5示出了根据本发明一实施例的虚拟空间构建方法的流程图。
如图5所示，在一个实施例中，虚拟空间构建方法500可以包括：
步骤S510，通过图像采集设备在不同拍摄点采集的旅行场景的全景图像，利用上述实施例描述的图像处理方法，构建旅行场景的三维模型。
步骤S520，通过图像采集设备在不同拍摄点采集的业务对象的全景图像，利用上述实施例描述的图像处理方法，构建业务对象的三维模型。
步骤S530，利用旅行场景的三维模型和业务对象的三维模型，构建虚拟空间的三维模型。
在一个实施例中，旅行场景包括旅行地的室内环境和室外环境；业务对象包括旅行地的旅游吸引物和旅行服务。
在该实施例中，业务对象可以是旅行商品或旅行产品，即旅游业者通过开发、利用旅游资源提供给旅游者的旅游吸引物与旅行服务的组合，包括但不限于机票，酒店，景点门票，自由行或跟团游，当地玩乐项目等。
在一个实施例中，虚拟空间构建方法500，还可以包括：
步骤S540，通过第一用户行为交互链接，与旅行场景的三维模型和业务对象的三维模型进行第一用户行为交互。
在一个实施例中，第一用户行为交互链接包括如下项中的至少一项：三维信息查看链接、功能展示查看链接、会话请求链接和物品订购链接。
在该实施例中，用户可以通过第一用户行为交互链接进行第一用户行为交互，第一用户行为可以包括如下项中的至少一项：查看业务对象的三维信息、查看业务对象的功能展示、发起或结束针对业务对象的回话咨询和订购业务对象。
在一个实施例中，虚拟空间构建方法500，还可以包括：
步骤S550，通过第二用户行为交互链接，与旅行场景的三维模型和业务对象的三维模型进行第二用户行为交互。
在一个实施例中，第二用户行为链接包括如下项中的至少一项：信息更新链接、会话响应链接和订购响应链接。
在该实施例中，用户可以通过第二用户行为交互链接进行第二用户行为交互，第二用户行为可以包括如下项中的至少一项：更新业务对象的三维信息、更新业务对象的功能展示、响应针对业务对象的回话咨询和响应业务对象的订购。
本发明实施例中的虚拟空间可以是根据旅行场景的三维模型和业务对象的三维模型构建的虚拟商城，第一用户可以是对业务对象有购买意向的用户方例如买家；第二用户可以是业务对象的出售方例如卖家。
在发明实施例中，将与旅行目的地相关的旅行产品嵌入到虚拟旅行场景中，将能够更好地帮助用户了解目的地以及相关的旅游项目。并且，利用本发明实施例的图像处理方法构建的虚拟旅行场景可以兼顾室内和外场景，将旅行产品融入场景，可以帮助用户更好地了解旅行目的地，选择旅行产品。
下面结合附图，描述根据本发明实施例的虚拟空间构建装置。图6示出了根据本发明一实施例的虚拟空间构建装置的结构示意图。
如图6所示，在一个实施例中，虚拟空间构建装置600可以包括：
旅行场景构建模块610，用于通过图像采集设备在不同拍摄点采集的旅行场景的全景图像，利用上述实施例描述的图像处理方法，构建旅行场景的三维模型。
业务对象构建模块620，用于通过图像采集设备在不同拍摄点采集的业务对象的全景图像，利用上述实施例描述的图像处理方法，构建业务对象的三维模型。
三维空间构建模块630，用于利用旅行场景的三维模型和业务对象的三维模型，构建虚拟空间的三维模型。
在一个实施例中，旅行场景包括旅行地的室内环境和室外环境；业务对象包括旅行地的旅游吸引物和旅行服务。
在一个实施例中，虚拟空间构建装置600还可以包括：
第一行为交互模块，用于通过第一用户行为交互链接，与旅行场景的三维模型和业务对象的三维模型进行第一用户行为交互。
在一个实施例中，第一用户行为交互链接包括如下项中的至少一项：三维信息查看链接、功能展示查看链接、会话请求链接、物品订购链接。
在一个实施例中，虚拟空间构建装置600还可以包括：
第二行为交互模块，用于通过第二用户行为交互链接，与旅行场景的三维模型和业务对象的三维模型进行第二用户行为交互。
在一个实施例中，第二用户行为链接包括如下项中的至少一项：信息更新链接、会话响应链接和订购响应链接。
根据本发明实施例的图像处理装置的其他细节与以上结合图1至图5描述的根据本发明实施例的图像处理方法和虚拟空间构建方法的具体细节类似，在此不再赘述。
图7是示出能够实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。
如图7所示，计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线510相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与计算设备700的其他组件连接。具体地，输入设备701接收来自外部(例如，图像采集设备)的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到计算设备700的外部供用户使用。
在一个实施例中，图7所示的计算设备700可以被实现为一种图像处理***，包括：存储器，被配置为存储程序；处理器703，被配置为运行存储器中存储的程序，以执行上述实施例描述的图像处理方法。
根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的图像处理方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。
图8示出了示出了可以实现根据本发明实施例的虚拟空间构建方法和装置的计算设备的示例性硬件架构的结构图。
如图8所示，计算设备800包括输入设备801、输入接口802、中央处理器803、存储器804、输出接口805、以及输出设备806。其中，输入接口802、中央处理器803、存储器804、以及输出接口805通过总线510相互连接，输入设备801和输出设备806分别通过输入接口802和输出接口805与总线810连接，进而与计算设备800的其他组件连接。具体地，输入设备801接收来自外部(例如，图像采集设备)的输入信息，并通过输入接口802将输入信息传送到中央处理器803；中央处理器803基于存储器804中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器804中，然后通过输出接口805将输出信息传送到输出设备806；输出设备806将输出信息输出到计算设备800的外部供用户使用。
在一个实施例中，图8所示的计算设备800可以被实现为一种虚拟空间构建***，包括：存储器，被配置为存储程序；处理器803，被配置为运行存储器中存储的程序，以执行上述实施例描述的虚拟空间构建方法。
根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的虚拟空间构建方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (17)
1.一种图像处理方法，包括：
确定第一图像中的特征点和第二图像中的特征点，所述第一图像和所述第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；
对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像和所述第二图像之间符合特征匹配条件的特征点，构成多个特征点对；
利用所述多个特征点对，确定所述图像采集设备在各个拍摄点的运动姿态，根据所述运动姿态，确定所述不同拍摄点的相对位置；
基于所述运动姿态、所述不同拍摄点的相对位置和所述多个特征点对，构建所述物体对象的三维模型。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像和所述第二图像之间符合特征匹配条件的特征点，构成多个特征点对，包括：
获取所述第一图像中的第一特征点，利用所述第一特征点的特征值，查找所述第二图像中的第二特征点，所述第二特征点的特征值与所述第一特征点的特征值之间满足特征值阈值条件；
利用所述第二特征点的特征值，查找所述第一图像中的第三特征点，所述第三特征点的特征值与所述第二特征点的特征值之间满足所述特征值阈值条件；
当所述第一特征点与所述第三特征点重合时，确定所述第一特征点和所述第二特征点为所述符合特征匹配条件的特征点，构成多个特征点对。
3.根据权利要求1所述的图像处理方法，其中，所述利用所述多个特征点对，确定所述图像采集设备在不同拍摄点之间的运动姿态，包括：
根据所述多个特征点对，确定所述特征点对中的特征点之间的基础矩阵，所述基础矩阵用于表征所述特征点对中的特征点之间的射影映射关系；
对所述基础矩阵进行矩阵分解，得到所述图像采集设备在不同拍摄点之间的相对位移和姿态变化；
根据所述相对位移和所述姿态变化，确定所述图像采集设备在所述每个拍摄点的运动姿态。
4.根据权利要求1所述的图像处理方法，其中，所述基于所述运动姿态、所述不同拍摄点的相对位置和所述多个特征点对，构建所述物体对象的三维模型，包括：
根据所述运动姿态，确定空间三维坐标系和摄像机坐标系的空间转换矩阵；
对于所述多个特征点对中的一个或多个特征点对，根据所述空间转换矩阵，确定相同摄像机坐标系下所述特征点对的空间位置关系；
利用所述不同拍摄点的相对位置和所述特征点对的空间位置关系，确定所述物体对象的与所述特征点对中的特征点对应的三维点的空间位置，以构建所述物体对象的稀疏三维模型。
5.根据权利要求1所述的图像处理方法，还包括：
利用所述不同拍摄点的相对位置，关联所述第一图像和所述第二图像，得到所述物体对象的关联图像；
根据所述运动姿态和所述不同拍摄点的相对位置，确定所述关联图像中的图像点对应的三维点的空间位置，以构建所述物体对象的稠密三维模型。
6.根据权利要求1所述的图像处理方法，还包括：
利用所述不同拍摄点的相对位置，关联所述第一图像和所述第二图像，得到所述物体对象的关联图像；
将所述关联图像作为第一图像，重新确定所述第一图像中的特征点，直到所述物体对象的全部全景图像完成关联，得到所述全部全景图像对应的三维模型。
7.根据权利要求1所述的图像处理方法，还包括：
确定特定物品的空间三维坐标，根据所述特定物品的空间三维坐标，在所述物体对象的三维模型中添加所述特定物品。
8.一种虚拟空间构建方法，包括：
通过在不同拍摄点采集的旅行场景的全景图像，利用权利要求1所述的图像处理方法，构建所述旅行场景的三维模型；
通过在不同拍摄点采集的业务对象的全景图像，利用所述图像处理方法，构建所述业务对象的三维模型；
利用所述旅行场景的三维模型和所述业务对象的三维模型，构建虚拟空间的三维模型。
9.根据权利要求8所述的虚拟空间构建方法，其中，
所述旅行场景包括旅行地的室内环境和室外环境；
所述业务对象包括所述旅行地的旅游吸引物和旅行服务。
10.根据权利要求8所述的虚拟空间构建方法，还包括：
通过第一用户行为交互链接，与所述旅行场景的三维模型和所述业务对象的三维模型进行第一用户行为交互。
11.根据权利要求10所述的虚拟空间构建方法，其中，
所述第一用户行为交互链接包括如下项中的至少一项：三维信息查看链接、功能展示查看链接、会话请求链接、物品订购链接。
12.根据权利要求8所述的虚拟空间构建方法，还包括：
通过第二用户行为交互链接，与所述旅行场景的三维模型和所述业务对象的三维模型进行第二用户行为交互。
13.根据权利要求12所述的虚拟空间构建方法，其中，
所述第二用户行为链接包括如下项中的至少一项：信息更新链接、会话响应链接和订购响应链接。
14.一种图像处理装置，包括：
图像特征点确定模块，用于确定第一图像中的特征点和第二图像中的特征点，所述第一图像和所述第二图像是通过图像采集设备在不同拍摄点采集的物体对象的全景图像；
图像特征点匹配模块，用于对所述第一图像和所述第二图像进行特征匹配，确定所述第一图像和所述第二图像之间符合特征匹配条件的特征点，构成多个特征点对；
拍摄点位置确定模块，用于利用所述多个特征点对，确定所述图像采集设备在每个拍摄点的运动姿态，根据所述运动姿态，确定所述不同拍摄点的相对位置；
三维模型构建模块，用于基于所述运动姿态、所述不同拍摄点的相对位置和所述多个特征点对，构建所述物体对象的三维模型。
15.一种虚拟空间构建装置，包括：
旅行场景构建模块，用于通过在不同拍摄点采集的旅行场景的全景图像，利用权利要求1所述的图像处理方法，构建所述旅行场景的三维模型；
业务对象构建模块，用于通过在不同拍摄点采集的业务对象的全景图像，利用所述图像处理方法，构建所述业务对象的三维模型；
三维空间构建模块，用于利用所述旅行场景的三维模型和所述业务对象的三维模型，构建虚拟空间的三维模型。
16.一种图像处理***，其特征在于，包括存储器和处理器；
所述存储器用于储存有可执行程序代码；
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至7中任一项所述的图像处理方法。
17.一种虚拟空间构建***，其特征在于，包括存储器和处理器；
所述存储器用于储存有可执行程序代码；
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求8至13中任一项所述的虚拟空间构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811008171.3A CN110874818B (zh) | 2018-08-31 | 2018-08-31 | 图像处理和虚拟空间构建方法、装置、***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811008171.3A CN110874818B (zh) | 2018-08-31 | 2018-08-31 | 图像处理和虚拟空间构建方法、装置、***和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110874818A true CN110874818A (zh) | 2020-03-10 |
| CN110874818B CN110874818B (zh) | 2023-06-23 |
Family
ID=69714844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811008171.3A Active CN110874818B (zh) | 2018-08-31 | 2018-08-31 | 图像处理和虚拟空间构建方法、装置、***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110874818B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111399655A (zh) * | 2020-03-27 | 2020-07-10 | 吴京 | 一种基于vr同步的图像处理方法及装置 |
| CN111402136A (zh) * | 2020-03-19 | 2020-07-10 | 贝壳技术有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN111415386A (zh) * | 2020-03-16 | 2020-07-14 | 贝壳技术有限公司 | 拍摄设备位置提示方法、装置、存储介质及电子设备 |
| CN111915739A (zh) * | 2020-08-13 | 2020-11-10 | 广东申义实业投资有限公司 | 一种实时三维全景信息互动影息*** |
| CN112212477A (zh) * | 2020-09-23 | 2021-01-12 | 北京嘉木科瑞科技有限公司 | 一种AIoT数据中心空调能效智控***及智控方法 |
| CN112634439A (zh) * | 2020-12-25 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN113112610A (zh) * | 2021-03-29 | 2021-07-13 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
| CN114442804A (zh) * | 2021-12-31 | 2022-05-06 | 歌尔光学科技有限公司 | 边界生成方法、装置、头戴显示设备及可读存储介质 |
| CN114494487A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 基于全景图语义拼接的户型图生成方法、设备及存储介质 |
| CN116109807A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市其域创新科技有限公司 | 一种全景slam方法、装置、计算设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080137940A1 (en) * | 2005-02-23 | 2008-06-12 | Aisin Seiki Kabushiki Kaisha | Object Recognition Apparatus and Object Recognition Method Using Epipolar Geometry |
| US20100332427A1 (en) * | 2009-06-25 | 2010-12-30 | Samsung Electronics Co., Ltd. | Data processing apparatus generating motion of 3D model and method |
| JP2012008124A (ja) * | 2010-06-28 | 2012-01-12 | Mitsubishi Electric Research Laboratories Inc | 環境における３次元（３ｄ）オブジェクトの３ｄ姿勢を求めるための方法 |
| CN103971399A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市腾讯计算机***有限公司 | 街景图像过渡方法和装置 |
| CN104680516A (zh) * | 2015-01-08 | 2015-06-03 | 南京邮电大学 | 一种图像优质特征匹配集的获取方法 |
| CN104809719A (zh) * | 2015-04-01 | 2015-07-29 | 华南理工大学 | 基于单应性矩阵分割的虚拟视点合成的方法 |
| CN106845435A (zh) * | 2017-02-10 | 2017-06-13 | 深圳前海大造科技有限公司 | 一种基于实物检测追踪算法的扩增实境技术实现方法 |
| CN107274483A (zh) * | 2017-06-14 | 2017-10-20 | 广东工业大学 | 一种物体三维模型构建方法 |
| CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
| CN107843251A (zh) * | 2017-10-18 | 2018-03-27 | 广东宝乐机器人股份有限公司 | 移动机器人的位姿估计方法 |
| CN108257089A (zh) * | 2018-01-12 | 2018-07-06 | 北京航空航天大学 | 一种基于迭代最近点的大视场视频全景图拼接的方法 |
-
2018
- 2018-08-31 CN CN201811008171.3A patent/CN110874818B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080137940A1 (en) * | 2005-02-23 | 2008-06-12 | Aisin Seiki Kabushiki Kaisha | Object Recognition Apparatus and Object Recognition Method Using Epipolar Geometry |
| US20100332427A1 (en) * | 2009-06-25 | 2010-12-30 | Samsung Electronics Co., Ltd. | Data processing apparatus generating motion of 3D model and method |
| JP2012008124A (ja) * | 2010-06-28 | 2012-01-12 | Mitsubishi Electric Research Laboratories Inc | 環境における３次元（３ｄ）オブジェクトの３ｄ姿勢を求めるための方法 |
| CN103971399A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市腾讯计算机***有限公司 | 街景图像过渡方法和装置 |
| CN104680516A (zh) * | 2015-01-08 | 2015-06-03 | 南京邮电大学 | 一种图像优质特征匹配集的获取方法 |
| CN104809719A (zh) * | 2015-04-01 | 2015-07-29 | 华南理工大学 | 基于单应性矩阵分割的虚拟视点合成的方法 |
| CN106845435A (zh) * | 2017-02-10 | 2017-06-13 | 深圳前海大造科技有限公司 | 一种基于实物检测追踪算法的扩增实境技术实现方法 |
| CN107274483A (zh) * | 2017-06-14 | 2017-10-20 | 广东工业大学 | 一种物体三维模型构建方法 |
| CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
| CN107843251A (zh) * | 2017-10-18 | 2018-03-27 | 广东宝乐机器人股份有限公司 | 移动机器人的位姿估计方法 |
| CN108257089A (zh) * | 2018-01-12 | 2018-07-06 | 北京航空航天大学 | 一种基于迭代最近点的大视场视频全景图拼接的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王彦霞;王震洲;刘教民;: "基于双目立体视觉的三维建模算法" * |
| 韩松;潘纲;傅俊康;张宇霆;: "GPU加速的三维人脸真实表情合成" * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415386A (zh) * | 2020-03-16 | 2020-07-14 | 贝壳技术有限公司 | 拍摄设备位置提示方法、装置、存储介质及电子设备 |
| CN111415386B (zh) * | 2020-03-16 | 2023-05-26 | 如你所视(北京)科技有限公司 | 拍摄设备位置提示方法、装置、存储介质及电子设备 |
| CN111402136A (zh) * | 2020-03-19 | 2020-07-10 | 贝壳技术有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN111402136B (zh) * | 2020-03-19 | 2023-12-15 | 如你所视(北京)科技有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN111399655A (zh) * | 2020-03-27 | 2020-07-10 | 吴京 | 一种基于vr同步的图像处理方法及装置 |
| CN111399655B (zh) * | 2020-03-27 | 2024-04-26 | 吴京 | 一种基于vr同步的图像处理方法及装置 |
| CN111915739A (zh) * | 2020-08-13 | 2020-11-10 | 广东申义实业投资有限公司 | 一种实时三维全景信息互动影息*** |
| CN112212477A (zh) * | 2020-09-23 | 2021-01-12 | 北京嘉木科瑞科技有限公司 | 一种AIoT数据中心空调能效智控***及智控方法 |
| CN112634439B (zh) * | 2020-12-25 | 2023-10-31 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN112634439A (zh) * | 2020-12-25 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN113112610A (zh) * | 2021-03-29 | 2021-07-13 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
| CN113112610B (zh) * | 2021-03-29 | 2024-05-28 | 联想(北京)有限公司 | 一种信息处理方法、装置和电子设备 |
| CN114494487A (zh) * | 2021-12-30 | 2022-05-13 | 北京城市网邻信息技术有限公司 | 基于全景图语义拼接的户型图生成方法、设备及存储介质 |
| CN114494487B (zh) * | 2021-12-30 | 2022-11-22 | 北京城市网邻信息技术有限公司 | 基于全景图语义拼接的户型图生成方法、设备及存储介质 |
| CN114442804A (zh) * | 2021-12-31 | 2022-05-06 | 歌尔光学科技有限公司 | 边界生成方法、装置、头戴显示设备及可读存储介质 |
| CN116109807B (zh) * | 2023-04-11 | 2023-06-09 | 深圳市其域创新科技有限公司 | 一种全景slam方法、装置、计算设备及存储介质 |
| CN116109807A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市其域创新科技有限公司 | 一种全景slam方法、装置、计算设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110874818B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874818B (zh) | 图像处理和虚拟空间构建方法、装置、***和存储介质 | |
| US11217019B2 (en) | Presenting image transition sequences between viewing locations | |
| WO2021036353A1 (zh) | 基于拍照的3d建模***及方法、自动3d建模装置及方法 | |
| CN109658365B (zh) | 图像处理方法、装置、***和存储介质 | |
| KR102227583B1 (ko) | 딥 러닝 기반의 카메라 캘리브레이션 방법 및 장치 | |
| US9697869B2 (en) | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures | |
| CN109525674B (zh) | 一种制作房屋全景图的***和方法 | |
| US11657085B1 (en) | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures | |
| Fangi et al. | Improving spherical photogrammetry using 360 omni-cameras: Use cases and new applications | |
| JP2022501684A (ja) | 撮影に基づく３ｄモデリングシステムおよび方法、自動３ｄモデリング装置および方法 | |
| JP2010109783A (ja) | 電子カメラ | |
| KR102435185B1 (ko) | 360°vr촬영 기반의 3차원 이미지 생성 및 360°vr 콘텐츠 서비스 제공 방법 | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN116051747A (zh) | 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质 | |
| CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| US7126603B2 (en) | Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images | |
| JP2004110459A (ja) | ３次元モデル空間生成装置、３次元モデル空間生成方法、３次元モデル空間生成プログラム、及びコンテンツ送信サーバ | |
| CN113436311A (zh) | 一种户型图生成方法及其装置 | |
| CN113298928A (zh) | 房屋三维重建方法、装置、设备和存储介质 | |
| Koeva | 3D modelling and interactive web-based visualization of cultural heritage objects | |
| CN113487723A (zh) | 基于可量测全景三维模型的房屋在线展示方法及*** | |
| CN113838116A (zh) | 确定目标视图的方法、装置、电子设备及存储介质 | |
| Nyland et al. | Capturing, processing, and rendering real-world scenes | |
| KR101724676B1 (ko) | 인터랙티브 파노라마 vr 기반의 장소 정보 기록 시스템 | |
| CN110047035B (zh) | 全景视频热点交互***及交互设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40025541 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |