CN111768446A - 一种室内全景影像逆向建模融合方法 - Google Patents
一种室内全景影像逆向建模融合方法 Download PDFInfo
- Publication number
- CN111768446A CN111768446A CN202010567066.4A CN202010567066A CN111768446A CN 111768446 A CN111768446 A CN 111768446A CN 202010567066 A CN202010567066 A CN 202010567066A CN 111768446 A CN111768446 A CN 111768446A
- Authority
- CN
- China
- Prior art keywords
- indoor
- point
- model
- space
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种室内全景影像逆向建模融合方法,包括以下步骤,S1:在室内不同位置点设置相机,对室内进行拍摄得到全景图像并构建相机成像球面投影模型;S2:选取室内地面的第一特征点,并计算第一特征点在相机成像球面投影模型中的空间坐标;S3:选取第一特征点垂直线上的第二特征点,并计算第二特征点在相机成像球面投影模型中的的空间坐标;S4:基于室内空间的几何规则性,利用特征点的空间坐标进行室内对应位置点的空间模型构面;S5:统一室内不同位置点的空间模型的坐标系并进行拼接,得到室内全景空间模型。本发明采用全景特征点还原室内空间模型,将极大缩减构建模型所需的数据量,处理速度快,易于网络发布。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种室内全景影像逆向建模融合方法。
背景技术
深度全景技术是目前虚拟现实技术领域热门研究方向,它的目标是构建真实世界对象的数字化表示,并在设备上显示出来,该技术将三维重建技术与全景技术结合起来,在全景中加入深度信息,能给人身临其境的感受。深度全景相较于传统全景,具有深度信息,可展现立体空间结构;在此基础上,支持深度数据应用,例如量测、模拟人的行走、AR/VR应用,为数字城市提供数据支撑。前景十分广阔。目前国内外已有谷歌、腾讯、贝壳如视、白犀牛等厂商提供了深度全景技术方案。深度全景技术进入发展的黄金期,以深度全景技术为基础的应用产品,发展前景有着很大的想象空间。
然而,国内外现有深度全景技术研究主要集中在使用深度相机采集RGB-D数据,使用深度数据进行三维建模,然后将彩色影像作为纹理映射到模型上,该方法需要密集采集作业空间的RGB-D数据,即想要获得效果比较好的全景模型,需要非常大的数据量,导致数据处理时对计算机的处理性能要求较高,处理较慢,不具普遍适用型,且模型有锯齿和空洞产生;另外也有使用倾斜摄影技术采用双目测量方法对深度数据进行获取,该方法也需要连续拍摄大量重叠图片,与深度相机建模方法有着相同的缺陷。
发明内容
针对现有技术中构建室内深度全景图像低精度和低速度的问题,本发明提出一种室内全景影像逆向建模融合方法,基于室内空间几何规则性,采用定点旋转拍摄空间一周的图片,数据量小,处理速度快,无空洞和锯齿产生,可展现完美的模型效果。
为了实现上述目的,本发明提供以下技术方案:
一种室内全景影像逆向建模融合方法,具体包括以下步骤:
S1:在室内不同位置点设置相机,对室内进行拍摄得到全景图像并构建相机成像球面投影模型;
S2:选取室内地面的第一特征点,并计算第一特征点在相机成像球面投影模型中的空间坐标;
S3:选取第一特征点垂直线上的第二特征点,并计算第二特征点在相机成像球面投影模型中的的空间坐标;
S4:重复步骤S2、S3,直至计算出室内空间立面所有特征点,基于室内空间的几何规则性,对室内空间中每一个立面,顺次连接其特征点完成构面,实现室内不同位置点的空间模型构建;
S5:统一室内不同位置点的空间模型的坐标系并进行拼接,得到室内全景空间模型。
优选的,还包括:
S6:在室内全景空间模型中,将全景照片作为纹理,根据特征点的空间坐标,依据视点位置动态映射到室内全景空间模型上;同时,在单位置点的空间模型中,以室内全景空间模型为支撑,对单位置点的球面模型上任意点,动态计算对应点的深度数据。
优选的,所述相机成像球面投影模型的建立为:
以全景图像的球心O点为原点建立空间直角坐标系,经过原点与室内地面垂直的轴为Y轴;经过球心与室内地面平行的轴为Z轴;经过球心与室内地面平行且与Z轴垂直的轴为X轴;
则模型上任意一点P(x,y,z)的空间坐标为:
优选的,第一特征点P2′的空间坐标计算公式为:
优选的,第二特征点P1′的空间坐标计算公式为:
优选的,统一室内不同位置点的空间模型的坐标系的方法为:
S5-1:在室内不同位置点的空间模型中,任意选择一个位置点的空间模型作为锚定场景,从锚定场景的相邻场景开始,将相邻场景的模型通过同名点变换到锚定场景,然后将该相邻场景和锚定场景作为一个整体;
S5-2:重复步骤S5-1,直至所有位置点的空间模型转换到同一坐标系为止。
优选的,对室内全景空间模型中被遮挡的位置或变形的位置进行修正。
优选的,所述S6具体包括:在每一个位置点的室内空间球面投影模型中,相机成像球面模型上任一特征点的空间坐标为Pi(xi,yi,zi),其对应的室内全景空间模型坐标为Pi′(xi′,yi′,zi′),在模型视点及视角变化过程中,对模型的每一个面完成特征点的映射,从而实现由特征点所组成的纹理向模型面的动态映射。
优选的,动态计算点的深度数据包括:
单位置点的空间模型中选取任意点P,视点O与点P连线的延长线与室内全景空间模型相交于点P′(xP′,yP′,zP′),
取点p′所在的室内空间模型面中任意三个特征点P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),即点p′与p1,p2,p3共面,则法向量表示特征点P1和P2的向量,表示特征点P1和P3的向量,表示特征点P1到P′的向量,因此可得到η·(xp′-x1,yp′-y1,zp′-z1)=0;
则点p的深度值dp′为:
A=(x1 y1 z1),
综上所述,由于采用了上述技术方案,与现有技术相比,本发明至少具有以下有益效果:
本发明采用全景特征点还原室内空间模型,可极大缩减构建模型所需数据量,数据存储量小,处理速度快,易于网络发布。突破传统全景视觉空间感限制,将深度数据融入全景,可立体展现室内空间结构,可进行测量,室内设计等。将多场景模型相互融合,构建统一坐标系,可展现大场景结构,为数字城市、室内导航、VR/AR等应用场景提供基础数据。
附图说明:
图1为根据本发明示例性实施例的一种室内全景影像逆向建模融合方法流程示意图。
图2为根据本发明示例性实施例的相机成像球面投影模型示意图。
具体实施方式
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例,凡基于本发明内容所实现的技术均属于本发明的范围。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,本发明提供一种室内全景影像逆向建模融合方法,具体包括以下步骤:
S1:将全景相机设置在室内,对室内进行拍摄得到若干张全景图像,并建立坐标系以构建相机成像球面投影模型。
本实施例中,将全景相机垂直于地面设置在室内不同的位置点,设置完成后,分别对室内进行全景拍摄得到全景图像数据,构建相机成像球面投影模型。
相机成像球面投影模型的建立为:
全景相机拍摄的图像为球面图像,球面图像的半径为全景相机的焦距,因此以球体中心0为原点建立空间直角坐标系(右手系)。经过球心与室内地面垂直的轴为Y轴,方向向上;经过球心与室内地面平行的轴为Z轴,方向向右;经过球心与室内地面平行且与Z轴垂直的轴为X轴,X轴、Y轴和Z轴互相垂直。
则球面图像上任意一点P(x,y,z)的空间坐标为:
S2:计算室内地面的第一特征点在构建的相机成像球面投影模型中的空间坐标。
本实施例中,在室内地面上选取一个点作为第一特征点,以进行相机成像球面投影模型的建立,第一特征点应选取室内空间中易于识别的立面变化处的角点,如墙角、门角、墙柱角、等角点。
如图2所示为构建的相机成像球面投影模型。P2′表示室内空间中地面上的第一特征点,P2表示P2′在相机成像球面模型上的成像点,相机的高度即球心O到室内地面的垂直距离为h,则
则结合公式(1)和公式(2)可得到P2′(xP2′,yP2′,zP2′)在相机成像球面投影模型的空间坐标:
S3:选取地面的第一特征点垂直线上的第二特征点,并计算第二特征点的空间坐标。
本实施例中,垂直线为经过地面的第一特征点且与地面垂直的线,并在垂直线上选取一个点作为第二特征点,第二特征点应为室内空间中易于识别的立面上部的角点,如墙角、门角、墙柱角等角点。如图2所示,在垂直线上选取第二特征点P1′,P1表示P1′在相机成像球面模型上的成像点,则
则结合公式(1)和公式(4)可得到P1′(xP1′,yP1′,zP1′)在相机成像球面投影模型的空间坐标:
S4:重复步骤S2、S3,直至计算出室内空间立面所有特征点的空间坐标,基于室内空间的几何规则性(墙体及其附属设施立面与地面成正交关系),对室内空间中每一个立面,顺次连接其特征点完成构面,实现室内不同位置点的空间模型构建。
S5:统一室内不同位置点的空间模型的坐标系,以使不同的空间模型拼接合成一个整体,得到室内全景空间模型。
本实施例中,室内不同位置点的空间模型选取的坐标系Z轴方向可能不一致以及球面坐标系之间存在位置的平移,在室内不同位置点的空间模型构建完成后,需要为各模型统一坐标系,以使场景合成一个整体,立体展现室内空间结构。
本实施例中,在室内不同位置点的空间模型中,任意选择一个位置点的空间模型作为锚定场景,从锚定场景的相邻场景开始,将相邻场景的模型通过同名点变换到锚定场景,然后将该相邻场景和锚定场景作为一个整体,再次对相邻场景进行变换,直至所有场景的空间模型转换到统一坐标系。与此同时球面全景坐标系同时变换。
由于透视关系,导致有些点被遮挡,对于这种情况,需要结合相邻场景模型和根据透视关系对其进行修正。
各相邻场景通视,导致离视点较远的位置模型变形,对于这种情形,需要以变形位置较近位置的模型作为参考进行修正。
S6:在室内全景空间模型中,将全景照片作为纹理,根据特征点的空间坐标,依据视点位置动态映射到室内全景空间模型上。
在每一个视点(位置点)位置的室内空间球面投影模型中,设相机成像球面模型上任一特征点的空间坐标为Pi(xi,yi,zi),其对应的室内全景空间模型坐标Pi′(xi′,yi′,zi′),在模型视点及视角变化过程中,对模型的每一个面完成特征点的映射,从而实现由特征点所组成的纹理向模型面的动态映射。
同时,在单位置点的空间模型中,以室内全景空间模型为支撑,对单位置点的球面模型上任意点,基于上述方法生成的室内空间模型,根据相机透视模型原理,动态计算对应点的深度数据。
本实施例中,设单位置点的球面全景(空间模型)中任意点P,视点O与点P连线的延长线与室内全景空间模型相交于点P′(xP′,yP′,zP′),取p′所在的室内空间模型面中任意三个特征点pi(xi,yi,zi)(i∈{1,2,3}),即P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),则上述室内空间模型面的法向量表示特征点P1和P2的向量,表示特征点P1和P3的向量,则
公式(6)中,η表示室内空间模型面的法向量,m、n、k表示法向量的参数。
η·(xp′-x1,yp′-y1,zp′-z1)=0 (7)
根据公式(1)可得点P′(xP′,yP′,zP′)的空间坐标为:
则根据公式(7)、公式(8)即可求得P点的深度:
A=(x1 y1 z1),
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。
Claims (9)
1.一种室内全景影像逆向建模融合方法,其特征在于,具体包括以下步骤:
S1:在室内不同位置点设置相机,对室内进行拍摄得到全景图像并构建相机成像球面投影模型;
S2:选取室内地面的第一特征点,并计算第一特征点在相机成像球面投影模型中的空间坐标;
S3:选取第一特征点垂直线上的第二特征点,并计算第二特征点在相机成像球面投影模型中的的空间坐标;
S4:重复步骤S2、S3,直至计算出室内空间立面所有特征点,基于室内空间的几何规则性,对室内空间中每一个立面,顺次连接其特征点完成构面,实现室内不同位置点的空间模型构建;
S5:统一室内不同位置点的空间模型的坐标系并进行拼接,得到室内全景空间模型。
2.如权利要求1所述的一种室内全景影像逆向建模融合方法,其特征在于,还包括:
S6:在室内全景空间模型中,将全景照片作为纹理,根据特征点的空间坐标,依据视点位置动态映射到室内全景空间模型上;同时,在单位置点的空间模型中,以室内全景空间模型为支撑,对单位置点的球面模型上任意点,动态计算对应点的深度数据。
6.如权利要求1所述的一种室内全景影像逆向建模融合方法,其特征在于,统一室内不同位置点的空间模型的坐标系的方法为:
S5-1:在室内不同位置点的空间模型中,任意选择一个位置点的空间模型作为锚定场景,从锚定场景的相邻场景开始,将相邻场景的模型通过同名点变换到锚定场景,然后将该相邻场景和锚定场景作为一个整体;
S5-2:重复步骤S5-1,直至所有位置点的空间模型转换到同一坐标系为止。
7.如权利要求1所述的一种室内全景影像逆向建模融合方法,其特征在于,对室内全景空间模型中被遮挡的位置或变形的位置进行修正。
9.如权利要求2所述的一种室内全景影像逆向建模融合方法,其特征在于,动态计算点的深度数据包括:
单位置点的空间模型中选取任意点P,视点O与点P连线的延长线与室内全景空间模型相交于点P′(xP′,yP′,zP′),
取点p′所在的室内空间模型面中任意三个特征点P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),即点p′与p1,p2,p3共面,则法向量 表示特征点P1和P2的向量,表示特征点P1和P3的向量,表示特征点P1到P′的向量,因此可得到η·(xp′-x1,yp′-y1,zp′-z1)=0;
则点p的深度值dp′为:
A=(x1 y1 z1),
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010567066.4A CN111768446B (zh) | 2020-06-19 | 2020-06-19 | 一种室内全景影像逆向建模融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010567066.4A CN111768446B (zh) | 2020-06-19 | 2020-06-19 | 一种室内全景影像逆向建模融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111768446A true CN111768446A (zh) | 2020-10-13 |
CN111768446B CN111768446B (zh) | 2023-08-11 |
Family
ID=72721408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010567066.4A Active CN111768446B (zh) | 2020-06-19 | 2020-06-19 | 一种室内全景影像逆向建模融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111768446B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165407B1 (en) * | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
CN104333675A (zh) * | 2014-10-20 | 2015-02-04 | 长春理工大学 | 一种基于球面投影的全景电子稳像方法 |
CN104463956A (zh) * | 2014-11-21 | 2015-03-25 | 中国科学院国家天文台 | 一种月表虚拟场景构建方法及装置 |
CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
CN105303521A (zh) * | 2015-10-16 | 2016-02-03 | 重庆市勘测院 | 一种天地及室内外全景自动关联分析方法 |
CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
CN109115186A (zh) * | 2018-09-03 | 2019-01-01 | 山东科技大学 | 一种针对车载移动测量***的360°可量测全景影像生成方法 |
-
2020
- 2020-06-19 CN CN202010567066.4A patent/CN111768446B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165407B1 (en) * | 2006-10-06 | 2012-04-24 | Hrl Laboratories, Llc | Visual attention and object recognition system |
CN104333675A (zh) * | 2014-10-20 | 2015-02-04 | 长春理工大学 | 一种基于球面投影的全景电子稳像方法 |
CN104463956A (zh) * | 2014-11-21 | 2015-03-25 | 中国科学院国家天文台 | 一种月表虚拟场景构建方法及装置 |
CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
CN105208247A (zh) * | 2015-09-02 | 2015-12-30 | 长春理工大学 | 一种基于四元数的全景稳像方法 |
CN105303521A (zh) * | 2015-10-16 | 2016-02-03 | 重庆市勘测院 | 一种天地及室内外全景自动关联分析方法 |
CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
CN109115186A (zh) * | 2018-09-03 | 2019-01-01 | 山东科技大学 | 一种针对车载移动测量***的360°可量测全景影像生成方法 |
Non-Patent Citations (4)
Title |
---|
YUMENG XIA等: "Blind Panoramic Image Quality Assessment via the Asymmetric Mechanism of Human Brain", pages 1 - 4 * |
冉飞鹏等: "基于球面全景影像的矿山场景三维重建", vol. 47, no. 1, pages 44 - 48 * |
孟斌;姚连璧;: "组合式全景相机成像模型的标定与分析", no. 06, pages 19 - 22 * |
明镜等: "基于三维全景技术的高速公路设施采集与管理", no. 3, pages 5 - 11 * |
Also Published As
Publication number | Publication date |
---|---|
CN111768446B (zh) | 2023-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11200734B2 (en) | Method for reconstructing three-dimensional space scene based on photographing | |
Szeliski et al. | Creating full view panoramic image mosaics and environment maps | |
CN109658365B (zh) | 图像处理方法、装置、***和存储介质 | |
WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
Shum et al. | Panoramic image mosaics | |
CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
KR101323966B1 (ko) | 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법 | |
CN110490916A (zh) | 三维对象建模方法与设备、图像处理装置及介质 | |
CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和*** | |
CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
CN105809729B (zh) | 一种虚拟场景的球形全景渲染方法 | |
JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
Mahdy et al. | Projector calibration using passive stereo and triangulation | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
KR20000011022A (ko) | 화상 합성 장치 및 방법,위치 검출 장치 및 방법, 및공급 매체 | |
JP2000076488A (ja) | 3次元仮想空間表示装置及びテクスチャオブジェクト設定情報作成装置 | |
JP2017194857A (ja) | 自由視点映像表示装置 | |
CN111768446B (zh) | 一种室内全景影像逆向建模融合方法 | |
CN114663599A (zh) | 一种基于多视图的人体表面重建方法及*** | |
CN111325662A (zh) | 一种基于球面投影全景图生成3d空间户型模型的方法 | |
CN114463520A (zh) | 一种实现虚拟现实vr漫游的方法及装置 | |
Shimamura et al. | Construction and presentation of a virtual environment using panoramic stereo images of a real scene and computer graphics models | |
Popescu et al. | The modelcamera | |
CN108986183A (zh) | 一种全景地图的制作方法 | |
Siu et al. | Modeling and rendering of walkthrough environments with panoramic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |