CN109631850B - 一种基于深度学习的倾斜摄像相对定位方法 - Google Patents
一种基于深度学习的倾斜摄像相对定位方法 Download PDFInfo
- Publication number
- CN109631850B CN109631850B CN201910005046.5A CN201910005046A CN109631850B CN 109631850 B CN109631850 B CN 109631850B CN 201910005046 A CN201910005046 A CN 201910005046A CN 109631850 B CN109631850 B CN 109631850B
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- relative orientation
- matrix
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的倾斜摄像相对定位方法,涉及倾斜摄像相对定位方法领域;其包括步骤1:对采集的数据进行预处理后,将其分为训练数据和测试数据;步骤2:通过训练数据建立基础矩阵后,对基础矩阵进行降秩约束求解相对方位元素初始值;步骤3:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为输出数据,通过设定的迭代条件获取相对方位元素终值,完成训练;步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值;本发明避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点,达到了精确获取相对方位元素,提高相对定位精度的效果。
Description
技术领域
本发明涉及倾斜摄像相对定位方法领域,尤其是一种基于深度学习的倾斜摄像相对定位方法。
背景技术
倾斜摄影技术是国际摄影测量领域近十几年发展起来的一倾斜摄影项高新技术,该技术通过从一个垂直视角和四个倾斜视角同步采集影像,获取到丰富的建筑物顶面及侧视的高分辨率纹理。它不仅能够真实地反映地物情况,高精度地获取物方纹理信息,还可通过先进的定位、融合、建模等技术,生成真实的三维城市模型。倾斜摄像对的相对定向既是检查影像量测质量的重要手段,又是目标三维重建的必要前提,是摄影测量和计算机视觉中最基本的问题之一;其中,倾斜摄影测量数据后续处理中,存在相对姿态较大、相对位置任意的影像的相对定向问题。
传统摄影测量的相对定向方法,因其相对姿态小,相对位置固定,而采用0值等的经验值作为初值,进行最小二乘迭代求解,这种方式显然不适用于解决倾斜影像的相对定向问题。在计算机视觉领域,相对定向问题可描述为根据对同一场景的两幅不同视角的影像来恢复摄影瞬间两相机间的相对位置与姿态,即通过一个旋转矩阵和一个平移向量来描述其中一张影像的摄像机坐标系在另一张影像的摄像机坐标系中的方位和位置。
当前,相关计算机视觉领域学者发现两影像摄影瞬间对应的摄像机坐标系的相对位置与姿态信息包含于本质矩阵中,通过基于本质矩阵的奇异值分解实现相对定向,值得注意的是,基于本质矩阵分解法虽可以恢复得到相对姿态较大情况下的相对位置与姿态解,但存在以下问题:计算机视觉与摄影测量领域在各自相对定向过程中对两影像相互位置关系描述十分接近但并非不完全一致,由计算机视觉中基于本质矩阵分解得到的相对定向结果必须转换为摄影测量中对应的相对定向元素,才能将其应用于解决倾斜影像的相对定向问题;但因为解算结果精度不高,导致转换准确率低,从而导致定向精度低。
发明内容
本发明的目的在于:本发明提供了一种基于深度学习的倾斜摄像相对定位方法,解决了现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的问题。
本发明采用的技术方案如下:
一种基于深度学习的倾斜摄像相对定位方法,包括如下步骤:
步骤1:对采集的数据进行预处理后,将其分为训练数据和测试数据;
步骤2:通过训练数据建立基础矩阵后,对基础矩阵进行降秩约束求解相对方位元素初始值;
步骤3:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,通过设定的迭代条件获取相对方位元素终值,完成深度学习神经网络的训练;
步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值,完成相对定位。
优选地,所述步骤1包括如下步骤:
步骤1.1:设定阈值,根据阈值筛选并删除最值,所述最值包括最小值和最大值;
步骤1.2:将去除最值后的数据按比例分为训练数据和测试数据,所述比例为6:4或者7:3。
优选地,所述步骤2包括如下步骤:
步骤2.1:根据训练数据中的立体像对建立基础矩阵F,立体像对包括左像片和右像片,左像片和右像片上包括多个同名像点,建立方程如下:
其中,F表示两幅影像间的基础矩阵,B表示摄影基线向量,B[×]表示向量B的叉乘矩阵,m1,m2表示同名像点的像空间辅助坐标,[BX BY BZ]表示摄影基线向量,同名像点应满足共面条件Q:
其中:
m1=K1p1,m2=RK2p2
因此共面条件可变形为:
其中,ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度;R为右影像相对左影像的正交变换矩阵,p1,p2表示同名像点在立体像对左右影像上的齐次坐标,(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标;
步骤2.2:对基础矩阵F进行降秩约束,计算包括如下步骤:
(a):根据旋转矩阵R建立3个约束方程:
(b):考虑旋转矩阵的正交特性,获得以下公式:
(c):结合步骤(a)和(b)求解e1-e9,根据转角***获取相对方位元素初始值。
优选地,所述步骤3包括如下步骤:
步骤3.1:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,进行首次学习;
步骤3.2:判断首次学习获取的映射结果是否大于设定的限差,若大于,则继续学习;若小于,则完成训练。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.本发明通过深度学习神经网络获取基础矩阵和相对方位矩阵之间的映射关系,利用限差进行迭代计算,获取更精确的基础矩阵和相对方位矩阵之间的映射关系,避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点,达到了精确获取相对方位元素,提高相对定位精度的效果;
2.本发明通过深度学习网络学习基础矩阵和相对方位矩阵的映射关系,避免现有方法需要重复、繁杂推算的缺点,达到了高效定位的效果。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本发明的方法流程图;
图2是本发明的测试数据表。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
下面结合图1-2对本发明作详细说明。
技术问题:解决了现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的问题;
技术手段:一种基于深度学习的倾斜摄像相对定位方法,包括如下步骤:
步骤1:对采集的数据进行预处理后,将其分为训练数据和测试数据;
步骤2:通过训练数据建立基础矩阵后,对基础矩阵进行降秩约束求解相对方位元素初始值;
步骤3:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,通过设定的迭代条件获取相对方位元素终值,完成深度学习神经网络的训练;
步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值,完成相对定位。
优选地,所述步骤1包括如下步骤:
步骤1.1:设定阈值,根据阈值筛选并删除最值,所述最值包括最小值和最大值;
步骤1.2:将去除最值后的数据按比例分为训练数据和测试数据,所述比例为6:4或者7:3。
优选地,所述步骤2包括如下步骤:
步骤2.1:根据训练数据中的立体像对建立基础矩阵F,立体像对包括左像片和右像片,左像片和右像片上包括多个同名像点,建立方程如下:
其中,F表示两幅影像间的基础矩阵,B表示摄影基线向量,B[×]表示向量B的叉乘矩阵,m1,m2表示同名像点的像空间辅助坐标,[BX BY BZ]表示摄影基线向量,同名像点应满足共面条件Q:
其中:
m1=K1p1,m2=RK2p2
因此共面条件可变形为:
其中,ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度;R为右影像相对左影像的正交变换矩阵,p1,p2表示同名像点在立体像对左右影像上的齐次坐标,(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标;
步骤2.2:对基础矩阵F进行降秩约束,计算包括如下步骤:
(a):根据旋转矩阵R建立3个约束方程:
(b):考虑旋转矩阵的正交特性,获得以下公式:
(c):结合步骤(a)和(b)求解e1-e9,根据转角***获取相对方位元素初始值。
优选地,所述步骤3包括如下步骤:
步骤3.1:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,进行首次学习;
步骤3.2:判断首次学习获取的映射结果是否大于设定的限差,若大于,则继续学习;若小于,则完成训练。
技术效果:本发明通过深度学习神经网络获取基础矩阵和相对方位矩阵之间的映射关系,利用限差进行迭代计算,获取更精确的基础矩阵和相对方位矩阵之间的映射关系,避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点,达到了精确获取相对方位元素,提高相对定位精度的效果;通过深度学习网络学习基础矩阵和相对方位矩阵的映射关系,避免现有方法需要重复、繁杂推算的缺点,达到了高效定位的效果。
实施例1
一种基于深度学习的倾斜摄像相对定位方法,包括如下步骤:
步骤1:对采集的数据进行预处理后,将其分为训练数据和测试数据;
步骤2:通过训练数据建立基础矩阵后,对基础矩阵进行降秩约束求解相对方位元素初始值;
步骤3:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,通过设定的迭代条件获取相对方位元素终值,完成深度学习神经网络的训练;
步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值,完成相对定位。
测试10个立体像对,其的相对定向结果如图2所示,本方法完全适用于倾斜摄像的大倾角航摄影像对的相对定向,由于影像倾角大,影像间的旋偏角也大,现有的相对定向方法并不能准确定向,本方法对相对定向达到了正负1/3像素的精度,大大提高了相对定向的精度。综上,本发明通过深度学习网络获取基础矩阵和相对方位矩阵之间的关系,利用限差进行迭代计算,获取更精确的基础矩阵和相对方位矩阵之间的映射关系,避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点,达到了精确获取相对方位元素,提高相对定位精度的效果。
实施例2
基于实施例1,步骤1包括如下步骤:
步骤1.1:设定阈值,根据阈值筛选并删除最值,所述最值包括最小值和最大值;
步骤1.2:将去除最值后的数据按比例分为训练数据和测试数据,所述比例为6:4或者7:3。
步骤2包括如下步骤:
步骤2.1:根据训练数据中的立体像对建立基础矩阵F,立体像对包括左像片和右像片,左像片和右像片上包括多个同名像点,建立方程如下:
其中,F表示两幅影像间的基础矩阵,B表示摄影基线向量,B[×]表示向量B的叉乘矩阵,m1,m2表示同名像点的像空间辅助坐标,[BX BY BZ]表示摄影基线向量,同名像点应满足共面条件Q:
其中:
m1=K1p1,m2=RK2p2
因此共面条件可变形为:
其中,ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度;R为右影像相对左影像的正交变换矩阵,p1,p2表示同名像点在立体像对左右影像上的齐次坐标,(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标;
步骤2.2:对基础矩阵F进行降秩约束,计算包括如下步骤:
(a):根据旋转矩阵R建立3个约束方程:
(b):考虑旋转矩阵的正交特性,获得以下公式:
(c):结合步骤(a)和(b)求解e1-e9,根据转角***获取相对方位元素初始值:
步骤3包括如下步骤:
步骤3.1:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,进行首次学习;
步骤3.2:判断首次学习获取的映射结果是否大于设定的限差,若大于,则继续学习;若小于,则完成训练;
步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值,完成相对定位。
本发明通过基础矩阵和相对方位矩阵的初步计算后,将初步计算结果使用深度学习神经网络去迭代,降低误差,提高计算精度的同时提高定位计算速度,避免现有方法需要重复、繁杂推算的缺点,达到了高效、准确定位的效果。
Claims (3)
1.一种基于深度学习的倾斜摄像相对定位方法,其特征在于:包括如下步骤:
步骤1:对采集的数据进行预处理后,将其分为训练数据和测试数据;
步骤2:通过训练数据建立基础矩阵后,对基础矩阵进行降秩约束求解相对方位元素初始值;
步骤2.1:根据训练数据中的立体像对建立基础矩阵F,立体像对包括左像片和右像片,左像片和右像片上包括多个同名像点,建立方程如下:
其中,F表示两幅影像间的基础矩阵,B表示摄影基线向量,B[×]表示向量B的叉乘矩阵,m1,m2表示同名像点的像空间辅助坐标,[BX BY BZ]表示摄影基线向量,同名像点应满足共面条件Q:
其中:
m1=K1p1,m2=RK2p2
因此共面条件可变形为:
其中,ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度;R为右影像相对左影像的正交变换矩阵,p1,p2表示同名像点在立体像对左右影像上的齐次坐标,(x1 y1)、(x2y2)表示同名像点在左、右影像上的像素坐标;
步骤2.2:对基础矩阵F进行降秩约束,计算包括如下步骤:
(a):根据旋转矩阵R建立3个约束方程:
(b):考虑旋转矩阵的正交特性,获得以下公式:
(c):结合步骤(a)和(b)求解e1-e9,根据转角***获取相对方位元素初始值;
步骤3:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,通过设定的迭代条件获取相对方位元素终值,完成深度学习神经网络的训练;
步骤4:将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值,完成相对定位。
2.根据权利要求1所述的一种基于深度学习的倾斜摄像相对定位方法,其特征在于:所述步骤1包括如下步骤:
步骤1.1:设定阈值,根据阈值筛选并删除最值,所述最值包括最小值和最大值;
步骤1.2:将去除最值后的数据按比例分为训练数据和测试数据,所述比例为6:4或者7:3。
3.根据权利要求1所述的一种基于深度学习的倾斜摄像相对定位方法,其特征在于:所述步骤3包括如下步骤:
步骤3.1:将基础矩阵作为已建立的深度学习神经网络的输入数据,相对方位元素初始值作为已建立的深度学习神经网络的输出数据,进行首次学习;
步骤3.2:判断首次学习获取的映射结果是否大于设定的限差,若大于,则继续学习;若小于,则完成训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005046.5A CN109631850B (zh) | 2019-01-03 | 2019-01-03 | 一种基于深度学习的倾斜摄像相对定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910005046.5A CN109631850B (zh) | 2019-01-03 | 2019-01-03 | 一种基于深度学习的倾斜摄像相对定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109631850A CN109631850A (zh) | 2019-04-16 |
CN109631850B true CN109631850B (zh) | 2021-01-01 |
Family
ID=66056524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910005046.5A Active CN109631850B (zh) | 2019-01-03 | 2019-01-03 | 一种基于深度学习的倾斜摄像相对定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109631850B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949925B (zh) * | 2020-06-30 | 2023-08-29 | 中国资源卫星应用中心 | 基于罗德里格矩阵和最大凸包的影像相对定向方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2524802B (en) * | 2014-04-03 | 2018-11-07 | Nokia Technologies Oy | A magnetometer apparatus and associated methods |
US9865061B2 (en) * | 2014-06-19 | 2018-01-09 | Tata Consultancy Services Limited | Constructing a 3D structure |
CN106289188A (zh) * | 2016-08-05 | 2017-01-04 | 航天恒星科技有限公司 | 一种基于多视角航空影像的测量方法及*** |
CN107063228B (zh) * | 2016-12-21 | 2020-09-04 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
CN107506711B (zh) * | 2017-08-15 | 2020-06-30 | 江苏科技大学 | 基于卷积神经网络的双目视觉障碍物检测***及方法 |
CN107830846B (zh) * | 2017-09-30 | 2020-04-10 | 杭州艾航科技有限公司 | 一种利用无人机和卷积神经网络测量通信塔天线角度方法 |
-
2019
- 2019-01-03 CN CN201910005046.5A patent/CN109631850B/zh active Active
Non-Patent Citations (1)
Title |
---|
无人机航测***集成及影像后处理有关问题研究;宋文平;《基础科学辑》;20170228;第54-62页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109631850A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510573B (zh) | 一种基于深度学习的多视点人脸三维模型重建的方法 | |
CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
Furukawa et al. | Accurate camera calibration from multi-view stereo and bundle adjustment | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
CN107492069B (zh) | 基于多镜头传感器的图像融合方法 | |
CN104537707B (zh) | 像方型立体视觉在线移动实时测量*** | |
CN113077519B (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
CN110782498B (zh) | 一种视觉传感网络的快速通用标定方法 | |
CN113011401B (zh) | 人脸图像姿态估计和校正方法、***、介质及电子设备 | |
CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
CN112929626B (zh) | 一种基于智能手机影像的三维信息提取方法 | |
CN111798373A (zh) | 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法 | |
CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 | |
CN104167001B (zh) | 基于正交补偿的大视场摄像机标定方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
CN109788270B (zh) | 3d-360度全景图像生成方法及装置 | |
CN104504691B (zh) | 基于低秩纹理的摄像机位置和姿态测量方法 | |
Pathak et al. | Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification | |
CN114372992A (zh) | 一种基于动平台的边缘角点检测四目视觉算法 | |
CN113570658A (zh) | 基于深度卷积网络的单目视频深度估计方法 | |
CN113313659A (zh) | 一种多机协同约束下高精度图像拼接方法 | |
CN116468609A (zh) | 基于SuperGlue的两段式变焦相机多图像拼接方法和*** | |
CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 730000 No. 1119 nanbinhe Middle Road, Qilihe district, Lanzhou City, Gansu Province Applicant after: Gansu Dayu Jiuzhou Space Information Technology Co.,Ltd. Address before: 730000 No. 1119 nanbinhe Middle Road, Qilihe district, Lanzhou City, Gansu Province Applicant before: GANSU DAYU JIUZHOU SURVEYING AND MAPPING GEOGRAPHIC INFORMATION Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |