CN113506346B - 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 - Google Patents
一种应用于弱纹理大旋转场景下的相机的位姿求解方法 Download PDFInfo
- Publication number
- CN113506346B CN113506346B CN202110763412.0A CN202110763412A CN113506346B CN 113506346 B CN113506346 B CN 113506346B CN 202110763412 A CN202110763412 A CN 202110763412A CN 113506346 B CN113506346 B CN 113506346B
- Authority
- CN
- China
- Prior art keywords
- normal
- solving
- images
- plane
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种应用于弱纹理大旋转场景下的相机的位姿求解方法,利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息,对得到的法线聚类分割出不同的法线平面块,从中提取满足高斯分布的随机像素点若干,并在图像间对像素点追踪,实现图像间的平面匹配,再对分割的平面块内的法线进行基于偏振的RANSAC优化处理,剔除外点后即可得到平面块的平均法线值,同时对图像间的I MU数据预计分,两图像对应的平面块的平均法线值联合由I MU得到的相对姿态实现法线模糊性的去除,再结合线性优化理论从平均法线对中求解出相机姿态。本发明能解决视觉方法短板,拓展视觉算法的适用范围,在弱纹理大旋转等极端场景下依然能估计相机姿态。
Description
技术领域
本发明涉及相机姿态估计的技术领域,尤其涉及到一种应用于弱纹理大旋转场景下的相机的位姿求解方法。
背景技术
相机姿态估计在机器人运动过程具有重要作用,目前广泛应用于机器人自主导航项目当中,是一个具有巨大应用前景的计算机视觉应用领域。
一般而言,在机器人领域常将相机姿态估计归类为VO(Visual Odometry)问题。在目前VO的研究问题上,基于特征点以及基于光流法的视觉里程计是公认的成熟且鲁棒的VO的方法,但是这些方法要求有丰富的纹理信息,否则无法得到可靠的相机姿态,无法适用于弱纹理大旋转场景下。
发明内容
本发明的目的在于克服现有技术的不足,提供一种应用于弱纹理大旋转场景下的相机的位姿求解方法,区别于已有的基于特征点的相机姿态估计的VO算法,本发明基于偏振的旋转求解,这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题,从而解决视觉方法短板,拓展视觉算法的适用范围,在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
为实现上述目的,本发明所提供的技术方案为:
一种应用于弱纹理大旋转场景下的相机的位姿求解方法,包括以下步骤:
S1、考虑镜面反射与漫反射模型,利用SPF方法从偏振图像中恢复出带有模糊性的法线信息;
S2、基于相同材质同一平面法线值相近假设,对得到的法线聚类分割出不同的平面块;
S3、在得到的平面块中提取满足高斯分布的若干随机像素点,并在图像间对该些像素点追踪,实现图像间的平面匹配;
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理,剔除外点后,得到平面块的平均法线值;同时,对图像间的IMU数据预计分,两图像对应的平面块的平均法线值联合由IMU得到的相对姿态,去除法线模糊性,得到无模糊性的平均法线对;
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态。
进一步地,所述步骤S1具体包括:
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值,具体求解公式如下:
式(1)中,ρ表示偏振度,β表示为天顶角,n表示场景中的折射率,给定偏振度和折射率,由上式得到漫反射场景中的唯一的天顶角;
式(2)表示镜面反射场景中,天顶角的求解方法,其中给定一个偏振度和折射率,存在两个可能的天顶角;
求解完天顶角之后,通过下式依次求得场景中的方位角:
式(3)中,S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值,S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值;
利用求得的方位角α及天顶角β求解法线值n,公式如下:
式(4)中,vx为相机坐标系中法线在X轴的分量,vy为相机坐标系中法线在X轴的分量,vz为相机坐标系中法线在X轴的分量。
进一步地,所述步骤S2包括:
将求得的法线从笛卡尔坐标系转换到图像坐标系中,基于相同材质的同一平面法线值相近的事实进行聚类分割,通过比较两法线的欧式距离或余弦相似度实现平面分割,得到不同的平面块。
进一步地,所述步骤S3包括:
从分割得到的平面块中,选择偏振度大于设定阈值及面积大于设定阈值的平面块,并在这些平面块中随机生成均匀分布的若干像素点,利用直接法实现图像间像素点的追踪,最终实现不同图像间的平面匹配。
进一步地,所述步骤S4包括:
通过相机和IMU外参标定实现两传感器坐标的对齐,同时对齐两传感器时间戳,实现两传感器融合;
对两帧之间的IMU进行预积分,得到大致旋转ΔR,先对分割得到的平面使用RANSAC算法进一步优化,再求解平面平均天顶角和平均方位角,计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式:
式(5)中,R为两帧之间变换关系;
通过考虑法线最小对其误差,消除法线模糊性问题:
从而得到无模糊性的平均法线对。
进一步地,所述步骤S5包括:
将得到的无歧义平均法线对构建最小二乘问题:
在得到两帧图像中对应平面的平均法线值的关系后,存在:
利用优化算法实现姿态求解。
进一步地,所述优化算法包括QR分解、Cholesky分解或奇异值分解算法。
与现有技术相比,本方案原理及优点如下:
本方案考虑镜面反射与漫反射模型,利用传统的SPF方法从偏振图像中恢复出带有模糊性的法线信息,基于相同材质同一平面法线值相近假设,对得到的法线聚类分割出不同的法线平面块,在得到的平面块中提取满足高斯分布的随机像素点若干,并在图像间对这些像素点追踪,从而实现图像间的平面的数据关联,再对分割的平面块内的法线进行基于偏振的RANSAC优化处理,剔除外点后即可得到平面块的平均法线值,同时对图像间的IMU数据预计分,两图像对应的平面块的平均法线值联合由IMU得到的相对姿态实现法线模糊性的去除,再结合线性优化理论从平均法线对中求解出相机姿态。
本方案区别于已有的基于特征点的相机姿态估计的VO算法,基于偏振的旋转求解,这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题,从而解决视觉方法短板,拓展视觉算法的适用范围,在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种应用于弱纹理大旋转场景下的相机的位姿求解方法的原理流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明:
如图1所示,本实施例所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,包括以下步骤:
S1、考虑镜面反射与漫反射模型,利用SPF方法从偏振图像中恢复出带有模糊性的法线信息;
本步骤具体包括:
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值,具体求解公式如下:
式(1)中,ρ表示偏振度,β表示为天顶角,n表示场景中的折射率,给定偏振度和折射率,由上式得到漫反射场景中的唯一的天顶角;
式(2)表示镜面反射场景中,天顶角的求解方法,其中给定一个偏振度和折射率,存在两个可能的天顶角;
求解完天顶角之后,通过下式依次求得场景中的方位角:
式(3)中,S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值,S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值;
利用求得的方位角α及天顶角β求解法线值n,公式如下:
式(4)中,vx为相机坐标系中法线在X轴的分量,vy为相机坐标系中法线在X轴的分量,vz为相机坐标系中法线在X轴的分量。
由于方位角α存在π的模糊性,有两种可能值,而天顶角β由于反射模型的不同,存在着3种可能值,所以这里求解的法线存在着6种可能值,具有模糊性。为此,作如下进一步的处理。
S2、将求得的法线从笛卡尔坐标系转换到图像坐标系中,基于相同材质的同一平面法线值相近的事实进行聚类分割,通过比较两法线的欧式距离或余弦相似度实现平面分割,得到不同的平面块。
S3、从分割得到的平面块中,选择偏振度大于设定阈值及面积大于设定阈值的平面块,并在这些平面块中随机生成均匀分布的若干像素点,利用直接法实现图像间像素点的追踪,最终实现不同图像间的平面匹配。
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理,剔除外点后,得到平面块的平均法线值;同时,对图像间的IMU数据预计分,两图像对应的平面块的平均法线值联合由IMU得到的相对姿态,去除法线模糊性,得到无模糊性的平均法线对;
本步骤具体过程如下:
通过相机和IMU外参标定实现两传感器坐标的对齐,同时对齐两传感器时间戳,实现两传感器融合;
对两帧之间的IMU进行预积分,得到大致旋转ΔR,先对分割得到的平面使用RANSAC算法进一步优化,再求解平面平均天顶角和平均方位角,计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式:
式(5)中,R为两帧之间变换关系;
通过考虑法线最小对其误差,消除法线模糊性问题:
从而得到无模糊性的平均法线对。
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态,具体包括:
将得到的无歧义平均法线对构建最小二乘问题:
在得到两帧图像中对应平面的平均法线值的关系后,存在:
利用QR分解算法实现姿态求解。
本实施例区别于已有的基于特征点的相机姿态估计的VO算法,其基于偏振的旋转求解,这有利于解决弱纹理大旋转场景下传统视觉方法不适用问题,从而解决视觉方法短板,拓展视觉算法的适用范围,在弱纹理大旋转等极端场景下依然能鲁棒估计相机姿态。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。
Claims (6)
1.一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,包括以下步骤:
S1、考虑镜面反射与漫反射模型,利用SPF方法从偏振图像中恢复出带有模糊性的法线信息;
S2、基于相同材质同一平面法线值相近假设,对得到的法线聚类分割出不同的平面块;
S3、在得到的平面块中提取满足高斯分布的若干随机像素点,并在图像间对该些像素点追踪,实现图像间的平面匹配;
S4、对分割的平面块内的法线进行基于偏振的RANSAC优化处理,剔除外点后,得到平面块的平均法线值;同时,对图像间的IMU数据预计分,两图像对应的平面块的平均法线值联合由IMU得到的相对姿态,去除法线模糊性,得到无模糊性的平均法线对;
S5、结合线性优化方法从无模糊性的平均法线对中求解出相机姿态;
所述步骤S1具体包括:
利用SFP方法从偏振信息中计算出包含镜面反射与漫反射两种模型的天顶角与方位角值,具体求解公式如下:
式(1)中,ρ表示偏振度,β表示为天顶角,n表示场景中的折射率,给定偏振度和折射率,由上式得到漫反射场景中的唯一的天顶角;
式(2)表示镜面反射场景中,天顶角的求解方法,其中给定一个偏振度和折射率,存在两个天顶角;
求解完天顶角之后,通过下式依次求得场景中的方位角:
式(3)中,S1为偏振片角度为0时捕获的图像值减去偏振片为90度时的图像值而得到的值,S2为偏振片角度为45时捕获的图像值加上偏振片为135度时的图像值而得到的值;
利用求得的方位角α及天顶角β求解法线值n,公式如下:
式(4)中,vx为相机坐标系中法线在X轴的分量,vy为相机坐标系中法线在X轴的分量,vz为相机坐标系中法线在X轴的分量。
2.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,所述步骤S2包括:
将求得的法线从笛卡尔坐标系转换到图像坐标系中,基于相同材质的同一平面法线值相近的事实进行聚类分割,通过比较两法线的欧式距离或余弦相似度实现平面分割,得到不同的平面块。
3.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,所述步骤S3包括:
从分割得到的平面块中,选择偏振度大于设定阈值及面积大于设定阈值的平面块,并在这些平面块中随机生成均匀分布的若干像素点,利用直接法实现图像间像素点的追踪,最终实现不同图像间的平面匹配。
4.根据权利要求1所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,所述步骤S4包括:
通过相机和IMU外参标定实现两传感器坐标的对齐,同时对齐两传感器时间戳,实现两传感器融合;
对两帧之间的IMU进行预积分,得到旋转ΔR,先对分割得到的平面使用RANSAC算法进一步优化,再求解平面平均天顶角和平均方位角,计算出平均法线值i时刻与i+1时刻图像对应的一组平均法线对/>满足关系式:
式(5)中,R为两帧之间变换关系;
通过考虑法线最小对其误差,消除法线模糊性问题:
从而得到无模糊性的平均法线对。
5.根据权利要求4所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,所述步骤S5包括:
将得到的无歧义平均法线对构建最小二乘问题:
在得到两帧图像中对应平面的平均法线值的关系后,存在:
利用优化算法实现姿态求解。
6.根据权利要求5所述的一种应用于弱纹理大旋转场景下的相机的位姿求解方法,其特征在于,所述优化算法包括QR分解、Cholesky分解或奇异值分解算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110763412.0A CN113506346B (zh) | 2021-07-06 | 2021-07-06 | 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110763412.0A CN113506346B (zh) | 2021-07-06 | 2021-07-06 | 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113506346A CN113506346A (zh) | 2021-10-15 |
CN113506346B true CN113506346B (zh) | 2023-08-29 |
Family
ID=78011380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110763412.0A Active CN113506346B (zh) | 2021-07-06 | 2021-07-06 | 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113506346B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734765A (zh) * | 2020-12-03 | 2021-04-30 | 华南理工大学 | 基于实例分割与多传感器融合的移动机器人定位方法、***及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498448B2 (en) * | 2011-07-15 | 2013-07-30 | International Business Machines Corporation | Multi-view object detection using appearance model transfer from similar scenes |
EP4394732A2 (en) * | 2016-06-29 | 2024-07-03 | Seeing Machines Limited | Systems and methods for identifying pose of cameras in a scene |
-
2021
- 2021-07-06 CN CN202110763412.0A patent/CN113506346B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734765A (zh) * | 2020-12-03 | 2021-04-30 | 华南理工大学 | 基于实例分割与多传感器融合的移动机器人定位方法、***及介质 |
Non-Patent Citations (1)
Title |
---|
基于偏振双目视觉的无纹理高反光目标三维重构;平茜茜;刘勇;董欣明;赵永强;张艳;;红外与毫米波学报(04);第50-56页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113506346A (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** | |
CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
CN110108258B (zh) | 一种单目视觉里程计定位方法 | |
CN110490158B (zh) | 一种基于多级模型的鲁棒人脸对齐方法 | |
CN108776989B (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
Liu et al. | Direct visual odometry for a fisheye-stereo camera | |
CN111105460B (zh) | 一种室内场景三维重建的rgb-d相机位姿估计方法 | |
CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
CN112541423A (zh) | 一种同步定位与地图构建方法和*** | |
Xie et al. | A deep feature aggregation network for accurate indoor camera localization | |
CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
CN115471748A (zh) | 一种面向动态环境的单目视觉slam方法 | |
CN117218195A (zh) | 基于点、线特征约束的同时定位与建图方法 | |
CN113506346B (zh) | 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 | |
CN115457127A (zh) | 基于特征观测数和imu预积分的自适应协方差方法 | |
Wu et al. | Self-supervised monocular depth estimation scale recovery using ransac outlier removal | |
Vidal et al. | Automatic video to point cloud registration in a structure-from-motion framework | |
Naixin et al. | Monocular semidirect visual odometry for large-scale outdoor localization | |
Zhou et al. | Svo-pl: Stereo visual odometry with fusion of points and line segments | |
CN104751448A (zh) | 基于pca和噪声分离的在线视频跟踪方法 | |
CN114119885A (zh) | 图像特征点匹配方法、装置及***、地图构建方法及*** | |
Tan et al. | 3D Reconstruction for Thermal Infrared Images of Substation Equipment Based on Visual SLAM and Cascade MVSNet | |
Zhang et al. | Visual-Marker-Inertial Fusion Localization System Using Sliding Window Optimization | |
CN115393432B (zh) | 消除静态特征误匹配的机器人定位方法、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |