CN111161355B - 多视图相机位姿和场景的纯位姿解算方法及*** - Google Patents

多视图相机位姿和场景的纯位姿解算方法及*** Download PDF

Info

Publication number
CN111161355B
CN111161355B CN201911267354.1A CN201911267354A CN111161355B CN 111161355 B CN111161355 B CN 111161355B CN 201911267354 A CN201911267354 A CN 201911267354A CN 111161355 B CN111161355 B CN 111161355B
Authority
CN
China
Prior art keywords
view
views
pose
global
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911267354.1A
Other languages
English (en)
Other versions
CN111161355A (zh
Inventor
武元新
蔡奇
张礼廉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911267354.1A priority Critical patent/CN111161355B/zh
Priority to US17/785,015 priority patent/US20230041433A1/en
Priority to PCT/CN2019/130316 priority patent/WO2021114434A1/zh
Publication of CN111161355A publication Critical patent/CN111161355A/zh
Application granted granted Critical
Publication of CN111161355B publication Critical patent/CN111161355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种多视图相机位姿和场景的纯位姿解算方法及***，包括：纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；全局位移线性计算步骤：从非标记视图中选择一幅作为参考视图，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure DDA0002313231180000011
根据tr和
Figure DDA0002313231180000012
恢复标记视图的全局位移，并筛选全局位移的正确解；三维场景解析恢复步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。本发明能够大幅度提升多视图相机位姿与场景结构恢复的计算效率及鲁棒性。

Description

多视图相机位姿和场景的纯位姿解算方法及***
技术领域
本发明涉及计算机视觉领域，具体地，涉及一种多视图相机位姿和场景的纯位姿解算方法及***。
背景技术
一直以来，相机位姿与场景结构的恢复是计算机视觉中运动恢复结构的核心部分。在传统的多视图几何描述下，相机位姿和场景结构的恢复需要进行全局参数的初始化和集束调整(Bundle Adjustment，BA)。一方面，全局参数初始化的目的是为BA集束调整优化提供初值，主要分为全局姿态、全局位移和三维场景点坐标的初始化，其中难点在于全局位移的初始化方面。传统的全局位移方法一般以双视图相对位移为输入，通过代数误差最小来优化全局位移，在相机纯旋转或共线运动等情况下会出现异常。另一方面，BA集束调整优化以重投影误差最小为优化目标，参数空间包括三维场景点坐标、位姿参数及相机参数等。对于m个三维场景点和n幅图像的情形，优化参数的空间维数为3m+6n。由于三维场景点的数目通常很大，造成待优化的参数空间维数巨大。
专利文献CN 106408653A公开了一种面向大规模三维重建的实时鲁棒的集束调整方法，目前集束调整的主流方法是考虑参数雅克比(Jacobian)矩阵稀疏性的非线性优化算法，但在大尺度场景下仍然不能满足实时及鲁棒性需求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多视图相机位姿和场景的纯位姿解算方法及***。
根据本发明提供的一种多视图相机位姿和场景的纯位姿解算方法，以视图姿态初值为输入，包括：
纯旋转异常识别(Pure Rotation Recoginition,PRR)步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移线性计算(Global Translation Linear，GTL)步骤：从非标记视图中选择一幅作为参考视图，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure BDA0002313231160000021
根据tr和
Figure BDA0002313231160000022
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景解析恢复(Structure Analytical Reconstruction,SAR)步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。
优选地，所述PRR纯旋转异常识别步骤包括：
步骤1：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和
Figure BDA0002313231160000023
记集合Θi中大于δ1的比例为γi。
步骤2：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi,j集合中元素的均值为
Figure BDA0002313231160000024
取
Figure BDA0002313231160000025
构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n(≤N)幅视图中可视，对于i＝1,2,…,n,Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，
Figure BDA0002313231160000026
和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]x表示由向量Xj构成的反对称矩阵；
步骤3：对所有视图重复步骤1-步骤2。
优选地，所述GTL全局位移计算步骤包括：
步骤1：对于当前3D点，选择视图
Figure BDA0002313231160000027
其中视图
Figure BDA0002313231160000028
为左基准视图，η为右基准视图；
步骤2：对于所有的非标记视图(不含参考视图)，按照形如
Figure BDA00023132311600000212
构建GTL全局位移线性约束。
3D点XW在视图i上的图像归一化坐标有
Figure BDA0002313231160000029
其中～表示齐次坐标下的等式，其中
Figure BDA00023132311600000210
上标T表示矩阵或向量的转置。为了线性求解全局位移，可以定义不同的目标函数形式，典型如
Figure BDA00023132311600000211
和[Xi]×Yi＝0，其中I3表示三维单位矩阵，e3表示单位矩阵的第三列向量e3＝(0,0,1)T。另外，由于相对位移ti,j关于全局位移具有不同形式，典型如ti,j＝Rj(ti-tj)和ti,j＝tj-Ri,jti，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000031
D＝-(B+C)；
(2)对于目标函数
Figure BDA0002313231160000032
和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000033
Figure BDA0002313231160000034
D＝-(B+C)；
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
Figure BDA0002313231160000035
Figure BDA0002313231160000036
(4)对于目标函数
Figure BDA0002313231160000037
和相对位移ti,j＝tj-Ri,jti，
Figure BDA0002313231160000038
Figure BDA0002313231160000039
步骤3：对于其它3D点，重复步骤1-步骤2，构建线性方程，求解全局位移
Figure BDA00023132311600000310
步骤4：利用
Figure BDA00023132311600000311
和tr，根据ti＝tl恢复标记视图的全局位移；
步骤5：根据
Figure BDA00023132311600000312
筛选全局位移t的正确解。
优选地，在所述GTL全局位移计算步骤与所述SAR三维场景解析恢复步骤之间还增添一个可选的相机位姿优化步骤：
3D点XW在视图i上的图像齐次坐标fi表示为
Figure BDA00023132311600000313
其中～表示齐次坐标下的等式，
Figure BDA00023132311600000314
定义重投影误差为
Figure BDA00023132311600000315
其中
Figure BDA00023132311600000316
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量∑，全局位姿优化的目标函数描述为argminΣTΣ，据此进行全局位姿的优化求解。需要指出的是，此处的相机位姿优化步骤可以替换为其他优化算法，如经典BA集束调整算法，此时三维场景点坐标既可以使用经典BA集束调整算法的输出结果，也可以利用如下的SAR三维场景解析恢复步骤得到。
优选地，所述SAR三维场景解析恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建。
对于当前3D点，在左基准视图
Figure BDA00023132311600000317
中的景深计算为
Figure BDA00023132311600000318
在右基准视图中的景深计算为
Figure BDA0002313231160000041
其中
Figure BDA0002313231160000042
Figure BDA0002313231160000043
和ωj,,η表示加权系数。以左基准视图景深解析恢复3D点为例，可取
Figure BDA0002313231160000044
则当前3D特征点坐标为
Figure BDA0002313231160000045
据此可解析恢复出所有3D点的坐标。同理，可以利用右视图景深解析恢复3D点坐标。当然，也可以取以上两种3D点坐标的算数平均。
根据本发明提供的一种多视图相机位姿和场景的纯位姿解算***，包括：
纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure BDA0002313231160000046
根据tr和
Figure BDA0002313231160000047
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标。
优选地，所述纯旋转异常识别模块包括：
模块M11：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和
Figure BDA0002313231160000048
记集合Θi中大于δ1的比例为γi；
模块M12：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi,j集合中元素的均值为
Figure BDA0002313231160000049
取
Figure BDA00023132311600000410
构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n(≤N)幅视图中可视，对于i＝1,2,…,n,Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，
Figure BDA00023132311600000411
和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]×表示由向量Xj构成的反对称矩阵；
模块M13：对所有视图重复模块M11-模块M12的操作。
优选地，所述全局位移恢复模块包括：
模块M21：对于当前3D点，选择视图
Figure BDA0002313231160000051
其中视图
Figure BDA0002313231160000052
为左基准视图，η为右基准视图；
模块M22：对于所有的非标记视图，按照形如
Figure BDA00023132311600000522
构建GTL全局位移线性约束；
3D点XW在视图i上的图像归一化坐标有
Figure BDA0002313231160000053
其中～表示齐次坐标下的等式，其中
Figure BDA0002313231160000054
上标T表示矩阵或向量的转置；
另外，由于相对位移ti,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000055
D＝-(B+C)；
(2)对于目标函数
Figure BDA0002313231160000056
和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000057
Figure BDA0002313231160000058
D＝-(B+C)；
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
Figure BDA0002313231160000059
Figure BDA00023132311600000510
(4)对于目标函数
Figure BDA00023132311600000511
和相对位移ti,j＝tj-Ri,jti，
Figure BDA00023132311600000512
Figure BDA00023132311600000513
模块M23：对于其它3D点，重复模块M21-模块M22的操作，构建线性方程，求解全局位移
Figure BDA00023132311600000514
模块M24：利用
Figure BDA00023132311600000515
和tr，根据ti＝tl恢复标记视图的全局位移；
模块M25：根据
Figure BDA00023132311600000516
筛选全局位移t的正确解。
优选地，还包括相机位姿优化模块：
3D点XW在视图i上的图像齐次坐标fi表示为
Figure BDA00023132311600000517
其中～表示齐次坐标下的等式，
Figure BDA00023132311600000518
定义重投影误差为
Figure BDA00023132311600000519
其中
Figure BDA00023132311600000520
Figure BDA00023132311600000521
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量∑，全局位姿优化的目标函数描述为argmin∑T∑，据此进行全局位姿的优化求解；
或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
优选地，所述三维场景恢复模块包括：
多视图下三维场景结构通过相机位姿进行解析加权重建；
对于当前3D点，在左基准视图
Figure BDA0002313231160000061
中的景深计算为
Figure BDA0002313231160000062
在右基准视图中的景深计算为
Figure BDA0002313231160000063
其中
Figure BDA0002313231160000064
Figure BDA0002313231160000065
和ωj,，η表示加权系数；
据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或取以上两种3D点坐标的算数平均。
与现有技术相比，本发明具有如下的有益效果：
本发明突破传统初值和优化方法的瓶颈，可大幅度提升相机位姿与场景结构恢复的鲁棒性及计算速度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的一种多视图相机位姿和场景的纯位姿解算方法，以视图姿态初值为输入，包括：
纯旋转异常识别(Pure Rotation Recoginition,PRR)步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移线性计算(Global Translation Linear，GTL)步骤：从非标记视图中选择一幅作为参考视图，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure BDA0002313231160000071
根据tr和
Figure BDA0002313231160000072
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景解析恢复(Structure Analytical Reconstruction,SAR)步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标。
PRR纯旋转异常识别步骤包括：
步骤1：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和
Figure BDA0002313231160000073
记集合Θi中大于δ1的比例为γi。
步骤2：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi,j集合中元素的均值为
Figure BDA0002313231160000074
取
Figure BDA0002313231160000075
构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n(≤N)幅视图中可视，对于i＝1,2,…,n,Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，
Figure BDA0002313231160000076
和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]×表示由向量Xj构成的反对称矩阵；
步骤3：对所有视图重复步骤1-步骤2。
GTL全局位移计算步骤包括：
步骤1：对于当前3D点，选择视图
Figure BDA0002313231160000077
其中视图ζ为左基准视图，η为右基准视图；
步骤2：对于所有的非标记视图(不含参考视图)，按照形如
Figure BDA0002313231160000078
构建GTL全局位移线性约束。
3D点XW在视图i上的图像归一化坐标有
Figure BDA0002313231160000079
其中～表示齐次坐标下的等式，其中
Figure BDA00023132311600000710
上标T表示矩阵或向量的转置。为了线性求解全局位移，可以定义不同的目标函数形式，典型如
Figure BDA00023132311600000711
和[Xi]×Yi＝0，其中I3表示三维单位矩阵，e3表示单位矩阵的第三列向量e3＝(0,0,1)T。另外，由于相对位移ti,j关于全局位移具有不同形式，典型如ti,j＝Rj(ti-tj)和ti,j＝tj-Ri,jti，因此矩阵B、C和D的也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000081
D＝-(B+C)；
(2)对于目标函数
Figure BDA0002313231160000082
和相对位移ti,j＝Rj(ti-tj)，
Figure BDA0002313231160000083
Figure BDA0002313231160000084
D＝-(B+C)；
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
Figure BDA0002313231160000085
Figure BDA0002313231160000086
(4)对于目标函数
Figure BDA0002313231160000087
和相对位移ti,j＝tj-Ri,jti，
Figure BDA0002313231160000088
Figure BDA0002313231160000089
步骤3：对于其它3D点，重复步骤1-步骤2，构建线性方程，求解全局位移
Figure BDA00023132311600000810
步骤4：利用
Figure BDA00023132311600000811
和tr，根据ti＝tl恢复标记视图的全局位移；
步骤5：根据
Figure BDA00023132311600000812
筛选全局位移t的正确解。
在GTL全局位移计算步骤与所述SAR三维场景解析恢复步骤之间还增添一个可选的相机位姿优化步骤：
3D点XW在视图i上的图像齐次坐标fi表示为
Figure BDA00023132311600000813
其中～表示齐次坐标下的等式，
Figure BDA00023132311600000814
定义重投影误差为
Figure BDA00023132311600000815
其中
Figure BDA00023132311600000816
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量∑，全局位姿优化的目标函数描述为argmin∑T∑，据此进行全局位姿的优化求解。需要指出的是，此处的相机位姿优化步骤可以替换为其他优化算法，如经典BA集束调整算法，此时三维场景点坐标既可以使用经典BA集束调整算法的输出结果，也可以利用SAR三维场景解析恢复步骤得到。
SAR三维场景解析恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建。
对于当前3D点，在左基准视图
Figure BDA00023132311600000817
中的景深计算为
Figure BDA00023132311600000818
在右基准视图中的景深计算为
Figure BDA0002313231160000091
其中
Figure BDA0002313231160000092
Figure BDA0002313231160000093
和ωj,，η表示加权系数。以左基准视图景深解析恢复3D点为例，可取
Figure BDA0002313231160000094
则当前3D特征点坐标为
Figure BDA0002313231160000095
据此可解析恢复出所有3D点的坐标。同理，可以利用右视图景深解析恢复3D点坐标。当然，也可以取以上两种3D点坐标的算数平均。
在上述一种多视图相机位姿和场景的纯位姿解算方法的基础上，本发明还提供一种多视图相机位姿和场景的纯位姿解算***，包括：
纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure BDA0002313231160000096
根据tr和
Figure BDA0002313231160000097
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种多视图相机位姿和场景的纯位姿解算方法，其特征在于，包括：
纯旋转异常识别步骤：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复步骤：从非标记视图中选择一幅作为参考，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure FDA0004157068300000011
根据tr和
Figure FDA0004157068300000012
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复步骤：根据全局位姿的正确解，解析恢复所有3D点的坐标；
所述纯旋转异常识别步骤包括：
步骤11：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和
Figure FDA0004157068300000013
记集合Θi中大于δ1的比例为γi；
步骤12：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi,j集合中元素的均值为
Figure FDA0004157068300000014
取
Figure FDA0004157068300000015
构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n幅视图中可视，对于i＝1,2,…,n,n≤N，Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，
Figure FDA0004157068300000016
和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]×表示由向量Xj构成的反对称矩阵；
步骤13：对所有视图重复步骤11-步骤12。
2.根据权利要求1所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤包括：
步骤21：对于当前3D点，选择视图
Figure FDA0004157068300000017
其中视图
Figure FDA0004157068300000018
为左基准视图，η为右基准视图；
步骤22：对于所有的非标记视图，按照形如
Figure FDA0004157068300000019
构建GTL全局位移线性约束；
3D点XW在视图i上的图像归一化坐标有
Figure FDA00041570683000000110
其中～表示齐次坐标下的等式，其中
Figure FDA0004157068300000021
上标T表示矩阵或向量的转置；为了线性求解全局位移，定义不同的目标函数形式；
另外，由于相对位移ti,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，
Figure FDA0004157068300000022
D＝-(B+C)；
(2)对于目标函数
Figure FDA0004157068300000023
和相对位移ti,j＝Rj(ti-tj)，
Figure FDA0004157068300000024
Figure FDA0004157068300000025
D＝-(B+C)，
Figure FDA0004157068300000026
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
Figure FDA0004157068300000027
Figure FDA0004157068300000028
Figure FDA0004157068300000029
(4)对于目标函数
Figure FDA00041570683000000210
和相对位移ti,j＝tj-Ri,jti，
Figure FDA00041570683000000211
Figure FDA00041570683000000212
步骤23：对于其它3D点，重复步骤21-步骤22，构建线性方程，求解全局位移
Figure FDA00041570683000000213
步骤24：利用
Figure FDA00041570683000000214
和tr，根据ti＝tl恢复标记视图的全局位移；
步骤25：根据
Figure FDA00041570683000000215
筛选全局位移t的正确解。
3.根据权利要求2所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述全局位移恢复步骤与所述三维场景恢复步骤之间还包括相机位姿优化步骤：3D点XW在视图i上的图像齐次坐标fi表示为
Figure FDA00041570683000000216
其中～表示齐次坐标下的等式，
Figure FDA00041570683000000217
定义重投影误差为
Figure FDA00041570683000000218
其中
Figure FDA00041570683000000219
Figure FDA00041570683000000220
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为argminΣTΣ，据此进行全局位姿的优化求解；
或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
4.根据权利要求2所述的多视图相机位姿和场景的纯位姿解算方法，其特征在于，所述三维场景恢复步骤包括：
多视图下三维场景结构通过相机位姿进行解析加权重建；
对于当前3D点，在左基准视图
Figure FDA0004157068300000031
中的景深计算为
Figure FDA0004157068300000032
在右基准视图中的景深计算为
Figure FDA0004157068300000033
其中
Figure FDA0004157068300000034
Figure FDA0004157068300000035
和ωj,η表示加权系数；
据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或者取以上两种3D点坐标的算数平均。
5.一种多视图相机位姿和场景的纯位姿解算***，其特征在于，包括：
纯旋转异常识别模块：对所有视图进行纯旋转异常识别，对纯旋转异常的视图进行标记，得到标记视图和非标记视图；
全局位移恢复模块：从非标记视图中选择一幅作为参考，构建约束tr＝0，构建全局位移线性约束，求解全局位移
Figure FDA0004157068300000036
根据tr和
Figure FDA0004157068300000037
恢复标记视图的全局位移，并筛选全局位移的正确解；
三维场景恢复模块：根据全局位姿的正确解，解析恢复所有3D点的坐标；
所述纯旋转异常识别模块包括：
模块M11：考虑视图i，1≤i≤N，对于视图j∈Vi，利用双视图(i,j)上的所有图像匹配点对(Xi,Xj)以及相对姿态Ri,j，计算θi,j＝||[Xj]×Ri,jXi||，并构成集合Θi,j和
Figure FDA0004157068300000038
记集合Θi中大于δ1的比例为γi；
模块M12：若γi＜δ2，标记视图i为纯旋转异常视图，记Θi,j集合中元素的均值为
Figure FDA0004157068300000039
取
Figure FDA00041570683000000310
构建约束ti＝tl；
其中，若3D点XW＝(xW,yW,zW)T在n幅视图中可视，对于i＝1,2,…,n,n≤N，Vi为所有与视图i共视的视图构成的集合，Xi和Xj分别表示点XW在视图i和视图j上的归一化图像坐标，δ1和δ2为设定的阈值，Ri和ti分别表示视图i的全局姿态和全局位移，
Figure FDA00041570683000000311
和ti,j分别表示双视图(i,j)的相对姿态和相对位移，[Xj]×表示由向量Xj构成的反对称矩阵；
模块M13：对所有视图重复模块M11-模块M12的操作。
6.根据权利要求5所述的多视图相机位姿和场景的纯位姿解算***，其特征在于，所述全局位移恢复模块包括：
模块M21：对于当前3D点，选择视图
Figure FDA0004157068300000041
其中视图
Figure FDA0004157068300000042
为左基准视图，η为右基准视图；
模块M22：对于所有的非标记视图，按照形如
Figure FDA0004157068300000043
构建GTL全局位移线性约束；
3D点XW在视图i上的图像归一化坐标有
Figure FDA0004157068300000044
其中～表示齐次坐标下的等式，其中
Figure FDA0004157068300000045
上标T表示矩阵或向量的转置；
另外，由于相对位移ti,j关于全局位移具有不同形式，因此矩阵B、C和D也相应地具有不同形式：
(1)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝Rj(ti-tj)，
Figure FDA0004157068300000046
D＝-(B+C)；
(2)对于目标函数
Figure FDA0004157068300000047
和相对位移ti,j＝Rj(ti-tj)，
Figure FDA0004157068300000048
Figure FDA0004157068300000049
D＝-(B+C)，
Figure FDA00041570683000000410
(3)对于目标函数[Xi]×Yi＝0和相对位移ti,j＝tj-Ri,jti，
Figure FDA00041570683000000411
Figure FDA00041570683000000412
(4)对于目标函数
Figure FDA00041570683000000413
和相对位移ti,j＝tj-Ri,jti，
Figure FDA00041570683000000414
Figure FDA00041570683000000415
模块M23：对于其它3D点，重复模块M21-模块M22的操作，构建线性方程，求解全局位移
Figure FDA00041570683000000416
模块M24：利用
Figure FDA00041570683000000417
和tr，根据ti＝tl恢复标记视图的全局位移；
模块M25：根据
Figure FDA00041570683000000418
筛选全局位移t的正确解。
7.根据权利要求6所述的多视图相机位姿和场景的纯位姿解算***，其特征在于，还包括相机位姿优化模块：
3D点XW在视图i上的图像齐次坐标fi表示为
Figure FDA00041570683000000419
其中～表示齐次坐标下的等式，
Figure FDA00041570683000000420
定义重投影误差为
Figure FDA00041570683000000421
其中
Figure FDA00041570683000000422
Figure FDA00041570683000000423
为3D点在视图i上的图像坐标且第三元素为1，对于该3D点的所有视图，构成重投影误差向量ε，对于所有3D点，构成误差向量Σ，全局位姿优化的目标函数描述为argminΣTΣ，据此进行全局位姿的优化求解；
或者，将所述相机位姿优化步骤替换为经典BA集束调整算法，此时三维场景点坐标既使用经典BA集束调整算法的输出结果，或利用SAR三维场景解析恢复步骤得到。
8.根据权利要求6所述的多视图相机位姿和场景的纯位姿解算***，其特征在于，所述三维场景恢复模块包括：
多视图下三维场景结构通过相机位姿进行解析加权重建；
对于当前3D点，在左基准视图
Figure FDA0004157068300000051
中的景深计算为
Figure FDA0004157068300000052
在右基准视图中的景深计算为
Figure FDA0004157068300000053
其中
Figure FDA0004157068300000054
Figure FDA0004157068300000055
和ωj,η表示加权系数；
据此解析恢复出所有3D点的坐标，或利用右视图景深解析恢复3D点坐标，或取以上两种3D点坐标的算数平均。
CN201911267354.1A 2019-12-11 2019-12-11 多视图相机位姿和场景的纯位姿解算方法及*** Active CN111161355B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911267354.1A CN111161355B (zh) 2019-12-11 2019-12-11 多视图相机位姿和场景的纯位姿解算方法及***
US17/785,015 US20230041433A1 (en) 2019-12-11 2019-12-31 Pure pose solution method and system for multi-view camera pose and scene
PCT/CN2019/130316 WO2021114434A1 (zh) 2019-12-11 2019-12-31 多视图相机位姿和场景的纯位姿解算方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911267354.1A CN111161355B (zh) 2019-12-11 2019-12-11 多视图相机位姿和场景的纯位姿解算方法及***

Publications (2)

Publication Number Publication Date
CN111161355A CN111161355A (zh) 2020-05-15
CN111161355B true CN111161355B (zh) 2023-05-09

Family

ID=70556977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911267354.1A Active CN111161355B (zh) 2019-12-11 2019-12-11 多视图相机位姿和场景的纯位姿解算方法及***

Country Status (3)

Country Link
US (1) US20230041433A1 (zh)
CN (1) CN111161355B (zh)
WO (1) WO2021114434A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408435B (zh) * 2021-06-22 2023-12-05 华侨大学 一种安全监控方法、装置、设备和存储介质
CN113408433B (zh) * 2021-06-22 2023-12-05 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质
CN115861434B (zh) * 2022-11-14 2024-03-22 中国人民解放军海军工程大学 用于超大场景测量多视角相机的位姿估计方法
CN117456531B (zh) * 2023-12-25 2024-03-19 乐山职业技术学院 多视图纯旋转异常识别和自动标记训练方法、设备和介质
CN117689899B (zh) * 2024-02-04 2024-05-24 南昌虚拟现实研究院股份有限公司 一种手势采集装置参数点检方法、***、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970517A (zh) * 2012-11-28 2013-03-13 四川长虹电器股份有限公司 基于异常情景识别的云台镜头自主控制方法
CN107330934A (zh) * 2017-05-23 2017-11-07 上海交通大学 低维度的集束调整计算方法与***
JP2018036770A (ja) * 2016-08-30 2018-03-08 富士通株式会社 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN108225319A (zh) * 2017-11-30 2018-06-29 上海航天控制技术研究所 基于目标特征的单目视觉快速相对位姿估计***及方法
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE49930E1 (en) * 2015-03-26 2024-04-23 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及***
CN106408653B (zh) * 2016-09-06 2021-02-02 合肥工业大学 一种面向大规模三维重建的实时鲁棒的集束调整方法
CN107507277B (zh) * 2017-07-31 2021-04-06 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
CN108038902B (zh) * 2017-12-07 2021-08-27 合肥工业大学 一种面向深度相机的高精度三维重建方法和***
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
US11704787B2 (en) * 2020-11-06 2023-07-18 Wipro Limited Method and system for determining stock in an inventory
CN112697044B (zh) * 2020-12-17 2021-11-26 北京航空航天大学 一种基于无人机平台的静态刚性物体视觉测量方法
CN113962853B (zh) * 2021-12-15 2022-03-15 武汉大学 一种旋转线阵扫描图像位姿自动化精密解算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970517A (zh) * 2012-11-28 2013-03-13 四川长虹电器股份有限公司 基于异常情景识别的云台镜头自主控制方法
JP2018036770A (ja) * 2016-08-30 2018-03-08 富士通株式会社 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN107330934A (zh) * 2017-05-23 2017-11-07 上海交通大学 低维度的集束调整计算方法与***
CN108225319A (zh) * 2017-11-30 2018-06-29 上海航天控制技术研究所 基于目标特征的单目视觉快速相对位姿估计***及方法
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法

Also Published As

Publication number Publication date
US20230041433A1 (en) 2023-02-09
WO2021114434A1 (zh) 2021-06-17
CN111161355A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161355B (zh) 多视图相机位姿和场景的纯位姿解算方法及***
Zhang et al. Pymaf: 3d human pose and shape regression with pyramidal mesh alignment feedback loop
CN110705448B (zh) 一种人体检测方法及装置
Finn et al. Unsupervised learning for physical interaction through video prediction
Zhao et al. Lif-seg: Lidar and camera image fusion for 3d lidar semantic segmentation
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
JP5294343B2 (ja) 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置
US10366307B2 (en) Coarse-to-fine search method, image processing device and recording medium
JP6127219B2 (ja) 顔画像のデータから顔特徴を抽出する方法、およびシステム
CN113705588A (zh) 基于卷积自注意力模块的孪生网络目标跟踪方法与***
KR20220143725A (ko) 2차원 이미지들로부터 3차원 객체 모델들의 생성
JP2021518622A (ja) 自己位置推定、マッピング、およびネットワークトレーニング
CN111950477B (zh) 一种基于视频监督的单图像三维人脸重建方法
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN103559693A (zh) 一种基于非连续性指示符的图像局部结构自适应复原方法
CN106327422A (zh) 一种图像风格化重建方法及装置
Bian et al. Bi-sparsity pursuit for robust subspace recovery
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
CN111753670A (zh) 注意力修复和关键点检测迭代协同的人脸超分方法
CN115063768A (zh) 三维目标检测方法、编码器及解码器
Liu et al. Translo: A window-based masked point transformer framework for large-scale lidar odometry
Lu et al. HFENet: A lightweight hand‐crafted feature enhanced CNN for ceramic tile surface defect detection
CN113255569B (zh) 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN110942083A (zh) 拍摄装置以及拍摄***
CN108228823A (zh) 一种高维图像数据降维的二值编码方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant