CN112598749B - 大场景非共同视野多相机标定方法 - Google Patents

大场景非共同视野多相机标定方法 Download PDF

Info

Publication number
CN112598749B
CN112598749B CN202011518342.4A CN202011518342A CN112598749B CN 112598749 B CN112598749 B CN 112598749B CN 202011518342 A CN202011518342 A CN 202011518342A CN 112598749 B CN112598749 B CN 112598749B
Authority
CN
China
Prior art keywords
camera
unmanned aerial
aerial vehicle
coordinate system
calibrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011518342.4A
Other languages
English (en)
Other versions
CN112598749A (zh
Inventor
戴玉超
王凯铎
邓辉
项末初
沈守刚
何明一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202011518342.4A priority Critical patent/CN112598749B/zh
Publication of CN112598749A publication Critical patent/CN112598749A/zh
Application granted granted Critical
Publication of CN112598749B publication Critical patent/CN112598749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种大场景非共同视野多相机标定方法，在测试区域布置若干标志物，测定标志物的世界坐标系位置；利用云台相机对标志物进行观测，待标定的各台相机对云台相机进行观测；通过对标志物的观测计算云台相机在世界坐标系下的真实三维轨迹；利用时间戳对应出现在每台待标定相机视野中的云台相机轨迹段，求解待标定相机在世界坐标系下的精确位姿；对各台待标定相机在世界坐标系下的位姿做矩阵变换，获得任意两个相机间的外参数矩阵。本发明简便快捷，无需专门布置实验场地即可完成相机外参数的标定，能够实现对更大规模场景的视觉覆盖。

Description

大场景非共同视野多相机标定方法
技术领域
本发明属于计算机视觉问题中的相机外参数标定方法，尤其是多个相机之间外参数标定的方法。
背景技术
目前对于大场景的多相机标定方法均需要相机具有共同视野。
一种类别的方法是获取多个相机采集的同一场景的图像对，对序列图像分别提取特征点，再进行特征点对之间的匹配，从而利用多视角几何的知识获取多个相机之间的旋转矩阵与平移向量，即外参，再利用其他多种方法对外参进行优化。
另一类方法的实施需要在场地内设置多个角度的显著标志物，如光球、标定板等，标志物需要处于所有相机的视野内，从而对全局的相机外参获得一个较为准确的估计。
第一类方法较难对序列图像进行准确的特征点提取以及特征点对的匹配。现有的特征点提取方法对于光照强度的变化以及环境纹理的要求较高，需要满足光照一致性假设，同时需要纹理丰富的背景从而获得质量较好的角点。在成功提取特征点后，特征匹配同样对环境提出了较高的要求，在重复结构较多或者特征较少的环境中，特征匹配的准确性完全无法保证，会出现非常多误匹配的情况。即使各种方法在完成特征提取和匹配后又通过优化方法对于相机的外参数进行了调整优化，但也只是治标不治本，没法从根本上克服这类方法对于环境的高要求。
在实际应用场景中，很多测试、实验需要将多台相机摆放在一个规模非常大的场地，例如草原、山坡、公路等。这一类场景的明显特点就是有效特征较少，移动物体引入的有害特征噪声较多，这对特征提取模块提出了非常大的挑战。同时测试环境包含大量的高相似度背景，例如不同相机在不同角度下观测到的草原并没有显著差异，这使得特征匹配模块非常容易出现误匹配问题。由于测试环境的规模较大，再考虑到地形可能发生的变化，每个相机所看到场景的光照条件也会发生较为剧烈的变化，这对特征匹配的干扰尤为剧烈。考虑到以上常见测试场景对于第一类方法所带来的巨大挑战，第一类方法并不能对相机之间的外参数获得一个准确的估计。
第二类方法通过在场地中悬挂或摆放或通过其他方式让显著性标志物，如灯秋、标定板等，处于所有相机的视野内，从而实现对多个相机外参数的标定。这一方法在理论上的确能够解决第一类方法特征提取噪声多、特征匹配容易误匹配的问题。
然而在实际中，这类方法的应用难度非常之大。首先在场地中摆放显著性标志物，需要让标志物出现在所有的相机视野中，才能完成相机外参的标定，对于草原、沙漠等规模非常大的测试场地，如果需要用多个相机覆盖一片较大的区域，那么理论上讲显著性标志物的尺寸将需要非常大，一块平整不弯曲的标定板的成本目前仍旧很高且这类方法对于标定板尺寸的要求甚至将会使这种方法变为理论不可行的方法。其次悬挂显著性障碍物同样具有上述问题，如果再考虑到地形对于悬挂标志物难度的影响，此类方法的成本和难度将会进一步加大。早先有方法提出用无人机悬挂标志物，通过无人机携带的GPS获取标志物的坐标，从而对相机外参数进行标定。但其实民用GPS的精度只在10m的级别，高精度差分式GPS由于体积较大也无法应用在民用旋翼无人机上，因此通过这种方法虽然解决了上述问题，但也引入了外参估计误差较大的问题。
最后，上述两类方法还有一个共同的难以克服的瓶颈问题，便是需要多个相机具有共同视野。第一类方法的实现是通过对共同视野内特征的匹配估计相机外参，第二类方法的实现是通过对共同视野内的显著标志物观测利用多视角几何估计相机外参。
然而在实际测试中，大场景测试环境很难做到所有相机均有共同视野。共同视野的提出将显著降低相机对测试场景的覆盖率，也将很大程度上限制相机的摆放角度和摆放位置。在一些大规模场景下，如果再考虑地形起伏，如山坡，对测试***的影响，将所有相机放置在具有共同视野的位置基本上是不可能的任务。
发明内容
为了克服现有技术的不足，本发明提供一种基于移动物体的室外大场景非共同视野多相机标定方法，多相机的摆放位置将更加自由多变，多相机外参数的估计也将更为准确，实际测试环境的可行性更强。
本发明解决其技术问题所采用的技术方案包括以下步骤：
在测试区域布置若干标志物，并对标志物的世界坐标系位置进行测定；
利用云台相机对标志物进行观测，待标定的各台相机对云台相机进行观测，云台相机和待标定各相机之间相互通信，对齐图像数据的时间戳；
通过对标志物的观测计算云台相机在世界坐标系下的真实三维轨迹；利用时间戳对应出现在每台待标定相机视野中的云台相机轨迹段，求解待标定相机在世界坐标系下的精确位姿；
对各台待标定相机在世界坐标系下的位姿做矩阵变换，获得任意两个相机间的外参数矩阵。
所述的标志物印有ArUco编码，相邻标志物之间距离不大于10m。
所述的标志物采用精度达到毫米级的差分GPS进行位置测定。
所述的云台相机搭载在无人飞行器上，待标定的各台相机对无人飞行器进行观测。
所述的待标定相机在世界坐标系下的精确位姿利用PnP模型求解。
本发明的有益效果是：
地面标志物采用ArUco信息编码，避免了先前问题特征点提取噪声过多的问题，能够准确快速的提取到地面标志物的信息。
在解算得到无人机三维飞行轨迹后，无人机对于所有相机相当于已知位置的特征。将无人机图像与相机图像时间戳对齐后，无需多个相机具有共同视野即可实现各相机外参数的标定。这解决了之前所有方法要求相机具有共同视野的瓶颈。无共同视野的多个相机能够实现对更大规模场景的视觉覆盖。
无人机观测地面标志物，相机观测空中无人机。无人机本质上作为中继标志物，相比于悬挂其他巨型标志物，具有机动性强，灵活性高的特点。无需专门布置实验场地即可完成相机外参数的标定。同时已知轨迹的无人机作为中继标志物也避免了先前方法在相似结构、重复结构场景下特征误匹配的问题。
得益于更加简单的场地布置和中继特征的发明思路，整个基于移动物体的室外大场景非共同视野多相机标定***可以在30分钟内实现对所有相机之间的外参数标定。
附图说明
图1是无人机轨迹获取***流程图；
图2是本发明的方法流程图；
图3是实施例的实验场景图；
图4是飞行物三维轨迹图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明在大规模复杂场景中利用旋翼无人机机动性强，自由度高的特点，将无人机作为中继目标辅助***完成多相机外参数的标定。同时为了解决需要共同视野的问题，本发明在地面放置显著标志物确定无人机位置，再通过多相机视角下无人机的位置解算多相机外参数矩阵。***运行流程如图1所示。
本发明主要分为无人机三维世界真实轨迹获取、多相机外参数解算两个主要部分。具体技术方法如下：
1.无人机三维世界真实轨迹获取
在测试场地上均匀摆放印有ArUco编码的标志物，相邻标志物之间距离不大于10m，摆放越密集数量越多，***最终解算出的无人机真实轨迹精度越高。在地面使用差分GPS测量地面标志物的GPS坐标，差分GPS能够达到毫米级定位精度。旋翼无人机在飞行过程中挂载云台相机对地面标志物进行观测，利用多视角几何的方法间接通过地面标志物的坐标获得无人机的高精度三维世界坐标。
地面显著标志物使用若干ArUco码，ArUco码的原理类似于二维码，是一种带有方向编码信息的特殊码，被广泛应用于虚拟现实、相机标定中。ArUco码的丰富角点信息可以避免特征提取中有效特征少、有害移动噪声干扰的问题。
同时每个ArUco码具有唯一的ID标识。获取无人机对地观测数据后，使用ArUco码检测程序提取ArUco码的信息标识，信息标识一一对应之前测量过的高精度差分GPS坐标，从而巧妙避免了高相似度场景下特征匹配的重复结构误匹配问题。
依据相机几何模型，由ArUco码角点的三维GPS坐标及角点在云台相机图像中的二维像素坐标，解算出云台相机相对于GPS坐标系的位姿，即可完成像素坐标系到世界坐标系间的转化，求解出空中无人机的GPS坐标。
在该模块中，利用云台相机对ArUco码的观测视频信息，即可恢复出无人机在三维世界的高精度真实轨迹。这避免了民用GPS精度低的问题，间接的将差分式GPS应用在了无人机上。
2.多相机外参数解算
在无人机对地观测显著标志物时，测试场景中外参待标定的所有地面相机同时运行，对空中无人机进行观测。对于非共同视野的多个相机，无人机会逐渐出现或消失在每个相机的视野中。在该模块中，无人机将作为地面多个相机的显著性标志物。
通过无人机三维世界真实轨迹获取模块解算出无人机轨迹后，可以获得任意时刻无人机在世界坐标系下的三维坐标。地面***与无人机之间通过通信对齐时间戳，从而建立每一个时刻下，无人机的三维坐标与其在各个相机像素坐标系下二维坐标的映射关系。通过该映射关系即可解算出各个相机在世界坐标系下的坐标，从而获得多相机之间的外参数估计。
解算方法采用3D-2D PnP模型。PnP模型在本问题中就是在已知世界坐标系下N个无人机轨迹点的真实坐标以及这些空间点在图像上的投影的条件下，如何计算相机所在的位姿。PnP问题的求解可以采用诸如直接线性变换(DLT)或光束法平差(BundleAdjustment)等方法。上述求解PnP问题的方法在各计算机视觉算法库中已经开发的十分成熟并高度封装，此处不再赘述具体计算过程。
经过上述两个模块后，各个相机在世界坐标系下的位置姿态均已获得，通过简单地矩阵变换即可获得任意两个相机间的外参数矩阵。***整体算法流程如图2所示。
本发明的实施例中，在草原上200x200m规模的场地下，无人机以40m高度飞行，摆放6个ArUco码实现对四个非共同视野相机的外参数标定。整个外参数流程标定时间不超过20分钟，效率较高。实验场景如图3所示。
在实现四台相机外参数标定后，即可对飞入相机覆盖区域(200x200m)的飞行物进行识别跟踪，并重建出飞行物飞行的三维轨迹。重建后的三维轨迹如图4所示。

Claims (4)

1.一种大场景非共同视野多相机标定方法，其特征在于，包括以下步骤：
云台相机搭载在无人飞行器上，待标定的各台相机对无人飞行器进行观测；
在测试区域布置若干标志物，并对标志物的世界坐标系位置进行测定；
利用云台相机对标志物进行观测，待标定的各台相机对云台相机进行观测，云台相机和待标定各相机之间相互通信，对齐图像数据的时间戳；
通过对标志物的观测计算云台相机在世界坐标系下的真实三维轨迹；其中，依据相机几何模型，由ArUco码角点的三维GPS坐标及角点在云台相机图像中的二维像素坐标，解算出云台相机相对于GPS坐标系的位姿，即可完成像素坐标系到世界坐标系间的转化，求解出空中无人机的GPS坐标；在该模块中，利用云台相机对ArUco码的观测视频信息，即可恢复出无人机在三维世界的高精度真实轨迹；
利用时间戳对应出现在每台待标定相机视野中的云台相机轨迹段，求解待标定相机在世界坐标系下的精确位姿；
对各台待标定相机在世界坐标系下的位姿做矩阵变换，获得任意两个相机间的外参数矩阵；其中，在无人机对地观测显著标志物时，测试场景中外参待标定的所有地面相机同时运行，对空中无人机进行观测；对于非共同视野的多个相机，无人机会逐渐出现或消失在每个相机的视野中；在该模块中，无人机将作为地面多个相机的显著性标志物；通过无人机三维世界真实轨迹获取模块解算出无人机轨迹后，获得任意时刻无人机在世界坐标系下的三维坐标；地面***与无人机之间通过通信对齐时间戳，从而建立每一个时刻下，无人机的三维坐标与其在各个相机像素坐标系下二维坐标的映射关系；通过该映射关系即可解算出各个相机在世界坐标系下的坐标，从而获得多相机之间的外参数估计。
2.根据权利要求1所述的大场景非共同视野多相机标定方法，其特征在于，所述的标志物印有ArUco编码，相邻标志物之间距离不大于10m。
3.根据权利要求1所述的大场景非共同视野多相机标定方法，其特征在于，所述的标志物采用精度达到毫米级的差分GPS进行位置测定。
4.根据权利要求1所述的大场景非共同视野多相机标定方法，其特征在于，所述的待标定相机在世界坐标系下的精确位姿利用PnP模型求解。
CN202011518342.4A 2020-12-21 2020-12-21 大场景非共同视野多相机标定方法 Active CN112598749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011518342.4A CN112598749B (zh) 2020-12-21 2020-12-21 大场景非共同视野多相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011518342.4A CN112598749B (zh) 2020-12-21 2020-12-21 大场景非共同视野多相机标定方法

Publications (2)

Publication Number Publication Date
CN112598749A CN112598749A (zh) 2021-04-02
CN112598749B true CN112598749B (zh) 2024-02-27

Family

ID=75199471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011518342.4A Active CN112598749B (zh) 2020-12-21 2020-12-21 大场景非共同视野多相机标定方法

Country Status (1)

Country Link
CN (1) CN112598749B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116772739B (zh) * 2023-06-20 2024-01-23 北京控制工程研究所 一种大尺寸结构真空环境内的变形监测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和***
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机***的标定方法、多相机***及终端设备
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法
CN110782496A (zh) * 2019-09-06 2020-02-11 深圳市道通智能航空技术有限公司 标定方法、装置、航拍设备和存储介质
CN110992429A (zh) * 2019-11-12 2020-04-10 武汉华中天经通视科技有限公司 一种单一场景大视场相机外参数标定方法
CN111754579A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 多目相机外参确定方法及装置
WO2020237574A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 相机的内参及相对姿态的标定方法、装置、无人机和存储装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051000B2 (en) * 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766292A (zh) * 2014-01-02 2015-07-08 株式会社理光 多台立体相机标定方法和***
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机***的标定方法、多相机***及终端设备
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法
CN111754579A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 多目相机外参确定方法及装置
WO2020237574A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
CN110189382A (zh) * 2019-05-31 2019-08-30 东北大学 一种基于无共视区域的多双目相机运动标定方法
CN110782496A (zh) * 2019-09-06 2020-02-11 深圳市道通智能航空技术有限公司 标定方法、装置、航拍设备和存储介质
CN110992429A (zh) * 2019-11-12 2020-04-10 武汉华中天经通视科技有限公司 一种单一场景大视场相机外参数标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨景豪.大视场视觉测量***标定方法研究.《中国博士学位论文全文数据库 信息科技辑》.2018,(第12期),全文. *

Also Published As

Publication number Publication date
CN112598749A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Gerke et al. Accuracy analysis of photogrammetric UAV image blocks: Influence of onboard RTK-GNSS and cross flight patterns
CN112525162B (zh) 一种无人机测量输电线路影像距离的***及方法
Ravi et al. Simultaneous system calibration of a multi-lidar multicamera mobile mapping platform
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
ES2646915T3 (es) Detección de características de las nubes
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合***及方法
CN107300377B (zh) 一种绕飞轨迹下的旋翼无人机三维目标定位方法
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN109739254A (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN109920000B (zh) 一种基于多相机协同的无死角的增强现实方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
Bybee et al. Method for 3-D scene reconstruction using fused LiDAR and imagery from a texel camera
Liu et al. A high-accuracy pose measurement system for robotic automated assembly in large-scale space
CN112598749B (zh) 大场景非共同视野多相机标定方法
Elbahnasawy et al. Multi-sensor integration onboard a UAV-based mobile mapping system for agricultural management
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN112884832B (zh) 一种基于多目视觉的智能小车轨迹预测方法
Cheng et al. Monocular visual based obstacle distance estimation method for ultra-low altitude flight
CN114972524A (zh) 大尺度无共视相机外参标定方法
CN114926552A (zh) 一种基于无人机图像计算像素点高斯坐标方法及***
CN113720331A (zh) 多相机融合的无人机建筑物内导航定位方法
Trusheim et al. Cooperative localisation using image sensors in a dynamic traffic scenario
Agrawal et al. RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth
CN116843747B (zh) 相机与激光雷达的标定方法以及标定***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant