CN114742894A - 一种大场景下多相机标定方法、信息处理终端及存储介质 - Google Patents

一种大场景下多相机标定方法、信息处理终端及存储介质 Download PDF

Info

Publication number
CN114742894A
CN114742894A CN202210262348.2A CN202210262348A CN114742894A CN 114742894 A CN114742894 A CN 114742894A CN 202210262348 A CN202210262348 A CN 202210262348A CN 114742894 A CN114742894 A CN 114742894A
Authority
CN
China
Prior art keywords
camera
algorithm
points
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210262348.2A
Other languages
English (en)
Inventor
李静
洪世宽
蒋昱麒
代嫣冉
潘浩喆
韩锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210262348.2A priority Critical patent/CN114742894A/zh
Publication of CN114742894A publication Critical patent/CN114742894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉下的多视图几何技术领域，公开了一种大场景下多相机标定方法、信息处理终端及存储介质，对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。本发明中算法对大场景中纹理相似和纹理稀疏的适应能力。极大提高了标定的精度。可实现大场景下的高精度多相机位姿标定。本发明通过对布局进行平面建模和球心坐标求解，获得转换矩阵。以上两种方式互相补充，增强坐标系配准算法的易用性。

Description

一种大场景下多相机标定方法、信息处理终端及存储介质
技术领域
本发明属于计算机视觉下的多视图几何技术领域，尤其涉及一种大场景下多相机标定方法、信息处理终端及存储介质。
背景技术
目前，计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
在开放大场景中，相机采用远距离分散部署方式，这给高精度相机位姿估计带来巨大的挑战。目前相机位姿标定过程中一般通过放置显著标志物来获取相机位姿，但是显著标志物存在需要权衡制作难度和大场景下可见性的问题，同时伴随着使用时间的增长，显著标志物存在磨损，进而影响标定精度的问题。
为了克服标志物标定的缺点，目前专利“基于多张相片的相机自标定方法及其装置”提出了一种利用场景信息进行相机位姿的标定。专利“自动标定相机外参的方法及***”提出了结合特定场景中的车道信息进行相机位姿标定。但是以上专利提出的方法并无法完全解决大场景情况，仍存在三个问题需要解决。首先，在纹理信息相似场景下，会出现错误匹配的情况，如何研究一种高效的滤除错误匹配算法至关重要。其次，在低纹理情况下，提取出的特征点约束信息不够，进而对相机位姿约束方程不够，因此解算出来的相机位姿精度低或无法结算出相机位姿。最后，通过自标定算法得到的相机位姿处于自标定坐标系下，并没有转换到真实的世界坐标系，需要设计一种通过场景约束信息来高效转换坐标系的方法。因此，需要针对大场景设计一种高效率高精度的多相机标定算法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有技术在各视角图像歧义匹配过滤上，由于相似纹理产生歧义，使匹配时标定精度低。
(2)现有技术在弱纹理图像信息增强上，不能避免同一区域特征点过于稠密情况的发生，使得在弱纹理下的标定精度很低。
(3)现有技术在图像坐标系配准上，现有增强坐标系配准方法互补性差，使得配准图像准确度低。
发明内容
针对现有技术存在的问题，本发明提供了一种大场景下多相机标定方法、信息处理终端及存储介质。
本发明是这样实现的，一种大场景下多相机标定方法包括：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
进一步，所述进行歧义匹配滤波包括：在大场景的多相机标定中，利用广度优先搜索建立估计信息，通过场景一致性、惩罚同步性、长度加权性划分场景中轨迹为独特轨迹和歧义轨迹，并获得各视角图像的独特轨迹占比；通过搜索各视角图像的邻居节点进行独特轨迹占比评分度量，依据独特轨迹占比评分度量进行轨迹滤波。
进一步，所述场景聚类算法包括：一组图像表示为I＝{I1,…,In}，每幅图像上可见轨迹为Ti；标志性图像轨迹集合定义为
Figure BDA0003550993330000021
歧义轨迹定义为
Figure BDA0003550993330000031
独特轨迹定义为TU＝TA-TC；定义标志性图像集合为U；场景一致性准则为：
Figure BDA0003550993330000032
尽量的多；惩罚同步性准则为：
Figure BDA0003550993330000033
尽量的小；长度加权性准则为：定义度量函数为：
Figure BDA0003550993330000034
Figure BDA0003550993330000035
上式中的两个度量函数在一开始为0，随着图像的遍历，选择最大的R(U)和R(Uscore)作为初始集合，再在剩余图像中依次寻找此大值，直至TA占比超过整幅图像的比例阈值；并从聚合轨迹里分离出各幅图像的独特轨迹；
所述去除异常轨迹算法包括：在生成独特轨迹后，利用独特轨迹进行判定是否当前图像匹配对能保留，筛选规则为：
Figure BDA0003550993330000036
上式中uniqueTrackij为uniqueTracki和uniqueTrackj的交集。
进一步，所述不同融合模式包括区域选择的融合以及过滤策略的融合；所述区域选择的融合包括：
对多时刻图像进行语义分割，获得人体语义信息内匹配关系所对应的特征点；将多时刻语义先验特征点融合到参考时刻上；
所述过滤策略的融合包括去除融合多时刻语义先验内匹配关系中的假阳性点和在融合时去除冗余重复点；
所述去除融合多时刻语义先验区域内中的假阳性点，即外点，过程包括：
(1)首先随机选择满足图像双视角模型的最小点数，其中H矩阵最小需要4对点，F矩阵组最小需要8对点；
(2)根据选择的点计算模型M，并根据对称转移误差选择使用何种模型；
(3)计算所有点中符合该模型的内点数；对RANSAC算法筛选内点进行动态阈值更新，更新公式为：
Figure BDA0003550993330000041
用当前模型衡量点的相似性作为损失项加入到总损失计算中；
(4)将totalCost与记录的最小minCost进行判断，选择最小损失时的内点位置坐标；
(5)重新使用记录的内点更新M模型，然后迭代上述步骤(1)～步骤(4)。
进一步，所述ICP配准算法包括：1)对稀疏的三维点云位姿进行稠密三维点云重建，得到场景的稠密点云信息；手工选择稠密点云中的至少四个稠密点云坐标，计为P＝p1,…,pn，此时获得的坐标即为自标定坐标系下的坐标；
2)采用三角化恢复自标定坐标系下的三维世界坐标；
3)在真实场景中，按照规定好的坐标系，选定与稠密点云或三角化对应点的真实世界点坐标，计为
Figure BDA0003550993330000042
4)利用欧式变换s,R,t使得：
Figure BDA0003550993330000043
使用迭代最近点(IterativeClosest Point,ICP)进行求解。
(3a5)最近点求解：计算两组对应点的质心位置
Figure BDA0003550993330000044
然后计算每个点的去质心坐标：
qi＝pi-p,q′i＝p′i-p′
定义损失函数，转换为优化问题进行求解旋转矩阵：
Figure BDA0003550993330000045
根据上式求解出来的R矩阵来计算t矩阵，t*＝p-Rq′；恢复对应的尺度信息：
psub＝pi-pi+1
p′sub＝p′subi-p′subi+1
Figure BDA0003550993330000051
通过
Figure BDA0003550993330000052
来进行坐标系配准。
进一步，相机构型的配准算法相包括：
(I)设定相机布设位置的球心坐标世界坐标系的原点，定义为Pballcenter；
(II)根据相机部署构型，选择处于同一平面且与场景地面保持平行的相机，并根据自标定坐标系的相机外参，求解出相机光心所处位置的世界坐标为：
Figure BDA0003550993330000053
(III)对所有处于同一平面的点进行平面拟合，确定平面参数方程及垂直平面的法向量；
(IV)根据球心坐标和垂直平面的法向量生成旋转矩阵；
(V)恢复尺度scale和平移矩阵T，输出最终配准矩阵进行坐标系配准。
进一步，所述的大场景下多相机标定方法具体包括以下步骤：
步骤1，特征提取和匹配验证；
步骤2，歧义匹配滤波；
步骤3，弱纹理的语义信息融合
步骤4，图像连接图的构建：将多幅图像之间的匹配关系联系到一起；
步骤5，初始化：将要选择匹配点数足够多的两视角，选择的匹配点大于50对；两视角之间三角化夹角大于5°；H矩阵的匹配点数少于总点数的60％；成功三角化的匹配对大于50％；
步骤6，图像注册：在所有未进行相机位姿估计的视角图中选择与当前重建相机位姿可见Tracks数最多的作为新的视角；采用RANSAC-PnP算法求解出新的相机位姿；在确定相机位姿后，当前相机视角和其余已估计相机位姿视角进行三角量测，重建出新的三维世界点；
步骤7，三角化：通过已知相机位姿参数和匹配点恢复三维点的坐标；
步骤8，捆绑调整优化：将每个世界点重投影到图像平面上，构建重投影误差损失函数，迭代优化相机姿态和特征点的三维空间点位置，使收束到相机的光心上；
步骤9，度量重构的坐标系配准：通过匹配滤波和语义信息融合后，再通过增量式运动恢复结构估算出相机位姿；
步骤10，经过轨迹聚类、语义信息融合、位姿配准，估算出的相机位姿。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
本发明的另一目的在于提供一种相机，所述相机执行如下步骤：对大场景标定中，利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
针对大场景下相似纹理出现错误匹配的问题，本发明研究的轨迹聚类算法可有效滤除错误匹配，以提高估算相机位姿的精度。具体在广度优先搜索建立轨迹信息时，将轨迹长度小于3的轨迹信息进行滤除，提升较长轨迹的占据比例。在轨迹聚类时，采用贪心算法选择标志图像，即优先选择当前视角可见轨迹最多作为标志性视角图像，设置系数为0.1以确保独特轨迹数量多于歧义轨迹数量，并以轨迹长度作为惩罚项，以减少长轨迹中错误匹配点的比例。最后以独特轨迹占比所有轨迹的0.9为贪心算法结束条件。在过滤歧义匹配时，以0.15作为错误匹配的阈值，将独特轨迹占比系数小于0.15的错误匹配关系对滤除。最终本发明算法在冰球场上进行验证，环绕场景的19个相机，未消除错误匹配前标定出10个相机，并存在部分错误估算的相机位姿。滤除错误匹配后，19个相机完全标定出来，并且相机估算位姿的精度得到大幅度提升。
针对大场景下的弱纹理约束信息不充足的问题，本发明研究的语义信息融合算法可有效增强约束信息，提高估算相机位姿时的约束方程数量，进而提高估算相机位姿的精准性。本算法针对不同场景融合不同的时刻数，在篮球场景中，纹理信息较稀疏，采用5个时刻数据即可估算出准确的相机位姿。在冰球场景中，需采用10个时刻数据才能估算出较为准确的相机位姿。在语义融合多时刻数据时，融合过程中需要对冗余内点进行滤除。具体分为六种情况，(1)领域范围内没有其它点，证明此时领域内没有特征点覆盖，则加入此融合点。(2)在融合点一个较小距离范围内有一个原始点，该距离阈值一般设为1，证明已经有特征点覆盖此领域，此种情况丢弃融合点。(3)在融合点范围内较长距离内有一个原始点，覆盖点距离当前区域较远，此种情况加入融合点。(4)当待融合点与最近距离点和次近点距离点的差异较大时，同时与最近点距离大于1时，此时证明当前领域内附近只有1个相似点，添加融合点。(5)在融合点与最近邻点和次近邻点距离比较相似时，同时两者之间的距离阈值设为2，此时不添加融合点。(6)融合点附近有两个距离相似的点，同时距离阈值超过2时，此时添加融合点。在去除融合点算法中，邻域范围r设为5，距离相似比阈值为0.8。同时需要对融合后的匹配关系点对进行二次RANSAC去除，去除存在的外点。在去除外点过程中，阈值根据当前内点的数量经行动态更新，尽量消除阈值的影响。本节算法在篮球场景和冰球场景进行了数据验证，绝对位姿误差和相对位姿误差的均方误差均降低到1以内。同时融合多时刻语义信息后的稀疏三维点数量得到有效扩充。融合5时刻的篮球场景中三维点数量扩充到16568个，单时刻篮球场数据三维点数量为9520个。融合10时刻的冰球场中三维点数量扩充到19940个，单时刻的三维点数量为6523个。以上可有效证明本发明中语义信息融合算法的有效性。
针对坐标系配准算法，基于ICP的配准算法适用性较强，可适用任何场景，但是需要人工建立标定坐标系和真实世界坐标系的三维点对，进而求解出配准矩阵。基于相机构型的配准算法，适用于比较常见的环绕式相机布局。该算法只需提供相机布局环绕点的半径，即可自动求解出配准矩阵，无需人工建立对应关系。以上两种算法在篮球场景、冰球场景、舞蹈场景中进行了验证，证明不会引入二次误差，并极大增强了本发明的实际应用性。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
在歧义匹配过滤方面，本发明设计了一种轨迹聚类算法，它通过广度优先搜索建立估计信息，然后通过场景一致性、惩罚同步性、长度加权性来划分场景中轨迹为独特轨迹和歧义轨迹，旨在获得各视角图像的独特轨迹占比。通过搜索各视角图像的邻居节点进行独特轨迹占比评分度量，依据度量进行轨迹滤波，减轻由相似纹理产生歧义匹配对标定精度的影响。
在弱纹理信息增强方面，本发明首先选择场景中的人物作为显著场景区域进行匹配关系点融合，从而达到增强约束信息的作用。其次在融合匹配关系对时，针对融合的外点和内点进行了优化，在滤除外点时针对随机采样一致性(RANSAC)对阈值过于敏感的问题，自适应修改阈值以减轻阈值对***性能的影响。在冗余重复内点过滤上，通过领域搜索算法对不同程度的内点进行过滤，避免同一区域特征点过于稠密情况的发生。通过以上措施，增强了标定算法在弱纹理下的标定精度。
对于坐标系配准方面，本发明面向不同的场景提出了基于ICP配准算法和以相机构型为先验的配准算法。基于ICP的配准算法通过三角化获取标定坐标系下的世界坐标，将此世界坐标与真实世界坐标系下的世界坐标相关联，求解转换矩阵。结合相机构型的配准算法主要针对环绕式布局，通过对布局进行平面建模和球心坐标求解，获得转换矩阵。以上两种方式互相补充，增强坐标系配准算法的易用性。
仿真实验表明：本发明中算法对大场景中纹理相似和纹理稀疏的适应能力。极大提高了标定的精度。可实现大场景下的高精度多相机位姿标定。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
本发明的技术方案填补了国内外业内技术空白：目前针对大场景下存在的相似纹理错误匹配和弱纹理约束信息少的问题，目前常见的解决方案为场景中摆放纹理信息丰富标志物、采用基于深度学习的方法提高对特征点的提取匹配能力、或者融合多时刻的特征点信息。以上三种方案分别存在局限性：方案一：纹理丰富的标志物需要特殊定制，不易于运输搬运，其次采用此种标志物进行标定限制了本算法的使用场景，当相机不朝向地面时，无法放置纹理标志物。方案二：基于深度学习的方法提取的特征点与深度学习数据集分布密切相关，当场景分布与数据集分布不一致时，提取特征点的位置将存在较大偏差。其次采用深度学习方法提取特征点时，特征点数量与阈值设定相关，无法较好的确定阈值系数。方案三：基于特征点融合的方案，在融合过程中容易引入错误特征点，进而产生错误匹配，从而对后端优化部分有较大的要求，精度难以保证。同时以上三种方案都没有针对错误匹配提出有效的解决方案。
本发明提出的算法融合多时刻过滤后的匹配关系，既可保证融合信息消除错误匹配，也能扩充约束方程数量。同时本发明在融合时，以场景中运动人物主体为融合信息，去除了纹理标志物的约束，极大扩充了本发明的应用场景。同时本发明还贡献了两种坐标系配准算法，使得估算出的相机位姿快捷的转换到真实世界坐标系中，使本发明的易用性进一步提高。
本发明的技术方案克服了技术偏见：目前基于显著性标志物的标定算法是目前来说比较可信，标定精度较高的算法。过往对基于运动式恢复结构标定出的相机位姿结果是不太信任其精度的。本发明在实验中验证对比了相机位姿估算精度，证明了本发明算法的估算相机位姿是不弱于基于显著标志物的标定算法，并且估算出的相机位姿也可满足大场景的下的需求。
附图说明
图1是本发明实施例提供的大场景下多相机标定方法流程图；
图2是本发明实施例提供的以基于轨迹聚类和语义信息融合的大场景下多相机标定方法为例的整体方法流程图。包括特征提取与匹配、轨迹滤波、多时刻语义信息融合、位姿估计、坐标系配准模块，最终输出相机位姿；
图3是本发明实施例提供的聚类算法原理图，该算法主要分为轨迹建立、轨迹聚类、轨迹滤波；
图4是本发明实施例提供的语义信息融合过滤算法原理图，该算法主要分为匹配关系外点过滤和匹配关系融入重复内点过滤；
图5是本发明实施例提供的坐标系配准算法原理图，主要分为基于ICP的配准算法和相机构型先验信息配准算法；
图6是本发明实施例提供的是多时刻语义信息融合估算相机位姿效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明提供的大场景下多相机标定方法包括：
S101，歧义匹配滤波：在大场景的多相机标定中，重复结构会引起歧义的匹配。
S102，弱纹理的语义信息融合：单一的纹理比较难提取出足够数量的特征点，从而导致约束方程不足以解算出较好的相机位姿。当场景中约束点不充足时，可以借助人物移动过程中产生的语义信息，将这些语义匹配信息融合到一起，进而提高约束点数量，从而确保解算出较好的相机位姿。
S103，通过基于ICP的配准算法和采用相机构型先验信息的配准算法进行坐标系配准：通过匹配滤波和语义信息融合后，再通过增量式运动恢复结构就能估算出相机位姿。
下面本发明以基于轨迹聚类和语义信息融合的大场景下多相机标定方法为例，对本发明的技术方案作进一步描述。
本发明提供一种基于轨迹聚类和语义信息融合的大场景下多相机标定方法包括以下步骤：步骤1，特征提取和匹配验证：当输入一组无序图像时应首先对所有图像进行特征点提取，对特征点的要求有两点，首先是差异性：特征点应该呈现出区别于非特征点的明显特征。其次是重复性：对应同一三维点的特征点应该在不同视角中被重复检测到。本专利中算法采用SuperPoint算法提取场景中的显著特征点，并生成特征点的描述子。该描述子可为每个特征点提供独特的身份认证，并能保证同一空间点在不同视角的特征点具有高度相似的描述子，不同特征点的描述子差异性比较大，同时一般描述子为一个向量。本算法采用SuperGlue进行特征匹配。具体(见图2)中的特征提取与特征匹配模块，实现多时刻多视角图像的信息提取。
通过两幅图像中的特征描述子来计算匹配关系，并进行双视图几何验证。
步骤2，歧义匹配滤波：在大场景的多相机标定中，重复结构会引起歧义的匹配。整体处理过程(见图2)中的轨迹滤波模块。详细算法设计(见图3)，主要分为建立轨迹信息、轨迹聚类划分两大部分。
(2a)场景聚类算法：
一组图像表示为I＝{I1,…,In}，每幅图像上可见轨迹为Ti。标志性图像轨迹集合定义为
Figure BDA0003550993330000121
歧义轨迹定义为
Figure BDA0003550993330000122
独特轨迹定义为TU＝TA-TC。定义标志性图像集合为U。场景一致性准则为：为了保证尽可能覆盖整个场景，所以要满足U中覆盖的轨迹数尽量多，即
Figure BDA0003550993330000123
尽量的多。惩罚同步性准则为：避免歧义轨迹出现的次数尽量的少，即
Figure BDA0003550993330000124
尽量的小。长度加权性准则为：长轨迹中出现的歧义轨迹的概率较大，需要对长轨迹中的轨迹长度进行惩罚，因此定义度量函数为：
Figure BDA0003550993330000125
Figure BDA0003550993330000126
上式中的两个度量函数在一开始为0，然后随着图像的遍历，选择最大的R(U)和R(Uscore)作为初始集合，之后在剩余图像中依次寻找此大值，直至TA占比超过整幅图像的比例阈值。最后从聚合轨迹里分离出各幅图像的独特轨迹。
(2b)去除异常轨迹算法：
在生成独特轨迹后，就开始利用独特轨迹来进行判定是否当前图像匹配对可以保留，筛选规则如下：
Figure BDA0003550993330000127
上式中uniqueTrackij为uniqueTracki和uniqueTrackj的交集。上述两个公式分别表示两幅图像之间的独特轨迹相似性要尽量大，同时独特轨迹中的长轨迹占比要尽量的小。
步骤3，弱纹理的语义信息融合：单一的纹理比较难提取出足够数量的特征点，从而导致约束方程不足以解算出较好的相机位姿。同时注意到假设在场地周围的相机都是固定视角，而且长时间不会发生运动，并且场景中的人物一直在进行移动。借由上述特性，可以解释为当场景中约束点不充足时，可以借助人物移动过程中产生的语义信息，将这些语义匹配信息融合到一起，进而提高约束点数量，从而确保解算出较好的相机位姿。整体过程(见图2)的匹配关系融合和滤波模块。其中包括过滤外点算法和去除冗点算法，详细过程(见图4)所示。
(3a)区域选择的融合：
场景中的线条确实能检测出很多特征点，但是针对一个大场景下其覆盖范围大部分都是光滑无显著标志物的区域。这些区域所能检测出来的特征点极其稀少。因此从整体分布上理解场景所带来特征点不充足。场景中的人物由于穿着纹理丰富的衣服，带来很丰富的纹理信息。同时伴随人物的移动，就能给整幅场景带来足够充足的特征点，刚好弥补场景纹理稀疏的缺点。
因此在选择融合区域时优先选择人体语义信息，对多时刻图像进行语义分割，获得人体语义信息内匹配关系所对应的特征点。将多时刻语义先验特征点融合到参考时刻上，从而提高约束点数量和约束点区域。进而提高标定的精度。
(3b)过滤策略的融合：融合过滤策略主要包括两部分，第一部分是去除融合多时刻语义先验区域后的假阳性点，即外点，第二部分是在融合时去除冗余重复点。
去除外点主要通过RANSAC算法来进行去重，并且本发明针对传统RANSAC对阈值过于敏感的情况进行了改进。改进RANSAC算法去除外点流程为：
(3b1)首先随机选择满足图像双视角模型的最小点数，其中H矩阵最小需要4对点，F矩阵组最小需要8对点。
(3b2)根据选择的点计算模型M，并根据上文中的对称转移误差选择使用何种模型。
(3b3)计算所有点中符合该模型的内点数。针对此处进行改进，传统的RANSAC算法此处筛选内点策略如下所示：
Figure BDA0003550993330000141
Figure BDA0003550993330000142
上述筛选内点的策略，对于阈值ε过于敏感，阈值过小时容易导致算法不稳定，阈值选择过大时就会导致算法失效。因此针对上式进行改进，补偿阈值的负面影响：
Figure BDA0003550993330000143
上式相当于用当前模型衡量点的相似性作为损失项加入到总损失计算中，减轻了对阈值的依赖，相当于对数据进行了动态阈值更新。
(3b4)将totalCost与记录的最小minCost进行判断，选择最小损失时的内点位置坐标。
(3b5)重新使用记录的内点更新M模型，然后迭代上述步骤。
步骤4，图像连接图的构建：图像连接图是一个无向图，其中顶点表示为图像，边界表示两幅图像之间的共同可见区域。此步是后面估算相机位姿的基础，将多幅图像之间的匹配关系联系到一起。具体(见图2)中的图像连接图构建。
步骤5，初始化：增量式三维重建对初始两帧的选取至关重要。首先要选择匹配点数足够多的两视角，一般选择的匹配点要大于50对。其次要求两视角之间的基线要足够长，即三角化夹角大于5°。一般可对所有匹配点的三角量测角度取均值或中值角度与阈值进行比较即可。然后满足H矩阵的匹配点数尽量少，此处一般要求内点数少于总点数的60％。最后要满足成功三角化的匹配对大于50％。(见图2)中的初始化模块。
步骤6，图像注册：(见图2)中的重建新视角模块，在所有未进行相机位姿估计的视角图中选择与当前重建相机位姿可见Tracks数最多的作为新的视角。因为基于Tracks的3D-2D对应关系，所以便可采用RANSAC-PnP算法求解出新的相机位姿。为了提高对当前新注册视角的鲁棒性，对新注册相机进行相机姿态的非线性优化，进一步调整相机位姿。在确定好相机位姿之后，当前相机视角和其余已估计相机位姿视角进行三角量测，重建出新的三维世界点。
步骤7，三角化：即通过已知相机位姿参数和匹配点来恢复三维点的坐标。
步骤8，捆绑调整优化：由于错误的相机位姿估计会产生错误的三维世界点，同样由于错误的三维世界点同样会产生错误的相机位姿。即将每个世界点重投影到图像平面上，在此过程中构建重投影误差损失函数，在使损失降低的情况下，迭代优化相机姿态和特征点的三维空间点位置，最后使其收束到相机的光心上。
步骤9，度量重构的坐标系配准：通过匹配滤波和语义信息融合后，再通过增量式运动恢复结构就能估算出相机位姿。但是目前相机位姿是处于自标定坐标系下，而且由于自标定时会随机选择XYZ轴的指向，具有不确定性。因此为了保证估算出相机位姿可用，需要将当前相机位姿转换到人为规定的世界坐标系中。本质上就是求解一个T变换矩阵，其中包括三自由度旋转、三自由度平移和尺度。因此可以确定此种变换具有七个自由度，至少需要4对点提供约束方程才能求解出来。此种变换可以理解为伪刚体运动，因为在变换过程中坐标系之间的角度并不会发生变化，但是对应坐标系的尺度会发生改变。具体算法框图(见图5)所示，主要包括基于ICP的配准算法和采用相机构型先验信息的配准算法。
(9a)ICP配准算法：
(9a1)对稀疏的三维点云位姿进行稠密三维点云重建，得到场景的稠密点云信息。手工选择稠密点云中的至少四个稠密点云坐标，计为P＝p1,…,pn，此时获得的坐标即为自标定坐标系下的坐标。
(9a2)第1步中进行的稠密三维点云重建耗费时间较长，不利于实际部署适用。此步也可采用三角化恢复自标定坐标系下的三维世界坐标。因为自标定坐标系下的相机内外参已知，选择两幅或多幅图像的像素坐标，即可三角化恢复出三维世界坐标。
(9a3)在真实场景中，按照规定好的坐标系，选定与稠密点云或三角化对应点的真实世界点坐标，计为
Figure BDA0003550993330000161
(9a4)现需想要找到一个欧式变换s,R,t使得：
Figure BDA0003550993330000162
便可使用迭代最近点(Iterative Closest Point,ICP)进行求解。
(9a5)ICP求解过程：计算两组对应点的质心位置
Figure BDA0003550993330000163
然后计算每个点的去质心坐标：
qi＝pi-p,q′i＝p′i-p′
定义损失函数，转换为优化问题进行求解旋转矩阵：
Figure BDA0003550993330000164
根据上式求解出来的R矩阵来计算t矩阵，即t*＝p-Rq′。下一步就要恢复出尺度信息，只需计算出各自点对之间的距离，通过距离之比，恢复出对应的尺度信息：
psub＝pi-pi+1
p′sub＝p′subi-p′subi+1
Figure BDA0003550993330000165
接下来便可通过
Figure BDA0003550993330000166
来进行坐标系配准。
(9b)相机构型先验信息配准算法：根据事先多相机布局作为先验信息，从而求解出变换矩阵T。在实际相机部署时一般都会采用围绕场地进行环绕部署，因此将依照此例进行算法阐述。场地环绕部署的数学抽象描述为：所有相机假设在一个以球心直径为r的球面上，具体算法流程如下：
(9b1)设定相机布设位置的球心坐标世界坐标系的原点，定义为Pballcenter。
(9b2)根据相机部署构型，选择处于同一平面且与场景地面保持平行的相机，并根据自标定坐标系的相机外参，求解出相机光心所处位置的世界坐标为：
Figure BDA0003550993330000171
(9b3)对所有处于同一平面的点进行平面拟合，确定平面参数方程及垂直平面的法向量。
(9b4)根据球心坐标和垂直平面的法向量生成旋转矩阵。
(9b5)恢复尺度scale和平移矩阵T，输出最终配准矩阵进行坐标系配准。
步骤10，经过轨迹聚类、语义信息融合、位姿配准，最终估算出的相机位姿如(见图6)所示。图中展示了融合不同时刻的效果，可以看出在聚类滤波和融合多时刻语义信息后场景约束信息点不断变多，估算相机位姿丢失情况逐渐消失。进一步证明了本发明的有效性。
图2为本发明的主体框图，主要分为输入图像、特征提取、特征匹配、轨迹滤波、匹配关系融合、图像连接图构建、增量式运动估计、坐标系配准以上步骤。具体过程为：首先输入多时刻多视角图像，然后对图像执行特征提取，获得各个图像的特征点。之后执行特征匹配获得各视角图像之间的匹配点对。轨迹滤波为去除错误歧义匹配。匹配关系融合为将多时刻滤波后的匹配关系进行融合，得到融合后的匹配关系点对。图像连接图构建为将匹配关系点对转换轨迹信息。增量式运动估计为根据轨迹信息进行位姿估计运算，获取最终的相机位姿。坐标系配准步骤为将估算的相机位姿转换到真实世界坐标系下。
图3为图2中的轨迹滤波的详细展开过程。主要分为广度优先搜索建立轨迹信息、轨迹聚类划分、轨迹过滤三个步骤。首先通过广度优先搜索算法将多时刻匹配关系点对转换轨迹信息，方便后文进行进一步处理。然后再轨迹聚类划分阶段，根据场景一致性选择一组标志性图像来代表整个三维场景，然后根据惩罚同步性对标志性图像上的轨迹信息取交集，根据长度加权性，对轨迹长度进行评分，进而确定出独特轨迹和歧义轨迹。最后根据独特轨迹占比进行评分，滤除错误匹配关系。
图4为图2中匹配关系融合的详细展开过程。在融合过程中主要分为两部分，分别为过滤外点和去除冗余内点算法。过滤外点算法首先估算两视角之间关系模型，然后根据对称转移误差选择使用何种模型。在进行阈值判断时，并不需要指定特定阈值，而是根据当前匹配关系对数量自适应选择阈值。然后迭代上述过程，选出所有内点匹配关系点对。去除冗余内点算法为领域去重算法，避免在融合过程中重复添加内点，进而导致特征点分布不均匀的情况发生。具体过程为：融合区域内无原始点时，添加统合点。融合区域内存在一个原始点时，根据距离阈值判断是否加入当前融合点。融合区域内存在多个原始点时，选择与融合点最近的两个原始点进行判断是否加入融合点。
图5为图2中坐标系配准的详细展开图。分别介绍了两种坐标系配准算法。基于ICP的配准算法过程为对稀疏点云进行稠密点云重建或多视图进行三角化获得当前位姿估计坐标系的世界坐标，并寻找真实世界坐标系下的世界坐标。建立匹配关系，进而求解出转换矩阵。相机构型先验信息配准算法对圆形部署构型相机模型进行数学建模，获取多相机的环绕的球心坐标和平面法向量，进而恢复出旋转、平移关系。最后根据提供环绕布局的尺度信息，获得当前位姿估计坐标系与真实世界坐标系下的尺度变换。
图6为最终的效果，图6的左侧为原始采用Colmap三维重建框架估算出的相机位姿，可以看出存在相机位姿丢失和相机位姿估计不精准的问题。图6右侧为本发明通过轨迹聚类消除歧义匹配和语义信息融合后的算法效果，可以看出融合多个时刻信息后，不再出现相机位姿估算丢失的问题，同时场景中的三维稀疏点云信息不断增加。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
本发明所介绍的方法可在篮球场、冰球场、足球场、大型舞蹈场景中落地应用，可有效解决因为场景纹理重复相似、场景纹理稀疏出现的相机位姿丢失或相机位姿估计不精准的问题。目前已在篮球场景和冰球场景中进行实验验证，其中篮球场景大小为长28米，宽15米，在场地周围布置了20个相机对准场景中心进行拍摄。冰球场景大小为长61米，宽30米，采用19个相机进行拍摄，相机对准半场区域。在验证过程中，通过传统的相机标定算法均存在相机丢失的问题，本发明的算法不存在相机丢失问题，同时有效提高了相机位姿标定的精度。
本发明涉及到多视角图像的位姿估计、语义融合和信息过滤领域，具体涉及一种采用轨迹聚类和语义信息融合来增强标定精度的多相机标定方法，可用于大场景下的高精度相机位姿标定。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合仿真试验过程的数据、图表等进行描述。
仿真条件：
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU,64GB RAM。
软件平台为：Python，C++11，OpenMP。
仿真内容与结果：
本发明实验的图像是拍摄的篮球场、冰球场和花样滑冰数据。一共由20个相机对准场地中心进行拍摄，图像分辨率为3840*2160。经过歧义匹配过滤后和多时刻语义信息融合后，极大提高了本发明中算法对大场景中纹理相似和纹理稀疏的适应能力。通过绝对轨迹误差ATE和相对位姿误差RPE定性衡量标定位姿的精准性，两个指标的均方根误差RMSE均降低到1以内，因此证明本发明极大提高了标定的精度。事实证明该算法可从数据源上进行迁移，可实现大场景下的高精度多相机位姿标定。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种大场景下多相机标定方法，其特征在于，所述大场景下多相机标定方法包括：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
2.如权利要求1所述的大场景下多相机标定方法，其特征在于，所述进行歧义匹配滤波包括：在大场景的多相机标定中，利用广度优先搜索建立估计信息，通过场景一致性、惩罚同步性、长度加权性划分场景中轨迹为独特轨迹和歧义轨迹，并获得各视角图像的独特轨迹占比；通过搜索各视角图像的邻居节点进行独特轨迹占比评分度量，依据独特轨迹占比评分度量进行轨迹滤波。
3.如权利要求1所述的大场景下多相机标定方法，其特征在于，所述场景聚类算法包括：一组图像表示为I＝{I1,…,In}，每幅图像上可见轨迹为Ti；标志性图像轨迹集合定义为
Figure FDA0003550993320000011
歧义轨迹定义为
Figure FDA0003550993320000012
独特轨迹定义为TU＝TA-TC；定义标志性图像集合为U；场景一致性准则为：
Figure FDA0003550993320000013
尽量的多；惩罚同步性准则为：
Figure FDA0003550993320000014
尽量的小；长度加权性准则为：定义度量函数为：
Figure FDA0003550993320000015
Figure FDA0003550993320000016
上式中的两个度量函数在一开始为0，随着图像的遍历，选择最大的R(U)和R(Uscore)作为初始集合，再在剩余图像中依次寻找此大值，直至TA占比超过整幅图像的比例阈值；并从聚合轨迹里分离出各幅图像的独特轨迹；
所述去除异常轨迹算法包括：在生成独特轨迹后，利用独特轨迹进行判定是否当前图像匹配对能保留，筛选规则为：
Figure FDA0003550993320000021
Figure FDA0003550993320000022
上式中uniqueTrackij为uniqueTracki和uniqueTrackj的交集。
4.如权利要求1所述的大场景下多相机标定方法，其特征在于，所述不同融合模式包括区域选择的融合以及过滤策略的融合；所述区域选择的融合包括：对多时刻图像进行语义分割，获得人体语义信息内匹配关系所对应的特征点；将多时刻语义先验特征点融合到参考时刻上；
所述过滤策略的融合包括去除融合多时刻语义先验内匹配关系中的假阳性点和在融合时去除冗余重复点；
所述去除融合多时刻语义先验区域内中的假阳性点，即外点，过程包括：
(1)首先随机选择满足图像双视角模型的最小点数，其中H矩阵最小需要4对点，F矩阵组最小需要8对点；
(2)根据选择的点计算模型M，并根据对称转移误差选择使用何种模型；
(3)计算所有点中符合该模型的内点数；对RANSAC算法筛选内点进行动态阈值更新，更新公式为：
Figure FDA0003550993320000023
用当前模型衡量点的相似性作为损失项加入到总损失计算中；
(4)将totalCost与记录的最小minCost进行判断，选择最小损失时的内点位置坐标；
(5)重新使用记录的内点更新M模型，然后迭代上述步骤(1)～步骤(4)。
5.如权利要求1所述的大场景下多相机标定方法，其特征在于，所述ICP配准算法包括：1)对稀疏的三维点云位姿进行稠密三维点云重建，得到场景的稠密点云信息；手工选择稠密点云中的至少四个稠密点云坐标，计为P＝p1,…,pn，此时获得的坐标即为自标定坐标系下的坐标；
2)采用三角化恢复自标定坐标系下的三维世界坐标；
3)在真实场景中，按照规定好的坐标系，选定与稠密点云或三角化对应点的真实世界点坐标，计为
Figure FDA0003550993320000031
4)利用欧式变换s,R,t使得：
Figure FDA0003550993320000032
使用迭代最近点(IterativeClosestPoint,ICP)进行求解。
(3a5)最近点求解：计算两组对应点的质心位置
Figure FDA0003550993320000033
然后计算每个点的去质心坐标：
qi＝pi-p,q′i＝p′i-p′
定义损失函数，转换为优化问题进行求解旋转矩阵：
Figure FDA0003550993320000034
根据上式求解出来的R矩阵来计算t矩阵，t*＝p-Rq′；恢复对应的尺度信息：
psub＝pi-pi+1
p′sub＝p′subi-p′subi+1
Figure FDA0003550993320000035
通过
Figure FDA0003550993320000036
来进行坐标系配准。
6.如权利要求1所述的大场景下多相机标定方法，其特征在于，相机构型的配准算法相包括：
(I)设定相机布设位置的球心坐标世界坐标系的原点，定义为Pballcenter；
(II)根据相机部署构型，选择处于同一平面且与场景地面保持平行的相机，并根据自标定坐标系的相机外参，求解出相机光心所处位置的世界坐标为：
Figure FDA0003550993320000037
(III)对所有处于同一平面的点进行平面拟合，确定平面参数方程及垂直平面的法向量；
(IV)根据球心坐标和垂直平面的法向量生成旋转矩阵；
(V)恢复尺度scale和平移矩阵T，输出最终配准矩阵进行坐标系配准。
7.如权利要求1所述的大场景下多相机标定方法，其特征在于，所述的大场景下多相机标定方法具体包括以下步骤：
步骤1，特征提取和匹配验证；
步骤2，歧义匹配滤波；
步骤3，弱纹理的语义信息融合
步骤4，图像连接图的构建：将多幅图像之间的匹配关系联系到一起；
步骤5，初始化：将要选择匹配点数足够多的两视角，选择的匹配点大于50对；两视角之间三角化夹角大于5°；H矩阵的匹配点数少于总点数的60％；成功三角化的匹配对大于50％；
步骤6，图像注册：在所有未进行相机位姿估计的视角图中选择与当前重建相机位姿可见Tracks数最多的作为新的视角；采用RANSAC-PnP算法求解出新的相机位姿；在确定相机位姿后，当前相机视角和其余已估计相机位姿视角进行三角量测，重建出新的三维世界点；
步骤7，三角化：通过已知相机位姿参数和匹配点恢复三维点的坐标；
步骤8，捆绑调整优化：将每个世界点重投影到图像平面上，构建重投影误差损失函数，迭代优化相机姿态和特征点的三维空间点位置，使收束到相机的光心上；
步骤9，度量重构的坐标系配准：通过匹配滤波和语义信息融合后，再通过增量式运动恢复结构估算出相机位姿；
步骤10，经过轨迹聚类、语义信息融合、位姿配准，估算出的相机位姿。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：对大场景标定中的多相机利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；
对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
10.一种相机，其特征在于，所述相机执行如下步骤：对大场景标定中，利用场景聚类算法和去除异常轨迹算法进行歧义匹配滤波；对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信息增强；对弱纹理信息增强后图像利用ICP配准算法结合相机构型的配准算法进行坐标系配准。
CN202210262348.2A 2022-03-17 2022-03-17 一种大场景下多相机标定方法、信息处理终端及存储介质 Pending CN114742894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262348.2A CN114742894A (zh) 2022-03-17 2022-03-17 一种大场景下多相机标定方法、信息处理终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262348.2A CN114742894A (zh) 2022-03-17 2022-03-17 一种大场景下多相机标定方法、信息处理终端及存储介质

Publications (1)

Publication Number Publication Date
CN114742894A true CN114742894A (zh) 2022-07-12

Family

ID=82276146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262348.2A Pending CN114742894A (zh) 2022-03-17 2022-03-17 一种大场景下多相机标定方法、信息处理终端及存储介质

Country Status (1)

Country Link
CN (1) CN114742894A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129049A (zh) * 2023-02-02 2023-05-16 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质及程序产品
CN116503493A (zh) * 2023-06-27 2023-07-28 季华实验室 一种多相机标定方法、高精度装备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129049A (zh) * 2023-02-02 2023-05-16 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质及程序产品
CN116503493A (zh) * 2023-06-27 2023-07-28 季华实验室 一种多相机标定方法、高精度装备及计算机可读存储介质
CN116503493B (zh) * 2023-06-27 2023-10-20 季华实验室 一种多相机标定方法、高精度装备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
EP2491529B1 (en) Providing a descriptor for at least one feature of an image
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
Shin et al. Real-time and accurate segmentation of 3-D point clouds based on Gaussian process regression
CN104966281B (zh) 多视影像的imu/gnss引导匹配方法
CN114742894A (zh) 一种大场景下多相机标定方法、信息处理终端及存储介质
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
Son et al. A multi-vision sensor-based fast localization system with image matching for challenging outdoor environments
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
CN114088081B (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
Zhao et al. RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap
Ding et al. Persistent stereo visual localization on cross-modal invariant map
Wu et al. A survey on monocular 3D object detection algorithms based on deep learning
CN112836698A (zh) 一种定位方法、装置、存储介质及电子设备
Carrillo et al. Urbannet: Leveraging urban maps for long range 3d object detection
CN117036404A (zh) 一种单目热成像同时定位与建图方法和***
Jiang et al. Multilayer map construction and vision-only multi-scale localization for intelligent vehicles in underground parking
Zhang et al. Dense 3d mapping for indoor environment based on feature-point slam method
Huang et al. Overview of LiDAR point cloud target detection methods based on deep learning
Shao A Monocular SLAM System Based on the ORB Features
Zhang et al. Vehicle localisation and deep model for automatic calibration of monocular camera in expressway scenes
CN111829522A (zh) 即时定位与地图构建方法、计算机设备以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination