CN111862180B - 一种相机组位姿获取方法、装置、存储介质及电子设备 - Google Patents

一种相机组位姿获取方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111862180B
CN111862180B CN202010723102.1A CN202010723102A CN111862180B CN 111862180 B CN111862180 B CN 111862180B CN 202010723102 A CN202010723102 A CN 202010723102A CN 111862180 B CN111862180 B CN 111862180B
Authority
CN
China
Prior art keywords
camera
dimensional
pose
points
camera set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010723102.1A
Other languages
English (en)
Other versions
CN111862180A (zh
Inventor
郭科
周庆亮
焦继超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengjing Intelligent Technology Jiaxing Co ltd
Original Assignee
Shengjing Intelligent Technology Jiaxing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengjing Intelligent Technology Jiaxing Co ltd filed Critical Shengjing Intelligent Technology Jiaxing Co ltd
Priority to CN202010723102.1A priority Critical patent/CN111862180B/zh
Publication of CN111862180A publication Critical patent/CN111862180A/zh
Application granted granted Critical
Publication of CN111862180B publication Critical patent/CN111862180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提出一种相机组位姿获取方法、装置、存储介质及电子设备。通过提取当前时刻各个相机所获取的二维图像中的二维特征点，再将二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点。通过多个相机同时采集的二维图像和地图结合获得的多组二维目标特征点和三维目标特征点，在将多组二维目标特征点、三维目标特征点结合位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿获取的当前相机组位姿更准确，从而依据相机组位姿建立的同步定位与建图***更加稳定。

Description

一种相机组位姿获取方法、装置、存储介质及电子设备
技术领域
本申请涉及图像领域，具体而言，涉及一种相机组位姿获取方法、装置、存储介质及电子设备。
背景技术
视觉SLAM近几年得到了广泛的发展与应用。传统的定位方法多采用昂贵的激光雷达来完成，使用相机的纯视觉SLAM可以以低廉的价格实现特定场景下的定位。但受限于现实环境中复杂的光线、场景变化等原因，大多数视觉SLAM算法的性能难以满足实际应用的需求。而在导航过程中，能否对前方障碍物尺寸与方位进行精确感知，决定了能否成功、智能地避开障碍物。而能否对前方障碍物尺寸与方位进行精确感知取决于SLAM***的稳定性。
但目前的视觉SLAM***仅采用前向双目相机来完成定位与避障任务，在空旷场景或场景变动较大时定位工作往往无法稳定地完成，继而成为视觉SLAM难以落地的重要原因。
发明内容
本申请的目的在于提供一种相机组位姿获取方法、装置、存储介质及电子设备，以解决上述问题。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种相机组位姿获取方法，相机组包括至少3个相机，所述至少3个相机的相对位置固定，所述方法包括：
提取当前时刻各个相机所获取的二维图像中的二维特征点；
将所述二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，所述二维目标特征点和所述三维目标特征点互为匹配点；
依据各个相机对应的所述二维目标特征点、所述三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿，其中，所述相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，所述位姿转换矩阵为所述相机组位姿分别与各个相机的位姿之间的转换矩阵。
第二方面，本申请实施例提供一种相机组位姿获取装置，相机组包括至少3个相机，所述至少3个相机的相对位置固定，所述装置包括：
特征提取单元，用于提取当前时刻各个相机所获取的二维图像中的二维特征点；
处理单元，用于将所述二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，所述二维目标特征点和所述三维目标特征点互为匹配点；
所述处理单元还用于依据各个相机对应的所述二维目标特征点、所述三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿，其中，所述相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，所述位姿转换矩阵为所述相机组位姿分别与各个相机的位姿之间的转换矩阵。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
第四方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
相对于现有技术，本申请实施例所提供的一种相机组位姿获取方法、装置、存储介质及电子设备的有益效果：通过提取当前时刻各个相机所获取的二维图像中的二维特征点，再将二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点。通过多个相机同时采集的二维图像和地图结合获得的多组二维目标特征点和三维目标特征点，在将多组二维目标特征点、三维目标特征点结合位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿获取的当前相机组位姿更准确，从而依据相机组位姿建立的同步定位与建图***更加稳定。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的相机组位姿获取方法的流程示意图之一；
图3为本申请实施例提供的相机组位姿获取方法的流程示意图之一；
图4为本申请实施例提供的相机组位姿获取方法的流程示意图之一；
图5为本申请实施例提供的相机组位姿获取方法的流程示意图之一；
图6为本申请实施例提供的相机组位姿获取装置的单元示意图。
图中：10-处理器；11-存储器；12-总线；13-通信接口；14-相机；201-特征提取单元；202-处理单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本申请实施例提供了一种电子设备，可以是车载监控设备。请参照图1，电子设备的结构示意图。电子设备包括处理器10、存储器11、相机14以及总线12。处理器10、存储器11以及相机14通过总线12连接，处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。
处理器10可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，相机组位姿获取方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器11可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线12可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线12或一种类型的总线12。
存储器11用于存储程序，例如相机组位姿获取装置对应的程序。相机组位姿获取装置包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备的操作***(operating system，OS)中的软件功能模块。处理器10在接收到执行指令后，执行所述程序以实现相机组位姿获取方法。
相机14为图像采集装置，电子设备包括至少3个相机，当然地，电子设备可以包括更多的相机，例如双目相机和全视野相机的组合。
可能地，本申请实施例提供的电子设备还包括通信接口13。通信接口13通过总线与处理器10连接。电子设备可以通过通信接口13接收其他终端的控制指令或向其他终端发送消息。
应当理解的是，图1所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例提供的一种相机组位姿获取方法，可以但不限于应用于图1所示的电子设备，具体的流程，请参考图2：
S105，提取当前时刻各个相机所获取的二维图像中的二维特征点。
具体地，本申请实施例中的相机组包括至少3个相机14，至少3个相机14的相对位置固定。可能地，各个相机14均安装于车身，车身结构未发生变化，各个相机14的相对位置固定。
各个相机14获取当前时刻的二维图像，并将二维图像传输给处理器10，处理器10提取各个二维图像中的二维特征点。
S106，将二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，二维目标特征点和三维目标特征点互为匹配点。
具体地，以相机A所获得的二维图像举例说明。相机A的位姿在发生变化，相机A连续拍摄的两张图像存在相同的特征点(123以及4)和不同的特征点(567以及8)。前一张图像中的所有特征点，已经录入了地图中，并建立了基于世界坐标系的三维坐标。现在将后一张图像中的所有特征点与地图中的特征点进行匹配，那么(123以及4)都能在地图中找到对应匹配的三维特征点，后一张图像中的(123以及4)为二维目标特征点，地图中与(123以及4)匹配的特征点为三维目标特征点。
S107，依据各个相机对应的二维目标特征点、三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿。
其中，相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，位姿转换矩阵为相机组位姿分别与各个相机的位姿之间的转换矩阵。
具体地，电子设备中的同步定位与建图***(Simultaneous Localization AndMapping，缩写SLAM)是否稳定，在一定程度上取决于是否能精准获取当前相机组位姿。相机组位姿具有六自由度，包含相机光心的世界坐标XYZ与三个轴的倾角。若相机组位姿存在误差，则相机组当前的坐标系不准确，从而其定位结果存在差异，所建地图与实际有出入。而现有技术中，多使用双目相机对环境进行监测，而双目相机具有较多干扰，不能稳定获取位姿。本申请实施例通过添加多个相机14，甚至添加全视野相机组，根据所有相机拍摄的二维图像结合已建地图获取当前相机组位姿，更准确，从而***更稳定。
综上所述，本申请实施例提供的相机组位姿获取方法中，通过提取当前时刻各个相机所获取的二维图像中的二维特征点，再将二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点。通过多个相机同时采集的二维图像和地图结合获得的多组二维目标特征点和三维目标特征点，在将多组二维目标特征点、三维目标特征点结合位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿获取的当前相机组位姿更准确，从而依据相机组位姿建立的同步定位与建图***更加稳定。
在图2的基础上，关于如何获取相机组位姿，本申请实施例还提供了一种可能的实现方式，请参考下文，依据下列算式确定相机组位姿；
其中，[R，t]表征相机组位姿；m表征相机总数；nj表征第j个相机对应的二维图像中的二维目标特征点的总数；uij表征第j个相机的第i个二维目标特征点的二维坐标；Sij表征第j个相机的第i个三维目标特征点的特征点深度；Kj表征第j个相机的内参矩阵；T0 j表征相机组位姿与第j个相机的位姿之间的位姿；Pij表征第j个相机的第i个三维目标特征点对应的三维坐标；argmin表征求解使后面式子最小的变量值的运算。
优选地，j大于等于3，i大于等于4。相机数量越多，覆盖的视野范围越大，在每一时刻能匹配到的三维特征点越多。最小二乘优化方程中，参与优化的约束条件越多，综合所有信息得到的相机组位姿越稳定。
特征点深度为三维特征点到相机成像平面的垂直距离。可能地，特征点深度为特征点的三维坐标乘以相机组位姿所得到的Z轴对应的值。
在图2的基础上，关于获取内参矩阵的方式，本申请实施例还提供了一种可能的实现方式，请参考图3，相机组位姿获取方法还包括：
S101，依据标定板标定每个相机的内参矩阵，其中，内参矩阵包括相机的焦距和畸变参数。
其中，标定板(Calibration Target)在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，包括相机的焦距和畸变参数。带有固定间距图案阵列的平板就是标定板。
在图3的基础上，关于位姿转换矩阵的获取方式，本申请实施例还提供了一种可能的实现方式，请参考图4，相机组位姿获取方还包括：
S102，获取每个相机各自对应的标定图像，其中，标定图像为相机对标定场内各个位置确定的靶标进行拍摄所得到的图像。
具体地，标定场内设有多个位置确定的靶标。保持各个相机之间的相对位置不变，获取同一时刻的每个相机各自对应的标定图像。
S103，依据各个相机对应的标定图像中各个靶标的位置和内参矩阵确定外参，其中，外参包含其中一个相机的坐标系与其他任意相机的坐标系之间的转换矩阵。
具体地，结合各个相机对应采集的标定图像中靶标的位置和各个相机对应的内参矩阵，可以确定外参。
S104，依据外参确定位姿转换矩阵。
具体地，外参包含其中一个相机的坐标系与其他任意相机的坐标系之间的转换矩阵，从而可以获取相机组的位姿和其他任意一个相机的位姿之间的位姿转换矩阵。
在图2的基础上，关于地图的构建，本申请实施例还提供了一种可能的实现方式，请参考图5，相机组位姿获取方法还包括：
S107，通过三角测量算法结合相机组位姿计算新生二维特征点的三维坐标，其中，新生二维特征点在当前地图中不存在与之匹配的三维特征点。
参考前文中的例子，相机A对应的(567以及8)特征点即为新生二维特征点。
S108，依据新生二维特征点的三维坐标在地图中生成对应的新的三维特征点。
不停地丰富构建地图内容，完善地图，以便于进行后续的匹配定位。
可能地，本申请实施例开创性地将双目、视觉感知与全视野信息结合起来构建一整套视觉SLAM***，相较于已有的方法，该***既可以实时监测前向障碍物的尺寸与方位，进而实现智能避障，又可以利用周围环境的全视野信息来提高视觉定位的精度与稳定性，大大提高视觉SLAM***在实际应用中的性能。
请参阅图6，图6为本申请实施例提供的一种相机组位姿获取装置，可选的，该相机组位姿获取装置被应用于上文所述的电子设备。
相机组位姿获取装置包括：特征提取单元201和处理单元202。
特征提取单元201，用于提取当前时刻各个相机所获取的二维图像中的二维特征点。具体地，特征提取单元201可以执行上述的S105。
处理单元202，用于将二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，二维目标特征点和三维目标特征点互为匹配点；还用于依据各个相机对应的二维目标特征点、三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿，其中，相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，位姿转换矩阵为相机组位姿分别与各个相机的位姿之间的转换矩阵。具体地，处理单元202可以执行上述的S106和S107。
进一步地，依据下列算式确定相机组位姿；
其中，[R，t]表征相机组位姿；m表征相机总数；nj表征第j个相机对应的二维图像中的二维目标特征点的总数；uij表征第j个相机的第i个二维目标特征点的二维坐标；Sij表征第j个相机的第i个三维目标特征点的特征点深度；Kj表征第j个相机的内参矩阵；T0 j表征相机组位姿与第j个相机的位姿之间的位姿转换矩阵；Pij表征第j个相机的第i个三维目标特征点对应的三维坐标；argmin表征求解使后面式子最小的变量值的运算。
进一步地，处理单元202还用于通过三角测量算法结合相机组位姿计算新生二维特征点的三维坐标，其中，新生二维特征点在当前地图中不存在与之匹配的三维特征点；依据新生二维特征点的三维坐标在地图中生成对应的新的三维特征点。具体地，处理单元202可以执行上述的S108和S109。
需要说明的是，本实施例所提供的相机组位姿获取装置，其可以执行上述方法流程实施例所示的方法流程，以实现对应的技术效果。为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
本发明实施例还提供了一种存储介质，该存储介质存储有计算机指令、程序，该计算机指令、程序在被读取并运行时执行上述实施例的相机组位姿获取方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。
下面提供一种电子设备，可以是车载监控设备设备，该电子设备如图1所示，可以实现上述的相机组位姿获取方法；具体的，该电子设备包括：处理器10，存储器11、总线12。处理器10可以是CPU。存储器11用于存储一个或多个程序，当一个或多个程序被处理器10执行时，执行上述实施例的相机组位姿获取方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种相机组位姿获取方法，其特征在于，相机组包括至少3个相机，所述至少3个相机的相对位置固定，所述方法包括：
提取当前时刻各个相机所获取的二维图像中的二维特征点；
将所述二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，所述二维目标特征点和所述三维目标特征点互为匹配点；
依据各个相机对应的所述二维目标特征点、所述三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿，其中，所述相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，所述位姿转换矩阵为所述相机组位姿分别与各个相机的位姿之间的转换矩阵；
依据下列算式确定所述相机组位姿；
其中，[R，t]表征相机组位姿；m表征相机总数；nj表征第j个相机对应的二维图像中的二维目标特征点的总数；uij表征第j个相机的第i个二维目标特征点的二维坐标；sij表征第j个相机的第i个三维目标特征点的特征点深度；Kj表征第j个相机的内参矩阵；表征相机组位姿与第j个相机的位姿之间的位姿转换矩阵；Pij表征第j个相机的第i个三维目标特征点对应的三维坐标；argmin表征求解使后面式子最小的变量值的运算。
2.如权利要求1所述的相机组位姿获取方法，其特征在于，在所述提取当前时刻各个相机所获取的二维图像中的二维特征点之前，所述方法还包括：
依据标定板标定每个相机的内参矩阵，其中，所述内参矩阵包括相机的焦距和畸变参数。
3.如权利要求2所述的相机组位姿获取方法，其特征在于，在所述依据标定板标定每个相机的内参矩阵之后，所述方法还包括：
获取每个相机各自对应的标定图像，其中，所述标定图像为相机对标定场内各个位置确定的靶标进行拍摄所得到的图像；
依据各个相机对应的所述标定图像中各个靶标的位置和所述内参矩阵确定外参，其中，所述外参包含其中一个相机的坐标系与其他任意相机的坐标系之间的转换矩阵；
依据所述外参确定所述位姿转换矩阵。
4.如权利要求1所述的相机组位姿获取方法，其特征在于，在依据各个相机对应的所述二维目标特征点、所述三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿之后，所述方法还包括：
通过三角测量算法结合所述相机组位姿计算新生二维特征点的三维坐标，其中，所述新生二维特征点在当前地图中不存在与之匹配的三维特征点；
依据所述新生二维特征点的三维坐标在所述地图中生成对应的新的三维特征点。
5.一种相机组位姿获取装置，其特征在于，相机组包括至少3个相机，所述至少3个相机的相对位置固定，所述装置包括：
特征提取单元，用于提取当前时刻各个相机所获取的二维图像中的二维特征点；
处理单元，用于将所述二维特征点分别与地图中的三维特征点进行匹配，筛选出二维目标特征点和三维目标特征点，其中，所述二维目标特征点和所述三维目标特征点互为匹配点；
所述处理单元还用于依据各个相机对应的所述二维目标特征点、所述三维目标特征点、位姿转换矩阵以及各个相机的内参矩阵确定相机组位姿，其中，所述相机组位姿表示相机组当前的坐标系与相机组初始的坐标系之间的差异，所述位姿转换矩阵为所述相机组位姿分别与各个相机的位姿之间的转换矩阵；
依据下列算式确定所述相机组位姿；
其中，[R，t]表征相机组位姿；m表征相机总数；nj表征第j个相机对应的二维图像中的二维目标特征点的总数；uij表征第j个相机的第i个二维目标特征点的二维坐标；sij表征第j个相机的第i个三维目标特征点的特征点深度；Kj表征第j个相机的内参矩阵；表征相机组位姿与第j个相机的位姿之间的位姿转换矩阵；Pij表征第j个相机的第i个三维目标特征点对应的三维坐标；argmin表征求解使后面式子最小的变量值的运算。
6.如权利要求5所述的相机组位姿获取装置，其特征在于，所述处理单元还用于通过三角测量算法结合所述相机组位姿计算新生二维特征点的三维坐标，其中，所述新生二维特征点在当前地图中不存在与之匹配的三维特征点；依据所述新生二维特征点的三维坐标在所述地图中生成对应的新的三维特征点。
7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
8.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-4中任一项所述的方法。
CN202010723102.1A 2020-07-24 2020-07-24 一种相机组位姿获取方法、装置、存储介质及电子设备 Active CN111862180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010723102.1A CN111862180B (zh) 2020-07-24 2020-07-24 一种相机组位姿获取方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010723102.1A CN111862180B (zh) 2020-07-24 2020-07-24 一种相机组位姿获取方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111862180A CN111862180A (zh) 2020-10-30
CN111862180B true CN111862180B (zh) 2023-11-17

Family

ID=72950909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010723102.1A Active CN111862180B (zh) 2020-07-24 2020-07-24 一种相机组位姿获取方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111862180B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419429B (zh) * 2021-01-25 2021-08-10 中国人民解放军国防科技大学 一种基于多视角的大型工件表面缺陷检测标定方法
CN112927273A (zh) * 2021-01-28 2021-06-08 北京字节跳动网络技术有限公司 三维视频的处理方法、设备及存储介质
CN112907671B (zh) * 2021-03-31 2022-08-02 深圳市慧鲤科技有限公司 点云数据生成方法、装置、电子设备及存储介质
CN114098980B (zh) * 2021-11-19 2024-06-11 武汉联影智融医疗科技有限公司 相机位姿调整方法、空间注册方法、***和存储介质
WO2022237787A1 (zh) * 2021-05-10 2022-11-17 武汉联影智融医疗科技有限公司 机器人定位和位姿调整方法和***
CN113611143B (zh) * 2021-07-29 2022-10-18 同致电子科技（厦门）有限公司 一种记忆泊车***及其建图***
CN115423863B (zh) * 2022-11-04 2023-03-24 深圳市其域创新科技有限公司 相机位姿估计方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095553A (ja) * 2012-11-07 2014-05-22 Nippon Telegr & Teleph Corp <Ntt> カメラポーズ推定装置、及びカメラポーズ推定プログラム
WO2015120910A1 (en) * 2014-02-17 2015-08-20 Longsand Limited Determining pose and focal length
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN109242913A (zh) * 2018-09-07 2019-01-18 百度在线网络技术（北京）有限公司 采集器相对参数的标定方法、装置、设备和介质
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095553A (ja) * 2012-11-07 2014-05-22 Nippon Telegr & Teleph Corp <Ntt> カメラポーズ推定装置、及びカメラポーズ推定プログラム
WO2015120910A1 (en) * 2014-02-17 2015-08-20 Longsand Limited Determining pose and focal length
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN109242913A (zh) * 2018-09-07 2019-01-18 百度在线网络技术（北京）有限公司 采集器相对参数的标定方法、装置、设备和介质
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于激光视觉技术的运动目标位姿测量与误差分析;张慧智;高箴;周健;;激光杂志(04);全文 *
激光雷达和多相机融合的智能标定方法研究;王晨宇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第02期);全文 *

Also Published As

Publication number Publication date
CN111862180A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
WO2019127445A1 (zh) 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品
CN113592989B (zh) 一种三维场景的重建***、方法、设备及存储介质
CN111563923A (zh) 获得稠密深度图的方法及相关装置
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
JP2020053008A (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN110738703B (zh) 定位方法及装置、终端、存储介质
CN110415286B (zh) 一种多飞行时间深度相机***的外参标定方法
CN112146848A (zh) 一种确定摄像头的畸变参数的方法及装置
CN112862966B (zh) 地表三维模型构建方法、装置、设备及存储介质
CN111080784A (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN112132900B (zh) 一种视觉重定位方法及***
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN112613381A (zh) 一种图像映射方法、装置、存储介质及电子装置
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN115423863A (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN108253940B (zh) 定位方法及装置
CN115407338A (zh) 一种车辆环境信息感知方法及***
CN114979956A (zh) 一种无人机航拍地面目标定位方法及***
CN113406604A (zh) 一种激光雷达和摄像机位置标定的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230110

Address after: 314506 room 116, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province

Applicant after: Shengjing Intelligent Technology (Jiaxing) Co.,Ltd.

Address before: 102200 5th floor, building 6, No.8 Beiqing Road, Changping District, Beijing

Applicant before: SANY HEAVY INDUSTRY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant