CN117252930B - 一种大型展厅多相机监控***内外参标定方法和*** - Google Patents
一种大型展厅多相机监控***内外参标定方法和*** Download PDFInfo
- Publication number
- CN117252930B CN117252930B CN202311222096.1A CN202311222096A CN117252930B CN 117252930 B CN117252930 B CN 117252930B CN 202311222096 A CN202311222096 A CN 202311222096A CN 117252930 B CN117252930 B CN 117252930B
- Authority
- CN
- China
- Prior art keywords
- camera
- calibration
- pose
- dimensional
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 39
- 230000036544 posture Effects 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 48
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 6
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000000725 suspension Substances 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种大型展厅多相机监控***内外参标定方法和***，包括以下步骤：获取多相机视频数据作为标定数据；对标定数据进行预处理；进行单目相机标定得到相机内参初值；使用链式法进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；构造总重投影误差作为目标函数并引入基于畸变参数的正则项；使用相机内参初值、相机外参初值和标定位板位姿初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。本发明能够减小人工成本和风险，提高相机内外参标定的准确性，适用于高空悬挂或处于开阔空间中的多相机***内外参标定应用场景。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种大型展厅多相机监控***内外参标定方法和***。
背景技术
在大型展厅内通常通过监控相机***实现对人或物体相对于地面的三维定位，为了获得精准的三维定位需要准确标定其相机***的内部和外部参数。内部参数包括像主点、焦距、畸变参数；外部参数包括相机的位姿，比如相对于世界坐标系的平移和旋转。大型展厅监控相机***的主要特征在于相机通常悬挂于常人无法触及的高处，并且监控相机通常有明显的广角畸变。
为了准确获取每个相机的内参(包括畸变参数)，常规的标定方法需要对相机***采集近距离的标定数据，一般要求标定板在图像中至少占比三分之一。这意味着，需依次爬长梯甚至搭乘云梯接近每个监控相机，重新摘取相机或者多次移动标定板从而获取内参标定数据。若尝试避免这种麻烦，即在地面上直接采集标定数据，这将导致不准确的内参估计；其原因在于地面上的标定板离相机较远，标定板在图像中占比很小，即使在地面上四处移动也无法累积覆盖到镜头的全部，这意味着有缺陷的标定数据。
公开号为CN108717714A的中国发明专利申请公开了多相机标定方法、标定***、存储介质、及电子设备，该方法要求拍摄数据需要覆盖相机的全部视野，然后通过最小化总重投影误差优化多相机***的内外参数。但该方法对于大型展厅高空悬挂布置的多相机***而言，会出现标定板在拍摄图像中占比过小、视野无法完全覆盖的问题。
此外，展厅内的相机较为分散地分布于展厅内，而展厅面积可达上千平米，导致相邻相机的共同视野有限，所以两两相机间的外参标定将带来较大的累积误差。而且多相机***往往不会完美同步，为了使相邻相机捕捉到同一姿态的标定物，标定物(比如标定板)需要处于绝对静止的状态。为避免所述问题，常规方法是在展厅地面上大面积布置标定靶标或大型标定板，从而独立地获取每个相机的外参(即相对于世界坐标系的位姿)。
上述的常规方法对算法无任何革新要求，但其问题在于：耗费大量人工成本，费时，且其人工成本与相机数量成正比；可能需要重型器械的使用，导致对展厅现场的意外损坏；高空中移动标定板会给数据采集人员带来潜在风险。因此，急需一种新的大型展厅多相机***标定方法，减少人工成本和风险，避免重型器械的使用，同时准确地估计出展厅相机***的内外参。
发明内容
鉴于上述，本发明的目的是提供一种大型展厅多相机监控***内外参标定方法和***，采用可移动式标定板以及引入基于畸变参数的正则项进行全局优化算法的革新，只需要简单省力的标定数据采集和处理即可获得精确的相机内参和外参，适用于高空悬挂或处于开阔空间中的多相机***内外参标定。
为实现上述发明目的，本发明提供的技术方案如下：
第一方面，本发明实施例提供的一种大型展厅多相机监控***内外参标定方法，包括以下步骤：
获取多相机视频数据作为标定数据，对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合；
使用二维-三维点对集合对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿；
使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；
根据相机外参初值和每个相机相对于标定板的位姿进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；
基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项；
使用相机内参初值、相机外参初值和标定位板位姿初值作为求解全局优化问题的初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
具体地，所述获取多相机视频数据作为标定数据，包括：
提前准备能够在地面移动的标定板和多个固定标定点，定义世界坐标系G；
挑选任一相机作为初始相机C1，在初始相机C1视野内的地面上布置标定点，获取视频数据作为第一标定数据；
移动标定板，在展厅内游走一圈并时常改变标定板的姿态以覆盖各个相机的视野，获取视频数据作为第二标定数据；
移动标定板，在展厅内游走一圈并时常改变标定板的姿态，于两两相邻相机的共同视野内采集标定数据，从而形成一个连通且闭环的相机关系图，获取视频数据作为第三标定数据。
具体地，所述对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合，包括：
记录标定点在世界坐标系中的三维坐标，在第一标定数据的图像中标注出标定点三维坐标对应的二维坐标，将所有二维-三维点对数据记为点对集合ΩG；
对第二标定数据和第三标定数据的所有视频进行图像采样，从含有标定板的图像中提取标定板的二维角点坐标，保存二维角点坐标和其对应的在标定板坐标系中的三维角点坐标，将所有二维-三维点对数据记为点对集合Ω；
对第三标定数据，选出来自至少两个相机且同时包含同一静止状态下标定板的图像，从图像中提取标定板的二维角点坐标和对应的在标定板坐标系中的三维坐标，将所有二维-三维点对数据记为点对集合ΩS，其中
所述点对集合ΩG、点对集合Ω和点对集合ΩS共同组成步骤2的二维-三维点对集合。
具体地，所述使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值，包括：
对应于点对集合ΩS中存在的标定板的姿态被初始相机C1和相邻的相机C2同时捕捉，根据初始相机C1相对于世界坐标系的位姿以及初始相机C1和相机C2分别相对于标定板的位姿，求得相机C2相对于世界坐标系的位姿；采用同样的方法，对相邻相机使用链式法依次使用已知相机相对于世界坐标系的位姿和已知相机与未知相机相对于标定板的位姿，求得未知相机相对于世界坐标系的位姿，最终求得每个相机相对于世界坐标系的位姿作为相机外参初值。
具体地，所述基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项，包括：
任意取一点对(x,X)∈ΩG∪ΩS，其中x为第n个相机Cn捕捉到的图像在标定板坐标系上的二维角点坐标，对应于第m个姿态的标定板Bm在标定板坐标系上的三维角点坐标X；由此构造损失函数为重投影误差：其中πn为相机Cn的投影函数，/>为相机的位姿即世界坐标系G到相机Cn坐标系的变换矩阵，/>为标定板的位姿即标定板Bm坐标系到世界坐标系G的变换矩阵，||·||2为L2范数的平方；将所有属于ΩG∪ΩS的点对所构造的重投影误差进行求和，得到总重投影误差函数E；构造畸变参数矩阵K，使其每一行对应指定相机的畸变参数，并引入基于相机内参中的畸变参数的正则项g(K)，得到带有正则项的目标函数为E+λg(K)，其中λ为权重系数。
具体地，所述畸变参数的正则项g(K)，构建方法包括：
构建一个以相机为节点的无向图，在型号相同的相机之间互相连接其节点；从该无向图中可以得到邻接矩阵W，然后直接计算出拉普拉斯矩阵L；最后成立正则项g(K)＝trace(KTLK)，其中trace(·)为矩阵的迹，KT为畸变参数矩阵K的转置矩阵。
具体地，所述最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数，包括：
构造带有正则项的非线性全局优化问题min(E+λg(K))，使用Levenberg-Marquardt算法对其进行求解，其中权重系数λ>0，得到最优相机内外参数。
第二方面，为实现上述发明目的，本发明实施例还提供了一种大型展厅多相机监控***内外参标定***，包括：数据获取和预处理模块、单目相机标定模块、相机外参初步估计模块、标定板位姿初步估计模块、相机内外参优化模块；
所述数据获取和预处理模块用于获取多相机视频数据作为标定数据，对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合；
所述单目相机标定模块用于使用二维-三维点对集合对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿；
所述相机外参初步估计模块用于使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；
所述标定板位姿初步估计模块用于根据相机外参初值和每个相机相对于标定板的位姿进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；
所述相机内外参优化模块用于基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项，并使用相机内参初值、相机外参初值和标定位板位姿初值作为求解全局优化问题的初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
第三方面，为实现上述发明目的，本发明实施例还提供了一种大型展厅多相机监控***内外参标定设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现第一方面本发明实施例提供的大型展厅多相机监控***内外参标定方法。
第四方面，为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序使用计算机时，实现第一方面本发明实施例提供的大型展厅多相机监控***内外参标定方法。
与现有技术相比，本发明具有的有益效果至少包括：
(1)本发明方法中相机标定的数据采集方式简单省力，只需在地面上移动标定板以及布置若干标定点即可完成对展厅多相机监控***的所有标定数据采集，无需人工举板，避免了在高空中采集数据等麻烦事项，也无需提前给出相机的初始参数，简单省力，减少了人工成本和风险。
(2)本发明方法在建立全局优化问题的基础上，引入基于畸变参数的正则项，克服了标定板离相机较远所导致的内参估计不准的问题，有效提高内参估计的鲁棒性和准确度，也间接地提升了外参估计的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的一种大型展厅多相机监控***内外参标定方法的流程示意图；
图2是本发明实施例提供的某相机采集到的含有标定板的图像，与图3对应同一姿态下的标定板；
图3是本发明实施例提供的另一相机采集到的含有标定板的图像，与图2对应同一姿态下的标定板；
图4是本发明实施例提供的某相机采集到的含有地面上若干标定点的图像；
图5是本发明实施例提供的在世界坐标系中的相机***和某姿态下的标定板位置示意图，其中坐标轴单位为米；
图6是本发明实施例提供的一种大型展厅多相机监控***内外参标定***结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明的发明构思为：针对现有技术中相机***内外参标定方法在大型展厅场景中应用时人工成本和风险高、重型机械的使用可能造成现场损坏以及标定精度有待提高的问题，本发明实施例提供了一种大型展厅多相机监控***内外参标定方法和***，通过设计可移动式标定板和全局优化算法上的革新，减小人工成本和风险，提高大型展厅相机内外参标定的准确性。
首先，定义ζG→C为坐标系G到坐标系C的变换矩阵： 其中R为3×3的旋转矩阵，t为3×1的平移向量。
以三维空间中的任意一点X为例，若该点定义在坐标系C则为定义在坐标系G则为/>ζG→C可以构建相应的坐标变换：
在本发明实施例的相机标定问题中，G为世界坐标系，C为相机，B为标定板，ζG→C为相机C的位姿即世界坐标系G到相机C坐标系的变换矩阵。
对于任一相机Cn，定义其内参矩阵为其中(fx,fy)为焦距，(cx,cy)为像主点。定义该相机的畸变参数为(k1,k2,k3)。三维到二维的相机投影函数定义为：
πn([x y z]T)＝[u v]T
其中，πn为第n个相机的投影函数，x、y和z分别为三维坐标中三个方向坐标轴的值，u和v分别为二维坐标中两个方向坐标轴的值，T为转置。
具体地，若只考虑径向畸变，πn包含以下坐标计算：
r＝x′2+y′2
r′＝1+k1r+k2r2+k3r3
u＝fxr′x′+cx，v＝fyr′y′+cy
以下实施例的具体步骤，包括数据采集方法和标定算法流程。
图1是本发明实施例提供的一种大型展厅多相机监控***内外参标定方法的流程示意图。如图1所示，实施例提供了一种大型展厅多相机监控***内外参标定方法，包括以下步骤：
S1，提前准备能够在地面移动的标定板和多个固定标定点，定义世界坐标系G。
实施例中，如图2和图3所示，为准备可在地面上移动的标定板，将标准棋盘格打印在塑料板上，并将其贴附在自带滑轮的支架式白板上，标定板每个方格大小为14cm×14cm，保证其方格大小能够让其角点坐标在图像中检测出来。提前准备好3个以上的标定点，标定点应足够大，从而使其在相机图像中可以辨识出二维位置。定义世界坐标系，在地面上选出零点位置以及定义坐标轴的方向。
S2，挑选任一相机作为初始相机C1，在初始相机C1视野内的地面上布置标定点，获取视频数据作为第一标定数据。
实施例中，为了将相机***建立于世界坐标系上，从相机***挑选出一个相机作为初始相机C1，在其可视范围内的地面上布置至少3个标定点，且保证所有标定点不在一条直线上，如图4所示，将获取到的含有标定点的视频数据作为第一标定数据。
S3，移动标定板，在展厅内游走一圈并时常改变标定板的姿态以覆盖各个相机的视野，获取视频数据作为第二标定数据。
实施例中，移动标定板，在展厅内游走一圈并时常改变标定板的姿态，并覆盖各个相机的可视范围，如图5所示为在世界坐标系中的相机***和某姿态下的标定板位置示意图，其中坐标轴单位为米。最后获取含有不同姿态标定板的相机***的监控视频，专门用作相机内参标定，记为第二标定数据。变化标定板姿态时，只需推动白板或改变其翻转角度即可。
S4，移动标定板，在展厅内游走一圈并时常改变标定板的姿态，于两两相邻相机的共同视野内采集标定数据，从而形成一个连通且闭环的相机关系图，获取视频数据作为第三标定数据。
实施例中，考虑到相机***不能达到完美的时间同步的问题，在每对相邻相机的共同可视范围内摆放大标定板，并停留若干秒，在视频数据采集过程中，需要观察展厅相机监控从而保证相邻相机能同时看到同一静止状态下的大标定板。在每对相邻相机间多次挪动标定板，改变其姿态，从而形成一个连通且闭环的相机关系图。最后获取相机***的监控视频，记为第三标定数据。需要注意的是，形成闭环的相机关系可以有效克服误差累积。
S5，对第一标定数据进行预处理得到标定点的二维-三维点对集合ΩG。
实施例中，记录标定点在世界坐标系中的三维坐标，并在第一标定数据的图像中标注出标定点三维坐标对应的二维坐标，将所有二维-三维点对数据记为点对集合ΩG。
S6，对第二标定数据和第三标定数据进行预处理得到标定板角点的二维-三维点对集合Ω。
实施例中，对第二标定数据和第三标定数据的视频进行图像采样，仅保留含有标定板的图像，方便检查标定板角点检测结果。从含有标定板的图像中提取标定板的二维角点坐标，保存二维角点坐标和其对应的在标定板坐标系中的三维角点坐标，将所有二维-三维点对数据记为点对集合Ω。
S7，对第三标定数据进一步预处理得到多相机对应同一静止状态标定板角点的二维-三维点对集合ΩS。
实施例中，对于第三标定数据的视频，选出来自至少两个相机且同时包含同一静止状态下标定板的图像，从图像中提取标定板的二维角点坐标和对应的在标定板坐标系中的三维角点坐标，将所有二维-三维点对数据记为点对集合ΩS，其中将检测出的二维角点按照顺序以不同颜色标注在这些图像上，检查这些多目标定数据中的标定板角点检测顺序，如图2和图3所示的对应同一姿态的标定板，由于两个相机的视角方向相反，此时检测出的角点顺序恰好相反，若它们的角点顺序正好相反，矫正其顺序从而使它们在同一标定板上保持一致。
S8，使用点对集合ΩG和Ω，单独对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿。
实施例中，使用点对集合Ω和ΩG单独对每个相机进行单目相机标定，得到的相机内参初值包括畸变参数、焦距和像主点，每个相机相对于标定板的位姿ζB→C，初始相机C1相对于世界坐标系的位姿记为刚性变换矩阵需要注意的是，由于标定板在图像中占比远小于三分之一，导致单目标定不准确，则意味着该步骤估计出的相机内参还需进一步的优化。
S9，使用点对集合ΩS，采用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值。
实施例中，对应于点对集合ΩS中存在的标定板的姿态被初始相机C1和相邻的相机C2同时捕捉，根据初始相机C1相对于世界坐标系G的位姿求得相机C2相对于世界坐标系G的位姿/>
其中，为相机C2相对于标定板B坐标系的位姿，/>为相机C1相对于标定板B坐标系的位姿。重复该方法可利用/>求得其他相机相对于世界坐标系G的位姿。对相邻相机使用链式法依次使用已知相机相对于世界坐标系的位姿和已知相机与未知相机相对于标定板的位姿，求得未知相机相对于世界坐标系的位姿，最终求得每个相机相对于世界坐标系的位姿作为相机外参初值。需要注意的是，链式法的使用会导致相机位姿误差的累积，需要使用闭环优化去除误差累积。
S10，根据相机外参初值进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值。
实施例中，利用相机的初始位姿估计，计算每个特定姿态下的标定板的位姿初值。例如对于求得的相机C2相对于标定板B坐标系的位姿和相机C2相对于世界坐标系G的位姿可以求出对应的标定板B的位姿ζB→G：
其中，ζB→G为标定板的位姿，即标定板B坐标系到世界坐标系G的坐标变换矩阵。
S11，基于点对集合ΩG和ΩS构造总重投影误差作为目标函数。
实施例中，任意取一点对(x,X)∈ΩG∪ΩS，其中x为第n个相机Cn捕捉到的图像在标定板坐标系上的二维角点坐标，对应于第m个姿态的标定板Bm在标定板坐标系上的三维角点坐标X。由此构造损失函数为重投影误差：其中πn为相机Cn的投影函数，/>为相机的位姿即世界坐标系G到相机Cn坐标系的变换矩阵，为标定板的位姿即标定板Bm坐标系到世界坐标系G的变换矩阵，||·||2为L2范数的平方，相机位姿/>和标定板位姿/>均为该误差函数的自变量，投影函数πn内包含相机焦距、像主点和畸变参数自变量。
将所有属于点对集合ΩG∪ΩS的点(实施例中，也可加入少量单目点对，即属于Ω但不属于ΩS的点对)对所构造的重投影误差进行求和，得到总重投影误差函数E。将总重投影误差函数E作为相机参数全局优化的目标函数。
S12，对目标函数引入基于畸变参数的正则项。
为克服标定板在图像中占比较小所导致的内参估计不稳定的问题，需要引入一些非常合理且泛化性强的先验知识：相同型号的相机可以有不一样的焦距，但一定有几乎一样的镜头畸变。
实施例中，构造畸变参数矩阵K，使其每一行对应指定相机的畸变参数，并引入基于相机内参中的畸变参数的正则项g(K)，得到带有正则项的目标函数为E+λg(K)，其中λ为权重系数。
基于畸变参数的正则项g(K)，构建方法包括：构建一个以相机为节点的无向图，在型号相同的相机之间互相连接其节点；从该无向图中可以得到邻接矩阵N为相机总数，具体地，若第n1个相机/>与第n2个相机/>型号相同，则反之，则/>
由邻接矩阵W即直接计算出拉普拉斯矩阵L：
L＝D-W
其中，D为对角矩阵，Di,i＝∑jWi,j，其中Wi,j为W中第i行、第j列的元素；
构造畸变参数矩阵使其每一行对应某相机的畸变参数(k1,k2,k3)，畸变参数矩阵K含有所有相机的畸变参数，由于型号相同的相机的畸变类似，引入对畸变参数的正则项：
g(K)＝trace(KTLK)
其中trace(·)为矩阵的迹，KT为畸变参数矩阵K的转置矩阵。
在理想情况下，若同时出厂的相机***没有生产制造方面的误差，则相同型号的相机必将有一样的畸变参数，即g(K)＝0。使用该正则项提供有效的先验知识以克服相机内参标定困难的问题。
S13，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
实施例中，构造带有正则项的非线性全局优化问题min(E+λg(K))，其中权重系数λ>0，待求解的参数为所有相机外参和内参(包括畸变参数矩阵K、各相机焦距和像主点)以及所有标定板位姿/>其中，N为相机总数，M为标定板位姿总个数。
由于该优化问题为非线性最小二乘，使用Levenberg-Marquardt算法对其进行求解。首先要将所有参数合并成一个一维数组，其中变换矩阵即位姿可拆分为3×3的旋转矩阵和3×1的平移向量，其中旋转矩阵可用轴角表示，如此可用6个参数表示一个变换矩阵。轴角表示具体可参考罗德里格斯公式：
其中，为旋转矩阵R的轴角表示，/>为单位向量，为/>的反对称矩阵，I3×3为3×3的单位矩阵。
具体的求解步骤为两步：
S13.1，固定所有相机内参为步骤S8中得到的内参，只最小化总重投影误差，即求解minE，只对相机外参和标定板位姿进行迭代优化，得到初步优化的相机外参和标定板位姿/>求解minE时，使用步骤S9得出的相机外参为初值，以及S10得出的标定板位姿为初值。
S13.2，将S13.1中求得的相机外参和标定板位姿作为初值，并取步骤S8中得到的相机内参为初值，求解含有正则项的优化问题min(E+λg(K))，对所有参数包括相机内参和外参进行优化，输出更精准的相机内外参数。
实施例中，使用Levenberg-Marquardt算法进行求解的具体实现方法可使用数值计算库scipy中的方法optimize.least_squares对最小二乘问题进行求解，定义一个残差函数r，使其残差函数的输入为一维数组，包括相机内外参、标定板位姿。对于残差函数r，可使用数值方法求得雅可比矩阵，即一阶导数，用于S13.2中的迭代优化中。S13.1中使用的残差函数/>是r的一部分，即/>由于S13.1中不对内参进行迭代求解，需将雅可比矩阵中的与内参对应的列设为0，其余设定与S13.2相同。
综上，一种大型展厅多相机监控***内外参标定方法，采用可移动式标定板，可移动式标定板制作成本微乎其微，而且方便于移动标定板或改变其姿态，省去了人工双手举板的麻烦，且不会弯曲其表面，还可以使标定板静止不动，减小了人工成本和风险，省时省力；引入基于畸变参数的正则项进行全局优化算法的革新，对全局优化问题求解得到最优相机内外部参数，提高了内外参估计的鲁棒性和准确度，能够实现精准内外参数标定。本发明提出的相机内外参标定方法适用于高空悬挂或处于开阔空间中的多相机***，本发明也可被延伸于解决其他类似的大型场景中的相机标定问题。
基于同样的发明构思，实施例还提供了一种大型展厅多相机监控***内外参标定***600，如图6所示，包括：数据获取和预处理模块610、单目相机标定模块620、相机外参初步估计模块630、标定板位姿初步估计模块640、相机内外参优化模块650；
其中，数据获取和预处理模块610用于获取多相机视频数据作为标定数据，对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合；
单目相机标定模块620用于使用二维-三维点对集合对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿；
相机外参初步估计模块630用于使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；
标定板位姿初步估计模块640用于根据相机外参初值和每个相机相对于标定板的位姿进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；
相机内外参优化模块650用于基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项，并使用相机内参初值、相机外参初值和标定位板位姿初值作为求解全局优化问题的初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
基于同样的发明构思，实施例还提供了一种大型展厅多相机监控***内外参标定设备，包括存储器和处理器，其中，存储器用于存储计算机程序，处理器用于当执行所述计算机程序时，实现上述大型展厅多相机监控***内外参标定方法。
基于同样的发明构思，实施例还提供了一种计算机可读的存储介质，存储介质上存储有计算机程序，计算机程序使用计算机时，实现上述大型展厅多相机监控***内外参标定方法。
需要说明的是，上述实施例提供的一种大型展厅多相机监控***内外参标定***、一种大型展厅多相机监控***内外参标定设备和一种计算机可读的存储介质，均与一种大型展厅多相机监控***内外参标定方法实施例属于同一构思，其具体实现过程详见一种大型展厅多相机监控***内外参标定方法实施例，这里不再赘述。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种大型展厅多相机监控***内外参标定方法，其特征在于，包括以下步骤：
获取多相机视频数据作为标定数据，包括：提前准备能够在地面移动的标定板和多个固定标定点，定义世界坐标系G；挑选任一相机作为初始相机C1，在初始相机C1视野内的地面上布置标定点，获取视频数据作为第一标定数据；移动标定板，在展厅内游走一圈并时常改变标定板的姿态以覆盖各个相机的视野，获取视频数据作为第二标定数据；移动标定板，在展厅内游走一圈并时常改变标定板的姿态，于两两相邻相机的共同视野内采集标定数据，从而形成一个连通且闭环的相机关系图，获取视频数据作为第三标定数据；
对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合，包括：记录标定点在世界坐标系中的三维坐标，在第一标定数据的图像中标注出标定点三维坐标对应的二维坐标，将所有二维-三维点对数据记为点对集合ΩG；对第二标定数据和第三标定数据的所有视频进行图像采样，从含有标定板的图像中提取标定板的二维角点坐标，保存二维角点坐标和其对应的在标定板坐标系中的三维角点坐标，将所有二维-三维点对数据记为点对集合Ω；对第三标定数据，选出来自至少两个相机且同时包含同一静止状态下标定板的图像，从图像中提取标定板的二维角点坐标和对应的在标定板坐标系中的三维坐标，将所有二维-三维点对数据记为点对集合ΩS，其中所述点对集合ΩG、点对集合Ω和点对集合ΩS共同组成步骤2的二维-三维点对集合；
使用二维-三维点对集合对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿；
使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；
根据相机外参初值和每个相机相对于标定板的位姿进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；
基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项，包括：任意取一点对(x,X)∈ΩG∪ΩS，其中x为第n个相机Cn捕捉到的图像在标定板坐标系上的二维角点坐标，对应于第m个姿态的标定板Bm在标定板坐标系上的三维角点坐标X；由此构造损失函数为重投影误差：其中πn为相机Cn的投影函数，/>为相机的位姿即世界坐标系G到相机Cn坐标系的变换矩阵，/>为标定板的位姿即标定板Bm坐标系到世界坐标系G的变换矩阵，‖·‖2为L2范数的平方；将所有属于ΩG∪ΩS的点对所构造的重投影误差进行求和，得到总重投影误差函数E；构造畸变参数矩阵K，使其每一行对应指定相机的畸变参数，并引入基于相机内参中的畸变参数的正则项g(K)，得到带有正则项的目标函数为E+λg(K)，其中λ为权重系数，畸变参数的正则项g(K)的构建方法包括：构建一个以相机为节点的无向图，在型号相同的相机之间互相连接其节点；从该无向图中可以得到邻接矩阵W，然后直接计算出拉普拉斯矩阵L；最后成立正则项g(K)＝trace(KTLK)，其中trace(·)为矩阵的迹，KT为畸变参数矩阵K的转置矩阵；
使用相机内参初值、相机外参初值和标定位板位姿初值作为求解全局优化问题的初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
2.根据权利要求1所述的大型展厅多相机监控***内外参标定方法，其特征在于，所述使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值，包括：
对应于点对集合ΩS中存在的标定板的姿态被初始相机C1和相邻的相机C2同时捕捉，根据初始相机C1相对于世界坐标系的位姿以及初始相机C1和相机C2分别相对于标定板的位姿，求得相机C2相对于世界坐标系的位姿；采用同样的方法，对相邻相机使用链式法依次使用已知相机相对于世界坐标系的位姿和已知相机与未知相机相对于标定板的位姿，求得未知相机相对于世界坐标系的位姿，最终求得每个相机相对于世界坐标系的位姿作为相机外参初值。
3.根据权利要求1所述的大型展厅多相机监控***内外参标定方法，其特征在于，所述最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数，包括：
构造带有正则项的非线性全局优化问题min(E+λg(K))，使用Levenberg-Marquardt算法对其进行求解，其中权重系数λ>0，得到最优相机内外参数。
4.一种大型展厅多相机监控***内外参标定***，其特征在于，包括：数据获取和预处理模块、单目相机标定模块、相机外参初步估计模块、标定板位姿初步估计模块、相机内外参优化模块；
所述数据获取和预处理模块用于获取多相机视频数据作为标定数据，包括：提前准备能够在地面移动的标定板和多个固定标定点，定义世界坐标系G；挑选任一相机作为初始相机C1，在初始相机C1视野内的地面上布置标定点，获取视频数据作为第一标定数据；移动标定板，在展厅内游走一圈并时常改变标定板的姿态以覆盖各个相机的视野，获取视频数据作为第二标定数据；移动标定板，在展厅内游走一圈并时常改变标定板的姿态，于两两相邻相机的共同视野内采集标定数据，从而形成一个连通且闭环的相机关系图，获取视频数据作为第三标定数据；
所述数据获取和预处理模块还用于对标定数据进行预处理分别得到标定点坐标和标定板坐标对应的二维-三维点对集合，包括：记录标定点在世界坐标系中的三维坐标，在第一标定数据的图像中标注出标定点三维坐标对应的二维坐标，将所有二维-三维点对数据记为点对集合ΩG；对第二标定数据和第三标定数据的所有视频进行图像采样，从含有标定板的图像中提取标定板的二维角点坐标，保存二维角点坐标和其对应的在标定板坐标系中的三维角点坐标，将所有二维-三维点对数据记为点对集合Ω；对第三标定数据，选出来自至少两个相机且同时包含同一静止状态下标定板的图像，从图像中提取标定板的二维角点坐标和对应的在标定板坐标系中的三维坐标，将所有二维-三维点对数据记为点对集合ΩS，其中所述点对集合ΩG、点对集合Ω和点对集合ΩS共同组成步骤2的二维-三维点对集合；
所述单目相机标定模块用于使用二维-三维点对集合对每个相机进行单目相机标定得到相机内参初值、每个相机相对于标定板的位姿和初始相机相对于世界坐标系的位姿；
所述相机外参初步估计模块用于使用链式法基于初始相机相对于世界坐标系的位姿和每个相机相对于标定板的位姿进行相机外参初步估计得到每个相机相对于世界坐标系的位姿作为相机外参初值；
所述标定板位姿初步估计模块用于根据相机外参初值和每个相机相对于标定板的位姿进行标定板位姿初步估计得到每个特定姿态下的标定板位姿初值；
所述相机内外参优化模块用于基于点对集合构造总重投影误差作为目标函数，对目标函数引入基于畸变参数的正则项，包括：任意取一点对(x,X)∈ΩG∪ΩS，其中x为第n个相机Cn捕捉到的图像在标定板坐标系上的二维角点坐标，对应于第m个姿态的标定板Bm在标定板坐标系上的三维角点坐标X；由此构造损失函数为重投影误差： 其中πn为相机Cn的投影函数，/>为相机的位姿即世界坐标系G到相机Cn坐标系的变换矩阵，/>为标定板的位姿即标定板Bm坐标系到世界坐标系G的变换矩阵，‖·‖2为L2范数的平方；将所有属于ΩG∪ΩS的点对所构造的重投影误差进行求和，得到总重投影误差函数E；构造畸变参数矩阵K，使其每一行对应指定相机的畸变参数，并引入基于相机内参中的畸变参数的正则项g(K)，得到带有正则项的目标函数为E+λg(K)，其中λ为权重系数，畸变参数的正则项g(K)的构建方法包括：构建一个以相机为节点的无向图，在型号相同的相机之间互相连接其节点；从该无向图中可以得到邻接矩阵W，然后直接计算出拉普拉斯矩阵L；最后成立正则项g(K)＝trace(KTLK)，其中trace(·)为矩阵的迹，KT为畸变参数矩阵K的转置矩阵；
所述相机内外参优化模块还用于使用相机内参初值、相机外参初值和标定位板位姿初值作为求解全局优化问题的初值，最小化带有正则项的目标函数以求解全局优化问题，得到最优相机内外参数。
5.一种大型展厅多相机监控***内外参标定设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-3任一项所述的大型展厅多相机监控***内外参标定方法。
6.一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现权利要求1-3任一项所述的大型展厅多相机监控***内外参标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311222096.1A CN117252930B (zh) | 2023-09-21 | 2023-09-21 | 一种大型展厅多相机监控***内外参标定方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311222096.1A CN117252930B (zh) | 2023-09-21 | 2023-09-21 | 一种大型展厅多相机监控***内外参标定方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117252930A CN117252930A (zh) | 2023-12-19 |
| CN117252930B true CN117252930B (zh) | 2024-05-28 |
Family
ID=89134442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311222096.1A Active CN117252930B (zh) | 2023-09-21 | 2023-09-21 | 一种大型展厅多相机监控***内外参标定方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252930B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013232738A (ja) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、および、画像処理用プログラム |
| CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
| CN112669389A (zh) * | 2020-12-08 | 2021-04-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定*** |
| CN115797468A (zh) * | 2023-02-03 | 2023-03-14 | 厦门农芯数字科技有限公司 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
| CN116050119A (zh) * | 2023-01-06 | 2023-05-02 | 中山大学 | 一种基于二元表示的正负图分割多视图聚类方法 |
| CN116740187A (zh) * | 2023-05-16 | 2023-09-12 | 中冶宝钢技术服务有限公司 | 一种无重叠视场多相机联合标定方法 |
-
2023
- 2023-09-21 CN CN202311222096.1A patent/CN117252930B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013232738A (ja) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | 画像処理装置、画像処理方法、および、画像処理用プログラム |
| CN108288291A (zh) * | 2018-06-07 | 2018-07-17 | 北京轻威科技有限责任公司 | 基于单点标定物的多相机标定 |
| CN112669389A (zh) * | 2020-12-08 | 2021-04-16 | 深圳先进技术研究院 | 一种基于视觉引导的自动化标定*** |
| CN116050119A (zh) * | 2023-01-06 | 2023-05-02 | 中山大学 | 一种基于二元表示的正负图分割多视图聚类方法 |
| CN115797468A (zh) * | 2023-02-03 | 2023-03-14 | 厦门农芯数字科技有限公司 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
| CN116740187A (zh) * | 2023-05-16 | 2023-09-12 | 中冶宝钢技术服务有限公司 | 一种无重叠视场多相机联合标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于全局代价函数优化的立体标定方法;苑英海;方勇纯;张雪波;;仪器仪表学报;20111015(10);70-76 * |
| 非合作纹理目标单目位姿计算;冯肖维;谢安安;肖健梅;王锡淮;;光学精密工程;20200814(08);154-163 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117252930A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
| CN105469405B (zh) | 基于视觉测程的同时定位与地图构建方法 | |
| CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
| WO2020237574A1 (zh) | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN111735439B (zh) | 地图构建方法、装置和计算机可读存储介质 | |
| CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| CN114004901B (zh) | 多相机标定方法、装置、终端设备及可读存储介质 | |
| CN110910460B (zh) | 一种获取位置信息的方法、装置及标定设备 | |
| CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及*** | |
| JPH1183530A (ja) | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム | |
| CN112184812B (zh) | 提升无人机相机对AprilTag识别定位精度方法及定位方法和*** | |
| CN110717861A (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN112200875B (zh) | 非量测相机交叉耦合误差补偿与影像匹配纠正方法及*** | |
| CN108474658A (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
| CN109949232A (zh) | 图像与rtk结合的测量方法、***、电子设备及介质 | |
| CN115451964A (zh) | 基于多模态混合特征的船舶场景同时建图与定位方法 | |
| CN114812558B (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
| Wang et al. | Isprs benchmark on multisensory indoor mapping and positioning | |
| CN112857328B (zh) | 一种无标定摄影测量方法 | |
| CN117252930B (zh) | 一种大型展厅多相机监控***内外参标定方法和*** | |
| RU2692970C2 (ru) | Способ калибровки видеодатчиков многоспектральной системы технического зрения | |
| CN113052974A (zh) | 物体三维表面的重建方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |