CN105844624A - 动态标定***、动态标定***中的联合优化方法及装置 - Google Patents

Abstract

本发明提供了一种动态标定***、动态标定***中的联合优化方法及装置，包括：标记物几何特征提取模块、相机参数估计模块、标定结果评价模块；标记物几何特征提取模块，检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；相机参数估计模块，用于根据提取的标记物的几何特征和各个相机的当前位姿获得重投影误差，并获得重投影误差满足设定误差阈值时的标定结果；各个相机第一次运行时处于初始位姿状态；标定结果评价模块，用于评价标定结果的准确性，判断是否接受标定结果的参数。本发明的标定参数具有较高的精度，且适用于动态的流水线标定，执行效率高，应用范围广，且***简单。

Description

动态标定***、动态标定***中的联合优化方法及装置

技术领域

本发明涉及汽车电子及车载导航领域，具体地，涉及一种动态标定***、动态标定***中的联合优化方法及装置。

背景技术

车载全景环视***通过在车辆四周安装多个鱼眼相机，并采用车载处理器对得到的多路视频进行图像处理，为驾驶员提供车辆周边的视野，从而提高驾驶的安全性。全景环视***由于包含多个相机(一般≥4个)。

标定前后，相机间的几何位置及距离尺度的关系对拼接结果影响明显，因此，相机之间以及相机与车之间的位姿标定是***的一个关键环节，标定环节的精度以及拓展性直接决定了全景环视***的效果和便利性。针对不同的场景，车载全景环视***一般采用不同的标定方法，比如当车辆在生产线上时，此时可以在固定的工位上采用定位装置(如四轮定位设备)，精确地确定车辆的位置，确保环视***的标定精度，并简化其标定过程。

实际使用中，考虑到标定方案的在不同工作环境下的可用性，还需加入具可拓展性的标定方案，该方法不依赖定位装置，可用于4S店或动态流水线的标定。

精度、效率和拓展性是全景环视标定方案需要考虑的主要问题。现有的标定方案中，部分方案标定精度欠佳，影响了全景环视***的整体性能；部分方案执行效率偏低，不适用于装配流水线等实时性要求较高的场合；部分标定方案过于依赖复杂的辅助设备，限制了其在不同工作条件下的拓展性。

经检索，发现如下相关检索结果。

相关检索结果1：

公开号：CN104240258A

名称：一种基于车联网的全景环视***标定方法、装置及***

摘要：本发明公开了一种基于车联网的全景环视***标定方法、装置及***，属于汽车电子技术领域。该方法包括：车联网终端发送图像采集指令，使得主控制器获取标定工位上待标定车辆配置的多个摄像头采集的畸变图像；车联网终端将所采集的畸变图像，通过网络发送至车联网平台，使得该车联网平台在车辆离开当前工位后，进行标定，获取标定参数，进而使得该主控制器根据标定参数，对该畸变图像进行处理，得到车辆周边全景图像；车联网终端提示驾驶者将车辆开往下一个工位。本发明基于车联网，在标定工位只需采集图像、传输图像，在后台进行标定。以节省在标定工位的标定时间，提高车厂的生产效率；节省了现场标定所需的图像传输设备和标定人员，降低了成本

技术要点比较：

该专利文献是一种静态标定方法，需要工位有准确的四轮定位设备。而本发明是一种动态标定方法，在车辆行驶过程中完成标定，无须定位设备。

相关检索结果2：

公开号：CN104851076A

名称：用于商用车的全景环视泊车辅助***及摄像头安装方法

摘要：本发明提供一种用于商用车的全景环视泊车辅助***及泊车方法，包括方位视场角至少为180度的鱼眼摄像头、数据采集处理器、存储器和显示器，鱼眼摄像头采集的视频画面经数据采集处理器进行处理得到商用车及其感兴趣区域的图像存入存储器并通过显示器显示。本发明方法通过首次标定后将全景图中所有像素点与摄像头原始位置中对应像素坐标建立一一对应的映射关系存储于***的存储单元中，当一帧图像采集后，***可根据先前在存储单元中生成的数据，由控制单元快速生成全景图，最后通过对拼接后的全景图进行加权平均融合后并显示在屏幕上，为商用车的泊车提供全景环视效果较好的辅助工具，并且可以大大缩短***的处理时间，满足***实时性的要求

技术要点比较：

该专利文献也是一种静态标定方法，需要工位有准确的四轮定位设备。而本发明是一种动态标定方法，在车辆行驶过程中完成标定，无须定位设备。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种标定***、标定***中的联合优化方法及装置。

根据本发明提供的动态标定***中的联合优化方法，包括如下步骤：

位姿图构建步骤：根据动态标定***实时搭建各路相机的位姿图；

具体地，根据空间点广度优先搜索建立位姿图，以场景标记点的物理坐标X(设计值)为根节点V，不同时刻处的相机位姿为Pt，Pt＝Tt*P，其中P是相机实际的外参，Tt是t时刻相机相对原点的运动。V在不同位姿处Pt的映射形成位姿图的边缘e，每条边缘e在优化函数中代表一个约束方程，因此约束方程的数量能够根据位姿图上的边缘数得出，而优化目标的数量可根据根节点数量得出，则优化函数的实际结构能够根据位姿图确定。另外，还能够根据需求在任意时刻进行动态的节点增删，反映到实际应用中即等同于动态改变优化目标及约束方程数量。

初始标定步骤：通过位姿图采集标记点在各路相机下的图像投影点，得到待优化的标定参数集合；

具体地，待优化的标定参数集合包括{P,H,X}。

标定参数优化步骤：采用单路-单帧方法或者多路-多帧方法联合优化标定参数，得到优化的标定参数。

优选地，还包括：

图像拼接步骤：根据所述优化的标定参数，拼接全景环视图像；

标记物几何特征提取步骤：检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

相机参数估计步骤：用于根据提取的标记物的几何特征和各个相机的初始位姿获得重投影误差，并将满足设定误差阈值时的重投影误差作为标定参数优化步骤中的待优化标定参数。

根据本发明提供的动态标定***中的联合优化装置，包括：

标定参数优化模块，即采用单路-单帧方法或者多路-多帧方法联合优化标定参数，得到优化的标定参数。

优选地，所述采用单路-单帧或者多路-多帧方法是基于位姿图进行；具体地，

单路-单帧优化方法的计算公式如下：

$\{\hat{P},\hat{H},{\hat{X}}_n\}=\underset{\{P,H,X\}}{\mathrm{argmin}}\{\frac{1}{2N}\underset{n\∈N}{\mathrm{\Σ}}\[{(u_n-{\mathrm{PX}}_n)}^2+{(u_n-{\mathrm{HX}}_n)}^2\]\};$

u_n＝(u_n,v_n)^T；

X_n＝(x_n,y_n,z_n)^T；

P＝[R,t]；

$H=R-\frac{{\mathrm{tn}}^T}{d};$

式中：表示优化的输出集合，作为所述优化的标定参数；{P,H,X}表示待优化的标定参数集合；P表示3D投影矩阵；表示优化所得的3D投影矩阵；H表示平面单应性矩阵；表示优化所得的平面单应性矩阵；X表示标记点空间坐标；字母上的符号∧表示优化目标；表示优化所得的几何标记点坐标；上标T表示转置；d表示景深；u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点坐标；u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的行坐标；v_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的列坐标；X_n表示第n个几何标记点在参考坐标系中的坐标；x_n表示第n个几何标记点在参考坐标系中的x轴坐标；y_n表示第n个几何标记点在参考坐标系中的y轴坐标；z_n表示第n个几何标记点在参考坐标系中的z轴坐标；R为旋转矩阵，表示相机在参考坐标系下的三轴旋转；

多路-多帧联合优化方法的计算公式如下：

$\{\hat{P},\hat{H},\hat{X}\}=\underset{\{P,H,X\}}{\arg \min }\{\frac{1}{2TMN}\underset{t\∈T}{\mathrm{\Σ}}\underset{m\∈M}{\mathrm{\Σ}}\underset{n\∈N}{\mathrm{\Σ}}\[{(u_{tmn}-P_m{X}_{tn})}^2+{(u_{tmn}-H_m{X}_{tn})}^2\]\};$

P＝[R,t]；

$H=R-\frac{{\mathrm{tn}}^T}{d};$

式中：表示优化所得的标记点空间坐标；T表示时间节点数，M表示相机数，N表示几何标记点数；t为平移向量，表示相机在参考坐标系下的三轴平移；m表示相机序号；n表示几何标记点序号；u_tmn表示t时刻下第m个相机所采集图像中的第n个图像特征点；P_m表示第m个视角的3D投影矩阵；X_tn表示t时刻下所估计的第n个图像的标记点3D坐标；H_m表示表示第m个视角的平面单应性矩阵。

优选地，还包括：

图像拼接模块，用于根据所述优化的标定参数，拼接全景环视图像；

标记物几何特征提取模块，用于检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

相机参数估计模块，用于根据提取的标记物的几何特征和各个相机的初始位姿获得重投影误差，并将满足设定误差阈值时的重投影误差作为待优化标定参数。

优选地，还包括：

标定结果评价模块，用于评价标定结果的准确性，判断是否接受标定结果的参数。

优选地，所述标记物几何特征提取模块包括：

检测模块，用于从工作场景的图像中检测用于标定的标记物；

几何特征提取模块，用于在检测所得的标记物上提取该标记物的某项或者多项几何特征；

匹配模块，用于在相机拍摄的后续各帧图像上跟踪并匹配提取的标记物几何特征。

优选地，所述相机参数估计模块包括：

重投影误差获取模块，用于根据各个相机拍摄图像所提取的几何特征，并结合各个相机的当前位姿参数，获得标记物在当前空间坐标及在当前相机位姿下的图像投影误差，即重投影误差；

判断模块，用于判断重投影误差的大小，当重投影误差小于或者等于设定的误差阈值时，根据所述重投影误差估计各个标记物的空间位置，获得标定结果，激活标定结果提取模块；当重投影误差大于设定的误差阈值时，激活当前位姿更新模块；

当前位姿更新模块，用于根据各个标记物的估计位置并结合各个相机拍摄图像所提取的几何特征更新各个相机的当前位姿参数；激活重投影误差获取模块；

标定结果提取模块，用于提取满足设定误差阈值时的重投影误差。

优选地，所述标定结果评价模块中评价的标定结果是指拼接的全景环视图像，通过主观观察和客观评价两种方式分析评价标定结果是否准确；若标定结果准确，则接受并输出标定参数；若标定结果不准确，则重新激活标记物几何特征提取模块；其中，

主观观察方式是指：观察全景拼接图是否匹配；

客观评价方式是指：结合各个相机的安装位姿和设立的判别标准进行评价。

根据本发明提供的动态标定***，包括上述的动态标定***中的联合优化装置。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的动态标定***中的联合优化方法，设置了重投影误差阈值，使得输出的标定参数具有较高的精度，且适用于动态的流水线标定，执行效率高。

2、本发明提供的动态标定***中的联合优化方法，采用环视的动态标定法，实时调整相机的位姿，得到清晰的全景拼接图，应用范围广，且***简单。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的动态标定***中的联合优化方法中的位姿图俯视结构示意图；

图2为本发明提供的具体实施方式的流程示意图；

图3为本发明提供的动态标定***在4S流水线的标定过程图；

图4为本发明提供的动态标定***中的联合优化方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在流水线或4S店等工作场景下，全景环视***的动态标定***包含如下几个模块：

几何特征提取模块：从相机采集到的一帧工作场景图像中检测用于标定的标记物，随后在检测所得的标记物上提取该标记物的特定几何特征，而后在后续各帧工作场景图像中跟踪并匹配提取的特定几何特征。其中，所述特定几何特征，可以是标记物的边、角、面积等，特定几何特征反映了标记物的设计尺寸，以及标记物间的相对位置关系。

相机参数估计模块：用于交替执行步骤a、步骤b，迭代更新各标记物的估计位置及各路相机的位姿参数，即重投影误差最小化；当工作场景图像的重投影误差低于预设阈值时，认为各路相机当前位姿参数已接近真实值。此时进行环视***中相机的多路及多帧的联合优化；其中：

步骤a：首先使用各路相机采集到的工作场景图像中所提取的特定几何特征，结合相机的初始设计位姿，根据标记物的当前空间坐标在当前相机位姿下的图像投影误差，即重投影误差，估计工作场景中的标定场地中各标记物的空间位置，记为标记物的估计位置；

步骤b：随后根据各标记物的估计位置并结合各路采集到的工作场景图像中所提取的特定几何特征更新各路相机的当前位姿参数。

根据本发明提供的标定***，包括：四组相机、多个标记物，所述四组相机安装在汽车的前后左右四个方位，并在汽车四周设置有多个标记物；还包括：标记物几何特征提取模块、相机参数估计模块、标定结果评价模块；

-所述标记物几何特征提取模块，用于检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

-所述相机参数估计模块，用于根据提取的标记物的几何特征和各个相机的当前位姿获得重投影误差，并获得重投影误差满足设定误差阈值时的标定结果；其中各个相机第一次运行时处于初始位姿状态；

-所述标定结果评价模块，用于评价标定结果的准确性，判断是否接受标定结果的参数。

所述标记物的几何特征包括：标记物的边、角、面积参数以及标记物之间的相对位置关系。

相机的初始位姿包括：相机的三轴旋转角、三轴光心坐标、相机镜头的焦距、主点偏移、畸变系数；所述初始位姿能够通过查询相机出厂值或者进行离线矫正的方式获得。

根据本发明提供的标定***中的联合优化方法，包括如下步骤：

标记物几何特征提取步骤：检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

相机参数估计步骤：用于根据提取的标记物的几何特征和各个相机的初始位姿获得重投影误差，并获得重投影误差满足设定误差阈值时的标定结果；

标定结果评价步骤：评价标定结果的准确性，判断是否接受标定结果的参数。

所述标记物几何特征提取步骤包括：

步骤A1：从工作场景的图像中检测用于标定的标记物；

步骤A2：在检测所得的标记物上提取该标记物的某项或者多项几何特征；

步骤A3：在相机拍摄的后续各帧图像上跟踪并匹配提取的标记物几何特征。

所述相机参数估计步骤包括：

步骤B1：使用各个相机拍摄图像所提取的几何特征，并结合各个相机的当前位姿参数，获得标记物在当前空间坐标及在当前相机位姿下的图像投影误差，即重投影误差；

步骤B2：判断重投影误差的大小，当重投影误差小于或者等于设定的误差阈值时，根据所述重投影误差估计各个标记物的空间位置，获得标定结果，执行步骤B4；当重投影误差大于设定的误差阈值时，执行步骤B3；

步骤B3：根据各个标记物的估计位置并结合各个相机拍摄图像所提取的几何特征更新各个相机的当前位姿参数；返回执行步骤B1；

步骤B4：提取重投影误差满足设定误差阈值时的标定结果。

具体地，需构造相应的位姿图以描述环视相机多路及多帧的对应关系，并基于位姿图进行优化参数传递，位姿图(pose graph)的构造基于单源最短路径下广度优先搜索，即Dijkstra算法。如图1所示，圆点V表示标记点的空间位置，其余圆点表示标记点在各路摄像机采集图像下的图像投影点；实线表示标记的3D空间点与2D图像点的对应关系，虚线表示各路图像间2D点的对应关系，这些对应关系将以约束方程的形式参与优化，不同路的多帧图像对应于不同时间点下的采集图像。

更进一步地，在指定的世界坐标系下，由已知其物理坐标的3D空间点，以及其对应的2D图像点，估计相机在世界坐标系下的位姿。因此，标记点是来源于标记物的3D空间点，也即反映标记物几何特征的几何特征点。例如：标记物的边缘作为几何特征，可在图像中被提取；被提取的边缘可被离散表示为一系列的图像点，这些图像点可对应于物理世界中标记物上的一系列点，这些点本身源于标记物的几何特征(边缘)，因此是几何特征点，这些几何特征点代表了该标记物，也即标记点。

各个相机的位姿图针对环视***进行相应的设计，可支持多路，多帧的联合优化，其具体帧数可由设计者根据实际需求(执行时间，收敛精度)给出，以确保效率并提高优化过程的灵活性。

本发明的优化过程基于“从对应点恢复位姿”(Pose from Corresponding)的原理，但摈弃了单一采用平面单应性(homography)及单一采用透视投影(perspectiveprojection)的外参估计方式，而采用了在同一更新过程中交替采用两类方式。此处了约定旋转矩阵R_3×3表示相机在参考坐标系下的三轴旋转，平移向量t表示相机在参考坐标系下的三轴平移，R^T表示相机的朝向，c表示相机的光心位置，即c＝-R^Tt。

现令3D投影矩阵P，P＝[R,t]，平面单应性矩阵H，上标T表示转置；此处可取单位1，n^T表示单位矩阵，d表示表示景深，标记物的N个几何标记点(例如角点)在参考坐标系(即世界坐标系)中的坐标为X_n＝(x_n,y_n,z_n)^T，这N个几何标记点在单一的一路视频中所对应的图像特征点坐标为u_n＝(u_n,v_n)^T。其中，u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点坐标；u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的行坐标；v_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的列坐标；X_n表示第n个几何标记点在参考坐标系中的坐标；x_n表示第n个几何标记点在参考坐标系中的x轴坐标；y_n表示第n个几何标记点在参考坐标系中的y轴坐标；z_n表示第n个几何标记点在参考坐标系中的z轴坐标；R为旋转矩阵，表示相机在参考坐标系(即世界坐标系)下的三轴旋转；

此时优化目标为投影矩阵P，单应性矩阵H，几何标记点世界坐标X_n，本发明中采用的单路-单帧的优化可表示为：

$\{\hat{P},\hat{H},{\hat{X}}_n\}=\underset{\{P,H,X\}}{\mathrm{argmin}}\{\frac{1}{2N}\underset{n\∈N}{\mathrm{\Σ}}\[{(u_n-{\mathrm{PX}}_n)}^2+{(u_n-{\mathrm{HX}}_n)}^2\]\}---\left(1\right)$

在上式的基础上，可推广为多路-多帧的形式，当时间节点数为T，环视***相机数为M(M一般为4)，则多路-多帧的联合优化可表示为：

$\{\hat{P},\hat{H},\hat{X}\}=\underset{\{P,H,X\}}{\arg \min }\{\frac{1}{2TMN}\underset{t\∈T}{\mathrm{\Σ}}\underset{m\∈M}{\mathrm{\Σ}}\underset{n\∈N}{\mathrm{\Σ}}\[{(u_{tmn}-P_{mn}{X}_{tn})}^2+{(u_{tmn}-H_{mn}{X}_{tn})}^2\]\}---\left(2\right)$

式中：表示优化的输出集合，{P,H,X}表示参与优化的输入集合，P表示3D投影矩阵，表示优化所得的3D投影矩阵，H表示平面单应性矩阵，表示优化所得的平面单应性矩阵，X表示标记点空间坐标，表示最优化的标记点空间坐标，表示最优化的几何标记点坐标，字母上的符号∧表示优化目标；T表示时间节点数，M表示相机数，N表示几何标记点数；t为平移向量，表示相机在参考坐标系下的三轴平移；m表示相机序号；n表示几何标记点序号；u_tmn表示t时刻下第m个摄像机所采集图像中的第n个图像特征点；P_m表示第m个视角的3D投影矩阵；X_tn表示t时刻下所估计的标记点3D坐标；H_m表示表示第m个视角的平面单应性矩阵。

对于公式(1)、(2)，此处需指出：本发明在优化的步骤中加入了标记物形状的约束，例如方形板4边等长，可一定程度上削减方程组的自由度，提高收敛效率。此处的标记物不仅限于方形，可通过不同的标记物，可引入不同的形状约束，如直线标记物的两端点共线或由圆形标记物边界点所形成的最小外接圆与最大内切圆所确定的圆形拟合度等。总之，通过平面单应性和透视投影构造的联合优化函数，可引导优化结果在当前相机的6自由度外参精度及平面图像的2D拼接效果上达到最佳平衡。

本发明的优化过程采用的初值可以是相机位姿的初始设计值或标记物位置的初始设计值，这类设计值可分别由相机或标定场地的设计者给出，也即本专利的优化过程可采用多个初始触发值，因此可通过重投影误差进行初始值筛选，在不同场景下筛选出当前场景下最合适的初始值；此时若存在至少一个合理的初始值，则算法收敛，拓展了标定方案的场景适应性。

所述标定结果评价步骤包括：通过主观观察和客观评价两种方式分析评价标定结果是否准确；若标定结果准确，则接受并输出标定参数；若标定结果不准确，则重新执行标记物几何特征提取步骤；其中：

主观观察方式是指：观察全景拼接图是否匹配；

客观评价方式是指：结合各个相机的安装位姿和设立的判别标准进行评价。

更进一步地，如图3所示，4个一定边长的方格为人工标记物，放置在场地4周的设计位置，驾车(4S店)或输送车辆(流水线)以设计路线经过标定场地，评价通过后结束标定。整体标定过程可概括为：车辆以低速(不大于5km/h)运动，穿过标定场地，环视***同步采集视频，运行标定算法，经检验后完成标定。

实施例1：

在新车在流水线上装配时，基于本发明的原理，包括：特征物拾取模块、特征参数的提取模块、标定参数的优化模块以及标定结果检验模块；具体地包括如下执行步骤：

1)特征物拾取模块可以包含数个事先设计的人工标记物以及指定的全局坐标系。标记物置于标定场地的四周，并已知其在设定的全局坐标系中的位置。汽车在全局坐标系中的位置为已知。自动检测图像并定位到该人工标记物。

2)特征参数的提取模块自动提取人工标记物在图像中的位置。

3)标定参数的优化模块结合得到的人工标记物在图像中的位置和预先已知的全局坐标系的位置，计算优化标定参数。

4)标定结果检验模块根据计算得到的标定参数拼接全景图像，并人工或自动检验其拼接效果。

实施例2：

在车辆维修保养的4S店内，对于全景***的标定，基于本发明的原理，包括：特征物拾取模块、特征参数的提取模块、标定参数的优化模块，可以采用如下的步骤：

1)特征物拾取模块包含一个特定设计的人工标记物。标记物置于车辆的四周。可以采用人工或图像识别的方法定位该标记物在图像中的位置。

2)特征参数的提取模块提取人工标记物的各特征参数在图像中的位置。

3)标定参数的优化模块结合得到的人工标记物在图像中的位置和预先已知的全局坐标系的位置，计算优化标定参数。

4)标定结果检验模块根据计算得到的标定参数拼接全景图像，并检验其拼接效果。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种动态标定***中的联合优化方法，其特征在于，包括如下步骤：

位姿图构建步骤：根据动态标定***实时搭建各路相机的位姿图；

初始标定步骤：通过位姿图采集标记点在各路相机下的图像投影点，得到待优化的标定参数集合；

标定参数优化步骤：采用单路-单帧方法或者多路-多帧方法联合优化标定参数，得到优化的标定参数。

2.根据权利要求1所述的动态标定***中的联合优化方法，其特征在于，还包括：

图像拼接步骤：根据所述优化的标定参数，拼接全景环视图像；

标记物几何特征提取步骤：检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

相机参数估计步骤：用于根据提取的标记物的几何特征和各个相机的初始位姿获得重投影误差，并将满足设定误差阈值时的重投影误差作为标定参数优化步骤中的待优化标定参数。

3.一种动态标定***中的联合优化装置，其特征在于，包括：

标定参数优化模块，即采用单路-单帧方法或者多路-多帧方法联合优化标定参数，得到优化的标定参数。

4.根据权利要求3所述的动态标定***中的联合优化装置，其特征在于，所述采用单路-单帧或者多路-多帧方法是基于位姿图进行；具体地，

单路-单帧优化方法的计算公式如下：

$\{\hat{P},\hat{H},{\hat{X}}_n\}=\underset{\{P,H,X\}}{\arg \min }\{\frac{1}{2N}\underset{n\∈N}{\Σ}\[{(u_n-{\mathrm{PX}}_n)}^2+{(u_n-{\mathrm{HX}}_n)}^2\]\};$

u_n＝(u_n,v_n)^T；

X_n＝(x_n,y_n,z_n)^T；

P＝[R,t]；

$H=R-\frac{{\mathrm{tn}}^T}{d};$

式中：表示优化的输出集合，作为所述优化的标定参数；{P,H,X}表示待优化的标定参数集合；P表示3D投影矩阵；表示优化所得的3D投影矩阵；H表示平面单应性矩阵；表示优化所得的平面单应性矩阵；X表示标记点空间坐标；字母上的符号∧表示优化目标；表示优化所得的几何标记点坐标；上标T表示转置；d表示景深；u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点坐标；u_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的行坐标；v_n表示第n个几何标记点在单一的一路图像中所对应的图像特征点的列坐标；X_n表示第n个几何标记点在参考坐标系中的坐标；x_n表示第n个几何标记点在参考坐标系中的x轴坐标；y_n表示第n个几何标记点在参考坐标系中的y轴坐标；z_n表示第n个几何标记点在参考坐标系中的z轴坐标；R为旋转矩阵，表示相机在参考坐标系下的三轴旋转；

多路-多帧联合优化方法的计算公式如下：

$\{\hat{P},\hat{H},\hat{X}\}=\underset{\{P,H,X\}}{\arg \min }\{\frac{1}{2TMN}\underset{t\∈T}{\Σ}\underset{m\∈M}{\Σ}\underset{n\∈N}{\Σ}\[{(u_{tmn}-P_m{X}_{tn})}^2+{(u_{tmn}-H_m{X}_{tn})}^2\]\};$

P＝[R,t]；

$H=R-\frac{{\mathrm{tn}}^T}{d};$

式中：表示优化所得的标记点空间坐标；T表示时间节点数，M表示相机数，N表示几何标记点数；t为平移向量，表示相机在参考坐标系下的三轴平移；m表示相机序号；n表示几何标记点序号；u_tmn表示t时刻下第m个相机所采集图像中的第n个图像特征点；P_m表示第m个视角的3D投影矩阵；X_tn表示t时刻下所估计的第n个图像的标记点3D坐标；H_m表示表示第m个视角的平面单应性矩阵。

5.根据权利要求3所述的动态标定***中的联合优化装置，其特征在于，还包括：

图像拼接模块，用于根据所述优化的标定参数，拼接全景环视图像；

标记物几何特征提取模块，用于检测相机拍摄图像中的标记物，提取所述标记物的几何特征，并在相机提供的后续各帧图像上跟踪匹配所提取的几何特征；

相机参数估计模块，用于根据提取的标记物的几何特征和各个相机的初始位姿获得重投影误差，并将满足设定误差阈值时的重投影误差作为待优化标定参数。

6.根据权利要求3所述的动态标定***中的联合优化装置，其特征在于，还包括：

标定结果评价模块，用于评价标定结果的准确性，判断是否接受标定结果的参数。

7.根据权利要求5所述的动态标定***中的联合优化装置，其特征在于，所述标记物几何特征提取模块包括：

检测模块，用于从工作场景的图像中检测用于标定的标记物；

几何特征提取模块，用于在检测所得的标记物上提取该标记物的某项或者多项几何特征；

匹配模块，用于在相机拍摄的后续各帧图像上跟踪并匹配提取的标记物几何特征。

8.根据权利要求5所述的动态标定***中的联合优化装置，其特征在于，所述相机参数估计模块包括：

重投影误差获取模块，用于根据各个相机拍摄图像所提取的几何特征，并结合各个相机的当前位姿参数，获得标记物在当前空间坐标及在当前相机位姿下的图像投影误差，即重投影误差；

判断模块，用于判断重投影误差的大小，当重投影误差小于或者等于设定的误差阈值时，根据所述重投影误差估计各个标记物的空间位置，获得标定结果，激活标定结果提取模块；当重投影误差大于设定的误差阈值时，激活当前位姿更新模块；

当前位姿更新模块，用于根据各个标记物的估计位置并结合各个相机拍摄图像所提取的几何特征更新各个相机的当前位姿参数；激活重投影误差获取模块；

标定结果提取模块，用于提取满足设定误差阈值时的重投影误差。

9.根据权利要求6所述的动态标定***中的联合优化装置，其特征在于，所述标定结果评价模块中评价的标定结果是指拼接的全景环视图像，通过主观观察和客观评价两种方式分析评价标定结果是否准确；若标定结果准确，则接受并输出标定参数；若标定结果不准确，则重新激活标记物几何特征提取模块；其中，

主观观察方式是指：观察全景拼接图是否匹配；

客观评价方式是指：结合各个相机的安装位姿和设立的判别标准进行评价。

10.一种动态标定***，其特征在于，包括权利要求3至9中任一项所述的动态标定***中的联合优化装置。