CN111445531B - 一种多目相机导航方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种多目相机导航方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：首先根据监测场景中的多个相机的世界坐标系，建立导航坐标系，然后对每个相机拍获取到的数据进行检测，得到移动目标在每个相机中的图像坐标中的图像坐标，采用预先训练的每个相机对应的相机标定模型，将移动目标在图像坐标中的图像坐标转换成在世界坐标系中的世界坐标，有多个相机就对应多个世界坐标，并根据多个世界坐标，确定该移动目标的导航世界坐标，最后根据该导航世界坐标，在上述导航坐标系中对该移动目标进行导航。应用本申请实施例，可以提高多目相机对移动目标进行导航的精度。

Description

一种多目相机导航方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体而言，涉及一种多目相机导航方法、装置、设备及存储介质。

背景技术

随着科技的发展，人们对室内定位导航技术的要求也越来越高，现有的室内导航技术主要包括超声波定位导航、红外线定位导航、激光定位导航以及视觉定位导航技术等。

目前，视觉定位导航技术大多使用光学陀螺仪方式，即在使用多目相机通过寻找视频帧中特征点并在后续视频帧中进行特征点匹配，以此完成对移动目标航向角、步数累计和惯性导航。

然而，该视觉定位导航技术中的特征点匹配影响因素较多，特别是在有障碍物较多的监测场景中，无法准确的找到视频帧中特征点，进而使利用多目相机对移动目标进行导航的精度降低。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种多目相定位机导航方法、装置、设备及存储介质，可以提高多目相机对目标物体进行导航的精度。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了种多目相机导航方法，所述方法包括：

根据监测场景中的多个相机的世界坐标，建立导航坐标系；

对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；

根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；

根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；

根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。

可选地，所述对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标，包括：

采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。

可选地，所述根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航，包括：

根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；

根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。

可选地，所述每个相机对应的相机标定模型为采用下述步骤进行训练得到的模型：

通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；

根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；

根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。

可选的，所述根据所述多个标定图像数据，获取训练数据，包括：

采用预设的检测算法，检测所述多个标定图像数据中的顶点；

记录所述顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标。

可选地，所述根据所述训练数据进行模型训练，得到所述相机标定模型，包括：

根据所述训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设迭代条件；

将满足所述预设迭代条件时的神经网络模型确定为所述相机标定模型。

第二方面，本申请实施例还提供了一种多目相机导航装置，所述装置包括：

建立模块，用于根据监测场景中的多个相机的世界坐标，建立导航坐标系；

检测模块，用于对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；

处理模块，用于根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；

确定模块，用于根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；

导航模块，用于根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。

可选地，所述检测模块，具体用于：

采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。

可选地，所述导航模块，具体用于：

根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；

根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。

可选地，所述每个相机对应的相机标定模型为采用下述模块进行训练得到的模型：

第一获取模块，用于通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；

第二获取模块，用于根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；

训练模块，用于根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。

可选地，所述第二获取模块，具体用于：

采用预设的检测算法，检测所述多个标定图像数据中的顶点；

记录所述顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标。

可选地，所述训练模块，具体用于：

根据所述训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设停止条件；

将满足所述预设停止条件时的神经网络模型确定为所述相机标定模型。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的多目相机导航方法的步骤。

第四方面，本申请实施例提供了一种存储介质，所述计算机程序被处理器运行时执行上述第一方面的多目相机导航方法的步骤。

本申请的有益效果是：

本申请实施例提供的一种多目相机导航方法、装置、设备及存储介质，首先根据监测场景中的多个相机的世界坐标系，建立导航坐标系，然后对每个相机拍获取到的数据进行检测，得到移动目标在每个相机中的图像坐标中的图像坐标，采用预先训练的每个相机对应的相机标定模型，将移动目标在图像坐标中的图像坐标转换成在世界坐标系中的世界坐标，有多个相机就对应多个世界坐标，并根据多个世界坐标，确定该移动目标的导航世界坐标，最后根据该导航世界坐标，在上述导航坐标系中对该移动目标进行导航。采用本申请实施例提供的上述多目相机导航方法，在移动目标出现在监测场景中时，可以通过采用预先训练的每个相机对应的相机标定模型，将移动目标在每个相机的图像坐标系中的图像坐标转换成该移动目标在每个世界坐标系中的世界坐标，最后得到该移动目标的导航世界坐标，使该导航世界坐标更精准，进而可以提高多目相机对目标物体进行导航的精度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种多目相机导航方法的流程示意图；

图2为本申请实施例提供的一种相机标定模型训练方法的流程示意图；

图3为本申请实施例提供的一种棋盘格标定板图像与理想世界坐标系之间关系的结构示意图；

图4为本申请实施例提供的一种多目相机导航装置的结构示意图；

图5为本申请实施例提供的一种相机标定模型训练方法的结构示意图；

图6为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本申请是对监测场景的移动目标进行定位导航，该移动目标可以为机器人，也可以为其他的可移动设备，监测场景可以具体为仓库、超市以及商场等监测场景，为了实时对该监测场景中的移动目标进行监测，保证移动目标的正常运行，不被监测场景的其他障碍物影响，可以预先在监测场景的多个位置处安装相机，使监测场景中的各个角落都能被相机拍摄到，从而通过执行本申请提供的多目相机导航方法，基于该多个相机拍摄的图像对监测场景内的移动目标进行定位导航。

如下通过具体的示例对本申请所提供的多目相机导航方法进行解释说明，具体参见下述。

本申请下述各实施例提供的多目相机导航方法，都可以基于上述环境进行，该方法可由计算机实现，该计算机的具体形态可以为笔记本电脑、台式电脑、平板电脑等任一，也可以由服务器处理终端实现，该方法的执行主体在此处不进行限定。

图1为本申请实施例提供的一种多目相机导航方法的流程示意图，如图1所示，该方法可以包括：

S101、根据监测场景中的多个相机的世界坐标，建立导航坐标系。

具体的，可以预先将监测场景中的多个相机在世界坐标系中的世界坐标保存下来，可以以某个相机的世界坐标为导航坐标系的坐标原点，建立导航坐标系，也可以以监测场景中的某个固定物体的位置作为导航坐标系的坐标原点，根据该固定物体的位置与其他相机之间的关系，建立导航坐标系。

比如，该监测场景可以为仓库，该仓库中预先安装有4个相机，所有相机的拍摄视野可以覆盖该仓库中的每个位置，首先，这4个相机在世界坐标系中的坐标已知，可以选择其中一个相机的坐标为导航坐标系的原点，根据该相机与其他相机位置之间的关系，得到其他相机在导航坐标系中的导航坐标，即可以确定一种导航坐标系。

S102、对每个相机的图像数据进行检测，得到该监测场景中的移动目标在每个相机的图像坐标系中的图像坐标。

具体的，当移动目标出现在该监测场景中时，该监测场景中的每个相机可以按照预设的采集频率对该移动目标进行拍摄，将拍摄到的多张图像进行处理，可以得到对应的图像数据。对每个相机中的图像数据进行检测，可以将图像数据中关于移动目标的中心点处的信息提取出来，该信息可以为中心点在图像坐标系中的所占像素的信息，即该移动目标在图像坐标系中的图像坐标。

S103、根据该移动目标在每个相机的图像坐标系中的图像坐标，采用预先训练的每个相机对应的相机标定模型进行处理，得到该移动目标的一个世界坐标。

其中，上述一个世界坐标为该移动目标在每个相机的图像坐标系所对应的世界坐标系中的世界坐标。

具体的，可以预先将移动目标在每个相机的图像坐标系中的图像坐标保存下来，然后将每个图像坐标输入到各自对应的预先训练好的相机标定模型中，即相机1得到的移动目标的图像坐标输入到相机1对应的相机标定模型中，相机2得到的移动目标的图像坐标输入到相机2对应的相机标定模型中，以此类推。这样就可以得到该移动目标的多个世界坐标，该世界坐标为该移动目标在世界坐标系中的世界坐标。

S104、根据该移动目标的多个世界坐标，确定该移动目标的导航世界坐标。

具体的，有多个相机拍摄到该移动目标，就可以得到多个该移动目标的世界坐标，可以根据预设的条件，得到该移动目标的导航世界坐标。其中，该预设条件可以为对该移动目标的多个世界坐标求平均，将最后得到的平均世界坐标作为该导航世界坐标，该预设条件也可以为选取拍摄到的该移动目标区域最大的相机对应的世界坐标为该导航世界坐标，这里不对预设条件进行限定，可以根据实际需求进行设置。

S105、根据该移动目标的导航世界坐标，在该导航坐标系中对该移动目标进行导航。

具体的，当获取到该移动目标在世界坐标系中的导航世界坐标后，就可以知道该移动目标在监测场景中的对应位置，根据预先存储的该监测场景中的障碍物位置信息，就可以实时知道该移动目标与障碍物之间的距离关系，当两者之间的距离小于阈值时，比如该阈值可以设置成5cm，就说明该移动目标和障碍物有碰撞的可能，此时就需要给该移动目标发送一个警告指令，使该移动目标能在导航世界坐标系中的安全区域上运行。

综上所述，本申请提供的多目相机导航方法中，首先根据监测场景中的多个相机的世界坐标系，建立导航坐标系，然后对每个相机拍获取到的数据进行检测，得到移动目标在每个相机中的图像坐标中的图像坐标，采用预先训练的每个相机对应的相机标定模型，将移动目标在图像坐标中的图像坐标转换成在世界坐标系中的世界坐标，有多个相机就对应多个世界坐标，并根据多个世界坐标，确定该移动目标的导航世界坐标，最后根据该导航世界坐标，在上述导航坐标系中对该移动目标进行导航。采用本申请实施例提供的上述多目相机导航方法，在移动目标出现在监测场景中时，可以通过采用预先训练的所述每个相机对应的相机标定模型，将移动目标在每个相机的图像坐标系中的图像坐标转换成该移动目标在每个世界坐标系中的世界坐标，得到该移动目标的导航世界坐标，使该导航世界坐标更精准，进而可以提高多目相机对目标物体进行导航的精度。

可选地，上述对每个相机的图像数据进行检测，得到监测场景中的移动目标在每个相机的图像坐标系中的图像坐标，可以包括：采用背景差分算法，从每个相机的图像数据中提取移动目标，并确定该移动目标在每个相机的图像坐标系中的点坐标为移动目标在每个相机的图像坐标系中的图像坐标。

具体的，相机可以实时获取包含移动目标的图像，在该图像中还有一些干扰信息，比如，获取到的图像中可能包括一些监测场景中的障碍物信息(如货架)，为了在图像数据中提取移动目标信息，可以采用背景差分算法，该背景差分算法也可以称为背景减法算法，将获取到的当前图像与背景图像进行差分得到移动目标区域，比如此刻有3个相机拍摄到了该移动目标，则分别对这3个相机中的图像数据中提出的该移动目标区域进行处理，以其中一个相机(相机1)为例，可以先提取出相机1中的移动目标区域的中心点，获取该中心点所在相机1中图像坐标系中的点坐标，则该点坐标为该移动目标在相机1的图像坐标系中的图像坐标。对于其他获取到该移动目标区域的相机，都可以通过类似的处理方式得到该移动目标在其他相机的图像坐标系中的图像坐标。

可选地，上述根据该移动目标的导航世界坐标，在该导航坐标系中对该移动目标进行导航，包括：根据该移动目标的导航世界坐标和该导航坐标系，确定该移动目标在该监测场景中的位置；根据该移动目标在该监测场景中的位置，在该导航坐标系中对该移动目标进行导航。

具体的，在获取到该移动目标的导航世界坐标后，可以根据世界坐标系与导航坐标系之间的关系，将该移动目标的导航世界坐标转换成在导航坐标系中的坐标，也就相当于确定了该移动目标在该监测场景中的位置，然后根据该移动目标在该监测场景中的位置，实时判断该移动目标是否在预设的导航路线上，以及也可以实时判断该移动目标与障碍物之间的距离是否超出预先设定的安全距离，以便对在该导航坐标系中的该移动目标进行精确导航。

图2为本申请实施例提供的一种相机标定模型训练方法的流程示意图，如图2所示，该方法可以包括：

S201、通过每个相机获取预设多个标定图像数据。

其中，多个标定图像数据为预设标定板在多个不同角度的图像数据。具体的，在利用相机对移动目标进行导航之前，都需要对相机进行标定，在标定的过程中需要使用标定板作为标尺，该标定板可以分为两种形式：圆形标定板和棋盘格标定板，在待标定的相机固定好后，选取一种标定板分别对每个待标定的相机进行标定，以其中一个待标定相机为例，将该标定板放在该待标定相机的拍摄范围内的预设多个位置处，该位置可以是标定时随机选取的，也可以是提前设置好的，可以利用该待标定相机获取多个不同角度的该标定板的图像数据，并将其存储起来，此处的该待标定相机板拍摄的图像数量正比于该待标定相机标定模型的参数量，即获取的标定板的图像数量越多，最后训练出的相机标定模型越精准。

S202、根据多个标定图像数据，获取训练数据。

其中，该训练数据可以包括：预设标定板上顶点在每个相机的图像坐标系中的图像坐标，以及顶点在世界坐标系中的世界坐标。

具体的，此处可以以棋盘格标定板为例进行说明，获取到每个相机拍摄到的多张棋盘格标定板图像后，以相机为单位，对每个相机对应的每张棋盘格标定板图像数据进行处理，比如相机1拍摄到3张棋盘格标定板图像，可以采用预设的检测算法，如角点检测算法或者边缘检测算法，对每张棋盘格标定板图像进行检测，可以检测出棋盘格标定板上的预先选取的格子顶点在每张棋盘格标定板图像数据中的坐标(x,y)，即棋盘格标定板上的预先选取的格子顶点在相机1的图像坐标系中的图像坐标，并且还可以根据该棋盘标格定板中的每个格子的尺寸(如长宽都为5mm)，确定出上述预先选取的格子顶点在世界坐标系中的世界坐标(x,y)，该世界坐标系可以理解成理想世界坐标系，图3为本申请实施例提供的一种棋盘格标定板图像与理想世界坐标系之间关系的结构示意图，如图3所示，图3中的左图为棋盘格标定板图像，右图为理想世界坐标系，该棋盘格标定板图像中的每一个格子对应于理想世界坐标系中的每一个白点。

进一步的，上述对相机进行标定其实质是为了求解图像坐标系到世界坐标系的映射关系，也就是为了获取由图像坐标系到世界坐标系的单应性矩阵，实现由图像坐标系中的点坐标到世界坐标系中的点坐标的转换，上述两个坐标系之间的映射关系可以通过对神经网络模型进行训练而得到。

S203、根据该训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到每个相机对应的相机标定模型。

具体的，由于利用神经网络可以拟合任意函数的特性，所以对预先建立的神经网络模型进行训练可以代替现有的通过相机透视成像模型假设的单目相机的标定方法。可以将相机标定模型的求解过程假设为一个监督学习的问题，那么该神经网络模型的输入数据为图像坐标系中图像坐标(x,y)，该神经网络模型的输出数据(期望值)为世界坐标系中的世界坐标(x,y)。上述训练数据可以是以相机为单位进行存储，并以相机为单位对预先建立的神经网络模型进行训练，每个相机对应的训练时的预设停止条件可以设置成一样，也可以设置成不一样。其中，在训练前，可以设置停止条件，该停止条件可以为损失函数值达到最小，或者迭代次数达到预设值(如5000次)。例如可采用如下式，用均方差来计算该损失函数值。

其中，x_i,y_i表示标定板第i个顶点处在世界坐标系中的真实世界坐标，x″_i，y″_i表示标定板第i个顶点处在世界坐标系中的预测世界坐标，loss为损失函数值。

进一步的，可以通过随机梯度下降法对预先建立的神经网络模型进行优化，在该神经网络模型满足上述预设停止条件后，将该神经网络模型的训练结果(参数)可以保存到硬盘上的文件中。如下式所示，可以表示图像坐标系到世界坐标系的映射关系。

f(x,y)＝(x,y)

其中，(x,y)表示移动目标在图像坐标系中的坐标，(x,y)表示移动目标的是世界坐标系中的坐标。

图4为本申请实施例提供的一种多目相机导航装置的结构示意图，如图4所示，该装置可以包括：

建立模块401，用于根据监测场景中的多个相机的世界坐标，建立导航坐标系；

检测模块402，用于对每个相机的图像数据进行检测，得到该监测场景中的移动目标在每个相机的图像坐标系中的图像坐标；

处理模块403，用于根据该移动目标在每个相机的图像坐标系中的图像坐标，采用预先训练的每个相机对应的相机标定模型进行处理，得到该移动目标的一个世界坐标，该一个世界坐标为该移动目标在每个相机的图像坐标系所对应的世界坐标系中的世界坐标；

确定模块404，用于根据该移动目标的多个世界坐标，确定该移动目标的导航世界坐标；

导航模块405，用于根据该移动目标的导航世界坐标，在该导航坐标系中对该移动目标进行导航。

可选地，检测模块402，具体用于：

采用背景差分算法，从每个相机的图像数据中提取该移动目标，并确定该移动目标在每个相机的图像坐标系中的点坐标为该移动目标在每个相机的图像坐标系中的图像坐标。

可选地，导航模块405，具体用于：

根据该移动目标的导航世界坐标和该导航坐标系，确定该移动目标在该监测场景中的位置；根据该移动目标在该监测场景中的位置，在该导航坐标系中对该移动目标进行导航。

图5为本申请实施例提供的一种相机标定模型训练方法的结构示意图，如图5所示，该装置可以包括：

第一获取模块501，通过每个相机获取预设多个标定图像数据，多个标定图像数据为预设标定板在多个不同角度的图像数据；

第二获取模块502，用于根据多个标定图像数据，获取训练数据，该训练数据包括：预设标定板上顶点在每个相机的图像坐标系中的图像坐标，以及顶点在世界坐标系中的世界坐标；

训练模块503，根据该训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到每个相机对应的相机标定模型。

可选地，第二获取模块502，具体用于：

采用预设的检测算法，检测多个标定图像数据中的顶点；记录所述顶点在每个相机的图像坐标系中的图像坐标，以及顶点在世界坐标系中的世界坐标。

可选地，训练模块503，具体用于：

根据该训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设停止条件；将满足该预设停止条件时的神经网络模型确定为相机标定模型。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。

图6为本申请实施例提供的一种电子设备结构示意图，图6所示，该电子设备可以包括：处理器601、存储介质602和总线603，存储介质602存储有处理器601可执行的机器可读指令，当电子设备运行时，处理器601与存储介质602之间通过总线603通信，处理器601执行机器可读指令，以执行上述多目相机导航方法的步骤。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述多目相机导航方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种多目相机导航方法，其特征在于，所述方法包括：

根据监测场景中的多个相机的世界坐标，建立导航坐标系；

对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；

根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；

根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；

根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航；

其中，所述每个相机对应的相机标定模型为采用下述步骤进行训练得到的模型：

通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；

根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；

根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。

2.根据权利要求1所述的方法，其特征在于，所述对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标，包括：

采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。

3.根据权利要求1所述的方法，其特征在于，所述根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航，包括：

根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；

根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个标定图像数据，获取训练数据，包括：

采用预设的检测算法，检测所述多个标定图像数据中的顶点；

记录所述顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据进行模型训练，得到所述相机标定模型，包括：

根据所述训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设停止条件；

将满足所述预设停止条件时的神经网络模型确定为所述相机标定模型。

6.一种多目相机导航装置，其特征在于，所述装置包括：

建立模块，用于根据监测场景中的多个相机的世界坐标，建立导航坐标系；

检测模块，用于对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；

处理模块，用于根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；

确定模块，用于根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；

导航模块，用于根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航；

所述处理模块，还用于通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。

7.根据权利要求6所述的装置，其特征在于，所述检测模块，具体用于：

采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。

8.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-5任一所述多目相机导航方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-5任一所述多目相机导航方法的步骤。

Images