CN109472829A - 一种物体定位方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种物体定位方法、装置、设备和存储介质。该方法包括：基于第一图像数据，计算相机的内参数，其中，所述第一图像数据是所述相机采集的第一标定物的图像数据，所述第一标定物沿着预定路线按照预定速度匀速运动；基于第二图像数据，计算所述相机相对于第二标定物的外参数，其中，所述第二图像数据是所述相机采集的第二标定物的图像数据，所述第二标定物设置在地面，且相对于所述相机的位置是固定的；获取所述相机采集的第三图像数据中目标物的像素坐标；根据所述相机的内参数、外参数以及所述目标物的像素坐标，确定所述目标物在所述相机投影到地面上的位置。根据本申请实施例的技术方案，能够实现单目相机对物体的准确定位。

Description

一种物体定位方法、装置、设备和存储介质

技术领域

本申请一般涉及视觉测量技术领域，具体涉及一种物体定位方法、 装置、设备和存储介质。

背景技术

计算机视觉运用照相机和计算机来获取被拍摄目标对象的数据与 信息，其期望计算机能够感知环境。计算机视觉的研究对象主要是映 射到单幅或多幅图像上的三维场景，例如三维场景的重建。随着计算 机视觉技术的发展，对于场景理解而言，其需求在日益增加，但是在 实际应用过程中场景理解存在多种难以解决问题。

例如，在机场中布置无缝摄像机监控***，基于监控***调取机 场各位置视频流，并回溯一定时间范围内的录像，但是，目前的监控 ***只能记录，并不理解这些场景发生的内容，理解或者分析工作还 是需要人工参与。

其次，对于场景的理解先对场景中的物体进行定位，以确定物体 是否合适的出现在该出现的位置，是否出现在不该出现的位置，并给 予相应的实时警报。

在上述机场的无缝摄像机监控***中，由于机场环境非常大，相 机分布非常广且分布稀疏，两个相机之间难以构成双目成像，因此无 法使用双目对机场上的物体进行定位，因此如何利用单目相机对物体 进行准确定位，成为目前急需解决的问题。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于单目摄像 机实现对物体进行准确定位的方案。

第一方面，本申请实施例提供了一种物体定位方法，所述方法包 括：

基于第一图像数据，计算相机的内参数，其中，所述第一图像数 据是所述相机采集的第一标定物的图像数据，所述第一标定物沿着预 定路线按照预定速度匀速运动；

基于第二图像数据，计算所述相机相对于第二标定物的外参数， 其中，所述第二图像数据是所述相机采集的第二标定物的图像数据， 所述第二标定物设置在地面，且相对于所述相机的位置是固定的；

获取所述相机采集的第三图像数据中目标物的像素坐标；

根据所述相机的内参数、外参数以及所述目标物的像素坐标，确 定所述目标物在以所述相机在地面上的投影点为原点的世界坐标系中 的地面位置。

第二方面，本申请实施例还提供了一种物体定位装置，所述装置 包括：

内参计算单元，用于基于第一图像数据，计算相机的内参数，其 中，所述第一图像数据是所述相机采集的第一标定物的图像数据，所 述第一标定物沿着预定路线按照预定速度匀速运动；

外参计算单元，用于基于第二图像数据，计算所述相机相对于第 二标定物的外参数，其中，所述第二图像数据是所述相机采集的第二 标定物的图像数据，所述第二标定物设置在地面，且相对于所述相机 的位置是固定的；

坐标获取单元，用于获取所述相机采集的第三图像数据中目标物 的像素坐标；

定位单元，用于根据所述相机的内参数、外参数以及所述目标物 的像素坐标，确定所述目标物在以所述相机在地面上的投影点为原点 的世界坐标系中的地面位置。

第三方面，本申请实施例还提供了一种计算机设备，包括存储器、 处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述 处理器执行所述程序时实现上述物体定位方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其 上存储有计算机程序，所述计算机程序用于：

所述计算机程序被处理器执行时实现上述物体定位方法。

本申请实施例提供的物体定位方案，通过第一标定物计算相机的 内参数，通过第二标定物计算相机的外参数，并通过相机的内参数和 外参数，以及采集的目标物的像素坐标，确定出目标物在以相机在地 面上的投影点为原点的世界坐标系中的地面位置。本申请实施例的技 术方案，可以实现单目相机对物体的准确定位。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描 述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的一种物体定位方法的示例性流程 图；

图2示出了相机放置在世界坐标系中的示意图；

图3示出了本申请实施例提供的一种物体定位装置的示例性结构 框图；

图4示出了适于用来实现本申请实施例的服务器的计算机***的 结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解 的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发 明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与 发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例 中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本 申请。

如背景技术中所提到的，由于机场环境非常大，相机分布非常广 且分布稀疏，两个相机之间难以构成双目成像，因此无法使用双目对 机场上的物体进行定位，只能从单目定位着手。目前的单目定位方案 一般要求预先得到相机的高度以及相机的俯角。但是针对机场已经安 装好的相机，这种方法无法满足要求。

鉴于现有技术的上述缺陷，本申请实施例提供了一种物体定位方 案。该方案通过第一标定物计算相机的内参数，通过第二标定物计算 相机的外参数，并通过相机的内外参数，以及采集的目标物的像素坐 标，确定出目标物在以相机在地面上的投影点为原点的世界坐标系中 的地面位置。本申请实施例的技术方案，可以实现单目相机对物体的 准确定位。

下面将结合流程图来描述本申请实施例的方法。

请参考图1，图1示出了本申请实施例提供的物体定位方法的流 程示意图。

如图1所示，该方法包括：

步骤110，基于第一图像数据，计算相机的内参数，其中，第一 图像数据是该相机采集的第一标定物的图像数据，第一标定物沿着预 定路线按照预定速度匀速运动。

本申请实施例中，标定物，可以但不限于指的是：按照预定尺寸 设置的棋盘格图像，例如每个格子预定的宽度为3cm，5cm，或者其 他尺寸。

在步骤110中，第一标定物可以是棋盘格图像，或者其他可以实 现标定的图像。例如可以将第一标定物放置在拖头车上，或者可以采 用遥控汽车等移动装置放置第一标定物。

设置第一标定物的移动装置在机场跑道上匀速运动时，得到第一 图像数据，该第一图像数据是该相机对匀速运动的第一标定物的成像 结果。进而根据该成像结果实现对相机内参数的标定。

本申请实施例中，相机的内参数可以表示为：

其中，f_x、f_y、u₀、v₀均为已知变量。

步骤120，基于第二图像数据，计算相机相对于第二标定物的外 参数，其中，第二图像数据是相机采集的第二标定物的图像数据，第 二标定物设置在地面，且相对于相机的位置是固定的。

本申请实施例中，第二标定物可以是棋盘格图像，或者其他可以 实现标定的图像。第二标定物相对于相机的位置是固定的，比如固定 在相机前方的地面上。

需要注意的是，第二标定物的摆放方式需要和世界坐标系的横纵 坐标轴平行。其中，世界坐标系是以相机在地面的投影点为原点的坐 标系。

相机对第二标定物进行采集得到第二图像数据，该第二图像数据 是该相机对固定于地面的第二标定物的成像结果。进而根据该成像结 果实现对相机相对于第二标定物的外参数的标定。其中，相机相对于 第二标定物的外参数可以包括：

其中，r₁-r₉、t₁-t₃均为已知变量。

步骤130，获取相机采集的第三图像数据中目标物的像素坐标。

本申请实施例中，在相机采集的第三图像数据中建立像素坐标系， 其中，可将第三图像数据的左上角的顶点确定为像素坐标系的原点， 可以将目标物的像素坐标设置为(u，v)，横坐标u和纵坐标v分别 是图像所在的行和列。

步骤140，根据相机的内外参数以及目标物的像素坐标，确定目 标物在世界坐标系中的地面位置。

其中，步骤140可以但不限于按照如下方式实现：

首先，根据以相机为原点的相机坐标系和以第二标定物中指定点 为原点的标定物坐标系的坐标转换关系，确定相机相对于第二标定物 的平移参数；

具体的，相机坐标系和标定物坐标系的坐标转换关系可以用公式 (1)来表示：

其中，X、Y和Z指标定物坐标系中的坐标，x、y和z指相机坐 标系中的坐标，R＇^-1为相机坐标系转换到标定物坐标系的旋转矩阵， R＇^-1T＇为相机坐标系转换到标定物坐标系的平移矩阵，而相机相对 于第二标定物的平移坐标为该平移矩阵中的三个参数值，即dx，dy 和h。

图2示出了相机放置在世界坐标系中的示意图，参考图2，其中 包括三个坐标系，分别为以相机在地面的投影点O_wo为原点的世界坐 标系，以相机O_ca为原点的相机坐标系，以及以第二标定物左下角顶 点O_ch为原点的标定物坐标系。

参照上述三个坐标系，标定物坐标系转换到相机坐标系可以建立 的关系如下公式(2)所示：

参照公式(2)，为了从标定物坐标系转换到相机坐标系，首先需 要对标定物坐标系进行旋转，然后再进行平移，这样得到的平移矩阵 不能用图2中的(d_x,d_y,h)来进行表示，也就无法求解出这三个变量，但 是如果将公式(2)进行变换得到如公式(1)所示，则变为：对相机 坐标系进行旋转，然后再进行平移，这样平移参数为(d_x,d_y,h)，即R＇ ^-1T＇。

其次，基于目标物的像素坐标与目标物在相机坐标系中的相机坐 标之间的第一关系、目标物在标定物坐标系中的标定物坐标与相机坐 标之间的第二关系、以及相机的内外参数，确定目标物在标定物坐标 系中的位置坐标；

具体的，上述第一关系可以用公式(3)表示：

其中，x_ca、y_ca和z_ca为目标物在相机坐标系中的坐标。

上述第二关系可以用公式(4)表示：

其中，X_ch、Y_ch和Z_ch为目标物在标定物坐标系中的坐标。

根据上述公式(3)公式(4)，以及相机的内外参数K、R和T， 可以推导出如下公式(5)：

结合标定物坐标系，Z_ch＝0，代入上述公式(5)，得到如下公式 (6)：

确定目标物在标定物坐标系中的位置坐标；

令上述公式(6)中，A＝f_xr₁+(u₀-u)r₇、B＝f_xr₂+(u₀-u)r₈、 C＝f_yr₄+(v₀-v)r₇、D＝f_yr₅+(v₀-v)r₈、E＝(u-u₀)t₃-f_xt₁、F＝(v-v₀)t₃-f_yt₂，确 定目标物在标定物坐标系中的位置坐标：

最后，根据相机相对于第二标定物的平移参数，将目标物在标定 物坐标系中的位置坐标转化到世界坐标系中，得到目标物在世界坐标 系中的地面位置。

具体的，根据公式确定目标物在世界坐标系中 的地面位置；其中，X_w和Y_w为目标物在所述世界坐标系中的坐标值。

本申请实施例中，在确定了目标物在世界坐标系中的地面位置之 后，还可以进一步包括：

根据公式确定标定误差。

其中，E_dis为标定误差，X_n和Y_n为第二标定物中的第n个点在标 定物坐标系中的坐标，N的数量根据需要自行定义。

其中，该标定误差的主要作用是用来评估算法准确度，以及检测 对目标物进行定位的精确度。

本申请实施例提供的物体定位方案，通过第一标定物计算相机的 内参数，通过第二标定物计算相机的外参数，并通过相机的内外参数， 以及采集的目标物的像素坐标，确定出目标物在以相机在地面上的投 影点为原点的世界坐标系中的地面位置。本申请实施例的技术方案， 可以实现单目相机对物体的准确定位。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作， 但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或 是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描 绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤， 将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执 行。

进一步参考图3，其示出了本申请实施例提供的一种物体定位装 置的示例性结构框图。

该装置可以包括：

内参计算单元31，用于基于第一图像数据，计算相机的内参数， 其中，所述第一图像数据是所述相机采集的第一标定物的图像数据， 所述第一标定物沿着预定路线按照预定速度匀速运动；

外参计算单元32，用于基于第二图像数据，计算所述相机相对于 第二标定物的外参数，其中，所述第二图像数据是所述相机采集的第 二标定物的图像数据，所述第二标定物设置在地面，且相对于所述相 机的位置是固定的；

坐标获取单元33，用于获取所述相机采集的第三图像数据中目标 物的像素坐标；

定位单元34，用于根据所述相机的内参数、外参数以及所述目标 物的像素坐标，确定所述目标物在以所述相机在地面上的投影点为原 点的世界坐标系中的地面位置。

可选的，定位单元34包括：

平移参数确定模块，用于根据以所述相机为原点的相机坐标系和 以所述第二标定物中指定点为原点的标定物坐标系的坐标转换关系， 确定所述相机相对于所述第二标定物的平移参数；

第一位置确定模块，用于基于所述目标物的像素坐标与所述目标 物在所述相机坐标系中的坐标之间的第一关系、所述目标物在所述标 定物坐标系中的坐标与所述目标物在所述相机坐标系中的坐标之间的 第二关系以及所述相机的内外参数，确定所述目标物在所述标定物坐 标系中的位置坐标；

第二位置确定模块，用于根据所述相机相对于所述第二标定物的 平移参数，将所述目标物在所述标定物坐标系中的位置坐标转化到所 述世界坐标系中，得到所述目标物在所述世界坐标系中的地面位置。

可选的，平移参数确定模块，具体用于：

根据公式确定所述相机相对于所述第二标定物 的平移坐标；其中：所述X、Y和Z为所述标定物坐标系中的坐标， 所述x、y和z为所述相机坐标系中的坐标，所述R＇^-1为所述相机坐 标系转换到所述标定物坐标系的旋转矩阵，所述R＇^-1T＇为所述相机 坐标系转换到所述标定物坐标系的平移矩阵。

可选的，第一位置确定模块中的第一关系为：所 述第二关系为：

所述目标物在所述标定物坐标系中的位置坐标为：

其中，所述K为所述相机的内参数，所述所述R 和T为所述相机的外参数，所述所述所述u和 所述v为所述目标物的像素坐标；所述A＝f_xr₁+(u₀-u)r₇、所述 B＝f_xr₂+(u₀-u)r₈、所述C＝f_yr₄+(v₀-v)r₇、所述D＝f_yr₅+(v₀-v)r₈、所述 E＝(u-u₀)t₃-f_xt₁、所述F＝(v-v₀)t₃-f_yt₂。

可选的，第二位置确定模块，具体用于：

根据公式确定所述目标物在所述世界坐标系中 的地面位置；其中，所述X_w和Y_w为所述目标物在所述世界坐标系中 的坐标值，所述d_x和d_y为所述相机相对于所述第二标定物的平移参数。

可选的，该装置还可以包括：

标定误差确定单元，用于根据公式确定标定误差；

其中，所述E_dis为标定误差，所述X_n和所述Y_n为第二标定物中 的第n个点在标定物坐标系中的坐标。

其中，上述第二图像数据和/或所述第三图像数据是利用所述相机 的内参数进行畸变矫正后的图像数据。

应当理解，该装置中记载的诸子***或单元与参考图1-图2描述 的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征 同样适用于该装置及其中包含的单元，在此不再赘述。

下面参考图4，其示出了适于用来实现本申请实施例的服务器的 计算机***400的结构示意图。

如图4所示，计算机***400包括中央处理单元(CPU)401，其 可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408 加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作 和处理。在RAM 403中，还存储有***400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入 /输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406； 包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等 的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、 调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如 因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口 405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等， 根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据 需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考图1-图2描述的过程可 以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机 程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述 计算机程序包含用于执行图1-图2的方法的程序代码。在这样的实施 例中，该计算机程序可以通过通信部分409从网络上被下载和安装， 和/或从可拆卸介质411被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的***、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于 实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的 实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发 生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们 有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的 是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的 组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现， 或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方 式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以 设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该 单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计 算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可 读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储 介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序 被一个或者一个以上的处理器用来执行描述于本申请的公式输入方 法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说 明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限 于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离 所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合 而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于) 具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种物体定位方法，其特征在于，所述方法包括：

基于第一图像数据，计算相机的内参数，其中，所述第一图像数据是所述相机采集的第一标定物的图像数据，所述第一标定物沿着预定路线按照预定速度匀速运动；

基于第二图像数据，计算所述相机相对于第二标定物的外参数，其中，所述第二图像数据是所述相机采集的第二标定物的图像数据，所述第二标定物设置在地面，且相对于所述相机的位置是固定的；

获取所述相机采集的第三图像数据中目标物的像素坐标；

根据所述相机的内参数、外参数以及所述目标物的像素坐标，确定所述目标物在以所述相机在地面上的投影点为原点的世界坐标系中的地面位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相机的内参数、外参数以及所述目标物的像素坐标，确定所述目标物在以所述相机在地面上的投影点为原点的世界坐标系中的地面位置，包括：

根据以所述相机为原点的相机坐标系和以所述第二标定物中指定点为原点的标定物坐标系的坐标转换关系，确定所述相机相对于所述第二标定物的平移参数；

基于所述目标物的像素坐标与所述目标物在所述相机坐标系中的坐标之间的第一关系、所述目标物在所述标定物坐标系中的坐标与所述目标物在所述相机坐标系中的坐标之间的第二关系以及所述相机的内外参数，确定所述目标物在所述标定物坐标系中的位置坐标；

根据所述相机相对于所述第二标定物的平移参数，将所述目标物在所述标定物坐标系中的位置坐标转化到所述世界坐标系中，得到所述目标物在所述世界坐标系中的地面位置。

3.根据权利要求2所述的方法，其特征在于，所述根据所述相机坐标系和所述标定物坐标系的坐标转换关系，确定所述相机相对于所述第二标定物的平移参数，包括：

根据公式确定所述相机相对于所述第二标定物的平移坐标；其中：所述X、Y和Z为所述标定物坐标系中的坐标，所述x、y和z为所述相机坐标系中的坐标，所述R＇^-1为所述相机坐标系转换到所述标定物坐标系的旋转矩阵，所述R＇^-1T＇为所述相机坐标系转换到所述标定物坐标系的平移矩阵。

4.根据权利要求2所述的方法，其特征在于，所述第一关系为：所述第二关系为：

所述目标物在所述标定物坐标系中的位置坐标为：

其中，所述K为所述相机的内参数，所述所述R和T为所述相机的外参数，所述所述所述u和所述v为所述目标物的像素坐标；所述A＝f_xr₁+(u₀-u)r₇、所述B＝f_xr₂+(u₀-u)r₈、所述C＝f_yr₄+(v₀-v)r₇、所述D＝f_yr₅+(v₀-v)r₈、所述E＝(u-u₀)t₃-f_xt₁、所述F＝(v-v₀)t₃-f_yt₂。

5.根据权利要求2所述的方法，其特征在于，所述根据所述相机相对于所述第二标定物的平移参数，将所述目标物在所述标定物坐标系中的位置坐标转化到所述世界坐标系中，得到所述目标物在所述世界坐标系中的地面位置，包括：

根据公式确定所述目标物在所述世界坐标系中的地面位置；其中，所述X_w和Y_w为所述目标物在所述世界坐标系中的坐标值，所述d_x和d_y为所述相机相对于所述第二标定物的平移参数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据公式确定标定误差；

其中，所述E_dis为标定误差，所述X_n和所述Y_n为第二标定物中的第n个点在标定物坐标系中的坐标。

7.根据权利要求1所述的方法，其特征在于，所述第二图像数据和/或所述第三图像数据是利用所述相机的内参数进行畸变矫正后的图像数据。

8.一种物体定位装置，其特征在于，所述装置包括：

内参计算单元，用于基于第一图像数据，计算相机的内参数，其中，所述第一图像数据是所述相机采集的第一标定物的图像数据，所述第一标定物沿着预定路线按照预定速度匀速运动；

外参计算单元，用于基于第二图像数据，计算所述相机相对于第二标定物的外参数，其中，所述第二图像数据是所述相机采集的第二标定物的图像数据，所述第二标定物设置在地面，且相对于所述相机的位置是固定的；

坐标获取单元，用于获取所述相机采集的第三图像数据中目标物的像素坐标；

定位单元，用于根据所述相机的内参数、外参数以及所述目标物的像素坐标，确定所述目标物在以所述相机在地面上的投影点为原点的世界坐标系中的地面位置。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：

所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。