CN110728720A - 用于相机标定的方法、装置、设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了用于成像设备的坐标系转换参数的方法、装置、设备和计算机可读存储介质，可用于自动驾驶。该方法包括：从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；基于参考线在三维地图中的位置信息，从二维图像中确定第二点集合；从第一点集合中确定第一点，第一点与第二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以及至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关系。由此，可以降低不准确的匹配点对所带来的干扰，从而更为准确地标定相机的外参数。

Description

用于相机标定的方法、装置、设备和存储介质

技术领域

本公开的实施例主要涉及计算机技术领域，可用于自动驾驶，并 且更具体地，涉及用于相机标定的方法、装置、设备以及计算机可读 存储介质。

背景技术

近年来，自动驾驶技术的发展越来越迅速。自动驾驶技术的基础 是对车辆周围环境的感知，即识别周围环境的具体状况。已经提出， 除了利用车载的传感器装置(例如，车载激光雷达或者车载相机)进 行环境感知之外，还可以通过车外的传感器装置(例如，安装在路侧 的相机)来获取车辆的环境信息，以更好地支持自动驾驶技术。然而， 由于某些原因，安装在路侧的相机的安装位置可能相对于初始安装位 置出现抖动，进而影响例如基于路侧相机所捕获的图像数据所确定的 车辆或障碍物的位置的准确性。这种位置的误差对于自动驾驶可能是 无法接受的。

发明内容

根据本公开的实施例，提供了一种用于相机标定的方案。

在本公开的第一方面中，提供了一种用于相机标定的方法。该方 法包括：从由相机所捕获的二维图像中确定与预定的参考线对应的第 一点集合；基于参考线在三维地图中的位置信息，从二维图像中确定 第二点集合；从第一点集合中确定第一点，第一点与第二点集合中的 第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以 及至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐 标系与世界坐标系的转换关系。

在本公开的第二方面中，提供了一种用于相机标定的装置。该装 置包括：第一点集合确定模块，被配置为从由相机所捕获的二维图像 中确定与预定的参考线对应的第一点集合；第二点集合确定模块，被 配置为基于参考线在三维地图中的位置信息，从二维图像中确定第二 点集合；第一点确定模块，从第一点集合中确定第一点，第一点与第 二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的 距离阈值；以及外参数确定模块，被配置为至少基于第一点与第二点， 确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关 系。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个 处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程 序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开 的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上 存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方 面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的 实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其 它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特 征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注 表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示 意图；

图2示出了根据本公开的一些实施例的用于相机标定的方法的流 程图；

图3示出了根据本公开的一些实施例的用于确定第一点集合的示 例方法的流程图；

图4示出了将三维坐标点投影到二维图像的示意图；

图5示出了根据本公开的一些实施例的用于确定相机的外参数的 示例方法的流程图；

图6示出了根据本公开的一些实施例的用于确定候选外参数的示 例方法的流程图

图7示出了根据本公开的一些实施例的用于确定相机的外参数的 装置的示意性结构框图；以及

图8示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示 了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形 式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这 些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公 开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范 围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理 解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至 少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至 少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相 同的对象。下文还可能包括其他明确的和隐含的定义。

如本文中使用的，术语“相机的外参数”例如可以是在相机坐标 系与世界坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩 阵，等等。术语“相机的内参数”例如可以是在图像坐标系和/或像素 坐标系与相机坐标系之间进行转换所需要的参数，例如平移矩阵、旋 转矩阵，等等。“标定相机的外参数”可以是指对相机坐标系与世界 坐标系之间的转换参数的确定。

在本公开的上下文中，世界坐标系可以是指覆盖全球范围的参考 坐标***，其例如可以用于辅助车辆的自动驾驶或自主停车等，其示 例包括UTM坐标***、经纬度坐标***，等等。相机坐标系的原点 可以位于成像设备的光心，竖轴(z轴)可以与成像设备的光轴重合， 横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原 点可以在图像的左上角，横轴和纵轴可以分别为图像所在的像素行和 像素列，单位可以为像素。图像坐标系的原点可以在图像的中心(即 像素坐标系的中点)，横轴和纵轴与像素坐标系平行，单位为可以毫 米。但是，将理解，在其他的实施例中，这些坐标系也可以按照在本 领域中所接受的其他合理的方式被定义。

如前面提及的，由于某些原因，安装在路侧的相机的安装位置可 能相对于初始安装位置出现抖动，进而影响例如基于路侧相机所捕获 的图像数据所确定的车辆或障碍物的位置的准确性。

根据本公开的各种实施例，提供了一种相机标定的方案。在本公 开的实施例中，从由相机所捕获的二维图像中确定与预定的参考线对 应的第一点集合；基于参考线在三维地图中的位置信息，从二维图像 中确定第二点集合；从第一点集合中确定第一点，第一点与第二点集 合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈 值；以及至少基于第一点与第二点，确定相机的外参数，外参数指示 相机坐标系与世界坐标系的转换关系。通过距离阈值的约束，可以降 低不准确的点对所带来的干扰，从而更为准确地标定相机的外参数。

以下将参照附图来具体描述本公开的实施例。

图1示出了本公开的多个实施例能够在其中实现的示例环境100 的示意图。在该示例环境100中示意性示出了一些典型物体，包括道 路102、以及在道路102上行驶的车辆110。如图1所示，道路102 例如包括停止标志线115-1和车道标志线115-2(单独或统一称为标 志线115)，此外，环境100中还包括用于感测道路102的环境信息 的相机105。应当理解，这些示出的设施和物体仅是示例，根据实际 情况，不同交通环境中存在可能出现的物体将会变化。本公开的范围 在此方面不受限制。

车辆110可以是可以承载人和/或物并且通过发动机等动力*** 移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、 摩托车、房车、火车等等。环境100中的一个或多个车辆110可以是 具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆。 当然，环境100中的另外一个或一些车辆110还可以是不具有自动驾 驶能力的车辆。

在一些实施例中，相机105可以被布置在道路102的上方。在一 些实施例中，相机105例如还可以被布置在道路102的两侧。如图1 所示，相机105可以通信地耦合到计算设备120。虽然被示出为单独 的实体，但计算设备120可以被嵌入在相机105中。计算设备120也可以是相机105外部的实体，并且可以经由无线网络与相机105通信。 计算设备120可以被实现为一个或多个计算设备，其至少包含处理器、 存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存 储、通信、控制等功能。

在一些实施例中，相机105可以获取与道路102相关的环境信息 (例如，车道线信息、道路边界信息或障碍物信息)，并将该环境信 息发送至车辆110，以用于车辆110的行驶决策。在一些实施例中， 相机105也可以基于相机的外参数和内参数以及所捕获的车辆110的 图像，以确定车辆110的位置，并将该位置发送至车辆110，以实现 车辆110的定位。能够看到，无论是获取准确的环境信息，还是确定 准确的位置信息，确定相机准确的内参数及外参数都是必须的。

以下将结合图2至图5来描述根据本公开的实施例的相机标定的 过程。图2示出了根据本公开的实施例的用于相机标定的方法200的 流程图。方法200例如可以由图1中所示的计算设备120来执行。

如图2所示，在框202，计算设备120从由相机105所捕获的二 维图像中确定与预定的参考线对应的第一点集合。在一些实施例中， 参考线例如可以是环境中正交的两条线，例如图1中所示的道路102 的车道标志线115-2和停止标志线115-1。在一些实施例中，参考线 例如也可以是用于标定目的而在道路102上喷涂的特殊的标志线，例 如一组或多组相交线。在一些实施例中，当已知至少两个特征点在世 界坐标系和图像坐标系中的位置时，参考线也可以仅包括一条线。

在一些实施例中，计算设备120可以通过图像识别技术以从相机 105所捕获的二维图像中确定与参考线对应的第一点集合。以下将参 考图3来描述框202的具体过程。图3示出了根据本公开实施例的确 定第一点集合的过程202的流程图。

如图3所示，在框302，计算设备120可以获取二维图像的掩码 图像。根据本公开的一些实施例，计算设备120可以获取由经校准后 的相机105捕获的二维图像，其中在掩码图像中位于参考线上的点和 位于参考线外的点被不同地标识。以图1作为示例，计算设备120可 以利用标志线检测模型来确定标志线115(停止标志线115-1和车道 标志线115-2)，可以在掩码图像中将被确定为停止标志线115-1和车 道标志线115-2的点标记为白色，而将其他点标记为黑色，从而形成 掩码图像。

例如，图4示出了将三维位置投影到二维图像的示意图400。如 图4所示，停止标志线115-1和车道标志线115-2被示出为图4中的 斜线区域。

在一些实施例中，计算设备120可以在获取二维图像前对相机 105进行内参数标定。内参数是指与成像设备自身特性相关的参数。 以相机为例，内参数是指比如焦距、像素大小等参数。在一些实施例 中，相机105可以经畸变校正后捕获该二维图像。在一些实施例中， 相机105可以经内参数标定和畸变校正后捕获该二维图像。由此可以 有利于提高相机的外参数标定的准确性。

在框304，计算设备120可以从掩码图像中确定与位于参考线上 的点相对应的区域的中心线。在一些实施例中，计算设备120例如可 以利用骨骼提取模型来确定被标记为标志线115的区域的中心线。

在框306，计算设备120可以基于中心线确定第一点集合。在一 些实施例中，计算设备120利用可以对所确定的中心线进行采样，以 确定中心线上的多个点，以构成第一点集合。例如，如图4所示，计 算设备120可以确定与标志线115所对应的多个点405-1和405-2(单 独或统一称为点405，在图4中被示出为黑色实心点)，所标识的多 个点405构成第一点集合。

继续参考图2，在框204，计算设备120基于参考线在三维地图 中的位置信息，从二维图像中确定第二点集合。在一些实施例中，三 维地图可以由地图数据采集车来采集环境100相关的信息并且基于这 样的信息而生成。例如，针对没有GPS信号的场景，可以通过即时 定位与地图构建(SLAM)方法，让采集车从室外有GPS信号的位置 驶入该场景，利用车载激光雷达、摄像头以及环视影像采集***来采 集道路环境信息，之后进行识别和融合，以将采集到的数据叠加在一 起，生成三维地图。应理解到，可以通过其它任意合适方式来生成三 维地图，本申请对三维地图的生成方式并不做任何限制。

根据本公开的一些实施例，计算设备120可以从三维地图确定与 参考线对应的位置信息。例如，计算设备120可以确定停止标志线 115-1和车道标志线115-2在三维地图中的位置信息，这样的位置信 息例如可以被表示为一组三维坐标点。

在一些实施例中，计算设备120可以获取相机105的初始外参数。 在一些实施例，初始外参数例如可以是在安装相机105时所确定的， 其至少可以指示相机105在世界坐标系中的位置和角度。在一些实施 例中，初始外参数例如也可以是上次标定相机105所确定的外参数。

在一些实施例中，计算设备120可以基于初始外参数和参考线在 三维地图中的位置信息，确定二维图像中的第二点集合。在一些实施 例中，计算设备120可以基于初始外参数和相机105已知的内参数， 而将位置信息所对应的一组三维坐标点投影到二维图像所对应的图 像坐标系或像素坐标系中，从而获得第二点集合。

例如，如图4所示，基于参考线(例如，标志线115)在三维地 图中的位置信息，计算设备120可以确定与位置信息所对应一组三维 坐标点在二维图像中的投影点410-1和投影点410-2(单独或统一称 为投影点410，在图4中被示出为空心点)。该组投影点410构成了第二点集合。应当理解，第二点集合例如可以仅考虑落在二维图像的 范围内的点。例如，由于三维地图中车道标志线115-2的距离较长， 某些点可能被投影到二维图像外的点，这些点可以不被加入到第二点 集合中。

继续参考图2，在框206，计算设备120从第一点集合中确定第 一点，其中第一点与第二点集合中的第二点相对应，并且第一点与第 二点的距离小于预定的距离阈值。具体地，计算设备120可以以从第 一点集合中确定与第二点集合中的每个第二点相对应的第一点，其中 第一点表示第一点集合中与第二点距离最近的点，并且第一点与第二 点的距离小于预定的距离阈值。

以图4作为示例，对于第二集合中的点410-1，第一集合中与其 位置最近的点为点405-1，并且其距离例如小于预定的距离阈值，则 点405-1可以被确定为第一点，而410-1可以被确定为第二点。相反， 对于第二集合中的点410-2，第一集合中与其位置最近的点为点405-2，由于这两个点之间的距离例如大于预定的距离阈值，因此， 点410-2与点405-2构成的临近点对在计算中将不予考虑。基于这样 的方式，计算设备120可以确定第一点集合和第二点集合中所有符合 要求的点对。

继续参考图2，在框208，计算设备120至少基于第一点与第二 点确定相机的外参数，其中外参数指示相机坐标系与世界坐标系的转 换关系。计算设备120可以基于第一点与第二点的匹配来确定相机 105的外参数。以下将参考图5来描述框208的具体过程。图5示出 了根据本公开实施例的确定外参数的过程的流程图。

如图5所示，在框502，计算设备120可以基于第一点和第二点 之间的距离确定候选外参数。以下将结合图6来描述502的过程，图 6示出了根据本公开实施例的确定候选外参数的过程的流程图。

如图6所示，在框602，计算设备120可以基于第一点和第二点 之间的距离来确定第一点集合和第二点集合的距离。在一些实施例 中，计算设备120例如可以将在框206确定的所有满足条件的第一点 和第二点的距离的总和确定作为第一点集合和第二点集合的距离。在 一些实施例中，计算设备120例如还可以将在框206确定的所有满足 条件的第一点和第二点的距离的平均值确定作为第一点集合和第二 点集合之间的距离。

在框604，根据第一点集合和第二点集合的距离大于预定的阈值 的确定，计算设备120可以调整相机105的初始外参数。在一些实施 例中，在一些实施例中，计算设备120可以基于最小重投影误差方法 来调整相机105的初始外参数。具体地，计算设备120可以确定距离 关于外参数的雅可比(Jacobi)矩阵，例如该雅可比矩阵可以表示为：

其中e表示第二点集合中的投影点与对应的临近点的距离，δξ表示位 姿在李代数下的表示，其中X、Y、Z表示投影点在世界坐标系中的 坐标，X’、Y’、Z’表示经位姿变换后在相机坐标系中的位置，f_x、f_y表示相机105的内参数，由此可见，雅可比矩阵给出了距离关于位姿 的导数。计算设备120进一步可以基于所确定的雅克比矩阵来调整相 机105的初始外参数。

在框606，计算设备120可以基于经调整的外参数确定经更新的 第二点集合。应当理解，计算设备120可以利用经调整的外参数和相 机105的内参数来将三维地图中与参考线对应的一组三维坐标点投影 到二维图像中，以获得经更新的第二点集合。

在框608，计算设备120可以确定第一点集合与经更新的第二点 集合的距离小于或等于预定的阈值。响应于在框608确定距离仍大于 阈值，则方法可以进行到框604，继续调整外参数，即进入下一次迭 代。响应于在框608确定距离小于或等于预定的阈值时，则方法可以 进行到框510，即计算设备120可以将经调整的外参数确定为候选外 参数。

在一些实施例中，迭代的终止条件也可以被设置为当迭代达到预 定的次数即终止迭代。也即，当第一点集合与第二点集合的距离大于 预定的阈值时，计算设备120例如可以基于雅可比矩阵来调整初始的 外参数直到调整的次数达到预定的次数阈值。计算设备120可以将迭 代终止时所调整的初始外参数确定为候选外参数。

在一些实施例中，参考线例如可以仅包括一条线，例如，仅包括 车道标志线115-2，在这种情况下，仅基于车道标志线115-2在三维 地图中的位置信息和二维地图中的对应点可能无法获得唯一的外参 数。在该实施例中，计算设备120可以利用已知位置的参考点作为另 一约束来求解最优的外参数。具体地，计算设备120在确定外参数时， 可以在满足将已知世界坐标系中的绝对位置的参考点匹配到二维图 像中的参考点的前提下，通过最小冲投影误差或姿态搜索使得参考点 所对应的第一点集合和第二点集合的距离小于预定的阈值，从而获得 最优的外参数。应当理解，参考点可以是任何已知世界坐标的点，例 如，已知位置的交通标志、已知位置的喷涂的参考点、或者其他任何 已知位置的参考物。

在一些实施例中，如上文所描述的，参考线可以包括在世界坐标 系中两条相交的线。基于上文的最小重投影误差方法或者姿态搜索的 方法可以确定最优的外参数。

继续参考图5，在框504，基于候选外参数和位置信息，计算设 备120可以从二维图像中确定第三点集合。具体地，计算设备120可 以基于候选外参数和相机105的内参数将与位置信息对应的一组三维 坐标点投影到二维图像中以确定第三点集合。

在框506，基于更新的距离阈值，计算设备120可以从第一点集 合中确定第三点，第三点与第三点集合中的第四点相对应，并且第三 点与第三点的距离小于更新的距离阈值。在一些实施例中，计算设备 120可以在每次迭代后调整距离阈值。例如，计算设备120可以将距 离阈值减去预定的步长。备选地，计算设备120可以将距离阈值除以 预定的系数。在一些其他示例中，计算设备120也可以基于第一点和 第二点之间的距离，调整距离阈值。例如，计算设备120可以基于所 有满足先前距离阈值约束的匹配点对的距离的平均值来设置距离阈 值，从而过滤某些明显大于平均值的点对，从而减少噪音点对的干扰。 应当理解，在确定更新的距离阈值后，可以参照上文关于框206描述 的过程来执行框506。

在框508，计算设备120可以基于第三点和第四点更新候选外参 数以确定相机的外参数。具体地，计算设备120可以基于先前迭代所 确定的候选外参数以及基于新的距离阈值所确定的匹配点对之间的 距离所确定的雅可比矩阵，来确定在本次迭代中的候选外参数。应理 解，可以参照上文关于框502描述的过程来确定本次迭代中的候选外 参数。

在一些实施例中，计算设备120可以针对阈值距离设置预定的距 离下限，也即阈值距离的迭代调整的终止条件可以是当阈值距离小于 预定的距离下限时，则不再调整阈值距离，而将基于前一次阈值距离 所确定的候选外参数确定作为针对相机的外参数。

基于上文所述的方法，本公开的实施例可以利用环境中的参考线 在三维地图中的位置，并将这些位置投影到基于图像识别所获取的二 维图像中，并通过位置匹配来确定相机的外参数。通过在位置匹配的 过程中加入距离阈值的约束，本公开的实施例不仅可以克服例如安装 在路侧的相机难以被标定的缺陷，还可以有效地解决由于标志线误 检、漏检以及标志线中的点过于稀疏造成的误匹配的问题，进而更为 准确地确定相机的外参数，从而为准确的环境感知和定位确定提供支 持。

在一些实施例中，由相机105捕获的二维图像还可以用于障碍物 检测。应当理解，障碍物检测和上文所描述的相机标定过程例如可以 利用不同的线程而并行地进行，从而提高处理效率。在一些实施例中， 当从二维图像检测到障碍物时，计算设备120可以确定二维图像中与 障碍物所对应的区域。应当理解，障碍物可以包括任何的动态障碍物， 例如，车辆、行人、或动物等，障碍物也可以包括任何的静态障碍物。 本公开不旨在对障碍物的类型进行任何的限定。

进一步地，计算设备120可以基于所确定的外参数和该区域，确 定障碍物在世界坐标系中的位置。具体地，计算设备120可以利用相 机已知的内参数和经确定的外参数，实现该区域从图像坐标系到世界 坐标系的转换。

在一些实施例中，计算设备120还可以提供障碍物在世界坐标系 中的位置。例如，计算设备120可以向周边的车辆(例如，车辆110) 广播关于道路102的障碍物信息，从而为车辆的自动驾驶决策提供基 础。在一些实施例中，计算设备120还可以基于所确定的外参数例如 确定车辆110的位置，并将该位置发送至车辆110以实现车辆110的 定位。

应当理解，虽然本公开的方法参考路测相机的示例来进行描述， 但是应当理解，这样的环境仅是示意性的，本公开的方法还可以用于 例如位于其他位置的相机(例如，安装在车辆上的相机的初始标定) 的标定。本公开不旨在对相机所安装的位置进行任何的限定。

本公开的实施例还提供了用于实现上述方法或过程的相应装置。 图7示出了根据本公开的一些实施例的相机标定的装置700的示意性 结构框图。该装置700可以在例如图1的计算设备120处实施。

如图7所示，装置700可以包括第一点集合确定模块710，被配 置为从由相机所捕获的二维图像中确定与预定的参考线对应的第一 点集合。装置700还可以包括第二点集合确定模块720，被配置为基 于参考线在三维地图中的位置信息，从二维图像中确定第二点集合。 此外，装置700还可以包括第一点确定模块730，被配置为从第一点 集合中确定第一点，潜在第一点与第二点集合中的第二点相对应，并 且第一点与第二点的距离小于预定的距离阈值。装置700还包括外参 数确定模块740，被配置为至少基于第一点与第二点确定相机的外参 数，潜在外参数指示相机坐标系与世界坐标系的转换关系。

在一些实施例中，第一点集合确定模块710包括：掩码图像获取 模块，被配置为获取二维图像的掩码图像，其中在掩码图像中位于参 考线上的点和位于参考线外的点被不同地标识；中心线确定模块，被 配置为从掩码图像中确定与位于参考线上的点相对应的区域的中心 线；以及第一确定模块，被配置为基于中心线，确定第一点集合。

在一些实施例中，第二点集合确定模块720包括：初始外参数获 取模块，被配置为获取相机的初始外参数；以及第二确定模块，被配 置为基于初始外参数和位置信息，确定第二点集合。

在一些实施例中，外参数确定模块740包括：候选外参数确定模 块，被配置为基于第一点和第二点之间的距离，确定候选外参数；第 三点集合确定模块，被配置为基于候选外参数和位置信息，从二维图 像中确定第三点集合；第三点确定模块，被配置为基于更新的距离阈 值，从第一点集合中确定第三点，第三点与第三点集合中的第四点相 对应，并且第三点与第三点的距离小于更新的距离阈值；以及候选外 参数更新模块，被配置为基于第三点和第四点，更新候选外参数以确 定相机的外参数。

在一些实施例中，其中更新的距离阈值大于预定的距离下限。

在一些实施例中，外参数确定模块740还包括以下中的至少一项： 第一阈值调整模块，被配置为将距离阈值减去预定的步长；第二阈值 调整模块，被配置为将距离阈值除以预定的系数；或第三阈值调整模 块，被配置为基于第一点和第二点之间的距离，调整距离阈值。

在一些实施例中，装置700还包括：区域确定模块，被配置为响 应于从二维图像检测到障碍物，确定二维图像中与障碍物对应的区 域；以及位置确定模块，被配置为基于外参数和区域，确定障碍物在 世界坐标系中的位置。

在一些实施例中，装置700还包括：提供模块，被配置为提供障 碍物的位置。

装置700中所包括的单元可以利用各种方式来实现，包括软件、 硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使 用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。 除了机器可执行指令之外或者作为替代，装置700中的部分或者全部 单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而 非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列 (FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上*** (SOC)、复杂可编程逻辑器件(CPLD)，等等。

图7中所示的这些单元可以部分或者全部地实现为硬件模块、软 件模块、固件模块或者其任意组合。特别地，在某些实施例中，上文 描述的流程、方法或过程可以由存储***或与存储***对应的主机或 独立于存储***的其它计算设备中的硬件来实现。

图8示出了可以用来实施本公开的实施例的示例设备800的示意 性框图。设备800可以用于实现计算设备120。如图所示，设备800 包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM) 802中的计算机程序指令或者从存储单元808加载到随机访问存储器 (RAM)803中的计算机程序指令，来执行各种适当的动作和处理。 在RAM 803中，还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O) 接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806， 例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器 等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网 卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/ 数据。

处理单元801执行上文所描述的各个方法和处理，例如方法200。 例如，在一些实施例中，方法200可被实现为计算机软件程序，其被 有形地包含于机器可读介质，例如存储单元808。在一些实施例中， 计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而 被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由 CPU 801执行时，可以执行上文描述的方法200的一个或多个步骤。 备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例 如，借助于固件)而被配置为执行方法200。

用于实施本公开的方法的程序代码可以采用一个或多个编程语 言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计 算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当 由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被 实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为 独立软件包部分地在机器上执行且部分地在远程机器上执行或完全 在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以 包含或存储以供指令执行***、装置或设备使用或与指令执行***、 装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介 质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁 性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者 上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基 于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储 器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM 或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学 储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求 这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示 的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处 理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细 节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施 例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反 地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合 适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了 本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上 面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅 是实现权利要求书的示例形式。

Claims (18)

1.一种用于相机标定的方法，包括：

从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；

基于所述参考线在三维地图中的位置信息，从所述二维图像中确定第二点集合；

从所述第一点集合中确定第一点，所述第一点与所述第二点集合中的第二点相对应，并且所述第一点与所述第二点的距离小于预定的距离阈值；以及

至少基于所述第一点与所述第二点，确定所述相机的外参数，所述外参数指示相机坐标系与世界坐标系的转换关系。

2.根据权利要求1所述的方法，其中确定所述相机的所述外参数包括：

基于所述第一点和所述第二点之间的距离，确定候选外参数；

基于所述候选外参数和所述位置信息，从所述二维图像中确定第三点集合；

基于更新的所述距离阈值，从所述第一点集合中确定第三点，所述第三点与所述第三点集合中的第四点相对应，并且所述第三点与所述第三点的距离小于更新的所述距离阈值；以及

基于所述第三点和所述第四点，更新所述候选外参数以确定所述相机的外参数。

3.根据权利要求2所述的方法，其中更新的所述距离阈值大于预定的距离下限。

4.根据权利要求2所述的方法，其中确定所述相机的所述外参数还包括通过以下中的至少一项更新所述距离阈值：

将所述距离阈值减去预定的步长；

将所述距离阈值除以预定的系数；或

基于所述第一点和所述第二点之间的距离，调整所述距离阈值。

5.根据权利要求1所述的方法，其中确定所述第一点集合包括：

获取所述二维图像的掩码图像，其中在所述掩码图像中位于所述参考线上的点和位于所述参考线外的点被不同地标识；

从所述掩码图像中确定与位于所述参考线上的点相对应的区域的中心线；以及

基于所述中心线，确定所述第一点集合。

6.根据权利要求1所述的方法，其中确定所述第二点集合包括：

获取所述相机的初始外参数；以及

基于所述初始外参数和所述位置信息，确定所述第二点集合。

7.根据权利要求1所述的方法，还包括：

响应于从所述二维图像检测到障碍物，确定所述二维图像中与所述障碍物对应的区域；以及

基于所述外参数和所述区域，确定所述障碍物在所述世界坐标系中的位置。

8.根据权利要求7所述的方法，还包括：

提供所述障碍物的所述位置。

9.一种用于相机标定的装置，包括：

第一点集合确定模块，被配置为从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；

第二点集合确定模块，被配置为基于所述参考线在三维地图中的位置信息，从所述二维图像中确定第二点集合；

第一点确定模块，从所述第一点集合中确定第一点，所述第一点与所述第二点集合中的第二点相对应，并且所述第一点与所述第二点的距离小于预定的距离阈值；以及

外参数确定模块，被配置为至少基于所述第一点与所述第二点，确定所述相机的外参数，所述外参数指示相机坐标系与世界坐标系的转换关系。

10.根据权利要求9所述的装置，其中所述外参数确定模块包括：

候选外参数确定模块，被配置为基于所述第一点和所述第二点之间的距离，确定候选外参数；

第三点集合确定模块，被配置为基于所述候选外参数和所述位置信息，从所述二维图像中确定第三点集合；

第三点确定模块，被配置为基于更新的所述距离阈值，从所述第一点集合中确定第三点，所述第三点与所述第三点集合中的第四点相对应，并且所述第三点与所述第三点的距离小于更新的所述距离阈值；以及

候选外参数更新模块，被配置为基于所述第三点和所述第四点，更新所述候选外参数以确定所述相机的外参数。

11.根据权利要求10所述的装置，其中更新的所述距离阈值大于预定的距离下限。

12.根据权利要求10所述的装置，其中所述外参数确定模块还包括以下中的至少一项：

第一阈值调整模块，被配置为将所述距离阈值减去预定的步长；

第二阈值调整模块，被配置为将所述距离阈值除以预定的系数；或

第三阈值调整模块，被配置为基于所述第一点和所述第二点之间的距离，调整所述距离阈值。

13.根据权利要求9所述的装置，其中所述第一点集合确定模块包括：

掩码图像获取模块，被配置为获取所述二维图像的掩码图像，其中在所述掩码图像中位于所述参考线上的点和位于所述参考线外的点被不同地标识；

中心线确定模块，被配置为从所述掩码图像中确定与位于所述参考线上的点相对应的区域的中心线；以及

第一确定模块，被配置为基于所述中心线，确定所述第一点集合。

14.根据权利要求9所述的装置，其中所述第二点集合确定模块包括：

初始外参数获取模块，被配置为获取所述相机的初始外参数；以及

第二确定模块，被配置为基于所述初始外参数和所述位置信息，确定所述第二点集合。

15.根据权利要求9所述的装置，还包括：

区域确定模块，被配置为响应于从所述二维图像检测到障碍物，确定所述二维图像中与所述障碍物对应的区域；以及

位置确定模块，被配置为基于所述外参数和所述区域，确定所述障碍物在所述世界坐标系中的位置。

16.根据权利要求15所述的装置，还包括：

提供模块，被配置为提供所述障碍物的所述位置。

17.一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images