CN110146869B - 确定坐标系转换参数的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开的实施例提供了一种确定成像设备的坐标系转换参数的方法、装置、电子设备和计算机可读存储介质。在该方法中，获得坐标系转换参数的参考值和成像设备捕获的参考图像。参考值是在成像设备处于世界坐标系中的参考位置和参考取向时确定的。参考图像由成像设备处于参考位置和参考取向时捕获。响应于成像设备在世界坐标系中的位置和取向中的至少一项发生改变，确定成像设备在改变发生后所捕获的目标图像相对于参考图像的偏移。基于参考图像中的参考像素点在世界坐标系中所对应的坐标来校正偏移。基于参考值和经校正的偏移来获得坐标系转换参数的目标值。本公开的实施例操作简单标定效率高，为自动驾驶和自主停车的路侧感知提供了精度保障。

Description

确定坐标系转换参数的方法、装置、电子设备和存储介质

技术领域

本公开的实施例一般地涉及成像设备和自动驾驶的技术领域，并且更特别地，涉及一种确定坐标系转换参数的方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，自动驾驶和自主停车等技术逐渐崭露头角，这些技术的基础在于对车辆周围环境的感知，即识别车辆附近环境的具体状况。已经提出的是，除了车载(也称为“车侧”)的传感器装置(例如，车载激光雷达、成像设备等)之外，还可以通过车外(也称为“路侧”)的传感器装置(例如，安装在道路两侧或停车场内的成像设备)来获取车辆环境的相关数据，以便更好地支持车辆的自动驾驶或自主停车。由于自动驾驶或自主停车的车辆通常都是以世界坐标系(例如，通用横墨卡托UTM坐标系)为参考进行定位的，所以为了实现对自动驾驶或自主停车的支持，车外的成像设备需要首先进行外参数的标定，也即，确定世界坐标系与成像设备的相机坐标系之间的转换参数。

目前，车载成像设备的外参数标定通常是通过标定车载激光雷达与成像设备之间的关系来实现的，而车外成像设备在处于全球定位***(GPS)信号覆盖的情况下，可以通过基于GPS信号的测量来完成外参数标定。然而，当车外成像设备的位置或取向发生变化时，成像设备的外参数也将随之变化。因此，需要一种有效的解决方案来在线地(即，实时地)标定成像设备的外参数，以便用于辅助自动驾驶或自主停车等技术。

发明内容

本公开的实施例涉及一种确定成像设备的坐标系转换参数的技术方案。

在本公开的第一方面，提供了一种确定成像设备的坐标系转换参数的方法。该方法包括：获得坐标系转换参数的参考值和成像设备捕获的参考图像，参考值是在成像设备处于世界坐标系中的参考位置和参考取向时确定的，参考图像由成像设备处于参考位置和参考取向时捕获。该方法还包括：响应于成像设备在世界坐标系中的位置和取向中的至少一项发生改变，确定成像设备在改变发生后所捕获的目标图像相对于参考图像的偏移。该方法还包括：基于参考图像中的参考像素点在世界坐标系中所对应的坐标，来校正偏移。该方法进一步包括：基于参考值和经校正的偏移，来获得坐标系转换参数的目标值。

在本公开的第二方面，提供了一种确定成像设备的坐标系转换参数的装置。该装置包括：第一获得模块，被配置为获得坐标系转换参数的参考值和成像设备捕获的参考图像，参考值是在成像设备处于世界坐标系中的参考位置和参考取向时确定的，参考图像由成像设备处于参考位置和参考取向时捕获。该装置还包括：偏移确定模块，被配置为响应于成像设备在世界坐标系中的位置和取向中的至少一项发生改变，确定成像设备在改变发生后所捕获的目标图像相对于参考图像的偏移。该装置还包括：偏移校正模块，被配置为基于参考图像中的参考像素点在世界坐标系中所对应的坐标，来校正偏移。该装置进一步包括：第二获得模块，被配置为基于参考值和经校正的偏移，来获得坐标系转换参数的目标值。

在本公开的第三方面，提供了一种电子设备。该电子设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：

图1示出了本公开的一些实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的确定成像设备的坐标系转换参数的示例方法的示意性流程图；

图3示出了根据本公开的实施例的成像设备的参考图像与目标图像的示意图；

图4示出了根据本公开的实施例的用于确定目标图像中的像素点在世界坐标系中的坐标的示例方法的示意性流程图；

图5示出了根据本公开的实施例的确定成像设备的坐标系转换参数的装置的示意性框图；以及

图6示出了一种可以被用来实施本公开的实施例的设备的示意性框图。

贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。

具体实施方式

下面将参考附图中所示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。

如本文中使用的，术语“坐标系转换参数”例如可以是在相机坐标系、图像坐标系、像素坐标系与世界坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。在本公开的上下文中，世界坐标系可以是指覆盖全球范围的参考坐标***，其例如可以用于辅助车辆的自动驾驶或自主停车等，其示例包括UTM坐标***、经纬度坐标***，等等。相机坐标系的原点可以位于成像设备的光心，竖轴(z轴)可以与成像设备的光轴重合，横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原点可以在图像的左上角，横轴和纵轴可以分别为图像所在的像素行和像素列，单位可以为像素。图像坐标系的原点可以在图像的中心(即像素坐标系的中点)，横轴和纵轴与像素坐标系平行，单位为可以毫米。但是，将理解，在其他的实施例中，这些坐标系也可以按照在本领域中所接受的其他合理的方式被定义。

在本公开的实施例中，“坐标系转换参数”可以包括或指代相机标定领域中所谓的“外参”、“外参数”、“外部参数”、“外参矩阵”，等等。通常，“外参数”可以是指与特定成像设备相关联的相机坐标系与世界坐标系(例如，UTM坐标系)之间的转换参数。“外参数标定”可以是指对相机坐标系与世界坐标系之间的转换参数的确定。因此，在本公开的实施例的描述中，为了方便，术语“外参数”可以与术语“坐标系转换参数”替换使用。

如上文指出的，当车外成像设备的位置或取向发生变化时，成像设备的外参数也将随之变化。具体地，自动驾驶或自动停车的车辆外部的成像设备在恶劣天气下(如刮风等)可能会发生抖动，导致外参数变化。在车外成像设备区域中无GPS信号或激光雷达传感器的情况下，将难以直接得到成像设备的相机坐标系到世界坐标系(例如，UTM坐标系)的转换关系。然而，只有在获得了成像设备的外参之后才可以更好地使用该成像设备来辅助车辆的自动驾驶或自主停车，例如执行单目视觉回到三维(3D)的算法，等等。因此，需要一种外参数的标定方法来实时地获得成像设备的相机坐标系与世界坐标系之间的转换关系。

鉴于传统方案中存在的上述问题以及潜在的其他问题，本公开的实施例提出了一种确定成像设备的坐标系转换参数的方法、装置、电子设备和计算机可读存储介质，以实现对成像设备的相机坐标系与世界坐标系(例如，UTM坐标系)之间用于转换的外参数的实时标定。本公开的实施例可以有效地在没有GPS和场端激光雷达传感器的条件下，实时地获得成像设备到世界坐标系的外参。特别解决了在天气变化情况下带来的成像设备抖动引起的外参变化问题。本公开的实施例的方案操作简单标定效率高，平均像素误差可以小于或等于两个像素，为自动驾驶和自主停车的路侧感知提供了精度保障。下面结合附图来描述本公开的若干实施例。

图1示出了本公开的一些实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100以示意性的方式描绘了某个停车场的场景。具体地，所描绘的停车场中设置有多个停车位，例如，由车位号108所标示的停车位“CW185”。此外，停车场的地面上还绘制有车道线101、指引符号104、车位线106，等等。应当理解，图1中所描绘的这些设施和标识仅是示例，在其他的停车场中将会存在不同的设施和标识或另外的设施或标识，本公开的实施例在此方面不受限制。此外，还应当理解，本公开的实施例不限于图1所描绘的停车场的场景，而是一般性地适用于任何与自动驾驶或自主停车相关联的场景。更一般地，本公开的实施例也适用于任何用途的成像设备，而不限于辅助自动驾驶或自主停车的成像设备。

在图1的示例中，多个车辆110-1至110-5(下文中统称为车辆110)正停放在对应的停车位上。车辆110可以是可以承载人和/或物并且通过发动机等动力***移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车，等等。示例环境100中的一个或多个车辆110可以是具有自动驾驶或自主停车能力的车辆，这样的车辆也被称为无人驾驶车辆。当然，示例环境100中的一个或一些车辆110也可以是不具有自动驾驶或自主停车能力的车辆。

示例环境100中还布置有成像设备(也称为图像传感器)105，用于捕获示例环境中的图像。在本公开的上下文中，成像设备一般性地指代任何具有成像功能的设备，包括车载的成像设备和车外的成像设备、以及用于任何目的的成像设备。这样的成像设备包括但不限于照相机、摄像机、摄影机、摄像头、监视探头、行车记录仪、具有拍照或摄像功能的移动设备，等等。在一些实施例中，成像设备105可以独立于车辆110，用于监测示例环境100的状况以获得与示例环境100相关的感知信息，来辅助车辆110的自动驾驶或自主停车。为了减少遮挡，成像设备105可以设置在示例环境100中的较高位置。例如，设置在固定杆上或墙壁的较高处，以便更好地监测示例环境100。

尽管图1中仅示出了一个成像设备105，但是将理解，在示例环境100的每个区域中可以布置有多个成像设备。在一些实施例中，除了固定在特定位置的成像设备105之外，示例环境100中还可以设置可移动或可转动的成像设备，等等。此外，尽管图1中的成像设备105被描绘为设置在车辆110的外部，但是将理解，本公开的实施例也等同地适用于设置在车辆110上的成像设备，即车载成像设备。如所示出的，成像设备105通信地(例如，有线地或无线地)连接到计算设备120。在对成像设备105执行外参数标定时，成像设备105的位置和/或取向信息以及所捕获的图像数据可以被提供给计算设备120，以便在确定成像设备105的坐标系转换参数时使用。此外，计算设备120还可以向成像设备105发送各种控制信号来控制成像设备105的各种操作，例如控制成像设备105捕获图像、进行移动或转动，等等。

将理解，计算设备120可以是任意类型的移动终端、固定终端或便携式终端，包括移动电话、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还预见到的是，计算设备120能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。更一般地，计算设备120可以是能够用于确定成像设备的坐标系转换参数的任意服务器或客户端设备。下面结合图2来描述根据本公开的实施例的确定成像设备的坐标系转换参数的示例方法。

图2示出了根据本公开的实施例的确定成像设备105的坐标系转换参数的示例方法200的示意性流程图。在一些实施例中，方法200可以由图1中的计算设备120来实现，例如可以由计算设备120的处理器或处理单元来实现。在其他实施例中，方法200的全部或部分也可以由独立于示例环境100的计算设备来实现，或者可以由示例环境100中的其他单元来实现。为了便于讨论，将结合图1来描述方法200。

如上文提到的，示例环境100中的成像设备105可以用于辅助车辆110在停车场内进行自主停车或自动驾驶。更一般地，在交通道路上的自动驾驶场景中，车外的成像设备可以类似地辅助车辆来进行自动驾驶。因为车辆110通常是参考世界坐标系来进行自主停车或自动驾驶的，所以为了辅助车辆110的自主停车或自动驾驶，成像设备105可能需要标定外参数，也即确定成像设备105的相机坐标系与世界坐标系之间的坐标系转换参数。通过所确定的坐标系转换参数，计算设备120可以将成像设备105所捕获到的图像信息用于辅助车辆110进行自动驾驶或自主停车。

因此，在210处，计算设备120获得成像设备105的坐标系转换参数的参考值和成像设备105捕获的参考图像。该参考值是当成像设备105处于世界坐标系中的参考位置和参考取向时确定的。例如，该参考位置和参考取向可能是成像设备105初始被安装的位置和取向。在其他实施例中，该参考位置和参考取向也可以是成像设备105用于执行图像捕获的任何位置和取向。相对应地，成像设备105捕获的参考图像是由成像设备105处于参考位置和参考取向时捕获的。因此，成像设备105的参考图像和坐标系转换参数的参考值是相关联的。换言之，在成像设备105被设置或安装在示例环境100中的参考位置和参考取向时，计算设备120可以执行对成像设备105的外参数的标定，从而确定成像设备105的外参数的参考值，并且可以控制成像设备105来捕获一幅图像作为与外参数的参考值相关联的参考图像。

计算设备120可以使用各种方式来确定成像设备105的外参数的参考值。例如，在示例环境100中存在GPS信号或激光雷达传感器的情况下，计算设备120可以通过检测成像设备105所在位置处的GPS信号或利用激光雷达传感器的雷达探测，来完成对成像设备105的外参数的标定，也即，确定出成像设备105的坐标系转换参数的参考值。然而，这种方法受限于GPS信号和激光雷达传感器的存在，因此不具有普适性，不适用于缺少GPS信号和激光雷达传感器的场景。

为此，本公开的实施例还提出了在成像设备105的位置处没有GPS信号，并且没有激光雷达传感器的情况下，获得外参数的参考值的可能方式。例如，由于车辆110需要进行自动驾驶或自主停车，所以在成像设备105的成像区域处，可能已经事先绘制了高精地图，而高精地图中记录了成像区域内各种物体在世界坐标系中的坐标。在这种情况下，计算设备120可以利用高精地图来计算成像设备105的外参数的参考值。更具体地，可以使用测量工具首先粗略地测量成像设备105在世界坐标系中的方位，从而得到成像设备105的初始外参数。然后，计算设备120可以利用高精地图中的三维坐标信息来优化所得到的初始外参数，以得到最终的外参数。

另外地或替换地，在成像设备105的成像区域处，可能已经事先绘制了点云地图(例如，激光点云地图)或反射值地图等具有物体在世界坐标系中的坐标信息的地图。在这种情况下，计算设备120可以类似地利用成像设备105的成像区域处的点云地图或反射值地图，来计算成像设备105的外参数的参考值。更具体地，可以使用测量工具首先粗略地测量成像设备105在世界坐标系中的方位，从而得到成像设备105的初始外参数。然后，计算设备120可以利用点云地图或反射值地图中的三维坐标信息来优化所得到的初始外参数，以得到最终的外参数。通过这样的方式，可以不依赖于GPS定位信号和/或激光雷达传感器而确定出成像设备105的外参数的参考值，从而提高外参数标定的灵活性和普适性。

在220处，计算设备120确定成像设备105在世界坐标系中的位置和/或取向是否发生改变。通常，成像设备105的相机坐标系是以成像设备105的光心为原点，并且以成像设备105的光轴为竖轴(z轴)来建立的。因此，成像设备105的相机坐标系是随着成像设备105的位置和/或取向的变化而变化的。也就是说，当成像设备105在世界坐标系的位置和/或取向改变时，相机坐标系相对于世界坐标系的位置和/或取向也随之改变。这意味着成像设备105的外参数也发生变化，因此需要重新确定。

成像设备105在世界坐标系中的位置和/或取向的变化可能由于各种原因造成。在一些示例场景中，成像设备105被固定安装并且被意图为其位置和取向是固定不变的，但是由于恶劣天气(例如，刮风导致成像设备的抖动)、对安装基础设施(例如，安装杆或墙壁)的维修等因素，成像设备105的位置和取向可能发生改变。此外，在其他的示例场景中，成像设备105也有可能被配置为是可以在世界坐标系中运动或转动的，以便从不同的位置或角度来执行对示例环境100的图像捕获。

如上文所述，成像设备105在世界坐标系中的位置和/或取向的改变将导致其相机坐标系相对于世界坐标系的偏移。在这种情况下，成像设备105需要重新标定，也即，重新确定外参数的取值。换句话说，如果计算设备120检测到成像设备105在世界坐标系中的位置和/或取向发生了变化，也即成像设备105不再处于与外参数的参考值相关联的参考位置和参考取向，则成像设备105的坐标系转换参数的当前取值将不再是参考值。因此，计算设备120可以重新确定成像设备105的坐标系转换参数的取值。在本公开的上下文中，该值也可以称为当前值或目标值。

在230处，在确定成像设备105在世界坐标系中的位置和/或取向发生改变之后，计算设备120确定成像设备105在改变发生后所捕获的目标图像相对于参考图像的偏移。可以理解的是，由于成像设备105在世界坐标系中的位置和/或取向发生变化，因此成像设备105当前捕获的目标图像是在与参考位置不同的位置和/或与参考取向不同的取向处捕获的，这种位置差异和/或取向差异将会导致成像设备105捕获的目标图像与参考图像之间的偏移，该偏移是由于当前相机坐标系相对于与参考位置和参考取向相关联的参考相机坐标系的偏移所引起的。换言之，通过确定目标图像与参考图像之间的偏移，计算设备120可以间接地确定出成像设备105当前的位置和/或取向相对于与外参数的参考值相关联的参考位置和/或参考取向的变化，也即，当前相机坐标系相对于参考相机坐标系的偏移。下文将结合图3来对此进行进一步的说明。

图3示出了根据本公开的实施例的成像设备105的参考图像310与目标图像320的示意图。如图3所示，成像设备105在参考位置和参考取向处所捕获的参考图像310示意性地包括示例环境100中的立柱(图1中未示出)的立柱成像312、车位号108的车位号成像317、以及停车线106的停车线成像319。相对应地，成像设备105在当前位置和当前取向处所捕获的目标图像320示意性地包括示例环境100中的立柱(图1中未示出)的立柱成像322、车位号108的车位号成像327、以及停车线106的停车线成像329。

如图3所示，因为目标图像320是成像设备105在处于当前的位置和取向时捕获的，而该当前的位置和/或取向不同于成像设备105捕获参考图像310时所处于的参考位置和/或参考取向，所以目标图像320与参考图像310之间存在偏移。该偏移体现在相同物体在目标图像320与参考图像310中的成像之间的偏移。例如，立柱成像322、、车位号成像327、停车线成像329与立柱成像312、车位号成像317、停车线成像319之间存在偏移。

在物理上，该偏移可以通过旋转量和平移量来表征，其中旋转量表示目标图像320相对于参考图像310发生的旋转大小，而平移量表示目标图像320相对于参考图像310发生的平移大小。注意到，由于成像设备105的不期望的移动幅度通常是较小的，所以这里假定参考图像310和目标图像320仍然捕获到基本相同的物体的成像。但是，将理解，在成像设备105的移动幅度较大的场景中，本公开的实施例也是可行的，只要参考图像310和目标图像320之间仍然存在相同的捕获物体或区域。

计算设备120可以使用各种方式来确定目标图像320相对于参考图像310的偏移。例如，计算设备120可以简单地通过测量工具来测量相同物体在目标图像320中的成像相对于在参考图像310中成像的偏移。在其他实施例中，为了得出目标图像320相对于参考图像310的偏移，计算设备120可以在参考图像310和目标图像320中分别确定相匹配的第一特征点315和第二特征点325。在图3的示例中，第一特征点315可以是立柱成像312的角点，而第二特征点325可以是立柱成像322的对应角点。根据相同点在不同图像中的成像点之间的几何关系，匹配的第一特征点315和第二特征点325之间将具有对极约束关系。在一些示例中，上述特征点的查找和匹配可以通过已有的图像特征匹配算法来进行，例如ORB算法或SIFT算法，等等。

接着，计算设备120可以利用第一特征点315和第二特征点325之间的对极约束关系，来计算目标图像320相对于参考图像310的偏移中所包括的旋转量和平移量。例如，计算设备120可以根据对极约束关系来求解第一特征点315的像素坐标与第二特征点325的像素坐标之间的转换关系，从而得出上述旋转量和平移量。相比于使用测量工具对参考图像310和目标图像320进行测量或比对的方式，上述使用匹配特征点的方式可以提高所确定的偏移的精确度。此外，要注意的是，尽管这里以一个特征点为例描述了通过特征点的匹配来确定上述偏移，但是在其他实施例中，可以在参考图像310和目标图像320中分别确定相匹配的两个特征点集合来计算上述偏移，从而进一步提高所计算的偏移的准确度。

根据成像设备105的成像几何关系和坐标转换关系可知，计算设备120所确定出的目标图像320相对于参考图像310的偏移中的旋转量即为成像设备105的当前相机坐标系相对于参考相机坐标系的旋转矩阵。然而，对于该偏移中所包括的平移量，其并不完全等同于成像设备105的当前相机坐标系相对于参考相机坐标系的平移向量，而是彼此之间存在一个缩放因子。例如，通过第一特征点315与第二特征点325之间的对极约束关系得到的平移量乘以任意的缩放因子，都将满足该对极约束关系。这是由于上述偏移是基于二维的参考图像310和目标图像320确定得出的，而当前相机坐标系相对于参考相机坐标系的转换是三维的转换关系，所以通过两个二维图像所确定的偏移中将缺少第三个维度的信息。因此，为了最终确定成像设备105的坐标系转换参数的当前取值，计算设备120需要对基于参考图像310和目标图像320所确定的偏移进行校正。

返回参考图2，在240处，计算设备120基于参考图像310中的参考像素点315在世界坐标系中所对应的坐标来校正偏移。如上文所述，通过参考图像310和目标图像320确定的偏移需要被校正是由于缺少一个维度的信息，因此计算设备120可以利用目标图像320中的任何一个像素点在世界坐标系中的坐标来校正上述偏移，例如，确定偏移中所包括的平移量的缩放因子。在一些实施例中，目标图像320中的像素点在世界坐标系中的坐标可以通过该像素点在参考图像310中的对应像素点在世界坐标系中的坐标来确定，因为它们在世界坐标系中的坐标是相同的。将理解，计算设备120可以使用任何适当的方法来确定参考图像310中的对应像素点在世界坐标系中的坐标。例如，对应像素点的该坐标可以在具有世界坐标系的坐标的地图辅助下得出。下文结合图4来对此具体地描述。

图4示出了根据本公开的实施例的用于确定目标图像320中的像素点在世界坐标系中的坐标的示例方法400的示意性流程图。在一些实施例中，方法400可以由图1中的计算设备120来实现，例如可以由计算设备120的处理器或处理单元来实现。在其他实施例中，方法400的全部或部分也可以由独立于示例环境100的计算设备来实现，或者可以由示例环境100中的其他单元来实现。通过示例方法400，计算设备120可以有效地确定出目标图像320中的像素点在世界坐标系中的坐标，从而实现对目标图像320相对于参考图像310的偏移的校正。

在410处，计算设备120可以获得成像设备105的成像区域的地图，该地图具有世界坐标系的坐标。作为一种示例，该地图可以是利用自动驾驶车辆上的激光雷达采集点制作的点云地图。点云地图中记录了成像区域中的物体反射探测激光所形成的反射点在世界坐标系中的坐标和对应的反射强度。因此，点云地图具有世界坐标系的坐标，可以用于确定目标图像320中的像素点在世界坐标系中的坐标。替换地或另外地，具有世界坐标系的坐标的类似地图还包括但不限于，高精地图和反射值地图，等等。

在420处，计算设备120可以利用成像设备105的坐标系转换参数的已知参考值，将具有在世界坐标系中的坐标的地图投影到参考图像310所在的像素坐标系，从而获得投影图像。将理解，在该投影过程中，除了需要使用成像设备105的外参数之外，可能还涉及到成像设备105的内参数等其他参数。在本公开的上下文中，由于主要关注于成像设备105的外参数的确定，因此成像设备105的内参数或其他参数可以假设为是已知的。在这种情况下，在上述投影过程中，计算设备120可以通过成像设备105的外参数和内参数等，来获得投影图像中的像素坐标与世界坐标系中的三维坐标之间的一一映射关系或对应关系。

在430处，计算设备120可以在投影得到的投影图像中确定与参考像素点315相对应的投影像素点。例如，计算设备120可以将投影图像与参考图像进行比对来确定出与参考像素点315的对应投影像素点。又例如，计算设备120也可以通过像素点的匹配算法(例如，ORB算法或SIFT算法)来确定出上述对应的投影像素点。该对应的投影像素点可以认为是参考像素点315所对应的一个或多个物体点在投影图像中形成的像素点，因此它们将对应于世界坐标系中的相同坐标。有鉴于此，在440处，计算设备120可以将投影像素点在世界坐标系中的坐标确定为参考像素点315的坐标。

在获得参考图像310中的参考像素点315在世界坐标系中所对应的坐标后，计算设备120可以将其用于校正目标图像320与参考图像310之间的偏移。例如，如上文提到的，计算设备120可以在目标图像320中确定出与参考像素点315相对应的目标像素点325，而该目标像素点325在世界坐标系中的坐标被认为与参考像素点315在世界坐标系中的坐标相同。然后，计算设备120可以基于目标像素点325在目标图像320中的像素坐标以及确定出的其在世界坐标系中的坐标，再根据像素坐标与世界坐标系中的坐标之间的坐标转换关系，来确定将应用到偏移中的平移量的缩放因子。也即，最终确定出成像设备105的外参数中的平移向量的当前值或目标值。通过这种方式，计算设备120可以更准确地确定成像设备105的外参数中的平移向量，从而提高成像设备105的在线标定的准确性。

返回参考图2，在250处，计算设备120基于坐标系转换参数的参考值和经校正的偏移，来获得坐标系转换参数的目标值。如上文指出的，目标图像320与参考图像310之间的偏移中的旋转量表示两个图像之间的旋转大小，该偏移中的平移量表示两个图像之间的平移大小。因此，经校正的偏移表征了成像设备105的当前位置和取向与参考位置和取向之间的转换关系，也即，成像设备105的当前相机坐标系与参考相机坐标系之间的转换关系。进一步地，参考相机坐标系与世界坐标系之间的转换关系是已知的(即，外参数的参考值)，所以从经校正的偏移和外参数的参考值可以得出外参数的当前值或目标值。

例如，计算设备120可以确定表示经校正的偏移的变换矩阵，诸如使用经校正的偏移中的旋转量和平移量来组成该变换矩阵。该变换矩阵表征了成像设备105的当前位置和当前取向相对于参考位置和参考取向的变换关系，也即，成像设备105的当前相机坐标系与参考相机坐标系之间的转换关系。然后，计算设备120可以将变换矩阵应用到坐标系转换参数的参考值，以得到坐标系转换参数的目标值。例如，该变换矩阵与坐标系转换参数的参考值(其也可以通过矩阵来表征)可以直接相乘来得出坐标系转换参数的目标值。通过这种方式，计算设备102可以通过矩阵运算的方法简单明了地从成像设备105的外参数的参考值得出当前的目标值。

图5示出了根据本公开的实施例的确定成像设备的坐标系转换参数的装置500的示意性框图。在一些实施例中，装置500可以被包括在图1的计算设备120中或者被实现为计算设备120。

如图5所示，装置500包括第一获得模块510、偏移确定模块520、偏移校正模块530和第二获得模块540。第一获得模块510被配置为获得坐标系转换参数的参考值和成像设备捕获的参考图像。参考值是在成像设备处于世界坐标系中的参考位置和参考取向时确定的。参考图像由成像设备处于参考位置和参考取向时捕获。

偏移确定模块520被配置为响应于成像设备在世界坐标系中的位置和取向中的至少一项发生改变，确定成像设备在改变发生后所捕获的目标图像相对于参考图像的偏移。偏移校正模块530被配置为基于参考图像中的参考像素点在世界坐标系中所对应的坐标来校正偏移。第二获得模块540被配置为基于参考值和经校正的偏移，来获得坐标系转换参数的目标值。

在一些实施例中，第一获得模块510可以包括参考值计算模块。参考值计算模块被配置为基于成像设备的成像区域的高精地图、点云地图和反射值地图中的至少一项，来计算参考值。

在一些实施例中，偏移确定模块520可以包括特征点确定模块以及旋转量和平移量计算模块。特征点确定模块被配置为在参考图像和目标图像中分别确定相匹配的第一特征点和第二特征点，第一特征点和第二特征点之间具有对极约束关系。旋转量和平移量计算模块被配置为利用对极约束关系，来计算偏移的旋转量和平移量。

在一些实施例中，装置500可以进一步包括地图获得模块、投影模块、投影像素点确定模块、以及坐标确定模块。地图获得模块被配置为获得成像设备的成像区域的地图，该地图具有世界坐标系的坐标。投影模块被配置为利用参考值，将地图投影到参考图像所在的像素坐标系，以获得投影图像。投影像素点确定模块被配置为在投影图像中确定与参考像素点相对应的投影像素点。坐标确定模块被配置为将投影像素点在世界坐标系中的坐标确定为参考像素点的坐标。

在一些实施例中，偏移校正模块530可以包括目标像素点确定模块和缩放因子确定模块。目标像素点确定模块被配置为在目标图像中确定与参考像素点相对应的目标像素点。缩放因子确定模块被配置为基于目标像素点的像素坐标和在世界坐标系中的坐标之间的转换关系，来确定将应用到偏移中的平移量的缩放因子。

在一些实施例中，第二获得模块540可以包括变换矩阵确定模块和变换矩阵应用模块。变换矩阵确定模块被配置为确定表示偏移的变换矩阵。变换矩阵应用模块被配置为将变换矩阵应用到参考值，以得到目标值。

图6示意性地示出了一种可以被用来实施本公开的实施例的设备600的框图。如图6中所示出的，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储设备(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储设备(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如示例方法200和400可由处理单元601来执行。例如，在一些实施例中，示例方法200和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM603并由CPU 601执行时，可以执行上文描述的示例方法200和400的一个或多个步骤。

如本文所使用的，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。本文还可能包括其他明确的和隐含的定义。

如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可以包括运算、计算、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查明等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、选取、建立等。

应当注意，本公开的实施例可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。

此外，尽管在附图中以特定顺序描述了本公开的方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤组合为一个步骤执行，和/或将一个步骤分解为多个步骤执行。还应当注意，根据本公开的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

虽然已经参考若干具体实施例描述了本公开，但是应当理解，本公开不限于所公开的具体实施例。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等效布置。

Claims (14)

1.一种确定成像设备的坐标系转换参数的方法，包括：

获得所述坐标系转换参数的参考值和所述成像设备捕获的参考图像，所述参考值是在所述成像设备处于世界坐标系中的参考位置和参考取向时确定的，所述参考图像由所述成像设备处于所述参考位置和所述参考取向时捕获；

响应于所述成像设备在所述世界坐标系中的位置和取向中的至少一项发生改变，确定所述成像设备在所述改变发生后所捕获的目标图像相对于所述参考图像的偏移；

基于所述参考图像中的参考像素点在所述世界坐标系中所对应的坐标，来校正所述偏移；以及

基于所述参考值和经校正的所述偏移，来获得所述坐标系转换参数的目标值。

2.根据权利要求1所述的方法，其中获得所述参考值包括：

基于所述成像设备的成像区域的高精地图、点云地图和反射值地图中的至少一项，来计算所述参考值。

3.根据权利要求1所述的方法，其中确定所述偏移包括：

在所述参考图像和所述目标图像中分别确定相匹配的第一特征点和第二特征点，所述第一特征点和所述第二特征点之间具有对极约束关系；以及

利用所述对极约束关系，来计算所述偏移的旋转量和平移量。

4.根据权利要求1所述的方法，进一步包括：

获得所述成像设备的成像区域的地图，所述地图具有所述世界坐标系的坐标；

利用所述参考值，将所述地图投影到所述参考图像所在的像素坐标系，以获得投影图像；

在所述投影图像中确定与所述参考像素点相对应的投影像素点；以及

将所述投影像素点在所述世界坐标系中的坐标确定为所述参考像素点的所述坐标。

5.根据权利要求1所述的方法，其中校正所述偏移包括：

在所述目标图像中确定与所述参考像素点相对应的目标像素点；以及

基于所述目标像素点的像素坐标和在所述世界坐标系中的坐标之间的转换关系，来确定将应用到所述偏移中的平移量的缩放因子。

6.根据权利要求1所述的方法，其中获得所述目标值包括：

确定表示所述偏移的变换矩阵；以及

将所述变换矩阵应用到所述参考值，以得到所述目标值。

7.一种确定成像设备的坐标系转换参数的装置，包括：

第一获得模块，被配置为获得所述坐标系转换参数的参考值和所述成像设备捕获的参考图像，所述参考值是在所述成像设备处于世界坐标系中的参考位置和参考取向时确定的，所述参考图像由所述成像设备处于所述参考位置和所述参考取向时捕获；

偏移确定模块，被配置为响应于所述成像设备在所述世界坐标系中的位置和取向中的至少一项发生改变，确定所述成像设备在所述改变发生后所捕获的目标图像相对于所述参考图像的偏移；

偏移校正模块，被配置为基于所述参考图像中的参考像素点在所述世界坐标系中所对应的坐标，来校正所述偏移；以及

第二获得模块，被配置为基于所述参考值和经校正的所述偏移，来获得所述坐标系转换参数的目标值。

8.根据权利要求7所述的装置，其中所述第一获得模块包括：

参考值计算模块，被配置为基于所述成像设备的成像区域的高精地图、点云地图和反射值地图中的至少一项，来计算所述参考值。

9.根据权利要求7所述的装置，其中所述偏移确定模块包括：

特征点确定模块，被配置为在所述参考图像和所述目标图像中分别确定相匹配的第一特征点和第二特征点，所述第一特征点和所述第二特征点之间具有对极约束关系；以及

旋转量和平移量计算模块，被配置为利用所述对极约束关系，来计算所述偏移的旋转量和平移量。

10.根据权利要求7所述的装置，进一步包括：

地图获得模块，被配置为获得所述成像设备的成像区域的地图，所述地图具有所述世界坐标系的坐标；

投影模块，被配置为利用所述参考值，将所述地图投影到所述参考图像所在的像素坐标系，以获得投影图像；

投影像素点确定模块，被配置为在所述投影图像中确定与所述参考像素点相对应的投影像素点；以及

坐标确定模块，被配置为将所述投影像素点在所述世界坐标系中的坐标确定为所述参考像素点的所述坐标。

11.根据权利要求7所述的装置，其中所述偏移校正模块包括：

目标像素点确定模块，被配置为在所述目标图像中确定与所述参考像素点相对应的目标像素点；以及

缩放因子确定模块，被配置为基于所述目标像素点的像素坐标和在所述世界坐标系中的坐标之间的转换关系，来确定将应用到所述偏移中的平移量的缩放因子。

12.根据权利要求7所述的装置，其中所述第二获得模块包括：

变换矩阵确定模块，被配置为确定表示所述偏移的变换矩阵；以及

变换矩阵应用模块，被配置为将所述变换矩阵应用到所述参考值，以得到所述目标值。

13.一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

Images