CN113033280A - 拖车姿态估计的***和方法 - Google Patents

拖车姿态估计的***和方法 Download PDF

Info

Publication number
CN113033280A
CN113033280A CN202011448626.0A CN202011448626A CN113033280A CN 113033280 A CN113033280 A CN 113033280A CN 202011448626 A CN202011448626 A CN 202011448626A CN 113033280 A CN113033280 A CN 113033280A
Authority
CN
China
Prior art keywords
trailer
vehicle
time
opposing surfaces
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011448626.0A
Other languages
English (en)
Inventor
A·阿加沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhijia Technology Co ltd
PlusAI Corp
Original Assignee
Zhijia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhijia Technology Co ltd filed Critical Zhijia Technology Co ltd
Publication of CN113033280A publication Critical patent/CN113033280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及拖车姿态估计的***和方法。本教导涉及用于拖车姿势估计的方法、***、介质和实施方式。在车辆和拖车具有彼此面对的相应的相对表面的情况下，获得至少连接到车辆的拖车的维度。从由部署在另一个相对表面上的传感器在第一时刻获取的存在于相对表面之一上的目标的第一图像中识别第一特征点集合。从由传感器在随后的时刻获取的目标的第二图像中识别对应的第二特征点集合。基于第一特征点集合和第二特征点集合，确定第一变换并将其用于计算拖车从第一时刻到第二时刻所经历的第二变换。基于第二变换和维度来估计拖车在第二时刻的姿势。

Description

拖车姿态估计的***和方法
技术领域
本教导一般而言涉及自主驾驶。更具体而言，本教导涉及车队的自主驾驶。
背景技术
随着感测和人工智能(AI)技术的发展，近年来，自主驾驶已逐渐成为常规手动驾驶的潜在的有意义替代品。通过在移动车辆上部署的现代感测技术和先进的感测信息处理，移动车辆可以通过分析从传感器接收的即时信息(on-the-fly information)来“看到”其周围和需要避免的障碍。图1A示出了本车(ego vehicle)在移动时所看到的情景的一个示例。如所看到的，在前方远处有几个小山丘。在前方近处，有田野和带车道标记的道路。在道路上，有一串在相反方向上进入的移动的车辆，还有一些在本车前方在同一车道上驾驶的车辆。这是由例如安装在本车前部的视觉传感器提供的图像。在本车的两侧上可以安装更多的视觉传感器，从而提供如可以从车辆的两侧观察到的周围视觉信息。还可以存在其它类型的传感器，诸如可以被用于感测深度信息的LiDAR和/或雷达，这对于避开障碍物至关重要。
然后，可以即时分析这样获得的传感器信息以感测周围。这对于使本车能够决定如何避开障碍物是必要的。在图1B中示出了一个示例。分析在本车的前方捕获的视觉信息以检测障碍物，包括存在于前方方向的不同车道中的若干其它移动车辆100、105、110和115以及道路一侧上的路障102。为了便于避让，还可以经由不同手段来检测与每个检测到的障碍物相关联的相关特征。例如，对于每个检测到的移动车辆，可以根据其与本车的距离、相对于道路的位置以及其维度进行不同的测量。如图1B中所示，在前方车道中距离本车12米处测得车辆100，其估计维度为4英尺乘7英尺。这些测量在检测到的车辆上呈现为12m/FL/4X7。类似地，对于更远的车辆110，其测量为15m/RL/5X8，即，在右侧车道中距本车15米，估计维度为5英尺乘8英尺(SUV)。车辆115更接近3m/RL/4X7(在右侧车道中3 米远，估计维度为4英尺乘7英尺)。周围的这种语义为自主车辆确定如何安全行驶而不撞到道路上车道内的任何障碍物提供了基础。
在不同的交通环境中，自主驾驶所需的技术可以不同。例如，为例如小汽车或SUV的自主驾驶而开发的技术可能不足以用于卡车或卡车车队的自主驾驶。对于卡车或车队，可能会有要求不同解决方案的特殊挑战。例如，由于卡车可能无法像小汽车一样快地致动(break)或像小汽车一样敏捷地转弯，因此它需要“看”更远，以便其在时间上更早规划每个动作。卡车常常需要更多地了解在更大地理区域内其周围，以便能够提前进行规划。自主驾驶的传统技术大多不能解决与卡车和卡车车队相关联的独特问题。因此，需要开发能够实现卡车和卡车车队的自主驾驶的技术方案。
发明内容
本文公开的教导涉及用于数据处理的方法、***和编程。更特别地，本教导涉及与对场景建模以生成场景建模信息及其利用相关的方法、***和程序。
在一个示例中，一种在机器上实现的用于姿势估计的方法，所述机器包括至少一个处理器、存储装置和能够连接到网络的通信平台。在车辆和拖车具有彼此面对的相应的相对表面的情况下，至少获得连接到车辆的拖车的维度。从由部署在另一个相对表面上的传感器在第一时刻获取的存在于相对表面之一上的目标的第一图像中识别第一特征点集合。从由传感器在随后的时刻获取的目标的第二图像中识别第二特征点集合。基于第一特征点集合和第二特征点集合，确定第一变换并将其用于计算拖车从第一时刻到第二时刻所经历的第二变换。基于第二变换和维度来估计拖车在第二时刻的姿势。
在不同的示例中，本教导公开了一种用于姿势估计的***，该***包括配置单元、目标图像特征提取器和变换生成单元以及拖车姿势估计器。配置单元被配置用于至少获得连接到车辆的拖车的维度，其中车辆和拖车具有彼此面对的相应的相对表面。目标图像特征提取器被配置为从由部署在相对表面中的第二表面上的传感器在第一时刻获取的存在于相对表面中的第一表面上的目标的第一图像中识别第一特征点集合，并且从由该传感器在第二时刻获取的目标的第二图像中识别第二特征点集合，其中第二特征点集合中的每个特征点与第一特征点集合中的一个特征点对应。变换生成单元被配置用于基于第一特征点集合和第二特征点集合来确定第一变换。拖车姿态估计器被配置用于根据第一变换来计算拖车从第一时刻到第二时刻所经历的第二变换，并且基于第二变换和维度来为车辆的自主驾驶估计拖车在第二时刻的姿势。
其它概念涉及用于实现本教导的软件。根据这个概念的软件产品包括至少一个机器可读的非暂态介质和由该介质携带的信息。由介质携带的信息可以是可执行程序代码数据、与可执行程序代码相关联的参数和/或与用户相关的信息、请求、内容或其它附加信息。
在一个示例中，一种其上记录有用于姿势估计的数据的机器可读的非暂态且有形的介质，其中，当该介质被机器读取时，使机器执行一系列步骤。在车辆和拖车具有彼此面对的相应的相对表面的情况下，至少获得连接到车辆的拖车的维度。从由部署在另一个相对表面上的传感器在第一时刻获取的存在于相对表面之一上的目标的第一图像中识别第一特征点集合。从由该传感器在随后的时刻获取的目标的第二图像中识别第二特征点集合。基于第一特征点集合和第二特征点集合，确定第一变换并将其用于计算拖车从第一时刻到第二时刻所经历的第二变换。基于第二变换和维度来估计拖车在第二时刻的姿势。
附加的优点和新颖特征将在下面的描述中部分地阐述，并且部分地在检查下文和附图后将对本领域技术人员变得显而易见或者可以通过示例的生产或操作而获知。本教导的优点可以通过实践或使用在以下讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得。
附图说明
根据示例性实施例进一步描述本文描述的方法、***和/或程序。参考附图详细描述这些示例性实施例。这些实施例是非限制性的示例性实施例，其中贯穿附图的若干视图，相同的附图标记表示相似的结构，并且其中：
图1A图示了由自主本车从部署在其上的传感器观察到的视图；
图1B图示了根据本教导的实施例的通过处理来自部署在自主车辆上的传感器的数据而获得的信息；
图1C示出了根据本教导的实施例的卡车，该卡车上部署有传感器以促进自主驾驶；
图1D图示了根据本教导的实施例的要求重新校准部署在自主驾驶卡车上的传感器的场景；
图2A示出了根据本教导的实施例的具有拖车的卡车，该拖车具有相关联的关键点，该关键点被估计以促进卡车执行自主驾驶；
图2B示出了根据本教导的实施例的具有拖车的卡车的不同场景，该拖车具有相关联的关键点，该关键点被估计以促进卡车执行自主驾驶；
图3A描述了根据本教导的实施例的自主驾驶中的不同类型的挑战；
图3B示出了道路上卡车车队的示例场景；
图4A-图4B示出了根据本教导的实施例的在卡车/拖车配置的不同部分周围的传感器的示例性部署以促进自主驾驶；
图5A示出了根据本教导的实施例的车队中的两辆卡车在道路上并行驾驶，以使得能够即时对传感器进行重新校准以促进自主驾驶；
图5B-图5C示出了根据本教导的实施例的在其上具有特殊标记的卡车/拖车，该特殊标记用于在卡车/拖车两者都行驶时帮助另一方即时校准传感器；
图6A-图6D示出了根据本教导的实施例的以前/后配置行驶的两个车队成员可以如何协调以促进即时传感器重新校准；
图7A-图7B描绘了根据本教导的实施例的用于即时的协作式传感器校准的示例性框架；
图7C是根据本教导的实施例的用于即时的协作式传感器校准的示例性过程的流程图；
图8A描绘了根据本教导的实施例的车队管理中心的示例性高级***图；
图8B是根据本教导的实施例的车队管理中心的示例性过程的流程图；
图9A描绘了根据本教导的实施例的校准助手选择器的示例性高级***图；
图9B图示了根据本教导的实施例的使用界标作为在运动的同时校准传感器的助手的示例性场景；
图9C是根据本教导的实施例的校准助手选择器的示例性过程的流程图；
图10A描绘了根据本教导的实施例的本车校准控制器的示例性高级***图；
图10B是根据本教导的实施例的本车校准控制器的示例性过程的流程图；
图11A描绘了根据本教导的实施例的校准助手的示例性高级***图；
图11B是根据本教导的实施例的校准助手的示例性过程的流程图；
图12A-图12C图示了根据本教导的示例性实施例的卡车和拖车的示例性配置，具有表示拖车相对于卡车的姿势的示例性关键点；
图13A-图13B示出了根据本教导的实施例的关于卡车/拖车配置的传感器和基准标记的不同布置，用于拖车姿势估计；
图13C-图13D示出了根据本教导的实施例的使用传感器来查看卡车/拖车配置中的不同部分以进行拖车姿势估计的不同布置；
图14A描绘了根据本教导的实施例的用于即时估计拖车姿势的框架的示例性高级***图；
图14B是根据本教导的实施例的用于即时估计拖车姿势的框架的示例性过程的流程图；
图15在视觉上图示了根据本教导的实施例的基于在卡车/拖车配置中使用的基准目标来估计拖车姿势的概念；
图16是根据各种实施例的可以被用于实现实施本教导的专用***的示例性移动设备体系架构的说明图；以及
图17是根据各种实施例的可以被用于实现实施本教导的专用***的示例性计算设备体系架构的说明图。
具体实施方式
在以下详细描述中，通过示例的方式阐述了许多具体细节，以便促进对相关教导的透彻理解。但是，对于本领域技术人员应当显而易见的是，可以在没有这些细节的情况下实践本教导。在其它情况下，为了避免不必要地混淆本教导的各个方面，已经在相对较高的水平上描述了众所周知的方法、过程、组件和/或电路***，而没有细节。
本教导旨在解决自主车辆中当前技术状态的质量和准确感测方面的不足。如本文所讨论的，为了确保安全的自主驾驶，让传感器可靠地提供关于车辆周围的准确信息是必不可少的。这在图1B中示出。自主车辆通常具有部署在其上的传感器，以提供对车辆周围的观察。这在图1C中示出。卡车120具有安装在其上的各种传感器，包括例如：顶部上的立体相机125和150以及下部处的170和190、LiDAR 传感器140、雷达180以及车辆侧面上的相机(诸如130和160)。为了确保信息的准确性，以使得信息如实反映车辆周围的场景的方式对此类传感器进行校准。例如，当相机的姿势改变时，立体相机的校准可以改变。例如，如果一对立体相机(例如，相机125和150)被校准为估计被观察物体的深度，那么进行校准以便由每个相机获取的左右图像可以被用于执行立体处理以估计场景中的物体的深度。
当成对的相机中的一个或两个的姿势出于任何原因而改变时，物体的估计深度不再可靠，这会造成自主驾驶中避障的严重错误计算。图1D中示出了一个示例，其中立体相机中的一个现在的姿势已改变为125-1(与图1C中的125相反)。给定相机125-1的改变的姿势，由这个相机获取的正确图像将无法再用于使用经由先前校准获得的变换信息来正确估计由125-1和150两者看到的物体的深度。照此，物体的估计深度不会反映车辆与障碍物之间的实际距离，这会造成严重问题。传感器的姿势的改变有不同的原因。例如，可以是由于驾驶时使得安装部件变松或传感器的一些部分简单地移位的车辆的振动。当发生这种情况时，就需要进行重新校准。虽然可以通过停车来执行重新校准，但是在大多数场景中这是不现实的。
当在车辆行驶时被校准的传感器发生改变时，从感测到的信息估计的信息的准确性将降级，从而影响安全性。因此，需要在车辆运动的同时即时重新校准安装在自主车辆上的传感器。这与即时重新校准传感器的外部挑战对应。本教导在本文公开了一种用于经由协作来即时重新校准的方法。在一些实施例中，这种协作可以在基本上一起行驶的车队的两个成员之间。在一些实施例中，这种协作可以是需要重新校准的一个自主驾驶车辆和另一个车辆。在一些实施例中，这种协作可以是经由固定装置或地标(诸如广告牌或具有已知维度的结构和 /或自主车辆可见的平面图像)。
在具有连接到其上的拖车的卡车的情况下，如图2A中所示，在自主驾驶方面存在附加的挑战。例如，至关重要的安全性挑战是确保整个结构(卡车和拖车)都在驾驶车道内。如图2A中所看到的，除了卡车在期望的车道中以外，拖车(在这个示例中，有两个拖车)也需要在同一车道中。在图2A中，拖车存在拐角点，包括在可见区域中的240-1–240-9，为了确保拖车与卡车在同一车道内，拐角点必须在车道内。当卡车改变车道时，控制挑战是如何控制车辆以确保所连接拖车的所有拐角点都将安全地移入新车道。这在图2B中示出。两个拖车上的拐角点包括250-1，250-2，...，250-9。其中一些可以已经与卡车在同一车道上，但有些仍然在卡车所在车道的范围的外部。确定如何控制卡车以便可以安全且快速地将所有拐角点移入同一车道中要求车辆(或卡车)在不同时间了解所有拐角点相对于车道的位置。这与不断了解卡车-拖车配置的不同部分的布置的内在挑战对应，以便确保对自主驾驶卡车的正确控制。
图3A描述了自主驾驶中的不同挑战，包括用于即时动态传感器重新校准的外在挑战和用于监视卡车/拖车配置的动态物理部署以设计自主驾驶中的适当车辆控制策略的内在挑战。在本教导中，为了解决即时重新校准的外在挑战，将关于图3B–图11B描述合作式重新校准和基于界标的重新校准。为了解决估计卡车/拖车配置的不同部分的部署的内在挑战，关于图12A-图15公开了基于基准标记的估计和基于特征的估计方法。
卡车通常用于运输货物。为了使效率最大化，每辆卡车可以装有一个或多个拖车。此外，卡车常常如图3B中所示作为车队行驶，其中卡车310、320、330和340(可能更多)作为车队行驶。可以利用这样的特点来促进协作校准。每个车队成员可以在其周围都部署传感器。图4A-图4B示出了根据本教导的实施例的在卡车/拖车配置的不同部分周围的传感器的示例性部署以促进自主驾驶。如图4A和图 4B中所示。传感器或传感器架(其中每个都可以在其上安装多于一个传感器)可以策略性地固定在每个车队成员的不同部分上。例如，如图4A中所示，卡车/拖车400可以具有安装在卡车顶部上的传感器架410、安装在卡车前面上的420、安装在卡车侧面上的430和安装在拖车侧面上的440。在图4B中，卡车/拖车400具有安装在卡车另一侧上的传感器架450和安装在拖车另一侧上的460。
当多个车队成员在同一附近行驶时，如果一个车队成员(本车) 需要重新校准安装在已知位置处的传感器，那么当协作的车队成员设有促进重新校准的特定目标(标志)时，可以需要另一个车队成员与本车即时协作，以在两个车辆都行驶的同时校准传感器。图5A示出了根据本教导的实施例的车队中的两辆卡车510和520在道路上并行驾驶，以在自主驾驶中协作进行即时传感器校准。在这种配置中，一个车队成员(例如，520)可能需要校准部署在卡车520一侧上的传感器架530中的传感器。图5B示出了根据本教导的实施例的在卡车 510的一侧上具有诸如棋盘540的目标标志的卡车可以被用于辅助卡车520在两者在道路上并行行驶的同时即时校准530中的传感器。由于棋盘具有已知的结构和特征，因此它可以被用于校准可以“看到”它的相机。取决于需要校准的传感器位于卡车的哪一侧，可以指示辅助卡车操纵到适当的一侧，以允许需要校准的传感器“看到”被设计为促进校准的特殊标志。在一些实施例中，目标可以是卡车或拖车的车身上具有一些已知视觉特点的图案。图5C示出了卡车的示例，在其车身的侧面印有“Walmart”的标志，旁边有徽标。这种目标标志也可以被用于促进协作校准。
图6A-图6C示出了根据本教导的实施例的以前/后配置行驶的两个车队成员可以如何协作以促进即时传感器重新校准。在图6A中，有两辆卡车610和620在同一车道上行驶，一辆在前面(610)，一辆在后面(620)。如果需要校准安装在卡车620前面的的相机，那么相机620可以观察到卡车610的后表面上具有某些已知视觉特征的目标并将其用于校准。反之亦然。如果需要校准卡车610后部的相机，那么610上的相机可以捕获卡车620前面具有某些已知视觉特征的目标并将其用于执行所需的校准。
如本文所讨论的，具有已知视觉特征的目标可以是车辆/拖车的一部分(如图5C中所示)，或者可以是放置在车辆/拖车的车身上的外部目标。图6B图示了用于卡车630后部中的协作校准的示例性目标640，其可以被用于辅助即时校准。图6B中的目标是具有对比条带的已知视觉特点和与这些条带的交点对应的特征点的卡车的一部分。图6C图示了固定在卡车650前侧中的外部目标660，该外部目标可以被用于校准位于另一个车辆的后部的相机。在一些实施例中，卡车 650的其它原生特征也可以被用作协作校准的目标。例如，如图6D中所示，网格670及其周围可以用作协作校准的原生目标。卡车外部部分的任何原生部分都可以被用作目标，只要存在一些已知且独特的视觉特征即可。
如本文所论述的，当车队在运动中时，同一车队的成员可以彼此协作以执行传感器校准。在一些实施例中，还可以在本车与另一个非车队车辆之间执行协作校准，这被称为辅助本车执行校准。可以通过或者车辆之间的相互通信或者经由某种中央控制来进行这种布置。在前一种情况下，在不同的车辆之间，可以存在交叉通信平台，在该平台上，需要辅助执行即时校准的本车可以提出具有一些细节的请求 (例如，其地理位置、要校准的传感器的类型以及传感器在本车上的位置等)并且连接到同一平台的任何其它车辆都可以做出响应。在后一种情况下，需要校准传感器的本车可以向中心做出指定用于协作校准的辅助车辆的请求。类似地，请求可以包括本车的地理位置以及关于要被校准的传感器的一些细节(例如，传感器的类型、传感器在本车上的位置等)。然后，中心识别辅助车辆，无论它是与本车属于同一车队的成员还是非车队成员车辆，并分配其以辅助本车进行协作校准。
图7A-图7B描绘了根据本教导的实施例的用于即时协作式传感器校准的示例性框架700。在这个框架中，它包括道路710上的各种车辆，诸如作为车队一起行驶的车辆710-a，...，710-b，以及个体行驶车辆710-c，...，710-d。框架700还包括需要校准安装在其上的至少一个传感器的本车740。包括本车和其它车辆的此类车辆可以经由网络730连接到车队管理中心760。本车可以是在道路上行驶的任何车辆。可能还有需要辅助以执行协作校准的多个车辆。在这里使用一个本车作为需要校准的车辆仅仅是为了说明，而并非对本教导的限制。
在一些实施例中，框架中的车辆或在框架紧密附近行驶的车辆可以在对等网络设置(未示出)中彼此通信。在这个场景中，当本车 740请求来自紧密附近的另一个车辆的辅助以进行协作校准时，附近的其它车辆可以响应该请求，然后直接与本车通信以协调必要的操纵以实现即时校准。
在一些实施例中，协调或至少其一部分由车队管理中心760执行，该车队管理中心760管理各种道路上作为车队行驶的车辆和个体车辆。本车配备有本车校准控制器750。当检测到需要校准传感器时，本车校准控制器750向车队管理中心760发送请求，该请求具有关于例如其地理位置、需要校准的(一个或多个)传感器以及它们在本车上的位置、紧急性等的信息。在接收到请求后，车队管理中心760然后可以基于存储在数据库770中的关于车辆当前位置、规划路线、任务完成时间、配置(是否每个车辆被配置为执行协作校准)等的车辆信息来搜索适当的候选。可以基于对所选择的辅助车辆的接受来选择辅助车辆。在图7A中的这个说明性实施例中，示例性的所选择的辅助车辆为710-a，其包括协作校准助手(collaborative calibration assistant) 720。如本文所讨论的，所选择的辅助车辆可以来自与本车相同的车队或在附近独立行使的非车队成员。
在一些实施例中，当本车740和所选择的辅助车辆(经由车队管理中心760)连接时，它们可以或者彼此直接通信以经由网络730或者仍然经由车队管理中心760协调操纵。在一些情况下，分配非车队成员作为辅助车辆前往本车以执行协作校准可以要求辅助车辆绕开其最初规划的路线。这种动态信息可以被记录在车辆信息数据库770中，使得由车队管理中心760管理的所有车辆的位置是最新的并且是准确的。
图7B是图7A的简化视图，其中存在三个主要方，即，本车的本车校准控制器750、车队管理中心760以及所选择的辅助车辆的协作校准助手720，它们经由框架700中的网络730通信，以协调不同车辆之间的协作校准。虽然提供了关于卡车的图示，但是其它类型的车辆也可以使用本文所公开的本教导的各个方面，以在车辆运动时进行即时协作校准。车队管理中心760可以是集中的位置，或者可以分布在不同的地理位置以形成云。云中的每个此类分布式车队管理中心可以被配置为负责管理在指定的地理围栏区域中行驶的车辆。当请求来自接近地理围栏区域的边界行驶的本车时，负责边界的相邻区域的车队管理中心可以通信以选择适当的辅助车辆，该辅助车辆可以来自发起请求的地理区域之外。
在一些实施例中，网络730可以与单个网络或不同网络的组合对应。例如，网络730可以是局域网(“LAN”)、广域网 (“WAN”)、公共网络、专有网络、公共电话交换网 (“PSTN”)、互联网、内部网、蓝牙网络、无线网络、虚拟网络和/或其任何组合。在一个实施例中，网络730还可以包括各种网络接入点。例如，框架700可以包括有线或无线接入点，诸如但不限于基站或互联网交换点730-a，…，730-b。基站730-a和730-b可以促进例如跨不同类型网络的去往/来自本车740、车队管理中心760和/ 或联网框架700中具有一个或多个其它组件的其它车辆710的通信。
图7C是根据本教导的实施例的用于即时协作式传感器校准的示例性过程的流程图。本车在其行驶期间在705处确定是否需要重新校准传感器。如果有需要，那么在715处本车向车队管理中心760发送对帮助进行协作校准的校准助手的请求以及相关信息(例如，其地理位置、关于要重新校准的传感器的信息等)。当车队管理中心760接收到该请求时，它在725处识别与本车协作以实现即时校准的适当辅助车辆，并在735处通知所选择的辅助车辆。一旦本车和辅助车辆被连接，它们就在745处协作以协调校准。
图8A描绘了根据本教导的实施例的车队管理中心760的示例性高级***图。在这个示出的实施例中，车队管理中心760可以被用于调度车辆活动(例如，车队和个体卡车的行驶进度表)及其校准辅助需求。为此，车队管理中心760接收不同类型的信息并相应地做出决定。例如，它可以从操作员那里接收关于每个车辆的简档信息、运输需求，并调度车队和/或个体卡车以履行运输需求。根据被调度的活动，可以将卡车单独地或作为车队派遣到具有指定目的地和进度表的道路。在行驶的同时，车辆继续向车队管理中心760发送相关信息，包括地理位置、目的地、任务进度表、周围信息(例如，天气等)以及动态发生的问题。维持这样的动态信息使车队管理中心760能够跟踪车辆的当前状态，使得当从任何车辆产生对重新校准的需求时，车队管理中心760然后可以基于最近更新信息来选择协作校准助手。
车队管理中心760包括动态车辆信息处理器800、校准助手选择器820、助手路线调度单元830、车辆通信单元840、中心操作员接口单元850和车辆任务/活动调度器860。图8B是根据本教导的实施例的车队管理中心760的示例性过程的流程图。当中心操作员接口单元850从操作员接收时，它将接收到的请求转发到车队任务调度器 860。基于在880中存储的车辆简档，车辆任务/活动调度器860在 805处根据存储在存储装置880中的车辆简档信息基于请求来调度车队/车辆活动。车辆的简档可以包括关于与车辆的运输能力相关的特征、车辆上的传感器配置(例如，可以连接多少辆拖车、在车辆的哪些位置上部署了哪些传感器、什么目标存在于车辆的哪个刻面上等)。这样的信息可以被用于基于需求来调度活动以及识别协作校准助手。
车辆任务/活动调度器860然后可以生成一个或多个车辆任务进度表，并将这样的进度表存储在日志870中，日志870例如指定派遣哪个车辆以执行哪个任务、与哪些其它车辆一起、朝着哪个目的地以及规划的当前路线等。在执行调度的活动中，被派遣的车辆可以继续向车队管理中心760发送动态信息，以使得它可以在815处保持跟踪与车辆相关联的动态。在管理车辆时，车队管理中心760可以在825 处定期检查以查看道路上的任何车辆是否发送了对协作校准辅助的请求。当没有对协作校准的请求时，车队管理中心760继续或者在805 处调度其它车辆进行不同的活动，或者更新存储在日志810中的车辆的动态信息的记录。
如本文所讨论的，道路上的本车可以监视其传感器的性能并检测是否需要对任何部署的传感器进行重新校准。在这个示出的实施例中，当出现这种需要时，本车向车队管理中心760发送请求。在后，将选择适当的助手与本车进行协调，以执行即时协作校准。在接收到这样的请求后，校准助手选择器820在835处基于不同类型的信息(例如，本车的当前地理位置、其它车辆(包括其它车队成员或其它单独移动的车辆)的当前地理位置)、是否每个候选车辆在其上都具有可以用于校准本车上有问题的传感器的(一个或多个)目标、是否每个候选车辆可以被调用以辅助请求的协作校准(鉴于其自己的预定任务)、候选车辆采取的路线是否与本车的方向一致等)来选择适当的协作校准助手。例如，如果本车请求校准两个相机，一个在前部，一个在左侧，那么选择的辅助车辆需要在其右侧和其后部具有目标，以支持对前部和左侧的相机的校准。
一旦选择了候选辅助车辆，校准助手选择器820就可以在845处根据来自本车的请求调用助手路线调度单元830以设计协作校准路线规划。例如，如果本车指定需要重新校准前部的传感器和左侧的传感器，那么可能的校准路线规划可以包括让辅助车辆首先接近其左侧的本车，以便本车左侧的传感器可以基于辅助车辆右侧可见的目标进行重新校准。然后，路线可以指示辅助车辆然后行驶至本车的前方，从而可以通过依靠在辅助车辆后部可见的目标来校准本车前部的传感器。然后可以将这种设计的校准路线规划从辅助路线调度单元830发送到车辆通信单元840，该车辆通信单元840然后在855处将协作校准指令连同例如附加信息(诸如本车的位置、与本车进行通信的手段等) 一起发送到所选择的辅助车辆。以这种方式，可以连接发出请求的本车和选择的辅助车辆以直接进行交互，以便协调以执行校准规划。
图9A描绘了根据本教导的实施例的校准助手选择器820的示例性高级***图。在这个示出的实施例中，校准助手选择器820包括车辆助手选择器900、界标助手选择器920、助手包生成器940和助手包发送器950。如本文所讨论的，在协作校准操作中，本车请求让另一个车辆(无论是来自同一车队还是来自别处)与其协调以实现这一目标。在一些情况下，可能找不到车辆助手。在这种情况下，校准助手选择器820可以代替地选择界标来辅助本车实现协作校准。这种界标可以沿着例如本车所在的路线上的某个高速公路定位，并且可以在本车通过它或在其附近时提供可见的目标。这种界标可以在其上具有带有已知视觉特点的目标，该目标可以在校准之前被传达给本车。这在图9B中示出，图9B示出了根据本教导的实施例的使用界标作为用于在运动时校准传感器的助手的示例性场景。如图所示，本车960正在道路970上行驶，并且其前部的相机可能需要校准。校准助手选择器820可能无法找到与本车960协作以进行即时校准的车辆助手。作为替代方案，校准助手选择器820识别界标980，即，沿着道路 970的广告牌，以辅助本车进行校准。这种选择的界标助手可以在本车到达界标所在的位置之前向本车传达其位置、朝向等。关于本车期望在广告牌上“看到”的信息以及目标在广告牌上的视觉特征也可以被传达给本车。还可以指示本车在特定车道上行驶，以便以精确的方式观察预期的视觉特征。还可以向本车通知本车可以在其中控制其要被校准的传感器捕获界标上的目标的图像的地理范围，使得可以从图像中提取已知特征并将其用于校准传感器。界标不限于广告牌。它可以是具有已知姿势、朝向和可以是视觉或者非视觉的其它目标特点的任何结构(例如，建筑物、结构等)，以促进校准。例如，为了校准相机传感器，可以使用具有已知视觉特征的界标来辅助本车即时执行协作校准。为了校准不同类型的传感器，例如感测深度的传感器，诸如LiDAR，可以利用具有与已知深度相关的维度信息的界标来进行协作校准。例如，为了校准一对立体相机，可以将具有已知地理坐标信息的界标用于校准。以这种方式，界标可以被用作本车的助手，用于即时校准传感器。
图9C是根据本教导的实施例的校准助手选择器820的示例性过程的流程图。在操作中，在905处接收到识别协作校准助手的请求后，车辆助手选择器900在915处搜索适当的车辆作为协作校准助手，并且这种搜索可以基于不同类型的信息。例如，地理邻近可能是要求。车辆助手候选是否拥有在其上的所需目标以允许所请求的校准可能是另一个要求。在一些实施例中，如果车辆与紧急任务相关联，那么即使它另外满足所有要求，也可能不会将其用作助手。这样选择的车辆助手可以是或者可以不是车队成员。如果找到这样的车辆成员，那么可以使用车辆助手进行协作校准。如果没有找到，那么车辆助手选择器900然后可以调用界标助手选择器920以在935处识别界标以辅助协作校准。每个识别出的界标助手将沿着本车要经过的路线定位。在一些实施例中，可以使用不同的优先级，即，界标助手可以是优选的，并且仅当没有界标可用时，选择器820才识别车辆助手。
对于要重新校准的每个传感器，界标助手选择器920可以识别不同的界标。例如，虽然校准相机要求具有已知视觉特点的视觉信息，但是当需要校准的传感器是LiDAR传感器时，不需要助手上的视觉特征，而是助手界标需要具有空间特性(诸如当从某个位置感知时的深度分布)。这样识别出的每个界标助手可以与要重新校准的特定传感器相关联，并且界标助手选择器920可以在945处照此进行分类。在选择了或者车辆助手或者界标助手的情况下，可以在955处由助手包生成器940生成校准助手包，然后在965处由助手包发送器950将其发送出去。这样的包可以指定如何使用每个助手，无论是车辆还是界标，来关于本车上的哪个传感器辅助执行协作校准。
图10A描绘了根据本教导的实施例的本车校准控制器750的示例性高级***图。本车是需要经由协作校准即时进行校准的车辆。每个车辆可以配备有不同的操作软件模块，诸如控制本车的校准需求的模块(本车校准控制器750)和可以被用于辅助本车即时进行校准的需求的模块(协作校准助手720)，当出现对应的需求时，可以激活这些模块以执行预期的功能。鉴于此，在不同情况下，每个车辆都可以是本车或协作校准助手。
在这个示出的实施例中，本车校准控制器750包括本身地理 (GEO)位置确定器1000、传感器校准确定器1020、校准进度表确定器1030、车队中心通信单元1040、对等(P2P)车辆通信单元 1050和校准协调控制器1070。图10B是根据本教导的实施例的本车校准控制器750的示例性过程的流程图。在操作中，本车校准控制器 750中的本身地理位置确定器1000在1005处连续地监视其自身的地理位置并将其移动地理位置记录在当前任务执行日志1010中。为了促进协作校准，还将这样被跟踪的地理位置报告给车队管理中心760。除了跟踪其自身位置之外，本车校准控制器760的传感器校准确定器 1020还可以监视由部署在车辆上的不同传感器获取的信息，以便在 1015处确定哪个传感器可能要求重新校准。在一些实施例中，可以基于接收到的传感器数据的质量来做出这种确定。也可以使用其它手段来检测传感器是否需要重新校准。如果在1025处确定没有传感器需要重新校准，那么本车校准控制器760在1005处继续监视其自身的动态位置和/或确定是否存在即将到来的重新校准传感器的需求。
当在1025处确定检测到校准传感器的需求时，可以调用校准进度表确定器1030以在1035处确定例如应当如何紧急进行校准，从而为所需的校准生成进度表，然后将这样生成的进度表存储在1060中。一旦生成了所需校准的(一个或多个)进度表，车队中心通信单元 1040就在1045处向车队管理中心760发送进行协作校准的请求。如本文所讨论的，这种请求可以包括履行该请求所需的附加相关信息，例如，本车的地理位置、本车前往的目的地、本车手头有限制的任务 (例如，何时将货物递送到目的地)、要重新校准的传感器、此类传感器的物理位置和特点、识别出的问题的性质(例如，相机不在其安装位置)，以及可选地重新校准的进度表(例如，由于使用相机来估计障碍物的深度，因此本车在自主驾驶模式下工作的能力如果没有它会受到不利影响)。
在接收到对协作校准的请求后，车队管理中心760然后可以搜索适合于本车的协作校准助手，并且例如将关于所选择的协作校准助手的信息(诸如其当前地理位置、估计的到达时间、联系信息等)通知给车队中心通信单元1040。随着车队中心通信单元1040在1055处接收来自车队管理中心760的响应，该响应具有关于所选择的助手的信息，P2P车辆通信单元1050然后可以在1065处与所选择的辅助车辆通信，以在本车和辅助车辆之间交换相关信息，例如，每个车辆的当前位置和联系信息、每个车辆的行驶速度、两个车辆之间的距离、每个车辆的精确坐标。然后，校准协调控制器1070可以使用这种信息来在1075处协调本车和辅助车辆之间的活动，以协作地即时实现校准。
本车和辅助车辆之间的协调可以包括何时校准哪个传感器以及辅助车辆需要在哪个位置(例如，前、后、左或右)以便辅助本车校准特定传感器等。可以由校准协调控制器1070基于由校准进度表确定器1030生成的校准进度表来执行协调。作为协调的结果，校准协调控制器1070可以在1085处生成用于辅助车辆的指令，并且将其发送到P2P车辆通信单元1050，使得可以将此类信息发送到辅助车辆。此外，校准协调控制器1070还可以生成针对本车控制机构(未示出) 的控制信号，使得本车可以以与关于辅助车辆的协调活动一致的方式自主驾驶。当在1060中根据校准进度表完成协作校准时，P2P车辆通信单元1050在1095处(经由车队中心通信单元1040)通知辅助车辆和车队管理中心760。
如本文所论述的，在一些情况下，当未找到辅助车辆时和/或当使用界标来辅助本车执行校准的实施例时，车队管理中心可以发送校准助手信息以指示本车可到达的界标(例如，沿着其行驶路线)。在此类实施例中，校准助手信息可以根据观点和指令(诸如在接近界标时本车可能需要处于哪个车道以及本车为了激活其传感器以捕获界标信息而观察的地理范围)提供对界标(例如，广告牌、建筑物等)的性质、界标的地理姿势(位置/朝向)、界标的预期的2D或3D特点 (其可以被用作地面真相)的描述。在此类实施例中，校准协调控制器1070的功能可以不同于经由辅助车辆的协作校准的功能。例如，当车队中心通信单元1040接收到与所选择的界标相关的信息时(参见图10A)，可以将接收到的信息提供给校准协调控制器1070，该校准协调控制器1070然后可以生成适当的控制信号以控制本车接近识别出的界标(例如，进入某条道路上的某个车道)、控制要被校准的传感器以搜集与界标相关的预期信息(例如，控制相机在相对于界标的某个范围中捕获该界标的图像)、分析捕获的信息(例如，分析从传感器感测到的深度信息并与来自中心的地面真实深度信息进行比较)，然后基于感测到的信息与从中心接收到的地面真相信息之间的差异(或缺乏差异)相应地校准传感器。
图11A描绘了根据本教导的实施例的协作校准助手720的示例性高级***图。如本文所讨论的，可以由车队管理中心760或者通过响应于来自本车的请求协作校准辅助的所发布的请求来选择协作校准助手(即，辅助车辆)。一旦确定了辅助车辆，就调度其行驶到本车所在的位置并在本车周围进行操纵以辅助本车校准一个或多个传感器。为此，将不同类型的信息传达给辅助车辆，诸如本车的地理位置、需要校准的传感器的数量及其它们相对于本车的相对位置，以及可选地关于本车上的不同传感器经由协作被校准的进度表或顺序的信息。
在这个示出的实施例中，协作校准助手720包括本身地理位置***1100、中心通信单元1120、辅助路线确定器1130、车辆通信单元1150、校准协调控制器1160和辅助路线控制器1170。图11B是根据本教导的实施例的协作校准助手720的示例性过程的流程图。为了参与协作校准框架700，本身地理位置***1100在1105处监视辅助车辆的动态地理位置，并且在1115处将这种被跟踪的位置经由中心通信单元1120报告给车队管理中心760。这样的跟踪和报告活动持续发生，使得车队管理中心760了解其所管理的所有车辆的当前位置。
在一些实施例中，辅助车辆由车队管理中心760选择。在这种情况下，中心通信单元1120在1125确定从车队管理中心760接收辅助请求。在一些实施例中，当辅助车辆响应于由本车发布的用于协作校准的请求(未示出)时，例如由本车选择辅助车辆。在任一种情况下，辅助车辆都随着请求接收用于执行活动以辅助进行协作校准的相关信息。在接收到具有相关信息的请求后，辅助路线确定器1130在1135 处分析该请求以确定本车的位置，并相应地在1145处确定要行驶至本车所采取的路线。辅助路线确定器1130还可分析相关信息，诸如被调度要校准的传感器及其相对于本车的物理位置(例如，在左侧、在前部或在右侧)并在1155处得出某个相关联的进度表或规划(例如，首先接近本车的后部，以便可以对后部的传感器进行校准，然后移至本车的左侧，以便可以对本车的左侧的传感器进行校准等)。这种辅助进度表可以存储在1140中。
利用这样生成的辅助路线和进度表，辅助车辆在1165处经由车辆通信单元1150与本车通信以协调协作。例如，辅助车辆可以向本车通知它到达那里所采取的路线、估计到达时间、得出的辅助进度表 (例如，辅助车辆将处于的位置的顺序以及要校准的对应传感器等)。然后，在1175处，校准协调控制器1160根据沿着规划的路线的辅助进度表在整个过程中与本车进行协调，一次一个校准，直到在1185 处确定所有需要重新校准的传感器都被校准为止。在校准过程期间，辅助路线控制器1170生成以规划的方式操纵辅助车辆所需的控制信号。在校准完成时，辅助车辆然后可以在1195处返回协作校准之前调度的任务。
利用本文讨论的协作校准框架，当可以识别校准助手时，无论它是另一个正在移动的车辆还是界标，运动中的本车都可以即时校准其传感器。当本车是车队的成员时，这个框架可以特别有效，使得附近的另一个车队成员可以被调用以辅助校准。在不同情况下，可以调用使用界标来辅助即时校准的替代方案。在上面的讨论中，当找不到辅助车辆时，可以使用界标助手。在一些实施例中，出于各种考虑，可以优先使用界标助手而不是辅助车辆，例如，当路况使得使用辅助车辆的风险更大时，可以代替地使用界标助手。在使用路标助手或辅助车辆进行协作校准方面，其它条件也可以具有确定性的影响。例如，一天中的时间(白天或夜晚)、观察到的本车所在的道路的拥堵水平、在指定要完成校准的时间范围内遇到的界标的清晰度等。在实现本教导时要考虑的不同细节和方面都在本教导的范围内。
如本文所讨论的，除了经由协作来重新校准传感器的外在需求之外，还存在与自主驾驶相关的内在需求出现的情况。在图2A-图2B 中图示了一个示例，其中附接有(一个或多个)拖车的卡车需要监视每个拖车的姿势，以便确保整个卡车/拖车的配置都在原地(例如，在同一车道内)。图12A-图12C进一步图示了卡车及其拖车之间的不同配置，并且需要在自主驾驶中了解拖车姿势以确保对与卡车相关的拖车进行适当控制以确保安全。在图12A中，单个拖车1220经由刚性连接器1215与卡车1210附接。在这个示例性配置中，卡车 1210可以具有表征其姿势的不同特征点，例如，顶角点(顶点) 1210-1、1210-2、1210-3和1210-4。拖车1220的姿势也可以使用其相应的特征点来表征。例如，为了控制自主驾驶以确保拖车与卡车1210在同一车道中，知道拖车1220的后表面(CRS)上的中心点位置就足够了，这可以基于拖车1220的前表面(CFS)上的中心点来确定，条件是拖车的维度(例如，长度L)已知。在一些实施例中，其它特征点也可以用于表征拖车1220的姿势，例如，拖车1220的每个垂直表面上的四个中心点可以被用于表征其姿势。
当卡车1210和拖车1220处于已知配置时，可以校准(或者在卡车1210的后表面上或者在拖车1220的前表面上)安装的相机。这在图12A的顶部视图中示出，其中拐角点1210-1和1210-3以及1210-2 和1210-4可以形成基本平行于连接器1215的两条平行线以及由拖车 1220上的拐角点形成的线。即，线1220-1-1220-3和线1220-2-1220- 4分别是基本平行的线1210-1和1210-3以及1210-2和1210-4。在这个已知配置中观察到的目标以及从中提取出的特征可以形成参考目标。
图12B提供了拖车1220的透视图。除了顶部拐角点1220-1、 1220-2、1220-3和1220-4之外，底部拐角点1220-5、1220-6、1220-7 和1220-8也可以被用于表征拖车1220的姿势。假设拖车1220是刚性矩形棱柱，那么顶部拐角点(例如，1220-4)和对应的底部拐角点(例如，1220-8)被投影到地面上的同一个点1230。类似地，其它成对的顶部和底部拐角点也可以投影到地面上的相同点(1240、1250 和1260)。为了确保拖车1220在车道内(由两个车道标记1270和 1280形成)，自主驾驶卡车可以通过估计拖车1220上的指定特征点的坐标来确定拖车的位置。例如，可以估计CFS和CRS。作为另一个示例，也可以基于拖车1220的已知维度来确定拐角点(顶部或底部上的至少一些)。因此，需要自主卡车即时持续估计这样的特征点以向卡车提供姿势表示。
如本文所论述的，当卡车1210和拖车1220对准时，如图12A 中所示，连接器1215平行于卡车1210和拖车1220的侧面。可以在这种配置下对相机进行校准，并通过观察相对表面上的目标来建立参考特征点集，并识别目标中的多个特征点。在校准期间检测到的这种参考特征点集可以被用于基于平面单应性(planar homography)来估计参考目标特征点和未来目标特征点之间的变换。然后可以使用这种变换(旋转和平移)来估计拖车1220的姿势。
将I_0表示为最初获取的目标图像(在拖车的前表面或卡车的后表面上)，这可以是在校准期间或者在估计拖车姿势开始时或者在初始化期间或者当卡车-拖车处于已知安全状态时***刚刚起动时。将图像I_t表示为在时间t处目标的后续图像，t>0。任务是估计I_0与 I_n之间的姿势差。即，基于时间t与时间0的目标的差异来估计拖车姿势。因此，图像I_0用作参考。为了执行单应性，从I_0识别出 2D特征点的集合。类似地，在时间t处也从目标图像I_t识别出这些 2D特征点。在一些实施例中，需要最少数量的特征点，例如至少四个特征点。一般而言，为了克服噪声影响，可以在单应性中使用更多的特征点。
用
Figure RE-GDA0002977619340000231
表示特征点的坐标。假设分别有来自I_0和I_t的N个特征点，那么可以计算变换矩阵，使得
Figure RE-GDA0002977619340000232
为了确定H，可以使用任何已知的方法来获得H。在一些实施例中，可以使用基于直接线性变换(DLT)的解决方案。重新排列以上等式，具有A.h＝0，其中A是2N x 9矩阵并且h是9x1向量，如下所示。
Figure RE-GDA0002977619340000233
Figure RE-GDA0002977619340000241
其中
Figure RE-GDA0002977619340000242
Figure RE-GDA0002977619340000243
向量h可以使用不同的技术来求解，例如，奇异值分解(SVD) 或平方误差和(SSE)。1x9向量h可以重整为H，其中H是3x3矩阵：
Figure RE-GDA0002977619340000244
为了保持8个自由度，可以将H22设置为零。H矩阵可以通过将 H中的每个元素除以H矩阵的L2范数来归一化。
这样获得的H可以被分解成不同的自由度，诸如旋转R和平移 t(R，t)。这样得出的R和t表示相机相对于拖车面的运动。然后，可以经由以下等式使用相机的此类运动参数将其转换成拖车的旋转 (R’)和平移(t’)：
R’＝RT (5)
t’＝-RT.t (6)
然后可以根据以下等式使用用于拖车的这种确定的运动参数来计算拖车的姿势。假设拖车是刚性主体，那么前面相对于相机的旋转(RT) 与拖车的后面的旋转相同。然后可以相应地计算拖车的后面的平移。例如，关于一个选择的点，例如，拖车的前面的中心为Tf＝[TX,TY, TZ]，如果拖车的长度为L，那么后面的中心点是Tr＝[TX,TY,TZ+L]。然后，运动之后这个选择的中心点的姿势如下：
Tf'＝[R'|t']*Tf (7)
Tr'＝[R'|t']*Tr (8)
在一些实施例中，前面和/或后面的中心点可以被用于表示拖车的姿势。在不同情况下，这对于车辆控制以确保拖车和卡车位于同一车道内的目的而言可以是足够的。在一些情况下，可能需要更多点才能更精确。例如，如图12A-图12C中所示的顶部拐角点可以被估计以表示拖车1220的姿势。为此，例如，可以首先基于例如拖车的已知维度来确定拖车1220的前面上的顶部拐角点。来自前面上的每个这样的顶部拐角点可以表示为Tf。然后，可以基于L得出变换之前在后面上并且与Tf对应的顶部拐角点，并表示为Tr。然后，所有这些后方顶部拐角点都被用于应用旋转R’和平移t’，以得出变换之后的顶部拐角点，以获得表示拖车姿势的Tr’。
可以在卡车和拖车运动时应用变换的估计。当例如卡车1210从一个车道(在1270和1280内)改变为相邻车道(在1280和1290内) 时，这特别重要，如图12C中所示。在这种情况下，卡车1210和拖车1220不再对准或存在变换。这种变换使得相机观察到的目标在视觉上不同，即，由于变换，现在可从目标图像观察到的特征点从图像 I_0中的初始位置移动或变形到I_n中的位置。如本文所讨论的，使用检测到的对应特征点位置的这种改变来计算变换矩阵H，然后可以将其分解，以获得用于计算R’和t’以确定拖车的姿势的R和t。
为了估计变换，可以使用卡车1210和拖车1220的相对表面将相机放置在相对表面之一上，以观察存在于另一个表面上的目标或基准标记的视觉特征(或其改变)。然后可以将观察到的视觉特征用于与基准标记的存储的参考视觉特征进行比较，并且差异可以被用于计算变换。图13A-图13B示出了根据本教导的实施例的关于用于拖车姿势估计的卡车/拖车配置的传感器和基准标记的不同布置。在如图 13A所示的示例性配置中，卡车后部1300可以安装有相机1310，该相机具有相对于拖车前部1320的视场。在拖车的前表面上，可以向基准标记1330提供某些已知的视觉特点。例如，在基准标记1330上，存在可见的高对比度特征点，诸如拐角点、90度凹点、90度凸特征点、对称特征等。图13B示出了相机与基准标记之间的相反配置，即，相机1310现在安装在拖车的前表面上，看着卡车的后表面上的基准标记1330。
在一些实施例中，可以直接使用表征或者卡车(卡车的后部)或者拖车(拖车的前部)的表面的视觉特征，而不是依赖放置在相对表面上的目标的视觉特征。图13C-图13D示出了根据本教导的实施例的使用卡车或拖车的表面的一部分进行拖车姿势估计的不同配置。如图6B中所示，卡车的后部可以提供各种视觉提示，这些视觉提示可以被用于确定变换。图6B中的视觉提示包括高对比度的不同条纹以及这些条纹的汇合点。卡车后部的其它部分也可以被用作视觉提示，以便被检测并用于估计变换。这种视觉目标也可以存在于拖车的前表面中，诸如图13C中所示的。在一些实施例中，这种目标可以优选地具有一些带有不同特征点的结构特点，这些特征点具有某些已知的空间关系，这些空间关系可以被用于姿势估计目的。类似地，在一些替代实施例中，当卡车1300的后部具有带有已知视觉特征的某些内置的视觉目标时，可以将相机1310安装在拖车的前表面上，从而来自卡车1300的后部上的视觉目标的观察到的实际特征可以被用于估计姿势。这在图13D中示出。当相机安装在拖车的前表面上时，可以用不同的方法确定相机的朝向。例如，可以将惯性测量单元与相机结合使用，以报告相机相对于拖车表面或边缘点的姿势。在一些实施例中，如果相机的安装架是坚固的，那么可以使用安装姿势(位置和朝向)。
如本文中所论述，为了使用目标的视觉特征来估计变换H，可以要求知道参考特征。利用这种参考或地面真相特征，然后可以比较观察到的对应特征以确定例如要应用的变换，以便使实际观察到的视觉特征与已知参考或地面真实特征匹配，反之亦然。如本文所讨论的，一旦确定了变换，就可以基于拖车的已知维度来计算表示拖车的姿势的关键点(例如，中心点或拐角点1220-1，…，1220-8)。通过这种方法，在卡车和拖车都运动的同时，卡车1210可以持续地监视与其连接的拖车的姿势。当卡车和拖车成一直线对准时，地面真相或参考特征可以来自初始设置。在这种情况下，基于拖车与卡车对准时从初始位置的变换来确定拖车的姿势。在一些情况下，参考特征可以来自卡车/拖车的先前位置，使得与其先前姿势相比，为拖车估计的姿势可以与其经由如本文讨论的变换的姿势的改变对应。在这样的情况下，用于估计拖车下一个姿势的参考特征可以被定期更新，以在先前的时间点提供参考。
图14A描绘了根据本教导的实施例的用于即时估计拖车姿势的框架1400的示例性高级***图。在这个示出的实施例中，框架1400 包括配置单元1402、内在校准单元1410、变换生成单元1420、目标图像获取单元1430、目标图像特征提取器1440和拖车姿势估计器1450。框架1400的操作可以包括两个阶段。一个阶段与离线阶段对应，其中，安装在一个表面(或者卡车的后表面或者拖车的前表面) 上的相机被用于捕获相对表面上的目标(或者相对表面上张贴的目标或者相对表面的一部分)的视觉特征。在这个阶段对相机进行校准的同时，生成目标特征并将其用于计算校准参数。目标特征可以包括在目标中可观察到的特征点和/或特征点之间的空间关系。提供配置单元1402和内在校准单元1410以促进这个第一阶段中的校准。
另一个阶段与用于在卡车/拖车都处于运动中时估计拖车的姿势的在线过程对应。估计拖车在每个特定时刻的姿势的这个在线过程是为了促进自主驾驶。为此，经过校准的相机获取相对表面上的目标的实时图像，并且这样的图像被用于检测特征点。在某些情况下，例如，当卡车转弯时，如图12C中所示，从实时获取的图像中检测到的特征点可以已变形为具有不同的图像坐标，并且这些特征点之间的空间关系也将与校准期间检测到的特征点之间的空间关系不同。如本文所讨论的，使用获取的图像的特征点和参考特征点，变换矩阵H或h 可以在在线处理中。提供目标图像获取单元1430、目标图像特征提取器1440、变换生成单元1420和拖车姿势估计器1450用于在线操作期间的处理。
图14B是根据本教导的实施例的用于即时估计拖车姿势的框架 1400的示例性过程的流程图。在这个示出的实施例中，为了实现离线操作，操作员例如在1405处经由配置单元1402的接口指定校准所需的各种类型的信息，诸如与卡车/拖车配置相关的参数、维度信息等。这可以包括所涉及的卡车和拖车的类型、拖车的宽度/长度/高度、连接器1215的位置和长度等。与卡车/拖车配置相关的信息可以存储在卡车/拖车维度配置日志1412中，并且可以由内在校准单元1410 用于在1415处执行内在相机的校准。
校准可以在某些指定条件下执行，例如，卡车和拖车可以对准。在校准期间，可以提取各种视觉特征点，并且可以识别这些特征点之间的空间关系。这些特征点及其之间的空间关系表示当卡车/拖车以某种方式配置时内在相机应当在参考点处的目标看到什么。在一些实施例中，可以在1425处将校准参数和参考特征分别存储在校准参数数据库1422和参考特征配置日志1432中。
在校准了相机并且存储了校准结果(校准参数)和参考特征的情况下，当卡车和附接的拖车运动时，这样存储的信息可以被用于即时估计拖车的姿势，以便促进车辆控制以确保卡车和拖车的正常行为，例如，在同一车道中行驶。为此，例如可以由操作员经由配置单元 1400在1435处设置监视拖车的姿势的频率的进度表。这样设置的进度表可以存储在估计进度表日志1407中，以便可以由目标图像获取单元1430访问，以确定何时获取相对表面上的目标的图像以促进拖车姿势的在线估计。在一些实施例中，进度表可以与固定间隔对应。在一些实施例中，可以将进度表设置为动态的，例如，当不存在方向改变时(例如，没有车道改变、没有转弯)，以第一频率(更低)估计拖车姿势，而当卡车/拖车正在改变车道时，以第二(例如，高得多)的频率估计拖车姿势。在一些实施例中，可以将进度表设置为关于例如速度改变的某种定性评估是自适应的，其可以被用作触发器来调整拖车姿势估计操作。例如，如果卡车正在减速，那么估计拖车姿势的频率可以增加。
通过设置估计进度表，当卡车/拖车在道路上(运动中)时，基于例如在估计进度表日志1407中确定的估计进度表，执行拖车姿势的在线估计。在1445处，由目标图像获取单元1430根据估计进度表获取目标的图像，并且在1455处，由目标图像特征提取器1440从与由存储在日志1432中的信息指定的参考目标特征对应的目标图像中提取特征。这样提取出的特征被发送到变换生成单元1420，以在 1475处估计参考特征与提取出的特征之间的变换。在一些实施例中，参考特征可以来自校准阶段。在一些实施例中，参考特征可以来自先前的估计步骤或先前的时刻。在1465处可以检索这样的参考特征和维度信息，以在1475处估计变换矩阵。然后，可以将估计的变换矩阵发送到拖车姿势估计器1450，以基于从所获取的图像中提取出的特征和存储在1432中的参考特征来在1485处估计拖车的姿势。一旦被估计，就在1495处输出估计的拖车姿势，以促进卡车和拖车的自主驾驶。
图15图示了根据本教导的实施例的即时拖车姿势估计的概念。如本文所示，拖车1220有两个姿势，一个姿势在初始姿势处具有在 CFS处的中心点，另一个姿势在第二姿势处具有在CFS处的中心点。如本文所讨论的，基于两个特征点集合估计的相机变换[R,t]，可以使用[R’,t’]将拖车在初始姿势处的任何(一个或多个)关键点映射到 (一个或多个)变换位置，该[R’,t’]表示从[R，t]计算出的拖车变换，以得出拖车的当前姿势。例如，如果拖车的后面(CRS)的中心点是关键点，那么如本文所述，给定估计的拖车变换，可以经由等式(7) 和(8)将先前时间点处的CRS的中心点映射到当前时间点处的 CRS’的中心点(参见图15)。类似地，还可以通过使用[R’,t’]从其初始位置或姿势(例如，1220-3、1220-4)映射到它们在稍后的时间点处的当前位置或姿势(例如，1220-3’、1220-4’)以相似的方式来计算用于表示拖车姿势的任何其它关键点。以这种方式，卡车可以连续地获得拖车的更新后的姿势，并使用这种动态姿势信息来控制自主驾驶，使得卡车和拖车以连贯一致的方式位于空间区域中。
图16是根据各种实施例的可以被用于实现实施如本教导中公开的保护传感器和传感器组装的方法的专用***的示例性移动设备体系架构的说明图。在这个示例中，在其上实现本教导的设备与移动设备 1600对应，包括但不限于智能电话，平板电脑，音乐播放器，手持游戏机，全球定位***(GPS)接收器、可穿戴计算设备(例如，眼镜、手表等)或以任何其它形状因数。移动设备1600可以包括一个或多个中央处理单元(“CPU”)1660、一个或多个图形处理单元 (“GPU”)1630、显示器1620、存储器1660、通信平台1610(诸如无线通信模块)、存储装置1690，以及一个或多个输入/输出(I/O) 设备1640。包括但不限于***总线或控制器(未示出)的任何其它合适的组件也可以包括在移动设备1600中。如图16中所示，移动操作***1670(例如，iOS、Android、Windows Phone等)和一个或多个应用1680可以从存储装置1690加载到存储器1660中，以便由 CPU 1640执行。应用1680可以包括用于管理与移动设备1600上与本教导相关的任务的合适的移动应用。可以经由I/O设备1640来实现用户交互。
为了实现本公开中描述的各种模块、单元及其功能，计算机硬件平台可以被用作本文描述的一个或多个元件的(一个或多个)硬件平台。此类计算机的硬件元件、操作***和编程语言本质上是常规的，并且假定本领域技术人员对此足够熟悉，以使这些技术适应如本文所述的适当设置。具有用户接口元件的计算机可以被用于实现个人计算机(PC)或其它类型的工作站或终端设备，但是如果经过适当编程，那么计算机也可以充当服务器。相信本领域技术人员熟悉这种计算机装备的结构、编程和一般操作，因此，附图应当是不言自明的。
图17是根据各种实施例的可以被用于实现实施与本教导相关的各种功能的专用***的示例性计算设备体系架构的说明图。结合了本教导的这种专用***具有硬件平台的功能框图图示，该硬件平台包括用户接口元件。计算机可以是通用计算机或专用计算机。两者都可以被用于实现本教导的专用***。如本文所述，这个计算机1700可以被用于实现会话(conversation)或对话(dialogue)管理***的任何组件。例如，可以经由其硬件、软件程序，固件或其组合在诸如计算机1900之类的计算机上实现与本教导相关联的各种功能。虽然为了方便起见仅示出了一个这样的计算机，但是与本文所述的会话管理***相关的计算机功能可以以分布式方式在多个类似平台上实现，以分配处理负荷。
计算机1700例如包括连接到网络和从网络与其连接的COM端口1750，以促进数据通信。计算机1700还包括一个或多个处理器形式的中央处理单元(CPU)1720，用于执行程序指令。该示例性计算机平台包括内部通信总线1710、不同形式的程序存储装置和数据存储装置(例如，盘1770、只读存储器(ROM)1730或随机存取存储器(RAM)1740)，用于要由计算机1700处理和/或传送的各种数据文件，以及要由CPU 1720执行的可能程序指令。计算机1700还包括I/O组件1760，其支持计算机与其中的其它组件(诸如用户接口元件1780)之间的输入/输出流。计算机1700还可以经由网络通信来接收编程和数据。
因此，如上所述的对话管理和/或其它过程的方法的各方面可以在编程中实现。可以将技术的程序方面视为通常以在某种类型的机器可读介质上执行或在其中实施的可执行代码和/或相关联数据的形式的“产品”或“制品”。有形的非暂态“存储”类型的介质包括用于计算机、处理器等或其相关联模块的任何或所有存储器或其它存储装置(诸如各种半导体存储器、带驱动器、盘驱动器等)，其可以在任何时间为软件编程提供存储。
有时可以通过诸如互联网或各种其它电信网络之类的网络来传送软件的全部或部分。例如，此类通信可以使得例如结合会话管理而能够将软件从一个计算机或处理器加载到另一个计算机或处理器中。因此，可以承载软件元素的另一种类型的介质包括光波、电波和电磁波，诸如通过有线和光学座机网络并通过各种空中链路跨本地设备之间的物理接口被使用。携带此类波的物理元件(诸如有线或无线链路、光学链路等)也可以被视为承载软件的介质。如本文所使用的，除非限于有形的“存储”介质，否则诸如计算机或机器“可读介质”之类的术语是指参与向处理器提供指令以供执行的任何介质。
因此，机器可读介质可以采取许多形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘，诸如任何(一个或多个)计算机中的任何存储设备等，其可以被用于实现如图所示的***或其任何组件。易失性存储介质包括动态存储器，诸如这种计算机平台的主存储器。有形的传输介质包括同轴电缆；铜线和光纤，包括在计算机***内形成总线的电线。载波传输介质可以采用电或电磁信号或声波或光波(诸如在射频(RF)和红外(IR)数据通信期间生成的)的形式。因此，计算机可读介质的常见形式包括例如：软盘、柔性盘、硬盘、磁带、任何其它磁介质， CD-ROM、DVD或DVD-ROM、任何其它光学介质，打孔卡纸带、具有孔图案的任何其它物理存储介质，RAM、PROM和EPROM、FLASH-EPROM、任何其它存储器芯片或盒带，用于运输数据或指令的载波、用于运输这种载波的电缆或链路，或计算机可以从中读取编程代码和/或数据的任何其它介质。这些形式的计算机可读介质中的许多可以涉及将一条或多条指令的一个或多个序列携带给物理处理器以供执行。
本领域技术人员将认识到的是，本教导可以进行多种修改和/或增强。例如，虽然上述各种组件的实施方式可以在硬件设备中实施，但是它也可以被实现为纯软件解决方案-例如，现有服务器上的安装。此外，如本文公开的欺诈性网络检测技术可以被实现为固件、固件/软件组合、固件/硬件组合或硬件/固件/软件组合。
虽然上文已经描述了被认为构成本教导和/或其它示例的内容，但是应该理解的是，可以对其进行各种修改，并且可以以各种形式和示例来实现本文公开的主题，并且这些教导可以应用于许多应用中，本文仅描述了其中的一些。以下权利要求书旨在要求保护落入本教导的真实范围内的任何和所有应用、修改和变化。

Claims (21)

1.一种在至少一个机器上实现的用于姿势估计的方法，所述至少一个机器包括至少一个处理器、存储器和能够连接到网络的通信平台，所述方法包括：
至少获得连接到车辆的拖车的维度，其中车辆和拖车具有彼此面对的相应的相对表面；
从由部署在相对表面中的第二表面上的传感器在第一时刻获取的存在于相对表面中的第一表面上的目标的第一图像中识别第一特征点集合；
从由传感器在第二时刻获取的目标的第二图像中识别第二特征点集合，其中第二特征点集合中的每个特征点与第一特征点集合中的一个特征点对应；
基于第一特征点集合和第二特征点集合，确定第一变换；
根据第一变换计算拖车从第一时刻到第二时刻所经历的第二变换；以及
针对车辆的自主驾驶，基于第二变换和维度来估计拖车在第二时刻的姿势。
2.如权利要求1所述的方法，其中
相对表面中的第一表面是车辆的后表面；以及
相对表面中的第二表面是拖车的前表面。
3.如权利要求1所述的方法，其中
相对表面中的第一表面是拖车的前表面；以及
相对表面中的第二表面是车辆的后表面。
4.如权利要求1所述的方法，其中拖车的姿势由位于拖车上的对应的一个或多个点的一个或多个坐标表示。
5.如权利要求1所述的方法，其中目标与以下之一对应：
放置在相对表面之一上的基准标记；以及
相对表面之一中具有可识别的视觉特征的区域。
6.如权利要求1所述的方法，其中第一时刻与以下之一对应：
车辆和拖车在一条直线上对准的初始化时刻；以及
第二时刻之前的任何时刻，以便第二时刻的估计的姿势表示与第一时刻的拖车姿势相比的拖车姿势的改变。
7.如权利要求1所述的方法，其中基于平面单应性来估计拖车的姿势。
8.一种用于姿势估计的机器可读和非暂态介质，在其上记录有信息，其中当所述信息被机器读取时，所述信息使机器执行：
至少获得连接到车辆的拖车的维度，其中车辆和拖车具有彼此面对的相应的相对表面；
从由部署在相对表面中的第二表面上的传感器在第一时刻获取的存在于相对表面中的第一表面上的目标的第一图像中识别第一特征点集合；
从由传感器在第二时刻获取的目标的第二图像中识别第二特征点集合，其中第二特征点集合中的每个特征点与第一特征点集合中的一个特征点对应；
基于第一特征点集合和第二特征点集合，确定第一变换；
根据第一变换计算拖车从第一时刻到第二时刻所经历的第二变换；以及
针对车辆的自主驾驶，基于第二变换和维度来估计拖车在第二时刻的姿势。
9.如权利要求8所述的介质，其中
相对表面中的第一表面是车辆的后表面；以及
相对表面中的第二表面是拖车的前表面。
10.如权利要求8所述的介质，其中
相对表面中的第一表面是拖车的前表面；以及
相对表面中的第二表面是车辆的后表面。
11.如权利要求8所述的介质，其中拖车的姿势由位于拖车上的对应的一个或多个点的一个或多个坐标表示。
12.如权利要求8所述的介质，其中目标与以下之一对应：
放置在相对表面之一上的基准标记；以及
相对表面之一中具有可识别的视觉特征的区域。
13.如权利要求8所述的介质，其中第一时刻与以下之一对应：
车辆和拖车在一条直线上对准的初始化时刻；以及
第二时刻之前的任何时刻，以便第二时刻的估计的姿势表示与第一时刻的拖车姿势相比的拖车姿势的改变。
14.如权利要求8所述的介质，其中基于平面单应性来估计拖车的姿势。
15.一种用于姿势估计的***，包括：
配置单元，所述配置单元被配置用于至少获得连接到车辆的拖车的维度，其中车辆和拖车具有彼此面对的相应的相对表面；
目标图像特征提取器，所述目标图像特征提取器被配置用于：
从由部署在相对表面中的第二表面上的传感器在第一时刻获取的存在于相对表面中的第一表面上的目标的第一图像中识别第一特征点集合，以及
从由传感器在第二时刻获取的目标的第二图像中识别第二特征点集合，其中第二特征点集合中的每个特征点与第一特征点集合中的一个特征点对应；
变换生成单元，所述变换生成单元被配置用于基于第一特征点集合和第二特征点集合来确定第一变换；以及
拖车姿势估计器，所述拖车姿势估计器被配置用于：
根据第一变换计算拖车从第一时刻到第二时刻所经历的第二变换，以及
针对车辆的自主驾驶，基于第二变换和维度来估计拖车在第二时刻的姿势。
16.如权利要求15所述的***，其中
相对表面中的第一表面是车辆的后表面；以及
相对表面中的第二表面是拖车的前表面。
17.如权利要求15所述的***，其中
相对表面中的第一表面是拖车的前表面；以及
相对表面中的第二表面是车辆的后表面。
18.如权利要求15所述的***，其中拖车的姿势由位于拖车上的对应的一个或多个点的一个或多个坐标表示。
19.如权利要求15所述的***，其中目标与以下之一对应：
放置在相对表面之一上的基准标记；以及
相对表面之一中具有可识别的视觉特征的区域。
20.如权利要求15所述的***，其中第一时刻与以下之一对应：
车辆和拖车在一条直线上对准的初始化时刻；以及
第二时刻之前的任何时刻，以便第二时刻的估计的姿势表示与第一时刻的拖车姿势相比的拖车姿势的改变。
21.如权利要求15所述的***，其中基于平面单应性来估计拖车的姿势。
CN202011448626.0A 2019-12-09 2020-12-09 拖车姿态估计的***和方法 Pending CN113033280A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/707,461 US11087496B2 (en) 2019-12-09 2019-12-09 System and method for trailer pose estimation
US16/707,461 2019-12-09

Publications (1)

Publication Number Publication Date
CN113033280A true CN113033280A (zh) 2021-06-25

Family

ID=73698565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011448626.0A Pending CN113033280A (zh) 2019-12-09 2020-12-09 拖车姿态估计的***和方法

Country Status (3)

Country Link
US (2) US11087496B2 (zh)
EP (1) EP3836086A1 (zh)
CN (1) CN113033280A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897988A (zh) * 2022-07-14 2022-08-12 苏州魔视智能科技有限公司 一种铰链式车辆中的多相机定位方法、装置及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372406B2 (en) * 2019-12-09 2022-06-28 Plusai, Inc. System and method for collaborative sensor calibration
US11579632B2 (en) 2019-12-09 2023-02-14 Plusai, Inc. System and method for assisting collaborative sensor calibration
US11875682B2 (en) 2019-12-09 2024-01-16 Plusai, Inc. System and method for coordinating collaborative sensor calibration
US11852730B2 (en) 2019-12-09 2023-12-26 Plusai, Inc. System and method for collaborative calibration via landmark
US11630454B2 (en) 2019-12-09 2023-04-18 Plusai, Inc. System and method for coordinating landmark based collaborative sensor calibration
US11087496B2 (en) 2019-12-09 2021-08-10 Plusai Limited System and method for trailer pose estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176716A1 (en) * 2011-07-25 2014-06-26 Ford Global Technologies, Llc Trailer lane departure warning system
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20190205670A1 (en) * 2017-12-29 2019-07-04 PlusAI Corp Method and System for Stereo Based Vehicle Pose Estimation
WO2019202317A1 (en) * 2018-04-17 2019-10-24 Cambridge Enterprise Limited Method and system of articulation angle measurement

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7759813B2 (en) 2007-08-23 2010-07-20 Tetsuhiko Fujisato Gravity wave power generation apparatus
JP6325806B2 (ja) 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US9933515B2 (en) 2014-12-09 2018-04-03 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor calibration for autonomous vehicles
US9541633B2 (en) 2016-04-29 2017-01-10 Caterpillar Inc. Sensor calibration system
US10145945B2 (en) 2017-01-11 2018-12-04 Toyota Research Institute, Inc. Systems and methods for automatically calibrating a LIDAR using information from a secondary vehicle
US10401501B2 (en) 2017-03-31 2019-09-03 Uber Technologies, Inc. Autonomous vehicle sensor calibration system
US10229590B2 (en) 2017-08-14 2019-03-12 GM Global Technology Operations LLC System and method for improved obstable awareness in using a V2X communications system
US10481600B2 (en) 2017-09-15 2019-11-19 GM Global Technology Operations LLC Systems and methods for collaboration between autonomous vehicles
DE102017217212A1 (de) 2017-09-27 2019-03-28 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
CN111492403A (zh) 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US10775806B2 (en) 2017-12-22 2020-09-15 Lyft, Inc. Autonomous-vehicle dispatch based on fleet-level target objectives
US11415683B2 (en) 2017-12-28 2022-08-16 Lyft, Inc. Mobile sensor calibration
US10635933B2 (en) * 2018-01-23 2020-04-28 Ford Global Technologies, Llc Vision-based methods and systems for determining trailer presence
US10989562B2 (en) 2018-07-12 2021-04-27 Toyota Research Institute, Inc. Systems and methods for annotating maps to improve sensor calibration
US10582137B1 (en) 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
EP3678096B1 (en) * 2019-01-07 2021-06-23 Continental Automotive GmbH Method for calculating a tow hitch position
US11662196B2 (en) * 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US10818036B1 (en) 2019-06-28 2020-10-27 GM Cruise Holdings, LLC Compensation in vehicle sensor calibration for sloped vehicle calibration environment
US11403891B2 (en) 2019-11-01 2022-08-02 Gm Cruise Holdings Llc Autonomous setup and takedown of calibration environment for vehicle sensor calibration
US11875682B2 (en) 2019-12-09 2024-01-16 Plusai, Inc. System and method for coordinating collaborative sensor calibration
US11579632B2 (en) 2019-12-09 2023-02-14 Plusai, Inc. System and method for assisting collaborative sensor calibration
US11852730B2 (en) 2019-12-09 2023-12-26 Plusai, Inc. System and method for collaborative calibration via landmark
US11630454B2 (en) 2019-12-09 2023-04-18 Plusai, Inc. System and method for coordinating landmark based collaborative sensor calibration
US11372406B2 (en) 2019-12-09 2022-06-28 Plusai, Inc. System and method for collaborative sensor calibration
US11087496B2 (en) 2019-12-09 2021-08-10 Plusai Limited System and method for trailer pose estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176716A1 (en) * 2011-07-25 2014-06-26 Ford Global Technologies, Llc Trailer lane departure warning system
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20190205670A1 (en) * 2017-12-29 2019-07-04 PlusAI Corp Method and System for Stereo Based Vehicle Pose Estimation
WO2019202317A1 (en) * 2018-04-17 2019-10-24 Cambridge Enterprise Limited Method and system of articulation angle measurement

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897988A (zh) * 2022-07-14 2022-08-12 苏州魔视智能科技有限公司 一种铰链式车辆中的多相机定位方法、装置及设备

Also Published As

Publication number Publication date
US11087496B2 (en) 2021-08-10
EP3836086A1 (en) 2021-06-16
US20220051439A1 (en) 2022-02-17
US20210174545A1 (en) 2021-06-10
US11682139B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US11835967B2 (en) System and method for assisting collaborative sensor calibration
CN113033280A (zh) 拖车姿态估计的***和方法
US11635762B2 (en) System and method for collaborative sensor calibration
US20240112583A1 (en) System and method for coordinating collaborative sensor calibration
CN109901139B (zh) 激光雷达标定方法、装置、设备和存储介质
US11630454B2 (en) System and method for coordinating landmark based collaborative sensor calibration
US11852730B2 (en) System and method for collaborative calibration via landmark
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪***及方法
US10031526B1 (en) Vision-based driving scenario generator for autonomous driving simulation
CN109975773B (zh) 毫米波雷达标定方法、装置、设备和存储介质
WO2021046716A1 (zh) 目标对象的检测方法、***、设备及存储介质
US20180137376A1 (en) State estimating method and apparatus
CN110795984A (zh) 信息处理方法、信息处理装置及程序记录介质
KR20150058679A (ko) 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
JPWO2020137315A1 (ja) 測位装置及び移動体
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
Smith et al. PiPS: Planning in perception space
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
CN116952229A (zh) 无人机定位方法、装置、***和存储介质
CN117635721A (zh) 目标定位方法及相关***、存储介质
US20220415193A1 (en) Image processing device, image processing method, and program
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus
JP2019132701A (ja) 地図情報作成方法
KR102651108B1 (ko) 위치 추정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination