CN113039580B - 用于牵引车和拖车的车载控制***和确定牵引车和拖车间的角度的方法 - Google Patents

用于牵引车和拖车的车载控制***和确定牵引车和拖车间的角度的方法 Download PDF

Info

Publication number
CN113039580B
CN113039580B CN201980072462.5A CN201980072462A CN113039580B CN 113039580 B CN113039580 B CN 113039580B CN 201980072462 A CN201980072462 A CN 201980072462A CN 113039580 B CN113039580 B CN 113039580B
Authority
CN
China
Prior art keywords
trailer
vehicle
tractor
points
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980072462.5A
Other languages
English (en)
Other versions
CN113039580A (zh
Inventor
罗毅
韩晓凌
梅学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Priority to CN202311563569.4A priority Critical patent/CN117593370A/zh
Publication of CN113039580A publication Critical patent/CN113039580A/zh
Application granted granted Critical
Publication of CN113039580B publication Critical patent/CN113039580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B62D15/023—Determination of steering angle by measuring on the king pin
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于检测拖车角度的***和方法。在一个方面，一种车载控制***包括光学传感器，所述光学传感器被配置成被安装在牵引车上以面向被联接到所述牵引车的拖车，所述光学传感器还被配置成生成指示所述拖车与所述牵引车之间所形成的角度的光学数据。所述***还包括：处理器；以及计算机可读存储器，与所述处理器通信并且具有存储在其上的计算机可执行指令，以使所述处理器：接收来自所述光学传感器的所述光学数据，基于所述光学数据来确定表示所述拖车的表面的至少一个候选平面，所述候选平面在所述光学数据中可见，以及基于所述至少一个候选平面来确定所述拖车与所述牵引车之间的角度。

Description

用于牵引车和拖车的车载控制***和确定牵引车和拖车间的 角度的方法
技术领域
所描述的技术通常涉及用于自主驾驶的***和方法，并且更具体地涉及检测铰接式交通工具的区部之间的角度。
背景技术
在自主驾驶***中，对于做出正确且安全的决定来控制自主或主交通工具而言，对周围驾驶环境和交通参与者的准确感知和预测是至关重要的。附加地，自主驾驶***必须具有被驱动的交通工具(也被称为自我交通工具)的当前状态(例如速度、加速度、路况以及当前车道内交通工具的地点等)的准确测量。由于(多个)枢轴点所提供的附加自由度，某些交通工具(诸如具有牵引车和至少一个拖车的半卡车、铰接式公共汽车、火车等)可能具有更复杂的状态，在(多个)枢轴点处(多个)拖车被附接到牵引车或先前的拖车。在该背景下，对铰接式交通工具的区部之间的角度的准确测量是被用于定义铰接式交通工具的状态的重要因素。
发明内容
一个发明性方面是一种用于牵引车和拖车的车载控制***，包括：光学传感器，被配置成被安装在牵引车上并生成指示拖车与牵引车之间所形成的角度的光学数据；处理器；以及计算机可读存储器，与处理器通信并且其上被存储有计算机可执行指令以使处理器执行以下操作：接收光学数据，确定表示拖车的表面的至少一个候选平面，该候选平面在光学数据中可见，以及至少基于至少一个候选平面来确定拖车与牵引车之间的角度。
另一发明性方面是一种其上被存储有指令的非暂态计算机可读存储介质，指令在被执行时使至少一个计算设备执行以下操作：接收来自光学传感器的光学数据，光学传感器被配置成被安装在牵引车上并生成指示拖车与牵引车之间所形成的角度的光学数据；确定表示拖车的表面的至少一个候选平面，该候选平面在光学数据中可见；以及至少基于至少一个候选平面来确定拖车与牵引车之间的角度。
又另一发明性方面是一种用于确定交通工具与车道之间的距离的方法，包括：接收来自光学传感器的光学数据，光学传感器被配置成被安装在牵引车上并生成指示拖车与牵引车之间所形成的角度的光学数据；确定表示拖车的表面的至少一个候选平面，该候选平面在光学数据中可见；以及至少基于至少一个候选平面来确定拖车与牵引车之间的角度。
附图说明
图1是图示了根据本公开的方面的包括车载控制***和图像处理模块的示例生态***的框图。
图2是根据本公开的方面的具有交通工具操作子***的半卡车的简化图，该交通工具操作子***被配置成检测半卡车的牵引车与拖车之间的角度。
图3图示了根据本公开的方面的具有图2中所图示的角度的用于半卡车的自主控制的交通工具操作子***的示例框图。
图4图示了根据本公开的方面的可以被用于确定图2中所图示的角度的示例方法。
图5图示了根据本公开的方面的可以被用于确定牵引车至拖车角度的另一示例方法。
具体实施方式
对车载控制***的介绍
在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对各种实施例的透彻理解。然而，对于本领域的普通技术人员而言将明显的是，可以在没有这些具体细节的情况下实践各种实施例。
如各种示例实施例中所描述，本文中描述了用于检测针对铰接式交通工具的拖车角度的***和方法。本文中所公开的示例实施例可以在交通工具生态***101中的车载控制***150的背景下被使用。在一个示例实施例中，具有驻留在交通工具105中的图像处理模块200的车载控制***150可以像图1中所图示的架构和生态***101一样被配置。然而，对于本领域的普通技术人员将清楚的是，本文中所描述的图像处理模块200也可以在各种其他应用和***中被实施、配置和使用。
继续参考图1，框图图示了示例生态***101，在该示例生态***中，示例实施例的车载控制***150和图像处理模块200可以被实施。这些组件将在下文被更详细地描述。生态***101包括各种***和组件，它们可以生成一个或多个信息/数据源和相关服务和/或将信息/数据源递送给可以被安装在交通工具105中的车载控制***150和图像处理模块200。例如，作为交通工具子***140的设备之一被安装在交通工具105中的相机可以生成可以由车载控制***150接收到的图像和定时数据。车载控制***150和在其中执行的图像处理模块200可以接收该图像和定时数据输入。如下文更详细地描述，图像处理模块200可以处理图像输入并且提取目标特征，这些目标特征可以被自主交通工具控制子***使用，该自主交通工具控制子***作为交通工具子***140的子***中的另一子***。自主交通工具控制子***例如可以使用实时提取的目标特征，以在现实世界的驾驶环境中安全且有效地导航和控制交通工具105，同时避开障碍物并安全地控制交通工具。
在如本文中所描述的示例实施例中，车载控制***150可以与多个交通工具子***140进行数据通信，所有这些交通工具子***都可以驻留在用户的交通工具105中。提供交通工具子***接口141，以促进车载控制***150与多个交通工具子***140之间的数据通信。车载控制***150可以包括数据处理器171，该数据处理器被配置成执行图像处理模块200，用于处理从一个或多个交通工具子***140接收到的图像数据。数据处理器171可以与数据存储设备172组合，作为车载控制***150中的计算***170的一部分。数据存储设备172可以被用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165，以促进数据处理器171与图像处理模块200之间的数据通信。在各种示例实施例中，可以提供类似于图像处理模块200进行配置的多个处理模块，以供数据处理器171执行。如图1中的虚线所示出，图像处理模块200可以被集成到车载控制***150中，可选地被下载到车载控制***150，或与车载控制***150分开地被部署。
尽管未在图1中图示，车载控制***150和/或交通工具子***140可以包括交通工具操作子***300(例如，如图2和3中所示出)，该交通工具操作子***被配置成检测铰接式交通工具的两个相邻区部之间的角度。在半卡车具有单个拖车的情况下，子***300可以被配置成检测并确定半卡车的牵引车与拖车之间所形成的角度。关于子***300的更多细节在下文被提供。
车载控制***150可以被配置成：从被连接到该车载控制***150的广域网120和网络资源122接收数据，或将数据传输给该广域网和这些网络资源。车载web启用设备130和/或用户移动设备132可以被用于经由网络120进行通信。web启用设备接口131可以被车载控制***150使用，以促进经由车载web启用设备130在车载控制***150与网络120之间的数据通信。类似地，用户移动设备接口133可以被车载控制***150使用，以促进经由用户移动设备132在车载控制***150与网络120之间的数据通信。以此方式，车载控制***150可以经由网络120获得对网络资源122的实时访问。网络资源122可以被用于获得用于供数据处理器171执行的处理模块、用以训练内部神经网络的数据内容、***参数或其他数据。
生态***101可以包括广域数据网络120。网络120表示一个或多个常规的广域数据网络，诸如因特网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、语音IP(VoIP)网络等。这些网络120中的一个或多个可以被用于将用户或客户端***与网络资源122(诸如网站、服务器、中央控制站点等)连接。网络资源122可以生成和/或分发数据，该数据可以经由车载web启用设备130或用户移动设备132在交通工具105中被接收。网络资源122还可以托管网络云服务，这些网络云服务可以支持被用于计算或协助处理图像输入或图像输入分析的功能性。天线可以用于经由蜂窝、卫星、无线电或其他常规信号接收机制将车载控制***150和图像处理模块200与数据网络120连接。这种蜂窝数据网络当前可用(例如VerizonTM、AT&TTM、T-MobileTM等)。这种基于卫星的数据或内容网络目前也可用(例如SiriusXMTM、HughesNetTM等)。广播网络(诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WiFi网络、对等网络、语音IP(VoIP)网络等)也可用。因此，车载控制***150和图像处理模块200可以经由车载web启用设备接口131接收基于web的数据或内容，该车载web启用设备接口可以被用于与车载web启用设备接收器130和网络120连接。以此方式，车载控制***150和图像处理模块200可以从交通工具105内支持各种可联网的车载设备和***。
如图1中所示出，车载控制***150和图像处理模块200还可以从用户移动设备132接收数据、图像处理控制参数和训练内容，这些用户移动设备可以被定位于交通工具105内部或附近。用户移动设备132可以表示标准移动设备，诸如蜂窝电话、智能电话、个人数字助理(PDA)、MP3播放器、平板计算设备(例如iPadTM)、膝上型计算机、CD播放器和其他移动设备，这些标准移动设备可以产生、接收和/或递送用于车载控制***150和图像处理模块200的数据、图像处理控制参数和内容。如图1中所示出，移动设备132还可以与网络云120进行数据通信。移动设备132可以经由网络120从移动设备132本身的内部存储器组件，或从网络资源122寻求数据和内容。附加地，移动设备132本身可以包括GPS数据接收器、加速度计、WiFi三角测量或移动设备中的其他地理定位传感器或组件，它们可以被用于在任何时刻确定用户的实时地理定位(经由移动设备)。在任何情况下，如图1中所示出，车载控制***150和图像处理模块200都可以从移动设备132接收数据。
仍然参考图1，生态***101的示例实施例可以包括交通工具操作子***140。针对在交通工具105中被实施的实施例，许多标准交通工具包括操作子***，诸如电子控制单元(ECU)，从而支持用于发动机、制动器、变速器、电气***、排放***、内部环境等的监测/控制子***。例如，从交通工具操作子***140(例如交通工具105的ECU)经由交通工具子***接口141被传达给车载控制***150的数据信号可以包括关于交通工具105的组件或子***中的一个或多个的状态的信息。具体地，可以从交通工具操作子***140被传达给交通工具105的控制器局域网(CAN)总线的数据信号可以由车载控制***150经由交通工具子***接口141接收和处理。本文中所描述的***和方法的实施例可以大体上与使用如本文中所定义的CAN总线或类似的数据通信总线的任何机械化***一起被使用，任何机械化***包括但不限于工业装备、船、卡车、机器或汽车；因此，如本文中所使用的术语“交通工具”可以包括任何这种机械化***。本文中所描述的***和方法的实施例还可以与采用某种形式的网络数据通信的任何***一起被使用；然而，不需要这种网络通信。
仍然参考图1，生态***101的示例实施例以及其中的交通工具操作子***140可以包括各种交通工具子***，以支持交通工具105的操作。一般地，交通工具105可以采取例如汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地摩托、航空器、休闲车、游乐园车、农用装备、施工装备、电车、高尔夫球车、火车和手推车的形式。其他交通工具也是可能的。交通工具105可以被配置成以自主模式完全或部分地操作。例如，交通工具105可以在处于自主模式时自我控制，并且可操作以确定交通工具的当前状态和交通工具的环境，确定环境中至少一辆其他交通工具的预测行为，确定置信度，该置信度可以对应于至少另一交通工具执行预测行为并基于确定的信息来控制交通工具105的概率。在处于自主模式时，交通工具105可以被配置成在没有人类交互的情况下操作。
交通工具105可以包括各种交通工具子***，诸如交通工具驱动子***142、交通工具传感器子***144、交通工具控制子***146和乘坐者接口子***148。如上文所描述，交通工具105还可以包括车载控制***150、计算***170和图像处理模块200。交通工具105可以包括更多或更少的子***，并且每个子***可以包括多个元件。进一步地，交通工具105的子***和元件中的每个可以被互连。因此，交通工具105的所描述的功能中的一个或多个功能可以被划分成附加的功能或物理组件，或被组合成较少的功能或物理组件。在一些其他示例中，附加的功能和物理组件可以被添加到由图1所图示的示例。
交通工具驱动子***142可以包括可操作以为交通工具105提供供以动力的运动的组件。在示例实施例中，交通工具驱动子***142可以包括发动机或电动机、车轮/轮胎、变速器、电气子***和动力源。发动机或电动机可以是内燃发动机、电动机、蒸汽发动机、燃料电池发动机、丙烷发动机或其他类型的发动机或电动机的任何组合。在一些示例实施例中，发动机可以被配置成将动力源转换成机械能。在一些示例实施例中，交通工具驱动子***142可以包括多种类型的发动机或电动机。例如，气电混合动力汽车可以包括汽油发动机和电动机。其他示例是可能的。
交通工具105的车轮可以是标准轮胎。交通工具105的车轮可以被配置成各种格式，例如包括诸如在汽车或卡车上的单轮、双轮、三轮或四轮格式。其他车轮几何形状是可能的，诸如包括六个或更多个车轮的那些车轮几何形状。交通工具105的车轮的任何组合可以可操作以相对于其他车轮不同地旋转。术语车轮一般可以指包括轮辋的结构，该轮辋被配置成被固定地附接到轮胎，该轮胎通常由橡胶形成。可选地，车轮可以包括被附接到轮辋的外表面的轮毂罩，或轮胎可以被暴露于环境而不包括轮毂罩。如本文中所使用，图像内车轮的检测和/或分割可以包括当可见时检测整个车轮/轮胎组合，包括橡胶轮胎和中央车轮。
给定交通工具的车轮可以表示被固定地联接到变速器的至少一个车轮和被联接到车轮的轮辋的至少一个轮胎，该至少一个轮胎可以与驱动表面接触。车轮可以包括金属和橡胶的组合或材料的另一组合。变速器可以包括可操作以将机械动力从发动机传输给车轮的元件。为此，变速器可以包括齿轮箱、离合器、差速器和驱动轴。变速器也可以包括其他元件。驱动轴可以包括可以被联接到一个或多个车轮的一个或多个轴。电气***可以包括可操作以在交通工具105中传送和控制电信号的元件。这些电信号可以被用于启动交通工具105的灯、伺服***、电动机和其他电驱动或控制的设备。动力源可以表示可以全部或部分为发动机或电动机提供动力的能源。也就是说，发动机或电动机可以被配置成将动力源转换成机械能。动力源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、燃料电池、太阳能电池板、电池组和其他电源来源。动力源可以附加地或备选地包括燃料箱、电池组、电容器或飞轮的任何组合。动力源也可以为交通工具105的其他子***提供能量。
交通工具传感器子***144可以包括多个传感器，多个传感器被配置成感测关于交通工具105的环境或条件的信息。例如，交通工具传感器子***144可以包括惯性测量单元(IMU)、全球定位***(GPS)收发器、RADAR单元、激光测距仪/LIDAR单元和一个或多个相机或图像捕获设备(例如，如图2中所示出的光学传感器210)。光学传感器可以被实施为LiDAR检测器或相机(例如常规的可见波长相机)。交通工具传感器子***144还可以包括被配置成监测交通工具105的内部***的传感器(例如O2监测器、燃油表、发动机油温)。其他传感器也是可能的。交通工具传感器子***144中所包括的一个或多个传感器可以被配置成分别地或共同地被致动，以便修改一个或多个传感器的位置、定向或两者。
IMU可以包括被配置成基于惯性加速度来感测交通工具105的位置和定向变化的传感器(例如加速度计和陀螺仪)的任何组合。GPS收发器可以是被配置成估计交通工具105的地理地点的任何传感器。为此，GPS收发器可以包括接收器/发送器，该接收器/发送器可操作以提供关于交通工具105相对于地球的位置的信息。RADAR单元可以表示利用无线电信号来感测交通工具105的局部环境内的目标的***。在一些实施例中，除了感测目标之外，RADAR单元可以附加地被配置成感测接近交通工具105的目标的速度和前进方向。激光测距仪或LIDAR单元可以是被配置成使用激光感测交通工具105所处的环境中的目标的任何传感器。在示例实施例中，除其他***组件外，激光测距仪/LIDAR单元可以包括一个或多个激光源、激光扫描仪和一个或多个检测器。激光测距仪/LIDAR单元可以被配置成以相干(例如使用外差检测)或非相干检测模式操作。相机可以包括被配置成捕获交通工具105的环境的多个图像的一个或多个设备。相机可以是静止图像相机或运动视频相机。
交通工具控制***146可以被配置成控制交通工具105和该交通工具的组件的操作。因此，交通工具控制***146可以包括各种元件，诸如转向单元、节流阀、制动单元、导航单元和自主控制单元。
转向单元可以表示可操作以调整交通工具105的前进方向的机构的任何组合。节流阀可以被配置成控制例如发动机的操作速度，并进而控制交通工具105的速度。制动单元可以包括被配置成使交通工具105减速的机构的任何组合。制动单元可以使用摩擦力以标准方式使车轮减速。在其他实施例中，制动单元可以将车轮的动能转换成电流。制动单元也可以采取其他形式。导航单元可以是被配置成确定交通工具105的驾驶路径或路线的任何***。导航单元可以附加地被配置成在交通工具105处于操作中时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置成合并来自图像处理模块200、GPS收发器和一个或多个预定地图的数据，以便确定交通工具105的驾驶路径。自主控制单元可以表示被配置成标识、评估和避免或以其他方式越过交通工具105的环境中的潜在障碍物的控制***。一般地，自主控制单元可以被配置成在没有驾驶者的情况下控制交通工具105进行操作，或在控制交通工具105时提供驾驶者辅助。在一些实施例中，自主控制单元可以被配置成合并来自图像处理模块200、GPS收发器、RADAR、LIDAR、相机和其他交通工具子***的数据，以确定交通工具105的驾驶路径或轨迹。附加地或备选地，交通工具控制***146可以包括除了所示出和描述的那些组件之外的组件。
乘坐者接口子***148可以被配置成允许交通工具105与外部传感器、其他交通工具、其他计算机***和/或交通工具105的乘坐者或用户之间的交互。例如，乘坐者接口子***148可以包括标准视觉显示设备(例如等离子体显示器、液晶显示器(LCD)、触摸屏显示器、抬头显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航接口以及用于控制交通工具105的内部环境(例如温度、风扇等)的接口。
在示例实施例中，乘坐者接口子***148可以提供例如用于交通工具105的用户/乘坐者与其他交通工具子***交互的能力。视觉显示设备可以向交通工具105的用户提供信息。用户接口设备还可以可操作以经由触摸屏接受来自用户的输入。除其他可能性外，触摸屏可以被配置成经由电容感测、电阻感测或表面声波过程来感测用户的手指的位置和移动中的至少一个。触摸屏可能能够感测在与触摸屏表面平行或成平面的方向上、在垂直于触摸屏表面的方向上或两者的手指移动，并且还可能能够感测被施加到触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触摸屏也可以采取其他形式。
在其他实例中，乘坐者接口子***148可以提供用于交通工具105与交通工具的环境内的设备进行通信的能力。麦克风可以被配置成从交通工具105的用户接收音频(例如语音命令或其他音频输入)。类似地，扬声器可以被配置成向交通工具105的用户输出音频。在一个示例实施例中，乘坐者接口子***148可以被配置成直接地或经由通信网络与一个或多个设备无线通信。例如，无线通信***可以使用3G蜂窝通信(诸如CDMA、EVDO、GSM/GPRS)或4G蜂窝通信，诸如WiMAX或LTE。备选地，无线通信***可以例如使用与无线局域网(WLAN)通信。在一些实施例中，无线通信***146可以例如使用红外链路、或/>直接地与设备通信。在本公开的背景内，其他无线协议(诸如各种交通工具通信***)是可能的。例如，无线通信***可以包括一个或多个专用短程通信(DSRC)设备，该专用短程通信设备可以包括交通工具和/或路边站之间的公共或私有数据通信。
交通工具105的许多或全部功能可以被计算***170控制。计算***170可以包括至少一个数据处理器171(数据处理器可以包括至少一个微处理器)，该至少一个数据处理器执行被存储在非暂态计算机可读介质(诸如数据存储设备172)中的处理指令。计算***170还可以表示多个计算设备，该计算设备可以用于以分布式方式控制交通工具105的各个组件或子***。在一些实施例中，数据存储设备172可以包含可由数据处理器171执行以执行交通工具105的各种功能(包括本文中结合附图所描述的那些功能)的处理指令(例如程序逻辑)。数据存储设备172还可以包含附加指令，包括将数据传输给交通工具驱动子***142、交通工具传感器子***144、交通工具控制子***146和乘坐者接口子***148中的一个或多个、从交通工具驱动子***142、交通工具传感器子***144、交通工具控制子***146和乘坐者接口子***148中的一个或多个接收数据、与交通工具驱动子***142、交通工具传感器子***144、交通工具控制子***146和乘坐者接口子***148中的一个或多个交互或控制交通工具驱动子***142、交通工具传感器子***144、交通工具控制子***146和乘坐者接口子***148中的一个或多个的指令。
除了处理指令之外，除其他信息外，数据存储设备172还可以存储数据(诸如图像处理参数、训练数据、道路地图和路径信息)。这种信息可以在交通工具105以自主、半自主和/或手动模式操作期间被交通工具105和计算***170使用。
交通工具105可以包括用于向交通工具105的用户或乘坐者提供信息或从该用户或乘坐者接收输入的用户接口。用户接口可以控制或实现控制可以被显示在显示设备上的交互式图像的内容和布局。进一步地，用户接口可以包括在一组乘坐者接口子***148内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信***。
计算***170可以基于从各种交通工具子***(例如交通工具驱动子***142、交通工具传感器子***144和交通工具控制子***146)以及从乘坐者接口子***148接收到的输入来控制交通工具105的功能。例如，计算***170可以使用来自交通工具控制***146的输入，以便控制转向单元，以避免由交通工具传感器子***144和图像处理模块200检测到的障碍物，以受控方式移动，或基于由图像处理模块200生成的输出来遵循路径或轨迹。在示例实施例中，计算***170可以可操作以提供对交通工具105及其子***的许多方面的控制。
尽管图1将交通工具105的各种组件(例如交通工具子***140、计算***170、数据存储设备172和图像处理模块200)示出为被集成到交通工具105中，但是这些组件中的一个或多个组件可以与交通工具105分开地被安装或相关联。例如，数据存储设备172可以部分地或全部地与交通工具105分开存在。因此，交通工具105可以以可以分开或一起被定位的设备元件的形式被提供。构成交通工具105的设备元件可以以有线或无线方式被通信地耦合在一起。
附加地，其他数据和/或内容(在本文中被表示为辅助数据)可以通过如上文所描述的车载控制***150从本地和/或远程源来获得。辅助数据可以被用于基于多种因素(包括用户操作交通工具的背景(例如交通工具的地点、指定的目的地、行进方向、速度、每日的时刻、交通工具的状态等))和可以从如本文中所描述的各种来源(本地和远程)获得的各种其他数据来增强、修改或训练图像处理模块200的操作。
在特定实施例中，车载控制***150和图像处理模块200可以被实施为交通工具105的车载组件。在各种示例实施例中，车载控制***150和与车载控制***150的数据通信的图像处理模块200可以被实施为集成组件或分开的组件。例如，图像处理模块200可以被包括为非暂态计算机可读介质(诸如数据存储设备172)中所存储的指令集，以供使数据处理器171执行各种图像处理功能性。在示例实施例中，通过使用经由网络120与移动设备132和/或网络资源122的数据连接，车载控制***150和/或图像处理模块200的软件组件可以被动态地更新、修改和/或增强。车载控制***150可以周期性地向移动设备132或网络资源122查询更新，或更新可以被推送给车载控制***150。
用于确定牵引车至拖车角度的***和方法
在本文中所公开的各种示例实施例中，提供了一种用于检测铰接式交通工具的相邻区部之间的角度的***和方法，该***和方法可以被用于交通工具的自主驾驶。铰接式交通工具的实施例包括具有牵引车和至少一个拖车的半卡车、铰接式公共汽车、火车等。
图2是根据本公开的方面的具有交通工具操作子***的半卡车的简化图，该交通工具操作子***被配置成检测半卡车的牵引车与拖车之间的角度。如图2中所示出，半卡车200包括被联接到拖车215的牵引车205。拖车215可以包括容器220，货物被配置成在运输期间被存储在该容器中。拖车215可以例如经由第五车轮配置在枢转点处被连接到牵引车205，第五车轮配置包括被安装在牵引车205上的第五车轮联接上班(未图示)和被安装在拖车215上的主销(未图示)。然而，其他实施例可以采用被用于将拖车215联接到牵引车205的其他配置。进一步地，牵引车205可以包括交通工具操作子***140(未图示)和/或包括交通工具操作子***300的交通工具控制***150(未图示)。
由于拖车215被配置成绕与牵引车205的联接点(例如在第五车轮连接点处)枢转，所以拖车215与牵引车205之间所形成的角度可以随着牵引车205移动或被自主驱动而变化。牵引车205与拖车215之间的当前角度是可以被用于定义半卡车200的当前状态的重要变量，这是因为角度可以影响半卡车200的总体中心、在驾驶期间拖车215所采取的路径、半卡车200的风阻等。牵引车205与拖车215之间的角度的准确测量在急转弯期间也可以是重要的，在这种情况下，存在拖车215可能与牵引车205的一部分发生碰撞的可能性，并且在半卡车200的硬断裂期间，它有可能导致拖车215的牵引车相对拖车成折角(jackknifing)。由于牵引车相对拖车成折角具体地可以是危险的，因此包括牵引车205至拖车215角度的牵引车相对拖车成折角可以发生的条件的检测可以提高自主驾驶时交通工具的安全性。
一种用于测量牵引车205与拖车215之间的角度的可能技术可以涉及在被配置以测量拖车215与牵引车205之间的角度的拖车215的主销上安装角度传感器。然而，与被安装在拖车215上的角度传感器相关联的可能存在许多缺点。例如，在牵引车205与拖车215之间的第五车轮联接可以涉及通过第五车轮联接机构传输大的力，其中一些力可以被施加在角度传感器上。这些力可能导致角度传感器过早摩擦磨损，由于角度传感器的高故障率，这些角度传感器可能需要频繁更换。附加地，与使用半卡车运输相关联的物流可以涉及牵引车205与多个不同的拖车215联接并牵引这些拖车，这些拖车的每个可以由不同的生产者制造。因此，被安装在每个拖车215中的角度传感器必须被手动连接并设置成与牵引车205中的车载控制***150正确地进行接口。该设置涉及驾驶者和/或装载人员的额外时间和专业知识，从而导致当将拖车215与牵引车205联接/分离时效率低下的根源。
附加地，被安装在拖车215上的角度传感器的使用可能能够仅提供牵引车205至拖车215角度的单个测量点。因此，如果角度传感器的测量准确性下降，那么被提供给车载控制***150的所有测量将受到影响，从而降低了车载控制***150自主控制半卡车200的能力。
本公开的各方面可以解决上文所描述的缺点中的一个或多个。例如，牵引车205可以包括光学传感器210。在某些实施例中，光学传感器210被安装成面向拖车215。光学传感器210可以从牵引车215的后部面向拖车215，以获得拖车的(多个)图像。继续参考图2，可以针对光学传感器210中的每个以及拖车215上的参考点来定义X轴和Y轴。在一些实施例中，光学传感器X轴与拖车X轴之间的角度230可以被定义为牵引车205与拖车215之间的角度。
取决于实施方式，光学传感器210可以被实施为LiDAR检测器211或相机213(例如常规的可见波长相机)。然而，本公开的方面不限于这些实施例，并且光学传感器210也可以被实施为红外相机、多光谱相机、RADAR等。
光学传感器210可以将未处理或部分处理的数据提供给一个或多个处理器，该一个或多个处理器可以使用接收到的数据来确定角度230。一个或多个处理器可以包括被集成在光学传感器210中的处理器、数据处理器171和/或交通工具子***140中所包括的处理器。为了清楚起见，一组一个或多个处理器在本文中可以被简单地称为单数“处理器”。
图3图示了根据本公开的方面的具有图2中所图示的角度230的用于半卡车的自主控制的交通工具操作子***的示例框图。所图示的***300可以包括光学传感器210。在某些实施例中，光学传感器210被配置成输出指示拖车215相对于牵引车205的角度的光学数据。如图2中所示出，光学传感器210可以被安装在牵引车205上，并且因此，光学数据可以包括表示从光学传感器210的视角可见的拖车215的表面的至少一部分的数据。在一些实施例中，光学数据可以包括点云数据，该点云数据包括表示拖车215的表面在空间中的地点的一组数据点。
在框310处，处理器可以使用从光学传感器210接收到的光学传感器数据来确定交通工具状态。这种情况可以包括确定拖车215与牵引车205之间的角度(例如角度230)。附加地，在框310中所确定的交通工具状态可以包括定义半卡车200的当前(或过去)状态的其他变量，包括半卡车200的速度、加速度/断裂、当前车道位置、GPS位置等。在框320处，处理器可以使用确定的交通工具状态和期望轨迹315以确定适当的交通工具控制命令320，以根据期望轨迹315自主驱动半卡车200。
图4图示了根据本公开的方面的可以被用于确定图2中所图示的角度230的示例方法。方法400开始于框401。在框405处，处理器从图2中所图示的光学传感器210接收点云数据。然而，在其他实施例中，处理器可以从光学传感器210接收光学数据，该光学数据可以包括表示从光学传感器210的视角可见的拖车215的表面的至少一部分的呈与点云不同的形式的数据。在这些实施例中的一些中，处理器可以被配置成从光学传感器数据生成点云，该点云包括表示拖车215的表面在空间中的地点的一组数据点。
在框410处，处理器基于从光学传感器210接收到的点云数据来确定拖车215的边信息。如本文中所使用，边信息可以指表示拖车215的外部表面的形状的数据。这可以涉及使用基于光学传感器210的类型的方法来检测容器220的侧面上的标记物。例如，当光学传感器210被实施为LiDAR检测器211时，处理器可以从点云数据中提取反射率值低于阈值反射率值的点。然后，处理器可以基于提取的点之间的距离来将提取的点分组为簇。例如，彼此的距离在阈值距离内的点可以被分组在一起。处理器还可以从每个点簇中提取(多个)形状特征。(多个)形状特征的提取可以使用用于从点簇中标识形状的任何技术(例如使用标识图像中的(多个)形状特征的标准图像处理技术)来执行。处理器还可以基于(多个)提取的形状特征来为每个点簇标识和/或分配标记物ID。
在光学传感器210被实施为相机213的实施例中，在框410处，处理器可以执行备选技术。例如，处理器可以检测图像中的快速响应(QR)码。在该实施例中，一个或多个QR码可以在相机213的预期视场内被附接(例如经由磁体、粘合剂等)到拖车215。相机213可以将QR码标识为确定拖车215的边信息的一部分。处理器还可以使用从LiDAR检测器211投影到相机校准的LiDAR点来确定QR码3D位置数据。
在框415处，处理器从点云数据中提取属于拖车215的点。在一些实施例中，处理器可以使用基于随机样本共识(RANSAC)的平面拟合算法来检测点云中的所有候选3D平面。也就是说，处理器可以确定一组候选3D平面，该候选3D平面可以被用于表示拖车215的可见侧面的平面，这些候选3D平面与在框405中所获得的点云数据一致。针对每个候选平面，处理器可以计算从平面到在框410中所确定的最接近标记物的距离。针对每个候选平面，当该平面到最近标记物的距离小于预定义的阈值距离时，处理器还可以确定候选平面属于容器220。处理器可以从被确定属于容器220的所有候选平面中提取K个容器平面(其中Pk，∈[1，K])。处理器还可以通过从点云数据中提取属于提取的容器平面的点来构造容器平面点云。针对每个点Xi，处理器可以存储点Xi与对应容器平面的指数(k)之间的对应关系的映射k＝m(Xi)。
在框420处，处理器从点云数据中去除属于拖车215的边缘区域的点。例如，针对容器平面点云中的每个点，处理器可以将当前点用作参考点，并确定参考点的N个最近点。处理器可以将N个最近点定义为参考点的相邻点。处理器还可以使用最小二乘拟合从参考点的相邻点拟合3D平面。处理器还可以计算从相邻点到拟合平面的距离之和，并且当距离之和大于预定义的阈值时，处理器可以确定参考点属于边缘区域。然后，处理器可以从容器平面点云中去除被确定属于边缘区域的点。
在框425处，处理器完善3D拖车平面模型。在某些实施例中，目标函数可以被用于优化3D拖车点。例如，在一些实施方式中，3D拖车点可以包括噪声。然而，由于现实世界中的拖车215的总体形状不会具有噪声(例如拖车215的形状是可预测的)，因此处理器可以构造目标函数，以通过降低3D拖车点中的与预期拖车215形状不一致的噪声来完善3D拖车平面模型。在某些实施例中，目标函数可以包括以下变量中的一个或多个：K个容器平面的模型、容器平面点云中的N个3D点、在框420中所存储的映射、将从3D点Xi到平面的距离相关的函数以及针对违反平面法线垂直的约束的惩罚函数。通过优化目标函数，处理器可以完善3D拖车平面模型。
在框430处，处理器从完善的3D拖车平面确定角度230。在一些实施例中，处理器可以从在框425中所确定的最佳3D容器平面的法线确定角度230。方法400结束于框435。
图5图示了根据本公开的方面的可以被用于确定图2中所图示的角度230的另一示例方法。方法500开始于框501。在框505处，处理器从图2中所图示的光学传感器210接收点云数据。
在框510处，处理器基于从光学传感器210接收到的点云数据来确定拖车215的边信息。框510可以以与图4的框410类似的方式被实施。取决于光学传感器210的特定实施例(例如被实施为LiDAR检测器211还是相机213)，这可能涉及不同的技术。
在框515处，处理器从点云数据中提取属于拖车215的点。在一些实施例中，处理器可以使用基于随机样本共识(RANSAC)的平面拟合算法来检测点云中的所有候选3D平面。也就是说，处理器可以确定一组候选3D平面，该候选3D平面可以被用于表示拖车215的可见侧面的平面，这些候选3D平面与在框505中所获得的点云数据一致。针对每个候选平面，处理器可以计算从平面到在框510中所确定的最接近标记物的距离。针对每个候选平面，当该平面到最近标记物的距离小于预定义的阈值距离时，处理器还可以确定候选平面属于容器220。处理器可以从被确定属于容器220的所有候选平面中提取K个容器平面(其中Pk，k∈[1，K])。处理器还可以通过从点云数据中提取属于提取的容器平面的点来构造容器平面点云。
在框520处，处理器使用期望最大化(EM)框架来完善3D拖车平面模型。EM框架可以包括执行过程的重复。例如，在t重复的E步骤处，处理器可以确定映射函数mt(Xi)以确定针对3D点Xi的对应容器平面的指数。针对每个3D点Xi，映射函数mt(Xi)可以是3D点Xi到平面Pt-1的距离。平面可以是在t-1重复时容器平面的模型。在t重复的M步骤处，目标函数可以被定义，该目标函数可以被优化以完善3D拖车点。在通过目标函数的步骤重复之后，目标函数可以收敛于稳定的结果，从而优化3D拖车点。在某些实施例中，目标函数可以包括以下变量中的一个或多个：在t-1重复时K个容器平面的模型、容器平面点云中的N个3D点、在重复的E步骤期间所确定的映射、将从3D点Xi到平面的距离相关的函数以及针对违反平面法线垂直的约束的惩罚函数。通过优化目标函数，处理器可以完善3D拖车平面模型。E步骤和M步骤可以被重复，直到收敛以获得最终的最佳3D容器平面模型为止。
在框525处，处理器从完善的3D拖车平面确定角度230。在一些实施例中，处理器可以从在框520中所确定的最佳3D容器平面的法线确定角度230。方法500结束于框535。
虽然已经示出和描述并指出了如被应用于某些发明性实施例的本发明的基本新颖特征，但是应当理解，前述内容仅被认为是对本发明的原理的说明，而并非旨在是详尽的或将本发明限制于所公开的精确形式。鉴于上文教导，修改或变型是可能的。所讨论的实施例被选择并描述以提供对本发明的原理及其实际应用的最佳解释，以使得本领域的技术人员能够利用各个实施例中的和具有各种修改(如适合于特定使用预期)的本发明。当根据修改和变型的有权使用的宽度被解释时，所有这种修改和变型都在如由所附权利要求书所确定的本发明的范围内。

Claims (16)

1.一种用于牵引车和拖车的车载控制***，包括：
光学传感器，被配置成被安装在所述牵引车上并生成指示所述拖车与所述牵引车之间所形成的角度的光学数据；
处理器；以及
计算机可读存储器，与所述处理器通信并且具有存储在其上的计算机可执行指令，以使所述处理器执行以下操作：
接收所述光学数据，
确定表示所述拖车的表面的至少一个候选平面，所述候选平面在所述光学数据中可见，以及
至少基于所述至少一个候选平面来确定所述拖车与所述牵引车之间的所述角度，
其中所述光学数据包括点云数据，所述点云数据包括表示所述拖车的表面在空间中的地点的一组数据点，
所述指令还使所述处理器执行以下操作：
从属于所述拖车的所述点云中提取点，
从提取到的所述点中去除属于所述拖车的边缘区域的点，其中确定所述至少一个候选平面基于提取到的所述点被执行，属于所述拖车的所述边缘区域的点从提取到的所述点中被去除，
经由从所述点云数据标识反射率值低于阈值反射率值的点，检测在所述拖车的表面上的一个或多个标记物，其中所述至少一个候选平面表示所述拖车的基于所述点云数据确定的所述表面，并且其中所述拖车与所述牵引车之间的所述角度还基于所述一个或多个标记物来确定。
2.根据权利要求1所述的***，其中所述光学传感器被定位成面向所述拖车。
3.根据权利要求1所述的***，其中所述光学传感器包括LiDAR检测器，所述LiDAR检测器被配置成生成指示所述拖车的可见表面的空间位置的所述光学数据。
4.根据权利要求1所述的***，其中所述光学传感器包括相机，所述相机被配置成生成包括所述拖车上的标记物的表示的图像。
5.根据权利要求4所述的***，其中所述标记物是快速响应QR码。
6.根据权利要求1所述的***，其中所述存储器还具有存储在其上的计算机可执行指令，以使所述处理器执行以下操作：
使用期望最大化框架完善所述至少一个候选平面，所述期望最大化框架包括以下多个重复：i)包括确定映射函数的期望步骤以及ii)包括优化目标函数的最大化步骤。
7.一种非暂态计算机可读存储介质，具有存储在其上的指令，所述指令在被执行时使至少一个计算设备执行以下操作：
接收来自光学传感器的光学数据，所述光学传感器被配置成被安装在牵引车上并生成指示拖车与所述牵引车之间所形成的角度的所述光学数据；
确定表示所述拖车的表面的至少一个候选平面，所述候选平面在所述光学数据中可见；以及
至少基于所述至少一个候选平面来确定所述拖车与所述牵引车之间的所述角度；
其中所述光学数据包括点云数据，所述点云数据包括表示所述拖车的表面在空间中的地点的一组数据点，
所述指令在被执行时还使至少一个计算设备执行以下操作：
从属于所述拖车的所述点云中提取点，
从提取到的所述点中去除属于所述拖车的边缘区域的点，其中确定所述至少一个候选平面基于提取到的所述点被执行，属于所述拖车的所述边缘区域的点从提取到的所述点中被去除，以及
经由从所述点云数据标识反射率值低于阈值反射率值的点，检测在所述拖车的表面上的一个或多个标记物，其中所述至少一个候选平面表示所述拖车的基于所述点云数据确定的所述表面，并且其中所述拖车与所述牵引车之间的所述角度还基于所述一个或多个标记物来确定。
8.根据权利要求7所述的非暂态计算机可读存储介质，其中所述光学传感器被定位成面向所述拖车。
9.根据权利要求7所述的非暂态计算机可读存储介质，其中所述光学传感器包括LiDAR检测器，所述LiDAR检测器被配置成生成指示所述拖车的可见表面的空间位置的所述光学数据。
10.根据权利要求7所述的非暂态计算机可读存储介质，其中所述光学传感器包括相机，所述相机被配置成生成包括所述拖车上的标记物的表示的图像。
11.根据权利要求9所述的非暂态计算机可读存储介质，其中所述标记物是快速响应QR码。
12.根据权利要求7所述的非暂态计算机可读存储介质，还具有存储在其上的指令，所述指令在被执行时使至少一个计算设备执行以下操作：
使用期望最大化框架完善所述至少一个候选平面，所述期望最大化框架包括以下多个重复：i)包括确定映射函数的期望步骤以及ii)包括优化目标函数的最大化步骤。
13.一种用于确定牵引车和拖车之间的角度的方法，包括：
接收来自光学传感器的光学数据，所述光学传感器被配置成被安装在牵引车上并生成指示拖车与所述牵引车之间所形成的角度的所述光学数据；
确定表示所述拖车的表面的至少一个候选平面，所述候选平面在所述光学数据中可见；以及
至少基于所述至少一个候选平面来确定所述拖车与所述牵引车之间的所述角度，
其中所述光学数据包括点云数据，所述点云数据包括表示所述拖车的表面在空间中的地点的一组数据点，
所述方法还包括：
从属于所述拖车的所述点云中提取点，
从提取到的所述点中去除属于所述拖车的边缘区域的点，其中确定所述至少一个候选平面基于提取到的所述点被执行，属于所述拖车的所述边缘区域的点从提取到的所述点中被去除，以及
经由从所述点云数据标识反射率值低于阈值反射率值的点，检测在所述拖车的表面上的一个或多个标记物，其中所述至少一个候选平面表示所述拖车的基于所述点云数据确定的所述表面，并且其中所述拖车与所述牵引车之间的所述角度还基于所述一个或多个标记物来确定。
14.根据权利要求13所述的方法，其中所述光学传感器被定位成面向所述拖车。
15.根据权利要求13所述的方法，其中所述光学传感器包括LiDAR检测器，所述LiDAR检测器被配置成生成指示所述拖车的可见表面的空间位置的所述光学数据。
16.根据权利要求13所述的方法，其中所述光学传感器包括相机，所述相机被配置成生成包括所述拖车上的标记物的表示的图像。
CN201980072462.5A 2018-11-05 2019-10-22 用于牵引车和拖车的车载控制***和确定牵引车和拖车间的角度的方法 Active CN113039580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311563569.4A CN117593370A (zh) 2018-11-05 2019-10-22 用于检测拖车角度的***和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/181,020 US11200430B2 (en) 2018-11-05 2018-11-05 Systems and methods for detecting trailer angle
US16/181,020 2018-11-05
PCT/US2019/057398 WO2020096769A1 (en) 2018-11-05 2019-10-22 Systems and methods for detecting trailer angle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311563569.4A Division CN117593370A (zh) 2018-11-05 2019-10-22 用于检测拖车角度的***和方法

Publications (2)

Publication Number Publication Date
CN113039580A CN113039580A (zh) 2021-06-25
CN113039580B true CN113039580B (zh) 2023-12-15

Family

ID=68582331

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311563569.4A Pending CN117593370A (zh) 2018-11-05 2019-10-22 用于检测拖车角度的***和方法
CN201980072462.5A Active CN113039580B (zh) 2018-11-05 2019-10-22 用于牵引车和拖车的车载控制***和确定牵引车和拖车间的角度的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311563569.4A Pending CN117593370A (zh) 2018-11-05 2019-10-22 用于检测拖车角度的***和方法

Country Status (3)

Country Link
US (3) US11200430B2 (zh)
CN (2) CN117593370A (zh)
WO (1) WO2020096769A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200430B2 (en) * 2018-11-05 2021-12-14 Tusimple, Inc. Systems and methods for detecting trailer angle
US11125881B2 (en) * 2018-12-10 2021-09-21 Waymo Llc Lidar-based trailer tracking
WO2020150565A1 (en) * 2019-01-18 2020-07-23 Thor Tech, Inc. Systems and methods to localize a recreational trailer
US11679635B2 (en) * 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
FR3106432B1 (fr) * 2020-01-21 2021-12-10 Continental Automotive Système de détermination de la position angulaire d’une remorque
EP3869154A1 (de) * 2020-02-18 2021-08-25 Continental Engineering Services GmbH Sensorsystem zur erfassung des umfelds von wenigstens einer ersten und einer zweiten miteinander schwenkbar gekoppelten fahrzeugeinheit
US11977165B2 (en) * 2020-08-10 2024-05-07 Waymo Llc Self-reflection filtering
US20220388530A1 (en) * 2021-06-07 2022-12-08 Toyota Motor North America, Inc. Transport limitations from malfunctioning sensors
CN113296107B (zh) * 2021-06-23 2024-07-23 上海西井科技股份有限公司 传感器协同检测拖挂角度的方法、***、设备及存储介质
DE102021126816A1 (de) * 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln eines Knickwinkels, Verarbeitungseinheit und Fahrzeug
FI130077B (en) * 2021-12-07 2023-01-31 Cargotec Finland Oy EVALUATION OF THE ATTACHMENT ANGLE FOR THE DRIVE UNIT-TRAILER COMBINATION
WO2024107690A1 (en) * 2022-11-18 2024-05-23 Stoneridge, Inc. Trailer backup trajectory overlay using trailer camera display system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006042665A1 (de) * 2004-10-15 2006-04-27 Daimlerchrysler Ag Verfahren zur bestimmung von deichsel- und trailerwinkel
CN102227612A (zh) * 2008-10-24 2011-10-26 格瑞股份公司 自主驾驶车辆的控制和***
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和***
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN107757616A (zh) * 2013-06-24 2018-03-06 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
CN107914787A (zh) * 2016-10-06 2018-04-17 通用汽车环球科技运作有限责任公司 用于控制牵引拖车的***和方法
CN107962549A (zh) * 2016-10-20 2018-04-27 因特利格雷特总部有限责任公司 用于机器人纸箱卸载的3d-2d视觉***
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7793965B2 (en) * 2006-02-10 2010-09-14 Padula Santo A Trailer steering system for a tractor/trailer combination
US8699755B2 (en) * 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
JP5480914B2 (ja) * 2009-12-11 2014-04-23 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5462093B2 (ja) * 2010-07-05 2014-04-02 株式会社トプコン 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US8886407B2 (en) * 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US9176500B1 (en) * 2012-05-14 2015-11-03 Google Inc. Consideration of risks in active sensing for an autonomous vehicle
US20160368336A1 (en) 2015-06-19 2016-12-22 Paccar Inc Use of laser scanner for autonomous truck operation
US9867568B1 (en) * 2016-06-24 2018-01-16 Caterpillar Inc. System and method of measuring in vivo wear in artificial knee joint
US20180040129A1 (en) * 2016-08-02 2018-02-08 Denso International America, Inc. Trailer articulation calculating system and method for calculating articulation angle of trailer
US20190129429A1 (en) * 2017-10-26 2019-05-02 Uber Technologies, Inc. Systems and Methods for Determining Tractor-Trailer Angles and Distances
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US11200430B2 (en) * 2018-11-05 2021-12-14 Tusimple, Inc. Systems and methods for detecting trailer angle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006042665A1 (de) * 2004-10-15 2006-04-27 Daimlerchrysler Ag Verfahren zur bestimmung von deichsel- und trailerwinkel
CN102227612A (zh) * 2008-10-24 2011-10-26 格瑞股份公司 自主驾驶车辆的控制和***
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和***
CN107757616A (zh) * 2013-06-24 2018-03-06 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN107914787A (zh) * 2016-10-06 2018-04-17 通用汽车环球科技运作有限责任公司 用于控制牵引拖车的***和方法
CN107962549A (zh) * 2016-10-20 2018-04-27 因特利格雷特总部有限责任公司 用于机器人纸箱卸载的3d-2d视觉***
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Driver assistance system for backward maneuvers in passive multi-trailer vehicles;J. Morales 等;《2012 IEEE/RSJ International Conference on Intelligent Robots and Systems》;4853-4858 *
铰接式车辆的模糊 PID 控制研究;张晓莉;《佳木斯大学学报（自然科学版）》(第01期);55-59 *

Also Published As

Publication number Publication date
CN117593370A (zh) 2024-02-23
US20230410537A1 (en) 2023-12-21
WO2020096769A1 (en) 2020-05-14
US20220092318A1 (en) 2022-03-24
US11783598B2 (en) 2023-10-10
CN113039580A (zh) 2021-06-25
US11200430B2 (en) 2021-12-14
US20200143174A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
CN113039580B (zh) 用于牵引车和拖车的车载控制***和确定牵引车和拖车间的角度的方法
US11809185B2 (en) Systems and methods for dynamic predictive control of autonomous vehicles
US11727811B2 (en) System and method for determining car to lane distance
CN109496188B (zh) 用于切换车辆驾驶模式的***和方法
CN107816976B (zh) 一种接近物体的位置确定方法和装置
US11729520B2 (en) Sensor layout for autonomous vehicles
CN110356401B (zh) 一种自动驾驶车辆及其变道控制方法和***
US11933617B2 (en) Systems and methods for autonomous route navigation
US12038761B2 (en) Systems and methods for updating navigational maps
CN113865599A (zh) 用于导航地图版本管理的***和方法
US20230236603A1 (en) Systems and methods for projecting a three-dimensional (3d) surface to a two-dimensional (2d) surface for use in autonomous driving
US20240255293A1 (en) Systems and methods for autonomous route navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant