CN113829978B - 自主驾驶卡车中的货物检查、监视和固定 - Google Patents

自主驾驶卡车中的货物检查、监视和固定 Download PDF

Info

Publication number
CN113829978B
CN113829978B CN202110635683.8A CN202110635683A CN113829978B CN 113829978 B CN113829978 B CN 113829978B CN 202110635683 A CN202110635683 A CN 202110635683A CN 113829978 B CN113829978 B CN 113829978B
Authority
CN
China
Prior art keywords
cargo
vehicle
securing
sensor information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110635683.8A
Other languages
English (en)
Other versions
CN113829978A (zh
Inventor
W.格罗斯曼
V.帕特奈克
P.斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202410219424.0A priority Critical patent/CN118219965A/zh
Publication of CN113829978A publication Critical patent/CN113829978A/zh
Application granted granted Critical
Publication of CN113829978B publication Critical patent/CN113829978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P7/00—Securing or covering of load on vehicles
    • B60P7/06—Securing of load
    • B60P7/08—Securing to the vehicle floor or sides
    • B60P7/0823—Straps; Tighteners
    • B60P7/0861—Measuring or identifying the tension in the securing element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00256—Delivery operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

该技术涉及货运车辆。国家、地区和/或地方法规规定了操作货运车辆的要求，包括如何分配和固定货物，以及在行程期间检查货物的频率。然而，这种法规主要聚焦在传统的人力驾驶车辆。该技术的各方面解决了与行程之前货物的固定和检查，以及行程期间的监视相关的各种问题，以便根据需要采取纠正措施。例如，图像和其他传感器信息可以被用于使得能够在开始行程之前适当地固定货物。沿着车辆的车载传感器在行程期间监视货物和固定设备/***，以在问题出现时识别它们。这种信息被车载自动驾驶***(或人类驾驶员)用来取决于问题的性质来采取纠正措施。

Description

自主驾驶卡车中的货物检查、监视和固定
技术领域
本公开涉及自动驾驶领域，并且更具体地，涉及对自动车辆执行货物评估的方法、对车辆执行货物监视的方法以及被配置为在自动驾驶模式下操作的车辆。
背景技术
自动车辆(诸如不需要人类驾驶员的车辆)可以被用于帮助将货物或乘客从一个位置运输到另一位置。这种车辆可以在完全自动模式下操作，或者在人可以提供一些驾驶输入的部分自动模式下操作。有各种规则和法规涉及货物运输，以促进安全。不同的要求可能适用于不同类型的车辆和不同类型的货物。无论车辆或货物类型如何，由于驾驶员在车辆中的作用降低或完全不存在，在自动模式下操作的货运车辆满足某些法规要求可能非常具有挑战性。
发明内容
该技术涉及货运车辆(诸如牵引-拖车(tractor-trailer)和其他货柜车(container truck))，以及平板卡车等，其可以在自主驾驶(self-driving)模式下操作，尽管各方面也适用于完全由人类驾驶员控制的传统货运车辆。国家、地区和/或地方法规规定了操作货运车辆的要求，包括如何分配和固定(secure)货物，以及在行程期间检查货物的频率。然而，这种法规主要聚焦在传统的人力驾驶(human-driven)车辆。
该技术的各方面解决了与行程之前货物的固定(securement)和检查以及行程期间的监视相关的各种问题，以便根据需要采取纠正措施。
根据一个方面，提供了一种对自动车辆执行货物评估的方法。该方法包括：接收关于货物在自动车辆上的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括货物或固定机构中的至少一个的图像；由一个或多个处理器评估接收到的传感器信息，以确定货物布置或货物固定是否落入目标阈值内；以及响应于货物布置或货物固定落入目标阈值内，由一个或多个处理器基于接收到的传感器信息来生成基线货物简档(baseline cargo profile)。基线货物简档被配置为存储在自动车辆的存储器中，以用于对照实时数据进行行程中评估。
在一个示例中，该方法还包括：当货物布置或货物固定不落入目标阈值内时，使得对固定机构进行调整。图像可以包括静态或视频图像。图像可以是当货物被装载到的封闭集装箱中时使用红外(infrared，IR)照明来捕获的。
评估接收到的传感器信息可以包括将图像与其他图像的数据库进行比较。可替代地或附加地，评估接收到的传感器信息可以包括生成货物被适当固定的置信度值。这里，当尽管满足目标阈值但置信度值低于阈值时，该方法还可以包括发送图像，以用于二级审查(second-tier review)。该方法还可以包括在开始运送货物之前，使得对车辆的驾驶模式或路线中的至少一个进行调整。
根据另一方面，提供了一种对车辆执行货物监视的方法。该方法包括：由车辆的一个或多个处理器获得存储在车辆的货物区(section)中的货物的基线货物固定简档；由一个或多个处理器在车辆驾驶期间接收关于沿着车辆的货物区的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括货物或固定机构中的至少一个的图像；由一个或多个处理器将接收到的传感器信息与基线货物固定简档进行比较；由一个或多个处理器基于该比较，根据阈值固定要求确定货物的至少一部分是否已经改变位置并且不再被固定；以及在确定超过阈值固定要求时，一个或多个处理器使车辆采取纠正措施。
基线货物固定简档可以是在行程中车辆出发之前被获得。这里，基线货物固定简档可以从装载货物的装载仓库获得。
纠正措施可以包括以下中的一项或多项：(i)修改车辆的驾驶行为，(ii)改道至货物可以被重新固定的最近位置，(iii)将车辆靠边停车，或(iv)联系远程协助服务。在一个示例中，车辆在自动驾驶模式下操作，并且纠正措施是在自动驾驶模式下采取的驾驶措施。在另一示例中，确定超过阈值固定要求包括确定货物的该部分已经向前、向后、横向移位或者已经倾斜。在又一示例中，传感器信息还包括重量分布或压力分布信息。
传感器信息可以包括固定货物的一个或多个固定设备的应变或张力信息。在这种情况下，应变或张力信息可以包括一个或多个固定设备的颜色或形状的变化。传感器信息可以与一个或多个车辆信号相关(correlate)。例如，一个或多个车辆信号可以包括车辆动力学变化、悬架机构变化、轮胎压力变化或车辆一部分的姿态变化中的至少一个。
根据该技术的又一方面，车辆被配置为在自动驾驶模式下操作。该车辆包括驱动***，该驱动***包括转向子***、加速子***和减速子***，以控制车辆在自动驾驶模式下的驾驶。它还包括具有多个传感器的感知***，其中多个传感器中的每一个都沿着车辆安置(position)。车辆还包括可操作地连接到驱动***和感知***的控制***。该控制***具有一个或多个计算机处理器，其被配置为：获得存储在车辆的货物区中的货物的基线货物固定简档；在车辆驾驶期间，接收关于沿着车辆的货物区的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括货物或固定机构中的至少一个的图像；将接收到的传感器信息与基线货物固定简档进行比较；基于该比较，根据阈值固定要求确定货物的至少一部分是否已经改变位置并且不再被固定；以及在确定超过阈值固定要求时，使车辆采取校正措施。
附图说明
图1A至图1B示出了被配置用于该技术的各方面的示例货物型车辆。
图2A至图2B是根据该技术的各方面的示例货物型车辆的***的框图。
图3示出了根据本公开的各方面的货物型车辆的示例传感器视场。
图4A至图4D示出了根据该技术的各方面的行程前货物评估的示例场景。
图5A至图5D示出了根据该技术的各方面的货物固定的示例。
图6A至图6B示出了根据该技术的各方面的定位(positional)变化的示例。
图7示出了根据该技术的各方面的示例货物移位场景。
图8示出了根据该技术的各方面的另一示例货物移位场景。
图9A至图9B示出了根据该技术的各方面的示例***。
图10示出了根据该技术的各方面的示例方法。
图11示出了根据该技术的各方面的另一示例方法。
具体实施方式
满足在部分或全部行程期间操作而没有人类对驾驶操作的直接控制的自动驾驶车辆的现有要求可能是具有挑战性的。该技术的特点涉及自主驾驶卡车和/或车队管理***，该自主驾驶卡车和/或车队管理***：(i)在开始行程之前提供货物的适当固定；(ii)在行程期间监视货物和固定设备/***，并在出现问题时进行识别；以及(iii)能够取决于问题的性质采取纠正措施。
示例车辆***
图1A至图1B示出了根据该技术的各方面的可以使用的示例货运车辆100，诸如牵引-拖车卡车。图1A是侧视图，并且图1B是俯视图。卡车可以包括，例如，单拖车、双拖车或三拖车，或者可以是另一种中型或重型卡车，诸如商业重量等级4至8的中型或重型卡车。如图所示，卡车包括牵引车单元102和单个货物单元或拖车104。拖车104可以是完全封闭的、敞开的(诸如平板)，或者部分敞开的，这取决于要运输的物品或其他货物的类型。在该示例中，牵引车单元102包括引擎和转向***(未示出)以及用于驾驶员和任何乘客的驾驶室106。在完全自动的布置中，驾驶室106可以不配备座椅或手动驱动部件，因为可能不需要人。在其他配置中，货运车辆可以是厢式货车、带有冷藏拖车的冷藏车等。
拖车104包括被称为主销(kingpin)的挂接点108。主销108通常形成为实心钢轴，其被配置为可枢转地附接到牵引车单元102。特别地，主销108附接到拖车耦接器(coupling)110，称为第五轮，其安装在驾驶室106的后方。对于双牵引-拖车或三牵引-拖车，第二和/或第三拖车可以与前导拖车有简单的挂钩连接。或者，可替代地，每个拖车可以有自己的主销。在这种情况下，至少第一拖车和第二拖车可以包括布置成耦接到下一个拖车的第五轮型结构。
如图所示，牵引车和/或拖车可以具有沿其设置的一个或多个传感器单元112、114和116。例如，一个或多个传感器单元112可以被设置在驾驶室106的车顶或顶部，并且一个或多个侧面传感器单元114可以被设置在例如驾驶室106的左侧和/或右侧。在某些情况下，这种传感器单元可以位于后视镜的顶部、底部、附近或代替后视镜。传感器单元也可以沿着驾驶室106的其他区域定位，诸如沿着前保险杠或引擎盖区域、在驾驶室的后部邻近第五轮、在底盘下方等定位。拖车104还可以具有沿其设置的一个或多个传感器单元116，例如，沿着拖车104的侧板、前方、后方、车顶和/或底盘。
举例来说，每个传感器单元可以包括一个或多个传感器，诸如激光雷达、雷达、相机(例如，光学或红外)、声学(例如，麦克风或声纳型传感器)、压力(例如，压电或机械)、惯性(例如，加速度计、陀螺仪等)或者其他传感器(例如，定位传感器，诸如GPS传感器)。轮胎附近的声学传感器(例如，在车辆底盘上靠近轮轴或轮槽处)可以在车辆沿着道路自动驾驶时检测轮胎的声音，而沿着拖车的这种传感器可以检测货物的移动或位移。声音的变化可以指示货物状态的变化。压力传感器可以被用于检测瞬时轮胎压力或货物的重量分布。虽然本公开的某些方面可能对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于卡车和其他货运车辆、公共汽车、货车、建筑车辆、应急车辆、客运车辆等。
以部分或完全自动驾驶模式操作的车辆可能具有不同的自动程度。美国国家公路交通安全管理局和汽车工程师协会已经认定了不同的级别来指示车辆控制驾驶的程度。例如，0级没有自动化，并且驾驶员做出所有与驾驶相关的决定。最低的半自动模式(1级)包括一些驾驶辅助，诸如巡航控制。2级具有某些驾驶操作的部分自动化，而3级涉及能够让驾驶座上的人根据需要进行控制的有条件的自动化。相比之下，4级是高度自动化级别，其中车辆能够在选定条件下无需辅助而驾驶。并且5级是完全自动的模式，在这种模式下，车辆在任何情况下都能够无需辅助而驾驶。这里描述的架构、组件、***和方法可以以任何半自动或全自动模式下运行，例如，1-5级，这里称为自动驾驶模式。因此，对自动驾驶模式的引用可以包括部分自动和完全自动。
图2A示出了在自动驾驶模式下操作的示例性车辆(诸如货运车辆100)的各种部件和***的框图200。如图所示，框图200包括具有一个或多个计算设备202的控制***。控制***可以构成货运车辆100的牵引车单元的电子控制单元(electronic control unit，ECU)或其他车载(onboard)处理***。计算设备202包含一个或多个处理器204、存储器206和通常存在于通用计算设备中的其他组件。存储器206存储由一个或多个处理器204可访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。例如，数据210可以包括车辆的模型，诸如牵引车和拖车两者的运动学模型。可替代地或附加地，数据210可以包括参考数据和行程数据。参考数据可以包括参考图像或关于用于行程中途货物监视的适当(或不适当)货物配置和条件的其他信息。举例来说，参考图像可以在仓库(depot)、货仓(warehouse)或将货物装载到车辆或封闭集装箱中的其他设施处拍摄。这可以包括在弱光条件下使用红外(IR)照明捕获图像。行程数据可以包括关于货物、固定设备和在行程期间获得的其他车辆信息的实时数据。计算***能够根据车辆模型、参考数据和/或行程数据在自动驾驶模式下操作时控制车辆的总体操作。
存储器206存储由处理器204可访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。存储器206可以是能够存储由处理器可访问的信息的任何类型，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘、存储卡、光盘、固态等。***可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令208可以是由处理器直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”、“模块”和“程序”在这里可以互换使用。指令可以以目标代码格式来存储，以便由处理器直接处理，或者以任何其他计算设备语言来存储，包括按需解释或预先编译的脚本或独立源代码模块的集合。数据210可以由一个或多个处理器204根据指令208来检索、存储或修改。在一个示例中，存储器206的一些或全部可以是事件数据记录器或其他安全数据存储***，其被配置为存储车辆诊断、检测到的传感器数据、参考数据等，取决于实施方式，其可以是车载的或远程的。
处理器204可以是商业上可获得的CPU。可替代地，每个处理器可以是专用设备，诸如ASIC(Application Specific Integrated Circuit，专用集成电路)或其他基于硬件的处理器。虽然图2A在功能上将计算设备202的处理器、存储器和其他元件示为在同一块内，但这种设备实际上可以包括多个处理器、计算设备或存储器，它们可以存储在或不存储在同一物理外壳内。类似地，存储器206可以是位于与处理器204的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的计算设备或处理器或存储器的集合的引用。
在一个示例中，计算设备202可以形成结合到车辆100中的自动驾驶计算***。自动驾驶计算***能够与车辆的各种组件进行通信。例如，计算设备202可以与车辆的各种***通信，诸如驱动***，包括减速***212(用于控制车辆的制动)、加速***214(用于控制车辆的加速)、转向***216(用于控制车轮的方位和车辆的方向)、信令***218(用于控制转向信号)、导航***220(用于将车辆导航到某位置或物体周围)和定位***222(用于确定车辆的定位，例如，包括车辆的姿态)。自动驾驶计算***可以根据导航***220、定位***222和/或***的其他组件来采用规划器模块223，例如，用于确定从起点到目的地的路线、用于选择路线的中间路段、或者用于根据沿路线的当前或预期环境条件对各种驾驶方面进行修改。
计算设备202还可操作地耦接到感知***224(用于检测车辆环境中的物体)、动力***226(例如，电池和/或燃气或柴油发动机)和传动***230，以便根据存储器206的指令208在不要求或不需要来自车辆乘客的连续或周期性输入的自动驾驶模式下控制车辆的运动、速度等。一些或所有车轮/轮胎228被耦接到传动***230，并且计算设备202能够接收关于轮胎压力、平衡和可能影响自动模式下驾驶的其他因素的信息。
计算设备202可以经由规划器模块223通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备202可以使用来自地图信息和导航***220的数据完全自动地将车辆导航到目的地位置。计算设备202可以使用定位***222来确定车辆的位置，并且当需要时，使用感知***224来检测和响应物体以安全到达该位置。为此，计算设备202可以使车辆加速(例如，由加速***214通过增加提供给引擎的燃料或其他能量)、减速(例如，由减速***212通过减少供应给引擎的燃料、改变档位和/或通过施加制动)、改变方向(例如，由转向***216通过转动车辆100的前轮或其他车轮)，并发出信号通知这种变化(例如，通过点亮信令***218的转向信号)。因此，加速***214和减速***212可以是动力传动***(drivetrain)或其他类型的传动***230的一部分，传动***230包括车辆的引擎和车辆的车轮之间的各种组件。再者，通过控制这些***，计算设备202还可以控制车辆的传动***230，以便自动地操纵车辆。
导航***220可以由计算设备202使用，以便确定和遵循到一位置的路线。在这方面，导航***220和/或存储器206可以存储地图信息，例如，计算设备202可以使用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以识别道路的形状和高程(elevation)、车道标志、十字路口、人行横道、速度限制、交通信号灯、建筑物、指示牌、实时交通信息、植被或其他这样的物体和信息。车道标志可以包括诸如实线或虚线双车道线或单车道线、实线或虚线车道线、反射体等特征。给定车道可以与定义车道边界的左和/或右车道线或其他车道标志相关联。因此，大多数车道可以由一条车道线的左边缘和另一条车道线的右边缘界定。
感知***224包括一个或多个传感器组装件(assemblies)232，以用于检测车辆外部的物体。检测到的物体可以是其他车辆、道路上的障碍物、交通信号、指示牌、树木等。仅作为示例，感知***224的传感器组装件232可以各自包括一个或多个激光雷达传感器、雷达单元、相机(例如，带有或不带有中性密度(neutral-density，ND)滤光器的光学成像设备)、定位传感器(例如，陀螺仪、加速度计和/或其他惯性组件)、红外传感器、声学传感器(例如，麦克风或声纳换能器)和/或记录可以由计算设备202处理的数据的任何其他检测设备。感知***224的这种传感器可以检测车辆外的物体及其特征，诸如位置、方位、尺寸、形状、类型(例如，车辆、行人、骑自行车的人等)、前进方向(heading)、相对于车辆的运动速度等。另外，传感器可以检测路况，如积水、冰或坑洼。
感知***224还可以包括车辆内的其他传感器，以检测车辆内(诸如拖车或乘客车厢中)的物体和条件。例如，这种传感器可以检测例如货物、乘客、宠物等，以及车辆或其部件内和/或车辆外的条件，诸如温度、湿度等。此外，感知***224的传感器可以测量车轮228的旋转速率、减速***312的制动量或类型、压力、重量分布、对准以及与车辆本身的货物或装备相关联的其他因素。取决于车辆配置，拖车的主销的纵向定位可以调整。可以布置一个或多个传感器来检测主销的特定纵向定位。
来自传感器的原始数据和前述特性可以由感知***224处理和/或在数据由感知***224生成时被周期性地或连续地发送到计算设备202以供进一步处理。计算设备202可以使用定位***222来确定车辆的位置，并且使用感知***224在需要时检测并响应物体以安全到达该位置，例如，经由通过规划器模块223进行的调整。另外，计算设备202可以执行各个传感器、特定传感器组装件中的所有传感器、或者不同传感器组装件或其他物理外壳中的传感器之间的校准。
如上所述，感知***224的一个或多个传感器可以结合到传感器组装件或外壳中。在一个示例中，这些传感器可以集成到车辆上的侧视镜中，例如，作为集成到卡车、农业装备、建筑装备等的侧视镜中的传感器塔。在另一示例中，其他传感器可以是车顶外壳112的一部分，或者其他传感器外壳或单元114和/或116的一部分。计算设备202可以与位于车辆上或以其他方式沿车辆分布的传感器组装件通信。传感器组装件232也可以安置在牵引车单元102上或拖车104上的不同位置，如上文关于图1A至图1B所述。计算设备202可以与位于牵引车单元102和拖车104两者上的传感器组装件通信。每个组装件可以具有一种或多种类型的传感器，例诸如上述传感器。
也如图2A所示是用于牵引车单元和拖车之间连接的耦接***234。耦接***234可以包括一个或多个动力和/或气动连接件236和牵引车单元处用于连接到拖车的主销的第五轮238。
通信***240也被示为车辆***200的一部分。例如，通信***240还可以包括一个或多个无线配置，以便于与其他计算设备通信，诸如车辆内的乘客计算设备、车辆外部(诸如道路上的另一附近车辆中)的计算设备、和/或远程服务器***。这种连接可以包括短距离通信协议，诸如BluetoothTM、BluetoothTM低能量(low energy，LE)、蜂窝连接、以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP(Hyper Text Transfer Protocol，超文本传输协议)、以及前述的各种组合。
图2B示出了基于拖车的子***(诸如可以包括在图1A至图1B的拖车104中的基于拖车的子***)的示例框图250。如图所示，该***包括一个或多个计算设备的ECU 252，诸如包含一个或多个处理器254、存储器256和通常存在于通用计算设备中的其他组件的计算设备。存储器256存储由一个或多个处理器254可访问的信息，包括可以由处理器254执行或以其他方式使用的指令258和数据260。图2A中对处理器、存储器、指令和数据的描述适用于图2B中这些元素。仅作为示例，数据260可以包括拖车配置信息(例如，尺寸、形状、重量等)，轮胎压力数据，关于用于固定货物的固定设备的信息，货物、固定设备和/或拖车的区域的图像数据等。这可以包括在仓库、货仓或将货物装载到车辆或封闭集装箱中的其他设施处获得的参考数据，以及在行程中获得的实时数据。
ECU 252被配置为从拖车单元接收信息和控制信号。ECU 252的车载处理器254可以与拖车的各种***通信，包括减速***262、信令***264和定位***266。ECU 252还可以可操作地耦接到感知和传感器***268和电力***270(例如，电池电源)，以向本地组件提供电力。
如图所示，感知和传感器***268可以包括一个或多个传感器组装件2681，例如，以检测拖车周围的环境中以及沿着拖车本身的物体和条件。这些传感器组装件可以包括图像传感器、激光雷达、雷达、声学传感器等。感知和传感器***268还可以包括一个或多个传感器元件2682，其被用于检测关于货物的实时状态信息。例如，应变仪(strain gauge)可以耦接到或集成到固定设备中，诸如以检测带条(strap)或其他固定设备是否适当地约束货物。并且测压元件(load cell)或压力传感器(例如，可操作地耦接到拖车的悬架***)可以指示货物是否已经在拖车内移动位置。
拖车的一些或所有车轮/轮胎272可以耦接到减速***262，并且处理器254能够接收关于轮胎压力、平衡、温度、车轮速度和可能影响自动模式下驾驶的其他因素的信息，并且将该信息中继到牵引车单元的处理***。减速***262、信令***264、定位***266、感知***268、动力***270和车轮/轮胎272可以以如上参考图2A所述的方式操作。
拖车还包括一组起落装置274以及耦接***276。起落装置在与牵引车单元分离时为拖车提供支撑结构。耦接***276(其可以是耦接***234的一部分)提供拖车和牵引车单元之间的连接。因此，耦接***276可以包括连接区278(例如，用于动力和/或气动链接)。如图所示，耦接***276还包括主销280，该主销280被配置用于与拖车单元的第五轮连接。
如上所述，各种传感器可以位于车辆周围的不同位置(参见图1A至图1B)以从外部环境和/或车辆本身的不同部分收集数据。某些传感器可以具有不同的视场(fields ofview，FOV)，这取决于它们在车辆周围的位置以及它们设计用来收集的信息的类型。例如，不同的激光雷达传感器可以被用于车辆或拖车本身附近物体的近(短距离)检测(例如，小于2-10米)，而其他的可以被用于车辆前方100米(或更多或更少)的远(长距离)物体检测。也可以采用中距离激光雷达。多个雷达单元可以安置在车辆的前部或后部，以用于长距离物体检测。并且相机可以被布置成提供车辆周围以及拖车或正被拖运的货物的良好可视性。取决于配置，某些类型的传感器可以包括具有重叠视场的多个单独的传感器。可替代地或附加地，其他传感器可以提供冗余的360°视场。除了检测车辆外部环境中的物体之外，这些传感器可以被用于确定车辆的实际姿态，包括例如，拖车相对于货运车辆的牵引车单元的方位。
图3提供了与传感器相关的传感器视场的一个示例300，诸如图1B中所示的那些。如图3的示例300所示，车顶传感器外壳302中的激光雷达可以具有FOV 304。这里，如区域306所示，车辆的拖车或其他铰接部分可以提供信号返回(并且在某些情况下可以部分或完全阻挡外部环境的后视图)。牵引车单元的左侧308a和右侧308b上的长距离激光雷达具有FOV 310a和310b。这些可以涵盖沿着车辆的侧面和前方的重要区域。如图所示，在车辆前方可能存在他们视场的重叠区域312。重叠区域312为感知***提供关于拖车单元正前方的非常重要的区域的附加信息。这种冗余还考虑到安全方面。如果其中一个长距离激光雷达传感器经历性能下降，则冗余仍然允许在自动模式下操作。车辆的左侧和右侧的短距离激光雷达具有较小的FOV 314a和314b。这两种类型的激光雷达可以共同位于单一外壳中。为了图中清楚起见，在不同视场之间示出了空隙(space)；然而，实际上，覆盖范围可能没有中断。传感器组装件的具体布置和视场仅仅是示例性的，并且可以取决于例如车辆的类型、车辆的尺寸、FOV要求等而有所不同。
示例实施方式
鉴于以上描述和附图中示出的结构和配置，现在将根据该技术的各方面来描述各个方面。
由于各种原因，对于在自动驾驶模式下操作的车辆来说，遵守与货物相关的规则和法规可能很复杂。因此，解决这些问题涉及创造性和灵活的解决方案。在许多情况下，在离开仓库或其他设施之前，可以执行对货物和车辆的视觉评测(visual assessment)。例如，当自动接收封闭集装箱(拖车)，诸如冷藏车(冷藏拖车)或干货车，这种情况可能不会发生。无论如何，在行程中，车辆本身需要评估货物放置、移动和其他问题。
图4A示出了自动牵引车-拖车货运卡车退出(exiting)仓库的示例400。在出发(departure)之前(例如，当货物被装载和固定时)或者作为出发过程的一部分(例如，当卡车通过大门或检查装置时)，可以对货物进行评估。在一种场景中，行程前的货物固定可以由操作人员完成。可以使用自动检查和/或专家审查(二级审查)来确保适当的固定，因为在开始行程之前进行任何调整会更加有效和高效。
图4B的示例450示出了一种出发布置。在示例450中，车辆可以在仓库沿着路线452行驶，例如，在检查人员或控制中心454的计算机***的指引下。如图所示，车辆可以首先或随后前进通过区域456，在那里执行视觉和其他检查。相机、激光雷达、热成像仪和/或其他传感器458可以定位于称重站设施周围的不同位置。一些或所有的检查信息可以经由无线发送器或收发器460中继到控制中心454和/或车辆。在该示例中，控制中心454具有收发器462，以向车辆和/或各种检查元件提供指令或其他信息，这些检测元件包括例如，无人机或其他机器人类型的检查单元464。该指令可以使卡车从区域456的传感器套件(suite)下方或重量分配平台466上方通过。
图4C示出了在其中区域456的传感器套件可以包括一组或多组相机472来拍摄货物的图像的视图470。并且，如图4D的示例480所示，无人机464或另一自动或远程控制设备可以用光学或红外相机、激光雷达和/或其他传感器来检查车辆的不同部分，包括货物带条或其他紧固件、拖车内部等。图像可以由仓库相机和车载(on-truck)相机(例如，基于拖车的相机)中的一个或两个捕获。如下文进一步讨论的，车载相机将允许在行程期间进行连续监视，这可以捕捉路线中不稳定的货物，并且潜在地避免为了遵守某些规定而需要停止设定的英里数。行程前收集的图像和其他信息可以存储在仓库控制中心454，并在出发前传输到车辆，在那里可以存储为参考数据210(图2A)和/或数据260(图2B)。
在行程前检查中，在一种场景中，***可以不聚焦在货物布置本身；相反，它可能聚焦于货物是否得到适当的固定。因此，可能有必要获得拖车上的货物固定设备的视图，将该视图与使用类似货物固定设备的图像数据库及其外观进行比较(例如，绷紧与松散)并应用启发式或ML技术来检测异常。
自动检查可以涉及拍摄静态或视频图像并对其进行分析。这可以包括将图像与其他图像的数据库进行比较。举例来说，使用机器学习算法，***可以使用该比较来确认货物被适当地固定(例如，在某个目标阈值内)或者存在缺陷需要纠正。通过这种方式，该***可以利用来自整个车队操作的货物装载信息，因为来自其他车辆的图像可以被结合到数据库。因此，来自类似装载的车辆的信息可以被用作基线或以其他方式识别与可接受的固定参数的可能偏差，特别是作为基线货物简档。
根据一个方面，有了货物侧面的无障碍激光雷达和相机视图，该***可以进行自动出发前检查，以确保货物的长度和宽度在道路上是合法的(即，不超出规定所定义的某些范围)。这可以通过货物的边界框评估来执行。附加地或可替代地，***可以定义被认为合适的货物的标准定位/尺寸，确定货物的定位/尺寸，并且比较两者以识别与标准的任何偏差。
在一个示例中，自动检查过程可以生成货物被适当固定的置信度值，或者要求一些特定调整的置信度值。例如，可以有不同的置信度等级(例如，高、中或低)或简单的通过/失败置信度。不管置信度的粒度如何，如果它超过阈值(例如，被评定为高或通过)，则货物被认为是适当固定的。并且如果它没有超过阈值(例如，低或失效)，则可以适当地对固定机构进行修改。然而，在置信度值不够高，但是不容易识别特定调整的情况下(例如，中置信度)，图像可以被发送用于二级审查。这可以包括将图像发送给一个或多个(人类)专家，这些专家可能远离装载设施。这里，专家将评估图像并提供他们自己的评测。如果需要，他们可以与设施处的人员进行实时视频通话。在某些情况下，二级审查可能涉及对附加的图像或其他信息的请求。
一旦车辆通过行程前检查并驶出仓库，就可以在行程期间分析车载图像和其他存储的信息，以识别是否有任何货物(例如，经由货物的向前、向后、横向或旋转运动)已经移位或者存在货物的其他可能的问题(例如，应变仪超过阈值应变值)。这可以包括使用各种类型的传感器和车辆信息的自动监视，以检测货物、固定设备或车辆本身的问题。
举例来说，安装在拖车内部或沿着拖车的一个或多个相机可以监视货物和/或固定设备。牵引车上的相机可以被用于观察拖车的不同部分。这种方法对平板卡车特别有利，因为货物将对被已经作为自动车辆一部分安装的相机可视的。可替代地或附加地，安装在拖车内的相机可以被用于封闭的货运，诸如干货车或冷藏车。
在一种场景中，图像处理发生在车辆上，尽管它也可以远程完成，诸如在仓库或其他地方。在许多情况下，车载(on-vehicle)处理可能是优选的，因为它不需要通过蜂窝网络传输要处理的图像数据，这可能引入不必要的几秒或更长的延迟。例如，默认情况下，可以在车辆上处理图像。如果对车载获得的结果有任何疑问或模糊之处，则这些信息可以被发送到远程站点进行进一步分析。
仅作为示例，一组参考图像可以被本地存储在车辆中，显示货物在启程之前是如何被固定的。这使得车载***能够在将实时图像与行程前图像进行比较时使用一种或多种图像处理算法，检测关键点变化(例如，使用线或物体分析来识别货物单元或约束机构的运动)。
图像分析可以包括使用算法来查看货物是否已经移位或移动(例如，与最初的行程前图像进行比较)。当通过比较来自不同时间点的图像中货物相对于标记的定位来确定是否有任何移位或移动时，可以使用拖车的底板(floor)和/或体壁(wall)上的标记。可替代地或附加地，图像可以聚焦在固定设备上，以查看是否有任何松动或损坏。如上所述，相机可以使用互联网经由蜂窝调制解调器连接到远程设施(例如，远程协助或仓库)。然而，为了快速处理，用于货物监视的算法将在边缘运行(例如，本地地在相机上、在拖车ECU处或在拖车的处理***上，而不是上传以供远程处理)。这里，相机可以经由通信链路连接到车载处理***。虽然可以使用车辆的控制器局域网(Controller Area Network，CAN总线)，但在某些情况下，可以使用更高带宽的通信链路。
图5A、图5B和图5C示出了固定到卡车上的货物的相应视图500、510和520。特别地，后视图500示出了由绑带(tie-down strap)504固定的管道502。后视图510示出了由绑带514固定的盒子或其他容器512。如这里所示，应变仪516可被用于测量货物被系在车辆上的松散程度或牢固程度。类似地，如侧视图520所示，每个绑带522可以具有与其耦接的应变仪型传感器524。
图5D示出了应变仪型传感器530的视图。这里，线532可以耦接到绑带或其他紧固机构或与绑带或其他紧固机构集成。弹簧状元件534与线中的张力相关联。取决于张力，可视化块536在虚线538所示的视窗中是可见的。例如，如果张力超过预定阈值，则可视化块536向左移动并在视窗中变得可见；否则，可视化块536可以隐藏在盖子(未示出)后面。可视化块536可以容易地通过例如光学图像传感器(相机)可检测。可视化块536可以具有特定的颜色(例如，红色)、图案、阴影、反射率等，以使其在视窗538中尽可能可见。显示的有色区域的面积有可能与绳索的张力成正比。另外，代替简单的二进制信号(即，适当张紧或不张紧)，这样的机构将能够指示可以由相机捕获的更精细调节的张紧信息(例如，张力的百分比或范围)。因此，可以采用相对简单的计算机视觉算法来观察沿着带条或其他系紧机构的传感器，并且如果传感器的张力超出规格或超过标称值，则发出警报。
类似地，可以安装用于测量整个拖车中货物的重量分布的设备(例如，使用悬架装置上的测压元件或压力传感器)，其可以绑定到车载处理***后面。这些传感器被用于在行程开始之前检测货物的正确放置，以提供一组基线信息(例如，基线货物简档)，并且还被用于检测驾驶时负载的移位。该***还可以获得关于车辆上的空气悬架机构中的压力的传感器信息。该信息可以在CAN总线上可获得，并且来自制动器/ABS***，并且可以被用于检测负载移位。
这些类型的传感器可以物理地连接到计算机以进行进一步处理(例如，车载控制***)，例如，使用用于低带宽传感器的CAN总线，或者使用用于高带宽传感器的以太网型装置(例如，相机)。在一个示例中，代替物理连接，传感器模块可以使用无线连接，诸如WiFi或BluetoothTM类型的无线链路，耦接到车载处理***。并且，如上所述，当应变相对于与基线货物简档相关联的某个基线值太低或太高时，诸如应变仪的传感器可以改变颜色(或甚至形状)，使得其可以可被相机检测到。这里，物理致动的传感器(例如，张力或压力传感器)不直接链接到处理***；相反，诸如相机的另一传感器检测来自物理致动的传感器的信息。在这种情况下，相机是向处理***(间接)提供物理传感器数据的设备。
视觉上明显的问题，诸如绑带断裂/松动、火灾、冒烟、货物转移或丢失等，可以被检测到并标记给远程协助团队，或者如果车辆确定继续驾驶不安全，则可以自动使车辆靠边停车。
取决于拖车的性质、货物类型和固定设备的类型，可以采用不同的图像评估算法。例如，更健壮的算法可以潜在地确定负载被束缚的程度，并提供更高级的对负载的监视。这可以包括对固定设备或货物的尺寸、形状、颜色等的分析。例如，关于固定设备的类型和放置的信息可以作为表示在行程之前货物设置的样子的行程前“快照”(例如，基线货物固定简档)的一部分存储在车辆上。
在一种场景中，如果拖车关闭或者车辆在弱光条件下行驶，可以采用弱光算法(例如，包括使用红外照明)。这里，可以采用在弱光情况下表现良好的相机。
图像分析可以结合来自其他传感器类型的信息来完成。这种信号可以被用作附加数据点或对成像信息的检查。例如，如上所述，重量或压力分布传感器可以被用于确定货物沿拖车的位置或位移。举例来说，***可以推断货物已经由于车辆动力学的变化(制动/转向响应变化)、拖车车轮上的轮胎压力的变化或者牵引车或拖车的姿态的变化而移位。
例如，图6A和图6B示出了可能是由于货物移位或固定设备松动造成的车辆的定位变化的两个示例。在图6A的示例600中，当车辆转弯时，***可能预计转弯半径相对较小。然而，由于货物的问题，实际观察到的转弯半径可能更大，导致偏差Δ1。在图6B的示例610中，当车辆沿着道路行驶时，***可以预期拖车沿着与牵引车成一线的第一轨迹移动。这里，由于货物丢失或移位，实际观察到的拖车轨迹可能更宽或以其他方式与牵引车的轨迹不成一线，导致偏差Δ2。该***还可以基于这样的信息预测沿着路线的即将到来的路段出现操纵问题的可能性。这种预测也可以考虑其他信息，诸如接收到的天气数据、来自车载地图的地形数据等、以及其他车辆是如何穿过或沿着特定的一段道路行驶的。这里，可以例如在受控环境中预先执行测试，以定义性能阈值或其他操作标准。这可以被用于识别在确定存在(潜在的)货物移位或其他情况之前要求多少偏差Δ1或Δ2。
此外，与货物相关联的传感器信息可以与关于路线和/或道路的实时信息进行比较。这里，举例来说，控制算法将考虑车辆的姿态，特别是空间方位和速度/加速度。给定车辆的尺寸、重心等，该***可以模拟它应该如何响应控制输入-制动、转向、油门。甚至可以通过观察车辆对控制输入的动态响应来估计车辆的质量。然后，如果该估计的质量突然改变，例如，这可能意味着一件货物从拖车上掉下来，或者沿着拖车的定位发生显著的变化。
不同的天气条件也可能影响行程中途的检查过程。例如，雪、雨夹雪或冰通常会影响货物带条或悬架***，或单独的应变仪或测压元件传感器)。在这种情况下，对于不同的条件，***可能依赖不同类型的传感器。例如，当可视度不好时，***可以依赖于拖车底部的重量传感器。可替代地或附加地，该***可以包括用于不同类型的固定设备的数据库或查找表，以及为每种类型检查的潜在异常/错误。因此，该分析可以通过将货物位置、固定设备信息和/或其他特征数据与来自重量或压力分布传感器的数据进行比较来评估所获得的图像，例如，以精确定位(pinpoint)压力已经移位的位置以及这与货物的实际或预测位移有何相关。
附加信息可以与图像相关，例如，以查看货盘是否已经移位到侧面、翻倒或沿着拖车向前或向后滑动。例如，图7示出了例如在行程开始时初始货物定位的图像700。如图8的图像800所示，货物可以如实线箭头802所示移位。货物也可能倾斜，如虚线箭头804所示。各种传感器信息可以被用于识别发生了什么类型的问题。问题的识别可以被反馈到规划器或处理***的其他控制模块，以便确定车辆是否需要立即靠边，是否应该在即将到来的服务区域进行调整，是否除了特定固定设备或货物的一部分的有针对性的监视之外不需要采取任何行动等。该信息可以被提供给手动操作卡车的人类驾驶员。因此，这里讨论的方法可以被用于自动和手动驾驶模式两者。
传感器信息理想地在车辆操作(例如，沿着高速公路或街道行驶)时被获得。这可以连续进行，以固定的时间或距离间隔(例如，根据相关的联邦和州法规)进行，或者在驾驶期间发生某些情况时(例如，撞到坑洼，绕过弯道之前或上坡或下坡坡道之前等)进行。仅作为示例，如果驾驶规则要求每隔X英里(例如，100、200或500英里)或每Y小时(例如，4、8或12小时)进行货物检查，则***可以在必要的时间或距离间隔获得并评估传感器数据。
如果检测到货物或固定设备的任何偏差，则车辆可能会以不同的方式做出响应。在一个示例中，车辆可以向远程协助服务发送信号，远程协助服务将能够查看实时反馈以确定是否需要采取纠正措施。在另一示例中，车载***(例如，图2A的规划器模块223)可以取决于问题的性质来启动纠正措施。例如，这可以包括(i)修改驾驶行为，(ii)改道(re-routing)到最近的枢纽或可以重新固定货物的其他服务区域，或(iii)在安全的情况下尽快靠边停车。
关于修改驾驶行为，在某些情况下，货物移位可能通过改变路线或驾驶方式，或延迟行动并等待看看移位是否自行解决、保持不变或恶化来缓解。如果路线有许多急转弯、倾斜(bank)或斜坡，可能会导致货物移动，则如果另一种道路选择可行，卡车可以改道。如果确定问题是由于环境条件造成的，诸如大风导致拖车移动(大风可能导致拖车翻车)，则卡车可能会以将风险降低至最小的方式靠边停车，并等待大风过去。如果减速行驶和以较低的减速率制动可能是解决方案，则卡车可能会相应地调整其驾驶方式。
关于为货物重新固定而改道(re-routing)，卡车可以采取措施，诸如减慢速度并主动提醒必要的机构。关于靠边停车，在最坏的情况下，卡车可能会尽快靠边停车，并等待路边救援。例如，远程操作团队可以将货物固定问题的性质告知路边救援，这样路边救援就可以根据需要携带正确的装备进行故障排除和纠正。
另外，安全问题可以被用作学习经验。例如，可以在问题解决后对其进行详细调查(包括各种传感器的读数以及纠正措施是否实际解决了问题)。这种知识可以添加到中央数据库，并可能传播给车队。整个车队都将从这一知识中受益。
信息共享的一个示例被示出在图9A和图9B中。特别地，图9A是直观图900，并且图9B是包括经由网络916连接的多个计算设备902、904、906、908和存储***910的示例***的功能图950。该***还包括货运车辆912，以及其他车辆914，该货运车辆912可以被配置为与图1A至图1B的车辆100相同或相似。车辆912和/或车辆914可以是车队的一部分。尽管为了简单起见，仅描述了几个车辆和计算设备，但是典型的***可以包括更多。
如图9B所示，计算设备902、904、906和908中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可以类似于上面参考图2A所描述的那些来配置。
各种计算设备和车辆可以经由一个或多个网络(诸如网络916)通信。网络916和中间节点可以包括各种配置和协议，包括短距离通信协议，诸如BluetoothTM、BluetoothLETM、因特网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP、以及前述的各种组合。这种通信可以由能够向和从其他计算设备(诸如调制解调器和无线接口)传输数据的任何设备来促进。
在一个示例中，计算设备902可以包括具有多个计算设备的一个或多个服务器计算设备，例如，负载平衡的服务器群，它与网络的不同节点交换信息，目的是接收、处理并向其他计算设备传输数据。例如，计算设备902可以包括能够经由网络916与车辆912和/或914的计算设备以及计算设备904、906和908进行通信的一个或多个服务器计算设备。例如，车辆912和/或914可以是可以由服务器计算设备分派到不同位置的车队的一部分。在这方面，计算设备902可以用作调度服务器计算***，其可以用于将车辆分派到不同位置，以便接载和递送货物或者接载和放下乘客。另外，服务器计算设备902可以使用网络916向其他计算设备之一的用户或车辆的乘客传输信息并呈现信息。在这方面，计算设备904、906和908可以被认为是客户端计算设备。
如图9A所示，每个客户端计算设备904、906和908可以是意图供相应用户918使用的个人计算设备，并且具有通常与包括一个或多个处理器(例如，中央处理器(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或其他设备(诸如可操作来显示信息的智能手表显示器)、以及用户输入设备(例如，鼠标、键盘、触摸屏或麦克风)结合使用的所有组件。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
尽管客户端计算设备可以各自包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如因特网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备906和908可以是移动电话或诸如支持无线的PDA、平板PC、可穿戴计算设备(例如，智能手表)或能够经由互联网或其他网络获得信息的上网本。
在一些示例中，客户端计算设备904可以是管理员或操作员用来与分派的车辆的乘客通信的远程协助工作站。尽管在图9A至图9B中仅示出了单个远程协助工作站904，在给定的***中可以包括任意数量的这样的工作站。此外，尽管操作工作站被描述为台式计算机，但是操作工作站可以包括各种类型的个人计算设备，诸如膝上型电脑、上网本、平板电脑等。
远程协助可以被用于评估货物在离开仓库或其他设施之前是否被适当固定。它也可以被用来补充或取代车载图像处理或其他数据处理。例如，如上所述，当不清楚固定设备是否有问题，或者货物是否已经移位超过阈值量时，远程协助可以对图像和其他传感器数据执行额外的分析。这里，后端***可以访问已经从车队的不同车辆获得的图像而不是行程中车辆上车载维护的图像的更大的数据库。
在有乘客或远程协助人员(例如，安全驾驶员或车队响应团队成员)的情况下，车辆或远程协助工作站可以直接或间接与人的客户端计算设备通信。这里，例如，可以向乘客或远程协助人员提供关于当前驾驶操作、响应于情况而改变路线等的信息。然后，乘客或远程协助人员可以向车辆提供指令和/或在特定时间段内接管一些或所有驾驶操作，诸如直到货物被重新固定或直到行程完成。
存储***910可以是能够存储可由服务器计算设备1202访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、闪存驱动器和/或磁带驱动器。另外，存储***910可以包括分布式存储***，其中数据存储在物理上位于相同或不同地理位置的多个不同存储设备上。存储***910可以经由网络916连接到计算设备，如图9A至图9B所示，和/或可以直接连接到或结合到任何计算设备中。
存储***910可以存储各种类型的信息。例如，存储***910可以维护将由诸如车辆912或914的车辆使用的自动车辆控制软件，以在自动驾驶模式下操作这些车辆。它可以存储车队中每种类型的车辆的车辆模型信息，诸如牵引车和拖车的运动学模型。它还可以存储地图信息、路线信息、天气信息等。如同车载***，存储***910可以包括参考数据和从车队中的车辆接收的行程数据。参考数据可以包括参考图像或关于用于行程中途货物监视的适当(或不适当)货物配置和条件的其他信息。举例来说，参考图像可以在将货物装载到给定车辆或封闭集装箱中的设施处拍摄。行程数据可以包括在给定车辆的行程期间获得的关于货物、固定设备和其他车辆信息的实时数据。这可以包括关于用于固定货物的固定设备的信息、货物、固定设备和/或拖车区域的图像数据等。
这种信息可以与车辆912和914共享，例如，以帮助由车载计算机***进行实时路线规划和牵引分析。远程协助工作站904可以访问存储的信息，并使用它来协助单个车辆或车队的操作。
图10示出了对自动车辆执行货物评估的方法1000的一个示例。在装载货物期间和/或之后，如框1002所示，该方法包括接收关于货物在自动车辆上的货物布置或货物固定中的至少一个的传感器信息。接收到的传感器信息包括货物或固定机构中的至少一个的图像。在框1004，该方法包括由一个或多个处理器评估接收到的传感器信息，以确定货物布置或货物固定是否落入目标阈值内。一个或多个处理器可以是例如车辆的车载处理***的一部分(见图2A的202)、装载设施的控制中心的一部分(见图4B的454)、或者可以包括远程协助的后端***的一部分(参见图9A至图9B的902和904)。在框1006，响应于货物布置或货物固定落入目标阈值内，一个或多个处理器被配置为基于接收到的传感器信息来生成基线货物简档。并且如框1008所示，基线货物简档被配置为存储在自动车辆的存储器中，以用于对照实时数据进行行程中评估。
图11示出了对车辆执行货物监视的另一方法1100的示例。如框1102所示，该方法包括由车辆的一个或多个处理器获得存储在车辆的货物区中的货物的基线货物固定简档。在框1104，该方法包括由一个或多个处理器在车辆驾驶期间接收关于沿着车辆的货物区的货物布置或货物固定中的至少一个的传感器信息。接收到的传感器信息包括货物或固定机构中的至少一个的图像。在框1106，该方法包括由一个或多个处理器将接收到的传感器信息与基线货物固定简档进行比较。在框1108，该方法包括由一个或多个处理器基于该比较，根据阈值固定要求确定货物的至少一部分是否已经改变位置并且不再被固定。并且在框1110，在确定超过阈值固定要求时，一个或多个处理器使车辆采取纠正措施。
如上所述，这里讨论的方法可以被用于自动和手动驾驶模式两者。
除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实施，以获得独特的优点。由于在不脱离由权利要求限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以实施例的前述描述应该通过例示的方式进行，而不是通过限制由权利要求限定的主题。另外，在此描述的示例的提供，以及表述为“诸如”、“包括”等的句子，不应该被解释为将权利要求的主题限制到特定示例；相反，这些示例意图仅示出许多可能实施例中的一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。这些过程或其他操作可以以不同的顺序执行或同时执行，除非在此另外明确指出。

Claims (16)

1.一种对自动车辆执行货物评估的方法，所述方法包括：
接收关于货物在所述自动车辆上的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括所述货物或固定机构中的至少一个的图像；
由一个或多个处理器评估接收到的传感器信息，以确定所述货物布置或所述货物固定是否落入目标阈值内；
在确定货物布置或货物固定落入目标阈值内时，生成货物被适当固定的置信度值，并且当置信度值低于置信度阈值时，发送所述图像以用于二级检查；以及
响应于所述货物布置或所述货物固定落入目标阈值内，由一个或多个处理器基于接收到的传感器信息来生成基线货物简档；
其中，所述基线货物简档被配置为存储在所述自动车辆的存储器中，以用于对照实时数据进行行程中评估。
2.根据权利要求1所述的方法，还包括，当所述货物布置或所述货物固定不落入目标阈值内时，使得对所述固定机构进行调整。
3.根据权利要求1所述的方法，其中，所述图像包括静止图像或视频图像。
4.根据权利要求1所述的方法，其中，所述图像是在所述货物被装载到封闭集装箱中时使用红外(IR)照明来捕获的。
5.根据权利要求1所述的方法，其中，评估接收到的传感器信息包括将所述图像与其他图像的数据库进行比较。
6.根据权利要求1所述的方法，还包括在开始运送所述货物之前，使得对所述车辆的驾驶模式或路线中的至少一个进行调整。
7.一种对被配置为在自动驾驶模式下操作的车辆执行货物监视的方法，所述方法包括：
由所述车辆的一个或多个处理器获得存储在所述车辆的货物区中的货物的基线货物固定简档；
由所述一个或多个处理器在所述车辆的驾驶期间，接收关于沿着所述车辆的货物区的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括所述货物或固定机构中的至少一个的图像；
将接收到的传感器信息与一个或多个车辆信号相关，所述一个或多个车辆信号包括车辆动力学的变化、悬架机构的变化、轮胎压力的变化或所述车辆的一部分的姿态的变化中的至少一个；
由所述一个或多个处理器基于所述相关，根据阈值固定要求确定所述货物的至少一部分是否已经改变位置并且不再被固定；以及
在确定超过所述阈值固定要求时，所述一个或多个处理器使车辆采取纠正措施。
8.根据权利要求7所述的方法，其中，所述基线货物固定简档是在行程中所述车辆出发之前获得的。
9.根据权利要求8所述的方法，其中，所述基线货物固定简档是从所述货物被装载到的装载仓库获得的。
10.根据权利要求7所述的方法，其中，所述纠正措施包括以下中的一项或多项：(i)修改所述车辆的驾驶行为，(ii)改道至所述货物可以被重新固定的最近位置，(iii)将所述车辆靠边，或(iv)联系远程协助服务。
11.根据权利要求7所述的方法，其中，所述车辆在自动驾驶模式下操作，并且所述纠正措施是在自动驾驶模式下采取的驾驶措施。
12.根据权利要求7所述的方法，其中，确定超过所述阈值固定要求包括确定所述货物的所述部分已经向前、向后、横向移位或者已经倾斜。
13.根据权利要求7所述的方法，其中，所述传感器信息还包括重量分布或压力分布信息。
14.根据权利要求7所述的方法，其中，所述传感器信息包括固定所述货物的一个或多个固定设备的应变或张力信息。
15.根据权利要求14所述的方法，其中，所述应变或张力信息包括所述一个或多个固定设备的颜色或形状的变化。
16.一种被配置为在自动驾驶模式下操作的车辆，包括：
驱动***，包括转向子***、加速子***和减速子***，以在自动驾驶模式下控制所述车辆的驾驶；
感知***，包括多个传感器，所述多个传感器中的每一个传感器沿着所述车辆安置；以及
控制***，可操作地连接到所述驱动***和所述感知***，所述控制***具有一个或多个计算机处理器，所述计算机处理器被配置为：
获得存储在所述车辆的货物区中的货物的基线货物固定简档；
在所述车辆的驾驶期间，接收关于沿着所述车辆的货物区的货物布置或货物固定中的至少一个的传感器信息，接收到的传感器信息包括所述货物或固定机构中的至少一个的图像；
将接收到的传感器信息与与一个或多个车辆信号相关，所述一个或多个车辆信号包括车辆动力学的变化、悬架机构的变化、轮胎压力的变化或所述车辆的一部分的姿态的变化中的至少一个；
基于所述相关，根据阈值固定要求确定所述货物的至少一部分是否已经改变位置并且不再被固定；以及
在确定超过所述阈值固定要求时，使所述车辆采取纠正措施。
CN202110635683.8A 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定 Active CN113829978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410219424.0A CN118219965A (zh) 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/895,271 US11580484B2 (en) 2020-06-08 2020-06-08 Cargo inspection, monitoring and securement in self-driving trucks
US16/895,271 2020-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410219424.0A Division CN118219965A (zh) 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定

Publications (2)

Publication Number Publication Date
CN113829978A CN113829978A (zh) 2021-12-24
CN113829978B true CN113829978B (zh) 2024-03-15

Family

ID=76197241

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410219424.0A Pending CN118219965A (zh) 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定
CN202110635683.8A Active CN113829978B (zh) 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410219424.0A Pending CN118219965A (zh) 2020-06-08 2021-06-08 自主驾驶卡车中的货物检查、监视和固定

Country Status (3)

Country Link
US (3) US11580484B2 (zh)
EP (2) EP4083885A1 (zh)
CN (2) CN118219965A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263838B2 (en) 2019-12-16 2022-03-01 Waymo Llc Self-driving vehicles and weigh station operation
EP3922513B1 (en) * 2020-06-12 2023-11-08 Ningbo Geely Automobile Research & Development Co. Ltd. Detecting load shift of cargo on a vehicle and/or a trailer
US12015836B2 (en) * 2020-11-10 2024-06-18 Deere & Company Work vehicle perception systems and front modules
US20230038242A1 (en) * 2021-08-09 2023-02-09 Goodrich Corporation Latch state detection systems and methods
US20230134200A1 (en) * 2021-11-04 2023-05-04 Waymo Llc Automatic Qualification of Payload for Autonomous Vehicles
CN116911718B (zh) * 2023-09-12 2023-12-01 广东烟草河源市有限责任公司 一种基于数据分析的仓库货物运输物流实时监管***
CN117079219B (zh) * 2023-10-08 2024-01-09 山东车拖车网络科技有限公司 一种应用于拖车业务的车辆运行情况监控方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013035399A (ja) * 2011-08-08 2013-02-21 Toshiba Alpine Automotive Technology Corp 荷室監視装置
DE102014226108A1 (de) * 2014-12-16 2016-06-16 Volkswagen Aktiengesellschaft Ladungsüberwachung im Kraftfahrzeug
CN107850895A (zh) * 2015-05-13 2018-03-27 优步技术公司 通过引导协助操作的自动驾驶车辆
DE102016221422A1 (de) * 2016-10-31 2018-05-03 Robert Bosch Gmbh Vorrichtung und Verfahren zur Überwachung eines Lagerraumes
DE102018213427A1 (de) * 2018-08-09 2020-02-13 Zf Friedrichshafen Ag Fahrerassistenzsystem

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012125726A1 (en) * 2011-03-14 2012-09-20 Intelligent Technologies International, Inc. Cargo theft prevention system and method
CA2899439C (en) 2013-01-28 2021-06-08 Commercial Finance Corporation, Sa De Panama Systems, methods, and devices for securing cargo
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
US10328841B2 (en) * 2015-07-31 2019-06-25 GM Global Technology Operations LLC Automated wireless securement-monitoring and feedback system
US9958872B2 (en) * 2016-06-06 2018-05-01 International Business Machines Corporation Cargo-based vehicle control
US10673948B2 (en) 2016-10-05 2020-06-02 Dell Products L.P. Trailer identification, inspection, and verification using a vehicle gateway
US10103488B2 (en) * 2016-12-20 2018-10-16 Ford Global Technologies, Llc Vehicle connectors for monitoring connection with trailer connectors
DE202018006093U1 (de) * 2017-07-14 2019-03-14 Zume, Inc. Kraftfahrzeug zur Bereitstellung zubereiteter Lebensmittel
US11048251B2 (en) * 2017-08-16 2021-06-29 Uatc, Llc Configuring motion planning for a self-driving tractor unit
WO2019068076A1 (en) * 2017-09-29 2019-04-04 United Parcel Service Of America, Inc. IDENTIFICATION, ANALYSIS AND PREDICTIVE MITIGATION OF PARCEL DAMAGE
EP3989032B1 (en) * 2018-01-09 2023-11-08 Uatc, Llc Systems and methods for controlling an autonomous vehicle
US10871780B2 (en) 2018-01-30 2020-12-22 Uatc, Llc Intermediate mounting component and sensor system for a Mansfield bar of a cargo trailer
US10761534B2 (en) 2018-01-30 2020-09-01 Uatc, Llc Fused sensor view for self-driving truck
US11420695B2 (en) 2018-01-31 2022-08-23 Vieletech Inc. Semi-autonomous trailer hauler
US20200031284A1 (en) * 2018-07-27 2020-01-30 Continental Automotive Gmbh Trailer Cargo Monitoring Apparatus for a Vehicle
US11272145B2 (en) 2018-10-31 2022-03-08 Blackberry Limited Cargo monitoring system and method
US11390277B2 (en) * 2018-11-30 2022-07-19 Clearpath Robotics Inc. Systems and methods for self-driving vehicle collision prevention
US11466997B1 (en) * 2019-02-15 2022-10-11 State Fram Mutual Automobile Insurance Company Systems and methods for dynamically generating optimal routes for vehicle operation management
US11410513B2 (en) * 2020-03-19 2022-08-09 Logistics and Supply Chain MultiTech R&D Centre Limited System and device for video-based vehicle surrounding awareness monitoring for air cargo transit security under all-weather driving conditions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013035399A (ja) * 2011-08-08 2013-02-21 Toshiba Alpine Automotive Technology Corp 荷室監視装置
DE102014226108A1 (de) * 2014-12-16 2016-06-16 Volkswagen Aktiengesellschaft Ladungsüberwachung im Kraftfahrzeug
CN107850895A (zh) * 2015-05-13 2018-03-27 优步技术公司 通过引导协助操作的自动驾驶车辆
DE102016221422A1 (de) * 2016-10-31 2018-05-03 Robert Bosch Gmbh Vorrichtung und Verfahren zur Überwachung eines Lagerraumes
DE102018213427A1 (de) * 2018-08-09 2020-02-13 Zf Friedrichshafen Ag Fahrerassistenzsystem

Also Published As

Publication number Publication date
US20230153745A1 (en) 2023-05-18
CN113829978A (zh) 2021-12-24
US11580484B2 (en) 2023-02-14
US20240169307A1 (en) 2024-05-23
EP4083885A1 (en) 2022-11-02
CN118219965A (zh) 2024-06-21
US20210383318A1 (en) 2021-12-09
US11922362B2 (en) 2024-03-05
EP3923217A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
CN113829978B (zh) 自主驾驶卡车中的货物检查、监视和固定
US11650603B2 (en) Detecting general road weather conditions
CN111806464B (zh) 异常拖车行为的检测
EP3838702A1 (en) Prevention, detection and handling of tire blowouts on autonomous trucks
CN113195327B (zh) 确定自驾驶车辆上的车轮滑移
US11854319B2 (en) Self-driving vehicles and weigh station operation
CN113753074A (zh) 解决自主车辆中的弯折的***和方法
US11851092B1 (en) Positional gaps for driver controllability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant