CN114537061A - 用于远程车辆控制和行人用户指导的***和方法 - Google Patents

用于远程车辆控制和行人用户指导的***和方法 Download PDF

Info

Publication number
CN114537061A
CN114537061A CN202111403860.6A CN202111403860A CN114537061A CN 114537061 A CN114537061 A CN 114537061A CN 202111403860 A CN202111403860 A CN 202111403860A CN 114537061 A CN114537061 A CN 114537061A
Authority
CN
China
Prior art keywords
vehicle
remote device
location
travel path
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111403860.6A
Other languages
English (en)
Inventor
哈米德·M·格尔吉里
埃里克·迈克尔·拉瓦伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114537061A publication Critical patent/CN114537061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/01—Traction couplings or hitches characterised by their type
    • B60D1/06—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“用于远程车辆控制和行人用户指导的***和方法”。一种车辆控制***包括至少一个检测装置，所述至少一个检测装置被配置为捕获检测数据。所述***还包括控制器，所述控制器识别所述车辆的从所述车辆的当前位置延伸到目标位置的行驶路径。响应于所述行驶路径，所述控制器计算被所述车辆穿越所述行驶路径所占用的行驶区并确定靠近所述行驶区的至少一个观察区。所述控制器进一步基于所述检测数据来确定用户的位置，并且响应于所述用户相对于所述至少一个观察区的位置来控制所述车辆沿着所述行驶路径的导航程序。

Description

用于远程车辆控制和行人用户指导的***和方法
技术领域
本公开总体上涉及一种用于辅助车辆-挂车挂接操作的***。具体地，本公开涉及一种用于利用远程装置监测或控制在车辆与挂车的联接件之间的对准的***。
背景技术
将挂车挂接到车辆可能是既困难又耗时的体验。具体地，根据挂车相对于车辆的初始位置，将车辆挂接球与所需挂车挂接件对准可需要与多个转向操纵配合的重复的前进和倒退行驶来将车辆适当地定位。此外，在适当的挂接球对准所需的大部分驾驶期间，无法看到挂车挂接件，并且在通常情况下，挂接球实际上可能从未被驾驶员看到。这种视线的缺乏需要基于特定车辆和挂车的经验来推断挂接球和挂接件的定位，并且可能仍然需要多次停车和走出车辆的情况以确认对准或记录适用于一组后续操纵的校正。此外，挂接球与车辆后保险杠的接近意味着任何过冲都可能导致车辆与挂车之间的不期望的接触。因此，可能期望进一步的发展。
发明内容
根据本发明的一方面，公开了一种车辆控制***。所述***包括至少一个检测装置，所述至少一个检测装置被配置为捕获检测数据。所述***还包括控制器，所述控制器识别车辆的从所述车辆的当前位置延伸到目标位置的行驶路径。响应于所述行驶路径，所述控制器计算被所述车辆穿越所述行驶路径所占用的行驶区并确定靠近所述行驶区的至少一个观察区。所述控制器进一步基于所述检测数据来确定用户的位置，并且响应于所述用户相对于所述至少一个观察区的位置来控制所述车辆沿着所述行驶路径的导航程序。
本发明的各方面可包括以下特征中的任一者或它们的组合：
-所述行驶区的周边基于所述车辆的外部边界和所述车辆穿越所述行驶路径的取向来计算；
-车辆操纵***，所述车辆操纵***响应于从所述控制器所接收的指令控制所述车辆沿着所述行驶路径的速度和转向角；
-所述控制器进一步经由所述通信模块检测所述远程装置的位置；
-响应于在所述观察区之外的所述位置，所述控制器进一步生成将所述远程装置重新定位在所述观察区中的指令，其中所述指令提供将所述远程装置重新定位在所述观察区中的方向和距离中的至少一者；
-响应于在所述观察区之外的所述位置，所述控制器进一步控制所述车辆以暂停所述车辆沿着所述行驶路径的所述导航程序；
-所述控制器进一步指示所述远程装置展示模拟场景，所述模拟场景展示了所述车辆的所述行驶区和所述观察区，其中所述远程装置的所述位置进一步在所述模拟场景中展示；
-成像器，所述成像器被配置为在靠近所述车辆的视野中捕获图像数据；
-所述控制器进一步在所述图像数据中识别挂车的联接件位置，并且计算到所述目标位置的所述行驶路径，所述目标位置将所述车辆的联接件与所述挂车的挂接件对准；
-所述至少一个观察区包括第一观察区和第二观察区，所述第一观察区沿着所述行驶路径邻近所述车辆的第一侧部定位，并且所述第二观察区沿着所述行驶路径邻近所述车辆的第二侧部定位；
-所述控制器进一步检测所述第一观察区中的物体，并且响应于所述物体的所述检测，控制所述远程装置输出将所述用户定位在所述第二观察区中的指令；和/或
-所述指令进一步响应于在所述第一观察区中检测到所述物体而指示所述远程装置移除所述第一观察区。
根据本发明的另一方面，公开了一种用于实施观察区以监测半自动化车辆操作的方法。所述方法包括识别车辆的行驶路径。所述行驶路径包括所述车辆的从当前位置延伸到目标位置的行驶区。响应于所述行驶路径，所述方法还包括计算被所述车辆穿越所述行驶路径所占用的所述行驶区并且基于所述行驶区确定至少一个观察区的周边。响应于用户相对于所述至少一个观察区的所述周边的位置，所述方法还包括控制所述车辆沿着所述行驶路径的导航程序。
本发明的各方面可包括以下特征中的任一者或它们的组合：
-基于经由通信模块识别出的远程装置的位置来检测所述用户的所述位置；
-响应于在所述观察区之外的所述位置检测到所述远程装置，生成将所述远程装置重新定位在所述观察区中的指令，其中所述指令提供将所述远程装置重新定位在所述观察区中的方向和距离中的至少一者；和/或
-响应于在所述观察区之外的所述位置检测到所述远程装置，控制所述车辆以暂停沿着所述行驶路径的操纵程序。
根据本发明的又一个方面，公开了一种用于辅助将车辆与挂车对准以进行挂接的***。所述***包括车辆操纵***，所述车辆操纵***控制所述车辆沿着行驶路径的速度和转向角。所述***还包括成像***，所述成像***捕获并处理视野中的图像数据。所述控制器在所述图像数据中识别挂车的联接件位置，并且计算从所述车辆的当前位置延伸到目标位置的所述行驶路径。所述目标位置将所述车辆的联接件与挂车的挂接件对准。基于所述行驶路径，所述控制器计算被所述车辆穿越所述行驶路径占用的行驶区并确定靠近所述行驶区的至少一个观察区。响应于所述远程装置相对基于所述至少一个观察区的所述位置，所述控制器控制所述车辆沿着所述行驶路径的导航程序。
本发明还可包括其中所述控制器进一步经由所述通信模块检测远程装置的位置，并且响应于观察区之外的所述位置，控制所述车辆以暂停所述车辆沿着所述行驶路径的所述导航程序的配置。
本领域技术人员在研究以下说明书、权利要求和附图后将理解并了解本发明的这些和其他方面、目的和特征。
附图说明
在附图中：
图1是车辆相对于挂车处于脱开位置的透视图；
图2是根据本公开的一方面的用于辅助将车辆与挂车在用于将挂车挂接到车辆的位置对准的***的图；
图3是车辆在与挂车的对准序列的步骤期间的平面图；
图4是车辆控制与挂车的对准序列的平面图；
图5是展示挂接件观察区的车辆和挂车的平面图；
图6是展示联接件观察区的车辆和挂车的平面图；
图7是展示观察区的车辆和挂车的模拟场景的图形描绘；
图8是展示观察区的车辆和挂车的模拟场景的图形描绘；
图9是车辆导航到与挂车对准的目标位置的模拟场景，其展示了多个观察区；
图10展示了由车辆的相机捕获的图像数据，包括对车辆路径和观察区的渲染描绘；
图11是车辆导航到与挂车对准的目标位置的平面图，其展示了位于观察区中的一个中的物体或障碍物；以及
图12是展示根据本公开的用于指示用户/观察者在自动挂接运动期间保持在观察区内的位置的方法的流程图。
具体实施方式
出于在本文中进行描述的目的，术语“上部”、“下部”、“右”、“左”、“后”、“前”、“竖直”、“水平”、“内部”、“外部”和其衍生词应按照图1所取向的那样来与装置联系起来。然而，应理解，除非明确地相反指出，否则所述装置可采用各种替代取向。还应理解，附图中示出的以及在以下说明书中描述的特定装置和过程仅仅是所附权利要求中限定的创造性概念的示例性实施例。因此，除非权利要求另外明确地说明，否则涉及本文所公开的实施例的具体尺寸和其他物理特性不应被视为限制性的。另外，除非另外规定，否则应理解，对在给定方向上或沿给定方向等延伸的特定特征或部件的讨论并不意味着：所述特征或部件在此类方向上遵循直线或轴线，或者除非另外规定，否则它仅沿此类方向或在此类平面上延伸而没有其他方向分量或偏差。
总体上参考图1至图4，附图标记10表示用于车辆12的挂接辅助***(也被称为“挂接辅助”***)。在各个实施例中，挂接辅助***10包括控制器14，所述控制器被配置为获取挂车18的联接件16的位置数据。控制器14可被配置为推导车辆路径20以使车辆12的挂接件22(例如，挂接球)与联接件16对准。推导车辆路径20可包括多种步骤，所述步骤包括：检测和补偿联接件位置24的变化，以便控制车辆12定位与联接件16对准的挂接件位置26。车辆路径20可包括多个区段28，所述多个区段可对应于车辆12的操作方向或转向方向的变化。在各个实施例中，推导车辆路径20可包括在中间物体或结构周围进行导航、在不平坦地形上操作、遵循由操作员或用户U指示的所需路径等。因此，本公开可提供挂接辅助***10以改善车辆12的导航和/或与联接件16的相互作用，使得挂车18可有效地连接到车辆12而不会复杂化。
在一些实施例中，***10可与远程装置30通信。远程装置30可用作***装置或远程用户接口，其经由通信接口在用户U与***10的控制器14之间传达操作指令和***10的状态。在操作中，***10可将车辆路径20或与车辆路径20相关的信息传达给远程装置30。基于车辆路径20，远程装置30可被配置为计算沿着行驶路径20在车辆12的行驶区30c之外的至少一个观察区30a、30b。可基于车辆12(例如，车辆12的周边)在车辆路径20的模拟穿越中的取向和比例来计算行驶区30c。另外，***10的控制器14可跟踪远程装置30的位置，以便推断用户U靠近车辆12的位置。基于远程装置30的位置，控制器14和/或远程装置30可识别并传达远程装置以及(相关联地)用户U是否在至少一个观察区30a、30b中。响应于识别出远程装置30在至少一个观察区30a、30b之外；***10的控制器14可暂停车辆沿着车辆路径20的运动。参考图5至图12进一步讨论远程装置30与控制器14的协调操作。
关于挂接辅助***10的一般操作，如图2至图4的***图所示，***10包括获得或以其他方式提供车辆状态相关信息的各种传感器和装置。该信息包括来自定位***32的定位信息，所述定位***可包括航迹推算装置34，或者另外或作为替代方案，还包括全球定位***(GPS)，以基于装置在定位***32内的一个或多个位置来确定车辆12的坐标位置。具体地，航迹推算装置34可至少基于如图3中所示的车辆速度和转向角δ在局部坐标系36内建立和跟踪车辆12的坐标位置。由挂接辅助***10接收的其他车辆信息可包括来自速度传感器38的车辆12的速度和来自惯性测量单元(IMU)40的车辆12的横摆率。在各种实施例中，IMU40可包括各种传感器或与其通信，所述各种传感器包括但不限于陀螺仪、测斜仪和/或加速度计。另外，可通过与控制器14通信的一个或多个重量传感器或压力传感器来测量车辆12的质量。此外，可以预期，在另外的实施例中，接近传感器42或其阵列以及其他车辆传感器和装置可提供传感器信号或其他信息(诸如包括检测到的联接件16的挂车18的序列图像)，挂接辅助***10的控制器14可用各种程序处理所述传感器信号或其他信息以确定联接件16的高度H和位置(例如，基于距离Dc和角度αc)。如本文所讨论的，接近传感器42可对应于可与车辆12一起实施或结合的雷达传感器、激光传感器、超声波传感器、感应装置或各种传感装置。在示例性实施例中，至少一个检测传感器可对应于基于图像的检测***(例如，相机***)，所述基于图像的检测***可包括多个成像装置。
如图2中进一步所示，挂接辅助***10的一个实施例与车辆12的转向***50通信。转向***50可以是动力助力转向***50，所述动力助力转向***包括转向马达52，以用于操作车辆12的转向轮54(图1)，从而使车辆12以车辆横摆随车辆速度和转向角δ变化的这种方式进行移动。在所示的实施例中，动力助力转向***50是包括电动转向马达52的电动助力转向(“EPAS”)***，所述电动转向马达用于基于转向命令将转向轮54转动到转向角δ，由此转向角δ可以由动力助力转向***50的转向角传感器56感测到。转向命令可由挂接辅助***10提供，以用于在挂车挂接对准操纵期间自主转向，并且可替代地经由车辆12的方向盘的旋转位置(例如，方向盘角度)手动提供。
在所示的实施例中，车辆12的方向盘与车辆12的转向轮54机械地联接，使得方向盘与转向轮54一致地移动，从而防止在自主转向期间通过方向盘进行手动干预。更具体地，扭矩传感器58设置在动力助力转向***50上，所述扭矩传感器感测方向盘上的扭矩，所述扭矩不是方向盘的自主控制所预期的并且因此指示手动干预。在这种配置中，挂接辅助***10可警告驾驶员停止用方向盘进行手动干预和/或停止自主转向。在替代实施例中，一些车辆具有动力助力转向***50，所述动力助力转向***允许方向盘与此类车辆的转向轮54的移动部分地脱离。
继续参考图2，动力助力转向***50向挂接辅助***10的控制器14提供与车辆12的转向轮54的旋转位置相关的信息，包括转向角δ。除了各种车辆12状况之外，所示的实施例中的控制器14还处理当前转向角，以沿着所需路径20(图3)引导车辆12。可以预期，在另外的实施例中，挂接辅助***10可以是动力助力转向***50的集成部件。例如，动力助力转向***50可包括用于根据从以下项接收的全部或一部分信息生成车辆转向信息和命令的挂接辅助算法：成像***60、动力助力转向***50、车辆制动控制或制动***62、动力传动***控制***64和其他车辆传感器和装置以及人机界面(“HMI”)66，如下面进一步讨论的。
还如图2中所示，车辆制动控制***62可与控制器14通信以向挂接辅助***10提供制动信息(诸如车辆车轮速度)并且从控制器14接收制动命令。制动控制***62可被配置为控制行车制动器62a和驻车制动器62b。驻车制动器62b可对应于可与控制器14通信的电子驻车制动***。因此，在操作中，控制器14可被配置为控制制动器62a和62b以及检测车辆速度信息，所述车辆速度信息可从受制动控制***62监测的各个车轮速度传感器来确定。还可根据动力传动***控制***64、速度传感器38和/或定位***32等其他可设想到的装置来确定车辆速度。在一些实施例中，各个车轮速度也可作为车辆IMU 40的替代或补充来用于确定车辆横摆率，所述车辆横摆率可提供给挂接辅助***10。
挂接辅助***10还可向制动控制***62提供车辆制动信息以允许挂接辅助***10在挂车18的后退期间控制车辆12的制动。例如，在一些实施例中，挂接辅助***10可在车辆12与挂车18的联接件16对准期间调节车辆12的速度，这可减少与挂车18接触的可能性，并且可使得车辆12在路径20的确定端点70处完全停止。本文中公开了挂接辅助***10可另外或替代地发出警告信号，所述警告信号对应于与挂车18的一部分的实际的、即将发生的和/或预期的接触的通知。如上文所提及的，调节车辆12的速度可有利于防止与挂车18接触。
在一些实施例中，如图2中所示的实施例中所示，动力传动***控制***64还可与挂接辅助***10相互作用以在与挂车18部分或自主对准期间调节车辆12的速度和加速度。在自主操作期间，动力传动***控制***64可进一步被利用和配置为控制车辆12的节气门以及变速器的传动挡位选择。因此，在一些实施例中，控制器14可被配置为控制变速器***的挡位和/或提示用户U换挡到所需挡位以完成车辆12的半自动操作。
如先前所讨论的，挂接辅助***10可与车辆12的人机界面(“HMI”)66通信。HMI 66可包括车辆显示器72，诸如中控面板安装的导航或娱乐显示器(图1)。HMI 66还包括输入装置，所述输入装置可通过将显示器72配置为具有电路76的触摸屏74的一部分来实施，以接收与显示器72上的位置相对应的输入。代替触摸屏74或除了触摸屏之外，还可使用其他形式的输入(包括一个或多个操纵杆、数字输入盘等)。此外，挂接辅助***10可经由无线通信与HMI 66的另一个实施例(诸如与一个或多个手持或远程装置80(图1)，包括一个或多个智能电话)进行通信。远程装置80还可包括显示器72以向用户U显示一个或多个图像和其他信息。例如，远程装置80可在显示器72上显示挂车18的一个或多个图像，并且还可被配置为经由触摸屏电路76接收远程用户输入。另外，远程装置80可提供反馈信息，诸如视觉、听觉和触觉警报。
在一些实施例中，挂接辅助***10还可与一个或多个指示器装置78通信。指示器装置78可对应于常规的车辆指示器，诸如车辆喇叭78a、灯78b、扬声器***78c、车辆附件78d等。在一些实施例中，指示器装置78还可包括一个或多个附件78d，所述一个或多个附件可对应于通信装置、遥控器和可提供用户U与车辆12之间的状态和操作反馈的各种装置。例如，在一些实施例中，HMI 66、显示器72和触摸屏74可由控制器14控制，以提供识别操作或接收指令或反馈以控制挂接辅助***10的状态更新。另外，在一些实施例中，远程装置80可与控制器14通信并且被配置为显示或以其他方式指示与挂接辅助***10的操作相关的一个或多个警报或消息。
仍然参考图2中所示的实施例，控制器14被配置有微处理器82，以用于处理存储在存储器84中的逻辑和程序，所述逻辑和程序接收来自上述传感器和车辆***的信息，所述传感器和车辆***包括成像***60、动力助力转向***50、车辆制动控制***62、动力传动***控制***64和其他车辆传感器和装置。控制器可经由车辆12的通信网络与本文描述的各种装置通信，所述通信网络可包括控制器局域网(CAN)、局域互连网(LIN)或汽车工业中使用的其他协议。控制器14可根据所接收的全部或一部分信息来生成车辆转向信息和命令。此后，可将车辆转向信息和命令提供给动力助力转向***50以用于影响车辆12的转向以实现命令的行驶路径20(图3)以便与挂车18的联接件16对准。控制器14可包括微处理器82和/或用于处理一个或多个程序的其他模拟和/或数字电路。此外，控制器14可包括存储器84以存储一个或多个程序，所述一个或多个程序包括图像处理程序86和/或挂接检测程序、路径推导程序88和操作程序90。
应明白，控制器14可以是独立专用控制器，或者可以是与其他控制功能集成，诸如与车辆传感器***、动力助力转向***50以及其他可设想到的车载或车外车辆控制***集成的共享控制器。应进一步明白，图像处理程序86可由例如车辆12的独立成像***内的专用处理器(包括微处理器82)来实施，所述专用处理器可将其图像处理的结果输出到车辆12的其他部件和***。此外，完成图像处理功能(诸如本文所述的功能)的任何***、计算机、处理器等可在本文中被称为“图像处理器”，而不管它还可实施(包括与执行图像处理程序86同时实施)的任何其他功能。
***10还可包含成像***60，所述成像***包括一个或多个外部相机。外部相机的示例在图4中示出并且包括后置相机60a、中央高位刹车灯(CHMSL)相机60b和侧视相机60c和60d，但是包括另外或替代相机的其他布置是可能的。在一个示例中，成像***60可仅包括后置相机60a，或者可被配置为使得***10仅利用具有多个外部相机的车辆中的后置相机60a。在另一个示例中，包括在成像***60中的各种相机60a至60d可被定位成在它们相应的视野中大致重叠，在所描绘的布置中，所述视野包括视野92a、92b、92c和92d以与后置相机60a、中央高位刹车灯(CHMSL)相机60b和侧视相机60c和60d分别对应。通过这种方式，来自两个或更多个相机的图像数据可在图像处理程序86中或在成像***60内的另一个专用图像处理器中组合成单个图像。
作为组合来自多个相机的图像数据的示例，图像数据可用于推导立体图像数据，所述立体图像数据可用于重建不同视野92a、92b、92c和92d的重叠区域内的一个或多个区域的三维场景，包括其中的任何物体(例如，障碍物或联接件16)。在一个实施例中，鉴于图像源之间的已知的空间关系，对包括同一物体的两个图像的使用可用来确定物体相对于两个图像源的位置。在这方面，图像处理程序86可使用已知的编程和/或功能性来识别来自成像***60内的各种相机60a、60b、60c和60d的图像数据内的物体。在任一示例中，图像处理程序86可包括与存在于车辆12上或由***10利用的任何相机60a、60b、60c和60d的定位(例如，包括相对于车辆12的中心96(图1)的定位)有关的信息，使得相机60a、60b、60c和60d相对于中心96和/或彼此的位置可用于物体定位计算并产生相对于例如车辆12的中心96或车辆12的其他特征(诸如挂接件22(图1))的物***置数据，所述其他特征相对于车辆12的中心96的位置是已知的。
图像处理程序86可被具体地编程为或以其他方式配置为在图像数据内定位联接件16。在一个示例中，图像处理程序86可基于存储的或以其他方式已知的联接件16(或总的来说，挂接件)的视觉特性来识别图像数据内的联接件16。在另一个实施例中，贴纸等形式的标记可按照类似于共同转让的第9,102,271号美国专利中所述的方式贴附在挂车18上的相对于联接件16的指定位置，所述美国专利的全部公开内容通过引用并入到本文中。在此类实施例中，图像处理程序86可被编程为识别用于图像数据中的位置的标记的特性，以及联接件16相对于此类标记的定位，使得联接件16的位置24可基于标记位置来确定。
另外或替代地，控制器14可经由触摸屏74上的提示来寻求对所确定的联接件16的确认。如果未确认联接件16的确定，则可提供进一步的图像处理，或者可使用触摸屏74或另一个输入以允许用户U在触摸屏74上移动所描绘的联接件16的位置24来促进联接件16的位置24的用户调整，控制器14使用所述调整来基于上述图像数据的使用来调整对联接件16相对于车辆12的位置24的确定。替代地，用户U可视觉上确定HMI 66上呈现的图像内的联接件16的位置24，并且可以与共同转让的美国专利号10,266,023中描述的类似的方式提供触摸输入，该专利申请的公开内容全文以引用方式并入本文。然后，图像处理程序86可将触摸输入的位置与施加到在显示器72上示出的图像数据的坐标系36相关联，这可如图3所示进行描绘。
如图3中所示，图像处理程序86和操作程序90可彼此结合使用以确定路径20，挂接辅助***10可沿着所述路径引导车辆12以将挂接件22与挂车18的联接件16对准。在所示的示例中，车辆12相对于挂车18的初始位置可使得联接件16仅位于侧视相机60c的视野92c中，其中车辆12被定位在挂车18的横向上，但联接件16几乎与挂接件22纵向对准。通过这种方式，在诸如通过例如触摸屏74上的用户输入启动挂接辅助***10时，图像处理程序86可识别相机60c的图像数据内的联接件16并估计联接件16相对于挂接件22的位置24。***10可通过接收图像数据内的焦距信息使用图像数据来识别联接件16的位置24，以确定距联接件16的距离Dc和联接件16与车辆12的纵向轴线之间的偏移角αc。可根据联接件16在图像数据的视野内的位置24来使用该信息，以确定或估计联接件16的高度Hc。一旦用户U确定并任选地确认了联接件16的定位Dc、αc，控制器14就可控制至少车辆转向***50以控制车辆12沿着所需路径20的移动以将车辆挂接件22的挂接位置26与联接件16对准。
在另外参考图2的情况下继续参考图3和图4，在一个示例中，控制器14在如上文所讨论的已经估计了联接件16的定位Dc、αc之后可执行路径推导程序88以确定车辆路径20，从而将车辆挂接件22与联接件16对准。具体地，控制器14可在存储器84中存储有车辆12的各种特性，包括轴距W、从后车桥到挂接件22的距离(在本文中被称为牵引杆长度L)，以及转向轮54可转动的最大角度δmax。如图所示，轴距W和当前转向角度δ可用于根据以下公式确定车辆12的对应转弯半径ρ：
Figure BDA0003371655910000131
其中轴距W是固定的，并且转向角δ可由控制器14通过与转向***50的通信进行控制，如上文所讨论的。通过这种方式，当已知最大转向角δmax时，转弯半径ρmin的最小可能值被确定为：
Figure BDA0003371655910000132
路径推导程序88可被编程为推导车辆路径20以将车辆挂接件22的已知位置与联接件16的估计位置24对准，其考虑所确定的最小转弯半径ρmin以允许路径20使用最小空间和操纵量。通过这种方式，路径推导程序88可使用车辆12的位置(所述位置可基于车辆12的中心96、沿着后车桥的位置、航迹推算装置34的位置或在坐标系36上的另一个已知位置)来确定距联接件16的横向距离和距联接件16的前向或后向距离两者，并推导路径20，所述路径在转向***50的限制内实现车辆12所需的横向和前后移动。对路径20的推导进一步考虑了基于长度L的挂接件22相对于车辆12的被跟踪位置(其可对应于车辆12的质心96、GPS接收器的位置或另一个指定的已知区域)的定位以确定车辆12的所需定位以将挂接件22与联接件16对准。
再次参考图1和图2，在一些情况下，HMI 66还包括输入装置，所述输入装置可通过将显示器72配置为具有输入电路76的触摸屏74的一部分来实施，以接收与显示器72上的位置相对应的输入。代替触摸屏74或除了触摸屏之外，还可使用其他形式的输入(包括一个或多个操纵杆、数字输入盘等)。
此外，挂接辅助***10可经由通信电路102与一个或多个手持式或远程装置30(图1)通信地耦接，所述一个或多个手持式或远程装置可另外和/或替代地被配置为用户输入装置。通信电路102可包括用于发射和接收信号的射频发射器和接收器。信号可被配置为传输数据并且可对应于各种通信协议。通信电路102可用于发送和接收数据和/或视听内容。通信网络102可利用各种有线或无线通信机制中的一种或多种，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合，以及任何期望的网络拓扑(或当使用多个通信机制时的多个拓扑)。示例性无线通信网络包括无线收发器，所述无线收发器被配置为经由一种或多种无线协议(例如，
Figure BDA0003371655910000141
低功耗[BLE]、超宽带[UWB]；和Z-
Figure BDA0003371655910000142
Figure BDA0003371655910000143
Wi-Fi[802.11a、b、g、n等]、IrDA、RFID等)、局域网(LAN)、广域网(WAN)(包括互联网、GSM、CDMA、WCDMA、GPRS、MBMS、WiMax、DVB-H、ISDB-T等)以及可能在以后开发的高级通信协议进行通信。
在各种实现方式中，***10可基于一种或多种位置检测技术来识别远程装置30靠近车辆的位置，所述位置检测技术可归因于通信电路102。例如，通信电路102可基于飞行时间检测以及基于RSS(接收信号强度)、AOA(到达角)、TOA(到达时间)和TDOA(到达时间差)的到达角或离去角(angle of departure)方向信号确定来检测远程装置30的位置，所述检测和确定可由一个或多个无线协议(例如，
Figure BDA0003371655910000151
低功耗(BLE)、超宽带等)支持。基于这些方法，可在小于20厘米的范围内识别远程装置30的位置和用户U的推断位置。另外，可通过检测在由成像***60捕获的图像数据中所识别的用户U的相关联位置来在图像数据中检测远程装置30的位置。如参考图7和图8进一步讨论的，图像数据可显示在HMI 66的显示器72上和/或远程装置30上。
远程装置30还可包括触摸屏104，所述触摸屏具有显示器106和触摸输入电路108，所述显示器用于向用户U显示图形数据110或模拟场景122(图7和图8)和其他信息。例如，远程装置30可在显示器106上显示挂车18的图形数据110，并且可进一步能够经由触摸输入电路108接收远程用户输入。另外，远程装置30可提供反馈信息，诸如视觉、听觉和触觉警报。应理解，远程装置30可以是各种计算装置中的任何一种，并且可包括处理器和存储器。例如，远程装置30可以是手机、移动通信装置、密钥卡、可穿戴式装置(例如，健身手环、手表、眼镜、珠宝、钱包)、个人数字助理、耳机和/或包括用于无线通信和/或任何有线通信协议的能力的其他装置。
现在参考图1和图5至图12，进一步详细讨论了***10与远程装置30结合的协调操作。在操作中，远程装置30可用作***装置或远程用户界面以支持车辆12的远程操作，其中用户U位于车辆12的乘客舱120外部。在一些情况下，控制器14可将车辆路径20或与车辆路径20相关的信息经由通信电路102传达给远程装置30。基于车辆路径20，控制器14和/或远程装置30可被配置为计算车辆12的行驶区30c之外的第一观察区30a和第二观察区30b。如先前所讨论的，可基于车辆12(例如，车辆12的周边)在车辆路径20的模拟穿越中的取向和比例来计算行驶区30c。更具体地，控制器14和/或远程装置30可模拟车辆12穿越车辆路径20所需的转向角和对应取向。以这种方式，远程装置30可能够操作以显示车辆12的行驶区30c以及相关观察区30a和30b的模拟场景122，如图7和图8中所展示的图形数据110所描绘的。
现在参考图5和图6，示出了车辆12和挂车18的平面图，其展示了挂接件22的挂接件观察区130a和联接件16的联接件观察区130b。在一些情况下，可基于车辆12和挂车18中的每一个的几何形状，基于用户U的估计或分配高度来计算和模拟观察区30a和30b。例如，车辆12周围的区域(用户U可从这些区域看到挂接件22)可基于车辆的比例(例如，宽度、厢侧高度(box-side height)、卡车/后挡板高度和比例等)和用户U的身高而变化。车辆12的几何形状可由制造商在***10的存储器84中编程。因此，基于用户U的预定或用户定义高度，***10的控制器14可将挂接件观察区130a限定为靠近车辆12且在行驶区30c之外。
***10还可被配置为基于挂车18的几何形状来计算联接件观察区130b。与车辆12的几何形状不同，挂车18的几何形状可变化并且可不由车辆12的制造商具体限定。挂车18的几何形状可由用户U输入，或者可经由控制器14经由通信电路102可访问的挂车数据库进行加载。可基于对经由控制器14的图像处理算法识别的挂车18的类型或类别的识别来辅助挂车几何形状的输入。因此，挂车18的类别或模板可由控制器14基于图像数据分配，并且可经由与参考图像处理程序86讨论的那些类似的处理技术进行处理。以这种方式，控制器可检测和/或接收识别挂车18的几何形状的输入，并且基于挂车几何形状和用户U的身高，控制器14可限定联接件观察区130b。
一旦确定了挂接件观察区130a和联接件观察区130b，控制器14就可将观察区30a和30b限定为挂接件观察区130a与联接件观察区130b之间的联合。在针对车辆12和挂车18的组合限定了挂接件观察区30a和30b的情况下，***10可控制车辆HMI 66和/或远程装置30以基于车辆12和挂车18的具体几何形状来显示行驶区30c和相关观察区30a和30b的模拟场景122，如参考图7和图8所展示和进一步讨论的。以这种方式，***10可用远程装置30传达用户U站立的位置，以提供车辆12的挂接件22与挂车18的联接件16的对准的最佳视图。
另外，可通过检测在由成像***60捕获的图像数据中所识别的用户U的相关联位置来在图像数据中检测远程装置30的位置。如参考图7和图8进一步讨论的，图像数据可显示在HMI 66的显示器72上和/或远程装置30上。
现在参考图7和图8，示出了车辆12和挂车18的模拟场景122，其展示了观察区30a和30b以及行驶区30c。在操作中，可基于车辆12沿着车辆路径20的移动以及远程装置30的位置124来更新模拟场景122。以这种方式，***10可在HMI 66和/或远程装置30上提供模拟场景122的显示。模拟场景122还可包括一个或多个指令140，所述一个或多个指令可引导用户U移动以便将远程装置30定位在观察区30a、30b中的一个中。以这种方式，***10可在实施操作程序90的同时，传达图形指令以指导和指示用户U定位在观察区30a、30b内，并由此将远程装置30定位在观察区30a、30b内。
如图7中所描绘的，模拟场景122被示出为包括指令140，所述指令引导用户U离开车辆12并将远程装置30定位在观察区30a、30b中的一个中。在操作中，在HMI 66和/或远程装置30上描绘的模拟场景122可展示车辆12相对于挂车18的估计位置以及沿着车辆路径20定位在车辆与挂车之间的对应行驶区30c。另外，可在模拟场景122中描绘识别远程装置30的相对位置和用户U的推断位置的用户符号142。如图7中所描绘的，用户U位于第一观察区30a中。以这种方式，***10可向用户U提供指令和反馈，使得用户可容易地位于观察区30a、30b中的一个中并且在车辆12的行驶区30c之外。
现在参考图8，模拟场景122展示了传达给用户U以协助完成操作程序90的附加指令140。如参考图12进一步讨论的，本公开可提供经由远程装置30对车辆12的远程操作，并且可跟踪远程装置30的位置以实现车辆沿着车辆路径20的运动。在此类操作期间，***10的控制器14可响应于远程装置30和用户U的推断位置在观察区30a、30b之外而停止或抑制车辆12的运动。如图8中所描绘的，指令140指示车辆运动被暂停，并请求用户进入观察区30a、30b中的一个以恢复操作程序90。如先前所讨论的，模拟场景122可包括识别远程装置30接近车辆12和挂车18的位置的用户符号142。另外，模拟场景122可包括定位指令144的图形表示，所述定位指令可协助用户U识别移动到何处以便进入观察区30a、30b中的一个。因此，根据本公开，所述***可提供模拟场景122以便在HMI 66的显示器72和/或远程装置30的显示器106上显示。
如先前所讨论的，***10可通过监测经由通信电路102去往和来自远程装置30的通信信号来识别远程装置30的位置。因此，***10可基于RSS(接收信号强度)、AOA(到达角)、TOA(到达时间)和TDOA(到达时间差)来检测远程装置30的位置，它们可由一个或多个无线协议(例如，
Figure BDA0003371655910000181
低功耗(BLE)、超宽带等)支持。另外，远程装置30的位置可用于推断用户U的位置。尽管本文参考远程装置30的位置的检测描述了特定定位技术，但***10可利用各种技术，包括超声接近检测、单色或立体成像、LIDAR(激光成像、检测和测距)等。因此，在不脱离本公开的精神的情况下，可经由多种传感技术来实施本文描述的方法和***。
图9展示了车辆12沿着车辆路径20导航到目标位置或位置150的平面图。目标位置150可对应于车辆12的挂接件22与挂车18的联接件16对准的位置。如图所示，车辆12的行驶区30c可沿着车辆路径20延伸并且可基于车辆(例如，车辆的周边)基于车辆路径20的模拟穿越的取向和比例来计算。以这种方式，***可计算车辆12的行驶区30c并向用户U提供识别至少一个观察区30a、30b的指示，在操作程序90期间从所述至少一个观察区观察和/或控制车辆12的操作。
如先前所讨论的，观察区30a、30b可被计算为挂接件观察区130a和联接件观察区130b的联合，所述挂接件观察区和所述联接件观察区定位在车辆12的操纵路径之外的行驶区30c的相对侧上。在各种实现方式中，观察区30a、30b的比例可固定，也可调整，以在整个操作程序90中优化挂接件22和联接件16的视图。例如，箭头152表示基于车辆12沿着车辆路径20的位置的观察区30a、30b中的每一个的变化边界。在此类情况下，响应于观察区30a、30b的变化比例，可指示用户U在观察区30a、30b内重新定位远程装置30。如箭头152所表示，观察区30a、30b的变化比例可以是由于车辆12沿着车辆路径20移动而引起的挂接件观察区130a的变化。在此类实现方式中，***10可能够操作以在模拟场景122中显示指令，所述指令识别观察区30a、30b的变化边界，并指示用户U将远程装置30保持在观察区30a、30b的变化比例内。
作为对模拟场景122的显示的补充或替代，***10可被配置为输出指示用户U保持在观察区30a、30b中的一个内的位置的各种指示。例如，控制器14可控制车辆12的指示器装置78(例如，灯78b、扬声器***78c、附件78d等)以指示用户U远离车辆12的一部分移动、在车辆的一部分后面进一步移动或相对于车辆的一部分沿某一方向移动。例如，控制器14可以增加的强度或频率照亮车辆12的尾灯以识别出车辆12正在接近用户U。类似地，控制器14可控制车辆的转向指示器以指示用户U相对于车辆12的后部在对应的左侧或右侧方向上移动，使得用户U定位在观察区30a、30b中的一个内。另外，控制器14可经由扬声器***78c向用户U输出可听指令，所述可听指令指示用户U相对于车辆12移动的相对位置。因此，***10可指示或引导用户U以各种方式保持在观察区30a、30b中的一个中的位置。
现在参考图10和图11，参考在观察区30a、30b中的一个内检测到物体或障碍物来讨论***10的示例性操作。图10展示了由车辆12的成像***60捕获的后向场景160，其展示了车辆路径20和第一观察区30a的图形表示。图11描绘了图10中描绘的场景160的平面图。在所示示例中，障碍物或物体162位于第二观察区30b内。如所描绘的，障碍物162对应于机动车辆。然而，障碍物162可被控制器14识别为可限制用户U在观察区30a、30b中的一个的边界内或附近的移动的任何物体或妨碍物。以这种方式，***10可确保观察区30a、30b中的每一个不仅适合于在操作程序90期间观察挂接件22和联接件16，而且用户U可接近对应于观察区30a、30b的区域。
如图11所示，模拟场景122识别出第二观察区30b被遮挡。因此，模拟场景122展示了识别用户U在第一观察区30a内的位置的图形指令。另外，箭头152表示第一观察区30a和对应路径的变化比例，当控制车辆12穿越车辆路径20以到达目标位置150时，用户U可被指示沿着所述路径重新定位。因此，***10可识别位于观察区30a、30b中的一个内的各种物体的障碍物162，并向用户U提供对应指令，以将远程装置30定位在未被物体或障碍物162阻挡的观察区30a、30b内。
再次参考图10，后向场景160可显示在HMI 66上的显示器72和/或远程装置30的显示器106上。后向场景160可包括在由成像***60捕获的图像数据中相对于联接件16和挂车18示出的观察区30a、30b的图形表示。另外，可通过叠加在图像数据上的边界164来勾勒或强调联接件位置24的位置。边界164可用于向用户U通知在后向场景160中所识别的联接件16的所识别的联接件位置24的大致位置。最后，车辆路径20的图形表示可叠加在后向场景160的图像数据上，从而识别从挂接件22延伸到联接件16的车辆路径的近似值。因此，***10可提供模拟场景122形式的视觉指令，以及包括叠加在后向场景160上的图形覆盖物的增强视频。以这种方式，***10可向用户U提供直观指令，以将远程装置30定位在观察区30a、30b中的一个内。
现在参考图12，示出了用于指导用户U将远程装置30定位在观察区30a、30b中的一个内的方法170。方法170可响应于在选择远程观察选项的情况下启动操作程序90而开始，从而允许用户U从乘客舱120外部观察车辆12的导航(172)。在启动操作程序90时，方法170可计算车辆12的行驶区30c和观察区30a、30b(174)。在计算出观察区30a、30b的情况下，控制器14可扫描图像数据以获取各种传感器数据，以确定障碍物或物体是否位于观察区30a、30b中的一个中(176)。如果在步骤176中识别出障碍物，则控制器14可识别对应的观察区30a和/或30b并限制或撤回对用户的指令，使得被遮挡的观察区不可用于观察(178)。如果在步骤176中或在步骤178中限制观察区中的一个之后未识别出障碍物，则方法170可继续识别远程装置的位置(180)。
利用观察区30a、30b的比例和远程装置30的位置，控制器14可输出一个或多个指令，所述一个或多个指令指导用户U进入观察区30a、30b中的一个或任一个(182)。如本文所讨论的，可经由HMI66的显示器72和/或远程装置30的显示器106向用户U提供指令。所述指令还可经由车辆的各种指示器装置78(例如，灯78b、扬声器***78c、附件78d等)以及可与***10通信的远程装置30的类似指示器装置或各种其他车辆附件来输出。另外，在步骤184中，控制器14可基于检测到的远程装置30的位置变化来更新传达给用户U的指令。因此，方法170可提供灵活的解决方案来指示用户U将远程装置30定位在观察区30a、30b中的一个内。
通过继续监测远程装置30的位置，方法170可在步骤186中确定远程装置30是否位于观察区中。如果远程装置30不位于观察区30a、30b中的一个中，则可暂停车辆的运动控制操作(188)。如先前参考步骤178所讨论的，如果观察区30a、30b中的一个由于物体或障碍物162而受到限制，则步骤186中的检测可限于被识别为可接近或无障碍的观察区30a或30b中的一个。如果在步骤186中在观察区30a、30b中的一个内识别出远程装置30，则方法170可继续控制车辆12沿着车辆路径20的运动(190)。
如先前所讨论的，***10可基于由车辆12的位置或运动的变化产生的挂接件22的挂接件观察区130a来提供观察区30a、30b的比例的更新参数(192)。基于观察区30a、30b的变化比例，方法170可继续监测远程装置30的位置并向用户U提供将远程装置30定位在观察区中的指令，如先前在步骤180、182和184中所讨论的。最后，基于车辆12沿着车辆路径20的持续运动，在步骤194中，***10可识别车辆是否被定位成与目标位置150对准。如果在步骤194中车辆12未与目标位置150对准，则所述方法可返回到步骤186以验证远程装置30位于观察区30a、30b中的一个中。如果在步骤194中车辆12位于目标位置150，则方法170可由于车辆12的自动或半自动移动响应于目标位置150的对准而结束(196)。
应理解，任何所描述的过程或在所描述的过程内的步骤可以与其他所公开的过程或步骤组合以形成在本公开的范围内的结构。本文公开的示例性结构和过程用于说明性目的，而不应解释为限制性。
根据本发明，提供了一种车辆控制***，所述车辆控制***具有：至少一个检测装置，所述至少一个检测装置被配置为捕获检测数据；以及控制器，所述控制器用于：识别车辆的从所述车辆的当前位置延伸到目标位置的行驶路径；响应于所述行驶路径，计算被所述车辆穿越所述行驶路径所占用的行驶区；确定靠近所述行驶区的至少一个观察区；基于所述检测数据来确定用户的位置；以及响应于所述用户相对于所述至少一个观察区的位置来控制所述车辆沿着所述行驶路径的导航程序。
根据实施例，所述行驶区的周边基于所述车辆的外部边界和所述车辆的穿越所述行驶路径的取向来计算。
根据实施例，本发明的特征还在于：车辆操纵***，所述车辆操纵***响应于从所述控制器所接收的指令控制所述车辆沿着所述行驶路径的速度和转向角。
根据实施例，所述至少一个检测装置包括通信模块，所述通信模块被配置为与包括用户界面的远程装置通信，其中所述通信模块识别所述远程装置的位置并推断所述用户的所述位置。
根据实施例，所述控制器进一步：响应于所述远程装置在所述观察区之外的所述位置，生成将所述远程装置重新定位在所述观察区中的指令，其中所述指令提供将所述远程装置重新定位在所述观察区中的方向和距离中的至少一者。
根据实施例，所述控制器进一步：响应于所述远程装置在所述观察区之外的所述位置，控制所述车辆以暂停所述车辆沿着所述行驶路径的所述导航程序。
根据实施例，所述控制器进一步：指示所述远程装置展示模拟场景，所述模拟场景展示了所述车辆的所述行驶区和所述观察区。
根据实施例，所述远程装置的所述位置在所述模拟场景中进一步展示。
根据实施例，本发明的特征还在于：成像器，所述成像器被配置为在靠近所述车辆的视野中捕获图像数据。
根据实施例，所述控制器进一步：在所述图像数据中识别挂车的联接件位置；以及计算到所述目标位置的所述行驶路径，所述目标位置将所述车辆的联接件与所述挂车的挂接件对准。
根据实施例，所述至少一个观察区包括第一观察区和第二观察区，所述第一观察区沿着所述行驶路径邻近所述车辆的第一侧部定位，并且所述第二观察区沿着所述行驶路径邻近所述车辆的第二侧部定位。
根据实施例，所述控制器进一步：检测所述第一观察区中的物体；以及响应于所述物体的所述检测，控制所述远程装置输出将所述用户定位在所述第二观察区中的指令。
根据实施例，所述指令进一步响应于在所述第一观察区中检测到所述对象而指示所述远程装置移除所述第一观察区。
根据本发明，提供了一种用于实施观察区以监测半自动化车辆操作的方法，所述方法具有：识别车辆的行驶路径，其中所述行驶路径包括所述车辆的从当前位置延伸到目标位置的行驶区；响应于所述行驶路径，计算被所述车辆穿越所述行驶路径所占用的所述行驶区；基于所述行驶区来确定至少一个观察区的周边；以及响应于用户相对于所述至少一个观察区的所述周边的位置来控制所述车辆沿着所述行驶路径的导航程序。
根据实施例，基于经由通信模块识别出的远程装置的位置来检测所述用户的所述位置。
根据实施例，本发明的特征还在于：响应于所述远程装置在所述观察区之外的所述位置，生成将所述远程装置重新定位在所述观察区中的指令。
根据实施例，所述指令提供将所述远程装置重新定位在所述观察区中的方向和距离中的至少一者。
根据实施例，本发明的特征还在于：响应于所述远程装置在所述观察区之外的所述位置，控制所述车辆以暂停沿着所述行驶路径的操纵程序。
根据本发明，提供了一种用于辅助将车辆与挂车对准以进行挂接的***，所述***具有：车辆操纵***，所述车辆操纵***控制所述车辆沿着行驶路径的速度和转向角；通信模块，所述通信模块被配置为与包括用户界面的远程装置通信，其中所述通信模块识别所述远程装置的位置并推断所述用户的所述位置；成像***，所述成像***捕获并处理视野中的图像数据；以及控制器，所述控制器用于：在所述图像数据中识别挂车的联接件位置；计算从所述车辆的当前位置延伸到目标位置的所述行驶路径，其中所述目标位置将所述车辆的联接件与所述挂车的挂接件对准；基于所述行驶路径，计算被所述车辆穿越所述行驶路径所占用的行驶区；确定靠近所述行驶区的至少一个观察区；以及响应于所述远程装置相对于所述至少一个观察区的所述位置，控制所述车辆操纵***沿着所述行驶路径的导航程序。
根据实施例，所述控制器进一步：响应于所述远程装置在所述观察区之外的所述位置，控制所述车辆操纵***以暂停所述车辆沿着所述行驶路径的所述导航程序。

Claims (15)

1.一种车辆控制***，其包括：
至少一个检测装置，所述至少一个检测装置被配置为捕获检测数据；以及
控制器，所述控制器用于：
识别车辆的从所述车辆的当前位置延伸到目标位置的行驶路径；
响应于所述行驶路径，计算被所述车辆穿越所述行驶路径所占用的行驶区；
确定靠近所述行驶区的至少一个观察区；
基于所述检测数据来确定用户的位置；以及
响应于所述用户相对于所述至少一个观察区的位置来控制所述车辆沿着所述行驶路径的导航程序。
2.根据权利要求1所述的控制***，其中所述行驶区的周边基于所述车辆的外部边界和所述车辆的穿越所述行驶路径的取向来计算。
3.根据权利要求1所述的控制***，其还包括：
车辆操纵***，所述车辆操纵***响应于从所述控制器所接收的指令控制所述车辆沿着所述行驶路径的速度和转向角。
4.根据权利要求1至3中任一项所述的控制***，其中所述至少一个检测装置包括通信模块，所述通信模块被配置为与包括用户界面的远程装置通信，其中所述通信模块识别所述远程装置的位置并推断所述用户的所述位置。
5.根据权利要求4所述的控制***，其中所述控制器进一步：
响应于所述远程装置在所述观察区之外的所述位置，生成将所述远程装置重新定位在所述观察区中的指令，其中所述指令提供将所述远程装置重新定位在所述观察区中的方向和距离中的至少一者。
6.根据权利要求4所述的控制***，其中所述控制器进一步：
响应于所述远程装置在所述观察区之外的所述位置，控制所述车辆以暂停所述车辆沿着所述行驶路径的所述导航程序。
7.根据权利要求4所述的控制***，其中所述控制器进一步：
指示所述远程装置展示模拟场景，所述模拟场景展示了所述车辆的所述行驶区和所述观察区。
8.根据权利要求7所述的控制***，其中所述远程装置的所述位置在所述模拟场景中进一步展示。
9.根据权利要求4所述的控制***，其还包括：
成像器，所述成像器被配置为在靠近所述车辆的视野中捕获图像数据。
10.根据权利要求9所述的控制***，其中所述控制器进一步：
在所述图像数据中识别挂车的联接件位置；以及
计算到所述目标位置的所述行驶路径，所述目标位置将所述车辆的联接件与所述挂车的挂接件对准。
11.根据权利要求10所述的控制***，其中所述至少一个观察区包括第一观察区和第二观察区，所述第一观察区沿着所述行驶路径邻近所述车辆的第一侧部定位，并且所述第二观察区沿着所述行驶路径邻近所述车辆的第二侧部定位。
12.根据权利要求11所述的控制***，其中所述控制器进一步：
检测所述第一观察区中的物体；以及
响应于所述物体的所述检测，控制所述远程装置输出将所述用户定位在所述第二观察区中的指令。
13.根据权利要求12所述的控制***，其中所述指令进一步响应于在所述第一观察区中检测到所述物体而指示所述远程装置移除所述第一观察区。
14.一种用于实施观察区以监测半自动化车辆操作的方法，所述方法包括：
识别车辆的行驶路径，其中所述行驶路径包括所述车辆的从当前位置延伸到目标位置的行驶区；
响应于所述行驶路径，计算被所述车辆穿越所述行驶路径所占用的所述行驶区；
基于所述行驶区来确定至少一个观察区的周边；以及
响应于用户相对于所述至少一个观察区的所述周边的位置来控制所述车辆沿着所述行驶路径的导航程序。
15.根据权利要求14所述的方法，其中基于经由通信模块识别出的远程装置的位置来检测所述用户的所述位置。
CN202111403860.6A 2020-11-24 2021-11-24 用于远程车辆控制和行人用户指导的***和方法 Pending CN114537061A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/102,915 US20220161616A1 (en) 2020-11-24 2020-11-24 System and method for remote vehicle control and pedestrian user coaching
US17/102,915 2020-11-24

Publications (1)

Publication Number Publication Date
CN114537061A true CN114537061A (zh) 2022-05-27

Family

ID=81453033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111403860.6A Pending CN114537061A (zh) 2020-11-24 2021-11-24 用于远程车辆控制和行人用户指导的***和方法

Country Status (3)

Country Link
US (1) US20220161616A1 (zh)
CN (1) CN114537061A (zh)
DE (1) DE102021130387A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112776715A (zh) * 2021-01-13 2021-05-11 广州驰享汽车用品有限公司 一种房车监控***
US11511801B2 (en) * 2021-02-05 2022-11-29 Ford Global Technologies, Llc Trailer backup assist systems and methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US11179981B2 (en) * 2012-07-05 2021-11-23 Uusi, Llc Vehicle trailer connect system
US10266023B2 (en) 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer
EP3459827B1 (en) * 2017-09-25 2022-07-27 Volvo Car Corporation Method and system for automated parking of a vehicle
RU2740111C1 (ru) * 2017-12-20 2021-01-11 Ниссан Мотор Ко., Лтд. Способ управления парковкой и устройство управления парковкой
US10384605B1 (en) * 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US11567514B2 (en) * 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target

Also Published As

Publication number Publication date
US20220161616A1 (en) 2022-05-26
DE102021130387A1 (de) 2022-05-25

Similar Documents

Publication Publication Date Title
US20180361929A1 (en) Vehicle rear object proximity system using multiple cameras
US10962980B2 (en) System and methods for reverse braking during automated hitch alignment
CN110641236A (zh) 对挂车耦接器与挂接球之间的干涉的检测和响应
US10800217B2 (en) Hitch assist system
US11505247B2 (en) System and method for trailer height adjustment
JP2021533028A (ja) ユーザ選択軌跡の追従および車両動き推定による自動後退
CN114537061A (zh) 用于远程车辆控制和行人用户指导的***和方法
CN111717116A (zh) 用于拖车对准的***和方法
CN110871837A (zh) 用于在辅助车辆操作中进行转向控制的***和方法
US20210347410A1 (en) Trailer gps location storage and recall for hitch assist operation
CN112776792A (zh) 用于车辆定位以操作自动挂接特征的引导式指导
CN111114219A (zh) 辅助照明在自动挂接操作中的应用
CN111791654A (zh) 用于拖车对准的***和方法
CN111055832A (zh) 挂接辅助***
CN111497817A (zh) 用于车辆对准控制的***和方法
CN111516669A (zh) 用于车辆对准控制的***和方法
CN110641453A (zh) 用于检测和响应于挂车倒退的***
CN111497537A (zh) 挂车挂接辅助
CN111152839A (zh) 从多辆已识别挂车中选择主挂车的自动挂接***
CN110641454A (zh) 用于以变化减少定位车辆的***及方法
CN113386508A (zh) 利用接触减少措施的挂车挂接辅助***
CN110641455A (zh) 用于拖车高度调整的***及方法
CN115534599A (zh) 包括挂车类型识别和自适应接口的挂车挂接辅助***
US11214105B2 (en) Saturated steering detection and operation for guided vehicle operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination