CN109094669A - 用于评估铰接角度的方法和设备 - Google Patents

用于评估铰接角度的方法和设备 Download PDF

Info

Publication number
CN109094669A
CN109094669A CN201810602715.2A CN201810602715A CN109094669A CN 109094669 A CN109094669 A CN 109094669A CN 201810602715 A CN201810602715 A CN 201810602715A CN 109094669 A CN109094669 A CN 109094669A
Authority
CN
China
Prior art keywords
trailer
characteristic point
vehicle
image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810602715.2A
Other languages
English (en)
Other versions
CN109094669B (zh
Inventor
M·纳塞里安
曾树青
A·路易斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109094669A publication Critical patent/CN109094669A/zh
Application granted granted Critical
Publication of CN109094669B publication Critical patent/CN109094669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D53/00—Tractor-trailer combinations; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/40—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids involving a temporarily extensible or alignable member
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种用于拖车识别的方法和设备。该方法包括：检测分别在第一和第二距离处获取的第一和第二图像中的拖车表面，产生围绕第一和第二图像中的拖车表面的边界框，确定第一和第二图像的边界框中的第一和第二组特征点，确定第一组特征点和第二组特征点之间的对应性以及边界框的边角之间的对应性，以及通过执行最小二乘分析求解第一和第二组特征点的三维真实世界坐标以及边界框的边角来评估拖车的至少一个尺寸。该方法可辅助车辆的操作者来将车辆挂钩与拖车联接件对准。

Description

用于评估铰接角度的方法和设备
引言
根据示例性实施例的设备和方法涉及检测拖车以及辅助将车辆挂钩联接于拖车联接件的操作者。更具体地说，根据示例性实施例的设备和方法涉及提供后视视频，以辅助车辆操作者进行拖车联接。
发明内容
一个或多个示例性实施例提供一种检测方法和设备，该检测方法和设备可基于拖车相对于车辆的视频和位置来确定拖车的尺寸。更具体地说，一个或多个示例性实施例提供一种方法和设备，该方法和设备可确定拖车的尺寸、拖车和车辆之间的距离以及拖车的铰接角度。
根据示例性实施例，提供一种用于拖车识别的方法。该方法包括：基于在第一距离处获取的拖车第一图像检测拖车的表面并且产生围绕拖车在第一图像中的检测表面的第一边界框；基于在第二距离处获取的拖车的第二图像检测拖车的表面并且产生围绕拖车在第二图像中的检测表面的第二边界框；确定第一边界框中的第一组特征点和第二边界框中与第一组特征点相对应的第二组特征点；确定第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性；以及通过执行最小二乘分析求解第一和第二组特征点的三维真实世界坐标以及第一和第二边界框的边角来评估拖车的至少一个尺寸。
该方法还可包括基于评估的至少一个尺寸和三维真实世界坐标来确定拖车相对于通过车辆中心的线的铰接角度。
铰接角度可从评估的至少一个尺寸以及拖车和车辆之间的距离来确定。评估的至少一个尺寸可以是拖车的宽度。
该距离可由来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的至少一个所提供的信息来确定。
确定铰接角度可包括基于三维真实世界坐标确定铰接角度。
评估的至少一个尺寸可以是拖车的高度和宽度。
该方法可进一步包括从面向车辆后部的摄像头中接收在第一距离处获取的拖车的第一图像，以及在第二距离处获取的拖车的第二图像。
该摄像头可以是中心高位刹车灯(CHMAL)摄像头。
确定第一组特征点和第二组特征点之间的对应性可包括确定与拖车相对于通过车辆中心的线的铰接角度相对应的旋转矩阵。第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性可基于旋转矩阵来确定。
根据示例性实施例，提供一种用于拖车识别的设备。该设备包括：至少一个存储器，该至少一个存储器包括计算机可执行指令；以及至少一个处理器，该至少一个处理器配置成读取并执行计算机可执行指令。这些计算机可执行指令可使得至少一个处理器：基于在第一距离处获取的拖车的第一图像来检测拖车的表面以及产生围绕拖车在第一图像中的检测表面的第一边界框；基于在第二距离处获取的拖车的第二图像检测拖车的表面并且产生围绕拖车在第二图像中的检测表面的第二边界框；确定第一边界框中的第一组特征点和第二边界框中与第一组特征点相对应的第二组特征点；确定第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性；以及通过执行最小二乘分析求解第一和第二组特征点的三维真实世界坐标以及第一和第二边界框的边角来评估拖车的至少一个尺寸。
计算机可执行指令可使得至少一个处理器基于评估的至少一个尺寸确定拖车相对于通过车辆中心的线的铰接角度。
计算机可执行指令可使得至少一个处理器基于评估的至少一个尺寸以及拖车和车辆之间的距离来确定铰接角度。评估的至少一个尺寸可以是拖车的宽度。
计算机可执行指令可使得至少一个处理器从由来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的至少一个所提供的信息来确定距离。
计算机可执行指令可使得至少一个处理器基于三维真实世界坐标确定铰接角度。
评估的至少一个尺寸可以是拖车的高度和宽度。
该设备可进一步包括面向车辆的后部的摄像头。计算机可执行指令可使得至少一个处理器从摄像头接收在第一距离处获取的拖车第一图像和在第二距离处获取的拖车第二图像。该摄像头可以是中心高位刹车灯(CHMAL)摄像头。
计算机可执行指令可使得至少一个处理器通过确定与拖车相对于通过车辆中心的线的铰接角度相对应的旋转矩阵来确定第一组特征点和第二组特征点之间的对应性。第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性可基于旋转矩阵来确定。
计算机可执行指令还可使得至少一个处理器基于捕获第一图像和第二图像的摄像头的焦距来评估拖车的至少一个尺寸。
从示例性实施例的以下详细描述和附图中，示例性实施例的其它目的、优点以及新颖特征会变得显而易见。
附图说明
图1示出根据示例性实施例的识别拖车的设备的框图；
图2示出根据示例性实施例的拖车识别方法的流程图；
图3示出根据示例性实施例的一方面的检测拖车图像中的特征点的视图；
图4示出根据示例性实施例的一方面的确定距拖车的各个距离处的边界框的视图；
图5示出根据示例性实施例的一方面的确定距拖车的各个距离处的边界框和特征点的图像；
图6A和6B示出根据示例性实施例的一方面的用于计算拖车相对于车辆中心线的铰接角度的视图。
具体实施方式
识别拖车并确定铰接角度的设备和方法现将参照附图的1-6B详细地描述，其中，类似的附图标记指代全篇中的类似元件。
以下公开会使得本领域技术人员能实践本发明的概念。然而，本文公开的示例性实施例仅仅是示例性的，且并不将本发明的概念限制为本文所描述的示例性实施例。此外，每个示例性实施例的特征或各方面的描述通常应被认为可用于其它示例性实施例的各方面。
还应理解的是，在本文陈述为第一元件“连接于”、“附连于”第二元件、“形成在”或“设置在”第二元件上的地方，第一元件可直接地连接于第二元件、直接地形成在或者直接地设置在第二元件上，或者可在第一元件和第二元件之间存在居间元件，除非陈述为第一元件“直接地”连接于、附连于第二元件、形成在或设置在第二元件上。此外，如果第一元件配置成“发送”信息或者从第二元件“接收”信息，则第一元件可将信息直接地发送至第二元件或者从第二元件接收信息，经由总线发送或接收信息，经由网络发送或接收信息，经由中间元件发送或接收信息，除非第一元件指示为将信息“直接地”发送至第二元件或者从第二元件接收信息。
在本发明全文中，所公开的一个或多个元件可组合成单个装置或者一个或多个装置。此外，各个元件可设置在单独的装置上。
诸如卡车的车辆包括拖车挂钩，这些拖车挂钩用作用于能被车辆牵引的拖车的附连点。可由车辆牵引的一些拖车可包括第五轮式、鹅颈式或低位安装联接件型拖车。为了将拖车附连于车辆，操作者须引导车辆以使得位于车辆的底盘中的挂钩或者位于车辆的背部上的挂钩与拖车的联接件对准。通常，使得车辆的挂钩与拖车联接件对准的过程频繁地需要进入和离开车辆，或者需要站立在车辆外部的另一人的指导。
为了解决上述问题，车辆的操作者可观察由后视摄像头或者后置摄像头提供的图像。图像可***作者用来引导车辆。然而，单独提供图像视图的后置或后视摄像头可能缺少诸如距拖车的距离、拖车角度以及拖车尺寸之类的其它信息。因此，将附加的信息提供给车辆的操作者或者用于使得车辆与拖车对准的车辆***可有助于对准和附连过程以及有助于车辆的操作者。
图1示出根据示例性实施例的用于拖车识别并提供拖车信息的设备100(即，用于拖车识别的设备)的框图。如图1中所示，根据示例性实施例的用于拖车识别的设备100包括控制器101、电源102、存储器103、输出装置104、用户输入装置106、拖车检测传感器107以及通信装置108。然而，用于拖车识别的设备100并不局限于前述构造并且可配置成包括附加的元件和/或省略一个或多个前述元件。用于拖车识别的设备100可实施为车辆的一部分、实施为独立部件、实施为车载和非车载装置之间的混合件或者实施在其它计算装置中。
控制器101控制用于拖车识别的设备100的总体操作和功能。控制器101可控制用于拖车识别的设备100的存储器103、输出装置104、用户输入装置106、拖车检测传感器107以及通信装置108的一个或多个。控制器101可包括来自处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件部件的组合的一个或多个。
控制器101配置成发送信息和/或从用于拖车识别的设备100的存储器103、输出装置104、用户输入装置106、拖车检测传感器107以及通信装置108的一个或多个接收信息。该信息可经由总线或网络发送和接收，或者可从用于拖车识别的设备100的存储器103、输出装置104、用户输入装置106、拖车检测传感器107以及通信装置108的一个或多个直接地读取或写入至上述部件。合适网络连接的示例包括控制器局域网(CAN)、面向媒体的***传输(MOST)、本地互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11的无线网络以及诸如以太网的其它合适连接。
根据示例，控制器101可从来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的一个或多个接收信息。来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的一个或多个的信息可用于确定车辆所行驶的距离或者车辆距拖车的距离。
电源102向用于拖车识别的设备100的控制器101、存储器103、输出装置104、用户输入装置106、拖车检测传感器107以及通信装置108的一个或多个提供电力。电源102可包括来自电池、插座、电容器、太阳能电池、发电机、风能装置、交流发电机等的一个或多个。
存储器103配置成存储信息并且检索由用于拖车识别的设备100所使用的信息。存储器103可由控制器101控制，以存储和检索从拖车检测传感器107检索的信息。该信息可包括由拖车检测传感器107检测的拖车上的信息、由拖车检测传感器107获取图像的图像信息、加速度计、速度计、超声传感器、里程计、雷达传感器或轮速传感器的信息和/或指示车辆是否与拖车联接的信息。存储器103还可包括计算机指令，这些计算机指令配置成由处理器执行，以执行用于拖车识别的设备100的功能。
存储器103可包括来自软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓存存储器以及适于存储机器可执行指令的其它类型的媒体/机器可读介质的一个或多个。
输出装置104输出呈一种或多种形式的信息，这些形式包括：视觉、听觉和/或触觉形式。输出装置104可由控制器101控制，以将输出提供给用于拖车识别的设备100的用户。输出装置104可包括来自扬声器、音频装置、显示器、位于中央的显示器、抬头显示器、挡风玻璃显示器、触觉反馈装置、振动装置、触觉反馈装置、分接反馈装置、全息显示器、仪表灯、指示器灯等的一个或多个。
输出装置104可输出包括来自听觉通知、光通知和显示器通知的一个或多个的通知。通知可指示车辆正处于挂接模式中或者试图与拖车挂接。此外，输出装置104可输出来自车辆后部的图像，以示出车辆的底盘和/或车辆后面的区域，包括车辆试图挂接于的拖车。可处理或者可调节来自车辆后部的图像，以包括与拖车相对于通过车辆中心的线的铰接角度相对应的图形，与拖车的边缘和车辆的一部分(例如，车辆车厢)之间的距离相对应的图形或者与拖车尺寸相对应的图形。
用户输入装置106配置成向用于拖车识别的设备100提供信息和指令。用户输入装置106可用于向控制器101提供用户输入等等。用户输入装置106可包括来自触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像头、触控板、鼠标、触摸板等等的一个或多个。用户输入装置106可配置成接收用户输入，以确认或撤销由输出装置104输出的通知。用户输入装置106还可配置成接收用户输入，以激活拖车检测算法或者激活用于拖车识别的设备100的挂接模式。
拖车检测传感器107可包括来自多个传感器的一个或多个，这些传感器包括成像传感器、摄像头、激光传感器、超声传感器、红外传感器、LIDAR(激光雷达传感器)、雷达传感器、超短程雷达传感器、超宽带雷达传感器和微波传感器。拖车检测传感器107可提供来自一个或多个后置摄像头的一个或多个图像，可分析这些图像以确定车辆的操作者是否旨在将车辆的底盘上的挂钩与拖车相联接，且分析这些图像以识别拖车和/或分析这些图像以识别拖车的联接件。
此外，可提供来自其它类型传感器的其它类型的信息，例如距离、红外图像、速度、速率、加速度、行驶方向、行驶距离、拖车和车辆或车辆摄像头之间的距离、摄像头的焦距等。例如，加速度计、速度计、超声传感器、里程计、雷达传感器或轮速传感器等等的信息。存储器103还可包括计算机指令，这些计算机指令配置成由处理器执行，以执行用于拖车识别的设备100的功能。可处理该信息，以确定车辆的操作者是否旨在将车辆的底盘上的挂钩与拖车相联接，确定拖车的类型，确定拖车的位置，确定关于车辆的运动的信息(例如，速率和/或轨迹)，或者确定车辆的底盘闸门是否打开。
通信装置108可由用于拖车识别的设备100使用，以根据各种通信方法来与各种类型的外部设备通信。通信装置108可用于发送/接收信息，该信息包括由拖车检测传感器107检测的拖车上的信息、来自拖车检测传感器107的诸如图像信息之类的信息、关于车辆动力学的诸如车辆速率和车辆轨迹之类的信息、加速度计、速度计、超声传感器、里程计、雷达传感器或轮速传感器的信息和/或指示车辆是否会与拖车联接的信息。存储器103还可包括计算机指令，这些计算机指令配置成由处理器执行，以执行用于拖车识别的设备100的功能，和/或包括指示车辆是否会与拖车相联接的信息，该信息发送至用于拖车识别的设备100的控制器101/从该控制器接收。
通信装置108可包括各种通信模块，例如来自远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块。广播接收模块可包括地面广播接收模块，该地面广播接收模块包括天线、解调器和均衡器等等，该天线用以接收地面广播信号。NFC模块是这样的模块，该模块根据NFC方法与位于附近距离处的外部设备通信。GPS接收器是这样的模块，该模块从GPS卫星接收GPS信号并且检测当前位置。有线通信模块可以是这样的模块，该模块经由诸如局域网、控制器局域网(CAN)或外部网络的有限网络接收信息。无线通信模块是这样的模块，该模块通过使用诸如IEEE 802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议而连接于外部网络，并且与外部网络通信。无线通信模块可进一步包括移动通信模块，该移动通信模块访问移动通信网络并且根据各种移动通信标准执行通信，这些移动通信标准例如是第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee。
根据示例性实施例，用于拖车识别的设备100的控制器101可配置成：基于在第一距离处获取的拖车的第一图像来检测拖车的表面以及产生围绕拖车在第一图像中的检测表面的第一边界框；基于在第二距离处获取的拖车的第二图像检测拖车的表面并且产生围绕拖车在第二图像中的检测表面的第二边界框；确定第一边界框中的第一组特征点和第二边界框中与第一组特征点相对应的第二组特征点；确定第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性；以及通过执行最小二乘分析求解第一和第二组特征点的三维真实世界坐标以及第一和第二边界框的边角来评估拖车的至少一个尺寸。
评估的至少一个尺寸可以是拖车的高度和宽度。特征点可对应于拖车的边缘、拖车上的物体、拖车的特征或者设置在拖车表面上的其它视觉可感知特征。
用于拖车识别的设备100的控制器101可配置成基于评估的至少一个尺寸和/或三维真实世界坐标来确定拖车相对于通过车辆中心的线的铰接角度。
用于拖车识别的设备100的控制器101可配置成基于拖车和车辆之间的距离以及拖车的宽度来确定铰接角度。
用于拖车识别的设备100的控制器101可配置成从由来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的至少一个所提供的信息来确定距离。
控制器还可配置成从面向车辆后部的摄像头中接收在第一距离处获取的拖车的第一图像，以及在第二距离处获取的拖车的第二图像。该摄像头可以是中心高位刹车灯(CHMAL)摄像头。
控制器101还可配置成通过确定与拖车相对于通过车辆中心的线的铰接角度相对应的旋转矩阵来确定第一组特征点和第二组特征点之间的对应性。第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性可基于旋转矩阵来确定。
图2示出根据示例性实施例的拖车识别方法的流程图。图2所示的方法可由用于拖车识别的设备100执行，或者可作为指令编码到计算机可读介质中，这些指令能由计算机执行以执行方法。
参照图2，在操作S210中，基于在第一距离处获取的拖车的第一图像来检测拖车的表面，以及产生围绕拖车在第一图像中的检测表面的第一边界框。在操作S220中，基于在第二距离处获取的拖车的第二图像来检测拖车的表面，以及检测围绕拖车在第二图像中的检测表面的第二边界框。在操作S230中，确定第一边界框中的第一组特征点和第二边界框中与第一组特征点相对应的第二组特征点。可重复操作S210-S230，直到捕获足够的样本图像以执行最小二乘分析为止。
在操作S240中，确定第一组特征点和第二组特征点之间的对应性以及第一边界框的边角和第二边界框的边角之间的对应性。然后，在操作S250中，通过执行最小二乘分析求解第一和第二组特征点的三维真实世界坐标以及第一和第二边界框的边角来评估拖车的至少一个尺寸。
图3示出根据示例性实施例的一方面的检测拖车图像中的特征点的视图。参照图3，示出图像306-308、视角311-313以及分别与图像和视角相对应的边界框302-304。针对每个视角的投影矩阵可用于确定特征点301和310的基于真实世界视角305的真实世界三维坐标309。
在一个示例中，如果在所有快照(K)中均检测到特征点(N)，则我们具有2NK测量值。每个特征点贡献两个测量值。未知数的数量通过等式3K+2N来确定，即每个快照三个变量(K)和y-z平面中针对每个特征点的两个变量(N)。因此，如果2NK≥3K+2N，即测量值的数量大于未知数的数量，则可发现y-z平面中特征点的位置，且拖车的宽度和高度能通过特征点的位置来获得。
因此，如果测量值的数量大于未知数的数量，则可采用最小二乘算法，以通过最小化min||zij-PiXj||2来求解特征点的真实世界三维坐标，其中，zij是图像的边界框中的特征点，Pi是投影矩阵，Xj是特征点的真实世界三维坐标。
假定卡车在平坦地面上移动，则投影矩阵Pi可通过如下等式确定：Pi＝P[Ri|ti]，其中，ti是摄像头的位置(xi，yi，h)，h是摄像头的高度，旋转矩阵Ri由拖车的铰接角度确定，例如针对零瞄准角度，Ri＝I，P是摄像头投影矩阵(常量)，摄像头从摄像头的内在和外在参数得出。在一个示例中，P常量可基于摄像头的焦距、图像分辨率、摄像头安装位置和/或角度(例如，3欧拉角和3-D真实世界位置)来设定。根据一个示例，投影矩阵通过以下等式确定：
图4示出根据示例性实施例的一方面的确定距拖车视图的各个距离处的边界框的视图。
参照图4，拖车420的尺寸可在由车辆410的直回操纵期间、例如在车辆410返回并且朝向拖车420直行时确定。如图4中所示，示出拖车的不同视角401-403的三个图像441-443在距拖车的三个不同距离处获得。来自多个边界框431-433的边界框可对应于每个视角。
可确定多个边界框431-433中的点406(例如，边界框的边角)之间的对应性。此种对应性可用于确定点的真实世界三维坐标407。这可适用于边界框的所有边角，以确定边界框的所有边角的真实世界三维坐标。
例如，如果具有三个闪照或图像，则可确定边界框的边角的真实世界三维坐标。已知摄像头的高度、第一和第二图像404之间的位移以及第二和第三图像405之间的位移，可在如下九个未知变量上施加最小二乘分析：第一图像441中的距离和边界框432和433的边角的(x，y)坐标。最小二乘分析可使得能够确定边角或特征点407的真实世界三维坐标434。
图5示出根据示例性实施例的一方面的确定距拖车视图的各个距离处的边界框和特征点的图像。参照图5，从车辆和拖车510之间的各个距离获得多个图像501-504。例如在多个图像501-504的每个中示出的是，产生与拖车的表面相对应的多个边界框511-514，并且检测多个特征点521-524。
在车辆和拖车510之间的距离从图像501至504减小时，边界框在尺寸上增大(例如，514的尺寸＞513的尺寸＞512的尺寸＞511的尺寸)。此外，特征点521-524之间的距离增大，且特征点521-524相对于图像框架的位置改变。每个图像中特征点521-524之间的此距离、每个图像中特征点521-524的位置、边界框511-514的尺寸以及边界框511-514的边角的位置可用于确定车辆的一部分和拖车510之间的距离。
图6A和6B示出根据示例性实施例的一方面的用于计算拖车相对于车辆中心线的铰接角度的视图。参照图6A，示出垂直于通过车辆的中心线的拖车601。在该图像中，示出车辆的一部分的左侧和拖车601的左侧之间的第一距离602以及车辆的一部分的右部和拖车601的右侧之间的第二距离603。当拖车601垂直于通过车辆的中心线时，距离602和603彼此相等或者具有预定数值。此外，拖车的高度605和拖车的宽度604可从图像610已知或计算。
参照图6B，拖车601由于拖车和车辆在图像620中的运动而不再垂直于通过车辆的中心线。因此，第一和第二距离602和603已改变。基于距离602和603中的改变，可计算拖车604的宽度、拖车601相对于通过车辆的中心线的铰接角度。此外，基于宽度604、高度605以及所计算的铰接角度，可确定是否存在拖车601和车辆的一部分之间发生碰撞的风险。可向车辆的操作者通知碰撞风险。
本文公开的过程、方法或算法能输送至处理装置、控制器或计算机/由该处理装置、控制器或计算机实施，该处理装置、控制器或计算机可包括任何现有的可编程电子控制装置或专用电子控制装置。类似地，过程、方法或算法可存储为能由控制器或计算机执行的呈许多形式的数据和指令，该数据和指令包括但不限于永久地存储在不可写存储介质(例如ROM装置)上的信息以及可更改地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质的可写存储介质上的信息。过程、方法或算法也能在软件可执行对象中实施。替代地，这些过程、方法或算法能整体地或部分地使用合适的硬件部件来体现，这些硬件部件例如是专用集成电路(ASIF)、场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置或者硬件、软件和固件部件的组合。
上文参照附图已经描述了一个或多个示例性实施例。上文描述的示例性实施例应仅仅在描述性的意义上考虑且并非用于限制的目的。此外，可修改示例性实施例，而不会偏离由以下权利要求书所限定的本发明概念的精神或范围。

Claims (10)

1.一种用于拖车识别的设备，所述设备包括：
至少一个存储器，所述至少一个存储器包括计算机可执行指令；以及
至少一个处理器，所述至少一个处理器配置成读取并执行所述计算机可执行指令，且所述计算机可执行指令使得所述一个处理器：
基于在第一距离处获取的所述拖车的第一图像来检测所述拖车的表面，以及产生围绕所述拖车在所述第一图像中的所述检测表面的第一边界框；
基于在第二距离处获取的所述拖车的第二图像检测所述拖车的表面，并且产生围绕所述拖车在所述第二图像中的所述检测表面的第二边界框；
确定所述第一边界框中的第一组特征点和所述第二边界框中与所述第一组特征点相对应的第二组特征点；
确定所述第一组特征点和所述第二组特征点之间的对应性以及所述第一边界框的边角和所述第二边界框的边角之间的对应性；以及
通过执行最小二乘分析求解所述第一和第二组特征点的三维真实世界坐标以及所述第一和第二边界框的边角来评估所述拖车的至少一个尺寸。
2.根据权利要求1所述的设备，其中，所述计算机可执行指令使得所述至少一个处理器基于所述评估的至少一个尺寸确定所述拖车相对于通过所述车辆的中心的线的铰接角度。
3.根据权利要求2所述的设备，其中，所述计算机可执行指令使得所述至少一个处理器通过基于所述评估的至少一个尺寸以及所述拖车和所述车辆之间的距离确定所述铰接角度来确定所述铰接角度，以及
其中，所述评估的至少一个尺寸包括所述拖车的宽度。
4.根据权利要求3所述的设备，进一步包括：
来自加速度计、速度计、超声传感器、里程计、雷达传感器或轮速传感器的至少一个传感器，
其中，所述计算机可执行指令使得所述至少一个处理器从由来自加速度计、速度计、超声传感器、里程计、雷达传感器以及轮速传感器的至少一个所提供的信息来确定所述距离。
5.根据权利要求1所述的设备，其中，所述计算机可执行指令使得所述至少一个处理器基于三维真实世界坐标确定所述角度。
6.根据权利要求1所述的设备，其中，所述评估的至少一个尺寸包括所述拖车的高度和宽度。
7.根据权利要求1所述的设备，进一步包括：
面向所述车辆的后部的摄像头，
其中，所述计算机可执行指令使得所述至少一个处理器从所述摄像头接收在所述第一距离处获取的所述拖车的第一图像和在所述第二距离处获取的所述拖车的第二图像。
8.根据权利要求7所述的设备，其中，所述摄像头包括中心高位刹车灯(CHMAL)摄像头。
9.根据权利要求1所述的设备，其中，所述计算机可执行指令使得所述至少一个处理器通过确定旋转矩阵来确定所述第一组特征点和所述第二组特征点之间的对应性，所述旋转矩阵与所述拖车相对于通过所述车辆中心的线的铰接角度相对应，以及
其中，所述第一组特征点和所述第二组特征点之间的对应性以及所述第一边界框的边角和所述第二边界框的边角之间的对应性基于所述旋转矩阵来确定。
10.根据权利要求1所述的设备，其中，所述计算机可执行指令使得所述至少一个处理器基于捕获所述第一图像和所述第二图像的摄像头的焦距来评估所述拖车的至少一个尺寸。
CN201810602715.2A 2017-06-20 2018-06-12 用于评估铰接角度的方法和设备 Active CN109094669B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/628,030 US10346705B2 (en) 2017-06-20 2017-06-20 Method and apparatus for estimating articulation angle
US15/628030 2017-06-20

Publications (2)

Publication Number Publication Date
CN109094669A true CN109094669A (zh) 2018-12-28
CN109094669B CN109094669B (zh) 2021-05-28

Family

ID=64457364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810602715.2A Active CN109094669B (zh) 2017-06-20 2018-06-12 用于评估铰接角度的方法和设备

Country Status (3)

Country Link
US (1) US10346705B2 (zh)
CN (1) CN109094669B (zh)
DE (1) DE102018114730A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115003590A (zh) * 2019-12-20 2022-09-02 约斯特-威克德国有限公司 包括联接板和摄像机的第五轮联接器

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10351061B1 (en) * 2018-03-09 2019-07-16 Deere & Company Implement attachment guidance system
EP3537382A1 (en) * 2018-03-09 2019-09-11 Continental Automotive GmbH Device and method for calculating a vehicle trailer pose using a camera
EP3787912B1 (en) * 2018-05-01 2023-07-12 Continental Autonomous Mobility US, LLC Tow vehicle and trailer alignment
US10733757B2 (en) * 2018-05-10 2020-08-04 Magna Electronics Inc. Trailer assist system with estimation of 3D location of hitch
DE102018117584A1 (de) * 2018-07-20 2020-01-23 Jost-Werke Deutschland Gmbh Steckkupplungssystem sowie kupplungssystem
DE102018120966A1 (de) * 2018-08-28 2020-03-05 Connaught Electronics Ltd. Verfahren zum Erkennen eines Teils eines Anhängers sowie Anhängererfassungssystem für ein Zugfahrzeug
US11433812B2 (en) * 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11231716B2 (en) * 2020-01-28 2022-01-25 GM Global Technology Operations LLC Method and apparatus for determining trailer dimensions in a motor vehicle
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
US20210335130A1 (en) * 2020-04-28 2021-10-28 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof
DE102020126534A1 (de) 2020-10-09 2022-04-14 Eto Magnetic Gmbh Sensorvorrichtung und Verfahren zu einer Überwachung eines Kopplungszustands eines Kopplungselements
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
CN113296107B (zh) * 2021-06-23 2024-07-23 上海西井科技股份有限公司 传感器协同检测拖挂角度的方法、***、设备及存储介质
DE102021126816A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln eines Knickwinkels, Verarbeitungseinheit und Fahrzeug
DE102021126814A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085472A1 (en) * 2012-09-26 2014-03-27 Magna Electronics Inc. Trailer angle detection system
CN105371811A (zh) * 2014-08-14 2016-03-02 福特全球技术公司 测定牵引线和阻力线夹角的***
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
CN104590158B (zh) * 2013-10-31 2017-01-11 福特全球技术公司 挂车标记放置辅助***和方法
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム
CN106715165A (zh) * 2014-09-17 2017-05-24 通用电气公司 用于涡轮拖车机械对接和对准***的***及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) * 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9889714B2 (en) * 2013-11-18 2018-02-13 Robert Bosch Gmbh Overhead view for hitch connection
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US10427717B2 (en) * 2017-09-19 2019-10-01 Ford Global Technologies, Llc Hitch assist system with hitch coupler identification feature and hitch coupler height estimation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US20140085472A1 (en) * 2012-09-26 2014-03-27 Magna Electronics Inc. Trailer angle detection system
CN104590158B (zh) * 2013-10-31 2017-01-11 福特全球技术公司 挂车标记放置辅助***和方法
CN105371811A (zh) * 2014-08-14 2016-03-02 福特全球技术公司 测定牵引线和阻力线夹角的***
CN106715165A (zh) * 2014-09-17 2017-05-24 通用电气公司 用于涡轮拖车机械对接和对准***的***及方法
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115003590A (zh) * 2019-12-20 2022-09-02 约斯特-威克德国有限公司 包括联接板和摄像机的第五轮联接器
CN115003590B (zh) * 2019-12-20 2024-05-17 约斯特-威克德国有限公司 包括联接板和摄像机的第五轮联接器

Also Published As

Publication number Publication date
DE102018114730A1 (de) 2018-12-20
CN109094669B (zh) 2021-05-28
US10346705B2 (en) 2019-07-09
US20180365509A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109094669A (zh) 用于评估铰接角度的方法和设备
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
CN103150786B (zh) 一种非接触式无人驾驶车辆行驶状态测量***及测量方法
WO2019000945A1 (zh) 车载摄像机测距方法及装置、存储介质和电子设备
CN112014845B (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及***
JP4556742B2 (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
US20190164310A1 (en) Camera registration in a multi-camera system
EP3792660A1 (en) Method, apparatus and system for measuring distance
JP2007232690A (ja) 現在地検出装置、地図表示装置、および現在地検出方法
CN109118537B (zh) 一种画面匹配方法、装置、设备和存储介质
JP6395010B2 (ja) 課金位置評価用情報提供システム
KR20130015626A (ko) Ｃｃｔｖ 주차장 차량충돌 관리시스템 및 방법
US20170330453A1 (en) Double stereoscopic sensor
CN109143290A (zh) 用于位置误差检测的方法和装置
CN104268884B (zh) 一种基于车联网的车道偏离预警的标定***和方法
US8213683B2 (en) Driving support system with plural dimension processing units
CN105571491B (zh) 基于双目视觉的汽车底盘数据测量***及其方法
CN113015884A (zh) 图像处理装置、图像处理方法和程序
KR20180136601A (ko) 포트홀 검출장치 및 포트홀 관리 시스템
CN111256651B (zh) 一种基于单目车载摄像头的周车测距方法和装置
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
WO2021056283A1 (en) Systems and methods for adjusting a vehicle pose
CN208452986U (zh) 一种用于检测车辆外部环境信息的检测***
JP6083261B2 (ja) 情報処理センターおよび車載機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant