DE102018114730A1 - Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels - Google Patents

Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels Download PDF

Info

Publication number
DE102018114730A1
DE102018114730A1 DE102018114730.9A DE102018114730A DE102018114730A1 DE 102018114730 A1 DE102018114730 A1 DE 102018114730A1 DE 102018114730 A DE102018114730 A DE 102018114730A DE 102018114730 A1 DE102018114730 A1 DE 102018114730A1
Authority
DE
Germany
Prior art keywords
trailer
feature points
vehicle
image
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018114730.9A
Other languages
English (en)
Inventor
Mohammad Naserian
Shuqing Zeng
Allan Lewis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102018114730A1 publication Critical patent/DE102018114730A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D53/00—Tractor-trailer combinations; Road trains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/40—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids involving a temporarily extensible or alignable member
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Verfahren und eine Vorrichtung zum Erkennen eines Anhängers sind vorgesehen. Das Verfahren beinhaltet das Erkennen einer Fläche eines Anhängers in einem ersten und zweiten Bild, das in einem ersten und zweiten Abstand aufgenommen wurde, das Erzeugen eines Begrenzungsrahmens um die Fläche des Anhängers in dem ersten und zweiten Bild, das Bestimmen eines ersten und zweiten Satzes von Merkmalspunkten in den Begrenzungsrahmen des ersten und des zweiten Bildes, Bestimmen einer Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und einer Übereinstimmung zwischen den Ecken der Begrenzungsrahmen und Schätzen mindestens einer Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate, um für dreidimensionale reale Weltkoordinaten des ersten und des zweiten Satzes von Merkmalspunkten und der Ecken der Begrenzungsrahmen zu lösen. Das Verfahren kann einen Bediener eines Fahrzeugs beim Ausrichten der Fahrzeuganhängevorrichtung mit einer Anhängerkupplung unterstützen.

Description

  • EINLEITUNG
  • Die Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, beziehen sich auf das Erkennen von Anhängern und die Unterstützung der Bediener, die Fahrzeuganhängekupplungen an die Anhängerkupplungen anzukuppeln. Insbesondere beziehen sich die Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, auf das Bereitstellen eines Rückfahrvideos zur Unterstützung eines Fahrzeugführers mit einer Anhängerkupplung.
  • KURZDARSTELLUNG
  • Eine oder mehrere exemplarische Ausführungsformen stellen ein Verfahren und eine Vorrichtung zur Verfügung, welche die Abmessungen eines Anhängers anhand eines Videos und einer Position des Anhängers in Bezug auf ein Fahrzeug ermitteln können. Insbesondere bieten eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung, welche die Abmessungen des Anhängers, den Abstand zwischen Anhänger und Fahrzeug und einen Gelenkwinkel des Anhängers bestimmen können.
  • Gemäß einer exemplarischen Ausführungsform wird ein Verfahren zum Erkennen von Anhängern bereitgestellt. Das Verfahren beinhaltet das Erkennen einer Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers, das in einem ersten Abstand aufgenommen wurde, und das Erzeugen einer ersten Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild, das Erkennen der Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers, das in einem zweiten Abstand aufgenommen wurde und das Erzeugen einer zweiten Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild, das Bestimmen eines ersten Satzes von Merkmalspunkten in der ersten Begrenzungsbox und eines zweiten Satzes von Merkmalspunkten in der zweiten Begrenzungsbox, die dem ersten Satz von Merkmalspunkten entsprechen, Bestimmen einer Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und einer Übereinstimmung zwischen Ecken des ersten Begrenzungsrahmens und Ecken des zweiten Begrenzungsrahmens, und Schätzen mindestens einer Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate, um für dreidimensionale reale Koordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
  • Das Verfahren kann auch das Bestimmen eines Gelenkwinkels des Anhängers in Bezug auf eine Linie durch eine Fahrzeugmitte basierend auf der geschätzten mindestens einen Abmessung und den dreidimensionalen Wirklichkeitskoordinaten beinhalten.
  • Der Gelenkwinkel kann aus den geschätzten mindestens einer Abmessung und einem Abstand zwischen Anhänger und Fahrzeug bestimmt werden. Die geschätzte mindestens eine Abmessung kann eine Breite des Anhängers sein.
  • Der Abstand kann aus Informationen bestimmt werden, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
  • Das Bestimmen des Gelenkwinkels kann auch das Bestimmen des Gelenkwinkels basierend auf den dreidimensionalen realen Weltkoordinaten beinhalten.
  • Die geschätzte mindestens eine Abmessung kann eine Höhe und eine Breite des Anhängers sein.
  • Das Verfahren kann weiterhin das Empfangen des ersten Bildes des Anhängers, das im ersten Abstand aufgenommen wurde, und des zweiten Bildes des Anhängers, das im zweiten Abstand von einer Kamera aufgenommen wurde, die dem Heck des Fahrzeugs zugewandt ist, beinhalten.
  • Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
  • Das Bestimmen der Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten kann das Bestimmen einer Rotationsmatrix beinhalten, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
  • Gemäß einer exemplarischen Ausführungsform wird eine Vorrichtung zum Erkennen von Anhängern bereitgestellt. Die Vorrichtung beinhaltet: mindestens einen Speicher, der computerausführbare Anweisungen umfasst; und mindestens einen Prozessor, der konfiguriert ist, um die computerausführbaren Anweisungen auszuführen. Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand zu erkennen und eine erste Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild zu erzeugen, die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers in einem zweiten Abstand zu erkennen und eine zweite Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild zu erzeugen, einen ersten Satz von Merkmalspunkten in der ersten Begrenzungsbox und einen zweiten Satz von Merkmalspunkten in der zweiten Begrenzungsbox zu bestimmen, die dem ersten Satz von Merkmalspunkten entsprechen, eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens bestimmen und mindestens eine Abmessung des Anhängers schätzen, indem eine Analyse der kleinsten Quadrate durchgeführt wird, um für dreidimensionale reale Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, einen Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs basierend auf der geschätzten mindestens einen Abmessung zu bestimmen.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Gelenkwinkel basierend auf der geschätzten mindestens einen Abmessung und einem Abstand zwischen dem Anhänger und dem Fahrzeug zu bestimmen. Die geschätzte mindestens eine Abmessung kann eine Breite des Anhängers sein.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Abstand von den Informationen zu bestimmen, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Gelenkwinkel basierend auf den dreidimensionalen realen Weltkoordinaten zu bestimmen.
  • Die geschätzte mindestens eine Abmessung kann eine Höhe und eine Breite des Anhängers sein.
  • Die Vorrichtung kann weiterhin eine Kamera beinhalten, die auf das Heck des Fahrzeugs gerichtet ist. Die computerausführbaren Befehle können den mindestens einen Prozessor veranlassen, das erste Bild des Anhängers, das im ersten Abstand aufgenommen wurde, und das zweite Bild des Anhängers, das im zweiten Abstand aufgenommen wurde, von der Kamera zu empfangen. Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten durch Bestimmen einer Rotationsmatrix zu bestimmen, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
  • Die computerausführbaren Anweisungen können den mindestens einen Prozessor auch dazu veranlassen, mindestens eine Abmessung des Anhängers basierend auf der Brennweite einer Kamera zu schätzen, die das erste Bild und das zweite Bild aufgenommen hat.
  • Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
  • Figurenliste
    • 1 stellt ein Blockdiagramm einer Vorrichtung dar, die einen Anhänger gemäß einer exemplarischen Ausführungsform erkennt;
    • 2 stellt ein Flussdiagramm für ein Verfahren zum Erkennen eines Anhängers gemäß einer exemplarischen Ausführungsform dar;
    • 3 stellt eine Darstellung zum Erkennen von Merkmalspunkten in einem Bild eines Anhängers gemäß einem Aspekt einer exemplarischen Ausführungsform dar;
    • 4 stellt Darstellungen zum Bestimmen eines Begrenzungsrahmens in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar;
    • 5 stellt Bilder zum Bestimmen eines Begrenzungsrahmens und Merkmalspunkte in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar; und
  • Die 6A und 6B stellen Darstellungen zum Berechnen eines Gelenkwinkels eines Anhängers in Bezug auf eine Mittellinie eines Fahrzeugs gemäß einem Aspekt einer exemplarischen Ausführungsform dar.
  • DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
  • Eine Vorrichtung und ein Verfahren, die einen Anhänger erkennen und einen Gelenkwinkel bestimmen, werden nun im Detail unter Bezugnahme auf die 1 - 6B der beigefügten Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen.
  • Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten exemplarischen Ausführungsformen lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jeder exemplarischen Ausführungsform normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
  • Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, "gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
  • In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
  • Fahrzeuge, wie beispielsweise LKWs, beinhalten Anhängevorrichtungen, die als Befestigungspunkte für Anhänger dienen, die von einem Fahrzeug gezogen werden können. Einige Anhänger, die von einem Fahrzeug gezogen werden können, beinhalten eine Sattelkupplung, eine Schwanenhalskupplung, oder eine Anhängerkupplung mit einer niedrigen Ausführung. Um einen Anhänger am Fahrzeug anzubringen, muss der Fahrer das Fahrzeug so führen, dass eine im Fahrzeugbett oder auf der Rückseite des Fahrzeugs befindliche Kupplung mit der Kupplung des Anhängers fluchtet. Oftmals erfordert der Prozess des Ausrichtens der Kupplung des Fahrzeugs mit der Anhängerkupplung das wiederholte Betreten und Verlassen des Fahrzeugs oder die Führung einer anderen Person, die außerhalb des Fahrzeugs steht.
  • Um dieses Problem zu beheben, kann der Fahrer eines Fahrzeugs ein von einer Rückfahrkamera oder einer nach hinten gerichteten Kamera bereitgestelltes Bild betrachten. Das Bild kann von einem Bediener zum Führen des Fahrzeugs verwendet werden. Bei rückwärts gerichteten oder Rückfahrkameras, die nur eine Bildansicht bereitstellen, können jedoch andere Informationen wie Abstand zum Anhänger, Anhängerwinkel und Anhängerabmessungen fehlen. Daher kann es hilfreich sein, einem Bediener eines Fahrzeugs oder eines Fahrzeugsystems, das zum Ausrichten eines Fahrzeugs mit einem Anhänger verwendet wird, zusätzliche Informationen zur Verfügung zu stellen.
  • 1 stellt ein Blockdiagramm einer Vorrichtung zum Erkennen eines Anhängers und zum Bereitstellen von Anhängerinformationen 100 (d. h. einer Vorrichtung zum Erkennen eines Anhängers) gemäß einer exemplarischen Ausführungsform dar. Wie in 1 gezeigt, beinhaltet die Vorrichtung zum Erkennen eines Anhängers 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Anhängererkennungssensor 107 und eine Kommunikationsvorrichtung 108. Jedoch ist die Vorrichtung zum Erkennen eines Anhängers 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente beinhaltet und/oder ein oder mehrere der vorgenannten Elemente weglässt. Die Vorrichtung zum Erkennen eines Anhängers 100 kann als Teil eines Fahrzeugs, als eigenständige Komponente, als Hybrid zwischen einer Fahrzeug- und einer nicht Fahrzeugvorrichtung oder einem anderen Computergerät implementiert sein.
  • Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung zum Erkennen eines Anhängers 100. Die Steuerung 101 kann einen oder mehrere Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Anhängererkennungssensor 107 und eine Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
  • Die Steuerung 101 ist konfiguriert, um Informationen von einen oder mehreren Speichern 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 zu senden und/oder zu empfangen. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden oder können direkt von einem oder mehreren von dem Speicher 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
  • Gemäß einem Beispiel kann die Steuerung 101 Informationen von einem oder mehreren von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor empfangen. Die Informationen eines oder mehrerer Beschleunigungsmesser, Tachometer, Ultraschallsensoren, Kilometerzähler, Radarsensoren und Raddrehzahlsensoren können zum Bestimmen einer von einem Fahrzeug zurückgelegten Strecke oder eines Abstandes von einem Fahrzeug zu einem Anhänger verwendet werden.
  • Die Stromversorgung 102 liefert Strom an eine oder mehrere der Steuerungen 101, dem Speicher 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
  • Der Speicher 103 ist zum Speichern von Informationen und zum Wiedergewinnen von Informationen konfiguriert, die von der Vorrichtung zum Erkennen eines Anhängers 100 verwendet werden. Der Speicher 103 kann durch die Steuerung 101 gesteuert werden, um vom Anhängererkennungssensor 107 empfangene Informationen zu speichern und abzurufen. Die Informationen können Informationen zu einem Anhänger beinhalten, der vom Anhängererkennungssensor 107 erfasst wurde, Bildinformationen von Bildern, die vom Anhängererkennungssensor 107 aufgenommen wurden, Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor und/oder Informationen darüber, ob ein Fahrzeug an einen Anhänger angekoppelt werden soll. Der Speicher 103 kann auch die computerausführbaren Anweisungen beinhalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung zum Erkennen eines Anhängers 100 auszuführen.
  • Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
  • Der Ausgang 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Der Ausgang 104 kann über die Steuerung 101 gesteuert werden, um dem Benutzer der Vorrichtung zum Erkennen eines Anhängers 100 Ausgänge zu liefern. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Audiovorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
  • Der Ausgang 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung usw. beinhalten. Die Benachrichtigung kann darauf hinweisen, dass sich das Fahrzeug im Anhängemodus befindet oder versucht, an einen Anhänger anzukuppeln. Darüber hinaus kann der Ausgang 104 ein Bild von der Rückseite eines Fahrzeugs ausgeben, welches die Ladefläche des Fahrzeugs und/oder einen Bereich hinter dem Fahrzeug einschließlich eines Anhängers, an den das Fahrzeug anzukuppeln versucht, darstellt. Das Bild von der Rückseite des Fahrzeugs kann bearbeitet oder angepasst werden, um eine Grafik, die einem Gelenkwinkel eines Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht, eine Grafik, die den Abständen zwischen den Kanten eines Anhängers und einem Teil eines Fahrzeugs (z. B. einer Fahrzeugkabine) entspricht, oder eine Grafik, die den Abmessungen des Anhängers entspricht, zu beinhalten.
  • Die Benutzereingabe 106 ist konfiguriert, um Informationen und Befehle an die Vorrichtung zum Erkennen eines Anhängers 100 vorzusehen. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einer Maus, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann dazu konfiguriert sein, eine Benutzereingabe zu empfangen und damit die Benachrichtigung durch den Ausgang 104 zu bestätigen oder zu verwerfen. Die Benutzereingabe 106 kann auch konfiguriert werden, um eine Benutzereingabe zu empfangen, um einen Anhängererkennungsalgorithmus zu aktivieren oder einen Anhängemodus der Vorrichtung zum Erkennen eines Anhängers 100 zu aktivieren.
  • Der Anhängererkennungssensor 107 kann einen oder mehrere aus einer Vielzahl von Sensoren einschließlich eines Bildgebungssensors, einer Kamera, eines Lasersensors, eines Ultraschallsensors, einer Infrarotkamera, eines LIDAR, eines Radarsensors, eines Ultrakurzbereichsradarsensors, eines Ultrabreitbandradarsensor und eines Mikrowellensensors beinhalten. Der Anhängererkennungssensor 107 kann ein oder mehrere Bilder von einer oder mehreren rückwärts gerichteten Kameras bereitstellen, die analysiert werden können, um zu bestimmen, ob ein Fahrer eines Fahrzeugs beabsichtigt, eine Kupplung auf einer Ladefläche des Fahrzeugs mit einem Anhänger zu kuppeln, die zur Identifizierung eines Anhängers analysiert wird und/oder zur Identifizierung einer Kupplung eines Anhängers analysiert wird.
  • Darüber hinaus können andere Arten von Informationen, wie beispielsweise Abstand, Infrarotbilder, Geschwindigkeit, Beschleunigung, Fahrtrichtung, Fahrstrecke, Abstand zwischen einem Anhänger und einem Fahrzeug oder einer Fahrzeugkamera, Brennweite einer Kamera usw., von anderen Arten von Sensoren bereitgestellt werden. So zum Beispiel Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor usw. Der Speicher 103 kann auch die Computeranweisungen beinhalten, die zum Ausführen der Funktionen der Vorrichtung zum Erkennen des Anhängers 100 durch einen Prozessor konfiguriert sind. Die Informationen können verarbeitet werden, um zu bestimmen, ob ein Bediener eines Fahrzeugs beabsichtigt, eine Anhängekupplung an einer Ladefläche des Fahrzeugs mit einem Anhänger zu kuppeln, einen Anhängertyp zu bestimmen, eine Position eines Anhängers zu bestimmen, Informationen zur Bewegung eines Fahrzeugs zu bestimmen, wie beispielsweise Geschwindigkeit und/oder Trajektorie, oder um zu bestimmen, ob ein Tor einer Ladefläche eines Fahrzeugs geöffnet ist.
  • Die Kommunikationsvorrichtung 108 kann von der Vorrichtung zum Erkennen des Anhängers 100 verwendet werden, um mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann zum Senden/Empfangen von Informationen verwendet werden, einschließlich Informationen zu einem Anhänger, der vom Anhängererkennungssensor 107 erfasst wird, Informationen vom Anhängererkennungssensor 107, wie beispielsweise Bildinformationen, Informationen zur Fahrzeugdynamik, wie beispielsweise Fahrzeuggeschwindigkeit und Fahrzeugtrajektorie, Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor und/oder Informationen darüber, ob ein Fahrzeug mit einem Anhänger gekuppelt werden soll. Der Speicher 103 kann auch die Computeranweisungen beinhalten, die zum Ausführen der Funktionen der Vorrichtung zum Erkennen des Anhängers 100 durch einen Prozessor konfiguriert sind, und/oder Informationen, die anzeigen, ob ein Fahrzeug mit einem Anhänger gekuppelt wird, an/von der Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100.
  • Die Kommunikationsvorrichtung 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations-(NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder Zigbee, beinhalten.
  • Gemäß einer exemplarischen Ausführungsform kann die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 konfiguriert werden, um eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand zu erkennen und eine erste Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild zu erzeugen, die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers in einem zweiten Abstand zu erkennen und eine zweite Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild zu erzeugen, einen ersten Satz von Merkmalspunkten in der ersten Begrenzungsbox und einen zweiten Satz von Merkmalspunkten in der zweiten Begrenzungsbox zu bestimmen, die dem ersten Satz von Merkmalspunkten entsprechen, eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens bestimmen und mindestens eine Abmessung des Anhängers schätzen, indem eine Analyse der kleinsten Quadrate durchgeführt wird, um für dreidimensionale reale Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
  • Die geschätzte mindestens eine Abmessung kann eine Höhe und Breite des Anhängers sein. Die Merkmalspunkte können den Kanten eines Anhängers, Objekten auf dem Anhänger, Merkmalen des Anhängers oder anderen visuell wahrnehmbaren Merkmalen entsprechen, die auf einer Fläche des Anhängers angeordnet sind.
  • Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um einen Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Fahrzeugmitte basierend auf der geschätzten mindestens einen Abmessung und/oder den dreidimensionalen realen Weltkoordinaten zu bestimmen.
  • Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um den Gelenkwinkel aus dem Abstand zwischen dem Anhänger und dem Fahrzeug und der Breite des Anhängers zu bestimmen.
  • Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um den Abstand von Informationen zu bestimmen, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
  • Die Steuerung 101 kann auch konfiguriert werden, um das erste Bild des Anhängers, das im ersten Abstand aufgenommen wurde, und das zweite Bild des Anhängers, das im zweiten Abstand von einer Kamera aufgenommen wurde, die dem Heck eines Fahrzeugs zugewandt ist, zu empfangen. Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
  • Die Steuerung 101 kann auch konfiguriert werden, um die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten durch Bestimmen einer Rotationsmatrix zu bestimmen, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
  • 2 zeigt ein Flussdiagramm für ein Verfahren zum Vorrichtung zum Erkennen des Anhängers gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Vorrichtung zum Erkennen des Anhängers 100 durchgeführt werden oder in ein computerlesbares Medium als Anweisungen kodiert werden, die von einem Computer ausgeführt werden können, um das Verfahren durchzuführen.
  • Unter Bezugnahme auf 2 wird in Operation S210 eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand erfasst und ein erster Begrenzungsrahmen um die erkannte Fläche des Anhängers im ersten Bild erzeugt. Die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers, das in einem zweiten Abstand aufgenommen wurde, wird erfasst und ein zweiter Begrenzungsrahmen um die erkannte Fläche des Anhängers im zweiten Bild wird in Operation S220 erfasst. In Operation S230 wird ein erster Satz von Merkmalspunkten im ersten Begrenzungsrahmen und ein zweiter Satz von Merkmalspunkten im zweiten Begrenzungsrahmen ermittelt, die dem ersten Satz von Merkmalspunkten entsprechen. Die Operationen S210 - S230 können wiederholt werden, bis eine ausreichende Anzahl von Musterbildern aufgenommen wurde, um eine Analyse der kleinsten Quadrate durchzuführen.
  • In Operation S240 wird eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens ermittelt. Anschließend wird mindestens eine Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate geschätzt, um die dreidimensionalen realen Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken der ersten und zweiten Begrenzungsboxen in Operation S250 zu lösen.
  • 3 zeigt eine Darstellung des Erkennens von Merkmalspunkten in einem Bild eines Anhängers gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 3 werden die Bilder 306-308, die Perspektiven 311-313 und die Begrenzungsboxen 302-304 entsprechend der Übereinstimmung mit den Bildern und Perspektiven dargestellt. Die Projektionsmatrix für jede der Perspektiven kann verwendet werden, um eine realitätsnahe Perspektive 305 basierend auf realen dreidimensionalen Koordinaten 309 der Merkmalspunkte 301 und 310 zu bestimmen.
  • In einem Beispiel, wenn Merkmalspunkte (N) in allen Momentaufnahmen (K) erkannt werden, erhalten wir 2NK Messungen. Jeder Merkmalspunkt trägt zu zwei Messungen bei. Die Anzahl der Unbekannten wird durch die Gleichung 3K+2N, drei Variablen pro Momentaufnahme (K) und zwei Variablen für jeden Merkmalspunkt (N) in der y-z-Ebene bestimmt. Wenn also 2NK≥ 3K+2N, d. h. die Anzahl der Messungen ist größer als die Anzahl der Unbekannten, kann man die Position der Merkmalspunkte in der y-z-Ebene ermitteln, und die Breite und Höhe des Anhängers kann aus der Position der Merkmalspunkte abgeleitet werden.
  • Dementsprechend, wenn die Anzahl der Messungen größer ist als die Anzahl der Unbekannten, kann ein Algorithmus der kleinsten Quadrate angewendet werden, um für die realen dreidimensionalen Koordinaten eines Merkmalspunkts durch Minimieren von min∥zij - PiXj∥2 zu lösen, wobei zij ein Merkmalspunkt im Begrenzungsrahmen eines Bildes ist, Pi eine Projektionsmatrix ist, Xj eine reale dreidimensionale Koordinate eines Merkmalspunkts ist.
  • Unter der Annahme, dass sich ein LKW auf ebenem Boden bewegt, kann die Projektionsmatrix Pi durch die folgende Gleichung bestimmt werden: Pi = P[Ri|ti], wobei ti die Position der Kamera (xi,yi,h) mit h als Höhe der Kamera ist, wobei die Rotationsmatrix Ri durch den Gelenkwinkel φi des Anhängers bestimmt wird, z. B. Ri = I für den Nullzielwinkel, P die Kameraprojektionsmatrix (konstant) ist, abgeleitet von den inneren und äußeren Parametern der Kamera. In einem Beispiel kann die Konstante P basierend auf der Brennweite, der Bildauflösung, der Kameraeinbauposition und/oder dem Kamerawinkel (z. B. 3 Euler Winkel und 3-D Real-World-Position) eingestellt werden. Gemäß einem Beispiel wird die Projektionsmatrix durch die folgende Gleichung bestimmt: [ R i | t i ] = [ cos φ i − sin φ i 0 x i sin φ i cos φ i 0 y i 0 0 1 h ]
    Figure DE102018114730A1_0001
  • 4 stellt Darstellungen zum Bestimmen einem Begrenzungsrahmen in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar.
  • Unter Bezugnahme auf 4 können die Abmessungen des Anhängers 420 bei einem geraden Rückwärtsmanöver des Fahrzeugs 410 ermittelt werden, z. B. wenn sich ein Fahrzeug 410 rückwärts und gerade auf den Anhänger 420 zu bewegt. Wie in 4 dargestellt, werden drei Bilder 441-443 mit unterschiedlichen Perspektiven 401-403 des Anhängers in drei verschiedenen Abständen vom Anhänger aufgenommen. Ein Begrenzungsrahmen aus der Vielzahl der Begrenzungsrahmen 431-433 kann jeder Perspektive entsprechen.
  • Die Übereinstimmung zwischen einem Punkt 406 (z. B. einer Ecke eines Begrenzungsrahmens) in der Vielzahl der Begrenzungsrahmen 431-433 kann bestimmt werden. Diese Übereinstimmung kann verwendet werden, um eine reale dreidimensionale Koordinate 407 des Punktes zu bestimmen. Dies kann auf alle Ecken des Begrenzungsrahmens angewendet werden, um reale dreidimensionale Koordinaten aller Ecken des Begrenzungsrahmens zu bestimmen.
  • Wenn man zum Beispiel drei Schnappschüsse oder Bilder vorliegen hat, können die realen dreidimensionalen Koordinaten der Ecken des Begrenzungsrahmens bestimmt werden. In Anbetracht der Höhe der Kamera, der Verschiebung zwischen dem ersten und zweiten Bild 404 und der Verschiebung zwischen dem zweiten und dritten Bild 405, würden wir eine Analyse der kleinsten Quadrate auf die neun unbekannten Variablen anwenden: Abstand im ersten Bild 441 und (x, y) Koordinaten der Ecken der Begrenzungsrahmen 432 und 433. Die Analyse der kleinsten Quadrate würde es uns ermöglichen, eine reale dreidimensionale Koordinate 434 einer Ecke oder eines Merkmalspunktes 407 zu bestimmen.
  • 5 stellt Bilder zum Bestimmen eines Begrenzungsrahmens und Merkmalspunkte in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar. Unter Bezugnahme auf 5 wurde eine Vielzahl von Bildern 501-504 in verschiedenen Abständen zwischen einem Fahrzeug und dem Anhänger 510 aufgenommen. Wie in jedem der Vielzahl von Bildern 501-504 dargestellt, werden eine Vielzahl von Begrenzungsrahmen 511-514 entsprechend der Fläche des Anhängers erzeugt und eine Vielzahl von Merkmalspunkten 521-524 erkannt.
  • Wenn der Abstand zwischen einem Fahrzeug und dem Anhänger 510 von Bild 501-504 abnimmt, vergrößern sich die Begrenzungsrahmen (z. B. Größe 514 > Größe 513 > Größe 512 > Größe 511). Darüber hinaus vergrößert sich der Abstand zwischen den Merkmalspunkten 521-524 und die Position der Merkmalspunkte 521-524 in Bezug auf den Bildrahmen. Dieser Abstand zwischen den Merkmalspunkten 521-524 in jedem Bild, die Position der Merkmalspunkte 521-524 in jedem Bild, die Abmessungen der Begrenzungsrahmen 511-514 und die Positionen der Ecken der Begrenzungsrahmen 511-514 können verwendet werden, um einen Abstand zwischen einem Teil eines Fahrzeugs und dem Anhänger 510 zu bestimmen.
  • Die 6A und 6B stellen Darstellungen zum Berechnen eines Gelenkwinkels eines Anhängers in Bezug auf eine Mittellinie eines Fahrzeugs gemäß einem Aspekt einer exemplarischen Ausführungsform dar. Unter Bezugnahme auf 6A wird ein Anhänger 601 dargestellt, der senkrecht zu einer Mittellinie durch ein Fahrzeug verläuft. In diesem Bild ist ein erster Abstand 602 zwischen der linken Seite eines Teils des Fahrzeugs und der linken Seite des Anhängers 601 und ein zweiter Abstand 603 zwischen der rechten Seite eines Teils des Fahrzeugs und einer rechten Seite des Anhängers 601 dargestellt. Die Abstände 602 und 603 sind gleich oder weisen vorgegebene Werte auf, wenn der Anhänger 601 senkrecht zu einer Mittellinie durch das Fahrzeug steht. Darüber hinaus kann eine Höhe 605 des Anhängers und eine Breite 604 des Anhängers aus dem Bild 610 bekannt sein oder berechnet werden.
  • Unter Bezugnahme auf 6B steht der Anhänger 601 aufgrund der Bewegung des Anhängers und des Fahrzeugs in Bild 620 nicht mehr senkrecht zu einer Mittellinie durch das Fahrzeug. Somit haben sich die ersten und zweiten Abstände 602 und 603 verändert. Basierend auf der Änderung der Abstände 602 und 603 der Breite des Anhängers 604 kann ein Gelenkwinkel des Anhängers 601 in Bezug auf eine Mittellinie durch ein Fahrzeug berechnet werden. Darüber hinaus kann basierend auf der Breite 604, der Höhe 605 und dem berechneten Gelenkwinkel bestimmt werden, ob eine Kollisionsgefahr zwischen dem Anhänger 601 und einem Teil des Fahrzeugs besteht. Der Bediener des Fahrzeugs kann auf die Gefahr einer Kollision hingewiesen werden
  • Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
  • Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.

Claims (10)

  1. Vorrichtung zum Erkennen eines Anhängers, wobei die Vorrichtung Folgendes umfasst: mindestens einen Speicher, umfassend computerausführbare Anweisungen; und mindestens einen Prozessor, der dazu konfiguriert ist, die computerausführbaren Anweisungen zu lesen und auszuführen, wobei die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen zum: Erkennen einer Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers, das in einem ersten Abstand aufgenommen wurde, und Erzeugen eines ersten Begrenzungsrahmens um die erkannte Fläche des Anhängers im ersten Bild; Erkennen der Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers, das in einem zweiten Abstand aufgenommen wurde, und Erzeugen eines zweiten Begrenzungsrahmens um die erkannte Fläche des Anhängers im zweiten Bild; Bestimmen eines ersten Satzes von Merkmalspunkten im ersten Begrenzungsrahmen und eines zweiten Satzes von Merkmalspunkten im zweiten Begrenzungsrahmen, die dem ersten Satz von Merkmalspunkten entsprechen; Bestimmen einer Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und einer Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens; und Schätzen mindestens einer Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate, um die dreidimensionalen realen Koordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken der ersten und zweiten Begrenzungsrahmen zu lösen.
  2. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, einen Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs basierend auf der geschätzten mindestens einen Abmessung zu bestimmen.
  3. Vorrichtung nach Anspruch 2, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, den Gelenkwinkel durch Bestimmen des Gelenkwinkels basierend auf der geschätzten mindestens einen Abmessung und einem Abstand zwischen dem Anhänger und dem Fahrzeug zu bestimmen, und worin die geschätzte mindestens eine Abmessung eine Breite des Anhängers umfasst.
  4. Vorrichtung nach Anspruch 3, des Weiteren umfassend: mindestens einen aus einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, den Abstand aus den Informationen zu bestimmen, die von dem mindestens einen von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
  5. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, den Winkel basierend auf den dreidimensionalen realen Weltkoordinaten zu bestimmen.
  6. Vorrichtung nach Anspruch 1, worin die geschätzte mindestens eine Abmessung eine Höhe und eine Breite des Anhängers umfasst.
  7. Vorrichtung nach Anspruch 1, des Weiteren umfassend: eine Kamera, die auf die Rückseite des Fahrzeugs gerichtet ist, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, das erste Bild des Anhängers, das im ersten Abstand aufgenommen wurde, und das zweite Bild des Anhängers, das im zweiten Abstand aufgenommen wurde, von der Kamera zu empfangen.
  8. Vorrichtung nach Anspruch 7, worin die Kamera ein zentrales oben angebrachtes Stopplicht (CHMSL-Kamera) umfasst.
  9. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten durch Bestimmen einer Rotationsmatrix zu bestimmen, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht, und worin die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens basierend auf der Rotationsmatrix bestimmt wird.
  10. Vorrichtung nach Anspruch 1, worin die computerausführbaren Anweisungen den mindestens einen Prozessor veranlassen, mindestens eine Abmessung des Anhängers basierend auf einer Brennweite einer Kamera, die das erste Bild und das zweite Bild aufgenommen hat, zu schätzen.
DE102018114730.9A 2017-06-20 2018-06-19 Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels Pending DE102018114730A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/628,030 US10346705B2 (en) 2017-06-20 2017-06-20 Method and apparatus for estimating articulation angle
US15/628,030 2017-06-20

Publications (1)

Publication Number Publication Date
DE102018114730A1 true DE102018114730A1 (de) 2018-12-20

Family

ID=64457364

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018114730.9A Pending DE102018114730A1 (de) 2017-06-20 2018-06-19 Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels

Country Status (3)

Country Link
US (1) US10346705B2 (de)
CN (1) CN109094669B (de)
DE (1) DE102018114730A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018120966A1 (de) * 2018-08-28 2020-03-05 Connaught Electronics Ltd. Verfahren zum Erkennen eines Teils eines Anhängers sowie Anhängererfassungssystem für ein Zugfahrzeug
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
DE102020126534A1 (de) 2020-10-09 2022-04-14 Eto Magnetic Gmbh Sensorvorrichtung und Verfahren zu einer Überwachung eines Kopplungszustands eines Kopplungselements
DE102021126814A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug
WO2023061731A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum ermitteln eines knickwinkels, verarbeitungseinheit und fahrzeug

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10351061B1 (en) * 2018-03-09 2019-07-16 Deere & Company Implement attachment guidance system
EP3537382A1 (de) * 2018-03-09 2019-09-11 Continental Automotive GmbH Vorrichtung und verfahren zur berechnung einer fahrzeuganhängerposition mit einer kamera
EP3787912B1 (de) * 2018-05-01 2023-07-12 Continental Autonomous Mobility US, LLC Ausrichtung von zugfahrzeug und anhänger
US10733757B2 (en) * 2018-05-10 2020-08-04 Magna Electronics Inc. Trailer assist system with estimation of 3D location of hitch
DE102018117584A1 (de) * 2018-07-20 2020-01-23 Jost-Werke Deutschland Gmbh Steckkupplungssystem sowie kupplungssystem
US11433812B2 (en) * 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
DE102019008918B4 (de) * 2019-12-20 2023-03-30 Jost-Werke Deutschland Gmbh Sattelkupplung mit einer Kupplungsplatte und einer Kamera
US11231716B2 (en) * 2020-01-28 2022-01-25 GM Global Technology Operations LLC Method and apparatus for determining trailer dimensions in a motor vehicle
US20210335130A1 (en) * 2020-04-28 2021-10-28 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer
DE102021201525A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
CN113296107B (zh) * 2021-06-23 2024-07-23 上海西井科技股份有限公司 传感器协同检测拖挂角度的方法、***、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9102271B2 (en) * 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
DE102014222048A1 (de) * 2013-10-31 2015-04-30 Ford Global Technologies, Llc Anhängerzielplatzierungsassistiersystem und -verfahren
US9889714B2 (en) * 2013-11-18 2018-02-13 Robert Bosch Gmbh Overhead view for hitch connection
RU2617895C2 (ru) * 2014-08-14 2017-04-28 Форд Глобал Технолоджис, ЛЛК Система для определения угла сцепки между транспортным средством и прицепом
US9950758B2 (en) * 2014-09-17 2018-04-24 General Electric Company Systems and methods for a turbine trailer mechanical docking and alignment system
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US10427717B2 (en) * 2017-09-19 2019-10-01 Ford Global Technologies, Llc Hitch assist system with hitch coupler identification feature and hitch coupler height estimation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018120966A1 (de) * 2018-08-28 2020-03-05 Connaught Electronics Ltd. Verfahren zum Erkennen eines Teils eines Anhängers sowie Anhängererfassungssystem für ein Zugfahrzeug
DE102020108416A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln einer Pose eines Objektes, Verfahren zum Steuern eines Fahrzeuges, Steuereinheit und Fahrzeug
WO2021191099A1 (de) 2020-03-26 2021-09-30 Zf Cv Systems Global Gmbh Verfahren zum ermitteln einer pose eines objektes, verfahren zum steuern eines fahrzeuges, steuereinheit und fahrzeug
DE102020126534A1 (de) 2020-10-09 2022-04-14 Eto Magnetic Gmbh Sensorvorrichtung und Verfahren zu einer Überwachung eines Kopplungszustands eines Kopplungselements
US11945523B2 (en) 2020-10-09 2024-04-02 Eto Magnetic Gmbh Sensor device and method for monitoring the coupling state of a coupling element
DE102021126814A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Lokalisieren eines Anhängers, Verarbeitungseinheit und Fahrzeug
WO2023061732A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum lokalisieren eines anhängers, verarbeitungseinheit und fahrzeug
WO2023061731A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum ermitteln eines knickwinkels, verarbeitungseinheit und fahrzeug
DE102021126816A1 (de) 2021-10-15 2023-04-20 Zf Cv Systems Global Gmbh Verfahren zum Ermitteln eines Knickwinkels, Verarbeitungseinheit und Fahrzeug

Also Published As

Publication number Publication date
CN109094669B (zh) 2021-05-28
US10346705B2 (en) 2019-07-09
US20180365509A1 (en) 2018-12-20
CN109094669A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
DE102018114730A1 (de) Verfahren und Vorrichtung zum Schätzen eines Gelenkwinkels
DE102018107196A1 (de) Verfahren und vorrichtung zur bereitstellung von anhängerinformationen
DE102015107677B4 (de) Rundum-Sicht-Kamerasystem- (VPM-) Online-Kalibrierung
DE102013113619B4 (de) Probabilistische Zielauswahl und Gefahrbewertungsverfahren und Anwendung auf ein Kreuzungs-Kollisonswarnsystem
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE102019102716A1 (de) Fahrzeug-anhänger rückfahrsichtsystem und -verfahren
DE102018106842B4 (de) Vorrichtung zum Auslösen einer Kupplungsansicht
DE102018113078A1 (de) Fahrzeugfernparksysteme und -verfahren
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE112017001322T5 (de) Signalverarbeitungsvorrichtung und Signalverarbeitungsverfahren
DE112017000643T5 (de) Detektion eines teilweise verdeckten Objekts unter Verwendung von Kontext und Tiefenordnung
DE102018112152A1 (de) Verfahren und vorrichtung zum kalibrieren der kamera
DE102018101592A1 (de) Verfahren und vorrichtung zur erweiterung einer rücksichtanzeige
EP2581892B1 (de) Abstandsmesssystem sowie Verfahren zur Abstandsmessung insbesondere eines Fahrzeugs zu seiner Umgebung
DE102019102989A1 (de) Verfahren und vorrichtung zum verhindern einer heckklappenkollision mit einem kupplungszubehörteil
DE102015107675A1 (de) System und Verfahren zur Schätzung einer Fahrzeugdynamik unter Verwendung von Merkmalpunkten in Bildern von mehreren Kameras
DE102018107048A1 (de) Drahtloses fahrzeuganhänger-schnittstellensystem
DE102011102744A1 (de) Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer separaten Recheneinrichtung
DE102018114190A1 (de) Verfahren und Vorrichtung zur Positionsfehlererfassung
DE112019003780T5 (de) Erkennung von beschädigungswinkeln für ein fahrzeug und einen anhänger
DE102018105237A1 (de) Verfahren und vorrichtung zur verbesserung der draufsicht
DE112020002746T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und abstandsmessmodul
DE102013226476A1 (de) Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems
DE102018101613A1 (de) Verfahren und Vorrichtung zur Steuerung der Heckklappenbewegung
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE