-
EINLEITUNG
-
Die Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, beziehen sich auf das Erkennen von Anhängern und die Unterstützung der Bediener, die Fahrzeuganhängekupplungen an die Anhängerkupplungen anzukuppeln. Insbesondere beziehen sich die Vorrichtungen und Verfahren, die mit exemplarischen Ausführungsformen übereinstimmen, auf das Bereitstellen eines Rückfahrvideos zur Unterstützung eines Fahrzeugführers mit einer Anhängerkupplung.
-
KURZDARSTELLUNG
-
Eine oder mehrere exemplarische Ausführungsformen stellen ein Verfahren und eine Vorrichtung zur Verfügung, welche die Abmessungen eines Anhängers anhand eines Videos und einer Position des Anhängers in Bezug auf ein Fahrzeug ermitteln können. Insbesondere bieten eine oder mehrere exemplarische Ausführungsformen ein Verfahren und eine Vorrichtung, welche die Abmessungen des Anhängers, den Abstand zwischen Anhänger und Fahrzeug und einen Gelenkwinkel des Anhängers bestimmen können.
-
Gemäß einer exemplarischen Ausführungsform wird ein Verfahren zum Erkennen von Anhängern bereitgestellt. Das Verfahren beinhaltet das Erkennen einer Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers, das in einem ersten Abstand aufgenommen wurde, und das Erzeugen einer ersten Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild, das Erkennen der Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers, das in einem zweiten Abstand aufgenommen wurde und das Erzeugen einer zweiten Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild, das Bestimmen eines ersten Satzes von Merkmalspunkten in der ersten Begrenzungsbox und eines zweiten Satzes von Merkmalspunkten in der zweiten Begrenzungsbox, die dem ersten Satz von Merkmalspunkten entsprechen, Bestimmen einer Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und einer Übereinstimmung zwischen Ecken des ersten Begrenzungsrahmens und Ecken des zweiten Begrenzungsrahmens, und Schätzen mindestens einer Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate, um für dreidimensionale reale Koordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
-
Das Verfahren kann auch das Bestimmen eines Gelenkwinkels des Anhängers in Bezug auf eine Linie durch eine Fahrzeugmitte basierend auf der geschätzten mindestens einen Abmessung und den dreidimensionalen Wirklichkeitskoordinaten beinhalten.
-
Der Gelenkwinkel kann aus den geschätzten mindestens einer Abmessung und einem Abstand zwischen Anhänger und Fahrzeug bestimmt werden. Die geschätzte mindestens eine Abmessung kann eine Breite des Anhängers sein.
-
Der Abstand kann aus Informationen bestimmt werden, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
-
Das Bestimmen des Gelenkwinkels kann auch das Bestimmen des Gelenkwinkels basierend auf den dreidimensionalen realen Weltkoordinaten beinhalten.
-
Die geschätzte mindestens eine Abmessung kann eine Höhe und eine Breite des Anhängers sein.
-
Das Verfahren kann weiterhin das Empfangen des ersten Bildes des Anhängers, das im ersten Abstand aufgenommen wurde, und des zweiten Bildes des Anhängers, das im zweiten Abstand von einer Kamera aufgenommen wurde, die dem Heck des Fahrzeugs zugewandt ist, beinhalten.
-
Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
-
Das Bestimmen der Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten kann das Bestimmen einer Rotationsmatrix beinhalten, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
-
Gemäß einer exemplarischen Ausführungsform wird eine Vorrichtung zum Erkennen von Anhängern bereitgestellt. Die Vorrichtung beinhaltet: mindestens einen Speicher, der computerausführbare Anweisungen umfasst; und mindestens einen Prozessor, der konfiguriert ist, um die computerausführbaren Anweisungen auszuführen. Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand zu erkennen und eine erste Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild zu erzeugen, die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers in einem zweiten Abstand zu erkennen und eine zweite Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild zu erzeugen, einen ersten Satz von Merkmalspunkten in der ersten Begrenzungsbox und einen zweiten Satz von Merkmalspunkten in der zweiten Begrenzungsbox zu bestimmen, die dem ersten Satz von Merkmalspunkten entsprechen, eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens bestimmen und mindestens eine Abmessung des Anhängers schätzen, indem eine Analyse der kleinsten Quadrate durchgeführt wird, um für dreidimensionale reale Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, einen Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs basierend auf der geschätzten mindestens einen Abmessung zu bestimmen.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Gelenkwinkel basierend auf der geschätzten mindestens einen Abmessung und einem Abstand zwischen dem Anhänger und dem Fahrzeug zu bestimmen. Die geschätzte mindestens eine Abmessung kann eine Breite des Anhängers sein.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Abstand von den Informationen zu bestimmen, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, den Gelenkwinkel basierend auf den dreidimensionalen realen Weltkoordinaten zu bestimmen.
-
Die geschätzte mindestens eine Abmessung kann eine Höhe und eine Breite des Anhängers sein.
-
Die Vorrichtung kann weiterhin eine Kamera beinhalten, die auf das Heck des Fahrzeugs gerichtet ist. Die computerausführbaren Befehle können den mindestens einen Prozessor veranlassen, das erste Bild des Anhängers, das im ersten Abstand aufgenommen wurde, und das zweite Bild des Anhängers, das im zweiten Abstand aufgenommen wurde, von der Kamera zu empfangen. Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor veranlassen, die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten durch Bestimmen einer Rotationsmatrix zu bestimmen, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
-
Die computerausführbaren Anweisungen können den mindestens einen Prozessor auch dazu veranlassen, mindestens eine Abmessung des Anhängers basierend auf der Brennweite einer Kamera zu schätzen, die das erste Bild und das zweite Bild aufgenommen hat.
-
Weitere Zwecke, Vorteile und neuartige Merkmale der Ausführungsbeispiele ergeben sich aus der nachfolgenden detaillierten Beschreibung der Ausführungsbeispiele und den beigefügten Zeichnungen.
-
Figurenliste
-
- 1 stellt ein Blockdiagramm einer Vorrichtung dar, die einen Anhänger gemäß einer exemplarischen Ausführungsform erkennt;
- 2 stellt ein Flussdiagramm für ein Verfahren zum Erkennen eines Anhängers gemäß einer exemplarischen Ausführungsform dar;
- 3 stellt eine Darstellung zum Erkennen von Merkmalspunkten in einem Bild eines Anhängers gemäß einem Aspekt einer exemplarischen Ausführungsform dar;
- 4 stellt Darstellungen zum Bestimmen eines Begrenzungsrahmens in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar;
- 5 stellt Bilder zum Bestimmen eines Begrenzungsrahmens und Merkmalspunkte in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar; und
-
Die 6A und 6B stellen Darstellungen zum Berechnen eines Gelenkwinkels eines Anhängers in Bezug auf eine Mittellinie eines Fahrzeugs gemäß einem Aspekt einer exemplarischen Ausführungsform dar.
-
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
Eine Vorrichtung und ein Verfahren, die einen Anhänger erkennen und einen Gelenkwinkel bestimmen, werden nun im Detail unter Bezugnahme auf die 1 - 6B der beigefügten Zeichnungen beschrieben, in denen sich gleiche Bezugszeichen auf gleiche Elemente beziehen.
-
Die folgende Offenbarung ermöglicht es Fachleuten Erfindungsgedanken auszuüben. Jedoch sind die hierin offenbarten exemplarischen Ausführungsformen lediglich exemplarisch und beschränken nicht den Erfindungsgedanken der hierin beschriebenen Ausführungsbeispiele. Außerdem sollten Beschreibungen der Merkmale oder Aspekte jeder exemplarischen Ausführungsform normalerweise als verfügbar für Aspekte von anderen Ausführungsbeispielen berücksichtigt werden.
-
Es versteht sich auch, dass dort, wo es hierin angegeben ist, ein erstes Element mit einem zweiten Element „verbunden mit“, "gebildet auf“ oder „angelegt“ ist, das erste Element direkt verbunden mit, direkt gebildet auf oder direkt auf dem zweiten Element angeordnet sein kann, dass Zwischenelemente zwischen dem ersten Element und dem zweiten Element vorhanden sein können, es sei denn, es wird angegeben, dass ein erstes Element „direkt“ mit dem zweiten Element verbunden, daran befestigt, darauf ausgebildet oder auf diesem angeordnet ist. Wenn darüber hinaus ein erstes Element dazu konfiguriert ist, Informationen von einem zweiten Element zu „senden“ oder auf diesem zu „empfangen“, kann das erste Element die Informationen direkt zu dem zweiten Element senden oder von diesem empfangen, die Informationen über einen Bus senden oder von diesem empfangen, die Informationen über ein Netzwerk senden oder empfangen, oder die Information über Zwischenelemente senden oder empfangen, es sei denn, das erste Element wird angezeigt, um Informationen „direkt“ zu dem zweiten Element zu senden oder von diesem zu empfangen.
-
In der gesamten Offenbarung können eines oder mehrere der offenbarten Elemente zu einer einzigen Vorrichtung kombiniert oder zu einer oder mehreren Vorrichtungen kombiniert werden. Zusätzlich können einzelne Elemente auf separaten Vorrichtungen vorgesehen sein.
-
Fahrzeuge, wie beispielsweise LKWs, beinhalten Anhängevorrichtungen, die als Befestigungspunkte für Anhänger dienen, die von einem Fahrzeug gezogen werden können. Einige Anhänger, die von einem Fahrzeug gezogen werden können, beinhalten eine Sattelkupplung, eine Schwanenhalskupplung, oder eine Anhängerkupplung mit einer niedrigen Ausführung. Um einen Anhänger am Fahrzeug anzubringen, muss der Fahrer das Fahrzeug so führen, dass eine im Fahrzeugbett oder auf der Rückseite des Fahrzeugs befindliche Kupplung mit der Kupplung des Anhängers fluchtet. Oftmals erfordert der Prozess des Ausrichtens der Kupplung des Fahrzeugs mit der Anhängerkupplung das wiederholte Betreten und Verlassen des Fahrzeugs oder die Führung einer anderen Person, die außerhalb des Fahrzeugs steht.
-
Um dieses Problem zu beheben, kann der Fahrer eines Fahrzeugs ein von einer Rückfahrkamera oder einer nach hinten gerichteten Kamera bereitgestelltes Bild betrachten. Das Bild kann von einem Bediener zum Führen des Fahrzeugs verwendet werden. Bei rückwärts gerichteten oder Rückfahrkameras, die nur eine Bildansicht bereitstellen, können jedoch andere Informationen wie Abstand zum Anhänger, Anhängerwinkel und Anhängerabmessungen fehlen. Daher kann es hilfreich sein, einem Bediener eines Fahrzeugs oder eines Fahrzeugsystems, das zum Ausrichten eines Fahrzeugs mit einem Anhänger verwendet wird, zusätzliche Informationen zur Verfügung zu stellen.
-
1 stellt ein Blockdiagramm einer Vorrichtung zum Erkennen eines Anhängers und zum Bereitstellen von Anhängerinformationen 100 (d. h. einer Vorrichtung zum Erkennen eines Anhängers) gemäß einer exemplarischen Ausführungsform dar. Wie in 1 gezeigt, beinhaltet die Vorrichtung zum Erkennen eines Anhängers 100 gemäß einer exemplarischen Ausführungsform eine Steuerung 101, eine Stromversorgung 102, einen Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Anhängererkennungssensor 107 und eine Kommunikationsvorrichtung 108. Jedoch ist die Vorrichtung zum Erkennen eines Anhängers 100 nicht auf die vorstehend erwähnte Konfiguration beschränkt und kann so konfiguriert sein, dass sie zusätzliche Elemente beinhaltet und/oder ein oder mehrere der vorgenannten Elemente weglässt. Die Vorrichtung zum Erkennen eines Anhängers 100 kann als Teil eines Fahrzeugs, als eigenständige Komponente, als Hybrid zwischen einer Fahrzeug- und einer nicht Fahrzeugvorrichtung oder einem anderen Computergerät implementiert sein.
-
Die Steuerung 101 steuert den Gesamtbetrieb und die Funktion der Vorrichtung zum Erkennen eines Anhängers 100. Die Steuerung 101 kann einen oder mehrere Speicher 103, einen Ausgang 104, eine Benutzereingabe 106, einen Anhängererkennungssensor 107 und eine Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 steuern. Die Steuerung 101 kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen, Schaltungen und einer Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten.
-
Die Steuerung 101 ist konfiguriert, um Informationen von einen oder mehreren Speichern 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 zu senden und/oder zu empfangen. Die Informationen können über einen Bus oder ein Netzwerk gesendet und empfangen werden oder können direkt von einem oder mehreren von dem Speicher 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100 gelesen oder geschrieben werden. Beispiele geeigneter Netzwerkverbindungen beinhalten ein Controller Area Network (CAN), einen medienorientierten Systemtransfer (MOST), ein lokales Kopplungsstrukturnetzwerk (LIN), ein lokales Netzwerk (LAN), Drahtlosnetzwerke, wie beispielsweise Bluetooth und 802.11, und andere geeignete Verbindungen, wie z. B. Ethernet.
-
Gemäß einem Beispiel kann die Steuerung 101 Informationen von einem oder mehreren von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor empfangen. Die Informationen eines oder mehrerer Beschleunigungsmesser, Tachometer, Ultraschallsensoren, Kilometerzähler, Radarsensoren und Raddrehzahlsensoren können zum Bestimmen einer von einem Fahrzeug zurückgelegten Strecke oder eines Abstandes von einem Fahrzeug zu einem Anhänger verwendet werden.
-
Die Stromversorgung 102 liefert Strom an eine oder mehrere der Steuerungen 101, dem Speicher 103, dem Ausgang 104, der Benutzereingabe 106, dem Anhängererkennungssensor 107 und der Kommunikationsvorrichtung 108 der Vorrichtung zum Erkennen eines Anhängers 100. Die Stromversorgung 102 kann eine oder mehrere aus einer Batterie, einem Auslass, einem Kondensator, einer Solarenergiezelle, einem Generator, einer Windenergievorrichtung, einem Wechselstromgenerator usw. beinhalten.
-
Der Speicher 103 ist zum Speichern von Informationen und zum Wiedergewinnen von Informationen konfiguriert, die von der Vorrichtung zum Erkennen eines Anhängers 100 verwendet werden. Der Speicher 103 kann durch die Steuerung 101 gesteuert werden, um vom Anhängererkennungssensor 107 empfangene Informationen zu speichern und abzurufen. Die Informationen können Informationen zu einem Anhänger beinhalten, der vom Anhängererkennungssensor 107 erfasst wurde, Bildinformationen von Bildern, die vom Anhängererkennungssensor 107 aufgenommen wurden, Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor und/oder Informationen darüber, ob ein Fahrzeug an einen Anhänger angekoppelt werden soll. Der Speicher 103 kann auch die computerausführbaren Anweisungen beinhalten, die konfiguriert sind, um von einem Prozessor ausgeführt zu werden, um die Funktionen der Vorrichtung zum Erkennen eines Anhängers 100 auszuführen.
-
Der Speicher 103 kann ein oder mehrere aus Disketten, optischen Platten, CD-ROMs (Compact Disc-Read Only Memories), magnetooptischen Platten, ROMs (Read Only Memories), RAMs (Random Access Memories), EPROMs (löschbare programmierbare Nur-Lese-Speicher), EEPROMs (elektrisch löschbare programmierbare Nur-Lese-Speicher), magnetische oder optische Karten, Flash-Speicher, Cache-Speicher und andere Arten von Medien/maschinenlesbaren Medien beinhalten, die zum Speichern von maschinenausführbaren Anweisungen geeignet sind.
-
Der Ausgang 104 gibt Informationen in einer oder mehreren Formen aus, einschließlich: visuell, hörbar und/oder haptisch. Der Ausgang 104 kann über die Steuerung 101 gesteuert werden, um dem Benutzer der Vorrichtung zum Erkennen eines Anhängers 100 Ausgänge zu liefern. Der Ausgang 104 kann einen oder mehrere aus einem Lautsprecher, einer Audiovorrichtung, einer Anzeige, einer zentral gelegenen Anzeige, einem Head-Up-Display, einer Windschutzscheibenanzeige, einer haptischen Rückmeldungsvorrichtung, einer Schwingungsvorrichtung, einer taktilen Rückmeldungsvorrichtung, einer Tap-Rückmeldungsvorrichtung, einer holografischen Anzeige, einer Instrumentenleuchte, einer Kontrollleuchte usw. beinhalten.
-
Der Ausgang 104 kann Benachrichtigungen ausgeben, die eine oder mehrere aus einer hörbaren Benachrichtigung, einer Leuchtenbenachrichtigung und einer Anzeigenbenachrichtigung usw. beinhalten. Die Benachrichtigung kann darauf hinweisen, dass sich das Fahrzeug im Anhängemodus befindet oder versucht, an einen Anhänger anzukuppeln. Darüber hinaus kann der Ausgang 104 ein Bild von der Rückseite eines Fahrzeugs ausgeben, welches die Ladefläche des Fahrzeugs und/oder einen Bereich hinter dem Fahrzeug einschließlich eines Anhängers, an den das Fahrzeug anzukuppeln versucht, darstellt. Das Bild von der Rückseite des Fahrzeugs kann bearbeitet oder angepasst werden, um eine Grafik, die einem Gelenkwinkel eines Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht, eine Grafik, die den Abständen zwischen den Kanten eines Anhängers und einem Teil eines Fahrzeugs (z. B. einer Fahrzeugkabine) entspricht, oder eine Grafik, die den Abmessungen des Anhängers entspricht, zu beinhalten.
-
Die Benutzereingabe 106 ist konfiguriert, um Informationen und Befehle an die Vorrichtung zum Erkennen eines Anhängers 100 vorzusehen. Die Benutzereingabe 106 kann verwendet werden, um Benutzereingaben usw. für die Steuerung 101 bereitzustellen. Die Benutzereingabe 106 kann einen oder mehrere aus einem Touchscreen, einer Tastatur, einer Softtastatur, einer Schaltfläche, einem Bewegungsdetektor, einem Spracheingabedetektor, einem Mikrofon, einer Kamera, einem Trackpad, einer Maus, einem Touchpad usw. beinhalten. Die Benutzereingabe 106 kann dazu konfiguriert sein, eine Benutzereingabe zu empfangen und damit die Benachrichtigung durch den Ausgang 104 zu bestätigen oder zu verwerfen. Die Benutzereingabe 106 kann auch konfiguriert werden, um eine Benutzereingabe zu empfangen, um einen Anhängererkennungsalgorithmus zu aktivieren oder einen Anhängemodus der Vorrichtung zum Erkennen eines Anhängers 100 zu aktivieren.
-
Der Anhängererkennungssensor 107 kann einen oder mehrere aus einer Vielzahl von Sensoren einschließlich eines Bildgebungssensors, einer Kamera, eines Lasersensors, eines Ultraschallsensors, einer Infrarotkamera, eines LIDAR, eines Radarsensors, eines Ultrakurzbereichsradarsensors, eines Ultrabreitbandradarsensor und eines Mikrowellensensors beinhalten. Der Anhängererkennungssensor 107 kann ein oder mehrere Bilder von einer oder mehreren rückwärts gerichteten Kameras bereitstellen, die analysiert werden können, um zu bestimmen, ob ein Fahrer eines Fahrzeugs beabsichtigt, eine Kupplung auf einer Ladefläche des Fahrzeugs mit einem Anhänger zu kuppeln, die zur Identifizierung eines Anhängers analysiert wird und/oder zur Identifizierung einer Kupplung eines Anhängers analysiert wird.
-
Darüber hinaus können andere Arten von Informationen, wie beispielsweise Abstand, Infrarotbilder, Geschwindigkeit, Beschleunigung, Fahrtrichtung, Fahrstrecke, Abstand zwischen einem Anhänger und einem Fahrzeug oder einer Fahrzeugkamera, Brennweite einer Kamera usw., von anderen Arten von Sensoren bereitgestellt werden. So zum Beispiel Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor usw. Der Speicher 103 kann auch die Computeranweisungen beinhalten, die zum Ausführen der Funktionen der Vorrichtung zum Erkennen des Anhängers 100 durch einen Prozessor konfiguriert sind. Die Informationen können verarbeitet werden, um zu bestimmen, ob ein Bediener eines Fahrzeugs beabsichtigt, eine Anhängekupplung an einer Ladefläche des Fahrzeugs mit einem Anhänger zu kuppeln, einen Anhängertyp zu bestimmen, eine Position eines Anhängers zu bestimmen, Informationen zur Bewegung eines Fahrzeugs zu bestimmen, wie beispielsweise Geschwindigkeit und/oder Trajektorie, oder um zu bestimmen, ob ein Tor einer Ladefläche eines Fahrzeugs geöffnet ist.
-
Die Kommunikationsvorrichtung 108 kann von der Vorrichtung zum Erkennen des Anhängers 100 verwendet werden, um mit verschiedenen Arten von externen Vorrichtungen gemäß verschiedenen Kommunikationsverfahren zu kommunizieren. Die Kommunikationsvorrichtung 108 kann zum Senden/Empfangen von Informationen verwendet werden, einschließlich Informationen zu einem Anhänger, der vom Anhängererkennungssensor 107 erfasst wird, Informationen vom Anhängererkennungssensor 107, wie beispielsweise Bildinformationen, Informationen zur Fahrzeugdynamik, wie beispielsweise Fahrzeuggeschwindigkeit und Fahrzeugtrajektorie, Informationen zu einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor oder einem Raddrehzahlsensor und/oder Informationen darüber, ob ein Fahrzeug mit einem Anhänger gekuppelt werden soll. Der Speicher 103 kann auch die Computeranweisungen beinhalten, die zum Ausführen der Funktionen der Vorrichtung zum Erkennen des Anhängers 100 durch einen Prozessor konfiguriert sind, und/oder Informationen, die anzeigen, ob ein Fahrzeug mit einem Anhänger gekuppelt wird, an/von der Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100.
-
Die Kommunikationsvorrichtung 108 kann verschiedene Kommunikationsmodule beinhalten, wie etwa ein oder mehrere Rundfunkempfangsmodule, ein Nahbereichskommunikations-(NFC)-Modul, ein GPS-Modul und ein Drahtloskommunikationsmodul. Das Rundfunkempfangsmodul kann ein terrestrisches Rundfunkempfangsmodul beinhalten, welches eine Antenne beinhaltet, um ein terrestrisches Rundfunksignal, einen Demodulator und einen Entzerrer usw. zu empfangen. Das NFC-Modul ist ein Modul, das mit einer externen Vorrichtung kommuniziert, die sich in einer nahe gelegenen Entfernung gemäß einem NFC-Verfahren befindet. Der GPS-Empfänger ist ein Modul, das ein GPS-Signal von einem GPS-Satelliten empfängt und einen aktuellen Standort erkennt. Das drahtgebundene Kommunikationsmodul kann ein Modul sein, das Informationen über ein drahtgebundenes Netzwerk, wie etwa ein lokales Netzwerk, ein Controller Area Network (CAN) oder ein externes Netzwerk, empfängt. Das drahtlose Kommunikationsmodul ist ein Modul, das über ein drahtloses Kommunikationsprotokoll, wie beispielsweise ein IEEE 802.11-Protokoll, WiMAX-, WLAN- oder IEEE-Kommunikationsprotokoll mit einem externen Netzwerk verbunden ist und mit dem externen Netzwerk kommuniziert. Das Drahtloskommunikationsmodul kann ferner ein Mobilkommunikationsmodul beinhalten, das auf ein Mobilkommunikationsnetzwerk zugreift und eine Kommunikation gemäß verschiedenen Mobilkommunikationsstandards, wie etwa 3. Generation (3G), 3. Generation Partnerschaftsprojekt (3GPP), Langzeitentwicklung (LTE), Bluetooth, EVDO, CDMA, GPRS, EDGE oder Zigbee, beinhalten.
-
Gemäß einer exemplarischen Ausführungsform kann die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 konfiguriert werden, um eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand zu erkennen und eine erste Begrenzungsbox um die erkannte Fläche des Anhängers in dem ersten Bild zu erzeugen, die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers in einem zweiten Abstand zu erkennen und eine zweite Begrenzungsbox um die erkannte Fläche des Anhängers in dem zweiten Bild zu erzeugen, einen ersten Satz von Merkmalspunkten in der ersten Begrenzungsbox und einen zweiten Satz von Merkmalspunkten in der zweiten Begrenzungsbox zu bestimmen, die dem ersten Satz von Merkmalspunkten entsprechen, eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten und eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens bestimmen und mindestens eine Abmessung des Anhängers schätzen, indem eine Analyse der kleinsten Quadrate durchgeführt wird, um für dreidimensionale reale Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken des ersten und des zweiten Begrenzungsrahmens zu lösen.
-
Die geschätzte mindestens eine Abmessung kann eine Höhe und Breite des Anhängers sein. Die Merkmalspunkte können den Kanten eines Anhängers, Objekten auf dem Anhänger, Merkmalen des Anhängers oder anderen visuell wahrnehmbaren Merkmalen entsprechen, die auf einer Fläche des Anhängers angeordnet sind.
-
Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um einen Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Fahrzeugmitte basierend auf der geschätzten mindestens einen Abmessung und/oder den dreidimensionalen realen Weltkoordinaten zu bestimmen.
-
Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um den Gelenkwinkel aus dem Abstand zwischen dem Anhänger und dem Fahrzeug und der Breite des Anhängers zu bestimmen.
-
Die Steuerung 101 der Vorrichtung zum Erkennen des Anhängers 100 kann konfiguriert werden, um den Abstand von Informationen zu bestimmen, die von mindestens einem von einem Beschleunigungsmesser, einem Tachometer, einem Ultraschallsensor, einem Kilometerzähler, einem Radarsensor und einem Raddrehzahlsensor bereitgestellt werden.
-
Die Steuerung 101 kann auch konfiguriert werden, um das erste Bild des Anhängers, das im ersten Abstand aufgenommen wurde, und das zweite Bild des Anhängers, das im zweiten Abstand von einer Kamera aufgenommen wurde, die dem Heck eines Fahrzeugs zugewandt ist, zu empfangen. Die Kamera kann ein zentrales oben angebrachtes Stopplicht (CHMSL) sein.
-
Die Steuerung 101 kann auch konfiguriert werden, um die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten durch Bestimmen einer Rotationsmatrix zu bestimmen, die einem Gelenkwinkel des Anhängers in Bezug auf eine Linie durch eine Mitte des Fahrzeugs entspricht. Die Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie die Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens kann basierend auf der Rotationsmatrix bestimmt werden.
-
2 zeigt ein Flussdiagramm für ein Verfahren zum Vorrichtung zum Erkennen des Anhängers gemäß einer exemplarischen Ausführungsform. Das Verfahren von 2 kann durch die Vorrichtung zum Erkennen des Anhängers 100 durchgeführt werden oder in ein computerlesbares Medium als Anweisungen kodiert werden, die von einem Computer ausgeführt werden können, um das Verfahren durchzuführen.
-
Unter Bezugnahme auf 2 wird in Operation S210 eine Fläche eines Anhängers basierend auf einem ersten Bild des Anhängers in einem ersten Abstand erfasst und ein erster Begrenzungsrahmen um die erkannte Fläche des Anhängers im ersten Bild erzeugt. Die Fläche des Anhängers basierend auf einem zweiten Bild des Anhängers, das in einem zweiten Abstand aufgenommen wurde, wird erfasst und ein zweiter Begrenzungsrahmen um die erkannte Fläche des Anhängers im zweiten Bild wird in Operation S220 erfasst. In Operation S230 wird ein erster Satz von Merkmalspunkten im ersten Begrenzungsrahmen und ein zweiter Satz von Merkmalspunkten im zweiten Begrenzungsrahmen ermittelt, die dem ersten Satz von Merkmalspunkten entsprechen. Die Operationen S210 - S230 können wiederholt werden, bis eine ausreichende Anzahl von Musterbildern aufgenommen wurde, um eine Analyse der kleinsten Quadrate durchzuführen.
-
In Operation S240 wird eine Übereinstimmung zwischen dem ersten Satz von Merkmalspunkten und dem zweiten Satz von Merkmalspunkten sowie eine Übereinstimmung zwischen den Ecken des ersten Begrenzungsrahmens und den Ecken des zweiten Begrenzungsrahmens ermittelt. Anschließend wird mindestens eine Abmessung des Anhängers durch Ausführen einer Analyse der kleinsten Quadrate geschätzt, um die dreidimensionalen realen Weltkoordinaten des ersten und zweiten Satzes von Merkmalspunkten und der Ecken der ersten und zweiten Begrenzungsboxen in Operation S250 zu lösen.
-
3 zeigt eine Darstellung des Erkennens von Merkmalspunkten in einem Bild eines Anhängers gemäß einem Aspekt einer exemplarischen Ausführungsform. Unter Bezugnahme auf 3 werden die Bilder 306-308, die Perspektiven 311-313 und die Begrenzungsboxen 302-304 entsprechend der Übereinstimmung mit den Bildern und Perspektiven dargestellt. Die Projektionsmatrix für jede der Perspektiven kann verwendet werden, um eine realitätsnahe Perspektive 305 basierend auf realen dreidimensionalen Koordinaten 309 der Merkmalspunkte 301 und 310 zu bestimmen.
-
In einem Beispiel, wenn Merkmalspunkte (N) in allen Momentaufnahmen (K) erkannt werden, erhalten wir 2NK Messungen. Jeder Merkmalspunkt trägt zu zwei Messungen bei. Die Anzahl der Unbekannten wird durch die Gleichung 3K+2N, drei Variablen pro Momentaufnahme (K) und zwei Variablen für jeden Merkmalspunkt (N) in der y-z-Ebene bestimmt. Wenn also 2NK≥ 3K+2N, d. h. die Anzahl der Messungen ist größer als die Anzahl der Unbekannten, kann man die Position der Merkmalspunkte in der y-z-Ebene ermitteln, und die Breite und Höhe des Anhängers kann aus der Position der Merkmalspunkte abgeleitet werden.
-
Dementsprechend, wenn die Anzahl der Messungen größer ist als die Anzahl der Unbekannten, kann ein Algorithmus der kleinsten Quadrate angewendet werden, um für die realen dreidimensionalen Koordinaten eines Merkmalspunkts durch Minimieren von min∥zij - PiXj∥2 zu lösen, wobei zij ein Merkmalspunkt im Begrenzungsrahmen eines Bildes ist, Pi eine Projektionsmatrix ist, Xj eine reale dreidimensionale Koordinate eines Merkmalspunkts ist.
-
Unter der Annahme, dass sich ein LKW auf ebenem Boden bewegt, kann die Projektionsmatrix P
i durch die folgende Gleichung bestimmt werden: P
i = P[R
i|t
i], wobei t
i die Position der Kamera (x
i,y
i,h) mit h als Höhe der Kamera ist, wobei die Rotationsmatrix R
i durch den Gelenkwinkel φ
i des Anhängers bestimmt wird, z. B. R
i = I für den Nullzielwinkel, P die Kameraprojektionsmatrix (konstant) ist, abgeleitet von den inneren und äußeren Parametern der Kamera. In einem Beispiel kann die Konstante P basierend auf der Brennweite, der Bildauflösung, der Kameraeinbauposition und/oder dem Kamerawinkel (z. B. 3 Euler Winkel und 3-D Real-World-Position) eingestellt werden. Gemäß einem Beispiel wird die Projektionsmatrix durch die folgende Gleichung bestimmt:
-
4 stellt Darstellungen zum Bestimmen einem Begrenzungsrahmen in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar.
-
Unter Bezugnahme auf 4 können die Abmessungen des Anhängers 420 bei einem geraden Rückwärtsmanöver des Fahrzeugs 410 ermittelt werden, z. B. wenn sich ein Fahrzeug 410 rückwärts und gerade auf den Anhänger 420 zu bewegt. Wie in 4 dargestellt, werden drei Bilder 441-443 mit unterschiedlichen Perspektiven 401-403 des Anhängers in drei verschiedenen Abständen vom Anhänger aufgenommen. Ein Begrenzungsrahmen aus der Vielzahl der Begrenzungsrahmen 431-433 kann jeder Perspektive entsprechen.
-
Die Übereinstimmung zwischen einem Punkt 406 (z. B. einer Ecke eines Begrenzungsrahmens) in der Vielzahl der Begrenzungsrahmen 431-433 kann bestimmt werden. Diese Übereinstimmung kann verwendet werden, um eine reale dreidimensionale Koordinate 407 des Punktes zu bestimmen. Dies kann auf alle Ecken des Begrenzungsrahmens angewendet werden, um reale dreidimensionale Koordinaten aller Ecken des Begrenzungsrahmens zu bestimmen.
-
Wenn man zum Beispiel drei Schnappschüsse oder Bilder vorliegen hat, können die realen dreidimensionalen Koordinaten der Ecken des Begrenzungsrahmens bestimmt werden. In Anbetracht der Höhe der Kamera, der Verschiebung zwischen dem ersten und zweiten Bild 404 und der Verschiebung zwischen dem zweiten und dritten Bild 405, würden wir eine Analyse der kleinsten Quadrate auf die neun unbekannten Variablen anwenden: Abstand im ersten Bild 441 und (x, y) Koordinaten der Ecken der Begrenzungsrahmen 432 und 433. Die Analyse der kleinsten Quadrate würde es uns ermöglichen, eine reale dreidimensionale Koordinate 434 einer Ecke oder eines Merkmalspunktes 407 zu bestimmen.
-
5 stellt Bilder zum Bestimmen eines Begrenzungsrahmens und Merkmalspunkte in verschiedenen Abständen von einer Anhängeransicht gemäß einem Aspekt einer exemplarischen Ausführungsform dar. Unter Bezugnahme auf 5 wurde eine Vielzahl von Bildern 501-504 in verschiedenen Abständen zwischen einem Fahrzeug und dem Anhänger 510 aufgenommen. Wie in jedem der Vielzahl von Bildern 501-504 dargestellt, werden eine Vielzahl von Begrenzungsrahmen 511-514 entsprechend der Fläche des Anhängers erzeugt und eine Vielzahl von Merkmalspunkten 521-524 erkannt.
-
Wenn der Abstand zwischen einem Fahrzeug und dem Anhänger 510 von Bild 501-504 abnimmt, vergrößern sich die Begrenzungsrahmen (z. B. Größe 514 > Größe 513 > Größe 512 > Größe 511). Darüber hinaus vergrößert sich der Abstand zwischen den Merkmalspunkten 521-524 und die Position der Merkmalspunkte 521-524 in Bezug auf den Bildrahmen. Dieser Abstand zwischen den Merkmalspunkten 521-524 in jedem Bild, die Position der Merkmalspunkte 521-524 in jedem Bild, die Abmessungen der Begrenzungsrahmen 511-514 und die Positionen der Ecken der Begrenzungsrahmen 511-514 können verwendet werden, um einen Abstand zwischen einem Teil eines Fahrzeugs und dem Anhänger 510 zu bestimmen.
-
Die 6A und 6B stellen Darstellungen zum Berechnen eines Gelenkwinkels eines Anhängers in Bezug auf eine Mittellinie eines Fahrzeugs gemäß einem Aspekt einer exemplarischen Ausführungsform dar. Unter Bezugnahme auf 6A wird ein Anhänger 601 dargestellt, der senkrecht zu einer Mittellinie durch ein Fahrzeug verläuft. In diesem Bild ist ein erster Abstand 602 zwischen der linken Seite eines Teils des Fahrzeugs und der linken Seite des Anhängers 601 und ein zweiter Abstand 603 zwischen der rechten Seite eines Teils des Fahrzeugs und einer rechten Seite des Anhängers 601 dargestellt. Die Abstände 602 und 603 sind gleich oder weisen vorgegebene Werte auf, wenn der Anhänger 601 senkrecht zu einer Mittellinie durch das Fahrzeug steht. Darüber hinaus kann eine Höhe 605 des Anhängers und eine Breite 604 des Anhängers aus dem Bild 610 bekannt sein oder berechnet werden.
-
Unter Bezugnahme auf 6B steht der Anhänger 601 aufgrund der Bewegung des Anhängers und des Fahrzeugs in Bild 620 nicht mehr senkrecht zu einer Mittellinie durch das Fahrzeug. Somit haben sich die ersten und zweiten Abstände 602 und 603 verändert. Basierend auf der Änderung der Abstände 602 und 603 der Breite des Anhängers 604 kann ein Gelenkwinkel des Anhängers 601 in Bezug auf eine Mittellinie durch ein Fahrzeug berechnet werden. Darüber hinaus kann basierend auf der Breite 604, der Höhe 605 und dem berechneten Gelenkwinkel bestimmt werden, ob eine Kollisionsgefahr zwischen dem Anhänger 601 und einem Teil des Fahrzeugs besteht. Der Bediener des Fahrzeugs kann auf die Gefahr einer Kollision hingewiesen werden
-
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, die jede vorhandene programmierbare elektronische Steuervorrichtung oder eine dedizierte elektronische Steuervorrichtung beinhalten können, geliefert/implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien, wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
-
Es wurden oben ein oder mehrere Ausführungsbeispiele anhand der Zeichnungen beschrieben. Die oben beschriebenen Ausführungsbeispiele sollten nur im beschreibenden Sinne betrachtet werden und nicht der Begrenzung dienen. Außerdem können die Ausführungsbeispiele ohne Abweichen vom Geist und Schutzumfang des Erfindungsgedankens modifiziert werden, was in den folgenden Ansprüchen definiert ist.