DE102019112002A1 - Systeme und verfahren zur automatischen detektion von anhängereigenschaften - Google Patents

Systeme und verfahren zur automatischen detektion von anhängereigenschaften Download PDF

Info

Publication number
DE102019112002A1
DE102019112002A1 DE102019112002.0A DE102019112002A DE102019112002A1 DE 102019112002 A1 DE102019112002 A1 DE 102019112002A1 DE 102019112002 A DE102019112002 A DE 102019112002A DE 102019112002 A1 DE102019112002 A1 DE 102019112002A1
Authority
DE
Germany
Prior art keywords
trailer
vehicle
point cloud
dimensional point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019112002.0A
Other languages
English (en)
Inventor
David Michael Herman
David A. Herman
Stephen Jay Orris jun.
Nunzio DeCia
David Joseph Orris
Nicholas Alexander Scheufler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102019112002A1 publication Critical patent/DE102019112002A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Offenbarung stellt Systeme und Verfahren zur automatischen Detektion von Anhängereigenschaften bereit. Es werden Verfahren und Vorrichtungen zur automatischen Detektion von Anhängereigenschaften offenbart. Ein beispielhaftes Fahrzeug umfasst ein Modul zur Kommunikation zwischen Fahrzeugen und eine Infotainment-Haupteinheit. Die Infotainment-Haupteinheit ist dazu konfiguriert, ein Vorhandensein eines angekoppelten Anhängers zu detektieren. Die Infotainment-Haupteinheit ist auch dazu konfiguriert, als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist, eine Bilderanfrage über das Modul zur Kommunikation zwischen Fahrzeugen zu senden, eine semantische Segmentierung der Bilder durchzuführen, eine dreidimensionale Punktwolke unter Verwendung der segmentierten Bilder zu erzeugen und eine Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke zu schätzen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft im Allgemeinen die Kommunikation zwischen Fahrzeugen und insbesondere Systeme und Verfahren zur automatischen Detektion von Anhängereigenschaften.
  • STAND DER TECHNIK
  • Heutzutage ermöglichen Fahrzeuge (z. B. Lastkraftwagen) mit an das Fahrzeug angekoppelten Anhängern den Benutzern die Möglichkeit, den Anhänger zurückzustoßen. In einigen solchen Fällen wandelt das Fahrzeug den gewünschten Weg des Benutzers in einen korrigierten Weg um, basierend auf der Kenntnis des Anhängers (z. B. Anhängergeometrie, Anhängergewicht usw.), kombiniert mit einer manuellen Sichtprüfung der Anhängerposition (z. B. relativ zum Fahrzeug). Obwohl diese Rückfahrhilfefunktion beeindruckend ist, müssen möglicherweise eine oder mehrere Eigenschaften des Anhängers vom Benutzer eingegeben werden, bevor die Rückfahrhilfefunktion aktiviert wird.
  • Fahrzeuge und stationäre Infrastrukturobjekte beinhalten jedoch zunehmend Kameras oder andere Sensoren (wie etwa LiDAR usw.) und sind dazu in der Lage, mit Fahrzeugen per Kommunikation zwischen Fahrzeugen zu kommunizieren. Dieses Netzwerk zur Kommunikation zwischen Fahrzeugen wird manchmal als Fahrzeug-zu-Fahrzeug(vehicle-to-vehicle - V2V)- und Fahrzeug-zu-Infrastruktur(vehicle-to-infrastructure - V2I)-Kommunikation bezeichnet (manchmal zusammen als V2X-Kommunikation bezeichnet).
  • KURZDARSTELLUNG
  • Die beigefügten Patentansprüche definieren diese Anmeldung. Die vorliegende Offenbarung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Patentansprüche verwendet werden. Andere Umsetzungen werden in Übereinstimmung mit den hier beschriebenen Techniken in Betracht gezogen, wie dem Durchschnittsfachmann bei der Durchsicht der folgenden Zeichnungen und detaillierten Beschreibung ersichtlich wird, und diese Umsetzungen sollen innerhalb des Umfangs dieser Anmeldung liegen.
  • Es werden beispielhafte Ausführungsformen zur automatischen Detektion von Anhängereigenschaften gezeigt. Ein hierin offenbartes beispielhaftes Fahrzeug beinhaltet ein Modul zur Kommunikation zwischen Fahrzeugen und eine Infotainment-Haupteinheit. Die Infotainment-Haupteinheit ist dazu konfiguriert, ein Vorhandensein eines angekoppelten Anhängers zu detektieren. Die Infotainment-Haupteinheit ist auch dazu konfiguriert, als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist, eine Bilderanfrage über das Modul zur Kommunikation zwischen Fahrzeugen zu senden, eine semantische Segmentierung der Bilder durchzuführen, eine dreidimensionale Punktwolke unter Verwendung der segmentierten Bilder zu erzeugen und eine Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke zu schätzen.
  • Ein beispielhaftes offenbartes Verfahren zur automatischen Detektion von Anhängereigenschaften beinhaltet das Detektieren, über einen Prozessor eines Fahrzeugs, eines Vorhandenseins eines angekoppelten Anhängers. Das beispielhafte Verfahren beinhaltet auch, als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist, das Senden, über ein Modul zur Kommunikation zwischen Fahrzeugen, einer Bilderanfrage, das Durchführen, über den Prozessor, einer semantischen Segmentierung der Bilder, das Erzeugen, über den Prozessor, einer dreidimensionalen Punktwolke unter Verwendung der segmentierten Bilder, und das Schätzen, über den Prozessor, einer Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke.
  • Figurenliste
  • Zum besseren Verständnis der Erfindung kann auf Ausführungsformen Bezug genommen werden, die in den folgenden Zeichnungen gezeigt sind. Die Komponenten in den Zeichnungen sind nicht zwingend maßstabsgetreu und zugehörige Elemente können weggelassen sein oder in einigen Fällen können Proportionen vergrößert dargestellt sein, um die hier beschriebenen neuartigen Merkmale hervorzuheben und eindeutig zu veranschaulichen. Zusätzlich können Systemkomponenten verschiedenartig angeordnet sein, wie es auf dem Gebiet bekannt ist. Ferner bezeichnen in den Zeichnungen gleiche Bezugszeichen durchgängig entsprechende Teile in den verschiedenen Ansichten.
    • 1 veranschaulicht ein beispielhaftes Fahrzeug, das gemäß den Lehren dieser Offenbarung betrieben wird.
    • 2 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle zum Initiieren einer automatischen Detektion von Anhängereigenschaften.
    • 3 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle zum Anzeigen eines Statusupdates der automatischen Detektion von Anhängereigenschaften.
    • 4 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle zum Anzeigen und Bearbeiten eines zusammengesetzten Bildes.
    • 5 veranschaulicht eine weitere beispielhafte Mensch-Maschine-Schnittstelle zum Anzeigen und Bearbeiten des zusammengesetzten Bildes.
    • 6 ist ein Blockdiagramm elektronischer Komponenten des Fahrzeugs aus 1.
    • 7 ein Ablaufdiagramm eines Verfahrens zum automatischen Detektieren von Eigenschaften eines Anhängers unter Verwendung von Bildern, die per Kommunikation zwischen Fahrzeugen empfangen werden, das durch die elektronischen Komponenten aus 6 umgesetzt werden kann.
  • DETAILLIERTE BESCHREIBUNG BEISPIELHAFTER AUSFÜHRUNGSFORMEN
  • Auch wenn die Erfindung in verschiedenen Formen ausgeführt sein kann, werden in den Zeichnungen einige nicht einschränkende Ausführungsbeispiele gezeigt und nachfolgend beschrieben, wobei es sich versteht, dass die vorliegende Offenbarung als Erläuterung der Erfindung anhand von Beispielen anzusehen ist und damit nicht beabsichtigt wird, die Erfindung auf die konkreten veranschaulichten Ausführungsformen zu beschränken.
  • Um eine Rückfahrhilfefunktion eines Fahrzeugs, das an einen Anhänger angekoppelt ist, zu ermöglichen, verwendet ein Fahrzeug im Allgemeinen Informationen (z. B. Anhängereigenschaften), die mit dem Anhänger assoziiert sind, der an das Fahrzeug angekoppelt ist. Doch Techniken zum Bestimmen der Anhängereigenschaften sind oft darauf angewiesen, dass der Fahrer (oder Benutzer) relevante Informationen zur Verfügung stellt. Beispielsweise kann der Fahrer dazu aufgefordert werden, Geometrien des Fahrzeugs und des angekoppelten Anhängers bereitzustellen, beispielsweise: (a) den horizontalen Abstand vom Nummernschild zur Mitte der Kugelkopfkupplung des Anhängers, (b) den horizontalen Abstand von der Mitte der Kugelkopfkupplung zu einem Aufkleber, (c) den Abstand von der Rückfahrkamera zur Mitte des Aufklebers und (d) den Abstand von der Heckklappe zur Mitte der Anhängerachse (einzelne Achse) oder zur Mitte der Anhängerachsen (zwei oder mehrere Achsen). Der Fahrer könnte die falschen Informationen haben, die relevante Abmessung falsch gemessen haben oder vergessen, dass eine Handlung eine Eigenschaft verändert hat, die mit dem Fahrzeug und/oder angekoppelten Anhänger assoziiert ist. Beispielsweise könnte der Fahrer vergessen, Informationen in das Fahrzeug einzugeben, nachdem er Inhalt vom Anhänger entfernt/letzterem hinzugefügt hat, wodurch sich der Schwerpunkt des Fahrzeugs und des angekoppelten Anhängers ändert.
  • Fahrzeuge und Infrastrukturobjekte (z. B. Ampeln, Brücken, polizeiliche Überwachungsvorrichtungen, Lampenpfosten usw.) beinhalten zunehmend Module zur Kommunikation zwischen Fahrzeugen, die eine Kommunikation zwischen Fahrzeugen, Infrastruktur und Fußgängern ermöglichen. Diese Fahrzeuge und Infrastrukturobjekte beinhalten auch zunehmend und/oder haben Drittparteien-Support für Kameras (z. B. Farbkameras, Monochromkameras, Time-of-Flight-Kameras, Stereokameras, monokulare Kameras usw.) und andere Sensoren (z. B. LiDAR usw.), die zur Verfügung stehen, um Bilder oder andere Datentypen (z. B. Punktwolkendaten) von nahegelegenen Objekten und Fahrzeugen zu erfassen.
  • Wie im Folgenden erläutert sendet ein Fahrzeug (hier manchmal als „Host-Fahrzeug“ bezeichnet) unter Verwendung eines Moduls zur Kommunikation zwischen Fahrzeugen (hier manchmal als „Fahrzeug-zu-Fahrzeug(V2V)-Modul“ oder „Dedicated Short Range Communication(DSRC)-Modul“ bezeichnet) von Zeit zu Zeit (z. B. periodisch, als Reaktion auf ein Ereignis usw.) eine Anfrage auf Bilder und Sensordaten (z. B. Radardaten, LiDAR-Daten, Ultraschallsensordaten usw.) von anderen nahegelegenen Fahrzeugen (hier manchmal als „Zielfahrzeuge“ bezeichnet) und/oder Infrastrukturmodulen, die zur Kommunikation zwischen Fahrzeugen befähigt sind (hier manchmal als „straßenseitige Einheiten“ bezeichnet). Die Anfragen beinhalten Informationen, die es den Zielfahrzeugen ermöglichen, das Host-Fahrzeug zu orten und/oder zu identifizieren, sodass das Zielfahrzeug ein oder mehrere Bilder oder andere Datenquellen (z. B. von LiDAR erhaltene Punktwolkendaten) des Host-Fahrzeugs erfassen kann. Beispielsweise kann die Anfrage die Position, Fahrtrichtung, Geschwindigkeit, Farbe und/oder das Modell des Host-Fahrzeugs usw. beinhalten. Wie hier verwendet, beinhaltet der Begriff „Host-Fahrzeug“ ein Fahrzeug (wie etwa einen Lastkraftwagen usw.) und einen Anhänger, der an das Fahrzeug angekoppelt ist. Als weiteres Beispiel kann die Anfrage ein Bild oder einen Satz Merkmalspunkte eines oder mehrerer Abschnitte des Fahrzeugs beinhalten, um den Zielfahrzeugen zu helfen. In einigen Beispielen kann das Host-Fahrzeug auch Daten und Bilder des Host-Fahrzeugs selbst anfragen und erfassen, beispielsweise über Sensoren, die mit dem Host-Fahrzeug assoziiert sind (z. B. eine oder mehrere Rückfahrkameras usw.), die dazu verwendet werden können, eine Kameraposition der Zielfahrzeuge und/oder der straßenseitigen Einheiten basierend auf Bild- oder Datenmerkmalpunkten, die in den verschiedenen Daten- und Bildersätzen vorhanden sind, zu schätzen. Ein solcher Prozess kann verwendet werden, um fehlerhafte Bilder und/oder Datenquellen herauszufiltern, zum Beispiel aufgrund einer schlechten V2X-Positionierung (z. B. hat das Zielfahrzeug keine Sichtverbindung mit dem Hostfahrzeug usw.). Wie unten beschrieben, können die empfangenen Bilder und/oder Daten verwendet werden, um die Position des Anhängers relativ zu dem Host-Fahrzeug zu bestimmen. In einigen Beispielen können die empfangenen Bilder und/oder Daten verwendet werden, um die empfangenen Bilder und/oder Daten und/oder erzeugte Bilder (wie etwa Structure-from-Motion-Karten, Punktwolken usw.) auszurichten, in denen ein Anhängerwinkel im Lauf der Zeit variieren kann (z. B. durch Kombinieren von Messungen ab dem Zeitpunkt, an dem das Host-Fahrzeug abbiegt und dann geradeaus fährt, usw.).
  • Das Host-Fahrzeug empfängt die Bilder und die Sensordaten von den Zielfahrzeugen. Wenn die Bilder empfangen werden, führt das Host-Fahrzeug eine semantische Segmentierung durch, um verschiedene Objekte (z. B. das Host-Fahrzeug einschließlich des angekoppelten Anhängers) und/oder Teile von Objekten (z. B. Räder des angekoppelten Anhängers, am Host-Fahrzeug und/oder am angekoppelten Anhänger montierte Objekte usw.) in den Bildern zu identifizieren, und erzeugt fortlaufend ein zusammengesetztes Bild des Fahrzeugs unter Verwendung eines dreidimensionalen Szene-Stitching-Prozesses, wie etwa einer Structure-from-Motion-Technik (wörtlich: Struktur aus Bewegung) und/oder Sensorfusion. Unter Verwendung der Segmentierungsinformationen, des zusammengesetzten Bildes und eines dreidimensionalen Modells des Host-Fahrzeugs und/oder des letzterem angekoppelten Anhängers, die in einem Speicher gespeichert sind, erstellt das Fahrzeug eine dreidimensionale Punktwolke des Fahrzeugs und des angekoppelten Anhängers. Sensorfusion kombiniert Sensordaten (z. B. dreidimensionale Sensordaten, wie etwa von Radar, LiDAR, Ultraschallsensoren usw.), die von den Zielfahrzeugen und/oder dem Host-Fahrzeug empfangen werden, um die dreidimensionale Struktur des Host-Fahrzeugs einschließlich des angekoppelten Anhängers weiter zu definieren. Unter Verwendung der dreidimensionalen Struktur des Host-Fahrzeugs einschließlich des angekoppelten Anhängers schätzt das Fahrzeug Eigenschaften und Geometrien des angekoppelten Anhängers.
  • In einigen Beispielen ermöglicht das Fahrzeug Fahrer-Feedback über eine Mensch-Maschine-Schnittstelle (human machine interface - HMI), wie etwa dem Infotainmentsystem des Fahrzeugs und/oder einer Anwendung (wie etwa FordPass), die auf einer Mobilvorrichtung (z. B. einem Smartphone, einer Smartwatch usw.) ausgeführt wird. Über die HMI kann der Fahrer angeben, dass der angekoppelte Anhänger ein neuer Anhänger ist (z. B. dass das Fahrzeug eine automatische Detektion der Anhängereigenschaften einleiten sollte), dass der Anhänger ein zuvor verwendeter Anhänger ist (z. B. dass das Fahrzeug Anhängereigenschaften aus dem Speicher abrufen sollte), dass der Fahrer bestätigen kann, ob die dreidimensionale Darstellung des Fahrzeugs und/oder des angekoppelten Fahrzeugs einen Akzeptanzschwellenwert erfüllt (z. B. entweder vom Fahrer auferlegt und/oder vom Fahrzeug basierend auf statistischen Techniken), dass der Fahrer eine bestimmte Straße befahren kann, um zusätzliche Bilder und Sensordaten von Zielfahrzeugen zu empfangen, usw.
  • Sobald die Eigenschaften des Anhängers geschätzt wurden, speichert das Fahrzeug die geschätzten Anhängereigenschaften zur Verwendung während nachfolgender Fahrten. Zusätzlich können die geschätzten Anhängereigenschaften verwendet werden, um die Rückfahrhilfefunktion für den Anhänger zu erleichtern. Beispielhafte Eigenschaften, die durch die offenbarten Techniken geschätzt werden können, beinhalten die Geometrie des Anhängers (z. B. Abstand zwischen Nummernschild und Kugelkopfkupplung, Abstand zwischen Kugelkopfkupplung und Aufkleber, Abstand zwischen Kamera und Aufkleber, Abstand zwischen Heckklappe und Anhängerachse), Anhängerart, Schätzung des Anhängergewichts für das Bremsen (z. B. Gewichtsverteilung usw.), Geradeausfahrverhalten, um die Musterposition während des Geradeausfahrens zu bestätigen und/oder zu überprüfen (z. B. Rückfahrkamera im Vergleich mit dem mittels der offenbarten Techniken gemessenen Anhängerwinkel), usw. Wie hier verwendet, kann ein „Aufkleber“ kann ein optisches Muster sein, das an dem angekoppelten Anhänger angebracht ist (und/oder damit assoziiert ist), um das Schätzen von Eigenschaften des angekoppelten Anhängers zu ermöglichen. In einigen Beispielen können offenbarte Techniken in der Lage sein, das optische Erscheinungsbild eines gegebenen Anhängers zu erkennen und die relevanten Eigenschaften des Anhängers ohne ein optisches Muster zu speichern. Zusätzliche Eigenschaften, die basierend auf den offenbarten Techniken geschätzt werden können, beinhalten das Identifizieren der Position oder des Erscheinungsbilds des am Anhänger angebrachten Aufklebers und das Schätzen der Gewichtsverteilung auf dem Anhänger, um die Fahr- und Bremsdynamik zu verbessern.
  • Somit stellt das Host-Fahrzeug in einigen Ausführungsformen nach Bestimmen des Vorhandenseins eines verbundenen Anhängers mehrere Anfragen über ein Modul für Kommunikation zwischen Fahrzeugen auf Bilder des Host-Fahrzeugs und des angekoppelten Anhängers von nahegelegenen Fahrzeugen und/oder nahegelegener Infrastruktur während verschiedenen Fahrmanövern wie Abbiegen, Zurückstoßen und Vorwärtsfahren. Das Fahrzeug stellt dem Fahrer Feedback (z. B. über die HMI) bereit, dass das Fahrzeug einen neuen Anhänger identifiziert hat und dabei ist, mit dem Anhänger assoziierte Eigenschaften zu schätzen. Darüber hinaus kann das Fahrzeug zu einer Fahrt entlang einer empfohlenen Route auffordern, was das Abschließen der geschätzten Messungen basierend auf einer oder mehreren Kameras von anderen Fahrzeugen oder Straßeneinheiten, die entlang der empfohlenen Route verfügbar sind, ermöglichen kann. Das Fahrzeug verwendet die erfassten Bilder des Anhängers in Kombination mit Struktur aus Bewegungstechniken, die Merkmale des Fahrzeugs und des angekoppelten Anhängers erkennt und nutzt. In einigen Beispielen gleicht die Struktur aus Bewegungstechniken viele Punkten unterschiedlicher Merkmale in einer Reihe von Bildern ab und bestimmt dann die dreidimensionalen Positionen dieser Punkte. Das Fahrzeug kombiniert daraufhin die Struktur aus Bewegungstechniken mit einem dreidimensionalen Modell des Fahrzeugs (z. B. Fabrikdaten und/oder 3D-Modelldaten des Fahrzeugs, die im Speicher gespeichert sind) und dem angeschlossenen Fahrzeug, um geometrische Eigenschaften des Anhängers basierend auf den erzeugten Geometrien zu messen (oder zu schätzen). Zum Beispiel kann das Fahrzeug ein werkgespeichertes Bild des Fahrzeugs verwenden, um das von dem Fahrzeug erzeugte dreidimensionale Modell zu kalibrieren, das Bildrauschen enthalten kann, eine relativ geringe Präzision aufweisen kann, eine relativ geringe Genauigkeit aufweisen kann und/oder andere Verzerrungs-/Störungsmodi der Daten aufweisen kann, die zu einem Fehler des vom Fahrzeug erzeugten dreidimensionalen Modells führen. Das dreidimensionale Modell kann auch verwendet werden, um die Geometrie des angekoppelten Anhängers und seinen Winkel im Vergleich zum Fahrzeug zu schätzen. Das Fahrzeug kann dann diese geschätzten Eigenschaften verwenden, um ein Steuerungsmodell zur automatischen Rückfahrhilfe zu erzeugen, ohne dass der Fahrer manuell eine oder mehrere Messungen bereitstellen muss.
  • Da in einigen Beispielen der Anhängerinhalt auf Fahrdynamik überwacht wird (z. B. durch periodisches Anfordern von Bildern des Host-Fahrzeugs und des angekoppelten Anhängers), können die offenbarten Techniken in einigen Beispielen dazu verwendet werden, eine Verschiebung des Anhängerinhalts oder fehlenden Inhalt zu detektieren (z. B. durch Diebstahl von Inhalt, vom Anhänger herunterfallenden Inhalt usw.). Zum Beispiel kann das Host-Fahrzeug in periodischen Zeitintervallen (z. B. alle fünf Minuten usw.) Bilder und/oder Daten des Host-Fahrzeugs anfordern, wenn eine Änderung des Motordrehmoments detektiert wird.
  • Die offenbarten Techniken erleichtern somit eine Echtzeitüberwachung der Konfiguration des angekoppelten Anhängers und Kenntnis seiner Konfiguration, um eine verbesserte Steuerung der Fahrdynamik, der Bremssteuerung und andere Vorteile zu ermöglichen, die ein Fahrer gewiss schätzen wird, wenn er sein Fahrzeug mit einem angekoppelten Anhänger fährt.
  • 1 veranschaulicht ein Host-Fahrzeug 100, das gemäß den Lehren dieser Offenbarung betrieben wird. Das Host-Fahrzeug 100 kann ein standardmäßiges benzinbetriebenes Fahrzeug, ein Hybridfahrzeug, ein Elektrofahrzeug, ein Brennstoffzellenfahrzeug und/oder ein Fahrzeugtyp mit beliebiger anderer Antriebsart sein. Das Host-Fahrzeug 100 kann ein beliebiges Kraftfahrzeug sein, wie etwa ein Personenkraftwagen, ein Lastkraftwagen, ein Sattelschlepper oder ein Motorrad usw. Zudem zieht in dem veranschaulichten Beispiel das Host-Fahrzeug 100 einen Anhänger 116 (der, wie im Folgenden erläutert, als Teil des Host-Fahrzeugs 100 behandelt werden kann), der beispielsweise andere Objekte beinhalten kann, wie etwa (ein) Boot(e), (ein) Pferd(e), Gartengeräte usw. Das Host-Fahrzeug 100 beinhaltet Teile, die mit dem Antrieb in Verbindung stehen, wie etwa einen Antriebsstrang mit einem Motor, einem Getriebe, einer Aufhängung, einer Antriebswelle und/oder Rädern usw. Das Host-Fahrzeug 100 kann nichtautonom, halbautonom (z. B. werden einige routinemäßige Fahrfunktionen durch das Host-Fahrzeug 100 gesteuert) oder autonom (z. B. werden Fahrfunktionen durch das Host-Fahrzeug 100 ohne direkte Fahrereingabe gesteuert) sein. Das Host-Fahrzeug und/oder das/die Zielfahrzeug/e können während der Bildaufnahme stationär oder in Bewegung sein. In dem in 1 veranschaulichten Beispiel beinhaltet das Host-Fahrzeug 100 ein Modul zur Kommunikation zwischen Fahrzeugen (inter-vehicle communication module - IVCM) 102, ein bordeigenes Kommunikationsmodul (on-board communication module - OBCM) 104 und eine Infotainment-Haupteinheit (infotainment head unit - IHU) 106.
  • Das Modul zur Kommunikation zwischen Fahrzeugen 102 beinhaltet (eine) Antenne(n), Funkeinrichtung(en) und Software, um Nachrichten zu senden und eine Kommunikation zwischen dem Host-Fahrzeug 100 und Zielfahrzeugen 108, straßenseitigen Einheiten 109 und mobilgerätbasierten Modulen (nicht gezeigt) aufzubauen. Weitere Informationen über das Netzwerk zur Kommunikation zwischen Fahrzeugen und wie das Netzwerk mit Fahrzeughardware und -software kommunizieren kann, sind verfügbar in der „Core System Requirements Specification“ vom Juni 2011 des US-Verkehrsministeriums (http://www.its.dot.gov/meetings/pdf/CoreSystem_SE_SyRS_RevA%2 0(2011-06-13).pdf), welche hiermit durch Bezugnahme in ihrer Gesamtheit gemeinsam mit allen Unterlagen aufgenommen ist, die auf den Seiten 11 bis 14 des SyRS-Reports aufgeführt sind. Die Systeme zur Kommunikation zwischen Fahrzeugen können an Fahrzeugen und an Infrastruktur am Straßenrand installiert sein. Die Systeme zur Kommunikation zwischen Fahrzeugen, die in die Infrastruktur (z. B. Verkehrszeichen, Straßenbeleuchtung, städtische Kameras usw.) integriert sind, werden als „straßenseitige(s)“ System oder Einheit bezeichnet. Die Kommunikation zwischen Fahrzeugen kann mit anderen Technologien kombiniert sein, wie etwa mit dem Global Position System (GPS), Visual Light Communications (VLC), Cellular Communications, Radar mit geringer Reichweite, Advanced Driver Assistant System (ADAS) und dem autonomen Fahrzeugsystem (Wahrnehmung und Ortung), wodurch es den Fahrzeugen erleichtert wird, ihre Position, Geschwindigkeit, relative Position und/oder Neigung zu anderen Objekten zu kommunizieren und Informationen mit anderen Fahrzeugen oder externen Rechensystemen auszutauschen. Systeme zur Kommunikation zwischen Fahrzeugen können in andere Systeme wie Mobiltelefone integriert werden.
  • In einigen Beispielen setzt das Modul 102 zur Kommunikation zwischen Fahrzeugen das Dedicated-Short-Range-Communication-Protokoll (DSRC-Protokoll) um. Gegenwärtig wird das DSRC-Netzwerk durch die Abkürzung DSRC oder seinen ausgeschriebenen Namen identifiziert. Mitunter werden jedoch andere Namen verwendet, die für gewöhnlich mit einem Fahrzeugkonnektivitätsprogramm oder dergleichen in Beziehung stehen. Die Mehrheit dieser Systeme sind entweder reine DSRC oder eine Variation des Funkstandards IEEE 802.11. Jedoch sollen neben dem reinen DSRC-System auch dedizierte drahtlose Kommunikationssysteme zwischen Autos und einem straßenseitigen Infrastruktursystem abgedeckt sein, die in GPS integriert sind und auf einem IEEE-802.11-Protokoll für drahtlose lokale Netzwerke (wie z. B. 802.11p, Mobil-V2X usw.) basieren.
  • Das bordeigene Kommunikationsmodul 104 beinhaltet drahtgebundene oder drahtlose Netzwerkschnittstellen, um Kommunikation mit externen Netzwerken zu ermöglichen. Das bordeigene Kommunikationsmodul 104 beinhaltet Hardware (z. B. Prozessoren, Arbeitsspeicher, Datenspeicher, Antenne usw.) und Software, um die drahtgebundenen und/oder drahtlosen Netzwerkschnittstellen zu steuern. In dem veranschaulichten Beispiel beinhaltet das bordeigene Kommunikationsmodul 104 eine oder mehrere Kommunikationssteuerungen für standardbasierte Netzwerke (z. B. das Global System for Mobile Communications (GSM), Universal Mobile Telecommunications System (UMTS), Long Term Evolution (LTE), Code Division Multiple Access (CDMA), WiMAX (IEEE 802.16m); ein drahtloses lokales Netzwerk (einschließlich IEEE 802.11 a/b/g/n/ac oder andere) und Wireless Gigabit (IEEE 802.11ad) usw.). In einigen Beispielen beinhaltet das bordeigene Kommunikationsmodul 104 eine drahtgebundene und/oder drahtlose Schnittstelle (z. B. einen Hilfsanschluss, einen Universal-Serial-Bus(USB)-Anschluss, einen Bluetooth®-Drahtlosknoten usw.), um kommunikativ mit einer mobilen Vorrichtung (z. B. einem Smartphone, einer Smartwatch, einem Tablet usw.) gekoppelt zu sein. In solchen Beispielen kann das Host-Fahrzeug 100 über die gekoppelte mobile Vorrichtung mit dem externen Netzwerk kommunizieren. Bei dem/den externen Netzwerk(en) kann es sich um Folgendes handeln: ein öffentliches Netzwerk, wie etwa das Internet; ein privates Netzwerk, wie etwa ein Intranet; oder Kombinationen davon, und es kann eine Vielfalt von Netzwerkprotokollen genutzt werden, die derzeit zur Verfügung stehen oder später entwickelt werden, einschließlich unter anderem TCP/IP-basierte Netzwerkprotokolle. In einigen Beispielen kommuniziert das Fahrzeug 100 mit einem externen Server über das bordeigene Kommunikationsmodul 104, um Informationen (z. B. Wetter, Hintergrundbilder usw.) über einen aktuellen Standort des Fahrzeugs 100 zu empfangen. Beispielsweise kann das Fahrzeug 100 von dem externen Server Hintergrundbilder der Umgebung des Fahrzeugs 100 anfordern, um das von dem Fahrzeug 100 erzeugte zusammengesetzte Bild zu verbessern. In einigen Beispielen empfängt das Fahrzeug 100 von dem externen Server ein dreidimensionales Modell des verwendeten Fahrzeugs 100, das zumindest teilweise benutzt wird, um zusätzliche Betrachtungsperspektiven in dem zusammengesetzten Bild bereitzustellen, die möglicherweise nicht in empfangenen Bildern erfasst wurden.
  • Die Infotainment-Haupteinheit 106 stellt eine Schnittstelle zwischen dem Fahrzeug 100 und einem Benutzer bereit. Die Infotainment-Haupteinheit 106 beinhaltet digitale und/oder analoge Schnittstellen (z. B. Eingabevorrichtungen und Ausgabevorrichtungen), um eine Eingabe von dem Benutzer (den Benutzern) zu empfangen und Informationen anzuzeigen. Die Eingabevorrichtungen können beispielsweise einen Steuerknopf, ein Armaturenbrett, eine Digitalkamera zur Bilderfassung und/oder visuellen Befehlserkennung, einen Touchscreen, eine Audioeingabevorrichtung (z. B. ein Kabinenmikrofon), Tasten oder ein Berührungsfeld beinhalten. Die Ausgabevorrichtungen können Instrumenten-Cluster-Ausgaben (z. B. Drehscheiben, Beleuchtungsvorrichtungen), Aktoren, eine Frontanzeige, eine Mittelkonsolenanzeige (z. B. eine Flüssigkristallanzeige (liquid crystal display - „LCD“), eine organische Leuchtdioden(organic light emitting diode - „OLED“)-Anzeige, eine Flachbildschirmanzeige, eine Festkörperanzeige usw.) und/oder Lautsprecher beinhalten. In dem veranschaulichten Beispiel beinhaltet die Infotainment-Haupteinheit 106 Hardware (z. B. einen Prozessor oder eine Steuerung, einen Arbeitsspeicher, einen Datenspeicher usw.) und Software (z. B. ein Betriebssystem usw.) für ein Infotainment-System (wie etwa SYNC® und MyFord® von Ford®, Entune® von Toyota®, IntelliLink® von GMC® usw.). Des Weiteren zeigt die Infotainment-Haupteinheit 106 das Infotainment-System beispielsweise auf der Mittelkonsolenanzeige an. In dem veranschaulichten Beispiel in 1 beinhaltet die Infotainment-Haupteinheit 106 einen Eigenschaftenschätzer 110. Alternativ dazu kann der Eigenschaftenschätzer 110 in einigen Beispielen in ein anderes Fahrzeugmodul integriert sein, wie etwa ein Karosseriesteuerungsmodul oder eine Autonomieeinheit, die autonome Funktionen des Fahrzeugs 100 steuert.
  • Der Eigenschaftenschätzer 110 detektiert das Vorhandensein eines Anhängers, schätzt Eigenschaften, die mit dem Anhänger assoziiert sind, und speichert die geschätzten Eigenschaften dann für nachfolgende Verwendung, wie etwa wenn das Anhängerrückfahrhilfesystem des Fahrzeugs 100 aktiviert ist. Um das Vorhandensein des Anhängers 116 zu detektieren, kann der Eigenschaftenschätzer 110 einen oder mehrere Sensoren des Fahrzeugs 100 nutzen (z. B. eine Rückfahrkamera des Fahrzeugs 100), der Merkmalerkennung durchführt und den Anhänger 116 und/oder ein optisches Muster identifiziert, das an dem Anhänger angebracht ist. Das optische Muster (oder der Aufkleber) kann Charakteristiken beinhalten (z. B. (ein) einzigartige(s) Muster, die einen spezifischen Anhänger identifizieren), die das optische Muster gegenüber der Rückfahrkamera als ein optisches Muster des Anhängers identifizieren. Während ein optisches Muster nicht erforderlich ist, um das Vorhandensein des Anhängers 116 zu detektieren, kann die Einbindung des optischen Musters auf dem Anhänger 116 eine relativ robustere Lösung zum Schätzen von Eigenschaften des Anhängers 116 beispielsweise im Hinblick auf unterschiedliche Beleuchtungsbedingungen und/oder Anhängerkonfigurationen ermöglichen. In einigen Beispielen detektiert der Eigenschaftenschätzer 110 das Vorhandensein des Anhängers 116 basierend auf einer Angabe, dass sich eine mit dem Fahrzeug 100 assoziierte Fahrdynamik geändert hat (z. B. wird angegeben, dass der Anhänger 116 an das Fahrzeug 100 angekoppelt wurde). In einigen Beispielen detektiert der Eigenschaftenschätzer 110 das Vorhandensein des Anhängers 116 als Reaktion auf eine Angabe, dass Anhängerbremsleuchten mit dem Fahrzeug verbunden wurden.
  • Nachdem der Eigenschaftenschätzer 110 das Vorhandensein des Anhängers 116 detektiert, bestimmt der Eigenschaftenschätzer 110, ob es sich bei dem detektierten Anhänger um einen zuvor angekoppelten Anhänger handelt. Beispielsweise kann der Eigenschaftenschätzer 110 Charakteristiken des angekoppelten Anhängers 116 mit Charakteristiken vergangener Anhänger vergleichen, die im Speicher gespeichert sind. Beispielsweise kann der Eigenschaftenschätzer 110 Merkmalpunkte an einer festen Ausrichtung (z.B. beim Geradeausfahren, aus der Perspektive der Rückfahrkamera usw.) benutzen, um zu bestimmen, ob es sich bei dem Anhänger um einen zuvor angekoppelten Anhänger handelt. Andere beispielhafte Charakteristiken, die von dem Eigenschaftenschätzer 110 benutzt werden können, beinhalten beispielsweise detektierte Farbmuster (z. B. kalibriert im Vergleich zu Sonneneinstrahlung im Vergleich zu Wetterbedingungen, die Farbdarstellung beeinflussen), zur Beschleunigung notwendiges Drehmoment, Bremskraft, um über eine Entfernung hin anzuhalten, Bremswirkung usw. Es versteht sich jedoch, dass der Eigenschaftenschätzer 110 zusätzliche oder alternative Merkmale und/oder Charakteristiken des angekoppelten Anhängers detektieren kann, um zu bestimmen, ob es sich bei dem angekoppelten Anhänger 116 um einen zuvor angekoppelten Anhänger handelt (z. B. einen erkannten Anhänger). In einigen Beispielen kann der Eigenschaftenschätzer 110 gespeicherte Anhänger basierend auf Vorhersagen zuvor gespeicherter Anhänger sortieren. Falls der Eigenschaftenschätzer 110 bestimmt, dass es sich bei dem angekoppelten Anhänger 116 um einen erkannten Anhänger handelt (z. B. entsprechen Charakteristiken des angekoppelten Anhängers 116 Charakteristiken eines vergangenen Anhängers), dann ruft der Eigenschaftenschätzer 110 die zuvor aufgezeichneten Eigenschaften des erkannten Anhängers ab und benutzt die abgerufenen Eigenschaften im Steuerungsalgorithmus, um das Anhängerrückfahrhilfesystem zu unterstützen. In einigen Beispielen kann der Eigenschaftenschätzer 110 einen erkannten Anhänger erneut abbilden (oder erneut scannen). Beispielsweise kann der angekoppelte Anhänger 116 ein „offener“ Anhänger sein, der Güter wie etwa ein Boot transportiert. In einigen derartigen Beispielen kann der Eigenschaftenschätzer 110 den erkannten Anhänger erneut abbilden (oder erneut scannen), um zu bestimmen, ob der angekoppelte Anhänger Güter transportiert (z. B. ein Boot usw.).
  • Falls der Eigenschaftenschätzer 110 nicht in der Lage war, den angekoppelten Anhänger 116 als einen vergangenen Anhänger zu erkennen, dann versucht der Eigenschaftenschätzer 110, die Geometrie des angekoppelten Anhängers 116, die physische Positionierung des angekoppelten Anhängers 116 relativ zu dem Host-Fahrzeug 100 und das Erscheinungsbild des angekoppelten Anhängers 116 zu bestimmen. In einigen Beispielen kann der Eigenschaftenschätzer 110 den Fahrer benachrichtigen, bevor er versucht, den angekoppelten Anhänger 116 zu scannen. Beispielsweise kann der Eigenschaftenschätzer 110 die Infotainment-Haupteinheit 106 dazu veranlassen, eine Nachricht anzuzeigen, die angibt, dass der angekoppelte Anhänger 116 nicht erkannt wurde und/oder den Fahrer dazu auffordern, den Scan des angekoppelten Anhängers 116 zu initiieren. In einigen Beispielen kann der Eigenschaftenschätzer 110 die Infotainment-Haupteinheit 106 dazu veranlassen, eine Nachricht anzuzeigen, die in der Vergangenheit erkannte Anhänger identifiziert und anfordern, dass der Fahrer bestimmt, ob der angekoppelte Anhänger einer der in der Vergangenheit erkannten Anhänger ist. Von Zeit zu Zeit (a) bestimmt der Eigenschaftenschätzer 110 eine georäumliche Ausrichtung des Host-Fahrzeugs 100, die dazu benutzt wird, den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 dabei zu helfen, den relativen Standort des Host-Fahrzeugs 100 verglichen mit ihrem Standort zu bestimmen, und (b) sendet eine Anfragenachricht unter Verwendung des Moduls 102 zur Kommunikation zwischen Fahrzeugen. In einigen Beispielen sendet der Eigenschaftenschätzer 110 die Anfrage periodisch (z. B. stündlich, täglich usw.) oder als Reaktion auf ein Ereignis (z. B. Detektion eines nichterkannten Anhängers, jeder Schlüsselzyklus, Einfahrt in ein dichtbesiedeltes Gebiet usw.). Alternativ oder zusätzlich dazu sendet in einigen Beispielen der Eigenschaftenschätzer 110 die Anfragenachricht als Reaktion auf das Detektieren von Veränderungen im Status des Host-Fahrzeugs 100 und/oder des angekoppelten Anhängers 116. Beispielsweise kann der Eigenschaftenschätzer 110 eine Veränderung des Gesamtbruttogewichts und/oder Veränderungen der Fahrdynamik detektieren.
  • Die Anfragenachricht fordert an, dass die naheliegenden Zielfahrzeuge 108 und/oder straßenseitigen Einheiten 109 Bilder und/oder Sensordaten von dem Host-Fahrzeug 100 mit ihren Kameras 112 (z. B. z. B. Farbkameras, Monochromkameras, Time-of-Flight-Kameras, Stereokameras, monokulare Kameras usw.) und/oder ihren Entfernungsdetektionssensoren (z. B. Radar, LiDAR, Ultraschallsensoren usw.) zu erfassen. Die Anfragenachricht beinhaltet Informationen zu der georäumlichen Ausrichtung des Host-Fahrzeugs 100. Die georäumlichen Ausrichtungsinformationen beinhalten Standort (z. B. Koordinaten des globalen Positionierungssystems (GPS) usw.), Ausrichtung (z. B. die Ausrichtung, in welche die Front des Host-Fahrzeugs 100 gerichtet ist, usw.), und/oder andere Charakteristiken (z. B. Farbe, Marke, Modell usw.), die den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 beim Orten und Identifizieren des Host-Fahrzeugs 100 hilft. Beispielsweise kann die georäumliche Ausrichtung für das Host-Fahrzeug 100 GPS-Koordinaten, eine Fahrtrichtung und eine Fahrzeugfarbe beinhalten. In einigen Beispielen beinhalten die georäumlichen Ausrichtungsinformationen auch Informationen über Objekte in der Nähe des Host-Fahrzeugs 100, die als Orientierungspunkt(e) fungieren können, um den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 beim Orten des Host-Fahrzeugs 100 helfen können. In einigen Beispielen filtert das Host-Fahrzeug 100 die Zielfahrzeuge 108, welche die Anfragenachrichten empfangen, basierend auf deren Standort und ihrer relativen Bewegungsbahn in Bezug auf das Host-Fahrzeug 100, um die Menge an Anfragenachrichten zu reduzieren, die an Zielfahrzeuge gesendet werden, die beispielsweise in die falsche Richtung fahren und nicht in der Lage wären, nützliche Informationen bereitzustellen. Beispielsweise kann der Eigenschaftenschätzer 110 die GPS-Koordinaten des Host-Fahrzeugs 100 benutzen, um Navigationsdaten (z. B. Karten usw.) zu analysieren, um zu bestimmen, welche Zielfahrzeuge 108 und/oder straßenseitige Einheiten 109 in der Nähe des Host-Fahrzeugs 100 sind und die das Fahrzeug visualisieren können (z. B. eine Sichtverbindung mit dem Host-Fahrzeug 100 haben). Beispielsweise kann der Eigenschaftenschätzer 110 bestimmen, ob die Straße/Schnellstraße eine baulich getrennte oder nicht getrennte Straße/Schnellstraße mit oder ohne eine physische Barriere ist. Beispielsweise kann, während ein Zielfahrzeug 108 in der Nähe des Host-Fahrzeugs 100 ist, das Zielfahrzeug 108 auf der anderen Seite einer physischen Barriere fahren und nicht dazu in der Lage sein, Bilder und/oder Daten des Host-Fahrzeugs 100 und seiner Umgebung bereitzustellen. In einigen Beispielen kann der Eigenschaftenschätzer 110 bestimmen, von welchen Zielfahrzeugen 108 und/oder straßenseitigen Einheiten 109 Bilder und/oder Daten angefragt werden sollen, basierend darauf, welche Zielfahrzeuge 108 und/oder straßenseitige Einheiten 109 Sichtverbindungen aufweisen, die notwendig sind, um den Scan (und/oder erneuten Scan) des angekoppelten Anhängers 116 durchzuführen, und/oder des Niveaus der Sensoren. Beispielsweise kann ein Fahrzeug (mit Vorder- und/oder Seitenansichtkameras), das den Anhänger auf einer gewünschten Seite überholt, bevorzugter sein, als einen zusätzlichen Satz Bilder und/oder Daten von einem geparkten Fahrzeug zu erhalten, das neben einem anderen geparkten Fahrzeug steht, das ebenfalls Bilder und/oder Daten bereitgestellt hat.
  • Der beispielhafte Eigenschaftenschätzer 110 veranlasst auch Kameras und Sensoren des Host-Fahrzeugs 100 dazu, Bilder und/oder Daten des Host-Fahrzeugs 100 und seiner Umgebung zu erfassen. Beispielsweise kann der Eigenschaftenschätzer 110 eine oder mehrere Kameras und/oder Sensoren dazu veranlassen, Informationen in Bezug auf kürzliches Fahrverhalten, wie etwa aktuelle Radposition, zurückgelegte Entfernung usw. zu erfassen. In einigen Beispielen veranlasst der Eigenschaftenschätzer 11 die Kameras und Sensoren des Host-Fahrzeugs 110, die Bilder und/oder in Bezug auf das Host-Fahrzeug 110 zur selben Zeit (oder im Wesentlichen zur selben Zeit) zu erfassen, wie die von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 erfassten externen Bilder.
  • Um die Eigenschaften des angekoppelten Anhängers 116 zu schätzen, führt der Eigenschaftenschätzer 110 eine semantische Segmentierung der empfangenen Bilder durch, erzeugt ein zusammengesetztes Bild unter Verwendung der empfangenen Bilder und erzeugt eine dreidimensionale Darstellung des angekoppelten Anhängers 116 (und des Host-Fahrzeugs 100) unter Verwendung der semantischen Segmentierung und des zusammengesetzten Bildes.
  • Semantische Segmentierung ist eine Bildklassifizierungstechnik, die Pixel eines Bildes (oder Bereiche eines Bildes, manchmal als „Stixel“ bezeichnet) verschiedenen Bestandteilen zuordnet. Beispielsweise kann der Eigenschaftenschätzer 110 Abschnitte eines Bildes identifizieren, die mit dem Host-Fahrzeug, dem Anhänger 116, einem Gepäckträger, Fahrrädern, anderen Fahrzeugen, Fußgängern, Gebüsch usw. assoziiert sind. Um semantische Segmentierung durchzuführen, verwendet der Eigenschaftenschätzer 110 Techniken wie etwa neuronale Faltungsnetzwerke (z. B. Fully Convolutional Networks (FCN), Dilated Confusions, Konvolutionalkodierung, Deep Convolutional Neural Networks mit voll verbundenen Conditional Random Fields usw.). Beispielhafte Techniken zum Durchführen semantischer Segmentierung werden von (a) Zhao et al. in „Pyramid Scene Parsing Network", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (b) Long et al. in „Fully Convolutional Networks for Semantic Segmentation", 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); (c) Badrinarayanan et al. in „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, Nr. 12, Jan. 2017, S. 2481-2495; (d) Yu et al. in „Multi-Scale Context Aggregation by Dilated Convolutions", 2015; (e) Chen et al. in „DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Artous Convolution, and Fully Connected CRFs", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017; (f) Lin et al. in „RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR); und (g) Peng, Chao, et al. in „Large Kernal Matters - Improve Semantic Segmentation by Global Convolution Network", 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), beschrieben, die hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
  • Der Eigenschaftenschätzer 110 verwendet Struktur aus Bewegung, um eine dreidimensionale Darstellung (z. B. ein zusammengesetztes Bild) des Host-Fahrzeugs 100 und des angekoppelten Anhängers 116 zu konstruieren. In einigen Beispielen verwendet der Eigenschaftenschätzer 110 die Ergebnisse der empfangenen Bilder dazu, Objekte aus den Bildern zu entfernen, die das Host-Fahrzeug, den angekoppelten Anhänger 116 nicht betreffen und/oder sich im Verlauf der Zeit ändern. Unter Verwendung von Struktur aus Bewegungstechniken identifiziert der Eigenschaftenschätzer 110 Merkmal punkte des angekoppelten Anhängers 116 in den empfangenen Bilder. Andere beispielhafte Techniken zum Identifizieren von Merkmalpunkten des angekoppelten Anhängers 116 beinhalten die Verwendung visueller simultaner Positionsbestimmung und Kartenerstellung (Simultaneous Localization and Mapping - SLAM). Der Eigenschaftenschätzer 110 verwendet die Positionierung der Merkmalpunkte und ein dreidimensionales Modell (z. B. eine Punktwolke) des angekoppelten Anhängers 116, um Abschnitte der empfangenen Bilder zusammenzufügen, um das zusammengesetzte Bild des angekoppelten Anhängers 116 zu erstellen. Beispielhafte Strukturformbewegungstechniken werden von (a) Crandall, David J., et al. in „SfM with MRFs: Discrete-Continuous Optimization for Large-Scale Structure from Motion", IEEE Transactions on Pattern Analysis & Machine Intelligence, Vol. 35, Nr. 12, S. 2841-2853, 2013; (b) Nilosek, David et al. in „Assessing geoaccuracy of structure from motion point clouds from long-range image collections", Optical Engineering 53.11, 2014; und (c) Rodrigo, Carceroni et al. in „Structure from motion with known camera positions", 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, beschrieben, die hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
  • Der Eigenschaftenschätzer 110 kann auch eine Sensorfusion durchführen, um die Genauigkeit der von dem Struktur aus Bewegungsprozess erzeugten Punktwolke zu verbessern. Beispielsweise kann der Eigenschaftenschätzer 110 LiDAR-Daten, die von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 gesammelt wurden, mit der Punktwolke vergleichen und die Punktwolke entsprechen anpassen. Während Kamerabilder, die von den Zielfahrzeugen 108 und/oder den straßenseitigen Einheiten 109 bereitgestellt werden, allgemein relativ genaue Positionsinformationen bereitstellen, können manche Umweltbedingungen (z. B. Regen usw.) die Qualität der Punktwolke verschlechtern. Deshalb integriert der Eigenschaftenschätzer 110 Sensordaten, wie etwa LiDAR-Daten, um eine zusätzliche Technik zum Verbessern der Qualität der dreidimensionalen Punktwolke bereitzustellen, die unter Verwendung von Struktur aus Bewegungstechniken erzeugt wurde. Der Eigenschaftenschätzer 110 kann auch die Genauigkeit der dreidimensionalen Punkwolke durch weiteres Verarbeiten der dreidimensionalen Punktwolke erhöhen. Beispielsweise kann der Eigenschaftenschätzer 110 weiter Mitteln, Filtern und Skalieren auf eine bekannte dreidimensionale Geometrie des Fahrzeugs benutzen. In einigen Beispielen benutzt der Eigenschaftenschätzer 110 Filter wie etwa Gaußsche Filter, Medianfilter oder Bilaterale Filter, um die Bildqualität zu verbessern und/oder die Auswirkungen von Rauschen auf Merkmale zu reduzieren, die in der dreidimensionalen Punktwolke beinhaltet sind. Beispielhafte Techniken zum Erzeugen von Punktwolken werden beschrieben von: (a) Mitra, Niloy J. et al. in „Estimating surface normals in noisy point cloud data", International Journal of Computational Geometry & Applications 14, S. 261-276 (2004), und (b) Han, Xian-Feng et al. in „A review of algorithms for filtering the 3D point", Signal Processing: Image Communication 57, S. 103-112 (2017). Beispielhafte Techniken zum Verbessern von Bildentrauschung für Bildsequenzen werden beschrieben von: (a) Dekeyser, Fabien, et al. in „Restoration of noisy, blurred, undersampled image sequences using a parametric motion model", Proc. of the ISIVC 2000; (b) Dubois, Eric et al. in „Noise reduction in image sequences using motion-compensated temporal filtering", IEEE transactions on communications, 32.7, S. 826-831 (1984); (c) Brailean, James C. et al. in „Noise reduction filters for dynamic image sequences: A review", Proceedings of the IEEE 83.9, S. 1272-1292 (1995); und (d) Buades, Antoni et al., „Multi image noise estimation and denoising", 2010, die hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen werden. In einigen Beispielen können die Bildentrauschungstechniken bei Bildsequenzen die Eingaben in Struktur von Bewegungsalgorithmen verbessern, was zu verbesserten dreidimensionalen Punktwolken führen kann. Zusätzlich oder alternativ dazu können Bildentrauschungstechniken bei Bildsequenzen die Eingabe in semantische Segmentierungsalgorithmen verbessern, was zu verbesserter Genauigkeit und/oder Präzision bei Objektidentifizierung (oder Klassifizierung) und/oder Segmentierung führen kann. In einigen Beispielen können Bildentrauschungstechniken unter bestimmten Umweltbedingungen oder bei Variationen in der Qualität der Kamera(s), die mit den Zielfahrzeugen und/oder den straßenseitigen Einheiten assoziiert sind, hilfreich sein.
  • Der beispielhafte Eigenschaftenschätzer 110 verwendet die dreidimensionale Punktwolke, um einen Winkel zwischen dem angekoppelten Anhänger 116 und dem Host-Fahrzeug 100 zu messen. Wenn mehr Bilder von den Zielfahrzeugen 108 und/oder der straßenseitigen Einheiten 109 empfangen werden, erstellt der Eigenschaftenschätzer 110 eine Reihe gemessener Anhängerwinkel und assoziierter Rückfahrbilder des Anhängers (von denen manche ein optisches Muster beinhalten können). Die Sammlung dieser Daten bietet ein Verfahren, zu prüfen, dass ein Steuerungsmodell basierend auf den gemessenen Anhängereigenschaften in der Lage ist, den Anhänger bei Rückfahrvorgängen in dem gewünschten Winkel auszurichten. Wie oben erläutert, kann der Eigenschaftenschätzer 110 Merkmalpunkte verwenden, um die Bilder zu fluchten. Doch bei Bildern, die das optische Muster beinhalten, kann der Eigenschaftenschätzer 100 das optische Muster verwenden, um die Bilder auszurichten, um die dreidimensionale Darstellung zu bilden. Der Eigenschaftenschätzer 110 kann auch Umrisspixel aus der dreidimensionalen Darstellung (manchmal als „dreidimensionales Modell“ bezeichnet) unter Verwendung statistischer Analystechniken entfernen, wie etwa k-Nachbarabstände, Interpolation der Interaktion von Anhängerwinkel und Rückfahrbild unter Verwendung des Random Sample Consensus (RANSAC) oder ähnlichen Algorithmen. Beispielhafte Techniken zum Filtern der dreidimensionalen Darstellung werden beschrieben von: (a) Tombari et al. in „Object recognition in 3D scenes with occlusions and clutter by Hough voting", 4th Pacific-Rim Symposium on Image and Video Technology (2010); (b) Chen, H. et al. in „3D free-form object recognition in ränge images using local surface patches", Pattern Recognition Letters, Vol. 28, Nr. 10, S. 1252-1262, 2007; (c) Besl, Paul, et al. in „A Method for Registration of 3-D Shapes", IEEE Trans. on Pattern Analysis and Machine Intelligence, Los Alamitos, CA, USA: IEEE Computer Society, 14 (2), S. 239-256 (1992); (d) Papazov, Chavdar et al. in „An efficient ransac for 3d object recognition in noisy and occluded scenes", Asian Conference on Computer Vision, Springer, Berlin, Heidelberg (2010); und (e) Rosman, Guy, et al. in „Patch-Collaborative Spectral Point-Cloud Denoising", Computer Graphics Forum. Vol. 32, Nr. 8 (2013), die hierin durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.
  • Unter Verwendung der dreidimensionalen Punktwolke schätzt der Eigenschaftenschätzer 110 dann erwünschte Eigenschaften des angekoppelten Anhängers 116, die dem Host-Fahrzeug 100 helfen können, wenn das Anhängerrückfahrhilfesystem des Fahrzeugs 100 aktiviert wird. Der Eigenschaftenschätzer 110 speichert daraufhin die geschätzten Eigenschaften des angekoppelten Anhängers 116 und eine oder mehrere Charakteristiken, die mit dem angekoppelten Anhänger 116 assoziiert sind, in einem Speicher des Host-Fahrzeugs 100, sodass der angekoppelte Anhänger 116 als erkannter Anhänger identifiziert werden kann, wenn das Anhängerrückfahrhilfesystem nachfolgend aktiviert wird. In einigen Beispielen kann der Eigenschaftenschätzer 110 es dem Fahrer ermöglichen, dem angekoppelten Anhänger 116 zum späteren Abrufen der gespeicherten Eigenschaften einen Namen zu geben.
  • In einigen Beispielen kann der Eigenschaftenschätzer 100 Zielfahrzeuge 108 und/oder straßenseitige Einheiten 109 anfragen, zusätzliche Bilder des Host-Fahrzeugs 100 und/oder des angekoppelten Anhängers 116 bereitzustellen. Beispielsweise kann der Eigenschaftenschätzer 110 Anfragen auf zusätzliche Bilder wiederholen, bis die statistische Gewissheit der Geometrie und Bild im Vergleich mit Anhängerwinkeldaten innerhalb eines erwünschten Fehlerbereichs liegt, um erwünschte Steuerungstoleranzen sicherzustellen (z. B. während der Anhängerrückfahrhilfe).
  • In einigen Beispielen stellt der Eigenschaftenschätzer 110 über die Infotainment-Haupteinheit 106 dem Fahrer Feedback bereit und/oder fordert Feedback vom Fahrer an (z. B. ein Statusupdate). Beispielsweise kann der Eigenschaftenschätzer 110 eine Anzeigevorrichtung der Infotainment-Haupteinheit 106 dazu veranlassen, eine Nachricht anzuzeigen, die angibt, dass ein Anhänger detektiert wurde, dass der Eigenschaftenschätzer 110 versucht, den angekoppelten Anhänger als einen vergangenen Anhänger zu erkennen, dass der angekoppelte Anhänger erkannt oder nicht erkannt wurde, die jegliche abgerufenen und/oder geschätzten Eigenschaften des angekoppelten Anhängers angibt usw. Beispielsweise kann der Eigenschaftenschätzer 110 über die Anzeigevorrichtung Infotainment-Haupteinheit 106 anzeigen, dass der angekoppelte Anhänger 116 erkannt wurde, und auch die abgerufenen Eigenschaften anzeigen. In einigen Beispielen ermöglicht der Eigenschaftenschätzer 110 es dem Fahrer, die abgerufenen Eigenschaften zu prüfen. In einigen Beispielen zeigt der Eigenschaftenschätzer 110 dem Fahrer ein Fortschrittsupdate des Messschätzungsverfahrens an. Beispielsweise kann der Eigenschaftenschätzer 110 über die Anzeigevorrichtung anzeigen, dass ein Prozentsatz (z. B. 90 %) des Anhängers abgebildet und/oder gemessen wurde, beispielsweise basierend auf Punktwolkenrauschen und Flächenschätzung, benötigte Oberflächenperspektive usw.
  • In einigen Beispielen ist es möglich, dass der Eigenschaftenschätzer 110 nicht in der Lage ist, eine oder mehrere Eigenschaften des Anhängers sachgemäß zu schätzen (z. B. auf einem statistisch signifikanten Konfidenzniveau oder mit einem entsprechenden Maß an Präzision in Bezug auf die Position relevanter Merkmale und deren Entfernungen (z. B. Abstand zwischen Anhängerrad und Anhängerkupplung usw.). In manchen derartigen Beispielen kann der Eigenschaftenschätzer 110 den Fahrer über die Anzeigevorrichtung der Infotainment-Haupteinheit 104 dazu auffordern, die Eigenschaften manuell bereitzustellen. In manchen derartigen Beispielen fordert der Eigenschaftenschätzer 110 zusätzliche Bilder von den Zielfahrzeugen 108 und/oder straßenseitigen Einheiten 109 an.
  • In einigen Beispielen, in denen die vorstehenden Techniken verwendet werden, ist der Eigenschaftenschätzer 110 auch dazu in der Lage, die Geometrie und den Inhalt des angekoppelten Anhängers zu schätzen. Beispielsweise kann der Eigenschaftenschätzer 110, wenn der Inhalt des angekoppelten Anhängers sichtbar ist, den Inhalt inspizieren und die Wirkung nachvollziehen, die der Inhalt auf Dynamik, Geometrie und/oder Konfiguration des Anhängers hat. Beispielsweise ist der Eigenschaftenschätzer 110, da der Eigenschaftenschätzer 110 periodisch Bilder des angekoppelten Anhängers 110 sammelt, dazu in der Lage, das Gewicht des Anhängers, den Massenmittelpunkt des angekoppelten Anhängers und andere Informationen zu schätzen, was das Bestimmen optimaler Fahrdynamik und zu benutzender Bremssteuerungspläne ohne Eingabe vom Fahrer erleichtern kann. Das Fahrzeug 100 kann auch vom Eigenschaftenschätzer 110 geschätzte Eigenschaften dazu verwenden, Fahrstrecken zu vermeiden, die aufgrund der geschätzten Abbiegungsradien und/oder des geschätzten Mindestabstands des Anhängers möglicherweise schwierig zu navigieren sind oder aufgrund von Änderungen der topografischen Höhe schwierig freizugeben sind. In einigen Beispielen kann der Eigenschaftenschätzer 110 die Kraftstoffeffizienz des angekoppelten Anhängers und des Fahrzeugsystems basierend auf dem Windwiederstand und der Masse des angekoppelten Anhängers schätzen. In einigen Beispielen kann der Eigenschaftenschätzer 110 bei der Navigation helfen, indem er Navigationsrouten mit Tankstopps basierend auf der geschätzten Kraftstoffeffizienz aktualisiert.
  • 2 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle (human machine interface - HMI) 200 zum Initiieren automatischer Detektion von Anhängereigenschaften. In einigen Beispielen wird die HMI 200 auf einer Konsole Infotainment-Haupteinheit 106 angezeigt. Zusätzlich oder alternativ dazu wird die HMI 200 in einigen Beispielen auf einem Bildschirm einer Mobilvorrichtung über eine Anwendung angezeigt, die auf der Mobilvorrichtung ausgeführt wird. In dem veranschaulichten Beispiel interagiert der Benutzer mit der HMI 200 über eine Touchscreen-Schnittstelle. Die HMI 200 zeigt ein Bild 202 an, das von einer Kamera (z. B. einer Rückfahrkamera oder -kameras) des Fahrzeugs 100 erfasst wurde. In dem veranschaulichten Beispiel aus 2 gibt das Bild 202 an, dass der Anhänger 116 an das Fahrzeug 100 angekoppelt ist. Als Reaktion auf das Detektieren des Vorhandenseins eines Anhängers beinhaltet die beispielhafte HMI 200 aus 2 ein Hilfsmittel 204, „Neuen Anhänger scannen“, und ein „Vergangener Trailer“-Hilfsmittel 206.
  • Das Hilfsmittel 204, „Neuen Anhänger scannen“, ermöglicht dem Benutzer, einen Scan des Anhängers 116, der an das Fahrzeug 100 angekoppelt ist, zu initiieren. Beispielsweise kann durch Auswählen des Hilfsmittels 204, Neuen Anhänger scannen“, das Fahrzeug 100 damit beginnen, Nachrichten zu senden, die dazu auffordern, dass andere Fahrzeuge und/oder Infrastrukturmodule, die zur Kommunikation zwischen Fahrzeugen befähigt sind, ein oder mehrere Bilder des Fahrzeugs 100 erfassen und die erfassten Bilder an das Fahrzeug 100 zu senden.
  • Das „Vergangener Trailer“-Hilfsmittel 206 ermöglicht dem Benutzer, anzuzeigen, dass der Anhänger 116, der an das Fahrzeug 100 angekoppelt ist, ein zuvor gescannter Anhänger ist. In manchen solchen Fällen kann das Fahrzeug 100 den angekoppelten Anhänger 116 identifizieren und gespeicherte Eigenschaften des identifizierten Anhängers 116 abrufen.
  • 3 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle 300, um ein Statusupdate der automatischen Detektion von Anhängereigenschaften anzuzeigen. In dem veranschaulichten Beispiel aus 3 beinhaltet die HMI 300 verschiedene Bereiche, die mit verschiedenen Vorgängen assoziiert sind. Beispielsweise kann die HMI 300 einen Navigationsbereich 302, einen Medienbereich 304 und einen Fortschrittsbereich 306 aufweisen.
  • Der Navigationsbereich 302 aus 3 erleichtert die Navigation, indem straßengenaue Anweisungen verwendet werden. Der Medienbereich 304 zeigt an, welche Medien derzeit im Fahrzeug 100 laufen. Der Fortschrittsbereich 306 stellt dem Benutzer ein Statusupdate des Prozesses der automatischen Detektion von Anhängereigenschaften bereit. Im veranschaulichten Beispiel aus 3 gibt der Fortschrittsbereich 306 an, dass die automatische Detektion von Anhängereigenschaft zu 90 Prozent abgeschlossen ist. Der beispielhafte Fortschrittsbereich 306 beinhaltet eine gestrichelte Linie 308, um anzugeben, wie viel vom Anhänger 116 gescannt wurde.
  • Während die beispielhafte HMI 300 of 3 drei Beispielbereiche beinhaltet, versteht es sich, das eine beliebige Anzahl von Bereichen in der HMI enthalten sein können. Ferner versteht es sich, dass die hier einbezogenen Bereiche der HMI auf beliebige geeignete Weise angeordnet sein können. Beispielsweise kann die HMI den Fortschrittsbereich in einem Hauptabschnitt der Schnittstelle enthalten.
  • 4 veranschaulicht eine beispielhafte Mensch-Maschine-Schnittstelle 400, um ein zusammengesetztes Bild 402 anzuzeigen und zu bearbeiten. Die HMI 400 ermöglicht es dem Benutzer, beliebige gemessene Eigenschaften des Anhängers zu überprüfen und zu ändern. In dem veranschaulichten Beispiel aus 4 beinhaltet die HMI 400 ein Zoom-Hilfsmittel 404, ein Schwenk-Hilfsmittel 406, ein Dreh-Hilfsmittel 408, ein Messbestätigungshilfsmittel 410, ein Messbearbeitungshilfsmittel 412 und ein Nächstmessungshilfsmittel 414.
  • Das Zoom-Hilfsmittel 404 ermöglicht einem Benutzer das Ändern eines Zugabstands durch Ändern des Sichtwinkels. Das Schwenk-Hilfsmittel 406 ermöglicht einem Benutzer das Ändern einer Ausrichtung einer Sicht, um den Abschnitt der Szene zu ändern, der in dem zusammengesetzten Bild 402 gerendert wird. Das Dreh-Hilfsmittel 408 ermöglicht einem Benutzer, einen Sichtwinkel der Szene zu ändern, die in dem zusammengesetzten Bild 402 gerendert wird. Das Messbestätigungshilfsmittel 410 ermöglicht es einem Benutzer, ein angezeigte Eigenschaft des Anhängers zu akzeptieren. In dem veranschaulichten Beispiel kann der Benutzer akzeptieren, dass der Abstand von der Hinterachse des Fahrzeugs 100 zur Hinterachse des Anhängers 116 „X Fuß“ ist. Das Messbearbeitungshilfsmittel 412 ermöglicht einem Benutzer, den Wert der angezeigten Eigenschaft zu bearbeiten. Beispielsweise kann der Benutzer den Abstand von der Hinterachse Fahrzeugs 100 zum Schwerpunkt des Anhängers 116 ändern. Das Nächstmessungshilfsmittel 414 ermöglicht einem Benutzer, sich eine andere Eigenschaft des Anhängers anzeigen zu lassen.
  • 5 veranschaulicht ein weiteres Beispiel einer Mensch-Maschine-Schnittstelle 500 zum Anzeigen und Bearbeiten eines zusammengesetzten Bildes 502. Die HMI 500 ermöglicht es dem Benutzer, beliebige gemessene Eigenschaften des Anhängers zu prüfen und zu ändern. In dem veranschaulichten Beispiel in 5 ermöglicht die HMI 500 es dem Benutzer, das geschätzte Gewicht des Anhängers zu ändern. Die beispielhafte HMI 500 beinhaltet das Zoom-Hilfsmittel 404, das Schwenk-Hilfsmittel 406, das Dreh-Hilfsmittel 408, das Messbestätigungshilfsmittel 410, das Messbearbeitungshilfsmittel 412 und das Nächstmessungshilfsmittel 414 aus 4. Die beispielhafte HMI 500 aus 5 beinhaltet auch ein Messerhöhungshilfsmittel 504, um den Wert der gemessenen Eigenschaft (z. B. das geschätzte Gewicht des Anhängers) zu erhöhen und ein Messreduzierungshilfsmittel 506, um den Wert der gemessenen Eigenschaft zu senken.
  • 6 ist ein Blockdiagramm elektronischer Komponenten 600 des Fahrzeugs 100 aus 1. In dem veranschaulichten Beispiel beinhalten die elektronischen Komponenten 600 das Modul 102 zur Kommunikation zwischen Fahrzeugen, das bordseitige Kommunikationsmodul 104, die Infotainment-Haupteinheit 106 und einen Fahrzeugdatenbus 602.
  • In dem veranschaulichten Beispiel beinhaltet die Infotainment-Haupteinheit 106 einen Prozessor oder eine Steuerung 604 und einen Arbeitsspeicher 606. In dem veranschaulichten Beispiel ist die Infotainment-Haupteinheit 106 strukturiert, um den Eigenschaftenschätzer 110 zu beinhalten. Alternativ dazu kann in einigen Beispielen der Eigenschaftenschätzer 110 in eine andere elektronische Steuereinheit (electronic control unit - ECU) mit eigenem Prozessor und Speicher integriert sein (wie etwa bordseitige Rechenplattformen, ein ADAS-Modul usw.).
  • Bei dem Prozessor oder der Steuerung 604 kann es sich um eine beliebige geeignete Verarbeitungsvorrichtung oder einen Satz von Verarbeitungsvorrichtungen handeln, wie etwa, unter anderem: einen Mikroprozessor, eine mikrocontrollerbasierte Plattform, eine geeignete integrierte Schaltung, ein oder mehrere feldprogrammierbare Gate-Arrays (Field Programmable Gate Array - FPGA) und/oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application-Specific Integrated Circuit - ASIC).
  • Der Arbeitsspeicher 606 kann ein flüchtiger Arbeitsspeicher (z. B. RAM, der nichtflüchtigen RAM, magnetischen RAM, ferroelektrischen RAM und andere geeignete Formen beinhalten kann); nichtflüchtiger Arbeitsspeicher (z. B. Plattenspeicher, FLASH-Speicher, EPROMs, EEPROMs, nichtflüchtiger Festkörperspeicher usw.), unveränderlicher Arbeitsspeicher (z. B. EPROM), Nur-Lese-Arbeitsspeicher und/oder Datenspeichervorrichtungen mit hoher Kapazität (z. B. Festplatten, Solid-State-Laufwerke usw.) sein. In einigen Beispielen beinhaltet der Arbeitsspeicher 606 mehrere Arbeitsspeicherarten, insbesondere einen flüchtigen Arbeitsspeicher und nichtflüchtigen Arbeitsspeicher.
  • Bei dem Arbeitsspeicher 606 handelt es sich um computerlesbare Medien, auf denen ein oder mehrere Sätze von Anweisungen, wie etwa die Software zum Ausführen der Verfahren der vorliegenden Offenbarung, eingebettet sein können. Die Anweisungen können eines oder mehrere der Verfahren oder eine Logik, wie in dieser Schrift beschrieben, verkörpern. Beispielsweise können sich die Anweisungen während der Ausführung der Anweisungen vollständig oder zumindest teilweise innerhalb eines beliebigen oder mehreren von dem Arbeitsspeicher 606, dem computerlesbaren Medium und/oder innerhalb des Prozessoren 604 befinden.
  • Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ sind so zu verstehen, dass sie ein einzelnes Medium oder mehrere Medien beinhalten, wie etwa eine zentralisierte oder verteilte Datenbank und/oder damit assoziierte Zwischenspeicher und Server, auf denen ein oder mehrere Sätze von Anweisungen gespeichert sind. Die Begriffe „nichttransitorisches computerlesbares Medium“ und „physisches computerlesbares Medium“ beinhalten zudem jedes beliebige physische Medium, das zum Speichern, Verschlüsseln oder Tragen eines Satzes von Anweisungen zum Ausführen durch einen Prozessor in der Lage ist oder das ein System dazu veranlasst, ein beliebiges oder mehrere der hier offenbarten Verfahren oder Vorgänge durchzuführen. Im hier verwendeten Sinne ist der Begriff „physisches computerlesbares Medium“ ausdrücklich derart definiert, dass er jede beliebige Art von computerlesbarer Datenspeichervorrichtung und/oder Datenspeicherplatte beinhaltet und das Verbreiten von Signalen ausschließt.
  • Der Fahrzeugdatenbus 602 koppelt das Modul 102 zur Kommunikation zwischen Fahrzeugen, das bordseitige Kommunikationsmodul 104 und die Infotainment-Haupteinheit 106 kommunikativ. In einigen Beispielen beinhaltet der Fahrzeugdatenbus 602 einen oder mehrere Datenbusse. Der Fahrzeugdatenbus 602 kann in Übereinstimmung mit einem Controller-Area-Network-(CAN-)Bus-Protokoll laut Definition der International Standards Organization (ISO) 11898-1, einem Media-Oriented-Systems-Transport-(MOST-)Bus-Protokoll, einem CAN-Flexible-Data-(CAN-FD-)Bus-Protokoll (ISO 11898-7) und/oder einem K-Leitungs-Bus-Protokoll (ISO 9141 und ISO 14230-1) und/oder einem Ethernet™-Bus-Protokoll IEEE 802.3 (ab 2002) usw. umgesetzt sein.
  • 7 ist ein Ablaufdiagramm eines Verfahrens 700 zum automatischen Detektieren von Eigenschaften eines Anhängers unter Verwendung von Bildern, die per Kommunikation zwischen Fahrzeugen empfangen werden, das durch die elektronischen Komponenten 600 aus 6 umgesetzt werden kann. Eingangs, bei Block 702, wartet der Eigenschaftenschätzer 110, bis ein Anhänger detektiert wird (z. B. an das Fahrzeug 100 angekoppelt). Wenn der Eigenschaftenschätzer 110 den Anhänger detektiert, zeigt der Eigenschaftenschätzer 110 dem Benutzer über das Infotainment-System eine Nachricht an, die angibt, dass ein Anhänger detektiert wurde und dass Anhängereigenschaften bestimmt werden. Bei Block 706 bestimmt der Eigenschaftenschätzer 110, ob der Anhänger erkannt wird (z. B. ob Eigenschaften des Anhängers beispielsweise im Speicher des Fahrzeugs 100 gespeichert sind). Falls der Eigenschaftenschätzer 110 bei Block 706 bestimmt, dass der Anhänger erkannt wird (z. B. dass Anhängereigenschaften im Speicher des Fahrzeugs 100 gespeichert sind), dann ruft bei Block 708 der Eigenschaftenschätzer 110 die gespeicherten Eigenschaften ab (z. B. aus dem Speicher des Fahrzeugs 100) und verwendet die abgerufenen Eigenschaften. In einigen Beispielen kann der Eigenschaftenschätzer 110 die abgerufenen Eigenschaften dem Benutzer anzeigen, um es dem Benutzer zu ermöglichen, eine oder mehrere der Anhängereigenschaften zu prüfen und/oder zu bearbeiten. Das beispielhafte Verfahren 700 aus 7 endet daraufhin.
  • Falls der Eigenschaftenschätzer 110 bei Block 706 bestimmt, dass der angekoppelte Anhänger nicht erkannt wird, sendet der Eigenschaftenschätzer 110 daraufhin bei Block 710 eine Nachricht per Kommunikation zwischen Fahrzeugen an die Zielfahrzeuge 108 und/oder die straßenseitigen Einheiten 109 zur Bilderanfrage. Beispielsweise kann der Eigenschaftenschätzer 110 die Zielfahrzeuge 108 und/oder die straßenseitigen Einheiten 109 basierend auf ihrer Nähe zum Host-Fahrzeug 100, basierend darauf, ob die Zielfahrzeuge 108 und/oder die straßenseitigen Einheiten 109 in der Lage sind, das Host-Fahrzeug 100 zu visualisieren (z. B. das Host-Fahrzeug 100 in Sichtlinie haben usw.), usw. auswählen. In einigen Beispielen
  • Bei Block 712 veranlasst der Eigenschaftenschätzer 110 das Fahrzeug 100 dazu, Bilder des Fahrzeugs 100 und des angekoppelten Anhängers zu erfassen. Beispielsweise kann der Eigenschaftenschätzer 110 die Rückfahrkamera des Fahrzeugs 100 dazu veranlassen, Bilder des Anhängers zu erfassen. Bei Block 714 führt der Eigenschaftenschätzer 110 eine semantische Segmentierung der Bilder von den Zielfahrzeugen 108, den straßenseitigen Einheiten 109 und/oder der von dem Fahrzeug 100 erfassten Bilder aus. Bei Block 716 identifiziert der Eigenschaftenschätzer 110 (ein) Objekt(e), die in den erfassten Bildern enthalten sind. Beispielsweise identifiziert der Eigenschaftenschätzer 110, wenn der Eigenschaftenschätzer 110 Bilder empfängt, den Anhänger 116 und damit assoziierte Objekte (z. B. Räder, Kugelkopfkupplung, Anhängerleuchten usw.) in den Bildern.
  • Bei Block 718 erzeugt der Eigenschaftenschätzer 110 eine dreidimensionale Punktwolke des Anhängers 116 unter Verwendung von Struktur aus Bewegungstechniken. Bei Block 720 führt der Eigenschaftenschätzer 110 eine Sensorfusion durch. Beispielsweise kann der Eigenschaftenschätzer 110 Daten, die über andere Sensoren erfasst wurden (z. B. LiDAR usw.), zu der dreidimensionalen Punktwolke zusammenführen (z. B. iterativ zusammenführen). Bei Block 722 führt der Eigenschaftenschätzer 110 eine Verarbeitung an der dreidimensionalen Punktwolke durch. Beispielsweise kann der Eigenschaftenschätzer 110 basierend auf bekannten Anhängergeometrien ein Mitteln, Filtern und Skalieren der dreidimensionalen Punktwolke durchführen.
  • Bei Block 724 veranlasst der Eigenschaftenschätzer 110 die Infotainment-Einheit dazu, eine dreidimensionale Darstellung des Anhängers (z. B. ein zusammengesetztes Bild) anzuzeigen. Bei Block 726 bestimmt der Eigenschaftenschätzer 110, ob die angezeigte dreidimensionale Darstellung des Anhängers akzeptiert wird. Beispielsweise kann der Benutzer über die HMI angeben, dass die angezeigte dreidimensionale Darstellung des Anhängers akzeptiert wird oder nicht akzeptiert wird. In einigen Beispielen kann der Eigenschaftenschätzer 110 statistische Techniken anwenden, um einen Fehler der dreidimensionalen Darstellung des Anhängers zu schätzen und zu bestimmen, ob die angezeigte Darstellung akzeptabel ist. Beispielsweise kann der Eigenschaftenschätzer 110 bestimmen, ob eine Positionsgenauigkeit der Position des Anhängerrads einen Fehlerschwellenwert erfüllt, um zu bestimmen, ob die dreidimensionale Darstellung des Anhängers akzeptabel ist. Falls der Eigenschaftenschätzer 110 bei Block 726 bestimmt, dass die angezeigte Darstellung nicht akzeptabel ist, kehrt die Steuerung zu Block 710 zurück.
  • Falls der Eigenschaftenschätzer 110 bei Block 726 bestimmt, dass die angezeigte Darstellung akzeptabel ist (falls z. B. der Benutzer über ein Hilfsmittel der HMI angibt, dass die angezeigte Darstellung akzeptabel ist, bestimmt der Eigenschaftenschätzer 110 dass die dreidimensionale Darstellung einem statistisch signifikanten Konfidenzniveau entspricht, usw.), dann benutzt der Eigenschaftenschätzer 110 bei Block 728 die dreidimensionale Darstellung zum Schätzen (oder Messen) von Eigenschaften des angekoppelten Anhängers 116. Beispielsweise kann der Eigenschaftenschätzer 110 Eigenschaften des Anhängers wie die folgenden schätzen: (a) einen horizontalen Abstand von dem Nummernschild zur Mitte der Kugelkopfkupplung an dem Anhänger, (b) einen horizontalen Abstand von der Mitte der Kugelkopfkupplung zu der Mitte eines Aufklebers/ optischen Musters/ Merkmalpunkts, (c) einen Abstand von der Rückfahrkamera zur Mitte des Aufklebers/ optischen Musters/ Merkmalpunkts, (d) einen Abstand von der Heckklappe zur Mitte der Anhängerachse (einzelne Achse) oder zur Mitte der Anhängerachse (zwei oder mehrere Achsen), (e) Gewicht des Anhängers, (f) Massenmittelpunkt des Anhängers, (g) Massenmittelpunkt des Fahrzeugs und des angekoppelten Anhängers usw.
  • Bei Block 730 bestimmt der Eigenschaftenschätzer 110, ob die geschätzten Anhängereigenschaften einen Akzeptanzschwellenwert erfüllen. Beispielsweise kann der Eigenschaftenschätzer 110 auf eine Benutzereingabe warten, die angibt, dass die geschätzten Eigenschaften akzeptabel sind. In einigen Beispielen kann der Eigenschaftenschätzer 110 die geschätzten Eigenschaften mit einem statistisch signifikanten Konfidenzniveau vergleichen, um zu bestimmen, ob die geschätzten Anhängereigenschaften den Akzeptanzschwellenwert erfüllen. Falls der Eigenschaftenschätzer 110 bei Block 730 bestimmt, dass die geschätzten Anhängereigenschaften den Akzeptanzschwellenwert nicht erfüllen, kehrt die Steuerung zu Block 710 zurück.
  • Falls der Eigenschaftenschätzer 110 bei Block 730 bestimmt, dass die geschätzten Anhängereigenschaften den Akzeptanzschwellenwert erfüllen, dann speichert der Eigenschaftenschätzer 110 bei Block 732 die geschätzten Anhängereigenschaften. Beispielsweise kann der Eigenschaftenschätzer 110 geschätzten Anhängereigenschaften und Charakteristiken, die mit dem angekoppelten Anhänger 116 assoziiert sind, in einem Speicher (z. B. dem Arbeitsspeicher 606) des Fahrzeugs 100 aufzeichnen. Das beispielhafte Verfahren 700 aus 7 endet daraufhin.
  • Das Ablaufdiagramm 7 ist repräsentativ für maschinenlesbare Anweisungen, die in einem Speicher gespeichert sind (wie etwa dem Arbeitsspeicher 606 aus 6), der ein oder mehrere Programme umfasst, die bei Ausführung durch einen Prozessor (wie etwa der Prozessor 604 aus 6) das Fahrzeug 100 dazu veranlassen, den beispielhaften Eigenschaftenschätzer 110 aus 1 und/oder 6 umzusetzen. Ferner können, obwohl das beispielhafte Programm/die beispielhaften Programme unter Bezugnahme auf das in 7 veranschaulichte Ablaufdiagramm beschrieben ist/sind, alternativ viele andere Verfahren zum Umsetzen des beispielhaften Eigenschaftenschätzers 110 verwendet werden. Beispielsweise kann die Ausführungsabfolge der Blöcke geändert werden und/oder einige der beschriebenen Blöcke können geändert, weggelassen oder kombiniert werden.
  • In dieser Anmeldung soll die Verwendung der Disjunktion die Konjunktion beinhalten. Die Verwendung von bestimmten oder unbestimmten Artikeln soll keine Kardinalität anzeigen. Insbesondere soll ein Verweis auf „den“ Gegenstand oder „einen“ Gegenstand auch einen aus einer möglichen Vielzahl derartiger Gegenstände bezeichnen. Ferner kann die Konjunktion „oder“ dazu verwendet werden, Merkmale wiederzugeben, die gleichzeitig vorhanden sind, anstelle von sich gegenseitig ausschließenden Alternativen. Mit anderen Worten sollte die Konjunktion „oder“ so verstanden werden, dass sie „und/oder“ beinhaltet. Im hier verwendeten Sinne beziehen sich die Begriffe „Modul“ und „Einheit“ auf Hardware mit Schaltungstechnik, um Kommunikations-, Steuerungs- und/oder Überwachungsfähigkeiten, häufig in Verbindung mit Sensoren, bereitzustellen. „Module“ und „Einheiten“ können auch Firmware beinhalten, die mit der Schaltungstechnik ausgeführt wird. Die Ausdrücke „beinhaltet“, „beinhaltend“ und „beinhalten“ sind einschließend und verfügen über denselben Umfang wie „umfasst“, „umfassend“ bzw. „umfassen“.
  • Die vorstehend beschriebenen Ausführungsformen und insbesondere etwaige „bevorzugte“ Ausführungsformen sind mögliche Beispiele für Umsetzungen und sind lediglich für ein eindeutiges Verständnis der Grundsätze der Erfindung dargelegt. Viele Variationen und Modifikationen können an der/den vorstehend beschriebenen Ausführungsform(en) vorgenommen werden, ohne im Wesentlichen vom Geist und den Grundsätzen der hier beschriebenen Techniken abzuweichen. Sämtliche Modifikationen sollen hier im Umfang dieser Offenbarung eingeschlossen und durch die folgenden Ansprüche geschützt sein.
  • Gemäß der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das Folgendes aufweist: ein Modul zur Kommunikation zwischen Fahrzeugen; und eine Infotainment-Haupteinheit zum: Detektieren eines Vorhandenseins eines angekoppelten Anhängers, und als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist: Senden einer Bilderanfrage über das Modul zur Kommunikation zwischen Fahrzeugen; Durchführen einer semantischen Segmentierung der Bilder; Erzeugen einer dreidimensionalen Punktwolke unter Verwendung der segmentierten Bilder; Schätzen einer Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke.
  • Gemäß einer Ausführungsform beinhaltet die Bilderanfrage georäumliche Informationen in Bezug auf das Fahrzeug, um es Empfängern der Bilderanfrage zu ermöglichen, das Fahrzeug zu orten.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit zum Erzeugen der dreidimensionalen Punktwolke die Bilder unter Verwendung einer Structure-from-Motion-Technik (wörtlich: Struktur aus Bewegung) zusammenfügen.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit zum Erzeugen der dreidimensionalen Punktwolke eine Sensorfusion mit der dreidimensionalen Punktwolke durchführen, indem Sensordaten iterativ mit der dreidimensionalen Punktwolke zusammengeführt werden.
  • Gemäß einer Ausführungsform die Infotainment-Haupteinheit eine dreidimensionale Darstellung des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke und zusätzlicher Verarbeitung, die an der dreidimensionalen Punktwolke durchgeführt wird, erzeugen soll.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit zum Durchführen der zusätzlichen Verarbeitung an der dreidimensionalen Punktwolke die dreidimensionale Punktwolke mitteln, filtern und skalieren.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit die dreidimensionale Darstellung anzeigen, wenn die dreidimensionale Darstellung teilweise abgeschlossen ist, bei Empfang der Bilder im Zeitverlauf.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit (1) die geschätzten Eigenschaften und (2) die Charakteristiken, die mit dem angekoppelten Anhänger assoziiert sind, aufzeichnen, um eine nachfolgende Erkennung des angekoppelten Anhängers zu ermöglichen.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit das Vorhandensein des angekoppelten Anhängers basierend auf einer Rückfahrkamera, einer detektierten Veränderung der mit dem Fahrzeug assoziierten Fahrdynamik oder einer Verbindung von Anhängerbremsleuchten detektieren.
  • Gemäß einer Ausführungsform soll die Infotainment-Haupteinheit zumindest eines von den Folgenden schätzen: (a) einen horizontalen Abstand von einem Nummernschild zu einer Mitte der Kugelkopfkupplung an dem angekoppelten Anhänger, (b) einen horizontalen Abstand von der Mitte der Kugelkopfkupplung zu einer Mitte eines Merkmalpunkts, (c) einen Abstand von einer Rückfahrkamera zur Mitte des Merkmalpunkts, (d) einen Abstand von einer Heckklappe zu einer Mitte einer Anhängerachse, (e) ein Gewicht des angekoppelten Anhängers, (f) einen Massenmittelpunkt des angekoppelten Anhängers oder (g) einen Massenmittelpunkt des Fahrzeugs und des angekoppelten Anhängers.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Detektieren, über einen Prozessor eines Fahrzeugs, eines Vorhandenseins eines angekoppelten Anhängers, und als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist; Senden, über ein Modul zur Kommunikation zwischen Fahrzeugen, einer Bilderanfrage; Durchführen, über den Prozessor, einer semantischen Segmentierung der Bilder; Erzeugen, über den Prozessor, einer dreidimensionalen Punktwolke unter Verwendung der segmentierten Bilder; und Schätzen, über den Prozessor, einer Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke.
  • Gemäß einer Ausführungsform beinhaltet die Bilderanfrage georäumliche Informationen in Bezug auf das Fahrzeug, um es Empfängern der Bilderanfrage zu ermöglichen, das Fahrzeug zu orten.
  • Gemäß einer Ausführungsform beinhaltet das Erzeugen der dreidimensionalen Punktwolke, die Bilder unter Verwendung einer Struktur aus Bewegungstechnik zusammenzufügen.
  • Gemäß einer Ausführungsform beinhaltet das Erzeugen der dreidimensionalen Punktwolke das Durchführen einer Sensorfusion mit der dreidimensionalen Punktwolke, indem Sensordaten iterativ mit der dreidimensionalen Punktwolke zusammengeführt werden.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch das Erzeugen einer dreidimensionalen Darstellung des angekoppelten Anhängers gekennzeichnet, basierend auf der dreidimensionalen Punktwolke und zusätzlicher Verarbeitung, die an der dreidimensionalen Punktwolke durchgeführt wird.
  • Gemäß einer Ausführungsform beinhaltet das Durchführen der zusätzlichen Verarbeitung an der dreidimensionalen Punktwolke Mitteln, Filtern und Skalieren der dreidimensionalen Punktwolke.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch das Anzeigen, über eine mit dem Fahrzeug assoziierte Anzeigevorrichtung, der dreidimensionalen Darstellung gekennzeichnet, wenn die dreidimensionale Darstellung teilweise abgeschlossen ist, bei Empfang der Bilder im Zeitverlauf.
  • Gemäß einer Ausführungsform ist die vorstehende Erfindung ferner durch das Aufzeichnen (1) der geschätzten Eigenschaften und (2) der Charakteristiken, die mit dem angekoppelten Anhänger assoziiert sind, gekennzeichnet, um eine nachfolgende Erkennung des angekoppelten Anhängers zu ermöglichen.
  • Gemäß einer Ausführungsform basiert das Detektieren des Vorhandenseins des angekoppelten Anhängers auf einer Rückfahrkamera, einer detektierten Veränderung der mit dem Fahrzeug assoziierten Fahrdynamik oder einer Verbindung von Anhängerbremsleuchten.
  • Gemäß einer Ausführungsform ist die geschätzte Eigenschaft mindestens eines der Folgenden: (a) ein horizontaler Abstand von einem Nummernschild zu einer Mitte der Kugelkopfkupplung an dem angekoppelten Anhänger, (b) ein horizontaler Abstand von der Mitte der Kugelkopfkupplung zu einer Mitte eines Merkmalpunkts, (c) ein Abstand von einer Rückfahrkamera zur Mitte des Merkmalpunkts, (d) ein Abstand von einer Heckklappe zu einer Mitte einer Anhängerachse, (e) ein Gewicht des angekoppelten Anhängers, (f) ein Massenmittelpunkt des angekoppelten Anhängers oder (g) ein Massenmittelpunkt des Fahrzeugs und des angekoppelten Anhängers.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • Zhao et al. in „Pyramid Scene Parsing Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [0029]
    • Long et al. in „Fully Convolutional Networks for Semantic Segmentation“, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [0029]
    • Badrinarayanan et al. in „SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation“, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, Nr. 12, Jan. 2017, S. 2481-2495 [0029]
    • Yu et al. in „Multi-Scale Context Aggregation by Dilated Convolutions“, 2015 [0029]
    • Chen et al. in „DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Artous Convolution, and Fully Connected CRFs“, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017 [0029]
    • Lin et al. in „RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [0029]
    • Peng, Chao, et al. in „Large Kernal Matters - Improve Semantic Segmentation by Global Convolution Network“, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) [0029]
    • Crandall, David J., et al. in „SfM with MRFs: Discrete-Continuous Optimization for Large-Scale Structure from Motion“, IEEE Transactions on Pattern Analysis & Machine Intelligence, Vol. 35, Nr. 12, S. 2841-2853, 2013 [0030]
    • Nilosek, David et al. in „Assessing geoaccuracy of structure from motion point clouds from long-range image collections“, Optical Engineering 53.11, 2014 [0030]
    • Rodrigo, Carceroni et al. in „Structure from motion with known camera positions“, 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1 [0030]
    • Mitra, Niloy J. et al. in „Estimating surface normals in noisy point cloud data“, International Journal of Computational Geometry & Applications 14, S. 261-276 (2004) [0031]
    • Han, Xian-Feng et al. in „A review of algorithms for filtering the 3D point“, Signal Processing: Image Communication 57, S. 103-112 (2017) [0031]
    • Dekeyser, Fabien, et al. in „Restoration of noisy, blurred, undersampled image sequences using a parametric motion model“, Proc. of the ISIVC 2000 [0031]
    • Dubois, Eric et al. in „Noise reduction in image sequences using motion-compensated temporal filtering“, IEEE transactions on communications, 32.7, S. 826-831 (1984) [0031]
    • Brailean, James C. et al. in „Noise reduction filters for dynamic image sequences: A review“, Proceedings of the IEEE 83.9, S. 1272-1292 (1995) [0031]
    • Buades, Antoni et al., „Multi image noise estimation and denoising“, 2010 [0031]
    • Tombari et al. in „Object recognition in 3D scenes with occlusions and clutter by Hough voting“, 4th Pacific-Rim Symposium on Image and Video Technology (2010) [0032]
    • Chen, H. et al. in „3D free-form object recognition in ränge images using local surface patches“, Pattern Recognition Letters, Vol. 28, Nr. 10, S. 1252-1262, 2007 [0032]
    • Besl, Paul, et al. in „A Method for Registration of 3-D Shapes“, IEEE Trans. on Pattern Analysis and Machine Intelligence, Los Alamitos, CA, USA: IEEE Computer Society, 14 (2), S. 239-256 (1992) [0032]
    • Papazov, Chavdar et al. in „An efficient ransac for 3d object recognition in noisy and occluded scenes“, Asian Conference on Computer Vision, Springer, Berlin, Heidelberg (2010) [0032]
    • Rosman, Guy, et al. in „Patch-Collaborative Spectral Point-Cloud Denoising“, Computer Graphics Forum. Vol. 32, Nr. 8 (2013) [0032]
    • ISO 11898-7 [0053]
    • ISO 9141 [0053]
    • ISO 14230-1 [0053]

Claims (15)

  1. Fahrzeug, Folgendes umfassend: ein Modul zur Kommunikation zwischen Fahrzeugen; und eine Infotainment-Haupteinheit zum: Detektieren eines Vorhandenseins eines angekoppelten Anhängers, und als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist: Senden einer Bilderanfrage über das Modul zur Kommunikation zwischen Fahrzeugen; Durchführen einer semantischen Segmentierung der Bilder; Erzeugen einer dreidimensionalen Punktwolke unter Verwendung der segmentierten Bilder; Schätzen einer Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke.
  2. Fahrzeug nach Anspruch 1, wobei die Bilderanfrage georäumliche Informationen in Bezug auf das Fahrzeug beinhaltet, um es Empfängern der Bilderanfrage zu ermöglichen, das Fahrzeug zu orten.
  3. Fahrzeug nach Anspruch 1, wobei die Infotainment-Haupteinheit zum Erzeugen der dreidimensionalen Punktwolke die Bilder unter Verwendung einer Structure-from-Motion-Technik (wörtlich: Struktur aus Bewegung) zusammenfügen soll.
  4. Fahrzeug nach Anspruch 1, wobei die Infotainment-Haupteinheit zum Erzeugen der dreidimensionalen Punktwolke eine Sensorfusion mit der dreidimensionalen Punktwolke durchführen soll, indem Sensordaten iterativ mit der dreidimensionalen Punktwolke zusammengeführt werden.
  5. Fahrzeug nach Anspruch 1, wobei die Infotainment-Haupteinheit eine dreidimensionale Darstellung des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke und zusätzlicher Verarbeitung, die an der dreidimensionalen Punktwolke durchgeführt wird, erzeugen soll.
  6. Fahrzeug nach Anspruch 5, wobei die Infotainment-Haupteinheit zum Durchführen der zusätzlichen Verarbeitung an der dreidimensionalen Punktwolke die dreidimensionale Punktwolke mitteln, filtern und skalieren soll.
  7. Fahrzeug nach Anspruch 5, wobei die Infotainment-Haupteinheit die dreidimensionale Darstellung anzeigen soll, wenn die dreidimensionale Darstellung teilweise abgeschlossen ist, bei Empfang der Bilder im Zeitverlauf.
  8. Fahrzeug nach Anspruch 1, wobei die Infotainment-Haupteinheit (1) die geschätzten Eigenschaften und (2) die Charakteristiken, die mit dem angekoppelten Anhänger assoziiert sind, aufzeichnen soll, um eine nachfolgende Erkennung des angekoppelten Anhängers zu ermöglichen.
  9. Fahrzeug nach Anspruch 1, wobei die Infotainment-Haupteinheit das Vorhandensein des angekoppelten Anhängers basierend auf einer Rückfahrkamera, einer detektierten Veränderung der mit dem Fahrzeug assoziierten Fahrdynamik oder einer Verbindung von Anhängerbremsleuchten detektieren soll.
  10. Verfahren, Folgendes umfassend: Detektieren, über einen Prozessor eines Fahrzeugs, eines Vorhandenseins eines angekoppelten Anhängers, und als Reaktion auf ein Bestimmen, dass der angekoppelte Anhänger ein nichterkannter Anhänger ist; Senden, über ein Modul zur Kommunikation zwischen Fahrzeugen, einer Bilderanfrage; Durchführen, über den Prozessor, einer semantischen Segmentierung der Bilder; Erzeugen, über den Prozessor, einer dreidimensionalen Punktwolke unter Verwendung der segmentierten Bilder; und Schätzen, über den Prozessor, einer Eigenschaft des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke.
  11. Verfahren nach Anspruch 10, wobei die Bilderanfrage georäumliche Informationen in Bezug auf das Fahrzeug beinhaltet, um es Empfängern der Bilderanfrage zu ermöglichen, das Fahrzeug zu orten.
  12. Verfahren nach Anspruch 10, wobei das Erzeugen der dreidimensionalen Punktwolke beinhaltet, die Bilder unter Verwendung einer Struktur aus Bewegungstechnik zusammenzufügen.
  13. Verfahren nach Anspruch 10, wobei das Erzeugen der dreidimensionalen Punktwolke das Durchführen einer Sensorfusion mit der dreidimensionalen Punktwolke beinhaltet, indem Sensordaten iterativ mit der dreidimensionalen Punktwolke zusammengeführt werden.
  14. Verfahren nach Anspruch 10, ferner beinhaltend das Erzeugen einer dreidimensionalen Darstellung des angekoppelten Anhängers basierend auf der dreidimensionalen Punktwolke und zusätzlicher Verarbeitung, die an der dreidimensionalen Punktwolke durchgeführt wird.
  15. Verfahren nach Anspruch 10, wobei das Detektieren des Vorhandenseins des angekoppelten Anhängers auf einer Rückfahrkamera, einer detektierten Veränderung der mit dem Fahrzeug assoziierten Fahrdynamik oder einer Verbindung von Anhängerbremsleuchten basiert.
DE102019112002.0A 2018-05-09 2019-05-08 Systeme und verfahren zur automatischen detektion von anhängereigenschaften Pending DE102019112002A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/975,438 US10628690B2 (en) 2018-05-09 2018-05-09 Systems and methods for automated detection of trailer properties
US15/975,438 2018-05-09

Publications (1)

Publication Number Publication Date
DE102019112002A1 true DE102019112002A1 (de) 2019-11-14

Family

ID=68336986

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019112002.0A Pending DE102019112002A1 (de) 2018-05-09 2019-05-08 Systeme und verfahren zur automatischen detektion von anhängereigenschaften

Country Status (3)

Country Link
US (1) US10628690B2 (de)
CN (1) CN110471058A (de)
DE (1) DE102019112002A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022112797A1 (de) 2022-05-20 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von zumindest einer charakteristischen Anhängerkenngröße, Recheneinrichtung, computerlesbares (Speicher)Medium sowie System

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955540B2 (en) 2017-12-01 2021-03-23 Aptiv Technologies Limited Detection system
US10919350B2 (en) * 2018-01-04 2021-02-16 Hall Labs Llc System for optimizing a trailer path
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10884119B2 (en) 2018-06-08 2021-01-05 Ford Global Technologies, Llc Object tracking in blind-spot
US10748295B2 (en) * 2018-06-08 2020-08-18 Ford Global Technologies, Llc Object tracking in blind-spot
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10982962B2 (en) * 2018-09-17 2021-04-20 Ford Global Technologies, Llc V2X location accuracy enhancement
US10838054B2 (en) * 2018-10-08 2020-11-17 Aptiv Technologies Limited Detection system and method
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
JP7208812B2 (ja) * 2019-02-06 2023-01-19 日立Astemo株式会社 電子制御装置
US11092668B2 (en) 2019-02-07 2021-08-17 Aptiv Technologies Limited Trailer detection system and method
US11417116B2 (en) 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11662196B2 (en) 2019-05-08 2023-05-30 Magna Electronics Inc. Trailer angle detection system using rear camera of vehicle
US11613210B2 (en) 2019-07-22 2023-03-28 Magna Electronics Inc. Trailering assist system with hitch ball position detection
US11787339B2 (en) 2019-07-30 2023-10-17 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11613208B2 (en) 2019-07-30 2023-03-28 Magna Electronics Inc. Trailer hitching assist system with trailer coupler detection
US11661006B2 (en) * 2019-09-27 2023-05-30 Magna Electronics Inc. Vehicular trailering assist system
US11679635B2 (en) 2019-12-09 2023-06-20 Magna Electronics Inc. Vehicular trailer hitching assist system with coupler height and location estimation
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
US11408995B2 (en) 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
US11820403B2 (en) 2020-03-30 2023-11-21 Wipro Limited Method and system of determining trajectory for an autonomous vehicle
US11498377B2 (en) 2020-06-03 2022-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining an identity of a trailer
CN111738268B (zh) * 2020-07-22 2023-11-14 浙江大学 一种基于随机块的高分遥感图像的语义分割方法及***
CN111950502B (zh) * 2020-08-21 2024-04-16 东软睿驰汽车技术（沈阳）有限公司 基于障碍对象的检测方法、装置及计算机设备
US11721108B2 (en) 2020-11-10 2023-08-08 Ford Global Technologies, Llc System and method for training trailer detection systems
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN112926476B (zh) * 2021-03-08 2024-06-18 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质
US20220343535A1 (en) * 2021-04-27 2022-10-27 Continental Automotive Systems, Inc. System and method for estimating relative trailer angle
US20230133175A1 (en) * 2021-10-30 2023-05-04 Deere & Company Object detection system and method for a work machine using work implement masking
US20230260288A1 (en) * 2022-02-15 2023-08-17 Here Global B.V. Apparatus and methods for detecting trailer sway

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617490A (en) 1994-06-27 1997-04-01 Sanyo Electric Co., Ltd. Camera system with neural network compensator for measuring 3-D position
US5717390A (en) 1995-03-20 1998-02-10 Hasselbring; Richard E. Doppler-radar based automatic vehicle-classification system
JP3463612B2 (ja) 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US20020130953A1 (en) 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
US20030212567A1 (en) 2002-05-07 2003-11-13 Hitachi Ltd. Witness information service with image capturing and sharing
FR2853121B1 (fr) 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4214841B2 (ja) 2003-06-11 2009-01-28 株式会社デンソー 周囲状況認識システム
JP2005209079A (ja) 2004-01-26 2005-08-04 Fujitsu Ten Ltd 車両走行支援装置
JP4546342B2 (ja) 2005-07-07 2010-09-15 パナソニック株式会社 送信装置および送信方法
US7586489B2 (en) 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
US7999861B2 (en) 2008-03-14 2011-08-16 Omron Corporation Image processing apparatus for generating composite image with luminance range optimized for a designated area
US8228380B2 (en) 2008-03-15 2012-07-24 International Business Machines Corporation Informing a driver or an owner of a vehicle of visible problems detected by outside video sources
DE102009031319A1 (de) 2009-06-30 2011-01-05 Siemens Aktiengesellschaft Verfahren und System zur Bestimmung einer Fahrzeugklasse
US10247575B2 (en) 2009-07-10 2019-04-02 Tomtom Telematics B.V. Accelerometer system and method
DE102009035441B4 (de) * 2009-07-31 2016-11-24 Siemens Healthcare Gmbh Verfahren und Bildverarbeitungssystem zur Erzeugung eines Volumenansichtsbilds vom Inneren eines Körpers
US10580088B2 (en) 2010-03-03 2020-03-03 The Western Union Company Vehicle travel monitoring and payment systems and methods
DK2450865T3 (da) 2010-11-04 2013-05-06 Kapsch Trafficcom Ag Mobile kontrolindretninger og -fremgangsmåder til brug i forbindelse med køretøjer
US8473196B2 (en) 2011-02-11 2013-06-25 GM Global Technology Operations LLC Use of self and neighboring vehicle GPS/GNSS data to estimate current and approaching sky visibility changes
US20130103305A1 (en) 2011-10-19 2013-04-25 Robert Bosch Gmbh System for the navigation of oversized vehicles
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9135754B2 (en) 2012-05-07 2015-09-15 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
US9117371B2 (en) 2012-06-22 2015-08-25 Harman International Industries, Inc. Mobile autonomous surveillance
US9558667B2 (en) 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
US9311544B2 (en) 2012-08-24 2016-04-12 Jeffrey T Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
PT2757346E (pt) 2013-01-21 2016-06-02 Kapsch Trafficcom Ag Método para medir um perfil de altura de um veículo que passa na estrada
KR102087073B1 (ko) 2013-04-29 2020-03-10 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
TWI552897B (zh) 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
GB201312038D0 (en) * 2013-07-04 2013-08-21 Jaguar Land Rover Ltd Trailer parameter identification system
US9784887B1 (en) 2013-08-12 2017-10-10 Physical Optics Corporation Meteorological sensing systems and methods
JP2015041969A (ja) 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
TWI545523B (zh) 2013-08-30 2016-08-11 國立中央大學 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置
US20150134675A1 (en) 2013-11-14 2015-05-14 Wells Fargo Bank, N.A. Context association
DE102014002540B4 (de) 2014-02-22 2018-08-30 Audi Ag Sicherheitseinrichtung für ein Kraftfahrzeug und zugehöriges Betriebsverfahren
WO2015140855A1 (ja) 2014-03-20 2015-09-24 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US9440627B2 (en) * 2014-05-28 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for calculating trailer brake control parameters
KR101592740B1 (ko) 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US10112537B2 (en) * 2014-09-03 2018-10-30 Ford Global Technologies, Llc Trailer angle detection target fade warning
US9493117B2 (en) * 2014-10-08 2016-11-15 Ford Global Technologies, Llc Vehicle blind spot system operation with trailer tow
US9315212B1 (en) * 2014-10-13 2016-04-19 Ford Global Technologies, Llc Trailer sensor module and associated method of wireless trailer identification and motion estimation
EP3026880B1 (de) 2014-11-25 2018-09-12 Application Solutions (Electronics and Vision) Ltd. Schadenserkennungs-Unterstützungssystem
US20180032829A1 (en) 2014-12-12 2018-02-01 Snu R&Db Foundation System for collecting event data, method for collecting event data, service server for collecting event data, and camera
US9928544B1 (en) 2015-03-10 2018-03-27 Amazon Technologies, Inc. Vehicle component installation preview image generation
US9718402B2 (en) * 2015-04-08 2017-08-01 Ford Global Technologies, Llc Apparatus and method for actively determining height clearance and generating alerts
US9595184B2 (en) 2015-06-16 2017-03-14 Muath Khalid ALMANSOUR System, method, and apparatus for incident reporting
US9477894B1 (en) 2015-09-04 2016-10-25 Ford Global Technologies, Llc System and method for measuring object height for overhead clearance detection
JP2017068640A (ja) 2015-09-30 2017-04-06 ヤマハ株式会社 車両間データ通信装置
KR101760312B1 (ko) 2015-11-30 2017-07-31 (주) 알티솔루션 도로교통안전 서비스를 위한 화물 적재상태 검지 시스템
US9424725B1 (en) 2016-01-04 2016-08-23 International Business Machines Corporation School perimeter security system
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10360458B2 (en) * 2016-04-13 2019-07-23 GM Global Technology Operations LLC Method of calculating dimensions of a towed vehicle
US9738125B1 (en) * 2016-05-17 2017-08-22 Horizon Global Americas Inc. Communication device, system, and method for active control of external vehicle components
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10412536B2 (en) 2016-06-23 2019-09-10 Minutepros.Com Corp. Providing secure service provider reverse auctions using certification identifiers, symmetric encryption keys and encrypted uniform resource locators
US10227032B2 (en) 2016-07-01 2019-03-12 Ford Global Technologies, Llc Vehicle headlamp alignment system and method
US10106193B2 (en) * 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
DE102016212181A1 (de) 2016-07-05 2018-01-11 Volkswagen Aktiengesellschaft Verfahren zur Bestimmung von Längen- und/oder Größenverhältnissen eines Anhängers
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
CN106683139B (zh) 2017-02-20 2023-09-26 南京航空航天大学 基于遗传算法的鱼眼相机标定***及其图像畸变矫正方法
US10195994B2 (en) 2017-04-07 2019-02-05 GM Global Technology Operations LLC Vehicle side mirror automation
US10282166B2 (en) 2017-05-03 2019-05-07 The Reverie Group, Llc Enhanced control, customization, and/or security of a sound controlled device such as a voice controlled assistance device
US10558864B2 (en) * 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
CN107226087B (zh) 2017-05-26 2019-03-26 西安电子科技大学 一种结构化道路自动驾驶运输车及控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022112797A1 (de) 2022-05-20 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von zumindest einer charakteristischen Anhängerkenngröße, Recheneinrichtung, computerlesbares (Speicher)Medium sowie System

Also Published As

Publication number Publication date
CN110471058A (zh) 2019-11-19
US20190347498A1 (en) 2019-11-14
US10628690B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102018132981B4 (de) Autonomes fahrsystem, computerimplementiertes verfahren und autonomes fahrzeug zur ampelzustandsbewertung
US10417911B2 (en) Inter-vehicle cooperation for physical exterior damage detection
DE102018122459B4 (de) Fahrzeugsystem, entferntes fahrzeugassistenzsystem und comuterimplementiertes verfahren zum bereitstellen von fernunterstützung
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102018116107A1 (de) Kalibrierungsverfahren für den betrieb von autonomen fahrzeugen
DE102017201852B4 (de) Parkassistenzsystem für ein Fahrzeug und ein Verfahren zu dessen Nutzung
DE102019133536A1 (de) Verfahren und Vorrichtung zum Ermöglichen der sequentiellen Bodenansichts-Bildprojektionssynthese und der komplizierten Szenenrekonstruktion an Kartenanomalie-Hotspots
DE102018116108A1 (de) Kalibrierungsprüfverfahren für den betrieb von autonomen fahrzeugen
US10745005B2 (en) Inter-vehicle cooperation for vehicle self height estimation
DE102018121597A1 (de) Boden-referenzbestimmung für den betrieb von autonomen fahrzeugen
DE102019104482A1 (de) Massen-abtastende punktwolkenkarte
DE102018129295A1 (de) Systeme und Verfahren zum Abbilden von Fahrbahnstörobjekten in autonomen Fahrzeugen
DE112017001322T5 (de) Signalverarbeitungsvorrichtung und Signalverarbeitungsverfahren
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102018113078A1 (de) Fahrzeugfernparksysteme und -verfahren
DE102018109371A1 (de) Kalibrierungsvalidierung für den betrieb von autonomen fahrzeugen
DE102017123180A1 (de) Rückwertige Hinderniserkennung und Abstandsschätzung
DE102018105417A1 (de) Fahrzeugortung unter verwendung von kameras
DE102017105903A1 (de) Fussgängerdetektion und Bewegungsvorhersage mit nach hinten gerichteter Kamera
DE112018000335T5 (de) Systeme und verfahren für einen berechnungsrahmen zur visuellen warnung des fahrers unter verwendung einer "fully convolutional"-architektur
DE102017116073A1 (de) System und verfahren zur verbesserung der fahrzeugumgebungserfassung
DE102017128619A1 (de) Fahrzeugsteuerung unter verwendung von strassenwinkeldaten
DE102020130674A1 (de) Fahrzeugposenerfassung mit bezugsmarker
DE102019102980A1 (de) Verfahren und vorrichtungen zum vereinfachen einer umgebungssichtverhältnisbestimmung

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE