DE102016115541A1 - System und verfahren zum autonomen valet-parken unter verwendung plenoptischer kameras - Google Patents

System und verfahren zum autonomen valet-parken unter verwendung plenoptischer kameras Download PDF

Info

Publication number
DE102016115541A1
DE102016115541A1 DE102016115541.1A DE102016115541A DE102016115541A1 DE 102016115541 A1 DE102016115541 A1 DE 102016115541A1 DE 102016115541 A DE102016115541 A DE 102016115541A DE 102016115541 A1 DE102016115541 A1 DE 102016115541A1
Authority
DE
Germany
Prior art keywords
vehicle
parking
location
controller
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016115541.1A
Other languages
English (en)
Inventor
Larry Dean Elie
Douglas Scott Rhode
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102016115541A1 publication Critical patent/DE102016115541A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • G06V20/39Urban scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/144Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces on portable or mobile units, e.g. personal digital assistant [PDA]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/147Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is within an open public zone, e.g. city centre
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Als Beispiel dienende Ausführungsformen sehen Systeme und Verfahren zum autonomen Valet-Parken eines Fahrzeugs auf der Grundlage von mehreren plenoptischen Kameras (Lichtfeldkameras) erhaltener Bilder vor. Gemäß einer Ausführungsform umfasst ein autonomes Valet-Parksystem Folgendes: eine plenoptische Kamera, welche dafür ausgelegt ist, Folgendes auszuführen: Erhalten eines Bilds außerhalb eines Fahrzeugs, und für das Bild, Erzeugen einer Tiefenkarte, die Ortsinformationen für ein Objekt im Bild enthält, und eine Steuereinrichtung, welche dafür ausgelegt ist, Folgendes auszuführen: Erzeugen einer Belegungskarte, die angibt, ob jedes von mehreren das Fahrzeug umgebenden Gebieten belegt ist, unter Verwendung der Tiefenkarte, Steuern des Fahrzeugs, um es zu einer gewünschten Parkstelle zu navigieren, und unter Verwendung der Belegungskarte.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft allgemein ein System und ein Verfahren zum autonomen Valet-Parken unter Verwendung plenoptischer Kameras (Lichtfeldkameras). Insbesondere ist das autonome Valet-Parksystem gemäß der vorliegenden Offenbarung dafür ausgelegt, plenoptische Kameras zu verwenden, um Bilder außerhalb eines Fahrzeugs zu erhalten und unter Verwendung dieser Bilder eine verfügbare Parkstelle zu identifizieren und das Fahrzeug autonom zu steuern, um zur verfügbaren Parkstelle zu navigieren und dort zu parken.
  • HINTERGRUND
  • Fahrzeuge, die autonom parken können, werden immer verbreiteter. Die Sensoren, die diese bekannten Fahrzeuge verwenden, um ein autonomes Parken zu ermöglichen, wie Ultraschallsensoren, RADAR und/oder LIDAR, haben Vorteile und Nachteile. Ultraschallsensoren sind kostengünstig, jedoch verhältnismäßig ungenau. Beispielsweise haben Ultraschallsensoren Schwierigkeiten, bestimmte Objekte, wie Kantsteinformen und sogar andere Fahrzeuge, zu erkennen, wenn die Geometrie und/oder das Material der Objekte keine starke Rückmeldung bereitstellen. Ferner geben Ultraschallsensoren keine genauen Richtungsinformationen aus, weil das Ultraschallsensorstrahlmuster breit ist. LIDAR stellt verhältnismäßig gute Objektreichweiten- und Fahrtrichtungsinformationen bereit, ist jedoch kostspielig. RADAR stellt verhältnismäßig gute Objektreichweitenrateninformationen bereit, hat jedoch Schwierigkeiten, einige Objekte zu erkennen, und ist kostspielig. Es besteht daher ein Bedarf an neuen Sensorsystemen und Verfahren zum autonomen Parken von Fahrzeugen.
  • KURZFASSUNG
  • Diese Anmeldung ist durch die anliegenden Ansprüche definiert. Die Beschreibung fasst Aspekte der Ausführungsformen zusammen und sollte nicht verwendet werden, um die Ansprüche einzuschränken. Andere Implementationen werden gemäß den hier beschriebenen Techniken erwogen, wie Durchschnittsfachleuten auf dem Gebiet bei der Betrachtung der folgenden Zeichnung und der detaillierten Beschreibung verständlich sein wird, und diese Implementationen sollen innerhalb des Schutzumfangs dieser Anmeldung liegen.
  • Als Beispiel dienende Ausführungsformen sehen Systeme und Verfahren zum autonomen Valet-Parken eines Fahrzeugs auf der Grundlage von mehreren plenoptischen Kameras (Lichtfeldkameras) erhaltener Bilder vor.
  • Gemäß einer Ausführungsform umfasst ein autonomes Valet-Parksystem Folgendes: eine plenoptische Kamera, welche dafür ausgelegt ist, Folgendes auszuführen: Erhalten eines Bilds außerhalb eines Fahrzeugs und für das Bild, Erzeugen einer Tiefenkarte, die Ortsinformationen für ein Objekt im Bild enthält, und eine Steuereinrichtung, welche dafür ausgelegt ist, Folgendes auszuführen: Erzeugen einer Belegungskarte, die angibt, ob jedes von mehreren das Fahrzeug umgebenden Gebieten belegt ist, unter Verwendung der Tiefenkarte, und Steuern des Fahrzeugs, um es zu einer gewünschten Parkstelle zu navigieren, unter Verwendung der Belegungskarte.
  • Gemäß einer anderen Ausführungsform umfasst ein Verfahren zum autonomen Parken Folgendes: Erhalten eines Bilds außerhalb eines Fahrzeugs durch eine plenoptische Kamera, Erzeugen einer Tiefenkarte, die Ortsinformationen für ein Objekt im Bild enthält, durch die plenoptische Kamera, Erzeugen einer Belegungskarte, die angibt, ob jedes von mehreren das Fahrzeug umgebenden Gebieten belegt ist, durch eine Steuereinrichtung unter Verwendung der Tiefenkarte und Steuern des Fahrzeugs, um es zu einer gewünschten Parkstelle zu navigieren, durch die Steuereinrichtung unter Verwendung der Belegungskarte.
  • KURZBESCHREIBUNG DER ZEICHNUNG
  • Für ein besseres Verständnis der Erfindung kann auf in der folgenden Zeichnung dargestellte Ausführungsformen Bezug genommen werden. Die Komponenten in der Zeichnung sind nicht notwendigerweise maßstabsgerecht, und betreffende Elemente können fortgelassen werden, um die hier beschriebenen neuartigen Merkmale hervorzuheben und klar zu erläutern. Zusätzlich können Systemkomponenten auf verschiedene Arten angeordnet werden, wie auf dem Fachgebiet bekannt ist. In den Figuren können gleiche Bezugszahlen in den verschiedenen Figuren gleiche Teile bezeichnen, sofern nichts anderes spezifiziert wird.
  • 1 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens 100 zum Erzeugen von Tiefenkarten und einer Belegungskarte unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung.
  • Die 2A, 2B und 2C zeigen ein Fahrzeug mit dem autonomen Valet-Parksystem gemäß der vorliegenden Offenbarung, wobei die plenoptische Kamera verwendet wird, um eine Tiefenkarte zu erzeugen, und die Fahrzeugsteuereinrichtung verwendet wird, um unter Verwendung des Prozesses aus 1 eine Belegungskarte zu erzeugen.
  • 3 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens zum autonomen Valet-Parken eines Fahrzeugs unter Verwendung einer Belegungskarte und einer gespeicherten Parkbereichskarte unter Verwendung des autonomen Valet-Parksystems der vorliegenden Offenbarung.
  • Die 4A, 4B und 4C zeigen ein Fahrzeug, welches das autonome Valet-Parksystem gemäß der vorliegenden Offenbarung aufweist, wobei das autonome Valet-Parksystem verwendet wird, um ein autonomes Valet-Parken des Fahrzeugs in einem Parkbereich unter Verwendung des Prozesses aus 3 auszuführen.
  • 5 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens zum autonomen Valet-Parken eines Fahrzeugs unter Verwendung einer Belegungskarte und nicht unter Verwendung des Fahrzeugorts unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung.
  • 6 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens zum autonomen Valet-Parken eines Fahrzeugs an einer festgelegten Parkstelle unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung.
  • 7 zeigt ein Blockdiagramm, das Komponenten einer Ausführungsform des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung aufweist.
  • DETAILLIERTE BESCHREIBUNG ALS BEISPIEL DIENENDER AUSFÜHRUNGSFORMEN
  • Autonomes Valet-Parken unter Verwendung plenoptischer Kameras
  • Wenngleich das System und das Verfahren gemäß der vorliegenden Offenbarung in verschiedenen Formen verwirklicht werden können, sind in der Zeichnung einige als Beispiel dienende und nicht einschränkende Ausführungsformen des Systems und des Verfahrens dargestellt, welche nachstehend beschrieben werden. Die vorliegende Offenbarung ist als eine beispielhafte Ausgestaltung des Systems und des Verfahrens anzusehen, und sie soll das System und das Verfahren nicht auf die spezifischen hier erläuterten und beschriebenen Ausführungsformen beschränken. Nicht alle in dieser Offenbarung beschriebenen dargestellten Komponenten können erforderlich sein, einige Ausführungsformen können jedoch zusätzliche, andere oder weniger Komponenten als die hier explizit beschriebenen aufweisen. Variationen der Anordnung und des Typs der Komponenten können vorgenommen werden, ohne vom Gedanken oder vom Schutzumfang der hier dargelegten Ansprüche abzuweichen.
  • Verschiedene Ausführungsformen der vorliegenden Offenbarung sehen ein System und ein Verfahren zum autonomen Valet-Parken unter Verwendung plenoptischer Kameras vor. Das autonome Valet-Parksystem ist allgemein dafür ausgelegt, plenoptische Kameras zu verwenden, um Bilder außerhalb eines Fahrzeugs zu erhalten und unter Verwendung dieser Bilder eine verfügbare Parkstelle zu identifizieren und das Fahrzeug autonom zu steuern, um es zu der verfügbaren Parkstelle zu navigieren und dort zu parken. Insbesondere ist das autonome Valet-Parksystem dafür ausgelegt, mehrere plenoptische Kameras zu verwenden, um Bilder außerhalb des Fahrzeugs zu erhalten und Tiefenkarten für die erhaltenen Bilder zu erzeugen. Die Tiefenkarten enthalten Ortsinformationen für ein oder mehrere Objekte in den Bildern. Nach der Erzeugung der Tiefenkarten senden die plenoptischen Kameras die Tiefenkarten zu einer Fahrzeugsteuereinrichtung. Die Tiefenkarten ermöglichen es der Fahrzeugsteuereinrichtung, den Abstand zwischen den Außenflächen des Fahrzeugs und das Fahrzeug umgebenden Objekten in der Art von Kantsteinen, Fußgängern, anderen Fahrzeugen und dergleichen zu bestimmen. Die Fahrzeugsteuereinrichtung verwendet die empfangenen Tiefenkarten zur Erzeugung einer Belegungskarte durch Unterteilen des das Fahrzeug umgebenden Bereichs in mehrere verschiedene Gebiete und durch Klassifizieren jedes Gebiets als belegt (beispielsweise durch ein gesamtes Objekt oder ein Teil eines Objekts) oder unbelegt auf der Grundlage der Ortsinformationen in der Tiefenkarte. Die Fahrzeugsteuereinrichtung identifiziert dann eine gewünschte Parkstelle in einer von einer Vielzahl verschiedener Arten und steuert unter Verwendung der Belegungskarte das Fahrzeug, um es zur gewünschten Parkstelle zu navigieren und dort zu parken, indem es durch nicht belegte Gebiete in der Belegungskarte fährt.
  • Die Komponenten des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung (nachstehend detailliert beschrieben) können am oder im Fahrzeug vorhanden sein oder auf andere Weise in ein Fahrzeug integriert sein. Eine oder mehrere der Komponenten des autonomen Valet-Parksystems können mit einer oder mehreren Komponenten existierender Fahrzeugsysteme in der Art des Navigationssystems (jedoch ohne Einschränkung darauf) geteilt werden.
  • Das autonome Valet-Parksystem kann in ein geeignetes Fahrzeug aufgenommen sein oder auf andere Weise damit verwendbar sein, in der Art (jedoch ohne Einschränkung darauf): (1) eines nicht kommerziellen Personenfahrzeugs in der Art einer Limousine oder eines Lastfahrzeugs, (2) eines kommerziellen Fahrzeugs in der Art eines Traktors-Anhängers oder (3) eines nicht zivilen Fahrzeugs in der Art eines Fahrzeugs, das von einer Strafverfolgungsbehörde, einer Regierungsbehörde, einer Notfalleinrichtung (beispielsweise einer Feuerwehreinrichtung) oder einer medizinischen Einrichtung (beispielsweise einem Krankenhaus) verwendet wird. Diese Liste ist nicht erschöpfend, und sie dient nur als Beispiel.
  • Wenngleich das Fahrzeug und die Merkmale, die dem hier beschriebenen autonomen Valet-Parksystem entsprechen, nachstehend in Situationen beschrieben werden, in denen sich das Fahrzeug bewegt, liegt es auch innerhalb des Schutzumfangs dieser Offenbarung, dass die gleichen Merkmale angewendet werden können, wenn sich das Fahrzeug in einem stationären Zustand befindet (beispielsweise geparkt, an einer roten Ampel angehalten oder im Verkehr angehalten).
  • 1. Erzeugen von Tiefenkarten und einer Belegungskarte
  • Gemäß verschiedenen Ausführungsformen erzeugt das autonome Valet-Parksystem, bevor es ein autonomes Valet-Parken eines Fahrzeugs vornehmen kann, eine Belegungskarte, die Informationen über die Gebiete bereitstellt, in denen sich das Fahrzeug sicher bewegen kann.
  • 1 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens 100 zum Erzeugen von Tiefenkarten und einer Belegungskarte unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung. Gemäß verschiedenen Ausführungsformen ist der Prozess 100 durch einen Satz in einem oder mehreren Speichern gespeicherter Befehle, die durch einen oder mehrere Prozessoren ausgeführt werden (in der Art jener, die nachstehend in Zusammenhang mit 7 beschrieben werden), repräsentiert. Wenngleich der Prozess 100 mit Bezug auf das in 1 dargestellte Flussdiagramm beschrieben wird, können viele andere Prozesse zum Ausführen der Schritte in Zusammenhang mit dem dargestellten Prozess 100 verwendet werden. Beispielsweise kann die Reihenfolge bestimmter der dargestellten Blöcke geändert werden, können bestimmte der dargestellten Blöcke optional sein und/oder können bestimmte der dargestellten Blöcke nicht verwendet werden.
  • Beim Betrieb dieser Ausführungsform erhält das autonome Valet-Parksystem Bilder unter Verwendung einer oder mehrerer und vorzugsweise einer Vielzahl plenoptischer Kameras, wie durch Block 102 angegeben ist. Beispielsweise erhält eine nach vorne weisende plenoptische Kamera des Fahrzeugs ein Bild außen vor dem Fahrzeug, erhält eine zur rechten Seite weisende plenoptische Kamera des Fahrzeugs ein Bild außen rechts des Fahrzeugs, erhält eine nach hinten weisende plenoptische Kamera des Fahrzeugs ein Bild außen hinter dem Fahrzeug und erhält eine zur linken Seite weisende plenoptische Kamera des Fahrzeugs ein Bild außen links des Fahrzeugs. Gemäß dieser als Beispiel dienenden Ausführungsform stellen die plenoptischen Kameras in Kombination eine 360-Grad-Ansicht des das Fahrzeug umgebenden Bereichs zusammen. Jede plenoptische Kamera erzeugt eine Tiefenkarte für das Bild, das es erhalten hat, wie durch Block 104 angegeben ist. Die Tiefenkarte für ein Bild enthält Ortsinformationen, die den Abstand der Flächen des einen oder der mehreren Objekte im Bild von einem Bezugspunkt angeben, der im Fahrzeug fest ist, in der Art des Orts der plenoptischen Kamera, die dieses Bild erhalten hat, oder eines anderen geeigneten Punkts oder eines Festpunkts in einem Fahrzeugkoordinatensystem. Die plenoptischen Kameras senden dann die erzeugten Tiefenkarten (einschließlich der Ortsinformationen) zur Fahrzeugsteuereinrichtung, wie durch Block 106 angegeben ist.
  • Die Fahrzeugsteuereinrichtung erzeugt eine Belegungskarte unter Verwendung der von den plenoptischen Kameras empfangenen Tiefenkarten und insbesondere unter Verwendung der Ortsinformationen in diesen Tiefenkarten, wie durch Block 108 angegeben ist. Insbesondere transformiert oder kombiniert die Fahrzeugsteuereinrichtung zuerst die Tiefenkarten zu einem gemeinsamen Fahrzeugkoordinatensystem und erzeugt dann die Belegungskarte, indem sie unter Verwendung des Fahrzeugkoordinatensystems den das Fahrzeug umgebenden Bereich in eine Vielzahl abgegrenzter Gebiete unterteilt, und klassifiziert auf der Grundlage der Ortsinformationen in den Tiefenkarten jedes Gebiet als belegt (d. h. ein gesamtes Objekt oder ein Teil eines Objekts befindet sich im Gebiet) oder unbelegt (d. h. es befinden sich keine Objekte im Gebiet). Weil insbesondere die Fahrzeugsteuereinrichtung den Ort der Gebiete in Bezug auf das Fahrzeug (unter Verwendung des Fahrzeugkoordinatensystems) und auf der Grundlage der Ortsinformationen der Tiefenkartte die Orte das Fahrzeug umgebender Objekte kennt, kann die Fahrzeugsteuereinrichtung für jedes Gebiet feststellen, ob sich ein gesamtes Objekt oder ein Teil eines Objekts innerhalb dieses Gebiets befindet. Falls ein Gebiet in der Belegungskarte unbelegt ist, ist dieses Gebiet ein Durchfahrgebiet, in dem sich das Fahrzeug sicher bewegen kann, und falls ein Gebiet in der Belegungskarte belegt ist, ist dieses Gebiet kein Durchfahrgebiet, und das Fahrzeug kann sich in diesem Gebiet nicht sicher bewegen. Gemäß dieser Ausführungsform wird der Prozess 100, solange das Fahrzeug eingeschaltet ist, kontinuierlich wiederholt, so dass die Fahrzeugsteuereinrichtung die Belegungskarte in Echtzeit aktualisiert.
  • Die 2A, 2B und 2C zeigen ein Fahrzeug mit dem autonomen Valet-Parksystem gemäß der vorliegenden Offenbarung, wobei die plenoptische Kamera verwendet wird, um eine Tiefenkarte zu erzeugen, und die Fahrzeugsteuereinrichtung verwendet wird, um unter Verwendung des Prozesses 100 eine Belegungskarte zu erzeugen. Aus Gründen der Kürze und Klarheit weist diese als Beispiel dienende Ausführungsform eine einzige plenoptische Kamera auf, wenngleich die nachstehende Beschreibung dafür angepasst werden kann, mehrere plenoptische Kameras anzuwenden. 2A zeigt ein Fahrzeug 200, das eine nach vorne weisende plenoptische Kamera 300 mit einem Gesichtsfeld 300a aufweist. Das autonome Valet-Parksystem verwendet die plenoptische Kamera 300, um das in 2B dargestellte Bild zu erhalten. Die plenoptische Kamera 300 erzeugt dann eine Tiefenkarte (nicht dargestellt) für das in 2B dargestellte Bild. Die Tiefenkarte enthält Ortsinformationen, welche den Abstand jeder Fläche im Bild in der Art verschiedener Punkte auf der Außenfläche des Fahrzeugs vor dem Fahrzeug 300, verschiedener Punkte auf dem Kantstein, verschiedener Punkte auf dem Gras, verschiedener Punkte auf dem Bürgersteig, verschiedener Punkte auf der Straße und dergleichen zur plenoptischen Kamera 300 angeben. Die plenoptische Kamera 300 sendet dann die Tiefenkarte zu einer Fahrzeugsteuereinrichtung des autonomen Valet-Parksystems.
  • Wie in 2C dargestellt ist, erzeugt die Fahrzeugsteuereinrichtung eine Belegungskarte 400 unter Verwendung der Tiefenkarte und insbesondere der Ortsinformationen in der Tiefenkarte. Speziell unterteilt die Fahrzeugsteuereinrichtung den das Fahrzeug 300 umgebenden Bereich in mehrere Gebiete und verwendet die Ortsinformationen in der Tiefenkarte, um zu bestimmen, ob jedes Gebiet von einem Objekt belegt ist (wie vorstehend beschrieben). In 2C sind schraffierte Gebiete der Belegungskarte belegt (und sind daher keine Durchfahrgebiete) und sind nicht schraffierte Gebiete unbelegt (und sind daher Durchfahrgebiete).
  • Wenngleich die Belegungskarte in 2C als zweidimensional dargestellt ist, ist die Belegungskarte gemäß anderen Ausführungsformen dreidimensional (beispielsweise hat jedes Gebiet eine von Null verschiedene Länge, Breite und Höhe). Die Belegungskarte kann auf der Grundlage verschiedener Faktoren in der Art der Genauigkeit, Rechenleistung, des Speichers und der gewünschten einen oder mehreren Funktionen, für welche die Fahrzeugsteuereinrichtung die Belegungskarte verwenden möchte, eine geeignete Anzahl von Gebieten mit einer geeigneten Form und einer geeigneten Größe aufweisen. Beispielsweise weisen die Gebiete gemäß einer Ausführungsform etwa 10 Quadratzentimeter auf.
  • 2. Autonomes Valet-Parken eines Fahrzeugs in einem Parkbereich unter Verwendung der Belegungskarte und einer Karte des Parkbereichs
  • Gemäß verschiedenen Ausführungsformen ist das autonome Valet-Parksystem dafür ausgelegt, ein autonomes Valet-Parken eines Fahrzeugs in einem Parkbereich unter Verwendung einer Karte des Parkbereichs in Zusammenhang mit der Belegungskarte auszuführen.
  • 3 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens 500 zum autonomen Valet-Parken eines Fahrzeugs unter Verwendung einer Belegungskarte und einer gespeicherten Parkbereichskarte unter Verwendung des autonomen Valet-Parksystems der vorliegenden Offenbarung. Gemäß verschiedenen Ausführungsformen ist der Prozess 500 durch einen Satz in einem oder mehreren Speichern gespeicherter Befehle, die durch einen oder mehrere Prozessoren ausgeführt werden (in der Art jener, die nachstehend in Zusammenhang mit 7 beschrieben werden), repräsentiert. Wenngleich der Prozess 500 mit Bezug auf das in 3 dargestellte Flussdiagramm beschrieben wird, können viele andere Prozesse zum Ausführen der Schritte in Zusammenhang mit dem dargestellten Prozess 500 verwendet werden. Beispielsweise kann die Reihenfolge bestimmter der dargestellten Blöcke und/oder Diamanten geändert werden, können bestimmte der dargestellten Blöcke und/oder Diamanten optional sein und/oder können bestimmte der dargestellten Blöcke und/oder Diamanten nicht verwendet werden.
  • Beim Betrieb gemäß dieser Ausführungsform empfängt das autonome Valet-Parksystem eine Autonomes-Valet-Park-Eingabe, wie durch Block 502 angegeben ist. Das autonome Valet-Parksystem kann das autonome Valet-Parksystem in einer geeigneten Weise, beispielsweise über eine Eingabe in einen Berührungsbildschirm des Fahrzeugs, empfangen. Um die Fahrzeugsteuereinrichtung in die Lage zu versetzen, die Parkbereichskarte zum Navigieren zu einer verfügbaren Parkstelle und zum Parken an dieser gemäß dieser Ausführungsform zu verwenden, bestimmt die Fahrzeugsteuereinrichtung zuerst den Ort des Fahrzeugs. Hier tut die Fahrzeugsteuereinrichtung dies durch Vergleichen durch die plenoptischen Kameras erhaltener Bilder mit der Parkbereichskarte, wie durch Block 504 angegeben ist. Insbesondere erhalten die plenoptischen Kameras gemäß dieser Ausführungsform kontinuierlich Bilder, erzeugen Tiefenkarten für die Bilder und senden diese Bilder und die entsprechenden Tiefenkarten zur Fahrzeugsteuereinrichtung. Die Fahrzeugsteuereinrichtung analysiert die Bilder, um Objekte zu identifizieren, die in den Bildern enthalten sind, wie Kantsteine, Zeichen, Fußgänger, andere Fahrzeuge, Bäume, Straßenbeleuchtungen, Häuser und dergleichen. Um den Ort des Fahrzeugs zu bestimmen, vergleicht das autonome Valet-Parksystem identifizierte Objekte mit den in der Parkbereichskarte enthaltenen Objekten (welche das autonome Valet-Parksystem gemäß dieser als Beispiel dienenden Ausführungsform in einem Speicher speichert), und verwendet dann eine Triangulationstechnik, um den Ort des Fahrzeugs zu bestimmen.
  • Das autonome Valet-Parksystem bestimmt auf der Grundlage des Orts des Fahrzeugs und der gespeicherten Parkbereichskarte, wohin das Fahrzeug zu navigieren ist, um eine verfügbare Parkstelle zu finden, wie durch Block 506 angegeben ist. Das autonome Valet-Parksystem steuert das Fahrzeug, um unter Verwendung der Belegungskarte zum bestimmten Ort im Parkbereich zu navigieren, wie durch Block 508 angegeben ist. Insbesondere steuert die Fahrzeugsteuereinrichtung das Fahrzeug, so dass es sich in unbelegten Durchfahrgebieten und nicht in belegten Gebieten bewegt. Während das autonome Valet-Parksystem das Fahrzeug zum bestimmten Ort navigiert, erhält das autonome Valet-Parksystem kontinuierlich Bilder unter Verwendung der plenoptischen Kameras, wie durch Block 510 angegeben ist. Die Fahrzeugsteuereinrichtung analysiert die erhaltenen Bilder, um festzustellen, ob sie eine verfügbare Parkstelle enthalten, wie durch einen Diamanten 512 angegeben ist. Beispielsweise analysiert die Fahrzeugsteuereinrichtung die erhaltenen Bilder, um festgelegte Objekte zu identifizieren, wie bestimmte Konfigurationen von Farbe auf dem Straßenbelag, welche eine verfügbare Parkstelle angeben. Falls das Bild eine verfügbare Parkstelle enthält, steuert das autonome Valet-Parksystem das Fahrzeug, um zur verfügbaren Parkstelle zu navigieren und dort zu parken, wie durch Block 514 angegeben ist. Falls das Bild keine verfügbare Parkstelle enthält, bestimmt die Fahrzeugsteuereinrichtung, ob das Fahrzeug den festgelegten Ort erreicht hat, wie durch einen Diamanten 516 angegeben ist. Falls das Fahrzeug den festgelegten Ort nicht erreicht hat, kehrt der Prozess 500 zu Block 510 zurück. Falls die Fahrzeugsteuereinrichtung andererseits am Diamanten 516 feststellt, dass das Fahrzeug den festgelegten Ort erreicht hat, kehrt der Prozess 500 zu Block 506 zurück.
  • Die 4A, 4B und 4C zeigen ein Fahrzeug, welches das autonome Valet-Parksystem gemäß der vorliegenden Offenbarung aufweist, wobei das autonome Valet-Parksystem verwendet wird, um ein autonomes Valet-Parken des Fahrzeugs in einem Parkbereich unter Verwendung des Prozesses 500 auszuführen. 4A zeigt das Fahrzeug 200 mit der nach vorne weisenden plenoptischen Kamera 300. Hier hat das autonome Valet-Parksystem des Fahrzeugs 200 bereits eine Belegungskarte 400 erzeugt und eine Autonomes-Valet-Park-Eingabe vom Fahrer empfangen. Das autonome Valet-Parksystem analysiert die von der plenoptischen Kamera 300 erhaltenen Bilder und identifiziert Gebäude 602, Straßenbeleuchtungen 604 und 606 und Parkstellen 608a bis 608j. Das autonome Valet-Parksystem vergleicht diese identifizierten Objekte mit den in der Parkbereichskarte enthaltenen Objekten und bestimmt den Fahrzeugort.
  • Das autonome Valet-Parksystem bestimmt auf der Grundlage des Fahrzeugorts und der gespeicherten Parkbereichskarte, dass nach links abzubiegen ist und damit zu beginnen ist, nach verfügbaren Parkstellen zu suchen. 4B zeigt das Fahrzeug 200, nachdem es nach links abgebogen ist. Während das autonome Valet-Parksystem das Fahrzeug navigiert, erhält die plenoptische Kamera 300 kontinuierlich Bilder und sendet sie zur Fahrzeugsteuereinrichtung, welche diese Bilder kontinuierlich analysiert, um zu versuchen, eine verfügbare Parkstelle zu identifizieren. Hier identifiziert die Fahrzeugsteuereinrichtung eine verfügbare Parkstelle 608f und steuert, wie in 4C dargestellt ist, das Fahrzeug 200, um in der Parkstelle 608f zu parken.
  • Gemäß bestimmten Ausführungsformen speichert das autonome Valet-Parksystem die Karte des Parkbereichs in einem Speicher (nachstehend beschrieben). Gemäß anderen Ausführungsformen kann das autonome Valet-Parksystem von einem fernen Ort in der Art eines Servers über eine drahtlose (oder drahtgestützte) Verbindung auf die Parkbereichskarte zugreifen und/oder sie herunterladen.
  • 3. Autonomes Valet-Parken eines Fahrzeugs in einem Parkbereich unter Verwendung der Belegungskarte und ohne sich auf den Fahrzeugort zu verlassen
  • Gemäß verschiedenen Ausführungsformen ist das autonome Valet-Parksystem dafür ausgelegt, ein autonomes Valet-Parken eines Fahrzeugs in einem Parkbereich unter Verwendung der Belegungskarte und ohne sich auf den Fahrzeugort zu verlassen, auszuführen.
  • 5 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens 700 zum autonomen Valet-Parken eines Fahrzeugs unter Verwendung einer Belegungskarte unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung. Gemäß verschiedenen Ausführungsformen ist der Prozess 700 durch einen Satz in einem oder mehreren Speichern gespeicherter Befehle, die durch einen oder mehrere Prozessoren ausgeführt werden (in der Art jener, die nachstehend in Zusammenhang mit 7 beschrieben werden), repräsentiert. Wenngleich der Prozess 700 mit Bezug auf das in 5 dargestellte Flussdiagramm beschrieben wird, können viele andere Prozesse zum Ausführen der Schritte in Zusammenhang mit dem dargestellten Prozess 700 verwendet werden. Beispielsweise kann die Reihenfolge bestimmter der dargestellten Blöcke und/oder Diamanten geändert werden, können bestimmte der dargestellten Blöcke und/oder Diamanten optional sein und/oder können bestimmte der dargestellten Blöcke und/oder Diamanten nicht verwendet werden.
  • Beim Betrieb gemäß dieser Ausführungsform empfängt das autonome Valet-Parksystem eine Autonomes-Valet-Park-Eingabe, wie durch Block 702 angegeben ist. Gemäß dieser Ausführungsform erhalten die plenoptischen Kameras kontinuierlich Bilder und senden diese Bilder zur Fahrzeugsteuereinrichtung. Die Fahrzeugsteuereinrichtung analysiert diese erhaltenen Bilder, um jegliche in den Bildern enthaltene Objekte zu identifizieren, wie Kantsteine, Zeichen, Fußgänger, andere Fahrzeuge, Bäume, Straßenbeleuchtungen, Häuser, Farbe auf dem Straßenbelag und dergleichen. Die Fahrzeugsteuereinrichtung analysiert die erhaltenen Bilder, um zu versuchen, eine verfügbare Parkstelle zu identifizieren, wie durch Block 704 angegeben ist, und sie bestimmt, ob eine Parkstelle verfügbar ist, wie durch einen Diamanten 706 angegeben ist. Falls keine Parkstelle verfügbar ist, steuert die Fahrzeugsteuereinrichtung das Fahrzeug, um unter Verwendung der Belegungskarte zu einem anderen Ort im Parkbereich zu navigieren, wie durch Block 710 angegeben ist, und der Prozess 700 kehrt zu Block 704 zurück. Falls die Fahrzeugsteuereinrichtung andererseits am Diamanten 706 bestimmt, dass eine Parkstelle verfügbar ist, steuert die Fahrzeugsteuereinrichtung das Fahrzeug, um zur verfügbaren Parkstelle zu navigieren und dort zu parken, wie durch Block 708 angegeben ist.
  • Beispielsweise weist gemäß einer Ausführungsform ein Parkbereich (in der Art eines Parkplatzes, einer Parkgarage oder einer anderen Struktur) mehrere Markierungen auf, welche die Fahrzeugsteuereinrichtung erkennen und verwenden kann, um das Fahrzeug zu einer Parkstelle oder einer Anzahl mehrerer Parkstellen (beispielsweise einem bestimmten Stockwerk einer Parkgarage) zu lenken. Beispielsweise kann der Parkbereich Aufkleber, Farbe oder bestimmte Strukturen aufweisen, welche die Fahrzeugsteuereinrichtung identifizieren kann und welche für das Fahrzeug einen ”Brotkrumenpfad” bereitstellen, dem zu Parkstellen zu folgen ist.
  • 4. Autonomes Valet-Parken eines Fahrzeugs an einer festgelegten Parkstelle
  • Gemäß verschiedenen Ausführungsformen ist das autonome Valet-Parksystem dafür ausgelegt, ein autonomes Valet-Parken eines Fahrzeugs an einer festgelegten Parkstelle in der Art einer zugewiesenen Parkstelle in einer Parkgarage eines Wohnungskomplexes oder am Parkplatz des Arbeitgebers des Fahrers auszuführen.
  • 6 ist ein Flussdiagramm eines als Beispiel dienenden Prozesses oder Verfahrens 800 zum autonomen Valet-Parken eines Fahrzeugs an einer bestimmten Parkstelle unter Verwendung des autonomen Valet-Parksystems gemäß der vorliegenden Offenbarung. Gemäß verschiedenen Ausführungsformen ist der Prozess 800 durch einen Satz in einem oder mehreren Speichern gespeicherter Befehle, die durch einen oder mehrere Prozessoren ausgeführt werden (in der Art jener, die nachstehend in Zusammenhang mit 7 beschrieben werden), repräsentiert. Wenngleich der Prozess 800 mit Bezug auf das in 6 dargestellte Flussdiagramm beschrieben wird, können viele andere Prozesse zum Ausführen der Schritte in Zusammenhang mit dem dargestellten Prozess 800 verwendet werden. Beispielsweise kann die Reihenfolge bestimmter der dargestellten Blöcke und/oder Diamanten geändert werden, können bestimmte der dargestellten Blöcke und/oder Diamanten optional sein und/oder können bestimmte der dargestellten Blöcke und/oder Diamanten nicht verwendet werden.
  • Beim Betrieb gemäß dieser Ausführungsform empfängt das autonome Valet-Parksystem eine Autonomes-Valet-Park-Eingabe, wie durch Block 802 angegeben ist. Das autonome Valet-Parksystem bestimmt den Fahrzeugort auf eine geeignete Weise, beispielsweise über ein globales Positionsbestimmungssystem (GPS) oder durch Vergleichen identifizierter Objekte in erhaltenen Bildern mit einer Karte des Parkbereichs, worin sich die festgelegte Parkstelle befindet. Die Fahrzeugsteuereinrichtung steuert das Fahrzeug, um zum Ort einer festgelegten Parkstelle zu navigieren, wie durch Block 806 angegeben ist. Der Ort der festgelegten Parkstelle kann in einem Speicher des autonomen Valet-Parksystems gespeichert werden oder auf andere Weise durch das automatische Valet-Parksystem zugänglich sein. Nach der Ankunft analysiert das autonome Valet-Parksystem erhaltene Bilder der jeweiligen Parkstelle, um festzustellen, ob die jeweilige Parkstelle verfügbar ist, wie durch einen Diamanten 808 angegeben ist. Falls das autonome Valet-Parksystem feststellt, dass die bestimmte Parkstelle verfügbar ist, steuert die Fahrzeugsteuereinrichtung das Fahrzeug, um an der bestimmten Parkstelle zu parken, wie durch Block 810 angegeben ist. Falls das autonome Valet-Parksystem andererseits an Diamant 806 feststellt, dass die bestimmte Parkstelle nicht verfügbar ist (beispielsweise parkt dort ein anderes Fahrzeug, oder ein Müllbehälter ist im Weg), erzeugt das autonome Valet-Parksystem eine Fehlermeldung und sendet sie zum Fahrer, beispielsweise zum Mobiltelefon des Fahrers.
  • 5. Variationen
  • Gemäß bestimmten Ausführungsformen arbeiten die plenoptischen Kameras im infraroten Spektrum, während die plenoptischen Kameras gemäß anderen Ausführungsformen im sichtbaren Lichtspektrum arbeiten. Gemäß verschiedenen Ausführungsformen weisen die plenoptischen Kameras eine Lichtquelle auf, um genügend Licht bereitzustellen, um es den plenoptischen Kameras zu ermöglichen, verwendbare Bilder zu erhalten (wenn das Umgebungslicht unakzeptierbar schwach ist).
  • Gemäß bestimmten Ausführungsformen ist die Fahrzeugsteuereinrichtung dafür ausgelegt, den Fahrzeugort entweder unter Verwendung von GPS oder durch Vergleichen von Objekten in erhaltenen Bildern mit einer Karte eines Parkbereichs zu bestimmen. Gemäß einer solchen Ausführungsform verwendet die Fahrzeugsteuereinrichtung standardmäßig GPS, um den Fahrzeugort zu bestimmen, und schaltet zum Objektvergleichsverfahren, wenn GPS nicht verfügbar ist (beispielsweise wenn sich das Fahrzeug in einer unterirdischen Parkgarage befindet).
  • Gemäß bestimmten Ausführungsformen weist ein Parkbereichs-Host einem Fahrzeug eine Parkstelle zu, wenn das Fahrzeug am Parkbereich ankommt. Gemäß dieser Ausführungsform ist das autonome Valet-Parksystem dafür ausgelegt, das Fahrzeug unter Verwendung eines Prozesses ähnlich dem vorstehend mit Bezug auf 6 beschriebenen zur zugewiesenen Parkstelle zu navigieren und dort zu parken. Beispielsweise richtet das autonome Valet-Parksystem gemäß einer als Beispiel dienenden Ausführungsform, wenn das Fahrzeug an einem Parkbereich ankommt, eine Kommunikation mit einem Server ein, der vom Parkbereich betrieben wird, und empfängt vom Server eine zugewiesene Parkstelle. Gemäß einer anderen als Beispiel dienenden Ausführungsform empfängt der Fahrer, wenn ein Fahrzeug an einem Parkbereich ankommt, ein Ticket, das eine zugewiesene Parkstelle enthält. Gemäß dieser Ausführungsform empfängt das autonome Valet-Parksystem eine Angabe dieser zugewiesenen Parkstelle vom Fahrer, beispielsweise über einen Berührungsbildschirm.
  • Gemäß verschiedenen Ausführungsformen ist das autonome Valet-Parksystem dafür ausgelegt, Karten des Parkbereichs in Echtzeit unter Verwendung einer gleichzeitigen Lokalisierung und Kartographierung zu erzeugen. Insbesondere kartographiert das autonome Valet-Parksystem, während das Fahrzeug durch einen Parkbereich navigiert und die erhaltenen Bilder auf verfügbare Parkstellen analysiert, auch den Parkbereich durch Festhalten der Orte verschiedener Objekte in der Art von Kantsteinen, Gebäuden, Straßenzeichen, Straßenmarkierungen und dergleichen. Dies ermöglicht es dem autonomen Valet-Parksystem, den Ort des Fahrzeugs und den Ort verfügbarer Parkstellen beim nächsten Mal, wenn das Fahrzeug diesen Parkbereich besucht, schneller zu bestimmen.
  • Gemäß bestimmten Ausführungsformen ist das autonome Valet-Parksystem dafür ausgelegt, die Verfügbarkeit von Parkstellen (beispielsweise wo sich Parkstellen befinden und ob diese Parkstellen verfügbar sind) mitzuteilen (beispielsweise durch Fahrzeug-zu-Fahrzeug-Kommunikation oder Fahrzeug-zu-Server-Kommunikation), um es anderen Fahrzeugen zu erleichtern, eine Parkstelle zu finden. Gemäß bestimmten Ausführungsformen kann der Empfang von Parkstellenverfügbarkeitsinformationen vom Empfang einer Gebühr von einem Fahrer abhängen. Das heißt, dass gemäß diesen Ausführungsformen der Fahrer zahlen muss, um Parkstellenverfügbarkeitsinformationen zu empfangen.
  • Gemäß bestimmten Ausführungsformen ermöglicht das autonome Valet-Parksystem dem Fahrer, eine oder mehrere Parkstellenpräferenzen einzugeben, und verwendet diese Parkstellenpräferenzen, um zumindest teilweise die Parkstelle zu bestimmen, in der das Fahrzeug zu parken ist. Beispielsweise kann das autonome Valet-Parksystem Präferenzen für eine Parkstelle im Schatten, eine Parkstelle, die keine Pfütze enthält, und eine Parkstelle, die sich nicht in der Nähe eines großen Lastwagens befindet, empfangen. Das autonome Valet-Parksystem verwendet eine Sensorrückkopplung zur Identifikation einer Parkstelle, welche diese Bedingungen erfüllt.
  • Verschiedene Ausführungsformen des autonomen Valet-Parksystems enthalten oder verwenden einen oder mehrere andere Sensoren und/oder Kameras zusätzlich zu plenoptischen Kameras, um die Belegungskarte zu bestimmen, das Fahrzeug zu navigieren und/oder verfügbare Parkstellen zu identifizieren.
  • Die plenoptischen Kameras können jegliche geeignete plenoptische Kameras in der Art jener, die von Pelican Imaging verfügbar sind, sein.
  • 6. Komponenten des autonomen Valet-Parksystems
  • 7 zeigt eine als Beispiel dienende Ausführungsform des autonomen Valet-Parksystems 900. Andere Ausführungsformen des autonomen Valet-Parksystems können andere, weniger oder zusätzliche Komponenten als die nachstehend beschriebenen und in 7 dargestellten aufweisen.
  • Das autonome Valet-Parksystem 900 weist eine Steuereinrichtung 902 auf, die aus wenigstens einem Prozessor 904 in Kommunikation mit einem Hauptspeicher 906 besteht, der einen Satz von Befehlen 908 speichert. Der Prozessor 904 ist dafür ausgelegt, mit dem Hauptspeicher 906 zu kommunizieren, auf den Satz von Befehlen 908 zuzugreifen und den Satz von Befehlen 908 auszuführen, um das autonome Valet-Parksystem 900 zu veranlassen, irgendwelche der hier beschriebenen Verfahren, Prozesse und Merkmale auszuführen.
  • Der Prozessor 904 kann eine geeignete Verarbeitungsvorrichtung oder ein Satz von Verarbeitungsvorrichtungen sein, wie ein Mikroprozessor, eine auf einer Mikrosteuereinrichtung beruhende Plattform, eine geeignete integrierte Schaltung oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASIC), die dafür ausgelegt sind, den Satz von Befehlen 908 auszuführen, jedoch ohne Einschränkung auf diese. Der Hauptspeicher 906 kann eine beliebige geeignete Speichervorrichtung in der Art eines flüchtigen Speichers (beispielsweise RAM, der einen nicht flüchtigen RAM, einen magnetischen RAM, einen ferroelektrischen RAM oder andere geeignete Formen einschließen kann), eines nicht flüchtigen Speichers (beispielsweise eines Plattenspeichers, eines FLASH-Speichers, eines EPROM, eines EEPROM, eines Memristorbasierten nicht flüchtigen Halbleiterspeichers usw.), eines nicht änderbaren Speichers (beispielsweise EPROM) und/oder eines Nurlesespeichers sein, jedoch ohne Einschränkung darauf.
  • Das autonome Valet-Parksystem 900 weist eine oder mehrere plenoptische Kameras 910 (vorstehend beschrieben) in Kommunikation mit der Steuereinrichtung 902 auf.
  • Das autonome Valet-Parksystem 900 weist eine Kommunikationsschnittstelle 912 auf. Die Kommunikationsschnittstelle 912 besteht aus einer verdrahteten und/oder drahtlosen Netzschnittstelle zum Ermöglichen einer Kommunikation mit einem externen Netz 990. Das externe Netz 990 kann eine Sammlung eines oder mehrerer Netze, einschließlich standardbasierter Netze (beispielsweise 2G, 3G, 4G, eines auf universellen mobilen Telekommunikationen (UMTS) beruhenden autonomen Valet-Parksystems, GSM (R) Association, Long Term Evolution (LTE) (TM) oder mehr), WiMAX, Bluetooth, Nahfeldkommunikation (NFC), WiFi (einschließlich 802.11 a/b/g/n/ac oder anderer), WiGig, eines auf dem globalen Positionsbestimmungssystem (GPS) beruhenden autonomen Valet-Parksystems, und anderer, die zur Zeit der Einreichung dieser Anmeldung verfügbar sind oder die in der Zukunft entwickelt werden können, sein. Ferner können das eine oder die mehreren externen Netze ein öffentliches Netz in der Art des Internets, ein privates Netz in der Art eines Intranets oder eine Kombination davon sein und eine Vielzahl von Netzprotokollen verwenden, die nun verfügbar sind oder später entwickelt werden, einschließlich TCP/IP-basierter Netzprotokolle, jedoch ohne Einschränkung darauf.
  • Gemäß einigen Ausführungsformen kann der Satz von Befehlen 908, die am Hauptspeicher 906 gespeichert sind und ausführbar sind, um die Funktionalität des autonomen Valet-Parksystems 900 zu ermöglichen, von einem fernen Server über das externe Netz 990 heruntergeladen werden. Ferner kann das autonome Valet-Parksystem 900 gemäß einigen Ausführungsformen über das externe Netz 990 mit einem zentralen Befehlsserver kommunizieren. Beispielsweise kann das autonome Valet-Parksystem 900 von der einen oder den mehreren plenoptischen Kameras 910 des autonomen Valet-Parksystems 900 erhaltene Bildinformationen zum zentralen Befehlsserver übertragen, indem es die Kommunikationsschnittstelle 912 steuert, um die Bilder über das externe Netz 990 zum zentralen Befehlsserver zu übertragen. Das autonome Valet-Parksystem 900 kann auch jegliche erzeugte Datenkarten zum zentralen Befehlsserver übermitteln.
  • Das autonome Valet-Parksystem 900 ist dafür ausgelegt, mit mehreren Fahrzeugkomponenten und Fahrzeugsystemen (beispielsweise über einen oder mehrere Kommunikationsbusse (nicht dargestellt)) zu kommunizieren, einschließlich einer oder mehrerer Eingabevorrichtungen 914, einer oder mehrerer Ausgabevorrichtungen 916, eines Plattenlaufwerks 922, eines autonomen Navigations-Valet-Parksystems 928, einschließlich eines GPS-Empfängers, das dafür ausgelegt ist, sich mit einem GPS zu verbinden, um ortsbasierte Informationen und Anleitungen bereitzustellen (wie auf dem Fachgebiet bekannt ist), und eines Fahrzeugsteuersystems 930, das verwendbar ist, um den Betrieb des Fahrzeugs zu steuern, beispielsweise durch Steuern des Gaspedals, der Bremsen usw.
  • Die Eingabevorrichtungen 914 können beliebige geeignete Eingabevorrichtungen einschließen, welche es einem Fahrer oder einem Fahrgast des Fahrzeugs ermöglichen, Modifikationen oder Aktualisierungen von Informationen einzugeben, auf die sich das autonome Valet-Parksystem 900 bezieht, wie hier beschrieben. Die Eingabevorrichtungen 914 können beispielsweise einen Steuerknopf, ein Instrumentenpult, eine Tastatur, einen Scanner, eine Digitalkamera zur Bilderfassung und/oder einer visuellen Befehlserkennung, einen Berührungsbildschirm, eine Audioeingabevorrichtung (beispielsweise ein Fahrgastraummikrofon), Tasten, eine Maus oder ein Berührungsfeld einschließen.
  • Die Ausgabevorrichtungen 916 können Instrumentenclusterausgaben (beispielsweise Ziffernblätter, Beleuchtungsvorrichtungen), Betätigungselemente, eine Anzeige 920 (beispielsweise eine Flüssigkristallanzeige (”LCD”), eine organische Leuchtdiode (”OLED”), eine Flachbildanzeige, eine Halbleiteranzeige, eine Kathodenstrahlröhre (”CRT”) oder ein Heads-up-Display) und Lautsprecher 918 einschließen.
  • Das Plattenlaufwerk 922 ist dafür ausgelegt, ein computerlesbares Medium 924 zu empfangen. Gemäß bestimmten Ausführungsformen empfängt das Plattenlaufwerk 922 das computerlesbare Medium 924, worauf ein oder mehrere Sätze von Befehlen 926 in der Art der Software zum Betreiben des autonomen Valet-Parksystems 900 eingebettet sein können. Ferner können die Befehle 926 eines oder mehrere der Verfahren oder Logik verkörpern, wie hier beschrieben. Gemäß einer bestimmten Ausführungsform können die Befehle 926 ganz oder zumindest teilweise innerhalb eines oder mehrerer vom Hauptspeicher 906, vom computerlesbaren Medium 924 und/oder innerhalb des Prozessors 904 während der Ausführung der Befehle durch den Prozessor 904 liegen.
  • Wenngleich das computerlesbare Medium als ein einziges Medium dargestellt ist, umfasst der Begriff ”computerlesbares Medium” ein einziges Medium oder mehrere Medien in der Art einer zentralisierten oder verteilten Datenbank und/oder zugeordneter Cache-Speicher und Server, die einen oder mehrere Befehlssätze speichern. Der Begriff ”computerlesbares Medium” soll auch jedes gegenständliche Medium einschließen, das in der Lage ist, einen Satz von Befehlen zur Ausführung durch einen Prozessor oder welche ein Computer-autonomes Valet-Parksystem veranlassen, eines oder mehrere der hier offenbarten Verfahren oder Operationen auszuführen, zu speichern, zu codieren oder zu tragen.
  • Alle Prozessbeschreibungen oder Blöcke in den Figuren sollten als Module, Segmente oder Codeabschnitte verstanden werden, welche einen oder mehrere ausführbare Befehle zur Implementation spezifischer logischer Funktionen oder Schritte im Prozess aufweisen, und alternative Implementationen sind im Schutzumfang der hier beschriebenen Ausführungsformen enthalten, wobei Funktionen außerhalb der dargestellten oder erörterten Reihenfolge ausgeführt werden können, einschließlich im Wesentlichen gleichzeitig oder in entgegengesetzter Reihenfolge, abhängig von der betreffenden Funktionalität, wie Durchschnittsfachleute verstehen werden.
  • Die vorstehend beschriebenen Ausführungsformen und insbesondere alle ”bevorzugten” Ausführungsformen sind mögliche Beispiele von Implementationen und sind lediglich für ein klares Verständnis der Grundgedanken der Erfindung dargelegt. Viele Variationen und Modifikationen können an der oder den vorstehend beschriebenen Ausführungsformen vorgenommen werden, ohne erheblich vom Gedanken und den Prinzipien der hier beschriebenen Techniken abzuweichen. Alle Modifikationen sollen hier in den Schutzumfang dieser Offenbarung aufgenommen sein und durch die folgenden Ansprüche geschützt sein.

Claims (20)

  1. Autonomes Parksystem, welches Folgendes umfasst: eine plenoptische Kamera, welche dafür ausgelegt ist, Folgendes auszuführen: Erhalten eines Bilds außerhalb eines Fahrzeugs und für das Bild, Erzeugen einer Tiefenkarte, die Ortsinformationen für ein Objekt im Bild enthält, und eine Steuereinrichtung, welche dafür ausgelegt ist, Folgendes auszuführen: Erzeugen einer Belegungskarte, die angibt, ob jedes von mehreren das Fahrzeug umgebenden Gebieten belegt ist, unter Verwendung der Tiefenkarte, und Steuern des Fahrzeugs, um es zu einer gewünschten Parkstelle zu navigieren, unter Verwendung der Belegungskarte.
  2. System nach Anspruch 1, wobei die Steuereinrichtung dafür ausgelegt ist, die gewünschte Parkstelle zu identifizieren, indem sie das Bild analysiert, um zu bestimmen, ob das Bild eine verfügbare Parkstelle enthält.
  3. System nach Anspruch 2, wobei die Steuereinrichtung dafür ausgelegt ist, die verfügbare Parkstelle als die gewünschte Parkstelle festzulegen.
  4. System nach einem der Ansprüche 1 bis 3, wobei die gewünschte Parkstelle eine festgelegte Parkstelle mit einem in einem Speicher der Steuereinrichtung gespeicherten Ort ist.
  5. System nach einem der Ansprüche 1 bis 4, wobei die Ortsinformationen den Abstand von einem Punkt auf einer Fläche des Objekts zur plenoptischen Kamera einschließen.
  6. System nach einem der Ansprüche 1 bis 5, wobei die Steuereinrichtung dafür ausgelegt ist, die Belegungskarte durch Unterteilen eines das Fahrzeug umgebenden Bereichs in die mehreren Gebiete zu erzeugen.
  7. System nach einem der Ansprüche 1 bis 6, wobei die Steuereinrichtung dafür ausgelegt ist, einen Ort des Fahrzeugs in einem Parkbereich durch Vergleichen von Objekten im Bild mit mehreren in einer Parkbereichskarte eines Parkbereichs enthaltenen Objekten zu bestimmen.
  8. System nach Anspruch 7, wobei die Steuereinrichtung dafür ausgelegt ist, unter Verwendung der Belegungskarte, des Orts des Fahrzeugs und der Parkbereichskarte das Fahrzeug zu einem Ort innerhalb des Parkbereichs zu navigieren, wo sich Parkstellen befinden.
  9. System nach Anspruch 8, wobei die Steuereinrichtung dafür ausgelegt ist, die gewünschte Parkstelle zu identifizieren, indem sie das Bild analysiert, um zu bestimmen, ob das Bild eine verfügbare Parkstelle enthält.
  10. System nach Anspruch 9, wobei die Steuereinrichtung dafür ausgelegt ist, die verfügbare Parkstelle als die gewünschte Parkstelle festzulegen.
  11. Verfahren zum autonomen Parken, welches Folgendes umfasst: Erhalten eines Bilds außerhalb eines Fahrzeugs durch eine plenoptische Kamera, Erzeugen einer Tiefenkarte, die Ortsinformationen für ein Objekt im Bild enthält, durch die plenoptische Kamera, Erzeugen einer Belegungskarte, die angibt, ob jedes von mehreren das Fahrzeug umgebenden Gebieten belegt ist, durch eine Steuereinrichtung unter Verwendung der Tiefenkarte und Steuern des Fahrzeugs, um es zu einer gewünschten Parkstelle zu navigieren, durch die Steuereinrichtung unter Verwendung der Belegungskarte.
  12. Verfahren nach Anspruch 11, wobei die gewünschte Parkstelle durch Analysieren des Bilds durch die Steuereinrichtung, um zu bestimmen, ob das Bild eine verfügbare Parkstelle enthält, identifiziert wird.
  13. Verfahren nach Anspruch 12, wobei die verfügbare Parkstelle durch die Steuereinrichtung als die gewünschte Parkstelle festgelegt wird.
  14. Verfahren nach einem der Ansprüche 11 bis 13, wobei die gewünschte Parkstelle eine festgelegte Parkstelle mit einem in einem Speicher der Steuereinrichtung gespeicherten Ort ist.
  15. Verfahren nach einem der Ansprüche 11 bis 14, wobei die Ortsinformationen den Abstand von einem Punkt auf einer Fläche des Objekts zur plenoptischen Kamera einschließen.
  16. Verfahren nach einem der Ansprüche 11 bis 15, wobei beim Erzeugen der Belegungskarte ein das Fahrzeug umgebender Bereich durch die Steuereinrichtung in die mehreren Gebiete unterteilt wird.
  17. Verfahren nach einem der Ansprüche 11 bis 16, wobei durch die Steuereinrichtung ein Ort des Fahrzeugs in einem Parkbereich durch Vergleichen von Objekten im Bild mit mehreren in einer Parkbereichskarte eines Parkbereichs enthaltenen Objekten bestimmt wird.
  18. Verfahren nach Anspruch 17, wobei durch die Steuereinrichtung und unter Verwendung der Belegungskarte, des Orts des Fahrzeugs und der Parkbereichskarte das Fahrzeug zu einem Ort innerhalb des Parkbereichs navigiert wird, an dem sich Parkstellen befinden.
  19. Verfahren nach Anspruch 18, wobei durch die Steuereinrichtung die gewünschte Parkstelle durch Analysieren des Bilds, um zu bestimmen, ob das Bild eine verfügbare Parkstelle enthält, identifiziert wird.
  20. Verfahren nach Anspruch 19, wobei durch die Steuereinrichtung die verfügbare Parkstelle als die gewünschte Parkstelle festgelegt wird.
DE102016115541.1A 2015-08-24 2016-08-22 System und verfahren zum autonomen valet-parken unter verwendung plenoptischer kameras Withdrawn DE102016115541A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/834,203 US9557741B1 (en) 2015-08-24 2015-08-24 System and method for autonomous valet parking using plenoptic cameras
US14/834,203 2015-08-24

Publications (1)

Publication Number Publication Date
DE102016115541A1 true DE102016115541A1 (de) 2017-03-02

Family

ID=57867601

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016115541.1A Withdrawn DE102016115541A1 (de) 2015-08-24 2016-08-22 System und verfahren zum autonomen valet-parken unter verwendung plenoptischer kameras

Country Status (5)

Country Link
US (3) US9557741B1 (de)
CN (1) CN106485198B (de)
DE (1) DE102016115541A1 (de)
MX (1) MX2016010747A (de)
RU (1) RU2016134255A (de)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
JP6354542B2 (ja) 2014-11-26 2018-07-11 株式会社デンソー 車両自動運転システム
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras
US10227017B2 (en) 2015-11-30 2019-03-12 Faraday & Future Inc. Camera-based vehicle position determination with known target
DE102016200794A1 (de) * 2016-01-21 2017-07-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Lokalisieren eines Kraftfahrzeugs
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10503168B1 (en) 2016-01-22 2019-12-10 State Farm Mutual Automotive Insurance Company Autonomous vehicle retrieval
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
CA3018604C (en) 2016-04-12 2023-11-07 Quidient, Llc Quotidian scene reconstruction engine
DE112016006740B4 (de) * 2016-04-15 2019-09-12 Mitsubishi Electric Corporation Parkassistenzvorrichtung
CN107444264A (zh) * 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
US10025317B2 (en) * 2016-09-30 2018-07-17 Faraday&Future Inc. Methods and systems for camera-based autonomous parking
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
US10692252B2 (en) * 2017-02-09 2020-06-23 GM Global Technology Operations LLC Integrated interface for situation awareness information alert, advise, and inform
KR102340356B1 (ko) * 2017-04-25 2021-12-16 주식회사 만도모빌리티솔루션즈 자동주차제어장치 및 자동주차제어방법
JP6809364B2 (ja) * 2017-05-09 2021-01-06 株式会社デンソー 自動バレー駐車システム、自動バレー車両、及び自動バレー駐車方法
US10852153B2 (en) 2017-05-12 2020-12-01 Lg Electronics Inc. Autonomous vehicle and method of controlling the same
KR102120108B1 (ko) * 2017-05-12 2020-06-09 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
US9970615B1 (en) * 2017-05-23 2018-05-15 Ford Global Technologies, Llc Light-based vehicle-device communications
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
CN109033951B (zh) 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的***及方法
US10593212B2 (en) * 2017-06-12 2020-03-17 GM Global Technology Operations LLC Autonomous parking methods and systems for autonomous vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
DE102017212533A1 (de) * 2017-07-21 2019-01-24 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bereitstellen einer Zustandsinformation eines automatischen Valet Parking Systems
US10706297B2 (en) 2017-09-20 2020-07-07 International Business Machines Corporation Management of parking spaces
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
JP6825537B2 (ja) * 2017-10-23 2021-02-03 トヨタ自動車株式会社 送迎システム
KR102061516B1 (ko) * 2017-10-27 2020-01-02 주식회사 만도 주차 지원 장치 및 방법
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
GB2568306A (en) * 2017-11-14 2019-05-15 Continental Automotive Gmbh Method and system for finding vehicle in parking facility
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
CN108121345A (zh) * 2017-12-20 2018-06-05 东风汽车集团有限公司 一种适用于停车场的车位寻址***及方法
CN108269421B (zh) * 2017-12-29 2020-11-06 东南大学 基于视频感知的路内停车泊位实时检测方法、装置及***
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
CN108288386A (zh) * 2018-01-29 2018-07-17 深圳信路通智能技术有限公司 基于视频的路内停车跟踪方法
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
GB201802475D0 (en) * 2018-02-15 2018-04-04 Jaguar Land Rover Ltd Controller and vehicle
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车***及方法
DE102018204993A1 (de) 2018-04-04 2019-10-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auffinden eines Fahrzeug-Unterstellplatzes zum Schutz vor einem erwarteten Unwetter
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
JP7399879B2 (ja) 2018-05-02 2023-12-18 クイッディエント・エルエルシー ほとんど無制限のディテールを有するシーンを処理するためのコーデック
JPWO2020022075A1 (ja) * 2018-07-26 2021-06-03 日立Astemo株式会社 車両制御装置及びそれを用いた自動運転システム
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
JP7216507B2 (ja) * 2018-09-14 2023-02-01 パナソニックホールディングス株式会社 歩行者装置、移動体誘導システムおよび移動体誘導方法
US11105639B2 (en) * 2018-09-18 2021-08-31 Faraday&Future Inc. Map refinement using feature extraction from images
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
CN109263512A (zh) * 2018-09-28 2019-01-25 上汽通用五菱汽车股份有限公司 电动汽车的停车方法、装置和存储介质
CN109495845A (zh) * 2018-09-29 2019-03-19 百度在线网络技术(北京)有限公司 场景切换方法和设备
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
KR20200046160A (ko) * 2018-10-16 2020-05-07 현대자동차주식회사 자율 주차 장치 및 방법
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
JP2022028093A (ja) * 2018-12-20 2022-02-15 ソニーグループ株式会社 車両制御装置、車両制御方法、情報処理装置、情報処理方法、及び、プログラム
KR102651412B1 (ko) * 2018-12-31 2024-03-27 현대자동차주식회사 자율 발렛 주차를 지원하는 시스템 및 방법, 그리고 이를 위한 인프라 및 차량
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
CN111739332B (zh) * 2019-03-25 2022-09-23 大陆泰密克汽车***(上海)有限公司 一种停车场管理***
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
JP2020187624A (ja) * 2019-05-16 2020-11-19 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11294385B2 (en) * 2019-06-28 2022-04-05 Robert Bosch Gmbh System and method for generating a representation of an environment
US10940793B1 (en) 2019-09-05 2021-03-09 Ford Global Technologies, Llc Ingress and egress for autonomous vehicle
WO2021048891A1 (ja) * 2019-09-09 2021-03-18 三菱電機株式会社 移動体および移動体制御方法
CN110660267A (zh) * 2019-09-18 2020-01-07 恒大智慧科技有限公司 停车管理方法、停车管理***及存储介质
CN110740294A (zh) * 2019-09-18 2020-01-31 恒大智慧科技有限公司 车辆智能入库方法、车辆及存储介质
CN110562249B (zh) * 2019-09-26 2021-06-04 上汽通用汽车有限公司 自动泊车辅助方法、可读存储介质和电子设备
WO2021099761A1 (en) * 2019-11-21 2021-05-27 Bae Systems Plc Imaging apparatus
EP3826283A1 (de) * 2019-11-21 2021-05-26 BAE SYSTEMS plc Bildgebungsvorrichtung
CN110696822A (zh) * 2019-11-25 2020-01-17 安徽江淮汽车集团股份有限公司 自动泊车控制方法、装置、设备及存储介质
US11164457B2 (en) * 2020-02-25 2021-11-02 Ford Global Technologies, Llc Vehicle control system
JP7238838B2 (ja) * 2020-03-30 2023-03-14 トヨタ自動車株式会社 自動運転システム
JP7243669B2 (ja) * 2020-03-30 2023-03-22 トヨタ自動車株式会社 自動運転システム
CN111754806A (zh) * 2020-05-09 2020-10-09 深圳市天鼎微波科技有限公司 基于雷达监测的车位管理方法、装置及***
US11560143B2 (en) 2020-05-26 2023-01-24 Magna Electronics Inc. Vehicular autonomous parking system using short range communication protocols
JP7505927B2 (ja) * 2020-06-18 2024-06-25 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、及び制御方法
US11827244B2 (en) * 2020-12-04 2023-11-28 Ford Global Technologies, Llc Enhanced vehicle operation
US11769409B2 (en) * 2020-12-15 2023-09-26 Charter Communications Operating, Llc Automated parking lot digital map generation and use thereof
CN112677960B (zh) * 2020-12-28 2023-01-13 广州小马慧行科技有限公司 自动驾驶车辆的停车处理方法、装置、设备及存储介质
US11783597B2 (en) * 2020-12-30 2023-10-10 Continental Autonomous Mobility US, LLC Image semantic segmentation for parking space detection
CN112820137B (zh) * 2020-12-31 2022-04-19 金茂智慧科技(广州)有限公司 一种停车场的管理方法及装置
CN113104028B (zh) * 2021-03-31 2022-09-13 东风汽车集团股份有限公司 基于停放场地的控制方法、装置、可移动载体及存储介质
CN113218398A (zh) * 2021-05-11 2021-08-06 深圳市豪位科技有限公司 Avp车辆室内导航方法及装置、存储介质
CN114572100B (zh) * 2022-02-24 2023-10-13 岚图汽车科技有限公司 代客泊车的灯光迎宾方法、装置、设备及可读存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006003675B4 (de) * 2006-01-26 2016-09-29 Volkswagen Ag Verfahren und Vorrichtung zur Festlegung einer bevorzugten Endorientierung eines Kraftfahrzeugs in einer Parklücke
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7737866B2 (en) 2007-09-27 2010-06-15 Automotive Research & Testing Center Auto-parking device
CN100555142C (zh) * 2008-01-24 2009-10-28 浙江大学 自动导引车分布式测控装置及停车定位控制方法
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
KR101182853B1 (ko) 2008-12-19 2012-09-14 한국전자통신연구원 자동 주차 대행 시스템 및 방법
CA3176193A1 (en) * 2010-05-10 2011-11-17 Daniel Cohen Method and system for managing a parking lot based on intelligent imaging
US8799037B2 (en) * 2010-10-14 2014-08-05 Palto Alto Research Center Incorporated Computer-implemented system and method for managing motor vehicle parking reservations
EP2638524A2 (de) * 2010-11-09 2013-09-18 The Provost, Fellows, Foundation Scholars, & the other members of Board, of the College of the Holy & Undiv. Trinity of Queen Elizabeth near Dublin Verfahren und system zur wiederherstellung einer 3d-szenenstruktur und kamerabewegung aus einer videosequenz
US9241147B2 (en) * 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US20120323643A1 (en) * 2011-03-24 2012-12-20 Premier Parking LLC Parking management systems and methods
FR2974669B1 (fr) * 2011-04-28 2013-06-07 Commissariat Energie Atomique Dispositif imageur destine a evaluer des distances d'elements dans une image
US9429943B2 (en) 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US9609284B2 (en) * 2012-05-22 2017-03-28 Otoy, Inc. Portable mobile light stage
KR101401399B1 (ko) * 2012-10-12 2014-05-30 현대모비스 주식회사 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
WO2014172322A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle intruder alert detection and indication
CN104428826B (zh) * 2013-04-15 2017-05-17 自动连接控股有限责任公司 用于车辆交通的自动化控制的中央网络
AU2014280332B2 (en) * 2013-06-13 2017-09-07 Basf Se Detector for optically detecting at least one object
DE102013213064B4 (de) 2013-07-04 2017-03-09 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum autonomen Einparken eines Fahrzeugs mit externer Überwachung
DE102013215208A1 (de) * 2013-08-02 2015-02-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Einparkunterstützung eines Fahrzeuges
JP6403776B2 (ja) * 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 光学検出器
JP2015060053A (ja) * 2013-09-18 2015-03-30 株式会社東芝 固体撮像装置、制御装置及び制御プログラム
US20150149265A1 (en) * 2013-11-27 2015-05-28 GM Global Technology Operations LLC Controlled parking of autonomous vehicles
US9557741B1 (en) * 2015-08-24 2017-01-31 Ford Global Technologies, Llc System and method for autonomous valet parking using plenoptic cameras

Also Published As

Publication number Publication date
US9809218B2 (en) 2017-11-07
CN106485198A (zh) 2017-03-08
US20180056990A1 (en) 2018-03-01
US10046760B2 (en) 2018-08-14
US20170137024A1 (en) 2017-05-18
MX2016010747A (es) 2017-02-23
RU2016134255A (ru) 2018-03-01
CN106485198B (zh) 2022-09-20
US9557741B1 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
DE102016115541A1 (de) System und verfahren zum autonomen valet-parken unter verwendung plenoptischer kameras
EP3371800B1 (de) Verfahren und vorrichtung zur auswahl und übertragung von sensordaten von einem ersten zu einem zweiten kraftfahrzeug
DE102016110215A1 (de) System und Verfahren zum Steuern von Fahrzeugkomponenten basierend auf von einer Kamera erhaltenen Bildinformationen
DE102019112002A1 (de) Systeme und verfahren zur automatischen detektion von anhängereigenschaften
DE102017130936A1 (de) Expertenmodus für Fahrzeuge
DE102020111938A1 (de) Systeme und verfahren zum planen und aktualisieren einer fahrzeugtrajektorie
DE102018130566A1 (de) Autonomer fahrzeugbetrieb mit automatisierter unterstützung
DE102017113572A1 (de) Spurerkennungssysteme und -verfahren
DE112018006665T5 (de) Verfahren zum zugreifen auf ergänzende wahrnehmungsdaten von anderen fahrzeugen
DE102017116213A1 (de) Fahrspurerkennung mit rückfahrkamera
DE102017126925A1 (de) Automatisierte Co-Pilotsteuerung für autonome Fahrzeuge
DE102016112913A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeug-Ich-Position
DE102017100259A1 (de) System und verfahren zum rückwärtseinparken eines fahrzeugs senkrecht zur fahrbahn
DE102017126877A1 (de) Automatisierte Copilot-Steuerung für autonome Fahrzeuge
DE102019201844A1 (de) Fahrzeugsteuerungssystem und Steuerverfahren
DE102018121122A1 (de) Systeme und Verfahren zur Fahrzeugsignalleuchtenerfassung
DE102016100729A1 (de) Betrieb eines autonomen Fahrzeugs in Umgebungen mit blockierter Sicht
DE102016120508A1 (de) Autonomes Fahren an Kreuzungen basierend auf Wahrnehmungsdaten
DE102017105585A1 (de) Systeme und Verfahren zum Verbessern des Sichtfelds an Kreuzungen
DE102017100199A1 (de) FUßGÄNGERERKENNUNG MIT AUFFÄLLIGKEITSKARTEN
DE112017007050T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm
DE102013113096A1 (de) Navigation eines Straßenfahrzeugs basierend auf vertikalen Elementen
DE102019122266A1 (de) Systeme und Verfahren zur Parkverwaltung
DE112019004633T5 (de) Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren
DE102014217900A1 (de) Vorrichtung und Verfahren zur Sammlung von Informationen über eine Verfügbarkeit freier Parkplätze

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee