-
Die Erfindung betrifft ein Verfahren zur automatisierten Führung eines Kraftfahrzeugs, wobei durch eine kraftfahrzeugseitige Sensorik das Umfeld des Kraftfahrzeugs betreffende Umfeldinformationen erfasst werden und in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen der automatisierten Führung durchzuführender Fahreingriff ermittelt wird.
-
Eine automatisierte Führung von Kraftfahrzeugen, bei der ein fahrzeugseitiges oder ein externes System dem Fahrer die Quer- und/oder Längsführung des Kraftfahrzeugs für gewisse Zeiträume oder für gewisse Fahraufgaben abnimmt, gewinnt als Komfortfunktion zunehmen an Relevanz. Verschiedene automatisierungsgrade werden beispielsweise in dem Artikel „Rechtsfolgen zunehmender Fahrzeugautomatisierung“ in der Veröffentlichung Forschung Kompakt 11/12 der Bundesanstalt für Straßenwesen diskutiert. Bei einer solchen Führung ist es wesentlich, ein möglichst komplettes Umfeldmodell des Kraftfahrzeugumfelds in der Steuereinrichtung, die den Fahrbetrieb steuert, vorzuhalten, um eine robuste automatisierte Führung zu ermöglichen. Zugleich soll in vielen Anwendungsfällen, beispielsweise wenn ein Fahrzeug automatisch bei nicht im Fahrzeug befindlichem Fahrer einparkt, eine Möglichkeit geschaffen werden, einen Nutzer über die Intentionen des Kraftfahrzeugs zu informieren bzw. ihm eine Möglichkeit zu geben, in den Fahrbetrieb einzugreifen.
-
Ein möglicher Ansatz, einen Nutzer und andere Verkehrsteilnehmer auf Fahrintentionen bei einem automatisierten Fahrbetrieb hinzuweisen, ist es, entsprechende Informationen auf eine Fahrbahnoberfläche zu projizieren. Dieser Ansatz wird in den Druckschriften
US 2015 / 0 336 502 A1 und
DE 10 2011 112 577 A1 diskutiert. Eine entsprechende Projektion ist technisch relativ aufwändig und nicht notwendigerweise bei allen Lichtverhältnissen gut sichtbar.
-
Aus der Druckschrift
DE 10 2014 200 611 A1 ist ein Verfahren zum autonomen Parken eines Fahrzeugs bekannt. Hierbei kann ein Bediener an dem gewünschten Einparkort mit einem Mobilgerät ein digitales Bild der Zielposition aufnehmen. Nach einer drahtlosen Übermittlung dieses Bilds an ein Fahrzeug kann es gemeinsam mit aktuellen Umfelddaten eines im Fahrzeug verbauten Umfelderfassungssystems genutzt werden, um eine Trajektorie zur Zielposition zu ermitteln und einen autonomen Parkvorgang entlang dieser Trajektorie durchzuführen.
-
Ein Verfahren zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie ist aus der Druckschrift
DE 10 2016 211 182 A1 bekannt. Hierbei wird eine Befahrbarkeitsinformation für das Umfeld berücksichtigt, die beispielsweise aus einer visuellen Abbildung des Umfelds ermittelt sein kann, die über eine Kamera eines Smartphones erfasst wurde.
-
Die Druckschrift
DE 10 2016 208 214 A1 schlägt vor, zur Unterstützung eines Manövriervorgangs eines Fahrzeugs von einem fahrzeugexternen Sensor empfangene Bilddaten mit von einem fahrzeugeigenen Sensor erfassten Bilddaten zu verknüpfen.
-
Ein Verfahren zur Anbindung einer mobilen Kameraeinrichtung an eine fahrzeugfeste Anzeigevorrichtung ist aus der Druckschrift
DE 10 2014 222 190 A1 bekannt.
-
Die Druckschrift
DE 10 2014 218 921 A1 schlägt vor, ein automatisches Parken eines Fahrzeugs zu überwachen, wobei zumindest ein Videobild des Parkvorgangs aufgenommen und an ein mobiles Endgerät versendet wird.
-
Der Erfindung liegt somit die Aufgabe zugrunde, eine automatisierte Führung eines Kraftfahrzeugs mit geringem technischen Aufwand bezüglich einer Einbindung eines Nutzers und/oder bezüglich der Ermittlung von Umfeldinformationen, die im Rahmen der automatisierten Führung nutzbar sind, zu verbessern.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren der eingangs genannten Art gelöst, wobei durch eine durch einen Nutzer tragbare, fahrzeugexterne Erfassungseinrichtung das Umfeld des Kraftfahrzeugs betreffende Bilddaten erfasst werden, wobei zum einen die Bilddaten von der Erfassungseinrichtung an das Kraftfahrzeug übertragen werden, wonach der Fahreingriff in Abhängigkeit der Bilddaten ermittelt wird, und/oder wobei zum anderen eine den durchzuführenden Fahreingriff betreffende Fahreingriffsinformation von dem Kraftfahrzeug an die Erfassungseinrichtung übertragen wird, wonach durch die Erfassungseinrichtung eine Überlagerung einer in Abhängigkeit der Bilddaten erzeugten Bilddarstellung mit wenigstens einem in Abhängigkeit der Fahreingriffsinformation generierten Grafikelement für den Nutzer ausgegeben wird, wobei in beiden Fällen eine relative Position und/oder Orientierung des Kraftfahrzeugs zu der Erfassungseinrichtung oder umgekehrt ermittelt wird, wobei in Abhängigkeit der relativen Position und/oder Orientierung der Fahreingriff ermittelt und/oder das Grafikelement generiert und/oder die Überlagerung des Grafikelements zu der Bilddarstellung parametrisiert wird, wobei die Bilddaten derart aufgenommen werden, dass zumindest ein Abschnitt des Kraftfahrzeugs abgebildet wird, wobei die relative Position und/oder Orientierung durch Auswertung der Bilddaten ermittelt wird.
-
Erfindungsgemäß wird vorgeschlagen, eine durch einen Nutzer tragbare, fahrzeugexterne Erfassungseinrichtung zu nutzen, um zusätzliche Sensordaten an das Kraftfahrzeug bereitzustellen, die im Rahmen der automatisierten Führung genutzt werden, und/oder um einen Nutzer über geplante Fahreingriffe zu informieren. Hierbei wird die Tatsache ausgenutzt, dass in dem erfindungsgemäßen Verfahren nutzbare Erfassungseinrichtungen mittlerweile ohnehin häufig von Nutzern mitgeführt werden. Beispielsweise kann ein Mobiltelefon mit einer integrierten Kamera als Erfassungseinrichtung verwendet werden. Voraussichtlich wird zudem die Nutzung von sogenannten Augmented Reality-Geräten, insbesondere entsprechenden Brillen, zunehmen, die ebenfalls als Erfassungseinrichtungen in dem erfindungsgemäßen Verfahren nutzbar sind.
-
Somit ist das beschriebene Vorgehen mit sehr geringem technischen Zusatzaufwand realisierbar, da ausschließlich eine Kommunikation zwischen der Erfassungseinrichtung und einer kraftfahrzeugseitigen Kommunikationseinrichtung ermöglicht werden muss. Da jedoch in Kraftfahrzeugen, Mobiltelefonen und Augmented Reality-Geräten typischerweise bereits Vorrichtungen zur Drahtloskommunikation vorgesehen sind, kann das erfindungsgemäße Verfahren häufig bereits durch reine Softwareanpassungen umgesetzt werden. Beispielsweise kann eine entsprechende Anwendung bzw. App auf einem Mobiltelefon installiert werden und die fahrzeugseitigen Softwarekomponenten können als freies oder kostenpflichtiges Update angeboten werden.
-
Die Überlagerung der Bilddarstellung mit dem generierten Grafikelement kann insbesondere auf einem Bildschirm dargestellt werden, wobei es sich hierbei beispielsweise um den Bildschirm eines Mobiltelefons oder einer Datenbrille handeln kann. Prinzipiell wäre es jedoch auch möglich, diese Überlagerung direkt in das Auge eines Nutzers oder auf eine Projektionsfläche in der Umgebung des Nutzers zu projizieren.
-
Der Fahreingriff kann im erfindungsgemäßen Verfahren vorzugsweise durch eine fahrzeugseitige Steuereinrichtung geplant und durch eine Steuerung einer entsprechenden Aktorik im Kraftfahrzeug durchgeführt werden. Prinzipiell wäre es auch möglich, den Fahreingriff durch eine fahrzeugexterne Steuereinrichtung zu planen. Unter der fahrzeugexternen Erfassungseinrichtung ist eine Erfassungseinrichtung zu verstehen, die separat von dem Kraftfahrzeug ausgebildet ist und sich außerhalb von dem Kraftfahrzeug befindet. Sie kann im Rahmen der Durchführung des Verfahren insbesondere von dem Kraftfahrzeug beabstandet angeordnet sein und beispielsweise von einem Nutzer getragen werden. Beispielsweise kann sie in der Hand des Nutzers gehalten werden oder an seinem Körper befestigt sein.
-
In dem erfindungsgemäßen Verfahren wird eine relative Position und/oder Orientierung des Kraftfahrzeugs zu der Erfassungseinrichtung oder umgekehrt ermittelt, wobei in Abhängigkeit der relativen Position und/oder Orientierung der Fahreingriff ermittelt und/oder das Grafikelement generiert und/oder die Überlagerung des Grafikelements zu der Bilddarstellung parametrisiert wird. Nach Ermittlung der relativen Position und/oder Orientierung kann ein gemeinsames Koordinatensystem für den geplanten Fahreingriff und/oder die durch die Sensorik des Kraftfahrzeugs erfassten Umfeldinformationen und die Bilddaten bestimmt werden, wodurch die Bilddaten zur Planung des Fahreingriffs bzw. zur Anpassung der überlagerten Darstellung genutzt werden können. Beispielsweise kann das Grafikelement eine Trajektorie oder ein Trajektorienabschnitt, die oder der aufgrund des Fahreingriffs durchfahren werden soll, hierdurch mit einer korrekten Position, Orientierung und/oder Skalierung bezüglich des Kraftfahrzeugs darstellen. Allgemein ausgedrückt kann das Grafikelement in Abhängigkeit der ermittelten relativen Position und/oder Orientierung bezüglich der Bilddarstellung positioniert, skaliert, rotiert und/oder verzerrt werden. Eine Verzerrung kann beispielsweise durch Stauchen, Strecken und/oder Scheren des Grafikelements erfolgen.
-
Die relative Position und/oder Orientierung des Kraftfahrzeugs zu der Erfassungseinrichtung oder umgekehrt kann ermittelt werden, indem absolute Positionen und/oder Orientierungen des Kraftfahrzeugs und der Erfassungseinrichtung ermittelt werden. Hierzu können beispielsweise satellitenbasierte Positionsbestimmungssysteme, Beschleunigungs- und/oder Magnetfeldsensoren oder Ähnliches genutzt werden. Aus den jeweiligen absoluten Positionen bzw. Orientierungen kann eine relative Position bzw. Orientierung berechnet werden.
-
Erfindungsgemäß werden die Bilddaten derart aufgenommen, dass zumindest ein Abschnitt des Kraftfahrzeugs abgebildet wird, wobei die relative Position und/oder Orientierung durch Auswertung der Bilddaten ermittelt wird. Hierzu kann ein Bilderkennungsalgorithmus genutzt werden, der vorzugsweise erfassungseinrichtungsseitig oder durch eine Steuereinrichtung des Kraftfahrzeugs durchgeführt werden kann. Im Stand der Technik sind eine Vielzahl von Verfahren bekannt, um bestimmte Objekte in Bilddaten zu erkennen und ihre relative Position und/oder Orientierung bezüglich der erfassenden Kamera zu ermitteln. Beispielsweise kann das Kraftfahrzeug bzw. der abgebildete Abschnitt des Kraftfahrzeugs anhand von skaleninvarianten Merkmalen erkannt werden. Da einzelne Bildpunkte der Bilddaten bei üblichen Kamerasensoren bestimmten Raumwinkeln zugeordnet sind, kann direkt aus der Position des Kraftfahrzeugs bzw. der entsprechenden Merkmale im Bild ermittelt werden, in welchem Raumwinkel sich das Kraftfahrzeug bezüglich der Erfassungseinrichtung befindet. Die Größe der Abbildung des Kraftfahrzeugs und somit beispielsweise auch der Abstand zwischen verschiedenen Merkmalen variiert mit dem Abstand des Kraftfahrzeugs von der Kamera, wodurch auch dieser aus den Bilddaten ermittelt werden kann.
-
Um eine Erkennung des Kraftfahrzeugs in den Bilddaten bzw. eine Ermittlung der relativen Position und/oder Orientierung aufgrund dieser Information weiter zu verbessern, ist es vorteilhaft, wenn bekannte Merkmale des Kraftfahrzeugs im Rahmen der Bilddatenverarbeitung genutzt werden können. Es ist daher möglich, dass durch die Erfassungseinrichtung wenigstens eine das Kraftfahrzeug betreffende Kraftfahrzeuginformation gespeichert oder empfangen wird, wobei das Kraftfahrzeug oder der Abschnitt des Kraftfahrzeugs anhand der Kraftfahrzeuginformation in den Bilddaten erkannt wird. Die Kraftfahrzeuginformation kann beispielsweise bestimmte Muster bzw. skaleninvariante Merkmale des Kraftfahrzeugs beschreiben. Entsprechende Informationen können beispielsweise bei einem Pairing der Erfassungseinrichtung mit dem Kraftfahrzeug von dem Kraftfahrzeug an die Erfassungseinrichtung bereitgestellt werden. Ein solches Pairing erfolgt beispielsweise für Mobiltelefone, die als Erfassungseinrichtung dienen können, häufig ohnehin, um beispielsweise eine Freisprecheinrichtung des Kraftfahrzeugs nutzen zu können. Alternativ wäre es beispielsweise möglich, dass im Rahmen einer vorangehenden Kalibrierung ein Nutzer angewiesen wird, das Kraftfahrzeug aus bestimmten Perspektiven aufzunehmen, wonach diese Daten im Anschluss als Kraftfahrzeuginformation genutzt werden können.
-
Kraftfahrzeugseitig kann wenigstens eine die Erfassungseinrichtung betreffende Erfassungseinrichtungsinformation gespeichert oder empfangen werden, wonach die Übertragung der Fahreingriffsinformation und/oder die Ermittlung des Fahreingriffs in Abhängigkeit der Erfassungseinrichtungsinformation erfolgt. Beispielsweise können kraftfahrzeugseitig verschiedene Protokolle oder Informationsdarstellungen unterstützt werden, um die Fahreingriffsinformation an die Erfassungseinrichtung bereitzustellen. In Abhängigkeit eines Typs der Erfassungseinrichtung als Erfassungseinrichtungsinformation kann somit ein entsprechendes Protokoll bzw. eine entsprechende Informationsdarstellung gewählt werden. Das erläuterte Vorgehen ist jedoch besonders vorteilhaft, um Aufnahmeparameter der Erfassungseinrichtung bzw. einer Kamera der Erfassungseinrichtung an das Kraftfahrzeug bereitzustellen, um die dortige Verarbeitung der Bilddaten zu begünstigen. Beispielsweise können eine Brennweite und/oder eine Breite und/oder Höhe des Bildsensors als Erfassungseinrichtungsinformationen vorliegen oder empfangen werden. Es ist auch möglich, Informationen über die Verzerrung der Bilddaten, beispielsweise aufgrund von Linsenverzerrungen, als Erfassungseinrichtungsinformation zu nutzen, wodurch die Fusionen der Bilddaten mit den Daten der fahrzeugseitigen Sensorik weiter verbessert werden kann.
-
Die Bilddarstellung kann das Umfeld des Kraftfahrzeugs aus jener Perspektive zeigen, aus der die Bilddaten aufgenommen werden. Insbesondere wird auch das Kraftfahrzeug aus dieser Perspektive abgebildet. Insbesondere kann keine Umrechnung der Perspektive, beispielsweise zur Darstellung aus einer Vogelperspektive, erfolgen, sondern es kann eine im Wesentlichen unveränderte bzw. natürliche Bilddarstellung erfolgen. Wird beispielsweise ein Bildschirm genutzt, der auf einer der Kamera gegenüberliegenden Gehäuseseite angeordnet ist, wie dies bei vielen Kameras oder Mobiltelefonen der Fall ist, erscheint die Erfassungseinrichtung somit quasi durchsichtig, wodurch durch Überlagerung des Grafikelements eine Augmented Reality-Darstellung realisiert werden kann. Eine entsprechende Darstellung ist für einen Nutzer besonders intuitiv erfassbar.
-
Das Grafikelement kann derart generiert und mit der Bilddarstellung überlagert werden, dass es zumindest einen Abschnitt einer Trajektorie visualisiert, entlang der das Kraftfahrzeug durch den Fahreingriff geführt werden soll. Die Trajektorie kann beispielsweise durch eine Zentrallinie, entlang der sich das Kraftfahrzeug bewegen soll, durch Grenzlinien, die einen durch das Kraftfahrzeug befahrenen Bereich kennzeichnen, durch wenigstens einen Pfeil oder Ähnliches dargestellt werden. Ergänzend oder alternativ können als Grafikelement bestimmte Symbole dargestellt werden, die einzelne Fahreingriffe, beispielsweise ein Bremsen, ein Gas geben oder ein Lenken, visualisieren. Entsprechende Symbole können insbesondere an entsprechenden Positionen einer Trajektorie des Kraftfahrzeugs dargestellt werden.
-
Wird einem Nutzer ein Fahreingriff bzw. eine bestimmte Abfolge von Fahreingriffen visualisiert, ist es vorteilhaft, wenn er durch entsprechende Bedieneingaben an der Erfassungseinrichtung auch mit dem Kraftfahrzeug interagieren kann. Im einfachsten Fall kann ein Fahreingriff oder eine Gruppe von Fahreingriffen erst dann durchgeführt werden, wenn die Durchführung an der Erfassungseinrichtung bestätigt bzw. freigegeben wurde. Besonders vorteilhaft ist es jedoch, wenn der Fahreingriff oder die Fahreingriffe durch einen Nutzer direkt oder durch andere Vorgaben angepasst werden können. Es ist daher möglich, dass wenigstens eine Bedieneingabe des Nutzers an der Erfassungseinrichtung erfasst wird, wonach der Fahreingriff in Abhängigkeit der Bedieneingabe ermittelt oder angepasst wird. Die Bedieneingabe oder eine hieraus ermittelte Information kann an das Kraftfahrzeug übertragen werden.
-
In einer besonders vorteilhaften Variante des geschilderten Vorgehens wird zunächst ein vorläufiger Fahreingriff ermittelt, die entsprechende Fahreingriffsinformation wird an die Erfassungseinrichtung übertragen und der vorläufige Fahreingriff wird dort wie vorangehend erläutert visualisiert. Wird der visualisierte Fahreingriff nutzerseitig bestätigt oder verstreicht ein gewisses Eingreifintervall, so wird dieser Fahreingriff ausgeführt. Führt der Benutzer jedoch entsprechende Bedieneingaben durch, kann diese Information an das Kraftfahrzeug übertragen werden und der Fahreingriff kann entsprechend angepasst werden.
-
Durch die Bedieneingabe kann wenigstens ein Sperrbereich definiert werden, wonach der Fahreingriff derart ermittelt wird, dass das Kraftfahrzeug ausschließlich außerhalb des Sperrbereichs geführt wird. Der Fahreingriff bzw. die Trajektorie des Kraftfahrzeugs kann somit derart geplant werden, dass das Kraftfahrzeug nicht in den Sperrbereich eindringt, also der Sperrbereich im Rahmen der automatisierten Führung nicht befahren wird. Der Sperrbereich kann beispielsweise ein Hindernis sein, das durch den Benutzer erkannt wurde. Es können jedoch auch Bereiche, die prinzipiell befahrbar wären, für die jedoch kein Befahren erfolgen soll, markiert werden, wie beispielsweise unübersichtliche Einmündungen von Straßen oder Wegen, Fußwege oder Ähnliches.
-
In einigen Fällen kann es auch vorteilhaft sein, Sperrbereiche dadurch zu definieren, dass wenigstens ein befahrbarer Bereich durch den Nutzer gewählt wird, wonach alle nicht gewählten Bereiche als Sperrbereiche aufgefasst werden. Somit kann der Manövrierbereich für die automatisierte Führung gezielt auf bestimmte Bereiche eingeschränkt werden.
-
Der Fahreingriff kann als Teil eines automatisiert durchgeführten Einparkvorgangs oder Ausparkvorgangs geplant werden. Bei diesen Vorgängen ist es möglich, dass sich der Nutzer im Umfeld des Kraftfahrzeugs, jedoch außerhalb des Fahrzeugs befindet. In diesem Fall ist es möglich, dass mithilfe der Erfassungseinrichtung, also beispielsweise mithilfe eines Mobiltelefons, Bilddaten relevanter Bereiche erfasst werden können, die durch die kraftfahrzeugseitige Sensorik nicht einsehbar sind. Andererseits kann durch eine vorangehend erläuterte Bilddarstellung des Kraftfahrzeugumfelds mit wenigstens einem überlagerten Grafikelement für den Nutzer ein zukünftig geplantes Verhalten des Kraftfahrzeugs visualisiert werden, so dass der Nutzer das Kraftfahrzeug besser überwachen kann bzw. gezielt in den zukünftigen Fahrbetrieb eingreifen kann.
-
Die Erfassungseinrichtung kann ein Mobiltelefon sein oder umfassen oder die Erfassungseinrichtung kann eine an dem Kopf des Nutzers getragene Ausgabeeinrichtung zur Ausgabe der Überlagerung umfassen. Beispielsweise kann es sich bei der Erfassungseinrichtung um eine Daten- bzw. VR-Brille handeln.
-
Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein Kraftfahrzeug mit einer kraftfahrzeugseitigen Sensorik zur Erfassung von das Umfeld des Kraftfahrzeugs betreffenden Umfeldinformationen und einer Steuereinrichtung, durch die in Abhängigkeit der Umfeldinformationen wenigstens ein im Rahmen einer automatisierten Führung des Kraftfahrzeugs durchzuführender Fahreingriff ermittelbar ist, wobei das Kraftfahrzeug eine durch die Steuereinrichtung steuerbare Kommunikationseinrichtung zur Kommunikation mit einer fahrzeugexternen Erfassungseinrichtung umfasst, wobei die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist.
-
Daneben betrifft die Erfindung eine Erfassungseinrichtung mit einer Kommunikationseinrichtung, wenigstens einer Kamera zur Erfassung von Bilddaten und einer Steuereinrichtung zur Steuerung der Kommunikationseinrichtung und der Kamera, wobei die Steuereinrichtung zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist. Die Erfassungseinrichtung umfasst vorzugsweise eine durch die Steuereinrichtung steuerbare Anzeigeeinrichtung, beispielsweise ein Display oder eine Projektionsvorrichtung, um die Überlagerung der Bilddarstellung mit dem Grafikelement darzustellen. Die Erfassungseinrichtung kann beispielsweise ein Mobiltelefon sein, auf dem eine Anwendung zur Durchführung des erfindungsgemäßen Verfahrens installiert wurde. Es ist auch möglich, dass die Erfassungseinrichtung eine Daten- bzw. VR-Brille ist, durch die eine Augmented Reality-Darstellung direkt im Blickfeld des Nutzers möglich ist.
-
Das erfindungsgemäße Kraftfahrzeug bzw. die erfindungsgemäße Erfassungseinrichtung können mit den zum erfindungsgemäßen Verfahren erläuterten Merkmalen mit den dort genannten Vorteile weitergebildet werden.
-
Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den folgenden Ausführungsbeispielen und den zugehörigen Zeichnungen. Hierbei zeigen schematisch:
- 1 eine Fahrsituation, in der ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens durch ein Ausführungsbeispiel einer erfindungsgemäßen Erfassungseinrichtung und ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs durchgeführt wird,
- 2 eine Detailansicht der in 1 gezeigten Erfassungseinrichtung, und
- 3 eine Bildschirmdarstellung auf einem Bildschirm dieser Erfassungseinrichtung.
-
1 zeigt eine Fahrsituation, in der ein Verfahren zur automatisierten Führung eines Kraftfahrzeugs 1 durchgeführt wird. Durch eine kraftfahrzeugseitige Sensorik 2 werden das Umfeld des Kraftfahrzeugs 1 betreffende Umfeldinformationen erfasst und in Abhängigkeit dieser Umfeldinformationen wird durch eine Steuereinrichtung 3 ein durchzuführender Fahreingriff ermittelt. Der Fahreingriff soll in der gezeigten Fahrsituation zum Einparken des Kraftfahrzeugs 1 in der Parkposition 12 dienen. Um den Fahreingriff durchzuführen, kann die Steuereinrichtung 3 eine Aktorik 4 des Kraftfahrzeugs ansteuern, um in die Längs- und Querführung des Kraftfahrzeugs 1 einzugreifen.
-
Es ist bekannt, dass automatische Parkmanöver auch in Situationen durchgeführt werden können, bei denen sich ein Nutzer 7 außerhalb des Kraftfahrzeugs 1 befindet, wie dies in 1 dargestellt ist. Vorzugsweise soll dem Nutzer 7 jedoch dennoch eine Möglichkeit gegeben werden, den Fahrbetrieb des Kraftfahrzeugs 1 zu überwachen und insbesondere bereits vor der Durchführung von automatisierten Fahreingriffen Informationen über diese zu erhalten.
-
Dies wird dadurch realisiert, dass eine im Detail in 2 dargestellte, durch den Nutzer 7 getragene, fahrzeugexterne Erfassungseinrichtung 6 verwendet wird, die über eine Kommunikationseinrichtung 10 der Erfassungseinrichtung und eine Kommunikationseinrichtung 5 des Kraftfahrzeugs 1 mit dem Kraftfahrzeug 1 kommuniziert. Die Erfassungseinrichtung umfasst eine Steuereinrichtung 9, die die Kommunikationseinrichtung 10 sowie einen Bildschirm 11 der Erfassungseinrichtung 6 steuert und die über eine Kamera 8 Bilddaten des Umfelds der Erfassungseinrichtung aufnehmen kann. Als entsprechende Erfassungseinrichtung kann beispielsweise ein Mobiltelefon genutzt werden.
-
Nachdem durch die Steuereinrichtung 3 des Kraftfahrzeugs 1 ein durchzuführender Fahreingriff ermittelt wurde, kann eine diesen betreffende Fahreingriffsinformation von dem Kraftfahrzeug 1 an die Erfassungseinrichtung 6 übertragen werden. Anschließend kann die Steuereinrichtung 9 den Bildschirm 11 ansteuern, um den durchzuführenden Fahreingriff für den Nutzer 7 zu visualisieren. Dies erfolgt, wie im Folgenden noch detailliert erläutert werden wird, als eine Augmented Reality-Darstellung.
-
Die Bilddarstellung auf dem Bildschirm 11 der Erfassungseinrichtung 6 ist in 3 dargestellt. Diese Bildschirmdarstellung umfasst mehrere überlagert darstellte Komponenten. Grundlage der Bildschirmdarstellung ist eine Bilddarstellung 15 des über die Kamera 8 erfassten Erfassungsbereiches 16. Somit sind auf dem Bildschirm 11 die Objekte im durch die Kamera 8 erfassbaren Umfeld des Kraftfahrzeugs 1 zu erkennen, von denen beispielhaft ein geparktes weiteres Kraftfahrzeug 13 und ein Hindernis 14 dargestellt sind. Zudem wird ein Abschnitt des Kraftfahrzeugs 1 abgebildet. Anhand der Abbildung des Kraftfahrzeugs 1 wird durch eine Merkmalserkennung in den Bilddaten eine relative Position des Kraftfahrzeugs 1 zu der Erfassungseinrichtung 6 ermittelt, so dass Informationen über die geplanten Fahreingriffe in einer korrekten Lagebeziehung zum Kraftfahrzeug 1 dargestellt werden können.
-
Diese Bilddarstellung wird mit mehreren Grafikelementen 17, 18 überlagert, die in Abhängigkeit der von dem Kraftfahrzeug 1 empfangenen Fahreingriffsinformation ermittelt wurden. Die grafischen Elemente 17, 18 stellen hierbei im gezeigten Beispiel die Trajektorie, die durch das Kraftfahrzeug 1 bei Durchführung der geplanten Fahreingriffe befahren wird, in Form von Pfeilen dar. Selbstverständlich wären auch beliebig andere Darstellungen der Fahreingriffe möglich. Der Nutzer 7 erhält somit eine Vorschau auf die Fahreingriffe, wie sie sich von seiner Betrachtungsposition aus darstellen würden. Ist er mit den ermittelten Fahreingriffen einverstanden, kann er die Durchführung dieser Fahreingriffe durch Betätigung des zusätzlich in die Bilddarstellung eingeblendeten Bedienelements 19 an dem als Touchscreen ausgebildeten Bildschirm 11 freigeben.
-
In einer Weiterbildung des erläuterten Ausführungsbeispiels wäre es möglich, dass das Hindernis 14 nicht als nicht befahrbarer Bereich erkannt wird. Beispielsweise könnte es sich bei dem Hindernis 14 um ein nicht bepflanztes Beet handeln, das von der Steuereinrichtung 3 des Kraftfahrzeugs 1 zunächst als befahrbar klassifiziert wird. In diesem Fall könnte beispielsweise die durch den gestrichelten Pfeil 20 gezeigte alternative Trajektorie für das Kraftfahrzeug 1 berechnet und für den Nutzer 7 visualisiert werden. Der Nutzer 7 kann nun erkennen, dass diese Trajektorie 20 nicht vorteilhaft wäre, da sie zu einer Beschädigung des Beetes und potentiell auch des Kraftfahrzeugs 1 führen könnte. Der Nutzer 7 kann nun statt der vorangehend erläuterten Freigabe der Fahreingriffe eine Bedieneingabe an der Erfassungseinrichtung 6, insbesondere an dem als Touchscreen ausgebildeten Bildschirm 11, tätigen, um den Fahreingriff anzupassen. Hierbei wäre es prinzipiell möglich, die Trajektorie 20, beispielsweise durch Ziehen ihres Endpunktes, manuell anzupassen. Besonders vorteilhaft ist es jedoch, wenn durch die Bedieneingabe wenigstens ein Sperrbereich 21 definiert wird. Beispielsweise kann der Nutzer ein Rechteck einzeichnen, das das Hindernis 14 umfasst, so dass der Bereich des Hindernisses 14 als nicht befahrbar markiert wird. Eine entsprechende Information kann an das Kraftfahrzeug 1 zurückübertragen werden, wonach durch die Steuereinrichtung 3 eine aktualisierte Trajektorie bzw. neue Fahreingriffe ermittelt werden. Bezüglich dieser neuen Fahreingriffe kann anschließend erneut eine Fahreingriffsinformation an die Erfassungseinrichtung 6 übermittelt werden, um diese für den Nutzer 7 zu visualisieren.
-
Die Bilddaten der Erfassungseinrichtung sind auch dazu nutzbar, zusätzliche Informationen über das Umfeld des Kraftfahrzeugs 1 an die Steuereinrichtung 3 bereitzustellen, um eine Planung der Fahreingriffe zu verbessern. Beispielsweise wäre es möglich, dass in dem in 1 gezeigten Ausführungsbeispiel das Hindernis 14 den Bereich der Parkposition 12 bzw. den zum Einparken genutzten Manövrierbereich für die Sensorik 2 des Kraftfahrzeugs 1 teilweise verdeckt. Um dies zumindest teilweise zu kompensieren, kann die Erfassungseinrichtung 6 die über die Kamera 8 erfassten Bilddaten an das Kraftfahrzeug 1 übertragen, so dass diese als zusätzliche Informationsquelle im Rahmen der Ermittlung des durchzuführenden Fahreingriffs berücksichtigt werden können. Die Nutzung einer zusätzlichen fahrzeugexternen Erfassungseinrichtung kann somit auch dazu dienen, eine robustere Planung von Fahreingriffen zu ermöglichen.
