-
Die Erfindung betrifft ein Verfahren zum Vorgeben einer Fahrroute in einer auf maschinellem Lernen basierten Autopiloteinrichtung eines Kraftfahrzeugs. Eine solche Autopiloteinrichtung kann ein Kraftfahrzeug automatisiert durch eine Längsführung (Beschleunigen und Abbremsen) und/oder Querführung (Lenken) kollisionsfrei an Hindernisobjekten vorbeiführen. Zu der Erfindung gehören auch eine Steuervorrichtung für ein Kraftfahrzeug sowie das Kraftfahrzeug und eine Trainingsvorrichtung für eine Autopiloteinrichtung, um das maschinelle Lernen durchzuführen.
-
Autonomes Fahren, also ein automatisiertes Führen eines Kraftfahrzeugs mittels eine Autopiloteinrichtung, kann auf der Grundlage von maschinellem Lernen realisiert werden. Auf einer Rechnerarchitektur kann hierzu ein künstliches neuronales Netzwerk betrieben werden, welches Sensordaten einer Sensoreinrichtung empfängt und in Abhängigkeit von den Sensordaten ein Steuersignal für eine Längsführung und/oder Querführung des Kraftfahrzeugs erzeugt. Eine maximale Ausbaustufe ist hierbei das sogenannte End2End-Modell des autonomen Fahrens, bei welchem eine Autopiloteinrichtung beispielsweise auf der Grundlage eines sogenannten tiefen künstlichen neuronalen Netzwerk anhand von Bilddaten einer Kamera und/oder zumindest eines anderen Sensors das Steuersignal direkt zum Einstellen eines Lenkwinkels und/oder einer Gaspedalstellung/Bremspedalstellung erzeugt.
-
Maschinelles Lernen ergibt eine Autopiloteinrichtung, die nicht dahingehend gesteuert werden kann, dass man ihr eine Fahrroute zu einem Fahrziel vorgeben kann. D.h. das Kraftfahrzeug fährt zwar sicher auf der Straße, vermeidet also eine Kollision mit Hindernisobjekten, wie beispielsweise anderen Verkehrsteilnehmern, aber man kann die Autopiloteinrichtung nicht dahingehend beeinflussen, welche Abbiegung und/oder Kreuzung oder allgemein welche Fahrtrichtung ausgewählt werden soll. Dies entscheidet die Autopiloteinrichtung in Abhängigkeit von dem Training, das sie erfahren hat. Eine Konsequenz wäre beispielsweise, für jedes gewünschte Fahrmanöver ein eigenes künstliches neuronales Netzwerk bereitzustellen, was aber den Rechenaufwand und die Handhabbarkeit einer solchen Autopiloteinrichtung beeinträchtigt.
-
Ein Kraftfahrzeug mit einer autonomen Fahrfunktion und einem künstlichen neuronalen Netzwerk zur Verarbeitung von Signalen einer Kamera ist aus der
DE 10 2013 016 488 A1 bekannt. Mittels des künstlichen neuronalen Netzwerks wird hierbei aber nur ein Grad der Müdigkeit eines Fahrers erkannt.
-
Das Ermitteln einer Fahrstrategie mittels eines künstlichen neuronalen Netzwerks ist in der
DE 103 58 498 A1 bekannt. Hiermit kann ein Kraftfahrzeug kollisionsfrei an Verkehrshindernissen vorbeigeführt werden.
-
Auch aus der
DE 10 2015 115 666 A1 ist bekannt, wie eine Augmented-Reality-Umgebung in einem Kraftfahrzeug geschaffen werden kann.
-
Der Erfindung liegt somit die Aufgabe zugrunde, eine auf maschinellem Lernen basierte Autopiloteinrichtung dazu zu bringen, einer vorbestimmten Fahrroute zu folgen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
-
Die Erfindung stellt ein Verfahren bereit, mittels welchem einer auf maschinellem Lernen basierten Autopiloteinrichtung eines Kraftfahrzeugs eine Fahrroute vorgegeben werden kann. Die Fahrroute kann beispielsweise durch eine Navigationseinrichtung des Kraftfahrzeugs ermittelt worden sein. Die Autopiloteinrichtung ist dabei dazu eingerichtet, auf der Grundlage von Sensordaten einer Sensoreinrichtung des Kraftfahrzeugs fahrzeugexterne Hindernisobjekte in einer Umgebung des Kraftfahrzeugs zu erkennen und das Kraftfahrzeug durch Vorgeben oder Erzeugen zumindest eines Steuersignals für eine Längsführung und/oder Querführung kollisionsfrei an den Hindernisobjekten vorbeizuführen. Die Autopiloteinrichtung basiert auf maschinellem Lernen, d. h. sie kann beispielsweise ein künstliches neuronales Netzwerk (KNN) und/oder eine Support Vector Machine (SVM) aufweisen, mittels welcher jeweils aus den Sensordaten das zumindest eine Steuersignal ganz oder teilweise erzeugt werden kann.
-
Um nun einer solchen auf maschinellem Lernen basierten Autopiloteinrichtung die zu verfolgende oder zu fahrende Fahrroute vorzugeben, ist erfindungsgemäß vorgesehen, dass bei dem Verfahren durch eine Steuervorrichtung jeweils Darstellungsdaten zumindest eines virtuellen Hindernisobjekts, zum Beispiel eines virtuellen Verkehrsteilnehmers, und/oder zumindest eines zu verfolgenden virtuellen Folgeobjekts in die Sensordaten eingefügt werden. Die Sensordaten werden also durch Darstellungsdaten zumindest eines virtuellen Objekts (Hindernisobjekt und/oder Folgeobjekt) ergänzt. Hierdurch wird also das zumindest eine Hindernisobjekt und/oder das zumindest eine Folgeobjekt jeweils in die Sensordaten eingeblendet, also in den Erfassungsbereich der Autopiloteinrichtung. Mit anderen Worten „sieht“ die Autopiloteinrichtung nicht nur die tatsächlichen fahrzeugexternen Hindernisobjekte, sondern zumindest ein virtuelles Hindernisobjekt und/oder zumindest ein virtuelles Folgeobjekt. Auf das zumindest eine virtuelle Hindernisobjekt reagiert die Autopiloteinrichtung dann in derselben Weise wie auf ein tatsächliches, fahrzeugexternes Hindernisobjekt, d.h. es wird durch das zumindest eine Steuersignal erreichen, dass mittels der Längsführung und/oder Querführung auch das virtuelle Hindernisobjekt kollisionsfrei passiert wird. Dagegen kann die Autopiloteinrichtung mittels des Steuersignals durch Einstellen einer entsprechenden Längsführung und/oder Querführung dem zumindest einen Folgeobjekt folgen.
-
Durch die Erfindung ergibt sich der Vorteil, dass es nicht nötig ist, die Autopiloteinrichtung selbst zu manipulieren oder zu steuern, um die Autopiloteinrichtung dahingehend zu ertüchtigen, dass sie gezielt einer Fahrroute folgt. Dies wird durch „vortäuschen“ zumindest eines Objekts in der Umgebung des Kraftfahrzeugs erreicht, indem die korrespondierenden Darstellungsdaten in die Sensordaten eingefügt werden. Falls es sich bei der Sensoreinrichtung um eine Kamera handelt und die Sensordaten also zumindest ein Kamerabild umfassen, kann dies dahingehend realisiert werden, dass der Autopiloteinrichtung auf Grundlage der Sensordaten eine sogenannte Augmented-Reality-Umgebung (AR - Augmented Reality) dargeboten wird, in welcher der realen Umgebung das zumindest eine virtuelle Objekt überlagert ist.
-
Zu der Erfindung gehören auch Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
-
Um mittels des zumindest einen Hindernisobjekts und/oder des zumindest eines Folgeobjekts das Kraftfahrzeug entlang einer Fahrroute zu führen, werden die Darstellungsdaten bevorzugt in Abhängigkeit von einer vorbestimmten Fahrtrajektorie und/oder in Abhängigkeit von der Fahrroute und/oder in Abhängigkeit von einem Straßenverlauf erzeugt. Mittels der Fahrtrajektorie kann der Autopiloteinheit ein Fahrmanöver (zum Beispiel Überholen und/oder Spurwechsel) vorgegeben werden. Die Fahrtrajektorie kann beispielsweise auf der Grundlage einer Manöverplanung, wie sie an sich aus dem Stand der Technik im Zusammenhang mit dem automatisierten Fahren bekannt ist, gebildet sein. Auf Grundlage der Fahrroute kann die generelle Fahrrichtung und/oder die zu wählende Straße vorgegeben werden. Auf Grundlage des Straßenverlaufs kann das Kraftfahrzeug auf einer Straße gehalten oder entlanggeführt werden. Der Straßenverlauf selbst kann beispielsweise mittels einer digitalen Karte, also anhand von digitalen Kartendaten, ermittelt werden.
-
Als ein geeignetes jeweiliges virtuelles Hindernisobjekt hat sich ein Begrenzungsobjekt oder eine Begrenzung eines die Fahrroute umfassenden Fahrkorridors und/oder ein Sperrobjekt im Bereich einer zu vermeidenden Fahrtrichtung erwiesen, das jeweils in die Sensordaten eingeblendet werden kann. Der Fahrkorridor ist dabei insbesondere breiter als das Kraftfahrzeug selbst. Es handelt sich also nicht um die Vorgabe einer konkreten Fahrtrajektorie, sondern nur eines Korridors, innerhalb welchem die Autopiloteinrichtung selbst manövrieren kann, also beispielsweise einem in dem Fahrkorridor befindlichen oder eindringenden Hindernisobjekt ausweichen kann. Ein Fahrkorridor kann beispielsweise durch das Darstellen von Wänden als Hindernisobjekte gebildet sein. Ein Sperrobjekt kann beispielsweise an einer Kreuzung auf all jenen Straßen eingeblendet werden, in welche das Kraftfahrzeug nicht einbiegen soll. Hierdurch versperrt also das zumindest eine Sperrobjekt alle Fahralternativen, bis auf diejenige, welche die Autopiloteinrichtung auswählen soll. Ein Beispiel für ein Sperrobjekt ist ein Baum oder ein stehendes Kraftfahrzeug.
-
Als ein jeweiliges virtuelles Folgeobjekt kann ein zu befahrender, die Fahrroute umfassender Bodenbelag oder Streifen eingeblendet werden. Der Streifen ist dabei breiter als die Fahrzeugbreite des Kraftfahrzeugs, um in der beschriebenen Weise der Autopiloteinrichtung ein Manövrieren, zum Beispiel ein Ausweichen, innerhalb des Fahrstreifens zu ermöglichen. Zusätzlich oder alternativ dazu kann als zumindest ein virtuelles Folgeobjekt ein vor dem Kraftfahrzeug entlang der Fahrroute bewegtes Leitobjekt eingeblendet werden. Beispielsweise kann ein vor dem Kraftfahrzeug herfliegender oder herrollender Ball oder ein Leitfahrzeug eingeblendet werden.
-
Bevorzugt ist vorgesehen, dass die Autopiloteinrichtung das zumindest eine Steuersignal mittels eines künstlichen neuronalen Netzwerks (KNN), insbesondere eines tiefen künstlichen neuronalen Netzwerks, aus den Sensordaten erzeugt. Ein künstliches neuronales Netzwerk hat sich bei der Verarbeitung von Sensordaten zum Erzeugen des zumindest eines Steuersignals als vorteilhafte Lösung erwiesen.
-
Die Darstellungsdaten können in Bilddaten einer Kamera der Sensoreinrichtung und/oder in Radardaten eines Radars der Sensoreinrichtung und/oder in Ultraschalldaten eines Ultraschallsensors der Sensoreinrichtung eingefügt werden. Es wird also jeweils eine Augmented-Reality-Darstellung in Bilddaten und/oder Radardaten und/oder Ultraschalldaten erzeugt, indem die Gegenwart oder die Anwesenheit zumindest eines Objekts vorgetäuscht wird. Die Beschaffung der Darstellungsdaten ergibt sich dabei aus der Eigenschaft des zumindest einen verwendeten Sensors. In Bilddaten einer Kamera kann ein Bild eines Objekts (Hindernisobjekt und/oder Folgeobjekt) eingeblendet werden. In Radardaten können simulierte oder vorbereitete Reflektionsdaten eines virtuellen Objekts eingeblendet werden und/oder Ultraschalldaten.
-
Um das erfindungsgemäße Verfahren durchzuführen, also eine Autopiloteinrichtung dahingehend zu beeinflussen, dass sie das Kraftfahrzeug entlang einer Fahrroute führt, ist durch die Erfindung eine Steuervorrichtung für ein Kraftfahrzeug bereitgestellt. Eine solche Steuervorrichtung kann zum Beispiel als Steuergerät des Kraftfahrzeugs ausgestaltet sein. Die Steuervorrichtung weist eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Die Prozessoreinrichtung kann einen Programmcode umfassen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
-
Zu der Erfindung gehört auch ein Kraftfahrzeug, welches eine Ausführungsform der erfindungsgemäßen Steuervorrichtung aufweist. Das Kraftfahrzeug kann also eine Sensoreinrichtung und Autopiloteinrichtung aufweisen, die über die Steuervorrichtung gekoppelt sind. Alternativ dazu kann die Autopiloteinrichtung Bestandteil der Steuervorrichtung sein.
-
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.
-
Die Steuervorrichtung kann in dem Kraftfahrzeug in der beschriebenen Weise in die Sensordaten der Sensoreinrichtung die Darstellungsdaten zumindest eines virtuellen Hindernisobjekts und/oder zumindest eines Folgeobjekts einblenden oder einfügen.
-
Falls es sich bei dem zumindest einen Hindernisobjekt und/oder zumindest einen Folgeobjekt jeweils um ein solches handelt, das auch in den Sensordaten selbst als reales Objekt vorhanden sein könnte, zum Beispiel ein anderer Verkehrsteilnehmer (Kraftfahrzeug) und/oder eine Mauer oder ein Baum als Hindernisobjekt, so muss die Autopiloteinrichtung nicht weiter angepasst werden. Sie wird auf die Darstellungsdaten, also die künstlich eingeblendeten Abbildungen oder Fotos solcher realer Objekte, in derselben Weise reagieren wie auf die tatsächlichen in der Umgebung erkannten Hindernisobjekte.
-
Um aber auch ein Fantasieobjekt in die Sensordaten einblenden zu können, das der Autopiloteinrichtung in der realen Umgebung nicht begegnen kann, zum Beispiel eine Textur zum Kennzeichnen eines Fahrkorridors oder eines Fahrstreifens, oder ein schwebendes Leitobjekt, wie beispielsweise ein Ball, muss die Autopiloteinrichtung dazu trainiert werden, auch ein solches virtuelles Fantasieobjekt zu erkennen und ein vorgegebenes Steuersignal zu erzeugen, um einem solchen virtuellen Hindernisobjekt auszuweichen und/oder einem solchen Folgeobjekt zu folgen. Auch das Verfolgen eines Folgeobjekts muss einer Autopiloteinrichtung erst antrainiert werden.
-
Hierzu ist durch die Erfindung eine Trainingsvorrichtung für eine Autopiloteinrichtung bereitgestellt, wobei die Trainingsvorrichtung dazu eingerichtet ist, mittels einer Methode des maschinellen Lernens der Autopiloteinrichtung Trainingsdaten, die echte und/oder simulierte vorgefertigte Sensordaten sowie Labeldaten zum Kennzeichnen von in den vorgefertigten Sensordaten abgebildeten Hindernisobjekten enthalten vorzugeben. Dies ist das herkömmliche Training einer Autopiloteinrichtung, um auf reale, in einer Umgebung existierende Hindernisobjekte in der beschriebenen Weise zu reagieren. Die Trainingsvorrichtung ist aber des Weiteren dazu eingerichtet, in die Trainingsdaten auch Darstellungsdaten von zumindest einem virtuellen Hindernisobjekt und/oder von zumindest einem Folgeobjekt einzufügen sowie das zumindest eine virtuelle Hindernisobjekt und/oder das zumindest eine virtuelle Folgeobjekt jeweils kennzeichnende Labeldaten bereitzustellen. Hierdurch muss das zumindest eine virtuelle Hindernisobjekt und/oder das zumindest eine virtuelle Folgeobjekt nicht die Form und/oder das Aussehen eines tatsächlich im Straßenverkehr zu erwartenden Hindernisobjekt oder Folgeobjekt haben. Die Autopiloteinrichtung wird an das Aussehen auch künstlicher Hindernisobjekte und/oder Folgeobjekte trainiert, also an Fantasieobjekte.
-
Die Trainingsvorrichtung kann zum Beispiel eine Recheneinrichtung sein, die sich nicht im Kraftfahrzeug befinden muss. Die Trainingsvorrichtung ist dabei insbesondere dazu eingerichtet, mittels der Trainingsdaten ein künstliches neuronales Netzwerk des Autopiloten zu trainieren.
-
Als Trainingsmethoden kann zumindest eine Methode des maschinellen Lernens genutzt werden, zum Beispiel überwachtes Lernen (Supervised Learning), unüberwachtes Lernen (Unsupervised Learning), bestärkendes Lernen (Reinforcement Learning).
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs; und
- 2 eine schematische Darstellung zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens, das durch eine Steuervorrichtung des Kraftfahrzeugs von 1 durchgeführt werden kann.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 10, bei dem es sich um einen Kraftwagen, insbesondere einem Personenkraftwagen oder Lastkraftwagen, handeln kann. Dargestellt sind eine Sensorvorrichtung 11, eine Steuervorrichtung 12, eine Navigationseinrichtung 13, eine Autopiloteinrichtung 14 und eine abstrakte Repräsentation von Fahrzeug-Führungskomponenten 16, die zum Beispiel eine Lenkung 17, eine Motorsteuerung 18 und/oder eine Bremssteuerung 19 umfassen können.
-
Die Autopiloteinrichtung 14 kann für die Fahrzeugkomponenten 16 ein Steuersignal erzeugen, um hierdurch das Fahrzeug 10 automatisiert im Straßenverkehr zu führen. Um zumindest ein Hindernisobjekt 20, beispielsweise einen anderen Verkehrsteilnehmer, also zum Beispiel ein anderes Kraftfahrzeug, in einer Umgebung 21 erkennen zu können und daraufhin das Kraftfahrzeug mittels des Steuersignals 19 kollisionsfrei an dem Hindernisobjekt 20 vorbeiführen zu können, nutzt die Autopiloteinrichtung 14 aus der Sensoreinrichtung 11 bereitgestellte Sensordaten 22. Die Sensordaten 22 können beispielsweise Kameradaten sein.
-
Allerdings werden der Autopiloteinrichtung 14 die Sensordaten 22 nicht direkt bereitgestellt. Die Steuervorrichtung 12 kann der Sensoreinrichtung 11 und der Autopiloteinrichtung 14 zwischengeschaltet sein. Alternativ dazu kann die Autopiloteinrichtung 14 Bestandteil der Steuervorrichtung 12 sein. Die Steuervorrichtung 12 fügt in die Steuerdaten 22 zusätzliche Darstellungsdaten 23 ein, sodass sich ergänzte oder manipulierte Sensordaten 22' ergeben. Die Darstellungsdaten 23 können durch die Steuervorrichtung 12 in Abhängigkeit von Fahrroutendaten 24 erzeugt werden, welche eine zum Beispiel durch die Navigationsvorrichtung 13 ermittelte Fahrroute beschreiben oder repräsentieren.
-
In diesem Zusammenhang ist in 2 dargestellt, wie die Steuervorrichtung 12 aus den Sensordaten 22 durch Einfügen der Darstellungsdaten 23 die manipulierten Sensordaten 22' erzeugen kann. Hierzu ist beispielhaft ein Kamerabild 25 und ein manipuliertes Kamerabild 26 dargestellt. Das Kamerabild kann durch eine Kamera des Kraftfahrzeugs 10 erzeugt sein, die einen in Vorwärtsfahrrichtung vor dem Kraftfahrzeug 10 befindlichen Straßenverkehr erfasst. In Kamerabild 25 können mehrere Hindernisobjekte 27 abgebildet sein, beispielsweise der besagte andere Verkehrsteilnehmer 20.
-
Die Autopiloteinrichtung 14 kann beispielsweise auf der Grundlage eines künstlichen neuronalen Netzwerks KNN das Steuersignal 19 derart erzeugen, dass das Kraftfahrzeug 10 kollisionsfrei an den Hindernisobjekten 27 vorbeigeführt wird. Allerdings kann es dabei nicht gezielt der Fahrroute gemäß den Fahrroutendaten 24 folgen.
-
Die Steuervorrichtung 12 kann deshalb in Abhängigkeit von den Fahrroutendaten 24 zumindest ein künstliches Objekt in das Kamerabild 25 einblenden, sodass sich das manipulierte Kamerabild 26 ergibt. Dies wird durch Einfügen der Darstellungsdaten 23 in die Sensordaten 22 durchgeführt. Es kann zum Beispiel zumindest ein virtuelles Hindernisobjekt 28 eingeblendet werden, welches zum Beispiel einen Fahrkorridor 29 begrenzen kann, innerhalb welchem das Kraftfahrzeug 10 manövriert werden soll. Der Fahrkorridor 29 ist breiter als das Kraftfahrzeug 10, sodass ein in den Fahrkorridor 29 ein dringendes Hindernisobjekts 30 mittels eines Ausweichmanövers durch die Autopiloteinrichtung 14 umfahren werden kann. Zusätzlich oder alternativ zu einem virtuellen Hindernisobjekt 28 kann ein virtuelles Folgeobjekt 31 eingeblendet werden, in dessen Richtung die Autopiloteinrichtung 14 die Fahrmanöver ausrichten kann, um hierdurch dem Folgeobjekt 31 zu folgen. In 2 ist beispielhaft ein schwebender Ball als Folgeobjekt 31 in das manipulierte Kamerabild 26 eingeblendet oder eingefügt. Das Folgeobjekt 31 kann z.B. derart eingeblendet werden, als flöge es vor dem Kraftfahrzeug 10 entlang der Fahrroute 24' her. Als Folgeobjekt 31 kann zusätzlich oder alternativ ein der Fahrkorridor 29 markiert werden, z.B. als farbiger und/oder mit einer Textur versehener Fahrstreifen.
-
Das manipulierte Kamerabild 26 enthält somit sowohl Abbildungen realer Hindernisobjekte 27 und/oder der Umgebung 21 als auch künstliche, virtuelle Objekte 28, 31. Damit stellt das manipulierte Kamerabild 26 ein Nähe augmentierte Realität dar.
-
Durch Einbinden einer Kamera in ein neuronales Netzwerk, insbesondere ein tiefes neuronales Netzwerk, kann also durch geeignete Augmentierung des Kamerabildes 26 eine Steuerung des künstlichen neuronalen Netzes KNN erfolgen.
-
Augmentierung bedeutet dabei insbesondere die Integration von virtuellen Elementen oder Objekten in ein Kamerabild 26. Entsprechend kann durch eine solche Integration ein Fahrerschlauch oder ein Fahrkorridor 29 oder eine Linie das künstliche neuronale Netzwerk derart beeinflussen, dass eine gewünschte Fahrroute 24' abgefahren wird. Das künstliche neuronale Netzwerk KNN kann hierbei in einem Trainingsvorgang mittels einer Trainingsvorrichtung auf ein gewünschtes Verhalten in Bezug auf ein virtuelles Hindernisobjekt 28 und/oder ein virtuelles Folgeobjekt 31 durch Definieren oder vorgeben entsprechender Labeldaten trainiert oder konfiguriert werden. Somit kann ein Fahrkorridor 29 durch den Straßenverlauf an sich und das Navigationsziel, durch welches die Fahrroute 24' definiertes, festgelegt werden. Das künstliche neuronale Netzwerk KNN lernt dann, den Fahrkorridor 29 nicht zu verlassen oder zu durchqueren. Je nach Navigationsziel wird dann der Fahrkorridor 29 angepasst.
-
Da die Augmentierung direkt auf dem Sensorbild oder Kamerabild 25 erfolgt, beeinflusst dies nicht die von dem Fahrer des Kraftfahrzeugs 10 wahrgenommene Umgebung.
-
Somit können also auch automatisierte oder autonome Fahrvorgänge einer Fahrroute 24' einer Navigationseinrichtung 13 folgen.
-
Soll das Kraftfahrzeug 10 abbiegen können, kann in das Kamerabild 25 auf Basis der Ego-Position oder Eigenposition des Kraftfahrzeugs 10 ein aus dieser Perspektive dargestelltes virtuelles Element (Hindernisobjekt oder Folgeobjekt) eingeblendet werden. Dem künstliche neuronale Netzwerk KNN wird durch Training in dieser virtuellen Objekte oder Elemente beigebracht, diese nicht zu durchdringen und entsprechend dem Fahrkorridor 29 oder Fahrschlauch zu folgen. Die exakte Gestaltung der virtuellen Elemente ist dabei frei wählbar, da sie dem künstliche neuronale Netzwerk KNN in einer Trainingsphase angelernt werden können.
-
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren zur Routenverfolgung und Navigation während einer autonomen Fahrt mittels künstlichen neuronalen Netzwerken bereitgestellt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013016488 A1 [0004]
- DE 10358498 A1 [0005]
- DE 102015115666 A1 [0006]
