-
QUERVERWEIS AUF BEZOGENE ANMELDUNG
-
Diese Anmeldung beansprucht die Priorität der
koreanischen Patentanmeldung Nr. 10-2017-0100429 , die am 8. August 2017 eingereicht wurde und die hierdurch für alle Zwecke so einbezogen wird, als ob sie hier vollständig offenbart wäre.
-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die vorliegende Offenbarung bezieht sich auf eine Selbstfahr-Steuertechnologie.
-
Beschreibung des Standes der Technik
-
In jüngerer Zeit wurde mit der Entwicklung der Fahrzeug-Steuertechnologie eine Selbstfahr-Steuertechnologie, bei der ein Fahrzeug ohne die Betätigung eines Fahrers selbst fährt, entwickelt.
-
Die Selbstfahr-Steuertechnologie erfasst Objekte nahe eines entsprechenden Fahrzeugs und steuert einen Fahrzustand und dergleichen des entsprechenden Fahrzeugs gemäß dem Verhalten der erfassten Objekte unter Verwendung des Erfassungsergebnisses.
-
Die gegenwärtige Selbstfahr-Steuertechnologie kann die Typen von Objekten durch Analyse von von vorausbefindlichen Objekten erfassten Signalen nicht genau klassifizieren, und somit ist eine Selbstfahrsteuerung nur unter spezifischen Bedingungen zulässig oder schwierig zu implementieren. Obgleich ein zuverlässiges autonomes Steuerziel (d. h., ein Objekt wie ein Fahrzeug oder dergleichen, das berücksichtigt wird, wenn ein entsprechendes Fahrzeug selbst fährt) erfasst wird, ist die Zuverlässigkeit der Erfassung nicht zufriedenstellend.
-
KURZFASSUNG DER ERFINDUNG
-
Bei dem vorgeschriebenen Hintergrund betreffen Ausführungsbeispiele der vorliegenden Offenbarung ein auf Deep Learning basierendes selbstfahrendes Fahrzeug, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren, die in der Lage sind, eine Selbstfahrsteuerung mit einem erforderlichen Grad in einer erforderlichen Situation durchzuführen, indem genau erkannt und unterschieden wird zwischen einem Steuerzielobjekt (z. B. einem vorausfahrenden Fahrzeug, einem Fußgänger, usw.), auf das Bezug genommen wird, während ein selbstfahrendes Fahrzeug fährt, und Strukturen (zum Beispiel eine Überführung, eine Deckplatte, usw.), auf die nicht Bezug genommen wird.
-
Ausführungsbeispiele der vorliegenden Offenbarung sehen auch ein auf Deep Learning basierendes selbstfahrendes Fahrzeug, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren vor, die in der Lage sind, ein Objektunterscheidungsvermögen unter Verwendung eines Sensorsignals eines Radarsensors oder dergleichen zu verbessern und ein Selbstfahren mit hoher Zuverlässigkeit zu ermöglichen.
-
Ausführungsbeispiele der vorliegenden Offenbarung sehen auch ein auf Deep Learning basierendes selbstfahrendes Fahrzeug, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren vor, die in der Lage sind, eine Selbstfahrsteuerung zu ermöglichen, die sogar die Fahrgewohnheiten eines Fahrers berücksichtigen.
-
Ausführungsbeispiele der vorliegenden Offenbarung sehen auch ein auf Deep Learning basierendes selbstfahrendes Fahrzeug, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren vor, die in der Lage sind, eine Erkennung und Unterscheidung eines Steuerzielobjekts mit einer geringeren Verarbeitungslast, einer schnelleren Verarbeitungsgeschwindigkeit und einer genaueren Erkennungsdurchführung zu ermöglichen.
-
Gemäß einem Aspekt können die vorliegenden Ausführungsbeispiele eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung vorsehen, welche enthält: eine Deep-Learning-Algorithmus-Ausführungseinheit, die konfiguriert ist zum Ausgeben eines Ergebnisses des Ausführens eines Deep-Learning-Algorithmus auf ein Überwachungssignal, das durch Überwachen einer Peripherie eines Fahrzeugs erhalten wurde; eine Selbstfahr-Steuereinheit, die konfiguriert ist zum, wenn das Fahrzeug selbst fährt, Steuern des Selbstfahrens des Fahrzeugs auf der Basis des Ergebnisses der Ausführung des Deep-Learning-Algorithmus; und eine Deep-Learning-Verarbeitungseinheit, die konfiguriert ist zum Ändern des Deep-Learning-Algorithmus mit Bezug auf Fahrer-Fahrinformationen.
-
Gemäß einem anderen Aspekt können die vorliegenden Ausführungsbeispiele ein auf Deep Learning basierendes selbstfahrendes Fahrzeug vorsehen, welches enthält: einen Sensor, der konfiguriert ist zum Überwachen einer Peripherie des Fahrzeugs und zum Ausgeben eines Überwachungssignals; eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung, die konfiguriert ist zum Durchführen eines Deep-Learning-Algorithmus bei dem Überwachungssignal und, wenn das Fahrzeug selbst fährt, Ausgeben eines Steuersignals zum Steuern des Selbstfahrens des Fahrzeugs auf der Grundlage eines Ergebnisses der Ausführung des Deep-Learning-Algorithmus, und Ändern des Deep-Learning-Algorithmus mit Bezug auf Fahrer-Fahrinformationen; und eine Antriebsvorrichtung, die konfiguriert ist zum Antreiben des Fahrzeugs gemäß dem Steuersignal.
-
Gemäß noch einem anderen Aspekt können die vorliegenden Ausführungsbeispiele ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren vorsehen, welches enthält: Ausgeben eines Ergebnisses des Ausführens eines Deep-Learning-Algorithmus bei einem Überwachungssignal, das durch Überwachen einer Peripherie eines Fahrzeugs erhalten wurde, wenn das Fahrzeug selbst fährt, Steuern des Selbstfahrens des Fahrzeugs gemäß dem Ergebnis der Ausführung des Deep-Learning-Algorithmus; und Ändern des Deep-Learning-Algorithmus mit Bezug auf Fahrer-Fahrinformationen.
-
Figurenliste
-
Die vorgenannten und andere Aspekte, Merkmale und Vorteil der vorliegenden Offenbarung werden ersichtlicher anhand der folgenden detaillierten Beschreibung, die in Verbindung mit den begleitenden Zeichnungen gegeben wird, in denen:
- 1 und 2 Ansichten sind, die ein auf Deep Learning basierendes selbstfahrendes Fahrzeug nach den vorliegenden Ausführungsbeispielen zeigen;
- 3 ein Blockschaltbild eines auf Deep Learning basierenden selbstfahrenden Fahrzeugs nach den vorliegenden Ausführungsbeispielen ist;
- 4 ein Blockschaltbild einer auf Deep Learning basierenden Selbstfahr-Steuervorrichtung nach den vorliegenden Ausführungsbeispielen ist;
- 5 eine Ansicht ist, die einen Deep-Learning-Algorithmus zum Steuern eines auf Deep Learning basierenden Selbstfahrens nach den vorliegenden Ausführungsbeispielen zeigt;
- 6 eine beispielhafte Ansicht eines neuralen Deep-Learning-Netzwerks eines Deep-Learning-Algorithmus zum Steuern von auf Deep Learning basierendem Selbstfahren nach den vorliegenden Ausführungsbeispielen ist;
- 7 ein Flussdiagramm eines auf Deep Learning basierenden Selbstfahr-Steuerverfahrens nach den vorliegenden Ausführungsbeispielen ist; und
- 8 ein Flussdiagramm einer Deep-Learning-Algorithmus-Änderungsoperation (Lernoperation) bei dem auf Deep Learning basierenden Selbstfahr-Steuerverfahren nach den vorliegenden Ausführungsbeispielen ist.
-
DETAILLIERTE BESCHREIBUNG DER EXEMPLARISCHEN AUSFÜHRUNGSBEISPIELE
-
Nachfolgend werden Ausführungsbeispiele der vorliegenden Offenbarung im Einzelnen mit Bezug auf die begleitenden Zeichnungen beschrieben. Hinsichtlich des Hinzufügens von Bezugszahlen zu Elementen in jeder Figur ist festzustellen, dass die gleichen Elemente, wenn möglich, durch die gleichen Bezugszahlen bezeichnet werden, obgleich sie in verschiedenen Zeichnungen gezeigt sind. Weiterhin wird in der folgenden Beschreibung der vorliegenden Offenbarung eine detaillierte Beschreibung von hierin enthaltenen bekannten Funktionen und Konfigurationen weggelassen, wenn bestimmt wird, dass die Beschreibung die Klarheit des Gegenstands der vorliegenden Erfindung beeinträchtigen könnte.
-
Zusätzlich können hier Begriffe wie erste, zweite, A, B, (a), (b) oder dergleichen verwendet werden, wenn sie Komponenten der vorliegenden Offenbarung beschreiben. Jeder dieser Begriffe wird nicht verwendet, um das Wesen, die Reihenfolge, die Sequenz oder die Anzahl einer entsprechenden Komponente zu definieren, sondern lediglich verwendet, um die entsprechende Komponente von anderen Komponenten zu unterscheiden. Es ist festzustellen, dass, wenn in der Beschreibung wiedergegeben ist, dass eine Komponente mit einer anderen Komponente „verbunden“, „gekoppelt“ oder „vereinigt“ ist, die erstgenannte direkt mit der zweitgenannten „verbunden“, „gekoppelt“ oder „vereinigt“ sei kann oder mit der zweitgenannten über eine andere Komponente „verbunden“, „gekoppelt“ oder „vereinigt“ sein kann.
-
Die 1 und 2 sind Ansichten, die ein auf Deep Learning basierendes Selbstfahrendes Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen zeigen.
-
Gemäß den 1 und 2 kann das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen, das ein Fahrzeug ist, das ohne eine Fahrerbetätigung selbst fährt, durch Prüfen von Straßenbedingungen automatisch fahren, selbst wenn ein Fahrer eine Bremse, ein Lenkrad, ein Gaspedal, usw. nicht steuert.
-
Das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen kann ein fahrerloses Auto enthalten.
-
Das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen kann durch Verwendung verschiedener Anwendungssteuertechnologien, die angewendet werden, um ein intelligentes Auto zu implementieren, selbst fahren.
-
Beispielsweise können eine Technologie zum automatischen Aufrechterhalten eines Abstands zwischen Fahrzeugen, ein Totpunkt-Erfassungssystem, ein autonomes Notbremssystem, ein Spurabweichungs-Warnsystem, ein Spurhalte-Unterstützungssystem, eine fortschrittliche intelligente Fahrsteuerung (ASCC) (eine Technologie, die einem Fahrzeug ermöglicht, mit einer gesetzten Geschwindigkeit zu fahren, während ein Abstand zu den vorausfahrenden Fahrzeugen eingehalten wird), eine Verkehrsstauunterstützung und dergleichen bei dem selbstfahrenden Fahrzeug 100 angewendet werden.
-
In dieser Beschreibung bezieht sich ein selbstfahrendes Fahrzeug 100 auf ein Fahrzeug, bei dem zumindest eine der vorbeschriebenen Funktionen zum automatischen Bestimmen der Geschwindigkeit oder des Lenkens ohne Fahrereingreifen angewendet wird. Das heißt, das selbstfahrende Fahrzeug 100 nach der vorliegenden Offenbarung enthält ein Fahrzeug, das in der Lage ist, einige Funktionen autonom zu steuern (z. B. Beschleunigung oder Verlangsamung) sowie ein Fahrzeug, das in der Lage ist, das gesamte Verhalten autonom zu steuern. Das heißt, die vorliegende Offenbarung kann auch bei einem Fahrzeug angewendet werden, das eine Fahrsteuerung durchführt. In dieser Beschreibung werden derartige Fahrzeuge insgesamt als ein selbstfahrendes Fahrzeug bezeichnet.
-
Derartige Steuertechnologien mit verschiedener Anwendung erfordern Technologien zum genauen Erfassen von Objekten nahe des selbstfahrenden Fahrzeugs 100.
-
Die Objekte (d. h., erfassten Objekte) nahe des selbstfahrenden Fahrzeugs 100 gemäß den vorliegenden Ausführungsbeispielen können andere vorausfahrende Fahrzeuge 110a und 110b, eine Struktur 110c nahe einer Straße, einen Fußgänger, usw. enthalten.
-
Das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen führt eine Selbstfahrsteuerung durch, d. h., sendet Sensorstrahlen, erfasst in der Nähe befindliche Objekte auf der Grundlage der empfangenen Signale unter Verwendung von Sensoren, und steuert seinen eigenen Fahrzustand gemäß dem Verhalten der erfassten Objekte.
-
Die in dem selbstfahrenden Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen installierten Sensoren können einen oder mehrere von einem Radarsensor (RS), einem Ultraschallsensor (US), einem Sichtsensor (VS), einem Lasersensor und einem Lidar-Sensor enthalten.
-
Verschiedene Typen und eine unterschiedliche Anzahl von Sensoren können an verschiedenen Positionen des selbstfahrenden Fahrzeugs 100 installiert sein.
-
Als ein Beispiel für die Selbstfahrsteuerung unter Verwendung von Objekterfassung sollte, wenn ein Fahrzeug 110a, das auf einer Fahrspur, auf der das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen fährt, vorausfährt, erfasst wird, das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen das erfasste Fahrzeug 110a als ein Steuerzielobjekt betrachten und die Geschwindigkeit, das Lenken und dergleichen des selbstfahrenden Fahrzeugs 100 entsprechend der Geschwindigkeit des Steuerzielobjekts steuern.
-
Als ein anderes Beispiel schließt, wenn eine einfache Straßenstruktur 110c wie eine Überführung, eine Deckplatte und ein Straßenzeichen, das sich voraus an einer Straße befindet, auf der das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen fährt, das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen die erfasste Straßenstruktur 110c als das Steuerzielobjekt aus und verlangsamt oder bremst nicht angesichts der Straßenstruktur 110c.
-
Als noch ein anderes Beispiel kann, wenn eine Straßenstruktur 110c wie ein Geschwindigkeitserzwingungssensor voraus auf der Straße, auf der das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen fährt, erfasst wird, das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen die Geschwindigkeit in Anbetracht des Orts und des Abstands von dem erfassten Geschwindigkeitserzwingungssensor steuern.
-
Als noch ein anderes Beispiel kann, wenn ein Fußgänger nahe einer Straße erfasst wird, auf der das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen fährt, das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen die Geschwindigkeit, das Lenken und dergleichen in Anbetracht des Orts und des Abstands von dem erfassten Fußgänger steuern.
-
Wie vorstehend beschrieben ist, besteht, um eine genaue Selbstfahrsteuerung durchzuführen, die Notwendigkeit für das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen, die Typen von Objekten genau zu klassifizieren und zu erfassen, sowie in der Nähe befindliche Objekte genau zu erfassen, um verschiedene Fahrzeugverhaltens-Steueroperationen (z. B. Geschwindigkeitssteuerung wie Beschleunigung und Verlangsamung, Bremssteuerung, Lenksteuerung und dergleichen) nur dann genau durchzuführen, wenn dies absolut erforderlich ist.
-
Jedoch kann eine herkömmliche Sensortechnologie die Anwesenheit von Abständen von und Orte von nahe befindlichen Objekten erfassen, aber kann nicht die Typen von Objekten genau klassifizieren und erfassen, und kann auch nicht das Erfassungsergebnis für die Steuerung des Fahrzeugverhaltens anwenden.
-
Somit kann das selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen die Typen der in der Nähe befindlichen Objekte auf der Grundlage von Deep Learning genau klassifizieren, ein Zielobjekt TAR, das die Selbstfahrsteuerung beeinflusst, auf der Grundlage der Klassifizierung auswählen und die Selbstfahrsteuerung in einem genauen Zustand durch einen genauen Grad der Steuerung durchführen.
-
Genauer gesagt, dass selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen führt einen Deep-Learning-Algorithmus aus durch Verwendung eines neuralen Deep-Learning-Netzwerks und führt dann die Selbstfahrsteuerung auf der Grundlage des Ausführungsergebnisses durch.
-
Um die Genauigkeit des Ergebnisses der Ausführung des Deep-Learning-Algorithmus unter Verwendung des neuralen Deep-Learning-Netzwerks zu erhöhen, muss der Deep-Learning-Algorithmus trainiert werden.
-
Das auf Deep Learning basierende selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen kann den Deep-Learning-Algorithmus unter Verwendung von Fahrer-Fahrinformationen trainieren, die während des Fahrens auf der Straße gesammelt werden, ohne dass das Sammeln oder Verarbeiten separater Trainingsdaten erforderlich ist. Demgemäß kann das auf Deep Learning basierende selbstfahrende Fahrzeug 100 nach dem vorliegenden Ausführungsbeispiel leicht die Genauigkeit des Ergebnisses des Ergebnisses des Ausführens des Deep-Learning-Algorithmus durch Erhöhen des Grads des Trainings des Deep-Learning-Algorithmus durch das kontinuierliche Fahren des Fahrers auf der Straße verbessern.
-
Da das auf Deep Learning basierende selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen den Deep-Learning-Algorithmus unter Verwendung der Fahrer-Fahrinformationen trainiert, ist es möglich, die Selbstfahrsteuerung durchzuführen, die sogar Fahrgewohnheiten eines Fahrers berücksichtigt.
-
3 ist ein Blockschaltbild des auf Deep Learning basierenden selbstfahrenden Fahrzeugs nach den vorliegenden Ausführungsbeispielen.
-
Gemäß 3 kann das auf Deep Learning basierende selbstfahrende Fahrzeug 100 nach den vorliegenden Ausführungsbeispielen enthalten: Einen Sensor 310, der konfiguriert ist zum Überwachen einer Peripherie des Fahrzeugs 100 und zum Ausgeben eines Überwachungssignals, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320, die konfiguriert ist zum Ausführen eines Deep-Learning-Algorithmus an dem Überwachungssignal, zum Ausgeben eines Steuersignals zum Steuern des Selbstfahrens des Fahrzeugs 100 auf der Grundlage eines Ergebnisses der Ausführung des Deep-Learning-Algorithmus, wenn das Selbstfahren durchgeführt wird, und zum Ändern des Deep-Learning-Algorithmus mit Bezug auf Fahrer-Fahrinformationen eines Fahrers 330, wenn das Selbstfahren nicht durchgeführt wird, und eine Antriebsvorrichtung 320, die konfiguriert ist, ein Antreiben des Fahrzeugs gemäß dem Steuersignal durchzuführen, und dergleichen.
-
Hier kann die Antriebsvorrichtung 320 eine oder mehrere von einer Geschwindigkeitseinstellvorrichtung, einer Lenkvorrichtung, einer Bremsvorrichtung, und dergleichen enthalten.
-
Durch die Ausführung des Deep-Learning-Algorithmus bei dem Überwachungssignal kann die auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320 bestimmen, ob ein Objekt vor dem Fahrzeug ein Steuerzielobjekt TAR für die Selbstfahrsteuerung auf der Grundlage des Überwachungssignals ist, und kann ein Deep-Learning-Algorithmus-Ausführungsergebnis enthaltend eine/eines oder mehrere von der Anwesenheit oder Abwesenheit von Steuerung, des Grads der Berechnungssteuerung (z. B. des Grads der Beschleunigung/Verlangsamungssteuerung entsprechend der Fahrzeug-Geschwindig-keits-Steuerinformationen), ein Steuerzielobjekt-Erkennungsergebnis, und dergleichen erwerben.
-
Die auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320 kann einen Deep-Learning-Trainingsprozess durchführen, wenn das Selbstfahren nicht durchgeführt wird.
-
Zu diesem Zweck kann die auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320 den Deep-Learning-Trainingsprozess enthaltend das Vergleichen des in dem Ergebnis des Ausführens des Deep-Learning-Algorithmus enthaltenen Grads der Berechnungssteuerung mit dem in den Fahrer-Fahrinformationen des Fahrers 330 enthaltenen Grads der Fahrereingabesteuerung, das Berechnen eines Fehlerwerts (einer Differenz zwischen dem Grad der Berechnungssteuerung und dem Grad der Fahrereingabesteuerung) gemäß einem Ergebnis des Vergleichs, und das Einstellen von Wichtungen in einem neuralen Deep-Learning-Netzwerk, das mit der Ausführung des Deep-Learning-Algorithmus assoziiert ist, auf der Grundlage des Fehlerwerts durchführen.
-
Der Sensor 310 kann einen oder mehrere von beispielsweise einem Radar-Sensor, einem Ultraschall-Sensor, einem Laser-Sensor, einem Lidar-Sensor und einem Sicht-Sensor enthalten.
-
4 ist ein Blockschaltbild einer auf Deep Learning basierenden Selbstfahr-Steuervorrichtung nach den vorliegenden Ausführungsbeispielen.
-
5 ist eine Ansicht, die einen Deep-Learning-Algorithmus zum Steuern des auf Deep Learning basierenden Selbstfahrens nach den vorliegenden Ausführungsbeispielen zeigt.
-
6 ist eine beispielhafte Ansicht eines neuralen Deep-Learning-Netzwerks des Deep-Learning-Algorithmus zum Steuern des auf Deep Learning basierenden Selbstfahrens nach den vorliegenden Ausführungsbeispielen.
-
Gemäß 4 kann die auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320 nach den vorliegenden Ausführungsbeispielen eine Deep-Learning-Algorithmus-Ausführungseinheit 410 enthalten, die konfiguriert ist zum Ausgeben des Ergebnisses des Ausführens des Deep-Learning-Algorithmus bei dem durch Überwachen der Peripherie des Fahrzeugs erhaltenen Überwachungssignals, eine Selbstfahr-Steuereinheit 420, die konfiguriert ist zum Steuern des Selbstfahrens des Fahrzeugs auf der Grundlage des Ergebnisses der Ausführung des Deep-Learning-Algorithmus, eine Deep-Learning-Verarbeitungseinheit 430, die konfiguriert ist zum Ändern des Deep-Learning-Algorithmus mit Bezug auf die Fahrer-Fahrinformationen des Fahrers 330, und dergleichen enthalten.
-
Die auf Deep Learning basierende Selbstfahr-Steuervorrichtung 320 kann als eine einzelne elektronische Steuereinheit (ECU) implementiert sein.
-
In einigen Fällen können die Deep-Learning-Algorithmus-Ausführungseinheit 410, die Selbstfahr-Steuereinheit 420, die Deep-Learning-Verarbeitungseinheit 430 und dergleichen in der auf Deep Learning basierenden Selbstfahr-Steuervorrichtung 320 als zwei oder mehr elektronische Steuereinheiten implementiert sein.
-
Beispielsweise können die Deep-Learning-Algorithmus-Ausführungseinheit 410 und die Deep-Learning-Verarbeitungseinheit 430 als eine ECU implementiert sein, und die Selbstfahr-Steuereinheit 420 kann als die andere ECU implementiert sein.
-
Wenn bestimmt wird, dass die Beschleunigungs-/Verlangsamungs-Steuerung für das Fahrzeug erforderlich ist, kann die Selbstfahr-Steuereinheit 420 den Grad der Beschleunigung-/Verlangsamungs-Steuerung als einen Zielgrad für die Steuerung des Fahrzeugs setzen und dann die Beschleunigung/Verlangsamung des Fahrzeugs steuern. Das heißt, die Selbstfahr-Steuereinheit 420 führt eine Verhaltenssteueroperation enthaltend eine Operation für die Antriebsvorrichtung des Fahrzeugs auf der Grundlage des durch das Ausführungsergebnis der Deep-Learning-Algorithmus-Ausführungs-einheit 410 erhaltenen Grads der Berechnungssteuerung durch.
-
Die Deep-Learning-Algorithmus-Ausführungseinheit 410 führt den Deep-Learning-Algorithmus bei einem durch den Sensor 310, der eine Peripherie des Fahrzeugs überwacht, erhaltenen Signal oder einem durch Verarbeitung des Signals erhaltenen Überwachungssignal aus.
-
Das Überwachungssignal kann in Abhängigkeit von dem Typ des Sensors 310 variieren.
-
Wenn beispielsweise der Sensor 310 ein Radar-Sensor ist, kann das Überwachungssignal ein Radar-Signal sein. Als ein anderes Beispiel kann, wenn der Sensor 310 ein Lidar-Sensor ist, das Überwachungssignal ein Lidar-Signal sein. Als noch ein anderes Beispiel kann, wenn der Sensor 310 ein Kamera-Sensor ist, das Überwachungssignal ein Kamera-Signal sein. Beispielsweise kann das Überwachungssignal ein Signal sein, das durch zumindest zwei oder mehr der vorbeschriebenen Sensoren 310 erzeugt wurde.
-
Durch die Ausführung des Deep-Learning-Algorithmus bei dem Überwachungssignal kann die Deep-Learning-Algorithmus-Ausführungseinheit 407 bestimmen, ob ein Objekt vor dem Fahrzeug ein Steuerzielobjekt für eine Selbstfahrsteuerung auf der Grundlage des Überwachungssignals ist, und kann ein Deep-Learning-Algorithmus-Ausführungsergebnis enthaltend eine/eines oder mehrere von der Anwesenheit oder Abwesenheit der Steuerung, des Grads der Berechnungssteuerung ein Steuerzielobjekt-Erkennungsergebnis und dergleichen sein.
-
Der Deep-Learning-Algorithmus verwendet ein neurales Deep-Learning-Netzwerk 500.
-
Der Deep-Learning-Algorithmus, der das neurale Deep-Learning-Netzwerk 500 verwendet, kann durch einen Prozessor entsprechend der Deep-Learning-Algorithmus-Ausführungseinheit 410 ausgeführt werden (oder ablaufen).
-
Auch können Daten hinsichtlich des neuralen Deep-Learning-Netzwerks 500, Daten hinsichtlich des Deep-Learning-Algorithmus unter Verwendung des neuralen Deep-Learning-Netzwerks 500 und dergleichen in einem Speicher gespeichert werden, der innerhalb oder außerhalb der Deep-Learning-Algorithmus-Ausführungseinheit 410 angeordnet ist.
-
Es wird beispielsweise angenommen, dass der Sensor 310 einen Radar-Sensor enthält. Wie in 5 gezeigt ist, kann der Deep-Learning-Algorithmus ein durch einen Radar-Signal-Prozess verarbeitetes Radar-Signal, durch FourierTransformation verarbeitete Daten, Kontextinformationen hinsichtlich umgebender Bedingungen und dergleichen durch eine Eingangsschicht empfangen, die empfangenen Daten, Informationen und dergleichen durch das neurale Deep-Learning-Netzwerk 500 durchlassen und kann das Deep-Learning-Algorithmus-Ausführungsergebnis zu der Ausgabeschicht ausgeben.
-
Beispielsweise kann das Deep-Learning-Algorithmus-Ausführungsergebnis, d. h., ein zu einem Ausgabeknoten Nout der Ausgabeschicht ausgegebener Wert eine/einen/eines oder mehrere von der Anwesenheit oder Abwesenheit einer Steuerung zum Selbstfahren, dem Grad der Berechnungssteuerung zum Selbstfahren, einem Steuerzielobjekt-Erkennungsergebnis, usw. enthalten.
-
Daten hinsichtlich des neuralen Deep-Learning-Netzwerks 500 werden innerhalb oder außerhalb der Deep-Learning-Algorithmus-Ausführungseinheit 410 gespeichert.
-
Gemäß 6 kann das neurale Deep-Learning-Netzwerk 500 eine Eingangsschicht mit mehreren Eingangsknoten Nin, eine Ausgangsschicht mit mehreren Ausgangsknoten Nout, eine oder mehrere verborgene Schichten, die jeweils mehrere Verbindungsknoten Ncon zum Verbinden der mehreren Eingangsknoten Nin mit den mehreren Ausgangsknoten Nout haben, und mehrere Wichtungslinien WL zum Verbinden der mehreren Eingangsknoten Nin mit den mehreren Verbindungsknoten Ncon und zum Verbinden der mehreren Verbindungsknoten Ncon mit den mehreren Ausgangsknoten Nout enthalten.
-
Jede der Wichtungslinien WL kann ein Gewicht haben.
-
Aufgrund der Gewichte der Wichtungslinien WL können unterschiedliche Ausgangssignale für dasselbe Eingangssignal erhalten werden, und die Genauigkeit des Deep-Learning-Algorithmus-Ausführungsergebnisses kann sich ändern.
-
Das von dem Sensor 310 ausgegebene Signal oder das durch Verarbeiten des Signals erhaltene Überwachungssignal kann zu der Eingangsschicht des neuralen Deep-Learning-Netzwerks 500 eingegeben werden, und das Deep-Learning-Algorithmus-Ausführungsergebnis kann an den mehreren Ausgabeknoten Nout der Ausgabeschicht des neuralen Deep-Learning-Netzwerks 500 ausgegebenen Werten entsprechen. Wenn beispielsweise angenommen wird, dass drei Ausgabeknoten Nout einem Fahrzeug, einem Fußgänger und einer Straßenstruktur entsprechen, können an den drei Ausgabeknoten Nout ausgegebene Werte einen dreidimensionalen Wahrscheinlichkeitssensor bilden. Die an den drei Ausgabeknoten Nout ausgegebenen Werte können eine Wahrscheinlichkeit, dass das erfasste Objekt ein Fahrzeug ist, eine Wahrscheinlichkeit, dass das erfasste Objekt ein Fußgänger ist und eine Wahrscheinlichkeit, dass das erfasste Objekt eine Straßenstruktur ist, enthalten.
-
Wenn das Selbstfahren nicht durchgeführt wird, kann die Deep-Learning-Verarbeitungseinheit 430 den Deep-Learning-Trainingsprozess enthaltend das Vergleichen des in dem Deep-Learning-Algorithmus-Ausführungsergebnis enthaltenen Grad der Berechnungssteuerung mit dem in den Fahrer-Fahrinformationen enthaltenen Grad der Fahrereingabesteuerung das Berechnen eines Fehlerwerts gemäß einem Ergebnis des Vergleichs, und das Einstellen der Wichtungen in dem neuralen Deep-Learning-Netzwerk, die mit der Ausführung des Deep-Learning-Algorithmus assoziiert sind, auf der Grundlage des Fehlerwerts durchführen.
-
Beispielsweise kann eine Wichtungslinie WL mit einer eingestellten Wichtung eine Wichtungslinie enthalten, die mit irgendeinem von zwei oder mehr Schichtknoten verbunden ist, für die jeweils der Grad der Berechnungssteuerung erhalten wird.
-
Die Deep-Learning-Verarbeitungseinheit 430 kann die Wichtung einer Wichtungslinie entsprechend der Ausgangsschicht aktualisieren und die Wichtung einer Wichtungslinie entsprechend der verborgenen Schicht aktualisieren im Verhältnis zu einem Fehlerwert, der unter Verwendung einer Differenz zwischen dem Grad der Berechnungssteuerung entsprechend dem Deep-Learning-Algorithmus-Ausführungsergebnis und dem in den Fahrer-Fahrinformationen enthaltenen Grad der Fahrereingabesteuerung berechnet wurde, um die Wichtungen in dem neuralen Deep-Learning-Netzwerk einzustellen.
-
Ein Verfahren des Findens einer Wichtung zum Minimieren des Fehlerwerts wird nachfolgend kurz beschrieben. Ein Rückwärtsausbreitungs-Algorithmus kann als ein Trainingsalgorithmus verwendet werden, der in dem neuralen Deep-Learning-Netzwerk 500 verwendet wird, das mehrschichtig ist und eine Vorwärtszuführung ermöglicht.
-
Gemäß dem Rückwärtsausbreitungs-Algorithmus wird durch Wiederholen eines Prozesses des Multiplexierens und mehrmaliges Addieren eines Eingangssignals zu den Wichtungen des neuralen Deep-Learning-Netzwerks 500 ein tatsächliches Ausgangssignal y (der Grad der Berechnungssteuerung) erhalten, das ein Ergebniswert für die Eingabe ist.
-
In diesem Fall ist das Ausgangssignal y (der Grad der Berechnungssteuerung) verschieden von einem gewünschten Ausgangssignal o (dem Grad der Fahrereingabesteuerung), das in den Trainingsdaten gegeben ist.
-
Als ein Ergebnis wird ein Fehlerwert e (= y - o) gleicher einer Differenz y - o zwischen dem tatsächlichen Ausgangssignal und dem gewünschten Ausgangssignal in dem neuralen Deep-Learning-Netzwerk 500 erzeugt.
-
Im Verhältnis zu dem auf diese Weise erzeugten Fehlerwert e werden das Gewicht der Wichtungslinie entsprechend der Ausgangsschicht und dann das Gewicht der Wichtungslinie entsprechend der verborgenen Schicht aktualisiert.
-
Eine Wichtungsaktualisierungsrichtung des Rückwärtsausbreitungs-Algorithmus (d. h., Ausgangsschicht → verborgene Schicht → Eingangsschicht) ist entgegengesetzt zu einer Verarbeitungsrichtung für das neurale Deep-Learning-Netzwerk 500 (d. h., Eingangsschicht → verborgene Schicht → Ausgangsschicht).
-
Das auf Deep Learning basierende Selbstfahr-Steuerverfahren des vorbeschriebenen, auf Deep Learning basierenden selbstfahrenden Fahrzeugs 100 nach den vorliegenden Ausführungsbeispielen wird mit Bezug auf die 7 und 8 kurz beschrieben.
-
7 ist ein Flussdiagramm des auf Deep Learning basierenden Selbstfahr-Steuerverfahrens nach den vorliegenden Ausführungsbeispielen.
-
8 ist ein Flussdiagramm einer Deep-Learning-Algorithmus-Änderungsoperation (Trainingsoperation) in dem auf Deep Learning basierenden Selbstfahr-Steuerverfahren nach den vorliegenden Ausführungsbeispielen.
-
Gemäß 7 kann das auf Deep Learning basierende Selbstfahr-Steuerverfahren nach den vorliegenden Ausführungsbeispielen enthalten: Empfangen eines Überwachungssignals entsprechend einem Überwachungsergebnis des Sensors 310 (S710), Verarbeiten des Überwachungssignals in einer Form, die zum Ausführen eines Deep-Learning-Algorithmus geeignet ist (S720), Ausgeben eines Ergebnisses des Ausführens des Deep-Learning-Algorithmus bei dem Überwachungssignal, das durch Überwachen einer Peripherie des Fahrzeugs 100 erhalten wurde (S730), bestimmen, ob das Selbstfahren durchgeführt wird (S740), Steuern des Selbstfahrens des Fahrzeugs gemäß dem Ergebnis des Ausführens des Deep-Learning-Algorithmus, wenn das Selbstfahren durchgeführt wird (S750), Ändern des Deep-Learning-Algorithmus mit Bezug auf Fahrer-Fahrinformationen, wenn das Selbstfahren nicht durchgeführt wird (S760), und dergleichen.
-
Die Operation S760, die eine Trainings(Maschinentrainings)-Operation ist, kann wiederholt durchgeführt werden.
-
Die Operation S730 kann enthalten: Bestimmen, ob ein Objekt vor dem Fahrzeug ein Steuerzielobjekt für Selbstfahrsteuerung auf der Grundlage des Überwachungssignals ist, und Erwerben und Ausgeben eines Deep-Learning-Algorithmus-Ausführungsergebnisses enthaltend eine/einen/eines oder mehrere von der Anwesenheit oder Abwesenheit der Steuerung, dem Grad der Berechnungssteuerung, einem Steuerzielobjekt-Erkennungsergebnis und dergleichen, durch die Ausführung des Deep-Learning-Algorithmus bei dem Überwachungssignal.
-
Gemäß 8 kann die Operation S760 entsprechend der Trainings(Maschinentrainings)-Operation enthalten: Vergleichen des in dem Deep-Learning-Algorithmus-Ausführungsergebnis enthaltenen Grads der Berechnungssteuerung mit dem in den Fahrer-Fahrinformationen enthaltenen Grad der Fahrereingabesteuerung, wenn das Selbstfahren nicht durchgeführt wird (S820), Berechnen eines Fehlerwerts gemäß einem Ergebnis des Vergleichs (S810), Einstellen von Wichtungen in einem neuralen Deep-Learning-Netzwerk, die mit der Ausführung des Deep-Learning-Algorithmus assoziiert sind, auf der Grundlage des Fehlerwerts (S830), usw.
-
Gemäß den vorbeschriebenen Ausführungsbeispielen ist es möglich, ein auf Deep Learning basierendes selbstfahrendes Fahrzeug 100, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung 300 und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren bereitzustellen, die in der Lage sind, eine Selbstfahrsteuerung in einem erforderlichen Grad (z. B. Anwesenheit oder Abwesenheit der Steuerung, der Grad der Steuerung, usw.) in einer erforderlichen Situation durch genaues Erkennen und Unterscheiden zwischen einem Steuerzielobjekt TAR (z. B. einem vorausfahrenden Fahrzeug, einem Fußgänger, usw.), auf das Bezug genommen wird, während das selbstfahrende Fahrzeug 100 fährt, und einer Struktur (zum Beispiele einer Überführung, einer Deckplatte, usw.), auf die nicht Bezug genommen wird, durchzuführen.
-
Gemäß den vorliegenden Ausführungsbeispielen ist es auch möglich, ein auf Deep Learning basierendes selbstfahrendes Fahrzeug 100, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung 300 und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren bereitzustellen, die in der Lage sind, ein Objektunterscheidungsvermögen unter Verwendung eines Sensorsignals eines Radar-Sensors oder dergleichen zu verbessern und das Selbstfahren mit hoher Zuverlässigkeit zu ermöglichen.
-
Gemäß den vorliegenden Ausführungsbeispielen ist es auch möglich, ein auf Deep Learning basierendes selbstfahrendes Fahrzeug 100, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung 300 und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren bereitzustellen, die in der Lage sind, eine Selbstfahrsteuerung zu ermöglichen, selbst wenn die Fahrgewohnheiten eines Fahrers berücksichtigt werden.
-
Gemäß den vorliegenden Ausführungsbeispielen ist es auch möglich, ein auf Deep Learning basierendes selbstfahrendes Fahrzeug 100, eine auf Deep Learning basierende Selbstfahr-Steuervorrichtung 300 und ein auf Deep Learning basierendes Selbstfahr-Steuerverfahren bereitzustellen, die in der Lage sind, eine Erkennung und Unterscheidung eines Steuerzielobjekts mit einer geringeren Verarbeitungslast, einer höheren Verarbeitungsgeschwindigkeit und einem genaueren Erkennungsvermögen im Vergleich zu einem eine große Datenmenge verwendenden Verfahren, das für ein Maschinentraining verwendet wird, zu ermöglichen.
-
Die vorstehende Beschreibung und die begleitenden Zeichnungen sind nur exemplarisch für die Lehre der vorliegenden Offenbarung, und es ist für den Fachmann offensichtlich, dass verschiedene Modifikationen und Veränderungen wie eine Kombination, eine Trennung, ein Ersetzen und Änderungen von Komponenten vorgenommen werden können, ohne die wesentlichen Eigenschaften der vorliegenden Offenbarung zu verlassen. Auch ist beabsichtigt, dass die hier offenbarten Ausführungsbeispiele den technischen Geist der vorliegenden Offenbarung nicht beschränken, sondern beschreiben, und der Bereich der vorliegenden Offenbarung ist nicht durch die Ausführungsbeispiele beschränkt. Der Bereich der vorliegenden Offenbarung ist anhand der angefügten Ansprüche auszulegen, und alle technischen Ideen innerhalb des Bereichs ihrer Äquivalente sollten als in dem Bereich der vorliegenden Offenbarung enthalten ausgelegt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-