DE112017007793T5

DE112017007793T5 - Anomalieerkennung im innenraum eines autonomen fahrzeugs

Info

Publication number: DE112017007793T5
Application number: DE112017007793.1T
Authority: DE
Inventors: Bruno Sielly Jales Costa; Hanieh Deilamsalehy; Marcos Pau Gerardo Castro; Smita Vinayak Bailur; Jinesh J. Jain
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2017-08-25
Filing date: 2017-08-25
Publication date: 2020-05-28
Also published as: CN111051171A; US11270689B2; WO2019040080A1; US20200365140A1

Abstract

Diese Offenbarung stellt Anomalieerkennung im Innenraum eines autonomen Fahrzeugs bereit. Ein autonomes Fahrzeug beinhaltet ein Mikrofon, das Geräusche in dem Innenraum des Fahrzeugs erfasst. Die Ausgabe des Innenraummikrofons wird gemäß einem nicht überwachten maschinellen Lernmodells verarbeitet, sodass Anomalien durch das Modell angegeben werden. Als Reaktion auf das Erkennen einer Anomalie wird ein entfernter Dispatcher benachrichtigt, der die Anomalie dann zurückweisen oder eine Anweisung an das Fahrzeug übertragen kann, um dessen Trajektorie zu ändern. Die Ausgabe eines Außenmikrofons und eines Infotainment-Systems kann vor der Verarbeitung aus der Ausgabe des Innenraummikrofons entfernt werden. Es kann als Reaktion darauf, dass in der Ausgabe des Innenraummikrofons ein gesprochenes Schlüsselwort erkannt wird, festgestellt werden, dass eine Anomalie aufgetreten ist.

Description

ALLGEMEINER STAND DER TECHNIK
GEBIET DER ERFINDUNG
Diese Offenbarung betrifft ein Sensorsystem und ein Verfahren für ein autonomes Fahrzeug.
ALLGEMEINER STAND DER TECHNIK
Jüngste Bekanntmachungen von verschiedenen Automobilunternehmen (einschließlich Ford) sagen voraus, dass in den kommenden Jahren vollständig autonome Autos (SAE-Stufe 4) kommerziell erhältlich sein werden. Die Abwesenheit eines Fahrers wirft mehrere Probleme auf, die in einem nicht autonomen Fahrzeug oder einem autonomen Fahrzeug mit einem Sicherheitsfahrer nicht erwartet wurden. Dies gilt insbesondere für Aktivitäten bezüglich Ride-Sharing und Ride-Hailing (bei denen der Fahrgast das Fahrzeug nicht besitzt).
Das hierin offenbarte System und die hierin offenbarten Systeme stellen eine verbesserte Herangehensweise zum Fördern der Sicherheit für autonome Fahrzeuge in der Abwesenheit eines Sicherheitsfahrers bereit.
Figurenliste
Damit die Vorteile der Erfindung ohne Weiteres verstanden werden, erfolgt durch Bezugnahme auf konkrete Ausführungsformen, die in den beigefügten Zeichnungen veranschaulicht sind, eine genauere Beschreibung der vorstehend kurz beschriebenen Erfindung. Unter der Annahme, dass diese Zeichnungen lediglich typische Ausführungsformen der Erfindung abbilden und daher nicht als den Umfang einschränkend aufzufassen sind, wird die Erfindung mit zusätzlicher Genauigkeit und Ausführlichkeit durch Verwendung der beigefügten Zeichnungen beschrieben und erläutert, in denen Folgendes gilt:

1A ist ein schematisches Blockdiagramm eines Systems zum Umsetzen von Ausführungsformen der Erfindung;
1B ist ein schematisches Blockdiagramm eines Fahrzeugs, das Innenraumsensoren zum Umsetzen von Ausführungsformen der Erfindung beinhaltet;
2 ist ein schematisches Blockdiagramm einer beispielhaften Rechenvorrichtung, die zum Umsetzen von Verfahren gemäß Ausführungsformen der Erfindung geeignet ist;
3 ist ein Prozessablaufdiagramm eines Verfahrens zum Erkennen von Anomalien in dem Innenraum eines autonomen Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung; und
4 ist ein Prozessablaufdiagramm eines Verfahrens zum Trainieren eines maschinellen Lernmodells zum Bewältigen von Anomalien in dem Innenraum eines Fahrzeugs gemäß einer Ausführungsform der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die 1A und 1B kann ein Fahrzeug 100 (siehe 1B) eine Steuerung 102 unterbringen. Das Fahrzeug 100 kann ein beliebiges im Fachgebiet bekanntes Fahrzeug beinhalten. Das Fahrzeug 100 kann alle Strukturen und Merkmale eines beliebigen fachbekannten Fahrzeugs aufweisen, darunter Räder, einen an die Räder gekoppelten Antriebsstrang, einen an den Antriebsstrang gekoppelten Motor, ein Lenksystem, ein Bremssystem und andere fachbekannte in ein Fahrzeug einzuschließende Systeme.
Wie hierin ausführlicher erörtert, kann die Steuerung 102 autonome Navigation und Kollisionsvermeidung durchführen. Die Steuerung 102 kann eine oder mehrere Ausgaben von einem oder mehreren Außensensoren 104 empfangen. Zum Beispiel können eine oder mehrere Kameras 106a an dem Fahrzeug 100 angebracht sein und empfangene Bildstreams an die Steuerung 102 ausgeben. Die Steuerung 102 kann einen oder mehrere Audiostreams von einem oder mehreren Mikrofonen 106b empfangen, die außerhalb des Fahrzeugs angebracht sind oder anderweitig Geräusche von außerhalb des Fahrzeugs empfangen. Die Außenmikrofone können zum Beispiel einen offenen Luftkanal zwischen einem Geräuschsensor und dem Außenbereich des Fahrzeugs aufweisen und sind vorzugsweise nicht innerhalb der Kabine des Fahrzeugs 100 angebracht. Das eine oder die mehreren Mikrofone 106b oder Mikrofonarrays 106b können an dem Fahrzeug 100 angebracht sein und Audiostreams an die Steuerung 102 ausgeben. Die Mikrofone 106b können Richtmikrofone mit einer Empfindlichkeit beinhalten, die mit dem Winkel variiert. In solchen Ausführungsformen kann die Richtung, in welche die Mikrofone erfassen, von dem Fahrzeug 100 nach außen gerichtet sein.
Die Außensensoren 104 können Sensoren wie etwa einen RADAR-Sensor (Radio Detection and Ranging - RADAR) 106c, einen LIDAR-Sensor (Light Detection and Ranging - LIDAR) 106d, einen SONAR-Sensor (Sound Navigation and Ranging - SONAR) 106e und dergleichen beinhalten.
Die Steuerung 102 kann ein autonomes Betriebsmodul 108 ausführen, das die Ausgaben der Außensensoren 104 empfängt. Das autonome Betriebsmodul 108 kann ein Hindernisidentifikationsmodul 110a, ein Kollisionsvorhersagemodul 110b und ein Entscheidungsmodul 110c beinhalten. Das Hindernisidentifikationsmodul 110a analysiert die Ausgaben der Außensensoren und identifiziert potenzielle Hindernisse, darunter Personen, Tiere, Fahrzeuge, Gebäude, Bordsteine und andere Objekte und Strukturen. Insbesondere kann das Hindernisidentifikationsmodul 110a Fahrzeugbilder in den Sensorausgaben identifizieren.
Das Kollisionsvorhersagemodul 110b sagt auf Grundlage seines gegenwärtigen Kurses oder gegenwärtig beabsichtigten Wegs vorher, welche Hindernisbilder wahrscheinlich mit dem Fahrzeug 100 kollidieren werden. Das Kollisionsvorhersagemodul 110b kann die Wahrscheinlichkeit einer Kollision mit durch das Hindernisidentifikationsmodul 110a identifizierten Objekten beurteilen. Das Entscheidungsmodul 110c kann eine Entscheidung zum Anhalten, Beschleunigen, Abbiegen etc. treffen, um Hindernissen auszuweichen. Die Art und Weise, auf die das Kollisionsvorhersagemodul 110b potenzielle Kollisionen vorhersagt, und die Art und Weise, auf die das Entscheidungsmodul 110c Maßnahmen ergreift, um potenzielle Kollisionen zu vermeiden, können einem beliebigen auf dem Fachgebiet autonomer Fahrzeuge bekannten Verfahren oder System entsprechen.
Das Entscheidungsmodul 110c kann die Trajektorie des Fahrzeugs durch Betätigen von einem oder mehreren Aktoren 112 steuern, welche die Richtung und die Geschwindigkeit des Fahrzeugs 100 steuern. Die Aktoren 112 können zum Beispiel einen Lenkaktor 114a, einen Fahrpedalaktor 114b und einen Bremsaktor 114c beinhalten. Die Konfiguration der Aktoren 114a-114c kann gemäß einer beliebigen Umsetzung derartiger auf dem Fachgebiet autonomer Fahrzeuge bekannter Aktoren erfolgen.
In hierin offenbarten Ausführungsformen kann das autonome Betriebsmodul 108 die autonome Navigation zu einem spezifizierten Ort, autonomes Parken und andere im Fachgebiet bekannte automatisierte Fahraktivitäten durchführen.
Das autonome Betriebsmodul 108 kann ferner ein Anomalieerkennungsmodul 110d beinhalten. Das Anomalieerkennungsmodul 110d erkennt Anomalien, die im Innenraum des Fahrzeugs auftreten, und ergreift darauf basierend Maßnahmen. Der Betrieb des Anomalieerkennungsmoduls 110d kann unter Bezugnahme auf die nachstehend beschriebenen 3 und 4 nachvollzogen werden.
Das Anomalieerkennungsmodul 110d kann die Ausgaben eines oder mehrerer Innenraumsensoren 116, wie etwa einer oder mehrerer Kameras 118a und eines oder mehrerer Innenraummikrofone 118b, als Eingaben nehmen.
Wie in 1B gezeigt, können eine oder mehrere Kameras 118a in dem Fahrzeug positioniert und derart ausgerichtet sein, dass sich alle Sitzpositionen im Sichtfeld von mindestens einer der Kameras 118a befinden. Andere Bereiche des Innenraums des Fahrzeugs können sich ebenfalls in dem Feld mindestens einer der Kameras 118a befinden. Es können auch Mikrofone 118b über den Innenraum hinweg verteilt sein, um Geräusche von Insassen des Fahrzeugs zu erkennen. Wie nachstehend erörtert, kann ein Außenmikrofon 106b als Referenz verwendet werden, um zwischen Außen- und Innengeräuschen zu unterscheiden.
Die Steuerung 102 kann in Datenkommunikation mit einem Server 120 stehen, wie etwa mithilfe eines Netzwerks 122, das eine beliebige verdrahtete oder drahtlose Netzwerkverbindung beinhalten kann, einschließlich einer Verbindung eines Mobilfunk-Datennetzes. Die hierin offenbarten Verfahren können durch den Server 120, die Steuerung 102 oder eine Kombination aus den beiden umgesetzt werden.
2 ist ein Blockdiagramm, das eine beispielhafte Rechenvorrichtung 200 veranschaulicht. Die Rechenvorrichtung 200 kann dazu verwendet werden, verschiedene Prozeduren durchzuführen, wie etwa die hierin erörterten. Die Steuerung 102 und das Serversystem 120 können einige oder alle der Attribute der Rechenvorrichtung 200 aufweisen.
Die Rechenvorrichtung 200 beinhaltet einen oder mehrere Prozessor(en) 202, eine oder mehrere Speichervorrichtung(en) 204, eine oder mehrere Schnittstelle(n) 206, eine oder mehrere Massenspeichervorrichtung(en) 208, eine oder mehrere Ein-/AusgabeVorrichtungen) (E/A-Vorrichtung(en)) 210 und eine Anzeigevorrichtung 230, die alle an einen Bus 212 gekoppelt sind. Der bzw. die Prozessor(en) 202 beinhalten eine(n) oder mehrere Prozessoren oder Steuerungen, die in der bzw. den Speichervorrichtung(en) 204 und/oder Massenspeichervorrichtung(en) 208 gespeicherte Anweisungen ausführen. Der bzw. die Prozessor(en) 202 können zudem verschiedene Arten von computerlesbaren Medien beinhalten, wie etwa einen Cache-Speicher.
Die Speichervorrichtung(en) 204 beinhalten verschiedene computerlesbare Medien, wie etwa flüchtigen Speicher (z.B. Direktzugriffsspeicher (random access memory - RAM) 214) und/oder nicht flüchtigen Speicher (z. B. Festwertspeicher (read-only memory - ROM) 216). Die Speichervorrichtung(en) 204 können zudem wiederbeschreibbaren ROM beinhalten, wie etwa Flash-Speicher.
Die Massenspeichervorrichtung(en) 208 beinhalten verschiedene computerlesbare Medien, wie etwa Magnetbänder, Magnetplatten, optische Platten, Festkörperspeicher (z. B. Flash-Speicher) und so weiter. Wie in 2 gezeigt, ist eine besondere Massenspeichervorrichtung ein Festplattenlaufwerk 224. Zudem können verschiedene Laufwerke in der bzw. den Massenspeichervorrichtung(en) 208 enthalten sein, um ein Auslesen aus und/oder Schreiben auf die verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 208 beinhalten Wechselmedien 226 und/oder Nicht-Wechselmedien.
Die E/A-Vorrichtung(en) 210 beinhalten verschiedene Vorrichtungen beinhalten, die es ermöglichen, dass Daten und/oder andere Informationen in die Rechenvorrichtung 200 eingegeben oder daraus abgerufen werden. Zu (einer) beispielhafte(n) E/A-Vorrichtung(en) 210 gehören Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems, Linsen, CCDs oder andere Bilderfassungsvorrichtungen und dergleichen.
Die Anzeigevorrichtung 230 beinhaltet eine beliebige Art von Vorrichtung, die dazu in der Lage ist, einem oder mehreren Benutzern der Rechenvorrichtung 200 Informationen anzuzeigen. Zu Beispielen für die Anzeigevorrichtung 230 gehören ein Monitor, ein Anzeigeendgerät, eine Videoprojektionsvorrichtung und dergleichen.
Zu Schnittstelle(n) 206 gehören verschiedene Schnittstellen, die es der Rechenvorrichtung 200 ermöglichen, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen zu interagieren. Zu (einer) beispielhaften Schnittstelle(n) 206 gehören eine beliebige Anzahl von unterschiedlichen Netzwerkschnittstellen 220, wie etwa Schnittstellen zu lokalen Netzwerken (local area networks - LANs), Weitverkehrsnetzwerken (wide area networks - WANs), drahtlosen Netzwerken und dem Internet. Zu (einer) andere(n) Schnittstelle(n) gehören eine Benutzerschnittstelle 218 und eine Peripherievorrichtungsschnittstelle 222. Die Schnittstelle(n) 206 kann/können zudem eine oder mehrere Peripherieschnittstellen beinhalten, wie etwa Schnittstellen für Drucker, Zeigevorrichtungen (Mäuse, Trackpad usw.), Tastaturen und dergleichen.
Der Bus 212 ermöglicht es dem bzw. den Prozessor(en) 202, der bzw. den Speichervorrichtung(en) 204, der bzw. den Schnittstelle(n) 206, der bzw. den Massenspeichervorrichtung(en) 208, der bzw. den E/A-Vorrichtung(en) 210 und der Anzeigevorrichtung 230 miteinander sowie mit anderen Vorrichtungen oder Komponenten, die an den Bus 212 gekoppelt sind, zu kommunizieren. Der Bus 212 stellt eine oder mehrere von mehreren Arten von Busstrukturen dar, wie etwa einen Systembus, einen PCI-Bus, einen IEEE-1394-Bus, einen USB-Bus und so weiter.
Zum Zwecke der Veranschaulichung sind Programme und andere ausführbare Programmkomponenten hier als diskrete Blöcke gezeigt und werden durch den bzw. die Prozessor(en) 202 ausgeführt, auch wenn es sich versteht, dass sich derartige Programme und Komponenten zu verschiedenen Zeitpunkten in unterschiedlichen Speicherkomponenten der Rechenvorrichtung 200 befinden können. Alternativ können die hierin beschriebenen Systeme und Prozeduren in Hardware oder einer Kombination aus Hardware, Software und/oder Firmware umgesetzt sein. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der in dieser Schrift beschriebenen Systeme und Prozesse ausführen.
Unter Bezugnahme auf 3 kann das veranschaulichte Verfahren 300 durch die Steuerung 102 oder durch die Steuerung 102 in Zusammenarbeit mit dem Serversystem 120 ausgeführt werden. Zum Beispiel können Sensorausgaben gemäß dem Verfahren 300 lokal verarbeitet werden oder zur Verarbeitung an das Serversystem 120 übertragen werden.
Das Verfahren 300 kann das Aufnehmen 302 von Ausgaben des einen oder der mehreren Innenraummikrofone 118b und des einen oder der mehreren Außenmikrofone 106b beinhalten. Die Ausgabe des einen oder der mehreren Außenmikrofone 106b kann von der Ausgabe des einen oder der mehreren Innenraummikrofone 118b subtrahiert 304 werden. Die Ausgaben eines oder beider Mikrofone 106b, 118b können vor dem Subtrahieren skaliert werden, um Empfindlichkeitsdifferenzen und Dämpfung von Geräuschen, die von außerhalb des Fahrzeugs in den Innenraum gelangen, zu berücksichtigen.
Wenn mehrere Außenmikrofone vorliegen, kann die Ausgabe jedes Mikrofons 106b von der Ausgabe des Mikrofons 118b subtrahiert werden, das dem jeweiligen Mikrofon 106b am nächsten liegt. Alternativ kann ein Mittel der Ausgaben der Mikrofone 106b von den Ausgaben aller Mikrofonen 118b subtrahiert werden.
Das Ergebnis von Schritt 304 ist ein erstes Differenzsignal, in welchem der Anteil von Geräuschen außerhalb des Fahrzeugs in Bezug auf die ursprüngliche Ausgabe des einen oder der mehreren Innenraummikrofone 118b reduziert ist. Daraufhin kann ein Infotainment-Audiosignal von dem ersten Differenzsignal subtrahiert 306 werden, um ein zweites Differenzsignal zu erlangen. Bei dem Infotainment-Audiosignal kann es sich um Signale handeln, die mit Lautsprechern innerhalb des Innenraums des Fahrzeugs gekoppelt sind, oder es kann von diesen abgeleitet sein. Dies reduziert den Einfluss von Geräuschen, die durch Innenraumlautsprecher des Fahrzeugs emittiert werden. Der Betrag des Infotainment-Audiosignals kann vor dem Subtrahieren gemäß einem vorbestimmten Wert skaliert werden, um das Infotainment-Audiosignal genauer aus dem zweiten Differenzsignal herauszulöschen.
Das zweite Differenzsignal kann eine Eingabe 308 für ein nicht überwachtes Anomalieerkennungsmodul sein. Insbesondere kann das zweite Differenzsignal in einen nicht überwachten maschinellen Lernalgorithmus eingegeben werden, der ein Modell gemäß dem Signal über die Zeit trainiert. Der nicht überwachte maschinelle Lernalgorithmus kann ein beliebiger nicht überwachter maschineller Lernalgorithmus sein, wie er im Fachgebiet bekannt ist. Das Ergebnis von Schritt 308 ist ein Modell, das ausgibt, ob ein gegebenes Signal eine Anomalie darstellt oder nicht. Insbesondere kann das nicht überwachte Anomalieerkennungsmodell hörbare Anomalien erkennen, die eine Notlage angeben (z. B. Schreien, Kreischen, Zusammenstöße, usw.).
Das Verfahren 300 kann ferner das Eingeben 310 des zweiten Differenzsignals in einen Schlüsselworterkennungsalgorithmus beinhalten. In einigen Anwendungen kann ein Fahrgast in dem Fahrzeug festlegen, das ein konkretes Schlüsselwort derart betrachtet werden soll, dass es eine Anomalie angibt. Das Schlüsselwort kann ein beliebiges willkürliches Wort oder eine beliebige willkürliche Wortgruppe sein, z. B. „Apfel“, „Wie wachsen die Blumen?“ oder dergleichen. Dieses Wort kann als Sprache oder als Text in die Steuerung 102 eingegeben werden, wie etwa vor dem Beginn einer Fahrt in dem Fahrzeug.
Dementsprechend kann der Schritt 310 das Identifizieren von Worten in dem zweiten Differenzsignal unter Verwendung einer beliebigen Herangehensweise zur Spracherkennung, wie sie im Fachgebiet bekannt sind, beinhalten.
Das Verfahren 300 kann das Bewerten 312, ob eine Anomalie in dem zweiten Differenzsignal erkannt wird, beinhalten. Es kann bestimmt 312 werden, dass eine Anomalie erkannt wird, wenn entweder (a) das nicht überwachte maschinelle Lernmodell eine Anomalie in dem zweiten Differenzsignal angibt oder (b) das vordefinierte Schlüsselwort in dem zweiten Differenzsignal erkannt wird. Wenn keine Anomalie festgestellt wird, kann das Verfahren 300 enden, d. h. nachfolgende Ausgaben der Mikrofone 118b können gemäß dem Verfahren 300 bewertet werden.
Wenn bestimmt 312 wird, dass eine Anomalie erkannt wird, dann können verschiedene Maßnahmen ergriffen werden. Es kann zum Beispiel eine Warnung an einen menschlichen Betreiber übertragen 314 werden. Dies kann ein menschlicher Betreiber in Datenkommunikation mit dem Serversystem 120 sein. Die Warnung kann in der Form einer E-Mail, eines Texts, oder einer anwendungsspezifischen Warnausgabe auf einer Rechenvorrichtung erfolgen, die durch den menschlichen Dispatcher verwendet wird, wie etwa eine Rechenvorrichtung, die einige oder alle Attribute der Rechenvorrichtung 200 aufweist.
Das Verfahren 300 kann ferner das Streamen 316 von Ausgaben von einer bzw. einem oder beiden der Kamera 118a und des einen oder der mehreren Mikrofone 118b an den menschlichen Betreiber beinhalten, z. B. an die gleiche Rechenvorrichtung, an die die Warnung übertragen 312 wurde oder an eine andere Rechenvorrichtung. Das Streamen 316 kann das Streamen des Teils der Ausgaben des einen oder der mehreren Mikrofone 118b beinhalten, der bei Schritt 302-312 bewertet wurde und für den bei Schritt 312 eine Anomalie angegeben wurde. Die Ausgabe des einen oder der mehreren Mikrofone 118b, die bei Schritt 316 gestreamt werden, können das zweite Differenzsignal beinhalten, das von der Ausgabe des einen oder der mehreren Mikrofone 118b abgeleitet wird.
Wenn festgestellt 318 wird, dass eine Eingabe von dem menschlichen Betreiber empfangen wird, die angibt, dass die Anomalie zurückgewiesen wird, dann kann das Verfahren 300 enden. Das Verfahren 300 kann dann für nachfolgende Ausgaben des einen oder der mehreren Mikrofone 118b wiederholt werden. Die Eingabe kann von der gleichen Rechenvorrichtung, an die die Warnung übertragen wurden, oder einer anderen Rechenvorrichtung empfangen werden.
Wenn dies nicht der Fall ist, kann das Verfahren 300 das Empfangen und das Ausführen 320 einer Anweisung von dem menschlichen Betreiber beinhalten, wie etwa von der gleichen Rechenvorrichtung, an die die Warnung übertragen 314 wurde, oder von einer anderen Rechenvorrichtung. Beispiele für Anweisungen können eine Anweisung zum Anhalten, Abbiegen, Verlangsamen, Fortfahren zu einem alternativen Zielort, Fortfahren zu einem Krankenhaus oder einem anderen Anbieter von Notfalldienstleistungen sowie eine beliebige andere Änderung des Betriebs oder der Trajektorie des Fahrzeugs beinhalten. Die Steuerung 102 führt dann die Anweisung zum Anhalten, Abbiegen, Verlangsamen oder anderweitigen autonomen Fortfahren zu dem in der Anweisung spezifizierten Zielort aus.
Unter Bezugnahme auf 4 kann ein maschinelles Lernmodell dazu trainiert werden, auf Grundlage erkannter Anomalien autonom Maßnahmen zu ergreifen, vorausgesetzt es liegen ausreichend Daten bezüglich erkannter Anomalien und Anweisungen eines Betreibers als Reaktion auf diese (entweder Zurückweisung oder Modifikationen des Fahrzeugbetriebs oder des Zielorts) vor.
Das veranschaulichte Verfahren 400 kann zum Beispiel das Speichern 402 von Sensordaten für einen Zeitabschnitt, in dem eine Anomalie erkannt wurde, z. B. 30 Sekunden, 1 Minute oder ein anderes Intervall vor oder nachdem die Anomalie erkannt wurde, beinhalten. Sensordaten können Ausgaben von Innenraumsensoren 116 und Außensensoren 104 beinhalten. Das Verfahren 400 kann ferner das Speichern 404 von Antworten des menschlichen Betreibers auf jede Anomalie (zurückgewiesen, Anhalten, Abbiegen, Verlangsamen, Ziel der neuen Route, usw.) beinhalten.
Die in den Schritten 402 und 404 gespeicherten Daten können dann verwendet werden, um ein maschinelles Lernmodell mit den Sensordaten zu trainieren 406, wobei eine Anomalie die Eingabe ist und die Antwort des Dispatchers auf die Anomalie die gewünschte Ausgabe für diese Sensordaten ist. Es können zum Beispiel viele tausend oder Dutzende tausend von Anomalien und deren entsprechende Antworten des Betreibers verarbeitet werden, um das maschinelle Lernmodell zu trainieren, damit es die Antwort des menschlichen Betreibers reproduziert. Das maschinelle Lernmodell kann ein beliebiges maschinelles Lernmodell sein, wie es im Fachgebiet bekannt ist, wie etwa ein tiefes neurales Netzwerk, ein Entscheidungsbaum, ein Clustering-Modell, ein Bayessches Netzwerk, ein genetisches Modell oder eine beliebige andere Art von maschinellem Lernmodell.
Das Verfahren 400 kann dann das Verarbeiten 408 nachfolgender Anomalien gemäß dem maschinellen Lernmodell beinhalten. Wenn zum Beispiel in dem Verfahren 300 eine Anomalie erkannt wird, können die Sensordaten (der Innenraumsensoren 116 und der Außensensoren 104) in das maschinelle Lernmodell eingegeben werden. Die Steuerung 102 kann jede Maßnahme ergreifen, die durch das maschinelle Lernmodell angegeben wird.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen zur Veranschaulichung konkrete Umsetzungen gezeigt sind, in denen die Offenbarung ausgeführt sein kann. Es versteht sich, dass andere Umsetzungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft beinhalten kann; es muss jedoch nicht jede Ausführungsform notwendigerweise diese(s) bestimmte Merkmal, Struktur oder Eigenschaft beinhalten. Darüber hinaus beziehen sich solche Formulierungen nicht notwendigerweise auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns liegt, diese(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, ob dies nun ausdrücklich beschrieben ist oder nicht.
Umsetzungen der hierin offenbarten Systeme, Vorrichtungen und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware beinhaltet, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie sie hierin erörtert sind. Umsetzungen innerhalb des Umfangs der vorliegenden Offenbarung können zudem physische und andere computerlesbare Medien zum Transportieren oder Speichern von computerausführbaren Anweisungen und/oder Datenstrukturen beinhalten. Bei derartigen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen computerausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien (-vorrichtungen). Bei computerlesbaren Medien, die computerausführbare Anweisungen transportieren, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend zumindest zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-vorrichtungen) und Übertragungsmedien.
Zu Computerspeichermedien (-vorrichtungen) gehören RAM, ROM, EEPROM, CD-ROM, Festkörperlaufwerke (solid state drives - „SSDs“) (z. B. auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher (phase-change memory - „PCM“), andere Speicherarten, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein beliebiges anderes Medium, das dazu verwendet werden kann, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf das durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere (entweder verdrahtete, drahtlose oder eine Kombination aus verdrahteter oder drahtloser) Kommunikationsverbindung einem Computer bereitgestellt oder auf diesen übertragen werden, sieht der Computer die Verbindung korrekt als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, die verwendet werden können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu transportieren, auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorangehenden sollten ebenfalls im Umfang computerlesbarer Medien enthalten sein.
Computerausführbare Anweisungen umfassen beispielsweise Anweisungen und Daten, die bei Ausführung auf einem Prozessor einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Anweisungen in einem Zwischenformat, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben worden ist, versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht unbedingt auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Patentansprüche offenbart.
Der Fachmann wird verstehen, dass die Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen angewendet werden kann, einschließlich eines Armaturenbrett-Fahrzeugcomputers, PCs, Desktop-Computern, Laptops, Nachrichtenprozessoren, Handvorrichtungen, Multiprozessorsystemen, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbarer Unterhaltungselektronik, Netzwerk-PCs, Minicomputern, Mainframe-Computern, Mobiltelefonen, PDAs, Tablets, Pagern, Routern, Switches, verschiedenen Speichervorrichtungen und dergleichen. Die Offenbarung kann zudem in verteilten Systemumgebungen umgesetzt werden, in denen sowohl lokale Computersysteme als auch entfernte Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus verdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen Speichervorrichtungen als auch in entfernten Speichervorrichtungen befinden.
Ferner können die in dieser Schrift beschriebenen Funktionen gegebenenfalls in einem oder mehreren der Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (Application Specific Integrated Circuits - ASICs) können zum Beispiel so programmiert sein, dass sie eines bzw. einen oder mehrere der in dieser Schrift beschriebenen Systeme und Prozesse ausführen. Bestimmte Begriffe werden in der gesamten Beschreibung und den Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Der Fachmann wird verstehen, dass auf Komponenten durch unterschiedliche Bezeichnungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch der Funktion nach.
Es ist anzumerken, dass die vorstehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination daraus umfassen können, um mindestens einen Teil ihrer Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der dazu konfiguriert ist, in einem oder mehreren Prozessoren ausgeführt zu werden, und kann Hardware-Logikschaltungen/elektrische Schaltungen beinhalten, die durch den Computercode gesteuert werden. Diese beispielhaften Vorrichtungen sind hierin zum Zwecke der Veranschaulichung bereitgestellt und sollen nicht einschränkend sein. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie es dem einschlägigen Fachmann bekannt ist.
Mindestens einige Ausführungsformen der Offenbarung sind auf Computerprogrammprodukte gerichtet, die eine derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software bewirkt bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen, dass eine Vorrichtung wie in dieser Schrift beschrieben betrieben wird.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben wurden, versteht es sich, dass diese lediglich als Beispiele und nicht zur Einschränkung dienen. Der einschlägige Fachmann wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der Offenbarung abzuweichen. Somit sollten die Breite und der Umfang der vorliegenden Offenbarung durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein. Die vorstehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargelegt worden. Sie erhebt keinerlei Anspruch auf Vollständigkeit und soll die Offenbarung nicht auf die genaue offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorstehend genannten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der Offenbarung zu bilden.

Claims

System für ein Fahrzeug, Folgendes umfassend: ein Innenraummikrofon, das einen Innenraum des Fahrzeugs erfasst; eine Steuerung, die an das Innenraummikrofon gekoppelt und zu Folgendem programmiert ist-- autonomen Bewirken, dass das Fahrzeug eine Trajektorie zurücklegt; Empfangen einer Ausgabe des Innenraummikrofons während des autonomen Zurücklegens der Traj ektorie; und Warnen eines entfernten menschlichen Dispatchers, wenn eine Ausgabe des Innenraummikrofons eine Innenraumanomalie angibt.
System nach Anspruch 1, wobei die Steuerung ferner zu Folgendem programmiert ist: Trainieren eines nicht überwachten maschinellen Lernmodells gemäß der Ausgabe des Innenraummikrofons über die Zeit; und Warnen eines entfernten menschlichen Dispatchers, wenn das nicht überwachte maschinelle Lernmodell angibt, dass die Ausgabe des Innenraummikrofons die Anomalie angibt.
System nach Anspruch 1, wobei die Steuerung ferner zu Folgendem programmiert ist: Durchführen von Spracherkennung in Bezug auf die Ausgabe des Innenraummikrofons; und Warnen eines entfernten menschlichen Dispatchers, wenn ein Ergebnis der Spracherkennung in Bezug auf die Ausgabe des Innenraummikrofons ein vorbestimmtes Schlüsselwort beinhaltet.
System nach Anspruch 1, wobei die Steuerung ferner zu Folgendem programmiert ist: Ändern der Trajektorie des Fahrzeugs gemäß der Anweisung, wenn eine Anweisung von dem menschlichen Dispatcher empfangen wird.
System nach Anspruch 1, ferner ein Außenmikrofon umfassend; wobei die Steuerung ferner zu Folgendem programmiert ist: Subtrahieren einer Ausgabe des Außenmikrofons von der Ausgabe des Innenraummikrofons, um ein Differenzsignal zu erlangen; und Warnen des menschlichen Dispatchers, wenn das Differenzsignal die Innenraumanomalie angibt.
System nach Anspruch 1, ferner ein Außenmikrofon umfassend; wobei die Steuerung ferner zu Folgendem programmiert ist: Subtrahieren einer Ausgabe des Außenmikrofons von der Ausgabe des Innenraummikrofons, um ein erstes Differenzsignal zu erlangen; Subtrahieren einer Ausgabe eines Infotainment-Audiosystems von dem ersten Differenzsignal, um ein zweites Differenzsignal zu erlangen; und Warnen des entfernten menschlichen Dispatchers, wenn das zweite Differenzsignal die Innenraumanomalie angibt.
System nach Anspruch 1, wobei die Steuerung ferner dazu programmiert ist, die Ausgabe des Innenraummikrofons an den entfernten menschlichen Dispatcher zu übertragen, wenn die Ausgabe des Innenraummikrofons die Innenraumanomalie angibt.
System nach Anspruch 1, ferner eine Kamera umfassend, wobei ein Sichtfeld der Kamera den Innenraum des Fahrzeugs beinhaltet; wobei die Steuerung ferner dazu programmiert ist, die Ausgabe des Innenraummikrofons und eine Ausgabe der Kamera an den entfernten menschlichen Dispatcher zu übertragen, wenn die Ausgabe des Innenraummikrofons die Innenraumanomalie angibt.
System nach Anspruch 1, ferner Folgendes umfassend: einen Lenkaktor; einen Bremsaktor; und einen Fahrpedalaktor; wobei die Steuerung ferner dazu programmiert ist, autonom durch Betätigen des Lenkaktors, des Bremsaktors und des Fahrpedalaktors zu bewirken, dass das Fahrzeug die Trajokterie zurücklegt.
System nach Anspruch 1, ferner Folgendes umfassend: einen Radio-Detection-and-Ranging-Sensor (RADAR-Sensor); und einen Light-Detection-and-Ranging-Sensor (LIDAR-Sensor); wobei die Steuerung ferner dazu programmiert ist, autonom zu bewirken, dass das Fahrzeug die Trajektorie gemäß des Ausgaben des RADAR-Sensors und des LIDAR-Sensors zurücklegt.
Verfahren, Folgendes durch eine Steuerung eines Fahrzeugs umfassend: Empfangen einer Ausgabe eines Innenraummikrofons, das einen Innenraum des Fahrzeugs erfasst; autonomes Bewirken, dass das Fahrzeug eine Trajektorie zurücklegt; Bestimmen, dass die Ausgabe des Innenraummikrofons eine Innenraumanomalie angibt; und als Reaktion auf das Bestimmen, dass die Ausgabe des Innenraummikrofons eine Innenraumanomalie angibt, Übertragen einer Warnung an einen menschlichen Dispatcher.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Trainieren, durch die Steuerung, eines nicht überwachten maschinellen Lernmodells gemäß der Ausgabe des Innenraummikrofons über die Zeit; Bestimmen, durch die Steuerung, dass das nicht überwachte maschinelle Lernmodell angibt, dass die Ausgabe des Innenraummikrofons die Anomalie angibt; und als Reaktion auf das Bestimmen, dass das nicht überwachte maschinelle Lernmodell angibt, dass die Ausgabe des Innenraummikrofons die Anomalie angibt, Übertragen, durch die Steuerung, der Warnung an den entfernten menschlichen Dispatcher.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Durchführen, durch die Steuerung, von Spracherkennung in Bezug auf die Ausgabe des Innenraummikrofons; Bestimmen, durch die Steuerung, dass ein Ergebnis der Spracherkennung in Bezug auf das Innenraummikrofon ein vorbestimmtes Schlüsselwort beinhaltet; und als Reaktion auf das Bestimmen, dass ein Ergebnis der Spracherkennung in Bezug auf die Ausgabe des Innenraummikrofons ein vorbestimmtes Schlüsselwort beinhaltet, Übertragen der Warnung an den menschlichen Dispatcher.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Empfangen, durch die Steuerung, einer Anweisung von dem menschlichen Dispatcher; und als Reaktion auf die Anweisung von dem menschlichen Dispatcher, Ändern, durch die Steuerung, der Trajektorie des Fahrzeugs gemäß der Anweisung.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Empfangen, durch die Steuerung, einer Ausgabe von einem Außenmikrofon; Subtrahieren, durch die Steuerung, der Ausgabe des Außenmikrofons von der Ausgabe des Innenraummikrofons, um ein Differenzsignal zu erlangen; Bestimmen, durch die Steuerung, dass das Differenzsignal die Innenraumanomalie gemäß einem Anomalieerkennungsalgorithmus angibt; und als Reaktion auf das Bestimmen, dass das Differenzsignal die Innenraumanomalie gemäß dem Anomalieerkennungsalgorithmus angibt, Übertragen, durch die Steuerung, der Warnung an den menschlichen Dispatcher.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Empfangen, durch die Steuerung, einer Ausgabe von einem Außenmikrofon; Subtrahieren, durch die Steuerung, der Ausgabe des Außenmikrofons von der Ausgabe des Innenraummikrofons, um ein erstes Differenzsignal zu erlangen; Subtrahieren, durch die Steuerung, einer Ausgabe eines Infotainment-Audiosystems von dem ersten Differenzsignal, um ein zweites Differenzsignal zu erlangen; Verarbeiten des zweiten Differenzsignals gemäß einem Anomalieerkennungsalgorithmus; Bestimmen, dass eine Ausgabe des Anomalieerkennungsalgorithmus eine Innenraumanomalie angibt; und als Reaktion auf das Bestimmen, dass die Ausgabe des Anomalieerkennungsalgorithmus die Innenraumanomalie angibt, Übertragen, durch die Steuerung, der Warnung an den entfernten menschlichen Dispatcher.
Verfahren nach Anspruch 16, ferner das Übertragen des zweiten Differenzsignals an den entfernten menschlichen Dispatcher als Reaktion auf das Bestimmen umfassend, dass die Ausgabe des Anomalieerkennungsalgorithmus eine Innenraumanomalie angibt.
Verfahren nach Anspruch 11, ferner Folgendes umfassend: Empfangen, durch die Steuerung, einer Ausgabe einer Kamera, wobei ein Sichtfeld der Kamera den Innenraum des Fahrzeugs beinhaltet; und als Reaktion auf das Bestimmen, dass die Ausgabe des Innenraummikrofons eine Innenraumanomalie angibt, Übertragen der Ausgabe des Innenraummikrofons und der Ausgabe der Kamera an den entfernten menschlichen Dispatcher.
Verfahren nach Anspruch 11, ferner das autonome Bewirken durch Betätigen eines Lenkaktors, eines Bremsaktors und eines Fahrpedalaktors, durch die Steuerung, dass das Fahrzeug die Trajektorie zurücklegt, umfassend.
Verfahren nach Anspruch 11, ferner das autonome Bewirken, durch die Steuerung, dass das Fahrzeug die Trajektorie gemäß den Ausgaben eines Radio-Detection-and-Ranging-Sensors (RADAR-Sensors) und eines Light-Detection-and-Ranging-Sensors (LIDAR-Sensors) zurücklegt, umfassend.