-
Die Erfindung betrifft eine Überwachungseinrichtung für einen Innenraum eines Fahrzeugs, aufweisend einen ersten Sensor, welcher zur Erfassung des Innenraums anhand von ersten Innenraumdaten in einer ersten physikalischen Größe ausgebildet ist, und wobei der erste Sensor zum Weiterleiten der ersten Innenraumdaten an eine Analyseeinheit ausgebildet ist, und
zumindest einen zweiten Sensor, welcher zur Erfassung des Innenraums anhand von zweiten Innenraumdaten in einer zweiten, von der ersten unterschiedlichen physikalischen Größe ausgebildet ist, und wobei der zumindest zweite Sensor zum Weiterleiten der zumindest zweiten Innenraumdaten an die Analyseeinheit ausgebildet ist. Ferner betrifft die Erfindung ein Verfahren, welches insbesondere zur Durchführung auf der erfindungsgemäßen Überwachungseinrichtung ausgebildet ist, ein Fahrerassistenzsystem und ein Computerprogramm.
-
Menschen besitzen die Fähigkeit die Umgebung wahrzunehmen und auf diese Wahrnehmung angemessen zu reagieren. Der Fahrer kann beim Fahren durch Funktionen wie ABS (Antiblockiersystem), ESP (Electronic Stability Control) und automatisierten Notfallsystemen unterstützt werden.
-
Moderne Fahrzeuge werden jedoch zunehmend von Fahrerassistenzsystemen in autonomer oder automatisierter Betriebsweise betrieben und können komplett als fahrerlose Transportmittel ausgebildet sein. Durch das Zusammenspiel von Mikroprozessorsystemen, Sensoren und Aktoren kann das Fahrzeug weitgehend selbständig fahren.
-
Die autonome Betriebsweise eines Fahrzeugs kann in verschiedene Autonomiestufen unterteilt werden. Diese sind in eine erste Autonomiestufe, welche mit einer Fahrerassistenz ausgestaltet ist, über beispielsweise eine vierte und fünfte Autonomiestufe, bei der die Führung des Fahrzeugs dauerhaft und vollautomatisiert vom System übernommen wird und kein Fahrer mehr erforderlich ist, unterteilt. Bei einer solchen Vollautomatisierung ist außer dem Festlegen des Ziels und dem Starten des Systems kein menschliches Eingreifen mehr erforderlich.
-
Vorteilhaft sind solche hochautomatisierten Systeme vor allem bei Taxen und Bussen oder anderen öffentlichen Verkehrsmitteln.
-
Durch die automatisierte Fahrweise werden gefährliche Situationen, auf die eine Reaktion erfolgen muss, von einem Fahrer jedoch nicht mehr erfasst. Dies ist selbst dann der Fall, wenn zwar ein Fahrer vorhanden ist, dieser sich aber bedingt durch die nahezu selbsttätige Fahrweise weder auf Fahrzeuginsassen oder Umfeld konzentrieren muss. Hierzu kann es zu gefährlichen Situationen im Fahrzeug kommen.
-
Die
EP 2170657 B1 offenbart als Überwachungseinheit eine Vorrichtung, die geeignet ist, einen Ersthelfer über einen Fahrzeugnotfall zu informieren, wobei die Vorrichtung einen Datenprozessor in Kommunikation mit Folgendem umfasst:
- einem globalen Positionierungssystem, das dem Datenprozessor elektrische Signale bereitstellt, wobei die Daten einen Ort eines Fahrzeugs darstellen;
- einem Notfallsensor, der geeignet ist, einen Fahrzeugnotfall zu erkennen und dem Datenprozessor elektrische Signale bereitzustellen, die die Notsituation anzeigen; einem Sprachgenerator, der konfiguriert ist, elektrische Signale, die den Ort des Fahrzeugs und eine Notrufbenachrichtigung darstellen, in Sprachsignale umzuwandeln; einen Lautsprecher zum hörbaren Weitergeben einer Notrufbenachrichtigung an den Fahrzeuginsassen;
- eine Eingabevorrichtung, die geeignet ist, einen Abbruch des Notrufs durch den Insassen als Reaktion auf die Notrufbenachrichtigung zu empfangen; und ein Kommunikationsmodul, das angeordnet ist, um eine erste Kommunikationsverbindung mit einem ersten Mobiltelefon innerhalb des Fahrzeugs herzustellen;
- einen Verbindungsstatus mit dem ersten Mobiltelefon auf den Verlust der ersten drahtlosen Kommunikationsverbindung zu überwachen;
- eine Anzeige für den Fahrzeuginsassen zu erzeugen, wenn die erste drahtlose Kommunikationsverbindung verloren gegangen ist;
- und automatisch eine zweite drahtlose Kommunikationsverbindung mit einem zweiten Mobiltelefon innerhalb des Fahrzeugs herzustellen; wenn ein Notruf nicht vom Insassen abgebrochen wird, Initiieren eines Anrufs an einen Ersthelfer und Übermitteln
- von Sprachsignalen, die den Ort des Fahrzeugs darstellen, an das Mobiltelefon für eine Telefonkommunikation mit einem Ersthelfer.
-
Es ist daher eine Aufgabe der Erfindung, Mittel bereitzustellen mit welchen die Sicherheit für Fahrzeuginsassen erhöht werden kann.
-
Diese Aufgabe wird durch eine Überwachungseinrichtung mit den Merkmalen des Anspruchs 1, ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 13, sowie ein Verfahren mit den Merkmalen des Anspruchs 14 gelöst.
-
Ferner wird die Aufgabe gelöst durch ein Computerprogramm mit den Merkmalen des Anspruchs 15.
-
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
-
Die Aufgabe wird gelöst durch eine Überwachungseinrichtung für einen Innenraum eines Fahrzeugs, aufweisend einen ersten Sensor, welcher zur Erfassung des Innenraums anhand von ersten Innenraumdaten in einer ersten physikalischen Größe, ausgebildet ist, und wobei der erste Sensor zum Weiterleiten der ersten Innenraumdaten an eine Analyseeinheit ausgebildet ist,
und zumindest einen zweiten Sensor, welcher zur Erfassung des Innenraums anhand von zweiten Innenraumdaten in einer zweiten, von der ersten unterschiedlichen physikalischen Größe, ausgebildet ist, und wobei der zumindest zweite Sensor zum Weiterleiten der zumindest zweiten Innenraumdaten an die Analyseeinheit ausgebildet ist,
wobei
die Analyseeinheit umfasst ist, welche zur Fusion der ersten Innenraumdaten mit den zumindest zweiten Innenraumdaten ausgelegt ist, und welche ferner dazu ausgelegt ist, anhand der fusionierten Innenraumdaten eine Notsituation zu identifizieren, und welche ferner dazu ausgelegt ist, anhand einer identifizierten Notsituation eine Warnung zu erzeugen.
-
Eine Einteilung von Sensoren kann beispielsweise anhand von physikalischen Grö-ßen erfolgen. Physikalische Größen können beispielsweise Druck, Gewicht, Beschleunigung, Lichtstärke, Temperatur, Strahlung, Schall, magnetischer Fluss, Drehzahl und viele andere physikalische Größen sein. Zur Messung kann beispielsweise ein Schallwandler, beispielsweise ein Mikrofon zur Aufnahme von Schall, oder ein Bildsensor, beispielsweise ein Lichtsensor / Optoelektronischer Sensor (Kamera) zur Aufnahme von Licht vorgesehen sein. Dabei sind solche Lichtsensoren/Optoelektronische Sensoren beispielsweise Fotozellen oder Bildsensoren, wie CCD (chargecoupled device)-Sensoren, Super-CCD-Sensoren, oder CMOS-Sensoren (aktiver Pixelsensor). Ferner sind in Fahrzeugen beispielsweise Temperatursensoren vorgesehen, die ein elektrisches Signal als Maß für die Temperatur liefern.
-
Dabei kann unter Sensor auch nur diejenige Schnittstelle verstanden werden, welche die entsprechenden Sensordaten empfängt und weiterleitet.
-
Eine Fusion ist eine Verknüpfung der durch den ersten Sensor aufgenommenen ersten Innenraumdaten mit den durch den zumindest zweiten Sensor aufgenommenen zweiten Innenraumdaten. Es können auch mehrere Sensoren zur Erzeugung mehrerer Innenraumdaten vorhanden sein, welche miteinander fusioniert werden. Nach der Fusion werden die fusionierten Daten durch die Analyseeinheit weiterverarbeitet. Zur geeigneten Fusion der Sensordaten können verschiedene je nach Sensortyp angepasste Algorithmen verwendet werden.
-
Notsituationen können Auffälligkeiten/Gefahren oder eine abnormale Verhaltensweise sein. Ferner kann eine Notsituation auch einen einzelnen Fahrzeuginsassen betreffen, wie beispielsweise bei einem Herzinfarkt, Erbrechen, Ohnmacht etc.
-
Eine Analyseeinheit kann beispielsweise eine Datenverarbeitungseinheit sein, welche einen oder mehrere Prozessoren und/oder Grafikprozessoren, beispielsweise als SOC (system on chip), aufweist. Ferner kann die Analyseeinheit jedoch auch als Softwaremodul ausgebildet sein, oder eine Kombination aus Software- und Hardwaremodul sein.
-
Die Analyseeinheit kann zur Identifikation der Notsituation anhand der fusionierten Innenraumdaten ein Verfahren aus dem Bereich maschinelles Lernen umfassen. Hierfür kann die Analyseeinheit beispielsweise ein trainiertes künstliches neuronales Netz aufweisen. Ferner kann die Identifikation der Notsituation auch durch ein Soll/Ist-Vergleich mit vorgegebenen Situationen bewerkstelligt werden.
-
Durch die Verwendung mindestens zweier Sensoren, welche unterschiedliche Messgrößen liefern und/oder an unterschiedlichen Stellen des Fahrzeuges montiert sind, als auch die nachfolgende Fusion der Sensordaten und die Identifizierung durch eine Analyseeinheit anhand der fusionierten Sensordaten kann eine Notsituation besonders zuverlässig erkannt werden. Fehleinschätzungen können somit weitestgehend vermieden werden.
-
Durch eine solche erfindungsgemäße Überwachungseinrichtung kann die öffentliche Ordnung und die Sicherheit der Fahrzeuginsassen in Fahrzeugen, insbesondere in autonom oder automatisiert fahrenden Fahrzeugen, sichergestellt werden.
-
So können beispielsweise bei Fahrdiensten, Ridesharing oder Carsharing unerwartete Situationen sowohl durch fahrzeugexterne als auch durch fahrzeuginterne Ereignisse entstehen, die mittels der erfindungsgemäßen Überwachungseinrichtung identifiziert werden können.
-
Beispielsweise werden bei Vorhandensein eines Berufsfahrers im Fahrzeug, beispielsweise einem Taxi oder einem Bus viele Situationen im hinteren, für den Fahrer uneinsichtigen Bereich des Fahrzeugs erfasst, identifiziert und bei einer identifizierten Notsituation an eine zentrale Stelle weitergeleitet. Dadurch können gefährliche Situationen für den Berufsfahrer oder andere Fahrzeuginsassen vermieden, oder rechtzeitig Hilfe angefordert werden.
-
Die erfindungsgemäße Überwachungseinrichtung bewerkstelligt ein höheres Sicherheitsniveau für die Fahrzeuginsassen. Die erfindungsgemäße Überwachungseinrichtung ist beispielsweise sowohl bei autonom fahrenden Fahrdiensten, als auch bei Carsharing besonders sinnvoll.
-
Sind die Sensoren lediglich als Schnittstelle ausgebildet, so kann die erfindungsgemäße Überwachungseinrichtung als Softwaremodul ausgebildet werden.
-
Vorzugsweise ist die Analyseeinheit dazu ausgebildet, die identifizierte Notsituation zu klassifizieren und anhand der klassifizierten Notsituation eine Warnung zu erzeugen. Dadurch kann eine auf die Notsituation angepasste Warnung erzeugt werden. Somit wird anhand der klassifizierten Notsituation jeweils eine situationsgebundene Warnung erzeugt.
-
Vorzugsweise ist der erste Sensor als optischer Sensor, insbesondere als Bildsensor, ausgebildet. Dieser ist vorzugsweise als Frontkamera oder Frontkamerasystem ausgebildet, zur Aufnahme des Innenraums. Vorteilshafterweise sind mehrere optische Sensoren zur Erfassung vorgesehen, welche an verschiedenen Positionen im Fahrzeuginnenraum angeordnet sind. Mit Hilfe von optischen Sensordaten können Fahrzeuginsassen und Situationen erkannt werden. Durch den optischen Sensor kann beispielsweise eine Gestenerkennung erkannt werden. Anhand der Gestenerkennung kann eine Gefahr für den oder die Fahrzeuginsassen, z.B. körperliche Gewalt, erkannt werden. Ferner kann eine Rauchentwicklung, beispielsweise durch ein Feuer aufgrund eines technischen Defektes, oder Rauchen während der Fahrt, optisch erkannt werden. Ferner können anhand der optischen Innenraumdaten eine Gesichtserkennung / Personenidentifizierung bewerkstelligt werden, sowie die Anzahl der Personen identifiziert und beispielsweise bei einer Taxi-/Busfahrt mit der Rechnung verglichen werden.
-
Ferner können aktive- oder passive Sicherheitssysteme, beispielsweise Gurtanschnallsysteme, abhängig von der Personenposition erkannt und ggf. aktiviert werden, beispielsweise in Verbindung mit Sitz- und Positionserkennungssensoren.
-
Weiterhin vorzugsweise ist der zweite Sensor als Schallsensor ausgebildet. Dieser wandelt ein akustisches Signal in elektrische Signale um oder umgekehrt. Beispiele von Schallwandlern sind Mikrofone oder Lautsprecher. Durch die Ausbildung als Schallwandler können akustische Auffälligkeiten, wie beispielsweise laute Hilfeschreie wahrgenommen werden. Durch den akustischen Sensor und ggf. einer Spracherkennung können Gefahren, wie beispielsweise Belästigung, Bedrohung, der Fahrzeuginsassen einfach erkannt werden.
-
Durch eine Kombination von optischen Innenraumdaten und akustischen Innenraumdaten können Notsituationen durch die Analyseeinheit einfach identifiziert und vorzugsweise anschließend klassifiziert werden. So kann beispielsweise bei einer Gewaltsituation diese optisch, durch beispielsweise Gesten, als auch akustisch, beispielsweise durch Hilfeschreie, besser erkannt werden, sowie die Dringlichkeit/Auswahl einer Warnung besser an die Situation angepasst werden.
-
Vorzugsweise ist ein bidirektionales Kommunikationsmodul vorgesehen, wobei die Überwachungseinrichtung dazu ausgebildet ist, die Warnung über das bidirektionale Kommunikationsmodul an eine Überwachungszentrale zu übermitteln. Dabei wird nur bei einer identifizierten Notsituation die entsprechende Warnung an die Überwachungszentrale übermittelt, das heißt, nur bei Bedarf, beispielsweise eine Erkennung von einer Notsituation wie Auffälligkeiten/Gefahren. Dadurch ist der Datenschutz gewährleistet.
-
In bevorzugter Ausgestaltung umfasst die Warnung ein Übermitteln der fusionierten Innenraumdaten an die Überwachungszentrale. Dabei kann die Überwachungszentrale bei Gefahr für Hilfe sorgen. Durch das Vorhandensein einer Überwachungseinrichtung, welche mit einer Überwachungszentrale verbunden ist, können bereits im Vorfeld Gefahren vermieden werden, da die Fahrzeuginsassen aufgrund einer Übertragung bei Gefahr oder Gefährdung anderer Fahrzeuginsassen ihr Verhalten anpassen. Bei Ordnungswidrigkeiten können auch Personen von der Überwachungszentrale zeitweise, oder für immer beispielsweise für eine Busbeförderung/Zugbeförderung/Taxibeförderung gesperrt werden.
-
Eine solche Überwachungszentrale stellt ein höheres Sicherheitsniveau für die Fahrzeuginsassen dar. Die Überwachungszentrale kann sowohl auf die Innenraumdaten beispielsweise Bild/Video- als auch auf Audiodaten zurückgreifen und diese ggf. speichern. Durch Übermittlung und Speicherung nur bei einer Notsituation an die Überwachungszentrale wird der Datenschutz gewährleistet.
-
Vorzugsweise ist das bidirektionale Kommunikationsmodul dazu ausgebildet, von der Überwachungszentrale gesendete Bild- und/oder Tondaten zu empfangen, wobei die Überwachungseinrichtung zur Ausgabe der Bild- und/oder Tondaten ausgebildet ist. Somit kann die Überwachungszentrale auch durch die Ausgabe von Bild- und Tondaten (Stimmdaten) visuell und akustisch sofort bei einer Notsituation eingreifen. Die Bilddaten können beispielsweise auf einer Anzeigeeinheit, beispielsweise einem Head-Up-Display, oder Infotainment Display, dargestellt werden. Die Tondaten werden beispielsweise durch Lautsprecher ausgegeben.
-
Vorzugsweise ist das bidirektionale Kommunikationsmodul dazu eingerichtet, von der Überwachungszentrale gesendete Fahrzeugparameter zu empfangen, und die empfangenen Fahrzeugparameter an ein Fahrerassistenzsystem zur Anpassung der aktuellen Fahrzeugparameter weiterzuleiten. Dadurch kann beispielsweise bei einer akuten Gefahrensituation, beispielsweise Feuer im Fahrzeuginnenraum, ein sofortiger Fahrstopp bewerkstelligt werden. Dies dient zur weiteren Sicherheit der Fahrzeuginsassen.
-
Bevorzugt ist das bidirektionale Kommunikationsmodul als eine drahtlose Funkverbindung ausgestaltet. Drahtlose Funkverbindungen, können insbesondere über ein Mobiltelefonnetz, vorzugsweise über GSM (Global System for Mobile communications) oder Streaming oder Edge-Technologie, bewerkstelligt werden.
-
Vorzugsweise umfasst die Warnung ein Übermitteln eines Notrufes an eine entsprechende Notdienststelle. Dies kann beispielsweise die Feuerwehr, Notarzt, eine Zentrale eines Mobilitätsdienstleisters etc. sein, um bei einer akuten Gefahrensituation schnellstmöglich Hilfe herbeizuholen. Zusätzlich oder alternativ kann auch ein Notrufbutton hierfür vorgesehen sein, so dass der Fahrzeugfahrer, Mitfahrer oder Passagier situationsbedingt eingreifen und einen Notruf absetzen kann.
-
Vorzugsweise ist ein weiterer Sensor vorgesehen, wobei der weitere Sensor als Temperatursensor zur Erfassung der Innenraumtemperatur des Innenraums des Fahrzeugs als weitere Innenraumdaten ausgebildet ist und wobei der Temperatursensor zum Weiterleiten der weiteren Innenraumdaten an die Analyseeinheit ausgebildet ist. Dadurch kann beispielsweise im Sommer eine gefährlich ansteigende Temperatur erkannt werden, welche vor allem für ältere Menschen oder Kinder eine Gefahr darstellt. Die Temperatursensordaten werden durch die Analyseeinheit mit den ersten und zumindest zweiten Innenraumdaten zur weiteren Verarbeitung und zur Identifizierung und anschließenden Klassifizierung einer Notsituation fusioniert. Wird beispielsweise eine Warnung mit einer gefährlichen Temperatur an die Überwachungszentrale übermittelt, so kann diese einen Satz von Fahrzeugklimaregelungsparametern und/oder -einstellungen für den Fahrzeuginnenraum generieren und beispielsweise über das bidirektionale Kommunikationsmodul übermitteln. Das Kommunikationsmodul leitet diese vorzugsweise zur Steuerung an das Fahrerassistenzsystem weiter.
-
Vorzugsweise umfasst die Analyseeinheit zur Identifikation der Notsituation anhand der fusionierten Innenraumdaten ein Verfahren aus dem Bereich maschinelles Lernen. Das maschinelle Lernen kann Algorithmen aus dem Bereich überwachtes oder unüberwachtes Lernen umfassen. Unter maschinellen Lernen kann dabei die Generierung von Wissen aus Erfahrung verstanden werden, bei dem Lernalgorithmen aus Trainingsdatensätzen ein komplexes Modell entwickeln. Das trainierte Modell kann anschließend auf unbekannte Daten derselben Art angewendet werden. Maschinelles Lernen kann als Datenanalysemethode, die die automatische Erstellung von Analysemodellen ermöglicht, verstanden werden. Maschinelles Lernen ist ein Zweig der künstlichen Intelligenz. Solche Algorithmen eignen sich gut für die fusionierten Innenraumdaten.
-
In weiterer vorzugsweiser Ausgestaltung umfasst die Analyseeinheit zur Identifikation der Notsituation anhand der fusionierten Innenraumdaten ein trainiertes künstliches neuronales Netz.
-
Insbesondere kann dieses als Tiefes Neuronales Netz ausgebildet sein, um ein Tiefenlernen durchzuführen oder anzuwenden. Das von einem künstlichen neuronalen Netz durchgeführte oder angewendete Tiefenlernen kann einen oder mehrere Algorithmen anwenden.
-
Das künstliche neuronale Netz umfasst Eingangsknoten, ein oder mehrere verdeckte Schichten und Ausgangsknoten. Für Klassifizierungen, die Bilder betreffen, können Pixelwerte eines Eingabebilds, das einen Teil der Klassifizierung bildet, Eingangsknoten zugewiesen werden und dann durch das Netz gespeist werden. Am Ende der Berechnung kann der Ausgangsknoten einen Wert ergeben, der einer Klasse entspricht, die vom neuronalen Netz abgeleitet wurde.
-
Damit ein neuronales Netz in Klassen unterscheidet, muss es auf Grundlage von Trainingsdatensätzen angelernt werden.
-
Vorzugsweise ist das trainierte künstliche neuronale Netz als Convolutional Neural Network (CNN) oder als Generative Adversarial Networks (GANs) ausgebildet. Diese eignen sich besonders gut in Verbindung mit optischen und akustischen Sensoren und optischen und akustischen Sensordaten.
-
In weiterer bevorzugter Ausgestaltung ist ein weiterer Sensor vorgesehen, wobei der weitere Sensor zur Erfassung der Fahrzeugumgebung mittels Fahrzeugumgebungsdaten und zum Weiterleiten der Fahrzeugumgebungsdaten an die Analyseeinheit ausgebildet ist und wobei die Analyseeinheit zur Fusion der ersten Innenraumdaten mit den zumindest zweiten Innenraumdaten und den Fahrzeugumgebungsdaten ausgelegt ist, und welche ferner dazu ausgelegt ist, anhand der fusionierten Innenraumdaten und Fahrzeugumgebungsdaten eine Notsituation zu identifizieren.
Dadurch können Ereignisse im Fahrzeugumfeld mit Ereignissen im Fahrzeuginnenraum kombiniert werden, um eine Notsituation zu erkennen. Beispiele für die Anwendung können ein von außerhalb des Fahrzeuges gestarteter Raubüberfall, eine kritische fahrdynamische Situation (z. B. Ausbrechen des Fahr-zeugs aus der Fahrbahn), oder eine ungewollte Verlassung der geplanten Route (z. B. aufgrund nasser/vereister Straßenoberfläche die Fahrbahn/Straße verlassen) sein.
-
Ferner wird die Aufgabe gelöst durch ein Fahrerassistenzsystem mit einer wie oben beschriebenen Überwachungseinrichtung, wobei das Fahrerassistenzsystem zum Steuern des Fahrzeugs in einer autonomen oder automatisierten Betriebsweise ausgebildet ist. Durch eine solche Überwachungseinrichtung kann die Fahrsicherheit der Fahrzeuginsassen in einem autonomen oder automatisierten Fahrzeug erhöht werden. Gefahrensituationen/Notsituationen werden zuverlässig erkannt und eine Warnung ausgegeben. Diese Warnung kann vorzugsweise im Fahrzeuginnenraum selber angezeigt werden, als auch zu der Überwachungszentrale gesendet werden. Die Überwachungszentrale kann mit entsprechenden Aktionen, beispielsweise ein Informieren der Polizei, Notarzt, Zentrale eines Mobilitätsdienstleisters sowie dem Generieren von entsprechenden Fahrzeugparametern zum Einstellen der korrespondierenden Fahrzeugkomponenten durch das Fahrerassistenzsystem, beispielsweise zum Durchführen einer Fahrzeugverriegelung, oder rascher Veränderung der geplanten Trajektorie reagieren.
-
Ferner wird die Aufgabe gelöst durch ein Verfahren zur Überwachung für einen Innenraum eines Fahrzeugs mittels einer wie oben beschriebenen Überwachungseinrichtung mit den Schritten:
- - Erzeugen von ersten Innenraumdaten des Innenraums durch einen ersten Sensor, wobei der erste Sensor zur Erfassung einer ersten physikalischen Größe ausgebildet ist,
- - Weiterleiten der ersten Innenraumdaten an eine Analyseeinheit durch den ersten Sensor,
- - Erzeugen von zweiten Innenraumdaten des Innenraums durch einen zweiten Sensor, wobei der zweite Sensor zur Erfassung einer zweiten, von der ersten unterschiedlichen physikalischen Größe ausgebildet ist,
- - Weiterleiten der zweiten Innenraumdaten an die Analyseeinheit durch den zweiten Sensor,
- - Fusionieren der ersten Innenraumdaten mit den zumindest zweiten Innenraumdaten durch die Analyseeinheit,
- - Identifizieren einer Notsituation anhand der fusionierten Innenraumdaten durch die Analyseeinheit,
- - Erzeugen einer Warnung bei einer identifizierten Notsituation durch die Analyseeinheit.
-
Durch die Verwendung mindestens zweier Sensoren, welche unterschiedliche Messgrößen liefern, als auch die nachfolgende Fusion der Sensordaten und die Identifizierung durch eine Analyseeinheit anhand der fusionierten Sensordaten kann eine Notsituation besonders zuverlässig erkannt werden. Fehleinschätzungen können somit weitestgehend vermieden werden.
Das Verfahren kann somit als Softwaremodul ausgebildet sein.
-
Ferner wird die Aufgabe gelöst durch ein Computerprogramm, umfassend Befehle, die bewirken, dass die wie oben beschriebene Überwachungseinrichtung das wie oben beschriebene Verfahren ausführt. Das Computerprogramm kann dabei auf einem tragbaren Speicher, beispielsweise einem Speicherstick oder einer CD-Rom gespeichert sein und beispielsweise bei einem Werkstattbesuch installiert werden. Dabei kann das Computerprogramm als Datenträgersignal ausgebildet sein, um eine einfache Übertragung via Cloud/externen Rechner an ein dafür geeignetes Fahrzeug zu ermöglichen.
-
Weitere Merkmale der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:
- 1: ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem und einer erfindungsgemäßen Überwachungseinrichtung in einer ersten Ausgestaltung,
- 2: ein erfindungsgemäßes Verfahren,
- 3: ein Fahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem und einer erfindungsgemäßen Überwachungseinrichtung in einer zweiten Ausgestaltung.
-
Obwohl die Erfindung im Detail durch die bevorzugten Ausführungsbeispiele näher beschrieben wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt.
-
1 zeigt ein Fahrzeug 1 mit einer erfindungsgemäßen Überwachungseinrichtung 2, welche hier in einem Fahrerassistenzsystem integriert ist.
-
Die erfindungsgemäße Überwachungseinrichtung 2 weist als einen ersten Sensor mehrere Kameras 3 zur optischen Erfassung des Fahrzeuginnenraums auf. Diese sind zum Erfassen des vorderen Bereiches des Fahrzeuginnenraums, des hinteren Bereiches des Fahrzeuginnenraums und des mittleren Bereiches des Fahrzeuginnenraums in dem Fahrzeuginnenraum angeordnet. Die Kameras 3 sind bevorzugt Bildsensoren, wobei auch unterschiedliche optische Sensoren verwendet werden können. Die Verwendung mehrerer Kameras 3 an verschiedenen Positionen im Fahrzeuginnenraum garantiert auch eine optische Erfassung an nicht so zugänglichen/übersichtlichen Stellen im Fahrzeuginnenraum.
Die erfindungsgemäße Überwachungseinrichtung 2 weist als einen zweiten Sensor mehrere Schallwandler, hier als Mikrofone 4 ausgestaltet, auf. Die Verwendung mehrerer Mikrofone 4 erhöht die Verständlichkeit der Sprache, beispielsweise wenn jemand einen Herzinfarkt erlitten hat und nur noch unverständlich und leise reden kann. Die Mikrofone 4 sind vorzugsweise an verschiedenen Stellen im Fahrzeuginnenraum angeordnet.
-
Als weitere Sensoren sind Lautsprecher 5 im Fahrzeuginnenraum angeordnet, welche ein Ausgeben eines von einer Überwachungszentrale 10 übertragenen Tons/Tondaten ermöglichen. Alternativ können die Mikrofone 4 auch zum Ausgeben der Tondaten ausgestaltet sein.
-
Ferner kann noch ein Rauchmelder 6 im Fahrzeuginnenraum angeordnet sein. Dieser kann zur Detektion von Feuer oder Zigarettenrauch etc. ausgestaltet sein. Weiterhin kann noch ein Notrufbutton 7 vorgesehen sein, welcher beispielsweise mit einer Analyseeinheit 11 als auch direkt mit der Überwachungszentrale 10 verbunden ist.
-
Ferner ist noch ein Temperatursensor 12 vorgesehen, zum Ermitteln einer Temperatur im Fahrzeuginnenraum.
-
Ferner ist die Überwachungszentrale 10 vorgesehen. In dieser kann ein Kontrolleur/in zur Überwachung und zur Auswertung der bei einer Notsituation übersandten Innenraumdaten vorgesehen sein. Es ist jedoch auch denkbar, dass eine solche Auswertung computergestützt erfolgt.
-
Die Kameras 3, die Mikrofone 4 und der Lautsprecher 5, der Rauchmelder 6, der Notrufbutton 7 als auch der Temperatursensor 12 sind mit der Analyseeinheit 11 im Fahrzeug 1 verbunden.
-
Ferner können auch ein Gurtsensor, Sitzbelegungssensor und weitere, nicht dargestellte Sensoren vorhanden sein und mit der Analyseeinheit 11 verbunden sein. Ferner ist die Analyseeinheit 11 zur Fusionierung der Innenraumdaten und Identifizierung einer Notsituation vorgesehen. Die Analyseeinheit 11 umfasst dabei vorzugsweise eine Datenverarbeitungseinheit mit beispielsweise mehreren Mikroprozessoren und Grafikprozessoren, Speichereinheiten etc. Ferner umfasst die Analyseeinheit 11 zur Identifikation und vorzugsweise auch Klassifikation der Notsituation anhand der fusionierten Innenraumdaten ein trainiertes künstliches neuronales Netz. Ferner können die Identifikation der Notsituation auch beispielsweise durch einen Soll/Ist-Vergleich mit vordefinierten Situationen bewerkstelligt werden.
-
Vorzugsweise ist das trainierte künstliche neuronale Netz als Convolutional Neural Network (CNN) oder als Generative Adversarial Networks (GANs) ausgebildet. Convolutional Neural Networks extrahieren Merkmale aus Eingangsbildern und falten diese Bilder mittels Filter auf. Convolutional Neural Networks besitzen mehrere Faltungsschichten. Die Struktur eines klassischen Convolutional Neural Networks besteht aus einem oder mehreren Convolutional Layer, gefolgt von einem Pooling Layer. Die Convolutional-Schicht ist die Faltungsebene. Diese Schicht kann beliebig oft angewendet werden. Bei ausreichenden Wiederholungen wird von einem Tiefen Convolutional Neural Networks gesprochen. Die Pooling-Schicht verdichtet und reduziert die Auflösung der erkannten Merkmale in der Convolutional-Schicht.
-
Ein Convolutional Neural Network arbeitet robust und ist gegenüber Verzerrungen oder anderen optischen Veränderungen unempfindlich. Das Convolutional Neural Network kann unter verschiedenen Lichtverhältnissen und in unterschiedlichen Perspektiven aufgenommene Bilder verarbeiten. Es erkennt dennoch die typischen Merkmale eines Bildes und ist daher ist besonders für die Bild- und Audioerkennung geeignet.
-
Generative Adversarial Networks (GANs) ist ein Verfahren aus dem unüberwachten Lernen. Generative Adversarial Networks bestehen aus zwei künstlichen neuronalen Netzen, dem Generator und dem Diskriminator. GANs wird ebenfalls für die Bild- und Audioerkennung eingesetzt.
-
Auch andere KI (Künstliche Intelligenz)-Verfahren können herangezogen werden.
-
Die von den verschiedenen Sensoren erfassten Innenraumdaten werden an die Analyseeinheit 11 übertragen, welche eine Notsituation mittels des trainierten künstlichen Netzes erkennt und bei Erkennen einer Notsituation eine Warnung, beispielsweise die Innenraumdaten, an die Überwachungszentrale 10 überträgt.
-
Da nur bei Bedarf, das heißt, bei einer Erkennung einer Notsituation, beispielsweise Auffälligkeiten/Gefahren, eine solche Übertragung und ggf. Speicherung der Daten durch die Überwachungszentrale 10 stattfindet, ist der Datenschutz gewährleistet. Die Warnung umfasst dabei die Übertragung der Innenraumdaten, das heißt, Audio- und Tondaten, Temperatur, Rauchentwicklung etc.
-
Weiterhin ist eine Anzeigeeinheit 8 vorgesehen, welche beispielsweise als Head-UP-Display oder als Monitor ausgestaltet ist, und eine Darstellung der von der Überwachungszentrale 10 übertragenen Video-/Bilddaten im Fahrzeuginnenraum ermöglicht.
-
Ferner ist als Kommunikationsmodul eine bidirektionale Funkschnittstelle 9 vorgesehen, zum Übermitteln von Innenraumdaten an die Überwachungszentrale 10, sowie zum Empfang der von der Überwachungszentrale 10 gesendeten Ton- und Bilddaten zur Ausgabe auf der Anzeigeeinheit 8 und dem Lautsprecher 5. Die gesendeten Ton- und Bilddaten können an das Fahrerassistenzsystem oder an die Überwachungseinrichtung 2 weitergeleitet werden, welche dann die Ausgabe bewerkstelligt.
-
Durch die Überwachungszentrale 10 kann zunächst zur Klärung und zur Erhöhung der Sicherheit der Fahrzeuginsassen eine Bildübertragung und Tonübertragung von dem Kontrolleur in der Überwachungszentrale 10 an das Fahrzeug 1 bewerkstelligt werden. Die Bild- und Tondaten werden von der Funkschnittstelle 9 empfangen und durch die Überwachungseinrichtung 2 oder das Fahrerassistenzsystem auf den entsprechenden Geräten, hier der Anzeigeeinheit 8 und dem Lautsprecher 5 ausgegeben. Somit ist eine direkte Ton- und Bildkommunikation vom Kontrolleur der Überwachungszentrale 10 mit den Fahrzeuginsassen möglich. Dadurch erhöht sich das Sicherheitsniveau für die Fahrzeuginsassen.
-
Ferner können von der Überwachungszentrale 10 bei bestimmten Notsituationen Fahrzeugparameter generiert werden, welche von der Funkschnittstelle 9 empfangen und durch das Fahrerassistenzsystem zur Steuerung verschiedener Fahrzeugkomponenten verwendet werden können. So kann beispielsweise bei Rauchentwicklung durch Feuer ein sofortiger Stillstand des Fahrzeugs und ein Türöffnen bewerkstelligt werden.
-
Dadurch können problematische Fahrzeuginsassen beispielsweise an einer Weiterfahrt in autonom fahrenden Bussen/Taxen gehindert werden.
-
Auch kann die Überwachungszentrale 10 bei einem Feststellen einer Unstimmigkeit zwischen der Anzahl der beförderten Fahrzeuginsassen und der zahlenden Anzahl der Fahrzeuginsassen eine Warnung ausgeben. Eine solche Warnung könnte beispielsweise sein: Achtung Betrug.
-
Im nicht autonomen Fahrzeug kann der Fahrzeugfahrer, welcher beispielsweise durch die Überwachungszentrale 10 gewarnt worden ist, bei einer Notsituation, beispielsweise Belästigung eingreifen und einen Notruf absetzten. In den autonom fahrenden Fahrzeugen wird der Notruf beispielsweise von der Überwachungseinrichtung 2 abgesetzt.
-
Durch eine solche Überwachungseinrichtung 2 kann sowohl die öffentliche Sicherheit als auch die öffentliche Ordnung sichergestellt werden.
-
2 zeigt ein erfindungsgemäßes Verfahren in einer ersten Ausgestaltung.
-
Hierbei weist das Fahrzeug 1 (1) die Überwachungseinrichtung 2 (1) auf, welche mit Kameras 3 (1), Mikrofonen 4 (1) und dem Rauchmelder 6 (1) als auch dem Temperatursensor 12 (1) in einem ersten Schritt S1 Innenraumdaten aufnimmt.
-
In einem zweiten Schritt S2 werden die Innenraumdaten an die Analyseeinheit 11 (1) übermittelt und von dieser ausgewertet. Wird keine Notsituation erkannt, so werden die Daten bis zum Fahrtende aufgenommen und während der Fahrt bis zum Ende der Fahrt fortnehmend analysiert.
-
In einem dritten Schritt S3 wird eine Notsituation durch die Analyseeinheit 11 (1) erkannt.
-
In einem vierten Schritt S4 werden die Innenraumdaten durch die Funkschnittstelle 9 (1) an die Überwachungszentrale 10 (1) übermittelt. Ferner kann bereits eine erste Klassifikation mitübermittelt werden, beispielsweise: „Achtung Feuer“, wenn durch die Mikrofone 4 (1), beispielsweise Schreie „Feuer“, und dem Temperatursensor 12 (1), dem Rauchmelder 6 (1) und den Kameras 3 (1), entsprechende Innenraumdaten generiert und hinsichtlich dieser Notsituation identifiziert und klassifiziert worden sind.
-
In einem fünften Schritt S5 wird situationsabhängig eine Kommunikation zwischen den Fahrzeuginsassen und der Überwachungszentrale 10 (1), beispielsweise dem Kontrolleur, aufgebaut. Hierzu werden Bilddaten über die Funkschnittstelle 9 (1) zur Darstellung auf der Anzeigeeinheit 8 (1) und Tondaten über die Funkschnittstelle 9 (1) zur Ausgabe durch den Lautsprecher 5 (1) von der Überwachungszentrale 10 (1) übermittelt.
-
Bedarfsweise kann parallel oder im Anschluss daran, in einem sechsten Schritt S6 von der Überwachungszentrale 10 (1) ein Notruf abgesetzt werden, beispielsweise an eine Feuerwehr, Polizei, Notarzt etc.
-
In einem siebten Schritt S7 können situationsabhängig parallel zum fünften Schritt S5 oder sechsten Schritt S6 von der Überwachungszentrale 10 (1) Fahrzeugparameter generiert werden, welche über die Funkschnittstelle 9 (1) an das Fahrerassistenzsystem gesendet werden. Das Fahrerassistenzsystem kann nun mit diesen Fahrzeugparameter das Fahrzeug 1 (1) steuern. Dies ist beispielsweise bei einem Ausbruch von Feuer oder Belästigung der Fall. So können beispielsweise in diesem Fall Fahrzeugparameter generiert und übermittelt werden, welche für ein sofortiges Anhalten des Fahrzeugs 1 (1) und für das Öffnen der Fahrzeugtüren sorgen. 3 zeigt ein Fahrzeug 1 mit einem erfindungsgemäßen Fahrerassistenzsystem und einer erfindungsgemäßen Überwachungseinrichtung 2a in einer zweiten Ausgestaltung.
-
Die Überwachungseinrichtung 2a weist ebenfalls als Sensoren Kameras 3, Mikrofone 4, Lautsprecher 5 und den Rauchmelder 6 sowie den Temperatursensor 12 als auch die Anzeigeeinheit 8 und die Funkschnittstelle 9 auf. Ferner weist die Überwachungseinrichtung 2a die mit den Sensoren verbundene Analyseeinheit 11 auf.
-
Zudem weist die Überwachungseinrichtung 2a Radarsensoren 13 und/oder Lidarsensoren 14 und/oder Bildsensoren 15 auf, welche am Fahrzeug 1 zur Erfassung der Umgebung des Fahrzeugs 1 angeordnet sind. Die Radarsensoren 13 und/oder Lidarsensoren 14 und /oder Bildsensoren 15 generieren Fahrzeugumgebungsdaten, welche die Umgebung des Fahrzeugs 1 datentechnisch abbilden.
-
Diese Fahrzeugumgebungsdaten werden nun an die Analyseeinheit 11 (1) gesendet. Diese identifiziert nun eine Notsituation anhand der übersandten Innenraumdaten und der Fahrzeugumgebungsdaten. So kann beispielsweise ein unausweichlicher Unfall, wenn die Fahrzeuginsassen diesen beispielsweise durch Innenraumdaten wie Gesichts- und Tonausdruck anzeigen, in Verbindung mit den Fahrzeugumgebungsdaten vorab identifiziert werden. Somit ist auch für den Kontrolleur ersichtlich, warum beispielsweise die Fahrzeuginsassen panisch reagieren. Ferner ist es dadurch möglich, vorab einen Notruf abzusetzen, beispielsweise an die Polizei oder den Notarzt.
-
Die Lidarsensoren 14, Radarsensoren 13 und Bildsensoren 15 können ferner zur autonomen Betriebsweise des Fahrzeugs 1 verwendet werden.
-
Die Überwachungseinrichtung 2, 2a eignet sich besonders für autonom fahrende Fahrzeuge 1, welche keinen Fahrer und beispielsweise auch kein Lenkrad und kein Gaspedal haben. Solche Fahrzeuge 1 sind vorzugsweise derzeit noch als Kleinbusse ausgestaltet, und weisen überwiegend einen Elektromotor auf, der bis zu 45 km/h bis 130 km/h beschleunigen kann. Durch die erfindungsgemäße Überwachungseinrichtung 2,2a kann auf die sogenannten Operatoren, die alle Fahrten begleiten und notfalls eingreifen können, verzichtet werden. Dadurch ist ein großflächiger Einsatz solcher Kleinbusse ohne weitere Kosten durch den Operator in jedem der Kleinbusse möglich. Auch ist der Einsatz in sogenannten Robo-Shuttles möglich, oder auch in herkömmlichen Fahrzeugen.
-
Durch die erfindungsgemäße Überwachungseinrichtung 2,2a können akustische Auffälligkeiten, wie beispielsweise laute Hilfeschreie, wahrgenommen und als Notsituation identifiziert werden. Ferner können durch die optische Bilderkennung und eine Spracherkennung mittels der Analyseeinheit 11 Gefahren wie beispielsweise Belästigung, eine Bedrohung für Fahrzeuginsassen erkannt werden. Mittels der Sensordaten des zumindest akustischen und zumindest optischen Sensors, der Fusion der Sensordaten und der Analyseeinheit 11 können damit in Verbindung Gesten, wie beispielsweise körperliche Gewalt, erkannt werden. Ferner kann eine Rauchentwicklung, beispielsweise durch Feuer, beispielsweise aufgrund eines technischen Defektes oder Rauchen während der Fahrt, erkannt werden und darauf mittels der Überwachungszentrale 10 reagiert werden.
-
Ferner kann eine Gesichtserkennung durch die Analyseeinheit 11 vorgenommen werden.
-
Auch kann die Anzahl der Personen identifiziert und mit der Verrechnung verglichen werden. Aktive oder passive Sicherheitssysteme können durch die Überwachungseinrichtung 2,2a abhängig von den Personenpositionen aktiviert werden.
-
Durch die Verwendung von zumindest zwei Sensoren, welche verschiedene Größen messen, kann eine Notsituation sicher identifiziert werden. So können akustische Sensoren einen Hilfeschrei aufzeichnen und die optischen Sensoren beispielsweise eine Drohgeste aufzeichnen. Ferner kann durch eine steigende Temperatur mit einem müden Gesichtsausdruck und Schweißperlen auf eine gefährliche Innenraumtemperatur als Notsituation geschlossen werden.
-
Durch die bedarfsweise Verbindung mit einer Überwachungszentrale 10 wird ein höheres Sicherheitsniveau für die Fahrzeuginsassen geschaffen.
-
Ferner kann durch den Fahrzeugeingriff mittels der durch die Überwachungszentrale 10 übermittelten Fahrzeugparameter zielgerichtet in Notsituationen reagiert werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Überwachungseinrichtung
- 3
- Kamera
- 4
- Mikrofon
- 5
- Lautsprecher
- 6
- Rauchmelder
- 7
- Notrufbutton
- 8
- Anzeigeeinheit
- 9
- Funkschnittstelle
- 10
- Überwachungszentrale
- 11
- Analyseeinheit
- 12
- Temperatursensor
- 13
- Radarsensor
- 14
- Lidarsensor
- 15
- Bildsensor
- S1,..,S7
- Verfahrensschritte
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
