-
Die vorliegende Erfindung betrifft ein Trainingsverfahren, Trainingsvorrichtung für ein System des maschinellen Lernens (ML-System) für eine Vorrichtung zur Ansteuerung von Personenschutzmitteln für ein Fahrzeug.
-
Des Weiteren betrifft die vorliegende Erfindung ein entsprechendes Computerprogramm sowie ein maschinenlesbares Speichermedium für das Computerprogramm.
-
Ferner betrifft die vorliegende Erfindung eine Vorrichtung zur Ansteuerung von Personenschutzmitteln für ein Fahrzeug aufweisend ein entsprechend trainiertes ML-System.
-
Stand der Technik
-
Heutzutage eingesetzte Vorrichtungen zur Ansteuerung von Personenschutzmitteln, bspw. Airbagsteuergeräte, besitzen mehrere Schnittstelleneinrichtungen und entweder einen digitalen Signalprozessor (engl.: Digital Signal Processor; DSP), eine anwendungsspezifische integrierte Schaltung (engl.: application specific integrated circuit; ASIC), eine diskrete Schaltung oder einen Mikrocontroller zur Verarbeitung von Eingangssignalen der einzelnen extern oder intern angeordneten Sensoren. Über diese Schnittstelleneinrichtungen, die beispielsweise für auf der Vorrichtung integrierte Sensoren als Schnittstelle nach dem SPI Standard realisiert sein können oder bei externen Sensoren als Schnittstellen nach dem PSI5 Standard realisiert sein können, werden Sensordaten mit einer Sensorsignal-Verarbeitungseinheit der Vorrichtung ausgetauscht. Allgemeines Ziel einer solchen Vorrichtung ist eine zuverlässige und schnelle Erkennung eines auslöserelevanten Unfallereignisses basierend auf der Sensorsignal-Verarbeitung.
-
Die Entwicklung von derartigen Vorrichtungen dauert in der Regel mehrere Jahre und erfordert ein hohes Projektbudget; häufig für eine Anpassung der Auslegung bzw. des Designs des DSP, des ASIC, der diskreten Schaltung oder des Mikrocontrollers. Insbesondere integrierte Schaltungen sind zwar sehr leistungsfähig, aber relativ unflexibel bzgl. funktionaler Änderungen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund schafft die vorliegende Erfindung ein Trainingsverfahren für ein System des maschinellen Lernens (ML-System) für eine Sensorsignal-Verarbeitungseinheit einer Vorrichtung zur Ansteuerung von Personenschutzmitteln für ein Fahrzeug.
-
Unter einem System des maschinellen Lernens (ML-System) kann vorliegend ein System zum künstlichen Schaffen von Wissen aus Informationen, bspw. Trainingsdaten. Ein solches System „lernt“ aus dem Abgleich von Eingangsdaten und erwarteten Ausgangsdaten.
-
So kann bspw. eine künstliche Intelligenz zu den Systemen des maschinellen Lernens gezählt werden. Insbesondere zählen künstliche neuronale Netze zu den Systemen des maschinellen Lernens (ML-Systeme).
-
Unter einem künstlichen neuronalen Netz kann vorliegend ein Netz aus künstlichen Neuronen zur Informationsverarbeitung verstanden werden.
-
Künstliche neuronale Netze durchleben im Wesentlichen drei Phasen. In einer initialen Phase wird eine Basistopologie, meist abhängig von der Aufgabenstellung, vorgegeben. Danach folgt eine Trainingsphase, in der die Basistopologie zur effizienten Lösung der Aufgabenstellung mittels Trainingsdaten angelernt wird. Innerhalb der Trainingsphase kann auch die Topologie des Netzes angepasst werden. Die Ausgabedaten des angelernten Netzes stellen dann gemäß der Aufgabestellung gesuchten Ausgabedaten dar.
-
Die Vorrichtung zur Ansteuerung von Personenschutzmitteln weist dabei eine Schnittstelleneinrichtung zum Einlesen von Sensorsignalen auf.
-
Die eingelesenen Sensorsignale werden dem ML-System als Eingangsdaten zugeführt.
-
Die Vorrichtung zur Ansteuerung von Personenschutzmitteln ist dazu eingerichtet in Abhängigkeit von den Ausgabedaten des ML-Systems die Personenschutzmittel anzusteuern.
-
Das Trainingsverfahren umfasst dabei die nachstehenden Schritte:
- Einlesen von Eingangsdaten, welche mit der Schnittstelleneinrichtung eingelesene Sensorsignale repräsentieren.
-
Einlesen von Soll-Ausgaben, welche das ML-System den eingelesenen Eingangsdaten zuordnen soll.
-
Anpassen des ML-Systems auf Basis der eingelesenen Eingangsdaten und der eingelesenen Soll-Ausgaben.
-
Überprüfen des ML-Systems durch eine physische Beaufschlagung der Vorrichtung bzw. der mit der Vorrichtung verbundenen Sensoren und einen Vergleich der aufgrund dessen von dem ML-System ausgegebenen Ausgabedaten mit Referenzdaten.
-
Unter Sensorsignalen können vorliegend Signale von Beschleunigungs-, Drehraten- oder Drucksensoren verstanden werden.
-
Unter Personenschutzmitteln können vorliegende Mittel verstanden werden, die im Fall eines Unfalls dazu geeignet sind Fahrzeuginsassen oder weitere Verkehrsteilnehmer zu schützen. Darunter fallen Airbags, Gurtstraffer, Sitzverstellvorrichtungen udgl.
-
Unter eine Ansteuerung von Personenschutzmitteln kann vorliegend verstanden werden, dass Signale an bspw. Zündendstufen von Airbags versandt werden, die in der Folge zu einer Zündung der Airbag-Endstufen und einem Aufblähen des Airbag-Sacks führen.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass eine ML-System bzw. ein künstliches neuronales Netz bzw. eine künstliche Intelligenz bei entsprechendem Training dazu in der Lage versetzt werden kann, eingelesene Eingangsdaten, wie bspw. Sensorsignale auf Ausgangsdaten abzubilden, in deren Abhängigkeit eine Vorrichtung zur Ansteuerung von Personenschutzmitteln ein Ansteuersignal an die Personenschutzmittel übertragen kann.
-
Die eingelesenen Eingangsdaten können die Sensorsignale von einer Vielzahl bis hin zu allen in einem Fahrzeug verbauten Sensoren zur Unfallerkennung (Airbag-Sensoren) repräsentieren. Denkbar ist zudem, dass auch Sensorsignale von Sensoren berücksichtigt werden, die bisher nicht bei der Erkennung eines Unfalls herangezogen wurden (bspw. Zeit-, Ort- oder Temperatursensoren).
-
Die Berücksichtigung dieser Vielzahl der im Fahrzeug verbauten Sensoren führt zu einem ganzheitlichen Training des ML-Systems. Dies führt zu einer höheren Leistungsfähigkeit der Vorrichtung zur Ansteuerung von Personenschutzmitteln.
-
Das gemäß dem Trainingsverfahren trainierte ML-System ist hoch flexibel. Beispielsweise kann ein bereits bis zu einer vorbestimmten Güte trainiertes ML-System auf eine weitere Variante einer Vorrichtung zur Ansteuerung von Personenschutzmittel übertragen werden. Das bedeutet, dass alle Vorrichtungen zur Ansteuerung von Personenschutzmittel einer Fahrzeugvariante das gleiche ML-System für die Signalverarbeitung verwenden können. Sofern das ML-System zumindest teilweise in Software auf einer Hardwareeinheit läuft, ist es außerdem möglich ein aktualisiertes ML-System zu trainieren, welches neue Funktionalitäten der Vorrichtung zur Ansteuerung von Personenschutzmittel oder Fehlerbehebungen (engl.: bugfixes) der Funktionalitäten der Vorrichtung zur Ansteuerung von Personenschutzmittel enthält, ohne dass dabei die Hardware der Vorrichtung verändert werden muss.
-
Nach einer Ausführungsform des Trainingsverfahrens gemäß der vorliegenden Erfindung wird die komplette Funktionalität eines heutigen DSP, ASICs oder Mikrocontrollers mittels des zu trainierenden ML-Systems umgesetzt.
-
Für die Umsetzung der primären Funktionalität einer Vorrichtung zur Ansteuerung von Personenschutzmitteln wäre es ausreichend die Signalverarbeitung vom Einlesen des Sensorsignals bis zur Ausgabe von Ausgabedaten, in deren Abhängigkeit ein Auslösesignal an die Personenschutzmittel erzeugt werden kann, zu trainieren. Diese würde die gesamte Verarbeitungskette von Sensorsignalen, mit ggf. einer Temperaturkompensation, einer Analog/Digital-Wandlung, einer Tiefpassfilterung oder dem Treffen einer Auslösungsentscheidung umfassen.
-
Um die komplette Funktionalität eines heutigen DSP, ASIC oder Mikrocontrollers zu ersetzen, wäre es zudem erforderlich Funktionalitäten wie bspw. Überwachungsvorrichtungen (engl.: monitor) oder Fehlererkennung (u. a. Sensorsignalfehler, Verarbeitungsfehler, Hardwarefehler udgl.) umzusetzen.
-
Dies kann dadurch erreicht werden, dass das ML-System nicht nur auf auslöserelevante Soll-Daten hin trainiert wird, sondern auch Reaktionen auf Fehlersignale trainiert werden. Darunter bspw. Fehler wie Bondabrisse oder fehlerhafte Sensorsignale.
-
Nach einer Ausführungsform des Trainingsverfahren gemäß der vorliegenden Erfindung ist das ML-System ein künstliches neuronales Netz und werden im Schritt des Anpassens zumindest Parameter des künstlichen neuronalen Netzes angepasst.
-
Dabei kann es sich bei den Parametern des künstlichen neuronalen Netzes um Gewichte des künstlichen neuronalen Netzes handeln.
-
Eine weitere Ausführungsform der vorliegenden Erfindung ist, dass das Trainingsverfahren für je eine ML-System je Sensor dediziert durchgeführt wird.
-
Dieser Aspekt weist den Vorteil auf, dass Sensorsignal-spezifische Aspekte im jeweils antrainierten ML-System berücksichtigt werden. Ferner ist denkbar, dass für die zentrale Signalverarbeitung einer Vorrichtung zur Ansteuerung von Personenschutzmittel ein zentrales ML-System (sog. Master ML-System) basierend auf einer normalisierten Sensorsignaleingabe trainiert wird.
-
Dieser Aspekt weist den Vorteil auf, dass das zentrale ML-System unverändert für eine Vielzahl von Varianten der Vorrichtung zur Ansteuerung von Personenschutzmittel verwendet werden kann. Und dadurch der Trainingsaufwand minimiert werden kann.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein System des maschinellen Lernens (ML-System), welches mittels eines Trainingsverfahrens gemäß der vorliegenden Erfindung trainiert wurde.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Trainingsvorrichtung, welche eingerichtet ist, alle Schritte des Trainingsverfahrens gemäß der vorliegenden Erfindung auszuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist, das Trainingsverfahren gemäß der vorliegenden Erfindung auszuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist eine Vorrichtung zur Ansteuerung von Personenschutzmitteln, umfassend ein ML-System trainiert mittels eines Trainingsverfahrens gemäß der vorliegenden Erfindung.
-
Dieser Aspekt weist den Vorteil auf, dass durch den Einsatz eines entsprechend trainierten bzw. trainierbaren ML-Systems die relativ unflexiblen Schaltungen, wie DSP, ASIC, diskrete Schaltungen oder Mikrocontroller, ersetzt werden können.
-
Dadurch wird die Vorrichtung bzgl. Aktualisierung oder Erweiterung des Funktionsumfangs kostengünstiger und flexibler.
-
Das ML-System kann dabei in Hardware, in Software umgesetzt oder in einer Kombination aus Hardware und Software umgesetzt werden.
-
In einer Ausführungsform der vorliegenden Erfindung ist denkbar DSP, ASIC, diskrete Schaltung oder Mikrocontroller vollständig zu ersetzen.
-
Nach einer Ausführungsform umfasst die Vorrichtung gemäß der vorliegenden Erfindung nicht zur ein ML-System, bspw. nur ein einziges künstliches neuronales Netz, sondern weist mehrere ML-System, mithin mehrere künstliche neuronale Netz auf, die jeweils für eine bestimmte Funktionalität, bspw. Sensorsignalverarbeitung, Fehlerüberwachung, etc., trainiert sind, bspw. mit entsprechenden Varianten des Trainingsverfahrens gemäß der vorliegenden Erfindung.
-
Denkbar ist darüber hinaus, dass je Sensor ein bestimmtes ML-System für die Verarbeitung der Sensorsignale dieses Sensors trainiert und eingesetzt wird.
-
Denkbar ist zudem, dass je Unfalltyp (Frontalunfall, Seitenunfall, Unfall mit Teilüberlappung, etc.) ein bestimmtes ML-System trainiert und eingesetzt wird.
-
Dabei ist dann weiter denkbar, dass ein ML-System für die Fusion der Ausgabedaten der jeweils speziell trainierten ML-System trainiert und eingesetzt wird und dass die Vorrichtung entsprechend in Abhängigkeit der Ausgabedaten des fusionierenden ML-Systems ein Auslösesignal erzeugt.
-
Nach einer Ausführungsform der Vorrichtung gemäß der vorliegenden Erfindung weist die Vorrichtung eine Neuromorphic Computing Unit auf. Nach dieser Ausführungsform läuft das ML-System auf der Neuromorphic Computing Unit.
-
Diese Ausführungsform weist den Vorteil auf, dass eine „Neuromorphic Computing Unit“ speziell dazu ausgelegt ist ein neuronales Netz effizient auf einer Hardware auszuführen. Auf diese Weise wird die benötigte Fläche für Hardware (Chipfläche) für die Umsetzung dieses Aspekts der Erfindung verkleinert. Dadurch kann die Vorrichtung kostengünstiger werden.
-
Nach einer Ausführungsform der Vorrichtung gemäß der vorliegenden Erfindung weist die Vorrichtung eine Kommunikationseinrichtung auf. Nach dieser Ausführungsform ist die Kommunikationseinrichtung dazu eingerichtet, ein aktualisiertes ML-System zu empfangen. Das aktualisierte ML-System ist dabei ebenfalls mittels eines Trainingsverfahrens gemäß der vorliegenden Erfindung trainiert.
-
Diese Ausführungsform weist den Vorteil auf, dass ein aktualisierte ML-System über ein Softwareupdate auf bereits im Feld befindliche Vorrichtungen zur Ansteuerung von Personenschutzmittel übertragen werden kann. Bspw. per Flash Over The Air (FOTA) oder im Rahmen eines Werkstattbesuchs.
-
Die vorliegende Erfindung ist mit einem primären Bezug zu einer Vorrichtung zur Ansteuerung von Personenschutzmitteln vorgestellt worden. Es ist darüber hinaus denkbar, dass Ausführungsformen der Erfindung nicht nur auf derartige Vorrichtungen, sondern auch auf andere Vorrichtungen zu Steuerung von Fahrzeugkomponenten, wie beispielsweise Bremssystem (u. a. ESP-, ABS-System), Positionierungssystemen, Motorsysteme, aber auch zentrale Vorrichtungen zur Steuerung von Fahrzeugsystemen angewendet werden kann.
-
Beispielsweise ist es denkbar einzelne Recheneinheiten, wie DSP, ASIC oder Mikrocontroller einer Vorrichtung zur Steuerung von Fahrzeugkomponenten durch ein ML-System zu ersetzen, welches mittels eines Trainingserfahrens gemäß der vorliegenden Erfindung trainiert ist, zu ersetzen. Dabei ist klar, dass die zum Training verwendeten Eingangsdaten und Soll-Ausgangsdaten auf die zu trainierenden Funktionalitäten anzupassen sind.
-
Auf diese Weise ergeben sich hoch flexible Vorrichtungen zur Steuerung von Fahrzeugkomponenten, die zur Umsetzung von zumindest teilweise automatisiert betriebenen Fahrzeugen eingesetzt werden können.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zur Herstellung eine Vorrichtung zur Ansteuerung von Personenschutzmittel gemäß der vorliegenden Erfindung.
-
Das Verfahren umfasst einen Schritt des Übertragens (engl.: flashing). In diesem Schritt wird ein ML-System gemäß der vorliegenden Erfindung bzw. ein Computerprogramm gemäß der vorliegenden Erfindung auf die Vorrichtung übertragen.
-
Das Verfahren zeichnet sich durch einen Schritt des Durchführens Trainingsverfahrens gemäß der vorliegenden Erfindung mittels der herzustellenden Vorrichtung aus.
-
Diese Ausführungsform hat den Vorteil, dass das ML-System zu einem umfangreichen Anteil auf einer leistungsstarken Trainingsvorrichtung angelernt werden kann. Diese Anteil kann bspw. bei 90 % des Trainingsziels liegen. Ein Trainingsziel kann dabei anhand eines Maßes definiert werden. Ein solches Maß kann ein relativer oder absoluter Ressourcenverbrauch auf der Trainingsvorrichtung sein. Denkbar ist ebenso ein Grenzwert für den Fortschritt des Trainings. So kann das Training beendet werden, wenn die Verbesserung zum vorhergehenden Trainingsschritt nicht mehr ein vorgegebenes Maß erfüllt. Denkbar ist ebenso eine vorgegebene Anzahl an Iterationen oder ein vorgegebener Ressourcenverbrauch. Dabei kann als Ressource u. a. Zeit, Elektrizität/Strom, Rechenleistung udgl. angesehen werden.
-
Der verbleibende Anteil bis zum Erreichen des Trainingsziels kann dann auf der Vorrichtung selbst erfolgen. Dieses Verfahren weist den Vorteil auf, dass Vorrichtungs-spezifische Aspekte, wie bspw. das Temperaturverhalten, die Bauteil-spezifische Einflüsse udgl. im Rahmen des Trainings berücksichtigt werden können.
-
Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:
- 1 ein Ablaufdiagramm einer Ausführungsform des Trainingsverfahrens gemäß der vorliegenden Erfindung;
- 2 ein Ablaufdiagramm einer Ausführungsform des Herstellungsverfahrens gemäß der vorliegenden Erfindung.
-
1 zeigt ein Ablaufdiagramm einer Ausführungsform des Trainingsverfahrens 100 gemäß der vorliegenden Erfindung.
-
In Schritt 101 werden Eingangsdaten, welche mit der Schnittstelleneinrichtung eingelesene Sensorsignale repräsentieren eingelesen.
-
In Schritt 102 werden Soll-Ausgangsdaten, welche das ML-System den im Schritt des Einlesens von Eingangsdaten 101 eingelesenen Eingangsdaten zuordnen soll, eingelesen.
-
In Schritt 103 wird das ML-System auf Basis der im Schritt des Einlesens von Eingangsdaten und im Schritt des Einlesens von Soll-Ausgangsdaten eingelesenen Daten angepasst bzw. trainiert.
-
In Schritt 104 wird das ML-System durch eine physische Beaufschlagung der Vorrichtung bzw. der mit der Vorrichtung verbindbaren Sensoren und einen Vergleich der aufgrund dessen von dem ML-System ausgegebenen Ausgabedaten mit Referenzdaten, überprüft.
-
Das Trainingsverfahren des ML-Systems kann beispielsweise vollständig in einer Simulation durchgeführt werden, indem als Eingangsdaten aufgezeichnete Messwerte von realen Sensoren oder künstlich erzeugte Eingangsdaten ausgehend von Sensormodellen verwendet werden. Denkbar ist zudem, dass das Training des ML-Systems auf einem sog. Hardware in Loop System (HIL-System) durchgeführt wird. Darüber hinaus kann ein Training des ML-Systems auf einer Vorrichtung zum Ansteuern von Personenschutzmitteln erfolgen, indem die Sensoren mit echten physikalischen Werten angeregt werden (beispielsweise Druckbeaufschlagung mittels Druckkammer oder Beschleunigung- bzw. Drehung der Vorrichtung bzw. der mit der Vorrichtung verbundenen Sensoren auf einem Drehkipptisch). Ferner ist denkbar, dass die Sensoren beispielsweise mit physikalischen Größen beaufschlagt (bspw. mittels eines Drehkipptisches, siehe oben) und anschließend die Parameter des ML-Systems, insbesondere die Gewichte, für jeden Sensoreingang trainiert bzw. angepasst werden.
-
In Fällen, in den die Leistungsfähigkeit der Zielhardware, vorliegend de Vorrichtung zur Auslösung von Personenschutzmitteln nicht ausreicht, um das Training des ML-Systems durchzuführen, ist es denkbar, dass basierend auf den Trainingsdaten das ML-System „offline“, d. h. außerhalb der Zielhardware, bspw. auf sehr leistungsfähigen Trainingshardwaresystemen durchgeführt wird.
-
Dazu können die Sensoren mit physikalischen Größen beaufschlagt werden und die Ausgabewerte der einzelnen Sensoren für eine Fahrzeugvariante in einer Lerndatenbank hinterlegt werden.
-
Für jede Fahrzeugvariante kann dann das Training des ML-Systems der entsprechenden Vorrichtung zur Ansteuerung von Personenschutzmitteln auf dem Trainingshardwaresystem durchgeführt werden.
-
Ferner ist eine Kombination aus „offline“ Training und sog. „online“ Training, d. h. auf der Zielhardware denkbar. Dazu kann bspw. das ML-System mittels der in der oben eingeführten Lerndatenbank vorliegenden Trainingsdaten soweit als möglich angepasst, d. h. trainiert, werden.
-
Im Anschluss wird das soweit trainierte ML-System auf die Zielhardware, d. h. auf der Vorrichtung zur Ansteuerung von Personenschutzmittel, gebracht und mittels der Zielhardware, d. h. unter Nutzung der Rechenressourcen der Zielhardware, sowie der realen Sensordaten, ggf. durch physikalische Anregung der Zielhardware und der angeschlossenen Sensoren mittels Anpassung, d. h. Trainings, des ML-Systems optimiert werden.
-
Durch diese Ausführungsform können eng mit der Zielhardware korrelierende Aspekte, wie bspw. eine Temperaturkompensation, möglichst realitätsnah trainiert werden.
-
2 zeigt ein Ablaufdiagramm eines Herstellungsverfahrens 200 gemäß der vorliegenden Erfindung.
-
In Schritt 201 erfolgt das Übertragen (engl.: flashing) eines ML-Systems gemäß der vorliegenden Erfindung bzw. eines Computerprogramms gemäß der vorliegenden Erfindung auf eine Vorrichtung zur Ansteuerung von Personenschutzmittel gemäß der vorliegenden Erfindung.
-
Das übertragene ML-System ist dabei bereits zu einem umfangreichen Anteil auf einer leistungsstarken Trainingsvorrichtung angelernt worden. Diese Anteil kann bspw. bei 90 % des Trainingsziels liegen. Ein Trainingsziel kann dabei anhand eines Maßes definiert werden. Ein solches Maß kann ein relativer oder absoluter Ressourcenverbrauch auf der Trainingsvorrichtung sein. Denkbar ist ebenso ein Grenzwert für den Fortschritt des Trainings. So kann das Training beendet werden, wenn die Verbesserung zum vorhergehenden Trainingsschritt nicht mehr ein vorgegebenes Maß erfüllt. Denkbar ist ebenso eine vorgegebene Anzahl an Iterationen oder ein vorgegebener Ressourcenverbrauch. Dabei kann als Ressource u. a. Zeit, Elektrizität/Strom, Rechenleistung udgl. angesehen werden.
-
In Schritt 202 erfolgt das Durchführen des Trainingsverfahrens gemäß der vorliegenden Erfindung mittels der herzustellenden Vorrichtung.
-
Mittels des abschließenden Trainings mittels der herzustellenden Vorrichtung können Vorrichtungs-spezifische Aspekte, wie bspw. das Temperaturverhalten, die Bauteil-spezifische Einflüsse udgl. im Rahmen des Trainings berücksichtigt werden.
