-
Die Erfindung betrifft ein System und Verfahren zur Kalibrierung der Zylinderluftfüllung in zumindest einem Zylinder bei einem Verbrennungsmotor, der insbesondere als Hubkolbenmotor ausgebildet ist.
-
Es ist bekannt, dass Verbrennungsmotoren ein Luft-Kraftstoffgemisch innerhalb von Zylindern des Motors verbrennen zum Antreiben von Kolben, wodurch ein Antriebsdrehmoment erzeugt wird. Bei einigen Arten von Motoren kann der Luftstrom in den Motor über eine Drosselklappe reguliert werden. Die Drosselklappe kann den Drosselklappenbereich einstellen, wodurch der Luftstrom in dem Motor erhöht oder abgesenkt wird, wenn sich der Drosselklappenbereich vergrößert, vergrößert sich der Luftstrom in dem Motor. Bei einer Kraftstoffeinspritzung wird das gewünschte Kraftstoff-Luftgemisch von einem Kraftstoffsteuersystem gesteuert. Durch das Erhöhen der Menge von Luft und Kraftstoff, die den Zylindern bereitgestellt wird, erhöht sich im Allgemeinen das Drehmoment des Motors
-
Das Größensymbol Lambda (λ) steht in der Abgastechnik für das Verhältnis Luft zu Brennstoff im Vergleich zu einem verbrennungsstöchiometrischen Gemisch. Beim stöchiometrischen Kraftstoffverhältnis ist genau die Luftmenge bzw. die Sauerstoffkonzentration vorhanden, die theoretisch benötigt wird, um den Kraftstoff vollständig zu verbrennen. Dies wird als A=1 bezeichnet. Bei Benzin beträgt dieses Massenverhältnis 14,5:1, das heißt, man braucht 14,5 kg Luft, um 1 kg Treibstoff vollständig zu verbrennen. Bei Ethanol ist das Verhältnis 9:1 und bei Dieselkraftstoff und Heizöl 14,7:1. Ist mehr Kraftstoff vorhanden, spricht man von einem fettem Gemisch (λ<1), bei Luftüberschuss von einem magerem Gemisch (λ>1).
-
Die Sauerstoffkonzentration in einem Gasgemisch wird mittels einer sauerstoffempfindlichen Gassonde, einer Lambdasonde, bestimmt. Dabei stellt die Lambdasonde ein von dem Sauerstoffgehalt des Gasgemisches abhängiges Ist-Sondensignal bereit, bei dem es sich beispielsweise bei Sprung-Lambdasonden um eine Sondenspannung oder bei Linear-Lambdasonden um eine Stromstärke handeln kann. Dieses Sondensignal wird mittels einer gespeicherten Kennlinie oder einer entsprechenden Rechenvorschrift in den Lambda-Wert umgerechnet.
-
Die Einhaltung eines bestimmten Lambdawertes hat großen Einfluss auf die Qualität der Verbrennung und die Möglichkeit einer vollständigen katalytischen Abgasreinigung. Der Kraftstoffverbrauch erreicht in der Regel sein Minimum bei einem Wert von λ=1,1. Für ein maximales Motormoment, wenn auch mit erhöhtem Kraftstoffverbrauch (wegen Luftmangel unvollständige Verbrennung), ist ein Wert von ca. λ=0,85 optimal. Bei hoher Motorleistung wird durch einen fetten Motorbetrieb und dadurch ein kälteres Abgas einer Überhitzung und Zerstörung von Abgaskomponenten wie zum Beispiel Krümmer, Turbolader, Katalysator vorgebeugt. Moderne Motoren erreichen durch konstruktive Maßnahmen (etwa wassergekühlter Krümmer, Direkteinspritzung oder eine gekühlte Abgasrückführung) eine geringere Zylinderluftfüllung, so dass eine Anfettung des Gemisches aus Bauteilschutzgründen nicht, oder nur noch in einem kleinen Bereich notwendig ist.
-
Von der Zylinderluftfüllung sind somit bei einem Kraftfahrzeug eine Vielzahl von Parametern wie das erzeugte Drehmoment abhängig. Eine Steuereinheit berechnet daher basierend auf der Zylinderluftfüllung die Menge an Kraftstoff, die eingespritzt wird. Daher ist eine Modellierung der Zylinderluftfüllung von erheblicher Bedeutung für eine Motorsteuerung.
-
Es sind vor allem zwei Ansätze zur Bestimmung und Vorhersage der Zylinderluftfüllung bei einem Verbrennungsmotor bekannt. Der erste Ansatz basiert auf einem physikalischen Modell, bei dem der Druck und das Volumen der Luft in Abhängigkeit von der Temperatur, der Last und der Umdrehungszahl des Motors berechnet wird. Die entsprechenden Werte in Abhängigkeit von dem Zustand des Motors sind in Form von Tabellen, Kennlinien und Diagrammen hinterlegt, vorzugsweise in einer elektronischen Steuereinheit des Fahrzeugs.
-
Ein anderer Ansatz verwendet Regressionsanalysen zur Modellierung und Vorhersage der Zylinderluftfüllung. Regressionsverfahren sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Die Regressionsmodelle erhalten als Eingabe beispielsweise die Gasladung, die Umdrehungszahl oder die Ansaugtemperatur und berechnen mittels mathematischer Verfahren wie beispielsweise die Methode der kleinsten Quadrate oder neuronaler Netze einen geschätzten Wert für die Zylinderluftfüllung.
-
Allerdings beruhen diese Tabellen und Diagramme oder die verwendeten mathematischen Verfahren auf Expertenwissen und werden nach ihrer Implementierung nicht mehr verändert. Des Weiteren werden sie für einen individuellen Motor nicht angepasst, sondern sie sind für eine bestimmte Modellbaureihe festgelegt.
-
Die
DE 10 2011 085 898 A1 und die
US 8 762 307 B2 beschreiben ein Steuer/Regelsystem zur Zylinderfüllung bei Hubkolbenmotoren, bei welchem ein durch lernverstärkendes Lernen trainiertes neuronales Netz die Zylinderfüllung steuert.
-
Die
US 8 676 476 B2 betrifft ein System und Verfahren zur selbstlernenden Echtzeit-Charakterisierung der Kraftstoffeinspritzdüsenleistung während des Motorbetriebs. Das System umfasst einen Algorithmus für einen Motorcontroller, der ermöglicht, dass der Controller die Korrelation zwischen der Kraftstoffmasse und der Impulsbreite für jede Einspritzdüse im Motor in Echtzeit lernt, während der Motor läuft. Der Controller erkennt fortschreitend diejenigen Impulsbreiten, die die gewünschte Kraftstoffmasse erreichen, während er kontinuierlich das, was er gelernt hat, auf der Basis von verschiedenen Eingangsveränderungen, wie z. B. Temperatur und Kraftstoffverteilerdruck, anpassen kann. Der Controller verwendet dann die gelernte tatsächliche Leistung jeder Einspritzdüse, um die Impulsbreite zu befehlen, die erforderlich ist, um die gewünschte Menge an Kraftstoff für jeden Zylinder in jedem Zyklus zu erreichen.
-
Die
US 2016363083 A1 beschreibt ein Motorsteuersystem eines Fahrzeugs mit einem Zylindersteuermodul, einem Luft-pro-Zylinder(APC)-Modul, einem Einstellmodul und einem Kraftstoffsteuermodul. Das Luft-pro-Zylinder(APC)-Modul bestimmt einen APC-Wert basierend auf einer Massenluftstromrate, einem Ansaugkrümmerdruck, einer Lufttemperatur, einem volumetrischen Wirkungsgrad des Motors und einem basierend auf der idealen Gasgleichung kalibrierten Modell. Das Motorsteuersystem kann auf dieser Basis selbstlernend die Kraftstoffversorgung und weitere Motorbetriebsparameter bestimmen.
-
Die
US 8 880 321 B2 beschreibt ein Modell zur Abschätzung der Luftfüllung bei einem Verbrennungsmotor, das ein lineares Regressionsverfahren verwendet.
-
Die
US 2020/0063681 A1 beschreibt ein Motorsystem mit einem Luftzuführungs- und Kraftstoffsystem, dessen Zustände von einer Verwaltungseinheit verwaltet werden. Das Motorsystem weist mehrere Sensoren auf, deren Sensorsignale zumindest teilweise einen aktuellen Zustand des Motorsystems definieren. Die Verwaltungseinheit umfasst eine Steuerung, die das Luftzuführungs- und Kraftstoffsystem des Motorsystems steuert, sowie eine Verarbeitungseinheit, die mit den Sensoren und der Steuerung gekoppelt ist. Die Verarbeitungseinheit enthält einen Agenten, der eine Richtlinienfunktion lernt und darauf trainiert ist, den aktuellen Zustand zu verarbeiten, Luftzuführungsreferenzen und Kraftstoffsystemreferenzen unter Verwendung der Richtlinienfunktion nach Erhalt des aktuellen Zustands als Eingabe zu ermitteln und die Luftzuführungsreferenzen und den Kraftstoff auszugeben. Dann erhält der Agent einen nächsten Status und einen Belohnungswert von der Verarbeitungseinheit und aktualisiert die Richtlinienfunktion unter Verwendung eines Richtlinienbewertungs- und eines Richtlinienverbesserungsalgorithmus basierend auf dem empfangenen Belohnungswert. Anschließend steuert die Steuerung das Luftzuführungs- und Kraftstoffsystem des Motors als Reaktion auf den Empfang der Luftzuführungsreferenzen und der Kraftstoffsystemreferenzen.
-
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren und ein System zum automatischen Kalibrieren der Zylinderluftfüllung zumindest eines Zylinders bei einem Verbrennungsmotor, der insbesondere als Hubkolbenmotor ausgebildet ist, zu schaffen, das sich durch eine hohe Zuverlässigkeit und Genauigkeit auszeichnet und sich einfach implementieren lässt.
-
Gemäß der vorliegenden Erfindung wird ein Verfahren vorgeschlagen, durch das eine automatische Kalibrierung der Zylinderluftfüllung in zumindest einem Zylinder eines Verbrennungsmotors ermöglicht wird, um hierdurch die Grundlage für eine zuverlässige und genaue Steuerung durch eine Steuer- und Regelvorrichtung zu schaffen.
-
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 8, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
-
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Kalibrieren einer Zylinderluftfüllung in zumindest einem Zylinder bei einem Verbrennungsmotor, insbesondere einem Hubkolbenmotor. Das Verfahren umfasst das Bestimmen eines Zustandes si des Verbrennungsmotors durch ein Zustandsmodul, wobei ein Zustand si durch Daten und Messwerte von zumindest einem Parameter pi des Verbrennungsmotors definiert wird und der Wert der Zylinderluftfüllung zumindest teilweise von diesem Parameter pi abhängt. Eine Berechnungsfunktion fi und/oder einer Aktion ai für den Parameter pi wird von einem Lernverstärkungs-Agenten ausgewählt und ein modellierter Wert ZM für die Zylinderluftfüllung mittels der ausgewählten Berechnungsfunktion fi und/oder der Aktion ai berechnet. Von einem Umgebungsmodul wird ein realer Wert ZR für die Zylinderluftfüllung aufgrund von Messergebnissen bereitgestellt. Der modellierte Wert ZM für die Zylinderluftfüllung wird mit dem realen Wert ZR verglichen. Das Vergleichsergebnis wird an ein Belohnungsmodul weitergegeben und eine Belohnung für das Vergleichsergebnis ermittelt. Die Belohnung für das Vergleichsergebnis wird an den Lernverstärkungs-Agenten weitergegeben und basierend auf dieser Belohnung wird erneut eine weitere Aktion aj von dem Lernverstärkungs-Agenten ausgewählt.
-
Vorteilhafterweise sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter pi vorgesehen.
-
In einer vorteilhaften Weiterentwicklung sind eine positive Aktion A+ die den Wert für einen Parameter pi erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters pi gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters pi verringert, vorgesehen.
-
In einer weiteren Ausführungsform umfasst das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen ai.
-
Vorteilhafterweise ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
-
In einer weiteren Ausgestaltung ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.
-
Vorteilhaftweise stellt zumindest ein Parameter pi eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, die Temperatur des Zylinders, und/oder den Lambda-Wert einer Lambdasonde dar.
-
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zum Kalibrieren einer Zylinderluftfüllung in zumindest einem Zylinder bei einem Verbrennungsmotor, insbesondere einem Hubkolbenmotor, bereit. Das System umfasst ein Zustandsmodul, das ausgebildet ist, einen Zustand si des Verbrennungsmotors zu bestimmen, wobei ein Zustand si durch Daten und Messwerte von zumindest einem Parameter pi des Verbrennungsmotors definiert wird und der Wert der Zylinderluftfüllung zumindest teilweise von diesem Parameter pi abhängt. Zudem weist das System einen Lernverstärkungs-Agenten auf, der ausgebildet ist, eine Berechnungsfunktion fi und/oder eine Aktion ai für den Parameter pi auszuwählen und einen modellierten Wert ZM für die Zylinderluftfüllung mittels der ausgewählten Berechnungsfunktion fi und/oder der Aktion ai zu berechnen. Des Weiteren ist ein Umgebungsmodul vorgesehen, das ausgebildet ist, einen realen Wert ZR für die Zylinderluftfüllung aufgrund von Messergebnissen bereitzustellen. Das Zustandsmodul ist ausgebildet, den modellierten Wert ZM für die Zylinderluftfüllung mit dem realen Wert ZR zu vergleichen. Des Weiteren umfasst das System ein Belohnungsmodul, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten weiterzugeben, wobei der Lernverstärkungs-Agent ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion aj auszuwählen.
-
In einer vorteilhaften Weiterbildung sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter pi vorgesehen.
-
Vorteilhafterweise sind eine positive Aktion A+, die den Wert für einen Parameter pi erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters pi gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters pi verringert, vorgesehen.
-
In einer weiteren Ausgestaltung umfasst das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen ai.
-
In einer weiteren Ausführungsform ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
-
Vorteilhafterweise ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als DYNAQ oder als Monte-Carlo-Simulation ausgebildet.
-
In einer Weiterbildung stellt zumindest ein Parameter pi eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, die Temperatur des Zylinders und/oder den Lambda-Wert einer Lambdasonde dar.
-
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung durch einen Prozessor das Verfahren gemäß dem ersten Aspekt ausführt.
-
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
-
Dabei zeigt:
- 1 ein Blockdiagram zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
- 2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
- 3 zeigt schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.
-
Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
-
1 zeigt ein erfindungsgemäßes System 100 zur Kalibrierung der Zylinderluftfüllung bei einem Verbrennungsmotor, insbesondere einem Hubkolbenmotor. Das erfindungsgemäße System beruht auf einem Lernverstärkungs-Agenten (LV) (Reinforcement Learning Agent) 200, der für einen bestimmten Zustand si ∈ S aus einer Menge verfügbarer Zustände zumindest eine Aktion ai ∈ A aus einer Menge verfügbarer Aktionen auswählt. Für die ausgewählte Aktion ai erhält der Agent 200 eine Belohnung ri ∈ ℝ. Die Zustände si ∈ S erhält der Agent 200 von einem Zustandsmodul 300, auf das der LV-Agent 200 zugreifen kann und das vorzugsweise einen Datenspeicher 320 mit Daten von verschiedenen Sensoren und Datenquellen sowie Berechnungsergebnisse enthält. Das Zustandsmodul 300 bearbeitet die Daten von verschiedenen Parametern pi aus einem Datenspeicher 320 oder einer anderen Datenquelle und ordnet diesen verarbeiteten Daten Zustände si ∈ S zu.
-
Ein Zustand si ∈ S ist somit durch die Auswahl von bestimmten Parameterwerten von Parametern wie der Umdrehungszahl des Motors, der Einlasstemperatur des Gasgemisches, der Zusammensetzung des Gasgemisches, die Temperatur des Zylinder etc. definiert. Ein Zustand si ist somit durch gemessene und/oder berechnete Werte von ausgewählten Parametern pi gekennzeichnet und stellt somit eine konkrete Betriebssituation des Motors dar. Die Daten bzw. Messwerte sind von einem Umgebungsmodul 400 ermittelt worden sind und wurden vorzugsweise in dem Datenspeicher 320 gespeichert. Das Umgebungsmodul 400 enthält zumindest einen Sensor 420, kann aber weitere Sensoren 440 enthalten oder mit diesen verbunden sein. In einem Belohnungsmodul 500 wird der ausgewählten Aktion ai eine Belohnung ri ∈ ℝ zugeordnet, die an den LV-Agenten 200 übermittelt wird.
-
Bei den Sensoren 440 kann es sich beispielsweise um Drucksensoren, Piezosensoren, Drehzahlsensoren, elektrische Sensoren, Temperatursensoren, Hallsensoren und/oder bildaufnehmende Sensoren wie Kameras sowie um eine Lambda-Sonde handeln. Die Sensoren 420, 440 ermitteln Messwerte wie die Zylinderluftfüllung oder einen Lambdawert, die an das Zustandsmodul 300 oder einen weiteren Prozessor weitergegeben werden. Das Zustandsmodul 300 weist vorteilhafterweise ebenfalls einen Prozessor auf, der die die Daten mittels einer Softwareapplikation mit einem Algorithmus bearbeitet. Es ist aber auch denkbar, dass die Daten zunächst in einer weiteren Speichereinheit oder einem Softwaremodul gespeichert werden und erst zu einem späteren Zeitpunkt in den Datenspeicher 320 übertragen und/oder von dem Zustandsmodul 300 und/oder einem Prozessor verarbeitet werden.
-
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert.
-
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
-
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
-
Unter „Messwerten“ sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren zu verstehen.
-
Der Lernverstärkungs-Agent 200 enthält Berechnungsverfahren und Algorithmen fi für mathematische Regressionsverfahren oder physikalische Modellberechnungen, die eine Korrelation zwischen ausgewählten Parametern pi ∈ P aus einer Menge von Parametern und einer Zylinderluftfüllung eines oder mehrere Zylinder eines Verbrennungsmotors, insbesondere eines Hubkolbenmotors, beschreiben. Bei den mathematischen Funktionen ft kann es sich um Mittelwerte, Minimal- und Maximalwerte, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Verfahren der linearen Regression, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Tempora Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, künstliche neuronale Netze und/oder rückgekoppelte neuronale Netze handeln. Der LV-Agent 200 wählt für einen Zustand si eine oder mehrere dieser Berechnungsfunktionen fi aus. Er berechnet für diesen bestimmten Zustand si und mittels der ausgewählten Berechnungsfunktionen fi einen modellierten Wert der Zylinderluftfüllung ZM, wobei der gemessene oder berechnete Wert für zumindest einen Parameter pi einen Eingabewert für die Berechnungsfunktionen fi darstellt.
-
In dem Lernverstärkungs-Agenten (Reinforcement Learning Agent) 200 sind zudem als Aktionen ai die Aktionen A+, A0 und A- definiert, die aufgrund der verwendeten Berechnungsverfahren fi ausgewählt werden, um eine Anpassung eines gemessenen oder berechneten Parameterwertes eines Parameters pi ∈ P aus der Menge der Parameter in einer Wertetabelle und dergleichen vorzunehmen. Bei den Parametern pi ∈ P handelt es sich beispielsweise um den Lambdawert, die Umdrehungszahl des Motors, die Einlasstemperatur des Gasgemisches, die Gasdichte und/oder die Zusammensetzung des Gasgemisches. Bei einer positiven Aktion A+ handelt es sich um eine Aktion, die den Wert für einen Parameter pt erhöht, bei einer neutralen Aktion A0 handelt es sich um ein Aktion, bei der der Wert des Parameters pt gleichbleibt, und bei einer negativen Aktion A- wird der Wert des Parameters pt verringert. Der LV-Agent 200 wählt für den durch diese gemessenen und berechneten Daten definierten Zustand si insbesondere eine der Aktionen A+, A0 oder A- aus zur Anpassung des Parameterwertes eines Parameters pi in einer Wertetabelle oder dergleichen. Für die ausgewählte Aktion ai berechnet nun der LV-Agent 200 nun den modellierten Wert der Zylinderluftfüllung ZM, die von der ausgewählten Aktion ai für den Parameter pi abhängt.
-
Dieser berechnete Wert ZM der Zylinderluftfüllung für eine bestimmte Aktion ai wird nun an das Zustandsmodul 300 weitergegeben. Das Umgebungsmodul 400 bestimmt aufgrund einer direkten Messung oder einer Berechnung einen realen Wert ZR der Zylinderluftfüllung. Für die Berechnung des realen Wertes ZR der Zylinderluftfüllung kann vorteilhafterweise ein neuronales Netz verwendet werden. Es können aber auch andere Berechnungsverfahren wie Regressionsverfahren eingesetzt werden. Die reale Zylinderluftfüllung ZR wird vorzugsweise von einem Sensor 420 gemessen.
-
Wie bereits ausgeführt, wird in dem Zustandsmodul 300 ein aktueller oder zukünftiger Zustand si durch verschiedene Datenwerte von Parametern pi definiert, beispielsweise ein bestimmter Lambdawert, die aktuelle Umdrehungszahl des Motors, die aktuelle Einlasstemperatur des Gasgemisches, die aktuelle Gasdichte und/oder die Zusammensetzung des Gasgemisches. Insbesondere berechnet das Zustandsmodul 300 die aktuelle Abweichung Δ zwischen dem gemessenen (realen) Wert der Zylinderluftfüllung ZR und dem berechneten Modellwert ZM für eine ausgewählte Aktion ai durch den LV-Agenten 200.
-
In dem Zustandsmodul 300 wird nun der berechnete Modellwert ZM der Zylinderluftfüllung mit dem tatsächlich gemessenen Wert ZR der Zylinderluftfüllung verglichen. Der berechnete Wert ZM der Zylinderluftfüllung beruht dabei auf den geänderten Werten für die ausgewählten Parameter pi durch den LV-Agenten 200. In dem Belohnungsmodul 500 wird der Grad der Abweichung Δ zwischen dem berechneten Modellwert ZM und dem gemessenen Wert ZR der Zylinderluftfüllung verglichen und dem Grad der Abweichung Δ eine Belohnung Bi zugeordnet. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion (A+), (A0), (A-) abhängig ist, wird vorzugsweise in einer Matrix oder einer sonstigen Datenbank 520 der jeweiligen ausgewählten Aktion (A+), (A0), (A-) die Belohnung Bi zugeordnet. Die Belohnung Bi weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe Abweichung Δ zwischen dem berechneten Wert ZM und dem gemessenen Wert ZR mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden.
-
Nun beginnt ein zweiter Zyklus zur Kalibrierung der Zylinderluftfüllung. Hierbei kann eine andere Aktion ai und/oder eine andere Berechnungsfunktion fi und/oder ein anderer Parameter pi ausgewählt werden. Das Ergebnis wird wiederum dem Zustandsmodul 300 zugeführt und das Ergebnis des Vergleichs in dem Belohnungsmodul 500 bewertet. Der LV-Agent 200 wiederholt die Kalibrierung der Zylinderluftfüllung für alle vorgesehenen Aktionen ai und Parameter pi solange, bis sich eine größtmögliche Übereinstimmung zwischen dem kalibrierten Modellwert ZM der Zylinderluftfüllung und dem gemessenen Wert WR erreicht ist. Vorzugsweise ist der Endzustand der Kalibrierung der Zylinderluftfüllung erreicht, wenn die Abweichung im Bereich von +/- 5% liegen. Eine sehr starke Abweichung der Zylinderfüllung, die zur Zerstörung der Verbrennungsmaschine führen könnte, wird sehr negativ belohnt.
-
Vorzugsweise wird als Algorithmus für den LV-Agenten 200 ein Markow-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Ein LV-Agent 200 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen A+, A0, A- nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion ai auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder auch Monte-Carlo-Simulationen.
-
Gemäß dem Verfahren und des Systems der vorliegenden Erfindung wird ein verstärkendes Lernen (Reinforcement Learning) eingesetzt, um die Zylinderluftfüllung eines Verbrennungsmotors, insbesondere eines Hubkolbenmotors, automatisch zu kalibrieren. Da verschiedene Parameter pi wie die Umdrehungszahl oder der Sauerstoffgehalt der Gasmischung in das Berechnungsverfahren eingehen und hierfür Aktionen ai ausgewählt werden, können insbesondere nichtlineare Zusammenhänge zwischen diesen Parametern pi erfasst und berücksichtigt werden, was in herkömmlichen Steuerungsverfahren kaum möglich ist. Es handelt sich somit um eine optimierte Kalibrierungsmethode, da eine Variation von verschiedenen Parametern pi , die einen Einfluss auf die Zylinderluftfüllung haben und miteinander wechselwirken, berücksichtigt wird. Da der LV-Agent 200 die Aktionen ai selbst auswählt und für diese jeweils eine Belohnung erhält, kann er eine optimale Kalibrierungsstrategie für die Zylinderluftfüllung bereitstellen.
-
Da die Kalibrierung der Zylinderluftfüllung automatisch und zeitgleich während des Betriebs des Verbrennungsmotors erfolgt, kann die Leistungsfähigkeit des Verbrennungsmotors erhöht werden, da eine individuelle Anpassung der Zylinderluftfüllung an den jeweiligen Motor erfolgen kann. Dies kann zu einer Reduzierung des Schadstoffausstoßes und damit zu einer verbesserten Umweltbilanz führen. Zudem kann der Kraftstoffverbrauch des Verbrennungsmotors gesenkt werden. Darüber hinaus können Kosten für eine bisherige manuelle und damit zeitintensive Kalibrierung gesenkt werden.
-
In 2 sind die Verfahrensschritte zum Kalibrieren der Zylinderluftfüllung in zumindest einem Zylinder eines Verbrennungsmotors dargestellt.
-
In einem Schritt S10 erhält ein Lernverstärkungs-Agenten 200 einen Zustand si eines Verbrennungsmotors von einem Zustandsmodul 300, wobei ein Zustand si durch Daten und Messwerte von zumindest einem Parameter pi des Verbrennungsmotors definiert ist und der Wert der Zylinderluftfüllung zumindest teilweise von diesem Parameter pi abhängt.
-
In einem Schritt S20 wählt der LV-Agent 200 für den Zustand si zumindest eine Berechnungsfunktion fi und/oder eine Aktion ai für den Parameter pi aus.
-
In einem Schritt S30 berechnet der LV-Agent einen modellierten Wert ZM für die Zylinderluftfüllung mittels der ausgewählten Berechnungsfunktion fi und/oder der Aktion ai.
-
In einem Schritt S40 wird ein realer Wert ZR für die Zylinderluftfüllung von einem Umgebungsmodul 400 aufgrund von Messergebnissen bereitgestellt.
-
In einem Schritt S50 werden der modellierte Wert ZM für die Zylinderluftfüllung und der reale Wert ZR für die Zylinderluftfüllung miteinander verglichen.
-
In einem Schritt S60 wird das Vergleichsergebnis an das Belohnungsmodul 500 weitergegeben und eine Belohnung für das Vergleichsergebnis wird in dem Belohnungsmodul 500 ermittelt.
-
In einem Schritt S70 wird die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten 200 weitergegeben und eine weitere Aktion aj wird von dem Lernverstärkungsagenten 200 basierend auf der Belohnung für das Vergleichsergebnis für den Zustand si ausgewählt.
-
3 stellt schematisch ein Computerprogrammprodukt 700 dar, das einen ausführbaren Programmcode 750 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
-
Mit dem Verfahren gemäß der vorliegenden Erfindung können zuverlässig optimierte Zustände si durch die Auswahl von passenden Aktionen ai gefunden werden, um beispielsweise eine Steuer- und Regelvorrichtung für die Einstellung der Zylinderluftfüllung eines Verbrennungsmotor, insbesondere eines Hubkolbenmotors, zuverlässig und automatisch zu kalibrieren. Durch die Verwendung eines Lernverstärkungs-Agenten 200 mit einem Algorithmus des verstärkenden Lernens ist eine autonome Anpassung und Kalibrierung der Zylinderluftfüllung für ein individuelles Kraftfahrzeug autonom und automatisch ermöglicht.