BE1030689B1 - Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts (100), wobei das Spülgerät (100) mindestens eine Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100) umfasst. Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals (145) von der Kameraeinheit (140), wobei das Kamerasignal (145) ein von der Kameraeinheit (140) erfasstes Bild des Innenraums (107) repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung des Kamerasignals (145) und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums (107) unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt des Ausgebens eines Steuersignals (150) zum Steuern eines Spülprogramms zum Spülen von Objekten (120) im Innenraum (107), wenn das Bild einen Beladungszustand des Innenraums (107) repräsentiert, der zumindest einer Startbeladungsmenge entspricht.

Description

Beschreibung

Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells,

Vorrichtung und Spülgerät

Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum s Trainieren eines Modells, eine Vorrichtung und ein Spülgerät.

In haushaltsüblichen Spülgeräten, wie beispielsweise Geschirrspülern, können

Innenraumkameras zum Erfassen eines Beladungszustands integriert sein. Zudem können

Optionen zum automatischen Starten eines Spülprogramms gegeben sein, bei denen einem bestimmten Beladungsgrad eine jeweilige Füllgradzahl zugeordnet wird, beziehungsweise

Schwellenwerte in Form von Zahlen gesetzt werden.

Der Erfindung stellt sich die Aufgabe ein verbessertes Verfahren zum Ansteuern eines

Spülgeräts, ein verbessertes Verfahren zum Trainieren eines Modells, eine verbesserte

Vorrichtung und ein verbessertes Spülgerät zu schaffen. Erfindungsgemäß wird diese

Aufgabe durch ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum Trainieren eines Modells, eine Vorrichtung und ein Spülgerät mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.

Die mit der Erfindung erreichbaren Vorteile bestehen neben einem optimierten Startvorgang eines Spülgangs in einem Spülgerät in der einfachen Anwendung und Individualisierbarkeit des Verfahrens.

Es wird ein Verfahren zum Ansteuern eines Spülgeräts vorgestellt, wobei das Spülgerät mindestens eine Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts umfasst.

Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals von der

Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild des

Innenraums repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung des

Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums aus dem Bild des

Innenraums unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt des

Ausgebens eines Steuersignals zum Steuern eines Spülprogramms zum Spülen von 3o Objekten im Innenraum, wenn das Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer in dem Innenraum angeordneten Startbeladungsmenge von Reinigungsgut entspricht.

Bei dem Spülgerät kann es sich zum Beispiel um einen Geschirrspüler handeln, der ausgebildet sein kann, Geschirr, Besteck und andere Haushaltsutensilien im Innenraum aufzunehmen, beispielsweise in entsprechenden Körben und zusätzlich oder alternativ einer

Besteckschublade. Dabei kann das Spülgerät elektronisch mit anderen Geräten und zusätzlich oder alternativ einem Server außerhalb des Haushalts vernetzbar sein, um verschiedene Daten in Form von Signalen zu empfangen, auszugeben und automatisierte

Vorgänge, wie beispielsweise eine Auswahl eines passenden Spülprogramms, weitgehend ohne manuelles Eingreifen von Nutzern durchzuführen. Das Spülgerät kann zum Beispiel in das Netzwerk einer sogenannten Smart Kitchen beziehungsweise eines Smart Homes integriert oder integrierbar sein. Dabei kann das Spülgerät ausgebildet sein, um einen automatischen Spülstart zum Reinigen der im Innenraum angeordneten Objekte, beispielsweise Geschirr und Kochutensilien, wie Töpfe und Pfannen, durchzuführen. Der

Beginn eines solchen Spülvorgangs kann dabei in Abhängigkeit von dem Beladungszustand des Innenraums sein, beziehungsweise von darin angeordneten Körben. Ein solcher ı5 Beladungszustand kann beispielsweise von einer oder mehrerer im oder am Innenraum angeordneten Kameras erfasst werden. Beispielsweise kann die Kameraeinheit an einer

Innenseite einer den Innenraum verschließenden Tür angeordnet sein und ausgebildet sein, um jedes Mal ein Foto von dem Innenraum aufzunehmen, wenn die Tür geschlossen wird.

Unter Verwendung des Kamerasignals kann ein solches Bild beispielsweise an eine

Vorrichtung zum Auswerten von Bilddaten bereitgestellt werden, die beispielsweise als elektronische Einrichtung im Spülgerät angeordnet sein kann oder auf die zum Beispiel über eine Cloud zugegriffen werden kann. Das von der Kameraeinheit bereitgestellte Bild kann nun unter Verwendung eines Modells ausgewertet werden, um den aktuellen

Beladungszustand zu prüfen. Bei dem Modell kann es sich beispielsweise um einen

Algorithmus beziehungsweise ein neuronales Netz handeln, das zum Beispiel darauf trainiert worden sein kann, unter Verwendung des Kamerasignals eine Menge von erfasstem Spülgut im Innenraum mit ähnlichen, hinterlegten Bilddaten abzugleichen und zu entscheiden, ob die erfasste Menge einen Spülstart erfordert oder nicht. Beispielsweise kann ein solches neuronales Netz mit Trainingsbildern aus Versuchshaushalten trainiert worden sein, die im

Betrieb des Spülgeräts mit aktuell erfassten Bildern abgeglichen werden können. Es kann dementsprechend ausgebildet sein, um eine binäre Entscheidung zu treffen, ob ein

Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen Spülstart hinreichend gefüllt ist. Ist ein Beladungszustand erreicht, der einer erlernten Startbeladungsmenge entspricht, dann wird ein Steuersignal ausgegeben, um den

Start eines Spülgangs zu steuern. Ein solches Signal kann zum Beispiel an eine Einrichtung des Spülgeräts ausgegeben werden, die ausgebildet sein kann, um einen Spülgang automatisiert zu initiieren. Dadurch kann vorteilhafterweise ein optimaler Zeitpunkt bestimmt werden, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten,

damit die Nutzer immer genügend sauberes Geschirr zur Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Zudem wird durch die einfache

Unterscheidung zwischen „voll“ und „nicht voll“ die Anwendung des Verfahrens vereinfacht, da es beispielsweise keine Notwendigkeit gibt, den Kamerabildern zum Beispiel händisch s Möglichst genaue Zahlen zuzuordnen, die den Beladungsgrad repräsentieren könnten. Es bleibt lediglich die Kontrolle, ob das erfasste Bild einen hinreichend gefüllten Spülinnenraum zeigt. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, kann es einem Algorithmus bereits ermöglicht werden, einen Spülvorgang optimiert anzusteuern.

Gemäß einer Ausführungsform kann im Schritt des Auswertens das Bild einer ersten

Bildkategorie oder einer zweiten Bildkategorie zugeordnet werden. Dabei kann die erste

Bildkategorie einem nicht vollen Beladungszustand des Innenraums entsprechen und die zweite Bildkategorie kann dem vollen Beladungszustand entsprechen. Beispielsweise können von der Kameraeinheit erfasste Bilder, zum Beispiel angereichert durch Maschinendaten, ı5 automatisch mit den Klassenlabels „Start" oder „kein Start“ versehen werden. Dabei können

Bilder, die einer dem Modell eintrainierten Startbeladungsmenge entsprechen, beispielsweise wenn alle Körbe des Spülgeräts mindestens zu achtzig Prozent gefüllt sind, das Label „Start“ erhalten und entsprechend kann das Steuersignal ausgegeben werden. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen können, beispielsweise mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen

Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem

Ausräumen, können ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „kein

Start" versehen werden. Das bietet den Vorteil, dass eine einfache, binäre Entscheidung getroffen werden kann, ohne zusätzliche Zwischenwerte.

Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein

Bildinformationssignal eingelesen werden, wobei das Bildinformationssignal mindestens eine zusätzliche Information zu dem Bild repräsentieren kann. Dabei kann im Schritt des

Auswertens das Bild unter Verwendung des Bildinformationssignals ausgewertet werden.

Beispielsweise können im Schritt des Einlesens neben den einzelnen Bildern des 3o Spülinnenraumes auch Metadaten eingelesen werden, wie zum Beispiel Zeitstempel oder die

Information, ob das Bild nach einem manuellen Schließen der Tür oder durch einen Spülstart oder ein Spülende entstanden ist. Vorteilhafterweise kann unter Verwendung des

Bildinformationssignals ein aktueller Zustand des Spülgeräts optimal eingeschätzt werden.

Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das Bild verworfen werden, wenn ein vorbestimmter Bildparameter nicht erfüllt ist. Beispielsweise können Bilder verworfen werden, die einen bildtechnischen Mangel aufweisen und nicht sinnvoll ausgewertet werden können, beispielsweise, wenn sie über- oder unterbelichtet aufgenommen wurden. Das hat den Vorteil, dass nur solche Bilddaten gespeichert werden können, die auch für das Verfahren verwertbar sind, wodurch Energie und Speicherplatz eingespart werden kann. Optional können zudem Methoden des sogenannten Under- oder s Oversamplings genutzt werden.

Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Nutzersignal eingelesen werden, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Dabei kann im Schritt des Ausgebens das Steuersignal unter Verwendung des

Nutzersignals ausgegeben werden. Zum Beispiel können Daten wie Wochentage oder

Uhrzeiten für einen gewünschten Spülgang von Nutzern festgelegt werden, um das Verfahren vorteilhafterweise auf verschiedene Einsatzorte mit verschiedenen Nutzern zu individualisieren. Verschiedenen Haushalten kann dadurch die Möglichkeit gegeben werden,

Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschte

Programmende-Zeit (Wunsch-Wochentag und -Zeit) zu definieren. Optional können auch

Daten zum Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um vorteilhafterweise anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können.

Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Sensorsignal von einer Sensorschnittstelle zu einem Sensor eingelesen werden, wobei das Sensorsignal

Mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung des

Spülgeräts repräsentieren kann. Dabei kann im Schritt des Ausgebens das Steuersignal unter

Verwendung des Sensorsignals ausgegeben werden. Beispielsweise kann das Spülgerät mit einer vorhandenen Photovoltaikanlage kombiniert sein, wobei der Sensor ausgebildet sein kann, um einen von der Anlage produzierten Stromfluss zu erfassen. In einem solchen Fall kann unter Verwendung des Sensorsignals ein automatischer Start eines Spülgangs an eine hohe Stromproduktion gekoppelt werden, um vorteilhafterweise den vorhandenen Strom optimal zu nutzen. Zudem ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes eine Voraussetzung für einen Spülstart bilden kann, um das

Spülgerät nicht automatisch starten zu lassen, während niemand zu Hause ist. Sowohl für die

Option der sonnenscheinbedingten Stromproduktion als auch für die Anwesenheitsbedingung können optional weitere Informationsquellen genutzt werden, wie beispielsweise die

Anbindung an eine PV-Anlage, lokale Wetterdaten, Daten eines SmartHomes für die

Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort von Mobilgeräten, zum

Beispiel mittels sogenannten Geo-Fencings.

Gemäß einer weiteren Ausführungsform kann im Schritt des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben werden. Dabei kann das

Spülprogramm ansprechend auf ein Antwortsignal angesteuert werden, wobei das

Antwortsignal eine Eingabe des Nutzers an der Nutzerschnittstelle repräsentieren kann.

Beispielsweise kann die Nutzerschnittstelle als ein Display an dem Spülgerät oder als eine entsprechende App für ein Mobilgerät, beispielsweise ein Smartphone, ausgebildet sein. 5 Unter Verwendung des Steuersignals kann einem Nutzer zum Beispiel eine Push-

Benachrichtigung auf das Mobilgerät geschickt und zusammen mit dem aktuellen Kamerabild die Optionen „Starten“ und „Verschieben“ angeboten werden. Wählt ein Haushaltsmitglied die

Option „Verschieben“, kann der Spülstart zum Beispiel um ein konfigurierbares Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt werden.

Vorteilhafterweise kann dadurch ein Spülstart auf eine jeweils aktuelle Situation von Nutzern optimiert werden.

Zudem wird ein Verfahren zum Trainieren eines Modells zum Ansteuern eines Spülgeräts vorgestellt. Das Verfahren umfasst einen Schritt des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind. Weiterhin umfasst das Verfahren einen Schritt des

Anpassens des Modells derart, dass die dem Modell eingegebenen ersten Bilder der ersten

Bildkategorie zugeordnet werden und die dem Modell eingegebenen zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.

Bei dem zu trainierenden Modell, das auch als Grundmodell bezeichnet werden kann, kann es sich um einen Algorithmus beziehungsweise um ein neuronales Netz handeln. Nach dem

Vortrainieren kann das Netz vorteilhafterweise in einer Variante des zuvor beschriebenen

Verfahrens zum Ansteuern eines Spülgeräts eingesetzt werden. Hierfür kann das Modell zum

Beispiel mit Trainingsbildern aus Versuchshaushalten trainiert werden. Hierfür können zunächst die nötigen Trainingsdaten gesammelt werden. Diese können beispielsweise im

Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt werden.

Dabei können der zeitliche Verlauf der Bilder und beispielsweise zusätzlich anfallende

Metadaten ein zyklisches Profil abbilden, das sich grob in drei, sich wiederholende Phasen einteilen lassen kann: Die erste Phase, die Beladungsphase, kann idealerweise mit einem

Bild beginnen, das einen leeren Spülinnenraum zeigt, und anschließend Bilder, die mit fortschreitender Zeit einen zunehmend volleren Spülinnenraum zeigen. Auf die

Beladungsphase kann eine Spülphase folgen, die durch den Spülstart des Geschirrspülers getriggert werden kann. Das erste Bild dieser Phase kann daher idealerweise einen mit angeschmutzter Beladung voll befüllten Spülinnenraum zeigen. Während des Spülens optional gesammelte Bilder sind für diesen Anwendungsfall nicht weiter von Belang. Diese

Phase kann mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum abschließen, automatisch getriggert durch das Ende des Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthalten kann, die durch das Öffnen und Schließen der Spülertür getriggert werden können, ohne dass der Spüler ausgeräumt wurde.

Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt. Die

Bilder der Be- und Entladungsphase können beispielsweise dem ersten Bilddatensatz und damit der ersten Bildkategorie („kein Start“) zugeordnet sein und die Bilder der Spülphase können dem zweiten Bilddatensatz und damit der zweiten Bildkategorie („Start“) zugeordnet sein. 11 Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) den

Idealbedingungen entsprechen können, kann eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich sein. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um den manuellen

Überprüfungsaufwand zu reduzieren.

Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Nachtrainierens des

Modells nach dem Schritt des Anpassens aufweisen. Dabei kann im Schritt des

Nachtrainierens mindestens ein weiterer erster Bilddatensatz eingelesen werden, der eine

Mehrzahl von weiteren ersten Bildern des Innenraums repräsentieren kann, die der ersten

Bildkategorie zugeordnet sein können. Zudem kann mindestens ein weiterer zweiter

Bilddatensatz eingelesen werden, der eine Mehrzahl von weiteren zweiten Bildern des

Innenraums repräsentieren kann, die der zweiten Bildkategorie zugeordnet sein können.

Dabei kann das Modell derart angepasst werden, dass die weiteren ersten Bilder der ersten

Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.

Durch den Schritt des Nachtrainierens kann das Grundmodell vorteilhafterweise spezifischen

Bedürfnissen eines Nutzers oder Haushalts angepasst werden. Dabei können zum Beispiel nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler im Haushalt des Verwenders Start- und Nichtstart-Bilder gesammelt werden und durch bestehende neuronale Netze automatisch mit dem, beispielsweise lokalen, Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft werden. Hierbei können beispielsweise leichte Ungenauigkeiten vertretbar sein, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beide

Klassenlabel vorliegen, kann (gegebenenfalls nach einer Freigabe durch den Nutzer) das

Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden.

Solange die Rechen- und Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, kann dieser Schritt zum Beispiel auf Servern (in der Cloud) des Anbieters erfolgen. Das hätte den zusätzlichen Vorteil, dass sich durch in

Zielhaushalten gesammelte Daten das Grundmodell weiter verfeinern und verbessern lassen könnte. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des s Grundmodells mit mindestens einem durch weitere Trainingsbeispiele aus Kundenhaushalten angereichertem Datensatz. Alternativ können sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenannten Ensembles zusammenschließen lassen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entsprechen kann. Gemäß dem

Prinzip „Wissen der Masse" können Ensembles in vielen Fällen besser klassifizieren als einzelne neuronale Netze. Insgesamt bietet der Schritt des Nachtrainierens den Vorteil, dass sich dadurch ein individuell nachtrainiertes Netz viel gezielter an die jeweiligen

Gegebenheiten und Bedürfnisse einzelner Haushalte anpassen lassen kann. Darüber hinaus kann ein für jeden Nutzer individuelle nachtrainiertes neuronales Netz die individuellen

Gegebenheiten eines Haushaltes optimal abbilden, da von Haushalt zu Haushalt ı5 Unterschiede in Beladungsweisen (unten werden zum Beispiel große Teile eher grob eingeräumt) und Spülgutarten (mal mehr Porzellan, mal mehr Kunststoff, mal mehr Töpfe und

Pfannen) bestehen. Zudem lassen sich vorteilhafterweise mit der Zeit spezialisierte

Grundmodelle für verschiedene Länder und Esskulturen entwickeln.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die

Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern beziehungsweise umzusetzen. Auch durch diese

Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Die Vorrichtung kann ausgebildet sein, um Eingangssignale einzulesen und unter

Verwendung der Eingangssignale Ausgangssignale zu bestimmen und bereitzustellen. Ein

Eingangssignal kann beispielsweise ein über eine Eingangsschnittstelle der Vorrichtung einlesbares Sensorsignal darstellen. Ein Ausgangssignal kann ein Steuersignal oder ein

Datensignal darstellen, das an einer Ausgangsschnittstelle der Vorrichtung bereitgestellt werden kann. Die Vorrichtung kann ausgebildet sein, um die Ausgangssignale unter

Verwendung einer in Hardware oder Software umgesetzten Verarbeitungsvorschrift zu bestimmen. Beispielsweise kann die Vorrichtung dazu eine Logikschaltung, einen integrierten

Schaltkreis oder ein Softwaremodul umfassen und beispielsweise als ein diskretes

Bauelement realisiert sein oder von einem diskreten Bauelement umfasst sein.

Zudem wird ein Spülgerät mit einer Variante der zuvor vorgestellten Vorrichtung und mit

Mindestens einer Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts vorgestellt.

Beispielsweise kann es sich bei dem Spülgerät um einen Geschirrspüler zum Reinigen von

Geschirr handeln, das ausgebildet sein kann, um sich innerhalb eines Heimnetzwerks mit anderen Haushaltgeräten zu vernetzen. Mit anderen Worten kann es sich bei dem Spülgerät um einen Geschirrspüler mit Kamera und bildabhängigem, konfigurierbarem Autostart handeln. Durch diese Kombination eines Spülgeräts mit einer Kameraeinheit und einer s Vorrichtung können die zuvor genannten Vorteile optimal umgesetzt werden.

Von Vorteil ist auch ein Computer-Programmprodukt oder Computerprogramm mit

Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem

Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann. Wird das Programmprodukt oder Programm auf einem Computer oder einer

Vorrichtung ausgeführt, so kann das Programmprodukt oder Programm zur Durchführung,

Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet werden.

Auch wenn der beschriebene Ansatz anhand eines Haushaltgeräts beschrieben wird, kann die hier beschriebene Vorrichtung/Verfahren entsprechend im Zusammenhang mit einem gewerblichen oder professionellen Gerät, beispielsweise einem medizinischen Gerät, wie einem Reinigungs- oder Desinfektionsgerät, einem Kleinsterilisator, einem

Großraumdesinfektor oder einer Container-Waschanlage eingesetzt werden.

Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt

Figur 1 eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Vorrichtung zum Steuern eines Verfahrens zum Ansteuern des

Spülgeräts;

Figur 2 ein Ablaufdiagramm eines Verfahrens zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;

Figur3 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel;

Figur 4 ein Ablaufdiagramm eines Verfahrens zum Trainieren eines Modells zum

Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;

Figur 5 ein Ablaufdiagramm eines anderen Verfahrens zum Trainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel; und

Figur 6 ein Ablaufdiagramm eines Verfahrens zum Nachtrainieren eines Modells zum

Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel

Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 100 mit einer Vorrichtung 105 zum Steuern eines Verfahrens zum Ansteuern des Spülgeräts 100. Bei dem hier dargestellten Spülgerät 100 handelt es sich beispielhaft um einen

Geschirrspüler. Das Spülgerät 100 weist einen Innenraum 107 auf, der in diesem

Ausführungsbeispiel mit der Tür 110 verschließbar ist. Innerhalb des Innenraums 107 sind lediglich beispielhaft drei Körben 115, 116, 117 zur Aufnahme von verschiedenen Objekten als zu spülendes Spülgut 120a, 120b, bei denen es sich beispielhaft um Geschirr und s Kochutensilien handelt. Um diese Objekte zu reinigen, umfasst das Spülgerät 100 in diesem

Ausführungsbeispiel eine Sprüheinrichtung mit beispielhaft drei rotierbaren Sprüharmen 125, 126, 127. Mittels aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen sind die

Objekte 120 während eines Spülprogramms reinigbar. Der Druck für die aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen ist beispielhaft von einer Umwälzpumpe 130 11 erzeugbar. Mit einer Wasserweiche 131 ist zudem beispielhaft zwischen den einzelnen

Sprüharmen 125, 126, 127 umschaltbar. Solche und andere Aktionen des Spülgeräts 100 sind in einem Ausführungsbeispiel mittels einer Gerätesteuereinrichtung 135 steuerbar.

Um ein Reinigungsprogramm optimiert auf einen aktuellen Beladungszustand des Spülgeräts 100 automatisiert zu steuern, weist das Spülgerät zudem die Vorrichtung 105 auf sowie eine ı5 Kameraeinheit 140 zum Erfassen des Innenraums 107. In einem Ausführungsbeispiel ist die

Kameraeinheit 140 an der Tür 110 angeordnet und ausgebildet, um ansprechend auf ein

Öffnen oder Schließen der Tür 110 ein Bild des Innenraums 107 und dadurch auch von darin angeordneten Objekten 120 aufzunehmen. Das von der Kameraeinheit 140 erfasste Bild des

Innenraums 107 ist unter Verwendung eines Kamerasignals 145 an die Vorrichtung 105 bereitstellbar.

Die Vorrichtung 105 ist ausgebildet, um das Kamerasignal 145 einzulesen und das von der

Kameraeinheit 140 erfasste Bild unter Verwendung des Kamerasignals und unter

Verwendung eines Modells auszuwerten. In einem Ausführungsbeispiel ist das Modell der

Vorrichtung 105 hierfür als beispielhaft vortrainiertes neuronales Netz ausgebildet, um zwei sich voneinander unterscheidende Beladungszustände des Innenraums 107 zu unterscheiden. In einem Ausführungsbeispiel ist dabei ein nicht voll beladener Innenraum 107, in dem beispielhaft nur wenige oder gar keine Objekte 120 angeordnet sind, von einem voll beladenen Innenraum 107 unterscheidbar, der beispielhaft zu mindestens achtzig

Prozent mit zu spülenden Objekten 120 gefüllt ist.

Wenn das Bild von der Kameraeinheit 140 erfasst und unter Verwendung des Kamerasignals 145 eingelesene Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht, dann ist durch die Vorrichtung 105 ein Steuersignal 150 ausgebbar, um ein Spülprogramm zum Spülen der Objekte 120 zu steuern. In einem

Ausführungsbeispiel ist das Steuersignal 150 an die Gerätesteuereinrichtung 135 bereitstellbar, um eine entsprechende Aktorik des Spülgeräts 100 anzusteuern.

Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 200 kann zum Ansteuern eines Spülgeräts, wie es in der vorangegangenen Figur beschrieben wurde, eingesetzt werden.

Das Verfahren 200 umfasst einen Schritt 205 des Einlesens eines Kamerasignals von der

Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild des

Innenraums des Spülgeräts repräsentiert.

Daraufhin folgt ein Schritt 210 des Auswertens des Bilds unter Verwendung des

Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar sind.

Weiterhin umfasst das Verfahren einen Schritt 215 des Ausgebens eines Steuersignals zum

Steuern eines Spülprogramms zum Spülen von Objekten im Innenraum, wenn das Bild einen

Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. ı5 In einem Ausführungsbeispiel wird im Schritt 205 des Einlesens zudem ein

Bildinformationssignal eingelesen, das mindestens eine zusätzliche Information zu dem Bild repräsentiert, beispielhaft einen Aufnahmezeitpunkt des erfassten Bilds. Dabei wird lediglich beispielhaft im Schritt 210 des Auswertens das Bild unter Verwendung des

Bildinformationssignals ausgewertet.

Zusätzlich oder alternativ wird in einem Ausführungsbeispiel im Schritt des Einlesens ein

Nutzersignal eingelesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Beispielhaft wird an der Nutzerschnittstelle, bei der es sich um ein Display am

Spülgerät oder beispielsweise eine App eines Mobilgeräts handeln kann, eine Information bezüglich des gewünschten Spülprogramms eingegeben, beispielhaft eine gewünschte

Uhrzeit und/oder ein Wochentag. Im Schritt des Ausgebens 215 wird dann lediglich beispielhaft das Steuersignal unter Verwendung des Nutzersignals ausgegeben.

Optional wird im Schritt 205 des Einlesens auch ein Sensorsignal von einer

Sensorschnittstelle zu einem Sensor eingelesen, wobei das Sensorsignal mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung des Spülgeräts repräsentiert. Beispielhaft handelt es sich bei dem Sensor um eine Einrichtung zum Erfassen einer Person. Im Schritt 215 des Ausgebens wird lediglich beispielhaft das Steuersignal unter

Verwendung des Sensorsignals ausgegeben, beispielhaft unter der Prämisse, dass ein

Spülprogramm nur dann gestartet wird, wenn eine Person erfasst wurde. In einem anderen

Ausführungsbeispiel kann der Sensor auch andere Umgebungsparameter erfassen,

beispielsweise einen zur Verfügung stehenden Stromfluss oder ein innerhalb eines vorbestimmten Bereichs verortetes Mobilgerät.

In einem Ausführungsbeispiel wird zudem im Schritt 210 des Auswertens das Bild einer ersten Bildkategorie oder einer zweiten Bildkategorie zugeordnet, wobei die erste s Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweite

Bildkategorie dem vollen Beladungszustand entspricht.

Dabei wird lediglich beispielhaft das Bild verworfen, wenn ein vorbestimmter Bildparameter nicht erfüllt ist, zum Beispiel bei einer Über- oder Unterbelichtung der Aufnahme.

In einem Ausführungsbeispiel wird zudem im Schritt 215 des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben. Bei der Nutzerschnittstelle handelt es sich beispielhaft um eine App auf einem Mobilgerät des Nutzers, wobei unter Verwendung des Steuersignals beispielhaft eine Push-Nachricht erzeugt wird, die den Nutzer über einen möglichen Spülstart informiert. Das Spülprogramm wird dann lediglich beispielhaft ansprechend auf ein Antwortsignal angesteuert, wobei das Antwortsignal eine Eingabe des ı5 Nutzers an der Nutzerschnittstelle repräsentiert. In einem Ausführungsbeispiel wird unter

Verwendung des Antwortsignals eine Wunscheinstellung des Nutzers umgesetzt, beispielhaft eine Bestätigung des Starts des Spülprogramms oder eine Ablehnung desselben.

Mit anderen Worten lässt sich das hier dargestellte Verfahren wie folgt beschreiben:

Im Unterschied zu anderen Verfahren zum Ansteuern eines Spülgerät wird in dem hier dargestellten Verfahren 200 keine Bestimmung des Beladungsgrades als eine Zahl und der

Vergleich mit einem (vom Nutzer individualisierbaren) Schwellwert zur Ermittlung des optimalen Zeitpunktes für einen autonomen Spülstart des Geschirrspülers benötigt. Das

Verfahren 200 kommt ohne einen Beladungsgrad in Form einer Zahl aus, ermöglicht den

Nutzern aber trotzdem eine Anpassung des Verfahrens an die persönlichen

Nutzungsvorlieben.

Dies wird mit einem Algorithmus (neuronales Netz) realisiert, das zum Beispiel mit

Trainingsbildern aus Versuchshaushalten trainiert wurde. Angereichert durch

Maschinendaten können Bilder, bei denen der Geschirrspüler tatsächlich vom

Versuchshaushalt gestartet wurde, automatisch mit dem Klassenlabel „Start" versehen worden sein. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstanden sind, mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen

Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem

Ausräumen wurden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „Kein

Start" versehen. Ein mit solchen Beispielen trainiertes Grundmodell kann bei ausreichender

Datenlage und hinreichender Tests bereits im Auslieferungszustand von Geschirrspülern mit

Kamera im Gerät oder über die Cloud allen Nutzern gleichermaßen zur Nutzung verfügbar gemacht werden. Es ist in der Lage, die binäre Entscheidung zu treffen, ob ein Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen s Spülstart hinreichend gefüllt ist, ohne dass eine Beladungsgradzahl bestimmt werden musste.

Um den Betrieb mehrerer Netze (in einem Ensemble) effizienter zu gestalten, kann das

Gesamtverhalten eines Ensembles optional mittels „Knowledge Distillation" auf ein einzelnes

Netz übertragen werden. Ursprünglich wurde Knowledge Distillation (KD) entwickelt, um das

Verhalten von großen, ressourcenhungrigen Netzen in kleinere, effizientere Netze zu übertragen, ohne dass die Klassifikationsgenauigkeit dabei nennenswert leidet. Es lässt sich mittels KD aber auch das Verhalten von Ensembles in Einzelnetze übertragen.

Die Nutzer können somit ihren Geschirrspüler mittels Spülplaner programmieren - jedoch mit einer oder mehreren Vorzugszeiten. Sobald das obere Grundmodell oder ein individualisiertes Modell ein Kamerabild mit „Start" klassifiziert, wird innerhalb der nächsten

Vorzugszeit automatisch der Spüler gemäß der im Spülplaner eingestellten Parameter gestartet.

Figur 3 zeigt ein Blockschaltbild einer Vorrichtung 105 gemäß einem Ausführungsbeispiel.

Die hier dargestellte Vorrichtung 105 entspricht oder ähnelt der in der vorangegangenen

Figur 1 beschriebenen Vorrichtung, mit dem Unterschied, dass die Vorrichtung 105 in diesem

Ausführungsbeispiel auf einem zu dem in der vorangegangenen Figur 1 beschriebenen

Spülgerät 100 externen Server beziehungsweise in einer sogenannten Cloud betreibbar ist.

Die Vorrichtung 105 umfasst ein beispielhaft als neuronales Netz ausgebildetes Modell 300 und ist ausgebildet, um ein Verfahren, wie es in der vorangegangenen Figur 2 beschrieben wurde, zu steuern.

Hierfür ist die Vorrichtung 105 ausgebildet, um ein Kamerasignal 145 von der Kameraeinheit 140 einzulesen, wobei das Kamerasignal 145 ein von der Kameraeinheit 140 erfasstes Bild eines Innenraums des Spülgeräts 100 repräsentiert. Unter Verwendung des Kamerasignals 145 sowie des Modells 300 ist das von der Kameraeinheit 140 bereitgestellte Bild durch die

Vorrichtung 105 auswertbar. Durch das Modell 300 sind dabei mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar. So ist in einem Ausführungsbeispiel das Bild einer ersten Bildkategorie oder einer zweiten

Bildkategorie zuordenbar, wobei die erste Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweite Bildkategorie einem vollen Beladungszustand entspricht.

Die Vorrichtung 105 ist weiterhin ausgebildet, um ein Steuersignal 150 auszugeben, um ein

Spülprogramm zum Spülen von Objekten im Innenraum anzusteuern, wenn das Bild einen

Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. In einem Ausführungsbeispiel ist das Steuersignal 150 an eine s Gerätesteuereinrichtung 135 des Spülgeräts 100 ausgebbar, wobei die

Gerätesteuereinrichtung 135 beispielhaft ausgebildet ist, um eine Aktorik des Spülgeräts 100 zum Durchführen eines Spülprogramms anzusteuern.

In einem Ausführungsbeispiel ist die Kameraeinheit 140 ausgebildet, um zusätzlich zu dem

Kamerasignal 145 ein Bildinformationssignal 305 bereitzustellen, wobei das 101 Bildinformationssignal 305 beispielhaft eine zusätzliche Information zu dem bereitgestellten

Bild repräsentiert, beispielhaft einen Zeitstempel. Die Vorrichtung 105 ist ausgebildet, um das

Bildinformationssignal 305 einzulesen und die Bildinformation beispielhaft unter Verwendung des Modells 300 auszuwerten.

Zudem ist die Vorrichtung 105 in einem Ausführungsbeispiel ausgebildet, um ein Nutzersignal 310 einzulesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle 315a repräsentiert. In einem Ausführungsbeispiel ist die Nutzerschnittstelle 315 beispielhaft als

Touch-Display an dem Spülgerät 100 ausgebildet. Dabei sind lediglich beispielhaft verschiedene anwenderspezifische Eingaben an der Nutzerschnittstelle 315 eingebbar, beispielhaft gewünschte Uhrzeiten oder Wochentage zum Durchführen eines Spülprogramm

Oder die Bevorzugung eines bestimmten Programms, beispielsweise einer Wasser- sparenden Variante. Unter Verwendung des Nutzersignals 310 sind solche und ähnliche

Eingaben beim Ansteuern des Spülgeräts 100 durch die Vorrichtung 105 anwendbar.

In einem Ausführungsbeispiel ist die Vorrichtung 105 weiterhin ausgebildet, um ein

Sensorsignal 320 von einer Sensorschnittstelle 324 zu einem Sensor 328 einzulesen, wobei das Sensorsignal 320 mindestens einen von dem Sensor 328 erfassten

Umgebungsparameter einer Umgebung des Spülgeräts 100 repräsentiert. Der Sensor 328 ist in einem Ausführungsbeispiel ausgebildet, um eine Stromproduktion einer vorhandenen

Photovoltaikanlage zu erfassen und eine diesbezügliche Information unter Verwendung des

Sensorsignals 320 an die Vorrichtung 105 bereitzustellen. Ein automatischer Start eines

Spülprogramms ist dadurch beispielhaft an eine hohe Stromproduktion koppelbar und das

Steuersignal 150 in diesem Fall unter Verwendung des Sensorsignals 320 ausgebbar.

Zusätzlich oder alternativ ist das Steuersignal 150 auch an eine Nutzerschnittstelle 315b zu einem Nutzer ausgebbar. Lediglich beispielhaft ist ansprechend auf das Steuersignal 150 eine Nachricht an der Nutzerschnittstelle erzeugbar, die den Nutzer über einen möglichen

Spülstart informiert. Der Nutzer hat beispielhaft die Wahl, dem vorgeschlagenen Spülstart zuzustimmen oder ihn abzulehnen beziehungsweise zu verschieben. Die gewählte Antwort ist in einem Ausführungsbeispiel unter Verwendung eines Antwortsignals 330 von der

Vorrichtung 105 einlesbar.

In dem hier gezeigten Ausführungsbeispiel handelt es sich bei der Nutzerschnittstelle 315b, an der beispielhaft ein Spülstart wählbar oder ablehnbar ist, um eine andere s Nutzerschnittstelle 315b als die zuvor beschriebene Nutzerschnittstelle 315a zum Ausgeben des Nutzersignals 310. Lediglich beispielhaft handelt es sich bei ersterer um eine App auf einem Mobilgerät, während letztere in das Spülgerät 100 integriert ist. Die in dieser Figur gewählte Darstellung ist der Übersichtlichkeit wegen gewählt. In anderen

Ausführungsbeispielen kann auch nur eine der beiden Nutzerschnittstellen 315a, 315b verfügbar sein oder alternativ können beide Nutzerschnittstellen 315a, 315b ausgebildet sein, um sowohl das Steuersignal einzulesen als auch das Nutzersignal 310 sowie das

Antwortsignal 330 auszugeben.

Figur 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Trainieren eines Modells zum

Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das Verfahren 400 ist ı5 beispielhaft zum Trainieren eines Modells anwendbar, wie es in der vorangegangenen Figur 3 beschrieben wurde, um ein Spülgerät anzusteuern, wie es in der vorangegangenen Figur 1 beschrieben wurde.

Das Verfahren 400 umfasst einen Schritt 405 des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind.

Weiterhin umfasst das Verfahren 400 einen Schritt 410 des Anpassens des Modells derart, dass die ersten Bilder der ersten Bildkategorie zugeordnet werden und die zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.

In einem Ausführungsbeispiel umfasst das Verfahren 400 zudem einen Schritt 415 des

Nachtrainierens des Modells nach dem Schritt 410 des Anpassens. Im beispielhaften Schritt 415 des Nachtrainierens wird mindestens ein weiterer erster Bilddatensatz eingelesen, der eine Mehrzahl von weiteren ersten Bildern des Innenraums repräsentiert, die der ersten

Bildkategorie zugeordnet sind. Zudem wird mindestens ein weiterer zweiter Bilddatensatz eingelesen, der eine Mehrzahl von weiteren zweiten Bildern des Innenraums repräsentiert, die der zweiten Bildkategorie zugeordnet sind. Dabei wird das Modell derart angepasst, dass die weiteren ersten Bilder der ersten Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.

Anders formuliert werden bei dem hier vorgestellten Verfahren 400 zum Training eines neuronalen Netzes Bilder, bei denen der Geschirrspüler tatsächlich vom Versuchshaushalt gestartet wurde, angereichert durch Maschinendaten automatisch mit dem Klassenlabel „Start" versehen. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen, mit s einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen

Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem

Ausräumen werden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „Kein

Start" versehen. Diese Bilder sollten vorm Trainieren des Grundmodells (neuronales Netz) zunächst von Menschen, später - zumindest teilweise - von bereits existierenden neuronalen

Netzen überprüft werden. Im letzten Fall sollte nur in Grenzfällen, an denen ein bereits trainiertes Netz scheitert, durch Menschen überprüft werden.

Um dieses Grundmodell an nutzungsspezifische Bedürfnisse anzupassen, ist optional der

Schritt 415 des Nachtrainierens durchführbar. Dabei werden nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler des Nutzers Start- und

Nichtstart-Bilder gesammelt und durch bestehende neuronale Netze automatisch mit dem (lokalen) Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft. Hierbei sind leichte Ungenauigkeiten vertretbar, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beide Klassenlabel vorliegen, kann (gegebenenfalls nach Freigabe durch den Nutzer) das Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden. Solange die Rechen- und

Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, sollte dieser Schritt zum Beispiel auf Servern (in der Cloud) des Herstellers erfolgen. Rein theoretisch steht einem lokalen Nachtrainieren im Geschirrspüler nichts entgegen. Zu Entwicklungszwecken besteht aber berechtigtes Interesse an nachtrainierten

Modellen, sowie an den hierfür genutzten Trainingsdaten. Hierdurch lässt sich das

Grundmodell weiter verfeinern und verbessern. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des Grundmodells mit durch weitere Trainingsbeispiele aus verschiedenen Haushalten angereichertem Datensatz. Alternativ lassen sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenannten

Ensembles zusammenschließen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entspricht. Gemäß dem Prinzip „Wissen der Masse" klassifizieren Ensembles in vielen Fällen besser als einzelne neuronale Netze.

Das beschriebene Verfahren 400 verringert den für die Durchführung benötigten

Energieaufwand durch den Wegfall der Notwendigkeit, Bildern händisch möglichst genaue

Zahlen, die den Beladungsgrad repräsentieren, zuzuordnen. Es bleibt lediglich die Kontrolle, ob die gesammelten Startbilder tatsächlich einen hinreichend gefüllten Spülinnenraum zeigen, oder ob der Geschirrspüler vorzeitig, ohne hinreichend gefüllt zu sein, gestartet wurde. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, ist es einem Algorithmus bereits möglich, die Bestimmung eines optimalen Zeitpunktes durchzuführen, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten, damit die Nutzer immer genügend sauberes Geschirr zur s Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Auch die

Individualisierbarkeit des Algorithmus und die Anpassung an spezifische Vorlieben ist gegeben, sogar ohne dass die Nutzer eine unter Umständen abstrakte Zahl als

Beladungsgrad einstellen müssten - die Algorithmen lernen automatisch aus nutzereigenen

Beispielen, inklusive automatischer Kontrolle der individualisierten Algorithmen. Ein solches individuell nachtrainierbares Netz lässt sich gezielt an die jeweiligen Gegebenheiten und

Bedürfnisse einzelner Haushalte anpassen.

Figur 5 zeigt ein Ablaufdiagramm eines anderen Verfahrens 500 zum Trainieren eines

Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 500 ähnelt dem in der vorangegangenen Figur 4 beschriebenen Verfahren zum Trainieren eines Modells, mit dem Unterschied, dass das hier dargestellte Verfahren 500 zusätzliche und alternative Schritte umfasst.

Das Verfahren 500 umfasst einen Schritt 505 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt und lediglich beispielhaft in eine Cloud

Übertragen.

Im folgenden Schritt 510 des Sortierens wird eine Mehrzahl von Bildern gemäß

Maschinendaten herstellerseitig innerhalb der Cloud als „Start“- und „Kein Start“-Bilder sortiert.

Das Verfahren 500 umfasst weiterhin einen Schritt 515 des Überprüfens, in dem die in der

Cloud sortierten Bilder überprüft werden. Dieser Schritt wird optional durch Menschen und/oder einem bestehenden Algorithmus durchgeführt.

Daraufhin folgt im Schritt 520 das Trainieren des Modells, das auch als Grundmodell bezeichnet werden kann, mit den gesammelten und aufbereiteten Daten. Auch dieser Schritt wird lediglich beispielhaft in der Cloud durchgeführt.

Im folgenden Schritt 525 des Bereitstellens wird schließlich das geprüfte Grundmodell zur

Nutzung über die Cloud oder im Gerät bereitgestellt.

In einem Ausführungsbeispiel werden nach dem Schritt 525 des Bereitstellens erneut die vorangegangenen Schritte 505, 510, 515, 520 durchgeführt, so dass das Verfahren 500 als geschlossene Schleife zur kontinuierlichen Verbesserung des Grundmodells genutzt wird.

Figur 6 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Nachtrainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 600 kann als Schritt des Nachtrainierens, wie er in der vorangegangenen

Figur 4 beschrieben wurde, angewendet werden.

Das Verfahren 600 umfasst einen Schritt 605 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt. Dieses und andere aufgenommene

Bilder werden lediglich beispielhaft sowohl im Gerät gespeichert als auch in einem Schritt 607 zu Qualitätssicherungs- und Entwicklungszwecken in eine Cloud übertragen.

Im folgenden Schritt 610 des Sortierens werden die Bilder gemäß Maschinendaten als „Start“- und „Kein Start“-Bilder sortiert.

Daraufhin folgt ein Schritt 615 des Überprüfens, in dem die Bilder und deren Einsortierung durch ein bestehendes Grundmodell überprüft werden, wobei leichte Ungenauigkeiten toleriert werden. Liegt ein Start-Zeitpunkt beispielsweise zu weit vor dem, der durch das

Grundmodell bestimmt wurde, wird das Start-Bild nicht berücksichtigt.

Das Verfahren 600 umfasst weiterhin einen Schritt 820 des Nachtrainings, in dem das

Grundmodell mit den gesammelten und aufbereiteten Daten mittels Transfer-Lernens nachtrainiert wird.

Im anschließenden Schritt 625 des Nutzens wird das nachtrainierte Modell zur Nutzung über die Cloud oder direkt im Gerät bereitgestellt. Zusätzlich wird das Modell in einem Schritt 630 des Übertragens in die Cloud zu Qualitätssicherungs- und Entwicklungszwecken übertragen.

In einem Ausführungsbeispiel werden nach dem Schritt 625 des Bereitstellens erneut die vorangegangenen Schritte 605, 610, 615, 620 durchgeführt, so dass das Verfahren 600 als geschlossene Schleife zur kontinuierlichen Verbesserung des Modells genutzt wird. Dabei können alle Schritte 605, 610, 615, 620, 625 optional im Gerät oder in der Cloud durchgeführt werden.

Insgesamt lassen sich die vorangehend beschriebenen Verfahren wie folgt beschreiben:

Zunächst werden Trainingsdaten zum Trainieren eines Grundmodells (neuronales Netz) gesammelt. Diese werden zunächst im Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt. Hierbei fallen nicht nur die einzelnen Bilder des

Spülinnenraumes an, sondern auch Metadaten, wie Zeitstempel, ob das Bild nach dem

Schließen der Tür durch den Nutzer oder durch einen Spülstart / ein Spülende entstanden sind. Der zeitliche Verlauf der Bilder und Daten bildet somit ein zyklisches Profil ab, das sich grob in drei, sich wiederholende Phasen einteilen lässt:

Die erste Phase, die Beladungsphase, beginnt idealerweise mit einem Bild, das einen leeren

Spülinnenraum zeigt und umfasst Bild, die mit fortschreitender Zeit einen zunehmend volleren s Spülinnenraum zeigen. Die Bilder der Beladungsphase werden ausschließlich durch

Beladungsinteraktionen der Nutzer erzeugt. Auf die Beladungsphase folgt die Spülphase, die durch den Spülstart des Geschirrspülers durch den Nutzer getriggert wird. Das erste Bild dieser Phase zeigt daher idealerweise einen mit angeschmutzter Beladung voll befüllten

Spülinnenraum. Während des Spülens optional gesammelte Bilder sind für diesen

Anwendungsfall nicht weiter von Belang. Diese Phase schließt mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum, automatisch getriggert durch das Ende des

Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthält, die durch das Öffnen und Schließen der Geschirrspülertür durch den Nutzer getriggert wurde, ohne, dass der Spüler ausgeräumt wurde. Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt.

Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) den

Idealbedingungen entsprechen, ist in jedem Fall eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um die manuellen

Überprüfungsaufwand zu reduzieren.

Im Idealfall fallen nun pro Spülzyklus ein Startbild von einem vollbeladenen Spülinnenraum und mehrere Bilder aus der Beladungsphase an. Das Startbild erhält (nach der Kontrolle, zum

Beispiel ob wider Erwarten nicht mit voller Beladung gespült wurde) das Klassenlabel „Start“ und die Bilder der Beladungsphase das Klassenlabel „Kein Start“.

Sukzessive entsteht nun ein Datensatz aus Bildern, die in die zwei Klassen aufgeteilt sind. Da während der Beladungsphase deutlich mehr Bilder anfallen, ist diese Klasse erwartungsgemäß überrepräsentiert. Um dieses Ungleichgewicht auszugleichen, können

Methoden des sogenannten Under- oder Oversamplings genutzt werden, damit das neuronale Netz im Training eine ausgewogene Verteilung lernen kann. Optional können noch eine Rückweisungsklasse für Bilder, bei denen ein über- oder unterbelichtetes Bild aufgenommen wurde, die nicht sinnvoll ausgewertet werden können (hier kann später im

Betrieb unter Umständen durch den Geschirrspüler eine erneute Bildaufnahme versucht werden, um ein auswertbares Bild aufzunehmen).

Dieser Datensatz kann nun zum Training eines neuronalen Netzes genutzt werden. Liegen neuere und / oder bessere Trainingsbeispiele vor, kann dieser Vorgang iterativ wiederholt werden, um das neuronale Netz weiter zu verbessern und gegebenenfalls sich ändernden

Bedingungen (zum Beispiel als Anpassung an internationale Märkte mit abweichenden s Beladungsteilen) anzupassen und zu erweitern. Betrieben wird dieses Netz schließlich entweder in der Cloud oder auf dem Gerät des jeweiligen Haushalts.

Abgesehen davon, dass für jeden Zielmarkt ein solches Grundmodell zur Verfügung stehen kann, kann es für jeden Nutzer individualisiert werden. Hierfür existieren mehrere, unterschiedliche Ansätze.

Bei der ersten Möglichkeit wird anhand einer kleinen Menge Beispieldaten des jeweiligen

Haushaltes ein eigenes Netz mittels Transferlernen nachtrainiert. Dies kann prinzipiell sowohl in der Cloud als auch auf dem Gerät des Nutzers (entsprechende Rechenleistung „Training on-Ege“ vorausgesetzt) erfolgen. Dieses nachtrainierte Netz kann dann entweder in der

Cloud oder im Gerät des jeweiligen Haushalts betrieben werden. Um nicht für jeden Haushalt ein eigenes Netz in der Cloud vorzuhalten, das nur gelegentlich angefragt wird, ist bei dieser

Möglichkeit ist ein Betrieb im Gerät vermutlich zu bevorzugen.

Zur Verbesserung und Sicherstellung der Robustheit des nachtrainierten individuellen

Netzes, kann die bereits beschriebene Methode des Ensembles (sowohl das allgemeine

Grundmodell bewertet jedes neue Bild als auch das Individualnetz). Solange beide Netze innerhalb eines gewissen Rahmens (bzgl. Zeit und Klassifikationsergebnis) ähnliche

Ergebnisse liefern, ist ein robuster Betrieb anzunehmen. Divergiert das Individualnetz vom

Grundmodell, so ist ein erneutes Training ratsam. Divergieren gleichzeitig mehrere

Individualnetze mehrerer (vieler) Haushalte vom jeweiligen Grundmodell, so ist ein Update des Grundmodells ratsam. Die Fachliteratur spricht in solchen Fällen von „Model-Drift“.

Eine weitere Möglichkeit der Individualisierung wäre, das Grundmodell nicht direkt zu individualisieren, sondern ein deutlich kleineres Netz zu erzeugen, was problemlos auch mit geringeren Rechenressourcen im Gerät des jeweiligen Haushaltes trainiert werden kann. Als

Eingabedaten dienen hier nicht direkt die aufgenommenen Bilder, sondern die

Auswertungsergebnisse des Grundmodells. Zusätzlich können Daten wie Wochentag,

Uhrzeit, Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können. Dieses Netzwerk kann basierend auf einer Historie der beschriebenen

Daten kontinuierlich nach-, beziehungsweise neutrainiert werden, um laufend das aktuelle

Nutzungsverhalten modellieren und imitieren zu können.

Bei beiden Möglichkeiten ist jedoch eine Vernetzung des Gerätes vorausgesetzt, um das

Verhalten der neuronalen Netze überwachen und deren Güte einschätzen zu können. Ein mögliches Fehlverhalten der Netze (zum Beispiel Model-Drift, s.0.) sollte frühzeitig erkennbar sein, um entsprechende Gegenmaßnahmen (zum Beispiel ein Reset eines individualisierten

Netzes auf das Grundmodell oder Update des Grundmodells) ergreifen zu können.

Als dritte Möglichkeit, kann jeder Haushalt die Möglichkeit erhalten, selbst eine gewisse

Individualisierung vornehmen zu können — nicht zuletzt, um gar nicht erst die Notwendigkeit aufkommen zu lassen, Gegenmaßnahmen bei fehlerhaften Individualnetzen ergreifen zu müssen. Eine händische Individualisierung durch den jeweiligen Haushalt ist daher auch bei den zuvor beschriebenen Umsetzungsmöglichkeiten zusätzlich möglich.

Den Haushalten könnte die Möglichkeit gegeben werden, Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschte Programmende-Zeit (Wunsch-

Wochentag und -Zeit) zu definieren. Auch wäre in Kombination mit einer vorhanden

Photovoltaikanlage denkbar, einen automatischen Start an eine hohe Stromproduktion zu ı5 koppeln. Da Nutzer Bedenken haben könnten, den Spüler automatisch starten zu lassen, während niemand zu Hause ist, ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes gegeben sein muss. Sowohl für die Option der sonnenscheinbedingten Stromproduktion, als auch für die Anwesenheitsbedingung sind weitere Informationsquellen (Anbindung an PV-Anlage, lokale Wetterdaten, Daten eines

SmartHomes für die Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort von

Mobilgeräten, zum Beispiel mittels „Geo-Fencing“) notwendig.

Die letzte, aber wohl auch einfachste Möglichkeit wäre, dem Haushalt eine Push-

Benachrichtigung auf die Mobilgeräte zu schicken und zusammen mit dem aktuellen

Kamerabild die Optionen „Starten“ und „Verschieben“ anzubieten. Wählt ein

Haushaltsmitglied die Option „Verschieben“, wird der Spülstart um ein konfigurierbares

Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt.

Claims (13)

Patentansprüche

1. Verfahren (200) zum Ansteuern eines Spülgeräts (100), wobei das Spülgerät (100) mindestens eine Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100) umfasst, wobei das Verfahren (200) folgende Schritte (205, 210, 215) aufweist: Einlesen (205) eines Kamerasignals (145) von der Kameraeinheit (140), wobei das Kamerasignal (145) ein von der Kameraeinheit (140) erfasstes Bild des Innenraums (107) repräsentiert; Auswerten (210) des Bilds unter Verwendung des Kamerasignals (145) und unter Verwendung eines Modells (300), durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums (107) aus dem Bild des Innenraums (107) unterscheidbar sind; und Ausgeben (215) eines Steuersignals (150) zum Steuern eines Spülprogramms zum Spülen von Objekten (120) im Innenraum (107), wenn das Bild einen Beladungszustand des Innenraums (107) repräsentiert, der zumindest einer in dem Innenraum (107) angeordneten Startbeladungsmenge von Spülgut (120) entspricht.

2. Verfahren (200) gemäß Anspruch 1, wobei im Schritt (210) des Auswertens das Bild einer ersten Bildkategorie oder einer zweiten Bildkategorie zugeordnet wird, wobei die erste Bildkategorie einem nicht vollen Beladungszustand des Innenraums (107) entspricht und die zweite Bildkategorie dem vollen Beladungszustand entspricht.

3. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Bildinformationssignal (305) eingelesen wird, wobei das Bildinformationssignal (305) mindestens eine zusätzliche Information zu dem Bild repräsentiert, wobei im Schritt (210) des Auswertens das Bild unter Verwendung des Bildinformationssignals (305) ausgewertet wird.

4. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (210) des Auswertens das Bild verworfen wird, wenn ein vorbestimmter Bildparameter nicht erfüllt ist.

5. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Nutzersignal (310) eingelesen wird, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle (315) repräsentiert, wobei im Schritt (215) des Ausgebens das Steuersignal (150) unter Verwendung des Nutzersignals (310) ausgegeben wird.

6. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Sensorsignal (320) von einer Sensorschnittstelle (324) zu einem Sensor (328) eingelesen wird, wobei das Sensorsignal (320) mindestens einen von dem Sensor (328) erfassten Umgebungsparameter einer Umgebung des Spülgeräts (100) repräsentiert, wobei im Schritt (215) des Ausgebens das Steuersignal (150) unter Verwendung des Sensorsignals (320) ausgegeben wird.

7. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (215) des Ausgebens das Steuersignal (150) an eine Nutzerschnittstelle (315) zu einem Nutzer ausgegeben wird, wobei das Spülprogramm ansprechend auf ein Antwortsignal (330) angesteuert wird, wobei das Antwortsignal (330) eine Eingabe des Nutzers an der Nutzerschnittstelle (315) repräsentiert.

8. Verfahren (400) zum Trainieren eines Modells (300) zum Ansteuern eines Spülgeräts (100), wobei das Verfahren (400) folgende Schritte (405, 410) aufweist: Einlesen (405) eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums (107) eines Spülgeräts (100) repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums (107) eines Spülgeräts (100) repräsentiert, die einer zweiten Bildkategorie zugeordnet sind; und Anpassen (410) des Modells (300) derart, dass die dem Modell (300) eingegebenen ersten Bilder der ersten Bildkategorie zugeordnet werden und die dem Modell (300) eingegebenen zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell (300) zu trainieren.

9. Verfahren (400) gemäß Anspruch 8, mit einem Schritt (415) des Nachtrainierens des Modells (300) nach dem Schritt (410) des Anpassens, wobei im Schritt (415) des Nachtrainierens mindestens ein weiterer erster Bilddatensatz eingelesen wird, der eine Mehrzahl von weiteren ersten Bildern des Innenraums (107) repräsentiert, die der ersten Bildkategorie zugeordnet sind und wobei mindestens ein weiterer zweiter Bilddatensatz eingelesen wird, der eine Mehrzahl von weiteren zweiten Bildern des Innenraums (107) repräsentiert, die der zweiten Bildkategorie zugeordnet sind, wobei das Modell (300) derart angepasst wird, dass die weiteren ersten Bilder der ersten Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.

10. Vorrichtung (105), die ausgebildet ist, um die Schritte (205, 210, 215; 405, 410) eines der Verfahren (200; 400) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen.

11. Spülgerät (100) mit einer Vorrichtung (105) gemäß Anspruch 10 und mit mindestens einer Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100).

12. Computer-Programmprodukt mit Programmcode zur Durchführung eines der Verfahren (200; 400) nach einem der vorangegangenen Ansprüche 1 bis 9, wenn das Computer- Programmprodukt auf einer Vorrichtung (105) gemäß Anspruch 10 ausgeführt wird.

13. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.