BE1030689B1 - Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät - Google Patents
Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät Download PDFInfo
- Publication number
- BE1030689B1 BE1030689B1 BE20225548A BE202205548A BE1030689B1 BE 1030689 B1 BE1030689 B1 BE 1030689B1 BE 20225548 A BE20225548 A BE 20225548A BE 202205548 A BE202205548 A BE 202205548A BE 1030689 B1 BE1030689 B1 BE 1030689B1
- Authority
- BE
- Belgium
- Prior art keywords
- image
- interior
- signal
- model
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims description 37
- 238000011010 flushing procedure Methods 0.000 title claims description 36
- 238000011068 loading method Methods 0.000 claims abstract description 43
- 238000005406 washing Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000004851 dishwashing Methods 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000007921 spray Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000013140 knowledge distillation Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010411 cooking Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000021403 cultural food Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/42—Details
- A47L15/4295—Arrangements for detecting or measuring the condition of the crockery or tableware, e.g. nature or quantity
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
- A47L15/0021—Regulation of operational steps within the washing processes, e.g. optimisation or improvement of operational steps depending from the detergent nature or from the condition of the crockery
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L15/00—Washing or rinsing machines for crockery or tableware
- A47L15/0018—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control
- A47L15/0063—Controlling processes, i.e. processes to control the operation of the machine characterised by the purpose or target of the control using remote monitoring or controlling of the dishwasher operation, e.g. networking systems
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
- A47L2401/04—Crockery or tableware details, e.g. material, quantity, condition
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2401/00—Automatic detection in controlling methods of washing or rinsing machines for crockery or tableware, e.g. information provided by sensors entered into controlling devices
- A47L2401/30—Variation of electrical, magnetical or optical quantities
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2501/00—Output in controlling method of washing or rinsing machines for crockery or tableware, i.e. quantities or components controlled, or actions performed by the controlling device executing the controlling method
- A47L2501/30—Regulation of machine operational steps within the washing process, e.g. performing an additional rinsing phase, shortening or stopping of the drying phase, washing at decreased noise operation conditions
Landscapes
- Washing And Drying Of Tableware (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts (100), wobei das Spülgerät (100) mindestens eine Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100) umfasst. Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals (145) von der Kameraeinheit (140), wobei das Kamerasignal (145) ein von der Kameraeinheit (140) erfasstes Bild des Innenraums (107) repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung des Kamerasignals (145) und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums (107) unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt des Ausgebens eines Steuersignals (150) zum Steuern eines Spülprogramms zum Spülen von Objekten (120) im Innenraum (107), wenn das Bild einen Beladungszustand des Innenraums (107) repräsentiert, der zumindest einer Startbeladungsmenge entspricht.
Description
Beschreibung
Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells,
Vorrichtung und Spülgerät
Die Erfindung betrifft ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum s Trainieren eines Modells, eine Vorrichtung und ein Spülgerät.
In haushaltsüblichen Spülgeräten, wie beispielsweise Geschirrspülern, können
Innenraumkameras zum Erfassen eines Beladungszustands integriert sein. Zudem können
Optionen zum automatischen Starten eines Spülprogramms gegeben sein, bei denen einem bestimmten Beladungsgrad eine jeweilige Füllgradzahl zugeordnet wird, beziehungsweise
Schwellenwerte in Form von Zahlen gesetzt werden.
Der Erfindung stellt sich die Aufgabe ein verbessertes Verfahren zum Ansteuern eines
Spülgeräts, ein verbessertes Verfahren zum Trainieren eines Modells, eine verbesserte
Vorrichtung und ein verbessertes Spülgerät zu schaffen. Erfindungsgemäß wird diese
Aufgabe durch ein Verfahren zum Ansteuern eines Spülgeräts, ein Verfahren zum Trainieren eines Modells, eine Vorrichtung und ein Spülgerät mit den Merkmalen der Hauptansprüche gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den nachfolgenden Unteransprüchen.
Die mit der Erfindung erreichbaren Vorteile bestehen neben einem optimierten Startvorgang eines Spülgangs in einem Spülgerät in der einfachen Anwendung und Individualisierbarkeit des Verfahrens.
Es wird ein Verfahren zum Ansteuern eines Spülgeräts vorgestellt, wobei das Spülgerät mindestens eine Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts umfasst.
Das Verfahren umfasst einen Schritt des Einlesens eines Kamerasignals von der
Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild des
Innenraums repräsentiert, und einen Schritt des Auswertens des Bilds unter Verwendung des
Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums aus dem Bild des
Innenraums unterscheidbar sind. Weiterhin umfasst das Verfahren einen Schritt des
Ausgebens eines Steuersignals zum Steuern eines Spülprogramms zum Spülen von 3o Objekten im Innenraum, wenn das Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer in dem Innenraum angeordneten Startbeladungsmenge von Reinigungsgut entspricht.
Bei dem Spülgerät kann es sich zum Beispiel um einen Geschirrspüler handeln, der ausgebildet sein kann, Geschirr, Besteck und andere Haushaltsutensilien im Innenraum aufzunehmen, beispielsweise in entsprechenden Körben und zusätzlich oder alternativ einer
Besteckschublade. Dabei kann das Spülgerät elektronisch mit anderen Geräten und zusätzlich oder alternativ einem Server außerhalb des Haushalts vernetzbar sein, um verschiedene Daten in Form von Signalen zu empfangen, auszugeben und automatisierte
Vorgänge, wie beispielsweise eine Auswahl eines passenden Spülprogramms, weitgehend ohne manuelles Eingreifen von Nutzern durchzuführen. Das Spülgerät kann zum Beispiel in das Netzwerk einer sogenannten Smart Kitchen beziehungsweise eines Smart Homes integriert oder integrierbar sein. Dabei kann das Spülgerät ausgebildet sein, um einen automatischen Spülstart zum Reinigen der im Innenraum angeordneten Objekte, beispielsweise Geschirr und Kochutensilien, wie Töpfe und Pfannen, durchzuführen. Der
Beginn eines solchen Spülvorgangs kann dabei in Abhängigkeit von dem Beladungszustand des Innenraums sein, beziehungsweise von darin angeordneten Körben. Ein solcher ı5 Beladungszustand kann beispielsweise von einer oder mehrerer im oder am Innenraum angeordneten Kameras erfasst werden. Beispielsweise kann die Kameraeinheit an einer
Innenseite einer den Innenraum verschließenden Tür angeordnet sein und ausgebildet sein, um jedes Mal ein Foto von dem Innenraum aufzunehmen, wenn die Tür geschlossen wird.
Unter Verwendung des Kamerasignals kann ein solches Bild beispielsweise an eine
Vorrichtung zum Auswerten von Bilddaten bereitgestellt werden, die beispielsweise als elektronische Einrichtung im Spülgerät angeordnet sein kann oder auf die zum Beispiel über eine Cloud zugegriffen werden kann. Das von der Kameraeinheit bereitgestellte Bild kann nun unter Verwendung eines Modells ausgewertet werden, um den aktuellen
Beladungszustand zu prüfen. Bei dem Modell kann es sich beispielsweise um einen
Algorithmus beziehungsweise ein neuronales Netz handeln, das zum Beispiel darauf trainiert worden sein kann, unter Verwendung des Kamerasignals eine Menge von erfasstem Spülgut im Innenraum mit ähnlichen, hinterlegten Bilddaten abzugleichen und zu entscheiden, ob die erfasste Menge einen Spülstart erfordert oder nicht. Beispielsweise kann ein solches neuronales Netz mit Trainingsbildern aus Versuchshaushalten trainiert worden sein, die im
Betrieb des Spülgeräts mit aktuell erfassten Bildern abgeglichen werden können. Es kann dementsprechend ausgebildet sein, um eine binäre Entscheidung zu treffen, ob ein
Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen Spülstart hinreichend gefüllt ist. Ist ein Beladungszustand erreicht, der einer erlernten Startbeladungsmenge entspricht, dann wird ein Steuersignal ausgegeben, um den
Start eines Spülgangs zu steuern. Ein solches Signal kann zum Beispiel an eine Einrichtung des Spülgeräts ausgegeben werden, die ausgebildet sein kann, um einen Spülgang automatisiert zu initiieren. Dadurch kann vorteilhafterweise ein optimaler Zeitpunkt bestimmt werden, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten,
damit die Nutzer immer genügend sauberes Geschirr zur Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Zudem wird durch die einfache
Unterscheidung zwischen „voll“ und „nicht voll“ die Anwendung des Verfahrens vereinfacht, da es beispielsweise keine Notwendigkeit gibt, den Kamerabildern zum Beispiel händisch s Möglichst genaue Zahlen zuzuordnen, die den Beladungsgrad repräsentieren könnten. Es bleibt lediglich die Kontrolle, ob das erfasste Bild einen hinreichend gefüllten Spülinnenraum zeigt. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, kann es einem Algorithmus bereits ermöglicht werden, einen Spülvorgang optimiert anzusteuern.
Gemäß einer Ausführungsform kann im Schritt des Auswertens das Bild einer ersten
Bildkategorie oder einer zweiten Bildkategorie zugeordnet werden. Dabei kann die erste
Bildkategorie einem nicht vollen Beladungszustand des Innenraums entsprechen und die zweite Bildkategorie kann dem vollen Beladungszustand entsprechen. Beispielsweise können von der Kameraeinheit erfasste Bilder, zum Beispiel angereichert durch Maschinendaten, ı5 automatisch mit den Klassenlabels „Start" oder „kein Start“ versehen werden. Dabei können
Bilder, die einer dem Modell eintrainierten Startbeladungsmenge entsprechen, beispielsweise wenn alle Körbe des Spülgeräts mindestens zu achtzig Prozent gefüllt sind, das Label „Start“ erhalten und entsprechend kann das Steuersignal ausgegeben werden. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen können, beispielsweise mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem
Ausräumen, können ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „kein
Start" versehen werden. Das bietet den Vorteil, dass eine einfache, binäre Entscheidung getroffen werden kann, ohne zusätzliche Zwischenwerte.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein
Bildinformationssignal eingelesen werden, wobei das Bildinformationssignal mindestens eine zusätzliche Information zu dem Bild repräsentieren kann. Dabei kann im Schritt des
Auswertens das Bild unter Verwendung des Bildinformationssignals ausgewertet werden.
Beispielsweise können im Schritt des Einlesens neben den einzelnen Bildern des 3o Spülinnenraumes auch Metadaten eingelesen werden, wie zum Beispiel Zeitstempel oder die
Information, ob das Bild nach einem manuellen Schließen der Tür oder durch einen Spülstart oder ein Spülende entstanden ist. Vorteilhafterweise kann unter Verwendung des
Bildinformationssignals ein aktueller Zustand des Spülgeräts optimal eingeschätzt werden.
Gemäß einer weiteren Ausführungsform kann im Schritt des Auswertens das Bild verworfen werden, wenn ein vorbestimmter Bildparameter nicht erfüllt ist. Beispielsweise können Bilder verworfen werden, die einen bildtechnischen Mangel aufweisen und nicht sinnvoll ausgewertet werden können, beispielsweise, wenn sie über- oder unterbelichtet aufgenommen wurden. Das hat den Vorteil, dass nur solche Bilddaten gespeichert werden können, die auch für das Verfahren verwertbar sind, wodurch Energie und Speicherplatz eingespart werden kann. Optional können zudem Methoden des sogenannten Under- oder s Oversamplings genutzt werden.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Nutzersignal eingelesen werden, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Dabei kann im Schritt des Ausgebens das Steuersignal unter Verwendung des
Nutzersignals ausgegeben werden. Zum Beispiel können Daten wie Wochentage oder
Uhrzeiten für einen gewünschten Spülgang von Nutzern festgelegt werden, um das Verfahren vorteilhafterweise auf verschiedene Einsatzorte mit verschiedenen Nutzern zu individualisieren. Verschiedenen Haushalten kann dadurch die Möglichkeit gegeben werden,
Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschte
Programmende-Zeit (Wunsch-Wochentag und -Zeit) zu definieren. Optional können auch
Daten zum Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um vorteilhafterweise anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können.
Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens ein Sensorsignal von einer Sensorschnittstelle zu einem Sensor eingelesen werden, wobei das Sensorsignal
Mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung des
Spülgeräts repräsentieren kann. Dabei kann im Schritt des Ausgebens das Steuersignal unter
Verwendung des Sensorsignals ausgegeben werden. Beispielsweise kann das Spülgerät mit einer vorhandenen Photovoltaikanlage kombiniert sein, wobei der Sensor ausgebildet sein kann, um einen von der Anlage produzierten Stromfluss zu erfassen. In einem solchen Fall kann unter Verwendung des Sensorsignals ein automatischer Start eines Spülgangs an eine hohe Stromproduktion gekoppelt werden, um vorteilhafterweise den vorhandenen Strom optimal zu nutzen. Zudem ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes eine Voraussetzung für einen Spülstart bilden kann, um das
Spülgerät nicht automatisch starten zu lassen, während niemand zu Hause ist. Sowohl für die
Option der sonnenscheinbedingten Stromproduktion als auch für die Anwesenheitsbedingung können optional weitere Informationsquellen genutzt werden, wie beispielsweise die
Anbindung an eine PV-Anlage, lokale Wetterdaten, Daten eines SmartHomes für die
Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort von Mobilgeräten, zum
Beispiel mittels sogenannten Geo-Fencings.
Gemäß einer weiteren Ausführungsform kann im Schritt des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben werden. Dabei kann das
Spülprogramm ansprechend auf ein Antwortsignal angesteuert werden, wobei das
Antwortsignal eine Eingabe des Nutzers an der Nutzerschnittstelle repräsentieren kann.
Beispielsweise kann die Nutzerschnittstelle als ein Display an dem Spülgerät oder als eine entsprechende App für ein Mobilgerät, beispielsweise ein Smartphone, ausgebildet sein. 5 Unter Verwendung des Steuersignals kann einem Nutzer zum Beispiel eine Push-
Benachrichtigung auf das Mobilgerät geschickt und zusammen mit dem aktuellen Kamerabild die Optionen „Starten“ und „Verschieben“ angeboten werden. Wählt ein Haushaltsmitglied die
Option „Verschieben“, kann der Spülstart zum Beispiel um ein konfigurierbares Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt werden.
Vorteilhafterweise kann dadurch ein Spülstart auf eine jeweils aktuelle Situation von Nutzern optimiert werden.
Zudem wird ein Verfahren zum Trainieren eines Modells zum Ansteuern eines Spülgeräts vorgestellt. Das Verfahren umfasst einen Schritt des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind. Weiterhin umfasst das Verfahren einen Schritt des
Anpassens des Modells derart, dass die dem Modell eingegebenen ersten Bilder der ersten
Bildkategorie zugeordnet werden und die dem Modell eingegebenen zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.
Bei dem zu trainierenden Modell, das auch als Grundmodell bezeichnet werden kann, kann es sich um einen Algorithmus beziehungsweise um ein neuronales Netz handeln. Nach dem
Vortrainieren kann das Netz vorteilhafterweise in einer Variante des zuvor beschriebenen
Verfahrens zum Ansteuern eines Spülgeräts eingesetzt werden. Hierfür kann das Modell zum
Beispiel mit Trainingsbildern aus Versuchshaushalten trainiert werden. Hierfür können zunächst die nötigen Trainingsdaten gesammelt werden. Diese können beispielsweise im
Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt werden.
Dabei können der zeitliche Verlauf der Bilder und beispielsweise zusätzlich anfallende
Metadaten ein zyklisches Profil abbilden, das sich grob in drei, sich wiederholende Phasen einteilen lassen kann: Die erste Phase, die Beladungsphase, kann idealerweise mit einem
Bild beginnen, das einen leeren Spülinnenraum zeigt, und anschließend Bilder, die mit fortschreitender Zeit einen zunehmend volleren Spülinnenraum zeigen. Auf die
Beladungsphase kann eine Spülphase folgen, die durch den Spülstart des Geschirrspülers getriggert werden kann. Das erste Bild dieser Phase kann daher idealerweise einen mit angeschmutzter Beladung voll befüllten Spülinnenraum zeigen. Während des Spülens optional gesammelte Bilder sind für diesen Anwendungsfall nicht weiter von Belang. Diese
Phase kann mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum abschließen, automatisch getriggert durch das Ende des Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthalten kann, die durch das Öffnen und Schließen der Spülertür getriggert werden können, ohne dass der Spüler ausgeräumt wurde.
Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt. Die
Bilder der Be- und Entladungsphase können beispielsweise dem ersten Bilddatensatz und damit der ersten Bildkategorie („kein Start“) zugeordnet sein und die Bilder der Spülphase können dem zweiten Bilddatensatz und damit der zweiten Bildkategorie („Start“) zugeordnet sein. 11 Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) den
Idealbedingungen entsprechen können, kann eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich sein. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um den manuellen
Überprüfungsaufwand zu reduzieren.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Nachtrainierens des
Modells nach dem Schritt des Anpassens aufweisen. Dabei kann im Schritt des
Nachtrainierens mindestens ein weiterer erster Bilddatensatz eingelesen werden, der eine
Mehrzahl von weiteren ersten Bildern des Innenraums repräsentieren kann, die der ersten
Bildkategorie zugeordnet sein können. Zudem kann mindestens ein weiterer zweiter
Bilddatensatz eingelesen werden, der eine Mehrzahl von weiteren zweiten Bildern des
Innenraums repräsentieren kann, die der zweiten Bildkategorie zugeordnet sein können.
Dabei kann das Modell derart angepasst werden, dass die weiteren ersten Bilder der ersten
Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.
Durch den Schritt des Nachtrainierens kann das Grundmodell vorteilhafterweise spezifischen
Bedürfnissen eines Nutzers oder Haushalts angepasst werden. Dabei können zum Beispiel nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler im Haushalt des Verwenders Start- und Nichtstart-Bilder gesammelt werden und durch bestehende neuronale Netze automatisch mit dem, beispielsweise lokalen, Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft werden. Hierbei können beispielsweise leichte Ungenauigkeiten vertretbar sein, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beide
Klassenlabel vorliegen, kann (gegebenenfalls nach einer Freigabe durch den Nutzer) das
Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden.
Solange die Rechen- und Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, kann dieser Schritt zum Beispiel auf Servern (in der Cloud) des Anbieters erfolgen. Das hätte den zusätzlichen Vorteil, dass sich durch in
Zielhaushalten gesammelte Daten das Grundmodell weiter verfeinern und verbessern lassen könnte. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des s Grundmodells mit mindestens einem durch weitere Trainingsbeispiele aus Kundenhaushalten angereichertem Datensatz. Alternativ können sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenannten Ensembles zusammenschließen lassen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entsprechen kann. Gemäß dem
Prinzip „Wissen der Masse" können Ensembles in vielen Fällen besser klassifizieren als einzelne neuronale Netze. Insgesamt bietet der Schritt des Nachtrainierens den Vorteil, dass sich dadurch ein individuell nachtrainiertes Netz viel gezielter an die jeweiligen
Gegebenheiten und Bedürfnisse einzelner Haushalte anpassen lassen kann. Darüber hinaus kann ein für jeden Nutzer individuelle nachtrainiertes neuronales Netz die individuellen
Gegebenheiten eines Haushaltes optimal abbilden, da von Haushalt zu Haushalt ı5 Unterschiede in Beladungsweisen (unten werden zum Beispiel große Teile eher grob eingeräumt) und Spülgutarten (mal mehr Porzellan, mal mehr Kunststoff, mal mehr Töpfe und
Pfannen) bestehen. Zudem lassen sich vorteilhafterweise mit der Zeit spezialisierte
Grundmodelle für verschiedene Länder und Esskulturen entwickeln.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die
Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern beziehungsweise umzusetzen. Auch durch diese
Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Die Vorrichtung kann ausgebildet sein, um Eingangssignale einzulesen und unter
Verwendung der Eingangssignale Ausgangssignale zu bestimmen und bereitzustellen. Ein
Eingangssignal kann beispielsweise ein über eine Eingangsschnittstelle der Vorrichtung einlesbares Sensorsignal darstellen. Ein Ausgangssignal kann ein Steuersignal oder ein
Datensignal darstellen, das an einer Ausgangsschnittstelle der Vorrichtung bereitgestellt werden kann. Die Vorrichtung kann ausgebildet sein, um die Ausgangssignale unter
Verwendung einer in Hardware oder Software umgesetzten Verarbeitungsvorschrift zu bestimmen. Beispielsweise kann die Vorrichtung dazu eine Logikschaltung, einen integrierten
Schaltkreis oder ein Softwaremodul umfassen und beispielsweise als ein diskretes
Bauelement realisiert sein oder von einem diskreten Bauelement umfasst sein.
Zudem wird ein Spülgerät mit einer Variante der zuvor vorgestellten Vorrichtung und mit
Mindestens einer Kameraeinheit zum Erfassen eines Innenraums des Spülgeräts vorgestellt.
Beispielsweise kann es sich bei dem Spülgerät um einen Geschirrspüler zum Reinigen von
Geschirr handeln, das ausgebildet sein kann, um sich innerhalb eines Heimnetzwerks mit anderen Haushaltgeräten zu vernetzen. Mit anderen Worten kann es sich bei dem Spülgerät um einen Geschirrspüler mit Kamera und bildabhängigem, konfigurierbarem Autostart handeln. Durch diese Kombination eines Spülgeräts mit einer Kameraeinheit und einer s Vorrichtung können die zuvor genannten Vorteile optimal umgesetzt werden.
Von Vorteil ist auch ein Computer-Programmprodukt oder Computerprogramm mit
Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem
Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann. Wird das Programmprodukt oder Programm auf einem Computer oder einer
Vorrichtung ausgeführt, so kann das Programmprodukt oder Programm zur Durchführung,
Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet werden.
Auch wenn der beschriebene Ansatz anhand eines Haushaltgeräts beschrieben wird, kann die hier beschriebene Vorrichtung/Verfahren entsprechend im Zusammenhang mit einem gewerblichen oder professionellen Gerät, beispielsweise einem medizinischen Gerät, wie einem Reinigungs- oder Desinfektionsgerät, einem Kleinsterilisator, einem
Großraumdesinfektor oder einer Container-Waschanlage eingesetzt werden.
Ein Ausführungsbeispiel der Erfindung ist in den Zeichnungen rein schematisch dargestellt und wird nachfolgend näher beschrieben. Es zeigt
Figur 1 eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts mit einer Vorrichtung zum Steuern eines Verfahrens zum Ansteuern des
Spülgeräts;
Figur 2 ein Ablaufdiagramm eines Verfahrens zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;
Figur3 ein Blockschaltbild einer Vorrichtung gemäß einem Ausführungsbeispiel;
Figur 4 ein Ablaufdiagramm eines Verfahrens zum Trainieren eines Modells zum
Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel;
Figur 5 ein Ablaufdiagramm eines anderen Verfahrens zum Trainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel; und
Figur 6 ein Ablaufdiagramm eines Verfahrens zum Nachtrainieren eines Modells zum
Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Spülgeräts 100 mit einer Vorrichtung 105 zum Steuern eines Verfahrens zum Ansteuern des Spülgeräts 100. Bei dem hier dargestellten Spülgerät 100 handelt es sich beispielhaft um einen
Geschirrspüler. Das Spülgerät 100 weist einen Innenraum 107 auf, der in diesem
Ausführungsbeispiel mit der Tür 110 verschließbar ist. Innerhalb des Innenraums 107 sind lediglich beispielhaft drei Körben 115, 116, 117 zur Aufnahme von verschiedenen Objekten als zu spülendes Spülgut 120a, 120b, bei denen es sich beispielhaft um Geschirr und s Kochutensilien handelt. Um diese Objekte zu reinigen, umfasst das Spülgerät 100 in diesem
Ausführungsbeispiel eine Sprüheinrichtung mit beispielhaft drei rotierbaren Sprüharmen 125, 126, 127. Mittels aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen sind die
Objekte 120 während eines Spülprogramms reinigbar. Der Druck für die aus den Sprüharmen 125, 126, 127 austretenden Sprühstrahlen ist beispielhaft von einer Umwälzpumpe 130 11 erzeugbar. Mit einer Wasserweiche 131 ist zudem beispielhaft zwischen den einzelnen
Sprüharmen 125, 126, 127 umschaltbar. Solche und andere Aktionen des Spülgeräts 100 sind in einem Ausführungsbeispiel mittels einer Gerätesteuereinrichtung 135 steuerbar.
Um ein Reinigungsprogramm optimiert auf einen aktuellen Beladungszustand des Spülgeräts 100 automatisiert zu steuern, weist das Spülgerät zudem die Vorrichtung 105 auf sowie eine ı5 Kameraeinheit 140 zum Erfassen des Innenraums 107. In einem Ausführungsbeispiel ist die
Kameraeinheit 140 an der Tür 110 angeordnet und ausgebildet, um ansprechend auf ein
Öffnen oder Schließen der Tür 110 ein Bild des Innenraums 107 und dadurch auch von darin angeordneten Objekten 120 aufzunehmen. Das von der Kameraeinheit 140 erfasste Bild des
Innenraums 107 ist unter Verwendung eines Kamerasignals 145 an die Vorrichtung 105 bereitstellbar.
Die Vorrichtung 105 ist ausgebildet, um das Kamerasignal 145 einzulesen und das von der
Kameraeinheit 140 erfasste Bild unter Verwendung des Kamerasignals und unter
Verwendung eines Modells auszuwerten. In einem Ausführungsbeispiel ist das Modell der
Vorrichtung 105 hierfür als beispielhaft vortrainiertes neuronales Netz ausgebildet, um zwei sich voneinander unterscheidende Beladungszustände des Innenraums 107 zu unterscheiden. In einem Ausführungsbeispiel ist dabei ein nicht voll beladener Innenraum 107, in dem beispielhaft nur wenige oder gar keine Objekte 120 angeordnet sind, von einem voll beladenen Innenraum 107 unterscheidbar, der beispielhaft zu mindestens achtzig
Prozent mit zu spülenden Objekten 120 gefüllt ist.
Wenn das Bild von der Kameraeinheit 140 erfasst und unter Verwendung des Kamerasignals 145 eingelesene Bild einen Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht, dann ist durch die Vorrichtung 105 ein Steuersignal 150 ausgebbar, um ein Spülprogramm zum Spülen der Objekte 120 zu steuern. In einem
Ausführungsbeispiel ist das Steuersignal 150 an die Gerätesteuereinrichtung 135 bereitstellbar, um eine entsprechende Aktorik des Spülgeräts 100 anzusteuern.
Figur 2 zeigt ein Ablaufdiagramm eines Verfahrens 200 zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte Verfahren 200 kann zum Ansteuern eines Spülgeräts, wie es in der vorangegangenen Figur beschrieben wurde, eingesetzt werden.
Das Verfahren 200 umfasst einen Schritt 205 des Einlesens eines Kamerasignals von der
Kameraeinheit, wobei das Kamerasignal ein von der Kameraeinheit erfasstes Bild des
Innenraums des Spülgeräts repräsentiert.
Daraufhin folgt ein Schritt 210 des Auswertens des Bilds unter Verwendung des
Kamerasignals und unter Verwendung eines Modells, durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar sind.
Weiterhin umfasst das Verfahren einen Schritt 215 des Ausgebens eines Steuersignals zum
Steuern eines Spülprogramms zum Spülen von Objekten im Innenraum, wenn das Bild einen
Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. ı5 In einem Ausführungsbeispiel wird im Schritt 205 des Einlesens zudem ein
Bildinformationssignal eingelesen, das mindestens eine zusätzliche Information zu dem Bild repräsentiert, beispielhaft einen Aufnahmezeitpunkt des erfassten Bilds. Dabei wird lediglich beispielhaft im Schritt 210 des Auswertens das Bild unter Verwendung des
Bildinformationssignals ausgewertet.
Zusätzlich oder alternativ wird in einem Ausführungsbeispiel im Schritt des Einlesens ein
Nutzersignal eingelesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle repräsentiert. Beispielhaft wird an der Nutzerschnittstelle, bei der es sich um ein Display am
Spülgerät oder beispielsweise eine App eines Mobilgeräts handeln kann, eine Information bezüglich des gewünschten Spülprogramms eingegeben, beispielhaft eine gewünschte
Uhrzeit und/oder ein Wochentag. Im Schritt des Ausgebens 215 wird dann lediglich beispielhaft das Steuersignal unter Verwendung des Nutzersignals ausgegeben.
Optional wird im Schritt 205 des Einlesens auch ein Sensorsignal von einer
Sensorschnittstelle zu einem Sensor eingelesen, wobei das Sensorsignal mindestens einen von dem Sensor erfassten Umgebungsparameter einer Umgebung des Spülgeräts repräsentiert. Beispielhaft handelt es sich bei dem Sensor um eine Einrichtung zum Erfassen einer Person. Im Schritt 215 des Ausgebens wird lediglich beispielhaft das Steuersignal unter
Verwendung des Sensorsignals ausgegeben, beispielhaft unter der Prämisse, dass ein
Spülprogramm nur dann gestartet wird, wenn eine Person erfasst wurde. In einem anderen
Ausführungsbeispiel kann der Sensor auch andere Umgebungsparameter erfassen,
beispielsweise einen zur Verfügung stehenden Stromfluss oder ein innerhalb eines vorbestimmten Bereichs verortetes Mobilgerät.
In einem Ausführungsbeispiel wird zudem im Schritt 210 des Auswertens das Bild einer ersten Bildkategorie oder einer zweiten Bildkategorie zugeordnet, wobei die erste s Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweite
Bildkategorie dem vollen Beladungszustand entspricht.
Dabei wird lediglich beispielhaft das Bild verworfen, wenn ein vorbestimmter Bildparameter nicht erfüllt ist, zum Beispiel bei einer Über- oder Unterbelichtung der Aufnahme.
In einem Ausführungsbeispiel wird zudem im Schritt 215 des Ausgebens das Steuersignal an eine Nutzerschnittstelle zu einem Nutzer ausgegeben. Bei der Nutzerschnittstelle handelt es sich beispielhaft um eine App auf einem Mobilgerät des Nutzers, wobei unter Verwendung des Steuersignals beispielhaft eine Push-Nachricht erzeugt wird, die den Nutzer über einen möglichen Spülstart informiert. Das Spülprogramm wird dann lediglich beispielhaft ansprechend auf ein Antwortsignal angesteuert, wobei das Antwortsignal eine Eingabe des ı5 Nutzers an der Nutzerschnittstelle repräsentiert. In einem Ausführungsbeispiel wird unter
Verwendung des Antwortsignals eine Wunscheinstellung des Nutzers umgesetzt, beispielhaft eine Bestätigung des Starts des Spülprogramms oder eine Ablehnung desselben.
Mit anderen Worten lässt sich das hier dargestellte Verfahren wie folgt beschreiben:
Im Unterschied zu anderen Verfahren zum Ansteuern eines Spülgerät wird in dem hier dargestellten Verfahren 200 keine Bestimmung des Beladungsgrades als eine Zahl und der
Vergleich mit einem (vom Nutzer individualisierbaren) Schwellwert zur Ermittlung des optimalen Zeitpunktes für einen autonomen Spülstart des Geschirrspülers benötigt. Das
Verfahren 200 kommt ohne einen Beladungsgrad in Form einer Zahl aus, ermöglicht den
Nutzern aber trotzdem eine Anpassung des Verfahrens an die persönlichen
Nutzungsvorlieben.
Dies wird mit einem Algorithmus (neuronales Netz) realisiert, das zum Beispiel mit
Trainingsbildern aus Versuchshaushalten trainiert wurde. Angereichert durch
Maschinendaten können Bilder, bei denen der Geschirrspüler tatsächlich vom
Versuchshaushalt gestartet wurde, automatisch mit dem Klassenlabel „Start" versehen worden sein. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstanden sind, mit einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem
Ausräumen wurden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „Kein
Start" versehen. Ein mit solchen Beispielen trainiertes Grundmodell kann bei ausreichender
Datenlage und hinreichender Tests bereits im Auslieferungszustand von Geschirrspülern mit
Kamera im Gerät oder über die Cloud allen Nutzern gleichermaßen zur Nutzung verfügbar gemacht werden. Es ist in der Lage, die binäre Entscheidung zu treffen, ob ein Kamerabild, das beim Türschließen entstand, einen Spülinnenraum zeigt, der für einen autonomen s Spülstart hinreichend gefüllt ist, ohne dass eine Beladungsgradzahl bestimmt werden musste.
Um den Betrieb mehrerer Netze (in einem Ensemble) effizienter zu gestalten, kann das
Gesamtverhalten eines Ensembles optional mittels „Knowledge Distillation" auf ein einzelnes
Netz übertragen werden. Ursprünglich wurde Knowledge Distillation (KD) entwickelt, um das
Verhalten von großen, ressourcenhungrigen Netzen in kleinere, effizientere Netze zu übertragen, ohne dass die Klassifikationsgenauigkeit dabei nennenswert leidet. Es lässt sich mittels KD aber auch das Verhalten von Ensembles in Einzelnetze übertragen.
Die Nutzer können somit ihren Geschirrspüler mittels Spülplaner programmieren - jedoch mit einer oder mehreren Vorzugszeiten. Sobald das obere Grundmodell oder ein individualisiertes Modell ein Kamerabild mit „Start" klassifiziert, wird innerhalb der nächsten
Vorzugszeit automatisch der Spüler gemäß der im Spülplaner eingestellten Parameter gestartet.
Figur 3 zeigt ein Blockschaltbild einer Vorrichtung 105 gemäß einem Ausführungsbeispiel.
Die hier dargestellte Vorrichtung 105 entspricht oder ähnelt der in der vorangegangenen
Figur 1 beschriebenen Vorrichtung, mit dem Unterschied, dass die Vorrichtung 105 in diesem
Ausführungsbeispiel auf einem zu dem in der vorangegangenen Figur 1 beschriebenen
Spülgerät 100 externen Server beziehungsweise in einer sogenannten Cloud betreibbar ist.
Die Vorrichtung 105 umfasst ein beispielhaft als neuronales Netz ausgebildetes Modell 300 und ist ausgebildet, um ein Verfahren, wie es in der vorangegangenen Figur 2 beschrieben wurde, zu steuern.
Hierfür ist die Vorrichtung 105 ausgebildet, um ein Kamerasignal 145 von der Kameraeinheit 140 einzulesen, wobei das Kamerasignal 145 ein von der Kameraeinheit 140 erfasstes Bild eines Innenraums des Spülgeräts 100 repräsentiert. Unter Verwendung des Kamerasignals 145 sowie des Modells 300 ist das von der Kameraeinheit 140 bereitgestellte Bild durch die
Vorrichtung 105 auswertbar. Durch das Modell 300 sind dabei mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums unterscheidbar. So ist in einem Ausführungsbeispiel das Bild einer ersten Bildkategorie oder einer zweiten
Bildkategorie zuordenbar, wobei die erste Bildkategorie einem nicht vollen Beladungszustand des Innenraums entspricht und die zweite Bildkategorie einem vollen Beladungszustand entspricht.
Die Vorrichtung 105 ist weiterhin ausgebildet, um ein Steuersignal 150 auszugeben, um ein
Spülprogramm zum Spülen von Objekten im Innenraum anzusteuern, wenn das Bild einen
Beladungszustand des Innenraums repräsentiert, der zumindest einer Startbeladungsmenge entspricht. In einem Ausführungsbeispiel ist das Steuersignal 150 an eine s Gerätesteuereinrichtung 135 des Spülgeräts 100 ausgebbar, wobei die
Gerätesteuereinrichtung 135 beispielhaft ausgebildet ist, um eine Aktorik des Spülgeräts 100 zum Durchführen eines Spülprogramms anzusteuern.
In einem Ausführungsbeispiel ist die Kameraeinheit 140 ausgebildet, um zusätzlich zu dem
Kamerasignal 145 ein Bildinformationssignal 305 bereitzustellen, wobei das 101 Bildinformationssignal 305 beispielhaft eine zusätzliche Information zu dem bereitgestellten
Bild repräsentiert, beispielhaft einen Zeitstempel. Die Vorrichtung 105 ist ausgebildet, um das
Bildinformationssignal 305 einzulesen und die Bildinformation beispielhaft unter Verwendung des Modells 300 auszuwerten.
Zudem ist die Vorrichtung 105 in einem Ausführungsbeispiel ausgebildet, um ein Nutzersignal 310 einzulesen, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle 315a repräsentiert. In einem Ausführungsbeispiel ist die Nutzerschnittstelle 315 beispielhaft als
Touch-Display an dem Spülgerät 100 ausgebildet. Dabei sind lediglich beispielhaft verschiedene anwenderspezifische Eingaben an der Nutzerschnittstelle 315 eingebbar, beispielhaft gewünschte Uhrzeiten oder Wochentage zum Durchführen eines Spülprogramm
Oder die Bevorzugung eines bestimmten Programms, beispielsweise einer Wasser- sparenden Variante. Unter Verwendung des Nutzersignals 310 sind solche und ähnliche
Eingaben beim Ansteuern des Spülgeräts 100 durch die Vorrichtung 105 anwendbar.
In einem Ausführungsbeispiel ist die Vorrichtung 105 weiterhin ausgebildet, um ein
Sensorsignal 320 von einer Sensorschnittstelle 324 zu einem Sensor 328 einzulesen, wobei das Sensorsignal 320 mindestens einen von dem Sensor 328 erfassten
Umgebungsparameter einer Umgebung des Spülgeräts 100 repräsentiert. Der Sensor 328 ist in einem Ausführungsbeispiel ausgebildet, um eine Stromproduktion einer vorhandenen
Photovoltaikanlage zu erfassen und eine diesbezügliche Information unter Verwendung des
Sensorsignals 320 an die Vorrichtung 105 bereitzustellen. Ein automatischer Start eines
Spülprogramms ist dadurch beispielhaft an eine hohe Stromproduktion koppelbar und das
Steuersignal 150 in diesem Fall unter Verwendung des Sensorsignals 320 ausgebbar.
Zusätzlich oder alternativ ist das Steuersignal 150 auch an eine Nutzerschnittstelle 315b zu einem Nutzer ausgebbar. Lediglich beispielhaft ist ansprechend auf das Steuersignal 150 eine Nachricht an der Nutzerschnittstelle erzeugbar, die den Nutzer über einen möglichen
Spülstart informiert. Der Nutzer hat beispielhaft die Wahl, dem vorgeschlagenen Spülstart zuzustimmen oder ihn abzulehnen beziehungsweise zu verschieben. Die gewählte Antwort ist in einem Ausführungsbeispiel unter Verwendung eines Antwortsignals 330 von der
Vorrichtung 105 einlesbar.
In dem hier gezeigten Ausführungsbeispiel handelt es sich bei der Nutzerschnittstelle 315b, an der beispielhaft ein Spülstart wählbar oder ablehnbar ist, um eine andere s Nutzerschnittstelle 315b als die zuvor beschriebene Nutzerschnittstelle 315a zum Ausgeben des Nutzersignals 310. Lediglich beispielhaft handelt es sich bei ersterer um eine App auf einem Mobilgerät, während letztere in das Spülgerät 100 integriert ist. Die in dieser Figur gewählte Darstellung ist der Übersichtlichkeit wegen gewählt. In anderen
Ausführungsbeispielen kann auch nur eine der beiden Nutzerschnittstellen 315a, 315b verfügbar sein oder alternativ können beide Nutzerschnittstellen 315a, 315b ausgebildet sein, um sowohl das Steuersignal einzulesen als auch das Nutzersignal 310 sowie das
Antwortsignal 330 auszugeben.
Figur 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Trainieren eines Modells zum
Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das Verfahren 400 ist ı5 beispielhaft zum Trainieren eines Modells anwendbar, wie es in der vorangegangenen Figur 3 beschrieben wurde, um ein Spülgerät anzusteuern, wie es in der vorangegangenen Figur 1 beschrieben wurde.
Das Verfahren 400 umfasst einen Schritt 405 des Einlesens eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums eines Spülgeräts repräsentiert, die einer zweiten Bildkategorie zugeordnet sind.
Weiterhin umfasst das Verfahren 400 einen Schritt 410 des Anpassens des Modells derart, dass die ersten Bilder der ersten Bildkategorie zugeordnet werden und die zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell zu trainieren.
In einem Ausführungsbeispiel umfasst das Verfahren 400 zudem einen Schritt 415 des
Nachtrainierens des Modells nach dem Schritt 410 des Anpassens. Im beispielhaften Schritt 415 des Nachtrainierens wird mindestens ein weiterer erster Bilddatensatz eingelesen, der eine Mehrzahl von weiteren ersten Bildern des Innenraums repräsentiert, die der ersten
Bildkategorie zugeordnet sind. Zudem wird mindestens ein weiterer zweiter Bilddatensatz eingelesen, der eine Mehrzahl von weiteren zweiten Bildern des Innenraums repräsentiert, die der zweiten Bildkategorie zugeordnet sind. Dabei wird das Modell derart angepasst, dass die weiteren ersten Bilder der ersten Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.
Anders formuliert werden bei dem hier vorgestellten Verfahren 400 zum Training eines neuronalen Netzes Bilder, bei denen der Geschirrspüler tatsächlich vom Versuchshaushalt gestartet wurde, angereichert durch Maschinendaten automatisch mit dem Klassenlabel „Start" versehen. Übrige Bilder, die etwa beim Schließen der Geschirrspülertür entstehen, mit s einem zeitlichen Abstand (zum Beispiel einem vorgegebenen oder vorgebbaren zeitlichen
Mindestabstand, etwa von 30 Minuten, vor einem Start), beziehungsweise nach dem
Ausräumen werden ebenfalls berücksichtigt und automatisch mit dem Klassenlabel „Kein
Start" versehen. Diese Bilder sollten vorm Trainieren des Grundmodells (neuronales Netz) zunächst von Menschen, später - zumindest teilweise - von bereits existierenden neuronalen
Netzen überprüft werden. Im letzten Fall sollte nur in Grenzfällen, an denen ein bereits trainiertes Netz scheitert, durch Menschen überprüft werden.
Um dieses Grundmodell an nutzungsspezifische Bedürfnisse anzupassen, ist optional der
Schritt 415 des Nachtrainierens durchführbar. Dabei werden nach dem gleichen Prinzip wie beim Trainieren des Grundmodells durch den Geschirrspüler des Nutzers Start- und
Nichtstart-Bilder gesammelt und durch bestehende neuronale Netze automatisch mit dem (lokalen) Grundmodell auf die korrekte Zuordnung der Klassenlabel geprüft. Hierbei sind leichte Ungenauigkeiten vertretbar, um sich dem individuellen Nutzungsverhalten annähern zu können. Sobald genügend Bilder über einen gewissen Zeitraum für beide Klassenlabel vorliegen, kann (gegebenenfalls nach Freigabe durch den Nutzer) das Grundmodell mit den gesammelten Daten mittels Transferlernen nachtrainiert werden. Solange die Rechen- und
Speicherkapazitäten eines Geschirrspülers für das Training von neuronalen Netzen nicht ausreichend sind, sollte dieser Schritt zum Beispiel auf Servern (in der Cloud) des Herstellers erfolgen. Rein theoretisch steht einem lokalen Nachtrainieren im Geschirrspüler nichts entgegen. Zu Entwicklungszwecken besteht aber berechtigtes Interesse an nachtrainierten
Modellen, sowie an den hierfür genutzten Trainingsdaten. Hierdurch lässt sich das
Grundmodell weiter verfeinern und verbessern. Am einfachsten und naheliegendsten gestaltet sich das Neutrainieren des Grundmodells mit durch weitere Trainingsbeispiele aus verschiedenen Haushalten angereichertem Datensatz. Alternativ lassen sich mehrere nachtrainierte Modelle (eventuell zusammen mit dem Grundmodell) zu sogenannten
Ensembles zusammenschließen, deren Gesamtergebnis dem Mittel der Einzelergebnisse entspricht. Gemäß dem Prinzip „Wissen der Masse" klassifizieren Ensembles in vielen Fällen besser als einzelne neuronale Netze.
Das beschriebene Verfahren 400 verringert den für die Durchführung benötigten
Energieaufwand durch den Wegfall der Notwendigkeit, Bildern händisch möglichst genaue
Zahlen, die den Beladungsgrad repräsentieren, zuzuordnen. Es bleibt lediglich die Kontrolle, ob die gesammelten Startbilder tatsächlich einen hinreichend gefüllten Spülinnenraum zeigen, oder ob der Geschirrspüler vorzeitig, ohne hinreichend gefüllt zu sein, gestartet wurde. Allein mit diesen Informationen („Start ist sinnvoll" oder „Start lohnt noch nicht") und den zugehörigen Trainingsbildern, ist es einem Algorithmus bereits möglich, die Bestimmung eines optimalen Zeitpunktes durchzuführen, bei dem der Geschirrspüler hinreichend gefüllt ist, um ihn automatisch zu starten, damit die Nutzer immer genügend sauberes Geschirr zur s Verfügung haben, ohne dass unnötig Ressourcen in Anspruch genommen werden. Auch die
Individualisierbarkeit des Algorithmus und die Anpassung an spezifische Vorlieben ist gegeben, sogar ohne dass die Nutzer eine unter Umständen abstrakte Zahl als
Beladungsgrad einstellen müssten - die Algorithmen lernen automatisch aus nutzereigenen
Beispielen, inklusive automatischer Kontrolle der individualisierten Algorithmen. Ein solches individuell nachtrainierbares Netz lässt sich gezielt an die jeweiligen Gegebenheiten und
Bedürfnisse einzelner Haushalte anpassen.
Figur 5 zeigt ein Ablaufdiagramm eines anderen Verfahrens 500 zum Trainieren eines
Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 500 ähnelt dem in der vorangegangenen Figur 4 beschriebenen Verfahren zum Trainieren eines Modells, mit dem Unterschied, dass das hier dargestellte Verfahren 500 zusätzliche und alternative Schritte umfasst.
Das Verfahren 500 umfasst einen Schritt 505 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt und lediglich beispielhaft in eine Cloud
Übertragen.
Im folgenden Schritt 510 des Sortierens wird eine Mehrzahl von Bildern gemäß
Maschinendaten herstellerseitig innerhalb der Cloud als „Start“- und „Kein Start“-Bilder sortiert.
Das Verfahren 500 umfasst weiterhin einen Schritt 515 des Überprüfens, in dem die in der
Cloud sortierten Bilder überprüft werden. Dieser Schritt wird optional durch Menschen und/oder einem bestehenden Algorithmus durchgeführt.
Daraufhin folgt im Schritt 520 das Trainieren des Modells, das auch als Grundmodell bezeichnet werden kann, mit den gesammelten und aufbereiteten Daten. Auch dieser Schritt wird lediglich beispielhaft in der Cloud durchgeführt.
Im folgenden Schritt 525 des Bereitstellens wird schließlich das geprüfte Grundmodell zur
Nutzung über die Cloud oder im Gerät bereitgestellt.
In einem Ausführungsbeispiel werden nach dem Schritt 525 des Bereitstellens erneut die vorangegangenen Schritte 505, 510, 515, 520 durchgeführt, so dass das Verfahren 500 als geschlossene Schleife zur kontinuierlichen Verbesserung des Grundmodells genutzt wird.
Figur 6 zeigt ein Ablaufdiagramm eines Verfahrens 500 zum Nachtrainieren eines Modells zum Ansteuern eines Spülgeräts gemäß einem Ausführungsbeispiel. Das hier dargestellte andere Verfahren 600 kann als Schritt des Nachtrainierens, wie er in der vorangegangenen
Figur 4 beschrieben wurde, angewendet werden.
Das Verfahren 600 umfasst einen Schritt 605 des Aufnehmens. In diesem Schritt wird beispielhaft eine Bildaufnahme bei einem Türschließen beziehungsweise bei einem (manuellem) Programmstart des Spülgeräts getätigt. Dieses und andere aufgenommene
Bilder werden lediglich beispielhaft sowohl im Gerät gespeichert als auch in einem Schritt 607 zu Qualitätssicherungs- und Entwicklungszwecken in eine Cloud übertragen.
Im folgenden Schritt 610 des Sortierens werden die Bilder gemäß Maschinendaten als „Start“- und „Kein Start“-Bilder sortiert.
Daraufhin folgt ein Schritt 615 des Überprüfens, in dem die Bilder und deren Einsortierung durch ein bestehendes Grundmodell überprüft werden, wobei leichte Ungenauigkeiten toleriert werden. Liegt ein Start-Zeitpunkt beispielsweise zu weit vor dem, der durch das
Grundmodell bestimmt wurde, wird das Start-Bild nicht berücksichtigt.
Das Verfahren 600 umfasst weiterhin einen Schritt 820 des Nachtrainings, in dem das
Grundmodell mit den gesammelten und aufbereiteten Daten mittels Transfer-Lernens nachtrainiert wird.
Im anschließenden Schritt 625 des Nutzens wird das nachtrainierte Modell zur Nutzung über die Cloud oder direkt im Gerät bereitgestellt. Zusätzlich wird das Modell in einem Schritt 630 des Übertragens in die Cloud zu Qualitätssicherungs- und Entwicklungszwecken übertragen.
In einem Ausführungsbeispiel werden nach dem Schritt 625 des Bereitstellens erneut die vorangegangenen Schritte 605, 610, 615, 620 durchgeführt, so dass das Verfahren 600 als geschlossene Schleife zur kontinuierlichen Verbesserung des Modells genutzt wird. Dabei können alle Schritte 605, 610, 615, 620, 625 optional im Gerät oder in der Cloud durchgeführt werden.
Insgesamt lassen sich die vorangehend beschriebenen Verfahren wie folgt beschreiben:
Zunächst werden Trainingsdaten zum Trainieren eines Grundmodells (neuronales Netz) gesammelt. Diese werden zunächst im Labor oder in Versuchshaushalten oder gegebenenfalls auch im Feld gesammelt. Hierbei fallen nicht nur die einzelnen Bilder des
Spülinnenraumes an, sondern auch Metadaten, wie Zeitstempel, ob das Bild nach dem
Schließen der Tür durch den Nutzer oder durch einen Spülstart / ein Spülende entstanden sind. Der zeitliche Verlauf der Bilder und Daten bildet somit ein zyklisches Profil ab, das sich grob in drei, sich wiederholende Phasen einteilen lässt:
Die erste Phase, die Beladungsphase, beginnt idealerweise mit einem Bild, das einen leeren
Spülinnenraum zeigt und umfasst Bild, die mit fortschreitender Zeit einen zunehmend volleren s Spülinnenraum zeigen. Die Bilder der Beladungsphase werden ausschließlich durch
Beladungsinteraktionen der Nutzer erzeugt. Auf die Beladungsphase folgt die Spülphase, die durch den Spülstart des Geschirrspülers durch den Nutzer getriggert wird. Das erste Bild dieser Phase zeigt daher idealerweise einen mit angeschmutzter Beladung voll befüllten
Spülinnenraum. Während des Spülens optional gesammelte Bilder sind für diesen
Anwendungsfall nicht weiter von Belang. Diese Phase schließt mit einem Bild eines mit sauberer Beladung voll befüllten Spülinnenraum, automatisch getriggert durch das Ende des
Spülgangs. Optional schließt nun noch eine Entladephase an, die Bilder enthält, die durch das Öffnen und Schließen der Geschirrspülertür durch den Nutzer getriggert wurde, ohne, dass der Spüler ausgeräumt wurde. Idealerweise ist diese Phase aber nicht existent und es schließt erneut eine Beladungsphase an, die idealerweise mit einem Bild des vollkommen leeren Spülinnenraumes beginnt.
Da diese Phasen durch das nicht immer vorhersehbare Nutzerverhalten oder durch eventuelle technische Probleme (zum Beispiel Offlinezeiten durch Internetausfall) den
Idealbedingungen entsprechen, ist in jedem Fall eine manuelle Kontrolle der Bilder und Daten durch einen Menschen erforderlich. Sobald ein erstes funktionierendes Modell / Netz existiert, kann dieses jedoch zur Vorkontrolle genutzt werden, um die manuellen
Überprüfungsaufwand zu reduzieren.
Im Idealfall fallen nun pro Spülzyklus ein Startbild von einem vollbeladenen Spülinnenraum und mehrere Bilder aus der Beladungsphase an. Das Startbild erhält (nach der Kontrolle, zum
Beispiel ob wider Erwarten nicht mit voller Beladung gespült wurde) das Klassenlabel „Start“ und die Bilder der Beladungsphase das Klassenlabel „Kein Start“.
Sukzessive entsteht nun ein Datensatz aus Bildern, die in die zwei Klassen aufgeteilt sind. Da während der Beladungsphase deutlich mehr Bilder anfallen, ist diese Klasse erwartungsgemäß überrepräsentiert. Um dieses Ungleichgewicht auszugleichen, können
Methoden des sogenannten Under- oder Oversamplings genutzt werden, damit das neuronale Netz im Training eine ausgewogene Verteilung lernen kann. Optional können noch eine Rückweisungsklasse für Bilder, bei denen ein über- oder unterbelichtetes Bild aufgenommen wurde, die nicht sinnvoll ausgewertet werden können (hier kann später im
Betrieb unter Umständen durch den Geschirrspüler eine erneute Bildaufnahme versucht werden, um ein auswertbares Bild aufzunehmen).
Dieser Datensatz kann nun zum Training eines neuronalen Netzes genutzt werden. Liegen neuere und / oder bessere Trainingsbeispiele vor, kann dieser Vorgang iterativ wiederholt werden, um das neuronale Netz weiter zu verbessern und gegebenenfalls sich ändernden
Bedingungen (zum Beispiel als Anpassung an internationale Märkte mit abweichenden s Beladungsteilen) anzupassen und zu erweitern. Betrieben wird dieses Netz schließlich entweder in der Cloud oder auf dem Gerät des jeweiligen Haushalts.
Abgesehen davon, dass für jeden Zielmarkt ein solches Grundmodell zur Verfügung stehen kann, kann es für jeden Nutzer individualisiert werden. Hierfür existieren mehrere, unterschiedliche Ansätze.
Bei der ersten Möglichkeit wird anhand einer kleinen Menge Beispieldaten des jeweiligen
Haushaltes ein eigenes Netz mittels Transferlernen nachtrainiert. Dies kann prinzipiell sowohl in der Cloud als auch auf dem Gerät des Nutzers (entsprechende Rechenleistung „Training on-Ege“ vorausgesetzt) erfolgen. Dieses nachtrainierte Netz kann dann entweder in der
Cloud oder im Gerät des jeweiligen Haushalts betrieben werden. Um nicht für jeden Haushalt ein eigenes Netz in der Cloud vorzuhalten, das nur gelegentlich angefragt wird, ist bei dieser
Möglichkeit ist ein Betrieb im Gerät vermutlich zu bevorzugen.
Zur Verbesserung und Sicherstellung der Robustheit des nachtrainierten individuellen
Netzes, kann die bereits beschriebene Methode des Ensembles (sowohl das allgemeine
Grundmodell bewertet jedes neue Bild als auch das Individualnetz). Solange beide Netze innerhalb eines gewissen Rahmens (bzgl. Zeit und Klassifikationsergebnis) ähnliche
Ergebnisse liefern, ist ein robuster Betrieb anzunehmen. Divergiert das Individualnetz vom
Grundmodell, so ist ein erneutes Training ratsam. Divergieren gleichzeitig mehrere
Individualnetze mehrerer (vieler) Haushalte vom jeweiligen Grundmodell, so ist ein Update des Grundmodells ratsam. Die Fachliteratur spricht in solchen Fällen von „Model-Drift“.
Eine weitere Möglichkeit der Individualisierung wäre, das Grundmodell nicht direkt zu individualisieren, sondern ein deutlich kleineres Netz zu erzeugen, was problemlos auch mit geringeren Rechenressourcen im Gerät des jeweiligen Haushaltes trainiert werden kann. Als
Eingabedaten dienen hier nicht direkt die aufgenommenen Bilder, sondern die
Auswertungsergebnisse des Grundmodells. Zusätzlich können Daten wie Wochentag,
Uhrzeit, Nutzungsverhalten (Be-, Entladung oder Start der Maschine), etc. einfließen, um anhand dieser Rahmenbedingungen die Wahrscheinlichkeit eines sinnvollen Starts berechnen zu können. Dieses Netzwerk kann basierend auf einer Historie der beschriebenen
Daten kontinuierlich nach-, beziehungsweise neutrainiert werden, um laufend das aktuelle
Nutzungsverhalten modellieren und imitieren zu können.
Bei beiden Möglichkeiten ist jedoch eine Vernetzung des Gerätes vorausgesetzt, um das
Verhalten der neuronalen Netze überwachen und deren Güte einschätzen zu können. Ein mögliches Fehlverhalten der Netze (zum Beispiel Model-Drift, s.0.) sollte frühzeitig erkennbar sein, um entsprechende Gegenmaßnahmen (zum Beispiel ein Reset eines individualisierten
Netzes auf das Grundmodell oder Update des Grundmodells) ergreifen zu können.
Als dritte Möglichkeit, kann jeder Haushalt die Möglichkeit erhalten, selbst eine gewisse
Individualisierung vornehmen zu können — nicht zuletzt, um gar nicht erst die Notwendigkeit aufkommen zu lassen, Gegenmaßnahmen bei fehlerhaften Individualnetzen ergreifen zu müssen. Eine händische Individualisierung durch den jeweiligen Haushalt ist daher auch bei den zuvor beschriebenen Umsetzungsmöglichkeiten zusätzlich möglich.
Den Haushalten könnte die Möglichkeit gegeben werden, Vorzugszeiten für den automatischen Start, beziehungsweise für die gewünschte Programmende-Zeit (Wunsch-
Wochentag und -Zeit) zu definieren. Auch wäre in Kombination mit einer vorhanden
Photovoltaikanlage denkbar, einen automatischen Start an eine hohe Stromproduktion zu ı5 koppeln. Da Nutzer Bedenken haben könnten, den Spüler automatisch starten zu lassen, während niemand zu Hause ist, ist auch eine Option denkbar, bei der die Anwesenheit mindestens eines Haushaltsmitgliedes gegeben sein muss. Sowohl für die Option der sonnenscheinbedingten Stromproduktion, als auch für die Anwesenheitsbedingung sind weitere Informationsquellen (Anbindung an PV-Anlage, lokale Wetterdaten, Daten eines
SmartHomes für die Anwesenheitserkennung mittels Bewegungsmeldern oder der Ort von
Mobilgeräten, zum Beispiel mittels „Geo-Fencing“) notwendig.
Die letzte, aber wohl auch einfachste Möglichkeit wäre, dem Haushalt eine Push-
Benachrichtigung auf die Mobilgeräte zu schicken und zusammen mit dem aktuellen
Kamerabild die Optionen „Starten“ und „Verschieben“ anzubieten. Wählt ein
Haushaltsmitglied die Option „Verschieben“, wird der Spülstart um ein konfigurierbares
Zeitintervall aufgeschoben und später erneut per Push-Benachrichtigung nachgefragt.
Claims (13)
1. Verfahren (200) zum Ansteuern eines Spülgeräts (100), wobei das Spülgerät (100) mindestens eine Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100) umfasst, wobei das Verfahren (200) folgende Schritte (205, 210, 215) aufweist: Einlesen (205) eines Kamerasignals (145) von der Kameraeinheit (140), wobei das Kamerasignal (145) ein von der Kameraeinheit (140) erfasstes Bild des Innenraums (107) repräsentiert; Auswerten (210) des Bilds unter Verwendung des Kamerasignals (145) und unter Verwendung eines Modells (300), durch welches mindestens zwei sich voneinander unterscheidende Beladungszustände des Innenraums (107) aus dem Bild des Innenraums (107) unterscheidbar sind; und Ausgeben (215) eines Steuersignals (150) zum Steuern eines Spülprogramms zum Spülen von Objekten (120) im Innenraum (107), wenn das Bild einen Beladungszustand des Innenraums (107) repräsentiert, der zumindest einer in dem Innenraum (107) angeordneten Startbeladungsmenge von Spülgut (120) entspricht.
2. Verfahren (200) gemäß Anspruch 1, wobei im Schritt (210) des Auswertens das Bild einer ersten Bildkategorie oder einer zweiten Bildkategorie zugeordnet wird, wobei die erste Bildkategorie einem nicht vollen Beladungszustand des Innenraums (107) entspricht und die zweite Bildkategorie dem vollen Beladungszustand entspricht.
3. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Bildinformationssignal (305) eingelesen wird, wobei das Bildinformationssignal (305) mindestens eine zusätzliche Information zu dem Bild repräsentiert, wobei im Schritt (210) des Auswertens das Bild unter Verwendung des Bildinformationssignals (305) ausgewertet wird.
4. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (210) des Auswertens das Bild verworfen wird, wenn ein vorbestimmter Bildparameter nicht erfüllt ist.
5. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Nutzersignal (310) eingelesen wird, das eine Eingabe eines Nutzers an einer Nutzerschnittstelle (315) repräsentiert, wobei im Schritt (215) des Ausgebens das Steuersignal (150) unter Verwendung des Nutzersignals (310) ausgegeben wird.
6. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (205) des Einlesens ein Sensorsignal (320) von einer Sensorschnittstelle (324) zu einem Sensor (328) eingelesen wird, wobei das Sensorsignal (320) mindestens einen von dem Sensor (328) erfassten Umgebungsparameter einer Umgebung des Spülgeräts (100) repräsentiert, wobei im Schritt (215) des Ausgebens das Steuersignal (150) unter Verwendung des Sensorsignals (320) ausgegeben wird.
7. Verfahren (200) gemäß einem der vorangegangenen Ansprüche, wobei im Schritt (215) des Ausgebens das Steuersignal (150) an eine Nutzerschnittstelle (315) zu einem Nutzer ausgegeben wird, wobei das Spülprogramm ansprechend auf ein Antwortsignal (330) angesteuert wird, wobei das Antwortsignal (330) eine Eingabe des Nutzers an der Nutzerschnittstelle (315) repräsentiert.
8. Verfahren (400) zum Trainieren eines Modells (300) zum Ansteuern eines Spülgeräts (100), wobei das Verfahren (400) folgende Schritte (405, 410) aufweist: Einlesen (405) eines ersten Bilddatensatzes, der eine Mehrzahl von ersten Bildern eines Innenraums (107) eines Spülgeräts (100) repräsentiert, die einer ersten Bildkategorie zugeordnet sind und Einlesen eines zweiten Bilddatensatzes, der eine Mehrzahl von zweiten Bildern eines Innenraums (107) eines Spülgeräts (100) repräsentiert, die einer zweiten Bildkategorie zugeordnet sind; und Anpassen (410) des Modells (300) derart, dass die dem Modell (300) eingegebenen ersten Bilder der ersten Bildkategorie zugeordnet werden und die dem Modell (300) eingegebenen zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Modell (300) zu trainieren.
9. Verfahren (400) gemäß Anspruch 8, mit einem Schritt (415) des Nachtrainierens des Modells (300) nach dem Schritt (410) des Anpassens, wobei im Schritt (415) des Nachtrainierens mindestens ein weiterer erster Bilddatensatz eingelesen wird, der eine Mehrzahl von weiteren ersten Bildern des Innenraums (107) repräsentiert, die der ersten Bildkategorie zugeordnet sind und wobei mindestens ein weiterer zweiter Bilddatensatz eingelesen wird, der eine Mehrzahl von weiteren zweiten Bildern des Innenraums (107) repräsentiert, die der zweiten Bildkategorie zugeordnet sind, wobei das Modell (300) derart angepasst wird, dass die weiteren ersten Bilder der ersten Bildkategorie zugeordnet werden und die weiteren zweiten Bilder der zweiten Bildkategorie zugeordnet werden, um das Grundmodell nachzutrainieren.
10. Vorrichtung (105), die ausgebildet ist, um die Schritte (205, 210, 215; 405, 410) eines der Verfahren (200; 400) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten auszuführen.
11. Spülgerät (100) mit einer Vorrichtung (105) gemäß Anspruch 10 und mit mindestens einer Kameraeinheit (140) zum Erfassen eines Innenraums (107) des Spülgeräts (100).
12. Computer-Programmprodukt mit Programmcode zur Durchführung eines der Verfahren (200; 400) nach einem der vorangegangenen Ansprüche 1 bis 9, wenn das Computer- Programmprodukt auf einer Vorrichtung (105) gemäß Anspruch 10 ausgeführt wird.
13. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BE20225548A BE1030689B1 (de) | 2022-07-04 | 2022-07-04 | Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
BE20225548A BE1030689B1 (de) | 2022-07-04 | 2022-07-04 | Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät |
Publications (2)
Publication Number | Publication Date |
---|---|
BE1030689A1 BE1030689A1 (de) | 2024-01-26 |
BE1030689B1 true BE1030689B1 (de) | 2024-01-30 |
Family
ID=84329627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BE20225548A BE1030689B1 (de) | 2022-07-04 | 2022-07-04 | Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät |
Country Status (1)
Country | Link |
---|---|
BE (1) | BE1030689B1 (de) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100175719A1 (en) * | 2008-09-15 | 2010-07-15 | General Electric Company | Energy management of dishwasher appliance |
DE102017212333A1 (de) * | 2017-07-19 | 2019-01-24 | BSH Hausgeräte GmbH | Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine |
US20200085275A1 (en) * | 2019-09-02 | 2020-03-19 | Lg Electronics Inc. | Intelligent dishwasher and method for controlling the same |
DE102018009311B4 (de) * | 2018-11-27 | 2020-07-02 | Diehl Ako Stiftung & Co. Kg | Spülmaschine und Verfahren zum Ermitteln von Spülgutinformationen einer Spülmaschine |
DE102019110795A1 (de) * | 2019-04-26 | 2020-10-29 | Miele & Cie. Kg | Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine |
EP3788933A1 (de) * | 2019-09-05 | 2021-03-10 | BSH Hausgeräte GmbH | Verfahren zur steuerung eines haushaltsgeräts |
-
2022
- 2022-07-04 BE BE20225548A patent/BE1030689B1/de active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100175719A1 (en) * | 2008-09-15 | 2010-07-15 | General Electric Company | Energy management of dishwasher appliance |
DE102017212333A1 (de) * | 2017-07-19 | 2019-01-24 | BSH Hausgeräte GmbH | Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine |
DE102018009311B4 (de) * | 2018-11-27 | 2020-07-02 | Diehl Ako Stiftung & Co. Kg | Spülmaschine und Verfahren zum Ermitteln von Spülgutinformationen einer Spülmaschine |
DE102019110795A1 (de) * | 2019-04-26 | 2020-10-29 | Miele & Cie. Kg | Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine |
US20200085275A1 (en) * | 2019-09-02 | 2020-03-19 | Lg Electronics Inc. | Intelligent dishwasher and method for controlling the same |
EP3788933A1 (de) * | 2019-09-05 | 2021-03-10 | BSH Hausgeräte GmbH | Verfahren zur steuerung eines haushaltsgeräts |
Also Published As
Publication number | Publication date |
---|---|
BE1030689A1 (de) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3654818B1 (de) | Haushaltsgeschirrspülmaschine und verfahren zum betreiben einer haushaltsgeschirrspülmaschine | |
DE102013219700A1 (de) | Geschirrspülmaschine und Verfahren zur Reinigung von Spülgut | |
DE102004030013A1 (de) | Geschirrspülmaschine und Betriebsverfahren für eine Geschirrspülmaschine | |
EP3160321A1 (de) | Wasserführendes haushaltsgerät | |
EP3891330A1 (de) | System mit einem wasserführenden haushaltsgerät und verfahren zum betreiben eines wasserführenden haushaltsgeräts | |
EP3685251A1 (de) | Verfahren zum betreiben eines haushaltsgeräts und haushaltsgerät | |
WO2019081234A1 (de) | Steuerung eines hausgeräts | |
BE1030689B1 (de) | Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät | |
DE102015107521A1 (de) | Verfahren zum Steuern eines Haushaltsgeräts und Steuergerät | |
DE102019110795A1 (de) | Geschirrspülmaschine mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer derartigen Geschirrspülmaschine | |
DE102023116543A1 (de) | Verfahren zum Ansteuern eines Spülgeräts, Verfahren zum Trainieren eines Modells, Vorrichtung und Spülgerät | |
BE1029768B1 (de) | Verfahren zum Überwachen eines Beladungszustands eines Spülgeräts, Vorrichtung und Spülgerät | |
DE102019213656A1 (de) | Haushaltsgerät, System mit einem Haushaltsgerät und Verfahren zum Betreiben eines Haushaltsgeräts | |
DE102020206487A1 (de) | System mit einer Geschirrspülmaschine, Verfahren und Computerprogrammprodukt | |
BE1029621B1 (de) | Verfahren und Steuereinheit zum Erkennen einer verstopften Düse für ein Reinigungsgerät und Reinigungsgerät | |
BE1030930B1 (de) | Verfahren zum Steuern eines Reinigungsgeräts, Vorrichtung und Reinigungsgerät | |
DE102020208346A1 (de) | System mit einer Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine | |
EP4202581B1 (de) | Verfahren zum betreiben eines nahrungsmittelbehandlungsgerätes | |
DE102018109332A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Haushaltgeräts und Haushaltgerät mit einer Vorrichtung | |
BE1029784B1 (de) | Steuervorrichtung und Verfahren zum Ansteuern eines Reinigungsprozesses zum Reinigen von Geschirr in einem Reinigungsgerät und Reinigungsgerät | |
BE1029671B1 (de) | Verfahren und Steuereinheit zum Betreiben eines Reinigungsgeräts und Reinigungsgerät | |
BE1030060B1 (de) | Bedienvorrichtung und Verfahren zum Bedienen eines Reinigungsgeräts und Reinigungsgerät | |
DE102020200254B4 (de) | Haushaltsgeschirrspülmaschine und Verfahren zum Betreiben einer Haushaltsgeschirrspülmaschine | |
DE102022133066A1 (de) | Verfahren zum Betreiben eines Reinigungsgerätes, Steuereinheit und Reinigungsgerät | |
DE102023125591A1 (de) | Verfahren zum Steuern eines Reinigungsgeräts, Vorrichtung und Reinigungsgerät |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FG | Patent granted |
Effective date: 20240130 |