-
Die Erfindung betrifft ein Verfahren zum Erkennen von Lagergut in Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen, bei dem mindestens ein Bild eines von in einer Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird und ein Erkennen des Lagerguts durch Auswertung von Bilddaten des mindestens ein Bilds mittels eines Erkennungsalgorithmus durchgeführt wird, der bezüglich eines Bildsatzes trainiert worden ist. Die Erfindung betrifft auch eine Haushalts-Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme von Lagergut und eine Datenverarbeitungsvorrichtung zum Verarbeiten von Bilddaten der durch die mindestens eine Kamera aufgenommenen Bildern aufweist, wobei die Datenverarbeitungsvorrichtung so ausgebildet ist, dass sie die Funktion des Adaptionsalgorithmus gemäß einem der vorhergehenden Ansprüche ausführen kann. Die Erfindung betrifft ferner ein System mit mindestens einer Haushalts-Lagerungsvorrichtung und einer mit mindestens einer Haushalts-Lagerungsvorrichtung datentechnisch koppelbaren externen Datenverarbeitungsvorrichtung, wobei die externe Datenverarbeitungsvorrichtung insbesondere dazu eingerichtet ist, den Standard-Erkennungsalgorithmus auszuführen. Die Erfindung ist insbesondere vorteilhaft anwendbar auf Haushalts-Lebensmittelbehandlungsgeräte wie Kältegeräte und Gargeräte sowie Dunstabzugshauben.
-
Für ein Lagermanagement im Haushaltsbereich (z.B. für Lebensmittel) ist die Information über das Vorhandenseins eines bestimmten Lebensmittels eine wichtige Grundinformation. Dies erfolgt z.B. kamerabasiert mit nachgelagerter Objekterkennung. Heutige Erkennungsalgorithmen erfordern dafür jeweils eine Anpassung an Änderungen der Charakteristik der Bilddaten, wie sie z.B. durch geänderte Gerätemodelle oder Kameramodelle infolge geänderter Bildhelligkeiten oder Bildverzerrungen verursacht werden.
-
„Deep-Learning”-basierte Erkennungsalgorithmen für Objekterkennung oder/und Objektdetektion basierend auf digitalisierten Bilddaten sind Stand der Technik, siehe z.B. C. G. Pachón:
„Product Detection System for Home Refrigerators implemented though a Region-based Convolutional Neural Network", Int. J. of Applied Engineering Research, ISSN 0973-4562, Bd. 13, Nr. 12 (2018), Seiten 10381 bis 10388,
US 2017/0050319 A1 ,
KR 20190108049 A oder
WO 2018/40105 A1 .
-
Die Anpassung an neue Bilddaten erfolgt bei „Deep-Learning“-basierten Erkennungsalgorithmen durch ein Neutrainieren (sog. „Retraining“) des Erkennungsalgorithmus und bedeutet einen nicht unerheblichen Entwicklungsaufwand, wobei in manchen Fällen sogar eine Verschlechterung der Erkennungsgenauigkeit bewirkt wird. Unter Umständen müssen auch gerätespezifische Ausprägungen des Erkennungsalgorithmus parallel betrieben werden, um die Funktion über alle Gerätemodelle sicherzustellen. Dabei werden NN („Neuronale Netzwerk“)-Erkennungsalorithmen auf einen gewissen Datensatz zum Erkennen der dort vorhandenen Objekte trainiert. Viele dieser NN-Erkennungsalgorithmen stehen im Rahmen von „Open Source“-Lizenzen frei zur Verfügung. Bei der Verwendung solcher Erkennungsalgorithmen in eigenen Anwendungen werden sie auf den eigenen Bildsatz mit darin evtl. auch enthaltenen neuen Objekten neu trainiert (auch als „Transfer Learning“ bezeichnet). Dieses Training erfolgt durch Anpassung der im NN-Erkennungsalgorithmus enthaltenen Parameter (auch Gewichte oder „Weights“ genannt) durch übliche Verfahren wie Gradientenabstieg, usw. Dabei erfolgt entweder eine Adaption aller Gewichte oder auch selektiv die Adaption der Gewichte nur eines Teilbereichs des Erkennungsalgorithmus. Üblich ist als Minimallösung häufig die Anpassung oder auch der komplette Ersatz des letzten Teils des NN-Erkennungsalgorithmus, des Klassifizierungsalgorithmus oder „Classifiers“.
-
Der Klassifizierungsalgorithmus führt die zum Vorhersage- oder Erkennungsergebnis führende Entscheidung herbei. Dazu verwendet er Merkmale, sog. „Features“, welche aus dem vorgelagerten Teil des Erkennungsalgorithmus (dem sog. Merkmalsextraktor oder „Feature Extractor“) des -Erkennungsalgorithmus berechnet werden.
-
Ein NN-Erkennungsalgorithmus zur Erkennung und Klassifizierung von Objekten aus Bilddaten besteht also üblicherweise aus zwei funktionalen Hauptbestandteilen: dem Teilalgorithmus zum Extrahieren der Merkmale aus den Bilddaten (Merkmalsextraktionsalgorithmus) und einem diesem nachgeschalteten Teilalgorithmus, welcher aus den Merkmalen eine Vorhersage (das Erkennungsergebnis) für eine erkannte Objektklasse liefert (Klassifizierungsalgorithmus).
-
Dem Merkmalsextraktor vorgelagert sind häufig noch einfache, fest-codierte Umrechnungen der Bilddaten (sog. „Preprocessing“), z.B. zur Anpassung der mittleren Bildhelligkeit oder des Kontrasts durch einfache Rechenoperationen, beispielsweise zur Mittelwert-Subtraktion oder Varianz-Normierung.
-
Nachteiligerweise sind die obigen Anpassungen des NN-Erkennungsalgorithmus durch Neutrainieren nur sehr aufwändig durchzuführen.
-
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereitzustellen, in einem Haushalt gelagertes Lagergut durch einen Erkennungsalgorithmus zu erkennen.
-
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.
-
Die Aufgabe wird gelöst durch ein Verfahren zum Erkennen von Lagergut in Haushalts-Lagerungsvorrichtungen, bei dem
- - ein Bildsatz (umfassend mindestens ein Bild) eines mittels einer Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird und
- - ein Erkennen des Lagerguts durch Auswertung von Bilddaten dieses Bildsatzes mittels eines Erkennungsalgorithmus („Standard-Erkennungsalgorithmus“) durchgeführt wird, wobei
- - der Standard-Erkennungsalgorithmus bezüglich eines unter einer zugehörigen Konfiguration („Standard-Konfiguration“) aufgenommenen Bildsatzes („Standard-Bildsatzes“) trainiert worden ist, und
- - die die Datencharakteristik der Bilddaten vor Anwendung des Standard-Erkennungsalgorithmus mittels eines abhängig von einer Konfiguration der Haushalts-Lagerungsvorrichtung zumindest teilweise trainierten Adaptionsalgorithmus auf eine („Standard“)-Datencharakteristik des Standard-Bildsatzes hin angepasst wird, insbesondere falls sich eine Konfiguration der Haushalts-Lagerungsvorrichtung von der Standard-Konfiguration unterscheidet.
-
Dieses Verfahren ergibt den Vorteil, dass der gleiche Standard-Erkennungsalgorithmus für Haushalts-Lagerungsvorrichtungen mit dazu unterschiedlicher Konfiguration nutzbar ist, da eine Anpassung der durch diese Haushalts-Lagerungsvorrichtungen aufgenommenen Bilddaten ausschließlich durch einen vorgelagerten Adaptionsalgorithmus vorgenommen wird. Weil der Adaptionsalgorithmus sehr viel einfacher aufgebaut werden kann als der eigentliche Erkennungsalgorithmus (wenige zehn bis hundert durch Training anzupassende Parameter im Adaptionsalgorithmus gegenüber typischerweise Millionen durch Training anzupassenden Parametern im Standard-Erkennungsalgorithmus), wird ein Anpassungsaufwand an unterschiedliche Haushalts-Lagerungsvorrichtungen erheblich verringert, da er auf das Training des Adaptionsalgorithmus beschränkt ist. Dies wird dadurch unterstützt, dass eine merklich geringere Zahl an benötigten Trainingsdaten (d.h., Bildern) benötigt wird als bei (Neu-)Trainieren des eigentlichen Erkennungsalgorithmus. Darüber hinaus wird ein Austausch des Standard-Erkennungsalgorithmus durch präzisere Versionen erleichtert, weil gerätespezifische (und damit datenspezifische) Anpassungen nur im Adaptionsalgorithmus enthalten sind.
-
Es ist ein weiterer Vorteil, dass das Anpassen der Datencharakteristik der von der Haushalts-Lagerungsvorrichtung erzeugten Bilddaten an die Datencharakteristik der Bilddaten des Standard-Bildsatzes („Standard-Datencharakteristik“) bei folgender Verarbeitung durch den Standard-Erkennungsalgorithmus ein besseres Erkennungsergebnis liefern kann als ohne Verwendung des Adaptionsalgorithmus.
-
Unter einer Haushalts-Lagerungsvorrichtung kann grundsätzlich jede Haushaltsvorrichtung verstanden werden, welche dazu vorgesehen ist, Lagergut zu lagern und/oder zu überwachen. Die Haushalts-Lagerungsvorrichtung kann dazu mindestens einen dedizierten Lagerraum aufweisen, braucht es aber nicht. Es ist eine Weiterbildung, dass die Haushalts-Lagerungsvorrichtung ein Haushaltsgerät ist, insbesondere im Sinne „weißer Ware“, speziell ein Haushalts-Großgerät. Es ist eine Weiterbildung, dass die Haushalts-Lagerungsvorrichtung ein Lebensmittel-Behandlungsgerät ist, beispielsweise ein Kältegerät (z.B. Kühlschrank und/oder Gefrierschrank) und/oder ein Gargerät (z.B. ein Ofen und/oder ein Kochfeld). Es ist eine Weiterbildung, dass die Haushalts-Lagerungsvorrichtung eine Dunstabzugshaube ist, deren mindestens eine Kamera auf ein Kochfeld gerichtet ist. Die Haushalts-Lagerungsvorrichtung kann auch eine Dunstabzugshauben-/Kochfeld-Kombination sein. Im Fall eines Kochfelds wird Kochgut, insbesondere Lebensmittel, auf dem Kochfeld gelagert, z.B. vor, während und/oder nach einem Kochvorgang. Die mindestens einen Kamera kann bei einem Gargerät auch zur Überwachung eines Garvorgangs verwendet werden. Die Haushalts-Lagerungsvorrichtung kann aber auch ein Schrank wie ein Vorratsschrank, ein Wein/Klima-Schrank usw. sein.
-
Die zu erkennenden Objekte können Lebensmittel sein, sind aber nicht darauf beschränkt, sondern können z.B. auch Geschirr, Wäsche, allgemeine Haushaltsobjekte usw. sein.
-
Das Lagergut kann auch mittels eines mobilen Nutzerendgeräts (Smartphones, Tablets, usw.) aufgenommen werden, insbesondere wenn es an der Haushaltsgeräte-Lagerungsvorrichtung angeordnet ist, z.B. in einem Kühlschrank oder Vorratsschrank gelagert ist, auf einem Kochfeld abgestellt ist. Auch hierbei stellt sich eine typische Konfiguration ein, die z.B. von der Art der Haushaltsgeräte-Lagerungsvorrichtung, den konkreten Beleuchtungsbedingungen am Ort der Haushaltsgeräte-Lagerungsvorrichtung, der Art des mobilen Nutzerendgeräts, der typischen Aufnahmehöhe usw. abhängen kann
-
Unter einer Konfiguration einer Haushalts-Lagerungsvorrichtung kann deren konstruktiver Aufbau verstanden werden, z.B. umfassend eine Zahl von Beleuchtungseinheiten, deren Beleuchtungswinkel, Beleuchtungshelligkeit und/oder Lichtspektrum, ein Abstand und Winkel der Kamera bezüglich eines Lagerorts, Kameraeigenschaften wie deren Farbdynamik, Auflösung usw. Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen können sich in diesen Konfigurationsparametern unterscheiden, z.B. durch unterschiedliche Arten und/oder Positionen der Kamera(s), unterschiedliche Beleuchtungsbedingungen usw. Insbesondere können unterschiedliche Gerätemodelle oder Gerätetypen einer gleichen Art von Haushalts-Lagerungsvorrichtung (z.B. eines Kühlschranks) unterschiedliche Konfigurationen aufweisen. Dass mindestens ein Bild eines „mittels“ einer Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird, kann folglich umfassen, dass mindestens ein Bild eines innerhalb einer Haushalts-Lagerungsvorrichtung gelagerten Lagerguts aufgenommen wird (z.B. von Kühlgut in einem Kältegerät oder von Gargut in einem Ofen) oder mindestens ein Bild eines auf einer Haushalts-Lagerungsvorrichtung abgelegten Lagerguts aufgenommen wird (z.B. von Gargut auf einem Kochfeld).
-
Der Standard-Erkennungsalgorithmus ist auf einen vorgegebenen Satz von Bildern (den Standard-Bildsatz) jeweiliger zu erkennender Objekte hin trainiert worden, wobei die Bilder in einer bestimmten Standard-Konfiguration aufgenommen worden sind und damit im Bildraum eine typische Standard-Datencharakteristik (beispielsweise eine typische Datenstatistik, z.B. die sog. statistische Verteilung, auch als „Statistical Distribution“ bezeichnet) aufweisen.
-
Es ist eine Weiterbildung, dass der Standard-Bildsatz ein frei verfügbarerer Bildsatz ist, z.B. ein COCO („Common Objects in Context“)-Bildsatz.
-
Es ist eine Weiterbildung, dass der Standard-Bildsatz ein (z.B. von einem Hersteller der Haushalts-Lagerungsvorrichtung) dediziert erzeugter Bildsatz ist, z.B. ein mittels einer bestimmten Haushalts-Lagerungsvorrichtung erzeugter Bildsatz ist. Dies ergibt den Vorteil, dass die Standard-Konfiguration, unter welcher der Standard-Bildsatz erzeugt worden ist, mit hoher Wahrscheinlichkeit eine geringere Abweichung zu den Konfigurationen der dann im Haushalt eingesetzten unterschiedlichen Haushalts-Lagerungsvorrichtungen aufweist als ein frei verfügbarerer Bildsatz. Dies kann den Aufwand für ein Trainieren des Adaptionsalgorithmus weiter verringern.
-
Das Erkennungsergebnis kann allgemein, wie grundsätzlich bekannt, nicht nur die Art des erkannten Objekt (z.B. „Apfel“, „Tomate“) usw. umfassen, sondern z.B. auch deren Zahl, Größe und Position. Das Erkennungsergebnis kann beispielsweise nach grundsätzlich bekannter Art für ein Lagerhaltungsmanagement verwendet werden, z.B. zum Erstellen einer Inventarliste, einer Einkaufsliste, usw.
-
Dass der Adaptionsalgorithmus zumindest teilweise trainiert worden ist, umfasst insbesondere, dass er ein Algorithmus nach Art eines neuronalen Netzwerks ist (NN-Adaptionsalgorithmus) und nicht nur wie bei dem herkömmlichen Preprocessing durch festkodierte Parameter erzeugt wird. Der Adaptionsalgorithmus kann daher auch selbst als neuronales Netzwerk angesehen werden, das aber außer über die Anpassung und Weiterleitung der Bilddaten nicht mit dem eigentlichen Standard-Erkennungsalgorithmus zusammenarbeitet und daher keinen Teil, insbesondere keine Lage, des Standard-Erkennungsalgorithmus darstellt.
-
Der Adaptionsalgorithmus kann in einfachen Fällen aus einer einzelnen sog. Faltungslage oder Faltungsschicht („Convolutional Layer“) bestehen. Durch diese Faltungslage können beispielsweise durch Helligkeits-, Kontrast- und/oder Farbraumänderungen und/oder durch Bildschärfenänderung der Konfiguration bedingte Unterschiede zu der Standard-Konfiguration ausgeglichen werden.
-
Komplexere Adaptionsalgorithmen können mehrere NN-Schichten enthalten. Ferner können zusätzlich Nichtlinearitäts- und/oder Regularisierungsfunktionen enthalten sein (z.B. sog. Aktivierungsfunktionen, Pooling, L1-L2-Regularisations-Funktionen, Funktionen zum Ausgleich von nichtlinearen Verzerrung wie sie z.B. durch nichtlineare Kompressionsalgorithmen wie JPEG, PNG, GIF o.ä. hervorgerufen werden, ggf. auch Dropout-Noise-Funktionen, usw.). Dadurch sind komplexere Anpassungen möglich, z.B. zur Korrektur geometrischer Verzerrungen.
-
Es ist eine Ausgestaltung, dass der Standard-Erkennungsalgorithmus einen Merkmalsextraktionsalgorithmus („Feature Extractor“) und einen diesem nachgeschalteten Klassifizierungsalgorithmus („Classifier“) umfasst. Die detaillierte Arbeitsweise eines solchen Erkennungsalgorithmus ist aus dem Stand der Technik grundsätzlich bekannt.
-
Alternativ kann der Standard-Erkennungsalgorithmus z.B. ein auf Kreuzkorrelation beruhendes sog. „Template Matching“ umfassen, z.B. unter Nutzung der Summe absoluter Differenzen von Bildpunkten (SAD; „Sum of Absolute Differences“).
-
Es ist eine Weiterbildung, dass der Merkmalsextraktionsalgorithmus und/oder der Klassifizierungsalgorithmus ein neuronales Netzwerk darstellt oder ist. Ein solcher NN-Erkennungsalgorithmus weist typischerweise eine Vielzahl von hintereinander angeordneten Lagen oder „Layern“ (sog. „Deep Learning“) auf, beispielsweise unter Verwendung von VGG („Visual Geometry Group“)-, R-CNN („Regions with convolutional neural networks“)-, SSD („Single shot multibox detector“)-, YOLO („You only look once“)-Architekturen, usw. Die Lagen können auch als Schichten bezeichnet werden.
-
Es ist eine Weiterbildung, dass der Merkmalsextraktionsalgorithmus und/oder der Klassifizierungsalgorithmus ein auf Methoden des maschinellen Sehens (auch als „Computer Vision-Algorithmus bezeichenbar‟) beruhender Algorithmus ist. Dieser kann z.B. SURF („Speeded Up Robust Features“)-, HOG („Histogram of oriented gradients“)-Architekturen usw. benutzen.
-
Es ist eine Ausgestaltung, dass der Adaptionsalgorithmus für Haushalts-Lagerungsvorrichtungen, deren Konfiguration nicht der Standard-Konfiguration entspricht, im Zusammenspiel mit dem Standard- Erkennungsalgorithmus trainiert wird. Das Trainieren kann dabei insbesondere so erfolgen, dass zunächst mittels der Haushalts-Lagerungsvorrichtung ein oder typischerweise mehrere Bilder eines zu erkennenden Objekts aufgenommen werden. Die zugehörigen Bilddaten werden zunächst durch den zu trainierenden Adaptionsalgorithmus und dann durch den Standard-Erkennungsalgorithmus verarbeitet. Folgend werden die Parameter bzw. Gewichte des Adaptionsalgorithmus angepasst, um das Erkennungsergebnis zu verbessert. Dieser Ablauf entspricht einer grundsätzlich bekannten sog. „Backpropagation“, wobei aber nur einige oder alle Parameter des Adaptionsalgorithmus variiert werden. Die Parameter des Standard-Erkennungsalgorithmus bleiben hingegen insbesondere unverändert („frozen“).
-
Es ist eine Ausgestaltung, dass der Adaptionsalgorithmus ein vollständig trainierter Algorithmus ist, also keiner seiner Parameter festkodiert ist. Dies vermeidet vorteilhafterweise eine Erstellung festkodierter Parameter.
-
Es ist eine Weiterbildung, dass ein Teil der Parameter des Adaptionsalgorithmus festkodiert ist und ein anderer Teil nach Methoden eines neuronalen Netzwerks trainiert worden ist. Dies kann auch so ausgedrückt werden, dass der Adaptionsalgorithmus teilweise festkodierte Umwandlungsvorschriften umfasst („engineert“ worden ist), welche z.B. physikalische Abweichungen zwischen der Haushalts-Lagerungsvorrichtung der Konfiguration bei Aufnahme des Standard-Bildsatzes umfassen. Diese festkodierten Umwandlungsvorschriften können Umwandlungsvorschriften entsprechen, die ansonsten im Rahmen eines Preprocessings bereitgestellt würden.
-
Es ist eine Ausgestaltung, dass mittels einer Haushalts-Lagerungsvorrichtung ein Bildsatz eines bisher noch nicht klassifizierten Lagerguts aufgenommen wird, und der Standard-Erkennungsalgorithmus anhand dieses Bildsatzes auf das Erkennen des zugehörigen Lagerguts hin eingerichtet (z.B. trainiert oder programmiert) wird. Dies ist besonders vorteilhaft, wenn ein Nutzer mittels seiner Haushalts-Lagerungsvorrichtung ein bisher nicht klassifiziertes Objekt erkennen lassen möchte. Aufgrund der Nutzung des Adaptionsalgorithmus braucht er dazu nur vergleichsweise wenige Bilder aufzunehmen und ggf. zusammen mit einer Objektbeschreibung einer geeigneten Instanz zur Anpassung des Klassifikationsalgorithmus zukommen zu lassen. Die Anpassung des Klassifikationsalgorithmus kann automatisch ablaufen, insbesondere auf Grundlage der mittels des zugehörigen Adaptionsalgorithmus adaptierten Bilddaten des von dem Nutzer hochgeladenen Bildsatzes. Da die gerätespezifischen Eigenschaften der Haushalts-Lagerungsvorrichtungen in dem jeweiligen Adaptionsalgorithmus enthalten sind, während die adaptierten Bilddaten praktisch geräteunspezifisch sind, kann die Anpassung des Klassifikationsalgorithmus im Standard-Erkennungsalgorithmus vorteilhafterweise ohne weiteres auch für Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen verwendet werden. Nimmt also beispielsweise ein Nutzer Bilder eines bisher nicht klassifizierten Objekts mittels seiner Haushalts-Lagerungsvorrichtung einer bestimmten Konfiguration auf und wird auf deren Basis für alle Haushalts-Lagerungsvorrichtungen verwendete der Klassifikationsalgorithmus angepasst, kann das bisher nicht klassifizierte Objekt auch von Haushalts-Lagerungsvorrichtungen mit anderen Konfigurationen erkannt werden. Die Nutzer der anderen Haushalts-Lagerungsvorrichtungen brauchen dazu nichts zu tun. So wird der Vorteil erreicht, dass sich für Haushalts-Lagerungsvorrichtungen mit unterschiedlichen Konfigurationen durch die oben beschriebene nutzerseitige Objektklassifizierung auf besonders einfache Weise eine geräteunabhängige Objekt- bzw. Lagergut-Datenbank erweitern lässt.
-
Zusätzlich zu den obigen Ausführungen ist es grundsätzlich auch möglich, Anpassungen des Adaptionsalgorithmus (durch Neutrainieren) in Kombination mit Optimierung von Teilen des Erkennungsalgorithmus durchzuführen. Dazu weisen die neu zu trainierenden Teile des Erkennungsalgorithmus vorteilhafterweise nur vergleichsweise wenige anzupassende freie Parameter auf, z.B. wenige Zehn oder Hundert freie Parameter. Diese Weiterbildung ist besonders vorteilhaft, wenn Erkennungsalgorithmus in die Haushalts-Lagerungsvorrichtung integriert ist.
-
Die Aufgabe wird auch gelöst durch eine Haushalts-Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme eines Bildsatzes von Lagergut und eine Datenverarbeitungsvorrichtung zum Verarbeiten von Bilddaten dieses Bildsatzes, wobei die Datenverarbeitungsvorrichtung so ausgebildet ist, dass sie den Adaptionsalgorithmus wie oben beschrieben ausführen kann. Die Haushalts-Lagerungsvorrichtung kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die gleichen Vorteile auf. In dieser Variante der Haushalts-Lagerungsvorrichtung entspricht der Adaptionsalgorithmus also einer Gerätefunktion. Dies kann auch so beschrieben werden, dass der Adaptionsalgorithmus in die Vorrichtung integriert oder „embedded“ ist. Die Datenverarbeitungsvorrichtung kann dazu entsprechend programmiert oder hartverdrahtet sein.
-
Es ist eine Weiterbildung, dass auch der Merkmalsextraktionsalgorithmus und/oder der Klassifizierungsalgorithmus in die Haushalts-Lagerungsvorrichtung integriert sind. Dadurch kann eine Klassifizierung bildlich aufgenommener Objekte vorteilhafterweise auch ohne Datenverbindung zu einer externen Datenverarbeitungsvorrichtung durchgeführt werden. Dies ist auch deshalb vorteilhaft, da der konfigurations- bzw. geräteunspezifische Standard-Erkennungsalgorithmus unverändert bleibt. Denn eine Portierung eines mit üblichen PC-basierten Tools entwickelten Erkennungsalgorithmus auf eine Embedded-Architektur (mit in der Regel deutlich geringerer Rechenleistung) ist u.U. ein sehr aufwändiger Prozess, z.B. da typischerweise Parameter und Daten von einer Floating-Point-Arithmetik auf eine Fixed-Point-Arithmetik umgewandelt werden müssen. Dieser Aufwand ist für den weniger komplexen Adaptionsalgorithmus deutlich geringer als für den Erkennungsalgorithmus oder ist wegen der geringen Berechnungskomplexität evtl. gar nicht notwendig.
-
Die Aufgabe wird ferner gelöst durch ein System mit mindestens einer Haushalts-Lagerungsvorrichtung wie oben beschrieben und einer mit mindestens einer Haushalts-Lagerungsvorrichtung datentechnisch koppelbaren externen Datenverarbeitungsvorrichtung, wobei die externe Datenverarbeitungsvorrichtung dazu eingerichtet ist, zumindest den Standard-Erkennungsalgorithmus auszuführen. So wird der Vorteil erreicht, dass die Haushalts-Lagerungsvorrichtung besonders einfach und preiswert gestaltbar ist. Das System kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die gleichen Vorteile auf.
-
Bei diesem System können in einer Weiterbildung die Adaption der Bilddaten auf den Standard-Bildsatz (z.B. auf dessen Datencharakteristik) durch die Haushalts-Lagerungsvorrichtung durchgeführt, die adaptierten Bilddaten an die externe Datenverarbeitungsvorrichtung gesandt, dort mittels des Standard-Erkennungsalgorithmus eine Objekterkennung durchgeführt und das Ergebnis der Objekterkennung zurück an die Haushalts-Lagerungsvorrichtung gemeldet werden.
-
Zur datentechnischen Kopplung mit der externen Datenverarbeitungsvorrichtung kann die Haushalts-Lagerungsvorrichtung mindestens eine entsprechende - z.B. drahtlose oder drahtgebundene - Kommunikationseinrichtung aufweisen, beispielsweise ein Bluetooth-Modul, ein WLAN-Modul, ein Ethernet-Modul, usw.
-
Die externe Datenverarbeitungsvorrichtung kann z.B. ein Netzwerk-Server oder ein sog. „Cloud-Rechner“ sein.
-
Jedoch sind grundsätzlich beliebige Verteilungen des Adaptionsalgorithmus, des Merkmalsextraktionsalgorithmus und/oder des Klassifizierungsalgorithmus auf die Haushalts-Lagerungsvorrichtung und die externe Datenverarbeitungsvorrichtung möglich:
- So wird die Aufgabe außerdem gelöst durch ein System mit mindestens einer Haushalts-Lagerungsvorrichtung, aufweisend mindestens eine Kamera zu Aufnahme eines Bildsatzes von Lagergut und einer mit mindestens einer Haushalts-Lagerungsvorrichtung datentechnisch koppelbaren externen Datenverarbeitungsvorrichtung, wobei die externe Datenverarbeitungsvorrichtung dazu eingerichtet ist, den Adaptionsalgorithmus und den Standard-Erkennungsalgorithmus wie oben beschrieben auszuführen. Dadurch wird der Vorteil erreicht, dass sich der Adaptionsalgorithmus besonders flexibel austauschen lässt, z.B. eine ältere Version gegen eine neue Version. Zudem kann die Haushalts-Lagerungsvorrichtung dadurch besonders einfach ausgestaltet werden. Auch dieses System kann analog zu dem Verfahren ausgebildet sein, und umgekehrt, und weist die gleichen Vorteile auf.
-
Dieses System kann so umgesetzt sein, dass mittels einer Haushalts-Lagerungsvorrichtung ein Bildsatz des zu erkennenden Lagerguts aufgenommen und an die externe Datenverarbeitungseinrichtung gesandt wird, ggf. zusammen mit dessen Konfiguration oder einer Kennung, welche die Haushalts-Lagerungsvorrichtung bzw. deren Konfiguration identifiziert. Die externe Datenverarbeitungseinrichtung sucht anhand der Konfiguration oder Kennung den passenden Adaptionsalgorithmus aus und führt eine Objekterkennung durch. Da der Adaptionsalgorithmus im Vergleich zu dem Standard-Erkennungsalgorithmus wenige freie Parameter umfasst bzw. eine geringe Datengröße aufweist, kann eine hohe Zahl an unterschiedlichen Adaptionsalgorithmen durch die externe Datenverarbeitungseinrichtung ohne weiteres vorgehalten werden.
-
In einer Weiterbildung kann anstelle unterschiedlicher Adaptionsalgorithmen in der externe Datenverarbeitungseinrichtung ein einziger, komplexerer (z.B. mehrere NN-Lagen aufweisender) Adaptionsalgorithmus verwendet werden, der anhand eines eingehenden Bildsatzes bzw. anhand der zugehörigen Datencharakteristik selbst erkennt, unter welcher Konfiguration der Bildsatz aufgenommen worden ist und sich automatisch an die selbsterkannte Konfiguration anpasst, z.B. durch Einsetzen von zu der Konfiguration gehörigen Werten von Parametern. Bei verfügbarer Information über das Gerätemodell (Konfiguration) kann diese Information vorteilhafterweise mitverwendet werden. Insbesondere für diese Weiterbildung ist es vorteilhaft, wenn die Adaptionsalgorithmen eine gleiche Struktur oder Architektur aufweisen.
-
Auch ist es möglich, dass der Adaptionsalgorithmus eine ihm vorher unbekannte Konfiguration bzw. ihm vorher unbekannte Datencharakteristiken in die gewünschte Standard-Datencharakteristik überführt, indem er die Datencharakteristik der eingegebenen Bildsätze erfasst und sich automatisch so anpasst, dass die Standard-Datencharakteristik zumindest annähernd erreicht wird.
-
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
- 1 zeigt eine Skizze einer Haushalts-Lagerungsvorrichtung in Form eines Kühlschranks;
- 2 zeigt eine Skizze eines herkömmlichen Verfahrens zur Objekterkennung;
- 3 zeigt eine Skizze des erfindungsgemäßen Verfahrens zur Objekterkennung; und
- 4 zeigt einen Trainingsablauf zum Trainieren eines Adaptionsalgorithmus.
-
1 zeigt eine Skizze einer Haushalts-Lagerungsvorrichtung in Form eines Kühlschranks 1. Der Kühlschrank 1 weist einen Kühlraum 2 auf, der zur Lagerung von Lagergut in Form von Kühlgut (hier: Lebensmittel in Form eines Apfels A) vorgesehen ist. Beispielsweise in einer Tür 3 des Kühlschranks 1 ist eine Kamera 4 (auch als CiF, „Camera in Fridge“ bezeichnet) vorhanden, mittels der ein Bildsatz [B] mit ein oder mehreren Bildern des Inhalts des Kühlraums 2 aufnehmbar sind. Falls der Bildsatz [B] mehrere Bilder aufweist, können diese zeitlich zusammenhängend (z.B. als Bildfolge oder Video) oder zeitlich nicht zusammenhängend aufgenommen werden.
-
Der konstruktive Aufbau des Kühlschrank 1 kann als Konfiguration K1 bezeichnet werden.
-
In einer Variante weist der Kühlschrank 1 eine Datenverarbeitungseinrichtung (o. Abb.) auf, die es ermöglicht, Bilddaten des Bildsatzes [B] zu verarbeiten.
-
In einer zusätzlichen oder alternativen Variante ist der Kühlschrank 1 mit einer Kommunikationseinrichtung 5 (z.B. einem Bluetooth- oder WLAN-Modul) ausgestattet, die es dem Kühlschrank 1 ermöglicht, Daten mit einer externen Datenverarbeitungseinrichtung 6 auszutauschen, z.B. den Bildsatz [B] an die externe Datenverarbeitungseinrichtung 6 zu senden, Erkennungsergebnisse RES (siehe 3) zu empfangen, usw. Die Datenverbindung kann z.B. über das Internet N hergestellt werden. Die externe Datenverarbeitungseinrichtung 6 kann ein Netzwerk-Server oder ein Cloudrechner sein.
-
2 zeigt eine Skizze eines herkömmlichen Verfahrens zur Objekterkennung. Ein unter einer Konfiguration K0 aufgenommener Bildsatz [B0] mit einer Datencharakteristik D0 wird in einen Erkennungsalgorithmus EA eingespeist, der auf die Erkennung von Objekten wie dem Apfel A unter der Konfiguration K0 trainiert worden ist. Der Erkennungsalgorithmus EA ist dadurch gerätespezifisch. Er umfasst hier einen Merkmalsextraktionsalgorithmus FE und einen Klassifikationsalgorithmus CL, optional auch einen vorgeschalteten festkodierten Preprocessing-Algorithmus PP.
-
Der Erkennungsalgorithmus EA liefert eine Vorhersage (Ergebnis RES) der Art „Ein Apfel wurde mit 95% Wahrscheinlichkeit erkannt, eine Orange mit 70% , ...“) oder dasselbe in Verbindung mit Positionsinformationen: „An Position x=100, y=150 wurde ein Apfel mit 95% Wahrscheinlichkeit erkannt, ...“) und üblicherweise auch mit Größeninformation wie „im Bereich x=100 bis 150, y=150 bis 210 wurde ... erkannt“).
-
Der Erkennungsalgorithmus EA funktioniert gut mit aus Bildsätzen [B0] generierten Bilddaten, welche eine gleiche Datencharakteristik D0 (z.B. in Form der statistischen Verteilung) aufweisen wie die zum Training des Erkennungsalgorithmus EA verwendeten Bildsätze.
-
Bei der Verwendung von Bildsätzen, die in einer anderen als der trainierten Konfiguration K0 (z.B. mit einem anderen Gerätemodell oder mit einer anderen Kamera) erzeugt werden, entspricht die Datencharakteristik jedoch nicht mehr derjenigen, welche für das Training des Erkennungsalgorithmus EA verwendet wurde. Jedes Gerätemodell bzw. Konfiguration liefert vielmehr in der Regel Bilddaten mit unterschiedlicher Charakteristik.
-
Dies trifft insbesondere dann zu, wenn der Erkennungsalgorithmus EA mit frei verfügbaren Bildsätzen (z.B. COCO) trainiert worden ist, die von der Datencharakteristik her wenig mit den mittels einer Haushalts-Lagerungsvorrichtung zu tun haben. Der Grund dafür sind z.B. unterschiedliche Helligkeiten, Kontraste und/oder Farbraum-Verschiebungen der Bilddaten, aber auch unterschiedliche geometrische Verzerrungen oder Verzerrungen anderer Art (z.B. chromatische Artefakte durch chromatische Aberration oder ein Farbübersprechen in CMOS Sensoren). Dies führt üblicherweise zu einer (meistens signifikant) schlechteren Erkennungsgenauigkeit, selbst wenn der zum Training verwendete Bildsatz genau die gleichen zu erkennenden Objekte enthält.
-
Verbessert wird die Genauigkeit für Haushalts-Lagerungsvorrichtung üblicherweise durch Neutrainieren des Erkennungsalgorithmus EA. Dazu werden für jeweilige zu erkennende Objekte (wie den Apfel A) neue Bildsätze mit der Konfiguration der jeweiligen Haushalts-Lagerungsvorrichtung erzeugt, welche dann eine eigene Datencharakteristik aufweisen. Dazu wird eine ähnliche, typischerweise hohe Zahl von Bildern erzeugt wie bei dem ursprünglichen Bildsatz. Dies ist jedoch aufwändig und muss für unterschiedliche Kühlschränke oder andere Lagerhaltungs-Vorrichtungen individuell durchgeführt werden.
-
3 zeigt eine Skizze des erfindungsgemäßen Verfahrens zur Objekterkennung für ein System mit mehreren Haushalts-Lagerungsvorrichtung 1a bis 1i mit unterschiedlichen Konfigurationen K1 bis Ki. Die Haushalts-Lagerungsvorrichtungen 1a bis 1i können beispielsweise Kältegeräte unterschiedlicher Konfiguration, z.B. einen Kühlschrank 1a und einen anderen Kühlschrank 1b (von denen zumindest einer gleich oder ähnlich dem in 1 beschriebenen Kühlschrank 1 ausgebildet sein kann), ein oder mehrere Haushalts-Gargeräte 1c, eine Dunstabzugshaube 1d bzw. Esse (ggf. in Kombination mit einem Kochfeld), einen Vorratsschrank 1i usw. umfassen. Mittels der Haushalts-Lagerungsvorrichtungen 1a bis 1i können jeweilige Bildsätze [B1] bis [Bi] erzeugt werden, welche z.B. entsprechende Datencharakteristiken D1 bis Di aufweisen.
-
Das Verfahren nutzt wie bisher einen anhand eines Standard-Bildsatzes [B0] (z.B. eines COCO-Bildsatzes oder eines von einem Hersteller der Haushalts-Lagerungsvorrichtungen 1a bis 1i erzeugten Bildsatzes) trainierten („Standard“)-Erkennungsalgorithmus EA. Der Standard-Bildsatz [B0] ist unter einer Konfiguration K0, die sich von den Konfigurationen K1 bis Ki unterscheidet, erzeugt worden, wobei dessen Bilddaten eine Standard-Datencharakteristik D0 aufweisen. Für jede der Haushalts-Lagerungsvorrichtungen 1a bis 1i ist dem Standard-Erkennungsalgorithmus EA ein jeweiliger Adaptionsalgorithmus AL1 bis ALi zwischengeschaltet, der dazu dient, die von den Haushalts-Lagerungsvorrichtungen 1a bis 1i aufgenommenen Bildsätze [B1] bis [Bi] bzw. deren Datencharakteristiken D1 bis Di an den Standard-Bildsatzes [B0] bzw. dessen Datencharakteristik D0 anzupassen. Der Adaptionsalgorithmus AL1 bis ALi transformiert dazu die Datencharakteristiken D1 bis Di der Bildsätze [B1] bis [Bi] in eine Verteilung welche ähnlich ist der Standard-Datencharakteristik D0 des Standard-Bildsatzes B0 ist. Dadurch wird bei unverändertem Standard-Erkennungsalgorithmus EA wieder zumindest ungefähr die gleiche Erkennungsgenauigkeit erreicht.
-
Ist der Standard-Bildsatz [B0] mittels einer Haushalts-Lagerungsvorrichtung (o. Abb.) erzeugt worden, kann für eine solche Haushalts-Lagerungsvorrichtung auf einen Adaptionsalgorithmus verzichtet werden, da der Standard-Erkennungsalgorithmus EA bereits anhand dieser Haushalts-Lagerungsvorrichtung trainiert worden ist.
-
In einer Variante läuft der Standard-Erkennungsalgorithmus EA auf der externen Datenverarbeitungseinrichtung 6 ab. Die Adaptionsalgorithmen AL1 bis ALi laufen in den jeweils zugehörigen Lagerungsvorrichtungen 1a bis 1i ab.
-
In einer weiteren Variante kann der Standard-Erkennungsalgorithmus EA in den Lagerungsvorrichtungen 1a bis 1i ablaufen, z.B. als „embedded“ Algorithmus. Der Adaptionsalgorithmus AL1 bis ALi läuft weiterhin ebenfalls in den jeweils zugehörigen Lagerungsvorrichtungen 1a bis 1i ab.
-
In noch einer weiteren Variante laufen die Adaptionsalgorithmen AL1 bis ALi und der Standard-Erkennungsalgorithmus EA in der externen Datenverarbeitungseinrichtung 6 ab. Dies kann so umgesetzt sein, dass mittels einer Haushalts-Lagerungsvorrichtung 1a bis 1i ein Bildsatz [B1] bis [Bi] aufgenommen und auf die externe Datenverarbeitungseinrichtung 6 übertragen wird, insbesondere zusammen mit der zugehörigen Konfiguration K1 bis Ki oder einer Kennung, welche die Haushalts-Lagerungsvorrichtung 1a bis 1i bzw. deren Konfiguration K1 bis Ki identifiziert (wie durch den gepunkteten Pfeil angedeutet). Die externe Datenverarbeitungseinrichtung 6 sucht anhand der Konfiguration K1 bis Ki oder der Kennung den passenden Adaptionsalgorithmen AL1 bis ALi aus und führt eine Objekterkennung durch. Da die Adaptionsalgorithmen AL1 bis ALi im Vergleich zu dem Standard-Erkennungsalgorithmus EA wenige freie Parameter umfassen bzw. eine geringe Datengröße aufweisen, kann eine hohe Zahl an unterschiedlichen Adaptionsalgorithmen AL1 bis ALi ohne weiteres vorgehalten werden.
-
In einer Abwandlung der letztgenannten Variante kann anstelle der unterschiedlichen Adaptionsalgorithmen AL1 bis ALi ein einziger, komplexerer (z.B. mehrere NN-Schichten aufweisender) Adaptionsalgorithmus AL verwendet werden, der anhand eines eingehenden Bildsatzes [B1] bis [Bi] bzw. anhand der zugehörigen Datencharakteristiken D1 bis Di selbst erkennt, mit welcher Konfiguration K1 bis Ki der Bildsatz [B1] bis [Bi] aufgenommen worden ist und passt sich automatisch an die selbsterkannte Konfiguration K1 bis Ki an.
-
4 zeigt einen Trainingsablauf zum Trainieren eines beliebig ausgewählten Adaptionsalgorithmus AL1. Dazu wird ein Bildsatz [B1] mit vorteilhafterweise mehreren Bildern in den noch untrainierten Adaptionsalgorithmus AL1 eingespeist, welcher die zugehörigen Bilddaten so umwandelt, dass deren Datencharakteristik D1 möglichst nahe an die Standard-Datencharakteristik D0 angenähert wird. Die so umgewandelten Bilddaten werden in den Standard-Erkennungsalgorithmus EA eingespeist, welcher ein Erkennungsergebnis RES liefert. Dieses Erkennungsergebnis RES ist zunächst wahrscheinlich schlechter sein als das Erkennungsergebnis, das der unverändert gelassene („frozen“) Standard-Erkennungsalgorithmus EA für den Standard-Bildsatz B0 liefert. Folgend wird der Adaptionsalgorithmus AL1 z.B. durch Backpropagation (wie durch den gestrichelten Pfeil angedeutet) trainiert, beispielsweise bis das Erkennungsergebnis RES zumindest dem Erkennungsergebnis für den Standard-Bildsatz B0 entspricht.
-
Da der Adaptionsalgorithmus AL1 bezüglich seiner Struktur und Zahl der zu optimierenden Parameter wesentlich weniger komplex ist als der Standard-Erkennungsalgorithmus EA (eine einfache Version des Adaptionsalgorithmus AL1 kann z.B. etwa 10 bis 1000 freie Parameter enthalten, während der Standard-Erkennungsalgorithmus EA ca. 1000 bis eine Million freie Parameter aufweist), sind hierfür vorteilhafterweise nur vergleichsweise wenige der sonst benötigten Bilddaten notwendig. Auch kann unter Umständen ein Training mit nur einer Teilmenge der vom Standard-Erkennungsalgorithmus EA erkannten Objekten erforderlich sein.
-
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.
-
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.
-
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.
-
Bezugszeichenliste
-
- 1a
- Kühlschrank
- 1b
- Kühlschrank
- 1c
- Haushalts-Gargerät
- 1d
- Dunstabzugshaube
- 1i
- Vorratsschrank
- 2
- Kühlraum
- 3
- Tür
- 4
- Kamera
- 5
- Kommunikationseinrichtung
- 6
- Externe Datenverarbeitungseinrichtung
- A
- Apfel
- AL1-Ali
- Adaptionsalgorithmus
- [B0]
- Standard-Bildsatz
- [B1]-[Bi]
- Bildsätze
- CL
- Klassifikationsalgorithmus
- D0
- Standard-Datencharakteristik
- D1-Di
- Datencharakteristiken
- EA
- Erkennungsalgorithmus
- FE
- Merkmalsextraktionsalgorithmus
- K0
- Standard- Konfiguration
- K1-Ki
- Konfigurationen
- PP
- Preprocessing-Algorithmus
- RES
- Erkennungsergebnis
- N
- Internet
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017/0050319 A1 [0003]
- KR 20190108049 A [0003]
- WO 2018/40105 A1 [0003]
-
Zitierte Nicht-Patentliteratur
-
- „Product Detection System for Home Refrigerators implemented though a Region-based Convolutional Neural Network", Int. J. of Applied Engineering Research, ISSN 0973-4562, Bd. 13, Nr. 12 (2018), Seiten 10381 bis 10388 [0003]
