DE102014219754A1

DE102014219754A1 - Gestenbasierte industrielle Überwachung

Info

Publication number: DE102014219754A1
Application number: DE201410219754
Authority: DE
Inventors: Xuemin Chen; Yongbum Kim
Original assignee: Broadcom Corp
Current assignee: Avago Technologies International Sales Pte Ltd
Priority date: 2013-10-01
Filing date: 2014-09-30
Publication date: 2015-04-02
Anticipated expiration: 2034-10-01
Also published as: DE102014219754B4

Abstract

Ein System umfasst einen Bildgeber, wie beispielsweise ein 3-D-Strukturiertes-Licht-Bildgebungssystem, und eine Gestenlogik in einer Datenkommunikation mit dem Bildgeber. Der Bildgeber ist konfiguriert, ein Bild der Bewegung eines mobilen Gegenstands zu erzeugen. Die Gestenlogik ist konfiguriert: eine erste Abbildung der derzeitigen Bewegung des mobilen Gegenstands auf der Grundlage des Bilds zu erzeugen, auf eine gespeicherte zweite Abbildung einer Modellgeste zuzugreifen und die erste Abbildung mit der zweiten Abbildung zu vergleichen, um einen Betriebszustand des mobilen Gegenstands zu bestimmen.

Description

Technisches Gebiet
Diese Offenbarung betrifft eine automatisierte Überwachung. Diese Offenbarung betrifft ebenso eine Überwachung über erkannte Maschinengesten.
Hintergrund
Maschinensichtsysteme gestatten eine computergesteuerte visuelle Interaktion mit einer Vielzahl von Umgebungen. Beispielsweise kann eine automatisierte Steuerung von Motorfahrzeugen unter Verwendung von Maschinensichtsystemen möglich sein. Maschinensichtsysteme können Bildgebungs- und andere Visualisierungstechnologien verwenden, wie beispielsweise Sonar, Radar, Sonographie, Infrarotbildgebung und/oder andere Visualisierungstechnologien. In industriellen Umfeldern wird eine Videoüberwachung verwendet, um Betriebe zu beaufsichtigen und Sicherheit und Schutz bereitzustellen. Menschliche Bedienungspersonen können mehrere Ansichtsbildschirme verwenden, um Betriebe bei entfernten Orten zu überwachen. Die Bedienungsperson kann in der Lage sein, einen falschen Betrieb, Sicherheitsbrüche und/oder Sicherheitsprobleme von den Ansichtsbildschirmen zu erfassen. Eine Fernüberwachung über einen Ansichtsbildschirm kann die Notwendigkeit für eine persönliche Überwachung, beispielsweise vor Ort oder bei dem Punkt einer industriellen Aktivität, verringern.
Kurzbeschreibung der Zeichnung
1 zeigt ein Beispiel einer Umgebung, die eine automatisierte Betriebsüberwachung implementiert.
2 zeigt eine beispielhafte Gestenlogik.
3 zeigt beispielhafte Gestenerkennungsszenarios.
4 zeigt eine beispielhafte Strukturiertes-Licht-Bildgebungsverarbeitung.
Ausführliche Beschreibung
Überwachungsbetriebe in einer industriellen Umgebung können eine Herausforderung darstellen. In einigen Fällen kann Personal verwendet werden, um Videoeinspeisungen zu überwachen und/oder direkt ein Gerät und/oder anderes Personal anzusehen, um einen Betriebsstatus von Systemen in der industriellen Umgebung zu bestimmen. In einigen Fällen kann die Überwachungsverarbeitung ein Ansehen einer sich wiederholenden Verarbeitung für ausgedehnte Zeitdauern umfassen, um Unterbrechungen in den Wiederholungen zu erfassen. In einigen Fällen kann das Personal Unterbrechungen in seiner Aufmerksamkeit erfahren, wobei Ereignisse von Interesse versäumt werden können. Beispielsweise kann eine Person, die mit einer Überwachung einer Herstellungsvorrichtung in einer Montagelinie beauftragt ist, einschlafen. In einigen Fällen kann die schlafende Person daran scheitern, eine Betriebsstörung in einer Vorrichtung in einem Fenster zu berichten, um ein schwerwiegenderes Problem (beispielsweise einen Stillstand der Linie usw.) zu vermeiden. Zusätzlich oder alternativ hierzu kann das Personal nicht in der Lage sein, Ereignisse von Interesse zu erkennen. Beispielsweise kann eine Person einen anormalen Betrieb einer Vorrichtung ansehen, aber daran scheitern, den Betrieb als anormal zu identifizieren. In einem anderen Beispiel scheitert das überwachende Personal daran, eine Situation zu identifizieren, in der eine Person, die eine Vorrichtung bedient (beispielsweise ein Fahrzeug und/oder eine schwere Maschine usw.), ihren Aufgaben keine Aufmerksamkeit schenkt. In einigen Fällen kann es von Vorteil sein, automatisierte Techniken für eine industrielle Betriebsüberwachung zu implementieren, um eine Überwachung durch Personal zu verbessern und/oder zu ersetzen.
1 zeigt ein Beispiel einer Umgebung 100, die eine automatisierte Betriebsüberwachung implementiert. Die Umgebung 100 kann eine beliebige industrielle Umgebung sein, wie beispielsweise eine Herstellungsmontagelinie, eine Verarbeitungsfabrik für industrielle Materialien oder ein Fabriklagerbereich. Insbesondere ist die Umgebung 100, die in 1 gezeigt ist, eine industrielle Umgebung, die die Produktionslinie 110 umfasst. Die Umgebung 100 ist nicht auf industrielle Umfelder begrenzt, wobei jede Umgebung, in der eine Sicherheitsmerkmalbereitstellung, die nachstehend diskutiert wird, nützlich sein könnte, eine Möglichkeit darstellt, wie beispielsweise in einem Fahrzeug, einem Krankenhaus, einem Themenpark oder einem Gefängnis. Beispielsweise können Fehler bei Überwachungsbetrieben in einem Krankenhaus Schädigungen für Patienten und/oder Angestellte zur Folge haben.
Eine Umgebung 100 kann eine beliebige Anzahl von Vorrichtungen umfassen. Die beispielhafte industrielle Umgebung 100 in 1 umfasst Herstellungsvorrichtungen 111–117, Steuerungsvorrichtungen 121 und 122, drahtlose Zugangspunkte (AP) 131 und 132 sowie mehrere Sensoren, die als Sensoren 141–151 bezeichnet sind. Zusätzliche oder alternative Vorrichtungen können in der industriellen Umgebung 100 vorhanden sein, einschließlich beispielsweise Netzwerkvorrichtungen, wie beispielsweise Hubs, Switches, Router oder Brücken, Datenserver, Betätigungseinrichtungen, Generatoren, Motoren, Maschinen, Überwachungsvorrichtungen (wie beispielsweise Videokameras oder andere Bildgebungseinrichtungen), Lichtquellen, Computer, Verwaltungs- oder Steuerungssysteme, Umgebungsverwaltungsvorrichtungen, Analysesysteme, Kommunikationsvorrichtungen und eine beliebige mobile Vorrichtung, wie beispielsweise ein Mobiltelefon, ein Tablett und dergleichen.
Die Herstellungseinrichtungen 111–117 sind entlang der Produktionslinie 110 positioniert. Die Herstellungsvorrichtungen 111–117 können als eine beliebige Maschine, ein Roboter, Betätigungseinrichtungen, Werkzeugbereitstellungen, oder andere Elektronik implementiert sein, die an einem Zusammenbau bzw. einer Montageverarbeitung (oder einer Demontageverarbeitung) entlang der Produktionslinie 110 teilnehmen. Die Herstellungsvorrichtungen 111–117 sind kommunikativ mit Steuerungsvorrichtungen verknüpft, durch die die Herstellungsvorrichtungen 111–117 Steuerungssignale empfangen, die die Herstellungsvorrichtungen 111–117 überwachen, führen oder steuern. In 1 ist die Steuerungsvorrichtung 121 kommunikativ mit den Herstellungsvorrichtungen 111–113 verknüpft, und die Steuerungsvorrichtung 122 ist kommunikativ mit den Herstellungsvorrichtungen 114–117 verknüpft. In einigen Variationen ist die Steuerungsvorrichtung 112 eine Steuerungseinrichtung mit programmierbarer Logik (PLC).
Die Sensoren 141–151 können verschiedene Orte bzw. Stellen in der industriellen Umgebung 100 überwachen. In 1 sind die Sensoren 141–151 bei vorbestimmten Überwachungsorten entlang der Produktionslinie 110 und benachbart zu den Herstellungsvorrichtungen 111–117 positioniert. Die Sensoren 141–151 können Umgebungsdaten zur Überwachung der Umgebung 100 erfassen, wie beispielsweise visuelle Daten, Audiodaten, Temperaturdaten, Positions- oder Bewegungsdaten oder beliebige andere Umgebungsdaten, die eine Eigenschaft der industriellen Umgebung 100 angeben. Die Sensoren 141–151 können erfasste Daten an eine beliebige Vorrichtung in der industriellen Umgebung 100, ein Analysesystem oder ein Überwachungssystem kommunizieren. Wie es nachstehend beschrieben ist, kann das Überwachungssystem eine Gestenerkennung umfassen, um automatisierte Antworten auf Änderungen in einem Betriebsstatus und/oder andere durch eine Überwachung initiierte Antworten zu vereinfachen.
Die industrielle Umgebung 100 unterstützt mehrere Kommunikationsverbindungen zwischen beliebigen der Vorrichtungen in und/oder außerhalb der industriellen Umgebung 100. Die mehreren Kommunikationsverbindungen können Redundanz- oder Ausfallsicherungsfähigkeiten zwischen den kommunizierenden Vorrichtungen bereitstellen. Als ein derartiges Beispiel, das in 1 gezeigt ist, ist die Steuerungsvorrichtung 121 mit der Herstellungsvorrichtung 111 über einen verdrahteten Kommunikationspfad (beispielweise durch ein Kabel) und einen drahtlosen Kommunikationspfad (beispielsweise über den drahtlosen Zugangspunkt 131) verbunden. Die Herstellungsvorrichtungen 111–117 können diesbezüglich über mehrere Technologien kommunizieren, die eine beliebige Anzahl von verdrahteten Technologien und/oder drahtlosen Technologien umfassen. Um die Kommunikationsverbindungen zu unterstützen, können die Steuerungsvorrichtung 121 und die Herstellungsvorrichtungen 111–117 eine Logik umfassen, um Kommunikationsprotokolle und Sicherheitsmerkmale auszuführen. Beispielsweise können die Vorrichtungen Hauptterminaleinheiten (Master Terminal Units bzw. MTU), programmierbare Logiksteuerungseinrichtungen (PLC) und/oder programmierbare Anordnungssteuerungseinrichtungen (PAC) umfassen. Beispielsweise kann in einigen Implementierungen ein Sicherheitsmerkmal (beispielsweise eine Endpunkt-Zu-Endpunkt-Verschlüsselung) Schutz bei einer Kommunikationsverbindung zwischen einer MTU bei einer Steuerungsvorrichtung und einer PLC bei einer Herstellungsvorrichtung bereitstellen. Die Kommunikationsverbindungen können eine Übertragung von Bildern, beispielsweise Video, Fotographie, Sonographie usw., zur Verarbeitung bei Steuerungsvorrichtungen oder anderen Datenverarbeitungseinrichtungen vereinfachen.
Eine Vorrichtung in der industriellen Umgebung 100 kann eine Kommunikationsschnittstelle umfassen, die mehrere Kommunikationsverbindungen mit anderen Vorrichtungen innerhalb oder außerhalb der industriellen Umgebung 100 unterstützt. Eine Kommunikationsschnittstelle kann konfiguriert sein, entsprechend einer Kommunikationsbetriebsart oder mehreren Kommunikationsbetriebsarten, beispielsweise entsprechend verschiedener Kommunikationstechniken, Standards, Protokolle, oder über verschiedene Netzwerke oder Strukturen zu kommunizieren. Die Kommunikationsschnittstelle kann eine Kommunikation entsprechend spezifischer Dienstqualitätstechniken (Quality-of-Service bzw. QoS), Kodierungsformaten, über verschiedene physikalische (PHY-)Schnittstellen und mehr unterstützen. Beispielsweise kann eine Kommunikationsschnittstelle entsprechend einer der nachstehend genannten Netzwerktechnologien, Strukturen, Medien, Protokolle oder Standards kommunizieren: Ethernet einschließlich Industrie-Ethernet, beliebige offene oder proprietäre Industriekommunikationsprotokolle, Kabel (beispielsweise DOCSIS), DSL, Multimedia over Coax Alliance (MOCA), eine Stromleitung (beispielsweise HomePlug AV), Ethernet Passive Optical Network (EPON), Gigabit Passive Optical Network (GPON), eine beliebige Anzahl von zellularen Standards (beispielsweise 2G, 3G, Universal Mobile Telecommunication Systems (UMTS), GSM (R) Association, Long Term Evoluation (LTE) (TM) oder mehr), WiFi (einschließlich 802.11 a/b/g/n/ac), WiMAX, Bluetooth, WiGig (beispielsweise 802.11ad) und irgendeine andere verdrahtete oder drahtlose Technologie oder ein entsprechendes Protokoll. Die Steuerungsvorrichtung 121 umfasst als ein Beispiel die Kommunikationsschnittstelle 160.
Die Steuerungsvorrichtung 121 kann eine Gestenlogik 161 zur Verarbeitung von Bildern umfassen, um die nachstehend beschriebenen Gestenerkennungstechniken zu vereinfachen. Beispielsweise kann die Gestenlogik 161 Verarbeitungseinrichtungen 164 (beispielsweise Grafikverarbeitungseinheiten (GPU), Mehrzweckverarbeitungseinrichtungen und/oder andere Verarbeitungsvorrichtungen) und einen Speicher 166 umfassen, um aufgezeichnete Bilder für eine Gestenerkennung zu analysieren. In einigen Implementierungen kann eine Abbildungseinrichtung bzw. ein Bildgeber 190 (beispielsweise eine 3-D Kamera usw.) einen optischen Sensor 192 (beispielsweise einen 3-D Sensor usw.) umfassen, der Bilder von einem mobilen Gegenstand oder mehreren mobilen Gegenständen (beispielsweise Herstellungsvorrichtungen 111–117) aufnehmen kann. Der Bildgeber kann die Bilder (beispielsweise über ein Netzwerk oder in einer kombinierten Bildgebungs- und Verarbeitungsvorrichtung) zu der Gestenlogik 161 übertragen. Die Gestenlogik 161 kann eine Bewegungsverarbeitung 163 (beispielsweise eine Gestenerkennungs-Middleware usw.) laufen lassen. Die Bewegungsverarbeitung 163 kann eine Bewegung innerhalb der Bilder identifizieren und Vergleiche mit bestimmten Gesten ausführen. Die Bewegungsverarbeitungssoftware kann bestimmen, ob die identifizierte Bewegung in den Bildern einer oder mehreren der bestimmten Gesten entspricht.
2 zeigt eine beispielhafte Gestenlogik 161. Die Gestenlogik 161 kann ein aufgenommenes Bild oder mehrere aufgenommene Bilder empfangen (202), das/die die Bewegung eines mobilen Gegenstands zeigt/zeigen. Beispielsweise können die Bilder ein Live-Video umfassen, das die derzeitige Bewegung eines Gegenstands zeigt. In einigen Implementierungen können die Bilder 3-D-Bilder sein, die Daten über die Position des mobilen Gegenstands in einem 3-D-Raum beinhalten. Der mobile Gegenstand kann nahezu jedes Objekt oder eine Gruppe von Objekten in Bewegung umfassen, beispielsweise ein Person oder ein Tier, eine Maschine, ein lebloses Objekt, das manipuliert wird, usw..
Die Gestenlogik 161 kann eine Abbildung der Bewegung des mobilen Gegenstands in einem Raum erzeugen (204). Beispielsweise kann die Gestenlogik 161 die Bewegung des mobilen Gegenstands in 3-D auf der Grundlage von Positionsdaten in 3-D-Bildern abbilden. Um eine Abbildung der Bewegung des mobilen Gegenstands zu vereinfachen kann die Gestenlogik 161 die Bewegungsverarbeitung 163 bei den aufgenommenen Bildern anwenden. In verschiedenen Implementierungen kann die Bewegungsverarbeitung 163 eine Hintergrundmodellierung und Subtraktion zum Entfernen von Hintergrundinformationen in den Bildern anwenden. In einigen Implementierungen kann die Bewegungsverarbeitung 163 eine Merkmalsextraktion zur Bestimmung der Grenzen bei dem mobilen Gegenstand oder den mobilen Gegenständen in den aufgenommenen Bildern anwenden. In einigen Fällen kann die Bewegungsverarbeitung 163 eine Bildelementverarbeitung anwenden, um die aufgenommenen Bilder für eine Analyse bereit zu machen. In einigen Implementierungen kann die Bewegungsverarbeitung 163 Bahnverfolgungs- und Erkennungsroutinen anwenden, um die Bewegung der aufgenommenen Bilder zu identifizieren, die auf die Bewegung des einen mobilen Gegenstands oder der mehreren mobilen Gegenstände, die analysiert werden, zutrifft. Beispielsweise kann eine Hintergrundmodellierung und Subtraktion Verarbeitungen umfassen, wie beispielsweise eine Luminanzextraktion aus Farbbildern (beispielsweise YUV:422), eine Berechnung eines gleitenden Mittelwerts und einer Varianz (beispielsweise exponentiell gewichtet oder gleichförmig gewichtet usw.), eine statistische Hintergrundsubtraktion, eine gemischte Gauss-Hintergrundsubtraktion, morphologische Operationen (beispielsweise Erosion, Dilatation bzw. Streckung, usw.), eine Markierung von verbundenen Komponenten und/oder eine andere Hintergrundmodellierung und Subtraktion. In einigen Implementierungen kann eine Merkmalsextraktion eine Harris-Corner-Score-Berechnung, Hough-Transformationen für Linien, eine Histogrammberechnung (beispielsweise für ganzzahlige Skalare, mehrdimensionale Vektoren usw.), eine Legendre-Momentberechnung, eine Canny-Edge-Erfassung (beispielsweise durch Glätten, eine Gradientenberechnung, eine Nicht-Maximum-Unterdrückung, eine Hysterese usw.) und/oder andere Merkmalsextraktionsverarbeitungen umfassen. In verschiedenen Implementierungen kann eine Bildelementverarbeitung eine Farbumwandlung (beispielsweise YUV:422 zu YUV planar, RGB, LAB, HSI, usw.), eine integrale Bildverarbeitung, eine Bildpyramidenberechnung (beispielsweise eine 2×2-Blockmittelwertbildung, ein Gradient, eine Gauss-Glocke oder eine andere Bildpyramidenberechnung), eine Nicht-Maximum-Unterdrückung (beispielsweise 3×3, 5×5, 7×7 usw.), eine Filterung mit rekursiver unendlicher Impulsantwort, eine auf der Summe der absoluten Differenzen basierende Disparität für Stereobilder und/oder eine andere Bildelementverarbeitung umfassen. In einigen Implementierungen kann eine Bahnverfolgung und Erkennung eine Lucas-Kanade-Merkmalsverfolgung (beispielsweise 7×7 usw.), eine Kalman-Filterung, eine Nelder-Mead-Simplex-Optimierung, eine Bhattacharya-Entfernungsberechnung und/oder andere Bahnverfolgungs- und Erkennungsverarbeitungen umfassen.
Die Gestenlogik 161 kann auf eine gespeicherte Abbildung oder mehrere gespeicherte Abbildungen zugreifen (206), die bestimmten Gesten entsprechen kann/können. Beispielsweise kann die Abbildung eine Benennung einer Abfolge von Positionen umfassen, die der mobile Gegenstand abfahren kann, um die Geste zu vervollständigen. Zusätzlich oder alternativ hierzu kann die Abbildung relative Elemente beinhalten. Beispielsweise kann sie, um eine vorgegebene Geste zu vervollständigen, sich eine bestimmte Entfernung nach links von einer zugehörigen Startposition bewegen. Die Geste kann eine Bewegung von bestimmten Teilen des mobilen Gegenstands umfassen. Beispielsweise kann die Geste eine Person umfassen, die nach einem Hebel mit einer zugehörigen rechten Hand greift und diesen nach unten zieht. Die Gestenabbildung kann die Struktur des mobilen Gegenstands reflektieren. Beispielsweise kann die Abbildung Bewegungen umfassen, die einem Skelettrahmen mit Gelenken entspricht, die in der Lage sind, sich auf bestimmte Art und Weise zu beugen. Die Geste kann in Bewegungen für mehrere Gegenstände beinhaltet sein. Beispielsweise kann eine Geste einer koordinierten Aktion entsprechen, wie beispielsweise eine Übergabe eines Produkts zwischen mehreren Herstellungsvorrichtungen. Die Geste kann einen Zeitrahmen oder eine Geschwindigkeit für bestimmte Bewegungen angeben.
Die Gestenlogik 161 kann die erzeugte Abbildung mit der einen Abbildung oder den mehreren Abbildungen der bestimmten Gesten vergleichen (208). Beispielsweise kann die Gestenlogik 161 bestimmen, ob die Bewegung des mobilen Gegenstands mit der Bewegung, die in der damit übereinstimmenden Geste definiert ist, innerhalb eines bestimmten Schwellenwerts übereinstimmt. In einigen Implementierungen kann die Gestenlogik 161 Transformationen bei der Abbildung der Bewegung des mobilen Gegenstands ausführen. Beispielsweise kann in einigen Fällen die Gestenlogik 161 die Abbildung des mobilen Gegenstands umdrehen und/oder umsetzen, wenn keine Übereinstimmung für die anfängliche Abbildung gefunden wird. In einigen Fällen kann die Gestenlogik 161 die Abbildung des mobilen Gegenstands auf eine Struktur (beispielsweise eine Skelettstruktur) anwenden, um einen Vergleich mit einer Gestenabbildung zu vereinfachen, die bei einer derartigen Struktur angewendet wird. Zusätzlich oder alternativ hierzu kann der Vergleich eine Bestimmung umfassen, ob die Bewegung des mobilen Gegenstands eine Fahrt (oder andere Bewegung) zu absoluten Orten umfasst, während keine Transformationen angewendet werden. Beispielsweise kann dies verwendet werden, um sicherzustellen, dass eine Vorrichtung innerhalb einer bestimmten sicheren Zone bleibt und/oder Material von dem korrekten Ort während der Herstellungsverarbeitungen aufnimmt. In einigen Fällen kann die Gestenlogik 161 die abgebildete Bewegung des mobilen Gegenstands mit mehreren Gestenabbildungen vergleichen.
Auf der Grundlage des Vergleichs kann die Gestenlogik 161 eine Nachricht erzeugen (210), die angibt, ob eine Übereinstimmung mit einer Geste für die Bewegung des mobilen Gegenstands gefunden worden ist. Die Gestenlogik 161 kann die Nachricht zu einer Überwachungsverarbeitung weiterleiten (212). In einigen Implementierungen kann die Überwachungsverarbeitung auf der Gestenlogik 161 laufen. Zusätzlich oder alternativ hierzu kann die Überwachungsverarbeitung extern zu der Gestenlogik 161 sein. Beispielsweise kann die Gestenlogik 161 eine Nachricht zu einem Alarmsystem weiterleiten. In einigen Fällen kann das Alarmsystem einen Alarm erzeugen oder einen Alarm in Reaktion auf eine Nachricht aktivieren, die ein Ereignis von Interesse angibt, beispielsweise, wenn eine Nicht-Übereinstimmung mit einer gewünschten Geste und/oder eine Übereinstimmung mit einer nicht gewünschten Geste gefunden wird.
3 zeigt beispielhafte Gestenerkennungsszenarios 310, 320, 330, 340. In den beispielhaften Szenarios 310, 320, 330, 340 zeichnet der Bildgeber 190 Bilder einer Herstellungsvorrichtung 302 auf. Der Bildgeber sendet über eine Netzwerkverbindung 304 die aufgenommenen Bilder zu der Steuerungsvorrichtung 121, die die Gestenlogik 161 umfasst. Die Gestenlogik 161 verarbeitet die Bilder für die beispielhaften Szenarios 310, 320, 330 und 340, um eine Bewegung zu identifizieren. In den Szenarios 310, 320, 330, 340 entspricht die Bewegung, die in den aufgenommenen Bildern identifiziert wird, einer ersten Bewegungssequenz (beispielsweise ein horizontales Pendeln usw.). In dem Szenario 340 entspricht die Bewegung, die in dem aufgenommenen Bild identifiziert wird, einer zweiten Bewegungssequenz (beispielsweise ein vertikales Pendeln usw.), die zu der ersten Bewegungssequenz unterschiedlich ist. Die Gestenlogik 161 kann auf bestimmte Gesten 306 für einen Erkennungsvergleich bei dem Speicher 166 Zugriff nehmen. In den beispielhaften Szenarios 310, 320, 330, 340 entsprechen die bestimmten Gesten der ersten Bewegungssequenz. Die Gestenlogik 161 kann auf eine identifizierte Bewegung in den Szenarios 310, 320, 330 reagieren bzw. antworten, indem eine Nachricht erzeugt wird, die eine Übereinstimmung mit den erkannten Gesten angibt. Für das Szenario 340 kann die Gestenlogik 161 auf die identifizierte Bewegung (beispielsweise die Gesamtheit oder ein Anteil der zweiten Bewegungssequenz) reagieren bzw. antworten, indem eine Nachricht erzeugt wird, die angibt, dass die identifizierte Bewegung nicht mit den bestimmten Gesten übereinstimmt. Die beispielhaften Szenarios 310, 320, 330, 340 stellen einen Kontext zum Erklären einer automatisierten Überwachung auf der Grundlage einer Gestenerkennung bereit. Andere Gegenstände, Bewegungstypen und Gesten (beispielsweise komplexe Bewegungssequenzen, Mehrfachgegenstandssequenzen usw.) können verwendet werden.
Die Nachrichten, die Übereinstimmungen oder Nicht-Übereinstimmungen angeben, können in unterschiedlichen Überwachungsverarbeitungen angewendet werden. Beispielsweise können die Nachrichten verwendet werden, um den Betriebsstatus (beispielsweise normaler Betrieb, anormaler Betrieb usw.) einer Vorrichtung zu bestimmen, Personal zu überwachen (beispielsweise bezüglich einer Beachtung von Arbeitspflichten, eines Gemütszustands, einer Leistungsfähigkeit usw.), Warnungen bzw. Alarme in Reaktion auf Ereignisse von Interesse zu erzeugen (beispielsweise nicht erkannte Gesten usw.), einen Montagelinienablauf zu optimieren, Überwachungsaktivitäten in Reaktion auf Ereignisse von Interesse automatisch zu ändern, und/oder für andere Überwachungsverarbeitungsaktivitäten.
In einigen Fällen kann ein automatisches Ändern einer Überwachung von Aktivitäten eine Vergrößerung der Qualität und/oder Quantität eines aufgenommenen Sicherheitsvideos umfassen. Beispielsweise kann ein Videokontrollsystem ein Video in einer ersten Betriebsart (beispielsweise ein Video mit niedriger Auflösung, einer niedrigen Bildfolge, ohne Ton und/oder Graustufe usw.) aufzeichnen. In Reaktion auf eine Nachricht, die ein Ereignis von Interesse angibt, kann das Videokontrollsystem zu einer zweiten Betriebsart umschalten (beispielsweise ein Video mit hoher Auflösung, einer hohen Bildfolge, mit Ton und/oder Farbe usw.). In einigen Fällen kann es wünschenswert sein, ein Kontrollvideo, das vor dem Ereignis von Interesse aufgenommen wird, in der zweiten Betriebsart anzusehen. In einigen Implementierungen kann ein Video in einer zweiten Betriebsart aufgenommen werden und dann, nach einer Verzögerung (beispielsweise Minuten, Stunden, Tage, Wochen usw.), in die erste Betriebsart komprimiert werden. In einigen Fällen kann/können eine Nachricht oder mehrere Nachrichten, die Ereignisse von Interesse angibt/angeben, das System veranlassen, die Zeitdauer von Kontrollvideos, die das Ereignis jenseits der Verzögerung umgibt, zu speichern (beispielsweise permanent, bis sie überprüft werden, bis sie durch autorisiertes Personal gelöscht werden, usw.). Zusätzlich oder alternativ hierzu kann ein automatisches Ändern einer Überwachung von Aktivitäten ein automatisches Zuführen und/oder Hervorheben eines Kontrollvideos für vor Ort befindliches oder außerhäusiges Personal umfassen (beispielsweise für eine Livebetrachtung anstatt einer späteren Überprüfung usw.).
In einigen Implementierungen kann ein Optimieren eines Montagelinienablaufs und/oder anderer Arbeitsabläufe ein automatisches Voranbringen einer Warteschlange umfassen, wenn eine Nachricht, die durch die Überwachungsverarbeitung empfangen wird, angibt, dass eine Aufgabe abgeschlossen ist oder nahe an einem Abschluss ist. Beispielsweise kann eine bestimmte Geste einer Bewegung entsprechen, die ausgeführt wird, um eine Aufgabe auszuführen, oder einer Bewegung bei einem vorbestimmten Punkt in einer Aufgabe entsprechen. Eine Überwachungsverarbeitung kann konfiguriert sein zu veranlassen, dass ein neues Teil in eine Position bewegt wird, um eine nächste Iteration oder Wiederholung einer Aufgabe zu unterstützen (beispielsweise indem eine Montagelinie vorwärts bewegt wird usw.). Zusätzlich oder alternativ hierzu kann der Ablauf in Reaktion auf eine Geste unterbrochen werden. Beispielsweise kann ein Angestellter eine Hand heben, um eine Montagelinie anzuhalten. In einigen Fällen, beispielsweise bei einer Lebensmittelvorbereitung, kann ein derartiges System von Vorteil sein, da ein Angestellter, der Schutzhandschuhe trägt, eine Kontamination durch Drücken einer Taste oder durch ein Kontaktieren anderer Oberflächen vermeiden kann, um die Linie zu stoppen.
In verschiedenen Implementierungen können Alarme Alarme umfassen, wie beispielsweise einen Alarm, um eine Person zu wecken, deren Aufmerksamkeit möglicherweise abgefallen ist, einen Alarm für einen Techniker, dass ein Gerätefehler auftreten kann, einen Alarm, dass eine Sicherheitszone gebrochen worden ist, und/oder andere Alarme.
In einigen Implementierungen können die auf Gesten basierenden Überwachungsverarbeitungen, die hier beschrieben werden, bei einer nicht-industriellen Überwachung angewendet werden. Beispielsweise können in medizinischen Anwendungen Gesten verwendet werden, um die Fortschritte von Physiotherapiepatienten zu verfolgen, Schlafmuster für eine Studie zu überwachen (beispielsweise eine Gesichtsanspannung, eine schnelle Augenbewegung (REM), eine Schlafdauer usw.), eine Therapieanwendung zu Überwachen (beispielsweise Tropfraten, eine Sensorplatzierung, eine Gerätekonfiguration usw.), einen Patientenzustand zu überwachen (beispielsweise Anzeichen für Schmerz, Arthritis, Schlaganfall (beispielsweise durch asymmetrische Gesichtsbewegung), usw.), und/oder für eine andere medizinische Überwachung/Diagnose.
In einigen Implementierungen können 3-D-Bilder erhalten werden, um die Gestenerkennungsverarbeitung zu unterstützen. Beispiele von 3-D-Bildgebern können laufzeitbasierte Systeme (beispielsweise Radar, Sonar, Echofindung, Lidar usw.), Mehrfachsensor- und/oder Mehrfachbeleuchtungsquellensysterne, Abtastsysteme (beispielsweise Magnetresonanzabbildung (MRI), Computertomographieabtastungen (CT-Abtastungen)), System mit strukturiertem Licht, lichtkodierte Systeme und/oder andere 3-D-Bildgebungssysteme umfassen.
In verschiedenen Implementierungen arbeiten Laufzeitbildgebungssysteme, indem ein Signal in einem bestimmten Winkel oder eine bestimmte Richtung ausgesendet wird und die Zeit bis zu einer Reflexion zurück zu der Signalquelle (beispielsweise ein Sensor in der Nähe zu (oder bei einer bestimmten Entfernung zu) der Quelle) gemessen wird. Die Zeit zu einem Empfang einer Reflexion kann durch die Geschwindigkeit des gesendeten Signals (beispielsweise Lichtgeschwindigkeit, Schallgeschwindigkeit usw.) geteilt werden. Ein 3-D-Bild von reflektierenden Oberflächen, die den Laufzeitbildgeber umgeben, kann erzeugt werden, indem eine Vielzahl von Winkeln und/oder Richtungen abgetastet wird. In einigen Fällen sind Laufzeitbildgeber mit Herausforderungen verbunden, wie beispielsweise Aliasing (Entfernungsunklarheit), Bewegungsunschärfe (beispielsweise für eine Bewegung, die schneller als das Abtasten und/oder ein Quellensignalintervall ist), Auflösung, Interferenz (beispielsweise von ähnlichen Quellen) und/oder Umgebungssignale. Laufzeitsysteme können eine Leistungsfähigkeit anbieten, die konkurrenzfähig zu anderen 3-D-Bildgebungssystemen in Metriken ist, wie beispielsweise einer Betriebsreichweite, einem Sichtfeld, einer Bildaufnahme (Größe, Auflösung, Farbe), einer Bildfolge, einer Latenzzeit, einem Leistungsverbrauch, Systemabmessungen und einer Betriebsumgebung. Laufzeitsysteme bieten ebenso eine konkurrenzfähige Leistungsfähigkeit in Anwendungen, wie beispielsweise einer Ganzkörperverfolgung, einer Mehrfachkörperteilverfolgung und einer Mehrfachkörperverfolgung. Allerdings können Laufzeitsystemkosten Herausforderungen bergen.
In einigen Implementierungen projizieren System mit strukturiertem Licht bzw. strukturierte Lichtsysteme ein 2-D-Lichtmuster in die abgebildete 3-D-Umgebung, um ein Kodieren der Positionen von Objekten in der abgebildeten 3-D-Umgebung in das Koordinatensystem der Projektionseinrichtung zu ermöglichen. Das strukturierte Lichtsystem kann eine Triangulation verwenden, um die 3-D-Positionen und Merkmale des Objekts, das durch die strukturierte Lichtquelle beleuchtet wird, zu bestimmen. 4 ist eine beispielhafte Strukturiertes-Licht-Bildgebungsverarbeitung 400. Eine Projektionseinrichtung für strukturiertes Licht bzw. eine strukturierte Lichtprojektionseinrichtung 402, die ein gestreiftes Muster 404 bereitstellt, das einen Streifen 406 umfasst, beleuchtet ein geformtes Objekt 410. Der Streifen 406 wird durch die Projektion auf das geformte Objekt 410 verformt. Der verformte Streifen 432 wird durch eine Bildelementanordnung 430 bei einer Kamera aufgenommen. Die Position des verformten Streifens 432 auf der Bildelementanordnung 434 kann verwendet werden, um die Merkmale und die Position des geformten Objekts unter Verwendung einer Triangulation abzubilden. Die Triangulation beruht auf der Triangulationsbasis 450, die die bekannte Entfernung zwischen der strukturierten Lichtquelle und der Bildelementanordnung 434 umfasst. Strukturierte Lichtsysteme können eine Leistungsfähigkeit anbieten, die konkurrenzfähig zu anderen 3-D-Bildgebungssystemen in Metriken ist, wie beispielsweise einer Betriebsreichweite, einem Sichtfeld, einer Bildaufnahme (Größe, Auflösung, Farbe), einer Bildfolge, einer Latenzzeit, einem Leistungsverbrauch, Systemabmessungen und einer Betriebsumgebung. Strukturierte Lichtsysteme bieten ebenso eine konkurrenzfähige Leistungsfähigkeit bei Anwendungen an, wie beispielsweise einer Ganzkörperverfolgung. Eine Mehrfachkörperteilverfolgung und eine Mehrfachkörperverfolgung können jedoch Herausforderungen für strukturierte Lichtsysteme bereitstellen.
In verschiedenen Implementierungen können lichtkodierte Systeme bzw. Lichtkodierungssysteme mit einem ähnlichen Prinzip wie strukturierte Lichtsysteme arbeiten. Ein 2-D-Lichtmuster kann in die abgebildete 3-D-Umgebung projiziert werden, um eine Kodierung der Positionen von Objekten in der abgebildeten 3-D-Umgebung in das Koordinatensystem der Projektionseinrichtung zu ermöglichen. Das Lichtkodierungssystem kann eine Triangulation verwenden, um die 3-D-Positionen und Merkmale des beleuchteten Objekts durch die kodierte Lichtquelle zu bestimmen. Ein Kodelichtsystem kann ferner mehrere 2-D-Muster für eine Projektion zeitmultiplexen. Die zusätzlichen 2-D-Muster können eine vergrößerte räumliche Auflösung ermöglichen. Beispielsweise können Positionen und Merkmale von geformten Objekten für mehrere 2-D-Muster trianguliert werden und eine statistische Verarbeitung kann angewendet werden, um Berechnungsfehler zu entfernen. In einigen Fällen kann eine Bewegung eines beleuchteten Gegenstands in der Zeitskala des Zeitmultiplexens unscharf werden. Lichtkodierte Systeme können eine Leistungsfähigkeit anbieten, die konkurrenzfähig zu anderen 3-D-Bildgebungssystemen in Metriken ist, wie beispielsweise einer Betriebsreichweite, einem Sichtfeld, einer Bildaufnahme (Größe, Auflösung, Farbe), einer Bildfolge, einer Latenzzeit, einem Leistungsverbrauch, Systemabmessungen und einer Betriebsumgebung. Lichtkodierte Systeme können ebenso eine konkurrenzfähige Leistungsfähigkeit bei Anwendungen anbieten, wie beispielsweise einer Ganzkörperverfolgung, einer Mehrfachkörperteilverfolgung und einer Mehrfachkörperverfolgung.
In verschiedenen Implementierungen können quellenbasierte Beleuchtungseinrichtungen (beispielsweise in Laufzeit-, Strukturiertes-Licht-, lichtkodierten Systemen usw. verwendet) bekannte Eigenschaften (beispielweise eine Frequenz usw.) beinhalten. Ein Licht von Quellen mit sich unterscheidenden Eigenschaften kann ignoriert werden. Dies kann bei einer Hintergrundentfernung unterstützen. Beispielsweise kann eine Stroboskopverwendung (oder eine andere Lichtkodierung) in der Quelle implementiert werden, um eine Eigenschaft zur Unterscheidung gegenüber externen Lichtquellen hinzufügen. Lichtkodierungsquellen können bekannte Muster im Zeitmultiplex projizieren. In verschiedenen Implementierungen können aufgenommene Bilddaten, bei denen nicht herausgefunden wird, dass sie die zeitmultiplexte Eigenschaft reflektieren, entfernt werden, um zu verhindern, dass ein Rauschen Quellen stört.
In einigen Implementierungen kann ein Ton in der industriellen Umgebung aufgenommen werden. Eine Tongestenanalyse (beispielsweise eine Erkennung von bestimmten Tonmustern) kann bei dem aufgenommenen Ton angewendet werden. Beispielsweise kann eine Herstellungsvorrichtung, die eine bestimmte Aufgabe ausführt, ein erkennbares Tonmuster erzeugen. Ein aufgenommener Ton kann mit bekannten Mustern verglichen werden, um einen Betriebsstatus zu bestimmen. In verschiedenen Implementierungen kann eine Tongestenanalyse mit einer Bildgestenanalyse gepaart sein. In verschiedenen Implementierungen können Mikrofonsensoren in der beispielhaften industriellen Umgebung 100 verteilt sein, um eine Tongestenanalyse zu vereinfachen.
Zusätzlich oder alternativ hierzu kann die industrielle Umgebung 100 gesteuert werden, um Störungsquellen mit ähnlichen Eigenschaften zu den Beleuchtungsquellen zu minimieren. Beispielsweise können in einer vollautomatisierten Herstellungsfabrik Lichter oder andere Strahlungsquellen minimiert oder beseitigt werden in Abwesenheit eines Personals, das derartige Lichter verwendet, um zu sehen. Zusätzlich oder alternativ hierzu kann die Beleuchtungsquelle (beispielsweise Kodelichtquellen, strukturierte Lichtquellen, Laufzeitquellen usw.) in Bändern arbeiten, die durch Personen oder andere Geräte in der industriellen Umgebung 100 nicht verwendet werden. Beispielsweise kann die Beleuchtungsquelle in nahen oder fernen Infrarotbändern arbeiten, die für Menschen unsichtbar sind, wobei sie für eine Mehrzweckbeleuchtung nicht verwendet wird.
Die Verfahren, Vorrichtungen und die Logik, die vorstehend beschrieben sind, können in vielen unterschiedlichen Weisen in vielen unterschiedlichen Kombinationen von Hardware, Software oder Hardware und Software implementiert werden. Beispielweise kann die Gesamtheit oder Teile des Systems eine Schaltung in einer Steuerungseinrichtung, einem Mikroprozessor oder einer anwendungsspezifischen integrierten Schaltung (ASIC) umfassen oder kann mit einer diskreten Logik oder Bauteilen oder einer Kombination von anderen Typen einer analogen oder digitalen Schaltung kombiniert in einer einzelnen integrierten Schaltung oder verteilt auf mehrere integrierte Schaltungen implementiert sein. Die Gesamtheit oder ein Teil der Logik, die vorstehend beschrieben ist, kann als Anweisungen für eine Ausführung durch eine Verarbeitungseinrichtung, eine Steuerungseinrichtung oder eine andere Verarbeitungsvorrichtung implementiert sein und in einem dinghaften oder nicht vorübergehenden maschinenlesbaren oder computerlesbaren Medium gespeichert sein, wie beispielsweise ein Flash-Speicher, ein Speicher mit wahlfreiem Zugriff (RAM) oder ein Nur-Lese-Speicher (ROM), ein löschbarer, programmierbarer Nur-Lese-Speicher (EPROM) oder ein anderes maschinenlesbares Medium, wie beispielsweise ein Kompaktdisk-Nur-Lese-Speicher (CDROM) oder eine magnetische oder optische Platte. Somit kann ein Produkt, wie beispielsweise ein Computerprogrammprodukt, ein Speichermedium und computerlesbare Anweisungen, die auf dem Medium gespeichert sind, umfassen, das, wenn es bei einem Endpunkt, einem Computersystem und einer anderen Vorrichtung ausgeführt wird, die Vorrichtung veranlasst, Betriebe bzw. Operationen entsprechend denen gemäß der vorstehenden Beschreibung auszuführen.
Die Verarbeitungsfähigkeit des Systems kann unter mehreren Systembauteilen aufgeteilt sein, wie beispielsweise unter mehreren Prozessoren bzw. Verarbeitungseinrichtungen und Speichern, die optional mehrere verteilte Verarbeitungssysteme umfassen. Parameter, Datenbanken und andere Datenstrukturen können separat gespeichert und verwaltet werden, können in einen einzelnen Speicher oder eine einzelne Datenbank eingegliedert werden, können logisch und physikalisch auf viele unterschiedliche Weisen organisiert sein und können auf viele Arten implementiert werden, einschließlich Datenstrukturen, wie beispielsweise verlinkte Listen, Hash-Tabellen oder implizite Speichermechanismen. Programme können Teile (beispielsweise Unterroutinen) eines einzelnen Programms, getrennt Programme, verteilt über mehrere Speicher und Prozessoren oder auf viele unterschiedliche Weisen implementiert sein, wie beispielsweise in einer Bibliothek, wie beispielsweise einer geteilten Bibliothek (beispielsweise eine Dynamic Link Library (DLL)). Die DLL kann beispielsweise einen Code speichern, der irgendeine der vorstehend beschriebenen Systemverarbeitungen ausführt. Während verschiedene Implementierungen beschrieben worden sind, ist es für einen Fachmann ersichtlich, dass viel mehr Ausführungsbeispiele und Implementierungen innerhalb des Umfangs der Offenbarung möglich sind.
Ein System umfasst einen Bildgeber, wie beispielsweise ein 3-D-Strukturiertes-Licht-Bildgebungssystem, und eine Gestenlogik in einer Datenkommunikation mit dem Bildgeber. Der Bildgeber ist konfiguriert, ein Bild der Bewegung eines mobilen Gegenstands zu erzeugen. Die Gestenlogik ist konfiguriert: eine erste Abbildung der derzeitigen Bewegung des mobilen Gegenstands auf der Grundlage des Bilds zu erzeugen, auf eine gespeicherte zweite Abbildung einer Modellgeste zuzugreifen und die erste Abbildung mit der zweiten Abbildung zu vergleichen, um einen Betriebszustand des mobilen Gegenstands zu bestimmen.

Claims

System mit: einem Bildgeber, der konfiguriert ist, ein Video einer derzeitigen Bewegung einer Herstellungsvorrichtung aufzunehmen; und einer Logik, die in einer Datenkommunikation mit dem Bildgeber ist, wobei die Logik konfiguriert ist: auf der Grundlage des Videos eine erste Abbildung in einem mehrdimensionalen Raum der derzeitigen Bewegung der Herstellungsvorrichtung zu erzeugen; auf eine gespeicherte zweite Abbildung einer Modellgeste zuzugreifen; und die erste Abbildung mit der zweiten Abbildung zu vergleichen, um zu bestimmen, ob die derzeitige Bewegung der Herstellungsvorrichtung von der Modellgeste abweicht; und wenn die derzeitige Bewegung der Herstellungsvorrichtung von der Modellgeste abweicht: eine Nachricht zu erzeugen, die die Abweichung angibt; und die Nachricht zu einer Überwachungsverarbeitung zu senden, die mit der Herstellungsvorrichtung verbunden ist.
System nach Anspruch 1, wobei: die Nachricht konfiguriert ist, einen nicht übereinstimmenden Betrieb der Herstellungsvorrichtung anzugeben; und die Überwachungsverarbeitung konfiguriert ist, einen Alarm auf einem Ansichtsbildschirm in Reaktion auf die Nachricht zu erzeugen.
System mit: einem Bildgeber, der konfiguriert ist, ein Bild einer derzeitigen Bewegung eines mobilen Gegenstands zu erzeugen; einer Logik, die in einer Datenkommunikation mit dem Bildgeber ist, wobei die Logik konfiguriert ist: auf der Grundlage des Bilds eine erste Abbildung der derzeitigen Bewegung des mobilen Gegenstands zu erzeugen; auf eine gespeicherte zweite Abbildung einer Modellgeste zuzugreifen; und die erste Abbildung mit der zweiten Abbildung zu vergleichen, um eine Betriebsbedingung des mobilen Gegenstands zu bestimmen.
System nach Anspruch 3, wobei der Bildgeber konfiguriert ist, eine Reihe von Bildern zu erzeugen, die das Bild umfasst.
System nach Anspruch 4, wobei die erste Abbildung eine erste Videoabbildung auf der Grundlage der Reihe von Bildern umfasst.
System nach Anspruch 5, wobei die Modellgeste eine Gruppe von bestimmten Bewegungen umfasst; und die zweite Abbildung eine zweite Videoabbildung der Gruppe von bestimmten Bewegungen umfasst.
System nach Anspruch 6, wobei die Gruppe von bestimmten Bewegungen mit einem übereinstimmenden Betriebsstatus des mobilen Gegenstands verbunden ist.
System nach Anspruch 6, wobei die Logik ferner konfiguriert ist, einen Alarm zu erzeugen, wenn der Vergleich angibt, dass die derzeitige Bewegung sich von der Gruppe von bestimmten Bewegungen unterscheidet.
System nach Anspruch 3, wobei die Logik konfiguriert ist, das Bild auf der Grundlage einer Eigenschaft einer Quelle zu verarbeiten.
System nach Anspruch 9, wobei die Quelle eine Lichtquelle umfasst; und die Eigenschaft einen Kode umfasst, der in einer Ausgabe der Lichtquelle eingebettet ist.
System nach Anspruch 3, wobei der Bildgeber umfasst: einen optischen Sensor, der konfiguriert ist, das Bild aufzunehmen; und ein Fokussiergerät, das konfiguriert ist, das Bild auf dem optischen Sensor zu erzeugen.
System nach Anspruch 3, wobei die ersten und die zweiten Abbildungen Abbildungen in einem mehrdimensionalen Raum umfassen.
System nach Anspruch 3, wobei die Logik konfiguriert ist, einen Alarm auf der Grundlage der bestimmten Betriebsbedingung zu erzeugen.
System nach Anspruch 13, wobei: der mobile Gegenstand eine Gerätebedienungsperson umfasst; und der Alarm konfiguriert ist, die Gerätebedienungsperson in Reaktion auf einen möglichen Aufmerksamkeitsverlust zu wecken.
System nach Anspruch 13, wobei der Alarm konfiguriert ist anzugeben, dass der mobile Gegenstand eine Sicherheitszone gebrochen hat.
Verfahren mit: Aufnehmen eines Videos einer derzeitigen Bewegung eines mobilen Gegenstands; Erzeugen, auf der Grundlage des Videos, einer ersten Abbildung der derzeitigen Bewegung des mobilen Gegenstands; Zugreifen auf eine gespeicherte zweite Abbildung einer Modellgeste; Vergleichen der ersten und zweiten Abbildungen, um einen Betriebsstatus des mobilen Gegenstands zu bestimmen.
Verfahren nach Anspruch 16, ferner mit: Auswählen der gespeicherten zweiten Abbildung auf der Grundlage eines Typs des mobilen Gegenstands und einer Aufgabe, die für eine Ausführung durch den mobilen Gegenstand eingeplant ist.
Verfahren nach Anspruch 17, wobei das Bestimmen des Betriebsstatus ein Bestimmen umfasst, ob der mobile Gegenstand die Aufgabe in einer nicht übereinstimmenden Art und Weise ausgeführt hat.
Verfahren nach Anspruch 18, wobei eine Abweichung von der Modellgeste durch den mobilen Gegenstand eine nicht übereinstimmende Ausführung angibt.
Verfahren nach Anspruch 16, wobei die Erzeugung der ersten Abbildung auf einer Eigenschaft einer Lichtquelle beruht, die den mobilen Gegenstand beleuchtet.